卷積神經(jīng)網(wǎng)絡(luò)概述

侯宇昆

一、引言

目前，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）已成為圖像、文本、語音識別等領(lǐng)域的研究熱點(diǎn)之一。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中發(fā)現(xiàn)了用于局部敏感和方向選擇的神經(jīng)元結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)就是在此生物學(xué)的基礎(chǔ)上發(fā)展而來的。

二、卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程

按照時間順序，可以將卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展可以分為三個階段：初步探索階段；全面興起階段；躍進(jìn)試發(fā)展階段。

2.1初步探索階段

這一階段只是在初步探索卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。197開始，福島邦彥成功開發(fā)出了一種淺層自組織神經(jīng)網(wǎng)絡(luò)認(rèn)知機(jī)[1]。隨后，更多的科研工作者對該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。認(rèn)知機(jī)及其變種并不是真正意義上的深度學(xué)習(xí)模型，因?yàn)榈木W(wǎng)絡(luò)層數(shù)少，并不能進(jìn)行深度學(xué)習(xí)特征。

2.2全面興起階段

這一階段以LeNet-5的出現(xiàn)為開始。1Lecun等[2]提出的LeNet-5采用了基于梯度的反向傳播算法對網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練，LeNet-5在手寫字符識別領(lǐng)域的成功應(yīng)用引起了學(xué)術(shù)界對于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)注。同一時期，卷積神經(jīng)網(wǎng)絡(luò)在語音識別、物體檢測、人臉識別等方面的研究也逐漸開展起來。

2.3躍進(jìn)試發(fā)展階段

這一階段以AlexNet的出現(xiàn)為起點(diǎn)，它的出現(xiàn)是卷積神經(jīng)網(wǎng)絡(luò)的一個歷史性的時刻，在此后卷積神經(jīng)網(wǎng)絡(luò)在AlexNet的基礎(chǔ)上衍生出許多變種。2012年，Krizhevsky等[3]提出了AlexNet，使得卷積神經(jīng)網(wǎng)絡(luò)成為了學(xué)術(shù)界的焦點(diǎn)。AlexNet之后，不斷有新的卷積神經(jīng)網(wǎng)絡(luò)模型被提出，。并且，卷積神經(jīng)網(wǎng)絡(luò)不斷與一些傳統(tǒng)算法相融合，加上遷移學(xué)習(xí)方法的引入，使得卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域獲得了快速的擴(kuò)展。

三、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

CNN基礎(chǔ)的結(jié)構(gòu)是卷積層，池化層，最后為全連接層，所有的卷積神經(jīng)網(wǎng)絡(luò)模型都是在此結(jié)構(gòu)上搭建而來。

3.1卷積層

圖像經(jīng)過卷積層及提取出其輸入特征。卷積層的運(yùn)算由特征提取階段和特征映射階段構(gòu)成。

（1）特征提取階段。在特征提取階段，每個神經(jīng)元的輸入與前一層的局部接受域相連，使用卷積濾波器做卷積操作，提取出該局部的特征。設(shè)一個n*n的局部區(qū)域內(nèi)第i個像素的輸入值是Xi（i=1，2，..n*n），與n*n大小濾波器相對應(yīng)的值為wi，這個濾波器的有個固定的偏置量為b，這個區(qū)域最后經(jīng)過卷積操作變成了一個值y，卷積操作如公式（3-1）

全連接層一般放在最后，經(jīng)過全連接層后得到特征向量，可將這個特征向量用于分類或者檢索。全連接層其實(shí)就是一個卷積層，只不過最后得到的是一個向量。當(dāng)選擇的卷積核大小與輸入的大小一樣大時，經(jīng)過征提取和特征映射階段后。輸出大小為1*1的區(qū)域。這樣不同的卷積核卷積進(jìn)過此層得到的是向量，1*1的區(qū)域值即是向量的一個值。

四、結(jié)語

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過這些年的發(fā)展，對圖像、語言、文本等二維數(shù)據(jù)的識別可以達(dá)到90%，遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的淺層特征學(xué)習(xí)的方法。目前，有學(xué)者將此方法遷移到了三維模型檢索領(lǐng)域，并且取得了不錯的結(jié)果。未來的卷積神經(jīng)網(wǎng)絡(luò)這一深層學(xué)習(xí)結(jié)構(gòu)一定大有可為。

參 考 文 獻(xiàn)

[1]K.福島（Fukushima）.Neocognitron：一個自組織的神經(jīng)網(wǎng)絡(luò)模型為了一個不受位置平移影響的模式識別的機(jī)能.生物控制論，36，193-202，1980

[2]LECUN Y，BOTTOU L，BENGIO Y.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324

[3]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Image Net classification with deep convolutional neural networks[C]. Proceedings of Advances in Neural Information Processing Systems，Cambridge，MA：MIT Press，2012：1106-1114.