基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類技術(shù)

童浩然+楚軍+沈靜靜

【摘 要】隨著大量帶標(biāo)記的數(shù)據(jù)庫(kù)的開(kāi)源使用和帶有高性能GPU的計(jì)算機(jī)的發(fā)展推廣，深度學(xué)習(xí)已然從理論走向?qū)嵺`，開(kāi)始廣泛地活躍于圖像分類的舞臺(tái)之上，其中變現(xiàn)最為突出的是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNNs），目前已經(jīng)在大規(guī)模的識(shí)別與分類任務(wù)獲得了矚目的成果，突破了傳統(tǒng)分類方法的極限并且已經(jīng)首次達(dá)到優(yōu)于人眼識(shí)別的地步。本次實(shí)驗(yàn)的重點(diǎn)是將CNN應(yīng)用在實(shí)際的圖像分類操作中，并對(duì)CNN進(jìn)行優(yōu)化與改進(jìn)，采用Inception架構(gòu)高效并行處理數(shù)據(jù)，并采取新型激活函數(shù)來(lái)提高識(shí)別率，通過(guò)遷移學(xué)習(xí)在谷歌的深度學(xué)習(xí)框架tensorflow上進(jìn)行試驗(yàn)，結(jié)果表明，通過(guò)對(duì)CNN架構(gòu)的改進(jìn)，識(shí)別率得到了明顯的提升，證明改進(jìn)的CNN具有相當(dāng)?shù)膶?shí)用性。

【關(guān)鍵詞】深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；Inception架構(gòu)；遷移學(xué)習(xí)

中圖分類號(hào)： TP18 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2017）32-0036-002

【Abstract】With the open-source use of a large number of labeled databases and the development and promotion of computers with high-performance GPUs， deep learning has moved from theory to practice and has been widely active on the stage of image classification. The most prominent of these is Convolutional neural networks （CNNs） have achieved remarkable results in large-scale identification and classification tasks， breaking the limits of traditional classification methods and for the first time being better than human eye recognition. The focus of this experiment is to apply CNN in the actual image classification operation and to optimize and improve CNN. The Inception architecture is used to efficiently process data in parallel， and a new activation function is used to improve the recognition rate. Through the study of migration depth in Google The results show that the recognition rate has been significantly improved through the improvement of CNN architecture， which proves that the improved CNN is quite practical.

【Key words】Deep learning； Convolutional neural network； Inception architecture； Migration learning

0 引言

傳統(tǒng)的圖像分類技術(shù)最近幾年來(lái)發(fā)展十分緩慢，那些利用手動(dòng)提取特征并進(jìn)行分類的方法獲得的關(guān)注越來(lái)越少。傳統(tǒng)圖像分類技術(shù)概括如下，例如使用SIFT[1]和HOG[2]等方法進(jìn)行特征提取后再利用無(wú)監(jiān)督學(xué)習(xí)算法來(lái)生成特征描述符號(hào)，然后利用監(jiān)督學(xué)習(xí)算法對(duì)訓(xùn)練數(shù)據(jù)集中帶標(biāo)簽的特征集進(jìn)行學(xué)習(xí)并獲得分類器，從而實(shí)現(xiàn)對(duì)圖像的分類。

隨著大數(shù)據(jù)時(shí)代的到來(lái)和深度學(xué)習(xí)的火熱興起，圖像分類技術(shù)以日新月異的速度高速發(fā)展，無(wú)數(shù)的成果接踵而來(lái)。尤其是Alex[3]網(wǎng)絡(luò)在著名的ILSVRC[4]比賽上贏得冠軍，深度學(xué)習(xí)的實(shí)用性深得人心，人們正式開(kāi)始投身于深度學(xué)習(xí)網(wǎng)絡(luò)在圖像識(shí)別應(yīng)用的汪洋大海中，在物品定位，姿態(tài)估計(jì)，目標(biāo)檢測(cè)，視頻目標(biāo)索引，場(chǎng)景分類，場(chǎng)景解析等應(yīng)用中取得一個(gè)又一個(gè)矚目的成就，徹底取代了傳統(tǒng)淺層網(wǎng)絡(luò)和分類方法的地位。

在本文中，將實(shí)驗(yàn)重心放在利用Tensorflow實(shí)際搭建CNN框架，并對(duì)Imagenet數(shù)據(jù)庫(kù)里面下載訓(xùn)練數(shù)據(jù)完成分類，并主要進(jìn)行兩方面的創(chuàng)新，首先是對(duì)CNN的Alexnet網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn)，并通過(guò)遷移學(xué)習(xí)的方法，使之對(duì)數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，在圖像分類的實(shí)驗(yàn)中取得了良好的效果。

1 深度網(wǎng)絡(luò)

深度學(xué)習(xí)是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的延伸和發(fā)展，經(jīng)過(guò)幾十年的起起落落后，已逐漸淡出研究界的視野，但隨著大數(shù)據(jù)時(shí)代的到來(lái)和硬件設(shè)備的提升再次活躍在機(jī)器學(xué)習(xí)的舞臺(tái)之上，其中在圖像分類方面取得良好效果的當(dāng)屬CNN。一個(gè)CNN主要有以下五種結(jié)構(gòu)構(gòu)成：輸入層，卷積層（Convolution），池化層（Pooling），全連接層和Softmax層組成。輸入層連接的是整個(gè)CNN的輸入，在圖像識(shí)別的過(guò)程中，表示的是一張圖片的三維像素矩陣。CNN從輸入層開(kāi)始，將接收到的三維矩陣通過(guò)神經(jīng)網(wǎng)絡(luò)一層層傳遞下去直至完成分類。

1.1 卷積層

卷積層是CNN的核心部分和取得優(yōu)于傳統(tǒng)方法實(shí)驗(yàn)效果的關(guān)鍵，主要是通過(guò)局部連接和權(quán)值共享來(lái)改善網(wǎng)絡(luò)的架構(gòu)，從而實(shí)現(xiàn)減少參數(shù)，降低計(jì)算的復(fù)雜度，減輕實(shí)驗(yàn)過(guò)擬合的目的。卷積層的現(xiàn)源自偶然，這里需要需要引入感受野的概念，科學(xué)家通過(guò)對(duì)貓的視覺(jué)皮層細(xì)胞研究發(fā)現(xiàn)，每一個(gè)視覺(jué)神經(jīng)元都只會(huì)處理一小塊視覺(jué)圖像，根據(jù)這種一一對(duì)應(yīng)的聯(lián)系得到的啟示，將過(guò)濾器引入神經(jīng)網(wǎng)絡(luò)中。過(guò)濾器是人工設(shè)定尺寸的三維矩陣，卷積層通過(guò)過(guò)濾器在節(jié)點(diǎn)間傳送矩陣，將當(dāng)前網(wǎng)絡(luò)上的節(jié)點(diǎn)矩陣轉(zhuǎn)換為下一層網(wǎng)絡(luò)上的一個(gè)單位節(jié)點(diǎn)矩陣。endprint

1.2 池化層

通常卷積層提取的特征結(jié)果往往擁有極大的數(shù)據(jù)量，為了解決計(jì)算量龐大的問(wèn)題，池化層便應(yīng)運(yùn)而生了。池化層往往出現(xiàn)在兩個(gè)卷積層之間用來(lái)有效的縮小矩陣的尺寸來(lái)實(shí)現(xiàn)降采樣，減少輸入至最后全連接層的參數(shù)，從而達(dá)到減少計(jì)算量的目的。池化層的作用過(guò)程也是類似卷積層那樣，通過(guò)移動(dòng)過(guò)濾器來(lái)實(shí)現(xiàn)前向傳播，不同點(diǎn)是不進(jìn)行卷積計(jì)算加權(quán)和，只是單純的采取最大值，這樣的池化層稱之為最大池化層。

2 改進(jìn)

在CNN中卷積層的設(shè)計(jì)中，最重要的就是過(guò)濾器的選擇，因?yàn)檫^(guò)濾器大小的選擇直接影響特征提取的效果，選擇較小的過(guò)濾器，優(yōu)點(diǎn)是可以提取到更多更詳盡的細(xì)節(jié)，然而如果選取的過(guò)濾器過(guò)小可能造成提取空白數(shù)據(jù)，導(dǎo)致特征大量丟失，從而影響分類效果，而且太小的過(guò)濾器選擇會(huì)導(dǎo)致計(jì)算量增加，降低神經(jīng)網(wǎng)絡(luò)的效率。為了解決卷積神經(jīng)網(wǎng)絡(luò)的過(guò)濾器選擇問(wèn)題，本文采用inception-v3結(jié)構(gòu)，和一般CNN中利用幾個(gè)大小不同的過(guò)濾器串聯(lián)起來(lái)的結(jié)構(gòu)不同，它采用的是高效的并行處理架構(gòu)，通過(guò)找出最優(yōu)局部稀疏結(jié)構(gòu)并用相似的用稠密組件代替。從而實(shí)現(xiàn)高效的降維，也可以在減少需要訓(xùn)練的參數(shù)的同時(shí)抑制過(guò)擬合，達(dá)到提高模型的推廣能力的目的。

3 實(shí)驗(yàn)

3.1 ImageNet數(shù)據(jù)集

ImageNet是一個(gè)基于WordNet的大型圖像數(shù)據(jù)庫(kù)，在ImageNet中有大概1500萬(wàn)左右的不同類別圖片，分別被關(guān)聯(lián)到WordNet的兩萬(wàn)個(gè)名詞上，每個(gè)名詞即為圖像分類結(jié)果中的一個(gè)類別，ImageNet中的圖片都是從互聯(lián)網(wǎng)上爬取的，并通過(guò)亞馬遜的人工標(biāo)注服務(wù)將其分類到WordNet上，ImageNet里面的圖像包括一個(gè)實(shí)體，或可能出現(xiàn)多個(gè)實(shí)體，本次試驗(yàn)主要研究單實(shí)體圖像的分類。

3.2 實(shí)驗(yàn)部分

為了驗(yàn)證改進(jìn)的有效性，本次設(shè)計(jì)進(jìn)行對(duì)比實(shí)驗(yàn)的方法，將實(shí)驗(yàn)分為三部分，第一部分是利用CNN基本的LeNet-5架構(gòu)進(jìn)行圖像分類，第二部分是利用改進(jìn)的Inception-v3架構(gòu)進(jìn)行分類，這部分激活函數(shù)選取ReLU。第三部分是將PReLU函數(shù)加到Inception架構(gòu)中，分別進(jìn)行實(shí)驗(yàn)后記錄結(jié)果，表1是對(duì)三種分類方法取得的識(shí)別率的比較。結(jié)果表明，改進(jìn)的并行架構(gòu)使得識(shí)別正確率得到了5.9%的提升的同時(shí)識(shí)別速率也得到了改善，同時(shí)激活函數(shù)的改變也使得在相同分類圖像的識(shí)別效果得到了改善，改進(jìn)的有效性得到了證明。

4 結(jié)束語(yǔ)

和傳統(tǒng)的分類方法相比，深度學(xué)習(xí)不僅在識(shí)別率方面具有明顯的優(yōu)越性，而且利用CNN的卷積層池化層等基本結(jié)構(gòu)就可以提取圖像特征并加以分類，這極大的簡(jiǎn)化了傳統(tǒng)分類方法繁瑣的步驟，是當(dāng)今研究界最熱門的課題之一，新的研究理論與成果與日俱增，并且已經(jīng)初步投入工業(yè)使用中，基于深度學(xué)習(xí)的圖像分類的產(chǎn)品也已推廣使用。例如在谷歌，圖像分類已經(jīng)應(yīng)用于無(wú)人駕駛汽車、YouTube、谷歌地圖，圖像搜索等。因此完全有理由相信深度學(xué)習(xí)必將取得更加矚目的成果并且改變我們的生活。

【參考文獻(xiàn)】

[1]J.：Alarge-scale hierarchical image database[C].2009.

[2]A.classification with deep convolutional neural networks[J].2012.

[3]Y.：Closing the gap to human-level performance in face verification[C].2012.

[4]D.deep neural networks for image classification[J].2013.endprint