基于數(shù)據(jù)增強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別研究

高友文，周本君，胡曉飛

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京郵電大學(xué) 地理與生物信息學(xué)院，江蘇 南京 210003)

0 引 言

隨著科學(xué)的發(fā)展和技術(shù)的進(jìn)步,圖像技術(shù)已經(jīng)得到了廣泛的應(yīng)用,例如在語(yǔ)音識(shí)別、圖像識(shí)別、垃圾短信等方面,從開(kāi)始的最簡(jiǎn)單的理論知識(shí)發(fā)展成為日常生活中隨處可見(jiàn)的現(xiàn)象。而其中圖像識(shí)別技術(shù)的應(yīng)用尤為普遍。手機(jī)、電腦等的指紋解鎖，公司簽到所使用的打卡機(jī),還有最新的人臉識(shí)別的簽到系統(tǒng),這些都是圖像識(shí)別技術(shù)的官方應(yīng)用。在德國(guó)漢諾威CeBTT展會(huì)的開(kāi)幕式上,馬云在現(xiàn)場(chǎng)發(fā)布并演示了一種最新的支付認(rèn)證技術(shù):人臉識(shí)別支付技術(shù)。這就意味著，當(dāng)以后使用支付寶進(jìn)行交易時(shí)，連手機(jī)都不需要攜帶了，只需要刷臉便可以輕松完成支付。圖像識(shí)別技術(shù)發(fā)展至今，己經(jīng)從最簡(jiǎn)單的數(shù)字識(shí)別發(fā)展到了物體的識(shí)別、人臉的識(shí)別，并且還在繼續(xù)發(fā)展。

從深度學(xué)習(xí)[1-2]發(fā)展而來(lái)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)由紐約大學(xué)的Yann LeCun于1998年提出[3]。早期的CNN模型較為簡(jiǎn)單[3]，應(yīng)用場(chǎng)景也非常單一，隨著研究的不斷深入，應(yīng)用領(lǐng)域也在不斷擴(kuò)展。例如，卷積神經(jīng)網(wǎng)絡(luò)與深信度網(wǎng)絡(luò)[4]結(jié)合產(chǎn)生的卷積深信度網(wǎng)絡(luò)[5]成功應(yīng)用于人臉的特征提取。AlexNet網(wǎng)絡(luò)在大數(shù)據(jù)分析中取得了非常好的效果。在目標(biāo)檢測(cè)領(lǐng)域，R-CNN也取得了成功[6]。近年來(lái)。圖像識(shí)別技術(shù)得到了進(jìn)一步的提升[7-8]。在中國(guó)，卷積神經(jīng)網(wǎng)絡(luò)也成功應(yīng)用于商品分類[9-11]和計(jì)算機(jī)視覺(jué)[12]等領(lǐng)域。

CNN本質(zhì)上是一個(gè)多層感知機(jī)，具有3個(gè)最優(yōu)秀的特點(diǎn)：稀疏交互、權(quán)值共享、等變表示。通過(guò)減少權(quán)值的數(shù)量使得網(wǎng)絡(luò)更加容易優(yōu)化，另一方面也降低了過(guò)擬合的概率。CNN也屬于神經(jīng)網(wǎng)絡(luò)，它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)和生物神經(jīng)網(wǎng)絡(luò)很類似,采用這種做法，一方面不僅降低了網(wǎng)絡(luò)模型的復(fù)雜度，而且還降低了權(quán)值的數(shù)量。多維圖像傳輸時(shí)，這些優(yōu)點(diǎn)更加突出。將原始圖像作為網(wǎng)絡(luò)的輸入,就可以有效地避免傳統(tǒng)識(shí)別算法中那些相對(duì)來(lái)說(shuō)較為復(fù)雜的特征提取和數(shù)據(jù)重建的過(guò)程。處理二維圖像也具有優(yōu)勢(shì),如自行抽取包括顏色、紋理、形狀的圖像特征以及圖像的拓?fù)浣Y(jié)構(gòu)。CNN在處理圖像上擁有如此強(qiáng)大的能力，因此其在圖像識(shí)別技術(shù)中的應(yīng)用可能會(huì)得到一個(gè)好的表現(xiàn)。

文中研究了卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)增強(qiáng)手段,并將其應(yīng)用在公開(kāi)數(shù)據(jù)集leaves和蘋(píng)果表面病變數(shù)據(jù)集上,觀察數(shù)據(jù)增強(qiáng)前后的準(zhǔn)確率的變化情況。

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法結(jié)合形成的，在圖像處理方面效果顯著。卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、隱層和輸出層，輸入層是未經(jīng)處理的原始圖像或進(jìn)行一般預(yù)處理后的圖像，輸出層是對(duì)圖像通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取后產(chǎn)生的結(jié)果,隱層是一種多層非線性結(jié)構(gòu)的神經(jīng)元層，包含三級(jí)：線性激活響應(yīng)、探測(cè)級(jí)、池化函數(shù)。卷積神經(jīng)網(wǎng)絡(luò)是在隱層中實(shí)現(xiàn)對(duì)圖像的特征提取以及分類的，所以通過(guò)實(shí)現(xiàn)對(duì)卷積層和單層感知器的優(yōu)化就可以提高特征提取的精度和優(yōu)化分類的效果。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為簡(jiǎn)化分析，圖1中的隱層只畫(huà)了2個(gè)卷積層(C1、C3)，2個(gè)子采樣層(S2、S4)。輸入數(shù)據(jù)Input為原始圖像,輸出結(jié)果分為A～G七類。C層和S層作為提取特征的基本單元。多次特征提取后，光柵化得到的最終的特征圖,得到一個(gè)一維矩陣形式的全連接層。輸出結(jié)果通過(guò)全鏈接的方式得到。

1.2 CNN中的數(shù)據(jù)增強(qiáng)

卷積神經(jīng)網(wǎng)絡(luò)需要優(yōu)化[13]提高深度學(xué)習(xí)模型泛化能力的最好辦法是使用更多的數(shù)據(jù)進(jìn)行訓(xùn)練。當(dāng)然，在實(shí)踐中，擁有的數(shù)據(jù)量是有限的。解決這一問(wèn)題的一種方法是創(chuàng)建假數(shù)據(jù)并添加到訓(xùn)練集中。

數(shù)據(jù)增強(qiáng)對(duì)對(duì)象識(shí)別這一類問(wèn)題特別有效。因?yàn)閳D像是高維的并包括各種巨大的變化因素，其中有許多可以輕易地模擬。即使模型已經(jīng)使用了卷積和池化技術(shù)對(duì)部分評(píng)議保持不變，沿訓(xùn)練圖像每個(gè)方向平移幾個(gè)像素的操作通?？梢源蟠蟾纳品夯?/p>

通常有下面這些數(shù)據(jù)增強(qiáng)方法：

(1)顏色的數(shù)據(jù)增強(qiáng)：色彩的飽和度、對(duì)比度和亮度等方面。

(2)PCA Jittering，首先按照RGB三個(gè)顏色通道計(jì)算均值和標(biāo)準(zhǔn)差，對(duì)網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行規(guī)范化，在整個(gè)訓(xùn)練集上計(jì)算協(xié)方差矩陣，進(jìn)行特征分解，得到特征向量和特征值，用來(lái)做PCA Jittering。

(3)在圖像進(jìn)行裁剪和縮放時(shí)[14]，可以使用隨機(jī)的圖像差值方式。

(4)Crop Sampling，就是怎么從原始圖像中進(jìn)行縮放裁剪獲得網(wǎng)絡(luò)的輸入。比較常用的有2種方法：一種是使用Scale Jittering，VGG和ResNet模型的訓(xùn)練都用了這種方法；另一種是尺度和長(zhǎng)寬比增強(qiáng)變換，最早是Google提出訓(xùn)練它們的Inception網(wǎng)絡(luò)的。

針對(duì)樣本數(shù)較少和樣本相似度較高等問(wèn)題，文中采用如下預(yù)處理方法：

(1)對(duì)數(shù)據(jù)進(jìn)行鏡面對(duì)稱增強(qiáng)數(shù)據(jù)集：分為左右和上下對(duì)稱，這樣將會(huì)使數(shù)據(jù)集數(shù)量翻兩番。

(2)對(duì)于刮痕這一個(gè)系列的數(shù)據(jù)集，因?yàn)樗闹饕Z(yǔ)義只占全部圖像的10%左右，且大部分集中在中部區(qū)域，所以為了突出特征，進(jìn)行了背景分割。

(3)對(duì)通過(guò)變換的圖像進(jìn)行PCA處理：

首先根據(jù)RGB三色對(duì)樣本陣元進(jìn)行如下標(biāo)準(zhǔn)化，變換色通道計(jì)算均值和標(biāo)準(zhǔn)差，對(duì)網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行規(guī)范化。

(1)

隨后在整個(gè)訓(xùn)練集上計(jì)算協(xié)方差矩陣。

(2)

(3)

將求出的特征向量按照特征值的大小進(jìn)行組合形成一個(gè)映射矩陣，并根據(jù)指定的PCA保留的特征個(gè)數(shù)取出映射矩陣的前n行或者前n列作為最終的映射矩陣，用映射矩陣對(duì)原始數(shù)據(jù)進(jìn)行映射，達(dá)到數(shù)據(jù)降維的目的。

2 算法理論和過(guò)程分析

文中的輸入數(shù)據(jù)為256×256的原始圖像。訓(xùn)練樣本的數(shù)目對(duì)于結(jié)果的影響非常大。所以為了增加訓(xùn)練樣本數(shù)，同時(shí)可以降低過(guò)擬合，在保證神經(jīng)網(wǎng)絡(luò)深度的前提下，將訓(xùn)練樣本調(diào)整為126×126的子圖像。文中采用的AlexNet網(wǎng)絡(luò)結(jié)果的第一層卷積使用64個(gè)大小為7×7、步長(zhǎng)為3的高斯核對(duì)子圖進(jìn)行濾波，然后以最大池的窗口大小2×2、步長(zhǎng)設(shè)置為2的池化層進(jìn)行處理。使用Relu作為激勵(lì)層，以達(dá)到減少運(yùn)算量和數(shù)據(jù)維度的目的。第2層卷積到第7層卷積采用的都是大小為3×3、步長(zhǎng)為1的高斯核進(jìn)行濾波。為了保證卷積運(yùn)算后的特征圖大小不變，均在4個(gè)邊緣擴(kuò)充1個(gè)像素。第5個(gè)卷積層后最大池的窗口大小為3×3、步長(zhǎng)為2，這個(gè)池化層將使得池化的區(qū)域產(chǎn)生重疊，這種技術(shù)可以在一定程度上降低過(guò)擬合。將LRN層放置在第6個(gè)和第7個(gè)卷積層之后進(jìn)行局部區(qū)域歸一化，達(dá)到側(cè)抑制的效果。2個(gè)全連接層之間使用dropout層，dropout層的比率為0.5。通過(guò)隨機(jī)選擇部分網(wǎng)絡(luò)的隱含層工作節(jié)點(diǎn)，使得不工作的網(wǎng)絡(luò)神經(jīng)元不再影響前向傳播，同時(shí)也不參與反向傳播，使得每次得到不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，阻止了某些特征僅僅在其他特定特征下才有效的情況。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

采用Leaves數(shù)據(jù)集和蘋(píng)果表面病變圖像數(shù)據(jù)集進(jìn)行測(cè)試。Leaves數(shù)據(jù)集是來(lái)自于加州理工的一個(gè)開(kāi)源樹(shù)葉圖片集，由Markus Weber在加州理工校園內(nèi)和校園附近拍攝采集，共186張圖片。圖片集下一共有三個(gè)子分類，每個(gè)子分類60張圖片，格式為jpeg，大小896×592，圖片背景不同。

蘋(píng)果表面病變圖像數(shù)據(jù)集是人工進(jìn)入蘋(píng)果園區(qū)進(jìn)行拍攝采集的數(shù)據(jù)樣本。采集到的數(shù)據(jù)集一共16 000張。采集樣本分為4類：完好、圓形斑點(diǎn)、刮痕、完全腐爛。其中每種分類一共是4 000張左右作為訓(xùn)練集，60張作為測(cè)試集，格式為jpg，大小為4 160×3 120。

蘋(píng)果表面病變圖像數(shù)據(jù)集樣本圖片如圖2所示。

圖2 蘋(píng)果表面疤痕樣本

從上之下依次為腐爛，圓形斑點(diǎn)，劃痕，完好。

3.2 實(shí)驗(yàn)環(huán)境

軟件系統(tǒng)是ubuntu16.04，學(xué)習(xí)框架為Caffe。硬件環(huán)境：CPU為i7-4200hq，GPU為970M。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 處理后蘋(píng)果表面病變圖像數(shù)據(jù)集樣本圖片

(1)背景切割和鏡像處理。背景切割和鏡像處理后得到的圖片如圖3所示。

圖3 背景切割和鏡像處理

(2)PCA處理。對(duì)圖2腐爛樣本進(jìn)行PCA變換后得到的圖片如圖4所示。

圖4 PCA降維

3.3.2 數(shù)據(jù)預(yù)處理前后的結(jié)果對(duì)比

表1給出了原始蘋(píng)果表面病變圖像數(shù)據(jù)集和Leaves數(shù)據(jù)集和增強(qiáng)后的蘋(píng)果表面病變圖像數(shù)據(jù)集和leaves數(shù)據(jù)集的性能比較。

表1 實(shí)驗(yàn)結(jié)果

數(shù)據(jù)增強(qiáng)的手段使用了圖像剪裁、鏡像變換、PCA三種方法。從accuracy來(lái)看，蘋(píng)果表面病變圖像數(shù)據(jù)集數(shù)據(jù)增強(qiáng)后由78%上升到83%，公開(kāi)數(shù)據(jù)集Leaves由84%上升到86%，說(shuō)明數(shù)據(jù)增強(qiáng)對(duì)圖像分類的效果有很重要的影響。

4 結(jié)束語(yǔ)

為了研究數(shù)據(jù)增強(qiáng)對(duì)CNN識(shí)別準(zhǔn)確率的影響，針對(duì)網(wǎng)絡(luò)樣本數(shù)較少和樣本相似度較高等問(wèn)題，在AlexNet網(wǎng)絡(luò)模型的基礎(chǔ)上，提出對(duì)數(shù)據(jù)集采用數(shù)據(jù)集擴(kuò)增、背景分割和主成分分析等數(shù)據(jù)預(yù)處理方法，并在公開(kāi)數(shù)據(jù)集Leaves和蘋(píng)果表面病變圖像數(shù)據(jù)集上進(jìn)行測(cè)試。測(cè)試結(jié)果表明，數(shù)據(jù)增強(qiáng)處理后，將該網(wǎng)絡(luò)用于對(duì)公開(kāi)數(shù)據(jù)集和蘋(píng)果表面病變數(shù)據(jù)集的識(shí)別，準(zhǔn)確率

都有一定的提升。