自然場(chǎng)景下基于改進(jìn)LeNet卷積神經(jīng)網(wǎng)絡(luò)的蘋果圖像識(shí)別技術(shù)

程鴻芳張春友

(1. 蕪湖職業(yè)技術(shù)學(xué)院，安徽 蕪湖 241000；2. 內(nèi)蒙古民族大學(xué)機(jī)械工程學(xué)院，內(nèi)蒙古 通遼 028043)

隨著中國蘋果產(chǎn)業(yè)不斷向機(jī)械化、規(guī)模化方向發(fā)展，利用圖像識(shí)別技術(shù)對(duì)果實(shí)進(jìn)行識(shí)別、監(jiān)測(cè)及自動(dòng)化管理是解決目前人工作業(yè)效率低，勞動(dòng)強(qiáng)度大問題的關(guān)鍵[1-2]。為此，學(xué)者們對(duì)其進(jìn)行了深入研究，并取得了較大進(jìn)展。錢建平等[3]以圖斑為特征變量進(jìn)行蘋果圖像特征提取，并建立產(chǎn)量估測(cè)模型計(jì)算單株果樹的產(chǎn)量。許立兵等[4]針對(duì)傳統(tǒng)蘋果分級(jí)檢測(cè)存在的問題，設(shè)計(jì)了一種基于ARM的蘋果采后田間分級(jí)檢測(cè)系統(tǒng)，采用基于Haar-like特性的級(jí)聯(lián)Adaboost目標(biāo)檢測(cè)算法，對(duì)蘋果果實(shí)的大小和缺陷進(jìn)行識(shí)別，實(shí)現(xiàn)了蘋果的田間預(yù)分級(jí)檢驗(yàn)。田有文等[5]利用高光譜成像技術(shù)提取蘋果感興趣區(qū)域光譜信息，對(duì)果梗的完整性進(jìn)行檢測(cè)，實(shí)現(xiàn)了對(duì)蘋果品質(zhì)的等級(jí)評(píng)價(jià)。

但是，隨著機(jī)器視覺研究的發(fā)展，數(shù)據(jù)量劇增，傳統(tǒng)基于果實(shí)顏色、形狀或紋理特征等內(nèi)容的識(shí)別方法，在特征提取方面存在的計(jì)算復(fù)雜、特征不可遷移等問題愈發(fā)突出。特別是對(duì)復(fù)雜背景環(huán)境、光照條件、果實(shí)重疊及其他遮擋等情況的圖像識(shí)別上，存在識(shí)別準(zhǔn)確率差和運(yùn)算效率低的問題，不能滿足實(shí)際需求。近年來，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)開始逐漸應(yīng)用于目標(biāo)識(shí)別與定位領(lǐng)域。周云成等[6]在VGGNet基礎(chǔ)上，設(shè)計(jì)了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官檢測(cè)器，在檢測(cè)速度和精度上優(yōu)于同類算法。馬永杰等[7]提出了改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet的分類識(shí)別算法模型，對(duì)交通標(biāo)志進(jìn)行識(shí)別，結(jié)果達(dá)到預(yù)期。龍滿生等[8]利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力，對(duì)油茶病害特征進(jìn)行提取，并借助遷移學(xué)習(xí)方法，將AlexNet模型在ImageNet圖像數(shù)據(jù)集上，學(xué)習(xí)得到的知識(shí)遷移到油茶病害識(shí)別任務(wù)，從而提高了圖像的分類精度。

可見，卷積神經(jīng)網(wǎng)絡(luò)可直接將原始圖像作為輸入，避免傳統(tǒng)識(shí)別算法中繁瑣的數(shù)據(jù)處理過程，實(shí)現(xiàn)圖像特征的自動(dòng)提取，并且能進(jìn)行自我學(xué)習(xí)，對(duì)圖像具有極強(qiáng)的數(shù)據(jù)表征能力，是一種高效的識(shí)別方法，經(jīng)過檢索尚未發(fā)現(xiàn)有其他研究人員將此技術(shù)用于復(fù)雜背景環(huán)境、光照條件、蘋果果實(shí)重疊及其他遮擋等情況的圖像識(shí)別上。本試驗(yàn)擬以LeNet卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)，對(duì)其池化方法、激活函數(shù)等參數(shù)結(jié)構(gòu)進(jìn)行改進(jìn)，設(shè)計(jì)一種基于改進(jìn)LeNet卷積神經(jīng)網(wǎng)絡(luò)的蘋果目標(biāo)識(shí)別模型，以此模型為基礎(chǔ)，深入分析研究卷積神經(jīng)網(wǎng)絡(luò)對(duì)果實(shí)目標(biāo)的識(shí)別效果。同時(shí)，對(duì)照其他研究方法在自然場(chǎng)景下對(duì)不同位置形態(tài)的蘋果果實(shí)進(jìn)行識(shí)別訓(xùn)練及測(cè)試驗(yàn)證，并對(duì)果實(shí)重疊及其他遮擋等復(fù)雜情況進(jìn)行重點(diǎn)分析，以期建立一種抗干擾能力強(qiáng)，識(shí)別成功率高，識(shí)別速度快，對(duì)枝葉遮擋、光線變化等影響均具有相對(duì)較好魯棒性的方法。

1 卷積神經(jīng)網(wǎng)絡(luò)

CNN模型主要包括輸入層、卷積層、池化層、全連接層和輸出層。其中卷積層和池化層是模型核心部分，主要用于圖像特征的提取，全連接層能夠?qū)崿F(xiàn)圖像從高維特征域到圖像類別域的映射[9-10]。

1.1 卷積層

卷積層包含多個(gè)卷積核，通過卷積計(jì)算得到輸入圖像的特征圖，其表達(dá)式為[11-13]：

(1)

式中：

f(·)——激活函數(shù)；

1.2 池化層

池化層又叫下采樣層，本質(zhì)上是圖像的一種聚合操作，用于對(duì)原始的特征信息進(jìn)行提取，減小特征維數(shù)和數(shù)據(jù)的空間大小，可以在一定程度上控制模型的過擬合現(xiàn)象，其表達(dá)式為：

(2)

式中：

down(·)——下采樣函數(shù)；

2 試驗(yàn)數(shù)據(jù)

2.1 圖像采集

分別在陰天和晴天的順光和逆光條件下，在某蘋果園自然場(chǎng)景下采集蘋果圖像，以保證樣本的多樣性。共采集原始圖像600幅(晴天和陰天各300幅)，格式為JPEG，分辨率為2 992像素×2 992像素。

2.2 樣本處理與試驗(yàn)方法

對(duì)圖像進(jìn)行預(yù)處理，可以增強(qiáng)數(shù)據(jù)樣本，減少后續(xù)試驗(yàn)運(yùn)行時(shí)間，提高模型性能。包括：① 對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理，以更好地提取圖像特征，避免出現(xiàn)過擬合；② 圖像進(jìn)行空間尺度變換，即將圖像進(jìn)行隨機(jī)縮放、平移、旋轉(zhuǎn)、鏡像、隨機(jī)裁剪；③ 進(jìn)行圖像均值與方差均衡，即樣本歸一化。預(yù)處理后圖像尺寸為32像素×32像素。處理中，共得到蘋果圖像2 435幅，在不同天氣情況下隨機(jī)選取487幅圖像作為測(cè)試，其他圖像用于訓(xùn)練，二者之間無重疊。表1為測(cè)試集樣本信息。

表1 測(cè)試集樣本數(shù)量

3 基于改進(jìn)LeNet卷積神經(jīng)網(wǎng)絡(luò)的蘋果圖像識(shí)別

3.1 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

以 LeNet 作為基礎(chǔ)網(wǎng)絡(luò)架構(gòu)在 Matlab 中建立卷積神經(jīng)網(wǎng)絡(luò)模型，并對(duì)其重要的結(jié)構(gòu)參數(shù)進(jìn)行改進(jìn)，為了更好地提取圖像的低階特征和有效的傳遞誤差梯度，采用Re LU作為激活函數(shù)。在池化操作中使用最大池化方法代替平均池化方法，以降低特征提取時(shí)因估計(jì)均值偏移所引起的誤差，如圖1所示。

為保證所建立的神經(jīng)網(wǎng)絡(luò)模型具有較好的性能，綜合考慮模型結(jié)構(gòu)參數(shù)，包括3個(gè)卷積層C1、C3和C5，2個(gè)池化層S2和S4，1個(gè)全連接層F6，1個(gè)輸出層。

圖1 基于改進(jìn) LeNet 的蘋果圖像識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

輸入到第1卷積層C1的是大小為32×32的圖像，取6個(gè)尺寸為5×5的卷積核，卷積運(yùn)算后得到6個(gè)特征圖，C1層中包含的訓(xùn)練參數(shù)為6×(5×5+1)，即得到的特征圖大小為28×28；第1池化層S2中包含6個(gè)大小為14×14的特征圖，與C1中所對(duì)應(yīng)的大小為2×2特征圖的領(lǐng)域相連接；第2卷積層C3中采用16個(gè)大小為5×5的卷積核，計(jì)算方法同C1類似，得到16個(gè)10×10 大小的特征圖；第2池化層S4采用大小為2×2的采樣核，特征圖個(gè)數(shù)為16個(gè)，經(jīng)過池化操作后輸出16個(gè)5×5 大小的特征圖；第3卷積層C5中每個(gè)神經(jīng)元與S4中的5×5 鄰域相連接，輸出120個(gè)1×1的特征圖，使池化層S4與卷積層C5之間構(gòu)成全連接；全連接層F6中擁有84個(gè)隱含節(jié)點(diǎn)，與卷積層C5構(gòu)成全連接；最后在輸出層中輸出分類結(jié)果。各層具體參數(shù)如表2所示。

表2 LeNet 神經(jīng)網(wǎng)絡(luò)各層參數(shù)

3.2 圖像識(shí)別步驟

采用所提的改進(jìn)LeNet卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)蘋果圖像進(jìn)行識(shí)別，具體方法參照文獻(xiàn)[14]。

(1) 對(duì)預(yù)處理后的圖像進(jìn)行篩選，達(dá)到訓(xùn)練要求。

(2) 隨機(jī)選取圖像，建立數(shù)據(jù)集，初始化網(wǎng)絡(luò)結(jié)構(gòu)得到卷積核的權(quán)值。

(3) 將圖像在C1卷積層中進(jìn)行卷積計(jì)算，獲得相應(yīng)的特征圖。

(4) 利用最大池化法將特征圖在S2池化層中進(jìn)行下采樣。

(5) 重復(fù)步驟(3)和(4)，將得到的特征圖在C3卷積層和S4池化層中進(jìn)行2次卷積和采樣，獲得新的特征圖。

(6) 重復(fù)步驟(3)和(4)，對(duì)輸出的特征圖進(jìn)行3次卷積。

(7) 將最后得到的特征圖轉(zhuǎn)換成列向量，作為全連接層的輸入，通過反向傳播算法更新網(wǎng)絡(luò)參數(shù)；

(8) 利用訓(xùn)練得到的網(wǎng)絡(luò)模型對(duì)測(cè)試圖像進(jìn)行分類，通過Softmax分類器結(jié)合多尺度滑動(dòng)窗算法顯示識(shí)別結(jié)果。按照?qǐng)D像中果實(shí)的相對(duì)位置將果實(shí)分為4類：獨(dú)立果實(shí)、遮擋果實(shí)、重疊果實(shí)以及相鄰果實(shí)。

4 結(jié)果與分析

4.1 模型訓(xùn)練

利用訓(xùn)練集樣本進(jìn)行訓(xùn)練，取網(wǎng)絡(luò)初始權(quán)重的初始化標(biāo)準(zhǔn)差為0.01，均值為0的高斯分布，設(shè)樣本迭代次數(shù)為 2 000次，權(quán)重參數(shù)的初始學(xué)習(xí)速率為0.001，動(dòng)量因子為0.9。訓(xùn)練結(jié)果如圖2所示。

圖2 CNN訓(xùn)練準(zhǔn)確率與損失值變化曲線

由圖2仿真結(jié)果可以看出，所設(shè)計(jì)算法的訓(xùn)練準(zhǔn)確率隨著迭代次數(shù)的增加而迅速升高，且趨于穩(wěn)定，訓(xùn)練集和驗(yàn)證集兩者的分類結(jié)果非常接近，準(zhǔn)確率達(dá)到98.5%。目標(biāo)函數(shù)的損失值迅速降低，在迭代2 000次時(shí)，目標(biāo)函數(shù)的損失值收斂在0.05左右，基本保持穩(wěn)定，表明所設(shè)計(jì)的網(wǎng)絡(luò)模型是有效的，達(dá)到了預(yù)期的訓(xùn)練效果。

4.2 模型驗(yàn)證

網(wǎng)絡(luò)的最終輸出為識(shí)別到蘋果目標(biāo)的概率，為了驗(yàn)證改進(jìn)LeNet卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，對(duì)測(cè)試集的圖像進(jìn)行識(shí)別。在測(cè)試集中隨機(jī)選取150幅圖像，陰天和晴天各75幅，共有果實(shí)圖像4 252個(gè)。選用識(shí)別目標(biāo)與真實(shí)目標(biāo)重合的比率重疊系數(shù)作為試驗(yàn)結(jié)果有效性的評(píng)價(jià)指標(biāo)，網(wǎng)絡(luò)的最終輸出為識(shí)別到的蘋果目標(biāo)的概率，結(jié)果僅保留重疊系數(shù)>75%的區(qū)域，即當(dāng)重疊系數(shù)>75%時(shí)，認(rèn)為識(shí)別準(zhǔn)確，識(shí)別結(jié)果示例和具體識(shí)別結(jié)果分別如表3所示。

由表3可知，獨(dú)立果實(shí)、重疊果實(shí)、相鄰果實(shí)以及遮擋果實(shí)的識(shí)別率分別為96.25%，91.37%，94.91%，89.56%，綜合識(shí)別率達(dá)到93.79%。其中因遮擋、重疊以及光線等原因，使果實(shí)輪廓不全或不清晰的果實(shí)，容易出現(xiàn)漏識(shí)別現(xiàn)象，從而影響了整體的識(shí)別精度。但整體來看，所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型具有很好的識(shí)別效果。

表3 果實(shí)識(shí)別具體結(jié)果

4.3 與其他方法對(duì)比分析

為進(jìn)一步驗(yàn)證算法的優(yōu)越性，將本算法與基于ResNet-44的R-FCN網(wǎng)絡(luò)、基于ResNet-101的 R-FCN網(wǎng)絡(luò)以及基于ResNet-50的R-FCN網(wǎng)絡(luò)進(jìn)行對(duì)比[15]，結(jié)果如表4所示。與其他網(wǎng)絡(luò)算法相比，本文設(shè)計(jì)的基于改進(jìn)LeNet卷積神經(jīng)網(wǎng)絡(luò)的蘋果識(shí)別方法具有較強(qiáng)的抗干擾能力，識(shí)別成功率高，識(shí)別速度快，對(duì)枝葉遮擋、光線變化等影響均具有相對(duì)較好的魯棒性。

表4 不同網(wǎng)絡(luò)識(shí)別效果對(duì)比

5 結(jié)論

針對(duì)傳統(tǒng)圖像識(shí)別方法在特征提取方面存在計(jì)算復(fù)雜、特征不可遷移等問題，為避免光照條件、重疊及其他遮擋等因素給圖像識(shí)別帶來的影響，利用卷積神經(jīng)網(wǎng)絡(luò)圖像特征提取能力強(qiáng)的特點(diǎn)，提出基于卷積神經(jīng)網(wǎng)絡(luò)的蘋果圖像識(shí)別方法。以LeNet卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)架構(gòu)，并對(duì)其結(jié)構(gòu)和參數(shù)進(jìn)行優(yōu)化和改進(jìn)，以更好地對(duì)圖像特征進(jìn)行提取。同時(shí)，利用該模型對(duì)不同果實(shí)位置差別的數(shù)據(jù)集進(jìn)行訓(xùn)練、驗(yàn)證和結(jié)果分析，并與同類文獻(xiàn)進(jìn)行識(shí)別精度對(duì)比。分析結(jié)果表明：本試驗(yàn)所建立的網(wǎng)絡(luò)模型可有效實(shí)現(xiàn)蘋果圖像的識(shí)別，對(duì)獨(dú)立果實(shí)、重疊果實(shí)、相鄰果實(shí)以及遮擋果實(shí)的識(shí)別率分別為96.25%，91.37%，94.91%，89.56%，綜合識(shí)別率達(dá)到93.79%。與其他方法相比，本算法果實(shí)識(shí)別速度快、識(shí)別率更高，尤其對(duì)重疊及其他遮擋的果實(shí)圖像具有較好的識(shí)別能力。