基于GoogLeNet深度遷移學(xué)習(xí)的蘋果缺陷檢測方法

薛 勇 王立揚(yáng) 張 瑜 沈 群,4

(1.中國農(nóng)業(yè)大學(xué)食品科學(xué)與營養(yǎng)工程學(xué)院， 北京 100083；2.中國農(nóng)業(yè)大學(xué)國家果蔬加工工程技術(shù)研究中心， 北京 100083；3.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083；4.中國農(nóng)業(yè)大學(xué)植物蛋白與谷類加工北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100083)

0 引言

蘋果產(chǎn)業(yè)是我國最重要果蔬產(chǎn)業(yè)之一，分級加工是其流通的關(guān)鍵環(huán)節(jié)。蘋果缺陷檢測是蘋果分級的重要指標(biāo)，在較低成本下實(shí)現(xiàn)快速、準(zhǔn)確的蘋果缺陷檢測，是目前國內(nèi)外研究的熱點(diǎn)[1-3]。目前，國內(nèi)蘋果分選仍以人工操作為主，成本高、效率低。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，多種基于機(jī)器學(xué)習(xí)的圖像處理技術(shù)運(yùn)用于蘋果分級與缺陷檢測中，取得良好的效果。BHATT等[4]利用人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network，ANN)對蘋果進(jìn)行等級評判，準(zhǔn)確率超90%。陳珂等[5]利用蘋果形狀特征提取與支持向量機(jī)(Support vector machine，SVM)結(jié)合，對蘋果進(jìn)行成熟度分類，檢測速度達(dá)0.25 s/個(gè)。邱光應(yīng)等[6]研究了蘋果缺陷檢測方法，提出決策樹、支持向量機(jī)算法，實(shí)驗(yàn)效果良好。李慶中[7]利用遺傳算法進(jìn)行蘋果顏色分級，對蘋果外部品質(zhì)的實(shí)時(shí)檢測進(jìn)行了研究。VAKILIAN等[8]提取蘋果圖像紋理特征，并利用人工神經(jīng)網(wǎng)絡(luò)對不同品種蘋果進(jìn)行識別，測試集的準(zhǔn)確率為75%～90%。傳統(tǒng)機(jī)器學(xué)習(xí)需人工提取特征，易導(dǎo)致相關(guān)特征不夠全面，從而降低識別的準(zhǔn)確率。同時(shí)，人為的特征工程費(fèi)時(shí)，難以應(yīng)用于產(chǎn)業(yè)化生產(chǎn)。

深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network，CNN)可有效克服上述弊端。1999年LECUN等[9]提出了LeNet-5經(jīng)典CNN模型，2012年AlexNet獲得當(dāng)年ImageNet競賽冠軍，深度學(xué)習(xí)迅速應(yīng)用于各個(gè)領(lǐng)域，并在農(nóng)業(yè)領(lǐng)域獲得極大的成效[10-11]。在蘋果分選中，深度學(xué)習(xí)的作用越來越突出。張力超等[12]對LeNet-5架構(gòu)進(jìn)行改進(jìn)，用于蘋果種類識別，準(zhǔn)確率達(dá)93.7%。周兆永等[13]基于深度信念網(wǎng)絡(luò)(Deep belief network, DBN)對蘋果霉心病進(jìn)行檢測，并將其與傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行對比，發(fā)現(xiàn)深度學(xué)習(xí)效果優(yōu)于傳統(tǒng)算法。

近年來，隨著Kaggle等數(shù)據(jù)挖掘挑戰(zhàn)賽熱度不斷上升，出現(xiàn)了越來越多更深層卷積神經(jīng)網(wǎng)絡(luò)(DCNN)[14-15],如VGG16、VGG19、GoogLeNet、ResNet50、ResNet101、ResNet152等。該類算法具有強(qiáng)大的泛化能力和自適應(yīng)性，被廣泛使用。目前，國內(nèi)蘋果缺陷檢測主要運(yùn)用SVM等傳統(tǒng)機(jī)器學(xué)習(xí)算法和LeNet-5等淺層CNN算法，有關(guān)GoogLeNet等深層CNN算法的應(yīng)用較少。本研究利用GoogLeNet深度遷移模型對蘋果缺陷檢測進(jìn)行研究，并與淺層CNN(AlexNet和改進(jìn)型LeNet-5)及傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行對比，以評估蘋果缺陷檢測常用算法的性能。

1 材料與方法

1.1 實(shí)驗(yàn)材料與系統(tǒng)配置

選用紅富士蘋果作為實(shí)驗(yàn)對象。視覺采集系統(tǒng)由封閉暗箱裝置、4根內(nèi)置長條LED光源(長度0.3 m，功率10 W，中性燈色溫4 000 K)以及固定距離的單反相機(jī)(Canon EOS 5D Mark Ⅲ型)組成。蘋果以梗萼方向垂直果盤的方式置于果盤，以果軸為中心旋轉(zhuǎn)0°、90°、180°、270°，各拍攝一幅圖像，共拍攝1 376幅圖像，鏡頭和實(shí)物的距離為43.5 cm。根據(jù)NY/T 439—2001《紅富士蘋果分級標(biāo)準(zhǔn)》對數(shù)據(jù)集進(jìn)行預(yù)判。經(jīng)對原始圖像質(zhì)量篩選(將人為拍攝失誤導(dǎo)致的對焦不準(zhǔn)、曝光時(shí)間過長等不合格圖像剔除)后，最終得到實(shí)驗(yàn)圖像836幅(包含209個(gè)完整樣品)，其中正常果面561幅，次品果面(包括褐變、腐爛、刀疤等缺陷)275幅。

實(shí)驗(yàn)在Windows 10操作系統(tǒng)上完成，計(jì)算機(jī)配置為Intel 酷睿 I7-6700HQ CPU，3.5 GHz，內(nèi)存4 GB。其中，相關(guān)編程均在Matlab R2018a中進(jìn)行。

1.2 研究方法

本研究對采集圖像進(jìn)行預(yù)處理，包括數(shù)據(jù)擴(kuò)增、圖像分割、空間轉(zhuǎn)換以及圖像增強(qiáng)等，使之更符合計(jì)算機(jī)視覺處理的形式。之后分別利用淺層和深層CNN模型對其進(jìn)行端到端的訓(xùn)練，為驗(yàn)證CNN模型的優(yōu)越性，實(shí)驗(yàn)同時(shí)進(jìn)行傳統(tǒng)特征工程與分類器檢測。

1.2.1預(yù)處理

由于蘋果數(shù)據(jù)種類不平衡，因此在實(shí)驗(yàn)前先進(jìn)行數(shù)據(jù)擴(kuò)增。數(shù)據(jù)擴(kuò)增是機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)中一種常用的處理手段，它能防止因數(shù)據(jù)不足而造成的過擬合，也能平衡不同種類數(shù)據(jù)以獲得更佳效果。數(shù)據(jù)擴(kuò)增方法包括圖像平移、旋轉(zhuǎn)、翻轉(zhuǎn)、隨機(jī)裁剪等?；诒狙芯咳毕萏O果數(shù)量不足的情況，實(shí)驗(yàn)前對缺陷蘋果進(jìn)行旋轉(zhuǎn)90°、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)的處理，對正常蘋果進(jìn)行旋轉(zhuǎn)180°的處理，最終得到2 167幅圖像數(shù)據(jù)。對圖像進(jìn)行批量裁剪，方法為沿果形邊緣剪裁以獲得最大目標(biāo)區(qū)域。

圖像背景分割是為減少周圍區(qū)域干擾，能有效突出感興趣區(qū)域(Region of interest，RoI)，經(jīng)典的分割算法包括最大類間方差(Otsu)、分水嶺、K-means聚類、U-Net分割等[16]。本文采用K-means聚類分割法對蘋果圖像背景進(jìn)行分割。Lab空間是色域?qū)掗煹念伾Ｐ停粌H包含RGB、CMYK的所有色域，還能表現(xiàn)它們不能表現(xiàn)的色彩?；谝陨蟽?yōu)勢，本文在預(yù)處理時(shí)將原始圖像RGB模式轉(zhuǎn)換為Lab模式。之后，再對實(shí)驗(yàn)材料進(jìn)行直方圖均衡化(Histogram equalization)以增強(qiáng)對比度，設(shè)置直方圖離散水平為64。圖像預(yù)處理前后對比如圖1所示。

圖1 圖像預(yù)處理前后對比Fig.1 Comparison before and after pre-treatment

1.2.2模型構(gòu)建

(1)GoogLeNet是將識別錯(cuò)誤率降低到6.67%的一種深層CNN模型，共22層。與VGG網(wǎng)絡(luò)不同的是，GoogLeNet沒有使用LeNet及AlexNet的框架，該模型雖有22層，但卻比AlexNet和VGG規(guī)模都小，而性能卻更優(yōu)越。目前該模型主要運(yùn)用于醫(yī)療影像領(lǐng)域[17]，在食品領(lǐng)域鮮見報(bào)道。本文以GoogLeNet的經(jīng)典版本Inception V1為原始模板，將在ImageNet上做預(yù)訓(xùn)練后的深度遷移模型作為核心算法，開展蘋果缺陷檢測的研究。

Inception是GoogLeNet引入的基礎(chǔ)模塊單元，主要實(shí)現(xiàn)多尺度卷積提取多尺度局部特征，并經(jīng)過優(yōu)化訓(xùn)練得到最優(yōu)參數(shù)配置(參數(shù)量5×106)。Inception基本組成結(jié)構(gòu)分為4部分，包括1×1卷積層(Conv)、3×3卷積層、5×5卷積層、3×3池化層(maxpooling)。本文采用的Inception結(jié)構(gòu)如圖2所示。由圖2可知，Inception結(jié)構(gòu)在3×3卷積層和5×5卷積層前加入1×1卷積層，在3×3 maxpooling之后加入1×1卷積層，這樣先進(jìn)行降維，從而進(jìn)一步減少參數(shù)量。Inception模塊允許前一層輸入，然后通過不同尺度和功能分支的并行處理后級聯(lián)形成 Inception 模塊的輸出，實(shí)現(xiàn)多尺度特征融合[18]。

圖2 Inception結(jié)構(gòu)示意圖Fig.2 Schematic of Inception structure

最終的Inception V1是由9個(gè)Inception 模塊堆疊而成。該網(wǎng)絡(luò)輸入圖像為224×224×3，Inception模塊的所有卷積都用了修正線性單元(ReLU)。GoogLeNet不同于VGG、AlexNet等其他CNN，是因?yàn)槠洳捎媚K化的結(jié)構(gòu)，方便增添和修改。網(wǎng)絡(luò)最后采用全局平均池化(Global average pooling，GAP) 來代替全連接層；雖然該模型移除全連接層，但網(wǎng)絡(luò)中依然使用Dropout層防止過擬合；而且為避免梯度消失，額外增加了2個(gè)輔助Softmax用于向前傳導(dǎo)梯度?；谝陨蟽?yōu)勢，GoogLeNet模型能在不增加計(jì)算量的同時(shí)最大程度的優(yōu)化性能，適用于工廠大規(guī)模的高效檢測缺陷蘋果。

遷移學(xué)習(xí)是運(yùn)用已有的知識對不同的相關(guān)領(lǐng)域問題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法[19]。深度遷移學(xué)習(xí)具有減小數(shù)據(jù)依賴性、加快訓(xùn)練速度、提高訓(xùn)練效率等諸多優(yōu)勢。本文利用GoogLeNet模型在ImageNet上進(jìn)行預(yù)訓(xùn)練得到初始化深度模型，在遷移中取代網(wǎng)絡(luò)的最后3層。最后3層為loss3-classifier、prob和output，包含將網(wǎng)絡(luò)提取的功能組合為類概率和標(biāo)簽的信息。在層次圖中添加fully connected layer、Softmax layer和classification output layer， 將全連接層設(shè)置為與新的數(shù)據(jù)集中類數(shù)目相同(本文為2)。為了使添加層比傳輸層學(xué)習(xí)更快，增加全連接層的學(xué)習(xí)因子，最后將網(wǎng)絡(luò)中最后一個(gè)傳輸層(pool5-drop_7x7_s1)連接到新層。為防止過擬合，本研究通過設(shè)置初始層的學(xué)習(xí)速率為0來“凍結(jié)”網(wǎng)絡(luò)中早期層的權(quán)重。

(2)AlexNet模型是ALEX等于2012年提出的新一代卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。本文利用在ImageNet上預(yù)訓(xùn)練好的AlexNet模型進(jìn)行遷移學(xué)習(xí)，并與GoogLeNet遷移模型進(jìn)行對比。初始化AlexNet，包括5個(gè)卷積層和3個(gè)全連接層，輸入層圖像尺寸為227×227×3。遷移學(xué)習(xí)過程中第23層原本是1 000個(gè)神經(jīng)元，用于識別1 000種圖像，現(xiàn)改為2個(gè)神經(jīng)元，并更新最后一層。

(3)利用卷積神經(jīng)網(wǎng)絡(luò)LeNet-5并加以改進(jìn)，與深層CNN模型進(jìn)行對比。該網(wǎng)絡(luò)具有3個(gè)卷積層，每個(gè)卷積層后添加下采樣層和1個(gè)全連接層。將原始LeNet-5中的激活函數(shù)改為ReLU，采用Softmax分類器，并設(shè)置步長為1，填充為2，初始輸入層圖像為40×40×3。

1.2.3對比實(shí)驗(yàn)

為體現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)在蘋果缺陷檢測中的優(yōu)越性，選取目前主流的傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行對比。方向梯度直方圖(Histogram of oriented gradient, HOG)特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子，具有幾何和光學(xué)轉(zhuǎn)換不變性，最早用于靜態(tài)行人檢測[20]。實(shí)驗(yàn)提取蘋果圖像的HOG特征描述子，改變圖像分辨率為200像素×200像素，設(shè)置單元格為32像素×32像素，劃分2×2個(gè)單元格為1個(gè)區(qū)塊，并采取重疊方式。因此，每幅圖像得到900維的特征向量，將此作為分類器輸入量。實(shí)驗(yàn)選取SVM、隨機(jī)森林(Random forest，RF)與K最近鄰(K-nearest neighbor，K-NN)作為分類器，采用上述數(shù)據(jù)集訓(xùn)練并進(jìn)行五折交叉驗(yàn)證。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 CNN訓(xùn)練

對建好的GoogLeNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，選取235幅圖像作為測試樣本(包括135個(gè)正樣本與100個(gè)負(fù)樣本)，其余1 932幅為訓(xùn)練樣本(1 032個(gè)正樣本和900個(gè)負(fù)樣本)，訓(xùn)練樣本按照4∶1劃分為訓(xùn)練集與驗(yàn)證集。經(jīng)多次實(shí)驗(yàn)后依據(jù)精度最優(yōu)原則，設(shè)置動(dòng)量因子為0.9，初始學(xué)習(xí)率為0.000 1，MaxEpochs為6，同時(shí)規(guī)定MiniBatchSize為10。大約迭代1 500次后準(zhǔn)確率趨于穩(wěn)定，若再增加迭代次數(shù)，則會出現(xiàn)過擬合等情況，因此選取迭代1 500次時(shí)的訓(xùn)練結(jié)果進(jìn)行測試。

另外，利用上述訓(xùn)練集、測試集對AlexNet與改進(jìn)型LeNet-5進(jìn)行訓(xùn)練，在最優(yōu)參數(shù)下對訓(xùn)練迭代穩(wěn)定時(shí)的模型進(jìn)行測試。

2.2 CNN測試結(jié)果對比

針對上述深度學(xué)習(xí)訓(xùn)練過程，實(shí)驗(yàn)選取測試集準(zhǔn)確率和受試者工作特征(Receiver operating characteristic，ROC) 曲線及曲線下面積(Area under curve，AUC)等指標(biāo)作為模型質(zhì)量判定標(biāo)準(zhǔn)。上述3種模型經(jīng)過Softmax分類器進(jìn)行分類，輸出2個(gè)神經(jīng)元，測試結(jié)果如表1所示。GoogLeNet遷移學(xué)習(xí)具有最高的測試準(zhǔn)確率，達(dá)91.91%，與其接近的是改進(jìn)型LeNet-5，測試準(zhǔn)確率為91.49%。說明深層卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的學(xué)習(xí)能力，該精度能夠滿足工廠對蘋果缺陷的篩選。

表1 CNN指標(biāo)評估Tab.1 CNN indicators evaluation

GoogLeNet遷移模型的AUC最大(0.856 5)，表明此模型具有很強(qiáng)的泛化能力和魯棒性。而在該數(shù)據(jù)集中，AlexNet遷移模型測試準(zhǔn)確率最低(86.81%)，但AUC達(dá)到0.823 4，出現(xiàn)該情況可能原因是準(zhǔn)確率所基于的較佳截?cái)嘀挡⒉皇强傮w分布中的較佳截?cái)嘀?，?zhǔn)確率只是某個(gè)隨機(jī)樣本的一個(gè)屬性指標(biāo)。而AUC不關(guān)注某個(gè)截?cái)嘀档谋憩F(xiàn)，而是綜合所有截?cái)嘀档念A(yù)測性能，因此二者有時(shí)可能出現(xiàn)矛盾。但值得注意，AUC在偏態(tài)樣本中反映的模型指標(biāo)更加“穩(wěn)健”，更能有效且全面地評估模型性能，因此在本實(shí)驗(yàn)中AlexNet依然具有較強(qiáng)的學(xué)習(xí)能力。

綜合上述分析，GoogLeNet遷移學(xué)習(xí)憑借自身模型優(yōu)勢，在實(shí)驗(yàn)中表現(xiàn)最佳，其中，對較大訓(xùn)練集的準(zhǔn)確率達(dá)到100%，測試集準(zhǔn)確率達(dá)到91.91%，在同類研究中精度較高。同時(shí)，深層卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的學(xué)習(xí)，減少人工提取特征的時(shí)間，操作簡便且效率高，利于工廠實(shí)現(xiàn)產(chǎn)業(yè)化生產(chǎn)。經(jīng)反復(fù)實(shí)驗(yàn)發(fā)現(xiàn)，用GoogLeNet遷移模型測試235幅蘋果圖像所需要的時(shí)間為18～20 s，完全符合生產(chǎn)需求。

ROC曲線是根據(jù)不同的二分類方法(分界值或決定閾)、以真陽性率(靈敏度)為縱坐標(biāo)、假陽性率(1-特異度)為橫坐標(biāo)繪制的曲線， AUC是衡量機(jī)器學(xué)習(xí)算法的重要指標(biāo)，圖3為3種深度學(xué)習(xí)算法的ROC曲線。

圖3 CNN模型對應(yīng)的ROC曲線Fig.3 ROC curves corresponding to CNN models

2.3 傳統(tǒng)機(jī)器學(xué)習(xí)分析

在提取HOG特征描述子時(shí)，利用分類器進(jìn)行訓(xùn)練與測試，測試結(jié)果表明，3種分類器準(zhǔn)確率均低于CNN模型。其中，5次實(shí)驗(yàn)后的RF表現(xiàn)最好，平均準(zhǔn)確率為82.98%，其次是SVM(80.33%)和K-NN(74.87%)。在準(zhǔn)確率上，深度學(xué)習(xí)效果優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)，原因?yàn)镃NN不需人工提取特征，而由機(jī)器自主提取，隨著網(wǎng)絡(luò)深度的增加，所學(xué)習(xí)到的特征更加復(fù)雜，所以相比SVM等算法具有更強(qiáng)的泛化能力[12]。

3 討論

利用目前主流的深度神經(jīng)網(wǎng)絡(luò)GoogLeNet進(jìn)行蘋果缺陷檢測，經(jīng)過與蘋果檢測領(lǐng)域主要算法對比后發(fā)現(xiàn)，本文方法優(yōu)于目前常用的淺層CNN模型和傳統(tǒng)機(jī)器學(xué)習(xí)。本文方法能精確地識別缺陷果面。

利用已預(yù)訓(xùn)練好的CNN模型進(jìn)行遷移學(xué)習(xí)，在確保模型效果的同時(shí)極大提升了模型訓(xùn)練速度。深度遷移學(xué)習(xí)預(yù)訓(xùn)練模型具有初始紋理記憶的基本性能，通過在新數(shù)據(jù)集上添加層或稍微修改預(yù)先訓(xùn)練的分類模型即可完成工作[21-22]。這樣能減少實(shí)驗(yàn)所需的數(shù)據(jù)，并且讓模型具有更強(qiáng)的泛化能力。從蘋果分選產(chǎn)業(yè)化角度考慮，將深度遷移學(xué)習(xí)引入蘋果缺陷檢測的核心算法，能減少構(gòu)建深度學(xué)習(xí)模型所需的訓(xùn)練數(shù)據(jù)和計(jì)算能力，從而減少生產(chǎn)成本。

另外，鑒于產(chǎn)業(yè)化蘋果缺陷在線檢測需考慮設(shè)備成本及檢測效率等問題，深層CNN如GoogLeNet雖在檢測準(zhǔn)確率等方面優(yōu)于其他模型，但不可忽視的網(wǎng)絡(luò)深度帶來的訓(xùn)練時(shí)長增加與設(shè)備要求提高等劣勢，也會給工廠化生產(chǎn)帶來困擾[23-24]。因此，尋找最優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、在保證檢測效率的同時(shí)盡可能的輕化網(wǎng)絡(luò)、提升訓(xùn)練速度是今后的研究方向。

4 結(jié)束語

針對蘋果的高精度篩選要求，利用GoogLeNet的深度遷移模型算法對蘋果缺陷進(jìn)行檢測。在擴(kuò)充后的1 932個(gè)訓(xùn)練樣本中獲得訓(xùn)練集識別準(zhǔn)確率為100%，在235個(gè)測試樣本中獲得測試集識別準(zhǔn)確率為91.91%，高于AlexNet、改進(jìn)型LeNet-5以及傳統(tǒng)機(jī)器學(xué)習(xí)算法，表明本文方法具有較好的泛化能力與魯棒性。