基于ResNeXt與遷移學(xué)習(xí)的干制哈密大棗果梗/花萼及缺陷識別

李 聰 喻國威 張原嘉 馬本學(xué),2

(1. 石河子大學(xué)機械電氣工程學(xué)院，新疆 石河子 832003；2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點實驗室,新疆 石河子 832003)

哈密大棗是新疆傳統(tǒng)名優(yōu)特產(chǎn)之一，個大肉厚、外觀紫紅且具有光澤，是藥食同源的滋補食品和藥用食品[1]。由于缺陷棗的表面具有與果梗/花萼相似的特征，導(dǎo)致在紅棗實際分級過程中難以對果梗/花萼和缺陷棗進(jìn)行區(qū)分。海潮等[2]采用Blob分析算法進(jìn)行紅棗與背景的分離以及紅棗表面缺陷的識別，缺陷果識別準(zhǔn)確率可達(dá)90%以上，但無法對缺陷棗進(jìn)行定位。張萌等[3]提出了一種亮度快速矯正算法，大大增強了紅棗表面缺陷特征，提升了紅棗檢測與分級的實時性。曾窕俊等[4]提出了一種基于幀間最短路徑搜索的目標(biāo)定位方法，實現(xiàn)了紅棗位置坐標(biāo)隨視頻時間序列更新和傳遞。Wu等[5]采用高光譜成像技術(shù)獲取反射圖像，以實現(xiàn)常見缺陷如裂紋、蟲害和淤傷的識別。

隨著互聯(lián)網(wǎng)時代大數(shù)據(jù)的爆發(fā)，深度學(xué)習(xí)已被廣泛應(yīng)用于人臉識別、語音識別和行人檢測等[6-8]。楊志銳等[9]提出了一種基于網(wǎng)中網(wǎng)卷積神經(jīng)網(wǎng)絡(luò)對紅棗進(jìn)行缺陷檢測的方法，該方法優(yōu)于基于常規(guī)SVM的視覺檢測方法和基于AlexNet網(wǎng)絡(luò)的分類方法。方雙等[10]采取多尺度卷積神經(jīng)網(wǎng)絡(luò)對黃皮棗、霉變棗、破頭棗和正常棗進(jìn)行了檢測，模型在AlexNet卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行了改進(jìn)，增加了深度和寬度，提高了模型的檢測準(zhǔn)確率。Ju等[11]通過嵌入SE模塊，用三重?fù)p失函數(shù)和中心損失函數(shù)代替softmax損失函數(shù)，對原始?xì)埐罹W(wǎng)絡(luò)模型進(jìn)行改進(jìn)，并利用遷移學(xué)習(xí)技術(shù)實現(xiàn)了缺陷棗的檢測與分類。Xu等[12]提出了一種基于特征關(guān)注度的多標(biāo)簽棗缺陷分類關(guān)系網(wǎng)絡(luò)，實現(xiàn)了對同一紅棗多種缺陷類別的檢測與識別。而目前有關(guān)紅棗果梗/花萼與缺陷棗識別的研究尚未見報道，缺陷棗與果梗/花萼區(qū)域有相似的灰度，易將果梗/花萼區(qū)域誤判為缺陷。

文章擬以干制哈密大棗為研究對象，利用圖像處理結(jié)合深度學(xué)習(xí)的方法，探索能快速、準(zhǔn)確識別干制哈密大棗果梗/花萼及缺陷的有效方法，為后續(xù)研發(fā)干制哈密大棗在線檢測與分級裝置提供理論依據(jù)。

1 材料與試驗

1.1 試驗材料

干制哈密大棗：新疆哈密地區(qū)哈密市花園鄉(xiāng)閃電農(nóng)產(chǎn)品專業(yè)合作社。

鑒于鳥啄與蟲蛀是干制哈密大棗中最常見的缺陷類型，在購買的干制哈密大棗通貨(包含正常棗和缺陷棗)中挑選缺陷棗(鳥啄和蟲蛀)和正常棗樣本各200個。圖1 為干制哈密大棗樣本圖像及其灰度特征圖像，其紋理特征均很相似，且果梗/花萼和缺陷特征也比較相似。

圖1 干制哈密大棗樣本

1.2 機器視覺圖像采集系統(tǒng)

機器視覺圖像采集系統(tǒng)由封閉暗箱裝置、LED環(huán)形光源、HDMI工業(yè)相機(4～12 mm工業(yè)變焦鏡頭，1 200萬像素)及筆記本電腦組成。鏡頭和實物距離為23.5 cm。經(jīng)對原始圖像質(zhì)量篩選(將人為拍攝失誤導(dǎo)致的對焦不準(zhǔn)、曝光時間過長，以及拍攝表面與標(biāo)簽不一致去除)后，最終得到正常棗、缺陷棗和果梗/花萼圖像各200幅，并將其尺寸批量調(diào)整為224 Pixel×224 Pixel。

1.3 試驗平臺

試驗平臺由計算機硬件和開發(fā)平臺兩部分組成。計算機硬件：處理器(CPU)為Intel(R) Core (TM) I7-8700 CPU @3.20GHz，圖形處理器(GPU)為NVIDIA GeForce RTX2060。開發(fā)平臺：Windows10操作系統(tǒng)上的Pytorch深度學(xué)習(xí)框架，配置NVIDIA CUDA Toolkit10.1 和深度神經(jīng)網(wǎng)絡(luò)加速庫NVIDIA CUDNNv8.0.4；編程語言為Python 3.7.4。

2 圖像預(yù)處理

2.1 圖像增強

圖像分類時，有效的圖像數(shù)據(jù)增強可以進(jìn)一步提高分類精度[13]。圖像數(shù)據(jù)增強方法包括旋轉(zhuǎn)、平移、翻轉(zhuǎn)、隨機裁剪等。鑒于干制哈密大棗更換不同方向角度觀察都不會改變其特征的特點，為增加訓(xùn)練樣本數(shù)據(jù)量，采用線下圖像擴(kuò)充和實時擴(kuò)充的圖像數(shù)據(jù)增強方法。模型訓(xùn)練前對數(shù)據(jù)樣本進(jìn)行隨機翻轉(zhuǎn)和隨機旋轉(zhuǎn)；訓(xùn)練過程中使用預(yù)先的神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)樣本實時擴(kuò)充，包括隨機剪裁和尺寸變換。經(jīng)圖像擴(kuò)充后訓(xùn)練樣本數(shù)量增加8倍，加上訓(xùn)練過程中實時擴(kuò)充后，極大擴(kuò)充了訓(xùn)練樣本的多樣性。

2.2 感興趣區(qū)域提取

為研究圖像感興趣區(qū)域提取后是否有利于深度學(xué)習(xí)模型更好地學(xué)習(xí)特征，對拍攝的干制哈密大棗感興趣區(qū)域進(jìn)行批量預(yù)處理，為了規(guī)范化數(shù)據(jù)集，利用Python語言調(diào)用OpenCV庫編寫圖像預(yù)處理程序，對干制哈密大棗圖像依次進(jìn)行如下預(yù)處理：

(1) 提取干制哈密大棗RGB圖像中B通道，采用閾值分割算法去除背景，閾值設(shè)置為130。

(2) 填充干制哈密大棗目標(biāo)區(qū)域孔洞，形成目標(biāo)掩膜。

(3) 利用中值濾波器，對圖像邊緣平滑去噪。

(4) 將掩模與原始圖像相乘以獲得彩色區(qū)域。

(5) 采用最小矩形框算法提取目標(biāo)區(qū)域。

3 分類方法

3.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種在相似或不同領(lǐng)域快速實施學(xué)習(xí)的過程，文中采用遷移學(xué)習(xí)技術(shù)，通過對原始模型在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練得到模型參數(shù)文件，然后對改進(jìn)模型的網(wǎng)絡(luò)權(quán)值進(jìn)行全局微調(diào)并初始化，最終得到新的模型參數(shù)文件。

3.2 殘差網(wǎng)絡(luò)

在深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，通常會出現(xiàn)梯度消失的問題，隨著訓(xùn)練的進(jìn)行，早期層的梯度幅度迅速降低到零。為解決這一問題，He等[14]提出了殘差網(wǎng)絡(luò)(ResNet)學(xué)習(xí)模型。ResNet在網(wǎng)絡(luò)中引入殘差結(jié)構(gòu)，通過捷徑連接的方式形成跳躍式結(jié)構(gòu)，為解決深層卷積神經(jīng)網(wǎng)絡(luò)模型的錯誤率不降反升的難題提供了新的方向。

圖2為殘差模塊學(xué)習(xí)示意圖，假設(shè)某段神經(jīng)網(wǎng)絡(luò)的輸入樣本是x，期望輸出是H(x)，以往的卷積神經(jīng)網(wǎng)絡(luò)模型都試圖通過堆疊不同的層找到可將輸入x映射為輸出H(x)的函數(shù)，然而殘差網(wǎng)絡(luò)的思想是構(gòu)建等式(1)。

圖2 殘差模塊學(xué)習(xí)示意圖

F(x)=H(x)-x，

(1)

式中：

x——網(wǎng)絡(luò)輸入；

F(x)——堆疊的非線性層，使得H(x)表示為F(x)+x。

每個ResNet塊都包含一系列層，如圖3中有兩個權(quán)重層，每一個權(quán)重層的輸出和堆疊的權(quán)重層最終輸出見式(2)和式(3)。

圖3 ResNeXt網(wǎng)絡(luò)殘差模塊結(jié)構(gòu)

F(x)=W2δ(W1x)，

(2)

H(x)=W2δ(W1x)+x，

(3)

式中：

δ——線性激活函數(shù)ReLU；

H(x)——最終輸出(其中x的維度和F必須一致)；

W1、W2——第一層和第二層的權(quán)重。

GoogLeNet模型中提出的一種通過“分解—轉(zhuǎn)換—融合”的策略，即“Inception模塊”，采用多尺度卷積核提取特征，以提高模型的非線性表達(dá)能力，提升模型性能。ResNeXt網(wǎng)絡(luò)借鑒了“Inception模塊”的策略，通過在殘差結(jié)構(gòu)中增加獨立路徑的數(shù)量即“基數(shù)”的超參數(shù)來增加網(wǎng)絡(luò)的維度。網(wǎng)絡(luò)結(jié)構(gòu)中基數(shù)采用分組卷積的思想，將獲得的特征圖輸入分成不同組，分別進(jìn)行正常的卷積操作，最終將卷積后的結(jié)果進(jìn)行合并。與“Inception模塊”不同的是分組卷積層并不是使用不同的結(jié)構(gòu)，而是采用相同的結(jié)構(gòu)，因此需要微調(diào)的超參數(shù)只有一個，大大簡化了網(wǎng)絡(luò)結(jié)構(gòu)[15]。如圖3所示為ResNeXt網(wǎng)絡(luò)殘差模塊結(jié)構(gòu)。

3.3 模型結(jié)構(gòu)

文中的分類模型是在ResNeXt-50網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行進(jìn)一步的改進(jìn)。通過觀察ResNeXt-50網(wǎng)絡(luò)結(jié)構(gòu)可知，輸入主干是由一個7×7的卷積核等組成，其中卷積層的計算成本為卷積核寬度或者卷積核高度的平方，因此一個7×7卷積核的計算量是3個3×3卷積核計算量的5～6倍。文中將輸入主干中的7×7卷積核替換成3個3×3的卷積核，其中第一個卷積核步幅為2，輸出通道大小為32，最后一個卷積核輸出通道大小為64，在保證和原始網(wǎng)絡(luò)輸出主干信息一致的情況下大幅度降低了計算成本，同時減少網(wǎng)絡(luò)模型參數(shù)數(shù)量。同時，文中將原始模型架構(gòu)中7×7的全局平均池化層替換成2個步長為2的3×3卷積核，采用批量歸一化處理，并將全連接層輸出維度設(shè)置為3，對應(yīng)3種類別。在保證卷積層細(xì)節(jié)不被丟失的前提下，還可以減小網(wǎng)絡(luò)模型參數(shù)數(shù)量，提高模型精度。

4 結(jié)果與分析

4.1 圖像識別模型性能對比

為驗證試驗提出的模型在干制哈密大棗果梗/花萼及缺陷分類識別上的優(yōu)越性以及感興趣區(qū)域提取是否有利于模型更好地學(xué)習(xí)有用特征，按80%和20%的比例將2 400幅圖像隨機用于訓(xùn)練與驗證。相同試驗條件下與ResNet-50、VGG-19、GoogLeNetInception v2和ResNeXt-50深度卷積神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)模型進(jìn)行試驗對比，并將改進(jìn)的ResNext-50模型分別對感興趣區(qū)域提取前、后的干制哈密大棗樣本圖像進(jìn)行實驗驗證，圖4為感興趣區(qū)域提取效果。

圖4 感興趣區(qū)域提取效果

VGGNet將兩個3×3卷積核的卷積層代替以往深度學(xué)習(xí)模型中一個5×5卷積核的卷積層，全部使用3×3小卷積核來加深網(wǎng)絡(luò)的深度，但VGGNet含有3個全連接層，參數(shù)量極大，耗費更多計算資源[16]。GoogLeNet參考VGGNet使用多個小卷積核替代大卷積核的方法，通過引入Inception模塊，使用多個尺度的卷積核提取特征，同時采用批量歸一化的方法，使模型更加輕量化，但存在計算次數(shù)太多，效率不足的問題[17]。ResNet在VGGNet的基礎(chǔ)上引入跨層連接，使用殘差模塊構(gòu)造更加復(fù)雜的網(wǎng)絡(luò)，由于使用全局平均池化操作而不是全連接層，所以ResNet模型的參數(shù)更少，但傳統(tǒng)ResNet面向上千種分類，訓(xùn)練小樣本時，存在冗余參數(shù)，降低訓(xùn)練與識別速度。ResNeXt結(jié)合GoogLeNet的Inception模塊和ResNet殘差結(jié)構(gòu)的優(yōu)點，但模型參數(shù)仍有待優(yōu)化。文中提出改進(jìn)的ResNeXt-50網(wǎng)絡(luò)結(jié)構(gòu)，將主干網(wǎng)絡(luò)上的7×7卷積核用3個3×3卷積核替代，將原始模型架構(gòu)中7×7的全局平均池化層替換成2個步長為2的3×3卷積核，并采用批量歸一化處理，不僅提高了模型精度，而且極大地減少了網(wǎng)絡(luò)計算成本。綜合考慮硬件性能和訓(xùn)練時間，經(jīng)多次調(diào)試后，Batchsize設(shè)置為32，采用Adam優(yōu)化器進(jìn)行模型訓(xùn)練優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.001。經(jīng)100輪訓(xùn)練后，各模型的識別準(zhǔn)確率與損失函數(shù)曲線如圖5所示。

圖5 不同模型在測試集上的準(zhǔn)確率和損失曲線

由圖5可知，同等試驗條件下，VGG-19、GoogLeNet Inception v2、ResNet-50和ResNeXt-50 4種深度學(xué)習(xí)模型對于干制哈密大棗果梗/花萼及缺陷數(shù)據(jù)集的識別能力相差不大，在模型訓(xùn)練初始階段準(zhǔn)確率均能達(dá)到60%以上，且均取得了較低的損失值，但難以收斂。文中提出的X-ResNext-50相比其他網(wǎng)絡(luò)，當(dāng)?shù)螖?shù)為20時，準(zhǔn)確率第一次達(dá)到90%以上，且在準(zhǔn)確率與收斂方面均有一定的提升。使用圖像感興趣區(qū)域提取后，模型的表現(xiàn)能力得到了較大提升，在訓(xùn)練初始階段基本可保持準(zhǔn)確率在80%以上，表明感興趣區(qū)域提取有利于網(wǎng)絡(luò)更好地提取一些有效特征，并幫助模型更快收斂。

4.2 基于遷移學(xué)習(xí)的模型性能對比

由于遷移學(xué)習(xí)加載了預(yù)訓(xùn)練模型，模型在訓(xùn)練的初始階段就可以獲取較好的訓(xùn)練參數(shù)，因此模型能更快收斂。遷移學(xué)習(xí)模型TL-ROI-X-ResNeXt-50與ROI-X-ResNeXt-50模型的準(zhǔn)確率與損失曲線如圖6所示，遷移學(xué)習(xí)對于網(wǎng)絡(luò)模型收斂有極大的促進(jìn)作用，模型在訓(xùn)練初始階段就已迅速收斂，且有著較低的損失值和較高的準(zhǔn)確率，在第5次迭代后，模型的準(zhǔn)確率基本與ROI-X-ResNeXt-50模型收斂時相同，且損失值更低，表明TL-ROI-X-ResNeXt-50模型可以較好地識別干制哈密大棗果梗/花萼及缺陷。

圖6 不同模型在測試集上的準(zhǔn)確率與損失曲線

4.3 模型驗證

為驗證模型的實用性，結(jié)合維視圖像試驗裝置開發(fā)了一款干制哈密大棗果梗/花萼及缺陷檢測系統(tǒng)進(jìn)行實驗驗證。系統(tǒng)界面如圖7所示，后臺處理通過編寫Python語言調(diào)用OpenCV打開相機，并通過光電傳感器控制相機拍攝獲取圖像，調(diào)用Pytorch深度學(xué)習(xí)框架實現(xiàn)干制哈密大棗果梗/花萼及缺陷識別。通過實時采集圖像進(jìn)行實驗驗證，正常、果梗/花萼及缺陷樣本分別隨機挑選40個進(jìn)行檢測。

圖7 系統(tǒng)界面

經(jīng)測試，120個干制哈密大棗樣本中，檢測正確樣本數(shù)為113個，識別準(zhǔn)確率為94.17%，干制哈密大棗果梗/花萼及缺陷系統(tǒng)驗證的混淆矩陣結(jié)果如圖8所示。由圖8 可知，40個果梗/花萼樣本中6個被誤判為缺陷類別，1個被誤判為正常類別，表明果梗/花萼的特征與缺陷特征確實容易混淆，果梗/花萼容易被誤識別為缺陷棗；此外，40個正常與缺陷樣本全部判斷正確，較好地避免了缺陷棗果被誤判為正常棗果的危害，表明改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)能夠較好地識別干制哈密大棗缺陷特征。綜上，文中建立的檢測系統(tǒng)可以實現(xiàn)干制哈密大棗果梗/花萼及缺陷判別。

圖8 混淆矩陣

5 結(jié)論

在改進(jìn)ResNeXt-50深度學(xué)習(xí)模型基礎(chǔ)上，采用感興趣區(qū)域提取方法和遷移學(xué)習(xí)技術(shù)提出了一種TL-ROI-X-ResNeXt-50分類模型，實現(xiàn)了干制哈密大棗果梗/花萼及缺陷分類。結(jié)果表明，改進(jìn)的X-ResNeXt-50網(wǎng)絡(luò)結(jié)構(gòu)可以減少模型計算成本，促進(jìn)模型收斂。感興趣區(qū)域提取方法和遷移學(xué)習(xí)技術(shù)有助于模型更快地學(xué)習(xí)一些有用的特征，提高準(zhǔn)確率并加速網(wǎng)絡(luò)模型收斂。為驗證檢測模型的實用性，結(jié)合維視圖像裝置開發(fā)了干制哈密大棗果梗/花萼及缺陷檢測系統(tǒng)，其識別準(zhǔn)確率可達(dá)94.17%，初步滿足干制哈密大棗果梗/花萼及缺陷在線檢測裝備的生產(chǎn)需求，后續(xù)可以考慮在深度學(xué)習(xí)網(wǎng)絡(luò)模型中加入圖像感興趣區(qū)域提取預(yù)處理模塊，提高檢測效率。