基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的番茄品質(zhì)分級方法

阮子行, 黃 勇,, 王 夢, 史 強, 張金玲

(1.新疆農(nóng)業(yè)大學(xué)機電工程學(xué)院,新疆 烏魯木齊 830052; 2.新疆工程學(xué)院機電工程學(xué)院,新疆 烏魯木齊 830023)

中國是亞洲地區(qū)番茄產(chǎn)量最大的國家,同時也是世界上番茄產(chǎn)量最大的國家,番茄在中國農(nóng)作物中的種植面積占比較高,其中在2020年僅中國新疆地區(qū)的番茄產(chǎn)量便達(dá)到8.242×106t[1]。新疆地區(qū)番茄的種植面積連續(xù)多年保持在46 667 hm2以上,但是縱觀整個中國,番茄的產(chǎn)業(yè)化水平仍較低,加工產(chǎn)品的附加值也較低,是中國番茄產(chǎn)業(yè)遇到的重要問題[2],其中番茄精確的品質(zhì)分級技術(shù)是亟待解決的重要問題之一。近年來,為了提高農(nóng)產(chǎn)品品質(zhì)分級的作業(yè)效率,從而解決勞動力不足的問題,農(nóng)產(chǎn)品品質(zhì)分級成為農(nóng)業(yè)的重點工作之一[3]。高精度的農(nóng)產(chǎn)品分級不但可以提高生產(chǎn)效率,而且可以提高農(nóng)產(chǎn)品的整體質(zhì)量,使其更有利于長期存儲[4-5]。品質(zhì)檢測的手段有很多種,隨著圖像處理與機器視覺的發(fā)展,基于機器視覺和深度學(xué)習(xí)的品質(zhì)分級技術(shù)已經(jīng)成為研究熱點[6]。本研究旨在從番茄外部品質(zhì)分級的角度出發(fā),通過深度學(xué)習(xí)手段為番茄品質(zhì)分級提供一種新方法。

目前,國內(nèi)外學(xué)者在農(nóng)產(chǎn)品品質(zhì)分級方面做了大量工作,其中Blasco等[7]開發(fā)的機器視覺算法基于貝葉斯估計分割水果與背景,并通過尺寸、顏色、莖的位置和外部瑕疵的檢測在線評估橙子、桃子和蘋果的質(zhì)量,該分類系統(tǒng)經(jīng)過在線測試蘋果,在批量分類水果時獲得了良好的性能,瑕疵檢測、尺寸估計的準(zhǔn)確度分別為86%、93%。Sayed等[8]提出了1種基于海洋捕食者算法(MPA)和卷積神經(jīng)網(wǎng)絡(luò)的柑橘病害分類的新混合方法。MPA用于找到批量大小、退出率、退出期和最大訓(xùn)練批次,在柑橘病害分類方面的整體準(zhǔn)確率可達(dá)100%,表明所提出的基于MPA優(yōu)化的ResNet50具有優(yōu)越性。Bhole等[9]基于遷移學(xué)習(xí)的預(yù)訓(xùn)練SqueezeNet模型,根據(jù)缺陷、形狀、大小和成熟度等參數(shù)對杧果進(jìn)行評估分級,2份數(shù)據(jù)集分別為杧果果實的RGB圖像和熱圖圖像,測試結(jié)果表明,該系統(tǒng)對2份數(shù)據(jù)集的分類準(zhǔn)確率分別為93.33%、92.27%,RGB圖像、熱圖圖像的訓(xùn)練時間分別為30.03 min、7.38 min。何進(jìn)榮等[10]通過對經(jīng)典網(wǎng)絡(luò)模型進(jìn)行優(yōu)化,采用經(jīng)典的卷積結(jié)構(gòu)作為蘋果外部特征提取器,并采用批量歸一化的方式優(yōu)化模型,采集了19 500張圖片,按照3∶1的比例劃分?jǐn)?shù)據(jù)集,結(jié)果顯示,DXNet模型的分級準(zhǔn)確率達(dá)到97.84%。胡發(fā)煥等[11]采用形態(tài)學(xué)手段將目標(biāo)臍橙與背景分離,并捕捉臍橙的果面缺陷、尺寸、表面顏色等特征,將其輸入支持向量機,訓(xùn)練后的品質(zhì)分級識別率達(dá)到90.5%,并且實時性較好。

本研究擬以分選臺常見的6種番茄樣本作為研究對象,設(shè)計改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu),并通過批量歸一化和注意力機制對其進(jìn)行優(yōu)化,研究優(yōu)化后的模型整體性能與批量歸一化、注意力機制對模型的影響,以期探究不同優(yōu)化算法和單一背景數(shù)據(jù)集對網(wǎng)絡(luò)模型性能的影響。

1 材料與方法

1.1 數(shù)據(jù)集

本試驗中的所有番茄樣本均購自新疆烏魯木齊番茄市場,番茄品種為櫻桃番茄,燈光由普通室內(nèi)照明用日光燈提供,采用一加8手機進(jìn)行圖像采集,番茄的外觀形態(tài)共6種,詳見圖1。

圖1 常見番茄的外觀形態(tài)Fig.1 Common types of tomatoes

經(jīng)過篩選后,數(shù)據(jù)集中共有1 455張圖片,各類番茄的具體圖片數(shù)量見表1。為了獲得更好的訓(xùn)練效果,在網(wǎng)絡(luò)訓(xùn)練前對原始數(shù)據(jù)進(jìn)行一些處理。(1)由于不同網(wǎng)絡(luò)模型中圖片數(shù)據(jù)的輸入尺寸不同,所以要根據(jù)不同網(wǎng)絡(luò)模型將圖片數(shù)據(jù)放縮至規(guī)定尺寸和格式,本研究中的圖片均采用JPG格式[12]。(2)由于大量數(shù)據(jù)樣本可以增加模型訓(xùn)練的準(zhǔn)確度,本研究擬通過任意角度旋轉(zhuǎn)剪切、增強對比度、引入噪聲和水平翻轉(zhuǎn)等手段進(jìn)行數(shù)據(jù)增廣[13-14]。增強后的各類樣本圖片數(shù)據(jù)集數(shù)量如下:正常番茄1 758張,綠柄番茄1 650張,霉變番茄1 698張,破裂番茄900張,未成熟番茄1 554張,軟爛番茄1 170張,共計8 730張,并用數(shù)字1～6給不同外觀形態(tài)的番茄編號,如表1所示。

表1 番茄樣本圖片的原始數(shù)量及增廣后的數(shù)量

1.2 試驗環(huán)境

模型搭建和訓(xùn)練所用試驗環(huán)境如下:電腦操作系統(tǒng)為64位Win10家庭版,軟件平臺采用Matlab 2022a中的深度網(wǎng)絡(luò)設(shè)計器(Deep learning toolbox),顯卡為NVIDIA GeForce RTX 3050 Laptop(4 G顯存),計算統(tǒng)一設(shè)備架構(gòu)(CUDA)版本為11.6.0,CUDNN版本為11.3,采用三星16 G內(nèi)存、三星512 G固態(tài)硬盤。本網(wǎng)絡(luò)訓(xùn)練均基于Matlab2022a平臺,采用圖形加速器加速進(jìn)行訓(xùn)練,試驗批次(Batch size)為16次,訓(xùn)練輪數(shù)為30輪,迭代次數(shù)為9 810次。

2 卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

2.1.1 卷積層結(jié)構(gòu) 本研究設(shè)計的卷積網(wǎng)絡(luò)選取6個卷積層,分別為Conv1、Conv2、Conv3、Conv4、Conv5、Conv6,其中前5個卷積層的作用是捕捉圖像信息特征,第6個卷積層采用1×1的卷積核,其主要作用是實現(xiàn)通道維度的變化,減少參數(shù)量并結(jié)合激活函數(shù)引入更多非線性特征[15-16]。其中卷積核尺寸、步長、各個卷積核數(shù)量及Padding參數(shù)見表2。

表2 網(wǎng)絡(luò)中各個卷積層參數(shù)

本網(wǎng)絡(luò)中的激活函數(shù)均采用ReLU激活函數(shù),采用4個池化層(其中3個為最大池化層,1個為全局平均池化層)和1個全連接層,本研究圖片數(shù)據(jù)集中的番茄共有6種分類類型,因此將最后全連接層節(jié)點數(shù)設(shè)為6個。

2.1.2 全連接層 目前常見的卷積神經(jīng)網(wǎng)絡(luò)有很多種,其中LeNet、AlexNet和VGGNet這3種卷積神經(jīng)網(wǎng)絡(luò)發(fā)布得較早,其網(wǎng)絡(luò)結(jié)構(gòu)沒有分支,相對其他網(wǎng)絡(luò)結(jié)構(gòu)更為簡潔。第1次利用大批量圖像數(shù)據(jù)集完成深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的便是AlexNet網(wǎng)絡(luò),它正式打開了深度學(xué)習(xí)的大門,該網(wǎng)絡(luò)的權(quán)重層有8層(5層卷積層、3層全連接層),進(jìn)行1 000種分類時模型可計算的參數(shù)量為6.09×107[17-18]。對AlexNet網(wǎng)絡(luò)參數(shù)量進(jìn)行分析,結(jié)果見表3。

表3 AlexNet網(wǎng)絡(luò)各層參數(shù)

對AlexNet網(wǎng)絡(luò)各層參數(shù)進(jìn)行統(tǒng)計可以發(fā)現(xiàn),全連接層參數(shù)數(shù)量為58 631 144個,占整個網(wǎng)絡(luò)參數(shù)數(shù)量的96.17%,5層卷積層的參數(shù)量占比不足4.00%。參數(shù)過多使得訓(xùn)練過程對設(shè)備的要求更高,造成計算效率降低,更容易出現(xiàn)過擬合,并且也限制了網(wǎng)絡(luò)在移動平臺中的布置[19-20]。

結(jié)合經(jīng)典網(wǎng)絡(luò)AlexNet的網(wǎng)絡(luò)參數(shù)表可以看出,全連接層中包含整個網(wǎng)絡(luò)的絕大多數(shù)參數(shù)信息,需要用其他結(jié)構(gòu)代替,從而進(jìn)行優(yōu)化改進(jìn)。孫俊等[21]、張華鵬[22]針對AlexNet模型數(shù)據(jù)參數(shù)龐大的問題,通過全局平均池化層代替全連接層的方式優(yōu)化了AlexNet網(wǎng)絡(luò)模型參數(shù),使得模型參數(shù)的內(nèi)存需求僅為2.6 MB。另一種結(jié)構(gòu)采用1×1的卷積操作來實現(xiàn),1×1的卷積操作可以在保證參數(shù)量為1的同時實現(xiàn)網(wǎng)絡(luò)通道數(shù)的變換,并配合非線性激活函數(shù)引入更多非線性特性[23-24]。

結(jié)合以上2種方式,本研究設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)首先使用1×1的卷積操作以增加通道數(shù),經(jīng)過全局池化層降低參數(shù)量,通過全連接層將上一層的全局池化層進(jìn)行全連接,并傳遞給Softmax分類函數(shù)實現(xiàn)分類輸出,該模型結(jié)構(gòu)相較于擁有3個全連接層的結(jié)構(gòu),參數(shù)量可以得到極大減少,訓(xùn)練時可使圖形處理器(GPU)中CUDA內(nèi)存占用率由原來的70%～80%降至30%～40%。

2.2 網(wǎng)絡(luò)模型結(jié)構(gòu)的優(yōu)化

2.2.1 引入批量歸一化層優(yōu)化[25]在卷積神經(jīng)網(wǎng)絡(luò)中,當(dāng)?shù)讓泳W(wǎng)絡(luò)梯度發(fā)生微小改變時,經(jīng)過激活函數(shù)及一系列線性映射后,上層梯度會發(fā)生較大幅度的變化,隨著網(wǎng)絡(luò)層數(shù)的增加,這種變化會不斷被放大,網(wǎng)絡(luò)也會不斷適應(yīng)梯度的變換,導(dǎo)致網(wǎng)絡(luò)越來越難以被訓(xùn)練。批量歸一化(Batch normalization, BN)操作是將這些輸入值規(guī)范化至1個合適范圍內(nèi),在不影響梯度變換大趨勢的前提下降低網(wǎng)絡(luò)整體大幅度變化帶來的不確定性,可以增加數(shù)據(jù)的穩(wěn)定性。數(shù)據(jù)的穩(wěn)定傳遞可以加快模型訓(xùn)練的速度,降低網(wǎng)絡(luò)對參數(shù)的敏感程度,使得由超參數(shù)造成的網(wǎng)絡(luò)變化規(guī)律更加明顯,網(wǎng)絡(luò)學(xué)習(xí)更加穩(wěn)定。在本網(wǎng)絡(luò)中選擇在Conv2、Conv4及Conv6后增加批量歸一化操作,批量歸一化公式如下:

(1)

(2)

(3)

式中:X為輸入數(shù)據(jù);Y為輸出數(shù)據(jù);β、r分別是平移參數(shù)、縮放參數(shù),在反向傳播中訓(xùn)練得到;ε>0,且是很小的數(shù);m為輸入數(shù)據(jù)數(shù)量;u為輸入數(shù)據(jù)的均值;δ為輸入數(shù)據(jù)的標(biāo)準(zhǔn)差。

網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖2所示。

圖2 本研究設(shè)計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Neural network structure designed in this study

2.2.2 通過注意力機制優(yōu)化[26]敏銳度指人視網(wǎng)膜對不同物體具有的信息處理能力,表現(xiàn)為重點關(guān)注某些部分而忽視某些部分。在神經(jīng)網(wǎng)絡(luò)中,通過給予不同特征不同權(quán)重來實現(xiàn)注意力的分配,將更多計算資源分配至更重要的任務(wù)中,從而更加高效地實現(xiàn)信息處理[27]。

圖3為壓縮激勵注意力模型結(jié)構(gòu),該模型學(xué)習(xí)卷積過程中通道之間的相關(guān)性,從而實現(xiàn)注意力分配,具體分為3個部分。(1)壓縮(Squeeze)。是通過1個全局平均池化層將特征圖壓縮為1×1×C的向量,再經(jīng)全連接層(FC)把神經(jīng)元數(shù)量減少,該操作通過減少特征圖的寬、高從而降低計算量,除去過多的無用信息,其中降維系數(shù)(r值)選擇16。(2)激勵(Excitation)。壓縮后C/r個通道數(shù)的特征圖,由激活函數(shù)ReLU激活,賦予每個通道不同的權(quán)重,再經(jīng)FC將C/r個通道恢復(fù)成C個通道,得到1×1×C尺寸的數(shù)據(jù)。最后由Sigmoid激活函數(shù)使各個通道的權(quán)重歸一化。此時該向量與輸入特征圖有相同的通道數(shù),并且每個通道的權(quán)重不同。(3)Scale操作。得到1×1×C向量后,與輸入特征圖的W×H×C進(jìn)行Scale操作,賦予輸入特征圖權(quán)重,得到不同權(quán)重的W×H×C特征圖。

FC:全連接層;Sigmoid:一種函數(shù)名稱;Scale:通道權(quán)重相乘。圖3 壓縮激勵注意力模型結(jié)構(gòu)Fig.3 The structure of the squeeze excitation attention model

引入壓縮激勵模塊(SE模塊)進(jìn)一步提升網(wǎng)絡(luò)模型的精度,在圖2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,在卷積層1、卷積層2、卷積層3、卷積層4、卷積層5后均加入SE注意力機制模塊,以此優(yōu)化整個網(wǎng)絡(luò)結(jié)構(gòu)。

3 結(jié)果與分析

3.1 混淆矩陣分析

選用數(shù)據(jù)增廣后的6類番茄樣本數(shù)據(jù),共計8 730張圖片,按照4∶1的比例劃分為訓(xùn)練集與測試集,并按照網(wǎng)絡(luò)輸入大小裁剪為227像素×227像素×3(寬×高×通道數(shù))的尺寸,圖4為本研究設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)對6種不同番茄外觀形態(tài)進(jìn)行分類的混淆矩陣。

圖4 本研究模型的混淆矩陣Fig.4 The confusion matrix of the model constructed in this study

對樣本進(jìn)行測試后分別計算精確度(P)、召回率(R)、精確度和召回率的調(diào)和平均數(shù)(F1),其公式如下:

表4 6類番茄評估指標(biāo)的對比

(4)

(5)

(6)

式中:TP代表預(yù)測為正的正樣本;FP代表預(yù)測為正的負(fù)樣本;FN代表預(yù)測為負(fù)的正樣本。

表4為6類番茄外觀形態(tài)的3種分級評估指標(biāo)參數(shù),其中未成熟番茄的外觀形態(tài)分級效果最精確,軟爛番茄的外觀形態(tài)分級效果最差,6類番茄外觀形態(tài)的綜合分類精確度(表5中的測試精度)達(dá)到96.57%,表明本研究設(shè)計的神經(jīng)模型對番茄各個外觀形態(tài)的識別能力均較強。

表5 5種模型訓(xùn)練參數(shù)的對比

本研究設(shè)計并優(yōu)化后的網(wǎng)絡(luò)以CNN-7-SE-5作為記號。將目前常見的4種神經(jīng)網(wǎng)絡(luò)模型輸出節(jié)點數(shù)微調(diào)后,用以自建番茄數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò),并與本研究設(shè)計的網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)進(jìn)行對比。從圖5a可以看出,該網(wǎng)絡(luò)模型在收斂速度上相較于AlexNet、MobileNet-V2、NasNet-Mobile、ShuffleNet 4種模型更快,迭代500次左右就優(yōu)先達(dá)到90%的訓(xùn)練精度(準(zhǔn)確率),并且整體訓(xùn)練精度變化穩(wěn)定,沒有大幅度的變化,最終5種模型的訓(xùn)練精度都在95%以上。圖5b可以看出,本研究設(shè)計的模型也是收斂最快的,迭代1 000次左右便最先將損失值降至0.25,最終5種模型的損失值均在0.13左右。

a:訓(xùn)練精度曲線;b:訓(xùn)練損失曲線。圖5 5種模型訓(xùn)練曲線Fig.5 Five model training curves

本研究設(shè)計的模型結(jié)構(gòu),以自建的6種番茄外觀形態(tài)分類數(shù)據(jù)為數(shù)據(jù)集進(jìn)行模型訓(xùn)練,得到表5中的數(shù)據(jù)?？梢钥闯?該模型在識別精度上相較于經(jīng)典模型并沒有明顯優(yōu)勢,但是在參數(shù)量、單張照片測試時間及訓(xùn)練時間上的優(yōu)勢明顯,訓(xùn)練時間減少了22%～96%,測試精度提高了0.18～1.89個百分點,單張照片測試時間減少了37%～83%,此外,CUDA內(nèi)存占用比例也得到了一定程度的降低。

3.2 試驗?zāi)Ｐ托阅芴接懪c分析

3.2.1 優(yōu)化后操作對網(wǎng)絡(luò)模型的影響 分別對優(yōu)化后的網(wǎng)絡(luò)模型(引入SE模塊、批量歸一化)和未優(yōu)化的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與測試,對比在相同數(shù)據(jù)集、環(huán)境、超參數(shù)條件下2種模型的訓(xùn)練精度和損失值隨迭代次數(shù)的變化趨勢。如圖6所示,在模型訓(xùn)練過程中共迭代9 810次,加入SE模塊和批量歸一化后的網(wǎng)絡(luò)模型在前2 000次迭代中的收斂速度明顯優(yōu)于未優(yōu)化網(wǎng)絡(luò)的模型,訓(xùn)練好的模型在測試集中的測試精度也由未優(yōu)化的93.99%提升至優(yōu)化后的96.57%,提高了2.58個百分點。

a:訓(xùn)練精度曲線;b:訓(xùn)練損失曲線。圖6 模型優(yōu)化前后性能對比曲線Fig.6 Performance comparison curves before and after model optimization

圖6顯示,與優(yōu)化后的網(wǎng)絡(luò)相比,未優(yōu)化的網(wǎng)絡(luò)在訓(xùn)練過程中準(zhǔn)確率與損失值變化波動起伏較大,通過本研究中的優(yōu)化操作可以使網(wǎng)絡(luò)模型的訓(xùn)練更加穩(wěn)定,更有利于網(wǎng)絡(luò)模型的建立,在測試精度、網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性上都能得到一定程度的提升,說明本研究的優(yōu)化方式是十分有效的。

3.2.2 注意力機制對網(wǎng)絡(luò)模型性能的影響 為了驗證注意力機制SE模塊對具體目標(biāo)的影響,對比番茄外觀形態(tài)原圖和3種網(wǎng)絡(luò)的Conv5層中激活區(qū)域最大特征的通道圖(AlexNet網(wǎng)絡(luò)、本研究設(shè)計的未加SE模塊的網(wǎng)絡(luò)、本研究設(shè)計的增加SE模塊后的網(wǎng)絡(luò))。由于AlexNet網(wǎng)絡(luò)與本研究設(shè)計的網(wǎng)絡(luò)同為采用5層卷積層提取特征的網(wǎng)絡(luò),因此選用AlexNet網(wǎng)絡(luò)進(jìn)行對比。圖7b為AlexNet網(wǎng)絡(luò)Conv5層中激活區(qū)域最大的特征圖,對比原圖(圖7a)可以明顯看出,正向激活區(qū)域主要集中在番茄左上角高光區(qū)域及周邊區(qū)域。由圖7c可以看出,本研究設(shè)計的網(wǎng)絡(luò)在未加入SE注意力機制時,Conv5層最大激活區(qū)域圖中整個正向區(qū)域相較于圖7b明顯增加,包含在整個番茄四周。由圖7d可以看出,加入SE注意力機制的Conv5層最大激活區(qū)域中的激活區(qū)域得到進(jìn)一步增加,整個番茄區(qū)域中絕大部分都被正向激活,使得目標(biāo)特征得到更多關(guān)注,也避免了番茄表面局部特征和背景噪音的干擾,能夠增強網(wǎng)絡(luò)分類的泛化能力與魯棒性。

a:原圖;b:AlexNet網(wǎng)絡(luò)激活;c:未加SE模塊激活;d:加SE模塊激活。圖7 3種模型的Conv5層激活區(qū)域?qū)Ρ菷ig.7 Comparison of the activation regions of the Conv5 layer of the three models

3.2.3 優(yōu)化算法對模型性能的影響 在相同數(shù)據(jù)集、參數(shù)設(shè)置的情況下,分別采用SGDM、Adam、RMSprop這3種常見的優(yōu)化算法對改進(jìn)后的卷積神經(jīng)模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練對比。從圖8可以看出,在前1 000次迭代中,3種優(yōu)化算法的訓(xùn)練精度曲線和損失曲線基本保持重合;在迭代次數(shù)達(dá)到1 000次后,3條曲線的軌跡開始發(fā)生變化,其中SGDM優(yōu)化算法的訓(xùn)練精度曲線增加幅度和速率都高于采用Adam、RMSprop優(yōu)化算法的卷積模型;損失值降低幅度和速率也高于采用Adam、RMSprop優(yōu)化算法的卷積模型。采用SGDM、Adam、RMSprop 3種優(yōu)化算法的最終模型測試精度分別為96.57%、94.56%、94.28%。由此可見,SGDM優(yōu)化算法相較于Adam、RMSprop優(yōu)化算法更適合本模型,測試精度分別提高了2.01個百分點和2.29個百分點,因此在本研究中,SGDM優(yōu)化算法是更好的選擇。

a:訓(xùn)練精度曲線;b:訓(xùn)練損失曲線。圖8 3種優(yōu)化算法對應(yīng)的訓(xùn)練曲線Fig.8 Training curves corresponding to the three optimization algorithms

3.2.4 單一背景數(shù)據(jù)集對網(wǎng)絡(luò)性能的影響 通過傳統(tǒng)的圖像處理手段,先進(jìn)行濾波降噪,消除噪聲干擾,再通過在RGB和HSV顏色空間的不同算子實現(xiàn)了6種類型番茄與背景的分割,其中注意避免高亮區(qū)域?qū)Ρ尘胺蛛x的干擾,結(jié)合RGB空間和YIQ空間兩個空間信息特點,利用布爾運算實現(xiàn)目標(biāo)的完整分割,大部分情況分割效果較好,如圖9所示。通過對比兩組數(shù)據(jù)集在相同模型下的訓(xùn)練效果可以發(fā)現(xiàn),單一黑色背景數(shù)據(jù)集訓(xùn)練出的模型測試精度為96.97%,相較于未去除背景的數(shù)據(jù)集測試精度提高了0.40個百分點,可以推測背景中存在影響學(xué)習(xí)分類的噪聲,影響了模型的學(xué)習(xí),移除背景后減少了背景干擾,使得分類精度得到提升。

第1行的3張圖從左到右依次為去除背景的正常番茄、去除背景的綠柄番茄、去除背景的霉變番茄,第2行的3張圖從左到右依次為去除背景的破裂番茄、去除背景的未成熟番茄、去除背景的軟爛番茄。圖9 消除背景的6種番茄Fig.9 Six tomato samples without background

消除背景后,雖然測試精度得到小幅度提升,但是提升幅度并不明顯,可能是仍有部分?jǐn)?shù)據(jù)并未很好地實現(xiàn)背景分割導(dǎo)致,詳見圖10。由于光線照射原因?qū)е卤尘懊靼党潭炔灰恢?使得番茄目標(biāo)不能從背景中完全分割出來,整體數(shù)據(jù)樣本存在小部分?jǐn)?shù)據(jù)不一致,存在的部分背景在訓(xùn)練過程中會引入不確定的干擾因素,導(dǎo)致訓(xùn)練精度提升并不明顯。

3張圖從左到右依次為未完全去除背景的破裂番茄、未完全去除背景的綠柄番茄、未完全去除背景的霉變番茄。圖10 背景未完全分割的番茄樣品Fig.10 Tomato sample image with incompletely segmented background

4 結(jié) 論

以自采集的6類番茄外觀形態(tài)數(shù)據(jù)集為研究對象,通過數(shù)據(jù)增廣對數(shù)據(jù)進(jìn)行6倍擴(kuò)增,構(gòu)建并優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)算法,對6類不同品質(zhì)番茄圖像進(jìn)行檢測與分類,討論網(wǎng)絡(luò)模型訓(xùn)練效果并與其他模型進(jìn)行對比,探究歸一化操作、注意力SE機制、3種優(yōu)化算法、數(shù)據(jù)單一背景等對模型性能的影響,得到如下結(jié)論:

(1)本研究設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中使用1×1的卷積層和全局平均池化層并通過1個全連接層實現(xiàn)所有神經(jīng)元的全連接,并傳遞給Softmax分類函數(shù)實現(xiàn)分類輸出,與3個全連接層相比,此結(jié)構(gòu)的參數(shù)量可以得到極大降低,訓(xùn)練時使得GPU中的CUDA內(nèi)存占用比例得到了一定程度的降低。

(2)利用批量歸一化和壓縮激勵模塊(SE模塊)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化后,與未優(yōu)化的網(wǎng)絡(luò)模型相比,優(yōu)化后的網(wǎng)絡(luò)模型測試精度提高了2.58個百分點。并且對比傳統(tǒng)經(jīng)典AlexNet、MobileNet-V2、NasNet-Mobile、ShuffleNet 4種網(wǎng)絡(luò)模型,具有收斂速度更快、模型體積更小、計算量更少等優(yōu)勢,訓(xùn)練時間減少了22%～96%,測試精度提高了0.18～1.89個百分點,單張照片測試時間降低了37%～83%。

(3)采用批量歸一化和注意力機制優(yōu)化后的網(wǎng)絡(luò)訓(xùn)練過程更加穩(wěn)定,模型注意力更多集中在番茄整體上,正向激活區(qū)域也更多,在一定程度上降低了背景干擾,提升了算法的魯棒性和泛化能力。

(4)探究3種優(yōu)化算法SGDM、Adam、RMSprop對模型的影響,結(jié)果表明,SGDM優(yōu)化算法的模型測試精度相較于Adam、RMSprop優(yōu)化算法分別提高了2.01個百分點和2.29個百分點,可見SGDM優(yōu)化算法更適合該網(wǎng)絡(luò)模型與數(shù)據(jù)集。為了探究單一背景對模型性能的影響,通過圖像處理去除數(shù)據(jù)集背景,重新訓(xùn)練后模型的準(zhǔn)確率提高到96.97%,相較于未去除背景的數(shù)據(jù)集測試精度提高了0.40個百分點,可見去除背景在一定程度上降低了背景噪點的干擾,使得模型準(zhǔn)確度得到提升。