基于改進(jìn)MobileNet V3網(wǎng)絡(luò)的桃子成熟度分級(jí)方法

關(guān)鍵詞：桃子；外觀成熟度分級(jí)；卷積神經(jīng)網(wǎng)絡(luò)；MobileNet V3；注意力機(jī)制；激活函數(shù)

中圖分類號(hào)：S662.1：S126 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：1001-4942（2024）11-0148-08

中國(guó)是世界上最大的桃子生產(chǎn)國(guó)，種植面積約為90萬公頃，其中鮮桃產(chǎn)業(yè)的生產(chǎn)規(guī)模約為1600萬噸，并呈逐年上升的趨勢(shì)。然而，由于質(zhì)量參差不齊，出口量?jī)H占世界出口總量的10%。目前我國(guó)桃子外觀成熟度分級(jí)主要依賴基于主觀經(jīng)驗(yàn)的人工方式，這往往會(huì)導(dǎo)致同一批次的桃子成熟度具有較大差別，無法達(dá)到高品質(zhì)標(biāo)準(zhǔn)且難以樹立良好品牌形象來進(jìn)一步提高產(chǎn)品價(jià)格。因此，實(shí)現(xiàn)桃子外觀成熟度的智能化分級(jí)對(duì)提升我國(guó)桃子產(chǎn)業(yè)規(guī)模和效益具有重大現(xiàn)實(shí)意義。

在水果智能化分級(jí)方面，國(guó)內(nèi)外學(xué)者已開展了相關(guān)的研究，并提出一些基于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)的自動(dòng)分級(jí)方法，可概況為以下幾類：

（1）以水果大小為主要依據(jù)的分級(jí)方法。目前大多方法使用最大果徑來估計(jì)水果大小，進(jìn)而實(shí)現(xiàn)基于果實(shí)大小的分級(jí)。Throop等首先利用不同角度的蘋果圖像計(jì)算出蘋果的最大直徑和最大橫截面面積，再將蘋果視為一個(gè)球體，估算出蘋果的大小，進(jìn)而根據(jù)大小進(jìn)行分級(jí)，識(shí)別準(zhǔn)確率達(dá)到97.6%。鄭紀(jì)業(yè)等提出一種基于線性擬合模型的蘋果大小分級(jí)方法，利用直徑像素?cái)?shù)估算果實(shí)直徑用于蘋果大小分級(jí)，準(zhǔn)確率可達(dá)92%。應(yīng)義斌等通過采集水果圖像的邊界信息來獲得待測(cè)量水果與圖像之間點(diǎn)與點(diǎn)的關(guān)系，并提出一種面積修正算法，該方法對(duì)水果大小的檢測(cè)精度達(dá)到96%。鄭羽綸首先計(jì)算蘋果的最大和最小半徑比，將最大比值的截面作為果徑面，然后用果徑面的最小外接圓的直徑進(jìn)行蘋果大小分級(jí)。

（2）以水果顏色為主要依據(jù)的分級(jí)方法。顏色是水果的重要外觀參數(shù)，同時(shí)也是水果分級(jí)任務(wù)中需要考慮的重要指標(biāo)。侯文軍用HSI模型來描述蘋果顏色，并根據(jù)色澤直方圖的特點(diǎn)使用4種色度均值來代替蘋果的色澤，然后借助BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)分級(jí)。樊澤澤等借助卷積神經(jīng)網(wǎng)絡(luò)提取蘋果圖像的特定顏色分量，并通過二值化處理對(duì)目標(biāo)輪廓進(jìn)行精確提取，檢測(cè)精度達(dá)到91.6%。

（3）以水果紋理為主要依據(jù)的分級(jí)方法。紋理特征可在一定程度上反映水果的成熟度和內(nèi)部品質(zhì)。李偉等首先將目標(biāo)圖像進(jìn)行灰度化，然后根據(jù)紋理圖像中灰度突變的特點(diǎn)對(duì)圖像進(jìn)行銳化處理，通過計(jì)算圖像的平均灰度值完成水果的紋理分級(jí)。Jafari等通過橙子的視覺紋理粗糙度估算橙皮的厚度。Khoje等借助小波變換、遺傳算法等實(shí)現(xiàn)了水果圖像的紋理表征，用于品質(zhì)分類。

（4）以水果表面缺陷為主要依據(jù)的分級(jí)方法。水果表面的完整性對(duì)其銷量有重要影響。楊濤等首先使用K-means聚類算法對(duì)獼猴桃外觀圖像進(jìn)行分割，然后通過顏色比較確定存在缺陷的果實(shí)，最終借助支持向量機(jī)（SVM）對(duì)獼猴桃進(jìn)行分級(jí)。張婧婧等使用顏色空間聚類方法對(duì)蘋果果實(shí)的外表缺陷進(jìn)行檢測(cè)，并實(shí)現(xiàn)果實(shí)的分級(jí)。

綜上所述，現(xiàn)有的水果分級(jí)方法大多借助傳統(tǒng)圖像處理技術(shù)和機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)自動(dòng)分級(jí)檢測(cè)。然而，此類方法無法實(shí)現(xiàn)快速檢測(cè)，且在檢測(cè)精度方面仍具有一定的提升空間。因此，為實(shí)現(xiàn)高精度、高效率的桃子外觀成熟度分級(jí)，本研究以卷積神經(jīng)網(wǎng)絡(luò)MobileNet V3為基準(zhǔn)模型，構(gòu)建一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型CS-MobileNet-P-L，用于桃子外觀成熟度自動(dòng)分級(jí)任務(wù)中。

1材料與方法

1.1數(shù)據(jù)采集及處理

本研究選用的桃子品種為萊州蜜桃。為了確保數(shù)據(jù)的多樣性和真實(shí)性，一部分桃子圖像采自山東省泰安市某種植基地，另一部分圖像選自網(wǎng)絡(luò)公開數(shù)據(jù)集。為保證圖像質(zhì)量的一致性，對(duì)圖像進(jìn)行清洗篩選等預(yù)處理操作。預(yù)處理后的數(shù)據(jù)集包含4類共6360張圖片，分別對(duì)應(yīng)4種成熟度等級(jí)。具體信息如下：A1表示第一等級(jí)，即完全成熟，包含1420張圖片；A2表示第二等級(jí)，即基本成熟，包含1500張圖片；A3、A4分別表示第三、四等級(jí)，即開始成熟和未成熟兩種狀態(tài)，各包含1800張和1640張圖片。4種等級(jí)的桃子外觀圖像如圖1所示。按6：2：2的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集三部分，具體信息見表1。

1.2卷積神經(jīng)網(wǎng)絡(luò)MobileNet V3

MobileNet V3是Google公司提出的一種輕量級(jí)網(wǎng)絡(luò)，能夠在計(jì)算資源有限的環(huán)境下取得出色的性能。MobileNet V3采用深度可分離卷積（DSConv），并在網(wǎng)絡(luò)中引入倒殘差結(jié)構(gòu)，借助其低秩特性實(shí)現(xiàn)更為高效的層結(jié)構(gòu)。為了保證特征提取過程中的精度.MobileNet V3模型中使用了一種新的激活函數(shù)H-Swish，該函數(shù)定義公式為：

在此基礎(chǔ)上.MobileNet V3在倒殘差結(jié)構(gòu)中引入SE注意力機(jī)制模塊，構(gòu)成Bneck結(jié)構(gòu)，該結(jié)構(gòu)工作原理如圖2所示。

1.3改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CS-MobileNet-P-L

由于MobileNet V3在桃子外觀成熟度分級(jí)任務(wù)中的準(zhǔn)確度還有進(jìn)一步提升的空間，本研究對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整和優(yōu)化，提出改進(jìn)模型CS-MobileNet-P-L。與原始模型MobileNet V3相比，CS-MobileNet-P-L模型主要在三方面進(jìn)行了改進(jìn)：①構(gòu)建通道位置雙重注意力機(jī)制模塊：②調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)中的激活函數(shù)；③改進(jìn)Last Stage結(jié)構(gòu)。CS-MobileNet-P -L模型的結(jié)構(gòu)參數(shù)如表2所示。

1.3.1構(gòu)建通道位置雙重注意力機(jī)制模塊 Mo-bileNet V3中的SE注意力機(jī)制在工作過程中未將輸入圖像中的位置信息考慮在內(nèi)，因此，為使模型在特征提取過程中能夠快速定位到目標(biāo)區(qū)域，本研究引入多方位協(xié)調(diào)注意力機(jī)制模塊CA，通過與SE機(jī)制相融合，構(gòu)建出通道位置雙重注意力機(jī)制模塊，協(xié)同進(jìn)行圖像特征的提取，從而提高特征捕獲精度和目標(biāo)區(qū)域定位準(zhǔn)確性。如圖3所示，CA注意力機(jī)制將通道注意力信息沿水平和垂直兩個(gè)方向進(jìn)行分解，以提取位置信息與通道信息之間的關(guān)系，借此增強(qiáng)網(wǎng)絡(luò)的特征提取精度。為高效利用圖像表達(dá)的特征信息，本研究引入CA注意力機(jī)制，采用注意力協(xié)調(diào)生成方法來確保特征提取的高效性，充分捕獲不同通道間的相關(guān)性信息，并利用空間位置信息突出目標(biāo)區(qū)域。

1.3.2調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的激活函數(shù) 為了進(jìn)一步提高模型的識(shí)別精度，本研究用更為高效的PRe-LU（Parametric Rectified Linear Unit）激活函數(shù)來替代Bneck結(jié)構(gòu)中原有的激活函數(shù)H- Swish和ReLU。其中，H-Swish激活函數(shù)計(jì)算復(fù)雜度較高；ReLU激活函數(shù)在較低維度空間內(nèi)，正數(shù)輸入時(shí)輸出等于輸入，而負(fù)數(shù)輸入時(shí)輸出為0，導(dǎo)致一些神經(jīng)元在訓(xùn)練過程中永遠(yuǎn)不會(huì)被激活，從而降低模型的性能。

PReLU激活函數(shù)的最大優(yōu)點(diǎn)是能夠在糾正線性單元參數(shù)過程中實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)，允許神經(jīng)元在負(fù)數(shù)輸入時(shí)具有非零梯度值。模型訓(xùn)練過程中，所有神經(jīng)元都能夠更新其權(quán)重，提高模型自適應(yīng)能力，同時(shí)加快模型的收斂速度。PReLU函數(shù)的定義如式（2）：

式中，y_i表示非線性激活函數(shù)f在通道i的輸入；a_i用來控制函數(shù)的斜率，通過對(duì)a_i進(jìn)行調(diào)節(jié)，可使不同的通道使用不同的激活函數(shù)。由于a_i能夠進(jìn)行自適應(yīng)學(xué)習(xí)，因此函數(shù)定義式（2）可轉(zhuǎn)換為式（3）：

通過構(gòu)建雙重注意力機(jī)制和調(diào)整激活函數(shù)，得到改進(jìn)后的SC-Bneck-P結(jié)構(gòu)，如圖4所示。

1.3.3改進(jìn)Last Stage結(jié)構(gòu) 為了提高網(wǎng)絡(luò)末端在特征提取階段將特征映射轉(zhuǎn)化為輸出結(jié)果的準(zhǔn)確性，對(duì)MobileNet V3中的Last Stage結(jié)構(gòu)進(jìn)行了改進(jìn)。Last Stage結(jié)構(gòu)的主要任務(wù)是通過全局平均池化將圖像特征進(jìn)行匯總，并將其轉(zhuǎn)化為固定大小的特征向量，從而降低空間維度，使圖像特征轉(zhuǎn)化為全局特征，然后通過全連接層將全局特征向量映射為各類別的分?jǐn)?shù)：這些分?jǐn)?shù)經(jīng)過Softmax層轉(zhuǎn)化為類別概率分布，表示輸入圖像屬于各類別的概率：輸出層選擇最高概率得分的類別作為模型的預(yù)測(cè)結(jié)果，從而完成模型的預(yù)測(cè)。然而，在MobileNet V3的Last Stage結(jié)構(gòu)中，全局平均池化層所處理的圖像特征是通過上層的卷積層提取的，但該層卷積核較小，無法捕捉遠(yuǎn)距離以及全局結(jié)構(gòu)的特征。而本研究所用數(shù)據(jù)集中的圖像特征范圍較大，如果仍采用較小的卷積核，某些特征便無法被提取。為解決該問題，對(duì)該部分結(jié)構(gòu)進(jìn)行了改進(jìn)：首先，將卷積核大小調(diào)整為3，以捕捉到更大范圍的特征：然后，在該卷積層后又增加一層卷積，以此構(gòu)建出層次化的特征表示；最后，將兩個(gè)卷積層中的激活函數(shù)皆設(shè)置為PReLU，以保證模型處理全局結(jié)構(gòu)或捕獲遠(yuǎn)距離特征時(shí)具有更高的效率。以上改進(jìn)使得模型在處理廣泛范圍特征時(shí)能夠提供更加精確的輸出結(jié)果。改進(jìn)后的Last Stage結(jié)構(gòu)如圖5所示。

1.4性能評(píng)估指標(biāo)

選用準(zhǔn)確度（Accuracy，A）、精確度（Preci-sion，P）、召回率（Recall，R）、F1分?jǐn)?shù)（F1）對(duì)模型性能進(jìn)行綜合評(píng)估。其中，準(zhǔn)確度是全部類別中能夠正確分類的樣本數(shù)量在全部樣本數(shù)量中的占比：精確度表示在預(yù)測(cè)結(jié)果為某一類別的全部樣本中，預(yù)測(cè)結(jié)果正確的樣本比例：召回率則表示對(duì)于某類別，在真實(shí)標(biāo)簽為此類別的全部預(yù)測(cè)樣本中，預(yù)測(cè)結(jié)果正確的占比；F1分?jǐn)?shù)通過結(jié)合精確度和召回率對(duì)模型進(jìn)行綜合評(píng)估，是精確度和召回率的調(diào)和平均數(shù)，可用來衡量模型在精確度和召回率處于平衡時(shí)的性能。各指標(biāo)計(jì)算公式為：

式中，TP_i表示第i類中被正確分類的樣本數(shù)量；FN_i表示第i類中被錯(cuò)誤分類的樣本數(shù)量；FP_i表示其他類樣本中被錯(cuò)誤分類為第i類的樣本數(shù)量；TN_i表示其他類樣本中未被錯(cuò)誤分類為第i類的樣本數(shù)量。四種指標(biāo)的值越高，說明模型的預(yù)測(cè)性能越優(yōu)越，相反，指標(biāo)值越低，模型的預(yù)測(cè)性能就越差。

1.5試驗(yàn)環(huán)境設(shè)置

模型的訓(xùn)練及測(cè)試均在Windows 11操作系統(tǒng)上運(yùn)行，基于Pytorch深度學(xué)習(xí)框架完成。試驗(yàn)過程中的硬件參數(shù)為Intel（R） Core i5-13500HX@4.70 GHz，內(nèi)存為16 G 4 800 MHz，GPU采用NVIDIA GeForce RTX 4060，顯存為8 GB。代碼編譯環(huán)境為Pycharm，Python版本為3.9。

2結(jié)果與分析

2.1訓(xùn)練策略對(duì)比試驗(yàn)

在深度學(xué)習(xí)中，訓(xùn)練策略是指模型訓(xùn)練之前設(shè)定的一系列參數(shù)和配置，它們對(duì)于模型的性能和學(xué)習(xí)圖像特征起著重要作用。通過適當(dāng)調(diào)整訓(xùn)練策略，可以更好地讓模型學(xué)習(xí)圖像特征，提高性能，并有效避免過擬合，以獲得最佳模型。為驗(yàn)證不同訓(xùn)練策略對(duì)模型在桃子外觀成熟度識(shí)別任務(wù)中的影響，本研究以CS-MobileNet-P-L作為基準(zhǔn)模型，通過修改優(yōu)化器和損失函數(shù)設(shè)置了6種不同的訓(xùn)練策略（表3），經(jīng)試驗(yàn)對(duì)比，方案二使用AdamW優(yōu)化器和CrossEntropyLoss損失函數(shù)，展現(xiàn)出優(yōu)異的整體性能，準(zhǔn)確度、精確度、召回率、F1分?jǐn)?shù)分別達(dá)到99.32%、99.39%、99.29%、99.33%（表4）。表明對(duì)于本研究提出的CS-Mo-bileNet-P-L模型，AdamW優(yōu)化器比SGD優(yōu)化器在模型參數(shù)優(yōu)化方面具有更好的效果，同時(shí)也體現(xiàn)出CrossEntropyLoss損失函數(shù)相對(duì)于PolyLoss和FocalLoss在衡量模型的預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽之間差異方面表現(xiàn)更出色，能夠鼓勵(lì)模型產(chǎn)生更明確的分類決策，具有更廣泛的適用性。

2.2模型結(jié)構(gòu)改進(jìn)消融試驗(yàn)

為驗(yàn)證本研究對(duì)MobileNet V3模型各項(xiàng)改進(jìn)的有效性，采用消融試驗(yàn)進(jìn)行對(duì)比分析，具體試驗(yàn)方案如表5所示。其中，方案一為基準(zhǔn)模型Mo-bileNet V3，未進(jìn)行任何改進(jìn)：方案二是基于方案一將注意力機(jī)制模塊改進(jìn)為通道位置雙重注意力機(jī)制：方案三是基于方案二調(diào)整Bneck層中的激活函數(shù)為PReLU：方案四是在方案三基礎(chǔ)上對(duì)Last Stage結(jié)構(gòu)做進(jìn)一步改進(jìn)。通過圖6（a）可以清晰地觀察到，在訓(xùn)練的初始階段，方案一的準(zhǔn)確度不僅升幅較小，而且上升速度相對(duì)較慢，而經(jīng)過改進(jìn)的方案四呈現(xiàn)出明顯的上升趨勢(shì)，僅經(jīng)過前10輪訓(xùn)練，準(zhǔn)確度就已經(jīng)達(dá)到90%的水平。雖然由于數(shù)據(jù)噪聲或隨機(jī)性因素影響，方案四的準(zhǔn)確度曲線在某些輪次上出現(xiàn)了一些波動(dòng)，但整體來看穩(wěn)定性高于其他三種方案。通過圖6（b）可以觀察到，隨著訓(xùn)練的進(jìn)行，與其他三種方案相比，方案四的Loss曲線下降速度最快，雖然在訓(xùn)練后期存在一些波動(dòng)，但整體趨于穩(wěn)定，表明方案四改進(jìn)的模型取得了良好的性能?？傮w而言，方案四在整個(gè)訓(xùn)練過程中表現(xiàn)更加出色，表明本研究對(duì)模型進(jìn)行的改進(jìn)有效。

混淆矩陣能夠有效地可視化每個(gè)類別中錯(cuò)誤分類的情況。根據(jù)圖7展示的各方案混淆矩陣來看，方案四盡管在A2類別上的識(shí)別精度略低于方案三，但整體性能表現(xiàn)更佳，對(duì)各類成熟度桃子的識(shí)別效果都較好。

由表6可知，與其他方案相比，在基準(zhǔn)模型MobileNet V3的基礎(chǔ)上采用雙重注意力機(jī)制模塊、引入高效激活函數(shù)、對(duì)Last Stage結(jié)構(gòu)進(jìn)行優(yōu)化的改進(jìn)方式（方案四）將模型的準(zhǔn)確度分別提高2.71、1.13、0.45個(gè)百分點(diǎn)，精確度分別提高2.55、1.05、0.48個(gè)百分點(diǎn)，召回率分別提高2.64、1.11、0.39個(gè)百分點(diǎn)，F(xiàn)l分?jǐn)?shù)分別提高2.64、1.10、0.43個(gè)百分點(diǎn)。表明方案四改進(jìn)模型的性能顯著提升，這是因?yàn)樵贐neck結(jié)構(gòu)中引人多方位協(xié)調(diào)注意力機(jī)制模塊與通道注意力機(jī)制共同工作，增強(qiáng)了模型對(duì)桃子外觀圖像位置信息的學(xué)習(xí)能力，使模型對(duì)于桃子外觀圖像成熟顯著區(qū)域的特征提取能力顯著加強(qiáng)，同時(shí)借助PReLU激活函數(shù)及改進(jìn)Last Stage結(jié)構(gòu)的方式進(jìn)一步提高模型精度，最終使得模型在各評(píng)價(jià)指標(biāo)上均取得優(yōu)異成績(jī)，體現(xiàn)出改進(jìn)方法的有效性。

2.3與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的對(duì)比試驗(yàn)

為了充分驗(yàn)證CS-MobileNet-P-L模型對(duì)不同成熟度桃子外觀圖像的識(shí)別能力，采用相同的訓(xùn)練策略，將其與另外5種傳統(tǒng)網(wǎng)絡(luò)模型Shf-fuleNet、EfficientNet、GhostNet、MobileNetV2、ResNet進(jìn)行對(duì)比試驗(yàn)，結(jié)果如圖8、表7所示?？梢钥闯觯珻S-MobileNet-P-L模型隨著訓(xùn)練輪次的增加，損失函數(shù)快速收斂到較小值，準(zhǔn)確度明顯提高，且在訓(xùn)練輪次為40時(shí)，模型開始處于收斂狀態(tài)：相比于其他5種模型，損失函數(shù)曲線和準(zhǔn)確度曲線震蕩幅度都較小，說明模型訓(xùn)練過程更加穩(wěn)定，魯棒性更好。與其他模型相比，CS-MobileNet-P-L模型的準(zhǔn)確度、精確度、召回率、F1分?jǐn)?shù)均最優(yōu)，分別提高2.24%～9.73%、2.24%～8.42%、2.22%～9.54、2.21～9.51%。綜上所述，本研究構(gòu)建的CS-MobileNet-P-L模型在桃子外觀成熟度分級(jí)任務(wù)中達(dá)到了較好的性能。

3討論與結(jié)論

針對(duì)我國(guó)桃子生產(chǎn)中存在的問題，即依賴人工進(jìn)行桃子成熟度分級(jí)的誤差較大，導(dǎo)致不同成熟度等級(jí)的桃子混雜在一起，無法達(dá)到高品質(zhì)出口銷售標(biāo)準(zhǔn)，本研究提出一種基于MobileNet V3網(wǎng)絡(luò)改進(jìn)的桃子外觀成熟度分級(jí)模型CS-Mo-bileNet-P-L，借助AdamW優(yōu)化器與CrossEntro-pyLoss損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練，成功提升了模型性能：通過構(gòu)建通道、方位雙重注意力機(jī)制及調(diào)整激活函數(shù)等方法對(duì)Bneck結(jié)構(gòu)進(jìn)行改進(jìn)，顯著提高了模型的識(shí)別精度；同時(shí)對(duì)Last Stage結(jié)構(gòu)進(jìn)行優(yōu)化，使模型能夠更好地捕獲圖像特征并提高精度。最終，改進(jìn)后的CS-MobileNet-P-L模型在桃子外觀成熟度分級(jí)任務(wù)中表現(xiàn)出色，準(zhǔn)確度、精確度、召回率、F1分?jǐn)?shù)分別達(dá)到99.32%、99.39%、99.29%、99.33%，分別比基準(zhǔn)模型Mo-bileNet V3提升2.71、2.55、2.64、2.64個(gè)百分點(diǎn)，相較于傳統(tǒng)的分類網(wǎng)絡(luò)ShffuleNet、EfficientNet、GhostNet、MobileNet V2、ResNet也都有明顯提升，具有穩(wěn)定的收斂性能和卓越的桃子成熟度分類識(shí)別性能。

鑒于桃子品種眾多且外觀差異較大，未來將收集更多地區(qū)和品種的桃子圖像，豐富數(shù)據(jù)集，以提高模型的泛化能力，并致力于開發(fā)適用于移動(dòng)設(shè)備的識(shí)別軟件。