基于改進(jìn)MobileNetV2 模型的農(nóng)作物葉片病害識(shí)別研究

王煥鑫，沈志豪，劉 泉，劉金江

（1.南陽師范學(xué)院生命科學(xué)與農(nóng)業(yè)工程學(xué)院，河南 南陽 473000；2.南陽師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 南陽 473000）

受全球氣候和環(huán)境因素的影響，農(nóng)作物病害頻繁發(fā)生，成為影響農(nóng)業(yè)經(jīng)濟(jì)作物產(chǎn)量和質(zhì)量的主要危害之一。農(nóng)作物病害的發(fā)病率越來越高，病害也越來越復(fù)雜，因此，研究農(nóng)作物病害的預(yù)防、診斷和補(bǔ)救措施顯得尤為重要。傳統(tǒng)的病害識(shí)別方法完全依賴于工作者的肉眼觀察以及個(gè)人經(jīng)驗(yàn)判斷，具有主觀性強(qiáng)、識(shí)別效率低等缺點(diǎn)。因此，實(shí)現(xiàn)對農(nóng)作物病害的快速準(zhǔn)確識(shí)別具有重要意義。

隨著機(jī)器學(xué)習(xí)及其相關(guān)行業(yè)技術(shù)不斷革新，越來越多的研究者使用機(jī)器學(xué)習(xí)技術(shù)鑒定農(nóng)作物病害?；趥鹘y(tǒng)機(jī)器學(xué)習(xí)的農(nóng)作物病害分類識(shí)別的實(shí)現(xiàn)需要先提取圖像的顏色、形狀、紋理等特征，再使用支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)等進(jìn)行分類[1?2]。宋凱等[3]針對玉米葉片病害特點(diǎn)，使用機(jī)器學(xué)習(xí)方法分割圖像并提取病灶特征，最后使用支持向量機(jī)對玉米葉部病害進(jìn)行分類，結(jié)果表明，支持向量機(jī)具有良好的分類能力。張建華等[4]提出了一種在自然環(huán)境條件下基于棉花病斑特征，使用粗糙集和BP神經(jīng)網(wǎng)絡(luò)對棉花病害識(shí)別的方法，實(shí)現(xiàn)特征向量的優(yōu)選，且對棉花病害的平均識(shí)別正確率達(dá)到92.72%。然而機(jī)器學(xué)習(xí)這種方法對設(shè)備要求較高，無法應(yīng)用于多個(gè)場景。近年來，深度學(xué)習(xí)技術(shù)不斷發(fā)展并廣泛應(yīng)用在農(nóng)作物病害識(shí)別方面。不同學(xué)者在對作物病害識(shí)別準(zhǔn)確率提升方面使用了不同的方法，如使用AlexNet 和GoogLeNet 等網(wǎng)絡(luò)[5]、數(shù)據(jù)集擴(kuò)充[6]或引入新的損失函數(shù)[7]等。但基于AlexNet[8?9]、VGGNet[10?11]、ResNet[12?14]等網(wǎng)絡(luò)的農(nóng)作物病害圖像識(shí)別模型參數(shù)量大，難以在實(shí)際農(nóng)業(yè)生產(chǎn)中部署到計(jì)算資源有限的低性能移動(dòng)端設(shè)備。研究者們進(jìn)一步提出了輕量型網(wǎng)絡(luò)模型結(jié)構(gòu)，如MobileNet[15]、ShuffleNet[16]等，以及輕量型網(wǎng)絡(luò)模型常用的設(shè)計(jì)結(jié)構(gòu)深度可分離卷積（Depthwise separable convolution，DWConv）和分組卷積（Group convolution，GConv），為實(shí)際生產(chǎn)過程中模型部署在移動(dòng)端提供了有力支撐[17?20]。在此基礎(chǔ)上，提出一種改進(jìn)MobileNetV2 輕量級網(wǎng)絡(luò)結(jié)構(gòu)，改進(jìn)模型在保持高準(zhǔn)確率的同時(shí)減少模型參數(shù)，降低對移動(dòng)設(shè)備的性能要求，為輕量型農(nóng)作物病害識(shí)別模型部署在低性能設(shè)備上的相關(guān)研究提供參考。

1 材料和方法

1.1 數(shù)據(jù)來源

從公開數(shù)據(jù)集PlantVillage 中挑選出玉米、辣椒、土豆和番茄4 種常見農(nóng)作物圖像數(shù)據(jù)作為試驗(yàn)材料。數(shù)據(jù)集包含4 種常見農(nóng)作物（玉米、辣椒、番茄、馬鈴薯）的15 種病害葉片圖像以及4 種健康圖像，共計(jì)26 639 張。原始的葉片病害數(shù)據(jù)集的詳細(xì)數(shù)據(jù)情況如表1所示。

表1 數(shù)據(jù)集詳細(xì)信息Tab.1 Data set details張

續(xù)表1 數(shù)據(jù)集詳細(xì)信息Tab.1（Continued）Data set details張

1.2 數(shù)據(jù)預(yù)處理

因?yàn)椴糠謽颖緮?shù)量分布極不均衡，數(shù)量差距過大，若使用差異過大的數(shù)據(jù)集對模型訓(xùn)練，易導(dǎo)致在若干次迭代訓(xùn)練中積累較大的誤差，故本研究對數(shù)據(jù)集進(jìn)行平衡處理以便于后續(xù)的模型訓(xùn)練及分類識(shí)別。根據(jù)過抽樣方法使用Python 腳本對原始數(shù)據(jù)集樣本數(shù)量過少的類別進(jìn)行隨機(jī)鏡像、隨機(jī)旋轉(zhuǎn)等操作，以模擬實(shí)際使用中不同的拍攝角度，對樣本數(shù)量過多的類別進(jìn)行隨機(jī)選取，將每種類別的圖像數(shù)量維持在1 000 張上下，優(yōu)化數(shù)據(jù)集。最終獲得樣本數(shù)量足夠而且分布較為均衡的農(nóng)作物葉片病害數(shù)據(jù)集，其中葉片病害圖像總共19 738 張。而后根據(jù)數(shù)據(jù)集的劃分，使用Python 腳本隨機(jī)將平衡后的數(shù)據(jù)集按照8∶1∶1的比例劃分為相應(yīng)的訓(xùn)練集、驗(yàn)證集和測試集（表1）。

1.3 網(wǎng)絡(luò)設(shè)計(jì)

為追求更高的準(zhǔn)確度，在不損失網(wǎng)絡(luò)性能的前提下，改進(jìn)MobileNetV2 來適當(dāng)減少網(wǎng)絡(luò)的計(jì)算參數(shù)，其對比結(jié)果如下。

1.3.1 MobileNetV2 MobileNetV2[21]是 2018 年Google 公司在MobileNetV1 的基礎(chǔ)上進(jìn)行改進(jìn)所提出的輕量化網(wǎng)絡(luò)模型結(jié)構(gòu)并構(gòu)建了比V1 版本更深層的模型結(jié)構(gòu)，同時(shí)準(zhǔn)確度更高。MobileNetV2 模型首先引進(jìn)了更多的結(jié)構(gòu)設(shè)計(jì)，因此相比較下訓(xùn)練速度下降，需要更長的時(shí)間進(jìn)行訓(xùn)練；其次，模型的參數(shù)數(shù)量相比于MobileNetV1增加了1倍以上，增加了內(nèi)存和計(jì)算負(fù)擔(dān)。雖然MobileNetV2 相比于MobileNetV1 提高了準(zhǔn)確性，但是相對于更深層次的神經(jīng)網(wǎng)絡(luò)，它的精度仍然存在一定的限制。MobileNetV2所使用的基本模塊如圖1所示。在圖1中，當(dāng)輸入步距參數(shù)為1時(shí)使用模塊1進(jìn)行網(wǎng)絡(luò)構(gòu)建，輸入特征圖維度與輸出特征圖維度相同。當(dāng)輸入步距參數(shù)為2 時(shí)，使用模塊2 進(jìn)行網(wǎng)絡(luò)構(gòu)建，代替池化層，起到減少網(wǎng)絡(luò)參數(shù)量的作用。

圖1 MobileNetV2基本模塊Fig.1 MobileNetV2 basic modules

1.3.2 改進(jìn)模型的設(shè)計(jì) 因本試驗(yàn)的數(shù)據(jù)集中，農(nóng)作物葉片病害有著病斑區(qū)域分布不均勻、病斑大小不一等特點(diǎn)，所以MobileNet易出現(xiàn)感興趣區(qū)域提取不足、降維過程丟失部分特征等缺點(diǎn)，因此針對以上的不足之處，以MobileNetV2 為骨干網(wǎng)絡(luò)，對其進(jìn)行改進(jìn)。改進(jìn)MobileNetV2 模型的bottleneck 如圖2所示，與初始MobileNetV2 相比，在模塊中引入了高效通道注意力（ECA）機(jī)制，提升感興趣區(qū)域特征的提取能力；使用注意力特征融合（AFF）模塊以替換簡單的特征層相加，減少在特征融合時(shí)造成小目標(biāo)信息的丟失；通過模型剪枝，將模型中冗余的層除去，以提升模型性能。

圖2 ECA_AFF_bottleneck模塊Fig.2 ECA_AFF_bottleneck module

1.3.2.1 ECA 模塊 注意力機(jī)制是將重要的特征賦予更大的權(quán)重，使其在訓(xùn)練過程中被網(wǎng)絡(luò)所注重。普通的通道注意力機(jī)制可以有效提升網(wǎng)絡(luò)性能，但較為復(fù)雜的注意力模塊也會(huì)使網(wǎng)絡(luò)的參數(shù)量增加。因此，WANG 等[22]提出一種新的ECA 模塊，如圖3所示。

圖3 ECA模塊Fig.3 ECA module

該模塊去掉了降維的卷積層，直接將輸入的特征圖進(jìn)行全局平均池化（Global average pooling，GAP），避免通道降維對通道注意力學(xué)習(xí)帶來的負(fù)面影響。接著使用卷積核大小為K 的1D 卷積將每個(gè)通道與其臨近K 個(gè)通道進(jìn)行卷積操作，實(shí)現(xiàn)局部跨通道間的信息交互。1.3.2.2 AFF 模塊 為解決普通的特征融合結(jié)構(gòu)中應(yīng)用場景有限、容易在融合時(shí)損失小目標(biāo)的特征、無法應(yīng)對語義及尺度不一致的特征等缺點(diǎn)，引入了AFF 模塊來代替MobileNetV2 基本模塊中簡單的疊加特征融合。AFF 是DAI等[23]提出的一種新的特征融合結(jié)構(gòu)，AFF模塊如圖4所示。

圖4 AFF模塊詳細(xì)結(jié)構(gòu)Fig.4 Detailed structure of AFF module

AFF模塊可以表示為式（1），其中Z是融合后的特征，X是特征映射，Y是殘差分支，?表示元素相乘，M（X+Y）表示融合權(quán)重，取值范圍在0～1。圖4b的AFF 模塊中虛線表示1-M（X+Y），同樣取值范圍在0～1，使得網(wǎng)絡(luò)能夠在X與Y之間進(jìn)行軟選擇或加權(quán)平均化。

為解決病斑圖像分布不均勻以及部分樣本的病斑圖像區(qū)域過小的問題，將傳統(tǒng)的特征融合模塊替換為AFF 模塊，不僅能夠避免不同尺度之間特征融合所帶來的問題，同時(shí)AFF 模塊中的MS-CAM 模塊結(jié)合了全局信息以及局部信息，能夠避免簡單的特征相加或拼接造成的小目標(biāo)特征丟失。

1.3.2.3 模型剪枝 為解決深度神經(jīng)網(wǎng)絡(luò)中存在巨大的計(jì)算冗余，從模型結(jié)構(gòu)與卷積方式的角度對模型進(jìn)行輕量化改進(jìn)，通過模型剪枝刪減掉模型中冗余的濾波器以達(dá)到提高模型性能、減少參數(shù)量以及降低過擬合的風(fēng)險(xiǎn)。主要步驟包括模型載入、濾波器重要性評分、模型剪裁、模型微調(diào)4個(gè)步驟。剪枝算法流程如下：

①使用改進(jìn)MobileNetV2 模型訓(xùn)練初始的農(nóng)作物病害識(shí)別模型。

②計(jì)算模型中bottleneck 的所有濾波器所對應(yīng)的重要性評分，如式（2）：

其中，mi為第i個(gè)濾波器的重要性評分；ai為第i個(gè)濾波器對應(yīng)的BN層的縮放系數(shù)；| |Wi為濾波器i中第j個(gè)卷積核的L1范數(shù)大?。籯為卷積核數(shù)量。

③將bottleneck的評分相加，對重要性評分最低的bottleneck進(jìn)行刪除，壓縮模型。

④在病害數(shù)據(jù)集上驗(yàn)證模型性能，若性能降低則將模型進(jìn)行微調(diào)后重復(fù)②③，若評估滿足要求則停止剪枝。算法流程如圖5所示。

圖5 改進(jìn)MobileNetV2的剪枝流程Fig.5 Improved MobileNetV2 pruning process

經(jīng)由以上層數(shù)（layers）調(diào)整、bottleneck 模塊優(yōu)化和模型剪枝操作步驟優(yōu)化后，所設(shè)計(jì)改進(jìn)的農(nóng)作物病害識(shí)別模型如圖6所示。

圖6 MobileNetV2與改進(jìn)MobileNetV2Fig.6 MobileNetV2 and improved MobileNetV2

1.3.3 模型評價(jià)指標(biāo) 為了客觀地對模型性能進(jìn)行評價(jià)，采用混淆矩陣以及3 種評價(jià)指標(biāo)來評估[24]。準(zhǔn)確率（Accuracy，Acc）、查準(zhǔn)率（Precision，P）、查全率（Recall，R）計(jì)算公式如下：

其中，TPi表示第i類已經(jīng)被正確分類過的樣本數(shù)量；FNi表示第i類已被錯(cuò)誤分類的總的樣本數(shù)量；FPi表示除第i類樣本之外，被分類為第i類的已存樣本數(shù)量；TNi表示除第i類樣本外，已經(jīng)分類正確的樣本數(shù)量。

2 結(jié)果與分析

2.1 不同模型性能對比結(jié)果

對MobileNetV2 網(wǎng)絡(luò)進(jìn)行改進(jìn)，并利用其對PlantVillage 開源葉片數(shù)據(jù)進(jìn)行分類。對經(jīng)典網(wǎng)絡(luò)MobileNetV2、ShuffleNetV2-0.5X、EfficientNet-b0 進(jìn)行測試，訓(xùn)練過程損失值曲線與驗(yàn)證集準(zhǔn)確率曲線如圖7所示。

通過圖7 可知，在經(jīng)過第13 個(gè)輪次訓(xùn)練后，各模型均趨于穩(wěn)定，訓(xùn)練集損失值逐漸收斂，初始MobileNetV2 的損失值穩(wěn)定在0.21，ShuffleNetV2-0.5X、EfficientNet-b0 網(wǎng)絡(luò)穩(wěn)定在0.20，而改進(jìn)MobileNetV2 模型則低于其余3 種模型，穩(wěn)定在0.17左右，說明改進(jìn)MobileNetV2 模型穩(wěn)定性高于其余3種模型。在圖7b 的驗(yàn)證集準(zhǔn)確率曲線中，從第13個(gè)輪次開始，改進(jìn)MobileNetV2 模型的識(shí)別準(zhǔn)確率明顯高于其余3 種模型，達(dá)到了98.4%，說明改進(jìn)MobileNetV2模型的泛化能力更強(qiáng)。

圖7 不同網(wǎng)絡(luò)模型的損失值（a）和準(zhǔn)確率（b）Fig.7 Loss values（a）and accuracy（b）of different network models

2.2 不同模型評價(jià)指標(biāo)對比結(jié)果

如表2所示，改進(jìn)MobileNetV2模型在最高準(zhǔn)確率、平均查準(zhǔn)率和平均查全率方面都是最高，參數(shù)量僅高于ShuffleNetV2-0.5X，但準(zhǔn)確率高于其1.1個(gè)百分點(diǎn)。對比初始 MobileNetV2，改進(jìn)MobileNetV2 模型在參數(shù)量方面低于初始模型15.37%，且準(zhǔn)確率提高了0.9 個(gè)百分點(diǎn)，原因在于去除冗余層，同時(shí)在模塊內(nèi)加入了ECA 模塊與AFF 模塊，達(dá)到了提升準(zhǔn)確率的同時(shí)降低模型對內(nèi)存的消耗，體現(xiàn)了改進(jìn)模型的優(yōu)越性。

表2 4種網(wǎng)絡(luò)模型評價(jià)指標(biāo)對比Tab.2 Comparison of evaluation indexes of four network models

2.3 改進(jìn)模型測試結(jié)果

使用改進(jìn)MobileNetV2 模型對測試集進(jìn)行測試，各分類結(jié)果的評價(jià)結(jié)果如表3 所示。由表3 可知，各農(nóng)作物病害識(shí)別的準(zhǔn)確率、查準(zhǔn)率和查全率都保持在較高水平，其中準(zhǔn)確率保持在88.6%～100.0%，平均為97.9%；查準(zhǔn)率保持在94.1%～100.0%，平均為98.0%；查全率保持在88.7%～100.0%，平均為97.9%。表明改進(jìn)MobileNetV2模型在既定的數(shù)據(jù)集中表現(xiàn)良好，可以應(yīng)用于農(nóng)作物病害識(shí)別。

表3 改進(jìn)MobileNetV2模型對測試集的分類結(jié)果Tab.3 Classification results of the improved MobileNetV2 model on the test set%

續(xù)表3 改進(jìn)MobileNetV2模型對測試集的分類結(jié)果Tab.3（Continued）Classification results of the improved MobileNetV2 model on the test set%

混淆矩陣如圖8 所示，其中交叉部分代表識(shí)別正確的分類，其余部分則表示識(shí)別錯(cuò)誤的種類。從圖8 可知，準(zhǔn)確率較低的主要是番茄晚疫病和玉米北方葉枯病，其中番茄晚疫病主要被錯(cuò)誤識(shí)別為馬鈴薯晚疫病與番茄早疫病，而玉米北方葉枯病主要被錯(cuò)誤識(shí)別為玉米灰葉斑病和銹病。之所以造成識(shí)別錯(cuò)誤，是因?yàn)槿~片的相似度較高，一定程度上造成誤判。

3 結(jié)論與討論

本試驗(yàn)研究了輕量級卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病害圖像識(shí)別技術(shù)，在對實(shí)際應(yīng)用中輕量級網(wǎng)絡(luò)MobileNetV2 所存在的一些問題進(jìn)行分析后，針對性地提出了改進(jìn)方案：①加入ECA 注意力機(jī)制，緩解特征提取過程中出現(xiàn)的感興趣區(qū)域特征提取不足的情況，增加網(wǎng)絡(luò)的特征提取能力；②使用AFF模塊替換簡單的特征相加，減少特征融合時(shí)造成的特征丟失，提高模型對小尺度目標(biāo)的檢測能力；③減少模型層數(shù)，降低模型參數(shù)量，以降低其對部署設(shè)備的性能要求。結(jié)果表明，改進(jìn)的方案能夠有效地提升模型的識(shí)別能力，與經(jīng)典的輕量型MobileNetV2、ShuffleNetV2-0.5X、EfficientNet-b0 相比，改進(jìn)MobileNetV2 模型在性能方面更好，識(shí)別準(zhǔn)確率達(dá)到了98.4%。

因此，未來的研究目標(biāo)將著眼于如何在復(fù)雜背景下，不降低農(nóng)作物病害識(shí)別準(zhǔn)確率的同時(shí)降低模型參數(shù)，減少對設(shè)備的內(nèi)存消耗，以便在低性能設(shè)備上部署，進(jìn)一步提升模型的實(shí)際生產(chǎn)應(yīng)用價(jià)值。