基于注意力機(jī)制輕量化模型的植物病害識(shí)別方法

收稿日期：2023-11-29

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61773360）;2019年重慶市人工智能+智慧農(nóng)業(yè)學(xué)科群開(kāi)放基金項(xiàng)目（ZNNYKFA201901）

作者簡(jiǎn)介：蘇 航（1996-），男，陜西渭南人，碩士研究生，研究方向?yàn)橹悄苤圃?、農(nóng)業(yè)信息化研究、圖像處理等。（E-mail）935659856@qq.com

通訊作者：孫丙宇，（E-mail）bysun@iim.ac.cn

摘要： 針對(duì)現(xiàn)有植物病害識(shí)別模型存在響應(yīng)速度慢、參數(shù)量多、計(jì)算機(jī)內(nèi)存資源消耗大等問(wèn)題，本研究提出了一種輕量化神經(jīng)網(wǎng)絡(luò)模型，該模型由特征提取層、特征增強(qiáng)層和分類(lèi)器組成。為了減小模型大小并提高網(wǎng)絡(luò)響應(yīng)速度，在特征提取層中使用深度可分離卷積進(jìn)行特征提取。為了防止網(wǎng)絡(luò)傳播過(guò)程中的梯度消失并增強(qiáng)病害像素特征融合，在特征提取層中引入了大卷積核倒置殘差結(jié)構(gòu)（IRBCKS）模塊。此外，在特征增強(qiáng)層集成了輕量級(jí)卷積塊注意力模塊（CBAM）注意力機(jī)制，以捕捉植物病害相關(guān)圖像中像素之間的關(guān)系，增強(qiáng)關(guān)鍵信息的提取。最后，采用剪枝技術(shù)剔除模型中冗余特征信息，從而再次減少模型參數(shù)量，形成最終的輕量級(jí)網(wǎng)絡(luò)模型Cut-MobileNet。為驗(yàn)證該模型的先進(jìn)性，將其與輕量化模型（MobileNet V2、SqueezeNet、GoogLeNet）和非輕量化模型（Vision Transformer、AlexNet）進(jìn)行性能對(duì)比，研究結(jié)果表明，Cut-MobileNet在浮點(diǎn)運(yùn)算量、準(zhǔn)確率、單張圖片推理時(shí)間、參數(shù)量、F1值和模型大小等性能指標(biāo)上都取得了較優(yōu)的效果。

關(guān)鍵詞： 模型剪枝;卷積塊注意力模塊（CBAM）注意力機(jī)制;大卷積核倒置殘差結(jié)構(gòu)（IRBCKS）模塊;植物病害;輕量化網(wǎng)絡(luò)

中圖分類(lèi)號(hào)： S608 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1000-4440（2024）08-1389-11

Plant disease recognition method based on lightweight model with attention mechanism

SU Hang1，2，3， CHEN Xuhao1，2， SHOU Derong1， ZHANG Chaoyang1， XU Biao3， SUN Bingyu2

（1.School of Mechanical Engineering， Chongqing Three Gorges University， Chongqing 404100， China;2.Institute of Intelligent Machines， Hefei Institutes of Physical Science， Chinese Academy of Sciences， Hefei 230000， China;3.China Academy of Engineering Physics， Chengdu 610000， China）

Abstract： In light of the issues associated with slow response speed， numerous parameters， and high computational memory requirements in existing plant disease recognition models， we proposed a lightweight neural network model. The model consisted of feature extraction layer， feature enhancement layer， and classifier. To reduce model size and increase network response speed， we utilized deep separable convolution in the feature extraction layer. To prevent gradient disappearance during network propagation and enhance the fusion of disease pixel features， we introduced the inverted residual block convolution kernel structure （IRBCKS） module into the feature extraction layer. Furthermore， we integrated a lightweight convolutional block attention module （CBAM） attention mechanism into the feature enhancement layer to capture the relationships between pixels in plant disease-related images and enhance key information extraction. Finally， we employed a pruning technique to eliminate redundant feature information from the base model， thereby reducing the number of model parameters once again， yielding this lightweight network model， Cut-MobileNet. In order to verify the progressiveness of this model， it was compared with lightweight models （MobileNet V2， SqueezeNet， GoogLeNet） and non-lightweigh models （Vision Transformer， AlexNet）. The results show that better results have been achieved by Cut-MobileNet in floating-point operation， accuracy， single image inference time， parameter count， F1 value， and model size.

Key words： model pruning;convolutional block attention module （CBAM） attention mechanism;inverted residual block convolution kernel structure （IRBCKS） module;plant diseases;lightweight networks

作物在生產(chǎn)過(guò)程中易受到病蟲(chóng)害的影響[1]，特別是一些病毒、真菌、細(xì)菌、霉菌的感染會(huì)導(dǎo)致農(nóng)產(chǎn)品產(chǎn)量和質(zhì)量降低。在作物生長(zhǎng)過(guò)程中，病害的及早發(fā)現(xiàn)至關(guān)重要，及時(shí)對(duì)病害進(jìn)行精準(zhǔn)判別再實(shí)施救治，可以大大減少作物生產(chǎn)損失。目前植物病害診斷方法主要是通過(guò)人們的經(jīng)驗(yàn)對(duì)病害種類(lèi)做出識(shí)別，然而，在生產(chǎn)實(shí)踐過(guò)程中，憑借經(jīng)驗(yàn)對(duì)病害種類(lèi)做出分類(lèi)會(huì)耗費(fèi)更多的人力和物力資源，由于病害種類(lèi)繁多，癥狀相似，即使是有經(jīng)驗(yàn)的農(nóng)民或?qū)＜乙部赡軣o(wú)法正確識(shí)別病害[2]，這也帶來(lái)了效率和可靠性的問(wèn)題，所以人工判別不適用于對(duì)大規(guī)模種植區(qū)域內(nèi)的植物病害識(shí)別[3]。

隨著科技的不斷發(fā)展，人工智能（AI）視覺(jué)技術(shù)已經(jīng)逐漸應(yīng)用到農(nóng)業(yè)生產(chǎn)中。早期人們利用支持向量機(jī)法[4-5]、隨機(jī)森林法[6]、K-均值法[7]等機(jī)器學(xué)習(xí)算法進(jìn)行植物病害的分類(lèi)[8]，然而，這些方法的構(gòu)建過(guò)程相當(dāng)繁瑣，且泛化能力差。近年來(lái)，深度學(xué)習(xí)似乎引領(lǐng)著計(jì)算機(jī)視覺(jué)領(lǐng)域的研究[9]。

自2012年AlexNet網(wǎng)絡(luò)[10]在ImageNet[11]上成功驗(yàn)證了深度學(xué)習(xí)方法的可行性后，深度學(xué)習(xí)領(lǐng)域便迅速發(fā)展起來(lái)。Jia等[12]使用Keras/Tensorboard框架搭建了VGG16深度學(xué)習(xí)網(wǎng)絡(luò)模型，對(duì)番茄病蟲(chóng)害進(jìn)行了分類(lèi)，研究結(jié)果表明，該模型對(duì)番茄病蟲(chóng)害分類(lèi)的準(zhǔn)確率為89.00%。Yadav等[13]改進(jìn)了 ResNet18模型，在原始模型內(nèi)添加了SE（Squeeze-and-Excitation）模塊[14]和修改了層結(jié)構(gòu)，試驗(yàn)結(jié)果顯示，改進(jìn)后的模型平均準(zhǔn)確率為99.63%，比原始模型的準(zhǔn)確率提高了0.53%，取得了相當(dāng)高的準(zhǔn)確率。Yang等[15]和Szegedy等[16]設(shè)計(jì)了1個(gè)22層的深度學(xué)習(xí)網(wǎng)絡(luò)GoogLeNet，GoogLeNet網(wǎng)絡(luò)提出了Inception的網(wǎng)絡(luò)架構(gòu)，提高了計(jì)算資源利用率，相應(yīng)地增加了網(wǎng)絡(luò)的深度和寬度。然而，這些模型在復(fù)雜環(huán)境中仍然存在特征提取不充分、植物病害識(shí)別準(zhǔn)確率較低、推理速度較慢等問(wèn)題。

綜上，本研究擬提出一種輕量化的植物病害識(shí)別模型Cut-MobileNet，該模型可以在短時(shí)間內(nèi)對(duì)植物病害精準(zhǔn)識(shí)別，可部署于資源有限的移動(dòng)端，農(nóng)戶(hù)可利用該模型高效診斷病害，提高種植的效率和效益。

1 材料與方法

1.1 數(shù)據(jù)集的建立

本研究數(shù)據(jù)集源自Kaggle競(jìng)賽公開(kāi)數(shù)據(jù)集，根據(jù)試驗(yàn)要求收集了4種作物的數(shù)據(jù)，包括番茄、芒果、小麥和蘋(píng)果，共32種病害，由于Kaggle公開(kāi)數(shù)據(jù)集中存在部分病害分類(lèi)錯(cuò)誤的問(wèn)題，研究開(kāi)始前進(jìn)行了篩選，經(jīng)篩選后的數(shù)據(jù)集圖像總計(jì)7 274張，其中80%的數(shù)據(jù)被劃分為訓(xùn)練集，20%的數(shù)據(jù)被劃分為驗(yàn)證集。模型在訓(xùn)練過(guò)程中，數(shù)據(jù)集圖片調(diào)整為224×224像素的大小。

1.2 數(shù)據(jù)預(yù)處理

圖像預(yù)處理的方法一般有圖像白化、圖像縮放、圖像裁剪、圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、圖像仿射、圖像加噪以及調(diào)整圖像亮度、色度、飽和度等方式，在本模型訓(xùn)練過(guò)程中采用的是隨機(jī)圖像明暗度的調(diào)整、圖像大小縮放、裁剪與反轉(zhuǎn)、添加高斯噪聲、添加遮擋的圖像處理方式。圖1是以番茄葉片樣本為例展示的圖像預(yù)處理的方法。

1.3 試驗(yàn)環(huán)境

本研究使用Windows 11操作系統(tǒng)，計(jì)算平臺(tái)環(huán)境：中央處理器（CPU）型號(hào)為12th Gen Intel（R）Core（TM） i7-12700F 2.10 GHz，圖形處理器（GPU）型號(hào)為NVIDIA GeForce RTX 3060 Ti，隨機(jī)存取存儲(chǔ)器（RAM）容量為16 GB，cuda GPU加速模型CUDA版本為11.3，深度學(xué)習(xí)框架為pytorch1.10，編程語(yǔ)言為python3.8。本模型訓(xùn)練參數(shù)：Learning rate設(shè)置為0.000 1，優(yōu)化器為Adam、Batch，數(shù)量為32，epoch為600，稀疏因子為0.000 1。

1.4 Cut-MobileNet模型構(gòu)建

本研究提出的模型結(jié)構(gòu)如圖2所示，先根據(jù)輕量化構(gòu)建方法得到1個(gè)準(zhǔn)確率較高、參數(shù)量較少的神經(jīng)網(wǎng)絡(luò)模型MobieNet-Cbase，然后再對(duì)該模型進(jìn)行剪枝處理，得到最終的輕量化模型Cut-MobileNet，以上2種模型結(jié)構(gòu)相同，唯一不同之處在于通道數(shù)。

CBRCBR表示雙重卷積、批量歸一化和激活操作;CBAM表示卷積塊注意力模塊。

模型的主干結(jié)構(gòu)由3個(gè)主要部分組成：特征提取層、特征增強(qiáng)層和分類(lèi)器。

模型層結(jié)構(gòu)及層操作如表1所示。首先，在第一個(gè)特征提取層（CBRCBR）中，主要任務(wù)是提取葉片區(qū)域的顏色信息。這一步操作可以獲取葉片的基本顏色特征，為后續(xù)處理提供基礎(chǔ)數(shù)據(jù)。其次，在首個(gè)特征增強(qiáng)層中，引入大卷積核倒置殘差結(jié)構(gòu)（IRBCKS）模塊[17]。該模塊有助于加強(qiáng)網(wǎng)絡(luò)對(duì)病害區(qū)域的關(guān)注度，同時(shí)防止在傳播過(guò)程中梯度消失的問(wèn)題。通過(guò)這一層的處理，模型能夠更好地識(shí)別和區(qū)分健康與病變的葉片區(qū)域。再次，在特征增強(qiáng)層的基礎(chǔ)上，再次引入一個(gè)特征提取層，以提取淺層過(guò)濾后的高維信息。這一步操作有助于豐富模型的視覺(jué)特征信息，提升模型的識(shí)別能力。接著，引入一個(gè)輕量化的卷積塊注意力模塊（CBAM）注意力機(jī)制作為一個(gè)特征增強(qiáng)層[18-19]。該機(jī)制能夠增強(qiáng)高級(jí)特征的提取能力，進(jìn)一步提升模型對(duì)葉片病害區(qū)域的識(shí)別精度。為了使網(wǎng)絡(luò)能夠提取更多的高維信息，在網(wǎng)絡(luò)深層再次引入了1個(gè)特征提取層、1個(gè)特征增強(qiáng)層和1個(gè)特征提取層。這些額外的層次有助于網(wǎng)絡(luò)更深入地分析和提取葉片圖像中的復(fù)雜特征。最后，將全連接層作為分類(lèi)器，將前面處理得到的特征輸入并轉(zhuǎn)化為最終的分類(lèi)結(jié)果。全連接層根據(jù)前面步驟得到的特征信息，對(duì)葉片圖像進(jìn)行分類(lèi)判斷，從而得到最終的輸出結(jié)果。通過(guò)上述流程，該模型能夠有效地對(duì)葉片圖像進(jìn)行特征提取、病害識(shí)別和分類(lèi)，為農(nóng)業(yè)智能化提供有力的支持。

1.4.1 嵌入大卷積核倒置殘差結(jié)構(gòu)和深度可分離卷積 卷積核大小對(duì)模型性能尤其是分割、檢測(cè)等下游任務(wù)至關(guān)重要[20]。Cut-MobileNet模型的殘差網(wǎng)絡(luò)改進(jìn)了傳統(tǒng)3×3的卷積核，采用了大卷積核倒置殘差結(jié)構(gòu) （IRBCKS），如圖3所示，先用1×1的卷積核對(duì)輸入特征圖升維卷積，其次用11×11的卷積核提取特征，再用1×1的卷積核降維，最后，將得到的特征圖再與輸入特征圖融合。11×11的大卷積核擁有比3×3卷積核更大的感受野，與疊加5個(gè)3×3的小卷積核相比，同等感受野的條件下，結(jié)果準(zhǔn)確率更高。

IRBCKS使用了深度可分離卷積方法，同等輸出條件下，深度可分離卷積方法大大減少了參數(shù)量。使用標(biāo)準(zhǔn)卷積核時(shí)參數(shù)量（Nstd）計(jì)算公式：

Nstd=DK×DK×M×N（1）

使用深度可分離卷積時(shí)參數(shù)量（Ndwise）計(jì)算公式：

Ndwise=DK×DK×M×1+M×N（2）

公式（1）和公式（2）中，DK為卷積核大小，M代表輸入通道數(shù)，N為輸出通道數(shù)。

H表示圖像高度;W表示圖像寬度;C表示通道數(shù)。

1.4.2 CBAM注意力機(jī)制 模型在神經(jīng)網(wǎng)絡(luò)的倒數(shù)第1個(gè)和倒數(shù)第3個(gè)卷積層后分別添加了CBAM注意力機(jī)制模塊，在淺層網(wǎng)絡(luò)傳播過(guò)程中獲取的都是一些低維特征，故只在網(wǎng)絡(luò)深層添加注意力機(jī)制，加強(qiáng)模型對(duì)高維特征的關(guān)注。該機(jī)制能夠自適應(yīng)地學(xué)習(xí)圖像的通道和空間關(guān)系，更好地捕捉圖像的關(guān)鍵特征，從而提高模型的性能。

CBAM注意力機(jī)制有2個(gè)主要步驟，即先對(duì)特征圖進(jìn)行通道注意力加權(quán)，再考慮特征圖空間信息關(guān)系，如圖4和圖5所示。具體流程如下：

首先，對(duì)輸入特征圖F進(jìn)行全局最大池化和全局平均池化后生成2個(gè)1×1×9fb0662c446db25f102847993809b2b6C（C為通道數(shù)）的特征圖。然后，將這2個(gè)特征圖輸入到神經(jīng)網(wǎng)絡(luò)（MLP）中，對(duì)MLP神經(jīng)網(wǎng)絡(luò)輸出的特征圖進(jìn)行融合和激活操作，得到通道注意力特征。最后，將通道注意力特征和輸入特征相乘得到空間注意力機(jī)制模塊所需要的輸入特征F′。該輸入特征經(jīng)過(guò)最大池化后再進(jìn)行平均池化操作得到的2個(gè)特征圖，其維度大小為H×W×1（H為圖像高度；W為圖像寬度），再經(jīng)過(guò)Concat拼接方法將2個(gè)同維度、同尺寸的特征圖拼接，之后通過(guò)7×7的卷積核卷積得到通道數(shù)為1的特征圖，進(jìn)而再經(jīng)過(guò)1個(gè)激活函數(shù)得到輸出特征圖，最后將輸出特征與輸入特征相乘變回C×H×W大小的維度。

通道注意力公式：

Mc（F）=σ{MLP[AvgPool（F）]+MLP[MaxPool（F）]}（3）

式中，F(xiàn)表示原始特征圖，Mc表示通道注意力機(jī)制輸出特征，MLP表示權(quán)值共享神經(jīng)網(wǎng)絡(luò)，AvgPool表示平均池化，MaxPool表示最大池化，σ表示倍率因子。

空間注意力公式：

Ms（F）=σ{f7×7[AvgPool（F）;MaxPool（F）]}（4）

式中，F(xiàn)表示原始特征圖，Ms表示空間注意力機(jī)制輸出特征，f7×7表示7×7的卷積操作，AvgPool表示平均池化，MaxPool表示最大池化，σ表示倍率因子。

1.4.3 模型剪枝與批量歸一化 Cut-MobileNet模型采用了批量歸一化（BN）層剪枝策略，如圖6所示，即根據(jù)BN層正則化后的γ系數(shù)的相對(duì)大小進(jìn)行局部剪枝，將γ系數(shù)相對(duì)較小的通道去除，達(dá)到模型壓縮的目的[21]。當(dāng)γ系數(shù)大于1時(shí)，輸出的參數(shù)縮放到較大的范圍，則表示輕度歸一化，當(dāng)γ系數(shù)小于1時(shí)，輸出的參數(shù)縮放到較小的范圍，則表示過(guò)度歸一化。一般情況下，網(wǎng)絡(luò)在訓(xùn)練完之后，γ的數(shù)值很少分布在0附近，難以劃分冗余通道。為了有效去除網(wǎng)絡(luò)冗余通道，在BN層網(wǎng)絡(luò)中引入稀疏因子λ進(jìn)行訓(xùn)練，使得BN層變得稀疏。公式（5）是網(wǎng)絡(luò)模型的目標(biāo)函數(shù)，在目標(biāo)函數(shù)中添加正則項(xiàng)可以使模型更加稀疏，提高系數(shù)γ的稀疏性。經(jīng)過(guò)稀疏后的模型γ數(shù)值分布會(huì)有向0靠近的趨勢(shì)，選擇合適的稀疏速率，就可對(duì)通道剪枝。

公式（6）是卷積神經(jīng)網(wǎng)絡(luò)的常規(guī)損失函數(shù)，目標(biāo)函數(shù)和常規(guī)損失函數(shù)的區(qū)別是增加了第二項(xiàng)，第二項(xiàng)為正則項(xiàng)，用來(lái)懲罰模型中的權(quán)重，抑制模型的復(fù)雜性。

L=∑（x，y）l[f（x，W），y]+λ∑γ∈Γg（γ）（5）

L=∑（x，y）l[f（x，W），y]（6）

公式（5）和公式（6）中，（x，y）是訓(xùn)練的輸入坐標(biāo)，W是網(wǎng)絡(luò)中的參數(shù)，λ是稀疏因子，γ是權(quán)重系數(shù)， Γ是一個(gè)集合，包含所有正則項(xiàng)的參數(shù)。

上述目標(biāo)函數(shù)和常規(guī)損失函數(shù)的區(qū)別是增加了第二項(xiàng)，第二項(xiàng)為正則項(xiàng)，用來(lái)懲罰模型中的權(quán)重，抑制模型的復(fù)雜性，在目標(biāo)函數(shù)中添加正則項(xiàng)可以使模型更加稀疏，提高系數(shù)γ的稀疏性。經(jīng)過(guò)稀疏后的模型γ數(shù)值分布會(huì)有向0靠近的趨勢(shì)，選擇合適的稀疏速率，就可對(duì)通道剪枝。

i表示層數(shù);C表示通道數(shù)。

具體剪枝流程如圖7所示，首先對(duì)稀疏化訓(xùn)練后的模型中所有BN層的權(quán)重進(jìn)行統(tǒng)計(jì)排序，指定保留BN層數(shù)量，以此設(shè)定權(quán)重閾值，剪去低于閾值的冗余通道。剪枝后的模型，對(duì)其進(jìn)行訓(xùn)練和微調(diào)，使其達(dá)到較高的精度。本研究使用循環(huán)迭代法對(duì)模型剪枝，即訓(xùn)練、剪枝、微調(diào)循環(huán)，直到獲得最優(yōu)的模型為止，該方法避免了大規(guī)模剪枝對(duì)模型的破壞，同時(shí)使得模型性能逐漸趨于最優(yōu)。

2 結(jié)果與分析

2.1 評(píng)價(jià)指標(biāo)

本研究中模型的評(píng)價(jià)指標(biāo)有精確率（Precision）、召回率（Recall）、F1值、準(zhǔn)確率（Accuracy）、模型參數(shù)量、模型大?。▋?nèi)存占用）、浮點(diǎn)運(yùn)算量（FLOPs）、每秒傳輸幀數(shù)（FPS）。

準(zhǔn)確率：預(yù)測(cè)正確的樣本占總樣本的百分比：

Accuracy=TP+TNTP+TN+FP（7）

式中，TP代表真陽(yáng)性：被模型預(yù)測(cè)為正類(lèi)的正樣本;TN代表真陰性：被模型預(yù)測(cè)為負(fù)類(lèi)的負(fù)樣本;FP代表假陽(yáng)性：被模型預(yù)測(cè)為正類(lèi)的負(fù)樣本。

召回率：實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率：

Recall=TPTP+FN（8）

式中，F(xiàn)N代表假陰性：被模型預(yù)測(cè)為負(fù)類(lèi)的正樣本。

精確率：所有預(yù)測(cè)為正的樣本中實(shí)際為正樣本的概率：

Precision=TPTP+FP（9）

F1值即F1_Score：精確率和召回率的調(diào)和平均值：

F1_Score=2×Precision×RecallPrecision+Recall（10）

浮點(diǎn)運(yùn)算量（FLOPs）衡量算法的復(fù)雜度：

FLOPs=2HW（CinK2+1）Cout（11）

FLOPs=（2I-1）O（12）

每秒傳輸幀數(shù)（FPS）：

FPS=1inference（13）

模型參數(shù)量計(jì)算方法參考公式（1）和公式（2）;公式（11）為卷積層FLOPs的計(jì)算公式，其中H為圖像高度，W為圖像寬度，Cin為輸入通道數(shù)，Cout為輸出通道數(shù)，K2為卷積核大小;公式（12）為全連接層FLOPs的計(jì)算公式，其中I為輸入維度，O為輸出維度;公式（13）中，inference表示單張圖片推理時(shí)間。

2.2 初步形成輕量化模型與剪枝結(jié)果

首先，以輕量化結(jié)構(gòu)思想為基礎(chǔ)，初步構(gòu)建了輕量化模型MobieNet-Cbase，訓(xùn)練后模型性能如表2所示，識(shí)別準(zhǔn)確率為92.8%，具有較高的識(shí)別精度，模型參數(shù)量為5.3 M，通道數(shù)為1 376，較為輕量化，因此可以將此模型作為預(yù)剪枝的基礎(chǔ)網(wǎng)絡(luò)。

其次，根據(jù)BN層的權(quán)重分布來(lái)設(shè)定閾值，對(duì)稀疏訓(xùn)練后的MobieNet-Cbase進(jìn)行通道剪枝，模型首次剪枝后，得到通道數(shù)為1 018的MobieNet-Cbase1th模型，模型進(jìn)行微調(diào)后的準(zhǔn)確率為94.1%，比MobieNet-Cbase模型的準(zhǔn)確率有微小的提升，參數(shù)量減少了19%，模型大小也降低。模型接下來(lái)的2次剪枝方法和首次相同，第2次和第3次剪枝微調(diào)訓(xùn)練后的模型分別為MobieNet-Cbase2th、MobieNet-Cbase3th，其準(zhǔn)確率均為94.0%，模型參數(shù)量分別為4.0 M和2.8 M。在準(zhǔn)確率幾乎不降低的情況下，模型的參數(shù)量明顯減少。模型在進(jìn)行第4次剪枝微調(diào)后的準(zhǔn)確率降低0.2個(gè)百分點(diǎn)，參數(shù)量也隨之減少了0.6 M，最后一次剪枝模型為MobieNet-Cbase5th，相比于MobieNet-Cbase1th，其參數(shù)量明顯減少，但識(shí)別準(zhǔn)確率減少2.0個(gè)百分點(diǎn)。

綜上分析，將模型第4次剪枝得到的Cut-MobileNet作為最終模型，其參數(shù)量?jī)H為MobieNet-Cbase的41.5%，準(zhǔn)確率相比于MobieNet-Cbase提高了1.0個(gè)百分點(diǎn)。

2.2.1 對(duì)比試驗(yàn) 為了評(píng)估Cut-MobileNet的性能表現(xiàn)，采用準(zhǔn)確率、模型大小、浮點(diǎn)運(yùn)算量、精確率、召回率、參數(shù)量等指標(biāo)進(jìn)行評(píng)估。由表3可知，Cut-MobileNet與非輕量化的AlexNet 、Vision Transformer相比，準(zhǔn)確率分別提高了7.3個(gè)百分點(diǎn)和0.6個(gè)百分點(diǎn)，其F1值也分別提高了7.3個(gè)百分點(diǎn)和0.5個(gè)百分點(diǎn)，相較于輕量化的GoogLeNet和SqueezeNet，Cut-MobileNet的識(shí)別準(zhǔn)確率和 F1得分上表現(xiàn)更優(yōu)，且具有更少的參數(shù)量和更小的模型大小。盡管Cut-MobileNet相比于MobileNet V2的參數(shù)量稍高一些，但其準(zhǔn)確率相較于MobileNet V2有了明顯提升。本研究所提的方法在工程應(yīng)用中具有更高的價(jià)值。

綜上所述，Cut-MobileNet在識(shí)別性能、模型大小和推理速度等方面表現(xiàn)良好，滿(mǎn)足快速準(zhǔn)確識(shí)別病害的要求，在模型的識(shí)別準(zhǔn)確度和計(jì)算復(fù)雜度上達(dá)到了相應(yīng)的平衡，滿(mǎn)足嵌入到資源有限的移動(dòng)設(shè)備的要求。

2.2.2 混淆矩陣對(duì)比 為了直觀地驗(yàn)證本模型的有效性，可以通過(guò)混淆矩陣可視化查看模型的分類(lèi)輸出，如圖8和圖9所示，橫軸數(shù)字表示病害類(lèi)別及其真實(shí)標(biāo)簽，縱軸數(shù)字表示病害類(lèi)別及其預(yù)測(cè)標(biāo)簽，當(dāng)模型預(yù)測(cè)為正的正樣本越多，則表明模型的識(shí)別準(zhǔn)確率越高，顏色的深淺則代表了模型對(duì)某類(lèi)病害分類(lèi)效果的優(yōu)劣。病害類(lèi)別及其數(shù)字標(biāo)簽如表4所示，從列舉的Cut-MobileNet和MobileNet V2的混淆矩陣可知，病害種類(lèi)7顏色最深，代表7的分類(lèi)效果最好，分類(lèi)準(zhǔn)確率最高。MobileNet V2在病害種類(lèi)1中效果最差，而使用Cut-MobileNet后這種現(xiàn)象得以改善。本研究構(gòu)建的Cut-MobileNet模型通過(guò)改變網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合模型剪枝技術(shù)，在植物病害分類(lèi)識(shí)別上具有顯著優(yōu)勢(shì)。

3 討論

在植物病害識(shí)別的領(lǐng)域中，深度學(xué)習(xí)方法為我們提供了新的解決方案[22-25]。然而，現(xiàn)有深度學(xué)習(xí)模型存在參數(shù)龐大、推理速度慢或識(shí)別準(zhǔn)確率不高等問(wèn)題，導(dǎo)致其難以在存儲(chǔ)和計(jì)算資源有限的設(shè)備上應(yīng)用。目前，雖然MobileNet V2、GoogLeNet、SqueezeNet等輕量化模型在參數(shù)量和推理速度上有所優(yōu)化，但其識(shí)別準(zhǔn)確率相對(duì)較低;而AlexNet、Vision Transformer的參數(shù)量大，同樣不適用于植物病害識(shí)別領(lǐng)域。輕量化模型架構(gòu)與模型剪枝方法相結(jié)合，為我們提供了一種全新的解決思路。這種方法能夠更好地平衡模型參數(shù)量、推理速度和識(shí)別準(zhǔn)確率之間的關(guān)系。當(dāng)前，眾多研究聚焦于輕量化模型在移動(dòng)端部署的優(yōu)化，其中主流且實(shí)用的方法包括：輕量化模型架構(gòu)協(xié)同蒸餾、知識(shí)蒸餾協(xié)同模型剪枝、參數(shù)共享和量化等[26-27]。這些方法為植物病害的輕量化模型精準(zhǔn)識(shí)別提供了有效的思路。

本研究通過(guò)試驗(yàn)對(duì)比了3個(gè)輕量化模型（MobileNet V2、GoogLeNet、SqueezeNet）和2個(gè)非輕量化（Vision Transforme、AlexNet）模型，結(jié)果表明，本研究提出的模型在大多數(shù)性能指標(biāo)上均優(yōu)于對(duì)比試驗(yàn)中的模型。這進(jìn)一步驗(yàn)證了本研究所采用的模型構(gòu)建方法的優(yōu)越性和先進(jìn)性。

4 結(jié)論

針對(duì)現(xiàn)有植物病害分類(lèi)模型存在的病害分類(lèi)準(zhǔn)確率與模型大小不平衡的問(wèn)題，本研究提出了一種基于輕量化結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型Cut-MobileNet。

Cut-MobileNet較好地平衡了病害分類(lèi)準(zhǔn)確率和模型大小之間的關(guān)系，相比于MobileNet V2、GoogLeNet、SqueezeNet等輕量化模型，該模型在植物病害識(shí)別任務(wù)中具有更高的識(shí)別準(zhǔn)確率和更小的模型參數(shù)量，相比于Vision Transforme、AlexNet等非輕量化模型，該模型在識(shí)別準(zhǔn)確率提升的同時(shí)大大減少了模型參數(shù)量。

本研究基于模型剪枝方法使模型瘦身，去除模型冗余通道，使得模型參數(shù)量和計(jì)算量明顯減少，加快了植物病害分類(lèi)模型的響應(yīng)速度，使其能夠應(yīng)用到資源有限的移動(dòng)端設(shè)備。

參考文獻(xiàn)：

[1] TIAN H K， WANG T H， LIU Y D， et al. Computer vision technology in agricultural automation —a review[J]. Information Processing in Agriculture，2020，7（1）：1-19.

[2] 劉擁民，劉翰林，石婷婷，等. 一種優(yōu)化的Swin Transformer番茄葉片病害識(shí)別方法[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2023，28（4）：80-90.

[3] 馬 麗，周巧黎，趙麗亞，等. 基于深度學(xué)習(xí)的番茄葉片病害分類(lèi)識(shí)別研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2023，44（7）：187-193.

[4] 牛學(xué)德，高丙朋，南新元，等. 基于改進(jìn)DenseNet卷積神經(jīng)網(wǎng)絡(luò)的番茄葉片病害檢測(cè)[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38（1）：129-134.

[5] YAZDIAN H， SALMANI-DEHAGHI N， ALIJANIAN M. A spatially promoted SVM model for GRACE downscaling： using ground and satellite-based datasets[J]. Journal of Hydrology，2023，626：130214.

[6] KHALIFA F， ABDELKADER H， ELSAID A. An analysis of ensemble pruning methods under the explanation of Random Forest[J]. Information Systems，2024，120：102310.

[7] GUAN X， TERADA Y. Sparse kernel K-means for high-dimensional data[J]. Pattern Recognition，2023，144：109873.

[8] 崔兆億，耿秀麗. 基于隨機(jī)森林和量子粒子群優(yōu)化的SVM算法[J]. 計(jì)算機(jī)集成制造系統(tǒng)，2023，29（9）：2929-2936.

[9] 湯文亮，黃梓鋒. 基于知識(shí)蒸餾的輕量級(jí)番茄葉部病害識(shí)別模型[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2021，37（3）：570-578.

[10]ABADE A， FERREIRA P， DE BARROS VIDAL F. Plant diseases recognition on images using convolutional neural networks： a systematic review[J]. Computers and Electronics in Agriculture，2021，185：106125.

[11]SMIRNOV E， TIMOSHENKO D， ANDRIANOV S. Comparison of regularization methods for imageNet classification with deep convolutional neural networks[J]. AASRI Procedia，2014，6：89-94.

[12]JIA S J， JIA P Y， HU S P， et al. Automatic detection of tomato diseases and pests based on leaf images：2017 Chinese automation congress （CAC）[C]. Jinan：IEEE， 2017.

[13]YADAV D， JALAL A， GARLAPATI D， et al. Deep learning-based ResNeXt model in phycological studies for future[J]. Algal Research，2020，50：102018.

[14]KHAN M， UDDIN M， PARVEZ M， et al. A squeeze and excitation ResNeXt-based deep learning model for Bangla handwritten compound character recognition[J]. Journal of King Saud University-Computer and Information Sciences，2022，34（6）：3356-3364.

[15]YANG L， YU X Y， ZHANG S P， et al. GoogLeNet based on residual network and attention mechanism identification of rice leaf diseases[J]. Computers and Electronics in Agriculture，2023，204：107543.

[16]SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions[C]//IEEE. 2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，MA，USA，2015：1-9.

[17]RAZA M， NOSHEEN A， YASMIN H， et al. Application of aquatic plants alone as well as in combination for phytoremediation of household and industrial wastewater[J]. Journal of King Saud University-Science，2023，35（7）：102805.

[18]LU Q， YE W X， YIN L F. ResDenIncepNet-CBAM with principal component analysis for wind turbine blade cracking fault prediction with only short time scale SCADA data[J]. Measurement，2023，212：112696.

[19]CHEN L J， YAO H D， FU J Y， et al. The classification and localization of crack using lightweight convolutional neural network with CBAM[J]. Engineering Structures，2023，275：115291.

[20]LAU K， PO L， REHMAN Y. Large separable kernel attention： rethinking the large kernel attention design in CNN[J]. Expert Systems with Applications，2023，236：121352.

[21]楊佳昊，左昊軒，黃祺成，等. 基于YOLO v5s的作物葉片病害檢測(cè)模型輕量化方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（增刊1）：222-229.

[22]陳智超，汪國(guó)強(qiáng)，李 飛，等. 基于Bi-LSTM與多尺度神經(jīng)網(wǎng)絡(luò)模型的番茄病害識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué)，2023，51（15）：194-203.

[23]曹 林，周 凱，申 鑫，等. 智慧林業(yè)發(fā)展現(xiàn)狀與展望[J]. 南京林業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，46（6）：83-95.

[24]張會(huì)敏，謝澤奇. 基于知識(shí)圖譜與深度學(xué)習(xí)的黃瓜葉部病害識(shí)別方法[J]. 江蘇農(nóng)業(yè)科學(xué)， 2023，51（15）：173-178.

[25]鮑 彤，羅 瑞，郭 婷，等. 基于BERT字向量和TextCNN的農(nóng)業(yè)問(wèn)句分類(lèi)模型分析[J]. 南方農(nóng)業(yè)學(xué)報(bào)，2022，53（7）：2068-2076.

[26]劉媛媛，王定坤，鄔 雷，等. 基于知識(shí)蒸餾和模型剪枝的輕量化模型植物病害識(shí)別[J]. 浙江農(nóng)業(yè)學(xué)報(bào)，2023，35（9）：2250-2264.

[27]邵仁榮，劉宇昂，張 偉，等. 深度學(xué)習(xí)中知識(shí)蒸餾研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2022，45（8）：1638-1673.

（責(zé)任編輯：陳海霞）