基于知識蒸餾及改進ShuffleNet v2的棉花病蟲害識別方法

摘要：為探索及時、準確識別危害棉花葉片病蟲害的方法，做好防護和治理工作。針對自然環(huán)境下棉花葉片圖像受復雜背景影響導致分類精度降低以及模型參數(shù)量大使其不便于移動端部署的問題，提出了一種基于知識蒸餾的棉花病蟲害識別模型ESSKNet。首先構(gòu)建了包含8種類別的棉花病蟲害圖像數(shù)據(jù)集，其次通過在ShuffleNet v2模型引入SK-Attention自適應調(diào)整卷積核的大小關(guān)注棉花葉片不同尺寸大小的病斑信息并降低棉花病蟲害圖像復雜背景對模型的影響，將卷積核大小從3×3調(diào)整為5×5使神經(jīng)網(wǎng)絡(luò)更好地捕捉圖像中的上下文信息和長程依賴關(guān)系。然后選取EfficientNet v2模型作為教師模型，ESSKNet模型作為學生模型，使用MGD方法進行知識蒸餾。試驗結(jié)果表明，改進后的模型對棉花病蟲害的識別準確率達96.06%，并且該模型參數(shù)量僅有EfficientNet v2的6.6%。該模型能有效識別棉花病蟲害且更便于部署在移動設(shè)備上，以實現(xiàn)對棉花病蟲害圖像實時、精確地識別。

關(guān)鍵詞：棉花病蟲害；ESSKNet；知識蒸餾；圖像分類；SK-Attention；ShuffleNet v2

中圖分類號：TP391.41  文獻標志碼：A

文章編號：1002-1302（2024）15-0222-10

收稿日期：2023-08-07

基金項目：新疆維吾爾自治區(qū)高?；究蒲袠I(yè)務(wù)費科研項目（編號：XJEDU2022J009）；中央引導地方科技發(fā)展專項（編號：ZYYD2022B12）。

作者簡介：戴 碩（2000—），男，安徽亳州人，碩士研究生，主要從事計算機視覺方向研究。E-mail：2402874453@qq.com。

通信作者：白 濤，碩士，副教授，主要從事農(nóng)業(yè)大數(shù)據(jù)、數(shù)據(jù)挖掘研究。E-mail：bt@xjau.edu.cn。

棉花是世界上最主要的經(jīng)濟作物之一，也是天然纖維的來源。棉花病蟲害是造成棉花減產(chǎn)和棉花品質(zhì)下降的主要原因。據(jù)統(tǒng)計，植棉國家每年因棉花病害造成的損失約占棉花產(chǎn)量的15%～20%，有些年份甚至高達50%［1］。棉花病蟲害的精準識別和及時采取科學的防治措施，對促進棉花產(chǎn)業(yè)的健康發(fā)展至關(guān)重要。在農(nóng)業(yè)作物病蟲害識別方面，傳統(tǒng)的機器學習方法［2-6］，例如支持向量機（SVM）等需要手動提取有效的特征［7］，對于棉花病害這種類型較多、形態(tài)復雜且不同生長期表現(xiàn)不同的情況，該類方法對于特征的提取比較困難。此外，傳統(tǒng)的機器學習方法對于數(shù)據(jù)集中噪聲、不完整等問題的處理能力較弱，容易出現(xiàn)過擬合或欠擬合現(xiàn)象，導致分類效果不理想［8］。

近年來，隨著計算機視覺技術(shù)的不斷發(fā)展，深度學習在圖像識別領(lǐng)域取得了良好的表現(xiàn)并得到廣泛的應用，如AlexNet［9］、ResNet［10］、GoogleNet［11］等。研究人員將卷積神經(jīng)網(wǎng)絡(luò)用于植物病害圖像識別，使植物病害圖像識別的準確率大幅提升。例如，Li等使用ResNet18識別和分類蘋果葉片病害，取得了98.5%的準確率［12］；王哲豪等提出基于MobileNet v2和遷移學習的番茄病害研究方法，準確率達到93.67%［13］；Vypirailenko等使用DenseNet和遷移學習方法來識別雜草并識別其增長階段，取得了71.81%的top1-accuracy和93.45%的top3-accuracy［14］。為了提高卷積神經(jīng)網(wǎng)絡(luò)的分類性能，研究人員使用多個小卷積核串聯(lián)代替大卷積核來達到提升感受野、減少參數(shù)量的目的［15］。然而，Ding等在研究中證明了使用大的卷積核而不是一堆小卷積核是一個更強大的范式，與小核卷積神經(jīng)網(wǎng)絡(luò)（CNN）相比，大核CNN具有更大的有效感受野和更高的形狀偏向而不是紋理偏向［16］。在其提出的模型RepLKNet中，首次使用了31×31大小的超大卷積核，在ImageNet數(shù)據(jù)集的下游任務(wù)上取得了與Swin Transformer相當或更高的結(jié)果，而且延遲更低；Zeaiean等評估多數(shù)濾波器的核大小對提高遙感圖像分類準確性的影響，發(fā)現(xiàn)通過將內(nèi)核大小從 3×3增加到5×5和7×7，整體的精度和Kappa系數(shù)均有提高［17］。

雖然目前利用CNN識別農(nóng)作物病害取得了一些成果，但傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通過加深網(wǎng)絡(luò)的層數(shù)、增加卷積核的個數(shù)和提高卷積核尺寸來提高網(wǎng)絡(luò)的性能，模型的參數(shù)量和計算復雜度會急劇增加，不利于模型在移動端的部署。知識蒸餾技術(shù)是利用大型復雜模型的知識，提高小型模型的性能和效率［18］，以達到減少模型參數(shù)量、提高模型速度和節(jié)省計算資源等目的。例如，Yu等提出了一種基于知識蒸餾的分類模型，對大豆葉片的不同形態(tài)進行分類，在3 200張大豆葉片圖像數(shù)據(jù)集上，總分類精度為0.956［19］；Kurup等利用膠囊網(wǎng)絡(luò)和知識蒸餾方法進行植物病害分類任務(wù)。將復雜的膠囊網(wǎng)絡(luò)的知識遷移到簡化的模型上，通過最小化模型之間的距離來傳遞知識，從而提高植物病害分類的性能［20］。利用知識蒸餾來提升卷積神經(jīng)網(wǎng)絡(luò)分類性能已經(jīng)有很多研究，但是將其應用在棉花病蟲害識別領(lǐng)域的研究卻相當少。

上述方法在處理簡單環(huán)境下葉片病蟲害的分類方面取得了相對成功，然而在自然環(huán)境中，受到棉花葉片密度高、葉片重疊、光照不均勻、背景復雜等諸多干擾，圖像背景通常包含類似葉片和病斑的元素，使得模型難以對葉片病蟲害進行精準分類。為了更加充分地利用深層特征，研究人員通過運用注意力機制來降低復雜背景的影響并選擇那些對目標最為關(guān)鍵的信息［21］。Peng等構(gòu)建了RiceDRA-Net深度殘留網(wǎng)絡(luò)模型，通過引入Res-Attention模塊用于復雜背景的水稻葉片病害檢測，在測試集上的識別準確率達到了97.86%［22］。Yang等通過在YOLO v4中引入空間和通道注意力模型的CBAM克服田間環(huán)境中的噪聲，實現(xiàn)對不同密度分布的小麥穗的準確檢測和計數(shù)，平均準確率達到了94%［23］；鮑浩等在卷積模型中引入注意力機制，增強了模型對病害區(qū)域的關(guān)注，同時降低了背景噪聲的干擾，對田間拍攝的豆葉病害圖像識別性能均達到99%以上［24］。

面對復雜自然環(huán)境下棉花葉片病蟲害的識別，現(xiàn)有的模型往往識別效果不佳。為了讓模型能夠在實際場景中得到部署和應用。本研究提出了一種基于知識蒸餾及改進ShuffleNet v2的棉花病蟲害識別方法，首先在ShuffleNet v2模型中引入 SK-Attention模塊降低復雜背景干擾的同時提取不同尺度的葉片病斑特征，其次將模型結(jié)構(gòu)中的卷積核大小從3×3調(diào)整為5×5以充分利用大感受野來提取葉片病斑特征信息，最后使用EfficientNet v2作為教師模型對改進后的模型進行知識蒸餾，在保證模型輕量化的同時，進一步提高棉花病蟲害的分類準確率。

1 材料與方法

1.1 數(shù)據(jù)集構(gòu)建

棉花病蟲害的出現(xiàn)與生態(tài)氣候、土壤環(huán)境以及年份等諸多因素有關(guān)，圖像數(shù)據(jù)難以從自然環(huán)境中采集。針對棉花病蟲害圖像數(shù)據(jù)少的問題。本試驗從Kaggle數(shù)據(jù)平臺的Cotton plant disease公開數(shù)據(jù)集獲取了棉蚜蟲、棉鈴蟲、棉花莖枯病、棉花白粉病、棉花葉斑病和健康葉片各600張圖片，為了補充模型的病害檢測能力，從cotton leaf disease dataset公開數(shù)據(jù)集獲取了418張棉花曲葉病和419張棉花鐮刀型枯萎病圖片，最終獲得棉花病蟲害圖像共計4 437張，共8類病蟲害圖像數(shù)據(jù)。本試驗將圖片的尺寸統(tǒng)一轉(zhuǎn)換成224×224×3像素。各類別棉花葉片病害樣本圖片如圖1所示。數(shù)據(jù)集按照8 ∶2的比例劃分為訓練集和測試集。棉花病蟲害數(shù)據(jù)集中的圖像類別和數(shù)量見表1。

1.2 知識蒸餾

Hinton等引入軟目標（即帶有參數(shù)T的類概率）并提出了知識蒸餾概念。它是通過將一個復雜的模型的知識（如特征，預測結(jié)果等）傳遞給一個簡單的模型，以提高簡單模型的性能和泛化能力［25］。目前常見的知識蒸餾方法有3種：self-distillation［26］（St）、masked generative distillation［27］（MGD）和attention transfer［28］（AT）。Self-distillation的學生模型和教師模型都來自同一個訓練過程中的不同時間戳的快照，將教師網(wǎng)絡(luò)的輸出引導學生網(wǎng)絡(luò)的訓練；MGD主要利用遮蓋掩碼技術(shù)進行有針對性的知識蒸餾；AT利用教師模型和學生模型在相同的特征層上進行比較，從而引導學生模型學習類似于教師模型的特征表示。上述這些方法都可以提高學生模型的泛化能力和魯棒性，提高其精度。本研究使用的MGD是一種適用于分類、檢測和分割的生成式知識蒸餾方法，它通過將教師模型的生成器和判別器信息傳遞給學生模型，來提高學生模型的性能。MGD知識蒸餾方法的整體框架見圖2。MGD知識蒸餾的步驟如下：首先使用Tl∈RC×H×W和 Sl∈RC×H×W 分別表示教師和學生的第l個特征圖，并設(shè)置第l個隨機掩碼來覆蓋學生的第l個特征，表達式為

M1i，j=0 if Rli，j<λ

1，其他。（1）

式中：Rli，j是（0，1）的隨機數(shù)；i和j分別是特征圖的水平坐標和垂直坐標；λ表示掩碼比率。使用掩碼覆蓋的特征圖嘗試生成教師特征圖的計算方法為

G［falign（Sl）·Ml］→Tl；（2）

G（F）=Wl2{ReLU［Wl1（F）］}。（3）

式中：G為包含2個卷積層的投影儀層Wl1和Wl2和1個激活層ReLU。Wl1和Wl2為3×3的卷積層。蒸餾過程中MGD的蒸餾損失表示為

Ldis（S，T）=∑Ll=1∑Ck=1∑Hi=1∑Wj=1{Tlk，i，j-G［falign（Slk，i，j）Mli，j］}2。（4）

式中：L是蒸餾層的總和；C、H、W表示特征圖的形狀；S和T分別表示學生和教師的特征?？倱p失為

Lall=Loriginal+α·Ldis。（5）

式中：Loriginal是任務(wù)中模型的原始損失；α是平衡損失的超參數(shù)。在本試驗中，超參數(shù)γ和α分別設(shè)置為默認值0.15和0.000 07。

1.3 ShuffleNet v2模型

ShuffleNet v2模型是由曠視科技團隊提出的一種輕量高效的卷積神經(jīng)網(wǎng)絡(luò)模型［29］。它在保證模型準確率的前提下，極大地減少了模型的復雜度和

計算量。ShuffleNet v2模型結(jié)構(gòu)見圖3。ShuffleNet v2的基本模塊是由2個連續(xù)的操作組成的，分別是逐通道分組卷積和通道混洗。逐通道分組卷積將輸入特征圖按通道數(shù)進行分組，對每組進行逐點卷積、3×3的深度可分離卷積和逐點卷積操作，每次卷積操作后使用批量歸一化（BN）加快模型收斂速度，在每次逐點卷積后使用ReLU激活函數(shù)增加非線性特征，然后將各組結(jié)果拼接起來，得到輸出特征圖。通道混洗（channel shuffle）則是通過將特征圖在通道維度上進行分組、重排、拼接等操作，實現(xiàn)了通道之間信息的交流和組合。ShuffleNet v2中的下采樣模塊采用了分組卷積的思想，將輸入特征圖分為若干組，然后對每組進行逐通道的卷積操作，在通道維度上拼接起來得到輸出特征圖。這樣，在不增加計算量的前提下，可以將特征圖尺寸減半。同時，由于采用了分組卷積，參數(shù)量也大大降低，從而進一步減小了計算量和內(nèi)存占用。

1.4 SK-Attention注意力機制

為了改善在復雜場景下識別棉花病害的準確率，關(guān)注輸入數(shù)據(jù)中不同尺寸大小的病斑信息，并在一定程度上降低計算復雜度，在模型的下采樣單元中添加了SK-Attention注意力機制。注意力機制可以通過對輸入信息的關(guān)注和聚焦，提高信息處理的效率和準確性。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的大小決定了感受野的大小，而不同大小的感受野對不同尺寸的目標有不同的效果。SK注意力機制允許每個神經(jīng)元根據(jù)輸入信息的多尺度自適應地調(diào)整其感受野（卷積核）的大?。?0］。

SK注意力機制的結(jié)構(gòu)見圖4。主要包括Split、Fuse和Select。Split部分分別使用3×3的普通卷積和3×3的空洞卷積對輸入的特征圖進行卷積操作，得到U1和U2 2個不同的特征圖。Fuse部分將U1和U2 2個特征圖使用element-wise summation方法進行融合，將融合后的特征圖U經(jīng)過全局平均池化層和全連接層，實現(xiàn)對通道信息的提取。Select部分使用Softmax函數(shù)歸一化計算每個通道的權(quán)重分數(shù)，并加權(quán)處理在對應的通道上，最后將經(jīng)過加權(quán)處理后的新特征圖進行融合，得到最終的特征圖，經(jīng)過信息通道的提取和篩選，輸出圖像相較于輸入圖像融合了更多關(guān)鍵信息，并加強了這些關(guān)鍵信息在圖像中的表現(xiàn)。

1.5 ESSKNet網(wǎng)絡(luò)模型

盡管ShuffleNet v2在輕量級圖像分類任務(wù)上已經(jīng)取得了很好的結(jié)果，但仍然有提高準確性的余地。且ShuffleNet v2模型本身較小，可以考慮在增加一定的模型參數(shù)量的情況下提高準確性。為了滿足準確識別棉花病蟲害的需要，本研究提出了一種基于知識蒸餾及改進ShuffleNet v2的棉花病蟲害識別模型ESSKNet。

ESSKNet模型的基本單元見圖5，與原模型相比，改進后的基本單元使用5×5的深度可分離卷積

替換了3×3深度可分離卷積，相比于3×3卷積，使用5×5卷積可以有效擴大感受野，在卷積層中，卷積核的大小可以決定神經(jīng)元的感受野大小，5×5的卷積感受野明顯高于常規(guī)3×3卷積。使用5×5卷積相比傳統(tǒng)卷積使用了更大的卷積核，能夠覆蓋更大的區(qū)域，從而獲取更多的上下文信息，提高特征的表達能力。其次，使用5×5卷積可以增加網(wǎng)絡(luò)的非線性能力，因為它能夠捕捉更大和更復雜的特征模式，并對它們進行更強的非線性變換。這樣可以讓網(wǎng)絡(luò)更好地適應訓練數(shù)據(jù)的復雜性，提升模型的泛化性能。ESSKNet網(wǎng)絡(luò)模型還在下采樣模塊中添加了SK-Attention通道注意力機制，SK注意力機制在學習通道注意力信息時，能夠使用不同尺寸的卷積核對輸入特征圖進行提取特征，來選擇融合不同感受野的特征圖信息，并根據(jù)各自通道的重要度來自適應地調(diào)整特征圖中每個通道的權(quán)重，以提高模型的性能。最后使用EfficientNet v2作為教師模型對改進后的模型進行MGD知識蒸餾。ESSKNet網(wǎng)絡(luò)模型的具體結(jié)構(gòu)見圖6。

2 結(jié)果與分析

2.1 試驗環(huán)境與參數(shù)設(shè)置

本研究試驗的試驗環(huán)境為Windows10系統(tǒng)，運行內(nèi)存為32GB，CPU為Intel XeonE5-2620 v4 @ 2.10 GHz 2.10 GHz處理器，GPU是具有 12 GB 專用顯存的NVIDIA TITAN V，使用Pytorch 1.7.1深度學習框架。具體參數(shù)見表2。

2.2 評價指標

本研究采用Accuracy、Kappa系數(shù)、F1micro、F1macro作為評價指標用于衡量模型對數(shù)據(jù)分類的準確性和性能，其中Accuracy為分類正確的樣本數(shù)占總樣本數(shù)的比例；Kappa系數(shù)是一種衡量分類精度的指標，取值范圍為［-1，1］，其值越高，則代表模型實現(xiàn)的分類準確度越高［31］。F1micro和F1macro是基于精確度和召回率來計算的，其中F1micro用于表示模型對所有標簽進行分類時的綜合表現(xiàn)，F(xiàn)1macro用于評估模型對每個標簽的預測能力。不同評價指標的計算公式如下：

Accuracy=TP+FNTP+TN+FP+FN；（6）

Kappa=P0-Pc1-Pc；（7）

F1micro=2×Precisionmicro×RecallmicroPrecisionmicro+Recallmicro；（8）

F1macro=2×Precisionmacro×RecallmacroPrecisionmacro+Recallmacro。（9）

式中：TP（true positive）代表將正類預測為正類的樣本數(shù)； TN（true negative）代表將負類預測為負類的樣本數(shù)；FP（false positive）代表將負類預測為正類的樣本數(shù)；FN（false negative）代表將正類預測為負類的樣本數(shù)，也稱為“假陰性”；P0 是分類器實際預測準確的概率；Pc是模型根據(jù)分布情況所能預測的準確率。如果Pc=1，則Kappa系數(shù)=1，表示分類器的表現(xiàn)完全一致，即Kappa系數(shù)取最大值；如果Pc=0，則Kappa系數(shù)=-1，表示分類器的表現(xiàn)完全相反，即Kappa系數(shù)取最小值。Precisionmacro表示精確率的宏平均值；Recallmacro表示召回率的宏平均值。宏平均值是指在每個類別上分別計算指標的平均值?？梢酝ㄟ^混淆矩陣來計算每個類別的精確率和召回率。Recallmicro指的是所有正例樣本中，被分類器正確預測為正例的樣本比例；Precisionmicro指的是所有被分類器預測為正例的樣本中，屬于正例的樣本比例。

2.3 模型對比試驗

為了驗證本研究所提的ESSKNet模型相較于其他分類網(wǎng)絡(luò)模型的優(yōu)勢，本研究分別選取EfficientNet v2、RepGhostNet、ShuffleNet v2、ResNet50和Resnest101在自建棉花病蟲害數(shù)據(jù)集上進行試驗，在訓練超參數(shù)相同的情況下，模型識別準確率的試驗結(jié)果見表3。圖7是各模型在測試集上的準確率變化曲線。

通過試驗結(jié)果可以看出，EfficientNet v2的性能在各項指標上都表現(xiàn)最優(yōu)，因此本研究使用其作為教師模型進行知識蒸餾。其次，通過使用知識蒸餾方法訓練的ESSKNet模型在準確率上僅比教師模型EfficientNet v2低了1.47百分點，且參數(shù)量和浮點計算量只有EfficientNet v2的6.6%和5.3%，進一步說明了該方法的有效性。ESSKNet模型性能指標接近ResNet50，但參數(shù)量和浮點計算量分別只有ResNet50的15.7%和33.1%。該模型相較于其他對比模型，在識別準確率、參數(shù)量和浮點計算量方面更加均衡，能夠有效地識別棉花病蟲害，且更加適合移動端的部署，進行棉花病蟲害監(jiān)測任務(wù)。

2.4 知識蒸餾方法對比試驗

為了測試不同知識蒸餾方法對模型識別準確率的影響，將不使用知識蒸餾的改進ShuffleNet v2模型作為基線模型baseline，與分別使用AT、Soft Target和MGD 3種知識蒸餾方法進行對比，試驗結(jié)果見表4。

通過試驗結(jié)果可以看出，3種蒸餾方法均對模型準確率有一定的提高。其中使用MGD方法進行知識蒸餾得到的模型與其他蒸餾方法對比，在所有指標上都表現(xiàn)最優(yōu)。MGD蒸餾方法通過masked feature獲得了部分的特征圖，然后再生成新的特征圖去模仿教師網(wǎng)絡(luò)的特征圖，相比原始的特征模仿，增大了網(wǎng)絡(luò)學習的難度，從而迫使學生網(wǎng)絡(luò)去學習一個更優(yōu)秀的特征表示。因此，本研究使用MGD知識蒸餾方法來訓練改進后的網(wǎng)絡(luò)。

2.5 消融試驗

為了驗證模型改進方法的有效性，以及使用知識蒸餾方法（kd）、增加SK-Attention（sk）和將卷積核大小調(diào)整為5×5（k5）的改進方法對ShuffleNet v2模型性能提升的效果，本研究將使用不同模塊的網(wǎng)絡(luò)在棉花病蟲害圖像數(shù)據(jù)集上進行試驗。以ShuffleNet v2模型為基礎(chǔ)，每組試驗依次增加上述改進方法，以驗證模型改進方法對最終模型的影響。其中“√”表示引入該種改進方法，試驗結(jié)果見表5。

從表5中可以看出，在下采樣單元中添加SK-Attention注意力機制，模型的準確率提高了0.11百分點，雖然模型的參數(shù)量增加了2.341 M，但該方法依舊對模型整體識別精度有所提升。在ShuffleNet v2的基礎(chǔ)上將卷積核調(diào)整為5×5，模型的準確率提高了0.11百分點，Kappa系數(shù)提高了1.23百分點。在添加SK注意力機制的基礎(chǔ)上，使用卷積核大小為5×5的卷積代替?zhèn)鹘y(tǒng)卷積，模型的準確率繼續(xù)提高了0.34百分點。將改進的模型使用MGD方法知識蒸餾后得到的模型準確率繼續(xù)提高了1.91百分點，Kappa系數(shù)提升了2.19百分點，且模型的參數(shù)量不發(fā)生變化。綜合SK注意力機制、替換卷積核大小為5×5的卷積和MGD知識蒸餾的改進，最終ESSKNet模型的準確率為96.06%，Kappa系數(shù)為95.49%，相較于ShuffleNet v2在準確率和Kappa上分別提升了2.36百分點和2.71百分點。SK-Attention通過引入可變形卷積來捕捉不同的空間關(guān)系，使模型能更好地適應不同尺寸的棉花病斑信息，提高模型的泛化能力。在引入SK注意力機制的基礎(chǔ)上，將卷積核的大小由3×3調(diào)整到了5×5，卷積核涵蓋更大的感受野，可以讓神經(jīng)網(wǎng)絡(luò)更好地捕捉圖像中的上下文信息和長程依賴關(guān)系。針對棉花病蟲害病斑分布不同，特征不一等特點，本研究的改進模型可以更好地學習到全局信息，從而提升了模型的分類效果。

2.6 不同類別的評價結(jié)果

為了更全面地評估本研究所提出的ESSKNet網(wǎng)絡(luò)相較于其他網(wǎng)絡(luò)模型對不同類別棉花病蟲害圖像的識別性能，在相同的試驗條件下將測試集數(shù)據(jù)輸入模型進行分類，表6以精確度、召回率、F1分數(shù)和準確率為評價指標，6種模型對不同種類棉花病蟲害圖像的識別結(jié)果，圖8是ESSKNet模型對不同類別棉花病蟲害識別準確率的混淆矩陣圖。

由表6可知，ESSKNet對8類棉花病蟲害圖像的識別精確度均在93%以上，優(yōu)于RepGhostNet和ShuffleNet v2模型。其中，ESSKNet對棉花枯萎病、棉花葉斑病、白粉病、棉花曲葉病和健康5種類別的識別效果較好，4項指標均達到了95%以上，對棉花莖枯病的識別效果較差，其精確度為93.22%，召回率為91.67%，F(xiàn)1分數(shù)為92.44%，準確率為91.67%，4個指標均為所有類別中最低。通過綜合其他模型對棉花莖枯病的識別結(jié)果可以看出，棉花莖枯病在所有模型的識別結(jié)果中均為最低，這可能是由于棉花莖枯病的生育期、生態(tài)環(huán)境、病原菌致病力不同等導致的，表現(xiàn)出不同的病癥。所有模型識別棉花葉斑病都表現(xiàn)很好，這與其圖片的特征較為明顯和穩(wěn)定有關(guān)，容易被計算機視覺領(lǐng)域中的算法所捕捉。但在某些病害中，各項指標之間存在較大差異，例如，白粉病類別的準確率較高，但召回率相對較低，說明在該種病害的分類中，模型對負例的區(qū)分能力更強?？偟膩砜?，該模型在測試集上的平均準確率達到了96.72%，能有效地識別出不同棉花病蟲害種類。

3 討論與結(jié)論

棉花病蟲害會直接影響棉花的產(chǎn)量和質(zhì)量，通過深度學習方法對棉花病蟲害進行及時、準確地識別能夠幫助農(nóng)民采取合適的防治措施，提高診斷的準確性和效率。棉花病蟲害形態(tài)復雜，不同的病蟲害在棉花上的表現(xiàn)也有所不同，同時由于光照、角度等因素的影響，使得棉花病蟲害圖像的特征提取比較困難。

本研究使用EfficientNet v2作為教師模型進行知識蒸餾，在ShuffleNet v2模型的基礎(chǔ)上采用5×5卷積替換了常規(guī)卷積、在下采樣單元中添加SK注意力機制并進行了多組對比試驗。通過分析各種改進模塊，發(fā)現(xiàn)使用知識蒸餾方法可以通過分類效果好但是參數(shù)量較大的模型將學習到的特征信息傳遞給輕量模型，從而提高輕量模型的識別準確率。對于處理具有復雜背景的棉花圖像來說，注意力機制可以使模型減少無關(guān)背景的影響，關(guān)注圖像中最相關(guān)的部分，可以增強模型的表征能力，SK注意力機制通過輸入信息的多尺度自適應地調(diào)整其感受野，在下采樣單元中添加SK注意力機制，使模型在下采樣時給關(guān)鍵信息分配更多的權(quán)重，從而使模型對特征圖的重要性進行選取，最終達到更好的目標分類效果。將3×3改為5×5卷積可以使模型獲得更大的感受野，便于捕捉到更多細節(jié)信息和圖像特征，有助于模型識別更復雜、更抽象的圖像模式。

針對棉花葉片病蟲害的識別，以8種常見的棉花葉片病蟲害圖像作為研究對象，通過公開數(shù)據(jù)集中的圖像數(shù)據(jù)構(gòu)建了8類棉花葉片病蟲害圖像數(shù)據(jù)集。在ShuffleNet v2模型的基礎(chǔ)上，添加通道注意力機制SK-Attention并將模塊中的3×3卷積核調(diào)整為5×5的卷積核。最后選取EfficientNet v2模型使用MGD方法進行知識蒸餾，為了驗證本研究所提的各種優(yōu)化方法的有效性，本研究通過消融試驗進一步說明了各種優(yōu)化方法對模型性能的提高具有促進作用。

本研究結(jié)論如下：（1）針對固定大小的卷積核對葉片大小不同病斑識別時分類準確率低的問題，采用通道注意力機制SK-Attention可以提高網(wǎng)絡(luò)的特征提取能力，降低圖像中自然環(huán)境噪聲的影響。將模塊中的3×3卷積核調(diào)整為5×5的卷積核使神經(jīng)網(wǎng)絡(luò)更好地捕捉棉花病蟲害病斑圖像具有形狀偏向的上下文信息和長程依賴關(guān)系。（2）通過選取EfficientNet v2模型作為教師模型，ESSKNet模型作為學生模型，使用MGD方法進行知識蒸餾，可以有效提高模型的識別精度。（3）本研究提出的棉花病蟲害識別模型ESSKNet準確率達到96.06%，與原始ShuffleNet v2模型對比，準確率提高了2.36百分點，Kappa系數(shù)提高了2.71百分點，參數(shù)量和浮點計算量只有EfficientNet v2的6.6%和5.3%，更加便于部署，可以實現(xiàn)快速、精準的棉花病害監(jiān)測，為智慧棉田的建設(shè)提供支持。

參考文獻：

［1］張樹珍. 棉花主要病害與防治措施［J］. 現(xiàn)代農(nóng)業(yè)科技，2017（7）：116-119.

［2］張紅濤，朱 洋，譚 聯(lián)，等. 基于FA-SVM技術(shù)的煙草早期病害識別［J］. 河南農(nóng)業(yè)科學，2020，49（8）：156-161.

［3］牛 沖，牛昱光，李 寒，等. 基于圖像灰度直方圖特征的草莓病蟲害識別［J］. 江蘇農(nóng)業(yè)科學，2017，45（4）：169-172.

［4］馬慧琴，黃文江，景元書，等. 基于AdaBoost模型和mRMR算法的小麥白粉病遙感監(jiān)測［J］. 農(nóng)業(yè)工程學報，2017，33（5）：162-169.

［5］張 莉，紀銘陽，胡宗玉，等. 基于隨機森林和邏輯回歸分類模型的煙葉精選品控指標篩選［J］. 江蘇農(nóng)業(yè)科學，2020，48（3）：214-217.

［6］任 杰，柳 毅，金 鑫，等. 基于數(shù)據(jù)挖掘的蔬菜圖片病害自動分類［J］. 北京師范大學學報（自然科學版），2006，42（6）：592-596.

［7］王燕妮，賀 莉. 基于多分類SVM的石榴葉片病害檢測方法［J］. 計算機測量與控制，2020，28（9）：191-195.

［8］Sugathan A，Sruthi S，Shamsudeen F M. A comparative study to detect rice plant disease using convolutional neural network （CNN） and support vector machine （SVM）［J］. Journal of Food，Agriculture & Environment，2020（2）：18.

［9］Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

［10］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

［11］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015：1-9.

［12］Li X，Rai L. Apple leaf disease identification and classification using ResNet models［C］//2020 IEEE 3rd International Conference on Electronic Information and Communication Technology （ICEICT）.Shenzhen：IEEE，2020：738-742.

［13］王哲豪，范麗麗，何 前. 基于MobileNet v2和遷移學習的番茄病害識別［J］. 江蘇農(nóng)業(yè)科學，2023，51（9）：215-221.

［14］Vypirailenko D，Kiseleva E，Shadrin D，et al. Deep learning techniques for enhancement of weeds growth classification［C］//2021 IEEE International Instrumentation and Measurement Technology Conference （I2MTC）.Glasgow：IEEE，2021：1-6.

［15］Nawaz M，Nazir T，Khan M A，et al. Plant disease classification using VGG-19 based faster-RCNN［C］//Singh M，Tyagi V，Gupta P，et al. International Conference on Advances in Computing and Data Sciences.Cham：Springer，2023：277-289.

［16］Ding X H，Zhang X Y，Han J G，et al. Scaling up your kernels to 31×31：revisiting large kernel design in CNNs［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New Orleans：IEEE，2022：11953-11965.

［17］Zeaiean Firrozabadi P，Hasani Moghaddam H. Evaluate the impact of Majority filter kernel size on increasing the accuracy of remotely sensed images［J］. Geography and Human Relationships，2018，1（2）：806-817.

［18］Yim J，Joo D，Bae J，et al. A gift from knowledge distillation：fast optimization，network minimization and transfer learning［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：7130-7138.

［19］Yu X，F(xiàn)u L R，Dai B S，et al. Soybean leaf morphology classification based on FPN-SSD and knowledge distillation［J］. Journal of Northeast Agricultural University，2020，27（4）：9-17.

［20］Kurup R V，Anupama M A，Vinayakumar R，et al. Capsule network for plant disease and plant species classification［C］//Smys S，Tavares J，Balas V，et al. International conference on computational vision and bio inspired computing.Cham：Springer，2020：413-421.

［21］Li Y H，Pan Y W，Yao T，et al. Learning click-based deep structure-preserving embeddings with visual attention［J］. ACM Transactions on Multimedia Computing，Communications，and Applications，2019，15（3）：1-19.

［22］Peng J L，Wang Y，Jiang P，et al. RiceDRA-net：precise identification of rice leaf diseases with complex backgrounds using a res-attention mechanism［J］. Applied Sciences，2023，13（8）：4928.

［23］Yang B H，Gao Z W，Gao Y，et al. Rapid detection and counting of wheat ears in the field using YOLO v4 with attention module［J］. Agronomy，2021，11（6）：1202.

［24］鮑 浩，張 艷. 基于注意力機制與改進殘差模塊的豆葉病害識別［J］. 江蘇農(nóng)業(yè)科學，2023，51（16）：187-194.

［25］Shorten C，Khoshgoftaar T M. A survey on image data augmentation for deep learning［J］. Journal of Big Data，2019，6（1）：60.

［26］Zhang L F，Bao C L，Ma K S. Self-distillation：towards efficient and compact neural networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（8）：4388-4403.

［27］Yang Z D，Li Z，Shao M Q，et al. Masked generative distillation［M］. Cham：Springer Nature Switzerland，2022：53-69.

［28］Chen P G，Liu S，Zhao H S，et al. Distilling knowledge via knowledge review［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021：5006-5015.

［29］Ma N N，Zhang X Y，Zheng H T，et al. ShuffleNet v2：practical guidelines for efficient CNN architecture design［C］//Computer Vision - ECCV 2018：15th European Conference，Munich：ACM，2018：122-138.

［30］Li X，Wang W，Hu X，et al. Selective kernel networks［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. California：IEEE，2019：510-519.

［31］McHugh M L. Interrater reliability：the kappa statistic［J］. Biochemia Medica，2012，22（3）：276-282.