基于注意力機制與改進殘差模塊的豆葉病害識別

鮑浩 張艷

摘要：豆類作物病害的有效識別對于病害的科學防控具有指導意義。針對傳統(tǒng)作物病害識別方法效率低、準確率差的不足，利用深度學習方法設計了一種高效的輕量級豆葉病害識別模型，模型由卷積模塊與改進的殘差模塊構成。卷積模塊提取圖像中的病害特征，在卷積模型中引入注意力機制增強了模型對病害區(qū)域的關注，同時降低非病變區(qū)域與背景對識別結果的干擾；在原始殘差模塊中添加更多的卷積層、激活函數(shù)與批歸一化層得到了改進的殘差模塊，使得殘差模塊具有非線性表征和特征提取能力，從而提高模型對于高級病害特征的信息融合能力。結果表明，提出的模型對實際田間拍攝的豆葉病害圖像的識別性能均達到99%以上。模型參數(shù)量僅為7.4×10⁵，分別為MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型參數(shù)量的32.74%、3.14%、5.03%、3.69%、10.51%；模型占用內存僅為8.75 MB，分別為MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型占用內存的33.14%、3.24%、5.21%、3.82%、10.68%。因此，本研究提出的模型具有參數(shù)量少、占用內存小以及性能好的優(yōu)勢，為田間環(huán)境下的豆葉病害智能識別系統(tǒng)的研發(fā)提供了理論基礎。

關鍵詞：角葉斑?。欢逛P??；卷積神經(jīng)網(wǎng)絡；注意力機制；殘差網(wǎng)絡

中圖分類號：S126；TP391.41文獻標志碼：A

文章編號：1002-1302（2023）16-0187-08

收稿日期：2022-09-11

基金項目：國家自然科學基金（編號：62141501、62265003）。

作者簡介：鮑 浩（1998—），男，貴州安順人，碩士研究生，研究方向為人工智能、機器學習及其在植物早期疾病的無損檢測。E-mail：2662051997@qq.com。

通信作者：張 艷，博士，教授，主要從事生物信息無損檢測、激光雷達方面的研究。E-mail：Eileen_zy001@sohu.com。

豆類作物具有豐富的營養(yǎng)物質，主要有蛋白質、脂肪以及碳水化合物等，營養(yǎng)價值與動物性食品相當^［1］。然而在豆類作物的種植過程中，管理不當會使得植株的抗病能力降低，使得豆類作物易受到病蟲害脅迫，最終會使得品質與產(chǎn)量受到較大的影響^［2］。傳統(tǒng)的作物病蟲害識別方法主要分為人工分析與理化檢測，人工分析的方法往往需要借助前人的種植經(jīng)驗，該方法受人為主觀因素影響較大；而理化檢測方法依賴于具有特定知識背景的專業(yè)人員，該方法不僅費時費力，而且低效。

人工智能的快速發(fā)展使得基于深度學習的識別方法已廣泛應用于作物病害識別^［3-6］。在深度學習發(fā)展中，研究人員對人類注意力進行研究，提出了神經(jīng)網(wǎng)絡注意力機制^［7］，使得神經(jīng)網(wǎng)絡具有關注重要信息，忽略次要信息的能力。在植物病害識別中，注意力機制已經(jīng)得到了廣泛應用。例如，Zeng等提出了基于自注意力機制的卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）模型，獲取了作物病變區(qū)域的局部特征，提高模型對病害的識別能力^［8］；Karthik等在模型中嵌入注意力機制，解決了由于番茄病害間相似性高導致的易錯誤識別的問題^［9］。在深度學習模型的構建中，隨著網(wǎng)絡模型層數(shù)的增加，模型性能也會提高，但在網(wǎng)絡層數(shù)達到一定數(shù)量時，模型的性能卻呈現(xiàn)出下降的現(xiàn)象，并伴隨著難以訓練的問題。為此，He等以跳躍連接的方式實現(xiàn)了層與層間的信息交互，從而訓練了深層網(wǎng)絡模型，即殘差網(wǎng)絡模型^［10］。殘差網(wǎng)絡的設計模式在植物病害識別模型應用中也得到了廣泛應用。例如，方晨晨等以多尺度的方式在深度可分離卷積的基礎上構建了新的殘差模塊，解決了原始殘差模塊中存在的參數(shù)量大、信息表達不足的問題^［11］；曾偉輝等構建了基于高階殘差的作物病害識別模型，高階殘差模塊可以為識別結果提供更豐富的特征表達^［12］。以上研究表明，使用深度學習模型在作物病害識別中可以取得較好的效果，注意力機制在植物病害識別模型構建中可增強模型對于相似性病害的特征提取和表征能力，而殘差網(wǎng)絡模塊可實現(xiàn)病害間的特征融合以提供更具有代表性的高級病害特征。

然而，現(xiàn)有許多研究都是基于實驗室環(huán)境下獲取的作物病害圖像構建識別模型，實驗室環(huán)境下病害圖像背景與真實田園環(huán)境下病害圖像背景的差異較大。實驗室環(huán)境下采集的病害圖像的背景簡單，而真實田園環(huán)境下采集的病害圖像的背景較復雜，如光照、環(huán)境等，難以應用于實際的生產(chǎn)環(huán)境。同時，許多識別模型需要大量的計算資源，在算力受限的移動設備上難以實現(xiàn)模型部署。因此，本研究圍繞上述2個難題展開試驗，基于真實農業(yè)生產(chǎn)場景下采集的豆葉病害數(shù)據(jù)集設計一種基于注意力機制結合改進殘差模塊的豆葉病害識別模型，以期為移動設備上的豆葉病害自動識別系統(tǒng)的設計提供理論基礎。

1 材料與方法

1.1 試驗材料

本研究使用的豆葉病害數(shù)據(jù)集（https：//github.com/AI-Lab-Makerere/ibean/）由真實生產(chǎn)環(huán)境下采集的圖像構成，病害圖像中均具有復雜的背景，例如物體陰影、雜草以及泥土等，這些背景將為構建深度學習模型帶來挑戰(zhàn)。數(shù)據(jù)集包含2種豆葉病害，即角葉斑病（angular leaf spot）、豆銹?。╞ean rust）以及1個健康類（healthy）圖像，角葉斑病和豆銹病初期都有類似于白色的病斑，在病害后期變?yōu)楹稚殡S著葉片干枯，部分感病作物圖像及其癥狀描述詳見表1。由于角葉斑病和豆銹病在發(fā)病癥狀上較相似，傳統(tǒng)的病害識別方法難以有效判別，同時病害的高相似性也增加了深度學習建模的難度。

數(shù)據(jù)集中訓練集、驗證集以及測試集的圖像數(shù)量分別為1 034、133、128張。由于原始的圖像數(shù)量較少，為防止在訓練模型中的過程中出現(xiàn)過擬合，對數(shù)據(jù)集進行數(shù)據(jù)增強處理。為使測試集與驗證集的數(shù)據(jù)分布盡可能來源于真實的生產(chǎn)環(huán)境，僅對訓練集進行數(shù)據(jù)增強操作。首先，在圖像輸入到神經(jīng)網(wǎng)絡之前使用在線數(shù)據(jù)增強的方式生成更多的圖像供神經(jīng)網(wǎng)絡訓練，使用的在線數(shù)據(jù)增強的方式有旋轉、垂直翻轉、水平翻轉以及平移；然后，對圖像的像素值進行歸一化，以提高模型的訓練速度；最后，由于神經(jīng)元數(shù)量會隨著圖像尺寸大小變化而變化，選擇將輸入圖像的尺寸固定為256×256像素。數(shù)據(jù)增強之后生成的部分圖像見圖1。

1.2 試驗方法

本研究利用深度學習方法設計一種高效的輕量級豆葉病害識別模型，即改進殘差注意力網(wǎng)絡（improving residual attention mechanisms networks，簡稱IRes-AM-Net），模型主要由4個卷積模塊和3個改進殘差模塊組成，詳見圖2。卷積模塊提取圖像中的局部病害信息，得到能表征病害信息的關鍵特征，在卷積模塊中嵌入卷積塊注意力模塊（convolutional block attention module，CBAM）注意力機制提高了卷積模塊對病變區(qū)域的特征提取能力，降低了對非病變區(qū)域和背景對識別結果的影響；改進的殘差模塊可以將低級特征轉換為高級特征，實現(xiàn)高級特征間的信息交互，得到具有更豐富信息量的特征。使用全局平均池化層對卷積模塊4輸出的空間特征圖進行處理，得到了具有空間信息的特征向量，然后通過含有softmax函數(shù)的分類層輸出識別結果。為了避免訓練模型時出現(xiàn)過擬合的問題，使用了標簽平滑技術。

1.2.1 卷積模塊設計

增加網(wǎng)絡層數(shù)和卷積核的數(shù)量可以提取病害深層次信息，但是隨著網(wǎng)絡層數(shù)和卷積核數(shù)量的增加，模型會發(fā)生過擬合。因此，在設計IRes-AM-Net模型時卷積模塊數(shù)量為4，各卷積模塊的卷積核數(shù)量分別為32、64、128以及512；由于較大的卷積核會需要更多的計算資源，因此在本模型中所有卷積核大小均為3×3，同時多個小卷積核疊加能具有與大卷積核相同的的感受野，并且還能帶來更多的非線性表征能力；為了獲取局部的病害特征，選擇卷積的步長為1；設置激活函數(shù)為relu具有訓練速度快、增加網(wǎng)絡非線性、避免梯度消失以及帶來網(wǎng)絡的稀疏性等優(yōu)點。為了獲取到特征圖的全局信息，實現(xiàn)病斑特征間的融合，需要增大卷積的步長，但是較大的步長則會損失鄰近信息，因此在網(wǎng)絡的深處，即在卷積模塊4中設置卷積步長為2。為了避免在網(wǎng)絡深層由于最大池化層的作用出現(xiàn)信息丟失的問題，在卷積模塊3與卷積模塊4中刪除了最大池化層。由于卷積模塊4的卷積核數(shù)量較多，為了避免出現(xiàn)過擬合的問題，在卷積模塊4中添加L2正則化。其中，批歸一化層可增加網(wǎng)絡訓練的穩(wěn)定性，最大池化層則對特征圖進行下采樣操作，減少網(wǎng)絡的計算。

1.2.2 注意力機制嵌入

CBAM^［13］融合了通道注意力（channel attention）與空間注意力（spatial attention），通道注意力獲取目標的類別信息，而空間注意力則關注目標的空間位置信息，因此CBAM較單一的注意力機制能取得更好的性能。將CBAM嵌入卷積模塊中，可以更好地獲取特征圖中的關鍵信息^［14-15］。CBAM的結構如圖3所示，計算公式如下：

F₁=M_c（F）UF；（1）

G=M_s（F₁） UF₁；（2）

M_c（F）=σ{MLP［AvgPool（F）］+MLP［MaxPool（F）］}；（3）

M_s（F₁）=σ{f^N×N{Concat［AvgPool（F₁），MaxPool（F₁）］}}。（4）

式中：F∈R^H×W×C，表示CNN提取的輸入特征圖，H、W、C分別表示特征圖的高度、寬度和通道數(shù)；M_c（F）∈R^1×1×C，是經(jīng)過通道注意力得到的特征圖權重；F₁∈R^H×W×C，表示通道注意力輸出的特征圖；M_s（F₁）∈R^H×W×1表示經(jīng)過空間注意力模塊得到的特征圖權重；G∈R^H×W×C為CBAM模塊的輸出特征圖；表示矩陣的點乘操作；AvgPool（·）是平均池化操作；MaxPool（·）是最大池化操作；MLP（·）是一個多層感知機；Concat（·）可以將多個特征圖在通道維度上拼接得到新的特征圖；σ（·）為激活函數(shù)；f^N×N是N×N的卷積操作。

由公式（1）至公式（4）可知，當特征圖F輸入CBAM模塊時，通道注意力模塊輸出特征圖F的通道權重向量，并使用該權重向量對特征圖F的通道進行加權，增加有效通道的權重，抑制無用通道的權重，使得模型關注特征圖中的類別信息；空間注意力模塊通過對特征圖進行卷積操作，增加了目標所在區(qū)域的位置權重，使得模型專注于目標所在的空間信息。

1.2.3 改進的殘差模塊設計

殘差模塊^［16-17］通過跳躍連接的方式將淺層信息與深層信息進行線性組合，增加了層與層間的信息交互，可以解決由于網(wǎng)絡層數(shù)加深導致的梯度消失或梯度爆炸問題。雖然殘差模塊（圖4）實現(xiàn)了特征復用，但僅是低級特征x與高級特征F（x）間的特征融合，考慮到低級特征x與高級特征F（x）間信息的差異，這種特征融合方式可能會造成信息的丟失。

卷積層具有特征提取的作用，非線性激活函數(shù)可以為網(wǎng)絡帶來非線性表征能力，批歸一化層則可以增加網(wǎng)絡的收斂速度，并使得網(wǎng)絡在訓練過程中保持穩(wěn)定。本研究在保留原始殘差模塊優(yōu)勢的基礎上嵌入了更多的卷積層、批歸一化層與非線性激活函數(shù)，在實現(xiàn)信息跨層交互的同時具有稀疏非線性的特征提取的能力，得到了如圖5所示改進的殘差模塊。改進后的殘差模塊對輸入信息的計算如下：

H（x）=F（x）+y；（5）

y=relu{BN［Conv（x）］}。（6）

式中：H（x）為輸出；x為輸入；Conv（·）為卷積操作；BN（·）為批歸一化操作；relu（·）為非線性激活函數(shù)。

為了使改進的殘差模塊與卷積模塊的通道數(shù)相匹配，各改進殘差模塊中卷積層的卷積核數(shù)量分別為64、128和128，并設置卷積核的大小均為1×1。在網(wǎng)絡中引入1×1卷積層具有以下優(yōu)勢：（1）實現(xiàn)跨通道的信息交互；（2）引入非線性函數(shù)，提升網(wǎng)絡的特征提取能力；（3）實現(xiàn)特征圖的降維，以便進行特征融合。與卷積模塊類似，在網(wǎng)絡淺層獲取病斑的局部信息，在網(wǎng)絡的深層將局部的病斑信息進行整合，得到病斑的全局信息，因此設置了殘差模塊1和殘差模塊2中卷積層的步長為1，殘差模塊3中卷積層的步長為2。

1.3 試驗環(huán)境

本次試驗于2021年11月在貴州省農產(chǎn)品無損檢測工程研究中心進行。硬件平臺為Windows 10操作系統(tǒng)，GPU為NVIDIA GTX1660Ti，GPU顯存為6 G，CPU為AMD Ryzen5 4600H的計算機。模型的編程語言為Python 3.9，編程平臺為PyCharm 2021.2.3（社區(qū)版），深度學習框架選擇Keras 2.4.3，以TensorFlow 2.5.0為后端。

2 結果與分析

2.1 性能評價指標

為了客觀地評價模型的識別性能，使用混淆矩陣、準確率（accuracy）、精度（precision）、召回率（recall）以及F₁分數(shù)（F₁-scores）等性能評價指標對模型進行評價，計算公式如下：

式中：TP是正確預測的正類數(shù)量；FP是負類預測為正類的數(shù)量；FN是正類預測為負類的數(shù)量；TN是正確預測的負類數(shù)量。最后，為了評價模型復雜度，還對模型參數(shù)量以及模型占用內存進行對比。

2.2 參數(shù)設置

在數(shù)據(jù)增強時，使用TensorFlow模塊中的ImageDataGenerator函數(shù)進行圖像的在線增強操作，參數(shù)設置詳見表2。

在IRes-AM-Net模型的訓練過程中，以交叉熵函數(shù)為損失函數(shù)訓練模型，訓練輪次為200，優(yōu)化器選擇Adam，批次大小為16，標簽平滑度為0.1。為了避免出現(xiàn)過擬合的現(xiàn)象，采用提前停止的訓練策略，提前停止的輪次為30。

學習率對模型的收斂速度和精度起著決定性的作用，學習率較大雖具有收斂速度快的優(yōu)勢，但收斂精度往往不高；較小的學習率收斂精度較高，但收斂速度慢。通常在網(wǎng)絡訓練初期設置較大的學習率，使得模型快速收斂到，然后隨著迭代次數(shù)的增加減小學習率增加模型的收斂精度。本研究結合線性函數(shù)與分段函數(shù)的特點設計了復合式衰減的學習率調度方式，如圖6所示。首先，學習率先線性增長25個輪次，使用增長式的學習率可使得模型快速收斂；然后，固定學習率15個輪次，以固定的學習率訓練模型可緩解增長式學習率帶來的模型性能不穩(wěn)定的問題；最后，每經(jīng)過40個輪次進行學習率衰減，衰減因子為0.1，衰減式的學習率可使得模型具有較好的收斂精度。

2.3 性能對比分析

首先分析CBAM注意力機制對IRes-AM-Net模型性能的影響，驗證卷積模塊中嵌入CBAM注意力機制的重要性。在IRes-AM-Net模型中去除了CBAM注意力機制得到了IRes-Net模型，結果（表3）表明，雖然IRes-AM-Net模型的參數(shù)量與占用內存略大于IRes-Net模型的參數(shù)量與占用內存，但IRes-AM-Net模型取得了最高的識別性能，各性能指標均在99%以上，而IRes-Net模型的識別性能均在94.5%左右，約提高了4.67%，說明將CBAM注意力機制嵌入卷積模塊中可以提高模型對病害的識別性能。

其次為了驗證IRes-AM-Net模型的先進性，使用遷移學習的方法獲取了5種性能較好的深度學習模型，即MobileNetV2^［18］、ResNet50^［10］、VGG16^［19］及其變體VGG19以及DenseNet121^［20-21］。為保證模型性能不受參數(shù)設置的影響，固定了訓練過程中所有的訓練策略不變。但由于原始的學習率相對于VGG16、VGG19以及DenseNet121模型來說較大，使得模型出現(xiàn)無法訓練的現(xiàn)象，故選擇將原始的學習率降低10倍，以訓練VGG16、VGG19以及DenseNet121模型。

各模型在訓練集上的準確率與損失隨迭代次數(shù)的變化如圖7所示。圖7-a為模型準確率隨迭代次數(shù)的變化曲線，由于使用了遷移學習技術，上述5種模型均快速收斂，IRes-AM-Net模型是重新開始訓練的模型，因此IRes-AM-Net模型的收斂速度較慢，但在第80個迭代輪次時也已達到收斂。在訓練過程中各模型的準確率均呈穩(wěn)定上升的趨勢，準確率均達到98%以上，說明各模型對訓練集的訓練效果較好。圖7-b為模型損失隨迭代次數(shù)的變化曲線，所有模型的損失在訓練過程中均穩(wěn)定下降，最終都達到收斂的狀態(tài)。由于在訓練IRes-AM-Net模型時使用了標簽平滑技術，導致 IRes-AM-Net模型的損失值較其他模型的損失值大，且收斂速度較慢，IRes-AM-Net模型的損失值在0.35左右，而其他模型的損失值均在0.3左右。

IRes-AM-Net模型與上述5種模型在測試集上的性能對比如表4所示，IRes-AM-Net模型的準確率、精度、召回率以及F₁分數(shù)均達到99%以上，較其他識別模型的識別性能提高了1.41%～4.69%，說明IRes-AM-Net模型對于豆葉病害的識別性能較好。IRes-AM-Net模型的參數(shù)與占用內存均為最小，參數(shù)量僅為7.4×10⁵，分別為MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型參數(shù)量的32.74%、3.14%、5.03%、3.69%、10.51%；占用內存僅為8.75 MB，分別為MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型占用內存的33.14%、3.24%、5.21%、3.82%、10.68%，參數(shù)量少和占用內存小說明IRes-AM-Net模型對計算資源的需求低。結果表明，IRes-AM-Net模型在性能上優(yōu)于目前常用的5種深度學習模型，同時具有最低的參數(shù)量和占用內存，體現(xiàn)了IRes-AM-Net模型的高效性和輕量性，可進一步用于移動設備上的豆葉病害識別模型的開發(fā)。

2.4 可視化分析

為了分析IRes-AM-Net模型在識別豆葉病害時葉片各區(qū)域對識別結果的影響，使用了類激活可視化方法。Grad-CAM^［22］是一種廣泛用于神經(jīng)網(wǎng)絡可視化分析的算法，通過反向傳播的梯度計算特征圖每個通道的權重，并基于該權重對整個特征圖進行線性加權得到激活熱力圖，最后用得到的熱力圖表征原始圖像中特定區(qū)域對模型預測結果的貢獻，從而實現(xiàn)類激活可視化。從數(shù)據(jù)集中隨機選取3幅圖像進行類激活可視化分析，并給出各區(qū)域所表示的權重系數(shù)大小，權重大小在0～1之間，越接近1表示該區(qū)域對于病害識別具有指導性意義，越接近0表示該區(qū)域在病害識別中可以忽略。

在表5中所示的3幅圖像及對應的類激活圖中，黃色區(qū)域表示的權重系數(shù)較大，代表了網(wǎng)絡主要關注的區(qū)域，表示該部分區(qū)域對網(wǎng)絡的識別結果起到關鍵性作用；而紅色區(qū)域表示的權重系數(shù)較小，說明該區(qū)域是網(wǎng)絡忽略的部分，即對于網(wǎng)絡的識別結果起較小的作用或基本不起作用。由類激活可視化可知，IRes-AM-Net模型關注葉片圖像中病斑周圍的區(qū)域，說明模型對于感病區(qū)域具有較高的關注度，從而能取得較好的識別性能。

3 討論

針對復雜場景下采集的豆葉病害圖像進行研究，發(fā)現(xiàn)在角葉斑病和豆銹病的感病癥狀間存在較高的相似度，通過傳統(tǒng)方法難以進行有效判別。利用深度學習強大的特征提取能力進行豆葉病害識別，通過自行設計的卷積模塊可以深度挖掘病害圖像中深層次的病害特征，同時嵌入CBAM注意力機制使得模型重點關注到圖像中的感病區(qū)域，降低背景與非病變區(qū)域對識別結果的影響；并且由于原始殘差模塊進行特征融合時未考慮到信息間的差異性，僅是低級特征與高級特征進行簡單的線性疊加，可能會使得部分病害信息丟失，因此在原始殘差模塊的基礎上添加更多的卷積層、批歸一化層以及激活函數(shù)，從而在特征融合時將低級特征轉換為高級特征，實現(xiàn)高級特征間的交互，以增強模型對病害的特征提取能力。

雖然本研究提出的模型在復雜場景下識別豆葉病害取得了較好的性能，但是由于使用的豆葉病害種類較少，本研究僅是驗證了使用深度學習方法在復雜場景下實現(xiàn)豆葉病害識別的可能性。因此，在未來的研究中，研究人員可以建立龐大的豆葉病害數(shù)據(jù)集，豐富豆葉病害種類多樣性、環(huán)境多樣性以及豆葉姿態(tài)多樣性。將完善的豆葉病害數(shù)據(jù)集應用于本模型的訓練和改進，從而實現(xiàn)豆葉病害的高效識別，為豆類作物的病害防控提供科學的指導。

4 結論

本研究使用自行設計的豆葉病害識別模型（IRes-AM-Net）在真實生產(chǎn)場景下實現(xiàn)了豆類作物病害的有效識別，主要結論如下：（1）為了驗證CBAM注意力機制在模型中的有效性，在IRes-AM-Net模型中去除CBAM注意力機制進行對比分析，結果表明，添加CBAM模塊以后的模型性能提高了約4.67%，說明CBAM注意力機制可以使模型專注到有利于豆葉病害識別的關鍵信息，并忽略次要信息；（2）將IRes-AM-Net模型與5種常用的深度學習模型相比，IRes-AM-Net模型在各性能指標上均達到最高，較其他模型提高了1.41%～4.69%，且模型參數(shù)與占用內存為最低，說明IRes-AM-Net模型不僅性能好，且還具有對計算資源需求低的優(yōu)勢。因此，IRes-AM-Net模型具有輕量和性能好的優(yōu)勢，為移動設備上豆葉病害識別系統(tǒng)的設計和研發(fā)提供了理論基礎。

參考文獻：

［1］王 寵，蔡健靈，焦 玲，等. 豆類食品的合理食用研究［J］. 糧食科技與經(jīng)濟，2020，45（4）：127-129.

［2］馬鸞艷. 豆角露地高產(chǎn)栽培及病蟲害防治技術探討［J］. 南方農業(yè)，2021，15（32）：48-50.

［3］Ferentinos K P. Deep learning models for plant disease detection and diagnosis［J］. Computers and Electronics in Agriculture，2018，145：311-318.

［4］Lee S H，Goёau H，Bonnet P，et al. Attention-based recurrent neural network for plant disease classification［J］. Frontiers in Plant Science，2020，11：601250.

［5］王美華，吳振鑫，周祖光. 基于注意力改進CBAM的農作物病蟲害細粒度識別研究［J］. 農業(yè)機械學報，2021，52（4）：239-247.

［6］李 萍，邵 彧，齊國紅，等. 基于跨深度學習模型的作物病害檢測方法［J］. 江蘇農業(yè)科學，2022，50（8）：193-199.

［7］Bahdanau D，Cho K，Bengio Y. Neural machine translation by jointly learning to align and translate［R/OL］. 2014：arXiv：1409.0473.https：//arxiv.org/abs/1409.0473

［8］Zeng W H，Li M. Crop leaf disease recognition based on self-attention convolutional neural network［J］. Computers and Electronics in Agriculture，2020，172：105341.

［9］Karthik R，Hariharan M，Anand S，et al. Attention embedded residual CNN for disease detection in tomato leaves［J］. Applied Soft Computing，2020，86：105933.

［10］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA.IEEE，2016：770-778.

［11］方晨晨，石繁槐. 基于改進深度殘差網(wǎng)絡的番茄病害圖像識別［J］. 計算機應用，2020，40（增刊1）：203-208.

［12］曾偉輝，李 淼，李 增，等. 基于高階殘差和參數(shù)共享反饋卷積神經(jīng)網(wǎng)絡的農作物病害識別［J］. 電子學報，2019，47（9）：1979-1986.

［13］Woo S，Park J，Lee J Y，et al. CBAM：convolutional block attention module［C］//European Conference on Computer Vision.Cham：Springer，2018：3-19.

［14］張福玲，張少敏，支力佳，等. 融合注意力機制和特征金字塔網(wǎng)絡的CT圖像肺結節(jié)檢測［J］. 中國圖象圖形學報，2021，26（9）：2156-2170.

［15］李明悅，何樂生，雷 晨，等. 基于注意力特征融合的SqueezeNet細粒度圖像分類模型［J］. 云南大學學報（自然科學版），2021，43（5）：868-876.

［16］陳 娟，陳良勇，王生生，等. 基于改進殘差網(wǎng)絡的園林害蟲圖像識別［J］. 農業(yè)機械學報，2019，50（5）：187-195.

［17］雷建云，陳 楚，鄭 祿，等. 基于改進殘差網(wǎng)絡的水稻害蟲識別［J］. 江蘇農業(yè)科學，2022，50（14）：190-198.

［18］Sandler M，Howard A，Zhu M L，et al. MobileNetV2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT.IEEE，2018：4510-4520.

［19］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition［R/OL］. 2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556

［20］Huang G，Liu Z，van der Maaten L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，HI.IEEE，2017：4700-4708.

［21］湯文亮，黃梓鋒. 基于知識蒸餾的輕量級番茄葉部病害識別模型［J］. 江蘇農業(yè)學報，2021，37（3）：570-578.

［22］Selvaraju R R，Cogswell M，Das A，et al. Grad-CAM：visual explanations from deep networks via gradient-based localization［C］//2017 IEEE International Conference on Computer Vision （ICCV）. Venice：IEEE，2017：618-626.