基于改進殘差網絡的蘋果葉片病害識別研究

陳 聰，于 嘯，宮 琪

（山東理工大學計算機科學與技術學院，山東 淄博 255049）

蘋果在我國種植歷史悠久，種植面積居世界首位。我國已經成為世界最大的蘋果生產國和消費國，同時蘋果產業(yè)成為農民的重要經濟來源[1]。但蘋果在其生長過程中受到氣候、細菌等各種因素的影響會出現(xiàn)葉部病害問題，從而對樹體的發(fā)育、產量、質量產生重要影響。蘋果葉片病害頻發(fā)于7 月份，主要病害有斑點落葉病、褐斑病和灰斑病等[2]。這幾種葉片病害表現(xiàn)特征相似，傳統(tǒng)依靠人工和農業(yè)專家區(qū)分蘋果葉片病害效率低下。為此，尋找出精準識別蘋果葉片病害的方法顯得尤為重要。

隨著計算機視覺的發(fā)展，卷積神經網絡（Convolutional neural networks，CNN）在計算機視覺相關的不同領域得到了廣泛應用，其中包括醫(yī)學圖像、無人駕駛和人臉識別等[3?5]。近年來，國內外專家也通過CNN 解決農林方面問題。孫鵬等[6]通過在傳統(tǒng)的CNN 中加入注意力機制，使得對大豆蚜蟲的識別準確率達到96.85%。張建華等[7]通過優(yōu)化VGG-16 的全連接層數，并且使用六標簽SoftMax 分類器實現(xiàn)對6 種棉花病害的準確識別。龍滿生等[8]用遷移學習方法將ImageNet 預訓練的AlexNet 模型遷移到油茶病害識別任務中，使得病害識別率達到96.5%。馬宇等[9]在ResNext50殘差網絡中添加三通道注意力機制，能夠有效地識別10種番茄葉部病蟲害。黃英來等[10]針對玉米葉片病害，通過替換7×7卷積核，替代激活函數，改變殘差順序對ResNet-50進行改進，使玉米病害分類正確率達到98.3%。王東方等[11]對SE-ResNeXt-101模型進行改進，并基于遷移學習提出了一種農作物病害分類模型TL-SEResNeXt-101，該模型在真實農業(yè)環(huán)境中取得不錯的識別效果。ZHAO 等[12]將改進的通道和空間注意模塊鑲嵌到ResNet 的殘差塊中，使得模型對番茄病害的識別準確率達到97.59%。XU 等[13]在ResNet-50中采用聚焦損失函數，使得模型對草莓病害的平均識別準確率達到98.67%。綜上所述，植物病蟲害識別的方法主要是在基準CNN 模型基礎上進行改進，從而達到識別不同植物病害以及蟲害的目的。部分研究采用遷移學習的方法訓練網絡模型。

以上研究中，CNN 在葉片病害以及蟲害的圖像識別中取得突破性進展，但是上述研究中大多采用試驗室環(huán)境數據。然而真實的蘋果果園環(huán)境背景復雜多樣，葉片縱橫交錯，且蘋果在生長過程中受環(huán)境等多方面影響，會導致蘋果病斑具有特征相似、病斑分布稀疏、病斑較小等特點，采用傳統(tǒng)CNN識別效果不佳。因此，對基準網絡ResNet-50 進行改進，修改原始網絡結構的殘差順序，添加通道注意力機制，采用并行卷積，并且通過遷移學習的方式進行權重初始化，達到能夠識別復雜背景下的蘋果病害的目的，為蘋果病害識別提供方法。

1 材料和方法

1.1 試驗數據與處理

供試蘋果葉片病害圖像來自AI Studio，是由西北農林科技大學在各個試驗站采集所得。數據主要在天氣晴朗的條件下采集，部分在陰雨天采集，因此，數據來自于復雜背景下，且光照強度不同，存在一定程度的遮擋問題。采集到的蘋果葉片病害圖像共有2 027 張，其中斑點落葉病409 張、花葉病375 張、灰斑病370 張、褐斑病435 張、銹病438 張。將上述采集的數據集與PlantVillage 中的660 張健康葉片、621 張黑腐病、667 張黑星病以及275 張銹病數據集圖像進行合并，共計4 250 張?zhí)O果葉片病害圖像，所構成的數據集結構如表1 所示。原始數據集中各類病害數量存在不均衡問題，因此，將斑點落葉病、花葉病、灰斑病、褐斑病4 種病害數據集進行隨機0.6 倍水平鏡像數據擴充。將得到的試驗數據集按照4∶1的比例隨機劃分為訓練集和測試集。

表1 試驗數據集構成Tab.1 Composition of experimental dataset

蘋果葉片病害樣本圖像如圖1 所示，試驗數據共包含8 種蘋果葉片病害類別，并且組成該數據集的所有試驗數據全部由相關專家標注。為了增強網絡模型的魯棒性，降低過擬合，采用數據增強的方式。對訓練集數據的增強方式主要為圖像大小調整成256×256、進行224×224 的隨機裁剪、數據歸一化等。

圖1 蘋果葉片病害樣本圖像Fig.1 Sample images of apple leaf diseases

1.2 殘差網絡

隨著卷積層數的疊加，CNN 模型的識別能力會相應地增加。然而研究表明，模型達到一定層數后，模型的識別能力會達到飽和，再增加層數不僅不能提高識別能力，反而會使網絡收斂速度更慢，難以訓練，且易產生梯度消失或梯度爆炸現(xiàn)象。2016 年HE 等[14]提出殘差網絡，殘差網絡的出現(xiàn)可以確保網絡加深的同時模型的識別能力不會降低，并且能夠使模型更好地收斂。

傳統(tǒng)的CNN中，將輸入設為x，有參網絡層設為h，則以x為輸入層的輸出為h（x）。一般的如Alexnet[15]、VGG[16]等網絡可以直接通過訓練學習出參數函數h的表達式，從而直接學習x到h（x）的映射。殘差網絡則是通過捷徑連接（Shortcut conections）的方式，直接把輸入x作為輸出的初始值，進而只需要學習殘差，轉移了卷積網絡的學習目標。殘差網絡解決了恒等映射問題，并且隨著網絡的加深，識別效果可以有效提高，殘差網絡結構如圖2所示。

圖2 殘差結構Fig.2 Residual structure

1.3 REP-ResNet模型

殘差網絡常見的模型有ResNet-18、ResNet-50、ResNet-151 等，其中數字部分代表網絡層數。本研究選用ResNet-50作為基準網絡。由于蘋果病斑存在特征相似、斑點大小不同等特點，對原始ResNet-50 模型進行殘差結構調整（Residual structure adjustment，RSA），采用高效通道注意力機制（Efficient channel attention，ECA）和并行卷積（Parallel convolution，PC）的方式進行改進，并將改進的模型命名為REP-ResNet。ResNet-50 和REP-ResNet的結構對比如表2所示。

表2 ResNet-50和REP-ResNet結構對比Tab.2 Structure comparison of ResNet-50 and REP-ResNet

1.3.1 殘差結構調整 2015 年SERGEY 等[17]提出批標準化（Batch normalization）方法，通過批標準化可以將每層神經元的特征值重新符合標準正態(tài)分布，使特征值落在激活函數對于輸入值較為敏感的區(qū)域。使輸入的微小變化可導致?lián)p失函數較大的變化，使得梯度變大，避免梯度消失，同時也可加快收斂。

ResNet-50 中傳統(tǒng)殘差塊的順序為卷積層、批標準化、激活函數。這樣由于對輸入特征未進行歸一化，弱化了批標準化的作用。因此，本研究把傳統(tǒng)的殘差網絡結構調整為批標準化、激活函數、卷積層的排列順序，這樣不僅可以很好地發(fā)揮批標準化層的作用，還保留了傳統(tǒng)殘差塊結構中的恒等映射部分。原始參數塊與改進殘差塊的結構如圖3所示。1.3.2 通道注意力機制 蘋果果園環(huán)境中，不同葉片之間交替重疊，背景復雜多樣。通過添加注意力機制，以提高對不同病斑的識別能力。ECA 為一種高效通道注意力機制，在增加少量參數的情況下，通過賦予通道不同權值，進而提高模型的識別能力。ECA 的模塊示意圖如圖4所示。首先對卷積得到的特征圖進行全局平均池化（Global average pooling，GAP），將池化后的特征圖進行填充（Padding，P），再使用卷積核大小為3 的1 維卷積進行通道交互，然后使用Sigmoid 激活函數進行激活得到不同通道的特征權重。最后將得到的通道權重與輸入特征圖相乘得到最后的特征圖。

圖3 殘差塊結構對比Fig.3 The comparison of residual block structure

圖4 ECA模塊示意圖Fig.4 Schematic diagram of ECA module

1.3.3 并行卷積 蘋果葉片病害在不同時期表現(xiàn)的特征有較大差異，比如斑點落葉病初期的病斑直徑為2～3 mm，隨著病斑擴大和增多，直徑為5～6 mm[18]。為了識別不同時期葉片病害，提高病害分類效果，將ResNet-50 網絡的第1 層替換為并行卷積，網絡結構如圖5所示。采用卷積核并行的方法，從左到右依次采用7×7、5×5、3×3 卷積核組成，并且輸出通道數都為32。將3 條分支所得的卷積結果，在通道維度進行合并，最后通過1×1 卷積降低通道數，使通道數與原ResNet-50保持一致。

圖5 并行卷積結構Fig.5 Structure of parallel convolution

1.4 遷移學習

遷移學習是一種常見的機器學習方法，是指將源領域學習到的知識遷移到目標領域。深度學習的訓練通常需要大量數據，而對于小數據集，從頭開始訓練難度大容易導致過擬合，泛化能力差。將訓練好的參數模型遷移到新模型上訓練，不僅可以加快網絡的收斂速度，還能提高模型的識別能力，減少小數據集上的過擬合[19?20]。遷移學習在深度學習中有3種常見的方式：一種是載入預訓練模型后，訓練所有參數；一種是只訓練CNN 的全連接層；一種是凍結模型部分卷積層，訓練剩下的卷積層和全連接層。本研究采用的遷移學習方式是將PlantVillage 上預訓練好的模型權重遷移至REPResNet上重新訓練。

1.5 試驗設置

為驗證基于改進殘差網絡蘋果病害識別的可行性，在以下試驗環(huán)境中進行試驗。軟件環(huán)境為Python3.9.6、pytorch1.9.0，操作系統(tǒng)為linux 操作系統(tǒng)。硬件環(huán)境CPU 為AMD EPYC 7302 16-Core Processor，GPU為Tesla T4。

深度學習中超參數是在訓練模型之前自定義的參數值，而不是通過訓練所獲得的參數數值。通常需要通過不斷優(yōu)化模型的超參數，為模型選擇一組最優(yōu)的超參數，從而提高學習性能。本研究在多次試驗的基礎上，得到一組最優(yōu)超參數如下：epoch為100；學習率為0.000 1；batch 為64；優(yōu)化器選用Adam優(yōu)化器；損失函數采用CrossEntropyLoss。

1.6 模型評價指標

為更好地驗證蘋果病害識別模型的識別效果，采用準確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1-Score 為模型識別效果的評價指標。其計算公式分別如式（1）、式（2）、式（3）和式（4）所示。

式中:TP代表將正類預測為正類數；FN代表將正類預測為負類數；FP代表將負類預測為正類數；TN代表將負類預測為負類數。

2 結果與分析

2.1 消融試驗結果

為驗證數據擴充和改進模型REP-ResNet 對蘋果葉片病害識別效果的影響，采用消融試驗的方法進行試驗，結果分別如表3—4所示。

由表3 可知，方案1 是使用基準網絡模型ResNet-50，在未擴充的數據集上進行試驗，在測試集上準確率達到92.69%。方案2 則是在網絡模型不變的前提下，在擴充數據集上進行試驗，測試集準確率達到94.41%，較方案1 提高1.72 個百分點。為進一步驗證數據擴充對模型識別效果的影響，使用改進的模型REP-ResNet 進行試驗，結果表明，REP-ResNet 未進行擴充時測試集準確率為95.52%，擴充后準確率達到96.82%，提高了1.30 個百分點。由上述試驗可知，數據擴充可以在增強數據多樣性的同時避免數據不均衡，進而達到提升模型識別能力的效果。

表3 數據擴充對試驗結果的影響Tab.3 Influence of date expansion on experimental results

表4 是在數據擴充的前提下，采用不同改進方式進行試驗得到的結果。對比方案1 和方案2、3、4可知，在基準模型ResNet-50 上分別使用RSA、ECA、PC 的改進方式，模型的準確率較基準模型提升1.64、2.03、1.69 個百分點。方案5、6、7 驗證了不同改進方式兩兩組合對葉片病害識別效果的影響，結果表明，不同改進方式的組合不但不會弱化單種改進方式的識別效果，相反可以進一步提升網絡的識別準確率。根據方案8 結果可知，REP-ResNet 的識別準確率可達96.82%，較基準網絡ResNet-50 提高2.41 個百分點。3 種改進方式在不同程度上能夠提高網絡的識別準確率。

表4 改進模型對試驗結果的影響Tab.4 Influence of improved model on experimental results

2.2 遷移學習對試驗結果的影響

為驗證遷移學習對病害識別效果的影響，將REP-ResNet 模型在PlantVillage 數據集上進行預訓練得到網絡模型的權重。然后將訓練好的網絡模型權重遷移至模型REP-ResNet 上重新在數據集上訓練。全新學習和遷移學習在訓練集和測試集上的準確率和損失圖像如圖6所示。

由圖6可知，模型使用遷移學習方法訓練時，在第3 個迭代次數時驗證集準確率達到了95.66%；在第9 個迭代次數時，達到全新學習的最高準確率（96.82%）；在第30 個迭代次數時，準確率達到最高為97.69%，較全新學習準確率提高0.87 個百分點。采用遷移學習方法訓練時，模型在10個迭代次數后開始收斂且趨于穩(wěn)定，而全新學習在40個迭代次數后模型開始收斂。

圖6 全新學習和遷移學習的準確率和損失值Fig.6 Accuracy and loss of new learning and transfer learning

綜上所述，模型提前在大數據集上進行預訓練，已經初步具備識別基本特征的能力，具有更好的特征捕獲能力。通過遷移學習方法，模型在準確率和收斂速度方面都有相應提升，說明遷移學習不僅可以提高模型識別準確率，還能加快模型的訓練速度。

2.3 不同模型性能對比

為了充分驗證REP-ResNet 網絡對蘋果病害的識別效果，在試驗條件相同的情況下，對比不同的經典CNN 模型，其中包括AlexNet[15]、VGG[16]、MobileNet[21]、DenseNet[22]、EfficientNet[23]、ResNet 變體[24?25]，結果如表5所示。并且對不同模型結果采用混淆矩陣可視化，如圖7所示。

表5 不同模型試驗結果對比Tab.5 Comparison of experimental results of different models%

圖7 不同網絡模型的混淆矩陣Fig.7 Confusion matrix of different network models

由表5 可知，REP-ResNet 在準確率、精確率、召回率以及F1-Score 4 個評價指標中相較于其他經典CNN 均為最高。由圖7可知，REP-ResNet 在斑點落葉病、黑腐病、褐斑病等8種病害中正確分類數量均最多。并且在斑點落葉病、黑斑病這種病斑較小的蘋果葉片病害中，其識別效果遠高于其他CNN 模型。上述結果表明，REP-ResNet 網絡模型適合于蘋果病害的識別。

2.4 可視化分析結果

為驗證REP-ResNet 網絡對病害識別的影響，選取部分病害圖像，采用Grad-CAM[26]技術，對網絡中最后一層卷積層進行特征可視化分析，結果如圖8所示。對于蘋果花葉病病害，使用ResNet和REPResNet 進行識別，2 種網絡都可以清楚地注意到病害區(qū)域，能夠精準識別。但是對于斑點落葉病，ResNet 網絡對于病害區(qū)域關注比較分散，雖然關注到病害區(qū)域，但是更多的則是關注到背景部分。REP-ResNet 則可以清楚地關注到病害區(qū)域。對于銹病，雖然2 種網絡都可以關注到病害區(qū)域，但是2種網絡關注的程度不同?；鶞示W絡ResNet 對于病害位置的關注程度較輕，而改進后的REP-ResNet則可以更好地關注到病害位置。分析可知，由于花葉病病斑較大，所以2 種網絡對于該病斑位置都能關注到。但是由于斑點落葉病病斑較小，基準網絡ResNet-50 網絡識別效果較差，而REP-ResNet 由于對基準的網絡結構ResNet-50 進行了改進，所以對具有小病斑的葉片也具有很好的識別效果。由于銹病病斑位置分布較散，REP-ResNet 則更關注病害較重位置，有利提高病害識別效果。綜上所述，REP-ResNet 對于病斑較小且背景復雜的蘋果病害具有更好的識別效果。

圖8 網絡模型可視化結果Fig.8 Visualization results of network model

3 結論與討論

本研究針對蘋果病害葉片特征相似、斑點不一、背景復雜、傳統(tǒng)CNN 識別效果不佳的問題，在基準網絡ResNet-50的基礎上進行改進。通過消融試驗驗證模型改進對蘋果病害識別的效果。本研究提出的REP-ResNet 網絡在蘋果花葉病、斑點落葉病等8 種病害的識別過程中達到96.82%的識別準確率。將模型在公開數據集PlantVillage 預訓練的模型權重參數遷移至REP-ResNet 模型上重新訓練，不僅模型的收斂速度加快，而且能夠提高模型識別準確率。在使用遷移學習的基礎上，模型對蘋果病害的識別準確率能夠達到97.69%。采用Grad-CAM 進行特征可視化分析，有助于分析網絡模型的關注區(qū)域，驗證模型可行性。

傳統(tǒng)的CNN 不能滿足復雜背景下的蘋果病害識別。從本研究結果來看，基于改進的殘差網絡不僅能提高復雜背景下的蘋果病害識別效果，而且還能提高小病斑的蘋果病害的識別效果。REPResNet 網絡在一定程度上提高了病害識別效果，但是模型參數也相應地增加。在未來的研究工作中，將設計更加輕量高效的模型對復雜背景下的蘋果病害進行識別，相應地減少模型參數，使模型更適用于手機端識別。