基于多特征融合的殘差網(wǎng)絡果樹葉片病害識別

朱帥 王金聰 任洪娥 陶銳

摘 要：為分析果樹在種植過程中病害的程度和種類，本文提出一種基于改進深度殘差網(wǎng)絡的果樹葉片病害圖像識別方法。該網(wǎng)絡模型在傳統(tǒng)殘差神經(jīng)網(wǎng)絡的基礎上，通過多尺寸的卷積核代替骨干網(wǎng)絡中的7×7卷積核，既增加了網(wǎng)絡的寬度，也增加了網(wǎng)絡對尺度的適應性。帶泄露修正線性單元（Leaky ReLU）激活函數(shù)用于替換修正線性單元（Recitified Linear Unit， ReLU）激活函數(shù)，該函數(shù)以ReLU函數(shù)為基礎，在函數(shù)的負半軸上引入一個非零斜率（Leaky），解決了ReLU函數(shù)引起的神經(jīng)元死亡現(xiàn)象。在平均池化層和全連接層之間加入Dropout（按照一定的概率將神經(jīng)網(wǎng)絡單元暫時從網(wǎng)絡中丟棄）操作，合理設置閾值，可以有效地防止卷積神經(jīng)網(wǎng)絡的過擬合。最后，引入SE注意力機制進一步提高網(wǎng)絡模型的識別精度。在公共數(shù)據(jù)集Plant Village（植物村）的實驗表明，改進的深度殘差網(wǎng)絡模型能夠很好地識別果樹葉片病害，平均準確率可達到99.4%。

關(guān)鍵詞：果樹葉片;病害識別;深度殘差網(wǎng)絡;注意力機制;深度學習

中圖分類號：S783.7??? 文獻標識碼：A?? 文章編號：1006-8023（2022）01-0108-07

Fruit Tree Leaf Disease Recognition Based on Residual Network

and Multi Feature Fusion

ZHU Shuai1， WANG Jincong2，3， REN Hong’e1，3*， TAO Rui1，4

（1. College of Information and Computer Engineering， Northeast Forestry University， Harbin 150040， China;

2.College of Mechanical and Electrical Engineering， Northeast Forestry University， Harbin 150040， China;

3.Heilongjiang Forestry Intelligent Equipment Engineering Research Center， Harbin 150040， China;

4.Hulunbuir University， Hulunbuir 021008， China）

Abstract：In order to analyze the extent and types of diseases in fruit trees during planting， this paper proposes an image recognition method of fruit tree leaf diseases based on improved deep residual network. Based on the traditional residual neural network， this network model replaces the 7×7 convolution kernel in the backbone network with a multi-size convolution kernel， which not only increases the width of the network， but also increases the adaptability of the network to scale. The Leaky ReLU activation function is used to replace the Recitified Linear Unit （ReLU） activation function. This function is based on the ReLU function and introduces a non-zero slope on the negative half axis of the function （Leaky）， solved the neuron death phenomenon caused by the ReLU function. Adding Dropout （temporarily discarding the neural network unit from the network according to a certain probability） operation between the average pooling layer and the fully connected layer， and setting the threshold reasonably can effectively prevent the over-fitting of the convolutional neural network. Finally， the SE attention mechanism is introduced to further improve the recognition accuracy of the network model. Experiments in the public data set Plant Village show that the improved deep residual network model can identify fruit tree leaf diseases well， with an average accuracy rate of 99.4%.

Keywords：Fruit tree leaves; disease recognition; deep residual network; attention mechanism; deep learning

0 引言

果樹病害是造成現(xiàn)代農(nóng)林業(yè)減產(chǎn)的主要原因，嚴重的病害會給果樹種植者帶來巨大的經(jīng)濟損失。在果樹的種植過程中，病害問題是不可避免的，病害的程度和種類在不斷增加，嚴重制約了果實的質(zhì)量和產(chǎn)量[1-2]。我國果樹的種植相對分散，相關(guān)從業(yè)人員知識水平參差不齊，極大制約著果樹病害的防治[3-4]。因此，能夠有效識別果樹葉片病害的類別，及時進行相應的病害處理具有重要意義。

傳統(tǒng)的果樹病害鑒定是由經(jīng)驗豐富的專家進行診斷的，這種方法效率低，工作難度大，不能對疾病進行科學準確的實時診斷，而機器視覺技術(shù)可以實現(xiàn)對疾病的快速準確診斷[5-7]。卷積神經(jīng)網(wǎng)絡（Convolution Neural Networks，CNN）作為深度學習的重要組成部分，它憑借特征提取的巨大優(yōu)勢受到廣泛關(guān)注[8-10]。

朱良寬等[11]提出一種融合了深度卷積生成式對抗網(wǎng)絡（DCGAN）和遷移學習（TL）的新型卷積神經(jīng)網(wǎng)絡葉片識別方法，該方法可以獲得96.57%的植物葉片識別精度;孫穎異等[12]構(gòu)建了一種基于殘差連接的AlexNet卷積神經(jīng)網(wǎng)絡，對卷積層的輸入數(shù)據(jù)進行批歸一化，并且利用2種不同的全局池化算法，實驗驗證殘差連接的AlexNet卷積神經(jīng)網(wǎng)絡能夠進行高效識別;孫俊等[13]采用批歸一化和全局均值池化對AlexNet模型進行改進，并將改進后的模型在Plant village（植物村）數(shù)據(jù)集上訓練，準確率有所提升的同時減少了模型參數(shù);劉陽等[14]從網(wǎng)絡規(guī)模小型化和計算過程輕量化需求的角度出發(fā)，對經(jīng)典輕量級卷積神經(jīng)網(wǎng)絡（SqueezeNet）提出改進措施，并運用遷移學習和隨機梯度下降算法進行訓練，平均準確率達到98.13%; Tuncer[15]提出了一種基于Inception架構(gòu)和深度可分離卷積的新混合CNN方法，模型可達99%的平均準確率;黃建平等[16]提出一種基于神經(jīng)結(jié)構(gòu)搜索的植物葉片圖像病害識別方法，訓練樣本數(shù)據(jù)，模型識別準確率達到99.01%。

基于以上分析，本文提出一種基于改進殘差網(wǎng)絡模型的果樹葉片病害識別方法。

1 研究技術(shù)與模型架構(gòu)

1.1 傳統(tǒng)殘差網(wǎng)絡

隨著網(wǎng)絡結(jié)構(gòu)的增加，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡會導致梯度的消失或退化，并且由于果樹葉片病害數(shù)據(jù)集樣本數(shù)的限制，在網(wǎng)絡的訓練過程中容易產(chǎn)生過擬合現(xiàn)象。在殘差神經(jīng)網(wǎng)絡中，通過引入殘差塊結(jié)構(gòu)可以更容易地優(yōu)化網(wǎng)絡模型，并且由于殘差塊中的映射操作相同，使得網(wǎng)絡模型可以在不發(fā)生梯度消失和過擬合的情況下加深網(wǎng)絡深度[17-19]。殘差網(wǎng)絡的標準框架如圖1所示。

1.2 改進卷積核

在識別葉片病害圖像時，由于采集的公共數(shù)據(jù)集背景單一，葉片病害圖像較為突出居中，而識別病害的關(guān)鍵點在于葉片中的病斑部分，在訓練過程中由于傳統(tǒng)殘差網(wǎng)絡圖像輸入時，初始卷積核尺寸和步長過大，卷積網(wǎng)絡會丟失部分病害細節(jié)信息。為了盡量減少訓練中的損失信息，適應多種果樹葉片和病斑的大小，保留更多的疾病細節(jié)，需要重新設計步長和卷積核大小，用多種不同尺度的卷積核代替骨干網(wǎng)中的7×7卷積核，以捕捉更多的空間語義，增加了網(wǎng)絡對尺度的適應性。同時，多個卷積核使用多個激活函數(shù)，提高了網(wǎng)絡的非線性表達能力。因此，利用1×1、3×3、5×5的卷積通過deep concat（深度鏈接）合成特征，獲得非線性屬性，替換ResNet（Residual Neural Network）中的7×7卷積核，改進卷積核結(jié)構(gòu)如圖2所示。

1.3 優(yōu)化激活函數(shù)

與經(jīng)典的Sigmoid函數(shù)和Tanh函數(shù)相比，修正線性單元函數(shù)（Recitified Linear Unit， ReLU）解決了其致命缺陷：梯度彌散問題。函數(shù)在正無窮遠處的梯度是一個常數(shù)，而不是像前2個函數(shù)一樣為0。此外，由于其簡單的函數(shù)組成，ReLU比包含指數(shù)函數(shù)的Sigmoid和Tanh要快得多。但缺點很明顯：當輸入信號為負時，函數(shù)不會啟動，即其工作范圍僅為0到正無窮大，且ReLU函數(shù)（公式中用ReLU表示）的輸出不以0為中心，函數(shù)為公式（1）。

ReLU（x）=0，x≤0x，x>0 。 （1）

當x>0時，ReLU函數(shù)的梯度始終為1，這樣梯度就不會衰減，從而緩解了梯度彌散的問題。然而，當x<0時，輸入數(shù)據(jù)的特征點無法完全獲得，影響了輸出數(shù)據(jù)的準確性。

Leaky ReLU激活函數(shù)是ReLU函數(shù)的一個變體。在ReLU函數(shù)的基礎上，在函數(shù)的負半軸上引入Leaky（一個非零斜率），解決了ReLU函數(shù)（公式中用ReLUleaky表示）引起的神經(jīng)元死亡現(xiàn)象。函數(shù)為公式（2）。

ReLUleaky（x）=ax，x≤0x，x>0。? （2）

式中：a為超參數(shù)值，且a>0。

該函數(shù)在x>0區(qū)域的圖像和ReLU函數(shù)相似，從而保留了ReLU函數(shù)緩解梯度消失的優(yōu)點。在函數(shù)的負半軸區(qū)間內(nèi)，函數(shù)的輸出值會對輸入值產(chǎn)生一個很小的梯度值，因此函數(shù)的負半軸導數(shù)總是不為0，解決了ReLU函數(shù)神經(jīng)元死亡的現(xiàn)象。

1.4 添加Dropout層

在訓練神經(jīng)網(wǎng)絡時，經(jīng)常遇到過擬合問題。過擬合主要體現(xiàn)在以下幾個方面：模型在訓練數(shù)據(jù)中的損失函數(shù)小，預測精度高;但在試驗數(shù)據(jù)上，損失函數(shù)較大，預測精度較低。通過在平均池化層和全連接層之間加入Dropout操作，合理設置閾值，可以有效地防止卷積神經(jīng)網(wǎng)絡的過擬合。添加Dropout層結(jié)構(gòu)如圖3所示。

1.5 添加SE注意力模塊

引入注意機制進一步提取鑒別特征，并在改進的網(wǎng)絡中采用SE（Squeeze and Exclusion）算法，通過精確建模卷積特征各通道之間的交互關(guān)系，提高網(wǎng)絡模型的表達能力。網(wǎng)絡模型校正特征的機制使得網(wǎng)絡能夠基于全局信息選擇性地增強有價值的特征通道，抑制無用的特征通道。SE注意力模塊如圖4所示。

SE block的過程分為2個步驟：Squeeze（壓縮） 和 Excitation（激發(fā)）。

壓縮（Squeeze）：通過對特征映射層進行全局平均池化，得到當前特征映射的全局壓縮特征量。激發(fā)（Excitation）：通過兩層全連接的瓶頸結(jié)構(gòu)獲得特征圖中每個通道的權(quán)重，并將加權(quán)后的特征圖作為下一層網(wǎng)絡的輸入。引入注意力機制模型結(jié)構(gòu)如圖5所示。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

本次實驗數(shù)據(jù)集來自公開的Plant Village數(shù)據(jù)庫，提取了蘋果、櫻桃、葡萄、桃子全部葉片病害圖像，其中，蘋果包括1個健康類別，3個病害類別;櫻桃包括1個健康類別，1個病害類別;葡萄包括1個健康類別，3個病害類別;桃子包括1個健康類別，1個病害類別。圖像共計11 796幅。原始圖片像素大小為256×256，為了滿足卷積神經(jīng)網(wǎng)絡對輸入圖像尺寸的要求，在進行卷積神經(jīng)網(wǎng)絡模型試驗時，將葉片病害圖片像素尺寸縮放到224×224，各類別隨機選取90%的葉片病害圖片作為訓練集，其余10%的圖片作為測試集。每個病害類別包含的圖片類型如圖6所示。果樹葉片病害圖片各類別數(shù)目見表1。

2.2 實驗參數(shù)與評價標準

在模型訓練過程中，采用SGD網(wǎng)絡訓練優(yōu)化器，初始學習率為0.001，權(quán)重衰減為0.005，學習率下降策略采用階梯式下降，訓練周期是100次，在梯度下降過程中，每批次訓練的圖片樣本個數(shù)為16，Dropout系數(shù)設置為0.5。實驗中以準確率（Accuracy）、精確率（Precision）、召回率（Recall）作為實驗結(jié)果的評價標準。平均準確率定義為被測試集中正確分類的疾病圖像數(shù)量與疾病圖像總數(shù)的比值，準確率越高，模型的性能在一定程度上越好。精確率是所有預測為該類的樣本里面，實際確實為該類的樣本所占的比例。召回率是所有實際為該類的樣本里面，預測為該類的樣本所占的比例。

2.3 消融實驗

為了提高果樹葉片病害識別的性能，選擇Res Net101網(wǎng)絡結(jié)構(gòu)，利用更深層次的網(wǎng)絡結(jié)構(gòu)獲取更多的圖像信息。本文采用殘差網(wǎng)絡ResNet和改進的ResNet對果樹葉片病害圖像進行識別。圖7為在100個訓練批次（epoch）后，各果樹病害葉片的準確率。表2為各果樹的準確率，表3為本文模型精確率和召回率。

從圖7和表2可以看出，傳統(tǒng)殘差網(wǎng)絡相比其他方法具有更深層的網(wǎng)絡結(jié)構(gòu)，能夠更多地訓練果樹葉片病害圖片中的有效信息，從而獲得更高的準確率，可達到98.2%～99.2%。

在傳統(tǒng)殘差網(wǎng)絡模型的基礎上，用多種不同尺度的卷積核代替骨干網(wǎng)中的7×7卷積核，同時，利用Leaky ReLU激活函數(shù)，解決ReLU函數(shù)引起的神經(jīng)元死亡現(xiàn)象，最后，在平均池化層和全連接層之間加入Dropout操作，防止卷積神經(jīng)網(wǎng)絡的過擬合，得到結(jié)構(gòu)改進后的殘差網(wǎng)絡。實驗結(jié)果表明，結(jié)構(gòu)改進后的殘差網(wǎng)絡，能夠捕捉更多的果樹葉片病害圖像信息，獲得更多的病害特征細節(jié)，有效防止網(wǎng)絡的過擬合化，準確率達到98.6%～99.6%，比傳統(tǒng)殘差網(wǎng)絡準確率高出0.1%～0.4%，從而證明改進結(jié)構(gòu)后殘差網(wǎng)絡的有效性更好。

傳統(tǒng)殘差網(wǎng)絡單獨引入注意力機制后，準確率為98.7%～99.5%，比傳統(tǒng)殘差網(wǎng)絡準確率提升了0.3%～0.5%。

在改進結(jié)構(gòu)的殘差網(wǎng)絡模型的基礎上，引入注意力機制，通過校正特征的能力使得網(wǎng)絡能夠基于全局信息選擇性地增強有價值的特征通道，抑制無用的特征通道，進一步增強網(wǎng)絡模型的訓練能力。引入注意力機制后結(jié)構(gòu)改進的殘差網(wǎng)絡模型準確率進一步提高，達到99.0%～99.8%，比傳統(tǒng)殘差網(wǎng)絡準確率高出0.6%～0.8%。同時驗證了結(jié)構(gòu)改進和引入注意力機制的消融性。

2.4 本文模型與現(xiàn)行方法對比

為驗證本文模型的優(yōu)越性，將本實驗模型數(shù)據(jù)與文獻[14]、文獻[15]、文獻[16]中的實驗結(jié)果相對比，以上文獻中的實驗數(shù)據(jù)圖來自Plant Village數(shù)據(jù)庫。表4為實驗結(jié)果對比。

從表4可以得出，本文提出的ResNet+結(jié)構(gòu)改進+注意力機制模型比文獻[14]、文獻[15]、文獻[16]中的卷積網(wǎng)絡模型平均準確率提高了0.4%～1.3%。

本文在傳統(tǒng)的殘差網(wǎng)絡模型基礎上，進行結(jié)構(gòu)的改進，增強對不同果樹病害葉片的特征提取的豐富度，緩解網(wǎng)絡訓練中出現(xiàn)的過擬合問題，通過引入注意力機制模塊，進一步增強模型整體提取葉片病害部分的能力，證明了本文實驗模型的優(yōu)越性。

3 結(jié)論與討論

本文針對果樹葉片病害識別問題，提出了一種基于改進深度殘差神經(jīng)網(wǎng)絡的果樹葉片病害圖像識別方法，對傳統(tǒng)殘差網(wǎng)絡模型進行改進。該模型在傳統(tǒng)殘差神經(jīng)網(wǎng)絡的基礎上，將主干網(wǎng)絡中7×7的卷積核替換為小卷積核，可以獲得與較大的卷積核相同的感受野，并捕獲更多的空間語義，減少了網(wǎng)絡的參數(shù)。利用Leaky ReLU激活函數(shù)替換ReLU函數(shù)，該函數(shù)基于ReLU的基礎上在函數(shù)負半軸引入Leaky值用于解決ReLU函數(shù)引起的神經(jīng)元死亡現(xiàn)象。在平均池化層和全連接層之間添加Dropout操作，并且合理設置閾值能夠有效地防止卷積神經(jīng)網(wǎng)絡出現(xiàn)過擬合的情況。最后引入SE注意力機制，進一步提高識別準確率。實驗結(jié)果表明，本文提出的果樹葉片病害識別模型，平均準確率達到99.4%，能夠更好地解決果樹葉片病害識別的問題。

【參 考 文 獻】

[1]滿中合.果樹病害發(fā)生特點及綜合防治策略探究[J].農(nóng)業(yè)開發(fā)與裝備，2021，27（5）：72-73.

MAN Z H. Study on occurrence characteristics and comprehensive control strategies of fruit tree diseases[J]. Agricultural Development & Equipments， 2021， 27（5）： 72-73.

[2]金瑛，葉颯，李洪磊.基于ResNet-50深度卷積網(wǎng)絡的果樹病害智能診斷模型研究[J].農(nóng)業(yè)圖書情報學報，2021，33（4）：58-67.

JIN Y， YE S， LI H L. The intelligent diagnosis model of fruit tree disease based on ResNet-50[J]. Journal of Library and Information Science in Agriculture， 2021， 33（4）： 58-67.

[3]SCHIEFER F， KATTENBORN T， FRICK A， et al. Mapping forest tree species in high resolution UAV-based RGB-imagery by means of convolutional neural networks[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 170： 205-215.

[4]ISLAM M， DINH A， WAHID K， et al. Detection of potato diseases using image segmentation and multiclass support vector machine[C]//2017 IEEE 30th Canadian Conference on Electrical and Computer Engineering （CCECE）. April 30-May 3， 2017， Windsor， ON， Canada. IEEE， 2017： 1-4.

[5]YANG X，NI H M，LI J K，et al.Leaf recognition using BP-RBF hybrid neural network[J].Journal of Forestry Research，2021：1-11.

[6]HAN W， FENG R Y， WANG L Z， et al. Adaptive spatial-scale-aware deep convolutional neural network for high-resolution remote sensing imagery scene classification[C]//IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium. July 22-27， 2018， Valencia， Spain. IEEE， 2018： 4736-4739.

[7]ZHANG X X， GUO Y， ZHANG X. High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks[J]. Journal of the Indian Society of Remote Sensing， 2021， 49（6）： 1379-1391.

[8]THECKEDATH D， SEDAMKAR R R. Detecting affect states using VGG16， ResNet50 and SE-ResNet50 networks[J]. SN Computer Science， 2020， 1（2）： 1-7.

[9]趙鵬超，戚大偉.基于卷積神經(jīng)網(wǎng)絡和樹葉紋理的樹種識別研究[J].森林工程，2018，34（1）：56-59.

ZHAO P C， QI D W. Study on tree species identification based on convolution neural network and leaf texture image[J]. Forest Engineering， 2018， 34（1）： 56-59.

[10]汪泉，宋文龍，張怡卓，等.基于改進VGG16網(wǎng)絡的機載高光譜針葉樹種分類研究[J].森林工程，2021，37（3）：79-87.

WANG Q， SONG W L， ZHANG Y Z， et al. Study on hyperspectral conifer species classification based on improved VGG16 network[J]. Forest Engineering， 2021， 37（3）： 79-87.

[11]朱良寬，晏銘，黃建平.一種新型卷積神經(jīng)網(wǎng)絡植物葉片識別方法[J].東北林業(yè)大學學報，2020，48（4）：50-53.

ZHU L K， YAN M， HUANG J P. Plant leaf recognition method with new convolution neural network[J]. Journal of Northeast Forestry University， 2020， 48（4）： 50-53.

[12]孫穎異，李健，時天，等.基于改進的AlexNet卷積神經(jīng)網(wǎng)絡的植物葉片識別[J].種子，2020，39（2）：77-81.

SUN Y Y， LI J， SHI T， et al. Plant leaf recognition based on modified AlexNet convolutional neural network[J]. Seed， 2020， 39（2）： 77-81.

[13]孫俊，譚文軍，毛罕平，等.基于改進卷積神經(jīng)網(wǎng)絡的多種植物葉片病害識別[J].農(nóng)業(yè)工程學報，2017，33（19）：209-215.

SUN J， TAN W J， MAO H P， et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（19）： 209-215.

[14]劉陽，高國琴.采用改進的SqueezeNet模型識別多類葉片病害[J].農(nóng)業(yè)工程學報，2021，37（2）：187-195.

LIU Y， GAO G Q. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（2）： 187-195.

[15]TUNCER A. Cost-optimized hybrid convolutional neural networks for detection of plant leaf diseases[J]. Journal of Ambient Intelligence and Humanized Computing， 2021， 12（8）： 8625-8636.

[16]黃建平，陳鏡旭，李克新，等.基于神經(jīng)結(jié)構(gòu)搜索的多種植物葉片病害識別[J].農(nóng)業(yè)工程學報，2020，36（16）：166-173.

HUANG J P， CHEN J X， LI K X， et al. Identification of multiple plant leaf diseases using neural architecture search[J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 166-173.

[17]李曉振，徐巖，吳作宏，等.基于注意力神經(jīng)網(wǎng)絡的番茄葉部病害識別系統(tǒng)[J].江蘇農(nóng)業(yè)學報，2020，36（3）：561-568.

LI X Z， XU Y， WU Z H， et al. Recognition system of tomato leaf disease based on attentional neural network[J]. Jiangsu Journal of Agricultural Sciences， 2020， 36（3）： 561-568.

[18]馬永杰，程時升，馬蕓婷，等.多尺度特征融合與極限學習機結(jié)合的交通標志識別[J].液晶與顯示，2020，35（6）：572-582.

MA Y J， CHENG S S， MA Y T， et al. Traffic sign recognition based on multi-scale feature fusion and extreme learning machine[J]. Chinese Journal of Liquid Crystals and Displays， 2020， 35（6）： 572-582.

[19]劉飛，高紅艷，衛(wèi)澤剛，等.基于Res-Net深度特征的SAR圖像目標識別方法[J].液晶與顯示，2021，36（4）：624-631.

LIU F， GAO H Y， WEI Z G， et al. SAR image target recognition method using based on Res-Net deep features[J]. Chinese Journal of Liquid Crystals and Displays， 2021， 36（4）： 624-631.