基于遷移學習的GoogLeNet果園病蟲害識別與分級

萬軍杰 祁力鈞 盧中奧 周佳蕊 張 豪

(中國農業(yè)大學 工學院，北京 100083)

果園病蟲害影響水果的品質和產量，自動識別病蟲害是一個重要研究方向。隨著果園生產種植模式不斷復雜化，果園生產中所遇到的病蟲害情況也越來越復雜，對果樹生長造成了嚴重影響，快速、準確、有效地識別出病蟲害危害程度并采取相關防治措施及時止損[1-2]，對于提高水果品質和產量至關重要。

隨著計算機技術的不斷發(fā)展，植物病蟲害檢測技術也取得了長足的進步。植物病蟲害識別方法主要分為傳統(tǒng)方法和深度學習方法。傳統(tǒng)方法需要人工提取病害紋理、顏色等特征，往往識別種類有限且識別精度不高，難以大規(guī)模的推廣應用。如肖志云等[3]提出了一種基于小波域的馬鈴薯典型蟲害特征提取與識別方法。黨滿意等[4]利用GrapCut算法與直方圖分割算法提取馬鈴薯晚疫病特征用于晚疫病識別，該方法對于中晚期病害識別準確率能達到90%以上。肖志云等[5]提出了一種馬鈴薯典型病害圖像的自適應特征融合與快速識別方法。張建華等[6-7]利用BP神經網(wǎng)絡、支持向量機進行棉花病蟲害識別，識別精度基本能達到90%以上。

卷積神經網(wǎng)絡(Convolutional neural network，CNN)能夠不依賴特定特征，在圖像識別領域已經得到了廣泛應用[8-11]。如孫俊等[12]提出了一種批歸一化與全局池化相結合的卷積神經網(wǎng)絡識別模型，對于多種植物葉片病害的識別準確率達到了99.56%。房若民等[13]設計了一種嵌入式農業(yè)病蟲害識別防治系統(tǒng)，可以識別多種病蟲害且識別準確率達92.6%。于小東等[14]設計了一款實時在線農作物病蟲害等級識別手機APP，能夠在0.1～0.5 s獲取識別結果。任守綱等[15]構建了一種基于反卷積引導的VGG網(wǎng)絡模型，能同時實現(xiàn)植物葉部病害種類識別與病斑分割。Gonzalez-Huitron等[16]構建了一種輕量級卷積神經網(wǎng)絡，并將其成功應用在Raspberry Pi 4上進行番茄病蟲害的識別。李就好等[17]提出了一種改進Faster R-CNN模型來識別田間苦瓜葉片病蟲害，改進后平均準確率為86.39%。王春山等[18]利用改進Multi-scaleResNet模型進行蔬菜葉部病害識別，在真實環(huán)境下識別準確率達到了93.05%。

上述研究大多以常見病蟲害識別為主，少有對病蟲害危害程度進行分級識別研究。目前在果園精細化管理中，僅僅識別果樹病蟲害種類，難以滿足果園精準變量施藥的要求?；诖耍狙芯繑M采用遷移學習技術與卷積神經網(wǎng)絡相結合的方法研究果園病蟲害識別與危害程度分級問題，以期為現(xiàn)代果園智能化、精細化管理提供一定的技術支持。

1 材料與方法

1.1 試驗數(shù)據(jù)

1.1.1數(shù)據(jù)來源

試驗數(shù)據(jù)主要來源于PlantVillage官網(wǎng)(https:∥plantvillage.psu.edu)。從PlantVillage官網(wǎng)收集了11 653張病蟲害樣本圖像。另外，從北京市通州區(qū)(116.65° E，39.92° N)中農富通現(xiàn)代果園中，利用飛螢8 SE相機(分辨率1 280像素×720像素)人工拍攝了1 500張果樹健康與患病葉片圖像，總計13 153張樣本圖像。在全部樣本圖像中，含有桃、蘋果、櫻桃、葡萄、柑橘、草莓等6種果園作物，共計25種病蟲害類型樣本(10種病害，9種蟲害，6種健康)。本研究所收集病蟲害樣本數(shù)量見表1。

1.1.2數(shù)據(jù)預處理

由統(tǒng)計樣本分布情況可知，各類病蟲害樣本數(shù)量在232～1 899張不等(表1)。為了防止因訓練樣本數(shù)量過少而導致模型發(fā)生過擬合現(xiàn)象，本研究對已有圖像進行隨機翻轉、平移、縮放以及對比度增減等操作(圖1)將圖像擴充至105 224張。同時，考慮到樣本來源不同，導致所收集的圖像格式、大小等存在差異，使用MATLAB自編函數(shù)將所有圖像調整為統(tǒng)一大小(224像素×224像素)。

1.1.3病害危害程度分級

通過觀察不同患病葉片顏色以及病斑大小劃分病害級別。本研究具體分級標準參考GB/T 17980.24—2000 《農藥 田間藥效試驗準則(一)殺菌劑防治梨黑星病》[19]中葉片病情分級標準，按照病斑占整個葉片面積比例劃分6個等級：0級，無病斑；1級，0<病斑≤10%；3級，10%<病斑≤25%；5級，25%<病斑≤40%；7級，40%<病斑≤65%；9級，病斑>65%。本研究采用人工分級方式將果樹病害危害程度分為3級：0級為健康，無病斑；Ⅰ級為一般，0<病斑≤30%；Ⅱ級為嚴重，病斑>30%。本研究病害樣本分級后數(shù)量見表2。

在總體樣本集中，隨機選出60%和20%的圖像樣本分別作為訓練集(Train set)與驗證集(Validation set)，剩余20%的圖像樣本作為測試集(Test set)。其中，驗證集用來對模型進行修正，測試集用于評估最終模型的泛化能力[17]。

表1 病蟲害樣本原始數(shù)量及增強后數(shù)量Table 1 Data from original and augmented samples of pests and diseases

圖1 圖像增強效果Fig.1 The effect of image data augmentation

1.2 模型搭建

1.2.1模型簡介

GoogLeNet網(wǎng)絡模型主要由9個模塊化結構(Inception v1)串聯(lián)而成，結構見圖2。在第一個Inception模塊之前，模型含有3個卷積層(Convolution layer)，3個激活層(Relu layer)，2個最大池化層(Max pooling layer)，2個歸一化層(Normalization layer)。在第2、3個Inception模塊以及第7、8個Inception模塊之間都含有一個最大池化層(Max pooling layer)。在Inception模塊之后，依次是全局平均池化層(Global average pooling layer)、Dropout層(Dropout layer)、全連接層(Fully connected layer)、Softmax層(Softmax layer)、分類層(Classification layer)。本研究主要將模型最后3個網(wǎng)絡層進行替換，并將全連接層的輸出大小修改為35，其他參數(shù)保持不變。

圖2 GoogLeNet網(wǎng)絡結構圖Fig.2 GoogLeNet structure diagram

Softmax層用于計算某張病蟲害圖像屬于各等級的概率值，選擇最大概率值對應的等級作為預測輸出，輸出層通過交叉熵損失函數(shù)計算誤差，評價實際輸出與期望輸出的接近程度[8]，在反向傳播過程中對各層參數(shù)進行優(yōu)化更新，交叉熵損失函數(shù)表達式為：

(1)

式中：W為權重矩陣；b為偏置向量；N為樣本數(shù)；K為類別數(shù)；tij為第i個樣本屬于類別j的概率；yij為類別j中樣本i的輸出概率。

1.2.2遷移學習

遷移學習是把在大型數(shù)據(jù)集(如ImageNet)上學到的圖像分類知識成功運用到待解決的新目標分類中[20-22]。相比原模型，其優(yōu)勢在于：1)以現(xiàn)有最佳網(wǎng)絡模型為基礎，通過微調網(wǎng)絡層結構來構建本研究的模型，比構建和訓練隨機初始化的新網(wǎng)絡更快且更容易；2)預訓練網(wǎng)絡模型由于已學習了豐富的特征，無需龐大的數(shù)據(jù)量再訓練，可以有效縮短訓練時間。因此，本研究以經典的GoogLeNet作為預訓練模型，利用模型結構微調和參數(shù)微調的遷移學習方法，對果園病蟲害圖像的識別與危害程度分級進行研究。

1.2.3超參數(shù)設置

在深度學習訓練時，超參數(shù)選擇困難且費時，因為超參數(shù)最優(yōu)組合不僅僅取決于模型本身，還取決于軟件與硬件環(huán)境。本研究模型的超參數(shù)經多次微調確定。在利用GoogLeNet模型進行訓練時，采用批量訓練方式，隨機將訓練集與驗證集劃分多個批次，訓練批次(Minibatch)大小為32，輪(Epoch)為30，每輪迭代1 265次，共迭代37 950次。每1 000次迭代驗證1次，初始學習率設為0.001，權重衰減值為1×10-5。優(yōu)化器采用帶動量的隨機梯度下降法(Stochastic gradient descent with momentum，SGDM)，動量為0.9。為了進一步防止過擬合，將Dropout層隨機丟棄概率設置為0.4，即隨機丟棄40%的節(jié)點。模型訓練其它初始參數(shù)權重采用經過ImageNet數(shù)據(jù)集訓練的權重值。

1.3 評價指標

為評價模型的優(yōu)劣，選擇模型大小(M)、識別時間(T)、損失值(L)、準確率(Acc)作為模型訓練結果的評價指標。其中，模型大小反映該模型訓練完成后所占用的計算機儲存空間[8]，單位為MB。損失值能夠估計模型預測值與真實值的偏差程度，損失值越小，表示模型預測結果越接近真實結果，計算公式為：

(2)

式中：yi為第i個樣本對應的標簽；f為模型輸出函數(shù)；j為求和變量；K為樣本總數(shù)。

準確率[23]反映的是識別結果中識別正確的圖像數(shù)量占全部識別圖像數(shù)量的比率，可以反映模型的訓練效果，計算公式為：

(3)

式中：TP(True positive)為被模型預測為正的正樣本；TN(True negative) 為被模型預測為負的負樣本；FN(False negative) 為被模型預測為正的負樣本；FP(False positive) 為被模型預測為負的正樣本。

2 結果與討論

本研究采用中國農業(yè)大學植保機械實驗室計算機，其硬件配置為：Windows10專業(yè)版64位操作系統(tǒng)，CPU為英特爾 i7-10700，GPU為英偉達GTX 1660 Super 6 GB，主板為微星MAG B460M，內存為32 G。攝像頭為免驅USB攝像頭，焦距F6.0 mm，視像解析度640像素×480像素。軟件開發(fā)環(huán)境為MATLAB2020a版本。

2.1 訓練結果

為驗證本研究方法的有效性與優(yōu)越性，隨機選取AlexNet、VGG-16、ResNet-18、GoogLeNet、SqueezeNet和MobileNet-v2這6種模型。在相同訓練參數(shù)設置條件下，進行6種模型訓練與驗證，訓練曲線見圖3。本研究將經過遷移學習的GoogLeNet網(wǎng)絡模型記為GoogLeNet*，與原模型以示區(qū)別。

訓練精度曲線可以描述隨著迭代次數(shù)的增加，模型預測精度的波動情況。由圖3(a)可知，除SqueezeNet模型，其余6種模型在收斂時訓練精度均達到了90%以上。其中，收斂速度最快的模型是GoogLeNet*，最慢的是SqueezeNet。當?shù)螖?shù)為400次時，GoogLeNet*模型訓練精度率先達到80%，迭代5 000次后趨于收斂，此時模型訓練精度為95%，最終模型訓練精度為99%。然而，SqueezeNet模型在迭代次數(shù)為12 000次時，其訓練精度才達到80%，并且在訓練過程中訓練精度曲線波動幅度較大，最終模型訓練精度為88%。其余5種模型訓練精度曲線大致相同，最終模型訓練精度為90%～95%。訓練結果表明，本研究模型無論在收斂速度方面，還是模型精度方面都表現(xiàn)出色。

損失曲線則表示隨著迭代次數(shù)的增加，模型預測值與真實值之間偏差波動情況。損失值越小，表明模型精度越高，預測出錯概率越小[8]。由圖3(b)可知，GoogLeNet*模型率先達到收斂，最終損失值為 0.007 8，均低于其他6種模型。SqueezeNet模型損失值最大為0.353 7，其余模型損失值介于二者之間。在模型平均訓練時長方面，7種模型平均訓練時長分布在2.15～24.17 h。其中，AlexNet與SqueezeNet模型訓練時間最短約2 h，VGG-16模型最長約24 h，其余模型訓練時長均在10 h以內。然而，本研究模型訓練時長為4.13 h，比原GoogLeNet模型縮短0.25 h。

對于病蟲害識別最重要的是識別精度與識別時間，其次是模型大小。因此，本研究按照優(yōu)先級：識別精度>識別時間>模型大小進行模型評價。7種模型驗證精度分布在85.49%～96.93%(圖4)。其中，GoogLeNet*模型驗證精度最高為96.93%，SqueezeNet模型驗證精度最低為85.49%，其他模型驗證精度均在90%以上。在識別時間方面，SqueezeNet模型識別時間最短約1.4 ms，最長為VGG-16模型約5.9 ms。其中，AlexNet、SqueezNet、GoogLeNet、GoogLeNet*、MobileNet-v2模型平均識別時間均在5 ms以內，而VGG-16與ResNet-18模型平均識別時間則超過5 ms。這主要是模型結構、層數(shù)、參數(shù)量不同所致。在模型大小方面，由于ResNet-18、SqueezeNet、GoogLeNet、MoblieNet-v2模型為輕量級神經網(wǎng)絡，所以訓練完成后模型大小都在10 MB以下。其中，SqueezeNet模型最小僅為2.47 MB，最大為MobileNet-v2模型的8.24 MB。另外，3種模型(VGG-16、AlexNet、GoogLeNet*)稍微大一些，分別為474、199和21.3 MB。

識別時間為圖像平均識別時間，ms；氣泡上的數(shù)值表示訓練完成后模型的大小，MB。The recognition time is the average image recognition time, ms. The value on the bubble indicates the memory size of the model after the training is completed, MB.圖4 7種模型訓練結果Fig.4 Training results of seven models

綜合看，本研究模型所占儲存空間雖不是最小，但其驗證精度最高，比其他6種模型提高了2.38%～11.44%，且單張圖片平均識別時間僅為2.6 ms，其模型大小僅為21.3 MB。因此，本研究提出的基于遷移學習的GoogLeNet模型是明顯優(yōu)于其他6種模型的。

2.2 模型性能探討

2.2.1數(shù)據(jù)集大小對模型性能的影響

數(shù)據(jù)集在很大程度上決定了模型的識別性能[24-25]。為了研究數(shù)據(jù)集大小對病蟲害分級精度的影響，設置了5種不同大小的數(shù)據(jù)集進行模型訓練。從原有數(shù)據(jù)集中每類樣本隨機選取100、200、500、1000、2000張圖像形成新的數(shù)據(jù)集，記為100、200、500、1 000、2 000。使用5種不同大小數(shù)據(jù)集訓練出的模型精度見表3。可知，模型精度隨著數(shù)據(jù)集的增大而提高。經過不同大小數(shù)據(jù)集訓練得到的模型驗證精度與測試精度范圍分別在87.42%～96.23%，85.62%～95.07%。經過遷移學習的GoogLeNet模型，即使在每類樣本只有100張圖像的情況下，模型仍具有85%以上的測試精度。這表明經過遷移學習的卷積神經網(wǎng)絡，對于小樣本數(shù)據(jù)集也具有良好的識別性能。但是為了模型能夠具有更高的精度以及泛化能力，仍就需要足夠的圖像樣本來確保模型能夠充分學習到細微特征，以便區(qū)分相似病蟲害。

表3 本研究模型在不同大小數(shù)據(jù)集下的驗證精度與測試精度Table 3 The verification and testing accuracy under different data set sizes based on this model

2.2.2優(yōu)化算法對模型性能的影響

目前，常用優(yōu)化算法有Adam(Adaptive moment estimation)、SGDM(Stochastic gradient descent with momentum)、RMSprop(Root mean square prop)等。其中Adam和SGDM在機器視覺、自然語言處理等方面應用最為廣泛。

為探究不同優(yōu)化算法對模型性能的影響，選取了3種常用優(yōu)化算法進行模型訓練，得到不同優(yōu)化算法下的模型精度見表4。在相同試驗條件下，經過3種優(yōu)化算法得到的模型精度差別很大。在訓練時長方面，三者比較接近，均在5 h左右，其中SGDM算法耗時最短。在驗證精度方面，SGDM算法比Adam、RMSprop算法分別提高了5.3%、19.82%；在測試精度方面，SGDM算法比Adam、RMSprop算法分別提高了6.29%、27.85%。因此，SGDM優(yōu)化算法更適合本研究模型。

表4 不同優(yōu)化算法下的模型精度Table 4 Model accuracy under different optimization algorithms

2.3 模型驗證

為驗證本研究模型的實用性，開發(fā)了一款果園病蟲害分級識別系統(tǒng)進行試驗驗證，開發(fā)環(huán)境為MATLAB2020a。軟件包含前端用戶操作界面和后臺識別模塊這2部分。其中，前端設計采用APP Designer設計器進行可視化界面布局，采用了Button組件、Label組件、圖像窗口組件、坐標區(qū)域組件、文本區(qū)域組件。其軟件工作流程和前端界面見圖5。后臺處理通過使用MATLAB語言編寫程序打開或關閉相機，并調用訓練好的GoogLeNet*

圖5 本研究設計的軟件工作流程(a)與用戶操作界面(b)Fig.5 The software work flow chart (a) and user interface diagram (b) designed in this research

模型進行果樹病蟲害識別與危害程度分級。同時，該軟件還能根據(jù)識別結果調用本地瀏覽器自動檢索病蟲害防治建議和防治藥品展示給用戶。

2.3.1病蟲害識別

本研究從測試集隨機選取20種病蟲害類型(10種病害、8種蟲害、2種健康)，每類選取20張圖像進行模型識別效果分析，測試結果見表5?？芍?，本研究模型對蟲害識別精度要高于病害識別精度。其中，病害的平均識別精度達到了98.70%，健康葉片以及蟲害平均識別精度都達到了100%，病蟲害總體平均識別精度為99.35%。同時，該系統(tǒng)識別單張圖像的平均用時約為0.43 s。測試結果表明本研究模型識別病蟲害效果較好，能夠滿足果園病蟲害實時監(jiān)控系統(tǒng)識別要求。

表5 本研究模型識別病蟲害圖像的精度與時間Table 5 The accuracy and time of recognizing images of diseases and pest based on this model

本研究模型對病害與蟲害識別精度存在差異。分析其原因，主要是害蟲具有清晰地紋理、顏色特征(圖6(a2)、(a3))，卷積神經網(wǎng)絡能夠學習到更多關鍵特征用于識別。相比之下，病害主要依靠顏色特征進行識別(圖6(b3))，而紋理特征相對較少(圖6(b2))，加之病斑形態(tài)各異，給模型識別帶來了一定的難度。

圖6 黑守瓜(a)與葡萄輪斑病(b)的可視化激活特征圖Fig.6 Visualized activation feature map of Aulacophora lewisii (a) and Acrospermun viticola (b)

2.3.2病害分級

目前在果園精細化管理中，僅僅識別病蟲害種類是不能滿足精準施藥的要求。所以需要進一步對病蟲害危害程度進行分級，從而更好的進行精準變量施藥。為了驗證本研究模型病害危害程度分級效果，從測試集中隨機選取6種病害進行危害程度分級，每等級樣本數(shù)量為20張。本研究模型對病害危害程度分級結果見表6?？芍?，病害危害程度分級精度相比病害識別精度有所下降。其分級精度在80%～100%，但平均分級精度也達到了92.78%。分析個別病害分級精度低的原因，主要是病害危害程度Ⅰ級(一般)與Ⅱ級(嚴重)之間分級特征較少，僅有病斑大小這一細微特征。模型在學習時難以找出兩者之間明顯的分界閾值。其次，模型訓練的分級樣本標簽由人工標定，嚴格而標準的分級工作是十分繁瑣、耗時的，難免會發(fā)生個別樣本標記錯誤。最后，數(shù)據(jù)來源不同也導致同等級樣本在圖像背景、光照強度、圖像尺寸、果樹種類等方面存在著一定差異。在后續(xù)研究中，考慮采取病斑分割與識別相結合的方式來進一步提高病害分級精度。

表6 本研究模型識別病害危害等級分級精度Table 6 Grading accuracy of the grade of disease damage based on this model

3 結 論

1)針對現(xiàn)有果樹病蟲害危害程度分級模型存在精度不高，難以滿足精準施藥要求的問題，本研究采用遷移學習技術與GoogLeNet模型相結合的方法，對果園病蟲害樣本進行了識別和危害程度分級研究。所設計模型大小為21.3 MB，平均識別精度達到了99.35%。其中，病害識別精度為98.70%，蟲害識別精度為100%。對病害樣本進行危害程度分級，平均分級精度為92.78%。

2)在相同訓練參數(shù)下，本研究模型較AlexNet、VGG-16、ResNet-18、SqueezeNet、原GoogLeNet及MobileNet-v2模型驗證精度提高了2.38%～11.44%，并且損失值最低。同時，探究了不同數(shù)據(jù)集大小與不同優(yōu)化算法對模型性能的影響。研究結果表明，遷移學習技術能夠在一定程度上加快模型收斂速度；本研究模型精度隨著數(shù)據(jù)集的增大而提高；在3種優(yōu)化算法中，SGDM算法耗時最短且精度最高，更適合本研究模型。

3)基于MATLAB平臺，設計了一款可視化的果園病蟲害分級識別系統(tǒng)。經過400次實際測試，該系統(tǒng)識別單張圖像僅需0.43 s。本研究所設計系統(tǒng)實用性與穩(wěn)定性較強，可為現(xiàn)代果園智能化、精細化管理提供一定的技術支持。