基于遷移學(xué)習(xí)的玉米病害圖像識(shí)別

張彥通， 蘇前敏

（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201600）

玉米營(yíng)養(yǎng)價(jià)值豐富，具有耐寒、耐旱、耐貧瘠等特性，在全國(guó)各地均有種植[1]。玉米在生長(zhǎng)發(fā)育過(guò)程中常常由于各種因素而發(fā)生病害，主要有褐斑病、枯萎病、莖腐病等。有效防治病害成為農(nóng)作物穩(wěn)產(chǎn)、高產(chǎn)的關(guān)鍵，而及時(shí)準(zhǔn)確的病害診斷又是防治病害的必要前提。傳統(tǒng)的病害診斷方式主要通過(guò)人工經(jīng)驗(yàn)和觀察，存在主觀上的不確定性和效率較低等問題，亟需開發(fā)快速精準(zhǔn)的診斷方式，以提高作物病害的診斷和防治效率，減少農(nóng)作物的生產(chǎn)管理壓力[2]。

隨著人工智能技術(shù)的快速發(fā)展，越來(lái)越多的研究人員利用圖像處理技術(shù)對(duì)農(nóng)作物病害進(jìn)行自動(dòng)化智能識(shí)別研究，能夠?qū)崿F(xiàn)對(duì)農(nóng)作物病害的高效診斷，為農(nóng)業(yè)領(lǐng)域現(xiàn)代化開創(chuàng)新局面。深度學(xué)習(xí)技術(shù)在圖像識(shí)別分析領(lǐng)域取得了長(zhǎng)足的進(jìn)步[3]，但是必需以較為充足的訓(xùn)練數(shù)據(jù)作為支撐，才能理解數(shù)據(jù)的潛在模式。當(dāng)前缺乏大型公開的單一作物病害圖像數(shù)據(jù)集，除了PlantVillage[4]和AI Challenge[5]等幾個(gè)比較流行的植物病害圖像共享數(shù)據(jù)庫(kù)外，研究人員大多和農(nóng)業(yè)種植園進(jìn)行合作自行拍照收集，或者通過(guò)網(wǎng)絡(luò)收集相關(guān)植物病害圖像，由于解決問題的復(fù)雜性，模型的擴(kuò)展性不強(qiáng)，難以實(shí)際應(yīng)用。遷移學(xué)習(xí)[6]作為一種深度學(xué)習(xí)方法，其基本原理是將模型自身在相關(guān)任務(wù)中學(xué)習(xí)的知識(shí)(權(quán)重和參數(shù))遷移到新場(chǎng)景下，因?yàn)樵W(wǎng)絡(luò)已經(jīng)通過(guò)大型數(shù)據(jù)集的訓(xùn)練學(xué)習(xí)到了圖像的豐富特征，具有良好的泛化能力，可以通過(guò)網(wǎng)絡(luò)微調(diào)以實(shí)現(xiàn)特定領(lǐng)域的學(xué)習(xí)，具有良好的擴(kuò)展性。相比于全新學(xué)習(xí)[7]，遷移學(xué)習(xí)除了可以加速模型的訓(xùn)練外，同時(shí)也解決了訓(xùn)練數(shù)據(jù)不足的問題。史紅栩等[8]利用遷移學(xué)習(xí)將GoogleNet深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終獲取診斷模型,并將該模型實(shí)際應(yīng)用,實(shí)現(xiàn)了香蕉病害遠(yuǎn)程診斷系統(tǒng)，平均測(cè)試精度達(dá)到了98%，可以快速準(zhǔn)確地在線診斷香蕉常見病害。李靜等[9]利用TensorFlow 框架將Inception-v4 預(yù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)知識(shí)遷移到玉米螟蟲害識(shí)別的任務(wù)上，在訓(xùn)練的過(guò)程中，通過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)算法最終實(shí)現(xiàn)對(duì)玉米螟蟲害的識(shí)別，平均準(zhǔn)確率達(dá)到了96.44%。龍滿生等[10]將AlexNet 模型在ImageNet 圖像數(shù)據(jù)集上學(xué)習(xí)的分類共性知識(shí)遷移到油茶病害識(shí)別任務(wù)，通過(guò)對(duì)比實(shí)驗(yàn)優(yōu)選出模型的超參數(shù)，并通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理和擴(kuò)充，提升了模型的魯棒性，為植物葉片病害的識(shí)別診斷提供了參考。

本文利用輕量化網(wǎng)絡(luò)結(jié)構(gòu)并結(jié)合深度遷移學(xué)習(xí)技術(shù)對(duì)玉米病害圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，通過(guò)對(duì)比實(shí)驗(yàn)分析挑選出模型的優(yōu)化器，以及使用學(xué)習(xí)率動(dòng)態(tài)衰減策略完成訓(xùn)練過(guò)程中的模型微調(diào)，最后結(jié)合TensorFlow Lite 框架將優(yōu)化后的模型部署在移動(dòng)端，完成玉米病害識(shí)別應(yīng)用的開發(fā)，為農(nóng)業(yè)現(xiàn)代化領(lǐng)域提供參考。

1 材料與方法

1.1 數(shù)據(jù)集

圖像數(shù)據(jù)來(lái)自公共數(shù)據(jù)集Kaggle機(jī)器學(xué)習(xí)數(shù)據(jù)平臺(tái)，共搜集了灰葉斑病、枯萎病、銹蝕病3 種常見的玉米病害及健康圖像，共1 527 張。圖1 是數(shù)據(jù)集中各類玉米病害(包括健康)的圖像基本特征，表1 為數(shù)據(jù)擴(kuò)充前后各病害及健康圖像的數(shù)量，與健康及銹蝕病不同，枯萎病和灰葉斑病的葉片圖像相似度較高，為了提升模型對(duì)病害的識(shí)別精度，這2種病害擴(kuò)充后的的圖像數(shù)量也更多。

表1 擴(kuò)充前后的圖像數(shù)量Table 1 Number of images before and after data augmentation

圖1 健康及染病的玉米葉片圖像Fig. 1 Images of healthy and diseased corn leaf

1.2 模型與方法

1.2.1 MobileNetV2 模型 深度神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用在圖像分類、物體檢測(cè)和目標(biāo)跟蹤等計(jì)算機(jī)視覺任務(wù)中，但是不同模型大小不同，往往無(wú)法在移動(dòng)端等計(jì)算能力和存儲(chǔ)能力有限的終端上得到充分發(fā)揮和應(yīng)用。經(jīng)與VGG16、ResNet50、InceptionV3、Xception 模型對(duì)比分析，本研究選擇MobileNetV2[11]模型作為玉米病害識(shí)別模型的基礎(chǔ)架構(gòu)模型，如圖2所示。

圖2 基于MobileNetV2模型的玉米病害識(shí)別模型架構(gòu)Fig. 2 Architecture of corn disease recognition model based on MobileNetV2

基模型MobileNetV2 作為整個(gè)識(shí)別模型的核心組件，其詳細(xì)結(jié)構(gòu)見表2，第1 層是卷積核大小為3×3 的標(biāo)準(zhǔn)二維卷積。接下來(lái)是17 個(gè)線性瓶頸的倒置殘差結(jié)構(gòu)(Bottleneck)，該模塊由3 層網(wǎng)絡(luò)結(jié)構(gòu)組成：①擴(kuò)展層，使用1×1 的卷積神經(jīng)網(wǎng)絡(luò)[12]，目的是將低維空間映射到高維空間進(jìn)行升維,升高的維度倍數(shù)即膨脹系數(shù)與表中的系數(shù)等價(jià)，激活函數(shù)使用的是ReLU6；②深度可分離卷積(depthwise convolution)[13]，使用3×3 的卷積核作為標(biāo)準(zhǔn)卷積核的大小，主要功能為完成卷積提取特征功能、降低計(jì)算量和參數(shù)量，同樣使用ReLU6非線性激活函數(shù)是由于其在低精度計(jì)算中更具有魯棒性，并在訓(xùn)練期間加入了dropout 和BN，加速模型的訓(xùn)練并降低過(guò)擬合現(xiàn)象的發(fā)生；③使用1×1 的卷積網(wǎng)絡(luò)，目的是將高維特征映射到低維空間進(jìn)行降維，讓網(wǎng)絡(luò)重新縮小，使用Linear線性激活函數(shù)，如使用非線性激活函數(shù)可能會(huì)造成信息丟失或破壞。后面是由卷積核為1×1的二維卷積網(wǎng)絡(luò)、7×7的平均池化層和1×1的二維卷積網(wǎng)絡(luò)構(gòu)成。

表2 MobileNetV2結(jié)構(gòu)Table 2 Structure of MobileNetV2

1.2.2 實(shí)驗(yàn)環(huán)境及模型參數(shù) 模型的訓(xùn)練以及優(yōu)化均在Google Colab 上使用TensorFlow 框架完成。硬件環(huán)境:Tesla P100-PCIE GPU，16 G 顯存,12 G內(nèi)存，Intel(R)Xeon(R)@2.30 GHz CPU，軟件環(huán)境TensorFlow 2.8.0, Python 3.8.0。

模型訓(xùn)練時(shí)，圖像的輸入尺寸為160×160×3像素，在輸入到模型之前將圖像像素值縮放至[0,1]，池化層類型為最大平均池化，其卷積核大小為3×3 像素，滑動(dòng)步長(zhǎng)為2，輸出單元數(shù)為1 280，Dropout 層的丟棄率為0.2，輸出單元數(shù)為1 280，輸出層為全連接層，輸出單元數(shù)為4，對(duì)應(yīng)分類數(shù)量。訓(xùn)練批次(Batch_Size)大小設(shè)置為32，模型的損失函數(shù)選擇SparseCategoricalCrossentropy，并在訓(xùn)練的過(guò)程中將數(shù)據(jù)集打散，目的是在使用自適應(yīng)學(xué)習(xí)率算法的時(shí)候，可以避免發(fā)生某些數(shù)據(jù)集中出現(xiàn)而導(dǎo)致模型學(xué)習(xí)出現(xiàn)過(guò)擬合現(xiàn)象。

1.2.3 模型優(yōu)化 為了提高模型的準(zhǔn)確率，首先將整個(gè)數(shù)據(jù)集按7∶2∶1 的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試數(shù)據(jù)集，然后分別選擇SGD、Adam 和Nadam 優(yōu)化器作為模型的超參數(shù)，將初始學(xué)習(xí)率設(shè)置為0.001 0、0.000 5 和0.000 1，迭代次數(shù)設(shè)置為50、100 和2 003 個(gè)，對(duì)比不同優(yōu)化器對(duì)模型識(shí)別性能的影響。

確定識(shí)別模型的優(yōu)化器后重新進(jìn)行訓(xùn)練，整個(gè)模型的訓(xùn)練次數(shù)設(shè)置為250，在前200 次的訓(xùn)練過(guò)程中，“凍結(jié)”模型的后50 層并通過(guò)設(shè)置動(dòng)態(tài)階梯式的學(xué)習(xí)率衰減，同時(shí)通過(guò)參考TensorFlow API 中的默認(rèn)值并結(jié)合實(shí)際經(jīng)驗(yàn)，將衰減系數(shù)設(shè)置為0.96，衰減步長(zhǎng)設(shè)置為20，即在訓(xùn)練的過(guò)程中每20 次迭代學(xué)習(xí)率就會(huì)降低。在后50 次的迭代訓(xùn)練過(guò)程中通過(guò)自定義設(shè)置學(xué)習(xí)率并將識(shí)別模型的后50 層“解凍”并重新訓(xùn)練，目的是讓識(shí)別模型更具特殊性，以提升模型的識(shí)別精度。

1.3 玉米病害識(shí)別模型部署

1.3.1 模型轉(zhuǎn)化 在確定了最終的玉米病害識(shí)別模型后，導(dǎo)出后的模型并不能直接用于應(yīng)用程序的開發(fā)。TensorFlow 框架提供了相應(yīng)的解決方案，即將Saved-Model格式的文件通過(guò)轉(zhuǎn)化器轉(zhuǎn)化為TensorFlow Lite model(一種由.tflite 文件擴(kuò)展名標(biāo)識(shí)且被優(yōu)化后的Flatbuffer 二進(jìn)制格式，該格式可以被Android Studio 軟件直接加載)。Saved-Model 包含1 個(gè)完整的TensorFlow 程序模型，其中包括模型訓(xùn)練后得到的參數(shù)和權(quán)重等信息。

1.3.2 應(yīng)用架構(gòu) 由于模型的輸入大小固定，在將圖像輸入到模型之前需要進(jìn)行圖像尺寸的判斷，如果圖像尺寸不符合模型的輸入大小，需要對(duì)圖像進(jìn)行預(yù)處理，最后模型將計(jì)算后的結(jié)果通過(guò)應(yīng)用程序界面展示出來(lái)，玉米病害識(shí)別應(yīng)用的總體架構(gòu)流程如圖3所示。

圖3 識(shí)別應(yīng)用總體架構(gòu)流程Fig. 3 Overall architecture flow for recognition applications

2 結(jié)果與分析

2.1 數(shù)據(jù)增強(qiáng)效果分析

考慮到實(shí)際的應(yīng)用場(chǎng)景，如用戶的拍攝角度、光線等都會(huì)對(duì)模型的識(shí)別結(jié)果產(chǎn)生影響，因此為了提升模型的穩(wěn)定性、魯棒性和識(shí)別精度，對(duì)原數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，增加圖像的多樣性，以提升模型的識(shí)別準(zhǔn)確率和應(yīng)用場(chǎng)景。利用TensorFlow 框架中的ImageDataGenerator 以及預(yù)處理模塊對(duì)圖像進(jìn)行平移、旋轉(zhuǎn)、改變飽和度和增強(qiáng)對(duì)比度操作，增加了數(shù)據(jù)集的復(fù)雜性，使其更符合實(shí)際情況，圖4 為玉米病害圖像數(shù)據(jù)增強(qiáng)前后的效果變化。

圖4 數(shù)據(jù)增強(qiáng)效果Fig. 4 Effect of data augmentation

2.2 不同模型訓(xùn)練能力分析

輕量化網(wǎng)絡(luò)旨在保持模型精度的基礎(chǔ)上近一步減少模型參數(shù)量和復(fù)雜度，既包含了對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的探索，同時(shí)也推動(dòng)了深度學(xué)習(xí)技術(shù)在移動(dòng)端及嵌入式端應(yīng)用的落地。通過(guò)表3 的對(duì)比結(jié)果可知，MobileNetV2模型體積以及執(zhí)行耗時(shí)上都要比其余4 個(gè)網(wǎng)絡(luò)結(jié)構(gòu)小很多，雖然MobileNetV2 的識(shí)別準(zhǔn)確率低于其他的網(wǎng)絡(luò)，但是其模型本身的識(shí)別準(zhǔn)確率也達(dá)到了較好的水平。考慮到移動(dòng)端設(shè)備的計(jì)算能力，最終選擇MobileNetV2 作為玉米病害識(shí)別模型的基礎(chǔ)架構(gòu)模型。

表3 預(yù)訓(xùn)練模型參數(shù)對(duì)比Table 3 Comparison of pre-trained model parameters

2.3 不同優(yōu)化器對(duì)模型識(shí)別精度的影響

根據(jù)表4 的結(jié)果分析，SGD 優(yōu)化器在模型識(shí)別精度上明顯小于Adam 和Nadam，經(jīng)過(guò)200 次的迭代后在訓(xùn)練集上的平均識(shí)別精度也只能達(dá)到87.69%，從識(shí)別精度和損失上比較，采用Nadam作為模型的優(yōu)化器效果更好一些，原因是Nadam算法將Adam 和Nesterov 加速的自適應(yīng)矩估計(jì)結(jié)合，這樣Nadam 對(duì)學(xué)習(xí)率有了更強(qiáng)的約束，同時(shí)對(duì)梯度的更新也有更為直接的影響。

表4 模型的識(shí)別精度Table 4 Average accuracy and loss of the model

2.4 模型優(yōu)化分析

模型訓(xùn)練及優(yōu)化曲線如圖5 所示，在迭代訓(xùn)練區(qū)間0 至200 內(nèi)，隨著迭代次數(shù)的增加，模型在訓(xùn)練集和驗(yàn)證集上的準(zhǔn)確率和損失率的變化情況逐漸趨于平穩(wěn)并且曲線的波動(dòng)較小，在150至200區(qū)間內(nèi)，模型逐漸趨于收斂狀態(tài)，識(shí)別準(zhǔn)確率最高達(dá)到91.58%，損失率最低為0.23。

圖5 模型的訓(xùn)練曲線Fig. 5 Training curve of the model

為了進(jìn)一步提升模型的識(shí)別準(zhǔn)確率，在迭代次數(shù)為200 的時(shí)候，通過(guò)自定義設(shè)置將模型的學(xué)習(xí)率修改為初始學(xué)習(xí)率0.000 1 的1/10，模型準(zhǔn)確率和損失率的變化趨勢(shì)比較明顯，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率逐漸提升，損失率也逐漸降低。同時(shí)也表明在訓(xùn)練的過(guò)程中學(xué)習(xí)率的變化會(huì)對(duì)模型的性能產(chǎn)生較大的影響。最終模型在訓(xùn)練集上的識(shí)別準(zhǔn)確率最高在98.64%，訓(xùn)練集的損失率最低大約在0.11，驗(yàn)證集識(shí)別準(zhǔn)確率最高為95.61%，驗(yàn)證集的損失率最低為0.19。

2.5 模型評(píng)估效果分析

混淆矩陣可以用來(lái)比較實(shí)際類別與預(yù)測(cè)結(jié)果的關(guān)系，是表達(dá)分類準(zhǔn)確性的有效方式。使用測(cè)試集416張圖像對(duì)獲得的模型進(jìn)行測(cè)試,最終模型對(duì)測(cè)試集的識(shí)別準(zhǔn)確率為96.83%，將模型的分類結(jié)果和實(shí)際測(cè)得值比較，最后利用混淆矩陣將測(cè)試結(jié)果的精度進(jìn)行展示，結(jié)果如表5所示。

表5 測(cè)試集的混淆矩陣Table 5 Confusion matrix of the model

經(jīng)過(guò)測(cè)試，模型的分類性能從高到低分別為健康、銹蝕病、灰葉斑病以及枯萎病。識(shí)別準(zhǔn)確率較低的主要為枯萎病和灰葉斑病，分別為85.6%和87.5%，原因是這2 種病害圖像的相似特征較多，另外在某些情況下，同一植物葉片中會(huì)出現(xiàn)不同病害的癥狀或者同一病害在不同的階段會(huì)出現(xiàn)不同的發(fā)病癥狀，從而影響分類結(jié)果。另外在將圖像輸入到模型之前也會(huì)改變圖像的分辨率，也會(huì)導(dǎo)致模型的識(shí)別存在一定誤差。

2.6 玉米病害識(shí)別程序應(yīng)用

最后應(yīng)用所呈現(xiàn)的主要功能是使用相機(jī)進(jìn)行拍照或者選擇相冊(cè)中的圖像進(jìn)行識(shí)別。如圖6 所示，當(dāng)用戶上傳圖像成功后，模型就會(huì)在后臺(tái)進(jìn)行計(jì)算，最終將計(jì)算后的各類別的玉米病害概率顯示在界面上。經(jīng)過(guò)測(cè)試，該應(yīng)用的識(shí)別準(zhǔn)確率以及處理速度都達(dá)到了較好的水平。

圖6 玉米病害識(shí)別應(yīng)用程序Fig. 6 Application of corn disease diagnostic

3 討論

目前，利用深度學(xué)習(xí)技術(shù)在處理圖像任務(wù)領(lǐng)域已經(jīng)取得了巨大成功，其基本的方法包括分割、濾波和特征提取，當(dāng)數(shù)據(jù)集達(dá)到一定規(guī)模，同時(shí)數(shù)據(jù)集標(biāo)注質(zhì)量較高時(shí)，就能達(dá)到很好的準(zhǔn)確率和魯棒性。但是其在農(nóng)業(yè)病害識(shí)別領(lǐng)域中會(huì)受到數(shù)據(jù)集質(zhì)量、規(guī)模及硬件條件的制約。如模型體積大，采用客戶端-服務(wù)器模式將其部署在服務(wù)器上，存在網(wǎng)絡(luò)因素的限制，本文選擇輕量級(jí)預(yù)訓(xùn)練模型MobileNetV2，并利用模型遷移技術(shù)將模型嵌入到移動(dòng)端設(shè)備中，利用數(shù)據(jù)增強(qiáng)和預(yù)處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理，以提高模型的應(yīng)用場(chǎng)景，并充分利用手機(jī)的計(jì)算資源，不需要服務(wù)器等額外資源的開銷，與人為識(shí)別和傳統(tǒng)的深度網(wǎng)絡(luò)模型對(duì)比，該模式在識(shí)別精度、速度和應(yīng)用場(chǎng)景上均高于傳統(tǒng)識(shí)別方式，最終該模型的識(shí)別精度達(dá)到96.83%。

SGD 優(yōu)化算法由于每步接受的信息有限，對(duì)梯度的估計(jì)準(zhǔn)確性低，造成目標(biāo)函數(shù)的收斂狀態(tài)不穩(wěn)定甚至出現(xiàn)不收斂狀況、隨機(jī)性較大以及不能保證全局最優(yōu)解。另外Adam 算法現(xiàn)存一些問題，Wilson 等[14]通過(guò)實(shí)驗(yàn)總結(jié)出，在同一問題下，不同的優(yōu)化算法可能會(huì)找到不同的答案，但Adam往往會(huì)錯(cuò)過(guò)全局最優(yōu)解；Sashank 等[15]通過(guò)反例驗(yàn)證了Adam 算法在某些情況下可能出現(xiàn)不收斂狀況。因此，本文選擇結(jié)合Adam 和Nesterov 算法，在訓(xùn)練的過(guò)程中，Nadam算法的應(yīng)用效果更有效。

和傳統(tǒng)的深度學(xué)習(xí)模型VGG16、InceptionV3和ResNet50 相比，基于輕量化網(wǎng)絡(luò)的模型遷移不僅在模型識(shí)別準(zhǔn)確率以及模型的實(shí)際應(yīng)用上都取得了很好的效果。本研究一方面提高了模型的識(shí)別準(zhǔn)確率、速度以及充分利用手機(jī)設(shè)備的計(jì)算資源，同時(shí)也為其他農(nóng)作物病害識(shí)別應(yīng)用的研究提供了可行性的參考，但仍需要進(jìn)一步擴(kuò)充數(shù)據(jù)集的數(shù)量、質(zhì)量和種類，進(jìn)一步提升模型的準(zhǔn)確率和增加模型的識(shí)別種類。