基于遷移學(xué)習(xí)ResNet網(wǎng)絡(luò)的櫻桃葉片白粉病的圖像識(shí)別

劉亞恒　張鵬超　徐鵬飛　咼生富

摘要：針對(duì)在復(fù)雜環(huán)境下櫻桃葉片病害識(shí)別準(zhǔn)確率低的問題。本文在ResNet-50網(wǎng)絡(luò)的基礎(chǔ)上提出了一種改進(jìn)方法，以AVE-pooling為下采樣層，Dropout、Dense層減少過(guò)擬合和增強(qiáng)分類效果，并采用Softmax分類器進(jìn)行分類，利用遷移學(xué)習(xí)方法進(jìn)行網(wǎng)絡(luò)微調(diào)，從而提高了白粉病的識(shí)別率。結(jié)果表明，這種改進(jìn)方法的遷移學(xué)習(xí)獲得了99.98%的準(zhǔn)確率，相比未改進(jìn)遷移學(xué)習(xí)的97.42%提高了2.56%。實(shí)驗(yàn)表明，本文提出的網(wǎng)絡(luò)改進(jìn)方法和遷移方式可以提高櫻桃白粉病識(shí)別的準(zhǔn)確率。

關(guān)鍵詞：櫻桃白粉病;遷移學(xué)習(xí);深度學(xué)習(xí);ResNet-50網(wǎng)絡(luò);圖像識(shí)別

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）08-0012-04

1引言

櫻桃白粉病是櫻桃早期的病害，對(duì)櫻桃的產(chǎn)量、質(zhì)量都會(huì)有巨大影響。準(zhǔn)確識(shí)別是防治白粉病的基礎(chǔ)。傳統(tǒng)的識(shí)別方法主要依靠專家或者經(jīng)驗(yàn)豐富的果農(nóng)田間辨識(shí)，不僅費(fèi)時(shí)、費(fèi)力，而且識(shí)別效率低。也有學(xué)者通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)方法改善這一問題[1]，但仍迫切需要一種高效、準(zhǔn)確的識(shí)別方案。

自2012年AlexNet贏得ImageNet挑戰(zhàn)賽以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)得到飛速發(fā)展，很多學(xué)者將其應(yīng)用在農(nóng)業(yè)領(lǐng)域，孫俊等[2]、MOHANTY等[3]采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)多種植物進(jìn)行識(shí)別，準(zhǔn)確率得到很大的提高。BRAHIMI等基于AlexNet網(wǎng)絡(luò)進(jìn)行西紅柿病害識(shí)別[4]。黃雙萍等采用GoogLeNet對(duì)水稻穗瘟病進(jìn)行檢測(cè)，準(zhǔn)確率高達(dá)92%[5]。也有學(xué)者發(fā)現(xiàn)大數(shù)據(jù)集訓(xùn)練時(shí)間長(zhǎng)、小數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)泛化能力低的問題，于是遷移學(xué)習(xí)方法得到了廣大學(xué)者青睞。龍滿生[6]、鄭一力[7]、趙立新[8]、許景輝[9]等學(xué)者利用遷移學(xué)習(xí)的方式在小數(shù)據(jù)集上分別實(shí)現(xiàn)了油茶、玉米、棉花等作物的病害識(shí)別，且獲得較高的準(zhǔn)確率。

CNN在圖像處理方面具有自學(xué)習(xí)能力強(qiáng)的優(yōu)點(diǎn)，通過(guò)對(duì)數(shù)據(jù)的抽象分析，獲取大量的數(shù)據(jù)特征，進(jìn)而快速準(zhǔn)確將數(shù)據(jù)實(shí)現(xiàn)分類。因此，本文利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行櫻桃的白粉病害識(shí)別，特別是在ResNet-50網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)，并利用遷移學(xué)習(xí)在小樣本數(shù)據(jù)上微調(diào)。

2理論基礎(chǔ)

2.1殘差網(wǎng)絡(luò)

ResNet[10]在2015年贏得ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ImageNet Large Scale Visual Recognition Challenge， ILSVRC）冠軍而聞名，它完美解決了深度神經(jīng)網(wǎng)絡(luò)中“梯度消失”的問題，得到廣大學(xué)者的引用。殘差單元可表示為：

公式（4）中，[?loss?xL]為第L個(gè)殘差單元的損失函數(shù)，若不通過(guò)權(quán)重層的傳遞為：[?loss?xL];通過(guò)權(quán)重層的傳遞為：[?loss?xL??xLi=lL-1F（xi，Wi）]，前者公式保證了參數(shù)信號(hào)可以直接傳遞到淺層的[xl]，也保證了梯度不會(huì)出現(xiàn)梯度消失的現(xiàn)象，因?yàn)楹笳吖浇Y(jié)果不可能為-1。

2.2遷移學(xué)習(xí)

遷移學(xué)習(xí)是通過(guò)將一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)初始化另一個(gè)訓(xùn)練任務(wù)的方法[11-13]。具體做法為，將預(yù)訓(xùn)練的卷積層作為圖像特征提取層，全連接層接收特征向量，進(jìn)行識(shí)別分類[14]。于是，將預(yù)訓(xùn)練卷積層與適合的全連接層組合為新的網(wǎng)絡(luò)模型，進(jìn)行處理新任務(wù)[15]。

遷移學(xué)習(xí)需要保持模型中卷積層的結(jié)構(gòu)不變，將訓(xùn)練好的權(quán)重載入卷積層[13]。接下來(lái)，設(shè)計(jì)適合新任務(wù)的全連接層，用新任務(wù)的全連接層取代原來(lái)的全連接層，并與先前的卷積層構(gòu)成新任務(wù)的訓(xùn)練模型[12]。訓(xùn)練模型的方式可分為兩種：第一種是把前[n]層凍結(jié)，使前[n]層的權(quán)重信息不參與到訓(xùn)練中，只使用后面幾層的權(quán)重信息進(jìn)行訓(xùn)練，這種方法的優(yōu)點(diǎn)是需要的樣本數(shù)據(jù)集少，缺點(diǎn)是隨著層凍結(jié)[n]數(shù)值增大、訓(xùn)練的效果卻逐步降低，這種方法是最基本的遷移學(xué)習(xí);第二種是不凍結(jié)前[n]層、全程參與訓(xùn)練但不斷調(diào)整他們的參數(shù)，實(shí)現(xiàn)更好的網(wǎng)絡(luò)性能，這種方法為遷移學(xué)習(xí)+fine-tuning[16]。

3模型構(gòu)建

3.1 搭建ResNet-50網(wǎng)絡(luò)

ResNet-50網(wǎng)絡(luò)與ResNet其他網(wǎng)絡(luò)結(jié)構(gòu)類似，圖像數(shù)據(jù)先進(jìn)入input stem提取特征，接著進(jìn)入重復(fù)16次的殘差塊，深度提取特征，最后經(jīng)由平均池化層、激活函數(shù)Softmax輸出結(jié)果，其結(jié)構(gòu)如圖2所示。

在圖2中，conv_1層的輸入尺寸為：7*7*64，經(jīng)過(guò)最大池化層進(jìn)入conv_2，conv_2是由三個(gè)殘差塊構(gòu)成，其輸入和輸出的尺寸為：1*1*64，1*1*256，conv_3是由四個(gè)殘差塊構(gòu)成，其輸入尺寸為1*1*128，輸出尺寸為：1*1*512，conv_4是由六個(gè)殘差塊構(gòu)成，其輸入尺寸為：1*1*256，輸出尺寸為：1*1*1024，conv_5是由三個(gè)殘差塊構(gòu)成，其輸入尺寸為：1*1*512，輸出尺寸為：1*1*2048。其中，conv_2、conv_3、conv_4、conv_5每個(gè)殘差塊之間都是由激活函數(shù)連接。

3.2改進(jìn)方案

收集的櫻桃白粉病圖片數(shù)據(jù)集小，ResNet-50網(wǎng)絡(luò)模型訓(xùn)練的分類效果非常不理想。因此，使用基于ResNet-50網(wǎng)絡(luò)的遷移學(xué)習(xí)的方法實(shí)現(xiàn)櫻桃病害的小數(shù)據(jù)集分類。本次遷移學(xué)習(xí)保存ResNet-50模型的卷積塊，設(shè)計(jì)全新的連接與分類模塊，改進(jìn)后模型如圖3所示。

如圖3所示，圖像進(jìn)入卷積層提取特征后，進(jìn)入平均池化層池化，減小卷積層的參數(shù)誤差，接著進(jìn)入Dropout層進(jìn)行正則優(yōu)化，減小過(guò)擬合，再進(jìn)入Dense層進(jìn)行稠密化分類，使提取的特征經(jīng)過(guò)非線性變化，最后映射到輸出上，再用Relu函數(shù)激活，然后再次進(jìn)入Dropout層、Dense層;兩次經(jīng)過(guò)Dropout、Dense層，可以進(jìn)一步減少過(guò)擬合，加快收斂，最后用Softmax激活分類。其中ReLU激活函數(shù)具有計(jì)算簡(jiǎn)單、收斂速度快等優(yōu)點(diǎn)[10]，其表達(dá)式為：65E71114-E2A4-42E9-96FB-4A0F5E09D398

用凍結(jié)的Conv_1、2、3層與新設(shè)計(jì)的全連接模塊代替原本的ResNet-50網(wǎng)絡(luò)，再把訓(xùn)練好的卷積層權(quán)重遷移到上述新構(gòu)建模型的卷積層中，最后用收集到的櫻桃圖像對(duì)新模型進(jìn)行訓(xùn)練，訓(xùn)練完成的新模型即可對(duì)櫻桃病害圖像進(jìn)行檢測(cè)與識(shí)別。

4模型構(gòu)建與試驗(yàn)結(jié)果分析

4.1圖像采集

試驗(yàn)所需要的數(shù)據(jù)來(lái)自陜西省漢中市西鄉(xiāng)縣櫻桃溝櫻桃園，為了體驗(yàn)復(fù)雜的背景環(huán)境，采集過(guò)程中，從不同的角度進(jìn)行拍攝;拍攝的時(shí)間段為三個(gè)時(shí)間段，分別是早上、中午、傍晚。利用華為手機(jī)攝像頭，設(shè)置正常的拍照模式，分辨率為640像素×480像素，采集櫻桃白粉病葉片和健康葉片1050幅和850幅。

4.2圖像預(yù)處理

首先將采集的數(shù)據(jù)隨機(jī)處理為8：2的訓(xùn)練集和測(cè)試集，然后將訓(xùn)練集圖片進(jìn)行數(shù)據(jù)擴(kuò)充，分別包括圖片旋轉(zhuǎn)、平移、翻轉(zhuǎn)、顏色增強(qiáng)等處理方式，將原來(lái)的圖像擴(kuò)充到5700幅，作為訓(xùn)練集使用。同時(shí)縮放圖像數(shù)據(jù)到訓(xùn)練所需要的像素：224像素*224像素。

4.3實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)需要的環(huán)境如表1所示。

4.4實(shí)驗(yàn)訓(xùn)練

由于設(shè)備的影響，在實(shí)驗(yàn)中，設(shè)置每批次參與訓(xùn)練和測(cè)試的圖像數(shù)量都為16，即batchsize為16，為了增強(qiáng)訓(xùn)練效果，將動(dòng)量參數(shù)設(shè)為0.9，學(xué)習(xí)率設(shè)為0.0001，分別訓(xùn)練未改進(jìn)網(wǎng)絡(luò)的遷移學(xué)習(xí)、改進(jìn)的全新學(xué)習(xí)、改進(jìn)遷移學(xué)習(xí)三種情況，其具體的情況如表2，其結(jié)果如圖4所示，其訓(xùn)練和驗(yàn)證最高準(zhǔn)確率如表3所示。

4.5結(jié)果分析

4.5.1三種方式結(jié)果對(duì)比

圖5是三種情況下訓(xùn)練的準(zhǔn)確率，由圖5可知，改進(jìn)遷移學(xué)習(xí)可以提高白粉病的訓(xùn)練準(zhǔn)確度，最高達(dá)到100%。美中不足的是，圖4所示的改進(jìn)全新學(xué)習(xí)的擬合波動(dòng)比較大，擬合效果較差。

圖6所示驗(yàn)證集準(zhǔn)確率與訓(xùn)練準(zhǔn)確結(jié)構(gòu)相同，改進(jìn)遷移學(xué)習(xí)、改進(jìn)全新學(xué)習(xí)、未改進(jìn)遷移學(xué)習(xí)三種不同情況驗(yàn)證集的準(zhǔn)確率最高為99.98%、98.94%、97.42%。改進(jìn)遷移學(xué)習(xí)相比未改進(jìn)遷移學(xué)習(xí)的驗(yàn)證準(zhǔn)確率提高2.56%，改進(jìn)全新學(xué)習(xí)相比未改進(jìn)遷移學(xué)習(xí)提高1.52%，改進(jìn)遷移學(xué)習(xí)相比改進(jìn)全新學(xué)習(xí)提高較少，僅有1.04%。由此可也得出改進(jìn)遷移學(xué)習(xí)提高了白粉病的識(shí)別率。

4.5.2模型檢驗(yàn)

為了方便觀察，用Python將測(cè)驗(yàn)?zāi)_本程序可視化，通過(guò)OpenCV庫(kù)將測(cè)驗(yàn)圖像的種類以及準(zhǔn)確率都展示在圖片上，便于對(duì)比以及分析研究。現(xiàn)選擇改進(jìn)遷移學(xué)習(xí)的訓(xùn)練方式，選擇兩幅櫻桃葉片進(jìn)行測(cè)驗(yàn)，其預(yù)測(cè)結(jié)果如圖7所示，上半部分為櫻桃健康和白粉病的葉片，下半部分為櫻桃葉片測(cè)驗(yàn)的分類和準(zhǔn)確率，結(jié)果表明櫻桃白粉病的概率為99.997%，接近100%，健康葉片的概率為99.50%。通過(guò)實(shí)驗(yàn)表明，本文提出的改進(jìn)遷移學(xué)習(xí)的訓(xùn)練機(jī)制對(duì)白粉病識(shí)別的準(zhǔn)確率得到提高，可以推廣到在線診斷，目標(biāo)識(shí)別等其他領(lǐng)域。

5結(jié)論

針對(duì)櫻桃白粉病的識(shí)別準(zhǔn)確率低的問題，本文提出的改進(jìn)ResNet的方法，提高了白粉病的識(shí)別率，并基于遷移學(xué)習(xí)微調(diào)的方法對(duì)白粉病的識(shí)別，準(zhǔn)確率高達(dá)99.98%，接近100%。本文的創(chuàng)新點(diǎn)在于全連接部分雙層密集化處理，提高分類的精度，雙層Dropout減少訓(xùn)練過(guò)程發(fā)生的過(guò)擬合現(xiàn)象，提高識(shí)別的精度。相比于未改進(jìn)的ResNet網(wǎng)絡(luò)，在小數(shù)據(jù)上減少發(fā)生過(guò)擬合現(xiàn)象，識(shí)別的準(zhǔn)確率更高、效果更好。

參考文獻(xiàn)：

[1] Gassoumi H，Prasad N R，Ellington J J. Neural Network based om approach for insect classification in cotton ecosystems[C].Proc of International Conference on Intelligent Technologies，2007：1.

[2] 孫俊，譚文軍，毛罕平，等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（19）：209-215.

[3] Mohanty S P，Hughes D P，Salathé M.Using deep learning for image-based plant disease detection[J].Frontiers in Plant Science，2016，7：1419.

[4] Brahimi M，Boukhalfa K，Moussaoui A.Deep learning for tomato diseases：classification and symptoms visualization[J].Applied Artificial Intelligence，2017，31（4）：299-315.

[5] 黃雙萍，孫超，齊龍，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻穗瘟病檢測(cè)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（20）：169-176.

[6] 龍滿生，歐陽(yáng)春娟，劉歡，等.基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（18）：194-201.

[7] 鄭一力，張露.基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)植物葉片圖像識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（S1）：354-359.

[8] 趙立新，侯發(fā)東，呂正超，等.基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（7）：184-191.

[9] 許景輝，邵明燁，王一琛，等.基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（2）：230-236，253.

[10] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[11] 石祥濱，房雪鍵，張德園，等.基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J].系統(tǒng)仿真學(xué)報(bào)，2016，28（1）：167-173，182.

[12] 莊福振，羅平，何清，等.遷移學(xué)習(xí)研究進(jìn)展[J].軟件學(xué)報(bào)，2015，26（1）：26-39.

[13] 黃家才，舒奇，朱曉春，等.基于遷移學(xué)習(xí)的機(jī)器人視覺識(shí)別與分揀策略[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（8）：232-237.

[14] 劉嘉政.基于深度遷移學(xué)習(xí)模型的花卉種類識(shí)別[J].江蘇農(nóng)業(yè)科學(xué)，2019，47（20）：231-236.

[15] 鄭澤宇，顧思宇.TensorFlow：實(shí)戰(zhàn)Google深度學(xué)習(xí)框架[M].北京：電子工業(yè)出版社，2017.

[16] 鄭遠(yuǎn)攀，李廣陽(yáng)，李曄.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（12）：20-36.

【通聯(lián)編輯：唐一東】65E71114-E2A4-42E9-96FB-4A0F5E09D398