基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻病害圖像識別研究

譚云蘭，歐陽春娟，李龍，廖婷，湯鵬杰

?

基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻病害圖像識別研究

譚云蘭1,2，歐陽春娟1,2，李龍1，廖婷1，*湯鵬杰3

(1. 井岡山大學(xué)電子與信息工程學(xué)院，江西，吉安 343009；2. 井岡山大學(xué)流域生態(tài)與地理環(huán)境監(jiān)測國家測繪地理信息局重點實驗室，江西，吉安 343009；3. 井岡山大學(xué)數(shù)理學(xué)院，江西，吉安 343009)

水稻病害類型多，采集過來的圖像病斑交界特征復(fù)雜多變。即便同類別水稻病害在不同的生長時期，發(fā)生在葉片、莖稈、穗部等部位呈現(xiàn)的病斑特征也不一樣，而且不同類型病害也存在相似病斑，這些都給水稻病害圖像的精準(zhǔn)識別帶來了相當(dāng)大的困難。采用深度卷積神經(jīng)網(wǎng)絡(luò)模型，使用數(shù)據(jù)集擴(kuò)增技術(shù)，運用fine-tune方法對網(wǎng)絡(luò)進(jìn)行調(diào)參及構(gòu)建，將自然場景下采集的常見8類水稻病害圖像輸入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練和測試，在有限的圖像數(shù)量下取得較高的識別精度，其中紋枯病的準(zhǔn)確率為93%。不同于其他方法僅聚焦在水稻葉部或稻穗部，本文識別的圖像是多株水稻的場景，可為水稻病害遠(yuǎn)程自動診斷提供關(guān)鍵技術(shù)支持。

圖像識別；卷積神經(jīng)網(wǎng)絡(luò)；水稻病害；GoogLeNet

0 引言

對于自然場景下采集過來的水稻病害圖像，更多是多株水稻的場景，場景中包括了水稻葉部、莖稈、穗部等部位，水稻病害類型多，病斑交界特征復(fù)雜多變，即便是水稻專家進(jìn)行人工識別也容易誤判，原因是同類別水稻病害在不同的生長時期，發(fā)生在葉片、莖稈、穗部等部位呈現(xiàn)的病斑特征也不一樣，而且不同類型病害也存在相似病斑，這些都給水稻病害圖像的精準(zhǔn)識別帶來了巨大的困難。水稻病害圖像中不同病害類型的病斑特征相似度高，區(qū)分難度大，傳統(tǒng)方法識別圖像存在特征變換層次不夠、抽象及表達(dá)能力不強(qiáng)、識別精度低等問題。本文采用深度卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型，使用數(shù)據(jù)集擴(kuò)增(Data augmentation)技術(shù)，運用fine-tune方法對網(wǎng)絡(luò)進(jìn)行調(diào)參及構(gòu)建，將自然場景下的8類水稻病害圖像輸入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，取得較好的識別精度。

1 水稻病害圖像庫構(gòu)建

1.1 常見8類水稻病害特征

從幼苗到抽穗時期，水稻病害發(fā)病部位發(fā)生在葉片、莖稈、穗部，在不同的生長時期，發(fā)病部位不同，呈現(xiàn)的病斑特征也不一樣，因此水稻病害類型較多。本論文根據(jù)水稻病害防治圖譜[5]，選出稻瘟病、紋枯病、胡麻葉斑病、小球菌核病、惡苗病、霜霉病、稻曲病和葉鞘腐敗病等8類常見的水稻病害的特征描述作為研究對象，構(gòu)建水稻病害特征庫，其特征如表1所示，這些特征描述可為深度學(xué)習(xí)網(wǎng)絡(luò)模型對水稻病害圖像識別的準(zhǔn)確度提供主觀判別的視覺依據(jù)。

表1 水稻病害特征描述

1.2 水稻病斑圖像數(shù)據(jù)庫構(gòu)建

深度學(xué)習(xí)網(wǎng)絡(luò)模型模仿人腦從低級到高級抽象圖像特征的前提是基于大規(guī)模圖像集，由于沒有現(xiàn)成的水稻病害圖像庫可用使用，因此需要自建病斑圖像庫用于DCNN（Deep Convolutional Neural Network）模型識別圖像。本論文根據(jù)水稻病害圖譜分類，編寫爬蟲軟件在百度、Google、360等權(quán)威圖庫中按照常見的水稻病害類別下載稻瘟病、紋枯病、胡麻葉斑病、小球菌核病、惡苗病、霜霉病、稻曲病、葉鞘腐敗病等8種常見的水稻病害病斑圖像。經(jīng)過數(shù)據(jù)清洗，得到有效圖像共計1262張，構(gòu)建了水稻病斑圖像數(shù)據(jù)庫，各類病斑圖像數(shù)量分布如表2所示。

表2 各類水稻病害圖像分布

2 水稻病害圖像識別模型構(gòu)建與分析

2.1 水稻病害圖像識別模型結(jié)構(gòu)

圖1 水稻病害識別深度學(xué)習(xí)識別流程

圖1的網(wǎng)絡(luò)模型是由24層卷積層，多個Inception結(jié)構(gòu)串聯(lián)和2個輔助損失層構(gòu)成圖像美學(xué)質(zhì)量評估分類器[6]。為了便于統(tǒng)一網(wǎng)絡(luò)模型的輸入，首先從水稻病害圖像庫中取出樣本圖像，運用線性插值方法將圖像縮小到256×256大小。受Lu Xin[7]所提出的多圖像塊可以提高圖像識別精度思想的啟發(fā)，使用了多裁剪圖像塊，按照224×224大小截取圖像中左上角、右上角、左下角、右下角和中間部分圖像塊，然后將截取后的圖像塊進(jìn)行水平翻轉(zhuǎn)，總共有10張子圖像塊輸入到卷積網(wǎng)絡(luò)模型的第一卷積層，達(dá)到數(shù)據(jù)集擴(kuò)增效果。第一卷積層使用的卷積核大小為7×7，步長為2，一共設(shè)置了64個卷積核，生成64幅特征圖；第一卷積層之后連接的是最大池化層(max-pooling)，在卷積層輸出基礎(chǔ)上用64個大小為3×3的濾波核來降低學(xué)習(xí)特征的維數(shù)，并使池化后的特征表達(dá)具有一定的平移不變性，在平均意義上，與mean-pooling近似，在局部意義上，則服從max-pooling的準(zhǔn)則。pooling的結(jié)果是使得特征減少，參數(shù)減少，pooling目的是為了保持某種不變性（旋轉(zhuǎn)、平移、伸縮等）；在進(jìn)行ReLU非線性激活之后，接下來是歸一化層Local Response Normalization(LRN)，歸一化處理是為了提高模型的泛化能力；之后的第二、第三卷積層直接相連，之間沒有池化層和歸一化層。其中第二卷積層使用了64個卷積核，大小為1×1，步長為1。第三卷積層使用了192個卷積核，大小為3×3，步長為1；接下來在歸一化層和池化層之后，設(shè)計了9個Inception模塊，這些模塊能夠增加網(wǎng)絡(luò)的寬度，也能降低feature map的厚度；網(wǎng)絡(luò)的層數(shù)更深，更易出現(xiàn)梯度消失問題。為了有效解決梯度消失問題，模型在不同深度處增加了兩個輔助性的classifiers來保證梯度回傳消失；在Inception模塊操作之后，經(jīng)過平均池化，降低特征維度。最后是一個1024個神經(jīng)元的全連接層和一個8輸出的softmax函數(shù)。softmax函數(shù)產(chǎn)生8個水稻病害類別的概率值（0~1），本文使用Top-1錯誤率，即將網(wǎng)絡(luò)輸出8個概率值中最高值映射為1，表示網(wǎng)絡(luò)將測試圖像識別為該類，其余7個概率值映射為0，表示該測試圖像不屬于這些類別。最終測試值和真值(Ground-truth)進(jìn)行比較，可判別網(wǎng)絡(luò)圖像識別是否準(zhǔn)確。

2.2 網(wǎng)絡(luò)模型反饋傳播學(xué)習(xí)機(jī)制

DCNN的梯度反向傳播過程中，第層的梯度定義如式(1)所示：

其中ω第層的濾波權(quán)值參數(shù)，b是層的偏置，y是第層輸出特征圖像，(·)是激活函數(shù)，′是的梯度。權(quán)值ω和偏置b的更新如式(2)、式(3)所示：

筆者相信新的臨床藥學(xué)實踐教學(xué)模式將有助于教師制定符合實踐需要的臨床藥學(xué)實踐課程的教學(xué)目標(biāo)；有助于學(xué)生自主學(xué)習(xí)，有助于培養(yǎng)學(xué)生獨立思考和開拓創(chuàng)新的能力。

在學(xué)習(xí)率策略中，本文選擇多項式曲線下降方法，公式如式(4)所示：

2.3 防止過擬合技術(shù)

3 實驗設(shè)計方案與結(jié)果分析

3.1 水稻病害圖像識別實驗設(shè)置

在深度學(xué)習(xí)模型的選擇上，對于LeNet[9]，AlexNet[10]等卷積層次較淺層的深度學(xué)習(xí)網(wǎng)絡(luò)模型，我們在前期選擇過這些模型做過實驗，但識別精度只有40%多，識別效果不好，因此來進(jìn)一步實驗。對于VGGNet超深度網(wǎng)絡(luò)模型，擁有19層卷積層的VGG19模型[11]的神經(jīng)元個數(shù)為14860K，參數(shù)規(guī)模為144M，而GoogLeNet模型的神經(jīng)元個數(shù)為5500K(是VGG19的37%)，參數(shù)規(guī)模為6.8M(是VGG19的4.7%)，可以看出，深度GoogLeNet模型的連接數(shù)遠(yuǎn)少于VGG19，因此我們選擇GoogLeNet模型作為水稻病害圖像的識別器。為了減少構(gòu)建DCNN網(wǎng)絡(luò)模型的時間，我們使用預(yù)訓(xùn)練模型GoogLeNet_place205_train_iter_ 2400000.caffemodel，也就是這個預(yù)訓(xùn)練GoogLeNet網(wǎng)絡(luò)模型在其它任務(wù)數(shù)據(jù)集完成訓(xùn)練和測試，網(wǎng)絡(luò)模型之間的連接權(quán)重是已經(jīng)得到較好的初始化。在訓(xùn)練過程中，為了得到較好的分類精度，采用fine-tune方法微調(diào)和優(yōu)化深度學(xué)習(xí)的參數(shù)，使用隨機(jī)梯度下降的方式更新網(wǎng)絡(luò)參數(shù)，Batch_Size設(shè)置為16，學(xué)習(xí)率初始設(shè)置為0.01，學(xué)習(xí)動量為0.9。為了降低過擬合overfitting，權(quán)重衰減weight decay值為0.0005，在全連接層dropout設(shè)置為0.5或0.6。實驗環(huán)境為2塊型號為GTXTitan-X的GPU，操作系統(tǒng)為Ubuntu 14.04，以及Caffe平臺，工具軟件為Matlab 2013a，GPU并行計算帶OpenCV3.0的C++。

3.2 實驗測試結(jié)果分析

3.2.1 水稻病斑圖像深度特征提取

為了觀察深度網(wǎng)絡(luò)對水稻病斑特征的提取，我們提取了DCNN網(wǎng)絡(luò)8類圖像的卷積層第一層的特征圖，如表3所示。從表3中可以看出，對于稻曲病、惡苗病、胡麻葉斑病、紋枯病等水稻病害圖像，由于這些病害病斑交界特征明顯，因此抽取的顯著特征提取還是比較準(zhǔn)確。表1中各類水稻病害特征描述為深度學(xué)習(xí)網(wǎng)絡(luò)模型特征提取提供了主觀判別的視覺依據(jù)。相比之下，對稻瘟病、霜霉病、葉鞘腐病、小球菌核病等病斑特征的提取，還不夠精確，原因是這些水稻病害的病斑邊界分布不明顯。

表3 水稻病害圖像原圖及第一層卷積層提取的特征圖

Table 3 The original image of rice disease and the feature map extracted from the first convolution layer

3.2.2 不同的實驗方案測試

1）實驗方案一的測試及結(jié)果

為了測試GoogLeNet深度學(xué)習(xí)網(wǎng)絡(luò)模型對水稻病害圖像的識別精度，先隨機(jī)從8個不同水稻病害圖像類別中選出887張圖像進(jìn)行實驗，其中720張用于訓(xùn)練，167張用于測試，GoogLeNet模型最終迭代6000次收斂。為了驗證所選用的深度卷積神經(jīng)網(wǎng)絡(luò)模型能取得更好的水稻病害圖像識別性能，選擇了ResNet-152深度模型[12]，用與GoogLeNet模型相同的圖像數(shù)進(jìn)行訓(xùn)練和測試，模型迭代5900次收斂。實驗結(jié)果如表4所示。

表4 訓(xùn)練數(shù)=720，測試數(shù)=167時的識別精度

2）實驗方案二的測試及結(jié)果

為了測試在模型中增加圖像后對識別精度的影響，本次實驗選擇水稻病害圖像庫所有1262張圖像用于實驗，其中1039張圖像用于訓(xùn)練網(wǎng)絡(luò)，223張圖像用于測試。最終迭代次數(shù)：GoogLeNet網(wǎng)絡(luò)模型迭代11000次，ResNet網(wǎng)絡(luò)模型迭代10000次。實驗結(jié)果如表5所示。

3.2.3 結(jié)果分析

從表4和表5中可以看出，圖像的數(shù)量會影響深度學(xué)習(xí)網(wǎng)絡(luò)模型的識別精度，當(dāng)用887張水稻病害圖像用于網(wǎng)絡(luò)訓(xùn)練和測試時，GoogLeNet網(wǎng)絡(luò)模型的平均精度為65 %，ResNet為58 %；當(dāng)水稻病害圖像增加到1262張用于網(wǎng)絡(luò)訓(xùn)練和測試時，GoogLeNet深度網(wǎng)絡(luò)模型的平均準(zhǔn)確率達(dá)到74 %，ResNet為71 %。

從表5可以看出，GoogLeNet深度網(wǎng)絡(luò)模型在8類水稻病害圖像中，識別精度最高的是紋枯病圖像類，精度為93 %。由于紋枯病的病斑邊緣灰褐色、中央灰白色，整體為橢圓形、水漬狀，這種病斑特征成像時不容易被遮擋，植株整體成像后病斑明顯，因此識別率很高。精度比較高還有85 %的稻曲病，由于該病只發(fā)生在穗部，病斑特征為受害谷粒呈近球形淡黃色后者黑色塊狀物，特征也非常明顯。此外還有83 %的惡苗病和胡麻葉斑病兩種類別，惡苗病的病斑特征是節(jié)間明顯伸長，節(jié)部常有彎曲露于葉鞘外，下部莖節(jié)逆生多數(shù)不定須根，胡麻葉斑病類型的葉面上病斑呈橢圓形麻點型，而這些特征也容易被深度學(xué)習(xí)網(wǎng)絡(luò)抽取和識別。表5中識別精度最低的是霜霉病，識別精度只為54 %。由于該病的病株初期的葉片生出黃白小斑點，后期病株心葉淡黃卷曲，下部老葉漸枯死，根系發(fā)育不良，植株矮縮，因此從圖像的角度來看植株的這些病斑特征不明顯，深度學(xué)習(xí)網(wǎng)絡(luò)也難以抽取出有效的特征來區(qū)分出這類水稻病害。表5中識別精度為60%的葉鞘腐敗病，之所以精度不高是因為這類病害圖像特征是在葉鞘或葉上的靜脈上，病斑點很細(xì)小，容易被正常植株遮擋。

另外一種深度網(wǎng)絡(luò)模型ResNet-152識別精度與GoogLeNet深度網(wǎng)絡(luò)在不同水稻病害類別識別上一致，但均整體要偏低一些。對于稻曲病、惡苗病、胡麻葉斑病、紋枯病等四類水稻病害圖像識別上均高于80%，而稻瘟病、霜霉病、葉鞘腐敗病等三類病害圖像識別上均低于60 %。在實驗初期我們也挑選了深度較淺的網(wǎng)絡(luò)模型Alex-Net，相比之下，GoogLeNet深度網(wǎng)絡(luò)更適合做水稻病害多類別圖像的識別。

由于我們在實驗中使用的是Top-1錯誤率，這種錯誤率比起Top-5來說，更能衡量深度學(xué)習(xí)網(wǎng)絡(luò)模型的圖像識別精度。本實驗中，Top-1錯誤率是指8個水稻病害圖像識別的概率值輸出中，即將網(wǎng)絡(luò)輸出的8個概率值中最高值映射為1，表示深度學(xué)習(xí)網(wǎng)絡(luò)將輸入圖像識別為該類，其余7個概率值映射為0，表示該輸入圖像不屬于這些類別。而Top-5錯誤率是指如果概率前五中包含正確答案，即認(rèn)為正確，因此我們認(rèn)為Top-1錯誤率更嚴(yán)格。對于GoogLeNet深度網(wǎng)絡(luò)模型，在病斑圖像1200多張的情況下，也能自動區(qū)分出8類水稻病害圖像。該類網(wǎng)絡(luò)模型對于水稻病害邊緣模糊的圖像自動提取的特征更加抽象、語義及結(jié)構(gòu)信息更加豐富，對圖像具有更強(qiáng)的表達(dá)能力及識別性。

4 結(jié)論

對于超深度學(xué)習(xí)模型，本文使用的深度網(wǎng)絡(luò)模型，由于已經(jīng)在百萬級大型圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試，因而網(wǎng)絡(luò)模型的參數(shù)和層次比較穩(wěn)定，可以減少模型重新訓(xùn)練時間。將模型學(xué)習(xí)得到的圖像分類的共性知識遷移到水稻病害圖像識別中，采用不同數(shù)量的水稻病害圖像進(jìn)行組合實驗，在有限的圖像數(shù)據(jù)集下經(jīng)過數(shù)據(jù)集擴(kuò)增(Data augmentation)技術(shù)，運用fine-tune方法得到較高的水稻病害多類別的識別精度，避免了人工特征抽取的時間消耗，從而大大提高了在線計算效率，可為水稻病害遠(yuǎn)程自動診斷提供關(guān)鍵技術(shù)支持。由于水稻病害的大面積患病的自然場景不易采集，也沒有大規(guī)模現(xiàn)成的水稻病害圖像數(shù)據(jù)庫，本論文通過爬蟲程序到百度、Google、360等權(quán)威圖庫爬取得到有效的圖像只有1262張，對于超深度網(wǎng)絡(luò)模型來說，這些數(shù)量還是不夠，因而也影響了多類別的圖像識別精度。今后將加強(qiáng)水稻病害圖像的收集，改進(jìn)深度學(xué)習(xí)模型的結(jié)構(gòu)，提升水稻病害圖像的識別精度。

[1] 劉濤,仲曉春,孫成明,等. 基于計算機(jī)視覺的水稻葉部病害識別研究[J]. 中國農(nóng)業(yè)科學(xué),2014,47(4):664-674.

[2] 楊昕薇,譚峰. 基于貝葉斯分類器的水稻病害識別處理的研究[J]. 黑龍江八一農(nóng)墾大學(xué)學(xué)報,2012,24(3): 64-67.

[3] 劉成. 基于機(jī)器學(xué)習(xí)的水稻病害識別算法的研究[D]. 合肥:安徽大學(xué),2018.

[4] 黃雙萍,孫超,齊龍,等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻穗瘟病檢測方法[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(20): 169-176.

[5] 孫恢鴻. 水稻病害防治圖譜[M]. 南寧:廣西科學(xué)技術(shù)出版社, 2004.

[6] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400 [cs.NE],2013.

[7] Lu X, Lin Z, Shen X, et al. Deep Multi-Patch Aggregation Network for Image Style, Aesthetics, and Quality Estimation[C]. Proceedings of the IEEE International Conference on Computer Vision. 2015: 990-998.

[8] 楊強(qiáng)鵬. 深度學(xué)習(xí)算法研究[D]. 南京:南京大學(xué),2015.

[9] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[10] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems. 2012: 1097-1105.

[11] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]. International Conference on Learning Representations (ICLR’15), 2015.

[12] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2016.

Image Recognition of Rice Diseases Based on Deep Convolutional Neural Network

TAN Yun-lan1,2, OUYANG Chun-juan1,2, LI Long1, LIAO Ting1, *TANG Peng-jie3

(1.School of Electronic Information and Engineering, Jinggangshan University, Ji’an, Jiangxi 343009, China; 2. Key laboratory of watershed ecology and geographical environment monitoring, National Administration of Surveying, Mapping and Geoinformation, Ji’an, Jiangxi 343009, China; 3. School of Mathematical and Physical Science, Jinggangshan University, Ji’an, Jiangxi 343009, China）

There are many types of rice diseases, and the corresponding disease spot features of the collected images are complex and illegible. The reason is that the characteristics of the lesions occurring in leaves, stems, panicles and other parts are different at different growth stages of the same kind of rice diseases, while there are similar lesions in different types of diseases, which bring great difficulties to the accurate recognition of rice disease images. The purpose of this paper is to recognize the typical rice disease. Based on the deep learning technique, the recognition method for eight rice diseases is put forward. Firstly, the rice disease database of 1260 images is established. Secondly, based on the Caffe deep learning platform, the deep convolution neural network model is constructed through fine-tuning. Finally, eight kinds of common rice diseases images by data augmentation, which are collected in natural scenes, are input into the network model for training and testing. The experimental results show that the proposed method can effectively identify main rice diseases. The recognition accuracy of rice sheath blight is 93% under limited images. Unlike other methods which focus only on rice leaves or panicles, the proposed method in this paper can recognized the multi-plant rice scene image. The proposed method can offer a technical support for remote automatic diagnosis of rice diseases.

image recognition; convolutional neural network; rice pests images; GoogLeNet

TP391

A

10.3969/j.issn.1674-8085.2019.02.007

1674-8085(2019)02-0031-08

2018-09-10；

2018-12-03

國家自然科學(xué)基金項目（61462046），流域生態(tài)與地理環(huán)境監(jiān)測國家測繪地理信息局重點實驗室招標(biāo)項目(WE2016015)，江西省教育廳科學(xué)技術(shù)研究項目(GJJ160750，GJJ170632，GJJ170643)，江西省高校人文社會科學(xué)重點研究基地招標(biāo)項目(JD17082)，井岡山大學(xué)博士科研啟動項目(JZB1807)

譚云蘭(1972-），女，江西新干人，副教授，博士，CCF會員，主要從事虛擬現(xiàn)實,圖像處理等方面的研究(E-mail:tanyunlan@163.com);

歐陽春娟(1974-)，女，江西吉安人，副教授，博士，主要從事信息隱藏，智能優(yōu)化及圖像處理等方面的研究(E-mail:oycj001@163.com);

李 龍(1998-)，男，江西贛州人，井岡山大學(xué)電子與信息工程學(xué)院2016級計算機(jī)專業(yè)本科生(E-mail:imcoding@foxmail.com);

廖 婷(1998-)，女，江西贛州人，井岡山大學(xué)電子與信息工程學(xué)院2016級網(wǎng)絡(luò)工程專業(yè)本科生(E-mail:2632922126@qq.com);

*湯鵬杰(1983-)，男，河南鄲城人，講師，在讀博士生，主要從事計算機(jī)視覺、深度學(xué)習(xí)等方面的研究(E-mail:5tangpengjie@#edu.cn).