基于深度卷積神經(jīng)網(wǎng)絡(luò)的小麥赤霉病高光譜病癥點(diǎn)分類方法

金 秀，盧 杰，傅運(yùn)之，王 帥，許高健，李紹穩(wěn)，*

(安徽農(nóng)業(yè)大學(xué) a. 信息與計(jì)算機(jī)學(xué)院；b. 農(nóng)學(xué)院，安徽 合肥 230036)

小麥赤霉病是小麥的主要病害之一，主要分布于潮濕和半潮濕區(qū)域，氣候濕潤(rùn)多雨的溫帶地區(qū)受害尤為嚴(yán)重，是我國(guó)淮河以南及長(zhǎng)江中下游麥區(qū)發(fā)生最嚴(yán)重的病害之一[1]。當(dāng)小麥被真菌感染后，會(huì)產(chǎn)生多種真菌毒素，其中最嚴(yán)重的是脫氧雪腐鐮刀菌烯醇(DON)，會(huì)對(duì)人畜造成嚴(yán)重傷害，而且會(huì)在食物鏈中長(zhǎng)期存留[2-4]。早期、快速地診斷小麥赤霉病，明確其發(fā)生區(qū)域，及時(shí)采取隔離病害區(qū)域等方式，可大幅度減少農(nóng)民損失，并保證小麥?zhǔn)斋@后的食用安全。當(dāng)前，小麥赤霉病病害的無(wú)損檢測(cè)方法主要有圖像、光譜等方法，其中，高光譜圖像包含光譜、空間、紋理和上下文等多種信息特征，相關(guān)研究較為廣泛。在室內(nèi)環(huán)境下：2011年，Bauriegel等[5]使用主成分分析(PCA)和光譜角度制圖法(SAM)對(duì)高光譜進(jìn)行建模處理，對(duì)赤霉病的診斷準(zhǔn)確率可達(dá)87%；Dammer等[6]使用多光譜(665～675 nm和550～560 nm)在小麥灌漿中期利用線性模型來(lái)診斷赤霉病病癥；2016年，梁琨等[7]利用高光譜成像技術(shù)對(duì)小麥籽粒赤霉病進(jìn)行識(shí)別，效果較好；2016年，Wang等[8]使用高光譜數(shù)據(jù)對(duì)小麥的條銹病葉片進(jìn)行檢測(cè)，決定系數(shù)達(dá)0.90，說(shuō)明可以使用高光譜數(shù)據(jù)檢測(cè)小麥條銹病。在室內(nèi)環(huán)境中，由于光源相對(duì)穩(wěn)定、樣本變化較小，高光譜成像作為重要的無(wú)損檢測(cè)技術(shù)得到了較多研究，但在野外環(huán)境下，由于光源不穩(wěn)定、目標(biāo)多樣，影響高光譜成像數(shù)據(jù)的因素很多，因此野外環(huán)境下作物病害診斷的相關(guān)研究較少，尤其對(duì)于小麥赤霉病。

目前，高光譜建模典型分類算法主要有偏最小二乘、支持向量機(jī)等(SVM)，但因?yàn)楦吖庾V數(shù)據(jù)量較大、特征光譜提取較難，且在不同的區(qū)域中數(shù)據(jù)具有一定的誤差，因此僅用典型分類算法并不能完全適用于復(fù)雜性較高的數(shù)據(jù)集[9-10]。深度神經(jīng)網(wǎng)絡(luò)中深度的網(wǎng)絡(luò)可以自動(dòng)提取出有效的光譜特征，從而實(shí)現(xiàn)端到端的模型構(gòu)建。在作物病害檢測(cè)領(lǐng)域，已有不少研究利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行病害圖片的識(shí)別：2016年，Mohanty等[11]對(duì)14種作物的26類病害圖片進(jìn)行訓(xùn)練，識(shí)別準(zhǔn)確率可達(dá)99.35%；2018年，Picon等[12]在移動(dòng)設(shè)備上基于3 a收集的8 178張圖片對(duì)小麥的3種病害進(jìn)行分類識(shí)別，準(zhǔn)確率可達(dá)87%。對(duì)普通圖像而言，病害診斷必須在病癥較為明顯的情況下進(jìn)行，并且需要長(zhǎng)時(shí)間的大量采集和標(biāo)定才能建立有效的診斷模型。高光譜與普通圖像相比，每個(gè)像素點(diǎn)包含的信息量更加豐富，且人工標(biāo)注相對(duì)簡(jiǎn)單，在數(shù)據(jù)信息中，高光譜不單能夠分析病癥的紋理、形態(tài)，對(duì)于內(nèi)在的化學(xué)成分變化，如葉綠素、水分和氮素等都可以進(jìn)行診斷。因此，利用深度神經(jīng)網(wǎng)絡(luò)開(kāi)展基于高光譜圖像的作物病害識(shí)別已經(jīng)成為重要的研究方向。

2015年，深度卷積神經(jīng)網(wǎng)絡(luò)首次被應(yīng)用到高光譜圖像像素點(diǎn)的特征上來(lái)進(jìn)行分類，從訓(xùn)練結(jié)果可知，深度網(wǎng)絡(luò)學(xué)習(xí)到的特征優(yōu)于其他預(yù)處理特征提取方法，這是因?yàn)樯疃染W(wǎng)絡(luò)可通過(guò)合并簡(jiǎn)單知識(shí)的方式組合出復(fù)雜的深度概念[13]。同年，Hu等[14]提出了利用卷積層和池化層來(lái)識(shí)別光譜信號(hào)的方法，該卷積神經(jīng)網(wǎng)絡(luò)可以直接在光譜領(lǐng)域應(yīng)用；Makantasis等[15]提出一種深度學(xué)習(xí)的基礎(chǔ)分類方法，通過(guò)層次化來(lái)自動(dòng)構(gòu)建深層次的特征；Han等[16]建立模型，利用卷積自編碼的神經(jīng)網(wǎng)絡(luò)來(lái)處理像素點(diǎn)的光譜和空間信息。近年來(lái)，高光譜成像的深度學(xué)習(xí)建模方法開(kāi)始得到重視，但絕大部分方法都基于公共數(shù)據(jù)集建立，針對(duì)野外采集的原始數(shù)據(jù)進(jìn)行高光譜成像深度學(xué)習(xí)的研究較少。本文結(jié)合農(nóng)業(yè)生產(chǎn)中小麥赤霉病的病癥診斷，抽取深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的基本單元，構(gòu)建并訓(xùn)練不同深度的卷積神經(jīng)網(wǎng)絡(luò)，比較不同深度模型評(píng)測(cè)結(jié)果，分析不同卷積層提取病癥高光譜特征的區(qū)別，重點(diǎn)研究小麥赤霉病病癥高光譜成像分類的深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，旨在為大尺度范圍的作物病癥智能成像診斷提供理論基礎(chǔ)與參考。

1 材料與方法

1.1 數(shù)據(jù)采集

試驗(yàn)區(qū)域位于安徽農(nóng)業(yè)大學(xué)的郭河小麥赤霉病抗病育種基地。高光譜圖像的采集時(shí)間是2017-04-29—2017-05-15，時(shí)值小麥揚(yáng)花期剛結(jié)束、灌漿期開(kāi)始。

野外高光譜數(shù)據(jù)采集對(duì)光線有一定的要求，因此在小麥赤霉病發(fā)病期間，主要于5月9日(晴天)和5月10日(晴天)在3個(gè)樣本區(qū)域進(jìn)行高光譜圖像數(shù)據(jù)采集，試驗(yàn)環(huán)境較為穩(wěn)定。高光譜相機(jī)的拍攝方式如圖1所示，設(shè)備包含了推掃式鏡頭、旋轉(zhuǎn)云臺(tái)、工作站。小麥樣本固定在一個(gè)區(qū)域內(nèi)，將黑色吸光布放置于觀察對(duì)象下方，作為背景區(qū)域以消除噪聲信息。試驗(yàn)側(cè)邊圖設(shè)置如下：三腳架放置位置距樣本區(qū)域30 cm，高光譜相機(jī)距地面1.5 m，云臺(tái)的水平方向?yàn)?5°，掃描范圍是-30°～+30°，數(shù)據(jù)采集時(shí)間是11:00—14:00。

1.2 數(shù)據(jù)獲取和預(yù)處理

高光譜相機(jī)為美國(guó)OKSI公司的HyScan1211，圖像分辨率為1 620 pixel×2 325 pixel，光譜分辨率為1.79 nm，區(qū)間范圍為400～1 000 nm，光譜采集點(diǎn)有339個(gè)波段。高光譜圖像可利用ENVI軟件進(jìn)行感興趣區(qū)域提取，像素區(qū)域分為3種：背景、健康和病害。

1.3 深度模型

高光譜圖像中，像素點(diǎn)光譜數(shù)據(jù)為1維結(jié)構(gòu)。為抽取更有效的病癥信息特征，將1維光譜的數(shù)據(jù)結(jié)構(gòu)重新組建為2維的網(wǎng)格結(jié)構(gòu)，2維數(shù)據(jù)結(jié)構(gòu)的構(gòu)建雖然改變了數(shù)據(jù)前后順序，但光譜基本信息保持不變，因此重構(gòu)的數(shù)據(jù)不會(huì)導(dǎo)致信息丟失。本研究小麥赤霉病的光譜曲線具有339個(gè)采集點(diǎn)，去除噪聲后保留256個(gè)數(shù)據(jù)點(diǎn)，再進(jìn)行2維數(shù)據(jù)重構(gòu)，深度神經(jīng)網(wǎng)絡(luò)的輸入層張量的維度為(16，16，1)。在深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，VGG(Visual Geometry Group)和殘差神經(jīng)網(wǎng)絡(luò)(ResNet)是2種典型的卷積結(jié)構(gòu)[17-20]。本文抽取這2種典型結(jié)構(gòu)的基本單元進(jìn)行不同深度的構(gòu)建，從而尋找最優(yōu)深度結(jié)構(gòu)，搭建最優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。VGG網(wǎng)絡(luò)主要將卷積層從5×5的內(nèi)核轉(zhuǎn)變?yōu)?×3內(nèi)核，且其基本的結(jié)構(gòu)為2層卷積層、1層池化層，如圖2-a所示。ResNet將網(wǎng)絡(luò)層重新規(guī)劃為學(xué)習(xí)關(guān)于每層輸入的殘差函數(shù)，添加一條從 input到output的路徑，也就是捷徑連接(shortcut)，這是關(guān)鍵之處。對(duì)于輸入x，通過(guò)中間函數(shù)F(x，w)進(jìn)行參數(shù)學(xué)習(xí)，F(xiàn)()是殘差函數(shù)。以卷積層的捷徑連接為基本單元模塊，ResNet網(wǎng)絡(luò)的基本單元如圖2-b所示。

圖1 小麥高光譜圖像采集試驗(yàn)Fig.1 Hyperspectral image collection experiment

圖2 深度卷積網(wǎng)絡(luò)結(jié)構(gòu)的基本單元Fig.2 Basic unit of deep convolutional structure

為得到最優(yōu)的深度卷積神經(jīng)網(wǎng)絡(luò)，建立不同深度的模型進(jìn)行訓(xùn)練，如圖3所示，圖中N代表了卷積層深度。通過(guò)配置不同的N來(lái)建立多種深度卷積模型。

1.4 模型評(píng)測(cè)

為準(zhǔn)確地評(píng)價(jià)模型，綜合運(yùn)用準(zhǔn)確率(A)、精確度(P)、召回率(R)和F1值對(duì)模型進(jìn)行評(píng)價(jià)[21]。準(zhǔn)確率是分類建模中常見(jiàn)的評(píng)價(jià)方式，但是在對(duì)真實(shí)樣本進(jìn)行分類時(shí)，由于類別不均勻，經(jīng)常會(huì)出現(xiàn)過(guò)擬合等現(xiàn)象。為避免模型評(píng)測(cè)中出現(xiàn)重點(diǎn)類別準(zhǔn)確率極低的現(xiàn)象，本文還引入了混淆矩陣，以展示每個(gè)類別間的預(yù)測(cè)結(jié)果。最優(yōu)的模型應(yīng)當(dāng)具有更好的精確度和召回率，但這兩者具有相互不兼容的特性，為了更好地衡量模型效果，使用F1值來(lái)對(duì)精確度和召回率進(jìn)行綜合。

(1)

(2)

圖3 不同深度的模型構(gòu)建Fig.3 Reconstructed model of different depth

(3)

式(1)～(3)中：NTP表示分到類A且真的屬于類A的實(shí)例數(shù)量，NFP表示分到類A但不屬于類A的實(shí)例數(shù)量，NFN表示沒(méi)有分到類A但屬于類A的實(shí)例數(shù)量。

本文深度學(xué)習(xí)框架使用的是Tensorflow、Python 3.5，工作站的配置為Intel? Core i7 CPU和NVIDIA? GTX 1080TI GPU。

2 結(jié)果與分析

2.1 模型訓(xùn)練

首先劃分小麥高光譜數(shù)據(jù)集，總計(jì)包含809 200個(gè)像素點(diǎn)樣本。為進(jìn)行有效評(píng)價(jià)，將訓(xùn)練集與測(cè)試集的比例設(shè)定為1∶4。然后對(duì)小麥赤霉病的高光譜樣本進(jìn)行預(yù)處理，通過(guò)歸一化和去均值算法來(lái)規(guī)范化數(shù)據(jù)范圍。在深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練中，激活函數(shù)使用“elu”[22]，損失函數(shù)使用交叉熵[23-24]，優(yōu)化函數(shù)使用“Adadelta”[25-26]，其中迭代次數(shù)為300，使得損失值不繼續(xù)降低。為了減少過(guò)擬合程度，在每個(gè)基礎(chǔ)單元后加上“Dropout”函數(shù)[27]，設(shè)置丟失率為50%。VGG模型和ResNet模型的主要配置分別如圖4、5所示。其中，VGG_1、VGG_2、VGG_3、VGG_4的層數(shù)分別為10層、14層、18層、22層，ResNet_1、ResNet_2、ResNet_3、ResNet_4的層數(shù)分別為11層、16層、21層、26層。

由于光譜組成的2維網(wǎng)格結(jié)構(gòu)僅有16×16的維度，為了讓卷積層深度持續(xù)進(jìn)行下去，本文對(duì)卷積層進(jìn)行增0(padding)操作，以保證每層卷積的張量維度一致。同時(shí)，為增加訓(xùn)練效果，卷積網(wǎng)絡(luò)每層節(jié)點(diǎn)會(huì)隨著深度的增加逐步遞增，其設(shè)置分別為32、64、128、256。同時(shí)在卷積的最后加上1個(gè)Dense層，由此通過(guò)卷積基本單元迭代構(gòu)建出不同深度的卷積神經(jīng)網(wǎng)絡(luò)層。

在訓(xùn)練集和驗(yàn)證集中，不同深度的VGG和ResNet模型訓(xùn)練結(jié)果如圖6所示。對(duì)于以VGG為基礎(chǔ)單元的深度卷積網(wǎng)絡(luò)，訓(xùn)練模型在300次迭代后基本達(dá)到損失值最低點(diǎn)，且每次訓(xùn)練中訓(xùn)練曲線和驗(yàn)證曲線相差不遠(yuǎn)，說(shuō)明模型訓(xùn)練過(guò)程中未出現(xiàn)欠擬合和過(guò)擬合現(xiàn)象。同時(shí)，在迭代過(guò)程中，損失值逐漸下降到最小值。由此可知，不同深度的VGG模型在多次迭代后達(dá)到訓(xùn)練最優(yōu)。從ResNet模型的訓(xùn)練結(jié)果可知，在ResNet_1和ResNet_2的訓(xùn)練中，驗(yàn)證集的準(zhǔn)確率和損失值都高于訓(xùn)練集，即模型產(chǎn)生欠擬合現(xiàn)象，而ResNet_3和ResNet_4的訓(xùn)練過(guò)程相對(duì)較好。

圖4 VGG模型配置Fig.4 Configuration of layers for VGG

圖5 ResNet模型配置Fig.5 Configuration of layers for ResNet

對(duì)于樣本驗(yàn)證集，結(jié)果如表1所示，徑向基的支持向量機(jī)模型(RBF-SVM)的訓(xùn)練和驗(yàn)證準(zhǔn)確率相對(duì)于深度模型較低，說(shuō)明深度卷積神經(jīng)網(wǎng)絡(luò)能有效提高診斷的準(zhǔn)確率。

在深度模型中，VGG模型隨著基礎(chǔ)單元的深度增加性能提升，但是對(duì)ResNet模型而言，在基礎(chǔ)單元深度為2時(shí)驗(yàn)證損失值最小，并且隨著深度增加，模型的驗(yàn)證損失值有所提高，但其準(zhǔn)確率并未明顯提升，即殘差神經(jīng)網(wǎng)絡(luò)的深度增加并未給模型的穩(wěn)健性和泛化性帶來(lái)顯著提升。對(duì)比發(fā)現(xiàn)：VGG結(jié)構(gòu)的深度模型在建模集上的訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率都遠(yuǎn)高于ResNet結(jié)構(gòu)；在損失值上，VGG結(jié)構(gòu)的模型損失值都低于0.4，而ResNet結(jié)構(gòu)的模型都高于0.42。因此，從模型的穩(wěn)健性和泛化性上判斷，VGG結(jié)構(gòu)更加適合小麥赤霉病病癥的高光譜特征提取。

2.2 測(cè)試評(píng)估

為進(jìn)一步評(píng)價(jià)模型的穩(wěn)健性和泛化性，本文利用測(cè)試集對(duì)深度模型進(jìn)行參數(shù)評(píng)估。從混淆矩陣(圖7)可知：在VGG基本結(jié)構(gòu)中，網(wǎng)絡(luò)越深，分類效果越好，對(duì)健康樣本、病害樣本這2種最重要的類別來(lái)說(shuō)，VGG_4的效果超過(guò)了其他3個(gè)模型；在ResNet基本結(jié)構(gòu)中，同樣是網(wǎng)絡(luò)越深效果越好，其中，ResNet_3和ResNet_4的分類效果完全一致。對(duì)RBF-SVM同樣進(jìn)行混淆矩陣分析，可以看出，支持向量機(jī)在健康樣本和病害樣本的識(shí)別準(zhǔn)確率上都遠(yuǎn)低于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

圖6 不同深度的卷積模型訓(xùn)練結(jié)果Fig.6 Training result of models with different depth

表1模型評(píng)估結(jié)果

Table1Evaluation result of different models

模型Model訓(xùn)練準(zhǔn)確率Accuracy in training驗(yàn)證準(zhǔn)確率Accuracy in validation訓(xùn)練損失值Loss in training驗(yàn)證損失值Loss in validation迭代次數(shù)Number of iteration訓(xùn)練時(shí)間Training time/hRBF-SVM0.7050.706———1.7VGG_10.8400.8330.3790.3963004.9VGG_20.8400.8350.3810.3831896.8VGG_30.8520.8380.3510.3741638.5VGG_40.8460.8430.3640.36410310.4ResNet_10.8040.8190.4740.4402913.4ResNet_20.8210.8320.4540.4263005.5ResNet_30.8310.8320.4660.460687.7ResNet_40.8430.8360.4500.4639310.0

圖7 不同模型的混淆矩陣Fig.7 Confusion matrix of different models

從圖8可知，各模型對(duì)病癥樣本的精確度最低，對(duì)健康樣本的召回率最低。結(jié)合表2可知，大部分的健康樣本被判定為病癥樣本。同時(shí)，從表2測(cè)試集評(píng)估結(jié)果可知，VGG_4的評(píng)測(cè)結(jié)果最優(yōu)，F(xiàn)1值為0.76，準(zhǔn)確率為0.742。從測(cè)試效率分析可知，層少的模型訓(xùn)練參數(shù)較少，因此相對(duì)測(cè)試效率較高，VGG_4由于深度和參數(shù)都相對(duì)較大，模型測(cè)試速度最慢。

2.3 深度模型分類結(jié)果

為觀察模型的診斷結(jié)果，對(duì)小麥高光譜圖進(jìn)行分類模型映射，結(jié)果如圖9所示。其中，白色為背景，灰色為健康小麥，黑色為病害區(qū)域。從圖9可以發(fā)現(xiàn)，雖然高光譜儀器自帶的噪聲嚴(yán)重干擾了分類準(zhǔn)確性，但是基于深度卷積模型標(biāo)注的病癥區(qū)域非常明顯，分類效果較好。

3 結(jié)論

針對(duì)小麥高光譜圖像像素點(diǎn)特征進(jìn)行病癥分類建模，引入2種深度的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)模型的評(píng)測(cè)分析，優(yōu)選了高光譜深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。研究中分別構(gòu)建了以VGG和ResNet為基本單元的不同深度的卷積網(wǎng)絡(luò)，最深的網(wǎng)絡(luò)層結(jié)構(gòu)為ResNet_4的26層模型，最淺的為VGG_1的10層模型，從深度上遍歷了不同的深度神經(jīng)網(wǎng)絡(luò)。從深度結(jié)構(gòu)分析，VGG網(wǎng)絡(luò)深度與模型的穩(wěn)健性和泛化性相關(guān)，但ResNet網(wǎng)絡(luò)深度與模型性能無(wú)關(guān)。從卷積層結(jié)構(gòu)分析，VGG基本單元下采樣方式提取的稀疏特征相對(duì)于ResNet基本單元的殘差更能提取小麥赤霉病病癥的光譜特征。

圖8 不同深度卷積模型的精確度與召回率Fig.8 Precise and recall rate of convolutional models with different depth

表2測(cè)試集上的模型評(píng)估結(jié)果

Table2Evaluation result of different models on testing set

模型ModelF1背景Background健康Healthy病害Diseased全部Total準(zhǔn)確率Accuracy測(cè)試效率Efficiency/(pixels·s-1)VGG_10.870.70.520.740.7338405VGG_20.870.690.520.740.7304496VGG_30.870.70.520.740.7353204VGG_40.880.710.520.760.7422521ResNet_10.850.670.50.720.71516111ResNet_20.870.690.510.740.7298656ResNet_30.870.680.510.730.7236041ResNet_40.870.710.520.750.7384531

圖9 不同深度的卷積模型高光譜圖像映射結(jié)果Fig.9 Gray-image mapped results of hyperspectral image by models with different depth

從測(cè)試效率分析，準(zhǔn)確率最高的VGG_4模型的測(cè)試效率為2 521 pixels·s-1，基本可實(shí)現(xiàn)對(duì)高光譜圖像的快速判定。綜上所述，本文構(gòu)建的最優(yōu)深度卷積神經(jīng)網(wǎng)絡(luò)可對(duì)小麥赤霉病病癥高光譜特征進(jìn)行高效分類，研究結(jié)果可為基于無(wú)人機(jī)高光譜的大尺度小麥赤霉病智能診斷提供理論基礎(chǔ)。