基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害識(shí)別方法研究*

王國(guó)偉，劉嘉欣

(吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長(zhǎng)春市，130000)

0 引言

我國(guó)三大農(nóng)作物之一的玉米是重要的糧食作物及產(chǎn)業(yè)原料，玉米產(chǎn)業(yè)的穩(wěn)定健康發(fā)展，在糧食安全、農(nóng)民收入增加及國(guó)家經(jīng)濟(jì)中起著重要作用[1]。伴隨著玉米產(chǎn)量的增加，玉米病害種類的繁雜，怎樣迅速正確的判斷出玉米病害，并且選取對(duì)應(yīng)的控制措施，對(duì)玉米生產(chǎn)至關(guān)重要。根據(jù)肉眼觀察和經(jīng)驗(yàn)判斷很容易導(dǎo)致誤診，容易花費(fèi)很多時(shí)間，并且無(wú)法在一定時(shí)間內(nèi)診斷和治療玉米病害，從而使玉米生產(chǎn)效率降低。隨著計(jì)算機(jī)技術(shù)的發(fā)展,利用圖像識(shí)別技術(shù)診斷和檢測(cè)病害已成為診斷研究的一個(gè)重要領(lǐng)域[2]。在植物病害識(shí)別中，機(jī)器學(xué)習(xí)技術(shù)與圖像處理相結(jié)合的應(yīng)用越來(lái)越廣泛。針對(duì)玉米常見的病害，毛彥棟等[3]提出一種SVM和DS證據(jù)理論融合方法、陳麗等采用遺傳算法、張開興等[4]采用圖像處理技術(shù)和BP神經(jīng)網(wǎng)絡(luò)算法、張善文等[5]基于局部判別映射(LDP)算法和朱景福等[6]應(yīng)用局部線性嵌入(LLE)算法對(duì)提取的病害特征進(jìn)行約簡(jiǎn)，識(shí)別率依次為93.3% 、90.0%、93.4%、94.4%、99.5%。這些研究盡管已經(jīng)獲得了良好的效果，但是很難提取特征，也存在適應(yīng)性低和魯棒性差等問(wèn)題。

近幾年，深度學(xué)習(xí)在圖像分割和圖像識(shí)別方面取得了良好的效果，并且在特征提取中起著重要作用，它能夠自動(dòng)提取圖像特征，所以在各個(gè)領(lǐng)域都有廣泛的應(yīng)用 (如人臉識(shí)別[7-8]、語(yǔ)音識(shí)別[9]和行人檢測(cè)[10]等)。顧博等[11]利用GrabCut自動(dòng)分割算法并融合基于顯著性的SLIC算法對(duì)玉米3種病害進(jìn)行識(shí)別和分割、許景輝等[12]利用遷移學(xué)習(xí)方法對(duì)玉米大斑病和銹病進(jìn)行識(shí)別。在對(duì)其他植物病蟲害的識(shí)別中也有很多研究學(xué)者將深度學(xué)習(xí)技術(shù)運(yùn)用其中，并且獲得了較好的效果。馬浚誠(chéng)等[13]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在溫室黃瓜病害識(shí)別方法研究中，對(duì)黃瓜病害進(jìn)行識(shí)別。王艷玲等[14]將遷移學(xué)習(xí)應(yīng)用到AlexNet卷積神經(jīng)網(wǎng)絡(luò)中對(duì)10類番茄葉片病害圖像識(shí)別。蔣豐千等[15]提出了一種基于caffe框架下的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別方法來(lái)識(shí)別生姜病害。楊晉丹等[16]選取一種基于混合池化的CNN-9模型對(duì)草莓葉部白粉病病害進(jìn)行識(shí)別以及蒲秀夫等[17]建立了一種二值化卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)多種植物病蟲害進(jìn)行識(shí)別。

因此，本文基于經(jīng)典CNN的深度學(xué)習(xí)網(wǎng)絡(luò)模型-LeNet，根據(jù)玉米病害圖像數(shù)據(jù)本身的特點(diǎn)，進(jìn)行改進(jìn)和完善，構(gòu)建了一個(gè)多層 CNN 網(wǎng)絡(luò)結(jié)構(gòu)玉米病害圖像識(shí)別模型，以期提高模型的魯棒性和泛化能力，實(shí)現(xiàn)對(duì)玉米病害準(zhǔn)確、快速的識(shí)別。

1 材料與方法

1.1 玉米圖像數(shù)據(jù)集

本研究所用到的數(shù)據(jù)集，是由 5 種不同玉米圖像組成，包括玉米花葉病、灰斑病、銹病、葉斑病4種病害圖像和玉米健康圖像。5類玉米試驗(yàn)樣本圖像共采集1 967張，均在自然環(huán)境下。其中玉米花葉病600張，灰斑病265張，銹病350張，葉斑病400張，玉米健康352張。本文試驗(yàn)將玉米圖像分為2組：訓(xùn)練數(shù)據(jù)1 574張，測(cè)試數(shù)據(jù)393張。將樣本集進(jìn)行編號(hào)分類并制作標(biāo)簽，分別用 0、1、2、3、4 表示對(duì)應(yīng)的類別標(biāo)簽，標(biāo)簽0為玉米花葉病、1為灰斑病、2為銹病、3為葉斑病、4為玉米健康。圖片大小尺寸統(tǒng)一修改為256像素×256像素，表1列出了具體的數(shù)據(jù)集數(shù)量。4類玉米病害示例及玉米健康圖像見圖1。

表1 5種玉米圖像數(shù)據(jù)集Tab. 1 5 kinds of corn image data sets

(a) 花葉病(b) 灰斑病(c) 銹病

(d) 葉斑病(e) 玉米健康

1.2 試驗(yàn)方法

1.2.1 程序運(yùn)行環(huán)境

本試驗(yàn)所有代碼均是在框架:PaddlePaddle 1.6.0(python 3.7)框架下完成的?？蚣墉h(huán)境：GPU：Tesla V100.Video Mem:16GB；硬件環(huán)境：Intel(R) Core(TM)i3-4005U CPU @1.70G。Windows 7 64bit 操作系統(tǒng)。

1.2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，簡(jiǎn)稱 CNN)[18-19]作為深度學(xué)習(xí)技術(shù)的一個(gè)代表,近年來(lái)取得了飛速的發(fā)展。該結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層。其中卷積層和池化層是用于提取圖像特征的模型核心部分,全連接層可以在高層次特征域中以圖像分類為主實(shí)現(xiàn)圖像映射。

其中，卷積層包括大量卷積核, 經(jīng)過(guò)計(jì)算卷積可獲得輸入圖像的特征圖,其公式[20]如式(1)所示。

(1)

池化層(也稱為下采樣層), 它實(shí)質(zhì)上是通過(guò)圖像處理來(lái)提取原始特征信息, 并且減小數(shù)據(jù)的空間大小和特征維數(shù)，其公式如式(2)所示。

(2)

式中:down(·)——下采樣函數(shù)；

1.3 玉米病害識(shí)別模型結(jié)構(gòu)與訓(xùn)練

1.3.1 模型結(jié)構(gòu)

本文模型是在經(jīng)典的LeNet模型基礎(chǔ)上進(jìn)行改進(jìn)。LeNet這個(gè)網(wǎng)絡(luò)雖然很小，但它的整體結(jié)構(gòu)模型非常完整，傳統(tǒng)的卷積、池化等操作都有涉及[21]。LeNet[22]網(wǎng)絡(luò)原有3 層卷積、2 層池化、1 層全連接層。改進(jìn)之后，本文CNN玉米病害識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)見圖 2,共有10個(gè)網(wǎng)絡(luò)層，包含輸入層、3個(gè)卷積層、3個(gè)池化層、2個(gè)全連接層和輸出層。

圖2 CNN玉米病害識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 2 CNN corn disease identification model network structure diagram

另外，在第一層卷積和第二層卷積當(dāng)中，加入局部響應(yīng)歸一化層(Local Response Normalization,LRN)，能夠提高模型結(jié)構(gòu)的準(zhǔn)確性和泛化能力,全連接模塊都包含了dropout 層，并且在訓(xùn)練期間一些連接會(huì)被隨機(jī)丟棄，丟棄概率設(shè)置為0.5。另外本文采用修正線性單元(ReLU)[23]作為激勵(lì)函數(shù)，添加在卷積層之后，進(jìn)行數(shù)據(jù)的訓(xùn)練。本文池化方式采用的是最大池化法(Max pooling)，最后采用Softmax分類器，作為最后的分類輸出層，輸出類別為5。

因此，按照試驗(yàn)的具體要求，在本研究中提出的玉米病害識(shí)別模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置如表2所示。

表2 本研究模型參數(shù)設(shè)置Tab. 2 Parameter settings of this research model

1.3.2 模型優(yōu)化

模型結(jié)構(gòu)優(yōu)化的實(shí)質(zhì)是最大程度地減少損失函數(shù)的迭代次數(shù)。通過(guò)將自適應(yīng)矩估計(jì)(Adam)(Adaptive moment estimation)替換傳統(tǒng)的隨機(jī)梯度下降(SGD)(Stochastic Gradient Descent)方法來(lái)進(jìn)行模型的優(yōu)化。Adam算法的實(shí)質(zhì)是按照損失函數(shù)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)梯度的一階矩估計(jì)和二階矩估計(jì)。其特點(diǎn)是計(jì)算效率高，占用內(nèi)存小，適用于解決大樣本量和優(yōu)化參數(shù)問(wèn)題。

選擇指數(shù)衰減法作為學(xué)習(xí)率更新方法。首先將網(wǎng)絡(luò)訓(xùn)練的初始學(xué)習(xí)率設(shè)定為較大的值，使訓(xùn)練達(dá)到最優(yōu)解的鄰域，然后學(xué)習(xí)率逐漸降低。指數(shù)衰減法學(xué)習(xí)率的更新見公式(3)。

lr=lro·dr∧(?gs/ds」)

(3)

式中:lr——衰減后的學(xué)習(xí)率；

lro——最初學(xué)習(xí)率；

dr——衰減系數(shù)；

gs——目前的迭代次數(shù)；

ds——衰減步長(zhǎng)(也就是說(shuō)，學(xué)習(xí)率在每次指定的迭代次數(shù)后都會(huì)更新)。

采用交叉熵?fù)p失函數(shù)計(jì)算分類損失,添加L2正則化懲罰模型內(nèi)部加權(quán)參數(shù)，避免模型的過(guò)擬合。函數(shù)如公式(4)所示。

(4)

式中:J——訓(xùn)練損失率；

θ——模型加權(quán)系數(shù)；

λ——正則項(xiàng)系數(shù)；

x——批量訓(xùn)練樣本數(shù)；

p——預(yù)期分類概率；

q——預(yù)測(cè)分類概率。

此外，本文中的第一和第二全連接層添加了Dropout策略層，以防止過(guò)度擬合。Softmax函數(shù)用作最后一個(gè)全連接層中的最終輸出。Softmax函數(shù)通常用作神經(jīng)網(wǎng)絡(luò)模型的分類器。通過(guò)函數(shù)運(yùn)算，計(jì)算出輸入樣本被識(shí)別為特定類別的概率。經(jīng)過(guò)一系列參數(shù)調(diào)整后，將獲得對(duì)應(yīng)于正確類別的最大概率值。

1.3.3 模型訓(xùn)練過(guò)程

本研究模型訓(xùn)練過(guò)程主要分為如下3個(gè)階段： (1)創(chuàng)建數(shù)據(jù)集，建立與此研究訓(xùn)練相適應(yīng)的玉米病害圖像數(shù)據(jù)庫(kù)，使用玉米病害圖像作為模型訓(xùn)練下一階段的數(shù)據(jù)源。(2)根據(jù)圖2所示的模型思路，進(jìn)行編譯和模型參數(shù)設(shè)定。最大訓(xùn)練數(shù)設(shè)置為200輪，batch_size=50。(3)訓(xùn)練并且保存模型，執(zhí)行器接收傳入的程序。最后，采用反向傳播算法逐層求導(dǎo)，在連續(xù)迭代訓(xùn)練過(guò)程中調(diào)整模型參數(shù)，得到最小收斂值當(dāng)作最終輸出。

2 結(jié)果與分析

2.1 不同激勵(lì)函數(shù)對(duì)模型性能的影響

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，這里的激勵(lì)函數(shù)是為了保障網(wǎng)絡(luò)輸出是非線性函數(shù)而添加的。這里一般使用的幾種激勵(lì)函數(shù)是Tanh函數(shù)、Sigmoid函數(shù)和ReLU函數(shù)。與前兩個(gè)函數(shù)相比，ReLU函數(shù)具有計(jì)算簡(jiǎn)單，收斂速度快的特點(diǎn)，函數(shù)如式(5)所示。

ReLU(x)=max(0,x)

(5)

圖3顯示了不同激活函數(shù)對(duì)識(shí)別準(zhǔn)確率影響的試驗(yàn)結(jié)果?？梢钥闯觯?dāng)使用ReLU函數(shù)時(shí)，識(shí)別準(zhǔn)確率最高。ReLU激勵(lì)函數(shù)[24]由于采用了分段形式，所以它的前、后、導(dǎo)數(shù)形式都是分段的，使得優(yōu)化學(xué)習(xí)和求解模型收斂問(wèn)題更加容易。

圖3 不同激活函數(shù)對(duì)試驗(yàn)產(chǎn)生的結(jié)果Fig. 3 Results of different activation functions on the experiment

2.2 有無(wú)Dropout層對(duì)模型性能的影響

訓(xùn)練模型的過(guò)程中，通常會(huì)發(fā)生過(guò)擬合現(xiàn)象。所謂的過(guò)擬合，具體顯示為模型準(zhǔn)確率在訓(xùn)練集上的表現(xiàn)良好，在測(cè)試集上的表現(xiàn)不佳，這意味著模型的泛化能力較弱，進(jìn)而影響準(zhǔn)確率。為避免訓(xùn)練過(guò)擬合，除了在數(shù)據(jù)處理過(guò)程中添加數(shù)據(jù)集之外，本研究還將Dropout層添加到模型中。在網(wǎng)絡(luò)的每個(gè)訓(xùn)練期間，Dropout層會(huì)依據(jù)一定的概率將有些神經(jīng)元權(quán)重臨時(shí)置為0，減少神經(jīng)元之間的依存關(guān)系，避免網(wǎng)絡(luò)的過(guò)度擬合。在測(cè)試中，該程序共執(zhí)行3次。測(cè)試結(jié)果如表3所示。

表3 Dropout層對(duì)試驗(yàn)的影響Tab. 3 Influence of Dropout layer on the experiment

2.3 網(wǎng)絡(luò)層數(shù),正則項(xiàng)系數(shù)及學(xué)習(xí)率對(duì)準(zhǔn)確率的影響

為了確定最佳參數(shù)，得到最佳模型，對(duì)試驗(yàn)結(jié)果進(jìn)行比較，包括網(wǎng)絡(luò)層數(shù)的設(shè)置(卷積層、全連接層)、初始學(xué)習(xí)率的設(shè)置、正則項(xiàng)系數(shù)的設(shè)置等。其中，3 種全連接層設(shè)置(1 層、2 層、3 層)，3 種卷積層設(shè)置(2層、3 層、4 層)，3 組正則項(xiàng)系數(shù)設(shè)置(0、0.000 1、0.001)，3 組初始化學(xué)習(xí)率設(shè)置(0.000 1、0.001、0.01)。試驗(yàn)測(cè)試結(jié)果見表4。根據(jù)表4中內(nèi)容可以看出，在B2組實(shí)驗(yàn)中，當(dāng)設(shè)置 2 個(gè)全連接層、3 個(gè)卷積層，正則項(xiàng)系數(shù)為0.000 1，學(xué)習(xí)率為0.001時(shí)最小訓(xùn)練損失率和最大訓(xùn)練準(zhǔn)確率分為達(dá)到0.103 77和0.964 3，模型性能最優(yōu)。

表4 參數(shù)設(shè)置與訓(xùn)練結(jié)果Tab. 4 Parameter settings and training results

2.4 Adam算法SGD算法比較

本文運(yùn)用Adam算法代替?zhèn)鹘y(tǒng)的SGD算法。SGD算法通過(guò)保持單一的學(xué)習(xí)率(即alpha)來(lái)更新所有的權(quán)值，并且學(xué)習(xí)率在訓(xùn)練過(guò)程期間不會(huì)發(fā)生改變。而Adam算法通過(guò)計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)來(lái)設(shè)計(jì)針對(duì)不同參數(shù)的獨(dú)立自適應(yīng)學(xué)習(xí)率。在3個(gè)卷積層、2個(gè)全連接層、正則項(xiàng)系數(shù)為0.000 1、初始化學(xué)習(xí)率為0.001的總條件下，通過(guò)試驗(yàn)，來(lái)對(duì)比兩種方法的差別。圖4顯示了在相同條件下Adam算法和SGD算法試驗(yàn)的訓(xùn)練準(zhǔn)確率變化趨勢(shì)。結(jié)果表明，當(dāng)采用Adam算法時(shí)，模型的準(zhǔn)確率更高。

圖4 Adam算法和SGD算法訓(xùn)練準(zhǔn)確率Fig. 4 Training accuracy of Adam algorithm and SGD algorithm

圖5顯示了在相同條件下Adam算法和SGD算法試驗(yàn)的訓(xùn)練損失率變化趨勢(shì)。損失率越小代表著曲線越收斂，模型學(xué)習(xí)效果越好。根據(jù)圖5能夠看出，當(dāng)使用Adam算法時(shí)，曲線收斂效果比使用SGD算法時(shí)更好，并且損失率更小。試驗(yàn)表明，當(dāng)使用Adam算法優(yōu)化模型時(shí)，模型效果更好，更為理想。

圖5 Adam算法和SGD算法訓(xùn)練損失率Fig. 5 Adam algorithm and SGD algorithm training loss rate

2.5 驗(yàn)證結(jié)果分析

如上所述，在玉米圖像中選取了120幅玉米花葉病圖像、53幅灰斑病圖像、70幅銹病圖像、80幅葉斑病圖像和70幅玉米健康圖像作為固定的檢測(cè)數(shù)據(jù)集。數(shù)據(jù)集中的所有圖像均未參與模型的訓(xùn)練和識(shí)別。因此，通過(guò)識(shí)別準(zhǔn)確性來(lái)檢驗(yàn)本文模型的泛化能力，即模型對(duì)未參與訓(xùn)練的新圖像是否同樣具有高的識(shí)別準(zhǔn)確率。試驗(yàn)結(jié)果表明，用未參與模型訓(xùn)練的新圖像來(lái)檢驗(yàn)?zāi)Ｐ偷淖R(shí)別能力，仍然取得了理想的識(shí)別率。其中，由于銹病和玉米健康圖像與其他玉米病害具有明顯不同的特征，因此識(shí)別率達(dá)到了100%；葉斑病玉米病害圖像在某些細(xì)節(jié)特征上與灰斑病有相似的細(xì)節(jié)特征，出現(xiàn)誤判現(xiàn)象，識(shí)別準(zhǔn)確率為93.75%?；ㄈ~病的玉米病害圖像識(shí)別準(zhǔn)確率為95.83%；灰斑病的玉米病害圖像識(shí)別準(zhǔn)確率略低，但也達(dá)到了90.57%。由于測(cè)試集圖像與訓(xùn)練集圖像具有相同的背景等因素，因此5類玉米圖像識(shí)別的平均準(zhǔn)確率達(dá)到96%，接近于訓(xùn)練準(zhǔn)確率。

表6為測(cè)試集玉米圖像識(shí)別后統(tǒng)計(jì)的混淆矩陣。其中，葉斑病和灰斑病在形狀、顏色、紋理及局部細(xì)節(jié)上有相似之處，因此2類玉米病害均存在誤判現(xiàn)象；花葉病和玉米健康雖不屬于同一種，但也存在相似之處，因此花葉病圖像有 5張被誤判為玉米健康。

表6 測(cè)試集玉米圖像識(shí)別后統(tǒng)計(jì)的混淆矩陣Tab. 6 Confusion matrix of the statistics of the corn image recognition in the test set

3 不同方法比較

為驗(yàn)證本文研究方法的可行性，將其與傳統(tǒng)的CNN模型和基于CNN的VGG網(wǎng)絡(luò)模型進(jìn)行4種玉米病害和玉米健康圖像識(shí)別的對(duì)比試驗(yàn)。試驗(yàn)主要從識(shí)別率、損失率和單幅玉米病害圖像識(shí)別時(shí)間三個(gè)方面對(duì)模型性能進(jìn)行評(píng)估，對(duì)比結(jié)果如表7所示。從中可看出，VGG模型的平均識(shí)別率為49.75%，平均識(shí)別時(shí)間為6.20 s，在對(duì)比的三種模型中識(shí)別率最低且識(shí)別時(shí)間最長(zhǎng)；傳統(tǒng)CNN模型的平均識(shí)別率為80.66%，平均識(shí)別時(shí)間為3.10 s，識(shí)別效果相對(duì)較好；本文提出的方法平均識(shí)別率為96.43%，平均識(shí)別時(shí)間為0.15 s，識(shí)別率最高，識(shí)別時(shí)間最短，識(shí)別效果最好。

表7 提取方法比較Tab. 7 Comparison of extraction methods

4 結(jié)論

本文基于經(jīng)典CNN模型LeNet的基礎(chǔ)上，構(gòu)建了一個(gè)10層的玉米病害識(shí)別模型，完成對(duì)玉米花葉病，灰斑病，銹病，葉斑病，4類不同玉米病害圖像和玉米健康圖像的識(shí)別分類。在訓(xùn)練集和測(cè)試集上達(dá)到了一定的識(shí)別效果。

1) 基于深度學(xué)習(xí)的玉米病害圖像識(shí)別模型可以自動(dòng)提取出玉米病害特征，可以較好的對(duì)玉米病害圖像進(jìn)行分類，對(duì)玉米花葉病、灰斑病、葉斑病識(shí)別準(zhǔn)確率分別為95.83%、90.57%、93.75%,對(duì)銹病和玉米健康識(shí)別準(zhǔn)確率均為100%，平均識(shí)別準(zhǔn)確率在96%以上，平均識(shí)別時(shí)間為0.15 s,無(wú)需人工的對(duì)輸入圖像進(jìn)行特征提取，只需簡(jiǎn)單地標(biāo)記類別即可，節(jié)省了大量人力和時(shí)間，提高了識(shí)別效率和精度。

2) 在模型優(yōu)化方面，提出了用Adam算法代替?zhèn)鹘y(tǒng)的SGD算法，提高了識(shí)別率。 除此之外，使用指數(shù)衰減法調(diào)整學(xué)習(xí)率，并且將L2正則項(xiàng)添加到交叉熵函數(shù)中。為了防止訓(xùn)練過(guò)程中過(guò)擬合情況的發(fā)生，在網(wǎng)絡(luò)層中使用Dropout策略和ReLU激勵(lì)函數(shù)。

3) 與其他模型的圖像識(shí)別率相比，該模型具有更強(qiáng)的識(shí)別性能和較好的實(shí)用性?？设b別4種玉米病害和玉米健康圖像。該模型提高了模型的泛化能力和魯棒性，為接下來(lái)的植物病害研究提供了基礎(chǔ)和理論依據(jù)。

因?yàn)楸狙芯恐皇茄芯亢头治隽?種常見的玉米病害，所以必然存在一些限定性，為了進(jìn)一步推廣模型，并提高玉米病害圖像識(shí)別的準(zhǔn)確性和實(shí)用性，下一階段將收集更多高質(zhì)量的玉米病害圖像，調(diào)整和優(yōu)化模型。