基于VGG-16卷積神經(jīng)網(wǎng)絡(luò)的水稻害蟲(chóng)智能識(shí)別研究

錢(qián)蓉 孔娟娟 朱靜波

摘要 為了實(shí)現(xiàn)自然場(chǎng)景下水稻害蟲(chóng)實(shí)時(shí)精準(zhǔn)被識(shí)別，構(gòu)建基于VGG-16卷積神經(jīng)網(wǎng)絡(luò)的水稻害蟲(chóng)智能識(shí)別模型。該模型采用VGG-16卷積神經(jīng)網(wǎng)絡(luò)為核心網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)水稻害蟲(chóng)的個(gè)體特征和自然場(chǎng)景，對(duì)VGG-16網(wǎng)絡(luò)的卷積層局部調(diào)整，優(yōu)化主要模型參數(shù)，實(shí)現(xiàn)水稻害蟲(chóng)的智能識(shí)別，其識(shí)別的平均準(zhǔn)確率是90.7%，實(shí)現(xiàn)對(duì)沙葉蟬、大螟、斑須蝽、點(diǎn)蜂緣蝽和白背飛虱的準(zhǔn)確識(shí)別。研究結(jié)果顯示，采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)可以實(shí)現(xiàn)自然場(chǎng)景下害蟲(chóng)圖像的精準(zhǔn)識(shí)別，代替人工辨認(rèn)，提高水稻害蟲(chóng)防治率，實(shí)現(xiàn)實(shí)時(shí)、精準(zhǔn)防治的目標(biāo)。

關(guān)鍵詞 水稻;害蟲(chóng);智能識(shí)別;VGG-16;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào) S125 ?文獻(xiàn)標(biāo)識(shí)碼 A ?文章編號(hào) 0517-6611（2020）05-0235-04

doi：10.3969/j.issn.0517-6611.2020.05.066

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract In order to achieve realtime accurate recognition of rice pests in natural scenes， an intelligent rice pest recognition model based on VGG16 convolutional neural network was constructed. The model used the VGG16 convolutional neural network as the core network structure. According to the individual characteristics of rice pests and natural scenes， the convolutional layer of the VGG16 network was locally adjusted， the main model parameters were optimized， and intelligent recognition of rice pests was achieved. The average accuracy rate of recognition was 90.7%， which could ?accurately identify the leafhoppers， giant salamanders， spotted tadpoles， beetailed salamanders and whitebacked planthoppers. Research results showed that the use of convolutional neural network technology could ?achieve accurate recognition of pest images in natural scenes， instead of manual recognition to improve the pest control rate of rice， and to achieve the goal of realtime and accurate control.

Key words Rice;Insect pest;Intelligent recognition;VGG16;Convolutional neural network

水稻是我國(guó)重要的糧食作物，隨著我國(guó)人口的逐年增長(zhǎng)，糧食的需求量不斷增大，因此，提高水稻產(chǎn)量成為影響國(guó)計(jì)民生的重要科研工作。在實(shí)際生產(chǎn)中，影響水稻產(chǎn)量的因素很多，害蟲(chóng)的侵襲是主要影響因素之一，因此水稻害蟲(chóng)及時(shí)有效防治迫在眉睫。傳統(tǒng)的水稻害蟲(chóng)防護(hù)依靠人為查看和辨認(rèn)，這會(huì)造成辨認(rèn)錯(cuò)誤或防治時(shí)效慢等不良后果，會(huì)導(dǎo)致水稻被侵害的面積巨大，既降低水稻產(chǎn)量，也帶來(lái)大量糧食作物含有農(nóng)藥殘留物的危害。因此，采用智能圖像識(shí)別技術(shù)，實(shí)現(xiàn)害蟲(chóng)實(shí)時(shí)、準(zhǔn)確有效識(shí)別，有利于害蟲(chóng)的高效精準(zhǔn)防治。

圖像智能識(shí)別技術(shù)[1-3]在農(nóng)業(yè)領(lǐng)域應(yīng)用較廣，研究人員在作物害蟲(chóng)圖像智能識(shí)別方面已開(kāi)始初步探索。張建華等[4]針對(duì)棉花受棉蚜、棉葉螨、棉盲蝽、斜紋夜蛾和煙粉虱等害蟲(chóng)為害后葉片表面出現(xiàn)不同癥狀，提取色斑圖像和非色斑圖像的多個(gè)特征，并應(yīng)用徑向基支持向量機(jī)實(shí)現(xiàn)害蟲(chóng)識(shí)別，棉花蟲(chóng)害識(shí)別正確率達(dá)88.1%。Wang等[5]把人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)作用于圖像識(shí)別，構(gòu)建一個(gè)昆蟲(chóng)標(biāo)本圖像智能識(shí)別系統(tǒng)，其識(shí)別準(zhǔn)確率達(dá)到93%。Bernardes等[6]使用小波變換能量特征提取和支持向量機(jī)的實(shí)際分類(lèi)，分類(lèi)的準(zhǔn)確率為89.5%。Xie等[7]提出了基于多任務(wù)稀疏表示與多核學(xué)習(xí)的害蟲(chóng)圖像分類(lèi)方法，將該方法用于24種農(nóng)田害蟲(chóng)圖像的識(shí)別，準(zhǔn)確率達(dá)到90.3%。謝成軍等[8]提出了一種基于圖像編碼與空間金字塔模型相結(jié)合的農(nóng)田害蟲(chóng)圖像表示與識(shí)別方法，通過(guò)35種害蟲(chóng)的識(shí)別試驗(yàn)，平均識(shí)別準(zhǔn)確率達(dá)到89.2%。楊國(guó)國(guó)等[9]把圖像顯著性檢測(cè)技術(shù)應(yīng)用到茶園害蟲(chóng)識(shí)別中，對(duì)數(shù)字圖像進(jìn)行顯著性分析，實(shí)現(xiàn)在圖像中對(duì)害蟲(chóng)進(jìn)行定位并完成自動(dòng)分割，從而提高茶園害蟲(chóng)識(shí)別準(zhǔn)確率，使茶園害蟲(chóng)的識(shí)別率達(dá)到 91.5%。楊信延等[10]提出一種基于Canny邊緣檢測(cè)算子和Prewitt的分割方法，并結(jié)合SVM可實(shí)現(xiàn)對(duì)溫室粉虱和薊馬誘蟲(chóng)板的識(shí)別，其平均識(shí)別準(zhǔn)確率達(dá)93.5%。

目前，在農(nóng)作害蟲(chóng)圖像智能識(shí)別研究方面，多數(shù)研究成果聚焦于理論，鮮見(jiàn)報(bào)道考慮與實(shí)際應(yīng)用相結(jié)合。鑒于此，筆者瞄準(zhǔn)實(shí)際問(wèn)題，以服務(wù)農(nóng)業(yè)為根本，積極探索害蟲(chóng)圖像智能識(shí)別應(yīng)用研究。該研究以田間自然背景下害蟲(chóng)圖像作為試驗(yàn)數(shù)據(jù)集，基于VGG模型構(gòu)建智能識(shí)別系統(tǒng)，具有較高的實(shí)踐使用價(jià)值。

1 資料與方法

1.1 試驗(yàn)環(huán)境

水稻害蟲(chóng)圖像智能識(shí)別試驗(yàn)在裝有4個(gè)NVIDIA Tesla P40 24 GB卡和2個(gè)Intel至強(qiáng) E5-2697v4處理器18核36線程服務(wù)器上完成，該服務(wù)器裝有Ubuntu 16.0操作系統(tǒng)、TensorFlow 1.0框架。

1.2 試驗(yàn)數(shù)據(jù)

試驗(yàn)選取的樣本圖像均在自然背景下地間田頭采集而得，為后期實(shí)際推廣應(yīng)用奠定基礎(chǔ)。試驗(yàn)共選取水稻害蟲(chóng)圖像5類(lèi)，其中條沙葉蟬459幅、大螟349幅、斑須蝽419幅、點(diǎn)蜂緣蝽281幅、白背飛虱312幅，共1 820幅樣本圖像，選取每個(gè)類(lèi)別的80%數(shù)據(jù)構(gòu)建訓(xùn)練集，剩余20%的數(shù)據(jù)構(gòu)成測(cè)試集，具體分布見(jiàn)表1。

研究采用弱監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)圖像智能識(shí)別，要求人工標(biāo)注所有試驗(yàn)樣本的類(lèi)別信息。為了規(guī)范試驗(yàn)數(shù)據(jù)集，需要對(duì)數(shù)據(jù)集作如下統(tǒng)一處理：

①在Anaconda平臺(tái)上對(duì)所有試驗(yàn)數(shù)據(jù)作刪除重復(fù)樣本和刪除不清晰樣本等預(yù)處理。如圖1所示，分別是研究對(duì)象主體部分不可見(jiàn)和不清晰的樣本。

②采用LabelImg工具，人工標(biāo)注試驗(yàn)數(shù)據(jù)集。如圖2所示，左圖是原始樣本，右圖是已標(biāo)注樣本。

③根據(jù)標(biāo)注文件，裁剪試驗(yàn)數(shù)據(jù)集。根據(jù)左邊標(biāo)注信息，在matlab平臺(tái)上完成自動(dòng)裁切工作，得到裁切后的樣本（圖3）。

④對(duì)裁剪后數(shù)據(jù)集進(jìn)行二次去重和清除臟數(shù)據(jù)的處理。

⑤根據(jù)4∶1的比例構(gòu)建試驗(yàn)的訓(xùn)練集和測(cè)試集。

1.3 試驗(yàn)方法

卷積神經(jīng)網(wǎng)絡(luò)是一種模擬人腦結(jié)構(gòu)的多層次非全連接的神經(jīng)網(wǎng)絡(luò)，具有強(qiáng)大的特征提取能力，通過(guò)有監(jiān)督的多層網(wǎng)絡(luò)學(xué)習(xí)，能夠直接從原始圖像中識(shí)別理解圖像內(nèi)容[11-12]。VGG-16是一個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型，由Simonyan 等[13]在2014年提出，該網(wǎng)絡(luò)模型共經(jīng)歷13次卷積層、4次池化和3個(gè)全連接層，共16層，具有局部連接、權(quán)值共享、池化等特點(diǎn)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。輸入圖片尺寸變化規(guī)律是從224x224到112x112等，直到最后變成7x7。因此VGG-16結(jié)構(gòu)簡(jiǎn)單而優(yōu)美，層次清晰，實(shí)現(xiàn)起來(lái)也很規(guī)整。VGG-16最大的特點(diǎn)是通過(guò)3×3濾波器的組合與堆疊，可提取輸入圖像包含的細(xì)小特征[14]。

試驗(yàn)的輸入圖像尺寸是3個(gè)通道的224×224，采用VGG-16構(gòu)建可識(shí)別5種害蟲(chóng)的智能識(shí)別模型，整過(guò)網(wǎng)絡(luò)模型分為卷積層、池化層、全連接層和分類(lèi)層，其中卷積層共有5個(gè)卷積段，每個(gè)卷積段采用2或3個(gè)卷基層連續(xù)堆疊組成卷積序列，卷積過(guò)程中采用”SAME”模式，不會(huì)改變特征圖的分辨率;在池化層采用2×2池化窗口，步長(zhǎng)為2，用于減小卷積后的特征圖像尺寸大小，也實(shí)現(xiàn)了模型的平移不變性;在全連接層由3個(gè)連續(xù)的全連接進(jìn)行組合，通道數(shù)分別為4 096、4 096、1 000個(gè);最后，在分類(lèi)層由具有1 000個(gè)標(biāo)簽的SoftMax分類(lèi)器進(jìn)行分類(lèi)輸出。

2 結(jié)果與分析

試驗(yàn)采用準(zhǔn)確率為考核指標(biāo)，用Precision代表，計(jì)算方法如下：

Precision=TPTP+FP（1）

式中，TP 為正樣本又被預(yù)測(cè)為正樣本的個(gè)數(shù)，F(xiàn)P為負(fù)樣本被預(yù)測(cè)為正樣本的個(gè)數(shù)。

該試驗(yàn)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中重點(diǎn)優(yōu)化的參數(shù)包括：卷積核數(shù)量、學(xué)習(xí)率、epoch的數(shù)量和batchsize，卷積核大小確定為2×2，卷積核數(shù)量太大，會(huì)導(dǎo)致計(jì)算量過(guò)大，影響訓(xùn)練速度，數(shù)量太少，會(huì)丟失很多有用信息，降低樣本利用率;學(xué)習(xí)率對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練影響較大，對(duì)于同一模型結(jié)構(gòu)在其他條件相同的情況下，設(shè)置不同的學(xué)習(xí)率，以此確定適合于模型訓(xùn)練較優(yōu)的學(xué)習(xí)率;batchsize的大小確定梯度下降的方向，取值恰當(dāng)，能提高內(nèi)存利用率，也能較快確定梯度下降方向，減少訓(xùn)練震蕩;把epoch的數(shù)量設(shè)為1，可以把1個(gè)完整的數(shù)據(jù)集傳遞給神經(jīng)網(wǎng)絡(luò)訓(xùn)練，因?yàn)樵囼?yàn)數(shù)據(jù)集的多樣性，需要選擇合適的epoch個(gè)數(shù)，不僅體現(xiàn)出試驗(yàn)數(shù)據(jù)集的特點(diǎn)，也不會(huì)導(dǎo)致模型過(guò)擬合或欠擬合。該試驗(yàn)訓(xùn)練中各項(xiàng)參數(shù)設(shè)置、準(zhǔn)確率如表2，最優(yōu)網(wǎng)絡(luò)模型的loss曲線如圖5所示，橫坐標(biāo)代表迭代次數(shù)，縱坐標(biāo)表示loss值，損失曲線已相對(duì)穩(wěn)定，未有較大震蕩。

3 討論

該研究結(jié)果表明，測(cè)試集準(zhǔn)確率最優(yōu)可達(dá)90.7%，與傳統(tǒng)識(shí)別方法相同，在相同的測(cè)試集上識(shí)別準(zhǔn)確率有較大提高。然而，害蟲(chóng)樣本采集地環(huán)境較差，給田間實(shí)地采集工作帶來(lái)很多不利影響，致使各類(lèi)別害蟲(chóng)自然背景下圖像樣本的數(shù)量都很有限。因此，與在特定背景下害蟲(chóng)樣本圖像智能識(shí)別的準(zhǔn)確率相比，該研究的識(shí)別準(zhǔn)確率略低，分析其原因是由于受樣本數(shù)量、自然背景復(fù)雜、害蟲(chóng)體態(tài)多變性和害蟲(chóng)顏色多樣性等因素影響，后續(xù)將針對(duì)存在的問(wèn)題進(jìn)行深入研究，從而提高模型智能識(shí)別的準(zhǔn)確。

4 結(jié)論

該研究采用VGG-16模型構(gòu)建自然背景下水稻害蟲(chóng)圖像智能識(shí)別系統(tǒng)，取得了較高的識(shí)別準(zhǔn)確率，說(shuō)明用智能識(shí)別技術(shù)幫助農(nóng)民辨認(rèn)害蟲(chóng)的設(shè)想有可行性。因該研究建立在自然背景下田間采集而得到的數(shù)據(jù)集上，樣本能貼近田間實(shí)況，不拘泥于實(shí)驗(yàn)室的理想情況，研究成果具有很強(qiáng)的實(shí)踐意義，對(duì)水稻作物害蟲(chóng)及時(shí)防治起到一定的指導(dǎo)作用，也證實(shí)了該研究成果有進(jìn)一步推廣應(yīng)用的價(jià)值。

參考文獻(xiàn)

[1]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with Deep Convolutional Neural Networks[J].Advances in neural information processing systems，2012，25（2）：1106-1114.

[2]WANG J，YANG Y，MAO J H，et al.CNNRNN：A unified framework for multilabel image classification[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas，NV，USA：IEEE，2016.

[3]DENG J，DONG W，SOCHER R，et al.ImageNet：A largescale hierarchical image database[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2009）.Miami，F(xiàn)lorida，USA：IEEE，2009.

[4]張建華，冀榮華，袁雪，等.基于徑向基支持向量機(jī)的棉花蟲(chóng)害識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42（8）：178-183.

[5]WANG J N，LIN C T，JI L Q，et al.A new automatic identification system of insect images at the order level [J].Knowledgebased systems，2012，33：102-110.

[6]BERNARDES A A，ROGERI J G，OLIVEIRA R B，et al.Identification of foliar diseases in cotton crop[M]//TAVARES J M R S，NATAL JORGE R M.Topics in medical image processing & computational vision.Dordrecht：Springer，2013.

[7]XIE C J，ZHANG J，LI R，et al.Automatic classification for field crop insects via multiple-task sparse representation and multiple-kernel learning [J].Computers and electronics in agriculture，2015，119：123-132.

[8]謝成軍，李瑞，董偉，等.基于稀疏編碼金字塔模型的農(nóng)田害蟲(chóng)圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（17）：144-151.

[9]楊國(guó)國(guó)，鮑一丹，劉子毅.基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲(chóng)定位與識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（6）：156-162.

[10]楊信廷，劉蒙蒙，許建平，等.自動(dòng)監(jiān)測(cè)裝置用溫室粉虱和薊馬成蟲(chóng)圖像分割識(shí)別算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（1）：164-170.

[11]HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[12]ABDELHAMID O，MOHAMED A，JIANG H，et al.Convolutional neural networks for speech recognition[J].IEEE/ACM Transactions on Audio Speech & Language Processing，2014，22（10）：1533-1545.

[13]SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[R].2015.

[14]LIU H，LU J W，F(xiàn)ENG J J，et al.Groupaware deep feature learning for facial age estimation[J].Pattern recognition，2017，66：82-94.