農(nóng)作物害蟲圖像識(shí)別研究進(jìn)展與展望

張萌 錢蓉 朱靜波 張立平 李閏枚 董偉

摘要 農(nóng)作物害蟲的精準(zhǔn)識(shí)別是害蟲預(yù)報(bào)及防控的重要前提，圖像識(shí)別法以高效率、低成本、易操作等優(yōu)勢(shì)，成為近年來(lái)害蟲防治工作的研究熱點(diǎn)和主要技術(shù)手段。鑒于害蟲圖像識(shí)別在蟲害診斷中的巨大潛力，回顧害蟲圖像識(shí)別方法的發(fā)展歷程，闡述由室內(nèi)環(huán)境下的識(shí)別走向自然環(huán)境的研究進(jìn)展，分析傳統(tǒng)方法與深度學(xué)習(xí)的優(yōu)勢(shì)與局限性，針對(duì)性給出未來(lái)發(fā)展的相應(yīng)措施。傳統(tǒng)識(shí)別方法易實(shí)現(xiàn)，適用在樣本少、范圍小的識(shí)別領(lǐng)域;深度學(xué)習(xí)方法精度高、自適應(yīng)性強(qiáng)，在數(shù)據(jù)量充足的前提下可以取得較好的識(shí)別效果。最后對(duì)農(nóng)作物害蟲圖像識(shí)別的發(fā)展前景進(jìn)行展望，指出將害蟲圖像識(shí)別與物聯(lián)網(wǎng)、傳感器等技術(shù)相結(jié)合，共同構(gòu)建農(nóng)業(yè)大數(shù)據(jù)，并成為智慧農(nóng)業(yè)的重要組成部分。

關(guān)鍵詞 害蟲圖像;蟲害診斷;圖像識(shí)別;深度學(xué)習(xí);智慧農(nóng)業(yè)

中圖分類號(hào) S431.9文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 0517-6611（2018）34-0011-02

農(nóng)作物蟲害一直是農(nóng)業(yè)生產(chǎn)中的重要問(wèn)題，嚴(yán)重影響我國(guó)現(xiàn)代農(nóng)業(yè)發(fā)展、農(nóng)業(yè)增產(chǎn)和農(nóng)民增收。對(duì)蟲害進(jìn)行早期識(shí)別、監(jiān)測(cè)、預(yù)警，是控制蟲害大范圍蔓延、保護(hù)農(nóng)作物品質(zhì)、減少農(nóng)藥殘留對(duì)環(huán)境污染的重要前提和基礎(chǔ)，是防控工作的決策信息源頭。隨著計(jì)算機(jī)技術(shù)的發(fā)展，人們逐漸將圖像識(shí)別技術(shù)應(yīng)用到害蟲的識(shí)別中，通過(guò)感知害蟲的幾何信息，進(jìn)而對(duì)害蟲圖像進(jìn)行描述、存儲(chǔ)與理解，以尋找一種實(shí)時(shí)、準(zhǔn)確、高效、便捷的害蟲識(shí)別方法。

隨著信息技術(shù)的發(fā)展，我國(guó)傳統(tǒng)農(nóng)業(yè)正在向現(xiàn)代化的智慧農(nóng)業(yè)轉(zhuǎn)化。智慧農(nóng)業(yè)是指依托農(nóng)業(yè)大數(shù)據(jù)，集物聯(lián)網(wǎng)、傳感器、云計(jì)算等多種新興技術(shù)為一體，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)中的智能感知、監(jiān)測(cè)、預(yù)警、分析等，并提供精準(zhǔn)決策。田間害蟲圖像作為農(nóng)業(yè)大數(shù)據(jù)的重要組成部分，準(zhǔn)確對(duì)其進(jìn)行識(shí)別，并以此為依據(jù)進(jìn)行害蟲防治，是實(shí)現(xiàn)智慧農(nóng)業(yè)的重要環(huán)節(jié)。

1 傳統(tǒng)害蟲圖像識(shí)別方法

1.1 室內(nèi)環(huán)境下的害蟲圖像識(shí)別

農(nóng)作物害蟲的圖像識(shí)別法始于昆蟲形態(tài)學(xué)的研究，對(duì)昆蟲個(gè)體的形態(tài)特征進(jìn)行描述和識(shí)別[1]。早在20世紀(jì)80年代，Daly等[2]、Zhou等[3]嘗試?yán)贸岚驁D像上的形態(tài)對(duì)蜜蜂、蚊子等昆蟲進(jìn)行識(shí)別，取得良好的識(shí)別效果。沈佐銳等[4]是國(guó)內(nèi)較早開展利用數(shù)學(xué)形態(tài)學(xué)進(jìn)行昆蟲圖像識(shí)別的專家，并通過(guò)試驗(yàn)驗(yàn)證了將形態(tài)學(xué)特征應(yīng)用在科階元上分類的可行性。張紅濤等[5]針對(duì)儲(chǔ)糧害蟲的二值圖像提取出17個(gè)形態(tài)學(xué)特征，通過(guò)蟻群算法（ant colony optimization，ACO）優(yōu)化后，最終采用支持向量機(jī)（support vector machine，SVM）分類器對(duì)9類糧蟲進(jìn)行分類，識(shí)別率達(dá)到95%以上。Larios等[6]開發(fā)了一種石蠅自動(dòng)分類系統(tǒng)，使用3種檢測(cè)方法檢測(cè)圖像中的特征點(diǎn)，通過(guò)SIFT（scale invariant feature transform）描述算子提取特征，在4類石蠅圖像的識(shí)別分類中取得82%的準(zhǔn)確率。Wang等[7-8]使用基于內(nèi)容的圖像檢索（content-based image retrieval，CBIR）方法分別對(duì)9類昆蟲圖像和17類蝴蝶圖像進(jìn)行識(shí)別研究，均取得較好的識(shí)別效果。竺樂(lè)慶等[9]以昆蟲翅圖像為識(shí)別對(duì)象，結(jié)合韋伯局部描述子（weber local descriptor，WLD）和顏色直方圖（histogram of color，HoC）實(shí)現(xiàn)了昆蟲圖像的自動(dòng)分類，在包含10種共576個(gè)樣本的昆蟲圖像數(shù)據(jù)庫(kù)中進(jìn)行測(cè)試，取得了100%的獨(dú)立預(yù)測(cè)精度。以上研究證實(shí)了圖像識(shí)別技術(shù)在害蟲識(shí)別領(lǐng)域中的可行性，為害蟲圖像識(shí)別打下了堅(jiān)實(shí)的基礎(chǔ)，為后續(xù)的研究提供了充足的理論依據(jù)。但是，早期的研究大多是在實(shí)驗(yàn)室的理想環(huán)境下實(shí)現(xiàn)的，在應(yīng)用層面上還有待進(jìn)一步的研究。

1.2 自然環(huán)境下的害蟲圖像識(shí)別

為了實(shí)現(xiàn)復(fù)雜環(huán)境下的害蟲識(shí)別，眾多學(xué)者針對(duì)田間害蟲圖像易發(fā)生特征信息缺失的問(wèn)題，在多特征融合、優(yōu)化學(xué)習(xí)方法等多方面展開研究。Wen等[10]使用SIFT描述算子提取局部特征，并與全局特征相結(jié)合建立分類模型，對(duì)8類果園害蟲圖像進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到86.6%。范偉軍等[11]提出一種基于扇形變換的姿態(tài)不變胡氏矩特征向量提取方法，對(duì)24類不同姿態(tài)幼蟲圖像的識(shí)別準(zhǔn)確率為100%。Yao等[12]將顏色、性狀、紋理等156個(gè)特征提取到SVM分類器中，通過(guò)7次檢查驗(yàn)證法，對(duì)4類鱗翅目害蟲的識(shí)別準(zhǔn)確率為97.5%。Han等[13]基于數(shù)字信號(hào)處理（digital signal processing，DSP）和3G無(wú)線通信技術(shù)實(shí)現(xiàn)了田間害蟲的實(shí)時(shí)分類，對(duì)6類常見田間害蟲圖像的平均識(shí)別準(zhǔn)確率為82%。李文勇等[14]提出一種基于顏色和紋理等與形態(tài)無(wú)關(guān)的特征相結(jié)合的多姿態(tài)害蟲分類方法，對(duì)黏蟲、桃蛀螟等4類成蟲圖像進(jìn)行分類。Zhang等[15]分別提取害蟲圖像的顏色、形狀和紋理特征，通過(guò)Fisher分類器計(jì)算單特征的權(quán)系數(shù)，最終通過(guò)加權(quán)平均得到融合方法，并利用水稻、油菜、玉米等34類害蟲圖像進(jìn)行驗(yàn)證，結(jié)果表明該方法具有較高的識(shí)別精度。謝成軍等[16]提出一種基于圖像稀疏編碼與空間金字塔模型相結(jié)合的害蟲圖像表示與識(shí)別方法，該方法利用大量非標(biāo)注的自然圖像塊構(gòu)造過(guò)完備學(xué)習(xí)字典，并運(yùn)用該學(xué)習(xí)字典實(shí)現(xiàn)對(duì)害蟲圖像的多空間稀疏表示，最終使平均識(shí)別精度提高了9.5%。朱莉等[17]提出一種利用顏色特征的害蟲視覺識(shí)別技術(shù)，使用害蟲基準(zhǔn)圖像對(duì)其進(jìn)行直方圖反向投影并計(jì)算交叉匹配指數(shù)，將匹配指數(shù)和害蟲標(biāo)簽作為訓(xùn)練數(shù)據(jù)建立分類器，對(duì)菜蝽、菜青蟲等5類害蟲圖像的識(shí)別準(zhǔn)確率為92%。自然環(huán)境下農(nóng)作物害蟲的多樣性和復(fù)雜性給自動(dòng)識(shí)別帶來(lái)較大的困難，雖然眾多學(xué)者通過(guò)多種方法實(shí)現(xiàn)了較理想的識(shí)別效果，但是均存在適用面小的情況，只能在特定的區(qū)域、物種間實(shí)現(xiàn)應(yīng)用，對(duì)該領(lǐng)域的研究還有許多難題需要解決。

2 深度學(xué)習(xí)在害蟲圖像識(shí)別中的應(yīng)用

近年來(lái)，深度學(xué)習(xí)的興起使人工智能的各個(gè)領(lǐng)域都有了突破性的發(fā)展，其特有的特征描述方法，可以在訓(xùn)練數(shù)據(jù)的驅(qū)動(dòng)下自主學(xué)習(xí)特征，具有良好的普適性和自適應(yīng)性。作為深度學(xué)習(xí)中的經(jīng)典代表，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）在圖像檢測(cè)、分類、識(shí)別方面都獲得巨大成功。相比于傳統(tǒng)的手動(dòng)或依賴先驗(yàn)知識(shí)提取特征的算法，CNN可以直接在圖像上產(chǎn)生局部感知區(qū)域，通過(guò)多層的過(guò)濾器逐層訓(xùn)練，自主獲得圖像中的關(guān)鍵特征，大大減少了由于人為誤判而產(chǎn)生的訓(xùn)練誤差[18]。程曦等[19]分別使用GoogLeNet和AlexNet模型對(duì)儲(chǔ)糧害蟲圖像進(jìn)行識(shí)別，準(zhǔn)確率均達(dá)到95%以上。Liu等[20]通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)一種利用局部特征學(xué)習(xí)的農(nóng)業(yè)害蟲分類器，在測(cè)試數(shù)據(jù)集上的平均精度為95.1%。楊國(guó)國(guó)等[21]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，能從茶園環(huán)境中快速、準(zhǔn)確地對(duì)23種害蟲進(jìn)行定位和識(shí)別，識(shí)別準(zhǔn)確率為91.5%。Glickd等[22]采用深層次卷積神經(jīng)網(wǎng)絡(luò)（hierarchical deep CNNs，HD-CNNs）以21萬(wàn)余張昆蟲圖像為樣本，對(duì)277類昆蟲圖像進(jìn)行識(shí)別分類，top-10錯(cuò)誤率為14.01%。針對(duì)害蟲圖像種間相似性高、種內(nèi)變化性大、姿態(tài)變化豐富、易受作物遮擋等特點(diǎn)，CNN相比于傳統(tǒng)方法具有更好的適應(yīng)，并能在多類害蟲圖像識(shí)別中取得更高的精度。近年來(lái)，依托互聯(lián)網(wǎng)而實(shí)現(xiàn)的數(shù)據(jù)共享，使得數(shù)據(jù)積累的速度獲得顯著進(jìn)展;而算法和計(jì)算機(jī)硬件的迅速發(fā)展，也使得計(jì)算能力獲得突破性的發(fā)展，這些都為深度學(xué)習(xí)的崛起奠定了堅(jiān)實(shí)的基礎(chǔ)。

3 害蟲圖像識(shí)別技術(shù)發(fā)展存在的問(wèn)題與形勢(shì)

3.1 傳統(tǒng)方法的局限性

現(xiàn)有的傳統(tǒng)識(shí)別方法多為半交互式，需要人為選擇特征參數(shù)，而特征的選擇需要大量試驗(yàn)和經(jīng)驗(yàn)，在這個(gè)過(guò)程中如何選擇最佳參數(shù)是尚未被很好解決的一個(gè)難題。此外，傳統(tǒng)方法大多是針對(duì)小范圍內(nèi)的害蟲識(shí)別展開的研究，而田間害蟲種類復(fù)雜，同一片區(qū)域內(nèi)可能出現(xiàn)數(shù)十種甚至上百種害蟲，應(yīng)用難度大。

3.2 深度學(xué)習(xí)的局限性

深度學(xué)習(xí)對(duì)硬件要求較高，且需要海量的帶標(biāo)注數(shù)據(jù)，深度學(xué)習(xí)的發(fā)展歷程就是計(jì)算能力和數(shù)據(jù)的積累。大多數(shù)害蟲都具有較強(qiáng)的應(yīng)激性、隱蔽性，且田間環(huán)境復(fù)雜，存在較多不可預(yù)知因素，害蟲圖像的采集難度遠(yuǎn)大于其他圖像，數(shù)據(jù)量遠(yuǎn)遠(yuǎn)達(dá)不到深度學(xué)習(xí)的標(biāo)準(zhǔn)。此外，因?yàn)楹οx存在種間相似度高的特點(diǎn)，有些害蟲需要采集到足夠多的高分辨率樣本圖像才能構(gòu)建可用的識(shí)別模型，在數(shù)據(jù)積累難度大的同時(shí)，也對(duì)計(jì)算能力提出較大的挑戰(zhàn)。故國(guó)內(nèi)外應(yīng)用深度學(xué)習(xí)來(lái)進(jìn)行害蟲圖像識(shí)別的研究還處于探索階段，實(shí)時(shí)控制還有待進(jìn)一步改善和提高。

3.3 害蟲圖像識(shí)別的發(fā)展形勢(shì)

害蟲圖像識(shí)別屬于信息技術(shù)與農(nóng)業(yè)技術(shù)的交叉學(xué)科，害蟲圖像的采集難度大、圖像信息復(fù)雜，其發(fā)展進(jìn)度在整個(gè)圖像識(shí)別領(lǐng)域中進(jìn)展較慢。相較于傳統(tǒng)方法，在田間復(fù)雜環(huán)境下進(jìn)行害蟲圖像的實(shí)時(shí)識(shí)別，深度學(xué)習(xí)無(wú)疑具有更好的適應(yīng)性，也是必然的發(fā)展趨勢(shì)。如何降低深度學(xué)習(xí)對(duì)樣本量的需求，以及降低田間復(fù)雜環(huán)境對(duì)識(shí)別精度的影響是急需解決的問(wèn)題，而近年來(lái)遷移學(xué)習(xí)的出現(xiàn)使得該領(lǐng)域擁有較好的發(fā)展前景。而傳統(tǒng)方法更適用于小樣本處理，當(dāng)圖像樣本量不足時(shí)，無(wú)法滿足深度學(xué)習(xí)模型的構(gòu)建需求，傳統(tǒng)方法更易于實(shí)現(xiàn)，對(duì)復(fù)雜度較低的圖像也可以取得較高的識(shí)別精度。

4 結(jié)語(yǔ)

鑒于農(nóng)作物害蟲種類繁多，其形態(tài)、習(xí)性都會(huì)隨著環(huán)境不斷改變，識(shí)別模型也需要根據(jù)實(shí)際情況不斷完善。在這種形勢(shì)下，構(gòu)建基于深度學(xué)習(xí)的害蟲圖像識(shí)別模型，并從樣本和算法兩方面進(jìn)行系統(tǒng)優(yōu)化，是實(shí)現(xiàn)田間復(fù)雜環(huán)境下害蟲自動(dòng)識(shí)別的發(fā)展趨勢(shì)。將深度學(xué)習(xí)技術(shù)與傳感器相結(jié)合，實(shí)現(xiàn)田間農(nóng)作物害蟲自動(dòng)化、智能化的實(shí)時(shí)監(jiān)測(cè)，并通過(guò)物聯(lián)網(wǎng)將數(shù)據(jù)信息融入到農(nóng)業(yè)大數(shù)據(jù)當(dāng)中，構(gòu)建基于“互聯(lián)網(wǎng)+”的信息化服務(wù)平臺(tái)，真正實(shí)現(xiàn)智慧農(nóng)業(yè)。

參考文獻(xiàn)

[1] 周志艷，羅錫文，張揚(yáng)，等.農(nóng)作物蟲害的機(jī)器檢測(cè)與監(jiān)測(cè)技術(shù)研究進(jìn)展[J].昆蟲學(xué)報(bào)，2010，53（1）：98-109.

[2] DALY H V，HOELMER K，NORMAN P，et al.Computer-assisted measurement and identification of honey bees （Hymenoptera：Apidae）[J].Annals of the entomological society of America，1982，75（6）：591-594.

[3] ZHOU Y H，LING L B，ROHLF F J.Automatic description of the venation of mosquito wings from digitized images[J].Systematic zoology，1985，34（3）：346-358.

[4] 沈佐銳，趙汗青，于新文.數(shù)學(xué)形態(tài)學(xué)在昆蟲分類學(xué)上的應(yīng)用研究.Ⅲ.在科階元上的應(yīng)用研究[J].昆蟲學(xué)報(bào)，2003，46（3）：339-344.

[5] 張紅濤，毛罕平，邱道尹.儲(chǔ)糧害蟲圖像識(shí)別中的特征提取[J].農(nóng)業(yè)工程學(xué)報(bào)，2009，25（2）：126-130.

[6] LARIOS N，DENG H L，ZHANG W，et al.Automated insect identification through concatenated histograms of local appearance features：Feature vector generation and region detection for deformable objects[J].Machine vision & applications，2008，19（2）：105-123.

[7] WANG J N，LIN C T，JI L Q，et al.A new automatic identification system of insect images at the order level[J].Knowledge-based systems，2012，33（3）：102-110.

[8] WANG J N，JI L Q，LIANG A P，et al.The identification of butterfly families using content-based image retrieval[J].Biosystems engineering，2012，111（1）：24-32.

[9] 竺樂(lè)慶，張大興，張真.基于韋伯局部描述子和顏色直方圖的鱗翅目昆蟲翅圖像特征描述與種類識(shí)別[J].昆蟲學(xué)報(bào)，2015，58（4）：419-426.

[10] WEN C L，GUYER D.Image-based orchard insect automated identification and classification method[J].Computer and electronics in agriculture，2012，89（3）：110-115.

[11] 范偉軍，周敏，張鈺雰.彎曲姿態(tài)蛾類幼蟲的自動(dòng)識(shí)別方法研究[J].昆蟲學(xué)報(bào)，2012，55（6）：727-735.

[12] YAO Q，LV? J，LIU Q J，et al.An insect imaging system to automate rice light-trap pest identification[J].Journal of integrative agriculture，2012，11（6）：978-985.

[13] HAN R Z，HE Y，LIU F.Feasibility study on a portable field pest classification system design based on DSP and 3G wireless communication technology[J].Sensors，2012，12（3）：3118-3130.

[14] 李文勇，李明，陳梅香，等.基于機(jī)器視覺的作物多姿態(tài)害蟲特征提取與分類方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30（14）：154-162.

[15] ZHANG J，WANG R J，XIE C J，et al.Crop pests image recognition based on multi-features fusion[J].Journal of computational information systems，2014，10（12）：5121-5129.

[16] 謝成軍，李瑞，董偉，等.基于稀疏編碼金字塔模型的農(nóng)田害蟲圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（17）：144-151.

[17] 朱莉，羅靖，徐勝勇，等.基于顏色特征的油菜害蟲機(jī)器視覺診斷研究[J].農(nóng)機(jī)化研究，2016（6）：55-58，121.

[18] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.New York：Curran Associates Inc.，2012：1097-1105.

[19] 程曦，吳云志，張友華，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的儲(chǔ)糧害蟲圖像識(shí)別[J].中國(guó)農(nóng)學(xué)通報(bào)，2018，31（1）：154-158.

[20] LIU Z Y，GAO J F，YANG G G，et al.Localization and classification of paddy field pests using a saliency map and deep convolutional neural network[J].Scientific reports，2016，6：1-12.

[21] 楊國(guó)國(guó)，鮑一丹，劉子毅.基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（6）：156-162.

[22] GLICKD J，MILLER K.Insect classification with heirarchical deep convolutional neural networks.Convolutional neural networks for visual recognition （CS231N）[M].California：Stanford University，2017.