農(nóng)業(yè)害蟲智能視覺檢測(cè)研究綜述

王春桃 梁煒健 郭慶文 鐘浩 甘雨 肖德琴

摘要：農(nóng)業(yè)害蟲智能視覺檢測(cè)是實(shí)現(xiàn)蟲情自動(dòng)實(shí)時(shí)監(jiān)測(cè)的重要技術(shù)，首先介紹經(jīng)典機(jī)器學(xué)習(xí)技術(shù)在國(guó)內(nèi)外害蟲智能視覺檢測(cè)中的應(yīng)用，然后整理以R-CNN、Fast R-CNN、Faster R-CNN、SSD和YOLO等深度學(xué)習(xí)技術(shù)為核心的新一代害蟲智能視覺檢測(cè)方法的研究進(jìn)展。接著，剖析農(nóng)業(yè)害蟲智能視覺檢測(cè)方法在研究及實(shí)際應(yīng)用中存在的問題，其中基于經(jīng)典機(jī)器學(xué)習(xí)的方法存在特征捕獲能力和檢測(cè)精度較低、資源消耗較大以及魯棒性較弱等問題；基于深度學(xué)習(xí)的方法比基于經(jīng)典機(jī)器學(xué)習(xí)的方法擁有更高檢測(cè)性能，但存在數(shù)據(jù)分布不同和目標(biāo)較小時(shí)識(shí)別效果較差、檢測(cè)精度低和速度慢等問題。最后，針對(duì)基于深度學(xué)習(xí)的方法在農(nóng)業(yè)昆蟲數(shù)據(jù)庫(kù)的制作、數(shù)據(jù)分布偏移的魯棒性處理、深度特征學(xué)習(xí)、多場(chǎng)景應(yīng)用4個(gè)方面對(duì)未來研究方向進(jìn)行展望。

關(guān)鍵詞：蟲情監(jiān)測(cè)；計(jì)算機(jī)視覺；目標(biāo)檢測(cè)；機(jī)器學(xué)習(xí)；深度學(xué)習(xí)

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：20955553 （2023） 070207

07

Review on computer-vision-based detection of agricultural pests

Wang Chuntao1， 2， 3， 4， Liang Weijian1， Guo Qingwen1， Zhong Hao1， Gan Yu1， Xiao Deqin1， 2， 3

（1. College of Mathematics and Informatics， South China Agricultural University， Guangzhou， 510642， China;

2. Key Laboratory of Smart Agricultural Technology in Tropical South China， Ministry of Agriculture and

Rural Affairs， Guangzhou， 510642， China; 3. Guangdong Provincial Key Laboratory of Agricultural Artificial

Intelligence （GDKL-AAI）， Guangzhou， 510642， China; 4. Guangzhou Key Laboratory of

Intelligent Agriculture， Guangzhou， 510642， China）

Abstract： Vision-based detection of agricultural pests is an important technology for achieving automated and real-time monitoring of pest conditions. Firstly， this paper introduces the application of traditional machine learning techniques in the vision-based detection of pests in China and internationally. Then， this paper summarizes the research progress of the new generation of vision-based detection methods for pests， which are based on deep learning techniques such as R-CNN， Fast R-CNN， Faster R-CNN， SSD， and YOLO. Next， this paper analyzes the problems that exist in the research and practical applications of vision-based detection methods for agricultural pests. The traditional machine learning-based methods have problems such as low feature capture ability， detection accuracy， and robustness， as well as high resource consumption. The deep learning-based methods have higher detection performance than the traditional machine learning-based methods but have problems such as poor performance on small and differently distributed targets， low detection accuracy， and slow speed. Finally， this paper discusses possible research directions in the future for the vision-based detection of agricultural pests based on deep learning techniques， including the development of public resources for agricultural pest image data， robust handling for data distribution shifts， deep feature learning， and multi-scene applications.

Keywords： pest monitoring; computer vision; object detection; machine learning; deep learning

0 引言

我國(guó)作為農(nóng)業(yè)大國(guó)，氣候環(huán)境優(yōu)越，光熱水資源充足，特別適合種植業(yè)發(fā)展。以蔬菜產(chǎn)業(yè)為例，全國(guó)農(nóng)業(yè)技術(shù)推廣服務(wù)中心的統(tǒng)計(jì)數(shù)據(jù)顯示，截至2021年底，我國(guó)累計(jì)登記的蔬菜品種高達(dá)16 610個(gè)［1］。然而，優(yōu)越的氣候環(huán)境也為害蟲的生長(zhǎng)繁殖提供了有利條件，連年頻發(fā)的農(nóng)業(yè)蟲害嚴(yán)重地影響了種植業(yè)的健康發(fā)展。因此，害蟲防控具有十分重要的意義。

針對(duì)保護(hù)地作物蟲害發(fā)生特點(diǎn)，我國(guó)主要的害蟲防控策略為“實(shí)時(shí)監(jiān)測(cè)、提前預(yù)防、壓前控后、多策并舉”，以減少蟲源基數(shù)技術(shù)為基礎(chǔ)，以釋放天敵和應(yīng)用生物農(nóng)藥為主要手段，將害蟲危害損失控制在經(jīng)濟(jì)危害水平以下［2］。其中，實(shí)時(shí)監(jiān)測(cè)是害蟲防控的重要前提?，F(xiàn)階段我國(guó)大部分地區(qū)普遍采用人工方式進(jìn)行蟲情監(jiān)測(cè)，先采用田間拍查、燈誘和粘蟲板誘捕等方式捕獲害蟲，再由植保專家根據(jù)害蟲特征進(jìn)行視覺檢測(cè)，從而估計(jì)蟲源基數(shù)。然而人工方式勞動(dòng)和時(shí)間成本日益增高，且我國(guó)基層農(nóng)技測(cè)報(bào)人員的逐年流失，傳統(tǒng)蟲情監(jiān)測(cè)面臨巨大威脅。為此，我國(guó)現(xiàn)代農(nóng)業(yè)需加快完善蟲情自動(dòng)監(jiān)測(cè)基礎(chǔ)設(shè)施建設(shè)。

害蟲智能視覺檢測(cè)是除昆蟲雷達(dá)外實(shí)現(xiàn)蟲情自動(dòng)監(jiān)測(cè)的一種重要技術(shù)手段，為方便相關(guān)科研人員和農(nóng)業(yè)工作者快速了解害蟲智能視覺檢測(cè)研究現(xiàn)狀，本文對(duì)該領(lǐng)域進(jìn)行綜述。首先，本文介紹了經(jīng)典機(jī)器學(xué)習(xí)技術(shù)在國(guó)內(nèi)外害蟲智能視覺檢測(cè)中的研究現(xiàn)狀；然后，整理了以深度學(xué)習(xí)技術(shù)為核心的新一代害蟲智能視覺檢測(cè)方法的研究進(jìn)展；接著，剖析了農(nóng)業(yè)害蟲智能視覺檢測(cè)方法在研究及實(shí)際應(yīng)用中存在的問題；最后，針對(duì)基于深度學(xué)習(xí)的方法對(duì)未來研究方向進(jìn)行了展望。

1 害蟲智能視覺檢測(cè)概述

害蟲智能視覺檢測(cè)由農(nóng)業(yè)物聯(lián)網(wǎng)和計(jì)算機(jī)視覺檢測(cè)構(gòu)成，其中計(jì)算機(jī)視覺檢測(cè)是實(shí)現(xiàn)害蟲智能視覺檢測(cè)的核心構(gòu)件。根據(jù)所采用的計(jì)算機(jī)視覺檢測(cè)技術(shù)，常見的害蟲智能視覺檢測(cè)方法可分為兩類：基于經(jīng)典機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。

在早期基于經(jīng)典機(jī)器學(xué)習(xí)的害蟲智能視覺檢測(cè)方法中，常用的評(píng)價(jià)指標(biāo)有：平均識(shí)別準(zhǔn)確率（Average Accuracy of Recognition，AAR）和平均計(jì)數(shù)準(zhǔn)確率（Average Accuracy of Counting，AAC）。在基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)方法中，常用的評(píng)價(jià)指標(biāo)則包括：查準(zhǔn)率（Precision，P）、查全率（Recall，R）、平均精確度（Average Precision，AP）、平均精確度均值（mean of Average Precision，mAP）、調(diào)和均值（F-Measure，F(xiàn)1）和平均準(zhǔn)確率（Average Accuracy，AA）。這些指標(biāo)的具體定義可參閱文獻(xiàn)［3-4］。一般而言，上述評(píng)價(jià)指標(biāo)值越高表明算法在給定數(shù)據(jù)集上的檢測(cè)效果越好。

2 基于經(jīng)典機(jī)器學(xué)習(xí)的害蟲智能視覺檢測(cè)

在2012年深度學(xué)習(xí)興起之前，研究人員主要基于經(jīng)典機(jī)器學(xué)習(xí)設(shè)計(jì)害蟲智能視覺檢測(cè)方法。這些方法大致可分為5類：基于支持向量機(jī)（Support Vector Machine，SVM）的方法、基于反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)的方法、基于決策樹的方法、基于聚類的方法和基于連通域分析的方法。其中，前3類為有監(jiān)督學(xué)習(xí)，后2類為無監(jiān)督學(xué)習(xí)。這些方法的主要步驟歸納如下。

1）? 由農(nóng)技專家分析害蟲特征。

2）? 根據(jù)害蟲特征使用預(yù)處理技術(shù)初步定位害蟲區(qū)域并設(shè)計(jì)相應(yīng)特征算子。

3）? 使用人工設(shè)計(jì)的特征算子提取圖中害蟲的特征向量。

4）? 基于特征向量用統(tǒng)計(jì)學(xué)習(xí)方法實(shí)現(xiàn)圖像害蟲智能視覺檢測(cè)。

2.1 基于支持向量機(jī)的方法

韓瑞珍［5］利用圖像分割和SVM結(jié)合終端設(shè)備搭建了基于物聯(lián)網(wǎng)的害蟲遠(yuǎn)程檢測(cè)系統(tǒng)。Yao等［67］和楊國(guó)國(guó)［8］基于Haar特征和SVM等設(shè)計(jì)了中華稻蝗與稻飛虱檢測(cè)器。田冉等［9］和Rustia等［10］結(jié)合紅外傳感器和SVM圖像處理方法自動(dòng)檢測(cè)果樹害蟲。肖德琴等［11］結(jié)合SIFT特征、邊緣檢測(cè)、視覺詞袋和SVM等自動(dòng)統(tǒng)計(jì)出黃板圖像中各類蔬菜害蟲的數(shù)量，平均正確率達(dá)93%。

總體而言，支持向量機(jī)對(duì)小樣本非線性害蟲圖像數(shù)據(jù)具有良好泛化能力，在農(nóng)業(yè)害蟲智能視覺檢測(cè)中得到了較為廣泛的應(yīng)用。然而，支持向量機(jī)需要消耗空間存儲(chǔ)訓(xùn)練樣本和核矩陣，當(dāng)數(shù)據(jù)量較大時(shí)面臨巨大挑戰(zhàn)，支持向量機(jī)的核函數(shù)及其超參數(shù)設(shè)置也較難確定。

2.2 基于決策樹的方法

卜俊怡等［12］提出溫室番茄作物害蟲檢測(cè)方法，算法先基于誘蟲板圖像背景均勻化對(duì)圖中害蟲進(jìn)行分割，然后以顏色特征、形狀特征和紋理特征等作為輸入，最后用隨機(jī)森林算法識(shí)別感興趣區(qū)域內(nèi)的害蟲種類。

決策樹是直觀運(yùn)用概率分析的一種圖解法，便于理解和解釋，但是決策樹非常容易產(chǎn)生過擬合問題，并且簡(jiǎn)單的if-then規(guī)則使得決策樹較難學(xué)習(xí)到數(shù)據(jù)特征間的復(fù)雜關(guān)系。

2.3 基于反向傳播神經(jīng)網(wǎng)絡(luò)的方法

鄒修國(guó)等［13］用灰度圖和大津閾值法對(duì)圖像進(jìn)行預(yù)處理提取出稻飛虱的所在位置，隨后基于4種不變矩和BP神經(jīng)網(wǎng)絡(luò)對(duì)白背飛虱、褐飛虱和灰飛虱進(jìn)行識(shí)別。李震等［14］提出實(shí)蠅成蟲圖像識(shí)別算法，用BP神經(jīng)網(wǎng)絡(luò)識(shí)別圖中橘小實(shí)蠅、南瓜實(shí)蠅和瓜實(shí)蠅，算法準(zhǔn)確率達(dá)95.56%，單次識(shí)別平均耗時(shí)500ms。

該類方法一般能夠取得獲得良好檢測(cè)準(zhǔn)確率，盡管反向傳播神經(jīng)網(wǎng)絡(luò)有點(diǎn)類似近年出現(xiàn)的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)中的全連接層，但相比深度學(xué)習(xí)其局限性在于過度依賴人工設(shè)計(jì)特征提取器進(jìn)行特征提取，還可能陷于局部最優(yōu)。

2.4 基于聚類的方法

李震等［15］利用K-means聚類檢測(cè)圖像中的柑橘紅蜘蛛，在試驗(yàn)中算法不僅在高清害蟲圖像上取得了好成績(jī)，也在低清晰度圖像上獲得了88%的識(shí)別率，但是該方法消耗時(shí)間過長(zhǎng)。王志彬等［16］提出了基于K-means聚類和橢圓擬合方法的白粉虱計(jì)數(shù)算法。

聚類方法原理簡(jiǎn)單，不需要額外的訓(xùn)練操作，運(yùn)行簡(jiǎn)單且效率高。但該類方法很難區(qū)分多類別害蟲，且K-means等聚類算法時(shí)間復(fù)雜度很高，對(duì)初始參數(shù)值的設(shè)置和離群點(diǎn)很敏感，當(dāng)圖像背景較復(fù)雜時(shí)該類方法作用有限。

2.5 基于連通域分析的方法

李季等［17］利用圖像灰度處理和大津閾值法對(duì)黃色誘蟲板上的枸杞害蟲進(jìn)行預(yù)處理，然后通過計(jì)算連通區(qū)域個(gè)數(shù)實(shí)現(xiàn)枸杞害蟲計(jì)數(shù)。

基于連通域分析的方法較簡(jiǎn)單，但多數(shù)情況下只能用于計(jì)數(shù)，而且無法處理復(fù)雜的多種類害蟲的應(yīng)用場(chǎng)景。

基于經(jīng)典機(jī)器學(xué)習(xí)的害蟲智能視覺檢測(cè)步驟較為簡(jiǎn)單，對(duì)運(yùn)行環(huán)境要求不高。其涉及的預(yù)處理技術(shù)中，SIFT、HOG技術(shù)對(duì)遮擋、平移、旋轉(zhuǎn)、噪聲等較魯棒，適用于檢測(cè)作物中的害蟲，但對(duì)圖片清晰度要求較高；基于HSV顏色特征的技術(shù)不易受明度影響，可以提高圖像中害蟲與背景的對(duì)比度；基于LBP、Harr特征和紅外傳感器的技術(shù)對(duì)光照較魯棒，但是對(duì)遮擋比較敏感；基于FAST的技術(shù)速度較快，但是對(duì)圖像尺度、噪聲等較為敏感。

基于聚類的方法和基于連通域分析的方法屬于無監(jiān)督方法，這兩類方法較為簡(jiǎn)單且運(yùn)行效率較高，具有一定的可行效果；但這兩類方法多數(shù)只能用于分類和計(jì)數(shù)，無法有效處理多種類害蟲圖片。相比之下，基于支持向量機(jī)、決策樹和反向傳播神經(jīng)網(wǎng)絡(luò)的方法屬于有監(jiān)督的方法，它們能夠有效識(shí)別多種類害蟲而被廣泛應(yīng)用；其中支持向量機(jī)和反向傳播神經(jīng)網(wǎng)絡(luò)由于對(duì)害蟲圖像具有更好的泛化能力，因此比決策樹更受歡迎。

3 基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)

相比于經(jīng)典機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）具有自適應(yīng)提取特征的優(yōu)勢(shì)。在CNN基礎(chǔ)上，研究人員拓展出諸多圖像分類和檢測(cè)網(wǎng)絡(luò)，如AlexNet［18］、VGG［19］、GoogLeNet［20］、ResNet［21］和EfficientNet［22］等可用于視覺識(shí)別，在ILSVRC數(shù)據(jù)集上的性能遠(yuǎn)超經(jīng)典機(jī)器學(xué)習(xí)算法；R-CNN［23］、Fast R-CNN［24］、Faster R-CNN［25］、YOLO［26］和SSD［27］等可用于視覺檢測(cè)，在Pascal VOC和COCO等數(shù)據(jù)集上取得了突破性成績(jī)。鑒于CNN取得的巨大成功，研究人員開始基于CNN設(shè)計(jì)新一代害蟲智能視覺檢測(cè)方法，它們大致可分為兩類：以R-CNN、FastR-CNN、Faster R-CNN等為主要模塊的兩階段方法和以YOLO、SSD等為主要模塊的單階段方法，具體介紹如下。

3.1 兩階段方法

Liu等［28］和楊國(guó)國(guó)等［29］通過圖像顯著性獲取圖中害蟲位置，接著用AlexNet網(wǎng)絡(luò)對(duì)害蟲的種類進(jìn)行識(shí)別，算法的mAP和AA指標(biāo)超過90%。Jiao等［30］將無錨點(diǎn)區(qū)域建議網(wǎng)絡(luò)和Fast R-CNN相結(jié)合，實(shí)現(xiàn)了對(duì)圖像中24種害蟲的精準(zhǔn)定位和精確分類。Dong等［31］基于Fast R-CNN提出CRA-Net網(wǎng)絡(luò)，顯著提高了對(duì)小目標(biāo)害蟲的檢測(cè)能力。Wang等［32］改進(jìn)了特征提取網(wǎng)絡(luò)并結(jié)合Fast R-CNN對(duì)21類害蟲進(jìn)行檢測(cè)，R和mAP分別達(dá)到89%和78.7%。

Shen等［33］用Inception結(jié)合Faster R-CNN實(shí)現(xiàn)害蟲視覺檢測(cè)。肖德琴等［34］基于ResNet-101和Faster R-CNN檢測(cè)飛蛾與黃板蔬菜害蟲，mAP達(dá)到87.14%。Li等［35］基于FasterR-CNN對(duì)儲(chǔ)糧害蟲等微小害蟲進(jìn)行檢測(cè)，mAP達(dá)到了95.2%。

研究人員也提出了其他兩階段害蟲智能視覺檢測(cè)方法，Li等［36］先用區(qū)域建議網(wǎng)絡(luò)和NMS生成感興趣區(qū)域，然后用深度網(wǎng)絡(luò)檢測(cè)感興趣區(qū)域中的害蟲，仿真實(shí)驗(yàn)表明mAP達(dá)到了88.5%。Wang等［37］基于兩階段框架設(shè)計(jì)了一個(gè)級(jí)聯(lián)害蟲檢測(cè)模型，先通過上下文感知注意網(wǎng)絡(luò)對(duì)圖像進(jìn)行粗分類，然后用CNN檢測(cè)圖中害蟲，實(shí)驗(yàn)結(jié)果優(yōu)于先進(jìn)的目標(biāo)檢測(cè)方法。Liu等［38］通過改進(jìn)特征提取網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)提出一個(gè)新的兩階段害蟲檢測(cè)算法，在工業(yè)環(huán)境下mAP性能比Faster R-CNN高5.03%。

3.2 單階段方法

兩階段檢測(cè)方法檢測(cè)精度雖高，但其計(jì)算成本也相應(yīng)較高，因此研究人員開始基于單階段方法研究害蟲智能視覺檢測(cè)方法。Ding等［39］基于全卷積CNN和滑動(dòng)窗口提出多尺度害蟲檢測(cè)器，可用于檢測(cè)誘捕器上捕捉到的飛蛾并進(jìn)而實(shí)現(xiàn)飛蛾計(jì)數(shù)。這類方法具有顯著的速度優(yōu)勢(shì)，但精度不如Faster R-CNN。后來出現(xiàn)的YOLO和SSD框架，都繼承了這類方法的速度優(yōu)勢(shì)，并不斷提升其檢測(cè)精度。

Partel等［40］開發(fā)出一款農(nóng)用摩托車自動(dòng)捕獲亞洲柑橘木虱，接著用YOLOv1和YOLOv3檢測(cè)所拍攝圖像中的亞洲柑橘木虱。Chen等［41］和Zha等［42］設(shè)計(jì)了基于YOLOv4的害蟲檢測(cè)系統(tǒng)，F(xiàn)1和mAP性能均超過了88%。Chen等［43］優(yōu)化了YOLOv3，并結(jié)合無人機(jī)實(shí)現(xiàn)了果園害蟲精準(zhǔn)農(nóng)藥噴灑，不僅提高了作物產(chǎn)量，還減少了對(duì)環(huán)境的破壞。He等［44］基于改進(jìn)的SSD提出了作物害蟲檢測(cè)方法。

兩階段和單階段方法的基本框架分別如圖1、圖2所示，兩種方法的最大區(qū)別在于是否包括生成區(qū)域建議的預(yù)處理步驟。兩階段方法識(shí)別精度較高但速度相對(duì)較慢，單階段方法可以實(shí)現(xiàn)端對(duì)端、單階段對(duì)害蟲進(jìn)行檢測(cè)，極大地提高了運(yùn)行速度，滿足了實(shí)時(shí)監(jiān)測(cè)的需求，但是檢測(cè)精度一般比兩階段方法低。

目前，科研人員普遍采用基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)方法，主要從特征提取網(wǎng)絡(luò)、候選框的選取、訓(xùn)練策略等方面對(duì)現(xiàn)有方法進(jìn)行改進(jìn)。在特征提取網(wǎng)絡(luò)的選取上，兩階段方法會(huì)引入層數(shù)較深的網(wǎng)絡(luò)，如ResNet、DenseNet，這些網(wǎng)絡(luò)可以提取較高層的語義信息而不會(huì)出現(xiàn)梯度消失和梯度爆炸的問題，因此相比傳統(tǒng)的VGG、GooLeNet更受歡迎；而單階段方法則傾向于選擇輕量級(jí)網(wǎng)絡(luò)，如EfficientNet、MobileNet，便于在移動(dòng)端上加速運(yùn)行。而在候選框的選取上，大多數(shù)研究仍然采用基于NMS的方法，該方法原理簡(jiǎn)單，但是運(yùn)算效率和定位準(zhǔn)確性還有待提高。在訓(xùn)練策略方面，注意力機(jī)制逐漸得到應(yīng)用，通過增強(qiáng)對(duì)空間、通道維度的關(guān)注來提升模型的檢測(cè)效果；一些研究還通過使用數(shù)據(jù)增強(qiáng)、特征融合、困難樣本挖掘等策略來學(xué)習(xí)豐富的語義特征和提高模型在多場(chǎng)景的檢測(cè)性能。

4 存在問題

雖然基于經(jīng)典機(jī)器學(xué)習(xí)的方法在害蟲智能視覺檢測(cè)上取得了不錯(cuò)的效果，但依然存在著一些尚未解決的問題，具體如下。

1） 人工設(shè)計(jì)特征算子難以捕獲深層語義特征。不少研究人員基于Haar、HOG等人工特征設(shè)計(jì)了出了許多檢測(cè)模型，這些方法可以較好地描述淺層特征，提升了害蟲智能視覺檢測(cè)的效果。但在實(shí)際應(yīng)用場(chǎng)景下，由于人工設(shè)計(jì)的特征算子魯棒性較差，常常會(huì)因?yàn)檎趽酢⒐庹?、距離等因素導(dǎo)致難以提取到特征，且提取到的特征所包含的信息有限。

2）? 數(shù)據(jù)量大時(shí)無法滿足農(nóng)業(yè)生產(chǎn)需要。近年來，研究人員通過改進(jìn)特征提取器、分類器等在害蟲智能視覺檢測(cè)上取得了不錯(cuò)的進(jìn)展，對(duì)數(shù)據(jù)量較少的害蟲數(shù)據(jù)集具有良好的檢測(cè)能力，但大部分是基于滑動(dòng)窗口的區(qū)域選擇方式導(dǎo)致檢測(cè)效率低下，當(dāng)害蟲數(shù)據(jù)量較大、類別較多時(shí)則顯示出計(jì)算能力的不足。因此，在時(shí)間消耗、內(nèi)存使用、檢測(cè)精度方面都面臨巨大挑戰(zhàn)，無法滿足生產(chǎn)需要。

3） ?方法過于簡(jiǎn)單易導(dǎo)致模型過擬合，且難以表達(dá)數(shù)據(jù)特征間的復(fù)雜關(guān)系。目前，雖然現(xiàn)有基于經(jīng)典機(jī)器學(xué)習(xí)方法較多計(jì)算量小、結(jié)構(gòu)簡(jiǎn)單、容易實(shí)現(xiàn)，但是這類方法學(xué)到的特征較難表達(dá)出復(fù)雜的關(guān)系。此外，由于訓(xùn)練效果受到模型初始化參數(shù)的影響較大，容易出現(xiàn)過擬合現(xiàn)象。

相比基于經(jīng)典機(jī)器學(xué)習(xí)的方法，基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)方法擁有更高檢測(cè)性能。然而，基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)方法仍然存在一些尚未解決的問題。

1） 訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分布不同時(shí)效果不佳。目前，研究人員通過對(duì)現(xiàn)有基于深度學(xué)習(xí)方法的害蟲智能視覺檢測(cè)模型結(jié)構(gòu)和訓(xùn)練策略進(jìn)行改進(jìn)和優(yōu)化，在速度、精度上均取得了較大的進(jìn)展。但現(xiàn)有的研究普遍采用有監(jiān)督的學(xué)習(xí)方法，這類方法通常假設(shè)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)是獨(dú)立同分布的，然而現(xiàn)實(shí)中較難滿足該前提，如同類害蟲的不同圖片因拍攝角度等關(guān)系變得不同。此外，測(cè)試圖片里會(huì)出現(xiàn)與訓(xùn)練圖片不同的新種類害蟲。

2）? 害蟲目標(biāo)在圖像中占比小時(shí)較難識(shí)別。近幾年來，不少研究人員基于公開或者構(gòu)建的害蟲數(shù)據(jù)庫(kù)在害蟲智能視覺檢測(cè)方面取得了飛速的發(fā)展，現(xiàn)了害蟲細(xì)粒度的檢測(cè)。但多數(shù)情況下害蟲在圖像中的覆蓋面積較小，而且害蟲具有類間差異小而類內(nèi)差異大的特點(diǎn)，僅有少數(shù)局部辨別性區(qū)域有助于細(xì)粒度檢測(cè)，因此如何使模型以數(shù)據(jù)驅(qū)動(dòng)方式從圖像原始稀疏特征中自適應(yīng)學(xué)到關(guān)鍵知識(shí)仍是一大挑戰(zhàn)難題。此外，在自然環(huán)境中光照、模糊等復(fù)雜場(chǎng)景也會(huì)影響害蟲細(xì)粒度檢測(cè)的效果。

3）? 檢測(cè)精度和速度還有較大的提高空間。當(dāng)前主流的基于深度學(xué)習(xí)的方法主要針對(duì)目標(biāo)檢測(cè)公共數(shù)據(jù)集。對(duì)于農(nóng)業(yè)害蟲智能視覺檢測(cè)場(chǎng)景，由于蟲情是動(dòng)態(tài)變化的，因此對(duì)檢測(cè)的實(shí)時(shí)性有較高的要求。此外，準(zhǔn)確識(shí)別害蟲并定位其位置有助于采取措施，實(shí)現(xiàn)精準(zhǔn)防控，以免影響更大的范圍。然而，隨著害蟲類別數(shù)和圖像分辨率的增加、圖像背景的復(fù)雜化，結(jié)構(gòu)簡(jiǎn)單的網(wǎng)絡(luò)不足以對(duì)害蟲圖像中蘊(yùn)含的信息進(jìn)行有效表達(dá)，從而導(dǎo)致害蟲檢測(cè)精度較低，較深的網(wǎng)絡(luò)由于參數(shù)量的增加導(dǎo)致運(yùn)行速度較慢，因此如何實(shí)現(xiàn)檢測(cè)精度和運(yùn)行速度的最佳平衡是目前亟需解決地難題。

5 展望

與基于經(jīng)典機(jī)器學(xué)習(xí)的害蟲智能視覺檢測(cè)方法相比，基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)方法更具優(yōu)勢(shì)，未來在解決害蟲智能視覺檢測(cè)效果不佳、檢測(cè)精度較低、模型魯棒性較弱等問題上有著很大的潛力，具體可從以下4個(gè)方面進(jìn)行考慮。

1）? 制作完備的昆蟲圖像數(shù)據(jù)庫(kù)。針對(duì)農(nóng)業(yè)昆蟲圖像采集困難的問題，根據(jù)農(nóng)業(yè)4.0模式對(duì)農(nóng)機(jī)裝備進(jìn)行升級(jí)［45］，如設(shè)計(jì)更適合在野外作業(yè)的智能機(jī)器人、采用高清攝像頭采集害蟲圖像等，以此促進(jìn)擴(kuò)充農(nóng)業(yè)昆蟲圖像資源，同時(shí)，對(duì)昆蟲圖像進(jìn)行標(biāo)注，建立相當(dāng)規(guī)模的高質(zhì)量標(biāo)注昆蟲數(shù)據(jù)庫(kù)；制定合理數(shù)據(jù)管理策略，鼓勵(lì)農(nóng)業(yè)昆蟲圖像公共資源的共享。

2）? 針對(duì)數(shù)據(jù)分布偏移進(jìn)行魯棒性處理。對(duì)于測(cè)試圖像與訓(xùn)練圖像里同類害蟲不相似的問題，需要研究分布外泛化技術(shù)［46］。而對(duì)于可能突然出現(xiàn)訓(xùn)練集中未標(biāo)注的新種類害蟲的問題，需研究對(duì)比學(xué)習(xí)、孿生網(wǎng)絡(luò)等開放世界視覺檢測(cè)技術(shù)［47］。

3）? 加強(qiáng)深度特征的學(xué)習(xí)。鑒于CNN等深度學(xué)習(xí)在多方面性能遠(yuǎn)超經(jīng)典機(jī)器學(xué)習(xí)，應(yīng)重點(diǎn)研究基于深度學(xué)習(xí)的害蟲智能視覺檢測(cè)方法。利用Vision Transformer等構(gòu)建更優(yōu)越的骨干網(wǎng)絡(luò)使模型更好地從害蟲圖像辨別性區(qū)域中學(xué)習(xí)關(guān)鍵知識(shí)，當(dāng)數(shù)據(jù)量較少時(shí)優(yōu)先考慮基于遷移學(xué)習(xí)的檢測(cè)方法，在一個(gè)訓(xùn)練好的初始參數(shù)上進(jìn)行微調(diào)，可以大大提高害蟲檢測(cè)模型的性能。

4） 優(yōu)化網(wǎng)絡(luò)，提高多場(chǎng)景檢測(cè)效果。為了更適應(yīng)農(nóng)業(yè)場(chǎng)景下的害蟲檢測(cè)需求，可以采用現(xiàn)有的技術(shù)來優(yōu)化現(xiàn)有網(wǎng)絡(luò)。例如，可以通過參數(shù)共享的方式提升骨干網(wǎng)絡(luò)的處理效率，提升害蟲檢測(cè)運(yùn)行速度；還可以采用數(shù)據(jù)增強(qiáng)技術(shù)來增加數(shù)據(jù)集的多樣性，從而提高模型的泛化能力；同時(shí)，利用特征融合技術(shù)更好地捕捉害蟲圖像中的關(guān)鍵信息，進(jìn)一步提升害蟲檢測(cè)的精確度。

6 結(jié)語

隨著重大病蟲疫情監(jiān)測(cè)預(yù)警及防控服務(wù)體系覆蓋到村級(jí)，對(duì)實(shí)現(xiàn)自動(dòng)化、數(shù)字化、智能化監(jiān)測(cè)預(yù)警和防控指導(dǎo)服務(wù)的需求越來越大，未來農(nóng)業(yè)害蟲智能視覺檢測(cè)將起重要作用。

參 考 文 獻(xiàn)

［1］ 陳永寧， 周娜， 陳婕， 等. 我國(guó)蔬菜種業(yè)發(fā)展現(xiàn)狀、融資結(jié)構(gòu)及經(jīng)營(yíng)績(jī)效研究［J］. 北方金融， 2023（2）： 40-46.

［2］ 中華人民共和國(guó)農(nóng)業(yè)農(nóng)村部. 2021年保護(hù)地蔬菜重要害蟲生物防治技術(shù)方案［EB/OL］. http：//www.moa.gov.cn/gk/nszd_1/2021/202103/t20210311_6363457.htm， 2021-03-11.

［3］ Liu L， Ouyang W， Wang X， et al. Deep learning for generic object detection： A survey ［J］. International Journal of Computer Vision， 2020， 128（2）： 261-318.

［4］ 周志華. 機(jī)器學(xué)習(xí)［M］. 北京： 清華大學(xué)出版社， 2018.

［5］ 韓瑞珍. 基于機(jī)器視覺的農(nóng)田害蟲快速檢測(cè)與識(shí)別研究［D］. 杭州： 浙江大學(xué)， 2014.

Han Ruizhen. Research on fast detection and identification of field pests based on machine vision ［D］. Hangzhou： Zhejiang University， 2014.

［6］ Yao Q， Xian D， Liu Q， et al. Automated counting of rice planthoppers in paddy fields based on image processing ［J］. Journal of Integrative Agriculture， 2014， 13（8）： 1736-1745.

［7］ Yao Q， Chen G， Wang Z， et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing ［J］. Journal of Integrative Agriculture， 2017， 16（7）： 1547-1557.

［8］ 楊國(guó)國(guó). 基于機(jī)器視覺的中華稻蝗早期蝗蝻的識(shí)別和檢測(cè)研究［D］. 杭州： 浙江大學(xué)， 2017.

Yang Guoguo. The research of recognition and detection of oxya chinensis larva based on computer vision ［D］. Hangzhou： Zhejiang University， 2017.

［9］ 田冉， 陳梅香， 董大明， 等. 紅外傳感器與機(jī)器視覺融合的果樹害蟲識(shí)別及計(jì)數(shù)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2016， 32（20）： 195-201.

Tian Ran， Chen Meixiang， Dong Daming， et al. Identification and counting method of orchard pests based on fusion method of infrared sensor and machine vision ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（20）： 195-201.

［10］ Rustia D J A， Lin C E， Chung J Y， et al. Application of an image and environmental sensor network for automated greenhouse insect pest monitoring ［J］. Journal of Asia-Pacific Entomology， 2019， 23（1）： 17-28.

［11］ 肖德琴， 張玉康， 范梅紅， 等. 基于視覺感知的蔬菜害蟲誘捕計(jì)數(shù)算法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2018， 49（3）： 51-58.

Xiao Deqin， Zhang Yukang， Fan Meihong， et al. Vegetable pest counting algorithm based on visual perception ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（3）： 51-58.

［12］ 卜俊怡， 孫國(guó)祥， 王迎旭， 等. 基于誘蟲板圖像的溫室番茄作物害蟲識(shí)別與監(jiān)測(cè)方法［J］. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2021， 44（2）： 373-383.

Bu Junyi， Sun Guoxiang， Wang Yingxu， et al.Identification and monitoring method of tomato crop pests in greenhouse based on trapping board image ［J］. Journal of Nanjing Agricultural University， 2021， 44（2）： 373-383.

［13］ 鄒修國(guó)， 丁為民， 劉德營(yíng)， 等. 基于4種不變矩和BP神經(jīng)網(wǎng)絡(luò)的稻飛虱分類［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2013， 29（18）： 171-178.

Zou Xiuguo， Ding Weimin， Liu Deying， et al. Classification of rice planthopper based on invariant moments and BP neural network ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（18）： 171-178.

［14］ 李震， 鄧忠易， 洪添勝， 等. 基于神經(jīng)網(wǎng)絡(luò)的實(shí)蠅成蟲圖像識(shí)別算法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2017， 48（S1）： 129-135.

Li Zhen， Deng Zhongyi， Hong Tiansheng， et al. Image recognition algorithm for fruit flies based on bp neural network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（S1）： 129-135.

［15］ 李震， 洪添勝， 曾祥業(yè)， 等. 基于K-means聚類的柑橘紅蜘蛛圖像目標(biāo)識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2012， 28（23）： 147-153， 299.

Li Zhen， Hong Tiansheng， Zeng Xiangye， et al. Citrus red mite image target identification based on K-means clustering ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（23）： 147-153， 299.

［16］ 王志彬， 王開義， 張水發(fā)， 等. 基于K-means聚類和橢圓擬合方法的白粉虱計(jì)數(shù)算法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2014， 30（1）： 105-112.

Wang Zhibin， Wang Kaiyi， Zhang Shuifa， et al.Whiteflies counting with K-means clustering and ellipse fitting ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2014， 30（1）： 105-112.

［17］ 李季， 楊淑婷， 馬菁. 基于計(jì)算機(jī)視覺的枸杞蟲害計(jì)數(shù)方法研究［J］. 寧夏農(nóng)林科技， 2018， 59（10）： 50-52.

Li Ji， Yang Shuting， Ma Jing. Counting method of wolfberry pests based on computer vision ［J］. Ningxia Journal of Agriculture and Forestry Science and Technology， 2018， 59（10）： 50-52.

［18］ Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks ［C］. Curran Associates Inc. International Conference on Neural Information Processing Systems， 2012.

［19］ Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition ［J］. arXiv Preprint， 2014： 1409.1556.

［20］ Szegedy C， Liu W， Jia Y， et al. Going deeper with convolutions ［C］. CVPR. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， 2015： 1-9.

［21］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. CVPR. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， 2016： 770-778.

［22］ Tan M， Le Q V. EfficientNetV2： Smaller models and faster training ［J］. ArXiv Preprint， 2021： 2104.00298v3.

［23］ Girshick R， Donahue J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2014： 580-587.

［24］ Girshick R. Fast R-CNN ［C］. Proceedings of the IEEE International Conference on Computer Vision （ICCV）， 2015： 1440-1448.

［25］ Ren S， He K， Girshick R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks ［C］. Proceedings of Advances in Neural Information Processing Systems 2015， 2015： 91-99.

［26］ Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection ［C］. Proceedings of the 29th IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， 2015： 779-788.

［27］ Liu W， Anguelov D， Erhan D， et al. SSD： Single shot multibox detector ［C］. Proceedings Lecture Notes in Computer Science. Computer Vision-14th European Conference （ECCV 2016）， 2016： 21-37.

［28］ Liu Z， Gao J， Yang G， et al. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network ［J］. Scientific Reports， 2016， 6： 20410.

［29］ 楊國(guó)國(guó)， 鮑一丹， 劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2017， 33（6）： 156-162.

Yang Guoguo， Bao Yidan， Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（6）： 156-162.

［30］ Jiao L， Dong S， Zhang S， et al. AF-RCNN： An anchor-free convolutional neural network for multi-categories agricultural pest detection ［J］. Computers and Electronics in Agriculture， 2020， 174： 105522.

［31］ Dong S， Wang R， Liu K， et al. CRA-Net： A channel recalibration feature pyramid network for detecting small pests ［J］. Computers and Electronics in Agriculture， 2021， 191： 106518.

［32］ Wang R， Jiao L， Xie C， et al. S-RPN： Sampling-balanced region proposal network for small crop pest detection ［J］. Computers and Electronics in Agriculture， 2021， 187： 106290.

［33］ Shen Y， Zhou H， Li J， et al. Detection of stored-grain insects using deep learning ［J］. Computers and Electronics in Agriculture， 2018， 145： 319-325.

［34］ 肖德琴， 黃一桂， 張遠(yuǎn)琴， 等. 基于改進(jìn)Faster R-CNN的田間黃板害蟲檢測(cè)算法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（6）： 242-251.

Xiao Deqin， Huang Yigui， Zhang Yuanqin， et al. Pest detection algorithm of yellow plate in field based on improved Faster R-CNN ［J］. Transactions of the Chinese Society for agricultural Machinery， 2021， 52（6）： 242-251.

［35］ Li W， Wang D， Li M， et al. Field detection of tiny pests from sticky trap images using deep learning in agricultural greenhouse ［J］. Computers and Electronics in Agriculture， 2021， 183： 106048.

［36］ Li W， Chen P， Wang B， et al. Automatic localization and count of agricultural crop pests based on an improved deep learning pipeline ［J］. Scientific Reports， 2019， 9： 7024-7033.

［37］ Wang F， Wang R， Xie C， et al. Fusing multi-scale context-aware information representation for automatic in-field pest detection and recognition［J］. Computers and Electronics in Agriculture， 2020， 169： 105222.

［38］ Liu L， Xie C， Wang R， et al. Deep learning based automatic multiclass wild pest monitoring approach using hybrid global and local activated features ［J］. IEEE Transactions on Industrial Informatics， 2020， 17（11）： 7589-7598.

［39］ Ding W， Taylor G. Automatic moth detection from trap images for pest management ［J］. Computers and Electronics in Agriculture， 2016， 123： 17-28.

［40］ Partel V， Nunes L， Stansly P， et al. Automated vision-based system for monitoring Asian citrus psyllid in orchards utilizing artificial intelligence ［J］. Computers and Electronics in Agriculture， 2019， 162： 328-336.

［41］ Chen J， Lin W， Cheng H， et al. A smartphone-based application for scale pest detection using multiple-object detection methods ［J］. Electronics， 2021， 10（4）： 372.

［42］ Zha M， Qian W， Yi W， et al. A lightweight YOLOv4-based forestry pest detection method using coordinate attention and feature fusion ［J］. Entropy， 2021， 23（12）： 1587.

［43］ Chen C J， Huang YY， Li Y S， et al. Identification of fruit tree pests with deep learning on embedded drone to achieve accurate pesticide spraying ［J］. IEEE Access， 2021， 9： 21986-21997.

［44］ He Y， Zeng H， Fan Y， et al. Application of deep learning in integrated pest management： A real-time system for detection and diagnosis of oilseed rape pests ［J］. Mobile Information Systems， 2019， 2019： 1-14.

［45］ 吳麗芳. 基于智慧時(shí)代的農(nóng)業(yè)4.0模式及發(fā)展策略研究［J］. 農(nóng)業(yè)經(jīng)濟(jì)， 2021（5）： 9-11.

［46］ Shen Z， Liu J， He Y， et al. Towards out-of-distribution generalization： A survey ［J］. arXiv Preprint， 2021： 2108.13624.

［47］ Joseph K J， Khan S， Khan F S， et al. Towards open world object detection ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2021： 5830-5840.