基于機(jī)器視覺(jué)的小貫小綠葉蟬智能識(shí)別的研究與應(yīng)用

邊磊，何旭棟，季慧華，蔡曉明，羅宗秀，陳華才，陳宗懋*

基于機(jī)器視覺(jué)的小貫小綠葉蟬智能識(shí)別的研究與應(yīng)用

邊磊1，何旭棟2,3，季慧華2，蔡曉明1，羅宗秀1，陳華才3*，陳宗懋1*

1. 中國(guó)農(nóng)業(yè)科學(xué)院茶葉研究所，浙江 杭州 310008；2. 杭州益昊農(nóng)業(yè)科技有限公司，浙江 杭州 310018；3. 中國(guó)計(jì)量大學(xué)，浙江 杭州 310018

深度學(xué)習(xí)已經(jīng)在農(nóng)作物害蟲(chóng)實(shí)時(shí)監(jiān)測(cè)的智能識(shí)別過(guò)程中廣泛應(yīng)用。以小貫小綠葉蟬（）識(shí)別模型為基礎(chǔ)，研究深度學(xué)習(xí)在誘蟲(chóng)板上葉蟬識(shí)別中的應(yīng)用，旨在提高小貫小綠葉蟬田間種群調(diào)查的準(zhǔn)確性。本研究設(shè)計(jì)了一種茶園小貫小綠葉蟬的識(shí)別、計(jì)數(shù)方法，首先采用黃色誘蟲(chóng)板誘集小貫小綠葉蟬，利用相機(jī)對(duì)誘蟲(chóng)板進(jìn)行圖像采集并上傳至服務(wù)器，然后通過(guò)服務(wù)器部署的目標(biāo)檢測(cè)算法，對(duì)圖像中葉蟬進(jìn)行識(shí)別與計(jì)數(shù)。通過(guò)算法篩選，確定YOLOv3作為識(shí)別算法，用改進(jìn)后的Soft-NMS代替原來(lái)的NMS，用K-means聚類(lèi)方法計(jì)算新的先驗(yàn)框的尺寸，提升YOLOv3對(duì)目標(biāo)識(shí)別的速度和準(zhǔn)確率。通過(guò)田間試驗(yàn)對(duì)比誘蟲(chóng)板上葉蟬的真實(shí)數(shù)量，結(jié)果顯示優(yōu)化后識(shí)別算法的準(zhǔn)確率可達(dá)到95.35%以上。本研究驗(yàn)證了誘蟲(chóng)板誘集、目標(biāo)識(shí)別算法和物聯(lián)網(wǎng)技術(shù)相結(jié)合，能夠?yàn)樾∝炐【G葉蟬田間種群的實(shí)時(shí)監(jiān)測(cè)提供技術(shù)支持，可為其他具有顏色偏愛(ài)性昆蟲(chóng)的實(shí)時(shí)監(jiān)測(cè)和茶園害蟲(chóng)綜合治理提供參考。

深度學(xué)習(xí)；目標(biāo)檢測(cè)；小貫小綠葉蟬；種群監(jiān)測(cè)；YOLOv3

茶樹(shù)是我國(guó)重要的經(jīng)濟(jì)作物，有害生物綜合治理（IPM）是當(dāng)下茶園害蟲(chóng)防治的要求，害蟲(chóng)種群的實(shí)時(shí)監(jiān)測(cè)是IPM的基礎(chǔ)，是各種防治技術(shù)精準(zhǔn)施用的依據(jù)[1-2]。長(zhǎng)期以來(lái)，許多茶樹(shù)害蟲(chóng)的種群監(jiān)測(cè)采用人工統(tǒng)計(jì)的方法[3]，不僅消耗大量的時(shí)間和人力，而且統(tǒng)計(jì)結(jié)果會(huì)因調(diào)查人員的變動(dòng)產(chǎn)生誤差。因此，消除人工誤差，降低勞力成本，實(shí)時(shí)高效地監(jiān)測(cè)茶園害蟲(chóng)的種群動(dòng)態(tài)，對(duì)于茶園害蟲(chóng)的精準(zhǔn)防治至關(guān)重要。目前，人工智能相關(guān)的自動(dòng)檢測(cè)識(shí)別技術(shù)已在害蟲(chóng)的識(shí)別和監(jiān)測(cè)中廣泛應(yīng)用，將深度學(xué)習(xí)的概念融入關(guān)聯(lián)的設(shè)備中，實(shí)現(xiàn)在沒(méi)有人為干預(yù)的情況下，高效準(zhǔn)確統(tǒng)計(jì)穩(wěn)定區(qū)域內(nèi)目標(biāo)昆蟲(chóng)的數(shù)量[4]。

小貫小綠葉蟬是中國(guó)茶園的重大害蟲(chóng)之一，對(duì)黃色具有偏愛(ài)性[5]，所以統(tǒng)計(jì)黃色誘蟲(chóng)板上的葉蟬蟲(chóng)口是監(jiān)測(cè)茶園葉蟬種群的一種常見(jiàn)的方法[6]。由于誘蟲(chóng)板上葉蟬的體表特征和其他具有黃色偏愛(ài)性的昆蟲(chóng)具有差異性，所以結(jié)合人工智能的視覺(jué)自動(dòng)檢測(cè)識(shí)別方法是可行的。計(jì)算機(jī)視覺(jué)是一種常見(jiàn)、有效、并且能快速鑒別昆蟲(chóng)種類(lèi)的方法，將深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于昆蟲(chóng)檢測(cè)和識(shí)別的體系在植物害蟲(chóng)監(jiān)測(cè)任務(wù)中具備良好的前景[7]。例如對(duì)稻田中殺蟲(chóng)燈內(nèi)稻飛虱（包括白背飛虱和褐飛虱）[8]和蔬菜大棚中誘蟲(chóng)板上薊馬的自動(dòng)識(shí)別和檢測(cè)，已體現(xiàn)出智能識(shí)別技術(shù)在昆蟲(chóng)種群動(dòng)態(tài)監(jiān)測(cè)的優(yōu)勢(shì)[9]。

本研究采用圖像深度學(xué)習(xí)篩選并優(yōu)化小貫小綠葉蟬的識(shí)別技術(shù)，包括圖像的預(yù)處理、目標(biāo)檢測(cè)算法的選擇和優(yōu)化，以及識(shí)別模型的田間評(píng)估，以期為小貫小綠葉蟬的遠(yuǎn)程實(shí)時(shí)監(jiān)測(cè)提供技術(shù)支持。

1 材料與方法

1.1 圖像采集

1.1.1 圖像預(yù)處理

采用黃色誘蟲(chóng)板（25?cm×20?cm，杭州益昊農(nóng)業(yè)科技有限公司）誘集茶園中的小貫小綠葉蟬。通過(guò)工業(yè)相機(jī)（1?200萬(wàn)像素，杭州?？低晹?shù)字技術(shù)股份有限公司，參數(shù)見(jiàn)表1）對(duì)茶園的誘蟲(chóng)板進(jìn)行實(shí)時(shí)拍照，采集圖像（圖1），對(duì)其中成像存在問(wèn)題的圖片進(jìn)行預(yù)處理。

表1 工業(yè)相機(jī)參數(shù)

對(duì)于在強(qiáng)光下圖片存在過(guò)度曝光的問(wèn)題（圖1-c，圖2-a），采用直方圖變換的方法預(yù)處理[10]。先通過(guò)灰度值分布求出概率密度函數(shù)，再根據(jù)公式將原有圖像的灰度值做映射處理，最后用新的灰度值代替原位置像素的灰度值，將灰度值范圍進(jìn)行拉伸，起到增強(qiáng)對(duì)比度的作用（圖2-b）。

1.1.2 小目標(biāo)檢測(cè)

小目標(biāo)檢測(cè)在深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域一直屬于難題[11]。小貫小綠葉蟬檢測(cè)屬于小目標(biāo)檢測(cè)，其主要難點(diǎn)在于兩點(diǎn)：（1）大多數(shù)的樣本不包含小目標(biāo)；（2）即使在包含小目標(biāo)的樣本中，小目標(biāo)的出現(xiàn)次數(shù)也極其有限。在本研究所有圖像中，小貫小綠葉蟬的大小在(20×20)～(70×70)范圍內(nèi)，整幅圖像大小為4?000×3?000，所占的面積極少，同時(shí)每幅圖的樣本數(shù)量也不足，導(dǎo)致目標(biāo)檢測(cè)算法很難學(xué)習(xí)到小貫小綠葉蟬的相關(guān)特征。

注：a、b、c、d分別為采集自雨天、晴天、強(qiáng)光和弱光條件下的圖片

注：(a)過(guò)度曝光原圖，(b)直方圖變化處理后

1.1.3 數(shù)據(jù)增強(qiáng)

鑒于采集圖像的數(shù)量有限，需通過(guò)數(shù)據(jù)增強(qiáng)的方法來(lái)提升深度學(xué)習(xí)訓(xùn)練效果[12]。訓(xùn)練之前不僅對(duì)圖像進(jìn)行了常規(guī)的垂直水平翻轉(zhuǎn)和任意角度的旋轉(zhuǎn)，同時(shí)為了解決小目標(biāo)樣本不足的問(wèn)題，采用特殊的Copy-Paste技術(shù)。對(duì)整張圖片進(jìn)行操作之后分別得到含目標(biāo)的前景區(qū)域和不含目標(biāo)的背景區(qū)域，然后把前景疊加在背景圖上，將得到的新圖加到訓(xùn)練集中進(jìn)行訓(xùn)練。

圖3 采用Copy-Paste技術(shù)進(jìn)行圖像數(shù)據(jù)增強(qiáng)

本研究為了得到Copy-Paste的最佳效果，嘗試了多種不同的方法。第一種嘗試是把不同小貫小綠葉蟬目標(biāo)復(fù)制，并融合到一張圖中；第二種方式是把同一小貫小綠葉蟬目標(biāo)復(fù)制多次，融合到一張圖中，效果如圖3所示。結(jié)果表明，這兩種方法使算法的性能得到了提升。試驗(yàn)中深度學(xué)習(xí)訓(xùn)練的圖片數(shù)量為2?000張，其中1?800張用于模型學(xué)習(xí)，200張用于測(cè)試。

1.2 算法選擇

1.2.1 Faster R-CNN

Faster R-CNN由Ross Girshick在2015年推出[13]，為了提高檢測(cè)速度與精度，F(xiàn)aster R-CNN將R-CNN和RPN（Region proposal network）進(jìn)行了結(jié)合[14]。Faster R-CNN的核心是提出了RPN，代替了傳統(tǒng)產(chǎn)生候選區(qū)域的方法，實(shí)現(xiàn)了端到端的訓(xùn)練。在結(jié)構(gòu)上，F(xiàn)aster R-CNN已經(jīng)將特征抽?。‵eature extraction）、proposal提取、bounding box regression（Rect refine）、classification整合在了一個(gè)網(wǎng)絡(luò)中，使得綜合性能有較大提高，在檢測(cè)速度方面尤為明顯。采用ROI Pooling（Region of interest pooling）使用最大值池化將特征圖上ROI（Region of interest pooling）固定為特定大小的特征圖，采用NMS（Non-maximum suppression，非極大值抑制）技術(shù)，篩選候選框數(shù)量。

1.2.2 SSD

SSD（Single shot multibox detector）于2016年提出，是經(jīng)典的one-stage目標(biāo)檢測(cè)模型之一[15]。SSD消除了邊界框候選以及特征的上采樣過(guò)程，精度上和Faster R-CNN目標(biāo)檢測(cè)方法相同，在速度上也能滿足實(shí)時(shí)性的要求。SSD提取了不同尺度的特征圖進(jìn)行檢測(cè)，大尺度特征圖（較靠前的特征圖）可以用來(lái)檢測(cè)小物體，而小尺度特征圖（較靠后的特征圖）用來(lái)檢測(cè)大物體；并且采用不同尺度和長(zhǎng)寬比的先驗(yàn)框。SSD借鑒了Faster R-CNN中錨的理念，每個(gè)單元設(shè)置尺度或者長(zhǎng)寬比不同的先驗(yàn)框，預(yù)測(cè)的邊界框（Bounding boxes）以先驗(yàn)框?yàn)榛鶞?zhǔn)，減少了訓(xùn)練難度。但是SSD也存在一些不足，如小目標(biāo)的檢測(cè)效果不好，定位不準(zhǔn)等。

1.2.3 YOLOv3

YOLOv3是YOLO（You only look once）系列目標(biāo)檢測(cè)算法中的第3版，由Redmon等[16]提出，是以Darknet53作為Backbone的一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)。相比之前YOLO系列的算法，針對(duì)小目標(biāo)的精度有顯著提升[16]。主要體現(xiàn)在ResNet的應(yīng)用和多尺度檢測(cè)。

為了提高對(duì)小目標(biāo)的檢測(cè)能力，YOLOv3采用了類(lèi)似FPN（Feature pyramid networks）的多尺度特征融合算法[16]，具體如圖4所示，卷積網(wǎng)絡(luò)在經(jīng)歷幾個(gè)卷積層之后在79層得到一種尺度的檢測(cè)結(jié)果，相較于輸入圖像，這里的特征圖進(jìn)行了32倍的下采樣。由于采用了較高的下采樣倍數(shù)，特征圖擁有較大的感受野，對(duì)尺寸較大的對(duì)象具有較好的檢測(cè)效果。為了實(shí)現(xiàn)對(duì)小目標(biāo)的檢測(cè)，本研究將第79層特征圖作上采樣并與第61層特征圖融合，進(jìn)行一系列卷積操作得到第91層特征圖，在提高網(wǎng)絡(luò)泛化能力同時(shí)提高網(wǎng)絡(luò)精度以及算法的速度。經(jīng)過(guò)該次上采樣，可以得到相對(duì)于原圖像進(jìn)行了16倍下采樣的特征圖，由于其具有中等尺寸的感受野，對(duì)中等尺寸目標(biāo)的檢測(cè)效果較優(yōu)。然后進(jìn)行相似操作，將第91層特征圖進(jìn)行第二次上采樣，與第36層特征圖融合，得到的特征圖相對(duì)于輸入圖像進(jìn)行了8倍下采樣。最后的特征圖具有最小的感受野，適合檢測(cè)小目標(biāo)對(duì)象。

1.3 YOLOv3算法優(yōu)化

以YOLOv3作為識(shí)別算法并進(jìn)行改進(jìn)，主要體現(xiàn)在用改進(jìn)后的Soft-NMS代替原來(lái)YOLOv3中的NMS和用K-means聚類(lèi)方法重新計(jì)算先驗(yàn)框的尺寸兩個(gè)方面。

1.3.1 NMS的改進(jìn)

對(duì)于大多數(shù)目標(biāo)檢測(cè)算法，NMS是必要的后處理步驟，該處理方法容易造成目標(biāo)漏檢，一旦兩個(gè)對(duì)象的重疊區(qū)域太大，則重疊的對(duì)象框可能會(huì)被過(guò)濾掉[17]。NMS根據(jù)檢測(cè)框的概率進(jìn)行降序排序之后，以概率最大的檢測(cè)框作為基準(zhǔn)，依次計(jì)算其他檢測(cè)框與其IOU（Intersection-over-union，交并比），隨后去除掉IOU值大于閾值的檢測(cè)框，導(dǎo)致目標(biāo)檢測(cè)算法漏檢。

圖4 多尺度特征融合示意圖

如圖5所示，在YOLOv3檢測(cè)小貫小綠葉蟬的實(shí)際應(yīng)用中，紅框和藍(lán)框分別為不同的目標(biāo)，但紅框的得分低于藍(lán)框，并且兩框之間的IOU超過(guò)了設(shè)定的閾值，根據(jù)NMS的處理步驟，紅框會(huì)被過(guò)濾掉，造成漏檢。為了避免此類(lèi)情況的發(fā)生，本研究使用改進(jìn)的Soft-NMS進(jìn)行目標(biāo)框的去重處理。

圖5 目標(biāo)漏檢

Soft-NMS算法由Bodla等[18]提出用來(lái)優(yōu)化NMS算法，通常用于解決檢測(cè)框之間IOU較高的問(wèn)題。其優(yōu)勢(shì)是能夠把現(xiàn)有的概率遞歸地進(jìn)行修改，不會(huì)直接過(guò)濾掉IOU較高的檢測(cè)框，在同一類(lèi)目標(biāo)之間IOU較高時(shí)可以避免對(duì)檢測(cè)框?qū)嵤┱`過(guò)濾操作。

Soft-NMS的工作原理是重疊度大于閾值的其他檢測(cè)框不會(huì)直接去除，而是采用一個(gè)函數(shù)來(lái)衰減這些檢測(cè)框的置信度。對(duì)于重疊度很高的檢測(cè)框，置信度會(huì)衰減為一個(gè)很低的分?jǐn)?shù)；相反，對(duì)于重疊度很低的驗(yàn)證框，保留原來(lái)的置信度。

Soft-NMS的抑制表達(dá)式的形式有兩種，一種是線性加權(quán)：

一種是高斯加權(quán)：

在高斯衰減函數(shù)中，N是指IOU的閾值，在Soft-NMS高斯衰減求最優(yōu)解的試驗(yàn)中，當(dāng)=0.6時(shí)，效果最佳。試驗(yàn)過(guò)程中，發(fā)現(xiàn)當(dāng)兩個(gè)檢測(cè)框的IOU值較大時(shí)，Soft-NMS算法仍然會(huì)使檢驗(yàn)框的置信度得分低于更新后先前設(shè)置的閾值，從而導(dǎo)致漏檢?；赟oft-NMS的最佳結(jié)果，提出了新的衰減公式來(lái)減小原始衰減幅度：

改進(jìn)之后的Soft-NMS表達(dá)式為：

其中，是指可修改并用于控制衰減幅度的參數(shù)。在N取0.5，取0.6的Soft-NMS最優(yōu)條件下，以作為自變量，研究與模型效果的關(guān)系，結(jié)果如圖6所示。在本研究中，當(dāng)達(dá)到0.05時(shí)效果最佳。

1.3.2 K-means聚類(lèi)方法

目前的目標(biāo)檢測(cè)算法大多采用錨定機(jī)制，即先定義許多先驗(yàn)框作為初始值，再在此基礎(chǔ)上進(jìn)行優(yōu)化得到最終結(jié)果。錨定機(jī)制將所有可能的實(shí)例框的連續(xù)空間離散化為一些預(yù)定義尺寸及寬高比的有限數(shù)量的框，縮小了網(wǎng)絡(luò)的參數(shù)分布空間，提高了算法定位的準(zhǔn)確性[19]。傳統(tǒng)獲取錨點(diǎn)的方法是基于最后一個(gè)特征圖，例如，最后一層的特征圖大小為13×13，相對(duì)尺寸在（0×0，13×13）范圍內(nèi)。經(jīng)典算法是使用K-means聚類(lèi)獲得不同大小的錨點(diǎn)，這些錨點(diǎn)被分為多尺度特征圖。在YOLOv3中，用于訓(xùn)練的數(shù)據(jù)集為COCO數(shù)據(jù)集，根據(jù)K-means聚類(lèi)的方法為每種下采樣尺度設(shè)定3種先驗(yàn)框，總共聚類(lèi)出9種尺寸的先驗(yàn)框。在COCO數(shù)據(jù)集這9個(gè)先驗(yàn)框分別是（10×13）、（16×30）、（33×23）、（30×61）、（62×45）、（59×119）、（116×90）、（156×198）、（373×326）。在本試驗(yàn)中所使用的數(shù)據(jù)集與COCO數(shù)據(jù)集差異較大，使用原始錨設(shè)置不合適，需要重新計(jì)算小貫小綠葉蟬數(shù)據(jù)集的錨定尺寸，通過(guò)K-means均值聚類(lèi)獲得的結(jié)果如表2所示。同樣，9個(gè)錨分為3個(gè)比例。

分配上，在最小的13×13特征圖上有較大的感受野，應(yīng)用較大的先驗(yàn)框（59×36）、（67×43）、（72×47）適合檢測(cè)較大的對(duì)象。中等的26×26特征圖上有中等的感受野，應(yīng)用中等的先驗(yàn)框（44×25）、（49×27）、（51×31）適合檢測(cè)中等大小的對(duì)象。較大的52×52特征圖上有較小的感受野，應(yīng)用較小的先驗(yàn)框（22×11）、（33×18）、（40×22）適合檢測(cè)較小的對(duì)象。

表2 尺寸分類(lèi)表

圖6 Soft-NMS公式k值與模型效果關(guān)系圖

如圖7所示，利用原有的先驗(yàn)框進(jìn)行目標(biāo)檢測(cè)，存在先驗(yàn)框尺寸過(guò)大和定位不準(zhǔn)的問(wèn)題（圖7-a）。利用K-means均值聚類(lèi)重新計(jì)算先驗(yàn)框尺寸后，先驗(yàn)框更加貼合目標(biāo)，位置也更加準(zhǔn)確（圖7-b）。

1.4 模型效果評(píng)估

1.4.1 模型運(yùn)行環(huán)境

計(jì)算機(jī)配置CPU型號(hào)為Intel(R)Core(TM)i7-7500HQ，CPU3.2?GHz，內(nèi)存16?G，GPU型號(hào)為NVIDIA GTX 3060Ti，1?T固態(tài)硬盤(pán)。計(jì)算機(jī)操作系統(tǒng)為Window10 64位操作系統(tǒng)，配置python3.6，PyCharm2019.6，tensorflow-gpu-1.14.0+cudnn-7.6.4+cuda-10.0+Pytorch-2.2.4深度學(xué)習(xí)框架用于所有模型的訓(xùn)練和測(cè)試。參數(shù)設(shè)置：Batch size設(shè)置為16，img size為416，epochs為100，GPU num為1，learning rate為0.001，并在4?000和4?500迭代中除以10，optimizer為SGD。

1.4.2 田間測(cè)試

在模型深度學(xué)習(xí)的基礎(chǔ)上，對(duì)其識(shí)別準(zhǔn)確率開(kāi)展田間測(cè)試評(píng)估，地點(diǎn)位于中國(guó)農(nóng)業(yè)科學(xué)院茶葉研究所種質(zhì)資源圃。分別于2020年6月和2021年6月，在測(cè)試地點(diǎn)架設(shè)葉蟬田間圖像采集設(shè)備（圖8），每天中午懸掛誘蟲(chóng)板，24?h后進(jìn)行更換，圖像采集時(shí)間為早晨7:00，每次采集1張誘蟲(chóng)板圖像，連續(xù)采集15?d，以誘蟲(chóng)板上葉蟬的實(shí)際誘捕數(shù)量作為真實(shí)值，通過(guò)對(duì)比設(shè)備的識(shí)別數(shù)量來(lái)評(píng)估設(shè)備的精確性。目標(biāo)檢測(cè)常用的評(píng)價(jià)標(biāo)準(zhǔn)有查準(zhǔn)率（Precision）、查全率（Recall）、平均準(zhǔn)確率（Average precision），在本研究中用查準(zhǔn)率作為評(píng)判不同算法識(shí)別準(zhǔn)確率的標(biāo)準(zhǔn)。查準(zhǔn)率的公式為：

圖7 K-means均值聚類(lèi)效果對(duì)比

圖8 葉蟬田間圖像采集設(shè)備及其系統(tǒng)結(jié)構(gòu)示意圖

=/(+)

式中，表示當(dāng)目標(biāo)被正確識(shí)別出來(lái)，即正樣本被識(shí)別成正樣本（真實(shí)值），表示非目標(biāo)被識(shí)別成目標(biāo)，即負(fù)樣本被識(shí)別成正樣本（錯(cuò)誤識(shí)別）。

2 結(jié)果與分析

2.1 不同模型識(shí)別小貫小綠葉蟬的效果

為了驗(yàn)證算法優(yōu)化后的效果，對(duì)比SSD、Faster R-CNN、原始YOLOv3和優(yōu)化后YOLOv3算法的值。小貫小綠葉蟬的數(shù)據(jù)被分別輸入到4種算法中，以相同的設(shè)置進(jìn)行訓(xùn)練和測(cè)試。結(jié)果如圖9所示，對(duì)比SSD、Faster R-CNN和YOLOv3算法，F(xiàn)aster-RCNN算法在準(zhǔn)確率值和運(yùn)算速度方面都不是很理想，SSD算法的速度比YOLOv3算法快，但值較低。改進(jìn)后的YOLOv3算法相較于改進(jìn)前準(zhǔn)確率提高了7.7%，達(dá)到95.3%，同時(shí)運(yùn)算速度也有所提升（0.5%）。

2.2 基于改進(jìn)YOLOv3的小貫小綠葉蟬識(shí)別

以基準(zhǔn)線作為對(duì)照，對(duì)比了不同策略對(duì)算法的提升效果。結(jié)果顯示，不同的策略對(duì)YOLOv3算法的值均有提升（圖10）。其中采用Copy-Paste策略后，值比原始YOLOv3算法中的正常數(shù)據(jù)增加3.6%，主要是因?yàn)镃opy-Paste策略在增加小目標(biāo)樣本數(shù)量尺寸的同時(shí)，增加了小目標(biāo)樣本數(shù)量，保證每個(gè)圖像中同時(shí)有多個(gè)小目標(biāo)。根據(jù)小貫小綠葉蟬數(shù)據(jù)的特征設(shè)計(jì)錨點(diǎn)，可以使網(wǎng)絡(luò)更加準(zhǔn)確地了解小貫小綠葉蟬的邊緣信息，因此K-means聚類(lèi)策略使值提升了1.8%的。在實(shí)際場(chǎng)景中，小貫小綠葉蟬的重疊非常普遍，由于原始NMS無(wú)法用于檢測(cè)重疊的對(duì)象，會(huì)導(dǎo)致值下降，針對(duì)此問(wèn)題Soft-NMS與改進(jìn)后的Soft-NMS可以對(duì)算法值分別提升0.5%和1.6%。

2.3 模型田間測(cè)試

如表4所示，2020年田間測(cè)試試驗(yàn)中，15?d中有6次系統(tǒng)識(shí)別的葉蟬數(shù)量與實(shí)際數(shù)量一致，整個(gè)測(cè)試期內(nèi)，小貫小綠葉蟬總體識(shí)別準(zhǔn)確率為93.86%。2021年，在持續(xù)學(xué)習(xí)采集樣本的基礎(chǔ)上，15?d中有7次系統(tǒng)識(shí)別的葉蟬數(shù)量與實(shí)際數(shù)量一致，小貫小綠葉蟬總體識(shí)別準(zhǔn)確率為95.35%。

圖9 不同算法的查準(zhǔn)率和速度比較

圖10 不同的策略對(duì)YOLOv3算法平均準(zhǔn)確率的影響

表4 模型對(duì)葉蟬的識(shí)別準(zhǔn)確率

3 討論

采用深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法識(shí)別誘蟲(chóng)板上的小貫小綠葉蟬，在田間試驗(yàn)中結(jié)合物聯(lián)網(wǎng)、圖像采集系統(tǒng)初試的識(shí)別準(zhǔn)確率可達(dá)到93.86%以上，說(shuō)明依托機(jī)器視覺(jué)的葉蟬智能識(shí)別在茶園中用于葉蟬成蟲(chóng)的監(jiān)測(cè)是可行的。本研究雖然在前期圖像的采集過(guò)程中考慮到了數(shù)據(jù)的多樣性，并且在算法迭代過(guò)程中加入了負(fù)樣本的學(xué)習(xí)，但是在開(kāi)放環(huán)境下目標(biāo)害蟲(chóng)體征的實(shí)時(shí)變化，使得樣本的多樣性和復(fù)雜性遠(yuǎn)遠(yuǎn)超出預(yù)期。如環(huán)境中的光強(qiáng)度會(huì)直接影響誘蟲(chóng)板圖像的亮度；濕度過(guò)高和雨天會(huì)造成誘蟲(chóng)板上凝聚水滴，導(dǎo)致系統(tǒng)誤判；葉蟬和部分昆蟲(chóng)因誘蟲(chóng)板懸掛時(shí)間過(guò)長(zhǎng)而導(dǎo)致褪色和堆疊等問(wèn)題，盡管已經(jīng)將這些情況作為負(fù)樣本對(duì)算法進(jìn)行優(yōu)化，但是受限于樣本采集的數(shù)量有限，在實(shí)際應(yīng)用中仍會(huì)產(chǎn)生誤判。

在研究中，通過(guò)調(diào)整圖像采集時(shí)間、誘蟲(chóng)板懸掛時(shí)長(zhǎng)可減少光照等環(huán)境因素對(duì)算法準(zhǔn)確率的影響。誘蟲(chóng)板對(duì)小貫小綠葉蟬的誘集高峰是每天的清晨和傍晚[20]，每天清晨采集誘蟲(chóng)板上葉蟬的誘集量，能避免強(qiáng)光對(duì)圖像采集的影響，并反映出區(qū)域內(nèi)葉蟬的相對(duì)蟲(chóng)口數(shù)量[21-23]。在田間試驗(yàn)中通過(guò)每天更換誘蟲(chóng)板縮短懸掛時(shí)長(zhǎng)，可以避免葉蟬和部分昆蟲(chóng)因誘蟲(chóng)板懸掛時(shí)間過(guò)長(zhǎng)而導(dǎo)致的褪色、白化和堆疊等問(wèn)題，提升系統(tǒng)對(duì)葉蟬的識(shí)別率，但是該措施需要定期更換誘蟲(chóng)板，會(huì)增加葉蟬動(dòng)態(tài)監(jiān)測(cè)的工作量。受環(huán)境中濕度和氣候的影響，誘蟲(chóng)板上的水滴問(wèn)題不可避免，需通過(guò)采集大量的圖像進(jìn)行持續(xù)學(xué)習(xí)和算法優(yōu)化來(lái)解決。

茶園中具有顏色偏愛(ài)性的害蟲(chóng)種類(lèi)繁多，如薊馬、粉虱、葉甲、蠟蟬和網(wǎng)蝽等[24]，結(jié)合誘蟲(chóng)板誘集和智能識(shí)別技術(shù)，可以實(shí)現(xiàn)對(duì)這些害蟲(chóng)種群的遠(yuǎn)程監(jiān)測(cè)。植保裝備的智能化是我國(guó)未來(lái)農(nóng)業(yè)的發(fā)展方向，作物蟲(chóng)害的準(zhǔn)確監(jiān)測(cè)是指導(dǎo)精準(zhǔn)用藥的前提[25-26]。本監(jiān)測(cè)系統(tǒng)在持續(xù)學(xué)習(xí)的基礎(chǔ)上，結(jié)合規(guī)范的使用方法，可進(jìn)一步提升對(duì)葉蟬的識(shí)別率，作為田間環(huán)境下葉蟬蟲(chóng)口遠(yuǎn)程監(jiān)測(cè)的技術(shù)儲(chǔ)備，能夠?yàn)槠渌οx(chóng)的智能識(shí)別、監(jiān)測(cè)技術(shù)研發(fā)提供指導(dǎo)。

[1] Kogan M. Integrated pest management: historical perspectives and contemporary developments [J]. Annual Review of Entomology, 1998, 43(1): 243-270.

[2] 吳孔明, 陸宴輝, 王振營(yíng). 我國(guó)農(nóng)業(yè)害蟲(chóng)綜合防治研究現(xiàn)狀與展望[J]. 昆蟲(chóng)知識(shí), 2009, 46(6): 831-836.

Wu K M, Lu Y H, Wang Z Y. Advance in integrated pest management of crops in China [J]. Chinese Bulletin of Entomology, 2009, 46(6): 831-836.

[3] 中國(guó)茶葉學(xué)會(huì)標(biāo)準(zhǔn)化工作委員會(huì). 茶樹(shù)主要害蟲(chóng)綠色防控技術(shù)規(guī)程: T/CTSS 37—2021 [S/OL]. [2021-12-20]. http://down.foodmate.net/standard/yulan.php?itemid=115353.

Standardization Committee of China Tea Science Society. Green controlling technical regulations for major pests of tea plant: T/CTSS 37—2021 [S/OL]. [2021-12-20]. http://down.foodmate.net/standard/yulan.php?itemid=115353.

[4] Khanna A, Kaur S. Evolution of internet of things (IoT) and its significant impact in the field of precision agriculture [J]. Computers and Electronics in Agriculture, 2019, 157: 218-231.

[5] Bian L, Sun X L, Luo Z X, et al. Design and selection of trap color for capture of the tea leafhopper,, by orthogonal optimization [J]. Entomologia Experimentalis et Applicata, 2014, 151(3): 247-258.

[6] Bian L, Cai X M, Luo Z X, et al. Design of an attractant for(Hemiptera: Cicadellidae) based on the volatile components of fresh tea leaves [J]. Journal of Economic Entomology, 2018, 111(2): 629-636.

[7] 封洪強(qiáng), 姚青. 農(nóng)業(yè)害蟲(chóng)自動(dòng)識(shí)別與監(jiān)測(cè)技術(shù)[J]. 植物保護(hù), 2018, 44(5): 127-133.

Feng H Q, Yao Q. Automatic identification and monitoring technology of agricultural pests [J]. Plant Protection, 2018, 44(5): 127-133.

[8] 姚青, 吳叔珍, 蒯乃陽(yáng), 等. 基于改進(jìn)CornerNet的水稻燈誘飛虱自動(dòng)檢測(cè)方法構(gòu)建與驗(yàn)證[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2021, 37(7): 183-189.

Yao Q, Wu S Z, Kuai N Y, et al. Automatic detection of rice planthoppers through light-trap insect images using improved Corner Net [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(7): 183-189.

[9] 王茂林, 榮二花, 張利軍, 等. 基于圖像處理的薊馬計(jì)數(shù)方法研究[J]. 山西農(nóng)業(yè)科學(xué), 2020, 48(5): 812-816.

Wang M L, Rong E H, Zhang L J, et al, Study on countingbased on image processing [J]. Journal of Shanxi Agricultural Sciences, 2020, 48(5): 812-816.

[10] 李正飛. 基于小波變換的圖像增強(qiáng)技術(shù)研究[J]. 機(jī)械工程與自動(dòng)化, 2009(2): 15-17.

Li Z F. Image enhancement method based on wavelet transform [J]. Mechanical Engineering & Automation, 2009(2): 15-17.

[11] 張江勇. 基于深度學(xué)習(xí)的動(dòng)車(chē)關(guān)鍵部位故障圖像檢測(cè)[D]. 成都: 電子科技大學(xué), 2019.

Zhang J Y. Fault detection of emus based on deep learning [D]. Chengdu: University of Electronic Science and Technology of China, 2019.

[12] 彭宜. 基于殘差網(wǎng)絡(luò)和隨機(jī)森林的音頻識(shí)別方法研究[D]. 武漢: 武漢科技大學(xué), 2019.

Peng Y. Research on audio recognition method based on residual network and random forest [D]. Wuhan: Wuhan University of Science and Technology, 2019.

[13] Girshick R. Fast R-CNN [C]//IEEE. 2015 IEEE International Conference on Computer Vision (ICCV). Santiago: 2015.

[14] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[15] Liu W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector [M]//Leibe B, Matas J, Sebe N, et al. Lecture notes in computer science. Cham: Springer, 2016: 21-37.

[16] Redmon J, Farhadi A. YOLOv3: an incremental improvement [J]. Eprint ArXiv, 2018: 1804.02767. doi: 10.48550/arXiv.1804.02767.

[17] Huang J, Zhang H, Wang L, et al. Improved YOLOv3 Model for miniature camera detection [J]. Optics and Laser Technology, 2021, 142. doi: 10.1016/j.optlastec.2021.107133.

[18] Bodla N, Singh B, Chellappa R, et al. Soft-NMS-improving object detection with one line of code [J]. Eprint ArXiv, 2017: 1704.04503. doi: 10.48550/arXiv.1704.04503.

[19] Redmon J, Farhadi A. YOLO9000: better, faster, stronger [C]//IEEE. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: 2017.

[20] 邊磊, 孫曉玲, 陳宗懋. 假眼小綠葉蟬的日飛行活動(dòng)性及成蟲(chóng)飛行能力的研究[J]. 茶葉科學(xué), 2014, 34(3): 248-252.

Bian L, Sun X L, Chen Z M. Studies on daily flight activity and adult flight capacity ofG?the [J]. Journal of Tea Science, 2014, 34(3): 248-252.

[21] Kim K N, Huang Q Y, Lei C L. Advances in insect phototaxis and application to pest management: a review [J]. Pest Management Science, 2019, 75(12): 3135-3143.

[22] Shimoda M, Honda K. Insect reactions to light and its applications to pest management [J]. Applied Entomology and Zoology, 2013, 48(4): 413-421.

[23] Rodriguez-Saona C R, Byers J A, Schiffhauer D. Effect of trap color and height on captures of blunt-nosed and sharp-nosed leafhoppers (Hemiptera: Cicadellidae) and non-target arthropods in cranberry bogs [J]. Crop Protection, 2012, 40: 132-144.

[24] 楊智輝. 黃色誘蟲(chóng)板對(duì)茶果園主要害益蟲(chóng)的誘殺作用調(diào)查[J]. 現(xiàn)代農(nóng)業(yè)科技, 2017(15): 91-93.

Yang Z H. Investigation on the trapping and killing effect of yellow insect traps on the main harmful and beneficial insects in tea orchards [J]. Modern Agricultural Science and Technology, 2017(15): 91-93.

[25] 吳孔明. 中國(guó)農(nóng)作物病蟲(chóng)害防控科技的發(fā)展方向[J]. 農(nóng)學(xué)學(xué)報(bào), 2018, 8(1): 35-38.

Wu K M. Development direction of crop pest control science and technology in China [J]. Journal of Agriculture, 2018, 8(1): 35-38.

[26] 陳宗懋, 蔡曉明, 周利, 等. 中國(guó)茶園有害生物防控40年[J]. 中國(guó)茶葉, 2020, 42(1): 1-8.

Chen Z M, Cai X M, Zhou L, et al. Developments on tea plant pest control in past 40 years in China [J]. China Tea, 2020, 42(1): 1-8.

Research and Application of Intelligent Identification ofBased on Machine Vision

BIAN Lei1, HE Xudong2,3, JI Huihua2, CAI Xiaoming1, LUO Zongxiu1, CHEN Huacai3*, CHEN Zongmao1*

1. Tea Research Institute, Chinese Academy of Agricultural Sciences, Hangzhou 310008, China;2. Hangzhou Yihao Agricultural Technology Co., Ltd., Hangzhou 310018, China; 3. China Jiliang University, Hangzhou 310018, China

Deep learning has been widely used in intelligent identification in the progress of real-time monitoring of crop pests. Based on the identification model of tea leafhopper,, the application of deep learning in field leafhopper recognition was introduced to improve the precision of field population investigation ofIn this paper, a method of identification and count ofin tea garden was designed. Firstly, yellow sticky card was used to attract tea leafhoppers, and images of cards were collected by camera and uploaded to the web server. Then, target detection algorithm deployed by the server was used to identify and count the leafhoppers in the images. Through algorithm screening, YOLOv3 was determined as the recognition algorithm, and the improved soft-NMS was used to replace the original NMS. K-means clustering method was used to calculate the size of the new prior frame, so as to improve the speed and precision of YOLOv3. The results show that the average precision of the optimized algorithm could reach more than 95.35% comparing with the real number of leafhoppers on the sticky card. Therefore, the combination of the sticky card trapping, target recognition algorithm and internet of things technology could realize the real-time monitoring of population for, which could provide a reference for other insects with color preference and integrated pest management in tea gardens.

deep learning, target detection,, population monitoring, YOLOv3

S435.711；Q126

A

1000-369X(2022)03-376-11

2021-10-09

2021-12-01

浙江重點(diǎn)研發(fā)計(jì)劃（2019C02033）、財(cái)政部和農(nóng)業(yè)農(nóng)村部：國(guó)家現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系（CARS-19）、中國(guó)農(nóng)業(yè)科學(xué)院創(chuàng)新工程

邊磊，男，副研究員，主要從事茶樹(shù)害蟲(chóng)物理防治技術(shù)研究。*通信作者：huacaichen@cjlu.edu.cn；zmchen2006@163.com

（責(zé)任編輯：黃晨）