粘蟲板害蟲自動(dòng)識(shí)別計(jì)數(shù)研究

包曉敏，盛家文

(浙江理工大學(xué) 信息學(xué)院，浙江 杭州 310016)

蟲害是農(nóng)業(yè)生產(chǎn)中的重要問題，嚴(yán)重制約著我國現(xiàn)代農(nóng)業(yè)發(fā)展。及時(shí)獲悉田間害蟲種類及數(shù)量，不僅是有效制定害蟲防治方案的基礎(chǔ)，更能為后期預(yù)測預(yù)報(bào)害蟲爆發(fā)期提供原始數(shù)據(jù)。

害蟲具有趨黃性，在田間設(shè)置黃色粘蟲板誘殺害蟲的方法目前已被廣泛使用[1]。粘蟲板上害蟲的計(jì)數(shù)方法主要分為2種：一種是人工計(jì)數(shù)；一種是基于機(jī)器視覺的自動(dòng)計(jì)數(shù)。前者費(fèi)時(shí)費(fèi)力且實(shí)時(shí)性差，需要基層測報(bào)人員具有相關(guān)的理論知識(shí)；而后者利用圖像處理、模式識(shí)別等方法對(duì)害蟲圖像進(jìn)行自動(dòng)分析，能夠有效地識(shí)別害蟲種類及數(shù)量，排除了人為因素的干擾。傳統(tǒng)的基于機(jī)器視覺的計(jì)數(shù)方法，需要工作人員深入田間進(jìn)行拍照，然后將圖片傳送至計(jì)算機(jī)終端進(jìn)行識(shí)別計(jì)數(shù)，工作量大，實(shí)時(shí)性差[2-3]。姚仲敏等[4]設(shè)計(jì)了一種基于移動(dòng)無線傳感器網(wǎng)絡(luò)的植株圖像監(jiān)測系統(tǒng)，但該系統(tǒng)需要無人機(jī)作為傳輸節(jié)點(diǎn)，成本較高；曹旨昊等[5]設(shè)計(jì)了一種基于Android系統(tǒng)的粘蟲板害蟲計(jì)數(shù)系統(tǒng)，然而該系統(tǒng)不能實(shí)時(shí)獲取害蟲圖片。近年來，深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域的表現(xiàn)愈加出色，有學(xué)者將深度學(xué)習(xí)的方法引入到農(nóng)作物的害蟲識(shí)別中[6]。然而，深度學(xué)習(xí)需要大量的樣本才能獲得較好的識(shí)別結(jié)果，但在實(shí)際生產(chǎn)活動(dòng)中往往無法獲得大量的目標(biāo)樣本。為解決上述問題，本文提出了一種基于樹莓派的農(nóng)業(yè)害蟲測報(bào)系統(tǒng)。利用樹莓派自動(dòng)拍照并將圖像上傳至云服務(wù)器進(jìn)行處理，以Web網(wǎng)頁作為客戶端展現(xiàn)測報(bào)結(jié)果。許多昆蟲誘捕試驗(yàn)都發(fā)現(xiàn)，黃色粘蟲板的誘捕效果最好[7-9]。為此，本試驗(yàn)選擇黃色粘蟲板誘捕米蛾(Corcyracephalonica)，并以此為例開展研究。針對(duì)拍攝的圖片，在進(jìn)行背景去除的基礎(chǔ)上，提出一種基于顏色矩特征提取的方法，提高計(jì)數(shù)結(jié)果的準(zhǔn)確率。

1 材料與方法

1.1 系統(tǒng)架構(gòu)

系統(tǒng)由數(shù)據(jù)采集端、測報(bào)云平臺(tái)和客戶端組成(圖1)。數(shù)據(jù)采集端主要包括環(huán)境數(shù)據(jù)采集、害蟲圖片采集、數(shù)據(jù)及圖片上傳，測報(bào)云平臺(tái)主要包括云數(shù)據(jù)庫(存儲(chǔ)環(huán)境數(shù)據(jù))、云對(duì)象存儲(chǔ)服務(wù)器(存儲(chǔ)害蟲圖片)和云服務(wù)器(處理圖像)，客戶端主要負(fù)責(zé)數(shù)據(jù)可視化和發(fā)送指令。數(shù)據(jù)采集以樹莓派作為處理的核心，將采集到的環(huán)境數(shù)據(jù)和害蟲圖片通過4G無線Wi-Fi模塊以TCP協(xié)議的形式上傳至測報(bào)云平臺(tái)。圖像上傳至云對(duì)象存儲(chǔ)服務(wù)器后展開計(jì)數(shù)，并將計(jì)數(shù)結(jié)果存儲(chǔ)至云數(shù)據(jù)庫中，用戶通過瀏覽器訪問網(wǎng)頁，以HTTP請(qǐng)求形式調(diào)用云數(shù)據(jù)庫和云對(duì)象存儲(chǔ)服務(wù)器中的數(shù)據(jù)查看信息，同時(shí)可通過云服務(wù)器發(fā)送拍照、設(shè)定拍照時(shí)間等功能指令驅(qū)使樹莓派獲取環(huán)境值和圖像。

1.1.1 數(shù)據(jù)采集端

數(shù)據(jù)采集端以樹莓派3代B型開發(fā)板作為核心，通過杜邦線連接溫濕度傳感器、光照強(qiáng)度檢測模塊和下雨檢測模塊，通過USB接口連接4G無線上網(wǎng)卡，通過CSI接口連接樹莓派專用攝像頭。主要功能及其實(shí)現(xiàn)簡述如下：1)環(huán)境數(shù)據(jù)采集。樹莓派驅(qū)動(dòng)傳感器模塊采集溫濕度、光照和降水情況。2)害蟲圖像采集。將樹莓派置于距百葉箱(百葉箱置于戶外，靠近米蛾的培養(yǎng)中心)底部30 cm高的橫梁上，攝像頭正對(duì)底部含有黑色誘芯(米蛾性誘劑誘芯)的黃色粘蟲板，樹莓派驅(qū)動(dòng)攝像頭進(jìn)行拍照。3)數(shù)據(jù)及圖片上傳。樹莓派通過4G無線上網(wǎng)卡獲取網(wǎng)絡(luò)連接，將環(huán)境數(shù)據(jù)和圖片通過TCP協(xié)議上傳到云平臺(tái)，并通過心跳機(jī)制保證TCP長期有效連接。

1.1.2 測報(bào)云平臺(tái)

測報(bào)云平臺(tái)包含云服務(wù)器、云數(shù)據(jù)庫、云對(duì)象存儲(chǔ)服務(wù)器3部分。云服務(wù)器是測報(bào)云平臺(tái)的核心部分，管理云數(shù)據(jù)庫和云存儲(chǔ)對(duì)象，負(fù)責(zé)數(shù)據(jù)采集端的數(shù)據(jù)交互，處理上傳圖片；云數(shù)據(jù)庫負(fù)責(zé)管理測報(bào)系統(tǒng)使用到的數(shù)據(jù)表；云對(duì)象存儲(chǔ)服務(wù)器用于存放終端上傳的圖像。測報(bào)云平臺(tái)與數(shù)據(jù)采集端通過TCP連接。數(shù)據(jù)采集端先上傳樹莓派標(biāo)識(shí)，然后再上傳環(huán)境數(shù)據(jù)，并將其寫入云數(shù)據(jù)庫。上傳過程中，先上傳圖像名字，后循環(huán)上傳圖像內(nèi)容，待圖像內(nèi)容上傳完畢后，存入云對(duì)象存儲(chǔ)服務(wù)器。

1.1.3 客戶端

客戶端包括數(shù)據(jù)可視化和指令傳輸。數(shù)據(jù)可視化是指采集的環(huán)境數(shù)據(jù)和計(jì)數(shù)結(jié)果在網(wǎng)頁上的呈現(xiàn)，指令傳輸是指何時(shí)進(jìn)行拍照計(jì)數(shù)和獲取環(huán)境值，整體功能如圖2所示。

1.2 云平臺(tái)圖像處理及計(jì)數(shù)

圖像上傳至云對(duì)象存儲(chǔ)服務(wù)器后，進(jìn)行圖像預(yù)處理、圖像分割、測報(bào)害蟲特征提取和識(shí)別計(jì)數(shù)4個(gè)步驟。

1.2.1 圖像預(yù)處理

針對(duì)圖像中存在的黑色誘芯(圖3-A)，采用最小二乘圓擬合獲取疑似誘芯位置(圖3-B)。

相對(duì)于RGB空間，HSV空間能夠更直觀地表達(dá)色彩的明暗、色調(diào)和鮮艷程度，更具有穩(wěn)定性。因此，在完成最小二乘圓擬合檢測后，進(jìn)行顏色過濾替換，將圖片從RBG空間過濾替換為HSV空間。定位黑色區(qū)域，將其替換為背景板的顏色，結(jié)果如圖3-C所示。

圖2 客戶端功能示意圖Fig.2 Diagram of client functions

1.2.2 圖像分割

圖像分割的實(shí)質(zhì)是分割背景與前景，為特征提取及過濾非靶標(biāo)物質(zhì)提供條件。圖像分割方法大體可分為4類，其中以基于聚類的方法最為常見[10]。由于本試驗(yàn)中的圖片背景具有相對(duì)一致性，因此采用基于HSV顏色空間的背景分割方法[11]。過程如下：1)空間轉(zhuǎn)換，將輸入圖像轉(zhuǎn)換為HSV空間下的圖像；2)背景去除，顏色過濾替換(以圖像背景為模板進(jìn)行過濾)；3)形態(tài)學(xué)操作，包括二值化和高斯濾波。處理結(jié)果如圖4所示。

1.2.3 測報(bào)害蟲特征提取

背景去除后，在圖像上遍歷輪廓，獲取輪廓位置，以最大外接矩形包圍輪廓，并在原圖相應(yīng)位置設(shè)置感興趣區(qū)域(region of interest，ROI)。對(duì)于害蟲來說，其特征主要有顏色、形狀和紋理。

A、B、C分別是原始圖片、最小二乘法擬合后圖片、顏色過濾替換后圖片。A， B and C were the original picture， the picture after least square fitting and the picture after color filtering and replacement， respectively.圖3 圖像預(yù)處理結(jié)果示意圖Fig.3 Diagram of image preprocessing

A、B、C分別為空間轉(zhuǎn)換、背景去除和形態(tài)學(xué)操作之后的圖片。A， B and C were pictures after spatial transformation， background removal and morphological operation， respectively.圖4 去背景結(jié)果示意圖Fig.4 Diagram of background removal

在本試驗(yàn)條件下，最簡單直接的特征就是顏色特征，而害蟲圖像的尺寸、方向、旋轉(zhuǎn)等因素對(duì)鑒別害蟲影響較小[12-14]。顏色的主要信息集中在一階矩(mean)、二階矩(variance)和三階矩(skewness)。其中，一階矩描述的是平均顏色，二階矩描述的是顏色方差，三階矩描述的是顏色的偏移性。顏色矩能夠全面呈現(xiàn)圖像的顏色分布特征。

(1)

(2)

(3)

式(1)～(3)中：pij表示第j個(gè)像素的第i個(gè)顏色分量；N為圖中像素點(diǎn)的個(gè)數(shù)；i為顏色模型的分量，i=1表示R分量，i=2表示G分量，i=3表示B分量；μi、σi、δi分別表示一、二、三階矩。經(jīng)過計(jì)算得到的部分一、二、三階矩如表1所示。從表1的15組數(shù)據(jù)統(tǒng)計(jì)出待測害蟲與干擾(主要是灰塵和其他非測報(bào)害蟲)顏色矩的范圍，從而選定R分量的二階矩、G分量的二階矩，以及B分量的一、二、三階矩作為識(shí)別害蟲的特征。

為了提高識(shí)別的準(zhǔn)確率，將RGB圖像轉(zhuǎn)換到HSV顏色空間，轉(zhuǎn)換公式如下：

(4)

式(4)中：H、S、V為HSV顏色空間模型的H、S、V值；R、G、B分別為紅、綠、藍(lán)3分量像素值；min(R，G，B)為R、G、B分量中最小值。為了直觀表示，令

(5)

式(5)中：h、s、v為變化后的H、S、V值。

表2中μ、σ、z為待測害蟲與干擾在HSV模型顏色參數(shù)的一、二階矩和眾數(shù)。

綜合表1和表2的統(tǒng)計(jì)結(jié)果，將RGB空間中B分量的一、二、三階矩，以及HSV空間中S分量的一階矩和眾數(shù)作為特征。

表1 待測害蟲與干擾RGB模型顏色參數(shù)值

Table1Values of color parameters of forecast pests and disturbances in RGB model

類別CategoryRμσδGμσδBμσδ待測害蟲142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干擾142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

表2 待測害蟲與干擾HSV模型顏色參數(shù)值

Table2Values of color parameters of forecast pests and disturbances in HSV model

類別Categoryhμσδsμσδvμσδ待測害蟲142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干擾142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

另外，利用Matlab數(shù)學(xué)工具進(jìn)行統(tǒng)計(jì)，獲得面積、周長特征的范圍分別為51.6～89.6和43.7～95.3。

1.2.4 識(shí)別計(jì)數(shù)

特征提取的識(shí)別計(jì)數(shù)過程如圖5所示。對(duì)選中的ROI進(jìn)行特征計(jì)算，然后依(6)式進(jìn)行決策：

(6)

根據(jù)(7)式獲得最終識(shí)別結(jié)果：

W=δφ+βφ+γφ，

(7)

式(7)中：δ、β、γ分別為圖片顏色特征、輪廓面積和輪廓周長的權(quán)重。經(jīng)過多次測試，取δ=0.4，β=0.3，γ=0.3。若W值大于0，則表明該ROI區(qū)域是測報(bào)害蟲。

識(shí)別結(jié)果如圖6-A所示?？梢钥闯?，圖片中有粘連的情況。為解決此問題，對(duì)面積較大的區(qū)域采用自適應(yīng)分水嶺方法進(jìn)行局部分割，分割后再對(duì)其進(jìn)行上述操作，結(jié)果如圖6-B所示。

圖5 特征提取的識(shí)別計(jì)數(shù)流程Fig.5 Flow chart of computation of selected features

1.3 識(shí)別效果判定

將獲取的圖像應(yīng)用到害蟲測報(bào)系統(tǒng)進(jìn)行數(shù)量統(tǒng)計(jì)，以人工計(jì)數(shù)作為對(duì)照，用正確識(shí)別率(REFR，單位%)評(píng)價(jià)害蟲識(shí)別效果[15]。

(8)

式(8)中：VREFR表示REFR的值；Nm表示人工識(shí)別的結(jié)果；Na表示圖像自動(dòng)識(shí)別的結(jié)果。

于每天不同時(shí)間段進(jìn)行拍照計(jì)數(shù)，隨機(jī)選擇不同天數(shù)進(jìn)行害蟲數(shù)目統(tǒng)計(jì)，對(duì)比兩種方法的效果。

A、B為初始識(shí)別結(jié)果和解決粘連問題后的識(shí)別結(jié)果。A and B were the identification result before and after solving adhesion.圖6 識(shí)別結(jié)果示意圖Fig.6 Diagram of identification result

2 結(jié)果與分析

如圖7所示，編號(hào)1～10的粘蟲板上害蟲數(shù)目較少，編號(hào)11～20的粘蟲板放置時(shí)間稍長，害蟲數(shù)目較多?？梢钥闯觯斯び?jì)數(shù)與系統(tǒng)算出的個(gè)數(shù)接近。當(dāng)害蟲數(shù)目較少時(shí)，系統(tǒng)計(jì)算結(jié)果準(zhǔn)確率較高，相對(duì)誤差穩(wěn)定在5%左右；當(dāng)害蟲數(shù)目增多時(shí)，系統(tǒng)計(jì)算結(jié)果的準(zhǔn)確率略降，相對(duì)誤差也有所增加，但仍保持在7%左右?？赡茉蛑皇牵S著粘蟲板放置時(shí)間的延長，周圍環(huán)境對(duì)粘蟲板的影響越來越大，導(dǎo)致計(jì)數(shù)的正確率下降。若能及時(shí)更換粘蟲板，是可以保證系統(tǒng)計(jì)數(shù)的準(zhǔn)確率的?？偟膩砜矗ㄟ^該系統(tǒng)是可以自動(dòng)獲取害蟲發(fā)生的動(dòng)態(tài)數(shù)據(jù)的。

圖7 人工計(jì)數(shù)與系統(tǒng)計(jì)數(shù)結(jié)果對(duì)比Fig.7 Comparison of manual count and automatic count of proposed system

3 結(jié)論與討論

傳統(tǒng)的害蟲計(jì)數(shù)方法需要將圖像在計(jì)算機(jī)終端進(jìn)行人工剪裁以去除無關(guān)背景。本文基于自適應(yīng)方法去除粘蟲板背景，提出將顏色空間矩和圖像幾何形特征相結(jié)合的量化害蟲特征的方法，采用加權(quán)決策方法來識(shí)別害蟲。所提方法具有普適性。然而，當(dāng)環(huán)境發(fā)生劇烈變化時(shí)，如光照嚴(yán)重干擾圖像時(shí)，會(huì)導(dǎo)致本方法的計(jì)數(shù)精度下降。同時(shí)，若害蟲種類增加，也需要另行選取合適的特征。下一步考慮采用基于深度學(xué)習(xí)的算法來應(yīng)對(duì)環(huán)境更加復(fù)雜的情況。

經(jīng)測試，本系統(tǒng)自動(dòng)計(jì)數(shù)與人工計(jì)數(shù)的誤差在7%，運(yùn)行效果良好，能夠有效地實(shí)現(xiàn)對(duì)粘蟲板害蟲的自動(dòng)計(jì)數(shù)，提高了統(tǒng)計(jì)效率，對(duì)于做好害蟲測報(bào)及防護(hù)工作具有實(shí)際意義。