基于誘蟲板圖像的溫室番茄作物害蟲識別與監(jiān)測方法

卜俊怡,孫國祥,王迎旭,魏天翔,汪小旵

(南京農(nóng)業(yè)大學(xué)工學(xué)院/江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實驗室,江蘇 南京 210031)

溫室高溫高濕的環(huán)境容易引發(fā)蟲害,害蟲的危害程度和種群密度監(jiān)測是科學(xué)防治決策的重要依據(jù)[1]。與人工計數(shù)這一傳統(tǒng)方式相比,計算機視覺獲取害蟲信息的方法更為快速和準確,可為及時采取措施防治蟲害提供有效技術(shù)手段[2-4]。

目前,已有許多學(xué)者開展了基于圖像處理的害蟲計數(shù)研究工作[5-12],但對于實際田間采集圖像光照不均問題的研究還不夠充分。邱白晶等[13]分析蚜蟲區(qū)、綠葉區(qū)和蚜葉區(qū)的G分量特點,通過閾值法分割圖像并對蚜蟲進行計數(shù)。楊信廷等[14]通過提取HSI空間的I分量和L*a*b*空間的b分量,并利用Canny和Prewitt算子對圖像進行邊緣分割,分離得到粉虱和薊馬。上述研究所用的分割方法雖然不同,但都是利用顏色空間的轉(zhuǎn)換來增強害蟲與背景的對比度以達到較為理想的分割結(jié)果。此類方法對于處理微弱光照不均現(xiàn)象效果較好,但對于處理光照不均較為嚴重的則效果不佳。近年來害蟲圖像識別技術(shù)也在不斷發(fā)展[15-20],如陸靜等[21]利用F-score評價方法從66個特征參數(shù)中選取10個最優(yōu)參數(shù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)以識別稻飛虱;張銀松等[22]利用改進Faster-RCNN模型識別誘蟲板上的蚜蟲和潛葉蠅;Espinoza等[23]利用一種前饋多層人工神經(jīng)網(wǎng)絡(luò)識別粉虱和薊馬。上述識別方法準確率都較高,但只對1種或2種害蟲進行識別和計數(shù),不能滿足同時監(jiān)測多類害蟲的需要。

本研究針對光照嚴重不均問題提出了一種基于背景均勻化圖像的自適應(yīng)分割方法,提取誘蟲板害蟲區(qū)域,并提取害蟲顏色特征、形狀特征和紋理特征,利用一種基于隨機森林(random forest,RF)的圖像識別方法識別4類溫室番茄作物害蟲(煙粉虱、潛葉蠅、果蠅和蚜蟲),實現(xiàn)多類溫室番茄作物害蟲的準確識別和計數(shù)。

1 材料與方法

1.1 誘蟲板圖像采集

溫室中危害番茄的主要蟲害是煙粉虱、潛葉蠅、果蠅和蚜蟲(圖1)。本試驗在種植有‘黑玉一號’小番茄的玻璃溫室中安裝害蟲圖像采集裝置(圖2),其主要由不銹鋼框架、誘蟲板(20 cm×25 cm)、LED補光燈、三腳架和拍照盒(內(nèi)置分辨率為3 024×4 036的攝像頭)組成。根據(jù)害蟲趨色性原理利用黃色誘蟲板吸引害蟲,再由板上高黏度膠粘住害蟲以達到誘捕效果,通過定時拍攝誘蟲板圖像并將圖像傳輸至PC端進行處理。

圖1 誘捕害蟲種類Fig.1 Species of trapping pest

圖2 害蟲圖像采集裝置Fig.2 Pest image acquisition device

害蟲圖像采集時間為2020年6月6日至7月18日,在此期間日平均氣溫較高,誘蟲板誘捕害蟲種類較為全面且數(shù)量較多。于6月6日在溫室內(nèi)懸掛5張誘蟲板,放置3 d后于6月8日利用圖像采集裝置拍攝這5張誘蟲板圖像用于訓(xùn)練害蟲識別模型。自6月9日至7月18日每天16:00采集圖像用于測試,每隔5 d更換1次誘蟲板。

1.2 基于誘蟲板圖像背景均勻化的自適應(yīng)分割方法

圖像中特定的、具有特殊性質(zhì)的單一或多個區(qū)域,稱之為目標或前景;而其他部分則稱為圖像的背景。圖像分割是為了辨識和分析目標,將目標從圖像中孤立出來的過程。在誘蟲板圖像處理中,將害蟲目標與誘蟲板背景分割開來是最為關(guān)鍵的一步,分割的結(jié)果將直接影響后續(xù)目標害蟲識別和計數(shù)的效果。

本試驗環(huán)境導(dǎo)致采集到的誘蟲板圖像無法避免光照影響,原始誘蟲板圖像亮度不均,因此提出一種圖像背景均勻化預(yù)處理方法。通過對比發(fā)現(xiàn),RGB顏色模型的B分量可以增強白色煙粉虱與黃色誘蟲板的對比度,HSV顏色模型的V分量可以增強深色潛葉蠅等害蟲與誘蟲板的對比度,因此分別取原始誘蟲板圖像的RGB模型B分量和HSV模型V分量(為后續(xù)步驟統(tǒng)一,將V分量與255作差),得到誘蟲板灰度圖像;采用大小ω×ω的窗口逐行掃描圖像,對圖像先后進行均值濾波和最小值濾波,得到誘蟲板背景圖像(經(jīng)試驗,ω=55為最優(yōu)窗口);按公式(1)[24]將誘蟲板灰度圖像變換為次均勻光照圖像,其目的在于縮小圖像局部背景的亮度變化范圍。

(1)

式中:Ip(i,j)為誘蟲板灰度圖像灰度值;Ib(i,j)為誘蟲板背景圖像灰度值;Is(i,j)為次均勻光照圖像灰度值。

由圖3可知:原始誘蟲板RGB圖像中陰影區(qū)與明亮區(qū)的交界區(qū)域在次均勻光照圖像中形成“亮帶”或“亮塊”(圖中由紅色方框標出),背景亮度過高導(dǎo)致其與害蟲區(qū)域?qū)Ρ榷冗^小。

圖3 光照不均勻區(qū)域?qū)Ρ葓DFig.3 Comparison of uneven illumination areas

為實現(xiàn)此類區(qū)域背景均勻化,需了解其灰度值的變化特征。分析次均勻光照圖像的灰度值三維圖像(圖4)發(fā)現(xiàn),“亮帶”和“亮塊”區(qū)域灰度值在20～85灰度區(qū)間波動。在20～30和55～85灰度區(qū)間灰度值波動幅度微小,近似呈直線分布;在30～55灰度區(qū)間的灰度值基本呈線性分布。

圖4 次均勻光照圖像灰度值三維截面圖Fig.4 Three-dimensional section map of gray value of sub-uniform illumination image

結(jié)合上述依據(jù),對0～85灰度區(qū)間進行分段調(diào)整。設(shè)20為最小背景灰度值,各灰度區(qū)間調(diào)整參數(shù)k的計算公式如式(2)所示。最后,通過調(diào)整公式(3)獲得最終均勻背景誘蟲板圖像。

(2)

(3)

式中:Iu(i,j)為均勻背景圖像灰度值,在20～30、30～55以及55～85區(qū)間圖像灰度依次收縮1倍、1～2倍和2倍,使背景灰度值在20～42.5區(qū)間波動,以達到均勻背景的效果。

經(jīng)背景均勻化操作后,害蟲目標與誘蟲板背景對比度顯著增強,再通過最大類間方差法確定閾值,對誘蟲板圖像進行全局閾值分割,得到誘蟲板二值圖像;對二值圖像進行形態(tài)學(xué)膨脹、孔洞填充和腐蝕算法處理,去除部分細微干擾,填補害蟲區(qū)域縫隙,使害蟲區(qū)域更加清晰連貫;將RGB顏色模型B分量圖像分割后得到的二值圖像與HSV顏色模型V分量圖像分割后得到的二值圖像融合,獲得最終誘蟲板二值圖像,標定害蟲區(qū)域,為后續(xù)提取特征做好準備。算法流程如圖5所示。

1.3 基于隨機森林的多類害蟲識別方法

1.3.1 溫室害蟲特征提取常用圖像特征包括顏色特征、形狀特征和紋理特征等,作為分類器的輸入,特征參數(shù)的好壞對分類器的泛化能力具有至關(guān)重要的影響。根據(jù)煙粉虱、潛葉蠅、果蠅和蚜蟲的圖像特點提取以下特征:

1)顏色特征:煙粉虱呈淡黃白色;潛葉蠅主要為灰褐色,腿、脛節(jié)呈灰黃色;果蠅蟲體以黃褐色居多,頭部復(fù)眼呈鮮紅色;有翅蚜蟲體色多為黑色。取RGB顏色模型、HSV顏色模型各分量的一階矩(共6個參數(shù))作為顏色特征。

2)形狀特征:煙粉虱體長0.85～0.91 mm,靜止時兩翅合攏呈屋脊?fàn)?潛葉蠅成蟲體長4～6 mm;果蠅屬小型蠅類,體長1.5～4.0 mm;蚜蟲體長1.5～4.9 mm,大多約為2 mm。取面積、周長、長軸長度、短軸長度、寬長比、復(fù)雜度、橢圓度和離心率8個參數(shù)作為形狀特征。

3)紋理特征:用刻畫圖像中重復(fù)出現(xiàn)的局部模式和排列規(guī)則反映害蟲的表面特性。較為經(jīng)典的紋理特征提取方法是灰度共生矩陣方法,其通過統(tǒng)計不同“灰度對”的共現(xiàn)頻率得到灰度共生矩陣,可通過一系列統(tǒng)計量表征矩陣特征。取害蟲灰度圖像的均值、對比度、均勻性、三階矩、相關(guān)性和熵6個參數(shù)作為紋理特征。

1.3.2 害蟲分類算法設(shè)計決策樹是一種利用樹形結(jié)構(gòu)進行決策的算法,對于樣本數(shù)據(jù)根據(jù)特征進行分叉,最終建立1棵樹,樹的葉子節(jié)點標識最終決策。決策樹算法包括ID3、C4.5、CART等,其中,ID3算法采用信息增益Gain(S,A)最大的屬性作為分類屬性進行分類,直到所有節(jié)點分類熵Entropy(S)值為0,分類熵和信息增益的定義如公式(4)和(5)所示。

(4)

(5)

式中:S為樣本;c為樣本類別數(shù);pi為目標屬性的第i個值所對應(yīng)的樣本在總樣本S中所占的比例;V(A)為決策屬性A的值域;|Sv|為屬性A的值為v的樣本數(shù)量;|S|為總樣本數(shù)量。

C4.5算法是對ID3算法的改進,該算法加入了前剪枝的步驟并采用信息增益率來選擇決策屬性,定義如式(6)所示:

(6)

式中:|Si|為屬性A的值為i的樣本數(shù)量。

隨機森林的實質(zhì)是一個將決策樹用于袋裝算法(bootstrap aggregating,bagging)的模型,本文利用隨機森林算法識別害蟲,其步驟包括:

1)從樣本集中有放回隨機選擇m個樣本;

2)從所有特征中隨機抽取n個特征,對選出的樣本利用這些特征建立決策樹(經(jīng)對比,選擇C4.5算法);

3)重復(fù)以上兩步k次,得到k個決策樹形成隨機森林;

4)訓(xùn)練結(jié)束后,利用每棵決策樹對測試樣本進行分類并采取投票的方式?jīng)Q定該樣本的最終分類。

2 結(jié)果與分析

2.1 誘蟲板圖像自適應(yīng)分割結(jié)果與分析

2.1.1 基于背景均勻化的圖像分割結(jié)果根據(jù)上述基于背景均勻化的圖像自適應(yīng)分割方法,得到誘蟲板圖像分割結(jié)果如圖6所示。其中圖6-a—d和圖6-e—h分別為RGB顏色模型條件下B分量灰度圖像和HSV顏色模型條件下V分量灰度圖像經(jīng)濾波后得到的誘蟲板背景圖像、背景規(guī)范化后的次均勻光照圖像以及對比度分段補償后的均勻背景誘蟲板圖像。將B分量灰度圖像和V分量灰度圖像二值化后融合得到最終誘蟲板二值圖像(圖6-j),對比原始誘蟲板RGB圖像(圖6-i)可知,本文設(shè)計的分割方法對處理害蟲目標與背景對比度較差的圖像效果較好。

圖6 基于背景均勻化的誘蟲板圖像分割結(jié)果Fig.6 Segmentation result of trapping board image based on background homogenization

圖7為本文分割方法在不同光照強度下對誘蟲板的分割效果。其中,圖7-a—c分別為6月10日、6月 17日和6月19日3 d不同光照強度下所拍攝的誘蟲板RGB圖像,圖7-d—f則為對應(yīng)的誘蟲板二值圖像。由于篇幅限制無法列出全部40張誘蟲板圖像,但所選出的3張圖像具有一定的代表性,由圖可知本文方法對分割不同光照強度下的誘蟲板圖像具有較好的適應(yīng)性。

圖7 不同光照強度背景下誘蟲板圖像分割效果Fig.7 Segmentation effect of trapping board image in different light intensity

2.1.2 基于背景均勻化的圖像分割方法分析圖8-a—d分別為RGB顏色模型B分量灰度圖像和HSV顏色模型V分量灰度圖像未經(jīng)過背景均勻化預(yù)處理和經(jīng)過預(yù)處理的誘蟲板灰度值三維圖像,未經(jīng)預(yù)處理的背景區(qū)域呈山脈狀,與灰度值較低的目標區(qū)域差異較小;而經(jīng)過預(yù)處理的背景區(qū)域呈平原狀,且與目標區(qū)域的對比度明顯增強。經(jīng)預(yù)處理后所得的均勻背景誘蟲板圖像仍為灰度圖,本文通過最大類間方差法確定閾值分割圖像。為驗證本文所提出的基于背景均勻化的自適應(yīng)分割方法的有效性,將此方法與Sauvola局部閾值法、Prewitt邊緣分割法以及k-means聚類法進行對比(表1),以害蟲錯誤提取率(error extraction rate,EER)、害蟲漏取率(pest missing rate,PMR)和分割準確率(segmentation accuracy,SA)作為評判標準,公式如下:

圖8 誘蟲板B分量和V分量灰度值三維圖像Fig.8 Three-dimensional(3D)gray value map of B component and V component of pest trapping board

EER=Nee/Nz

(7)

PMR=Nme/Nt

(8)

SA=Nce/Nt

(9)

式中:Nme為害蟲漏提取數(shù)量;Nee為害蟲錯誤提取數(shù)量;Nce為害蟲正確提取數(shù)量;Nt為人工計數(shù)的實際害蟲總數(shù)量;Nz為自動計數(shù)的害蟲總數(shù)量。

通過對比發(fā)現(xiàn),經(jīng)背景均勻化處理后的圖像分割效果明顯優(yōu)于未經(jīng)背景均勻化處理的圖像。經(jīng)背景均勻化處理后利用最大類間方差法分割的圖像平均害蟲錯誤提取率最低,為4.89%,分割準確率為 95.34%;Prewitt邊緣分割方法平均分割準確率最高,但不足之處在于對圖像噪聲過于敏感,將噪聲分割成害蟲的情況較多,導(dǎo)致平均害蟲錯誤提取率較高;Sauvola局部閾值法以單一像素點為中心,根據(jù)此像素點鄰域內(nèi)標準方差和灰度值計算該像素點的閾值,這一方法可以較好地分離目標害蟲和背景,但同時也會產(chǎn)生較嚴重的“偽影”,導(dǎo)致分割出的目標害蟲的形狀有所缺失,不利于下一步的識別工作;k-means聚類法其實質(zhì)也是按灰度值將前、后景分開,因此當(dāng)光照不均勻時此方法獲取的分割標準并不合適。

對比利用4種分割算法分割6月9日至7月18日所獲取的誘蟲板圖像得到的害蟲個數(shù)和人工計數(shù)結(jié)果(圖9)發(fā)現(xiàn),本文設(shè)計的分割算法得到的害蟲數(shù)量與人工計數(shù)結(jié)果最為相近;Prewitt邊緣分割算法分割出的害蟲數(shù)量大多比人工計數(shù)結(jié)果略多;Sauvola局部閾值法分割結(jié)果在單日害蟲數(shù)目較多的情況下與人工計數(shù)結(jié)果相差較大;k-means聚類法的計數(shù)結(jié)果比人工計數(shù)結(jié)果總體偏小。

另外,通過對比發(fā)現(xiàn),光照越弱時往往害蟲漏取率越高,這是因為當(dāng)光照較弱時煙粉虱與誘蟲板的顏色對比非常不明顯,即使對圖像進行了對比度補償,在圖像暗區(qū)還是存在煙粉虱的漏取情況;當(dāng)光照越強時一般害蟲錯誤提取率越高,這是由于誘蟲板黏劑產(chǎn)生的反光點亮度過高而被錯誤識別為煙粉虱害蟲?？偟膩碚f,相較于弱光照強度,當(dāng)光照強度較強時害蟲分割準確率較高。

2.2 誘蟲板害蟲分類識別結(jié)果與分析

2.2.1 誘蟲板害蟲分類結(jié)果選取6月6日至6月8日采集的5張誘蟲板圖像中400頭煙粉虱、360頭潛葉蠅、180頭果蠅和200頭蚜蟲,按6∶4比例隨機分為訓(xùn)練樣本(即240頭煙粉虱、216頭潛葉蠅、108頭果蠅和120頭蚜蟲)和測試樣本(160頭煙粉虱、144頭潛葉蠅、72頭果蠅和80頭蚜蟲)。提取并歸一化害蟲顏色特征、形狀特征和紋理特征共20個特征參數(shù)作為分類器的輸入,隨機選取特征,生成500棵決策樹,訓(xùn)練隨機森林,分類效果如圖10所示。

圖10 隨機森林算法的分類效果Fig.10 Classification effects of random forest method1. 煙粉虱Bemisia tabaci;2. 潛葉蠅Chromatomyia horticola;3. 果蠅Drosophila melanogaster;4. 蚜蟲Laingia psammae.

2.2.2 害蟲識別方法分析設(shè)F1={顏色特征向量},F2={形狀特征向量},F3={紋理特征向量},組合不同特征向量輸入分類器,對比C-SVC、BP神經(jīng)網(wǎng)絡(luò)和隨機森林的識別準確率(表2)發(fā)現(xiàn),輸入單一特征向量F1、F2、F3得到的害蟲識別率最低,但其中輸入顏色特征向量的效果最好,這一結(jié)果符合人眼的直觀感覺;3種特征向量兩兩組合,F1、F2組合的識別率高于另外2組;當(dāng)F1、F2、F3組合在一起時害蟲識別準確率最高,隨機森林的識別準確率為96.31%,C-SVC算法的識別準確率為95.38%,BP神經(jīng)網(wǎng)絡(luò)的識別準確率為90.51%。

表2 不同識別算法不同特征向量組合下的目標害蟲識別準確率Table 2 Recognition accuracy of target pest with different classification methods and different feature vectors

圖11-a—d分別為6月9日至7月18日煙粉虱、潛葉蠅、果蠅和蚜蟲通過人工計數(shù)方式和自動識別計數(shù)方式得到的害蟲數(shù)量。經(jīng)統(tǒng)計,4類害蟲的總體識別準確率分別為93.89%、90.71%、91.54%和 90.40%。從圖11發(fā)現(xiàn):7月煙粉虱數(shù)量較6月有所增長,6月初和7月初為煙粉虱數(shù)量的2個高峰期;潛葉蠅數(shù)量變化趨勢與煙粉虱相反,6月數(shù)量略多于7月;果蠅和蚜蟲的數(shù)量也是呈增長趨勢。總體上,煙粉虱、果蠅和蚜蟲在6月末7月初數(shù)量達到峰值,潛葉蠅數(shù)量則為最低值。由此可知,不同種類害蟲在不同時期的數(shù)量變化是不同的,而本文所設(shè)計的識別計數(shù)算法可以為監(jiān)測害蟲動態(tài)提供數(shù)據(jù)支持。

圖11 人工計數(shù)和本文自動識別算法得到的4類害蟲數(shù)量對比Fig.11 Comparison of number of 4 kinds of pests by manual counting and automatic identification algorithm

3 結(jié)論

在誘蟲板圖像光照不均前提下,為實現(xiàn)對溫室番茄作物害蟲煙粉虱、潛葉蠅、果蠅和蚜蟲進行準確識別和計數(shù),本文提出了基于背景均勻化的自適應(yīng)分割方法和基于隨機森林的識別算法。結(jié)果表明:

1)基于背景均勻化的自適應(yīng)分割方法能夠有效解決實際環(huán)境下誘蟲板圖像光照不均現(xiàn)象,平均分割準確率為95.34%。剔除錯誤分割的害蟲區(qū)域包括誘蟲板表面黏劑反光區(qū)域和塵埃顆粒等干擾是算法可優(yōu)化的方向之一。

2)基于隨機森林的識別算法通過提取顏色、形狀和紋理共20個特征參數(shù)對害蟲進行分類,平均害蟲識別準確率達到96.31%,可以較好地識別4類害蟲,達到精確計數(shù)的要求。

3)綜合利用基于背景均勻化的自適應(yīng)分割方法和基于隨機森林的識別算法,在40 d內(nèi)對溫室番茄害蟲煙粉虱、潛葉蠅、果蠅和蚜蟲進行識別和計數(shù),總體識別準確率分別為93.89%、90.71%、91.54%和90.40%。