基于黃色誘捕板的黃曲條跳甲識(shí)別與計(jì)數(shù)方法

張連寬,張 程,岑冠軍,高 燕

(1.華南農(nóng)業(yè)大學(xué) 數(shù)學(xué)與信息學(xué)院,廣東 廣州 510642;2.青島理工大學(xué) 信息與控制工程學(xué)院,山東 青島 266033;3.廣東省農(nóng)業(yè)科學(xué)院植物保護(hù)研究所 廣東省植物保護(hù)新技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東 廣州 510640)

黃曲條跳甲屬鞘翅,以危害葉類蔬菜為主,其幼蟲和成蟲對(duì)蔬菜造成嚴(yán)重危害.是制約蔬菜高質(zhì)、高產(chǎn)和高效益的重要因素之一.黃曲條跳甲在我國(guó)南方區(qū)域?yàn)楹?yán)重,近年來在北方的危害程度也逐年增加,因此,實(shí)時(shí)掌握蔬菜的蟲害狀況是有效防控蟲害的關(guān)鍵.傳統(tǒng)蔬菜蟲害信息的獲取大多采用人工計(jì)數(shù),存在效率低、勞動(dòng)強(qiáng)度大和時(shí)效性低等缺點(diǎn).近年來,以圖像處理技術(shù)分析蟲害的相關(guān)研究有了較大進(jìn)展.基于圖像的蟲害鑒別途徑主要有兩種，第1種是采集含有蟲害的葉片圖像進(jìn)行分析.LI Y.等[1]采集葉片上的煙粉虱圖像,運(yùn)用多重分形算法對(duì)煙粉虱目標(biāo)進(jìn)行分割分析,召回率達(dá)86.9%.J.G.A.BARBEDO[2]通過不同顏色空間與像素面積門限識(shí)別煙粉虱的不同階段.張水發(fā)等[3]采用離散余弦變換算法和區(qū)域生長(zhǎng)算法,從自然環(huán)境中采集的葉片中提取白粉虱圖像,準(zhǔn)確率達(dá)98%.胡雅輝等[4]通過Canny邊緣檢測(cè)算法獲取煙粉虱目標(biāo),計(jì)算圖片中害蟲數(shù)量,從而獲得害蟲密度,準(zhǔn)確率達(dá)90%.第2種是通過分析誘捕板圖像中害蟲情況,獲得蟲害種類和危害程度.K.ESPINOZA等[5]在實(shí)驗(yàn)室穩(wěn)定光源下通過掃描黃色誘捕板獲得圖像,采用神經(jīng)網(wǎng)絡(luò)方法對(duì)煙粉虱與薊馬進(jìn)行識(shí)別,對(duì)煙粉虱鑒別精度為96%,對(duì)薊馬的識(shí)別精度達(dá)到92%.XIA C.L.等[6]利用薊馬、煙粉虱和蚜蟲的顏色差異,采用馬氏距離與分水嶺算法對(duì)3種昆蟲進(jìn)行識(shí)別,平均識(shí)別準(zhǔn)確率分別達(dá)到82.2%,79.7%和85.6%.

目前,對(duì)于薊馬、煙粉虱和蚜蟲的識(shí)別研究已有了一定的進(jìn)展,但對(duì)于黃曲條跳甲的識(shí)別研究較少.為此,筆者提出自然環(huán)境下基于黃色誘捕板的黃曲條跳甲成蟲的識(shí)別與計(jì)數(shù)方法,綜合使用最大類間方差法(OTSU)、顏色平滑算法與主動(dòng)輪廓模型方法,通過顏色、紋理與形狀特征參數(shù)提取及采用支持向量機(jī)(support vector machine,SVM)法，獲得黃色誘捕板黃曲條跳甲數(shù)量,以期達(dá)到及時(shí)掌握黃曲條跳甲發(fā)生與危害程度,為科學(xué)的田間管理提供依據(jù).

1 材料與方法

1.1 圖像采集

圖像采集地點(diǎn)位于廣東省廣州市的廣東省農(nóng)業(yè)技術(shù)推廣總站.使用Cannon EOS 700D相機(jī),拍攝大田環(huán)境下懸掛的黃色誘捕板圖像,黃色誘捕粘板規(guī)格為25 cm×20 cm.Cannon EOS 700D相機(jī)的圖像分辨率為3 456像素×5 184像素.相機(jī)與黃色誘捕粘板距離為0.3～0.5 m,相機(jī)不需要特別設(shè)置拍照的角度與距離,但是需要將整個(gè)黃色誘捕粘板放在所采集的圖像中,并占據(jù)圖像的主要區(qū)域.共采集42幅圖像,每幅圖像中的黃曲條跳甲數(shù)量為2～16個(gè).

1.2 方法

基于黃色誘捕板的黃曲條跳甲識(shí)別與計(jì)數(shù)方法由4個(gè)步驟組成.由于研究目的是識(shí)別黃色誘捕板上的黃曲條跳甲,因此第1步是除去背景圖像,僅保留黃色誘捕板區(qū)域圖像;第2步是提取黃色誘捕板區(qū)域中的候選待判別區(qū)域;第3步是對(duì)候選區(qū)域提取特征參數(shù);第4步是利用這些特征參數(shù),采用支持向量機(jī)對(duì)每個(gè)區(qū)域進(jìn)行鑒別計(jì)數(shù),從而獲得黃曲條跳甲的災(zāi)情狀況.

1.2.1背景去除

為減少背景的干擾,提高運(yùn)算效率,首先去除圖像背景部分,提取黃色誘捕板前景區(qū)域.圖像數(shù)據(jù)在自然環(huán)境下進(jìn)行采集,為了降低亮度變化的影響,首先將圖像由RGB顏色空間轉(zhuǎn)化為HSV顏色空間.由于相機(jī)主要對(duì)著黃板區(qū)域拍照,因此黃板區(qū)域占據(jù)圖像主要部分,采用OTSU算法提取黃板區(qū)域圖像.對(duì)于灰度圖,OTSU算法以前景與背景圖像的最大類間方差自動(dòng)求得全局閾值,將灰度圖像二值化,以劃分圖像前景區(qū)域和背景區(qū)域.具體過程如下:

1) 用OTSU算法獲得HSV顏色空間的閾值,以閾值提取S通道與V通道前景圖像,分別表示為IOTSU(S)和IOTSU(V).

2) 計(jì)算兩通道前景的并圖,Icandi=IOTSU(S) &IOTSU(V).

3) 提取Icandi的各連通區(qū)域,以第1個(gè)大連通區(qū)域作為前景Iforeg.判斷第2個(gè)大連通區(qū)域Isec的面積是否大于Iforeg面積的1/5,若滿足條件,則將Isec并入到Iforeg,即Iforeg=Iforeg|Isec.

4) 對(duì)于原彩色圖Iorig的每一個(gè)像素,若在Iforeg中相應(yīng)位置的灰度值為1,則保留該像素的彩色值,否則作為背景刪除.

采用S與V通道可以將黃色的前景區(qū)域提取出來.圖1為背景去除前后照片對(duì)比.

圖1 背景去除

1.2.2候選區(qū)域分割

圖2為黃曲條跳甲識(shí)別候選區(qū)域圖片.對(duì)原始圖像的V通道采用OTSU算法提取背景圖像,見圖2a白色部分.由于各種昆蟲和污點(diǎn)的圖像亮度異于黃板,采用OTSU算法進(jìn)行分割會(huì)將該區(qū)域作為背景提取出來，將這些區(qū)域與黃板區(qū)域做并運(yùn)算.通過對(duì)黃板中黃曲條跳甲分析,發(fā)現(xiàn)黃曲條跳甲成蟲大小相似.為了排除面積較小的昆蟲、灰塵及面積較大的蒼蠅、污點(diǎn)等影響,從并運(yùn)算圖像的區(qū)域中選擇像素面積為310～770像素的區(qū)域作為黃曲條跳甲的候選區(qū)域(見圖2b).

圖2 黃曲條跳甲識(shí)別候選區(qū)域選擇結(jié)果

圖3為OTSU算法對(duì)目標(biāo)區(qū)域分割的結(jié)果.為了統(tǒng)一候選區(qū)域規(guī)格,在每一個(gè)候選區(qū)域,以幾何中心為中心,截取一個(gè)邊長(zhǎng)為81像素的正方形子圖(見圖3a).為了判定子圖中候選區(qū)域是否為黃曲條跳甲,進(jìn)一步分割子圖中目標(biāo)區(qū)域彩色圖像(去除周圍黃色背景),再進(jìn)一步提取其特征.然而OTSU算法由于使用全局的門限分割背景,所以其提取的候選區(qū)域具有較多缺陷,分割不完整.試驗(yàn)結(jié)果顯示,存在兩個(gè)影響因素,一是包含了目標(biāo)區(qū)域的部分影子,二是由于黃曲條跳甲背部的黃色區(qū)域亮度較高,OTSU算法將其作為背景進(jìn)行消除(見圖3b),由此分割提取的彩色圖像不完整(見圖3c),因此與希望提取的目標(biāo)區(qū)域圖像差距較大.

圖3 OTSU算法對(duì)目標(biāo)區(qū)域分割的結(jié)果

為了提取子圖中不規(guī)則的候選區(qū)域彩色圖像,采用主動(dòng)輪廓模型[7]的分割方法.假設(shè)I(x,y)為一灰色圖像,主動(dòng)輪廓是一條在I上可伸縮、移動(dòng)和變形的曲線X(s)=[x(s),y(s)],其中s是量綱一化弧長(zhǎng)參數(shù),s∈[0,1].主動(dòng)輪廓模型將圖像分割問題(尋找輪廓線)轉(zhuǎn)換為求解能量泛函最小值問題.主動(dòng)輪廓的總能量定義為

(1)

式(1)中Eint(X(s))是內(nèi)部能量泛函,即

(2)

式中:α(s),β(s)是權(quán)值參數(shù);α(s)|X′(s)|2為彈性內(nèi)能項(xiàng),使得輪廓曲線具有伸縮性；β(s)|X″(s)|2使得輪廓曲線具有彎曲性.

式(1)中Eext(X(s))是外部能量泛函,即

Eext(X(s))=Eimg(X(s))+Econ(X(s)).

(3)

其中Eimg(X(s))為圖像能量,表示為

Eimg(X(s))=|I(x,y)|2,

(4)

或

Eimg(X(s))=|[Gσ(x,y)I(x,y)]|2,

(5)

采用面積門限提取候選區(qū)域,候選區(qū)域可能是各種昆蟲和田間污點(diǎn),形狀各異,而主動(dòng)輪廓模型特別適用于任意形狀的變形輪廓[8],所以采用主動(dòng)輪廓模型提取候選區(qū)域,為進(jìn)一步的特征提取做準(zhǔn)備.主動(dòng)輪廓模型需要選擇適當(dāng)?shù)某跏驾喞€.圖4為直接采用主動(dòng)輪廓模型分割目標(biāo)區(qū)域的結(jié)果.由于目標(biāo)區(qū)域在子圖的中心,以子圖中心為幾何中心,采用一個(gè)邊長(zhǎng)為9像素的正方形作為初始輪廓.然而黃曲條跳甲的背部變化較大,有亮度較低的黑灰區(qū)域,也有亮度較高的黃色區(qū)域,直接采用主動(dòng)輪廓模型獲得結(jié)果圖像也不夠完整,如圖4b所示.

圖4 直接采用主動(dòng)輪廓模型分割目標(biāo)區(qū)域的結(jié)果

為此,使用OTSU算法對(duì)候選區(qū)做出的初步選擇會(huì)將黃曲條跳甲上高亮度的黃色區(qū)域刪除掉.而如果直接使用主動(dòng)輪廓模型,由于該高亮度黃色區(qū)域與其他部分的差異,使得分割不完整.為此,對(duì)刪除的高亮度區(qū)域做了顏色圖像修改,然后再采用主動(dòng)輪廓模型對(duì)其分割.圖5為采用顏色平滑算法與主動(dòng)輪廓模型法分割目標(biāo)區(qū)域的過程.分割步驟如下:

1) 對(duì)獲取如圖5b所示的結(jié)果做形態(tài)學(xué)的補(bǔ)洞運(yùn)算,并且記住補(bǔ)洞的區(qū)域Dhole.

2) 對(duì)圖5b圖像中的每一個(gè)灰度值非零的像素,從子圖原圖(圖5a)中提取其R,G和B分量值.統(tǒng)計(jì)這些非零像素的R,G和B分量的平均值Rave,Gave和Bave.

3) 對(duì)原圖(圖5a)中Dhole區(qū)域所有像素點(diǎn)的R,G和B分量值都用Rave,Gave和Bave填充,結(jié)果如圖5c所示.

4) 對(duì)圖5c圖像采用主動(dòng)輪廓模型進(jìn)行分割,結(jié)果如圖5d所示.

圖5 顏色平滑算法與主動(dòng)輪廓模型的分割過程

由此可見,采取的顏色平滑算法使目標(biāo)區(qū)域的顏色趨于平滑,因而主動(dòng)輪廓模型能夠較準(zhǔn)確地將目標(biāo)區(qū)域分割出來.圖6為采用顏色平滑算法與主動(dòng)輪廓模型對(duì)圖像進(jìn)行分割的結(jié)果實(shí)例.

圖6 顏色平滑算法與主動(dòng)輪廓模型的分割結(jié)果

由圖6可知,采用分割方法對(duì)各種形狀的昆蟲、污點(diǎn)輪廓提取都有效.

1.2.3圖像的特征參數(shù)提取

特征參數(shù)的選擇直接影響著圖像識(shí)別的準(zhǔn)確度.為了有效區(qū)分黃曲條跳甲與其他昆蟲、污點(diǎn),對(duì)每個(gè)子圖提取共21維的顏色、紋理和形狀等特征信息,具體如表1所示.

表1 黃曲條跳甲識(shí)別特征信息

顏色特征是彩色圖像的重要特征信息.為了提取目標(biāo)候選對(duì)象及其背景的特征,用HSV顏色空間的S通道提取目標(biāo)分割區(qū)域和正方形區(qū)域的一、二和三階顏色矩.3個(gè)顏色矩的定義分別如下:

(6)

(7)

(8)

紋理是指圖像中大量規(guī)律性相似元素或圖形結(jié)構(gòu),常指圖像中反復(fù)出現(xiàn)的局部模式及其排列規(guī)則.筆者采用廣泛使用、效果較好的基于灰度共生矩陣法[9]的紋理表示方法.灰度共生矩陣是圖像的像素距離和角度的矩陣函數(shù),用以計(jì)算一定距離和方向的兩點(diǎn)灰度值之間的相關(guān)性,反映圖像在方向、間隔、變化幅度和快慢上的綜合信息.該方法是通過從灰度共生矩陣中提出14個(gè)反應(yīng)矩陣狀況的參數(shù)描述紋理特征,為此筆者對(duì)目標(biāo)分割區(qū)域與正方形區(qū)域的S通道分別采用對(duì)比度、角二階矩、同質(zhì)性和熵值作為圖像紋理特征參數(shù).

黃曲條跳甲在形狀上與其他昆蟲、污點(diǎn)有著一定的區(qū)別,為了利用形狀特征進(jìn)行區(qū)分,對(duì)目標(biāo)分割區(qū)域提取了7個(gè)Hu不變矩特征.Hu不變矩具有平移、旋轉(zhuǎn)和尺度不變性[10].假設(shè)一個(gè)大小為m×n圖像的圖像函數(shù)為I(x,y),則圖像的p+q階矩定義為

(9)

p+q中心矩定義為

(10)

(11)

(12)

量綱一化的中心矩為

(13)

則7個(gè)Hu不變矩分別為

φ1=η20+η02,

(14)

φ2=(η20+η02)2+4η112,

(15)

φ3=(η30-3η12)2+(3η21+η03)2,

(16)

φ4=η30+η12+(η21+η03)2,

(17)

φ5=(η30-3η21)(η30+η21)[(η30+η12)2-
3(η21+η03)2]+(η21-η03) (η21+
η03)[3(η03+η12)2-(η21+η03)2],

(18)

φ6=(η20-η02)[(η30+η12)2-
(η21+η03)2]+4η11(η30+
η12) (η21+η03),

(19)

φ7=(η21-η30)(η30+η12)[(η30+η12)2-
3(η21+η03)2]+(3η21-η03) (η21+
η03)[3(η03+η12)2-(η21+η03)2].

(20)

1.2.4基于支持向量機(jī)的黃曲條跳甲識(shí)別方法

圖7為基于支持向量機(jī)的黃曲條跳甲識(shí)別結(jié)果.選取顏色、紋理和形狀特征的目的是要利用這些特征將黃曲條跳甲與其他事物區(qū)分開,屬于二分法的分類,筆者采用支持向量機(jī)的識(shí)別方法達(dá)到這一目標(biāo).

圖7 基于支持向量機(jī)的黃曲條跳甲識(shí)別結(jié)果

SVM的核心思想是選擇一個(gè)非線性變換,將輸入變量映射到高維空間中,在該空間中構(gòu)造一個(gè)最優(yōu)分類超平面.記訓(xùn)練集(y1,x1),(y2,x2),…,(yl,xl),xi∈Rn,y∈{-1,1}的向量x的兩個(gè)有限子集分別為I(y=1)和II(y=-1).對(duì)于超平面(x·φ)=c是可劃分的,即對(duì)xi∈I,有(xi·φ)

(21)

(22)

(23)

對(duì)于不可分樣本集引入軟間隔來構(gòu)建最優(yōu)超平面,對(duì)線性不可分的樣本集,可以通過引入滿足Mercer定理的生成內(nèi)積的核函數(shù)K(x,xi)來構(gòu)建非線性決策面.

從式(22)可以看出,SVM的求解只與兩個(gè)向量的內(nèi)積有關(guān),而與維數(shù)無關(guān),這一事實(shí)允許SVM在高維空間甚至在無限維的Hilbert空間中構(gòu)造分類超平面;同時(shí),SVM的求解過程允許利用訓(xùn)練集中的少量向量求解最大化函數(shù).因此,相對(duì)于傳統(tǒng)學(xué)習(xí)算法,SVM在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出特有的優(yōu)勢(shì),具有良好的泛化能力和出色的小樣本學(xué)習(xí)能力.

2 結(jié)果與分析

本研究首先對(duì)S通道與V通道分別用OTSU算法獲得閾值,以閾值將S通道與V通道提取前景.由于采集圖像時(shí)黃色誘捕粘板占用主要區(qū)域,因此OTSU算法提取的前景圖像獲得很好的提取效果.試驗(yàn)中拍攝的42幅圖像中,僅有3幅邊界出現(xiàn)了少許缺失,如圖8所示,其他圖像都完整地將黃色前景粘板分割出來.缺失原因主要是由于采集圖像是在自然環(huán)境下進(jìn)行,黃色誘捕粘板光線不均勻,小部分邊界被認(rèn)作背景.由于缺失面積較小,對(duì)黃曲條跳甲識(shí)別影響不大.

圖8 背景消除后邊界缺失現(xiàn)象

由于黃色誘捕粘板懸掛于大田環(huán)境下,開放的環(huán)境使得黃板中常粘有各種昆蟲和污點(diǎn)等.通過連通區(qū)域面積閾值的分割方法能夠?qū)⒈姸嗯c黃曲條跳甲體積差距較大的干擾源排除掉.圖9為面積閾值分割法消除小區(qū)域與大區(qū)域干擾的圖片.由圖9可知,面積閾值分割方法消除了整張黃板中的422個(gè)小區(qū)域和8個(gè)大區(qū)域的干擾,保留了18個(gè)候選區(qū)域有待判斷.利用面積閾值分割法有效消除了不必要的干擾,加速了識(shí)別進(jìn)程.

圖9 面積閾值分割法消除大、小區(qū)域干擾的圖片

對(duì)保留的候選區(qū)域,提取顏色、紋理與形狀特征,并采用支持向量機(jī)方法進(jìn)行鑒別.從42幅圖像中隨機(jī)提取了24幅用于訓(xùn)練,18幅用于測(cè)試.用于訓(xùn)練的黃曲條跳甲圖像有225個(gè),非黃曲條跳甲圖像為203個(gè).用訓(xùn)練獲得的模型識(shí)別18幅圖像,結(jié)果如表2所示.

表2 黃曲條跳甲識(shí)別計(jì)數(shù)結(jié)果 個(gè)

由表2可知:將正類預(yù)測(cè)為正類數(shù)(TP)為115,將正類預(yù)測(cè)為負(fù)類數(shù)(FN)為26,將負(fù)類預(yù)測(cè)為正類數(shù)(FP)為10,將負(fù)類預(yù)測(cè)為負(fù)類數(shù)(TN)為153.采用準(zhǔn)確率、精確率和召回率等3個(gè)指標(biāo)評(píng)價(jià)方法的有效性.計(jì)算公式如下:

(24)

(25)

(26)

運(yùn)用以上3個(gè)公式進(jìn)行計(jì)算，本研究方法準(zhǔn)確率為88.16%,精確率為92.00%,召回率為81.56%,達(dá)到了及時(shí)掌握黃曲條跳甲發(fā)生情況與危害程度的目的.

3 結(jié) 論

1) 為分析大田環(huán)境下黃色誘捕板中黃曲條跳甲的數(shù)量,首先除去背景圖像,再采用面積閾值方法,消除誘捕板中面積較小與較大的干擾區(qū)域,達(dá)到簡(jiǎn)化分析、識(shí)別黃曲條跳甲的目的.

2) 綜合使用了OTSU算法、顏色平滑算法與主動(dòng)輪廓模型方法,將黃色誘捕板上的候選區(qū)域進(jìn)行分割,得到較好的分割效果.

3) 通過顏色、紋理與形狀特征提取,以及采用支持向量機(jī)的分析方法,獲得黃色誘捕板的黃曲條跳甲的數(shù)量,該方法準(zhǔn)確率、精確度和召回率分別達(dá)到88.16%,92.00%和81.56%,較好地實(shí)現(xiàn)了對(duì)黃曲條跳甲的及時(shí)分析.