基于數(shù)字圖像的棉田復(fù)雜背景下棉蚜統(tǒng)計(jì)方法

顧佳敏，王佩玲，劉陽(yáng)天，高攀，郭文超

(1.石河子大學(xué)農(nóng)學(xué)院，新疆石河子 832000；2.石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，新疆石河子 832000)

0 引 言

【研究意義】棉蚜的種群密度和危害程度是棉蚜防治決策的重要根據(jù)，更是精準(zhǔn)噴藥的關(guān)鍵信息。傳統(tǒng)上對(duì)棉蚜密度的監(jiān)測(cè)主要采用樣本抽查和人為估算，在棉蚜爆發(fā)高峰期，百株蚜量可達(dá)數(shù)萬(wàn)頭，不僅工作繁重而且估算誤差很大。與傳統(tǒng)棉蚜測(cè)報(bào)方法相比，采用圖像處理技術(shù)可以大幅降低工作強(qiáng)度，提高蚜蟲(chóng)計(jì)數(shù)效率和準(zhǔn)確率?！厩叭搜芯窟M(jìn)展】近年來(lái)，學(xué)者也對(duì)小蟲(chóng)體計(jì)數(shù)方法進(jìn)行了相關(guān)研究。沈佐銳等[1]進(jìn)行了溫室白粉虱計(jì)數(shù)技術(shù)研究；張建偉等[2]實(shí)現(xiàn)麥田蚜蟲(chóng)計(jì)數(shù)；趙慧燕等[3]實(shí)現(xiàn)蚜蟲(chóng)目標(biāo)識(shí)別；邱白晶等[4]提出了黃瓜蚜蟲(chóng)圖像識(shí)別與計(jì)數(shù)方法；以及其他學(xué)者提出小型昆蟲(chóng)、微生物圖像識(shí)別與計(jì)數(shù)方法[5-10]?！颈狙芯壳腥朦c(diǎn)】目前研究大都針對(duì)較為理想的圖像提出計(jì)數(shù)的算法，促進(jìn)基于數(shù)字圖像的小型昆蟲(chóng)計(jì)數(shù)的發(fā)展。但這些算法主要是基于灰度圖像，且對(duì)閾值依賴(lài)性高，不太適用于棉田復(fù)雜背景下棉蚜計(jì)數(shù)。除此之外,在彩色圖像轉(zhuǎn)換成灰度圖像時(shí)損失了2/3的圖像數(shù)據(jù)，數(shù)據(jù)的丟失伴隨而來(lái)的是特征信息的損失，不利于數(shù)學(xué)建模[11-12]。當(dāng)前基于數(shù)字圖像的棉蚜預(yù)測(cè)預(yù)報(bào)技術(shù)的難點(diǎn)是標(biāo)準(zhǔn)化的算法與多樣化的棉田復(fù)雜背景之間的矛盾?！緮M解決的關(guān)鍵問(wèn)題】提出一種新的棉蚜計(jì)數(shù)方法，直接以大量RGB彩色圖像為對(duì)象，對(duì)區(qū)域數(shù)據(jù)進(jìn)行分析建模，實(shí)現(xiàn)對(duì)彩色圖像分割去噪、二值圖像自主選擇結(jié)構(gòu)元素完成腐蝕去噪、黏連區(qū)域像素個(gè)數(shù)求模運(yùn)算的三位一體算法，在圖像處理過(guò)程中極大降低算法對(duì)閾值的依賴(lài)性，完成基于數(shù)字圖像的復(fù)雜背景下棉蚜計(jì)數(shù)，為棉蚜蟲(chóng)情準(zhǔn)確測(cè)報(bào)提供重要基礎(chǔ)。

1 材料與方法

1.1 材 料

一臺(tái)圖像圖形工作站(設(shè)備型號(hào)WiseteamFL1A3708-12K移動(dòng)便攜工作站)和自主研發(fā)的一種棉田復(fù)雜背景下手持式可調(diào)控棉蚜拍攝裝置(專(zhuān)利號(hào)：201720493225.4)。圖1

圖1 實(shí)驗(yàn)裝置
Fig.1 instrument

1.2 方 法

1.2.1 棉蚜圖像獲取

1.2.1.1 棉蚜圖像特點(diǎn)

棉蚜體型小，繁殖力極強(qiáng)，孤雌生殖，4～5 d可繁殖一代，一生之中體色多變，主要棲息在葉片背部，具有群居性。

1.2.1.2 棉蚜圖像采集

棉花葉片背面朝上，使用自主研發(fā)的棉蚜拍攝裝置將棉葉水平夾住，手機(jī)攝像頭垂直拍攝棉蚜圖像，通過(guò)自主開(kāi)發(fā)的終端軟件，實(shí)現(xiàn)拍照存儲(chǔ)或?qū)崟r(shí)發(fā)送至圖形工作站進(jìn)行處理。圖像分辨率為：2 588×3 264像素，圖像格式為jpg，24位RGB顏色空間模式。

1.2.2 算法流程

配置VISUALSTUDIO2015環(huán)境下的OPENCV3.0。基于圖像RGB數(shù)據(jù)。根據(jù)數(shù)據(jù)特點(diǎn)歸類(lèi)，分析每類(lèi)數(shù)據(jù)規(guī)律并建立模型。將已分割的彩色圖像轉(zhuǎn)換成二值圖像進(jìn)行圖像腐蝕去噪，實(shí)現(xiàn)棉蚜的計(jì)數(shù)。圖2

圖2 算法流程
Fig.2 Flowchart of proposal algorithm

1.2.3 算法設(shè)計(jì)

1.2.3.1 噪音及棉蚜

通過(guò)對(duì)大量棉蚜圖像分析，研究將常見(jiàn)噪音分為13類(lèi)，如棉蚜蛻的皮，葉柄，主脈基部，主脈中部，主脈尖部，側(cè)脈基部，側(cè)脈中部，側(cè)脈尖部，葉脈上的黑點(diǎn)、病斑、機(jī)械損傷、葉片、葉片折疊區(qū)；將常見(jiàn)棉蚜分為7類(lèi)，如僵蚜、綠色伏蚜、淡黃色伏蚜、黃色伏蚜、深褐色伏蚜、棉黑蚜，有翅蚜等。使用OpenCV3.0結(jié)合MATLAB2014a從圖像中提取出所有ROI，即所有噪音和蟲(chóng)態(tài)，并將其轉(zhuǎn)換成數(shù)據(jù)。圖3

注：a中的蚜蟲(chóng)根據(jù)顏色初步分為4類(lèi)蚜蟲(chóng)：青色棉蚜、淡黃色棉蚜、黃色棉蚜、深褐色棉蚜；e中噪音為：葉柄，葉脈中部，葉脈尖部，葉脈上黑點(diǎn)、病斑、葉脈基部葉片、機(jī)械損傷，蚜蟲(chóng)皮等

Note：According to the color of aphis，we divided them of image a into five kinds of aphids；all noises in image e are petiole、veins、black spots on veins、 speckle of disease、leaf between veins、mechanical damage、skin of aphids

圖3 噪音和蟲(chóng)體
Fig.3 noises and aphids

1.2.3.2 彩色分割

研究基于大量的棉蚜圖像RGB色彩空間數(shù)據(jù)，采用K-means聚類(lèi)算法對(duì)復(fù)雜背景下棉蚜圖像進(jìn)行彩色分割，經(jīng)分析數(shù)據(jù)可從兩方面建模。第一類(lèi)模型由關(guān)系表達(dá)式組成，例如：黃色伏蚜滿(mǎn)足數(shù)據(jù)規(guī)律：R>=G>B，部分噪音和蚜蟲(chóng)滿(mǎn)足數(shù)據(jù)規(guī)律：G>B&&G>R；第二類(lèi)算數(shù)表達(dá)式，例如：應(yīng)用RGB顏色空間模式的R，G，B分量進(jìn)行函數(shù)變換，利用函數(shù)值作為K-means聚類(lèi)點(diǎn)坐標(biāo)將無(wú)法用關(guān)系表達(dá)式分割的蚜蟲(chóng)從噪音中分割出來(lái)。例如，使用f(X)=X2；對(duì)G分量進(jìn)行變換就可以突出G分量與其他分量的差值，使用f(R，G，B) =a*R-b*G+c*B；對(duì)R，G，B三個(gè)分量進(jìn)行函數(shù)變換就可以建立關(guān)系表達(dá)式f(蚜蟲(chóng)皮)

根據(jù)大量圖像數(shù)據(jù)的規(guī)律構(gòu)造函數(shù)表達(dá)式，將變換后的函數(shù)值作為顏色空間的描述。使用歐式距離作為相似度的距離，研究中根據(jù)算法設(shè)計(jì)需求使用不同維度下的歐氏距離公式，其二維、三維公式如公式(1)、(2)所示。

(1)

D(A,B)=

(2)

其中，A(x，y，z)是任意數(shù)據(jù)對(duì)象的坐標(biāo)；B(x，y，z)是聚類(lèi)中心點(diǎn)的坐標(biāo)。研究采用誤差平方和準(zhǔn)則將同一類(lèi)的數(shù)據(jù)聚集成一簇，其公式定義如公式(3)所示。

(3)

上式中，E為誤差平方和準(zhǔn)則函數(shù)值：wj是每一簇中給定的數(shù)據(jù)對(duì)象，ci是每一簇的平均值。如果E值越小，那么誤差就越小，聚類(lèi)的質(zhì)量也就越好。

1.2.4 腐蝕去噪

圖像腐蝕是形態(tài)學(xué)中去除圖像某一些部分的常規(guī)圖像算法[13-17]。棉蚜圖像彩色分割后轉(zhuǎn)換成二值圖像，從二值圖像中選取40(蚜蟲(chóng)一生四個(gè)齡期，取10個(gè)重復(fù))個(gè)樣本蚜蟲(chóng)，從中找到最小蚜蟲(chóng)所占像素個(gè)數(shù)T1；其次遍歷彩色分割后的二值圖像找到所有比T1小的連通分量中最大的連通分量所占像素個(gè)數(shù)T0。建立腐蝕結(jié)構(gòu)元素大小與T0/2的關(guān)聯(lián)關(guān)系為：在滿(mǎn)足結(jié)構(gòu)元素對(duì)稱(chēng)的情況下，選取上線和下線中最接近T0/2的兩個(gè)整數(shù)。不同的圖像會(huì)根據(jù)自己的復(fù)雜度從關(guān)聯(lián)關(guān)系中自主選擇最優(yōu)腐蝕結(jié)構(gòu)元素，從而擺脫人為選擇腐蝕閾值去噪的素1、結(jié)構(gòu)元素2和結(jié)構(gòu)元素3和結(jié)構(gòu)元素4。圖4

圖4 蚜蟲(chóng)樣本數(shù)據(jù)
Fig.4 The data of aphids samples

圖5 結(jié)構(gòu)元素
Fig.5 Structural Elements

若T0是奇數(shù)每一個(gè)結(jié)構(gòu)元素對(duì)圖像腐蝕一次并計(jì)數(shù)為Ni，最終的蚜蟲(chóng)數(shù)量為Ni的加和平均數(shù)N，其計(jì)算公式如公式(4)所示。

(4)

1.2.5 蚜蟲(chóng)計(jì)數(shù)

1.2.5.1 黏連區(qū)域計(jì)數(shù)

采用優(yōu)化的分水嶺算法對(duì)黏連區(qū)域蚜蟲(chóng)進(jìn)行分割，都取得了較好的分割效果，但其對(duì)閾值依賴(lài)性較高，例如基于距離變換標(biāo)記前景與背景的分水嶺分割[18-20]，基于梯度圖像的擴(kuò)展極小值分水嶺分割，其閾值選取都間接取決于圖像復(fù)雜度，不同圖像的最佳閾值有所不同。所以具有閾值依賴(lài)性的分水嶺分割算法不適用于解決棉田復(fù)雜背景下黏連區(qū)域棉蚜分割。本研究利用離散型隨機(jī)變量樣本蚜蟲(chóng)所占像素個(gè)數(shù)X與其對(duì)應(yīng)樣本數(shù)量xi和其概率p(xi)得到單頭蚜蟲(chóng)所占像素個(gè)數(shù)的期望大小E(x)如公式5所示，從而提出一種基于二值圖像腐蝕后的黏連區(qū)域所占像素個(gè)數(shù)T2與單頭蚜蟲(chóng)所占像素個(gè)數(shù)期望大小E(x)求模運(yùn)算，從而實(shí)現(xiàn)黏連區(qū)域棉蚜分割計(jì)數(shù)。

E(x)=x1×p(x1)+x2×p(x2)+…+xi-1×p(xi-1)+xi×p(xi).

(5)

1.2.5.2 蚜蟲(chóng)計(jì)數(shù)標(biāo)記

采用連通區(qū)域標(biāo)記算法對(duì)最終的二值圖像進(jìn)行標(biāo)記和計(jì)數(shù)。從中選取400個(gè)蚜蟲(chóng)樣本，100個(gè)蚜蟲(chóng)黏連區(qū)域樣本。計(jì)算單頭蚜蟲(chóng)連通分量所占像素個(gè)數(shù)的期望大小E(x)，最小蚜蟲(chóng)連通分量所占像素個(gè)數(shù)T1，黏連區(qū)域所占像素個(gè)數(shù)的平均大小T2。遍歷腐蝕以后的圖像凡是連通分量像素個(gè)數(shù)X小于等于E(x)則計(jì)為單頭蚜蟲(chóng)Ni，凡是連通分量像素個(gè)數(shù)大于E(x)且小于等于T2則為黏連區(qū)域，其蚜蟲(chóng)數(shù)量N2為X除以E(x)的模，凡是連通分量像素個(gè)數(shù)大于T2的則不計(jì)數(shù)。最終蚜蟲(chóng)數(shù)量N為單個(gè)蚜蟲(chóng)數(shù)量N1與粘連區(qū)域蚜蟲(chóng)數(shù)量N2之和，如公式(7)所示。

f(X)=

(6)

N2=X/E(x).

N=N1+N2.

(7)

2 結(jié)果與分析

2.1 彩色分割

研究自主研發(fā)一款便攜式棉蚜拍攝裝置(設(shè)備型號(hào)：ZL201720493225.4)，基于該裝置拍攝棉蚜圖像不僅可以過(guò)濾掉棉田復(fù)雜背景，而且圖像數(shù)據(jù)不會(huì)受到拍攝角度、光線、高度等的影響?；谶@樣的圖像數(shù)據(jù)設(shè)計(jì)的棉蚜計(jì)數(shù)算法不僅魯棒性好而且更能適應(yīng)一線生產(chǎn)的棉蚜計(jì)數(shù)。圖6

圖6 棉田復(fù)雜背景下蚜蟲(chóng)彩色分割Fig.6Colorimagesegmentationeffectofaphids

2.2 腐蝕去噪

b和d的圖像復(fù)雜度各有不同，變換成二值圖像以后b中T0=46，所以腐蝕結(jié)構(gòu)元素為圖5中的a和b。圖a中T0=31，腐蝕結(jié)構(gòu)元素為圖5中的c和d。

由于腐蝕算子結(jié)構(gòu)元素的大小直接關(guān)系到蚜蟲(chóng)計(jì)數(shù)的精度，如果結(jié)構(gòu)元素太大，在腐蝕去噪的同時(shí)去掉了低齡若蚜，導(dǎo)致計(jì)數(shù)結(jié)果偏??；如果結(jié)構(gòu)元素過(guò)小則無(wú)法完全去噪，導(dǎo)致計(jì)數(shù)結(jié)果偏大。然而腐蝕對(duì)結(jié)構(gòu)元素的類(lèi)型和大小有很強(qiáng)的依賴(lài)性，而復(fù)雜背景下的圖像千差萬(wàn)別，其最理想的腐蝕去噪結(jié)構(gòu)元素大小往往不同。所以本研究采用多尺度結(jié)構(gòu)元素對(duì)圖像進(jìn)行腐蝕去噪并記錄蚜蟲(chóng)數(shù)量Ni，最終求其平均值N。圖7

圖7 二值圖像的腐蝕操作Fig7Thecorrosionoperatoronbinaryimage

2.3 計(jì)數(shù)標(biāo)記

對(duì)10幅蚜蟲(chóng)圖像進(jìn)行傳統(tǒng)估算計(jì)數(shù)，直接計(jì)數(shù)和實(shí)驗(yàn)算法計(jì)數(shù)。表1

表1 蚜蟲(chóng)數(shù)量Table1Resultsofautomaticandtraditionalaccountingofaphids

圖像Image直接計(jì)數(shù)數(shù)量(只)Directly counting number 傳統(tǒng)大田估算(只)Traditional counting估算準(zhǔn)確率(%)The accuracy rate of traditional method機(jī)器計(jì)數(shù)(只)Machine counting機(jī)器準(zhǔn)確率(%)The accuracy rate of computer algorithem提高精度(%)Improved precision136925067.831284.616.8255636064.849889.624.8363742065.954986.220.3471040056.362588.031.7588535040.078889.049.0691840043.583691.047.5795646048.183387.139.08116555047.2101286.939.79126860047.3106884.236.910155675048.2121579.130.9

3 討 論

提出一種基于自動(dòng)結(jié)構(gòu)元素的新的棉蚜計(jì)數(shù)方法，與前人研究方法和結(jié)果相比較，前人算法多基于灰度圖像，其圖像數(shù)據(jù)量只有彩色圖像的1/3，此外前人也多采用某個(gè)統(tǒng)計(jì)閾值來(lái)適用于所有情況，造成算法穩(wěn)定性不佳。算法能夠因地制宜的根據(jù)每張棉蚜圖像自身的數(shù)據(jù)情況找到最佳的算法閾值，這提高了在不同復(fù)雜背景下算法精確度的穩(wěn)定性，降低了算法對(duì)閾值的依賴(lài)性，并有效解決棉蚜圖像黏連分割的問(wèn)題，最終完成基于數(shù)字圖像的復(fù)雜背景下較為精確的棉蚜計(jì)數(shù)。但在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，在RGB數(shù)據(jù)走勢(shì)和噪音會(huì)有很大的重疊，以及局部反光等產(chǎn)生噪音，這都導(dǎo)致計(jì)數(shù)精確度會(huì)有所下降，HSB、LAB、HSI等色彩模式下的數(shù)據(jù)分析是本文彩色分割算法優(yōu)化的方向。

4 結(jié) 論

提出一種基于數(shù)字圖像的棉田復(fù)雜背景下棉蚜統(tǒng)計(jì)方法。該方法設(shè)計(jì)的自動(dòng)結(jié)構(gòu)元素腐蝕算法實(shí)現(xiàn)了圖像自動(dòng)地從結(jié)構(gòu)元素中選擇最優(yōu)結(jié)構(gòu)元素對(duì)二值圖像進(jìn)行腐蝕去噪，擺脫了傳統(tǒng)算法在腐蝕去噪時(shí)對(duì)閾值的依賴(lài)，該算法有助于提升蚜蟲(chóng)計(jì)數(shù)精度。自主研發(fā)的“棉田棉蚜拍攝裝置”采集的對(duì)10幅蚜蟲(chóng)圖像分別進(jìn)行傳統(tǒng)估算計(jì)數(shù)、直接計(jì)數(shù)和實(shí)驗(yàn)算法計(jì)數(shù)，基于自動(dòng)結(jié)構(gòu)元素的棉蚜計(jì)數(shù)方法計(jì)數(shù)平均精度為86.47%，平均提高計(jì)數(shù)精度達(dá)33.66%。