基于顯著性檢測的蔬菜鱗翅目害蟲圖像自動分割算法

錢 蓉，董 偉，朱靜波，張 萌，張立平，卜英喬

(1.安徽省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所，安徽合肥230031；2.國防科技大學(xué)電子對抗學(xué)院，安徽合肥230037)

田間復(fù)雜背景下實(shí)現(xiàn)對蔬菜鱗翅目害蟲的有效分割是亟待解決的問題，也是提高害蟲圖像自動識別準(zhǔn)確率的關(guān)鍵因素.隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，害蟲圖像分割算法得到了廣泛的研究.傳統(tǒng)的害蟲圖像分割算法主要是基于樣本的顏色、紋理、幾何形態(tài)等特征進(jìn)行分割.程小梅等[1]綜合顏色、紋理和空間等多特征信息，通過EM算法估計(jì)高斯模型參數(shù)，可分割出10多種昆蟲圖像.陳婷婷[2]采用模糊形態(tài)學(xué)處理帶有噪聲的大田害蟲圖像，可將害蟲與背景分離.張水發(fā)等[3]以樣本采集時焦點(diǎn)定制目標(biāo)物為前提，基于DCT和區(qū)域生長算法把白粉虱從葉片上分割出來，平均分割率達(dá)到98.49%，但焦點(diǎn)未聚焦在目標(biāo)物樣本的圖像分割率急劇下降.傳統(tǒng)的分割方法在特定的數(shù)據(jù)集上表現(xiàn)出良好的分割效果，但被應(yīng)用至田間復(fù)雜自然背景的害蟲圖像分割，獲得的分割結(jié)果不盡人意.近幾年，已有研究人員開展害蟲圖像半自動分割和全自動分割方面的研究，2013年張潔[4]提出了一種結(jié)合紋理顏色直方圖的最大相似度區(qū)域合并算法，用于農(nóng)田背景害蟲圖像的人機(jī)交互分割，實(shí)現(xiàn)了半自動化圖像分割.2017年楊國國等[5]把圖像顯著性檢測技術(shù)應(yīng)用到茶園害蟲識別中，對數(shù)字圖像進(jìn)行顯著性分析，實(shí)現(xiàn)在圖像中對害蟲進(jìn)行定位并完成自動分割，從而提高茶園害蟲識別準(zhǔn)確率，使茶園害蟲的識別率達(dá)到91.5%.但這種算法的分割精確度受樣本集制約，不適合小樣本分割.2017年Zhao et al[6]采用邊緣感知加權(quán)技術(shù)，增強(qiáng)了病蟲害圖像顯著檢測結(jié)果的邊緣和細(xì)節(jié)，更好地保存了害蟲的特征.2018年陳樹越等[7]采用改進(jìn)的Harris算法計(jì)算角點(diǎn)的像素相似度，選出候選角點(diǎn)，剔除候選角點(diǎn)中的非凹點(diǎn)，將剩余的凹點(diǎn)進(jìn)行局部非極大值抑制，選出真正的凹點(diǎn)，完成對粘連害蟲輪廓的逐層剝離.蔬菜鱗翅目害蟲顏色多樣，體態(tài)多變，大部分害蟲與田間蔬菜顏色相近，不易識別.因此，在田間復(fù)雜背景下，僅依據(jù)顏色或紋理特征，采用傳統(tǒng)分割算法進(jìn)行自動分割會出現(xiàn)過分割或欠分割的現(xiàn)象.為了增加前背景間對比度，淡化田間復(fù)雜環(huán)境的影響，本文提出一種基于顯著性檢測的圖像自動分割算法(saliency based segmentation，簡稱S-segmentation)，即采用顯著性檢測模型提取樣本圖像的顯著圖，達(dá)到讓前景凸顯的效果.與傳統(tǒng)GrabCut算法[8]相比，S-segmentation算法將顯著圖設(shè)計(jì)成GrabCut算法的約束項(xiàng)，加入到分割區(qū)域計(jì)算項(xiàng)中，可實(shí)現(xiàn)田間復(fù)雜背景下害蟲圖像的自動分割，且其分割的精確度也不受樣本個數(shù)約束.

1 材料與方法

1.1 供試材料

數(shù)據(jù)采集設(shè)備為尼康D810、尼康D7000數(shù)碼單反相機(jī).計(jì)算機(jī)硬件配置是Intel(R)Core(TM)i7-7700CPU＠3.60GHz，8GB 內(nèi)存，64位 Windows10操作系統(tǒng).開發(fā)平臺：VisualStudio2012＋Opencv3.3.0.

1.2 樣本采集

數(shù)據(jù)集包含5類鱗翅目害蟲圖像，分別為斜紋夜蛾、甜菜夜蛾、棉鈴蟲、小菜蛾和菜粉蝶，均采自田間實(shí)地，為自建數(shù)據(jù)集.害蟲占整幅照片的中心位置.為了使樣本分布均勻，隨機(jī)抽取各類害蟲100張圖像，組成500張樣本圖像的樣本集，樣本圖像大小均為1 000 px×1 000 px.

1.3 樣本圖像預(yù)處理

采用顯著性檢測對樣本圖像作預(yù)處理，實(shí)現(xiàn)前景目標(biāo)的預(yù)分割.顯著性檢測是通過自上而下的目標(biāo)驅(qū)動或自下而上的數(shù)據(jù)驅(qū)動方式，自動地從圖像中提取最突出或最能吸引視覺注意的局部區(qū)域[9].自上而下的目標(biāo)驅(qū)動式顯著性檢測需要提前給出先驗(yàn)?zāi)繕?biāo)知識和特定任務(wù)，通過訓(xùn)練學(xué)習(xí)，完成顯著區(qū)域提取；而自下而上的數(shù)據(jù)驅(qū)動式顯著性檢測是基于顏色、形狀、位置和強(qiáng)度等特征信息完成顯著區(qū)域提取，無需提前設(shè)定先驗(yàn)?zāi)繕?biāo)，因此被廣泛應(yīng)用在目標(biāo)物分割和識別、圖像壓縮等方面[10].結(jié)合田間蔬菜鱗翅目害蟲實(shí)際特征，分別參考文獻(xiàn)[11-17]的顯著性檢測算法，分析試驗(yàn)樣本數(shù)據(jù)集，得到的顯著圖如圖1所示.

圖1 RC、AC、FT、LC和HC的預(yù)處理結(jié)果對比圖Fig.1 Comparison of the results of RC，AC，F(xiàn)T，LC and HC pretreatment methods

對比圖1中5種顯著性檢測算法的結(jié)果可知，與其他4種顯著檢測算法相比，采用RC顯著性檢測算法處理可使樣本的前景與背景間的對比度明顯增強(qiáng).因此，本文融合RC算法對數(shù)據(jù)集進(jìn)行顯著性檢測，提取顯著性圖.顯著性圖提取計(jì)算公式表示如下：

式(1)中，rk和ri是樣本圖像任意2個子區(qū)域，S(rk)代表rk區(qū)域的顯著值，權(quán)值ω(ri)是ri區(qū)域像素值的個數(shù)，Dr(·，·)是2個區(qū)域間顏色距離矩陣，計(jì)算方法表示如下：

式(2)中，f(ck，j)是第i個顏色值ck，i在rk區(qū)域的nk種顏色中出現(xiàn)的概率，k＝{1，2}.

1.4 S-segmentation算法實(shí)現(xiàn)

傳統(tǒng)的GrabCut算法需要人機(jī)交互，要求人為選定興趣區(qū)域，并通過鼠標(biāo)重復(fù)設(shè)置圖像前景區(qū)和背景區(qū)，在分割前景與背景顏色差異不明顯或背景復(fù)雜的樣本時，很難獲得滿意的分割效果.S-segmentation算法采用顯著性檢測模型對樣本圖像進(jìn)行預(yù)分割，提取視覺注意區(qū)域中顯著性圖，然后把預(yù)分割得到的顯著性圖作為GrabCut算法的預(yù)設(shè)項(xiàng)，對GrabCut算法進(jìn)行初始化，完成自動分割.在圖像采集過程中把目標(biāo)對象放置于圖像中心位置，初始過程中可把顯著性圖的高和寬3%的邊界區(qū)域設(shè)置為背景區(qū)域，有效提高算法運(yùn)行效率和分割準(zhǔn)確率.S-segmentation算法的框架圖如圖2所示.算法流程表示如下：(1)初始化.(2)對原樣本圖I作高斯濾波去噪處理，保存為 I＿Gau.(3)采用 RC算法對 I＿Gau圖進(jìn)行顯著性內(nèi)容分析，得到顯著性圖I＿saliency.(4)采用顯著圖I＿saliency初始化GrabCut算法，設(shè)定I＿saliency圖的高和寬3%的邊界區(qū)域設(shè)置為背景區(qū)域，此時的圖記為I＿saliencyROI；把I＿saliencyROI作為輸入，開始迭代運(yùn)行GrabCut算法.(5)對GrabCut算法的每次迭代結(jié)果進(jìn)行膨脹和腐蝕操作，得到三元圖I＿trimmap(包括前景、背景和位置區(qū)域)，作為下次迭代的輸入.(6)經(jīng)過n次迭代后即可得到分割后的二值圖I＿RCsegimg，結(jié)合原樣本圖像I，即可得到原樣本圖的分割結(jié)果 I＿segimg.

圖2 S-segmentation算法框架圖Fig.2 S-segmentation algorithm framework diagram

1.5 驗(yàn)證試驗(yàn)

為了驗(yàn)證本文提出的分割算法，另選取上述5種鱗翅目害蟲的成蟲樣本圖像各100張繼續(xù)進(jìn)行分割試驗(yàn)；并計(jì)算出各類成蟲圖像的平均分割精確度.通過比較各類成蟲圖像分割結(jié)果的平均精確度來評價分割效果.

2 結(jié)果與分析

2.1 S-segmentation算法分割幼蟲試驗(yàn)

采用本文提出的算法分別分割5種害蟲幼蟲的7類圖像，分割過程如圖3所示.鱗翅目幼蟲顏色多樣，與背景顏色差異很小.圖3列出7種害蟲的圖像樣本，前景顏色與背景相似.從圖3可知，采用本文提出的方法處理前景與背景間顏色相似程度不等的樣本圖像，均可去除背景區(qū)域，還可以保留蟲體前景與背景間的邊緣細(xì)節(jié)信息.

2.2 不同算法分割幼蟲的對比試驗(yàn)

從圖4可知，S-segmentation算法可完整分割出斜紋蛾，而Ostu算法分割結(jié)果中丟失較多黑色斑紋信息.其原因可能是黑色斑紋與背景區(qū)域顏色相似，被當(dāng)作背景去除，從而影響幼蟲自動識別的準(zhǔn)確性.從圖5可知，試驗(yàn)樣本為上述7類樣本圖像，圖5A1的背景區(qū)域有部分顏色與前景接近，初次迭代分割效果明顯，繼續(xù)迭代3次后剩余部分背景區(qū)域仍無法去除，分割效果如圖5C1中紅色矩形框所示.圖5A2樣本圖像的背景區(qū)域色彩復(fù)雜，經(jīng)3次迭代后，在后續(xù)的每次迭代后只能去除設(shè)定為背景的線條形區(qū)域，分割效果如圖5C2中紅色矩形框內(nèi)標(biāo)記的黑色線條背景線，未設(shè)置的背景區(qū)域不能被移除，分割效果很理想.采用傳統(tǒng)的GrabCut算法對本試驗(yàn)選用的7類樣本圖像的分割情況表明，這些算法對背景顏色單一且前景與背景間顏色差異明顯的樣本分割效果好，所需時間較短；對背景顏色復(fù)雜的樣本，迭代多次后仍有部分背景難以去除；對前景與背景間顏色相近的樣本不能準(zhǔn)確分割，未能達(dá)到期望結(jié)果.而采用S-segmentation算法處理可得到很好的分割結(jié)果(圖5B1、5B2).

圖3 S-segmentation算法分割5種蛾類幼蟲的過程圖Fig.3 Graphical procedure of segmentation of 5 types of moth larvae by S-segmentation algorithm

2.3 驗(yàn)證試驗(yàn)

為了定量分析各算法的分割效果，采用分割精確度來量化各個算法的分割結(jié)果，從而進(jìn)行客觀評價.通常，圖像分割結(jié)果的優(yōu)劣通過精確度(precision)[19]和交并比(IOU)2個指標(biāo)來衡量.精確度可衡量分割圖面積占真實(shí)圖面積的比例，交并比用來說明分割圖與真實(shí)圖的交集與并集的比例.精確度和交并比的計(jì)算方法分別如式(3)和式(4)所示.

式中，G表示真實(shí)圖的參考面積，S表示算法分割得到的分割圖像的真實(shí)面積，表示錯誤分割的像素點(diǎn)個數(shù)，precision為分割精確度，IOU為真實(shí)圖和分割圖交集面積占并集面積的比例值，Area(G)表示真實(shí)圖的面積，Area(S)表示分割圖的面積，Area(G)∩Area(S)表示真實(shí)圖與分割圖重疊面積值，Area(G)∪Area(S)是真實(shí)圖與分割圖并集的面積.

圖4 Ostu算法和S-segmentation算法分割斜紋蛾的對比圖Fig.4 Comparison of Ostu algorithm and S-segmentation algorithm for the segmentation of Spodoptera moth

圖5 傳統(tǒng)GrabCut算法與S-segmentation算法分割結(jié)果的對比圖Fig.5 Comparison of traditional GrabCut algorithm and S-segmentation algorithm

從圖6、7可知，S-segmentation算法、Ostu算法和傳統(tǒng)GrabCut算法在本文數(shù)據(jù)集上的平均分割精確度和交并比差別較大，其中Ostu算法的precision和IOU的平均值分別是54.09%和52.29%，傳統(tǒng)GrabCut算法的precision和IOU的平均值分別是71.34%和70.31%；S-segmentation算法的precision和IOU的平均值分別是93.14%和92.69%.從以上2個衡量指標(biāo)值來看，S-segmentation算法分割準(zhǔn)確率和交并比明顯高于其他2種算法，分割效果好.表明S-segmentation算法在各類樣本圖像分割中均具有較好的分割效果，從而驗(yàn)證了該算法在自然背景下分割蔬菜鱗翅目害蟲圖像的可行性.從圖8可知，5種成蟲圖像的平均精確度達(dá)到88.22%，可以滿足實(shí)際應(yīng)用的需求.

3 小結(jié)

本文基于圖像顯著性檢測提出一種鱗翅目圖像自動分割算法，即S-segmentation算法，與傳統(tǒng)分割算法比較，分割效果更好，且不受樣本數(shù)量影響.S-segmentation算法不受圖像復(fù)雜背景與前背景間顏色差異的影響，能保留前景圖像的邊緣信息和紋理細(xì)節(jié)信息，應(yīng)用到體型單一的幼蟲圖像分割中，其平均分割精確度達(dá)到93.14%；應(yīng)用到體型多樣且紋理復(fù)雜的成蟲圖像分割中，其平均分割精確度也能達(dá)到88.22%.對于田間自然情況下不同色型、不同齡期且姿態(tài)多變的鱗翅目成蟲的分割試驗(yàn)，該算法具有較強(qiáng)實(shí)用性.

圖6 S-segmentation算法、Ostu算法和傳統(tǒng)GrabCut算法的平均分割精確度統(tǒng)計(jì)圖Fig.6 Average segmentation accuracy statistics of S-segmentation algorithm，Ostu algorithm and traditional GrabCut algorithms

圖7 S-segmentation算法、Ostu算法和傳統(tǒng)GrabCut算法的平均分割交并比統(tǒng)計(jì)圖Fig.7 Average split-to-match ratio chart of S-segmentation algorithm，Ostu algorithm and traditional GrabCut algorithms

圖8 采用S-segmentation算法分割5種成蟲圖像的平均精確度統(tǒng)計(jì)圖Fig.8 S-segmentation algorithm divides the average accuracy statistics of five adult images