基于顯著性檢測的害蟲圖像自動分割算法研究

陳向東 鄧江洪

(黃淮學(xué)院信息工程學(xué)院1，駐馬店 463000) (黃淮學(xué)院動畫學(xué)院2，駐馬店 463000)

為了響應(yīng)農(nóng)業(yè)現(xiàn)代化號召，提高勞動生產(chǎn)效率，目前更多的先進(jìn)技術(shù)逐漸融入現(xiàn)代農(nóng)業(yè)發(fā)展中，隨著圖像分割技術(shù)在圖像處理過程中廣泛地應(yīng)用，使得對圖像分割結(jié)果質(zhì)量的要求也愈加嚴(yán)格，例如圖像特征提取的精確度和目標(biāo)識別的準(zhǔn)確性，都取決于分割結(jié)果質(zhì)量的好壞。如果能將圖像分割技術(shù)應(yīng)用于當(dāng)?shù)剞r(nóng)田的檢測之中，將農(nóng)田進(jìn)行不同程度不同種類的蟲害區(qū)劃分，那么就可以有選擇性的應(yīng)用合適的病蟲害防治策略，使殺蟲劑的應(yīng)用更加有效，將大大節(jié)省時間，提高勞動效率。

隨著計算機(jī)視覺技術(shù)的快速發(fā)展，害蟲圖像分割算法得到了廣泛的研究。傳統(tǒng)的害蟲圖像分割算法主要是基于樣本的顏色、紋理、幾何形態(tài)等特征進(jìn)行分割。而在田間環(huán)境下，由于環(huán)境的復(fù)雜性，學(xué)者將圖像的分割算法都進(jìn)行了改進(jìn)，總的來說目前野外目標(biāo)的分類的研究主要分為兩類：即基于形狀的分類和基于紋理的分類。在過往的研究中，已有許多研究人員對基于形狀特征的場景對象進(jìn)行了分類[1,2]，而基于紋理特征的場景對象分類則主要應(yīng)用于雜草種類的識別[3,4]，將紋理分類的方法應(yīng)用在害蟲田間圖像分割中的研究很少。由于在野外害蟲的形態(tài)變化較大，目前較為常見的研究方法均是通過統(tǒng)計方法來實現(xiàn)的，但有研究表明，使用共現(xiàn)矩陣進(jìn)行復(fù)雜紋理分析能夠得到較好的結(jié)果[5,6]。這是由于早期頻率分析方法缺乏局部性，而聯(lián)合空間、頻率的方法，本質(zhì)上是局部的，具有優(yōu)于統(tǒng)計方法的特點，能夠顯示空間域中局部區(qū)域的頻率內(nèi)容，但該方法需要對單個目標(biāo)進(jìn)行分析因而限制了其在可變形態(tài)中的應(yīng)用。近年來，深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用也漸臻成熟，基于深度神經(jīng)網(wǎng)絡(luò)算法對農(nóng)作物病蟲害進(jìn)行定位識別，使用K-means聚類方法執(zhí)行圖像分割，對促進(jìn)農(nóng)田健康監(jiān)測，確保農(nóng)產(chǎn)品質(zhì)量有著重要意義[7]。而針對圖像數(shù)據(jù)庫日漸龐大的問題，有研究提出將特征提取與深度學(xué)習(xí)相結(jié)合，利用Gabor濾波器組提取圖像特征，基于深度信念網(wǎng)絡(luò)實現(xiàn)圖像檢索[8]。因此，本研究采用基于紋理的分類方法，結(jié)合Gabor濾波器對害蟲影像進(jìn)行低層次特征的提取，為實時選擇殺蟲劑提供技術(shù)支持。

目前在田間復(fù)雜背景下實現(xiàn)對蔬菜鱗翅目害蟲的有效分割是亟待解決的問題，也是提高害蟲圖像自動識別準(zhǔn)確率的關(guān)鍵因素。為此，本研究首先建立了害蟲顯著性圖像的分割模型，從DCT系數(shù)中提取顏色、亮度、紋理和深度的特征，基于圖像塊之間存在空間距離，采用高斯模型加權(quán)來估計圖像顯著性，并設(shè)計了一種新的融合方法，用于組合最終害蟲圖像的特征圖，并進(jìn)行分類檢測。

1 圖像分割模型構(gòu)建

1.1 建立模型

傳統(tǒng)的圖像分割模型需要人機(jī)交互，要求人為選定興趣區(qū)域，并通過鼠標(biāo)重復(fù)設(shè)置圖像前景區(qū)和背景區(qū)，在分割前景與背景顏色差異不明顯或背景復(fù)雜的樣本時，很難獲得滿意的分割效果，同時限制了其在可變形態(tài)中的應(yīng)用，故本研究采用基于紋理的分類方法，結(jié)合Gabor濾波器對害蟲影像進(jìn)行低層次特征的提取，為實時選擇殺蟲劑提供技術(shù)支持。模型的框架及具體實現(xiàn)步驟如圖1所示。首先，從輸入的立體圖像中提取顏色、亮度、紋理和深度特征，并基于這些特征，計算特征圖的特征對比度。然后設(shè)計了一種融合方法，將特征映射與顯著性映射相結(jié)合。此外，基于視覺敏銳度模型及HVS的特點來增強(qiáng)影像的顯著性[10-12]。

圖1 模型框架

1.2 特征提取

將輸入圖像分割成小塊圖像，然后采用DCT系數(shù)來表示每個圖像塊代表的特征。實驗結(jié)果表明，在視覺角度[0.14，0.21](°)的范圍內(nèi)，所提出的切割尺寸模型可以獲得較好的特征提取效果。本文使用8×8(視角在[0.14，0.21]度范圍內(nèi))的斑塊尺寸進(jìn)行顯著性計算。使用的圖像補(bǔ)丁大小也與jpeg壓縮圖像中的DCT塊大小相同。

輸入的RGB圖像由于其感知特性被轉(zhuǎn)換為YCBCR顏色空間。在YCBCR顏色空間中，Y分量代表亮度信息，CB和CR是兩個顏色對立的分量。對于DCT系數(shù)，DC系數(shù)表示圖像補(bǔ)丁中所有像素的平均能量[13]，AC系數(shù)表示圖像補(bǔ)丁的詳細(xì)頻率屬性。因此，本研究使用Y分量的DC系數(shù)表示圖像補(bǔ)丁的亮度特征為l=ydc(ydc是Y分量的DC系數(shù))，用CB和CR分量的DC系數(shù)表示顏色特征為C1=cbdc和C2=crdc(cbdc和crdc是分別來自CB和CR組分的直流系數(shù))。由于CR和CB組件主要包含顏色信息，在這兩個通道中包含的紋理信息很少，本文僅使用Y分量的系數(shù)來表示圖像補(bǔ)丁的紋理特征。在DCT塊中，大部分能量都包含在DCT塊左上角的前幾個低頻系數(shù)中，而DCT塊右下角的高頻系數(shù)幾乎沒有能量，故本文只使用少量的AC系數(shù)來表示圖像塊的紋理特征。

對于深度特征，假設(shè)深度圖為場景提供感知深度的信息。在立體顯示系統(tǒng)中，深度信息通常用顯示左視圖和右視圖圖像之間每個像素視差的視差圖來表示。對于顯示系統(tǒng)，視差通常以像素為單位來測量。本文感知深度信息的深度圖M是基于差異計算的，見式(1)。

(1)

式中：V為觀察者的視距/cm；d為眼間距離/cm；P為像素/ppi；W為顯示屏的寬度/cm；H為顯示屏的水平分辨率/dpi。

與顏色和亮度的特征提取相似，采用式(1)中計算的深度圖中斑塊的DC系數(shù)作為d=MDC(MDC表示深度圖M中圖像斑塊的DC系數(shù))。提取輸入立體圖像的顏色、亮度、紋理和深度(L、C1、C2、T、D)的五個特征。

1.3 特征圖計算

(2)

(3)

式中：Bm為特征，Bm∈{L、C1、C2、D}；分母用于規(guī)范化特征對比度。

特征對比度計算模型為：

(4)

式中：t為AC系數(shù)，t∈{1，2，…，9}；B′為紋理特征；采用分母規(guī)范化特征對比度。

1.4 顯著性增強(qiáng)模型

實驗結(jié)果表明，中心偏差與圖像特征的分布無關(guān)，這意味著中心偏差獨立于圖像特征計算的顯著性。將CBM視為中心偏因子的擬合估計，類似于圖像特征的擬合估計圖Sf(顯著性圖)?？紤]中心偏差因子的顯著性圖計算模型見式(5)。

S=γ1Sf+γ2Sc

(5)

式中：γ1和γ2是兩個用于對兩個組分進(jìn)行加權(quán)的參數(shù)。考慮到圖像特征的顯著性映射Sf比中心偏壓因子的CBMSc更重要，將參數(shù)設(shè)置為γ1=0.7和γ2=0.3。

使用人類視覺敏感性模型來計算加權(quán)顯著性圖。對比靈敏度Cs(f，e)可由式(6)計算。

(6)

式中：f為空間頻率(C/P)；e=tan-1(d′/υ)為視網(wǎng)膜偏心率/°；C0為最小對比度閾值；α為空間頻率衰減常數(shù)；e2為半分辨率偏心率/°。擬合參數(shù)值設(shè)定為：α=0.106，e2=2.3，C0=1/64。υ是視距/cm；d是圖像像素(i0，j0)和(i，j)之間的空間距離/cm。

歸一化視覺靈敏度Cs(f，e)增強(qiáng)的最終顯著性圖可計算為：

S′=S×Cs(f,e)

(7)

2 材料與選擇

2.1 實驗樣本采集和預(yù)處理

本研究采用文獻(xiàn)[14]中提出的眼睛跟蹤數(shù)據(jù)庫來評估所提出模型的性能。該數(shù)據(jù)庫包括7種不同類型的害蟲圖像，粘蟲、馬鈴薯線蟲、水稻蠓、水稻葉蟲、紫菀葉蟬、粉虱及水稻象鼻蟲。數(shù)據(jù)庫中的圖像使用松下AG-3DA1 3D相機(jī)拍攝。為了避免景深(DOF)的不確定性，本次實驗考慮了立體三維視景環(huán)境中的調(diào)節(jié)和收斂問題。所用立體圖像的視差在舒適的觀察區(qū)域內(nèi)。因此，實驗過程不會受到自由度的干擾。實驗樣本分布平均，每一種害蟲選取80張照片，照片格式均為1 200 px×1 000 px，且均在26英寸松下BT-3DL2550液晶屏上顯示，分辨率為1 920 ppi×1 200 ppi，刷新率為60 Hz。

2.2 驗證試驗

為了驗證本研究提出的分割算法，選擇粉虱幼蟲進(jìn)行測試實驗，獲得了在正常光照條件下受粉虱感染的葉子的圖像(圖2a)。受害蟲影響的葉片圖像被轉(zhuǎn)換為Cb分量(圖2b)。圖2c可以看出，分割圖像包含不需要的細(xì)節(jié)，如葉子的靜脈和其他灰塵顆粒。為了提高檢測的準(zhǔn)確性，需要消除這種噪聲。圖2d顯示了該過濾過程的結(jié)果。非常明顯的是，一部分重要噪聲仍然沒有過濾。為了提高實時檢測粉虱的準(zhǔn)確性，再次進(jìn)行去除殘留噪聲的過程。

圖2 在粉虱檢測算法在各個階段的輸出結(jié)果

從圖2e可以看出，由于重復(fù)去噪的過程，粉虱的尺寸減小。為了恢復(fù)其正常尺寸，對其圖像進(jìn)行擴(kuò)張。最后基于摩爾鄰域跟蹤算法和雅各布斯停止準(zhǔn)則計算粉虱的總數(shù)。圖2f中可以觀察到已經(jīng)能夠精確地檢測粉虱。

為了進(jìn)一步驗證本文算法的準(zhǔn)確性，選擇更亮的圖像重復(fù)上述步驟(圖3a)，收到了較好的檢測效果，如圖3b所示。從結(jié)果可以確定，即使在照射物體的外部光線中有變化，該算法也具有較高的檢測精度。

圖3 高強(qiáng)度光下拍攝的圖像

另一個需要考慮的重要方面是除了粉虱之外的害蟲的存在。為了測試這種情況，選擇受粉虱影響的葉子以及薊蟲(環(huán)繞)的圖像，如圖4所示。結(jié)果表明，薊蟲的存在對算法的結(jié)果沒有顯著影響。

圖4 除粉虱以外的昆蟲檢測結(jié)果

2.3 在線監(jiān)測系統(tǒng)

本研究基于分割紋理方法提取害蟲目標(biāo)，建立害蟲在線監(jiān)測系統(tǒng)和監(jiān)測識別平臺，為蟲害的監(jiān)測與預(yù)警提供支持。將監(jiān)測裝置置于作物壟間，與作物莖稈間距保持30 cm，以保證光照。合理設(shè)計安放誘蟲板、誘蟲背景板、太陽板，攝像頭與誘蟲板間距按照在25～30 cm之間，以便能更好地獲得害蟲在線監(jiān)測圖像。經(jīng)由客戶端實現(xiàn)對害蟲的誘捕、實時信息采集、害蟲種類識別。

3 討論

3.1 不同害蟲分割實驗結(jié)果

為了測試分割紋理方法的檢測性能，選擇具有可變形態(tài)的野外害蟲圖像。為了有效地區(qū)分害蟲和背景，通過實驗確定了具有四個尺度和六個方向的特定濾波器組。在實驗中，對害蟲進(jìn)行分類。表1表明了本研究所提方法在各種害蟲形態(tài)學(xué)檢測過程中具有較高的精度，對害蟲圖像均能夠做到較精準(zhǔn)的分割。且基于該算法能實現(xiàn)對田間害蟲的在線監(jiān)測，在線監(jiān)測系統(tǒng)日常使用中，晴天電量穩(wěn)定在100%，遇雨天、連續(xù)陰天電量維持在80%及以上，可見該裝置能滿足田間害蟲長期在線監(jiān)測的實際需求。

表1 算法對不同害蟲分割實驗結(jié)果

3.2 分割結(jié)果評價

將本文所建模型分割結(jié)果與線性組合的二維深度模型(模型1)[15]、二維顯著性檢測模型(模型2)[16]、S-segmentation算法的顯著性檢測模型(模型3)[17]進(jìn)行的顯著性檢測模型對比分析。統(tǒng)計檢驗結(jié)果表明，本文所建模型的性能與現(xiàn)有模型差異顯著，其PLCC和AUC值大于其他兩個模型，KLD值小于其他兩個模型(表2)。可見，本研究所提出的模型具有更高的顯著性檢測精度。

表2 模型對比結(jié)果

4 結(jié)論

本研究提出了一種基于顯著性檢測的害蟲圖像自動分割算法。從DCT系數(shù)中提取顏色、亮度、紋理和深度的特征，以表示小圖像塊的能量?；趫D像塊之間存在空間距離，采用高斯模型加權(quán)來估計圖像顯著性，以考慮局部和全局對比度。并設(shè)計了一種新的融合方法，用于組合最終害蟲圖像的特征圖，研究結(jié)果表明，本文所提算法能夠提高害蟲圖像分割過程的精度和準(zhǔn)確度，減少計算，具有較好的檢測性能，能實現(xiàn)田間害蟲的在線監(jiān)測。將其應(yīng)用于農(nóng)田的檢測之中，將有利于蟲害區(qū)的劃分、不同類型殺蟲劑的實時選擇以及相適宜的病蟲害防治策略的制定，可大大節(jié)省時間提高勞動效率。