基于視覺(jué)顯著性的水面垃圾目標(biāo)檢測(cè)

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000)

隨著社會(huì)的發(fā)展和人們生活水平的提高，人們生活和生產(chǎn)產(chǎn)生的垃圾也相應(yīng)增多，由于一部分人環(huán)保意識(shí)不夠強(qiáng)，導(dǎo)致一些垃圾被傾倒在水中，如不及時(shí)清理將會(huì)對(duì)人們的生活生產(chǎn)造成嚴(yán)重的影響。傳統(tǒng)的人工清理水面垃圾的方式不僅耗時(shí)耗力，并且作業(yè)人員的危險(xiǎn)系數(shù)極高，因此一種水面智能清污機(jī)器人孕育而生[1]，而水面垃圾目標(biāo)檢測(cè)則是水面智能清污機(jī)器人的核心。

水面垃圾目標(biāo)檢測(cè)可以歸為水面目標(biāo)檢測(cè)范疇，近幾年涌現(xiàn)出一批水面目標(biāo)檢測(cè)算法。黃銀君[2]等人通過(guò)分析水體的顏色和紋理特征，提出了基于水體邊界特征和顏色分布模型的水面目標(biāo)檢測(cè)算法。Hou[3]等人使用基于變化檢測(cè)背景建模法檢測(cè)水面顯著性目標(biāo)，當(dāng)目標(biāo)背景變化差異較小時(shí)該算法檢測(cè)精度會(huì)有所降低。劉茜[4]在HSI顏色空間中分別在H、S和I分量中進(jìn)行邊緣檢測(cè)，然后將邊緣信息進(jìn)行融合，從而檢測(cè)出水面目標(biāo)。方晶[5]等人使用基于視覺(jué)注意模型的艦船目標(biāo)檢測(cè)方法，采用圖像高斯金字塔和歸一化算子來(lái)融合小波變換提取的低頻、高頻特征和HSV空間中的色度、飽和度和透明度特征，從而檢測(cè)出水面的艦船目標(biāo)。

現(xiàn)存的大多數(shù)水面目標(biāo)檢測(cè)算法都是針對(duì)水面艦船的檢測(cè)，與之相比水面垃圾目標(biāo)檢測(cè)更容易受到水面水波、倒影和反光等干擾因素影響，因此算法不僅要求檢測(cè)的有效性而且需要能夠去除水面干擾因素的影響以提高檢測(cè)的精度。綜合以上考慮，提出一種基于視覺(jué)顯著性的水面垃圾目標(biāo)檢測(cè)算法，將水面垃圾目標(biāo)檢測(cè)看成水面顯著性目標(biāo)檢測(cè)問(wèn)題，從超像素中提取顯著性特征并使用隨機(jī)森林回歸器將其融合得到顯著性圖，然后使用紋理特征去除水面的干擾因素，進(jìn)一步提升檢測(cè)的精度。

為了便于描述，以下將可能存在水面干擾因素的圖像稱為疑似圖。本文提出的基于視覺(jué)顯著性的水面垃圾目標(biāo)檢測(cè)算法整體描述如下。

1 算法結(jié)構(gòu)

算法的整體流程如圖1所示，整體結(jié)構(gòu)主要包括顯著性特征提取、疑似顯著性圖的生成和去除水面干擾。首先對(duì)輸入圖像使用超像素分割算法得到圖像的超像素，緊接著對(duì)每一個(gè)超像素分別在CIELab、RGB和HSV顏色空間中提取全局顯著性特征、局部顯著性特征和直方圖顯著性特征。然后訓(xùn)練一個(gè)隨機(jī)森林回歸器，以超像素級(jí)的顯著性特征作為隨機(jī)森林回歸器的輸入來(lái)對(duì)圖像中的每一個(gè)超像素的顯著性進(jìn)行評(píng)估，從而得到輸入圖像的疑似顯著性圖，對(duì)疑似顯著性圖使用一種自適應(yīng)閾值分割方法得到疑似二值顯著性圖，并由二值圖在輸入圖像中得到疑似垃圾目標(biāo)區(qū)域。最后使用多層感知器(Multi-Layer Perceptron，MLP)分類(lèi)器對(duì)原始圖像中的疑似垃圾目標(biāo)區(qū)域進(jìn)行判別，去除只含水波、倒影和反光的區(qū)域，保留含有垃圾目標(biāo)的區(qū)域，最終檢測(cè)出水面的垃圾目標(biāo)。

圖1 算法整體流程圖

1.1 顯著性特征提取

使用簡(jiǎn)單線性迭代聚類(lèi)[6](Simple Linear Iterative Clustering,SLIC)算法把輸入圖像分割成K個(gè)超像素SP(i),i=1,2,…,K，SLIC算法與其他超像素分割算法相比具有的較低計(jì)算代價(jià)并且有較高的分割性能，用較少的超像素代替大量的像素來(lái)表達(dá)圖像特征可以降低圖像后續(xù)處理的復(fù)雜度[7]，并且與像素和區(qū)塊相比，從超像素中能夠提取更高效的特征并且邊緣保留度更好[8]。SLIC超像素分割算法充分考慮了圖像的顏色相似性和空間距離的關(guān)系，該算法是通過(guò)構(gòu)造CIELab顏色空間和二維坐標(biāo)下的5維的特征向量，然后對(duì)圖像像素使用局部K均值聚類(lèi)算法(K-Means Clustering Algorithm)聚類(lèi)得到圖像的超像素。SLIC超像素分割算法的具體步驟為：

② 計(jì)算每一個(gè)種子點(diǎn)的n×n領(lǐng)域內(nèi)所有像素的梯度(一般n=3)，將種子點(diǎn)移到該領(lǐng)域內(nèi)梯度最小的位置。

③ 對(duì)每一個(gè)聚類(lèi)中心Ck根據(jù)式(1)在一個(gè) 2S×2S的方形領(lǐng)域內(nèi)搜索與其相似性最小的像素，將該像素分配給聚類(lèi)中心對(duì)應(yīng)的超像素標(biāo)簽。

④ 重復(fù)步驟③直至計(jì)算前后兩次聚類(lèi)中心的距離小于給定的閾值。

其中兩個(gè)像素點(diǎn)間的相似性度量為

(1)

式中，Ds越大，表明兩個(gè)像素點(diǎn)之間的相似性越高；m為平衡參數(shù),用來(lái)平衡空間信息與顏色值在相似度衡量中的比例；s為種子點(diǎn)的間距；dlab為像素點(diǎn)l與k之間的顏色差異，dxy為其空間距離。dlab和dxy計(jì)算公式如下：

(2)

(3)

式中，l、a、b分別為CIELab空間中的3個(gè)顏色分量值；(x,y)為其空間位置。

由SLIC超像素分割算法得到圖像的超像素之后再分別計(jì)算每一個(gè)超像素在CIELab、RGB和HSV顏色空間中的全局顯著性特征、局部顯著性特征和直方圖顯著性特征。

1.1.1 全局顯著性特征

顯著性從生物視覺(jué)方面可以理解為視覺(jué)系統(tǒng)中視覺(jué)信號(hào)對(duì)對(duì)比度的敏感度，人類(lèi)視覺(jué)系統(tǒng)對(duì)外觀和顏色對(duì)比度更加敏感，如果一個(gè)超像素與圖像中其他的超像素相比在外觀和顏色上差異較大，那么這個(gè)超像素就具有較高的顯著性，全局顯著性特征可以用來(lái)表征超像素在整個(gè)圖像中的對(duì)比度。全局圖像對(duì)比度是通過(guò)一個(gè)區(qū)域與整個(gè)圖像的對(duì)比來(lái)估計(jì)顯著性[9]。使用超像素中所有像素的像素平均值來(lái)代表該超像素的像素值，表示為sci，使用超像素中所有像素坐標(biāo)的平均值來(lái)表示該超像素的像素坐標(biāo)，表示為spi，則超像素的全局顯著性特征計(jì)算公式為

(4)

式中，K為圖像的超像素個(gè)數(shù)；dvalue(sci,scj)為sci與scj超像素像素值的歐式距離；wij=e-0.002dposition(spi,spj)；dpositon(spi,spj)為超像素spi與spj空間位置的歐式距離。根據(jù)式(4)分別在CIELab、RGB和HSV顏色空間中得到每一個(gè)超像素的全局顯著性特征。

1.1.2 局部顯著性特征

顯著性目標(biāo)經(jīng)常與其周?chē)沫h(huán)境有較大差異，如果一個(gè)超像素與其周?chē)某袼叵啾扔休^大的對(duì)比度，那么意味著這個(gè)超像素有較高的顯著性值，局部顯著性能夠表征超像素與其周?chē)袼氐膶?duì)比度。超像素的局部顯著性特征計(jì)算公式為

(5)

1.1.3 直方圖顯著性特征

直方圖特征是一種最有效評(píng)估顯著性特征的方法之一。直方圖特征是通過(guò)使用卡方校驗(yàn)來(lái)測(cè)量?jī)蓚€(gè)直方圖之間的距離[10]，第i個(gè)超像素的直方圖特征定義為

(6)

式中，b為超像素直方圖bin的數(shù)量，本文中bin為8；hik為第i個(gè)超像素在b=k時(shí)的直方圖對(duì)應(yīng)的取值。根據(jù)式(6)分別在CIELab、RGB和HSV顏色空間中由公式得到每一個(gè)超像素的直方圖顯著性特征。

1.2 疑似顯著性圖

由式(4)～式(6)得到輸入圖像的超像素級(jí)顯著性特征值后，再使用一個(gè)隨機(jī)森林[11](Random Forest)回歸器來(lái)評(píng)估每一個(gè)超像素的顯著性分?jǐn)?shù)，實(shí)現(xiàn)顯著性特征的融合，從而得到輸入圖像的疑似顯著性圖。最后由以下的自適應(yīng)閾值得到二值顯著性圖，閾值計(jì)算公式為

(7)

式中，W與H分別為圖像的寬和高；S(x,y)為疑似顯著性圖；λ為平衡因子，用來(lái)調(diào)節(jié)自適應(yīng)分割的閾值，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，在收集到的數(shù)據(jù)集中當(dāng)λ=5時(shí)得到的顯著性二值圖效果最好。圖2為由隨機(jī)森林回歸器得到的疑似顯著性圖與自適應(yīng)閾值分割得到的疑似二值圖。

圖2 疑似顯著性圖與疑似顯著性二值圖

圖像從上到下依次為原圖、疑似顯著性圖和疑似顯著性二值圖，最右邊為只含反光的水面，由檢測(cè)結(jié)果可以看出水面的干擾因素會(huì)影響垃圾目標(biāo)的檢測(cè)。

1.3 去除水面干擾

圖像紋理特征是一種區(qū)域特征，是對(duì)圖像各像元之間的空間分布的一種描述[12]。實(shí)驗(yàn)中發(fā)現(xiàn)在含有垃圾目標(biāo)的區(qū)域和不含垃圾目標(biāo)的區(qū)域紋理特征差異較大。圖像的灰度共生矩陣是描述紋理常用的統(tǒng)計(jì)分析方法之一[13]，為了從灰度共生矩陣中獲得能夠唯一描述圖像紋理特征，從灰度共生矩陣中獲取能量、對(duì)比度、相關(guān)性、熵和逆差矩來(lái)表征圖像的紋理特征，并使用MLP[14](Multi-Layer Perceptron)分類(lèi)器，以所提的紋理特征為輸入來(lái)對(duì)疑似垃圾目標(biāo)區(qū)域進(jìn)行識(shí)別，在收集到的數(shù)據(jù)集中截取大約3000張包含垃圾目標(biāo)的水面區(qū)域和大約3000張不包含垃圾目標(biāo)的水面區(qū)域，并進(jìn)行人工標(biāo)記，將圖片按照7∶3分為訓(xùn)練集和測(cè)試集來(lái)對(duì)MLP分類(lèi)器進(jìn)行訓(xùn)練。

去除水面干擾的具體實(shí)施方法為：根據(jù)疑似二值顯著性圖在原始圖像中截取出對(duì)應(yīng)的疑似垃圾目標(biāo)區(qū)域，將該區(qū)域的紋理特征作為MLP分類(lèi)器的輸入來(lái)判斷該區(qū)域是否包含垃圾目標(biāo)，如果該區(qū)域包含垃圾目標(biāo)，則在疑似顯著性圖中保留的對(duì)應(yīng)區(qū)域；若該區(qū)域不包含垃圾目標(biāo)，則在疑似顯著性圖中去除對(duì)應(yīng)區(qū)域；最后再進(jìn)行非極大值抑制[15]即可以得到最終的檢測(cè)結(jié)果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)平臺(tái)和實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)的硬件環(huán)境為Windows 7 64-bit操作系統(tǒng)平臺(tái)，處理器為Intel i5 3.20 GHz，內(nèi)存為8 GB，GPU的型號(hào)為GTX1060。

實(shí)驗(yàn)收集3000張包含垃圾的水面圖片,圖片的平均尺寸大小為704像素×576像素，隨機(jī)選取2000張圖片用做訓(xùn)練集，剩余1000張圖片用做測(cè)試集，并進(jìn)行人工標(biāo)注。為了保證實(shí)驗(yàn)對(duì)比結(jié)果的有效性，實(shí)驗(yàn)中的所有算法包括隨機(jī)森林回歸器的訓(xùn)練均使用相同的訓(xùn)練集和測(cè)試集，對(duì)于訓(xùn)練集中的圖片使用隨機(jī)裁剪、隨機(jī)顏色調(diào)整和翻轉(zhuǎn)操作來(lái)對(duì)樣本進(jìn)行擴(kuò)充。為了驗(yàn)證所提算法的有效性，將本文算法與目前較為流行的3種適用于水面垃圾目標(biāo)檢測(cè)的算法：FT[16]、LC[17]和YOLO[18]進(jìn)行比較，并采用了相關(guān)研究結(jié)果，其中FT和LC顯著性目標(biāo)檢測(cè)算法得到的顯著性圖使用與本文相同的自適應(yīng)閾值分割方法得到二值顯著性圖。除了YOLO算法使用Python實(shí)現(xiàn)之外，其他算法均使用C++ 實(shí)現(xiàn)。因?yàn)閷?shí)驗(yàn)訓(xùn)練所用的數(shù)據(jù)集對(duì)于深度學(xué)習(xí)來(lái)說(shuō)屬于小樣本，所以YOLO算法需要使用遷移學(xué)習(xí)[19]方法來(lái)進(jìn)行訓(xùn)練，并使用GPU進(jìn)行加速。

2.2 實(shí)驗(yàn)結(jié)果與性能比較

圖3為所提的水面垃圾目標(biāo)檢測(cè)算法與其他3種算法在收集到的數(shù)據(jù)集中運(yùn)行的部分效果圖，圖像從左到右依次為原始圖像和每一種算法檢測(cè)的效果圖，從中可以看出所提算法能夠有效地檢測(cè)出水面垃圾目標(biāo)，并且能夠去除水面干擾。性能分析主要評(píng)估每一種算法的準(zhǔn)確率和檢測(cè)一張圖片所需的平均時(shí)間，實(shí)驗(yàn)結(jié)果如表1所示。

圖3 本文算法與可用于水面垃圾目標(biāo)檢測(cè)算法的檢測(cè)結(jié)果

表1 每一種算法在數(shù)據(jù)集上運(yùn)行的性能對(duì)比

從表1可以看出，所提的基于視覺(jué)顯著性的水面垃圾目標(biāo)檢測(cè)算法的準(zhǔn)確度要高于其他算法。與FT和LC算法相比，所提的顯著性目標(biāo)檢測(cè)算法魯棒性較強(qiáng)，能夠精準(zhǔn)地提取出水面垃圾目標(biāo)，并且考慮到了水面水波、倒影和反光的干擾因素，將顯著性檢測(cè)算法得到的顯著性圖看成疑似顯著性圖，并使用紋理特征+MLP分類(lèi)器去除水面干擾，從而進(jìn)一步提升檢測(cè)精度。與YOLO算法相比，將水面垃圾目標(biāo)檢測(cè)看成水面顯著性目標(biāo)檢測(cè)問(wèn)題，檢測(cè)的對(duì)象不針對(duì)特定的垃圾目標(biāo)，因此普適性更強(qiáng)，能夠檢測(cè)出不同場(chǎng)景和類(lèi)型的水面垃圾目標(biāo)。當(dāng)使用將SLIC加入GPU中執(zhí)行的gSLICr[20]進(jìn)行超像素分割后，可以進(jìn)一步提升算法的速度。

3 結(jié)束語(yǔ)

針對(duì)水面垃圾檢測(cè)中的特殊情況提出了一種基于視覺(jué)顯著性的水面垃圾目標(biāo)檢測(cè)算法。首先對(duì)原始圖像進(jìn)行超像素分割，提取超像素級(jí)的顯著性特征；接著使用隨機(jī)森林回歸器將顯著性特征進(jìn)行融合得到疑似顯著性圖；然后使用自適應(yīng)閾值分割得到疑似顯著性二值圖；最后使用MLP分類(lèi)器對(duì)疑似垃圾目標(biāo)進(jìn)行判別，最終檢測(cè)出水面垃圾目標(biāo)。為了提高檢測(cè)精度，將顯著性目標(biāo)檢測(cè)算法得到的顯著性圖當(dāng)做包含水面干擾因素的疑似顯著性圖，并使用紋理特征+MLP分類(lèi)器的方法來(lái)去除水面的干擾。此外所提的顯著性目標(biāo)檢測(cè)方法也具有一定的普適性，可以將其用于其他場(chǎng)景中進(jìn)行顯著性目標(biāo)檢測(cè)。