基于偏振信息的水下目標(biāo)顯著性檢測(cè)

李曉芳，謝光前，李春光

(常州工學(xué)院計(jì)算機(jī)信息工程學(xué)院, 江蘇 常州 213032)

0 引言

顯著性檢測(cè)是通過(guò)模擬人類(lèi)視覺(jué)系統(tǒng)在復(fù)雜場(chǎng)景中迅速搜索到自己感興趣的目標(biāo)，進(jìn)而得到圖像中顯著區(qū)域的圖像處理方式[1]。顯著性檢測(cè)可以有效降低圖像處理過(guò)程的冗余度，提高目標(biāo)檢測(cè)與識(shí)別的準(zhǔn)確性及處理速度。對(duì)目標(biāo)進(jìn)行顯著性檢測(cè)是實(shí)現(xiàn)水下人造目標(biāo)檢測(cè)、識(shí)別及定位的重要技術(shù)途徑[2-3]。顯著性檢測(cè)方法一般分為自上向下注意模型和自下向上注意模型。自下向上注意是一種任務(wù)驅(qū)動(dòng)式的過(guò)程，即在圖像中尋找感興趣的目標(biāo)，而自上向下注意則是一種依靠低級(jí)視覺(jué)尋找顯著性區(qū)域的過(guò)程，其與具體任務(wù)緊密相關(guān)，目前兩種模型都不夠成熟。自下向上的顯著性檢測(cè)方法側(cè)重于利用紋理、邊緣等特征來(lái)檢測(cè)顯著性，目前研究者們已提出一些典型的自下向上的注意模型。常用的自下向上顯著性檢測(cè)方法主要分為兩大類(lèi)：一是基于生物視覺(jué)導(dǎo)向的方法，如L.Itti等[4]采用Itti視覺(jué)注意模型提取水下圖像所對(duì)應(yīng)的顯著圖，將最顯著部分作為目標(biāo)區(qū)域。該模型主要利用高斯金字塔分解以及中央周邊差來(lái)估計(jì)目標(biāo)特征，從而獲得顯著圖。Barat等[5]根據(jù)視頻連續(xù)幀中的運(yùn)動(dòng)信息得到顯著區(qū)域，在該區(qū)域采用snake方法檢測(cè)目標(biāo)的邊緣和輪廓線條。Wang等[2]2022根據(jù)Itti視覺(jué)注意模型得到初級(jí)目標(biāo)區(qū)域中特征直方圖的巴氏距離，改變注意模型中特征顯著圖的融合權(quán)重，進(jìn)而得到更準(zhǔn)確目標(biāo)區(qū)域。然而傳統(tǒng)的基于視覺(jué)導(dǎo)向方法主要依賴(lài)于圖像中的局部特征，并沒(méi)有考慮圖像的全局特征，常導(dǎo)致獲得的顯著圖不連續(xù)。尤其在光譜信息變化較大的水下環(huán)境中，這種不連續(xù)性會(huì)變得更加明顯。二是數(shù)學(xué)導(dǎo)向方法，該類(lèi)方法可以很好地解決顯著圖不連續(xù)問(wèn)題。Yulin Xie等[6]使用貝葉斯框架實(shí)現(xiàn)顯著性檢測(cè)，先利用一定的方法得到目標(biāo)的一個(gè)大致的顯著性區(qū)域，繼而在這個(gè)大致區(qū)域計(jì)算每個(gè)像素的后驗(yàn)概率，即該像素的顯著性概率。Tie Liu等[7]使用邊緣密度、傅里葉變換譜分析等特征進(jìn)行多尺度局部對(duì)比，通過(guò)貝葉斯變換學(xué)習(xí)特征參數(shù)，最終實(shí)現(xiàn)二進(jìn)制的圖像分割。Risheng Liu等[8]3873利用自適應(yīng)偏微分方程做顯著性檢測(cè)，為顯著性檢測(cè)提供了一種擴(kuò)散的觀點(diǎn)。

上述顯著性檢測(cè)方法往往是針對(duì)陸地環(huán)境，并沒(méi)有考慮到水下環(huán)境的特殊性，直接應(yīng)用到水下并不能取得很好的效果。水下光學(xué)偏振度效應(yīng)非常明顯，在光波與物體的相互作用過(guò)程中，偏振信息會(huì)由于物體材料、表面粗糙程度、幾何形狀等不同而有明顯的區(qū)別。利用這一性質(zhì)能夠有效區(qū)分不同材料、不同表面形態(tài)、不同電導(dǎo)率的散射體[9]。由于人造物體與自然背景的偏振度特性存在著較大區(qū)別，因此相比光強(qiáng)成像，利用偏振成像技術(shù)更有利于水下場(chǎng)景中的人造目標(biāo)顯著性檢測(cè)。

為了在水下場(chǎng)景中獲得更加準(zhǔn)確的顯著圖，本文結(jié)合偏振信息以及擴(kuò)散理論設(shè)計(jì)了水下目標(biāo)顯著性檢測(cè)模型。對(duì)于給定的一幅圖像，利用偏微分方程得到顯著圖，將一種自適應(yīng)的偏微分方程應(yīng)用到復(fù)雜的視覺(jué)注意顯著性檢測(cè)中，并將圖像分割成超像素，利用偏振度特征區(qū)分前景目標(biāo)和背景。通過(guò)選取種子點(diǎn)并利用偏微分方程擴(kuò)散模型，融合獲得的邊緣先驗(yàn)知識(shí)模擬擴(kuò)散過(guò)程，得到顯著區(qū)域，然后再通過(guò)注意焦點(diǎn)的轉(zhuǎn)移得到各個(gè)注意目標(biāo)，從而得到最終的顯著圖。實(shí)驗(yàn)結(jié)果表明該方法有著更好的顯著性檢測(cè)性能。

1 基于擴(kuò)散理論的偏振信息顯著性模型

偏振信息顯著性檢測(cè)過(guò)程為，首先獲得偏振度特征圖——DOP圖，然后對(duì)其做超像素分割，在此基礎(chǔ)上區(qū)分前景目標(biāo)和背景，為隨后PDE模型提供種子點(diǎn)，同時(shí)通過(guò)學(xué)習(xí)得到一個(gè)指導(dǎo)圖作為先驗(yàn)知識(shí)，調(diào)整擴(kuò)散模型獲得最優(yōu)的種子點(diǎn)，最后通過(guò)注意焦點(diǎn)的轉(zhuǎn)移得到各個(gè)注意目標(biāo)，從而得到最終的顯著圖。

1.1 提取圖像偏振度特征圖

物體的偏振態(tài)一般采用斯托克斯法定量描述[10],斯托克斯參量計(jì)算公式為

(1)

式中：Ex、Ey表示光矢量在所選坐標(biāo)系中沿x、y軸的振幅分量；δ為兩振動(dòng)分量的相位差；I表示光的總強(qiáng)度；Q表示0°和90°線偏振光分量的差值；U表示45°和135°線偏振光分量的差值；V表示右旋與左旋圓偏振光分量之差。由于自然界中絕大部分物體反射光線中V分量十分微弱，近似認(rèn)為V等于零。在xOy平面，與x軸夾角為β的偏振片透過(guò)光強(qiáng)可以表示為

L=(I+Qcos 2β+Usin 2β)/2

(2)

改變偏振片透光軸與所選參考坐標(biāo)軸的夾角，分別得到夾角為β1、β2和β3時(shí)的3組出射光強(qiáng)L(β1)、L(β2)、L(β3),代入式(2)即可聯(lián)立求出I、Q和U，得到各個(gè)參數(shù)后就可以得出偏振度圖像Γ：

(3)

由于V≈0，則

(4)

1.2 種子區(qū)域的初步確定

偏振圖像中每個(gè)像素的顯著性由像素間的偏振度差異決定：

(5)

式中D(Γx,Γy)是兩個(gè)像素的偏振度差異。根據(jù)人造目標(biāo)和自然背景的偏振度的差異，通過(guò)式(5)可以將圖像大致分為背景B和目標(biāo)F兩塊區(qū)域。在目標(biāo)區(qū)域中根據(jù)偏振度的差異進(jìn)行細(xì)分割，將其劃分為多個(gè)子區(qū)域，將每個(gè)子區(qū)域中偏振度值最大點(diǎn)作為該區(qū)域的初始種子節(jié)點(diǎn)。

構(gòu)建一個(gè)帶權(quán)無(wú)向圖g=(v,ζ)來(lái)表征圖像區(qū)域之間的連接關(guān)系，其中ζ是與點(diǎn)集ν相對(duì)應(yīng)的一組無(wú)向邊，將其同最近的兩個(gè)鄰域間的聯(lián)系作為該種子點(diǎn)局部空間的相關(guān)性聯(lián)系。依照其局部空間的相關(guān)性將多個(gè)種子點(diǎn)進(jìn)行互聯(lián)，進(jìn)而獲得較為完整平滑的背景區(qū)域，實(shí)現(xiàn)目標(biāo)粗略區(qū)域檢測(cè)，即獲得B以及F1、F2、F3、……多個(gè)子目標(biāo)區(qū)域，作為種子點(diǎn)。

2 基于擴(kuò)散思想的PDE模型

Risheng Liu[8]3868提出應(yīng)用偏微分方程(partial different equatuion, PDE)來(lái)模擬顯著性種子點(diǎn)的擴(kuò)散模型以獲得視覺(jué)顯著圖。在先驗(yàn)知識(shí)的前提下通過(guò)選取種子點(diǎn)、提取先驗(yàn)知識(shí)指導(dǎo)圖并利用偏微分方程模擬物理學(xué)熱擴(kuò)散方法實(shí)現(xiàn)目標(biāo)的顯著性檢測(cè)。

定義ω為離散圖像空間，對(duì)應(yīng)所有圖像元素。同時(shí)，定義一個(gè)用于控制種子點(diǎn)分散的實(shí)值函數(shù)f(p):ω→R，用來(lái)估算p在ω上的顯著性值[11]。如果一系列種子點(diǎn)的位置已知，此時(shí)可設(shè)為集合η，同時(shí)它們所對(duì)應(yīng)的分散系數(shù)為f(p)=ηp，于是可將顯著性擴(kuò)散以數(shù)學(xué)的方式變成一個(gè)帶有狄利克雷邊界條件的偏微分方程。

(6)

式中g(shù)是相關(guān)程度為0的背景點(diǎn)(在ω外面)。由于式(1)的目的是使視覺(jué)注意力從顯著性種子點(diǎn)轉(zhuǎn)移到其他圖像元素，故引用一個(gè)線性擴(kuò)展項(xiàng)div(Kpf(p))作為相關(guān)程度函數(shù)，在這個(gè)擴(kuò)展項(xiàng)中Kp是一個(gè)非齊次的度量張量，用于控制P的局部擴(kuò)展率。同時(shí)為了與先驗(yàn)知識(shí)相結(jié)合并用于擴(kuò)散處理，進(jìn)一步引入一個(gè)正則化項(xiàng)，即f(p)和先驗(yàn)指導(dǎo)圖g(p)的一個(gè)差值，具體如下：

F(f,f)=div(Kpf(p))+λ(f(p)-g(p))

(7)

對(duì)于顯著性穩(wěn)定系統(tǒng)，可以忽略時(shí)間t，對(duì)式(7)的偏微分方程模型的求解就變成求解狄利克雷橢圓。

對(duì)于擴(kuò)展項(xiàng)div(Kpf(p))中Kp的定義，首先設(shè)Np={q1,…，q|Np|-1,g}是p集的鄰域。|Np|-1節(jié)點(diǎn)是在ω中，g為區(qū)域外的點(diǎn)，為了計(jì)算P與鄰域節(jié)點(diǎn)的差別，定義特征點(diǎn)之間的高斯核距離為不均勻度量張量Kp：

Kp=diag(k(p,q1),…，k(p,qNp-1),zg)

(8)

式中zg是一常數(shù)值。

因此，可以近似計(jì)算f(p)為

(9)

3 基于先驗(yàn)邊緣特征的種子篩選

在獲取目標(biāo)區(qū)域的基礎(chǔ)上，利用canny算子檢測(cè)獲得圖像的邊緣特征作為先驗(yàn)知識(shí)。為了使該先驗(yàn)知識(shí)能夠合并到PDE方程中即獲得(9)式g(p)項(xiàng)，首先需要假設(shè)背景的分布完全不同于前景，通過(guò)執(zhí)行一個(gè)λ=0的狄利克雷邊界線性橢圓系統(tǒng)模擬背景的擴(kuò)散模型。

div(KpfB(p))=0s.t.fB(p)=1p∈B

(10)

式中fB(p)∈[0,1]，則fB(p)中的元素可看成是屬于背景節(jié)點(diǎn)的概率。節(jié)點(diǎn)屬于前景目標(biāo)的概率應(yīng)為fF(p)=1-fB(p)，由此得到指導(dǎo)圖g(p)：

g(p)=fF(p)

(11)

4 實(shí)驗(yàn)結(jié)果及仿真

實(shí)驗(yàn)圖像拍攝于河海大學(xué)東湖，實(shí)驗(yàn)結(jié)果利用MATLAB 2012進(jìn)行仿真。水下能見(jiàn)度小于80 cm，實(shí)驗(yàn)?zāi)繕?biāo)位于水下 60 cm左右。實(shí)驗(yàn)共采集3組目標(biāo):目標(biāo)1為由鐵和塑料組成的多材料目標(biāo)；目標(biāo)2為單一材料近距離目標(biāo)；目標(biāo)3為單一材料遠(yuǎn)距離目標(biāo)。應(yīng)用偏振成像系統(tǒng)對(duì)目標(biāo)進(jìn)行4個(gè)方向(0°、45°、90°、135°)的偏振信息采集，根據(jù)偏振原始圖像計(jì)算斯托克斯參數(shù)圖像，結(jié)果如圖1—3所示。

圖1 目標(biāo)1偏振特征提取

圖2 目標(biāo)2偏振特征提取

圖3 目標(biāo)3偏振特征提取

我們做了2組實(shí)驗(yàn)，分別驗(yàn)證本文方法在整體人造目標(biāo)顯著性檢測(cè)結(jié)果以及在區(qū)分人造目標(biāo)不同材料方面的有效性。

4.1 整體目標(biāo)顯著性提取結(jié)果比較

圖4 目標(biāo)1顯著圖獲取結(jié)果比較

圖5 目標(biāo)2顯著圖獲取結(jié)果比較

圖6 目標(biāo)3顯著圖獲取結(jié)果比較

將本文提出的基于擴(kuò)散思想的偏振信息顯著圖提取結(jié)果與傳統(tǒng)基于視覺(jué)導(dǎo)向方法(模型)偏振信息顯著圖提取結(jié)果(簡(jiǎn)稱(chēng)Itti-Polarization)以及基于擴(kuò)散思想的光譜信息顯著圖提取結(jié)果(簡(jiǎn)稱(chēng)Diffusion-Spectrum)做比較，如圖4—6所示。 為了客觀地評(píng)估本方法的有效性，本文將引入準(zhǔn)確性(precision)[12]評(píng)價(jià)指標(biāo)。

由圖4—6中的顯著圖提取結(jié)果可以看出，基于光譜信息進(jìn)行顯著性檢測(cè)時(shí)，獲得的顯著圖效果差(見(jiàn)圖4(d)、5(d)、6(d))，其準(zhǔn)確度僅為0.503(目標(biāo)1)、0.360(目標(biāo)2)、0.045(目標(biāo)3)，這主要是由于光譜信息在水中衰減較為嚴(yán)重，不適合于水下目標(biāo)顯著性檢測(cè)。而對(duì)于Itti模型(見(jiàn)圖4(c)、5(c)、6(c))，在利用偏振信息進(jìn)行顯著性檢測(cè)時(shí)，雖然目標(biāo)1和目標(biāo)2精度達(dá)到了0.807和0.759，但是得到的顯著圖仍存在著邊界模糊、區(qū)域不連續(xù)的問(wèn)題，人造目標(biāo)的塑料材質(zhì)部分顯著度值很低，與背景接近，而對(duì)于遠(yuǎn)距離目標(biāo)3來(lái)說(shuō)精度僅為0.068。這主要是由于Itti采用中央周邊差機(jī)制，過(guò)分依賴(lài)于純局部的特征，一旦局部區(qū)域內(nèi)出現(xiàn)較強(qiáng)的噪聲點(diǎn)，極易導(dǎo)致顯著圖提取誤差。相比較而言，本文針對(duì)偏振圖像設(shè)計(jì)的顯著性檢測(cè)方法所提取到的視覺(jué)顯著區(qū)域較為連貫，其準(zhǔn)確度也得到有效提高，精度達(dá)到0.898(目標(biāo)1)、0.863(目標(biāo)2)和0.472(目標(biāo)3)。這表明由本文方法所獲得的顯著圖更接近真實(shí)的目標(biāo)顯著圖，尤其是在水下復(fù)雜環(huán)境中本文方法的優(yōu)勢(shì)更加明顯。

4.2 區(qū)分目標(biāo)不同材質(zhì)結(jié)果比較

為了說(shuō)明本方法在區(qū)分目標(biāo)不同材質(zhì)方面的作用，將對(duì)獲得的顯著圖進(jìn)行統(tǒng)計(jì)分析，這里只對(duì)圖3中的實(shí)驗(yàn)?zāi)繕?biāo)進(jìn)行統(tǒng)計(jì)。

以顯著圖中像素值為其顯著度值，對(duì)3種方法獲得的顯著度值分布進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如圖7所示。橫坐標(biāo)表示顯著度值，縱坐標(biāo)表示對(duì)應(yīng)顯著度值像素個(gè)數(shù)占總像素個(gè)數(shù)的比值。其中圖7(a)是通過(guò)光譜信息提取出的顯著度分布，圖中0～30是背景部分，可以看出顯著度值大多數(shù)分布這個(gè)區(qū)域，大約占了80%左右，30～180主要是目標(biāo)區(qū)域，大約占20%左右。圖7(a)表明利用光譜信息進(jìn)行擴(kuò)散可以粗略區(qū)分出背景和目標(biāo)，但目標(biāo)部分顯著度值幾乎是等量分布的，并不能區(qū)分出目標(biāo)的不同材質(zhì)，尤其是對(duì)于塑料材質(zhì)的透明部分幾乎無(wú)法檢測(cè)，直接歸為背景。圖7(b)是利用Itti與偏振信息提取方法得到的顯著度統(tǒng)計(jì)圖，背景部分的比值大約在76%左右，相比圖7(a)有所下降。這說(shuō)明偏振信息在一定程度上使得系統(tǒng)檢測(cè)出更多的目標(biāo)區(qū)域。目標(biāo)部分的顯著度值分布在60～150，并且在90～120范圍內(nèi)有一個(gè)變化，主要原因是利用了偏振信息，理論上能夠有效地區(qū)分出目標(biāo)的不同材質(zhì)，然而，由于Itti模型獲得顯著圖不連續(xù)，使顯著度計(jì)算出現(xiàn)一定的誤差，因此對(duì)偏振信息使用Itti方法區(qū)分不同材質(zhì)的目標(biāo)，其效果并不明顯。圖7(c)是本文方法針對(duì)水下目標(biāo)偏振特征的顯著性提取統(tǒng)計(jì)分布圖。在目標(biāo)部分的60～90以及120～150部分有兩處明顯的變化，而這兩部分分別對(duì)應(yīng)了人造目標(biāo)的鐵質(zhì)部分和塑料部分，可以看出本文顯著性檢測(cè)方法能充分發(fā)揮偏振信息作用，有利于區(qū)分出不同材質(zhì)的目標(biāo)。

圖7 顯著度分布

5 結(jié)語(yǔ)

針對(duì)水下目標(biāo)顯著性檢測(cè)所面臨的圖像特征選擇及提取較為困難的問(wèn)題，本文提出了一種基于偏振信息與擴(kuò)散思想相結(jié)合的水下目標(biāo)顯著性檢測(cè)方法，利用偏振度特征區(qū)分目標(biāo)的大致區(qū)域，選取合適的種子節(jié)點(diǎn)同時(shí)利用偏微分方程來(lái)模擬顯著度的擴(kuò)散模型，最后利用WTA網(wǎng)絡(luò)實(shí)現(xiàn)多目標(biāo)轉(zhuǎn)移。實(shí)驗(yàn)結(jié)果證明本文所提出的方法能夠克服水下復(fù)雜光學(xué)環(huán)境對(duì)目標(biāo)檢測(cè)的影響，提高了目標(biāo)檢測(cè)的準(zhǔn)確性，有效改進(jìn)了傳統(tǒng)的顯著性檢測(cè)方法。