基于區(qū)域?qū)Ρ鹊膱D像顯著性檢測(cè)方法

孫赫赫，尚曉清，王 沖

西安電子科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，西安 710126

1 引言

圖像顯著區(qū)域檢測(cè)是把人類(lèi)視覺(jué)系統(tǒng)感興趣的地方快速準(zhǔn)確地定位并提取出來(lái)。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)的發(fā)展，圖像顯著區(qū)域檢測(cè)廣泛應(yīng)用在圖像分割[1]、圖像檢索[2]、圖像壓縮[3]以及基于內(nèi)容感知的圖像縮放[4]等領(lǐng)域。圖像顯著區(qū)域檢測(cè)一般分為兩種：基于局部對(duì)比的顯著性檢測(cè)方法和基于全局對(duì)比的顯著性檢測(cè)方法。

基于局部對(duì)比的顯著區(qū)域檢測(cè)是把圖像單元與其鄰域之間的不同特征的對(duì)比度作為顯著性值。Itti等[5]通過(guò)利用中心周邊差算法計(jì)算不同尺度不同特征的圖像顯著性；Ma等[2]提出了一種基于局部對(duì)比分析的顯著性模型，利用模糊增長(zhǎng)的方法計(jì)算像素和其鄰域的特征距離得到顯著性圖。局部對(duì)比可以很好檢測(cè)出圖像邊緣，但是對(duì)整個(gè)圖像的顯著物體檢測(cè)效果不是很好。全局對(duì)比分析方法通過(guò)計(jì)算整個(gè)圖像的對(duì)比度得到圖像的顯著性值。Achanta等[6]提出了一種調(diào)頻的顯著性檢測(cè)方法，用某個(gè)像素的顏色跟圖像平均顏色的差異定義像素的顯著性；Zhai和Shah等[7]提出了一種像素級(jí)全局對(duì)比方法檢測(cè)顯著性區(qū)域，但是他們只提取了亮度特征，忽略了其他重要特征；Cheng等[8]采取顏色直方圖全局對(duì)比進(jìn)行圖像顯著性檢測(cè)，首先把圖像分割成不同的區(qū)域，然后計(jì)算不同區(qū)域的顯著性值，最后得到顯著性圖。

本文提出了一種基于區(qū)域?qū)Ρ鹊姆椒▽?duì)自然圖像進(jìn)行顯著性檢測(cè)。首先利用SLIC[9]（Simple Linear Iterative Clustering）超像素分割算法把圖像分割為顏色和紋理一致的超像素；通過(guò)計(jì)算不同區(qū)域的顏色對(duì)比度和空間對(duì)比度生成最初的顯著性圖，把顯著性區(qū)域和背景粗略地分割開(kāi)；然后把圖像子區(qū)域與其鄰域像素平均特征向量之間的距離作為對(duì)比度，結(jié)合最初的顯著圖將圖像區(qū)域塊對(duì)比上升為像素級(jí)別的對(duì)比，使提取出來(lái)的顯著性圖更加精細(xì)；最后結(jié)合中心優(yōu)先原則得到最終的顯著圖。與最近的五種顯著性檢測(cè)算法對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文可以得到更高的精度值和查全率，在高亮顯著區(qū)域和抑制背景方面優(yōu)于其他算法。

2 基本原理

2.1 SLIC超像素分割處理

當(dāng)研究基于區(qū)域的圖像顯著性檢測(cè)時(shí)，首先要把圖像分割為不同的區(qū)域塊，本文采用SLIC[9]超像素分割算法對(duì)圖像進(jìn)行分割預(yù)處理。SLIC超像素分割算法首先把圖像中的每一個(gè)像素表示為CIELab顏色空間和XY坐標(biāo)下的5維向量，然后構(gòu)造分割度量標(biāo)準(zhǔn)，在CIELab顏色空間采取k-means聚類(lèi)方法生成若干個(gè)緊湊均勻且保留目標(biāo)邊界的超像素。SLIC超像素分割算法比較簡(jiǎn)單，能夠快速生成超像素，具體步驟如下：

（1）初始化聚類(lèi)中心：假設(shè)一幅圖像有N個(gè)像素，k為分割的超像素個(gè)數(shù)，那么每個(gè)超像素大小為N/k個(gè)像素，每個(gè)聚類(lèi)中心用5維向量表示為：Ci=[li,ai,bi,xi,yi]T，其中包括CIELab顏色空間的顏色特征[li,ai,bi]T和空間坐標(biāo)[xi,yi]T，相鄰兩個(gè)聚類(lèi)中心之間的距離是為了減少把噪聲點(diǎn)作為超像素聚類(lèi)中心的幾率，在以聚類(lèi)中心為中心的3×3窗口中，將該聚類(lèi)中心移動(dòng)到梯度值最小的位置，同時(shí)給每個(gè)聚類(lèi)中心分配一個(gè)唯一的標(biāo)簽。

（2）距離度量：計(jì)算在聚類(lèi)中心2S×2S范圍內(nèi)的像素與該聚類(lèi)中心的距離，把與該像素距離最近的聚類(lèi)中心的標(biāo)簽賦給該像素，這種方法不僅保證了精確度，而且大大減少了計(jì)算量。像素和聚類(lèi)中心之間的距離度量計(jì)算公式如下：

其中i表示第i個(gè)聚類(lèi)中心，j表示該聚類(lèi)中心2S×2S范圍內(nèi)的第 j個(gè)像素，dc為顏色距離，ds為空間距離，D為上述像素和聚類(lèi)中心之間的顏色距離與空間距離的加權(quán)距離是相鄰兩個(gè)聚類(lèi)中心之間的空間距離，m是顏色距離與空間距離的權(quán)值，m值越大說(shuō)明空間距離占的比重越大，所得到的超像素更加緊湊；反之，m值越小說(shuō)明顏色距離占的比重越大，所得到的超像素邊緣吻合度更高，m在CIELab顏色空間中的取值范圍是[1，40]，為了得到緊湊的超像素，本文m的取值為40。

（3）迭代過(guò)程：在步驟（2）執(zhí)行完之后，每個(gè)像素都被分配了一個(gè)聚類(lèi)中心的標(biāo)簽，更新聚類(lèi)中心，調(diào)整新的聚類(lèi)中心為與其具有相同標(biāo)簽的所有像素的平均值位置，重復(fù)迭代直到聚類(lèi)中心不再變化為止。

2.2 基于區(qū)域?qū)Ρ鹊膱D像顯著性值計(jì)算

圖像的顯著性是由圖像不同區(qū)域與其鄰域的局部對(duì)比度決定的，其中顏色對(duì)比度很重要，顏色特征是最能將圖像的顯著目標(biāo)與背景相區(qū)別的特征。定義圖像中任意兩個(gè)像素 pi和 pj的顏色對(duì)比度D( )i,j為像素pi和 pj在CIELab顏色空間上的距離度量，即

其中i≠j,D(pi,pj)為兩個(gè)不同的像素pi和pj在CIELab顏色空間上的歐氏距離。則任意兩個(gè)不同區(qū)域Ri和Rj中像素的顏色對(duì)比度[10]Dc(Ri,Rj)就可以用像素顏色平均值的歐氏距離來(lái)表示，定義Dc(Ri,Rj)計(jì)算公式為：

其中ui和uj分別表示區(qū)域Ri和Rj中的像素在CIELab顏色空間中顏色的均值，‖‖2為歐幾里德距離。則圖像中的某一個(gè)區(qū)域Ri的顏色對(duì)比度[10]Dc( )Ri可以表示為：其中Rj為圖像中不同于區(qū)域Ri的任意一個(gè)區(qū)域，k表示圖像通過(guò)SLIC超像素分割算法分割后的超像素?cái)?shù)量。

圖像的顯著性檢測(cè)，除了顏色特征之外，區(qū)域之間的空間特征也很重要。定義Ds( )Ri,Rj為任意兩個(gè)不同區(qū)域Ri和Rj的區(qū)域中心點(diǎn)在圖像中的空間歐幾里德距離，則圖像中的某一個(gè)區(qū)域Ri的空間對(duì)比度[10]Ds( )

Ri表示為：

其中Rj為圖像中不同于區(qū)域Ri的任意一個(gè)區(qū)域，k表示圖像通過(guò)SLIC超像素分割算法分割后的超像素?cái)?shù)量。所以可以得到某個(gè)區(qū)域Ri對(duì)比度[11]d( )Ri計(jì)算公式為：

其中ω是控制空間距離的權(quán)值參數(shù)，本文取值為5。對(duì)任意的區(qū)域Ri，當(dāng)d( )Ri的值很大時(shí)，說(shuō)明區(qū)域Ri是顯著的，因此Ri的顯著性值[11]在大小上可以定義為：

從而可以得到最初的顯著圖S1，每個(gè)像素最初的顯著性值為S1(i)。

2.3 提取顯著性區(qū)域

由于圖像區(qū)域?qū)Ρ榷仁腔趨^(qū)域塊級(jí)別的，為了使提取出來(lái)的顯著性圖更加精細(xì)，本文把圖像子區(qū)域與其鄰域像素平均特征向量之間的距離作為對(duì)比度[12]，然后結(jié)合最初的顯著圖將圖像區(qū)域塊對(duì)比上升為像素級(jí)別的對(duì)比。計(jì)算區(qū)域Ri和Rj的像素平均特征向量之間的距離如下：

其中分別是區(qū)域Ri和Rj的平均特征向量，‖‖2為歐幾里德距離。區(qū)域Ri和Rj的平均特征向量利用積分圖像[13]的方法計(jì)算，通常把Ri選為一個(gè)像素。因此圖像的顯著性值S2(i)定義為：

根據(jù)人類(lèi)視覺(jué)系統(tǒng)，人們?cè)诳匆环鶊D像時(shí)一般會(huì)注意圖像中心位置，即圖像的中心區(qū)域容易成為顯著性目標(biāo)[11]。因此根據(jù)圖像中心優(yōu)先原則，定義圖像中像素 pi位置對(duì)圖像顯著性區(qū)域的影響程度

其中di(pi,c)表示像素 pi到顯著圖中心c的歐幾里德距離，ω為常數(shù)，在本文中取值為0.01。因此本文算法圖像最終的顯著性值為：

3 算法實(shí)現(xiàn)步驟

本文利用SLIC超像素分割算法對(duì)圖像進(jìn)行預(yù)分割，將圖像分割為不同的超像素，然后根據(jù)區(qū)域?qū)Ρ榷扔?jì)算圖像顯著性值并把區(qū)域塊對(duì)比上升為像素級(jí)別。最后，由中心優(yōu)先原則得到圖像最終的顯著圖。具體算法步驟如下所示：

（1）利用SLIC超像素分割算法將輸入圖像分割為200個(gè)超像素。

（2）把每個(gè)超像素作為一個(gè)區(qū)域，根據(jù)公式（6）和（7）分別計(jì)算出每個(gè)區(qū)域的顏色對(duì)比度和空間對(duì)比度。

（3）由公式（9）得到最初的顯著圖，可以粗略地分辨圖像的背景和顯著區(qū)域。

（4）通過(guò)計(jì)算圖像子區(qū)域與其鄰域像素平均特征向量之間的距離，結(jié)合最初的顯著圖，根據(jù)公式（11）把圖像區(qū)域塊對(duì)比上升為像素級(jí)別對(duì)比，使提取的顯著圖更加精細(xì)。

（5）計(jì)算顯著圖的中心位置并對(duì)中心位置附近的超像素賦予更高的權(quán)值，由公式（13）得到最終的顯著性區(qū)域。

算法實(shí)現(xiàn)過(guò)程如圖1所示。

4 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)運(yùn)行的系統(tǒng)環(huán)境是Windows 7，內(nèi)存為2 GB，軟件環(huán)境是MATLAB R2012b。采用的圖像來(lái)源于圖像顯著性檢測(cè)的公開(kāi)數(shù)據(jù)庫(kù)MSRA[6]。MSRA數(shù)據(jù)庫(kù)中提供了1 000幅自然圖像以及這1 000幅圖像的ground truth。為了驗(yàn)證本文提出的顯著性檢測(cè)方法的有效性，將本文結(jié)果與近年來(lái)流行的五種顯著性檢測(cè)算法：IT[5]算法、SR[14]算法，GB[15]算法、FT[6]算法和RC[8]算法結(jié)果進(jìn)行比較，并與MSRA數(shù)據(jù)庫(kù)中g(shù)round truth（GT）進(jìn)行對(duì)比，比較結(jié)果如圖2所示。

由實(shí)驗(yàn)結(jié)果可以看出，IT算法只檢測(cè)出了圖像顯著區(qū)域的大概位置，不能檢測(cè)出全部的顯著區(qū)域，效果圖比較模糊；SR算法和GB算法只突出了顯著區(qū)域?qū)Ρ榷容^大的邊緣，效果也不是很好；FT算法和RC算法可以清楚地看到顯著目標(biāo)，但是對(duì)于背景的抑制性并不是很好，如第二幅圖和第三幅圖。由上面的顯著圖可以看出，本文算法將顯著性目標(biāo)和背景很好地區(qū)分開(kāi)，并且有效地抑制了背景區(qū)域。

為了對(duì)本文的顯著性算法性能進(jìn)行比較，將各種算法得到的顯著圖的二值圖與MSRA數(shù)據(jù)庫(kù)中g(shù)round truth二值圖進(jìn)行對(duì)比，得到了精度查全率曲線[6]（Precisionrecall curves）（如圖3（a））。由于顯著圖的顯著性值范圍在[0，255]，因此設(shè)定二值化分割的閾值Tf從0增加到255，計(jì)算每一個(gè)閾值所對(duì)應(yīng)的二值圖像的精度和查全率。精度(Precision)和查全率(Recall)定義為：

圖1 算法實(shí)現(xiàn)過(guò)程

圖2 顯著圖效果比較

其中，SG是MSRA數(shù)據(jù)庫(kù)中g(shù)round truth二值圖，SA是算法得到的顯著圖的二值圖。除此之外，還計(jì)算了精度和查全率的加權(quán)調(diào)和平均值（如圖3（b）），即FMeasure[6]值：

其中，β是常數(shù)，本文中取β2的值為0.3。比較的結(jié)果如圖3所示。

圖3 精度、查全率和F值指標(biāo)比較

從圖3（a）精度查全率曲線可以看出當(dāng)查全率為1的時(shí)候，所有算法的精度都近似為0.2，說(shuō)明在閾值Tf為0時(shí)，圖像中所有像素值都為1，0.2是ground truth占圖像面積的比例。當(dāng)查全率為0時(shí)，本文算法優(yōu)于IT、SR、GB以及FT算法，但是稍微次于RC算法。由圖3（b）精度、查全率和F值直方圖可知本文算法和RC算法的三個(gè)評(píng)價(jià)指標(biāo)均高于其他算法。雖然本文的結(jié)果在評(píng)價(jià)指標(biāo)上略次于RC算法，但是從視覺(jué)效果上來(lái)看，本文算法可以很好地抑制背景，這點(diǎn)比RC算法要好。

5 結(jié)論

本文提出了一種基于區(qū)域?qū)Ρ鹊膱D像顯著性檢測(cè)方法。首先采用SLIC超像素分割算法將圖像分割為若干個(gè)超像素，然后根據(jù)每個(gè)區(qū)域的顏色對(duì)比度和空間對(duì)比度計(jì)算出每個(gè)區(qū)域的顯著性值，生成最初的顯著圖；再結(jié)合圖像子區(qū)域與其鄰域像素平均特征向量之間的距離，將圖像區(qū)域塊對(duì)比上升為像素級(jí)別的對(duì)比，提高顯著圖的精細(xì)程度；最后根據(jù)中心優(yōu)先原則得到最終的顯著性圖。仿真實(shí)驗(yàn)結(jié)果表明，本文與其他顯著性檢測(cè)算法相比，可以有效地檢測(cè)出顯著性區(qū)域并且很好地抑制背景。

：

[1]Vese L A，Chan T F.A multiphase level set framework for image segmentation using the Mumford and Shah model[J].International Journal of Computer Vision，2004，50（3）：271-293.

[2]Ma Y F，Zhang H J.Contrast-based image attention analysis by using fuzzy growing[C]//Eleventh ACM International Conference on Multimedia，2003：374-381.

[3]Christopoulos C，Skodras A，Ebrahimi T.The JPEG2000 still image coding system：an overview[J].IEEE Transactions on Consumer Electronics，2000，16（4）：1103-1127.

[4]Wang Y S，Tai C L，Sorkine O，et al.Optimized scaleand-stretch for image resizing[J].ACM Transactions on Graphics，2008，27（5）：32-39.

[5]Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，20（11）：1254-1259.

[6]Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//IEEE International Conference on Computer Vision and Pattern Recognition（CVPR 2009），2009：1597-1604.

[7]Zhai Y，Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//ACM International Conference on Multimedia，Santa Barbara，CA，USA，October.2006：478-482.

[8]Cheng M M，Zhang G X，Mitra N J，et al.Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition，2015：409-416.

[9]Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2012，34（11）：2274-2282.

[10]Fu K，Gong C，Yang J，et al.Salient object detection via color contrast and color distribution[C]//Asian Conference on Computer Vision，2012：111-122.

[11]Goferman S，Zelnikmanor L，Tal A.Context-aware saliency detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2012，34（10）.

[12]Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation[M]//Computer Vision Systems.Berlin Heidelberg：Springer，2008：66-75.

[13]Viola P，Jones M.Rapid object detection using a boosted cascade of simple features[J].Proc Cvpr，2001，1.

[14]Hou X，Zhang L.Saliency detection：a spectral residual approach[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition，2007：1-8.

[15]Harel J，Koch C，Perona P.Graph-based visual saliency[J].Advances in Neural Information Processing Systems，2006，19.