基于顏色和空間融合的顯著圖算法

陳春紅，張曉林

（中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究 所仿生智能微系統(tǒng)實(shí)驗(yàn)室，上海200050）

基于顏色和空間融合的顯著圖算法

陳春紅，張曉林

（中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究 所仿生智能微系統(tǒng)實(shí)驗(yàn)室，上海200050）

針對計(jì)算機(jī)視覺模型中顯著圖求解的問題，本文提出了基于顏色和空間融合的顯著圖算法。首先對圖像進(jìn)行超像素分割，再根據(jù)圖像顏色對比度及空間信息，計(jì)算顏色顯著圖和空間顯著圖，最后根據(jù)區(qū)域連通性和動態(tài)閾值自動去除非顯著區(qū)域，完成顯著性目標(biāo)計(jì)算。將本文算法在MSRA10K_Imgs_GT數(shù)據(jù)集上得到的結(jié)果和幾種主流算法進(jìn)行比較，通過人眼觀察以及準(zhǔn)確率、召回率、F-measure值指標(biāo)評判，結(jié)果表明本文算法的顯著性目標(biāo)計(jì)算更為準(zhǔn)確。

顯著圖；顏色；空間；全局對比；動態(tài)閾值；準(zhǔn)確率-召回率曲線

近年來，面對計(jì)算機(jī)技術(shù)的迅速發(fā)展和視覺數(shù)據(jù)的迅猛增長，如何從如此大量的圖像、視頻中獲取有效的視覺信息，成為計(jì)算機(jī)視覺特別是雙目立體視覺的首要任務(wù)。視覺顯著圖作為雙目立體視覺的重要研究部分，在非監(jiān)督性圖像分割、圖像增強(qiáng)、注視點(diǎn)預(yù)測、顯著目標(biāo)檢測和識別等領(lǐng)域發(fā)揮越來越大的作用，高質(zhì)量的顯著圖是很多應(yīng)用的基礎(chǔ)，如：基于內(nèi)容的圖像處理[1-2]，非照相寫實(shí)主義的三維渲染[3-4]，圖像場景分析[5-7]，自適應(yīng)圖像壓縮[8]，偽造犯罪檢測[9-10]。

視覺顯著圖的求解模型分為兩種：一種是自底向上的、刺激驅(qū)動的模型；另一種是自頂向下的、任務(wù)驅(qū)動的模型。研究結(jié)果[11-12]表明，前者更加符合生物視覺系統(tǒng)對圖像和場景的理解。

目前自底向上的、刺激驅(qū)動的模型發(fā)展迅速，Itti等人基于紋理、顏色、方向3種特征信息提出經(jīng)典的Itti-Koch模型[13]，該模型能夠快速得到圖片中的“顯著區(qū)域”，但該顯著區(qū)域不符合物體的實(shí)際形狀。Ko和Nam通過訓(xùn)練圖像分割特征得到支持向量機(jī)從而得到顯著區(qū)域，然后合并這些顯著區(qū)域提取顯著性目標(biāo)[14]。Han在馬爾科夫隨機(jī)場中建立顏色、紋理、邊緣特征的模型[15]，通過對顯著圖中的種子值得到增長的顯著目標(biāo)區(qū)域。Achanta等通過mean-shift得到的分割圖像的平均顯著值，利用自適應(yīng)的閾值來找到顯著目標(biāo)[16]。程明明等人基于區(qū)域級別的對比度建立模型得到顯著目標(biāo)區(qū)域[17]。

上述算法雖然能大致描述圖像中顯著性目標(biāo)，但是所求顯著圖通常是灰度圖，無法準(zhǔn)確表達(dá)顯著性的目標(biāo)區(qū)域。

1 算法描述

1.1 算法流程

文中提出了基于顏色和空間融合的顯著圖求解算法（CSF-Color and Space Fusion）算法，算法首先采用SLIC超像素分割算法對目標(biāo)圖像進(jìn)行分割，計(jì)算分割圖像中每塊區(qū)域Lab空間的平均顏色值，并根據(jù)閾值對相鄰相似區(qū)域進(jìn)行合并；其次在顏色和空間上基于全局對比度分別建立顯著圖，同時進(jìn)行歸一化處理；然后基于圖像邊緣的非顯著性目標(biāo)假設(shè)，以圖像的邊緣區(qū)域作為初始種子區(qū)域、以全局特征建立動態(tài)閾值，去除顯著圖中的非連通區(qū)域；最后以顏色顯著圖為基準(zhǔn)，合并空間顯著圖的連通區(qū)域，求得最終的二值化顯著圖。算法總體框架如圖1所示。

1.2 SLIC分割及基于動態(tài)閾值的相似區(qū)域合并

1.2.1 SLIC分割

SLIC算法[18]是一種超像素分割算法，其本質(zhì)是K-means聚類算法，該算法可以良好的保持圖像的邊緣特征，是目前使用十分廣泛的圖像分割算法。

圖1 算法的總體框架圖

算法的基本步驟[18]如下：

1）將RGB圖像轉(zhuǎn)換為LAB圖像；

2）均勻分布種子點(diǎn)，將種子點(diǎn)的5維特征值LABXY作為分類的中心點(diǎn)特征值存入種子向量中；

3）對整張圖像進(jìn)行局部的K-Means聚類，生成超像素；

4）對生成的初步超像素圖像，合并孤立超像素。

1.2.2 基于動態(tài)閾值的相似區(qū)域合并

對圖像進(jìn)行SLIC分割后，如果相鄰區(qū)域的顏色值的差值小于閾值，則合并該區(qū)域，即：

其中ri表示第i個分割區(qū)域，ri和rk是兩個相鄰的區(qū)域。

確定動態(tài)閾值Ta采用如公式（1）的方式對相鄰的相似區(qū)域進(jìn)行合并。

其中Ta為相似區(qū)域合并閾值，Ns為分割區(qū)域個數(shù)，分別為第i個分割區(qū)域ri的平均L、a、b值。

對于每個合并之后的區(qū)域ri，對應(yīng)的圖像的像素個數(shù)為Nm（i），其中i=1…Nm，Nm為合并之后的區(qū)域個數(shù)，其區(qū)域的顏色值為所有待合并的區(qū)域的顏色值的平均值，即：

其中，Ni為與第i個區(qū)域ri合并的區(qū)域個數(shù)，labeli表示需要與第i個區(qū)域ri合并的區(qū)域的原始標(biāo)號。

對輸入圖像進(jìn)行SLIC分割以及相似區(qū)域合并平均的結(jié)果圖如圖2所示：

1.3 基于顏色對比度的顏色顯著圖求解

測為表示圖像中顯著性目標(biāo)的顏色稀缺性信息，文中基于顏色特征的全局對比度確定顏色顯著圖，對于每個合并之后的分割區(qū)域ri，對應(yīng)的圖像的像素個數(shù)為Nm（i），其中i=1…Nm，Nm為合并之后的區(qū)域個數(shù)，每個區(qū)域的全局顏色對比度特征C（ri）按公式（4）計(jì)算。

圖2 SLIC分割及相似區(qū)域合并結(jié)果圖

其中Dc（ri，rk）表示每個圖像區(qū)域中的顏色值與所有其他區(qū)域的圖像顏色值的加權(quán)平均距離，W是圖像寬度，H為圖像高度。

對每個區(qū)域的全局顏色對比度特征歸一化到[0，1]，然后基于圖像邊界非顯著的假設(shè)，利用連通圖的合并算法，將邊界點(diǎn)處的相似區(qū)域合并為非顯著區(qū)域，獲得每個區(qū)域ri對應(yīng)的顏色特征C0（ri），即顏色顯著圖。

1.4 基于空間信息的空間顯著圖求解

文中根據(jù)圖像中顯著性目標(biāo)的空間位置信息確定空間顯著圖，對于每個合并之后的分割區(qū)域ri，i=1…Nm，每個區(qū)域的空間特征S（ri）按公式（6）計(jì)算。

其中Ds（ri，rk）表示每個圖像區(qū)域中的空間位置值與所有其他區(qū)域的圖像空間位置的加權(quán)平均距離，W是圖像寬度，H為圖像高度，表示區(qū)域ri的平均位置坐標(biāo)。

將每個區(qū)域的全局空間信息特征歸一化到[0，1]，基于圖像邊界非顯著的假設(shè)，利用連通圖的合并算法將邊界點(diǎn)處的相似區(qū)域合并為非顯著區(qū)域，進(jìn)而獲得每一區(qū)域ri對應(yīng)的空間位置特征Sn（ri），最終按公式（8）計(jì)算空間顯著圖S0（ri）：

1.5 顏色顯著圖及空間顯著圖合并算法

由于人眼對于顏色特征的對比度比較敏感，本文提出了一種基于顏色顯著圖，融合空間位置特征的顯著圖求解算法，算法的具體實(shí)現(xiàn)方法如下：

1）基于顯著區(qū)域的連通特性，去除顏色顯著圖以及空間顯著圖的非連通區(qū)域；

2）以顏色顯著圖為基準(zhǔn)，合并空間顯著圖中的顯著區(qū)域，即：

顏色顯著圖中非顯著，但空間顯著圖中顯著的區(qū)域ri，若在顏色顯著圖中，其鄰域范圍中有顯著區(qū)域rj，并且其顏色距離滿足公式（1），則增加該區(qū)域?yàn)轱@著區(qū)域。

按照上述算法，求解最終的二值顯著圖。

2 算法結(jié)果及分析

文中在MSRA10K_Imgs_GT數(shù)據(jù)集[17]上測試結(jié)果的性能，MSRA10K_Imgs_GT數(shù)據(jù)集是程明明等人針對顯著性目標(biāo)檢測提出的具有代表性的數(shù)據(jù)集，該數(shù)據(jù)集中的每幅圖像均包含一個非模糊的顯著目標(biāo)，并且在相應(yīng)的顯著目標(biāo)區(qū)域周圍均有像素大小的標(biāo)準(zhǔn)顯著圖標(biāo)號。利用文中算法在該數(shù)據(jù)集上測試出的有代表性的結(jié)果如圖3所示：

圖3 顯著圖測試結(jié)果圖

將文中算法的顯著圖求解結(jié)果與目前其他相應(yīng)算法做比較，結(jié)果如圖4所示：

圖4中（h）是利用本文提出算法計(jì)算出來的結(jié)果，（i）是顯著圖的標(biāo)準(zhǔn)結(jié)果，從圖4中可以看出本文的算法能夠很好地描述圖像中的顯著區(qū)域，與圖4中其他算法比較優(yōu)勢明顯，并且與標(biāo)準(zhǔn)結(jié)果相差不多。

圖4 各種算法的顯著圖結(jié)果比較圖

根據(jù)參考文獻(xiàn)[16，17]，文中通過計(jì)算準(zhǔn)確率-召回率曲線以及F-measure值，來比較算法的優(yōu)劣。準(zhǔn)確率Pr公式（9）用來反映被分類器正確分類的樣本的比重；召回率Rr公式（10）用來反映分類器分成的正樣本中被正確分類的樣本的比重。F-measure值Fβ按照公式（11）來計(jì)算：

其中設(shè)置β2=0.3，來保證對精確度更高的要求。

在數(shù)據(jù)集上測試的結(jié)果如圖5：

圖5 不同算法的準(zhǔn)確率比較

從圖5（a）中可以看出，本文提出的算法（CSF）的準(zhǔn)確率-召回率曲線更趨近于（1，1）點(diǎn)，表明本文算法具有明顯優(yōu)勢。從圖5（b）中可以看出在固定閾值下準(zhǔn)確率、召回率、F-measure值的取值，文中算法（CSF）均有明顯的優(yōu)勢。

3 結(jié) 論

文中研究了視覺顯著性模型，并基于顏色、空間的全局對比度的方法，提出了基于顏色和空間融合的顯著圖算法，實(shí)驗(yàn)結(jié)果表明該算法效果良好，可以較準(zhǔn)確的提取圖像中的顯著性目標(biāo)。

[1]Panozzo D，Weber O，Sorkine O.Robust Image Retargeting via Axis-Aligned Deformation[C]//Computer Graphics Forum. 2012:229-236.

[2]Mai L，Le H，Niu Y，et al.Rule of Thirds Detection from Photograph.[C]//2013 IEEE International Symposium on Multimedia.IEEE，2011:91-96.

[3]Rosin P L，Lai Y K.Artistic minimal rendering with lines and blocks[J].Graphical Models，2013，75（4）:208–229.

[4]Han J，Pauwels E J，Zeeuw P D.Fast saliency-aware multimodality image fusion[J].Neurocomputing，2013，111（6）: 70-80.

[5]Borji A，Sihite D N，Itti L.What stands out in a scene?A study of human explicitsaliencyjudgment.[J].Vision Research，2013，91（15）:62-77.

[6]Zhang C，Li X，Ruan X，et al.Discriminative generative contour detection[C]//British Machine Vision（BMVC）.2013: 74.1-74.11.

[7]Zheng S，Cheng M M，Warrell J，et al.Dense Semantic Image Segmentation with Objects and Attributes[C]// Computer Vision and Pattern Recognition（CVPR），2014 IEEE Conference on.IEEE，2014:3214-3221.

[8]Deng C，Lin W，Cai J.Content-Based Image Compression for Arbitrary-Resolution Display Devices[C]//Communications（ICC），2011 IEEE International Conference on.IEEE，2011:1-5.

[9]Fu H，Cao X.Forgery Authentication in Extreme Wide-Angle Lens Using Distortion Cue and Fake Saliency Map[J]. IEEE Transactions on Information Forensics&Security，2012，7（4）:1301-1314.

[10]Li-Qian M，Kun X，Tien-Tsin W，et al.Change blindness images[J].IEEE Transactions on Visualization&Computer Graphics，2013，19（11）:1808-1819.

[11]Itti L，Baldi P.Bayesian surprise attracts human attention [J].Vision Research，2009，49（10）:1295–1306.

[12]Koch C，Ullman S.Shifts in Selective Visual Attention:Towards the Underlying Neural Circuitry[J].Human Neurobiology，1987，4（4）:219-227.

[13]Itti L，Koch C，Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，20（11）:1254-1259.

[14]Ko B C，Nam J Y.Object-of-interest image segmentation based on human attention and semantic region clustering[J]. Journal of the Optical Society of America A，2006，23（10）: 2462-2470.

[15]Han J，Ngan K N，Li M，et al.Unsupervised extraction of visual attention objects in color images[J].IEEE Trans. circuits Syst.video Technol，2006，16（1）:141-145.

[16]Achanta R，Hemami S，Estrada F，et al.Frequency-tuned Salient Region Detection[C]//IEEE International Conference on Computer Vision and Pattern Recognition（CVPR 2009）. 2009:1597-1604.

[17]Cheng M，Mitra N J，Huang X，et al.Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition（CVPR），2011 IEEE Conference on.IEEE，2011:409-416.

[18]Achanta R，Shaji A，Smith K，et al.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].Intelligence IEEE Transactions on，Pattern Analysis&Machine 2012，34（11）:2274-2282.

A saliency map algorithm based on color contrast and region connectivity

CHEN Chun-hong，ZHANG Xiao-lin
（Chinese Academy of Sciences Shanghai Institute of Microsystem and Information Technology，Shanghai 200050，China）

This paper researched on the problem of saliency map in computer vision model，we proposed an automatic saliency region detection algorithm based on Color and Space Fusion.Firstly，the image is segmented，then according to the image color contrast and spatial information，the color saliency map and spatial saliency map are calculated.Finally，the non-salient regions are automatically removed based on regional connectivity and dynamic threshold.The results obtained from the MSRA10K_Imgs_GT data set and several main algorithms are compared.The results show that the proposed algorithm is more accurate and more accurate.

color；spatial；global contrast；saliency map；precision-recall curve

TN919.82

A

1674－6236（2016）24-0154-04

2015-12-08 稿件編號：201512079

上海張江國家資助創(chuàng)新示范區(qū)專項(xiàng)發(fā)展資金（ZJ2015-ZD-001）

陳春紅（1989—），女，河北衡水人，碩士。研究方向：雙目視覺、顯著圖分析。