基于多尺度多特征的顯著性區(qū)域檢測(cè)

侯向丹 ，劉曉曼 ，劉洪普 ，連 珂

（1.河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300401；2.河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室，天津 300401）

圖像的顯著性區(qū)域檢測(cè)，是模擬人眼的視覺(jué)注意選擇機(jī)制，進(jìn)而提取圖像中的感興趣區(qū)域[1]．所以，顯著性檢測(cè)在計(jì)算機(jī)視覺(jué)領(lǐng)域有著非常重要的地位，在圖像分割、目標(biāo)識(shí)別以及圖像檢索[2-4]等圖像處理技術(shù)中都應(yīng)用頗多．

目前的顯著性區(qū)域檢測(cè)方法大致可以分為兩類(lèi).一種是自下而上的方法，采用底層的圖像特征引導(dǎo)，從而提取出顯著性區(qū)域．其中較為經(jīng)典的當(dāng)屬I(mǎi)TTI模型[5]，利用不同特征以及中央-周邊差方法提取顯著性區(qū)域．Achanta等[6]利用Lab空間特征的中央-周邊差算子計(jì)算得到顯著性區(qū)域．Cheng等[7]提出基于全局對(duì)比度的顯著性檢測(cè)方法．還有Guo等[8]利用四元相位譜方法提取顯著性區(qū)域．另一種是自上而下的方法，基于具體的任務(wù)或者目標(biāo)來(lái)進(jìn)行顯著性計(jì)算，Tong等[9]利用圖像特征得到顯著圖，進(jìn)而通過(guò)構(gòu)造的強(qiáng)分類(lèi)器自上而下得到最終顯著圖．另外，將自下而上與自上而下這兩類(lèi)方法結(jié)合起來(lái)進(jìn)行顯著性檢測(cè)的算法也有很多．

1 結(jié)合多尺度多特征的顯著性檢測(cè)

Achanta等[6]提出的FT算法流程圖如圖1所示，它首先進(jìn)行顏色空間轉(zhuǎn)換后通過(guò)高斯差分濾波作預(yù)處理，之后分別計(jì)算像素點(diǎn)的Lab特征和圖像的Lab空間平均特征向量，將它們的歐氏距離作為其顯著性值，最終生成顯著圖．該算法的求解過(guò)程非常簡(jiǎn)單，運(yùn)算量小，但是從結(jié)果來(lái)看，該算法得到的顯著性區(qū)域與非顯著區(qū)域亮度差異并不明顯[10]，所以本文提出基于多尺度多特征的顯著性區(qū)域檢測(cè)算法，從而增強(qiáng)了顯著性區(qū)域的提取效果．

本文提出的基于多尺度多特征的顯著性區(qū)域檢測(cè)算法，主要是在FT算法的基礎(chǔ)上在兩個(gè)方面進(jìn)行了改進(jìn)．1）為突出特征點(diǎn)同時(shí)能更好地計(jì)算顏色特征差異，通過(guò)計(jì)算像素點(diǎn)在八鄰域區(qū)域內(nèi)的亮度差異以及和背景的顏色差異，將不同尺度得到的顯著值融合生成融合特征顯著圖S1.2）為使顯著性區(qū)域輪廓更清晰以及充分融合圖像的多特征，采用基于熵率的超像素分割方法將圖像分割成超像素塊，在此基礎(chǔ)上提取超像素的亮度特征、顏色特征、紋理特征，然后采用線性回歸方法，學(xué)習(xí)得到簡(jiǎn)單的超像素顯著度模型，融合超像素的多特征計(jì)算得到超像素特征顯著圖S2．最后，將融合特征顯著圖S1和超像素特征顯著圖S2結(jié)合得到最終顯著圖S，本文算法流程圖如圖2所示．

1.1 融合特征顯著圖

利用局部自動(dòng)閾值選取方法在像素點(diǎn)的八鄰域中篩選出與之亮度值之差大于T的n個(gè)點(diǎn)，用Yj（j=1，…，n） 表示，隨之求得一個(gè)優(yōu)化的八鄰域亮度平均值，然后計(jì)算其與像素點(diǎn)亮度的差值，這樣做增加了像素點(diǎn)在八鄰域中的顯著度．像素點(diǎn)的八鄰域特征顯著度計(jì)算為

式中：Mi為像素點(diǎn)的八鄰域特征顯著度；Ii為像素點(diǎn)的亮度．

另外，對(duì)于顏色空間，選擇Lab空間進(jìn)行計(jì)算，首先利用簡(jiǎn)單的閾值分割將圖像大致分為兩個(gè)區(qū)域——背景和前景，然后計(jì)算每一個(gè)像素點(diǎn)與背景的顏色差異，依據(jù)人眼對(duì)色彩刺激的感知特性，采用CMC色差來(lái)表示．人眼對(duì)顏色刺激的心理感知屬性可以分為明度L，彩度Cab，以及色調(diào)角hab．其中明度對(duì)應(yīng)Lab空間的亮度L，彩度Cab和色調(diào)角hab分別對(duì)應(yīng)顏色空間顏色的色品坐標(biāo)（a，b）和原點(diǎn)的距離和斜率．計(jì)算公式為

圖1 FT算法流程圖Fig.1 The flow chart of FT

圖2 本文算法流程圖Fig.2 The flow chart of the algorithm in this paper

CMC色差公式是由Clarke等[11]在1984年提出的，改進(jìn)了JPC79在中性色和深色的目視效果和計(jì)算值之間的差值較大的缺陷，視覺(jué)一致性較好，被許多國(guó)家和組織廣泛使用．計(jì)算方法為

式中：△ECMC為像素點(diǎn)與背景的顏色差異；SL、SC、SH為權(quán)重函數(shù)．

式中：Lstd，Cab，std，hab，std為標(biāo)準(zhǔn)色樣的色度參數(shù).

由此，計(jì)算像素點(diǎn)i的顏色顯著度Ni，其中LABi為像素點(diǎn)的Lab特征，LABb背景的Lab特征

在圖3所示原圖基礎(chǔ)上，將八鄰域尺度的亮度差異顯著度Mi和全局尺度的顏色差異顯著度Ni疊加得到S1，至此，生成如圖4所示的融合特征顯著圖S1．

圖3 原圖Fig.3 Original image

圖4 融合特征顯著圖S1Fig.4 Saliency map of fusion features S1

1.2 超像素特征顯著圖

超像素是大的像素，可以看做是具有相似特征的像素的集合．采用Liu等[12]提出的一種基于熵率的超像素分割方法將原圖分塊，超像素分割結(jié)果如圖5所示．這種方法用基于圖論的思想來(lái)獲取分割結(jié)果，即采用一個(gè)帶權(quán)的無(wú)向圖代替原圖像，將原圖像的每個(gè)像素當(dāng)作無(wú)向圖的一個(gè)結(jié)點(diǎn)，利用兩個(gè)結(jié)點(diǎn)的相似性作為結(jié)點(diǎn)之間的權(quán)重，構(gòu)造了一種圖上隨機(jī)游走的熵率和平衡項(xiàng)相結(jié)合的目標(biāo)函數(shù)，通過(guò)迭代最大化該目標(biāo)函數(shù)得到分割結(jié)果，熵率使分割的結(jié)果緊湊且具有區(qū)域一致性，平衡項(xiàng)使分割的結(jié)果形狀規(guī)則且尺寸類(lèi)似．由此，將原圖像分割為具有不同特征的超像素塊，以便進(jìn)一步處理．

為了得到進(jìn)一步的區(qū)域顯著圖，利用基于熵率的超像素分割結(jié)果，假設(shè)圖像被分為n個(gè)超像素，分別提取每一個(gè)像素塊的亮度特征SIi，顏色特征SCi，紋理特征STi，然后分別計(jì)算每一個(gè)像素塊與其他像素塊的亮度差異Li、色彩差異Si和紋理差異Wi，最終求得其顯著度Hi.

式中：亮度差異為明度L的差異，顏色差異采用CMC

圖5 超像素分割結(jié)果Fig.5 Super pixel segmentation results

色差計(jì)算，紋理差異則利用Gabor濾波器提取的不同尺度、不同方向的紋理特征來(lái)計(jì)算．

每個(gè)像素塊的顯著度為

式中：θi為各特征差異所占的權(quán)重，由線性回歸方法學(xué)習(xí)得到．人為設(shè)定超像素的顯著度作為輸出結(jié)果，輸入值為亮度差異Li，顏色差異Si和紋理差異Wi，θ1、θ2、θ3分別為它們的權(quán)重系數(shù)，θ0為平衡誤差，由此學(xué)習(xí)得到一個(gè)簡(jiǎn)單的超像素顯著度模型，根據(jù)線性回歸所得結(jié)果計(jì)算樣本的顯著圖．

最后，把結(jié)合超像素的多種特征計(jì)算得到的利用顯著度表示的灰度圖像作為超像素特征顯著圖S2，如圖6所示．

最終將融合八鄰域尺度的亮度差異和全局尺度的顏色差異得到的融合特征顯著圖S1和融合超像素多種特征計(jì)算得到的超像素特征顯著圖S2疊加，形成最終顯著圖S，如圖7所示．

圖6 超像素特征顯著圖S2Fig.6 Saliency map of super pixel features S2

圖7 最終顯著圖SFig.7 Final saliency map S

2 實(shí)驗(yàn)結(jié)果及分析

為評(píng)價(jià)本文算法的性能指標(biāo)和有效性，在MSRA-1000，ECSSD，THUR15K 3個(gè)公開(kāi)數(shù)據(jù)集上與現(xiàn)有的8 種算法 FT[6]，AC[13]，IT[5]，GB[14]，AIM[15]，SEG[16]，SIM[17]，SUN[18]進(jìn)行了視覺(jué)對(duì)比及定量評(píng)價(jià)．實(shí)驗(yàn)均在2.6 GHz CPU、4 GB內(nèi)存的個(gè)人計(jì)算機(jī)、Matlab2014a環(huán)境上實(shí)現(xiàn)．

在超像素塊的參數(shù)n取5時(shí)，本文算法的效率最高．

在3個(gè)數(shù)據(jù)集上對(duì)本文算法Ours與其他8種算法做了實(shí)驗(yàn)結(jié)果的視覺(jué)對(duì)比，如圖8所示．對(duì)比圖表明：IT模型的提取效果較差，檢測(cè)的顯著性區(qū)域面積較小、且較為分散；FT和AC模型所提取的顯著性區(qū)域并不是非常明顯，且存在誤判的現(xiàn)象；GB和SIM這2種算法所檢測(cè)出的結(jié)果較為模糊；由AIM、SEG和SUN這3種模型的結(jié)果可以看出，幾種算法對(duì)于背景的弱化效果較差．而本文所提算法的結(jié)果能夠有效弱化冗雜的背景，特別是在背景復(fù)雜的圖像中，也能檢測(cè)出圖像中的顯著性區(qū)域，顯著性區(qū)域信息保留完整，得到的目標(biāo)清晰，且邊緣明顯．

圖8 本文算法與現(xiàn)有的8種算法對(duì)比Fig.8 Comparison between the algorithm in this paper and the existing eight algorithm

為進(jìn)一步評(píng)價(jià)算法的性能指標(biāo)，在3個(gè)數(shù)據(jù)集上對(duì)算法采用ROC曲線比較，以精確率P，召回率R，F(xiàn)-measure值3個(gè)指標(biāo)進(jìn)行評(píng)價(jià)，如圖9所示．ROC曲線的橫坐標(biāo)表示在所有實(shí)際為陽(yáng)性的樣本中，被正確地判斷為陽(yáng)性的比率，縱坐標(biāo)則表示在所有實(shí)際為陰性的樣本中，被錯(cuò)誤地判斷為陽(yáng)性的比率．精確率P是對(duì)于預(yù)測(cè)的結(jié)果來(lái)說(shuō)的，表示預(yù)測(cè)為正的樣本中本來(lái)是正樣本的比例．召回率R是對(duì)于原樣本來(lái)說(shuō)的，表示原樣本中的正樣本中被預(yù)測(cè)為正樣本的比例．F-measure值是精確率和召回率的調(diào)和均值：

圖9 不同算法的ROC曲線比較Fig.9 Comparison of ROC curves of different algorithms

如圖9所示，在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可以看出，本文算法在ECSSD和THUR15K這2個(gè)數(shù)據(jù)集上的結(jié)果，精確率都高于其他8種算法，但是召回率R和F值并無(wú)明顯優(yōu)勢(shì)，在MSRA-1000數(shù)據(jù)集上的精確率和召回率稍遜于SIM算法，但優(yōu)于其它7種算法．但從圖8的視覺(jué)對(duì)比圖來(lái)看，本文所提算法的顯著性區(qū)域的提取結(jié)果比SIM算法更清晰、目標(biāo)更突出．從ROC曲線對(duì)比結(jié)果來(lái)看，在MSRA-1000數(shù)據(jù)集上，本文算法的曲線明顯覆蓋面積大于其它曲線，在其余兩個(gè)數(shù)據(jù)集上的結(jié)果，本文算法的曲線基本位于其它7種算法的上方，也更加靠近左上角，但與GB算法差距并不明顯，不過(guò)從視覺(jué)對(duì)比圖來(lái)看，GB算法提取出的顯著性區(qū)域目標(biāo)模糊，邊界不清晰，在這一方面本文算法具有明顯優(yōu)勢(shì)．綜上所述，說(shuō)明本文算法的性能要優(yōu)于其他幾種算法．

3 結(jié)束語(yǔ)

提出了一種基于多尺度多特征的顯著性區(qū)域檢測(cè)方法，充分考慮了圖像不同尺度的因素，首先利用人眼的視覺(jué)注意規(guī)律，結(jié)合亮度差異和顏色差異計(jì)算得到不同尺度的融合特征顯著圖，其次在超像素分割的基礎(chǔ)上，提取超像素的多特征，進(jìn)一步計(jì)算出超像素特征顯著圖，最終將兩部分進(jìn)行結(jié)合得到最終顯著圖．在MSRA-1000，ECSSD，THUR15K 3個(gè)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明此方法所得到的顯著性區(qū)域輪廓清晰并且準(zhǔn)確率和召回率都有一定程度的優(yōu)勢(shì)．

[1]Mancas M，F(xiàn)errera V P，Riche N，et al.From Human Attention to Computational Attention[M].New York：Springer，2016.

[2] Lempitsky V，Kohli P，Rother C，et al.Image segmentation with a bounding box prior[C]//IEEE，International Conference on Computer Vision.DBLP，2009：277-284.

[3] Fang Y，Chen Z，Lin W，et al.Saliency Detection in the compressed domain for adaptive image retargeting[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2012，21（9）：3888-3901.

[4] Jian M W，Dong J Y，Ma J.Image retrieval using wavelet-based salient regions[J].Imaging Science Journal the，2015，59（4）：219-231.

[5] Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，20（11）：1254-1259.

[6] Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//Computer Vision and Pattern Recognition，IEEE，2009：1597-1604.

[7] Cheng M M，Mitra N J，Huang X，et al.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2015，37（3）：569.

[8] Guo C L，Zhang L M.A novel muitiresolution spatiotemporal saliency detection model and its applications in image and video compression[J].IEEE Transactions on Image Processing，2010，19（1）：185-198.

[9] Tong N，Lu H，Xiang R，et al.Salient object detection via bootstrap learning[C]//Computer Vision and Pattern Recognition.IEEE，2015：1884-1892.

[10]孫曉飛，潘文文，王霞.典型的圖像顯著性檢測(cè)算法分析和比較[J].黔南民族師范學(xué)院學(xué)報(bào)，2014，34（5）：100-105.

[11]Clarke F J J，Mcdonald R，Rigg B.Modification to the JPC79 Colour-difference Formula[J].Coloration Technology，1984，100（4）：128-132.5.

[12]Liu M Y，Tuzel O，Ramalingam S，et al.Entropy rate superpixel segmentation[C]//Computer Vision and Pattern Recognition.IEEE，2011：2097-2104.

[13]Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation[C]//International Conference on Computer Vision Systems.Springer-Verlag，2008：66-75.

[14]Harel J，KochC，PeronaP.Graph-based visual saliency[C]//Advances in Neural Information Processing Systems．Cambridge，MA：MIT Press，2007：545-552.[DOI：10.1.1.70.2254]

[15]Bruce N D B，Rahman S，Carrier D.Sparse coding in early visual representation：From specific properties to general principles[J].Neurocomputing，2016，171：1085-1098.

[16]RahtuE，KannalaJ，SaloM，et al.Segmenting Salient Objects from Images and Videos[M].Computer Vision-ECCV 2010，Springer Berlin Heidelberg，2010：366-379.

[17]Murray N，Vanrell M，Otazu X，et al.Saliency estimation using a non-parametric low-level vision model[C]//Computer Vision and Pattern Recognition.IEEE，2011：433-440.

[18]Zhang L，Tong M H，Marks T K，et al.SUN：A Bayesian framework for saliency using natural statistics[J].Journal of Vision，2008，8（7）：32，1-20.