基于雙層超像素對比度融合的顯著區(qū)域檢測

吳 清，商常青，石陸魁，連翠葉

（河北工業(yè)大學 計算機科學與軟件學院，天津300401）

0 引 言

近年來，研究者們已經(jīng)提出大量關(guān)于顯著區(qū)域檢測的方法，但是隨著互聯(lián)網(wǎng)的快速發(fā)展，大量的圖片出現(xiàn)在互聯(lián)網(wǎng)中，這些舊有方法仍然無法達到快速處理的要求，因此提出一種快速、準確、有效的方法是目前急需要解決的問題。

本文主要目的是提出一種能夠自動檢測圖像中顯著區(qū)域的方法，其能夠被應(yīng)用于解決圖像處理領(lǐng)域中其它的問題。通過采用自底向上、數(shù)據(jù)驅(qū)動的方式提出一種基于超像素 （super pixel）對比度融合的顯著區(qū)域檢測方法。利用超像素之間的對比度差異來計算像素的顯著性值，取而代替了利用每個像素之間的特征差異來計算圖像中像素的顯著性值，最終產(chǎn)生具有全分辨率的顯著性圖。本文方法主要包括3大步驟：①采用超像素分割方法將圖像分割為多個區(qū)域，使相同區(qū)域里的元素具有相似的特性；②通過利用不同區(qū)域中顏色的差異和空間的相關(guān)性來計算不同分割區(qū)域的顯著性值；③根據(jù)相似特性聚合原理將初始的顯著圖做相似類聚合，并通過自適應(yīng)閾值增加顯著區(qū)域與非顯著區(qū)域之間的對比度，最終產(chǎn)生一個具有多分辨率的顯著圖。本文中最重要的部分在于分割方法的選取和顯著值的計算方法。目前SLIC［1］（simple linear iterative clustering）超像素分割方法以其簡單的分割思想、準確的分割效果受到研究人員的青睞，故采用SLIC 方法作為預(yù)處理分割方法。受Achanta等［2］的啟發(fā)，本文在Achanta等提出算法的基礎(chǔ)上進行了改進并作為計算顯著值的計算方式。

為評估本文提出的方法的有效性和準確性，在Achanta等［2］和程明明等［3］提供的公共測試圖像集上對本文提出的方法進行測試，比較經(jīng)典方法以及人工標注的參考數(shù)據(jù)，實驗結(jié)果表明，本文方法在查準率 （precision rate）和召回率 （recall rate）方面有明顯提高。

1 相關(guān)顯著性檢測方法

本文主要關(guān)注自底向上、數(shù)據(jù)驅(qū)動的顯著性檢測方法及相關(guān)分割方法，這類方法多是在生物學原理的基礎(chǔ)上，利用圖像固有的屬性：顏色、亮度、梯度等通過利用數(shù)學計算的方法來計算某個區(qū)域的顯著度。在Koch等［4］早期的工作中提出的生物啟發(fā)模型的基礎(chǔ)上，Itti等定義圖像的顯著性、提出視覺注意理論。在基于該理論的基礎(chǔ)上提出基于圖像特征對比度的方法，目前主要分為兩種計算方法：基于局部對比度和基于全局對比度的方法。

基于全局對比度的顯著性區(qū)域計算方法是用每一個像素和整個圖像的對比度來計算該像素的顯著性值，基于局部對比度的顯著性計算方法則是用每一個像素和其周邊一定區(qū)域范圍內(nèi)的像素的對比度來計算該像素的顯著性值。前者需要計算圖像中所有像素之間的對比度，當圖像較大時，雖然可以準確的計算出圖像中每個像素的顯著度值，但是計算速率會大大降低，同時需要占用較大的計算空間；后者，當計算的局部范圍較小時，可以達到較快的計算速度，但是由于只對比一定范圍內(nèi)像素的對比度，無法從整個圖像分析該像素在圖像中所具有的顯著值，所以計算的結(jié)果無法突顯出在整個圖像中的顯著性，最終導(dǎo)致計算結(jié)果具有較大的局限性和差異。

圖像分割作為計算機視覺領(lǐng)域的基本問題，圖像分割是獲取顯著區(qū)域的一種方式，圖像分割的準確度決定了最終獲取顯著目標的精確性。選取一個比較好的分割方法對達到顯著區(qū)域監(jiān)測的目的起著重要的作用。Ren等［1］提出超像素的感念，所謂的超像素：就是相鄰區(qū)域中具有相似顏色、亮度、紋理等特征像素組成的圖像塊。它利用相鄰像素之間的相似程度將像素歸類分組，將圖像分成不同的區(qū)域，減少了圖像的冗余信息，為后期的二次處理提高了速度。Achanta等［1］提出一種基于超像素的圖像分割方法SLIC，由于其算法思想簡單、計算快的特點應(yīng)經(jīng)被應(yīng)用到多個領(lǐng)域。

2 基于超像素分割的顯著性檢測

人類觀察周圍環(huán)境時，往往對周圍環(huán)境中局部區(qū)域與背景環(huán)境產(chǎn)生較大對比差異、顏色或形狀比較奇異的區(qū)域產(chǎn)生較大的關(guān)注，據(jù)此我們采用了基于對比度的方法來計算圖像的顯著性。CIELab 顏色空間將亮度和顏色單獨分開，它的L分量密切匹配人類亮度感知，這有助于我們更好獨立的調(diào)節(jié)各個分量，從不同的角度來分析各個分量對視覺顯著的影響。所以本文以下的對比度均采用在CIELab顏色空間來進行計算。

一個圖像往往具有數(shù)萬個甚至千萬個像素，如果采用基于全局對比度的方法來計算每個像素的顯著性，這極大的增加的計算的復(fù)雜度，通過將圖像進行分割可以達到降低計算的復(fù)雜度，但是分割圖像的個數(shù)太小，計算得到的結(jié)果不準確，分割圖像的個數(shù)太大，既不會降低計算的復(fù)雜度，又不能夠通過最大化的方式將相似的區(qū)域分割到一個區(qū)域。所以本文中通過將圖像進行兩次分割：一次粗分割即較少個數(shù)的分割個數(shù)、一次細分割即較多個數(shù)的分割個數(shù)，并利用兩次分割計算得到的顯著圖進行融合的方式來計算圖像的最終顯著性圖，這樣既可以最大化的將相似屬性或顯著的部分區(qū)域分割到一個區(qū)域，同時又降低了計算的復(fù)雜度。由于兩次分割計算顯著值的方法相同所以一下只詳細的介紹一種計算方法。

本文中首先對要處理的圖像采用超像素分割，分割后的超像素圖像利用基于全局對比度的視覺顯著性方法計算每個超像素的顯著值。對生成的初始的顯著圖采用自由競爭的方式，減少顯著圖噪聲，對顯著圖中相近的超像素進行聚合，最后采用自適應(yīng)閾值的方法對超像素中非顯著的區(qū)域進行背景化，增強并保留顯著區(qū)域的部分結(jié)構(gòu)，最終產(chǎn)生具有全分辨率的顯著圖。整個顯著圖的產(chǎn)生過程如圖1所示。

圖1 本文方法的流程

2.1 超像素對比度的顯著性算法

利用SLIC超像素分割方法對要處理的圖像I進行超像素分割為圖像I′。定義I′中任意兩個超像素Pi和Pj，Pi中包含m 個像素，Pj中包含n個像素，則這兩個超像素Pi和Pj在Lab顏色空間中在顏色對比值Cij，其公式

式中：i≠j，ui——超像素Pi中m 個像素在Lab顏色空間L、a、b顏色的平均值，ui——超像素Pj中n 個像素在Lab顏色空間L、a、b顏色的平均值?！?表示歐式空間距離

式中：i≠j，vi——超像素Pi中m 個像素在Lab顏色空間坐標的平均值，vj——超像素Pj中n個像素在Lab顏色空間坐標的平均值

通過利用式 （1）～式 （4），并將Lij規(guī)格化到 ［0，1］來計算超像素Pi和Pj的之間顯著值oij其公式

式中：作為控制空間距離作用的影響因子。越小空間距離對結(jié)果的影響越大，導(dǎo)致較遠區(qū)域的對比度會對當前區(qū)域顯著性造成較大的影響。在實驗中我們采用 ＝0.4來計算超像素之間的顯著值。

Goferman等［1］提出的原方法中，只考慮K 個最相似的圖像塊，忽略了該點在整個圖像中的顯著性，在本文中通過在Goferman等提出的算法的基礎(chǔ)上，通過考慮像素Pi在整個圖像中的顯著性并根據(jù)下面的公式計算超像素Pi的顯著值Oi

2.2 雙層超像素顯著性的融合

由于對圖像進行單一個數(shù)的超像素分割無法獲取到相對完整的顯著區(qū)域。粗分割可以將比較顯著的區(qū)域分割到一個區(qū)域，但是又會包含有比較大的噪聲，通過再進行細分割可以把圖像中更加細節(jié)的部分分割到一個比較小的區(qū)域，通過將粗分割和細分割的結(jié)果進行融合，既保留了部分細節(jié)的信息，同時最大化的將顯著區(qū)域聚合到一個區(qū)域。所以我們利用式 （6）對圖像進行不同程度的分割，并計算出相應(yīng)分割情況下的顯著性。通過利用不同的分割效果得到的顯著圖進行融合最終獲取到圖像的顯著性圖。本文中利用超像素個數(shù)spnum＝15 和spnum＝200 的計算結(jié)果利用式 （7）進行融合得到最終的顯著圖

式中：O（spnum＝15）和O（spnum＝200）——利用式 （6）在超像素分割個數(shù)15 和200 下計算得到的具有全分辨率顯著性圖。SV ——O（spnum＝15）和O（spnum＝200）融 合 得 到 的 最 終 的 顯 著性圖。

對于背景和前景比較單一的圖像，利用本文的方法可以獲得較好的顯著圖，但是對于背景復(fù)雜的、紋理結(jié)構(gòu)多樣的圖像無法準確的得到理想的結(jié)果，為獲取到更加精細的顯著圖，減弱背景區(qū)域?qū)︼@著區(qū)域的影響，在以上算法結(jié)果的基礎(chǔ)上，通過閾值分割的方法對顯著性圖中背景和前景區(qū)域進行分割，對低于閾值的非顯著區(qū)域進行背景化，保留高于閾值的顯著區(qū)域的部分結(jié)構(gòu)信息，最終獲取圖像的顯著性圖，由于固定的閾值無法達到較好的分割效果，所以本文采用基于最大間類方差法OTSU［4］閾值分割方法來獲取一個比較合適的自適應(yīng)閾值。本文中方法的最終實驗結(jié)果如圖2中第9列所示。

圖2中從左到右依次為：原圖、由Achanta等提出的AC［2］、Goferman等提出的CA［5］、由Achanta等［6］提出的FT、由Itti等提出的IT［2］、由Zhai等提出的LC［3］、由Ma等提出的MZ［5］、由Cheng等提出的HC［3］方法及本文的方法計算得到的顯著圖和由人工標注的顯著圖。

3 實驗結(jié)果及比較

實驗中，為更加準確的突出本文的方法和其它方法的不同，在Achanta等提供的MSRA1000和程明明等提供的THUS10000的公共圖像數(shù)據(jù)測試集上測試了本文的方法，據(jù)我們所知此測試集包含了大量由人工精確標注的顯著性區(qū)域。本文中所有的圖片都是在一臺Pentium? Dual－Core CPU T4300主頻2.1 Hz的個人電腦生成的，本算法是在Windows系統(tǒng)環(huán)境下基于Matlab程序設(shè)計語言編寫的。為了更加全面的測試本文算法的準確性，通過利用人工精確標注的顯著圖作為驗證各個算法的查準率 （precision rate）、查全率 （recall rate）的標準

式中：Tp——正的樣本，F(xiàn)p——正的負樣本，F(xiàn)n——負的正樣本。圖3是利用式 （8）、式 （9）計算得到的本文方法和 HC［3］、FT［6］、LC［3］、SR［7］、AC［2］、CA［3］、GB［8］、IT［2］、MZ［5］和RC［3］等 方 法 在MSRA1000 數(shù) 據(jù) 集 下 的PR（precision recall）曲線，從曲線圖中可以看到本文的方法明顯優(yōu)于其它的方法。分別計算了其它方法和本文方法的查準率查全率曲線，從圖4可以明顯的看見我們的方法比其它的方法具有更高的準確度。

由于在一般情況下Precision和Recall是相互矛盾的，對一副圖像來說，如果所找到的小區(qū)域顯著區(qū)域正好完全屬于圖中的顯著目標區(qū)域的極小一部分，那么Precision就為100%，但此時Recall的值就會很低；如果把圖中顯著目標的區(qū)域比較小，計算得到的區(qū)域比較大并且已包含圖中的顯著區(qū)域，那么此時Precision 會比較小，而Recall是100%。因此就有必要綜合考慮Precision和Recall之間的關(guān)系，這里采用F－measure作為綜合評價一個算法的優(yōu)良

圖2 不同方法的視覺顯著區(qū)域效果對比

圖3 不同方法的PR 曲線圖和綜合性能比較

式中：Precision和Recall為采用自適應(yīng)閾值對顯著圖進行分割后的所有顯著圖計算得到的均值。由于我們通常更加側(cè)重關(guān)注查準率的大小，所以和Achanta等［1］的一樣，本文中用β2＝0.3來使查準率的權(quán)值高于召回率。從圖3和圖4中不同方法的PR 曲線的比較結(jié)果中看出，用本文的方法獲取的顯著圖的準確度明顯優(yōu)于其它的方法。從圖3和圖4里的PRF直方圖可以看出本文的方法綜合評價相比以前的方法更準確。

圖3 （a）和圖3 （b）是IG［3］、AC［2］、CA［5］、FT［6］、GB［8］、HC［3］、IT［2］、LC［3］、MZ［5］、RC［3］、SR［7］、SF［9］以及本文中的方法計算得到的PR （precision recall）曲線圖，圖3 （c）是不同方法的Precision、Recall和F－measure直方圖。以上圖的計算結(jié)果都是在MSRA1000的公開測試集4上計算得到的。

圖4 不同方法在THUS10000測試集上的PR 曲線圖和綜合性能比較

圖4 中從上到下，上面的兩個圖分別是AC［2］、AIM［10］、CA［5］、FT［6］、 GB［8］、 HC［3］、IM［11］、IT［2］、LC［3］、 MSS［12］、 SEG［13］、 SeR［14］、 SR［7］、 SUN［15］、SWD［16］以及本文中的方法計算得到的PR （precision recall）曲線圖，下面的是不同方法的Precision、Recall和F－measure直方圖。

通過考慮計算所得到的顯著性圖像有助于顯著目標分割，傳統(tǒng)的分割方法是由人工選中矩形區(qū)域來進行初始化操作，而本文在提出的顯著性計算方法的基礎(chǔ)上通過利用自適應(yīng)閾值OTSU 方法來改善顯著圖的分割結(jié)果，從而將顯著目標區(qū)域分割出來，分割結(jié)果如圖5所示。

圖5 顯著目標分割

4 結(jié)束語

本文中提出一種基于雙層超像素對比度融合的方法來檢測圖像的顯著性區(qū)域的檢測方法，本文的方法計算簡單、并且可以產(chǎn)生相對較好的顯著結(jié)果。在Achanta等［2］提出的公共數(shù)據(jù)庫上測試了本文的方法，并和近幾年來比較經(jīng)典的顯著性檢測方法進行了比較，實驗結(jié)果及比較結(jié)果表明本文的方法在查準率和查全率上都優(yōu)于其它方法。

由于我們提出的方法是在超像素分割的基礎(chǔ)上提出的，所以對圖像進行超像素分割對獲取目標的顯著區(qū)域起著重要的作用，SLIC方法雖然目前是比較好的分割方法，但是分割的結(jié)果仍然無法達到較滿意的分割結(jié)果，導(dǎo)致最終獲取的顯著區(qū)域有時候包含一些噪聲。加之由于有些圖像背景較為復(fù)雜且部分顯著物體的顏色與背景顏色極為相近并且背景顏色多樣化，本文的方法在處理較復(fù)雜結(jié)構(gòu)的圖像時準確率無法達到期望的高度。在未來的工作中我們計劃提高分割效果的精確度，進一步考慮多重高級因素，研究出能夠處理具有復(fù)雜紋理結(jié)構(gòu)的顯著性檢測方法，以克服本文現(xiàn)有算法在處理這類情況中存在的缺陷。

［1］Achanta R，Smith K，Lucchi A，et al.Slic superpixels［R］.Technical Report，EPFL，Tech Rep 149300，2010.

［2］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation ［G］.LNCS 5008：International Conference on Computer Vision Systems，2008：66－75.

［3］Cheng MM，Zhang GX，Mitra NJ，et al.Global contrast based salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：409－416.

［4］Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （2）：353－367.

［5］Goferman S，Zelnik－Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［6］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2009：1597－1604.

［7］Hou X，Zhang L.Saliency detection：A spectral residual approach ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2007：1－8.

［8］Harel J，Koch C，Perona P.Graph－based visual saliency［C］／／Advances in Neural Information Processing Systems，2006：545－552.

［9］Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters：Contrast based filtering for salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2012：733－740.

［10］Bruce NDB，Tsotsos JK.Saliency，attention，and visual search：An information theoretic approach ［J］.Journal of Vision，2009，9 （3）：5.

［11］Murray N，Vanrell M，Otazu X，et al.Saliency estimation using a non－parametric low－level vision model ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：433－440.

［12］Achanta R，Susstrunk S.Saliency detection using maximum symmetric surround ［C］／／17th IEEE International Conference on Image Processing，2010：2653－2656.

［13］Rahtu E，Kannala J，Salo M，et al.Segmenting salient objects from images and videos［G］.LNCS 6315：Computer Vision ECCV.Berlin：Springer Berlin Heidelberg，2010：366－379.

［14］Seo HJ，Milanfar P.Static and space－time visual saliency detection by self－resemblance ［J］.Journal of Vision，2009，9（12）：15.

［15］Zhang L，Tong MH，Marks TK，et al.Sun：A Bayesian framework for saliency using natural statistics［J］.Journal of Vision，2008，8 （7）：32.

［16］Duan L，Wu C，Miao J，et al.Visual saliency detection by spatially weighted dissimilarity ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：473－480.