基于對(duì)比度和局部結(jié)構(gòu)特征的顯著性檢測(cè)

曾祥鑫，李 飚，劉 坤

(國(guó)防科學(xué)技術(shù)大學(xué)ATR重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073)

視覺(jué)顯著性的概念是在研究人類(lèi)視覺(jué)感知機(jī)制的過(guò)程中提出的。針對(duì)人類(lèi)視覺(jué)系統(tǒng)(human visual system，HVS)的研究發(fā)現(xiàn)，對(duì)于一幅圖像，人眼可以快速地將圖像中的目標(biāo)和背景分離出來(lái)，并且通常對(duì)圖像中部分區(qū)域的關(guān)注度較高［1］，這部分區(qū)域也稱為感興趣區(qū)域(regions of interest，ROI)。顯著性檢測(cè)的研究目的在于使機(jī)器可以模擬人類(lèi)的視覺(jué)自動(dòng)定位到圖像中“顯著”或“感興趣”的目標(biāo)對(duì)象，在圖像自適應(yīng)壓縮、目標(biāo)檢測(cè)與分割、圖像檢索等多個(gè)方面都具有廣泛的應(yīng)用前景，是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域研究的一個(gè)熱點(diǎn)。

視覺(jué)顯著性的計(jì)算模型大致可以分為自底向上的數(shù)據(jù)驅(qū)動(dòng)模型和自頂向下的任務(wù)驅(qū)動(dòng)模型。任務(wù)驅(qū)動(dòng)模型的思想是利用先驗(yàn)知識(shí)建模來(lái)計(jì)算顯著性，以解決特定場(chǎng)景下的應(yīng)用問(wèn)題。在從底層特征出發(fā)的數(shù)據(jù)驅(qū)動(dòng)模型中比較經(jīng)典的有從生物視覺(jué)原理出發(fā)提出的Itti模型［2］，該模型通過(guò)提取圖像在不同尺度下的顏色、亮度、方向特征，再根據(jù)特征融合策略生成最終的顯著圖。Hou等［3］從頻域出發(fā)，提出利用圖像傅里葉變換后的幅度譜殘差來(lái)計(jì)算顯著度。文獻(xiàn)［4］基于全局對(duì)比度，定義單個(gè)像素的顯著度為該像素與圖像中其他所有像素的距離總和，并采用直方圖統(tǒng)計(jì)的方法優(yōu)化計(jì)算。Cheng等［5］在文獻(xiàn)［4］的基礎(chǔ)上進(jìn)一步利用顏色信息，在RGB空間對(duì)顏色通道進(jìn)行量化，以及采用顏色合并、平滑等操作來(lái)減少計(jì)算量，最后基于顏色直方圖統(tǒng)計(jì)信息計(jì)算全局顯著度。Achanta等在文獻(xiàn)［6］中提出頻率調(diào)諧方法，采用某個(gè)像素的顏色與平滑處理后的圖像顏色均值之間的差異來(lái)定義該像素的顯著性。在上述自底向上的顯著性檢測(cè)算法中，幾乎都以目標(biāo)和背景的差異為前提，從圖像的局部或全局出發(fā)，以對(duì)比度來(lái)計(jì)算顯著性。本文從基于全局對(duì)比度的方法［4－8］中得到啟發(fā)，結(jié)合對(duì)圖像中顯著目標(biāo)的結(jié)構(gòu)信息的先驗(yàn)知識(shí)分析，針對(duì)現(xiàn)有的算法進(jìn)行改進(jìn)，通過(guò)抑制背景的干擾和引入空間位置關(guān)系，取得了較好的檢測(cè)效果。

1 顯著性檢測(cè)框架

1.1 基于局部結(jié)構(gòu)特征的同質(zhì)化區(qū)域檢測(cè)

根據(jù)視覺(jué)特性，人眼通常對(duì)圖像中的結(jié)構(gòu)信息表現(xiàn)出較高的敏感性［9］。圖像中的顯著部分也是人眼關(guān)注的感興趣區(qū)域，其大多數(shù)情況下都具有較豐富的結(jié)構(gòu)特征。因此，采用檢測(cè)區(qū)域的結(jié)構(gòu)特征也成為顯著性檢測(cè)的一種有效方式。Weickert等［10］提出將結(jié)構(gòu)張量(structure tensor)作為圖像分析的有力工具，已成功應(yīng)用到圖像結(jié)構(gòu)方向場(chǎng)計(jì)算、特征檢測(cè)和圖像去噪等領(lǐng)域。本文采用局部結(jié)構(gòu)張量對(duì)圖像局部幾何結(jié)構(gòu)特征進(jìn)行分析。

圖像梯度的變化可以有效地表明局部區(qū)域的同質(zhì)化程度。通常，圖像中的背景部分較為平坦，同質(zhì)化程度較高，顯著度低，而目標(biāo)部分結(jié)構(gòu)化特征明顯，顯著度較高。采用基于圖塊的形式對(duì)區(qū)域的同質(zhì)性進(jìn)行檢測(cè)，考慮圖像中的某一個(gè)像素p，在該像素的N×N鄰域計(jì)算局部梯度向量［11］:

該圖塊的局部結(jié)構(gòu)張量(也稱為局部梯度協(xié)方差矩陣)定義為

式中:Gρ是方差為ρ的高斯函數(shù)，主要用來(lái)減少圖像噪聲對(duì)梯度運(yùn)算的影響。

通過(guò)對(duì)局部結(jié)構(gòu)張量矩陣的分析，可知矩陣的特征值能反映該區(qū)域結(jié)構(gòu)的復(fù)雜度。在圖像平坦區(qū)域，矩陣特征值λ1和λ2都較小，表明該區(qū)域的同質(zhì)化程度較高;在復(fù)雜結(jié)構(gòu)區(qū)域中，特征值λ1或λ2相對(duì)較大，表明在相應(yīng)特征方向上的灰度梯度變化較大。對(duì)圖像進(jìn)行分塊預(yù)處理，通過(guò)設(shè)定一個(gè)經(jīng)驗(yàn)閾值λ，可以大致區(qū)分圖像的結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域［12］，結(jié)果如圖1所示。

圖1 結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域檢測(cè)結(jié)果

1.2 基于全局顏色對(duì)比度的顯著性計(jì)算

作為一種重要的底層特征，顏色信息可以直觀地描述自然圖像的特征分布，人們很容易注意到與背景形成鮮明顏色對(duì)比的區(qū)域?；谌謱?duì)比度的顯著性檢測(cè)模型可以對(duì)圖像中相似的區(qū)域分配一個(gè)相近的顯著性值，均勻地突出目標(biāo)。在圖像結(jié)構(gòu)化區(qū)域檢測(cè)中，通過(guò)局部結(jié)構(gòu)張量分析得到了關(guān)于背景和前景目標(biāo)的粗略分布信息。以此為基礎(chǔ)，對(duì)基于全局顏色對(duì)比度的顯著性檢測(cè)主要考慮兩個(gè)方面:根據(jù)已獲得的背景先驗(yàn)知識(shí)，以全局顏色對(duì)比度計(jì)算顯著度;根據(jù)顯著性目標(biāo)的空間分布信息，一致性突出顯著目標(biāo)。

1.2.1 全局對(duì)比度計(jì)算

考慮到CIELab顏色模型與人眼視覺(jué)的相似性，分別提取圖像對(duì)應(yīng)到該顏色空間上的l，a和b分量作為圖像顏色特征值。與Achanta等提出的FT算法［5］利用圖像整體平滑后的顏色均值作為參考值不同的是，本文利用得到的目標(biāo)和背景的先驗(yàn)信息生成背景掩膜，計(jì)算背景部分的所有像素的顏色均值，以圖像中的所有像素與該均值的差值定義全局顯著度:其中:為第p個(gè)像素的顏色特征矢量;為背景顏色均值矢量;表示歐式距離。

1.2.2 空間位置關(guān)系

在從全局計(jì)算每個(gè)像素的顏色特征相對(duì)于背景顏色均值的對(duì)比度時(shí)，還應(yīng)注意到目標(biāo)在圖像中通常是集中分布的特性，即需要考慮以目標(biāo)的空間位置為參考的空間關(guān)系［13］。同樣，根據(jù)背景掩膜的分布情況，可以定義圖像中目標(biāo)區(qū)域的中心位置Pm=(xm，ym)，xm和ym為掩膜中前景目標(biāo)的質(zhì)心坐標(biāo)。對(duì)其進(jìn)行歸一化，以此定義空間位置關(guān)系度量和空間關(guān)系權(quán)重系數(shù)(見(jiàn)圖2(b)):

其中:σ為空間關(guān)系權(quán)重因子，用來(lái)衡量空間距離權(quán)重對(duì)顯著度的影響程度。

計(jì)算全局對(duì)比度顯著性，在考慮顏色對(duì)比度對(duì)顯著性貢獻(xiàn)時(shí)，以空間位置關(guān)系作為全局對(duì)比度顯著性計(jì)算的權(quán)重參數(shù)，定義基于顏色的全局對(duì)比度顯著性為

圖2 顯著性檢測(cè)各步驟對(duì)應(yīng)的顯著圖

2 顯著性模型的優(yōu)化

全局顏色對(duì)比度的顯著性檢測(cè)由于是基于背景抑制的方式和通過(guò)參考空間分布的先驗(yàn)信息，因而得到的顯著圖具有全分辨率，更突出體現(xiàn)在具有較高對(duì)比度的目標(biāo)上。通常由于目標(biāo)顏色分布的均勻性，目標(biāo)處的顯著度一致性較好，對(duì)單一背景下的目標(biāo)檢測(cè)的結(jié)果更加驗(yàn)證了這一點(diǎn)(見(jiàn)圖2(c))。其不足之處是局部結(jié)構(gòu)檢測(cè)只得到關(guān)于目標(biāo)和背景的粗略分布信息，故在背景雜波較多、紋理復(fù)雜的情況下會(huì)在背景中對(duì)比度較高處也表現(xiàn)出較大的顯著度。

文獻(xiàn)［3］基于頻域譜殘差(SR)的方法，利用對(duì)灰度圖像傅里葉變換后的幅度譜均值濾波計(jì)算殘差譜，再結(jié)合相位譜逆變換生成顯著圖(見(jiàn)圖2(d))。由于SR方法對(duì)冗余背景的濾波效果較好，均勻紋理的背景所呈現(xiàn)的顯著值較低，故通過(guò)一定的規(guī)范化處理使其滿足像素級(jí)的輸出。綜合考慮上述兩種顯著圖的優(yōu)勢(shì)，可以采用下面的非線性融合方式對(duì)基于顏色對(duì)比度的顯著圖進(jìn)行優(yōu)化。

式中:SSR和Sglobal分別代表基于譜殘差法的顯著性圖像和基于全局顏色對(duì)比度的顯著性圖像。通過(guò)歸一化處理，在像素級(jí)上完成兩種顯著性檢測(cè)模型的優(yōu)化整合。λ11=0.1，λ12=0.9，λ21=0.8，λ22=0.2為多次實(shí)驗(yàn)得到的權(quán)值參數(shù)。S1強(qiáng)調(diào)顯著性目標(biāo)的完整性，S2突出顯著性目標(biāo)的邊緣。經(jīng)過(guò)融合后的顯著圖(見(jiàn)圖2(e))明顯增強(qiáng)了顯著性目標(biāo)區(qū)域，抑制了背景以及可能存在的弱小顯著目標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

使用Achanta等提出的公共數(shù)據(jù)集MSRA－1000［6］對(duì)本文算法進(jìn)行分析評(píng)價(jià)。該數(shù)據(jù)集共包含1 000幅自然圖像，均來(lái)自MSRA顯著目標(biāo)數(shù)據(jù)庫(kù)，并且每幅圖都提供了與顯著區(qū)域相對(duì)應(yīng)的人工標(biāo)注的二值基準(zhǔn)圖像(ground truth，GT)。圖3直觀地給出了本文算法(Ours)與應(yīng)用較多的幾種顯著性檢測(cè)算法(SR［3］，GB［14］，AC［15］，F(xiàn)T［6］，HC［5］)在上述數(shù)據(jù)集上的檢測(cè)比較結(jié)果，其中(a)和(b)分別為原始圖像和GT人工分割圖。可以看出:以上幾種算法均能在一定程度上達(dá)到符合人眼主觀感覺(jué)的顯著性目標(biāo)檢測(cè)水平的要求，其中FT算法、HC算法與本文算法所檢測(cè)的結(jié)果相對(duì)更優(yōu)，并且可以看出本文算法在突出目標(biāo)區(qū)域、抑制背景方面取得了更明顯的效果。

為了客觀地比較不同的顯著性檢測(cè)方法對(duì)高亮顯著目標(biāo)區(qū)域的效果，設(shè)定兩組實(shí)驗(yàn)進(jìn)行分析。實(shí)驗(yàn)1以準(zhǔn)確率和召回率(precision-recall，PR)曲線作為衡量顯著區(qū)域檢測(cè)算法性能的評(píng)價(jià)指標(biāo)。準(zhǔn)確率反映了檢測(cè)算法的有效性，即算法所檢測(cè)到的顯著性像素同時(shí)是人工標(biāo)注顯著區(qū)域像素與整個(gè)顯著檢測(cè)區(qū)域的比值。召回率則是人工標(biāo)注的參考區(qū)域中能被正確檢測(cè)的像素比值，體現(xiàn)了算法檢測(cè)的完整性。通過(guò)設(shè)定固定閾值T∈［0，255］來(lái)二值化顯著性圖像，并繪制 PR曲線。圖4(a)給出了本文所提出的算法與其他幾種算法的準(zhǔn)確率和召回率的計(jì)算結(jié)果。實(shí)驗(yàn)2對(duì)顯著圖進(jìn)行自適應(yīng)閾值分割，設(shè)定自適應(yīng)閾值為自身顯著圖均值的2倍，引入F-measure評(píng)價(jià)方法，即在綜合平均準(zhǔn)確率和平均召回率的基礎(chǔ)上評(píng)價(jià)顯著性區(qū)域的檢測(cè)效果，結(jié)果見(jiàn)圖4(b)。自適應(yīng)分割閾值和F-measure指標(biāo)的計(jì)算公式如下:

其中:H和W為顯著圖的高和寬;S(i，j)為坐標(biāo)(i，j)處的像素顯著值;β為權(quán)衡平均準(zhǔn)確率和平均召回率的影響程度，設(shè)定β2=0.3使得平均準(zhǔn)確率的權(quán)重高于平均召回率。由圖4可以看出:本文算法取得了較好的檢測(cè)準(zhǔn)確率和召回率，與本文算法思路較接近的FT算法相比性能提升明顯。

圖3 幾種顯著性檢測(cè)算法顯著圖的直觀比較

圖4 顯著性檢測(cè)算法客觀性能比較分析

4 結(jié)束語(yǔ)

通過(guò)對(duì)圖像中顯著目標(biāo)的結(jié)構(gòu)特征的分析，為基于圖像全局顏色對(duì)比度特征的顯著性檢測(cè)模型提供了更多的先驗(yàn)信息，使檢測(cè)結(jié)果更加突出目標(biāo)區(qū)域，抑制背景的干擾和影響。本文算法在較復(fù)雜的自然場(chǎng)景下對(duì)顯著目標(biāo)定位準(zhǔn)確，所檢測(cè)的目標(biāo)與背景的顯著度差異明顯。后續(xù)工作將進(jìn)一步解決目標(biāo)區(qū)域非均勻情況下的顯著區(qū)域一致高亮的問(wèn)題。

［1］Jiang P，Ling H，Yu J，et al.Salient Region Detection by UFO:Uniqueness，F(xiàn)ocusness and Objectness［C］//IEEE International Conference on Computer Vision.USA:［s.n.］，2013:1976－1983.

［2］Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254－1259.

［3］Hou X，Zhang L.Saliency detection:A spectral residual approach［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2007:1－8.

［4］Zhai Y，Shah M.Visual attention detection in video sequences using spatiotemporal cues［C］//ACM International Conference on Multimedia.USA:［s.n.］，2005:815－824.

［5］Cheng M，Zhang G，Mitra N，et al.Global contrast based salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2011:409－416.

［6］Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2009:1597－1604.

［7］Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters:Contrast based filtering for salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2012:733－740.

［8］Jiang Z，Davis L S.Submodular salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA:［s.n.］，2013:2043－2050.

［9］李崇飛，高穎慧，盧凱，等.基于結(jié)構(gòu)相似度的視覺(jué)顯著性檢測(cè)方法［J］.計(jì)算機(jī)工程與科學(xué)，2013，35(10):181－185.

［10］Weickert J.Anisotropic Diffusion in Image Processing［M］.Germany:Teubner，Stuttgart，1988.

［11］邵宇，孫富春，劉瑩.基于局部結(jié)構(gòu)張量的無(wú)參考型圖像質(zhì)量評(píng)價(jià)方法［J］.電子與信息學(xué)報(bào)，2012，34(8):1779－1785.

［12］Junq C，Kim C.A unified spectral-domain approach for saliency detection and its application to automatic object segmentation［J］.IEEE Transactions on Image Processing，2012，21(3):1272－1283.

［13］Zhou L，Yang Z.Salient region detection based on spatial and background priors［C］//IEEE International Conference on Information and Automation.USA:［s.n.］，2014:262－266.

［14］Harel J，Koch C，Perona P.Graph-based visual saliency［J］.Advances in Neural Information Processing Systems，2006，19:545－552.

［15］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation［C］//IEEE Conference on Computer Vision Systems.USA:［s.n.］，2008:66－75.