基于低級(jí)特征圖最優(yōu)融合的顯著性目標(biāo)檢測(cè)

王 玉，彭曉明

（電子科技大學(xué) 自動(dòng)化工程學(xué)院，四川 成都 611731）

基于低級(jí)特征圖最優(yōu)融合的顯著性目標(biāo)檢測(cè)

王 玉，彭曉明

（電子科技大學(xué) 自動(dòng)化工程學(xué)院，四川 成都 611731）

針對(duì)低水平特征顯著性目標(biāo)檢測(cè)算法在檢測(cè)圖像時(shí)不能檢測(cè)到不同大小的目標(biāo)，而且精確度較低的問(wèn)題。提出一種新的算法，通過(guò)將顏色分布，方向?qū)Ρ榷纫约盎陬l率信息這3種特征運(yùn)用條件隨機(jī)場(chǎng)進(jìn)行最優(yōu)全值線性融合后，得到更精確的顯著性目標(biāo)。通過(guò)與10種經(jīng)典的顯著性目標(biāo)檢測(cè)算法進(jìn)行的定量和定性的對(duì)比，實(shí)驗(yàn)結(jié)果表明，提出的算法不僅可以有效地檢測(cè)到大、中、小顯著性目標(biāo)，而且檢測(cè)的效果比其他算法精確度高。

顯著性目標(biāo)檢測(cè)；顏色分布；方向?qū)Ρ榷?；基于頻域信息

近年來(lái)，顯著性目標(biāo)檢測(cè)受到了計(jì)算機(jī)視覺(jué)研究領(lǐng)域的大量關(guān)注。由于它在計(jì)算機(jī)視覺(jué)的諸多應(yīng)用中都能發(fā)揮重要作用，越來(lái)越多的針對(duì)不同應(yīng)用的研究逐年增加。研究發(fā)現(xiàn)，人類視覺(jué)注意力選擇機(jī)制包括兩個(gè)模式:自底向上[1]和自頂向下[2]。由于自頂向下的方法難以實(shí)現(xiàn)，因而目前大多數(shù)顯著性檢測(cè)算法都是基于自底向上的方法[3-4]，這些方法的視覺(jué)注意力都是由較低級(jí)的特征（如對(duì)比、亮度和顏色）驅(qū)動(dòng)。

Itti等人[5]最早提出了顯著性檢測(cè)的算法，其算法主要是提取出輸入圖像的顏色，方向和亮度特征，然后每個(gè)特征圖的顯著性通過(guò)中心—周圍算子計(jì)算出來(lái)，并合并成一幅顯著圖。最近，一些以全局對(duì)比為基礎(chǔ)的顯著性檢測(cè)方法被提出，從而彌補(bǔ)了基于局部對(duì)比算法的缺點(diǎn)。然而，這些模型僅僅考慮了一種基于顏色的低級(jí)特征，而忽略其他特征，比如方向特征。此外，在顯著目標(biāo)檢測(cè)領(lǐng)域中，基于頻域信息進(jìn)行檢測(cè)的方法與其他方法非常不同，它將空域的信息轉(zhuǎn)換到頻域上，然后在頻域中進(jìn)行顯著目標(biāo)檢測(cè)。Achanta[6]等人通過(guò)在頻域中非顯著區(qū)域的定義來(lái)對(duì)顯著目標(biāo)進(jìn)行檢測(cè)。該算法將容易被人類視覺(jué)忽略的區(qū)域定義為非顯著性區(qū)域，然后抑制這些區(qū)域來(lái)進(jìn)行顯著性目標(biāo)檢測(cè)。但是該方法的缺點(diǎn)是算法在抑制冗余信息的同時(shí)也抑制了顯著性區(qū)域，這樣就會(huì)造成目標(biāo)內(nèi)部區(qū)域的空洞。

針對(duì)以上算法的不足，文中從兩個(gè)方面對(duì)基于低級(jí)特征的顯著性目標(biāo)檢測(cè)算法進(jìn)行了改進(jìn)：文中選取圖像中表現(xiàn)較好的低級(jí)特征作為檢測(cè)的預(yù)處理單元，提高檢測(cè)的精度；此外，與之前融合的算法不同，文中的融合算法在之前算法基礎(chǔ)上做出創(chuàng)新，分配給每個(gè)特征圖最優(yōu)權(quán)重，使每個(gè)特征圖之間達(dá)到互補(bǔ)。經(jīng)本文改進(jìn)后的算法這樣不僅可以實(shí)現(xiàn)對(duì)不同大小尺寸目標(biāo)的檢測(cè)，而且檢測(cè)結(jié)果更精確。

1 相關(guān)算法基礎(chǔ)

近年來(lái)，顯著性檢測(cè)與圖像處理有著密不可分的關(guān)系，圖像處理依賴于高質(zhì)量的顯著圖才能得到較好的處理結(jié)果。顯著性檢測(cè)算法中低級(jí)圖像視覺(jué)特征的使用非常廣泛，一些基于低級(jí)特征（如：顏色，方向，頻域）的顯著性目標(biāo)檢測(cè)方法被提出，文中提出的算法是以低級(jí)特征（如：顏色，方向，頻域）算法為基礎(chǔ)，所以下面將對(duì)此做出介紹。

1.1 顏色分布算法

人類的視覺(jué)注意力首先會(huì)對(duì)圖像中的顏色感興趣，因此顏色分布的特征計(jì)算是很有必要的。通常情況下，圖像的背景的顏色分布很廣，而前景即目標(biāo)的顏色分布很少，由此來(lái)看圖像中顏色分布越少的區(qū)域就越有可能是顯著性區(qū)域?；谶@一原理，對(duì)于某一顏色的全局空間分布能更好的描述被檢測(cè)目標(biāo)的顯著性，將顏色空間分布特征定義為顏色方差之和，即利用顏色空間分布計(jì)算了各個(gè)顏色所占的比重來(lái)檢測(cè)顯著性目標(biāo)。本文采用高斯混合模型（GMM）[7]計(jì)算顏色方差，從而描述某一顏色的空間分布。計(jì)算每個(gè)像素的顏色成分比重用條件概率，然后計(jì)算每一個(gè)顏色成分的水平方差Vh（c）和垂直方差Vv（c），之后分別對(duì)每個(gè)顏色成分的水平方差和垂直方差求和，得到每一個(gè)顏色的空間分布方差得到每個(gè)顏色成分的空間方差|x|c=Vv（c）+Vh（c）。定義加權(quán)的空間方差之和為顏色分布特征，定義如下:

圖像中的所有顏色利用高斯混合模型計(jì)算出每一個(gè)像素的顏色所占的不同比重，而顏色所占比重越小的說(shuō)明其越有可能屬于顯著性區(qū)域的顏色，由此可初步判定屬于顯著區(qū)域。

1.2 方向?qū)Ρ榷人惴?/p>

在一幅圖像中以局部的信息為基礎(chǔ)，也可以用來(lái)描述顯著性目標(biāo)，而本文對(duì)于局部方向?qū)Ρ榷忍卣鞯挠?jì)算是采用中央--周圍算子[8]。因此本文較好地結(jié)合了局部和全局特征，這樣能更精確地對(duì)顯著性目標(biāo)進(jìn)行檢測(cè)。方向?qū)Ρ榷染褪峭ㄟ^(guò)比較圖像中角度的變化來(lái)實(shí)現(xiàn)的，如果某像素的角度差異越大，該點(diǎn)的顯著值就越大，由此可計(jì)算出顯著目標(biāo)。

方向?qū)Ρ榷鹊挠?jì)算首先對(duì)輸入圖像構(gòu)建出高斯金字塔，在每一層高斯金字塔中有不同尺度的基于方向的特征，然后分別將其提取出來(lái)作差，利用中心-周圍算子計(jì)算出圖像中方向的對(duì)比度，將上述得到的特征圖歸一化到[0 1]區(qū)間，接下來(lái)分別疊加歸一化后的方向?qū)Ρ鹊奶卣鲌D，這樣就得到了基于對(duì)比度方向的特征圖。

1.3 基于頻域信息

在顯著目標(biāo)檢測(cè)領(lǐng)域中，基于頻域信息的顯著性檢測(cè)算法與其他算法所不同的地方是，它巧妙地將空域的信息轉(zhuǎn)換到頻域上，然后在頻域中定義顯著目標(biāo)并進(jìn)行檢測(cè)。非顯著性區(qū)域，即圖像中對(duì)應(yīng)著大面積的一致區(qū)域或重復(fù)區(qū)域，人們的視覺(jué)對(duì)其并不敏感，抑制這些區(qū)域就能使顯著目標(biāo)自動(dòng)突顯。文中方法就是利用SR[9]算法原理，將顯著性區(qū)域表示為圖像的log振幅譜與平均log振幅譜之差，其公式如下：

其中，L（f）是輸入圖像的log振幅譜，將L（f）進(jìn)行3*3的均值濾波得到的平均振幅譜A（f），相位譜P（f），R（f）就是圖像的幅度譜殘差。將幅度譜殘差R（f）和相位譜P（f）進(jìn)行傅立葉反變換，計(jì)算出圖像的顯著性如式（3），為了得到效果更好的顯著圖，在此基礎(chǔ)上作了高斯平滑，得到原圖的顯著圖S（x）。

2 改進(jìn)的最優(yōu)融合算法

顯著性檢測(cè)中選擇不同特征圖作為算法融合的對(duì)象對(duì)于檢測(cè)效果有很大影響，本文選取的低級(jí)特征是顏色分布特征，方向?qū)Ρ榷忍卣骷盎陬l域信息特征。這是因?yàn)轭伾卣饕匀中蕴崛〕鲲@著性區(qū)域，結(jié)果較為準(zhǔn)確，但是如果輸入的圖像中包含很多顏色，或者是只包含的顏色非常相近，基于顏色特征的顯著性目標(biāo)檢測(cè)算法對(duì)這些圖像檢測(cè)很困難，因此有必要考慮到基于方向?qū)Ρ榷鹊挠?jì)算，方向?qū)Ρ榷仁且跃植勘容^計(jì)算出顯著性目標(biāo)，這不僅彌補(bǔ)顏色特征的不足，而且加強(qiáng)了目標(biāo)的邊界，但是也會(huì)帶來(lái)目標(biāo)區(qū)域的“空洞”，而基于頻域信息的特征可有效地抑制背景冗余信息，從而使前景（目標(biāo)）區(qū)域凸現(xiàn)出來(lái)，換句話說(shuō)，也就是加強(qiáng)了目標(biāo)區(qū)域，從而彌補(bǔ)了基于顏色特征和基于方向?qū)Ρ榷葞?lái)的不足。

之前的很多算法都是基于圖像的低級(jí)特性的顯著性檢測(cè)，這就容易忽略掉顯著性目標(biāo)的很多特征，導(dǎo)致檢效果不佳。也有算法是將低級(jí)特征結(jié)合，但是選取特征都不太理想，而且結(jié)合的方式大多數(shù)是均值相加或簡(jiǎn)單相乘，這導(dǎo)致每個(gè)特征都不是以最優(yōu)權(quán)重對(duì)圖像進(jìn)行檢測(cè)，檢測(cè)效果自然就不理想。針對(duì)以上算法的不足，文中以全局和局部的觀點(diǎn)，選取了基于顏色的特征，基于方向的對(duì)比度，更巧妙的將頻域信息引入。而文中的融合算法也不是簡(jiǎn)單相加或相乘，文中融合算法如下：

其中，式（4）是模型的概率分布，表示針對(duì)圖像中不同的情況，ωn權(quán)重分配不同。定義觀測(cè)圖像I，標(biāo)簽狀態(tài)S={sx}，sx=0表示標(biāo)記的為顯著區(qū)域，sx=1標(biāo)記為非顯著區(qū)域。Z是分配函數(shù)，用于函數(shù)的歸一化處理。Fn=（sx，S）是單一變量的勢(shì)函數(shù)表示第n個(gè)顯著特征，其中λn表示第n個(gè)顯著特征的權(quán)重。Sn表示不同算法得到的低級(jí)特征圖，ωn表示針對(duì)圖像中不同的情況，根據(jù)式（5）得到的權(quán)重分配，使各個(gè)特征圖得到最優(yōu)權(quán)重，實(shí)現(xiàn)了圖像中目標(biāo)尺寸大小不同的準(zhǔn)確檢測(cè)。文中算法就是將這3個(gè)特征以最優(yōu)權(quán)重進(jìn)行融合，使每個(gè)特征圖達(dá)到互補(bǔ)，這樣不僅可以實(shí)現(xiàn)對(duì)不同大小尺寸目標(biāo)的檢測(cè)，而且檢測(cè)結(jié)果更精確。

3 實(shí)驗(yàn)結(jié)果與分析

文中提出的算法的對(duì)比實(shí)驗(yàn)是在微軟亞洲研究院提供大量的圖像數(shù)據(jù)庫(kù)MSRA[7]中進(jìn)行，MSRA數(shù)據(jù)庫(kù)是顯著性檢測(cè)運(yùn)用較為廣泛的一個(gè)公開(kāi)數(shù)據(jù)。程序用Matlab編寫(xiě)，其核心部分由C++編程實(shí)現(xiàn)，并在Matlab 2013環(huán)境下實(shí)現(xiàn)。此外，文中采用精確率（Precision），召回率（Recall）和 F-值（F-measure）這3個(gè)性能指標(biāo)作為定量比較的標(biāo)準(zhǔn)。

將上面介紹的顏色空間分布，方向?qū)Ρ榷群突陬l率信息的特征通過(guò)條件隨機(jī)場(chǎng)融合，得到最終所要的結(jié)果。如圖1所示，第一列為原始圖像，然后分別是基于顏色特征圖，基于方向?qū)Ρ榷忍卣鲌D，基于頻域信息特征圖以及本文提出的最優(yōu)融合特征圖算法所檢測(cè)的顯著圖，最后一列是“ground-truth”圖。從圖1中看出，基于顏色特征的圖像還有大量的背景冗余信息，而基于方向?qū)Ρ榷忍卣鞯膱D像只能檢測(cè)到圖像的邊界，基于頻域特征圖在抑制背景的同時(shí)，也會(huì)抑制目標(biāo)區(qū)域，而本文提出的最優(yōu)融合這3種特征的算法彌補(bǔ)了各個(gè)特征的不足，從圖1中可直觀看出本文提出的算法檢測(cè)效果明顯比單獨(dú)使用低級(jí)特征檢測(cè)的效果好。不同特征圖與本文算法的精確度比較如圖2所示，從圖2可以看出，將以上特征進(jìn)行最優(yōu)全值線性融合后的算法的精確率最高，因此有必要將這3個(gè)特征進(jìn)行最優(yōu)線性融合。

圖1 特征圖與本文算法效果圖對(duì)比

圖2 不同特征圖以及本文算法平均精確率比較

將本文算法與10種較為經(jīng)典也是檢測(cè)效果較好的顯著性檢測(cè)方法分別進(jìn)行定量和定性的比較，這 10種算法包含：IT[5]，SR[9]，GB[10]，AC[11]，F(xiàn)T[6]，MZ[12]，CA[13]，LC[14]，HC[15]和RC[15]。如圖3所示，采用精確率-召回率評(píng)價(jià)指標(biāo)，對(duì)文中算法與10種顯著性檢測(cè)算法進(jìn)行比較的曲線圖。從圖3中看出，文中的算法的精確率-召回率曲線明顯高于其他10種顯著性檢測(cè)算法。F-值是綜合評(píng)價(jià)精確率和召回率總體效果的評(píng)價(jià)指標(biāo)，F(xiàn)-值越高，證明檢測(cè)的效果越好。F-值的比較結(jié)果如圖4所示，文中算法的F-值明顯高于其他10種算法，即文中提出的算法對(duì)于不同大小目標(biāo)的檢測(cè)精度高于其他10種算法。

圖3 各種算法精確率-召回率曲線圖

圖4 不同算法的F-值比較

從MSRA數(shù)據(jù)庫(kù)中隨機(jī)抽取目標(biāo)尺寸大小不一的圖像，將10種顯著性算法計(jì)算出的顯著圖對(duì)比本文算法得出的顯著圖如圖5所示。圖5中，從左到右依次為輸入的原圖像，IT，SR，GB，AC，F(xiàn)T，MZ，CA，LC，HC，RC，文中算法和“ground-truth”圖。

圖5 不同顯著性目標(biāo)檢測(cè)算法的定性比較圖

從圖5中看出，這10種算法僅僅是針對(duì)圖像的某一特征進(jìn)行研究，所檢測(cè)出的顯著圖也只表現(xiàn)出了一種特征，而文中算法是將圖像的低級(jí)特征圖進(jìn)行了最優(yōu)融合，使圖像的每個(gè)特征得到互補(bǔ)，因此本文算法能更好地檢測(cè)到顯著性目標(biāo)，不僅加強(qiáng)了目標(biāo)邊界，而且還有效抑制了背景的冗余信息，使目標(biāo)更突出，檢測(cè)的效果更精確。從主觀上比較，文中提出的算法可檢測(cè)不同大小目標(biāo)的圖像，而且效果明顯比其他10種算法好。這與之前采用性能指標(biāo)定量比較不同種算法得出的結(jié)果相同，表明本文算法思路的合理性。

4 結(jié)束語(yǔ)

針對(duì)以前的算法不能有效檢測(cè)不同大小的顯著性目標(biāo)、檢測(cè)精度低的問(wèn)題，文中提出了一種特征圖最優(yōu)融合的顯著性目標(biāo)檢測(cè)算法，該算法不僅有效地將基于全局的顏色特征和基于局部的方向?qū)Ρ榷忍卣鬟M(jìn)行結(jié)合，而且還巧妙地引入頻域信息特征，通過(guò)條件隨機(jī)場(chǎng)，將上述3種不同的特征以最優(yōu)權(quán)重線性融合得到更為精確的結(jié)果。通過(guò)定量和定性的實(shí)驗(yàn)表明，文中所提出的算法與以前10種算法比較，文中算法不僅能有效地檢測(cè)到大、中、小目標(biāo)，而且檢測(cè)的結(jié)果更精確。

[1]Sun J Y，Chen R F，He J．A Modified GBVS Method with Entropy for Extracting Bottom-Up Attention Information [Z]．Lecture Notes in Electrical Engineering，2012（121）:765.

[2]Frintrop S，Backer G，Rome E.Goal-directed search with a top-down modulated computational attention system[J].DAGM05，2005：117-124.

[3]Gao D，Vasconcelos N.Bottom-up saliency is a discriminant process[J].ICCV，2007.

[4]Sun J Y，Chen R F，He J．A Modified GBVS Method with Entropy for Extracting Bottom-Up Attention Information [Z]．Lecture Notes in Electrical Engineering，2012（121）:765.

[5]Itti L，Koch C，Niebur E.A model of saliencybased visual attention for rapid scene analysis[J]. IEEE Trans.Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[6]Achanta R，Hemami S，Estrada F.Frequencytuned salient region detection [J].IEEE Conf. Comput.Vis.Pattern Recognit.（CVPR），2009：1597-1604.

[7]Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（2）: 353-367.

[8]Perazzi F，Kr?henbühl P，Pritch Y，et al.Saliency filters:Contrast based filtering for salient region detection [J].Computer Vision and Pattern Recognition（CVPR），2012：733-740.

[9]Hou X D ，Zhang L Q.Saliency detection:A special residual approach[C].IEEE Conference on Computer Vision and Pattern Recognition. Washington D C:IEEE Computer Society Press，2007:1-8.

[10]Harel J，Koch C，Perona P.Graph-based visual saliency [J].Advance in Neural Information Processing Systems，2006（19）：545-552.

[11]Achanta，Radhakrishna.Salient region detection and segmentation [J].Computer Vision Systems. Springer Berlin Heidelberg，2008：66-75.

[12]Ma Y F，Zhang H J.Contrast-based image attention analysis by using fuzzy growing[C]//Proc. 11th Int.Conf.Multimedia，2003：374-381.

[13]Goferman S，Lihi Z M，Tal A.Context-aware saliency detection[C]//Proc.IEEE Conf.Comput. Vis.Pattern Recognit.，2010：2376-2383.

[14]Goferman S，Lihi Z M，Tal A.Context-aware saliency detection[C]//IEEE Conf.Comput.Vis. Pattern Recognit.，2010：2376-2383.

[15]Cheng M M，Zhang G X，Mitra N J，et al.Global contrast based salient region detection[C]//IEEE Conf.Comput.Vis.Pattern Recognit.，2011：409-416.

Salient object detection based on optimally combining low-level features

WANG Yu，PENG Xiao-ming
（School of Automation Engineering，University of Electronic Science and Technology of China，Chengdu 611731，China）

Salient object detection algorithm based on the low levels in the image does not detect different targets，nor have high accuracy.A new algorithm is proposed--the three characteristics of color distribution，direction contrast and frequency information are used for the optimal linear fusion to get a more accurate salient object.After the quantitative and qualitative comparison with 10 kinds of classic salient object detection algorithm，the experimental results show that the proposed algorithm not only can effectively detect the large，medium and small salient objects，but also has higher precision than other else.

salient object detection；color distribution；contrast orientation；frequency domain

TN919.8

：A

：1674－6236（2017）06-0181-04

2016-02-16稿件編號(hào)：201602049

中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)（ZYGX2011J075）

王 玉（1991—），女，布依族，貴州安順人，碩士研究生。研究方向：模式識(shí)別、圖像處理、目標(biāo)檢測(cè)。