基于兩重誤差重構(gòu)的顯著性區(qū)域檢測算法

范明喆，王魯平，張路平

?

基于兩重誤差重構(gòu)的顯著性區(qū)域檢測算法

范明喆1,2，王魯平1，張路平1

（1. 國防科技大學(xué) ATR國家重點實驗室，湖南 長沙 410073；2. 武警韶關(guān)支隊，廣東 韶關(guān) 512000）

通過SLIC分割算法將圖像分成多個超像素區(qū)域后，利用重構(gòu)誤差進(jìn)行視覺顯著性檢測。首先提取圖像邊緣的超像素區(qū)域作為背景模板，然后利用這些模板構(gòu)建兩重外觀模型：稀疏外觀模型及稠密外觀模型。對于每一塊圖像區(qū)域，首先計算稠密重構(gòu)誤差及稀疏重構(gòu)誤差，然后利用均值聚類方法得到的上下文對重構(gòu)誤差進(jìn)行傳播，再利用貝葉斯準(zhǔn)則融合稀疏型檢測結(jié)果及稠密型檢測結(jié)果，最后通過綜合多尺度重構(gòu)誤差信息及修正的目標(biāo)基高斯模型信息實現(xiàn)像素級顯著性檢測。

超像素；稠密重構(gòu)誤差；稀疏重構(gòu)誤差；顯著性檢測

0 引言

稠密外觀模[1-2]型將每一個數(shù)據(jù)點建模為特征空間中的多元高斯分布，在采樣數(shù)量有限的條件下，很難捕獲到多重離散模式，因而在進(jìn)行顯著性度量時，精度不高，即使是對背景區(qū)域建模也有可能得到較大的重構(gòu)誤差。由于稀疏重構(gòu)誤差可以較好地抑制背景，故檢測結(jié)果中背景干擾小，效果較好。

雖然稀疏重構(gòu)誤差檢測結(jié)果在某些場景下優(yōu)于稠密重構(gòu)誤差檢測結(jié)果，但在進(jìn)行顯著性度量時也存在一些不足之處[3-6]。例如，當(dāng)目標(biāo)出現(xiàn)在圖像邊界時，就會把前景分割結(jié)果當(dāng)成是背景模板，當(dāng)用這些含有前景目標(biāo)的模板對目標(biāo)進(jìn)行稀疏表示時，由于稀疏重構(gòu)誤差較小，邊界處目標(biāo)區(qū)域的顯著性度量值將接近于0，從而將該區(qū)域檢出為背景。此外，由于誤將前景分割結(jié)果當(dāng)成是部分稀疏基函數(shù)，對其他區(qū)域進(jìn)行顯著性度量時，精度會下降。相比而言，稀疏外觀模型則不受此影響，當(dāng)誤將前景分割區(qū)域當(dāng)成是背景模板時，利用從稠密外觀模型中提取出的主成分來描述這些前景區(qū)域時有效性會降低[7-13]。如圖3中第3行所示，部分前景目標(biāo)區(qū)域位于圖像邊界，利用稀疏重構(gòu)誤差度量將不能檢出該區(qū)域，而稠密重構(gòu)誤差度量則能較好的檢出該區(qū)域。由此可知，稀疏重構(gòu)誤差能夠處理復(fù)雜背景中的顯著性目標(biāo)檢測，而稠密重構(gòu)誤差可以較好地解決位于圖像邊界處目標(biāo)的分割，故二者可以互補，共同作用可以大幅提高顯著性度量精度，以此思想提出本文算法。

1 SLIC（Simple Linear Iterative Clustering）像素分割

許多有關(guān)目標(biāo)分割、檢測、識別、跟蹤等算法都是在像素級上進(jìn)行操作，在進(jìn)行逐像素處理時，存在兩方面問題：一是往往只關(guān)注圖像中部分有用信息，若對所有像素都進(jìn)行處理，不僅計算量大，且有可能耗費大量資源計算無關(guān)像素信息；二是單一像素點包含的信息量少，僅用這些孤立的像素點信息無法給出一個對感興趣區(qū)域的完整描述、缺乏整體性。在進(jìn)行顯著性目標(biāo)檢測時，對人眼視覺感官系統(tǒng)而言，能引起視覺注意的恰恰不是這些單個像素點，而是由許多具有相似屬性的單像素點組成的集合，該集合就稱為一個超像素區(qū)域，該區(qū)域不僅包含了純像素點所具有的相近的色度、位置信息，而且還包含了只有這些單像素點組合在一起時才表現(xiàn)出的輪廓、邊界等信息。利用超像素分割技術(shù)可將圖像分割為多個具有相似顏色、紋理等信息的小區(qū)域，每個區(qū)域具有相似屬性，故在一定程度上能夠較好地保持圖像中目標(biāo)的邊界信息。在進(jìn)行操作處理時，可將超像素當(dāng)成是單個像素點來處理，這不僅有助于簡化計算降低計算量，而且還可避免由純像素級運算而陷入的局部最優(yōu)。此外，相對于顯著區(qū)域來說，圖像中的非顯著區(qū)域可認(rèn)為是圖像中的冗余信息，將不同區(qū)域聚類為超像素并對最有意義的超像素區(qū)域進(jìn)行操作，從效果上講相當(dāng)于對圖像中的冗余信息進(jìn)行過濾。用圖像區(qū)域中的超像素替代單個像素點參與運算，具有表示高效、運算快捷的優(yōu)勢，且超像素比單像素更符合人眼的視覺感知特性[14-15]。本文在計算圖像的顯著性獲取顯著圖時，是在超像素級上進(jìn)行處理，以超像素區(qū)域為最小處理單元。

由于SLIC（Simple Linear Iterative Clustering）算法相對成熟，本文不再詳細(xì)介紹。圖1給出了兩組超像素分割結(jié)果，第一列為原圖，第二、三、四列為超像素數(shù)分別為＝50，＝200，＝400時的SLIC分割結(jié)果，由對比可知，超像素數(shù)越多，分割得到的超像素緊湊性就越好，分割區(qū)域就能更為完整地保留圖像中目標(biāo)的邊緣信息，分割后的結(jié)果更有利于完整的提取出圖像中的顯著性目標(biāo)。SLIC超像素分割是本文實現(xiàn)顯著性目標(biāo)檢測的基礎(chǔ)。

2 背景模板的提取

本文通過利用背景模板構(gòu)建由稠密及稀疏表示的圖像區(qū)域?qū)崿F(xiàn)對視覺信息的充分利用，其中每一塊圖像區(qū)域的顯著性用背景模板構(gòu)建的重構(gòu)誤差進(jìn)行度量。將圖像邊界視為可能的背景區(qū)域，并從這些區(qū)域中提取背景模板，利用這些模板構(gòu)建稀疏及稠密外觀模型，通過重構(gòu)誤差對圖像中的顯著性區(qū)域進(jìn)行指示。

圖1 SLIC超像素分割結(jié)果

為了更好地捕獲圖像區(qū)域的結(jié)構(gòu)信息，首先利用SLIC算法產(chǎn)生超像素區(qū)域，將輸入圖像分割成多個均勻緊湊的區(qū)域。文獻(xiàn)[16-17]指出，同時使用Lab顏色空間及RGB顏色空間可以得到高精度的顯著圖。本文利用每一個超像素區(qū)域的顏色特征均值及坐標(biāo)對其進(jìn)行描述，即＝{,,,,,,,}，則整個圖像可以表示為＝[1,2, …,x]?R*，其中為每一個特征的維數(shù)，為分割區(qū)域總數(shù)。一般的檢測方法認(rèn)為圖像邊界蘊含大量的視覺背景信息，可用于檢測顯著性目標(biāo)。此外，這些方法還假定具有視覺顯著特性的目標(biāo)最有可能出現(xiàn)在場景的中間部分，然而這種假定未必時刻都成立。盡管如此，這些方法仍可以提供有用的視覺信息用以檢測顯著性目標(biāo)。據(jù)此，本文提取每一個邊界區(qū)域的維特征，并利用這些特征構(gòu)建背景模板集＝[1,1, …,b]?R*，其中為圖像邊界分割區(qū)域總數(shù)。

3 兩重重構(gòu)誤差的構(gòu)建

3.1 稠密重構(gòu)誤差

用背景模板集表示某個分割區(qū)域時，若得到的重構(gòu)誤差較大，則該區(qū)域極有可能是前景目標(biāo)?；谠撌聦崳恳粋€圖像區(qū)域的重構(gòu)誤差可利用稠密外觀模型計算得出，而該外觀模型可以通過對背景模板集進(jìn)行主成分分析得到。假定計算的PCA基可得到特征矢量U＝[1,1,…u]，它對應(yīng)的歸一化方差矩陣中最大的個特征值。利用PCA基U可以計算出任意一個分割區(qū)域x(?[1,])的重構(gòu)系數(shù)，即：

第塊分割區(qū)域?qū)?yīng)的稠密重構(gòu)誤差為：

3.2 稀疏重構(gòu)誤差

將背景模板集看成是稀疏表示的基，將第塊分割區(qū)域編碼為：

稀疏重構(gòu)誤差為：

4 基于上下文的重構(gòu)誤差傳播

圖2給出了兩組運用上下文傳播機制對重構(gòu)誤差進(jìn)行平滑的例子，并與利用原始重構(gòu)誤差檢測的結(jié)果進(jìn)行對比，由對比可知，通過誤差傳播，圖像中檢出的顯著性目標(biāo)區(qū)域的灰度更均勻更明亮。第二行給出了一個目標(biāo)處于圖像邊緣的例子，在該例子中，許多位于目標(biāo)上的分割區(qū)域都被錯誤的當(dāng)成是背景模板，因而它們不能被稠密及稀疏外觀模型正確辨識，然而利用其周圍上下文區(qū)域并根據(jù)(5)式對其重構(gòu)誤差進(jìn)行修正后得到的檢測結(jié)果則能較好的將顯著性目標(biāo)檢測出來。

(a) 原圖；(b) 稠密重構(gòu)誤差檢測結(jié)果；(c) 稠密重構(gòu)誤差上下文傳播檢測結(jié)果；(d) 稀疏重構(gòu)誤差檢測結(jié)果；(e) 稀疏重構(gòu)誤差上下文傳播檢測結(jié)果

5 像素級顯著性檢測

對于一幅高分辨率的顯著性圖像，需要對每個像素都賦予一個顯著性度量值，而該度量值是在得到修正的目標(biāo)基高斯模型后，融合多尺度重構(gòu)誤差結(jié)果得到的，下面將分別介紹多尺度重構(gòu)誤差融合及目標(biāo)基高斯模型修正。

5.1 多尺度重構(gòu)誤差融合

為了處理尺度問題，在N個不同尺度上生成超像素區(qū)域。對每一個尺度都計算并傳播稠密重構(gòu)誤差及稀疏重構(gòu)誤差，最后融合多尺度重構(gòu)誤差以計算出像素級重構(gòu)誤差，即：

式中：f表示位于點處的像素的維特征矢量；n為分割區(qū)域標(biāo)記，它表征了尺度為時該區(qū)域中包含了像素點。

利用像素點與其對應(yīng)的分割n間的相似性作為權(quán)重以求取多尺度重構(gòu)誤差的均值。通過多尺度重構(gòu)誤差融合，可以更為準(zhǔn)確地檢測出顯著性目標(biāo)，這就意味著利用多尺度融合機制能更有效地對顯著性進(jìn)行度量。

5.2 基于目標(biāo)基的高斯模型修正

一般的顯著性檢測方法認(rèn)為目標(biāo)位于圖像中心并將其作為已知的先驗信息應(yīng)用到高斯建模過程中，即：

式中：＝c，＝c，表示圖像中心點坐標(biāo)；x，z表示像素點的坐標(biāo)。由于具有視覺顯著性的目標(biāo)并非總是出現(xiàn)在圖像的中間部分，此時中心基高斯模型就不再適宜描述這種情形，因為它有可能包含背景像素或丟失前景區(qū)域。為此，本文用目標(biāo)基G替代中心基，它更能反映出真實的目標(biāo)區(qū)域分布，在目標(biāo)基中＝x，＝y，其中x，y為目標(biāo)中心，它可以利用式(7)中的像素誤差導(dǎo)出，即：

令＝0.25，＝0.25，其中，分別表示輸入圖像的寬與高。利用目標(biāo)基高斯模型，位于出的像素點的顯著性度量值可以通過下式計算得到：

()＝o()() (11)

圖3給出了一個處于圖像邊界的目標(biāo)，分別用目標(biāo)基與中心基對由重構(gòu)誤差得到的顯著圖修正后得到的顯著性檢測結(jié)果，由對比可知，目標(biāo)基高斯模型得到的目標(biāo)中心精度更高，周圍物體干擾更小，因而能更好地修正顯著性檢測結(jié)果。

6 基于貝葉斯準(zhǔn)則的顯著圖融合

利用稠密重構(gòu)誤差及稀疏重構(gòu)誤差在對顯著性進(jìn)行度量時可以實現(xiàn)優(yōu)勢互補，本文利用貝葉斯定理實現(xiàn)這兩種顯著性度量結(jié)果的融合。貝葉斯準(zhǔn)則通過傳遞后驗概率實現(xiàn)顯著性度量，計算公式如下：

式中：先驗概率()為均勻分布；()為點像素的特征矢量。似然概率計算式如下：

假定由稠密重構(gòu)誤差及稀疏重構(gòu)誤差得到的顯著圖為1，2，任選其中的一類顯著圖作為先驗信息S(＝{1,2})，用另一類顯著圖S(≠＝{1,2})來計算似然值，二者融合過程如圖4所示。首先計算顯著圖S的均值，并用將該均值作為閾值對S進(jìn)行分割，以獲取前景區(qū)域F及背景區(qū)域B，然后根據(jù)像素點在前景及背景中所處的劃分區(qū)間對S與S進(jìn)行比較以計算出該區(qū)域的似然值，即：

因此，在得到先驗信息S的條件下，后驗概率的計算公式為：

類似可計算出S的后驗顯著性。在得到兩類后驗概率后，就能在貝葉斯框架下對二者進(jìn)行融合以計算出最終的顯著圖S(1(),1())，即：

上述融合方法必須將其中的一類顯著圖當(dāng)成先驗信息，并與另一類顯著圖有效配合，才能得到灰度均勻明亮的顯著性目標(biāo)。

7 實驗仿真

參數(shù)設(shè)定：在稠密誤差重構(gòu)對背景模板進(jìn)行主成分分析時，取占總能量95%的主成分所對應(yīng)的特征向量作為基來計算重構(gòu)系數(shù)。稀疏誤差重構(gòu)時，令誤差項系數(shù)＝0.01；利用上下文傳遞重構(gòu)誤差時，令均值聚類類別數(shù)為8，最大迭代次數(shù)為200，權(quán)重因子＝0.5；在8組不同尺度上對重構(gòu)誤差進(jìn)行融合；利用目標(biāo)基對誤差重構(gòu)顯著圖修正時，令＝0.25；在進(jìn)行貝葉斯融合時，令顏色劃分區(qū)間數(shù)為60，顏色直方圖平滑系數(shù)為0.02。

圖3 目標(biāo)基與中心基修正顯著圖結(jié)果對比

圖5給出3組顯著性檢測實驗結(jié)果。

圖5(a)為3組紅外圖像，圖5(b)～圖5(h)分別為稀疏誤差重構(gòu)顯著性檢測結(jié)果、稀疏重構(gòu)誤差傳遞檢測結(jié)果、稀疏重構(gòu)誤差目標(biāo)基修正結(jié)果、稠密誤差重構(gòu)顯著性檢測結(jié)果、稠密重構(gòu)誤差傳遞檢測結(jié)果、稠密重構(gòu)誤差目標(biāo)基修正結(jié)果及貝葉斯顯著圖融合結(jié)果。

在第一組圖像中，目標(biāo)較亮、周圍背景灰度較暗，它們都具有視覺顯著性，因而基于誤差重構(gòu)出的檢測結(jié)果二者都包含其中，如圖5(d)所示，雖然稀疏重構(gòu)誤差目標(biāo)基修正結(jié)果背景雜物干擾小，但部分顯著目標(biāo)灰度值較小，容易丟失，這意味著該方法雖然虛警率低，但它是以犧牲檢測概率為代價換取的。利用稠密重構(gòu)檢測結(jié)果中，如圖5(g)所示，雖然檢出結(jié)果中包含待識別的目標(biāo)，但周圍干擾物較多，說明該類方法是以增加虛警率為代價而獲得較高的檢測概率，將二者進(jìn)行貝葉斯融合，可結(jié)合二者優(yōu)勢，有效降低干擾，同時又不丟失待檢出的對象，如圖5(h)所示。同理，在第二、三組圖像中，待檢測目標(biāo)周圍干擾較小，稀疏誤差重構(gòu)方法易降低顯著性目標(biāo)灰度，而稠密誤差重構(gòu)方法雖然能夠凸顯顯著目標(biāo)灰度，但也容易將與目標(biāo)灰度相近的背景當(dāng)成顯著性目標(biāo)檢出。將兩種方法檢測結(jié)果融合，可保證或獲取的目標(biāo)灰度值不明顯降低，同時排除部分背景干擾，檢出效果較為理想。

圖4 基于貝葉斯準(zhǔn)則的顯著圖融合流程

[1] 王蕓. 基于HITS的圖像顯著性檢測算法[D]. 大連: 大連理工大學(xué), 2013.

Wang Yun. The detecting algorithm of image saliency based-on HITS[D]. Dalian: Dalian University of Technology, 2013.

[2] 李勇. 基于區(qū)域?qū)Ρ榷鹊囊曈X顯著性檢測算法[D]. 上海: 上海交通大學(xué), 2013.

Li Yong. The saliency detecting algorithm based on region contrast[D]. Shanghai: Shanghai Jiaotong University, 2013.

[3] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]., 1998, 20(11):1254-1259.

[4] Hael J, Koch C, Perona P. Graph-based visual saliency[C]//, USA: MIT Press, 2007: 545-552.

[5] Zhai Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, New York, 2006: 815-824.

[6] Cheng M M, Zhang G X, Mitra N, et al. Global contrast based salient region detection[C]//, USA, 2011: 409-416 (doi: 10.1109/ CVPR. 2011.5995344).

[7] Achanta R, EstradA F, Wils P, et al. Salient region detection and segmentation[C]//, Greece: Springer Berlin/Heidelberg, 2008, 5008: 66-75.

[8] Hou X, Zhang L. Saliency detection: A spectral residual approach[C]//. USA, 2007: 1-8(doi:10.1109/CVPR.2007.383267).

[9] Guo C, Ma Q, Zhang L. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]//, USA, 2008: 1-8(doi:10.1109/CVPR.2008.4587715).

[10] Rahtu E, Kannala J, Salo M, et al. Segmenting salient objects from images and videos[C]//11, Prague: Springer, 2010: 366-379.

[11] Duan L, Wu C, Miai J, et al. Visual saliency detection by spatially weighted dissimilarity [C]//, USA, 2011: 473-480(doi: 10.1109/ CVPR. 2011.5995676).

[12] Liu T, Zhang N, Ding W, et al. Video attention: Learning to detect a salient object sequence[C]//19, USA:, 2008: 1-4.

[13] Wang M, Konrad J, Ishwar P, et al. Image saliency: From intrinsic to extrinsic context[C]//. USA, 2011: 417-424 (doi: 10.1109/ CVPR. 2011.5995743).

[14] 王飛. 基于上下文和背景的視覺顯著性檢測[D]. 大連: 大連理工大學(xué), 2013.

Wang Fei. The visual salience detecting based on context and background[D]. Dalian: Dalian University of Technology, 2013.

[15] 謝玉琳. 貝葉斯框架下的圖像顯著性檢測[D]. 大連: 大連理工大學(xué), 2011.

Xie Yulin. The image saliency detecting under bayesian framework[D]. Dalian: Dalian University of Technology, 2011.

[16] Borji A, Itti L. Exploiting local and global patch rarities for saliency detection[C]//, 2012: 478-485.

[17] Li X H, Lu H H, Zhang L H, et al. Saliency detection via dense and sparse reconstruction[C]//, 2013: 2976-2983 (doi:10.1109/ICCV.2013.370).

Regional Detection Algorithm Based on Double Error Reconstruction

FAN Ming-zhe1,2，WANG Lu-ping1，ZHANG Lu-ping1

(1.,,410073,；2.,512000,)

In this paper, the SLIC segmentation algorithm is used to divide an image into several super-pixel areas. Then, the reconstruction error is used in visual saliency detection. Firstly, the proposed algorithm extracts the image edge of super-pixels area as a background template. Then, use these templates to build double appearance model. For each image region, we calculate dense reconstruction error and sparse reconstruction error, then, the context which is the result of the K-means clustering methods is used for the reconstruction error propagation and reuse Bayesian mix dense results and sparse results. Finally, though synthesizing multi-scale reconstruction error information and corrected objective groups Gaussian model information to achieve the objective pixel-level saliency detection.

super-pixels，dense reconstruction error，sparse reconstruction error，visual saliency detection

TN911.73

A

1001-8891(2015)11-0962-08

2015-01-27；

2015-03-17.

范明喆（1982-），男，吉林長春人，碩士研究生，主要方向為光學(xué)成像自動目標(biāo)識別。E-mail：32064283@qq.com。