圖像梯度與譜殘差結(jié)合的顯著性檢測方法

鄧 亞 蒙(天津大學(xué) 應(yīng)用數(shù)學(xué)中心，天津300072)

?

圖像梯度與譜殘差結(jié)合的顯著性檢測方法

鄧 亞 蒙(天津大學(xué) 應(yīng)用數(shù)學(xué)中心，天津300072)

摘要：針對圖像顯著性檢測方法中存在的邊界模糊、顯著性目標(biāo)不準(zhǔn)確等問題，提出一種圖像梯度與譜殘差結(jié)合的顯著性檢測方法，圖像梯度可以提取出圖像的邊緣和結(jié)構(gòu)信息，而視覺顯著性可以將梯度圖中瑣碎和復(fù)雜的背景過濾掉，兩者結(jié)合可以快速地得到精細(xì)的顯著性圖，提出的算法簡單、高效，實現(xiàn)了圖像中顯著性區(qū)域的準(zhǔn)確定位與均勻突出，所得顯著圖可以更加方便地應(yīng)用于后續(xù)的圖像處理中.

關(guān)鍵詞：顯著性檢測；圖像梯度； 譜殘差；精細(xì)顯著圖

圖像顯著性檢測在計算機(jī)視覺領(lǐng)域占據(jù)著越來越重要的地位，其主要目的就是估計出圖像中顯著目標(biāo)所在的位置，并輸出一幅灰度顯著性圖.越來越多的圖像數(shù)據(jù)給人工處理帶來了挑戰(zhàn)，可靠的顯著性區(qū)域檢測可以幫助我們在海量的視覺信息中迅速發(fā)現(xiàn)“感興趣”和“有意義”的目標(biāo)，在后期處理中就可以將顯著性不同的圖像區(qū)域予以不同層次的分析.顯著性檢測在數(shù)字圖像處理的諸多領(lǐng)域都有著廣泛的應(yīng)用，如基于內(nèi)容的圖像檢索[1]、圖像自動裁剪[2]、圖像視頻壓縮[3]，以及在不同尺寸的顯示設(shè)備上調(diào)節(jié)圖像大小[4-5]等.目前顯著性檢測研究的重點是在復(fù)雜的背景下得到邊界清晰、均勻突出、分辨率高的顯著性目標(biāo)，同時降低時間復(fù)雜度.

1相關(guān)工作

早期研究中最為經(jīng)典的顯著性檢測方法是Itti等人根據(jù)生物框架創(chuàng)建的顯著性模型[6]，為了較快速地檢測這些多尺度的圖像特征，Itti等人僅在一些粗糙的層次上計算了特征圖，生成了視覺顯著性圖，并且該模型不能很好地抑制圖像中的非顯著區(qū)域.隨后Harel等人提出一種基于圖論的顯著性分析算法(GBVS算法)[7].這種方法在Itti算法的基礎(chǔ)上進(jìn)行了改進(jìn)，它對輸入圖像提取特征后采用Markov鏈的方法計算顯著性值.Achant等人提出一種顯著圖模型(AC算法)[8]，這種算法中定義顯著值是通過比較圖像的一個局部區(qū)域與它的周邊區(qū)域，得到這個局部區(qū)域與它周邊區(qū)域的平均特征向量的差.Hou等人基于傅里葉變換幅值譜的“殘譜(Spectral Residual, SR)”在頻域進(jìn)行圖像顯著性分析[9]，所得到的顯著圖與人眼感知具有一致性，而且速度和準(zhǔn)確度也得到提升.Achanta等提出了一種新的基于對圖像空間頻域分析的顯著性檢測算法(FT算法)[10]，這種算法得到的顯著圖的分辨率與原圖相同.

2圖像梯度與譜殘差結(jié)合的顯著性檢測方法

本文結(jié)合圖像梯度和視覺顯著性來衡量一個像素的顯著性值.圖像梯度表示邊緣和結(jié)構(gòu)的存在，而視覺顯著表示圖像區(qū)域的視覺吸引力，在某些情況下，由于梯度會被瑣碎和重復(fù)的結(jié)構(gòu)所誤導(dǎo)，而均質(zhì)區(qū)域有可能是我們所關(guān)注的視覺顯著區(qū)域.結(jié)合這兩種測試方法，即當(dāng)一個區(qū)域既有邊緣結(jié)構(gòu)又是視覺顯著性區(qū)域時，我們認(rèn)為它有較高的顯著性值，從實驗結(jié)果可以看到，本文的方法可以快速地得到精細(xì)的顯著性圖.

2.1圖像梯度計算

圖像梯度是數(shù)字圖像處理的重要內(nèi)容，梯度算法的實質(zhì)是提取出圖像中重要目標(biāo)與背景之間的顯著變化.圖像梯度常用于邊緣檢測，它最重要的性質(zhì)是，梯度的方向在圖像灰度的最大變化率上，這恰好可以反映圖像邊緣上的灰度變化.圖像邊緣檢測可以大幅度的減少數(shù)據(jù)量，剔除不相關(guān)的信息，保留圖像中重要的邊緣結(jié)構(gòu).具體計算方法如下：

圖像函數(shù)f(x,y)在點(x,y)的梯度(即一階微分)是一個具有方向和大小的矢量，設(shè)Gx,Gy分別表示沿x方向和y方向的梯度，那么這個梯度矢量可以表示為：

(1)

這個矢量的幅度為：

(2)

方向角為：

(3)

梯度的方向是f(x,y)函數(shù)變化最快的地方，圖像在邊緣處往往具有較高的梯度值；而在較平滑的區(qū)域，灰度值變化較小，一般有較低的梯度值.圖像處理中常把梯度的模簡稱為梯度，由圖像梯度構(gòu)成的圖像稱為梯度圖像.

2.2譜殘差顯著性檢測方法

Hou等人提出的譜殘差算法(SR算法)是最具有代表性的基于頻域的顯著性區(qū)域檢測方法[10].有效編碼假說指出：信息分為冗余部分和變化部分，人類視覺對變化部分更敏感，通過去除輸入信號的冗余信息，就可以獲得圖像中重要的信息，即我們所關(guān)注的顯著目標(biāo).

圖像在頻域和空間域有相同的統(tǒng)計特征，具有尺度不變性，即1/f法則，也就是自然圖像集合的平均傅里葉譜的幅值A(chǔ)(f)服從分布：E{A(f)}∝1/f.考慮輸入信息的統(tǒng)計相似性可以極大地減少冗余的視覺信息，對于不同的圖像數(shù)據(jù)，其log譜卻有相似的分布趨勢且曲線滿足局部線性條件.因此，在不同的log譜中只需要關(guān)注差異部分(即圖像中變化劇烈的區(qū)域)就可以得到顯著性區(qū)域.首先計算輸入圖像I(x)的2維離散傅里葉變換，將其從空間域轉(zhuǎn)換到頻域，對幅值取對數(shù)后得到log譜L(f)：

均值化的頻譜：A(f)=R(S[I(x)])

(4)

相譜：P(f)=φ(F[I(x)])

(5)

其中S代表傅里葉變換，φ代表相位，P(f)為I(x)的相譜.

對數(shù)頻譜：L(f)=log(A(f))

(6)

由于log曲線滿足局部線性條件，所以用局部平均濾波器hn(f)對其進(jìn)行平滑，譜殘差R(f)(Spectral Residual)為log譜與其進(jìn)行均值濾波后的差：

R(f)=L(f)-hn(f)*L(f)

(7)

將譜殘差和相位P(f)進(jìn)行2維離散傅里葉反變換：

S(x)=|F-1{exp[R(f)+P(f)]}|2

(8)

最后進(jìn)行高斯模糊濾波就可以重構(gòu)出一幅圖像，用來表示原圖像中各像素的顯著性值，所得圖像稱為顯著圖.

2.3圖像梯度與譜殘差結(jié)合的顯著性檢測

本文結(jié)合圖像梯度和視覺顯著性來衡量一個像素的顯著性值.圖像梯度可以反映出邊緣和結(jié)構(gòu)信息的存在，視覺顯著性表示圖像區(qū)域的視覺吸引力，當(dāng)一個區(qū)域既有邊緣結(jié)構(gòu)又是視覺顯著性區(qū)域時，我們認(rèn)為它有較高的顯著性值.

令I(lǐng)為輸入圖像，首先計算圖像的梯度值.

(9)

為了避免奇異樣本數(shù)據(jù)和后面數(shù)據(jù)處理的方便，我們對圖像梯度值進(jìn)行了歸一化處理使其在0～1之間，然后利用譜殘差顯著性檢測方法獲得圖像的顯著性值.

我們定義新的顯著性圖為：

W=Wg×Ws

(10)

圖1　圖像梯度與譜殘差結(jié)合的圖像顯著性檢測方法示例

其中:Wg是歸一化后的圖像梯度值，Ws是SR方法得到的顯著性值，如圖1所示. 從實驗結(jié)果可以看出，本文得到的顯著圖可以將梯度圖中瑣碎和復(fù)雜的背景過濾掉，并且顯著目標(biāo)有更加清晰的輪廓.我們在多種自然圖像和人工圖像上進(jìn)行了實驗，結(jié)果表明，本文的方法能夠迅速地檢測出與人類視覺注意結(jié)果一致的顯著區(qū)域，并且在具有復(fù)雜背景的圖像中也能取得很好的檢測效果.

3實驗結(jié)果與討論

圖2　本文方法與其他方法生成的顯著圖結(jié)果比較

與Itti和SR的方法相比，本文的方法可以得到更加精細(xì)的視覺顯著性圖.圖2、3顯示了更多的實驗結(jié)果.

圖2中的第1列是輸入圖像；第2列是Itti等人的方法生成的顯著性結(jié)果圖；第3列是SR方法生成的顯著性結(jié)果圖；第4列是本文的方法生成的顯著性結(jié)果圖.

為了便于比較，將部分圖像的第3列和第4列放大.圖3的左側(cè)是SR方法生成的顯著性結(jié)果圖；右側(cè)是本文方法生成的顯著性結(jié)果圖.由圖2可見，Itti模型雖然能夠檢測出人類所感興趣的人或物體，但存在較高的誤判率，不能很好地抑制圖像中的非顯著區(qū)域，很多圖像的背景也被檢測出來，如圖2中第1和第4個樣本，背景在顯著圖中占據(jù)了大部分面積，以至于對顯著目標(biāo)的檢測失效.SR方法較Itti模型有了較大改進(jìn)，運算速度較快，能夠剔除一些簡單的背景，獲得相對滿意的結(jié)果，但精確度不夠高.由圖3可見，本文方法相比SR方法顯著性目標(biāo)輪廓更加清晰、準(zhǔn)確性更高，所獲得的顯著圖更加接近顯著目標(biāo)的真實外觀，具有很好的抗干擾能力，算法實現(xiàn)時間與SR算法實現(xiàn)時間相當(dāng)，較Itti算法有很大提升.

圖3　SR顯著圖與本文顯著圖比較

4結(jié)語

本文的顯著性計算模型有以下特點：能夠準(zhǔn)確定位圖像中顯著區(qū)域，抑制圖像中非顯著區(qū)域；檢測出的顯著性目標(biāo)輪廓清晰，邊緣信息準(zhǔn)確.實驗結(jié)果表明本文提出的算法在圖像顯著性檢測上相比于已有模型取得了更優(yōu)或相當(dāng)?shù)男阅?，并且本算法可以得到更加精確的顯著性分析結(jié)果，所得顯著圖可以更加方便地應(yīng)用于圖像處理的后續(xù)工作，具有更高的工程應(yīng)用價值.

參考文獻(xiàn)：

[1]TIAN Q, SEBE N, LEW M S,etal. Content-based image retrieval using wavelet-based salient points [J]. The Imaging Science Journal, 2011, 59(4): 219-231.

[2]SHAMIR A, AVIDAN S. Seam carving for content-aware image resizing [J]. ACM Transactions on Graphics - TOG, 2007, 26(3): 10.

[3]GUPTA R,CHAUDHURY S. A scheme for attentional video compression [J]. Pattern Recognition and Machine Intelligence, 2011, 6744: 458-465.

[4]KIMW,KIMC.Anovelimageimportancemodelforcontent-awareimageresizing[C]//18thIEEEInternationalConferenceonImageProcessing, 2011. 2469-2472.

[5]WANGYS,TAICL,SORKINEO, et al.Optimizedscale-and-stretchforimageresizing[J].ACMTransactiononGraphics(ProceedingsofSIGGRAPH2008Asia), 2008, 27(5): 32-39.

[6]ITTIL,KOCHC,NIEBURE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis.IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[7]SCHIKOPFB,PLATTJ,HOFMANNT.Graph-basedvisualsaliency[J].AdvancesinNeuralInformationProcessingSystems, 2006, 19: 545-552.

[8]ACHANTAR,ESTRADAF,WILSP, et al.Salientregiondetectionandsegmentation[J].LectureNotesinComputerScience, 2008, 5008: 66-75.

[9]HOUX,ZHANGL.SaliencyDetection:Aspectralresidualapproach[C]//IEEEConferenceonComputerVisionandPatternRecognition, 2007. 1-8.

[10]ACHANTAR,HEMAMIS,ESTRADAF, et al.Frequency-tunedsalientregiondetection[C]//IEEEConferenceonComputerVisionandPatternRecognition, 2009. 1597-1604.

Salient detection based on image gradient and spectral residual

DENG Ya-meng

(Center for Applied Mathematics, Tianjin University, Tianjin 300072, China)

Abstract：In view of the problem that the boundary is indistinct and the prominent target is not accurate, a new salient detection algorithm based on image gradient and spectral residual has been proposed. The gradient indicates the presence of image edge, while the trivial and repeated background could be filtered out by the saliency measure. By combining these two measurements could quickly output the saliency maps with well-defined boundaries of salient objects. The proposed algorithm was simple, efficient and yields the accurate positioning and uniform prominent saliency maps. The extracted saliency map could be more easily applied in subsequent image processing.

Key words：salient detection; image gradient; spectral residual; accurate saliency map

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A

文章編號：1672-0946(2016)01-0080-04

作者簡介：鄧亞蒙(1991-)，女，碩士，研究方向：圖像處理.

收稿日期：2015-04-08.