基于前景增強(qiáng)與背景抑制的顯著性物體檢測*

王豪聰，趙曉葉，彭 力

(1.物聯(lián)網(wǎng)應(yīng)用技術(shù)教育部工程中心，江蘇 無錫 214122;2.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

1 引言

顯著性檢測能夠模仿生物視覺系統(tǒng)，讓計算機(jī)篩選出圖像中人類感興趣的目標(biāo)和區(qū)域，這在計算機(jī)視覺研究中有著重要的意義。顯著性檢測作為圖像的預(yù)處理過程廣泛應(yīng)用于圖像分割[1]、目標(biāo)識別[2]和圖像壓縮[3]等領(lǐng)域。

Figure 1 Process of data圖1 數(shù)據(jù)處理流程

近年來，顯著性檢測逐漸成為國內(nèi)外的研究熱點，主要分為自頂向下(Top-down)和自下而上(Bottom-up)兩種機(jī)制，在自頂向下的機(jī)制中通常有預(yù)設(shè)的檢測目標(biāo)，需要先學(xué)習(xí)。自下而上的機(jī)制主要通過顏色、紋理等底層紋理的對比實現(xiàn)凸顯顯著區(qū)域的目的。Itti等人[4]通過提取不同尺度圖像中亮度、顏色、方向等特征進(jìn)行對比來凸顯顯著區(qū)域，但是該方法容易產(chǎn)生空洞。Achanta等人[5]提出的FT(Frequency Tuned)算法在復(fù)雜背景信息影響下同樣也不能很好地突出顯著區(qū)域。Cheng等人[6]提出的區(qū)域?qū)Ρ确梢院芎玫卣业揭粋€較為完整的顯著區(qū)域，但是對復(fù)雜背景處理效果依然不是很好。Wei等人[7]提出了邊界先驗的方法,指出邊界的像素點通常都是背景，從而開始基于背景顯著圖的研究。但是，如何處理復(fù)雜背景和如何抑制背景噪聲依然是顯著性檢測的關(guān)鍵問題。隨后Jiang等人[8 - 10]開始研究基于前景和基于背景兩種方法的融合，取得了很好的效果，其對于背景先驗檢測的應(yīng)用很好地抑制了背景噪聲。Perazzi等人[11]通過高斯濾波將顏色和距離的差值來作為顯著值，反映出濾波對于顯著性檢測也很有幫助。Harel等人[12]通過改進(jìn)分割方法來獲得更好的目標(biāo)物體的輪廓，但對于自身顏色差異較大的物體和與背景顏色相近的物體的分割效果也不好。

本文提出了一種基于前景增強(qiáng)和背景抑制的顯著性檢測方法。通過區(qū)域間對比和邊界信息得到顯著區(qū)域和背景種子[10]，通過進(jìn)一步計算得到基于區(qū)域?qū)Ρ群突诒尘暗娘@著圖。在兩幅顯著圖中運用Seam Carving[13]和Graph-based[12]的分割法更準(zhǔn)確地區(qū)分顯著區(qū)域和非顯著區(qū)域，由于Seam Carving方法的核心在于尋找一副圖像中能量最低的分割縫，本文即是從一幅圖像的四個邊的每一個像素點向?qū)呅羞M(jìn)，行進(jìn)路線沿最低能量路線，因此經(jīng)過高能量邊界后的行進(jìn)路線會被增強(qiáng)而低能量區(qū)域則會抑制，這樣就得到了前景增強(qiáng)且背景抑制的模板圖。最后，三圖融合形成最終的顯著圖。

2 顯著圖的計算方法

本文提出的顯著性檢測方法會產(chǎn)生三張顯著圖：基于區(qū)域?qū)Ρ鹊娘@著圖、基于背景的顯著圖以及基于能量模型的模板。最后通過一個融合策略將三幅圖融合成最終的顯著圖，本算法的流程圖如圖1所示。

2.1 基于區(qū)域?qū)Ρ鹊娘@著圖

對于輸入的圖像，首先用簡單線性迭代聚類SLIC(Simple Linear Iterative Clustering)將圖像分割得到K顏色相似的超像素區(qū)域。然后，本文采用區(qū)域間對比的方法，利用每個超像素區(qū)域在LAB顏色空間中的顏色特征和本身的空間位置特征得到每一個超像素ri的顯著值，如式(1)所示。

(1)

其中，ci、cj是超像素區(qū)域i、j在LAB顏色空間[8]中的顏色向量，即該超像素區(qū)域所有像素點在L、A、B三個顏色通道中的均值；‖ci-cj‖2表示第i和第j個超像素區(qū)域顏色向量的歐幾里德距離；pi、pj表示超像素的空間位置向量，即該超像素區(qū)域的位置重心；β1是空間距離因子，用來控制空間位置對像素塊顯著值的權(quán)重，使得鄰近超像素塊的顯著值貢獻(xiàn)更大。

然后，根據(jù)中心-邊緣原則[9]，顯著區(qū)域通常都位于圖像的中心位置，pc表示圖像的中心位置向量，則每個超像素的前景顯著值Sf(ri)可以表示為：

Sf(ri)=e-β2‖pi-pc‖2×S(ri)

(2)

由此可得到基于區(qū)域?qū)Ρ鹊娘@著圖。通過控制β2的大小可以改變位于圖像中心位置的顯著值。

2.2 基于背景的顯著圖

傳統(tǒng)的背景先驗檢測法都將位于圖像邊界的超像素設(shè)為背景，而很多圖像中存在顯著區(qū)域延伸到圖像邊界的情況，因此會產(chǎn)生噪聲點并嚴(yán)重影響背景先驗檢測的可靠性。為此，我們先選出含有較少前景區(qū)域的超像素作為背景種子[10]，以背景種子為最合適的背景區(qū)域，再進(jìn)行背景先驗檢測。

首先，通過局部亮度、色彩和紋理的對比提取圖像中可能的輪廓。如圖2b所示。

Figure 2 Samples of background seeds圖2 背景種子樣圖

定義每一個含有邊界的超像素的背景權(quán)重為Bi，然后根據(jù)Bi的大小來篩選出背景種子，如圖2c所示。

(3)

其中，bi是含有邊界的超像素中含有輪廓點的個數(shù)，|∑Bi|表示所有含有邊界的超像素含有的輪廓點的數(shù)量。當(dāng)Bi小于一定閾值時，我們判定這個超像素屬于背景種子。由此獲得含有較少的前景噪聲的K個背景種子。在進(jìn)行背景先驗檢測時，我們通過每一個超像素與背景種子在顏色特征和空間位置特征的對比來確定超像素的背景顯著值Sb(ri)，如式(4)所示。

(1-‖pi-pn‖2/θ)

(4)

其中，K表示最終確定的背景種子；θ是平衡因子，用來調(diào)節(jié)空間位置特征和顏色特征最終對顯著值的影響。由此可得到基于背景的顯著圖。

3 基于能量的模板圖

本文方法中最重要的部分是生成前景增強(qiáng)和背景抑制的模板圖。通過觀察圖1a和圖1b可以發(fā)現(xiàn)，顯著區(qū)域與非顯著區(qū)域之間存在著一定的邊界，如何有效增強(qiáng)邊界內(nèi)的顯著區(qū)域而抑制邊界外的區(qū)域一直是顯著性檢測中非常重要的問題。通常都會用高斯濾波[11]或者凸包中心[13]來增強(qiáng)中心區(qū)域，這樣做通常容易導(dǎo)致對邊界區(qū)域抑制過大。針對這個問題，本文采用Seam Carving和Graph-based分割法相結(jié)合生成的模板來增強(qiáng)顯著區(qū)域，抑制非顯著區(qū)域。

首先，運用式(5)的能量函數(shù)Ψ處理得到的兩幅顯著圖，可以得到基礎(chǔ)的顯著區(qū)域與非顯著區(qū)域的邊界，進(jìn)一步運用Graph-based和凸包分割圖像得到區(qū)域輪廓圖，如圖3e所示。圖3a和圖3b為兩幅顯著圖，圖3c為采用Graph-based分割得到的輪廓圖。

(5)

其中，S代表初步顯著圖。

根據(jù)Seam Carving理論，每一幅圖像都有一條水平(垂直)方向上的縫連接圖像的一組對邊，在這條縫上，圖像的能量和是最小的。根據(jù)這個思想，我們將能量模板圖在上、下、左、右四個方向上的每一個像素點沿最低能量路線向?qū)呅羞M(jìn)，即利用式(6)對圖3e進(jìn)行處理，結(jié)果如圖3t、圖3d、圖3l和圖3r所示，得到S1～S4四幅圖像。

S1(x,y)=α1Ψ(x,y)+α2min(S1(x-1,y-1),

S1(x-1,y),S1(x-1,y+1))

(6)

其中，S1表示能量模型，(x,y)表示圖像中每個像素點的坐標(biāo)，而S1第一行的值就是本身的顯著值。α1、α2是位于(0,1)的權(quán)重參數(shù)，用來調(diào)整增強(qiáng)效果,α2大于α1時增強(qiáng)前景和抑制背景效果強(qiáng)，反之則弱。式(6)表示當(dāng)從第一行的任意一個像素開始向?qū)呅羞M(jìn)時，如果行進(jìn)路線上有能量高的像素值，即該行進(jìn)路線會穿過顯著區(qū)域，則該路線上之后的值應(yīng)該被增強(qiáng)。同理應(yīng)用在從下往上、從左至右、從右至左的三幅圖中，得到圖3d、圖3l和圖3r。

Figure 3 Template framework圖3 模板圖流程

對于每一幅圖像上對應(yīng)的像素點，我們從圖3t、圖3d、圖3l和圖3r中選擇它的最小值來確定它的最終值，這樣可以避免增強(qiáng)輪廓之外的非顯著的區(qū)域。通過式(7)可以得到最后的模板圖。

Smb=min(S1(x,y),S2(x,y),S3(x,y),S4(x,y))

(7)

Sal=ω1Sf×ω2Sb×ω3Smb

(8)

Figure 4 Comparison results of saliency maps圖4 顯著圖結(jié)果主觀對比

最后，通過式(8)將基于區(qū)域?qū)Ρ鹊娘@著圖、基于背景的顯著圖和模板圖相融合，就可得到最終的顯著圖，ω1、ω2、ω3為各個顯著圖的權(quán)重參數(shù)，取值位于(0,1)，參數(shù)的大小決定了最終顯著圖與三幅顯著圖中的哪一幅更接近。

4 實驗結(jié)果與分析

本節(jié)利用Matlab(R2014b)對本文算法進(jìn)行仿真實驗，系統(tǒng)運行環(huán)境為Windows7，Intel(R) Core(TM) i5 3.2 GHz CPU，8 GB內(nèi)存。本次實驗采用公開數(shù)據(jù)集MSRA-1000中的1 000幅圖像作為測試集，每幅圖像都有相應(yīng)的人工標(biāo)注二值圖GT(Ground Truth)做對照模板。文中β1、β2、α1、α2、ω1、ω2、ω3等參數(shù)的取值分別為0.1、0.1、0.4、0.6、0.4、0.3、0.4。以下是本文提出的顯著性檢測算法與7種主流算法進(jìn)行比較的結(jié)果，7種算法分別為：IT[4]、FT[5]、FES[15]、PCA[16]、SPL[17]、FB[10]和QCUT[18]。由于篇幅有限，圖4只列出針對MSRA-1000數(shù)據(jù)集中6幅圖像的處理對比結(jié)果。

由圖4的比對可以清晰看出，本文算法在處理復(fù)雜背景圖像時可以更好地突出顯著區(qū)域，邊界相對更清晰。而對于前景與背景顏色相近的圖像，本文算法依然可以通過增強(qiáng)前景來達(dá)到突出顯著區(qū)域的目的。

顯著性檢測客觀評價標(biāo)準(zhǔn)包含查準(zhǔn)率(Precision)、查全率(Recall)和F-measure值。查準(zhǔn)率是指正確檢測的顯著區(qū)域與檢測區(qū)域的比值，它反映了檢測的準(zhǔn)確性，衡量檢測系統(tǒng)和檢測方法拒絕誤檢測的能力，其補(bǔ)數(shù)是誤檢率，見式(9)；查全率是正確檢測的顯著區(qū)域與顯著區(qū)域的比值，它反映了檢測的全面性，衡量檢測系統(tǒng)和檢測方法正確檢測的能力，其補(bǔ)數(shù)為漏檢率，見式(10)；F-measure值[19]來綜合兩種指標(biāo)評價標(biāo)準(zhǔn)，使兩者之間保持均衡，見式(11)。

(9)

(10)

(11)

其中，gx表示像素點x的真實值，ax表示像素點x的測量值。

本文算法與其他7種算法在查準(zhǔn)率、查全率和F-measure的對比數(shù)據(jù)如圖5和圖6所示，其中β2=0.3。

Figure 5 PR curve圖5 PR曲線

Figure 6 F-measure histogram圖6 F-measure柱狀圖

由圖5和圖6可以看出，本文算法的查準(zhǔn)率、查全率和F-measure均高于其他7種算法，而且均有提高。由此可見，本文提出的基于能量模型的模板圖可以有效增強(qiáng)前景區(qū)域并抑制背景區(qū)域。

為了更加直觀且綜合地評定算法優(yōu)劣，我們通過計算PR曲線下的面積AUC(Area Under Curve)[20]來綜合評判算法優(yōu)劣，AUC值越靠近1，表示算法效果越精確。為了在不進(jìn)行二值化的情況下直接分析算法所得顯著圖與人工標(biāo)注二值圖GT之間的關(guān)系，我們用平均絕對誤差MEA(Mean Absolute Error)來評價算法性能，如表1所示。

(12)

其中，M和N代表圖像的長與寬；S(x,y)表示測得的顯著圖在(x,y)處的顯著值；GT(x,y)表示人工標(biāo)注二值圖在(x,y)處的顯著值。

Table 1 Performance comparison表1 性能指標(biāo)對比表

由表1可知，本文算法的MEA值為0.123，與QCUT算法相近，但小于其他6種算法，而F-measure值與AUC均遠(yuǎn)優(yōu)于其他算法的。但是，本文算法由于是三幅圖融合形成最終顯著圖，在時間上與其他算法相比消耗更多，這點有待于改善。

5 結(jié)束語

本文提出了一種基于前景增強(qiáng)和背景抑制的新的顯著性區(qū)域檢測方法。首先通過區(qū)域?qū)Ρ群捅尘胺N子點得到兩幅顯著圖，根據(jù)Seam Carving、Graph-based和凸包得到的模板與原顯著圖進(jìn)行融合起到了很好的前景增強(qiáng)背景抑制的作用。本文中的模板不局限于目標(biāo)性狀、環(huán)境的變化，可以應(yīng)用于多場景和多算法中。在公開測試集上與7種主流算法的測試結(jié)果對比表明，本文算法顯著區(qū)域檢測結(jié)果更準(zhǔn)確，抗噪聲能力更強(qiáng)。

[1] Victor L,Pushmeet K,Carsten R,et al.Image segmentation with a bounding box prior[C]∥Proc of IEEE 12th International Conference on Computer Vision,2009:277-284.

[2] Ren Zhi-xiang,Gao Shen-hua,Chia Liang-tien.Region-based saliency detection and its application in object recognition[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(5):769-779.

[3] Ke Hong-chang, Sun Hong-bin.A video image compression method based on visually salient features[J].Journal of Digital Information Management,2014,12(5):333-343.

[4] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[5] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2009:1597-1604.

[6] Cheng M M, Mitra N J, Huang X, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015,37(3):569.

[7] Wei Yi-chen,Wen Fang,Zhu Wang-jiang,et al.Geodesic saliency using background priors[C]∥Proc of European Conference on Computer Vision,2012:29-42.

[8] Jiang Huai-zu,Wang Jing-dong,Yuan Ze-jian,et al.Salient object detection:A discriminative regional feature integration approach[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2013:2083-2090.

[9] Rahtu E,Heikkila J.A simple and efficient saliency detector for background subtraction[C]∥Proc of the 12th IEEE International Conference on Computer Vision,2009:l137-1144.

[10] Wang Jian-peng, Lu Hu-chuan,Li Xiao-hui,et al.Saliency detection via background and foreground seed selection[J].Neurocomputing,2015,152(C):359-368.

[11] Perazzi F, Kr?henbühl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2012:733-740.

[12] Harel J,Koch C,Perona P.Graph-based visual saliency[C]∥Proc of Conference on Neural Information Processing Systems,2006:545-552.

[13] Xie Yu-lin,Lu Hu-chuan,Visual saliency detection based on bayesian model[C]∥Proc of IEEE International Conference on Image Processing,2011:653-656.

[14] Avidan S,Shamir A.Seam carving for content aware image resizing[C]∥Proc of ACM SIGGRAPH 2007,2007:10-15.

[15] Hamed R T,Esa R,Janne H.Fast and efficient saliency detection using sparse sampling and kernel density estimation[C]∥Proc of SCIA 2011,2011:666-675.

[16] Ran M,Ayellet T,Lihi Z M.What makes a patch distinct?[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2013:1139-1146.

[17] Yang Chuan,Zhang Li-he,Lu Hu-chuan.Graph-regularized saliency detection with convex-hull-based center prior[J]. IEEE Signal Processing Letters,2013,20(7):637-640.

[18] Aytekin C, Kiranyaz S,Gabbouj M.Automatic object segmentation by quantum cuts[C]∥Proc of International Conference on Pattern Recognition,2014:112-117.

[19] Huang Ying-qing,Liang Xin-bin,Xie Zhi-hong,et al.An FT algorithm based on the characteristics of the normalization of significant value and position of weighted[J].Journal of Ordnance Equipment Engineering,2016,37(6):2096-2304.(in Chinese)

[20] Li Yue-yun,Xu Yue-lei,Ma Shi-ping,et al.The saliency detection based on depth convolution neural network[J].Journal of Image and Graphics,2016,21(1):53-59.(in Chinese)

附中文參考文獻(xiàn)：

[19] 黃應(yīng)清，梁新彬，謝志宏，等.基于特征顯著值歸一化與位置加權(quán)的FT算法[J].兵器裝備工程學(xué)報,2016,37(6):2096-2304.

[20] 李岳云，許悅雷，馬時平，等.深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測[J].中國圖象圖形學(xué)報,2016,21(1):53-59.