簡(jiǎn)單背景先驗(yàn)下的顯著性目標(biāo)檢測(cè)算法

王梓州 吳加瑩 楊賽 堵俊

摘 ?要： 針對(duì)當(dāng)前算法中采用過(guò)強(qiáng)的背景假設(shè)和中心偏置會(huì)造成錯(cuò)誤檢測(cè)，以及借助機(jī)器學(xué)習(xí)方法會(huì)大大增加復(fù)雜度的問(wèn)題，提出使用過(guò)分割后的圖像4個(gè)頂點(diǎn)超像素塊作為背景先驗(yàn)信息，將其與改進(jìn)的高斯模型相融合，然后對(duì)其進(jìn)行空間優(yōu)化，并使用元胞自動(dòng)機(jī)將多個(gè)尺度下的顯著結(jié)果進(jìn)行融合。在公開(kāi)數(shù)據(jù)庫(kù)上與多種主流算法進(jìn)行對(duì)比評(píng)測(cè)中，所提算法表現(xiàn)出明顯的優(yōu)越性。相較于以往算法將圖像四周選為背景信息，文中算法所選取的背景信息則更為簡(jiǎn)單準(zhǔn)確，同時(shí)也降低了計(jì)算復(fù)雜度，能夠快速準(zhǔn)確地提取出顯著目標(biāo)區(qū)域。

關(guān)鍵詞： 目標(biāo)檢測(cè); 背景定位; 模型融合; 空間優(yōu)化; 背景先驗(yàn); 顯著性計(jì)算

中圖分類號(hào)： TN911.7?34; TP391 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）07?0039?04

Saliency target detection algorithm based on simple background prior

WANG Zizhou1， WU Jiaying1， YANG Sai1， 2， DU Jun1

（1. School of Electrical Engineering， Nantong University， Nantong 226019， China;

2. Nantong Research Institute for Advanced Communication Technologies， Nantong 226019， China）

Abstract： A method is proposed to solve the problems that too strong background assumption and center offset used in the current algorithm may cause error detection， and that the use of machine learning may greatly increase the complexity. In the method， four vertex super?pixel blocks of the over?segmented image are taken as background prior information， and the space optimization is done for it after it is fused with the improved Gaussian model to obtain the initial significant results， which would be spatially optimized and fused by the cellular automata in multiple scales. The results of comparison and testing on four public databases show that the proposed method outperforms several mainstream algorithms， which select the all around an image as the background information. The background information selected in this paper is simpler and more accurate， and has lower computational complexity. The method can extract the saliency area quickly and accurately.

Keywords： target detection; background positioning; model merging; space optimization; background prior; saliency calculation

0 ?引 ?言

人類視覺(jué)在處理數(shù)量龐大的輸入信息時(shí)，往往先利用自身注意機(jī)制優(yōu)先處理最有價(jià)值的數(shù)據(jù)。為了使計(jì)算機(jī)能夠效仿人類這種視覺(jué)注意機(jī)制，優(yōu)先處理信息中的重要成分，更高效地處理輸入信息，顯著性目標(biāo)檢測(cè)模型應(yīng)運(yùn)而生。目前研究人員大多借鑒這種視覺(jué)注意機(jī)制構(gòu)建有效的視覺(jué)顯著性模型來(lái)解決計(jì)算機(jī)視覺(jué)感知首要解決的信息冗余問(wèn)題。早期的顯著性模型傾向于人眼視覺(jué)關(guān)注點(diǎn)，顯著性目標(biāo)檢測(cè)由于能夠得到較為完整的整體目標(biāo)，在圖像分割、目標(biāo)識(shí)別和圖像檢索等領(lǐng)域有著廣泛的應(yīng)用而得到更多的關(guān)注。近兩年來(lái)，很多研究學(xué)者力圖尋找一些先驗(yàn)的前景或者背景知識(shí)，從而提高顯著性目標(biāo)檢測(cè)的精度。其中，與本文最為相關(guān)的是使用背景先驗(yàn)的工作。自從背景先驗(yàn)概念的提出，圖像四周區(qū)域在多個(gè)顯著性檢測(cè)模型中充當(dāng)了背景先驗(yàn)。例如，方法GS[1]以圖像四周區(qū)域?yàn)楸尘盎鶞?zhǔn)，定義了一種用測(cè)地線距離表示顯著性的計(jì)算方法;RBD[2]和BFS[3]等方法分別利用邊界連通性和邊緣性進(jìn)一步判定圖像四周中的超像素是否屬于背景;方法GL[4]先利用對(duì)比度先驗(yàn)計(jì)算初始顯著圖，在此顯著圖基礎(chǔ)上分別構(gòu)建背景和前景詞典計(jì)算重構(gòu)殘差;方法BL[5]同樣以圖像邊緣為背景，計(jì)算所有區(qū)域與背景區(qū)域的對(duì)比度，構(gòu)建弱顯著圖，得到正負(fù)樣本訓(xùn)練集合，進(jìn)而得到強(qiáng)顯著圖。為了利用超像素之間的空間信息來(lái)進(jìn)一步提高顯著性檢測(cè)準(zhǔn)確率，基于圖模型的傳播機(jī)制也被應(yīng)用于顯著性檢測(cè)領(lǐng)域中。例如，方法GBMR[6]采用4個(gè)邊緣的超像素分別作為背景種子點(diǎn)，利用流形排序算法計(jì)算顯著性;方法AMC[7]將圖像顯著性看成是一個(gè)隨機(jī)游走的過(guò)程，把每個(gè)節(jié)點(diǎn)即隨機(jī)游走者走到圖像的邊界所用的時(shí)間看作是該元素的顯著性值;而方法MAP[8]則是將圖像四周作為背景點(diǎn)改為選取圖像的左邊界和上邊界作為圖像的背景點(diǎn)，定義每一個(gè)節(jié)點(diǎn)的顯著性為被圖像的左邊界和上邊界上所有與該節(jié)點(diǎn)相似的虛擬吸收節(jié)點(diǎn)吸收的概率之和。與上述方法不同的是，本文提出將圖像的4個(gè)頂點(diǎn)超像素塊作為背景種子點(diǎn)從而完成背景的更精確定位，并且將利用目標(biāo)性來(lái)改進(jìn)高斯模型從而完成目標(biāo)的更精確定位。

1 ?基于背景和前景定位的顯著性計(jì)算

對(duì)于一幅給定的輸入圖像，首先，使用SLIC方法對(duì)其進(jìn)行過(guò)分割，提取分割后的所有超像素塊的RGB、CIELab以及LBP特征，將圖像的4個(gè)頂點(diǎn)超像素塊作為背景種子點(diǎn)，假設(shè)第[j]個(gè)超像素（Superpixel）記為[Sj]，[j=1，2，…，n]，背景（Background）種子點(diǎn)記為[Bk]，[k=1，2，3，4]。計(jì)算每個(gè)超像素與4個(gè)背景超像素之間的歐氏距離，即可得到該超像素的顯著值[Sal（Sj）]，計(jì)算公式如下：

[Sal（Sj）=k=14d（Sj，Bk）4] （1）

其次，將通過(guò)文獻(xiàn)[9]所得目標(biāo)先驗(yàn)圖的形心代入二維高斯模型進(jìn)行求解，對(duì)目標(biāo)位置進(jìn)行優(yōu)化。用目標(biāo)先驗(yàn)圖中的目標(biāo)位置坐標(biāo)[xM，yM]代替高斯模型的中心坐標(biāo)，優(yōu)化后的高斯模型計(jì)算如下：

[Gsz=exp-xz-xM22σ2x+yz-yM22σ2y] （2）

式中：[xM]和[yM]代表目標(biāo)先驗(yàn)圖的目標(biāo)[I]的位置坐標(biāo)，[I=max（Of（i））]，[i=1，2，…，N]，[N]是輸入圖像總像素點(diǎn)個(gè)數(shù)。優(yōu)化后的高斯模型由于目標(biāo)先驗(yàn)的作用，得到了很好的偏置效果。將上述得出的先驗(yàn)?zāi)Ｐ蚚Gs（z）]與基于背景定位的顯著值相乘得到初始顯著圖[Ofs]，即：

[Ofs（Sj）=Sal（Sj）×Gs（z）（Sj）] （3）

2 ?顯著性空間優(yōu)化

將圖像表示為圖模型[GV，E]的形式，其中，[V]代表所有節(jié)點(diǎn)的集合，邊[E]表示任意兩個(gè)節(jié)點(diǎn)連接成的邊，其權(quán)重可用相似度矩陣[W=[wij]m×m]表示。其中，第[ij]個(gè)元素權(quán)重[wij]的計(jì)算公式為：

[wij=exp-c（m）i-c（m）j22σ2， ? ?d（m）j∈N（d（m）i）0， ? ? 其他] （4）

式中：[c（m）i]，[c（m）j]分別表示圖像中第[i]個(gè)和第[j]個(gè)超像素的顏色均值;[dmi]和[dmj]分別為其相應(yīng)的平均坐標(biāo);[Ndmi]為第[i]個(gè)超像素的[K]個(gè)空間近鄰;[σ2]為方差。假設(shè)初始顯著圖[Ofs]中各像素的顯著值矩陣為[Sfs=[Sfsrn1，Sfsrn2，…，SfsrnRn]∈R1×Rn]，空間優(yōu)化后的各像素顯著值矩陣為[So=[So（rn1），So（rn2），…，So（rnRn）]∈R1×Rn]，定義如下能量函數(shù)：

[ESo=i，jwijSornidii-Sornjdjj2+γiSfs（rni）-So（rni）2] （5）

式中：[So（rni）]和[So（rnj）]分別為第[i]和第[j]個(gè)超像素經(jīng)過(guò)空間優(yōu)化后的顯著性值;[Sfsrni]為初始顯著圖中第[i]個(gè)超像素的顯著值;[γ]控制著優(yōu)化前后顯著值的誤差以及相鄰像素之間的顯著值這兩項(xiàng)權(quán)重。對(duì)式（5）進(jìn)行求導(dǎo)并令其為0，得到其能量最低時(shí)的最優(yōu)解為：

[So=（D-αW）-1Sfs] （6）

式中：[α=1（1+μ）];[W]為權(quán)值矩陣;[D]為度矩陣;對(duì)角線上的元素為[d=jvij]。

3 ?多尺度融合

為了進(jìn)一步提高顯著結(jié)果，本文使用多層元胞自動(dòng)機(jī)同步更新[10]的方法對(duì)不同尺度上的顯著結(jié)果進(jìn)行融合優(yōu)化，對(duì)于不同尺度上的顯著圖，從以下幾個(gè)方面分析，計(jì)算最終顯著結(jié)果：

1） 元胞鄰居。對(duì)于輸入圖像，首先定義圖像中的每個(gè)像素點(diǎn)代表一個(gè)元胞，不同尺度顯著圖中處于相同位置的像素點(diǎn)互為鄰居，且每個(gè)鄰居對(duì)元胞下一時(shí)刻的狀態(tài)的影響相同。

2） 先驗(yàn)概率。對(duì)于圖像中的像素點(diǎn)[i]，定義其屬于顯著區(qū)域（Salient）的概率為[Pi∈S=Si]，屬于背景區(qū)域（Background）的概率為[Pi∈B=1-Si]，為了避免歸一化常數(shù)，定義先驗(yàn)概率比例[Ki∈S]如下：

[Ki∈S=Pi∈SPi∈F=Si1-Si] （7）

3） 后驗(yàn)概率。采用OTSU[11]算法產(chǎn)生的適應(yīng)閾值對(duì)所有圖像進(jìn)行二值分割，記屬于前景區(qū)域的像素點(diǎn)[i]為[ηi=+1]，屬于背景區(qū)域的則為[ηi=-1]。由此可知，像素點(diǎn)[i]為前景時(shí)，它的鄰居屬于前景的概率為[λ=Pηj=+1i∈S]，同樣，當(dāng)像素點(diǎn)[i]為背景時(shí)，它的鄰居屬于背景的概率為[μ=Pηj=-1i∈B]。后驗(yàn)概率[Pi∈Sηj=+1]的計(jì)算公式為：

[Pi∈Sηj=+1∝Pi∈SPηj=+1i∈S=Si?λ] （8）

其比例[Ki∈Sηj=+1]為：

[Ki∈Sηj=+1=Pi∈Sηj=+1Pi∈Bηj=+1=Si1-Si?λ1-μ] （9）

4） 更新機(jī)制。先驗(yàn)概率和后驗(yàn)概率的比例為：

[Ki∈S=Sti1-Sti] （10）

[Ki∈Sηj=+1=St+1i1-St+1i] （11）

式中[Sti]表示像素點(diǎn)[i]在[t]時(shí)刻的顯著值。這里的顯著值即為上述所得的各個(gè)尺度下的顯著初值[So]，采用對(duì)數(shù)計(jì)算，得到[f：SN-1→S]的更新機(jī)制為：

[gSt+1m=gStm+ k=1k≠mNsgnStk-γk?1?lnλ1-λ] （12）

因而，[N]個(gè)尺度分割圖時(shí)，[M]個(gè)時(shí)間步之后，最終的顯著結(jié)果計(jì)算公式為：

[SM=1Nm=1NSMm] （13）

4 ?實(shí)驗(yàn)與分析

4.1 ?數(shù)據(jù)庫(kù)及評(píng)價(jià)準(zhǔn)則

本文在顯著性目標(biāo)檢測(cè)公開(kāi)數(shù)據(jù)庫(kù)上與基于對(duì)比度先驗(yàn)的算法、基于中心先驗(yàn)的算法以及基于背景先驗(yàn)的算法進(jìn)行對(duì)比。

1） 采用準(zhǔn)確率?召回率（[P]?[R]）曲線對(duì)本文與其他算法進(jìn)行評(píng)測(cè)。在此標(biāo)準(zhǔn)中，一般采用固定閾值分割的方法計(jì)算得到[P]?[R]曲線。用取值范圍在0～255之間的固定閾值[t]對(duì)顯著圖進(jìn)行分割，得到二值分割后的圖像。

2） 將二值分割圖像與人工標(biāo)注的真值圖像進(jìn)行對(duì)比，得到查準(zhǔn)率（Pre）和查全率（Re），計(jì)算公式為：

[Pre=x，yGTx，yBSx，yx，yBSx，y] （14）

[Re=x，yGTx，yBSx，yx，yGTx，y] （15）

式中BS和GT分別表示二值分割后的顯著圖像和人工標(biāo)注的真值圖像。隨后，由上述結(jié)果計(jì)算出相對(duì)應(yīng)的平均查準(zhǔn)率和查全率，以查全率（Recall）為橫坐標(biāo)，以查準(zhǔn)率（Precision）為縱坐標(biāo)，繪制[P]?[R]曲線。

3） 使用[F]值對(duì)各個(gè)算法所得圖像進(jìn)行評(píng)測(cè)，計(jì)算公式如下：

[Fβ=1+β2×Precision×Recallβ2×Precision+Recall] ? ? （16）

本文將[β2]設(shè)為0.3，為了進(jìn)一步評(píng)價(jià)[F]值的綜合性能，本文采用[Fβ?K]曲線對(duì)其進(jìn)行評(píng)測(cè)，在區(qū)間[[0.1，6]]中以0.1為采樣步長(zhǎng)均勻選取一系列[K]的值，利用式（16） 計(jì)算不同[K]值對(duì)應(yīng)的平均[F]值，然后以[K]值為橫坐標(biāo)，[F]值為縱坐標(biāo)，畫出[Fβ?K]曲線。

4） 本文使用了平均絕對(duì)誤差（MAE）對(duì)各個(gè)顯著性檢測(cè)算法進(jìn)行更進(jìn)一步的綜合評(píng)價(jià)，取未進(jìn)行二值分割的連續(xù)顯著圖[S]與人工標(biāo)注圖GT所有像素之間的絕對(duì)誤差的平均值，計(jì)算公式為：

[MAE=1W×Lx=1Wy=1LSx，y-GTx，y] ? （17）

式中：[W]和[L]與計(jì)算[F]值時(shí)相同，分別表示[S]以及GT的寬度和長(zhǎng)度，通常來(lái)說(shuō)，MAE值越低，算法的顯著效果越好。

4.2 定量對(duì)比

本文算法與背景先驗(yàn)算法的[P?R]曲線和[Fβ?K]曲線如圖1所示。

當(dāng)查全率為0.85時(shí)，本文算法在ASD數(shù)據(jù)庫(kù)上的查準(zhǔn)率基本保持在0.95以上，表明本文方法能夠以更高的準(zhǔn)確率達(dá)到更好的顯著效果。[Fβ?K]曲線在每個(gè)[K]值處均具有最高的[F]值，說(shuō)明本文算法能夠以更高準(zhǔn)確率去判斷顯著目標(biāo)的位置，也充分說(shuō)明在處理復(fù)雜圖像時(shí)，精確定位彌補(bǔ)了過(guò)少的先驗(yàn)信息的不足。各種算法的平均查準(zhǔn)率、查全率、[F]值以及MAE值如表1所示，本文算法與對(duì)比的所有算法相比，具有最高的查準(zhǔn)率和[F]值，說(shuō)明本文算法能夠快速、準(zhǔn)確地突出顯著區(qū)域。而且本文算法具有最低的MAE值，對(duì)比算法中MAE值最低的RBD算法降低了42%。由以上評(píng)價(jià)標(biāo)準(zhǔn)充分說(shuō)明本文算法的全面性。

4.3 ?視覺(jué)效果對(duì)比

本文算法與基于背景先驗(yàn)算法的視覺(jué)效果對(duì)比如圖2所示。從圖2b）可以看出，GS算法的顯著圖上對(duì)目標(biāo)基本上都進(jìn)行了顯著的突出，還將少許背景信息作為顯著部分進(jìn)行了突出;從圖2c）可以看出，RBD算法在背景先驗(yàn)的基礎(chǔ)上，使背景信息更具有魯棒性;BFS算法能夠看出顯著部分輪廓，但是并沒(méi)有將目標(biāo)全部突出，容易丟失目標(biāo)的部分信息;BL和GL算法，目標(biāo)位置明顯;從圖2j）可以看出，本文方法對(duì)前景目標(biāo)以及背景目標(biāo)都進(jìn)行了合理的定位，能夠一致高亮地突出顯著部分。

5 ?結(jié) ?語(yǔ)

本文提出一種基于簡(jiǎn)單背景先驗(yàn)下的快速顯著性目標(biāo)檢測(cè)算法。首次僅選取圖像4個(gè)頂點(diǎn)作為圖像背景信息進(jìn)行對(duì)比度計(jì)算，并與改進(jìn)后的高斯模型定位的前景目標(biāo)相融合，得到初始顯著結(jié)果;并在此基礎(chǔ)上，利用空間信息對(duì)顯著結(jié)果進(jìn)行優(yōu)化;最后使用多元胞自動(dòng)機(jī)將多個(gè)尺度得到的顯著結(jié)果相融合，能夠快速準(zhǔn)確獲取顯著目標(biāo)位置。雖然顯著目標(biāo)出現(xiàn)在頂點(diǎn)處的圖像檢測(cè)稍顯不足，但在多個(gè)公開(kāi)數(shù)據(jù)庫(kù)上與多種主流算法和先進(jìn)算法的對(duì)比中，仍然能夠表現(xiàn)出明顯的優(yōu)越性。

注：本文通訊作者為楊賽。

參考文獻(xiàn)

[1] WEI Yichen， WEN Fang， ZHU Wangjiang， et al. Geodesic saliency using background priors [C]// European Conference on Computer Vision. [S.l.： s.n.]， 2012： 29?42.

[2] ZHU Wangjiang， LIANG Shuang， WEI Yichen， et al. Saliency optimization from robust background detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE Computer Society， 2014： 2814?2821.

[3] WANG J， LU H， LI X， et al. Saliency detection via background and foreground seed selection [J]. Neurocomputing， 2015， 152： 359?368.

[4] TONG N， LU H， ZHANG Y， et al. Salient object detection via global and local cues [J]. Pattern recognition， 2015， 48（10）： 3258?3267.

[5] LU H， ZHANG X， JINQING Q， et al. Co?bootstrapping Saliency [J]. IEEE transactions on image processing， 2016， 26（1）： 414?425.

[6] ZHANG Lihe， YANG Chuan， LU Huchuan， et al. Ranking saliency [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（9）： 1892?1904.

[7] JIANG B， ZHANG L， LU H， et al. Saliency detection via absorbing Markov chain [C]// IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2014： 1665?1672.

[8] SUN J， LU H， LIU X. Saliency region detection based on Markov absorption probabilities [J]. IEEE transactions on image process， 2015， 24（5）： 1639?1649.

[9] ALEXE B， DESELAERS T， FERRARI V. Measuring the objectness of image windows [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（11）： 2189?2202.

[10] QIN Y， LU H， XU Y， et al. Saliency detection via cellular automata [C]// Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2015： 110?119.

[11] OTSU N. A threshold selection method from gray?level histograms [J]. IEEE transactions on systems man & cybernetics， 2007， 9（1）： 62?66.