基于改進(jìn)流行排序算法的顯著性區(qū)域檢測

張 靜, 魯文超, 段先華

(江蘇科技大學(xué) 計算機(jī)學(xué)院,鎮(zhèn)江 212003)

人的視覺注意機(jī)制可以準(zhǔn)確、快速定位自然場景中最引人注意的物體或區(qū)域,計算機(jī)通過模仿這一視覺注意機(jī)制原理形成顯著性檢測技術(shù)，是圖像處理中關(guān)鍵的一個階段，廣泛應(yīng)用于目標(biāo)識別[1-2]、視頻壓縮[3]、圖像檢索[4]、圖像分類[5]等研究領(lǐng)域．

現(xiàn)有的顯著性檢測算法在檢測存在一個或者兩個顯著目標(biāo)和背景簡單的圖像時能夠獲得很好的結(jié)果,但是面對復(fù)雜背景或者存在多目標(biāo)(兩個及其以上)時,檢測效果無法滿足實際要求.因此文中提出一種基于改進(jìn)流形排序算法的顯著性區(qū)域檢測算法,通過多特征計算上、下、左、右4個方向的顯著圖，解決了通過單一特征計算的結(jié)果不夠精確的問題，通過超像素分割算法將圖像分割成4個不同的尺度,分別計算4個尺度下的顯著圖．不同尺度下,分割圖像的細(xì)節(jié)信息不同,圖像分割的超像素數(shù)量過少的話,很多不屬于同一特征屬性會被分割在一起,不利于檢測,分割的數(shù)量過度,會嚴(yán)重增加算法的時間復(fù)雜度,因此,通過實驗綜合考慮文中選擇了4種尺度．現(xiàn)有基于圖的流行排序的顯著檢測算法中通過閾值分割得到最終的結(jié)果,由于閾值選擇存在一定缺陷,文中通過多核提升對檢測的弱顯著圖進(jìn)行進(jìn)一步處理,得到更加精確的顯著圖．

計算機(jī)視覺領(lǐng)域的顯著性檢測方法通常包含兩種:自頂向下[6-7](任務(wù)驅(qū)動)和自底向上[8](數(shù)據(jù)驅(qū)動)．早期顯著性檢測模型的研究主要集中于人的視覺注意機(jī)制,最早的顯著性檢測模型由文獻(xiàn)[10]受生物模型啟發(fā)提出自底向上的顯著性模型，文獻(xiàn)[11]提出頻率域的計算方法,通過計算圖像在頻率域的冗余部分和變化部分得到圖像的顯著圖.文獻(xiàn)[12]從頻域角度出發(fā),提出一種基于全局對比度的顯著區(qū)域檢測算法，該算法首先對輸入圖像進(jìn)行高斯濾波,然后將濾波后的圖像中的每個像素值和整幅圖像的平均像素值之間的歐幾里得空間距離作為該像素的顯著值度量.頻率域的計算模型簡單易于實現(xiàn)并且計算效率高,但過分強(qiáng)調(diào)圖像的邊緣且頻率域與空域之間的轉(zhuǎn)換圖像會丟失一部分信息,所以得到的顯著圖比較模糊.近年來,文獻(xiàn)[13-14]通過圖像底層和中層視覺信息結(jié)合貝葉斯理論,將顯著性問題轉(zhuǎn)換為概率計算問題.基于貝葉斯模型的顯著性算法通過凸包進(jìn)行圖像目標(biāo)區(qū)域定位,由于凸包選定的目標(biāo)不夠精確,含有較多背景區(qū)域,最終的檢測結(jié)果不夠準(zhǔn)確,算法的適應(yīng)性較差．文獻(xiàn)[15]提出一種基于稀疏距離樣本和聯(lián)合上采樣的顏色距離顯著性檢測方法,利用快速全局平滑器的邊緣保持平滑和聯(lián)合上采樣能力，且計算運(yùn)行時間短，顯著性檢測的準(zhǔn)確度有所提高,但是對于復(fù)雜背景圖像檢測效果不是很明顯．文獻(xiàn)[16]根據(jù)像素到像素的對應(yīng)關(guān)系提出一種對象感知方法,通過學(xué)習(xí)每個所選鑒別網(wǎng)格單元的分類器,在語義約束下指導(dǎo)每個像素的定位.從語義到低級估計每個像素的對應(yīng)關(guān)系．文獻(xiàn)[17]利用新穎的圖形結(jié)構(gòu)和背景先驗,提出一種無監(jiān)督的顯著性檢測方法，利用新的圖形結(jié)構(gòu)刪除錯誤的邊界種子提高檢測性能．文獻(xiàn)[18]提出基于弱監(jiān)督學(xué)習(xí)的自主學(xué)習(xí)顯著性檢測方法,用人工標(biāo)記的基礎(chǔ)事實進(jìn)行監(jiān)督學(xué)習(xí)．文獻(xiàn)[19]引入流形排序(manifold ranking，MR)算法,將顯著性問題通過排序函數(shù)求解,利用前景和背景的超像素形成一個閉環(huán)圖,以超像素作為圖中的節(jié)點,并用MR算法比較背景和前景的相似度進(jìn)行排序，進(jìn)而得到最終顯著圖，但由于默認(rèn)圖像邊界為背景，對于顯著目標(biāo)位于圖像邊緣的情況,檢測效果不理想．

針對上述問題,對傳統(tǒng)基于圖的流形排序顯著性檢測算法進(jìn)行改進(jìn),所提算法分為兩步.第一步:對原圖像進(jìn)行超像素分割，得到4種不同尺度的圖像,然后提取4種不同尺度圖像的多特征進(jìn)行上、下、左、右4個邊界的顯著性計算;分別將不同尺度下的4個邊界顯著圖融合計算，得到不同尺度的顯著圖;最后將不同尺度的顯著圖進(jìn)行加權(quán)融合，得到粗略顯著圖;第二步:將第一步中粗略顯著圖通過多核融合得到粗略顯著圖的互補(bǔ)顯著圖．融合粗略顯著圖和互補(bǔ)顯著圖得到最終的顯著圖．

1 基于改進(jìn)排序的顯著性區(qū)域檢測算法

基于改進(jìn)排序的顯著性區(qū)域檢測算法流程圖如圖1.與傳統(tǒng)利用圖的流形排序進(jìn)行顯著性檢測算法不同的是,文中算法首先對輸入圖像進(jìn)行超像素分割得到4種不同尺度圖像,提取4種不同尺度圖像的顏色特征Lab,顏色特征RGB和紋理特征LBP(local binary patterns),根據(jù)上述3種特征分別計算各個尺度圖像的上、下、左、右4個方向的邊界顯著圖,分別對各個尺度圖像的4個方向的邊界顯著圖進(jìn)行融合得到各個尺度的顯著圖;融合4種尺度的顯著圖得到弱顯著圖;然后通過多核提升(multiple kernel boosting,MKB)算法學(xué)習(xí)來自輸入圖像的樣本進(jìn)行強(qiáng)分類,以檢測顯著像素.最后通過優(yōu)化算法進(jìn)一步提高檢測性能．

圖1 算法流程Fig.1 Algorithm flow chart

1.1 改進(jìn)的流形排序顯著性算法

流形排序算法[20]以圖模型來模擬數(shù)據(jù)集內(nèi)在的流形結(jié)構(gòu),所有的數(shù)據(jù)點通過這個圖模型來將它們的排序值傳播給鄰接點,直到排序值收斂到穩(wěn)定狀態(tài).具體算法描述如下:

給定一組點的數(shù)據(jù)集X={x1,x2,x3，…,xn}?Rm*n，m為特征維數(shù),n為點的個數(shù),其中包含了已標(biāo)記的查詢數(shù)據(jù)和待排序的未標(biāo)記數(shù)據(jù).令向量Y={y1,y2,y3,…,yn}T表示數(shù)據(jù)的標(biāo)記情況,其中當(dāng)yi=1時表示對應(yīng)的數(shù)據(jù)xi為查詢數(shù)據(jù),當(dāng)yj=0時表示數(shù)據(jù)xj為待排序的未標(biāo)記數(shù)據(jù).每個待排序的未標(biāo)記數(shù)據(jù)xi的排序值fi由函數(shù)F:X→Rn確定.在數(shù)據(jù)集上定義一個圖G=(V,E),圖的結(jié)點V是數(shù)據(jù)集X,圖的邊緣E由關(guān)聯(lián)矩陣W=[wij]n×n確定.計算圖的度矩陣D=diag{d11,…,dnn},其中dii=∑wij,由于傳統(tǒng)的流形排序算法采用單一特征計算wij,文中算法對其進(jìn)行改進(jìn),采用多特征計算wij,效果要優(yōu)于單一特征.具體改寫公式如下:

(1)

式中：i,j∈V,dk(ci,cj)為特征空間中的超像素ci和cj之間的歐式距離,即分別為RGB(F1),CIELab(F2)顏色特征和LBP(F3)紋理特征.σ為控制邊權(quán)重的常數(shù),根據(jù)顏色空間中的距離計算權(quán)重．

對于給定的查詢對象的排序得分可以通過公式(2)得到:

(2)

式中：參數(shù)u為控制平滑約束(第一項)和擬合約束(第二項)之間的平衡；fi為節(jié)點的排序值.文獻(xiàn)[19]中已經(jīng)證明流形排序函數(shù)f*最終可表示為:

f*=(D-αW)-1Y

(3)

式中：參數(shù)α=1/(1+u)決定了平滑約束(smoothness constraint)和適應(yīng)性約束(sitting constraint)的權(quán)重比例．

(4)

式中：N為節(jié)點總數(shù),由此可得到使用上邊界先驗的顯著圖Si.類似的,可以計算出使用下、左、右邊界的節(jié)點作為背景種子點的顯著圖Sb、Sl、Sr，4個顯著圖融合得到不同尺度下的顯著圖,融合4種不同尺度的顯著圖得到弱顯著圖Sweaksal:

(5)

式中：Sfz為一個尺度下融合4個邊界的顯著圖；Sf1為超像素分割數(shù)為100時顯著圖；Sf2為超像素分割數(shù)為150時顯著圖；Sf3為超像素分割數(shù)為200時顯著圖；Sf4為超像素分割數(shù)為250時顯著圖．

文獻(xiàn)[19]中使用流形排序算法進(jìn)行顯著性檢測,其采用單一的CIELab顏色特征檢測和單一超像素尺度,文中采用多尺度和多特征對其進(jìn)行改進(jìn),算法改進(jìn)前后的對比如圖2．

圖2 算法前后對比Fig.2 Comparison example before and after algorithm improvement

1.2 多核提升(MKB)的改進(jìn)顯著圖

(6)

式中：βm為核權(quán)重；M為弱分類器的數(shù)量,M=Nf×Nk，Nf為特征的數(shù)量,Nk為內(nèi)核的數(shù)量(Nf為3,Nk為4)．

對于不同的特征集,決策函數(shù)被定義為：

(7)

式中：α=[α1l1,α2l2,…,αHlH]T，

km(r)=[km(r,r1),km(r,r2),…,km(r,rH)]T,

通過文獻(xiàn)[18]的證明可知,決策函數(shù)最終被定義為:

(8)

Sstrong=1/4·(Sstm1+Sstm2+Sstm3+Sstm4)

(9)

由于弱顯著性和強(qiáng)顯著性具有互補(bǔ)性[18],所以對于弱顯著圖和強(qiáng)顯著圖進(jìn)行加權(quán)整合,得到最終的顯著性結(jié)果Sfinal,如圖3.

Sfinal=σSstrong+(1-σ)Sweksal

(10)

式中：σ為組合平衡因子,σ=0.7(文獻(xiàn)[18]中已經(jīng)證明)．

圖3 最終顯著性圖對比Fig.3 Saliency maps

2 實驗結(jié)果與分析

文中實驗平臺為2.30 GHz CPU,8 GB內(nèi)存的計算機(jī),采用Matlab(R2016b)實現(xiàn).所提算法與當(dāng)前主流的13和算法:SF[22],AC[23],SR[24],HDCT[25],PCA[26],GS[27],LMLC[14],FT[12],RBD[28], MR[20],GMR[19],BSCA[29],BL[18]在公開數(shù)據(jù)集MSRA1000、PASCAL-S、ECSSD上進(jìn)行對比.MSRA1000是微軟提供的MSRA數(shù)據(jù)庫,其圖像簡單,單目標(biāo),但被廣泛應(yīng)用于比較.PASCAL-S數(shù)據(jù)集包含850幅圖片,數(shù)據(jù)集來源PASCALVOC,不存在顏色的先驗信息.ECSSD數(shù)據(jù)集包含1 000幅圖像,是對CSSD的擴(kuò)展,圖像背景復(fù)雜,存在多個顯著性物體．3個數(shù)據(jù)集均由人工精確標(biāo)注顯著目標(biāo)．文中從客觀性能評價和主觀性能評價兩個方面對所提算法的性能進(jìn)行測試.客觀性能評價為通過準(zhǔn)確率(P)、召回率(R),算法綜合指標(biāo)(F)和與其他13種算法進(jìn)行評估.在實驗中,對于一幅顯著圖Sfinal,將Sfinal通過閾值Tf∈[0,255]依次調(diào)整進(jìn)行二值化,得到二值圖M,GT表示Ground-truth.根據(jù)公式(10、11)計算準(zhǔn)確率和召回率，值由公式(12)計算得到．

(10)

(11)

(12)

與文獻(xiàn)[10，20]一致,其中β取值為0.3.圖4～6為所提算法和其他算法分別計算準(zhǔn)確率-召回率,綜合指標(biāo)的對比結(jié)果圖．

圖4是各種算法在MSRA1000數(shù)據(jù)集上的對比結(jié)果,可以發(fā)現(xiàn)文中算法在準(zhǔn)確率-召回率與RBD算法較為接近,遠(yuǎn)高于MR、GMR,BL等算法.

通過圖7(a)可以發(fā)現(xiàn)文中算法在準(zhǔn)確率要優(yōu)于GS、HDCT、GMR等算法,與BSCA、BL算法較為接近,且綜合指標(biāo)遠(yuǎn)高于其他12種算法．

圖5是各種算法在ECSSD數(shù)據(jù)集上的對比結(jié)果,可以發(fā)現(xiàn)在復(fù)雜背景下，文中算法的準(zhǔn)確率接近或優(yōu)于目前流行的顯著性檢測算法,與HDCT算較為接近,但是文中在召回率遠(yuǎn)高于HDCT算法，檢測效果也遠(yuǎn)高于對比的其他12種算法.由圖7(b)柱狀圖可以發(fā)現(xiàn)文中算法在復(fù)雜背景下檢測效果略好于BSCA和GMR算法,且高于HDCT算法.由于ECSSD數(shù)據(jù)集中多為復(fù)雜背景圖像和多目標(biāo)圖像,所以檢測效果略低于MSRA1000數(shù)據(jù)集．

圖4 MSRA1000數(shù)據(jù)集上PR曲線的比較Fig.4 Comparison of PR curve on MSRA 1000

圖5 ECSSD數(shù)據(jù)集上的PR曲線的比較Fig.5 Comparison of PR curve on ECSSD

圖6是各種算法在PASCAL-S數(shù)據(jù)集上的對比結(jié)果,可以發(fā)現(xiàn)文中算法的準(zhǔn)確率-召回率與RBD算法接近,優(yōu)于其他12種對比的算法(圖7(c))．

圖6 PASCAL-S數(shù)據(jù)集上的PR曲線比較Fig.6 Comparison of PR curve on PASCAL-S

文中算法與上述13種算法的視覺效果比較,如圖8，可以看出文中算法對比度更好，且具有很好的視覺效果,能夠很好的抑制圖像背景區(qū)域并且清晰突顯著區(qū)域,與真值圖非常接近．通過直觀效果可以發(fā)現(xiàn)與文中算法顯著圖最接近的是HDCT、GMR、BL和BSCA算法,但是文中算法顯著圖比HDCT和BL更加平滑,能夠更好的抑制背景,檢測的輪廓更加完整.同時,BSCA算法對于復(fù)雜背景圖像的檢測不如文中算法檢測的完整．

圖7 與其他算法比較的準(zhǔn)確率、召回率和算法綜合指標(biāo)的柱狀圖Fig.7 Comparision of PR curve and F-measurewith other methods

圖8 各種算法的顯著性對比圖Fig.8 Comparison of saliency map

3 結(jié)論

文中基于改進(jìn)流行排序算法的顯著性區(qū)域檢測,將圖像分割成4種不同的超像素尺度,并根據(jù)圖像的RGB,CIELab的顏色特征和LBP紋理特征分別計算4種尺度圖像的上、下、左、右4個方向的邊界顯著圖,分別融合不同尺度圖像的4個方向的邊界顯著圖得到相應(yīng)不同尺度圖像顯著圖,融合4種尺度圖像的顯著圖得到弱顯著圖;然后根據(jù)弱顯著圖以生成強(qiáng)模型的訓(xùn)練樣本,通過多核提升算法學(xué)習(xí)來自輸入圖像的樣本進(jìn)行強(qiáng)分類,以檢測顯著像素;最后綜合多尺度顯著圖進(jìn)一步提高檢測性能,并進(jìn)行優(yōu)化處理得到最終的顯著圖，從而解決了基于圖的流行排序算法相關(guān)顯著性檢測算法對與檢測的顯著目標(biāo)不完整且不能更好的抑制背景的問題.在公開數(shù)據(jù)集MSRA1000、ECSSD和PASCAL-S上進(jìn)行的實驗結(jié)果表明,所提算法不僅能夠得到較好的視覺效果,而且召回率、準(zhǔn)確率和算法綜合指標(biāo)等評價指標(biāo)優(yōu)于或接近于流行的顯著性檢測算法,尤其對于復(fù)雜背景圖像的檢測,其檢測結(jié)果都優(yōu)于目前流行的顯著性檢測算法．但該算法在復(fù)雜背景檢測方面還存在不足,還有待進(jìn)一步提高．下一階段工作將會對提高復(fù)雜背景圖像檢測準(zhǔn)確率進(jìn)行研究改進(jìn)．