改進(jìn)背景先驗(yàn)和前景先驗(yàn)的顯著性檢測

唐立婷，段先華，魯文超

(江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 鎮(zhèn)江 212003)

1 引 言

作為計(jì)算機(jī)視覺問題中降低計(jì)算復(fù)雜度的重要預(yù)處理步驟，視覺顯著性是一種有效的突出視覺重點(diǎn)機(jī)制，可以準(zhǔn)確快速的獲取圖像中最重要的區(qū)域，從而減少圖像處理時(shí)間.顯著性檢測近年來備受關(guān)注，雖然相關(guān)研究取得了重大進(jìn)展，但為顯著物體檢測開發(fā)高效的算法仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù).

視覺顯著性檢測算法通?？梢苑譃閮深悾浩湟换诘讓犹卣鳎脭?shù)據(jù)驅(qū)動(dòng)的自下而上[1，2]的方法將顯著的目標(biāo)區(qū)域與其周圍的背景區(qū)域進(jìn)行區(qū)分；其二結(jié)合高層信息，通過任務(wù)驅(qū)動(dòng)的自上而下[3，4]的方法快速定位顯著性區(qū)域并反映顯著性區(qū)域的顯著程度.Zhang等[5]通過吸收馬爾可夫鏈(AMC)計(jì)算圖像的顯著性，算法通過構(gòu)造稀疏連通圖來獲取每個(gè)節(jié)點(diǎn)的局部上下文信息，以圖像的邊界節(jié)點(diǎn)和其他節(jié)點(diǎn)結(jié)合吸收馬爾科夫鏈法則計(jì)算出該點(diǎn)的顯著性值，為了更好的突出顯著目標(biāo)，引入角度嵌入技術(shù)重新確定顯著性結(jié)果，算法通過全卷積網(wǎng)絡(luò)學(xué)習(xí)得到一個(gè)轉(zhuǎn)移概率矩陣，雖然在一定程度上提高了算法檢測精度以及適應(yīng)性，但是網(wǎng)絡(luò)模型學(xué)習(xí)不夠全面，對于部分圖像的檢測效果不理想.Ye等[6]將圖像的顯著性問題與圖像客觀條件相結(jié)合，通過無圖引導(dǎo)使用規(guī)則，以超像素頂點(diǎn)作為計(jì)算依據(jù)，通過每個(gè)頂點(diǎn)之間的最短路徑衡量每個(gè)超像素目標(biāo)的概率，將得到的目標(biāo)概率圖分別與顯著性圖和目標(biāo)性圖進(jìn)行比值運(yùn)算，此算法雖然在突出目標(biāo)抑制背景占據(jù)一定優(yōu)勢，但是對于多目標(biāo)情況下檢測效果并不理想.Huang等[7]提出了一種融合前景和背景先驗(yàn)的魯棒顯著目標(biāo)檢測方法，該算法基于包圍度線索從圖像中提取一系列前景和背景種子.通過排序算法分別生成前景和背景對應(yīng)的顯著圖.融合兩幅顯著圖，通過測地線增強(qiáng)，得到最終顯著圖，該算法以顯著目標(biāo)位于圖像中心為先驗(yàn)，當(dāng)目標(biāo)較多或者目標(biāo)位于邊緣，處理效果不理想.Tong等[8]提出了一種利用弱模型和強(qiáng)模型進(jìn)行顯著目標(biāo)檢測的引導(dǎo)學(xué)習(xí)算法.該算法首先基于圖像先驗(yàn)知識構(gòu)造弱顯著圖，其次，訓(xùn)練一種直接從弱顯著圖中提取樣本的強(qiáng)分類器來檢測顯著超像素.線性加權(quán)融合強(qiáng)弱顯著圖得到最終結(jié)果.Wang等[9]提出一種具有判別性的區(qū)域特征集成方法.算法雖然通過判別區(qū)域特征集成方法解決顯著目標(biāo)檢測問題，但是在特征選擇方面存在不足，導(dǎo)致一些復(fù)雜圖像中的顯著區(qū)域檢測不完整.Xia等[10]提出一種基于樣本回歸的顯著性檢測算法，該算法以圖像邊界為先驗(yàn)得到前景和背景種子，該算法本身需要以邊界為先驗(yàn)，對于一些前景目標(biāo)靠近邊緣以及多目標(biāo)檢測效果不理想.Yang等[11]引入MR(Manifold Ranking)算法，通過排序函數(shù)求解顯著性問題，以不同的方式考慮前景和背景線索，對圖像元素(像素或區(qū)域)與前景或背景的相似性進(jìn)行排序.圖像元素的顯著性根據(jù)它們與給定種子或查詢的相關(guān)性來定義.該算法將圖像表示為一個(gè)以超像素為節(jié)點(diǎn)的閉環(huán)圖.圖中每個(gè)節(jié)點(diǎn)的顯著程度通過其相對于種子節(jié)點(diǎn)的排序得分來度量，顯著性檢測分為兩階段過程，以此更有效地提取背景區(qū)域和前景顯著目標(biāo)，得到最終顯著圖.由于該算法第一階段背景假設(shè)過于理想化，當(dāng)顯著性目標(biāo)面積較大或者顯著性目標(biāo)接觸到圖像邊界時(shí)，算法無法完整地檢測出目標(biāo).

針對上述算法存在的缺陷，本文對傳統(tǒng)基于流行排序的顯著性檢測算法提出了改進(jìn)策略，與傳統(tǒng)基于流行排序的顯著性檢測算法不同的是本文算法通過計(jì)算圖像凸包得到圖像的前景區(qū)域和背景區(qū)域并結(jié)合圖像多尺度多特征計(jì)算前景顯著圖和背景顯著圖.算法首先對圖像進(jìn)行凸包計(jì)算，以凸包為邊界將圖像劃分為兩部分，凸包內(nèi)部區(qū)域即包含圖像目標(biāo)的前景區(qū)域，凸包外部區(qū)域即包含圖像背景的背景區(qū)域；然后分別以背景種子和前景種子為先驗(yàn)知識，結(jié)合圖像的Lab顏色特征，LBP(local binary patterns)紋理特征和RGB特征分別計(jì)算4種尺度圖像的背景顯著圖和前景顯著圖，融合4種尺度圖像的背景顯著圖得到最終的背景顯著圖；融合4種尺度的前景顯著圖得到最終的前景顯著圖，融合最終的背景顯著圖和最終的前景顯著圖得到弱顯著圖，最后，通過多核增強(qiáng)算法對由弱顯著圖生成的訓(xùn)練樣本進(jìn)行分類得到強(qiáng)顯著圖，依據(jù)弱顯著圖和強(qiáng)顯著圖的互補(bǔ)性融合強(qiáng)弱顯著圖得到最終顯著性結(jié)果.

2 本文算法

本文算法流程圖如圖1所示.

圖1 本文算法流程圖Fig.1 Algorithm flow chart

依據(jù)圖1流程圖，本文算法分為3步，第1步，計(jì)算圖像的凸包，并將圖像分割成4種超像素尺度，計(jì)算每種超像素尺度下圖像的Lab顏色特征，RGB特征和LBP紋理特征；第2步，依據(jù)凸包信息將圖像分為凸包內(nèi)部區(qū)域(前景)和凸包外部區(qū)域(背景)，以背景種子為先驗(yàn)，結(jié)合圖像的LBP紋理特征，RGB特征和Lab顏色特征對于4種不同尺度下的圖像計(jì)算相應(yīng)尺度下4個(gè)方向的邊界顯著圖，將每一種尺度下的圖像4個(gè)方向的邊界顯著圖進(jìn)行線性加權(quán)計(jì)算得到該尺度下圖像的背景顯著圖，線性融合4種尺度下的背景顯著圖得到最終的背景顯著圖；以前景種子為先驗(yàn)，結(jié)合圖像的上述3種底層特征分別計(jì)算4種尺度圖像的前景顯著圖，融合4種尺度的前景顯著圖得到最終的前景顯著圖，融合最終的背景顯著圖和最終的前景顯著圖得到弱顯著圖；第3步，根據(jù)由弱顯著圖生成的訓(xùn)練樣本，采用多核學(xué)習(xí)增強(qiáng)的方法訓(xùn)練得到強(qiáng)顯著性模型，將此模型應(yīng)用到所有測試樣本中得到強(qiáng)顯著性圖；最后加權(quán)融合強(qiáng)弱顯著圖得到最終顯著圖.

3 凸包改進(jìn)的流形排序顯著性算法

流行排序算法[12](Manifold Ranking，MR)依據(jù)數(shù)據(jù)集的流形結(jié)構(gòu)，將所有的數(shù)據(jù)點(diǎn)分為查詢數(shù)據(jù)和待查詢數(shù)據(jù)，通過計(jì)算查詢數(shù)據(jù)與待查詢數(shù)據(jù)之間的排序值得到最終結(jié)果.基于圖的流行排序算法計(jì)算過程如下：

給定一個(gè)m維特征，n個(gè)點(diǎn)的數(shù)據(jù)集X={x1，x2，x3，…，xn}?Rm*n，同時(shí)通過設(shè)定向量Y={y1，y2，y3，…，yn}T來記錄數(shù)據(jù)的標(biāo)記情況，當(dāng)yi=1時(shí)表示對應(yīng)的數(shù)據(jù)xi為查詢節(jié)點(diǎn)，當(dāng)yj=0時(shí)表示數(shù)據(jù)xj為待排序的節(jié)點(diǎn).每個(gè)待排序數(shù)據(jù)xi的排序值由函數(shù)f*確定.接下來，在X上構(gòu)造一個(gè)圖G=(V，E)，V是數(shù)據(jù)集X對應(yīng)的圖的結(jié)點(diǎn)，依據(jù)關(guān)聯(lián)矩陣W=[wij]n×n計(jì)算圖的邊緣E.計(jì)算圖的度矩陣D=diag{d11，…，dnn}，其中dii=∑wij，本文算法依據(jù)圖像的3種底層特征改進(jìn)wij，得到新的權(quán)重值.具體公式如下：

(1)

i，j∈V；dk(ci，cj)表示在特征空間下超像素ci和cj之間的歐式距離，特征空間為RGB(F1)顏色特征，Lab(F2)顏色特征和LBP(F3)紋理特征.σ是常數(shù)，根據(jù)顏色空間中的距離計(jì)算權(quán)重.

對于給定的查詢對象的排序值可以通過公式(2)得到：

(2)

其中參數(shù)u為控制平衡常數(shù)，fi為待排序節(jié)點(diǎn)的排序值.將上述式(2)求一階導(dǎo)數(shù)，令導(dǎo)數(shù)為0，得到最終排序函數(shù)的非歸一化解：

f*=(D-αW)-1y

(3)

其中α=1/(1+u)控制平衡，取值0.99.

3.1 改進(jìn)背景顯著圖計(jì)算

(4)

由此可得到以上邊界節(jié)點(diǎn)作為先驗(yàn)的邊界顯著圖St.同理，以其他3個(gè)方向(下、左、右)邊界節(jié)點(diǎn)作為背景特征的顯著值Sb、Sl、Sr可以通過公式(4)計(jì)算得出，將每個(gè)尺度下的邊界顯著圖St、Sb、Sl、Sr進(jìn)行線性融合得到該尺度下的背景顯著圖Sfusion，最終背景顯著圖Sb_fusion即可由4種不同尺度的背景顯著圖通過式(5)進(jìn)行線性整合得到：

(5)

其中Sfusion1表示將原圖分割成100個(gè)超像素時(shí)的顯著圖，Sfusion2表示將原圖分割成150個(gè)超像素時(shí)的顯著圖，Sfusion3表示將原圖分割成200個(gè)超像素時(shí)的顯著圖，Sfusion4表示將原圖分割成250個(gè)超像素時(shí)的顯著圖.

文獻(xiàn)[11]中默認(rèn)圖像邊緣為圖像背景區(qū)域作為先驗(yàn)知識，依據(jù)圖像單一底層特征和單一尺度通過流形排序算法進(jìn)行顯著性計(jì)算，本文采用凸包將前景和背景區(qū)分，以凸包之外的區(qū)域?yàn)閳D像背景，且采用多種超像素尺度(100，150，200，250)和多種圖像底層特征對其進(jìn)行改進(jìn)，算法改進(jìn)前后的對比圖如圖2所示.

圖2 背景顯著圖改進(jìn)前后對比示例圖Fig.2 Comparison example of background saliency map before and after improvement

3.2 改進(jìn)前景顯著圖計(jì)算

(6)

由此可得到不同尺度下以前景特征為先驗(yàn)的顯著圖Sqian100，Sqian150，Sqian200，Sqian250.融合4種不同尺度的顯著圖得到最終前景顯著圖Sq_fusion：

Sq_fusion=1/4*(Sqian100+Sqian150+Sqian200+Sqian250)i= 1,2,…,N

(7)

本文算法依據(jù)將凸包內(nèi)部區(qū)域作為前景特征，且采用多尺度和多特征計(jì)算前景顯著圖，前景顯著圖計(jì)算如圖3所示.

圖3 算法前景顯著圖計(jì)算示例圖Fig.3 Calculation of foreground saliency map

3.3 多核提升(MKB)的改進(jìn)顯著圖

傳統(tǒng)基于流行排序的顯著性檢測算法分為兩步計(jì)算顯著圖，第1步通過以超像素為計(jì)算單元得到顯著目標(biāo)；第2步將所有超像素與顯著區(qū)域超像素做對比計(jì)算相似度，得到最終顯著結(jié)果.但是當(dāng)圖像存在目標(biāo)影子或者目標(biāo)邊緣化時(shí)，導(dǎo)致結(jié)果檢測不準(zhǔn)確.為解決此問題，本文算法采用一種多核分類學(xué)習(xí)(MKB)算法[8]對結(jié)果進(jìn)行優(yōu)化.MKB算法是一種弱監(jiān)督的學(xué)習(xí)算法，通過多個(gè)支持向量機(jī)SVM以及多個(gè)核函數(shù)進(jìn)行組合形成強(qiáng)分類器.對于輸入的圖像，我們計(jì)算其弱顯著圖Sweaksal，由公式(8)計(jì)算得到：

Sweaksal=λ1*Sq_fusion+(1-λ1)*Sb_fusion

(8)

其中λ1為組合平衡因子，取值0.6.

(9)

針對不同特征集合，目標(biāo)函數(shù)可以轉(zhuǎn)換為：

(10)

(11)

其中βj由AdaBoost方法進(jìn)行計(jì)算，J表示需要迭代的次數(shù).單個(gè)SVM定義為弱分類器，對于弱分類器和核函數(shù)進(jìn)行組合得到強(qiáng)分類器Y(r).將生成的訓(xùn)練樣本通過強(qiáng)分類器(公式(11))進(jìn)行分類計(jì)算，從而生成超像素方式的顯著圖.然后通過Graph Cut方法對檢測結(jié)果進(jìn)行優(yōu)化，提高檢測結(jié)果的準(zhǔn)確性.最后利用文獻(xiàn)[10]提出的引導(dǎo)濾波器進(jìn)一步增強(qiáng)顯著圖效果得到最終顯著圖Sst.本文算法為了提高最終檢測效果，通過在4種不同超像素尺度計(jì)算不同尺度下的顯著圖，得到4個(gè)尺度的顯著圖Sstm1，Sstm2，Sstm3，Sstm4，融合得到最終的強(qiáng)顯著圖Sstrong：

Sstrong=1/4*(Sstm1+Sstm2+Sstm3+Sstm4)

(12)

依據(jù)弱顯著圖與強(qiáng)顯著圖之間的關(guān)聯(lián)性[8]，線性融合弱顯著圖和強(qiáng)顯著圖得到本文算法最終的顯著圖Sfinal由公式(13)計(jì)算得到：

Sfinal=σSstrong+(1-σ)Sweaksal

(13)

σ為組合平衡因子，σ=0.7(文獻(xiàn)[8]中已經(jīng)證明)

本文算法最終效果對比圖，如圖4所示.

圖 4 本文算法與未改進(jìn)GMR算法最終顯著性結(jié)果對比Fig.4 Comparisonof the final saliency results betweenthe proposed algorithm and the unimproved GMR algorithm

4 實(shí)驗(yàn)結(jié)果與分析

本文算法的實(shí)驗(yàn)平臺環(huán)境為Windows10系統(tǒng)，2.80GHz CPU，8GB內(nèi)存，Matlab-R2018b.本文算法與當(dāng)前主流的13種算法：BL[8]，GMR[11]，MR[12]，SF[13]，AC[14]，SR[15]，HDCT[16]，PCA[17]，GS[18]，LMLC[19]，RBD[20]，BSCA[21]，F(xiàn)T[22]在公開數(shù)據(jù)集ECSSD、MSRA1000、PASCAL-S上進(jìn)行對比.MSRA1000是微軟提供的MSRA數(shù)據(jù)庫，其圖像簡單，目標(biāo)單一，被廣泛應(yīng)用于圖像算法比較.PASCAL-S數(shù)據(jù)集包含850幅圖片，數(shù)據(jù)集來源PASCAL VOC，不存在顏色的先驗(yàn)信息.ECSSD數(shù)據(jù)集包含1000幅多目標(biāo)且背景復(fù)雜的圖像，是目前主流對比數(shù)據(jù)集之一.上述3個(gè)數(shù)據(jù)集均包含人工標(biāo)注的顯著目標(biāo).本實(shí)驗(yàn)與其他13種算法在準(zhǔn)確率-召回率和綜合指標(biāo)F-measure進(jìn)行檢測結(jié)果對比.在結(jié)果對比過程中，對于每一幅最終檢測的結(jié)果Sfinal，通過調(diào)整閾值Tf∈[0，255]依次對顯著圖Sfinal進(jìn)行二值化，得到顯著圖Sfinal對應(yīng)的二值圖M，將結(jié)果M與真值圖GT進(jìn)行計(jì)算GT.準(zhǔn)確率(Precision)和召回率(Recall)由公式(14)和公式(15)計(jì)算得到，F(xiàn)-measure值由公式(16)計(jì)算得到.

(14)

(15)

(16)

與文獻(xiàn)[23，24]一致，其中β取值為0.3.圖5-圖8為本文算法與當(dāng)前主流的13種算法在準(zhǔn)確率-召回率以及F-measure方面的實(shí)驗(yàn)對比圖.

圖5是本文算法與主流的13種算法在MSRA1000數(shù)據(jù)集上的實(shí)驗(yàn)對比，從數(shù)據(jù)集MSRA1000上的Precision-Recall圖可以發(fā)現(xiàn)本文算法在準(zhǔn)確率方面與RBD算法較為接近，召回率要略優(yōu)于RBD算法.與GMR 算法相比在召回率方面優(yōu)勢明顯，在召回率和準(zhǔn)確率方面均要優(yōu)于MR、GMR，BL等算法.通過圖8(a)可以發(fā)現(xiàn)本文算法檢測結(jié)果的準(zhǔn)確率高于傳統(tǒng)流形排序算法GMR，與GS、HDCT算法在準(zhǔn)確率方面對比優(yōu)勢明顯.與RBD算法對比中可以發(fā)現(xiàn)本文算法的召回率與其較為接近，但是在準(zhǔn)確率方面結(jié)果要高于RBD算法.綜合指標(biāo)F-measure要優(yōu)于所對比的算法.

圖5 14種算法在MSRA1000數(shù)據(jù)集上Precision-Recall曲線圖Fig.5 Precision-Recall curves of fourteen algorithms on the MSRA 1000 dataset

圖6是本文算法與主流的13種算法在ECSSD數(shù)據(jù)集上的實(shí)驗(yàn)對比，通過Precision-Recall曲線可以發(fā)現(xiàn)本文算法對于多目標(biāo)以及背景復(fù)雜情況下的圖像檢測的準(zhǔn)確率要優(yōu)于所對比的顯著性檢測算法，說明本文算法改進(jìn)取得一定效果，通過準(zhǔn)確率對比發(fā)現(xiàn)本文算法與HDCT算較為接近，但在召回率方面要遠(yuǎn)高于HDCT算法.本文算法的準(zhǔn)確率與召回率要遠(yuǎn)高于GMR算法，與其他對比算法相比優(yōu)勢明顯.圖8(b)柱狀圖反映了本文算法與其他算法在圖片內(nèi)容較為復(fù)雜的ECSSD數(shù)據(jù)集上對比結(jié)果，可以發(fā)現(xiàn)本文算法檢測的效果要優(yōu)于GMR和BL算法.在ECSSD數(shù)據(jù)集上F-measure要優(yōu)于對比算法.由于ECSSD數(shù)據(jù)集中圖像背景和前景均較為復(fù)雜，因此實(shí)驗(yàn)對比結(jié)果低于MSRA1000數(shù)據(jù)集.圖7是本文算法與主流的13種算法在PASCAL-S數(shù)據(jù)集上的實(shí)驗(yàn)對比，通過Precision-Recall曲線可以發(fā)現(xiàn)本文算法在準(zhǔn)確率-召回率方面與RBD算法較為接近，與其他12種算法進(jìn)行對比發(fā)現(xiàn)本文算法更占優(yōu)勢.圖8(c)可以發(fā)現(xiàn)本文算法的F-measure雖然與RBD算法相近，但總體上要優(yōu)于其他對比的12種算法.

圖6 14種算法在ECSSD數(shù)據(jù)集上Precision-Recall曲線圖Fig.6 Precision-Recall curves of fourteen algorithms on the ECSSD dataset

圖7 4種算法在PASCAL-S數(shù)據(jù)集上Precision-Recall曲線圖Fig.7 Precision-Recall curves of fourteen algorithms on the PASCAL-S dataset

圖8 與其他算法比較的Precision-Recall和F-measure的柱狀圖Fig.8 Histogram of Precision-Recall and F-measure compared with other algorithms

本文算法與上述13種算法的視覺效果比較，如圖9所示.RBD和BSCA算法對于復(fù)雜背景圖像的檢測不如本文算法檢測的完整且RBD和BSCA算法將目標(biāo)影子誤識別成目標(biāo).從圖中可以看出本文算法具有很好的視覺效果，能夠一致高亮的突出前景目標(biāo)，解決了因目標(biāo)影子等造成的誤檢現(xiàn)象.通過直觀效果可以發(fā)現(xiàn)本文顯著圖能更好突出整個(gè)顯著物體，顯著目標(biāo)檢測完整性更優(yōu)，并且算法能夠很好地抑制顯著目標(biāo)的影子，提高檢測結(jié)果的準(zhǔn)確率.從圖9中可以看出本文算法對比度更好.

5 結(jié) 語

本文提出基于凸包改進(jìn)流行排序的顯著性區(qū)域檢測，依據(jù)圖像凸包信息將圖像分為前景種子和背景種子，結(jié)合圖像4種不同的超像素尺度，并根據(jù)圖像的Lab顏色特征，RGB特征和LBP紋理特征分別計(jì)算4種尺度圖像背景顯著圖和前景顯著圖，融合多尺度圖像的背景顯著圖得到最終的背景顯著圖，融合4種尺度圖像的前景顯著圖得到最終前景顯著圖，最終前景顯著圖和最終背景顯著圖融合得到弱顯著圖；采用多核增強(qiáng)(MKB)算法對由弱顯著圖生成的訓(xùn)練樣本進(jìn)行強(qiáng)分類，生成強(qiáng)顯著圖；最后融合強(qiáng)顯著圖和弱顯著圖提高檢測效果，并將融合的結(jié)果進(jìn)行優(yōu)化處理得到最終的檢測結(jié)果.本文算法解決了傳統(tǒng)基于圖的流行排序相關(guān)顯著性檢測算法處理圖像時(shí)目標(biāo)影子被誤檢以及檢測結(jié)果中顯著區(qū)域被識別成背景問題.本文算法在3類公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析，結(jié)果證明本文算法在準(zhǔn)確率-召回率以及F-measure方面效果要優(yōu)于所對比的13種主流的顯著性算法.通過實(shí)驗(yàn)分析可以發(fā)現(xiàn)本文算法對于一小部分多目標(biāo)以及小目標(biāo)圖像的檢測結(jié)果存在漏檢或者檢測不完整的現(xiàn)象，因此算法還需進(jìn)一步優(yōu)化.下一階段工作將會對提高復(fù)雜背景圖像檢測準(zhǔn)確率方面進(jìn)行改進(jìn)研究.

圖9 本文算法與其他主流顯著性檢測算法的顯著圖效果對比Fig.9 Saliency map comparison of the algorithm with other mainstream saliency detection algorithms