基于多圖流形排序的圖像顯著性檢測

于明 李博昭 于洋 劉依

圖像顯著性檢測是計算機視覺領(lǐng)域的關(guān)鍵技術(shù)之一,有著廣泛的應(yīng)用領(lǐng)域,包括目標(biāo)識別、圖像分類[1]、圖像檢索[2]、基于內(nèi)容感知的圖像壓縮等[3].人類視覺注意機制可以從自然圖像中提取出感興趣的區(qū)域供給大腦進行后續(xù)分析,如何使計算機能夠更好地模擬人類的視覺注意機制,準(zhǔn)確、快速地提取圖像中的感興趣區(qū)域,是圖像顯著性檢測研究的主要內(nèi)容.

圖像顯著性檢測方法從驅(qū)動方式上可以分為兩大類:自底向上的基于數(shù)據(jù)驅(qū)動的方法和自頂向下的基于任務(wù)驅(qū)動的方法[4].自底向上的方法主要利用圖像的底層特征,如對比度、顏色、亮度、紋理和邊緣等,提取圖像中的顯著目標(biāo).自頂向下方法是根據(jù)具體任務(wù)對自底向上的檢測結(jié)果進行調(diào)整或者根據(jù)任務(wù)樣本自動建立顯著性模型,這類方法需要大量的帶有類別標(biāo)記的示例數(shù)據(jù)集進行訓(xùn)練,且需人為控制,并依賴于所需的任務(wù).由于自底向上的顯著性檢測方法多從圖像特征入手,不依賴于特定的任務(wù),因此目前大多數(shù)研究都是基于自底向上的方式進行視覺顯著性檢測.

對比度是引起人類視覺注意的最大因素,Goferman將自底向上的基于對比度的圖像顯著性檢測算法分成以下三類[5]:考慮局部特征,考慮整體特征,以及融合整體特征和局部特征的方法.基于局部對比度的算法通常通過計算圖像的子區(qū)域或者像素與其周圍一個小的局部鄰域的對比度來衡量該圖像子區(qū)域或者像素的顯著性,代表算法有Achanta等[6]于2008年提出的AC(Salient region detection and segmentation)算法和Yan等[7]于2013年提出的HS(Hierarchical saliency)算法.AC算法通過計算像素塊在不同鄰域上的局部對比度實現(xiàn)多尺度顯著性計算.HS算法對圖像進行多級分割,在每個層級上利用局部對比度計算顯著圖,并引入等級機制對每個層級上的顯著圖進行融合得到最終的顯著圖.基于全局對比度的算法特點是對于每個子區(qū)域或像素,將整個圖像作為對比區(qū)域計算其顯著值,代表算法有Cheng等[8]于2015年提出的HC(Histogram based constrast)算法和RC(Region based contrast)算法.HC算法將一個像素的顯著性定義為該像素與其他像素的顏色對比度之和,并使用直方圖進行高效處理.針對HC算法僅考慮了像素的顏色特征,RC算法在此基礎(chǔ)上加入了位置信息.融合局部和全局對比度的方法在計算圖像顯著性時分別考慮局部對比度和全局對比度,并將二者通過一定的方式結(jié)合起來.Borji等[9]提出的LGPR(Local and global patch rarities)算法利用LAB空間的三個通道分別計算圖像塊之間的歐氏距離和圖像塊直方圖的概率分布,作為局部和全局對比度,并進行融合得到最后的顯著圖.

通常,在空域中計算像素(或像素塊)的顯著性時間復(fù)雜度高,而在頻域中計算顯著性可以提高算法的速度.如Achanta等于2009年提出的FT(Frequency-tuned)算法[10]和2010年提出的MSS(Maximum symmetric surround)算法[11],還有Hou等[12]提出的SR(Spectral residual)算法都是基于頻域的顯著性檢測方法.

Wang等[13]于2015年提出了BFSS(Background and foreground seed selection)算法,通過對原始圖像進行超像素分割并選擇背景超像素生成背景模板,計算每個超像素與背景模板中超像素塊的對比度之和,生成初始顯著圖;在二值化的初始顯著圖中選擇前景超像素生成前景模板,計算每個超像素與前景模板中超像素塊的對比度之和,生成最終的顯著圖.該算法中生成背景模板的機制耗時多,算法的時間復(fù)雜度較高.除了上述基于對比度的算法,基于閾值分割的方法也被用于進行圖像顯著性檢測.Kim等[14]于2014年提出了HDCT(High-dimensional color transform)算法,首先利用基于Otsu的多級自適應(yīng)閾值算法,計算兩個閾值,對現(xiàn)有算法生成的初始顯著圖進行閾值分割,得到三值圖像,提取三值圖像中非中間值區(qū)域像素的顏色特征,這些像素將被用作顯著區(qū)域和背景區(qū)域的初始顏色樣本,然后將低維顏色空間映射到高維顏色空間并以顏色樣本為約束,根據(jù)顏色樣本的約束估計顏色通道的最優(yōu)線性組合,最后結(jié)合高維顏色空間中的顏色值獲得顯著性圖.Zhang等[15]于2016年提出的BMA(Boolean map approach)算法將輸入圖像利用多個閾值進行分割得到多幅二值圖像,通過二值圖像間的拓?fù)浞治鲇嬎泔@著圖.基于閾值分割的顯著性檢測方法對閾值的依賴性強,閾值選擇不好往往會使算法失效.

基于圖模型的顯著性檢測算法利用圖的不同連接方式直觀地刻畫數(shù)據(jù)節(jié)點之間多樣的結(jié)構(gòu)特征,通過構(gòu)造不同的關(guān)聯(lián)矩陣(Affinity matrix)反映圖像區(qū)域之間的相似程度,由于其檢測準(zhǔn)確率高且算法復(fù)雜度低而引起更多的關(guān)注.在IT模型[16]的基礎(chǔ)上,Harel等[17]于2006年提出GBVS(Graph based visual saliency)算法,利用馬爾科夫隨機場構(gòu)建二維圖像的馬爾科夫鏈,通過求其穩(wěn)定狀態(tài)得到顯著圖.Wei等[18]于2012年提出了GS(Geodesic saliency)算法,以超像素為節(jié)點構(gòu)造圖模型,并將節(jié)點的顯著性值定義為該節(jié)點與所有背景節(jié)點之間的測地距離之和,該方法原理簡單,能夠較完整地檢測出顯著目標(biāo).Li等[19]于2013年提出了CHM(Contextual hypergraph modeling)算法將超圖模型引入到圖像顯著性檢測中,通過對原始圖像進行多級分割,在每一級上建立超圖模型并結(jié)合邊緣特征計算顯著圖.Li等[20]于2015年提出RW(Random walk)算法,該算法融合顯式視覺線索和潛在視覺相關(guān)性,同時考慮圖像區(qū)域本身的信息性及不同圖像區(qū)域之間潛在的相關(guān)性,構(gòu)建有向圖模型,在該圖模型上利用隨機游走計算各區(qū)域的顯著性值.Yuan等[21]于2018年提出的RR(Regularized random)算法中引入了正則化的隨機游走排序模型RRWR(Regularized random walk ranking)和反轉(zhuǎn)修正模型RC(Reversion correction),該算法同時利用區(qū)域和像素特征,將先驗顯著性估計引入圖像中的每個像素,從而生成基于像素細(xì)節(jié)特征和超像素區(qū)域特征的顯著圖.

基于圖模型的顯著性檢測算法普遍需要解決以下問題:如何構(gòu)建圖模型的節(jié)點集、邊集以及邊的權(quán)值選擇;如何利用圖模型計算節(jié)點的顯著性值.Yang等[22]提出的MR(Manifold ranking)算法利用圖模型刻畫圖像區(qū)域之間內(nèi)在的關(guān)系,并把流形排序的概念引入到顯著性檢測中,將圖像的顯著性檢測視為對超像素節(jié)點的二分類問題.通過基于圖模型的流形排序算法將局部分組融入到節(jié)點的分類問題中,與直接利用圖模型上節(jié)點之間的測地距離計算顯著圖的GS算法相比,MR算法得到的顯著目標(biāo)內(nèi)部更加均勻光滑[23].然而MR算法在構(gòu)造圖模型時僅將位置相鄰的節(jié)點進行連接,沒有考慮顏色相似的節(jié)點之間的連接性,這樣檢測到的顯著目標(biāo)存在不完整的問題,有時也會錯誤地突出非顯著區(qū)域.

針對以上顯著性檢測算法中存在的問題,例如顯著目標(biāo)不完整,目標(biāo)內(nèi)部不能一致均勻突出,本文提出了一個基于多圖流形排序的顯著性檢測算法.與僅利用單一圖模型的顯著性檢測算法不同,本文引入多個圖模型,分別以超像素為節(jié)點構(gòu)造基于超像素顏色特征的KNN圖模型和基于空間位置特征的K正則圖模型.在KNN圖模型中將顏色相近的節(jié)點進行連接,在K正則圖模型中將位置近鄰的節(jié)點進行連接.本文算法的主要貢獻是:1)在兩種圖模型中分別利用流形排序算法計算節(jié)點的顯著性值,并且在利用流形排序算法計算節(jié)點的顯著性值時使用全局前景假設(shè),一定程度上解決了顯著目標(biāo)位于邊界時MR算法失效的問題;2)將兩種圖模型下得到的節(jié)點顯著性值在節(jié)點級上進行加權(quán)融合,得到節(jié)點最終的顯著性值,在一定程度上彌補了單一圖模型下生成的顯著圖中噪聲較多和顯著目標(biāo)不完整的問題.

其余章節(jié)組織如下:在第1節(jié)中介紹提出的基于多圖流形排序的圖像顯著檢測算法,在第2節(jié)中將本文算法與經(jīng)典的顯著性檢測算法進行對比實驗,第3節(jié)中給出總結(jié)和展望.

1 基于多圖流形排序的圖像顯著性檢測算法

本文提出的算法是在超像素基礎(chǔ)上進行的,超像素是利用像素之間特征的相似性將顏色相近的像素分組,這樣就可以用少量的超像素代替大量的像素表示圖像,從而為后續(xù)的圖像處理降低復(fù)雜度.本文利用SLIC算法[24]對圖像進行超像素分割,對得到的超像素塊提取顏色特征和空間位置特征,以超像素為節(jié)點分別構(gòu)造基于顏色特征和空間位置特征的兩類圖模型G1和G2.在這兩類圖模型上分別利用流形排序算法計算所有節(jié)點的顯著性值和,其中f1,i表示超像素節(jié)點i在G1模型下計算得到的顯著性值,f2,i表示節(jié)點i在G2模型下計算得到的顯著性值.將兩個圖模型上得到的節(jié)點的顯著性值進行加權(quán)融合,利用融合后節(jié)點的顯著性值生成初始顯著圖,并根據(jù)中心先驗和邊界抑制對初始顯著圖進行優(yōu)化得到最終的顯著圖.在此基礎(chǔ)上將兩種圖模型下生成的顯著圖進行融合,能夠使得檢測到的顯著目標(biāo)更加完整均勻,并且能夠在一定程度上抑制單一圖模型下由于節(jié)點連接錯誤,在顯著圖中產(chǎn)生的噪聲.本文算法的流程偽碼如算法1所示:

算法1.基于多圖流形排序的圖像顯著性檢測算法

輸入:圖像In;

1)利用SLIC算法對圖像In進行超像素分割;

2)以超像素為節(jié)點構(gòu)造圖模型G1,計算圖模型G1的關(guān)聯(lián)矩陣W1和度矩陣D1;

3)計算圖模型G1下節(jié)點的顯著性值;

4)以超像素為節(jié)點構(gòu)造圖模型G2,計算圖模型G2的關(guān)聯(lián)矩陣W2和度矩陣D2;

5)計算圖模型G2下節(jié)點的顯著性值;

7)對初始顯著圖進行優(yōu)化,得到最終的顯著圖S.

輸出:顯著圖S.

1.1 基于圖模型流形排序的顯著性計算

本文涉及的流形排序問題又稱為半監(jiān)督回歸問題[25],是基于半監(jiān)督學(xué)習(xí)分類領(lǐng)域的一個分支.流形排序可以簡單描述為:給定正樣本(或負(fù)樣本),通過排序值的大小,判定某個樣本與正樣本(或負(fù)樣本)的相似性,依此對該樣本進行分類.基于圖模型的流形排序算法引進圖模型刻畫數(shù)據(jù)之間的關(guān)系,使得數(shù)據(jù)的表達更加直觀.

基于圖模型流形排序的圖像顯著性計算以超像素為節(jié)點構(gòu)造圖模型,在圖模型的基礎(chǔ)上通過求目標(biāo)函數(shù)的最小值計算每個節(jié)點相對于查詢節(jié)點的排序值,并將這個排序值定義為節(jié)點的顯著性值.這里定義查詢節(jié)點為已標(biāo)記好的超像素節(jié)點,例如將某個超像素節(jié)點標(biāo)記為前景(或背景)節(jié)點.

設(shè)圖像中超像素個數(shù)為n,構(gòu)造數(shù)據(jù)集,其中m表示超像素節(jié)點特征的維數(shù),n表示超像素節(jié)點個數(shù),其中一些節(jié)點被標(biāo)記為查詢節(jié)點.定義指示向量, 若xi為查詢節(jié)點,則yi=1,否則yi=0.定義排序函數(shù)F:,排序函數(shù)F將m×n的數(shù)據(jù)集矩陣X映射到n維向量f,其中fi表示節(jié)點i相對于查詢節(jié)點的排序值,即節(jié)點的顯著值.在數(shù)據(jù)集X上構(gòu)建一個圖模型G=(X,E),其中數(shù)據(jù)集X是節(jié)點集,邊集E是連接節(jié)點的邊構(gòu)成的集合,邊的權(quán)值由關(guān)聯(lián)矩陣表示.定義為圖模型G對應(yīng)的度矩陣(Degree matrix),其中,j=1,···,n.根據(jù)流形排序的思想,排序值f的最優(yōu)解通過以下的最優(yōu)化問題得到[22]:

其中參數(shù)μ用來平衡平滑項(第一項)和擬合項(第二項).根據(jù)式(1)求得f的最優(yōu)解為:

其中I為單位矩陣,參數(shù)α=1/(1+μ),S是歸一化的拉普拉斯矩陣S=D?1/2WD?1/2.利用非歸一化的拉普拉斯矩陣,得到f?的另一種形式:

文獻[22]中通過實驗驗證,式(3)比式(2)得到的顯著圖更準(zhǔn)確.本文利用式(3)計算每個節(jié)點的排序值即顯著性值fi.令A(yù)=(D?αW)?1,則,當(dāng)計算f?時,需要將A的對角線元素置為0,否則得到的f?中將包含節(jié)點到自身的排序值,這是一個無意義的值并且會影響最終的排序結(jié)果.

基于圖模型流形排序的顯著性檢測算法中,查詢節(jié)點的選擇是一個關(guān)鍵的問題.MR算法利用背景先驗,假設(shè)圖像邊界為背景區(qū)域,將圖像邊界節(jié)點設(shè)置為查詢節(jié)點,利用式(3)計算每個節(jié)點i相對于背景節(jié)點的排序值,則節(jié)點的顯著性值為.目前基于背景先驗的顯著性檢測算法大多利用邊界假設(shè),即假設(shè)圖像邊界為背景區(qū)域,生成背景模板,并根據(jù)背景模板計算圖像的顯著圖,這些算法大都會遇到背景鑒別這個具有挑戰(zhàn)性的問題.其中一些算法通過不同的方法優(yōu)化背景模板,RBD(Robust background detection)算法[26]通過定義節(jié)點的邊界連接性判定邊界節(jié)點屬于背景的可能性大小,邊界連接性越大的節(jié)點,其屬于背景的可能性越大.BFSS算法[13]則是通過定義節(jié)點的邊界概率選擇背景節(jié)點,節(jié)點的邊界概率越大,越有可能屬于背景.UILSG(Updating initial labels from spectral graph)算法[27]通過一個邊界節(jié)點分類機制篩選真正的背景節(jié)點.這些算法在一定程度上解決了背景鑒別的問題,但是仍然是基于邊界假設(shè)的思想,當(dāng)顯著目標(biāo)位于圖像邊界時,算法會失效.為了解決這個問題,本文采用全局前景假設(shè)的思想,將所有的節(jié)點作為查詢節(jié)點,即在利用式(3)計算節(jié)點的顯著性值時,假設(shè)所有的節(jié)點為前景節(jié)點,設(shè)置節(jié)點指示向量,將y代入式(3)計算節(jié)點的顯著性值.將所有的節(jié)點設(shè)置為查詢節(jié)點,避免了背景鑒別的問題,檢測到的顯著目標(biāo)更加完整.圖1顯示了MR算法和本文算法分別利用邊界假設(shè)和全局前景假設(shè)生成的顯著圖,其中圖1(a)為原圖,圖1(b)是人工標(biāo)注圖Ground-truth,簡稱GT,圖1(c)為MR算法中利用邊界假設(shè)生成的顯著圖,圖1(d)為MR算法中利用全局前景假設(shè)生成的顯著圖,圖1(e)為本文算法中利用邊界假設(shè)生成的顯著圖,圖1(f)為本文算法中利用全局前景假設(shè)生成的顯著圖.從圖中可以看出利用全局前景假設(shè)得到的顯著目標(biāo)更加完整.

1.2 多圖模型構(gòu)造

圖1 全局前景假設(shè)和邊界先驗的比較Fig.1 Comparison of global foreground prior and background prior

在基于圖模型的顯著性檢測算法中,圖模型的構(gòu)造對顯著圖的計算至關(guān)重要.現(xiàn)有的基于圖模型的顯著性檢測算法大多利用單一的圖模型描述圖像中不同區(qū)域之間的關(guān)系,例如GS和MR算法都是以超像素為節(jié)點,將空間相鄰的節(jié)點進行連接構(gòu)造圖模型.然而在自然圖像中,不同區(qū)域之間往往具有復(fù)雜的關(guān)系,僅使用單一的圖模型并不能夠準(zhǔn)確地描述圖像區(qū)域之間的關(guān)系.Li等[28]提出的MGL(Multi-graph learning)算法利用優(yōu)化的多圖模型學(xué)習(xí)進行顯著目標(biāo)檢測,該算法融合多個圖模型刻畫數(shù)據(jù)節(jié)點之間的關(guān)系,但是這些圖模型中節(jié)點之間的連接關(guān)系并沒有變化,只是邊的權(quán)值不同,僅改變圖模型中邊的權(quán)值并不能反映數(shù)據(jù)本身的特性,在不同的特征下,節(jié)點之間的連接性也是不同的.Zhang等[29]提出的GBOF(Graph-based optimization framework)算法通過構(gòu)造兩個圖模型并計算不同圖模型下的權(quán)值矩陣,從不同的角度刻畫節(jié)點之間的連接性.GBOF的圖模型分別是利用閾值法查找鄰接點的顏色特征圖模型和基于K正則圖模型的位置特征圖模型,顏色特征圖模型利用設(shè)定的閾值尋找每個節(jié)點的鄰接節(jié)點,當(dāng)閾值設(shè)置不合適時,會產(chǎn)生孤立節(jié)點,影響顯著目標(biāo)的檢測結(jié)果.位置圖模型與MR算法一致,兩類圖模型融合時利用圖模型的權(quán)值矩陣,通過最小化能量函數(shù)得到節(jié)點相對于查詢節(jié)點的排序值,進而生成顯著圖.

在基于圖模型的顯著性檢測算法中,圖模型需要能夠體現(xiàn)數(shù)據(jù)節(jié)點之間的連接性.常用的構(gòu)圖方法有K 正則圖、KNN圖、全連接圖和ε-圖.K 正則圖構(gòu)造方式簡單,且具有對稱性,可以用于描述超像素節(jié)點的空間位置特性.KNN圖與ε-圖都可以用于刻畫節(jié)點之間基于顏色特征的連接性,KNN圖模型是根據(jù)節(jié)點之間的顏色差異尋找每個節(jié)點的K個鄰接節(jié)點,ε-圖是根據(jù)閾值尋找每個節(jié)點的近鄰節(jié)點,但是如果閾值設(shè)置不準(zhǔn)確,ε-圖構(gòu)造的圖模型中會產(chǎn)生孤立點,影響算法的性能,所以本文使用KNN圖模型刻畫節(jié)點之間基于顏色特性的連接性.全連接圖指的是將圖模型中所有的節(jié)點兩兩相連,不能準(zhǔn)確地體現(xiàn)不同節(jié)點之間的連接關(guān)系.

1.2.1 KNN圖模型

顏色是自然圖像中的重要信息,顏色相似的區(qū)域很可能屬于同一個物體,本文基于顏色特征構(gòu)造KNN圖模型作為圖模型G1=(V1,E1).在KNN圖中每個節(jié)點只與它在某個距離測度下的K個近鄰節(jié)點相連.KNN圖模型能夠自適應(yīng)地反映節(jié)點在特征空間中的分布特性,在高密度區(qū)域,KNN圖的半徑變小;在低密度區(qū)域,KNN圖的半徑變大[30],這種能夠自動適應(yīng)節(jié)點分布特性的優(yōu)點,使得KNN圖能夠很好地擬合節(jié)點在顏色特征下的分布特性,因而可以刻畫節(jié)點在顏色特征下的連接性.

本文提取CIELAB顏色空間中超像素塊所包含的像素點的顏色特征均值作為節(jié)點的顏色特征c=(l,a,b)T,提取超像素塊所包含的像素點的空間位置特征均值作為節(jié)點的空間位置特征z=(x,y)T.定義dist(ci,cj)為超像素i和j之間的顏色距離,其中ci和cj表示超像素i和j的顏色特征;定義dist(zi,zj)為超像素i和j之間的空間位置距離,其中zi和zj表示超像素i和j的空間位置特征.KNN圖模型中,如果僅使用顏色距離尋找每個節(jié)點的近鄰節(jié)點,而不考慮相鄰節(jié)點之間的連接性,這樣構(gòu)造出的G1圖模型生成的顯著圖中顯著目標(biāo)內(nèi)部不均勻;如果僅使用空間位置距離尋找每個節(jié)點的近鄰節(jié)點,構(gòu)造出的G1圖模型生成的顯著圖中背景與顯著目標(biāo)邊界不明確,并且會錯誤地突出背景區(qū)域,所以本文在尋找近鄰節(jié)點時利用式(4)的距離度量方式:

計算超像素i與其他超像素之間的距離dist(i,j),j=1,2,···,n,,根據(jù)dist值尋找超像素i的K個近鄰超像素.利用式(4)搜索得到近鄰節(jié)點,既考慮了節(jié)點之間顏色特征的相似性又考慮了節(jié)點之間空間位置的連接性,不僅能夠限制顏色相近但位置相距較遠的節(jié)點之間的連接性,又能夠提高顏色差異較大但是位置相距較近的節(jié)點之間的連接性.

這里考慮節(jié)點位于圖像的內(nèi)部和位于圖像邊界區(qū)域兩種情況,當(dāng)節(jié)點位于圖像內(nèi)部時,在節(jié)點i與它的K個近鄰節(jié)點j之間構(gòu)造一條有向邊eij∈E1,Inner,E1,Inner為有向邊集合,有向邊的權(quán)值定義為:

其中σ是一個常數(shù),用來控制權(quán)值的強度.

由于圖像的邊界區(qū)域大多屬于背景區(qū)域,在KNN圖模型的基礎(chǔ)上,本文將邊界節(jié)點兩兩連接.邊界節(jié)點指的是當(dāng)超像素中包含圖像邊界像素時,則該超像素節(jié)點被定義為邊界節(jié)點.將圖像的任意兩個邊界節(jié)點i和j之間構(gòu)造兩條有向邊,分別為從節(jié)點i指向節(jié)點j的有向邊eij和從節(jié)點j指向節(jié)點i的有向邊eji,其中eij,eji∈E1,Boundary,E1,Boundary為有向邊集合,集合E1,Boundary中的有向邊上的權(quán)值定義為:

圖2 不同圖模型生成的顯著圖比較Fig.2 Comparison of saliency maps obtained by different graphs

綜上所述,G1圖模型中邊的權(quán)值為:

1.2.2 K正則圖模型

在自然圖像中位置相近的圖像區(qū)域?qū)儆谕活悈^(qū)域(前景或背景區(qū)域)的概率很大.與文獻[22]中構(gòu)造圖模型的方法相同,這里將空間位置相近的節(jié)點進行連接,利用K正則圖(K regular graph)構(gòu)造G2=(V2,E2)圖模型.在G2圖模型中每個節(jié)點不僅與它的相鄰節(jié)點連接,并且和與它相鄰節(jié)點有共同邊界的節(jié)點進行連接.根據(jù)中心偏置原理,顯著目標(biāo)大多位于圖像中心,圖像的邊界區(qū)域很可能屬于同一區(qū)域(背景區(qū)域),故與G1圖模型的構(gòu)造方式類似,在G2中本文也將圖像的邊界節(jié)點兩兩連接,加強邊界節(jié)點之間的連接性.G2圖模型中邊的權(quán)值為:

1.3 顯著性融合

圖模型G1將顏色相近的節(jié)點連接起來,得到的顯著圖能夠比較完整地突出顯著目標(biāo),但是存在顯著目標(biāo)內(nèi)部不均勻或者顯著目標(biāo)不能一致高亮的問題;G2模型中將位置相近的節(jié)點連接起來,得到的顯著圖能夠使顯著目標(biāo)的內(nèi)部一致高亮,但是顯著圖中存在突出背景區(qū)域,顯著目標(biāo)與背景區(qū)域邊界不清晰的問題.如圖2所示,圖2(a)為原圖,圖2(b)為GT,圖2(c)為超像素分割圖像,圖2(d)為僅利用G1圖模型生成的顯著圖,圖2(e)為僅使用G2圖模型生成的顯著圖,圖2(f)為G1和G2融合生成的顯著圖.從圖2(d)中可以看出檢測到的顯著目標(biāo)雖然比較完整且邊界清晰,但其內(nèi)部沒有均勻一致高亮;圖2(e)中盡管顯著目標(biāo)內(nèi)部均勻一致高亮但是背景噪聲明顯.故本文提出了一種融合方式,將這兩種圖模型得到的節(jié)點的顯著性值在節(jié)點級上進行融合,即在兩種圖模型中,分別利用第1.1節(jié)中的式(3)計算節(jié)點的顯著性值,記為,將和進行加權(quán)融合,得到超像素最終的顯著性值:

其中f=(f1,f2,···,fn)T,fi表示超像素i的顯著性值,i=1,2,···,n.從圖2(f)中可以看出檢測到的顯著目標(biāo)內(nèi)部不僅一致均勻突出,并且濾除了部分背景噪聲.

1.4 顯著圖優(yōu)化

利用第1.3節(jié)中式(11)計算超像素的顯著性值f=(f1,f2,···,fn)T,其中fi表示第i個超像素的顯著性值,i=1,2,···,n,將顯著性值賦給超像素i所包含的所有像素作為每個像素的顯著性值,這樣得到一個全分辨率的與原圖像大小相等的初始顯著圖Sco.

由于顯著目標(biāo)大多處于圖像的中央,并且位于圖像中央的區(qū)域更能引起人們的關(guān)注,故本文引進中心先驗圖加強初始顯著圖Sco中顯著目標(biāo)的亮度.由于初始顯著圖Sco的邊界中存在一些噪聲,為了進一步濾除背景噪聲,本文引入邊界抑制操作對初始顯著圖Sco進行優(yōu)化.首先,根據(jù)中心先驗思想對圖像中心進行加強,利用關(guān)于圖像中心的各向同性的對稱高斯模型模擬圖像的中心先驗圖[31]:

其中xi和yi是像素的水平和垂直坐標(biāo),x0和y0是圖像中心像素的水平和垂直坐標(biāo),σx和σy分別代表水平方向和垂直方向上的方差,σx和σy取值相同.將中心先驗圖Sce與初始顯著圖Sco進行融合得到優(yōu)化后的顯著圖:

式(13)中“·”表示點乘,即將Sco與Sce兩幅顯著圖中對應(yīng)像素點的顯著值逐個相乘,得到顯著圖S中對應(yīng)像素的顯著值.

其次,在顯著圖S的基礎(chǔ)上,通過MATLAB中的imclearborder函數(shù)的邊界抑制操作抑制S中與邊界相連的高亮區(qū)域的亮度,即將與邊界相連的且面積較小的高亮區(qū)域的亮度降低,以進一步去除背景噪聲,得到優(yōu)化的顯著圖.

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)庫及評價指標(biāo)

為了驗證本文方法的有效性,將本文提出的方法在MSRA-10K[32]、SED2[33]和 ECSSD[34]這三個公開的數(shù)據(jù)集上進行測試.MSRA-10K數(shù)據(jù)庫是目前該領(lǐng)域最常用的一個數(shù)據(jù)庫,該庫中共包含10000張圖像.數(shù)據(jù)庫中的圖像顯著目標(biāo)的種類繁多,但是大多數(shù)只包含一個顯著目標(biāo),并且圖像的背景相對簡單.SED2數(shù)據(jù)庫包含100張圖像,每張圖像中包含兩個顯著目標(biāo).ECSSD數(shù)據(jù)庫包含1000幅內(nèi)容豐富且背景復(fù)雜的圖像.這三個數(shù)據(jù)庫都提供了人工標(biāo)記的二值圖像作為GT,以便于評價顯著圖的性能.

對于本文方法所涉及的參數(shù),由于數(shù)據(jù)庫中的圖像多為400×300左右,為了保證算法時間效率的同時又不影響檢測結(jié)果,本文將初始超像素個數(shù)設(shè)置為200.在構(gòu)造KNN圖模型時,如果每個節(jié)點的鄰接節(jié)點的個數(shù)K的取值太小會影響目標(biāo)內(nèi)部的完整性,K取值太大會檢測到較多的噪聲,實驗中選取了多種K值進行對比實驗,結(jié)果顯示當(dāng)K=5時,實驗結(jié)果最好.在式(4)中,λz和λc分別用來控制位置特征與顏色特征在距離公式中所占的權(quán)重,當(dāng)λz過大時,檢測到的顯著目標(biāo)邊界不明確,當(dāng)λz過小時,顯著目標(biāo)內(nèi)部不完整,實驗中設(shè)置多組λz與λc的值,當(dāng)λz=0.5,λc=1實驗結(jié)果最好,故本文中設(shè)置λz=0.5,λc=1.式(6)、(7)和(10)中的σ2均設(shè)置為經(jīng)驗值0.05.式(11)中的μ1和μ2分別用來控制不同圖模型下超像素塊的顯著性值融合時的權(quán)重,實驗中選取了多組μ1和μ2的值,當(dāng)μ1=μ2=0.5時實驗結(jié)果最好.式(12)中,實驗中選擇多組參數(shù)值進行對比實驗,當(dāng)實驗結(jié)果最好.

圖像顯著性檢測方法很多,本文選取14種常用的顯著性檢測算法進行對比,這14種算法分別是基于全局對比度的HC和RC算法,基于局部對比度的AC算法,基于分層顯著性融合的HS算法,基于頻域的SR算法、FT算法和MSS算法,基于背景先驗的GS算法,MR算法和BFSS算法,基于隨機游走的RW算法,基于高維顏色轉(zhuǎn)化的HDCT算法,基于二值圖拓?fù)浞治龅腂MA算法和基于正則隨機游走排序的RR算法.所用對比算法源碼鏈接1https://github.com/libozhao/saliency-detection-methods/blob/master/README.md和本文算法源碼2https://github.com/libozhao/saliency可見相關(guān)網(wǎng)頁.MR和GS算法都是基于圖模型的顯著性檢測算法,MR是利用基于圖模型的流形排序算法進行顯著性檢測,GS是基于圖模型上的測地距離計算顯著性.本文引入四種常用的評價指標(biāo)評測提出的算法,這四種指標(biāo)分別是P-R(Precision-recall)曲線、ROC曲線、F-measure和AUC值[34].

1)P-R曲線

P-R曲線是最常用的評價顯著性檢測算法優(yōu)劣的指標(biāo).對于一幅顯著圖S,將S中像素值歸一化到[0,1],然后從0到1依次選取閾值對S進行二值化,得到二值圖像M,GT表示Ground-truth.根據(jù)式(14)計算查準(zhǔn)率(Precision)和查全率(Recall):

2)ROC曲線

ROC曲線的繪制方式與P-R曲線類似,對于顯著圖S,將S調(diào)整到[0,1],然后從0到1依次選取閾值對S進行二值化,得到二值圖像M,GT表示Ground-truth,表示GT取反.根據(jù)式(15)計算真陽性率(TPR)和假陽性率(FPR):

相同真陽性率下,假陽性率越小,顯著性檢測算法越好.

3)F-measure

F-measure用來綜合衡量查全率和查準(zhǔn)率:

式(16)中,β用來決定查全率和查準(zhǔn)率的影響程度,為了強調(diào)準(zhǔn)確率的重要性,通常β2設(shè)置為0.3.F值越大表明顯著性檢測算法的性能越好.

4)AUC值

AUC值被定義為ROC曲線下面積,即ROC曲線與X軸包圍的面積.ROC曲線有較小的假陽性率和較大的真陽性率是最優(yōu)的,所以AUC值越大則表示顯著性算法性能越好.

本文首先使用一系列的固定閾值對數(shù)據(jù)庫中所有圖像在某個算法下的顯著圖進行二值化,利用得到的二值圖像與GT進行比較,計算每幅顯著圖在不同閾值下的Precision和Recall,然后在每個閾值下分別計算所有圖像的Precision和Recall的平均值,作為該閾值下的Precision和Recall繪制P-R曲線.ROC曲線的繪制方式與P-R曲線類似,也是利用一系列的固定閾值.與Precision和Recall的計算方式不同,F值的計算方式是利用自適應(yīng)閾值對每幅顯著圖進行二值化,然后與GT進行比較,計算每幅圖像的F,然后計算所有圖像F的平均值,作為該方法在該數(shù)據(jù)庫上的F.

2.2 多圖模型有效性實驗比較

為了驗證多圖模型的有效性,本文分別在數(shù)據(jù)庫MSRA-10K、SED2和ECSSD上進行了三組實驗.這三組實驗分別是僅利用K正則圖模型生成顯著圖,僅利用KNN圖模型生成顯著圖,以及融合兩種模型計算得到的顯著圖,并計算這三組實驗的P、R和F值.表1是在數(shù)據(jù)庫MSRA-10K、SED2和ECSSD上的對比實驗結(jié)果.表1中K正則表示僅利用K正則圖模型生成顯著圖,KNN表示僅利用KNN圖模型生成顯著圖,K正則+KNN表示將K正則圖模型下生成的顯著圖與KNN模型下生成的顯著圖進行融合.

從表1的第2～4列和第8～10列可以看出在MSRA-10K和ECSSD數(shù)據(jù)庫上,與僅利用K正則圖和KNN圖模型的實驗結(jié)果相比,將K正則圖和KNN圖模型進行融合的實驗結(jié)果優(yōu)于僅利用單一圖模型的實驗結(jié)果.在SED2數(shù)據(jù)庫中,由于存在前景與背景顏色非常相似的圖片,在構(gòu)造KNN圖模型時,會錯誤地將背景節(jié)點與前景節(jié)點連接起來,故KNN圖模型下生成的顯著圖準(zhǔn)確率低于K正則圖模型下生成的顯著圖.但是將K正則圖模型與KNN圖模型下生成的顯著圖進行融合,結(jié)果優(yōu)于僅利用KNN圖模型生成的顯著圖,如表1第5～7列所示.故將兩個圖模型下生成的顯著圖進行融合能夠改善實驗結(jié)果.

2.3 全局前景假設(shè)有效性實驗比較

為了驗證本文中全局前景假設(shè)的有效性,本文在數(shù)據(jù)庫MSRA-10K、SED2和ECSSD上分別進行對比實驗,在這三個數(shù)據(jù)庫上分別利用邊界假設(shè)生成顯著圖,利用全局前景假設(shè)生成顯著圖,并計算這兩類顯著圖的P、R和F值記錄在表2中.表2中“邊界”表示利用邊界假設(shè)生成的顯著圖.“全局”表示利用全局前景假設(shè)生成的顯著圖.

從表2可以看出,利用全局前景假設(shè)生成的顯著圖在三個數(shù)據(jù)庫上的R值平均提升31.0%,F值平均提升8.6%,優(yōu)于利用邊界假設(shè)生成的顯著圖.

2.4 優(yōu)化策略有效性實驗比較

為了驗證本文所用優(yōu)化策略的有效性,分別在數(shù)據(jù)庫MSRA-10K、SED2和ECSSD上計算初始顯著圖與優(yōu)化顯著圖,并計算相應(yīng)的P、R和F值將結(jié)果記錄在表3中.表3中的“初始圖”表示初始顯著圖,“優(yōu)化圖”表示優(yōu)化后的顯著圖.

從表3第2～4列和第8～10列可以看出,在MSRA-10K和ECSSD數(shù)據(jù)庫上,與初始顯著圖相比,優(yōu)化后的顯著圖在P值和F值上均有提升.數(shù)據(jù)庫SED2中,圖片數(shù)量小并且存在大量顯著目標(biāo)靠近邊界的圖片,在該數(shù)據(jù)庫上優(yōu)化后的顯著圖比初始顯著圖在F值上有所下降.但是在MSRA-10K和ECSSD上,加入中心先驗和邊界抑制進行優(yōu)化后,實驗結(jié)果中F值和P值均有所提升.由于大多數(shù)圖像的顯著目標(biāo)處于圖像的中央,并且位于圖像中央的區(qū)域更能引起人們的關(guān)注,故本文引入優(yōu)化策略對初始顯著圖進行優(yōu)化.

表1 K正則圖模型、KNN圖模型和K正則圖模型+KNN圖模型比較Table 1 The comparison of K regular graph,KNN graph,and K regular graph+KNN graph

表2 邊界假設(shè)和全局前景假設(shè)比較Table 2 The comparison of boundary assumption and global foreground assumption

表3 初始顯著圖和優(yōu)化后顯著圖的比較Table 3 The comparison of original saliency maps and re fined saliency maps

2.5 MSRA-10K數(shù)據(jù)庫上的實驗結(jié)果

圖3 MSRA-10K數(shù)據(jù)庫上實驗結(jié)果Fig.3 Experimental results on the MSRA-10K database

本文算法與其他的14種算法在MSRA-10K數(shù)據(jù)庫上的部分實驗結(jié)果的對比圖見圖3.從圖3中可以看出,基于對比度的HC和AC算法,在背景與前景顏色相似時,會錯誤地突出背景區(qū)域.FT和MSS算法,雖然保留了比較完整的圖像信息,但是沒有一致高亮顯著目標(biāo).SR算法沒有保留足夠的高頻信息,導(dǎo)致顯著目標(biāo)的邊界不清晰.當(dāng)顯著目標(biāo)之間存在較大的差異時,MR算法會出現(xiàn)漏檢的現(xiàn)象,如圖3中MR算法的(a)、(b)所示;當(dāng)顯著目標(biāo)與邊界相連或者與邊界顏色相似時,該算法會錯誤地突出背景區(qū)域,如圖3中MR算法的(c)、(d)圖像所示.RC和HS的檢測結(jié)果相似,基本能夠準(zhǔn)確地定位顯著目標(biāo),但是從圖3中的(d)、(e)可以看出RC和HS算法都存在錯誤突出背景區(qū)域的問題.當(dāng)顯著目標(biāo)與背景顏色相似時,HDCT算法生成的顯著圖中不能正確地檢測出顯著目標(biāo),如圖3中HDCT算法的(c)、(e)所示.BFSS算法也是基于邊界假設(shè)的一種算法,當(dāng)顯著目標(biāo)與邊界顏色相似時會錯誤地突出背景區(qū)域,例如BFSS算法中的(d)、(e)所示.RW 和BMA算法生成的顯著圖中顯著目標(biāo)的邊界不清晰.RR算法生成的顯著圖中存在較多的背景噪聲,如圖3中的RR算法(d)和(e)所示,當(dāng)顯著目標(biāo)之間存在較大顏色差異時,RR算法存在漏檢的現(xiàn)象,如圖3中RR算法(a)和(b)所示.本文算法不僅能夠準(zhǔn)確地定位顯著目標(biāo),并且顯著目標(biāo)內(nèi)部更加光滑,邊界更加清晰,并且有效減少背景噪聲.

為了更加客觀地進行比較,本文中利用P-R曲線、ROC曲線和F值進行定量對比.圖4是MSRA-10K數(shù)據(jù)庫上各種算法的P-R曲線、ROC曲線和F值,其中圖4(a)和圖4(b)為P-R曲線,圖4(c)和圖4(d)為ROC曲線,圖4(e)和圖4(f)為F值.圖4中第一列表示本文算法與FT、GS、AC、MSS、HS、MR、RC、HC 和 SR算法的對比,圖4中第二列表示本文所提算法與BFSS、RW、HDCT、BMA和RR算法的對比.在后文中圖6和圖8中的排列方式同圖4.從圖4(a)和(b)中可以看出本文算法的P-R曲線與MR、RC、HS和RR算法基本持平且優(yōu)于其他算法.圖4(c)和(d)中顯示本文算法的ROC曲線優(yōu)于其他算法.圖4(e)中顯示本文算法的查全率(Recall)高于MR算法低于GS算法,查準(zhǔn)率(Precision)略低于MR算法但高于GS算法.說明本文算法在保持較高查準(zhǔn)率的同時,能夠比較完整地檢測到圖像的顯著目標(biāo).

圖4 MSRA-10K數(shù)據(jù)庫上的P-R曲線、ROC曲線和F值Fig.4 P-R curves,ROC curves,and F values on the MSRA-10K database

圖5 SED2數(shù)據(jù)庫上實驗結(jié)果Fig.5 Experimental results on the SED2 database

2.6 SED2數(shù)據(jù)庫上的實驗結(jié)果

SED2數(shù)據(jù)庫中的圖像大多含有兩個顯著目標(biāo),并且有的顯著目標(biāo)靠近圖像邊界,相比MSRA-10K數(shù)據(jù)庫中只包含單個顯著目標(biāo),SED2更具挑戰(zhàn)性,但是該數(shù)據(jù)庫中的圖片背景比較簡單.圖5是SED2數(shù)據(jù)庫上的部分實驗結(jié)果對比圖.從圖5中可以看出,HC和RC算法生成的顯著圖背景噪聲較多,顯著目標(biāo)的邊界不明確.AC、SR、FT和MSS算法沒有突出顯著目標(biāo).基于背景先驗的MR算法,當(dāng)顯著目標(biāo)靠近邊界時,會將顯著目標(biāo)錯誤的檢測為背景,并且存在漏檢的現(xiàn)象.GS算法也存在與MR相似的問題,并且生成的顯著圖中背景噪聲較多.HDCT算法基本能夠準(zhǔn)確地定位顯著目標(biāo),但是當(dāng)顯著目標(biāo)比較大時,算法會失效,如圖5中HDCT算法的(d)所示.當(dāng)顯著目標(biāo)與邊界相連或者靠近邊界時,BFSS算法會錯誤地突出背景區(qū)域.BMA算法生成的顯著圖沒有突出顯著目標(biāo),如圖5中BMA算法所示.RR算法檢測到的顯著目標(biāo)不完整,如圖5中的RR算法(c)和(d)所示.本文算法得到的顯著目標(biāo)不僅一致均勻,并且顯著圖中背景噪聲相對較少.

圖6是SED2數(shù)據(jù)庫上的P-R、ROC曲線和F值.圖6(a)中顯示,在該數(shù)據(jù)庫上,除了SR的P-R曲線比較低以外,其他9種算法的P-R曲線比較接近,HS的P-R曲線最高,本文算法略低于HS.圖6(b)中顯示,本文算法的P-R曲線與BFSS、RW、HDCT算法基本持平.圖6(c)顯示,除了SR的ROC曲線比較低以外,其他的曲線比較接近.圖6(d)顯示本文算法的ROC曲線于其他5個算法基本持平.圖6(e)顯示本文算法的查準(zhǔn)略低于最高的MSS算法;圖6(f)顯示本文算法的查準(zhǔn)率略低于HDCT算法.由于該數(shù)據(jù)庫中存在顯著目標(biāo)非常小的圖片,本文算法計算該種圖片的顯著圖時,在利用SLIC算法對原始圖像進行超像素分割時可能會將顯著目標(biāo)與背景區(qū)域分割到同一超像素塊中,故本文算法在該數(shù)據(jù)庫中的查全率低于基于像素點對比度的HC算法,但是由于引進了基于顏色特征的KNN圖模型,本文算法的查全率高于MR算法.通過比較發(fā)現(xiàn)本文算法在該數(shù)據(jù)庫上保持高查準(zhǔn)率的同時能夠較完整地突出顯著目標(biāo).

2.7 ECSSD數(shù)據(jù)庫上的實驗結(jié)果

ECSSD數(shù)據(jù)庫中的圖片不僅背景復(fù)雜,并且顯著目標(biāo)的紋理也很復(fù)雜.比MSRA-10K和SED2更具挑戰(zhàn)性.圖7是ECSSD數(shù)據(jù)庫上實驗結(jié)果的對比圖.圖7中第(a)行的原始圖像中顯著目標(biāo)與背景中的深色草地部分顏色相似,除了GS和本文算法外,其他的算法都突出了部分背景區(qū)域或者沒有完整突出顯著目標(biāo).與GS相比,本文算法的顯著目標(biāo)內(nèi)部更加均勻;圖7第(b)行中,MR算法只突出了部分顯著目標(biāo);圖7第(c)行中顯著目標(biāo)紋理比較復(fù)雜,只有MR、GS和本文算法能夠比較均勻地突出顯著目標(biāo),但是本文算法的顯著目標(biāo)內(nèi)部更加光滑完整;圖7第(d)行中顯著目標(biāo)顏色與背景相近,只有RC、MR和本文算法能夠比較好地突出顯著目標(biāo);圖7第(e)行的原始圖像中顯著目標(biāo)各部分顏色差異較大,本文算法相對完整地突出了顯著目標(biāo).

圖8是該數(shù)據(jù)庫上不同算法的P-R曲線、ROC曲線和F值.從圖8(a)、(b)和(c)、(d)可以看出本文算法的P-R曲線和ROC曲線都是該數(shù)據(jù)庫上最高的.無論從P-R曲線還是ROC曲線都可以看出,本文算法優(yōu)于當(dāng)前流行的14種算法.圖8(e)和(f)可以看出本文算法的F值是該數(shù)據(jù)庫上最高的,表明本文算法能夠比較準(zhǔn)確地檢測顯著目標(biāo),并且顯著目標(biāo)更加完整.

圖6 SED2數(shù)據(jù)庫上的P-R曲線、ROC曲線和F值Fig.6 P-R curves,ROC curves,and F values on the SED2 database

表4是各種算法在不同數(shù)據(jù)庫上的AUC值和F值,從表4第2列和第5列可以看出本文算法在MSRA-10K數(shù)據(jù)庫上的AUC值為0.9532,F值為0.8327,這兩個指標(biāo)都是該數(shù)據(jù)庫上最優(yōu)的.從表4第3列和第6列可以看出本文算法在SED2數(shù)據(jù)庫上的AUC值達到0.8937,F值達到0.7456.從表4第4列和第7列可以看出本文算法在ECSSD數(shù)據(jù)庫上的AUC值達到0.9114,F值達到0.7034,這兩個指標(biāo)都是該數(shù)據(jù)庫上最優(yōu)的.通過以上的比較發(fā)現(xiàn),本文算法能夠準(zhǔn)確地檢測出顯著目標(biāo),并且能夠一致均勻地突出顯著目標(biāo).

本文算法采用MATLAB R2014b編程實現(xiàn),系統(tǒng)環(huán)境為Windows10,CPU頻率為3.6GHZ,8GB內(nèi)存.表5為不同算法在該實驗環(huán)境下運行數(shù)據(jù)庫ECSSD、SED2上所有圖片和MSRA-10K上前1000張圖片所用時間的平均值.從表5中可以看出本文算法的平均運行時間為1.30秒,結(jié)合本文算法的檢測效果,本文提出的算法具有優(yōu)越性.

圖7 ECSSD數(shù)據(jù)庫上實驗結(jié)果Fig.7 Experimental results on the ECSSD database

表4 各種方法在不同數(shù)據(jù)庫上的AUC值和F值Table 4 The AUC and F values of the various methods on different databases

表5 各種方法平均運行時間Table 5 The average runtimes of different methods

圖8 ECSSD數(shù)據(jù)庫上的P-R曲線、ROC曲線和F值Fig.8 P-R curves,ROC curves,and F values on the ECSSD database

3 結(jié)論

本文提出了一個基于多圖流形排序的圖像顯著性檢測算法.該算法分別利用超像素的位置特征和顏色特征,基于K正則圖和KNN圖構(gòu)造兩類圖模型,分別在兩種圖模型上利用流形排序算法計算超像素的顯著性值,并將每個圖模型下得到的超像素的顯著性值進行加權(quán)融合得到超像素最終的顯著性值.本文將提出的算法與當(dāng)前流行的14種算法在MSRA-10K、SED2和ECSSD數(shù)據(jù)庫上進行了對比,無論是在視覺效果上還是在定量指標(biāo)上,本文算法都具有明顯優(yōu)勢.針對背景與前景顏色相似的圖片,本文算法的檢測效果需要進一步提高,未來考慮提取更多的特征比如超像素的形狀特征,并結(jié)合流形排序算法提取更加準(zhǔn)確的顯著目標(biāo).