層次圖融合的顯著性檢測(cè)*

王慧玲，羅 斌

1.阜陽(yáng)師范學(xué)院 計(jì)算機(jī)與信息工程學(xué)院，安徽 阜陽(yáng) 236000

2.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥 230601

層次圖融合的顯著性檢測(cè)*

王慧玲1,2，羅 斌2+

1.阜陽(yáng)師范學(xué)院 計(jì)算機(jī)與信息工程學(xué)院，安徽 阜陽(yáng) 236000

2.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥 230601

WANG Huiling,LUO Bin.Saliency detection based on hierarchical graph integration.Journal of Frontiers of Computer Science and Technology,2016,10(12)：1752-1762.

顯著性目標(biāo)檢測(cè)在物體分割、自適應(yīng)壓縮和物體識(shí)別等領(lǐng)域有眾多應(yīng)用，從自然場(chǎng)景中準(zhǔn)確檢測(cè)出最重要的區(qū)域一直是個(gè)挑戰(zhàn)。針對(duì)現(xiàn)有的基于圖的流形排序算法，因忽略特征的空間信息而導(dǎo)致檢測(cè)準(zhǔn)確率不高的問(wèn)題，提出了一種基于流形排序的多尺度顯著性檢測(cè)算法。首先對(duì)原始圖像進(jìn)行多尺度下的超像素分解。然后利用邊界先驗(yàn)，根據(jù)流形排序算法計(jì)算查詢點(diǎn)與其余結(jié)點(diǎn)的相關(guān)度排序。最后通過(guò)構(gòu)建圖模型，從多層結(jié)構(gòu)中分析顯著性線索，對(duì)顯著圖進(jìn)行融合得到最終結(jié)果。在ASD、CSSD、ECSSD和SOD數(shù)據(jù)集上，同9種流形算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明該算法在保持高查全率的同時(shí)也提高了準(zhǔn)確率。

顯著性檢測(cè)；流形排序；超像素分割；多尺度分析；圖模型

1 引言

顯著性物體檢測(cè)旨在根據(jù)人類視覺(jué)注意，從圖像中找出最突出的部分，而如何模擬人眼視覺(jué)注意機(jī)制，使計(jì)算機(jī)視覺(jué)擁有類似人眼的能力，便是顯著性檢測(cè)研究的目標(biāo)。近幾十年來(lái)，顯著性檢測(cè)得到很快的發(fā)展，應(yīng)用在如圖像分割[1]、圖像檢測(cè)[2]、物體識(shí)別[3-4]、視頻摘要[5]等眾多領(lǐng)域。從上世紀(jì)80年代開(kāi)始，眾多領(lǐng)域的專家對(duì)顯著性進(jìn)行深入的研究，在機(jī)器視覺(jué)領(lǐng)域也提出了各種顯著性檢測(cè)方法。

大部分低層視覺(jué)模型中很有影響力的因素是對(duì)比度。這些顯著性檢測(cè)方法利用圖像內(nèi)部信息（如顏色、亮度、方向等低層特征）來(lái)計(jì)算圖像顯著性，大致可分為局部方法和全局方法兩大類。

局部對(duì)比度方法利用當(dāng)前區(qū)域相對(duì)于局部鄰域的稀有度來(lái)獲取顯著性目標(biāo)。Itti等人[6]定義了基于多尺度特征對(duì)比度來(lái)獲取圖像顯著性的計(jì)算模型。Liu等人[7]利用條件隨機(jī)場(chǎng)（conditional random field，CRF）來(lái)融合圖像的顯著性特征，并從背景中分離出顯著性物體。Ma等人[8]提出了通過(guò)模糊增長(zhǎng)模型來(lái)擴(kuò)展基于局部對(duì)比度的顯著性分析方法。Goferman等人[9]利用圖像上下文信息和高層語(yǔ)義信息來(lái)提高顯著性檢測(cè)的效果。但是這些局部對(duì)比度方法易于突出顯著性物體的輪廓，而不是整個(gè)目標(biāo)。

全局對(duì)比度方法利用當(dāng)前區(qū)域與其他所有區(qū)域的對(duì)比度來(lái)計(jì)算顯著性值，可以均勻地突出整個(gè)顯著性目標(biāo)。Zhai等人[10]使用當(dāng)前像素與其余所有像素的差異來(lái)定義像素級(jí)顯著性。Achanta等人[11]利用當(dāng)前像素與整個(gè)圖像的平均色差來(lái)計(jì)算顯著性。Cheng等人[12]同時(shí)考慮空間關(guān)系和特征對(duì)比度，使用直方圖加速算法得到圖像顯著圖。然而，全局顯著性檢測(cè)算法在前景顯著性目標(biāo)和背景特征相似時(shí)，檢測(cè)效果不理想。

一些利用先驗(yàn)信息的方法也取得了明顯的進(jìn)步。Xie等人[13]利用圖像關(guān)鍵點(diǎn)構(gòu)造凸包，設(shè)置其包含的區(qū)域?yàn)榍熬?，通過(guò)貝葉斯框架來(lái)獲取顯著性目標(biāo)。Wei等人[14]將圖像邊界作為背景，通過(guò)計(jì)算先驗(yàn)背景與其他區(qū)域塊的測(cè)地線距離來(lái)計(jì)算顯著性。Xu等人[15]提出了綜合采用背景和前景的層次先驗(yàn)估計(jì)的顯著性檢測(cè)策略。

近年來(lái)，圖模型也被應(yīng)用到顯著性檢測(cè)中，而且有著很高的檢測(cè)準(zhǔn)確率。Harel等人[16]運(yùn)用馬爾可夫隨機(jī)場(chǎng)的特點(diǎn)構(gòu)建二維圖像的馬爾可夫鏈，通過(guò)求其平衡分布得到顯著圖。Jiang等人[17]對(duì)圖像進(jìn)行超像素分割，利用吸收馬爾可夫鏈進(jìn)行顯著性檢測(cè)。Yang等人[18]將圖像邊界的超像素塊作為背景，使用K-正則圖來(lái)表示結(jié)點(diǎn)間的空間關(guān)系，計(jì)算基于背景種子點(diǎn)的流形排序，并以此為基礎(chǔ)計(jì)算前景種子點(diǎn)與其他區(qū)域的相似度排序得分，獲得最終的顯著圖。

使用文獻(xiàn)[18]的算法進(jìn)行顯著性檢測(cè)時(shí)，由于自然圖片本身的多樣性和復(fù)雜性，不同圖像顯著性目標(biāo)的大小未知，超像素分割尺寸直接影響檢測(cè)結(jié)果的準(zhǔn)確性。

針對(duì)上述問(wèn)題，多尺度的方法可以減少因單一尺度分割誤差所帶來(lái)的檢測(cè)結(jié)果不準(zhǔn)確，保持和彌補(bǔ)不同尺度分割的優(yōu)缺點(diǎn)，提出一種多層圖融合的顯著性檢測(cè)算法。算法在對(duì)原始圖像進(jìn)行多尺度超像素分割的基礎(chǔ)上，考慮其空間特征，利用層次圖模型對(duì)多層顯著圖進(jìn)行整合，進(jìn)一步提高檢測(cè)結(jié)果的準(zhǔn)確性。

2 基于圖的流形排序顯著性方法

基于圖的流形排序算法[18]manifold ranking，MR）是在構(gòu)建K-正則圖的基礎(chǔ)上，將顯著性檢測(cè)轉(zhuǎn)化為種子點(diǎn)與其余結(jié)點(diǎn)之間的相似度流形排序。給定圖像的點(diǎn)集X={x1,x2,…,xn}∈Rm×n，構(gòu)建基于X的圖模型G=(V,E)，其中V是關(guān)于X的頂點(diǎn)集，E是頂點(diǎn)之間的邊集合。y=[y1,y2,…,yn]T為指示向量，在流形排序算法中，如果xi為查詢，則yi=1，否則yi=0。定義排序函數(shù)：f:X→Rn來(lái)計(jì)算查詢種子點(diǎn)到每個(gè)頂點(diǎn)xi的相關(guān)性排序得分。其排序得分可通過(guò)式（1）最優(yōu)化得到。

其中，W=[wij]n×n是邊加權(quán)的關(guān)聯(lián)矩陣，，xi和xj為區(qū)域i和 j在CIELab顏色空間的特征值。 D=diag(d11,d22,…,dnn)是圖G的度矩陣，其中，參數(shù)u控制平滑約束（第一項(xiàng)）和擬合約束（第二項(xiàng)）。

對(duì)式（1）求導(dǎo)，并使其結(jié)果等于0，得到關(guān)于排序函數(shù)的最優(yōu)解，文獻(xiàn)[19]給出嚴(yán)格證明。其優(yōu)化結(jié)果的矩陣表示為：

其中，I是單位矩陣;α=1/(1+u)；S=D-1/2WD1/2是規(guī)范化的拉普拉斯矩陣。本質(zhì)上說(shuō)，流形排序可以看成獲得正項(xiàng)實(shí)例和負(fù)項(xiàng)實(shí)例的二分類問(wèn)題。對(duì)式（2）進(jìn)行改進(jìn)（文獻(xiàn)[18]的實(shí)驗(yàn)結(jié)果證明式（3）效果更優(yōu)），使用非規(guī)范化的拉普拉斯矩陣。

利用圖像邊界大多是背景的先驗(yàn)信息，通過(guò)式（4）分別計(jì)算基于上、下、左、右4邊的顯著性圖，即St(i)、Sd(i)、Sl(i)、Sr(i)，計(jì)算公式為：

觀察可知，圖像的分割效果受分割尺度的約束。根據(jù)圖像本身的差異性，不同的分割尺度適用于不同的圖像。單一使用某一種分割尺寸會(huì)影響分割效果的準(zhǔn)確性，利用多尺度圖像之間的空間信息可以改善顯著性檢測(cè)結(jié)果。

Fig.1 Multi-scale saliency maps of MR method圖1 文獻(xiàn)[18]MR算法不同尺度顯著圖

3 層次圖融合的顯著性檢測(cè)算法

本文算法的主要內(nèi)容包括：多尺度超像素分割、層次顯著性計(jì)算、多尺度顯著圖融合。算法流程如圖2所示。

3.1 尺度的選擇

基于像素的顯著性檢測(cè)算法，以像素為單位，未考慮像素之間的空間組織關(guān)系，使算法的效率過(guò)低。超像素分割算法比較符合人類的視覺(jué)感知，并且包含較少的冗余，在很大程度上降低了圖像后續(xù)處理的復(fù)雜度[20]。本文使用SLIC（simple linear iterative cluster）[20]算法為圖像中層信息的特征提取提供了空間支持。根據(jù)不同分割數(shù)目的約束，對(duì)原始圖像進(jìn)行多尺度超像素分割。根據(jù)實(shí)驗(yàn)結(jié)果分析，圖像的分割尺寸對(duì)于顯著性目標(biāo)檢測(cè)的效果有很大的影響。超像素分割尺度（即包含像素個(gè)數(shù)）越小，在增加計(jì)算成本的同時(shí)，一些小的顯著區(qū)域會(huì)被檢測(cè)出來(lái)，產(chǎn)生的分割誤差對(duì)顯著性計(jì)算結(jié)果的影響越小。當(dāng)目標(biāo)內(nèi)部出現(xiàn)與邊界特征相似的區(qū)域時(shí)，會(huì)出現(xiàn)目標(biāo)內(nèi)部突出不均勻的情況。相應(yīng)地，超像素尺寸越大（即包含的像素個(gè)數(shù)越多），則圖像中的有些目標(biāo)區(qū)域可能被忽略，其產(chǎn)生的分割誤差對(duì)最終結(jié)果的影響越大，但顯著性物體內(nèi)部可能保持均勻性。

Fig.2 Flow chart of this paper method圖2 本文算法流程圖

因此，為了兼顧檢測(cè)結(jié)果的細(xì)節(jié)和整體，在突出顯著性區(qū)域的同時(shí)，不忽略小的目標(biāo)。本文對(duì)7種分割尺寸進(jìn)行統(tǒng)計(jì)，在利用檢測(cè)結(jié)果的基礎(chǔ)上，同時(shí)考慮算法計(jì)算的時(shí)間復(fù)雜度。選擇3個(gè)超像素分割尺寸，分別是100、200、400。使得單層圖像在保持相對(duì)結(jié)構(gòu)的同時(shí)，局部范圍內(nèi)聚焦具有類似屬性的像素。

定義X={x1,x2,…,xn}∈Rm×n，X表示原圖像，n表示超像素塊的數(shù)目。其中xi={L,a,b,x,y,num}∈Rm表示第i個(gè)元素的特征空間；L、a、b分別代表區(qū)域xi在Lab顏色空間的3個(gè)參數(shù)；x、y是超像素塊xi的中心位置坐標(biāo)；num是超像素塊xi中包含的像素個(gè)數(shù)。

3.2 生成單層顯著圖

在對(duì)原始圖像進(jìn)行不同尺度超像素分割的基礎(chǔ)上，根據(jù)基于圖的流形排序算法（MR）[18]計(jì)算單層顯著性圖。MR算法[18]將每個(gè)超像素作為一個(gè)結(jié)點(diǎn)，利用結(jié)點(diǎn)之間的連接性來(lái)構(gòu)造閉環(huán)圖。首先，設(shè)置當(dāng)前結(jié)點(diǎn)與鄰接點(diǎn)，以及與鄰接點(diǎn)有公共邊的結(jié)點(diǎn)連接，并將連接結(jié)點(diǎn)的度擴(kuò)展為k。同時(shí)認(rèn)為圖像的邊界是背景，位于邊界的結(jié)點(diǎn)也是連接的。利用K-正則圖表示結(jié)點(diǎn)之間的空間關(guān)系。在構(gòu)圖的基礎(chǔ)上，利用圖像內(nèi)在的流形結(jié)構(gòu)將圖像標(biāo)記為背景或前景。同一圖像在3種尺度下的流形排序結(jié)果如圖3所示。

Fig.3 Saliency maps of different scales圖3 不同尺度顯著圖

從圖3觀察可知，大尺度的超像素塊檢索出大尺寸的結(jié)構(gòu)，反映圖像的整體結(jié)構(gòu)信息；而小尺寸則易檢測(cè)出更多的局部細(xì)節(jié)。

3.3 構(gòu)建層次圖模型

不同層次其檢測(cè)結(jié)果存在差異性，無(wú)法確定使用哪一層可以達(dá)到最好的結(jié)果。因此為了更合理地計(jì)算顯著性結(jié)果，在利用單層流形排序的基礎(chǔ)上，構(gòu)建不同層次之間的圖形結(jié)構(gòu)，利用層次推斷的方法，對(duì)多尺度的顯著圖進(jìn)行融合，得到最終的顯著圖。

多層融合算法充分利用層次內(nèi)結(jié)構(gòu)信息及多層之間的結(jié)構(gòu)與特征，其計(jì)算結(jié)果更符合人類視覺(jué)機(jī)制。本文利用SLIC算法在不同尺寸下對(duì)原始圖像進(jìn)行超像素分割。SLIC算法基本思想是：首先生成K（超像素尺寸）個(gè)種子點(diǎn)，然后在每個(gè)種子點(diǎn)的周圍空間搜索距離該種子點(diǎn)最近的若干像素，將其歸為一類，直至所有像素歸類完畢[20]。根據(jù)SLIC算法的特點(diǎn)，不同層次之間的超像素塊并不存在嚴(yán)格的包含關(guān)系。因此，本文算法利用圖模型對(duì)多層顯著圖進(jìn)行融合，如圖4所示。

Fig.4 Multi-scale integration圖4 多尺度圖融合

其中根結(jié)點(diǎn)為原始圖像，每層結(jié)點(diǎn)為其對(duì)應(yīng)層次的超像素塊，當(dāng)上、下層區(qū)域交集非空，則存在邊。本文融合算法通過(guò)求解式（5）的最優(yōu)化問(wèn)題獲得：

L項(xiàng)是層次項(xiàng)，為不同層次的相關(guān)區(qū)域分配相似的顯著性值，以便有效地糾正初始顯著性誤差，定義為：

φl(shuí)強(qiáng)調(diào)層次之間的一致性，根據(jù)圖模型，通過(guò)置信度傳播[21]可以達(dá)到全局最優(yōu)解。傳播過(guò)程包括自底而上和自頂而下的兩個(gè)步驟。自底向上步驟更新變量，即在其兩個(gè)鄰接層通過(guò)最優(yōu)化式（5），產(chǎn)生相對(duì)于初值和其父結(jié)點(diǎn)的新顯著性值，直到根結(jié)點(diǎn)。根據(jù)上一個(gè)階段獲得的結(jié)果，再自頂向下更新每個(gè)變量直到最低層，得到最終顯著性值。其效果如圖5所示。

3.4 像素級(jí)顯著性分配

根據(jù)層次模型融合的基于區(qū)域的計(jì)算結(jié)果，特征從超像素級(jí)映射到像素級(jí)。傳統(tǒng)上采樣對(duì)超像素塊中的每個(gè)像素賦予相同值，沒(méi)有考慮其與其他區(qū)域的特征對(duì)比度與空間距離的影響。

本文設(shè)置像素級(jí)顯著性為其所在超像素塊的顯著性值與周圍二近鄰區(qū)域顯著性值進(jìn)行高斯線性加權(quán)，計(jì)算公式為：

其中，ri為第i個(gè)像素的初始顯著性值；rj為其周圍鄰域的顯著性值；pi和pj分別為當(dāng)前像素與其周圍像素的位置坐標(biāo)；δ1和δ2用來(lái)平衡顏色特征和位置信息的約束。

Fig.5 Saliency maps of multi-scale method圖5 多尺度算法效果圖

4 實(shí)驗(yàn)結(jié)果及分析

為了客觀證明提出算法的有效性，本文在4個(gè)顯著性公用數(shù)據(jù)集上與9種流形的顯著性算法進(jìn)行實(shí)驗(yàn)對(duì)比。數(shù)據(jù)集包括ASD、CSSD、ECSSD和SOD，這4個(gè)數(shù)據(jù)集均提供有精確標(biāo)注的Ground Truth圖像，有利于進(jìn)行客觀評(píng)價(jià)。9種參與比較的顯著性算法分別是FT（基于頻率域的圖像顯著性算法）[11]、CA（基于上下文感知的顯著性算法）[9]、RC（基于全局區(qū)域?qū)Ρ榷人惴ǎ12]、SF（基于濾波的顯著性算法）[22]、SR（基于空間頻域分析的顯著性算法）[23]、BS（貝葉斯顯著性算法）[13]、IM（一種譜殘差的顯著性算法）[24]、MR[18]、HS（多層顯著性算法）[25]。

4.1 數(shù)據(jù)集

ASD數(shù)據(jù)集：眾多文獻(xiàn)中最流行的數(shù)據(jù)集，包含1 000幅自然圖像，從由5 000張圖像組成的MSRA-B數(shù)據(jù)集中選出，每張圖像僅含單個(gè)目標(biāo)，且目標(biāo)與背景差異較明顯。

CSSD和ECSSD數(shù)據(jù)集：來(lái)源于BSD和PASCAL VOC數(shù)據(jù)集及互聯(lián)網(wǎng)。有些圖像目標(biāo)混雜于背景，而有些圖像包含多個(gè)目標(biāo)，且目標(biāo)間差異較大。CSSD數(shù)據(jù)集由200幅包含場(chǎng)景的圖像組成，ECSSD數(shù)據(jù)集是CSSD的擴(kuò)展，其包含1 000張背景復(fù)雜的圖片。

SOD數(shù)據(jù)集：被認(rèn)為是具有挑戰(zhàn)的顯著性數(shù)據(jù)集，由300幅背景復(fù)雜，前景多樣的圖片組成。其中有些圖片前景目標(biāo)與背景的特征相似，這也增加了顯著性檢測(cè)的難度。

4.2 定量分析

為了客觀比較實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)選用顯著性檢測(cè)領(lǐng)域最常用的P-R（準(zhǔn)確率-召回率）曲線來(lái)進(jìn)行定量分析。其中P為檢測(cè)結(jié)果中正確結(jié)果的占比；R為正確檢測(cè)結(jié)果在真值圖中的占比。

首先將多種算法計(jì)算得到的顯著圖調(diào)整到[0-255]，依次選取0到255為閾值，對(duì)顯著圖進(jìn)行二值化處理。將二值化后的圖像與Ground Truth進(jìn)行比較，計(jì)算出準(zhǔn)確率與召回率，畫(huà)出P-R曲線。

圖6（a）顯示了多種方法在ASD數(shù)據(jù)集上的P-R曲線效果圖。從P-R曲線可以看出，本文算法要優(yōu)于經(jīng)典的FT、CA、RC、SF、SR全局顯著性目標(biāo)檢測(cè)算法，也優(yōu)于基于邊界先驗(yàn)的MR算法和多層次HS算法。

為了驗(yàn)證本文算法對(duì)復(fù)雜場(chǎng)景下顯著性目標(biāo)檢測(cè)的有效性，也進(jìn)行了多種算法對(duì)比度實(shí)驗(yàn)。從圖7～圖9（a）可知，本文算法在CSSD、ECSSD和SOD數(shù)據(jù)集上效果更優(yōu)。

Fig.6 Precision-Recall curves and F-measure histogram of different methods onASD dataset圖6 多種算法在ASD數(shù)據(jù)集上P-R曲線與F-measure柱狀圖比較

在進(jìn)行顯著性效果評(píng)價(jià)時(shí)，準(zhǔn)確率與召回率往往互相影響，有些算法準(zhǔn)確率提高時(shí)召回率可能下降。因此經(jīng)常使用F-measure來(lái)衡量算法的整體性能。F-measure計(jì)算公式如下：

Fig.7 Precision-Recall curves and F-measure histogram of different methods on CSSD dataset圖7 多種算法在CSSD數(shù)據(jù)集上P-R曲線與F-measure柱狀圖比較

Fig.8 Precision-Recall curves and F-measure histogram of different methods on ECSSD dataset圖8 多種算法在ECSSD數(shù)據(jù)集上P-R曲線與F-measure柱狀圖比較

根據(jù)文獻(xiàn)[8]，本文實(shí)驗(yàn)中設(shè)置β2=0.3，強(qiáng)調(diào)準(zhǔn)確率所占比重。

從圖6～圖9（b）評(píng)估指標(biāo)直方圖可以看出，在數(shù)據(jù)集ASD上，本文算法的準(zhǔn)確率與MR算法相當(dāng)，在數(shù)據(jù)集CSSD、ECSSD和SOD上，本文算法準(zhǔn)確率與HS算法相當(dāng)。但在4個(gè)數(shù)據(jù)集上，本文算法F-measure的值均高于CA、FT、SR、IM、SF、RC、BS、MR和HS算法，其F-measure分別達(dá)到0.900 0、0.785 3、0.703 8和0.596 7。

4.3 直觀對(duì)比

從MR算法[18]實(shí)驗(yàn)效果分析可知，圖10中的第1幅圖片其顯著性目標(biāo)接觸圖像的邊界；第5幅和第7幅圖片部分邊界與顯著性目標(biāo)特征相似，這兩種情況造成顯著性目標(biāo)檢測(cè)不完整。圖10的第2、3、4和6行顯著性目標(biāo)大小不一，在不同分割尺寸下產(chǎn)生最優(yōu)的分割效果，使用單一尺寸的MR算法效果不理想。通過(guò)視覺(jué)效果圖10在多種方法的實(shí)驗(yàn)結(jié)果可知，IM算法效果最差，該算法能大致檢測(cè)出顯著性目標(biāo)，但存在檢測(cè)出的顯著性區(qū)域邊界模糊，突出不均勻的情況。FT算法能夠找出圖像中具有特殊像素的區(qū)域，但存在突出顯著性區(qū)域不夠完整的情況。HC算法能夠檢測(cè)出圖像中顏色對(duì)比度高的區(qū)域，卻會(huì)導(dǎo)致錯(cuò)誤識(shí)別部分顏色對(duì)比度高的背景區(qū)域?yàn)榍熬啊A算法很好地突出了顯著性區(qū)域的邊緣，但顯著性物體內(nèi)部檢測(cè)不完全。BS、SR和MR算法完整地突出整個(gè)顯著性區(qū)域，但對(duì)背景的抵制較差。本文算法在突出整個(gè)圖像顯著性區(qū)域的基礎(chǔ)上，也更好地抵制了圖像中非顯著性區(qū)域。從圖10多種算法視覺(jué)效果圖中也可以看出，本文算法具有更好的檢測(cè)準(zhǔn)確度，能統(tǒng)一且均勻地突出整個(gè)顯著性目標(biāo)，與Ground Truth更接近，最終顯著圖具有更高的準(zhǔn)確率和完整性。

Fig.9 Precision-Recall curves and F-measure histogram of different methods on SOD dataset圖9 多種算法在SOD數(shù)據(jù)集上P-R曲線與F-measure柱狀圖比較

Fig.10 Saliency maps computed by different methods圖10 多種算法效果圖

4.4 與單層算法比較

本文算法考慮多層圖像之間的特征信息，與單尺度圖像在SOD數(shù)據(jù)集上進(jìn)行了準(zhǔn)確率-召回率的比較，其他3個(gè)數(shù)據(jù)集上的總體比較結(jié)果類似。從圖11中可以看出，不同層次的圖像其效果不同。大尺寸對(duì)于大的顯著性目標(biāo)的檢測(cè)結(jié)果比較完整，小尺寸對(duì)于圖像的細(xì)節(jié)檢測(cè)得比較好?？偟膩?lái)說(shuō)，層1包含小結(jié)構(gòu)信息，容易檢測(cè)出與邊界有較大差異的細(xì)節(jié)，其平均檢測(cè)效果較層2與層3好。而層2和層3分割尺寸較大，每個(gè)超像素塊包含的像素個(gè)數(shù)多，其檢測(cè)的誤差偏大，但仍然存在與尺度相關(guān)的問(wèn)題。本文算法也優(yōu)于直接對(duì)多尺度顯著圖求均值的效果。

Fig.11 Precision-Recall curves of different scales on SOD database圖11 SOD數(shù)據(jù)集多層與單層P-R曲線

4.5 運(yùn)行時(shí)間比較

在Intel?CoreRMi5-2410M CPU和4 GB RAM環(huán)境下進(jìn)行算法的對(duì)比實(shí)驗(yàn)。多種算法的平均運(yùn)行時(shí)間如表1所示。其中，本文算法的SLIC分割花費(fèi)了0.696 s（大約36%），利用流形排序算法得到3個(gè)尺度的顯著圖計(jì)算花費(fèi)了0.618 s（32%），多尺度圖像的融合花費(fèi)0.464 s（24%）。本文算法增加了3次超像素分割與顯著性計(jì)算，因此其運(yùn)行時(shí)間稍微高于MR、FT、IM和RC算法，但是明顯低于BS、CA算法。結(jié)合上面的3種量化指標(biāo)，本文算法仍然具有優(yōu)勢(shì)。

Table 1 Comparison of average running time on different methods表1 多種算法平均運(yùn)行時(shí)間比較

5 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)基于圖的流形排序算法忽略顯著圖層次信息的問(wèn)題，提出了一種多尺度的流形排序算法。利用多尺度分析，產(chǎn)生不同的顯著性檢測(cè)結(jié)果圖，并利用圖模型對(duì)多個(gè)顯著圖進(jìn)行融合。在4種顯著性檢測(cè)數(shù)據(jù)集上與9種顯著性方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果顯示了本文算法的有效性和優(yōu)越性。

接下來(lái)的工作考慮對(duì)圖模型進(jìn)行優(yōu)化，利用層次信息來(lái)構(gòu)建多層圖模型，提高種子點(diǎn)選取的正確性；其次，考慮利用圖像輪廓等高層信息來(lái)提高圖像對(duì)于復(fù)雜場(chǎng)景下顯著性物體檢測(cè)的完整性和準(zhǔn)確率；另外，在本文算法中，超像素分割花費(fèi)了36%的時(shí)間，接下來(lái)也從提高分割速度方面對(duì)算法進(jìn)行優(yōu)化。同時(shí)，考慮將本文算法應(yīng)用到如目標(biāo)跟蹤、物體識(shí)別等具體檢測(cè)任務(wù)中，提高現(xiàn)有算法的有效性與準(zhǔn)確性。

[1]Borji A,Cheng Mingming,Jiang Huaizu,et al.Saliency object detection:a survey[J].arXiv:1411.5878,2014.

[2]Ren Zhixiang,Gao Shenghua,Chia L T,et al.Region-based saliency detection and its application in object recognition [J].IEEE Transactions on Circuits&Systems for Video Technology,2014,24(5):769-779.

[3]Li W T,Chang H S,Lien K C,et al.Exploring visual and motion saliency for automatic video object extraction[J].IEEE Transactions on Image Processing,2013,22(7):2600-2610.

[4]Tan Min,Hu Zhenfang,Wang Baoyuan,et al.Robust objectrecognition via weakly supervised metric and template learning[J].Neurocomputing,2016,181:96-107.

[5]Lee Y J,Ghosh J,Grauman K.Discovering important people and objects for egocentric video summarization[C]//Proceedings of the 2012 IEEE International Conference on Computer Vision and Pattern Recognition,Providence,USA, Jun 16-21,2012.Piscataway,USA:IEEE,2012:1346-1353.

[6]Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11): 1254-1259.

[7]Liu Tie,Sun Jian,Zheng nanning,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,32(2):353-367.

[8]Ma Yufei,Zhang HongJiang.Contrast-based image attention analysis by using fuzzy growing[C]//Proceedings of the 11th ACM International Conference on Multimedia, Berkeley,USA,Nov 2-8,2003.New York:ACM,2003: 374-381.

[9]Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915-1926.

[10]Zhai Yun,Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th Annual ACM International Conference on Multimedia, Santa Barbara,USA,Oct 23-27,2006.New York:ACM, 2006:815-824.

[11]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Proceedings of the 2009 IEEE International Conference on Computer Vision and Pattern Recognition,Miami,USA,Jun 20-25,2009.Piscataway,USA: IEEE,2009:1597-1604.

[12]Cheng Mingming,Mitra N J,Huang Xiaolei,et al.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015, 37(3):569-582.

[13]Xie Yulin,Lu Huchuan,Yang M H.Bayesian saliency via low and mid-level cues[J].IEEE Transactions on Image Processing,2013,22(5):1689-1698.

[14]Wei Yichen,Wen Fang,Zhu Wangjiang,et al.Geodesic saliency using background priors[C]//LNCS 7574:Proceedings of the 12th European Conference on Computer Vision, Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer, 2012:29-42.

[15]Xu Wei,Tang Zhenmin.Exploiting hierarchical prior estimation for salient object detection[J].Acta Automatica Sinica, 2015,41(4):799-812.

[16]Harel J,Koch C,Perona P.Graph-based visual saliency[C]// Advances in Neural Information Processing Systems 19: Proceedings of the 20th Annual Conference on Neural Information Processing Systems,Vancouver,Canada,Dec 4-7,2006.Cambridge,USA:MIT Press,2007:545-552.

[17]Jiang Bowen,Zhang Lihe,Lu Huchuan,et al.Saliency detection via absorbing Markov chain[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision, Sydney,Australia,Dec 1-8,2013.Piscataway,USA:IEEE Press,2013:1665-1672.

[18]Yang Chuan,Zhang Lihe,Lu Huchuan,et al.Saliency detection via graph-based manifold ranking[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition,Portland,USA,Jun 23-28, 2013.Piscataway,USA:IEEE,2013:3166-3173.

[19]Zhou Dengyong,Weston J,Gretton A,et al.Ranking on data manifolds[C]//Advances in Neural Information Processing Systems 16:Proceedings of the 17th Annual Conference on Neural Information Processing Systems,Vancouver,Canada,Dec 8-13,2003.Cambridge,USA:MIT Press, 2004:169-176.

[20]Achanta R,Shaji A,Smith K,et al.SLIC superpixles compared to state-of-the-art Superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012, 34(11):2274-2282.

[21]Chang F R K,Frey B J,Loeliger A.Factor graphs and the sum-product algorithm[J].IEEE Transactions on Information Theory,2001,47(2):498-519.

[22]Perazzi F,Krahenbuhl P,Pritch Y,et al.Saliency filters:contrast based filtering for salient region detection[C]//Proceedings of the 2012 IEEE International Conference on Computer Vision and Pattern Recognition,Providence,USA,Jun 16-21, 2012.Piscataway,USA:IEEE,2012:733-740.

[23]Hou Xiaodi,Zhang Liqing.Saliency detection:a spectral residual approach[C]//Proceedings of the 2007 IEEE International Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,Jun 18-23,2007.Piscataway,USA: IEEE,2007:1-8.

[24]Murray N,Vanrell M,Otazu X,et al.Saliency estimation using a non-parametric low-level vision model[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,Jun 20-25,2011.Piscataway,USA:IEEE,2011:433-440.

[25]Yan Qiong,Xu Li,Shi Jianping,et al.Hierarchical saliency detection[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition, Portland,USA,Jun 23-28,2013.Piscataway,USA:IEEE, 2013:1155-1162.

附中文參考文獻(xiàn)：

[15]徐威,唐振民.利用層次先驗(yàn)估計(jì)的顯著性目標(biāo)檢測(cè)[J].自動(dòng)化學(xué)報(bào),2015,41(4):799-812.

WANG Huiling was born in 1982.She received the M.S.degree at School of Computer Science and Technology,Harbin University of Science and Technology.Her research interest is digital image processing.

王慧玲（1982—），女，安徽阜陽(yáng)人，于哈爾濱理工大學(xué)獲得碩士學(xué)位，主要研究領(lǐng)域?yàn)閿?shù)字圖像處理。

LUO Bin was born in 1963.He received the Ph.D.degree in computer science from York University in 2002.Now he is a professor and Ph.D.supervisor at Anhui University,and the member of CCF.His research interests include large image database retrieval,image and graph matching,etc.

羅斌（1963—），男，安徽合肥人，2002年于英國(guó)約克大學(xué)計(jì)算機(jī)科學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為安徽大學(xué)教授、博士生導(dǎo)師，CCF會(huì)員，主要研究領(lǐng)域?yàn)榇笠?guī)模圖像數(shù)據(jù)庫(kù)檢索，圖和圖像匹配等。

Saliency Detection Based on Hierarchical Graph Integration*

WANG Huiling1,2,LUO Bin2+
1.School of Computer and Information Engineering,Fuyang Normal College,Fuyang,Anhui 236000,China
2.School of Computer Science and Technology,Anhui University,Hefei 230601,China
+Corresponding author:E-mail:wangsheng0417@sina.com

Visual saliency detection has many applications in object segmentation,adaptive compression,object recognition and so on.It has a challenge to accurately detect the most important regions from the nature images.This paper proposes a hierarchical saliency detection algorithm based on manifold ranking for the problem of low detection accuracy with the ignorance of the spatial layout information in the existing graph-based manifold ranking algorithms. Firstly,the super pixels by multi-scale analysis are done for the decomposition of the input image.Secondly,the boundary prior is used to compute the relevance ranking score between nodes by manifold ranking.Finally,by analyzing saliency cues from the multiple level graph model,the final saliency map is generated by combining the saliency maps.The experimental results on ASD,CSSD,ECSSD and SOD image datasets,demonstrate that the detection precision outperforms the nine state-of-the-art algorithms while still preserving high recall.

saliency detection;manifold ranking;super-pixel segmentation;multi-scale analysis;graph model

10.3778/j.issn.1673-9418.1607044

A

TP391.4

*The National High Technology Research and Development Program of China under Grant No.2014AA015104(國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)).

Received 2016-07,Accepted 2016-09.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-09-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160908.1047.022.html