基于整形特征的目標顯著性檢測算法研究

胡玉蘭 黃 梨 片兆宇

(沈陽理工大學信息科學與工程學院 遼寧 沈陽 110159)

?

基于整形特征的目標顯著性檢測算法研究

胡玉蘭 黃 梨 片兆宇

(沈陽理工大學信息科學與工程學院 遼寧 沈陽 110159)

針對傳統(tǒng)目標顯著性檢測算法存在顯著區(qū)域弱化、最顯著的中心點被抑制、背景差對比度低等問題，提出一種新的整形目標顯著性檢測算法。算法首先利用灰度不一致算子作為局部處理手段，刻畫圖像局部紋理的非均勻性，使得最顯著的中心點亮度提高；其次，利用改進的FT算法，建立一種新的全局量化方法，使得顯著區(qū)域增強；再次，為了濾除孤立顯著區(qū)的影響，算法提出一種空間權(quán)重表達法，對所提顯著圖進行線性處理，提高整體顯著區(qū)與背景間的對比差。最后的仿真實驗中，與FT、Itti等6種典型的目標顯著性檢測算法相比，該算法不僅具有更好的識別準確性和穩(wěn)定性，而且所提算法的精確率和召回率等客觀指標也具有較強的優(yōu)勢，從而表明該算法是切實可行的。

目標顯著性檢測 灰度不一致算子 空間權(quán)重

0 引 言

近年來，目標顯著性檢測已成為計算機視覺和圖像處理領(lǐng)域新的研究熱點。其相關(guān)研究成果已被廣泛應(yīng)用于諸多領(lǐng)域，如圖像和視頻的壓縮和解碼、圖像分割、圖像檢索[1]和目標識別[2]等領(lǐng)域。

目標的顯著性源于視覺的獨特性和不可預測性，是由顏色、亮度、邊緣、紋理、對稱性等圖像固有屬性而致。而視覺注意機制是一種模擬人類視覺智能篩選的重要機制，該機制在大量的視覺信息中，可以將注意力快速聚焦于圖像中顯著目標區(qū)域。經(jīng)過多年的發(fā)展，關(guān)于視覺注意機制的研究被分為兩種方法[3,4]：一種是快速的、下意識的、自底向上的數(shù)據(jù)驅(qū)動的顯著性提取；另一種是慢速的、任務(wù)依賴的、自頂向下的目標驅(qū)動的顯著性提取。由于視覺內(nèi)容需要大量的先驗知識，自頂向下的方法應(yīng)用不多。而自底向上的方法受圖像特征支配，不依賴任何先驗知識，被廣泛研究和應(yīng)用。較經(jīng)典的自底向上的視覺注意模型是Itti[5]算法，Itti算法在特征整合理論的基礎(chǔ)上，在多特征和多尺度上，計算紋理和顏色特征的中央差算子，把各個特征的顯著圖合成一幅顯著圖。在此基礎(chǔ)上，目標顯著性檢測算法大多是采用低層視覺特征，即通過圖像的亮度、顏色、方向和對稱性等計算中央周邊差對比度，得到顯著圖。其中比較具有代表性的有： GBVS[6]算法、 SR[7]算法、FT[8]算法、AIM[9]算法和CAS[10]算法等。Itti和GBVS算法采用局部特征的處理方法，GBVS算法是在Itti算法的基礎(chǔ)上，運用馬爾可夫隨機場的特點構(gòu)建二維圖像的馬爾可夫鏈，由它的平衡分布得到顯著圖。而這兩種算法的顯著圖中部分顯著區(qū)域的顯著度較高，但是存在顯著目標整體區(qū)域弱化和顯著區(qū)域的輪廓模糊等問題。SR算法和FT算法均采用全局特征的處理方法，而且都是基于空間頻域處理的算法。其中SR算法是對剩余譜做傅里葉逆變換得到顯著圖；FT算法是通過顏色和亮度特征提取來計算中央周邊差對比多尺度方法得到全分辨率顯著圖，其中SR算法由于沒有保留足夠的高頻信息，導致顯著目標的邊界模糊。這兩種算法的顯著圖中雖然保留了顯著區(qū)域的整體輪廓，但是均導致最顯著的像素點受到抑制以及背景差對比度低等問題。AIM算法是采用香農(nóng)的自信息理論，將圖像的特征平面變換到對應(yīng)于視覺顯著性的維度，并利用該特征與相對于它周圍的其他特征的信息的差別度來計算顯著值。該算法存在顯著目標弱化，非顯著區(qū)域突出的問題。CAS算法是結(jié)合局部和全局考慮的處理方法，相對前面幾種算法來說，顯著圖的處理效果較好，但是仍不完善，例如該算法耗時較長、運算效率低。綜上所述，這六種目標顯著性檢測算法均存在顯著區(qū)域弱化，最顯著的中心像素點被抑制以及背景差對比度較低等問題。

針對傳統(tǒng)目標顯著性檢測算法的上述缺點，本文提出一種新的基于局部和全局處理的目標顯著性檢測算法。首先，采用灰度不一致算子，計算各圖像塊內(nèi)每個像素的顯著值，作為局部處理手段，使得最顯著的中心點亮度增強；其次，在局部處理的基礎(chǔ)上，改進傳統(tǒng)FT算法，引入圖像全局的紋理特征，與顏色和亮度特征整合處理，作為全局處理手段，增強圖像的顯著區(qū)域；再次，通過計算圖像的二維高斯函數(shù)，獲得空間權(quán)重圖，利用該權(quán)重圖對全局處理后得到的顯著圖進行線性處理，來提高整體顯著區(qū)與背景間的對比差。最后，應(yīng)用所提的目標顯著性算法與其他六種傳統(tǒng)算法進行定性對比，并對所提算法進行定量評估，證明了算法的穩(wěn)定性與有效性。

1 局部處理過程

局部處理先把自然圖像轉(zhuǎn)變成灰度圖像。在灰度圖像中，幾乎所有的感興趣目標，其內(nèi)部像素都具有不同程度的灰度不一致度。對于顯著目標而言，其內(nèi)部區(qū)域的像素不一致度趨于一致，背景區(qū)域的像素也趨于一致，而目標和背景區(qū)域之間的不一致度存在差異。故選擇基于灰度不一致性算子進行局部處理。局部處理將使得最顯著的中心像素點的亮度變亮。

(1) 灰度不一致性

2010年，Ding等人[11]通過統(tǒng)計圖像灰度的不一致性，提出了一種刻畫圖像紋理非均勻性的方法，即灰度不一致因子，簡稱NIF。

定義一幅灰度圖像I，像素p=(px,py)∈I，I(p)表示像素p的灰度值，即亮度值，N(p)表示p的以κ(κ≥1)為邊長的正方形領(lǐng)域。給定一個非負閾值(ε≥0)，則像素p的κ領(lǐng)域中的所有像素可以被分成以下兩個集合：

Ω(p)={q∈N(p):|I(p)-I(q)|>ε}Ω′(p)={q∈N(p):|I(p)-I(q)|≤ε}

(1)

像素不一致因子PIF(Pixel inhomogeneity factor)是用來描述任一個像素與其領(lǐng)域內(nèi)其它像素的亮度差異性，PIF[12]公式如下：

(2)

式中|Ω(p)|表示在集合Ω(p)內(nèi)的像素的個數(shù)，同理|N(p)|表示的是正方形領(lǐng)域內(nèi)所有像素的個數(shù)。顯然，0≤PIF(p)≤1,當|Ω(p)|<|Ω′(p)|時，0≤PIF(p)<0.5，這表明像素點p與它鄰域內(nèi)其它像素點的灰度差異性比較??；相反，當|Ω(p)|≥|Ω′(p)|時，0.5≤PIF(p)≤1，這表明像素點p與它鄰域內(nèi)其它像素點的灰度差異性比較大。

像素的灰度不一致因子NIF定義像素p的顯著值：

(3)

其中 InNeb(p)={q∈N(p):PIF(q)≥0.5,p∈I}表示像素p周圍的一個正方形鄰域內(nèi)的具有灰度不一致的像素數(shù)的集合。

灰度不一致因子NIF得到的函數(shù)值即為像素的顯著值，任一像素點p的顯著值用SLP表示：

SLP(p)=NIF(p)

(4)

經(jīng)過大量的對比計算實驗，取κ=3，非負閾值ε被設(shè)為ε=Ave(κ)，其中：

(5)

(2) 局部顯著圖

由式(4)得到局部處理的顯著圖，如圖1所示。

圖1 兩幅圖像的局部顯著圖

圖1中，(a)列是原圖像，(b)列是局部處理后得到的局部顯著圖。從局部處理得到的顯著圖看，最顯著的中心像素點亮度較高，但是顯著目標內(nèi)部部分區(qū)域弱化。從第二幅圖像來看，部分非顯著目標被突出，對于背景復雜的圖像，冗余信息依然存在，故采取全局處理來解決其缺點。

2 全局處理

在對原圖像局部處理的基礎(chǔ)上，進行全局處理。全局處理采用改進的FT算法得到，如圖2所示。

圖2 全局處理流程圖

基于改進的FT算法的全局處理步驟如下：

第一步對原圖像進行高斯模糊。為了消除紋理細節(jié)以及噪聲，選擇5×5的二項式濾波器與原圖像卷積，令原圖像表示為f(x,y)，其公式如下：

f1(x,y)=f(x,y)×G(x,y)

(6)

其中:

(7)

第二步顏色空間轉(zhuǎn)換。提取圖像的亮度、顏色和紋理特征，并把高斯模糊后的圖像XYZ由sRGB顏色空間轉(zhuǎn)換為CIELab顏色空間。Lab空間的設(shè)計接近人類視覺，其中的L表示亮度，與人對亮度的感知相匹配，a和b分量表示的是顏色。a,b用來調(diào)節(jié)顏色的平衡，L用于調(diào)整亮度。顏色空間轉(zhuǎn)換的過程是先從sRGB空間轉(zhuǎn)換到空間，再由XYZ空間轉(zhuǎn)到Lab空間。

設(shè)M是一個3×3的矩陣，那么RGB到XYZ的轉(zhuǎn)換關(guān)系為：

[X,Y,Z]=[M]×[R,G,B]

(8)

其中，M定義為：

(9)

rgb是RGB的原始的色彩分量，g是Gamma校正函數(shù)。

(10)

R=g(r)，G=g(g)，B=g(b)，RGB的取值范圍是[0,1)，由式(9)-式(11) 計算得出XYZ的取值范圍分別為[0,0.9506)，[0,1)，[0,1.0890)。

然后將XYZ空間轉(zhuǎn)換到L×a×b空間：

先定義一個與Gamma函數(shù)相似的校正函數(shù)f(x):

(11)

X1、Y1、Z1是XYZ線性歸一化的值，那么有XYZ到L*a*b的轉(zhuǎn)換為：

L=116×f(Y1)-16

a=500×(f(X1)-f(Y1))

b=200×(f(Y1)-f(Z1))

(12)

第三步計算改進的FT算法的像素顯著值。公式如下：

S″(x,y)=‖Iu(x,y)-Iwhc(x,y)‖

(13)

式中，Iu是高斯模糊圖像在Lab空間的像素算術(shù)平均值，Iwhc是高斯模糊圖像在Lab空間的值，‖‖是歐式距離。

第四步全局顯著圖。利用改進的FT算法，量化局部顯著圖，得到全局顯著圖S″。

3 空間權(quán)重

一般來說，像素的中心分布常被用于定位和估計顯著區(qū)域，根據(jù)格式塔法則[13]，視覺形式可能具有一個或幾個中心圖形。這表明接近注意焦點的部分被認為顯著，遠離注意焦點的部分被認為是背景。故提出中心優(yōu)先[14]的概念，命名為空間權(quán)重[15]，目的是濾除背景中的孤立顯著區(qū)，同時進一步優(yōu)化顯著圖的評估結(jié)果。

使用一個二維的高斯函數(shù)確定圖像的中心，定義圖像的高度為H，寬度為W，高斯函數(shù)在二維空間定義為：

(14)

圖3 空間權(quán)重圖

圖像中任意像素p的最終顯著值是全局顯著圖與空間權(quán)重圖線性處理得到，公式如下：

S(p)=S″(p)G(p)

(15)

其中G(p)為像素p在空間權(quán)重圖中的像素值。經(jīng)空間權(quán)重處理后，去除了孤立顯著區(qū)域的影響，顯著圖效果較好。

4 新的目標顯著性檢測算法

該算法首先采取基于灰度不一致算子的局部處理，得到局部的像素顯著值；然后，在局部處理的基礎(chǔ)上采用全局方法量化顯著圖，得到新的全局顯著值；最后，引入空間權(quán)重，去除孤立顯著區(qū)。算法流程如圖4所示。

圖4 新算法流程圖

第一步對原圖像進行局部處理，利用灰度不一致因子(NIF)獲得局部方法的顯著圖。經(jīng)局部處理后，最顯著的像素點變得更亮。

第二步全局處理，提出改進的FT算法作為全局量化方法，使得顯著區(qū)域增強。

第三步利用二維高斯函數(shù)得到空間權(quán)重圖，將其與全局顯著圖進行加權(quán)處理，得到最終的顯著圖，使得顯著區(qū)與背景差對比度提高。

5 實驗分析

本實驗是從MSRA數(shù)據(jù)庫中選取1000幅圖像，這1000幅自然圖像均有所對應(yīng)的人工精確標注的顯著性區(qū)域。本實驗中，將新算法與傳統(tǒng)的顯著性檢測算法Itti、GBVS、SR、AIM、CAS和FT在這1000幅圖像上進行仿真得到顯著圖。

5.1 顯著圖的比較

七種算法的顯著圖比較如圖5所示。其中，(a)列是原圖像，(b)列是Itti算法的顯著圖，(c)列是GBVS算法的顯著圖，(d)列是AIM算法的顯著圖，(e)列是SR算法的顯著圖，(f)列是CAS算法的顯著圖，(g)列是FT算法的顯著圖，(h)列是新的整性算法的顯著圖。

圖5 七種算法的顯著圖的比較

從圖5中看出，新算法的顯著圖最好，顯著目標最突出，含有的背景冗余信息最少。而傳統(tǒng)的顯著性算法，例如Itti算法，GBVS算法和AIM算法只考慮局部對比度，顯著圖中的某些顯著區(qū)域的對比度較高，但是顯著區(qū)域的邊界并不清晰，對于背景較復雜的圖像，背景差對比度較差?；陬l域分析的SR算法因為沒有保留充足的高頻信息，致使顯著區(qū)域的邊界模糊?？紤]全局特征對比的CAS算法和FT算法的顯著區(qū)域盡管保留了較完整的輪廓，然而顯著區(qū)域弱化，最顯著的位置被抑制。新算法的顯著圖中，顯著區(qū)域與背景區(qū)域?qū)Ρ榷忍岣?，顯著區(qū)域整體顯著度較高，并且顯著區(qū)域的邊界清晰，顯著圖的效果最好。

5.2 顯著圖的性能評估

選用兩個指標，即精確率和召回率來客觀評價新的目標顯著性檢測算法與其他六種算法。這些算法均在這1 000幅圖像上計算精確率和召回率，并繪制P-R曲線如圖6所示。

圖6 六種算法和新算法的精確率和召回率曲線

圖6中的精確率和召回率曲線明確地展示出提出新的目標顯著性檢測算法的性能明顯優(yōu)于其他的六種算法。新算法的最小召回值比其他算法高，說明此算法得到的顯著圖最平滑，顯著圖中包含較多的顯著值為255的像素，表明背景差對比度較高。其中本數(shù)據(jù)庫中SR算法的顯著圖中顯示目標的效率最低，其次是Itti和AIM算法。

6 結(jié) 語

新的整形目標顯著性檢測算法，包括局部和全局處理，然后是空間權(quán)重作為補充手段。顯著區(qū)域得到了強化，最顯著中心像素的亮度得到了增強，背景差對比度得到了提高。最后空間權(quán)重對視覺顯著圖做線性處理，有效地去除了孤立顯著區(qū)的影響，得到最終的顯著圖，顯著區(qū)域的邊界更加清晰，顯著圖的性能得到了優(yōu)化。新的整性算法簡單、高效，通過定量和定性實驗分析，該算法是可行的，并且優(yōu)于其他六種顯著算法。

[1] Tao D,Tang X,Li X,et al.Asymmetric bagging and random subspace for support vector machines-based relevance feedback in image retrieval[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(7):1088-1099.

[2] Yeh Hsinho,Liu Kenghao,Chen Chusong.Salient object detection via local saliency estimation and global homogeneity refinement[J].Pattern Recognition,2014,47(4):1740-1750.

[3] Triesman A M,Gelade G.A feature-integration theory of attention[J].Cognitive Psychology,1980,12(1):97-136.

[4] Koch C,Ullman S.Shifts in selective visual attention: towards the underlying neural circuitry[J].Human Neurbiology,1985,4:219-227.

[5] Itti L,Koch C,Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[6] Harel J,Koch C,Perona P.Graph-based visual saliency[J].Neural Information Processing Systems,2007,19(1):545-552.

[7] Hou Xiaodi,Zhang Liqing.Saliency detection:a spectral residual approach[C]//IEEE Conference on Computer Vision and Pattern Recognition,Shanghai Jiao Tong University,2007:1-8.

[8] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos: IEEE Computer Society Press,2009:1597-1604.

[9] Bruce N D B.Features that draw visual attention: an information theoretic perspective[J].Neurocomputing,2005,65(3):125-133.

[10] Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE Computer Society Press,2010:2376-2383.

[11] Ding Jundi,Shen Jialie,Pang HweeHwa,et al.Exploiting intensity inhomogeneity to extract textured objects from natural scenes[C]//Asian Conference on Computer Vision.Springer-Verlag,2009:1-10.

[12] 郭東巖,趙春霞,李軍俠,等.結(jié)合圖像顯著與灰度不一致性的目標自動提取[J].南京理工大學學報,2014,38(5):701-706.

[13] Koffka,Kurt,Koffka K.Principles of Gestalt Psychology[M].Routledge,1999.

[14] Yang Weibin,Tang Yuanyan,Fang Bin,et al.Visual saliency detection with center shift[J].Neurocomputing,2013,103:63-74.

[15] Zhang Yongdong,Mao Zhendong,Li Jintao,et al.Salient region detection for complex background images using integrated features[J].Information Sciences,2014,281(10):586-600.

ON OBJECT SALIENCY DETECTION ALGORITHM BASED ON INTEGRAL FORM CHARACTERISTICS

Hu Yulan Huang Li Pian Zhaoyu

(School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,Liaoning,China)

Aiming at the problems in traditional object saliency detection algorithms that the salient region is weakened, the most salient pixels are suppressed, and the contrast of background difference is low, etc., we proposed a new integral form object saliency detection algorithm. First, the algorithm utilises the gray inconsistency operator as the means of local processing to depict the non-uniform of local texture, which makes the brightness of the most salient pixels be increased; Secondly, it uses the improved FT algorithm to set up a new global quantification approach, this makes the salient area be significantly enhanced; Thirdly, in order to filter out the influence of the isolated salient areas, the algorithm proposes a spatial weight expression method to carry out linear processing on the saliency map mentioned so as to improve the contrast between the integral salient area and the background. In final simulation experiments, compared with 6 typical object salient detection algorithms including FT, ITTI, etc., the proposed algorithm not only has better recognition accuracy and stability, but also has higher advantage in objective indicators of precision rate and recall rate, therefore indicates that the proposed algorithm is feasible.

Object saliency detection Gray inconsistent factor Space weight

2015-06-04。國家自然科學基金項目(61373089)。胡玉蘭，教授，主研領(lǐng)域：圖像信息處理，模式識別，人工智能。黃梨，碩士生。片兆宇，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.11.048