基于局部空間冗余視覺(jué)信息抑制的目標(biāo)識(shí)別算法研究

張 葉，胡玉蘭，片兆宇

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110159)

基于局部空間冗余視覺(jué)信息抑制的目標(biāo)識(shí)別算法研究

張 葉，胡玉蘭，片兆宇

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110159)

針對(duì)圖像中相似冗余背景造成的顯著目標(biāo)識(shí)別的干擾問(wèn)題，提出了一種基于超像素的冗余信息抑制的顯著目標(biāo)檢測(cè)方法。首先,引入超像素的概念，利用超像素優(yōu)化的空間特征分割圖像，獲取圖像的相似區(qū)域；其次,為消除像素間的相關(guān)性，計(jì)算超像素的香農(nóng)熵來(lái)表示圖像的像素信息，并據(jù)此建立圖像的信息圖，最后,為了更有效地去除圖像中的相似信息，利用自相似性抑制方法克服冗余信息，建立高效的圖像顯著圖。最后的仿真結(jié)果表明, 所提算法與傳統(tǒng)方法相比，不僅可以準(zhǔn)確識(shí)別顯著目標(biāo)，而且可以更有效地抑制背景中的冗余信息。

顯著性；冗余抑制；相似性；超像素

0 引言

人類所獲知的信息中，有80%來(lái)源于人類的視覺(jué)感知。面對(duì)如此多的信息,人類視覺(jué)系統(tǒng)(HVS)能夠快速、準(zhǔn)確地對(duì)其進(jìn)行處理，主要是由于HVS在掃描外部場(chǎng)景時(shí)，可以引導(dǎo)人眼專注于細(xì)節(jié)信息豐富的區(qū)域，這種快速專注的過(guò)程則稱為視覺(jué)注意機(jī)制。近些年，視覺(jué)注意機(jī)制在目標(biāo)探測(cè)、圖像壓縮、圖像搜索和機(jī)器視覺(jué)等方面廣泛應(yīng)用，使其受到了越來(lái)越多的關(guān)注[1]。

Itti模型是Itti和Koch提出的最早、最具代表性的顯著模型之一，該模型先提取圖像的基本特征,如強(qiáng)度、顏色、紋理,然后再通過(guò)計(jì)算加權(quán)中央周邊差，將這些特征結(jié)合起來(lái)，得到最終的顯著圖像[2]；高大山等人提出了一種新穎的從復(fù)雜背景中提取顯著目標(biāo)的算法，該算法通過(guò)訓(xùn)練學(xué)習(xí)，最優(yōu)化多種圖像特征[3]；侯曉迪等人[4]使用圖像的光譜殘余(SR)構(gòu)建了新的顯著圖像算法,該算法通過(guò)分析輸入圖像的log譜，在頻域獲取圖像的光譜殘留信息，再在空域構(gòu)建相應(yīng)的顯著圖；Gopalakrishnan等人提出了一個(gè)穩(wěn)定性強(qiáng)的顯著區(qū)域檢測(cè)模型，該模型使用顏色和方向分布特征分別得到兩幅顯著圖像，再用一種非線性疊加的方法組合兩幅顯著圖像得到最終的顯著圖像[5]。另外，還有其他一些模型，比如Bruce提出的基于信息最大化原則的AIM模型[6]，Koch提出的基于圖論的GBVS模型[7]，Achanta提出的基于頻率調(diào)整的FT模型[8]等。以上這些注意模型的立足點(diǎn)都是基于細(xì)小特征的數(shù)據(jù)信息[9]，但對(duì)視覺(jué)識(shí)別過(guò)程中的冗余信息大都缺乏有力的解決辦法。事實(shí)上，視覺(jué)注意力主要集中于信息最豐富的區(qū)域，背景冗余由于攜帶了較少的信息，往往被大腦抑制，而獲得較少的關(guān)注。因此，在圖像視覺(jué)處理過(guò)程中，應(yīng)盡可能地抑制冗余信息，這樣的處理過(guò)程更加符合人類視覺(jué)感知的基本過(guò)程。

為了模擬這樣的處理過(guò)程，本文提出一種基于超像素和局部空間視覺(jué)冗余信息抑制的顯著目標(biāo)檢測(cè)方法。所提算法首先使用線性迭代聚類算法從圖像中提取均勻的紋理和灰度的超像素；再通過(guò)超像素定義，對(duì)圖像的空間特征進(jìn)行優(yōu)化；在此基礎(chǔ)上，利用超像素的空間特征對(duì)圖像結(jié)構(gòu)的自相似性進(jìn)行刻畫，并計(jì)算超像素的香農(nóng)熵來(lái)建立圖像的信息圖；最后，利用自相似性抑制圖像的冗余結(jié)構(gòu)，從而實(shí)現(xiàn)從復(fù)雜圖像的信息中獲取圖像的顯著圖。將最后的仿真結(jié)果與4種典型顯著算法相比，所提算法不僅有效地抑制了背景的冗余信息，而且所識(shí)別的顯著目標(biāo)也是較好的。

1 基于NL-means算法的顯著估計(jì)

在自然圖像中，冗余區(qū)域往往包含了很少的信息,這使得它們獲得的關(guān)注度往往較小。因此，在識(shí)別過(guò)程中，這些冗余通常被大腦立即處理掉，從而提高識(shí)別的效率。與之相反，信息豐富的區(qū)域往往更加復(fù)雜,當(dāng)然也會(huì)吸引大部分的注意，并得到進(jìn)一步的處理。因此,本文嘗試通過(guò)計(jì)算圖像的冗余信息,并快速過(guò)濾掉這些冗余，來(lái)使顯著目標(biāo)凸顯出來(lái)。

NL-means算法是一種處理圖像空間冗余的有效方法[10]，從NL-means的觀點(diǎn)看,在非局部鄰近區(qū)域中冗余區(qū)域與其他區(qū)域是高度相似的。因此,通過(guò)計(jì)算周邊結(jié)構(gòu)相似度,可以直接測(cè)量每個(gè)區(qū)域的冗余，采用NL-means過(guò)濾公式來(lái)測(cè)量自相似性[11]。假設(shè)f(x)是一個(gè)標(biāo)量圖像，符號(hào)f(x)和f(y)分別表示局部區(qū)域Ω(x)和Ω(y)中連接所有列形成的向量。這兩個(gè)區(qū)域之間的相似性由以下公式來(lái)衡量：

(1)

σx代表區(qū)域Ω(x)的相關(guān)參數(shù),τ是規(guī)范化系數(shù)，用于在非局部區(qū)域規(guī)范化S(x,y)的總和使其成為1。

像素之間的自相似性依靠區(qū)域之間的相似性，利用區(qū)域的相似性可得到像素之間的自相似性。然后,用像素之間的自相似性修改正常熵，丟棄冗余信息。最后,結(jié)合顏色和尺度空間,創(chuàng)建了基于冗余減少的自然圖像的顯著估計(jì)模型。仿真結(jié)果如圖1所示。

圖1 基于NL-means算法的顯著估計(jì)結(jié)果

由圖1可知，NL-means算法顯著模型對(duì)一些微小的變化反應(yīng)不敏感，并且對(duì)象區(qū)域能夠有效地突出。然而,該模型直接使用圖像像素值計(jì)算圖像的自相似性,并且因?yàn)槭褂脷W氏距離函數(shù),對(duì)灰度級(jí)比對(duì)結(jié)構(gòu)和文本更敏感。因此，本文使用超像素優(yōu)化的空間特征[12]測(cè)量圖像結(jié)構(gòu)的自相似性，以改進(jìn)NL-means算法[10]。

2 基于超像素優(yōu)化空間特征的圖像分割

2.1 超像素

由于圖像空間的一致性特性,圖像的像素表示通常是冗余的。為了減少這種冗余性，Ren and Malik[13]最早提出了超像素的概念。超像素處理是指利用像素之間特征的相似性，將像素分組，用少量的超像素代替大量的像素來(lái)表達(dá)圖像特征的過(guò)程。

本文使用簡(jiǎn)單的線性迭代聚類算法，從圖像中提取大致均勻的紋理和灰度的超像素。

2.2 超像素的空間特征優(yōu)化

一般來(lái)說(shuō)，圖像中的獨(dú)特區(qū)域通常遠(yuǎn)少于超像素的數(shù)量，如圖2所示。因此鄰近區(qū)域內(nèi)有影響的超像素和相似的超像素要被優(yōu)化。通過(guò)對(duì)鄰近和相似的超像素優(yōu)化，可使圖像中相似冗余的信息得到進(jìn)一步聚類。因此利用超像素空間特征優(yōu)化算法使得鄰近和相似的超像素優(yōu)化得到圖像的相似冗余信息。

超像素空間特征優(yōu)化算法的主要過(guò)程如下：

(1)對(duì)輸入圖像使用線性迭代聚類算法提取超像素。

(2)為每個(gè)超像素搜索鄰近的超像素。在鄰近的超像素之外找到SN個(gè)相似的超像素，SN=log(X×Y)，X是圖像的寬度,Y是圖像的高度。

(2)

(3)

(4)

(4)使用PSO方法優(yōu)化影響率?1、?2。如果在連續(xù)五個(gè)迭代或進(jìn)化一代達(dá)到最大時(shí)滿足|J(U,V)t-J(U,V)(t+1)|/J(U,V)(t)≤δ，則迭代停止，得到超像素的空間特征α(x,y);否則,返回到步驟(3)。

其中，模糊級(jí)別m=2,初始化閾值ε=0.1%，δ=0.1%；設(shè)置初始矩陣U(t)，t是迭代次數(shù)，uij是U的基礎(chǔ)；影響率參數(shù)?1、?2，初始化?1=?2=0。

2.3 基于超像素的優(yōu)化空間特征的圖像分割

在本文中,通過(guò)使用超像素的優(yōu)化空間特征提高原來(lái)的NL-means 算法來(lái)衡量圖像結(jié)構(gòu)的自相似性。

由2.2節(jié)得到空間特征優(yōu)化后的超像素區(qū)域R，使用α(x1,y1)和α(x2,y2)分別表示超像素區(qū)域R(x1,y1)和R(x2,y2)的空間特征，像素(x1,y1)和(x2,y2)分別表示超像素區(qū)域R(x1,y1)和R(x2,y2)的中央像素。像素(x1,y1)和(x2,y2)之間的相似性依靠超像素區(qū)域之間的相似性。像素(x1,y1)和(x2,y2)的相似性SS(x1,y1;x2,y2)由公式(5)測(cè)量：

(5)

參數(shù)λ控制了指數(shù)函數(shù)的衰減并有一定程度的過(guò)濾。τ是歸一化系數(shù)，它的作用是將非局部區(qū)域內(nèi)的SS(x1,y1;x2,y2)的總和歸1。

3 基于局部空間冗余抑制的顯著估計(jì)

3.1 自相似性結(jié)構(gòu)的刻畫

圖像結(jié)構(gòu)的自相似性表明了圖像結(jié)構(gòu)的冗余。自相似性越大,冗余也就越大。因此需要對(duì)圖像結(jié)構(gòu)的自相似性進(jìn)行刻畫。根據(jù)人類視覺(jué)系統(tǒng)的研究,兩個(gè)相近的區(qū)域之間的相似性遠(yuǎn)遠(yuǎn)高于較遠(yuǎn)的區(qū)域。為了估計(jì)像素(x1,y1)的冗余，定義一個(gè)周邊區(qū)域Ω,為方便計(jì)算這里只考慮區(qū)域Ω內(nèi)的像素的相似性，區(qū)域Ω外的像素忽略不計(jì)。此外,更加重視中心像素(x1,y1)附近的像素。像素(x1,y1)的自相似性如下定義：

(6)

3.2 基于香農(nóng)熵的信息度描述

在信息理論中信息測(cè)量香農(nóng)熵是一種有效的測(cè)量,它基于事件的統(tǒng)計(jì)概率。根據(jù)香農(nóng)信息理論,圖像信息總是基于像素的強(qiáng)度分布測(cè)量的。對(duì)于一個(gè)像素x,信息是基于局部區(qū)域的香農(nóng)熵測(cè)量的,這里使用優(yōu)化的超像素的空間特征計(jì)算像素的信息。給定一個(gè)像素(x,y),圖像信息圖定義如下：

(7)

這里N(α(x,y))是超像素區(qū)域的特征總量，N(αi)是超像素區(qū)域中αi的特征量,pi是像素(x,y)基于特征αi在超像素區(qū)域的概率。

3.3 顯著圖生成

根據(jù)視覺(jué)注意機(jī)制集中于最豐富區(qū)域的特性，可以認(rèn)為顯著圖像是人的大腦冗余抑制的結(jié)果,因此關(guān)注對(duì)象被模擬成視覺(jué)信息的冗余抑制。所以需要考慮圖像信息測(cè)量的結(jié)構(gòu)冗余。為了模擬顯著圖像,有效地抑制冗余信息，利用結(jié)構(gòu)的自相似性抑制圖像信息圖的圖像結(jié)構(gòu)冗余，并從復(fù)雜圖像信息中提取出有用的信息。根據(jù)公式(6)和公式(7)，冗余抑制的顯著圖像估計(jì)如下：

SM(x,y)=(1-φ(x,y))IM(x,y)

(8)

由公式(11)可得到冗余抑制的顯著圖像估計(jì)，并且該顯著圖像的值的范圍是0～1。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的優(yōu)越性，將其與多個(gè)顯著目標(biāo)檢測(cè)方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，本文的算法取得的效果比其他方法好。

4.1 與NL-means算法模型比較

本文算法與NL-means算法的比較結(jié)果如圖2所示。其中第一列是原始圖像,第二列是NL-means算法的顯著圖像，第三列是本算法的顯著圖像。

圖2 本文的算法與NL-means算法的比較結(jié)果

圖2中的原始圖像具有自相似紋理和背景,并且背景是非常多余的。NL-means算法的顯著圖像,強(qiáng)調(diào)了對(duì)象的邊界,但背景干擾了響應(yīng)。本文模型有效地顯著了整個(gè)對(duì)象區(qū)域,同時(shí)降低了背景紋理。

4.2 與經(jīng)典方法比較

與四個(gè)最經(jīng)典的顯著估計(jì)方法(FT、SR、Gvbs和Itti)進(jìn)行比較。圖3顯示了與這些經(jīng)典方法的主觀比較。圖3(a)介紹了原始圖像,圖3(b)是ground truth,圖3(c～f)顯示了四個(gè)最經(jīng)典的顯著估計(jì)方法的結(jié)果。本文算法的顯著圖像是圖3(g)。比較結(jié)果表明,本文方法可以產(chǎn)生良好的顯著評(píng)估結(jié)果。在測(cè)試圖像中,第一幅圖像和第二幅圖像,顯著對(duì)象很小，大多數(shù)方法都能夠估計(jì)顯著對(duì)象。但本文的算法能更好地檢測(cè)整個(gè)對(duì)象。當(dāng)圖像是一個(gè)很大的顯著對(duì)象和簡(jiǎn)單的背景時(shí),如第三幅圖,其他的方法突出了邊界,但本文的算法幾乎強(qiáng)調(diào)整個(gè)對(duì)象。此外,在復(fù)雜背景的圖像場(chǎng)景中,如第五幅圖，本文的算法比別的算法對(duì)背景紋理更不敏感。

圖3 由不同的經(jīng)典的算法得到的顯著圖像:(a)原始圖像；(b)ground truth；(c)～(g)FT, SR, Gbvs, Itti與本文算法的顯著圖像

5 結(jié)論

本文在NL-means算法基礎(chǔ)上提出了一個(gè)新穎的顯著檢測(cè)方法。該方法基于超像素和冗余抑制對(duì)給定的圖像自動(dòng)估計(jì)顯著圖像。顯著圖像是除去結(jié)構(gòu)冗余后的圖像信息圖。通過(guò)與NL-means算法和四個(gè)其他經(jīng)典算法的實(shí)驗(yàn)比較可見(jiàn)，本文的算法達(dá)到了更好的效果。

[1] ALEXANDER T.Computational versus psychophysical bottom-up image saliency: a comparative evaluation study[J]. IEEE Transactions on Pattern Analysis and Machine intelligence, 2011, 33(11):2131-2146.

[2] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Tranctions on Pattern Analysis and Machine Intelligency, 1998,20(11):1254-1259.

[3] GAO D， VASCONCELOS N. Integrated learning of saliency, complex features, and object scenes[C]. In Proceedings of the 2005 Conference on Computer Vision and Pattern Recognition (CVPR′05), CA, USA, 2005: 282-287.

[4] HOU X, ZHANG L. Saliency detection: a spectral residual approach[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，2007:1-8.

[5] VISWANATH G, RQUN H, DEEPU R. Salient region detection by modeling distributions of color and orientation[C]. IEEE Trans. Multimedia, 2009, 11(5)：892-905.

[6] BRUCE, N, TSOTSOS J. Saliency based on information maximization[C]. In Proc. Advances in Neural Information Processing Systems，2005：155-162.

[7] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]. Advances in Neural Information Processing Systems, MIT Press, Cambridge, 2007:545-552.

[8] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]. In: IEEE Conference on Computer Vision and Pattern Recognition, 2009, CVPR 2009, IEEE, 2009： 1597-1604.

[9] 胡玉蘭,趙子銘,片兆宇，等.高分辨雷達(dá)一維距離像的融合特征識(shí)別[J].微型機(jī)與應(yīng)用,2015,34(4):52-54,57.

[10] WU J, QI F, SHI G， et al. Non-local spatial redundancy reduction for bottom-up saliency estimation[C].Visual Communication and Image Representation， 2012:1158-1166.

[11] BUADES A, COLL B, MOREL J. A non-local algorithm for image denoisin[C]. In: Proc.IEEE Conf. Computer Vision and Pattern Recognition, 2005： 60-65.

[12] Tian Xiaolin, Jiao Licheng.The image segmentation based on optimized spatial feature of superpixel[J]. Visual Communication and Image Representation, 2015(26):146-160.

[13] REN X, MALIK J. Learning a classification model for segmentation[C], In: International Conference on Computer Vision, 2003：10-17.

Target recognition algorithm based on local spatial redundancy suppression of visual information

Zhang Ye，Hu Yulan，Pian Zhaoyu

(School of Information Science and Engineering, Shenyang Ligong University, Shenyang 110159, China)

A new method to recognize target of visual attention model based on superpixels and redundancy reduction is proposed, which is about the target recognition problem under the similar redundancy background. Firstly, in order to get similar rigions, the image is segmented based on optimized spatial feature of superpixels. Secondly, to eliminate the correlation between pixels, the Shannon entropy is considered to represent pixels information which build up the image information map. Finally, aiming at suppressing the repeated items effectively, the redundancy of the information map is thrown away to yield the image saliency map using the self-similarity. Experimental results show that the proposed model is compared with the state-of-the-art saliency models, this method not only highlights the salient objects in a complex environment but also more effectively suppress the redundancy.

saliency; redundancy reduction；similar；superpixels

TP391

A

1674-7720(2016)01-0042-03

張葉，胡玉蘭，片兆宇．基于局部空間冗余視覺(jué)信息抑制的目標(biāo)識(shí)別算法研究[J] .微型機(jī)與應(yīng)用，2016，35(1)：42-44,48.

2015-09-08)

張葉(1991-)，通信作者，女，在讀碩士研究生，主要研究方向：自適應(yīng)信號(hào)處理。E-mail：1023054379@qq.com。

胡玉蘭(1961-)，女，教授，主要研究方向：圖像信息處理、模式識(shí)別與人工智能。

片兆宇(1980-)男，副教授，主要研究方向：圖像處理、機(jī)器視覺(jué)、模式識(shí)別。