基于視覺注意的顯著物體檢測實(shí)驗(yàn)設(shè)計(jì)

張 晴

(上海應(yīng)用技術(shù)學(xué)院 計(jì)算機(jī)科學(xué)與信息工程學(xué)院, 上海 201418)

?

基于視覺注意的顯著物體檢測實(shí)驗(yàn)設(shè)計(jì)

張 晴

(上海應(yīng)用技術(shù)學(xué)院 計(jì)算機(jī)科學(xué)與信息工程學(xué)院, 上海 201418)

從圖像中快速準(zhǔn)確定位出圖像主要內(nèi)容的顯著物體檢測已經(jīng)成為數(shù)字圖像處理的一個研究熱點(diǎn)。研究并設(shè)計(jì)了基于視覺注意的顯著物體檢測實(shí)驗(yàn)，通過實(shí)驗(yàn)操作增強(qiáng)學(xué)生對顯著物體檢測的理解以及激發(fā)學(xué)生進(jìn)一步學(xué)習(xí)和研究的興趣。首先介紹了基于視覺注意的顯著性物體檢測原理和方法，然后利用視覺注意方法進(jìn)行顯著性檢測，在此基礎(chǔ)上利用顯著物體密度最大化這一特征進(jìn)行有效子窗口搜索以實(shí)現(xiàn)顯著物體檢測，最后介紹了查準(zhǔn)率、查全率和F度量作為性能評價準(zhǔn)則并對實(shí)驗(yàn)結(jié)果進(jìn)行了分析。提供可實(shí)現(xiàn)上述方法的Matlab程序代碼，學(xué)生可根據(jù)相關(guān)程序進(jìn)行顯著物體檢測處理，得到符合人眼視覺感知的檢測結(jié)果。該實(shí)驗(yàn)方案可以檢測不同內(nèi)容、主題與背景環(huán)境的自然圖像，具有較強(qiáng)的魯棒性和較好的可操作性。

視覺注意； 物體檢測； 顯著性檢測； 有效子窗口搜索

0 引 言

圖像作為視覺信息的主要表達(dá)手段，是人類感知客觀世界的主要信息來源。面對現(xiàn)今龐大的圖像數(shù)據(jù)，如何快速且有效地定位出圖像中的主要信息內(nèi)容已經(jīng)成為了人們研究的熱點(diǎn)。顯著物體檢測技術(shù)是其中的一項(xiàng)關(guān)鍵技術(shù)，它能迅速定位圖像中的重要對象，賦予計(jì)算機(jī)分析處理過程一定的主動選擇能力，將有限的資源優(yōu)先分配給圖像中最主要信息，從而在復(fù)雜環(huán)境中快速有效地加工和處理信息[1]。顯著物體檢測技術(shù)可以廣泛應(yīng)用于許多計(jì)算機(jī)視覺領(lǐng)域，包括圖像/視頻壓縮[2]、目標(biāo)跟蹤[3]、目標(biāo)檢測與識別[4-5]等。顯著物體檢測技術(shù)的迅速發(fā)展，使得在圖像處理課程實(shí)驗(yàn)中添加相應(yīng)的內(nèi)容成為了必要，所以本文提出顯著物體檢測的實(shí)驗(yàn)設(shè)計(jì)。

目前顯著物體檢測方法主要有3種：① 用單一閾值表示顯著物體所占比重，采取遍歷搜索的方式尋找顯著區(qū)域[6]。該方法比較簡單，但由于顯著區(qū)域與全圖顯著性的比值與顯著物體的形狀、大小以及輸入圖像的背景復(fù)雜程度等均有關(guān)系，因此很難僅用一個預(yù)定義的閾值簡單表示，并且遍歷搜索會導(dǎo)致算法效率低下。② 引入分割算法獲取顯著物體[7-9]。該方法對背景單一圖像的檢測效果較好，但當(dāng)圖像背景較復(fù)雜時，較難獲得理想的檢測效果。③ 設(shè)計(jì)目標(biāo)函數(shù)表示顯著物體特征，并優(yōu)化搜索算法以提高計(jì)算效率[10]。該方法檢測效果較好，但計(jì)算較為復(fù)雜。

物體檢測是圖像分析的一項(xiàng)關(guān)鍵內(nèi)容，涉及到各方面的知識，要掌握顯著物體檢測技術(shù)，需要學(xué)生對多種圖像處理技術(shù)具有一定的綜合應(yīng)用能力。為了讓學(xué)生更好地掌握物體檢測技術(shù)，針對自然圖像內(nèi)容與背景的復(fù)雜性和多樣性，本文研究設(shè)計(jì)并實(shí)現(xiàn)了一個在圖像背景較復(fù)雜情況下仍能檢測獲取較理想顯著物體的實(shí)驗(yàn)方案。該實(shí)驗(yàn)方案受文獻(xiàn)[11]啟發(fā)，模擬人的視覺感知能力，基于視覺注意模型進(jìn)行顯著物體檢測，充分利用顯著圖中顯著物體的顯著密度遠(yuǎn)大于周圍背景的顯著密度這一特征，結(jié)合有效子窗口搜索算法(Efficient Sub-window Search, ESS)[12]設(shè)計(jì)實(shí)現(xiàn)，并介紹顯著物體檢測的評價標(biāo)準(zhǔn)，將實(shí)驗(yàn)所得結(jié)果與微軟亞洲研究院給出的基準(zhǔn)檢測結(jié)果進(jìn)行比較，希望通過本實(shí)驗(yàn)加深學(xué)生對物體檢測算法的理解以及激發(fā)學(xué)生進(jìn)一步學(xué)習(xí)研究的興趣。

1 基于視覺注意的顯著物體檢測

在面對一個復(fù)雜場景時，人類的注意力會迅速集中在少數(shù)幾個顯著的對象上，并對這些對象進(jìn)行優(yōu)先處理，該過程被稱為視覺注意[13]。如圖1所示，人眼會迅速將注意力轉(zhuǎn)移到與周圍其他圖形不同的圖形上，并認(rèn)為這些與眾不同的圖形是圖像的主要內(nèi)容。

圖1 視覺注意機(jī)制圖例

顯著物體檢測的目的是將作為主要內(nèi)容的物體從圖像中檢測提取出來。對于圖2所示的自然圖像的顯著物體檢測即是將人這個主要物體從圖像中提取出來，理想檢測結(jié)果如圖3所示，用紅色矩形框表示檢測提取結(jié)果。

傳統(tǒng)的圖像處理方法是對圖像中所有區(qū)域信息都賦予相同的處理優(yōu)先等級，然而顯著物體檢測所關(guān)心的內(nèi)容通常僅占圖像中很小的一部分，因此，這種全面的加工不但增加了分析過程的復(fù)雜性，而且?guī)砹嗽S多不必要的計(jì)算浪費(fèi)。將視覺注意引入到顯著物體檢測領(lǐng)域，能使計(jì)算機(jī)模擬人類的視覺感知系統(tǒng)，從而快速準(zhǔn)確定位出圖像的重要信息并完成圖像分析任務(wù)。

圖3 顯著物體檢測結(jié)果

根據(jù)視覺注意模型處理獲取的圖像稱作顯著圖，這一處理過程稱為顯著性檢測。顯著圖是用來表征圖像每個像素顯著度的一幅灰度圖，用灰度值表示圖像中每個像素相對于人眼的顯著性，像素灰度值越大表示該像素越顯著。對圖2進(jìn)行顯著性檢測的結(jié)果如圖4所示，檢測結(jié)果高亮了人這一主要物體，與人眼視覺主觀判斷一致。人們根據(jù)不同的圖像特征提出了不同的顯著性檢測算法，本實(shí)驗(yàn)僅對其中一種經(jīng)典的方法進(jìn)行介紹，并利用該方法獲取顯著圖，在此基礎(chǔ)上再運(yùn)用有效子窗口搜索算法進(jìn)行顯著物體檢測。

圖4 顯著度檢測后的結(jié)果圖

2 實(shí)驗(yàn)方案的設(shè)計(jì)

顯著物體檢測實(shí)驗(yàn)作為數(shù)字圖像處理課程內(nèi)容的補(bǔ)充與增強(qiáng)，應(yīng)具有以數(shù)字圖像處理課程的先修學(xué)科和計(jì)算機(jī)處理能力。先修課程：高等數(shù)學(xué)、數(shù)字信號處理、數(shù)字圖像處理、Matlab程序設(shè)計(jì)。

2.1 實(shí)驗(yàn)環(huán)境

(1) 操作系統(tǒng)。Windows XP或以上版本。

(2) 軟件。Matlab 6.0及以上版本(含圖像處理工具箱)。

(3) 圖像庫。微軟亞洲研究院公開的顯著物體檢測基準(zhǔn)圖像庫。

2.2 實(shí)驗(yàn)內(nèi)容

實(shí)驗(yàn)方案步驟主要有：① 利用高斯濾波對彩色圖像進(jìn)行預(yù)處理;② 圖像顯著性檢測;③ 定位顯著物體所在的最小矩形區(qū)域。

2.2.1 基于高斯濾波的預(yù)處理

對圖像進(jìn)行預(yù)處理的目的是去除噪聲等高頻成份對顯著性檢測結(jié)果的影響。高斯濾波器是根據(jù)高斯函數(shù)的形狀來選擇權(quán)值的線性平滑濾波器。高斯濾波器對去除服從正態(tài)分布的噪聲具有良好的效果。本實(shí)驗(yàn)利用高斯濾波器實(shí)現(xiàn)圖像的去噪平滑。給定一幅彩色圖像I(見圖5(a))，利用下式實(shí)現(xiàn)高斯濾波：

(1)

其中：σ=0.5。

高斯濾波結(jié)果如圖5(b)所示，學(xué)生可以結(jié)合文獻(xiàn)[14]進(jìn)一步了解不同濾波器的特性及其對于噪聲的抑制效果，結(jié)合Matlab圖像處理工具箱自帶的濾波去噪平滑函數(shù)，采用不同算法進(jìn)行濾波預(yù)處理。

圖5 高斯濾波效果對比

2.2.2 圖像CIELab色彩空間變換

CIELab是用來描述人眼可見所有顏色的最完備的色彩模型，較RGB和CMYK色彩空間，CIELab更接近人類視覺，它致力于感知均勻性，因此本實(shí)驗(yàn)在CIELab色彩空間中進(jìn)行圖像顯著性檢測。CIELab的三個基本坐標(biāo)分別為表示顏色的亮度L通道、顏色在紅色和綠色之間的位置a通道和在黃色和綠色之間的位置b通道。圖6給出了對彩色圖像進(jìn)行CIELab色彩空間變換的結(jié)果。

圖6 CIELab色彩空間的三通道分解圖像

2.2.3 基于全局對比度的顯著性檢測

針對CIELab色彩空間的每個通道圖像采用文獻(xiàn)[15]的頻率調(diào)諧方法進(jìn)行顯著性檢測，這是一種對圖像全局顏色對比度特征進(jìn)行計(jì)算的檢測方法。其具體方法是：對于給定圖像I，像素p的顯著性可以用下面公式計(jì)算：

S(p)=‖Iμ-Iwhc(p)‖

(4)

其中:Iμ為圖像的平均顏色特征;Iwhc(p)為像素p在高斯濾波后的顏色特征;‖·‖為L2范式，也就是計(jì)算Iμ和Iwhc(p)在CIELab色彩空間的歐式距離。顯著性檢測的程序代碼段放在D:SalObj目錄中，程序名為frequency-tuned.m。實(shí)驗(yàn)中，利用這段程序分別在CIELab色彩空間的三通道圖像上進(jìn)行顯著性檢測，最后將檢測結(jié)果進(jìn)行相加平均便可以實(shí)現(xiàn)顯著性檢測。圖7是利用上述程序獲得的檢測結(jié)果。由結(jié)果可知，花朵這一主體被高亮標(biāo)識出來的同時，背景葉叢也被部分高亮，因此需要設(shè)計(jì)合理的顯著物體檢測方案使檢測結(jié)果不受背景影響。

2.2.4 顯著物體檢測

本實(shí)驗(yàn)設(shè)計(jì)在顯著圖基礎(chǔ)上進(jìn)行顯著物體檢測。針對顯著圖中大部分顯著度較大的像素都集中在顯著目標(biāo)區(qū)域這一特性，本實(shí)驗(yàn)采用文獻(xiàn)[11]的顯著密度最大化方法進(jìn)行顯著物體檢測，其具體是運(yùn)用有效子窗口搜索算法優(yōu)化下列顯著密度最大化目標(biāo)函數(shù)：

(6)

其中：W是顯著物體所在區(qū)域；I是圖像；S(x,y)是像素點(diǎn)(x,y)的顯著度值；C是可調(diào)和參數(shù)，取C=0.24×Height×Width，Height是圖像高度，Width是圖像寬度；A(W)是顯著區(qū)域面積。相應(yīng)的程序代碼放在D:SalObj目錄中，程序名為MSD.m。該文件中定義了4個子函數(shù)，分別是Splitting_rectangles()函數(shù)、 FindingMaxMin()函數(shù)、RetrieveTopState()函數(shù)和UpperBound()函數(shù)，其中前3個函數(shù)實(shí)現(xiàn)有效子窗口搜索功能，從顯著圖中按照一定的方式進(jìn)行最優(yōu)目標(biāo)函數(shù)的搜索，比一般的遍歷搜索大大提高計(jì)算效率。UpperBound()函數(shù)按照式(6)定義顯著物體的密度最大化函數(shù)，在讀懂程序內(nèi)容的基礎(chǔ)上可以進(jìn)行修改，實(shí)現(xiàn)算法的改進(jìn)。圖8是顯著物體檢測處理結(jié)果。

圖7 顯著性檢測處理結(jié)果

圖8 顯著物體檢測結(jié)果圖

3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證提出的顯著物體檢測實(shí)驗(yàn)方案的可靠性，隨機(jī)選取微軟亞洲研究院公布的顯著物體檢測圖像數(shù)據(jù)庫作為實(shí)驗(yàn)數(shù)據(jù)集。參照文獻(xiàn)的算法性能評價方法，使用查準(zhǔn)率(見式(7))、查全率(見式(8))和F度量(見式(9))進(jìn)行評價。

(7)

(8)

(9)

圖9(a)是實(shí)驗(yàn)數(shù)據(jù)集中部分測試圖像的物體檢測結(jié)果，圖9(b)是微軟亞洲研究院給出的相應(yīng)檢測基準(zhǔn)。從圖9中對比可以看出，本文提出的實(shí)驗(yàn)方法具有較好的普遍性，能夠?qū)Σ煌螤?、大小及背景?fù)雜程度的物體均具有較好的檢測能力。

表1是使用上述評價標(biāo)準(zhǔn)對圖9所示檢測結(jié)果進(jìn)行計(jì)算得到的評價結(jié)果值。由表1可知本文所設(shè)計(jì)的實(shí)驗(yàn)方法的查全率、查準(zhǔn)率和F度量值較高，接近人眼視覺感知的結(jié)果。

圖9 顯著物體檢測結(jié)果比較

表1 圖例檢測結(jié)果的評價標(biāo)準(zhǔn)

要求學(xué)生根據(jù)上述三個性能評價指標(biāo)對檢測結(jié)果圖像進(jìn)行計(jì)算，并據(jù)此就算法的適用性等方面給出一定的分析。鼓勵學(xué)生根據(jù)自己的理解修改顯著物體檢測步驟的UpperBound()函數(shù)，并進(jìn)行性能評價指標(biāo)計(jì)算，與本實(shí)驗(yàn)方案進(jìn)行比較，加深理解。

4 結(jié) 語

本文設(shè)計(jì)并實(shí)現(xiàn)了一種模擬人的視覺感知系統(tǒng)進(jìn)行視覺注意計(jì)算的顯著物體檢測實(shí)驗(yàn)方案，通過對基于視覺注意的顯著物體檢測原理和方法的介紹，利用程序及具體的實(shí)驗(yàn)結(jié)果，進(jìn)一步加深了學(xué)生對高斯濾波、CIELab色彩空間、顯著性檢測、物體檢測等相關(guān)知識的感性認(rèn)識，同時使學(xué)生能夠通過自主動手實(shí)踐，培養(yǎng)他們的科研興趣，鍛煉實(shí)踐創(chuàng)新能力。利用預(yù)留的接口允許學(xué)生修改函數(shù)，以及利用評價標(biāo)準(zhǔn)對檢測結(jié)果進(jìn)行比較，希望能激發(fā)學(xué)生對這一方向的研究興趣。

[1] 趙 倩, 曹家麟, 胡越黎. 結(jié)合高斯多尺度變換和顏色復(fù)雜度計(jì)算的顯著區(qū)域檢測[J]. 儀器儀表學(xué)報(bào), 2012, 33(2): 405-412.

[2] Walther D, Koch C. Modeling attention to salient proto-objects[J]. Neural Networks, 2006, 19(9): 1395-1407.

[3] Itti L. Automatic foveation for video compression using a neurobiological model of visual attention[J]. IEEE Transactions on Image Processing, 2004, 13(10): 232-250.

[4] Fan J, Wu Y, Dai S. Discriminative spatial attention for robust tracking[C]//Proceedings of 11th European Conference on Computer Vision, 2010: 480-493.

[5] Gao D, Han S, Vasconcelos N. Descriminant saliency, the detection of suspicious coincidences, and applications to visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(6): 989-1005.

[6] Liu T, Yuan Z, Wang J, Sun J,etal. Learning to detect a salient object [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[7] Xu L, Li H, Zeng L,etal. Saliency detection using joint spatial-color constraint and multi-scale segmentation[J]. Journal of Visual Communication and Image Representation, 2013, 24(4): 465-476.

[8] Rahtu E, Kannala J, Salo M,etal. Segmenting salient objects from images and videos [C]. //Proceedings of European Conference on Computer Vision, 2010: 366-379.

[9] Achanta R, Wils P, Susstrunk S. Salient region detection and segmentation [J]. Computer Vision Systems, 2008: 66-75.

[10] Shi R, Liu Z, Du H, Zhang X,etal. Region Diversity Maximization for Salient Object Detection[J]. IEEE Signal Processing Letters, 2012, 19(4): 215-218.

[11] Luo Y, Yuan J, Xue P, Tian Q. Saliency Density Maximization for Efficient Visual Objects Discovery [J]. IEEE Transactions on Circuits and Systems for video Technology. 2011, 21(12): 1822-1834.

[12] Lampert C H, Blaschko M B, Hofmann T. Efficient subwindow search: A branch and bound framework for object localization [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(12): 2129—2142.

[13] 張 鵬, 王潤生. 靜態(tài)圖像中的感興趣區(qū)域檢測技術(shù)[J]. 中國圖象圖形學(xué)報(bào), 2005, 10(2): 142-148.

[14] 劉 剛, 王立香, 董 延. MATLAB數(shù)字圖像處理[M]. 北京: 機(jī)械工業(yè)出版社, 2010: 114-122.

[15] Achanta R, Hemami S, Estrada F. Frequency-tuned salient region detection [C]. //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1597-1604.

The Design of Salient Object Detection Experiment Based on Visual Attention

ZHANGQing

(School of Computer Science and Information Engineering, Shanghai Institute of Technology, Shanghai 201418, China)

It has become an active research focus in the field of image processing to quickly and precisely locate the main information of the image. This paper studied and designed a salient object detection experiment based on the visual attention, which is aimed to deepen students’ understanding and stimulate their interest in further study on salient object detection. Firstly, the basic principle and implementation of salient object detection based on visual attention are introduced. Moreover, saliency map is produced by visual attention models and then the salient object is carried out by efficient subwindow search algorithm on the basis of the maximization saliency density of saliency map. And finally, the performance is analyzed with the criterion of precision ratio, recall ratio and F-measure. This experiment also provides the Matlab code to help the students achieve results which are in accord with human visual perception. Experimental results show that the proposed method could achieve better performance without regard to image’s different content, subject and background, and has better robustness and maneuverability.

visual attention; object detection; saliency detection; efficient subwindow search

2015-03-09

國家自然科學(xué)基金項(xiàng)目(61401281); 上海市自然科學(xué)基金項(xiàng)目(14ZR1440700); 上海市高校青年教師培養(yǎng)基金資助項(xiàng)目(ZZyyy13022)

張 晴(1983-)，女，江蘇蘇州人，博士，講師，主要研究方向：顯著物體檢測、圖像修復(fù)。

Tel.：021-60873338; E-mail: zhangqing@sit.edu.cn

TP 391

A

1006-7167(2016)02-0155-04