基于稀疏表示的圖像顯著區(qū)域檢測(cè)算法

張 巧 榮

(河南財(cái)經(jīng)政法大學(xué)計(jì)算機(jī)與信息工程學(xué)院　河南 鄭州 450002)

?

基于稀疏表示的圖像顯著區(qū)域檢測(cè)算法

張 巧 榮

(河南財(cái)經(jīng)政法大學(xué)計(jì)算機(jī)與信息工程學(xué)院河南 鄭州 450002)

摘要針對(duì)圖像的顯著區(qū)域檢測(cè)問(wèn)題，提出一種基于稀疏表示的顯著區(qū)域檢測(cè)算法。該算法首先利用稀疏編碼對(duì)圖像進(jìn)行特征描述，然后根據(jù)圖像的稀疏編碼進(jìn)行視覺(jué)顯著性的計(jì)算，而不是對(duì)原始圖像直接進(jìn)行處理，提高計(jì)算的效率。最后，根據(jù)視覺(jué)顯著性的計(jì)算結(jié)果，進(jìn)行顯著性區(qū)域分割。在公開(kāi)的測(cè)試圖像集上進(jìn)行實(shí)驗(yàn)，并和目前幾種流行的算法進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，該算法用于圖像的顯著區(qū)域檢測(cè)是正確有效的。

關(guān)鍵詞顯著區(qū)域檢測(cè)稀疏表示視覺(jué)顯著性顯著圖

0引言

隨著信息技術(shù)的發(fā)展，圖像已經(jīng)成為人們獲取信息的主要來(lái)源。如何高效準(zhǔn)確地進(jìn)行圖像分析和處理成為人們研究的焦點(diǎn)。通過(guò)視覺(jué)注意機(jī)制，人類可以快速準(zhǔn)確地檢測(cè)出圖像中的顯著區(qū)域，優(yōu)先注意到圖像的重要部分，從而迅速地獲取有用的信息。通過(guò)檢測(cè)圖像中的顯著區(qū)域并優(yōu)先分配計(jì)算資源，可以有效地提高圖像處理的效率和準(zhǔn)確度。因此，顯著區(qū)域檢測(cè)技術(shù)被廣泛應(yīng)用于目標(biāo)檢測(cè)[1]、目標(biāo)識(shí)別[2]、圖像分割[3]、圖像壓縮[4]以及圖像檢索[5]等應(yīng)用領(lǐng)域。

檢測(cè)圖像中的顯著區(qū)域，首先需要計(jì)算圖像中各部分內(nèi)容的視覺(jué)顯著性。到目前為止，已經(jīng)有很多學(xué)者提出了視覺(jué)顯著性計(jì)算模型。生物視覺(jué)研究成果表明，顯著性源于視覺(jué)信息的獨(dú)特性、稀缺性以及奇異性，并由亮度、顏色、方向、邊緣等圖像特征所致[6]。因此，一些研究者通過(guò)計(jì)算圖像區(qū)域相對(duì)于其周圍鄰域的特征對(duì)比度來(lái)得到視覺(jué)顯著性。其中以Itti等提出的模型最具代表性[7]，得到各國(guó)研究者的廣泛關(guān)注。Itti等通過(guò)計(jì)算多個(gè)特征圖像的多尺度下的中央-四周特征差異來(lái)生成視覺(jué)顯著性。Ma等提出一種計(jì)算局部對(duì)比度并采用模糊增長(zhǎng)的方法生成顯著圖[8]?；诰植繉?duì)比度計(jì)算的方法容易在邊緣部分產(chǎn)生較高的顯著性值，而物體內(nèi)部的顯著性值反而較低，出現(xiàn)“顯著性反轉(zhuǎn)”的現(xiàn)象。一些研究者通過(guò)計(jì)算全局對(duì)比度來(lái)解決這個(gè)問(wèn)題[6]。還有一些研究者基于信息論的觀點(diǎn)，通過(guò)計(jì)算圖像特征的稀少性來(lái)生成顯著圖[9,10]。為了提高計(jì)算效率，一些學(xué)者提出基于頻域分析的視覺(jué)顯著性計(jì)算方法，例如Hou等提出的基于譜殘差的方法[11]，Guo等提出的基于相位譜的方法[12]，以及Hou等最近提出的利用DCT的“圖像簽名”算子的方法[13]等。這些方法計(jì)算速度快，適合實(shí)時(shí)監(jiān)測(cè)。但是，通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)這些方法雖然運(yùn)算速度較快，檢測(cè)的準(zhǔn)確度卻不是很高。因此，如何在保持計(jì)算速度的情況下，提高檢測(cè)的準(zhǔn)確度是需要解決的問(wèn)題。

因此，基于以上的分析，本文提出一種利用稀疏表示的視覺(jué)顯著性計(jì)算方法。首先，計(jì)算圖像的稀疏編碼表示。然后，利用圖像的稀疏編碼計(jì)算視覺(jué)顯著性，提高計(jì)算效率。根據(jù)視覺(jué)顯著性計(jì)算結(jié)果，提取顯著區(qū)域。

1顯著區(qū)域檢測(cè)算法

本文提出的利用稀疏編碼的圖像顯著區(qū)域檢測(cè)算法如圖1所示，主要包括視覺(jué)顯著性計(jì)算和顯著區(qū)域檢測(cè)兩部分。

圖1　顯著區(qū)域檢測(cè)算法框圖

2視覺(jué)顯著性計(jì)算

2.1稀疏表示

生物視覺(jué)系統(tǒng)的研究發(fā)現(xiàn)，當(dāng)視覺(jué)神經(jīng)系統(tǒng)接收到某幅自然圖像時(shí)，大部分神經(jīng)元對(duì)該圖像的響應(yīng)很弱甚至為0，只有很少的神經(jīng)元有較強(qiáng)的響應(yīng)。當(dāng)接收的自然圖像發(fā)生變化時(shí)，產(chǎn)生較強(qiáng)響應(yīng)的神經(jīng)元可能會(huì)改變，但這些神經(jīng)元的個(gè)數(shù)仍然只占整體的少部分，這種特性叫作稀疏性[14]。為了模擬神經(jīng)元響應(yīng)的稀疏特性，人們提出了針對(duì)自然圖像的有效編碼方法，即稀疏編碼。

在稀疏編碼模型中，利用基函數(shù)的線性疊加表示輸入圖像，在最小均方差意義下使得線性疊加的結(jié)果盡可能地與原圖像相似。同時(shí)表示的特征盡可能地稀疏化，即基函數(shù)的權(quán)值盡可能多地為0或接近0。圖像的線性疊加可以表示為[15]：

X=AS

(1)

式中，X表示輸入圖像，表示為多個(gè)基函數(shù)的線性組合，A為基函數(shù)組成的矩陣，S為線性組合時(shí)基函數(shù)的權(quán)值向量。從神經(jīng)生物學(xué)的角度，式(1)表示的稀疏編碼模型可以解釋為，人的視覺(jué)感知系統(tǒng)將輸入圖像刺激X通過(guò)感受野A的特征提取，將其表示為視覺(jué)細(xì)胞的活動(dòng)狀態(tài)S。S即為輸入圖像的稀疏編碼。

對(duì)于式(1)表示的稀疏編碼模型，Olshausen提出的優(yōu)化準(zhǔn)則為：

(2)

式中，I(x,y)表示輸入圖像X中的像素值，φi(x,y)為基函數(shù)矩陣A中的第i個(gè)列向量，ai為向量S的第i個(gè)響應(yīng)值。式(2)中的第1項(xiàng)用原始圖像與重構(gòu)圖像之間的誤差平方和表示重構(gòu)圖像的信息保持度，第2項(xiàng)反映了編碼的稀疏程度[15]。

根據(jù)式(1)表示的稀疏編碼模型及式(2)的優(yōu)化準(zhǔn)則，本文從自然圖像庫(kù)中選取10 000個(gè)8×8的圖像塊進(jìn)行訓(xùn)練得到字典A。則圖像的稀疏編碼可以通過(guò)式(3)求得：

S=DX

(3)

式中，D=A-1。

2.2生成顯著圖

通過(guò)上面的方法，我們得到了輸入圖像的圖像塊級(jí)別的稀疏編碼。為了計(jì)算視覺(jué)顯著性，我們需要像素級(jí)別的稀疏編碼。為此，本文通過(guò)計(jì)算包含某像素的所有圖像塊的稀疏編碼的均值來(lái)得到該像素的稀疏編碼。

位于(x,y)的像素的稀疏編碼記為PS(x,y)=[ps1(x,y),ps2(x,y), …]，psk(x,y)表示該像素在第k個(gè)子碼中的編碼值。圖像中所有像素在第k個(gè)子碼中的編碼值組成的矩陣Fk可以看作是對(duì)輸入圖像提取的第k個(gè)稀疏特征圖。

研究表明，視覺(jué)顯著性源于視覺(jué)信息的獨(dú)特性和稀缺性。本文通過(guò)計(jì)算圖像中各部分內(nèi)容與其周圍環(huán)境所包含的視覺(jué)信息的差異來(lái)計(jì)算視覺(jué)顯著性。根據(jù)目前有效編碼理論中廣泛采用的貝葉斯決策理論，P(X)表示某數(shù)據(jù)集X的初始概率，即先驗(yàn)概率，反映了根據(jù)已有知識(shí)斷定X是正確的可能程度；P(D|X)為似然函數(shù)，表示X為正確假設(shè)時(shí)，觀察到D的概率；P(D)表示D的先驗(yàn)概率；P(X|D)是給定樣本D時(shí)，X的后驗(yàn)概率。貝葉斯定理可以表示為：

防治方法：可用50%乙烯菌核利水分散粒劑(農(nóng)利靈)(40～60克/畝)1 000～1 500倍液，或75%百菌清可濕性粉劑(75～100克/畝)600～800倍液，或45%特克多懸浮液(60毫升/畝)1 000倍液，或50%多菌靈可濕性粉劑(75～100克/畝)600～800倍液，或70%甲基硫菌靈可濕性粉劑(甲基托布津)(75～100克/畝)600～800倍液，或50%腐霉利可濕性粉劑(速克靈)(75～100克/畝)1 000～1 500倍液防治。

(4)

由式(4)可以看出，如果新的樣本數(shù)據(jù)D產(chǎn)生了信息差異，則先驗(yàn)概率和后驗(yàn)概率是不同的。為了衡量D引起的差異的程度，可以通過(guò)計(jì)算先驗(yàn)概率分布與后驗(yàn)概率分布之間的Kullback-Liebler(K-L)距離得到：

(5)

由此可知，將圖像中某位置的周邊環(huán)境劃分為兩個(gè)區(qū)域，即中央?yún)^(qū)域和周邊區(qū)域，周邊區(qū)域遠(yuǎn)大于中央?yún)^(qū)域。周邊區(qū)域的信息分布看作是先驗(yàn)概率，中央?yún)^(qū)域的信息分布為后驗(yàn)概率。如果某位置引起了觀察者的注意，則其中央?yún)^(qū)域和周邊區(qū)域的信息分布是不同的，其差異程度即為其顯著程度[16]，可以通過(guò)式(6)得到：

(6)

SM(x,y)=∑SMi(x,y)

(7)

3顯著區(qū)域檢測(cè)

得到綜合顯著圖之后，選擇合適的閾值對(duì)顯著圖進(jìn)行閾值分割，獲得二值圖像，其中白色區(qū)域?qū)?yīng)位置即為圖像中的顯著區(qū)域。將二值圖像和原始圖像進(jìn)行疊加，即可提取出顯著區(qū)域。閾值可以通過(guò)式(8)計(jì)算得到：

(8)

式中，L為顯著圖中像素最大的灰度值，pi為灰度值i出現(xiàn)的概率。

4實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

為了客觀地評(píng)估本文算法的正確性和有效性，我們?cè)趦蓚€(gè)公開(kāi)的測(cè)試圖像庫(kù)上進(jìn)行了實(shí)驗(yàn)，并和目前比較流行的7種算法進(jìn)行了實(shí)驗(yàn)對(duì)比。本文算法的運(yùn)行環(huán)境為Matlab7.0，硬件平臺(tái)為個(gè)人計(jì)算機(jī)(IntelCorei3/雙核2.53GHzCPU，內(nèi)存為2GB) 。

4.1測(cè)試圖像集

本文選取的第一個(gè)測(cè)試圖像集為Bruce等人提供的人眼跟蹤圖像庫(kù)。庫(kù)中包含120幅測(cè)試圖像以及通過(guò)人眼跟蹤設(shè)備記錄的20個(gè)測(cè)試者在測(cè)試圖像上的人眼跟蹤數(shù)據(jù)(GroundTruth)。該數(shù)據(jù)集可以從http://www-sop.inria.fr/members/Neil.Bruce獲得。

第二個(gè)測(cè)試圖像集為Achanta等人提供的公開(kāi)圖像測(cè)試集，該測(cè)試集包含有1000幅測(cè)試圖像，以及由人工精確標(biāo)注的顯著性區(qū)域結(jié)果(GroundTruth)。該數(shù)據(jù)集可以從http://ivrgwww.epfl.ch/supplementary_material/RK_CVPR09/index.html獲得。

限于篇幅，本文從測(cè)試圖像集中選擇4幅圖像比較典型的圖片，在圖2中給出利用本文算法和目前大家關(guān)注度比較高的其他8種算法計(jì)算得到的顯著圖直觀的實(shí)驗(yàn)對(duì)比結(jié)果。這8種算法分別為ITTI(Itti的引用最多的經(jīng)典算法)、GBVS[17](Kouch等人的基于圖論的視覺(jué)顯著性計(jì)算方法，檢測(cè)準(zhǔn)確度較高)、AIM[18](第一個(gè)測(cè)試圖像集的作者Bruce等人的基于信息最大化的算法)、FTSRD[19](第二個(gè)測(cè)試圖像集的作者Achanta等人的算法)、SUN[20](利用圖像統(tǒng)計(jì)信息的算法)以及SR(基于譜殘差的方法)、IS(基于DCT的圖像簽名的方法)、ICL[21](基于增量編碼長(zhǎng)度的算法)這三種影響力比較大的基于頻域分析的算法。這幾種算法的作者都提供了源代碼，方便我們進(jìn)行實(shí)驗(yàn)比較。

圖2　實(shí)驗(yàn)結(jié)果對(duì)比

圖2中的前兩幅圖片來(lái)自Bruce提供的測(cè)試集，其GroundTruth是對(duì)人眼跟蹤數(shù)據(jù)經(jīng)過(guò)高斯模糊處理后的人眼關(guān)注圖。后兩幅圖片來(lái)自Achanta提供的測(cè)試集，其GroundTruth是以二值圖像表示的由人工精確標(biāo)注的顯著區(qū)域結(jié)果。從圖2中可以看出，一些算法如FRSRD、SUN出現(xiàn)了顯著性反轉(zhuǎn)的情況，一些算法如ITTI、SR、ICL、IS計(jì)算出的顯著性結(jié)果更強(qiáng)調(diào)邊緣部分，而本文算法的結(jié)果與GroundTruth最接近。

為了客觀地評(píng)價(jià)本文算法的效果，本文采用目前本領(lǐng)域常用的ROC曲線、AUROC值對(duì)本文算法以及其他算法進(jìn)行定量比較分析。

為了分割顯著區(qū)域并計(jì)算ROC曲線，本文參考文獻(xiàn)[19]，將各種方法得到的顯著圖中各像素的顯著值調(diào)整到[0,1]。然后從0到1每隔0.05取一個(gè)閾值，分別將各算法的顯著圖進(jìn)行二值化，進(jìn)行顯著區(qū)域和非顯著區(qū)域的分類，并與GroundTruth進(jìn)行比較，計(jì)算相應(yīng)的TPR(TruePositiveRate)和FPR(FalsePositiveRate)，分別得到21組TPR和FPR的對(duì)應(yīng)值，畫出ROC曲線。圖3是各種算法的ROC曲線圖。表1為各種算法的AUROC值對(duì)比結(jié)果。從圖3和表1可以看出，本文算法的ROC曲線是最高的，AUROC值是最大的。

圖3　各種算法ROC曲線對(duì)比結(jié)果

方法 測(cè)試圖像集1測(cè)試圖像集2ITTI0.78190.8524GBVS0.81340.8840AIM0.69330.7057FTSRD0.55560.8026SUN0.67700.8050SR0.63950.7623IS0.64990.7714ICL0.69800.8362本文算法0.83180.8904

4.3時(shí)間復(fù)雜度評(píng)估

我們對(duì)本文算法和其他8種算法在兩個(gè)測(cè)試圖像集上單幅圖像的平均運(yùn)行時(shí)間進(jìn)行了測(cè)試，對(duì)比結(jié)果如表2所示。

表2　各種算法的運(yùn)行時(shí)間對(duì)比

續(xù)表2

從表2中可以看出，ITTI、FTSRD、SR、IS等幾種算法的平均運(yùn)行時(shí)間比本文算法的運(yùn)行時(shí)間要短，其余幾種算法的平均運(yùn)行時(shí)間高于本文算法。但是，本文算法的檢測(cè)準(zhǔn)確度要高于ITTI、FTSRD、SR、IS等幾種算法。因此綜合考慮，本文算法相對(duì)于其他算法仍然具有一定優(yōu)勢(shì)。

5結(jié)語(yǔ)

本文針對(duì)圖像中的顯著區(qū)域檢測(cè)問(wèn)題進(jìn)行了研究，提出一種利用稀疏編碼的顯著區(qū)域檢測(cè)算法。該算法首先對(duì)原始圖像提取稀疏特征，采用稀疏編碼對(duì)圖像進(jìn)行表示，在此基礎(chǔ)上通過(guò)計(jì)算圖像中各部分內(nèi)容之間的信息差異來(lái)得到視覺(jué)顯著性結(jié)果。結(jié)合視覺(jué)顯著性計(jì)算結(jié)果，提取顯著區(qū)域。本文在兩個(gè)國(guó)際上公開(kāi)的測(cè)試圖像集上進(jìn)行了實(shí)驗(yàn)，并和8種目前大家關(guān)注度比較高的算法進(jìn)行了對(duì)比，結(jié)果證明了本文算法的正確性和有效性。

本文算法還存在一些需要進(jìn)一步改進(jìn)的地方。一方面，本文算法只考慮了圖像的一些底層特征，沒(méi)有考慮目標(biāo)輪廓、人臉等高層特征；另一方面，本文只對(duì)靜態(tài)圖像進(jìn)行了研究，如何對(duì)算法進(jìn)行改進(jìn)使其適合視頻圖像也是下一步工作努力的方向。

參考文獻(xiàn)

[1]LiuT,YuanZ,SunJ,etal.Learningtodetectasalientobject[J].IEEETPAMI,2011,33(2):353-367.

[2]KarthikDesingh.VisualSaliencyandNextBestViewModelsforObjectRecognitionandSearch[R].InternationalInstituteofInformationTechnologyHyderabad,2013.

[3]AchantaR,EstradaF,WilsP,etal.Salientregiondetectionandsegmentation[C]//IEEEICVS,2008:66-75.

[4]ChristopoulosC,SkodrasA,EbrahimiT.TheJPEG2000stillimagecodingsystem:anoverview[J].IEEETrans.ConsumerElec.,2002,46(4):1103-1127.

[5]OlegMuratov.VisualSaliencyDetectionandItsApplicationtoImageRetrieval[D].PhDthesis,UniversityofTrento,2013.

[6]ChengMM,ZhangGX,MitraNJ,etal.GlobalContrastbasedSalientRegionDetection[C]//IEEEConferenceonComputerVisionandPatternRecognition,2011:409-416.

[7]IttiL,KouchC.Computationalmodelingofvisualattention[J].NatureReviewsNeuroscience,2001,2(3):194-230.

[8]MaYufei,ZhangHongjiang.Contrast-basedImageAttentionAnalysisbyUsingFuzzyGrowing[C]//Proceedingsofthe11thACMInternationalConferenceonMultimedia.NewYork,NY:AssociationforComputingMachinery,2003:374-381.

[9]BruceN,TsotososJ.SaliencyBasedonInformationMaximization[C]//ProceedingsofAdvancesinNeuralInformationProcessingSystems,2006:155-162.

[10]PanQK,TasgetirenMF,LiangYC.Adiscretedifferentialevolutionalgorithmforthepermutationflowshopschedulingproblem[J].Computers&IndustrialEngineering,2008,55(4):795-816.

[11]HouXiaodi,ZhangLiqing.SaliencyDetection:ASpectralResidualApproach[C]//Proceedingsof2007IEEEConferenceonComputerVisionandPatternRecognition.Florida,USA:IEEE,2007:1-8.

[12]GuoC,MaQ,ZhangL.Spatio-TemporalSaliencyDetectionUsingPhaseSpectrumofQuaternionFourierTransform[C]//IEEEConferenceonComputerVisionandPatternRecognition,2008:2908-2915.

[13]HouXiaodi,JonathanHarel,ChristofKoch.ImageSignature:HighlightingSparseSalientRegions[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(1):194-201.

[14] 羅四維.視覺(jué)感知系統(tǒng)信息處理理論[M].北京:電子工業(yè)出版社,2006.

[15] 李志清,施智平,李志欣.基于結(jié)構(gòu)相似度的稀疏編碼模型[J].軟件學(xué)報(bào),2010,21(10):2410-2419.

[16]HouWeilong,GaoXinbo,TaoDacheng,etal.VisualSaliencyDetectionUsingInformaitonDivergence[J].PatternRecognition,2013,46(10):2658-2669.

[17]HarelJ,KochC,PeronaP.Graph-BasedVisualSaliency[C]//ProceedingsofAdvancesinNeuralInformationProcessingSystems,2007:681-688.

[18]BruceN,TsotsosJ.Saliency,Attention,andVisualSearch:AnInformatonTheoreticApproach[J].JournalofVision,2009,9(3):1-24.

[19]AchantaR,HemamiS,EstradaF,etal.Frequency-tunedSalientRegionDetection[C]//ProceedingsofIEEEInternationalConferenceonComputerVisionandPatternRecognition.Florida,USA:IEEE,2009:1597-1604.

[20]ZhangL,TongM,MasksT,etal.SUN:ABayesianFrameworkforSaliencyUsingNaturalStatistics[J].JournalofVision,2008,8(7):1-20.

[21]HouXiaodi,ZhangLiqing.DynamicVisualAttention:SearchingforCodingLengthIncrements[C]//Nisp,2008:681-689.

AN ALGORITHM FOR IMAGES SALIENT REGION DETECTION BASEDONSPARSEREPRESENTATION

Zhang Qiaorong

(School of Computer and Information Engineering,Henan University of Economics and Law,Zhengzhou 450002,Henan,China)

AbstractFocusing on the problem of images salient region detection, we proposed a sparse representation-based salient region detection algorithm. First, the algorithm uses sparse coding to describe images feature. Then it calculates the visual saliency based on images sparse coding instead of directly processing raw image so as to improve the efficiency of computation. Finally, according to the computation result of visual saliency it segments salient regions. The proposed method was experimented on public test image datasets and the experiment was compared with some other current popular algorithms. Experimental results showed that this algorithm was correct and effective when applying in images salient region detection.

KeywordsSalient region detectionSparse representationVisual saliencySaliency map

收稿日期：2014-11-29。國(guó)家自然科學(xué)基金項(xiàng)目(61374079)；河南省基礎(chǔ)與前沿技術(shù)研究計(jì)劃項(xiàng)目(122300410379)；河南省教育廳科學(xué)技術(shù)重點(diǎn)研究項(xiàng)目(14A520025)。張巧榮，副教授，主研領(lǐng)域：圖像處理。

中圖分類號(hào)TP3

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.06.048