基于Boolean編碼的自下而上視覺顯著性檢測方法研究

趙 迪 王曉鵬 陳丹淇

1. 上海衛(wèi)星工程研究所，上海201109 2. 上海航天技術研究院，上海201109 3. 上海機電工程研究所，上海201109

?

基于Boolean編碼的自下而上視覺顯著性檢測方法研究

趙 迪1王曉鵬2陳丹淇3

1. 上海衛(wèi)星工程研究所，上海201109 2. 上海航天技術研究院，上海201109 3. 上海機電工程研究所，上海201109

提出了一種利用Boolean編碼的二值特征自下而上視覺顯著性檢測方法。該方法是基于視覺注意的Boolean分布圖理論而提出的，同時結(jié)合多特征通道(如CIELab顏色空間)，利用二進制值(即 0/1)編碼每個像素，以表征場景視覺認知的位置分布信息。根據(jù)顯著區(qū)域和背景區(qū)域間各維度的 Boolean編碼的不同分布，通過低秩分解實現(xiàn)顯著性檢測。該模型不僅很容易實現(xiàn)，而且通過在2個公開的基準數(shù)據(jù)庫中進行的實驗結(jié)果表明該方法有效。 關鍵詞 自下而上；視覺顯著性；Boolean編碼；低秩分解

視覺顯著性在為生物和機器視覺系統(tǒng)實時提取場景有效信息的過程中扮演著重要角色。在現(xiàn)實世界中，注意力表現(xiàn)為2種方式的組合：自下而上和自上而下[1]。自下而上的方式是基于視覺場景特征的，是快速、被動和刺激驅(qū)動的。但是，自上而下的方式源于認知現(xiàn)象，包括知識、期望、獎勵和當前目標，是緩慢、主動和任務驅(qū)動的[2]。本文主要研究自下而上視覺顯著性檢測方法。

自從Treisman等人[3]提出特征合成理論(FIT)后，很多研究方向都傾向于基于特征合成理論的自下而上顯著性檢測。作為一個里程碑模型，Itti等人[4]結(jié)合灰度、顏色和方向特征，提出了一種基于中心-周邊對比差異的仿生結(jié)構(gòu)。隨后，Bruce等人[5]提出利用自信息的稀疏特征來度量顯著性。Harel等人[6]提出了一種基于隨機圖平穩(wěn)分布搜索方法。Hou等人[7]采用圖像稀疏特征來突出顯著區(qū)域。Murray等人[8]提出低維度空間彩色模型來估計顯著性。

與不同特征整合(如強度、顏色和方向)的傳統(tǒng)方法不同，本文提出一種新的基于Boolean編碼二值特征的自下而上視覺顯著性檢測方法，不再需要進行眾多復雜特征融合過程。在顯著性檢測過程中，Boolean編碼能簡單有效表達圖像像素或區(qū)域特征。該方法是基于視覺注意的Boolean分布圖理論而提出的，該理論表明在任何給定時刻觀察者的視覺認知只對應一張Boolean分布圖。基于這一機制，結(jié)合多特征通道(如CIELab顏色空間)，利用二進制值(即 0/1)來編碼每個像素，以表征視覺認知的位置分布信息。這些二進制的Boolean編碼對顯著區(qū)域和背景區(qū)域各維度有明顯不同的分布。最后，利用低秩分解方法進一步檢測顯著性。本文模型框架如圖1所示。

圖1 本文提出的視覺顯著性特征檢測方法框架圖

1 布爾編碼理論

1.1 視覺注意的Boolean分布圖理論

Boolean分布圖(A Boolean map)[9]在這里指一種空間表征，它將人類的視野分成2個清晰而又相互補充的區(qū)域：1)被選擇的區(qū)域；2)沒有被選擇的區(qū)域。在Boolean分布圖中，一旦選擇其中的一個區(qū)域，另一個區(qū)域就很難被同時選取。也就是說，Boolean圖將視野按特征進行二值化。同時，Boolean圖也可以與特征標簽相聯(lián)系，它僅僅包含了單維度上的單個特征標簽，而且這個特征標簽必須描述整個區(qū)域的所有特征屬性。

視覺注意的Boolean分布圖理論[9]表明一個觀察者掃視一個場景時，他能夠有意識地獲取什么樣的視覺內(nèi)容，是通過在一個維度中選擇一個特征信息，或者將前者的輸出與預先存儲的Boolean圖相結(jié)合。與此同時，任一瞬間觀察者只能固定每個維度的一個特征值。相應的，與其對應的被標注的二進制Boolean圖信息被同時捕捉到。換言之，在任何一個給定的瞬間，一個觀察者的視覺注意只對應一張Boolean圖。這個短暫且有意識的捕捉能夠有效訪問到Boolean分布圖的形狀信息和關聯(lián)特征標簽。簡單而言，Boolean分布圖理論為視覺注意提供了2個顯著的特征：功能特征(當前Boolean圖的維度)和位置特征(不同特征值的二進制編碼)。事實上，視覺注意的Boolean分布圖理論揭示了人類視覺的一個真實的基本原理，同時它也為利用Boolean分布圖進行視覺顯著性檢測提供了方法和途徑。

1.2 Boolean編碼

在構(gòu)建Boolean編碼之前,通過一個簡單的途徑來介紹Boolean分布圖的生成方法。該計算方法與Zhang等人[10]的方式類似，通過為每個特性通道構(gòu)建一組分層閾值二值圖來提取圖像特征。它最初來源于Boolean圖理論，也就是根據(jù)特征通道和閾值的先驗分布得到隨機閾值圖像特征圖譜。由于Boolean圖的分布僅由特征空間的選擇和特征選擇的先驗分布決定，因此不失一般性特征選擇和閾值都可以看作是服從均勻分布。因此，本文為每個特征圖選取均勻間隔閾值。詳細的操作說明如下。

圖2 固定點和背景點之間的統(tǒng)計頻率

第1步：輸入圖像被分為不同的特征通道，然后被線性縮放到[0,255]的整數(shù)區(qū)間。本文選擇CIE Lab 彩色空間，因為它的感知均勻性較好;第2步：通過一組均勻間隔的閾值{θi} (i=1,2,…,n)以及固定步長的δ，將每個特征圖轉(zhuǎn)化為二進制圖，其中，θi+1=θi+δ，且n是閾值的數(shù)目。通過這種方式，區(qū)域的值高于當前閾值為1，否則為0；第3步：提取二進制圖的反向色差，以免背景區(qū)域在局部特征通道上可能比顯著區(qū)域更亮；第4步：依據(jù)中心偏差(表明大多數(shù)物體定位靠近圖像中心[11])和格式塔規(guī)則[12](表明邊界區(qū)域更可能是背景)，將相鄰圖像邊界的連通區(qū)域設置為0，這個區(qū)域在上一步已被設置為1。

給定Boolean圖譜集合后，利用從所有Boolean編碼的二進制圖中得到的相應位置標簽(即1 / 0)編碼每個像素。Boolean編碼中的特征順序被分成L-map,a-map和b-map。對于每個特征通道，Boolean編碼的數(shù)值被從小到大分成θ1～θn。對于每個固定閾值，以下一個相鄰數(shù)值取反的方式編碼。Boolean編碼過程是利用二值特征向量代表每個像素，即Boolean編碼。Boolean編碼過程實例見圖1。

1.3Boolean編碼的意義及特征

Boolean碼是一種簡單而有效的特征，不僅表達簡短而且內(nèi)涵豐富。以像素為例，Boolean碼的每一位標簽都包含了位置信息，以及相關的特征值和通道(對應于當前維度(位))被選擇時視覺場景的訪問區(qū)域。因此，Boolean碼包含各種特征值和通道下的視覺注意位置的分布信息。

為了說明Boolean編碼顯著性檢測的效率，對顯著點和背景點的Boolean編碼頻率進行統(tǒng)計。在這項工作中，本文選擇了Bruce數(shù)據(jù)集[5]，它是預測視覺顯著性最常用的基準數(shù)據(jù)集之一。為了減少運行時間，設置閾值為7～247，固定步長為8。圖2顯示了固定點和背景點之間標號1的統(tǒng)計頻率。其中，圖2(a)代表每個維度，圖2(b)代表Boolean碼之和。很顯然，一方面，圖2(a)表明在大多數(shù)Boolean編碼分布中，顯著點的分布與背景點的分布是能被區(qū)分的；另一方面，圖2(b)清楚的表明顯著點標號1的數(shù)目通常大于背景點，符合視覺認知。除此之外，圖2(a)中顯著點頻譜包絡的3個峰值分別與L-map,a-map和b-map相對應。這進一步說明顯著點和背景點之間的區(qū)別普遍存在于每個特征圖中，與特征通道無關。這里，統(tǒng)計結(jié)論無論對任何一個可用的數(shù)據(jù)集[13]還是不同的閾值間隔都是不變的。因此，Boolean編碼確實是一個強大而有效的，被用來進行特征顯著性檢測的特征。

2 自下而上的顯著性檢測

2.1 低秩分解

在本文模型中，利用顯著點和背景點之間的Boolean碼分布差異，通過低秩矩陣分解[14-15]預測視覺顯著性。首先將所有像素的Boolean編碼數(shù)組轉(zhuǎn)換為Boolean編碼矩陣D=[d1,d2,…,dN]，其中，N是圖像中的像素數(shù)，dj(j=1,2,…,N)是第j個像素的Boolean碼矢量。低秩分解方程式如下：

(1)

其中，A是低秩矩陣，E是服從于D=A+E的稀疏誤差矩陣，λ是平衡秩和稀疏性的參數(shù)。顯然，優(yōu)化式(1)，將矩陣D分成2個部分：矩陣A的低秩部分和矩陣E的稀疏誤差部分。根據(jù)上述可知背景點都有一個共同的特征：他們的Boolean碼標簽一般為0，而顯著點為1，所以他們的Boolean編碼矢量差異可以通過矩陣D顯示。此外，觀察區(qū)和背景區(qū)之間的面積存在巨大差異，畢竟眼睛能夠觀察到的信息與背景[5,13]相比是非常小的。根據(jù)這些因素，低秩分解法的應用是合理可行的，其中顯著性和背景信息分別隱含在矩陣E和矩陣A中。事實上，式(1)是非凸的，且是一個NP難問題，幸運的是，在一定條件下[14]可以通過如下優(yōu)化解決。

(2)

2.2 顯著性計算

由于背景被認為是矩陣A中Boolean編碼主要特征，本文利用稀疏誤差矩陣E計算視覺顯著性，其中矩陣E包含了剩余非規(guī)律信息。具體而言，對于每一個像素，通過下式進行顯著性計算。

(3)

其中，ej是矩陣E的第j列，對應第j個像素的異常剩余碼。最后，顯著圖可通過高斯平滑，是因為顯著區(qū)通常是稀疏且連續(xù)的[7]。

2.3 實驗結(jié)果

為了評估本文模型，利用2個公開可供選擇的數(shù)據(jù)庫：Bruce數(shù)據(jù)集[5]和Kootstra數(shù)據(jù)集[13]，進行人眼注視數(shù)據(jù)預測實驗。2個數(shù)據(jù)集分別包含20名和31名受試者視點的120和100個自然彩色圖像，前者分辨率為681×511像素，后者分辨率為1024×768像素。為減少運行時間，在整個數(shù)據(jù)集中，對于每個輸入圖像，保持其原始縱橫比例，調(diào)整它的寬度為64。閾值設置從7～247，固定步長為8，因為其在寬范圍內(nèi)對結(jié)果的影響不大。同時，按照經(jīng)驗設置高斯核的標準偏差為圖像寬度的4%。除此之外，采用ROC特性曲線原理，并按照Murray等人[8]提出的方法來定量分析性能，按照Zhang等人[16]提出的方法克服中心偏差和邊界效應。

圖3 本文提出模型不同λ的AROC評分

λ決定了低秩分解的平衡性，它可能影響檢測的性能。式(2)中，從0.02～0.2改變參數(shù)值，來評估受λ影響的預測結(jié)果。2個數(shù)據(jù)集的AROC評分在圖3中。很顯然，當λ取值在0.1左右時性能最佳；當λ更小或變大時，AROC評分將變低，2個基準數(shù)據(jù)集得到的結(jié)果基本一致。當λ在一個較大的范圍內(nèi)變化時，比如[0.04, 0.16]區(qū)間內(nèi)，評分結(jié)果是可接受的且令人滿意的，說明了這個參數(shù)對于本文模型來說影響有限。

表1 本文模型和當前先進性模型試驗結(jié)果比較

隨后，根據(jù)圖3獲取的優(yōu)化原則，將模型的λ值設為0.1，并且將本文提出的方法與當前比較先進的方法進行比較：Itti[4],AIM[5],GBVS[6],SUN[16],DVA[17],Seo[18],SIGS[7]。2個基準數(shù)據(jù)庫的試驗結(jié)果在表1中。因為Kootstra數(shù)據(jù)集[13]包含動物、街道、建筑、花卉和自然這5種不同種類，其圖像包含了從語義對象到混亂場面等多種不同內(nèi)容，所以，它的AROC評分要低于Bruce集[5]。盡管如此，依然可以看出本文提出方法與BMS[10]相當，且優(yōu)于其他方法。此外，即使λ數(shù)值在一定范圍內(nèi)變化，本文提出的方法依然比其他方法效果更好，不僅易于實現(xiàn)而且具有良好的性能。視覺顯著圖的比較分析在圖4中。

3 結(jié)論

Boolean編碼在描述顯著點和背景點間維度時有著明顯不同的分布，因此，可以被用來進行顯著性檢測。實驗證明，本文提出的方法易于實現(xiàn)而且性能優(yōu)良。今后，將對Boolean編碼進行擴展使用，可以結(jié)合時間信息進行實時顯著性檢測，也可以通過訓練進行有目的的顯著性檢測。

圖4 視覺顯著圖比較分析

參 考 文 獻

[1]BorjiA,SihiteDN,IttiL.QuantitativeAnalysisofHuman-ModelAgreementinVisualSaliencyModeling:AComparativeStudy[J].IEEETransactionsonImageProcessingaPublicationoftheIEEESignalProcessingSociety, 2013, 22(1):55.

[2]BorjiA,IttiL.State-of-the-artinVisualAttentionModeling[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2013, 35(1):185-207.

[3]TreismanAM,GeladeG.AFeature-integrationTheoryofAttention[J].CognitivePsychology, 1980, 12(1):97.

[4]IttiL,KochC,NieburE.AModelofSaliency-basedVisualAttentionforRapidSceneAnalysis[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 1998, 20(11):1254-1259.

[5]BruceNDB,TsotsosJK.SaliencyBasedonInformationMaximization[C]//InternationalConferenceonNeuralInformationProcessingSystems.MITPress, 2005:155-162.

[6]HarelJ,KochC,PeronaP.Graph-basedVisualSaliency[J].Proc.AdvancesinNeuralInformationProcessingSystems, 2007.

[7]HouX,HarelJ,KochC.ImageSignature:HighlightingSparseSalientRegions[J].PatternAnalysis&MachineIntelligenceIEEETransactionson, 2012, 34(1):194-201.

[8]MurrayN,VanrellM,OtazuX,etal.Low-LevelSpatiochromaticGroupingforSaliencyEstimation[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2013, 35(11):2810.

[9]HuangL,PashlerH.ABooleanMapTheoryofVisualAttention[J].PsychologicalReview, 2007, 114(3):599-631.

[10]ZhangJ,SclaroffS.SaliencyDetection:ABooleanMapApproach[J]. 2013:153-160.

[11]TatlerBW.TheCentralFixationBiasinSceneViewing:SelectinganOptimalViewingPositionIndependentlyofMotorBiasesandImageFeatureDistributions.[J].JournalofVision, 2007, 7(14):4.1-17.

[12]PalmerSE.VisionScience:PhotonstoPhenomenology[J].TheQuarterlyReviewofBiology, 2001, 77(Volume76,Number4):233-234.

[13]KootstraG,NederveenA,BoerBD.PayingAttentiontoSymmetry[C]//BritishMachineVisionConference2008,Leeds,September.DBLP, 2008:1279-1285.

[14]CandesEJ,LiX,MaY,etal.RobustPrincipalComponentAnalysis?[J].JournaloftheACM,Vol.58.No.3,Article11.

[15]LinZ,ChenM,MaY.TheAugmentedLagrangeMultiplierMethodforExactRecoveryofCorruptedLow-RankMatrices[J].EprintArxiv, 2010, 9.

[16]ZhangL,TongMH,MarksTK,etal.SUN:ABayesianFrameworkforSaliencyusingNaturalStatistics.[J].JournalofVision, 2008, 8(7):32.1-20.

[17]HouX,ZhangL.DynamicVisualAttention:SearchingforCodingLengthIncrements[C]//ConferenceonNeuralInformationProcessingSystems,Vancouver,BritishColumbia,Canada,December.DBLP, 2008:681-688.

[18]SeoHJ,MilanfarP.StaticandSpace-timeVisualSaliencyDetectionbySelf-resemblance.[J].JournalofVision, 2009, 9(12):15.1-27.

Bottom-Up Visual Saliency Detection by Boolean Coding

Zhao Di1, Wang Xiaopeng2, Chen Danqi3

1. Shanghai Institute of Satellite Engineering, Shanghai 201109, China 2. Shanghai Academy of Spaceflight Technology, Shanghai 201109, China 3. Shanghai Institute of Mechanical and Electrical Engineering, Shanghai 201109, China

AnovelbinaryfeaturebasedonBooleancodingispresentedtodetectvisualsaliencyinabottom-upmanner.TheschemeisinspiredbytheBooleanmaptheoryofvisualattention,andeachpixelwithbinaryvalues(i.e. 0/1)isencodedtocharacterizethedistributiveinformationoflocationsforvisualattentionundervariousfeaturevaluesandchannels(e.g. CIE Labspace).BytakingadvantageofthedifferentdistributionofBooleancodesontheirdimensions(bits)betweensalientpointsandbackgroundpoints,low-rankdecompositionisthenleveragedforfurthersaliencydetection.Notonlytheproposedmodeliseasytobeimplemented,butalsotheexperimentalresultsoftwopubliclyavailablebenchmarksdemonstratethatitiseffectiveagainstthestate-of-the-artmethods.

Bottom-up；Visualsaliency； Booleancoding；Low-rankdecomposition

2016-08-04

趙 迪(1984-)，男，黑龍江人，碩士研究生，工程師，主要研究方向為衛(wèi)星總體設計；王曉鵬 (1979-)，男，山東人，碩士研究生，高級工程師，主要研究方向為航天器總體技術和控制技術研究；陳丹淇 (1986-)，女，內(nèi)蒙古人，碩士研究生，工程師，主要研究方向為圖像及語音處理。

TP37

A

1006-3242(2017)02-0066-06