視頻序列中視覺(jué)顯著性圖像區(qū)域自動(dòng)提取仿真

李 博

(中國(guó)醫(yī)科大學(xué)，遼寧 沈陽(yáng) 110000)

1 引言

視頻序列圖像的屬性維度和圖像規(guī)模不斷擴(kuò)大，對(duì)視頻圖像的處理和利用產(chǎn)生了一定的影響。人眼視覺(jué)機(jī)制能夠快速的從視頻序列中選取出顯著區(qū)域，但目前的人眼視覺(jué)機(jī)制存在一定的限制，僅能從視覺(jué)特征的差異性入手對(duì)目標(biāo)圖像和背景進(jìn)行分析，無(wú)法得到準(zhǔn)確的顯著性區(qū)域。為此，國(guó)內(nèi)相關(guān)專家學(xué)者對(duì)此進(jìn)行了深入研究。

主要的視頻序列圖像視覺(jué)顯著性區(qū)域提取方法可分為以下幾種：前景和背景區(qū)域相結(jié)合的顯著性區(qū)域提取方法[1]、基于改進(jìn)直方圖均衡化的覺(jué)顯著性區(qū)域提取方法[2]、基于顯著性增強(qiáng)的區(qū)域提取方法[3]。前景和背景區(qū)域相結(jié)合的顯著性區(qū)域提取方法，首先依據(jù)視頻序列圖像構(gòu)建一個(gè)無(wú)向圖的鄰接矩陣，然后計(jì)算視頻圖像邊界背景先驗(yàn)知識(shí)，選取出處于邊界位置的超像素，并將其作為搜索向量進(jìn)行圖內(nèi)節(jié)點(diǎn)間關(guān)聯(lián)度的計(jì)算，獲取視頻圖像序列背景權(quán)重圖；基于改進(jìn)直方圖均衡化的顯著性區(qū)域區(qū)域提取方法，利用直方圖平均化方法對(duì)視頻序列圖像加以處理，提升目標(biāo)圖像前景區(qū)域和背景區(qū)域的差異性，再對(duì)增強(qiáng)的視頻序列圖像顯著性區(qū)域進(jìn)行提?。换陲@著性增強(qiáng)的區(qū)域提取方法利用目標(biāo)區(qū)域的多種特征，對(duì)其進(jìn)行顯著性增強(qiáng)、提取。

上述方法普遍存在目標(biāo)提取不準(zhǔn)確、結(jié)果不穩(wěn)定等問(wèn)題，為此本文提出一種結(jié)合全局和局部特征的視頻序列圖像顯著性區(qū)域提取方法。并通過(guò)該實(shí)驗(yàn)驗(yàn)證了本文方法的性能，結(jié)果表明，本文方法的顯著性區(qū)域提取效果明顯，且PR曲線始終高于其它方法，其F值取值較高，表明本文方法能夠準(zhǔn)確的對(duì)視頻序列中的顯著性區(qū)域進(jìn)行提取，并且提取結(jié)果更穩(wěn)定。

2 全局顯著性區(qū)域提取

將維數(shù)為H×W的視頻序列圖像表示為I，結(jié)合先驗(yàn)知識(shí)把I分為一列大小為n×n的圖像子塊。在視頻序列中圖像的邊界區(qū)域[4]，將設(shè)定規(guī)模不足的圖像塊直接刪除。圖像塊的總體數(shù)量為L(zhǎng)=|H/n|·|W/I|。對(duì)于任何一個(gè)圖像塊pi(i=1，2，…，L)，把它表示為向量形式xi，最后獲得一個(gè)圖像塊的描述矩陣X=[x1，x2，…，xL]。

為了去掉圖像塊中的雜質(zhì)并節(jié)省提取時(shí)間，使用PCA提取顯著性區(qū)域特征[5]。對(duì)圖像塊矩陣X=[x1，x2，…，xL]元素的均值進(jìn)行計(jì)算，表示為

(1)

(2)

其相應(yīng)的方差矩陣為

(3)

式中，T表示轉(zhuǎn)置符號(hào)。

將高維空間中的N個(gè)特征用px來(lái)表示，那么中心點(diǎn)pA可表示為

(4)

若特征px離pA越遠(yuǎn)，即px不以pA為中心的可能性變大，則px為顯著性特征的可能性越大。計(jì)算所有特征離中心點(diǎn)pA的距離，然后排列，選擇離中心最遠(yuǎn)的前24%的特征。

因?yàn)闆](méi)有具體的顯著性目標(biāo)先驗(yàn)知識(shí)[6]，因此為了有效提高特征提取準(zhǔn)確率，需要對(duì)視頻序列中的圖像采用3種分辨率進(jìn)行處理，分別為：100%，49%和24%，然后計(jì)算平均值得到全局顯著區(qū)域SG。

3 局部顯著性區(qū)域提取

局部顯著性度量的鄰域選擇方式中，局部顯著區(qū)域SL通過(guò)中心圖像塊i與其矩形鄰域里的K個(gè)圖像塊的不近似性均值來(lái)測(cè)量，局部顯著區(qū)域計(jì)算公式為

(5)

式中：Wij為圖像塊xj與xi之間的歐式距離，d(xi，xj)表示xj與xi的差異函數(shù)。

本文使用顏色顯著性來(lái)測(cè)量差異性，所以圖像的顏色也是重要因素，尤其是部分顏色差異極為明顯的圖像，只憑借顏色就能找出顯著性區(qū)域[7]。如圖2所示。

假設(shè)圖像的像素為Ib與Ia，兩者間的差異函數(shù)可用式(6)表示

d(Ia，Ib)=SL(xi，xj)D(Ia，Ib)

(6)

式中，D(Ia，Ib)是像素Ib與Ia在L*a*b空間的顏色長(zhǎng)度。設(shè)Ia∈xi，xj為鄰近塊，那xj與Ia的差異函數(shù)如下

(7)

式中：n(xj)代表塊xj的像素個(gè)數(shù)。該公式表示在不考慮空間關(guān)系的基礎(chǔ)上，擁有同樣顏色特征的像素?fù)碛型N的非近似值。可將上式中具有同種顏色值的像素進(jìn)行合并，獲得各個(gè)顏色的差異函數(shù)

(8)

式中：ca是像素Ia的顏色值，cb是像素Ib的顏色值，pb代表區(qū)域xj中的顏色cb出現(xiàn)的幾率。如果Ia∈xi，那么區(qū)域xi與xj之間的差異函數(shù)可以表示為

(9)

式中：p(Cs，a)表示第a個(gè)顏色Cs，a在第s區(qū)域xs對(duì)應(yīng)的所有ns個(gè)顏色中發(fā)生的幾率，由此可依據(jù)式(9)使用直方圖來(lái)描述區(qū)域xj與xi。區(qū)域xj與xi的不近似性能夠根據(jù)相應(yīng)的顏色直方圖的差度值來(lái)計(jì)算得到，從而獲取局部顯著區(qū)域。

4 融合圖像的分布性與對(duì)比度提取顯著性區(qū)域

融合局部與全局顯著性[8-9]方法，提取融合圖像的有效特征，計(jì)算圖像的分布性與對(duì)比度，再對(duì)圖像的分布性與對(duì)比度特征進(jìn)行融合，實(shí)現(xiàn)對(duì)初始視頻序列圖像顯著性區(qū)域提取。

幾乎每個(gè)視頻序列圖像的顯著性識(shí)別方法都只能在一個(gè)RGB顏色特征空間或一個(gè)LAB顏色特征空間下檢測(cè)[10]。其中，RGB主要使用在視頻序列圖像的顏色表述，LAB擁有擬態(tài)人類視覺(jué)感知顏色特征的能力。本文將RGB空間顏色特征與LAB空間顏色特征相結(jié)合進(jìn)行識(shí)別研究，過(guò)程中先計(jì)算圖像得出I(H×W)在兩個(gè)顏色空間的特征，將兩個(gè)空間的圖像特征分解為多個(gè)圖像塊，圖像塊的尺寸設(shè)置為k×k，互不相交的圖像塊表示為{p1，…，pN}，圖像塊pi(1≤i≤N)的特征N=[H/k]·[W/k]通過(guò)列向量形式疊加描述，向量維數(shù)為k×k×6。

考慮到本文方法的計(jì)算量，對(duì)圖像的大小進(jìn)行適度調(diào)整，圖像塊的大小k取9。

圖像的分塊和周邊場(chǎng)景的差異計(jì)算，是視頻序列中圖像顯著性區(qū)域進(jìn)行提取的關(guān)鍵，自身視覺(jué)特征不足以判定顯著性。圖像塊和周邊場(chǎng)景的特征誤差越大，此區(qū)域越有可能為顯著性區(qū)域。同時(shí)，如果通過(guò)對(duì)比可知，剩余圖像塊與中心圖像塊之間的距離較遠(yuǎn)，則表明該剩余圖像塊的顯著性較差，該區(qū)域的圖像塊需要重點(diǎn)關(guān)注。由此可以看出，視頻序列圖像分塊中，圖像塊之間的空間距離與對(duì)比度成反比，則對(duì)圖像塊的顯著性計(jì)算可表示為

(10)

其中：ω(si，sj)是顯著性空間值，可表示為

(11)

式中，Zs是歸一因子，si與sj分別是圖像塊xj與xi的中心點(diǎn)。

另外，能夠吸引視覺(jué)注意的顯著性區(qū)域，在其鄰域內(nèi)的對(duì)比性極為明顯，在視頻序列中也是極為突出的，所以需要算出圖像塊在視頻序列中的特征顯著性，如下

(12)

C1(xi)=LC(xi)·GC(xi)

(13)

以全局顯著性區(qū)域?qū)Ρ榷扔?jì)算結(jié)果為依據(jù)，同時(shí)基于全局特征的顯著性與局部顯著性區(qū)域的特征值分布情況可知，局部顯著性區(qū)域的分布相對(duì)較為密集，表現(xiàn)在特征的顯著性水平較高，特征相似度高。相較于全局顯著性區(qū)域，局部顯著性區(qū)域的邊緣一般為背景區(qū)域，分布較散，不會(huì)引起視覺(jué)的注意[12]。圖像塊特征的分布方差公式為

(14)

由先驗(yàn)知識(shí)可知，使用指數(shù)函數(shù)能夠度量顯著性區(qū)域中的圖像分布的權(quán)值，結(jié)合圖像塊對(duì)比性的分布特征，可完成對(duì)圖像塊的顯著度量。此外，需要注意的是，人眼視覺(jué)系統(tǒng)習(xí)慣于首先注意圖像集中區(qū)域，但集中區(qū)域的邊緣特征一般顯著性較低，因此，將圖像分塊間隔長(zhǎng)度與視頻序列圖像中心位置作為顯著性區(qū)域權(quán)值，則顯著性度量結(jié)果為

(15)

其中：ω(xi)為位置權(quán)值，?為視頻序列中的整幅圖像的中心位置。

獲取顯著性度量結(jié)果后，則表示完成了對(duì)視頻序列中視覺(jué)顯著性圖像區(qū)域的自動(dòng)提取。

5 仿真研究

5.1 仿真環(huán)境設(shè)置

為驗(yàn)證本文方法的有效性，進(jìn)行仿真，仿真環(huán)境為Intel Xeon500雙CPU，512M內(nèi)存，80G硬盤，WindowsNT操作系統(tǒng)的服務(wù)器。采用通用的數(shù)據(jù)集(SOD數(shù)據(jù)集、PASCAL數(shù)據(jù)集、CSSD數(shù)據(jù)集)進(jìn)行實(shí)驗(yàn)，本研究共采用了兩個(gè)本領(lǐng)域應(yīng)用最廣泛的圖像數(shù)據(jù)庫(kù)MSRA-B和SOD，圖像像素大小為300像素×300像素。圖像中顯著性目標(biāo)為一個(gè)工廠，其內(nèi)部的白色柱狀建筑在圖像中十分突出，為“顯著性”區(qū)域。

圖1 實(shí)驗(yàn)遙感圖像與基準(zhǔn)圖像

5.2 實(shí)驗(yàn)結(jié)果分析

針對(duì)原始圖像，利用融合后方法與融合前方法對(duì)視覺(jué)顯著性區(qū)域進(jìn)行提取，結(jié)果如圖2所示。

圖2 顯著性區(qū)域提取結(jié)果分析

由圖2可以看出，3種顯著性計(jì)算方法得到的顯著性圖像在目標(biāo)區(qū)域顯著性分?jǐn)?shù)很高，但是融合后的顯著性圖像比另外兩種效果要更好。因?yàn)槿诤虾蟮娘@著性圖像既能保持目標(biāo)區(qū)域內(nèi)部顯著性分?jǐn)?shù)分布均勻，而且也能保留更好的區(qū)域邊界。

為了對(duì)不同方法的性能進(jìn)行驗(yàn)證，利用準(zhǔn)確率-召回率(PR)曲線和F-measure平均測(cè)量誤差對(duì)不同提取方法進(jìn)行定量分析。其中，PR曲線通過(guò)不同的閾值對(duì)顯著性圖像進(jìn)行劃分，并將二值圖像和標(biāo)準(zhǔn)的顯著性圖像進(jìn)行對(duì)比。為了衡量本算法性能優(yōu)劣，采用F-measure作為參數(shù)，該值是查準(zhǔn)率(Precision)和查全率(Recall)的函數(shù)。在這里為了側(cè)重查準(zhǔn)率，選擇β2=0.3，F(xiàn)的計(jì)算公式如下

(16)

上式中，β2為精度控制變量。

圖3為CSSD數(shù)據(jù)集下，采用不同方法進(jìn)行視覺(jué)顯著性圖像區(qū)域自動(dòng)提取的PR曲線對(duì)比圖。

圖3 不同方法的PR曲線對(duì)比

從圖中可以看出，CSSD數(shù)據(jù)集測(cè)試中，本文方法始終能取得高于其它兩種方法的準(zhǔn)確率和召回率，性能較好。均可以更加穩(wěn)定的提取出視頻序列中圖像的顯著性區(qū)域，分析其原因，本文方法的成功之處在于包含了兩種不同的顯著性區(qū)域，全局顯著性使其能夠提取出圖像的多個(gè)目標(biāo)區(qū)域，不受孤立噪聲的影響，而局部顯著性特征起到了優(yōu)化的作用，因此本文的視頻序列中圖像的顯著性區(qū)域提取準(zhǔn)確率更高，并且提取過(guò)程更穩(wěn)定。

表1為本文方法和文獻(xiàn)方法的F值對(duì)比。

表1 F值對(duì)比

從表1可以看出，本文方法在視頻序列中的顯著性圖像提取獲得了較高的F值，表明本文方法的穩(wěn)定性較好。主要原因在于本文方法通過(guò)對(duì)圖像進(jìn)行分塊后，使用全局顯著性特征和局部顯著性特征進(jìn)行融合，最后通過(guò)計(jì)算顯著性圖像的對(duì)比度和分布值，實(shí)現(xiàn)對(duì)視頻序列中圖像顯著性區(qū)域的提取，顯著性區(qū)域提取精度較高。同時(shí)結(jié)合圖3結(jié)果可知，本文方法提取出的顯著圖區(qū)域細(xì)節(jié)更為準(zhǔn)確，對(duì)目標(biāo)區(qū)域的劃分更為完整。

6 結(jié)論

本文方法首先對(duì)視頻序列中的圖像進(jìn)行分塊，當(dāng)所有圖像塊都經(jīng)過(guò)分析并投影到高維空間后，依據(jù)單獨(dú)的特征點(diǎn)相應(yīng)的顯著性區(qū)域規(guī)律得到基于全局特征的顯著性區(qū)域和基于局部特征的顯著性區(qū)域。最后對(duì)比度和分布性進(jìn)行檢測(cè)，提取出視頻序列中圖像的顯著性區(qū)域。從實(shí)驗(yàn)對(duì)比結(jié)果能夠看出，本文方法較比其它兩種方法提取的精準(zhǔn)度更高，并且提取出的視頻序列中圖像的顯著性區(qū)域與背景區(qū)域的區(qū)分度更為明顯，穩(wěn)定性也更好。