視差估計(jì)下VR圖像幾何特征數(shù)字化提取

陳紅初，王安霞

(1.湖南科技學(xué)院電子與信息工程學(xué)院，湖南永州 425199；2.江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，江蘇無錫214122)

1 引言

虛擬現(xiàn)實(shí)(Virtual Reality，VR)技術(shù)綜合圖形系統(tǒng)、多媒體技術(shù)與網(wǎng)絡(luò)技術(shù)等，在計(jì)算機(jī)中生成三維圖像，廣泛應(yīng)用在教育、娛樂等方面，屬于一種挑戰(zhàn)性較強(qiáng)的前沿學(xué)科。圖像是人們感知世界的主要信息源泉，承擔(dān)著信息載體的關(guān)鍵任務(wù)。對(duì)于VR圖像，它的幾何特征尤為重要，能夠展示目標(biāo)特征，提取效果直接影響圖像描述與識(shí)別。如何從初始圖像內(nèi)提取有價(jià)值的特征信息，是計(jì)算機(jī)視覺技術(shù)領(lǐng)域近年來的熱點(diǎn)話題。

文獻(xiàn)[1]提出基于雙樹復(fù)小波域統(tǒng)計(jì)圖像建模的特征提取方法，統(tǒng)計(jì)圖像建模方式利用某類參數(shù)分布模型來表述幾何特征。采用廣義伽馬分布在圖像雙樹復(fù)小波域?qū)崿F(xiàn)統(tǒng)計(jì)建模，通過對(duì)數(shù)累計(jì)量法完成幾何特征參數(shù)提取。文獻(xiàn)[2]提出基于深度學(xué)習(xí)的圖像特征提取。利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)，再使用該網(wǎng)絡(luò)完成圖像特征向量訓(xùn)練；通過卷積層、池化層的操作實(shí)現(xiàn)特征向量降維，獲取特征提取初步結(jié)果；將Alexnet神經(jīng)網(wǎng)絡(luò)與Googlenet神經(jīng)網(wǎng)絡(luò)相結(jié)合去除特征不明確部分，構(gòu)建最優(yōu)特征向量集合，實(shí)現(xiàn)特征提取。

但以上方法存在無法克服的弊端，無法在降維與特征提取效果之間達(dá)到平衡，實(shí)現(xiàn)降維目的的同時(shí)會(huì)大幅度降低圖像質(zhì)量，使某些細(xì)節(jié)消失，影響特征提取效果。為此，本文在視差估計(jì)下對(duì)VR圖像進(jìn)行幾何特征提取。通過視差估計(jì)快速選擇圖像最佳參考點(diǎn)[3]，結(jié)合參考點(diǎn)構(gòu)建尺度空間，引入Gabor小波變換算法，獲取圖像幾何特征，建立尺度函數(shù)。Gabor小波變換不但能全面提取圖像幾何特性，還可以減少信息冗余，和視覺傳達(dá)機(jī)制相符，為圖像辨識(shí)提供技術(shù)支持。

2 VR圖像幾何特征分類

VR圖像具備一些幾何特征，在分辨率較高的VR圖像中體現(xiàn)為灰度值接近、存在明顯的大小與形狀區(qū)分[4]。對(duì)圖像幾何特征做出如下分類。

1)面積

S=n×s

(1)

式中，n表示柵格中像元數(shù)量，s是每個(gè)像元對(duì)應(yīng)的真實(shí)面積。

2)周長

(2)

式中，(xi-xi-1)、(yi-yi-1)均表示構(gòu)成向量的邊緣部分連接點(diǎn)，周長即為向量連接點(diǎn)的坐標(biāo)連接長度，number代表連接點(diǎn)總數(shù)量。

3)質(zhì)心

計(jì)算圖像目標(biāo)的pq矩與pq次中心矩[5-6]

(3)

(4)

式中，f(i，j)表示像元值，ip、jq表示圖像目標(biāo)特征分類數(shù)量，xc、yc表示一階矩。

因此圖像質(zhì)心可通過一階矩表示

(5)

(6)

4)延伸方向

延伸方向也就是圖像的長軸方向，定義式如下

(7)

5)形態(tài)指數(shù)

(8)

式中，S表示圖像中目標(biāo)面積，L代表周長。

3 視差估計(jì)下圖像特征數(shù)字化提取

3.1 基于視差估計(jì)的參考視點(diǎn)選取

在圖像數(shù)字化提取過程中，參考視點(diǎn)的選擇為尺度空間的構(gòu)建奠定基礎(chǔ)，快速準(zhǔn)確地選取參考視點(diǎn)可以減少計(jì)算復(fù)雜度。通過相鄰塊之間的視差信息，如圖1所示，獲得視差向量。

圖1 相鄰塊示意圖

獲取C塊與三個(gè)相鄰塊的相似度尺度，得出與C塊最接近的A塊，將塊A當(dāng)作左參考視點(diǎn)RL，則A的視差向量也是C塊的左參考視點(diǎn)RL的視差向量。相同道理獲得C塊右參考視點(diǎn)視差向量RR。

如果塊C與任意視點(diǎn)上的預(yù)測塊相似到某個(gè)程度時(shí)，在視差估計(jì)過程中即可將該點(diǎn)當(dāng)作參考視點(diǎn)，其余視點(diǎn)對(duì)視差估計(jì)的影響較小。

(9)

(10)

式中，IC代表視點(diǎn)中間塊，DC，L為參考視點(diǎn)DA、DB、DC的相似程度，即相似度判斷閾值。在IC是Ture時(shí)，將RL當(dāng)作單一參考點(diǎn)完成視差估計(jì)，反之利用多個(gè)參考點(diǎn)完成[7]。此種方法可以在提高視差估計(jì)精準(zhǔn)度的同時(shí)，降低算法復(fù)雜度，提高特征提取方法的實(shí)用性。

3.2 尺度空間構(gòu)建

尺度空間實(shí)際上是將偏微分方程應(yīng)用到圖像中的結(jié)果，通過該空間方便觀察VR圖像的幾何特征，要想實(shí)現(xiàn)尺度空間的構(gòu)建，必須結(jié)合上述選取的參考視點(diǎn)，確定空間內(nèi)核[8]。內(nèi)核表達(dá)式如下

fout=K×fin

(11)

式中，對(duì)fin和K在經(jīng)過卷積計(jì)算后獲取的結(jié)果記為fout，如果fout的最小值低于初始圖像最小值，則將K當(dāng)作尺度空間內(nèi)核。關(guān)于內(nèi)核問題存在一些假設(shè)，經(jīng)過相關(guān)研究表明高斯卷積核屬于較為合理的線性核，對(duì)其定義為

(12)

L′=(x′，y′，σ)=G(x′，y′，σ)*I(x′，y′)

(13)

式中，I(x′，y′)代表輸入圖像，L(x′，y′，σ)描述高斯變換輸出，σ為尺度參數(shù)，該值增大，圖像整體輪廓會(huì)更加清晰。

利用高斯函數(shù)構(gòu)建了圖像尺度空間，為特征關(guān)鍵點(diǎn)定位提供有利條件[9]。該函數(shù)能夠很好適應(yīng)空間位置變換，不會(huì)添加多余計(jì)算量，同時(shí)也能夠很好地保留圖像邊緣特征信息。

3.3 關(guān)鍵點(diǎn)定位

由上述高斯函數(shù)表達(dá)式可知，VR圖像特征的關(guān)鍵點(diǎn)大多數(shù)集中在函數(shù)極值點(diǎn)處。所以將關(guān)鍵點(diǎn)確定問題變換為極值點(diǎn)計(jì)算問題。

首先需定義候選點(diǎn)，初步劃分出關(guān)鍵點(diǎn)區(qū)間。將3×3鄰域當(dāng)作基準(zhǔn)，對(duì)需檢測的點(diǎn)與鄰域附近的像素點(diǎn)做灰度值對(duì)比。濾出對(duì)比度較低的點(diǎn)，提高圖像清晰度，具體過程如下。

對(duì)高斯函數(shù)進(jìn)行泰勒展開

(14)

(15)

(16)

Tr(H)=Dx′x′+Dy′y′=α+β

(17)

Det(H)=Dx′x′Dy′y′-(Dx′y′)2=αβ

(18)

式中，Dx′x′、Dx′y′和Dy′y′表示空間函數(shù)值，假設(shè)兩個(gè)特征值之間的比值為r，有α=rβ成立，則閾值判別公式如下

(19)

在上述判別公式中結(jié)合實(shí)際需求設(shè)定R值，再將不符合閾值的邊緣響應(yīng)點(diǎn)去除，剩余的點(diǎn)即為幾何特征提取的關(guān)鍵點(diǎn)。

3.4 基于離散Gabor小波變換的幾何特征提取

獲取VR圖像的幾何特征關(guān)鍵點(diǎn)后，利用Gabor小波變換方法獲取特征向量，并對(duì)該方法進(jìn)行改進(jìn)，使提取的特征具有旋轉(zhuǎn)不變特性[11]。

3.4.1 離散Gabor小波變換過程分析

針對(duì)某連續(xù)信號(hào)f′(t)，選取母函數(shù)g(t)，假設(shè)該函數(shù)的表達(dá)式如下

gm′，n′(t)=f′(t)+g(t)

(20)

針對(duì)母函數(shù)g(t)進(jìn)行位移調(diào)整，獲得gm′，n′的位移調(diào)整方式。且g(t)和其它母函數(shù)h(t)滿足如下雙正交關(guān)系

(21)

式中，如果m′與n′其中某個(gè)不等于零，則積分值等于零，g(t)和h(t)存在正交關(guān)系。

在小波變換中將高斯函數(shù)當(dāng)作窗函數(shù)，確保時(shí)域與頻域內(nèi)的能量集中。

假設(shè)h(x′，y′)和g(x′，y′)分別為離散綜合窗與離散分析窗，同時(shí)二者符合正交關(guān)系，此時(shí)f(x′)的Gabor小波變換與展開公式如下

(22)

式中，cm′，n′，r′，s′與hm′，n′，r′，s′代表位移與調(diào)制。

hm′，n′，r′，s′(x′，y′)=h(x′-m′，y′-m′)

(23)

gm′，n′，r′，s′(x′，y′)=g(x′-m′，y′-m′)

(24)

式中，h(x′-m′，y′-m′)與g(x′-m′，y′-m′)分別代表兩個(gè)頻域中采樣點(diǎn)數(shù)量，基本上窗函數(shù)中分量之間是分離的。

3.4.2 幾何特征提取

利用上述Gabor小波變換過程，對(duì)某VR圖像做小波變換，設(shè)I(x′，y′)為輸入圖像，經(jīng)過小波變換后獲得

(25)

(26)

(27)

利用上述公式即可獲取圖像的幾何特征向量，該方法不但可以有效提取幾何特征，還能降低特征信息冗余度。因此Gabor小波在特征提取領(lǐng)域有著廣闊應(yīng)用前景。但此時(shí)獲得的特征缺乏旋轉(zhuǎn)不變性，針對(duì)這一問題，本文對(duì)其進(jìn)行改進(jìn)，確保經(jīng)過旋轉(zhuǎn)等操作后，提取到的特征向量發(fā)生變化的可能性較小。改進(jìn)步驟如下：

步驟一：獲取Gabor小波幾何特征在所有方向上的總能量，選取其中極大值；

步驟二：使能量最大方向中的數(shù)值向幾何特征向量的最前側(cè)移動(dòng)，令其當(dāng)做新的向量序列；

步驟三：設(shè)置初始Gabor向量序列表示為“123opq”，對(duì)能量函數(shù)進(jìn)行計(jì)算能夠得出，o方向中存在最大能量值；將q首先移動(dòng)在向量序列前測，再將o和p移動(dòng)到序列最前側(cè)，獲得重新組合排列的向量序列“123opq”，針對(duì)每個(gè)空間區(qū)域的特征向量都做相同處理，即可使提取的特征向量具有旋轉(zhuǎn)不變性特征。

4 仿真分析

為了驗(yàn)證所提特征提取方法性能，利用MATLAB平臺(tái)進(jìn)行仿真。其中硬件架構(gòu)為Intel Core2 T5800，其主頻是4.0GHz。選取的VR圖像均存在噪聲，在視差估計(jì)下，左、右眼與標(biāo)準(zhǔn)視差圖分別如圖2到圖4所示。

圖2 左眼視差圖

圖3 右眼視差圖

圖4 綜合視差圖

在綜合視差圖中構(gòu)建六個(gè)特征空間，利用本文方法、文獻(xiàn)[1]方法與文獻(xiàn)[2]方法，對(duì)每個(gè)空間中的幾何特征進(jìn)行數(shù)字化提取，提取效果如圖5所示。

圖5 VR圖像幾何特征提取效果圖

由綜合視差圖能夠看出，在六個(gè)空間內(nèi)，空間2和空間4包含的幾何特征信息較多。而從實(shí)驗(yàn)結(jié)果來看，本文方法對(duì)這兩個(gè)空間特征提取的像素值最高，表明可有效提取出VR圖像中幾何特征明顯的區(qū)域，對(duì)于特征不明顯區(qū)域獲得的特征值也高于其它方法。而文獻(xiàn)[2]方法幾乎無法提取特征信息較少的區(qū)域。文獻(xiàn)[1]方法提取的像素特征值沒有明顯差異。這表明該方法選取的特征點(diǎn)更加穩(wěn)定，且具有較強(qiáng)的獨(dú)特性。

此外，選取100幅VR圖像進(jìn)行樣本訓(xùn)練，隨機(jī)選擇五個(gè)樣本進(jìn)行仿真。根據(jù)圖像正確識(shí)別次數(shù)來對(duì)比不同方法的適應(yīng)度與降維效果。適應(yīng)度的評(píng)價(jià)方法如下

F(l)=p×100-d/H

(28)

式中，p表示圖像識(shí)別率，d代表特征集合中特征數(shù)量，H是初始特征數(shù)量。三種方法的適應(yīng)度值與特征使用數(shù)量分別如表1和2所示。

表1 不同方法適應(yīng)度結(jié)果對(duì)比表

表2 不同方法所需特征個(gè)數(shù)表

綜合表1和2能夠看出，在五次實(shí)驗(yàn)中，所提方法的適應(yīng)度值最高，說明經(jīng)過本文特征提取后的圖像被準(zhǔn)確識(shí)別出的次數(shù)最多。文獻(xiàn)[1]方法的適應(yīng)度值雖然也很高，但是所使用的特征較多；文獻(xiàn)[2]方法是以犧牲適應(yīng)度值為前提，降低了特征維數(shù)。這表明本文方法在特征提取過程中有效去除冗余特征，保留了貢獻(xiàn)較大的特征值，降低維數(shù)，減少特征空間，提高適應(yīng)度值。

5 結(jié)論

VR圖像處理擁有廣闊的應(yīng)用前景，在生物識(shí)別、醫(yī)學(xué)等領(lǐng)域發(fā)揮巨大作用。本文在視差估計(jì)下融入Gabor小波變換方法實(shí)現(xiàn)圖像幾何特征的有效提取。實(shí)驗(yàn)結(jié)果表明，該方法數(shù)字化特征提取效果較好，冗余度低，適應(yīng)度高。但Gabor小波變換在實(shí)現(xiàn)幾何特征向量旋轉(zhuǎn)不變性過程中，是利用歐式距離測量兩個(gè)矢量存在的距離，并沒有分析特征向量之間的相似程度。在今后研究中需對(duì)此方面內(nèi)容進(jìn)行延伸與詳細(xì)分析，進(jìn)一步提高圖像處理效果。