基于VR全景圖像處理的三維重構(gòu)算法研究

呂 霽

(黎明職業(yè)大學(xué)，福建 泉州 362000)

虛擬現(xiàn)實(shí)(Virtual Reality，VR)是一種實(shí)現(xiàn)人機(jī)交互，讓用戶沉浸于虛擬環(huán)境中的技術(shù)，其涉及計算機(jī)圖形學(xué)、傳感器技術(shù)等多學(xué)科領(lǐng)域。三維重構(gòu)技術(shù)在測繪、軍事、虛擬現(xiàn)實(shí)等方面發(fā)揮著至關(guān)重要的作用，基于VR全景圖像的三維重構(gòu)以VR全景圖像作為輸入，具有價格低、體積小、使用便捷等優(yōu)點(diǎn)[1]?；谌皥D像的三維重構(gòu)是將像素由二維圖像坐標(biāo)轉(zhuǎn)換到三維空間坐標(biāo)，通過計算視差來確定像素點(diǎn)與照相機(jī)之間距離的深度信息。王媛媛等對雙目視覺中的攝像機(jī)標(biāo)定、立體匹配及三維重構(gòu)算法進(jìn)行研究，以FPGA為計算平臺獲取場景深度信息，實(shí)現(xiàn)了良好的三維顯示效果[2]。金顯華等針對采樣點(diǎn)距離近導(dǎo)致重構(gòu)表面易產(chǎn)生褶皺的問題提出了基于擬蒙特卡洛和Taubin平滑的三維圖像重構(gòu)算法，即用擬蒙特卡洛提取圖像測量點(diǎn)特征，通過Taubin平滑對三角網(wǎng)格表面進(jìn)行渲染，將提出的三維圖像重構(gòu)算法應(yīng)用于人的左右心房重構(gòu)中，重構(gòu)結(jié)果表明圖像的大部分細(xì)節(jié)信息得到保留，滿足了動態(tài)圖像導(dǎo)航要求[3]。該文采用領(lǐng)域限制和放松方法對全景圖像深度提取，同時運(yùn)用差值算法確定最佳位置，實(shí)現(xiàn)對全景圖像的三維重構(gòu)。

1 三維全景圖像重構(gòu)

1.1 全景圖像深度提取

傳統(tǒng)全景圖像深度提取由多個設(shè)備拍攝同一場景所獲得的圖像信息差，其中攝像機(jī)的幾何位置和攝像機(jī)的參數(shù)是圖像深度提取的重點(diǎn)[4]。對于全景圖像而言，其視圖是在選定的方向上進(jìn)行平行投影，即全景圖像深度信息D為

(1)

式中：d為視差，Ψ為圖像設(shè)備孔徑，F(xiàn)為圖像設(shè)備焦距，Δt為不同視圖之間采樣距離。

由式(1)可知，通過視差取值可以得到全景圖像深度信息，采用SSD計算準(zhǔn)則的塊匹配算法對VR全景圖像進(jìn)行深度提取。設(shè)相同圖像的兩幅視圖分別為I1和I2，從第二幅視圖I2的候選區(qū)選擇和第一幅視圖I1對應(yīng)的像素點(diǎn)(x,y)，由像素點(diǎn)(x,y)獲取最匹配的區(qū)域，記為(x+d，y)，d∈[-R,R]。塊匹配算法的計分評價標(biāo)準(zhǔn)為[5]

-I2(x+d,y))2}}

(2)

式中：(x,y)為分析點(diǎn)坐標(biāo)，I1(x,y)為分析點(diǎn)(x,y)的強(qiáng)度，ω為圖像像素匹配窗口，R為圖像像素匹配大致范圍。

采用鄰域限制和放松方法對全景圖像深度提取，其在SSD計分準(zhǔn)則的基礎(chǔ)上充分地考慮了空間因素的限制。根據(jù)放松方法計算可以得到全景圖像深度信息在對應(yīng)空間上呈現(xiàn)連續(xù)分段狀態(tài)。為了使得匹配位置能夠有效確定，需要對塊鄰域進(jìn)行綜合考慮，具體如圖1所示。

圖1 塊鄰域

考慮鄰域限制，對匹配評價的判定標(biāo)準(zhǔn)進(jìn)行改進(jìn)，即

(3)

式中：Bij為像素點(diǎn)(i,j)窗口，N(Bij)為Bij鄰域的集合，W(Bkj,Bij)為相互不同鄰域塊權(quán)重系數(shù)。

鄰域限制表現(xiàn)為鄰域塊視差，對于每一個鄰域塊視差而言，其都有不同的視差局部改變，從而導(dǎo)致鄰域塊和中心塊不同。因此，在計算SSD的過程中給領(lǐng)域塊視差增加一個變量，即

(4)

由式(3)～式(4)得到鄰域限制和放松的完整判斷標(biāo)準(zhǔn)，鄰域限制由窗口SSD決定，領(lǐng)域放松由變量d決定。當(dāng)函數(shù)score取最小值時，那么該數(shù)值為所期望的視差取值。采用SSD評分標(biāo)準(zhǔn)獲得全部可能差點(diǎn)的剩余取值，在所有的剩余取值中確定閾值Rth，該值通常為最小剩余取值min_residue的η倍，即

Rth=η·min_residue

(5)

所有數(shù)值小于代表閾值Rth的值為最終的匹配結(jié)構(gòu)，如果所選擇的殘余閾值比較大，那么就會產(chǎn)生更多的候選結(jié)果，具體如圖2所示。

圖2 候選過程示意圖

1.2 全景圖像三維重建

VR全景圖像三維重建，提高全景圖像的分辨率，達(dá)到圖像數(shù)據(jù)處理的目的[6]。VR三維全景圖像的深度信息是由圖像二維視圖和視差之間的關(guān)系得到的，根據(jù)全景圖像的視差信息來對圖像匹配程度進(jìn)行計算，給定匹配窗口，同時在第二幅圖中搜索，獲得最小殘差閾值位置。由深度信息提取算法可知，圖像像素點(diǎn)的許多候選視差取值呈現(xiàn)離線分布，即實(shí)際計算得到的視差取值往往不能夠達(dá)到準(zhǔn)確的最小值，實(shí)際計算結(jié)果如圖3所示。

圖3 差值算法確定最佳位置示意圖

由圖3可知，候選視差值比較多且離散分布，這導(dǎo)致求解得到的視差值和實(shí)際視差值之間的差別比較大，即深度信息沒有達(dá)到完全準(zhǔn)確的目的。通過采用差值算法對視差值點(diǎn)采用二次函數(shù)進(jìn)行擬合得到擬合后的拋物線，計算擬合拋物線的最小值，最終得到score函數(shù)中最小的候選視差值。基于差值算法的最佳視差值確定流程如圖4所示。

圖4 確定最佳視差值流程圖

由圖4可知，對VR全景圖像的三維重構(gòu)是根據(jù)score函數(shù)的最小值來確定d值，同時選擇d鄰近的差值，對d值和鄰近的差值采用拋物線進(jìn)行擬合，同時計算擬合拋物線的最小值，達(dá)到對VR全景圖像三維重構(gòu)的目的。

2 實(shí)例分析

2.1 VR全景圖像選擇

高質(zhì)量的VR圖像在傳輸?shù)倪^程中受到網(wǎng)絡(luò)帶寬的限制，其往往是以一個完整的球體界面呈現(xiàn)，同時三維的圖像將導(dǎo)致數(shù)據(jù)量增加1倍。網(wǎng)絡(luò)傳輸?shù)腣R圖像是球體界面，在轉(zhuǎn)化為平面全景圖像時要考慮網(wǎng)絡(luò)帶寬，根據(jù)帶寬信息實(shí)現(xiàn)由三維圖像向二維圖像的轉(zhuǎn)變，這樣才能使得VR全景圖像看起來更加逼真。選擇VR室內(nèi)全景圖像，具體如圖5所示。

a) 第一幅 b) 第二幅

2.2 三維重構(gòu)結(jié)果分析

采用該文給出的全景圖像三維重構(gòu)算法分別對第一幅和第二幅VR室內(nèi)全景圖像進(jìn)行重構(gòu)，結(jié)果如圖6所示。

a) 第一幅 b)第二幅

由圖6對VR室內(nèi)全景圖像重構(gòu)的結(jié)果可知，該文給出的三維重構(gòu)算法能夠?qū)崿F(xiàn)對VR室內(nèi)全景圖像的三維重構(gòu)。對比第一幅全景圖像和第二幅全景圖像可知，第一幅全景圖像的重構(gòu)模型準(zhǔn)確性比較差，這是由于第一幅全景圖像受到光線的影響所導(dǎo)致的。表1為兩幅室內(nèi)全景圖像重構(gòu)數(shù)據(jù)對比。

表1 兩幅室內(nèi)全景圖像重構(gòu)數(shù)據(jù)對比

由表1可知，VR室內(nèi)全景圖像能夠在1分鐘內(nèi)實(shí)現(xiàn)三維重構(gòu)，三維重構(gòu)算法效率比較高，與第二幅圖相比，第一幅圖的重構(gòu)時間更短，但是重構(gòu)的精度比較低，即提高VR全景圖像三維重構(gòu)的精度必須提高VR全景圖像的分辨率，但是伴隨著VR全景圖像分辨率的增加，對VR全景圖像三維重構(gòu)的時間也增加。

3 結(jié)論

全景圖像三維重構(gòu)是VR制作的核心技術(shù)，針對傳統(tǒng)三維重構(gòu)存在的失真問題，該文采用領(lǐng)域限制和放松方法來提取VR全景圖像深度，同時運(yùn)用差值算法確定最佳位置，確保深度信息完全準(zhǔn)確表達(dá)，實(shí)現(xiàn)對全景圖像的三維重構(gòu)。將三維重構(gòu)算法應(yīng)用于VR室內(nèi)全景圖像重構(gòu)中，重構(gòu)結(jié)果表明提出的算法能夠有效實(shí)現(xiàn)對VR室內(nèi)全景圖像的三維重構(gòu)，同時全景圖像分辨率越高，重構(gòu)精度越高，但是也導(dǎo)致重構(gòu)的時間增加。