虛擬現(xiàn)實(shí)技術(shù)的三維圖像重建系統(tǒng)

孫嘉徽

摘? 要： 為了提高三維圖像質(zhì)量，設(shè)計(jì)基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重建系統(tǒng)。首先，提取三維圖像點(diǎn)云信息，通過虛擬現(xiàn)實(shí)和幀同步技術(shù)融合點(diǎn)云數(shù)據(jù)，利用中值濾波技術(shù)去除圖像噪聲;然后，采用虛擬現(xiàn)實(shí)技術(shù)對(duì)降噪后圖像開展點(diǎn)云優(yōu)化，自動(dòng)檢測(cè)圖像點(diǎn)云的特點(diǎn)，過濾掉噪聲點(diǎn)，有效覆蓋圖像表面微小矩形面片集，提升圖像三維重建完整度，通過匹配前景得到點(diǎn)云位置;最后，重建過程中調(diào)整點(diǎn)云數(shù)據(jù)為高斯正太分布項(xiàng)目，有效縮短圖像前景和背景間重建差異，實(shí)現(xiàn)三維圖像重建。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)的幀跟蹤能力強(qiáng)，重建三維圖像清晰、分辨率高。

關(guān)鍵詞： 三維圖像重建; 虛擬現(xiàn)實(shí)技術(shù); 圖像預(yù)處理; 點(diǎn)云優(yōu)化; 點(diǎn)云特點(diǎn)檢測(cè); 噪聲點(diǎn)過濾

中圖分類號(hào)： TN911.73?34; TP391? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）09?0067?04

3D image reconstruction system based on virtual reality technology

SUN Jiahui

（Jackie Chan Film and Media School， Wuhan Institute of Design and Sciences， Wuhan 430000， China）

Abstract： A 3D image reconstruction system based on virtual reality technology is designed to improve the quality of 3D image. Firstly， the point cloud information of 3D image is extracted， the point cloud data is fused with virtual reality and frame synchronization technologies， and the image noise is removed with median filtering technology. And then， the point cloud of the denoised image is optimized with the virtual reality technology to automatically detect the point cloud characteristics of the image， filter out noise points， effectively cover the tiny rectangular patch sets on the image surface， improve the integrity of 3D image reconstruction and obtain the point cloud position by matching the foreground. Finally， the point cloud data is adjusted to be Gauss distribution in the reconstruction process， which effectively reduces the reconstruction difference between the foreground and background of the image， and the 3D image reconstruction is realized. The results of experiments show that the system has strong frame tracking ability， and is of clear reconstructed 3D image and high resolution.

Keywords： 3D image reconstruction; virtual reality technology; image pre?processing; point cloud optimization; point cloud characteristic detection; noise point filtering

0? 引? 言

隨著人們需求的提高，二維圖像已無法滿足人們視覺上的感受，三維圖像的出現(xiàn)可以更加清晰地展現(xiàn)圖像內(nèi)部信息，為使用者提供極大便利。三維圖像重建在醫(yī)療、探測(cè)、軍事等領(lǐng)域中具有重要的應(yīng)用價(jià)值[1?2]。

虛擬現(xiàn)實(shí)技術(shù)是20世紀(jì)新興起的一項(xiàng)全新技術(shù)，通過計(jì)算機(jī)三維仿真系統(tǒng)模擬出一種虛擬環(huán)境，實(shí)現(xiàn)虛擬與現(xiàn)實(shí)相結(jié)合，令人沉浸其中，在虛擬世界體驗(yàn)真實(shí)感受。虛擬現(xiàn)實(shí)技術(shù)集計(jì)算機(jī)技術(shù)、電子信息技術(shù)以及仿真技術(shù)于一身，將現(xiàn)實(shí)生活中的數(shù)據(jù)轉(zhuǎn)化成真實(shí)物體或者肉眼看不到的物質(zhì)，并通過三維圖形展現(xiàn)出來。虛擬現(xiàn)實(shí)技術(shù)可以為人們提供視覺、聽覺、運(yùn)動(dòng)等多方面感知，已在眾多領(lǐng)域得到廣泛應(yīng)用，并成為了一個(gè)全新技術(shù)領(lǐng)域[3?4]。

為此，本文設(shè)計(jì)了基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重建系統(tǒng)，將虛擬現(xiàn)實(shí)技術(shù)充分融入三維圖像重建過程中，以一種更加直觀、具體、清晰的方式展現(xiàn)圖像，有效促進(jìn)了三維圖像重建工作的飛速發(fā)展，并為古建筑修復(fù)、場(chǎng)景測(cè)繪等領(lǐng)域提供了理論依據(jù)。

1? 三維圖像重建系統(tǒng)實(shí)現(xiàn)

1.1? 系統(tǒng)整體框架

基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重建系統(tǒng)功能框架如圖1所示，系統(tǒng)功能框架由圖像提取、圖像預(yù)處理和圖像三維重建三部分構(gòu)成。通過3D激光掃描儀定義圖像場(chǎng)景，獲取原始點(diǎn)云圖像[5]，3D激光掃描儀針對(duì)不同角度的場(chǎng)景信息實(shí)施圖像點(diǎn)云信息全方位采集，獲取圖像原始點(diǎn)云信息，整個(gè)圖像采集過程采取全封閉模式。采用中值濾波技術(shù)對(duì)所采集的原始點(diǎn)云數(shù)據(jù)展開數(shù)據(jù)預(yù)處理，將原始點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成一個(gè)三維點(diǎn)云數(shù)據(jù)場(chǎng)，利用虛擬現(xiàn)實(shí)技術(shù)優(yōu)化三維點(diǎn)云數(shù)據(jù)場(chǎng)的點(diǎn)云分布密集度，獲取三維圖像重建結(jié)果[6]。根據(jù)三維圖像重建結(jié)果實(shí)現(xiàn)三維控制和距離測(cè)量，并將最終結(jié)果通過三維顯示界面呈現(xiàn)出來。顯示過程中可以通過移動(dòng)、旋轉(zhuǎn)等操作實(shí)現(xiàn)三維圖像的多角度分析，通過對(duì)三維圖像的局部放大和縮小，實(shí)現(xiàn)對(duì)三維圖像細(xì)節(jié)的深入研究[7]。

1.2? 圖像預(yù)處理

采用虛擬現(xiàn)實(shí)技術(shù)、幀同步并整合原始點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)原始點(diǎn)云圖像的點(diǎn)云信息融合[8]，采用中值濾波技術(shù)預(yù)處理融合完成的原始點(diǎn)云圖像中點(diǎn)云數(shù)據(jù)。中值濾波技術(shù)的工作原理是：用數(shù)字點(diǎn)云圖像中某點(diǎn)云周圍一定范圍內(nèi)其他點(diǎn)值的中值代替某點(diǎn)，實(shí)現(xiàn)該點(diǎn)周圍的像素值接近該點(diǎn)真實(shí)值，用來消除個(gè)體噪聲點(diǎn)云，達(dá)到圖像預(yù)處理的目的[9]。采用中值濾波預(yù)處理原始點(diǎn)云圖像中的點(diǎn)云數(shù)據(jù)，預(yù)處理完成輸出值為：

[Ψi，j=median Λin=median[Λi+m，j=n;（m，n）∈w]Λij;（i，j）∈Z2] （1）

式中：[m]，[n]分別表示窗口水平、垂直方向的大小;[w]，[Z2]分別表示平面窗口規(guī)格、二維數(shù)據(jù)串序號(hào);[Λij]，[Ψi，j]分別表示圖像上點(diǎn)云坐標(biāo)是[（i，j）]，經(jīng)過中值濾波處理的輸出值。

圖像預(yù)處理將原始點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成一個(gè)三維點(diǎn)云數(shù)據(jù)場(chǎng)，為后續(xù)圖像點(diǎn)云優(yōu)化提供基礎(chǔ)。

1.3? 圖像點(diǎn)云優(yōu)化

利用虛擬現(xiàn)實(shí)技術(shù)優(yōu)化三維點(diǎn)云數(shù)據(jù)場(chǎng)的點(diǎn)云分布密集度，實(shí)時(shí)調(diào)整各光束和3D激光掃描儀位置，依照3D激光掃描儀光心同空間點(diǎn)連接形成的光束，塑造光束平差模型。采用非線性改進(jìn)法計(jì)算3D激光掃描儀相關(guān)參數(shù)和空間坐標(biāo)點(diǎn)，使二者間誤差均勻分布，實(shí)現(xiàn)誤差最小的過程為圖像點(diǎn)云優(yōu)化過程[10]。三維空間中，第[a]幅圖像上，空間點(diǎn)[g]點(diǎn)的縱投影點(diǎn)和像素點(diǎn)[ω]之間距離平方和的最小值計(jì)算方法為：

[min=g=1ga=1Avgad（EaSg，ω）2] （2）

為了消除圖像中的配準(zhǔn)噪聲，通過隨機(jī)選取初始值方式，線性轉(zhuǎn)換式（2），分別采用局部線性逼近方式和非線性最小平方法實(shí)現(xiàn)圖像迭代至收斂和求取最大似然估計(jì)。為確保優(yōu)化圖像點(diǎn)云后，獲取精確的三維圖像重建結(jié)果，可以通過擴(kuò)大圖像迭代收斂范圍實(shí)現(xiàn)[11]。3D激光掃描儀的參數(shù)均為12項(xiàng)，空間點(diǎn)的參數(shù)均為4項(xiàng)，假設(shè)有[A]幅圖像，需要對(duì)圖像上[G]個(gè)空間點(diǎn)實(shí)施三維重建，則對(duì)參數(shù)實(shí)施最小化變換的數(shù)量為12[A]+4[G]。伴隨空間點(diǎn)個(gè)數(shù)[G]和圖像幅數(shù)[A]的增加，參數(shù)最小化處理的計(jì)算量也隨之增加，將導(dǎo)致圖像三維重建效率低。為有效避免這一現(xiàn)象，可通過降低[G]和[A]的數(shù)量或采取稀疏矩陣方法來實(shí)現(xiàn)。

采用虛擬現(xiàn)實(shí)技術(shù)調(diào)整三維數(shù)據(jù)點(diǎn)云，匯集成分布較為密集的三維點(diǎn)云，有效解決三維點(diǎn)云數(shù)據(jù)分配不均勻產(chǎn)生的數(shù)據(jù)重疊情況，提升三維圖像重建精準(zhǔn)度[12]。虛擬現(xiàn)實(shí)技術(shù)能夠自動(dòng)檢測(cè)圖像點(diǎn)云，并有效過濾噪聲點(diǎn)和障礙物，對(duì)目標(biāo)圖像表面的微小矩形面片集具備良好的覆蓋效果，使得圖像的三維重建完整度得到很大程度提升[13]。已經(jīng)確定的[A]幅圖像序列集為[I=Iii=1，2，…，A]，將全部圖像劃分成單元模塊[Di（x，y）]，大小為[r×r]，確保每個(gè)單元模塊均存在矩形面片[λ]，并將此作為圖像三維重建目標(biāo)，[d（λ）]表示矩形面片[λ]的中心，[n（λ）]表示單位法向量。依照Harris和DoG算子獲取圖像對(duì)角點(diǎn)和特征塊，展開[Di（x，y）]的響應(yīng)值求取，在得到的求取結(jié)果中選擇極大值，數(shù)量為[η]，為取得稀疏重構(gòu)矩形面片[λ]的初始值，對(duì)極大值實(shí)施圖像間匹配及三角化。若[R（λ）=1]，采用光度一致性估計(jì)[H（λ）]初始值，優(yōu)化[d（λ）]，[n（λ）]，重新計(jì)算[H（λ）]值。重復(fù)上述過程，直至[H（λ）≥β]時(shí)結(jié)束。

由于相鄰矩形面片間法向量相近，所以始于矩形面片[λ]，采用迭代法尋找已有矩形面片[Di（x，y）]和[D′i][（x，y）]，判斷二者是否相鄰的方式為：

[（d（λ）-d（λ））?n（λ）+（d（λ）-d（λ））?n（λ）<2ρ1] （3）

式中：[ρ1]為所對(duì)應(yīng)[r]像素的圖像處于[d（λ）]和[d（λ）]中心的深度;[λ]為[R（λ）]，[H（λ）]，[d（λ）]，[n（λ）]賦予新數(shù)初始化后的[λ]。利用局部光度一致性約束優(yōu)化[d（λ）]，[n（λ）]，利用全局可視化約束優(yōu)化[H（λ）]，假如[H（λ）≥β]，改變[S（λ）]中的深度圖。過濾擴(kuò)展后的重建面片，發(fā)現(xiàn)并濾除錯(cuò)誤匹配點(diǎn)。若矩形面片[λ0]在圖像集[U]的外表面，符合式（4）關(guān)系：

[H（λ）1-v*（λ）

則過濾[λ0]點(diǎn);若矩形面片[λ0]在圖像集[U]內(nèi)部，重新計(jì)算全部點(diǎn)的[S（λ0）]和[H（λ0）]，如果[H（λ0）<β]，則過濾[λ0]點(diǎn)。

1.4? 圖像三維重建

為更好地體現(xiàn)圖像中幀點(diǎn)像素的分布狀況，將采用虛擬現(xiàn)實(shí)技術(shù)優(yōu)化的點(diǎn)云數(shù)據(jù)的高斯正太分布項(xiàng)目，組成重建模型[14]，每個(gè)高斯正太分布項(xiàng)目的權(quán)重比例可看成是重建模型中用于表示圖像前景、背景的比例。圖像中幀點(diǎn)像素在時(shí)間域[O]中的變化情況用[{X1，X2，…，Xo}]表示，幀點(diǎn)像素時(shí)間[Xi]的選擇采用隨機(jī)方式，則[Xi]是重建圖像背景的比例為：