基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)研究

摘" 要： 針對(duì)傳統(tǒng)基于主動(dòng)偏振成像的三維圖像重構(gòu)方法重構(gòu)過程中圖像統(tǒng)計(jì)信息表達(dá)能力較差，導(dǎo)致重構(gòu)后三維圖像精度低，研究一種基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)方法。選取Visual C++可視化軟件開發(fā)平臺(tái)和VTK三維圖像處理軟件作為三維圖像重構(gòu)實(shí)現(xiàn)平臺(tái)，將原始圖像通過數(shù)據(jù)輸入以及文件解析等步驟導(dǎo)入計(jì)算機(jī)后，對(duì)原始圖像進(jìn)行圖像濾波、圖像分割以及圖像插值等預(yù)處理，處理后的圖像在VTK軟件中利用包圍盒法先構(gòu)建圖像重構(gòu)的三維數(shù)據(jù)場，依據(jù)圖像重構(gòu)三維數(shù)據(jù)場繪制圖像三維直接體，通過圖像三維直接體獲取三維圖像重構(gòu)輸出公式，實(shí)現(xiàn)基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)。仿真結(jié)果表明，采用該方法對(duì)10幅圖像進(jìn)行三維圖像重構(gòu)，重構(gòu)圖像平均遍歷覆蓋度高達(dá)97.99%，重構(gòu)精度均高于97%。

關(guān)鍵詞： 技術(shù)研究; 虛擬現(xiàn)實(shí)技術(shù); 三維圖像; 文件解析; 圖像重構(gòu); 圖像預(yù)處理

中圖分類號(hào)： TN911.73?34" " " " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " " 文章編號(hào)： 1004?373X（2019）21?0063?05

Abstract： Traditional methods of three?dimensional image reconstruction based on active polarization imaging have poor ability to express statistical information in the process of reconstruction， which leads to low accuracy of reconstructed three?dimensional images. Therefore， a method of three?dimensional image reconstruction based on virtual reality technology is studied. Visual C++ visualization software development platform and VTK three?dimensional image processing software are selected as the realization platform of three?dimensional image reconstruction. After entering the original image in a computer in terms of data input and files parsing steps， the image pre?processing， such as image filtering， image segmentation and image interpolation is carried out for the original image. In VTK software， the bounding box method is used to construct the three?dimensional data field of image reconstruction for the processed image. The three?dimensional direct volume of image is drawn according to the three?dimensional data field of image reconstruction. The output formula of three?dimensional image reconstruction is obtained with the three?dimensional direct volume of image， and the three?dimensional image reconstruction based on virtual reality technology is realized. The simulation results show that the average traversal coverage of the reconstructed images reaches 97.99% and the reconstruction accuracy is higher than 97% in the simulation experiment of 3D image reconstruction of 10 images reconstructed with this method.

Keywords： technology research; virtual reality technology; three?dimensional image; file parsing; image reconstruction; image pre?processing

0" 引" 言

虛擬現(xiàn)實(shí)技術(shù)是隨著科技發(fā)展而誕生的高科技技術(shù)，指通過計(jì)算機(jī)形成模擬真實(shí)環(huán)境的交互性三維動(dòng)態(tài)仿真，使用戶通過計(jì)算機(jī)實(shí)現(xiàn)身臨其境的虛擬現(xiàn)實(shí)效果。虛擬現(xiàn)實(shí)技術(shù)不僅為人類帶來三維仿真的視覺感知，在聽覺、觸覺、嗅覺等方面也可帶來仿真感受。虛擬現(xiàn)實(shí)技術(shù)推動(dòng)了科技發(fā)展，目前已應(yīng)用于醫(yī)學(xué)、軍事、工業(yè)等眾多行業(yè)中。

三維圖像重構(gòu)屬于計(jì)算機(jī)視覺領(lǐng)域，圖像具有不規(guī)則性，且在重構(gòu)過程中容易受到噪聲干擾，因此三維圖像重構(gòu)具有較大難度[1]。以往應(yīng)用于三維圖像重構(gòu)的數(shù)字全息方法，利用圖形特征體的繪制方法獲取數(shù)字全息圖像中的系數(shù)點(diǎn)云，實(shí)現(xiàn)圖像三維重構(gòu)。重構(gòu)后的三維圖像雖平滑性較好，但是計(jì)算過程復(fù)雜，且容易受到外界干擾，魯棒性差;Chen等人提出一種主動(dòng)偏振成像的三維圖像重構(gòu)方法，通過構(gòu)建重構(gòu)模板形狀提取與目標(biāo)形狀相似程度較高的圖像特征，利用形變位移向量補(bǔ)償方法實(shí)現(xiàn)三維圖像重構(gòu)，采用該方法進(jìn)行三維重構(gòu)圖像用時(shí)較短，但重構(gòu)后圖像統(tǒng)計(jì)信息表達(dá)能力較差，清晰度較低。

為解決以上三維圖像重構(gòu)方法的缺陷，本文提出一種基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)方法，該方法采用包圍盒法在Visual C++可視化軟件開發(fā)平臺(tái)和VTK三維圖像處理軟件中對(duì)預(yù)處理后的圖像進(jìn)行三維重構(gòu)。圖像利用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行可視化重構(gòu)相比于傳統(tǒng)三維圖像重構(gòu)，可更清晰顯示圖像內(nèi)部信息[2]，提升圖像統(tǒng)計(jì)信息表達(dá)能力。

1" 將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于三維圖像重構(gòu)

1.1" 三維圖像重構(gòu)方法總體結(jié)構(gòu)圖

在計(jì)算機(jī)中利用虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)三維圖像重構(gòu)。先將原始圖像導(dǎo)入計(jì)算機(jī)中，利用圖像預(yù)處理技術(shù)對(duì)導(dǎo)入的原始圖像進(jìn)行圖像濾波、圖像分割以及圖像插值等預(yù)處理，將預(yù)處理后的圖像在VTK軟件中進(jìn)行三維圖像重構(gòu)，實(shí)現(xiàn)圖像的三維空間可視化。圖1為基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)結(jié)構(gòu)圖。

通過圖1可知，基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)方法主要分為圖像導(dǎo)入、圖像預(yù)處理以及圖像三維可視化三部分。

1.2" 虛擬現(xiàn)實(shí)技術(shù)開發(fā)工具及開發(fā)原理

采用Visual C++和VTK軟件實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)。其中，Visual C++軟件負(fù)責(zé)三維圖像重構(gòu)的界面設(shè)計(jì)、數(shù)據(jù)集成以及算法編程;VTK軟件實(shí)現(xiàn)三維圖像重構(gòu)處理以及三維圖像可視化，是基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)實(shí)現(xiàn)的重要工具[3]。

VTK軟件中具有視覺化工具函式庫，將該函式庫應(yīng)用于圖像處理中，可實(shí)現(xiàn)開放源碼、支持并行操作以及跨平臺(tái)操作等功能。VTK軟件主要包括計(jì)算機(jī)圖像處理、可視化三維圖像處理以及可視化三維圖像顯示三部分。VTK函式庫可實(shí)現(xiàn)眾多圖像處理以及圖像生成算法，通過C++語言在三維可視化VTK函式庫中編寫算法，利用虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)三維圖像重構(gòu)。

VTK軟件利用管道機(jī)制可視化處理數(shù)據(jù)以及圖像，依據(jù)原始數(shù)據(jù)以及圖像類型和最終顯示結(jié)果，通過濾波器濾波處理管道內(nèi)數(shù)據(jù)以及圖像，尋找最優(yōu)算法獲取可視化進(jìn)程[4]。本文選取包圍盒法作為基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)算法。VTK軟件管道機(jī)制的圖像處理形式包括圖形形式以及可視化形式。

VTK軟件管道機(jī)制的圖形形式為將處理后的數(shù)據(jù)集以三維圖形形式展示。通過照相設(shè)備、繪制窗口以及實(shí)體等類庫屬性對(duì)數(shù)據(jù)集進(jìn)行處理[5]，使用戶通過虛擬現(xiàn)實(shí)技術(shù)在三維圖像重構(gòu)過程中有效交互，利用圖形形式實(shí)現(xiàn)轉(zhuǎn)動(dòng)圖像以及調(diào)節(jié)角度、方向和位置等多種功能。

VTK軟件中可視化形式通過VTK數(shù)據(jù)流將圖像信息轉(zhuǎn)換為圖形數(shù)據(jù)，通過圖形數(shù)據(jù)對(duì)圖像中點(diǎn)陣數(shù)據(jù)進(jìn)行調(diào)整[6]。VTK軟件通過映射器連接可視化模型以及圖像模型，原始數(shù)據(jù)對(duì)象經(jīng)濾波器過濾后轉(zhuǎn)換至圖像數(shù)據(jù)，同時(shí)將圖像數(shù)據(jù)發(fā)送至繪制器中，選取包圍盒法對(duì)圖像進(jìn)行三維重構(gòu)，在計(jì)算機(jī)顯示器顯示圖形數(shù)據(jù)重構(gòu)過程，實(shí)現(xiàn)用戶與圖像的三維交互[7]。

1.3" 三維圖像重構(gòu)算法

選取包圍盒法在VTK軟件中對(duì)圖像進(jìn)行三維繪制，圖像三維繪制過程即三維圖像重構(gòu)實(shí)現(xiàn)過程。

1.3.1" 構(gòu)建圖像重構(gòu)的三維數(shù)據(jù)場

利用局部圖像梯度信息獲取圖像數(shù)據(jù)體的三維坐標(biāo)，設(shè)原始圖像坐標(biāo)為[x，y]，三維圖像重構(gòu)的輪廓長度公式如下：

式中：[γ]與[Lφ]分別表示局部圖像中各像素鄰域的灰度權(quán)重系數(shù)以及邊緣輪廓長度約束項(xiàng);[Pφ]表示稀疏正則項(xiàng);[ELBF]與[ELGF]分別表示局部灰度信息以及局部梯度能量項(xiàng);[v]與[μ]均為大于0的常數(shù)，表示各局部圖像空間掃描約束向量的權(quán)重系數(shù)。

通過對(duì)圖像目標(biāo)區(qū)域以及背景區(qū)域?qū)嵤┢交妊莼┺腫8]，獲取盒子模型為：

式中：[δφ]與[?φ]分別表示圖像目標(biāo)區(qū)域以及背景區(qū)域的像素稀疏度正則項(xiàng);[dx]表示原始圖像目標(biāo)點(diǎn)橫坐標(biāo)位置。

圖像邊緣像素點(diǎn)的局部高斯概率分布通過包圍盒法獲取，公式為：

通過式（3）獲取圖像數(shù)據(jù)體的三維坐標(biāo)公式如下：

式中：[IG]，[fG1]，[fG2]分別表示重構(gòu)表面的梯度模、三維圖像重構(gòu)網(wǎng)格表面彎曲部分的梯度模以及三維圖像重構(gòu)網(wǎng)格表面直線部分的梯度模;[λ1]與[λ2]均為大于0的常數(shù)，表示各局部圖像空間掃描約束向量的權(quán)重系數(shù);[Bσ]與[Hφ]分別表示Heaviside函數(shù)的標(biāo)準(zhǔn)差以及三維非線性空間映射;[f1x]與[f2x]為三維圖像重構(gòu)灰度值;[dy]表示原始圖像目標(biāo)點(diǎn)縱坐標(biāo)位置。

通過以上公式利用Euler?Lagrange方程構(gòu)建圖像重構(gòu)的三維數(shù)據(jù)場公式如下：

依據(jù)圖像重構(gòu)的三維數(shù)據(jù)場繪制圖像的三維直接體[9]，利用三維數(shù)據(jù)場中圖像重構(gòu)3D紋理貼圖以及3D陣列坐標(biāo)參量，將圖像分布中的像素視作模板并對(duì)其進(jìn)行匹配，匹配公式如下：

式中[Hεz]與[δεz]分別為重構(gòu)后的3D紋理貼圖以及3D陣列坐標(biāo)參量。固定圖像模板中的射線方向[ε]，通過對(duì)[f1]，[f2]，[fG1]，[fG2]分別進(jìn)行極小化運(yùn)算[10]，利用圖像的三維直接體獲取三維圖像重構(gòu)輸出公式為：

采用該方法在VTK軟件中對(duì)圖像進(jìn)行三維重構(gòu)，可有效提高三維圖像重構(gòu)精準(zhǔn)度以及統(tǒng)計(jì)信息表達(dá)能力。

2" 實(shí)驗(yàn)分析

為檢測本文基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)方法的有效性，在Matlab仿真平臺(tái)中進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)選取10幅具有代表性的圖像進(jìn)行三維重構(gòu)，并將本文方法與光子方法以及數(shù)字全息方法進(jìn)行對(duì)比，10幅圖像樣本基本信息如表1所示。

通過圖2三種方法重構(gòu)結(jié)果對(duì)比可以看出，采用本文方法對(duì)圖像進(jìn)行三維重構(gòu)，重構(gòu)后的三維圖像平滑性較優(yōu)，圖像清晰，視覺表達(dá)力較好;而光子方法重構(gòu)后的三維圖像清晰度較低;數(shù)字全息方法重構(gòu)后的三維圖像不僅清晰度較低且丟失部分圖像信息，重構(gòu)結(jié)果說明本文方法具有較好的三維圖像重構(gòu)性能。

通過三種方法對(duì)10幅圖像進(jìn)行三維重構(gòu)，統(tǒng)計(jì)三種方法重構(gòu)后輸出三維圖像信噪比結(jié)果如表2所示。

輸出圖像信噪比可直接體現(xiàn)圖像中含有的噪聲大小，輸出圖像的信噪比越大，說明圖像中含有的噪聲越小，圖像質(zhì)量越高;否則相反。通過表2實(shí)驗(yàn)結(jié)果可以看出，采用本文方法對(duì)10幅圖像進(jìn)行三維重構(gòu)，輸出三維圖像結(jié)果信噪比均為最高，說明通過本文方法進(jìn)行三維圖像重構(gòu)的圖像質(zhì)量明顯高于另外兩種方法。

統(tǒng)計(jì)通過三種方法對(duì)10幅圖像進(jìn)行三維重構(gòu)后輸出圖像的遍歷覆蓋度，結(jié)果如表3所示。

通過表3實(shí)驗(yàn)結(jié)果可以看出，通過本文方法對(duì)10幅圖像進(jìn)行三維圖像重構(gòu)，輸出圖像遍歷覆蓋區(qū)域更全面，重構(gòu)后10幅三維圖像的平均遍歷覆蓋度高達(dá)97.99%;而采用光子方法以及數(shù)字全息方法對(duì)10幅圖像進(jìn)行三維圖像重構(gòu)，重構(gòu)后10幅圖像的平均遍歷覆蓋度僅為84.58%以及87.34%。采用本文方法重構(gòu)圖像的遍歷覆蓋度明顯高于另外兩種方法，說明本文方法具有更高的重構(gòu)性能。

三維圖像重構(gòu)時(shí)間以及加速比是重構(gòu)性能的重要體現(xiàn)，表4為采用三種方法對(duì)10幅圖像進(jìn)行重構(gòu)的重構(gòu)時(shí)間以及重構(gòu)加速比。

分析表4實(shí)驗(yàn)結(jié)果可以看出，通過本文方法對(duì)10幅圖像進(jìn)行三維重構(gòu)，重構(gòu)時(shí)間以及加速比明顯優(yōu)于光子方法以及數(shù)字全息方法，說明本文方法具有更高的重構(gòu)效率，實(shí)時(shí)性較好。

三維圖像重構(gòu)方法不僅需要具有較高的重構(gòu)效率，重構(gòu)精度以及圖像清晰度是重構(gòu)性能優(yōu)劣的重要體現(xiàn)。將本文方法與光子方法以及數(shù)字全息方法三維重構(gòu)圖像的重構(gòu)精度以及圖像清晰度進(jìn)行對(duì)比，對(duì)比結(jié)果如圖3，圖4所示。

通過圖3以及圖4實(shí)驗(yàn)對(duì)比結(jié)果可以看出，針對(duì)10幅圖像，本文方法重構(gòu)精度以及圖像清晰度明顯優(yōu)于光子方法以及數(shù)字全息方法，采用本文方法進(jìn)行重構(gòu)精度均高于97%，輸出圖像清晰度均高于95%，進(jìn)一步驗(yàn)證了本文方法的有效性。

3" 結(jié)" 論

本文研究了一種基于虛擬現(xiàn)實(shí)技術(shù)的三維圖像重構(gòu)方法，采用Visual C++和VTK兩種軟件作為該方法的實(shí)現(xiàn)平臺(tái)，通過VTK軟件的可視化技術(shù)利用包圍盒法實(shí)現(xiàn)基于虛擬現(xiàn)實(shí)技術(shù)的圖像三維重構(gòu)。對(duì)該方法進(jìn)行仿真實(shí)驗(yàn)，通過實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法具有較高的重構(gòu)性能以及重構(gòu)圖像精度。

參考文獻(xiàn)

[1] 葉新東，仇星月，封文靜.基于虛擬現(xiàn)實(shí)技術(shù)的語言學(xué)習(xí)生態(tài)模型研究[J].電化教育研究，2019，40（2）：107?114.

YE Xindong， QIU Xingyue， FENG Wenjing. Research on an ecological model of language learning based on virtual reality technology [J]. E?education research， 2019， 40（2）： 107?114.

[2] 夏振平，胡伏原，程成，等.基于視覺空間定向理論的虛擬現(xiàn)實(shí)空間重構(gòu)[J].液晶與顯示，2019，34（2）：215?219.

XIA Zhenping， HU Fuyuan， CHENG Cheng， et al. Virtual reality space reconstruction based on visual space orientation theory [J]. Chinese journal of liquid crystals and displays， 2019， 34（2）： 215?219.

[3] 鄧?yán)?，陳寶華，黃思遠(yuǎn)，等.一種基于射線模型的圖像定位系統(tǒng)[J].電子學(xué)報(bào)，2017，45（1）：1?7.

DENG Lei， CHEN Baohua， HUANG Siyuan， et al. A ray?based image localization system [J]. Acta electronica sinica， 2017， 45（1）： 1?7.

[4] 湯楊，吳慧中，肖甫，等.基于等密度映射和紋理重構(gòu)的分層圖像變換[J].中國圖象圖形學(xué)報(bào)，2018，11（4）：555?562.

TANG Yang， WU Huizhong， XIAO Fu， et al. Layered image warping based on equal?density mapping and texture?reconstruction [J]. Journal of image and graphics， 2018， 11（4）： 555?562.

[5] 姬莉霞，劉成明.基于虛擬現(xiàn)實(shí)技術(shù)的模糊靜態(tài)圖像目標(biāo)重現(xiàn)方法[J].計(jì)算機(jī)科學(xué)，2018，45（7）：248?251.

JI Lixia， LIU Chengming. Fuzzy static image target reproduction method based on virtual reality technology [J]. Computer science， 2018， 45（7）： 248?251.

[6] 茹金平.多深度相機(jī)標(biāo)定下稀疏紋理圖像三維超分辨率重構(gòu)[J].微電子學(xué)與計(jì)算機(jī)，2017，34（8）：109?112.

RU Jinping. Three dimensional super resolution reconstruction of sparse texture image with multi depth camera calibration [J]. Microelectronics amp; computer， 2017， 34（8）： 109?112.

[7] 趙曉亮，王艷閣.虛擬現(xiàn)實(shí)的圖像復(fù)原真實(shí)性優(yōu)化仿真研究[J].計(jì)算機(jī)仿真，2017，34（4）：440?443.

ZHAO Xiaoliang， WANG Yange. Optimization and simulation of image restoration in virtual reality [J]. Computer simulation， 2017， 34（4）： 440?443.

[8] 肖翱，徐楓，雍俊海，等.針對(duì)虛擬現(xiàn)實(shí)眼鏡的近/遠(yuǎn)視反卷積矯正算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（7）：1169?1176.

XIAO Ao， XU Feng， YONG Junhai， et al. A fast deconvolution algorithm for correcting myopia/hyperopia in head mounted display [J]. Journal of computer?aided design amp; computer graphics， 2017， 29（7）： 1169?1176.

[9] 鄧?yán)?，陳寶華，賴偉良，等.三維監(jiān)控系統(tǒng)中基于三維重構(gòu)的交互式標(biāo)定[J].電子學(xué)報(bào)，2017，45（3）：527?533.

DENG Lei， CHEN Baohua， LAI Weiliang， et al. Interactive calibrating 3D surveillance system based on 3D reconstruction [J]. Acta electronica sinica， 2017， 45（3）： 527?533.

[10] 丁汛，趙躍進(jìn)，丁玉奎.基于多圖像融合的MEMS顯微三維形貌重構(gòu)[J].光學(xué)精密工程，2018，26（5）：277?287.

DING Xun， ZHAO Yuejin， DING Yukui. Three?dimensional microscopic reconstruction of MEMS based on multi image fusion [J]. Optics and precision engineering， 2018， 26（5）： 277?287.