基于視覺傳達(dá)技術(shù)的三維圖像重建系統(tǒng)研究

朱威

摘? 要： 三維圖像重建是當(dāng)前圖像處理領(lǐng)域的研究熱點(diǎn)，為了解決傳統(tǒng)重建系統(tǒng)存在重建效率、精度均低的問題，以提高三維圖像重建效果為目標(biāo)，設(shè)計(jì)了基于視覺傳達(dá)技術(shù)的三維圖像重建系統(tǒng)。首先分析了三維圖像重建的系統(tǒng)功能框架，然后對(duì)系統(tǒng)的主要子模塊：圖像解析模塊、圖像預(yù)處理模塊、三維可視化模塊進(jìn)行了詳細(xì)設(shè)計(jì)，最后在相同環(huán)境與傳統(tǒng)三維圖像重建系統(tǒng)進(jìn)行了仿真對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，基于視覺傳達(dá)技術(shù)的三維圖像重建精度高，而且提高了三維圖像重建效率，三維圖像重建整體效果要明顯優(yōu)于傳統(tǒng)三維圖像重建系統(tǒng)，具有更高的實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞： 三維圖像重建; 視覺傳達(dá)技術(shù); 圖像解析; 圖像預(yù)處理; SMC算法; 重建效率

中圖分類號(hào)： TN911.73?34; TP391? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）17?0039?04

Abstract： At present， the 3D image reconstruction is a research hotspot in the field of image processing. In view of the low reconstruction efficiency and accuracy in the traditional reconstruction system， a 3D image reconstruction system based on visual communication technology is designed to improve the effect of 3D image reconstruction. The functional framework of 3D image reconstruction system is analyzed， and then the main submodules of the system are designed in details， named the image analysis module， image preprocessing module and 3D visualization module. Simulation experiments were carried out in the same environment to make comparison between the proposed system and the traditional 3D image reconstruction system. The experimental results show that the accuracy of 3D image reconstruction system based on visual communication technology is higher than that of the traditional 3D image reconstruction system. In addition， the proposed system has higher efficiency of 3D image reconstruction， and its overall effect of 3D image reconstruction is obviously better than that of the traditional 3D image reconstruction system. Therefore， it has a higher application value in the practice.

Keywords： 3D image reconstruction; visual communication technology; image analysis; image preprocessing; SMC algorithm; reconstruction efficiency

0? 引? 言

三維圖像重建是基于三維物體外部采集的圖像信息，采用數(shù)字化處理技術(shù)獲取三維物體形狀信息的方法[1]。三維圖像重建方法可解決圖像單角度信息獲取，缺乏深度信息的問題[2]，該方法最初主要應(yīng)用于醫(yī)療領(lǐng)域中，通過放射醫(yī)療設(shè)備顯示人體組織圖像，后經(jīng)過逐漸發(fā)展，在軍事、測(cè)繪、航空等不同領(lǐng)域中被廣泛使用。

視覺傳達(dá)技術(shù)涵蓋了多媒體技術(shù)和圖像技術(shù)等[3]，已經(jīng)被廣泛應(yīng)用于不同領(lǐng)域中[4]?；诖?，本文設(shè)計(jì)基于視覺傳達(dá)技術(shù)的三維圖像重建系統(tǒng)，在圖像處理系統(tǒng)的基礎(chǔ)上構(gòu)建三維圖像重建系統(tǒng)，利用視覺傳達(dá)技術(shù)處理圖像，選取圖像內(nèi)與三維圖像相關(guān)的特征點(diǎn)，從而實(shí)現(xiàn)三維圖像重建。

1? 三維圖像重建系統(tǒng)

1.1? 開發(fā)工具的選取

以Microsoft Visual C++開發(fā)工具和VTK三維可視化工具包為基于視覺傳達(dá)技術(shù)的三維圖像重建系統(tǒng)設(shè)計(jì)平臺(tái)[5]。利用VC++開發(fā)工具可設(shè)計(jì)系統(tǒng)界面、編寫系統(tǒng)集成與系統(tǒng)核心算法。VTK三維可視化工具包內(nèi)核由Microsoft Visual C++開發(fā)工具開發(fā)，可在大多數(shù)平臺(tái)中實(shí)施操作，VTK三維可視化工具包作為視覺傳達(dá)技術(shù)實(shí)現(xiàn)的工具，能夠?qū)崿F(xiàn)三維圖像的處理及可視化[6]。作為圖像應(yīng)用函式庫(kù)，VTK三維可視化工具包視覺化工具函式庫(kù)由計(jì)算機(jī)圖像處理、可視化處理及顯示三部分構(gòu)成，具有源碼開放、不依賴操作系統(tǒng)與硬件環(huán)境、可實(shí)現(xiàn)并行化處理等特性[7]。三維可視化VTK函式庫(kù)內(nèi)包括大量?jī)?yōu)質(zhì)圖像處理與生成算法，通過C++語言完善VTK函式庫(kù)，利用視覺傳達(dá)技術(shù)實(shí)現(xiàn)三維圖像重建。

1.2? 系統(tǒng)邏輯結(jié)構(gòu)設(shè)計(jì)

基于視覺傳達(dá)技術(shù)的三維圖像重建系統(tǒng)邏輯結(jié)構(gòu)框架如圖1所示。

從圖1可知，系統(tǒng)由圖像解析模塊、圖像預(yù)處理模塊和三維可視化模塊共同組成。圖像解析模塊的主要功能是支持不同原始圖像數(shù)據(jù)格式[8]，圖像預(yù)處理模塊處理原始圖像數(shù)據(jù)，將原始圖像數(shù)據(jù)轉(zhuǎn)換成三維數(shù)據(jù)場(chǎng)，以通過視覺傳達(dá)技術(shù)與切割技術(shù)得到的圖像為準(zhǔn)備組織區(qū)，基于圖像采用體繪制技術(shù)與面繪制技術(shù)等設(shè)計(jì)三維圖像重建系統(tǒng)，實(shí)現(xiàn)圖像三維空間可視化功能。

1.3? 圖像解析模塊

圖像解析模塊的主要功能是為不同圖像數(shù)據(jù)格式提供支持，基于此完成讀取、轉(zhuǎn)換及存儲(chǔ)DICOM 3.0標(biāo)準(zhǔn)定義的數(shù)據(jù)。DICOM 3.0標(biāo)準(zhǔn)中詳細(xì)設(shè)計(jì)了圖像及其有關(guān)數(shù)據(jù)傳輸方式[9]，基于此標(biāo)準(zhǔn)，利用Microsoft Visual C++開發(fā)工具和VTK三維可視化工具包構(gòu)建三維圖像重建系統(tǒng)所需接口，以VTK數(shù)據(jù)流形式將圖像信息轉(zhuǎn)換成圖形數(shù)據(jù)[10]，便于實(shí)現(xiàn)點(diǎn)陣數(shù)據(jù)的圖像調(diào)整，依靠此接口完成圖像數(shù)據(jù)導(dǎo)入處理。通過FSL總線連接的硬件接口結(jié)構(gòu)如圖2所示。

具有32位微處理器的MicroBlaze軟核內(nèi)含32位通用寄存器和32位特殊寄存器，具有資源占用少、運(yùn)行速度快等性能優(yōu)勢(shì)，其中特殊寄存器為PC指針與MSR狀態(tài)標(biāo)志寄存器[11]。MicroBlaze微處理器各接口等同于通信通道，具備點(diǎn)對(duì)點(diǎn)單項(xiàng)傳輸?shù)奶匦?，可直接與FSL總線連接。

1.4? 圖像預(yù)處理模塊

圖像預(yù)處理模塊結(jié)構(gòu)如圖3所示。在圖像采集階段，受外界影像設(shè)備與周圍環(huán)境的影響，導(dǎo)入系統(tǒng)內(nèi)的圖像均存在一定程度的噪音與模糊，影響三維圖像重建效果，因此有必要采用濾波、分割與配準(zhǔn)等圖像預(yù)處理技術(shù)增強(qiáng)圖像特征[12]。兼顧濾波效果與運(yùn)行效率，在圖像濾波處理過程中采用中值濾波法：在原始圖像上設(shè)置一個(gè)存在奇數(shù)個(gè)像素的窗口，依據(jù)大小排序此窗口內(nèi)包含的像素，以灰度序列中間灰度值替代窗口中心對(duì)應(yīng)像素原灰度。該濾波方法為非線性信號(hào)濾波[13]，可排除單獨(dú)噪聲點(diǎn)，降低圖像內(nèi)隨機(jī)脈沖噪聲含量。采用Canny算子邊緣檢測(cè)法以及區(qū)域分割法分割濾波后的圖像。圖像配準(zhǔn)處理過程中，采用尺度固定特征轉(zhuǎn)變法，通過判斷空間檢測(cè)極值，判斷關(guān)鍵點(diǎn)方位與主方向，確定關(guān)鍵點(diǎn)向量等過程描述并匹配圖像角點(diǎn)特征。將獲取的角點(diǎn)作為Forstner算子的最優(yōu)窗口中心點(diǎn)，在窗口內(nèi)確定加權(quán)中心化角點(diǎn)位置。確定角點(diǎn)特征后需利用角點(diǎn)間距離匹配特征點(diǎn)：預(yù)設(shè)一個(gè)距離閾值，若兩角點(diǎn)間距離小于此閾值，定義兩角點(diǎn)間匹配，基于此確定兩幅圖像中特征點(diǎn)間的關(guān)系，實(shí)現(xiàn)圖像的配準(zhǔn)。

1.5? 三維視覺傳達(dá)可視化模塊

數(shù)據(jù)I/O子模塊、參數(shù)設(shè)置子模塊、體繪制子模塊、面繪制子模塊以及軸向切片顯示子模塊等共同組成三維可視化模塊，其結(jié)構(gòu)如圖4所示。

三維可視化模塊中面繪制子模塊采用基于MC（Marching Cubes）算法提出的SMC算法重建圖像中的物體面，詳細(xì)過程如下：

假設(shè)物體圖像中存在物體相關(guān)的一系列輪廓線，用[P1，P2，…，Pn]表示。對(duì)圖像數(shù)據(jù)場(chǎng)實(shí)施分層寫操作，定義體數(shù)據(jù)內(nèi)各體素[x，y，z]的狀態(tài)函數(shù)[dx，y，z]為：

各體素的狀態(tài)值受該點(diǎn)同所在平面上所有輪廓間關(guān)系（以外，其上，以內(nèi)）影響。

圖5描述體元示意圖。針對(duì)單個(gè)體元，依照狀態(tài)值，各頂點(diǎn)值為+1，0，-1中任意一個(gè)。邊界面通過頂點(diǎn)為0狀態(tài)值的條件下：若體元上一條棱的兩個(gè)頂點(diǎn)狀態(tài)值有所差異，說明邊界面同此棱之間為相交關(guān)系[14];若體元上一條棱的兩個(gè)頂點(diǎn)狀態(tài)值一致，說明邊界面同此棱之間為不相交關(guān)系。在邊界面同某條棱間為相交關(guān)系的條件下，考慮圖像缺乏相應(yīng)的閾值實(shí)施求交;同時(shí)，由于用于三維重建的圖像清晰度較高，誤差值約為0.5個(gè)棱長(zhǎng)，投影至計(jì)算機(jī)屏幕上的圖像與線性插值獲取的圖像基本一致，因此以此棱中點(diǎn)為交點(diǎn)。通過上述過程能確定物體表面同體元的交點(diǎn)，依次將各交點(diǎn)連接起來即可實(shí)現(xiàn)三維圖像的面重建。

因?yàn)楦黜旤c(diǎn)均存在三個(gè)頂點(diǎn)可能值（+1，0，-1），所以各體元存在38=6 561種可能性。由于體元具有對(duì)稱性，因此可簡(jiǎn)化體元6 561種可能性，且由于像素同四鄰域狀態(tài)值不存在差異性，清除大量不存在的模型，最終僅存52個(gè)面重建模型。利用中心差分法確定頂點(diǎn)法向，假設(shè)體素[x，y，z]的狀態(tài)值為[fx，y，z]，則該頂點(diǎn)的法向如下：

以棱上兩頂點(diǎn)法向平均值為棱中點(diǎn)法向。

2? 仿真測(cè)試

為驗(yàn)證本文設(shè)計(jì)的視覺傳達(dá)技術(shù)的三維圖像重建系統(tǒng)的重建性能，以兩組圖像（山體圖像和牙齒圖像）為實(shí)驗(yàn)對(duì)象，進(jìn)行相關(guān)仿真實(shí)驗(yàn)。實(shí)驗(yàn)硬件環(huán)境如下：3.2 GHz主頻的AMD?07?2700（r7）8核16線程CPU處理器、Asus/ROG GTX1660TI?O6G顯卡、4 GB內(nèi)存。采用本文系統(tǒng)分別重建實(shí)驗(yàn)對(duì)象的三維圖像，結(jié)果如圖6所示。分析圖6得到，采用本文系統(tǒng)重建山體與牙齒的圖像，均成功獲取了清晰的三維圖像，實(shí)驗(yàn)結(jié)果表明本文系統(tǒng)重建不同類型、不同大小物體的三維圖像的效果佳。

針對(duì)上一實(shí)驗(yàn)中的實(shí)驗(yàn)對(duì)象，將體素劃分精度分別設(shè)定為323，1283和5123，圖像分辨率分別設(shè)定為128×128，256×256和512×512。表1和表2分別描述不同條件下本文系統(tǒng)與基于RGB的三維圖像重建系統(tǒng)的重建時(shí)間和加速比。由表1得到，體素劃分精度提升導(dǎo)致兩個(gè)系統(tǒng)三維圖像重建時(shí)間均有不同程度的延長(zhǎng)，加速比隨體素劃分精度的提升而提升，說明本文系統(tǒng)三維圖像重建效率高于基于RGB的三維圖像重建系統(tǒng)，且隨體素劃分精度的提升，加速比也越大，加速效果越顯著。由表2得到，圖像分辨率對(duì)系統(tǒng)三維圖像重建時(shí)間影響不顯著，這是由于提升圖像分辨率僅對(duì)圖像分割中輪廓提取時(shí)間產(chǎn)生顯著影響。

一個(gè)優(yōu)質(zhì)的三維圖像重建系統(tǒng)在保障高重建效率的同時(shí)，還需要確保高重建精度，表3描述兩個(gè)系統(tǒng)重建實(shí)驗(yàn)對(duì)象的重建精度與圖像清晰度。分析表3得到，采用本文系統(tǒng)重建物體三維圖像的精度均高于95%，重建精度與清晰度顯著高于基于RGB的系統(tǒng)，且牙齒圖像重建精度高于山體圖像，說明本文系統(tǒng)不僅能準(zhǔn)確重建物體三維圖像，且圖像越小，重建精度越高。

3? 結(jié)? 語

本文以Microsoft Visual C++開發(fā)工具和VTK三維可視化工具包為設(shè)計(jì)平臺(tái)，設(shè)計(jì)由圖像解析模塊、圖像預(yù)處理模塊和三維可視化模塊共同組成的虛擬現(xiàn)實(shí)技術(shù)的三維圖像重建系統(tǒng)。三維圖像重建過程中，三維可視化模塊內(nèi)物體三維體繪制與面繪制較為重要，體繪制圖像與面繪制圖像結(jié)合成為物體三維重建圖像，因此三維重建圖像取決于兩者繪制精度。在后續(xù)研究過程中，可著重研究體繪制圖像與面繪制圖像過程，以提升系統(tǒng)三維圖像重建精度。

參考文獻(xiàn)

[1] 李蓉，鄧春健，鄒昆.一種基于MRF的單幅圖像數(shù)據(jù)的三維重構(gòu)方法研究[J].液晶與顯示，2016，31（3）：301?309.

[2] 謝理想，萬剛，曹雪峰，等.無人機(jī)序列圖像快速三維重建系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用，2017，43（6）：134?137.

[3] 王記彩.采用虛擬現(xiàn)實(shí)技術(shù)的煤礦虛擬液壓支架運(yùn)動(dòng)狀況仿真[J].煤炭技術(shù)，2017，36（10）：259?261.

[4] 陳圖南，尹訓(xùn)濤，李學(xué)剛，等.多模態(tài)融合的3D虛擬現(xiàn)實(shí)技術(shù)在中央?yún)^(qū)膠質(zhì)瘤切除術(shù)中的應(yīng)用[J].中華醫(yī)學(xué)雜志，2018，98（17）：1302?1305.

[5] 劉星明，蔡鐵，王輝靜，等.基于相位恢復(fù)的三維可視化應(yīng)用研究[J].計(jì)算機(jī)科學(xué)，2016，43（z2）：256?258.

[6] 董長(zhǎng)富，王玉林，朱叢笑，等.音視頻設(shè)備三維放置虛擬訓(xùn)練系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)科技論文，2018，13（20）：2337?2341.

[7] 劉培剛，劉鈺洋，潘懋，等.基于砂巖三維數(shù)字巖心圖像的圖像處理與相劃分研究[J].科學(xué)技術(shù)與工程，2017，17（6）：22?30.

[8] 牛育鴻，白石，阮彩蓮.虛擬現(xiàn)實(shí)系統(tǒng)在經(jīng)枕髁入路顯露頸靜脈結(jié)節(jié)三維解剖研究中的應(yīng)用[J].解剖學(xué)報(bào)，2016，47（2）：250?253.

[9] 陳素華，楊軍，馬順昌，等.虛擬現(xiàn)實(shí)技術(shù)在顱頸交界區(qū)病變手術(shù)中的應(yīng)用[J].中華神經(jīng)外科雜志，2018，34（6）：591?595.

[10] 趙桂玲，劉丹，劉祎，等.木質(zhì)文物三維斷層掃描圖像處理[J].西北林學(xué)院學(xué)報(bào)，2018，33（4）：226?229.

[11] 王珊，沈旭昆，趙沁平.三維人臉表情獲取及重建技術(shù)綜述[J].系統(tǒng)仿真學(xué)報(bào)，2018，30（7）：2423?2444.

[12] 洪漢玉，范艷，鄧哲煜，等.動(dòng)目標(biāo)多視角觀測(cè)圖像的三維去模糊方法[J].紅外與激光工程，2016，45（2）：249?256.

[13] 楊雨薇，李幸剛，張亞萍.基于圖像的重建點(diǎn)云離群點(diǎn)檢測(cè)算法[J].數(shù)據(jù)采集與處理，2018，33（5）：928?935.

[14] 許聞楷，陳德運(yùn)，高明，等.電容層析成像三維傳感器結(jié)構(gòu)設(shè)計(jì)及圖像重建[J].哈爾濱理工大學(xué)學(xué)報(bào)，2016，21（5）：34?39.

[15] 鄒曉，陳正鳴，朱紅強(qiáng)，等.基于移動(dòng)平臺(tái)的三維虛擬試發(fā)型系統(tǒng)實(shí)現(xiàn)及應(yīng)用[J].圖學(xué)學(xué)報(bào)，2018，39（2）：309?316.