基于立體成像技術(shù)的三維環(huán)境設(shè)計(jì)建模方法研究

田婧

摘 ?要： 針對(duì)環(huán)境設(shè)計(jì)中的三維建模需求，文中在非平行雙向立體投影框架下，提出基于立體匹配算法的三維環(huán)境建模方法。通過構(gòu)造并最小化匹配代價(jià)函數(shù)計(jì)算最優(yōu)三維建模坐標(biāo)，為了進(jìn)一步提高三維建模的精度，文中采用基于圖像深度提取的重構(gòu)優(yōu)化補(bǔ)償算法。該算法可以利用像素幾何關(guān)系提取深度信息并反解三維坐標(biāo)，優(yōu)化補(bǔ)償重構(gòu)誤差。仿真驗(yàn)證與數(shù)據(jù)分析結(jié)果表明，文中所提算法在空間多點(diǎn)三維建模中的誤差精度較小，且在相同環(huán)境下的重構(gòu)精度和復(fù)雜度方面的性能明顯優(yōu)于現(xiàn)有三維重構(gòu)算法，具有一定的工程實(shí)用價(jià)值。

關(guān)鍵詞： 環(huán)境設(shè)計(jì); 三維建模; 立體成像; 匹配代價(jià)函數(shù); 重構(gòu)誤差; 仿真驗(yàn)證

中圖分類號(hào)： TN948.47?34 ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）24?0072?03

Research on 3D environment design modeling method based on stereo imaging technology

TIAN Jing

（Institute of Information Technology， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： A 3D environment modeling method based on stereo matching algorithm is proposed under the framework of non?parallel bidirectional stereo projection to satisfy the requirements of 3D modeling in environment design. The optimal 3D modeling coordinates are calculated by constructing and minimizing the matching cost function. The reconstruction optimization and compensation algorithm based on image depth extraction is adopted to further improve the accuracy of 3D modeling. This algorithm can be used to extract depth information， inversely solve 3D coordinates， and optimize and compensate the reconstruction errors by using the pixel geometric relationships. The simulation verification and data analysis results show that the proposed algorithm has less error precision in spatial multi?point 3D modeling， and its performance of reconstruction accuracy and complexity in the same environment is obviously better than existing 3D reconstruction algorithms. It has a certain practical value in engineering.

Keywords： environmental design; 3D modeling; stereo imaging; matching cost function; reconstruction error; simulation verification

0 ?引 ?言

隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，三維環(huán)境設(shè)計(jì)和建模技術(shù)得到了較為廣泛的關(guān)注[1]，在網(wǎng)絡(luò)虛擬輔助、城市規(guī)劃和3D游戲設(shè)計(jì)方面均得到一定的應(yīng)用[2?3]。但現(xiàn)有的三維建模方法重構(gòu)誤差精度較大，在諸多領(lǐng)域中尤其是環(huán)境設(shè)計(jì)方面的實(shí)用性受到限制[4?6]。環(huán)境設(shè)計(jì)的三維建模對(duì)所需要的立體還原度較高。基于單視角的重構(gòu)方法還原精度有限[7]，基于雙視角多維數(shù)據(jù)的三維建模方法成為主流[8]。在多向三維建?？蚣芟?，基于紋理映射的環(huán)境建模方法在一定程度上可以實(shí)現(xiàn)立體還原[9]。為了進(jìn)一步提高建模精度，基于學(xué)習(xí)感知類的三維方法得到了廣泛研究[10?13]。面向環(huán)境設(shè)計(jì)的需求，本文提出基于立體成像技術(shù)的三維建模方法。在非平行雙向立體成像框架下，提出利用立體匹配方法，通過最小化匹配代價(jià)函數(shù)實(shí)現(xiàn)最優(yōu)三維建模。為了優(yōu)化建模精度，文中進(jìn)一步提出圖像深度提取方法反解三維坐標(biāo)，優(yōu)化補(bǔ)償三維重構(gòu)的誤差。仿真結(jié)果表明，本文所提算法的重構(gòu)誤差相對(duì)于現(xiàn)有算法具有一定的優(yōu)越性。

1 ?系統(tǒng)模型

本文針對(duì)環(huán)境設(shè)計(jì)的實(shí)際需要，研究基于立體成像技術(shù)的三維環(huán)境設(shè)計(jì)建模方法，該方法可以有效建模三維場(chǎng)景，提高環(huán)境設(shè)計(jì)的真實(shí)度，具體方法原理見圖1。

在兩個(gè)不平行方向上進(jìn)行圖像提取，利用三角投影法可提取不同坐標(biāo)系下的場(chǎng)景三維坐標(biāo)。在此基礎(chǔ)上，本文利用立體投影匹配算法對(duì)三維場(chǎng)景的像素點(diǎn)進(jìn)行坐標(biāo)匹配?？紤]到利用二維圖像進(jìn)行三維重構(gòu)建模會(huì)有立體失真，文中在傳統(tǒng)三維建模的基礎(chǔ)上對(duì)提取圖像深度信息進(jìn)行立體補(bǔ)償，最終實(shí)現(xiàn)高度還原的三維場(chǎng)景重構(gòu)。非平行雙向立體成像三維建模方法的示意圖如圖2所示。

圖2中，[P]在[O1]和[O2]兩個(gè)坐標(biāo)系進(jìn)行立體投影，投影平面的投影點(diǎn)分別為[P1]、[P2]，[P1]與[P2]在[O1]和[O2]為原點(diǎn)的坐標(biāo)系下的觀察坐標(biāo)分別為[P1x1，y1]、[P2x2，y2]。令[Xt]表示[P]的真實(shí)坐標(biāo)，用[Xl]與[Xr]分別表示[P1]和[P2]在觀察坐標(biāo)系下的坐標(biāo)，則可得對(duì)應(yīng)關(guān)系為：

[Xl=klXt+tlXr=krXt+tr] （1）

式中，[kl]，[kt]，[tl]和[tt]為兩個(gè)觀察坐標(biāo)系和三維真實(shí)坐標(biāo)系之間的立體投影變換參數(shù)。對(duì)式（1）進(jìn)行變換，可得：

[Xr=KXl+T] （2）

式中，[K]和[T]為立體投影變換參數(shù)矩陣，其定義為：

[K=krk-1lT=tr-Ktl] （3）

不同點(diǎn)處的立體投影變換參數(shù)不同，立體三維匹配即進(jìn)行非線性優(yōu)化確定最優(yōu)的立體投影變換參數(shù)矩陣。

2 ?立體匹配

本文提出利用立體匹配法進(jìn)行立體投影三維重構(gòu)。在非平行雙向立體成像模型的基礎(chǔ)上，根據(jù)兩個(gè)方向的投影點(diǎn)坐標(biāo)進(jìn)行像素匹配，實(shí)現(xiàn)極線校正。經(jīng)過校正好的投影點(diǎn)坐標(biāo)關(guān)系為：

[y1=y2d=x1-x2] （4）

式中，d為像素差值。

文中所提的立體匹配算法步驟如圖3所示。首先根據(jù)投影像素差值構(gòu)建相似代價(jià)函數(shù)進(jìn)行匹配，圖像相似度越高，像素差值越小。根據(jù)構(gòu)建的代價(jià)函數(shù)進(jìn)行局部優(yōu)化，選取聚合窗口，在聚合窗口內(nèi)進(jìn)行局部匹配。在局部匹配后，計(jì)算視差代價(jià)函數(shù)并將其最小化進(jìn)行代價(jià)細(xì)化補(bǔ)償，從而確定三維投影坐標(biāo)。

全局匹配代價(jià)函數(shù)可以表示為：

[Et=Ed+Es] （5）

式中，[Ed]與[Es]分別表示匹配代價(jià)函數(shù)的數(shù)據(jù)代價(jià)和平滑代價(jià)，其定義為：

[Ed=NCpdp] （6）

[Es=NVpdp，ds] （7）

式中：N表示圖像中像素點(diǎn)個(gè)數(shù);p為其中1個(gè)像素點(diǎn);[Cpdp]表示p處的視差匹配代價(jià);[Vpdp，ds]表示p處的平滑代價(jià)。相鄰像素點(diǎn)的差值越小，平滑代價(jià)越小，則進(jìn)行立體匹配即是最小化匹配代價(jià)函數(shù)：

[X，Y，Z=argminpEs] （8）

為了進(jìn)行細(xì)化補(bǔ)償，首先需要構(gòu)造細(xì)化代價(jià)函數(shù)。一般利用匹配均方根誤差和誤匹配率進(jìn)行構(gòu)造，其計(jì)算方式分別為：

[RMS=x，ydm-dt2N] （9）

[Re=x，ydm-dtN， ?dm-dt<δ] （10）

式中：[dm]表示匹配后的像素視差;[dt]表示圖像真實(shí)的像素視差;[δ]表示視差門限。

為了綜合考慮均方根誤差和誤匹配率的影響，本文構(gòu)造的細(xì)化補(bǔ)償代價(jià)函數(shù)為：

[J=λRMS+Re] （11）

式中，[λ]為調(diào)節(jié)系數(shù)。則細(xì)化補(bǔ)償只需要最小化補(bǔ)償代價(jià)函數(shù)：

[X，Y，Z=argminpJ] （12）

3 ?深度信息提取

在立體投影匹配后可以初步實(shí)現(xiàn)三維立體建模。但由于利用二維圖像進(jìn)行三維立體投影重構(gòu)，難免會(huì)出現(xiàn)立體失真現(xiàn)象，從而需要進(jìn)一步提取圖像深度信息，補(bǔ)償三維建模失真。

利用非平行雙向立體成像方法進(jìn)行三維建模，三維模型中的投影點(diǎn)[P]在左右兩個(gè)投影平面的投影點(diǎn)分別為[P1]和[P2]，如圖4所示。

設(shè)f為坐標(biāo)原點(diǎn)到投影平面的距離，B表示兩個(gè)觀測(cè)原點(diǎn)之間的水平距離，則可根據(jù)幾何關(guān)系得：

[Xx1=ZfB-X-x2=Zf] （13）

令F表示f在像素維度的投影大小，其定義為：

[F=fd] （14）

則根據(jù)式（13）和式（14）可得：

[Z=BFdX=Bx1dY=Byd] （15）

像素差值的大小與真實(shí)距離的遠(yuǎn)近成反比，可以根據(jù)像素差值的大小和投影參數(shù)提取圖像三維深度信息，并對(duì)立體建模進(jìn)行融合補(bǔ)償。

4 ?仿真驗(yàn)證與性能分析

為了驗(yàn)證所提的基于立體成像技術(shù)的三維環(huán)境設(shè)計(jì)建模方法的有效性，本文對(duì)實(shí)際圖像進(jìn)行三維建模。分析文中所提的立體成像三維匹配空間多點(diǎn)重構(gòu)的匹配均方根誤差和誤匹配率，并分析同一環(huán)境下本文所提方法與傳統(tǒng)方法的性能對(duì)比。

如表1所示，空間上取不同的4個(gè)點(diǎn)，應(yīng)用本文所提算法進(jìn)行三維重構(gòu)。對(duì)比立體匹配均方根誤差和經(jīng)過深度信息補(bǔ)償后的重構(gòu)誤差可以發(fā)現(xiàn)，均方根誤差越大，補(bǔ)償效果越好。均方根誤差和誤匹配率并不是完全呈現(xiàn)正比關(guān)系，這說明了本文所設(shè)定代價(jià)函數(shù)的合理性。總體上看，文中所提算法的三維重構(gòu)誤差較小。

為了進(jìn)一步說明本文所提算法的有效性，文中在同一環(huán)境下對(duì)圖像使用不同算法進(jìn)行三維重構(gòu)，如表2所示?；诩y理映射重構(gòu)方法的誤差在4個(gè)點(diǎn)的誤差均最大，基于深度感知三維重構(gòu)方法的誤差與本文所提算法的誤差基本相當(dāng)，但其訓(xùn)練復(fù)雜度遠(yuǎn)高于文中所提算法。

5 ?結(jié) ?論

本文研究了基于立體成像技術(shù)的三維環(huán)境設(shè)計(jì)建模方法。在非平行雙向立體成像三維建?？蚣艿幕A(chǔ)上，采用立體匹配算法通過構(gòu)造匹配代價(jià)函數(shù)進(jìn)行匹配，從而確定出最優(yōu)的三維重構(gòu)坐標(biāo)。文中方法利用圖像深度信息進(jìn)行基于幾何關(guān)系的圖像深度提取，反解三維坐標(biāo)進(jìn)行優(yōu)化補(bǔ)償。從而實(shí)現(xiàn)最優(yōu)的三維環(huán)境設(shè)計(jì)建模，并有效提高了重構(gòu)精度。仿真實(shí)驗(yàn)結(jié)果證明，本文所提算法的誤差在厘米級(jí)范圍，且相對(duì)于現(xiàn)有算法在重構(gòu)精度上有明顯的提升。

參考文獻(xiàn)

[1] 鄭朝鑫，董晨，賀國榮，等.基于改進(jìn)粒子群算法的動(dòng)態(tài)3D實(shí)時(shí)建模技術(shù)[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（5）：65?71.

[2] NYSETVOLD J， SALMON J. Evaluation of user preferences for 3D modeling and design reviews in virtual reality [C]// International CAD Conference and Exhibition. Barcelona： IEEE， 2020： 203?205.

[3] 戴艷紅，崔健.基于改進(jìn)半邊數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)仿真3D建模平臺(tái)研究[J].現(xiàn)代電子技術(shù)，2017，40（1）：159?162.

[4] HUANG H， LIN C， CAI D C. Enhancing the learning effect of virtual reality 3D modeling： a new model of learner′s design collaboration and a comparison of its field system usability [J]. Universal access in the information society， 2020（4）： 1?12.

[5] DENG F， GAN B Q. Research on the application of 3D virtual simulation technology in ancient village restoration [C]// 4th International Conference on Mechanical， Control and Computer Engineering. Hohhot： Springer， 2019： 36?42.

[6] 傅敏，張江龍，劉培剛.三維環(huán)境下交互式點(diǎn)云對(duì)象提取方法[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（24）：265?270.

[7] 郭偉青.基于鏡面成像技術(shù)的單目全景立體感知三維重構(gòu)技術(shù)研究[D].杭州：浙江工業(yè)大學(xué)，2019.

[8] 張志佳，王博實(shí)，李雅紅，等.基于雙視角的可見外殼三維重建研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2015，25（3）：50?53.

[9] 張春森，張衛(wèi)龍，郭丙軒，等.傾斜影像的三維紋理快速重建[J].測(cè)繪學(xué)報(bào)，2015，44（7）：782?790.

[10] 徐晟.基于雙目立體視覺的深度感知技術(shù)研究及實(shí)現(xiàn)[D].廣州：華南理工大學(xué)，2018.

[11] 高偉，王昱霖，宋笑迎，等.基于虛擬現(xiàn)實(shí)技術(shù)下深度學(xué)習(xí)環(huán)境的構(gòu)建研究[J].軟件，2019，40（5）：42?46.

[12] HU Y C， SUN W， LIU X G， et al. Tourism demonstration system for large?scale museums based on 3D virtual simulation technology [J]. The electronic library， 2020， 38（2）： 367?381.

[13] 白童垚.基于深度學(xué)習(xí)的三維場(chǎng)景下障礙物感知技術(shù)的研究與應(yīng)用[D].西安：西安建筑科技大學(xué)，2019.

作者簡(jiǎn)介：田 ?婧（1985—），女，江西九江人，碩士，副教授，研究方向?yàn)榄h(huán)境設(shè)計(jì)。