基于三維視覺的室內(nèi)設計虛擬現(xiàn)實方法研究

師春艷

摘 要： 針對傳統(tǒng)基于輻射度算法的室內(nèi)場景三維虛擬現(xiàn)實方法存在耗時高、建模效果差的弊端，研究基于三維視覺的室內(nèi)設計虛擬現(xiàn)實方法，采用主動式、全方位立體視覺傳感器采集室內(nèi)場景的三維點云數(shù)據(jù)，基于點云數(shù)據(jù)進行室內(nèi)場景內(nèi)的物體幾何關系以及擺放位置分布，完成室內(nèi)三維場景的自主合成，對物體擺放位置分布實施訓練，通過三維場景點云數(shù)據(jù)集獲取相同類型支撐物中物體產(chǎn)生的位置，對數(shù)據(jù)實施歸一化操作，采用高斯混合模型擬合這些數(shù)據(jù)，訓練出三維室內(nèi)場景中物件在支撐面中的位置分布模型。采用基于深度信息場景重構(gòu)方法實現(xiàn)室內(nèi)三維場景的虛擬實現(xiàn)。實驗結(jié)果說明，所提方法重構(gòu)的室內(nèi)場景直觀、視覺效果好，并且具有較高的重構(gòu)效率和精度。

關鍵詞： 三維視覺； 室內(nèi)設計； 虛擬現(xiàn)實方法； 場景； 點云數(shù)據(jù)； 高斯混合模型

中圖分類號： TN911.1?34； TP273 文獻標識碼： A 文章編號： 1004?373X（2018）05?0078?05

Abstract： Since the traditional indoor scene 3D virtual reality method based on radiancy algorithm has the disadvantages of high time consumption and poor modeling effect， the virtual reality method of indoor design based on 3D vision is studied. The active stereo omni?direction vision sensor （ASODVS） is used to collect the three?dimensional point cloud data of indoor scene. On the basis of point cloud data， the geometrical relationship of objects in indoor scene is analyzed， and the locating place distribution of the objects is trained to realize the autonomous synthesis of indoor 3D scene. According to the point cloud dataset of 3D scene， the position of the object in the same?type upholder is acquired to perform the normalization operation for the data. The Gaussian mixture model is adopted to fit the data， and obtain the trained position distribution model in support plane of the objects in 3D indoor scene. The depth information scene reconstruction method is used to implement the virtual realization of indoor 3D scene. The experimental results show that the method has intuitive reconstructed indoor scenes and perfect vision effect， and has high reconstruction efficiency and precision.

Keywords： 3D vision； indoor design； virtual reality method； scene； point cloud data； Gaussian mixture model

由于計算機仿真以及虛擬現(xiàn)實等技術的高速發(fā)展，室內(nèi)場景的三維建模在火場救援、密室逃脫以及挖掘等領域中具有重要的應用價值。因此，采用有效的方法進行室內(nèi)三維場景的虛擬實現(xiàn)，成為相關人員分析的熱點。傳統(tǒng)基于輻射度算法的室內(nèi)場景三維虛擬現(xiàn)實方法存在耗時高、建模效果差等弊端[1]，因此，本文研究了基于三維視覺的室內(nèi)設計虛擬現(xiàn)實方法，完成室內(nèi)三維虛擬場景的準確重構(gòu)。

1 基于三維視覺的室內(nèi)設計虛擬現(xiàn)實方法研究

1.1 獲取室內(nèi)場景的三維有序點云數(shù)據(jù)

為了對室內(nèi)場景進行建模，本文采用主動式全方位立體視覺傳感器（Active Stereo Omni?direction Vision Sensor，ASODVS）掃描室內(nèi)場景，獲取室內(nèi)場景的三維有序點云數(shù)據(jù)具體過程如下：

1） 采用ASODVS采集室內(nèi)全景圖像，將其標識成000000的文件名，存儲到全景圖像存儲文件夾中；

2） 通過移動面激光掃描；

3） 采用ASODVS采集模塊獲取室內(nèi)全景掃描切片圖像，基于電機的變換速率和兩個極限點的時間，對移動面激光發(fā)生器的位置實施預測，將單視點到面激光發(fā)生器中心的垂直距離值當成全景掃描切片圖像的文件名，并將獲取的掃描切片圖像存儲到全景圖像存儲文件夾中；

4） 分析是否到達極限點位置，若到達則完成掃描，終止移動面激光掃描[2]；否則運行過程3）。

基于上述結(jié)果實施點云數(shù)據(jù)解析能夠獲取室內(nèi)場景的點云數(shù)據(jù)，解析過程如下：

1） 依據(jù)值的降序分布情況，將室內(nèi)全景掃描切片圖像從室內(nèi)全景圖像存儲文件夾中采集出來；

2） 對獲取的室內(nèi)全景掃描切片圖像進行實時預處理，提升激光投射點范圍；endprint

3） 基于不同的方位角逐次檢索總體室內(nèi)全景掃描切片圖像，運算獲取激光投影的空間坐標；

4） 向點云數(shù)據(jù)文件夾內(nèi)存儲含有色彩信息的掃描切片點云數(shù)據(jù)文件，標識各點云數(shù)據(jù)文件名為“值+.txt”；

5） 分析是否完成全部室內(nèi)全景掃描切片圖像的檢索，若是則結(jié)束解析；否則采集新全景掃描切片圖像，運行過程2）。

ASODVS掃描獲取垂直方向基于值分布的大量切片圖像，解析這些圖像中的點云數(shù)據(jù)可獲取相關的切片點云數(shù)據(jù)。各切片點云數(shù)據(jù)在垂直方向中基于進行分布。解析各切片圖像過程匯總，檢索圖像實時方位角[3]，運算各點的三維空間坐標值，則各切片內(nèi)的點云數(shù)據(jù)在水平方向基于方位角分布。本文通過點云矩陣保存點云數(shù)據(jù)，矩陣行用于描述掃描的120張室內(nèi)全景切片圖像，矩陣列用于描述方位角的檢索結(jié)果，每次檢索的步長是0.36°，則存在1 000列，通過上述分析的室內(nèi)場景檢索、點云數(shù)據(jù)解析和存儲過程，獲取的點云矩陣大小是120×1 000。

1.2 室內(nèi)三維虛擬場景合成算法

1.2.1 總體結(jié)構(gòu)

基于1.1節(jié)獲取的室內(nèi)場景的三維有序點云數(shù)據(jù)，合成室內(nèi)三維虛擬場景，總體結(jié)構(gòu)如圖1所示。

合成室內(nèi)三維場景過程包括輸入模塊、場景分析模塊、場景合成模塊以及輸出模塊。輸入模塊是室內(nèi)場景的有序點云數(shù)據(jù)和室內(nèi)場景中的物件種類以及數(shù)量。場景分析模塊由場景中物體間的幾何關系分析以及物體擺放位置分布模型訓練兩個部分構(gòu)成。分析場景中的物體幾何關系時，需要實現(xiàn)物體支撐面的采集、檢測物體相交、支撐關系、接近關系以及共生關系。采集支撐面時，采集室內(nèi)場景中各物體的支撐面，相交檢測時采用包圍盒的相交檢測算法確保物體在擺放過程中相互獨立。先實施室內(nèi)場景中不同物體支撐關系的采集，再檢測物體間的接近關系，最終依據(jù)三維場景的數(shù)據(jù)集獲取室內(nèi)三維場景中不同類型支撐物能夠支撐的物體種類以及產(chǎn)生頻率。

對物體擺放位置分布實施訓練，通過三維場景數(shù)據(jù)集獲取相同類型支撐物中物體產(chǎn)生的位置，對數(shù)據(jù)實施歸一化操作[4?5]，采用高斯混合模型擬合這些數(shù)據(jù)，訓練出位置分布模型。

本文設計任意擺放以及在指定支撐面中擺放兩種場景合成模塊，輸入室內(nèi)場景在該量子算法的驅(qū)動下表現(xiàn)出兩種不同的輸出結(jié)果，任意擺放算法從輸入室內(nèi)場景存在的多個支撐物中任意采集其中一個，從多個支撐面內(nèi)旋轉(zhuǎn)一個實施擺放，依據(jù)任意過程運算出擺放點。在指定支撐面中擺放時分析了共生關系匯總出的結(jié)果，實現(xiàn)設置物體在擺放過程中能夠選擇的支撐物，在該支撐物存在的平面中任意選擇位置點實施擺放。采用場景合成模塊的兩種算法獲取兩種不同效果的室內(nèi)設計合成場景。

1.2.2 物件任意自動擺放算法

物件任意自動擺放算法從室內(nèi)場景存在的支撐物中任意選擇一個，從所選擇的支撐物中任意采用一個支撐平面，將小物件任意擺放到該平面中。物件任意自動擺放算法由任意采集支撐面、產(chǎn)生可用擺放點以及相交檢測構(gòu)成。本文采用三維模型表面的均勻采樣算法，基于支撐面的面積任意采集支撐面，詳細過程如下：

1） 語義標識，在室內(nèi)場景選擇支撐物的過程中，基于小物件的支撐語義標簽，得到的支撐平面數(shù)是用{SuppPlane1，SuppPlane2，…，SuppPlanek}描述。

2） 檢索個支撐平面，這些平面的面積是在數(shù)組CumAreas內(nèi)存儲完成訪問的支撐平面面積，該數(shù)據(jù)是維數(shù)是支撐面數(shù)

3） 產(chǎn)生任意數(shù)。

4） 采集目標支撐面，對數(shù)組CumAreas實施檢索，獲取任意數(shù)的支撐平面的索引號[6]，則第個平面被選中的概率為：

則各平面被選擇的概率同平面的面積具有正相關性。

獲取支撐面后，依據(jù)接受?拒絕采樣在支撐面中產(chǎn)生有用擺放點，由支撐面基于其最長邊得到正方形，使得該正方形對總體支撐面進行覆蓋[7]。

合成三維場景時進行相交檢測，獲取具有兩個支撐平面的支撐物的場景合成結(jié)果，如圖2所示。

1.2.3 規(guī)定支撐面擺放算法

規(guī)定支撐面擺放算法在物體支撐的共生關系上，去掉室內(nèi)場景中不滿足該關系的支撐平面，確保物件可擺放到合理的支撐面中，具體過程如下：

1） 對數(shù)據(jù)集內(nèi)可擺放輸入物件的支撐物label實施匯總，基于物體支撐的共生關系，向文本文件內(nèi)存儲場景集內(nèi)可支撐輸入物件的label，向數(shù)組supporter_labels內(nèi)存儲可擺放物件的支撐物label。

2） 對室內(nèi)場景中全部支撐物label實施匯總，對用戶輸入的室內(nèi)場景中各模型實施檢索，采集出支撐面后，將支撐面對應支撐物的label存儲到數(shù)組suppPlanes內(nèi)。

3） 選擇支撐物label，對比分析前兩個過程獲取的支撐物label，在數(shù)組m_suppPlanes內(nèi)存儲同一名稱的label，也就是存儲輸入室內(nèi)場景中滿足輸入物件擺放并且滿足支撐共生關系的支撐物label。

4） 分析過程1）和2）中統(tǒng)計的支撐物label，若不存在名稱一致的支撐物，則將數(shù)組suppPlanes內(nèi)的元素逐次存儲到數(shù)組m_suppPlanes內(nèi)。

算法停止運算后，物件從算法中獲取m_suppPlanes數(shù)組內(nèi)選擇的支撐面實施擺放。

規(guī)定支撐面的場景合成結(jié)果如圖3所示。從圖3能夠看出輸入場景包括地面、桌子以及茶幾，場景合成結(jié)果中包括臺燈、電腦、鼠標、飲料、茶杯等，實現(xiàn)了室內(nèi)場景的準確合成。

1.3 基于高斯混合模型的物體位置分布

通過三維場景點云數(shù)據(jù)集獲取相同類型支撐物中物體產(chǎn)生的位置，對數(shù)據(jù)實施歸一化操作，采用高斯混合模型擬合這些數(shù)據(jù)，訓練出三維室內(nèi)場景中物件在支撐面中的位置分布模型。

1.3.1 高斯混合模型endprint

若存在一批維觀測室內(nèi)場景點云數(shù)據(jù)滿足獨立同分布，各點通過單高斯模型產(chǎn)生，均值以及樣本方差矩陣值不確定，該批數(shù)據(jù)通過個高斯模型產(chǎn)生，個單高斯模型加權(quán)和[8]，也就是高斯混合模型的表達式：

式中：表示各單高斯模型在混合模型內(nèi)所占的比例；表示由相應單高斯模型產(chǎn)生的數(shù)據(jù)；是第個單高斯模型的概率密度函數(shù)的均值以及協(xié)方差矩陣。

則第個單高斯模型的概率密度函數(shù)為：

式中：權(quán)重需要符合條件的要求；是高斯混合模型的參數(shù)集?；谌齻€參數(shù)以及則能夠獲取高斯混合模型。

1.3.2 高斯混合模型的參數(shù)預測

基于室內(nèi)場景點云數(shù)據(jù)樣本集預測高斯混合模型的全部參數(shù)。通過似然函數(shù)預測參數(shù)，對似然函數(shù)實施最大化操作完成參數(shù)的預測，高斯混合模型的似然函數(shù)為：

大量數(shù)字相乘后會出現(xiàn)浮點數(shù)下溢問題，則將似然函數(shù)變換成對數(shù)似然函數(shù)，對其最大化，獲取的對數(shù)似然函數(shù)為：

通過期望最高（Expectation Maximization，EM）算法分布迭代獲取最高值，得到最高值時各參數(shù)的值。

若完全數(shù)據(jù)集是，表示觀測到的不完全數(shù)據(jù)集，是融入的隱含變量。EM算法假設內(nèi)數(shù)據(jù)同已知高斯模型獨立分布，且模型參數(shù)已知，則基于該模型運算出數(shù)據(jù)集內(nèi)不同數(shù)據(jù)點由各單高斯模型產(chǎn)生的概率[9]。采用極大化似然函數(shù)修正參數(shù)值，循環(huán)該規(guī)程直至算法收斂。

基于EM算法的高斯混合模型參數(shù)預測過程如下：

1） 參數(shù)的原始值

通過K?means算法對觀測數(shù)據(jù)點實施聚類，表示聚類數(shù)，表示各類數(shù)的均值，運算得到各類樣本數(shù)占總樣本數(shù)的比例。

2） 算法過程

預測數(shù)據(jù)通過各高斯分布產(chǎn)生的概率。融入隱含變量其中，各運算用于描述各單高斯模型，則數(shù)據(jù)由產(chǎn)生的后驗概率為：

循環(huán)運行上述過程，對式（8）～式（10）的值實施循環(huán)更新，直至算法滿足收斂條件是更新參數(shù)后運算的值，如果算法收斂，則似然函數(shù)獲取最高值，參數(shù)對應的值則是各參數(shù)的最高似然預測值。

1.3.3 物體位置分布模型

采用物體共生關系采集算法獲取.sch文件以及.csv文件，各.sch文件內(nèi)存儲通知類型支撐物中擺放的物體label。針對不同種類的支撐物，本文將擺放在該支撐物中的物體支撐點當成物體的位置坐標。對點云數(shù)據(jù)集內(nèi)各廠家包含的支撐平面實施歸一化操作，將支撐平面變換成面積是1的正方形平面，對物體在支撐平面中的位置坐標實施歸一化操作，獲取.csv文件中的數(shù)據(jù)?；谠撐募械臄?shù)據(jù)點坐標，采用高斯混合模型擬合這些數(shù)據(jù)點[10]，獲取室內(nèi)場景中物體的位置分布模型。

1.4 基于深度信息場景重構(gòu)

采用Kinect深度攝像機獲取室內(nèi)場景的深度信息以及彩色信息，通過開源OpenNI向PC機內(nèi)傳輸深度信息，PC機對深度信息實施坐標變換。采用濾波算法對深度圖像進行實時濾波以及降噪操作，對基于1.1小節(jié)獲取的室內(nèi)場景點云數(shù)據(jù)實施配準和空間旋轉(zhuǎn)平移變換，并基于高斯混合模型獲取物體位置分布，在采用多邊形網(wǎng)格紋理映射后，采用PCL開源平臺中的PCLVisualizer類重構(gòu)室內(nèi)三維虛擬場景。

2 實驗結(jié)果與分析

2.1 實驗硬件環(huán)境

實驗采用Kinect傳感器采集室內(nèi)場景的深度信息，通過主動式全方位立體視覺傳感器獲取室內(nèi)場景的點云數(shù)據(jù)，采用聯(lián)想公司的PC機分析和處理數(shù)據(jù)，完成室內(nèi)場景的三維重構(gòu)。實驗的硬件設置和配置情況見表1。

2.2 實驗結(jié)果

2.2.1 重構(gòu)效果分析

實驗采用Kinect深度攝像機以及主動式全方位立體視覺傳感器得到室內(nèi)場景1和場景2某角落場景，采用高斯模型獲取物體位置分布情況，在PCL開源平臺下進行操作獲取的室內(nèi)三維虛擬場景1和場景2的重構(gòu)圖，分別如圖4和圖5所示。能夠看出，相對于基于輻射度算法的虛擬現(xiàn)實方法，利用本文方法獲取的室內(nèi)場景三維重構(gòu)圖，物體擺放效果逼真，表面光滑、輪廓清晰，具有較佳的視覺效果。

2.2.2 誤差分析

實驗統(tǒng)計兩種方法對場景1和場景2進行重構(gòu)時的誤差情況，見表2。能夠看出，因為場景1區(qū)域比場景2小，所以兩種方法對場景1的重構(gòu)誤差低于場景2，并且兩個場景中本文方法的重構(gòu)誤差低于基于輻射度算法的虛擬現(xiàn)實方法，說明本文方法具有較高的室內(nèi)三維場景重構(gòu)精度。

實驗對兩種方法重構(gòu)過程的時間統(tǒng)計情況見表3。

分析表3能夠看出，場景大小對運算時間的干擾較低，五個過程中預操作耗時最低，獲取物體位置分布耗時最高。本文方法對于不同場景中不同過程的重構(gòu)過程耗時低于基于輻射度算法的虛擬現(xiàn)實方法，說明本文方法具有較高的室內(nèi)三維虛擬場景重構(gòu)效率。

3 結(jié) 語

本文研究了基于三維視覺的室內(nèi)設計虛擬現(xiàn)實方法，重構(gòu)的室內(nèi)場景直觀、視覺效果好，實現(xiàn)了室內(nèi)三維虛擬場景的高效率、高精度重構(gòu)，具有較高的應用價值。

參考文獻

[1] 王云舒，劉建業(yè)，曾慶化，等.結(jié)構(gòu)光輔助的慣性/視覺室內(nèi)導航三維環(huán)境重構(gòu)方法[J].中國慣性技術學報，2016，24（1）：51?58.

WANG Yunshu， LIU Jianye， ZENG Qinghua， et al. 3D environment restructure method with structured light for indoor vision/inertial navigation [J]. Chinese journal of inertial technology， 2016， 24（1）： 51?58.

[2] 吳乃亮，閆飛，卜春光.基于視覺里程計的移動機器人三維場景重構(gòu)[J].華中科技大學學報（自然科學版），2015，43（z1）：337?340.endprint

WU Nailiang， YAN Fei， BU Chunguang. Mobile robot 3D environment reconstruction based on visual odometer [J]. Journal of Huazhong University of Science and Technology （natural science edition）， 2015， 43（S1）： 337?340.

[3] 李秀智，楊愛林，秦寶嶺，等.基于光流反饋的單目視覺三維重建[J].光學學報，2015，35（5）：228?236.

LI Xiuzhi， YANG Ailin， QIN Baoling， et al. Monocular camera three dimensional reconstruction based on optical flow feedback [J]. Acta optica sinica， 2015， 35（5）： 228?236.

[4] 高如新，王俊孟.雙目立體視覺求取三維坐標的方法研究[J].計算機仿真，2014，31（10）：296?300.

GAO Ruxin， WANG Junmeng. Study on some methods of 3D coordinate calculation of binocular vision [J]. Computer simulation， 2014， 31（10）： 296?300.

[5] 廖明，周良辰，閭國年，等.基于OpenGL驅(qū)動的三維場景重構(gòu)[J].計算機應用研究，2015，32（4）：1276?1280.

LIAO Ming， ZHOU Liangchen， L? Guonian， et al. 3D scene reconstruction based on OpenGL [J]. Computer application research， 2015， 32（4）： 1276?1280.

[6] 李輝.基于虛擬雙目視覺的玉米葉片三維重建方法[J].科技通報，2016，32（5）：96?101.

LI Hui. 3D reconstruction of maize leaves based on virtual visual technology [J]. Bulletin of science and technology， 2016， 32（5）： 96?101.

[7] 朱笑笑，曹其新，楊揚，等.一種改進的KinectFusion三維重構(gòu)算法[J].機器人，2014，36（2）：129?136.

ZHU Xiaoxiao， CAO Qixin， YANG Yang， et al. An improved KinectFusion 3D reconstruction algorithm [J]. Robot， 2014， 36（2）： 129?136.

[8] 董峰，王繼州.三維虛擬海洋圖像仿真在艦艇視覺中的應用[J].艦船科學技術，2015，37（9）：176?180.

DONG Feng， WANG Jizhou. Application of 3D virtual ocean image simulation in naval ships vision [J]. Ship science and technology， 2015， 37（9）： 176?180.

[9] 肖建良，張程，李陽.基于Unity3D的室內(nèi)漫游系統(tǒng)[J].電子設計工程，2016，24（19）：54?56.

XIAO Jianliang， ZHANG Cheng， LI Yang. The indoor roaming system based on Unity3D [J]. Electronic design engineering， 2016， 24（19）： 54?56.

[10] 韋爭亮，古耀達，黃志斌，等.雙目立體視覺中特征點三維坐標重構(gòu)校準研究[J].計量學報，2014，35（2）：102?107.

WEI Zhengliang， GU Yaoda， HUANG Zhibin， et al. Research on calibration of three dimensional coordinate reconstruction of feature points in binocular stereo vision [J]. Journal of metrology， 2014， 35（2）： 102?107.endprint