基于組合光透視的室內(nèi)三維空間分割方法

趙亞琴，蔡曉騮

(安徽機(jī)電職業(yè)技術(shù)學(xué)院 藝術(shù)設(shè)計(jì)學(xué)院，安徽 蕪湖 241000)

越來越多的智能化產(chǎn)品在室內(nèi)環(huán)境中工作，需要精確知道自己的位置，以及環(huán)境中物體的位置和三維空間信息[1]，才能有效避開障礙物，到達(dá)指定位置。但是由于室內(nèi)場景復(fù)雜，所獲取的原始深度圖像存在空洞[2]，而重建過程需要進(jìn)行大量計(jì)算，因而給實(shí)時(shí)處理帶來挑戰(zhàn)。這就要求這些智能機(jī)器具有感知環(huán)境三維信息的能力。以家庭掃地機(jī)器人為例，業(yè)界采用的基于無線定位的解決方案，需要人為設(shè)置，機(jī)器人通過測量周圍環(huán)境中存在的障礙物自身與信標(biāo)之間的距離實(shí)現(xiàn)定位導(dǎo)航，這種方案無法感知周圍環(huán)境中存在的障礙物，從而頻繁發(fā)生碰撞。室內(nèi)的點(diǎn)云數(shù)據(jù)有很多[3-4]，例如天棚點(diǎn)云數(shù)據(jù)、內(nèi)墻點(diǎn)云數(shù)據(jù)、踢腳線點(diǎn)云數(shù)據(jù)、地磚點(diǎn)云數(shù)據(jù)等、室內(nèi)固定布置點(diǎn)云數(shù)據(jù)，以及住宅窗戶外面的點(diǎn)云數(shù)據(jù)等。因此，針對復(fù)雜室內(nèi)場景設(shè)計(jì)并優(yōu)化三維重建算法，具有重要意義[5]。但是在常用的基于深度學(xué)習(xí)的室內(nèi)三維空間分割方法中[6]，由于室內(nèi)存在障礙物遮擋，迭代陷入局部循環(huán)，導(dǎo)致對三維空間分割過后的建模出現(xiàn)偏差，因此本文設(shè)計(jì)一種基于組合光透視的室內(nèi)三維空間分割方法。

1 基于組合光透視的室內(nèi)三維空間分割方法

1.1 基于組合光透視的室內(nèi)空間點(diǎn)云提取

本文基于組合光的透視現(xiàn)象，將室內(nèi)三維空間進(jìn)行分割，進(jìn)而提取空間點(diǎn)云。只有獲得完整的點(diǎn)云數(shù)據(jù)，才能開始研究點(diǎn)云數(shù)據(jù)。組合光透視獲取點(diǎn)云數(shù)據(jù)的實(shí)現(xiàn)原理是：利用光學(xué)的反射和透射原理，將現(xiàn)實(shí)場景的透射光路疊加后進(jìn)行數(shù)據(jù)輸出。該方案具有簡單、分辨率高、無視覺偏差等優(yōu)點(diǎn)，同時(shí)定位精度高。例如住宅室內(nèi)收集研究點(diǎn)云數(shù)據(jù)，在采集數(shù)據(jù)之前應(yīng)該先探查現(xiàn)場，了解住宅的室內(nèi)情況[7]，然后根據(jù)了解到的特點(diǎn)去掃描，這樣可以去掉多余的數(shù)據(jù)，降低工作量，減少工作時(shí)間，提高準(zhǔn)確性，使數(shù)據(jù)更加完整可靠。一般測站的布設(shè)考慮如下因素：

1)所用設(shè)備的最佳掃描范圍。最佳掃描范圍可以保證數(shù)據(jù)的準(zhǔn)確性。

2)布置標(biāo)靶的配合性。配合性好可以減少工作量。

3)點(diǎn)云數(shù)據(jù)的重疊度。重疊度大于正常值會(huì)增大工作量。

4)障礙物的遮擋[8]。在掃描時(shí)，往往會(huì)遇到障礙物，把收集到的點(diǎn)云數(shù)據(jù)最小化。

所以必須針對這些數(shù)據(jù)作出相應(yīng)的調(diào)整。以實(shí)現(xiàn)誤差減少,使得兩個(gè)測站之間數(shù)據(jù)的分層消除。在收集室內(nèi)點(diǎn)云數(shù)據(jù)時(shí)，會(huì)受到人和環(huán)境等多重因素的影響，所以要對收集到的數(shù)據(jù)去噪，以保證點(diǎn)云數(shù)據(jù)能用在室內(nèi)繪圖及模型建立上。

建立三維坐標(biāo)系(x0,y0,z0)，首先計(jì)算被測目標(biāo)的距離L，如公式(1)所示：

(1)

其中，C為組合光的速度，T為組合光發(fā)射到接受的時(shí)間。根據(jù)距離和方向角得到坐標(biāo)公式(2)：

(2)

其中，θ為垂直方向的夾角，β為水平方向的夾角?；谏鲜鲂畔ⅲO(shè)置通過掃描得到的點(diǎn)云數(shù)據(jù)為Z={zi∈R|i=1,…,N}，N為點(diǎn)云數(shù)據(jù)個(gè)數(shù)，R為鄰域點(diǎn)的數(shù)據(jù)集。對該數(shù)據(jù)進(jìn)行去噪處理，得到降噪后的點(diǎn)云數(shù)據(jù)如公式(3)所示。

(3)

點(diǎn)云數(shù)據(jù)經(jīng)過去噪后，得到真實(shí)的點(diǎn)云數(shù)據(jù)，可以方便研究相關(guān)數(shù)據(jù)，從而更準(zhǔn)確地繪制室內(nèi)平面圖和建立立體模型。

1.2 室內(nèi)三維空間建模

通過組合光透視獲得了相關(guān)的點(diǎn)云數(shù)據(jù)后，根據(jù)這些數(shù)據(jù)在室內(nèi)的三維空間建模。三維重建流程大致如下:首先，相機(jī)等設(shè)備采集室內(nèi)場景圖像；其次，前端視覺里程計(jì)估計(jì)當(dāng)前幀對應(yīng)的相機(jī)位姿，后端視覺里程計(jì)對當(dāng)前重建好的點(diǎn)云數(shù)據(jù)進(jìn)行優(yōu)化；最后，根據(jù)位姿融合當(dāng)前幀點(diǎn)云，構(gòu)建地圖。根據(jù)應(yīng)用需求的不同，最終構(gòu)建的地圖也不盡相同，包括二維拓?fù)涞貓D，三維稀疏、半稠密和稠密地圖等。室內(nèi)場景下的機(jī)器人執(zhí)行導(dǎo)航、避障等任務(wù)需要精細(xì)的環(huán)境三維信息，因而本系統(tǒng)最終重建的是稠密的室內(nèi)場景。網(wǎng)絡(luò)在VGG16模型的基礎(chǔ)上調(diào)整參數(shù)繼續(xù)訓(xùn)練，提高效率。截取VGG16至全連接層，在后面添加上采樣和反池化層。得到的結(jié)果較為粗糙，將不同池化層結(jié)果加權(quán)融合到反池化結(jié)果中，可以提高結(jié)果精度。網(wǎng)絡(luò)最終輸出組合光透視分割圖像大小為224×224，Kinectv2設(shè)備采集的深度圖像大小為640×480，需將分割結(jié)果采用線性插值法調(diào)整至該尺寸，并建立條件隨機(jī)場模型，如圖1所示：

圖1中的頂點(diǎn)由集合Y={y0,y1,…,yn}構(gòu)成，表示像素點(diǎn)的類別，圖中頂點(diǎn)之間通過直線連接，可以表示條件隨機(jī)場之間變量的關(guān)系。每個(gè)頂點(diǎn)虛線連接一個(gè)變量，由集X={x0,x1,…,xn}構(gòu)成，稱為觀測變量，可由圖像灰度、特征等來表征。集合X為觀測變量集合，表示輸入，集合Y為類別變量集合，表示輸出，條件隨機(jī)場最大化條件概率P(Y|X)，輸出最符合觀測的類別。建立優(yōu)化問題，假設(shè)圖像幀F(xiàn)l對應(yīng)的特征點(diǎn)是{p1,p2,…,pN}，圖像幀F(xiàn)2對應(yīng)的特征點(diǎn)是{q1,q2,…,qN}，通過最小化匹配點(diǎn)對之間的歐氏距離，求解建模過程中的相機(jī)位姿[R/t]，待優(yōu)化目標(biāo)函數(shù)如公式(4)所示：

(4)

通過組合光透視采集的點(diǎn)云數(shù)據(jù)中最優(yōu)化點(diǎn)與平面誤差點(diǎn)的平面距離的示意圖如圖2所示，已經(jīng)重建好的三維點(diǎn)表示目標(biāo)表面上的點(diǎn)，當(dāng)前幀對應(yīng)的三維點(diǎn)表示源表面上的點(diǎn)。點(diǎn)到平面的距離示意圖如圖2所示：

記上圖中的第i個(gè)像素點(diǎn)(x,y)對應(yīng)的坐標(biāo)為vi，根據(jù)坐標(biāo)計(jì)算該點(diǎn)位置處的平面矢量ui=(vi(x+1,y)-vi(x,y))×(vi(x,y+1)-vi(x,y))。構(gòu)建點(diǎn)到平面距離最優(yōu)化目標(biāo)函數(shù)如公式(5)所示：

(5)

目標(biāo)函數(shù)為J1，是最優(yōu)化點(diǎn)到點(diǎn)之間的距離，且只對稀疏的少量點(diǎn)對進(jìn)行優(yōu)化；此處目標(biāo)函數(shù)J2是最優(yōu)化點(diǎn)到平面之間的距離，是對圖像幀中所有的點(diǎn)進(jìn)行優(yōu)化，實(shí)驗(yàn)結(jié)果表明優(yōu)化點(diǎn)到平面之間距離結(jié)果優(yōu)于優(yōu)化點(diǎn)到點(diǎn)之間的距離。隨后，采用條件隨機(jī)場進(jìn)行優(yōu)化處理，利用語義分割結(jié)果修復(fù)深度圖像。接著，采用幾個(gè)三維重建系統(tǒng)優(yōu)化方法。由粗及精的相機(jī)位姿估計(jì)方法；基于關(guān)鍵幀的全局優(yōu)化方法，抑制誤差累積；基于像素編碼的幀匹配策略，提高圖像匹配速度。最后利用GPU和OpenGL對代碼優(yōu)化加速，以便進(jìn)行室內(nèi)三維空間建模。

1.3 優(yōu)化室內(nèi)三維空間分割算法

在傳統(tǒng)的射線分割跟蹤算法中[9]，正在跟蹤的射線向量需要與環(huán)境模型內(nèi)所有物體的三維表面進(jìn)行求交點(diǎn)的運(yùn)算[10]。隨著環(huán)境復(fù)雜度的提高，繞射發(fā)生次數(shù)隨之增加，使得算法需要跟蹤更多的射線[11-12]。并且環(huán)境復(fù)雜度和總射線數(shù)量的提高都會(huì)使得算法求交運(yùn)算的次數(shù)大幅提升[13]。因此，通過組合光透視技術(shù)對三維環(huán)境模型進(jìn)行空間分割，是將一個(gè)大區(qū)域平均劃分為多個(gè)小分區(qū)以分?jǐn)倕^(qū)域中物體的數(shù)量，形成級(jí)區(qū)域分割方式:一級(jí)分割將大區(qū)域平均劃分為四部分；二級(jí)分割是將已經(jīng)分割后的區(qū)域再次平均劃分；后續(xù)的高級(jí)分割以此類推。射線跟蹤每次只在射線當(dāng)前所在分區(qū)Nold中檢索碰撞點(diǎn)[14]，若在該分區(qū)沒有碰撞點(diǎn)，則射線離開當(dāng)前分區(qū)Nold進(jìn)入到下一個(gè)分區(qū)Nnew，并在Nnew內(nèi)繼續(xù)檢索碰撞點(diǎn)，直到跟蹤的射線到達(dá)接收位置或信號(hào)衰落權(quán)重超過預(yù)設(shè)閾值為止。如圖3所示為空間分割方法流程。

對大區(qū)域進(jìn)行空間分割后[15]，檢索碰撞點(diǎn)的算法將不需要和大區(qū)域內(nèi)所有的物體表面進(jìn)行求交點(diǎn)運(yùn)算，只需在當(dāng)前射線所在的小分區(qū)中進(jìn)行碰撞檢索，這樣可以大幅度減少跟蹤一條射線所需檢索的碰撞點(diǎn)的次數(shù)。

因此，在組合光透視模型中正確判斷射線當(dāng)前所在的分區(qū)，是空間分割方法的關(guān)鍵。如公式(6)所示：

其中，Nold為射線當(dāng)前所在的分區(qū)序號(hào)，Nnew為射線將要進(jìn)入的分區(qū)序號(hào)，n為空間分割等級(jí)，Pc為射線碰撞點(diǎn)坐標(biāo)，x和y是射線三維方向向量中的x值與y值。但是，在傳統(tǒng)的分割過程中，室內(nèi)三維空間中存在一些物體對空間的整體出現(xiàn)一定的遮擋，因此對于特征點(diǎn)的提取會(huì)出現(xiàn)偏差。在以組合透視光為基礎(chǔ)的點(diǎn)云模型中，在空間分割的基礎(chǔ)上設(shè)計(jì)了一種基于高度劃分的動(dòng)靜結(jié)合分割方法，以進(jìn)一步提高組合光透視技術(shù)的分割算法效率?？臻g分割方法流程如圖3所示：

當(dāng)組合光射線的碰撞點(diǎn)Pc在分區(qū)的邊界上時(shí)，可根據(jù)式(6)計(jì)算得出組合光射線下一次范圍檢索的正確分區(qū)序號(hào)。理論上對空間分割得越細(xì)，求交點(diǎn)運(yùn)算計(jì)算量減少得越多，算法的效率也會(huì)越高，能夠減少出現(xiàn)的誤差。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證本文設(shè)計(jì)的基于組合光透視的室內(nèi)三維空間分割方法在特征點(diǎn)提取過程中的有效性，需要設(shè)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。在本文的實(shí)驗(yàn)中，選擇某建筑物的室內(nèi)結(jié)構(gòu)作為研究對象，該研究區(qū)域中的功能空間分布主要包括房間、客廳、陽臺(tái)、窗戶、書桌以及書架。根據(jù)本文設(shè)計(jì)的組合光透視技術(shù)，得到室內(nèi)點(diǎn)云數(shù)據(jù)。

2.2 實(shí)驗(yàn)結(jié)果對比分析

首先選取房間和內(nèi)部的書桌以及書架進(jìn)行對比分析實(shí)際數(shù)據(jù)和點(diǎn)云數(shù)據(jù)，確定本文方法的精度，如表1所示。

表1 基于組合光透視的室內(nèi)三維空間分割方法精度

根據(jù)表1可知，本文方法通過組合光透視技術(shù)得到的點(diǎn)云數(shù)據(jù)的寬度誤差最高為0.5 cm，均在1 cm以內(nèi)，面積誤差最高為147.1 cm2，所有誤差均低于1%，因此，本文方法的精度較高。

在上述實(shí)驗(yàn)條件下，得到不同分割方法提取到的特征點(diǎn)坐標(biāo)，為了方便對比，將所有的坐標(biāo)值進(jìn)行歸一化處理，結(jié)果如表2所示。

表2 兩種方法的特征點(diǎn)坐標(biāo)對比

在選擇的室內(nèi)模型中，將不同方法下提取到的室內(nèi)區(qū)域分類中的特征點(diǎn)精度進(jìn)行對比。為了更加直觀地看出兩種空間分割方法得到的特征點(diǎn)位置的誤差，將兩方法的特征點(diǎn)坐標(biāo)與實(shí)際坐標(biāo)進(jìn)行對比，得到的誤差結(jié)果如圖4所示。

從上圖可以看出，在本文設(shè)計(jì)的分割方法中，得到的特征點(diǎn)偏差較小，說明經(jīng)過本文分割方法分割后的室內(nèi)三維空間更接近于實(shí)際情況，本文設(shè)計(jì)的基于組合光透視的室內(nèi)三維空間分割方法具有一定的可靠性。

3 結(jié)語

本文根據(jù)原始分割方法的不足，結(jié)合組合光透視與動(dòng)、靜態(tài)空間分割方法，提出了一種基于組合光透視的室內(nèi)三維空間分割方法。為了獲得準(zhǔn)確的室內(nèi)三維信息，首先提取點(diǎn)云，然后采用由粗及精的相機(jī)位姿估計(jì)方法減小局部誤差，通過基于關(guān)鍵幀的全局優(yōu)化抑制誤差累積。先進(jìn)行稀疏特征點(diǎn)匹配得到粗略的位姿，在此基礎(chǔ)上再對最優(yōu)化點(diǎn)到平面距離差異，可用來對室內(nèi)場景的三維空間進(jìn)行分割。本文方法雖然取得了一定的有效性，但仍有較大的優(yōu)化提升空間，在后期的研究中還需要進(jìn)一步研究。