基于激光雷達(dá)及特征匹配的室內(nèi)場(chǎng)景設(shè)計(jì)重建

谷曉龍,張文松

(1.石家莊職業(yè)技術(shù)學(xué)院,河北 石家莊 050081；2.石家莊鐵道大學(xué),河北 石家莊 050081)

1 引 言

室內(nèi)場(chǎng)景重建是采用虛擬現(xiàn)實(shí)技術(shù)結(jié)合采集到的建筑物信息,對(duì)室內(nèi)場(chǎng)景建模的過(guò)程。室內(nèi)場(chǎng)景重建主要由圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配以及三維重建等五方面組成[1-3]。室內(nèi)場(chǎng)景重建不僅可以設(shè)計(jì)出滿足人們需求的室內(nèi)環(huán)境,還可讓用戶直觀地了解到設(shè)計(jì)師對(duì)室內(nèi)場(chǎng)景的設(shè)計(jì)布局[4-5],幫助用戶提出建議,協(xié)助設(shè)計(jì)師去完善室內(nèi)場(chǎng)景。激光雷達(dá)掃描技術(shù)通過(guò)向目標(biāo)發(fā)射探測(cè)信號(hào)(激光束),經(jīng)過(guò)適當(dāng)處理獲得目標(biāo)的相關(guān)信息,從而實(shí)現(xiàn)目標(biāo)的探測(cè)及識(shí)別。由于室內(nèi)場(chǎng)景中存在布局復(fù)雜及光照變化較大的問(wèn)題,會(huì)導(dǎo)致圖像采集的準(zhǔn)確性較差,影響室內(nèi)場(chǎng)景重建的效果[6]。

相關(guān)領(lǐng)域?qū)W者對(duì)室內(nèi)場(chǎng)景重建方法已經(jīng)有了一定的研究,文獻(xiàn)[7]設(shè)計(jì)了基于雙視系統(tǒng)的室內(nèi)三維場(chǎng)景重建方法,通過(guò)雙目立體匹配算法SGBM和RGB-D深度圖像實(shí)現(xiàn)點(diǎn)云三維重建,并利用ORB對(duì)采集到的信息實(shí)現(xiàn)快速特征點(diǎn)提取,結(jié)合迭代最近點(diǎn)實(shí)現(xiàn)室內(nèi)場(chǎng)景的全景三維重建。但室內(nèi)圖像重建后的覆蓋率較差,影響室內(nèi)三維場(chǎng)景重建的效率。文獻(xiàn)[8]設(shè)計(jì)了基于RealSense的室內(nèi)3D場(chǎng)景重建方法,采用RealSense攝像頭獲取數(shù)據(jù)信息,通過(guò)OpenVINO構(gòu)建硬件平臺(tái),增強(qiáng)了數(shù)據(jù)運(yùn)算速度,結(jié)合ICP算法,縮小數(shù)據(jù)的運(yùn)算量,優(yōu)化了室內(nèi)3D場(chǎng)景重建方法。但沒(méi)有對(duì)采集的圖片進(jìn)行降噪處理,會(huì)導(dǎo)致采集到的圖像模糊不清,影響室內(nèi)三維場(chǎng)景重建的精準(zhǔn)性。

針對(duì)上述問(wèn)題,設(shè)計(jì)了基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場(chǎng)景設(shè)計(jì)重建,通過(guò)Deleta-2B型激光雷達(dá)傳感器全方位測(cè)量并獲取室內(nèi)圖像的三維點(diǎn)坐標(biāo)信息,通過(guò)點(diǎn)云配準(zhǔn)整合重合的數(shù)據(jù)集得到三維點(diǎn)云數(shù)據(jù),利用主成分分析法對(duì)形狀特征進(jìn)行投影,完成關(guān)鍵點(diǎn)特征匹配,提升采集場(chǎng)景的分辨率,保證場(chǎng)景采集的完整性；將尺度因子引入ICP算法,精確配準(zhǔn)點(diǎn)云,通過(guò)配準(zhǔn)的點(diǎn)云數(shù)據(jù)建立德洛內(nèi)三角網(wǎng),得出三維網(wǎng)格模型,重建室內(nèi)場(chǎng)景,通過(guò)wallis濾波器變換目標(biāo)某部位的平均灰度值以及方差,提升室內(nèi)場(chǎng)景的視覺(jué)效果,實(shí)現(xiàn)室內(nèi)場(chǎng)景的重建。

2 基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場(chǎng)景設(shè)計(jì)重建

采用Deleta-2B型二維激光雷達(dá)傳感器采集室內(nèi)場(chǎng)景圖像,為提升采集圖像的分辨率,通過(guò)最小二乘擬合的濾波算法對(duì)圖像進(jìn)行去噪,基于關(guān)鍵點(diǎn)特征匹配算法進(jìn)行室內(nèi)場(chǎng)景圖像關(guān)鍵點(diǎn)特征匹配,引入尺度因子精確配準(zhǔn)多尺度的點(diǎn)云,實(shí)現(xiàn)室內(nèi)場(chǎng)景圖像高效配準(zhǔn)；

通過(guò)德洛內(nèi)三角化算法處理室內(nèi)場(chǎng)景圖像的點(diǎn)云數(shù)據(jù),可以將混沌室內(nèi)場(chǎng)景圖像的點(diǎn)云數(shù)據(jù)以網(wǎng)格的形式進(jìn)行網(wǎng)格連接,實(shí)現(xiàn)室內(nèi)場(chǎng)景圖像的高精度重構(gòu)。通過(guò)wallis濾波器實(shí)現(xiàn)目標(biāo)部位的平均灰度值以及方差變換,提升室內(nèi)場(chǎng)景的光線分布規(guī)整性,提升室內(nèi)場(chǎng)景重建的視覺(jué)效果。

2.1 基于激光雷達(dá)掃描的室內(nèi)場(chǎng)景圖像配準(zhǔn)

激光雷達(dá)單次投射僅可獲取待檢測(cè)對(duì)象某側(cè)的點(diǎn)云數(shù)據(jù),重建室內(nèi)場(chǎng)景圖像應(yīng)構(gòu)建三維室內(nèi)模型,需要通過(guò)多角度掃描目標(biāo)物體,將所有外部數(shù)據(jù)整合,確保待檢測(cè)對(duì)象的完整性。點(diǎn)云配準(zhǔn)是將存在重合的數(shù)據(jù)集進(jìn)行比對(duì)整合,調(diào)整不同視場(chǎng)所得三維信息至相同坐標(biāo)系,獲取具有豐富完整信息的目標(biāo)三維點(diǎn)云數(shù)據(jù),得出點(diǎn)云之間的歐拉變換關(guān)系。

通過(guò)激光雷達(dá)掃描技術(shù)直接采集自然光條件下室內(nèi)場(chǎng)景圖像的三維點(diǎn)坐標(biāo)信息,利用反饋激光強(qiáng)度信號(hào)的差異識(shí)別出光束在所有層之間穿梭時(shí)其內(nèi)部具有的關(guān)系。采用二維激光雷達(dá)傳感器采集室內(nèi)場(chǎng)景圖像點(diǎn)云信息,選用Deleta-2B型激光雷達(dá)傳感器,其激光波長(zhǎng)為780 nm,半徑范圍在0.2～8 m之間,能夠?qū)崿F(xiàn)360°全方位測(cè)量。由于激光雷達(dá)采集到的室內(nèi)場(chǎng)景圖像存在缺損、模糊等問(wèn)題,需要對(duì)其展開處理,以便實(shí)現(xiàn)室內(nèi)場(chǎng)景圖像噪聲的消除、空缺信息的補(bǔ)充[9]。根據(jù)激光雷達(dá)掃描室內(nèi)場(chǎng)景圖像的類別以及所獲取的點(diǎn)特征,利用數(shù)字圖像的表示方法提取灰度室內(nèi)場(chǎng)景圖像的灰度值,通過(guò)基于最小二乘擬合的濾波算法曲線擬合灰度值,實(shí)現(xiàn)室內(nèi)場(chǎng)景圖像去噪,得到的直線方程為:

yi=axi+b

(1)

式中,i=1,2,…,m,m為測(cè)量點(diǎn)個(gè)數(shù);a,b都表示待計(jì)算數(shù)值;a0,b0表示其估計(jì)值,測(cè)點(diǎn)坐標(biāo)描述為(xi,yi)。

當(dāng)室內(nèi)各點(diǎn)反射率差異較大時(shí),需要對(duì)采集數(shù)據(jù)分層處理,設(shè)a=a0+δa,b=b0+δb,δa、δb均為參數(shù),自、因變量分別通過(guò)x、y描述,獲取分層后的誤差公式為:

(2)

數(shù)據(jù)分層后,根據(jù)最小二乘準(zhǔn)則可得出:

(3)

則單位權(quán)重誤差為:

(4)

得到擬合時(shí)的直線公式:

xi=k1yi+k2(i=1,2,…,m)

(5)

通過(guò)基于最小二乘擬合的濾波算法可有效消除基于激光雷達(dá)掃描技術(shù)的室內(nèi)場(chǎng)景圖像所存在的光照等方面的差異以及室內(nèi)場(chǎng)景圖像的噪聲[10],并補(bǔ)充室內(nèi)場(chǎng)景圖像的空缺信息。

通過(guò)激光雷達(dá)掃描室內(nèi)N次得出N個(gè)視場(chǎng)點(diǎn)云數(shù)據(jù),任意選取同一目標(biāo)在不同視角下的兩組相鄰點(diǎn)云數(shù)據(jù),設(shè)兩組點(diǎn)云中各采樣點(diǎn)為h,并以該點(diǎn)坐標(biāo)為球心,以全部點(diǎn)云信息為球體內(nèi)半徑r,利用局部表面矩陣對(duì)其進(jìn)行描述[11-12],得到:

Lj=[xj,yj,zj]T(j=1,2,…,m)

(6)

在局部表面通過(guò)霍特林變換建立局部坐標(biāo)系,將各局部表面矩陣變換至局部坐標(biāo)系中并令其與所得兩個(gè)主軸方向?qū)R,曲線擬合變換后的局部表面矩陣所含數(shù)據(jù),將所得擬合曲面進(jìn)行n×n采樣并提取室內(nèi)場(chǎng)景圖像的特征向量[13],基于其自身性質(zhì)將其作為特征輸入,兩組形狀特征分別為Np、Nq。由于形狀特征的向量維數(shù)較高,導(dǎo)致內(nèi)存占用量與時(shí)間耗費(fèi)量大,所以需要通過(guò)主成分分析法降維兩組形狀特征,并在主成分分析子空間中對(duì)其進(jìn)行投影,完成室內(nèi)場(chǎng)景圖像的關(guān)鍵點(diǎn)特征匹配。形狀特征Np與Nq之間的誤差公式為:

er=arccos(Np(Nq)T)

(7)

其中,誤差分布區(qū)間為0～π/2,0與π/2分別代表兩組形狀特征向量完全相同與完全不同[14],在er的取值為最小的情況下其匹配情況為最佳。

為精確配準(zhǔn)多尺度的點(diǎn)云,將尺度因子引入ICP算法,令目標(biāo)、參考的點(diǎn)云相減,以其誤差之和輸入為目標(biāo)函數(shù),同時(shí)使目標(biāo)函數(shù)值最小,求取兩組點(diǎn)云的各項(xiàng)最優(yōu)參數(shù)。目標(biāo)函數(shù)的公式為:

(8)

其中,xk與yk分別表示目標(biāo)點(diǎn)云以及參考點(diǎn)云中對(duì)應(yīng)目標(biāo)點(diǎn)云的點(diǎn),目標(biāo)點(diǎn)云數(shù)量描述為f。

利用所獲得目標(biāo)特征比對(duì)的相同點(diǎn)計(jì)算兩組點(diǎn)云的各項(xiàng)最優(yōu)參數(shù),在初始值確定之后通過(guò)多次迭代完成精確配準(zhǔn)點(diǎn)云,迭代過(guò)程如下:

步驟一:初步調(diào)整目標(biāo)點(diǎn)云的各項(xiàng)參數(shù),得出完成調(diào)整的目標(biāo)點(diǎn)云。

步驟二:尋找調(diào)整參考點(diǎn)云中與目標(biāo)點(diǎn)云最接近的點(diǎn),分別計(jì)算兩組點(diǎn)云的各項(xiàng)參數(shù),降低目標(biāo)函數(shù)誤差至最低,其公式為:

(9)

步驟三:描述兩次迭代之間的參數(shù)變化關(guān)系得到:

(10)

設(shè)Si+1、Ri+1、Ti+1為初始值,返回并重復(fù)步驟一、二,在尺度因子、旋轉(zhuǎn)矩陣以及平移向量的變化量(分別表示為ΔS=Si+1-Si、ΔR=Ri+1-Ri以及ΔT=Ti+1-Ti)都比設(shè)定閾值小的情況下,結(jié)束迭代并輸出最優(yōu)參數(shù)項(xiàng)。

步驟四:通過(guò)均方根誤差對(duì)配準(zhǔn)的精度進(jìn)行分析評(píng)價(jià),均方根誤差的計(jì)算公式表示為:

(11)

2.2 三維網(wǎng)格模型構(gòu)造及可視化紋理映射

通過(guò)點(diǎn)云數(shù)據(jù)構(gòu)建三維網(wǎng)格模型完成室內(nèi)場(chǎng)景重建,其實(shí)質(zhì)上是建立與真實(shí)室內(nèi)模型表面層相貼近的空間網(wǎng)格模型[15]。通過(guò)德洛內(nèi)三角化算法處理室內(nèi)場(chǎng)景圖像的點(diǎn)云數(shù)據(jù),能夠?qū)㈦s亂無(wú)序的室內(nèi)場(chǎng)景圖像點(diǎn)云數(shù)據(jù)以網(wǎng)格的形式串聯(lián)起來(lái)[16],實(shí)現(xiàn)室內(nèi)場(chǎng)景圖像的高精度重建。通過(guò)德洛內(nèi)算法構(gòu)造三維網(wǎng)格模型的主要步驟如下:

第一步,規(guī)劃一個(gè)包括了該面上全部離散點(diǎn)的外殼；

第二步,在外殼與其最靠近的部位構(gòu)成一個(gè)三角網(wǎng),以此為第一內(nèi)圈,然后在該圈的基礎(chǔ)上,不斷與其他點(diǎn)構(gòu)建新型三角網(wǎng),重復(fù)操作,直至所有點(diǎn)均完成生成[17]。

通過(guò)實(shí)現(xiàn)配準(zhǔn)的點(diǎn)云數(shù)據(jù)建立德洛內(nèi)三角網(wǎng),得出三維網(wǎng)格模型完成室內(nèi)場(chǎng)景圖像重建,如圖1所示。

圖1 按照點(diǎn)云形成三角網(wǎng)絡(luò)

激光雷達(dá)的點(diǎn)云數(shù)據(jù)僅具有數(shù)據(jù)點(diǎn)的空間坐標(biāo)及回波反射強(qiáng)度值[18-20],為提升三維模型完成室內(nèi)場(chǎng)景重建后的可辨識(shí)度以及視覺(jué)效果,通過(guò)wallis濾波器變換目標(biāo)某部位的平均灰度值以及方差[21],令室內(nèi)場(chǎng)景的光線均勻,其公式表示為:

(1-d)mg

(12)

其中,g(x,y)與f(x,y)分別描述室內(nèi)場(chǎng)景的原灰度值以及濾波器變換后的灰度值;mg與mf分別表示室內(nèi)場(chǎng)景的原局部灰度均值以及結(jié)果局部灰度均值的目標(biāo)值[22]；sg與sf分別描述室內(nèi)場(chǎng)景的原始目標(biāo)某部位的標(biāo)準(zhǔn)灰度偏差以及最終目標(biāo)某部位的標(biāo)準(zhǔn)灰度偏差指定值,c∈[0,1]與d∈[0,1]分別表示室內(nèi)場(chǎng)景的拓展與亮度系數(shù),前者跟隨處理窗口的增大而增加,后者在d→1的情況下室內(nèi)場(chǎng)景的目標(biāo)某部位的平均灰度值被強(qiáng)制到最終目標(biāo)某部位平均灰度值的指定值,在d→0的情況下被強(qiáng)制到原始目標(biāo)某部位平均灰度值。

3 實(shí)驗(yàn)分析

為檢驗(yàn)基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場(chǎng)景設(shè)計(jì)重建的性能,在MATLAB仿真平臺(tái)中進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)象選取某建筑的室內(nèi)場(chǎng)景,本實(shí)驗(yàn)激光雷達(dá)掃描的每秒點(diǎn)數(shù)為655360,分析本文方法使用前后的室內(nèi)場(chǎng)景圖像匹配結(jié)果,見圖2。

圖2中,圖像正確匹配點(diǎn)對(duì)以及錯(cuò)誤匹配點(diǎn)對(duì)分別用不同顏色線條描述。對(duì)比分析圖2(a)和(b)能夠直觀得出,未使用本文方法的圖像匹配結(jié)果中存在較多的錯(cuò)誤匹配點(diǎn),而使用本文方法的圖像匹配結(jié)果中都是正確匹配點(diǎn)。上述結(jié)果表明本文方法具有較高的室內(nèi)場(chǎng)景重建效果,可辨識(shí)度較高。

(a)未使用本文方法的圖像匹配結(jié)果

采用文獻(xiàn)[7]方法(基于雙視系統(tǒng)的室內(nèi)三維場(chǎng)景重建方法)與文獻(xiàn)[8]方法(基于RealSense的室內(nèi)3D場(chǎng)景重建方法)作為實(shí)驗(yàn)對(duì)比方法,對(duì)比三種方法重建室內(nèi)場(chǎng)景圖像的信噪比,圖像信噪比可以直觀展示圖像中的噪聲大小,其與圖像內(nèi)的噪聲大小成反比,噪聲隨著信噪比的增大而減小,與之相對(duì)的圖像的質(zhì)量越高；噪聲隨著信噪比的減小而增大,與之相對(duì)的圖像的質(zhì)量越低。結(jié)果如圖3所示。

圖3 三種方法輸出圖像信噪比對(duì)比

采用三種方法對(duì)客廳、主臥室、次臥室、浴室以及廚房的圖像進(jìn)行信噪比測(cè)定,通過(guò)圖3可知,使用本文方法輸出圖像信噪比范圍在28.4～49.8 dB之間。使用文獻(xiàn)[7]方法輸出圖像信噪比范圍在21.1～41.7 dB之間。使用文獻(xiàn)[8]方法輸出圖像信噪比范圍在19.7～37.9 dB之間。并且本文方法重建的室內(nèi)圖像信噪比均高于其他兩種對(duì)比方法,因?yàn)楸疚姆椒ㄍㄟ^(guò)最小二乘擬合的濾波算法減小場(chǎng)景所存在的光照等方面的差異以及室內(nèi)圖像的噪聲,證明應(yīng)用本文方法重建的室內(nèi)圖像質(zhì)量最好,具有較高的圖像清晰度與較強(qiáng)的視覺(jué)表達(dá)力。

測(cè)試三種應(yīng)用方法下的室內(nèi)場(chǎng)景重建覆蓋率,結(jié)果如圖4所示。

圖4 三種重建方法的室內(nèi)場(chǎng)景圖像覆蓋率對(duì)比

通過(guò)圖4可知,應(yīng)用本文方法重建的室內(nèi)場(chǎng)景圖像覆蓋率最高,平均都在90 %以上；應(yīng)用文獻(xiàn)[7]方法重建的室內(nèi)場(chǎng)景圖像的覆蓋率最低,最高僅為85.02 %；應(yīng)用文獻(xiàn)[8]方法重建的室內(nèi)場(chǎng)景圖像覆蓋率取值范圍為85 %～90 %之間。應(yīng)用本文方法重建的室內(nèi)場(chǎng)景圖像覆蓋率最高,因?yàn)楸疚牟捎枚嘟嵌葤呙枘繕?biāo)物體,并將所有外部數(shù)據(jù)整合,確保待檢測(cè)對(duì)象完整,從而提高了室內(nèi)場(chǎng)景圖像覆蓋率。

對(duì)比三種方法重建室內(nèi)場(chǎng)景后的結(jié)構(gòu)相似度,結(jié)果如表1所示。

通過(guò)測(cè)試場(chǎng)景結(jié)構(gòu)的類似程度來(lái)評(píng)價(jià)場(chǎng)景重建的效果,該值越接近1,說(shuō)明重建的場(chǎng)景結(jié)構(gòu)極為接近實(shí)際,重建的場(chǎng)景效果的結(jié)果更好,分析表1可知,應(yīng)用本文方法重建的室內(nèi)場(chǎng)景結(jié)構(gòu)相似度整體均優(yōu)于文獻(xiàn)[7]方法與文獻(xiàn)[8]方法,本文方法重建的室內(nèi)圖像邊緣保持得較好,邊緣銳度較其他兩種方法存在明顯改善,整體圖像更加清晰,因此場(chǎng)景重建精度較為準(zhǔn)確。

表1 三種方法重建場(chǎng)景的結(jié)構(gòu)相似度對(duì)比

場(chǎng)景重建時(shí)間可有效體現(xiàn)出重建方法的效率,對(duì)比三種方法室內(nèi)場(chǎng)景重建時(shí)間,結(jié)果如圖5所示。

圖5 三種方法的場(chǎng)景重建時(shí)間對(duì)比

分析圖5可得,采用三種方法分別對(duì)客廳、主臥室、次臥室、浴室以及出廚房的場(chǎng)景時(shí)間進(jìn)行對(duì)比,本文方法、文獻(xiàn)[7]方法、文獻(xiàn)[8]方法的場(chǎng)景重建時(shí)間最長(zhǎng)是次臥室,重構(gòu)時(shí)間分別為59.2 h、68.4 h、62.5 h。且本文方法的場(chǎng)景重建時(shí)間均小于實(shí)驗(yàn)對(duì)比方法,因?yàn)楸疚姆椒ú捎玫侣鍍?nèi)三角化算法將室內(nèi)場(chǎng)景的點(diǎn)云數(shù)據(jù)以網(wǎng)格的形式串聯(lián)起來(lái),證明了本文方法的重建效率與實(shí)時(shí)性。

4 結(jié) 論

本文提出基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場(chǎng)景設(shè)計(jì)重建,從激光三維重建技術(shù)入手,獲取室內(nèi)場(chǎng)景圖像的點(diǎn)云、對(duì)其進(jìn)行匹配、實(shí)現(xiàn)三角網(wǎng)構(gòu)建等操作。實(shí)驗(yàn)結(jié)果表明,該方法的重建室內(nèi)圖像信噪比最高可達(dá)到49.8/dB,室內(nèi)場(chǎng)景圖像覆蓋率均在90%以上,重建場(chǎng)景的結(jié)構(gòu)相似度接近1,場(chǎng)景重建時(shí)間最短為59.2 h。上述實(shí)驗(yàn)結(jié)果證明了該方法具有較好的重建效果,對(duì)室內(nèi)場(chǎng)景的重建完整度很高。該方法在一定程度上為三維目標(biāo)的點(diǎn)云數(shù)據(jù)配準(zhǔn)與重建等工作提供了理論指導(dǎo),具有較好的實(shí)際應(yīng)用效果,但未來(lái)還可以從影響圖像品質(zhì)參數(shù)的角度出發(fā),進(jìn)一步提升室內(nèi)場(chǎng)景重建的精度。