基于多源傳感器數(shù)據(jù)融合的三維場(chǎng)景重建

陳義飛， 郭 勝， 潘文安， 陸彥輝,3

(1.鄭州大學(xué) 信息工程學(xué)院，河南 鄭州 450001； 2.香港中文大學(xué)(深圳) 理工學(xué)院，廣東 深圳 518172； 3.深圳市大數(shù)據(jù)研究院，廣東 深圳 518172)

0 引言

近年來，隨著激光測(cè)量技術(shù)的迅速發(fā)展和激光測(cè)距設(shè)備成本的逐漸降低，利用激光點(diǎn)云數(shù)據(jù)來重建三維場(chǎng)景模型得到越來越廣泛的應(yīng)用。城市的高速發(fā)展對(duì)城市三維場(chǎng)景重建提出了新的要求，其中包括城市三維基礎(chǔ)空間信息數(shù)據(jù)要求保持良好的現(xiàn)勢(shì)性，數(shù)據(jù)更新周期要短，幾何精度要高。隨著智慧城市建設(shè)的全面推廣，針對(duì)目前智慧城市三維建模中存在的成本高、周期長等問題，探索并采用新技術(shù)來解決這些現(xiàn)實(shí)問題就顯得尤為重要。

基于激光掃描數(shù)據(jù)的三維場(chǎng)景重建[1-3]主要是通過對(duì)三維激光掃描儀獲取的深度數(shù)據(jù)進(jìn)行預(yù)處理、配準(zhǔn)和網(wǎng)格化等處理來實(shí)現(xiàn)的。相對(duì)于傳統(tǒng)的基于圖片的三維場(chǎng)景重建方法，基于激光數(shù)據(jù)的三維場(chǎng)景重建技術(shù)能夠恢復(fù)出幾何信息準(zhǔn)確性更高、真實(shí)感更強(qiáng)的三維模型，更有利于在計(jì)算機(jī)中再現(xiàn)客觀的真實(shí)場(chǎng)景。但是，在使用激光雷達(dá)進(jìn)行數(shù)據(jù)掃描的過程中，通常會(huì)采集到與場(chǎng)景無關(guān)的數(shù)據(jù)(例如行人和車輛)，嚴(yán)重影響了三維場(chǎng)景重建的精度和效果，如何剔除三維點(diǎn)云模型中的無關(guān)數(shù)據(jù)，構(gòu)建高精度的三維模型是三維場(chǎng)景重建的難點(diǎn)。

檢測(cè)和剔除點(diǎn)云中的無關(guān)目標(biāo)是一項(xiàng)極具挑戰(zhàn)的工作，直接在點(diǎn)云中檢測(cè)目標(biāo)計(jì)算量較大，且不易實(shí)現(xiàn)。針對(duì)這一問題，本文使用了點(diǎn)云和圖像融合的方法來實(shí)現(xiàn)特定目標(biāo)的檢測(cè)與剔除。以采集的三維點(diǎn)云數(shù)據(jù)和真實(shí)場(chǎng)景中的二維紋理數(shù)據(jù)為基礎(chǔ)，采用多數(shù)據(jù)融合的深度學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)模型，進(jìn)而使用訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行點(diǎn)云目標(biāo)檢測(cè)與剔除。該方法能夠有效提升三維空間中點(diǎn)云目標(biāo)的處理速度和精度，使三維場(chǎng)景重建過程更加快速高效。

1 整體硬件方案及預(yù)處理標(biāo)定

整體硬件方案設(shè)計(jì)如圖1所示，主要由移動(dòng)底座、支架、激光雷達(dá)及攝像頭組成。移動(dòng)底座和支架控制不同傳感器在采集數(shù)據(jù)過程中的穩(wěn)定性，激光雷達(dá)和攝像頭用來采集不同傳感器的數(shù)據(jù)信息。硬件設(shè)計(jì)原理如圖2所示，硬件傳感器有GPS、IMU、相機(jī)和激光雷達(dá)。其中GPS和IMU在下一實(shí)驗(yàn)階段使用。由于安裝后的相機(jī)和激光雷達(dá)具有各自不同的坐標(biāo)系，需要先對(duì)傳感器進(jìn)行標(biāo)定，如圖3所示為標(biāo)定示意圖，保證在數(shù)據(jù)收集過程中空間坐標(biāo)系一致。

圖1 整體硬件結(jié)構(gòu)圖Figure 1 Overall hardware structure

圖2 硬件設(shè)計(jì)原理Figure 2 Hardware design schematic

圖3 標(biāo)定示意圖Figure 3 Calibration diagram

在機(jī)器人操作系統(tǒng)(robot operating system，ROS)中時(shí)間同步通過設(shè)定對(duì)應(yīng)的采集幀率、錄制圖像和點(diǎn)云流的方式來實(shí)現(xiàn)，而空間同步只能通過標(biāo)定的方式來實(shí)現(xiàn)。本文使用ROS中的多源傳感器標(biāo)定模塊實(shí)現(xiàn)空間同步的標(biāo)定，標(biāo)定方法為張正友標(biāo)定法，標(biāo)定裝置由激光雷達(dá)、相機(jī)、黑白棋盤格組成。多源傳感器標(biāo)定分為2步。

第1步是單個(gè)相機(jī)的標(biāo)定[4]，主要目的是建立相機(jī)成像的幾何模型，保證后續(xù)算法的穩(wěn)定性。世界坐標(biāo)系下的點(diǎn)與成像的相機(jī)坐標(biāo)系中的點(diǎn)的對(duì)應(yīng)關(guān)系為：

Zcm=K[R/T]M。

(1)

式中：Zc表示比例因子；K是相機(jī)內(nèi)參矩陣；[R/T]是相機(jī)的外參矩陣；m和M分別代表像素坐標(biāo)和世界坐標(biāo)。

整個(gè)標(biāo)定過程需要求解的模型參數(shù)就是相機(jī)的內(nèi)參矩陣、外參矩陣和畸變參數(shù)，將式(1)展開可得：

(2)

式中：Zc表示比例因子；u、v表示像素坐標(biāo)；fx、fy分別表示x軸、y軸的歸一化焦距，u0、v0表示圖像原點(diǎn)在相機(jī)坐標(biāo)系的中心；[R/T]表示相機(jī)的外參矩陣，也即世界坐標(biāo)系到像素坐標(biāo)系的旋轉(zhuǎn)平移矩陣；XW、YW、ZW表示世界坐標(biāo)。

本文所用攝像頭是無畸變的廣角攝像頭(FOV=120°)，以保證視角的廣闊性與準(zhǔn)確性。安裝完硬件平臺(tái)后需求解參數(shù)矩陣，如式(1)所示，本文使用黑白棋盤格標(biāo)定法求解內(nèi)參矩陣K和外參矩陣[R/T]。本文借助ROS中相機(jī)標(biāo)定工具解算多個(gè)點(diǎn)對(duì)關(guān)系，最終得到相機(jī)的內(nèi)、外參矩陣：

(3)

(4)

第2步是相機(jī)和雷達(dá)的聯(lián)合標(biāo)定[5]，目的是找到雷達(dá)和相機(jī)2個(gè)不同坐標(biāo)系下的關(guān)系。為了求解相機(jī)與雷達(dá)間的關(guān)系，需要定義相機(jī)與雷達(dá)間的空間位置模型，雷達(dá)和相機(jī)坐標(biāo)系下點(diǎn)的坐標(biāo)關(guān)系為：

(5)

式中：u、v表示圖像坐標(biāo)；X、Y、Z表示雷達(dá)坐標(biāo)；[R/T]是指相機(jī)的外參矩陣；R0為相機(jī)的矯正矩陣；Tv2c為雷達(dá)到相機(jī)的投影矩陣。

本文所使用的激光雷達(dá)為VLP-16，它的優(yōu)點(diǎn)在于體積小，受環(huán)境光變化的影響比較小且測(cè)距精確。其感知距離為100 m，質(zhì)量為830 g，水平視角為360°，垂直視角為30°，誤差在3 cm左右。工作原理是通過旋轉(zhuǎn)發(fā)射紅外激光束，在遇到物體表面時(shí)會(huì)返回接收，通過記錄接收時(shí)間和角度來計(jì)算該點(diǎn)距離雷達(dá)的相對(duì)距離。采集的數(shù)據(jù)為整個(gè)場(chǎng)景中對(duì)應(yīng)時(shí)間幀的所有點(diǎn)在雷達(dá)坐標(biāo)系下的三維坐標(biāo)值以及反射率。

整個(gè)聯(lián)合標(biāo)定過程使用ROS中Autoware工具實(shí)現(xiàn)。式(5)中，[R/T]在相機(jī)標(biāo)定過程中已求出，由于相機(jī)無畸變，此處矯正矩陣R0為單位矩陣，最終所得的雷達(dá)到相機(jī)的投影矩陣為：

(6)

2 三維場(chǎng)景建圖

三維場(chǎng)景建圖[6-8]是在激光雷達(dá)采集數(shù)據(jù)的過程中同時(shí)定位和生成周圍環(huán)境的點(diǎn)云地圖，如果激光傳感器本體靜止，激光只是繞固定軸做選擇運(yùn)動(dòng)，點(diǎn)云的注冊(cè)相對(duì)簡(jiǎn)單。但使用環(huán)境中激光通常是運(yùn)動(dòng)的，這就造成建圖需要估計(jì)運(yùn)動(dòng)過程中激光傳感器的位姿。

本文三維重建算法LeGO-LOAM[8]是一種輕量版的SLAM(simultaneous localization and mapping)算法，用于實(shí)時(shí)六自由度姿態(tài)估計(jì)，可以在低功耗的嵌入式系統(tǒng)上實(shí)現(xiàn)。系統(tǒng)整體框架由5個(gè)子模塊構(gòu)成，如圖4所示，輸入為原始點(diǎn)云數(shù)據(jù)，輸出為位姿估計(jì)(雷達(dá)的姿態(tài)估計(jì))。下面分別介紹圖4中每個(gè)模塊的功能。

圖4 LeGO-LOAM整體框架Figure 4 LeGO-LOAM overall framework

2.1 點(diǎn)云的分割

圖4中的分割模塊用于實(shí)現(xiàn)點(diǎn)云分割與分簇，它主要采取基于圖像的分割方法將點(diǎn)云分割成許多點(diǎn)簇。將收到的1幀點(diǎn)云投影到1 800像素×16像素的圖像上，每1個(gè)收到的點(diǎn)表示1個(gè)像素，像素值對(duì)應(yīng)點(diǎn)到傳感器的距離。經(jīng)圖像化之后得到1個(gè)矩陣，對(duì)矩陣的每1列進(jìn)行估計(jì)就可以完成對(duì)地面的估計(jì)，提取地面點(diǎn)?；诰嚯x將點(diǎn)分組為多個(gè)聚類，同一類的點(diǎn)具有相同的標(biāo)簽，而由于室外環(huán)境中會(huì)有很多噪聲點(diǎn)，在連續(xù)2幀里都在同一位置出現(xiàn)的可能性不大，因此直接剔除掉，不參與幀間匹配。本文采用的方法是計(jì)算每個(gè)點(diǎn)簇中點(diǎn)的個(gè)數(shù)，將所有個(gè)數(shù)小于30的點(diǎn)簇都剔除掉，這里設(shè)置為30是將采集數(shù)據(jù)過程中移動(dòng)的行人目標(biāo)剔除掉。最終得到點(diǎn)的類別(地面點(diǎn)或者分割點(diǎn))和點(diǎn)的深度值。

2.2 特征提取

圖4中的特征提取子模塊為點(diǎn)云特征提取，先在水平方向上將深度圖分為多個(gè)子圖像，計(jì)算每個(gè)點(diǎn)的曲率：

(7)

式中：c表示曲率，本文實(shí)驗(yàn)中設(shè)定為0.1；S表示對(duì)應(yīng)的點(diǎn)云集；r表示點(diǎn)到雷達(dá)的歐式距離，ri與rj表示點(diǎn)云集中的不同點(diǎn)。在子圖像中比較曲率與設(shè)定的閾值(0.1)大小將點(diǎn)分為2大類，分別為平面點(diǎn)或者角點(diǎn)。

2.3 雷達(dá)里程計(jì)

雷達(dá)里程計(jì)子模塊為雷達(dá)的運(yùn)動(dòng)估計(jì)，通過相鄰幀點(diǎn)對(duì)線、點(diǎn)對(duì)面的匹配，邊緣點(diǎn)到線的距離為：

(8)

而平面點(diǎn)到面的距離為：

d2=

(9)

本文使用Levenberg-Marquardt[6]方法(L-M)優(yōu)化點(diǎn)到線和點(diǎn)到面的最小距離來完成前后幀點(diǎn)云的匹配，估計(jì)雷達(dá)的相對(duì)位姿。L-M優(yōu)化可以較快地找到最優(yōu)值，從而獲得姿態(tài)變換來進(jìn)行空間約束，執(zhí)行閉環(huán)檢測(cè)，消除模塊的誤差。每幀輸出的相對(duì)位姿主要由旋轉(zhuǎn)平移值確定，旋轉(zhuǎn)值為[θpitch,θyaw,θroll]，平移值為[tx,ty,tz]，分別代表雷達(dá)在XYZ軸上的各個(gè)旋轉(zhuǎn)量和偏移量。

2.4 雷達(dá)建圖以及轉(zhuǎn)換融合

雷達(dá)建圖和轉(zhuǎn)換融合子模塊主要用于雷達(dá)運(yùn)動(dòng)前后幀間位姿的轉(zhuǎn)換和點(diǎn)云地圖的構(gòu)建。其中前后幀點(diǎn)云間的關(guān)系為：

(10)

本文實(shí)驗(yàn)場(chǎng)景為某大學(xué)校園實(shí)驗(yàn)樓下，如圖5所示為LeGO-LOAM建模算法在實(shí)際測(cè)試過程中的效果。

圖5 LeGO-LOAM測(cè)試效果Figure 5 Test result of LeGO-LOAM

3 多源數(shù)據(jù)融合

在激光雷達(dá)建圖的過程中總會(huì)產(chǎn)生一些和地圖信息無關(guān)的障礙物、車輛以及行人。在制作三維地圖時(shí)需要對(duì)這些目標(biāo)進(jìn)行檢測(cè)和剔除。目的就是保留關(guān)鍵信息，提高三維場(chǎng)景建模的速度和準(zhǔn)確度。本文借助深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)方面的算法來解決三維重建中遇到的問題。三維點(diǎn)云的數(shù)據(jù)是稀疏且無序的。目前成熟的二維目標(biāo)檢測(cè)方法并不能直接應(yīng)用于三維點(diǎn)云中。

2017年，Charles等[9]和Qi等[10]提出用PointNet++網(wǎng)絡(luò)對(duì)點(diǎn)云中的目標(biāo)進(jìn)行分類與分割，解決了長期以來原始點(diǎn)云特征提取學(xué)習(xí)的瓶頸，但PointNet++所需的計(jì)算復(fù)雜度太高，且適用于室內(nèi)場(chǎng)景，不能滿足室外場(chǎng)景的需求。國內(nèi)學(xué)者對(duì)三維目標(biāo)的特征提取提出了不同的三維處理模型[11-12]。2018年，Qi等[13]又提出了輕量化、高精度的Frustum PointNets實(shí)現(xiàn)室外場(chǎng)景的三維多目標(biāo)檢測(cè)模型。

基于應(yīng)用場(chǎng)景的相似性和任務(wù)同一性，本文沿用了與Frustum PointNets思路一致的網(wǎng)絡(luò)結(jié)構(gòu)。但校園場(chǎng)景中存在著與地圖信息無關(guān)的目標(biāo)，比如行人、車輛，在最終場(chǎng)景地圖中需要對(duì)其進(jìn)行檢測(cè)以及剔除[14-15]。因此本文提出了一種在校園場(chǎng)景下檢測(cè)和剔除多類目標(biāo)的多源數(shù)據(jù)融合的目標(biāo)檢測(cè)與剔除網(wǎng)絡(luò)D-FPN(delete-frustum PointNet)。

D-FPN整體網(wǎng)絡(luò)設(shè)計(jì)流程如圖6所示，包括目標(biāo)檢測(cè)、目標(biāo)剔除、單幀三維場(chǎng)景重建。下面簡(jiǎn)單說明圖6中各模塊的作用。

圖6 D-FPN網(wǎng)絡(luò)整體流程Figure 6 D-FPN overall network flowchart

3.1 多源數(shù)據(jù)實(shí)現(xiàn)目標(biāo)檢測(cè)

圖6中特征提取、區(qū)域建議網(wǎng)絡(luò)、ROI池化是一個(gè)類似于Faster-RCNN的二維圖像目標(biāo)檢測(cè)網(wǎng)絡(luò)，先使用特征提取卷積層來提取圖像的特征，接著用區(qū)域建議網(wǎng)絡(luò)獲取感興趣區(qū)域，ROI池化用于修正位置，最終由邊界框回歸模塊和類別預(yù)測(cè)模塊來輸出目標(biāo)的位置和類別信息。本文所使用的訓(xùn)練數(shù)據(jù)為KITTI數(shù)據(jù)集[16]中的行人和車輛數(shù)據(jù)，二維圖像目標(biāo)檢測(cè)模塊經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，在測(cè)試集上對(duì)車輛識(shí)別的平均精準(zhǔn)率為94.3%，對(duì)行人識(shí)別的平均精準(zhǔn)率為86.7%，兩類目標(biāo)的平均精準(zhǔn)率為91%。圖7所示為本文算法在KITTI驗(yàn)證集上對(duì)于行人和車輛的檢測(cè)效果。

圖7 車輛行人檢測(cè)Figure 7 Vehicle and pedestrian detection

二維圖像目標(biāo)檢測(cè)結(jié)果作為后一階段網(wǎng)絡(luò)的輸入信息。在得到圖像中目標(biāo)所在的位置后，通過投影獲取包含目標(biāo)的截錐體點(diǎn)云，即得到一個(gè)小范圍的點(diǎn)云場(chǎng)景。再使用Pointnet三維語義分割子網(wǎng)絡(luò)完成對(duì)目標(biāo)的實(shí)例分割(semantic segmentation)，得到一個(gè)包含目標(biāo)每個(gè)點(diǎn)的語義掩膜。通過一個(gè)轉(zhuǎn)換網(wǎng)絡(luò)和坐標(biāo)變換，將所得的目標(biāo)點(diǎn)云轉(zhuǎn)換到坐標(biāo)系的中心位置，方便接下來對(duì)點(diǎn)云進(jìn)行邊界框的回歸。Pointnet三維邊界框回歸子網(wǎng)絡(luò)是點(diǎn)云的回歸網(wǎng)絡(luò)，需要對(duì)目標(biāo)點(diǎn)云進(jìn)行旋轉(zhuǎn)、平移，得到目標(biāo)點(diǎn)云在相機(jī)坐標(biāo)系下的中心位置以及長、寬、高。

經(jīng)過在KITTI數(shù)據(jù)集上訓(xùn)練后，本文三維點(diǎn)云目標(biāo)檢測(cè)模塊在測(cè)試集上對(duì)車輛和行人識(shí)別的平均精準(zhǔn)率分別為79.3%和53.1%。網(wǎng)絡(luò)的測(cè)試效果如圖8所示，圖8(a)為二維空間行人檢測(cè)結(jié)果，圖8(b)為三維空間中的行人在預(yù)測(cè)的三維包圍框中。

圖8 特定場(chǎng)景下行人檢測(cè)Figure 8 Pedestrian detection in images

3.2 目標(biāo)剔除

三維點(diǎn)云建模所得到的地圖是整個(gè)校園內(nèi)的場(chǎng)景，但其中存在著一些冗余的信息。圖9中物體剔除目的是剔除校園場(chǎng)景地圖中無關(guān)的信息，即可能出現(xiàn)的行人與車輛。

圖9 剔除目標(biāo)后的單幀場(chǎng)景Figure 9 Single scene after frame culling target

針對(duì)所檢測(cè)到的與地圖信息無關(guān)的目標(biāo)，下一步需要將其在整個(gè)場(chǎng)景去除。由于二維圖像中存在紋理連續(xù)和空間遮擋，無法單獨(dú)將目標(biāo)剔除，而三維點(diǎn)云中并不存在嚴(yán)格的遮擋與紋理，目標(biāo)單獨(dú)存在于三維空間中，因此可單獨(dú)將目標(biāo)分離出來。如圖8所示，利用目標(biāo)三維邊界框信息，結(jié)合標(biāo)定參數(shù)把相機(jī)坐標(biāo)系中的信息經(jīng)過剛體旋轉(zhuǎn)變換到雷達(dá)坐標(biāo)系中。最終把位于邊界框內(nèi)的目標(biāo)點(diǎn)歸一化到原點(diǎn)，完成目標(biāo)的剔除并得到單幀無目標(biāo)場(chǎng)景的三維模型，再進(jìn)行可視化。在圖8的行人檢測(cè)基礎(chǔ)上，經(jīng)目標(biāo)剔除后的單幀激光雷達(dá)點(diǎn)云場(chǎng)景如圖9所示。

4 場(chǎng)景重現(xiàn)

4.1 點(diǎn)云配準(zhǔn)與融合

在實(shí)際的數(shù)據(jù)采集過程中，無法匹配的動(dòng)態(tài)噪聲點(diǎn)會(huì)通過建圖過程消除掉，但是對(duì)于靜態(tài)目標(biāo)，必須結(jié)合建圖和檢測(cè)過程來去除。

對(duì)應(yīng)多幀點(diǎn)云建圖結(jié)果和單幀點(diǎn)云目標(biāo)剔除結(jié)果具體實(shí)現(xiàn)思路有2種：第1種是先對(duì)每一幀場(chǎng)景進(jìn)行處理，將處理后的單幀場(chǎng)景進(jìn)行動(dòng)態(tài)SLAM匹配建圖，不過這樣無法保證處理的幀率滿足建圖的實(shí)時(shí)性，導(dǎo)致存在丟幀問題，所構(gòu)建地圖誤差太大無法使用；第2種思路是先完成建圖過程，對(duì)所建的地圖和單幀檢測(cè)的結(jié)果進(jìn)行配準(zhǔn)，這樣融合處理后的結(jié)果，能夠保證場(chǎng)景的高效性與準(zhǔn)確性。

本文基于第2種思路使用LeGO-LOAM進(jìn)行初步建模，其坐標(biāo)系與單幀所采數(shù)據(jù)并不一致，需要將不同坐標(biāo)系下點(diǎn)云統(tǒng)一到同一坐標(biāo)系下進(jìn)行點(diǎn)云的配準(zhǔn)[17-19]，如圖10所示。在配準(zhǔn)算法中，采用基于最小二乘的最優(yōu)配準(zhǔn)方法ICP[18]算法，計(jì)算點(diǎn)云地圖與單幀點(diǎn)云間的最優(yōu)剛體變換矩陣，即2個(gè)坐標(biāo)系下的剛體旋轉(zhuǎn)矩陣[R/T]。本文實(shí)驗(yàn)在ROS系統(tǒng)中進(jìn)行，采用PCL(point cloud library)點(diǎn)云庫中的ICP點(diǎn)云配準(zhǔn)算法工具，將單幀點(diǎn)云下目標(biāo)檢測(cè)與剔除結(jié)果和點(diǎn)云建模地圖融合，最終實(shí)現(xiàn)整個(gè)場(chǎng)景的重現(xiàn)，并保存了無冗余信息的地圖模型。

圖10 單幀與多幀點(diǎn)云間的配準(zhǔn)Figure 10 Match between single frame and multiframe point cloud

4.2 場(chǎng)景重現(xiàn)

本文實(shí)現(xiàn)了基于多源數(shù)據(jù)的三維場(chǎng)景重建系統(tǒng)，整個(gè)系統(tǒng)主要是基于ROS系統(tǒng)來完成。首先利用ROS將相機(jī)和雷達(dá)采集的數(shù)據(jù)傳入系統(tǒng)并保存，然后使用LeGO-LOAM點(diǎn)云建模算法完成對(duì)采集的離線數(shù)據(jù)的建圖并保存地圖模型。同時(shí)利用D-FPN算法檢測(cè)每幀RGB圖像和點(diǎn)云數(shù)據(jù)，將每一幀圖像和點(diǎn)云及其在雷達(dá)坐標(biāo)系下的目標(biāo)邊界框信息進(jìn)行保存。調(diào)用ROS系統(tǒng)下PCL點(diǎn)云庫中的ICP配準(zhǔn)工具將離線點(diǎn)云地圖和含目標(biāo)的單幀點(diǎn)云進(jìn)行一一配準(zhǔn)得到轉(zhuǎn)換關(guān)系并保存，最終在ROS中利用保存的點(diǎn)云地圖、單幀點(diǎn)云、轉(zhuǎn)換關(guān)系將檢測(cè)到的三維目標(biāo)統(tǒng)一轉(zhuǎn)換到點(diǎn)云地圖中，完成無冗余信息的三維場(chǎng)景重建，保存最終模型，為項(xiàng)目下一步研究做準(zhǔn)備。

如圖11所示為實(shí)際實(shí)驗(yàn)場(chǎng)景中的測(cè)試結(jié)果，圖11(a)為LeGO-LOAM算法建模結(jié)果，圖11(b)為系統(tǒng)輸出結(jié)果，可以看出圖11(a)中的實(shí)驗(yàn)樓下停放的車輛目標(biāo)被完整剔除了。

圖11 場(chǎng)景重現(xiàn)Figure 11 Scene reconstruction

5 結(jié)論

基于搭建的硬件平臺(tái)與軟件框架，以激光雷達(dá)和廣角相機(jī)采集的多源數(shù)據(jù)為基礎(chǔ)，使用一種輕量級(jí)的 LeGO-LOAM算法初步完成點(diǎn)云地圖的重現(xiàn)。針對(duì)地圖中與場(chǎng)景無關(guān)的數(shù)據(jù)，采用計(jì)算機(jī)視覺中多源傳感器數(shù)據(jù)融合的目標(biāo)檢測(cè)方法對(duì)無關(guān)目標(biāo)進(jìn)行剔除，然后使用點(diǎn)云配準(zhǔn)方法實(shí)現(xiàn)數(shù)據(jù)的融合，最終在特定校園場(chǎng)景中實(shí)現(xiàn)了無關(guān)目標(biāo)剔除的三維場(chǎng)景重現(xiàn)，達(dá)到了預(yù)期的目標(biāo)。未來在實(shí)際應(yīng)用中，針對(duì)硬件實(shí)現(xiàn)的成本以及效率問題，下一步可能會(huì)通過加入GPS、IMU等不同類型的傳感器來完成模型精度的提升。在算法設(shè)計(jì)層面，可通過多種算法集成的方式來節(jié)約成本。