基于多臺(tái)飛行時(shí)間相機(jī)的建圖與結(jié)構(gòu)語(yǔ)義的三維庫(kù)位檢測(cè)

趙君嶠， 張興連， 馮甜甜， 李建峰

(1.同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804；2.同濟(jì)大學(xué) 測(cè)繪與地理信息學(xué)院，上海 200092)

自動(dòng)泊車系統(tǒng)控制汽車自動(dòng)尋找?guī)煳徊⒉窜嚾霂?kù)而無(wú)需人工控制[1]，該系統(tǒng)能夠大幅提高當(dāng)前輔助泊車系統(tǒng)的自動(dòng)化水平，并為解決泊車的“最后一公里”難題、提升用戶出行舒適度提供技術(shù)保證，因此成為當(dāng)前無(wú)人駕駛的研究熱點(diǎn)[2-3].自動(dòng)泊車系統(tǒng)的關(guān)鍵在于庫(kù)位的檢測(cè)，傳統(tǒng)的庫(kù)位檢測(cè)方法往往局限于二維，而在復(fù)雜的室內(nèi)停車場(chǎng)中，垂直方向上的復(fù)雜結(jié)構(gòu)(如管道、橫梁等)也限制了不同車型的適停性，因此對(duì)三維庫(kù)位的檢測(cè)將大幅提升自動(dòng)泊車系統(tǒng)的安全性.

目前，庫(kù)位檢測(cè)方法主要通過(guò)距離探測(cè)(如利用超聲波雷達(dá)進(jìn)行距離探測(cè)[4-5])，以及基于對(duì)庫(kù)位視覺(jué)結(jié)構(gòu)特征的提取(如利用環(huán)視相機(jī)提取結(jié)構(gòu)特征[6-7])來(lái)實(shí)現(xiàn).除此之外,還有基于局部環(huán)境重建的庫(kù)位檢測(cè)方法，如利用激光雷達(dá)進(jìn)行局部環(huán)境重建[8].超聲波雷達(dá)測(cè)距短，角度分辨率低且視場(chǎng)角小，適用于車輛之間空區(qū)域的探測(cè)，難以實(shí)現(xiàn)對(duì)較大規(guī)模停車場(chǎng)環(huán)境的庫(kù)位信息提取.基于環(huán)視相機(jī)可對(duì)庫(kù)位的點(diǎn)、線特征進(jìn)行提取和追蹤，從而實(shí)現(xiàn)對(duì)結(jié)構(gòu)化庫(kù)位的識(shí)別，借助相機(jī)搭建超聲波-視覺(jué)系統(tǒng)可進(jìn)一步提升檢測(cè)精度[9].雖然深度學(xué)習(xí)算法的發(fā)展使基于相對(duì)庫(kù)位的提取方法的精度大大提升[10-13]，但是容易受到如線型、劃定方式等不同庫(kù)位特征的限制，難以實(shí)現(xiàn)障礙物的提取.激光雷達(dá)尤其是三維激光雷達(dá)能夠精確地對(duì)環(huán)境中障礙物等信息進(jìn)行建模[14]，但成本高昂，難以實(shí)用化.相比之下，飛行時(shí)間(ToF)相機(jī)有著較高的測(cè)距精度，能同時(shí)獲得彩色與深度數(shù)據(jù)(RGB-D)，并且性價(jià)比高，因此成為室內(nèi)建圖、結(jié)構(gòu)重建等領(lǐng)域的研究熱點(diǎn)[15-16].然而，由于ToF相機(jī)在探測(cè)范圍和視場(chǎng)方面的局限，目前尚未見(jiàn)基于ToF相機(jī)的室內(nèi)停車場(chǎng)環(huán)境感知研究，以及基于該類傳感器的三維庫(kù)位自動(dòng)提取.本文提出基于多臺(tái)ToF相機(jī)替代車載超聲波雷達(dá)與環(huán)視相機(jī)的方案，通過(guò)對(duì)單幀多臺(tái)ToF相機(jī)標(biāo)定來(lái)獲得單幀拼接點(diǎn)云，隨后利用視覺(jué)里程計(jì)融合多幀拼接點(diǎn)云對(duì)室內(nèi)停車場(chǎng)局部場(chǎng)景進(jìn)行實(shí)時(shí)建圖，同時(shí)在局部地圖上對(duì)點(diǎn)云進(jìn)行聚類與分割，提取障礙物分布與停車場(chǎng)墻面、車庫(kù)頂面、地面等結(jié)構(gòu)語(yǔ)義，在語(yǔ)義限定的范圍和方向上結(jié)合庫(kù)位模型實(shí)現(xiàn)對(duì)三維庫(kù)位的實(shí)時(shí)檢測(cè).本文方法的流程如圖1所示.

圖1 本文方法流程

1 多臺(tái)ToF幀間融合建圖與結(jié)構(gòu)提取

為了突破ToF相機(jī)的水平視場(chǎng)角局限，以及模仿車載環(huán)視相機(jī)布置方案，提出布設(shè)多臺(tái)不同朝向的ToF相機(jī)對(duì)場(chǎng)景進(jìn)行聯(lián)合觀測(cè).通過(guò)設(shè)備間相對(duì)位姿的標(biāo)定結(jié)果，將多臺(tái)ToF相機(jī)點(diǎn)云拼接成廣角點(diǎn)云，再采用RGB信息構(gòu)建視覺(jué)里程計(jì)，融合多幀點(diǎn)云進(jìn)行局部建圖，構(gòu)建停車場(chǎng)環(huán)境，并從中提取結(jié)構(gòu)語(yǔ)義，為三維庫(kù)位的檢測(cè)提供約束及輔助.

1.1 多幀RGB-D融合的地圖重建

1.1.1基于視覺(jué)里程計(jì)的幀間相機(jī)運(yùn)動(dòng)估計(jì)

視覺(jué)里程計(jì)通過(guò)不同時(shí)刻拍攝的圖像來(lái)估計(jì)相機(jī)的運(yùn)動(dòng).在ToF相機(jī)獲取點(diǎn)云的同時(shí)獲得環(huán)境的RGB圖像，通過(guò)對(duì)鄰近幀獲得的RGB圖像進(jìn)行特征點(diǎn)匹配的方法，計(jì)算相鄰幀間的相機(jī)運(yùn)動(dòng).由于地下車庫(kù)光照情況復(fù)雜，因此選用較為魯棒的SIFT(scale-invariant feature transform)算法[17]提取RGB圖像上的特征點(diǎn)并進(jìn)行匹配.

(1) 特征點(diǎn)的匹配

對(duì)于相鄰幀的RGB圖像，分別提取圖像的SIFT特征點(diǎn)并使用最近鄰算法進(jìn)行匹配.由于特征點(diǎn)匹配結(jié)果是計(jì)算相鄰幀間相機(jī)位姿變化的基礎(chǔ)，因此在匹配結(jié)果中，刪除大于n倍最小特征距離的匹配，以確保特征點(diǎn)匹配結(jié)果的可靠性.

(2) 變化矩陣的計(jì)算

相鄰幀間相機(jī)的位姿變化常用變化矩陣的形式表達(dá)，變化矩陣T由旋轉(zhuǎn)矩陣R以及平移向量t組成.旋轉(zhuǎn)矩陣R由x、y、z軸的旋轉(zhuǎn)角α、β、γ計(jì)算并確定，平移向量t由兩坐標(biāo)系原點(diǎn)的位置差值(Δx,Δy,Δz)組成.通過(guò)使用深度信息恢復(fù)的多對(duì)匹配特征點(diǎn)的三維坐標(biāo)與圖像坐標(biāo)，最小化重投影誤差來(lái)計(jì)算相機(jī)外參變化矩陣.使用三維點(diǎn)投影的方式計(jì)算位姿變換，可保證平移向量的尺度相同.最終由獲得的最優(yōu)參數(shù)估計(jì)組成變換矩陣T，作為視覺(jué)里程計(jì)的結(jié)果.

1.1.2多幀點(diǎn)云融合

前后幀間坐標(biāo)系中的獨(dú)立點(diǎn)云，通過(guò)變換矩陣T進(jìn)行融合，建立局部地圖.兩坐標(biāo)系間通過(guò)式(1)進(jìn)行轉(zhuǎn)換，如下所示：

(1)

式中:(x1，y1，z1)和(x2，y2，z2)分別為變換前后的點(diǎn)云坐標(biāo)值.

1.2 結(jié)構(gòu)語(yǔ)義提取

地下停車場(chǎng)環(huán)境中的墻面、車庫(kù)頂面、地面等結(jié)構(gòu)語(yǔ)義限定了庫(kù)位的范圍和方向，因此對(duì)該類結(jié)構(gòu)進(jìn)行提取并加以語(yǔ)義判別，可為庫(kù)位檢測(cè)提供必要約束.

1.2.1結(jié)構(gòu)提取

由于多數(shù)室內(nèi)停車場(chǎng)環(huán)境內(nèi)的結(jié)構(gòu)語(yǔ)義由平面構(gòu)成，并具有類內(nèi)結(jié)構(gòu)曲率變化小、類間法向量方向突變大的特點(diǎn)，屬于典型的階梯形平面，因此選擇以法向量、曲率平滑度、角度閾值等基本平面屬性作為判定條件的區(qū)域生長(zhǎng)算法.該算法能快速且準(zhǔn)確地提取曲率變化小的結(jié)構(gòu)平面聚類.部分實(shí)驗(yàn)數(shù)據(jù)和結(jié)果如圖2所示.圖2c為車庫(kù)環(huán)境的平面聚類結(jié)果，圖中不同灰度代表不同的點(diǎn)云聚類，顏色最暗為邊界離群點(diǎn)，不納入聚類中.考慮到深度數(shù)據(jù)噪聲較多，選擇RANSAC(random sample consensus)方法[18]提取平面結(jié)構(gòu)的參數(shù).根據(jù)點(diǎn)云數(shù)據(jù)的平面聚類結(jié)果，提取平面與線結(jié)構(gòu)參數(shù)，對(duì)邊界線的平滑及融合優(yōu)化后得到的結(jié)構(gòu)地圖如圖2d所示.

a 環(huán)視全景圖

b 原始點(diǎn)云

c 區(qū)域生長(zhǎng)平面聚類結(jié)果

d 結(jié)構(gòu)地圖結(jié)果

Fig.2 Region growing and structure extraction results of indoor parking lot environment

1.2.2語(yǔ)義判別

利用平面法向量方向、距原點(diǎn)距離、航向方向等特征，采用決策樹(shù)方法對(duì)停車場(chǎng)局部場(chǎng)景中的平面結(jié)構(gòu)進(jìn)行語(yǔ)義分析，將聚類平面分為墻面、車庫(kù)頂面、地面及其他結(jié)構(gòu)平面，語(yǔ)義決策樹(shù)如圖3所示.

2 基于結(jié)構(gòu)語(yǔ)義的庫(kù)位檢測(cè)

首先利用聚類分析方法在構(gòu)建好的局部地圖上進(jìn)行障礙物檢測(cè)，獲得障礙物的分布.由于庫(kù)位方向通常垂直或平行于墻面，故結(jié)合場(chǎng)景的結(jié)構(gòu)語(yǔ)義分析結(jié)果，確定障礙物的投影方向，以尋找障礙物間的二維空位.最后，基于二維空位位置搜索垂直方向上的限定高度空間，以探測(cè)三維庫(kù)位.

2.1 障礙物檢測(cè)

圖3 結(jié)構(gòu)語(yǔ)義決策樹(shù)

首先根據(jù)結(jié)構(gòu)語(yǔ)義分析的結(jié)果，將地面聚類點(diǎn)及高于1.8 m(機(jī)動(dòng)車庫(kù)位最小高度[19])的點(diǎn)云從局部地圖中濾除.剩余點(diǎn)云作為車輛通行障礙物檢測(cè)興趣區(qū)，濾除的高度區(qū)間點(diǎn)云用于檢測(cè)庫(kù)位限高.為了檢測(cè)具有不同形狀與大小的障礙物目標(biāo)，選擇歐式聚類來(lái)獲得環(huán)境內(nèi)的障礙物分布，以幾何距離作為判定條件，將間距小于閾值的對(duì)象點(diǎn)合并作為聚類集合.在聚類結(jié)果中設(shè)置障礙物聚類的最少點(diǎn)數(shù)，以防止點(diǎn)云地圖中的噪聲點(diǎn)導(dǎo)致的障礙物錯(cuò)檢.

2.2 二維庫(kù)位檢測(cè)

為尋找?guī)煳坏亩S位置，首先將第2.1節(jié)中障礙物檢測(cè)興趣區(qū)的聚類三維點(diǎn)云結(jié)果正投影至二維水平面，用于搜索空位區(qū)域.由于庫(kù)位常垂直或平行于墻面，同時(shí)停車場(chǎng)道路方向常垂直或平行于庫(kù)位，因此二維庫(kù)位的檢測(cè)方法基于如下假設(shè)：

(1) 若局部停車場(chǎng)環(huán)境中無(wú)墻面，則將點(diǎn)云沿道路(即當(dāng)前車輛航向)垂直方向投影以檢測(cè)庫(kù)位，如圖4所示的虛線投影矩形.

(2) 若局部停車場(chǎng)環(huán)境中存在墻面，則將點(diǎn)云投影至距離最近的墻面上以檢測(cè)庫(kù)位，如圖4所示的實(shí)線投影矩形.

為尋找二維空間中表征庫(kù)位的空位區(qū)域，提取障礙物聚類的最小包絡(luò)矩形，并將其按照上述假設(shè)進(jìn)行投影，合并重疊區(qū)域矩形.取相鄰障礙物矩形間距大于2.2 m(庫(kù)位最小標(biāo)準(zhǔn)[19])的空位矩形區(qū)域作為可停車區(qū)域，空位數(shù)的計(jì)算方法如下所示：

(2)

2.3 三維庫(kù)位檢測(cè)

圖4 投影方向示意圖

在已有二維庫(kù)位檢測(cè)的基礎(chǔ)上，探測(cè)垂直方向上的可泊車空位區(qū)域，獲得三維庫(kù)位.基于二維庫(kù)位的平面位置，以ΔD作為步長(zhǎng)向車庫(kù)頂面方向增長(zhǎng)，形成三維包圍盒.在三維包圍盒內(nèi)包含的點(diǎn)云個(gè)數(shù)超過(guò)設(shè)定閾值時(shí)視作觸碰到障礙物，結(jié)束增長(zhǎng)，并記錄庫(kù)位垂直方向最大高度Zup；取三維點(diǎn)云平面分割結(jié)果中地面分割點(diǎn)的平均高度作為地面高度Zf，三維庫(kù)位的限高由下式計(jì)算得到：

Z=Zup-Zf

(3)

最終取二維庫(kù)位與垂直限高組成三維包圍盒，作為可停三維庫(kù)位.

3 結(jié)果與討論

Kinect-V2是微軟公司生產(chǎn)的一款高性價(jià)比ToF相機(jī)，測(cè)量性能滿足實(shí)驗(yàn)需求，因此選用Kinect-V2相機(jī)搭建實(shí)驗(yàn)平臺(tái),設(shè)備的參數(shù)和精度可參考文獻(xiàn)[20].實(shí)驗(yàn)中使用手推車模擬車輛平臺(tái)，使用4臺(tái)Kinect-V2相機(jī)采集RGB-D數(shù)據(jù)，固定方式如圖5所示.平臺(tái)相機(jī)間的相對(duì)位置關(guān)系通過(guò)人工標(biāo)定方式確定.整體點(diǎn)云坐標(biāo)系以1號(hào)相機(jī)光心為原點(diǎn)，Y軸平行于航向，X軸垂直航向水平向右，Z軸垂直向上，組成右手系，如圖5坐標(biāo)系所示.單幀拼接點(diǎn)云如圖6所示，圖中4種灰度對(duì)應(yīng)4個(gè)相機(jī)獲得的點(diǎn)云.平臺(tái)所用處理器為Intel Core i7-3，30 GHz.停車場(chǎng)環(huán)境為同濟(jì)大學(xué)體育館地下停車場(chǎng).

3.1 庫(kù)位探測(cè)

3.1.1障礙物識(shí)別

Kinect-V2相機(jī)測(cè)距范圍為0.5～12.0 m，距離檢測(cè)平均精度為2～4 mm.為提高處理效率，采用邊長(zhǎng)為0.15 m的柵格降采樣.障礙物聚類與對(duì)應(yīng)的最小包絡(luò)矩形結(jié)果如圖7所示，分別為有墻面和無(wú)墻面場(chǎng)景.

圖5 多臺(tái)ToF硬件測(cè)試平臺(tái)與傳感器編號(hào)

圖6 單幀拼接點(diǎn)云

a 無(wú)墻面場(chǎng)景b 有墻面場(chǎng)景

圖7 障礙物聚類與對(duì)應(yīng)的最小包絡(luò)矩形結(jié)果

Fig.7 Obstacle clustering and corresponding minimum bounding rectangle

3.1.2庫(kù)位檢測(cè)

在有墻面和無(wú)墻面2種場(chǎng)景下分別進(jìn)行實(shí)驗(yàn)，將障礙物最小包絡(luò)矩形(見(jiàn)圖4)投影至特定方向后，二維庫(kù)位檢測(cè)效果如圖8b所示.圖8b中,虛線矩形為障礙物范圍，實(shí)線矩形為空位范圍.圖8d為三維庫(kù)位檢測(cè)與語(yǔ)義結(jié)構(gòu)建圖結(jié)果.庫(kù)位識(shí)別率如表1所示.為評(píng)價(jià)三維庫(kù)位檢測(cè)的精度，通過(guò)實(shí)際測(cè)量方式獲得各庫(kù)位的寬度和高度以及障礙物大小.絕對(duì)差值計(jì)算式如下所示：

(4)

式中：Wi、Hi分別為本文方法檢測(cè)出的第i個(gè)車位的寬度、高度；Li為本文方法檢測(cè)出的第i個(gè)障礙物的寬度；wi、hi、li分別為停車場(chǎng)實(shí)地測(cè)量的對(duì)應(yīng)車位的寬度、高度和障礙物寬度真值.對(duì)絕對(duì)差值統(tǒng)計(jì)平均差值與標(biāo)準(zhǔn)差，結(jié)果如表2所示.

a 環(huán)視全景圖

b 二維空區(qū)域位置探測(cè)結(jié)果c 三維空區(qū)域探測(cè)結(jié)果與點(diǎn)云

d 三維庫(kù)位劃分與結(jié)構(gòu)地圖結(jié)果

數(shù)據(jù)分類庫(kù)位總個(gè)數(shù)檢出數(shù)識(shí)別率/%有墻面898898.88無(wú)墻面272281.48合計(jì)11611094.83

表2 車位寬度、高度與障礙物寬度檢測(cè)精度

Table.2 Precision of detected width and height of parking slots and width of obstacles

cm

實(shí)驗(yàn)中，特征點(diǎn)提取與匹配的圖像源分辨率為512×424像素，算法處理的局部地圖點(diǎn)云數(shù)量約為7萬(wàn)個(gè).算法各主要部分耗時(shí)如表3表示.算法總耗時(shí)為0.301 s，檢測(cè)幀率為3～4幀·s-1.

表3 算法耗時(shí)分析

3.2 實(shí)驗(yàn)結(jié)果分析

綜合庫(kù)位檢測(cè)實(shí)驗(yàn)結(jié)果，庫(kù)位識(shí)別綜合精度為94.83%，在有墻面作為結(jié)構(gòu)語(yǔ)義輔助時(shí)，檢出率可達(dá)98.88%；檢測(cè)精度上，障礙物寬度檢測(cè)精度為30.0 cm，含點(diǎn)云降采樣與建圖漂移誤差.庫(kù)位寬度識(shí)別精度為14.4 cm，高度識(shí)別精度為12.4 m.由于移動(dòng)方式導(dǎo)致航向上點(diǎn)云漂移略大于縱向，故寬度識(shí)別精度略低于高度.在無(wú)墻面的情況下，因車庫(kù)照明光源等因素的影響，Kinect-V2相機(jī)在部分區(qū)域探測(cè)到大量噪聲點(diǎn)而誤判為含有障礙物，導(dǎo)致庫(kù)位漏檢.在有墻面環(huán)境下的漏檢主要因視覺(jué)里程計(jì)累積的漂移誤差，導(dǎo)致庫(kù)位寬度小于閾值而被過(guò)濾.

與現(xiàn)有庫(kù)位檢測(cè)方法相比，本文方法使用局部三維觀測(cè)進(jìn)行融合建圖，可進(jìn)行較大范圍的三維環(huán)境感知，而傳統(tǒng)方法無(wú)法對(duì)高度進(jìn)行測(cè)量.雖然局部建圖的誤差在一定程度上降低了檢測(cè)精度，但是其可對(duì)較大范圍環(huán)境進(jìn)行車位探測(cè)，同時(shí)仍滿足實(shí)際泊車中分米級(jí)的檢測(cè)精度需求.

4 結(jié)語(yǔ)

使用多臺(tái)ToF相機(jī)作為傳感器，利用多幀融合建圖與結(jié)構(gòu)語(yǔ)義提取，在室內(nèi)車庫(kù)環(huán)境中可實(shí)時(shí)且高精度地進(jìn)行障礙物識(shí)別與三維庫(kù)位探測(cè)，彌補(bǔ)了現(xiàn)有方法中無(wú)法量測(cè)庫(kù)位限定高度的缺限，同時(shí)可對(duì)超越傳感器感知范圍的環(huán)境障礙物進(jìn)行檢測(cè).對(duì)障礙物、庫(kù)位的識(shí)別率和檢測(cè)精度均可滿足自動(dòng)泊車系統(tǒng)的實(shí)用需求，證明了使用多臺(tái)ToF相機(jī)替代現(xiàn)有傳感器方案的可行性.在未來(lái)的工作中，可進(jìn)一步添加慣性導(dǎo)航設(shè)備，提升算法的精度和效率.此外，當(dāng)前的檢測(cè)假設(shè)無(wú)法推廣到異型庫(kù)位，需進(jìn)一步擴(kuò)充與優(yōu)化.