基于點云多幀融合的相鄰障礙物聚類分割方法

彭羅曼，張海洋，王文鑫，白莎莎，劉炫，趙長明

（1.光電成像技術與系統(tǒng)教育部重點實驗室，北京 100081；2.信息光子技術工業(yè)和信息化部重點實驗室，北京 100081；3.北京理工大學 光電學院，北京 100081）

引言

隨著5G 技術與無人駕駛技術的快速發(fā)展，對周圍環(huán)境的可靠感知是無人駕駛領域的重要任務[1-3]，環(huán)境感知分為地面濾除[4]、ROI 提取[5]、聚類分割[6,7]、檢測識別[8]四大模塊，其中物體的精準聚類是后續(xù)障礙物檢測良好效果的基礎保障[9-11]。單獨分割相鄰障礙物是環(huán)境感知的重要問題，車輛和行人為園區(qū)送貨車等低速無人駕駛感知的主要對象，激光雷達數(shù)據(jù)空間分布不均勻[12]，稀疏點云的相鄰障礙物聚類分割效果不佳，無法區(qū)分靠近車的行人以及相近的遠距離行人，會給駕駛帶來安全隱患。

國內外關于激光雷達點云的分割主要有深度學習和基于聚類兩種方法[13-14]。PointNet++雖然相比PointNet 對點云的局部特征提取性能有所提升，但實時性方面仍然欠缺[15]?；谏疃葘W習的點云分割雖然檢測精度高，但存在訓練數(shù)據(jù)集難以獲取、對計算單元性能要求高等問題，且對稀疏點云適用性有限[16-17]。而基于聚類的分割則避免了上述問題，具有穩(wěn)定、快速等優(yōu)點。文獻[18]基于點云射線角度約束改進歐式聚類實現(xiàn)對一定范圍內障礙物的分割與聚類，但其聚類半徑閾值是根據(jù)不同區(qū)域劃分，沒有實現(xiàn)自適應，不夠靈活。文獻[19]基于KD-Tree 和歐式聚類結合行人幾何約束實現(xiàn)越野環(huán)境下的多人行人點云聚類提取，但能夠聚類的行人相距很遠。文獻[20]基于64 線激光雷達和RTK-GPS(real-time kinematic global positioning system)、INS(inertial navigation system)多幀融合后的數(shù)據(jù)進行障礙物的聚類檢測，但不同障礙物相近時，存在被聚類成一個簇的問題。文獻[21]通過點云去畸變和距離閾值自適應的歐式聚類，實現(xiàn)較近和較遠障礙物的聚類，但去畸變方法使得該算法的實時性較差。文獻[22]二次多項式擬合獲取不同距離下的歐式聚類半徑，但該方法用于聚類低線激光雷達采集的遠處障礙物時，存在縱向過分割的問題。

為了解決上述問題，基于16 線激光雷達獲取道路上人/人、人/車相鄰場景的稀疏點云數(shù)據(jù)，提出了基于多幀融合的相鄰障礙物聚類分割方法，在提高遠距離人/人、人/車點云密度的同時，提高相鄰人/人、人/車聚類分割效果。

1 多幀融合

低線激光雷達點云數(shù)據(jù)稀疏，隨著物體和傳感器之間距離的增加，相鄰點之間的歐式距離增加，導致遠距離物體聚類困難，相鄰物體變得更加難以分割。因此，提出將多幀融合應用于聚類前的數(shù)據(jù)處理，增加遠距離物體點云密度，便于后續(xù)聚類分割。

基于IMU 獲取LIDAR 的位姿變化，實現(xiàn)多幀點云數(shù)據(jù)融合。LIDAR 和 IMU 頻率均設為10 Hz，根據(jù)ROS 多傳感器時間同步機制實現(xiàn)兩者時間同步。LIDAR 和 IMU 都有自身的坐標系，在進行數(shù)據(jù)融合前，需要將兩者輸出的信息統(tǒng)一到同一坐標系下，實現(xiàn)空間同步。由于LIDAR 和IMU 在安裝完成后保持固定，所以對LIDAR 和 IMU 進行聯(lián)合標定，得到兩者之間的外參關系，將點云數(shù)據(jù)統(tǒng)一到IMU 坐標系進行多幀融合。

聯(lián)合標定需要確定LIDAR 和IMU 之間的6 自由度的轉換關系，即={R,t}，R為旋轉參數(shù)，t為平移參數(shù)。LIDAR/IMU 的聯(lián)合標定具體原理步驟如下：

1）將LIDAR 數(shù)據(jù)根據(jù)當前假設的狀態(tài)變量變換到IMU 坐標系下；

2）構建KD-Tree 結構，對每一次掃描時的數(shù)據(jù)，在下一次掃描中尋找最近鄰的點并計算距離，將每個點的鄰近誤差作為優(yōu)化目標進行優(yōu)化；

3）當總距離最小時，可認為完全匹配。最終得到的轉換矩陣如式（1）：

完成IMU 和LIDAR 的外參標定后，通過上述的外參轉換矩陣將點云數(shù)據(jù)由LIDAR 坐標系轉換到IMU 坐標系下。

讀取的IMU 數(shù)據(jù)為GPFPD 格式，解析出前后兩幀的偏航角(heading)、俯仰角(pitch)、橫滾角(roll)、東向速度(Ve)、北向速度(Vn)、天向速度(Vu)，得到各方向的角速度和加速度變化量，記為?gx、?gy、?gz、?ax、?ay、?az。通過IMU 得到前后兩幀旋轉矩陣、平移矩陣，分別為M、T，f為雷達頻率10 Hz。

通過上述旋轉平移矩陣得到兩幀點云的位姿變換，建立多幀點云融合模型如下，實現(xiàn)多幀融合。

2 改進的歐式聚類

多幀融合一定程度彌補了低線激光雷達分辨率低的缺點，但針對道路環(huán)境中并排行走的行人以及靠近車輛的行人等相鄰障礙物場景，傳統(tǒng)聚類分割效果欠佳。因此，結合上述問題對傳統(tǒng)歐式聚類提出以下分割指標的改進，實現(xiàn)針對相鄰人/車、人/人的聚類分割。

激光雷達點云具有近密遠稀的特點，傳統(tǒng)歐式聚類依賴固定閾值[23]，對不同距離的掃描范圍采用固定的聚類閾值，閾值設置過小會使近距離的同一目標被過度劃分為多個點簇，過大會使遠距離的不同物體聚類到同一簇。傳統(tǒng)的歐式聚類無法針對相鄰人/車、人/人場景精準分割。

提出自適應聚類半徑閾值的分割指標，分割原理如下：考慮到實際中處在相同水平位置而不同高度的點云一般屬于同一物體，因此將點云投影到XOY水平面，避免同一物體因不同高度聚類閾值不同而過分割的情況。

式中：λ為閾值系數(shù)，本文取0.32；? θ為水平角分辨率。

建立KD-Tree 結構，對點i進行K鄰域搜索，計算近鄰點j與點i的歐式距離 dis(i,j)。當dis(i,j)rt時，j與i不在同一類。

采用上述自適應聚類閾值分割標準，能分割水平投影歐式距離較大的物體，以及部分近距離相鄰障礙物，但僅靠自適應聚類閾值這一個分割標準并不能準確分割遠距離相鄰障礙物。因此針對上述問題，加入向量夾角這一約束條件，提出進一步的歐式聚類改進，具體實現(xiàn)原理如下：障礙物表面點云分布一般成凸狀，而相鄰障礙物交界處點云分布為凹狀，通過計算某一點與兩側點的矢量和向量與該點到激光雷達原點向量的夾角來描述該特性。如圖1，藍點、綠點分別代表兩個相鄰障礙物，假設激光雷達為原點O，OB、OC分別為打在障礙物的兩條激光束。選擇B點兩側相鄰兩點A、C，計算單位向量VBA、VBC：

圖1 向量角度約束Fig.1 Vector angle constraints

通過VBA、VBC矢量和的單位向量VBM與B點指向激光雷達原點坐標的向量VBO的向量積來區(qū)分A、B、C3 點屬于同一障礙物還是不同障礙物，表示如下：

當向量積VBMVBO<0，點C與點B屬于同一類；VBMVBO>0，將點C標記為不同類。圖1中，VBMVBO<0，點C與點B屬于同一類；VCMVCO>0，則點D屬于不同類。

整體算法流程見下文，流程圖如圖2 所示。

圖2 改進歐式聚類算法Fig.2 Improved Euclidean clustering algorithm

1）建立KD-Tree 數(shù)據(jù)結構存放點云數(shù)據(jù)P(p1,p2,···,pn) ；

2）聚類集合C(c1,c2,···,cm)，隨機選擇pn點放入；

3）遍歷P(p1,p2,···,pn)

a）計算pn點的自適應聚類閾值；

b）尋找pn點的k個近鄰點Q(q1,q2,···,qk)，計算近鄰點到pn點的歐式距離 ；

c）dis(pn,qk)>rt，將qk聚 類到不同點集cm；dis(pn,qk)

4）判斷P中是否還有未聚類的p，有就重復步驟(3，沒有則進行下一步；

5）當點云遍歷完畢，算法結束，完成聚類分割。

3 實驗結果與分析

3.1 實驗環(huán)境及準備

本研究選用無人實驗車作為移動平臺在復雜環(huán)境下進行數(shù)據(jù)采集，該實驗車配備的傳感器包括星網(wǎng)宇達XW-GI5651 慣性導航系統(tǒng)（圖3 左）和Velodyne VLP-16 LIDAR（圖3 右）。另外，為驗證算法可行性及優(yōu)化效果，不同聚類方法及本文所提出的基于多幀融合的相鄰障礙物聚類分割方法將在Intel Core-i7,8 GB 內存的Ubuntu18.04 操作系統(tǒng)利用 C++編程語言進行算法開發(fā)，算法開發(fā)過程中運用多種開源軟件庫，如點云處理庫pcl等，在提高運行效率的同時簡化代碼架構并減少代碼量。

圖3 慣性導航系統(tǒng)和激光雷達Fig.3 IMU and LIDAR

3.2 數(shù)據(jù)采集及分析方法

基于上述實驗平臺，在校園等復雜環(huán)境（場景中包含多個車輛、行人等）下采集了多組點云數(shù)據(jù)集進行測試驗證實驗，不同復雜場景點云數(shù)據(jù)集如圖4 所示。

圖4 部分不同復雜場景點云數(shù)據(jù)集Fig.4 Some cloud data sets of different complex scenarios

由于IMU 積分時間越長，誤差越大，根據(jù)每間隔0.1 s 的IMU 數(shù)據(jù)信息融合多幀點云。實驗中分別選取不同距離場景將單幀傳統(tǒng)歐式聚類、多幀傳統(tǒng)歐式聚類與本方法對比，聚類完成以后，得到以點云簇為單位的聚類結果，使用包圍盒將聚類結果包裹起來呈現(xiàn)最終的障礙物聚類分割效果。

3.3 結果與討論

選用如下VLP-16 錄制的復雜場景點云對比了本文方法相較于歐式聚類的優(yōu)越性，圖5(a)為示例場景圖，其中地面分割標記為紫色。如圖5(b)，傳統(tǒng)歐式聚類雖然對部分物體也能提供正確的分割，但對近處的物體則存在分割不足的情況和對遠處稀疏的車輛點云沒法聚類的問題。圖5(c)中，本文的方法能夠對相鄰的車輛行人以及相鄰行人實現(xiàn)很好的分割，對點云車輛聚類也更為完整。

圖5 復雜場景下不同聚類方法對比圖Fig.5 Comparison diagram of different clustering methods in complex scenarios

由于近距離的相鄰人/車點云密集，這里對比單幀傳統(tǒng)聚類和本文改進的歐式聚類效果。借助激光測距儀實現(xiàn)精準測距，我們分別對7 m、11 m、15 m 和19 m 處的人車目標進行聚類分割測試。在傳統(tǒng)歐式聚類處理過程中，如果固定閾值過小會出現(xiàn)過分割的情況，如圖6(a)所示；而如果固定閾值過大會出現(xiàn)欠分割的情況，如圖6(b)所示。另外，圖6(d)、圖6(e)、圖6(f)分別對應圖6(a)、圖6(b)、圖6(c)中目標（車輛和人）的聚類結果圖。結合圖7 所展現(xiàn)的不同距離下的人體外型，可直觀發(fā)現(xiàn)，在圖6（d）中將同一車輛目標誤分割為3 個目標，出現(xiàn)過分割，在圖6（e）中將車輛和人員歸類為同一目標，出現(xiàn)欠分割，而在圖6（f）中，本文所提方法可正確區(qū)分出車輛和人員兩種不同目標，實現(xiàn)準確分割相鄰人/車的目的。

圖6 相鄰人車(7 m 單幀)聚類效果對比Fig.6 Clustering effect comparison of adjacent pedestriancar (7 m single frame)

圖7 不同距離下VLP-16 掃描的人點云示例Fig.7 Example of human point cloud for VLP-16 scans at different distances

如圖7 所示，行人離傳感器越遠，相對點云就越稀疏。如圖8 中(a)、(b)、(c)和圖9 中(a)、(b)、(c)所示，在距離激光雷達11 m、15 m處，單幀傳統(tǒng)歐式聚類、多幀傳統(tǒng)歐式聚類均能聚類相鄰人人，但是欠分割。圖8 和圖9 中的(d)、(e)、(f)分別為(a)、(b)、(c)中目標的聚類結果圖。由圖可知，本文方法能夠實現(xiàn)相鄰人/人的聚類分割。

圖8 相鄰人人(11 m)聚類效果對比Fig.8 Clustering effect comparison of adjacent pedestrianpedestrian (11 m)

圖9 相鄰人人(15 m 兩幀)聚類效果對比Fig.9 Clustering effect comparison of adjacent pedestrianpedestrian (15 m)

如圖10 所示，在距離激光雷達19 m處，由于單幀遠距離相鄰人/人點云稀疏，傳統(tǒng)歐式聚類無法聚類。數(shù)據(jù)采集小車低速前進，兩幀融合后環(huán)境輪廓基本重合，但遠距離行人點云密度顯著提高，能很好地補充單幀遠距離物體稀疏的點云。兩幀融合后傳統(tǒng)方法能夠聚類相鄰人/人，但依舊欠分割。對比本方法在兩幀融合與三幀融合后的相鄰障礙物分割效果，本文方法均能對較遠距離的并排行人有很好的聚類分割效果。表1 對圖10 中不同幀數(shù)的耗時以及分割效果進行了對比，三幀融合點云數(shù)據(jù)量增加，但分割效果沒有明顯優(yōu)于兩幀融合，計算耗時顯著增加。結合實際測試結果，為平衡算法算力需求與聚類分割效果，選擇兩幀融合輸入聚類分割為最佳。

表1 本方法幀數(shù)優(yōu)化選擇Table 1 Frame number selection optimized by our method

圖10 相鄰人人(19 m 兩幀)聚類效果對比Fig.10 Clustering effect comparison of adjacent pedestrianpedestrian (19 m)

采用F度量指標來量化評估本方法對相鄰障礙物的分割效果。小于1 m 界定為兩障礙物相鄰，選取1200 幀點云數(shù)據(jù)，共有障礙物1020個，其中相鄰障礙物占580 個。F度量指標計算公式如下，a結合實際情況取1。

式中：P=正確分割數(shù)目/聚類但錯誤分割的相鄰障礙物數(shù)目；R=正確分割數(shù)目/實際總的相鄰障礙物數(shù)數(shù)目（580）。

由式（15）可知，F(xiàn)越高證明分割效果越好。考慮到激光雷達對于太近物體存在盲區(qū)，從4 m 外的障礙物開始，每3 m 記錄相鄰障礙物，對比單幀傳統(tǒng)歐式聚類、多幀傳統(tǒng)歐式聚類、本文方法3 種情況，結果如表2、圖11、圖12 所示。

表2 相鄰障礙物在不同距離的分割效果Table 2 Segmentation effect of adjacent obstacles at different distances

圖11 3 種方法對比Fig.11 Comparison of three methods

圖12 不同聚類方法耗時對比圖Fig.12 Time-consuming comparison plots of different clustering methods

由上述圖表可知，多幀融合在提高聚類效果上有一定作用，本文提出的方法在遠距離的相鄰障礙物聚類分割上優(yōu)化效果更明顯，且耗時相對更短，在實時性也具有一定優(yōu)勢。F度量相比單幀傳統(tǒng)歐式聚類方法提升30.7%，對于VLP-16 等低分辨率激光雷達在后續(xù)障礙物檢測等方面有很大的用途。

4 結論

本文針對稀疏點云中相鄰障礙物分割效果不佳的問題，提出了一種高效有用的相鄰障礙物聚類分割方法，設計了基于自適應閾值和向量角度約束的改進歐式聚類算法，在基于IMU 和LIDAR傳感器多幀融合后的數(shù)據(jù)里實現(xiàn)聚類分割。實驗結果證明本文提出的基于多幀融合的相鄰障礙物聚類分割方法具有較大的提升和較高的準確度，可以應用于低線激光雷達的相鄰障礙物聚類分割中，為園區(qū)送貨車等低速無人駕駛車輛的低成本化提供一種可行性方案。