基于多傳感器融合的軌道識別方法探究

朵建華，楊柏鐘

（寧波市軌道交通集團(tuán)有限公司運(yùn)營分公司，浙江寧波 315500）

1 引言

地鐵列車全自動無人駕駛[1]可以在降低人為失誤風(fēng)險(xiǎn)的同時(shí)大大提高運(yùn)營效率，進(jìn)一步提升出行質(zhì)量和乘坐體驗(yàn)，其運(yùn)行安全主要依賴信號系統(tǒng)的可靠性。信號系統(tǒng)可以實(shí)現(xiàn)調(diào)度規(guī)劃層面的無人駕駛，但只能保證監(jiān)測行進(jìn)列車這種合作目標(biāo)，對于軌道線路上突發(fā)性、不可預(yù)測的非合作目標(biāo)侵界與異常則需要車載設(shè)備實(shí)時(shí)進(jìn)行感知。對軌道識別的研究無論是對于異物入侵檢測，還是對于實(shí)現(xiàn)列車的無人駕駛，都具有重要的意義。

2 研究背景

可見光相機(jī)對目標(biāo)的顏色和紋理比較敏感，可以完成目標(biāo)分類、檢測、分割、識別等任務(wù)，已經(jīng)被廣泛應(yīng)用于汽車無人駕駛領(lǐng)域的道路車道線檢測，但與道路車道線檢測相比，對軌道交通領(lǐng)域的軌道檢測研究并不多。目前，國內(nèi)已經(jīng)有一些基于圖像的算法研究[2-3]，主要針對火車軌道、有軌電車軌道等地面軌道，根據(jù)像素點(diǎn)計(jì)算曲率等特征將軌道與其他場景元素區(qū)分。然而，地鐵的應(yīng)用場景不僅包括高架，也包括水泥混凝土澆筑的地下隧道，環(huán)境復(fù)雜度較高，軌道的特征更加難以掌控，單一模型已無法滿足軌道識別的實(shí)際需求。

隨著近年來卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）[4]，特別是針對于語義分割的全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[5]的發(fā)展與成熟，其超強(qiáng)的學(xué)習(xí)能力使其在各個(gè)領(lǐng)域嶄露頭角。例如，香港中文大學(xué)Xingang Pan等人開發(fā)的SCNN（Spatial CNN）[6]，該網(wǎng)絡(luò)適用于連續(xù)形狀結(jié)構(gòu)或者大型的目標(biāo)，應(yīng)用在道路上的車道線檢測方面取得了較好的效果。

然而，用單目相機(jī)獲取到的圖像只有二維信息，用于檢測三維場景中的物體有缺失維度的缺陷。針對這一問題，目前的研究方向有2個(gè)分支：一個(gè)分支是使用雙目相機(jī)獲取具有深度信息的圖像，對紅綠藍(lán)深度（Red Green Blue Depth，RGBD）圖像直接進(jìn)行語意分割與識別，使用基于RGBD數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)包括CFN（Cascaded Feature Network）[7]、3DGNN（3D Graph Neural Network）[8]、ACNet（Asymmetric Convotution Network）[9]等；另一個(gè)分支是將圖像識別結(jié)果與其他測距傳感器，如紅外測距儀、毫米波雷達(dá)、激光雷達(dá)等獲取的距離數(shù)據(jù)融合。

3 實(shí)現(xiàn)方法

基于車道線檢測算法的研究基礎(chǔ)，單目相機(jī)對軌道的識別采用U-Net[10]模型，這是一種由FCN發(fā)展而來的網(wǎng)絡(luò)結(jié)構(gòu)，它在使用少量數(shù)據(jù)進(jìn)行訓(xùn)練的情況下就能獲得精確的分割結(jié)果，最初用于醫(yī)學(xué)圖像分割。

相比于其他測距傳感器，激光雷達(dá)傳感器具有測距精度高、探測范圍大、抗干擾力強(qiáng)等優(yōu)點(diǎn)[11]。三維激光雷達(dá)可以獲取周圍物體在三維空間中的坐標(biāo)值，提供直觀的位置信息。然而激光雷達(dá)傳感器的角分辨率[12]遠(yuǎn)不如視覺傳感器，也不能獲取物體表面的顏色信息。

通過結(jié)合單目相機(jī)和激光雷達(dá)的軌道識別方法，旨在通過融合處理2種傳感器獨(dú)立檢測的軌道數(shù)據(jù)，避免單一傳感器的局限性，使得到的軌道坐標(biāo)更精確，以達(dá)到更好的識別效果。

3.1 相機(jī)-激光雷達(dá)標(biāo)定

多傳感器融合的基礎(chǔ)條件之一就是每個(gè)傳感器檢測到的目標(biāo)需要統(tǒng)一到同一個(gè)坐標(biāo)系下，如世界坐標(biāo)系或者車身坐標(biāo)系，因此需要對多個(gè)傳感器進(jìn)行聯(lián)合標(biāo)定。將激光雷達(dá)和相機(jī)的安裝位置固定后，進(jìn)行相機(jī)的內(nèi)參標(biāo)定以及相機(jī)與激光雷達(dá)的聯(lián)合標(biāo)定。通過使用棋盤格對相機(jī)內(nèi)參進(jìn)行標(biāo)定[13]。在獲取到相機(jī)內(nèi)參后，通過張貼二維碼的方式獲取指定物體在相機(jī)坐標(biāo)系下的坐標(biāo)信息，通過對指定物體的激光點(diǎn)云進(jìn)行處理，獲取指定物體在激光坐標(biāo)系下的坐標(biāo)信息，從而可以建立同一個(gè)物體在激光與相機(jī)坐標(biāo)系下的點(diǎn)對點(diǎn)坐標(biāo)映射。在獲取多組點(diǎn)對點(diǎn)映射數(shù)據(jù)后，可通過奇異值分解（Singular Value Decomposition，SVD）[14]的方式求取坐標(biāo)系之間的轉(zhuǎn)移矩陣。

3.2 傳感器時(shí)間同步

多傳感器融合的基礎(chǔ)條件之二就是多個(gè)傳感器之間的時(shí)間同步，保證同一時(shí)刻采集的傳感器數(shù)據(jù)的時(shí)間戳是基本一致的。如果沒做好時(shí)間同步，那么處理某個(gè)傳感器的數(shù)據(jù)幀時(shí)很可能獲取不到其他傳感器對應(yīng)時(shí)刻的數(shù)據(jù)幀，就會導(dǎo)致多個(gè)傳感器的數(shù)據(jù)融合失效，不能實(shí)現(xiàn)相關(guān)功能。對于目前 AI 應(yīng)用領(lǐng)域的多傳感器、子系統(tǒng)之間的時(shí)間同步[15]，一般只需要達(dá)到毫秒級。目前單目相機(jī)支持網(wǎng)絡(luò)時(shí)間協(xié)議（Network Time Protocol，NTP）進(jìn)行時(shí)間同步[16]，而激光雷達(dá)一般都支持GPS或者精確時(shí)間協(xié)議（Precision Time Protocol，PTP）[17]進(jìn)行時(shí)間同步，均能滿足傳感器之間時(shí)間同步的要求。

3.3 獲取數(shù)據(jù)

使用激光雷達(dá)和相機(jī)同時(shí)錄制列車前方軌道的視頻和激光點(diǎn)云，并以隔幀抽取的方式將獲取的視頻轉(zhuǎn)成圖片格式，避免產(chǎn)生大量相似度過高的數(shù)據(jù)。

3.4 訓(xùn)練模型

利用標(biāo)注工具結(jié)合手動調(diào)整，標(biāo)注圖片中的軌道區(qū)域，如圖1所示。使用卷積神經(jīng)網(wǎng)絡(luò)框架[18]（Convolutional Architecture for Fast Feature Embedd-ing，CAFFE），將經(jīng)過標(biāo)注的圖片作為訓(xùn)練集輸入U(xiǎn)-Net網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)損失函數(shù)收斂后訓(xùn)練結(jié)束。

圖1 軌道標(biāo)注

損失函數(shù)選用的是Softmax_Loss，這是CAFFE中常用的一種損失函數(shù)，計(jì)算主要分為2步。

（1）計(jì)算Softmax歸一化概率：

式（1）、式（2）中，i= 1，2，…，N；m= max（z1，…，zN）。

該層共有N個(gè)神經(jīng)元。zk表示第k個(gè)神經(jīng)元的輸入。公式（1）表示將zk的每一個(gè)元素減去m，即減去zi的最大值。公式（2）中對zk和zi都做公式（1）中的處理，減去m。這樣處理是為了數(shù)值穩(wěn)定性。

公式（2）中的f（zk）表示第k個(gè)神經(jīng)元的輸出， e 表示自然常數(shù)表示了該層所有神經(jīng)元的輸入之和。

Softmax函數(shù)最明顯的特點(diǎn)在于，它把每個(gè)神經(jīng)元的輸入占當(dāng)前層所有神經(jīng)元輸入之和的比值，當(dāng)作該神經(jīng)元的輸出。這使得輸出更容易被解釋：神經(jīng)元的輸出值越大，則該神經(jīng)元對應(yīng)的類別是真實(shí)類別的可能性更高。

（2）根據(jù)交叉熵計(jì)算損失[19]：

式（3）中，為標(biāo)簽值，k為標(biāo)簽為1的神經(jīng)元所對應(yīng)的序號，其余神經(jīng)元所對應(yīng)的標(biāo)簽值為0。

訓(xùn)練約6個(gè)Epoch（時(shí)期）后，Loss值收斂到較小的值。當(dāng)Normalize（歸一化）為True時(shí)，Loss值會除以樣本數(shù)。實(shí)際訓(xùn)練過程中準(zhǔn)備了約2萬張軌道圖片的訓(xùn)練集，Loss值在約6個(gè)Epoch后收斂到0.01左右。

3.5 傳感器融合

融合傳感器數(shù)據(jù)獲得軌道方程的步驟如下。

（1）將訓(xùn)練后的模型放入U(xiǎn)-Net網(wǎng)絡(luò)，當(dāng)有圖像數(shù)據(jù)輸入時(shí)，經(jīng)過神經(jīng)網(wǎng)絡(luò)識別輸出軌道區(qū)域邊緣的像素點(diǎn)，這些像素點(diǎn)表示軌道的圖像識別結(jié)果。根據(jù)前期標(biāo)定得到的相機(jī)內(nèi)參和外參，將像素點(diǎn)投影到激光坐標(biāo)系，實(shí)現(xiàn)從相機(jī)坐標(biāo)系到激光坐標(biāo)系的轉(zhuǎn)換，表示軌道的點(diǎn)不再是像素而是具有空間坐標(biāo)的點(diǎn)。由于相機(jī)獲取的圖像提供的是二維信息，此時(shí)的軌道點(diǎn)僅包含水平面上的空間位置信息，沒有垂直方向上的準(zhǔn)確空間位置信息。

（2）獲取與輸入圖像同一時(shí)刻的激光點(diǎn)云，由于圖像識別到的軌道點(diǎn)與激光點(diǎn)云中的點(diǎn)并不是一一對應(yīng)的，為了融合同一時(shí)刻的圖像數(shù)據(jù)和激光數(shù)據(jù)，設(shè)置一個(gè)大于軌道寬度的距離閾值，根據(jù)圖像識別的軌道點(diǎn)在水平方向上的坐標(biāo)，找到軌道附近在距離閾值內(nèi)的激光點(diǎn)集。

（3）考慮到激光雷達(dá)的運(yùn)動畸變，需要對激光點(diǎn)云作運(yùn)動補(bǔ)償。運(yùn)動畸變是指一幀激光點(diǎn)云中的點(diǎn)在采集時(shí)存在時(shí)間差，由于激光雷達(dá)隨著載體在運(yùn)動，不同激光點(diǎn)實(shí)際上在不同的坐標(biāo)系中，記錄的激光點(diǎn)位置與實(shí)際位置存在偏差。運(yùn)動補(bǔ)償過程是首先將原始點(diǎn)云從Lidar坐標(biāo)系轉(zhuǎn)到IMU坐標(biāo)系下，通過IMU數(shù)據(jù)進(jìn)行位置漂移估算，再將估算值和Lidar數(shù)據(jù)進(jìn)行差值計(jì)算，最后再將IMU坐標(biāo)系下的點(diǎn)云轉(zhuǎn)換到Start時(shí)刻的Lidar坐標(biāo)系下，從而得到一幀運(yùn)動補(bǔ)償后的、能更好反映出同一時(shí)刻下與軌道圖像一致的真實(shí)軌道環(huán)境點(diǎn)云數(shù)據(jù)。

（4）由于設(shè)置的距離閾值大于實(shí)際軌道寬度，選取的激光點(diǎn)有冗余，不僅包含軌道，同時(shí)也包含其他無關(guān)區(qū)域，需要對激光點(diǎn)做進(jìn)一步篩選處理。使用DoN算法對點(diǎn)云作過濾：以某一激光點(diǎn)作為中心，在某一半徑r距離內(nèi)的相鄰激光點(diǎn)擬合平面，并計(jì)算得到該激光點(diǎn)的表面法向量的模；當(dāng)r選取不同大小時(shí)，表面法向量的模不同；與平面相比，軌道邊緣的表面曲率變化較大，在不同半徑r下對應(yīng)表面法向量的模差異性也較大。假設(shè)在較小的半徑rS下計(jì)算得到的表面法向量的模為mS，在較大的半徑rL下計(jì)算得到的表面法向量的模為mL，Δm= |mL-mS|，去除Δm小于閾值對應(yīng)的激光點(diǎn)，保留邊緣特征明顯的點(diǎn)。根據(jù)點(diǎn)與點(diǎn)之間的歐式距離去除DoN過濾產(chǎn)生的離散點(diǎn)：計(jì)算剩下的每一個(gè)點(diǎn)到最近N個(gè)點(diǎn)的平均歐式距離，將距離值過大的點(diǎn)作為離散點(diǎn)去除。

（5）由于經(jīng)過上一步驟的過濾會去除一部分表示軌道的激光點(diǎn)，剩下的激光點(diǎn)可能由于點(diǎn)數(shù)過少無法直接用于曲線擬合，需要運(yùn)用生長算法選出更多表示軌道的激光點(diǎn)。

（6）將上一步驟得到的點(diǎn)云作為種子點(diǎn)，選取種子點(diǎn)最前端前后長度為d的一段點(diǎn)云作為生長起始段，由于在水平方向上軌道曲率的變化率較小，可認(rèn)為在小距離范圍內(nèi)（例如1 m≤d≤3 m）軌道形狀是近似直線。根據(jù)生長起始段重點(diǎn)激光點(diǎn)在水平面上的坐標(biāo)（x，y）擬合直線方程y=kx，其中k表示斜率，y軸正方向是水平向前，x軸正方向是水平向左。

（7）根據(jù)軌道的寬度和高度設(shè)置閾值xM和zM，從步驟（3）所得的激光點(diǎn)集P中選出到種子點(diǎn)集的橫向距離不大于xM且垂直距離不大于zM的點(diǎn)，并將這些點(diǎn)合并到種子點(diǎn)中，重新選取種子點(diǎn)最前端前后長度為d的點(diǎn)云擬合直線得到斜率，如果前后2次的斜率變化Δk在設(shè)定的范圍內(nèi)，則更新起始點(diǎn)并繼續(xù)向前生長，否則生長結(jié)束。向后生長的算法與向前生長的算法類似，得到表示軌道的激光點(diǎn)云。在水平面和垂直平面上分別對軌道點(diǎn)云作曲線擬合從而得到軌道方程。

4 實(shí)驗(yàn)結(jié)果

列車車頭安裝300線激光雷達(dá)和8 mm單目攝像機(jī)，在40～60 km/h條件下同步采集視頻和激光點(diǎn)云數(shù)據(jù)。經(jīng)過數(shù)據(jù)標(biāo)注、訓(xùn)練和數(shù)據(jù)融合后，實(shí)際運(yùn)行結(jié)果如圖2、圖3所示，結(jié)果表明，本算法可以識別出軌道的直道和彎道，并且在大約50 m內(nèi)具有較好的識別效果，融合算法在一定程度上彌補(bǔ)了圖像深度學(xué)習(xí)結(jié)果的邊緣粗糙問題，并可以根據(jù)擬合結(jié)果獲取軌道坡度信息，但是由于激光點(diǎn)云隨著距離增大而稀疏的特性，對50 m以外的軌道識別只能根據(jù)擬合方程預(yù)測，會存在一定的誤差。

圖2 軌道圖像推理結(jié)果

圖3 軌道激光點(diǎn)云

圖4a中紅色的點(diǎn)表示根據(jù)融合算法識別的軌道點(diǎn)云，軌道邊緣已經(jīng)比較平滑；圖4b是融合結(jié)果的側(cè)視圖，網(wǎng)格邊長1 m，圖4b中綠色表示軌道擬合曲線，從右端到左端呈緩慢上升趨勢，融合算法使軌道坐標(biāo)具有了三維坐標(biāo)空間中垂直水平面方向上的信息。

圖4 軌道識別融合結(jié)果

5 結(jié)論及建議

（1）相較于利用軌道的邊緣特征和直線特征進(jìn)行識別的傳統(tǒng)圖像處理算法和采用單一傳感器的識別算法，基于深度學(xué)習(xí)U-Net網(wǎng)絡(luò)模型的軌道識別算法，通過自動學(xué)習(xí)優(yōu)化參數(shù)和權(quán)重，提取圖片特征，對不同環(huán)境具有較強(qiáng)的魯棒性，融合了基于深度學(xué)習(xí)網(wǎng)絡(luò)模型和激光點(diǎn)云處理的軌道識別算法更能發(fā)揮不同傳感器的優(yōu)勢，對不同環(huán)境具有較強(qiáng)靈活性和普適性。

（2）實(shí)驗(yàn)也表明，圖片標(biāo)注的精度以及傳感器標(biāo)定精度會影響到識別和融合的效果，因此提高訓(xùn)練圖片的數(shù)量和質(zhì)量，優(yōu)化對傳感器標(biāo)定的方法，將是基于多傳感器融合的軌道識別算法的改進(jìn)方向。