車載激光雷達(dá)和視覺傳感器融合算法研究

李貴炎

(南京交通職業(yè)技術(shù)學(xué)院,江蘇 南京 211188)

0 引言

近年來,隨著移動(dòng)技術(shù)和通信技術(shù)的發(fā)展[1],許多新型高端技術(shù)被應(yīng)用到智能駕駛系統(tǒng)的研發(fā)中[2]。 其中,一種新型的車載激光雷達(dá)被廣泛用于檢測(cè)智能駕駛系統(tǒng)中的引導(dǎo)功能[3]。 該車載激光雷達(dá)對(duì)車輛周圍的空間具有搜索范圍廣、信息范圍廣和單幅圖像信息、精度高等優(yōu)點(diǎn),本文重點(diǎn)介紹基于車載激光雷達(dá)的線搜索技術(shù)[4]。

1 相關(guān)概念

1.1 激光雷達(dá)傳感器

激光雷達(dá)掃描儀的眾多優(yōu)勢(shì),使其成為復(fù)雜交通環(huán)境中視覺檢測(cè)的理想選擇[5]。 視覺系統(tǒng)的主要功能是契合智能駕駛環(huán)境自動(dòng)作出指令和判斷,指導(dǎo)智能駕駛行為[6]。 本文提出的激光雷達(dá)多面組合檢測(cè)算法流程,如圖1 所示。

圖1 基于激光雷達(dá)的障礙物檢測(cè)算法流程

1.2 基于激光雷達(dá)的障礙物識(shí)別方法

1.2.1 地面分割

交通環(huán)境中會(huì)出現(xiàn)很多突發(fā)情況[7],駕駛員一般難以從容、整合處理。 對(duì)于車載激光雷達(dá)來說,處理復(fù)雜交通情況則相對(duì)容易。 地面分割是一種簡(jiǎn)單有效的預(yù)防方法,可以用于處理突發(fā)狀況。 綜合考慮,本項(xiàng)目采用RANSAC 算法(Random Sample Consensus, RANSAC)進(jìn)行遺傳分離[8],其第一個(gè)均衡模型可以定義為[9]:

在進(jìn)行地表分割時(shí)[10],系統(tǒng)操作人員必須先將指標(biāo)代入符號(hào),計(jì)算誤差,根據(jù)指定的閾值分析PROad 符號(hào)集中的第一個(gè)符號(hào),然后對(duì)第一個(gè)內(nèi)部基因應(yīng)用RANSAC 算法設(shè)置PROad。

1.2.2 點(diǎn)云柵格化

激光雷達(dá)傳感器的數(shù)據(jù)傳輸量非常大,Velodyne 64 線激光雷達(dá)在雙響應(yīng)模式下每秒產(chǎn)生3D 掃描。 信號(hào)數(shù)量可以達(dá)到220 萬個(gè),即使去除地面信號(hào),云的數(shù)據(jù)大小也保持不變,并且還會(huì)留下標(biāo)記供適當(dāng)處理,光束可能不會(huì)被激光掃描,遠(yuǎn)處的格柵會(huì)產(chǎn)生隔音格柵,并降低能見度。

如圖2 所示,確保網(wǎng)格有兩束激光束,距離激光雷達(dá)的距離為d,本研究必須調(diào)整線的大小,使其與線和激光雷達(dá)中心的距離相等。 這是因?yàn)榭拷皩?dǎo)水平面的激光束之間的夾角非常小,根據(jù)弧長(zhǎng)模型可以得到晶格長(zhǎng)度的最小值Gmin:

圖2 柵格與激光掃描線位置關(guān)系示意

式中:θ為相鄰兩束激光線之間的水平夾角,根據(jù)一定的情況,考慮網(wǎng)格上存儲(chǔ)的網(wǎng)格的內(nèi)存問題,設(shè)計(jì)人員選擇一個(gè)最大尺寸的格網(wǎng)。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

1.3.1 卷積神經(jīng)網(wǎng)絡(luò)的組成

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)技術(shù)中最重要的模型之一,其有很多不一樣的網(wǎng)絡(luò)層。 從實(shí)用的角度來看,這些網(wǎng)絡(luò)層可以分為兩部分:信號(hào)層和解密層。 卷積層利用卷積紋理對(duì)部分?jǐn)?shù)據(jù)場(chǎng)進(jìn)行卷積函數(shù)計(jì)算,如見圖3 所示。

圖3 卷積操作

從卷積的具體操作過程中可以看出,卷積函數(shù)是提取數(shù)據(jù)的高級(jí)抽象特征和近似數(shù)據(jù)的關(guān)系特征。

1.3.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)借助卷積運(yùn)算操作的優(yōu)勢(shì),與數(shù)據(jù)序列相關(guān)的數(shù)據(jù)有本地關(guān)聯(lián)(最近的數(shù)據(jù)有更強(qiáng)的關(guān)聯(lián)),因此可以用CNN 來處理它們的本地特性。CNN 的基本結(jié)構(gòu),如圖4 所示,主要包含卷積層與池化層。

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

輸入x數(shù)據(jù)時(shí),卷積層的特征圖C可表示如下:

式中,?為卷積操作;W為卷積核的權(quán)重向量;h表示偏移量;本文采用Relu 函數(shù),可以選用的還有sigmoid,tank 等。

2 車載激光雷達(dá)與視覺傳感器融合的障礙物識(shí)別方法

2.1 車載激光雷達(dá)

車載激光雷達(dá)被稱為車上的3D 激光掃描儀,其配備有移動(dòng)式3D 激光掃描系統(tǒng),是最有效的建模工具之一。 建模技術(shù)如圖5 所示,其看起來與實(shí)際圖片相似,但是由幾個(gè)激光點(diǎn)組成,不同顏色反映了激光返回的不同反射作用。

圖5 建模技術(shù)

2.1.1 DTM 建模技術(shù)

DTM(Digital Terrain Model)建模技術(shù)起初用于高速公路建設(shè)。 建模技術(shù)的主要功能是使用由3D 激光掃描儀和其他設(shè)備掃描“信號(hào)云”,通過計(jì)算機(jī)處理來創(chuàng)建3D 模型(通常是將信號(hào)鏈接到線或幀)。

2.1.2 車載/船載激光雷達(dá)

不論是車載、船載還是機(jī)載的激光雷達(dá),目標(biāo)都是在交通工具上的POS 系統(tǒng)中添加3D 激光掃描儀。 該項(xiàng)目應(yīng)該能夠在更長(zhǎng)的范圍內(nèi)創(chuàng)建DTM 模型,前提是將先進(jìn)的導(dǎo)航系統(tǒng)集成到其他輔助手提包中,并完成數(shù)據(jù)處理程序,以確保路線的準(zhǔn)確性,防止GPS 信號(hào)的丟失。

2.2 數(shù)據(jù)層融合

為了克服激光雷達(dá)在障礙物檢測(cè)算法方面的弱點(diǎn),技術(shù)人員要注意算法的端到端處理,可以消除對(duì)一個(gè)值為1～7 的循環(huán)預(yù)設(shè)模型的依賴,使用相關(guān)算法進(jìn)行深入研究。 但是,激光雷達(dá)數(shù)據(jù)不完整且有限,不能作為卷積神經(jīng)網(wǎng)絡(luò)的積分器。 因此,雷達(dá)圖制作需要分為兩部分:(1)確定激光雷達(dá)點(diǎn)云在圖像平面的位置。 (2)確定雷達(dá)圖的“像素值”。

本文根據(jù)Lawson 算法得到散點(diǎn)之間的Delaunay三角形,其算法步驟如下。

Step1:位置。

Step2:構(gòu)造一個(gè)全能包含全部散點(diǎn)矩形,并記錄該矩形的4 個(gè)頂點(diǎn)D1,D2,D3,D4,在散點(diǎn)中任選一點(diǎn)P1與矩形的4 個(gè)頂點(diǎn)相連構(gòu)成4 個(gè)三角形,圖6 是Lawson 算法的Step 1 與Step2 的示意圖。

圖6 Step 1 與Step2 的示意

如圖7 所示,為了在一系列散點(diǎn)上創(chuàng)建一個(gè)DT 三角形,在DT 三角形之后,原始散點(diǎn)設(shè)計(jì)的表面被分成了具有多個(gè)三角形的層。

圖7 DT 三角剖分

2.3 高階特征融合

卷積神經(jīng)網(wǎng)絡(luò)中的卷積執(zhí)行能得到圖像的高階特征,對(duì)其進(jìn)行學(xué)習(xí)。 然而,在獲得分離結(jié)果時(shí),卷積的作用是去除關(guān)鍵信息而忽略局部細(xì)節(jié),圖8 展示了Enet-CRF-Lida 網(wǎng)絡(luò)模型的總體框架。

圖8 Enet-CRF-Lidar 網(wǎng)絡(luò)模型

2.4 實(shí)驗(yàn)分析

Enet,Enet-CRF 和Enet-CRF-Lidar:經(jīng)過訓(xùn)練后在測(cè)試集A 上,其測(cè)試結(jié)果如表1 所示。 從表1 中可以看出,本文研究的激光雷達(dá)通知方法(Enet-CRFLidar),結(jié)合了激光雷達(dá)在像素密度和平均IoU 精度上的優(yōu)勢(shì),其優(yōu)于其他兩種網(wǎng)絡(luò)模型,可用于分析網(wǎng)絡(luò)性能的條件。

Enet,Enet-CRF 和Enet-CRF-Lidar 在測(cè)試集A 上的部分輸出結(jié)果如圖9 所示。 從圖9 和表1 所示結(jié)果可以得出,在公路、道路等簡(jiǎn)單車輛的情況下,3 種網(wǎng)絡(luò)模型都可以用于對(duì)前停站進(jìn)行分類,所以分類的準(zhǔn)確率,尤其是每段橫向位置的準(zhǔn)確率要高于Enet,在城市、路口等特定區(qū)域或場(chǎng)景等環(huán)境復(fù)雜的地方,交通主體眾多,Enet 的分離效果并不好。

圖9 各模型在測(cè)試集A 上的部分輸出結(jié)果

表1 各模型在測(cè)試集A 上的表現(xiàn)

3 結(jié)語

根據(jù)文章的研究信息和特點(diǎn),本實(shí)驗(yàn)選擇了一個(gè)類似的數(shù)據(jù)集。 將Enet、Enet-CRF 和Enet-CRF-Lidar 與測(cè)試集A 和測(cè)試集B 進(jìn)行對(duì)比,與Enet-CRF 進(jìn)行對(duì)比,本研究開發(fā)的線搜索通知方法可以提高智能駕駛系統(tǒng)的通知效率和精度,證實(shí)其在視覺傳感器融合算法方面的性能有效。