基于視覺(jué)與激光雷達(dá)數(shù)據(jù)融合的前車識(shí)別研究

楊曉麗 劉博濤 趙哲 段敏 蘇欣 曹景勝

摘 要：智能駕駛技術(shù)已經(jīng)成為智能車的重要開(kāi)發(fā)領(lǐng)域 這一技術(shù)實(shí)現(xiàn)的關(guān)鍵就是對(duì)車輛精確的環(huán)境感知 對(duì)周圍物體進(jìn)行準(zhǔn)確識(shí)別 避免車輛在行駛過(guò)程中出現(xiàn)事故 在智能輔助駕駛系統(tǒng)起關(guān)鍵性作用。目前 單一傳感器不能滿足復(fù)雜工況下的路面識(shí)別 基于多傳感器的數(shù)據(jù)融合（Multi-sensor Information Fusion MSIF）可以提高檢測(cè)效率 改善單一傳感器檢測(cè)不精確的缺陷 文章先對(duì)傳感器進(jìn)行標(biāo)定實(shí)現(xiàn)多傳感器的時(shí)空同步 對(duì)識(shí)別的物體進(jìn)行檢測(cè)判斷 確定前車。實(shí)驗(yàn)結(jié)果表明此方法有利于提高汽車安全行駛性能 可以準(zhǔn)確、實(shí)時(shí)地識(shí)別前方車輛 滿足多工況下的前車識(shí)別。

關(guān)鍵詞：激光雷達(dá);機(jī)器視覺(jué);融合;前車識(shí)別

中圖分類號(hào)：TP212.9? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：1671-7988（2020）18-22-03

Absrtact： Intelligent driving technology has become an important development field of intelligent vehicles. The key to realize this technology is to accurately perceive the environment of vehicles， accurately identify the surrounding objects， and avoid accidents in the process of driving， which plays a key role in the intelligent auxiliary driving system. At present， a single sensor can not meet the requirements of road recognition under complex working conditions. Multi sensor information fusion （MSIF） can improve the detection efficiency and improve the single sensor detection imprecise defect. In this paper， firstly， the sensor is calibrated to realize the spatiotemporal synchronization of multi-sensor， and the identified object is detected and judged to determine the front vehicle. The experimental results show that it is conducive to improve the safe driving performance of the vehicle， can accurately and real-time identify the front vehicle， and meet the front vehicle recognition under multiple working conditions.

Keywords： Lidar; Machine vision; Fusion; Front vehicle recognition

CLC NO.： TP212.9? Document Code： A? Article ID： 1671-7988（2020）18-22-03

1 引言

環(huán)境感知系統(tǒng)的研發(fā)已經(jīng)取得了很大進(jìn)展 使得前方檢測(cè)技術(shù)成為當(dāng)前研究熱點(diǎn) 無(wú)人駕駛技術(shù)中 環(huán)境感知是利用傳感器（車載超聲波傳感器、毫米波雷達(dá)、激光雷達(dá)、視覺(jué)傳感器以及V2X通信技術(shù)等）獲取道路信息、車輛位置、障礙物信息等 將這些信息傳輸給車載控制中心 環(huán)境感知問(wèn)題即車輛在正常道路上行駛時(shí)需要與其他車輛保持安全距離以及預(yù)測(cè)他們的下一個(gè)位置。此項(xiàng)技術(shù)可以避免在復(fù)雜的行駛工況中發(fā)生碰撞。多傳感器融合不僅能更加精確地識(shí)別物體 也能提高檢測(cè)效率[1]。

2 多傳感器信息融合的前車識(shí)別技術(shù)

外界環(huán)境感知技術(shù)是通過(guò)各種傳感器對(duì)接收到的信息進(jìn)行分析 實(shí)現(xiàn)對(duì)周圍環(huán)境的準(zhǔn)確評(píng)估從而迅速應(yīng)對(duì)。多傳感器融合的體系結(jié)構(gòu)分為分布式、集中式和混合式[2]。

2.1 分布式

分布式多傳感器對(duì)通信帶寬的需求低 先對(duì)各個(gè)傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理 計(jì)算速度快可靠性和延續(xù)性好 但是精度相對(duì)來(lái)說(shuō)不高。

2.2 集中式

集中式傳感器將傳感器獲得的原始數(shù)據(jù)直接送至信息融合中心進(jìn)行融合處理 從而實(shí)現(xiàn)融合。數(shù)據(jù)處理精度相對(duì)較高 但是數(shù)據(jù)量比較大。

2.3 混合式

混合式多傳感器信息融合 部分傳感器采用的是集中式融合 期許傳感器采用分布式融合?；旌鲜饺诤峡蚣芫哂泻軓?qiáng)的適應(yīng)能力 它的結(jié)構(gòu)比前兩種融合方式相對(duì)復(fù)雜。

3 激光雷達(dá)與機(jī)器視覺(jué)的數(shù)據(jù)層融合

3.1 相機(jī)標(biāo)定

利用視覺(jué)傳感器識(shí)別前輪時(shí) 相機(jī)檢測(cè)的三維圖像轉(zhuǎn)換為二維圖像 然后再投影到激光雷達(dá)檢測(cè)的點(diǎn)云中 以獲得相應(yīng)的三維邊界場(chǎng) 這需要激光雷達(dá)和攝像機(jī)共同校準(zhǔn)[2]。攝像機(jī)校準(zhǔn)需要校準(zhǔn)板 最好是硬板 完成相機(jī)標(biāo)定。

3.2 聯(lián)合標(biāo)定

將激光雷達(dá)采集到的點(diǎn)云信息和相機(jī)采集到的圖像信息融合 將點(diǎn)云視角與相機(jī)內(nèi)部參數(shù)進(jìn)行調(diào)整 確保二者能夠充分在白色校準(zhǔn)板上呈現(xiàn)。 在激光雷達(dá)捕捉到點(diǎn)云上 選擇圖像中相應(yīng)校準(zhǔn)板的位置 選擇的時(shí)候要確保法相量與平面是垂直的。成像原理如下：

4 雷達(dá)與機(jī)器視覺(jué)融合方法研究

雷達(dá)與機(jī)器視覺(jué)融合主要現(xiàn)在分為時(shí)間融合和空間融合。

4.1 時(shí)間融合

時(shí)間融合是雷達(dá)與傳感器在觸發(fā)采集命令的同時(shí) 實(shí)現(xiàn)各傳感器的收集和檢測(cè)的時(shí)間相同。通過(guò)同一臺(tái)電腦控制采集和檢測(cè)的信息 每個(gè)傳感器提供計(jì)時(shí)。每臺(tái)傳感器按照設(shè)定好的時(shí)間將各自收集的獨(dú)立信息進(jìn)行同步 達(dá)到時(shí)間上的同步。但是每個(gè)傳感器的采集周期是各自獨(dú)立的 在相同時(shí)間收集相同的情報(bào)是不能保障的。一般來(lái)說(shuō) 激光雷達(dá)與機(jī)器視覺(jué)的采集頻率是不同的 難以做到時(shí)間上的同步性。如果將關(guān)鍵處理參數(shù)定義為時(shí)間變量 雖然可以得到較好的融合度 但卻會(huì)降低采樣的效率[3]。

4.2 空間融合

空間融合是指對(duì)激光雷達(dá)和機(jī)器視覺(jué)采集的目標(biāo)數(shù)據(jù)進(jìn)行準(zhǔn)確的匹配。通過(guò)采用多級(jí)多側(cè)面的數(shù)據(jù)處理方法 對(duì)有效信息進(jìn)行相關(guān)性分析并進(jìn)行組合評(píng)價(jià) 以提高檢測(cè)的準(zhǔn)確可靠性 同時(shí)優(yōu)化障礙物的形狀、距離及材質(zhì)等特征信息 以便做出準(zhǔn)確的判斷。空間融合的主要關(guān)鍵在于激光雷達(dá)與機(jī)器視覺(jué)空間信息的融合。

首先 需將機(jī)器視覺(jué)參數(shù)的約束方程式解算完畢后 就能夠確定激光雷達(dá)與機(jī)器視覺(jué)的坐標(biāo)轉(zhuǎn)換關(guān)系。這樣一來(lái) 激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)就可以投射到機(jī)器視覺(jué)獲取的圖像上 假設(shè)空間某點(diǎn)的坐標(biāo)為A（x0，y0，z0） 它與平面圖像對(duì)應(yīng)的二維坐標(biāo)為A（x1，y1） 聯(lián)立公式整理有如下初步的轉(zhuǎn)換關(guān)系：

上式中 L為激光束與空間某點(diǎn)的距離 a為方位角 b為水平角度 A為3×4矩陣。通過(guò)公式3即可完成兩種檢測(cè)信息的空間坐標(biāo)系的轉(zhuǎn)換。綜上 通過(guò)將激光雷達(dá)與機(jī)器視覺(jué)的空間坐標(biāo)系相統(tǒng)一 就可以大幅度提高障礙物識(shí)別的準(zhǔn)確率;同時(shí)將點(diǎn)云數(shù)據(jù)與平面圖像信息相融合 又可以提高檢測(cè)系統(tǒng)的數(shù)據(jù)采集效率 從而更好地完成障礙物檢測(cè)工作。

5 結(jié)論

通過(guò)對(duì)目前國(guó)內(nèi)外車輛識(shí)別研究現(xiàn)狀調(diào)查發(fā)現(xiàn) 雷達(dá)系統(tǒng)對(duì)環(huán)境適應(yīng)性強(qiáng) 對(duì)景深信息與速度信息提取方面具有優(yōu)勢(shì) 然而其存在原始數(shù)據(jù)噪聲較大 漏檢率與誤檢率較高 角度分辨率不高得劣勢(shì)。視覺(jué)系統(tǒng)而言 獲取信息豐富 成本較低 尤其在目標(biāo)識(shí)別分類具有較大優(yōu)勢(shì) 但其存在實(shí)時(shí)性較差 易受環(huán)境影響的不足。為此 本文擬將二者取長(zhǎng)補(bǔ)短 以融合的方式獲取適應(yīng)性與魯棒性更優(yōu)的車輛識(shí)別算法。

參考文獻(xiàn)

[1] 陳曉偉.汽車前方車輛識(shí)別的雷達(dá)和視覺(jué)信息融合算法開(kāi)發(fā)[D].吉林大學(xué)，2016.

[2] 李文斌.非線性系統(tǒng)的濾波融合算法研究[D].杭州電子科技大學(xué)， 2011.

[3] 何秉高，孫向陽(yáng)，史麗娟，趙希祿.基于激光雷達(dá)與機(jī)器視覺(jué)融合的軌道交通障礙物檢測(cè)方法研究[J].輕工科技，2019，35（09）：80-82.

[4] 高德芝，段建民，于宏嘯.基于激光雷達(dá)和攝像機(jī)的前方車輛檢測(cè)[J].北京工業(yè)大學(xué)學(xué)報(bào)，2012，38（09）：1337-1342.