基于傳感器數(shù)據(jù)融合的車輛目標(biāo)匹配

馮清泉，張 陽，韋文夏，陳 放

(國防科技大學(xué)信息通信學(xué)院，湖北武漢 430014)

0 引言

隨著對無人駕駛汽車技術(shù)研究的深入，在智能駕駛車輛的感知層面，多傳感器的數(shù)據(jù)融合方法正在被越來越多的研究人員認(rèn)可并采用。目前主要有三種融合方法，分別是基于激光雷達(dá)和圖像數(shù)據(jù)的融合檢測法、基于毫米波雷達(dá)和圖像的融合檢測法[1]以及三種傳感器融合檢測的方法。毫米波雷達(dá)與圖像的融合方法，以其成本較低，受天氣影響小且包含目標(biāo)的運動信息等優(yōu)勢，逐漸成為研究熱點。

傳感器的數(shù)據(jù)融合有不同的策略，主要包括圖像級融合、目標(biāo)級融合和信號級融合三種。圖像級融合是指，將毫米波雷達(dá)的數(shù)據(jù)特征添加補充到圖像特征中，以圖像為主體完成識別分類等相關(guān)任務(wù)；文獻(xiàn)[2-3]利用毫米波雷達(dá)產(chǎn)生感興趣區(qū)域，融合圖像實現(xiàn)了對車輛的檢測和識別。

在圖像級融合策略中，實現(xiàn)毫米波雷達(dá)目標(biāo)和圖像目標(biāo)之間的配準(zhǔn)是實現(xiàn)數(shù)據(jù)融合的一個基礎(chǔ)問題，目標(biāo)匹配結(jié)果的準(zhǔn)確與否直接關(guān)系到融合算法的效果。

1 傳感器數(shù)據(jù)的采集

1.1 毫米波雷達(dá)和相機的安裝與數(shù)據(jù)采集

毫米波雷達(dá)是指工作在毫米波波段的雷達(dá)，本文使用的是德爾福的ESR雷達(dá)，該雷達(dá)是一款高頻電子掃描雷達(dá)，具有中距離和遠(yuǎn)距離的掃描能力，在長距離上對目標(biāo)車輛相對距離和速度進(jìn)行精準(zhǔn)測量，在中距離上可以實現(xiàn)更大角度范圍的覆蓋，比如可以識別兩側(cè)變道超車的車輛目標(biāo)，減少視野盲區(qū)，目標(biāo)分辨能力較強，每次最多可檢測64個目標(biāo)。但毫米波雷達(dá)測量得到的目標(biāo)的角度信息誤差相對較大。攝像機是基于ov10650芯片自主研發(fā)的一款高清攝像機。安裝方式如圖1所示。

圖1 毫米波雷達(dá)和相機安裝示意圖

以毫米波雷達(dá)位置為原點，水平向右為Y軸，垂直向前為X軸建立雷達(dá)坐標(biāo)系。通過測量得到與車體坐標(biāo)系原點，即車輛后軸中心的橫向距離差和縱向距離差，通過簡單的平移變化，將雷達(dá)坐標(biāo)系變換到車體坐標(biāo)系下。

數(shù)據(jù)采集系統(tǒng)主要是獲取前方道路的環(huán)境信息。其中，毫米波雷達(dá)基于多普勒效應(yīng)原理，可以獲取自身車輛與前方目標(biāo)的相對距離、相對速度和角度等重要信息。相機能夠采集全道路信息，它獲取的信息豐富，包含豐富的車輛、行人等動態(tài)障礙物、護(hù)欄邊沿等靜態(tài)障礙物和車道線、路標(biāo)等重要的參考物信息。

1.2 傳感器時空融合模型構(gòu)建

德爾福毫米波雷達(dá)的采樣頻率為20 Hz,即每幀數(shù)據(jù)的采集時間間隔為50 ms，每s采集20幀雷達(dá)數(shù)據(jù)，相機的采樣頻率是50 Hz，即每幀數(shù)據(jù)的采集時間間隔為20 ms，每s采集50幀圖像數(shù)據(jù)。

自動駕駛汽車在高速行駛的狀況下，微小的時間差異也可能會導(dǎo)致周圍環(huán)境信息產(chǎn)生較大變化。因此，構(gòu)建時間配準(zhǔn)模型，以減小甚至去除不同傳感器采集數(shù)據(jù)的時間差，完成對不同傳感器數(shù)據(jù)的同步采集是必不可少的一步。傳感器的時間融合模型如圖2所示。

圖2 時間配準(zhǔn)流程圖

在該融合模型中，設(shè)計數(shù)據(jù)采集主程序、毫米波雷達(dá)數(shù)據(jù)采集程序和圖像采集程序等3個程序，給每一幀數(shù)據(jù)給定一個以系統(tǒng)時間為準(zhǔn)的標(biāo)簽。將數(shù)據(jù)傳輸?shù)骄彌_區(qū)隊列。在數(shù)據(jù)采集主程序中，啟動毫米波雷達(dá)數(shù)據(jù)采集線程和圖像采集線程，以采樣頻率低的毫米波雷達(dá)數(shù)據(jù)為基準(zhǔn)，每采集到1幀毫米波雷達(dá)數(shù)據(jù)，即觸發(fā)圖像采集線程，從緩沖區(qū)隊列中選取相同時間標(biāo)簽的圖像數(shù)據(jù)，以實現(xiàn)數(shù)據(jù)的同步采集和存儲。

以無人駕駛車輛的后軸中心為原點，X、Y、Z軸分別指向車體右方、前方和上方，構(gòu)建車體坐標(biāo)系。車體坐標(biāo)系與毫米波雷達(dá)坐標(biāo)系和相機坐標(biāo)系之間屬于剛體變換，所以根據(jù)毫米波雷達(dá)和相機與后軸中心的相對位置關(guān)系，毫米波雷達(dá)坐標(biāo)系和相機坐標(biāo)系通過簡單的平移旋轉(zhuǎn)變換即可轉(zhuǎn)換到車體坐標(biāo)系下，因此，傳感器的空間融合模型主要研究車體坐標(biāo)系和像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，如圖3所示。

圖3 坐標(biāo)系間轉(zhuǎn)換關(guān)系

2 傳感器數(shù)據(jù)的處理

2.1 毫米波雷達(dá)目標(biāo)數(shù)據(jù)預(yù)處理

目標(biāo)數(shù)據(jù)處理主要考慮兩個方面的限制：一是毫米波雷達(dá)本身性能決定的，對探測目標(biāo)范圍、探測目標(biāo)角度和探測目標(biāo)速度的限制；二是根據(jù)經(jīng)驗，需要人為設(shè)定多個閾值以實現(xiàn)目標(biāo)篩選。

若目標(biāo)的范圍、角度和速度不在掃描能力范圍內(nèi)，則被認(rèn)為是不合理的輸出點，予以剔除。后期工作只對動態(tài)車輛目標(biāo)進(jìn)行跟蹤，即將動態(tài)目標(biāo)定義為有效目標(biāo)，通過雷達(dá)與目標(biāo)的相對速度信息和車身的速度信息得出目標(biāo)的實際速度，這里設(shè)定的判斷動態(tài)車輛目標(biāo)的速度閾值為1 m/s。

2.2 有效目標(biāo)決策算法

對經(jīng)過數(shù)據(jù)預(yù)處理后的毫米波雷達(dá)目標(biāo)數(shù)據(jù)，使用卡爾曼濾波器對下個周期的目標(biāo)進(jìn)行預(yù)測，以獲得有效目標(biāo)的運動狀態(tài)預(yù)測值；根據(jù)判斷2個周期的目標(biāo)一致性，做出目標(biāo)更新或者創(chuàng)建新目標(biāo)序列的決策，同時考慮毫米波雷達(dá)目標(biāo)存在虛假目標(biāo)或者目標(biāo)暫時性消失的情況，在算法中加入目標(biāo)生命周期的算法，按照規(guī)則對目標(biāo)結(jié)果進(jìn)行保持或更換，以準(zhǔn)確地提取有效目標(biāo)?？柭鼮V波算法和目標(biāo)生命周期算法結(jié)合構(gòu)成有效目標(biāo)的決策算法，算法流程如圖4所示。

圖4 有效目標(biāo)決策算法

通過構(gòu)建二階常速度模型的卡爾曼濾波器對毫米波雷達(dá)檢測出的運動目標(biāo)進(jìn)行預(yù)測，記狀態(tài)變量Xk=[dk,vk]T，其中，dk、vk為有效目標(biāo)在第k周期的距離和速度信息，dk+1、vk+1是第k+1周期的預(yù)測值，目標(biāo)預(yù)測值的計算如式(1)所示。

(1)

式中：t代表兩幀毫米波雷達(dá)數(shù)據(jù)之間的采樣時間。

引入目標(biāo)的生命周期算法，描述目標(biāo)從出現(xiàn)到消亡的過程。當(dāng)目標(biāo)預(yù)測值的向量和目標(biāo)測量值的向量之間的相似度滿足條件時，則認(rèn)為是同一個目標(biāo)，完成對目標(biāo)的一致性檢驗，目標(biāo)的生命值參數(shù)age、總的可視化值total Visible Count累加，連續(xù)不可視參數(shù)Consecutive Invisible Count置0,反之，則認(rèn)為是一個新的目標(biāo)出現(xiàn)，創(chuàng)建一個新的目標(biāo)跟蹤序列，目標(biāo)的生命值age、總的可視化值total Visible Count置為1，連續(xù)不可視參數(shù)Consecutive Invisible Count置0。

本周期中，所有的目標(biāo)測量向量與目標(biāo)預(yù)測值向量匹配完成之后，如有未被匹配的目標(biāo)預(yù)測值向量，則將該預(yù)測值作為本周期目標(biāo)的測量值繼續(xù)使用，更新該向量的參數(shù)，生命值age累加1，連續(xù)不可視參數(shù)Consecutive Invisible Count累加1，總的可視化值total Visible Count不變。

根據(jù)以上參數(shù)，制定了目標(biāo)的出現(xiàn)、持續(xù)和消亡機制。當(dāng)被跟蹤的目標(biāo)的生命值age大于參數(shù)閾值時，則認(rèn)為新目標(biāo)出現(xiàn)；當(dāng)被跟蹤的目標(biāo)的連續(xù)不可見的累加值Consecutive Invisible Count大于參數(shù)閾值或其可見度visibility小于該參數(shù)閾值時，目標(biāo)消亡，否則目標(biāo)保持持續(xù)存在。由此，形成了對目標(biāo)從出現(xiàn)持續(xù)到消亡的描述。

2.3 圖像數(shù)據(jù)處理

基于深度學(xué)習(xí)模型的目標(biāo)檢測算法是目前目標(biāo)檢測領(lǐng)域的主流算法，根據(jù)模型的不同，將其分為兩類，一類是以Fast R-CNN等為代表的兩階段檢測算法，另一類是以YOLO為代表的一步檢測算法。我們采用的目標(biāo)檢測算法叫做多尺度下快速目標(biāo)檢測算法，簡稱MS-CNN[4]，它屬于第一類檢測算法，相比于其他算法，它的優(yōu)勢主要在于考慮了多尺度同時存在時的檢測問題，同時該算法的運行速度較快，較為適合于對道路上不同尺度的車輛目標(biāo)的檢測，同時又能滿足對實時性的要求。

通過在自己構(gòu)建的圖像數(shù)據(jù)集上的訓(xùn)練，該算法對目標(biāo)車輛的檢測效果如圖5所示,結(jié)果表明該算法的檢測效果好，識別率高，選取檢測準(zhǔn)確率為100%的圖像組成新的圖像數(shù)據(jù)集，以便確保目標(biāo)匹配實驗的準(zhǔn)確。

圖5 檢測效果圖

3 目標(biāo)匹配

通過傳感器空間融合模型中坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，將毫米波雷達(dá)坐標(biāo)系下的目標(biāo)點投影到像素坐標(biāo)系下。投影結(jié)果如圖6所示，圖中點表示的是毫米波雷達(dá)的目標(biāo)點，可以看出，除去兩邊投在護(hù)欄和其他靜態(tài)障礙物上的目標(biāo)點外，在本車道和鄰近車道共有4個目標(biāo)點。其中，圖像因為遮擋的問題，只能看到3輛目標(biāo)車輛，而毫米波雷達(dá)可以穿透遮擋，檢測到被本車道的車遮擋住的前方的車輛。通過觀察可以發(fā)現(xiàn)，毫米波雷達(dá)的目標(biāo)點一般出現(xiàn)在目標(biāo)車輛的正下方。

圖6 毫米波雷達(dá)目標(biāo)在圖像上的投影結(jié)果

根據(jù)圖像檢測的結(jié)果，以圖像檢測框的底部中點為圓心,以r為半徑，計算公式如下。

r=c·0.5·max(L,W)

(2)

式中：c為一個松弛系數(shù)，這里取作1.2；L和W分別為圖像檢測框的長和寬，即以檢測框中長和寬中最大值的一半的c倍作為半徑，在這個圓的范圍內(nèi)，尋找與圓心最近的毫米波雷達(dá)點。

這樣做主要考慮車輛距離遠(yuǎn)近帶來的尺度變化問題。實驗證明，該方法的匹配效果較好。

4 實驗驗證

4.1 有效目標(biāo)決策算法

將毫米波雷達(dá)的目標(biāo)點投影在圖像中的像素坐標(biāo)系下。在像素坐標(biāo)系下，對車輛目標(biāo)進(jìn)行標(biāo)圖作為參考樣本，分別將算法處理前后的毫米波雷達(dá)目標(biāo)與參考目標(biāo)之間進(jìn)行對比分析。

選取圖像中的100幀數(shù)據(jù)，人工標(biāo)定其中的一個車輛目標(biāo)，選取標(biāo)定框底部中點的圖像像素坐標(biāo)。通過計算與標(biāo)定點的歐式距離，將經(jīng)算法處理的毫米波雷達(dá)目標(biāo)與處理過后的雷達(dá)目標(biāo)在v方向上進(jìn)行對比分析。如圖7、圖8所示。

圖8 使用算法處理后的毫米波目標(biāo)

叉狀點代表毫米波雷達(dá)目標(biāo)的像素坐標(biāo)在v方向的值，圓形點代表人工標(biāo)定目標(biāo)的像素坐標(biāo)在v方向上的值。

通過觀察圖7實驗結(jié)果，發(fā)現(xiàn)未經(jīng)算法處理的毫米波雷達(dá)點在v方向上有較多噪聲。而經(jīng)過算法處理后的結(jié)果如圖8所示，發(fā)現(xiàn)除部分干擾點外，提出的有效目標(biāo)決策算法實現(xiàn)了對目標(biāo)的有效跟蹤，降低噪音干擾，得到有效目標(biāo)的效果較好。

4.2 目標(biāo)匹配算法

如圖9所示，是較為典型的匹配結(jié)果，圖中點為毫米波雷達(dá)的目標(biāo)點，檢測框為深度學(xué)習(xí)算法的檢測結(jié)果?？梢园l(fā)現(xiàn)，毫米波雷達(dá)點對于遠(yuǎn)處的兩側(cè)目標(biāo)是沒有匹配點的，而對于近處的兩側(cè)目標(biāo)是有目標(biāo)點的，這主要是由毫米波雷達(dá)遠(yuǎn)距離和中距離的掃描范圍能力決定的。

考慮到毫米波雷達(dá)的掃描能力范圍，在計算毫米波雷達(dá)和圖像檢測的目標(biāo)匹配率時，選取自車前方一定角度范圍內(nèi)的檢測結(jié)果和匹配結(jié)果。通過選取5組數(shù)據(jù)，每組數(shù)據(jù)有100幀毫米波雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)，共500幀數(shù)據(jù)。分別統(tǒng)計每組數(shù)據(jù)的圖像檢測框的總數(shù)和與框匹配的毫米波雷達(dá)目標(biāo)點的數(shù)據(jù)。

定義匹配準(zhǔn)確率為：匹配點的總數(shù)/檢測框的總數(shù)×100%。

實驗結(jié)果如表1所示，可見該方法的目標(biāo)總匹配準(zhǔn)確率達(dá)到了90.7%，匹配效果好，實現(xiàn)了目標(biāo)進(jìn)行數(shù)據(jù)融合的基礎(chǔ)。

5 結(jié)束語

毫米波雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)的融合是一項有效的目標(biāo)檢測方案，二者目標(biāo)的匹配工作是實現(xiàn)二者融合的基礎(chǔ)性工作，本文在圖像級層面實現(xiàn)了目標(biāo)的匹配，但目標(biāo)級以及信號級層面匹配的意義更大，難度也更高，將是下一步的工作的研究方向。