一種基于雷達(dá)和機(jī)器視覺信息融合的車輛識別方法*

王寶鋒，齊志權(quán)，馬國成，陳思忠

(北京理工大學(xué)機(jī)械與車輛學(xué)院，北京 100081)

?

2015119

一種基于雷達(dá)和機(jī)器視覺信息融合的車輛識別方法*

王寶鋒，齊志權(quán)，馬國成，陳思忠

(北京理工大學(xué)機(jī)械與車輛學(xué)院，北京 100081)

為提高先進(jìn)駕駛員輔助系統(tǒng)對車輛前方環(huán)境識別的準(zhǔn)確性，提出一種基于雷達(dá)和視覺傳感器信息融合的車輛識別方法。系統(tǒng)工作前預(yù)先對毫米波雷達(dá)和攝像頭進(jìn)行聯(lián)合標(biāo)定，并確定雷達(dá)坐標(biāo)系和攝像頭坐標(biāo)系的變換關(guān)系。車輛識別過程中，首先根據(jù)雷達(dá)信息確定圖像坐標(biāo)系中的車輛識別感興趣區(qū)域；然后對感興趣區(qū)域進(jìn)行對稱性分析獲得車輛對稱中心，并對車輛底部陰影特征進(jìn)行分析處理完成車輛邊緣檢測；最后根據(jù)逆透視變換得到車輛識別寬度，根據(jù)識別寬度對識別結(jié)果進(jìn)行驗(yàn)證。結(jié)果表明該算法具有較強(qiáng)的環(huán)境適應(yīng)性和準(zhǔn)確率，彌補(bǔ)了單一傳感器在車輛識別中的不足。

車輛識別；雷達(dá)；機(jī)器視覺；信息融合

前言

汽車追尾事故是公路交通中最多發(fā)也是車輛運(yùn)行過程中最危險(xiǎn)的事故之一，其中91%的追尾事故是由于駕駛員注意力分散(打盹、打電話等)引起的，如果提前0.5s提醒駕駛員采取措施，60%的追尾事故可以避免，而如果提前1s提醒駕駛員則追尾事故避免率則可高達(dá)90%[1]。先進(jìn)駕駛員輔助系統(tǒng)(advanced driver assistance system, ADAS)可以通過傳感器實(shí)時(shí)監(jiān)測前方車輛的運(yùn)行情況，能夠及時(shí)提醒駕駛員前向碰撞危險(xiǎn)，防止追尾事故的發(fā)生；同時(shí)又可以減輕駕駛員駕駛強(qiáng)度，緩解駕駛疲勞。

隨著低成本高性能圖像傳感器的不斷普及和圖像處理技術(shù)的不斷發(fā)展，基于視覺的車輛識別方法越來越多地應(yīng)用于駕駛員輔助系統(tǒng)中，國內(nèi)外學(xué)者對此進(jìn)行了大量研究。文獻(xiàn)[2]中提出了一種應(yīng)用單目視覺進(jìn)行車輛檢測的方法，該方法以車輛底部陰影為特征，采用了自適應(yīng)雙閾值對圖像進(jìn)行預(yù)處理，并利用能量密度驗(yàn)證的方法進(jìn)行車輛跟蹤，具有較高的識別精度。文獻(xiàn)[3]和文獻(xiàn)[4]中均利用Haar特征的方法進(jìn)行車輛識別，其中文獻(xiàn)[4]在灰度Haar特征的基礎(chǔ)上，提出了基于邊緣Haar特征的車輛識別方法，有效降低了目標(biāo)誤檢率。車輛尾部對稱性是車輛又一重要特征，而基于對稱性特征的車輛識別方法中，圖像采樣窗口尺寸的確定是算法的關(guān)鍵，文獻(xiàn)[5]中采用多尺寸窗口和聚類技術(shù)對圖像進(jìn)行對稱性分析完成車輛尋找，文獻(xiàn)[6]中更是采用了全尺寸(從一個(gè)像素到最大寬度)窗口對圖像進(jìn)行對稱性分析，二者對于采樣窗口的確定都有一定的盲目性，大大增加了算法的運(yùn)算量。此外，基于視覺傳感器車輛的距離信息較難獲得，且距離較遠(yuǎn)時(shí)精度較差，只能在一定范圍內(nèi)進(jìn)行車輛識別[7]。

針對單一導(dǎo)航系統(tǒng)在汽車行駛環(huán)境識別過程中的不足，本文中采用基于雷達(dá)和視覺傳感器融合的車輛識別方法。算法利用了雷達(dá)目標(biāo)精確的位置信息對圖像中車輛識別感興趣區(qū)域(region of interest, ROI)進(jìn)行動態(tài)規(guī)劃，然后通過對稱性分析和車輛底部陰影確定車輛在圖像中的位置、邊界和寬度。在對稱性分析中，基于透視變換的自適應(yīng)采樣窗口的應(yīng)用減少了算法運(yùn)算量，基于底部陰影和寬度的車輛驗(yàn)證方法降低了目標(biāo)誤檢率，提高了識別精度。

1 雷達(dá)和機(jī)器視覺的空間同步

雷達(dá)和攝像頭用來采集信息，感知前方道路環(huán)境，本文中采用76-77GHz Delphi ESR毫米波雷達(dá)和大恒GV400UM單目攝像頭作為傳感器。雷達(dá)和攝像頭安裝位置如圖1所示，雷達(dá)固定于車輛保險(xiǎn)杠上方中央，攝像頭固定于汽車前風(fēng)窗玻璃下。完成雷達(dá)和攝像頭安裝之后，對其進(jìn)行參數(shù)標(biāo)定，攝像頭的標(biāo)定采用標(biāo)準(zhǔn)棋盤角點(diǎn)提取的方法，首先采集不同位置關(guān)系與姿態(tài)下的標(biāo)準(zhǔn)棋盤圖像，然后利用Matlab工具箱標(biāo)定程序?qū)ζ灞P圖像進(jìn)行角點(diǎn)提取，并根據(jù)棋盤實(shí)際尺寸和位置關(guān)系最終確定攝像頭內(nèi)外部參數(shù)。根據(jù)攝像頭內(nèi)外部參數(shù)和雷達(dá)與攝像頭的位置關(guān)系獲得二者坐標(biāo)系空間轉(zhuǎn)換關(guān)系，即透視變換：

(xI,yI)=T(xR,yR,zI)

(1)

式中：xR,yR,zI分別為目標(biāo)在雷達(dá)坐標(biāo)系中橫向位置、縱向位置和垂直高度；xI,yI分別為圖像中相應(yīng)目標(biāo)的橫坐標(biāo)和縱坐標(biāo)。

2 基于雷達(dá)信號的車輛識別感興趣區(qū)域規(guī)劃

2.1 雷達(dá)信號預(yù)處理

將雷達(dá)各原始目標(biāo)信號投影到圖像中得到雷達(dá)原始數(shù)據(jù)圖，如圖2所示?？梢钥闯觯走_(dá)探測到的原始目標(biāo)信號包含所有探測到的障礙物，包括樹木、護(hù)欄、橋墩和噪聲等，所以須先對雷達(dá)返回的目標(biāo)信號進(jìn)行預(yù)處理，剔除目標(biāo)噪聲。根據(jù)透視原理，目標(biāo)距離攝像頭越遠(yuǎn)，圖像中對應(yīng)的目標(biāo)體積越小，特征越不明顯；而且輔助駕駛系統(tǒng)只須對主車道和旁側(cè)車道內(nèi)的目標(biāo)進(jìn)行識別即可滿足安全要求。因此，在結(jié)合文獻(xiàn)[8]中所提出的安全車距模型的要求下，將車輛前方橫向10m寬，縱向70m遠(yuǎn)的矩形范圍定義為識別區(qū)域，并剔除該范圍以外的信號。對于識別區(qū)域內(nèi)的目標(biāo)再根據(jù)其速度與相對位置關(guān)系進(jìn)行分析，有效剔除路邊護(hù)欄和隔離帶等靜止目標(biāo)，最后獲得潛在車輛目標(biāo)，如圖3所示。

2.2 車輛識別感興趣區(qū)域的動態(tài)規(guī)劃

車輛識別感興趣區(qū)域的確定包括區(qū)域位置和區(qū)域大小的確定。首先利用透視變換將2.1節(jié)中預(yù)處理后的雷達(dá)目標(biāo)映射到圖像中，得到對應(yīng)的點(diǎn)OI，理論上該點(diǎn)位于圖像中對應(yīng)的目標(biāo)輪廓中心，因此將該點(diǎn)作為車輛識別感興趣區(qū)域的中心。

根據(jù)道路交通相關(guān)法規(guī)和GB 1589—2004對車輛外廓尺寸的要求，以預(yù)處理后的雷達(dá)目標(biāo)的坐標(biāo)位置為中心，將垂直于雷達(dá)坐標(biāo)系縱軸，寬2.5m，高2m的矩形區(qū)域作為車輛尾部所在的平面，利用透視變換將該區(qū)域投影到圖像中，得到像素尺寸為m×n，中心為OI的矩形圖像窗口，如圖4所示，該窗口為原始感興趣區(qū)域，其尺寸足以容納車輛在圖像中投影。

由于車輛在加減速、彎道行駛和經(jīng)過起伏路面時(shí)，會造成懸架和輪胎的變形，引起車身側(cè)傾和俯仰，導(dǎo)致攝像頭外部參數(shù)發(fā)生變化，從而使圖像中對應(yīng)的雷達(dá)目標(biāo)發(fā)生偏移，甚至偏離出車輛邊界。因此，本文中對原始感興趣區(qū)域進(jìn)行修正，區(qū)域中心OI位置不變，高度依然為m，寬度拓展為2n，得到修正后的車輛識別感興趣區(qū)域，如圖5所示。

3 基于特征的車輛識別

3.1 車輛識別感興趣區(qū)域?qū)ΨQ性分析

對稱性分析中，采樣窗口的尺寸是算法性能的關(guān)鍵，窗口太大對稱特征不明顯，且運(yùn)算量大；窗口太小車輛輪廓不能充分容納。如圖6所示，本文中以2.2節(jié)確定的m×n像素尺寸的窗口為采樣模板，以單位像素為步長對車輛感興趣區(qū)域進(jìn)行橫向采樣，得到不同圖像窗口序列Wi，i=1,2,3,…,2n-1,2n。由于光照條件的不同和攝像頭相對于車輛角度的變化，直接利用灰度信息進(jìn)行對稱性運(yùn)算不但精度低而且運(yùn)算量大，因此本文中利用Canny算子對窗口圖像Wi進(jìn)行邊緣提取，得到二值化邊界圖像W_eI，然后對車輛尾部邊緣信息進(jìn)行對稱分析。在對稱性分析中，引入對稱度的概念，首先沿圖像中軸將邊界圖像W_eI分為左半圖Ileft和右半圖Iright兩部分，然后對左右半圖進(jìn)行對稱性運(yùn)算，得出對稱度Si為

(2)

完成各圖像窗口對稱度計(jì)算后，得到車輛識別感興趣區(qū)域內(nèi)的對稱度曲線，如圖7所示。對稱度曲線呈明顯的單峰特性，對稱度最大的窗口即為車輛識別窗口，該窗口中軸即為車輛對稱軸線，該窗口邊界圖像記為We。

3.2 車輛識別窗口驗(yàn)證

通過對車輛識別感興趣區(qū)域的對稱性分析，確定了車輛識別窗口的位置。但是除了車輛，圖像中的橋墩、交通牌等障礙物邊緣也具有很強(qiáng)的對稱性，因此需要對車輛識別窗口做進(jìn)一步的車輛特征提取和分析。車輛底部無論在任何光照條件下都呈現(xiàn)出明顯的陰影特征，根據(jù)該特征不但可以對橋墩、交通牌等干擾目標(biāo)進(jìn)行剔除，而且可以對車輛下邊緣進(jìn)行有效判斷。

根據(jù)3.1節(jié)確定的位置，在該圖中提取車輛識別窗口得到Ws。首先進(jìn)行車輛底部陰影驗(yàn)證，對窗口Ws的下半部分進(jìn)行連通區(qū)域識別并獲得陰影面積Sv，計(jì)算陰影面積比Ps：

(3)

如果Ps大于門限值Ts，則證明該車輛識別窗口中目標(biāo)為車輛。

3.3 車輛邊緣識別

如圖9所示，對二值化窗口Ws和We做并集運(yùn)算，然后對得到窗口下半部分進(jìn)行封閉空間填充和邊緣平滑濾波而得到Wc。找出車輛底部陰影中最長的線Lb作為車輛下邊界，則Lb長度為車輛寬度，Lb左右端點(diǎn)向上的垂線分別作為車輛左右邊界線。根據(jù)Lb在圖像中的位置和長度對其做逆透視變換，得到車輛識別寬度Vw(小數(shù)點(diǎn)后保留兩位精度)，由于車輛高度信息對駕駛員輔助系統(tǒng)沒有參考價(jià)值，車輛頂部邊界不做識別，車輛高度默認(rèn)為車輛寬度。GB 1589—2004要求車輛寬度上限為2.5m，雖無下限要求，但實(shí)際中四輪車輛寬度一般都大于1.6m?？紤]識別過程中的誤差，本文中設(shè)車輛寬度上限Vw_max=2.7m，下限Vw_min=1.5m，并據(jù)此對車輛識別寬度Vw進(jìn)行判斷：

p=(Vw_max-Vw)(Vw-Vw_min)

(4)

如果p≥0則說明識別到的車輛是真實(shí)的，否則不是車輛目標(biāo)。最終完成車輛識別如圖10所示，該示意圖中識別出的車輛信息如表1所示。

表1 示意圖車輛識別結(jié)果

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證車輛識別算法的性能，在北京三環(huán)路進(jìn)行實(shí)車實(shí)驗(yàn)采集視頻和雷達(dá)數(shù)據(jù)，并進(jìn)行離線數(shù)據(jù)處理。算法采用Matlab編寫，圖像分辨率為752×480。多工況的車輛識別結(jié)果如圖11所示，所包含的工況有單目標(biāo)車輛識別、多目標(biāo)車輛識別、主車道車輛識別、旁側(cè)車道車輛識別和彎道行駛車輛識別。

5 結(jié)論

本文中提出了一種基于雷達(dá)和視覺信息融合的車輛識別方法，算法利用雷達(dá)信息對車輛識別區(qū)域進(jìn)行動態(tài)規(guī)劃，并基于特征分析完成感興趣區(qū)域的車輛識別和驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該算法對不同的車型和不同運(yùn)行工況具有較強(qiáng)的適應(yīng)性和準(zhǔn)確性。車輛識別是車輛檢測系統(tǒng)的初始化過程，本文中僅對車輛識別進(jìn)行研究，在后續(xù)研究中將開展基于車輛識別結(jié)果的車輛跟蹤研究。

[1] National Transportation Safety Board: Special Investigation Report[R].2001.

[2] 郭磊,李克強(qiáng),王建強(qiáng),等.一種基于特征的車輛檢測方法[J].汽車工程,2006,28(11):1031-1035.

[3] Choi H C, Park J M, Choi W S, et al. Vision-Based Fusion of Robust Lane Tracking and Forward Vehicle Detection in A Real Driving Environment[J]. International Journal of Automotive Technology,2012,13(4):653-669.

[4] Kim Giseok, Cho Jae-Soo. Vision-Based Vehicle Detection and Inter-Vehicle Distance Estimation for Driver Alarm System[J]. Optical Review,2012(6):388-393.

[5] Soo Siang Teoh, Thomas Br?unl. Symmetry-based Monocular Vehicle Detection System[J]. Machine Vision and Applications,2012,23:831-842.

[6] Giancarlo Alessandretti, Alberto Broggi, Pietro Cerri. Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion[J]. IEEE Transactions On Intelligent Transportation Systems,2007,8(1):95-105.

[7] 郭磊,劉志峰,王建強(qiáng),等.雷達(dá)與機(jī)器視覺的空間同步方法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2006,46(11):1904-1907.

[8] Moon S, Yi K. Human Driving Data-based Design of a Vehicle Adaptive Cruise Control Algorithm[J]. Vehicle System Dynamics,2008,46(8):661-690.

Vehicle Detection Based on Information Fusion of Radar and Machine Vision

Wang Baofeng, Qi Zhiquan, Ma Guocheng & Chen Sizhong

SchoolofMechanicalEngineering,BeijingInstituteofTechnology,Beijing100081

For increasing the detection accuracy of advanced driver assisted system of the frontal surroundings of vehicle, a vehicle detection method based on the information fusion of radar and vision sensor is put forward. Before the system starts operation, a co-calibration of millimeter-wave radar and camera is conducted, and the transformation relationship between radar and camera coordinates is obtained. The process of vehicle detection stars with the determination of the region of interest (ROI) for vehicle detection in image coordinates based on radar information. Then a symmetry analysis is performed on ROI to get the symmetrical center of vehicle, and the features of vehicle bottom shadow are analyzed and processed with vehicle edge detection completed. Finally, through inverse perspective mapping the width of vehicle is obtained, based on which the results of detection are verified. It is demonstrated that the algorithm proposed has strong environment adaptability and good accuracy, remedying the defects of vehicle detection with single sensor.

vehicle detection; radar; vision sensor; information fusion

*國家自然科學(xué)基金(51005019)資助。

原稿收到日期為2013年10月10日，修改稿收到日期為2014年1月30日。