基于毫米波雷達(dá)和視覺信息融合的車輛檢測(cè)

王淑林 張冉

摘 要：為了避免單一傳感器對(duì)于車輛檢測(cè)的不穩(wěn)定問題，本文基于假設(shè)驗(yàn)證的決策思想，通過融合毫米波雷達(dá)和機(jī)器視覺信息，將雷達(dá)檢測(cè)信息映射到圖像中構(gòu)建感興趣區(qū)域，而后采用機(jī)器視覺方法在感興趣區(qū)域中進(jìn)行前方車輛驗(yàn)證。實(shí)驗(yàn)表明該信息融合方法提高了車輛檢測(cè)的準(zhǔn)確性。

關(guān)鍵詞：車輛檢測(cè);信息融合;假設(shè)驗(yàn)證;毫米波雷達(dá);機(jī)器視覺

基于機(jī)器視覺的車輛檢測(cè)方法簡(jiǎn)單直接，但受天氣、光照、陰影、攝像頭抖動(dòng)等因素影響嚴(yán)重，易將一些非車輛區(qū)域誤認(rèn)為是車輛?；诤撩撞ɡ走_(dá)的車輛檢測(cè)方法能準(zhǔn)確檢測(cè)前方障礙物，且不易受天氣、光照、陰影等環(huán)境影響，但主要缺點(diǎn)是不能區(qū)分障礙物是否為車輛。本文融合毫米波雷達(dá)采集信息以及攝像頭采集圖像數(shù)據(jù)對(duì)前方車輛進(jìn)行檢測(cè)。[1]

1 前車檢測(cè)的傳感器信息融合策略

基于毫米波雷達(dá)與機(jī)器視覺信息融合的車輛檢測(cè)流程方法如圖1所示，包括毫米波雷達(dá)信息處理模塊、雷達(dá)視覺信息融合模塊以及機(jī)器視覺信息處理模塊。毫米波雷達(dá)信息處理模塊用于獲得初步前方障礙物區(qū)域，主要包括采集信息、信息預(yù)處理、有效運(yùn)動(dòng)目標(biāo)初選以及基于卡爾曼濾波的有效目標(biāo)運(yùn)動(dòng)狀態(tài)估計(jì)。[2]雷達(dá)視覺信息融合模塊用于獲得毫米波雷達(dá)信息與圖像信息在時(shí)間和空間上的對(duì)應(yīng)關(guān)系，并基于此對(duì)應(yīng)關(guān)系將毫米波雷達(dá)獲得的初步前方障礙物區(qū)域映射到圖像信息中。機(jī)器視覺信息處理模塊用于在毫米波雷達(dá)信息的基礎(chǔ)上進(jìn)一步采用機(jī)器視覺進(jìn)行前車驗(yàn)證，包括視覺采集信息、圖像預(yù)處理、建立圖像感興趣區(qū)域以及基于Adaboost的前車檢測(cè)。

本文基于毫米波雷達(dá)和機(jī)器視覺信息融合的前車檢測(cè)方法本質(zhì)上主要包括兩個(gè)步驟：假設(shè)產(chǎn)生和假設(shè)驗(yàn)證。假設(shè)產(chǎn)生：將毫米波雷達(dá)獲取的前方障礙物判定為車輛，并在圖像上劃分出該區(qū)域，即圖像感興趣區(qū)域。假設(shè)驗(yàn)證：基于機(jī)器視覺的方法對(duì)上述感興趣區(qū)域進(jìn)行驗(yàn)證，判斷該區(qū)域內(nèi)是否存在車輛。如果是，則最終判定前方障礙物為車輛。可以看出，信息融合是整個(gè)檢測(cè)方法獲取準(zhǔn)確信息的關(guān)鍵，主要包含兩方面的融合，即空間上融合、時(shí)間上融合。

2 傳感器信息的時(shí)間空間融合

傳感器信息空間上的融合主要包括以下步驟：

（1）基于左手坐標(biāo)系原則，通過旋轉(zhuǎn)、縮放和平移操作，得到毫米波雷達(dá)坐標(biāo)系與三維世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系;

（2）通過反用基于單幀靜態(tài)圖像的測(cè)距模型，得到三維世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系;

（3）通過小孔成像模型，得到攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系之間的位置關(guān)系;

（4）依據(jù)攝像機(jī)中的CCD傳感器的存儲(chǔ)原理，得到圖像坐標(biāo)系與像素坐標(biāo)系之間的轉(zhuǎn)換;

（5）在離線狀態(tài)下，基于張友正相機(jī)標(biāo)定方法，采用MATLAB攝像機(jī)標(biāo)定工具箱，求出空間融合模型建立所需要的攝像機(jī)內(nèi)、外參數(shù)以及攝像機(jī)的畸變參數(shù)。這樣可以消除鏡頭引入的變形現(xiàn)象，完成空間上的信息融合。

時(shí)間上的信息融合主要是指兩種傳感器在時(shí)間上的同步。[3]本次采用的毫米波雷達(dá)采樣頻率為20Hz，攝像機(jī)的頻率為60Hz。由于這兩種傳感器的采樣頻率不相同，因而導(dǎo)致采集的信息很可能為不同時(shí)刻的信息。傳感器時(shí)間上的信息融合需要兩種傳感器信息在時(shí)間上同步，本次采用線程同步的方式實(shí)現(xiàn)。在主控制程序中創(chuàng)建兩種傳感器信息的接收線程，并設(shè)置當(dāng)毫米波雷達(dá)采集當(dāng)前時(shí)間的信息時(shí)同時(shí)攝像機(jī)也檢測(cè)當(dāng)前幀圖像，從而保證了兩者信息達(dá)到時(shí)間上的同步。

兩種傳感器的時(shí)間空間信息完成融合后，將毫米波雷達(dá)檢測(cè)到的前方障礙物信息映射到圖像上，形成圖像的感興趣區(qū)域，每個(gè)感興趣區(qū)域被傳遞給嵌套級(jí)聯(lián)Adaboost分類器來檢測(cè)前方障礙物是否為車輛。如果此時(shí)基于機(jī)器視覺的車輛檢測(cè)判斷前方為車輛，則認(rèn)為感興趣區(qū)域位置中存在車輛。因此，感興趣區(qū)域的獲取對(duì)于車輛檢測(cè)尤為重要。本文感興趣區(qū)域的定義為：首先，以轎車尾部的寬高值為依據(jù)（寬度為2.55m，高度值為2m），形成矩形區(qū)域作為感興趣區(qū)域的基準(zhǔn)大小;然后，將毫米波雷達(dá)得到的前方障礙物形心、距離信息映射到圖像信息上，作為圖像感興趣區(qū)域的中心;最后，將車輛尾部矩形區(qū)域映射在圖像信息上繪制出感興趣區(qū)域，并且感興趣區(qū)域大小與毫米波雷達(dá)測(cè)出的前車距離成反比。

3 車輛檢測(cè)實(shí)驗(yàn)

4 結(jié)語

實(shí)驗(yàn)證明，毫米波雷達(dá)能夠快速檢測(cè)到前方的障礙物信息，并據(jù)此信息得到圖像的感興趣區(qū)域，使得基于機(jī)器視覺的檢測(cè)方法能夠根據(jù)該感興趣區(qū)域快速地檢測(cè)前車，同時(shí)也節(jié)約的計(jì)算資源，提高了不同環(huán)境下前方車輛檢測(cè)的穩(wěn)定，平均準(zhǔn)確性達(dá)到97.1%。

參考文獻(xiàn)：

[1]賈立山.體現(xiàn)駕駛員特性的車道偏離預(yù)警系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢：華中科技大學(xué)，2011.

[2]劉志強(qiáng)，王盈盈，倪捷，劉恒.前方車輛障礙物檢測(cè)方法的研究[J].機(jī)械設(shè)計(jì)與制造，2018，7，23-29.

[3]高德芝，段建民，于宏嘯.基于機(jī)關(guān)雷達(dá)和攝像頭的前方車輛檢測(cè)[J].北京工業(yè)大學(xué)學(xué)報(bào)，2012.38，1337-1342.

項(xiàng)目支持：江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目（201711052004Y）