毫米波雷達(dá)與視覺(jué)傳感器信息融合的車(chē)輛跟蹤

胡延平 劉 菲 魏振亞 趙林峰

1.合肥工業(yè)大學(xué)機(jī)械工程學(xué)院,合肥，2300092.合肥工業(yè)大學(xué)汽車(chē)與交通學(xué)院，合肥，230009

0 引言

在所有交通事故中，追尾事故占比最高，高達(dá)30%[1-2]。為減少追尾事故的發(fā)生，基于毫米波雷達(dá)檢測(cè)的跟蹤算法越來(lái)越多地應(yīng)用在車(chē)輛縱向防碰撞預(yù)警系統(tǒng)(forward collision warning system，F(xiàn)CWS)中，國(guó)內(nèi)外學(xué)者對(duì)此進(jìn)行了大量的研究。文獻(xiàn)[3-4]采用基于CV/CA(constant velo-city/constant acceleration)車(chē)輛運(yùn)動(dòng)模型的卡爾曼濾波(Kalman filter，KF)算法對(duì)前方車(chē)輛的運(yùn)動(dòng)狀態(tài)進(jìn)行跟蹤與預(yù)測(cè)，其中，文獻(xiàn)[4]解決了有雜波情況下的目標(biāo)濾波問(wèn)題。文獻(xiàn)[5]針對(duì)車(chē)輛在行駛過(guò)程中經(jīng)常面臨的減速、超車(chē)等復(fù)雜交通狀況，采用基于當(dāng)前統(tǒng)計(jì)模型的自適應(yīng)卡爾曼濾波器對(duì)目標(biāo)進(jìn)行跟蹤，以期減小跟蹤誤差。車(chē)輛在行駛過(guò)程中，運(yùn)動(dòng)狀態(tài)經(jīng)常發(fā)生改變，采用單一運(yùn)動(dòng)模型模擬車(chē)輛運(yùn)動(dòng)狀態(tài)是不現(xiàn)實(shí)的，因此文獻(xiàn)[6]提出了交互多模型算法，通過(guò)幾種運(yùn)動(dòng)模型模擬目標(biāo)的運(yùn)動(dòng)狀態(tài)，提高了跟蹤精度?；诶走_(dá)的目標(biāo)跟蹤算法具有一定可行性，但雷達(dá)不具備模式識(shí)別能力且雷達(dá)檢測(cè)結(jié)果存在虛假目標(biāo)，易產(chǎn)生誤報(bào)，造成駕駛員精神緊張。為彌補(bǔ)單傳感器的設(shè)計(jì)缺點(diǎn)與局限性，不少學(xué)者相繼提出多傳感器融合概念。文獻(xiàn)[7-10]利用毫米波雷達(dá)與攝像機(jī)的信息融合來(lái)檢測(cè)前方車(chē)輛，首先通過(guò)空間坐標(biāo)轉(zhuǎn)換將雷達(dá)目標(biāo)映射到攝像機(jī)圖像中，然后，確定雷達(dá)目標(biāo)在圖像中的目標(biāo)興趣區(qū)域(region of interest, ROI)，最后使用不同檢測(cè)算法在雷達(dá)ROI中進(jìn)行車(chē)輛檢測(cè)。文獻(xiàn)[8-10]提出不同算法來(lái)細(xì)化檢測(cè)車(chē)輛的邊界、校正雷達(dá)ROI位置，進(jìn)一步縮短車(chē)輛檢測(cè)時(shí)間。此類(lèi)方法通過(guò)縮小目標(biāo)檢測(cè)區(qū)域，極大縮短目標(biāo)檢測(cè)時(shí)間，有效解決了視覺(jué)設(shè)備的目標(biāo)檢測(cè)實(shí)時(shí)性差的問(wèn)題，但這種算法的性能受毫米波雷達(dá)能力的限制，一旦目標(biāo)被雷達(dá)遺漏，后面的檢測(cè)算法將不能檢測(cè)到車(chē)輛。

筆者提出一種基于毫米波雷達(dá)與視覺(jué)傳感器信息融合的車(chē)輛跟蹤方法。該方法采用雷達(dá)與視覺(jué)傳感器并行的策略，首先通過(guò)直接線性標(biāo)定算法對(duì)雷達(dá)與視覺(jué)傳感器進(jìn)行聯(lián)合標(biāo)定，確定二者的空間轉(zhuǎn)換矩陣，并基于視覺(jué)圖像提取Haar-like特征，利用Adaboost分類(lèi)算法檢測(cè)車(chē)輛并生成車(chē)輛ROI；其次，雷達(dá)通過(guò)CAN總線采集目標(biāo)數(shù)據(jù)信息，通過(guò)提出的算法剔除干擾目標(biāo)后將獲取的雷達(dá)有效目標(biāo)投影至視覺(jué)圖像中并生成ROI，并分析雷達(dá)目標(biāo)ROI的對(duì)稱(chēng)性，減小橫向位置誤差；然后采用提出的目標(biāo)匹配算法計(jì)算視覺(jué)傳感器獲取的車(chē)輛ROI與雷達(dá)目標(biāo)ROI的重合率，確定該目標(biāo)車(chē)輛(此類(lèi)目標(biāo)車(chē)輛稱(chēng)為融合車(chē)輛)是否同時(shí)被雷達(dá)與視覺(jué)傳感器檢測(cè)到；最后，通過(guò)提出的核相關(guān)濾波-卡爾曼濾波(kernalized correlation filters-Kalman filters，KCF-KF)組合濾波跟蹤算法對(duì)融合車(chē)輛進(jìn)行跟蹤。試驗(yàn)結(jié)果表明，該算法具有良好的環(huán)境適應(yīng)性與準(zhǔn)確率。

1 毫米波雷達(dá)有效目標(biāo)的獲取

采用綜合寬視角中距離和窄視角長(zhǎng)距離的多模式Delphi ESR毫米波雷達(dá)最多可探測(cè)64個(gè)目標(biāo)，通過(guò)計(jì)算接收信號(hào)與發(fā)射信號(hào)的時(shí)間差來(lái)獲得探測(cè)目標(biāo)的相對(duì)距離、相對(duì)速度、方位角。雷達(dá)探測(cè)的任一目標(biāo)數(shù)據(jù)可描述為

x=(r,α,v)

(1)

式中，r為目標(biāo)與雷達(dá)的相對(duì)距離；α為目標(biāo)與雷達(dá)的方位角；v為目標(biāo)與雷達(dá)的相對(duì)速度。

則當(dāng)前時(shí)刻雷達(dá)采集的一幀數(shù)據(jù)可表示為

X=(x1,x2,…,xn)

(2)

根據(jù)獲取的雷達(dá)目標(biāo)特征，可將雷達(dá)目標(biāo)分為四類(lèi)[11]：①非危險(xiǎn)目標(biāo)，造成追尾事故的車(chē)輛往往是與本車(chē)較近的同車(chē)道車(chē)輛或相鄰車(chē)道車(chē)輛，較遠(yuǎn)或其他車(chē)道車(chē)輛的追尾風(fēng)險(xiǎn)較小，屬于非危險(xiǎn)目標(biāo)；②空目標(biāo)即相對(duì)距離為零的目標(biāo)；③虛假目標(biāo)，該類(lèi)目標(biāo)在極短時(shí)間內(nèi)出現(xiàn)并消失，但實(shí)際上并不存在，屬于雷達(dá)測(cè)量產(chǎn)生的噪聲；④有效目標(biāo)，除上述目標(biāo)外的其他目標(biāo)。有效目標(biāo)外的其他三類(lèi)目標(biāo)屬于干擾目標(biāo)，若不剔除，既會(huì)增加程序計(jì)算量，又會(huì)對(duì)駕駛員的預(yù)判產(chǎn)生干擾。先后通過(guò)有效目標(biāo)初選與設(shè)定目標(biāo)生命周期來(lái)對(duì)目標(biāo)進(jìn)行篩選，以改善獲取的目標(biāo)信息質(zhì)量。

1.1 有效目標(biāo)的初選

由圖1可知毫米波雷達(dá)探測(cè)范圍較廣，保留其原始探測(cè)范圍會(huì)在探測(cè)到更多目標(biāo)信息的同時(shí)，增加對(duì)非危險(xiǎn)目標(biāo)的分析與處理工作量，延長(zhǎng)數(shù)據(jù)處理時(shí)間。因此，通過(guò)約束雷達(dá)目標(biāo)的縱向、橫向范圍來(lái)減少對(duì)非危險(xiǎn)目標(biāo)的處理是非常必要的。將雷達(dá)探測(cè)目標(biāo)的相對(duì)距離分解為相對(duì)縱向距離dY與相對(duì)橫向距離dX：

圖1 毫米波雷達(dá)掃描障礙物范圍示意圖

(3)

再通過(guò)設(shè)定橫向范圍Xdist與縱向范圍Ydist來(lái)約束dX和dY的范圍：

(4)

空目標(biāo)的特征是相對(duì)距離為0，相對(duì)速度為81.91 m/s，方位角為0°，可通過(guò)檢驗(yàn)?zāi)繕?biāo)相對(duì)距離是否大于0來(lái)剔除。

1.2 目標(biāo)有效性檢驗(yàn)

雷達(dá)工作時(shí)存在不穩(wěn)定性，可能會(huì)檢測(cè)出虛假目標(biāo)。另外，短暫出現(xiàn)在雷達(dá)掃描范圍內(nèi)的目標(biāo)也會(huì)被檢測(cè)到。為縮短對(duì)這兩類(lèi)目標(biāo)的處理時(shí)間，提出目標(biāo)有效性檢驗(yàn)方法，具體步驟如下：

(1)確定待跟蹤目標(biāo)。設(shè)定目標(biāo)連續(xù)被探測(cè)到的次數(shù)FT、目標(biāo)連續(xù)丟失的次數(shù)LT，以及FT、LT的判別閾值TF與TL。FT與LT初始值均為0，現(xiàn)規(guī)定FT>TF的目標(biāo)為待跟蹤目標(biāo)。

(2)利用擴(kuò)展卡爾曼濾波算法預(yù)測(cè)下一周期目標(biāo)信息。Xn=(xn,yn,vx,n,vy,n)為描述目標(biāo)運(yùn)動(dòng)的狀態(tài)向量，xn、yn、vx,n、vy,n分別為第n周期內(nèi)獲得的有效目標(biāo)的橫向相對(duì)距離、縱向相對(duì)距離、橫向相對(duì)速度和縱向相對(duì)速度。下一周期的目標(biāo)預(yù)測(cè)值為

(5)

其中，T為雷達(dá)掃描周期，T=50 ms；xn+1|n、yn+1|n、vx,n+1|n、vy,n+1|n為根據(jù)周期n計(jì)算所得的周期n+1狀態(tài)值。

(3)計(jì)算本周期目標(biāo)的狀態(tài)預(yù)測(cè)值與實(shí)際測(cè)量值的差值，判斷二者是否表示同一目標(biāo)，即

(6)

式中，xn+1、yn+1、vx,n+1、vy,n+1為本周期有效目標(biāo)實(shí)際測(cè)量值；Δx、Δy、Δvx、Δvy為目標(biāo)實(shí)際測(cè)量值與預(yù)測(cè)值之間的準(zhǔn)許誤差。

若是同一目標(biāo)，則對(duì)應(yīng)的FT加1；否則對(duì)應(yīng)的FT減1，LT加1。

(4)根據(jù)本周期每個(gè)目標(biāo)的FT與LT確定是否繼續(xù)跟蹤。若FT>TF且LTTL，則不再繼續(xù)跟蹤，重新確定跟蹤目標(biāo)。

毫米波雷達(dá)安裝于試驗(yàn)車(chē)保險(xiǎn)杠，預(yù)先駕駛試驗(yàn)車(chē)在城市道路中采集原始目標(biāo)數(shù)據(jù)并將其存儲(chǔ)于.txt文件中。表1、表2所示分別為同一場(chǎng)景下雷達(dá)的原始目標(biāo)數(shù)據(jù)與有效目標(biāo)數(shù)據(jù)，圖2為對(duì)應(yīng)的雷達(dá)目標(biāo)圖像。由表1可知，ID為2、7和9的目標(biāo)短暫出現(xiàn)在雷達(dá)掃描范圍內(nèi)，ID為5、7、9、10、12的目標(biāo)的橫向距離均大于3 m，均屬非有效目標(biāo)，如圖2a所示。采用上述濾波算法獲取的有效目標(biāo)如圖2b所示，其中，設(shè)定參數(shù)Xdist=3 m，Ydist=150 m，TF=7，TL=20。對(duì)比表1、表2可知，該濾波算法可有效剔除超過(guò)橫向、縱向范圍的目標(biāo)與短暫出現(xiàn)在雷達(dá)視野中的目標(biāo)，減小了干擾目標(biāo)的影響，為后續(xù)的融合輸出穩(wěn)定可靠的目標(biāo)。

表1 雷達(dá)原始目標(biāo)數(shù)據(jù)

表2 雷達(dá)有效目標(biāo)數(shù)據(jù)

(a)原始雷達(dá)目標(biāo)圖像 (b)濾波后雷達(dá)目標(biāo)圖像

2 基于視覺(jué)的車(chē)輛檢測(cè)

采用Adaboost算法[11]對(duì)車(chē)輛進(jìn)行檢測(cè)，由于文獻(xiàn)[5]已充分闡述了基于Adaboost算法的車(chē)輛檢測(cè)器的形成過(guò)程，因此，下面僅簡(jiǎn)述車(chē)輛檢測(cè)器訓(xùn)練步驟并展示訓(xùn)練效果。

基于Adaboost算法的車(chē)輛檢測(cè)主要包括3個(gè)步驟：正負(fù)樣本準(zhǔn)備、特征提取、訓(xùn)練分類(lèi)器。首先，準(zhǔn)備正負(fù)樣本并完成樣本灰度化與歸一化處理，其中，所有樣本歸一化為相同尺寸(20pixel×20pixel)。正樣本為車(chē)輛圖片，以轎車(chē)為主，共3972張；負(fù)樣本為非車(chē)輛圖片，如樹(shù)木、柵欄、路牌等，共8543張。其次，分別從正負(fù)樣本中提取Haar-like矩形特征并存儲(chǔ)在文件中。然后基于Adaboost算法，從Haar-like特征中提取有效特征生成同等數(shù)量的弱分類(lèi)器。最后，將弱分類(lèi)器加權(quán)組合成強(qiáng)分類(lèi)器。至此，一個(gè)車(chē)輛檢測(cè)器即可產(chǎn)生。

在天氣晴朗、光線良好的情況下采集3段城市道路視頻，以此測(cè)試車(chē)輛檢測(cè)器的識(shí)別正確率。視頻圖片輸入格式為.bmp，大小為640pixel×480pixel。表3所示為該算法基于3段視頻的檢測(cè)結(jié)果，車(chē)輛總數(shù)指視頻中出現(xiàn)的車(chē)輛總數(shù)；正確檢測(cè)數(shù)指被正確識(shí)別的車(chē)輛數(shù)；誤檢數(shù)指被錯(cuò)誤識(shí)別的車(chē)輛總數(shù)；車(chē)輛正確識(shí)別率PZ指正確檢測(cè)數(shù)占車(chē)輛總數(shù)的比例，誤檢率PW指誤檢數(shù)占車(chē)輛總數(shù)的比例，PZ=91.28%，PW=2.54%說(shuō)明基于Adaboost算法訓(xùn)練的車(chē)輛檢測(cè)器可有效識(shí)別前方車(chē)輛。

表3 檢測(cè)結(jié)果統(tǒng)計(jì)

3 雷達(dá)與視覺(jué)傳感器檢測(cè)結(jié)果融合

3.1 雷達(dá)與攝像機(jī)坐標(biāo)系標(biāo)定

傳統(tǒng)的坐標(biāo)轉(zhuǎn)換是基于小孔成像的逆向思想、將三維空間中的點(diǎn)映射到像素坐標(biāo)系的變換，其轉(zhuǎn)換矩陣依賴(lài)于攝像機(jī)標(biāo)定中的外參數(shù)矩陣與內(nèi)參數(shù)矩陣。由于外參數(shù)矩陣可能因車(chē)輛俯仰而改變，因此當(dāng)使用外參數(shù)矩陣計(jì)算世界坐標(biāo)系下的視覺(jué)目標(biāo)位置時(shí)，可能會(huì)出現(xiàn)較大誤差，所以，為了高效、方便地解決雷達(dá)與攝像機(jī)標(biāo)定問(wèn)題，本文采用直接線性標(biāo)定算法[12]解決雷達(dá)與視覺(jué)傳感器間的對(duì)準(zhǔn)問(wèn)題。

記錄雷達(dá)坐標(biāo)系與視覺(jué)坐標(biāo)系中標(biāo)記物的位置，在對(duì)標(biāo)記位置進(jìn)行多次測(cè)量的基礎(chǔ)上，得到標(biāo)記位置數(shù)據(jù)。假設(shè)從雷達(dá)與視覺(jué)傳感器共同視場(chǎng)捕獲M個(gè)雷達(dá)目標(biāo){Ri=(xi,yi)|i=1, 2, …，M}及其對(duì)應(yīng)的M個(gè)像素坐標(biāo){Ci=(ui,wi)|i=1, 2, …，M}。記錄M組坐標(biāo)數(shù)據(jù)并歸一化處理之后，進(jìn)行雷達(dá)坐標(biāo)與像素坐標(biāo)的轉(zhuǎn)換：

[uw1]T=H[xiyi1]T

(7)

其中，H為雷達(dá)與視覺(jué)傳感器的空間轉(zhuǎn)換矩陣。通過(guò)Aih=0求得矩陣A最小奇異值的奇異向量h=(h11,h12,h13,h21,h22,h23,h31,h32,h33)，其中：

Ai=[Ai1Ai2Ai3]T

(8)

3.2 雷達(dá)橫向位置的修正

毫米波雷達(dá)可精確探測(cè)目標(biāo)的相對(duì)縱向距離與相對(duì)速度，但其橫向探測(cè)能力較差，這是因?yàn)楹撩撞ǚ瓷潼c(diǎn)可出現(xiàn)在探測(cè)目標(biāo)上的任何位置。精確的橫向位置可使雷達(dá)ROI更完整地包圍目標(biāo)車(chē)輛，也是雷達(dá)目標(biāo)與視覺(jué)目標(biāo)準(zhǔn)確匹配的重要前提。

預(yù)先根據(jù)雷達(dá)與車(chē)輛的距離估計(jì)車(chē)輛ROI大小：以5 m為間隔，估算0～150 m范圍內(nèi)車(chē)輛在圖像中所占像素大小，然后，以雷達(dá)目標(biāo)投影到像素坐標(biāo)系中的位置坐標(biāo)為中心，畫(huà)出ROI?，F(xiàn)假設(shè)雷達(dá)投影到像素坐標(biāo)系中的坐標(biāo)點(diǎn)為P(x0,y0)。由于雷達(dá)安裝在車(chē)輛保險(xiǎn)杠，導(dǎo)致雷達(dá)反射回來(lái)的目標(biāo)位置并非車(chē)輛中心，而在車(chē)輛中心以下，所以需通過(guò)坐標(biāo)修正公式x1=x0,y1=y0-Δl獲得雷達(dá)目標(biāo)修正后的投影位置坐標(biāo)P(x1,y1)，其中，變量Δl隨目標(biāo)相對(duì)縱向距離變化而變化，需通過(guò)實(shí)驗(yàn)確定。

接下來(lái)分析雷達(dá)目標(biāo)ROI內(nèi)圖像的對(duì)稱(chēng)性，找到目標(biāo)ROI的對(duì)稱(chēng)軸，調(diào)整其在圖像中的橫向位置，使其中心與被探測(cè)目標(biāo)車(chē)輛的中心重合。ROI對(duì)稱(chēng)性的分析可分為以下3個(gè)步驟：遮擋推理、對(duì)稱(chēng)檢測(cè)及對(duì)稱(chēng)檢驗(yàn)。

3.2.1遮擋推理

對(duì)象被遮擋時(shí)，視覺(jué)傳感器只能獲取其部分未被遮擋圖像，對(duì)此進(jìn)行對(duì)稱(chēng)性分析，很容易出現(xiàn)對(duì)稱(chēng)軸錯(cuò)誤檢測(cè)，增加不必要的處理時(shí)間。

假設(shè)ROI1和ROI2分別為2個(gè)不同探測(cè)目標(biāo)對(duì)應(yīng)的感興趣區(qū)域，假設(shè)ROI1左上角與右上角的坐標(biāo)分別為(a1，b1)、(c1，d1)；ROI2左上角與右上角的坐標(biāo)分別為(a2，b2)、(c2，d2)。根據(jù)以下步驟，判斷ROI1和ROI2是否存在相互遮擋。

(1)判斷ROI1與ROI2是否相交。若ROI1與ROI2相交，則其相交結(jié)果必然是一個(gè)矩形。假設(shè)ROI1與ROI2的相交矩形為R，矩形R左上角與右上角的坐標(biāo)為(a，b)、(c，d)。參數(shù)a、b、c、d滿(mǎn)足

(9)

(2)ROI1與ROI2的相交面積Ajion1=(c-a)(d-b)，若Ajion>min(A1,A2)/3(A1、A2分別為ROI1和ROI2的面積)，則繼續(xù)執(zhí)行步驟(3)；否則判定ROI1與ROI2沒(méi)有相互遮擋。

(3)分別計(jì)算ROI1與ROI2的面積，并比較ROI1與ROI2相應(yīng)目標(biāo)的縱向距離。若該目標(biāo)ROI的面積較小且其對(duì)應(yīng)的縱向距離更大，則認(rèn)為擁有較小ROI的目標(biāo)被遮擋，否則未被遮擋。

3.2.2對(duì)稱(chēng)檢測(cè)

(1)確定對(duì)稱(chēng)軸搜索范圍。雷達(dá)橫向探測(cè)距離誤差較大，導(dǎo)致投影在像素坐標(biāo)系中的點(diǎn)可能會(huì)出現(xiàn)在車(chē)身任意位置，因此擴(kuò)大對(duì)稱(chēng)軸搜索范圍以防止原ROI范圍內(nèi)不存在車(chē)輛對(duì)稱(chēng)軸?，F(xiàn)以原ROI為中心，在原ROI左右各擴(kuò)展一個(gè)與原ROI大小相同的ROI，將此區(qū)域命名為ROIS，ROIS即為對(duì)稱(chēng)軸搜索范圍。

(2)對(duì)稱(chēng)檢測(cè)。在對(duì)稱(chēng)軸搜索范圍內(nèi)掃過(guò)與原ROI大小相同的窗口，掃描步長(zhǎng)為D，利用求和歸一化互相關(guān)匹配(summed normalized cross-correlation，SNCC)算法計(jì)算每個(gè)位置的對(duì)稱(chēng)相關(guān)值。對(duì)稱(chēng)相關(guān)值的峰值所對(duì)應(yīng)的橫坐標(biāo)即為雷達(dá)目標(biāo)ROI對(duì)稱(chēng)軸位置。

3.2.3對(duì)稱(chēng)檢驗(yàn)

以對(duì)稱(chēng)相關(guān)值的峰值位置為基準(zhǔn)，分別向上、下、左、右擴(kuò)展，形成與原ROI大小一致的區(qū)域，將該區(qū)域命名為ROID。

由圖3a可知，雷達(dá)反射點(diǎn)并非車(chē)輛中心，生成的ROI產(chǎn)生位置偏移。利用上述對(duì)稱(chēng)軸檢測(cè)算法，在對(duì)稱(chēng)軸搜索范圍內(nèi)，從左向右移動(dòng)固定位移，并計(jì)算位移為XS時(shí)對(duì)應(yīng)的SNCC值，從而得到圖4所示的該車(chē)輛ROI的對(duì)稱(chēng)度曲線,圖中的曲線峰值對(duì)應(yīng)位置為ROI對(duì)稱(chēng)軸所在位置，ROI橫向位置改進(jìn)后的圖像如圖3b所示。

(a)改進(jìn)前 (b)改進(jìn)后

圖4 車(chē)輛感興趣區(qū)域?qū)ΨQ(chēng)度曲線

3.3 毫米波雷達(dá)與攝像機(jī)的目標(biāo)匹配

本文通過(guò)計(jì)算雷達(dá)目標(biāo)ROI與基于視覺(jué)檢測(cè)的車(chē)輛ROI的重疊率來(lái)判斷該車(chē)輛是否被雷達(dá)與視覺(jué)傳感器同時(shí)檢測(cè)到。假設(shè)ROI3、ROI4分別為雷達(dá)目標(biāo)ROI與攝像機(jī)目標(biāo)ROI，判斷ROI3和ROI4是否為同一目標(biāo)的步驟如下：

(1)結(jié)合式(9)判斷ROI3與ROI4是否相交，若相交，則執(zhí)行步驟(2)；若不相交，則ROI3與ROI4所包圍的車(chē)輛不是雷達(dá)與攝像機(jī)共同檢測(cè)車(chē)輛。

(2)采用Ajion2=(c-a)(d-b)計(jì)算ROI3與ROI4相交矩形面積。

(3)計(jì)算重合率S，即Ajion2與ROI3面積A3的比值：

S=Ajion2/A3

(10)

先根據(jù)試驗(yàn)估計(jì)閾值ΔS，若S>ΔS，則ROI3與ROI4對(duì)應(yīng)同一目標(biāo)。以10 m為間隔，統(tǒng)計(jì)目標(biāo)位于不同距離時(shí)，雷達(dá)與攝像機(jī)目標(biāo)檢測(cè)區(qū)域的重合率，20次試驗(yàn)的統(tǒng)計(jì)結(jié)果如表4所示，為保證目標(biāo)匹配結(jié)果的準(zhǔn)確性，應(yīng)適當(dāng)減小ΔS。

表4 雷達(dá)與視覺(jué)共同檢測(cè)區(qū)域的重合率

(4)將雷達(dá)目標(biāo)ROI與攝像機(jī)目標(biāo)ROI的相交矩形作為融合車(chē)輛ROI。

3.4 基于KCF-KF組合濾波算法的車(chē)輛跟蹤

核相關(guān)濾波器(kernelized correlation filters，KCF)跟蹤效果好且實(shí)時(shí)性高，但出現(xiàn)遮擋、快速運(yùn)動(dòng)、方向改變等多種情況時(shí)，KCF跟蹤器可能無(wú)法跟蹤目標(biāo)車(chē)輛，出現(xiàn)目標(biāo)車(chē)輛跟蹤丟失的情況。針對(duì)該缺點(diǎn)，采用KCF-KF組合濾波算法跟蹤目標(biāo)車(chē)輛。確定目標(biāo)車(chē)輛后，KCF算法、KF算法分別對(duì)目標(biāo)車(chē)輛進(jìn)行跟蹤。若目標(biāo)車(chē)輛短暫離開(kāi)視野，導(dǎo)致KCF跟蹤車(chē)輛的方框丟失或方框中心坐標(biāo)與原先方框中心坐標(biāo)相差過(guò)大，則使用卡爾曼濾波器預(yù)估方框中心坐標(biāo)；若目標(biāo)車(chē)輛重新回到視野中，則繼續(xù)使用KCF算法跟蹤目標(biāo)車(chē)輛；若坐標(biāo)偏差存在一段時(shí)間，則認(rèn)為是物體自身運(yùn)動(dòng)變化，繼續(xù)使用KCF算法跟蹤目標(biāo)車(chē)輛；若方框丟失時(shí)間過(guò)長(zhǎng)，則認(rèn)為目標(biāo)已離開(kāi)視覺(jué)檢測(cè)區(qū)域，重新確立跟蹤目標(biāo)。

3.4.1KCF跟蹤器

核相關(guān)濾波算法[13]是相關(guān)濾波算法的一種。KCF算法在目標(biāo)跟蹤過(guò)程中訓(xùn)練目標(biāo)檢測(cè)器，屬于鑒別式跟蹤算法。首先利用循環(huán)矩陣在目標(biāo)周?chē)鷧^(qū)域采集正負(fù)樣本，并利用脊回歸對(duì)目標(biāo)檢測(cè)器進(jìn)行訓(xùn)練；然后采用目標(biāo)檢測(cè)器檢測(cè)下一幀圖像中的目標(biāo)位置；最后采用新檢測(cè)結(jié)果去更新訓(xùn)練樣本，進(jìn)而更新目標(biāo)檢測(cè)器。訓(xùn)練目標(biāo)檢測(cè)器時(shí)，一般選取目標(biāo)區(qū)域?yàn)檎龢颖荆繕?biāo)周?chē)鷧^(qū)域?yàn)樨?fù)樣本。

3.4.2卡爾曼濾波器

卡爾曼濾波器的輸入是跟蹤方框中心的坐標(biāo)(x，y)。在目標(biāo)跟蹤過(guò)程中，卡爾曼濾波算法通過(guò)t-1時(shí)刻系統(tǒng)狀態(tài)信息來(lái)預(yù)測(cè)t時(shí)刻的系統(tǒng)狀態(tài)。

t時(shí)刻的系統(tǒng)狀態(tài)由方框中心坐標(biāo)值組成：

Xt=[xtytΔxtΔyt]T

(11)

式中，Δxt為時(shí)刻t與時(shí)刻t-1對(duì)應(yīng)橫坐標(biāo)的差值；Δyt為時(shí)刻t與時(shí)刻t-1的縱坐標(biāo)差值。

卡爾曼濾波算法分為預(yù)測(cè)階段與更新階段。先根據(jù)系統(tǒng)之前狀態(tài)規(guī)律預(yù)測(cè)出當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)值，再通過(guò)比較系統(tǒng)預(yù)測(cè)狀態(tài)值與實(shí)際測(cè)量狀態(tài)值來(lái)減小預(yù)測(cè)誤差。利用系統(tǒng)之前的狀態(tài)值對(duì)下一時(shí)刻系統(tǒng)狀態(tài)進(jìn)行預(yù)測(cè)：

Xt|t-1=AXt-1|t-1+Bu(t)

(12)

其中，Xt|t-1是基于t-1時(shí)刻的預(yù)測(cè)結(jié)果，Xt-1|t-1是t-1時(shí)刻對(duì)應(yīng)的最優(yōu)狀態(tài)結(jié)果或初始狀態(tài)，B為控制矩陣。注意，若系統(tǒng)沒(méi)有控制輸入，則狀態(tài)控制矩陣u(t)可以忽略。

接下來(lái)則更新Xt|t-1對(duì)應(yīng)的協(xié)方差矩陣：

Pt|t-1=APt-1t-1AT+Q

(13)

式中，Pt|t-1為Xt|t-1對(duì)應(yīng)的協(xié)方差矩陣；Pt-1|t-1為Xt-1|t-1對(duì)應(yīng)的協(xié)方差矩陣；Q為系統(tǒng)過(guò)程噪聲。

利用當(dāng)前時(shí)刻的系統(tǒng)實(shí)際測(cè)量值與測(cè)量值計(jì)算當(dāng)前時(shí)刻的系統(tǒng)最優(yōu)估算值：

Xt|t=Xt|t-1+Kt(Zt-HXt|t-1)

(14)

Kt=Pt|t-1H(HPt|t-1HT+R)-1

(15)

其中，Kt為卡爾曼增益；H為測(cè)量矩陣；R為測(cè)量噪聲矩陣。

該跟蹤算法是迭代進(jìn)行的，因此，需實(shí)時(shí)更新Xt|t對(duì)應(yīng)的協(xié)方差矩陣：

Pt|t=(I-KtH)Pt|t-1

(16)

式中，I為單位矩陣。

4 實(shí)驗(yàn)結(jié)果與分析

天氣晴朗時(shí)，采集城市道路中車(chē)輛正常行駛的視頻與雷達(dá)數(shù)據(jù)，以驗(yàn)證毫米波雷達(dá)與攝像機(jī)目標(biāo)融合算法與跟蹤算法的有效性。毫米波雷達(dá)為美國(guó)Delphi 76-77GHz電子掃描雷達(dá)(electronically scanning radar，ESR)；攝像機(jī)選用全瑞視訊的RER-USB13M02，輸出圖像分辨率為640pixel×480 pixel，幀率為每秒30幀；計(jì)算機(jī)采用工業(yè)控制計(jì)算機(jī)，處理器型號(hào)為Inter Core i7，內(nèi)存為16GB；系統(tǒng)環(huán)境為Windows，編譯環(huán)境為Visual Stidio，編譯語(yǔ)言為C++。

4.1 雷達(dá)與攝像機(jī)融合結(jié)果與分析

圖5所示為毫米波雷達(dá)與攝像機(jī)車(chē)輛的檢測(cè)結(jié)果(黃色矩形框?yàn)榛谲?chē)輛檢測(cè)器生成的ROI，藍(lán)色矩形框?yàn)槔走_(dá)目標(biāo)橫向位置修正后的ROI)。雷達(dá)目標(biāo)ROI與攝像機(jī)目標(biāo)ROI的重合率如表5所示，其中，圖5c與圖5d的目標(biāo)重合率按照由左到右的順序依次計(jì)算。對(duì)比表4內(nèi)的重合率可知，圖5內(nèi)的車(chē)輛均屬于雷達(dá)與攝像機(jī)共同檢測(cè)目標(biāo)，其融合結(jié)果如圖6所示。

(a) (b)

(a) (b)

表5 重合率計(jì)算結(jié)果統(tǒng)計(jì)

為進(jìn)一步證明雷達(dá)與攝像機(jī)目標(biāo)融合算法的有效性，分別對(duì)3個(gè)數(shù)據(jù)集的融合結(jié)果采用匹配成功率和誤匹配率進(jìn)行評(píng)價(jià)。目標(biāo)匹配成功率P1與目標(biāo)誤匹配率P2分別為

P1=N1/N

(17)

P2=N2/N

(18)

式中，N為雷達(dá)與攝像機(jī)共同檢測(cè)目標(biāo)數(shù)；N1為目標(biāo)成功匹配數(shù)目；N2為目標(biāo)錯(cuò)誤匹配數(shù)目。

P1越大，融合算法越好；P2越大，融合算法效果越差。表6所示為融合算法在3個(gè)數(shù)據(jù)集下的融合結(jié)果，雷達(dá)與攝像機(jī)目標(biāo)融合算法效果良好。

表6 雷達(dá)與視覺(jué)傳感器目標(biāo)的匹配結(jié)果

4.2 車(chē)輛跟蹤結(jié)果與分析

為便于說(shuō)明目標(biāo)被遮擋的問(wèn)題，從采集的數(shù)據(jù)集中選取目標(biāo)未被遮擋→部分被遮擋→完全被遮擋的特殊場(chǎng)景數(shù)據(jù)進(jìn)行分析。如圖7a～圖7d所示(紅色矩形框?yàn)槔走_(dá)與視覺(jué)目標(biāo)匹配后生成的ROI，綠色矩形框?yàn)檐?chē)輛跟蹤框)，當(dāng)被跟蹤車(chē)輛在第70幀被部分遮擋時(shí)，僅采用KCF算法無(wú)法對(duì)其進(jìn)行繼續(xù)跟蹤，導(dǎo)致目標(biāo)丟失。本文算法在被跟蹤車(chē)輛遮擋時(shí)，采用卡爾曼濾波算法對(duì)融合車(chē)輛的ROI中心位置坐標(biāo)進(jìn)行跟蹤，從而實(shí)現(xiàn)穩(wěn)定跟蹤融合車(chē)輛，圖7e～圖7h中顯示的坐標(biāo)為利用卡爾曼濾波預(yù)測(cè)的車(chē)輛坐標(biāo)。

(a) (b) (c) (d)

記錄隨著圖片幀數(shù)遞增的車(chē)輛實(shí)際坐標(biāo)與跟蹤坐標(biāo)(xS，yS)的變化，圖8、圖9所示分別為KCF算法與KCF-KF組合濾波算法的跟蹤融合車(chē)輛。0～69幀時(shí)，目標(biāo)車(chē)輛在道路上穩(wěn)定行駛且未被遮擋，KCF算法與KCF-KF組合濾波算法均能穩(wěn)定跟蹤融合車(chē)輛；70～78幀時(shí)，目標(biāo)車(chē)輛由部分遮擋過(guò)渡到完全遮擋，KCF算法無(wú)法繼續(xù)跟蹤目標(biāo)車(chē)輛，KCF-KF組合濾波算法利用KF算法繼續(xù)跟蹤目標(biāo)車(chē)輛ROI的中心位置坐標(biāo)，直到恢復(fù)KCF模式。

圖8 KCF算法跟蹤目標(biāo)車(chē)輛

圖9 KCF-KF組合濾波算法跟蹤目標(biāo)車(chē)輛

如圖10所示，采用KCF-KF算法跟蹤目標(biāo)車(chē)輛，坐標(biāo)誤差更小，跟蹤精度更高。車(chē)輛位置坐標(biāo)跟蹤的準(zhǔn)確率P3=W1/W2，其中，W1為預(yù)測(cè)坐標(biāo)，W2為實(shí)際坐標(biāo)，P3越大，算法跟蹤效果越好。該算法對(duì)X坐標(biāo)、Y坐標(biāo)的跟蹤準(zhǔn)確率97.34%與95.19%。70～78幀時(shí)，目標(biāo)車(chē)輛被短暫遮擋，但是KCF-KF組合濾波算法仍能穩(wěn)定跟蹤目標(biāo)車(chē)輛。

(a)橫坐標(biāo)誤差

5 結(jié)論

(1)提出的濾除雷達(dá)干擾目標(biāo)算法可剔除空目標(biāo)、非危險(xiǎn)目標(biāo)及虛假目標(biāo)，獲取有效目標(biāo)。

(2)為減小與基于視覺(jué)檢測(cè)的車(chē)輛興趣區(qū)域(ROI)的匹配誤差，提出一種改進(jìn)雷達(dá)目標(biāo)ROI橫向位置算法來(lái)對(duì)雷達(dá)映射至視覺(jué)圖像中的ROI進(jìn)行對(duì)稱(chēng)性分析。

(3)提出一種目標(biāo)匹配算法來(lái)計(jì)算視覺(jué)傳感器獲取的車(chē)輛ROI與雷達(dá)目標(biāo)ROI的重合率，確定雷達(dá)與視覺(jué)傳感器共同檢測(cè)的車(chē)輛。利用核相關(guān)濾波與卡爾曼濾波聯(lián)合跟蹤算法對(duì)融合車(chē)輛進(jìn)行跟蹤。研究結(jié)果表明，在光照良好的情況下，該算法跟蹤效果良好，具有較強(qiáng)適應(yīng)性與較高準(zhǔn)確率。