融合視覺與雷達(dá)數(shù)據(jù)的改進(jìn)粒子濾波車輛目標(biāo)跟蹤

張 翔，鄭 玲，李以農(nóng),，張志達(dá)

(重慶大學(xué) a.機(jī)械與運(yùn)載工程學(xué)院;b.機(jī)械傳動國家重點(diǎn)實(shí)驗(yàn)室, 重慶 400044)

隨著汽車數(shù)量的不斷增加，人們出行得到便利的同時，交通事故也引發(fā)越來越多的人員傷亡與財產(chǎn)損失[1]。對于智能汽車而言，實(shí)現(xiàn)對前方車輛快速準(zhǔn)確地檢測與預(yù)警能夠有效降低交通事故概率[2]。國內(nèi)外在智能車輛研究領(lǐng)域已經(jīng)提出許多車輛檢測的方法，包括基于圖像特征的方法[3]、基于模型的方法[4]、基于機(jī)器學(xué)習(xí)的方法[5-6]等。近幾年基于深度學(xué)習(xí)的方法在通用目標(biāo)檢測領(lǐng)域取得了很好的效果[7-10]，也逐漸應(yīng)用于自動駕駛的環(huán)境感知算法中。

在基于單幀圖像的車輛檢測過程中，由于光照條件與道路交通背景變化復(fù)雜，可能會出現(xiàn)目標(biāo)漏檢或誤檢的情況。此外，智能車輛在進(jìn)行路徑規(guī)劃時需要考慮障礙目標(biāo)的運(yùn)動軌跡，需要提取車輛目標(biāo)運(yùn)動的時序特征。為了解決車輛檢測方法魯棒性不足與無法結(jié)合時序信息的問題，車輛跟蹤方法受到大量研究者的關(guān)注。解文華等[11]研究一種引入主動輪廓(C-V)模型的MeanShift車輛目標(biāo)跟蹤算法，通過C-V模型實(shí)現(xiàn)對車輛多目標(biāo)的跟蹤管理。但是MeanShift中的窗口尺寸是固定值，難以適應(yīng)車距變化引起的圖像尺寸改變。丁曉娜[12]基于Gaussian模型及卡爾曼濾波實(shí)現(xiàn)車輛跟蹤，但卡爾曼濾波無法解決交通車輛遮擋情況下的收斂問題，對尺度和運(yùn)動狀態(tài)波動性較大的車輛目標(biāo)跟蹤的魯棒性和實(shí)時性不足。近年來基于誤差最小平方和的MOSSE(minimum output sum of squarederror)濾波器[13]、基于學(xué)習(xí)的TLD(tracking learning detection)跟蹤器[14]、核相關(guān)KCF(kernelized correlation filters)濾波器[15]、基于判別式尺度空間的DSST(discriminative scale space tracking)跟蹤器[16]等相關(guān)濾波方法被提出并在目標(biāo)跟蹤中引起重視，由于其在頻域中點(diǎn)乘運(yùn)算的方式極大減少了運(yùn)算量，使得跟蹤的實(shí)時性得到極大提高。但是相關(guān)濾波方法不直接適用于多目標(biāo)跟蹤，難以解決道路車輛跟蹤中目標(biāo)加入、消失、遮擋等問題。鑒于粒子濾波( PF, particle filtering)算法具有高魯棒性與易拓展性，學(xué)者們將圖像特征與粒子濾波算法結(jié)合進(jìn)行車輛多目標(biāo)跟蹤[17-18]。為了提高跟蹤精度，一些改進(jìn)粒子濾波算法也被提出。田夢楚等[19]將螢火蟲群體的吸引和移動機(jī)制引入粒子濾波，利用螢火蟲優(yōu)化算法解決粒子濾波的粒子退化問題，提高了目標(biāo)跟蹤的效率。韓錕等[20]利用果蠅優(yōu)化算法約束粒子群的區(qū)域，提高了跟蹤精度。Zhou等[21]基于遺傳算法提出改進(jìn)的粒子濾波重采樣策略，改善粒子退化，提高了目標(biāo)跟蹤的精確度。然而，這些跟蹤算法在解決復(fù)雜背景下的目標(biāo)跟蹤、目標(biāo)長期遮擋等情況時仍存在問題，無法實(shí)現(xiàn)實(shí)時穩(wěn)定的道路車輛跟蹤。

毫米波雷達(dá)具有環(huán)境適應(yīng)性強(qiáng)、體積小、成本低等優(yōu)點(diǎn)，因此也得到研究者的廣泛采用。Xu等[22]基于聯(lián)合集成概率數(shù)據(jù)關(guān)聯(lián)與交互式多模型(JIPDA-IMM)結(jié)合方法，使用毫米波雷達(dá)實(shí)現(xiàn)前方多目標(biāo)準(zhǔn)確跟蹤。Huang等[23]基于極坐標(biāo)系下的卡爾曼濾波實(shí)現(xiàn)單目標(biāo)跟蹤，并通過閾值方法進(jìn)行目標(biāo)的區(qū)分和關(guān)聯(lián)，實(shí)現(xiàn)車輛多目標(biāo)跟蹤。Aihara等[24]提出將CNN卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于毫米波雷達(dá)，模擬激光雷達(dá)點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)道路可行駛區(qū)域分割。此外，利用毫米波雷達(dá)與視覺信息融合具有極大提升車載環(huán)境感知能力的潛力，信息融合的方法也成為研究熱點(diǎn)。王寶鋒等[25]首先根據(jù)雷達(dá)目標(biāo)投影獲取圖像中的車輛識別感興趣區(qū)域，然后通過對稱性、底部陰影、車輛寬度等特征進(jìn)行驗(yàn)證，實(shí)現(xiàn)高魯棒性的車輛識別。Wang等[26]利用YOLOv2進(jìn)行車輛檢測，針對雨天道路反光造成的圖像干擾，以雷達(dá)投影點(diǎn)提取水平線，利用與邊界框的交點(diǎn)坐標(biāo)計算車輛寬度，提高寬度估計的精確。以上基于視覺與雷達(dá)信息融合的研究在車輛檢測領(lǐng)域表現(xiàn)成熟，但仍無法解決車輛跟蹤中尺度變化問題。Chen等[27]在圖像感知哈希編碼的跟蹤算法中引入毫米波雷達(dá)探測信息進(jìn)行尺度更新，但是其僅針對單目標(biāo)跟蹤問題，無法適用于道路環(huán)境中的多車輛目標(biāo)跟蹤。

針對視覺圖像中車輛目標(biāo)尺度變化導(dǎo)致跟蹤丟失問題，提出一種基于視覺與毫米波雷達(dá)信息融合的改進(jìn)粒子濾波車輛跟蹤與尺度修正算法[28-29]。首先采用遺傳算法改進(jìn)粒子濾波的重采樣策略，根據(jù)實(shí)時有效采樣粒子數(shù)求取動態(tài)自適應(yīng)的遺傳交叉概率，并在交叉操作中利用單個子代替換小權(quán)重粒子，以提高平均精度。利用高斯函數(shù)計算種群適應(yīng)度、計算遺傳變異狀態(tài)，使跟蹤估計窗口更符合真實(shí)運(yùn)動。然后，在改進(jìn)粒子濾波車輛多目標(biāo)跟蹤算法中，引入毫米波雷達(dá)的深度信息對跟蹤邊界框尺寸進(jìn)行修正。利用雷達(dá)目標(biāo)投影點(diǎn)與視覺跟蹤框的位置關(guān)系，設(shè)計判別策略實(shí)現(xiàn)關(guān)聯(lián)匹配，通過推導(dǎo)目標(biāo)的圖像尺寸與縱向距離呈現(xiàn)反比例關(guān)系，融合雷達(dá)探測的運(yùn)動信息實(shí)現(xiàn)關(guān)聯(lián)目標(biāo)的跟蹤邊界框尺寸修正，實(shí)現(xiàn)了智能汽車對道路車輛的連續(xù)準(zhǔn)確跟蹤。

1 雷達(dá)與機(jī)器視覺的時空同步

德爾福ESR毫米波雷達(dá)集成了長距離雷達(dá)與中距離雷達(dá)的檢測功能，獲取目標(biāo)的距離、角度、相對速度等運(yùn)動信息。長距離雷達(dá)的最大探測距離為175 m，探測角度為20°；中距離雷達(dá)的最大探測距離為60米且探測角度為90°。選用的車載相機(jī)為羅技C920 Pro，其探測視角為78°。雷達(dá)安裝于車輛前方保險杠中部，相機(jī)的安裝位置于車輛前擋風(fēng)玻璃上方，如圖1(a)所示。傳感器探測范圍見圖1(b)。

圖1 傳感器布置與探測范圍Fig. 1 Sensor layout and detection range

雷達(dá)與相機(jī)的空間坐標(biāo)轉(zhuǎn)換需要標(biāo)定內(nèi)外參數(shù)。首先利用相機(jī)采集不同視角下的標(biāo)準(zhǔn)棋盤格圖片不少于20張，然后利用Matlab標(biāo)定工具箱自動提取每張圖片的角點(diǎn)，其中需要輸入棋盤尺寸，即可通過張正友標(biāo)定法的迭代計算可以得到相機(jī)內(nèi)外部參數(shù)。再經(jīng)過測量與迭代計算獲取雷達(dá)與相機(jī)的外部平移與旋轉(zhuǎn)參數(shù)后，代入透視變換中的內(nèi)外參數(shù)矩陣，即可完成雷達(dá)坐標(biāo)與圖像像素坐標(biāo)的轉(zhuǎn)換

(1)

其中，(u,v)表示圖像像素坐標(biāo)中的目標(biāo)位置，(XR,YR,Z)表示雷達(dá)坐標(biāo)系下的目標(biāo)位置，M1與M2分別表示內(nèi)外參數(shù)矩陣。

由于雷達(dá)與相機(jī)的工作頻率不同，要實(shí)現(xiàn)多傳感器數(shù)據(jù)關(guān)聯(lián)，還需要完成時間上的對準(zhǔn)。毫米波雷達(dá)的采樣幀頻率為20 Hz，而相機(jī)的采樣幀頻率為30 Hz，按照采樣頻率低的傳感器向下兼容，提取雷達(dá)每間隔一幀數(shù)據(jù)、相機(jī)每間隔2幀數(shù)據(jù)為有效數(shù)據(jù)。

2 毫米波雷達(dá)數(shù)據(jù)濾波

2.1 雷達(dá)數(shù)據(jù)預(yù)處理

德爾福ESR雷達(dá)每一幀掃描時返回64個通道的目標(biāo)數(shù)據(jù)，并包含每個目標(biāo)的速度、距離、角度、加速度等運(yùn)動信息。由于產(chǎn)生的數(shù)據(jù)量過大，若每次調(diào)用數(shù)據(jù)時全部讀取，將十分費(fèi)時、且占用大量內(nèi)存空間，因此需要對雷達(dá)原始數(shù)據(jù)進(jìn)行預(yù)處理。具體過程如下：

1)提取運(yùn)動參數(shù)。考慮到毫米波雷達(dá)所探測各運(yùn)動參數(shù)的精確度，篩選出每個通道目標(biāo)的速度、距離、角度三組參數(shù)。

2)去除空目標(biāo)。根據(jù)雷達(dá)解算協(xié)議，雷達(dá)未探測到目標(biāo)時返回的空信號數(shù)據(jù)為相對距離d=0、相對速度v=81.91、角度α=0。根據(jù)這些特征值，可以濾除返回信號中的空目標(biāo)。

3)基于閾值的有效目標(biāo)初選。在實(shí)際應(yīng)用中通常需要識別的道路車輛目標(biāo)為同車道的前方車輛、及左右兩側(cè)鄰車道的同向車輛，如圖2所示。為此需要設(shè)置橫向距離與相對速度閾值，濾除非目標(biāo)區(qū)域的車輛與逆向車輛。

圖2 道路前方車輛分布Fig. 2 Preceding vehicles distribution

此外，由于長距離毫米波雷達(dá)的最大探測距離為175 m，而其返回數(shù)據(jù)的精度不高；且遠(yuǎn)處目標(biāo)在相機(jī)采集圖像中尺寸過小，難以實(shí)現(xiàn)準(zhǔn)確關(guān)聯(lián)。因此需要設(shè)置縱向距離閾值濾除遠(yuǎn)處目標(biāo)。綜上得到的閾值篩選模型如下

(2)

其中:dx為橫向相對距離;vy為縱向相對速度;dy為縱向相對距離；Wth為橫向距離閾值，由車道寬度與閾值的乘積表示(根據(jù)中國道路技術(shù)規(guī)范，設(shè)置行車道的寬度Wth為3.75 m);系數(shù)k通常取1.5；vth是相對速度閾值，為負(fù)數(shù)，取-20 m/s；dth為縱向距離閾值，取60 m。

2.2 車輛目標(biāo)關(guān)聯(lián)濾波

除了交通車輛，毫米波雷達(dá)還會探測到道路上的其他障礙物目標(biāo)，比如行人、交通標(biāo)志、金屬護(hù)欄等。此外，數(shù)據(jù)中還存在誤檢無效目標(biāo)、漏檢有效目標(biāo)等非連續(xù)目標(biāo)。因此，需要利用車輛目標(biāo)關(guān)聯(lián)濾波從毫米波雷達(dá)數(shù)據(jù)中獲取更精確的車輛目標(biāo)。

首先使用三階卡爾曼濾波方法對有效目標(biāo)運(yùn)動信息進(jìn)行預(yù)測，選取的觀測向量為[dn,vn,an]，即毫米波雷達(dá)檢測到目標(biāo)在n時刻的距離、速度、加速度。

(3)

其中，雷達(dá)的掃描頻率為20 Hz，則每個周期的間隔為0.05 s；而多傳感器時間對準(zhǔn)后，雷達(dá)數(shù)據(jù)為每間隔一幀提取一次，所以取t=0.1 s。

由于毫米波雷達(dá)對加速度的分辨力較低，返回數(shù)據(jù)中同一個目標(biāo)的加速度數(shù)值存在較大波動，以及車輛目標(biāo)在道路的運(yùn)動多為縱向運(yùn)動，因此對濾波模型作出改進(jìn)：剔除加速度數(shù)據(jù)a，由相對距離與角度計算出縱向距離dy與橫向距離dx

(4)

最終獲得關(guān)聯(lián)濾波模型如下

(5)

考慮到存在有效目標(biāo)漏檢的情況，為檢驗(yàn)有效目標(biāo)的連續(xù)性，針對每一幀雷達(dá)掃描數(shù)據(jù)，分別提取其前后各3幀數(shù)據(jù)進(jìn)行上述檢驗(yàn)，從而濾除無效目標(biāo)

(6)

其中，j={-3,-2,-1,1,2,3}表示前后各三幀的雷達(dá)數(shù)據(jù)，found_radar(j)表示第j時刻下是否存在目標(biāo)滿足關(guān)聯(lián)濾波閾值要求，值為0或1。若相鄰6幀數(shù)據(jù)中存在至少4幀數(shù)據(jù)滿足式(5)的閾值要求，則判定當(dāng)前幀的目標(biāo)為連續(xù)有效的車輛目標(biāo)(如圖3所示)。

圖3 雷達(dá)數(shù)據(jù)關(guān)聯(lián)濾波效果對比圖Fig. 3 Effect of radar data association filtering

3 基于改進(jìn)粒子濾波的車輛跟蹤

3.1 改進(jìn)粒子濾波算法

標(biāo)準(zhǔn)粒子濾波算法中，重要性采樣多次迭代后存在嚴(yán)重的粒子退化現(xiàn)象，即多數(shù)新生粒子的觀測值與跟蹤模板間的相似性越來越低，連續(xù)多幀后粒子權(quán)重逐漸變成0，其后驗(yàn)概率也失去意義。為了解決粒子退化問題，經(jīng)典重采樣方法采用復(fù)制大權(quán)重粒子、刪除小權(quán)重粒子的策略，但是多次濾波后會使得粒子多樣性降低，導(dǎo)致樣本枯竭，在場景劇變時難以準(zhǔn)確跟蹤。遺傳算法是一種自適應(yīng)全局優(yōu)化搜索算法，模擬生物進(jìn)化過程，將其引入粒子濾波重采樣，可以利用優(yōu)勝劣汰的規(guī)則繁殖(復(fù)制)更優(yōu)質(zhì)的粒子，以產(chǎn)生更好的近似解，解決粒子退化問題同時保持粒子多樣性。

遺傳算法主要包括基因編碼、適應(yīng)度評價、選擇、交叉、變異等運(yùn)算步驟。對于選擇樣本參與交叉和變異操作的策略通常有2種，即全部參與、或以一固定概率參與，沒有考慮種群適應(yīng)度。若定義有效粒子數(shù)為

(7)

考慮粒子退化程度，基于實(shí)時有效采樣粒子數(shù)Neff，求取動態(tài)自適應(yīng)的交叉概率為[21]

(8)

其中，k是遺傳概率系數(shù)，Ns是粒子總數(shù)，Nth為設(shè)定閾值。

動態(tài)自適應(yīng)的交叉概率能夠有效解決粒子退化問題，并保持多樣性，但是其計算成本會增大，因此不適用于實(shí)時的目標(biāo)跟蹤系統(tǒng)。為了在不降低跟蹤精度的同時提升計算時效性，對遺傳交叉和變異部分進(jìn)行改進(jìn)。具體工作如下：

1)基因編碼：針對視覺跟蹤問題，選用目標(biāo)在圖像中的位置及尺寸為基本狀態(tài)模型。由于車輛跟蹤問題涉及到目標(biāo)運(yùn)動與尺度變化，選取基因編碼s=[x,y,h,w,vx,vy,sc]，包括目標(biāo)窗口的位置及尺寸、運(yùn)動速度、尺度變化因子。

2)個體適應(yīng)度評價：選取圖像HSV顏色直方圖特征，設(shè)置bins=8進(jìn)行色彩壓縮，可將360×100×100維的直方圖數(shù)據(jù)壓縮為8×8×8維，以減少存儲量、提高計算效率。再利用巴氏系數(shù)度量每個粒子表征窗口的直方圖pi與模板直方圖q之間的相似度

(9)

巴氏距離ρ越大則表明2個直方圖分布越相似。然后利用一維高斯函數(shù)處理，使適應(yīng)度fi符合正態(tài)分布

(10)

3)選擇：計算前一幀粒子集中每個粒子的適應(yīng)度(權(quán)重)，并據(jù)此計算當(dāng)前有效粒子數(shù)，利用動態(tài)自適應(yīng)概率式(8)，計算得到交叉概率Pc，再以輪盤賭策略執(zhí)行N/2次隨機(jī)選擇粒子對作為父代，逐次參與遺傳交叉操作。

4)交叉：利用每對父代粒子交叉產(chǎn)生一個子代

C=α×P1+(1-α)×P2，

(11)

其中：P1與P2為父代粒子的基因編碼；C為生成的子代粒子基因編碼。為了彌補(bǔ)單個子代可能帶來種群多樣性的不足，設(shè)置比例因子α非固定值，其隨機(jī)數(shù)生成區(qū)間為[0.3,0.7]。

完成選擇與交叉操作后，利用生成的N/2個子代替換前一幀粒子集中個體適應(yīng)度排名靠后的相應(yīng)粒子，記錄形成新的粒子集，參與后續(xù)運(yùn)算。此策略可以使重采樣結(jié)果的平均期望更接近跟蹤模板，提高跟蹤精度，同時減少每一幀運(yùn)算量，提高目標(biāo)跟蹤的時效性。

5)變異：以一定概率在種群內(nèi)隨機(jī)挑選粒子，針對第i個粒子編碼si，對窗口坐標(biāo)與尺度進(jìn)行隨機(jī)變異，以提高種群的多樣性。利用正態(tài)分布計算粒子變異狀態(tài)，使概率分布更接近目標(biāo)運(yùn)動規(guī)律

(12)

其中，r為服從[0,1]均勻分布的隨機(jī)數(shù)，設(shè)置變異概率rth=0.1。

所提出的改進(jìn)粒子濾波算法基于遺傳算法改進(jìn)重采樣策略，以正態(tài)分布而非均勻分布來計算種群適應(yīng)度、及實(shí)現(xiàn)遺傳變異操作，使數(shù)值計算更接近真實(shí)運(yùn)動軌跡。且利用每對父代粒子生成單個子代，可以提高平均期望，同時避免大量迭代，能夠優(yōu)化計算效率。改進(jìn)算法能夠保證權(quán)重較大的粒子依然有更大概率保留，避免粒子退化導(dǎo)致的濾波發(fā)散，同時提高粒子的多樣性，避免樣本衰竭導(dǎo)致車載相機(jī)環(huán)境劇變時難以跟蹤。

3.2 改進(jìn)粒子濾波在車輛跟蹤中的實(shí)現(xiàn)

所提出的改進(jìn)粒子濾波算法在車輛跟蹤中的主要實(shí)現(xiàn)步驟如下：

1)首幀初始化：對于每一個目標(biāo)，根據(jù)先驗(yàn)密度函數(shù)采樣N個粒子。與前文遺傳算法的基因編碼相同，粒子狀態(tài)表征模型為s=[x,y,h,w,vx,vy,sc]。窗口位置與尺寸的初始化主要由檢測結(jié)果給定，在置初始速度vx=vy=0，并且由于車載相機(jī)中前方車輛尾部尺寸變化幅度一般不大，限定sc=0.01。此外需要設(shè)置粒子集初始化權(quán)重wi=1/N。

2)重采樣：依據(jù)前文提出的基于遺傳算法改進(jìn)重采樣方法，針對前一幀粒子集的個體適應(yīng)度進(jìn)行自然選擇、遺傳交叉、變異等操作，得到新的粒子集合。

3)觀測權(quán)值：與前文個體適應(yīng)度評價方法相同，利用式(9)度量窗口HSV直方圖與模板直方圖間相似度，并利用式(10)離散化，再進(jìn)行歸一化處理，得到粒子權(quán)值wi。

(13)

式(13)返回Oid為被遮擋粒子的序號。若連續(xù)遮擋達(dá)到一定幀數(shù)，則判定該目標(biāo)行駛出視野之外，刪除對應(yīng)的直方圖模板。

5)狀態(tài)輸出：根據(jù)各粒子的權(quán)重與狀態(tài)模型計算加權(quán)平均狀態(tài)，求得的結(jié)果可作為目標(biāo)在新一時刻的估計狀態(tài)輸出。

6)返回步驟2進(jìn)入下一視頻幀的目標(biāo)跟蹤，直至連續(xù)跟蹤幀數(shù)達(dá)到設(shè)定值。

4 基于信息融合的跟蹤結(jié)果修正

對于視覺跟蹤算法，通常在長時間跟蹤后會出現(xiàn)跟蹤框尺寸過大或過小的情況，致使跟蹤窗口出現(xiàn)目標(biāo)漂移問題，導(dǎo)致目標(biāo)丟失。針對此問題，引入毫米波雷達(dá)獲取目標(biāo)的深度信息，對跟蹤邊界框尺寸進(jìn)行修正。

4.1 雷達(dá)與視覺跟蹤目標(biāo)關(guān)聯(lián)匹配

首先需要將濾波后的毫米波雷達(dá)數(shù)據(jù)與視覺跟蹤結(jié)果關(guān)聯(lián)。根據(jù)式(4)，可利用雷達(dá)探測到的目標(biāo)距離與角度信息，由雷達(dá)坐標(biāo)轉(zhuǎn)換得到以車直角坐標(biāo)系下。同時由式(1)的多傳感器空間坐標(biāo)轉(zhuǎn)換關(guān)系，可將雷達(dá)目標(biāo)點(diǎn)投影到圖像上，得到其圖像坐標(biāo)[u,v]。同時，基于遺傳算法改進(jìn)的粒子濾波在車輛跟蹤中的實(shí)現(xiàn)，可得到當(dāng)前幀的跟蹤結(jié)果，包括位置與尺寸參數(shù)[x,y,w,h]。

如圖4所示，綠色圓點(diǎn)表示雷達(dá)目標(biāo)中心點(diǎn)投影，紅色矩形框表示視覺跟蹤結(jié)果。根據(jù)雷達(dá)投影點(diǎn)與視覺跟蹤框的位置關(guān)系，可以確定目標(biāo)關(guān)聯(lián)匹配算法。

取“2.2”項(xiàng)下固定后的肝組織，脫水，石蠟包埋，按4 μm厚度切片。然后進(jìn)行常規(guī)蘇木精-伊紅（HE）染色，于倒置顯微鏡下觀察，并依據(jù)《非酒精性脂肪性肝病診療指南》[10]，判定肝細(xì)胞脂肪變性程度。

(14)

設(shè)計的目標(biāo)關(guān)聯(lián)匹配判別策略如下：

判據(jù)1：若跟蹤框內(nèi)沒有雷達(dá)投影點(diǎn)，則該視覺跟蹤目標(biāo)沒有雷達(dá)目標(biāo)與之關(guān)聯(lián)匹配；判據(jù)2：若一個跟蹤框內(nèi)存在且僅有一個雷達(dá)投影點(diǎn)，則直接將其關(guān)聯(lián)匹配；判據(jù)3：若一個跟蹤框內(nèi)存在多個雷達(dá)投影點(diǎn)，則將距離中心點(diǎn)(x+w/2,y+h/2)處最近的雷達(dá)目標(biāo)與之關(guān)聯(lián)。

其中判據(jù)2的優(yōu)先級高于判據(jù)3。若兩跟蹤框存在部分重疊(如圖4a)，通常遠(yuǎn)處車輛目標(biāo)(跟蹤框也較小)投影點(diǎn)可能同時包含于近處目標(biāo)跟蹤框(尺寸較大)中，為避免匹配錯誤，可以通過處理判據(jù)2實(shí)現(xiàn)遠(yuǎn)處目標(biāo)匹配。其次，為解決同一車道出現(xiàn)多輛車導(dǎo)致圖像中遠(yuǎn)處目標(biāo)被完全遮擋的情況(如圖4b)，可采用判據(jù)3解決大多數(shù)遮擋目標(biāo)的匹配。

圖4 雷達(dá)投影點(diǎn)與視覺跟蹤框Fig. 4 Radar projection points and visual tracking bounding boxes

4.2 跟蹤邊界框修正

根據(jù)相機(jī)透視變換關(guān)系式(1)，相機(jī)內(nèi)外參數(shù)矩陣確定時，雷達(dá)坐標(biāo)系與圖像像素坐標(biāo)之間的轉(zhuǎn)換為線性關(guān)系。因此對于一個尺度不變的目標(biāo)，在縱向距離更大的時候，其在圖像中尺寸呈現(xiàn)對應(yīng)反比例的縮小。

W·D=Con，

(15)

其中：W為目標(biāo)在相機(jī)成像中的寬度；D為縱向距離；Con表示常數(shù)。

鑒于此，在視覺跟蹤中引入毫米波雷達(dá)探測的目標(biāo)深度信息，實(shí)現(xiàn)對跟蹤邊界框的修正。假設(shè)前一時刻下，跟蹤目標(biāo)窗口的位置與尺寸由向量[x1,y1,w1,h1]表示，對應(yīng)的縱向距離為D1；而當(dāng)前時刻，目標(biāo)的位置與尺寸表示為[x2,y2,w2,h2]，對應(yīng)的縱向距離為D2。則可由式(15)推導(dǎo)的反比例關(guān)系得

w1·D1=w2·D2。

(16)

在跟蹤修正中，主要考慮當(dāng)前時刻的跟蹤框?qū)挾扰c高度不準(zhǔn)確，但是仍要依據(jù)跟蹤框的中點(diǎn)位置。此外，由于前一時刻的檢測結(jié)果作為真實(shí)值、或跟蹤結(jié)果已經(jīng)過修正，也可直接沿用。由此，得到修正后的當(dāng)前時刻下車輛目標(biāo)的位置與尺寸[x’,y’,w’,h’]如下

(17)

對每一幀下所有關(guān)聯(lián)匹配的跟蹤目標(biāo)邊界框完成位置與尺寸修正后，即可以迭代循環(huán)方式進(jìn)入下一幀，實(shí)現(xiàn)車輛多目標(biāo)的連續(xù)跟蹤。

5 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證所提融合算法的有效性，與標(biāo)準(zhǔn)粒子濾波和改進(jìn)粒子濾波的跟蹤效果進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)采集于重慶市日間內(nèi)環(huán)快速路、高速公路及部分城市道路場景，天氣為晴天或多云。視頻幀數(shù)為30FPS，圖像分辨率為1280*720，包含了部分樹木陰影、天橋、路面損毀等場景，有效涵蓋多數(shù)車輛高速運(yùn)行的復(fù)雜場景。ESR毫米波雷達(dá)數(shù)據(jù)離線存儲為csv格式文件。實(shí)驗(yàn)軟件平臺為MATLAB 2016B，硬件平臺為8 G內(nèi)存、I5處理器的筆記本電腦。

分別采用標(biāo)準(zhǔn)粒子濾波算法、改進(jìn)粒子濾波算法、及融合雷達(dá)運(yùn)動信息的粒子濾波方法進(jìn)行道路車輛多目標(biāo)跟蹤實(shí)驗(yàn)，在典型工況下采集的視頻數(shù)據(jù)與毫米波雷達(dá)數(shù)據(jù)中選取25段數(shù)據(jù)，每段長度約為20幀?；跇?biāo)準(zhǔn)粒子濾波算法和改進(jìn)粒子濾波算法的部分車輛跟蹤結(jié)果圖5和圖6所示，在改進(jìn)粒子濾波基礎(chǔ)上引入毫米波雷達(dá)信息的跟蹤修正實(shí)驗(yàn)結(jié)果如圖7所示。

圖5 基于標(biāo)準(zhǔn)粒子濾波算法的車輛跟蹤Fig. 5 Vehicle tracking based on standard particle filter algorithm

圖6 基于改進(jìn)粒子濾波算法的車輛跟蹤Fig. 6 Vehicle tracking based on improved particle filter algorithm

圖7 融合雷達(dá)信息的跟蹤修正實(shí)驗(yàn)Fig. 7 Tracking bounding box correction fusing radar data

從圖5(b)、圖6(b)和圖7(b)中可以看出，連續(xù)跟蹤10幀后，標(biāo)準(zhǔn)粒子濾波算法的跟蹤框與真實(shí)值存在一定偏差，而改進(jìn)粒子濾波算法與融合雷達(dá)信息的跟蹤框仍能準(zhǔn)確表征車輛尾部。由圖5(c)與圖6(c)可見，由于連續(xù)跟蹤產(chǎn)生的累積誤差，視覺跟蹤邊界框的位置與尺寸均已經(jīng)與真實(shí)目標(biāo)偏差較大。相比之下，融合雷達(dá)信息的跟蹤框修正后尺寸更符合目標(biāo)實(shí)際尺寸，如圖7(c)所示，所提出的融合算法能夠有效避免僅采用視覺跟蹤時窗口尺寸的累積誤差導(dǎo)致目標(biāo)丟失。

對應(yīng)時刻的毫米波雷達(dá)測距信息曲線如圖8所示。

圖8 雷達(dá)測量目標(biāo)縱向距離Fig. 8 Longitudinal distance of vehicle targets by radar measurements

在25段數(shù)據(jù)測試后，3種算法的平均準(zhǔn)確率與平均精度隨幀數(shù)的關(guān)系如圖9(a)與圖9(b)所示，統(tǒng)計實(shí)驗(yàn)結(jié)果數(shù)據(jù)如表1所示。其中平均準(zhǔn)確率(MOTA, multi-object tracking accuracy)表示跟蹤算法濾除目標(biāo)誤報與漏報的能力，平均精度(MOTP, multi-object tracking precision)表示跟蹤框與真實(shí)目標(biāo)邊界框的重疊度[29]。

圖9 3種跟蹤算法平均準(zhǔn)確率與平均精度的視頻序列變化曲線Fig. 9 MOTA and MOTP performance of 3 tracking algorithms in video sequences

表1 3種跟蹤算法性能比較

分析實(shí)驗(yàn)結(jié)果可以看出，相比于標(biāo)準(zhǔn)粒子濾波算法，改進(jìn)粒子濾波算法在跟蹤平均準(zhǔn)確率與跟蹤精度上有顯著提升，分別提高22.1%與21.1%。但是跟蹤一段時間后精度會降低，跟蹤框尺寸累積誤差導(dǎo)致難以有效表征跟蹤目標(biāo)。而引入毫米波雷達(dá)深度信息后，跟蹤平均精度獲得進(jìn)一步提升，達(dá)到87.8%，表明修正后的視覺跟蹤框位置與尺寸更加接近車輛目標(biāo)尾部在圖像中呈現(xiàn)的真實(shí)值。雖然兩種改進(jìn)算法在耗時上有小幅增加，但是能夠基本滿足傳感器時間對準(zhǔn)后每秒10幀的實(shí)時性需求。

6 結(jié) 論

為提高智能汽車對道路車輛多目標(biāo)跟蹤精度，基于視覺與毫米波雷達(dá)信息融合，提出一種引入深度信息的改進(jìn)粒子濾波車輛跟蹤與尺寸修正方法。主要結(jié)論如下：

1)提出一種基于遺傳算法改進(jìn)重采樣的粒子濾波算法。根據(jù)粒子退化程度計算動態(tài)自適應(yīng)交叉概率，利用高斯替代平均分布以逼近真實(shí)運(yùn)動規(guī)律。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法顯著提升了車輛多目標(biāo)跟蹤的平均準(zhǔn)確率與精度，并保證了實(shí)時性。

2)引入毫米波雷達(dá)深度信息對跟蹤邊界框尺寸修正。利用雷達(dá)目標(biāo)透視投影點(diǎn)與視覺跟蹤框的位置關(guān)系實(shí)現(xiàn)關(guān)聯(lián)匹配，通過圖像尺寸與縱向距離的反比例關(guān)系完成關(guān)聯(lián)目標(biāo)的跟蹤邊界框坐標(biāo)與尺寸修正。實(shí)驗(yàn)結(jié)果表明，此方法進(jìn)一步提高了平均跟蹤精度，避免車輛連續(xù)跟蹤時的由于窗口尺寸累積誤差導(dǎo)致目標(biāo)丟失。