基于多特征融合的高速路車輛多目標(biāo)跟蹤算法研究

胡隨芯 常艷昌 楊俊 章振原

（1.武漢理工大學(xué)，武漢 430070；2.現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430070；3.湖北三環(huán)車橋有限公司，谷城 441700）

1 前言

多目標(biāo)跟蹤可為智能汽車決策規(guī)劃、控制執(zhí)行提供可靠的依據(jù)[1]，有離線和在線兩種方式，在線方法實(shí)時(shí)性好，適用于高速場景，但其易受到目標(biāo)遮擋和檢測器漏檢、誤檢的影響，因此設(shè)計(jì)魯棒性強(qiáng)的特征關(guān)聯(lián)模型十分重要。為解決在線多目標(biāo)跟蹤中的難題，近年來許多學(xué)者進(jìn)行了大量研究。E.Bochinski[2]等根據(jù)高精度檢測結(jié)果，將前、后幀的交并比（Intersection Over Union，IOU）作為相似性度量參數(shù)設(shè)計(jì)了一種高速跟蹤算法，該算法耗時(shí)極短，但只采用了單一度量模型，無法應(yīng)對(duì)物體變形較大及目標(biāo)相互遮擋的場景。A.Bewley[3]等提出一種簡單的在線實(shí)時(shí)跟蹤（Simple Online and Realtime Tracking，SORT）方法，將卡爾曼濾波引入圖像空間，使用軌跡預(yù)測的邊界框與檢測邊界框重合率作為相似性度量參數(shù)。N.Wojke、A.Bewley[4]等對(duì)SORT算法進(jìn)行改進(jìn)，提出了DeepSort 算法，利用深度神經(jīng)網(wǎng)絡(luò)提取行人外觀特征，跟蹤準(zhǔn)確性明顯提升，但實(shí)時(shí)性不如SORT 算法。S.Sharma 等人[5-6]利用深度神經(jīng)網(wǎng)絡(luò)提取跟蹤目標(biāo)的3D邊界框，將二維圖像擴(kuò)展到三維空間，分別計(jì)算目標(biāo)在2D、3D 空間的相似性。G.Gunduz[7]等人提出了一種輕量級(jí)的多目標(biāo)跟蹤算法，融合目標(biāo)RGB顏色直方圖和檢測框尺寸相似性構(gòu)造關(guān)聯(lián)矩陣，跟蹤速度較其他算法快6～20 倍，但該算法只關(guān)注單一RGB 外觀特征，無法解決光照變化、陰影、遮擋等問題。

綜上，多目標(biāo)跟蹤算法研究已取得較大進(jìn)展，但在高速場景下，由于車輛移動(dòng)速度快、目標(biāo)相似度高，為了保證跟蹤的魯棒性，除了外觀模型，還應(yīng)注重運(yùn)動(dòng)模型和尺寸模型的判別能力。因此，本文融合HSV顏色直方圖和HOG 方向梯度直方圖構(gòu)造目標(biāo)外觀相似性模型，彌補(bǔ)單一顏色特征對(duì)光照、陰影敏感性強(qiáng)的缺點(diǎn)。利用卡爾曼濾波對(duì)已有的跟蹤軌跡進(jìn)行預(yù)測，構(gòu)建預(yù)測與檢測間的位置相似性模型和尺寸相似性模型，同時(shí)針對(duì)預(yù)測超出圖像邊界框?qū)е孪嗨菩远攘坎粶?zhǔn)確的問題提出解決方法，以減少目標(biāo)因相互遮擋造成跟蹤失敗等問題。

2 跟蹤算法框架

本文算法采用逐幀關(guān)聯(lián)方式，利用安裝在移動(dòng)車輛上的單目相機(jī)獲取車輛前景區(qū)域圖像序列其中n為圖像的數(shù)量，將t時(shí)刻圖像It作為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的輸入，輸出當(dāng)前時(shí)刻檢測結(jié)果集合，其中為t時(shí)刻第i個(gè)目標(biāo)檢測框，Nt為檢測框的數(shù)量，的表達(dá)式為：

式中，()為檢測框的左上角坐標(biāo)；分別為檢測框的寬度和高度；為檢測框的置信度。一個(gè)物體可能對(duì)應(yīng)多個(gè)檢測框，因此本文先采用非極大值抑制（Non-Maximum Suppression，NMS）[8]選取置信度最高的檢測框，從而除去冗余檢測，并融合多種特征模型設(shè)計(jì)相似性度量矩陣，利用匈牙利二分圖匹配將t時(shí)刻檢測與(t-1)時(shí)刻軌跡關(guān)聯(lián)，算法框圖如圖1所示。

圖1 本文采用的算法框架

2.1 卡爾曼濾波

本文基于卡爾曼濾波進(jìn)行運(yùn)動(dòng)車輛跟蹤，目標(biāo)的運(yùn)動(dòng)方程和觀測方程為：

式中，xt、xt-1分別為t時(shí)刻和(t-1)時(shí)刻目標(biāo)運(yùn)動(dòng)狀態(tài)變量；yt為t時(shí)刻目標(biāo)觀測變量；F為狀態(tài)轉(zhuǎn)移矩陣；ut-1為過程噪聲，滿足正態(tài)分布且其協(xié)方差為Q；H為觀測矩陣；wt測量噪聲，滿足正態(tài)分布且其協(xié)方差為R。

卡爾曼濾波假設(shè)目標(biāo)處于勻速直線運(yùn)動(dòng)狀態(tài)，因此對(duì)應(yīng)的噪聲協(xié)方差矩陣為單位對(duì)角陣。給定上述參數(shù)后，根據(jù)卡爾曼濾波遞推可得到預(yù)測的狀態(tài)方程：

預(yù)測的狀態(tài)協(xié)方差矩陣為：

卡爾曼增益方程為：

更新后的狀態(tài)方程和協(xié)方差矩陣分別為：

式中，xt-1/t-1為(t-1)時(shí)刻的最優(yōu)估計(jì)狀態(tài)；xt/t-1為t時(shí)刻的預(yù)測狀態(tài)；Pt-1/t-1為(t-1)時(shí)刻更新后的協(xié)方差矩陣；Pt/t-1為t時(shí)刻的誤差協(xié)方差預(yù)測矩陣；Kt為t時(shí)刻的卡爾曼增益；為t時(shí)刻最優(yōu)估計(jì)狀態(tài)；為t時(shí)刻最優(yōu)估計(jì)協(xié)方差矩陣。

目標(biāo)的狀態(tài)變量可以表示為xt=(x,y,w,h,vx,vy,vw,vh)T，其中x、y為目標(biāo)中心在2個(gè)坐標(biāo)軸方向的投影分量，vx、vy為目標(biāo)運(yùn)動(dòng)速度在2 個(gè)坐標(biāo)軸方向的分量，w、h分別為目標(biāo)包圍框的寬度和高度，vw、vh分別為目標(biāo)包圍框?qū)挾?、高度的變化率。目?biāo)觀測變量yt可由檢測邊界框的信息得到，yt=(xt,yt,wt,ht)T。在卡爾曼濾波的初始階段，可將目標(biāo)的速度初始化為0。得到目標(biāo)的初始狀態(tài)后，根據(jù)后續(xù)幀中的檢測結(jié)果利用卡爾曼濾波對(duì)目標(biāo)狀態(tài)不斷預(yù)測、更新，該過程對(duì)應(yīng)目標(biāo)跟蹤過程。

2.2 關(guān)聯(lián)特征設(shè)計(jì)

2.2.1 外觀相似性

HSV顏色直方圖能夠直觀表達(dá)物體色彩和色調(diào)，更類似于人類視覺。HOG特征是一種描述圖像局部紋理的特征，通過統(tǒng)計(jì)圖像局部區(qū)域的梯度直方圖構(gòu)成圖像特征。考慮到汽車具有相對(duì)穩(wěn)定的結(jié)構(gòu)，其圖像的局部結(jié)構(gòu)可以用梯度邊緣分布很好地描述，為保證在提取圖像顏色信息的同時(shí)也能提取圖像紋理信息，本文將HSV特征和HOG特征進(jìn)行融合來描述軌跡與檢測之間的外觀相似度，融合后的外觀特征用FH來描述：

式中，f1、f2分別為長度為256維的HSV特征和長度為36維的HOG特征向量，融合后的特征維度為292；ω1、ω2分別為f1、f2的權(quán)重，本文中令ω1=ω2=0.5。

為了避免不同數(shù)量級(jí)的特征在融合時(shí)數(shù)量級(jí)大的特征淹沒數(shù)量級(jí)小的特征，在此將兩種特征進(jìn)行正則化，然后按照各自的權(quán)重進(jìn)行加權(quán)拼接得到融合后的外觀特征FH。采用卡方距離（Chi-Square）計(jì)算目標(biāo)Di和軌跡Tj的外觀相似性：

分別利用HSV顏色直方圖模型、HSV顏色直方圖融合HOG 特征模型計(jì)算圖2a 和圖2b 中同一目標(biāo)的相似度，從圖中可以看出，同一目標(biāo)光照情況變化較大。使用單一HSV顏色特征計(jì)算相似度為0.26，而使用融合后的外觀特征計(jì)算相似度為0.14，由式（10）可知，卡方距離越小，相似度越高。顏色直方圖對(duì)目標(biāo)旋轉(zhuǎn)和部分遮擋具有較強(qiáng)的適應(yīng)能力，而HOG直方圖對(duì)光照變化具有較高魯棒性，融合顏色和紋理的外觀特征可更加準(zhǔn)確地反映目標(biāo)間的相似性，為目標(biāo)跟蹤提供更可靠的關(guān)聯(lián)。

圖2 外觀相似度比較

2.2.2 尺寸相似性

尺寸相似性用來描述當(dāng)前幀軌跡邊界框與檢測邊界框的尺寸差異。與其他低速跟蹤應(yīng)用（如傳統(tǒng)行人跟蹤）相比，高速場景中移動(dòng)相機(jī)獲取的圖像放大了檢測框幾何變化，會(huì)導(dǎo)致檢測的邊界框大于或者小于物體的實(shí)際尺寸，因此不直接比較兩幀檢測框之間的相似性，而是將當(dāng)前幀的跟蹤軌跡根據(jù)卡爾曼濾波外推到下一幀，盡量減小移動(dòng)速度較快帶來的目標(biāo)尺寸差異。由檢測框信息可得Bbox=(x,y,w,h)T，定義尺寸參數(shù)為z=(w,h)T，則t時(shí)刻第i個(gè)檢測目標(biāo)尺寸參數(shù)為zi=(wi,hi)T，將(t-1)時(shí)刻第j個(gè)跟蹤目標(biāo)邊界框外推到t時(shí)刻，有zj=(wj,hj)T，計(jì)算zi與zj之間的尺寸相似度：

將軌跡邊界框外推到下一幀時(shí)，若目標(biāo)出現(xiàn)在圖像邊緣區(qū)域，預(yù)測的邊界框可能超出圖像區(qū)域，而檢測器輸出的檢測框只在圖像區(qū)域內(nèi)，如仍采用預(yù)測的邊界框會(huì)導(dǎo)致相似性判斷不準(zhǔn)確，因此需去除超出圖像區(qū)域的預(yù)測部分，只保留圖像區(qū)域內(nèi)的預(yù)測結(jié)果。假設(shè)圖像的寬度為W，高度為H，檢測框可改寫成Bbox=(x1,y1,x2,y2)T，其中x2=x1+w、y2=y1+h，根據(jù)圖像框架限制更新Bbox：

根據(jù)式（12）對(duì)第j個(gè)軌跡尺寸參數(shù)zj=(wj,hj)T進(jìn)行更新，，其中，分別為更新后的軌跡邊界框的寬度、高度，分別為更新后的軌跡邊界框左上角和右下角坐標(biāo)。將更新后的結(jié)果帶入式（11）計(jì)算軌跡與檢測的尺寸相似度：

圖3 顯示了圖像序列第133 幀～第136 幀中貨車的檢測邊界框與預(yù)測邊界框的寬度變化，圖像寬640 像素，高480像素。從圖3中可以看出，貨車位于圖像區(qū)域邊緣，上一幀預(yù)測的邊界框超出了圖像區(qū)域，將會(huì)導(dǎo)致同一目標(biāo)檢測框與預(yù)測框尺寸相似性存在較大誤差。將超出區(qū)域的部分去掉，更新后的邊界框?qū)挾雀咏?dāng)前幀的檢測框?qū)挾?，越小，目?biāo)的尺寸相似度越高。若不更新預(yù)測邊界框計(jì)算，第135 幀和第136 幀中目標(biāo)尺寸的相似度為0.051 2，更新后尺寸相似度為0.016 7，因此調(diào)整后的尺寸相似度在跟蹤過程中能更準(zhǔn)確地判斷目標(biāo)間的關(guān)聯(lián)性。

圖3 連續(xù)幀邊界框尺寸

2.3 基于多特征融合的數(shù)據(jù)關(guān)聯(lián)

對(duì)于在線多目標(biāo)跟蹤，數(shù)據(jù)關(guān)聯(lián)的目的是將當(dāng)前幀的檢測框分配給已存在的軌跡，本文根據(jù)外觀、尺寸、位置3個(gè)方面的相似性來構(gòu)造相似性度量矩陣，從而將目標(biāo)與軌跡相關(guān)聯(lián)。假設(shè)截止到t時(shí)刻，跟蹤器在此刻輸出的軌跡集合T為{T1,T2,…,TN}，當(dāng)前幀檢測器輸出檢測集合D={D1,D2,…,DM}，將Sij定義為目標(biāo)Di和軌跡Tj之間的相似度，本文從外觀相似性、尺寸相似性以及位置相似性3個(gè)方面綜合比較目標(biāo)和軌跡的相似性，。其中外觀和尺寸相似性已在2.2 節(jié)中給出，位置相似性則用軌跡預(yù)測框與檢測框之間的交并比（IOU）來構(gòu)造，位置相似性計(jì)算方式為：

式中，Sarea(i)為第i個(gè)檢測目標(biāo)的邊界框面積；為第j個(gè)跟蹤軌跡的預(yù)測更新后邊界框的面積；為第i個(gè)檢測框與第j個(gè)預(yù)測更新后邊界框的重合面積。

綜合以上特征，構(gòu)造目標(biāo)Di和軌跡Tj之間的相似度Sij，由特征線性加權(quán)求和得到：

式中，λ1、λ2、λ3分別為各特征對(duì)應(yīng)的權(quán)重，λ1+λ2+λ3=1。

本文開展了大量的窮舉試驗(yàn)，發(fā)現(xiàn)當(dāng)λ1=0.2、λ2=0.3、λ3=0.5 或在此附近輕微波動(dòng)時(shí)，取得的跟蹤效果最好。

根據(jù)第i個(gè)目標(biāo)Di和軌跡Tj之間的相似度Sij構(gòu)造M個(gè)檢測與N個(gè)軌跡之間的關(guān)聯(lián)矩陣SM×N：

式（16）的最優(yōu)數(shù)據(jù)關(guān)聯(lián)可通過匈牙利二分圖算法求解，其目標(biāo)是最小化總體關(guān)聯(lián)的代價(jià)。

2.4 目標(biāo)狀態(tài)更新

匹配完成時(shí)可能出現(xiàn)兩種情況，即存在未匹配的目標(biāo)或存在未匹配的軌跡。

存在未匹配的目標(biāo)，可能是新目標(biāo)出現(xiàn)或檢測器誤檢造成的。對(duì)此，本文規(guī)定若連續(xù)T1幀檢測到同一目標(biāo)，則認(rèn)為出現(xiàn)新目標(biāo)，為其創(chuàng)建新的軌跡并將其加入跟蹤列表，初始化目標(biāo)的速度為0。若連續(xù)T1幀未檢測到，則判斷為誤檢并刪除該目標(biāo)。T1越大，對(duì)誤檢判斷越準(zhǔn)確，但也會(huì)造成正常出現(xiàn)的軌跡延遲，因此本文設(shè)T1=2。

存在未匹配的軌跡，可能是舊目標(biāo)消失、檢測器漏檢或目標(biāo)被遮擋。針對(duì)這種情況，本文規(guī)定若連續(xù)T2幀未檢測到同一目標(biāo)，則認(rèn)為該目標(biāo)消失，將其從軌跡列表中刪除。若在T2幀中檢測到了目標(biāo)，則判斷為漏檢或遮擋，利用卡爾曼濾波預(yù)測作為下一幀的狀態(tài)直至重新檢測到目標(biāo)。T2越大，對(duì)漏檢以及遮擋判斷越準(zhǔn)確，但也會(huì)對(duì)正常消失的軌跡造成延遲，因此本文設(shè)置T2=3。

3 試驗(yàn)結(jié)果與分析

本文試驗(yàn)平臺(tái)配置Intel i5-7200U 處理器，8 GB 內(nèi)存，運(yùn)行Python 3.5。采用KITTI[9]數(shù)據(jù)集和自采的廣州番禺區(qū)高速公路數(shù)據(jù)集：KITTI數(shù)據(jù)集中序列2、3、4、5、6、8、10、11、12、18、20 為車輛快速移動(dòng)場景，基本滿足本文高速路車輛多目標(biāo)跟蹤的要求，記作KITTI-Car 類數(shù)據(jù)集；自采的高速路數(shù)據(jù)集共1 499幅圖像，其中698幅作為訓(xùn)練集，801 幅作為測試集，使用相機(jī)的幀率為30 幀/s。KITTI數(shù)據(jù)集利用RRC[10]網(wǎng)絡(luò)獲取檢測結(jié)果，自采的高速路數(shù)據(jù)集利用YOLOv3[11]網(wǎng)絡(luò)獲取檢測結(jié)果。

采用the CLEAR MOT Metrics[12]對(duì)算法進(jìn)行評(píng)估，包括跟蹤對(duì)象的數(shù)量至少占生命周期的比例（MT）>80%、跟蹤對(duì)象的數(shù)量不到生命周期的比例（ML）>20%、多目標(biāo)跟蹤正確率（MOTA）、多目標(biāo)跟蹤準(zhǔn)確率（MOTP）、身份混淆數(shù)（IDS）、平均每幀運(yùn)行的時(shí)間（runtime）。其中，MOTA 是綜合性指標(biāo)，ML、IDS、runtime 越小越好，MT、MOTA、MOTP越大越好。

為定量分析本文提出算法的有效性，統(tǒng)計(jì)KITTICar類數(shù)據(jù)集的跟蹤結(jié)果，如表1所示?？梢钥闯觯疚乃惴ň哂休^高的準(zhǔn)確率，綜合性能較好。但不同序列中檢測器漏檢、誤檢及目標(biāo)遮擋等導(dǎo)致本文算法在各序列上的表現(xiàn)有較大差異，其中序列11、20場景中目標(biāo)數(shù)量龐大，目標(biāo)相互交錯(cuò)、遮擋嚴(yán)重，跟蹤效果較差。

表1 KITTI-Car類本文算法測試結(jié)果

將本文算法與其他經(jīng)典算法在KITTI-Car 類數(shù)據(jù)集上進(jìn)行對(duì)比，結(jié)果如表2 所示。SORT 跟蹤算法雖然運(yùn)行速度快，但因其只將IOU 作為關(guān)聯(lián)依據(jù)，在目標(biāo)相互遮擋時(shí)易產(chǎn)生錯(cuò)誤跟蹤，DeepSort算法將深度學(xué)習(xí)得到的特征用作目標(biāo)關(guān)聯(lián)依據(jù)，跟蹤正確率提高，但也拖慢了跟蹤速度。本文提出的基于多特征融合的多目標(biāo)跟蹤算法在綜合性能評(píng)價(jià)指標(biāo)上優(yōu)于其他算法，并且在跟蹤正確率和跟蹤速度上取得了較好的平衡。

表2 KITTI-Car類不同跟蹤算法測試結(jié)果

為評(píng)估本文方法中不同關(guān)聯(lián)成分的影響，在自采高速路數(shù)據(jù)集上進(jìn)行了驗(yàn)證，結(jié)果如表3所示。表中pose、app、shape分別代表位置、外觀和尺寸3個(gè)方面的相似度模型，從表3中可以看出，對(duì)檢測結(jié)果使用非極大值抑制（NMS）顯著提高了跟蹤正確率，加入外觀特征后，IDS指標(biāo)明顯降低。融合多種特征進(jìn)行關(guān)聯(lián)后，雖然跟蹤速度下降，但MOTA、MT、ML、IDS逐漸提升，而MOTP主要受標(biāo)定和檢測結(jié)果影響，受跟蹤結(jié)果的影響較小。

表3 不同關(guān)聯(lián)成分在自采數(shù)據(jù)集上的跟蹤結(jié)果

對(duì)本文算法在實(shí)際道路場景進(jìn)行定性分析，圖4、圖5 所示分別為采用SORT 算法和本文算法在KITTICar 類數(shù)據(jù)集序列4 上的部分測試效果，該場景車流量大、車輛嚴(yán)重遮擋?？梢钥闯?，SORT 算法由于只采用IOU 匹配，跟蹤效果較差，而本文提出的跟蹤算法對(duì)復(fù)雜的交通場景有較好的處理效果，跟蹤魯棒性更強(qiáng)。

圖4 SORT算法在KITTI-4數(shù)據(jù)集上的跟蹤效果

圖5 本文算法在KITTI-4數(shù)據(jù)集上的跟蹤效果

進(jìn)一步在真實(shí)高速場景下對(duì)本文算法進(jìn)行測試，圖6、圖7 分別給出了采用SORT 算法和本文算法在自采的廣州高速路數(shù)據(jù)集上的部分測試效果?？梢钥闯?，SORT 算法無法較好地應(yīng)對(duì)多幀漏檢的情形，易發(fā)生跟蹤丟失，而本文提出的處理策略使得目標(biāo)在漏檢后重新出現(xiàn)時(shí)能持續(xù)在同一條軌跡上，具有更好的跟蹤效果。但本文算法是將目標(biāo)檢測的結(jié)果直接作為觀測，因此尚存在一些不足：檢測器多幀漏檢時(shí)，無法持續(xù)穩(wěn)定地跟蹤目標(biāo)；目標(biāo)發(fā)生嚴(yán)重遮擋時(shí)，目標(biāo)身份易混淆。

圖6 SORT算法在高速路數(shù)據(jù)集上的跟蹤效果

4 結(jié)束語

本文提出了基于多特征融合的多目標(biāo)跟蹤算法，構(gòu)造簡潔高效的關(guān)聯(lián)模型，較好地解決了目標(biāo)相互遮擋導(dǎo)致跟蹤失敗的問題。同時(shí)針對(duì)檢測器漏檢、誤檢，目標(biāo)出現(xiàn)、消失等情形提出了處理策略。試驗(yàn)結(jié)果表明，本文提出的車輛跟蹤方法在實(shí)際高速道路圖像序列中獲得了準(zhǔn)確的跟蹤結(jié)果，且算法的運(yùn)行速度滿足高速行車要求。但在目標(biāo)嚴(yán)重遮擋的場景中該算法尚有不足，還需完善。