基于背景建模的車輛跟蹤方法

李曉東， 劉 暢， 劉 鵬

(哈爾濱工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 哈爾濱 150001)

0 引 言

近年來，隨著人民生活水平提高，汽車數(shù)量快速增長，城市道路負(fù)擔(dān)加重，交通擁堵等問題也不容忽視，國內(nèi)外對交通事件檢測、交通狀態(tài)判別及交通狀態(tài)預(yù)測的相關(guān)理論研究也日益關(guān)注。如果能預(yù)測未來時刻的道路交通狀態(tài)，道路狀況則能得到大幅度改善。目前，隨著計算機(jī)技術(shù)和人工智能的發(fā)展，利用機(jī)器學(xué)習(xí)方法可以預(yù)測交通狀態(tài)，卻需要實時采集交通要道的視頻、再加以分析處理。在交通預(yù)測問題中，目標(biāo)跟蹤是研究熱點(diǎn)之一。運(yùn)用目標(biāo)跟蹤方法可以測量汽車速度、汽車數(shù)量以及預(yù)測車輛狀態(tài)變化。目標(biāo)跟蹤問題根據(jù)視頻第一幀的目標(biāo)狀態(tài)預(yù)測后面幀中的目標(biāo)情況。目標(biāo)跟蹤面臨的主要挑戰(zhàn)有：光照變化、尺度變化、遮擋、形變、運(yùn)動模糊、快速運(yùn)動、目標(biāo)出視場、背景干擾和低分辨率等[1]。

1 研究現(xiàn)狀

目前，在目標(biāo)跟蹤研究中，經(jīng)常用到的方法有2種，即：產(chǎn)生式方法和判別式方法。其中，產(chǎn)生式方法主要研究目標(biāo)外觀，在下一幀候選目標(biāo)中挑選與目標(biāo)外觀相似度最大的候選目標(biāo)作為新一幀中的目標(biāo)，代表性方法有增量子空間方法[2]。判別式方法把目標(biāo)跟蹤視為分類問題，即訓(xùn)練分類器區(qū)分目標(biāo)與背景，在下一幀候選目標(biāo)中，屬于目標(biāo)概率最大的一個被視為新的目標(biāo)，代表性方法為多示例學(xué)習(xí)方法[3]。

對于車輛跟蹤，國內(nèi)外研究者進(jìn)行了大量的研究，并取得了一定的成果。劉悅[4]使用傳統(tǒng)方法，用Harr 特征和SVM分類器對車輛進(jìn)行跟蹤。劉國輝等人[5]使用VGG-M網(wǎng)絡(luò)提取特征，并使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行二分類來實現(xiàn)車輛跟蹤，與傳統(tǒng)的車輛跟蹤方法的性能相比有明顯的改善。徐樂等人[6]使用YOLOv2網(wǎng)絡(luò)，改善了候選搜索區(qū)域的生成質(zhì)量，并提出加強(qiáng)目標(biāo)特征信息降低跟蹤錯誤率。

車輛跟蹤的研究難點(diǎn)有多個方面。對此可做闡釋表述如下。

(1)實時性。道路交通瞬息萬變，車輛跟蹤算法必須足夠快才能滿足實際應(yīng)用需求。

(2)天氣因素。在雨雪沙塵等惡劣天氣時，可見度低，視頻質(zhì)量較差，跟蹤車輛比較難。

(3)干擾目標(biāo)。車輛之間相似度很高，跟蹤車輛時容易發(fā)生漂移，轉(zhuǎn)而跟蹤干擾物體。

(4)快速運(yùn)動。車輛運(yùn)行速度較快，普通運(yùn)動模型不適合車輛跟蹤，且快速運(yùn)動中目標(biāo)易丟失。

最新的速度較快、同時精度較高的跟蹤方法有相關(guān)性濾波，代表性方法為核化相關(guān)濾波算法(Kernelized Correlation Filter，KCF)[7]。但是KCF方法跟蹤區(qū)域較小，不適應(yīng)快速運(yùn)動的物體，且抗背景干擾能力較差。Liu 等人[8]提出利用背景信息，建立目標(biāo)與背景的聯(lián)系，提高跟蹤精度。在跟蹤車輛時，同樣可以在使用KCF的基礎(chǔ)上，既保持較高的運(yùn)行速度，又利用背景信息，擴(kuò)大跟蹤區(qū)域，區(qū)分不同車輛，對抗惡劣天氣。

2 基于背景建模的車輛跟蹤方法

在車輛跟蹤中，車輛與車輛周圍背景對車輛的定位作用是不同的。車輛自身特征用于精確定位，但抗干擾能力差；車輛周圍背景能夠用來推測車輛位置，不能精確定位，但是抗干擾能力強(qiáng)。分析可知，若能同時利用車輛信息和車輛周圍背景信息，就可達(dá)到既精確定位又有較強(qiáng)抗干擾能力的跟蹤效果。這里為了滿足實時性要求，還使用了KCF作為基線跟蹤器。

2.1 核化相關(guān)濾波算法

Henriques 等人[7]提出了核化相關(guān)濾波算法(KCF)，將目標(biāo)與周圍背景一起作為一個樣本進(jìn)行訓(xùn)練，利用循環(huán)移位方法構(gòu)造大量的潛在樣本，再使用循環(huán)矩陣的特性，用快速傅里葉變換高速訓(xùn)練與跟蹤。

KCF是一種判別式方法，使用樣本集X=[x1,x2,…,xn]T，和對應(yīng)標(biāo)簽y=[y1,y2,…,yn]T,訓(xùn)練一個嶺回歸分類器y=f(x)。樣本集X是由一個基礎(chǔ)樣本x循環(huán)移位產(chǎn)生的，嶺回歸模型參數(shù)可以由式(1)進(jìn)行計算：

(1)

在跟蹤時，新樣本z可以由式(2)跟蹤：

(2)

2.2 基于背景建模的車輛跟蹤框架

KCF將目標(biāo)與背景作為整體來進(jìn)行訓(xùn)練，容易混淆目標(biāo)與背景之間的關(guān)系，提出用目標(biāo)特征訓(xùn)練跟蹤器KCF1，用背景特征訓(xùn)練跟蹤器KCF2，再估計融合參數(shù)。當(dāng)新一幀到來時，使用2個KCF跟蹤器分別進(jìn)行跟蹤，使用訓(xùn)練得到的融合參數(shù)進(jìn)行融合，得到跟蹤結(jié)果?；诒尘敖５能囕v跟蹤框架如圖1所示。

圖1 基于背景建模的車輛跟蹤框架

Fig. 1 Framework of vehicle tracking based on background modeling

2.3 基于背景建模的車輛跟蹤方法

為了能利用車輛以及車輛背景的不同作用，研究中需要將車輛與車輛背景分離。對于跟蹤區(qū)域矩形R，構(gòu)造一個與R尺寸相同的全零矩陣，然后將其中目標(biāo)對應(yīng)的部分填充1，得到目標(biāo)背景分離矩陣o。在得到上一幀目標(biāo)位置后，以該位置為中心采樣與R尺寸相同的訓(xùn)練區(qū)域，提取特征后得到x，于是有：

(3)

其中，xT和xB分別表示車輛目標(biāo)與車輛背景部分的特征。利用公式(1)可以分別得到KCF1和KCF2的跟蹤器參數(shù)αT和αB。

2個KCF跟蹤器分別使用2個遺忘因子ηT和ηB進(jìn)行在線更新以適應(yīng)車輛和車輛背景變化，此時需用到如下數(shù)學(xué)公式：

(4)

其中，0:t表示從第0幀到第t幀累積的模型參數(shù)，t表示第t幀訓(xùn)練得到的模型參數(shù)。

車輛模型和車輛背景模型是預(yù)測車輛運(yùn)動的重要線索。在新一幀圖像中跟蹤目標(biāo)時，先在上一幀目標(biāo)位置提取跟蹤區(qū)域特征z，利用公式(2)可以得到2個KCF跟蹤器的跟蹤結(jié)果yT和yB。令T為車輛目標(biāo)模型，B為車輛背景模型，不考慮跟蹤區(qū)域外的信息對車輛定位的影響，根據(jù)前面對目標(biāo)背景的分離方有T∩B=φ和T∪B=U，使用貝葉斯框架融合目標(biāo)和背景信息，跟蹤區(qū)域中任一點(diǎn)x是目標(biāo)位置的概率為：

P(x)=P(x,T)+P(x,B)=P(x|T)P(T)+P(x|B)p(B),

(5)

(6)

對于模型預(yù)測可靠度，參考KCF跟蹤器的最大響應(yīng)，即令：

(7)

融合跟蹤時目標(biāo)被定位在P(x)值最大處，即：

xp=arg maxP(x),

(8)

跟蹤時使用上一幀的dxt-1，跟蹤后，更新dx，則有：

(9)

在車輛目標(biāo)模型可靠時，目標(biāo)特征會在跟蹤預(yù)測中發(fā)揮更大作用；在車輛目標(biāo)模型不可靠時，車輛背景特征會發(fā)揮作用，協(xié)助定位目標(biāo)。當(dāng)獲取車輛位置后，使用SAMF方法[9]估計目標(biāo)尺度。

3 實驗結(jié)果與分析

OTB數(shù)據(jù)集[1]中共有10個汽車視頻，對提出的方法、SAMF方法和KCF方法進(jìn)行了對比實驗。使用的評價指標(biāo)為距離精度(Distance Precision，DP)，重疊成功率(Overlap Success Rate，OS)和平均中心位置誤差(Center Location Error，CLE)。

圖2給出了在不同閾值下的距離精度曲線和重疊成功率曲線，圖例處的數(shù)值分別表示閾值為20像素的距離精度，以及重疊成功率曲線下面積。提出的方法取得了0.988的距離精度以及0.821的重疊成功率曲線下面積，使用基于背景建模的方法，相對不使用背景建模的SAMF方法提高了0.021的距離精度和0.107的重疊成功率曲線下面積。

(b) 不同閾值下的重疊成功率曲線

3個跟蹤器在10個汽車視頻中對應(yīng)的平均中心位置誤差詳見表1。提出的方法在10個視頻中的7個都降低了平均中心位置誤差，在Car2視頻中與SAMF相同，在BlurCar3和Car4視頻中與SAMF接近。

表1 3個跟蹤器在10個汽車視頻中對應(yīng)的平均中心位置誤差

Tab. 1 Average center location errors of the three trackers in ten vehicle videos像素

視頻提出的方法SAMFKCFBlurCar14.304.605.10BlurCar23.864.266.81BlurCar33.933.604.14BlurCar46.396.809.91Car11.241.5242.43Car21.751.753.97Car42.662.219.47Car242.4312.034.10CarDark1.432.765.76CarScale7.118.4116.14

為了更好地可視化跟蹤器的跟蹤效果，將3個跟蹤器在Car1、Car24和CarScale視頻中的跟蹤結(jié)果展示在圖3中。由圖3可知，在Car1視頻中，KCF由于未估計汽車尺度，當(dāng)汽車尺度變化時，目標(biāo)框中背景變多，逐漸發(fā)生了漂移；提出的方法將目標(biāo)與背景分離跟蹤再融合，比SAMF方法對目標(biāo)建模更精準(zhǔn)，估計的目標(biāo)框中包含了少量背景。在Car24視頻中，汽車發(fā)生尺度變化的同時，周圍背景變化也較大，KCF和SAMF方法都轉(zhuǎn)而跟蹤汽車的局部，而提出的方法始終準(zhǔn)確地跟蹤了目標(biāo)。在CarScale視頻中，汽車變形比較快，且汽車尺寸的長寬比發(fā)生了較大變化，目標(biāo)模型難以適應(yīng)汽車的變化，3個方法都未能準(zhǔn)確估計汽車尺寸，但提出的方法利用了背景信息，給出了最準(zhǔn)確的定位結(jié)果。

圖3 在Car1、Car24和CarScale視頻中的跟蹤結(jié)果

4 結(jié)束語

基于背景建模的車輛跟蹤方法對車輛目標(biāo)和車輛背景分別跟蹤，協(xié)同建模，融合預(yù)測得到魯棒的跟蹤結(jié)果。實驗結(jié)果表明，提出的方法能提高車輛跟蹤的距離精度和重疊成功率，降低跟蹤結(jié)果的平均中心位置誤差，在復(fù)雜環(huán)境下，對車輛變形、車輛干擾、運(yùn)動模糊和快速運(yùn)動等因素具有魯棒性。