基于卡爾漫濾波的區(qū)域特征融合車輛跟蹤算法

余桂蘭

（廣東石油化工學(xué)院 計(jì)算機(jī)與電子信息學(xué)院，廣東 茂名 525000）

智能視頻監(jiān)控在安全領(lǐng)域發(fā)揮著越來(lái)越重要的作用，成為近年來(lái)智能交通、模式識(shí)別等領(lǐng)域中的研究熱點(diǎn)。許多學(xué)者對(duì)行人或者其他目標(biāo)進(jìn)行了研究，專門(mén)針對(duì)車輛的跟蹤識(shí)別還為數(shù)不多，隨著車輛數(shù)量的增多，車輛跟蹤監(jiān)控也應(yīng)該越來(lái)越被人們所重視。Lin Liu[1]等針對(duì)攝像頭的透視問(wèn)題，利用道路上的交通標(biāo)志和斑馬線等信息，計(jì)算圖像的消失點(diǎn)和單應(yīng)性變換，對(duì)視頻圖像進(jìn)行整流修正；文獻(xiàn)[2]提出了基于投影的曲線模型匹配方法，利用投影的完整度、匹配點(diǎn)、偏移量期望和方差的加權(quán)和作為相似性度量，利用車輛模型匹配進(jìn)行車輛的檢測(cè)和跟蹤；文獻(xiàn)[3]針對(duì)小角度、偏離道路中心的攝像頭下車輛的跟蹤，開(kāi)展了有關(guān)粘連車輛的分割及跟蹤方法的研究；文獻(xiàn)[4]利用卡爾曼殘差來(lái)控制卡爾曼濾波器，并與MeanShift算法相結(jié)合來(lái)對(duì)車輛進(jìn)行跟蹤。本文則針對(duì)連續(xù)自適應(yīng)均值漂移 （CamShift）算法在目標(biāo)顏色與背景相似，特別是在光照變化及建筑物、數(shù)木等陰影的影響下，幾乎無(wú)法對(duì)車輛進(jìn)行跟蹤的情況進(jìn)行改進(jìn)，提出了一種針對(duì)特定車輛的跟蹤算法，該算法在CamShift算法的基礎(chǔ)上，采用Kalman濾波對(duì)車輛運(yùn)動(dòng)趨勢(shì)進(jìn)行預(yù)測(cè)，并通過(guò)空間區(qū)域劃分和特征融合等手段，實(shí)現(xiàn)對(duì)目標(biāo)車輛的有效跟蹤。

1 算法原理

1.1 CamShift算法

連續(xù)自適應(yīng)均值漂移（Continuously AdaptiveMean-Shift，ComShift）算法是基于MeanShift的改進(jìn)算法，它是基于顏色概率分布的非參數(shù)迭代技術(shù)算法，它通過(guò)計(jì)算視頻圖像序列中運(yùn)動(dòng)目標(biāo)的顏色信息直方圖，然后將直方圖反向投影轉(zhuǎn)化成色彩概率分布，最后將視頻圖像上一幀的搜索中心和窗口大小作為下一幀MeanShift算法的搜索窗口的初始值進(jìn)行迭代計(jì)算，并自動(dòng)調(diào)整搜索窗口的大小，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤，具有較好的實(shí)時(shí)性和穩(wěn)健性。該算法在沒(méi)有光照影響的情況下，或者目標(biāo)顏色與背景色差別較大時(shí)跟蹤效果良好，但如果背景的顏色與目標(biāo)顏色相近，或者目標(biāo)附近有與目標(biāo)色調(diào)相近的物體時(shí)，算法會(huì)將其包含在內(nèi)，導(dǎo)致跟蹤窗口擴(kuò)大，跟蹤失效，因此必須對(duì)其進(jìn)行改進(jìn)。

1.2 Kalman濾波

Kalman濾波是基于最小方差的最佳線性遞歸濾波算法，它不需要全部過(guò)去的觀察數(shù)據(jù)，只根據(jù)前一個(gè)估計(jì)值x^k-1和最近一個(gè)觀察數(shù)據(jù)就可以估計(jì)出當(dāng)前值。即在前一時(shí)刻狀態(tài)估計(jì)值的基礎(chǔ)上，根據(jù)當(dāng)前時(shí)刻的測(cè)量值，遞推得到當(dāng)前時(shí)刻的狀態(tài)估計(jì)值。設(shè)目標(biāo)動(dòng)態(tài)系統(tǒng)的狀態(tài)空間模型為：

其中狀態(tài)向量 X（k）=[x（k），y（k），vx（k），vy（k）]，觀測(cè)向量Z（k）=[vx（k），vy（k）]，x（k），y（k）分別表示目標(biāo)車輛質(zhì)心在 x 軸和 y 軸上的坐標(biāo)，vx（k）=[x（k）－x（k－1）]/Δt，vy（k）=[y（k）－y（k－1）]/Δt分別表示目標(biāo)車輛運(yùn)動(dòng)速度在x軸和y軸上的分量，為時(shí)間間隔，這里取相鄰兩個(gè)時(shí)間的幀數(shù)差1。則系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣為觀測(cè)矩陣為w（k），μ（k）分別為過(guò)程噪聲和觀測(cè)噪聲，是均值為零的高斯白噪聲且相互獨(dú)立，其協(xié)方差分別為單位矩陣Q（k）和R（k）。Kalman濾波正是由于采用遞推算法，速度快，在控制系統(tǒng)中處理實(shí)時(shí)信息有很大的優(yōu)勢(shì)。

2 空間區(qū)域劃分及特征融合

傳統(tǒng)的CamShift算法只提取了目標(biāo)的顏色特征，然而車輛顏色雖然有好多種，但路面上的相似顏色車輛卻非常多，因而單取顏色特征是不合適的。本文針對(duì)道路情況及攝像頭對(duì)路面車輛的拍攝情況，將目標(biāo)車輛進(jìn)行了空間區(qū)域劃分，并且從不同角度提取目標(biāo)車輛的三種不同的特征，進(jìn)行加權(quán)融合。下面分三步對(duì)算法改進(jìn)過(guò)程進(jìn)行具體描述。

2.1 空間區(qū)域劃分

不管車輛是在行駛中還是靜止不動(dòng)，攝像頭通常都比較難從一個(gè)角度獲得整個(gè)車輛的影像，因此很有必要將車輛在空間上進(jìn)行劃分。Lazebnik等提出了空間金字塔匹配模型[5]，首先將圖像進(jìn)行分層，每層對(duì)上一層圖像塊進(jìn)行n?n塊劃分，對(duì)子圖像塊進(jìn)行局部特征量化，在二維圖像空間建立金字塔，然后計(jì)算加權(quán)的子圖像區(qū)域局部特征直方圖交叉，該方法能夠較準(zhǔn)確表達(dá)圖像塊的空間位置信息，在圖像分類上獲得更好的性能。本文借鑒空間金字塔匹配模型思想，根據(jù)車輛特性，把車輛劃分成幾個(gè)區(qū)域：前臉、后部、側(cè)面、頂部，建立車輛特性模型， 則特定車輛目標(biāo)圖像可表達(dá)為：Y={Y1，Y2，Y3，Y4}，然后對(duì)各子塊圖像統(tǒng)計(jì)直方圖特征并賦予一定的權(quán)值。

2.2 特征提取

車輛是典型的剛體目標(biāo)，而且每輛車都有固定不變的車牌號(hào)碼，但如果距離太遠(yuǎn)或者目標(biāo)太小，車牌識(shí)別則失去意義。因此車輛的顏色及形狀特征是較魯棒的特征，但顏色特征受光照條件、相似背景的干擾很大。只采用目標(biāo)顏色H分量直方圖作為特征，目標(biāo)的特異性不明顯，有可能在搜索過(guò)程中誤將干擾區(qū)域判定為目標(biāo)，導(dǎo)致跟蹤失效。如果將紋理特征、目標(biāo)輪廓邊緣與顏色特征進(jìn)行融合，可以有效補(bǔ)償單一顏色特性的不足，從而使目標(biāo)在反向投影圖上明顯區(qū)別于其他區(qū)域。

1）顏色特征

顏色特征在車輛識(shí)別中雖然是最容易被干擾的，但也是不可或缺的特征。本文將RGB空間轉(zhuǎn)化為HSV空間后，提取Hue分量建立顏色特征模型：

2）紋理特征

紋理通常情況下不會(huì)受光照和背景色影響，是圖像分析中一個(gè)較為穩(wěn)定的特征。局部二值模式[6]（Local Binary Pattern，LBP）紋理由于計(jì)算簡(jiǎn)單、具有旋轉(zhuǎn)不變性和灰度不變性特征獲得了廣泛應(yīng)用，但其閾值是中心像素的值，易受噪聲干擾。因此在LBP的基礎(chǔ)上進(jìn)行改進(jìn)形成三值編碼的局部三元模式[7]（Local Ternary Patterns， LTP）紋理，在領(lǐng)域?qū)挾取繲 內(nèi)，對(duì)圖像中每個(gè)像素gc的8領(lǐng)域進(jìn)行采樣，每個(gè)采樣點(diǎn)x與中心像素gc作灰度值三值化運(yùn)算：

設(shè)模版窗口為3n，權(quán)值為2i，則LTP編碼的計(jì)算公式為：

考慮到人為給定閾值T不是很科學(xué)，本文將局部區(qū)域像素灰度值的標(biāo)準(zhǔn)差σ作為T(mén)的值，它能隨著圖像數(shù)據(jù)的變化自適應(yīng)調(diào)整。對(duì)輸入圖像進(jìn)行LTP編碼和計(jì)算，將得到的紋理信息參與到后續(xù)的算法流程。

3）邊緣特征

車輛是典型的剛體性目標(biāo)，具有邊緣不變的特性，因此可以將其邊緣特征作為算法的一個(gè)比較魯棒的特征。用來(lái)做邊緣檢測(cè)的算法有Hu矩、Canny算子、Sobel算子、拉普拉斯算子等，其中Hu矩具有旋轉(zhuǎn)、平移等的不變特性，在函數(shù)連續(xù)情況下還具有尺度縮放不變性。目標(biāo)視頻跟蹤實(shí)際上是對(duì)視頻圖像幀序列進(jìn)行識(shí)別，屬于離散數(shù)據(jù)，Hu矩對(duì)于離散數(shù)據(jù)不具備縮放不變性，因此本文利用改進(jìn)后的6個(gè)Hu不變矩：ψ1=φ2/（φ1）2、ψ2=φ3/（φ1）3、ψ3=φ4/（φ1）3、ψ4=φ5/（φ1）6、ψ5=φ6/（φ4）2、ψ6=φ1/（φ1）6及其快速計(jì)算方法對(duì) ψ1～ψ6 進(jìn)行計(jì)算[8]。 改進(jìn)后的6個(gè)Hu不變矩在目標(biāo)特征提取上具有平移、旋轉(zhuǎn)和尺度縮放不變性。

2.3 帶權(quán)特征融合

鑒于CamShift算法在目標(biāo)顏色與背景相近時(shí)跟蹤目標(biāo)丟失問(wèn)題，本文對(duì)三種特征的權(quán)值進(jìn)行了限定。采用Euclidean Distance公式對(duì)前后兩幀圖像的特征點(diǎn)，進(jìn)行相似性計(jì)算根據(jù)計(jì)算結(jié)果更新各特征的聯(lián)合概率分布：

的權(quán)值， 其中 α=D1/（D1+D2+D3）、β=D2/（D1+D2+D3）、?=D3/（D1+D2+D3），q1（t）、q2（t）、q3（t）分別代表第 t幀顏色、紋理、邊緣特性的概率密度分布。根據(jù)式（5）的融合規(guī)則可知，當(dāng)某一特征在跟蹤過(guò)程中的變化較大時(shí)，其歐式距離相對(duì)較大，也即相似性較小，對(duì)跟蹤過(guò)程的貢獻(xiàn)也較小，因此該特征被賦予較小的權(quán)值，對(duì)跟蹤的影響也相對(duì)較小。反之亦可，起到自適應(yīng)調(diào)整的作用。

3 基于Kalman濾波的區(qū)域特征融合算法描述

算法首先根據(jù)2.1節(jié)的空間區(qū)域劃分思想，將目標(biāo)車輛在空間上進(jìn)行劃分。劃分分兩步進(jìn)行，第一步將目標(biāo)車輛劃分成四個(gè)子區(qū)域，在每一子區(qū)域上取若干個(gè)子區(qū)域塊進(jìn)行顏色和紋理特征提取；第二步在第一步均衡提取的基礎(chǔ)上進(jìn)行補(bǔ)償性特征提取，在四個(gè)子區(qū)域的交叉處（即Y1和Y3之間、Y1和 Y4之間、Y2和 Y3之間、Y2和 Y4之間）進(jìn)行特征提取，以補(bǔ)充區(qū)域交叉處的顏色和紋理特征缺失。然后將顏色特征、紋理特征及邊緣特征進(jìn)行加權(quán)融合。最后引入Kalman濾波對(duì)目標(biāo)車輛運(yùn)動(dòng)趨勢(shì)進(jìn)行預(yù)測(cè)，在一定程度上克服車輛運(yùn)動(dòng)速度快、相似背景及遮擋等問(wèn)題。改進(jìn)后的算法步驟描述如下：

Step1讀取視頻幀，初始化跟蹤窗口的位置和大小，并用目標(biāo)質(zhì)心的x、y坐標(biāo)和初始速度（本文設(shè)置為當(dāng)前道路規(guī)定時(shí)速的2/3）來(lái)初始化Kalman濾波器的初始狀態(tài)向量X（0）；

Step2計(jì)算跟蹤窗口的Hue、LTP和Hu矩，并用式（5）計(jì)算得到特征的聯(lián)合概率分布q（t）；

Step3根據(jù)式（1）對(duì)窗口的位置進(jìn)行預(yù)測(cè)，執(zhí)行MeanShift獲得目標(biāo)質(zhì)心的新位置，并作為觀測(cè)值來(lái)修正預(yù)測(cè)值；

Step4取下一視頻幀，用Step3的值更新窗口的位置和大小，同時(shí)更新Kalman濾波器的狀態(tài)向量X（k）；

Step5返回Step2。

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)首先采用傳統(tǒng)的CamShift算法對(duì)視頻中的車輛進(jìn)行跟蹤，但車輛行駛至樹(shù)陰位置時(shí)，跟蹤窗口擴(kuò)大為樹(shù)陰影大小，并且固定不動(dòng)，跟蹤直接失效，因此本文不給出對(duì)比結(jié)果圖，而只給出改進(jìn)的CamShift算法 （區(qū)域特征融合后的CamShift算法，這里暫稱為RCF-C算法）和本文算法（基于卡爾漫濾波的區(qū)域特征融合算法，簡(jiǎn)稱RCFK-C算法）的跟蹤結(jié)果。視頻序列取自安裝在某二樓一角對(duì)準(zhǔn)路口的攝像頭所采集的數(shù)據(jù)，幀圖像大小為360?240。實(shí)驗(yàn)在Winsow7系統(tǒng)下安裝Visual Studio 2010，并配置OpenCV2.4.8視覺(jué)庫(kù)，采用C++語(yǔ)言編寫(xiě)完成。

實(shí)驗(yàn)結(jié)果如圖1和圖2所示。車輛正常行駛，并緩慢拐彎逐漸進(jìn)入樹(shù)蔭中，光照產(chǎn)生了變化，RCF-C算法受陰影影響小，基本能夠正確跟蹤，只是在陰影中目標(biāo)車輛拐彎時(shí)搜索窗口稍微擴(kuò)大；RCFK-C算法因?yàn)橛蠯alman濾波對(duì)目標(biāo)運(yùn)動(dòng)趨勢(shì)進(jìn)行了預(yù)測(cè)，因此跟蹤情況良好，兩種算法運(yùn)行結(jié)果分別如圖1和圖2的a）到c）所示。當(dāng)目標(biāo)車輛行駛經(jīng)過(guò)顏色、紋理等特征相似的停止車輛時(shí)，RCF-C算法開(kāi)始將非目標(biāo)車輛包含進(jìn)搜索窗口，并且在目標(biāo)車輛駛離?？寇囕v后，搜索窗口仍然停止在非目標(biāo)車輛，跟蹤失效；而RCFK-C算法則很好地避免了這種情況，盡管在兩輛車完全并排時(shí)（從攝像頭的角度，兩輛車之間沒(méi)有縫隙），也將非目標(biāo)車輛包含進(jìn)搜索窗口，但由于有運(yùn)動(dòng)趨勢(shì)預(yù)測(cè)，在目標(biāo)車輛逐漸與非目標(biāo)車輛分開(kāi)時(shí)，算法能夠正確判斷目標(biāo)車輛并且繼續(xù)跟蹤。

圖1 RCF-C算法Fig.1 RCF-Calgorithm

圖2 RCFK-C算法Fig.2 RCFK-Calgorithm

5 結(jié)束語(yǔ)

本文對(duì)行駛中的車輛易受樹(shù)蔭或建筑物等陰影的影響以及顏色相近車輛的干擾等問(wèn)題進(jìn)行研究，通過(guò)均衡提取和補(bǔ)償性提取兩種不同的方式來(lái)提取目標(biāo)車輛的三種特征，采用歐式距離對(duì)前后兩幀圖像的特征點(diǎn)進(jìn)行相似性計(jì)算，并對(duì)其進(jìn)行自適應(yīng)加權(quán)融合，從而更新特征點(diǎn)的聯(lián)合概率分布函數(shù)，使得跟蹤窗口不受單個(gè)特征變化的影響；最后引入Kalman濾波對(duì)目標(biāo)車輛的運(yùn)動(dòng)趨勢(shì)進(jìn)行預(yù)測(cè)，減弱了相似車輛的干擾。實(shí)驗(yàn)結(jié)果表明該算法是有效的，實(shí)現(xiàn)了較為準(zhǔn)確的跟蹤。

[1]LIU Lin，WANG Xiu-ping.Vehicles Tracking Based on Im-ages Perspective Rectification[C].Proceedings of 2011 IEEE International Conference on Intelligent Computing and Intelligent Systems（ICIS 2011），2011（3）:24-27.

[2]胡銦，楊靜宇.基于模型的車輛檢測(cè)與跟蹤[J].中國(guó)圖象圖形學(xué)報(bào)，2008，13（3）:450-455.HU Yin，YANG Jing-yu.Model based vehicl e detection and tracking[J].Journal of Image and Graphics，2008，13（3）:450-455.

[3]劉詩(shī)慧.視頻中粘連車輛的分割與跟蹤技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2013.

[4]張秀林.基于卡爾曼濾波與MeanShift的運(yùn)動(dòng)車輛跟蹤[J].電子設(shè)計(jì)工程，2013，21（5）:15-17.ZHANG Xiu-lin，WANGHao-quan，LIUYu，et al.Tracking of the moving vehicles based on kalman filtering and mean shift[J].Electronic Design Engineering，2013，21（5）:15-17.

[5]Lazebnik S，Schmid C，Ponce J.Beyond bags of features：Spatial pyramid matching for recognizing natural scene categories[C]//2006 Conference on Computer Vision and Pattern Recognition，2006：2169-2178.

[6]Zhao G Y，Pietikainen M.Improving Rotation Invariance of the Volume Local Binary PatternOperator[C]//IAPR Conference on Machine Vision Applications，2007:327-330.

[7]TAN Xiao-yang，TRIGGS B.Enhanced local texturefeaturesets forface recognition under difficult lighting conditions[C]//Proc ofAnalysis andModelling of Faces and Gestures Conference.[S..l].Springer，2007:168-182.

[8]張琳.基于加權(quán)HU不變矩的監(jiān)控視頻人體行為識(shí)別方法的研究與實(shí)現(xiàn)[D].西安：西北大學(xué)，2011.