基于局部Gabor特征匹配和Kalman濾波的車(chē)輛跟蹤算法

王　海，陳　軍

基于局部Gabor特征匹配和Kalman濾波的車(chē)輛跟蹤算法

王海1,2，陳軍1

（1. 奇瑞汽車(chē)博士后科研工作站，安徽蕪湖 241009 2. 江蘇大學(xué) 汽車(chē)與交通工程學(xué)院，江蘇鎮(zhèn)江 212013）

針對(duì)基于全局匹配的視覺(jué)目標(biāo)跟蹤算法的不足，文章采用一種局部匹配的思路，利用Gabor特征的抗噪性和邊緣極大值點(diǎn)的不易丟失性，實(shí)現(xiàn)了一種魯棒的Kalman車(chē)輛跟蹤算法。首先以抗噪性強(qiáng)的Gabor特征構(gòu)建匹配特征向量；然后采用邊緣極大值點(diǎn)作為待匹配特征候選點(diǎn)；最后將以上特征輸入至Kalman跟蹤器，實(shí)現(xiàn)前方車(chē)輛跟蹤。試驗(yàn)表明該方法在車(chē)輛姿態(tài)大幅度變化及遮擋時(shí)仍具有較強(qiáng)的魯棒性。

主動(dòng)安全；車(chē)輛跟蹤；Gabor特征；Kalman濾波；邊緣極大值點(diǎn)

在基于視覺(jué)的車(chē)輛輔助駕駛系統(tǒng)中，前方已識(shí)別車(chē)輛的跟蹤是對(duì)前車(chē)狀態(tài)進(jìn)行判斷的先決條件，也是汽車(chē)主動(dòng)安全技術(shù)中的核心算法之一［1-6］。目前，常用的基于視覺(jué)的目標(biāo)跟蹤通常采用基于全局匹配這一思路，如模板匹配［7-10］、meanshift［11-14］等算法。然而基于全局匹配的算法在車(chē)輛姿態(tài)發(fā)生較為明顯的變化以及部分被遮擋時(shí)往往會(huì)出現(xiàn)跟蹤失敗的情況。為此，本文采用一種局部匹配的思想，利用Gabor抗噪性強(qiáng)的特點(diǎn)，以Gabor特征構(gòu)建匹配特征向量；隨后，利用邊緣極大值點(diǎn)在部分丟失時(shí)仍可以進(jìn)行匹配的特點(diǎn)，采用邊緣極大值點(diǎn)作為待匹配特征候選點(diǎn)，大大減少了待匹配點(diǎn)個(gè)數(shù)；最后將匹配點(diǎn)的Gabor向量輸入到傳統(tǒng)的Kalman跟蹤器中實(shí)現(xiàn)對(duì)前方車(chē)輛的跟蹤。

1　基于Gabor特征的圖像匹配

1.1Gabor特征

2幅圖像之間的匹配可以歸結(jié)為二者的某一特征值的相關(guān)性度量。通過(guò)模板圖像和待匹配圖像之間的相關(guān)性運(yùn)算，就可得到兩者相關(guān)度即匹配度的大小。圖像匹配主要有2個(gè)關(guān)鍵要素：匹配特征的選取以及特征相關(guān)性度量方法。Gabor濾波器具有多通道、多分辨率的特點(diǎn)，對(duì)目標(biāo)特征的位置、角度和尺度等信息都能有很好的反映，特別是對(duì)邊緣信息有著非常好的表征能力，同時(shí)對(duì)噪聲有著很強(qiáng)的抑制能力。因此本文采用Gabor特征作為車(chē)輛圖像的表征特征。

2D Gabor濾波器是在Gabor函數(shù)的基礎(chǔ)上推廣而來(lái)，它具有易于調(diào)諧的方向和徑向頻率帶寬以及易于調(diào)諧的中心頻率，在空間域和頻率域同時(shí)達(dá)到了最佳分辨率，同時(shí)有著與生物視覺(jué)系統(tǒng)相近的特點(diǎn)。一個(gè)2D Gabor濾波器 的表達(dá)形式如下：

從表達(dá)式中可以看出r決定了濾波器的窗口寬度，或者稱(chēng)為濾波器尺度，而θ確定了濾波器的方向。不同尺度、不同方向的濾波器會(huì)帶來(lái)不同的特征選取效果。一般來(lái)說(shuō)，大尺度濾波可以描述全局性較強(qiáng)的信息，受噪聲的影響較小；而小尺度濾波可以描述比較細(xì)節(jié)化的局部特征，但容易受到噪聲的干擾。濾波器的方向選擇則可以強(qiáng)化某一方向上的圖像特征。

1.2特征點(diǎn)選取和Gabor特征向量

多尺度、多方向性的Gabor特征往往具有很高的維度。本文選取5個(gè)尺度8個(gè)方向的形同公式（1）的2D Gabor濾波器，這樣對(duì)于一幅24×24的樣本圖像就將產(chǎn)生23 040維的特征向量。顯然，這樣一個(gè)高維向量會(huì)帶來(lái)很大的計(jì)算量和存儲(chǔ)負(fù)擔(dān)，因此需要采用一定的方法進(jìn)行降維處理。目前，較常用的Gabor特征向量的降維方法是將原圖均勻分成一定大小的網(wǎng)格抽取樣點(diǎn)。但是該方法在降低計(jì)算速度的同時(shí)，會(huì)帶來(lái)識(shí)別率降低的后果。因?yàn)槿魏我环鶚颖緢D像中，不同區(qū)域的點(diǎn)對(duì)樣本的表征能力有強(qiáng)有弱，這種均勻的采樣策略往往會(huì)導(dǎo)致一些含有關(guān)鍵匹配信息點(diǎn)的遺漏。本文考慮到前方車(chē)輛在圖像中有著明顯和豐富的邊緣信息，基于該特點(diǎn)，以邊緣點(diǎn)作為特征點(diǎn)。具體措施是，選取模板圖像和待匹配圖像中具有最大邊緣梯度幅值的點(diǎn)各24個(gè)作為待匹配點(diǎn)。

1.3 匹配度度量

特征點(diǎn)的匹配程度需要用一個(gè)相似度函數(shù)加以表征，本文采用歐幾里德距離作為相似性度量。假設(shè)待判斷圖像某點(diǎn)PX的特征向量為X，模板圖像某特征點(diǎn)PM的特征向量為M，則PX和PM之間的歐幾里德距離為：

DXM的值越小，則可認(rèn)為PX和PM相似度越大，越匹配；反之，DXM的值越大，則2點(diǎn)之間的相似度越小，越不匹配。當(dāng)DXM小于某個(gè)閾值TH1時(shí)，就認(rèn)為2個(gè)點(diǎn)匹配成功。在2幅圖像中，若匹配的特征點(diǎn)數(shù)大于某個(gè)閾值TH2，就可認(rèn)為2幅圖像匹配成功。

綜上所述，基于Gabor特征的圖像匹配的具體步驟如下：

步驟1：讀入模板圖像，提取模板圖像幅值最大的24個(gè)圖像邊緣特征點(diǎn)。

步驟2：讀入待判斷圖像區(qū)域img（i），提取待判斷圖像區(qū)域的幅值最大的24個(gè)圖像邊緣特征點(diǎn)。

步驟3：模板圖像和待判斷圖像區(qū)域進(jìn)行特征點(diǎn)以Gabor特征，并采用公式（3）所提方法進(jìn)行匹配，得到匹配數(shù)目K（i）。

步驟4：判斷是否已經(jīng)完成對(duì)所有待判斷圖像的匹配。如果否，返回步驟2執(zhí)行；如果是，跳到步驟5繼續(xù)執(zhí)行。

步驟5：查找K的最大值K（j），若K（j）大于閾值TH1，則認(rèn)為圖像img（j）是成功匹配的圖像，否則認(rèn)為匹配失敗。

2　基于Kalman濾波的前方車(chē)輛跟蹤

由于單獨(dú)的圖像匹配算法存在以下缺陷：

（1）跟蹤算法需在原目標(biāo)周?chē)粋€(gè)較大的區(qū)域內(nèi)進(jìn)行搜索，并沒(méi)有考慮到目標(biāo)的實(shí)際運(yùn)動(dòng)情況，目標(biāo)的運(yùn)動(dòng)方向和速度信息得不到充分的利用；

（2）跟蹤算法采用一定的目標(biāo)檢測(cè)算法對(duì)目標(biāo)模板進(jìn)行提取，并通過(guò)待判斷圖像與目標(biāo)模板間的匹配實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤，但缺點(diǎn)是在這一跟蹤過(guò)程中缺乏對(duì)目標(biāo)模板必要的更新；

（3）當(dāng)運(yùn)動(dòng)目標(biāo)被部分或全部遮擋，或者當(dāng)目標(biāo)的運(yùn)動(dòng)速度很快時(shí)，容易丟失對(duì)目標(biāo)的跟蹤。

為了有效地克服單獨(dú)圖像匹配算法的這些不足，本文利用Kalman濾波在預(yù)測(cè)運(yùn)動(dòng)目標(biāo)的位置及運(yùn)動(dòng)方向上所具有的獨(dú)特優(yōu)勢(shì)，在前方運(yùn)動(dòng)車(chē)輛跟蹤的應(yīng)用中首先通過(guò)Kalman濾波算法預(yù)測(cè)車(chē)輛的位置。在此基礎(chǔ)上使用圖像匹配算法實(shí)現(xiàn)目標(biāo)區(qū)域的迭代搜索，再用搜索的結(jié)果去更新Kalman濾波器。

在運(yùn)動(dòng)車(chē)輛跟蹤過(guò)程中，由于相鄰兩幀圖像間的時(shí)間間隔很短，車(chē)輛運(yùn)動(dòng)狀態(tài)的變化較小，因此可近似認(rèn)為目標(biāo)是沿著x、y軸作直線(xiàn)運(yùn)動(dòng)，可采用僅含有位置、速度和加速度的2階方程進(jìn)行表征。令（xk，yk）為tk時(shí)刻車(chē)輛底部邊緣中點(diǎn)，vx，k、vy，k分別為tk時(shí)刻目標(biāo)在x、y軸上的速度， ax，k、ay，k分別為tk時(shí)刻車(chē)輛在x、y軸上的加速度，則對(duì)于相鄰2幀的時(shí)間間隔t = tktk-1，有下列的遞推方程：

將Kalman濾波與圖像匹配算法融合實(shí)現(xiàn)目標(biāo)跟蹤的算法流程如圖1所示，其實(shí)現(xiàn)的具體步驟如下：

步驟1：讀入圖像，根據(jù)目標(biāo)檢測(cè)結(jié)果將車(chē)輛底部邊緣中點(diǎn)初始化為（xk，yk），將目標(biāo)在x、y軸上的速度分量vx，k、vy，k和加速度分量ax，k、ay，k初始化為0，并建立目標(biāo)模型q；

步驟2：根據(jù)初始位置（xk，yk），用Kalman濾波器預(yù)測(cè)目標(biāo)在下一幀中的位置（）及速度分量和加速度分量；

步驟3：讀入下一幀圖像，以（x?, y?）為中心點(diǎn)，用圖像匹配算法搜索當(dāng)前幀目標(biāo)位置（x1，y2），計(jì)算匹配點(diǎn)數(shù)目P；

圖1　卡爾曼跟蹤流程圖

3　試驗(yàn)結(jié)果與分析

3.1Gabor特征的抗噪試驗(yàn)

采用Matlab對(duì)連續(xù)序列中間隔較小的圖像上像素點(diǎn)的Gabor特征和傳統(tǒng)的灰度特征對(duì)像素點(diǎn)的表征能力進(jìn)行了仿真比較。

以一連續(xù)圖像的第3 461幀中車(chē)輛區(qū)域作為模板，同時(shí)以該連續(xù)圖像的第3 464幀作為待匹配圖像（見(jiàn)圖2）。在模板圖像和待匹配圖像中手工標(biāo)出一個(gè)特征點(diǎn)及與其正確匹配的特征點(diǎn)組（在2幅圖像中用藍(lán)色圓標(biāo)示出），并在待匹配圖像中另外選取46個(gè)隨機(jī)非匹配點(diǎn)（圖2（b）中三角形標(biāo)示出）。

圖2　車(chē)輛對(duì)應(yīng)特征點(diǎn)及隨機(jī)非對(duì)應(yīng)點(diǎn)

采用第2節(jié)所述方法分別計(jì)算模板特征點(diǎn)和待匹配圖像特征點(diǎn)和隨機(jī)點(diǎn)之間的Gabor向量的歐氏距離。作為比較，這里采用了另外一種基于點(diǎn)的灰度特征計(jì)算模板特征點(diǎn)和待匹配圖像特征點(diǎn)和隨機(jī)點(diǎn)的灰度歐氏距離。設(shè)模板圖像為img_M，特征點(diǎn)坐標(biāo)為（xM，yM），待匹配圖像為img_X，其特征點(diǎn)和隨機(jī)點(diǎn)坐標(biāo)用（xX，yX）表示。2點(diǎn)之間的灰度歐氏距離計(jì)算公式為：

圖3是以上2種方法的計(jì)算結(jié)果，圖3（a）為Gabor向量的歐氏距離計(jì)算結(jié)果，圖3（b）為灰度的歐氏距離計(jì)算結(jié)果。圖3（a）、圖4（b）分別有47個(gè)值，其中前46個(gè)值分別是模板特征點(diǎn)和隨機(jī)點(diǎn)之間的歐氏距離，而最后一個(gè)值是人工標(biāo)記的正確匹配特征點(diǎn)之間的距離。

從圖3（a）中可以看出Gabor特征向量的歐式距離具有更好的表征能力，特征點(diǎn)和正確匹配點(diǎn)之間的歐式距離少于200，而特征點(diǎn)和非匹配點(diǎn)的歐式距離則均在600以上。與之相反，從圖3（b）中可以看出，很多非匹配點(diǎn)的灰度歐氏距離都和匹配點(diǎn)十分接近，顯然難以將匹配點(diǎn)和非匹配點(diǎn)進(jìn)行良好的區(qū)分。

另一組試驗(yàn)中，在圖像上人為地加上了椒鹽噪聲（見(jiàn)圖4），試驗(yàn)效果見(jiàn)圖5，可以看出Gabor特征向量的表征下，特征點(diǎn)和正確匹配點(diǎn)之間的歐式距離仍在250左右，而其余非匹配點(diǎn)的歐式距離仍均在600以上。試驗(yàn)說(shuō)明，在圖像存在一定噪聲的情況下，Gabor特征向量仍然具有較好的表征能力。

圖3　特征點(diǎn)歐氏距離

圖4　帶椒鹽噪聲的車(chē)輛對(duì)應(yīng)特征點(diǎn)及隨機(jī)非對(duì)應(yīng)點(diǎn)

圖5　帶椒鹽噪聲的車(chē)輛對(duì)應(yīng)特征點(diǎn)Gabor向量歐氏距離

3.2基于Gabor特征的圖像匹配試驗(yàn)

采用第2節(jié)所述的圖像匹配算法對(duì)不同道路環(huán)境、不同車(chē)型的車(chē)輛進(jìn)行匹配跟蹤，效果見(jiàn)圖6。

圖6（a）為第3 461幀中采用車(chē)輛檢測(cè)算法提取的車(chē)輛精確位置所產(chǎn)生的車(chē)輛模板圖像，圖6（b）為采集的第3 464幀圖像，圖6（c）為為采用圖像匹配算法所得到的成功匹配圖像。在圖6（a）和圖6（c）中，黑色點(diǎn)表示提取的邊緣特征點(diǎn)，而帶“*”的像素點(diǎn)則表示成功匹配的特征點(diǎn)。

圖6　車(chē)輛匹配跟蹤

從試驗(yàn)中可以看出，本算法對(duì)多種車(chē)型都有著較強(qiáng)的匹配能力。

3.3算法整體效果評(píng)估

對(duì)從滬寧高速為主的高速路上采集的大量道路視頻進(jìn)行試驗(yàn)，有無(wú)遮擋、車(chē)輛姿態(tài)變化的檢測(cè)效果以及平均耗時(shí)如表1所示?？梢钥闯觯c模板匹配和Meanshift方法相比，本方法在車(chē)輛有遮擋等不良情況下具有明顯較高的跟蹤率，且耗時(shí)與這2種算法較為相近。

表1　本算法和其它主流算法的效果比較

4　結(jié)語(yǔ)

本文針對(duì)常用的基于視覺(jué)的目標(biāo)跟蹤通常采用基于全局的匹配的算法的不足，采用一種局部匹配的思想，以Gabor特征構(gòu)建匹配特征向量，采用邊緣極大值點(diǎn)作為待匹配特征候選點(diǎn)，并以Kalman跟蹤器實(shí)現(xiàn)前方車(chē)輛跟蹤。基于真實(shí)道路圖片的試驗(yàn)和對(duì)比結(jié)果表明本方法具有魯棒性強(qiáng)、效率高的特點(diǎn)。

本文目前只考慮了日間車(chē)輛跟蹤的遮擋、車(chē)輛姿態(tài)變化的情況，下一步計(jì)劃展開(kāi)針對(duì)光照條件較差的傍晚、夜間等情況進(jìn)行深入研究。

［1］ Kanhere N，Birchfield S. Real-Time Incremental Segmentation and Tracking of Vehicles at Low Camera Angles Using Stable Features［J］. IEEE Transactions onIntelligent Transportation Systems，2008：148-160.

［2］Xue M，Haibin L. Robust Visual Tracking and Vehicle Classification via Sparse Representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（11）：2259-2272.

［3］ Ros V， Rotter E， Muhlenberg M. Lane-Change Decision Aid System Based on Motion-Driven Vehicle Tracking［J］. IEEE Transactions on Vehicular Technology，2008，57（5）：2736-2746.

［4］Se Y， Jeong K， Young R. Front and rear vehicle detection and tracking in the day and night times using vision and sonar sensor fusion［［C］. IEEE/RSJ International Conference on Intelligent Robots and Systems，2005：2173-2178.

［5］Sanchez A，Suarez P， Conci A. Video-Based Distance Traffic Analysis：Application to Vehicle Tracking and Counting ［J］. Computing in Science & Engineering， 2011，13（3）：38-45.

［6］Sivaraman S，Trivedi M. A General Active-Learning Framework for On-Road Vehicle Recognition and Tracking［J］. IEEE Transactions on Intelligent Transportation Systems，2010，11 （2）：267-276.

［7］宋仁庭，楊衛(wèi)平，楊明月.模板匹配算法對(duì)運(yùn)動(dòng)目標(biāo)自動(dòng)鎖定跟蹤的研究［J］.紅外與激光工程，2007，36（z2）：197-200.

［8］黨曉軍，尹俊文.一種基于模板匹配的運(yùn)動(dòng)目標(biāo)跟蹤方法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46（5）：173-176.

［9］Jinman L，Juan Z. Improved video-based vehicle detection methodology［C］. 2010 3rd IEEE International Conference on Computer Science and Information Technology （ICCSIT）， 2010：602-606.

［10］ Lee P，Yen Lin，Shen C. Viewpoint-Independent Object Detection Based on Two-Dimensional Contours and Three-Dimensional Sizes［J］. IEEE Transactions on Intelligent Transportation Systems，2011，12（4）：1599-1608.

［11］賈桂敏，王向軍，張世海.復(fù)雜背景下基于自適應(yīng)模板更新的目標(biāo)跟蹤算法［J］.光學(xué)學(xué)報(bào)，2009，29（3）：559-563.

［12］顏佳，吳敏淵，陳淑珍，等.跟蹤窗口自適應(yīng)的Mean Shift跟蹤［J］.光學(xué)精密工程，2009，17（10）：2606-2611.

［13］Hermes C，Einhaus J，Hahn M. Vehicle tracking and motion prediction in complex urban scenarios［C］. 2010 IEEE Intelligent Vehicles Symposium （IV），2010：26-33.

［14］Lefebvre S，Ambellouis S. Vehicle detection and tracking using Mean Shift segmentation on semi-dense disparity maps ［C］. 2012 IEEE Intelligent Vehicles Symposium （IV）：855-860.

Vehicle Tracking Algorithm Based on Partial Gabor Feature Matching and Kalman Filtering

Wang Hai1，2， Chen Jun1
（1. Chery Postdoctoral Workstation， Wuhu 241009， China 2. School of Automotive and Traffic Engineering， Jiangsu University， Zhenjiang 212013， China）

According to the deficiency of common vision-based tracking algorithm which based on global matching， the method of a partial match is applied in this paper. Because of the noise-resistance of Gabor feature and hard-to-lost property of edge maxima points， a robust Kalman vehicle tracking algorithm is proposed. Firstly， a noise immunity Gabor feature matching eigenvectors is built. Then， edge maximum points are set as the characteristics of candidate points to be matched which greatly reduce the number of matching points. Finally， Kalman tracker is used to track front vehicles. The road experiments show that this method has strong robustness and high efficiency.

active safety； vehicle tracking； Gabor feature； Kalman filtering； edge maximum points

TP391.4

A

1672-9889（2015）01-0036-05

國(guó)家自然科學(xué)基金（項(xiàng)目編號(hào)：61403172，51305167，61203244）；交通運(yùn)輸部信息化項(xiàng)目（項(xiàng)目編號(hào)：2013364836900）；江蘇省自然科學(xué)基金（項(xiàng)目編號(hào)：BK20140555）；江蘇大學(xué)高級(jí)專(zhuān)業(yè)人才科研啟動(dòng)基金（項(xiàng)目編號(hào)：12JDG010，1291120026）

王海（1983-），男，江蘇鎮(zhèn)江人，博士，研究方向?yàn)槠?chē)主動(dòng)安全技術(shù)。

（2014-05-16）