基于卡爾曼濾波的城市路口車輛檢測及分類

戚永剛

(德州學(xué)院外語系，山東 德州 253023)

基于車輛的視覺跟蹤［1］和交通監(jiān)控技術(shù)［2］受到了廣泛的關(guān)注，這些技術(shù)在車輛監(jiān)測系統(tǒng)、車輛跟蹤及道路路口自動監(jiān)控等領(lǐng)域得到了廣泛應(yīng)用。交通擁塞發(fā)生在交通需求超過道路通行能力的時(shí)候，它不僅是對時(shí)間的浪費(fèi)，更是對能量的損耗，而且還會導(dǎo)致二氧化碳過量排放，自動交通監(jiān)控有助于及早發(fā)現(xiàn)可能發(fā)生的道路擁擠［3－4］。

目前已經(jīng)有許多使用車輛不同屬性進(jìn)行車輛檢測、跟蹤和分類的方法。例如，文獻(xiàn)［5］提出了一個(gè)較為全面的車輛檢測方法，采用背景差分法，將當(dāng)前幀和背景幀之間像素的差值作為被測對象，使用一些閾值限制，所有屬于被測對象的像素點(diǎn)(不存在背景圖像)都會檢測到并分組在一起。運(yùn)動車輛跟蹤過程的主要思想是保持每個(gè)檢測車輛的檢測順序與整個(gè)視頻序列一致，為了消除車輛計(jì)數(shù)時(shí)重復(fù)計(jì)數(shù)，學(xué)者們相繼提出了一些車輛跟蹤算法［6－8］。然而，針對車輛分來的工作卻很少，因?yàn)檐囕v形狀和顏色多種多樣，使得車輛分類更具有挑戰(zhàn)性。已有文獻(xiàn)提出的車輛分類方法通常是基于模型的［9－10］，近期也有一些是基于車輛顏色的［11－12］，而這些方法的難點(diǎn)是將各種形狀的車輛(雖然屬于同一類)描述成一個(gè)單一的模型。

為了更好地對混亂的城市交叉路口車輛進(jìn)行檢測、跟蹤及分類，本文提出了一種基于卡爾曼濾波算法［13］的車輛檢測及分類系統(tǒng)，使用一個(gè)安裝在人行天橋的攝像頭俯拍交通場景，攝像頭放置在馬路中央，通過車輛幾何圖形和外觀特性進(jìn)行分類，既能夠多車道檢測，又大大地減少了分類誤差，實(shí)驗(yàn)結(jié)果驗(yàn)證了所提系統(tǒng)的有效性。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)概述

如圖1所示為整個(gè)系統(tǒng)的流程圖，主要有車輛檢測、車輛跟蹤和車輛分類，包括以下6個(gè)階段:

1)背景估計(jì):從視頻的一些初始幀對背景估測。

2)檢測區(qū)域:在這個(gè)階段，構(gòu)建二值掩碼來定義感興趣的區(qū)域。

3)目標(biāo)檢測:采用背景差分將檢測到的前景對象和像素點(diǎn)連接成的組存儲為blob類型。

4)對象跟蹤:邊界框放置在每個(gè)檢測到的blob類型圖像處，用卡爾曼濾波器一幀一幀地跟蹤。

5)對象分割:被跟蹤對象離開探測區(qū)域之前會被提取。

6)對象分類:分段的對象傳遞給分類器，分類器將它們進(jìn)行適當(dāng)分類。

圖1 系統(tǒng)流程圖

系統(tǒng)利用了放在高處的相機(jī)記錄的視頻流，把相機(jī)放置在高處俯視場景中心，可清晰地區(qū)分正在行駛中且車距很短的車輛，有助于避免場景中物體遮擋。所使用的視頻來源于一個(gè)車流量很大的城市道路交叉口，區(qū)別于高速公路，城市道路交叉路口更具有挑戰(zhàn)性，除了常見問題外，還有全局光照變化、陰影處理、遮擋、多個(gè)對象檢測和跟蹤等問題。因此，本文的目標(biāo)是開發(fā)一種低成本的基于視覺的車輛檢測和分類系統(tǒng)，用于改善和理想化智能交通系統(tǒng)。

1.2 背景估計(jì)

本文系統(tǒng)的第一階段是產(chǎn)生相對穩(wěn)定的背景圖像。文獻(xiàn)［14］假設(shè)與過往的車輛相比，道路的像素強(qiáng)度和剛進(jìn)入下一幀圖像中的初始像素強(qiáng)度相同，與初始幀像素強(qiáng)度相同的像素認(rèn)為是背景像素，本文采用與文獻(xiàn)［14］相同的方式進(jìn)行背景建模。

1.3 車輛檢測

將當(dāng)前幀和背景幀對應(yīng)像素進(jìn)行成對相減，像素值大于閾值的像素點(diǎn)認(rèn)為是對象(被測車輛)中的像素點(diǎn)，如圖2所示，使用4個(gè)不同的步驟來檢測屬于移動車輛的像素。首先構(gòu)造一個(gè)二值掩碼以定義檢測范圍，從交叉點(diǎn)至相機(jī)位置有三道通路，掩碼“M”的大小與整個(gè)檢測區(qū)域的條目相對于零檢測區(qū)域條目的大小相同。接著，把背景圖像和當(dāng)前圖像相乘，如圖2b和2c所示，將所有被測區(qū)域之外的區(qū)域直接忽視或變暗(暗區(qū))。然后，應(yīng)用背景差分技術(shù)來檢測當(dāng)前圖像中像素值大于設(shè)定閾值點(diǎn)的位置。最后，為進(jìn)一步使被測對象blob圖像的形狀清晰，先進(jìn)行了擴(kuò)張?jiān)偾治g。

圖2 車輛檢測過程

1.4 車輛跟蹤

跟蹤過程中將被測物體打上標(biāo)簽，使其在穿過整個(gè)視頻序列中能唯一標(biāo)識，并保持其身份穿過整個(gè)視頻序列。所提系統(tǒng)采用卡爾曼濾波跟蹤算法跟蹤被標(biāo)記車輛的blob圖像，實(shí)現(xiàn)流程如圖3所示，使用動態(tài)模型來預(yù)測對象的狀態(tài)進(jìn)行預(yù)測;使用測量或觀測模型校正預(yù)測，使預(yù)測值的誤差協(xié)方差降到最低［14］。動態(tài)圖像處理時(shí)，卡爾曼濾波器在用前一幀圖像ft－1的位置信息預(yù)測當(dāng)前圖像ft中的目標(biāo)位置信息的過程中扮演著重要的角色，如每個(gè)時(shí)間間隔t內(nèi)均重復(fù)此過程。

圖3 卡爾曼濾波器

當(dāng)車輛離開路口并進(jìn)入檢測區(qū)(頂部的檢測窗口)后，邊界框?qū)⑻砑拥矫總€(gè)檢測到的對象上，當(dāng)被測車輛達(dá)到最大尺寸時(shí)進(jìn)行裁剪，不僅緩解了分類任務(wù)的難度，也增強(qiáng)了它的性能。

圖4為提出的跟蹤方法圖解，圖像幀ft－5中，檢測區(qū)域共出現(xiàn)并檢測到5輛車，隨著這些車輛逐漸靠近相機(jī)，它們的blob圖像大小在圖像幀ft－4中會增加，然而，圖像幀ft－3中占據(jù)中心車道的白色汽車blob圖像面積隨著它離開檢測區(qū)域而逐漸變小，因此，圖像幀ft－4中在blob圖像減小之前就開始分割。為了區(qū)分提取兩輛車的信息，在圖像幀ft－2，ft－1和ft中重復(fù)進(jìn)行了相同的步驟，最后將車輛的分割信息、斑點(diǎn)區(qū)域、質(zhì)心及邊界框坐標(biāo)一并傳遞到分類階段。

圖4 跟蹤和分割方法圖解

1.5 車輛分類

這部分主要目的是對通過檢測區(qū)域的車輛進(jìn)行分類并統(tǒng)計(jì)其數(shù)量。視頻中的車輛分成5類:摩托車，汽車，面包車，卡車，重型卡車。這些類別的選擇是基于包含在視頻中的可用的車輛類型的，但是系統(tǒng)可以很容易地對車輛類型進(jìn)行擴(kuò)展。一般來說，對象識別包含目標(biāo)檢測、特征提取、分類三個(gè)階段，車輛檢測階段已經(jīng)完成了目標(biāo)檢測，后面主要專注于特征提取和分類。

1.6 利用LBP提取特征

特性提取之前，先對圖片進(jìn)行圖像預(yù)處理來標(biāo)準(zhǔn)化和提高圖片質(zhì)量，調(diào)整每個(gè)圖像為64×64像素大小，接著，將RGB圖像轉(zhuǎn)換成灰度圖像，只保留其強(qiáng)度值。此外，用對比增強(qiáng)技術(shù)來減少圖像中的光照變化。預(yù)處理各階段示例如圖5所示。

圖像預(yù)處理后，使用局部二值模式(LBP)［15］提取每一個(gè)對象的獨(dú)特屬性。給定位置(xc，yc)的像素點(diǎn)產(chǎn)生的LBP表示如下

式中:Pc是窗口中心像素;Pn是窗口中心像素周圍相鄰8個(gè)像素;S可表示成

首先將每個(gè)預(yù)處理的圖像分割成36個(gè)子區(qū)域;接著，計(jì)算并繪制每個(gè)子區(qū)域的LBP直方圖;然后，用式(3)和式(4)分別計(jì)算直方圖比率hr和直方圖最大值hm;最后，將所有子區(qū)域的36個(gè)hr和36個(gè)hm連接成單一特征向量。

圖5 圖像預(yù)處理示例

前期提取的車輛區(qū)域、質(zhì)心和邊界框坐標(biāo)進(jìn)一步融入LBP特征，由式(5)來計(jì)算被測車輛的幾何特性及與馬路的相對位置。

形成的特征向量由線性分類器將其歸類至它們各自的類中，主要目的是最大化類間散布矩陣，同時(shí)最小化類內(nèi)散布矩陣［7］。數(shù)學(xué)上，離散度矩陣定義如下

分類措施如下

式中:SW和SB分別表示類內(nèi)和類間散布矩陣;ni表示屬于類i的樣本個(gè)數(shù);c表示類的個(gè)數(shù);mi表示類i樣本的平均值;xi表示第i類的樣本集;xj表示該類的第j個(gè)對象;和表示類內(nèi)和類間矩陣的決定因子。

2 實(shí)驗(yàn)部分

所有的實(shí)驗(yàn)均在4 Gbyte內(nèi)存、Intel Core 2.93 GHz Windows XP計(jì)算機(jī)上完成，編程環(huán)境為MATLAB 7.0。所提系統(tǒng)的性能通過包含78輛車的視頻序列進(jìn)行測試，有3400幀，視頻拍攝于典型城市交叉口，有背景雜亂的特征。

2.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)把視頻分成兩部分，第一部分的2200幀用于分類，剩下的1200幀用于測試，表1為實(shí)際的訓(xùn)練和測試序列，表2為系統(tǒng)計(jì)數(shù)器輸出的訓(xùn)練和測試序列，表3為系統(tǒng)分類器輸出的測試序列。為了提高驗(yàn)證結(jié)果的準(zhǔn)確性，要求2個(gè)人獨(dú)立地對進(jìn)入?yún)^(qū)域的車輛計(jì)數(shù)和分類，表中的實(shí)驗(yàn)結(jié)果是2個(gè)人記錄的平均值。

表1 實(shí)際的訓(xùn)練和測試序列

表2 系統(tǒng)計(jì)數(shù)器輸出的訓(xùn)練和測試序列

表3 系統(tǒng)分類器輸出的測試序列

從表2中可以看到，這個(gè)系統(tǒng)探測、跟蹤和統(tǒng)計(jì)的通過訓(xùn)練和測試序列數(shù)量為76，與實(shí)際數(shù)字78不相等，對應(yīng)了2.56%的誤差，即檢測正確率為97.44%。從表3可以看出，在分類階段，所有的摩托車、卡車和重型卡車的分類是準(zhǔn)確的。然而，由于系統(tǒng)在小巴士和轎車之間產(chǎn)生混淆，25個(gè)測試車輛中有3個(gè)分類錯(cuò)誤，故總體分類誤差為12.0%，即正確分類率為88.0%。

系統(tǒng)可以正確地檢測并跟蹤大多數(shù)汽車，檢測率高達(dá)97.44%，錯(cuò)誤檢測主要是遮擋，特別是在車輛行駛中車距非常近的時(shí)候，盡管當(dāng)前面的車輛離開檢測區(qū)，系統(tǒng)足以檢測到后面的第二輛車。然而，只有88.0%的車輛正確分類，錯(cuò)誤分類的問題主要發(fā)生在轎車和面包車之間。雖然，兩種車輛的幾何和外觀屬性描述不同，但由于兩車形狀和外表非常相似，系統(tǒng)還很難正確地將它們分類。

2.2 比較與分析

為了更好地體現(xiàn)所提方法的優(yōu)越性，與其他幾個(gè)類似文獻(xiàn)中的檢測方法進(jìn)行了檢測率對比，因?yàn)榍叭酸槍囕v分類的研究不是很多，故沒有將所提系統(tǒng)的分類率與其他方法進(jìn)行對比。比較方法包括文獻(xiàn)［1］提出的背景變化魯棒的自適應(yīng)視覺跟蹤模型(BV－AVTM)、文獻(xiàn)［2］提出的行車道檢測及車輛跟蹤算法(TLDVT)、文獻(xiàn)［5］提出的背景差分及Mean－shift跟蹤算法(BS+Mean－shift)、文獻(xiàn)［6］提出的基于核函數(shù)的Mean－shift跟蹤算法(KMean－shift)，比較結(jié)果如表4所示，其中，各個(gè)比較方法的檢測率均取自對應(yīng)的參考文獻(xiàn)。

表4 各方法的車輛檢測率比較 %

從表4可以看出，所提系統(tǒng)的檢測率比其他幾種方法的檢測率都高，在各個(gè)比較方法中，BS+Mean－shift方法的檢測率最高，與 K－Mean－shift方法相比，BS+Meanshift方法引入了背景差分，提高了檢測率，而與BS+Mean－shift相比，所提的系統(tǒng)在背景差分的基礎(chǔ)上，結(jié)合了卡爾曼濾波算法，而它是一種基于狀態(tài)空間技術(shù)的遞歸預(yù)測方法，遞歸方法的使用提高了車輛的檢測率。

3 結(jié)論

本文提出了一種新穎的基于車輛幾何圖形和外觀特性的車輛分類方法，對車輛進(jìn)行了檢測、跟蹤和分類。所提系統(tǒng)的有效性在一個(gè)從典型城市交叉路口取得的3400幀視頻序列上得到了驗(yàn)證，背景差分方法和卡爾曼濾波算法用在檢測和跟蹤系統(tǒng)階段，使用圖像分割方法，在車輛結(jié)構(gòu)最清晰的點(diǎn)將其分段，被分割車輛的幾何和外觀特征送入LDA分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，所提系統(tǒng)將成為未來車輛檢測和分類的發(fā)展趨勢。雖然該系統(tǒng)展示了它在車輛檢測和跟蹤方面的穩(wěn)健性，但仍需要進(jìn)一步解決遮擋問題(例如使用立體攝像系統(tǒng))。

［1］王建宇，陳熙霖，高文，等.背景變化魯棒的自適應(yīng)視覺跟蹤目標(biāo)模型［J］.軟件學(xué)報(bào)，2009，17(5):1001－1008.

［2］曾智洪.高速公路中的行車道檢測和車輛跟蹤［J］.自動化學(xué)報(bào)，2011，29(3):450－456.

［3］SUN Z，BEBIS G，MILLER R.On－road vehicle detection:a review［J］.Pattern Analysis and Machine Intelligence，2010，28(5):694－711.

［4］RAJAGOPALAN A N，CHELLAPPA R.Vehicle detection and tracking in video［J］.Image Processing，2010，24(1):351－354.

［5］LONG L，XIAO X，SHU X，et al.Vehicle tracking method using background subtraction and meanshift algorithm［J］.E－Product E－Service and E－Entertainment(ICEEE)，2010，23(3):1－4.

［6］彭寧嵩，楊杰，劉志，等.Mean－Shift跟蹤算法中核函數(shù)窗寬的自動選取［J］.軟件學(xué)報(bào)，2010，16(9):1542－1550.

［7］DJALALOV M，NISAR H，SALIH Y，et al.An algorithm for vehicle detection and tracking［J］.Intelligent and Advanced Systems(ICIAS)，2010，26(1):1－5.

［8］杜宇人，周愛軍.一種基于視頻圖像的運(yùn)動車輛跟蹤方法［J］.電子測量與儀器學(xué)報(bào)，2009，23(3):45－48.

［9］BEHRAD A，SHAHROKNI A，MOTAMEDI S A，et al.A robust visionbased moving target detection and tracking system［J］.Proceeding of Image and Vision Computing，2011，23(4):221－229.

［10］郭捷，施鵬飛.基于顏色和紋理分析的車牌定位方法［J］.中國圖象圖形學(xué)報(bào)，2012，7(5):472－476.

［11］MESSELODI S，MODENA C M，ZANIN M.A computer vision system for the detection and classification of vehicles at urban road intersections［J］.Pattern Analysis ＆ Applications，2012，28(1):17－31.

［12］GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles［J］.Intelligent Transportation Systems，2011，23(1):37－47.

［13］RABIU H.Vehicle detection tracking and colour－based classification in video［J］.International Journal of Advanced and Innovative Research(IJAIR)，2013，32(1):97－100.

［14］RABIU H，SARIPAN M I，MASHOHOR S，et al.3D facial expression recognition using maximum relevance minimum redundancy geometrical features［J］.EURASIP Journal on Advances in Signal Processing，2012，31(1):213－220.

［15］WELLING M.Fisher linear discriminant analysis［J］.Information Science，2007，19(2):108－116.