基于多尺度邊緣融合及SURF特征匹配的車輛檢測及跟蹤方法*

穆柯楠 王會峰 楊 瀾 景首才

(1.長安大學(xué)電子與控制工程學(xué)院 西安 710064;2.長安大學(xué)信息工程學(xué)院 西安 710064)

0 引 言

對交通流信息進行實時檢測，并根據(jù)其變化迅速做出交通誘導(dǎo)控制，是智能交通系統(tǒng)(ITS)的一項重要內(nèi)容。道路交通參數(shù)的實時采集與處理方法，已日益成為智能交通研究領(lǐng)域的一項研究熱點?；谝曨l的交通參數(shù)提取系統(tǒng)通常在路側(cè)/上方安裝工業(yè)攝像機，通過對攝像機視野內(nèi)車道上的車輛進行檢測、跟蹤，從而獲取車流量、車型、車速等重要交通參數(shù)[1-3]。

目前車輛檢測的常用方法主要有幀差分法、背景差分法、光流法、模型法、特征檢測法等。張英等[4]提出一種改進的三幀差分法，通過對幀差分圖像和背景差分圖像進行融合和形態(tài)學(xué)處理，實現(xiàn)車輛檢測。李搏軒等[5]混合使用混合高斯模型與幀差法區(qū)分背景暴露區(qū)域與運動車輛區(qū)域，以解決傳統(tǒng)混合高斯模型存在的運動目標區(qū)域檢測完整度低、易將背景暴露區(qū)錯檢為運動車輛的問題。CAO[6]用特征光流法將運動物體的邊緣信息與光流運動的信息進行多特征融合,對視頻圖像中運動目標進行準確檢測和實時跟蹤。WANG[7-9]采用基于模型的方法，將檢測到的候選車輛區(qū)域與計算機數(shù)據(jù)庫中預(yù)先建立的車輛模型進行匹配從而車輛檢測與跟蹤?；谔卣鞯姆椒ㄍㄟ^檢測車輛的局部特征，如對稱部件(車輪、頭燈、尾燈等)[10-11]、陰影[12]、邊緣[13]等特征來定位車輛，而這些特征的提取通常需要通過邊緣檢測來實現(xiàn)。因此基于邊緣特征的車輛檢測方法與前者相比，方法簡單，耗時短，適合交通參數(shù)統(tǒng)計等實時應(yīng)用。但由于噪聲或背景邊緣(如車道線、欄桿、樹木等)的存在導(dǎo)致該方法的檢測結(jié)果不準確，因此如何最大限度地檢測出車輛邊緣同時抑制干擾邊緣，成為提高該方法檢測準確率的關(guān)鍵問題[14-15]。

目前車輛跟蹤的常用方法主要有基于統(tǒng)計學(xué)的方法(如粒子濾波法、Kalman濾波法等)和基于特征匹配的方法。然而目前前者類型跟蹤方法的主要挑戰(zhàn)和攻克難點在于如何抑制跟蹤目標漂移現(xiàn)象，以及提高多目標跟蹤性能[16-17]?；谔卣髌ヅ涞母櫡椒?，其性能很大程度上取決于所選特征的獨特性、穩(wěn)定性、復(fù)雜度和數(shù)量幾個方面，“少而優(yōu)”的特征點能夠大大提升該類型算法的性能[18]。其中“少”要求特征點的數(shù)量能夠在降低算法計算成本的同時保證跟蹤準確度；“優(yōu)”則要求特征點能夠鮮明且唯一的表征車輛目標，同時具有表征復(fù)雜度低和穩(wěn)定性高的特點。

綜合上述問題和研究背景，論文提出了一種基于多尺度邊緣融合及SURF特征匹配的車輛檢測與跟蹤方法。在車輛檢測部分，利用圖像多尺度分解和多尺度邊緣融合，在最大限度地檢測出車輛邊緣的同時抑制了交通圖像背景干擾邊緣，再采用適當(dāng)形態(tài)學(xué)處理操作確定目標車輛區(qū)域；車輛跟蹤部分是利用SURF特征匹配方法實現(xiàn)檢測車輛的實時跟蹤，提取交通圖像的SURF特征在保證特征點選取“優(yōu)”原則的同時兼顧特征低復(fù)雜度，根據(jù)車輛檢測結(jié)果建立跟蹤樣本集合以保證特征點選取的“少”原則，另外提出了車輛跟蹤樣本更新策略，進一步提高車輛跟蹤的實時性和準確性。

1 基于多尺度邊緣融合的車輛檢測

1.1 多尺度邊緣融合

針對傳統(tǒng)基于邊緣的車輛檢測方法易受噪聲或背景邊緣影響導(dǎo)致檢測結(jié)果不準確的問題，本節(jié)將圖像的多尺度信息應(yīng)用于車輛邊緣檢測。作者在文獻[19]中已經(jīng)提出一種多尺度融合邊緣檢測方法，具體思路是：只在原始圖像大小的基礎(chǔ)上進行1層m階高斯金字塔分解和1層m-1階高斯差分金字塔分解，然后對多尺度圖像分別進行邊緣檢測，最后對多尺度邊緣進行融合。對經(jīng)過DoG邊緣檢測得到的4幅多尺度邊緣圖像采用多尺度邊緣融合策略進行融合，融合得到邊緣定位準確、車輛邊緣輪廓凸顯、細節(jié)邊緣減少、抗噪能力較高的邊緣圖像。詳細步驟見文獻[1-3]。

1.2 車輛檢測

由于環(huán)境復(fù)雜背景、光照、陰影干擾，多尺度融合邊緣圖像中除了車輛輪廓邊緣以外，還包含部分背景邊緣和不連續(xù)邊緣，需要對其進行適當(dāng)?shù)男螒B(tài)學(xué)處理和連通性分析。為了進一步剔除背景干擾，得到圖像中車輛的準確定位，論文結(jié)合車輛的幾何形狀特點建立如下連通域幾何約束：對圖像所有連通域面積按大小排序，定義面積閾值T=1/2med{Ai|i=1,2,…,t}，其中Ai表示各連通域面積，t為連通域數(shù)量。若某連通域面積小于該閾值，則視為噪聲或背景區(qū)域而被剔除，否則為車輛區(qū)域。如圖1所示為采用論文方法得到的車輛檢測結(jié)果。

圖1 視頻序列中單幀圖像基于多尺度邊緣融合的車輛檢測結(jié)果。Fig.1 Vehicle detection results of one frame in a video sequence based on multi-scale edge fusion.

2 基于SURF特征匹配的車輛跟蹤

在車輛跟蹤階段，首先建立車輛跟蹤樣本集合(其中跟蹤樣本為車輛檢測階段獲取的運動車輛區(qū)域)，然后將每個跟蹤樣本與后續(xù)固定幀間隔的交通圖像中運動車輛區(qū)域進行SURF特征匹配。定義匹配度閾值并制定跟蹤樣本更新策略，保證車輛跟蹤的連續(xù)性、準確性，解決駛?cè)?、駛離、間歇運動車輛的跟蹤問題。

2.1 跟蹤樣本集定義

(1)

每一個跟蹤樣本包含了樣本序號(l)和其所處的視頻幀序號(k)，a為樣本集中樣本總數(shù)，b為參與檢測與跟蹤的視頻幀數(shù)。

2.2 車輛SURF特征匹配

SURF(speeded up robust features, 加速穩(wěn)健特征)是圖像的尺度不變特征，其特征提取速度大大高于SIFT特征提取。為了在保證特征“優(yōu)”原則的同時兼顧特征低復(fù)雜度，本節(jié)采用車輛的SURF特征實現(xiàn)車輛跟蹤。

然而，SURF特征提取的高速率是以降低特征提取的準確度為代價的。與SIFT特征匹配結(jié)果相比，SURF特征匹配存在的誤匹配特征對更多，如圖2(a)和(b)所示。本節(jié)通過分析跟蹤樣本集中樣本與待跟蹤幀中車輛SURF特征匹配的結(jié)果，發(fā)現(xiàn)跟蹤樣本在與其所處幀序號相隔的10幀內(nèi)外觀(主要指大小)變化較小，因此“各正確特征匹配點對的匹配連線應(yīng)互相平行”的特點。據(jù)此，定義特征匹配幾何約束條件如下。

(2)

則特征匹配幾何約束條件定義為

|ki-Ak|≤Δk

(3)

式中：Ak表示所有匹配點對連線的斜率均值。通過多次實驗確定當(dāng)Δk=0.25時去除誤匹配點對的效果最佳。圖2(c)所示為經(jīng)過幾何約束后的SURF特征匹配結(jié)果。

圖2 跟蹤樣本與當(dāng)前檢測車輛的特征匹配結(jié)果Fig.2 Feature matching result of tracking sample and current detected vehicle

2.3 跟蹤樣本集更新策略

在車輛跟蹤過程中，車輛運動造成的車輛外觀大小改變、車輛駛?cè)?、駛離相機視野，車輛間歇性運動，背景緩慢變化(樹木晃動)造成的車輛區(qū)域誤檢測都會對跟蹤造成困難。若不針對這些情況對跟蹤樣本集進行實時有效的更新，則當(dāng)前的跟蹤樣本集會很快發(fā)生退化，從而導(dǎo)致跟蹤失敗。為此，論文針對以上4類導(dǎo)致跟蹤樣本集退化的因素，制定如下跟蹤樣本集更新策略。

1)若新的圖像幀中檢測到的運動車輛區(qū)域與樣本集中某一樣本成功匹配(匹配度大于預(yù)設(shè)閾值)，則用新檢測到的運動車輛更新對應(yīng)樣本。該操作能夠避免由于車輛在一段時間后形態(tài)(行駛姿態(tài)、靠近或遠離相機而導(dǎo)致的大小變化)的明顯變化而導(dǎo)致原始樣本集退化。

2)若新的圖像幀中檢測到的運動車輛區(qū)域在跟蹤樣本集中不存在與之匹配的樣本時(匹配度小于預(yù)設(shè)閾值)，則視該車輛為新的駛?cè)胲囕v，將其作為新樣本加入跟蹤樣本集。

3)若跟蹤樣本集中的某車輛樣本在后續(xù)的連續(xù)兩幀中均未匹配成功，則視該車輛為駛離車輛或間歇性運動車輛，將其從樣本集中剔除。

4)若跟蹤樣本集中的某車輛樣本在后續(xù)的連續(xù)兩幀中的位置不變(位移小于預(yù)設(shè)閾值)，則視該車輛為間歇性運動車輛或背景干擾(如隨風(fēng)晃動的樹木)，將其從樣本集中剔除。

上述更新策略中的匹配度以及位置偏移定義在2.4節(jié)中詳細介紹。

2.4 跟蹤樣本集更新策略中的變量定義

2.4.1 匹配度

(4)

計算出某跟蹤樣本和運動車輛區(qū)域的SURF特征匹配度后，通過設(shè)定匹配度閾值，就可以判斷兩者是否匹配成功。如圖3(a)所示為匹配成功的情況，圖3(b)為匹配失敗的情況。論文采用試驗法得到：當(dāng)TR=85%時平均跟蹤性能參數(shù)最優(yōu)。

圖3 跟蹤樣本與當(dāng)前檢測車輛的特征匹配度對比Fig.3 Feature points matching result comparison of tracking sample and current detected vehicle

2.4.2 位置偏移

論文中跟蹤樣本集更新策略的另一個重要參數(shù)是連續(xù)幀中對應(yīng)運動車輛區(qū)域的幾何中心位置偏移，論文將其用幾何中心偏移位移si表示并按如下方式定義：假設(shè)某運動車輛區(qū)域的像素坐標(左上頂點和右下頂點坐標)為(x1,y1)，(x2,y2)，其幾何中心為

(5)

則連續(xù)幀中對應(yīng)運動車輛區(qū)域的幾何中心位置偏移計算見式(6)。

(6)

位置偏移閾值TS計算見式(7)。

(7)

圖4 車輛檢測窗口的幾何中心在圖像中的運動軌跡Fig.4 Moving trajectory of vehicle detection window′s center in image

其中X×Y為視頻幀分辨率，320×240為標準分辨率，二者的比率α為當(dāng)前視頻序列的像素尺寸歸一化參數(shù)。如圖4所示為某一運動車輛區(qū)域的幾何中心在檢測窗口的運動軌跡。假設(shè)幀頻為F，從車輛駛?cè)胂鄼C視野到駛出視野共采集M幀，所需時間為t2，則v表示運動車輛檢測窗口幾何中心在圖像中的平均移動速率，以像素為單位。δ為實驗中2個待檢測幀的幀間隔數(shù)，t1為對應(yīng)的間隔時間。偏移閾值確定之后，根據(jù)條件ΔS≤TS判別靜止車輛或干擾區(qū)域并將其從樣本集中剔除。

3 實驗結(jié)果及算法性能分析

論文在Win10系統(tǒng)下采用Matlab 2012a仿真軟件和VC++軟件實現(xiàn)算法編程，對5個不同交通場景視頻(視頻來源：ChangeDetection檢測視頻集dataset 2012，網(wǎng)址：http://changedetection.net/，包含基準交通視頻highway.zip、相機抖動交通視頻traffic.zip、路側(cè)交通視頻boulevard.zip、背景變化交通視頻fall.zip、車輛間歇運動交通視頻streetlight.zip 5類)中的運動車輛進行檢測和跟蹤，以測試論文算法的性能。圖5所示為部分交通視頻序列中的車輛檢測和跟蹤結(jié)果。

論文算法的車輛檢測模塊的性能通過檢測率和檢測準確度2個參數(shù)來度量。檢測率為t時刻正確檢測車輛數(shù)pt和pt漏檢車輛數(shù)lt之和的比值，反映算法的漏檢率；檢測準確度為正確檢測車輛數(shù)pt與其和誤檢車輛數(shù)ft之和的比值，反映算法的誤檢率[20]。2個參數(shù)的值越大，表明算法的檢測性能越好，計算分別見式(8)～(9)。

(8)

(9)

實驗首先對交通視頻中的車輛進行人工標定，作為標準參考車輛數(shù)，再根據(jù)檢測結(jié)果以及式(8)～(9)計算論文算法的檢測率和檢測精度2個參數(shù)。

圖5 視頻序列1和3中部分視頻幀的車輛檢測與跟蹤結(jié)果。Fig.5 Vehicle detection and tracking results of some frames in video sequence 1 and 3

論文算法的車輛跟蹤模塊的性能通過跟蹤精確度和跟蹤準確度2個參數(shù)來度量。跟蹤精確度表明跟蹤算法精確估計車輛位置的能力；跟蹤準確度表明跟蹤結(jié)果與實際車輛保持一致性的能力，反映算法的目標丟失率、誤檢率、誤匹配率[21-23]。2個參數(shù)的值越大，表明算法的跟蹤性能越好。2個參數(shù)的計算見式(10)～(11)。

(10)

式中:di,t為t時刻車輛跟蹤位置與實際位置的誤差;pt為t時刻正確跟蹤車輛的數(shù)量。

(11)

式中:mt，nt，ct分別表示t時刻跟蹤丟失的車輛數(shù)，檢測錯誤的車輛數(shù)(即未找到匹配目標車輛的跟蹤樣本數(shù))，錯誤匹配的車輛數(shù)。

為驗證論文算法的檢測/跟蹤性能和實時性，實驗對傳統(tǒng)基于光流法的車輛檢測與跟蹤方法、基于粒子濾波的車輛檢測與跟蹤方法、基于SIFT特征匹配的車輛檢測與跟蹤方法，以及本文算法在同一仿真軟件平臺上進行實現(xiàn)，對各算法檢測、跟蹤視頻序列1～5中100輛車的檢測、跟蹤結(jié)果數(shù)據(jù)以及耗時數(shù)據(jù)進行統(tǒng)計平均和對比分析。

1)在論文算法檢測和跟蹤性能驗證階段，實驗首先對交通視頻中的車輛進行人工標定，作為標準參考車輛數(shù)和標準參考車輛位置，再根據(jù)檢測、跟蹤結(jié)果以及式(8)～(11)計算論文算法和其他3種對比算法的檢測率、檢測準確度、跟蹤精確度和跟蹤準確度平均值，如圖6～7所示。從柱形圖可以看出：論文算法的檢測率為88.3%，檢測準確度為90.2%，檢測率低于光流法、粒子濾波法以及SIFT特征匹配法，但具有最高的檢測準確度；論文算法的跟蹤精確度為86.4%，跟蹤準確度為92.7%，跟蹤精確度低于光流法和粒子濾波法而高于SIFT特征匹配法，但具有最高的跟蹤準確度。分析論文算法檢測率和跟蹤精確度較低的原因是論文在車輛檢測階段采用的車輛特征是單一的多尺度邊緣特征，與其他算法所用的特征相比更易受背景物體干擾，導(dǎo)致漏檢測以及檢測到的車輛區(qū)域幾何中心與實際車輛位置差距較大；而算法檢測準確度和跟蹤準確度較高的原因是論文提出了基于SURF特征匹配的跟蹤樣本更新策略，能夠有效識別檢測和跟蹤過程中間歇運動的背景干擾和車輛，降低誤檢測和誤跟蹤數(shù)量。

圖6 4種算法檢測性能對比(%)Fig.6 Comparison result of vehicle detection performance between the four different methods

圖7 4種算法跟蹤性能對比(%)Fig.7 Comparison result of vehicle tracking performance between the four different methods

2)在論文算法的實時性驗證階段，實驗對各算法處理相同視頻序列的耗時進行統(tǒng)計平均，實驗結(jié)果見表1。從表中結(jié)果可以看出論文算法的檢測時間成本與跟蹤速率分別為91.8 ms和52.2 fps，實時性較其他3種算法更好。論文采用的車輛特征和算法復(fù)雜度較低，有效降低了算法的時間成本，更適合交通參數(shù)提取的實時性應(yīng)用。

實驗進一步對論文所提跟蹤樣本集更新策略對車輛檢測和跟蹤性能的影響進行驗證。如圖8所示視頻序列4，背景中存在樹木擺動干擾，導(dǎo)致第k幀中將擺動的樹干誤檢測為運動車輛。由于該區(qū)域面積較大，因此不能利用面積閾值將其剔除。根據(jù)2.3節(jié)跟蹤樣本集更新策略方法，對于第k幀檢測到的面積較大的背景區(qū)域，在第k+5幀中計算其對應(yīng)區(qū)域檢測窗口的幾何中心偏移位移。由于相鄰幀之間的同一背景區(qū)域幾何中心偏移很小，因此通過設(shè)置偏移閾值可以將該背景區(qū)域從跟蹤樣本集合中剔除，第k+15幀中將不會出現(xiàn)該背景區(qū)域。如圖9所示的視頻序列5包含間歇性運動車輛。第k+35幀中檢測到圖像右上角車輛并對其進行跟蹤，這是由于在第k,k+5幀中該車輛處于靜止狀態(tài)，直到第k+35幀才開始運動，因此檢測并跟蹤該車輛，同時將其加入跟蹤樣本集合中。

表1不同算法的車輛檢測時間成本(單位：ms)與跟蹤速率(單位：fps)Tab. 1Comparison in vehicle detection consumption (unit: ms) and vehicle tracking rate (unit: fps) of different methods

圖8 采用論文算法去除視頻序列4中背景干擾Fig.8 Result of remove background interference in video sequence 4 using the proposed method

圖9 采用論文算法判斷視頻序列5中間歇性運動車輛Fig.9 Judgement of intermittent moving vehicles in video sequence 4 using the proposed method

4 結(jié)束語

筆者研究了基于多尺度邊緣融合和SURF特征匹配的車輛檢測與跟蹤方法。通過采用多尺度邊緣融合的車輛檢測方法，以解決傳統(tǒng)基于邊緣特征的車輛檢測方法易受噪聲、交通背景干擾，導(dǎo)致檢測結(jié)果不準確的問題。根據(jù)車輛檢測結(jié)果建立跟蹤樣本集合，通過建立SURF特征匹配幾何約束消除誤匹配，從而提高特征匹配準確度。針對車輛駛?cè)?駛出相機視野、車輛間歇性運動、背景緩慢變化4種情況，制定跟蹤樣本更新策略并定義相關(guān)變量和閾值，利用SURF特征匹配方法對檢測車輛進行實時跟蹤。最后，在Matlab2012a仿真平臺上采用論文算法對5種不同交通場景的視頻序列進行車輛檢測和跟蹤，并與其他3種典型算法的性能參數(shù)進行對比分析。實驗結(jié)果表明論文算法在車輛檢測準確度、跟蹤準確度以及時間成本方面的性能有明顯的提高。然而論文算法的檢測率和跟蹤精確度卻有待提高。后續(xù)工作擬在多尺度邊緣特征的基礎(chǔ)上融合其他特征，形成一種低復(fù)雜度、多維度的車輛特征，以提高車輛的檢測率，同時增加車輛基本尺寸信息作為車輛跟蹤約束條件，以提高車輛的跟蹤精確度，以期在交通參數(shù)提取、車輛環(huán)境感知等領(lǐng)域中得到廣泛應(yīng)用。