基于實時交通狀況和自適應(yīng)像素分割的運動車輛檢測

孫 敏, 李 免, 趙玉舟, 孫 偉,2*, 張小瑞

(1. 南京信息工程大學(xué) 自動化學(xué)院, 江蘇 南京 210044;2. 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心， 江蘇 南京 210044;3. 南京信息工程大學(xué) 無錫研究院， 江蘇 無錫 214100)

1 引 言

在智能交通系統(tǒng)中，車輛檢測是車輛跟蹤、車輛識別的重要前提，良好的車輛檢測會使后續(xù)的跟蹤、識別更加準確、可靠，且對緩解日益嚴重的交通擁堵和方便大眾出行具有重要的經(jīng)濟和社會意義。

目前常用的基于計算機視覺的車輛檢測方法大致分為兩類：(1)基于視頻序列的車輛檢測方法；(2)基于特征學(xué)習(xí)的車輛檢測方法。

基于視頻序列的車輛檢測方法包括光流法[1]、幀間差分法[2]、背景減除法[3]、Blob分析[4]等。光流法利用像素點矢量特性，根據(jù)運動速度建立光流場來分析運動目標，該方法計算復(fù)雜，對設(shè)備運算能力要求高，難以實現(xiàn)快速檢測。幀間差分法是指在相鄰幀圖像之間做差分運算，將超過設(shè)定閾值的像素點作為運動目標，該方法速度快，但容易出現(xiàn)“空洞”現(xiàn)象，準確性較差。背景減除法需要建立合理的背景模型，但只適用于攝像頭固定且初始場景相對穩(wěn)定的場景，當目標在場景中緩慢移動時，容易出現(xiàn)“鬼影”，不能保證算法的準確性。

基于特征學(xué)習(xí)的車輛檢測方法可分為基于人工特征的方法和基于自動特征的方法。在基于人工特征檢測方面，陳華清[5]等人提出基于Hog特征的檢測模型，利用Hog特征的全局不變性對車輛進行全局特征提取。在基于自動特征檢測方面，劉志成等人提出基于深度學(xué)習(xí)的多層卷積網(wǎng)絡(luò)對車輛進行檢測，如DCNN[6]、Yolo[7]。鄧淇天等人提出基于多特征融合的車輛檢測算法[8]?；谌斯ぬ卣鞯姆椒▽庹铡⑴臄z視角以及汽車尺度變化比較敏感，易導(dǎo)致檢測率和可靠性下降?；谧詣犹卣鞯姆椒ūM管能有效克服光照、車輛尺度變化的影響，但訓(xùn)練網(wǎng)絡(luò)需要大量的數(shù)據(jù)樣本，且模型訓(xùn)練時間長、硬件配置條件高。

傳統(tǒng)基于像素的自適應(yīng)分割器方法(Pixel-Based Adaptive Segmenter，PBAS)[9]使用多幀連續(xù)圖像來初始化背景模型，在一定程度上能緩解基于樣本點的非參數(shù)背景模型的“鬼影”現(xiàn)象，具有類似人工特征檢測模型的實時性和準確率，而且不像自動特征模型那樣需要大量的訓(xùn)練樣本和高的硬件配置。但面對車輛在場景中出現(xiàn)緩慢移動或短暫滯留情況時，傳統(tǒng)PBAS方法在進行背景模型初始化時仍可能帶入“鬼影”。并且傳統(tǒng)PBAS算法需要實時計算更新背景模型參數(shù)，而在實際交通場景中背景模型是否需要更新跟車輛所處的交通狀態(tài)直接相關(guān)，如果交通狀態(tài)沒有明顯發(fā)生改變，就不需要實時更新背景模型參數(shù)；如果不加區(qū)分，直接實時地計算和更新背景模型參數(shù)反而會導(dǎo)致計算量的急劇增加。因此，有必要對傳統(tǒng)PBAS算法進行改進。

本文提出一種基于實時交通狀況和自適應(yīng)像素分割的車輛檢測算法，其創(chuàng)新之處如下：(1)所提算法能根據(jù)車流量的多少對當前交通狀況進行評估，根據(jù)評估結(jié)果自適應(yīng)地決定是否需要對車輛檢測的背景模型進行更新以及如何進行更新，從而顯著提高車輛檢測的準確率和實時性；(2)采用多幀不連續(xù)的間隔圖像來構(gòu)建理想的初始模型，在提高算法實時性的同時能降低因車輛緩慢移動或短暫滯留產(chǎn)生“鬼影”的概率；(3)提出基于時-空變化度的背景區(qū)域變化評價方法，聯(lián)合時域變化度、空域結(jié)構(gòu)變化度和空域顏色變化度，對背景區(qū)域是否發(fā)生變化進行評價，為背景模型是否需要更新提供可靠的決策依據(jù)；(4)基于時-空變化度制訂自適應(yīng)的學(xué)習(xí)率更新策略，通過設(shè)置信任區(qū)間，并根據(jù)當前交通狀況和像素點是否處于信任區(qū)間內(nèi)來判斷當前的背景模型是否需要更新，從而大幅減小模型的計算量。

2 基于實時交通狀況和自適應(yīng)像素分割的車輛檢測算法

傳統(tǒng)PBAS方法在進行背景模型初始化時會帶入“鬼影”[10]，并且由于PBAS算法需要更新前景-背景的判斷閾值和學(xué)習(xí)率等參數(shù)導(dǎo)致每幀圖像的處理速度降低，模型計算量隨時間急劇增加，一定程度上會影響算法的實時性[11]。

為解決傳統(tǒng)PBAS方法的不足，本文從背景模型初始化、交通狀況評估與信任區(qū)間更新、前景檢測和背景更新4個方面對傳統(tǒng)PBAS方法進行改進。

2.1 背景模型初始化

針對車輛在交通場景中出現(xiàn)緩慢移動或短暫滯留的情況，使用多幀不連續(xù)圖像初始化背景模型，在降低“鬼影”產(chǎn)生的同時降低運算量。

假定像素(x,y)的背景模型為B′(x,y)，則背景模型初始化時，采用固定時間間隔的多幀背景圖像為：

(1)

其中，K為固定的時間間隔，I1是第一幀圖像的像素值，I1+(N-1)×K為第1+(N-1)×K幀圖像的像素值。將第一幀圖像的像素值初始化為背景模型的第一個樣本，將第1+(N-1)×K幀圖片的像素值初始化為背景模型的第N個樣本。后續(xù)實驗表明，當K=10，N=20時，模型能夠取得較好的效果，既能防止車輛緩慢行駛或短暫滯留產(chǎn)生的“鬼影”現(xiàn)象，又能保證算法的實時性。

2.2 交通狀況評估與信任區(qū)間更新

在城市交通環(huán)境中，交通狀況的變化對PABS背景模型的更新影響較大[12]。一般而言，當交通狀況發(fā)生變化時，背景模型及參數(shù)需要及時更新以適應(yīng)變化的交通場景；當交通狀況保持不變時，背景模型及參數(shù)則不需要更新以保證算法的實時性[12]。為了使模型能夠適應(yīng)實際的交通狀況，本文提出一種改進的交通狀態(tài)評估和信任區(qū)間更新方法。

首先，為任意像素點(x,y)設(shè)定信任時間段c(x,y)，并稱該時間段為這個像素點的信任區(qū)間。采用與文獻[13]類似的交通狀態(tài)評估方法，首先定義交通擁堵度P(x,y)=d(x,y)/f(x,y)，其中，d(x,y)表示信任區(qū)間內(nèi)從第一幀到當前幀檢測結(jié)束時像素點被檢測為前景的次數(shù)，f(x,y)表示當前幀在信任區(qū)間的幀序數(shù)。然后根據(jù)P(x,y)將當前交通狀況簡化為“通暢”、“輕微堵塞”和“堵塞”3個狀態(tài)，如式(2)所示：

(2)

定義h(x,y)為信任區(qū)間內(nèi)像素點前景-背景之間轉(zhuǎn)變的次數(shù)。h(x,y)數(shù)值越小，表示該背景模型越穩(wěn)定；h(x,y)數(shù)值越大，表示背景模型越不穩(wěn)定，需要更新背景模型以獲得穩(wěn)定的背景模型。因此，在每個信任區(qū)間結(jié)束時，可以基于h(x,y)和f(x,y)判定每一像素點位置背景模型的穩(wěn)定性，進而更新c(x,y)的值。具體更新步驟如下：

(1)如果h(x,y)/f(x,y)<τd，意味著此時背景模型穩(wěn)定，當前幀的背景模型應(yīng)當被保留，信任區(qū)間按式(3)進行更新：

(3)

需要注意的是，τd為預(yù)先設(shè)定的閾值，如果τd的值過大，算法則不能及時感應(yīng)到交通狀態(tài)的變化；如果其值設(shè)定的過小，算法對交通狀態(tài)的變化會過于敏感，抗干擾性就會降低。通過大量的現(xiàn)場實驗，本文設(shè)置τd=1/3，能夠較好地平衡算法的敏感性和抗干擾性。

(2)如果h(x,y)/f(x,y)≥τd，意味著背景模型可能不穩(wěn)定，則應(yīng)更新當前背景模型以適應(yīng)動態(tài)場景，此時信任區(qū)間按式(4)進行更新：

(4)

在實際的更新過程中，令c(x,y)∈[minc(x,y),maxc(x,y)]=[25,30]，設(shè)c(x,y)的初始值為25，在信任區(qū)間更新后，h(x,y)、d(x,y)、f(x,y)的值都重置為0。

2.3 前景檢測

(5)

為了提高判定背景區(qū)域是否發(fā)生變化的準確性，本文提出了一種基于時-空變化度的背景區(qū)域變化評價方法，其中，空域變化度由區(qū)域結(jié)構(gòu)變化度和顏色變化度兩部分組成。

(6)

基于時域變化度、空域結(jié)構(gòu)變化度和空域顏色變化度，提出的時-空變化度計算公式如式(7)所示：

Vt,s(x,y)=Vt(x,y)+βVs,s(x,y)+γVs,c(x,y)，

(7)

利用時-空變化度，按公式(8)更新判定閾值：

(8)

Rinc/dec表示閾值增加/減少參數(shù)，Rscale表示全局參數(shù)，Rinc/dec=0.05，Rinc/dec決定了R′(x,y)的調(diào)整幅度。Rscale=5，本文R′(x,y)的最小值Rlower取值為18，R(x,y)的初始值也設(shè)為18。

此外，為了解決背景模型在更新過程中前景點易過快融入背景的問題，所提算法在學(xué)習(xí)率T(x,y)中加入了自適應(yīng)控制策略，如式(9)所示：

(9)

其中，Tinc和Tdec為固定的增減參數(shù)，同時給T(xi)設(shè)定上下限：Tlower

2.4 背景更新

對當前圖像像素進行前景和背景分類后，還需根據(jù)實際交通背景的變化，選擇性地更新背景模型[14]，具體策略如下：

(1)當f(x,y)

(2)當f(x,y)=c(x,y)，即當前幀的像素點在信任區(qū)間的末尾。如果h(x,y)/f(x,y)<τd、Ft(x,y)=0且當前交通狀況S(x,y)為暢通時，則需要背景更新。當信任區(qū)間結(jié)束后，如果h(x,y)/f(x,y)<τd且當前交通狀況S(x,y)為暢通時，則需要利用當前的交通狀況更新背景；如果h(x,y)/f(x,y)≥τd，此時不管當前像素值I(x,y)檢測結(jié)果為背景或前景，僅在交通狀態(tài)S(x,y)為暢通時，才進行背景更新。

綜上所述，基于實時交通狀況和自適應(yīng)像素分割算法的車輛檢測流程如圖1所示。

圖1 基于實時交通狀況和自適應(yīng)像素分割算法的車輛檢測示意圖Fig.1 Vehicle detection algorithm based on real-time traffic condition and adaptive pixel segmentation

3 實 驗

本文實驗基于Windows 7系統(tǒng)，所使用CPU為IntelCore i5-6500，主頻3.20 GHZ，內(nèi)存8 G，顯卡型號為GTX1050，顯存2 G，軟件環(huán)境為Matlab R2016a，opencv 2.4.9。為了驗證本文算法的有效性，本文從OTB網(wǎng)站[15]下載了多個不同環(huán)境下的交通車輛視頻序列作為測試集進行測試。

在正常光照情況下，各車輛檢測算法檢測結(jié)果如圖2所示。

從圖2(b)和2(c)中可以看出，光流法和幀間差分法存在明顯的“空洞”現(xiàn)象，車前玻璃到車頂區(qū)域較為明顯，嚴重影響車輛的完整性，但其算法簡單，實時性好；由圖2(d)可以看出，運用vibe模型進行車輛檢測減少了“空洞”現(xiàn)象，但同一車輛不同部分存在邊界不連續(xù)的現(xiàn)象，且vibe模型計算量大，不能滿足實時性的要求；圖2(e)是基于實時交通狀況和自適應(yīng)像素分割算法的車輛檢測結(jié)果，從中可以看出，該算法保證了運動車輛的完整性，檢測效果最佳。對比這4種算法可以得到，基于實時交通狀況和自適應(yīng)像素分割的運動目標檢測算法能夠保證運動目標的完整性，且有效提高了運動車輛檢測的準確性。

圖2 不同算法檢測運動車輛對比結(jié)果Fig.2 Results of different algorithms for detecting moving vehicles

分別選取陰雨天氣、多車檢測、光照變化等復(fù)雜場景進行對比實驗并進行分析，檢測結(jié)果如圖3所示。

在陰雨天氣下，光照不足、空氣中的流動雨滴等因素給運動目標的檢測造成干擾，光流法所檢測出的車輛輪廓不連續(xù)，幀差法出現(xiàn)了明顯的“空洞”現(xiàn)象，vibe模型將周邊的路標誤檢為前景，本文提出的算法較好地檢測出了車輛的完整輪廓。多車檢測中，光流法、幀差法、vibe模型檢測結(jié)果或多或少存在著空洞現(xiàn)象。由于周圍建筑物遮擋，小車受到的光照由強變?nèi)?，光流法、幀差法、vibe模型均不能完整地檢測出運動車輛，而本文提出的算法能夠在上述兩個場景中清晰地檢測出運動車輛，且噪聲也較少。

圖3 白天復(fù)雜場景下4種算法檢測結(jié)果Fig.3 Detection results of four algorithms in complex scenes

由表1可知，本文算法在不同場景中檢測的性能指標Recall、Precision和F-measure分別為0.929,0.864，0.888，均高于其他檢測算法。此外，由表2可知，本文算法的處理時間為88.37 ms，比傳統(tǒng)PBAS算法的運算速度快近10 ms，能夠更好地應(yīng)對城市內(nèi)快速變化的交通環(huán)境。綜合表1和表2，在相同條件下，對相同場景的運動目標進行檢測時，相較于傳統(tǒng)PBAS算法，本文所提算法所用時間較短，同其他常用算法相比，本文所提算法的Recall、Precision和F-measure指標均為最高。

表1 5種檢測算法在3個場景下檢測性能指標對比Tab.1 Comparison of five detection algorithms in three scenarios

表2 不同檢測算法的平均處理時間Tab.2 Average processing time of different detection algorithms (ms)

為了驗證本文算法在夜晚弱光和交通狀態(tài)變化情況下的性能，采集某一丁字路口的交通視頻進行實驗。基于本文算法，某一幀視頻的檢測結(jié)果如圖4所示，其中圖4右邊為快速主干車道，車道上的車輛運動速度較快；左邊為慢速旁支車道，因為要進入主干車道，速度較慢并有短暫滯留。從圖4中可以看出，盡管是在光照不足的夜晚，無論是速度較快的車輛還是速度較慢、短暫滯留的車輛，本文所提算法均能將其準確完整地檢測出來。進一步對圖4所示慢速旁支車道車輛檢測的結(jié)果進行統(tǒng)計，結(jié)果表明本文方法的檢測準確率達到0.827，而基于光流法、幀差法、vibe模型和傳統(tǒng)PBAS方法的檢測準確率分別為0.606，0.432，0.579，0.746。說明在車速較慢或短暫滯留交通狀態(tài)下，本文方法比其他4種方法的車輛檢測效果更好。

圖4 夜晚路口交通狀況變化時的檢測結(jié)果Fig.4 Detection results for different vehicle speeds at night

除了與基于人工特征的方法進行對比之外，本文還與基于YOLOv3的自動特征檢測方法[16]在PASCAL VOC 數(shù)據(jù)庫上進行了對比，檢測結(jié)果如表3所示。從表3可以看出，基于YOLOv3的方法在Recall、Precision方面都有較好的表現(xiàn)，但在算法復(fù)雜性和可移植性方面，本文方法具有明顯的優(yōu)勢。這是因為基于YOLOv3的車輛檢測方法采用CNN和深度學(xué)習(xí)算法進行自動特征提取，其網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程復(fù)雜繁瑣，不僅需要GPU顯卡進行加速，而且需要采集數(shù)量龐大的訓(xùn)練樣本并對其進行人工標注和長時間訓(xùn)練，因而在實際應(yīng)用中也不利于向已有的嵌入式設(shè)備上進行移植。

表3 與基于YOLOv3檢測算法的性能對比Tab.3 Performance comparison between YOLOv3-based method and the proposed method

本文算法針對在城市交通中車輛檢測存在的一系列問題做出優(yōu)化。城市道路上，光照變化、多車重疊等干擾情況較多，因此本文算法在進行前景檢測時，結(jié)合時域和空域進行綜合判定，在Precision和Recall方面都有較好表現(xiàn)。此外，相較于國道、高速公路等道路，城市道路背景較為不穩(wěn)定，本文算法為背景模型更新設(shè)定的信任區(qū)間，能夠在背景出現(xiàn)小幅度變化時維持穩(wěn)定，減少了算法的計算量，因此相比傳統(tǒng)PBAS算法在平均處理時間上占有一定優(yōu)勢。

4 結(jié) 論

本文提出了一種基于實時交通狀況和自適應(yīng)像素分割的運動車輛檢測方法。該算法采用多幀間隔圖像來獲取理想的初始模型，從而降低了“鬼影”產(chǎn)生的可能性。車輛檢測性能指標Recall、Precision和F-measure分別為0.929,0.864，0.888，均高于傳統(tǒng)檢測算法。提出的基于時-空變化度的背景區(qū)域變化評價方法，能夠及時有效地更新判定閾值和學(xué)習(xí)率。通過設(shè)置信任區(qū)間，并根據(jù)當前交通狀況和像素點是否處于信任區(qū)間內(nèi)判斷當前的背景模型是否適合更新，降低了計算的復(fù)雜度。在測試中，本文所提算法處理時間為88.37 ms，比傳統(tǒng)PBAS算法的運算速度快近10 ms。實驗結(jié)果表明，本文提出的算法能夠快速、準確地檢測出運動目標，而且在復(fù)雜城市道路場景下仍具有較強的魯棒性。