監(jiān)控視頻中的車輛異常行為檢測①

黃 鑫,肖世德,宋 波

(西南交通大學(xué) 機械工程學(xué)院,成都 610031)

引言

隨著物聯(lián)網(wǎng)時代的到來,國家致力于研究智能交通視頻監(jiān)控系統(tǒng).作為城市安防的“護城河”,交通監(jiān)控與城市安全相關(guān).現(xiàn)今海量的交通視頻信息大多采用人工檢視,易造成漏檢且效率低下.但隨著智能交通的發(fā)展,這種工作狀態(tài)得到改善.利用圖像處理技術(shù)檢測視頻中的車輛異常行為,能及時發(fā)現(xiàn)車輛異常違規(guī)行為,使得交警人員能夠迅速出警,立即處理事故現(xiàn)場,減少車輛擁堵時間和次生事故的發(fā)生[1].目前使用圖像處理技術(shù)檢測車輛異常行為,已取得一定的成效.孫玉硯等人[2]建立車輛軌跡的隱馬爾科夫模型以提取車輛異常行為,能夠準確檢測車輛異常行為,但大部分車輛軌跡線相重合,占用內(nèi)存空間大且造成重復(fù)運算,降低檢測效率.尹宏鵬等人[3]使用均值漂移法跟蹤車輛得到運動特征矢量,建立加權(quán)狀態(tài)函數(shù),通過閾值比較,檢測車輛異常行為,該方法占用內(nèi)存少,但是均值漂移采用直方圖反向投影跟蹤目標(biāo),當(dāng)有顏色相近目標(biāo)出現(xiàn),易出現(xiàn)誤跟蹤[4].余昊等人[5]對訓(xùn)練集視頻光流場分塊處理,建立基于各光流塊統(tǒng)計特征的高斯混合模型,同樣提取測試集光流塊統(tǒng)計特征,與高斯混合模型比較判定光流塊異常程度,雖然可以通過增加高斯模型個數(shù)來逼近測試集光流塊統(tǒng)計特征,但增加了運算復(fù)雜程度,實時性較差.邱凌赟等人[6]通過建立車道模型得車輛位置和速度用于判斷車輛異常行為,能夠適應(yīng)不同天氣和車流量,但若攝像機位置發(fā)生改變,需重新建立車道模型.

本文主要就車輛檢測、跟蹤車輛和判斷車輛異常行為三方面進行研究.首先使用ViBe算法檢測運動車輛將原視頻中的背景去除,減小噪聲的影響.利用LK光流法跟蹤車輛獲得車輛速度與角度,使用均值漂移方法建立聚類后速度與角度直方圖.本文選取速度與角度兩個特征量對其進行統(tǒng)計分析,因為車輛的異常行為主要體現(xiàn)為速度和角度的突變導(dǎo)致的異常行為,速度和角度信息能夠準確描述車輛行為.接下來在速度與角度統(tǒng)計基礎(chǔ)上應(yīng)用運動特征熵和特征量到聚類中心的歐氏距離兩種判別方法,判別視頻中是否出現(xiàn)車輛異常行為.圖1為車輛異常行為檢測流程圖.

圖1 車輛異常行為檢測流程圖

1 車輛異常行為檢測流程

1.1 運動目標(biāo)提取

運動車輛提取是車輛異常行為檢測中進一步分析檢測的基礎(chǔ)[7].本文采用基于背景差分的前景運動車輛提取,使用ViBe背景建模方法提取前景目標(biāo).ViBe算法初始化第一幀圖像為背景圖像并對圖像中各點像素建立背景樣本集,比較視頻序列該點像素與樣本集相似程度,若相似次數(shù)大于閾值,說明該點為背景,否則為前景目標(biāo),最后輸出背景和前景的二值圖像.ViBe方法只使用單幀視頻序列即可初始化背景模型,而混合高斯建模和均值法都需要用多幀圖像初始化背景模型,初始化時間過長,不滿足檢測車輛異常行為的實時性要求;ViBe方法采用自適應(yīng)更新,能夠適應(yīng)光照變化和動態(tài)場景,準確提取出運動目標(biāo),而幀差法未使用更新,魯棒性較差且容易受噪聲,背景等影響.綜上所述,本文使用ViBe方法作為車輛異常行為檢測中的提取運動目標(biāo)步驟.對提取到的二值圖像進行高斯濾波,形態(tài)學(xué)處理等圖像處理手段,使得車輛外形清晰,減小噪聲對后續(xù)跟蹤車輛的影響.圖2為對test.mp4分別使用混合高斯建模方法,幀差法,均值法和ViBe算法提取運動車輛.

圖2 運動車輛檢測

如圖2為監(jiān)控視頻的運動車輛檢測結(jié)果.圖2(b)使用混合高斯建模方法,為像素建立相應(yīng)高斯背景模型,但高斯背景模型的刷新速度較慢,導(dǎo)致右下角車輛車體部分誤判斷為背景,車輛外形缺失較嚴重;圖2(c)為使用幀差法提取車輛,幀差法利用相鄰兩幀圖像差提取運動目標(biāo),所以只能提取出車輛外形且“重影現(xiàn)象嚴重”,運動目標(biāo)像素過少,不利于后續(xù)目標(biāo)跟蹤;圖2(d)使用均值法,使用多張圖像的均值作為視頻的背景,但若樣本過少或交通狀況擁堵可能會造成圖2(d)的“拖尾”,“鬼影”現(xiàn)象,出現(xiàn)大量錯誤前景點;圖2(e)使用ViBe方法,能夠準確提取出運動車輛且車輛輪廓外形清晰,有利于后續(xù)車輛跟蹤.

1.2 檢測車輛速度與方向

光流法將運動場與像素亮度相結(jié)合,可以求出像素的運動矢量,矢量對應(yīng)于圖像亮度的運動,形成光線的流動,得到物體在二維平面上的運動特征[8].光流法假設(shè)相鄰幀的圖像亮度變化不大且像素運動距離很小,根據(jù)假設(shè)可得式(1).

I(x,y,t)是像素(x,y)在t時刻的亮度,對式(1)的右邊使用一階泰勒展開如式(2).

聯(lián)立式(1),(2)得式(3).

其中u,v均為未知量,式(4)為不定方程.為了求解上式,引入光流法的一個假設(shè),在(u,v)的局部鄰域內(nèi)亮度均保持不變得超靜定方程式(5).

最后使用牛頓迭代法求出(x,y)的運動矢量.

使用金字塔LK光流法方法,金字塔LK算法可從圖像金字塔最頂層自上而下進行跟蹤,實現(xiàn)了小窗口捕獲較大的運動[9].與傳統(tǒng)金字塔LK算法不同,本文使用背景差后分的圖像,尋找該圖像上強角點,通過金字塔LK方法得強角點的運動矢量.該方法增加了車輛強角點跟蹤,減少車輛陰影點誤跟蹤,減少計算量,能實時獲得前景車輛的特征

如圖3(c)(f),transport.avi視頻使用meanshift方法跟蹤車輛,跟蹤失敗,因為meanshift算法在跟蹤過程中由于跟蹤窗口大小不變,當(dāng)車輛由遠近駛來,尺度發(fā)生變化,會出現(xiàn)跟蹤失敗且該算法采用反向投影直方圖作為車輛模板特征,缺乏模板更新策略,不適應(yīng)光照、噪聲等影響,經(jīng)實驗測試得meanshift出現(xiàn)跟蹤失敗的概率為36.65%,嚴重影響提取車輛速度和角度的準確性.如圖3(a)(b)直接使用LK光流法會出現(xiàn)跟蹤陰影,且跟蹤失敗概率為4.53%,圖3(d)(e)利用背景差分后的圖像使用LK光流法,車輛跟蹤角點增加,非運動目標(biāo)跟蹤點減少且能適應(yīng)無論是在晴天或陰天天氣情況下和復(fù)雜或簡單背景環(huán)境,跟蹤失敗率為1.81%,能夠較準確得出車輛運動速度與方向特征量,所以采用LK光流法.

圖3 車輛運動光流圖

車輛的異常行為表現(xiàn)為速度與角度異常.光流法提取的運動特征即速度與角度,因此本文采用速度和角度作為判斷異常行為的根本依據(jù),車輛速度如式(6).

式(6)中,(X(t),Y(t))表示某強角點在t幀的坐標(biāo),對圖像中所有的被跟蹤點都可以求出其速度,得V={v1,v2,v3,···}車輛速度集合.車輛運動角度如式(7).

得θ={θ1,θ2,θ3,···}車輛運動角度集合,經(jīng)統(tǒng)計得兩集合統(tǒng)計直方圖.

圖4尾部有少量分布且分布較散.應(yīng)經(jīng)處理后使得數(shù)據(jù)較集中且小分布減少.為了更好觀察車輛的運動特征,速度量-轉(zhuǎn)角統(tǒng)計直方圖[10]可以等價轉(zhuǎn)換為一幅灰度圖像,像素的灰度值分別置為速度量和角度量,并將像素灰度值歸一化到0-255范圍內(nèi),并利用聚類算法對其進行聚類,消除小分布,使得分布集中.

圖4 速度-角度統(tǒng)計直方圖

如表1所示,綜合消耗時間和準確率考慮,本文使用均值漂移方法.即采用均值漂移算法對兩幅圖像進行圖像分割,等價于對兩個統(tǒng)計直方圖進行聚類[11],消除小分布,使得直方圖分布更加集中,更加具有代表性,簡化計算復(fù)雜程度.

表1 三種聚類方法的實驗結(jié)果比較

圖5與圖4相比,聚類后直方圖中小分布與其鄰近區(qū)域合降低了分布維數(shù),使得分布具有代表性,并知圖中各分割塊的聚類中心,RC1,RC2,…為速度量各聚類中心,Rr1,Rr2,…為轉(zhuǎn)角各聚類中心.

圖5 聚類后速度-角度統(tǒng)計直方圖

1.3 車輛異常行為判別

車輛異常違規(guī)行為,具體表現(xiàn)為速度量-轉(zhuǎn)角統(tǒng)計直方圖與正常行駛的統(tǒng)計直方圖不一致[12],因此本文將到類中心的歐氏距離和運動特征熵兩種判別方法作為度量標(biāo)準.計算速度到正常行駛速度聚類中心的歐式距離,速度與類中心距如式(8).

Rs為新幀中跟蹤點速度,c=1,2,…,m為速度量的各聚類中心.

本文采用運動特征量到類中心的歐式距離檢測方法判斷車輛異常行為,選取無車輛異常行為視頻序列得速度與角度聚類中心點,然后分別計算視頻每兩幀中速度到各自聚類中心的歐式距離,與閾值Ts比較,若大于閾值則說明新幀出現(xiàn)異常行為,如超速、闖紅燈等行為;同得每幀圖像角度到角度聚類中心的歐氏距離,與閾值Tr比較,檢測是否有違規(guī)掉頭行為[13].

另一種檢測車輛異常行為的方法為運動特征熵.在正常情況下因需遵行道路交通法規(guī),車輛行駛軌跡規(guī)律且相似.但若出現(xiàn)車輛違規(guī)行駛,就打破車輛原有行駛規(guī)律,引起運動混亂具有特殊性和奇異性.可以使用運動混亂程度來判斷有無車輛異常行為.信息論中利用熵來衡量系統(tǒng)的混亂程度[14].熵越大即系統(tǒng)所含訊息越多,表明系統(tǒng)混亂,反之,所含訊息單一即系統(tǒng)越規(guī)律.設(shè)X為隨機變量則熵[15]H(X)定義如式(9).

p(xi)為X概率密度函數(shù).

由式(9)得相應(yīng)速度熵和角度熵.

本文應(yīng)用運動特征熵檢測車輛異常行為,選取無車輛異常行為視頻序列計算相鄰幀的聚類后速度-角度直方圖,得速度熵和角度熵并根據(jù)其設(shè)定合理閾值,然后計算交通監(jiān)控視頻每幀的速度熵和角度熵,與閾值比較,可以實現(xiàn)車輛異常行為檢測.

2 實驗分析

為了驗證本文提出的運動特征量到聚類中心歐氏距離和運動特征熵兩種檢測車輛異常行為方法的性能,分別對test.mp4市內(nèi)交通道路視頻,highway.avi高速公路視頻,transport.avi省道監(jiān)控視頻共計3組視頻使用本文2種方法檢測車輛異常行為,test.mp4視頻從1750幀開始出現(xiàn)異常行為,highway.avi視頻從750幀開始出現(xiàn)車輛異常行為,transport.avi視頻從450幀開始出現(xiàn)異常行為,實驗仿真平臺為VS2015和OpenCV2.4.1,實驗結(jié)果如圖6所示

圖6中黑色實線分別為各視頻集所得到的速度中心距,速度熵,角度中心距,角度熵的指標(biāo)結(jié)果,直線為相應(yīng)閾值.閾值的設(shè)定過程,如test.mp4視頻序列對于基于運動特征量到類中心距離的異常檢測方法,由圖6(a)(c)的圖(I)知,當(dāng)車輛正常行駛時速度中心距在0-15之間,角度中心距在0-17之間,剩余異常點經(jīng)檢驗為特征點跟蹤錯誤造成,因此設(shè)定速度中心距閾值Ts為25,角度中心距閾值Tr為20,對于運動特征量到類中心距離的異常檢測方法有很好的區(qū)分度.對于基于運動特征熵的異常檢測方法,由圖6(b)(d)的圖(I)可知,當(dāng)車輛正常行駛時速度熵和轉(zhuǎn)角熵基本保持在0.5-1.5之間,因此分別選取2和1.5作為速度熵、角度熵閾值,此時基于運動特征熵的異常檢測方法區(qū)分度較好,同理可得highway.avi和transport.avi速度中心距閾值分別設(shè)置為15和30,角度中心距閾值為10和25,速度熵閾值為1.5和1.3,角度熵閾值為1和1.2.

表2給出本文異常檢測判別參數(shù)的統(tǒng)計結(jié)果.由表2可以看出誤報率均低于0.5%,漏報率均低于2.6%,兩方法正確率均大于97%,但運動特征熵方法正確率更高,這是因為,LK光流法在跟蹤時,會出現(xiàn)少部分錯誤跟蹤點,對于運動特征量到中心距方法的正確率影響較大,而在運動特征熵方中,只使用其概率密度函數(shù)而這些點所占比例很少,對正確率影響不大,所以運動特征熵方法正確率更高.

對test.mp4視頻分別使用均值漂移方法,車道軌跡模型,混合高斯模型,和本文方法,檢測結(jié)果誤報率、漏報率、正確率如圖7所示.

由圖7知,本文提出方法誤報率均低于其余方法3.7%,漏報率低于其余方法3.2%,正確率高于其余方法4%,說明本文車輛異常行為檢測算法相較于其余三種方法效果更好.

圖6 車輛異常行為檢測

3 結(jié)論

本文通過圖像處理技術(shù)和統(tǒng)計特征方法研究車輛異常行為檢測.該方法先使用ViBe法提取運動車輛,然后利用LK光流法得到車輛在不同時空的速度和角度,對目標(biāo)車輛的速度量和角度量使用均值漂移法得速度與角度聚類后直方圖,最后分別使用運動特征量到類中心的歐式距離和運動特征熵兩種方法進行車輛異常行為檢測.實驗結(jié)果表明,兩種方法均能較準確地檢測出車輛違規(guī)變道、超速行駛、闖紅燈等異常行為,且正確率都在97%以上.但本文兩種方法對動態(tài)變化場景中檢測車輛異常行為效果較差,下一步需要對這方面進行改進和優(yōu)化.

表2 實驗結(jié)果(單位:%)

圖7 均值漂移法,車道軌跡,GMM,本文算法檢測結(jié)果

1張坡,郝敬彬,王煥,等.基于信息融合的車輛運行異常程度檢測.計算機系統(tǒng)應(yīng)用,2015,24(5):267-271.

2孫玉硯,孫利民,朱紅松,等.基于車牌識別系統(tǒng)車輛軌跡的行為異常檢測.計算機研究與發(fā)展,2015,52(8):1921-1929.[doi:10.7544/issn1000-1239.2015.20140673]

3尹宏鵬,李艷霞,周佳怡,等.智能視頻分析的車輛異常行為檢測方法.重慶大學(xué)學(xué)報,2016,39(3):75-83.[doi:10.11835/j.issn.1000-582X.2016.03.010]

4丁曉鳳,尚振宏,劉輝,等.基于Mean Shift的多模板目標(biāo)跟蹤算法.計算機工程與應(yīng)用,2017,53(6):141-144,173.[doi:10.3778/j.issn.1002-8331.1508-0022]

5余昊,孫錟鋒,蔣興浩.基于光流塊統(tǒng)計特征的視頻異常行為檢測算法.上海交通大學(xué)學(xué)報,2015,49(8):1199-1204.

6邱凌赟,韓軍,顧明.車道模型的高速公路車輛異常行為檢測方法.計算機應(yīng)用,2014,34(5):1378-1382,1390.[doi:10.11772/j.issn.1001-9081.2014.05.1378]

7李旭,徐貴力,程月華,等.一種基于像素抽樣建模的車輛目標(biāo)提取方法.計算機與現(xiàn)代化,2014,(3):89-93.

8黃波,李寶.基于圖像光流的運動速度計算理論及應(yīng)用.信息通信,2015,(2):8-9.

9朱西產(chǎn),高學(xué)敏,許宇能,等.基于角點檢測估算車輛間即碰時間.汽車安全與節(jié)能學(xué)報,2014,5(4):331-335.

10于欣,侯曉嬌,盧煥達,等.基于光流法與特征統(tǒng)計的魚群異常行為檢測.農(nóng)業(yè)工程學(xué)報,2014,30(2):162-168.

11張霖澤,王晶琦,吳文.一種基于K-means改進聚類的圖像增強算法.應(yīng)用光學(xué),2016,37(4):549-554.[doi:10.5768/JAO201637.0402003]

12何鵬,安井然,楊曼.基于區(qū)域光流法的人體異常行為檢測.電視技術(shù),2015,39(7):100-103,141.

13梁東升,趙連超,陳永康,等.復(fù)雜環(huán)境下的快速逆行檢測跟蹤算法.計算機工程與應(yīng)用,2015,51(13):186-190.[doi:10.3778/j.issn.1002-8331.1308-0389]

14李梅,李亦農(nóng),王玉皞.信息論基礎(chǔ)教程.3版.北京:北京郵電大學(xué)出版社,2015.

15唐國維,劉彥彤,張巖.利用信息熵的巖心圖像自適應(yīng)壓縮感知重構(gòu).計算機系統(tǒng)應(yīng)用,2016,25(4):272-277.