基于粒子流和能量模型的異常行為檢測*

汪雙承,管業(yè)鵬

(上海大學(xué)通信與信息工程學(xué)院,上海 200444)

?

基于粒子流和能量模型的異常行為檢測*

汪雙承,管業(yè)鵬*

(上海大學(xué)通信與信息工程學(xué)院,上海 200444)

提出了一種基于單目攝像機(jī)的異常行為檢測方法,可有效檢測群聚群散事件。針對傳統(tǒng)稠密光流法耗時(shí)大,抗噪聲性差,對光照變化敏感,而稀疏光流又不能提供豐富運(yùn)動信息的不足,提出采用二值前景為掩碼計(jì)算局部稠密光流,既剔除了干擾,又減少耗時(shí)。針對光流僅能反應(yīng)物體瞬時(shí)運(yùn)動信息,不能反應(yīng)運(yùn)動的累積效應(yīng),不能描述物體間的相互影響,提出建立以光流為底層特征的粒子流場,以穩(wěn)定地進(jìn)行特征提取。最后,通過計(jì)算粒子幅值直方圖的能量來進(jìn)行異常行為的檢測。搭建了實(shí)驗(yàn)監(jiān)控系統(tǒng),不同場景的實(shí)驗(yàn)表明,該方法實(shí)時(shí)性好,魯棒。

異常行為;群聚群散;粒子流;能量;光流

智能視頻分析與監(jiān)控是多學(xué)科交叉的前沿研究領(lǐng)域,也是當(dāng)前國際上最被關(guān)注的研究熱點(diǎn)。運(yùn)動對象的異常行為檢測是智能監(jiān)控技術(shù)的關(guān)鍵[1]。

針對監(jiān)控場景能夠及時(shí)準(zhǔn)確地檢測出運(yùn)動對象的異常行為是非常重要的。傳統(tǒng)的異常行為檢測方法主要可分為兩類[2]:一是基于運(yùn)動對象的跟蹤,不斷檢測運(yùn)動對象或團(tuán)塊的運(yùn)動軌跡,提取運(yùn)動(包括空間位置,運(yùn)動速度等)特征,根據(jù)運(yùn)動狀態(tài)進(jìn)行檢測。算法依賴于對運(yùn)動對象的跟蹤,在實(shí)際場景下存在多目標(biāo)遮擋,較難實(shí)現(xiàn)準(zhǔn)確的運(yùn)動對象跟蹤。二是基于學(xué)習(xí)訓(xùn)練,針對特定場景,預(yù)先采集運(yùn)動對象視頻序列,提取運(yùn)動特征,建立學(xué)習(xí)樣本庫,訓(xùn)練針對特定運(yùn)動行為的分類器。利用訓(xùn)練好的分類器針對未知視頻序列檢測異常行為。此類方法具有一定的局限性,運(yùn)動對象異常行為樣本較難采集。

近年來提出的社會力模型[3](Social Force Model)、行為熵模型[4](Behavior Entropy Model)、能量模型[5](Energy Model)以及借用流體力學(xué)和熱力學(xué)概念建立的相應(yīng)模型[1]是目前的研究熱點(diǎn)。

緊跟學(xué)術(shù)研究前沿,本文提出了一種非監(jiān)督的基于粒子流和能量模型的異常行為檢測,可有效地檢測群聚群散事件。算法利用二值前景為掩碼計(jì)算局部稠密光流,既剔除了干擾,又減少耗時(shí),解決了稠密光流法算法抗噪聲性差,耗時(shí)大,而稀疏光流又不能提供豐富的運(yùn)動信息的不足[6]。借鑒拉格朗日粒子場,建立了粒子流場,能夠較穩(wěn)定快速地進(jìn)行特征提取。搭建了實(shí)驗(yàn)監(jiān)控系統(tǒng),實(shí)驗(yàn)表明,該方法實(shí)時(shí),魯棒,有一定的實(shí)用價(jià)值。

1 本文算法

如圖1,算法主要分以下幾個(gè)部分:(1)運(yùn)動目標(biāo)提取。以高斯背景更新并進(jìn)行膨脹得到二值前景掩碼。(2)局部光流場的計(jì)算。對以掩碼得到的前景圖像計(jì)算稠密局部光流場;同時(shí)對二值前景掩碼進(jìn)行腐蝕得到光流場掩碼,以此除去前景邊緣極大值的錯(cuò)誤光流。(3)粒子流場建立。由上到下在視頻幀上均勻地布滿粒子點(diǎn),當(dāng)目標(biāo)運(yùn)動時(shí),根據(jù)粒子點(diǎn)周圍的光流場值,并結(jié)合社會力模型得到粒子運(yùn)動的軌跡,并每隔15幀重新初始化粒子點(diǎn)。(4)能量模型建立。由粒子點(diǎn)運(yùn)動軌跡,得到每15幀粒子的運(yùn)動速度和方向,并建立粒子幅值直方圖。計(jì)算粒子直方圖的能量來進(jìn)行異常行為的檢測。

圖1 本文算法

1.1 運(yùn)動對象檢測

運(yùn)動對象檢測的目的是從圖像中得到比較完整的目標(biāo)(前景)的運(yùn)動區(qū)域。常見的方法有[7]:時(shí)域差分法,光流場法,背景減除法。時(shí)域差分法對動態(tài)變化場景非常有效,但一般不能很好地提取出運(yùn)動目標(biāo)的所有特征象素,造成空洞現(xiàn)象;光流場法能在攝像頭運(yùn)動時(shí)有效的檢測運(yùn)動目標(biāo),然而,這種方法計(jì)算很復(fù)雜,抗噪聲性差;簡單的背景減除法能得到運(yùn)動物體很全面的特征數(shù)據(jù),但卻對由于光線和其他外部的動態(tài)場景變化非常敏感。本文采用Zivkovic Z[8]提出的混合高斯背景更新算法,即Opencv中的BackgroundSubtractorMOG2算法,實(shí)現(xiàn)運(yùn)動對象的檢測,并對更新得到的前景進(jìn)行形態(tài)學(xué)濾波,開運(yùn)算和閉運(yùn)算,以得到較完整的前景。實(shí)驗(yàn)驗(yàn)證,該算法具有良好的檢測效果。

實(shí)際環(huán)境中背景的復(fù)雜性,例如樹葉的抖動、陽光、燈光等,在背景更新所得的前景圖中會有些噪點(diǎn)。本文采用邊界跟蹤法[7],進(jìn)行噪聲的除去。即對更新得到的二值前景圖中輪廓進(jìn)行邊界跟蹤,將周長小于20的輪廓去除掉。

1.2 局部光流場的計(jì)算

所謂光流[9]指圖像中灰度模式運(yùn)動速度。光流計(jì)算進(jìn)行像素級運(yùn)動估計(jì),主要基于亮度恒常性假設(shè),若I(x,y,t)是在像素(x,y)和時(shí)間t的圖像強(qiáng)度,則有:

(1)

可以推出光流約束方程:

IXu+Iyv+It=0

(2)

光流分量

(3)

光流約束方程式(2)含兩個(gè)未知量,可見光流問題是個(gè)病態(tài)問題。求解光流(u,v)尚需加上其他的約束條件,HS方法[9]假定光流在整個(gè)圖像上的變化平滑,可設(shè)光流速度的梯度幅度的平方(?μ/?x)2+(?μ/?y)2和(?v/?x)2+(?v/?y)2最小?？梢缘玫?u,v)的遞歸解:

(4)

(5)

只要迭代次數(shù)k足夠大,就可以得到比較穩(wěn)定的光流矢量(uk+1,vk+1)。所以只要有兩個(gè)需要自行確定的參數(shù):正則系數(shù)和領(lǐng)域尺寸。

以上就是經(jīng)典的HS稠密光流法原理[9]。本文采用GunnarFarneback[10]于2003年所提出的在抗噪聲性和計(jì)算速度上更優(yōu)秀的光流算法。

全局稠密光流計(jì)算量大,文獻(xiàn)[11]中采用局部光流場,文中方法建立在多目標(biāo)的跟蹤基礎(chǔ)之上,但運(yùn)動目標(biāo)重疊遮擋使得這一方法的有效性大大降低。同時(shí),我們注意的背景圖像的光流計(jì)算不僅沒有什么信息價(jià)值,而且耗時(shí)嚴(yán)重;同時(shí),光流抗噪聲性差,對樹葉抖動,光照敏感,背景光流噪聲會干擾運(yùn)動光流場。而稀疏光流,只計(jì)算幾個(gè)角點(diǎn)的光流值,不足以提供豐富的運(yùn)動信息。為達(dá)到剔除干擾,也加快計(jì)算速度的目的,提出采用二值前景為掩碼只計(jì)算局部運(yùn)動區(qū)域稠密光流場。因?yàn)榫仃嚵阍卦蕉?矩陣越稀疏,運(yùn)算越快。同時(shí),僅對關(guān)注區(qū)域運(yùn)動前景部分光流進(jìn)行粒子統(tǒng)計(jì)和計(jì)算,避免了對全局光流場的統(tǒng)計(jì),這樣也減少了計(jì)算量。過程如圖2所示。

圖2 局部光流場的計(jì)算

首先利用前面得到的二值前景,如圖2(a),并對其進(jìn)行3×3核的膨脹,如圖2(b),以此為掩碼得到前景圖像,如圖2(c),進(jìn)行稠密光流場(Gunnar Farneback光流法[10])計(jì)算。很顯然,由于前景圖像和背景在邊緣存在突變,這會造成運(yùn)動前景邊緣處有極大光流值的存在,而這些是需要剔除的,如圖2(d)。為此,在膨脹得到圖2(b)的基礎(chǔ)上,進(jìn)行5×5核的腐蝕,得到光流場二值掩碼,如圖2(e)。將圖2(d)與圖2(e)相與得到真實(shí)的光流場如圖2(f)。在光流場圖2(d)和2(f)中,不同顏色表示不同的運(yùn)動方向,深淺表示運(yùn)動的快慢,即光流的大小。

1.3 粒子流場的建立

光流抗噪聲性差,對光照變化比較敏感,光流僅反應(yīng)物體瞬時(shí)點(diǎn)的運(yùn)動信息,不能反應(yīng)運(yùn)動的積累效應(yīng),不能描述物體間的相互影響[8]。拉格朗日粒子動態(tài)系統(tǒng)中粒子的流動可反映視頻移動對象的運(yùn)動狀態(tài),尤其是異常行為的流體特征變化[12]。因此結(jié)合社會力模型,借鑒拉格朗日粒子模型,提出建立了本文的粒子流場,粒子流較光流可得到較穩(wěn)定的運(yùn)動軌跡及其運(yùn)動趨勢,從而進(jìn)行運(yùn)動對象異常行為的檢測。

首先,對視頻進(jìn)行網(wǎng)格劃分(這里采用8×8像素的網(wǎng)格),在網(wǎng)格節(jié)點(diǎn)并由上到下在均勻地布滿粒子點(diǎn),如圖3(a)。由于本算法涉及的場景相對固定,攝像機(jī)離人群的距離相對較遠(yuǎn)。在計(jì)算量和運(yùn)動信息的豐富性上做了和折中,根據(jù)多次實(shí)驗(yàn),選取8×8像素為網(wǎng)格大小。

當(dāng)目標(biāo)運(yùn)動時(shí),結(jié)合社會力模型,根據(jù)粒子點(diǎn)周圍的光流場值跟新粒子位置,從而得到運(yùn)動軌跡,方向和速度信息,如圖2(b),紅色線段表示粒子流運(yùn)動軌跡?？紤]到一個(gè)完整的行為是由若干幀的視頻片段組成的,而一般的攝像頭在25幀/s或30幀/s,所以這里每隔15幀重新初始化粒子點(diǎn)位置。

圖3 粒子流場

社會力模型認(rèn)為群體行為是個(gè)體之間相互作用的結(jié)果。近年來,Mehran[3]等人將社會力模型應(yīng)用于視頻中異常行為的檢測,用社會力模型計(jì)算每個(gè)采樣點(diǎn)受到的相互作用力,得到圖像上的社會力場,機(jī)器學(xué)習(xí)以判別視頻中的異常行為。為了描述粒子受到周圍點(diǎn)作用以及上下文影響,借鑒Mehran[3]的做法,本文根據(jù)粒子點(diǎn)周圍的光流場值更新粒子位置:即粒子下一幀的位置為當(dāng)前幀位置加上下一幀該粒子的值。粒子值具體算法如下:

圖4 雙線性插值計(jì)算粒子值

首先,對光流場進(jìn)行一個(gè)3×3的高斯濾波,得到平均光流場。然后,在空間上,粒子點(diǎn)值由所在區(qū)域光流值雙線性插值[13]而來,以描述周圍粒子點(diǎn)的相互作用。如圖4,粒子點(diǎn)A在初始位置,值由圖中綠色區(qū)域的光流場雙線性插值而來,區(qū)域跟隨粒子A運(yùn)動。本文設(shè)x和y都為8個(gè)像素。粒子點(diǎn)的運(yùn)動軌跡如圖3(b)所示。

1.4 能量模型的建立

群聚群散是一種典型的異常行為[14]。這類異常行為特征是當(dāng)人群突然散開時(shí),運(yùn)動幅值相對于正常行為會有一個(gè)較大的變化。也就是說這類異常行為,異常發(fā)生時(shí)運(yùn)動能量會有一個(gè)顯著的變化。由此,引入粒子流的能量模型。

圖5 粒子幅值

由此,得到粒子流的幅值直方圖,每15幀跟新一次。

根據(jù)得到的幅值數(shù)據(jù)信息,實(shí)驗(yàn)設(shè)定幅值統(tǒng)計(jì)范圍為0到36。平均分成12組,并從低值到高值依次標(biāo)記為1到12,豎坐標(biāo)為落入這個(gè)組的粒子數(shù)。組數(shù)的選擇是根據(jù)多次實(shí)驗(yàn)取得的一個(gè)較好值,如果組數(shù)取的過小,則不能充分量化能量,組數(shù)過大也不能明顯提高檢測率,反而增加了后續(xù)計(jì)算量。由于幅值是每隔15幀更新一次,一般來說對于一個(gè)幀率固定的攝像機(jī)來說,15幀的時(shí)間是固定的,這里我們簡單地設(shè)每15幀為一個(gè)單位時(shí)間,那么粒子幅值和速度在數(shù)值上是相等的。同時(shí),假設(shè)粒子的質(zhì)量都為1。

物體由于運(yùn)動而具有的能叫動能(KineticEnergy)[15]。根據(jù)動能定理,其計(jì)算方法如下:

(6)

其中Ek代表動能,m代表物體的質(zhì)量,v代表物體的速度。

那么,定義粒子幅值直方圖的能量為:

(7)

其中E為粒子幅值直方圖能量,i為組號從1到12,ki為每個(gè)組的值。實(shí)時(shí)監(jiān)測E的變化,當(dāng)E連續(xù)3次大于閾值Eth(根據(jù)實(shí)驗(yàn),設(shè)為10 000),即判定為異常;判定異常后,若E連續(xù)3次小于閾值Eth,則判定行為恢復(fù)正常,以提高檢測的穩(wěn)定性。

2 實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證算法的有效性,搭建如圖6所示實(shí)驗(yàn)監(jiān)控系統(tǒng)。

圖6 實(shí)驗(yàn)系統(tǒng)圖

在該監(jiān)控系統(tǒng)中,算法由C++編寫,使用Opencv視覺庫[16];PC處理機(jī)硬件配置為:CPU為Inteli3,主頻為3.3GHz,4G內(nèi)存,Windows7操作系統(tǒng);監(jiān)控?cái)z像頭分辨率為320pixel×240pixel的usb攝像頭。當(dāng)系統(tǒng)檢測到異常行為發(fā)生時(shí),電腦發(fā)信號觸發(fā)繼電器開關(guān)從而聲光報(bào)警器會播放報(bào)警音和閃爍報(bào)警燈。監(jiān)視器供監(jiān)控人員觀察。應(yīng)用該系統(tǒng),以從UMN人體行為數(shù)據(jù)庫中提取相關(guān)的視頻序列和實(shí)際場景進(jìn)行測試,實(shí)驗(yàn)表明該系統(tǒng)實(shí)時(shí),有效,且適用于低分辨率情況。

圖7是序列1的實(shí)驗(yàn)效果圖和相關(guān)數(shù)據(jù)。圖8是序列2的實(shí)驗(yàn)效果圖和相關(guān)數(shù)據(jù)。由圖7和圖8可得,正常行為時(shí)粒子直方圖能量值為5000以下,處于較小值,當(dāng)人群突然散開時(shí),其值明顯增大。說明,能很好的區(qū)分正常和異常情況。在多次實(shí)驗(yàn)的基礎(chǔ)上,算法設(shè)閾值Eth為10 000。

同時(shí),為了更好的評估本算法的性能,本文同傳統(tǒng)全局稠密光流法[3]對比檢測性能和運(yùn)算速率。即先對整幅圖進(jìn)行稠密光流計(jì)算得到光流場,直接對光流場進(jìn)行能量建模,計(jì)算光流幅值直方圖能量,進(jìn)行異常檢測。

圖7 序列1實(shí)驗(yàn)圖

圖8 序列2實(shí)驗(yàn)圖

檢測結(jié)果正確檢測率和錯(cuò)誤檢測率對比算法如下:

TPR=TP/(TP+FN)

(8)

FPR=FP/(TP+FP)

(9)

其中,TPR表示正警率,TP表示正確檢測異常行為的幀數(shù),FN為在數(shù)據(jù)庫中異常行為真值幀中漏檢的幀數(shù),FPR表示為虛警率,FP為錯(cuò)誤檢測為異常的幀數(shù)。表1表明,相對于光流方法[3],本文方法能更有效地檢測出異常行為,且誤警率低。

表1 檢測率對比 單位:ms

為對比算法的耗時(shí),采用搭建的實(shí)驗(yàn)平臺進(jìn)行實(shí)驗(yàn)。耗時(shí)如表2所示,可見本文方法大大減少了耗時(shí),使得算法實(shí)時(shí)性好,能到達(dá)到實(shí)時(shí)應(yīng)用的要求。

表2 視頻每幀平均(ms)視頻320×240

3 總結(jié)

本文提出了一種建立在粒子流基礎(chǔ)上,結(jié)合社會力模型使用動能模型的異常行為檢測方法。本文使用前景掩碼,達(dá)到了計(jì)算局部稠密光流的目的,不需要對目標(biāo)進(jìn)行跟蹤和有效分隔,算法不僅魯棒且場景適應(yīng)性強(qiáng)。相對傳統(tǒng)全局光流法,有效減少耗時(shí)。本文以光流為基礎(chǔ),建立粒子流場,使用社會力模型引入物體間的相互作用,提高了檢測率,也減小了計(jì)算量。以搭建的實(shí)驗(yàn)監(jiān)控系統(tǒng)為平臺進(jìn)行實(shí)驗(yàn),表明本文通過計(jì)算粒子幅值直方圖能量能夠?qū)崟r(shí)有效地檢測群聚群散行為,具有一定的實(shí)用意義。

當(dāng)然本文也存在一些不足。相關(guān)參數(shù)的自適應(yīng)獲得等方面還有大量工作需要進(jìn)行。后續(xù)需要引入粒子場的方向特征,以進(jìn)一步完善能量模型或者尋找更合適的模型,得到更好的效果。后續(xù)在實(shí)際應(yīng)用中可以引入GPU技術(shù),進(jìn)一步加快處理速度,Opencv中已經(jīng)有基于Cuda的光流計(jì)算和背景跟新[16]。

[1]Popoola O P,Wang K. Video-Based Abnormal Human Behavior Recognition—A Review[J]. Systems,Man,and Cybernetics—Part C:Applications And Reviews,2012,42(6):65-878.

[2]Ying L,Jiulun F. Review of Intelligent Video Surveillance with Single Camera[C]//4th International Conference on Machine Vision(ICMV)—Machine Vision,Image Processing and Pattern Analysis,2011,8349:23-25.

[3]Oyama A,Shah M. Abnormal Crowd Behavior Detection Using Social Force Model[J]. Computer Visionand Pattern Recognition,2009,1(4):935-942.

[4]Haidar Sharif M,Djeraba C. An Entropy Approach for Abnormal Activities Detection in Video Streams[J]. Pattern Recognition,2012,45(7):2543-2561.

[5]Xiong G,Cheng J,Wu X. An Energy Model Approach to People Counting for Abnormal Crowd Behavior Detection[J]. Neurocomputing,2012,83:121-135.

[6]沈美麗. 基于角點(diǎn)檢測的光流目標(biāo)跟蹤算法[J]. 電子器件,2007,30(4):1397-1399.

[7]張顯亭. 一種改進(jìn)的復(fù)雜場景運(yùn)動目標(biāo)檢測算法[J]. 傳感技術(shù)學(xué)報(bào),2007,22(8):1146-1149.

[8]Zivkovic Z. Improved Adaptive Gaussian Mixture Model for Background Subtraction[C]//Proceedings of the 17th Internatio1al Conference on Pattern Recognition,2004:28-31.

[9]Simon B,Daniel S. A Database and Evaluation Methodology for Optical Flow[J]. International Journal of Computer Vision. March 2011,92(1):1-31.

[10]Gunnar F. Two-Frame Motion Estimation Based on Polynomial Expansion[J]. Lecture Notes in Computer Science,2003,2749:3-370.

[11]杜鑒豪,許力. 基于區(qū)域光流特征的異常行為檢測[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版),2011,45(7):1161-1166.

[12]Solmaz B. Identifying Behaviors in Crowd Scenes Using Stability Analysis for Dynamical Systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):2064-2070.

[13]Gribbon K T. A Novel Approach to Real-Time Bilinearinterpolation[C]//IEEE International Conference on Field-Programmable Technology,2004:126-131.

[14]Beibei Z,Monekoss Dorothyo N. Crowd Analysis:A Survey[J]. Machine Vision and Applications,2008,19:345-357.

[15]Xinyi C. Abnormal Detection Using Interaction Energy Potentials[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2011:3161-3167.

[16]http://opencv. org/.[Z].

汪雙承(1988-),男,漢族,安徽宣城人,上海大學(xué)通信學(xué)院碩士,主要研究方向?yàn)橹悄苄畔⑼诰蚺c處理,模式識別,wsc36305@163.com;

管業(yè)鵬(1967-),男,漢族,教授,主要研究方向?yàn)橹悄苄畔⑼诰蚺c處理、模式識別、計(jì)算機(jī)視覺等,ypguan@shu.edu.cn。

AbnormalBehaviorDetectionBasedonParticleFlowandEnergyModel*

WANGShuangcheng,GUANYepeng*

(School of Communication and Information Engineering,Shanghai University,Shanghai 200444,China)

This paper proposes a novel method to detect abnormal behavior with single camera,which can capture the dynamics of the crowd behavior successfully. Due to the time-consuming,the bad anti-noise and high sensitivity to light for dense optical flow method and inadequate motion information for sparse optical flow,binary foreground mask is used for calculating local dense optical flow. Particle flow is constructed based on optical flow for stable feature extraction,since optical flow only reflects instantaneous motion information and cannot describe the motion accumulation and interaction between objects. A kinetic energy of particle magnitude histogram is computed to capture the abnormality. A video surveillance system is constructed,the experiments on different scenes show that the proposed method is real-time,and robust.

abnormal behavior detection;crowd analysis;particle flow;energy model;optical flow

項(xiàng)目來源:國家自然科學(xué)基金項(xiàng)目(11176016);教育部博士點(diǎn)基金項(xiàng)目(20123108110014)

2013-12-19修改日期:2014-01-07

0439

:A

:1005-9490(2014)06-1081-06

10.3969/j.issn.1005-9490.2014.06.015