基于運(yùn)動(dòng)矢量交點(diǎn)密集度的人群恐慌行為檢測(cè)①

鐘 帥, 蔡堅(jiān)勇,2,3, 廖曉東,2,3, 黃 澎, 張煒雋

1(福建師范大學(xué) 光電與信息工程學(xué)院, 福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 福州 350007)

3(福建師范大學(xué) 福建省先進(jìn)光電傳感與智能信息應(yīng)用工程技術(shù)研究中心, 福州 350007)

基于運(yùn)動(dòng)矢量交點(diǎn)密集度的人群恐慌行為檢測(cè)①

鐘 帥1, 蔡堅(jiān)勇1,2,3, 廖曉東1,2,3, 黃 澎1, 張煒雋1

1(福建師范大學(xué) 光電與信息工程學(xué)院, 福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 福州 350007)

3(福建師范大學(xué) 福建省先進(jìn)光電傳感與智能信息應(yīng)用工程技術(shù)研究中心, 福州 350007)

為了更準(zhǔn)確有效的識(shí)別人群恐慌行為, 本文提出了一種利用視頻中人群運(yùn)動(dòng)矢量的交點(diǎn)密集度來(lái)判斷人群恐慌異常的新算法. 該算法以LK光流法為基礎(chǔ)來(lái)提取運(yùn)動(dòng)人群的運(yùn)動(dòng)矢量信息, 接著通過(guò)獲得的信息求取運(yùn)動(dòng)矢量間的兩兩交叉點(diǎn), 然后運(yùn)用分塊法求得區(qū)域交叉點(diǎn)密集度, 并以此來(lái)識(shí)別人群異常. 對(duì)多個(gè)視頻進(jìn)行測(cè)試, 測(cè)試結(jié)果表明: 該算法能夠以較高正確率識(shí)別視頻中人群的恐慌行為.

人群恐慌; 行人檢測(cè); 點(diǎn)密集度; 智能視頻監(jiān)控

引言

近年來(lái), 隨著城市人口密集度的提高, 當(dāng)人群過(guò)于集中時(shí)所導(dǎo)致的人群公共安全問(wèn)題越來(lái)越突出.

2014年12月31日晚23時(shí)35分許, 上海外灘陳毅廣場(chǎng)發(fā)生群眾擁擠踩踏事故, 致35人死亡, 至少48人受傷.2014年10月10日, 巴基斯坦發(fā)生踩踏事故, 造成40余人傷亡. 2015年9月24日麥加朝覲踩踏事故至少1300人死亡. 除了上面列舉的人群踩踏事件外還有各種暴力恐慌事件時(shí)有發(fā)生. 這些異常事件給人民群眾的安全帶來(lái)了極大的威脅, 同時(shí)嚴(yán)重的破壞了社會(huì)秩序, 并造成了重大的經(jīng)濟(jì)損失.

為了能夠在人群發(fā)生異常時(shí)及時(shí)發(fā)現(xiàn)并有效的處理, 學(xué)者們提出了許多在智能視頻監(jiān)控中識(shí)別人群異常的有效可行的方法. 光流能量法[1-3]是其中最常用的一中方法, 光流能量法先利用像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來(lái)確定運(yùn)動(dòng)場(chǎng), 然后利用運(yùn)動(dòng)場(chǎng)計(jì)算出人群運(yùn)動(dòng)的速度和能量, 并通過(guò)觀察每幀視頻的能量變化來(lái)判斷人群異常. 然而在實(shí)際運(yùn)用中光流能量法的錯(cuò)誤率太高, 其ROC面積[4,5](ROC為“receiver operating characteristic”的縮寫(xiě), ROC曲線下面積可從量上表征統(tǒng)計(jì)事件發(fā)生的準(zhǔn)確率)大約為0.8. 為了提高視頻中人群異常判斷的正確率, 本文提出了基于運(yùn)動(dòng)矢量交點(diǎn)密集度的人群恐慌行為檢測(cè)算法, 并通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法的正確性. 本文算法的主要工作有:通過(guò)LK光流法提取運(yùn)動(dòng)矢量信息、檢測(cè)人群矢量交點(diǎn)和人群平均動(dòng)能、計(jì)算交點(diǎn)密集度、判斷識(shí)別人群恐慌并通過(guò)ROC曲線檢測(cè)算法性能.

1 算法原理

本文算法思想來(lái)源于人群逃離行為檢測(cè)[6]的思想并加以改進(jìn). 該算法先確定光流場(chǎng), 然后檢測(cè)光流矢量交叉點(diǎn), 繼而計(jì)算出每幀視頻的交叉點(diǎn)密集度, 通過(guò)觀察每幀視頻交叉點(diǎn)密集度的變化判斷人群異常. 基本算法流程如圖1所示.

圖1 人群恐慌檢測(cè)算法流程圖

1.1 光流場(chǎng)及運(yùn)動(dòng)特征的確定

本文通過(guò)LK光流算法[7]來(lái)確定光流場(chǎng), LK光流法是一種兩幀差分的光流估計(jì)法, 該算法由Bruce D.Lucas和Takeo Kanade提出. LK光流法具有效率高,易于實(shí)現(xiàn)等特點(diǎn), 是現(xiàn)階段求解稀疏光流的重要方法.LK光流法基于三種假設(shè): 一是物體點(diǎn)的亮度是恒定的;二是時(shí)間是連續(xù)的; 三是局部區(qū)域的像素點(diǎn)有相似的運(yùn)動(dòng). 針對(duì)本文所提算法, 以上三種假設(shè)是成立的. 首先每幀所檢測(cè)的矢量交點(diǎn)是基于上下兩幀視頻中人群的變化得到的, 而幀間時(shí)間間隔很短且已知短時(shí)間內(nèi)物體點(diǎn)的亮度可以看做是恒定的. 其次因?yàn)樗惴z測(cè)的是視頻中的異常人群, 而每一個(gè)人運(yùn)動(dòng)時(shí), 此人身上的局部區(qū)域的像素點(diǎn)有相似的運(yùn)動(dòng). 最后由于視頻人群監(jiān)控系統(tǒng)中的一個(gè)時(shí)間段內(nèi)時(shí)間是連續(xù)的, 固針對(duì)本算法以上三種假設(shè)是成立的. 假設(shè)I(x, y, t)是圖像上坐標(biāo)點(diǎn)(x, y)處的灰度值, u, y為該點(diǎn)光流X和Y方向上的分量. 其中, 根據(jù)短時(shí)間灰度保持不變?cè)瓌t, 有約束方程:

將上述公式用泰勒級(jí)數(shù)展開(kāi)且使 有:

由于方程(3)有兩個(gè)未知量, 所以對(duì)于單個(gè)像素不能得到此點(diǎn)的二維運(yùn)動(dòng)的定解. 這時(shí)可以利用光流的最后一個(gè)假設(shè). 若局部區(qū)域的像素運(yùn)動(dòng)是一致的, 則可以建立領(lǐng)域像素系統(tǒng)方程來(lái)求解中心像素的運(yùn)動(dòng). 然后利用最小二乘法估計(jì)光流. 通過(guò)LK光流法可以獲取圖像特征點(diǎn)的運(yùn)動(dòng)特征. 假設(shè)圖像上的像素點(diǎn)的速度為V, 方向?yàn)镕, 則有:

其中, u, v為該點(diǎn)光流X, Y方向上的分量.

1.2 運(yùn)動(dòng)矢量交點(diǎn)個(gè)數(shù)檢測(cè)

為了檢測(cè)每幀視頻中所有光流矢量?jī)蓛上嘟坏慕稽c(diǎn)個(gè)數(shù). 本文引入檢測(cè)發(fā)散中心的思想來(lái)檢測(cè)交點(diǎn)個(gè)數(shù). 假設(shè)同一個(gè)像素特征點(diǎn)在上下相鄰兩幀的位置投影到同一個(gè)平面為A1和A2, 如圖2所示. 其中A1的坐標(biāo)為(b1, a1)A2的坐標(biāo)(b2, a2), 向量A1A2即像素.

圖2 光流矢量坐標(biāo)示意圖

點(diǎn)A的光流矢量. 向量的長(zhǎng)度即特征點(diǎn)A的速度大小, 箭頭方向?yàn)楣饬鞣较? 則:

其直線方程為:

將每一個(gè)光流矢量都用與其對(duì)應(yīng)的直線方程表示后, 通過(guò)解二元一次方程可求得直線兩兩相交后的交點(diǎn). 設(shè)每幀視頻圖像求得交點(diǎn)個(gè)數(shù)為Ni, 則有第i幀交點(diǎn)個(gè)數(shù)為Ni, 因此有交點(diǎn)集Ni=(N1, N2……Ni).

在公共視頻庫(kù)UMN數(shù)據(jù)集上分別檢測(cè)人群正常和人群異常時(shí)的交點(diǎn)分布圖如圖3、圖4所示.

圖3 人群正常時(shí)交點(diǎn)分布圖

圖4 人群異常時(shí)交點(diǎn)分布圖

圖中紅色小點(diǎn)即為所求交點(diǎn), 從圖中可以看到人群正常時(shí)交點(diǎn)分散, 當(dāng)人群異常時(shí)其交點(diǎn)集中.

1.3 人群恐慌行為檢測(cè)

本文通過(guò)計(jì)算每幀圖像中運(yùn)動(dòng)矢量交點(diǎn)密集度的大小進(jìn)而判斷視頻中人群的異常行為. 因此對(duì)交點(diǎn)密集度的計(jì)算尤為重要, 設(shè)第i幀交點(diǎn)密集度為Pi, 第i幀交點(diǎn)區(qū)域所占圖像上面積為Si, 根據(jù)散點(diǎn)密集度的物理意義有:

其中, Pi表示第i幀圖像的交點(diǎn)密集度, Ni表示第i幀交點(diǎn)個(gè)數(shù), Si表示第i幀交點(diǎn)區(qū)域面積.

從圖3和圖4可以看出對(duì)于同一幀視頻圖像, 不同區(qū)域的交點(diǎn)密集度是不一樣的, 若用整個(gè)圖像的交點(diǎn)密集度來(lái)表示本幀視頻的交點(diǎn)密集度將不能反映真實(shí)情況, 因此為了更好的反映交點(diǎn)的集中程度, 本文通過(guò)分塊法[8]來(lái)計(jì)算區(qū)域交點(diǎn)密集度. 分塊法具有效率高,降低計(jì)算量、計(jì)算更精確等特點(diǎn). 對(duì)每幀圖像進(jìn)行分塊, 在本文中分成相同大小的3*3塊區(qū)域. 分別計(jì)算這9塊區(qū)域內(nèi)交點(diǎn)個(gè)數(shù), 然后計(jì)算Pi(n), n的取值從1到9分別代表9個(gè)不同區(qū)域.

最后求出Max(Pi(n)), 即為這幀圖像的交點(diǎn)密集度,其分塊示意圖如圖5所示.

圖5 交點(diǎn)分塊示意圖

由于每一個(gè)分塊的尺寸是相同的, 因此每一塊的面積也認(rèn)為是相同的. 這時(shí)只需要求出其中一個(gè)分塊的面積Si即可. 然后對(duì)比9個(gè)分塊, 交點(diǎn)密集度最高的分塊的密集度就是這幀圖像的交點(diǎn)密集度.

對(duì)比每幀圖像的交點(diǎn)密集度發(fā)現(xiàn)人群異常和人群正常時(shí)交點(diǎn)密集度存在較大差別, 人群恐慌逃逸時(shí)其交點(diǎn)密集度要遠(yuǎn)遠(yuǎn)大于人群正常時(shí)交點(diǎn)密集度. 因此可通過(guò)比較每幀視頻圖像的Pi大小來(lái)判斷人群是否發(fā)生異常.

2 實(shí)驗(yàn)結(jié)果分析

為了使本文提出的算法具有代表性, 實(shí)驗(yàn)選取的視頻數(shù)據(jù)集來(lái)自標(biāo)準(zhǔn)的公共數(shù)據(jù)集UMN數(shù)據(jù)集[9].UMN數(shù)據(jù)是明尼蘇達(dá)大學(xué)人工智能、機(jī)器人和視覺(jué)實(shí)驗(yàn)室創(chuàng)建的. UMN視頻分拍攝于3個(gè)不同的場(chǎng)景, 共7740幀, 里面共包含11次異常事件.

在本實(shí)驗(yàn)中, 先求出每幀視頻的交叉點(diǎn)密集度, 并將視頻的前3000幀作為訓(xùn)練集, 然后根據(jù)訓(xùn)練集結(jié)果定出閾值, 并用此閾值檢測(cè)后4740幀的人群異常, 最后求出本文方法的ROC曲線下方的面積. 為了比較本文方法的性能, 將使用光流法、社會(huì)力法作為比較.

如圖6為前3000幀交叉點(diǎn)個(gè)數(shù)散點(diǎn)圖, 圖中縱坐標(biāo)為交叉點(diǎn)個(gè)數(shù)、橫坐標(biāo)為幀數(shù).

圖6 前3000幀交點(diǎn)個(gè)數(shù)散點(diǎn)圖

從圖6中可以看到視頻在0-3000幀共發(fā)生4次人群恐慌, 分別在4個(gè)波峰發(fā)生. 對(duì)比圖7(光流能量法能量散點(diǎn)圖)發(fā)現(xiàn)本文方法波峰更加凸顯、對(duì)人群恐慌的判斷更加容易, 且由于本文方法的散點(diǎn)圖毛刺較少使得判斷人群恐慌異常更加容易及準(zhǔn)確.

為了顯示本文方法與其他方法的定量比較, 本文選取實(shí)驗(yàn)視頻中3個(gè)不同場(chǎng)景的前一部分幀為訓(xùn)練集剩下的為測(cè)試集, 并采用支持向量機(jī)(SVM)[10]作為分類器, 然后分別畫(huà)出3個(gè)場(chǎng)景下的異常幀ROC面積, 如表1所示.

結(jié)果表明我們提出的方法能夠更好的檢測(cè)人群恐慌異常, 具有更強(qiáng)的魯棒性.

圖7 光流能量法能量散點(diǎn)圖

表1 ROC曲線下面積大小比較表格

3 結(jié)語(yǔ)

當(dāng)人群發(fā)生恐慌異常時(shí), 人群會(huì)出現(xiàn)四散而逃的現(xiàn)象, 此時(shí)人群運(yùn)動(dòng)矢量間的交叉點(diǎn)密集度升高. 因此本文提出基于人群運(yùn)動(dòng)矢量交點(diǎn)密集度來(lái)的人群異常檢測(cè)算法. 該算法通過(guò)研究人群異常與人群運(yùn)動(dòng)矢量交點(diǎn)密集度之間的關(guān)系來(lái)判斷識(shí)別人群異常. 通過(guò)在UMN視頻集上的大量實(shí)驗(yàn)表明:該算法能夠有效的檢測(cè)出人群恐異常, 并且與其他算法相比具有漏檢率低、高準(zhǔn)確率、且受外部影響較小等優(yōu)點(diǎn).

1Horn BKP, Schunck BG. Determining optical flow. Artificial Intelligence, 1981, 17(1-3): 185–203. [doi: 10.1016/0004-3702(81)90024-2]

2Wang Q, Ma Q, Luo CH, et al. Hybrid histogram of oriented optical flow for abnormal behavior detection in crowd scenes. International Journal of Pattern Recognition and Artificial Intelligence, 2016, 30(2): 1655007. [doi: 10.1142/S0218001416550077]

3Rao AS, Gubbi J, Marusic S, et al. Crowd event detection on optical flow manifolds. IEEE Trans. Cybernetics, 2016,46(7): 1524–1537. [doi: 10.1109/TCYB.2015.2451136]

4毛世彪. 復(fù)雜環(huán)境下人群異常狀態(tài)檢測(cè)方法研究[碩士學(xué)位論文]. 重慶: 重慶大學(xué), 2014.

5閆志揚(yáng). 視頻監(jiān)控中人群狀態(tài)分析及異常事件檢測(cè)方法研究[碩士學(xué)位論文]. 天津: 天津大學(xué), 2014.

6陳春雨, 邵宇, 趙春暉. 視頻監(jiān)控中的人群逃離行為檢測(cè)與定位. 黑龍江大學(xué)工程學(xué)報(bào), 2015, 6(2): 68–73.

7Lucas BD, Kanade T. An iterative image registration technique with an application to stereo vision. Proc. 7th International Joint Conference on Artificial Intelligence.Vancouver, BC, Canada. 1969. 674–679.

8林沁. 視頻中的大規(guī)模人群密度與異常行為分析[碩士學(xué)位論文]. 廈門: 廈門大學(xué), 2014.

9Loy CC, Gong SG, Xiang T. From semi-supervised to transfer counting of crowds. Proc. 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, VIC,Australia. 2013. 2256–2263.

10Chang CC, Lin CJ. LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): Article No. 27.

11Helbing D, Molnár P. Social force model for pedestrian dynamics. Physical Review E, 1995, 51(5): 4282–4286. [doi:10.1103/PhysRevE.51.4282]

12Cong Y, Yuan JS, Liu J. Sparse reconstruction cost for abnormal event detection. Proc. 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Providence, RI, USA. 2011. 3449–3456.

13Helbing D, Farkas I, Vicsek T. Simulating dynamical features of escape panic. Nature, 2000, 407(6803): 487–490.[doi: 10.1038/35035023]

Panic Crowd Behavior Detection Based on Intersection Density of Motion Vector

ZHONG Shuai1, CAI Jian-Yong1,2,3, LIAO Xiao-Dong1,2,3, HUANG Peng1, ZHANG Wei-Jun1

1(College of Photonic and Electronic Engineering, Fujian Normal University, Fuzhou 350007, China)
2(Key Laboratory of Optoelectronic Science and Technology for Medicine of Ministry of Education, Fujian Normal University, Fuzhou 350007, China)
3(Fujian Provincial Engineering Research Center for Optoelectronic Sensors and Intelligent Information, Fuzhou 350007, China)

In order to identify the panic crowd behavior with a more accurate and effective method, a new scheme is proposed which can utilize the intersection density of motion vector in the video to judge the abnormal panic crowd behavior. This algorithm is based on LK optical flow to extract information of motion vector from moving people, and to obtain the intersection between two motion vectors, then uses divided image blocks to get the intersection density which is the key to identify abnormal crowd. Experiments on several datasets show that this algorithm can identify the panic crowd behavior with high accuracy.

panic crowd; pedestrian detection; intersection density; intelligent video surveillance

蔡堅(jiān)勇, E-mail: cjy@fjnu.edu.cn

鐘帥,蔡堅(jiān)勇,廖曉東,黃澎,張煒雋.基于運(yùn)動(dòng)矢量交點(diǎn)密集度的人群恐慌行為檢測(cè).計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(7):210–214. http://www.cs-a.org.cn/1003-3254/5871.html

省科技廳區(qū)域科技重大項(xiàng)目(2015H4007)

2016-10-31; 收到修改稿時(shí)間: 2017-01-04