視頻場(chǎng)景人群運(yùn)動(dòng)異常狀態(tài)檢測(cè)

葉志鵬++劉鵬++趙巍++唐降龍

摘要： 針對(duì)視頻場(chǎng)景的人群運(yùn)動(dòng)狀態(tài)分析問題提出了一種方法，包括人群密度分級(jí)和運(yùn)動(dòng)異常檢測(cè)。該方法利用場(chǎng)景中不同區(qū)域的亮度信息作為BP網(wǎng)絡(luò)的輸入向量分類人群密度，降低了計(jì)算的復(fù)雜性，排除不必要的干擾信息。在異常檢測(cè)方面利用光流法獲取人群的運(yùn)動(dòng)信息，包括運(yùn)動(dòng)速度和運(yùn)動(dòng)方向。實(shí)驗(yàn)結(jié)果表明，該方法的精度及實(shí)時(shí)性均高于傳統(tǒng)方法，對(duì)確定視頻場(chǎng)景中人群運(yùn)動(dòng)狀態(tài)是有效的，可以為防止大規(guī)模安全事故提供參考。

關(guān)鍵詞： 視頻分析； 人群運(yùn)動(dòng)狀態(tài)檢測(cè)； BP神經(jīng)網(wǎng)絡(luò)； 光流法

中圖分類號(hào)：TP391.9

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：2095-2163（2017）04-0044-05

0引言

近年來，公共場(chǎng)所的大規(guī)模安全事故屢有發(fā)生，造成了一定的人員傷亡和財(cái)產(chǎn)損失[1]。其中一個(gè)重要原因是未能及時(shí)判斷場(chǎng)景中人群的異常狀態(tài)，導(dǎo)致在有限的空間內(nèi)同時(shí)容納的人數(shù)過多而產(chǎn)生恐慌情緒。恐慌人群會(huì)變得不合作并擁擠他人，其作用力可達(dá)4 450N/m，從而造成傷亡[2]。群體運(yùn)動(dòng)是連續(xù)的事件和行為。群體危機(jī)或?yàn)?zāi)難是群體系統(tǒng)在外界激勵(lì)作用下狀態(tài)漸近演化，逐步累積的結(jié)果。通過研究群體系統(tǒng)狀態(tài)演進(jìn)過程的內(nèi)在機(jī)理和規(guī)律能夠預(yù)報(bào)群體系統(tǒng)未來的狀態(tài)，提高應(yīng)急措施的效率和效果，增強(qiáng)綜合應(yīng)急救護(hù)能力，將群體危機(jī)或?yàn)?zāi)難消除在萌芽階段。因此及時(shí)分析出公共場(chǎng)所的人群運(yùn)動(dòng)狀態(tài)是十分必要的。

傳統(tǒng)的視頻監(jiān)控方法是在場(chǎng)景內(nèi)搭建閉路電視系統(tǒng)[3]，通過人工方式檢測(cè)場(chǎng)景的變化。該方法不僅成本較高，而且易受人為主觀因素影響，缺乏客觀性，在實(shí)時(shí)性上也存在著顯著不足。本文通過結(jié)合BP神經(jīng)網(wǎng)絡(luò)和光流法提出了一種基于流量場(chǎng)分析的進(jìn)行群體狀態(tài)異常檢測(cè)的研究方法。群體狀態(tài)異常包括人群密度異常和人群運(yùn)動(dòng)異常。其中，密度異常通常指當(dāng)前場(chǎng)景中人數(shù)過多，可能會(huì)造成潛在的安全隱患，這種情況一般是由人群的自然流動(dòng)導(dǎo)致的人群累積所造成；運(yùn)動(dòng)異常指當(dāng)前場(chǎng)景中人群的運(yùn)動(dòng)速度高于正常值，一般由某種外在因素引起，如火災(zāi)等。本文提出的方法利用人群流量信息分析人群狀態(tài)，綜合考慮人群密度分布和運(yùn)動(dòng)分布。實(shí)驗(yàn)結(jié)果表明，本文的方法可以有效檢測(cè)出人群異常。

1相關(guān)研究

近些年來，國(guó)內(nèi)外很多研究人員對(duì)人群狀態(tài)的檢測(cè)進(jìn)行了研究。Zhang等人[4]利用宏觀方法研究了T形路口處人流發(fā)生合并時(shí)人群的狀態(tài)。該方法首先將人群的運(yùn)動(dòng)狀態(tài)可視化并統(tǒng)計(jì)出人群的運(yùn)動(dòng)軌跡，進(jìn)而根據(jù)人群密度等級(jí)的不同，觀察到低密度時(shí)行人以任意速度行走，轉(zhuǎn)彎時(shí)會(huì)減速；高密度時(shí)行人速度分布不均勻，合并后的主流速度高于任一分支，同時(shí)主流方向的中心處人群密度最大。研究據(jù)此認(rèn)為，人群的密度和速度測(cè)量將受到測(cè)量區(qū)域面積大小的設(shè)置影響。該方法的局限性表現(xiàn)在3個(gè)方面：首先，研究測(cè)試的場(chǎng)景是嚴(yán)格對(duì)稱的，限制了該方法的推廣；其次，研究挑選的實(shí)驗(yàn)者的平均年齡在20～30歲之間，不能代表所有年齡段的人群，而人對(duì)路徑的選擇可能隨著年齡的增長(zhǎng)而不同；同時(shí)該方法還忽略了外界因素對(duì)群體路徑選擇的影響。

微觀方法是分析人群狀態(tài)的另一類方法。為了解決通過微觀方法檢測(cè)人群狀態(tài)面臨的大數(shù)據(jù)量問題，Steffen等人[5]提出了基于人群運(yùn)動(dòng)軌跡的微觀屬性測(cè)量方法。該方法通過空間變換的方法將個(gè)體空間映射到群體空間降低計(jì)算復(fù)雜度。研究首先指出傳統(tǒng)方法的2個(gè)短板與缺陷：場(chǎng)景邊緣的人員出入只能通過人頭部的位置確定；人群的密度離散地取決于時(shí)間和特定區(qū)域，有時(shí)會(huì)出現(xiàn)劇烈的跳變。為此，研究中有針對(duì)性地定義了自適應(yīng)步函數(shù)以消除密度檢測(cè)所需要的2個(gè)前提條件；進(jìn)而將目標(biāo)區(qū)域限制在2m2以避免出現(xiàn)使用Voronoi圖檢測(cè)人群密度可能導(dǎo)致無限增長(zhǎng)的問題。該方法的不足是對(duì)Voronoi圖方法使用了固定的區(qū)域大小，而Voronoi細(xì)胞的大小是可變的，使用固定大小的區(qū)域會(huì)影響同時(shí)活動(dòng)的細(xì)胞個(gè)數(shù)，因而限制了該方法的推廣能力。

國(guó)內(nèi)一些研究學(xué)者也陸續(xù)開展了群體異常檢測(cè)研究。李和平提出了半監(jiān)督學(xué)習(xí)的個(gè)體行為建模方法和個(gè)體異常檢測(cè)方法，通過動(dòng)態(tài)時(shí)間規(guī)劃譜聚類和行為隱馬爾可夫模型描述正常個(gè)體行為[6]；鐘志等通過定義一個(gè)運(yùn)動(dòng)特征進(jìn)行群體建模和實(shí)時(shí)檢測(cè)，研發(fā)了通過自定義的能量函數(shù)評(píng)估觀測(cè)區(qū)域內(nèi)擁擠程度和異常檢測(cè)的方法[7]；胡波提出了一種基于小波變換與灰度共生矩陣結(jié)合的人群密度特征提取方法，該方法首先對(duì)圖像進(jìn)行三級(jí)小波分解，得到10個(gè)子帶及相應(yīng)的小波系數(shù)；其次對(duì)除LL子帶外的所有細(xì)節(jié)子帶計(jì)算灰度共生矩陣；然后計(jì)算生成9維特征矢量并用SVM實(shí)現(xiàn)分類[8]。

2光流法人群運(yùn)動(dòng)跟蹤

光流法是跟蹤場(chǎng)景中運(yùn)動(dòng)目標(biāo)的主要手段之一，由Lucas和Kanade提出[9]。Lucas-Kanade算法用于求稠密光流，重點(diǎn)基于如下3個(gè)假設(shè)：

1）亮度恒定。圖像場(chǎng)景中目標(biāo)的像素在幀間運(yùn)動(dòng)時(shí)外觀上保持不變。

2）時(shí)間連續(xù)或運(yùn)動(dòng)是小運(yùn)動(dòng)。圖像的運(yùn)動(dòng)隨時(shí)間的變化比較緩慢，即相鄰幀間運(yùn)動(dòng)較小。

3）空間一致。一個(gè)場(chǎng)景中同一表面上鄰近的點(diǎn)具有相似的運(yùn)動(dòng)，在圖像平面上的投影也在鄰近區(qū)域。

人群目標(biāo)符合上述3個(gè)假設(shè)，即在時(shí)間間隔極短的相鄰2幀間正常行走人群的運(yùn)動(dòng)位移不會(huì)劇烈變化。本文即采用LK光流法作為運(yùn)動(dòng)估計(jì)的基礎(chǔ)。

3基于流量場(chǎng)的人群狀態(tài)檢測(cè)

人群狀態(tài)檢測(cè)包括密度檢測(cè)與狀態(tài)檢測(cè)。然而，這2種檢測(cè)是相關(guān)的，使用任一單一方法均不能得到良好效果。本文結(jié)合2種方法提出了一種基于流量場(chǎng)的人群狀態(tài)檢測(cè)方法。

3.1人群密度估計(jì)

本文通過分析視頻中人群運(yùn)動(dòng)的流量場(chǎng)來檢測(cè)人群運(yùn)動(dòng)狀態(tài)的異常。在一個(gè)空間內(nèi)，流量場(chǎng)由下式計(jì)算：

Q[DD（]→[DD）〗=ρ·V[DD（]→[DD）〗[JY]（1）

其中，ρ為流體的密度，V[DD（]→[DD）〗為流體的運(yùn)動(dòng)速度。在本文中，ρ被視為人群的密度。在分析視頻中人群運(yùn)動(dòng)狀態(tài)的過程中，沒有必要獲得場(chǎng)景中單位面積上人體的準(zhǔn)確數(shù)據(jù)，而是將區(qū)域中人群的密度劃分為若干等級(jí)。本文將人群的微團(tuán)作為人群密度估計(jì)的對(duì)象，將視頻幀中人群的微團(tuán)輪廓特征作為人群局部密度估計(jì)的特征，用BP神經(jīng)網(wǎng)絡(luò)將視頻幀中各考察區(qū)域的人群密度劃分為3個(gè)等級(jí)。endprint

本文將二值化的前景劃分為n*n個(gè)矩形框，取n=4。對(duì)每個(gè)矩形區(qū)域提取輪廓特征，將輪廓內(nèi)部的面積作為特征向量輸入BP網(wǎng)絡(luò)[10]，采用表1所示的對(duì)應(yīng)關(guān)系對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。選擇場(chǎng)景內(nèi)部輪廓面積的原因則在于其屬于穩(wěn)定的特征，不受人的衣著顏色、日照情況的影響。

3.2人群運(yùn)動(dòng)檢測(cè)

3.2.1運(yùn)動(dòng)速度幅值檢測(cè)

對(duì)濾波去噪后的視頻幀應(yīng)用數(shù)學(xué)形態(tài)學(xué)操作，可以進(jìn)一步去除無效的運(yùn)動(dòng)前景，簡(jiǎn)化圖像數(shù)據(jù)，保持跟蹤目標(biāo)的基本形狀。通過LK光流法可對(duì)場(chǎng)景中運(yùn)動(dòng)的目標(biāo)點(diǎn)進(jìn)行跟蹤，這些目標(biāo)點(diǎn)稱為特征點(diǎn)。此時(shí)場(chǎng)景中可能存在一些無效特征點(diǎn)，如雜物在風(fēng)的作用下的運(yùn)動(dòng)。此類無效特征點(diǎn)可通過2類條件得以消除，內(nèi)容闡釋如下：

1）特征點(diǎn)位移矢量的模過大，超出了人正常行走的瞬時(shí)速度極限。

2）連通的前景面積過小。

場(chǎng)景中特征點(diǎn)的運(yùn)動(dòng)速度定義為其在相鄰2幀間的位移，以像素距離表示。由速度公式：

v=〖SX（〗s〖〗t〖SX）〗[JY]（2）

求得特征點(diǎn)的瞬時(shí)速度。其中，s為特征點(diǎn)在2幀之間的位移，t為2幀的間隔時(shí)間，取決于幀速率。

3.2.2運(yùn)動(dòng)方向檢測(cè)

人群的運(yùn)動(dòng)方向反映了某一時(shí)刻人群的大致走向，是場(chǎng)景中人群異常檢測(cè)的重要參考信息。

本文選取8個(gè)方向作為特征點(diǎn)運(yùn)動(dòng)方向[11]，其中45°方向?yàn)榻品较?，即只要特征點(diǎn)不是水平或垂直運(yùn)動(dòng)，都會(huì)被歸類到4個(gè)近似方向中的一個(gè)方向上以簡(jiǎn)化計(jì)算；與直角坐標(biāo)系不同，計(jì)算機(jī)中所用的坐標(biāo)系其Y軸正方向與直角坐標(biāo)系中Y軸正方向相反，以左上角作為坐標(biāo)原點(diǎn)。圖1顯示了視頻場(chǎng)景中的坐標(biāo)系及位于其中的特征點(diǎn)的運(yùn)動(dòng)方向。

基于上述光流法的假設(shè)條件，人群運(yùn)動(dòng)檢測(cè)方法如下：

首先基于光流法求得當(dāng)前幀及上一幀的特征點(diǎn)坐標(biāo)集SCurrent和SPrev，二者比較去掉未運(yùn)動(dòng)的特征點(diǎn)的坐標(biāo)；接下來對(duì)a∈SCurrent，在其前后左右一定面積范圍內(nèi)尋找其在SPrev中的位置，本文選取的面積范圍為一個(gè)人的寬和高的乘積。最后在圖中標(biāo)識(shí)出每個(gè)人的運(yùn)動(dòng)方向。

為使圖像看起來較為清晰，本文提出了特征點(diǎn)聚類的方法。算法如下：

1）迭代器指向SCurrent第一個(gè)元素sstart。

2）遍歷SCurrent中每一個(gè)元素，判斷其與Sstart的距離，若小于某閾值，則將其與Sstart歸為一類。

3）從SCurrent中刪除所有屬于同一類的元素。

4）若SCurrent非空，返回1），否則結(jié)束。

算法最終運(yùn)行結(jié)果即如圖2所示。

3.3人群狀態(tài)的流量場(chǎng)判別

對(duì)人群狀態(tài)進(jìn)行判別的方式是對(duì)流量場(chǎng)展開分析。流量場(chǎng)的分析算法如下：

1）將場(chǎng)景中的每個(gè)區(qū)域mi再細(xì)分為n*n個(gè)子區(qū)域mij，求出mij的所有速度矢量并求其和矢量vi〖DD（-*2〗〖DD）〗，作為mi的速度矢量。

2）對(duì)每個(gè)區(qū)域的速度矢量，求其與8個(gè)臨近區(qū)域的速度矢量的差，將模最大的差向量放入相同位置的另一存儲(chǔ)區(qū)。圖3就顯示了mij中求矢量差的過程。差值反映了2個(gè)矢量間的不一致的程度。

3）最后遍歷場(chǎng)景中所有向量，找出幅值最大的矢量，若大于某一閾值t，則判斷為該場(chǎng)景中發(fā)生了異常情況。

4實(shí)驗(yàn)結(jié)果及分析

本文模擬所使用的視頻全部拍攝自哈工大正心樓，共有20 453幀圖像，分辨率為1 280×720，幀速率為每秒29幀。為驗(yàn)證算法有效性，對(duì)本文算法和文獻(xiàn)[13]中的人群狀態(tài)檢測(cè)方法進(jìn)行比較。文獻(xiàn)[13]同樣使用了神經(jīng)網(wǎng)絡(luò)的方法支持研發(fā)行人跟蹤。本文分別對(duì)正常情況和異常情況提供設(shè)計(jì)實(shí)驗(yàn)，結(jié)果如圖4、圖5所示。

采用文獻(xiàn)[13]的方法導(dǎo)致平均誤差率較高的原因則是僅利用了場(chǎng)景中人群的密度信息，卻未考慮人群的運(yùn)動(dòng)信息，因此影響了該方法的準(zhǔn)確性；而本文采用基于流量場(chǎng)的方法結(jié)合了人群的密度和速度信息，從而準(zhǔn)確率較高。

5結(jié)束語(yǔ)

本文主要針對(duì)視頻監(jiān)控場(chǎng)景中的人群運(yùn)動(dòng)分析問題進(jìn)行研究。利用BP神經(jīng)網(wǎng)絡(luò)檢測(cè)人群密度；同時(shí)基于光流法檢測(cè)人群運(yùn)動(dòng)狀態(tài)，達(dá)到了較高的準(zhǔn)確度和很好的實(shí)時(shí)性，基本滿足實(shí)時(shí)應(yīng)用的需要。

參考文獻(xiàn)：

[WTBZ][ST6BZ][HT6SS][1] [ZK（#〗

ALI I M， HASHIM A E， WANISMAIL W Z， et al. Spectators safety awareness in outdoor stadium facilities[J]. Procedia Engineering， 2011， 20：98-104.

[2] PATIL S， BERG J V D， CURTIS S， et al. Directing crowd simulations using navigation fields [J]. IEEE Transactions on Visualization and Computer Graphics， 2011，17（2）：244-254.

[3] SONG H Q， LIU X J， ZHANG X G， et al. Realtime monitoring for crowd counting using video surveillance and GIS[C]//2012 2nd International Conference on Remote Sensing， Environment and Transportation Engineering.Nanjing， China：IEEE，2012：1-4.endprint

[4] [JP3]ZHANG J， KLINGSCH W， SCHADSCHNEIDER A， et al. Experimental[JP] study of pedestrian flow through a T-junction[C]//Traffic and Granular Flow '11.Berlin Heidelberg：Springer，2013：241-249.

[5] STEFFEN B， SEYFRIED A. Methods for measuring pedestrian density， flow， speed and direction with minimal scatter [J]. Physica A Statistical Mechanics & Its Applications，2010，389（9）：1902-1910.[ZK）]

[HT5”SS][ST5”BZ][WT5”BZ][JY]（下轉(zhuǎn)第50頁(yè)）[FL）]

[CDF61]

[HT5”SS][ST5”BZ][WT5”BZ]（上接第50頁(yè)）

[HT5”SS][ST5”BZ][WT5”BZ][FL（2K2]

[HT6SS][ST6BZ][WT6BZ]

[6] [ZK（#] 李和平，胡占義，吳毅紅，等. 基于半監(jiān)督學(xué)習(xí)的行為建模與異常檢測(cè)[J]. 軟件學(xué)報(bào)，2007，18（3）：527-537.

[7] 鐘志，徐揚(yáng)生，石為人，等. 群體異常檢測(cè)[J]. 儀器儀表學(xué)報(bào)，2007，28（4）：614-620.

[8] 胡波，李曉華，沈蘭蓀. 場(chǎng)景監(jiān)控中的人群密度估計(jì)[J]. 電路與系統(tǒng)學(xué)報(bào)，2007，12（6）：19-22.

[9] VOLPI M， TUIA D， BOVOLO F， et al. Supervised change detection in VHR images using contextual information and support vector machines[J]. International Journal of Applied Earth Observation and Geoinformation， 2013，20（2）：77-85.

[10][JP3]RAJESH R， RAJEEV K， GOPAKUMAR V， et al. On experimenting[JP] with pedestrian classification using neural network[C]//2011 3rd International Conference on Electronics Computer Technology.Kanyakumari， India：IEEE，2011：107-111.

[11]FRANCESCO M D， MARKOWICH P A， PIETSCHMANN J F， et al. On the Hughes model for pedestrian flow： The onedimensional case[J]. Journal of Differential Equations. 2011，250（3）：1334-1362.

[12]DALE K， SHECHTMAN E， AVIDAN S， et al. Multivideo browsing and summarization [C]//Proc of Computer Vision and Pattern Recognition Workshops.Providence， RI， USA：IEEE，2012：1-8.

[13]HAN W J， HAN H S. Pedestrian detection-A neuromorphic approach[C]//2011 IEEE 54th International Midwest Symposium on Circuits and Systems （MWSCAS）.Seoul， South Korea：IEEE，2011：1-4.endprint