基于深度學(xué)習(xí)與稀疏光流的人群異常行為識(shí)別

羅凡波,王 平,梁思源,徐桂菲,王 偉

(西華大學(xué) 電氣與電子信息學(xué)院,成都 610039)

0 概述

目前,國(guó)內(nèi)外學(xué)者在人群異常行為檢測(cè)方面做了許多研究工作,其大致可分為基于低級(jí)視覺(jué)物征和基于粒子流兩個(gè)方面[1]。基于低級(jí)視覺(jué)特征提取的方法先使用計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)提取人群圖像的低級(jí)特征,再利用分類器進(jìn)行異常檢測(cè)[2]。文獻(xiàn)[3]提出基于全局光流法獲取方向直方圖,通過(guò)直方圖來(lái)表現(xiàn)人群異常,文獻(xiàn)[4]提出使用Lucas-Kanande光流法計(jì)算人群速度與運(yùn)動(dòng)方向特征,通過(guò)SVM進(jìn)行訓(xùn)練分類判斷異常行為;也有學(xué)者使用基于光流和灰度值的協(xié)方差矩陣進(jìn)行異常行為檢測(cè)[5]。基于低級(jí)視覺(jué)進(jìn)行的特征提取能從數(shù)據(jù)上直觀反映人群的運(yùn)動(dòng)狀態(tài),但是所提取的運(yùn)動(dòng)信息單一,提取特征的過(guò)程耗時(shí)較多,使得實(shí)時(shí)性與準(zhǔn)確性不高,傳統(tǒng)的支持向量機(jī)同樣具有訓(xùn)練效率低、耗時(shí)、數(shù)據(jù)處理能力有限等問(wèn)題[6]?；诹Ｗ恿鞣椒ǚ治鋈巳盒袨?假定人受長(zhǎng)期外作用力進(jìn)行運(yùn)動(dòng),再計(jì)算相互作用力,設(shè)定閾值來(lái)檢測(cè)類似人群異常,其中的典型代表是社會(huì)力模型(SFM)[7],文獻(xiàn)[8]提出融合顯著性信息和社會(huì)力模型獲得相互作用力直方圖進(jìn)行異常判斷。但社會(huì)力模型建立較復(fù)雜,計(jì)算量較大,對(duì)監(jiān)控實(shí)時(shí)性要求無(wú)法滿足。

近年來(lái),深度學(xué)習(xí)的快速發(fā)展使機(jī)器學(xué)習(xí)取得了長(zhǎng)足進(jìn)步,具有代表性的模型有卷積神經(jīng)網(wǎng)絡(luò)(CNN)與YOLO;CNN與YOLO在圖像檢測(cè)與識(shí)別領(lǐng)域已經(jīng)取得了明顯的效果。文獻(xiàn)[9]利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車牌圖像超分辨率識(shí)別;文獻(xiàn)[10]使用選擇性數(shù)據(jù)采樣快速卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,進(jìn)行彩色眼底圖像出血檢測(cè);文獻(xiàn)[11]提出基于YOLO網(wǎng)絡(luò)的行人檢測(cè)方法;文獻(xiàn)[12]提出基于YOLO模型的車輛實(shí)時(shí)檢測(cè)。

現(xiàn)有的人群異常檢測(cè)方法多數(shù)是檢測(cè)人群突然奔跑的大規(guī)模異常,但未考慮引起這種群體異常的誘因。為此,本文提出一種基于YOLO_v3與稀疏光流的人群異常行為識(shí)別與定位方法。將監(jiān)控圖像劃分為多個(gè)子圖像,以便于異常定位,對(duì)引起群體異常的誘因進(jìn)行檢測(cè),通過(guò)改進(jìn)YOLO_v3神經(jīng)網(wǎng)絡(luò)搭建適用于檢測(cè)此類異常的模型。針對(duì)突散異常,使用稀疏光流法獲取人群平均動(dòng)能以及人群運(yùn)動(dòng)方向熵,將得到的特征數(shù)據(jù)輸入PSO-ELM進(jìn)行分類,區(qū)分正常行為與突散異常行為。

1 基于YOLO_v3的誘因檢測(cè)模型

本文人群異常行為檢測(cè)流程如圖1所示。在YOLO之前的物體檢測(cè)方法主要是通過(guò)候選區(qū)域產(chǎn)生的大量可能包含待檢測(cè)物體的potentialboundingbox,接著使用分類器去判斷每個(gè)potentialboundingbox是否包含物體,以及物體所屬類別的probability或confidence。YOLO不同于這些網(wǎng)絡(luò)的方法,它將物體檢測(cè)當(dāng)做一個(gè)回歸問(wèn)題來(lái)處理,使用一個(gè)神經(jīng)網(wǎng)絡(luò),將整張圖作為網(wǎng)絡(luò)的輸入,直接在輸出層回歸boundingbox的位置和boundingbox所屬的類別。YOLO作為當(dāng)前最優(yōu)秀的目標(biāo)檢測(cè)網(wǎng)絡(luò)之一,其實(shí)時(shí)處理圖像速度可達(dá)到45 frame/s。

圖1 異常檢測(cè)流程Fig.1 Anomaly detection procedure

1.1 YOLO_v3網(wǎng)絡(luò)

YOLO_v3[13]將輸入圖像劃分為S×S的柵格,每個(gè)柵格負(fù)責(zé)落在該柵格中的物體。每一個(gè)柵格預(yù)測(cè)B個(gè)boundingbox及其置信分?jǐn)?shù)(confidencescore),置信分?jǐn)?shù)反映了模型對(duì)于這個(gè)柵格的預(yù)測(cè),即該柵格是否含有物體以及這個(gè)box預(yù)測(cè)的準(zhǔn)確性。confidence定義如下:

(1)

(2)

在預(yù)測(cè)時(shí),每個(gè)候選框的分類置信分?jǐn)?shù)為預(yù)測(cè)目標(biāo)的類別概率和boundingbox預(yù)測(cè)的confidence相乘,即:

(3)

得到每個(gè)分類置信分?jǐn)?shù)之后,設(shè)置閾值將得分低的boxes篩除掉,即得到最終的檢測(cè)結(jié)果。

YOLO_v3的boundingbox的坐標(biāo)預(yù)測(cè)方式延續(xù)了YOLO_v2的做法,坐標(biāo)的損失采用的是平方誤差損失。其類別預(yù)測(cè)方面主要是將原來(lái)的單標(biāo)簽分類改為多標(biāo)簽分類,因此網(wǎng)絡(luò)結(jié)構(gòu)上就將原來(lái)用于單標(biāo)簽多分類的softmax層換成用于多標(biāo)簽多分類的邏輯回歸層。

YOLO_v3采用多個(gè)scale融合的方式預(yù)測(cè),在多個(gè)scale的feature map上進(jìn)行檢測(cè),對(duì)于小目標(biāo)的檢測(cè)效果提升比較明顯。

YOLO_v3的boundingbox初始尺寸采用YOLO_v2中的k-means聚類方式,這種先驗(yàn)知識(shí)對(duì)于boundingbox的初始化有較多優(yōu)點(diǎn),對(duì)算法的速度有一定提高。

YOLO_v3的網(wǎng)絡(luò)結(jié)構(gòu)是darknet-53,一方面基本采用全卷積,另一方面引入了residual結(jié)構(gòu),得益于此結(jié)構(gòu),訓(xùn)練網(wǎng)絡(luò)難度大大減小,因此YOLO_v3將網(wǎng)絡(luò)進(jìn)行到53層,精度提升較為明顯。

1.2 基于YOLO_v3小團(tuán)體異常檢測(cè)框架

基于YOLO_v3的小團(tuán)體異常行為檢測(cè)網(wǎng)絡(luò)框架如圖2所示。首先將數(shù)據(jù)集中訓(xùn)練集圖片調(diào)整為416×416×3的標(biāo)準(zhǔn)jpg圖片,將darknet-53中53個(gè)卷積層和21個(gè)池化層作為YOLO_v3進(jìn)行行人行為特征提取的主要網(wǎng)絡(luò)結(jié)構(gòu),75層到105層作為網(wǎng)絡(luò)的特征交互層,輸出featuremap,在此進(jìn)行行人異常種類分類和位置回歸。YOLO_v3行人異常行為檢測(cè)的基本流程如下:

1)將待檢測(cè)圖像輸入檢測(cè)模型,得到13像素×13像素×30像素行為特征點(diǎn)的特征圖。

2)13像素×13像素一共形成169個(gè)網(wǎng)格,每個(gè)網(wǎng)格預(yù)測(cè)6個(gè)邊框,每個(gè)邊框共有6類信息,其中1維圖像類別信息(持械與否、面部遮擋與否),1維邊框置信度和4維坐標(biāo)信息,獲得1個(gè)36維向量,即為最后得到的36個(gè)通道。

3)將前面預(yù)測(cè)到的13×13×6個(gè)目標(biāo)邊框,先通過(guò)預(yù)先設(shè)定的閾值去除掉小概率的目標(biāo)邊框,再使用非極大值抑制去除多余的預(yù)測(cè)邊框。該步驟預(yù)測(cè)邊框的選取主要通過(guò)式(1)～式(3)來(lái)進(jìn)行計(jì)算,并獲得最優(yōu)的預(yù)測(cè)邊框。

從整個(gè)行人異常行為的檢測(cè)過(guò)程中可以看出,本文使用的YOLO_v3行人異常行為檢測(cè)框架不再需要通過(guò)候選區(qū)域?qū)ふ抑付ǖ哪繕?biāo),而是直接使用回歸思想來(lái)進(jìn)行位置確定與異常行為類別的判斷。也正是這一原因,使得其檢測(cè)速度獲得了極大提高,能滿足當(dāng)前監(jiān)控系統(tǒng)的實(shí)時(shí)性要求。

圖2 YOLO_v3異常行為檢測(cè)框架Fig.2 YOLO_v3 abnormal behavior detection framework

2 訓(xùn)練階段

在訓(xùn)練階段,由于電腦顯卡內(nèi)存與電腦內(nèi)存都較小,因此采用小批量隨機(jī)梯度下降法,每64個(gè)樣本更新一次權(quán)重參數(shù)。為防止訓(xùn)練過(guò)程中產(chǎn)生數(shù)據(jù)量過(guò)大,內(nèi)存不足,經(jīng)多次實(shí)驗(yàn)后得到每個(gè)batch=64,subdivision=16,即每次訓(xùn)練4張圖片,總共迭代次數(shù)為20 000次。

2.1 YOLO_v3異常檢測(cè)模型的訓(xùn)練參數(shù)

為使本文YOLO_v3檢測(cè)網(wǎng)絡(luò)對(duì)不同尺寸的圖像始終有較好的適應(yīng)性,在訓(xùn)練方法上使用多圖像尺寸進(jìn)行訓(xùn)練,在訓(xùn)練中每隔5輪隨機(jī)抽取新的圖像尺寸送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使得該網(wǎng)絡(luò)對(duì)不同分辨率的人群圖像具有較好的適應(yīng)性,能維持一個(gè)較高水平的檢測(cè)準(zhǔn)確率。本文訓(xùn)練類別為五類,分別為行人(person)、持棍(club)、面部遮擋(shelter)、持槍(gun)、持刀(knife)等5個(gè)類別,訓(xùn)練參數(shù)設(shè)置如表1所示。

表1 訓(xùn)練參數(shù)設(shè)置Table 1 Training parameter settings

2.2 數(shù)據(jù)擴(kuò)充

在大多數(shù)情況下人群行為都是正常的,異常行為較少發(fā)生,且發(fā)生時(shí)間較短,故異常行為的訓(xùn)練數(shù)據(jù)較少,但對(duì)于深度神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)需要大量的訓(xùn)練數(shù)據(jù)支持,在現(xiàn)有的公開(kāi)數(shù)據(jù)集中,異常行為的樣本數(shù)據(jù)較少,所以需要使用數(shù)據(jù)擴(kuò)充方法來(lái)增加異常行為的數(shù)據(jù)量。

圖像的二維特征[14],如亮度、對(duì)比度、噪聲等對(duì)于人群的行為是沒(méi)有影響的,因此針對(duì)本文訓(xùn)練數(shù)據(jù)不足的問(wèn)題,通過(guò)增加亮度、降低亮度、提高對(duì)比度、降低對(duì)比度、添加椒鹽噪聲、添加高斯噪聲等手段,對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)擴(kuò)充,使目前異常行為的數(shù)據(jù)量變?yōu)樵瓉?lái)的數(shù)倍。利用上述手段改變每一幀圖像信息,既增加了樣本多樣性,也保留了原圖像中行人的行為特征,減小了正常樣本與異常樣本的數(shù)量差異。

3 改進(jìn)的稀疏光流法

本文通過(guò)改進(jìn)的稀疏光流法獲取光流信息,得到速度大小、加速度大小、運(yùn)動(dòng)方向等特征值,進(jìn)而計(jì)算人群平均動(dòng)能與人群運(yùn)動(dòng)方向熵。

3.1 稀疏光流原理

光流法[15]的使用要具備一定的條件,一是在監(jiān)控視頻中,相鄰幀之間的亮度保持一致,二是前景運(yùn)動(dòng)速度相較幀速率不能過(guò)快,三是相鄰點(diǎn)某一鄰域內(nèi)所有像素點(diǎn)的速度相等,即:

F(x,y,t)=F(x+Δx,y+Δy,t+Δt)

(4)

由泰勒函數(shù)展開(kāi)F(x,y,t)得到:

fxu+fyv+ft=0

(5)

對(duì)于v的估計(jì),在鄰域Ω內(nèi)求取加權(quán)平方和最小化得到:

(6)

其中,W(x)是一種權(quán)重函數(shù),該函數(shù)使Ω鄰域中心像素點(diǎn)的加權(quán)比周圍的像素點(diǎn)大,本文權(quán)重函數(shù)使用平滑高斯核函數(shù)。

根據(jù)L-K的使用條件,定義Ec為光流約束因子,Es為平滑約束因子:

(7)

(8)

求解的目標(biāo)光流即是使式(7)和式(8)中因子最小,即目標(biāo)函數(shù)E最小化:

(9)

其中,λ是Es、Ec的相對(duì)權(quán)重,其與噪聲強(qiáng)度有關(guān),本文選取一個(gè)適中值λ=0.5,設(shè):

w=(u,v,1)T

JP(3p)=W(x)·(3p·3pT)

(10)

其中,w表示在t時(shí)刻像素(x,y)處的速度梯度,3p表示強(qiáng)度梯度。

故式(6)可轉(zhuǎn)化為:

Emin=wT·Jp(3p)·w

(11)

得出改進(jìn)光流模型:

(12)

接下來(lái)可求出:

(13)

θ=arctan(vy/vx)

(14)

3.2 動(dòng)能與方向熵計(jì)算

平均動(dòng)能定義如下:

(15)

其中,N表示在一幀圖像中所有的運(yùn)動(dòng)矢量,即特征點(diǎn)個(gè)數(shù),mi表示質(zhì)量權(quán)重,為方便計(jì)算,設(shè)定每個(gè)個(gè)體質(zhì)量權(quán)重都為1,vi表示運(yùn)動(dòng)矢量的速度大小。

運(yùn)動(dòng)方向熵的計(jì)算如下:

1)運(yùn)動(dòng)方向角度:

Di=arctan(y/x)+π

(16)

將運(yùn)動(dòng)方向在[0,2π]上劃分為8個(gè)運(yùn)動(dòng)區(qū)間方向,每間隔π/4作為一個(gè)運(yùn)動(dòng)區(qū)間,定義方向直方圖:

hi={ki;0

(17)

其中,ki表示每一幀第i區(qū)間所包含的運(yùn)動(dòng)矢量數(shù)目。

2)概率分布計(jì)算:

Pi=h(i)/N;0

(18)

3)方向熵計(jì)算:

(19)

由于行人特征點(diǎn)較多,為降低運(yùn)算復(fù)雜度,本文采用等距采樣法進(jìn)行特征點(diǎn)的選取,在計(jì)算過(guò)程中不用逐幀進(jìn)行計(jì)算,本文借鑒幀差法思想,使用間隔5 frame計(jì)算一次,實(shí)驗(yàn)結(jié)果證明,該方法提高了運(yùn)行速度,且也不會(huì)對(duì)異常分類造成影響。

4 粒子群優(yōu)化極限學(xué)習(xí)機(jī)算法

極限學(xué)習(xí)機(jī)(ELM)是由文獻(xiàn)[16]提出的求解單隱層神經(jīng)網(wǎng)絡(luò)的算法。ELM最顯著的優(yōu)點(diǎn)是求解單隱層前饋神經(jīng)網(wǎng)絡(luò)時(shí),在保證學(xué)習(xí)精度的前提下其學(xué)習(xí)速度比傳統(tǒng)方法快得多;在算法中,輸入層與隱含層的連接權(quán)值與隱含層神經(jīng)元閾值使用rand函數(shù)生成,訓(xùn)練過(guò)程中無(wú)需人為手動(dòng)調(diào)整,只需進(jìn)行隱含層神經(jīng)元個(gè)數(shù)設(shè)置就能獲得唯一最優(yōu)解。本文針對(duì)兩組測(cè)試數(shù)據(jù),選取的隱含層神經(jīng)元個(gè)數(shù)分別為315個(gè)和305個(gè)。為能更好更快地找到最優(yōu)的連接權(quán)值與神經(jīng)元閾值,使用粒子群優(yōu)化算法(PSO)進(jìn)行參數(shù)尋優(yōu)。

4.1 PSO-ELM算法

粒子群算法[17]思想來(lái)源于鳥(niǎo)群的捕食行為,鳥(niǎo)群中的個(gè)體用無(wú)質(zhì)量的粒子模擬,粒子具有速度V和位置X兩個(gè)屬性,速度代表搜索參數(shù)的快慢,位置代表搜索參數(shù)移動(dòng)的方向。粒子在規(guī)定的區(qū)間內(nèi)單獨(dú)進(jìn)行最優(yōu)解搜尋,并將獲得的最優(yōu)解記為當(dāng)前個(gè)體極值Pbest,并將其分享給其他粒子,找到最優(yōu)個(gè)體極值作為當(dāng)前整個(gè)粒子群體全局最優(yōu)解Gbest;將所有粒子與全局最優(yōu)解進(jìn)行比較,進(jìn)而調(diào)整自己的V和X。使用PSO優(yōu)化ELM[19]后能得到更好的分類效果。本文使用的速度V的初始化范圍為(-1,1);位置X的初始化范圍為(-1,1);粒子群個(gè)數(shù)N為100。對(duì)于PSO-ELM通過(guò)下面步驟訓(xùn)練測(cè)試。

1)訓(xùn)練集:給定Q個(gè)不同樣本(xi,ti)。其中,xi=[xi1,xi2,…,xin]T,ti=[ti1]。xi為上述特征組合;ti為一個(gè)標(biāo)簽,表示目標(biāo)屬于哪一類人群,即正?；虍惓！?/p>

3)將提取的測(cè)試集特征送入訓(xùn)練好的模型中,實(shí)現(xiàn)突散異常檢測(cè)。

4.2 算法步驟

算法步驟如下:

1)針對(duì)兩組測(cè)試集,本文隱含層神經(jīng)元個(gè)數(shù)設(shè)置為315個(gè)和305個(gè),對(duì)ELM分類器使用PSO進(jìn)行連接權(quán)值與神經(jīng)元閾值尋優(yōu)。

2)本文激活函數(shù)選取S函數(shù),計(jì)算隱含層輸出矩陣H。

相關(guān)實(shí)驗(yàn)結(jié)果表明[18],在激活函數(shù)選取中,不僅可使用非線性激活函數(shù)分類非線性樣本,還可用線性激活函數(shù)分類非線性樣本,能夠獲得較好的效果。根據(jù)多次實(shí)驗(yàn),本文使用S型函數(shù)作為激活函數(shù)能獲得較好的分類效果,隱含層神經(jīng)元個(gè)數(shù)根據(jù)樣本集的變化而做出改變,能獲得較好的分類精度。

5 實(shí)驗(yàn)結(jié)果與分析

本文監(jiān)控系統(tǒng)是在普通PC機(jī)(CPU為8700K,3.70 GHz,8.00 GB內(nèi)存,顯卡為GTX1080,8 GB)上搭建,YOLO_v3部分在Windows CMD環(huán)境下進(jìn)行訓(xùn)練與測(cè)試,對(duì)稀疏光流與PSO-ELM部分是在MATLAB2014a編程環(huán)境下完成的;在數(shù)據(jù)集方面對(duì)持械異常使用INRIA,UCF101進(jìn)行可行性實(shí)驗(yàn),然后在拍攝的視頻數(shù)據(jù)集中仿真,對(duì)突散異常使用UMN的數(shù)據(jù)集。在實(shí)驗(yàn)前先將視頻分為多個(gè)子區(qū)域進(jìn)行測(cè)試,方便對(duì)異常進(jìn)行定位。

5.1 YOLO_v3異常行為檢測(cè)模型仿真結(jié)果

YOLO_v3檢測(cè)模型仿真結(jié)果如圖3所示,從圖中可以看出,通過(guò)本文的人群異常檢測(cè)模型能很準(zhǔn)確檢測(cè)出人群中持棍斗毆傷人異常、面部遮擋異常、持槍異常、持刀斗毆傷人異常。這幾類異常是傳統(tǒng)異常檢測(cè)模型無(wú)法準(zhǔn)確檢測(cè)到的,傳統(tǒng)模型大多只能檢測(cè)單一的人群突然奔跑異常,且一旦監(jiān)控場(chǎng)景改變,對(duì)檢測(cè)結(jié)果具有較大影響,造成極高的漏檢率,本文的模型對(duì)各個(gè)監(jiān)控場(chǎng)景都具有很強(qiáng)的魯棒性,能很好地適用于多監(jiān)控環(huán)境。本文模型的實(shí)時(shí)性完全能滿足社會(huì)生活監(jiān)控的需要,在硬件設(shè)備達(dá)到要求時(shí),能實(shí)時(shí)處理45 frame/s,隨著時(shí)間的推移,還會(huì)進(jìn)一步上升。

圖3 異常檢測(cè)效果Fig.3 Effect of anomaly detection

本文仿真每輪迭代從處理后的訓(xùn)練集中隨機(jī)抽batch=64個(gè)樣本進(jìn)行訓(xùn)練,由于本次實(shí)驗(yàn)采用的顯卡為8 GB顯存,為了減輕內(nèi)存占用壓力,每輪的64個(gè)樣本又被均分為subdivision=16次送入網(wǎng)絡(luò)參與訓(xùn)練。最終經(jīng)過(guò)20 000次的迭代,損失值最后保持在0.078 4左右,平均交并比達(dá)到85%左右,如圖4所示。

圖4 訓(xùn)練20 000次的loss值變化示意圖Fig.4 Loss value change diagram of 20 000 training times

5.2 MATLAB仿真結(jié)果

對(duì)UMN數(shù)據(jù)集進(jìn)行無(wú)規(guī)則突散分析,視頻共323 frame,隱含層神經(jīng)元個(gè)數(shù)為315個(gè),分類結(jié)果顯示從193 frame開(kāi)始,群體由無(wú)規(guī)則行走變?yōu)闊o(wú)規(guī)則突散,仿真結(jié)果如圖5所示。

圖5 無(wú)規(guī)則突散仿真效果Fig.5 Simulation effect of irregular spur

在突散異常發(fā)生之前,人群為正常行走,如圖5(a)所示,其平均動(dòng)能都較小,但到190多幀時(shí),人群平均動(dòng)能突然增大,然后到260多幀急劇下降。如圖5(b)所示,說(shuō)明在190多幀時(shí)發(fā)生了突散奔跑異常,隨著人群不斷跑出監(jiān)控區(qū)域,人群動(dòng)能不斷下降,直到所有人都走出監(jiān)控區(qū)域,動(dòng)能變?yōu)?;對(duì)于運(yùn)動(dòng)方向,如圖5(c)所示,由于異常發(fā)生之前人群就在無(wú)規(guī)則行走,異常發(fā)生后也是無(wú)規(guī)則突散,因此異常前后人群運(yùn)動(dòng)方向熵變化不明顯,直到所有人走出監(jiān)控區(qū)域,方向熵降為0。

對(duì)于UMN數(shù)據(jù)集進(jìn)行同方向突散分析,視頻共338 frame,設(shè)置隱含層神經(jīng)元個(gè)數(shù)為305,分類結(jié)果顯示在270 frame左右發(fā)生同向突散異常,仿真結(jié)果如圖6所示。

圖6 同向突散仿真效果Fig.6 Simulating effect of co-directional spur

在突散異常發(fā)生之前,人群正常無(wú)規(guī)則行走,如圖6(a)所示,其平均動(dòng)能有一些波動(dòng)是因?yàn)槿巳赫趽跻鸬?檢測(cè)出的人數(shù)變化對(duì)其有一定影響,但到270 frame左右時(shí),人群平均動(dòng)能突然增大,然后到290 frame左右急劇下降,如6(b)所示,說(shuō)明在270多幀時(shí)發(fā)生了突散奔跑異常,隨著人群不斷跑出監(jiān)控區(qū)域,人群動(dòng)能不斷下降,直到所有人都走出監(jiān)控區(qū)域,動(dòng)能變?yōu)?;對(duì)于運(yùn)動(dòng)方向,如圖6(c)所示,由于異常發(fā)生之前人群就在無(wú)規(guī)則行走,異常發(fā)生后發(fā)生的是同方向突散,因此異常前后人群運(yùn)動(dòng)方向熵變化較為明顯,直到所有人走出監(jiān)控區(qū)域,方向熵急劇下降,但后面有回升是因?yàn)楸O(jiān)控區(qū)域又有人進(jìn)入。

PSO-ELM分類結(jié)果如圖7所示,其與傳統(tǒng)異常行為檢測(cè)方法準(zhǔn)確率比較見(jiàn)表2。其中,圖7(a)對(duì)應(yīng)315個(gè)隱藏層神經(jīng)元,圖7(b)對(duì)應(yīng)305個(gè)隱藏層神經(jīng)元。

圖7 PSO-ELM分類效果Fig.7 PSO-ELM classification effect

表2 PSO-ELM突散異常分類準(zhǔn)確率Table 2 Classification accuracy rate of PSO-ELM spuranomalies

6 結(jié)束語(yǔ)

本文提出一種基于YOLO_v3與稀疏光流的人群異常行為識(shí)別與定位方法。首先將監(jiān)控圖像劃分為多個(gè)子圖像,以便于異常定位,然后對(duì)引起群體異常的誘因進(jìn)行檢測(cè),并針對(duì)訓(xùn)練數(shù)據(jù)不足的問(wèn)題,采用數(shù)據(jù)擴(kuò)充的方法增加訓(xùn)練數(shù)據(jù)。使用稀疏光流法獲取人群平均動(dòng)能與人群運(yùn)動(dòng)方向熵,將得到的特征數(shù)據(jù)送入PSO-ELM進(jìn)行分類,區(qū)分正常行為與突散異常行為。實(shí)驗(yàn)結(jié)果表明,本文方法能夠?yàn)閼?yīng)對(duì)人群異常采取相應(yīng)應(yīng)急措施提供更多時(shí)間,可有效檢測(cè)持械異常與面部遮擋異常,并且能準(zhǔn)確定位異常區(qū)域,具有較高的檢測(cè)準(zhǔn)確率。下一步研究將增加一些異常種類[19],將突散異常檢測(cè)功能整合到Y(jié)OLO_v3異常檢測(cè)模型中,使修改后的網(wǎng)絡(luò)能較好地檢測(cè)突散等異常行為。