基于自適應(yīng)高斯模型和運(yùn)動(dòng)能量的異常行為識(shí)別

趙雪章　吳嘉怡　席運(yùn)江

摘? 要：為有效識(shí)別監(jiān)控視頻中的群體異常行為，提出一種基于自適應(yīng)高斯模型和運(yùn)動(dòng)能量的異常行為識(shí)別方法。將自適應(yīng)幀間差分法融入混合高斯模型中，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行提取，計(jì)算行為發(fā)生個(gè)體的動(dòng)態(tài)能量，利用行為發(fā)生各方的位置關(guān)系計(jì)算出交互能量，最終計(jì)算出異常行為事件的整體能量總值，從而實(shí)現(xiàn)群體異常行為的有效識(shí)別。實(shí)驗(yàn)結(jié)果表明，該文算法對(duì)人群異常行為具有較好的識(shí)別效果，算法實(shí)時(shí)性較好，具有一定的應(yīng)用推廣價(jià)值。

關(guān)鍵詞：高斯模型；運(yùn)動(dòng)能量；異常行為

中圖分類號(hào)：TP391.4；TP312 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2023）19-0079-05

Abnormal Behavior Recognition Based on Adaptive Gaussian Model and Motion Energy

ZHAO Xuezhang1， WU Jiayi1， XI Yunjiang2

（1.Electronic Information School， Foshan Polytechnic， Foshan? 528137， China;

2. School of Business Administration， South China University of Technology， Guangzhou? 510641， China）

Abstract： To effectively identify group abnormal behavior in surveillance videos， a method for identifying abnormal behavior based on adaptive Gaussian model and motion energy is proposed. Integrating the adaptive inter frame difference method into a mixed Gaussian model， extracting moving targets， calculating the dynamic energy of individuals involved in behavior， utilizing the positional relationships of all parties involved in behavior to calculate interaction energy， and ultimately calculating the overall energy total of abnormal behavior events， thus achieving effective identification of group abnormal behavior. The experimental results show that the algorithm proposed in this paper has good recognition performance for group abnormal behavior， and has good real-time performance， which has certain application and promotion value.

Keywords： Gaussian model; motion energy; abnormal behavior

0? 引? 言

近年來(lái)，群體異常事件（如踩踏、游行和群毆等）層出不窮，比如2015年上海外灘發(fā)生的踩踏事件中人員傷亡較為嚴(yán)重，對(duì)社會(huì)造成了惡劣的影響。為此，社會(huì)各界愈發(fā)重視公共安全[1]。相關(guān)部門加大公共區(qū)域視頻監(jiān)控設(shè)備的數(shù)量及覆蓋面，實(shí)現(xiàn)實(shí)時(shí)檢測(cè)群體異常行為。然而，視頻數(shù)據(jù)量過(guò)大、隨機(jī)性強(qiáng)，經(jīng)了解發(fā)現(xiàn)此方面的內(nèi)容有兩種處理方式：

1）人工檢測(cè)。采用這種方式進(jìn)行檢測(cè)時(shí)，工作人員的工作任務(wù)量大，長(zhǎng)時(shí)間連續(xù)監(jiān)測(cè)情況下容易出現(xiàn)視覺疲勞、注意力不集中的情況，從而降低檢測(cè)的準(zhǔn)確率。

2）事后對(duì)事故發(fā)生時(shí)的視頻進(jìn)行取證分析。但由于信息的滯后性，無(wú)法在事件發(fā)生時(shí)迅速地做出決策與響應(yīng)[2]。由此可見，從維護(hù)社會(huì)安全的角度來(lái)看，設(shè)計(jì)一種能夠自動(dòng)檢測(cè)、監(jiān)控識(shí)別場(chǎng)景中群體異常行為的方法具有非常重要的意義[3]。

群體異常行為識(shí)別對(duì)群體事故發(fā)生前的及時(shí)預(yù)警起到非常關(guān)鍵的作用，目前國(guó)內(nèi)外研究學(xué)者已就群體異常行為識(shí)別進(jìn)行了大量的工作。Sillito等人[4]以粒子產(chǎn)生的軌跡特征為基礎(chǔ)，創(chuàng)建相應(yīng)的人體運(yùn)動(dòng)模式，從而更好地估計(jì)出正樣本特征的概率分布，同時(shí)結(jié)合增量學(xué)習(xí)的方法更新模型進(jìn)行異常行為的識(shí)別。王夢(mèng)迪[5]對(duì)較低拍攝角度產(chǎn)生的透視形變問題進(jìn)行了較為深入的研究，提出一種以多尺度分塊方向?yàn)榛A(chǔ)的檢測(cè)方法，可以對(duì)群體異常行為進(jìn)行更加有效的識(shí)別。

當(dāng)前，群體異常行為識(shí)別算法仍存在適應(yīng)性和實(shí)時(shí)性兩方面的缺陷，一方面是因?yàn)閳?chǎng)景的不可控性和復(fù)雜性加之異常行為的多樣性，使得所構(gòu)建算法模型的識(shí)別率不高；另一方面是因?yàn)楫惓Ｊ录酁橥话l(fā)事件，短時(shí)間內(nèi)即可造成較大的危害，必須要求做出即時(shí)反應(yīng)，而現(xiàn)有的光流法、社會(huì)力模型等復(fù)雜度高，實(shí)時(shí)性有待提高［6，7］。本文針對(duì)已有算法的不足，提出一種基于自適應(yīng)高斯模型和運(yùn)動(dòng)能量的異常行為識(shí)別算法，通過(guò)與其他方法進(jìn)行對(duì)比，驗(yàn)證了本文方法具有較高的準(zhǔn)確率和時(shí)效性。

1? 混合高斯背景模型

通過(guò)對(duì)視頻序列的研究發(fā)現(xiàn)，自適應(yīng)混合高斯模型既能夠有效解決異常行為與正常行為數(shù)量上差異導(dǎo)致的不平衡問題，還可以有效消除復(fù)雜場(chǎng)景下光照變化乃至背景變化所帶來(lái)的影響[8，9]。本文采用自適應(yīng)高斯混合模型進(jìn)行建模。

將視頻序列幀中的每一個(gè)像素點(diǎn)看作kn個(gè)高斯混合，對(duì)像素點(diǎn)進(jìn)行時(shí)間序列{I1，I2，…，In}，然后按優(yōu)先級(jí)（w/σ）將時(shí)間序列從小到大排序，則混合高斯模型為：

其中，kn表示最大模型個(gè)數(shù)，wi，z表示第i個(gè)高斯分布在第z幀的高斯權(quán)重，ui，z和? 表示第i個(gè)高斯分布在第z幀的均值和協(xié)方差， 表示第i個(gè)高斯分布在第z幀的概率密度函數(shù)：

1.1? GMM模型匹配

如果視頻序列圖像中第i個(gè)像素點(diǎn)在第z幀的值Ii， z與前一時(shí)刻的期望值Ii， z-1相減小于 ，則認(rèn)為與混合高斯模型匹配成功Mi， z = 1，該像素點(diǎn)為背景，并自動(dòng)對(duì)每個(gè)高斯模型的參數(shù)進(jìn)行更新；否則認(rèn)為該點(diǎn)無(wú)法匹配Mi， z = 0，該像素點(diǎn)為前景，重新構(gòu)建一個(gè)新的高斯模型。

1.2? GMM模型參數(shù)更新

當(dāng)像素點(diǎn)與混合高斯模型成功匹配時(shí)，模型更新包括[10-12]：

1.3? 改進(jìn)的混合高斯模型

由式（3）和（6）可知，更新率大小決定著新模型創(chuàng)建的速度，如果更新率大，一個(gè)新的像素點(diǎn)可快速建立一個(gè)新的高斯模型；速度較慢的物體將被快速更新的混合高斯模型建模成背景，滿足一定速度（快于更新速度）的運(yùn)動(dòng)物體被當(dāng)作前景。更新率的大小直接影響目標(biāo)檢測(cè)的準(zhǔn)確性[13]。更新率的值比較大（α≥0.7）時(shí)，快速的背景更新使當(dāng)前幀的前景運(yùn)動(dòng)目標(biāo)留存前一幀的背景像素，導(dǎo)致一部分運(yùn)動(dòng)目標(biāo)被誤認(rèn)為背景，在目標(biāo)識(shí)別中產(chǎn)生漏檢。當(dāng)更新率的值比較?。é痢?.000 02）時(shí)，背景跟不上實(shí)際背景的變化，前景區(qū)域留存有前一幀的背景，導(dǎo)致運(yùn)動(dòng)區(qū)域產(chǎn)生大量的虛假目標(biāo)[14，15]。因此本文采用自適應(yīng)幀間差分法融入GMM混合算法。

定義第z幀的視頻序列fz（x，y）與第z-1幀序列相減，如果幀差的絕對(duì)值大于設(shè)定的閾值TZ，則認(rèn)為該點(diǎn)是相鄰兩幀變化的區(qū)域DC，否則為背景區(qū)域Dbg，幀間差分法計(jì)算式為：

（7）

其中，Pz（x， y）表示第z幀序列上的像素點(diǎn)。

光照發(fā)生突變時(shí)，圖像序列的像素值也會(huì)隨之發(fā)生變化，如采用式（7）中的固定閾值TZ（本文取50）來(lái)識(shí)別群體變化的區(qū)域，如果閾值TZ的值過(guò)小，檢測(cè)區(qū)域DC會(huì)引入大量噪聲，如果閾值TZ的值過(guò)大，則一部分DC區(qū)域會(huì)被誤認(rèn)為背景，導(dǎo)致部分DC區(qū)域目標(biāo)丟失。因此，將一個(gè)自適應(yīng)閾值T1添加到幀間差分算法中，使背景模型能夠自適應(yīng)光照突變。本文中改進(jìn)的自適應(yīng)光照閾值T1的計(jì)算式為：

（8）

其中，Tn表示改進(jìn)后的背景閾值，NS表示序列像素點(diǎn)的大小，幀間差分算法中新增加一項(xiàng)T1，用以解決自適應(yīng)光照突變的問題，改進(jìn)幀間差分法的計(jì)算式為[16]：

（9）

改進(jìn)的自適應(yīng)幀間差分GMM算法步驟為：

1）利用式（9）第z幀的視頻序列與第z-1幀序列計(jì)算出DC和Dbg。

2）DC區(qū)域的像素點(diǎn)通過(guò)GMM模型的式（9）進(jìn)行匹配，如果匹配成功（Mi，z = 1），該像素點(diǎn)為前一幀留存的背景區(qū)域Dbg，如果匹配不成功（Mi，z = 0），該像素點(diǎn)則為群體的前景運(yùn)動(dòng)目標(biāo)區(qū)域DC，然后分別與各自前A個(gè)高斯分布進(jìn)行匹配。匹配的計(jì)算式為：

（10）

3）為了避免在Dbg中引入噪聲，背景區(qū)域Dbg采用自適應(yīng)的更新率αz來(lái)保持背景的穩(wěn)定。通過(guò)更新率的自適應(yīng)選擇，獲得當(dāng)前背景下的混合高斯模型：

（11）

其中，Va，i表示在第z個(gè)更新率αz下獲得的背景數(shù)。背景像素點(diǎn)的均值和協(xié)方差以式（12）～（14）更新：

（12）

（13）

（14）

4）群體的運(yùn)動(dòng)區(qū)域DC作為前景像素不再進(jìn)行匹配，所以為減少前景群體目標(biāo)對(duì)背景的影響，不再構(gòu)建新的高斯分布加入背景模型中，同時(shí)提高混合算法的實(shí)時(shí)性。

2? 視頻能量評(píng)估

在實(shí)際的監(jiān)控場(chǎng)景中，視頻幀序列像素之間隱含著豐富的能量信息[17]。當(dāng)異常行為發(fā)生時(shí)，群體異常行為的整體能量將會(huì)瞬時(shí)突變。群體異常行為的整體能量既包含個(gè)體動(dòng)態(tài)能量，又包含個(gè)體與其他行為發(fā)生者的交互能量。

2.1? 個(gè)體動(dòng)態(tài)能量

通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)運(yùn)動(dòng)目標(biāo)不同行為的光流方向分布不同，正常運(yùn)動(dòng)的光流方向有主體方向，而群體異常行為的光流方向分布均勻，沒有主體方向。

由于動(dòng)態(tài)能量需要準(zhǔn)確的特征信息與效率因素，HS算法[18]主要用于計(jì)算稠密光流場(chǎng)的特點(diǎn)，本文選用HS算法進(jìn)行動(dòng)態(tài)特征提取，通過(guò)HS算法跟蹤視頻序列中連續(xù)三幀圖像的對(duì)應(yīng)特征點(diǎn)，得到當(dāng)前每一特征點(diǎn)的水平分量vx（i， j）和垂直分量vy（i， j），計(jì)算出速度矢量的幅值：

（15）

也很容易得到動(dòng)態(tài)特征中的運(yùn)動(dòng)方向角：

（16）

為進(jìn)一步辨識(shí)異常行為的變化情況，需要計(jì)算行為運(yùn)動(dòng)的方向角度差：

1）首先通過(guò)設(shè)定目標(biāo)區(qū)域的搜索范圍（w×h）找到具有最劇烈動(dòng)態(tài)特征的最大方向角：

（17）

2）依次計(jì)算光流場(chǎng)中每個(gè)像素點(diǎn)的方向角度與最大主方向角的差：

（18）

3）最后計(jì)算得到識(shí)別區(qū)域光流場(chǎng)中連續(xù)幀之間每個(gè)像素點(diǎn)的方向角度差：

（19）

目標(biāo)區(qū)域像素點(diǎn)每個(gè)動(dòng)態(tài)特征都被當(dāng)作是一個(gè)運(yùn)動(dòng)的質(zhì)點(diǎn)，個(gè)體能量值為目標(biāo)區(qū)域質(zhì)點(diǎn)總的能量值，模仿質(zhì)點(diǎn)運(yùn)動(dòng)的動(dòng)能計(jì)算式可得到基于HS算法的群體運(yùn)動(dòng)能量：

（20）

其中，E0（z，k）表示視頻幀序列第z幀中第k個(gè)質(zhì)點(diǎn)的個(gè)體能量值， 表示對(duì)應(yīng)的動(dòng)態(tài)特征，vi， j（z）表示第z幀圖像中（i，j）位置質(zhì)點(diǎn)的權(quán)重值。vi， j（z）的計(jì)算式為：

（21）

如果視頻處理幀的識(shí)別目標(biāo)數(shù)為n，則所有個(gè)體總能量的計(jì)算式為：

（22）

2.2? 交互能量

當(dāng)異常行為發(fā)生時(shí)，行為各方的距離越短，異常行為可能就越激烈，產(chǎn)生的能量也就越大，因此還需要考慮行為各方之間的交互能量，根據(jù)萬(wàn)有引力可得出第n幀視頻圖像中所包含的交互能量：

（23）

一幀圖像的動(dòng)態(tài)能量可通過(guò)分別計(jì)算個(gè)體能量和交互能量而得到：

（24）

3? 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法對(duì)識(shí)別群體異常行為的有效性，采用明尼蘇達(dá)大學(xué)（UMN）公開的群體事件數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，選用視頻中草坪、廣場(chǎng)兩個(gè)場(chǎng)景，以人群正常隨機(jī)走動(dòng)開始，如圖1所示，以人群無(wú)規(guī)則逃散結(jié)束，如圖2所示。從圖3中可以看出，數(shù)據(jù)集中不同場(chǎng)景下正常行為到無(wú)規(guī)則逃散帶來(lái)明顯的動(dòng)態(tài)能量突變，無(wú)規(guī)則逃散行為的總能量值遠(yuǎn)遠(yuǎn)大于正常行為的能量值，無(wú)規(guī)律可循，可以達(dá)到能量值的最大峰值。

從圖中可以看出，無(wú)規(guī)則逃散發(fā)生時(shí)，總動(dòng)態(tài)能量出現(xiàn)突變，a、b所指位置如豎線所示。

如表1所示為相同實(shí)驗(yàn)環(huán)境下，不同文獻(xiàn)算法的AUC值對(duì)比，可以看出，本文算法與文獻(xiàn)[10]、文獻(xiàn)[11]、社會(huì)力模型方法相比，AUC值最高，為98.24%。

從表1中還可以看出，本文算法相對(duì)另外三種算法大大節(jié)約了時(shí)間，算法實(shí)時(shí)性較好，在不影響檢測(cè)效果的前提下縮短了檢測(cè)時(shí)間。

4? 結(jié)? 論

本文提出一種基于自適應(yīng)高斯模型和整體運(yùn)動(dòng)能量的異常行為識(shí)別算法，將自適應(yīng)幀間差分法融入高斯模型混合算法中對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行提取，計(jì)算行為發(fā)生個(gè)體的動(dòng)態(tài)能量，再計(jì)算出行為發(fā)生各方的交互能量，計(jì)算出異常行為事件的整體能量總值，從而實(shí)現(xiàn)群體異常行為的識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)人群異常行為具有較好的識(shí)別效果，算法實(shí)時(shí)性較好，能夠在人群密集的場(chǎng)所實(shí)現(xiàn)對(duì)人群異常行為的識(shí)別預(yù)警，具有一定的應(yīng)用推廣價(jià)值。

參考文獻(xiàn)：

[1] 許澤柯.視頻監(jiān)控中的異常行為檢測(cè)算法研究 [D].廣州：華南理工大學(xué)，2018.

[2] 何傳陽(yáng)，王平，張曉華，等.基于智能監(jiān)控的中小人群異常行為檢測(cè) [J].計(jì)算機(jī)應(yīng)用，2016，36（6）：1724-1729.

[3] KAMINSKI L，GARDZINSKI P.KOWALAK K et al. Unsupervised abnormal crowd activity detection in surveillance systems [C]//2016 International Conference on Systems， Signals and Image Processing （IWSSIP）.[S.l]：IEEE，2016：1-4.

[4] SILLITO R，RFISHER R. Semi-supervised learning for anomalous trajectory detection [J].Proc. BMVC，2008（7）：1035-1044.

[5] 王夢(mèng)迪.視頻監(jiān)控場(chǎng)景中的群體異常行為檢測(cè)算法研究 [D].濟(jì)南：山東大學(xué)，2018.

[6] ZHONG Z，YE W Z，XU Y S. Detecting Human Abnormal Behaviors in Crowd.? International Journal of Information Acquisition，2007，4（4）：281-290.

[7] ZHONG Z，YE W. Z，WANG S. S，et al. Crowd Energy and Feature Analysis [C]//2007 IEEE International Conference on Integration Technology. Shenzhen：IEEE，2007：144-150.

[8] BERNHARD S，BURGES C J C，SMOLAA A J. Advanced in kernel methods support vector learning [M].Cambridge：MIT Press，1998.

[9] CHEN Y，LIANG G，LEE K，et al. Abnormal behavior detection by multi-svm-based Bayesian network [C]//Proceedings of 2007 International Conference on Information Acquisition. Seogwipo-si：IEEE，2007：298-303.

[10] 熊饒饒，胡學(xué)敏，陳龍，等.利用綜合光流直方圖的人群異常行為檢測(cè) [J].計(jì)算機(jī)工程，2017，43（10）：228-233.

[11] 韋招靜，卿粼波，王正勇，等．基于人群密度的異常行為檢測(cè)與分級(jí)研究 [J].電視技術(shù)，2018，42（3）：97-102．

[12] KRATZ L，NISHINO K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami：IEEE，2009：1446-1453.

[13] HUGHES R L. A continuum theory for the flow of pedestrians [J].Transportation Research Part B： Methodological，2002，36（6）：507-535.

[14] MUKAWA N. Optical-model-based analysis of consecutive images [J]. Computer Vision and Image Understanding，1997，66（1）：25-32.

[15] LIU H C，HONG T H，HREMAN M，et al. Accuracy vs. efficiency trade-offs in optical flow algorithms [EB/OL].[2023-01-12].https：//wenku.baidu.com/view/bfcb29cca1c7aa00b52acbbd.html？_wkts_=1694501223941&bdQuery=Accuracy+vs.+efficiency+trade-offs+in+optical+flow+algorithms.

[16] HUANG K Q，TAO D C，YUAN Y. et al. View-Independent Behavior Analysis [EB/OL].[2023-01-18].http：//ir.ia.ac.cn/handle/173211/3777？mode=full&submit_simple=show+full+item+record.

[17] 汪雙承，管業(yè)鵬.基于粒子流和能量模型的異常行為檢測(cè) [J].電子器件，2014，37（6）：1081-1086.

[18] HORN B K P，SCHRNCK B G. Determining optical flow [J] .Aritficial Intelligence，1981，17（1-3）：185-203.

作者簡(jiǎn)介：趙雪章（1972—），男，漢族，河南南陽(yáng)人，副教授，碩士，研究方向：圖像處理、模式識(shí)別等；吳嘉怡（1996—），女，漢族，廣東佛山人，初級(jí)實(shí)驗(yàn)師，本科，研究方向：圖像處理等；席運(yùn)江（1973—），男，漢族，河南南陽(yáng)人，副教授，博士，研究方向：智能算法等。

收稿日期：2023-03-30

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（72171090）；廣東省教育廳創(chuàng)新類項(xiàng)目（2019GKTSCX119）；廣東省教育廳教育教學(xué)改革研究與實(shí)踐項(xiàng)目（GDJG2019023）