基于光流共生矩陣的人群行為異常檢測

曾慶山，宋慶祥，范明莉

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

0 引言

近年來，公共場所人群安全問題日益頻發(fā)，應(yīng)用智能監(jiān)控技術(shù)進行安全管理，并在群體性安全事件發(fā)生初期自動檢測識別并預(yù)警，是當(dāng)前計算機視覺領(lǐng)域的研究熱點.人群行為異常檢測算法主要通過視頻預(yù)處理、特征提取、模型構(gòu)建等步驟從監(jiān)控視頻中檢測識別異于平常的人群行為.近些年來，國內(nèi)外研究人員在人群行為異常檢測問題上提出了許多經(jīng)典的算法,從算法理論基礎(chǔ)的角度來說，大致可以分為兩類:(1)基于人群運動軌跡的檢測算法[1-3]，如文獻[2]通過建立正常人群行為軌跡的隱馬爾科夫模型(HMM)進行人群行為異常檢測；(2)基于底層特征的檢測算法[4-10]，如文獻[4]通過提取視頻的三維時空梯度特征并對其進行HMM模型訓(xùn)練，進行人群行為異常檢測.

第一類算法在人群稀疏無遮擋的情況下效果不錯，然而在中高密度存在人群相互遮擋的情況下效果不佳；第二類算法在一定程度上避免了因人群相互遮擋對算法性能的影響，但仍存在一些問題.如文獻[7]通過構(gòu)建混合時空動態(tài)紋理特征(MTSDT)進行人群行為異常檢測，然而MTSDT本質(zhì)上基于圖像紋理，更傾向于描述人群圖像紋理的變化而非人群運動行為的實際情況，因此以其作為人群行為異常檢測的判別特征，將會影響到人群行為異常檢測的正確率.

針對傳統(tǒng)基于圖像紋理特征來檢測人群行為異常所造成的偏差，筆者提出一種人群運動行為狀態(tài)的特征提取方法,即通過建立光流幅值共生矩陣與光流方向共生矩陣來提取人群運動信息空間分布特征，并基于此進行人群行為異常檢測.首先采用Lucas-Kanade[11]光流法提取視頻中人群的運動信息，在此基礎(chǔ)上構(gòu)建光流幅值共生矩陣和光流方向共生矩陣，通過共生矩陣提取角二階距、對比度、熵、相似度等特征，并與光流值均值合并作為特征向量訓(xùn)練支持向量機(support vector machine,SVM)，進行人群行為異常檢測.通過構(gòu)建視頻光流共生矩陣提取人群運動行為光流分布紋理特征，能夠有效描述人群運動行為狀態(tài)，最后通過實驗驗證了本文算法并取得了較好的檢測性能.

1 人群行為異常檢測

1.1 光流法

1950年由Gibso首先提出的光流(optical flow)法是運動圖像分析的重要方法.當(dāng)物體在運動時，對應(yīng)像素點的亮度模式在圖像上會做相應(yīng)運動，這種圖像亮度模式的表觀運動就是光流.由于其映射了目標(biāo)的運動信息，觀察者可以用其來確定目標(biāo)的運動情況，與其它運動估計算法如塊匹配法相比能夠提取較為精細化的物體運動信息.

假設(shè)f(x,y,t)是時刻t圖像上坐標(biāo)點為(x,y)的灰度值，假設(shè)(x,y)的直接鄰域在時間間隔dt內(nèi)被平移了某個微小的距離(dx,dy)，根據(jù)泰勒公式像素點的微小運動可表示為:

f(x+dx,y+dy,t+dt)=

f(x,y,t)+fxdx+fydy+ftdt+o(δ2)，

(1)

式中：fx、fy、ft為偏導(dǎo)數(shù)，如果dx、dy、dt非常小，那么式(1)中的高階項可以忽略不計.又假設(shè)像素點的微小運動不改變其灰度值，如式(2)所示：

f(x+dx,y+dy,t+dt)=f(x,y,t).

(2)

合并式(1)與式(2)則有光流約束方程:

(3)

fxμ+fyν=-ft.

(4)

1.2 光流共生矩陣及特征提取

1.2.1 光流幅值共生矩陣及特征提取

利用Lucas-Kanade光流算法提取視頻中人群運動光流值，其光流值彩色圖像如圖1所示.在相似人群密度情況下，對比不同人群行為狀態(tài)光流值彩色圖像紋理特征，可以發(fā)現(xiàn)當(dāng)人群行為正常時，如圖1(c)所示其光流值彩色圖像紋理比較平滑，對比度較低；當(dāng)人群發(fā)生逃散行為時，如圖1(d)所示其光流值彩色圖像紋理比較尖銳，對比度較高.筆者根據(jù)這個現(xiàn)象，提出建立光流值共生矩陣，對其進行統(tǒng)計計算提取人群運動行為特征.

圖1 光流圖像示意圖Fig.1 Schematic diagram of optical flow image

通過對灰度圖像紋理特征提取方法灰度共生矩陣[12]的研究，筆者提出建立光流幅值共生矩陣來提取人群運動速度大小空間分布特征.首先利用Lucas-Kanade光流算法提取視頻中人群運動光流值，為降低計算復(fù)雜度，將光流值按照模值大小分成16個等級，將等級值替換光流值建立新的光流矩陣，并按照構(gòu)建灰度共生矩陣的方法建立光流幅值共生矩陣.

在一個光流幅值矩陣中隨機的選擇點(i,j)與點(i+a,j+b)形成一個點對，按照其對應(yīng)光流值等級如圖2進行統(tǒng)計.遍歷矩陣中所有點并按照指定水平距離a與垂直距離b兩兩組合成一個點對，進行統(tǒng)計建立光流幅值共生矩陣.光流幅值共生矩陣在本質(zhì)上是指定距離與角度的像素光流幅值的聯(lián)合直方圖，取不同的a和b值可以改變指定的距離與角度參數(shù)值.如圖2所示，左圖為光流幅值矩陣，其光流值按照模值大小分成4個等級.設(shè)指定距離為1，方向為水平方向，從光流矩陣中統(tǒng)計由光流值1變化到光流值1的點對數(shù)，總計1次，則右圖光流幅值共生矩陣第一行第一列值記為1.

圖2 光流共生矩陣建立示意圖Fig.2 Schematic diagram of the optical flow and the co-occurrence matrix

本文通過提取光流幅值共生矩陣角二階距、對比度、熵與相似度等統(tǒng)計特征，表征人群運動行為狀態(tài)的光流值空間分布特征.其特征計算方法如下所述，式中：i代表光流共生矩陣元素的行數(shù)；j代表其所在的列數(shù)；d代表計算光流共生矩陣時所采用的兩像素之間距離；θ代表兩者之間的角度；p(i,j)代表共生矩陣概率值.

角二階矩E是光流幅值共生矩陣所有元素值的平方和，可以表征光流幅值矩陣光流值分布的均一程度.角二階矩越大，光流幅值共生矩陣元素分布就越集中，其計算如式(5)所示：

(i,j)2.

(5)

對比度C反映圖像的清晰度和溝紋的深淺程度.當(dāng)人群行為正常時，其相應(yīng)光流幅值矩陣紋理的溝紋淺，其對比度??；當(dāng)人群行為異常如逃散時，其對應(yīng)光流幅值矩陣紋理的溝紋深，其對比度大.其計算如式(6)所示:

(i,j).

(6)

根據(jù)信息論理論，可以用熵來表征信息的不確定程度.當(dāng)人群處于逃散狀態(tài)時，與人群正常行為狀態(tài)相比光流值分布更加混亂，人群運動行為正常情況光流值分布均勻.利用光流幅值共生矩陣熵值S來描述人群運動行為的混亂程度，光流幅值空間分布越混亂，熵值就越大.其計算如式(7)所示:

(i,j)logp(i,j).

(7)

除了角二階距、對比度、熵之外，為了更好地表征人群在逃散過程中所表現(xiàn)出的從眾性，引入相似度的特征，它是共生矩陣元素在行或列方向上的相似度X的度量，其計算如式(8)所示:

(8)

式中：σi、σj是共生矩陣的方差；μi、μj是共生矩陣的均值.

(9)

(10)

(11)

(12)

通過統(tǒng)計研究發(fā)現(xiàn)，人群行為發(fā)生騷亂、逃散等異常情況時，比人群正常行為狀態(tài)下運動速度要高，光流值可以很好的反映人群運動速度.因此光流幅值矩陣均值大小可作為判斷人群行為異常的一個很重要的特征，其計算如式(13)所示:

(13)

1.2.2 光流方向共生矩陣及特征提取

當(dāng)人群遇到突發(fā)意外事件時，在逃散過程中往往因場景的不同不僅伴隨著人群運動速度大小的特定變化，人群運動方向空間分布紋理也會發(fā)生變化.比如在室外空曠場景中，人群在遇到突發(fā)事件時往往會選擇逃離事件中心位置，雖然具體方向不定，但是因為人群行動有著從眾性，運動方向相似度較高，如圖3(a)所示.而在室內(nèi)人群遇到突發(fā)事件時，與室外四散情況不同的是，往往會最快逃向出口方向，方向明確，如圖3(b)所示.筆者通過構(gòu)建光流方向共生矩陣并提取其統(tǒng)計特征來表征不同人群行為狀態(tài)下光流方向的空間分布關(guān)系.

圖3 不同場景中人群行為異常Fig.3 Abnormal crowd behavior in different scenes

首先將平面上360°按照45°的間隔分成8個區(qū)間，即D={[-π,-3/4π),[-3/4π,-1/2π),[-1/2π,-1/4π), [-1/4π,0),(0,1/4π),[1/4π,1/2π),[1/2π,3/4π),[3/4π,π]}.設(shè)Di代表第i個區(qū)間，i取值為{1,2,3,…,8}，其中不包含0°，即背景部分.將屬于Di區(qū)間的光流方向標(biāo)記為i,背景相應(yīng)的像素點方向標(biāo)記為0，建立與視頻圖像相應(yīng)的光流方向矩陣，然后利用與光流幅值共生矩陣相同的方法建立光流方向共生矩陣.

通過對光流方向共生矩陣進行統(tǒng)計計算，提取角二階距、對比度、熵與相似度等特征，描述不同人群行為狀態(tài)下運動方向的空間分布關(guān)系.

1.3 SVM分類器介紹

SVM是一種基于統(tǒng)計學(xué)習(xí)理論的新型機器學(xué)習(xí)方法，在解決小樣本、非線性和高維度的模式識別問題中具有明顯優(yōu)勢[13].人群行為異常檢測作為一種典型的小樣本、非線性模式識別問題，SVM是一種比較合適的特征分類方法.筆者通過構(gòu)建光流幅值共生矩陣和光流方向共生矩陣，提取角二階距、對比度、熵與相似度等人群運動信息空間分布特征，與光流矩陣幅值均值合并組成特征向量，然后對其進行預(yù)處理與歸一化處理，最后對已標(biāo)定好的視頻數(shù)據(jù)提取特征并訓(xùn)練SVM分類器，使用測試視頻數(shù)據(jù)來驗證本文所提出人群行為異常檢測算法的檢測性能.

1.4 實驗步驟

針對傳統(tǒng)基于圖像紋理特征的人群行為異常檢測算法性能較差的問題，筆者提出一種基于人群運動信息空間分布特征的人群行為異常檢測算法,即通過建立光流幅值共生矩陣與光流方向共生來提取人群運動行為的整體特征，并結(jié)合光流幅值均值，組成合并特征向量訓(xùn)練SVM作為分類器進行檢測人群行為異常狀態(tài)，其步驟如下：

(1)采用Lucas-Kanade光流法提取監(jiān)控視頻人群運動的光流信息，建立光流幅值矩陣與光流方向矩陣.

(2)分別建立光流幅值共生矩陣與光流方向共生矩陣，并提取其特征即二階距、對比度、熵、相似度，與光流幅值矩陣均值合并組成特征向量,大小為1×9.

(3)因視頻受攝像器材抖動、光照突變的影響會使所提取的特征產(chǎn)生噪聲.筆者采用中值濾波方法對特征進行濾波處理，減少噪聲影響.

(14)

Cgi=Cdi/max(Cd).

(15)

(5)將視頻隨機分成訓(xùn)練集與測試集，利用訓(xùn)練集數(shù)據(jù)訓(xùn)練SVM分類器模型，然后利用訓(xùn)練好的SVM分類器模型對測試集視頻進行人群行為異常檢測，驗證算法性能.

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)庫與評判標(biāo)準(zhǔn)

為了測試本文算法的有效性，選取人群行為異常檢測算法測試標(biāo)準(zhǔn)數(shù)據(jù)集，即美國明尼蘇達大學(xué)UMN數(shù)據(jù)庫中的相關(guān)視頻序列進行測試.UMN數(shù)據(jù)庫視頻基于3個不同的背景進行拍攝，共包含11個不同情境的人群逃散事件視頻段，共有6 369幀正常幀數(shù)，1 072幀異常幀數(shù).

為了評估人群異常行為檢測算法的實用性，筆者利用ROC(receiver operating characteristic curve)下的面積AUC(area under ROC curve)作為評判標(biāo)準(zhǔn)，AUC通常介于0.5～1，其值越大說明算法性能越好.其中ROC曲線是以真陽性率tpr為縱坐標(biāo)，假陽性率fpr為橫坐標(biāo)繪制的曲線，利用ROC曲線能很容易觀察出算法的分類識別性能.

2.2 實驗結(jié)果與分析

筆者對數(shù)據(jù)庫UMN中3個場景11段視頻的人群異常行為進行了檢測，首先隨機選取一部分視頻作為訓(xùn)練集，另一部分視頻作為測試集.然后對本文算法進行驗證，每種場景的ROC曲線如圖5所示.圖5表明：本文算法對不同場景能夠很好地進行人群異常行為檢測.

圖4 UMN 數(shù)據(jù)集Fig.4 UMN data set

圖5 UMN 數(shù)據(jù)集中3種場景的異常檢測ROC曲線Fig.5 Anomaly detection ROC curve of three scenes in UMN data set

方法場景AUCSocialForce[10]混合場景09600OpticalFlow[10]混合場景08400D?IncSFA[15]混合場景09692STVV[16]混合場景09300場景一09950SparseScene2[14]場景二09750場景三09640本文方法場景一09963場景二09994場景三09790混合場景09838

計算得出3種場景下ROC曲線下面積AUC值，分別為0.996 3、0.999 4、0.979 0；在3種場景中各選一部分幀做訓(xùn)練集，另一部分做測試集，仿真得到AUC為0.983 8.將本文的檢測算法與其他幾種檢測算法進行對比，分別是光流法Social Force[10]、社會力模型Optical Flow[10]、稀疏重構(gòu)Sparse Scene2[14]、深度增量慢特征分析網(wǎng)絡(luò)D-IncSFA[15]、時空語境分析STVV方法[16].如表1所示，與其他算法相比，本文算法性能較優(yōu)，在不同場景下取得了更好的人群行為異常檢測效果.

3 結(jié)束語

筆者介紹了一種描述人群運動行為真實情況的運動圖像紋理特征提取方法.該方法通過圖像光流值建立光流幅值共生矩陣與光流方向共生矩陣，然后提取人群運動統(tǒng)計特征，利用SVM作為分類器進行訓(xùn)練，最后通過訓(xùn)練完成的模型對人群行為異常做出判斷.實驗結(jié)果顯示，該算法在檢測人群異常事件時具有比較理想的檢測結(jié)果，與其他算法相比性能較優(yōu).

參考文獻：

[1] ZHAN B, MONEKOSSO D W，REMAGNINO P, et al. Crowd analysis:a survey[J] Machine vision and applications, 2008,19(5):345-357.

[2] ZHANG T, LU H, LI S Z. Learning semantic scene models by object classification and trajectory clustering[C]//IEEE Conference on Computer Vision and Pattern Recognition (2009).Miami,FL,USA：IEEE,2009:1940-1947.

[3] MA R, LI L, HUANG W, et al. On pixel count based crowd density estimation for visual surveillance[C]//2004 IEEE Conference on Cybernetics and Intelligent Systems. Singapore: IEEE, 2004,1:170-173.

[4] KRATZ L, NISHINO K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models[C]//IEEE Conference on Computer Vision and Pattern Recognition(2009). Miami, FL: IEEE, 2009:1446-1453.

[5] 逯鵬,梁玉,陳樹偉. 基于角點動能的視頻群體異常行為檢測[J]. 鄭州大學(xué)學(xué)報(工學(xué)版), 2015,36(3):20-24.

[6] 逯鵬,張利亞,黃石磊,等. 基于稀疏超完備的異常行為檢測算法[J]. 鄭州大學(xué)學(xué)報(工學(xué)版),2016,37(6):72-76.

[7] MAHADEVAN V, LI W, BHALODIA V, et al. Anomaly detection in crowded scenes[C]//2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010:1975-1981.

[8] 胡斌斌,涂錚錚,鄭愛華,等. 基于單元格運動特征的人群異常檢測[J]. 計算機應(yīng)用與軟件,2014, 31(8): 157- 159.

[9] 杜鑒豪,許力. 基于區(qū)域光流特征的異常行為檢測[J].浙江大學(xué)學(xué)報(工學(xué)版),2011,33(7):1161-1166.

[10] MEHRAN R, OYAMA A, SHAH M. Abnormal crowd-behavior detection using social force model[C]//IEEE Conferenceon Computer Vision and Pattern Recognition. Miami, FL: IEEE, 2009:935-942.

[11] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]//International Joint Conference on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann Publishers Inc. 1981:674-679.

[12] 鄭紅,李釗,李俊. 灰度共生矩陣的快速實現(xiàn)和優(yōu)化方法研究[J]. 儀器儀表學(xué)報,2012,33(11):2509-2515.

[13] 陳剛,王宏琦,孫顯. 基于核函數(shù)原型和自適應(yīng)遺傳算法的SVM模型選擇方法[J]. 中國科學(xué)院大學(xué)學(xué)報, 2012, 29(1):62-69.

[14] CONG Y, YUAN J S, LIU J. Abnormal event detection in crowded scenes using sparse representation[J].Journal of pattern recognition, 2013, 46(7):1851-1864.

[15] HU X, HU S, HUANG Y, et al. Video anomaly detection using deep incremental slow feature analysis network[J].Iet computer vision, 2016, 10(4):258-265.

[16] LI N, WU X, XU D, et al. Spatio-temporal context analysis within video volumes for anomalous event detection and localization[J]. Neurocomputing, 2015, 155(5):309-319.