基于線性稀疏模型和iHMM的群體異常事件檢測(cè)

司莉莉,郭春生

(杭州電子科技大學(xué) 通信工程學(xué)院,浙江 杭州 310018)

基于線性稀疏模型和iHMM的群體異常事件檢測(cè)

司莉莉,郭春生

(杭州電子科技大學(xué) 通信工程學(xué)院,浙江 杭州 310018)

在群體異常檢測(cè)中，人群特征感知主要提取個(gè)體的群體特性。提出了基于群特征的稀疏線性模型和無(wú)限隱馬爾可夫(SLM-iHMM)方法檢測(cè)人群異常事件。該方法通過(guò)統(tǒng)計(jì)模型整合空間和時(shí)間因素，基于SLM提取空間線索，從而在空間域中建立用于群特征提取的統(tǒng)計(jì)模型。時(shí)間線索在iHMM中被明確地編碼，用于分析來(lái)自空間域的時(shí)間多尺度特征。關(guān)于UMN數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證了該方法的可行性和有效性。

稀疏線性模型；空時(shí)因素；群體異常檢測(cè)

0 引言

群體場(chǎng)景中的視頻異常事件檢測(cè)成為智能監(jiān)控領(lǐng)域的一個(gè)熱點(diǎn)方向。視頻異常事件發(fā)生的區(qū)域比較復(fù)雜，可能發(fā)生在時(shí)域、空域或空時(shí)域。目前，視頻異常事件檢測(cè)算法主要基于機(jī)器學(xué)習(xí)，該方法首先從原始視頻圖像中提取出樣本事件的特征，通過(guò)特征學(xué)習(xí)建模獲得正常樣本的特征規(guī)律。檢測(cè)時(shí)，從測(cè)試視頻數(shù)據(jù)流中提取出樣本事件的特征，使用訓(xùn)練好的模型進(jìn)行估計(jì)，如果不符合正常樣本事件的特征規(guī)律，則被看作異常事件。

1 群體異常檢測(cè)研究現(xiàn)狀

對(duì)于群體異常事件的場(chǎng)景，章東平等[1]采用粒子視頻流獲得特征點(diǎn)運(yùn)動(dòng)軌跡，通過(guò)最長(zhǎng)共同子序列聚類(lèi)粒子軌跡，得到運(yùn)動(dòng)的主流方向，自動(dòng)識(shí)別人群行為；Wang等[2]針對(duì)光流計(jì)算量大和空時(shí)梯度需要包含輪廓信息的缺陷，將光流和空時(shí)梯度相結(jié)合，提出將KLT(Kanade Lucas Tomasi)角點(diǎn)作為特征來(lái)描述運(yùn)動(dòng)特征。國(guó)外，基于空時(shí)特征提取的一些異常檢測(cè)方法也應(yīng)運(yùn)而生。Kuettel等[3]提出了一種新的相關(guān)狄利克雷過(guò)程隱馬爾可夫模型(Dependent Dirichlet Process-Hidden Markov Model，DDP-HMM)，它基于iHMM和LDA(Latent Dirichlet Allocation)模型，在復(fù)雜的動(dòng)態(tài)場(chǎng)景中自動(dòng)學(xué)習(xí)時(shí)空相關(guān)性。其它的異常檢測(cè)方法通過(guò)分析時(shí)空環(huán)境和時(shí)空紋理來(lái)提取圖像特征，文獻(xiàn)[4]提出一種基于對(duì)視頻立方體內(nèi)的時(shí)空視頻體積配置分析的無(wú)監(jiān)督統(tǒng)計(jì)學(xué)習(xí)框架。通過(guò)稀疏編碼來(lái)學(xué)習(xí)全局和局部活動(dòng)模式，再?gòu)恼Ｐ袨閷W(xué)習(xí)的構(gòu)圖模式字典中，稀疏重建成本標(biāo)準(zhǔn)被設(shè)計(jì)為檢測(cè)在全局和本地視頻中發(fā)生的異常。

群體特征是每個(gè)個(gè)體群體特征的集合，即群體特征是群體中所有個(gè)體的一致性表現(xiàn)，群體中的個(gè)體既表現(xiàn)出一致的社會(huì)性，又具有相異的隨機(jī)性。由于群體特征的復(fù)雜性，本文提出一種基于稀疏線性模型[5](Sparse Linear Model, SLM)和無(wú)限狀態(tài)馬爾科夫模型[6](infinite Hidden Markov Model,iHMM)的空時(shí)模型——SLM-iHMM，分別在空間和時(shí)間上描述特征。假設(shè)群體特征服從一定先驗(yàn)分布，建立每個(gè)個(gè)體群體性和隨機(jī)性的統(tǒng)計(jì)表征模型，以協(xié)調(diào)群體中個(gè)體的群體性與隨機(jī)性，從而有效增強(qiáng)群體特征抽取的適應(yīng)性，提高異常檢測(cè)準(zhǔn)確率。

1.1 基于SLM-iHMM的群體異常檢測(cè)算法

本節(jié)將詳細(xì)介紹所提出的模型。首先，提取底層光流特征，該特征顯示較弱的時(shí)空特性。為了提高空時(shí)特征描述能力，在本文中引入時(shí)空SLM-iHMM。在空間域中，假設(shè)低級(jí)特征作為輸入以及需要的組特征作為SLM的輸出，在時(shí)域中，用iHMM捕獲稀疏向量的時(shí)間特性關(guān)系。該方法的流程如圖1所示。

圖1 SLM-iHMM算法流程

1.2 特征選擇與稀疏學(xué)習(xí)

首先闡述圖像特征選擇與稀疏學(xué)習(xí)之間的關(guān)系。通常能用很多屬性描述一個(gè)西瓜，例如色澤、根蒂、敲聲、紋理、觸感等，但是有經(jīng)驗(yàn)的人往往只需觀察根蒂與敲聲就知道是否是好瓜。換言之，對(duì)一個(gè)學(xué)習(xí)任務(wù)而言，給定屬性值，其中一些屬性可能非常關(guān)鍵、有用，另一些則可能無(wú)用。在視頻圖像處理領(lǐng)域，將這些屬性稱(chēng)為相關(guān)特征，無(wú)用屬性稱(chēng)為無(wú)關(guān)特征。從給定的特征集合中選擇出相關(guān)特征子集的過(guò)程，稱(chēng)為特征選擇。

特征選擇是一個(gè)重要的數(shù)據(jù)預(yù)處理過(guò)程，是機(jī)器學(xué)習(xí)中研究最早的分支之一，早期研究主要是按特征子集“生成與搜索—評(píng)價(jià)”過(guò)程來(lái)進(jìn)行。在現(xiàn)實(shí)機(jī)器學(xué)習(xí)任務(wù)中，獲得數(shù)據(jù)之后通常先進(jìn)行特征選擇，此后再訓(xùn)練學(xué)習(xí)器。進(jìn)行特征選擇有兩個(gè)重要原因：維數(shù)災(zāi)難問(wèn)題和特征選擇性[7]。在稀疏學(xué)習(xí)中，目標(biāo)函數(shù)被一組基函數(shù)表示，這種表示具有兩種約束：稀疏性與統(tǒng)計(jì)獨(dú)立性。稀疏性約束使目標(biāo)函數(shù)能被盡量少的基函數(shù)進(jìn)行線性表示，而統(tǒng)計(jì)獨(dú)立性約束能夠使稀疏編碼的冗余盡量減小。

1.3 底層特征表示

要進(jìn)行群體異常檢測(cè)，首先要提取圖像的底層特征進(jìn)行預(yù)處理。為了提高檢測(cè)效率，本文將檢測(cè)范圍縮小，只關(guān)注人群的全局活動(dòng)，對(duì)個(gè)體的局部特征不予考慮。對(duì)于已錄制的視頻，連續(xù)抽取視頻幀的光流特征。光流向量保留8個(gè)方向與2個(gè)尺度的運(yùn)動(dòng)信息，對(duì)于每一視頻幀，選取10×10的像素單元抽取其位移信息。

1.4 基于線性稀疏模型的空間特征

在一個(gè)SLM模型中，假設(shè)y作為數(shù)據(jù)的輸入，一般情況下，y是高維且冗余度較高的原始圖像信號(hào)，X是給定的過(guò)完備的用正常視頻特征訓(xùn)練的字典，u即是所求的稀疏向量。該項(xiàng)不僅具有稀疏性，而且還具有空間特性。假設(shè)視頻光流特征y∈Rm為SLM模型的輸入數(shù)據(jù)，則稀疏線性模型可以表示為：

(1)

其中編碼字典為X∈Rm×n，編碼噪聲為ε～N(0,σ2I)，y服從高斯分布，即P(y|u)=N(y|Xu,σ2I)。由于圖像特征在空間和時(shí)間域中的不規(guī)則分布，難以直接提取群體特征，本文假設(shè)u為每個(gè)個(gè)體的群體特征部分。自然圖像的群體特征呈現(xiàn)超高斯(或稀疏)形式表征，本文假設(shè)空間群體特征u服從超高斯分布，其形式如下：

(2)

其中，ti(ui)為限制超高斯勢(shì)能函數(shù)。

(3)

(4)

采用雙環(huán)算法求解目標(biāo)優(yōu)化函數(shù)。雙環(huán)算法主要分為內(nèi)環(huán)過(guò)程和外環(huán)過(guò)程兩部分求解。對(duì)于內(nèi)環(huán)過(guò)程，根據(jù)迭代最小二乘算法(IRLS)求解；對(duì)于外環(huán)過(guò)程，重新估計(jì)u。內(nèi)環(huán)過(guò)程和外環(huán)過(guò)程不斷進(jìn)行迭代，直到外環(huán)收斂，得到稀疏向量uMAP。

1.5 基于iHMM的時(shí)間特征提取

2002年，Beal等提出了無(wú)限狀態(tài)隱馬爾可夫模型iHMM，iHMM不再需要人為指定狀態(tài)數(shù)目，而是讓數(shù)據(jù)自己說(shuō)話，根據(jù)數(shù)據(jù)的自身特性智能地挑選最優(yōu)的狀態(tài)數(shù)目。群體異常事件的發(fā)生域是復(fù)雜的，它可能發(fā)生在時(shí)域、空域或空時(shí)域，通過(guò)iHMM對(duì)空間域的主題提取時(shí)間特征，增強(qiáng)時(shí)空特征的描述能力。

本文利用iHMM在時(shí)間上的多尺度特性來(lái)提取圖像特征的時(shí)間關(guān)系。首先將訓(xùn)練視頻段的稀疏向量u={u1,...uM}作為iHMM的輸入，訓(xùn)練得到具有時(shí)空特性的模型狀態(tài)轉(zhuǎn)移概率矩陣π和狀態(tài)觀測(cè)矩陣φ。本文選用訓(xùn)練視頻序列的平均對(duì)數(shù)似然函數(shù)作為每個(gè)圖像的新特征，該表達(dá)式可以表示為：

(5)

異常檢測(cè)時(shí)，將測(cè)試視頻段的稀疏向量作為已訓(xùn)練iHMM的輸入，計(jì)算得到每一幀的對(duì)數(shù)似然函數(shù)f=logp(ut|π,φ)，然后將f和L作差，若差值大于設(shè)好的閾值，判斷該幀為異常幀。

2 實(shí)驗(yàn)與分析

實(shí)驗(yàn)選取的視頻數(shù)據(jù)來(lái)自UMN公開(kāi)數(shù)據(jù)集,包括室內(nèi)外的3個(gè)不同場(chǎng)景。正常行為主要包括駐足、交談、散步等，異常行為為群體性逃跑事件。對(duì)于每一個(gè)視頻場(chǎng)景，抽取前150正常幀作為訓(xùn)練視頻集，用于訓(xùn)練SLM-iHMM模型。同時(shí)，將整個(gè)視頻場(chǎng)景作為測(cè)試視頻集。三個(gè)場(chǎng)景中的異常幀分別是：93、128、180幀。實(shí)驗(yàn)證明，每個(gè)場(chǎng)景分別檢出87、119和170幀。3個(gè)場(chǎng)景的平均AUC(AreaunderCurve)及與其它算法比較的ROC(接收者操作特征，ReceiverOperatingCharacteristic)如圖2所示。

圖2 三種算法的ROC圖

從表1數(shù)據(jù)可以看到，本文算法與其它相關(guān)檢測(cè)算法相比，具有更優(yōu)秀的檢測(cè)性能[3-4]。

3 結(jié)語(yǔ)

本文提出基于稀疏線性模型和iHMM模型的空時(shí)模型群體異常檢測(cè)算法，在空間域，基于稀疏線性模型建立個(gè)體特征與群體特征的超高斯先驗(yàn)統(tǒng)計(jì)表征；在時(shí)間域，基于iHMM對(duì)稀疏向量提取時(shí)間關(guān)系，完善了群體特征空間和時(shí)間因素的整合。大量實(shí)驗(yàn)仿真結(jié)果驗(yàn)證了算法的可行性和有效性。

[1] 章東平, 童超, 蘆亞飛. 基于粒子視頻的高密度人群主流運(yùn)動(dòng)檢測(cè)[J].電子技術(shù)應(yīng)用, 2012, 38(4):123-125.

[2] S WANG, Z MIAO. Anomaly detection in crowd scene[C]. 2010 IEEE 10th International Conference on Signal Processing (ICSP), 2010: 1220-1223.

[3] KUETTEL D,et al.What's going on? discovering spatio-temporal dependencies in dynamic scenes[C].IEEE Conference on Computer Vision and Pattern Recognition,2010:1220-1223.

[4] LI N, et al.Spatio-temporal context analysis within video volumes for anomalous-event detection and localization[J]. Neurocomputing, 2015.

[5] M W SEEGER, H NICKISCH. Large scale Bayesian inference and experimental design for sparse linear models[J]. SIAM Journal on Imaging Sciences, 2011, 4(1):166-199.

[6] 朱明.視頻異常事件檢測(cè)研究[D].杭州：杭州電子科技大學(xué)，2010.

[7] 周志華.機(jī)器學(xué)習(xí)[M].北京:清華大學(xué)出版社,2016.

[8] 王晶.稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用研究[D].西安：西安電子科技大學(xué),2012.

(責(zé)任編輯：黃 健)

國(guó)家自然科學(xué)基金項(xiàng)目(61372157)

司莉莉(1991-)，女，江蘇連云港人，杭州電子科技大學(xué)通信工程學(xué)院碩士研究生，研究方向?yàn)樾盘?hào)與信息處理。

10.11907/rjdk.162548

TP306

A

1672-7800(2017)003-0001-02