基于耦合隱馬爾可夫模型的異常交互行為識(shí)別

林國余 柏 云 張為公

(1東南大學(xué)儀器科學(xué)與工程學(xué)院,南京 210096)

(2東南大學(xué)蘇州研究院,蘇州 215123)

人體行為識(shí)別已經(jīng)成為智能視頻監(jiān)控中的一個(gè)重要研究方向.近年來,國內(nèi)外研究者對(duì)于單人步態(tài)和行為已展開深入研究,可識(shí)別出標(biāo)準(zhǔn)姿勢(shì)、常規(guī)動(dòng)作和簡單的危險(xiǎn)行為.人與人之間的交互行為如打架、搶劫、尾隨等也是人的行為識(shí)別中的一個(gè)重要組成部分.隨著機(jī)器視覺的發(fā)展,以動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)和隱馬爾科夫模型(hidden Markov models,HMM)[1-4]為代表的基于統(tǒng)計(jì)模型的交互行為識(shí)別方法日益受到重視.如Oliver等[1]采用耦合隱馬爾可夫模型 (coupled HMM,CHMM)實(shí)現(xiàn)了對(duì)太極拳過程中人雙手動(dòng)作的識(shí)別;杜友田等[2]對(duì)交互動(dòng)作進(jìn)行分層分解,將其看成一個(gè)多模態(tài)的多元隨機(jī)過程,并采用耦合層級(jí)連續(xù)性狀態(tài)的動(dòng)態(tài)貝葉斯網(wǎng)進(jìn)行統(tǒng)計(jì)建模;Xiang等[3]提出了一種多連接的HMM來識(shí)別混亂場景中的多目標(biāo)交互事件;朱旭東等[4]提出一種新穎的主題HMM實(shí)現(xiàn)自然分組視頻中的人體行為識(shí)別.

由于HMM能夠提供動(dòng)態(tài)時(shí)間規(guī)整,因此可用于描述物體在時(shí)間域上的運(yùn)動(dòng)模式,并可進(jìn)行動(dòng)態(tài)行為建模和分析.HMM及其改進(jìn)算法已經(jīng)成為時(shí)間序列建模的常用方法之一.在交互行為中,每個(gè)目標(biāo)在某一時(shí)刻的運(yùn)動(dòng)狀態(tài)不僅依賴于自身在前一時(shí)刻的狀態(tài),同時(shí)也取決于另一目標(biāo)在前一時(shí)刻的狀態(tài),HMM的結(jié)構(gòu)卻不能體現(xiàn)出這種相互的關(guān)系.另一方面,隨著目標(biāo)人數(shù)的增長,觀察序列的長度、HMM中狀態(tài)的數(shù)目和參數(shù)都會(huì)迅速增長,從而增加了參數(shù)估計(jì)的復(fù)雜程度.CHMM是由 Brand等[5]提出的一種用于描述2個(gè)或多個(gè)相互關(guān)聯(lián)(條件概率依賴)的隨機(jī)過程統(tǒng)計(jì)特性的概率模型,它可以看成是通過在多個(gè) HMM 狀態(tài)序列之間引入耦合條件概率而得到的一種多HMM鏈模型,可用于對(duì)2個(gè)相互關(guān)聯(lián)的隨機(jī)過程進(jìn)行建模和分類,因此適合用來學(xué)習(xí)和描述多個(gè)數(shù)據(jù)之間的交互作用.目前CHMM已經(jīng)在字符識(shí)別、語音識(shí)別、行為分析以及故障診斷等領(lǐng)域取得很好的識(shí)別效果[6-9].因此,本文提出一種基于CHMM的異常交互行為檢測方法,通過與基于HMM方法的對(duì)比,表明利用CHMM檢測兩人之間的交互行為更加簡單高效.

1 CHMM模型

圖1 耦合隱馬爾可夫模型

CHMM可以用每條鏈的參數(shù)和鏈之間的耦合關(guān)系參數(shù)來共同表示[10]:

λ={N(0),π(0),A(0),B(0),N(1),π(1),

A(1),B(1),A(0,1),A(1,0)}

由于CHMM是HMM的一種衍生模型,因此可借鑒HMM中的向前、向后算法和Baum-Welch算法來解決CHMM中的模型參數(shù)估計(jì)和概率估算問題.

1) 估算問題

(1)

2) 學(xué)習(xí)問題

(2)

其中,1≤i,m≤N(0),1≤j,n≤N(1).在此基礎(chǔ)上,將新參數(shù)代入進(jìn)行迭代計(jì)算,如此反復(fù),直至參數(shù)收斂.如果估算概率滿足以下條件,則終止計(jì)算:

(3)

2 交互行為特征

如何從視頻序列中提取出能夠合理表示行為特征的數(shù)據(jù)對(duì)交互行為識(shí)別的準(zhǔn)確性有重要的影響.現(xiàn)有監(jiān)控?cái)z像機(jī)的監(jiān)控場景往往較大,受分辨率限制,視頻中人體的肢體細(xì)節(jié)特征表現(xiàn)不明顯,難以構(gòu)建人體模型.考慮到打斗、搶劫這2類異常交互行為發(fā)生時(shí),運(yùn)動(dòng)激烈,運(yùn)動(dòng)特征差異較大,同時(shí)由于人體是非剛性的,人的體態(tài)形狀應(yīng)能很好地描述當(dāng)前的行為細(xì)節(jié).因此本文直接以視頻圖像中的運(yùn)動(dòng)信息和形態(tài)信息作為特征,不僅充分表現(xiàn)了人體行為特征,而且有效避免了計(jì)算的復(fù)雜性.本文一共選取了5個(gè)運(yùn)動(dòng)特征和1個(gè)形態(tài)特征.5個(gè)運(yùn)動(dòng)特征如下:

通過計(jì)算感興趣區(qū)域內(nèi)的光流特征,并對(duì)光流特征進(jìn)行統(tǒng)計(jì)得到目標(biāo)光流特征的加權(quán)方向直方圖[12],最后計(jì)算出運(yùn)動(dòng)方向和速度幅值.

(4)

(5)

(6)

(7)

5) 2人之間的運(yùn)動(dòng)方向角度差

(8)

(9)

(10)

式中,矩陣每一列代表某一幀中HOG特征向量經(jīng)過降維后能夠反映目標(biāo)95%以上特征的100個(gè)特征值.

3 基于CHMM的異常交互行為識(shí)別

3.1 算法流程

基于CHMM異常交互行為識(shí)別的核心在于構(gòu)建CHMM模型,其流程如圖2所示.圖2(a)描述了模型的離線訓(xùn)練過程,首先提取出訓(xùn)練樣本中感興趣的運(yùn)動(dòng)特征和形態(tài)特征,構(gòu)成訓(xùn)練數(shù)據(jù),通過離線訓(xùn)練構(gòu)建各種不同類型的異常行為模型.圖2(b)描述了利用訓(xùn)練好的模型進(jìn)行異常交互行為判別的流程,將提取出的目標(biāo)特征代入到不同異常行為模型中計(jì)算概率值,進(jìn)而判斷是否屬于相應(yīng)的異常交互行為.

圖2 基于CHMM異常交互行為檢測的訓(xùn)練和識(shí)別流程

(11)

式中,β1和β2分別表示運(yùn)動(dòng)特征模型和形態(tài)特征模型的權(quán)重,其計(jì)算公式為

(12)

(13)

概率值P(o|λ)大于閾值T時(shí),則認(rèn)為該行為屬于異常行為.假設(shè)訓(xùn)練過程中參數(shù)收斂時(shí)模型λ1的概率值為P1,模型λ2的概率值為P2,則閾值T可按下式計(jì)算:

T=(β1P1+β2P2)×1.25

(14)

3.2 參數(shù)選擇

表1 CHMM參數(shù)選擇

綜合特征訓(xùn)練的實(shí)際情況,最終確定實(shí)驗(yàn)中表示異常交互行為的CHMM狀態(tài)數(shù)目設(shè)置為8,混合高斯元數(shù)也設(shè)置為8.

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中的視頻選自中國科學(xué)院自動(dòng)化研究所的行為分析數(shù)據(jù)庫CASIA和CAVIAR數(shù)據(jù)庫、IVIPC數(shù)據(jù)庫、SDHA數(shù)據(jù)庫以及作者在校園環(huán)境中拍攝的視頻數(shù)據(jù),主要包括打斗、搶劫、握手、并行等交互行為.圖3為相關(guān)視頻的截圖.

模型訓(xùn)練時(shí)將打斗和搶劫歸納為異常交互行為,并從30個(gè)打斗視頻、20個(gè)搶劫視頻中采集了運(yùn)動(dòng)特征和形態(tài)特征組成數(shù)據(jù)集,對(duì)不同數(shù)據(jù)集分別進(jìn)行訓(xùn)練得到模型λ1和λ2、每個(gè)CHMM的初始狀態(tài)概率π、狀態(tài)轉(zhuǎn)移概率矩陣以及每一條鏈中的觀察值概率函數(shù)的參數(shù)值.根據(jù)模型訓(xùn)練最終收斂時(shí)的對(duì)數(shù)似然值和式(14)可以得到閾值T為-94.

根據(jù)式(4)和(12)的融合決策方式計(jì)算幾種典型行為在模型下的概率值,分別為打斗行為F1和F2,搶奪行為F3和F4,并行F5,握手F6,計(jì)算結(jié)果見表2.從表中可看出,打斗、搶劫這2種行為的概率值大于閾值,被判斷為異常行為,并行和握手行為的概率值小于閾值,被判斷為正常行為.

表2 幾類行為的對(duì)數(shù)似然值

表3為實(shí)驗(yàn)獲得的識(shí)別率,其中打斗、搶劫行為識(shí)別率較高,而2人握手的行為由于過程中人的面積變化率、長寬比變化率等都有較大的變化,因此被誤檢為異常行為的概率較高.

表3 基于CHMM的異常行為識(shí)別準(zhǔn)確率

表4 基于HMM的異常行為識(shí)別準(zhǔn)確率

4 結(jié)語

由于CHMM中每個(gè)隨機(jī)過程狀態(tài)之間存在的相互依賴關(guān)系恰好可以反映2人之間的交互影響狀態(tài),因此本文提出一種基于CHMM的少人異常行為識(shí)別算法,其識(shí)別準(zhǔn)確率要優(yōu)于HMM.然而,利用CHMM對(duì)多人之間的多種復(fù)雜交互動(dòng)作進(jìn)行識(shí)別還有待研究,一方面需要在特征選取和模型建立方面進(jìn)行改進(jìn),另一方面要對(duì)CHMM結(jié)構(gòu)進(jìn)行改進(jìn)優(yōu)化,比如增加隱馬爾科夫鏈路以及改進(jìn)模型學(xué)習(xí)方法等,這些將在后續(xù)工作中進(jìn)一步展開.

圖3 各種數(shù)據(jù)庫中的打斗、搶劫、握手、并行等視頻

)

[1] Oliver N M, Rosario B, Pentland A P. A Bayesian computer vision system for modeling human interactions [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2000,22(8): 831-843.

[2] 杜友田, 陳峰, 徐文立. 基于多層動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的人的行為多尺度分析及識(shí)別方法[J].自動(dòng)化學(xué)報(bào), 2009, 35(3): 225-227.

Du Youtian, Chen Feng, Xu Wenli. Approach to human activity multi-scale analysis and recognition based on multi-layer dynamic Bayesian network [J].ActaAutomaticaSinica, 2009,35(3): 225-227. (in Chinese)

[3] Xiang Tao, Gong Shaogang. Beyond tracking: modeling activity and understanding behavior [J].ComputerVision, 2006,67(1): 21-51.

[4] 朱旭東, 劉志鏡. 基于主題隱馬爾科夫模型的人體異常行為識(shí)別[J]. 計(jì)算機(jī)科學(xué), 2012, 39(3): 251-255, 275.

Zhu Xudong, Liu Zhijing. Human abnormal behavior recognition based on topic hidden Markov model[J].ComputerScience, 2012,39(3): 251-255, 275. (in Chinese)

[5] Brand M, Oliver N, Pentland A. Coupled hidden Markov models for complex action recognition [C]//ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Juan, PR, USA, 1997: 994-999.

[6] Che Hao, Tao Jianhua, Pan Shifeng. Letter-to-sound conversion using coupled hidden Markov models for lexicon compression[C]//Proceedingsofthe2012InternationalConferenceonSpeechDatabaseandAssessments. Macau, China, 2012: 141-144.

[7] Luo Ronghua, Min Huaqing, Xu Yonghui, et al. Coupled hidden semi-Markov conditional random fields based context model for semantic map building[C]//ProceedingsofInternationalConferenceonMachineLearningandCybernetics. Xi’an, China, 2012: 785-791.

[8] Alippi C, Ntalampiras S, Roveri M. A cognitive fault diagnosis system for distributed sensor networks [J].IEEETransactionsonNeuralNetworksandLearningSystems, 2013,24(8): 1213-1226.

[9] Cao Longbing, Ou Yuming, Yu P S. Coupled behavior analysis with applications [J].IEEETransactionsonKnowledgeandDataEngineering, 2012,24(8): 1378-1392.

[10] 任海兵. 非特定人自然的人體動(dòng)作識(shí)別[D]. 北京: 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系, 2003.

[11] 王建東. 基于視頻圖像的人體異常行為識(shí)別技術(shù)研究[D]. 重慶: 重慶大學(xué)通信工程學(xué)院, 2009.

[12] 杜鑒豪, 許力. 基于區(qū)域光流特征的異常行為檢測[J]. 浙江大學(xué)學(xué)報(bào)：工學(xué)版, 2011, 45(7): 1161-1166.

Du Jianhao, Xu Li. Abnormal behavior detection based on regional optical flow [J].JournalofZhejiangUniversity:EngineeringScience, 2011,45(7): 1161-1166. (in Chinese)

[13] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Diego, CA,USA, 2005,1: 886-893.