基于因果分析的群體行為識別

王 軍，夏利民

(中南大學信息科學與工程學院 長沙 410075)

行為識別是計算機視覺領域的一個重要研究方向，在人機交互、智能視頻監(jiān)控等方面有著廣闊的應用前景。近年來人體行為識別取得了顯著進展，但主要工作還是集中在單人行為識別和兩人交互行為識別上，群體行為識別仍是一項挑戰(zhàn)性的工作。

目前，大多數(shù)群體行為識別方法主要分為基于特征的方法和基于軌跡的方法。在基于特征的群體行為識別方面，文獻[1]用位置、形狀、運動以及時序等特征表示群體行為。文獻[2]采用局部視覺信息和群體行為鏈模型識別群體行為。文獻[3]利用局部表面信息作為群體行為描述子。文獻[4]利用運動信息和外觀信息作為行為特征，采用核密度估計法建立群內(nèi)個體間的交互關系?；谲壽E的群體行為識別[5-7]是通過分析個體軌跡間的相互影響來識別群體行為。文獻[5]利用Granger因果檢驗分析兩個行為軌跡間的相互作用，并以此識別雙人間的交互行為。文獻[6]將該方法推廣到群體行為識別。文獻[7]用高斯過程表示人體運動軌跡，設計個體、雙人、群體行為描述子進行群體行為識別。

然而，這些方法假設場景中只有一種群體行為，但實際環(huán)境中，可能同時存在個體行為、兩人的交互行為以及群體行為，如果將整個行為視頻看成是一個群體行為進行識別，將會影響群體行為的識別率。為了解決這一問題，文獻[8-13]首先將行為群體從人群中檢測出來，然后識別群體行為。文獻[10]利用運動軌跡信息和外觀信息定義了3種群體行為描述子，分別描述子群內(nèi)、子群間的內(nèi)在交互行為，采用SVM進行群體行為識別，但該方法很難檢測出子群。文獻[11-12]利用群交互區(qū)域檢測場景中有意義的群體，用群體交互能量特征、吸引和排斥特征來描述GIZ中的群體行為，采用SVM進行群體行為識別。文獻[13]利用圖聚類算法檢測人群中的群體，設計了一種表示運動和交互作用的描述子，采用SVM識別群體行為。但這些方法僅僅依靠個體間的空間關系來檢測行為群體，這使得群體檢測率不是很高，從而影響群體行為識別；同時，只是用視覺特征描述群體行為，而這些特征不能有效描述群體行為，因此也限制了群體行為識別率。

本文提出一種新的基于因果分析的群體行為識別方法。利用Grange因果檢驗對個體行為間關系進行分析，給出了個體間因果關系，在此基礎上，首先，根據(jù)個體間的空間位置關系、視覺注意力方向以及因果關系，利用基于主集的聚類算法檢測人群中的行為群體；然后，結(jié)合低層視覺特征和因果特征描述群體行為，由于不同群體行為個體數(shù)目不同，從而對應的軌跡數(shù)不同，導致整個特征長度不同。為了解決該問題，采用詞包法將特征轉(zhuǎn)化為行為視覺詞表示；最后, 采用稀疏表示進行群體行為識別。

1 Grange因果檢驗

文獻[14]提出了Grange因果檢驗，揭示不同經(jīng)濟因素之間的因果關系和反饋關系。Granger認為如果加入另一個時間序列X2，當前時間序列X1的自回歸預測誤差的方差減小，那么X2對X1有因果影響。

設有兩個聯(lián)合平穩(wěn)隨機過程分別為Xi(t)和Xj(t)，其對應的自回歸模型分別表示為：

式中，ε1、η1分別為模型噪聲；Σ1和Γ1為方差。

Xi(t)和Xj(t)的聯(lián)合自回歸模型可寫為：

根據(jù)Grange因果檢驗，可以得到下列結(jié)論：

1)因果關系：如果Σ2<Σ1, 則X2是X1的Granger因果關系。

2)反饋：如果X2是X1的Granger因果關系，而X1是X2的Granger因果關系，則X1與X2具有反饋。

3)因果率Fc：

因果率Fc測量因果關系的強度，因果影響越強，F(xiàn)cij也越大；若X2對X1沒有因果影響，則Fcij= 0。

4)反饋率Ffij表示反饋強度：

本文利用Grange因果檢驗分析群體行為。對于一對個體，根據(jù)其運動軌跡，由最小二乘法可估計運動模型式(1)～式(4)中的系數(shù)及方差，再利用式(5)～(6)求得他們之間的因果律和反饋率，根據(jù)這些因果關系進行群體檢測和群體行為表示。

2 行為群體檢測

由于復雜場景中可能存在獨立的個體行為、雙人交互行為和群體行為，為了有效地識別群體行為，首先必須檢測出有意義的群體，為此利用因果關系和基于主集的聚類方法進行行為群體檢測。

2.1 主集

主集[15]是最大團到無向加權(quán)圖的推廣?？紤]一個無向加權(quán)圖G=(V，E)，V={1,2,…,n}是所有頂點的集合，E∈V×V是所有邊的集合，設S?V是頂點的一個非空子集，i∈S，則i關于S的平均加權(quán)度為：

式中，|S|表示S的基數(shù)；aij為節(jié)點j和i之間的相似度。如果節(jié)點j?S，則節(jié)點j和i的相似性為：

i關于S的權(quán)值為：

S的整體相似性定義為：

滿足下列條件的非空子集S?V稱為主集：

這表明主集等同類。求解下列優(yōu)化問題可得到主集：

如果x是式(13)的局部極值解，那么x的支撐集σ(x)={i∈V:xi> 0}是節(jié)點的一個主集。

2.2 基于主集圖聚類的行為群體檢測

類具有較高的內(nèi)部一致性，并且類內(nèi)元素與內(nèi)外元素具有較高的可區(qū)分性。同樣，對于相互作用的群體，同一群體內(nèi)的成員之間具有很強的相互作用，而群內(nèi)成員與群外成員之間相互作用比較小?；谶@種比較, 將行為群體檢測看成在圖中搜索最大相互作用節(jié)點的主集，于是行為群體檢測就轉(zhuǎn)化為基于主集的圖聚類問題。

將場景中的人看成無向圖G=(V,E,A)，圖的頂點代表人，而A=(aij)代表場景中人之間的交互作用程度。很顯然, 當兩人間的因果關系越強，他們之間的交互作用也就越強；當兩個人越接近，他們之間交互作用的可能性也越大；另外，兩個人處在對方的視覺注意力范圍時，他們交互作用的可能性也越大。基于這些直覺，利用個體間的因果關系、空間位置關系以及視覺注意力方向關系定義個體間的交互程度。假設人的運動軌跡、空間位置、頭部姿態(tài)已經(jīng)確定。則根據(jù)個體的運動軌跡，利用Grange因果分析可得到個體間的因果律Fcij和反饋率Ffij；由空間位置可得到他們之間的空間距離dij；給定第i人的頭部姿態(tài)，可確定其視覺注意力范圍αi，如第j個人出現(xiàn)在視覺注意力范圍αi內(nèi)，則記為j∈αi。于是，第i和第j個人之間的交互程度aij定義為：

根據(jù)式(14)，可以確定矩陣A，然后根據(jù)文獻[16]的方法求解式(13)的局部優(yōu)化解和它的支撐集，該支撐集即為相互作用的群體。

3 群體行為識別

3.1 群體行為表示

對于檢測到的群體，其行為用群內(nèi)個體的行為和個體間的交互作用來表示。利用低層視覺特征描述個體行為，因果關系描述個體間的交互行為。

1)個體行為的低層特征表示

采用局部外觀特征HOG和局部運動特征HOF表示個體行為。首先，利用多目標跟蹤算法[17]得到每個人的運動軌跡。為了避免跟蹤過程中軌跡的漂移，只跟蹤一段軌跡而不是整段軌跡，本文設跟蹤軌跡的長度L=50。其次，沿著每個人的軌跡，建立一個包圍人體的、大小為Nx×Ny×L的立方體，并將該立方體劃分為nx×ny×nL的時-空網(wǎng)格，本文取nx=ny=2，nL=3；然后，在網(wǎng)格上計算4-bin HOG和5-bin HOF。最后將所有網(wǎng)格的特征連起來得到HOG描述子和HOF描述子，HOG、HOF的維數(shù)分別為48 (2×2×3×4)和60(2×2×3×5)。連接HOG和HOF，得到個體行為的低層特征表示F1，其維數(shù)為108。

2)交互行為的因果特征表示

因果特征描述個體間的交互行為，包括兩個部分：相互作用強度和如何相互作用。用因果率Fcij和反饋率Ffij表示兩個個體之間的相互作用強度，而個體間如何相互作用按下列方法確定。

設兩個個體運動軌跡Xi和Xj的聯(lián)合自回歸模型為式(2)和(4)，如果將式(2)看成輸入、輸出分別為Xj和Xi的數(shù)字濾波器模型，則對應的系統(tǒng)函數(shù)為：

式中，Xi(z)和Xj(z)分別為Xi和Xj的Z變換。利用對應的頻率特性來表示個體間如何相互作用[5]，即取頻率特性在0, π/4, π/2, 3π/4, π處的幅值，以及在π/4,π/2,3π/4處的相角(因為在0和π處相角為常數(shù))：

Fij反映Xj如何影響Xi。同樣，分別以Xi、Xj為濾波器的輸入和輸出，得到特征向量Fji，反映Xi如何影響Xj。

因果率和反饋率表示一對個體之間的相互作用的強度，而頻率特性Fij、Fji反映一對個體如何相互作用，因此這些特征是互補的，將其合在一起表示一對個體的交互行為。另外，個體間的相對距離和相對速度通常也用于描述交互行為。因此，用Fij、Fji、dij、Δvij表示一對個體的交互行為：

式中，F(xiàn)2是一個20維的因果特征向量。

3)群體行為表示

如上所述，每個個體行為用一條軌跡的108維低層特征來描述，一對個體的交互行為用一對軌跡的20維因果特征來描述，而整個群體行為由所有個體的行為特征及所有行為對特征聯(lián)合表示。但由于不同的群體行為包含個體的數(shù)目不同，相應的軌跡條數(shù)、軌跡對數(shù)不同，導致不同的群體行為特征維數(shù)不同。為此，利用詞包法(bag-of-words, BOW)來表示群體行為。首先根據(jù)低層特征和因果特征，用均值聚類法分別建立個體行為的字典BOWind和交互行為字典BOWint。對于每個群體行為，根據(jù)最近鄰原則，把它的每條軌跡/軌跡對歸入每一類，可得到各個視覺詞在樣本中出現(xiàn)的頻率，這些頻率就構(gòu)成了樣本的視覺詞表示。本文兩個字典大小分別為160、40，因此，群體行為用一個200維的視覺詞向量y表示。

3.2 基于稀疏表示的群體行為識別

利用稀疏表示識別群體行為。首先，對待測試群體行為樣本進行編碼；然后，計算在每一類上的重建誤差；最后，將待測試群體行為樣本分類到重建誤差最小的類中。

設C有類群體行為，每個行為用上述特征向量表示，D=[D1,D2,…,DC]表示稀疏字典，其中Di是由K個第i類行為構(gòu)成的子字典，本文利用K-SVD算法來確定稀疏字典[18]。對于測試樣本y可表示為：

式中，α= [α1,α2,…,αC]T為稀疏編碼向量，通過求解下列優(yōu)化問題得到：

利用OMP法(orthogonal matching pursuit)求解上述優(yōu)化問題[19]。

然后計算相對第i類的重建誤差：

最后，群體行為樣本y根據(jù)下式分類(識別)：

4 實驗與結(jié)果

為了驗證提出方法的有效性，本文在公共數(shù)據(jù)庫BEHAVE和collective activity(CAD)上進行了實驗，并與文獻[10, 12-13]的方法進行對比。所有實驗都在工作站(2.8 GHz CPU, 32GB RAM)上進行。在實驗中，首先根據(jù)個體運動軌跡，由最小二乘法估計運動模型的系數(shù)及方差，利用Grange因果檢驗求得個體間因果律和反饋率；其次，根據(jù)因果律、反饋率、個體間的空間距離及視覺注意力范圍，利用基于主集的聚類法找出行為群體；然后沿著每條軌跡提取HOG和HOF特征，以及兩條軌跡間的因果特征，并采用K-均值聚類法得到160個的低層特征視覺詞和40個因果特征視覺詞表示群體行為；最后，利用利用稀疏表示識別群體行為。

4.1 BEHAVE數(shù)據(jù)庫

BEHAVE數(shù)據(jù)庫包括4段視頻，幀速為25 fps，分辨率為640×480，記錄了10類群體行為，包括InGroup, Approach, Meet, WalkTogether, Split, Ignore,Chase, Fight, RunTogether, Following。本文只考慮Approach(A),Split(B),WalkTogether(W),RunTogether(R),Fighting(F)和InGroup(I)這6種群體行為，其他群體行為不考慮。

圖1為該數(shù)據(jù)庫的一些群體行為的視頻幀。圖1a為多人追趕；圖1b為多人打架。實驗包含470個群體行為樣本，用220個群體行為學習稀疏字典，250個群體行為用于測試實驗。表1為幾種方法的識別率，可看出本文方法的識別率最高，平均識別率達到了94.7%。表2為幾種方法的平均識別時間，本文的方法識別時間為0.86 s，略小于其他方法，表明本文方法識別速度快。

圖1 BEHAVE數(shù)據(jù)庫

表1 在BEHAVE數(shù)據(jù)庫上的識別率

表2 在BEHAVE數(shù)據(jù)庫上的平均識別時間

BEHAVE數(shù)據(jù)庫中部分視頻同時含有個體行為、雙人交互行為和群體行為，為了驗證文中提出的群體檢測對群體行為識別的影響，對有、無行為群體檢測進行了對比實驗。表3和表4為兩種情況下，在BEHAVE數(shù)據(jù)庫上的群體行為識別的混淆矩陣。結(jié)果表明有群體檢測明顯提高群體行為的識別率。

表3 有行為群體檢測混淆對比

表4 無行為群體檢測混淆對比

4.2 Collective Activity數(shù)據(jù)庫

CAD數(shù)據(jù)庫包含5不同的群體行為：橫過馬路、等待、步行、談話和排隊。圖2為CAD數(shù)據(jù)庫的部分群體行為的視頻幀。圖2a橫過馬路；圖2b多人步行。實驗包含550個群體行為樣本，用250個群體行為學習稀疏字典，以300個群體行為進行測試實驗。表5為幾種方法在CAD數(shù)據(jù)庫上識別率，表中結(jié)果表明，本文方法的平均識別率達到了86.7%，明顯高于其他方法。表6為幾種方法的平均識別時間，本文方法識別時間為0.94 s，小于其他方法。

圖2 CAD數(shù)據(jù)庫

表5 在CAD數(shù)據(jù)庫上的識別率

表6 在CAD數(shù)據(jù)庫上的平均識別時間

表7 有行為群體檢測混淆對比

表8 無行為群體檢測混淆對比

該數(shù)據(jù)庫中的每段視頻都包同時含個體行為、雙人交互行為和群體行為，實驗中，在CAD數(shù)據(jù)庫上驗證了文中提出的群體檢測對群體行為識別的影響。表7和表8分別為有、無群體檢測的混淆矩陣。結(jié)果表明加入了群體檢測，群體行為的識別率明顯得到提高。

從上述結(jié)果可看出，相比其他幾種方法，文中提出的方法在各種情況下都能提高群體行為的識別率，并且識別速度最快。在BEHAVE數(shù)據(jù)庫和collective activity數(shù)據(jù)庫中，場景中都可能同時存在獨立的個體行為、雙人的交互行為和群體行為，雖然文獻[10]利用子群信息可以識別群體行為，但很難檢測子群，導致這種方法的群體識別率不是很高。文獻[12]利用群體交互區(qū)檢測有意義的群體，排除了沒有參與群體行為的個體，所以識別率得到了提高。然而， 群體的檢測方法僅僅依靠個體之間的空間關系，這種關系并不能完全表明個體之間存在交互關系(如相互接近的人不一定有交互行為)，這使得群體檢測率不是很高，從而限制了群體行為識別率。文獻[13]利用視覺注意力和社會距離檢測交互群體，檢測率得到提高，利用運動信息和交互信息識別群體行為，因此能有效地識別群體行為。本文的方法同時利用因果關系、空間位置關系和視覺注意力范圍,因此更能有效地從人群中檢測行為群體，采用低層視覺特征和因果特征可有效表示群體行為，因此可提高群體行為識別率。

5 結(jié)束語

本文提出了一種新的基于因果分析的群體行為識別方法。首先，利用Grange因果檢驗分析個體間因果關系，其次，結(jié)合個體間因果關系、空間關系和視覺注意力范圍，采用基于主集的聚類算法進行群體檢測；然后，利用低層視覺特征和因果特征描述群體行為，其中，HOG和HOF用于表示個體行為,因果特征用于表示群體內(nèi)個體間的交互行為，提高了特征的區(qū)分能力； 最后，利用稀疏表示識別群體行為。在公共行為數(shù)據(jù)庫BEHAVE和collective activity上與幾種方法進行了對比實驗，結(jié)果表明提出的方法比其他方法具有更高的識別率和識別速度。

[1]KANEKO T, SHIMOSAKA M, ODASHIMA S.A fully connected model for consistent collective activity recognition in videos[J].Pattern Recognition Letters, 2014,43(1): 109-118.

[2]AMER M R, TODOROVIC S.A chains model for localizing participantsof group activities in videos[C]//IEEE International Conference on Computer Vision.Barcelona:IEEE, 2011: 786-793.

[3]ZHU G, YAN S, HAN T, et al.Generative group activity analysis with quaternion descriptor[J].Adv Multimed Model,2011, 6524: 1-11.

[4]STEPHENS K, BORS A G.Group activity recognition on outdoor scenes[C]//IEEE International Conference on Advanced Video and Signal Based Surveillance.Colorado Springs: IEEE, 2016: 59-65.

[5]ZHOU Y, HUANG T S, NI B, et al.Recognizing pair-activities by causality analysis[J].ACM Transactions on Intelligent Systems and Technology, 2011, 2(5): 1-20.

[6]NI B, YAN S, KASSIM A.Recognizing human group activities with localized causalities[C]//IEEE Conference on Computer Vision and Pattern Recognition.Miam: IEEE,2009: 1470-1477.

[7]CHENG Z, QIN L, HUANG Q.Group activity recognition by gaussian processes estimation[C]//IEEE International Conference on Pattern Recognition.Istanbul: IEEE, 2010.

[8]YIN Y, YANG G, XU J.Small group human activity recognition[C]//IEEE International Conference on Image Processing.Lake Buena Vista: IEEE, 2012: 2709-2712.

[9]ZHANG C, YANG X, LIN W, et al.Recognizing human group behaviors with multi-group causalities[C]//International Conference on Web Intelligence and Intelligent Agent Technology Workshops.Macau: IEEE, 2012: 44-48.

[10]JU J, YANG C, SCHERER S.Recognition of human group activity for video analytics[C]//Pacific-Rim Conference on Multimedia.Gwangju: IEEE, 2015.

[11]KIM Y J, CHO N G, LEE S W.Group activity recognition with group interaction zone[C]//International Conference on Pattern Recognition.Stockholm: IEEE, 2014: 3517-3521.

[12]CHO N G, KIM Y J, PARK U.Group activity recognition with group interaction zone based on relative distance between human objects[J].International Journal Pattern Recognition and Artificial Intelligence,2015, 29(5): 1-10.

[13]TRAN K N, YAN Xu, KAKADIARIS I A, et al.A hybrid approach for individual and group activity analysis in crowded scene[J].Communications in Computer and Information Science, 2016, 598: 189-204.

[14]GRANGER C.Investigating causal relations by econometric models and cross-spectral methods[J].Econometrica, 1969, 37(3): 424-438.

[15]PAVAN M, PELILLO M.Dominant sets and pairwise clustering[J].IEEE Transactions on PAMI, 2007, 29(1):167-172.

[16]BULO S R, BOMZE I M.Infection and immunization: a new class of evolutionary game dynamics[J].GAMES and Economic Behavior, 2011, 71(1): 193-211.

[17]MILAN A, SCHINDLER K, ROTH S.Multi-target tracking by discrete-continuous energy minimization[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2054-2068.

[18]ZHANG Y S, GUO Y.2D OMP algorithm for space-time parameters estimation of moving targets[J].Electronics Letters, 2015, 51(22): 1809-1820.

[19]MUKHERJEE S, BASU R, SEELAMANTULA C S.1-K-SVD: a robust dictionary learning algorithm with simultaneous update[J].Signal Processing, 2016, 123:42-52.