基于隱條件隨機場的人體行為識別方法

鹿凱寧，孫 琪，劉安安，楊兆選

(天津大學(xué)電子信息工程學(xué)院，天津 300072)

人體行為識別是計算機視覺領(lǐng)域長期以來的研究熱點，其目的是利用人體行為過程對應(yīng)的視覺模式的動態(tài)變化特征對某一動作進行建模，從而實現(xiàn)對未知動作序列的自動識別．現(xiàn)有人體行為識別方法主要有3 類：①模板匹配法[1-3]．基于模板匹配的方法是將圖像序列轉(zhuǎn)換成一個或者一組模板，然后將待識別的行為和已知的模板進行匹配來識別．Bobick 等[1]將圖像轉(zhuǎn)化為運動能量圖像和運動歷史圖像，采用Maha-lanobis 距離作為模板相似性的度量．該方法對于時間間隔的變化較敏感，魯棒性較低．Polana 等[2]利用二維網(wǎng)格特征對人體行為進行識別：首先分別在兩個不同方向上分解每一個幀光流信息，然后將每一單元格的幅度疊加，從而形成一個高維特征向量用于識別匹配．該方法可以顯性提取人體運動信息，但是由于光流對噪聲的敏感性使得特征魯棒性受限．②基于人體結(jié)構(gòu)的方法[4-6]．基于人體結(jié)構(gòu)的方法需要建立2,D 或3,D 的人體模型．一般將三維人體視為由關(guān)節(jié)連接的剛體的集合，用三維的人體骨架來描述人體運動．文獻[4]中通過對運動人體的輪廓進行形態(tài)學(xué)的細化處理，采用新建立連通性結(jié)構(gòu)標準和肢體關(guān)節(jié)點定位算法處理骨架建立人體骨架模型．盡管該方法能夠表征人體行為更多細節(jié)，但是人體行為的復(fù)雜性往往使得該類方法的建模更加困難．Chen 等[5]將一個動作的三維人體結(jié)構(gòu)轉(zhuǎn)化為一個二維投影圖像，在結(jié)構(gòu)中，采用17 個線段和14 個節(jié)點來表示人體動作模型，并且定義了很多的約束條件作為步態(tài)分析的基礎(chǔ)．該方法計算比較復(fù)雜，因為其需要研究所有可能的三維結(jié)構(gòu)并得到其相應(yīng)的二維投影．③基于概率圖模型的方法[7-11]．概率圖模型分為有向圖模型和無向圖模型兩類，典型有向圖模型為隱馬爾科夫模型(hidden Markov model，HMM)，典型無向圖模型主要為條件隨機場(conditional random field，CRF)．Yamato 等[7]首先將 HMMs 引入到人體行為識別中，將人體運動區(qū)域塊的視覺特征作為輸入特征，并用HMMs 模型對人體行為進行建模和識別．Bregler[8]基于人體動力學(xué)在不同抽象等級的統(tǒng)計分解提出了層次化方法，通過最大化 HMM 后驗概率來完成識別．不同于文獻[7-8]中的單人行為識別，文獻[9]在群體交互動作識別中采用兩層HMM 模型，下層模型對群體中的個體進行動作識別，識別結(jié)果作為上層群體行為識別模型的觀測．該方法通過多 HMMs 模型的組合實現(xiàn)了較復(fù)雜的群體行為識別．盡管 HMM 模型在時序建模應(yīng)用廣泛，但是由于它建立在條件獨立性假設(shè)和馬爾可夫假設(shè)上，導(dǎo)致其不能表示時間序列中的大范圍上下文依賴關(guān)系以及序列間的特征多重重疊，導(dǎo)致該模型不能很好地模擬人體動作序列在時序上的大范圍時空關(guān)聯(lián)特性，限制了基于該模型的人體動作識別的準確性．為此，部分研究者開始研究基于判別模型的方法．Lafferty 等[10]提出條件隨機場模型，相對于隱馬爾科夫模型，它克服了條件獨立性假設(shè)和馬爾可夫假設(shè)，并且利用大范圍上下文信息進行參數(shù)學(xué)習(xí)和預(yù)測，因此該模型具有更強的時序建模能力，已被廣泛應(yīng)用于自然語言處理[11]、計算機視覺[12]等．Wang 等[13]采用條件隨機場模型對動作序列潛在的時空相關(guān)信息進行建模，從而實現(xiàn)對動作變換過程的整體表征．條件隨機場模型可以實現(xiàn)綜合利用時空上下文信息進行時序建模和推斷，但是該模型的學(xué)習(xí)需要人為顯性標注圖像序列各幀狀態(tài)，從而導(dǎo)致模型的學(xué)習(xí)依賴于人為的狀態(tài)標注，使得模型性能受到局限．

筆者提出了基于隱條件隨機場的人體行為識別方法．Quattoni 等[14]把隱狀態(tài)變量引入到條件隨機場模型中，提出隱條件隨機場(hidden conditional random field，HCRF)．由于隱條件隨機場不需要對各時刻狀態(tài)進行顯性標注，因此相對于條件隨機場對時序信息的利用和建模具有更高的靈活性．該方法包括 3個步驟：首先，通過目標檢測和跟蹤提取圖像序列中人體所在時空區(qū)域；其次，提取人體區(qū)域的 Gist 特征作為人體行為視覺描述子；最后，利用隱條件隨機場模型對人體行為進行建模．

1 人體時空區(qū)域提取

人體所在時空區(qū)域的檢測和跟蹤是人體行為分析的前提．

1.1 目標檢測

目標檢測的目的是判斷視頻序列各幀中是否出現(xiàn)目標，并對其進行定位．為了快速實現(xiàn)目標檢測，首先采用基于混合高斯模型的背景差法[15]檢測各幀中前景區(qū)域，然后采用 Dalal 等[16]提出的基于方向梯度直方圖和支持向量機模型的人體檢測分類器進行人體檢測，檢測結(jié)果如圖1 所示．

圖1 提取人體時空區(qū)域示意Fig.1 Extraction of spatiotemporal regions of human body

1.2 目標跟蹤

目標跟蹤的目的是建立連續(xù)幀內(nèi)人體區(qū)域的對應(yīng)關(guān)系，為后續(xù)的人體行為時空建模提供基礎(chǔ)．目標跟蹤通常包含兩部分：首先通過目標區(qū)域的顏色、紋理和形狀等特征對該區(qū)域進行表征，然后采用預(yù)測模型進行前后幀相似性的匹配．在實驗中，采用高效的Meanshift 算法[17]實現(xiàn)了目標跟蹤．由于實驗數(shù)據(jù)每幀只包含一個目標，并且通過前述目標檢測方法可以較準確定位到每幀中人體區(qū)域，因此在實驗中將Meanshift 跟蹤窗口尺寸設(shè)定為首幀圖像中檢測到的人體區(qū)域，為了避免 Meanshift 跟蹤的漂移現(xiàn)象發(fā)生，將每幀圖像中 Meanshift 跟蹤的預(yù)測區(qū)域和目標檢測方法檢測到的每幀區(qū)域進行后融合，即每幀圖像人體中心位置取檢測和跟蹤結(jié)果各自中心的中點位置，人體區(qū)域的尺度取二者長寬的均值．至此，實現(xiàn)了每個視頻中人體所在時空區(qū)域的提?。?/p>

2 特征提取

采用 Gist 特征對人體行為視覺特征進行描述．Gist 特征的提取無需人體區(qū)域分割，并且可以表征人體區(qū)域的全局結(jié)構(gòu)和形狀特征，因此有利于增強特征的分辨能力．

為了優(yōu)化局部邊緣特征不同尺度下的檢測結(jié)果，采取多尺度 Wiener 濾波器[18]對圖像進行銳化預(yù)處理，再利用Gabor 變換來提取圖像的Gist 特征．二維Gabor 變換的核函數(shù)可以表示為

二維Gabor 變換核函數(shù)的傅里葉變換為

Gabor 濾波器組是對 Gabor 變換核進行適當尺度變換和旋轉(zhuǎn)變換得到的一組自相似的濾波器，即

給定一幅圖像I，對其進行Gabor 變換可表示為

因時域卷積計算復(fù)雜度較高，因此根據(jù)卷積定理將式(4)轉(zhuǎn)化為式(5)所示頻域計算，從而降低計算復(fù)雜度．

實驗中，所創(chuàng)建Gabor 濾波器組含3 個尺度，每個尺度上方向數(shù)分別為 8、8、4，總計 20 個濾波器，然后將每幅經(jīng)過銳化處理的圖像與該濾波器組分別執(zhí)行式(5)所示操作，最終得到圖像的 Gist 特征向量(共320 維)，該特征將被作為人體行為視覺描述子．

3 隱條件隨機場

將對隱條件隨機場的模型構(gòu)建、學(xué)習(xí)和推斷進行具體闡述．

3.1 模型構(gòu)建

隱條件隨機場可以解決觀測序列分類問題，其圖結(jié)構(gòu)可以表示為 G=(ν,ε) ， 其中ν表示圖的頂點集合，ε表示圖的邊集合，如圖2 所示．

圖2 隱條件隨機場圖模型Fig.2 Graphical model of HCRF

式中：θ為該模型參數(shù)；φ(Y,h,X)∈?為勢函數(shù)．因此，P (Y | X,θ)可以表示為

根據(jù)圖 2 所示隱條件隨機場圖結(jié)構(gòu)及人體行為過程中的變化特性，所構(gòu)造隱條件隨機場模型中的勢函數(shù)包含 3 部分：①φ1( Xj,hj)．觀測節(jié)點與隱變量節(jié)點之間的關(guān)系，即各幀動作特征與該幀表征動作基元類型的關(guān)系，可以采用第 2 節(jié)中介紹的各幀 G ist 特征進行對該勢函數(shù)進行表征；②φ2(Y ,hj)．隱變量節(jié)點與序列標記的關(guān)系，即各幀表征的基元動作與動作類別的關(guān)系，規(guī)定當 hj對應(yīng)基元動作屬于Y 動作類型時，該勢函數(shù)為 1，否則為 0；③φ3(Y,hj,hk)．隱變量節(jié)點間形成的邊與序列標記間的關(guān)系，表示基元動作轉(zhuǎn)變與動作類別的關(guān)系，規(guī)定當 hj到 hk的基元動作轉(zhuǎn)變符合動作Y 變化過程時，該勢函數(shù)為 1，否則為0．因此，勢函數(shù)可以分解為

θ也可以對應(yīng)地分解，即

3.2 模型學(xué)習(xí)和推斷

假設(shè)訓(xùn)練集合包含n 個樣本(Xi，Yi)，根據(jù)HCRF模型定義，通過如下目標函數(shù)的優(yōu)化學(xué)習(xí)參數(shù)θ?，即

式中n表示訓(xùn)練樣本序列的總個數(shù)．對于式(9)所示最優(yōu)化問題，可以使用梯度下降法[10]計算參數(shù)最優(yōu)值，即

獲得參數(shù)θ后，該模型可以用于人體行為識別的預(yù)測．在行為識別過程中，對于觀測行為序列X ，其所屬類別的最佳估計為

4 實驗結(jié)果

4.1 動作識別性能分析

采用當前動作識別研究中流行的 Weizzman 數(shù)據(jù)庫(見圖 3)對本文中提出的算法進行評測．該數(shù)據(jù)庫共包含 9 3 個視頻序列(180 ×140 像 素，25 幀/s)，共有10 組動作類型，每組動作分別由9 人完成(其中跑步、慢跑、走步動作數(shù)據(jù)分別包含 1 個人的2 個視頻序列)[20]．通過目標檢測和跟蹤，能夠提取所有目標所在時空區(qū)域(如圖 1（c)所示），為后續(xù)動作識別提供準確的建模和識別對象．采用文獻[20]提出的數(shù)據(jù)設(shè)置方式來對 HCRF 模型進行訓(xùn)練和測試．為了得到性能最佳的 HCRF 模型，遍歷了模型的隱狀態(tài)數(shù)s(2≤s≤5)和時序窗口w(0≤w≤3)兩個參數(shù)的所有組合，并通過計算模型在測試集上表征分類總體性能的接收者操作特征曲線下面積來對模型參數(shù)進行選擇．其中，參數(shù) w =N (N ≠ 0)表示在訓(xùn)練HCRF 模型時同時使用當前幀及其相鄰的前后各N幀進行狀態(tài)估計，而w = 0代表訓(xùn)練時只用當前視頻幀；參數(shù)s 表示HCRF 模型隱狀態(tài)空間的大?。?/p>

圖3 Weizzman數(shù)據(jù)庫中動作樣例Fig.3 Example images extracted from the Weizzman dataset

采用最佳參數(shù)組合訓(xùn)練各動作對應(yīng)的 HCRF 模型，此時各動作的查全率 P、查準率 R 及相應(yīng)接收者操作特征曲線下面積(area under curve，AUC)SAUC結(jié)果如表1 所示．

表1 HCRF模型最佳性能Tab.1 Best performance of HCRF

4.2 對比實驗

4.2.1 不同 Gabor 濾波器尺度參數(shù)下的 HCRF 模型性能對比

為了驗證 Gabor 濾波器尺度參數(shù)對模型性能的影響，選擇最優(yōu)尺度參數(shù)，實驗中采用不同尺度參數(shù)下提取的Gist 特征，并采用第4.1 節(jié)實驗得到的最優(yōu)隱狀態(tài)數(shù)和時序窗口參數(shù)組合訓(xùn)練 HCRF 模型，并通過識別準確率進行比較．由表 2 比較可以看出，尺度參數(shù)的變化對 HCRF 模型性能的影響不顯著．相對而言，當尺度參數(shù)較小時(σx=σy= 3)，Gabor 濾波器組僅僅能夠表征較小的局部區(qū)域特征，不能很好地描述人體行為視覺特征，因此得到的識別效果較低；尺度 參數(shù) 分別 為σx=σy= 5和σx=σy= 7時，Gabor 濾波器組能夠表征較大的局部區(qū)域特征，更適于具有顯著局部變化特性的圖像序列表征，因此識別準確率相對σx=σy= 3有所提高，但是二者準確率十分接近．考慮到實際情況中，由于尺度參數(shù)越大，提取特征時的卷積計算復(fù)雜度越大，因此實驗中采用的尺度參數(shù)為σx=σy= 5.

表2 不同尺度參數(shù)下HCRF模型的動作識別準確率Tab.2 Accuracy of HCRF with different scaling parameters

4.2.2 算法對比

為了證明該方法的優(yōu)越性，把它的性能分別與文獻[20]以及近期提出的基于條件隨機場模型的動作識別方法[13]進行對比．為了公平比較 3 種方法的性能，在相同的數(shù)據(jù)庫并分別采用不同文獻中的相應(yīng)評價準則對算法進行評測．

表 3 給出了本文所提算法與文獻[20]所提算法的動作識別率的對比結(jié)果．這兩種算法的區(qū)別在于：本文中用于描述人體行為的 Gist 特征是一種根據(jù)人的生理特性構(gòu)造的一組圖像視覺特征，它可以表示圖像的自然度、開放度、粗糙度、擴張度和崎嶇度等，并且它不需要人工預(yù)先進行人體區(qū)域分割就可以表征人體區(qū)域的形狀和紋理特征[21]，因此使得本文提出方法所構(gòu)造 HCRF 模型的勢函數(shù)與文獻[20]中勢函數(shù)不同．由表3 可知，這兩種算法取得了相近的結(jié)果，其中，本文算法在走步、慢跑和跑步 3 類動作分別高于文獻[20]算法 10.0%、3.1%和 9.2%，文獻[20]算法在原地跳和單手揮分別高于本文算法0.1%和1.1%．

表3 本文算法與文獻[20]算法比較Tab.3 Comparison between proposed method and method in Ref[20]

表 4 給出了由第 4.1 節(jié)實驗得到的最佳參數(shù)條件下的HCRF 模型及CRF 模型進行行為識別的對比結(jié)果．根據(jù)文獻[13]實驗設(shè)置，除了對接收者操作特征曲線下面積AUC 進行比較外，還采用 F1值來對查全率和查準率兩者綜合性能進行比較．F1值定義為

由表 4 看出在 Weizzman 數(shù)據(jù)庫中復(fù)雜人體行為識別實驗中，HCRF 的性能始終優(yōu)于 CRF 的．此外，CRF 模型要求對行為序列進行完全標記，因此較HCRF 模型學(xué)習(xí)工作量更大，且因人為進行幀級狀態(tài)標記具有很強主觀性，因此往往直接影響模型性能．

表4 HCRF與CRF性能比較Tab.4 Comparison between HCRF and CRF

5 結(jié) 語

提出了一種基于隱條件隨機場的人體行為識別方法．該方法首先通過目標檢測和跟蹤提取圖像序列中人體所在時空區(qū)域；其次提取人體區(qū)域的 Gist特征作為人體行為視覺描述子；最后，利用隱條件隨機場模型對人體行為進行建模，實現(xiàn)對人體行為的識別．通過對比實驗證明了隱條件隨機場可以充分利用圖像序列的時空相關(guān)信息來表征動作序列的時空變化特性，從而實現(xiàn)準確的人體行為識別．

［1］Bobick A F，Davis J W. The recognition of human movement using temporal templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(3)：257-267.

［2］Polana R，Nelson R. Low level recognition of human motion[C]//Proceedings IEEE Workshop on Motion of Non-Rigid and Articulated Objects．Austin ， USA ，1994：77-82．

［3］Veeraraghavan A K，Roy-Chowdhury R C. Matching shape sequences in video with applications in human movement analysis[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27(12)：1896-1909.

［4］趙曉東，李其攀，王志成. 一種快速人體骨架建模方法[J]. 計算機應(yīng)用研究，2012，29(1)：383-385.Zhao Xiaodong ， Li Qipan ， Wang Zhicheng. Fast method on building human skeleton model[J].Application Research of Computers， 2012 ， 29(1) ： 383-385(in Chinese).

［5］Chen Z，Lee H J. Knowledge-guided visual perception of 3D human gait from a single image sequence[J].IEEE Trans on Systems，Man and Cybernetics， 1992 ，22(2)：336-342.

［6］Leung M K，Yang Y. First sight：A human body outline labeling system[J].IEEE Trans on Pattern Analysis and Machine Intelligence，1995，17(4)：359-377.

［7］Yamato J，Ohya J，lshii K. Recognizing human action in time-sequential images using hidden markov model[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Chempaign ，USA，1992：379-385.

［8］Bregler Christoph. Learning and recognizing human dynamics in video sequences[C]//Proceedings of the IEEE computer Society Conference on Computer Vision and Pattern Recognition.Puerto Rico，1997：568-574.

［9］Zhang D，Gatica-Perez D，Bengio S，et al. Modeling individual group actions in meetings：A two-layer HMM framework[C]//Proceedings of IEEE CVPR Workshop on Detection and Recognition of Events in Video. Washington，USA，2004：117-125.

［10］Lafferty J，McCallum A，Pereira F. Conditional random fields：probabilistic model for segmenting and labeling Sequence data[C]//Proceedings of the18,th International Conference on Machine Learning． San Francisco，USA，2001：282-289.

［11］Cohn T A. Scaling Conditional Random Fields for Natural Language Processing[D]. Australia：Department of Computer Science and Software Engineering，University of Melbourne，2007.

［12］Kumar S，Hebert M. Discriminitive random fields：A discriminitive framework for contextual interaction in classification[C]//IEEE International Conference on Computer Vision. Nice，F(xiàn)rance，2003：1150-1157.

［13］Wang Jin，Liu Ping，She Mary，et al. Human action categorization using conditional random field[C]//Robotic Intelligence in Informationally Structured Space(RiiSS). Paris，F(xiàn)race，2011：131-135.

［14］Quattoni A，Wang S b，Morency L P，et al．Hidden conditional random fields[J].IEEE Trans Pattern Anal Mach Intell，2007，29(10)：1848-1852.

［15］Stauffer C，Grimson W E L. Learning patterns of activity using real-time tracking [J].IEEE Trans on Pattern Analysis and Machine Intelligence，2000，22(8)：747-757.

［16］Dalal Navneet，Triggs Bill. Histograms of oriented gradients for human detection[C]//Intermational Conference onComputer Vision and Pattern Recognition(CVPR，2005). San Diego，USA，2005：886-893.

［17］雷 云，王夏黎，孫 華. 基于視頻的交通目標跟蹤方法[J]. 計算機技術(shù)與發(fā)展，2010，20(7)：44-47.Lei Yun，Wang Xiali，Sun Hua. The research about transport target tracking based on video[J].Computer Technology and Development，2010，20(7)：44-47(in Chinese).

［18］胡 英，楊 杰，周 越. 基于多尺度Wiener 濾波器的分形噪聲濾波[J]. 電子學(xué)報，2003，31(4)：560-563.Hu Ying，Yang Jie，Zhou Yue. Multiscale Wiener filter for the estimation of signal embedded in noise[J].Acta Electronica Sinica，2003，31(4)：560-563(in Chinese).

［19］王宇新，陸國際，郭 和，等. 同義圖像融合系統(tǒng)設(shè)計與優(yōu)化[J]. 計算機科學(xué)，2010，37(8)：283-286.Wang Yuxin，Lu Guoji，Guo He，et al. Design and optimization of synonymous image cloning system[J].Computer Science， 2010 ， 37(8) ： 283-286(in Chinese).

［20］劉法旺，賈云得. 基于流形學(xué)習(xí)與隱條件隨機場的人體動作識別[J]. 軟件學(xué)報，2008，19(增)：69-77.Liu Fawang，Jia Yunde. Human action recognition using manifold learning and hidden conditional random fields[J].Journal of Software，2008，19(Suppl)：69-77(in Chi-nese)．

［21］Oliva A，Torralba A. Modeling the shape of the scene：A holistic representation of the spatial envelope [J].International Journal of Computer Vision， 2001 ，42(3)：145-175.