時(shí)空興趣點(diǎn)結(jié)合HMM的人體動(dòng)作識(shí)別方法

， ，

(1. 佛山職業(yè)技術(shù)學(xué)院 電子信息系，佛山 528137； 2. 華南理工大學(xué) 工商管理學(xué)院，廣州 510000)

0 引言

近年來(lái)由于在智能醫(yī)療監(jiān)控、視頻檢索、自然人機(jī)交互、虛擬現(xiàn)實(shí)、智能機(jī)器人控制及游戲開(kāi)發(fā)有廣泛的應(yīng)用，現(xiàn)實(shí)場(chǎng)景的人體運(yùn)動(dòng)識(shí)別已為計(jì)算機(jī)視覺(jué)熱門(mén)的研究領(lǐng)域[1-3]。人體動(dòng)作識(shí)別涉及視頻捕捉[4]、視頻圖像處理[5]、模型識(shí)別[6]等關(guān)鍵技術(shù)，通過(guò)對(duì)視頻序列進(jìn)行處理分析來(lái)識(shí)別人體動(dòng)作。然后再結(jié)合動(dòng)作執(zhí)行環(huán)境中的語(yǔ)義信息，進(jìn)一步借助計(jì)算機(jī)完成高層語(yǔ)義信息的分析和識(shí)別。

當(dāng)前對(duì)現(xiàn)實(shí)場(chǎng)景中人體動(dòng)作描述方法包括基于人體模型特征的方法、基于整體特征的方法和基于局部特征的方法三類(lèi)[7-8]?；谌梭w模型的方法基本上采用三維人體模型，優(yōu)點(diǎn)是不受視角、光照和尺度變化的影響，是描述人體運(yùn)動(dòng)最直觀(guān)最本質(zhì)的方法；但人體三維姿態(tài)與人體結(jié)構(gòu)越接近，所描述的姿態(tài)特征就越精細(xì)，其相對(duì)應(yīng)的維度就越大，因此就會(huì)帶來(lái)分類(lèi)算法帶來(lái)維度災(zāi)難問(wèn)題，也就會(huì)增加學(xué)習(xí)動(dòng)作模型所需的數(shù)據(jù)量和算法復(fù)雜性[9]。整體特征是將人體運(yùn)動(dòng)區(qū)域從背景中提取出來(lái)，把人體表示成二值圖像以區(qū)分人體和背景，并對(duì)該區(qū)域的表觀(guān)或運(yùn)動(dòng)信息進(jìn)行語(yǔ)義描述，而忽略人體的表觀(guān)和結(jié)構(gòu)信息。通過(guò)輪廓描述子描述成一段視頻視為單幀輪廓的時(shí)間序列或圖像在時(shí)間軸上級(jí)聯(lián)的時(shí)空體，但整體特征生成都需要較多的預(yù)處理[10]。許多研究采用基于局部特征的動(dòng)作描述方法，試圖解決整體特征不足的問(wèn)題。該類(lèi)方法不借助人體目標(biāo)檢測(cè)。

時(shí)空興趣點(diǎn)檢測(cè)是基于局部特征生成的一個(gè)關(guān)鍵步驟[11]，眾多研究者提出了基于時(shí)空興趣點(diǎn)的人體動(dòng)作識(shí)別方法。例如Laptev提出的Harris3D時(shí)空興趣點(diǎn)[12], 通過(guò)加入時(shí)間軸信息，對(duì)二維平面上Harris圖像灰度值變化的角點(diǎn)擴(kuò)展到三維空間和時(shí)間上，在時(shí)間和空間的3個(gè)方向上均有較大變化的時(shí)空點(diǎn)，但在現(xiàn)實(shí)場(chǎng)景中的前景較小，經(jīng)常提取不到興趣點(diǎn)，導(dǎo)致該方法提取的興趣點(diǎn)非常稀少。Dollar提出了Dollar時(shí)空興趣點(diǎn)[13]，基于分離式的線(xiàn)性濾波器提取時(shí)空興趣點(diǎn)，并進(jìn)一步在時(shí)間域上進(jìn)行Gabor濾波，并通過(guò)計(jì)算時(shí)空響應(yīng)函數(shù)的局部極大值確定興趣點(diǎn)。Willems提出Hes-STIP檢測(cè)子[14], 使用基于三維的Hessian矩陣的顯著度評(píng)價(jià)函數(shù)對(duì)圖像的空間特色塊進(jìn)行時(shí)空擴(kuò)展，并在時(shí)空域的5個(gè)方向上用非極大值抑制的方法確定興趣點(diǎn)。Wong采用非負(fù)矩陣分解方法檢測(cè)到運(yùn)動(dòng)的身體部分，然后基于全局信息選取興趣點(diǎn)，使得提取的興趣點(diǎn)更能描述人體動(dòng)作特征，從而提高了識(shí)別性能[15]。以上分析可知，已有的時(shí)空興趣點(diǎn)算法為了提取更優(yōu)質(zhì)判別性的和顯著點(diǎn)，時(shí)域和空域選擇條件的比較苛刻，使得在視頻序列中提取的興趣點(diǎn)非常稀少，太少的興趣點(diǎn)使得過(guò)少的信息量不足以描述復(fù)雜的人體動(dòng)作；其次，為提取具有特征的時(shí)空點(diǎn)，需要在多個(gè)時(shí)域和空域進(jìn)行篩選，計(jì)算量很大。所以經(jīng)典的時(shí)空興趣點(diǎn)算法在現(xiàn)實(shí)復(fù)雜場(chǎng)景中的效果不是很理想。為這些問(wèn)題，本文提出一種新的基于旋度的興趣點(diǎn)提取算法，給定一個(gè)人體動(dòng)作視頻序列，先從光流場(chǎng)中篩選出運(yùn)動(dòng)變化趨勢(shì)較為劇烈的點(diǎn)作為時(shí)空興趣點(diǎn)，再利用光流場(chǎng)的旋度找出人體相鄰關(guān)節(jié)的空間信息，進(jìn)一步訓(xùn)練每一類(lèi)動(dòng)作的時(shí)空興趣點(diǎn)的隱馬爾科夫模型。對(duì)提出的方法進(jìn)行驗(yàn)證，在運(yùn)算效率和識(shí)別率方面都取得了較好的效果。

1 人體動(dòng)作時(shí)空興趣點(diǎn)提取方法

在人體動(dòng)作識(shí)別過(guò)程中結(jié)構(gòu)包括由骨骼組成的軀干和四肢兩部分，骨骼之間經(jīng)由關(guān)節(jié)鏈接起來(lái)，本文將人體骨架劃分成27個(gè)關(guān)節(jié)點(diǎn)。將軀干分為7個(gè)關(guān)節(jié)點(diǎn)，將四肢劃分成5個(gè)關(guān)節(jié)點(diǎn)。空間相鄰的兩關(guān)節(jié)點(diǎn)處于某骨骼的兩端，骨骼圍繞著關(guān)節(jié)做類(lèi)似于線(xiàn)段繞著支點(diǎn)做旋轉(zhuǎn)運(yùn)動(dòng)，關(guān)節(jié)處的旋轉(zhuǎn)方向和旋轉(zhuǎn)幅度的值比較大，本文提出從光流方程獲得軀干7個(gè)關(guān)節(jié)點(diǎn)和四肢20個(gè)關(guān)節(jié)點(diǎn)空間時(shí)序信息并篩選出光流場(chǎng)運(yùn)動(dòng)變化趨勢(shì)劇烈的點(diǎn)為時(shí)空興趣點(diǎn)，形成特征矩陣。

1.1 微分光流約束方程原理

光流法的基本原理是直接對(duì)視頻幀序列進(jìn)行處理，為2D幀序列圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度向量，構(gòu)成一個(gè)圖像運(yùn)動(dòng)場(chǎng)。

圖像點(diǎn)(x,y)在時(shí)刻t的圖像強(qiáng)度為I(x,y,t)，經(jīng)過(guò)時(shí)隔δt后圖像強(qiáng)度為I(x+δx,y+δy，t+δt)，δt→0時(shí)輻照度不變，則得式(1)。

(1)

設(shè)μ=dx/dt,ν=dy/dt分別為該點(diǎn)光流沿x軸和y軸的分量，將(1)式左邊Taylor公式展開(kāi)，得式(2)。

(2)

上式中ε為二階無(wú)窮小，取極限δt→0，在消去I(x,y,t)后得式(3)。

(3)

Ixμ+Iyν+It=0

(4)

(4)式為圖像序列光流的約束方程。寫(xiě)成矢量形式為式(5)。

▽?duì)う?It=0

(5)

ω=(μ，ν)T為像素的光流矢量。

式(4)只能是平面上的一條直線(xiàn)，因此求解光流場(chǎng)是一個(gè)不確定問(wèn)題，為了求解的ω=(μ，ν)T兩個(gè)分量必須附加其他的約束。

1.2 Horn-Schunck附加約束

Horn-Schunck提出基于添加平滑約束項(xiàng)的迭代方法求解光流，據(jù)約束方程,光流誤差為式(6)。

e2(X)=(Ixu+Iyv+It)2

(6)

對(duì)添加平滑約束項(xiàng)的光流，其速度分量平方和積分為式(7)。

(7)

將加權(quán)參數(shù)控制圖像流約束微分和光滑性微分組合起來(lái)得式(8)。

E=?{e2(X)+αs2(X)}dxdy

(8)

α是平滑度的系數(shù)因子，圖像數(shù)據(jù)包含噪聲時(shí)，α越大估計(jì)精度越高。對(duì)式(8)進(jìn)行變分法求解，其解是一對(duì)偏微分方程，如式(9)。

(9)

由于計(jì)算的對(duì)象是離散化的圖像，經(jīng)離散化處理變?yōu)槭?10)、式(11)。

(10)

(vi+1,j-vi,j)2+(vi,j+1-vi,j)2]

(11)

取極小化函數(shù)為式(12)。

(12)

E對(duì)u和v求偏導(dǎo)為式(13)。

(13)

當(dāng)上式為零時(shí)，則式(2.11)取極小值，得到式(14)。

(14)

利用迭代的方法求解得式(15)。

(15)

迭代次數(shù)n與光流初始值和圖像質(zhì)量有關(guān)，通常u0和v0為零。當(dāng)?shù)螖?shù)n>32時(shí)，相鄰兩次迭代結(jié)果小于預(yù)定的公差值就足夠精確了。

1.3 基于旋度的提取方法

現(xiàn)實(shí)生活中人體做不同的運(yùn)動(dòng)時(shí)身體會(huì)產(chǎn)生局部的旋轉(zhuǎn)，光流場(chǎng)中就有不同的旋度分布，旋度值與肢體運(yùn)動(dòng)的強(qiáng)度有關(guān)，旋度值大的部位一般為肢體運(yùn)動(dòng)趨勢(shì)劇烈的部位。論文提出一種新的基于光流場(chǎng)旋度的時(shí)空興趣點(diǎn)方法。

2D光流場(chǎng)中旋度的定義為式(16)。

(16)

具體算法流程如下：先將一個(gè)人體動(dòng)作視頻序列解碼成幀序列，計(jì)算出每幀圖像每個(gè)像素點(diǎn)的密集光流值；通過(guò)式(16)計(jì)算出每個(gè)像素點(diǎn)位置的旋度值；將幀圖像的左上角作為原點(diǎn)，由于運(yùn)動(dòng)方向不同，算出的旋度有正負(fù)之分，再統(tǒng)計(jì)出像素點(diǎn)旋度的正負(fù)極值max+和max-；設(shè)置一個(gè)閾值為正負(fù)極值的百分比(例如15%)，根據(jù)設(shè)定選取旋度值大于正閾值及小于負(fù)閾值的像素點(diǎn)為局部密集點(diǎn)；最后進(jìn)行間隔為3的空間采樣為最終的興趣點(diǎn)。圖1顯示了在KTH和UCFSports庫(kù)上由本文提取興趣點(diǎn)的結(jié)果(紅色點(diǎn)所示)，如圖1所示。

圖1 興趣點(diǎn)分布，第1行：KTH；第2行：UCFSports

從實(shí)例可以看到提取的興趣點(diǎn)(紅色像素)是聚集在人體運(yùn)動(dòng)的關(guān)節(jié)部位，在一些小區(qū)域部位形成密集的點(diǎn)群。

2 人體動(dòng)作分類(lèi)器設(shè)計(jì)

2.1 隱馬爾科夫模型概述

它是馬爾科夫鏈的一種雙內(nèi)嵌結(jié)構(gòu)的隨機(jī)過(guò)程，一個(gè)是狀態(tài)觀(guān)測(cè)序列，另一個(gè)是隱含的狀態(tài)轉(zhuǎn)移序列且處于某類(lèi)有限序列中，其狀態(tài)轉(zhuǎn)換過(guò)程時(shí)不可觀(guān)察的。

隱馬爾可夫模型有5個(gè)基本元素，為λ={S,V,A,B,π}

河南自貿(mào)區(qū)自建成以來(lái)對(duì)河南省貿(mào)易企業(yè)提供諸多優(yōu)惠政策，河南省國(guó)稅局除落實(shí)既定稅收優(yōu)惠政策之余借鑒已經(jīng)試點(diǎn)上海、廣東、天津和福建自貿(mào)區(qū)的稅收政策，將相關(guān)稅收優(yōu)惠政策繼續(xù)傳承下去。接下來(lái)我們一起來(lái)分析相關(guān)稅收優(yōu)惠政策。

1)隱含狀態(tài)集合:S={S1,…SN}

2)觀(guān)測(cè)狀態(tài)集合:V={V1,…,VM}

3)隱含狀態(tài)轉(zhuǎn)移概率分布矩陣

A=(aij)N×N

Aij=P(Sj/Si),1≤i,j≤N

4)輸出觀(guān)測(cè)值的概率矩陣

B=(bij)N×M

Bij=P(Oi/Sj),1≤i≤M,1≤j≤N

5)始狀態(tài)概率分布矩陣:π=(π1,…,πN)

HMM的評(píng)估問(wèn)題利用前向和后向算法解決方案：前向變量由前向算法公式(17)定義的遞歸關(guān)系計(jì)算；后向變量由后向算法公式(18)定義的遞歸關(guān)系計(jì)算；觀(guān)測(cè)序列 的發(fā)生概率可由如公式((19)求得式(17)～式(19)。

(17)

(18)

(19)

HMM的解碼問(wèn)題通常采用Viterbi算法定義：

δ(t,i)=maxP(q1,…qt-1,qt=Si,o1,…,ot|λ)

HMM的學(xué)習(xí)訓(xùn)練問(wèn)題通過(guò)Baum-Welch算法，計(jì)算模型當(dāng)前的最大似然估計(jì)解決模型訓(xùn)練，如式(20)～式(22)。

ξt(i,j)=P(qt=Si,qt=1=Sj|O,λ)=

(20)

(21)

ξt(i,j)=P(qt=Si,qt+1=SJ|O,λ)

(22)

2.2 人體動(dòng)作識(shí)別

HMM模型是一種雙內(nèi)嵌結(jié)構(gòu)的隨機(jī)過(guò)程，具有較強(qiáng)的時(shí)序建模能力，主要應(yīng)用于視頻時(shí)序信號(hào)處理、行為識(shí)別等領(lǐng)域中，本文選用高斯混合HMM模型對(duì)動(dòng)作構(gòu)建模型進(jìn)行識(shí)別。

在分類(lèi)器訓(xùn)練中，HMM模型將利用期望最大化，來(lái)計(jì)算關(guān)節(jié)點(diǎn)旋度上的依賴(lài)關(guān)系和特征塊時(shí)序維度。其中每一類(lèi)動(dòng)作都將被訓(xùn)練成一個(gè)HMM模型，記為{λ1,λ2，…,λc}，其中c表示動(dòng)作類(lèi)別數(shù)。在得到關(guān)節(jié)興趣點(diǎn)序列J′后(o′為相應(yīng)的特征矩陣)，由HMM模型對(duì)其動(dòng)作類(lèi)別基于最大似然概率進(jìn)行動(dòng)作識(shí)別，如式(23)。

(23)

同時(shí)，為解決傳統(tǒng)HMM模型時(shí)間上不連續(xù)性，本文采用連續(xù)高斯概率核函數(shù)計(jì)算觀(guān)測(cè)值序列的概率密度分布，如式(24)。

(24)

其中，G為高斯概率核函數(shù)。

3 實(shí)驗(yàn)分析與比較

本文實(shí)驗(yàn)驗(yàn)證數(shù)據(jù)選自KTH和Hollywood-2動(dòng)作數(shù)據(jù)集。KTH數(shù)據(jù)集分別是25個(gè)執(zhí)行者在4個(gè)不同場(chǎng)景中完成拳擊、走路、慢跑、快跑、雙臂揮舞和拍手的6類(lèi)動(dòng)作，包含2 391個(gè)視頻序列，大小為160*120像素，數(shù)據(jù)集中視頻幀率為25fps，平均10至15秒；場(chǎng)景隨著光線(xiàn)的變化、衣服顏色與款式不同的而變化，場(chǎng)景背景單一，每個(gè)場(chǎng)景僅包含一個(gè)執(zhí)行者單一動(dòng)作，本文將數(shù)據(jù)集分成9個(gè)人的測(cè)試集(2,3,5,6,7,8,9,10和22)，另外16位執(zhí)行者作為訓(xùn)練集；Hollywood-2數(shù)據(jù)集所有樣本從69部Hollywood電影中抽取出來(lái)，包括從現(xiàn)實(shí)電影場(chǎng)景中的12個(gè)動(dòng)作類(lèi)和10個(gè)場(chǎng)景共3669個(gè)樣本：吃飯、下車(chē)、打架、接電話(huà)、握手、擁抱、開(kāi)車(chē)、接吻、坐下、跑步、站起來(lái)和坐起來(lái)，空間分辨率為360 * 288，樣本幀率為4.6 fps，視頻中人的形態(tài)、穿著、表情、背景及相機(jī)的運(yùn)動(dòng)、光照角度、遮擋等變化較大，接近真實(shí)場(chǎng)景情況。

本文算法是先采用Opencv提供的代碼從原始序列中計(jì)算出光流場(chǎng)以及各像素點(diǎn)的旋度值，從而提取出每幀圖像上時(shí)空興趣點(diǎn);然后采用隨機(jī)選擇窗口尺寸的策略確定出每個(gè)興趣點(diǎn)，并從后續(xù)幀興趣點(diǎn)的跟蹤位置上軌跡線(xiàn)取一個(gè)N*N*L的時(shí)空體(N為空間窗口)，隨機(jī)選擇36, 48, 56, 64四個(gè)尺度；時(shí)間尺度方面為解決跟蹤興趣點(diǎn)易漂移和去除不穩(wěn)定的點(diǎn)的問(wèn)題，本文固定軌跡長(zhǎng)度為L(zhǎng)(為減少計(jì)算量L取20幀)。當(dāng)軌跡達(dá)到L時(shí)，則認(rèn)為形成一條新軌跡，并可以去掉不穩(wěn)定的點(diǎn)。如圖2所示。

圖2 傳統(tǒng)密集興趣點(diǎn)提取方法與本文興趣點(diǎn)提取方法對(duì)比

本文設(shè)置隱馬爾科夫模型的有限狀態(tài)集為|SW|=3,ω=1,…,W，高斯混合分布總數(shù)也為3，為更好地捕獲時(shí)空位置信息，將N*N*L的局部窗口分成nσ×nσ×nτ(2,3)的時(shí)空子窗口。

本文算法在KTH集中動(dòng)作識(shí)別結(jié)果混淆表，如圖3所示。

行為相似度較高的走、慢跑、跑混淆度僅為3.29%，全部行為識(shí)別率均超過(guò)91%，平均識(shí)別精度96.81%，具有很高的區(qū)分度。

本文測(cè)算旋度、確定閾值，通過(guò)比較提取興趣點(diǎn)，隨機(jī)選擇窗口尺寸時(shí)空體并提取特征，避免了多尺度遍歷，文獻(xiàn)[15]需計(jì)算光流場(chǎng)稠密軌跡，每幀圖像均需尺度縮放，因此計(jì)算量顯著增加。本文采用KTH庫(kù)慢跑動(dòng)作及Hollywood-2庫(kù)開(kāi)車(chē)動(dòng)作，分別考察其他模型算法的平均耗時(shí)及識(shí)別精度，如表1所示。

表1 在KTH庫(kù)和Hollywood-2庫(kù)上耗時(shí)與識(shí)別精度對(duì)比

從表中可以看出，本文算法平均耗時(shí)不到文獻(xiàn)[15]和文獻(xiàn)[16]方法耗時(shí)的一半，對(duì)相似度很高的行為之間的識(shí)別精度高，驗(yàn)證了本文算法在真實(shí)場(chǎng)景中的實(shí)用價(jià)值。

4 總結(jié)

基于時(shí)空興趣點(diǎn)和隱馬爾科夫模型提出了一種新的人體動(dòng)作識(shí)別算法。為解決以往的時(shí)空興趣點(diǎn)算法需考慮多層時(shí)空尺度計(jì)算復(fù)雜度高，提出光流場(chǎng)微分的旋度興趣點(diǎn)算法，時(shí)空興趣點(diǎn)大都集中三維關(guān)節(jié)點(diǎn)的關(guān)鍵部位，采用隨機(jī)選擇窗口尺寸避免多尺度遍歷節(jié)省計(jì)算時(shí)間；并利用光流場(chǎng)的旋度找出人體相鄰關(guān)節(jié)的空間信息，并進(jìn)一步訓(xùn)練隱馬爾科夫模型，將算法應(yīng)用到兩個(gè)動(dòng)作數(shù)據(jù)庫(kù)上，都獲得較好的識(shí)別能力。

今后的工作重點(diǎn)將考慮到動(dòng)態(tài)背景的影響，進(jìn)一步提高算法的運(yùn)動(dòng)識(shí)別能力。