基于關(guān)鍵姿勢的人體動作識別

劉 博，安建成

(太原理工大學(xué)計算智能研究室，山西太原030024)

1 人體動作識別

人體動作識別在計算機視覺方面已經(jīng)成為了一個流行的話題。在如此多的視頻監(jiān)控和人機交互系統(tǒng)中，一個可靠有效的解決方法顯得尤為重要。

現(xiàn)在有很多方法來表示動作和提取動作特征，例如基于運動的方法［1］、空間—時間的興趣點［2－3］、空間—時間分割［4］。相對于以上復(fù)雜的識別方法，對于給定的動作，人腦可以很快地識別出這個人在干什么，這是因為人腦可以根據(jù)這個人的姿勢，不需要看完這個動作過程就可以做出判斷。在人腦識別動作的過程中，不需要任何的時間信息，而是需要去挖掘用姿勢來進行動作識別的潛力。

本文提出一種基于關(guān)鍵姿勢的簡單方法，類似于人腦識別方式來識別動作。通過提取人體輪廓，再對輪廓進行線條化處理。對于一個動作，能提取出帶有這個動作特征的幾個或十幾個關(guān)鍵姿勢。對于給定的動作幀序列，每一幀中的動作都會被提取出來線條化并與線條化后關(guān)鍵姿勢對比，計算相似度。最后，分類動作的幀序列，分類數(shù)最多的就是識別結(jié)果。

2 關(guān)鍵動作的提取

對每個幀提取動作的步驟(圖1)為:首先利用基于序列圖像的人體跟蹤算法［5］，然后在每一幀中用方框框出人的圖像，接著利用背景減除法提取人像的邊緣信息。為了消除由雜亂背景所產(chǎn)生的噪聲的影響，滯后閾值將在下一個步驟添加。在這點就可以從一個給定的幀序列中發(fā)現(xiàn)最佳的高和低的閾值，步驟如下:從一個動作序列選擇一個隨機幀，用一個多邊形手動畫出人體圖像的邊緣，在所選區(qū)域的邊緣值變化范圍可以用來確定低和高的閾值。為了消除殘留的噪聲，邊緣像素投射到x軸和y軸，則不屬于最大連接組件的像素被去除。之后，剩下的像素點用帶有方向的信息鏈連接起來。這些鏈結(jié)構(gòu)可用來構(gòu)建一個輪廓段的網(wǎng)絡(luò)(CSN)［6］。最后用k鄰接輪廓段(k－Adjacent Segments，k－AS)描述CSN網(wǎng)絡(luò)，這也是在物體識別領(lǐng)域里比較流行的做法。

圖1 姿勢提取的步驟

在CSN網(wǎng)中，如果k條線段是按序連接的，即第i條線段與第(i+1)條線段連接(i∈(1，k－1))，則稱這k條線段組成一個k鄰接輪廓線段組，k為其度。隨著k的增長，k－AS能夠描述越來越復(fù)雜的局部形狀結(jié)構(gòu)。人類的姿勢，特別是肢體運動，可以用L－shapes來描述。因此，選擇k=2，即2－AS直線對。這樣每個線對由直線段S1和直線段S2組成，即

3 計算姿勢之間的相似性

用線對的集合來描述給定每一幀的姿勢。兩個線對描述(va，vb)的相似性計算為

式(2)的第一部分是計算兩個線對的位置差異，第二部分是計算方向差異，最后一個是計算長度差異，每項的權(quán)重wr=4，wθ=2。式(2)只能比較兩個線對的相似性，下文將介紹一種可以計算比較兩幀里多個線對的方法。

在任何由線對組成的兩幀中，把這兩個幀中的線對當(dāng)成是兩個集合X，Y，為了匹配這兩個集合中的元素，線對的匹配必須要滿足一對一和多對一的模式，所以集合X中的每一個線對元素和集合Y中的每一個線對元素對應(yīng)。

在f1，f2兩幀中，包含了兩個線對的集合φ1={v1，v2，…，vi，…，vn}和 φ2={v1，v2，…，vk，…，vm}，f1中有n個線對，f2中有m個線對。用φ1中每一個vi和φ2中每一個vk做比較，找出匹配線對，只有在φ2中vk對于vi有最小相似距離和φ1中對于vk有最小相似距離時，vk和vi相似，圖2是相對匹配事例。

圖2 相似姿勢的線對匹配

當(dāng)滿足這種一對一的匹配屬性時，就可以求出平均的線對匹配距離davg。sim(f1，f2)是f1，f2的相似度計算公式

式中:match(f1，f2)表示匹配成功的線對數(shù)量，經(jīng)過實驗發(fā)現(xiàn)，p=2是最優(yōu)值。

4 關(guān)鍵姿勢的提取

關(guān)鍵姿態(tài)序列一般可以表示一種特殊的動作。直觀地說，視頻中一個關(guān)鍵姿勢序列合理地分布在視頻幀中，這個關(guān)鍵姿勢序列很好地再現(xiàn)了這個動作形態(tài)。用K中心點聚類算法［7］來提取關(guān)鍵姿勢，因為聚集的中心點能很好地提取每個動作的姿態(tài)。但是，直接用中心點作為關(guān)鍵姿勢并不能保證和另一個動作區(qū)分開，因為一系列的姿勢可能屬于多個動作。例如，揮手和拍手的動作共享幾個姿勢，都是人在揮動手臂。因此本文采用下文算法來把關(guān)鍵的姿勢(能區(qū)分開來和其他動作)分類。最后，給每一個動作關(guān)鍵姿勢的幀排序，根據(jù)其識別度給出分數(shù)，然后把分數(shù)最高的作為關(guān)鍵姿勢。圖3是KTH數(shù)據(jù)集中6種動作的關(guān)鍵姿勢［8］。

圖3 在KTH數(shù)據(jù)集中6種動作的關(guān)鍵姿勢(拳擊、拍手、揮手、慢跑、跑步、走)

提取關(guān)鍵姿勢算法具體如下:

1)K=(1，N)，K是關(guān)鍵姿勢的數(shù)量。

(1)每一個動作ai∈A，A={a1，a2，…，aM}，M是不同動作的數(shù)量。用K中心點聚類算法來提取ai中的關(guān)鍵姿勢，數(shù)量為K;從ai動作提取出來的候選關(guān)鍵姿勢序列為ci={ci1，ci2，…，ciK}。

(2)將上述樣本的動作視頻按一幀分開，f為一幀。用f和關(guān)鍵姿勢序列匹配ci={ci1，ci2，…，ciK};ciK和視頻中所有的幀f匹配的i∈［1，M］，k∈［1，K］;對每個關(guān)鍵姿勢設(shè)定個值，如果匹配成功，就給這個關(guān)鍵姿勢的值增加1。

2)對每組動作中的關(guān)鍵姿勢按他值排序，把值最高的幾個作為這個動作的關(guān)鍵姿勢。

5 動作識別

為了分類給定的動作序列，首先每一幀要和所有動作的所有關(guān)鍵姿勢對比，把給定視頻中的動作序列和關(guān)鍵姿勢進行相似分類計數(shù)，就是視頻幀中有多少和給定的關(guān)鍵姿勢序列1相似，統(tǒng)計出來，以此類推。圖4說明了分類計數(shù)的過程。

圖4 使用關(guān)鍵姿勢進行動作識別的過程

6 實驗結(jié)果

用 KTH［8］和 Weizmann［9］的數(shù)據(jù)集來測試本文的動作識別算法。選取了Weizmann 7個動作(蹲、起立、跳、快跑、側(cè)面、走、揮手)，這些動作由9個不同的人來演示。選取KTH的6個動作(拳擊、拍手、揮手、慢跑、跑、走)，這些動作由25個不同的人在4個場景下進行表演:室外(s1)、室外不同的地方(s2)、室外穿不同的衣服(s3)、室內(nèi)(s4)。

對于選用Weizmann數(shù)據(jù)集合的6個動作樣本，本文在對輪廓進行線對描述，忽略其噪聲。為了評估分類性能，本文采用留一交叉驗證［10］。

對于KTH，認為它是一個單一的大集合，但是其中的樣本在邊緣檢測的結(jié)果中有大量的噪聲。為了評估分類性能，采用十倍交叉驗證然后求平均結(jié)果。因為計算開銷較大，隨機選擇了一半的數(shù)據(jù)集，用十倍交叉驗證對75%的樣本進行訓(xùn)練，剩下的25%在每次測試中運行。在KTH數(shù)據(jù)集中，每個動作序列幀速率是不一樣的。為了保持一致，把每個動作的幀限定到20～50之間，能使動作流暢地演示一次。

在K=47時獲得了92.6%的識別率，K=78時也獲得了91.5%的識別率，對于KTH的數(shù)據(jù)集，K是每個動作的關(guān)鍵姿勢。對于Weizmann的數(shù)據(jù)集，還可以提高識別率到95.06%，采用嚴格的幾何約束，對每個幀放到一個二維坐標(biāo)中，只在同一坐標(biāo)內(nèi)線對做匹配。但是，對于一部分KTH的數(shù)據(jù)集，人的圖像并不完整(例如缺少頭、腿等)，對圖像進行邊緣檢測和對圖像幀進行幾何約束的匹配時，這樣的圖像不能被很好地識別。圖5是平均分類的準(zhǔn)確率和關(guān)鍵姿勢數(shù)量的關(guān)系。本文方法需要大量的K值，以達到良好的分類性能，因為不同表演者對同一個動作的演示也是不同的。

圖5 分類的準(zhǔn)確率和對每個動作提取關(guān)鍵姿勢的數(shù)量關(guān)系曲線圖

在識別結(jié)果方面，局部時空特征的動作識別［11］方法基于Weizmann數(shù)據(jù)集的識別率是75% ～87%(表1)，局部時空特征的動作識別方法基于KTH數(shù)據(jù)集的識別率是59% ～100%(表2)。因為本文中的測試數(shù)據(jù)和基于局部時空特征的動作識別方法采用的數(shù)據(jù)一致(Weizmann數(shù)據(jù)集和KTH數(shù)據(jù)集)，所以從實驗結(jié)果看，基于Weizmann數(shù)據(jù)集大部分動作關(guān)鍵姿勢的識別率比局部時空特征高(表3)。在基于KTH數(shù)據(jù)集，關(guān)鍵姿勢的識別方法對比局部時空特征在跑、慢跑、揮手、走的動作識別方面也有一定的優(yōu)勢(表4)。

表1 在Weizmann數(shù)據(jù)集中K=47的混淆矩陣

表2 在KTH數(shù)據(jù)集中K=78時的混淆矩陣

表3 局部時空特征的動作識別率基于Weizmann數(shù)據(jù)集

表4 局部時空特征的動作識別率基于KTH數(shù)據(jù)集

此外，對于KTH的數(shù)據(jù)集，一部分的錯誤分類也是由于場景(s3)中表演者穿不同的衣服，拿不同的東西，在提取輪廓的時候產(chǎn)生額外的線對。

7 總結(jié)

本文引入一個新方法——提取動作的關(guān)鍵姿勢，試驗這種方式在動作識別方面的準(zhǔn)確度。用線對(包含位置、方向、長度信息)來描繪每一幀動作姿勢的形狀特征。因此，把姿勢信息放到直方圖上，該方法可以很好地保存線對(表示姿勢)的空間信息。通過匹配算法，比較兩幀中的線對集合。關(guān)鍵姿勢描繪動作的識別上也能明顯區(qū)別于其他動作。但是本文方法對邊緣檢測有很強的依賴性，對背景的噪聲也十分敏感，有待進一步研究。

［1］LU G .Motion－based region growing segmentation of image sequences［J］.Journal of Electronics，2000，17(1):53－58.

［2］李永浩，張西紅，彭濤，等.基于視覺注意力模型的紅外人體圖像興趣區(qū)域提?。跩］.計算機應(yīng)用研究，2008，28(12):94－96.

［3］支俊.車輛檢測中一種興趣區(qū)域提取方法［J］.計算機工程與設(shè)計，2007，28(12):3013－3015.

［4］ BLANKM，GORELICK L，SHECHTMAN E，etal.Actions as space－time shapes［C］//Proc.ICCV 2005 .［S.l.］:IEEE Press，2005:2247－2253.

［5］范新南，丁朋華，劉俊定，等.基于序列圖像的人體跟蹤算法研究綜述［J］.計算機工程與設(shè)計，2012，33(1):278－282.

［6］ FERRARIV，F(xiàn)EVRIER L，JURIE F，et al.Groups of adjacent contour segments for object detection［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2008，30(1):36－51.

［7］謝娟英，郭文娟，謝維信.基于鄰域的K中心點聚類算法［J］.陜西師范大學(xué)學(xué)報，2012，40(4):16－23.

［8］ SCHULDT C，LAPTEV I，CAPUTO B.Recognizing human actions:A local SVM approach［C］//Proc.ICPR 2004.［S.l.］:IEEE Press，2004:32－36.

［9］ BLANK M，GORELICK L，SHECHTMAN E，et al.Actions as spacetime shapes［C］//Proc.ICCV 2005.［S.l.］:IEEE Press，2005:2247－2253.

［10］劉學(xué)藝，李平，郜傳厚.極限學(xué)習(xí)機的快速留一交叉驗證算法［J］.上海交通大學(xué)學(xué)報，2011，45(8):1140－1146.

［11］雷慶，李紹滋.動作識別中局部時空特征的運動表示方法研究［J］.計算機工程與應(yīng)用，2010，46(34):7－10.