基于Kinect角度測(cè)量的姿勢(shì)識(shí)別算法*

戰(zhàn)蔭偉， 于芝枝， 蔡 俊

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

0 引 言

人體動(dòng)作豐富多樣，不同的動(dòng)作具有不同的含義。在很多的應(yīng)用中，需要對(duì)人體運(yùn)動(dòng)進(jìn)行更加全面的分析，例如：行為監(jiān)控、運(yùn)動(dòng)分析、醫(yī)療康復(fù)等。如果能夠?qū)崟r(shí)地識(shí)別和跟蹤人體，那么就能夠準(zhǔn)確地識(shí)別人體姿勢(shì)，更加方便地觀察和學(xué)習(xí)人體行為。因此，尋找一個(gè)好的方法來(lái)識(shí)別人體姿勢(shì)是非常有必要的。

近年來(lái)，基于Kinect[1～3]體感設(shè)備的人體動(dòng)作識(shí)別在醫(yī)學(xué)領(lǐng)域表現(xiàn)出巨大的應(yīng)用價(jià)值，國(guó)內(nèi)外很多機(jī)構(gòu)都在開(kāi)展相關(guān)研究。Hu R Z等人[4]在學(xué)步車(chē)上安裝Kinect用來(lái)提取腿部信息從而進(jìn)行醫(yī)療步態(tài)分析。Shotton J等人[5]利用Kinect獲得的深度信息檢測(cè)人體的關(guān)節(jié)點(diǎn)，利用隨機(jī)森林分類(lèi)器將深度圖像像素分類(lèi)為身體的多個(gè)部位。Schwarz L A等人[6]則結(jié)合人體解剖學(xué)標(biāo)記和人體骨架模型,并利用Kinect獲得深度圖對(duì)人體進(jìn)行全身的姿勢(shì)估計(jì)，利用測(cè)地距離(geodesic distances)來(lái)測(cè)量身體部位之間的距離。Zheng Xiao等人[7]利用Kinect的深度傳感器獲得的人體圖像來(lái)識(shí)別3D人體姿態(tài)。Penny J S等人[8]利用Kinect設(shè)備捕獲場(chǎng)景，并對(duì)人體的下肢姿態(tài)進(jìn)行估計(jì)。

鑒于Kinect的廉價(jià)性和使用價(jià)值，許多醫(yī)療專(zhuān)家也將這一優(yōu)勢(shì)帶入到醫(yī)療康復(fù)當(dāng)中，利用Kinect進(jìn)行康復(fù)治療[9～11]，其基本思想是利用深度信息和骨架跟蹤技術(shù)對(duì)人體肢體的跟蹤來(lái)確定肢體位置，從而識(shí)別人體的動(dòng)作。文獻(xiàn)[12]指出利用Kinect康復(fù)訓(xùn)練可以有效地增強(qiáng)康復(fù)的質(zhì)量，它在幫助患者恢復(fù)運(yùn)動(dòng)功能的同時(shí)也提高了患者的心理素質(zhì)，減少患者消極情緒。Da Gama A等人[13]設(shè)計(jì)了人體肩部的康復(fù)系統(tǒng)，該系統(tǒng)只需患者將手部碰觸到設(shè)定的點(diǎn)即可，但卻無(wú)法實(shí)時(shí)地測(cè)量關(guān)節(jié)點(diǎn)具體位置?？祻?fù)訓(xùn)練往往不需要患者進(jìn)行快速的大幅度運(yùn)動(dòng)，但是對(duì)Kinect人體骨架跟蹤精度要求較高，如果能夠?qū)崿F(xiàn)對(duì)人的手部和腿部骨架準(zhǔn)確的跟蹤，那么可以更加準(zhǔn)確地識(shí)別出患者的動(dòng)作，從而達(dá)到更好的康復(fù)效果。

為了提高人體姿勢(shì)識(shí)別的準(zhǔn)確率和精確度，本文提出了一種人體關(guān)節(jié)點(diǎn)角度測(cè)量的姿勢(shì)識(shí)別的算法。此方法能夠?qū)崟r(shí)地測(cè)量骨架之間的角度，提高姿勢(shì)匹配的精確度，且能夠準(zhǔn)確的對(duì)人體姿勢(shì)進(jìn)行識(shí)別，算法簡(jiǎn)單，效率較高。

1 算法流程

人體姿勢(shì)識(shí)別算法主要由骨架獲取、角度測(cè)量、角度匹配和姿勢(shì)識(shí)別等幾個(gè)部分組成。算法流程如圖1所示，首先獲取人體骨架，并計(jì)算骨架關(guān)節(jié)點(diǎn)的空間坐標(biāo)，然后計(jì)算關(guān)節(jié)點(diǎn)之間的距離和關(guān)節(jié)點(diǎn)之間角度，最后將計(jì)算的角度與姿勢(shì)庫(kù)中的模板的角度進(jìn)行匹配，從而實(shí)現(xiàn)姿勢(shì)識(shí)別。

2 算法實(shí)現(xiàn)

2.1 人體骨架的獲取

Kinect可以提供人體的20個(gè)骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)，圖2為得到人體的骨架圖。

圖2 人體骨架關(guān)節(jié)點(diǎn)

2.2 計(jì)算關(guān)節(jié)點(diǎn)之間的距離

在2.1節(jié)中已經(jīng)獲得了人體的20個(gè)關(guān)節(jié)點(diǎn)，接下來(lái)求2個(gè)關(guān)節(jié)點(diǎn)之間的距離。首先利用Kinect獲得的場(chǎng)景深度信息求出人到相機(jī)的實(shí)際距離。在文獻(xiàn)[14]中利用獲取的深度值求出目標(biāo)到Kinect傳感器的實(shí)際距離d，即

d=Ktan(Hdraw+L)-O.

(1)

其中，draw為深度值，H=3.5×10-4rad，K=12.36 cm，L=1.18 rad，O=3.7 cm。文獻(xiàn)[15]給出深度圖像素坐標(biāo)為(ximage,yimage,zimage)到實(shí)際坐標(biāo)(xworld,yworld,zworld)的變換公式

(2)

其中，D′=-10，F(xiàn)=0.002 1,Kinect的分辨率w×h為640×480，X(x1,x2,x3),Y(y1,y2,y3)為空間坐標(biāo)系的2個(gè)點(diǎn)。結(jié)合式(1)和式(2)就可得出關(guān)節(jié)點(diǎn)的實(shí)際坐標(biāo)，最后利用歐氏距離

(3)

求出兩關(guān)節(jié)點(diǎn)之間的距離。

2.3 計(jì)算角度

求解人體關(guān)節(jié)點(diǎn)連線之間的角度主要是利用三點(diǎn)法(3個(gè)關(guān)節(jié)點(diǎn))：利用式(2)計(jì)算出的關(guān)節(jié)點(diǎn)的實(shí)際位置的坐標(biāo)計(jì)算出人體的3個(gè)相關(guān)聯(lián)的關(guān)節(jié)點(diǎn)(如圖3)的距離(式(4))，并利用余弦定理(式(5))求出關(guān)節(jié)點(diǎn)連線之間的角度大小。此方法在對(duì)人體姿勢(shì)進(jìn)行識(shí)別的最主要的缺點(diǎn)就是在測(cè)量過(guò)程中關(guān)節(jié)點(diǎn)不穩(wěn)定性對(duì)角度測(cè)量的影響較大，導(dǎo)致姿勢(shì)識(shí)別不準(zhǔn)確。圖4(a)展示了三點(diǎn)法的角度測(cè)量效果。

圖3 關(guān)節(jié)點(diǎn)角度計(jì)算

(4)

(5)

針對(duì)三點(diǎn)法在測(cè)量過(guò)程中不穩(wěn)定性提出了兩點(diǎn)法(2個(gè)關(guān)節(jié)點(diǎn))。此方法以一個(gè)關(guān)節(jié)點(diǎn)為基準(zhǔn)點(diǎn)，再確定另一個(gè)關(guān)節(jié)點(diǎn)，求出2個(gè)關(guān)節(jié)點(diǎn)與基準(zhǔn)點(diǎn)的X軸的角度大小。兩點(diǎn)法使得人在移動(dòng)過(guò)程中基準(zhǔn)點(diǎn)和指定點(diǎn)都是相對(duì)穩(wěn)定的，從而能夠減小關(guān)節(jié)點(diǎn)之間相對(duì)晃動(dòng)的程度，準(zhǔn)確地測(cè)量關(guān)節(jié)角度的大小，且指定點(diǎn)的坐標(biāo)即為基準(zhǔn)點(diǎn)在X軸上的平移得到，計(jì)算較為簡(jiǎn)單。圖4(b)為兩點(diǎn)法測(cè)量角度的效果。

圖4 角度測(cè)量結(jié)果

2.4 定義姿勢(shì)

利用式(6)定義關(guān)節(jié)點(diǎn)的角度條件

PA={P1,P2,θ,τ},

(6)

即以P1為中心點(diǎn)，關(guān)節(jié)點(diǎn)P2與X軸上的角度為θ；τ為設(shè)定的角度閾值。更多姿勢(shì)的定義只需要確定關(guān)節(jié)點(diǎn)之間的夾角關(guān)系，同時(shí)可以設(shè)定不同的閾值以滿足不同的精度要求。設(shè)定θi(i=1,…,4)為關(guān)節(jié)點(diǎn)的角度。θ1=(左肩，左肘)，θ2=(左肘，左腕)，θ3=(右肩，右肘)，θ4=(右肘，右腕),τ為閾值,則姿勢(shì)定義需滿足角度條件為Δ=(θ1,θ2,θ3,θ4,τ)。

T型(開(kāi)始姿勢(shì))：ΔT=(180,180,0,0,15)；

舉起雙手：ΔD=(180,90,0,90,15)；

放下雙手：Δ0=(270,270,270,270,15)；

舉起左手，右手平舉：ΔL0=(180,90,0,0,15)；

舉起左手，右手放下：ΔL1=(180,90,270,270,15)；

舉起右手，左手平舉：ΔR0=(180,180,0,90,15)；

舉起右手，左手放下：ΔR1=(270,270,0,90,15)。

2.5 人體姿態(tài)的匹配

本文在設(shè)定姿勢(shì)庫(kù)時(shí)設(shè)立了角度的閾值范圍，首先遍歷所有的角度，然后判斷4個(gè)角度是否在規(guī)定的閾值范圍內(nèi)，若在，則姿勢(shì)匹配成功進(jìn)行下一階段，即所有角度滿足式(7)；若其中有任一個(gè)角度不滿足則匹配不成功，重新開(kāi)始匹配

(7)

其中,θi為測(cè)量角度，ai為設(shè)定的期望角度，T為的閾值。

3 實(shí)驗(yàn)結(jié)果

算法對(duì)7個(gè)動(dòng)作進(jìn)行測(cè)試，由表1可知，當(dāng)閾值設(shè)置為15°時(shí)，T姿勢(shì)、雙手舉起和舉起左右手能夠100 %的識(shí)別，而對(duì)于雙手放下這個(gè)姿勢(shì)識(shí)別率也達(dá)到96 %。

表1 姿勢(shì)識(shí)別實(shí)驗(yàn)統(tǒng)計(jì)

利用該算法設(shè)計(jì)了簡(jiǎn)單的游戲，玩家根據(jù)界面上的提示做出相對(duì)應(yīng)的動(dòng)作，以T姿勢(shì)開(kāi)始游戲，分多個(gè)環(huán)節(jié)，環(huán)節(jié)一為一個(gè)動(dòng)作，環(huán)節(jié)二為做2個(gè)連續(xù)的動(dòng)作，以此類(lèi)推。只有完成低環(huán)節(jié)才能進(jìn)入到高環(huán)節(jié)，若本環(huán)節(jié)完成，而下一環(huán)節(jié)未達(dá)到要求則重新從第一環(huán)節(jié)開(kāi)始。圖5(a)顯示“擺出T姿勢(shì)開(kāi)始游戲”，圖5(b～e)則為進(jìn)入游戲后的界面。此游戲可以用于鍛煉手臂的靈活性，同時(shí)可以應(yīng)用到手臂康復(fù)系統(tǒng)中，根據(jù)患者手臂訓(xùn)練幅度設(shè)置角度的大小，幫助手臂不靈活的患者進(jìn)行復(fù)建。

圖5 姿勢(shì)識(shí)別系統(tǒng)

4 結(jié)束語(yǔ)

本文算法采用Microsoft Visual Studio 2010結(jié)合Microsoft Kinect SDK 1.7開(kāi)發(fā)實(shí)現(xiàn)。實(shí)驗(yàn)表明：此方法能夠?qū)崟r(shí)測(cè)量骨架之間的角度，對(duì)人體姿勢(shì)進(jìn)行準(zhǔn)確識(shí)別。算法簡(jiǎn)單，準(zhǔn)確度較高，且可以根據(jù)不同姿勢(shì)的要求設(shè)定不同的角度范圍，故而復(fù)用性較強(qiáng)。盡管Kinect傳感器能夠獲得人體深度信息，計(jì)算出人體空間位置，但對(duì)于關(guān)節(jié)點(diǎn)重合等問(wèn)題，在識(shí)別上還不夠準(zhǔn)確，所以，應(yīng)在關(guān)注人體行為分析領(lǐng)域發(fā)展的同時(shí)，努力研究骨架校正等問(wèn)題，進(jìn)一步提高骨架精確度。

參考文獻(xiàn):

[1] Giles J. Inside the race to hack the Kinect[J].The New Scientist,2010,208(2789):22-23.

[2] 余 濤.Kinect應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)：用最自然的方式與機(jī)器對(duì)話[M].北京：機(jī)械工業(yè)出版社，2012.

[3] Webb J,Ashley J.Beginning Kinect programming with the microsoft Kinect SDK[M].[S.1.]Apress,2012.

[4] Hu R Z L,Hartfiel A,Tung J,et al.3D pose tracking of walker users’ lower limb with a structured-light camera on a moving platform[C]∥Computer Vision and Pattern Recognition Workshops,2011:29-36.

[5] Shotton J,Fitzgibbon A,Cook M,et al.Real-time human pose recognition in parts from single depth images[C]∥2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2011:1297-1304.

[6] Schwarz A,Mkhitaryan A,Mateus D,et al.Human skeleton tra-cking from depth data using geodesic distances and optical flow[J].Image and Vision Computing,2012,30(3):217-226.

[7] Zheng Xiao,Fu Mengyin,Yang Yi,et al.3D Human postures re-cognition using Kinect[C]∥2012 4th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC),2012:344-347.

[8] Penny J S,David J B,Steven B,et al.A study to evaluate a low cost virtual reality system for home-based rehabilitation of the upper limb following stroke[J].International Journal on Disability and Human Development,2011,10(4):337-341.

[9] Stone E.E,Skubic M.Evaluation of an inexpensive depth camera for passive in-home fall risk assessment[C]∥2011 5th International Conference on Pervasive Computing Technologies for Healthcare (PervasiveHealth 2011),2011:71-77.

[10] Huang J D.Kinerehab:A Kinect-based system for physical rehabilitation a pilot study for young adults with motor disabilities[C]∥Proceedings of the 13th International ACM SIGACCESS Confe-rence on Computers and Accessibility,2011:319-320.

[11] Lange B,Chien-yen Chang,Suma E, et al.Development and evaluation of low cost game-based balance rehabilitation tool using the Microsoft Kinect sensor[C]∥2011 33rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society,2011:1831-1834.

[12] Yeh S C,Hwing W Y,Huang T C,et al.A study for the application of body sensing in assisted rehabilitation training[C]∥2012 International Symposium on Computer,Consumer and Control,IS3C 2012,2012:922-925.

[13] Da Gana A,Chaves T,Figueiredo L,et al.Poster:Improving motor rehabilitation process through a natural interaction based system using Kinect sensor[C]∥2012 IEEE Symposium on 3D User Interfaces (3DUI),2012:145-146.

[14] Raheja L J,Chaudhary A,Singal K,et al.Tracking of fingertips and centers of palm using Kinect[C]∥2011 Third International Conference on Computational Intelligence,Modelling and Simulation,2011:248-252.

[15] Satyavolu S,Bruder G,Willemsen P,et al.Analysis of IR-based virtual reality tracking using multiple Kinects[C]∥IEEE Virtual Reality Conference,2012:149-150.