基于Kinect的人體三維質(zhì)心動(dòng)態(tài)測量及準(zhǔn)確性分析

段增武 肖金壯 王洪瑞

(河北大學(xué)電子信息工程學(xué)院，河北 保定 071000)

?

基于Kinect的人體三維質(zhì)心動(dòng)態(tài)測量及準(zhǔn)確性分析

段增武 肖金壯*王洪瑞

(河北大學(xué)電子信息工程學(xué)院，河北 保定 071000)

人體三維質(zhì)心(COM)對(duì)于評(píng)價(jià)人體平衡能力有很重要的意義，然而昂貴的測量儀器不適于廣泛應(yīng)用于普通診所或社區(qū)醫(yī)院。微軟公司的Kinect設(shè)備與編程結(jié)合可作為便捷廉價(jià)的測量工具，為了分析此系統(tǒng)是否能用于動(dòng)態(tài)測量人體三維COM及數(shù)據(jù)的準(zhǔn)確性,本研究通過將人體合理劃分成15 部分，使用Kinect和動(dòng)作捕捉系統(tǒng)同時(shí)采集4 種測試動(dòng)作下人體各部分端點(diǎn)坐標(biāo)，并基于人體模型分別合成整體COM并對(duì)數(shù)據(jù)比較。測試動(dòng)作包括裸足靜止站立、踩泡沫板靜止站立、裸足站立傾斜、踩泡沫板站立傾斜。比較10 名被試者的COM軌跡數(shù)據(jù)，結(jié)果顯示Kinect與動(dòng)作捕捉系統(tǒng)相比均方根誤差均值小于7.3 mm，誤差均值最小-2.7 mm最大0.8 mm，動(dòng)作幅值越大時(shí)，相對(duì)誤差量越小，表明通過編程可將Kinect用于測量人體三維COM，應(yīng)用于平衡能力評(píng)價(jià)。

Kinect；人體質(zhì)心；運(yùn)動(dòng)捕捉；平衡能力

引言

在人們正常生產(chǎn)生活中，平衡作為一項(xiàng)必須的運(yùn)動(dòng)機(jī)能是其他運(yùn)動(dòng)能力的基礎(chǔ)。然而老年人或運(yùn)動(dòng)能力受損者由于人體調(diào)節(jié)機(jī)能的下降導(dǎo)致平衡能力下降，容易發(fā)生跌倒。因此，平衡能力的便捷檢測與評(píng)定就十分必要。

研究者發(fā)現(xiàn)在控制人體時(shí)，人體質(zhì)心(center of mass, COM)可以表現(xiàn)身體晃動(dòng)程度[1]，此系數(shù)與跌倒發(fā)生的風(fēng)險(xiǎn)相關(guān)，能夠反映平衡能力[2]。在以往需要準(zhǔn)確測量人體COM時(shí)，通常使用復(fù)雜的運(yùn)動(dòng)捕捉設(shè)備，此過程需要被試者穿上特制的衣服并在衣服貼上標(biāo)記點(diǎn)，這一步驟比較繁瑣，對(duì)于老人或患者更加不便[3]；此種設(shè)備通常昂貴，不是每個(gè)一般診療機(jī)構(gòu)都能負(fù)擔(dān)；并且獲得的數(shù)據(jù)需要離線分析，計(jì)算人體COM復(fù)雜。

微軟公司的體感設(shè)備Kinect價(jià)格低廉，包含RGB彩色攝像頭、紅外線發(fā)射器和紅外線CMOS攝像頭[4]。在醫(yī)學(xué)領(lǐng)域中，此設(shè)備已應(yīng)用于醫(yī)療康復(fù)、醫(yī)學(xué)影像學(xué)研究[5-8]。不需要被試者穿戴額外服飾裝置，通過編程可實(shí)時(shí)記錄顯示人體三維COM。已有研究者比較了動(dòng)作捕捉系統(tǒng)、Kinect和力平臺(tái)測量人體靜態(tài)COM的精度，認(rèn)為結(jié)合軟件程序?qū)inect用于人體平衡研究存在很大潛力[9]，但是此研究只比較了靜止站立下人體二維COM，然而三維COM能更完整描述人在空間的平衡能力，對(duì)人體平衡研究更有意義。

針對(duì)以上問題，本研究將人體合理劃分為15部分，基于人體模型分別計(jì)算各部分的COM并合成整體COM。被試者依次做出4 個(gè)典型平衡相關(guān)測試動(dòng)作，分別為裸足靜止站立、踩泡沫板靜止站立、裸足站立傾斜、踩泡沫板站立傾斜。通過編程實(shí)現(xiàn)Kinect對(duì)于人體三維COM的采集，并與運(yùn)動(dòng)捕捉設(shè)備數(shù)據(jù)比較，驗(yàn)證此系統(tǒng)的實(shí)時(shí)性、可用性與準(zhǔn)確性。

1 方法

1.1 被試者

10名河大學(xué)生志愿者參加了本次實(shí)驗(yàn)?zāi)挲g(24.9±1.6)歲，身高(167.5±7.3)cm，男生和女生各5名)，被試者均無平衡及相關(guān)的肌肉神經(jīng)疾病。所有被試者對(duì)實(shí)驗(yàn)內(nèi)容均知情同意。每個(gè)被試者身上貼有34 個(gè)標(biāo)記點(diǎn)，用于動(dòng)作捕捉設(shè)備記錄人體模型各部分坐標(biāo)。

1.2 實(shí)驗(yàn)方法

被試者按照規(guī)定，在相應(yīng)身體部位貼裝標(biāo)記點(diǎn)，站立于所有動(dòng)作捕捉攝像頭的焦點(diǎn)區(qū)域，并將Kinect正對(duì)放置在距被試者2 m距地面1.5 m的桌子上，Kinect頭部上傾15 度使被試者處于Kinect的識(shí)別范圍內(nèi)。開始實(shí)驗(yàn)后，被試者依次做4 種平衡測試相關(guān)動(dòng)作，分別為裸足靜止站立、踩泡沫板靜止站立、裸足站立傾斜、踩泡沫板站立傾斜。實(shí)驗(yàn)用聚苯乙烯泡沫板長寬高為45 cm×45 cm×0.5 cm，此項(xiàng)條件旨在消除人體本體感覺設(shè)立，增加被試者保持平衡難度。為了比較Kinect用于不同幅值動(dòng)作下測量COM的準(zhǔn)確性，設(shè)立傾斜運(yùn)動(dòng)和靜止站立實(shí)驗(yàn)。在傾斜實(shí)驗(yàn)中被試者在保持站立的姿勢(shì)下，最大幅值向四周作自由傾斜運(yùn)動(dòng)，要求保持全身挺直且雙腳不能挪動(dòng)。在所有實(shí)驗(yàn)中，被試者被要求雙手自然下垂于身體兩側(cè)，雙腳與肩同寬、不能挪動(dòng)且不能扭頭，雙眼目視前方，每種動(dòng)作持續(xù)50 s，動(dòng)作之間休息1 min。

1.2.1 數(shù)據(jù)采集

采集系統(tǒng)構(gòu)成如圖1所示。本次實(shí)驗(yàn)采用美國NaturePoint公司生產(chǎn)的16 個(gè)V100R2攝像頭和Motive軟件組成的動(dòng)作捕捉系統(tǒng)，攝像頭分辨率640×480，快門速度20 μs～1 ms，采集頻率120 Hz，精度為亞毫米級(jí)，高速USB 2.0連接，保存的坐標(biāo)數(shù)據(jù)為FBX格式，作為測量標(biāo)準(zhǔn)使用[9]。Kinect 1.0為微軟公司生產(chǎn)，并使用微軟公司Visual Studio 2010及1.8版本開發(fā)包編程，采集頻率為30 Hz。此設(shè)備可從圖像信息直接主動(dòng)識(shí)別2個(gè)人每個(gè)人20 個(gè)骨骼點(diǎn)坐標(biāo)[10]，不需要穿戴額外設(shè)備和貼標(biāo)記點(diǎn)。通過編程用“骨骼跟蹤”的20 個(gè)關(guān)節(jié)點(diǎn)信息去評(píng)估人體實(shí)際所處位置[11-12]，實(shí)時(shí)計(jì)算顯示人體三維COM。

圖1 采集系統(tǒng)構(gòu)成Fig.1 System composition

1.2.2 計(jì)算方法

為方便數(shù)據(jù)分析，將被試者開始測試瞬間人體COM點(diǎn)作為原點(diǎn)，X、Y、Z軸分別為左右、前后和上下方向?；谌梭w模型將整體分為15 部分，模型劃分方法和系數(shù)見表1[9]，依下式分別計(jì)算每部分的COM，有

(1)

式中：x、y、z分別代表上述坐標(biāo)系下人體各部分COM的坐標(biāo)值；人體每部分距離原點(diǎn)較遠(yuǎn)端稱為遠(yuǎn)端，距離較近端的為近端。xd、yd、zd表示遠(yuǎn)端坐標(biāo)，xp、yp、zp代表近端坐標(biāo)，kd為遠(yuǎn)端系數(shù)，kp為近端系數(shù)。

再由下式將各部分COM合成整體COM，有

(2)

式中：xcom、ycom、zcom表示整體COM；i表示劃分的部分；mi為人體劃分15 部分中的第i部分質(zhì)量；M為人體總體質(zhì)量；li為身體部分質(zhì)量系數(shù)，即mi/M。

為了得到有效的數(shù)據(jù)，只取50 s實(shí)驗(yàn)過程的中間30 s坐標(biāo)信息。根據(jù)以上公式使用Excel把動(dòng)作捕捉系統(tǒng)得到的標(biāo)記點(diǎn)數(shù)據(jù)合成整體COM。由于兩臺(tái)設(shè)備的采樣頻率不同，再將所得的COM坐標(biāo)使用Matlab R2009進(jìn)行三次樣條插值計(jì)算，之后兩組數(shù)據(jù)采樣頻率均為100 Hz。有一名被試者在裸足站立任意傾斜實(shí)驗(yàn)中出現(xiàn)測量失誤，在數(shù)據(jù)分析時(shí)不再使用此組數(shù)據(jù)。

2 結(jié)果

圖2所示為一位被試者在踩泡沫板站立傾斜動(dòng)作下三維COM軌跡示例，圖3為實(shí)驗(yàn)過程三維方向上的運(yùn)動(dòng)幅值最大值與最小值(裸足靜止、裸足傾斜、泡沫靜止、泡沫傾斜分別代表裸足靜止站立、踩泡沫板靜止站立、裸足站立傾斜、踩泡沫板站立傾斜)，同一動(dòng)作對(duì)應(yīng)左側(cè)為動(dòng)作捕捉數(shù)據(jù)，右側(cè)為Kinect所得數(shù)據(jù)。

將動(dòng)作捕捉設(shè)備的數(shù)據(jù)作為標(biāo)準(zhǔn)，用Kinect測得數(shù)據(jù)與之比較，使用Excel計(jì)算Kinect與動(dòng)作捕捉系統(tǒng)插值后數(shù)據(jù)間的誤差。所有樣本均方根誤差均值結(jié)果如圖4，誤差絕對(duì)值均值如圖5，可知在踩泡沫板和裸足的情況下，所有被試者三維COM均方根誤差均值都小于7.5 mm。靜止?fàn)顟B(tài)均方根誤差均值和誤差絕對(duì)值均值分別在(1～3.6)mm、(0.9～1.5)mm，傾斜狀態(tài)分別為(3～7.5)mm、(2.5～5.5)mm。X、Y、Z軸方向COM絕對(duì)誤差值均值分別為(0.5～5.5)mm、(2～5)mm、(1～4.5)mm。

圖2 傾斜動(dòng)作下COM軌跡樣本。(a)動(dòng)作捕捉系；(b)KinectFig.2 Samples of COM trajectories of subject in tilt task.(a)Motion capture system；(b)Kinect

圖3 X、Y、Z方向運(yùn)動(dòng)幅值最大值與最小值。(a)X軸；(b)Y軸；(c)Z軸Fig.3 The maximum and minimum of motion range in X, Y, Z axis. (a)X axis；(b)Y axis；(c)Z axis

圖4 三維方向均方根誤差Fig.4 Root-mean-square error in three dimensions

圖5 三維方向絕對(duì)誤差值Fig.5 Absolute error in three dimensions

3 討論

對(duì)比同一動(dòng)作下COM曲線圖(圖2)，通過程序?qū)崿F(xiàn)Kinect追蹤的軌跡與動(dòng)作捕捉系統(tǒng)的趨勢(shì)相同，能夠反映COM運(yùn)動(dòng)位置，X、Y軸方向表現(xiàn)良好，Z軸方向波動(dòng)較明顯，原因?yàn)閷?shí)驗(yàn)動(dòng)作在Z軸方向運(yùn)動(dòng)幅值較小，Kinect捕捉微小運(yùn)動(dòng)變化的能力不足，容易產(chǎn)生較大相對(duì)誤差。從圖4和圖5中可以看出，靜止站立動(dòng)作下比傾斜動(dòng)作對(duì)應(yīng)X、Y、Z軸均方根誤差均值、絕對(duì)誤差均值都小，靜止?fàn)顟B(tài)下均方根誤差均值和絕對(duì)誤差均值分別小于3.6 mm、1.5 mm，傾斜狀態(tài)分別小于7.5 mm、5.5 mm，可知運(yùn)動(dòng)幅值變大會(huì)使得Kinect測量COM準(zhǔn)確度下降，導(dǎo)致絕對(duì)誤差變大。如圖3所示在X軸方向，裸足站立傾斜動(dòng)作相比于裸足靜止站立最小運(yùn)動(dòng)幅值升高8.2 cm，最大運(yùn)動(dòng)幅值升高19 cm,均方根誤差均值升高0.5 cm；踩泡沫板站立傾斜動(dòng)作相比于踩泡沫板靜止站立最小運(yùn)動(dòng)幅值升高8.5 cm,最大運(yùn)動(dòng)幅值升高21.8 cm,均方根誤差升高0.6 cm。然而與靜止站立動(dòng)作相比，傾斜運(yùn)動(dòng)范圍大，誤差值增幅較小。Y、Z方向與X方向表現(xiàn)一致。當(dāng)運(yùn)動(dòng)幅值變化很大時(shí)，Kinect測量COM絕對(duì)誤差雖然增加，但誤差增幅較小。

圖3中對(duì)比同一動(dòng)作下踩泡沫板與裸足運(yùn)動(dòng)幅值數(shù)據(jù)，前者的最大運(yùn)動(dòng)幅值大于后者，表明泡沫板消除了被試者的本體感覺，提高了保持人體平衡的難度，使得運(yùn)動(dòng)幅值變大，相應(yīng)的均方根誤差增加，但增幅較小。已有研究表明，在閉眼踩泡沫板靜止站立的試驗(yàn)中，人體晃動(dòng)范圍較大， Kinect測得的二維COM準(zhǔn)確性優(yōu)于力平臺(tái)，其他相對(duì)較小的運(yùn)動(dòng)幅值測量精度則一般[9]。本實(shí)驗(yàn)也說明，通過軟件編程將Kinect捕捉的骨骼點(diǎn)坐標(biāo)合成人體三維COM，可以較好反映靜止站立時(shí)COM運(yùn)動(dòng)軌跡，且更適用于大幅值運(yùn)動(dòng)時(shí)COM軌跡的測量。相對(duì)于安裝復(fù)雜成本高昂的動(dòng)作捕捉系統(tǒng)，使用Kinect時(shí)不需要在人體貼標(biāo)記點(diǎn)，降低了測試的復(fù)雜性，通過編程能夠?qū)崟r(shí)獲取存儲(chǔ)數(shù)據(jù)，適合社區(qū)醫(yī)院和普通診所用于平衡能力的便捷檢測與評(píng)定。

數(shù)據(jù)表明在測量小動(dòng)作幅值運(yùn)動(dòng)時(shí)的誤差較大，這是由于Kinect本身的硬件限制[10-11]，芯片處理速度和軟件識(shí)別處理速度不夠，國外研究發(fā)現(xiàn)Kinect的空間判斷精準(zhǔn)度為4 mm左右[10-12]。微軟在2014年發(fā)布的Kinect 2.0，精度為上一代的3 倍，每個(gè)人追蹤的關(guān)節(jié)數(shù)量達(dá)到了25 個(gè)，將程序與Kinect 2.0結(jié)合，會(huì)得到更準(zhǔn)確的人體COM數(shù)據(jù)，對(duì)于平衡評(píng)價(jià)有更大的幫助。

4 結(jié)論

本研究通過編程實(shí)現(xiàn)Kinect對(duì)人體三維COM的測量，并與動(dòng)作捕捉系統(tǒng)比較，發(fā)現(xiàn)此套系統(tǒng)在測量人體三維COM方面的應(yīng)用有很大潛質(zhì)，尤其在大幅值運(yùn)動(dòng)測量中，將Kinect的所得骨骼信息通過程序計(jì)算實(shí)時(shí)得到三維COM坐標(biāo)數(shù)據(jù)，相對(duì)誤差較小，可以應(yīng)用于普通診所或社區(qū)醫(yī)院。Kinect設(shè)備廉價(jià)、精度較高，并且易于擴(kuò)展，相比于動(dòng)作捕捉系統(tǒng)不需要貼標(biāo)記點(diǎn)，在平衡能力測量、平衡問題診斷方面將會(huì)有更廣泛深入的應(yīng)用。

本研究只針對(duì)站立動(dòng)作下人體三維COM的測量和準(zhǔn)確度對(duì)比，下一步擬將軟件程序和Kinect應(yīng)用于步態(tài)三維COM與疾病關(guān)系的研究。

[1] Lafond D, Duarte M, Prince F. Comparison of three methods to estimate the center of mass during balance assessment [J]. Journal of Biomechanics, 2004, 37(9): 1421-1426.

[2] Horak FB. Postural orientation and equilibrium: What do we need to know about neural control of balance to prevent falls? [J]. Age Ageing, 2006, 35(3): 7-11.

[3] Nardone A, Schieppati M. The role of instrumental assessment of balance in clinical decision making [J]. Eur J Phys Rehabil Med, 2010, 46(2): 221-237.

[4] Zheng Xiao, Fu Mengyin, Yang Yi,etal. 3D human postures recognition using Kinect [C] // Proceedings of the International Conference on Intelligent Human-machine Systems and Cybernetics. Washington DC: IEEE, 2012: 344-347.

[5] Daponte P, Vito LD, Riccio M. Design and validation of a motion- tracking system for ROM measurements in home rehabilitation [J]. Measurement, 2014, 55(9): 82-96.

[6] Kondori FA, Yousefi S, Haibo L,etal. 3D head pose estimation using the Kinect [C] //Proceedings of the international conference on wireless communications and signal processing. Washington DC: IEEE, 2011: 1-4.

[7] Chang Yaojen, Han Wenying, Tsai Yuchi. A Kinect-based upper limb rehabilitation system to assist people with cerebral palsy [J]. Research in Developmental Disabilities, 2013, 34(11): 3654-3659.

[8] Clark RA, Pua YH, Adam L,etal. Validity of the Microsoft Kinect for providing lateral trunk lean feedback during gait retraining [J]. Gait & Posture, 2013, 38(4): 1064-1066.

[9] Yeung LF, Cheng KC, Fong CH,etal. Evaluation of the Microsoft Kinect as a clinical assessment tool of body sway [J]. Gait & Posture, 2014, 40(4): 532-538.

[10] Tilak D. Evaluation of the KinectTMsensor for 3-D kinematic measurement in the workplace [J]. Applied Ergonomics, 2012, 43(4): 1-5.

[11] Stone E, Skubic M. Evaluation of an inexpensive depth camera for in-home gait assessment [J]. Journal of Ambient Intelligence and Smart Environments, 2011, 3(4):349-361.

[12] Khoshelham K, Elberink SO. Accuracy and resolution of Kinect depth data for indoor mapping applications [J]. Sensors, 2012, 12(2): 1437-1454.

The Kinetic Measurement and Accuracy Analysis of Human Body Three-dimensional Center of Mass Using Kinect

Duan Zengwu Xiao Jinzhuang*Wang Hongrui

(CollegeofElectronicandInformationEngineering,HebeiUniversity,Baoding071000,Hebei,China)

Kinect; center of mass(COM); motion capture; balance ability

10.3969/j.issn.0258-8021. 2015. 06.016

2015-01-20， 錄用日期:2015-07-21

國家自然科學(xué)基金(61074175)

R318.04；R319

D

0258-8021(2015) 06-0752-05

*通信作者(Corresponding author)， E-mail: robot@hbu.edu.cn