一種可穿戴式人體運(yùn)動捕捉系統(tǒng)的設(shè)計與實現(xiàn)

王科俊，陳 瑋

（哈爾濱工程大學(xué) 自動化學(xué)院，哈爾濱 150001）

0 引言

人體運(yùn)動捕捉系統(tǒng)是一種測量并重構(gòu)人體在三維空間運(yùn)動狀況的技術(shù)裝備，被廣泛應(yīng)用在醫(yī)療、游戲、虛擬現(xiàn)實和其它人機(jī)交互領(lǐng)域［1－2］。目前，國內(nèi)外比較成熟的人體運(yùn)動捕捉方案有光學(xué)式和慣性式兩種。

光學(xué)式人體運(yùn)動捕捉系統(tǒng)大多是基于計算機(jī)視覺，通過對人身體上特定光點的監(jiān)視和跟蹤來完成人體運(yùn)動捕捉的任務(wù)，捕捉數(shù)據(jù)準(zhǔn)確、標(biāo)記點的位置和數(shù)量沒有限制，但是成本高昂、數(shù)據(jù)處理復(fù)雜、容易造成標(biāo)記點的閉塞。慣性式人體運(yùn)動捕捉系統(tǒng)則是基于慣性導(dǎo)航的原理，通過MEMS慣性器件捕捉人體主要骨骼實時姿態(tài)角來完成人體運(yùn)動捕捉的任務(wù)，該系統(tǒng)具有體積小、成本低、速度快、定標(biāo)簡單、實時性好等優(yōu)點，同時還避免了光學(xué)式運(yùn)動捕捉中視野受限、光學(xué)標(biāo)記被遮擋等局限性［3］。因此，本文設(shè)計了一套基于慣性技術(shù)的可穿戴式人體運(yùn)動捕捉系統(tǒng)，可以很好地滿足系統(tǒng)對小型化、低功耗和低成本的要求。

1 運(yùn)動捕捉硬件平臺設(shè)計

根據(jù)慣性式運(yùn)動捕捉設(shè)備原理和目前的技術(shù)，通常情況下，對于單人的運(yùn)動捕捉，可以用圖1所示的模型來描述［4］。

圖1 系統(tǒng)模型Fig.1 System model

對于該模型，用戶身上穿戴了11個慣性運(yùn)動傳感器，分布在左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿、頭、胸和腰，每個運(yùn)動傳感器輸出加速度、磁場強(qiáng)度、角速度慣性參數(shù)。傳感器之間采用CAN 總線連接，在擁有較高數(shù)據(jù)率和可靠性的同時對傳感器進(jìn)行有線供電。在傳感器和計算機(jī)之間作為橋梁的則是集中器，傳感節(jié)點先將數(shù)據(jù)發(fā)送到集中器，再由其轉(zhuǎn)發(fā)給接收器，接收器通過USB 口傳給計算機(jī)。集中器與傳感器之間采用有線連接，與計算機(jī)之間采用無線通信方式。

1.1 運(yùn)動傳感器

運(yùn)動傳感器需要實現(xiàn)的功能包括對3種不同類型慣性器件傳感數(shù)據(jù)的采集、姿態(tài)角結(jié)算和有線通信。其硬件系統(tǒng)框圖見圖2。由圖2可見，運(yùn)動傳感器主要包括5 個部分：MCU、加速度傳感器、陀螺儀傳感器、磁力計和CAN 接口。MCU 包括同步串行通信總線（I2C）、異步接收發(fā)送器（UART）、按鍵等模塊，它控制節(jié)點的一系列操作。節(jié)點由有線供電，MCU 控制3種傳感器的數(shù)據(jù)采集、姿態(tài)角解算和CAN 收發(fā)。

圖2 運(yùn)動傳感器系統(tǒng)框圖Fig.2 Motion sensor system diagram

運(yùn)動傳感器用到的主要芯片包括ST 的STM32F103（MCU）、Invensense 的 MPU6050（3軸加速度計和3軸陀螺儀）、Honeywell 的HMC5883L（3軸磁力計）和TI的SN65HVD230（CAN 收發(fā)）。各芯片參數(shù)見表1。

表1 芯片參數(shù)Table 1 Chip parameters

1.2 集中器

集中器，顧名思義，就是在系統(tǒng)中集中處理和轉(zhuǎn)發(fā)傳感數(shù)據(jù)的關(guān)鍵節(jié)點。主要包括4 部分：電源、MCU、CAN 收發(fā)器和無線收發(fā)模塊。電源采用3.3V 恒壓電源，MCU、CAN 收發(fā)器和運(yùn)動傳感器的MCU、CAN 收發(fā)器一致，無線收發(fā)模塊采用透傳Bluetooth模塊。其要求實現(xiàn)的功能并不是很多，在初始化以后即申請加入CAN 網(wǎng)絡(luò)，設(shè)定運(yùn)行周期。在一個運(yùn)行周期內(nèi)，對每個運(yùn)動傳感器進(jìn)行輪詢和接收輪詢過程。為了不影響同一個周期內(nèi)的數(shù)據(jù)輪詢過程，一次組網(wǎng)最多只允許一個運(yùn)動傳感器的加入。接著，輪詢每一個已加入網(wǎng)絡(luò)的傳感節(jié)點，取得最新的傳感數(shù)據(jù)，打包數(shù)據(jù)，并將其通過Bluetooth 模塊傳給計算機(jī)。輪詢的同時，也將來自計算機(jī)的命令轉(zhuǎn)發(fā)給運(yùn)動傳感器。

1.3 接收器

接收器作為整個數(shù)據(jù)采集系統(tǒng)與計算機(jī)的接口，其任務(wù)是管理集中器、轉(zhuǎn)發(fā)命令的轉(zhuǎn)發(fā)數(shù)據(jù)。由于所有的傳感器數(shù)據(jù)都匯聚到接收器，從數(shù)據(jù)量的角度來看，它的負(fù)擔(dān)是最重的，對數(shù)據(jù)的處理已經(jīng)由各傳感器和集中器分別承擔(dān)，因此接收器的設(shè)計要點便是保證數(shù)據(jù)通道的可靠和足夠的數(shù)據(jù)傳輸速率。

USB 接口的方便、靈活、高數(shù)據(jù)率，使得USB接口成為接收器與計算機(jī)之間通信的最合適方式。與集中器通信采用Bluetooth透傳協(xié)議，這種方式的好處是整個系統(tǒng)加入和退出非常容易，系統(tǒng)擴(kuò)容也相對簡單。

2 運(yùn)動傳感器姿態(tài)角解算

通常將運(yùn)動傳感器作為一個慣性測量單元（inertial measurement unit，IMU），對于慣性測量單元中陀螺儀，加速度計和磁力計的測量數(shù)據(jù)定義到一個坐標(biāo)系，一般稱為載體坐標(biāo)系b，取載體的重心為載體坐標(biāo)系原點，3個軸分別與載體的縱軸、橫軸和豎軸相重合，與之對應(yīng)的絕對坐標(biāo)系通常稱為導(dǎo)航坐標(biāo)系n。載體坐標(biāo)系向?qū)Ш阶鴺?biāo)系的轉(zhuǎn)換可以通過四元數(shù)法或歐拉角法實現(xiàn)，四元數(shù)法由于可以避免歐拉角的奇異問題而應(yīng)用得更加廣泛［5－6］。完成坐標(biāo)系轉(zhuǎn)換后，設(shè)計一個擴(kuò)展Kalman濾波器，引入傳感器偏差補(bǔ)償和自適應(yīng)的測量噪聲協(xié)方差矩陣構(gòu)造方法來提高姿態(tài)測量精度，減小載體線性加速度和周圍局部磁場的干擾，實現(xiàn)3個自由度姿態(tài)角解算。

2.1 四元數(shù)坐標(biāo)轉(zhuǎn)換

載體坐標(biāo)系和導(dǎo)航坐標(biāo)系之間轉(zhuǎn)換關(guān)系可以表示為：

其中旋轉(zhuǎn)四元數(shù)和旋轉(zhuǎn)矩陣分別為：

當(dāng)旋轉(zhuǎn)四元數(shù)確定后，由式（3）可以唯一確定（q）中的各元素。旋轉(zhuǎn)四元數(shù)可以通過四元數(shù)微分方程來求取，四元數(shù)微分方程可表示為：

其中ω表示載體坐標(biāo)系相對于導(dǎo)航坐標(biāo)系角速度在載體坐標(biāo)系上分量的四元數(shù)。可表示為：

通常假設(shè)在時間間隔（t，t＋T）內(nèi)，角速度ω是一個固定值，其中T是旋轉(zhuǎn)四元數(shù)更新時間間隔。因此可以獲得式（4）對應(yīng)的離散時間模型：

利用陀螺儀輸出的角速度數(shù)據(jù)，結(jié)合式（6）和旋轉(zhuǎn)四元數(shù)qk，可獲得更新后的四元數(shù)qk＋1，進(jìn)而計算獲得旋轉(zhuǎn)矩陣。

2.2 擴(kuò)展Kalman濾波器設(shè)計

本文采用的傳感器，具有相互正交的敏感軸，因此傳感器輸出為三維矢量。通過分析影響傳感器測量精度的主要因素，建立如式（7）所示的加速度計、陀螺儀和磁力計傳感器模型［7］，然后利用傳感器模型建立Kalman濾波的觀測方程：

其中：a、ω、m分別表示加速度計、陀螺儀和磁力計的測量值；aK、ωK、mK為刻度系數(shù)矩陣（理想情況下為3×3的單位陣）；ab、ωb、mb為偏移誤差矩陣；av、ωv、mv為測量噪聲矩陣，其為零均值的Gauss白噪聲；abody為載體的線性加速度矩陣。

根據(jù)上述傳感器模型設(shè)計的Kalman濾波器采用如下所示系統(tǒng)：

其中，狀態(tài)矢量xk＋1由旋轉(zhuǎn)四元數(shù)、加速度計和磁力計的偏移誤差矩陣構(gòu)成；A為狀態(tài)轉(zhuǎn)移矩陣；ωk是協(xié)方差陣為Qk的過程噪聲矢量；測量矢量yk＋1由加速度計和磁力計的測量矢量組成；C為系統(tǒng)觀測矩陣；bk是偏移誤差矩陣；vk是協(xié)方差為Rk的測量噪聲矢量?？色@得Kalman濾波器的狀態(tài)方程如下：

其中qwk、awk、mwk是不相關(guān)零均值Gauss白噪聲。

濾波器的觀測方程構(gòu)建如下：

其中g(shù)為在地球上某一點的重力加速度；h為地球磁場在地球表面某一點的磁場強(qiáng)度。

在靜止?fàn)顟B(tài)下，加速度計通過測量由重力引起的加速度，可以準(zhǔn)確地計算出載體相對于水平面的傾斜角，但是當(dāng)載體存在線性加速度時，利用加速度計輸出值計算載體姿態(tài)角，將會出現(xiàn)較大的誤差。為了解決這個問題，采用自適應(yīng)的方法構(gòu)造協(xié)方差：

其中ka為設(shè)定的權(quán)重因子?？梢钥吹疆?dāng)載體線性加速度越大，協(xié)方差越大。

航向角的確定嚴(yán)重依賴于磁力計的輸出，任何影響地磁接收的因素都會導(dǎo)致磁力計測量誤差。利用磁傾角和磁力計的輸出，采用自適應(yīng)的方法構(gòu)造協(xié)方差：

其中k1和k2為設(shè)定的權(quán)重因子；θ為這一點地球磁場強(qiáng)度方向和地球表面的夾角；可以通過式（13）求出：

由于式（10）的非線性，需要求取其Jacobian矩陣來進(jìn)行線性化處理。設(shè)計的擴(kuò)展Kalman濾波算法主要步驟包括計算增益、測量更新、自適應(yīng)構(gòu)造協(xié)方差矩陣和事件傳播等。

3 人體模型的建立

人體是一個非常復(fù)雜的系統(tǒng)，由209塊骨骼組成。為了實時測量并且重構(gòu)人體在三維空間中的運(yùn)動狀況，需建立精確的人體運(yùn)動學(xué)模型［8］。在人體運(yùn)動捕捉系統(tǒng)中，人體模型的建立分為模型分離和模型重構(gòu)兩步。模型分離主要作用是分離出人體模型基本骨骼，模型重構(gòu)則是根據(jù)骨骼旋轉(zhuǎn)角度和位置重新組合人體模型。

3.1 模型分離

按照一般人體結(jié)構(gòu)，人體運(yùn)動學(xué)模型可以分離出最基本的11 塊骨骼，分別為左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿、頭、胸和腰，各部分關(guān)系見圖3［9］。

圖3 骨骼關(guān)系圖Fig.3 Skeletal diagram

分離出的骨骼清楚地表示了與其它骨骼的從屬關(guān)系，如右小腿為右大腿的子骨骼，而腰又為右大腿的父骨骼。子骨骼會跟著它的父骨骼轉(zhuǎn)動，而父骨骼的平移和轉(zhuǎn)動也會帶著它所有子骨骼進(jìn)行平移和轉(zhuǎn)動。在簡化的骨骼運(yùn)動模型中，只有根骨骼（腰）做平移運(yùn)動，其它所有骨骼只能做旋轉(zhuǎn)運(yùn)動。

3.2 模型重構(gòu)

在光學(xué)式人體運(yùn)動捕捉系統(tǒng)中，攝像頭能夠捕捉人身體上特定光點的空間坐標(biāo)值，但在慣性式系統(tǒng)中，傳感器只能獲得各骨骼的旋轉(zhuǎn)角度，須通過旋轉(zhuǎn)角度和關(guān)節(jié)長度來計算出該骨骼在三維空間中的位置。在實際的模型控制中可以采用D－H 變換來解決這個問題［10－11］。例如，對于右下肢關(guān)節(jié)，可以建立右下肢運(yùn)動坐標(biāo)系見圖4。把腰部作為根節(jié)點，建立人體右下肢5自由度運(yùn)動坐標(biāo)系，坐標(biāo)系0、坐標(biāo)系1和坐標(biāo)系2的共同原點在髖關(guān)節(jié)，坐標(biāo)系3的原點建立在膝關(guān)節(jié)中心。

圖4 右下肢運(yùn)動坐標(biāo)系Fig.4 Coordinate system of the right lower limb

右下肢運(yùn)動坐標(biāo)系中，從i－1 坐標(biāo)系到第i坐標(biāo)系的D－H 變換矩陣如公式（5）所示：

其中θi表示從xi－1軸到xi軸沿zi－1旋轉(zhuǎn)的角度；di表示節(jié)點i－1到節(jié)點i的距離；ai表示從zi－1軸和xi軸交點到節(jié)點i的距離；αi表示從zi－1軸到zi軸沿xi軸的偏移角度。

對于圖4所示坐標(biāo)系，其D－H 變換矩陣的變量值見表2。

表2 D－H 變換矩陣參數(shù)Table 2 D－H Transformation matrix parameters

因此，對于任意運(yùn)動學(xué)模型，只要D－H 變換矩陣參數(shù)已知，則由式（6）可得任意關(guān)節(jié)的相對位置坐標(biāo)：

4 實驗結(jié)果

為了驗證人體運(yùn)動捕捉系統(tǒng)的性能和有效性，實驗對象穿戴運(yùn)動捕捉系統(tǒng)并連好線后做各種規(guī)定動作，攝像機(jī)記錄人體運(yùn)動情況的同時與運(yùn)動捕捉結(jié)果進(jìn)行比較，實驗情況見圖5。

實驗過程中，實驗對象先直立進(jìn)行姿態(tài)初始化，初始姿勢為立正姿勢：兩臂自然下垂，兩眼平視前方，雙腿微分放松站立。運(yùn)動傳感器獲得初始姿態(tài)角并發(fā)送給集中器，集中器再將其傳給計算機(jī)，計算機(jī)對使用VC＋＋和OpenGL 建立的虛擬人體進(jìn)行角度初始化。初始化完畢后實驗對象執(zhí)行圖5所示的舉手、抬腿、坐下、下蹲動作，虛擬人體模型則會實時還原實驗人員的動作。將人體模型的動畫和拍攝的視頻進(jìn)行比較，可見，三維人體模型在前端采集數(shù)據(jù)的驅(qū)動下，生動地還原了實驗對象的運(yùn)動情況。實驗結(jié)果說明，運(yùn)動傳感器數(shù)據(jù)驅(qū)動的人體模型能夠?qū)崟r精確地再現(xiàn)真實人體運(yùn)動，驗證了系統(tǒng)的有效性。

5 結(jié)論

為了實時捕捉和還原人體運(yùn)動，本文設(shè)計了一套基于慣性式的可穿戴式人體運(yùn)動捕捉系統(tǒng)，從系統(tǒng)的前端數(shù)據(jù)采集、姿態(tài)角解算到人體運(yùn)動再現(xiàn)均進(jìn)行了原理闡述和設(shè)計。系統(tǒng)對日常生活中的常見動作進(jìn)行了精準(zhǔn)捕捉和還原，體現(xiàn)了本系統(tǒng)的良好性能。該系統(tǒng)成本低且實時性好，已運(yùn)用在運(yùn)動員的日常訓(xùn)練中，對訓(xùn)練中出現(xiàn)的問題能及時進(jìn)行分析，對錯誤姿勢能起到良好糾正作用。同時，本系統(tǒng)在電影拍攝、醫(yī)療康復(fù)、娛樂等方面還有更廣泛的應(yīng)用，市場前景廣闊。

［1］容志能.慣性運(yùn)動捕捉系統(tǒng)中傳感數(shù)據(jù)的傳輸與處理［D］.杭州：浙江大學(xué)，2012.

［2］萬成凱.無標(biāo)記人體運(yùn)動捕捉及姿態(tài)估計的研究［D］.北京：北京交通大學(xué)，2009.

［3］Xsense，Inc.Moven 慣性運(yùn)動捕捉系統(tǒng)［EB／OL］.2009.http：／／www.xsense.com／en／general／mvn.

［4］吳健康.人體運(yùn)動捕捉三維再現(xiàn)系統(tǒng)［P］.中國，200910086474，2009.

［5］Charry，E.，Umer，M.，Taylor，S.Design and validation of an ambulatory inertial system for 3－D measure－ments of low back movements［C］／／Intelligent Sensors，Sensor Networks and Information Processing（ISSNIP），2011Seventh International Conference on，2011，58（63）：6－9.

［6］Bainbridge，R.，Paradiso，J.A.Wireless hand gesture capture through wearable passive tag sensing［C］／／Body Sensor Networks（BSN），2011International Conference on，2011，200（204）：23－25.

［7］Abbate，N.，Basile，A.，Brigante，C.，et al.Development of a MEMS based wearable motion capture system［C］／／ Human System Interactions，2009，HSI’09.2nd Conference on，2009，255（259）：21－23.

［8］Fujimori，Y.，Ohmura，Y.，Harada，T.，et al.Wearable motion capture suit with full－body tactile sensors，robotics and automation［C］／／2009.ICRA＇09.IEEE International Conference on，2009，3 186（3 193）：12－17.

［9］Jian Xiang，Hongli Zhu.Subspace index method for 3D human motion，bio－inspired computing：Theories and applications［C］／／2007.BIC－TA 2007.Second International Conference on，2007，67（69）：14－17.

［10］Gamarnik，V.，Shu Pan，Malke，J.，et al.An integrated motion capture system for evaluation of neuromuscular disease patients［C］／／Engineering in Medicine and Biology Society，2009.EMBC 2009.Annual International Conference of the IEEE，2009，218（221）：3－6.

［11］Guangyi Shi，Yang He，F(xiàn)eng Ye，et al.Towards an ubiquitous motion capture system using inertial MEMS sensors and ZigBee network，Cyber Technology in Automation，Control，and Intelligent Systems（CYBER）［C］／／2011IEEE International Conference on，2011，230（234）：20－23.