網(wǎng)絡(luò)化手勢運動跟蹤系統(tǒng)設(shè)計*

陳鵬展， 李　杰, 羅　漫

(華東交通大學(xué) 電氣與電子工程學(xué)院，江西 南昌 330013)

?

網(wǎng)絡(luò)化手勢運動跟蹤系統(tǒng)設(shè)計*

陳鵬展， 李杰, 羅漫

(華東交通大學(xué) 電氣與電子工程學(xué)院，江西 南昌 330013)

摘要:設(shè)計了一種基于微機電慣性傳感器的數(shù)據(jù)手套。根據(jù)慣性導(dǎo)航和剛體動力學(xué)原理，構(gòu)建了基于微型傳感器的體感網(wǎng)絡(luò)，并通過多傳感器數(shù)據(jù)的融合解算以獲取運動姿態(tài)信息，實現(xiàn)對手指各關(guān)節(jié)運動數(shù)據(jù)的捕獲。結(jié)合計算機圖形技術(shù)構(gòu)建三維虛擬手捕獲系統(tǒng)進行性能對比評估，實驗結(jié)果表明：所設(shè)計的系統(tǒng)具有良好的穩(wěn)定性和適應(yīng)性，能夠?qū)κ诌\動信息進行實時有效地捕獲。

關(guān)鍵詞：運動捕獲； 慣性導(dǎo)航； 剛體動力學(xué)； 慣性傳感器

0引言

手勢作為日常生活中人們廣泛使用的一種自然而直觀、易于學(xué)習(xí)和高效的交流方式，有很強的表意能力，伴隨虛擬現(xiàn)實技術(shù)的發(fā)展，虛擬手成為了一種新的人機接口應(yīng)用，利用高效的數(shù)據(jù)手套可以有效地捕獲手勢動作參數(shù)，實時獲取手部動作的信息，可在人機交互過程中完成操作和交流等功能，有效地拓寬了人機交互通道，在體育、醫(yī)學(xué)、軍事等方面有著廣闊的應(yīng)用前景[1]。

手勢動作測量系統(tǒng)在工程和科學(xué)技術(shù)領(lǐng)域常用的檢測系統(tǒng)主要有光學(xué)式[2,3]和機械式[4]兩大類。光學(xué)式對背景、光線等外部環(huán)境依賴性強；機械式設(shè)計結(jié)構(gòu)復(fù)雜，成本昂貴,且使用存在不便。

MEMS慣性傳感器可實現(xiàn)對運動信息的檢測，為手勢動作信息的捕獲帶來了新的基礎(chǔ)工具和應(yīng)用環(huán)境[5～7]，具有結(jié)構(gòu)設(shè)計簡單，價格低廉，安裝和使用便捷等優(yōu)點，且不受光線影響。

本文針對現(xiàn)有技術(shù)中存在的不足，提出了一種基于慣性傳感器的數(shù)據(jù)手套實現(xiàn)方案，利用安裝在手套內(nèi)部的微慣性傳感器來組成傳感器網(wǎng)絡(luò)，根據(jù)慣性導(dǎo)航和剛體動力學(xué)原理[8]對各節(jié)點采集的數(shù)據(jù)進行姿態(tài)融合計算，并通過計算機圖形技術(shù)構(gòu)建虛擬手模型，將解算的結(jié)果映射到模型中對應(yīng)的關(guān)節(jié)處，完成數(shù)據(jù)驅(qū)動，以便實時捕捉和還原手勢的動作信息。

1數(shù)據(jù)手套系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)手套可實時有效地捕獲手勢的動作，并以姿態(tài)信息對其各關(guān)節(jié)進行表示，主要由安裝在手套內(nèi)部的多個微慣性傳感器和嵌入式中央處理器構(gòu)成。這些慣性傳感器合理地布局于手套相關(guān)的運動部位，通過數(shù)據(jù)計算可以得出對應(yīng)手關(guān)節(jié)的姿態(tài)信息，并結(jié)合計算機虛擬手模型精確地還原使用者手勢的運動情況。

1.1數(shù)據(jù)手套模型與映射

人手是一個多關(guān)節(jié)相連結(jié)構(gòu)，由4個手指、1個大拇指和手掌構(gòu)成，因此，手勢的動作變化可以通過各指段和關(guān)節(jié)的空間姿態(tài)信息來描述。

參照人手生物學(xué)模型的通用標(biāo)準(zhǔn)，定義了如圖1所示虛擬手模型，其中，MP為手指的基部，除去拇指外，PIP和DIP分別為手指的中間關(guān)節(jié)處和末端關(guān)節(jié)處，大拇指則單獨設(shè)置中間關(guān)節(jié)為TP,并以手掌為基點，鏈接5個手指，每個手指以各子關(guān)節(jié)點線性分布鏈接(MP→PIP→DIP)，從而組成以手掌為基點，各手指為分支的一個樹形數(shù)據(jù)結(jié)構(gòu)，其樹中的各節(jié)點匹配對應(yīng)的關(guān)節(jié)，且相互間具有運動關(guān)聯(lián)特性。

圖1　手部模型Fig 1　Hand model

將手部關(guān)節(jié)骨骼之間的運動特性看成是剛體和相應(yīng)指段組合而成的關(guān)聯(lián)樹型結(jié)構(gòu)，將慣性傳感器安裝在手套內(nèi)部對應(yīng)的手關(guān)節(jié)部位，并使各關(guān)節(jié)點的姿態(tài)解算信息與手模型樹形結(jié)構(gòu)中的節(jié)點進行綁定，將真實手和虛擬手之間的驅(qū)動關(guān)系進行數(shù)據(jù)映射。

1.2硬件設(shè)計

手勢的運動信息主要由手關(guān)節(jié)在空間中的姿態(tài)、位置的變化來體現(xiàn)，而空間姿態(tài)和位置主要通過運動中的姿態(tài)角來闡述，姿態(tài)角最終能夠通過加速度、角速度和地磁儀數(shù)據(jù)融合計算得到?；谝陨详P(guān)系，本系統(tǒng)主要通過檢測手勢運動過程中特征部位的加速度、角速度、磁力信息及姿態(tài)角來對手勢的運動姿態(tài)進行估算。

MPU9150是一種集成了加速度傳感器、陀螺儀傳感器和磁力傳感器的九軸MEMS傳感器芯片，具有體積小、重量輕和可靠性好等特點，且可以通過內(nèi)置的DMP 數(shù)字處理引擎減少復(fù)雜的融合演算數(shù)據(jù)﹑感測器同步化和姿勢感應(yīng)等帶來的負荷，能夠較為準(zhǔn)確地詮釋運動過程中的加速度、角速度和磁力信息的變化。

同時，姿態(tài)采集系統(tǒng)需要選擇合適的運算處理核心。Nordic推出的nRF51822不僅擁有BLE 4.0低功耗藍牙模塊，而且集成了32位高速運算處理內(nèi)核Cortex—M0，具備標(biāo)準(zhǔn)通信接口和低功耗等特點。

數(shù)據(jù)手套姿態(tài)采集系統(tǒng)由1個處理控制單元和多個傳感器組成，以MPU9150為信息的采集節(jié)點，nRF51822為數(shù)據(jù)處理和收發(fā)單元，人手主要關(guān)節(jié)的運動信息通過MPU9150傳感器進行測量，經(jīng)過數(shù)據(jù)預(yù)處理和多傳感數(shù)據(jù)融合計算后傳遞給計算機中的虛擬手軟件捕捉系統(tǒng)，以使其準(zhǔn)確地還原操作者的手勢運動。系統(tǒng)框圖如圖2所示。

圖2　系統(tǒng)框圖Fig 2　Block diagram of system

1.3數(shù)據(jù)手套信號流程

在系統(tǒng)運行過程中，利用MPU9150傳感模塊采集各手關(guān)節(jié)運動過程中的加速度、角速度和磁場信息，通過I2C接口與NRF51822模塊進行通信，信號經(jīng)過數(shù)據(jù)濾波和姿態(tài)的融合解算處理后，借助NRF51822內(nèi)部集成的低功耗藍牙4.0通信模塊傳遞給遠程PC虛擬手模型測試環(huán)境中，以實時還原出手勢運動信息的直觀顯示。信號流程如圖3。

圖3　信號流程Fig 3　Signal process

2手勢姿態(tài)解算

在手姿態(tài)信息的計算過程中，用四元數(shù)對姿態(tài)角進行表示，其計算時間短，精度高，表示簡便，且可對方向余弦矩陣和歐拉角等常規(guī)姿態(tài)角表示方法進行相互轉(zhuǎn)換。

2.1手姿態(tài)的解算策略

陀螺儀傳感器分別測量載體沿X,Y和Z坐標(biāo)系方向的角速度，具有良好的動態(tài)響應(yīng)性能，通過采集該角速度信息，并結(jié)合采樣時間進行積分，算出傳感器的姿態(tài)，并用四元數(shù)進行表示，如式(1)

(1)

考慮到聯(lián)合計算的時間和結(jié)果精確性，采用FQA四元數(shù)分解算法[9]對多傳感器數(shù)據(jù)進行融合計算，該方法可以很好地濾除外界磁場干擾對解算結(jié)果的影響，并且在解算過程中簡化了三角函數(shù)值的直接計算，有效提升了計算的速度和系統(tǒng)響應(yīng)性。FQA算法對應(yīng)用環(huán)境的要求為載體無線性加速度和外界磁場干擾，因此,在進行傳感器數(shù)據(jù)融合時加入如下約束：

約束1：加速度和磁力傳感器的數(shù)據(jù)超過預(yù)設(shè)定的閾值時，即載體加速度或外界磁干擾大時，將不進入姿態(tài)信息融合解算，以陀螺儀數(shù)據(jù)解算為準(zhǔn)。

約束2：在相反情況下，將3只傳感器的數(shù)據(jù)進行協(xié)同融合，更準(zhǔn)確地描述姿態(tài)信息。

2.2傳感器的校準(zhǔn)

1) 陀螺儀的校準(zhǔn)：在對手勢運動數(shù)據(jù)采集中陀螺儀的校準(zhǔn)主要是去除傳感器的零偏，以降低因陀螺儀漂移而產(chǎn)生的隨機干擾，即檢測值減去靜止時所求偏移量即可，其偏移量的求法如下：首先將MPU9150傳感器水平靜止放置，將模塊反面水平朝下，此時只有+Z軸方向受重力的影響，并記錄一定采樣時間內(nèi)X,Y,Z軸的輸出，并通過均值運算得到每軸角速度的偏移。

2) 磁力計的校準(zhǔn)：當(dāng)使用環(huán)境中存在著干擾磁場時，磁力計所檢測到的磁場數(shù)據(jù)為外界干擾磁場數(shù)據(jù)和地磁場數(shù)據(jù)之和，本系統(tǒng)中通過計算大量采樣數(shù)據(jù)中的磁場強度求得偏移，并以此對檢測數(shù)據(jù)進行校準(zhǔn)。

3) 加速度計預(yù)處理：在加速度信號處理中，選擇限幅濾波和滑動加權(quán)平均濾波的方法進行數(shù)據(jù)預(yù)處理，以降低因抖動而引起的干擾，同時剔除外界可能突發(fā)的脈沖干擾。

2.3傳感器信號漂移補償

在傳感器靜止時，陀螺儀輸出角度信息包括了常值漂移誤差和白噪聲干擾等，因積分時間不能無限小，單一依靠陀螺儀傳感器計算姿態(tài)信息會造成計算結(jié)果隨時間出現(xiàn)線性漂移和誤差較大等情況，如圖4所示。

圖4　融合前姿態(tài)變化Fig 4　Attitude change before fusion

因此，結(jié)合加速度傳感器和磁力傳感器來對姿態(tài)信息進行修正和聯(lián)合解算，有效地對漂移進行補償，避免了因單一角速度數(shù)據(jù)隨時間積分帶來的誤差累積。在系統(tǒng)中加速度傳感器測量載體沿空間坐標(biāo)系的加速度，主要感知載體水平方向的傾斜，用于修正陀螺儀所計算載體在俯仰(pitch)和滾動(roll)方向的偏移，磁力傳感器測量載體所處環(huán)境的三維地磁強度，用于提供對載體航向角(yaw)的初始對準(zhǔn)和修正所計算航向角的線性漂移，如圖5所示。

圖5　融合后姿態(tài)變換Fig 5　Attitude change after fusion

3實驗驗證

3.1單關(guān)節(jié)捕捉精度評估

將兩段剛體支架通過微型電機進行連接，控制電機轉(zhuǎn)動模擬手指單關(guān)節(jié)運動，為了對整個系統(tǒng)的性能進行評估，實驗分為靜態(tài)測試和動態(tài)測試。

1)靜態(tài)測試:將傳感器固定在一支架上，控制其繞另一支架停放不同的角度，通過對解算的姿態(tài)信息和真實轉(zhuǎn)動的角度進行靜態(tài)定姿對比，以評估定姿解算精度性能，如表1所示。

表1　靜態(tài)測試結(jié)果

2)動態(tài)測試：通過變換傳感器的安置方向和控制電機的運轉(zhuǎn)速度，達到通過控制支架轉(zhuǎn)動模擬關(guān)節(jié)運動的全姿態(tài)信息，觀察對比控制轉(zhuǎn)速結(jié)果和傳感器的解算結(jié)果，圖6為對比結(jié)果。

圖6　動態(tài)角度對比Fig 6　Comparison of dynamic angle

3.2系統(tǒng)評估

為了對整個系統(tǒng)進行性能捕捉評估，本文在VS2012開發(fā)環(huán)境下，結(jié)合3DS MAX軟件和OpenGL圖形庫技術(shù)，構(gòu)建了三維虛擬手模型運動捕捉顯示窗口，對真實手部運動過程進行實時還原，該窗口通過接收傳感器解算的姿態(tài)信息對模型進行數(shù)據(jù)驅(qū)動，刷新頻率為50 Hz，能較準(zhǔn)確地對真實手運動進行跟蹤和捕捉，以中指運動和手部握拳為參考姿態(tài)，進行測試，捕捉效果如圖7、圖8所示。

圖7　中指運動過程捕捉效果Fig 7　Motion process capture effect of middle finger

圖8　單手逐漸握拳的捕捉效果Fig 8　Capture effect of single-hand make fist gradually

4結(jié)束語

本文基于微慣性傳感器實現(xiàn)了手部運動信息捕獲的數(shù)據(jù)手套設(shè)計，利用慣性導(dǎo)航算法進行多傳感器多數(shù)據(jù)的融合處理，通過樹型層次化建模方法構(gòu)建了一種數(shù)據(jù)驅(qū)動的三維虛擬手關(guān)節(jié)模型，并使用解算的姿態(tài)信息進行真實手部運動狀態(tài)的實時跟蹤與還原。本文的設(shè)計思想可為今后數(shù)據(jù)手套研究和設(shè)計提供新的借鑒思路，具有一定的創(chuàng)新性和應(yīng)用價值。

參考文獻:

[1]陳浩磊,鄒湘軍,陳燕.虛擬現(xiàn)實技術(shù)的最新發(fā)展與展望[J].中國科技論文,2011(1):1-5.

[2]劉曉平,張靜,曹力,等.基于計算機視覺的虛擬手的實現(xiàn)[J].工程圖學(xué)學(xué)報,2007(4)：30-35.

[3]劉澤華.基于MEMS傳感器群的人體運動捕獲[J].傳感器與微系統(tǒng),2012,31(9):18-21.

[4]相瑞排,石廣田,李帥.機械式運動捕捉系統(tǒng)應(yīng)用中的若干問題研究[J].蘭州交通大學(xué)學(xué)報,2013(4)：44-47.

[5]Mannini A,Sabtini A M.Machine learning methods for classifying human physical activity from on-body accelerometers[J].Sensors,2010,10(2):1154-1175.

[6]李國峰,王錦,張勇,等.基于MEMS加速度傳感器的智能輸入系統(tǒng)[J].傳感技術(shù)學(xué)報,2009,22(5):643-646.

[7]Schlomer T,Poppinga B,Henze N,et al.Gesture recognition with a wii controller[C∥Proceedings of the 2nd International Confe-rence on Tangible and Embedded Interaction,New York:ACM,2008:11-14.

[8]張榮輝，賈宏光，陳濤，等.基于四元數(shù)法的捷聯(lián)式慣性導(dǎo)航系統(tǒng)的姿態(tài)解算[J].光學(xué)精密工程，2008,16(10)：1963-1970.

[9]Yun Xiaoping,Bachmann E R,Mc Ghee R B.A simplified quaternion-based algorithm for orientation estimation from earth gravity and magnetic field measurements[J].IEEE Trans on Instrumentation and Measurement,2008,57(3):638-650.

Design of hand motion tracking system based on sensor network*

CHEN Peng-zhan, LI Jie, LUO Man

(College of Electrical and Electronic Engineering,East China Jiaotong University,Nanchang,330013,China)

Abstract:A data glove based on MEMS inertial sensors is designed.According to inertial navigation and rigid body dynamics theory,somatosensory network based on micro-sensor is constructed and obtain motion gesture information through fusion of multi-sensor data,realize data capture of finger movement of each joint.A kind of 3D virtual hand capture systems based on computer graphics technology is constructed to evaluate performance contrast.Experimental results show that the system has good stability and adaptability,which can effectively capture motion information of fingers in real time.

Key words:motion capture; inertial navigation; rigid-body dynamics； inertial sensor

DOI:10.13873/J.1000—9787(2016)02—0067—04

收稿日期：2015—05—15

*基金項目：國家自然科學(xué)基金資助項目(61164011)；江西省自然科學(xué)基金資助項目(20114BAB201023)

中圖分類號：TP 391

文獻標(biāo)識碼：A

文章編號：1000—9787(2016)02—0067—04

作者簡介:

陳鵬展(1975-)，男，湖北武穴人，博士，副教授，主要研究方向為人機交互、動作捕捉、現(xiàn)場總線。