基于數(shù)據(jù)手套與虛擬模型的手臂動作識別方法

曹爾凡， 崔建偉

(東南大學(xué) 儀器科學(xué)與工程學(xué)院，江蘇 南京 210096)

手臂運(yùn)動識別技術(shù)廣泛地應(yīng)用于眾多領(lǐng)域，包括殘疾人康復(fù)、運(yùn)動員的動作分析、VR應(yīng)用等[1-3]。比如在助殘領(lǐng)域，對于失去手部的殘疾人，通過采集并分析他們手臂運(yùn)動的相關(guān)信息，判斷手臂與日常活動相對應(yīng)的運(yùn)動狀態(tài)，將識別出的手臂動作標(biāo)簽作為信號，去觸發(fā)與手臂動作相匹配的機(jī)械假手張合操作，可以幫助完成殘疾人的日常抓握行為。人的手臂動作識別常見的方法包括計算機(jī)視覺處理[4]、肌電信號處理[5]和可穿戴式MEMS傳感器等。計算機(jī)視覺識別對硬件要求高，攝像設(shè)備不便于佩戴，在本文應(yīng)用的助殘場景里具有一定局限性。肌電信號識別硬件成本較低、攜帶方便，然而受肌肉狀態(tài)影響大，識別效果不穩(wěn)定。

MEMS傳感器具有功耗低、成本低、便于攜帶等優(yōu)點，是目前研究的熱點[6]。張俊杰等[7]通過采集手臂關(guān)鍵節(jié)點的加速度和角速度值，對數(shù)據(jù)進(jìn)行時域特征計算，采用BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)兩種方法進(jìn)行動作識別，總識別率可達(dá)90%。這種方法硬件設(shè)備用量少，便于穿戴，有一定的識別精度，但是傳感器的加速度、角速度信號存在振蕩等不穩(wěn)定因素，導(dǎo)致從中提取的時域特征也不穩(wěn)定，從而影響識別效果?；诙鄠鞲衅魅诤系姆椒苡行У靥岣咦R別的精度和可靠性，如Wang等[8]在老年人手腕部位佩戴加速度傳感器并結(jié)合環(huán)境傳感器對17種日常人體活動進(jìn)行識別，總識別率達(dá)到96.82%。該方法使用環(huán)境傳感器輔助加速度傳感器對人體動作進(jìn)行識別，彌補(bǔ)了加速度傳感器時域特征不穩(wěn)定的缺陷，達(dá)到了很好的識別效果。但環(huán)境傳感器不便于穿戴，特別是在助殘應(yīng)用領(lǐng)域并不方便。

人類在完成不同動作時有自然形成的習(xí)慣，可以設(shè)想手臂的運(yùn)動軌跡有可能隱含人的動作意圖，借此可進(jìn)一步提高M(jìn)EMS傳感器對人手臂運(yùn)動的識別率。受此啟發(fā)，基于助殘假手的應(yīng)用背景，研究了將MEMS傳感器與手臂運(yùn)動軌跡相結(jié)合的手臂運(yùn)動識別方法。

為了彌補(bǔ)傳感器時域特征不穩(wěn)定的缺點，本文在虛擬交互環(huán)境中建立了3D手臂模型，將傳感器角度數(shù)據(jù)映射至手臂模型，完成手臂動作復(fù)現(xiàn)，獲取穩(wěn)定的軌跡特征。為了滿足助殘手連續(xù)精細(xì)動作的識別需求，提出了一種有效動作數(shù)據(jù)分割算法，剔除連續(xù)動作信號中的無效數(shù)據(jù)，分割出有意義的數(shù)據(jù)窗口。最后設(shè)計了支持向量機(jī)算法對預(yù)定義的5種手臂動作進(jìn)行了分類識別實驗。

1 手臂動作識別系統(tǒng)框架設(shè)計

本文使用的數(shù)據(jù)手套包含了3個九軸MEMS傳感器和5個彎曲傳感器，其中3個MEMS傳感器分別佩戴在手臂的大臂、小臂、手背部位，5個彎曲傳感器依附于5根手指處，如圖1所示。

圖1 傳感器佩戴位置

圖1中，X0、Y0、Z0為參考坐標(biāo)系方向，X0指向肩部，Y0指向手臂前方，Z0指向手背外側(cè)。X1～X3、Y1～Y3、Z1～Z3分別為3個MEMS傳感器的初始三軸方向，與參考坐標(biāo)系一致。彎曲傳感器為長條形的壓阻傳感器，可測量手指的彎曲程度。

整個動作識別系統(tǒng)的總體框圖如圖2所示。主控單片機(jī)采集大臂、小臂、手背3個部位的三軸加速度、角速度、磁強(qiáng)度信號并進(jìn)行四元數(shù)解算，得到俯仰角、偏航角、橫滾角的三軸姿態(tài)角度數(shù)據(jù)。再通過串口將原始數(shù)據(jù)、解算好的角度數(shù)據(jù)上傳至計算機(jī)中。計算機(jī)將數(shù)據(jù)復(fù)制為兩份，一份用于虛擬環(huán)境的手臂動作復(fù)現(xiàn)，獲取手臂模型軌跡數(shù)據(jù)，提取軌跡特征，另一份用于時域特征提取。最后將傳感器時域特征和軌跡特征輸入支持向量機(jī)算法模型，完成手臂動作的分類識別。

圖2 手臂動作識別系統(tǒng)總體設(shè)計框圖

2 手臂模型動作復(fù)現(xiàn)與軌跡數(shù)據(jù)獲取

常見的獲取手臂運(yùn)動軌跡信息的方法是通過對手臂建立坐標(biāo)系，基于手臂旋轉(zhuǎn)姿態(tài)角對手臂末端位置進(jìn)行矩陣解算，得到運(yùn)動軌跡[9-10]。采用了虛擬交互技術(shù)，通過建立3D手臂模型，綁定傳感器姿態(tài)數(shù)據(jù)，實現(xiàn)動作復(fù)現(xiàn)，并可以從虛擬環(huán)境中直接讀取手臂模型的軌跡信息。這種方法的好處在于可以減少傳統(tǒng)方法解算軌跡所需要的巨大計算量，同時能直觀地看到手臂運(yùn)動狀態(tài)。

首先參照文獻(xiàn)[11]的方法，將手臂模型簡化為棍狀模型，通過建立關(guān)節(jié)層級關(guān)系、添加骨骼蒙皮、添加碰撞器組件等步驟[11]，建立虛擬手臂模型，如圖3所示。

圖3 虛擬手臂模型

手臂模型在虛擬環(huán)境中的運(yùn)動由四元數(shù)驅(qū)動。模型在虛擬空間中的姿態(tài)變化基于四元數(shù)在新的時刻相對于上一時刻四元數(shù)的更新，即四元數(shù)的狀態(tài)轉(zhuǎn)移。四元數(shù)的實時狀態(tài)轉(zhuǎn)移使用二階龍格-庫塔法實現(xiàn)[12]，首先對四元數(shù)關(guān)于時間求微分方程：

(1)

計算得到

(2)

式中，ωx、ωy、ωz為角速度三軸分量。接著將四元數(shù)套用到二階龍格-庫塔方程中，形成四元數(shù)狀態(tài)轉(zhuǎn)移方程：

(3)

式中，Q為四元數(shù)；K1為t到t+T時刻四元數(shù)微分斜率初始端點；K2為斜率末尾端點。通過求T時間內(nèi)的四元數(shù)微分平均斜率來估計T時刻后的四元數(shù)狀態(tài)，完成狀態(tài)轉(zhuǎn)移。

將手臂模型導(dǎo)入Unity虛擬平臺，將上述公式求得的實時四元數(shù)數(shù)據(jù)綁定至相應(yīng)模型碰撞器，完成動作復(fù)現(xiàn)，效果如圖4所示。

圖4 動作復(fù)現(xiàn)效果圖

由圖4可以看出，手臂模型的動作與真實手臂基本一致。本文建立的虛擬手臂模型旨在能夠獲取手臂的動作意圖，勾畫出基本運(yùn)動趨勢，不要求動作能夠精確復(fù)現(xiàn)。

完成動作復(fù)現(xiàn)后，手臂模型的運(yùn)動狀態(tài)能夠基本代表真實手臂運(yùn)動狀態(tài)，此時就可以從虛擬環(huán)境中直接獲取手臂模型的軌跡數(shù)據(jù)。常見獲取手臂運(yùn)動軌跡的方法為了便于計算，大多以小臂末端作為軌跡的計算對象。本文充分發(fā)揮虛擬模型的優(yōu)勢，以右手大拇指末端的坐標(biāo)數(shù)據(jù)作為采集對象，軌跡范圍從手臂延伸到手指，提高了軌跡的精確度。采集部位與Unity坐標(biāo)系方向如圖5所示。

圖5 軌跡數(shù)據(jù)采集部位與坐標(biāo)系方向

經(jīng)過一個動作周期，即可對位置坐標(biāo)形成動作軌跡路線，圖6為“喝水”動作的軌跡路線。

圖6 “喝水”動作軌跡路線

3 傳感器與軌跡數(shù)據(jù)處理

加速度、角速度能反映手臂運(yùn)動的幅度與劇烈程度，軌跡數(shù)據(jù)能反映手臂運(yùn)動的位移趨勢，因此選用3個MEMS傳感器的加速度、角速度作為時域特征的數(shù)據(jù)源，虛擬環(huán)境中提取出的軌跡數(shù)據(jù)作為軌跡特征的數(shù)據(jù)源，數(shù)據(jù)采集頻率為50 Hz。在提取特征前需要對原始數(shù)據(jù)進(jìn)行預(yù)處理。

3.1 原始數(shù)據(jù)預(yù)處理

首先使用滑動平均濾波法對原始數(shù)據(jù)濾波進(jìn)行處理，去除振蕩毛刺。

(4)

式中，Yk為k時刻濾波后信號值；Xk+i為k時刻滑動窗口內(nèi)第i個原始信號值。為保證濾波效果良好且原始數(shù)據(jù)損失較小，滑動窗口大小w設(shè)置為10個采樣點。

從虛擬環(huán)境中采集到的拇指末端坐標(biāo)為三軸分量。為了直觀清晰地獲取軌跡特征，以手臂自然下垂于褲縫的位置為所有手臂動作的起點，讓三軸坐標(biāo)值對設(shè)定的起點值計算差的平方和，得出手臂運(yùn)動時拇指末端相對于起點的直線位移值，作為表示動作軌跡的物理量，以便于后續(xù)的動作分割工作和特征提取。位移值計算公式為

(5)

式中，Dk為k時刻大拇指末端相對于起點的位移值；Xk、Yk、Zk分別為k時刻拇指末端的三軸坐標(biāo)值；X0、Y0、Z0分別為拇指末端的三軸起點值。圖7(a)為“喝水”動作中一個動作周期內(nèi)的模型末端原始三軸坐標(biāo)值，圖7(b)為式(5)計算后的位移值。

圖7 “喝水”動作位移值的獲取

由圖7(b)可以看出，計算出的手臂位移值變化趨勢明顯，且沒有振蕩波動現(xiàn)象，穩(wěn)定性較好。

3.2 動作片段分割算法設(shè)計

由于采集到的整段動作數(shù)據(jù)有一部分不屬于有效動作數(shù)據(jù)，需要通過分割算法提取出有效動作的片段。傳統(tǒng)的動作分割方法大多是通過手動標(biāo)識動作起始點[13]，或者是設(shè)定加速度閾值判斷有效數(shù)據(jù)段[14]。手動標(biāo)識的方法操作煩瑣，對連續(xù)動作信號不適用，而判斷加速度閾值的方法由于加速度信號不夠穩(wěn)定的特點，會產(chǎn)生很多干擾點。本文提出一種動作分割算法，基于3.1節(jié)得到的穩(wěn)定的手臂位移值，通過計算差分和并聯(lián)合判斷閾值得到有效動作的起始點。

以“喝水”動作為例，觀察圖7(b)，做出喝水動作之前的一段時間，手臂的位移值處于平穩(wěn)狀態(tài)且接近于0。當(dāng)開始做出喝水動作，手臂位移值有一個短暫且大幅度上升的趨勢，這段時間即對應(yīng)著抬臂的過程。接著喝水的這段時間對應(yīng)的位移值又較為平穩(wěn)。最后放下手臂的時間段對應(yīng)的位移值呈現(xiàn)一個短暫且大幅度下降的趨勢，至此一個動作周期結(jié)束。因此得出這樣的規(guī)律：在每一個有效動作片段的起始點之后和結(jié)束點之前，手臂的位移值都會有一個短時間的陡峭的上升或下降趨勢。因此可以通過判斷這兩段趨勢來確定有效動作片段的起始點和結(jié)束點?；谏鲜龇治觯疚奶岢隽艘环N計算滑動窗口的差分和與波峰波谷檢測相結(jié)合的動作片段分割算法，算法流程如圖8所示。

圖8 動作分割算法流程圖

其中差分和的計算公式為

(6)

式中，Diffk為k時刻的差分和值；Xk+i為k時刻窗口內(nèi)第i個點的手臂位移值；Xk+i-1為k時刻窗口內(nèi)第i-1個點的位移值?；瑒哟翱诖笮設(shè)置為10個采樣點。

對于連續(xù)的“喝水”動作位移值采用該動作片段分割算法，分割結(jié)果如圖9所示。其中l(wèi)1、l2為閾值線，兩條閾值線中間的波峰波谷點均為干擾點；d1、d2為窗口長度偏移的補(bǔ)償值；S1、E1、S2、E2為識別出的動作起始點。

圖9 動作片段分割算法結(jié)果

4 傳感器時域特征與軌跡特征提取

為傳感器數(shù)據(jù)和軌跡數(shù)據(jù)分別選取了5種能表征手臂運(yùn)動特性的特征量。

對傳感器信號提取了均值、標(biāo)準(zhǔn)差、最大值、最小值、偏度5種時域特征。其中，均值反映了信號平均強(qiáng)度，標(biāo)準(zhǔn)差反映了信號分散程度，最大值最小值反映了信號的幅度，偏度反映了信號的偏斜方向和程度。

對于傳感器的三軸信號計算出的特征量，采取求平方和的方式得出其綜合特征量：

(7)

式中，F(xiàn)x、Fy、Fz分別為傳感器的三軸特征值分量。這種融合三軸特征值分量的方法，不僅降低了算法模型的輸入維度，同時提高了特征值的穩(wěn)定性。

對軌跡位移值提取了均值、標(biāo)準(zhǔn)差、最大值、窗口寬度、差分絕對值和5種軌跡特征。其中，均值反映了動作的平均幅度大小，標(biāo)準(zhǔn)差反映了每個采樣點的位移相對于均值的偏離程度，最大值表示動作的最遠(yuǎn)位移值，窗口寬度反映了動作的持續(xù)時間，差分絕對值和反映了位移值變化的劇烈程度。表1列出了各特征值的公式，其中，ds為樣本標(biāo)準(zhǔn)差，XS、XE分別為動作起始點的索引值。

表1 選用特征值的公式定義

經(jīng)過特征量計算，得到傳感器數(shù)據(jù)的時域特征共30維，軌跡特征共5維。在實驗階段會對單時域特征和時域+軌跡特征分別測試識別效果。

5 實驗與結(jié)果

5.1 實驗設(shè)計

定義了5種手臂動作標(biāo)簽，定義規(guī)則如下。

① 選取的動作需為日常生活常見動作，與助殘的應(yīng)用背景相吻合。

② 選取的動作中應(yīng)當(dāng)存在相似動作。相似動作的各特征值較為相近，識別難度較大。

③ 選取的有差別的動作，既作為識別目標(biāo)，也作為干擾源，用以驗證識別方法是否可行。

選取的5種手臂動作標(biāo)簽和說明如表2所示。

表2 手臂動作標(biāo)簽選取

表2中動作類別按動作的相似程度劃分。其中，共性動作是從桌子取物，下面進(jìn)行進(jìn)一步細(xì)分?！昂人眲幼鞯幕顒臃秶鷱钠瘘c到頭部，為大范圍動作，劃為A類；“解衣服扣子”動作范圍從起點到胸口，為中范圍動作，劃為B類；“翻書”、“敲鍵盤”、“使用手機(jī)”3種動作范圍從起點到桌子，為小范圍動作，劃為C類。C類中的3種動作屬于相似動作，識別難度較高，本文將傳感器時域特征與運(yùn)動軌跡特征相結(jié)合測試其分類效果。

尋找了4位志愿者進(jìn)行數(shù)據(jù)集采集，每個人對5種動作以平穩(wěn)的速度重復(fù)做15次，一次手臂動作周期約5 s。一共采集了4×5×15=300個樣本。基于5種動作標(biāo)簽和300個實驗樣本，對選取的5種軌跡特征作平行坐標(biāo)圖，如圖10所示。由圖得知每種軌跡特征對于每個動作類別分布較為集中，且不同動作類別的同種軌跡特征存在一定間距，易于對動作進(jìn)行分類，說明5種軌跡特征選取合適。

圖10 5種軌跡特征平行坐標(biāo)分布

5.2 分類識別結(jié)果

使用Matlab中的Classification Learner工具箱對數(shù)據(jù)集進(jìn)行訓(xùn)練和分類。將數(shù)據(jù)集中的300個樣本隨機(jī)平均分為兩份，其中150個為訓(xùn)練集，用來訓(xùn)練算法模型，另外150個作為測試集，用來測試模型的識別準(zhǔn)確度。使用能良好支持非線性分類模型的支持向量機(jī)算法(Support Vector Machines，SVM)對數(shù)據(jù)集進(jìn)行訓(xùn)練[15]。對SVM模型采用5折交叉熵驗證，使模型更穩(wěn)定，泛化能力更強(qiáng)。核函數(shù)采用高斯核模型：

(8)

式中，x′為核函數(shù)中心；‖x-x′‖2為向量x到向量x′的歐氏距離；σ為帶寬，控制核函數(shù)作用范圍。高斯核函數(shù)是SVM算法常用核函數(shù)，將輸入空間映射到高維空間，再用超平面對不同類樣本進(jìn)行劃分。

為了驗證提出的軌跡特征對識別結(jié)果的影響，對傳感器時域特征和傳感器時域特征+軌跡特征分別訓(xùn)練算法模型，兩種模型的特征值輸入維數(shù)分別為30維和35維，輸出均為5維。經(jīng)過模型訓(xùn)練與測試集驗證，得到結(jié)果。表3和表4分別為傳感器時域特征和時域+軌跡特征的分類結(jié)果混淆矩陣。其中縱列為標(biāo)簽，橫行為預(yù)測結(jié)果，M1～M5分別為喝水、解衣服扣子、翻書、敲鍵盤、使用手機(jī)5種動作，P為識別率。

表3 傳感器時域特征下的動作識別混淆矩陣

表4 時域+軌跡特征下的動作識別混淆矩陣

從表3可以看出，喝水、敲鍵盤、使用手機(jī)3種動作的識別率為100%，解衣服扣子的識別率為96.88%。而翻書與敲鍵盤屬于C類中的相似動作，單傳感器時域特征下，10次翻書動作被錯識別為敲鍵盤動作，識別率僅為69.70%，識別效果較差，總識別率僅為92.67%。在傳感器時域特征的基礎(chǔ)上加上軌跡特征訓(xùn)練模型，如表4所示，喝水、敲鍵盤、使用手機(jī)3種動作識別率仍為100%，解衣服扣子也提高到了100%。對于單傳感器時域特征下識別效果較差的翻書動作，融合軌跡特征后只有1次將翻書動作錯識別為敲鍵盤動作，識別率提高到了96.97%，總識別率提高到了99.33%。由此可以驗證所提出的傳感器時域特征與軌跡特征結(jié)合的手臂動作識別方法的可行性，且對于相似動作，軌跡特征的加入大幅度提高了識別率，驗證了基于虛擬手臂模型獲取的軌跡特征對手臂動作識別具有一定意義。

6 結(jié)束語

基于數(shù)據(jù)手套和虛擬手臂模型，提出了一種手臂動作識別方法。通過虛擬環(huán)境中手臂模型對真實手臂動作的復(fù)現(xiàn)，獲取了手臂的軌跡數(shù)據(jù)，并提出了一種基于差分和加波峰波谷檢測的動作片段分割算法，正確地獲取了有效手臂動作數(shù)據(jù)片段。最后提取傳感器時域特征和軌跡特征，使用支持向量機(jī)算法完成了對5種手臂動作標(biāo)簽的識別。在傳感器時域特征下，總識別率為92.67%，融合了軌跡特征后，總識別率提高了6.66%，達(dá)到了99.33%，驗證了提出的手臂動作識別方法的可行性，且證明了基于虛擬手臂模型獲取的軌跡特征能有效提高識別準(zhǔn)確率。

提出的手臂動作識別方法也存在一定的不足。由于手臂模型的靜止參考坐標(biāo)系是固定的，因此本系統(tǒng)無法對身體在運(yùn)動狀態(tài)下的手臂動作進(jìn)行識別，存在一定的局限性。今后的工作也會針對手臂模型、識別算法加以改進(jìn)，讓本文方法適應(yīng)復(fù)雜狀態(tài)下的手臂運(yùn)動。