基于Kinect傳感器的康復訓練系統(tǒng)*

楊文璐，占嬋

（上海海事大學信息工程學院，上海201306）

基于Kinect傳感器的康復訓練系統(tǒng)*

楊文璐，占嬋

（上海海事大學信息工程學院，上海201306）

針對腦卒中患者后期的康復訓練需求，設計并實現了一個基于Kinect傳感器的實時康復訓練指導系統(tǒng)。該系統(tǒng)利用Kinect傳感器實時采集人體動作信息，同時通過與標準動作庫中的關鍵姿勢序列進行比對，得出相應的匹配結果，指引患者進行正確的康復訓練。實驗表明該系統(tǒng)能夠準確地判斷動作的完成度，對康復訓練具有指引作用。

Kinect傳感器；康復訓練；運動指導；關鍵姿勢匹配

0 引言

在腦卒中患者的后期治療中，康復訓練是一種強大的干預，能夠有效地促進患者的康復[1]?？祻陀柧毷且粋€長期的過程，相同的康復動作往往需要成千上萬次的重復練習。因此，可以進行自主康復鍛煉的患者常需要在無人監(jiān)視的情況下進行自主康復訓練。然而，康復訓練的內容需要專業(yè)醫(yī)生為患者量身定制，不遵循規(guī)范的康復訓練不僅達不到預期的康復效果，而且可能造成對患者身體的傷害。當前的康復指引通常僅限于康復醫(yī)生的當面指導和書面或視頻的指示，這使得患者在訓練過程中無法得到及時的反饋信息，無法判斷自己的康復方式是否正確，臨床醫(yī)生也無法獲取患者的康復訓練信息，難以對下一步的康復治療做出及時的調整。

基于以上康復訓練的需求，本文設計并實現了一個基于Kinect傳感器的康復訓練指導系統(tǒng)，利用Kinect傳感器獲取人體關節(jié)點坐標[2]，采用關鍵姿勢匹配的方式跟蹤康復動作的進度，計算動作偏差，從而引導患者進行正確的康復訓練。該系統(tǒng)使得患者在家庭環(huán)境下也能進行安全、高效的康復鍛煉，此外系統(tǒng)中記錄的康復數據有利于康復醫(yī)生及時調整康復計劃，提高患者的康復效率。

1 總體設計

參照真實的康復訓練過程，設計了基于Kinect體感交互技術的康復訓練指導系統(tǒng)。系統(tǒng)總體結構如圖1所示。該系統(tǒng)通過Kinect傳感器實時采集人體運動信息，獲取人體運動過程中關節(jié)點的三維坐標，并將三維坐標時間序列轉換為角度時間序列。模板訓練時采用模糊C均值聚類算法（FCM）搜尋到各動作序列中的關鍵姿勢作為模板，并將角度時間序列表示的姿勢與數據庫（存放專業(yè)康復醫(yī)生為患者量身定制的康復動作的模板）里模板庫中的關鍵姿勢進行匹配，并在系統(tǒng)界面上將匹配結果反饋給患者，引導患者做出正確的康復動作。

圖1 系統(tǒng)總體結構

2 系統(tǒng)實現

2.1 骨骼數據的獲取

骨骼追蹤技術是Kinect的核心技術之一[3]。啟動Kinect傳感器后，Kinect傳感器通過發(fā)射和接收紅外數據可以獲取人體20個關節(jié)點的三維坐標位置。坐標數據對不同體型的人十分敏感，為減小體型差異造成的誤差，本系統(tǒng)利用兩點法[4]將三維坐標數據轉化為16個角度數據。每個動作都可以用一個二維矩陣PN×M來表示，其中N為該動作總的幀數，M的值為16，代表16個角度。

2.2 關鍵姿勢的提取

在2.1節(jié)中，用角度時間序列表示了動作的具體信息。系統(tǒng)中采用模糊C均值聚類（FCM）算法提取動作中的關鍵姿勢，關鍵姿勢也是由一組角度向量來表示的。模糊C均值聚類是用隸屬度確定每個數據點屬于某個聚類程度的一種聚類算法，是早期硬C均值聚類（HCM）的一種改進[5]。

動作的二維矩陣PN×M可以看作是N個姿勢序列，FCM算法在標準動作的N個姿勢序列中提取關鍵姿勢。其具體方法如下：

把n個向量xi（i=1，2，3…，n）（即PN×M的行向量）分為c個模糊組，并求出每個模糊組的聚類中心C=（c1，c2，…，cc），使得非相似性指標的價值函數達到最小。

其中，uij表示數據點xi屬于聚類中心cj的概率。

FCM聚類算法的目標函數為：

其中m是一個加權指數，m∈［1，∞）。

聚類中心的計算公式如下：

FCM算法的具體步驟如下：

（1）隨機初始化uij。

（2）利用uij來計算聚類中心，如式（3）。

（3）利用上一步得到的聚類中心來重設uij的值，uij=

（4）重新計算每一類的聚類中心，直到聚類中心不再改變，算法終止。

通過對標準動作角度序列的FCM聚類，將動作聚為3類，得到3個聚類中心，將其作為關鍵姿勢；另外，由于起始姿勢和動作完成時的姿勢是判斷動作開始和結束的關鍵，因此同樣將這兩個姿勢作為關鍵姿勢。故共有5個關鍵姿勢，表示為：

pose1=[θ1，1，θ1，2，…，θ1，16]；

pose2=[θ2，1，θ2，2，…，θ2，16]；

pose3=[θ3，1，θ3，2，…，θ3，16]；

pose4=[θ4，1，θ4，2，…，θ4，16]；

pose5=[θ5，1，θ5，2，…，θ5，16]。

2.3 關鍵姿勢的匹配

為實現系統(tǒng)的動作指導功能，首先須判斷當前的動作是否與標準動作一致。本系統(tǒng)采用關鍵姿勢匹配的方式來實現這一功能，其主要方法是計算姿勢之間的相似性。在數據庫中存放了用關鍵姿勢來表示的標準的動作模板。

系統(tǒng)運行時，Kinect以30幀/s的速度采集動作數據。將實時采集到的數據用2.1節(jié)所述的方法轉化為角度數據，并與模板中的關鍵姿勢進行歐式距離匹配[6]，歐式距離計算公式如下：

設置匹配距離閾值λ，當Dis＜λ時，關鍵姿勢匹配成功，此時系統(tǒng)認為完成了該關鍵姿勢相對應的分動作。對于每個動作都將相應的關鍵姿勢模板與實時動作進行順序匹配，前一個關鍵姿勢匹配成功后將自動跳轉到下一個關鍵姿勢進行匹配。若5個分動作均順序匹配成功，則認為該動作完成。

圖2是正確動作下左手側提180°的5個關鍵姿勢歐式距離匹配結果。圖中橫線以下的點表示匹配成功的點。易看出該動作與標準動作的5個關鍵姿勢均匹配成功。

圖2 歐式距離匹配結果

匹配流程如圖3所示。當相應的關鍵姿勢與當前的動作有6幀匹配成功時，則系統(tǒng)認為相應的分動作完成，并開始下一個關鍵姿勢的匹配，直到動作完成為止。動作完成后系統(tǒng)給出總的得分。得分結果是由各分動作的完成情況綜合決定的。

2.4 結果反饋

圖3 關鍵姿勢匹配流程

本系統(tǒng)是在Unity3D中開發(fā)實現的，其交互界面如圖4所示，界面右上角為患者播放標準動作的錄制視頻，患者只需模仿視頻中的動作即可。界面右下方是周圍環(huán)境的彩色圖像。界面中間虛擬人物的動作與患者的動作數據進行了綁定，虛擬人物的動作與當前患者的動作一致。動作完成后界面將顯示每個分動作的得分和總的得分。若匹配失敗，界面將在相應的位置顯示“動作錯誤”。每個分動作的匹配結果均會實時地展示在界面上，以達到對患者動作進行指引的目的。

圖4 系統(tǒng)交互界面

3 實驗結果與分析

為驗證系統(tǒng)的可靠性，選取20名健康的志愿者，其中8名女性，12名男性，年齡均在22～28歲之間，在系統(tǒng)提示下完成康復動作，每個動作類型均重復5次。表1列出了系統(tǒng)的關鍵姿勢匹配結果，其中錯誤動作1是只完成了整個動作中的前4個分動作，錯誤動作2是只完成了整個動作中的前3個分動作，錯誤動作3是只完成了整個動作中的前2個分動作，錯誤動作4是只完成了整個動作中的前1個分動作。

表1 關鍵姿勢匹配結果

實驗結果表明，用關鍵姿勢匹配的方法判斷動作是否完成是可行的，該系統(tǒng)能夠準確地反饋動作信息，實時告知患者動作的完成度。當用戶的動作在某一過程中出現錯誤時，相應的關鍵姿勢將匹配失敗，此時系統(tǒng)能夠及時地將錯誤的信息反饋給用戶，提示患者該過程中的動作不到位。該系統(tǒng)在監(jiān)視用戶動作的同時具有動作指引功能，并且能夠記錄患者的康復訓練信息，便于康復醫(yī)生及時調整康復計劃，有利于患者進行科學、高效的康復訓練。

4 結束語

本系統(tǒng)將Unity3D中的虛擬人物與Kinect傳感器獲取的骨骼位置信息進行綁定，從而控制虛擬人物的運動，虛擬現實的渲染為康復訓練增添了樂趣；將整個動作分解為幾個關鍵姿勢再進行匹配的方式，實現了對動作完成度的評估，并讓患者及時糾正動作過程中的錯誤，克服了只進行整體評判時對動作過程中出現的錯誤敏感度不高的問題。此系統(tǒng)對硬件設備要求不高，實時性好，可為家庭式康復系統(tǒng)的開發(fā)提供參考。

[1]LEE J D，HSIEH C H，LIN T Y.A Kinect-based tai chi exercises evaluation system for physical rehabilitation[C]. IEEE International Conference on Consumer Electronics（ICCE），2014：177-178.

[2]BISWAS K K，KUMAR B S.Gesture recognition using Microsoft Kinect[C].Proceedings of the 5th International Conference on Automation，Robotics and Application：IEEE，2011：100-103.

[3]余濤，葉金永，邵菲杰，等.Kinect核心技術之骨架追蹤技術[J].數字技術與研究，2012（10）：115.

[4]戰(zhàn)蔭偉，于芝枝，蔡俊.基于Kinect角度測量的姿勢識別算法[J].傳感器與微系統(tǒng)，2014，33（7）：129-131.

[5]Lv Fengjun，NEVATIA R．Single view human action recognition using key pose matching and viterbi path searching [C].Proc of IEEE Conference on Computer Vision and Pattern Recognition，2007：1-8．

[6]宣國榮.模式識別中歐式距離特征選擇新方法[J].中國電子學術雜志，1984（6）：5-12.

Rehabilitation system based on Kinect sensor

Yang Wenlu，Zhan Chan
（College of Information Engineering，Shanghai Maritime University，Shanghai 201306，China）

Targeted the later requirements of stroke patients，a real time guidance of rehabilitative training system based on Kinect sensor is designed and implemented.This system uses Kinect sensor collecting real-time human motion information.At the same time，it feedback the matching results to the user through comparison with critical posture sequence standard action in the library，and guides the user carry on the correct recovery training.Experiments results show that the system can accurately determine the completion degree of the action，and can be a guidelines for rehabilitation.

Kinect sensor；recovery training；movement instruction；key pose matching

TP391

A

1674-7720（2015）11-0086-03

2015-02-05）

楊文璐（1967-），男，工學博士，副教授，碩士生導師，主要研究方向：生物信號處理。

上海市科學技術委員會科研計劃項目（12441903500）

占嬋（1990-），女，在讀碩士，主要研究方向：智能信號處理。