面向個(gè)性化患者的上肢康復(fù)訓(xùn)練系統(tǒng)

李志成，李晉芳，莫建清，何漢武

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510006）

面向個(gè)性化患者的上肢康復(fù)訓(xùn)練系統(tǒng)

李志成，李晉芳，莫建清，何漢武

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510006）

傳統(tǒng)的上肢康復(fù)治療以被動(dòng)式訓(xùn)練為主，需要在康復(fù)師或輔助器械的幫助下進(jìn)行康復(fù)訓(xùn)練，存在效率低、人力和物力成本高的缺點(diǎn)。因此，提出一種主動(dòng)式上肢康復(fù)訓(xùn)練系統(tǒng)的方案，開發(fā)上肢康復(fù)訓(xùn)練系統(tǒng)。在此基礎(chǔ)上，該系統(tǒng)通過Kinect采集人體的肢體運(yùn)動(dòng)參數(shù)，驅(qū)動(dòng)虛擬場(chǎng)景發(fā)生相應(yīng)的變化。為了滿足不同人群的上肢康復(fù)需求，提出一種以XML存儲(chǔ)康復(fù)訓(xùn)練方案的方法，通過對(duì)XML文件進(jìn)行解析，建立個(gè)性化的虛擬場(chǎng)景，從而實(shí)現(xiàn)訓(xùn)練場(chǎng)景的動(dòng)態(tài)配置。

0 引言

現(xiàn)階段上肢康復(fù)訓(xùn)練的主要方式還是在有經(jīng)驗(yàn)的醫(yī)師和相關(guān)醫(yī)療器械的輔助下進(jìn)行，屬于被動(dòng)式康復(fù)訓(xùn)練[1]。隨著康復(fù)醫(yī)療的不斷發(fā)展，上肢患者對(duì)康復(fù)質(zhì)量的要求也不斷提高。同時(shí)，上肢患者對(duì)康復(fù)訓(xùn)練的需求也不斷增大，在有限醫(yī)療資源的情況下，傳統(tǒng)的康復(fù)訓(xùn)練方式不能滿足患者的康復(fù)需求。另外，在被動(dòng)康復(fù)訓(xùn)練的過程中重復(fù)機(jī)械動(dòng)作，患者會(huì)降低積極性，影響治療效果。因此，康復(fù)訓(xùn)練方式的改進(jìn)很有必要[2]。

主動(dòng)康復(fù)訓(xùn)練是指以患者的意愿為出發(fā)點(diǎn)，讓患者有目的性地參與康復(fù)訓(xùn)練。相比于傳統(tǒng)的被動(dòng)康復(fù)治療，該治療方式更加新穎和靈活。2010年，微軟公司發(fā)布了傳感器Kinect，該設(shè)備可檢測(cè)用戶并獲取人體的骨架信息和場(chǎng)景中物體的深度圖像信息，還具備語音識(shí)別功能[3]。Chang等[4]開發(fā)的基于Kinect的Kinempt系統(tǒng)，通過干預(yù)患者的手部和腕部動(dòng)作，把患者訓(xùn)練動(dòng)作的正確率提高了50%。Belinda等[5]以Kinect傳感器為基礎(chǔ)，開發(fā)了適用于脊柱損傷患者的康復(fù)游戲，并實(shí)現(xiàn)實(shí)時(shí)跟蹤。但是，目前的康復(fù)系統(tǒng)在虛擬場(chǎng)景的設(shè)計(jì)上比較單一，缺乏個(gè)性化治療的方案，不能滿足不同情況上肢患者的康復(fù)需求。鑒于此，本文提出研究上肢康復(fù)訓(xùn)練中場(chǎng)景的動(dòng)態(tài)配置，建立上肢康復(fù)訓(xùn)練系統(tǒng)。該系統(tǒng)以上肢患者的康復(fù)需求為依據(jù)，把個(gè)性化患者的康復(fù)訓(xùn)練方案存儲(chǔ)在XML文件中，通過對(duì)XML文件的解析，動(dòng)態(tài)配置虛擬訓(xùn)練場(chǎng)景?；颊咴跐M足自身康復(fù)需求的場(chǎng)景中進(jìn)行訓(xùn)練，會(huì)大大提高其康復(fù)積極性，不容易感到枯燥無味，有利于提高其康復(fù)主動(dòng)性，康復(fù)效果也會(huì)更加明顯[6]。

1 系統(tǒng)功能需求分析

對(duì)于實(shí)際情況不同的患者，其訓(xùn)練場(chǎng)景的需求不同。患者的具體情況包括了年齡、性別、病情、愛好、職業(yè)等。針對(duì)情況不同的患者，在場(chǎng)景的設(shè)計(jì)中應(yīng)該考慮患者的實(shí)際需要，建立針對(duì)個(gè)性化患者的虛擬場(chǎng)景，實(shí)現(xiàn)場(chǎng)景的動(dòng)態(tài)配置。

患者在訓(xùn)練過程中，需要與虛擬場(chǎng)景進(jìn)行交互操作。因此，系統(tǒng)需要采集患者的肢體運(yùn)動(dòng)參數(shù)，并傳輸?shù)接?jì)算機(jī)，為實(shí)現(xiàn)交互操作提供數(shù)據(jù)。

上肢康復(fù)訓(xùn)練的內(nèi)容主要包括肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié)的訓(xùn)練。在訓(xùn)練過程中，患者需要達(dá)到高效康復(fù)訓(xùn)練的目的，系統(tǒng)必須符合標(biāo)準(zhǔn)。因此，在交互過程中，設(shè)計(jì)的交互動(dòng)作需要滿足有效性、安全性和可靠性。

根據(jù)功能需求分析，將上肢康復(fù)虛擬系統(tǒng)劃分模塊，包括數(shù)據(jù)采集模塊，用于采集患者上肢的關(guān)節(jié)運(yùn)動(dòng)參數(shù)；場(chǎng)景動(dòng)態(tài)配置模塊，該模塊需要實(shí)現(xiàn)根據(jù)不同情況的患者，結(jié)合具體康復(fù)方案生成虛擬訓(xùn)練場(chǎng)景的功能；交互模塊，根據(jù)上肢患者的交互需求，設(shè)計(jì)交互動(dòng)作，實(shí)現(xiàn)患者與虛擬場(chǎng)景之間的交互，為訓(xùn)練中的患者提供真實(shí)感和沉浸感。

2 康復(fù)系統(tǒng)的方案設(shè)計(jì)

通過對(duì)上肢康復(fù)系統(tǒng)進(jìn)行功能需求分析，得出系統(tǒng)總體方案設(shè)計(jì)的整體架構(gòu)如圖1所示。

數(shù)據(jù)采集模塊。人體的肢體運(yùn)動(dòng)參數(shù)采集方式有多種，包括人體表面肌電信號(hào)的采集、傳感器采集、數(shù)據(jù)手套采集等。但是上述數(shù)據(jù)采集方式需要患者肢體穿戴相對(duì)應(yīng)的數(shù)據(jù)測(cè)量?jī)x器，不利于患者訓(xùn)練的主動(dòng)性。微軟公司體感設(shè)備Kinect[7]通過獲取人體的深度圖像數(shù)據(jù)，識(shí)別出人體的骨架關(guān)節(jié)點(diǎn)信息。在數(shù)據(jù)的采集過程中，患者不需要穿戴儀器。因此，系統(tǒng)數(shù)據(jù)采集模塊選擇Kinect設(shè)備完成，該方法有利于患者的主動(dòng)康復(fù)。

場(chǎng)景個(gè)性化配置模塊。該模塊需要根據(jù)患者的康復(fù)方案來建立場(chǎng)景，場(chǎng)景的相關(guān)信息包括場(chǎng)景中的相關(guān)場(chǎng)景元素及其基本屬性，這些信息可以通過XML文件記錄下來，通過解析XML文件，從場(chǎng)景元素庫中讀取和加載模型，完成場(chǎng)景的動(dòng)態(tài)配置。

交互模塊。為了實(shí)現(xiàn)患者與虛擬場(chǎng)景的交互，提高康復(fù)效率，選擇Unity引擎實(shí)現(xiàn)。Unity是專業(yè)的游戲開發(fā)引擎，內(nèi)置精度較高的物理引擎。當(dāng)場(chǎng)景中的物體具有了物理屬性，包括質(zhì)量、重力、摩擦力等，患者與虛擬場(chǎng)景的交互會(huì)更加貼近現(xiàn)實(shí)情況，提高患者的真實(shí)感和沉浸感。

3 系統(tǒng)的功能實(shí)現(xiàn)

患者在康復(fù)訓(xùn)練中，需要通過上肢動(dòng)作驅(qū)動(dòng)虛擬場(chǎng)景。因此，患者需要被采集的上肢關(guān)節(jié)運(yùn)動(dòng)信息包括腕關(guān)節(jié)、肘關(guān)節(jié)和肩關(guān)節(jié)。

本系統(tǒng)采用體感設(shè)備Kinect第二代進(jìn)行患者運(yùn)動(dòng)信息的采集。相比第一代，其具有更高的精度和分辨率，可以捕獲人體25個(gè)關(guān)節(jié)點(diǎn)數(shù)據(jù)[8-9]。

Kinect采集人體骨骼數(shù)據(jù)是基于深度圖像，經(jīng)過去噪處理，實(shí)現(xiàn)對(duì)人體骨骼點(diǎn)的實(shí)時(shí)跟蹤。因此，在康復(fù)訓(xùn)練中，患者的上肢關(guān)節(jié)位置數(shù)據(jù)可以被實(shí)時(shí)檢測(cè)，為患者與場(chǎng)景的交互提供了數(shù)據(jù)的輸入。

（1）配置方法

針對(duì)上肢患者康復(fù)需求的不同，在虛擬場(chǎng)景的設(shè)計(jì)中，以個(gè)性化患者的實(shí)際需求為依據(jù)，把場(chǎng)景中物體的基本信息，包括位置、形狀等，存儲(chǔ)到XML文件中，在Unity中，通過C#語言解析XML格式文件的數(shù)據(jù)信息。在Unity中，通過Assetbunde形式，使用www請(qǐng)求方法，從建立好的場(chǎng)景元素庫中讀取相應(yīng)元素并加載到Unity的場(chǎng)景中，實(shí)現(xiàn)康復(fù)場(chǎng)景的個(gè)性化配置。由此，以患者實(shí)際情況為前提，配置虛擬場(chǎng)景，可以達(dá)到提高訓(xùn)練效率的目的。其流程圖如圖2所示。

圖2 場(chǎng)景動(dòng)態(tài)配置方法

（2）場(chǎng)景資源管理

資源的分類。場(chǎng)景元素庫中包含的基本元素較多，為了管理基本元素，進(jìn)一步實(shí)現(xiàn)重用和重組，配置新的場(chǎng)景，需要對(duì)場(chǎng)景資源進(jìn)行分類。總體上按照下列層次分：系統(tǒng)層、應(yīng)用層和原子層。

場(chǎng)景元素的添加和刪除。為了滿足個(gè)性化患者的需求，需要考慮場(chǎng)景的擴(kuò)展性，系統(tǒng)提供接口添加基本場(chǎng)景元素，以滿足患者對(duì)場(chǎng)景的需求。

（3）個(gè)性化場(chǎng)景示例

設(shè)定一個(gè)上肢患者病例的基本情況為：年齡段為兒童，性別為男性，職業(yè)是學(xué)生，受傷部位為肩部。根據(jù)以上信息，經(jīng)過調(diào)研總結(jié)，把患者的訓(xùn)練場(chǎng)景設(shè)計(jì)為在教室的課堂上?；颊邔?duì)該虛擬場(chǎng)景比較熟悉，場(chǎng)景的設(shè)計(jì)也符合患者的基本情況，易于被患者接受，有利于康復(fù)訓(xùn)練，提高康復(fù)效率。

在虛擬場(chǎng)景中的物體包括教室圍墻、黑板、字典和若干的桌椅，需要把這些物體的名稱和位置記錄在XML文件，其偽代碼如下所示。

根據(jù)上述方法，在Unity中解析以上XML文件中保存的數(shù)據(jù)信息。根據(jù)相應(yīng)元素的路徑，從場(chǎng)景元素庫中加載模型，并根據(jù)設(shè)置好的相關(guān)屬性，包括位置、縮放等屬性，在場(chǎng)景中動(dòng)態(tài)加載，配置虛擬場(chǎng)景，場(chǎng)景示例如圖3所示。

圖3 虛擬場(chǎng)景

針對(duì)上肢患者的康復(fù)需求，患者與場(chǎng)景之間需要實(shí)現(xiàn)交互，包括抓取、移動(dòng)、釋放和擊打動(dòng)作，從而達(dá)到上肢康復(fù)的目的。

Kinect采集的關(guān)節(jié)數(shù)據(jù)與Unity 3D場(chǎng)景實(shí)現(xiàn)通信，需要通過外部插件完成，該插件是卡內(nèi)基梅隆大學(xué)封裝的開發(fā)包。通過開發(fā)包中的腳本，綁定人體關(guān)節(jié)點(diǎn)和虛擬骨骼關(guān)節(jié)點(diǎn)的數(shù)據(jù)信息，實(shí)現(xiàn)患者控制Unity 3D中的虛擬人物。

為了實(shí)現(xiàn)在患者與虛擬場(chǎng)景的交互，需要在虛擬人模型中，為虛擬手添加碰撞體，用于檢測(cè)虛擬手與虛擬場(chǎng)景中物體的碰撞行為，觸發(fā)相應(yīng)的事件，實(shí)現(xiàn)交互。本文對(duì)虛擬手添加包圍盒，如圖4所示。

圖4 手部添加包圍盒

抓取操作。Unity的碰撞器中具有觸發(fā)器的屬性。在場(chǎng)景中，對(duì)需要被抓取的物體添加剛體屬性和碰撞體屬性，對(duì)IsTrigger設(shè)定為true。Kinect可以識(shí)別人手的握拳動(dòng)作，當(dāng)虛擬手的包圍盒與被抓物體的包圍盒發(fā)生碰撞，患者做出握拳動(dòng)作時(shí)，把手掌的空間坐標(biāo)點(diǎn)賦予給被抓物體的位置坐標(biāo)，實(shí)現(xiàn)抓取交互。其流程圖如圖5所示。

圖5 抓取流程圖

移動(dòng)操作。患者在抓取操作時(shí)，通過Update方法，被抓物體位置會(huì)一直更新，并保持與手掌的坐標(biāo)保持一致。

釋放操作。手掌的坐標(biāo)賦予給被抓物體，實(shí)現(xiàn)移動(dòng)操作后，到達(dá)目標(biāo)位置，Kinect識(shí)別患者的手張開，會(huì)釋放被抓物體，并放置到目標(biāo)位置。

擊打操作。在擊打操作的場(chǎng)景中，被擊打的物體需要添加剛體屬性。當(dāng)手部與物體發(fā)生碰撞，物體會(huì)在Unity物理引擎作用下的運(yùn)動(dòng)，會(huì)更加貼近真實(shí)情況，讓訓(xùn)練場(chǎng)景沉浸感更好。

4 系統(tǒng)運(yùn)行實(shí)例

通過對(duì)系統(tǒng)功能進(jìn)行分析，開發(fā)面向個(gè)性化患者的康復(fù)訓(xùn)練系統(tǒng)。其運(yùn)行實(shí)例如圖6所示。在該實(shí)例中，主要訓(xùn)練患者的肩部關(guān)節(jié)。通過Kinect對(duì)關(guān)節(jié)數(shù)據(jù)的采集，在針對(duì)患者情況配置的虛擬場(chǎng)景中，患者通過抓取、移動(dòng)和釋放書籍的交互方式，訓(xùn)練自己的肩部關(guān)節(jié)，當(dāng)書籍釋放到指定位置，場(chǎng)景會(huì)自動(dòng)更新并重新生成書籍模型，患者可以重復(fù)訓(xùn)練。

5 結(jié)語

在本課題研究的康復(fù)系統(tǒng)中，提出一種虛擬場(chǎng)景動(dòng)態(tài)配置方法。該方法可以滿足不同上肢患者的康復(fù)需求，以XML存儲(chǔ)康復(fù)訓(xùn)練方案，靈活配置虛擬場(chǎng)景。通過Kinect采集上肢的關(guān)節(jié)數(shù)據(jù)并傳輸?shù)経nity中，實(shí)現(xiàn)患者與虛擬場(chǎng)景的交互，達(dá)到了上肢患者康復(fù)訓(xùn)練的目的。在系統(tǒng)中，虛擬場(chǎng)景的動(dòng)態(tài)配置可以滿足不同患者的需求，提高其康復(fù)積極性，患者與場(chǎng)景的多種交互方式，有利于提高康復(fù)效率。

圖6 運(yùn)行實(shí)例

[1]李建軍.中國康復(fù)醫(yī)學(xué)發(fā)展的回顧與展望[J]．中國康復(fù)理論與實(shí)踐,2011,17(1):1-4.

[2]Fucang Jia.An IGSTI-Based Surgical Navigation System Connected with Medical Robot[C].Information Computing and Telecommunications(YC-ICT),2010:49-52

[3]V Ganapathi,CPlagemann,D Koller.Real Time Motion Capture Using a Single Time-of-Flight Camera[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2010:755-762

[4]Y JChang,SFChen,A FChuang.A Gesture Recognition System to Transition Autonomously Through Vocational Tasks for Individualswith Cognitive Impairments[C].Research in Developmental Disabilities A Multidisciplinary Journal,2011,32(6):2064-2068

[5]Belinda L,Chien-Yen C,Evan S,et al.Development and Evaluation of Low Cost Game-Based Balance Rehabilitation Tool Using the Microsoft Kinect Sensor[J].Conf Proc IEEEEng Med Biol Soc,2011(4):1831-1834.

[6]肖陽,徐秀林,瞿藝,安美君 基于虛擬現(xiàn)實(shí)技術(shù)的手功能康復(fù)評(píng)估訓(xùn)練系統(tǒng)的設(shè)計(jì)[J].中國康復(fù)理論與實(shí)踐，2016(03).

[7]T.Hachaj,M.R.Ogiela and K.Koptyra.Effectiveness Comparison of Kinect and Kinect 2 for Rexognition of Oyama Karate Techniques[C].Network-Based Information Systems(NBiS),2015 18th International Conference on IEEE,2015:332-337

[8]Giles J.Inside the Race to Hack the Kinect[J].The New Scientist,2010,208(2789)：22-23.

[9]余濤.Kinect應(yīng)用開發(fā)實(shí)戰(zhàn)：用最自然的方式與機(jī)器對(duì)話[M].北京：機(jī)械工業(yè)出版社，2012.

Upper Limb Rehabilitation Training System for Individual Patients

LIZhi-Cheng,LIJin-fang,MO Jian-qing,HE Han-wu
（School ofMechanical Engineer,Guangdong University of Technology，Guangzhou 510006）

The traditional upper limb rehabilitation treatment is given priority to passive training,it needs to get rehabilitation training with the help of the rehabilitation therapistor auxiliary equipment,and ithas the disadvantages of low efficiency and high costofmanpower and materi鄄al resources.Therefore,presents a plan of active upper limb rehabilitation training system,and develops the upper limb rehabilitation training system.On the basis of this plan,the system acquires the parameters of human bodymotion through the Kinect,and drives the virtual scene to have change accordingly.In order to meet the demand of different groups of upper limb rehabilitation,puts forward a method thatusing the XML file to storage the scheme of rehabilitation training,and establishes the personalized virtual scene though pars鄄ing the XML file,so as to realize dynamic configuration of the training scene.

國家自然科學(xué)基金（No.61300106）、廣東省科技計(jì)劃項(xiàng)目(No.2016A040403108、2014B040401012)

李志成（1991-），男，廣東江門人，本科，研究方向?yàn)樘摂M現(xiàn)實(shí)與可視化

李晉芳（1975-），女，山西人、博士研究生、副教授、研究方向?yàn)樘摂M現(xiàn)實(shí)及可視化

莫建清（1979-），男，廣西人，在讀博士、講師，研究方向?yàn)樘摂M現(xiàn)實(shí)及可視化

何漢武（1966-），男，湖北人，博士研究生，教授，研究方向?yàn)樘摂M現(xiàn)實(shí)及可視化

2017-03-07

2017-04-25

1007-1423（2017）13-0046-05

10.3969/j.issn.1007-1423.2017.14.011

上肢康復(fù)；主動(dòng)康復(fù)；虛擬場(chǎng)景；交互

Upper Limb Rehabilitation;Active Rehabilitation;Virtual Scene;Interact