基于Kinect的上肢康復(fù)訓(xùn)練系統(tǒng)開發(fā)與應(yīng)用

瞿 暢 代艾波 郭愛松 于陳陳 朱小龍

1(南通大學(xué)機(jī)械工程學(xué)院，江蘇 南通 226019)2(南通大學(xué)附屬醫(yī)院康復(fù)科，江蘇 南通 226021)

?

基于Kinect的上肢康復(fù)訓(xùn)練系統(tǒng)開發(fā)與應(yīng)用

瞿 暢1*代艾波1郭愛松2于陳陳1朱小龍1

1(南通大學(xué)機(jī)械工程學(xué)院，江蘇 南通 226019)2(南通大學(xué)附屬醫(yī)院康復(fù)科，江蘇 南通 226021)

腦卒中等心腦血管疾病導(dǎo)致的上肢功能障礙嚴(yán)重影響了患者的生活質(zhì)量。為幫助患者在社區(qū)家庭環(huán)境進(jìn)行上肢康復(fù)訓(xùn)練，開發(fā)了基于Kinect的上肢康復(fù)訓(xùn)練系統(tǒng)。系統(tǒng)通過人體關(guān)節(jié)點(diǎn)數(shù)據(jù)與場(chǎng)景中對(duì)象模型的綁定實(shí)現(xiàn)了患者運(yùn)動(dòng)與虛擬模型運(yùn)動(dòng)的同步，利用體感方式實(shí)現(xiàn)與訓(xùn)練場(chǎng)景的動(dòng)態(tài)交互。系統(tǒng)設(shè)計(jì)了分別用于肩、肘關(guān)節(jié)及上肢綜合能力的康復(fù)訓(xùn)練項(xiàng)目，選取8名志愿者分兩組(計(jì)算機(jī)輔助組和專業(yè)治療師組)對(duì)系統(tǒng)進(jìn)行功能測(cè)試，并對(duì)治療前后患者的運(yùn)動(dòng)表現(xiàn)進(jìn)行評(píng)定(Fugl-Meyer上肢運(yùn)動(dòng)功能評(píng)估和Wolf 運(yùn)動(dòng)功能的測(cè)試)。經(jīng)過2周的治療后,兩組患者Fugl-Meyer上肢運(yùn)動(dòng)功能評(píng)分及Wolf 運(yùn)動(dòng)功能測(cè)試評(píng)定結(jié)果均較治療前有明顯進(jìn)步，且計(jì)算機(jī)輔助組患者進(jìn)步幅度大于專業(yè)治療師組。以上實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)對(duì)提高患者肩、肘關(guān)節(jié)活動(dòng)度及上肢綜合能力具有潛在的效果，可用于上肢運(yùn)動(dòng)功能的康復(fù)訓(xùn)練。

康復(fù); Kinect; 上肢功能

引言

隨著我國(guó)老齡化現(xiàn)象的加劇，腦卒中、帕金森癥等疾病的發(fā)病率逐年上升。70%～85%的腦卒中患者伴有偏癱，其伴隨的運(yùn)動(dòng)障礙嚴(yán)重影響患者的生活質(zhì)量。研究表明，大量密集和重復(fù)性的康復(fù)訓(xùn)練可使患者的機(jī)體功能得到最大限度的恢復(fù)，提高患者生活自理、工作和學(xué)習(xí)能力[1]。傳統(tǒng)康復(fù)訓(xùn)練以專業(yè)治療師的手法操作為主,利用簡(jiǎn)單的輔助器械,使患者恢復(fù)一定的運(yùn)動(dòng)和協(xié)調(diào)能力。此方法要求患者在特定地點(diǎn)(醫(yī)院或康復(fù)中心)進(jìn)行，治療過程比較單調(diào)，訓(xùn)練強(qiáng)度和效果不易評(píng)估。為此，世界各國(guó)都在積極研究新理論、新方法、新手段以輔助傳統(tǒng)康復(fù)訓(xùn)練，體感技術(shù)就是近年來(lái)用于虛擬康復(fù)訓(xùn)練系統(tǒng)開發(fā)的一項(xiàng)新興技術(shù)。體感技術(shù)的實(shí)現(xiàn)離不開體感設(shè)備，微軟推出的 Kinect 體感設(shè)備可實(shí)現(xiàn)人體動(dòng)態(tài)姿勢(shì)的捕捉。借助Kinect開發(fā)的上肢康復(fù)訓(xùn)練系統(tǒng)可幫助患者在家庭及社區(qū)環(huán)境自行實(shí)施趣味性的康復(fù)訓(xùn)練，一定程度上緩解我國(guó)醫(yī)患比例不協(xié)調(diào)的狀況，具有較廣闊的應(yīng)用前景。

Kinect在康復(fù)領(lǐng)域的應(yīng)用潛力，吸引國(guó)內(nèi)外學(xué)者投入基于Kinect的肢體運(yùn)動(dòng)康復(fù)訓(xùn)練技術(shù)的研究。Taylor等首先對(duì)Kinect體感游戲在患者運(yùn)動(dòng)功能障礙康復(fù)中的應(yīng)用效果進(jìn)行評(píng)估，初步證實(shí)了Kinect用于肢體運(yùn)動(dòng)康復(fù)的可行性[2-3]。隨后，一些學(xué)者開始研究并設(shè)計(jì)針對(duì)肢體不同部位的康復(fù)訓(xùn)練項(xiàng)目。如Alana等設(shè)計(jì)的康復(fù)系統(tǒng)要求患者進(jìn)行手臂自下而上的側(cè)舉運(yùn)動(dòng)，以實(shí)現(xiàn)肩、肘部的運(yùn)動(dòng)康復(fù)；通過檢測(cè)肩部與肘部在冠平面內(nèi)的夾角，糾正、指導(dǎo)患者的康復(fù)動(dòng)作[4]。Chang等針對(duì)雙臂前伸、側(cè)展等動(dòng)作開發(fā)了康復(fù)訓(xùn)練系統(tǒng)，并通過ABAB序列(A為無(wú)輔助的基本階段、B為采用該系統(tǒng)的干預(yù)階段)的對(duì)比實(shí)驗(yàn)，證實(shí)此系統(tǒng)能調(diào)動(dòng)病患的積極性，提高患者的運(yùn)動(dòng)能力[5]。Erazo等研究開發(fā)了3個(gè)用于患者手臂伸展及手部抓握能力康復(fù)的訓(xùn)練項(xiàng)目[6]，其中simulating drinking訓(xùn)練項(xiàng)目可結(jié)合實(shí)物進(jìn)行訓(xùn)練(手握瓶子做飲水動(dòng)作)，為患者提供更好的體驗(yàn)和康復(fù)效果。楊藝等實(shí)現(xiàn)了擊掌、舉手上伸、下垂合手、右腿劃圈、左腿劃圈動(dòng)作的訓(xùn)練項(xiàng)目設(shè)計(jì)[7]，系統(tǒng)可把結(jié)果定期反饋回醫(yī)院以制訂下一步治療計(jì)劃，不僅減輕了康復(fù)醫(yī)師的工作，也為患者提供了更輕松自在的訓(xùn)練環(huán)境和完善的后期治療。

上述相關(guān)研究表明，基于Kinect的虛擬康復(fù)訓(xùn)練系統(tǒng)可作為肢體功能障礙康復(fù)的輔助訓(xùn)練手段。但已有的訓(xùn)練系統(tǒng)仍存在訓(xùn)練項(xiàng)目的設(shè)計(jì)欠佳和訓(xùn)練場(chǎng)景的搭建缺乏趣味性及適宜的挑戰(zhàn)性等問題。本研究充分考慮上肢功能障礙患者的運(yùn)動(dòng)限制，著重上肢粗大關(guān)節(jié)的專項(xiàng)運(yùn)動(dòng)康復(fù)，通過模擬日常生活動(dòng)作開發(fā)出更具針對(duì)性和適應(yīng)性的康復(fù)訓(xùn)練項(xiàng)目，通過實(shí)驗(yàn)初步驗(yàn)證了其應(yīng)用于上肢功能康復(fù)訓(xùn)練的可行性。

1 原理與方法

1.1 系統(tǒng)工作原理

系統(tǒng)開發(fā)是在Unity 3D引擎的開發(fā)環(huán)境下利用Kinect for Windows SDK開發(fā)工具包實(shí)現(xiàn)的。通過Unity 3D導(dǎo)入包中的封裝函數(shù)獲取數(shù)據(jù)信息、進(jìn)行骨骼數(shù)據(jù)與人物模型的綁定，實(shí)現(xiàn)Kinect對(duì)Unity 3D 環(huán)境中虛擬人體骨骼動(dòng)作的控制。

系統(tǒng)的開發(fā)及工作流程如圖1所示。

圖1 上肢康復(fù)系統(tǒng)工作原理Fig.1 Fundamental diagram of upper-limb rehabilitation system

1)用戶初始化數(shù)據(jù)：完成患者信息(年齡，病因，病程等)的采集，為不同病患注冊(cè)賬號(hào)，便于病患康復(fù)訓(xùn)練數(shù)據(jù)的采集、記錄及分析。

2)數(shù)據(jù)采集及處理：采集、轉(zhuǎn)換Kinect傳感器獲取的人體運(yùn)動(dòng)數(shù)據(jù)，為Unity 3D 虛擬環(huán)境提供人體運(yùn)動(dòng)信息(關(guān)節(jié)點(diǎn)位置信息)。

3)后臺(tái)實(shí)時(shí)數(shù)據(jù)處理：處理通過Kinect傳感器獲取的人體運(yùn)動(dòng)信息(關(guān)節(jié)點(diǎn)位置)以及人機(jī)交互時(shí)場(chǎng)景對(duì)象產(chǎn)生的數(shù)據(jù)(碰撞、距離等)，實(shí)現(xiàn)數(shù)據(jù)的處理、存儲(chǔ)、輸出及分析。

4)患者虛擬形象動(dòng)態(tài)化：利用Kinect采集的人體運(yùn)動(dòng)信息將Unity 3D 中人物模型的骨骼節(jié)點(diǎn)與患者骨骼信息綁定，實(shí)現(xiàn)三維人物模型與患者動(dòng)作的動(dòng)態(tài)同步。

5)交互動(dòng)作及操作指令識(shí)別：捕捉并識(shí)別用戶肢體動(dòng)作，與預(yù)設(shè)的特定指令姿勢(shì)比對(duì)。主要用于系統(tǒng)操作及訓(xùn)練過程中的人機(jī)交互。

6)信息反饋及評(píng)估：實(shí)時(shí)提供視聽覺的激勵(lì)反饋信息，并以得分形式評(píng)估患者康復(fù)動(dòng)作。同時(shí)醫(yī)患可實(shí)時(shí)查詢歷史得分信息及相應(yīng)分析結(jié)果。

1.2 方法

1.2.1 數(shù)據(jù)提取與處理

為實(shí)現(xiàn)在Unity 3D環(huán)境下調(diào)用Kinect捕獲的人體位置及運(yùn)動(dòng)信息，在 Unity 3D 和 Kinect 之間需通過外部插件處理二者之間的數(shù)據(jù)傳輸。外部插件負(fù)責(zé)處理 Uniyt3D 中數(shù)據(jù)的初始化，控制 Kinect 數(shù)據(jù)的接收，并對(duì)其進(jìn)行處理。本研究采用CMU封裝的用于Kinect開發(fā)的Unity3D導(dǎo)入包Kinect Wrapper Package進(jìn)行系統(tǒng)開發(fā)，導(dǎo)入包中包含了進(jìn)行Kinect+Unity3D開發(fā)的所有腳本。利用導(dǎo)入包中的Kinect Model ControllerV2及Kinect Point Controller腳本，將虛擬場(chǎng)景中人物模型的各關(guān)節(jié)信息與Kinect 捕獲的人體骨骼關(guān)節(jié)點(diǎn)信息相對(duì)應(yīng)，并分別利用Nui Skeleton PositionIndex、Nui Skeleton Position Tracking State 等獲取人體骨骼對(duì)應(yīng)的關(guān)節(jié)點(diǎn)及骨骼關(guān)節(jié)點(diǎn)追蹤的狀態(tài)信息等數(shù)據(jù)。

1.2.2 交互及操作指令的識(shí)別

患者在康復(fù)訓(xùn)練時(shí)主要通過手勢(shì)和肢體動(dòng)作進(jìn)行人機(jī)交互，系統(tǒng)可準(zhǔn)確識(shí)別用于系統(tǒng)操作的指令動(dòng)作以及交互訓(xùn)練動(dòng)作，指令設(shè)計(jì)原理和動(dòng)作識(shí)別過程包括：

1)系統(tǒng)操作指令動(dòng)作的識(shí)別。主要通過設(shè)定、判別骨骼關(guān)節(jié)點(diǎn)間的位置關(guān)系實(shí)現(xiàn)。以系統(tǒng)中用于執(zhí)行返回操作的指令為例，該動(dòng)作設(shè)定為左臂水平伸直，利用SkeletonWrapper腳本所抓取的骨骼數(shù)據(jù)進(jìn)行動(dòng)作識(shí)別，代碼表示為：(leftHand.y-0.1)>leftShoulder.y)&&((leftShoulder.x-0.4)>leftHand.x)。

2)交互指令動(dòng)作的識(shí)別。主要通過虛擬環(huán)境中物理對(duì)象間的相互作用實(shí)現(xiàn)(如物理對(duì)象間的距離及碰撞檢測(cè)等)。使用 Unity 3D 物理引擎中的觸發(fā)器來(lái)實(shí)現(xiàn)場(chǎng)景中碰撞事件的檢測(cè)，對(duì)場(chǎng)景中所有可移動(dòng)物體均添加一個(gè)觸發(fā)器和剛體，并在觸發(fā)器中添加碰撞組件。以抓取、移動(dòng)、放置操作為例，對(duì)上述操作的觸發(fā)條件(見圖2)和響應(yīng)動(dòng)作設(shè)計(jì)如下：

(1)抓取操作。利用 Unity3D中碰撞器和碰撞持續(xù)時(shí)間這兩個(gè)特性，當(dāng)手掌包圍盒與場(chǎng)景中可移動(dòng)物體的觸發(fā)器包圍盒發(fā)生碰撞，且物體中心點(diǎn)與手掌關(guān)節(jié)點(diǎn)的距離在一段時(shí)間(設(shè)為2 s)內(nèi)始終小于閾值，將可移動(dòng)物體中心點(diǎn)與該手掌關(guān)節(jié)點(diǎn)綁定連接，完成物體綁定之后在每一幀的動(dòng)畫更新方法 Update()調(diào)用中，對(duì)物體的位置進(jìn)行更新，即可完成抓取動(dòng)作。

(2)釋放操作。將可移動(dòng)物體中心點(diǎn)與該手掌關(guān)節(jié)點(diǎn)綁定連接后，若可移動(dòng)物體中心點(diǎn)與目標(biāo)位置點(diǎn)的距離在一段時(shí)間內(nèi)始終小于閾值，則放置物體到目標(biāo)位置，并重新檢測(cè)其他可移動(dòng)物體的抓取行為。

(3)移動(dòng)操作。取得可移動(dòng)物體中心點(diǎn)與該手掌關(guān)節(jié)點(diǎn)綁定后，對(duì)物體的位置進(jìn)行更新，若不滿足釋放條件,則物體與手掌關(guān)節(jié)點(diǎn)同步運(yùn)動(dòng)。

圖2 交互指令動(dòng)作設(shè)計(jì)原理Fig.2 Principle of interactive action design

實(shí)際操作中為防止抓取多個(gè)物體，系統(tǒng)在手掌關(guān)節(jié)點(diǎn)更新過程添加了互斥鎖以確保每次只能移動(dòng)或抓取一個(gè)物體。當(dāng)任何一只手中已經(jīng)抓取一個(gè)物體，并且未釋放前，通過判斷互斥量的值決定是否再次觸發(fā)抓取動(dòng)作。抓取事件觸發(fā)的同時(shí)，系統(tǒng)立即開始對(duì)已抓取物體進(jìn)行放置行為檢測(cè)。將物體放置在目標(biāo)位置處，同時(shí)停止物體每一幀中位置的更新。

1.2.3 患者虛擬形象的動(dòng)態(tài)化

患者通過實(shí)時(shí)驅(qū)動(dòng)角色模型與虛擬環(huán)境進(jìn)行的動(dòng)作交互實(shí)現(xiàn)康復(fù)訓(xùn)練。為實(shí)現(xiàn)角色模型的實(shí)時(shí)驅(qū)動(dòng)和動(dòng)作交互，首先在Unity3D中建立運(yùn)動(dòng)節(jié)點(diǎn)與虛擬模型節(jié)點(diǎn)的映射關(guān)系，通過運(yùn)動(dòng)綁定，使患者能以自身動(dòng)作實(shí)時(shí)驅(qū)動(dòng)角色模型。通過對(duì)每一幀的虛擬角色模型進(jìn)行更新處理實(shí)現(xiàn)虛擬模型的動(dòng)態(tài)化。角色模型以Torso 為中心根節(jié)點(diǎn)(見圖3)，其他節(jié)點(diǎn)都通過鏈?zhǔn)浇Y(jié)構(gòu)依附于根節(jié)點(diǎn)，因此模型中其他節(jié)點(diǎn)的運(yùn)動(dòng)均是相對(duì)根節(jié)點(diǎn)的運(yùn)動(dòng)，對(duì)根節(jié)點(diǎn)的操作將帶動(dòng)整個(gè)角色在場(chǎng)景中的運(yùn)動(dòng)。實(shí)現(xiàn)方法是利用KinectWrapperPackage導(dǎo)入包將模型中的骨骼拖拽到KinectModelControllerV2腳本對(duì)應(yīng)的變量中。

圖3 人體骨架及樹狀模型結(jié)構(gòu)Fig.3 Human skeleton and tree-shaped model

1.2.4 訓(xùn)練項(xiàng)目設(shè)計(jì)

筆者設(shè)計(jì)了3項(xiàng)針對(duì)性的康復(fù)訓(xùn)練項(xiàng)目，分別用于肩、肘關(guān)節(jié)及上肢綜合能力的訓(xùn)練。

1)肩關(guān)節(jié)訓(xùn)練(shoulder joint training)。項(xiàng)目名為數(shù)字匹配(number match)，主要以數(shù)字匹配的模式引導(dǎo)患者進(jìn)行肩關(guān)節(jié)屈曲、伸展、外展和內(nèi)收的訓(xùn)練，幫助患者提高肩關(guān)節(jié)活動(dòng)能力。如圖4所示，系統(tǒng)隨機(jī)生成6個(gè)1～9的數(shù)字并顯示于場(chǎng)景中的Cube對(duì)象上，患者控制人體模型用雙手觸碰Cube對(duì)象，當(dāng)左右手所觸碰的Cube對(duì)象上的數(shù)字之和為10且保持2 s以上，則完成數(shù)字匹配。患者訓(xùn)練得分增加，系統(tǒng)重新生成隨機(jī)數(shù)字顯示于Cube對(duì)象上，患者可進(jìn)行下一步的康復(fù)訓(xùn)練。

圖4 肩關(guān)節(jié)訓(xùn)練界面Fig.4 Interface of shoulder joint training

2)肘關(guān)節(jié)訓(xùn)練(elbow joint training)。項(xiàng)目名為抓面包(bread catcher)，主要通過抓取面包的動(dòng)作引導(dǎo)患者完成肘關(guān)節(jié)屈曲及伸展的訓(xùn)練，不僅可以提高肘關(guān)節(jié)活動(dòng)度，還可以幫助患者提高手的穩(wěn)定性及手眼協(xié)調(diào)能力。如圖5所示，系統(tǒng)生成的面包模型置于盤中?；颊呖刂迫宋锬Ｐ妥ト∶姘Ｐ?，當(dāng)患者手關(guān)節(jié)坐標(biāo)與面包模型之間距離小于0.1 m時(shí)實(shí)現(xiàn)抓取動(dòng)作，面包吸附于掌心?；颊咦龀鲲嬍硠?dòng)作將面包送入口中，當(dāng)手關(guān)節(jié)坐標(biāo)與嘴的距離小于0.1 m時(shí)完成進(jìn)食動(dòng)作。系統(tǒng)以得分形式反饋并在盤中重新生成面包模型，開始下一輪訓(xùn)練。

圖5 肘關(guān)節(jié)訓(xùn)練界面Fig.5 Interface of elbow joint training

3)綜合訓(xùn)練(comprehensive training)。項(xiàng)目名為拼圖大師(puzzle master)，主要通過完成拼圖任務(wù)引導(dǎo)患者進(jìn)行上肢綜合訓(xùn)練，有助于提高患者肩、肘關(guān)節(jié)活動(dòng)度及上肢協(xié)調(diào)性。如圖6所示，訓(xùn)練項(xiàng)目啟動(dòng)后，在界面的右下角顯示一張待拼圖片，患者通過手部移動(dòng)控制虛擬環(huán)境的手形模型抓取圖片，當(dāng)手模型觸碰到圖片并停留3 s以上則實(shí)現(xiàn)圖片抓取。當(dāng)圖片移動(dòng)至拼圖區(qū)正確位置時(shí)則吸附在相應(yīng)位置，得分增加并在右下角彈出下一張待拼圖片。

圖6 綜合訓(xùn)練界面Fig.6 Interface of comprehensive training

各訓(xùn)練項(xiàng)目結(jié)束后，系統(tǒng)將自動(dòng)反饋患者訓(xùn)練成績(jī)(得分及用時(shí))。

1.2.5 實(shí)驗(yàn)對(duì)象及使用方法

選取2013年8月—2014年4月在南通大學(xué)附屬醫(yī)院康復(fù)科就診的8例腦卒中患者作為實(shí)驗(yàn)對(duì)象。對(duì)象選取標(biāo)準(zhǔn)為：Brunnstrom分期>Ⅲ期，病情穩(wěn)定，無(wú)認(rèn)知障礙。符合標(biāo)準(zhǔn)的8例患者隨機(jī)被分到計(jì)算機(jī)輔助組( 4 例,康復(fù)訓(xùn)練系統(tǒng)) 或?qū)I(yè)治療師組( 4 例, 常規(guī)治療)，并進(jìn)行為期2 周的康復(fù)治療。專業(yè)治療師組進(jìn)行常規(guī)的物理治療(PT)、作業(yè)治療(OT)等常規(guī)康復(fù)訓(xùn)練。計(jì)算機(jī)輔助組在專業(yè)治療師組的基礎(chǔ)上加用自主開發(fā)的上肢康復(fù)訓(xùn)練系統(tǒng)干預(yù)。受試者均簽署了知情同意書。

康復(fù)系統(tǒng)的硬件部分包括Kinect傳感器、計(jì)算機(jī)、顯示器(或投影儀)，見圖7。Kinect傳感器放置于顯示器前，受試者以站姿或坐姿面對(duì)Kinect，并距離Kinect 1.5～2 m處開始訓(xùn)練。初次使用需注冊(cè)賬號(hào)并輸入患者基本信息及病況，登錄后可根據(jù)屏幕顯示的提示進(jìn)行諸如訓(xùn)練項(xiàng)目選擇、返回、記錄成績(jī)等操作，完成康復(fù)訓(xùn)練任務(wù)。

圖7 實(shí)驗(yàn)場(chǎng)景Fig.7 The scene of experiment

2 結(jié)果

根據(jù)此康復(fù)系統(tǒng)主要適應(yīng)于輕到中度腦卒中患者上肢大關(guān)節(jié)功能康復(fù)的特點(diǎn)，實(shí)驗(yàn)采用Fugl-Meyer上肢運(yùn)動(dòng)功能評(píng)估(FMA)和Wolf 運(yùn)動(dòng)功能測(cè)試(WMFT)對(duì)患者進(jìn)行治療前后的兩次評(píng)估[8-9]，根據(jù)兩次評(píng)估的結(jié)果對(duì)比判斷患者上肢功能恢復(fù)程度，驗(yàn)證康復(fù)系統(tǒng)的有效性。

實(shí)驗(yàn)結(jié)果顯示，在為期2周的治療后,兩組患者Fugl-Meyer上肢運(yùn)動(dòng)功能評(píng)估得分及Wolf 運(yùn)動(dòng)功能測(cè)試評(píng)定結(jié)果較之前均有進(jìn)步，具體情況如下:

1)Fugl-Meyer上肢運(yùn)動(dòng)功能評(píng)估。從圖8、9可以看出，計(jì)算機(jī)輔助組及專業(yè)治療師組上肢運(yùn)動(dòng)功能評(píng)估得分均有明顯增加。

2)Wolf 運(yùn)動(dòng)功能測(cè)試評(píng)定 從圖10、11可以看出計(jì)算機(jī)輔助組和專業(yè)治療師組患者治療后較治療前所用時(shí)間明顯減少。從圖12、13可以看出計(jì)算機(jī)輔助組和專業(yè)治療師組患者治療后較治療前得分均有提升。

圖8 計(jì)算機(jī)輔助組Fugl-Meyer得分Fig.8 Fugl-Meyer score of computer-assisted group

圖9 專業(yè)治療師組Fugl-Meyer得分Fig.9 Fugl-Meyer score of professional therapist group

圖10 計(jì)算機(jī)輔助組Wolf計(jì)時(shí)Fig.10 Time of Wolf motor function test of computer-assisted group

圖11 專業(yè)治療師組Wolf計(jì)時(shí)Fig.11 Time of Wolf motor function test of professional therapist group

圖12 計(jì)算機(jī)輔助組Wolf得分Fig.12 Score of Wolf motor function test of computer-assisted group

圖13 專業(yè)治療師組Wolf得分Fig.13 Score of Wolf motor function test of professional therapist group

此外，記錄并分析了計(jì)算機(jī)輔助組患者訓(xùn)練周期的各項(xiàng)運(yùn)動(dòng)表現(xiàn)數(shù)據(jù)。以肘關(guān)節(jié)訓(xùn)練得分及上肢綜合訓(xùn)練用時(shí)的統(tǒng)計(jì)數(shù)據(jù)為例，其分析結(jié)果分別如圖14、15所示。分析結(jié)果顯示，患者在康復(fù)訓(xùn)練項(xiàng)目中的運(yùn)動(dòng)表現(xiàn)呈上升趨勢(shì)，可一定程度上反映患者運(yùn)動(dòng)能力的提升。

圖14 計(jì)算機(jī)輔助組肘關(guān)節(jié)訓(xùn)練得分Fig.14 Score of elbow joint trainning of computer-assisted group

圖15 計(jì)算機(jī)輔助組綜合訓(xùn)練用時(shí)Fig.15 Score of comprehensive training of computer-assisted group

3 討論

本研究通過臨床實(shí)驗(yàn)測(cè)試了系統(tǒng)性能，盡管實(shí)驗(yàn)對(duì)象樣本量不足以做統(tǒng)計(jì)學(xué)分析,但就上述實(shí)驗(yàn)結(jié)果來(lái)看，常規(guī)康復(fù)訓(xùn)練聯(lián)合本康復(fù)訓(xùn)練系統(tǒng)的干預(yù)較常規(guī)康復(fù)訓(xùn)練更有利于改善患者的運(yùn)動(dòng)功能，提高康復(fù)訓(xùn)練效果，并且能調(diào)動(dòng)患者康復(fù)訓(xùn)練的積極性，使患者在愉悅的心態(tài)中完成康復(fù)訓(xùn)練。對(duì)患者的問卷調(diào)查結(jié)果也表明，患者更傾向于虛擬訓(xùn)練環(huán)境下的康復(fù)體驗(yàn)。

康復(fù)的最終目的是將康復(fù)效果移植到日常生活中，幫助患者恢復(fù)日?；顒?dòng)能力。通過臨床試驗(yàn)可以發(fā)現(xiàn)，康復(fù)訓(xùn)練項(xiàng)目的設(shè)計(jì)和虛擬環(huán)境的沉浸感直接影響患者康復(fù)效果。本研究設(shè)計(jì)的3項(xiàng)針對(duì)肩、肘關(guān)節(jié)及上肢綜合能力的康復(fù)訓(xùn)練項(xiàng)目貼近生活、具有針對(duì)性及適應(yīng)性，逼真的三維虛擬場(chǎng)景可以帶給患者身臨其境的沉浸感。例如模擬飲食動(dòng)作可訓(xùn)練患者上臂的舉物等動(dòng)作以及上肢的平穩(wěn)、準(zhǔn)確動(dòng)作，有利于肩、肘關(guān)節(jié)的運(yùn)動(dòng)康復(fù)。今后，可考慮設(shè)計(jì)更多的趣味性、針對(duì)性的康復(fù)訓(xùn)練項(xiàng)目，完善系統(tǒng)功能。

隨著我國(guó)老齡化現(xiàn)象的加劇，醫(yī)患比例不協(xié)調(diào)的狀況愈發(fā)嚴(yán)重，虛擬現(xiàn)實(shí)技術(shù)與康復(fù)治療的結(jié)合可有效減輕理療師的工作壓力，提高康復(fù)效果。本研究開發(fā)的康復(fù)訓(xùn)練系統(tǒng)可將康復(fù)訓(xùn)練“移植”到家庭及社區(qū)環(huán)境中，避免了患者于家庭和醫(yī)院往返的困擾，并且康復(fù)系統(tǒng)為患者提供極富真實(shí)性的虛擬訓(xùn)練場(chǎng)景，患者能在可重現(xiàn)的場(chǎng)景和任務(wù)下反復(fù)強(qiáng)化特定動(dòng)作，在帶給患者身臨其境感受的同時(shí)也極大提高了患者參與康復(fù)的積極性和主動(dòng)性,對(duì)患者肢體運(yùn)動(dòng)功能的改善意義顯著。

由于硬件設(shè)備的限制，目前基于Kinect的康復(fù)訓(xùn)練系統(tǒng)只能引導(dǎo)患者完成主動(dòng)康復(fù)訓(xùn)練，Brunnstrom分期<Ⅲ期的患者往往不能完成主動(dòng)康復(fù)訓(xùn)練。這一系統(tǒng)局限性也為后續(xù)研究指明了方向，即傳統(tǒng)模式與虛擬現(xiàn)實(shí)技術(shù)的融合。

4 結(jié)論

本研究結(jié)合Kinect技術(shù)及相關(guān)康復(fù)理論，開發(fā)了上肢虛擬康復(fù)訓(xùn)練系統(tǒng)。通過采集患者的運(yùn)動(dòng)數(shù)據(jù)識(shí)別交互動(dòng)作及系統(tǒng)操作指令，患者通過自身動(dòng)作控制虛擬模型與場(chǎng)景交互，實(shí)現(xiàn)體感人機(jī)交互，交互方式更自然。以游戲形式設(shè)計(jì)了針對(duì)肩、肘關(guān)節(jié)及上肢綜合能力康復(fù)的訓(xùn)練項(xiàng)目，訓(xùn)練過程更具趣味性。經(jīng)驗(yàn)證，該系統(tǒng)對(duì)上肢功能障礙患者的上肢康復(fù)有潛在的治療效果，適合患者家庭環(huán)境的自我康復(fù)訓(xùn)練。盡管虛擬康復(fù)系統(tǒng)不能完全取代傳統(tǒng)的康復(fù)手段，但在腦卒中患者上肢功能的恢復(fù)過程中, 如果聯(lián)合傳統(tǒng)治療方式與虛擬現(xiàn)實(shí)游戲的訓(xùn)練,可更好地促進(jìn)腦卒中后患者上肢功能的恢復(fù), 從而提高其生活自理能力和生活質(zhì)量, 具有重要的社會(huì)現(xiàn)實(shí)意義。

[1] Rizzo A, Kim G. A SWOT analysis of the field of VR rehabilitation and therapy [J]. Tele-operators and Virtual Environments, 2005,14(2): 119-146.

[2] Taylor MJ, McCormick D, Shawis T,etal. Activity-promoting gaming systems in exercise and rehabilitation[J]. Journal of Rehabilitation Research & Development, 2011,48(10):1171-1186.

[3] 王靜,馬景全,陳長(zhǎng)香.體感游戲Kinect改善腦卒中患者執(zhí)行功能的效果研究[J].中國(guó)康復(fù)醫(yī)學(xué)雜志,2014(8):748-751.

[4] Alana Da Gama, Thiago Chaves, Lucas Figueiredo,etal. Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems[C]//The 14th Symposium on Virtual and Augmented Reality. Rio Janiero: IEEE, 2012:191-200.

[5] Chang YJ, Han WY, Tsai YC. A Kinect-based upper limb rehabilitation system to assist people with cerebral palsy[J]. Research in Developmental Disabilities, 2013, 34(11): 3654-3659.

[6] Erazo O, Pino JA, Pino R,etal. Magic Mirror for Neurorehabilitation of People with Upper Limb Dysfunction Using Kinect [C]//47th Hawaii International Conference on System Sciences (HICSS). Waikoloa: IEEE, 2014:2607-2615.

[7] 楊藝,許源,張俊杰,等.基于Kinect與虛擬現(xiàn)實(shí)的社區(qū)家庭康復(fù)系統(tǒng)的研制[J].微型電腦應(yīng)用,2014(3): 32-34.

[8] 桑德春,紀(jì)樹榮,張纓,等.Fugl-Meyer 量表在社區(qū)腦卒中康復(fù)療效評(píng)定中的應(yīng)用[J].中國(guó)康復(fù)醫(yī)學(xué)雜志,2007,22(3):264-265.

[9] 畢勝, Chan CH. Wolf 運(yùn)動(dòng)功能測(cè)試量表的標(biāo)準(zhǔn)效度和評(píng)定者內(nèi)部信度研究[J].中國(guó)康復(fù)醫(yī)學(xué)雜志,2006,21(12):1084-1086.

Development and Application of a Kinect-Based Upper-Limb Rehabilitation System

Qu Chang1Dai Aibo1Guo Aisong2Yu Chenchen1Zhu Xiaolong1

1(SchoolofMechanicalEngineering,NantongUniversity,Nantong226019,Jiangsu,China)2(DepartmentofRehabilitation,AffiliatedHospitalofNantongUniversity，Nantong226021，Jiangsu,China)

rehabilitation; kinect; upper limb function

10.3969/j.issn.0258-8021. 2015. 05.012

2015-00-00， 錄用日期:2015-04-20

南通市應(yīng)用研究計(jì)劃項(xiàng)目(BK2013018)；南通大學(xué)研究生科技創(chuàng)新計(jì)劃(YKC14007)

R496/TP399

A

0258-8021(2015) 05-0607-06

*通信作者 (Corresponding author)，E-mail: xu.ch@ntu.edu.cn