基于鏡像療法的上肢手功能康復游戲系統(tǒng)設計

梁爽 鄒任玲

摘 要：為改善傳統(tǒng)鏡像療法訓練形式單一、效率低下、受康復訓練師數(shù)量限制等缺點，將傳統(tǒng)鏡像療法與虛擬現(xiàn)實技術結合，利用虛擬現(xiàn)實的高沉浸感和目的導向，提高鏡像療法效果?；阽R像療法的上肢手功能康復游戲系統(tǒng)使用5DT數(shù)據(jù)手套和MPU6050作為數(shù)據(jù)采集裝備，獲取健側手指彎曲度和患側腕部彎曲度，作為游戲輸入控制，在游戲中控制雙手的彎曲和移動。利用5DT數(shù)據(jù)手套和MPU6050實現(xiàn)手部抓握和移動同步，實現(xiàn)鏡像治療效果。將虛擬現(xiàn)實技術應用于鏡像治療，突破了鏡像治療的限制，使患者體位更加舒適，加強了任務導向性，提高了治療效果。

關鍵詞：鏡像療法；虛擬現(xiàn)實；手功能康復

DOI：10.11907/rjdk.172933

中圖分類號：TP319

文獻標識碼：A 文章編號：1672-7800（2018）006-0116-04

Abstract：In order to improve singleness，dullness low efficiency and restriction of the traditional mirror therapy training， this paper designs a rehabilitation system of upper limb hand function based on mirroring therapy. It combines mirroring therapy with virtual reality game， and uses the virtual reality of immersion and purpose orientation to increase the effect of mirror therapy. The rehabilitation system of upper limb hand function based on mirroring therapy using 5DT data gloves and MPU6050 as the data acquisition equipment to get access to the curvature of the contralateral finger and the curvature of the affected wrist as the game input data to control the bending and moving hands in the game. The result shows that the rehabilitation system of upper limb hand function based on mirroring therapy can apply virtual reality technology to the mirror treatment， employs the 5DT data glove and MPU6050 to achieve hand grasping and mobile synchronization to fulfill mirror therapy. The Conclusion is that the virtual reality technology can be applied to mirror therapy， which can break the restriction of mirror treatment， offer more comfortable position for patient， strengthen task orientation and enhance therapeutic effect.

Key Words：mirror therapy； virtual reality； hand function recovery

0 引言

鏡像療法（Mirror Visual Feedback，MVF）由Ramachandran等[1] 于1995年首次提出并應用于上肢康復領域。鏡像療法通過于視覺反饋誘發(fā)患側活動，使未受損傷的半腦和損傷的半腦進行交互，從而誘導運動皮層神經(jīng)網(wǎng)絡重組，促進大腦皮層神經(jīng)的可塑性[2-3]，達到消除異常感覺或恢復運動功能目的，該方法療效顯著，目前已廣泛應用于臨床[4-5]。

傳統(tǒng)的鏡像療法依靠鏡子反射，將鏡子放置在患肢和健肢中間，患肢放在鏡子后面，健肢放在鏡子前面[6]?；颊甙凑蔗t(yī)生指示盡可能使患肢與健肢做相同動作，當患者同時移動雙側肢體時，會將鏡子中健肢的移動當成患肢的移動。該方法受到裝置限制，患者訓練范圍受到約束，而且患者必須在醫(yī)師的指導下才可進行；鏡像康復訓練動作由康復師主觀決定，形式單一，難以調(diào)動患者積極性，導致康復效率低下[7-9]。

本文將虛擬游戲交互系統(tǒng)引入鏡像療法中。虛擬現(xiàn)實技術有很高的沉浸感，可實現(xiàn)觸覺、視覺、聽覺等多種感官刺激，使患者很好地與虛擬場景中的對象進行信息交互，解決了傳統(tǒng)康復醫(yī)療的弊端，提高了整體康復訓練效果。

1 系統(tǒng)設計

1.1 下位機系統(tǒng)硬件設計與數(shù)據(jù)處理

基于鏡像療法的上肢手功能康復游戲系統(tǒng)采用上下位機結構。下位機數(shù)據(jù)采集系統(tǒng)由5DT Data Glove Ultra Series （5DT數(shù)據(jù)手套）、MPU6050傳感模塊組成。5DT數(shù)據(jù)手套通過USB口將手指關節(jié)運動數(shù)據(jù)傳輸至計算機，MPU6050傳感模塊（傳感器、單片機）通過串口將腕關節(jié)運動數(shù)據(jù)傳輸至計算機。

1.2 5DT數(shù)據(jù)手套

5DT數(shù)據(jù)手套采用光纖傳感器， 該傳感器通過對光的偏振、相位、強度、波長、頻率等進行調(diào)制，利用檢測器獲得調(diào)制結果。通過計算傳感器的彎曲曲率，模擬手指的屈曲程度，獲得被測手指的功能狀態(tài)，見式（1）。

其中，K表示曲率，ΔS表示弧長，Δ表示弧兩端的夾角。數(shù)據(jù)手套驅(qū)動可將傳感器的彎曲角度線性轉(zhuǎn)換為0～4 095之間的整數(shù)（伸直為最小值，彎曲180度為最大值）。手指運動具有一定范圍，而手指的極限位置會形成傳感器的最小彎曲和最大彎曲，從而得到傳感器的最小數(shù)值rLow和最大數(shù)值rUp。SDK中的標定方法可通過式（2）將當前的原始數(shù)值rVal線性映射為[0，1]區(qū)間內(nèi)的數(shù)值scaled，從而實現(xiàn)歸一化[10]。

1.3 腕關節(jié)數(shù)據(jù)傳輸設備

腕關節(jié)數(shù)據(jù)傳輸設備由采集信號的傳感裝置MPU6050、電源控制器MSP430f149和信號傳輸無線藍牙模塊組成?；?IC通信協(xié)議讀取MPU6959的X、Y、Z三軸的加速度信號和角速度信號，將采集到的數(shù)據(jù)經(jīng)串口發(fā)送至上位機。

MPU6050通過測量每個軸轉(zhuǎn)動的角速度判別物體運動狀態(tài)。系統(tǒng)要求獲得傾斜角度的位置信息，為了實現(xiàn)加速計算傾斜角度的分析方法，建立三軸陀螺儀姿態(tài)識別模型[11]。假設t-0時刻繞Y軸旋轉(zhuǎn)角度為A-xz0，經(jīng)過時間Δt后旋轉(zhuǎn)角度為A-xz1，則物體繞Y軸旋轉(zhuǎn)的角度變化率計算公式為：

將陀螺儀Y軸輸出的角度變化線性相關值帶入式（5），可得出物體繞Y軸旋轉(zhuǎn)時的角度變化率：

其中，Rate-Axz表示物體繞Y軸旋轉(zhuǎn)的角度變化率，AdcGyro-xz表示陀螺儀輸出的角度變化率線性相關值，V-ref表示ADC參考電壓，n表示ADC位數(shù)，V-ZeroRate表示陀螺變化率為零時的輸出電壓值，Sensitivity表示陀螺儀靈敏度（單位：mV/（deg/s ））。同理可得物體繞X軸、Z軸旋轉(zhuǎn)的角度變化率。

在獲取每個軸的角度變化率之后，對角度變化率積分，即可求出t時間內(nèi)每個軸旋轉(zhuǎn)的角度。加速度計和陀螺儀直接輸出的數(shù)據(jù)誤差較大，并不能直接用于受試者關節(jié)活動度的評定，還需要進行濾波和融合處理。

為了減少均方誤差，本設計使用卡爾曼濾波器方法對數(shù)據(jù)進行處理。濾波器估計某一時刻的狀態(tài)，然后以（含噪聲）測量變量的方式獲得反饋。

時間更新方程和測量更新方程計算完成后，將上一次計算得到的后驗估計作為下一次計算的先驗估計，整個過程再次重復。時間更新方程可視作預測方程，狀態(tài)更新方程可視作校正方程，最后的估計算法成為一種具有數(shù)值解的預估——校正算法。

2 上位機虛擬現(xiàn)實游戲系統(tǒng)

2.1 虛擬手模型

為使所有資源可以在Unity3D中使用，需先在Assets中創(chuàng)建文件夾，將手部模型、貼圖、腳本等全部文件放在該文件夾中。

解剖學研究表明[12-13]，手部骨骼主要由手掌關節(jié)和手指關節(jié)組成，關節(jié)間可以相對轉(zhuǎn)動，關節(jié)運動狀態(tài)決定手的姿態(tài)。為保證虛擬手能夠模擬真實手的各種姿態(tài)，本文根據(jù)手的解剖結構和運動特征，采用實體建模方法建立了虛擬手實體模型，該模型由手掌、5根手指和手臂組成。每個手指由3個關節(jié)組成，分別為根關節(jié)、中關節(jié)和頂關節(jié)，如圖1所示。手掌實體和每個關節(jié)實體都可通過函數(shù)控制其運動。相連關節(jié)之間遵循鉸鏈運動約束關系，即兩者可以相對運動但不能移動。在虛擬手的關節(jié)模型中，關節(jié)之間的連接箭頭表示關節(jié)之間父子關系，箭頭根部為父節(jié)點，頭部為子節(jié)點。父節(jié)點的運動狀態(tài)傳遞給子節(jié)點，而子節(jié)點的運動狀態(tài)對父節(jié)點不產(chǎn)生影響[14]。

2.2 聯(lián)動鏡像游戲控制閾值設計

“聯(lián)動鏡像游戲”集康復訓練與認知訓練于一體，患者需要抓握正方體，并將正方體移動到與其顏色相同的平面上。正方體有3種不同大小，分別對應現(xiàn)實生活中不同大小物體，大正方體對應杯子等直徑大的物體，中正方體對應小型盒子等物體，小正方體對應電池等直徑小的物體。同樣選取10個自然人，分別抓握每個物體10次，實驗選用的3個物體直徑分別為7.5cm、5cm、1.5cm，如圖2所示。

計算五指彎曲度平均值并四舍五入，數(shù)據(jù)記錄如表1所示。

根據(jù)以上數(shù)據(jù)分析，由于抓取物體時手指彎曲較小，為防止出現(xiàn)誤差，所以無名指和小拇指數(shù)值取最大，當五指數(shù)據(jù)（拇指、食指、中指、無名指、小拇指）滿足（>0.3，>0.4，>0.5，>0.2，>0.2）時，認定物體1抓握成功；當五指數(shù)據(jù)滿足（>0.5，>0.4，>0.5，>0.3，>0.3）時，認定物體2抓握成功；當五指數(shù)據(jù)滿足（<0.6，>0.4，>0.7，>0.6，>0.5）時，認定物體3抓握成功。

使用閾值判定的手部動作控制如圖3所示。

2.3 socket數(shù)據(jù)傳輸

本系統(tǒng)主程序服務端與游戲客戶端采用socket通訊模式進行數(shù)據(jù)傳輸。首先進行兩個socket的初始化工作，接著進行“三路握手”，完成socket的連接建立。服務器系統(tǒng)調(diào)用Recv（）進行數(shù)據(jù)獲取，客戶端可通過調(diào)用Send（）進行數(shù)據(jù)發(fā)送，如圖4所示。本系統(tǒng)在相同主機進程之間通訊，服務器端IP地址為"127.0.0.1"，端口號設置為6666。

5DT數(shù)據(jù)手套和MPU6050數(shù)據(jù)在服務端按照協(xié)議打包，通過socket通訊傳送到客戶端，在客戶端按照協(xié)議進行拆包，將數(shù)據(jù)用于游戲控制。

3 康復游戲設計

本系統(tǒng)設置鏡像訓練時，游戲需要患者雙手操作，患者將5DT數(shù)據(jù)手套佩戴于健側，將三軸陀螺儀佩戴于患側。游戲開始時，后臺會根據(jù)患者情況生成患側手臂，由患側手臂控制游戲中虛擬手的移動，由健側手控制游戲中虛擬手的抓握。游戲時患者會不自覺地用控制移動的患側手進行抓握動作，較傳統(tǒng)鏡像訓練增加了患者的主動參與度。由于虛擬現(xiàn)實環(huán)境的真實性，當游戲中的手臂進行抓握動作時，會在一定程度上“欺騙”患者認為患側手也可以進行靈活操作，從而達到康復訓練目的。

虛擬訓練軟件系統(tǒng)采用服務端方式進入。服務端與數(shù)據(jù)庫相連，醫(yī)師輸入患者編號，自動彈出患者信息，信息確認無誤后進入游戲。游戲訓練時，患者的視野很小，當患者抓取到木塊時需要不斷移動，以找到目的地。當木塊準確放置到相應位置時，系統(tǒng)會播放一段音樂提示正確?；颊咄ㄟ^不斷抓握、移動、松手，將所有木塊放到對應的位置上，如圖5所示。通過手部動作與手腕的轉(zhuǎn)動做康復訓練，通過左右手完成鏡像訓練，通過顏色識別完成認知，游戲集成了鏡像與認知的康復訓練。訓練過程中，雙手同時參與的運動可增加患者雙手的協(xié)同運動能力；患者在嘗試使用患側手進行運動時，能看到患側手做完整的動作，達到鏡像訓練目的；同時，游戲設定目的導向，使康復訓練效果更好。

4 結語

基于鏡像療法的上肢手功能康復游戲系統(tǒng)，將鏡像療法與虛擬現(xiàn)實相結合，針對偏癱患者的上肢康復進行訓練。采用數(shù)據(jù)采集與虛擬游戲相互獨立的結構，代碼分開管理，避免了不同模塊間的相互影響，運行加載速度更快。本系統(tǒng)將手指關節(jié)和腕關節(jié)都參與到游戲控制中，實現(xiàn)了雙手及手腕的協(xié)調(diào)運動，替代臨床采用鏡子的傳統(tǒng)鏡像訓練療法，避免了康復師繁瑣的體力勞動，提高了康復效率。多樣化的真實虛擬場景提高了患者康復的興趣，達到最佳康復訓練效果。但系統(tǒng)服務端功能及外觀還需優(yōu)化，要擴展數(shù)據(jù)庫功能，增加游戲數(shù)據(jù)存儲、歷史游戲數(shù)據(jù)顯示等功能。

參考文獻：

[1] RAMACHANDRAN V S，ROGERS RAMACHANDRAN D，COBB S.Touching the phantom limb[J]. Nature， l995，377（6549）：489-490.

[2] KIM H， MILLER L M， FEDULOW I， et al. Kinematic data analysis for post-stroke patients following bilateral versus unilateral rehabilitation with an upper limb wearable robotic system[J]. IEEE Trans. Neural Syst Rehabil Eng， 2013，21（2）：153-164.

[3] CAURAUGH J H， SUMMERS J J. Neural plasticity and bilateral movements： a rehabilitation approach for chronic stroke [J]. Progress in Neurobiology， 2013，75（5）：309-320.

[4] 王峻瑤，黃真.鏡像視覺反饋及其在康復醫(yī)學中的應用進展[J].中華物理醫(yī)學康復雜志，2012，34（1）：70-73.

[5] DOHOLE C， PLLEN J， NAKATEN A， et al. Mirror therapy promotes recovery from severe hemiparesis： a randomized controlled trial [J]. Neurorehabil Neural Repair， 2009，23（3）：209-217.

[6] 沈芳，王晶，曾明.鏡像療法在腦卒中偏癱患者上肢運動功能康復中應用的研究進展[J].中國康復醫(yī)學雜志，2016，31（5）：590-593.

[7] OYAMA H， WAKAO F. Evaluation of a virtual reality system for medicine： virtual systems and multimedia[C]. VSMM '97. Proceedings， International Conference on， 1997

[8] 岳宏，王小龍，張娟.虛擬現(xiàn)實在手臂外骨骼康復系統(tǒng)中的應用[J].科技通報，2006，22（1）：111-114.

[9] FREUND E， ROSSMANN A. Decentralized virtual reality： making the move to multi-user- and multi-screen virtual worlds： Intelligent Robots and Systems[C].Proceedings，2001 IEEE/RSJ International Conference on， 2001.

[10] 孫素梅，陳洪耀，尹國盛.光纖傳感器的基本原理及在醫(yī)學上的應用[J].中國醫(yī)學物理學雜志，2008，25（5）：846-850.

[11] 佟昭，張志利，梁豐，等.基于Unity和5DT數(shù)據(jù)手套的虛擬手仿真研究[J].電腦知識與技術，2015，11（21）：186-189.

[12] 王洛夫，張正治，劉正津.指屈肌腱鞘滑車系統(tǒng)的巨微解剖學研究[J].解剖學報，1998，29（4）：342-346.

[13] LIU J S， YAO Y X， LI J G. Virtual manipulation based on data glove in virtual assembly [J]. Journal of System Simulation， 2004，16（8）：1743-1747.

[14] 殷磊，韓靜，王燁，等.虛擬現(xiàn)實環(huán)境下虛擬手控制技術研究[J].系統(tǒng)仿真學報，2009，21（2）：448-456.

（責任編輯：杜能鋼）