數(shù)據(jù)傳感設備在上肢康復訓練中的應用研究*

張旭輝,呂欣媛,王妙云,魏倩楠,王 恒,杜昱陽

(1.西安科技大學 機械工程學院,陜西 西安 710054;2.陜西省礦山機電裝備智能監(jiān)測重點實驗室,陜西 西安 710054)

0 引 言

肢體運動功能受損是腦卒中等疾病常見的后遺癥癥狀,而上肢功能障礙往往是患者日常生活能力下降的主要因素[1～3]。目前,針對上肢的康復訓練多為依賴治療師對患者進行重復的機械式訓練,患者主觀意識與輔助訓練無法有效配合,導致康復效果不佳。因此,急需新的康復手段引導患者進行有效的訓練[4]。

目前已有不少學者在將虛擬現(xiàn)實(VR)技術(shù)應用于康復訓練方面進行了深入的研究[5]。羅格斯大學開發(fā)了一種名為Rutgers Arms Ⅱ的康復訓練系統(tǒng),通過運動跟蹤、重力以及VR游戲來實現(xiàn)手臂的康復訓練,增加了訓練的趣味性和多樣性,但缺陷在于不能實時對患者的康復情況作出評價;Cho S 等人[6]利用本體感覺反饋刺激大腦神經(jīng)產(chǎn)生運動意圖,為康復訓練提供了新的思路,但與視覺反饋相比,其沉浸感和趣味性會有所下降;陳東林等人[7]設計了基于HTC VIVE的上肢康復訓練系統(tǒng),利用VR手柄與康復訓練游戲進行交互,但上肢功能障礙患者運動時手部姿態(tài)變化極為輕微,故采用抓握手柄的方法難以達到預期效果。

在前人的研究基礎上,本文引入數(shù)據(jù)傳感設備應用于上肢功能障礙人群中,融合VR技術(shù)為患者提供沉浸式和趣味性的訓練體驗,解決了患者主動參與積極性差且抓握實物困難而導致訓練效果不佳的問題。利用Unity 3D軟件與C#語言編程搭建軟硬件環(huán)境,結(jié)合傳感器技術(shù)與數(shù)據(jù)庫技術(shù)采集并保存患者訓練時的上肢主要關(guān)節(jié)運動信息,實時監(jiān)測患者運動時的身體情況,并對其進行康復效果評定，以便及時更新患者的訓練計劃。該方法在調(diào)動患者主動訓練積極性的同時,既提高了康復訓練的效率,又減少了目前醫(yī)療師與患者存在“一對多”的資源壓力。

1 系統(tǒng)總體設計

1.1 總體設計思路

在VR交互中,計算機必須通過各種傳感器設備實時檢測、分析、處理用戶的姿態(tài)變化情況、生理參數(shù)、語音等多種信息,并將其處理結(jié)果及時反饋給用戶,從而發(fā)揮參與在虛擬環(huán)境中的沉浸感和主動性[8]。本文選用數(shù)據(jù)手套和VR眼鏡作為傳感設備實現(xiàn)人機交互,利用Unity3D軟件和C#語言開發(fā)虛擬訓練環(huán)境。

數(shù)據(jù)手套采用WISEGLOVE 7+系列位置跟蹤數(shù)據(jù)手套。如圖1所示,它可通過分布在手掌重要關(guān)節(jié)的7個柔性彎曲光纖傳感器和分布在手臂活動關(guān)節(jié)上的3個慣性傳感器來實現(xiàn)上肢位置移動和姿態(tài)捕捉功能[9]。

圖1 數(shù)據(jù)手套

VR眼鏡采用HTC Vive眼鏡,它利用激光掃描定位技術(shù)提高了定位精度。除了身體動作以外沒有其它形式的用戶輸入條件,并減輕了患者肢體上的額外負擔[7]。

總體設計思路如圖2所示，患者佩戴數(shù)據(jù)手套與VR眼鏡進入VR游戲中進行訓練,數(shù)據(jù)手套采集患者的姿態(tài)變化數(shù)據(jù)傳輸?shù)教摂M場景中,驅(qū)動場景產(chǎn)生相應的變化,其上肢運動信息與游戲數(shù)據(jù)存儲進數(shù)據(jù)庫中，以供治療師對比、觀察和分析，從而判斷患者的康復程度和訓練效果;VR眼鏡通過視覺反饋刺激患者大腦神經(jīng)中樞促進大腦神經(jīng)元重塑,并根據(jù)系統(tǒng)提示引導患者主動進行訓練。

圖2 康復訓練系統(tǒng)設計思路

患者訓練方案的制定與更新通過康復效果評價實現(xiàn)[10],根據(jù)確定時間內(nèi)系統(tǒng)指定任務的完成度和傳感器所采重要關(guān)節(jié)的活動情況，確定障礙級別,同時結(jié)合肌力受損程度生成患者信息,據(jù)此為患者制定康復計劃。在執(zhí)行訓練計劃一個或多個周期后,再次對患者進行康復效果評價，并更新訓練方案。訓練過程中,治療師可以通過傳感器所采數(shù)據(jù)實時監(jiān)測患者的訓練狀態(tài),以實時判斷該訓練方案是否可行并及時對其進行調(diào)整?？祻驮u價過程如圖3所示。

圖3 康復評價過程

1.2 多級康復訓練任務規(guī)劃

由于不同患者的運動功能受損程度差異,且遵循康復訓練難度應逐級遞增的原則[11]。如表1所示,設計多級訓練模式以供患者選擇。

表1 多級訓練任務規(guī)劃

初級訓練模式針對康復訓練初期的患者,其手部運動軌跡簡化為A-B-C-A。以桌面為X-Y平面,在X-Y平面內(nèi)將物體從A點移至C點。該運動所涉及的肩、肘關(guān)節(jié)均為X-Y平面內(nèi)輕微的內(nèi)收/外展運動,通過“拾取→移動靜態(tài)模型”訓練患者的抓握能力。

高級訓練模式針對康復訓練中后期的患者,其手部的運動軌跡簡化為A-B-C-D。

以桌面為X-Y平面,垂直桌面方向為Z軸,將物體從A點移至D點并作出投擲動作。相比于初級模式,還涉及Z軸方向的上旋/下旋運動,且運動幅度較大。通過“鎖定→拾取→移動→投擲動態(tài)模型”訓練上肢的抓握能力、協(xié)調(diào)能力、手眼配合能力等。

2 基于數(shù)據(jù)手套的人機交互方法

2.1 基于四元數(shù)的手部姿態(tài)解算算法

手部姿態(tài)及位置的解算是通過將傳感器在載體坐標系下測得的數(shù)據(jù)轉(zhuǎn)換至導航坐標系,從而得到手部在空間中的位置與姿態(tài)。在眾多解算方法中,四元數(shù)法計算量小，精度高，可避免奇異性[12]。四元數(shù)是由4個實數(shù)q0,q1,q2,q3和3個相互正交的單位向量i,j,k組成。其一般表現(xiàn)形式為

q=q0+q1i+q2j+q3k

(1)

四元數(shù)表示旋轉(zhuǎn)時,實部表示角度大小,虛部表示轉(zhuǎn)動方向。手掌在空間中的位置定位由坐標系之間的轉(zhuǎn)換來實現(xiàn),具體通過橫滾角φ、俯仰角θ、偏航角γ的連續(xù)轉(zhuǎn)動實現(xiàn)。

標量部分q0,q1,q2,q3的初始值由歐拉角的初始值計算所得,其微分方程的矩陣形式為

(2)

(3)

則

(4)

式中q(t)為初始時四元數(shù),T為四元數(shù)更新周期,q(t+T)為更新后的四元數(shù),K1為在周期T初始時的斜率,K2與K3為1/2周期T/2處的斜率,K4為周期T結(jié)束時的斜率。

根據(jù)K1,K2,K3,K4這4個參數(shù)的更新值,可由姿態(tài)陣T更新歐拉角[12]

(5)

其姿態(tài)解算的轉(zhuǎn)換矩陣為[13]

T=

(6)

由式(5)與式(6)可得姿態(tài)角

(7)

根據(jù)式(7)可得到載體在導航坐標系下任何時刻的姿態(tài)估計。

2.2 傳感器標定

數(shù)據(jù)手套上的傳感器采集到的數(shù)據(jù)通過微處理器經(jīng)由RS—232接口傳向主機,從而驅(qū)動計算機內(nèi)的虛擬手同步運動,其中柔性光纖傳感器測量手指關(guān)節(jié)彎曲角度,由陀螺儀與加速度計組成的慣性測量單元分別測量空間中手臂運動的角度和加速度,并解算出手臂的姿態(tài)、速度以及位置信息等。

傳感器值設置在A(最小值)和B(最大值)之間,數(shù)據(jù)手套采集到的傳感器原始數(shù)據(jù)范圍是0～255,若當前手套值是C,則滿足關(guān)系A

if(C>B) thenB=C

if(C

以此便保證了當前值C始終在A和B之間。若采集到的某個手指的活動角度是E,則當前的彎曲角度F可以通過式(8)轉(zhuǎn)換得到

(8)

據(jù)此設定手指的歸一化活動范圍為[0,1]：

當(C-A)/(B-A)<0.5時,手指動作為開;

當(C-A)/(B-A)>0.5時,手指動作為合。

通過這個函數(shù)關(guān)系定義每個手指的開合,組成各種自定義手勢,以執(zhí)行程序預定義的各種指令[14]。動作姿態(tài)捕捉如圖4所示。

圖4 動作姿態(tài)捕捉

2.3 基于距離檢測的抓取響應實現(xiàn)

2.3.1 碰撞檢測

碰撞檢測是為了防止虛擬手與目標物體之間發(fā)生“穿透”現(xiàn)象。這里采用包圍盒算法進行碰撞檢測,在滿足精度的條件下,該算法能加快檢測速度[15]。如圖5所示,以食指為例,根據(jù)關(guān)節(jié)位置添加3個膠囊碰撞體,將未發(fā)生碰撞的部分排除在計算之外,將需要被進行精確檢測的部分限制在很小的范圍之內(nèi),確保手指無法“穿透”小球。

圖5 膠囊體包圍盒

2.3.2 抓取響應

在虛擬手可以觸發(fā)碰撞的基礎上,采用距離檢測的方法來實現(xiàn)虛擬手的抓取響應。如圖6所示,在虛擬手掌心處添加Object物體并為其添加盒子碰撞器,當盒子碰撞器與目標物體之間的距離小于一定值,同時拇指與食指、中指、無名指之一角度符合要求,則可驅(qū)動虛擬手與目標物體之間實現(xiàn)抓取響應。該方法相比于單純靠手指膠囊體碰撞檢測實現(xiàn)抓取，縮短了響應時間并且提高了檢測精度。

圖6 抓取響應

3 系統(tǒng)驗證

試驗根據(jù)人體上肢運動規(guī)律提取3個主要動作,即人坐在距離桌面一拳左右的椅子上，佩戴數(shù)據(jù)手套完成抓取、移動、投擲動作。如圖7所示,連接數(shù)據(jù)手套并運行,當用戶手部做出抓取動作時,虛擬手會做出相同的動作,用戶通過移動自己手臂來調(diào)整視野中虛擬手的位置至小型籃球架處,放松手掌,便可將小球投擲進籃球架中,在屏幕左側(cè)可顯示各傳感器數(shù)值和小球抓取數(shù)。

圖7 實驗過程

手掌7個主要關(guān)節(jié)位置傳感器標記為sensor0,sensor1,sensor2,sensor3,sensor4,sensor5,sensor6,系統(tǒng)運行時testwave.exe動態(tài)顯示傳感器的運動數(shù)據(jù)曲線。如圖8所示,選擇相應傳感器顯示用戶相應關(guān)節(jié)變化曲線(毫秒為單位),從曲線的變化趨勢可以分析對應關(guān)節(jié)的活動情況。

圖8 相關(guān)關(guān)節(jié)變化運動變化曲線

圖8中展示了用戶進行抓取動作時,1 s內(nèi)手掌7個主要關(guān)節(jié)的變化情況。當手掌沒有發(fā)力動作而處于放松狀態(tài)時,傳感器顯示其最小值為0,當手掌開始動作時,傳感器檢測到相較于手掌處于放松狀態(tài)時的動作變化,關(guān)節(jié)彎曲程度越大,傳感器顯示值越大,曲線波動越明顯。根據(jù)圖8得到其所采最大值如表2所示。

表2 抓取姿態(tài)下手掌主要關(guān)節(jié)處傳感器最大值

結(jié)果表明,在用戶手掌姿態(tài)變化非常輕微時,曲線波動變化明顯,且7個主要關(guān)節(jié)彎曲最大值均在1 500以上,可以實時監(jiān)測患者的關(guān)節(jié)活動情況,并實現(xiàn)人機交互與虛實同步，從而達到訓練上肢的目的。

4 結(jié) 論

本文將數(shù)據(jù)傳感設備應用于上肢康復訓練中,提供了在常見療法中無法實現(xiàn)的視覺反饋與感覺運動經(jīng)驗,為傳感器技術(shù)的應用提供了新的思路。通過數(shù)據(jù)手套與虛擬模型進行交互,在很大程度上調(diào)動了患者的積極性。結(jié)合傳感器技術(shù)采集并監(jiān)測患者的上肢主要關(guān)節(jié)運動信息,以便醫(yī)療師及時更新訓練計劃。對實現(xiàn)高效性的康復訓練具有重要意義。

目前,該系統(tǒng)處于初步研究階段,未應用于臨床試驗,具體不足表現(xiàn)在：1)訓練方案不能自動生成和更新,需要醫(yī)療師結(jié)合各項評估內(nèi)容為患者制定訓練方案;2)對患者的信息采集不夠完善,未涉及患者的心理參數(shù)(如心率、呼吸頻次等)與心理狀態(tài)(是否有消極、抑郁傾向等)評估。因此,后續(xù)研究將繼續(xù)改善系統(tǒng)的智能性。使得該系統(tǒng)能為肢體功能障礙患者提供更加完善的康復訓練。