建筑工人上肢康復(fù)訓(xùn)練虛擬現(xiàn)實系統(tǒng)軟件設(shè)計

余楠兮， 方曉柯， 鄒曉瀅， 覃亞偉

(1. 中航工業(yè)北京長城計量測試技術(shù)研究所， 北京 100095； 2. 東北大學(xué) 信息科學(xué)與工程學(xué)院， 遼寧 沈陽 110819； 3. 華中科技大學(xué) 土木工程與力學(xué)學(xué)院， 湖北 武漢 430074)

近年來，我國的經(jīng)濟(jì)發(fā)展水平不斷提高，建筑工程市場邁入了快速發(fā)展時期。城市規(guī)模不斷擴(kuò)大的背后是建筑工程投資的快速增長，建筑業(yè)已經(jīng)成為促進(jìn)國內(nèi)經(jīng)濟(jì)迅猛發(fā)展的重要支撐產(chǎn)業(yè)中的一部分。而經(jīng)調(diào)查，全日制建筑工人的總工傷率幾乎是全國工傷率的兩倍[1]，大量建筑工人無法繼續(xù)參與勞動，失去經(jīng)濟(jì)來源。然而，為了使建筑工人在工作中更少地受到傷害，現(xiàn)有的研究主要集中于正式開始工作前對他們的安全教育[2,3]，針對其傷后康復(fù)訓(xùn)練的研究較少，且訓(xùn)練價格昂貴。這意味著不僅需要加強(qiáng)對建筑工人的教育和培訓(xùn)，同時也應(yīng)該對已受傷的建筑工人提供醫(yī)療幫助，盡量降低治療成本，減少傷者的經(jīng)濟(jì)負(fù)擔(dān)。據(jù)了解，近30%的建筑工人因為上肢受到傷害，無法進(jìn)行正常的日?；顒?，遭受著極大的傷痛與折磨[4]。因此，對建筑工人進(jìn)行低價高效的上肢康復(fù)訓(xùn)練是十分必要的。

在上肢康復(fù)方面，Kikuchi等[5]研制了六自由度康復(fù)機(jī)器人系統(tǒng)來帶領(lǐng)患者上肢進(jìn)行康復(fù)訓(xùn)練；邢科新等[6]將氣動肌肉驅(qū)動機(jī)器人與虛擬現(xiàn)實技術(shù)相結(jié)合來進(jìn)行針對手部功能的康復(fù)訓(xùn)練；李軍強(qiáng)等[7]利用外骨骼帶動患者在虛擬場景中進(jìn)行漫游訓(xùn)練；李超等[8]則利用機(jī)械搖桿對患者進(jìn)行阻抗訓(xùn)練與主動訓(xùn)練?？傊诋?dāng)前結(jié)合虛擬現(xiàn)實技術(shù)的康復(fù)系統(tǒng)之中，大多數(shù)系統(tǒng)使用的硬件價格昂貴，設(shè)置復(fù)雜，且需要醫(yī)療人員全程看護(hù)，明顯不適合經(jīng)濟(jì)條件極差的建筑工人群體。

Kinect是微軟公司發(fā)行的一種外部傳感器設(shè)備，它操作簡單，價格低廉，在近幾年成為了體感游戲領(lǐng)域的熱門產(chǎn)品。顯然，與其他高價傳感器相比，Kinect更加適合經(jīng)濟(jì)條件不佳的建筑工人群體。在康復(fù)訓(xùn)練過程中，患者能夠積極主動進(jìn)行訓(xùn)練的意識對其自身恢復(fù)十分有利，而將虛擬現(xiàn)實技術(shù)應(yīng)用于康復(fù)治療中，可大大增加訓(xùn)練的沉浸感，優(yōu)化訓(xùn)練效果[9]。而且，虛擬現(xiàn)實技術(shù)能夠針對患者的情況做到大量密集的重復(fù)性訓(xùn)練，使其機(jī)體功能得到最大程度的訓(xùn)練[10]。

在此背景下，本文針對需要進(jìn)行上肢康復(fù)訓(xùn)練的建筑工人，利用虛擬現(xiàn)實技術(shù)構(gòu)建了建筑工人上肢康復(fù)訓(xùn)練系統(tǒng)，闡述了系統(tǒng)的設(shè)計方案、功能實現(xiàn)和運(yùn)行流程，減少傳統(tǒng)一對一康復(fù)訓(xùn)練帶來的經(jīng)濟(jì)負(fù)擔(dān)，增加建筑工人在家自行進(jìn)行康復(fù)訓(xùn)練的可行性，減少醫(yī)療資源浪費(fèi)，為患者帶來更好的訓(xùn)練效果，從而使其更快更好地恢復(fù)日常生活，提高生活質(zhì)量。

1 系統(tǒng)方案設(shè)計

1.1 系統(tǒng)功能需求分析

中壯年建筑工人占到職業(yè)災(zāi)害總量的2/3；在已經(jīng)遭受職業(yè)災(zāi)害的工人中，95.9%沒有接受過正規(guī)職業(yè)培訓(xùn)[11]。因此，對上肢受傷且影響日常生活的建筑工人來說，在必要的治療基礎(chǔ)上還需要增加相應(yīng)的康復(fù)訓(xùn)練，最佳為低成本且高效的康復(fù)訓(xùn)練方案，而虛擬現(xiàn)實技術(shù)作為一種新型康復(fù)策略，可以避免醫(yī)療資源的過度使用且減少浪費(fèi)，為建筑工人的上肢功能康復(fù)提供新思路。

根據(jù)國家明確提出且提倡的“三級康復(fù)體系”理論[12]，康復(fù)治療的首要目的就是恢復(fù)日常生活，即針對建筑工人上肢受傷的情況，提供有效的上肢康復(fù)訓(xùn)練。因此可以選擇現(xiàn)代室內(nèi)房間為背景，使建筑工人從心理上感到更接近日常生活，從而增加康復(fù)訓(xùn)練的沉浸感，使他們更愿意進(jìn)行主動訓(xùn)練，以達(dá)到更佳的治療效果?；颊咴谟?xùn)練過程中需要與訓(xùn)練的場景進(jìn)行交互，所以系統(tǒng)需要采集患者上肢的運(yùn)動數(shù)據(jù)并傳輸?shù)接嬎銠C(jī)，為實現(xiàn)二者之間的交互提供支撐。因此在訓(xùn)練過程中，按需求設(shè)計出來的訓(xùn)練動作需要有效、可靠且安全。

根據(jù)功能需求分析，將針對建筑工人的上肢康復(fù)訓(xùn)練系統(tǒng)分為信號采集與處理部分、虛擬場景部分與康復(fù)訓(xùn)練部分。

1.2 康復(fù)訓(xùn)練系統(tǒng)方案設(shè)計

整體的康復(fù)系統(tǒng)流程如圖1所示。

圖1 康復(fù)流程

(1)信號采集與處理部分：用Kinect對患者上肢的動作信號進(jìn)行采集與處理，并為Unity3D虛擬現(xiàn)實環(huán)境提供人體運(yùn)動信息(關(guān)節(jié)點位置信息)。

(2)虛擬現(xiàn)實場景部分：用Unity3D已有的功能來設(shè)計與實現(xiàn)所需要的虛擬現(xiàn)實場景。該軟件屬于游戲引擎，有優(yōu)秀的物理系統(tǒng)，同時支持大量插件，可以打造出貼近現(xiàn)實的場景，使患者主動參與有趣的康復(fù)訓(xùn)練，從而達(dá)到更好的鍛煉效果。而為了使患者的上肢能夠在系統(tǒng)中與訓(xùn)練時的虛擬場景交互，可采用中間件來實現(xiàn)這一部分的功能。通過中間件，將Kinect獲得的骨骼關(guān)節(jié)點信息與虛擬場景中的預(yù)設(shè)部分進(jìn)行比較，從而獲得反饋。

(3)上肢訓(xùn)練部分：設(shè)計恰當(dāng)?shù)挠?xùn)練動作，在保障安全性的同時，使患者上肢得到康復(fù)。并將設(shè)計出的動作通過Unity3D錄入虛擬現(xiàn)實場景中，使整個系統(tǒng)可以實現(xiàn)交互。

本設(shè)計主要是針對建筑工人的上肢康復(fù)訓(xùn)練虛擬現(xiàn)實系統(tǒng)進(jìn)行軟件設(shè)計，對設(shè)計的康復(fù)動作進(jìn)行記錄，并在電腦上對該動作進(jìn)行處理，在患者一定程度的康復(fù)之后，讓患者在Kinect前完成醫(yī)生安排的動作，記錄后對動作的完成情況進(jìn)行分析，從而對患者的康復(fù)情況進(jìn)行評估。

1.3 康復(fù)訓(xùn)練軌跡的選擇

(1)直線運(yùn)動軌跡設(shè)計

研究表明，當(dāng)上肢受傷的患者在實驗要求下，對一定目標(biāo)進(jìn)行伸展運(yùn)動時，肩肘關(guān)節(jié)的不協(xié)調(diào)對上肢沿直線進(jìn)行的運(yùn)動有明顯的影響[13]。建筑工人在受傷后，在肩肘關(guān)節(jié)變得不協(xié)調(diào)的同時，肌肉力量也會下降，因此上肢對抗重力的能力與伸展的能力都會受到限制。若針對肩肘關(guān)節(jié)進(jìn)行伸展練習(xí)，上肢的不協(xié)調(diào)與肌無力的情況應(yīng)該會有好轉(zhuǎn)。而經(jīng)試驗，這種方法的訓(xùn)練效果比傳統(tǒng)的上肢訓(xùn)練方法更好[13]。

故而，本實驗選用直線運(yùn)動軌跡為康復(fù)訓(xùn)練的軌跡之一，目的是鍛煉患者的上肢關(guān)節(jié)協(xié)調(diào)功能與其伸展功能。

(2)向外圓周運(yùn)動軌跡設(shè)計

本研究小組通過實地調(diào)研50個典型建筑工地發(fā)現(xiàn)，在很多受傷的建筑工人中，盡管上肢的外傷與痙攣等情況得到了一定程度上的治療，但日常生活中所需的運(yùn)動功能仍不能達(dá)標(biāo)。因此，這種運(yùn)動功能障礙可能是由運(yùn)動協(xié)調(diào)功能的異常引起的，即可能是由腦損傷引起的，其具體狀況為異常的協(xié)同作用。經(jīng)過對上述情況的定量研究發(fā)現(xiàn)，損傷后殘存的肌肉活動的特點為肩部外展肌群與肘屈肌群的協(xié)同收縮活動，肩部內(nèi)收肌群與肘伸肌群的協(xié)同收縮活動[14]。

而向外圓周運(yùn)動就可以對上述肌群進(jìn)行鍛煉，即肩外展與肘伸展，肩內(nèi)收與肘屈曲的共同訓(xùn)練，恰好可以對腦損傷所出現(xiàn)的上肢協(xié)調(diào)功能異常進(jìn)行針對性訓(xùn)練。

因此，向外圓周運(yùn)動軌跡同樣也被選擇為本次康復(fù)訓(xùn)練的軌跡之一，目的是為了更好地鍛煉肩肘關(guān)節(jié)的屈伸狀態(tài)，同時更好地鍛煉上肢的協(xié)同與分離運(yùn)動。

(3)訓(xùn)練背景設(shè)計

為了符合日常生活的訓(xùn)練背景，并克服由Kinect “魚眼”攝像頭的特殊功能造成的采集數(shù)據(jù)的一定誤差，這里應(yīng)盡量避免關(guān)節(jié)部位的遮擋，并且現(xiàn)場環(huán)境應(yīng)盡量避免使用吸收或鏡面反射的材料，選擇“擦窗戶”作為基本動作進(jìn)行設(shè)計。

2 系統(tǒng)功能實現(xiàn)

2.1 信號采集與處理部分

由于建筑工人的上肢康復(fù)訓(xùn)練需求量大，重復(fù)性強(qiáng)，因而希望盡量降低訓(xùn)練的成本；又因為訓(xùn)練目的是使工人上肢能滿足生活所需，因此訓(xùn)練中對上肢動作的捕捉不需要極高的精度，所以，這里選擇Kinect作為動作捕捉的傳感器。

如圖2所示，Kinect的硬件部分包括：一個紅外投影機(jī)、一個紅外攝像頭、一個RGB攝像頭，底部還有一個馬達(dá)可以改變Kinect的俯仰角度，它的內(nèi)部還設(shè)置了一組麥克風(fēng)，用于語音辨識。

圖2 Kinect硬件

Kinect傳感器提供了三類原數(shù)據(jù)，包括彩色視頻流(Color Stream)、深度數(shù)據(jù)流(Depth Stream)、原始音頻數(shù)據(jù)(RawAudio Stream)，分別對應(yīng)身份識別(Identify)、骨架跟蹤(Skeletal Tracking)、語音識別(Speech Pipeline)三個處理過程，從而實現(xiàn)人體多部位的跟蹤、識別和重建功能[15,16]。

Kinect傳感器可以通過獲得人體20個關(guān)鍵關(guān)節(jié)點的三維坐標(biāo)信息來獲取整個人體不同關(guān)節(jié)點的運(yùn)動數(shù)據(jù)信息，如圖3所示。

圖3 Kinect 能夠追蹤的人體關(guān)節(jié)點名稱和分布

為了能夠在虛擬現(xiàn)實場景中獲得人體上肢的運(yùn)動情況，這里可以運(yùn)用YuYuYouEr的中間件對Kinect獲得的關(guān)節(jié)點信息進(jìn)行處理。通過獲取的人體上肢的骨骼關(guān)鍵關(guān)節(jié)點的實時位置來跟蹤與獲取人體模型的動作變化。

2.2 虛擬場景部分

在Unity3D軟件中搭建現(xiàn)代室內(nèi)房間的背景，如圖4所示。

圖4 Unity3D軟件中搭建的室內(nèi)模型

為使傷后的建筑工人進(jìn)行康復(fù)訓(xùn)練，并獲得較好的訓(xùn)練體驗，在將中間件成功導(dǎo)入場景之后，需要將Kinect體感信號的位置、角度、大小與場景進(jìn)行匹配，還要調(diào)整人體與背景場景之間的比例大小與坐標(biāo)關(guān)系，使Kinect的人體骨骼等信號可以在整個房間場景中，以合適的大小和位置、角度搭建體感環(huán)境，調(diào)整后如圖5所示。

圖5 導(dǎo)入人體關(guān)節(jié)信息

2.3 康復(fù)訓(xùn)練部分

在康復(fù)訓(xùn)練部分，首先需要設(shè)計出合適的訓(xùn)練軌跡，再用Unity3D進(jìn)行實現(xiàn)。主要分成下列幾個步驟：(1)按照選擇的康復(fù)軌跡進(jìn)行污漬的生成(軌跡有四種，分別為左手的直線運(yùn)動軌跡、左手向外圓周運(yùn)動軌跡、右手直線運(yùn)動軌跡與右手向外圓周運(yùn)動軌跡)；(2)用Kinect識別相應(yīng)的上肢信號(用已導(dǎo)入的中間件進(jìn)行處理和實現(xiàn))；(3)在場景內(nèi)添加碰撞識別模塊，遇到污漬發(fā)生觸發(fā)器的碰撞，而使對應(yīng)位置的污漬被清除，當(dāng)所有污漬被消除，則作為完成康復(fù)訓(xùn)練一次；(4)通過對建筑工人訓(xùn)練前后沿軌跡做同樣的直線運(yùn)動的情況進(jìn)行對比，從而了解到上肢的康復(fù)情況。

2.3.1 軌跡錄入及生成

由于整個訓(xùn)練過程中，患者移動的范圍十分有限，所以在設(shè)計之初就應(yīng)該考慮到在場景內(nèi)生成軌跡與污漬的范圍問題。而想要確定運(yùn)動范圍，則要建立觸發(fā)器，使體感信號可以與場景內(nèi)同步并且能夠觸發(fā)“識別并錄入運(yùn)動軌跡坐標(biāo)”的事件，保證人物的體感信號在觸發(fā)器內(nèi)，所以這里需要把相應(yīng)的腳本編輯好并且綁定在觸發(fā)器上。當(dāng)人物體感信號在觸發(fā)器內(nèi)被識別，則讀取人物上肢左手位置的世界坐標(biāo)并將橫、縱軸投影在窗戶物體的表面，并同時在該位置生成一個白色的小方塊標(biāo)記位置，輸出該小方塊的坐標(biāo)位置。

為使軌跡在場景中的大小位置均能夠適中，需調(diào)節(jié)人體信號生成的識別點在場景中的位置和比例，經(jīng)調(diào)整后，可達(dá)到圖6所示效果。

圖6 調(diào)整后的運(yùn)動范圍

在之前工作的基礎(chǔ)上，由運(yùn)動康復(fù)醫(yī)學(xué)原理選擇好將要設(shè)計的康復(fù)軌跡，并利用編程在場景中實現(xiàn)污漬按軌跡的生成。

本設(shè)計分為四種模式：左側(cè)上肢直線運(yùn)動、左側(cè)上肢圓周運(yùn)動、右側(cè)上肢直線運(yùn)動、右側(cè)上肢圓周運(yùn)動。為了詳細(xì)描述案例設(shè)計并且節(jié)約篇幅，這里以左側(cè)上肢的直線運(yùn)動和圓周運(yùn)動為例進(jìn)行詳細(xì)說明。

利用正常上肢進(jìn)行直線和圓周運(yùn)動，在窗體平面內(nèi)用白色小方塊標(biāo)注軌跡，通過記錄采集到的坐標(biāo)并用幾何知識進(jìn)行運(yùn)算，最終選定了最適宜康復(fù)的直線軌跡和圓周軌跡，得到了最合適的軌跡大小和位置，如圖7所示。

圖7 最適宜的直線軌跡和圓周軌跡

2.3.2 系統(tǒng)的開發(fā)與應(yīng)用

系統(tǒng)準(zhǔn)備狀態(tài)如圖8所示：

圖8 準(zhǔn)備狀態(tài)

經(jīng)過虛擬現(xiàn)實場景的搭建與軌跡的錄入，現(xiàn)在需要按照規(guī)劃的軌跡來生成污漬并開始計時，由于需要在上肢信號接觸到污漬時將污漬消除，故需調(diào)用Unity3D中設(shè)置好的觸發(fā)器模塊，通過碰撞的檢測來識別上肢與污漬是否接觸。為達(dá)成此目的，我們選擇用Ray射線觸發(fā)方式，由手部信號發(fā)射Ray射線，如圖9所示。

圖9 手部信號產(chǎn)生Ray射線

在射線與窗體接觸坐標(biāo)位置生成小方塊，以確保射線與平面交點位置的坐標(biāo)可以被讀取，從而有效觸發(fā)污漬消除事件，如圖10所示。

圖10 交點生成方塊

采用射線識別，當(dāng)發(fā)出的射線接觸到生成的污漬塊上，則消除污漬。在Unity3D當(dāng)中，射線消除事件要求被射線射到的物體是觸發(fā)器，才能夠達(dá)成事件觸發(fā)從而消除物體，故而這里要求所有的污漬必須都是觸發(fā)器。

整個實驗表現(xiàn)如圖11，12所示。

圖11 直線訓(xùn)練圖12 圓周訓(xùn)練

2.4 康復(fù)效果

為了解這項康復(fù)訓(xùn)練的具體效果，課題組邀請了5名建筑工人參與本課題。參與課題的建筑工人滿足以下條件：(1)上肢的運(yùn)動功能受限，影響日常生活；(2)對本課題的具體內(nèi)容有一定的了解，能按時按量完成訓(xùn)練；(3)上肢外傷已愈合且無嚴(yán)重疼痛與關(guān)節(jié)問題。整個訓(xùn)練階段的時長為4周，每周訓(xùn)練5 d，每次訓(xùn)練45 min。

為了直觀地了解建筑工人的訓(xùn)練效果，這里在訓(xùn)練前后分別測量建筑工人上肢沿目標(biāo)直線與目標(biāo)橢圓運(yùn)動的情況，并根據(jù)Kinect獲得的手部坐標(biāo)導(dǎo)入數(shù)據(jù)分析系統(tǒng)進(jìn)行繪制，則可得到圖13，14。圖中黑色線條為目標(biāo)軌跡，不同顏色的曲線分別為5名建筑工人訓(xùn)練前后的上肢實際運(yùn)動軌跡。

圖13 直線訓(xùn)練前后軌跡

圖14 圓周訓(xùn)練前后軌跡

如圖13，14所示，患者按計劃完成4周的康復(fù)訓(xùn)練后，手部的坐標(biāo)運(yùn)動軌跡比訓(xùn)練之前更加貼近目標(biāo)直線或目標(biāo)橢圓。通過對比訓(xùn)練前后的軌跡情況，可以得出結(jié)論：這個為上肢受傷的建筑工人設(shè)計的康復(fù)訓(xùn)練系統(tǒng)可以在一定程度上使其完成上肢訓(xùn)練，而且完成訓(xùn)練計劃后，患者上肢的運(yùn)動情況有了明顯的好轉(zhuǎn)，與目標(biāo)軌跡的擬合度更高，證明了建筑工人的肩腕關(guān)節(jié)的協(xié)調(diào)能力得到了提升。

為了使建筑工人的上肢康復(fù)情況數(shù)據(jù)化，可使用Fugl-Meyer上肢運(yùn)動功能評估表[17]從定量分析的角度來評價患者上肢的康復(fù)情況，從而得出其恢復(fù)情況。訓(xùn)練前后分別用上述方式評估建筑工人的上肢功能，并按標(biāo)準(zhǔn)打分，得分情況見圖15。圖中標(biāo)明了訓(xùn)練后患者上肢運(yùn)動功能評分增加情況，增加程度從5.7%到17.0%不等。

圖15 Fugl-Meyer得分

因此，虛擬現(xiàn)實技術(shù)對建筑工人上肢康復(fù)訓(xùn)練的有效性與可行性得到了證明。

3 結(jié) 語

本文通過學(xué)習(xí)Unity3D和Kinect體感設(shè)備并將二者相結(jié)合，設(shè)計出可使建筑工人的受傷上肢獲得康復(fù)訓(xùn)練的系統(tǒng)。該系統(tǒng)在增加了康復(fù)訓(xùn)練沉浸感的同時降低了為建筑工人提供康復(fù)訓(xùn)練的成本，也為現(xiàn)有的針對建筑工人職業(yè)危害防治中所缺乏的問題提供了補(bǔ)充。結(jié)論如下：

(1)由于現(xiàn)有的建筑工人職業(yè)危害防治中缺乏針對其傷后康復(fù)問題的訓(xùn)練系統(tǒng)，且現(xiàn)有的康復(fù)訓(xùn)練價格較為昂貴，該群體無法承擔(dān)，因此本文設(shè)計了一套更廉價的康復(fù)訓(xùn)練系統(tǒng)。通過對Kinect和Unity3D虛擬現(xiàn)實平臺的學(xué)習(xí)與應(yīng)用，實現(xiàn)了人體與虛擬現(xiàn)實環(huán)境的交互。

(2)由于建筑工人上肢更容易受到傷害，基于康復(fù)理論，選擇了兩種針對上肢肩、肘、腕關(guān)節(jié)的康復(fù)訓(xùn)練動作，并為了更好的康復(fù)訓(xùn)練體驗，選擇貼近日常生活的動作與環(huán)境進(jìn)行康復(fù)訓(xùn)練，大大提升了患者的參與感，從而使患者更加主動地參加訓(xùn)練以求獲得更好的康復(fù)效果。

(3)通過實際測驗，分別從定性與定量兩個方面對此康復(fù)訓(xùn)練進(jìn)行效果評估，證明了本上肢康復(fù)訓(xùn)練系統(tǒng)的有效性與可行性。