體感交互技術(shù)在醫(yī)療護(hù)理領(lǐng)域中的應(yīng)用現(xiàn)狀

張培宇，朱憶寧，周天鈞，肖 倩*

1.首都醫(yī)科大學(xué)護(hù)理學(xué)院，北京100069；2.清華大學(xué)生命科學(xué)學(xué)院

體感（motion sensing）技術(shù)又稱動(dòng)作感應(yīng)控制技術(shù)、體感交互技術(shù)，它是一種直接利用軀體動(dòng)作、聲音、眼球轉(zhuǎn)動(dòng)等方式與周邊的裝置或環(huán)境互動(dòng)，由機(jī)器對(duì)用戶的動(dòng)作識(shí)別、解析，并做出反饋的人機(jī)交互技術(shù)[1-2]。與其他交互手段相比，當(dāng)前的體感交互技術(shù)無論是在硬件方面還是軟件方面都有了較大提升。交互設(shè)備的體積越來越小，越來越便攜，使用起來也更加簡(jiǎn)便，同時(shí)在交互過程中不需要發(fā)生直接接觸，大大降低了對(duì)用戶的約束，提高了人機(jī)交互的沉浸感，使得交互過程更加自然。當(dāng)前，體感交互技術(shù)從眾多自然人機(jī)交互技術(shù)中脫穎而出，成為前沿研究領(lǐng)域之一，逐漸應(yīng)用于醫(yī)療、護(hù)理領(lǐng)域[3-4]。因此，本研究擬綜述體感交互技術(shù)在醫(yī)療護(hù)理領(lǐng)域中的應(yīng)用現(xiàn)狀，并分析其發(fā)展前景，為醫(yī)護(hù)人員充分利用體感交互技術(shù)開展醫(yī)療、護(hù)理工作提供參考。

1 體感交互類型及常用體感設(shè)備

體感交互技術(shù)按體感方式與原理可分為三大類：慣性感測(cè)、光學(xué)感測(cè)、慣性與光學(xué)聯(lián)合感測(cè)[5]。

1.1 慣性感測(cè) 主要是以慣性傳感器為主，例如用重力傳感器、陀螺儀以及磁傳感器等來感測(cè)使用者肢體動(dòng)作的物理參數(shù)，分別為加速度、角速度以及磁場(chǎng)，再根據(jù)這些物理參數(shù)求得使用者在空間中的各種動(dòng)作。蘋果智能手機(jī)使用了以三軸重力感測(cè)以及三軸磁傳感器為主的慣性感測(cè)，開發(fā)了手機(jī)體感設(shè)備。

1.2 光學(xué)感測(cè) 主要是通過光學(xué)傳感器獲取人體影像，再將此人體影像的肢體動(dòng)作與游戲情景中的內(nèi)容互動(dòng)，主要是以2D 為主，主要代表設(shè)備為EyeToy 和Kinect[5]。索尼公司的EyeToy 主要通過光學(xué)傳感器獲取人體影像，再將此人體影像的肢體動(dòng)作與游戲內(nèi)容互動(dòng)。EyeToy 已成功應(yīng)用于康復(fù)訓(xùn)練中，但其二維圖像處理的局限性也制約了此項(xiàng)技術(shù)在康復(fù)領(lǐng)域的發(fā)展。Move 控制器通過偵測(cè)手部在空間的移動(dòng)及轉(zhuǎn)動(dòng)，做到相當(dāng)精確的動(dòng)作感應(yīng)，提高了EyeToy 在康復(fù)領(lǐng)域中的應(yīng)用范圍和精度[6-8]。微軟公司的Kinect 可捕捉人體3D 全身影像，無須使用任何操作手柄便可達(dá)到體感效果[5]。Kinect 通過渲染數(shù)據(jù)，計(jì)算得到人體主要的20 個(gè)骨骼位置，以此來判斷人體姿勢(shì)，進(jìn)行骨架追蹤，進(jìn)而實(shí)現(xiàn)與虛擬環(huán)境的人機(jī)交互。國外學(xué)者發(fā)現(xiàn)該技術(shù)在醫(yī)療護(hù)理領(lǐng)域應(yīng)用有巨大潛力，開始研究基于Kinect傳感器的肢體運(yùn)動(dòng)康復(fù)訓(xùn)練技術(shù)，特別適用于肢體鍛煉、手指關(guān)節(jié)運(yùn)動(dòng)和平衡訓(xùn)練，同時(shí)，也可在教育教學(xué)、情緒管理、注意力訓(xùn)練等方面發(fā)揮作用[9-14]。當(dāng)血液在身體中流動(dòng)時(shí)，人體膚色會(huì)發(fā)生輕微改變，而新一代Kinect 將可以探測(cè)到這一變化，從而確定血液流動(dòng)的速度[15]。

1.3 慣性與光學(xué)聯(lián)合感測(cè) 主要代表設(shè)備為Wii，即在手柄上安裝1 個(gè)重力傳感器以及1 個(gè)紅外線傳感器，用以偵測(cè)手部三軸向的加速度和感應(yīng)紅外線發(fā)射器信號(hào)，通過偵測(cè)手部在垂直及水平方向的位移來操控空間鼠標(biāo)[5]。2009 年推出了Wii 手柄的加強(qiáng)版——Wii Motion Plus，主要是在原有的Wii 手柄上再插入1 個(gè)三軸陀螺儀，可更精確地偵測(cè)人體手腕旋轉(zhuǎn)等動(dòng)作，強(qiáng)化了在體感方面的體驗(yàn)，用于姿態(tài)不穩(wěn)及平衡失調(diào)病人的康復(fù)訓(xùn)練[16-18]。

2 體感交互技術(shù)在醫(yī)療護(hù)理領(lǐng)域中的應(yīng)用

2.1 認(rèn)知功能訓(xùn)練 陳長香等[19]研究結(jié)果顯示，體感互動(dòng)游戲可顯著改善腦卒中病人的短時(shí)記憶和長時(shí)記憶能力。周穎等[20]采用Kinect 體感游戲模式對(duì)腦卒中病人進(jìn)行訓(xùn)練，干預(yù)4 周后，體感游戲組病人的蒙特利爾認(rèn)知評(píng)估量表(MoCA)和簡(jiǎn)易精神狀態(tài)評(píng)價(jià)量表(MMSE)評(píng)分均高于常規(guī)康復(fù)組病人，有效改善了腦卒中病人的認(rèn)知功能。駱金維等[21]基于Kinect 體感器開發(fā)的一套幼兒認(rèn)知系統(tǒng)，實(shí)現(xiàn)了幼兒與系統(tǒng)之間互動(dòng)，帶幼兒進(jìn)入近似真實(shí)的環(huán)境中進(jìn)行認(rèn)知訓(xùn)練，在娛樂中提高了幼兒的認(rèn)知能力。

2.2 運(yùn)動(dòng)功能訓(xùn)練 體感游戲可以幫助病人進(jìn)行伸展運(yùn)動(dòng)[22]、力量運(yùn)動(dòng)[23]、平衡運(yùn)動(dòng)[23-24]、精細(xì)運(yùn)動(dòng)[22]等多種形式運(yùn)動(dòng)。Chang 等[10]開發(fā)的基于Kinect 系統(tǒng)的Kinerehab 系統(tǒng)可以對(duì)運(yùn)動(dòng)障礙病人進(jìn)行康復(fù)指導(dǎo)，并將Kinect 傳感器捕獲的病人關(guān)節(jié)點(diǎn)位置與計(jì)算機(jī)中的數(shù)據(jù)庫進(jìn)行匹配，計(jì)算出動(dòng)作到位的精準(zhǔn)程度，通過動(dòng)畫形式實(shí)現(xiàn)實(shí)時(shí)反饋。Belinda 等[25]開發(fā)了適宜平衡康復(fù)訓(xùn)練的體感交互游戲，使病人通過接收到的反饋信息進(jìn)行肩、肘等部位的平衡調(diào)整，提高平衡感知能力和運(yùn)動(dòng)功能。Brokaw 等[26]結(jié)合Kinect 傳感器設(shè)計(jì)了一個(gè)注重上肢運(yùn)動(dòng)指導(dǎo)和修正的家庭虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練系統(tǒng)，該系統(tǒng)的訓(xùn)練方式以監(jiān)控和糾正無治療師情況下的不恰當(dāng)姿勢(shì)代償為主，并且可提高訓(xùn)練的依從性。

2.3 行為監(jiān)測(cè) 體感交互技術(shù)還可以用于人體行為的監(jiān)測(cè)。如Kinect 體感設(shè)備通過獲取人體骨架關(guān)節(jié)點(diǎn)的空間位置，編輯摔倒識(shí)別特征，采用閾值法進(jìn)行檢測(cè)，實(shí)現(xiàn)對(duì)人體跌倒行為的監(jiān)測(cè)；也可以通過獲取彩色和深度圖像信息，如Rougier 等從前景圖中分割出人體圖像，提取重心高度，用人體重心與地面的距離以及人體重心的移動(dòng)速度進(jìn)行跌倒識(shí)別[27]。美國曾在老人中心安置Kinect 網(wǎng)絡(luò)傳感器，對(duì)老人的活動(dòng)進(jìn)行監(jiān)控，實(shí)時(shí)監(jiān)測(cè)他們的步行時(shí)間與速度等信息，當(dāng)發(fā)現(xiàn)有老人的運(yùn)動(dòng)指數(shù)偏離正常值時(shí)，會(huì)及時(shí)做出相應(yīng)的反饋，采取有效措施加以干預(yù)[28]。

2.4 生活技能訓(xùn)練 隨著體感交互技術(shù)的發(fā)展，運(yùn)動(dòng)員訓(xùn)練、駕駛員訓(xùn)練、日常生活能力訓(xùn)練等領(lǐng)域逐漸開始應(yīng)用該技術(shù)。研究顯示，體感音樂療法能有效緩解運(yùn)動(dòng)員的心理疲勞和身體疲憊感，使運(yùn)動(dòng)員更快進(jìn)入更好的訓(xùn)練狀態(tài)。對(duì)于團(tuán)體運(yùn)動(dòng)項(xiàng)目，還可以提高運(yùn)動(dòng)員的團(tuán)隊(duì)意識(shí)，對(duì)于一些危險(xiǎn)性比較高的運(yùn)動(dòng)也可以讓運(yùn)動(dòng)員提前訓(xùn)練熟悉，以減少傷害[29]。任青[30]通過體感游戲?qū)陋?dú)癥兒童進(jìn)行康復(fù)治療，以幫助其提高生活技能和交往能力。羅元等[31]利用Kinect 深度傳感器所獲取的深度信息圖像，協(xié)助殘疾人對(duì)輪椅運(yùn)動(dòng)的智能控制，方便下肢運(yùn)動(dòng)障礙的病人在康復(fù)過程中自理生活。經(jīng)過體感游戲的干預(yù)訓(xùn)練后，智障兒童的日常生活能力有所提高，在刷牙、洗臉、系扣子和使用餐具等日?；顒?dòng)的表現(xiàn)都有較為明顯的進(jìn)步[32]。

2.5 教育培訓(xùn) 將Kinect 作為教學(xué)輔助工具主要有2 種，Kinect 與電子白板結(jié)合和Kinect 與Powerpoint 結(jié)合。教師可以直接面對(duì)學(xué)生，通過簡(jiǎn)單的手勢(shì)去操作屏幕，如開啟功能菜單、放大縮小、寫字擦除、頁面移動(dòng)等，這樣不僅可以提高教學(xué)效率，而且可以提高課堂教學(xué)的交互性[33]。醫(yī)學(xué)教育中，為了提高學(xué)生的參與感，通過四方位的Kinect 布置，使用者可以利用深度傳感器和RGB 攝像頭分別捕獲3D 空間數(shù)據(jù)和影像數(shù)據(jù)，實(shí)時(shí)的3D 捕獲與顯示實(shí)現(xiàn)真正意義上的3D 建模。另外，Kinect 可與虛擬現(xiàn)實(shí)技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)相結(jié)合，為學(xué)習(xí)者提供身臨其境的體驗(yàn)，有助于提高學(xué)生的主觀能動(dòng)性，培養(yǎng)學(xué)生的創(chuàng)新思維和能力[2]。在幼兒教育領(lǐng)域，卡內(nèi)基梅隆大學(xué)的研究發(fā)現(xiàn)，采用體感技術(shù)進(jìn)行幼兒教育可以有效提高幼兒學(xué)習(xí)的有效性[12]。

2.6 其他領(lǐng)域 基于體感交互技術(shù)的眼動(dòng)儀可以記錄人在處理視覺信息時(shí)的眼動(dòng)軌跡特征，以此分析駕駛員的心理特點(diǎn)，給駕駛員實(shí)時(shí)反饋，減少交通事故發(fā)生率[34]。通過體感交互技術(shù)，可以為使用者創(chuàng)造身臨其境的感官體驗(yàn)與情境的互動(dòng)，降低對(duì)負(fù)性事件的關(guān)注，利用環(huán)境帶來的歡愉感受對(duì)抗負(fù)面心理狀態(tài)引起的情緒反應(yīng)，真正緩解負(fù)性情緒的影響。通過結(jié)合Kinect、LCD 顯示器與透視掃描儀，進(jìn)行手術(shù)影像無接觸交互平臺(tái)的搭建，可以幫助主刀醫(yī)生完成對(duì)數(shù)字圖像的放大、評(píng)議、旋轉(zhuǎn)與鎖定等任務(wù)[28]，提高外科手術(shù)的便捷性與準(zhǔn)確性。

3 體感交互技術(shù)的優(yōu)勢(shì)與不足

3.1 優(yōu)勢(shì)

3.1.1 增加興趣 體感游戲比傳統(tǒng)方法更能讓使用者有強(qiáng)烈的興趣和動(dòng)機(jī)進(jìn)行康復(fù)訓(xùn)練、參與學(xué)習(xí)等。Sun 等[35]對(duì)26 名老年人進(jìn)行了6 周控制試驗(yàn)，結(jié)果表明，老年人借助體感交互游戲進(jìn)行自發(fā)的身體康復(fù)鍛煉時(shí)，總鍛煉時(shí)長是在醫(yī)護(hù)人員監(jiān)督下進(jìn)行身體康復(fù)鍛煉時(shí)長的3 倍多。在教育方面，體感游戲可以充分激活學(xué)習(xí)者的視覺、聽覺、觸覺、肢體運(yùn)動(dòng)，并做出相應(yīng)反饋，使用戶產(chǎn)生身臨其境的感覺，有效提升其在游戲中的置入感、沉浸感。多感官的刺激能夠從多個(gè)通道同時(shí)促進(jìn)學(xué)習(xí)者的認(rèn)知過程，極大提高學(xué)習(xí)者的學(xué)習(xí)興趣和動(dòng)力[2]。

3.1.2 使用方便 隨著我國醫(yī)療技術(shù)的發(fā)展，現(xiàn)代化精密儀器、高新技術(shù)已廣泛應(yīng)用于臨床，但因條件所限，多數(shù)學(xué)生沒有機(jī)會(huì)了解某些危險(xiǎn)性較大、侵入性的操作，無法學(xué)習(xí)精密儀器的使用。利用基于體感交互技術(shù)的虛擬實(shí)訓(xùn)教學(xué)，可以在實(shí)訓(xùn)設(shè)備更新周期越來越短、院校招生規(guī)模增加的現(xiàn)狀下，使得更多護(hù)理專業(yè)學(xué)生得到充足的教學(xué)訓(xùn)練，緩解有限的試驗(yàn)空間和緊張的專業(yè)教學(xué)資源的問題。同時(shí)，利用體感交互技術(shù)進(jìn)行人機(jī)交互，可以降低因缺乏計(jì)算機(jī)操作經(jīng)驗(yàn)額外增加的認(rèn)知負(fù)荷和挫折感，增加學(xué)生參與感和控制感[2]。

3.1.3 功能多樣 體感交互系統(tǒng)已在多個(gè)領(lǐng)域得以應(yīng)用，如醫(yī)學(xué)監(jiān)測(cè)、技能訓(xùn)練、基礎(chǔ)教育、生活?yuàn)蕵?，深入從民生到專業(yè)領(lǐng)域的各個(gè)方面，發(fā)展?jié)摿O大。在醫(yī)學(xué)領(lǐng)域中，Kinect 體感技術(shù)目前主要應(yīng)用于康復(fù)訓(xùn)練、影像學(xué)、心理學(xué)、護(hù)理實(shí)踐、醫(yī)學(xué)教育等。體感游戲的形式多種多樣，從簡(jiǎn)單動(dòng)作的模仿訓(xùn)練到借助于不同載體的球類游戲、冒險(xiǎn)類游戲、益智類游戲、競(jìng)賽類游戲等，從教育的輔助工具發(fā)展為與虛擬現(xiàn)實(shí)結(jié)合進(jìn)行更為抽象的理論教學(xué)、技能訓(xùn)練、綜合能力培養(yǎng)等。

3.1.4 效果顯著 體感交互系統(tǒng)通過模擬器模擬出三維場(chǎng)景，讓使用者通過自己身體的動(dòng)作來控制游戲中人物的動(dòng)作，“全身”投入到游戲當(dāng)中，享受到前所未有的體感互動(dòng)新體驗(yàn)。多個(gè)研究已經(jīng)證明，體感交互技術(shù)能夠改善認(rèn)知功能[19-21]，促進(jìn)肢體運(yùn)動(dòng)能力的康復(fù)[10,25-26]，監(jiān)測(cè)人體行為[27-28]，提高生活能力[30-32]，提升教育培訓(xùn)效果[2,12]等。

3.2 不足

3.2.1 開發(fā)費(fèi)用較高 體感交互技術(shù)需要將現(xiàn)實(shí)世界轉(zhuǎn)化為特定的數(shù)字信號(hào)，其采樣、信號(hào)轉(zhuǎn)換、信號(hào)處理、關(guān)鍵點(diǎn)識(shí)別、數(shù)據(jù)分析等需要大量投入。同時(shí)，設(shè)備的服務(wù)成本也較高，更換零件的價(jià)格也較為昂貴，服務(wù)技術(shù)也需要相關(guān)專業(yè)人員的協(xié)助，因此，其開發(fā)和維護(hù)的成本決定了其較高的市場(chǎng)價(jià)格。

3.2.2 真實(shí)性還需增強(qiáng) 體感交互技術(shù)雖然在不斷進(jìn)行技術(shù)革新，但其對(duì)環(huán)境所呈現(xiàn)出的真實(shí)性還未能達(dá)到預(yù)期。由于真實(shí)性的制約，即使孤獨(dú)癥兒童在虛擬情境中學(xué)會(huì)了某項(xiàng)技能，并不代表其能夠在真實(shí)情景中熟練使用相關(guān)技能。因此，在未來的研究中，還需要利用合適的力學(xué)、動(dòng)力學(xué)反饋等技術(shù)手段增強(qiáng)其真實(shí)感。

3.2.3 對(duì)距離敏感，動(dòng)作捕捉延遲 目前，存在的動(dòng)作捕捉技術(shù)主要有光學(xué)式、機(jī)械式、慣性式和電磁式4 種，其中僅慣性式不受工作空間和距離限制，但由于誤差積累較快，目前還沒有完全成熟的應(yīng)用。同時(shí)，動(dòng)作捕捉的延遲依然存在。通常來說，延遲達(dá)到50 ms 即可在操作中感知到，更高要求的訓(xùn)練甚至不超過30 ms，然而技術(shù)較高的電磁式動(dòng)作捕捉的延遲最低也有33 ms，如果算上運(yùn)算和網(wǎng)絡(luò)等其他延遲問題，操作者的感知一定會(huì)受到影響[32]。因此，體感交互系統(tǒng)對(duì)于一些細(xì)致動(dòng)作的識(shí)別速度和精度還需要進(jìn)一步改進(jìn)。

3.2.4 可能造成二次傷害 穿戴式體感設(shè)備可以接受人體的生物信號(hào)，從而統(tǒng)計(jì)身體各種生理機(jī)能反饋出來的數(shù)據(jù)，極大地方便人們對(duì)身體健康狀態(tài)的把握。但設(shè)備自身存在電波信號(hào)，監(jiān)測(cè)數(shù)據(jù)通過WiFi 信號(hào)傳遞給云存儲(chǔ)系統(tǒng)，如何保證人體的健康不受影響、數(shù)據(jù)的安全是需要考慮的問題。同時(shí)，使用者可能會(huì)對(duì)游戲成癮，產(chǎn)生依賴，從而影響正常的生活；也可能在沒有專業(yè)人員的指導(dǎo)下出現(xiàn)不當(dāng)?shù)倪\(yùn)動(dòng)訓(xùn)練，造成肢體損傷；長久的屏幕亮度和嘈雜的游戲聲音也可能造成視覺、聽覺的損害[36]。因此，如何控制體感交互系統(tǒng)對(duì)使用者的二次傷害，將成為體感游戲發(fā)展的挑戰(zhàn)。

4 小結(jié)

體感交互技術(shù)被稱為“第三次人機(jī)交互革命的原點(diǎn)”，不僅給人們的娛樂帶來了全新體驗(yàn)，更為醫(yī)療、護(hù)理提供了全新模式。其所展現(xiàn)出來的獨(dú)特的沉浸感、功能的多樣化和集成化、更加自然有趣的互動(dòng)與反饋、在醫(yī)療護(hù)理應(yīng)用中的可行性和優(yōu)越性已得到證實(shí)。未來體感交互技術(shù)還需在降低成本、增強(qiáng)真實(shí)感和敏感性、避免二次傷害方面繼續(xù)努力，以促進(jìn)其更加廣泛的應(yīng)用與發(fā)展。