基于BCI-VR技術的新型上肢康復系統(tǒng)

徐森威,曾 虹,孔萬增,2

(1.杭州電子科技大學計算機學院，浙江 杭州 310018;2.浙江省腦機協(xié)同重點實驗室，浙江 杭州 310018)

0 引 言

上肢功能障礙是大部分功能障礙患者面臨的問題，也是康復研究的重點。傳統(tǒng)的康復治療方法只依靠專業(yè)人員對患者進行一對一康復訓練，不僅消耗大量的人力，而且因患者缺乏主動參與訓練的積極性導致大部分運動神經沒有被足夠刺激和反饋[1]。腦-機接口是一種在人腦和計算機或其他電子設備之間建立不依賴于常規(guī)大腦信息輸出通路的對外信息交流和控制的技術[2]。腦機接口除了替代病人的缺失功能外，另一個更復雜的用途是通過促進大腦的重塑來實現(xiàn)功能的代償，是一種新型的神經康復訓練方式，在功能障礙患者的神經康復訓練中起到積極促進的作用[3]。在神經康復訓練中，有效的反饋可以對相應的大腦活動進行調整和改善[4]，所以近幾年來，將BCI與虛擬現(xiàn)實技術相結合成為一種新的應用形式。在沉浸式虛擬現(xiàn)實環(huán)境下，仿真的感官刺激能對神經元起到更加明顯的調節(jié)作用，提升患者的康復效果，已有相關研究證明了BCI-VR康復模式的有效性[5]。本文利用WebVR技術構建了輕量級BCI-VR系統(tǒng)，在不影響受試者體驗的基礎上，快速構建虛擬環(huán)境，并通過健康人群實驗初步驗證了系統(tǒng)應用于手功能障礙患者醫(yī)療康復的可行性。

1 系統(tǒng)設計與實現(xiàn)

本文設計的BCI-VR系統(tǒng)由腦機接口(BCI)子系統(tǒng)和虛擬現(xiàn)實(VR)子系統(tǒng)組成，兩者使用同1個局域網內2個不同的主機。在BCI子系統(tǒng)中，腦電信號經過處理生成控制信號，并通過TCP/IP通信協(xié)議傳遞給VR子系統(tǒng)；VR子系統(tǒng)解析命令后，通過Socket協(xié)議實時控制相應的手臂動作。

1.1 VR子系統(tǒng)的設計

本文設計的VR子系統(tǒng)由兩部分組成，客戶端用于呈現(xiàn)虛擬現(xiàn)實效果，服務端用于接收、處理控制信號并控制客戶端的手臂動作，兩者之間通過Socket進行實時交互。Web客戶端以Three.js技術為基礎，在Web端實現(xiàn)了虛擬現(xiàn)實康復訓練場景，通過頭戴式(Head Mount Display, HMD)設備可以在沉浸式的虛擬環(huán)境中進行康復訓練。VR子系統(tǒng)主界面如圖1所示。

圖1 VR子系統(tǒng)主界面

VR子系統(tǒng)由Three.js為基礎的WebVR技術實現(xiàn)。雖然Unity3D開發(fā)引擎實現(xiàn)的虛擬現(xiàn)實環(huán)境具有高渲染度、高性能的特點，支持大型虛擬環(huán)境的構建，但是其開發(fā)周期長，且構建成本較高。目前大多數(shù)上肢康復系統(tǒng)對性能的要求很低，只需要完成簡單的動作即可，因此，可以使用輕量級的WebVR技術代替Unity3D開發(fā)引擎，在不影響受試者體驗的基礎上，大幅度減少開發(fā)成本。

1.2 仿真手臂模型的構建

仿真手臂模型通過Blender三維動畫制作軟件構建。首先，通過創(chuàng)建骨骼完成手臂骨架制作，并將骨架與手臂3D模型綁定，這是手臂和手指能夠運動的必要條件；其次，為了提高仿真度，使用與真實皮膚相同紋理的蒙皮效果，看起來和人真實的手臂基本相同，很大程度提高了患者在虛擬環(huán)境中的沉浸感。

仿真手臂的動畫效果，例如手臂屈伸，手指抓握等，由Three.js的補間動畫完成。同時為了盡可能實現(xiàn)仿真，手臂的大小和動作幅度都模擬真實的手臂動作實現(xiàn)。

1.3 自定義虛擬現(xiàn)實環(huán)境

在BCI-VR系統(tǒng)中，虛擬環(huán)境的背景圖由Insta360 one X全景相機拍攝。拍攝的全景圖以虛擬背景的形式映射到預先構建的虛擬場景中，并將仿真手臂模型放置在場景中心，按照人的真實感受設置仿真手臂模型的角度和位置，并根據(jù)視線的移動進行跟蹤移動。

使用全景預覽圖可以在不影響患者視覺效果的基礎之上，快速構建一個仿真的虛擬環(huán)境。同時，系統(tǒng)還提供了可視化接口，允許患者自定義虛擬現(xiàn)實環(huán)境，例如通過替換背景構建一個與患者家里環(huán)境相同的虛擬場景。

1.4 訓練模式

在初始化時，BCI-VR上肢康復系統(tǒng)共有2種訓練方式和4種訓練場景。如圖2所示?；颊咴谑褂脮r可以自由選擇圖2中的病房、輪椅、客廳等訓練場景，以及手臂屈伸和手掌抓握等訓練方式。訓練模式是固定的，訓練場景可以根據(jù)系統(tǒng)提供的可視化接口自由擴充。

圖2 BCI-VR訓練模式效果圖

由于使用Three.js這種輕量級的開發(fā)方式構建WebVR虛擬現(xiàn)實環(huán)境，系統(tǒng)可以在不降低性能的情況下，快速定制患者需要的虛擬現(xiàn)實環(huán)境，同時也不局限于這些場景，相比于傳統(tǒng)的使用Unity 3D構建虛擬現(xiàn)實場景的方式，節(jié)約了開發(fā)成本。

2 實驗與分析

2.1 實驗參與者

實驗招募了17名健康的在校大學生，其中5名女生和12名男生。每名參與者都閱讀并簽署知情同意書，并被告知實驗的內容及實驗數(shù)據(jù)的用途。

2.2 數(shù)據(jù)獲取

圖3 EEG電極位置分布圖

實驗使用NeuroScan腦電信號采集設備采集受試者的腦電圖(Electroencephalogram,EEG)信號。按照10/20國際標準系統(tǒng)[6]，將64個電極均勻分布在受試者頭皮的運動皮層周圍，接地電極REF為參考電極，使用的采樣頻率為250 Hz，采集的信號通過生物信號放大器進行放大并保存。EEG電極位置分布如圖3所示。實驗使用了Fz，F(xiàn)C3，F(xiàn)C1，C3，Cz，C4等22個電極，如圖3標注部分。

2.3 離線訓練

為了保證受試者有良好的精神狀態(tài)，所有實驗都在上午進行。整個實驗過程中，受試者靜坐在計算機屏幕前的椅子上，頭戴腦電帽和HMD頭顯，2只手臂放在腿上并保持放松，身體平穩(wěn)，休息期間也不能有大幅度的動作。

圖4展示了具有視覺刺激的數(shù)據(jù)采集實驗范式。整個實驗共分為8段，每段時間為5 min，受試者每進行一段實驗休息1 min。每段有30個試次，每個試次持續(xù)10 s。每個試次中，第0～3 s為休息時間，受試者處于放松狀態(tài)；第3～6 s為視覺刺激呈現(xiàn)時間，受試者可以看到虛擬現(xiàn)實中的左手抓握或右手抓握；第6～10 s為運動想象時間，受試者根據(jù)刺激呈現(xiàn)階段看到的動作進行運動想象，想象自己的左手抓握或右手抓握。

圖4 離線訓練實驗范式

2.4 在線訓練

通過模擬在線訓練來驗證BCI-VR系統(tǒng)應用于在線康復訓練的可行性。根據(jù)離線訓練采集的有效數(shù)據(jù)建立模型，受試者進行在線訓練時，訓練方式和要求與離線訓練一致。由于實驗中使用NeuroScan腦電信號采集設備，為實現(xiàn)腦電信號實時處理，系統(tǒng)改進了BCILab工具包[7]讀取腦電信號的過程。BCILab讀取腦電信號默認時間間隔為40 ms，實驗過程中每間隔40 ms從NeuroScan讀取一段長度為40 ms的腦電信號。為實現(xiàn)腦電信號拼接，對信號讀取過程進行修改，通過設置全局緩沖區(qū)來完成運動想象階段多段腦電信號的拼接與緩存，實現(xiàn)了腦電信號的在線處理效果，同時不會出現(xiàn)延遲或遺漏。腦電信號實時讀取與拼接如圖5所示。

圖5 腦電信號實時讀取與拼接

圖6展示了在線訓練時數(shù)據(jù)采集的實驗范式。在每個試次中，第0～2.0 s為休息時間，受試者可以進行短暫休息；第2.0～3.5 s虛擬場景中出現(xiàn)英文單詞“Left”或“Right”，提示受試者應該想象的動作；第3.5～7.5 s，受試者根據(jù)提示進行運動想象，運動想象結束之后，對采集的數(shù)據(jù)進行處理并顯示處理結果；第7.5～12.0 s，通過虛擬現(xiàn)實環(huán)境顯示運動想象的結果，如果想象成功，可以看到虛擬現(xiàn)實里的左右手抓握，就像控制自己的左右手抓握一樣。由于數(shù)據(jù)處理、數(shù)據(jù)傳輸?shù)倪^程可在1 s內完成，所以設置2 s的閾值，超過這個閾值，表示網絡錯誤，沒有收到相應的處理結果，直接顯示想象失敗。在線訓練的時長沒有限制，受試者可以根據(jù)自己的身體狀態(tài)進行調整。

圖6 在線訓練實驗范式

2.5 實驗結果分析

參加實驗的17名受試者中，有2名受試者沒有嚴格按照預先設定的實驗范式進行實驗，被判定為無效數(shù)據(jù)，最終保留15名受試者的有效數(shù)據(jù)集。

研究表明，共空間模式(Common Spatial Patterns, CSP)算法[8]作為典型的腦電信號特征提取算法，可以有效構建最佳空間濾波器區(qū)分多任務下的EEG信號，并且對于運動想象任務而言，相對于其他的算法具有更好的分類效果。本文設計的BCI-VR上肢康復系統(tǒng)使用CSP算法對采集的離線數(shù)據(jù)進行分析，每次離線數(shù)據(jù)處理過程中，測試集占比總數(shù)據(jù)集的20%，并經過十折交叉驗證，左右手運動想象任務的平均分類準確率達到84.5%。其中有4名受試者達到了90%以上的分類準確率，效果最差的受試者也達到了75%以上的分類準確率。

在線數(shù)據(jù)處理過程中，先使用2次離線采集的數(shù)據(jù)建立模型，再進行分析處理，多名受試者進行在線訓練的平均分類準確率為81.9%。受試者在進行主動運動想象的過程中，大部分的控制信號都能被成功分類，初步證明了該BCI-VR系統(tǒng)應用于康復醫(yī)療的可行性。

2.6 VR與3D動畫效果對比實驗

虛擬現(xiàn)實反饋相比于傳統(tǒng)的3D桌面動畫反饋而言，能夠提供更加真實的感官刺激，提高患者的治療積極性。為了分析兩者之間的差異性，本文進行了對比實驗。

實驗招募5名受試者，在同一天上午進行2次不同的實驗。第一部分的實驗，視覺刺激的呈現(xiàn)方式是3D桌面動畫，其余各階段的實驗內容都與離線訓練實驗范式相同。第一部分實驗結束之后，為了避免電極位置偏移，受試者不摘下腦電帽，原地休息10～20 min。相對于第一部分而言，第二部分的實驗僅把視覺刺激的呈現(xiàn)方式改成虛擬現(xiàn)實下的感官刺激，并要求受試者帶上HMD頭顯完成這一階段的實驗。整個實驗結束之后，需要受試者填寫問卷調查，針對實驗過程中的趣味性、疲勞度等方面進行評價，最后對比分析2次數(shù)據(jù)的分類效果。

圖7 VR與3D動畫效果對比實驗結果

在每次對比實驗中，都使用同一種算法進行偽跡去除以及數(shù)據(jù)處理。實驗表明，兩者在分類準確率上的表現(xiàn)類似，當切換為VR感官刺激時，并沒有發(fā)現(xiàn)性能的提升，兩者比較的具體結果如圖7所示。對比分析實驗結果發(fā)現(xiàn)，VR效果下的性能均比3D效果有所降低，原因可能是HMD頭顯及其他一些設備對受試者腦電信號產生了干擾。下一步可以設計針對VR環(huán)境下的偽跡去除算法，例如選用專用濾波器進行信號預處理以提升分類效果。

通過對受試者問卷調查分析發(fā)現(xiàn)，沉浸感較強的虛擬現(xiàn)實環(huán)境更能激發(fā)受試者的運動想象積極性，不容易產生疲勞，符合長期康復訓練的要求，更適合臨床的神經康復訓練。

3 結束語

本文設計了輕量級BCI-VR上肢康復系統(tǒng)。相比傳統(tǒng)的上肢康復系統(tǒng)，離線訓練與在線訓練平均分類準確率均有較大提升。在不降低受試者感官體驗的情況下，實現(xiàn)了虛擬現(xiàn)實環(huán)境的快速構建，同時，虛擬現(xiàn)實環(huán)境提供的沉浸式感官刺激有助于提高受試者訓練的積極性。但是，由于虛擬現(xiàn)實設備對腦電信號的干擾，相比3D桌面動畫的實驗環(huán)境，受試者運動想象的分類效果都有不同程度的降低，后續(xù)研究將針對虛擬現(xiàn)實環(huán)境下的干擾信號，設計更有效的偽跡去除算法以提高最終的康復訓練效果。