混合腦機接口的研究進展①

李自娜,徐 歡,潘家輝,2

1(華南師范大學 計算機學院,廣州 510631)

2(華南師范大學 軟件學院,佛山 528225)

1 引言

腦機接口(Brain-Computer Interface,BCI)是一種無需外周神經和肌肉的參與,將大腦活動產生的信號轉換成控制信號,并使用這些信號控制外部設備的技術[1],如圖1.近年來,腦機接口因其潛在的臨床應用價值而日益受到學術界和公眾的關注.例如,BCI 可以提供增強或修復運動功能,給有嚴重運動障礙的患者帶來很大的幫助.目前,提取大腦信號最常用的方式為非植入式,包括功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)、腦磁圖(Magneto Encephalo Graphy,MEG)、腦電圖(Electro Encephalo Graphy,EEG)和功能近紅外光譜(functional Near-Infrared Spectroscopy,fNIRS)[2].雖然腦電圖具有低信噪比和低空間分辨率,但它無創(chuàng)、便攜、低成本、性能好,實時響應,在技術上比其他腦信號要求低.因此,它在腦機接口中已被普遍使用.本文主要講述基于EEG 的腦機接口.基于EEG 的混合腦機接口使用的大腦模式包括Farwell和Donchin 在1988年提出的P300 視覺誘發(fā)電位[3]、Muller 等人提出的穩(wěn)態(tài)誘發(fā)電位(如穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visual Evoked Potentials,SSVEP))[4]以及由運動想象(Motor Imagery,MI)產生的事件相關異步/同步(Event-Related Desynchronization/Synchronization,ERD/ERS)[5].

圖1 腦機接口系統(tǒng)的信號處理流程

單一模態(tài)的腦機接口系統(tǒng)在范式設計、腦信號處理算法和控制系統(tǒng)方面已經取得了重大進展,然而依然存在不足.如基于運動想象的BCI 需要受試者進行大量練習,這會使得患者容易疲憊,從而影響患者的思維集中,影響腦信號質量；基于P300 位的BCI 需要多次重復閃爍,長時間的重復閃爍,也對患者的腦信號產生影響；基于SSVEP 的BCI 上的控制命令數(shù)量受刺激頻率及其他因素影響,特別是當腦機接口的命令數(shù)增加時,分類精度下降.此外,這些腦機接口系統(tǒng)還面臨著一些挑戰(zhàn),包括低信息傳輸速率、多方面/功能控制、人機適應性、魯棒性和穩(wěn)定性.

解決上述挑戰(zhàn)的潛在方法是使用新開發(fā)類型的腦機接口系統(tǒng),即混合腦機接口.正如Allison 研究團隊所描述的[6],混合腦機接口(hybrid Brain-Computer Interface,hBCI)由腦機接口系統(tǒng)和附加系統(tǒng)組成,該附加系統(tǒng)可能是第二個腦機接口系統(tǒng),并且被設計成比常規(guī)腦機接口更好地執(zhí)行特定目標.hBCI 的主要目標有(1)提高BCI 的分類精度,(2)增加大腦控制命令的數(shù)量,(3)減少大腦信號檢測時間.研究人員嘗試尋找多種大腦信號從而提高控制命令的數(shù)量,典型例子為SSVEP和P300 組合,運動想象(Motor Imagery,MI)和SSVEP 組合成的hBCI[4].

本文主要介紹hBCI 的類型及其應用.首先介紹了hBCI 的概念,然后主要講述幾種代表性hBCI 的一般原理、刺激范式、實驗結果、及其應用,最后討論了hBCI 的應用前景和研究方向.

2 混合腦機接口

Pfurtscheller 等人[7]認為hBCI 類型除了簡單的BCI組合外,還需要滿足以下四個標準：(1)活動直接從大腦中獲得；(2)應采用多種大腦信號采集方式中的至少一種來獲取這種活動,這種活動可以是電位的、磁場的或血液動力變化形式；(3)必須實時/在線處理信號,以建立大腦和計算機之間的通信,以產生控制命令；(4)必須提供描述大腦活動結果以進行通信和控制的反饋.

近年來,符合這些標準的hBCI 著重于提高活動檢測的準確性,增加控制命令的數(shù)量,對健康受試者和患者以更好地通信和控制.“混合BCI”和“多模式BCI”是兩個高度相關的概念.Li 等人[8]認為“混合腦機接口”和“多模態(tài)腦機接口”是對BCI 相同定義的可互換術語.

本文提到的hBCI 主要分為3 大類,如圖2所示.(1)基于多種腦模式的hBCI,其中至少有兩種腦模式使用(P300和SSVEP 或MI和P300),在這種hBCI 類型中,多腦模式由單一感覺刺激誘發(fā)；(2)基于多種感覺刺激的hBCI,其中大腦模式通過多感覺刺激,如視聽刺激,同時誘發(fā),在這類hBCI 中,一種或多種腦模式由多個感覺刺激誘發(fā)；(3)基于多種信號的hBCI,其中在hBCI 系統(tǒng)中組合兩個或多個輸入信號,例如EEG、MEG、fMRI、NRIS、EOG 或EMG.表1列出了3 大類hBCI 近年來的代表性應用及其性能指標.

3 混合腦機接口類型

3.1 基于多種大腦模式的hBCI

hBCI 結合了多種大腦模式,例如P300、S SVEP和MI.此類hBCI 已經被設計用于各種應用,例如拼寫器[13],空閑狀態(tài)檢測[26],矯形器[27],輪椅導航[28]和計算機部件的控制,例如二維(2D)光標[29],鼠標[30],瀏覽器[31],或郵件客戶端[32]等.在本節(jié)中,我們主要描述基于P300和SSVEP 的hBCI、基于MI和SSVEP 的hBCI和基于MI和P300 的hBCI.

圖2 本文所討論的混合腦機接口類型

表1 混合腦機接口的代表性應用研究

3.1.1 基于P300和SSVEP 的hBCI

2014年Bi 等人[9]提出了基于SSVEP和P300 的混合范式用于開發(fā)基于速度-方向的光標控制.在這個研究中,P300 的刺激在屏幕上下側分布,而檢測SSVEP的刺激(可順時針或逆時針旋轉控制設備)在屏幕的左右兩側顯示,使用基于支持向量機的分類的方法,結果顯示該hBCI 的準確率超過90%.

Pan 等人[33]使用SSVEP和P300 的混合范式在意識障礙患者(Disorders Of Consciousness,DOC)檢測到意識.在該實驗中,將兩張照片呈現(xiàn)給每一個病人：一張是病人自己的,另一張是陌生人的,病人將注意力集中在自己的或陌生人的照片上.BCI 系統(tǒng)使用P300和SSVEP 的特征檢測病人注意到哪一張照片.8 名患者(4 名處于植物人狀態(tài)(Vegetative State,VS),3 名處于最小意識狀態(tài)(Minimally Conscious State,MCS),另一個處于閉鎖綜合癥(Locked-In Syndrome,LIS))參與實驗.使用SVM 基礎分類器,1 名VS 患者、1 名MCS患者以及1 名LIS 患者能夠選擇自己或別人的照片(分類準確率,66%-100%),該結果表明能夠使用hBCI 識別患者命令跟隨,從而證明了他們存在一定的認識能力和意識.

3.1.2 基于MI和SSVEP 的hBCI

將SSVEP和MI 結合的原因有4 個：(1) SSVEP和MI 相關的大腦模式同時產生.(2) SSVEP 是一種可以在經過少量訓練的不熟悉受試者中穩(wěn)定檢測到的誘發(fā)電位,而對于大多數(shù)新用戶來說,比較難適應去完成MI 任務這個過程.(3) SSVEP 可以基于腦電數(shù)據(jù)的單個試驗來檢測,這種檢測不需要平均過程.(4)非視覺訓練會挫敗受試者,而SSVEP 為吸引受試者參與MI任務,提高受試者的表現(xiàn)提供了可能解決方案.

Yu 等人[34]將SSVEP和MI 相結合,為MI 訓練提供有效的連續(xù)反饋.最初,分類器為SSVEP 分配較大權重,以便在訓練開始期間得到正確的反饋.隨著訓練進行,受試者減少對SSVEP 刺激的視覺注意力,但是對MI 心理任務保持持續(xù)關注.當受試者適應節(jié)奏活動時,分類器將權重轉向MI.該研究表明hBCI 能用于加強MI 訓練,并只需5 次訓練(約1.5 小時)后便產生可區(qū)分的大腦模式.

3.1.3 基于MI和P300 的hBCI

基于EEG 的BCI 系統(tǒng)的一個重要方面是多維控制,它涉及多個獨立的控制信號.這些控制信號可以從多個腦模式獲得,例如MI和P300.一方面P300 表示的是用于產生離散控制輸出命令的可靠類型的腦模式.另一方面MI 對于產生連續(xù)控制命令更為有效.

MI和P300 相關的任務在現(xiàn)實環(huán)境中已廣泛應用.Long 等人[30]為二維光標控制和目標選擇提出了一種結合MI和P300 的hBCI,如圖3所示.研究人員使用了SVM 分類方法,成功試驗的平均準確率為92.84%,如果光標成功移動到目標,目標選擇準確率的平均為93.99%.此外,還收集了數(shù)據(jù)集用于離線分析,以證明與單獨使用P300 電位或MI 特征相比,P300 電位和MI 混合特征用于目標選擇/拒絕的優(yōu)勢.實驗結果表明,混合特征的使用準確率顯著高于僅使用MI 或P300 電位特征(混合特征：83.10±2.12%；MI 特征：71.68±2.41%；P300 特征：80.44±1.82%).這種混合系統(tǒng)具有三個優(yōu)點.首先,基于MI和P300 電位產生兩個獨立的控制信號.第二,用戶可以將光標從任意位置移動到隨機定位的目標.第三,這種采用MI和P300 電位兩種模式的混合控制策略比單獨使用MI 或P300 電位的控制策略提供更好的識別性能.多個控制信號對于輪椅的多維控制也是必不可少的.在一項研究中,Long等人[35]還提出了基于MI和P300 電位的hBCI 范式,以提供方向(左或右)和速度控制(加速和減速)命令來操作實際輪椅.

圖3 hBCI 的GUI 結合了MI和P300 電勢的2D 光標控制和目標選擇,其中一個光標(黑色小圓),目標(灰色小正方形),和8 個閃爍按鈕(3 個“Up”,3 個“Down”和2 個“Stop”).

3.2 基于多種感官刺激的hBCI

3.2.1 視-聽覺hBCI

人類擁有的多個感官為處理來自現(xiàn)實世界的信息提供路徑.多感官刺激的融合可加強自上而下的注意力,這些增強的效果可能有助于改善BCI 系統(tǒng)的性能.基于這一考慮,基于視-聽覺和視-觸覺的hBCI 被提出來,其中用于提高系統(tǒng)性能的是雙峰刺激.

Belistk 等人[36]提出了離線的基于視-聽覺的P300拼寫器和相應的數(shù)據(jù)分析結果.研究表明在視-聽覺條件下,P300 反應的強度高于僅視覺或僅聽覺條件下P300 反應的強度.An 等人[37]探索了用于與注視無關的BCI 的并行拼寫器,其中聽覺和視覺域彼此獨立.他們的結果表明,15 個用戶可以在線拼寫,平均準確率為87.7%.這些現(xiàn)有結果表明,視聽整合可能是增強大腦模式和進一步改善腦機接口性能的潛在方法.Wang等人[38]提出一種新視-聽覺BCI 系統(tǒng),該系統(tǒng)基于數(shù)字使用上的空間,時間語義一致的視聽覺刺激.該視-聽覺BCI 系統(tǒng)應用于DOC 患者的意識檢測.

目前,DOC 患者,比如植物人狀態(tài)或最低意識狀態(tài)的臨床診斷和意識評估主要依賴于行為觀察量表,如昏迷恢復量表.由于這些患者不能提供足夠的行為反應,因此存在很高的誤診率(范圍從37%到43%).檢測這些患者的意識是非常具有挑戰(zhàn)性的.2018年,Pan 等人[16]利用視-聽hBCI 對DOC 患者意識檢測和在線交流的潛在應用進行探索.在8 名DOC 受試患者中,有兩名取得高于隨機水平的準確率,并且有一名患者意識上有所恢復.然而,嚴重腦損傷的DOC 患者使用BCI 的能力比健康個體低得多.一種可能的解決方案是應用上述視-聽覺hBCI 以提高覺察檢測的靈敏度.

3.2.2 視-觸覺hBCI

上述的hBCI 需要視覺上的交互來關注刺激和反饋,這限制了它們對具有良好視力和完整注視控制的用戶的適用性.由于用戶在操作聽覺或觸覺BCI 時不需要視覺交互,基于聽覺/觸覺的雙峰刺激方法可能允許視覺掃描無關的BCI.在之前的研究中,Yin 等人[39]提出了一種方向一致的雙模態(tài)P300 BCI,使用來自同一空間方向的聽覺和觸覺刺激的同時呈現(xiàn).

聽-觸覺BCI 研究仍處于研究開發(fā)的初期階段.例如,Rutkowski和Mori 研究的針對視力和聽力受損的用戶的觸覺和聽覺BCI[40],這些現(xiàn)有的結果揭示了聽-觸覺BCI 的幾個優(yōu)點.第一,聽-觸覺雙模態(tài)BCI 比聽覺或觸覺單模態(tài)P300 BCI 具有更好的整體系統(tǒng)性能.第二,在視覺計算機應用中,聽-觸覺BCI 提供了目標感官領域有吸引力的可能性,可以不依賴于視覺刺激,以誘發(fā)電位,盡管使用這種系統(tǒng)獲得的性能低于依賴于注視轉移的BCI 的性能.第三,視-觸覺BCI 對患有受損視力的用戶來說,是另一種可選擇的BCI.

3.3 基于多種信號的hBCI

構建hBCI 系統(tǒng)可以使用多個信號,包括EEG,MEG,fMRI,EOG,NRIS和EMG.不同腦信號具有不同的信號特征,因此可用于不同的功能.常見的hBCI如基于EEG和EMG 的hBCI,基于EEG和EOG 的hBCI,基于EEG和fMRI 的hBCI,基于EEG和MEG的hBCI和基于NIRS和fMRI 的hBCI.

Leeb 等人[41]提出了一種結合EEG和EMG 的hBCI.在每次試驗中,根據(jù)視覺提示(指向左或右的箭頭),受試者被指示用左手或右手(即用拳頭握住手)進行5 秒的重復運動.研究人員分別對EEG和EMG 信號進行處理和分類,然后融合；采用典型變量分析來選擇使不同任務之間的可分離性最大化的受試者特定特征,使用根據(jù)與訓練數(shù)據(jù)來訓練高斯分類器的交叉驗證確定的穩(wěn)定特征.所得到的特征以受試者特定的方式閾值化,歸一化,并基于最大距離分類.最后,使用貝葉斯方法融合兩個分類器概率以產生一個控制信號.

單獨EEG 活動的準確率73%,EMG 活動為87%.然而,在hBCI 中,精度提高到91%.此外,為了模擬疲勞的肌肉,肌電通道的振幅在運行期間降低(從10%衰減到100%),使得EEG 活動在融合數(shù)據(jù)中變得越來越重要,因為肌電肌肉變得更加疲勞.結果表明,肌肉疲勞增加導致性能中度退化.受試者可以獨立于其肌肉疲勞水平來實現(xiàn)對其hBCI 的良好控制.這代表了EEG和基于EMG 的BCI 系統(tǒng)的明顯優(yōu)勢.

由于許多殘疾人仍然控制著他們的眼睛運動,所以對于許多用戶來說,EOG 信號是BCI 系統(tǒng)輸入信號的適當選擇.最近,一些研究已經結合EEG和EOG 來構建hBCI,如前面所提到Pan 等人[16]所做的研究就是結合EEG和EOG 對DOC 患者進行的研究.

4 總結與展望

本文主要討論了幾種hBCI 類型和不同的刺激設計以及他們的性能分析.為了提高系統(tǒng)性能,研究人員設計了新的刺激模式,可以得出,對于系統(tǒng)性能來說,刺激范式是一個重要的因素.hBCI 將為解決腦機接口領域的問題提供途徑,比如在速度和實用性提高上,不僅提供了多個獨立的控制命令,而且提高了準確率.

考慮到3 類hBCI 及其各自的應用,我們可以總結出hBCI 的2 方面優(yōu)勢.(1) 提高目標檢測性能.hBCI已被證明能夠改善目標檢測性能,如前面所述.帶來這些改善的2 個主要策略如下：① 多種大腦模式(例如MI、P300和SSVEP) 的組合,或者多種信號(例如EEG、EMG、EOG 或NIRS)的融合可以在特征級執(zhí)行.② 通過呈現(xiàn)多感覺刺激(如視聽刺激)增強大腦模式.(2) 多維功能控制.文中給出了基于混合BCI 的多維或功能控制的實現(xiàn)方法和若干應用系統(tǒng).可以采用3 種主要方法：① 結合多種大腦模式以獲得多個獨立的控制信號,例如基于MI和P300 的2D 光標控制和基于MI和SSVEP 的矯形器控制；② 使用不同的信號特性來執(zhí)行不同的功能,例如基于EEG和EOG 的機器人控制.hBCI 系統(tǒng)可以涉及多腦模式、多感覺模式、或多信號輸入.為了確保這些成分在hBCI 系統(tǒng)中的有效協(xié)調,需要研究相關的腦機制.然而,迄今為止對hBCI 的腦機制研究很少.

此外,未來的研究應該集中在hBCI 的設計和實現(xiàn)上,在設計開發(fā)一個hBCI 時,應考慮以下6 個方面：(1)由至少一種大腦信號獲取模式組成；(2)多模態(tài)系統(tǒng)應同時處理和檢測不同的生理信號；(3)該范式應該能夠使用多種模式獲得多個大腦活動；(4)為了提高分類精度和生成額外的控制命令,需要實時/在線獲取作為分類的特征；(5)分類輸出應具有與外部設備(如輪椅和機器人)連接的潛力；(6)它還應該為用戶的康復和控制目的提供反饋.當設計一個基于多腦模式的hBCI 時,一個挑戰(zhàn)是確定腦模式的最佳組合,該組合在用戶中可以考慮不同,以完成期望的目標.在設計多感覺混合型腦機接口時,一個挑戰(zhàn)是確保所需的大腦模式通過多感覺刺激得到增強.在未來,我們可以考慮涉及視覺,聽覺和觸覺方式的更多的組合多感官刺激.對于基于多個信號的hBCI,一個挑戰(zhàn)是確保充分利用不同信號的優(yōu)點,從而改善系統(tǒng)性能.此外,還應考慮基于EEG和fMRI 的實時hBCI,因為以下因素：EEG數(shù)據(jù)(由fMRI 掃描儀產生)中的高噪聲、慢響應、高維數(shù)和fMRI 數(shù)據(jù)的低時間分辨率.hBCI 的一個潛在應用是腦機制研究.在設計用于共享控制的hBCI 時,必須考慮人機適應/學習的范式,以優(yōu)化用戶和機器的耦合,并建立能夠有效地融合用戶意圖和機器決策的模型.未來的研究應該集中于這些問題.到目前為止,大多數(shù)hBCI 系統(tǒng),如本章所討論的BCI 瀏覽器和BCI 輪椅,都是基于健康受試者設計的.考慮到健康受試者和患者之間的主要差異,這些系統(tǒng)需要擴展供患者使用.

將來,研究人員將研究和設計一個更重要的刺激機制,從而提高混合系統(tǒng)的性能,附加的控制信號也會得到實現(xiàn),研究人員也會探索可以提高分類器的因素.當前的混合BCI 依然需要時間去訓練分類器的參數(shù),以及減少時間的需求.近幾年的多模態(tài)腦機接口越來越多的應用到臨床中,如偏癱病人[42,43],以及意識障礙患者的恢復和治療[16,44].無論如何,很明顯,未來的hBCI 研究還有很大的空間,尤其是它的應用.這個領域還很年輕,盡管已經引入了若干通信和控制策略,但沒有商業(yè)上可用的hBCI.毫無疑問,幾項控制和康復應用的突破即將到來.