腦電與功能近紅外光譜技術在腦機接口中的應用

高宇航 司娟寧 何江弘 李夢

0 引言

自20世紀70年代初， Vidal[1]首次提出“腦-機接口(brain-computer interface,BCI)”概念以來，BCI在神經(jīng)科學、康復醫(yī)學、人工智能等領域受到越來越多的關注。BCI技術不依賴于外周神經(jīng)和肌肉組成的正常輸出通道，直接通過解碼大腦活動和控制計算機或其他外部設備，為存在運動、感覺、語言、認知等功能障礙的人群提供一種與外界交流的手段，也可以作為神經(jīng)康復工具改善這些人的運動和認知能力，具有很高的實用價值和廣闊的應用前景。近年來，隨著科學技術的飛速發(fā)展，各種尺度(宏觀、介觀、微觀)腦成像技術不斷涌現(xiàn)，極大地推動了BCI技術的發(fā)展，常見的有腦電圖(electroencephalogram,EEG)、功能磁共振成像技術(functional magnetic resonance imaging,fMRI)、功能近紅外光譜技術(functional near-infrared spectroscopy,fNIRS)等。EEG是一種直接記錄大腦神經(jīng)元電活動的非侵入式電生理技術，具有安全、便攜、低成本，時間分辨率高等特點。fMRI是一種基于血液動力學響應的間接反映神經(jīng)元活動的神經(jīng)影像學方式，具有很高的空間分辨率，然而磁共振掃描價格昂貴、設備沉重、對噪聲敏感、對被試體內金屬植入物限制、無法在日常環(huán)境下長時程連續(xù)掃描。fNIRS是新近發(fā)展起來的一種無創(chuàng)便攜式光學腦成像技術，利用氧合血紅蛋白(oxygenated hemoglobin,HbO)和脫氧血紅蛋白(deoxygenated hemoglobin,HbR)在近紅外光范圍內獨特的光學性質，實現(xiàn)腦功能活動的檢測。與fMRI技術相比，fNIRS便攜、低成本，具有較高的時間分辨率，可長時間連續(xù)檢測，對運動噪聲不敏感和環(huán)境要求低等優(yōu)勢，有較高的實用價值。

相比于單一模態(tài)，多模態(tài)融合技術可以充分發(fā)揮不同模態(tài)信息互補的優(yōu)勢，從神經(jīng)元活動、血氧變化、能量代謝、神經(jīng)遞質釋放等多方位、多角度聯(lián)合表征大腦的功能活動，為研究BCI提供強大的推動力。本文綜述了EEG、fNIRS及EEG-fNIRS多模態(tài)融合技術在BCI中的應用現(xiàn)狀，歸納各技術的研究成果，探討其局限性和改進方式，并對未來BCI的發(fā)展做了展望。

1 EEG技術在BCI中的應用

1.1 EEG概述

EEG技術是目前研究中最成熟的BCI技術。EEG是一種典型的非侵入式BCI，主要通過放置在頭皮的電極，將腦部的自發(fā)性生物電信號加以放大、記錄而得到波形[2]。EEG是腦神經(jīng)細胞的電生理活動在大腦皮質或頭皮表面的總體反映，具有安全無創(chuàng)、便攜可移動、時間分辨率高、可長時程連續(xù)反復測量等優(yōu)勢，廣泛應用于大腦信號的研究和檢測各類腦功能疾病，如睡眠檢測、癲癇診斷等[3-4]，EEG技術還能通過電刺激的輔助激發(fā)大腦潛能，提升腦功能。近年來EEG-BCI研究的主要研究成果如表1所示。

表1 EEG-BCI的研究成果Table 1 Summary of EEG-BCI research achievements

1.2 研究成果

Mishuhina等[5]在2018年提出了一種新的特征加權和正則化(feature weighting and regularization,FWR)方法，結果表明此方法在標準光譜模式和常規(guī)空間光譜模式上的應用效果良好，且通過第三屆BCI競賽IIIa數(shù)據(jù)集和第四屆BCI競賽IIa數(shù)據(jù)集分析驗證，相比于傳統(tǒng)的特征選擇方法，F(xiàn)WR方法提高了分類準確率。近年來，隨著人工智能技術取得的跨越式發(fā)展，深度學習方法也逐漸被應用于腦電分類識別當中。傳統(tǒng)的腦電分類識別主要由人工完成信號特征的提取，而深度學習不依賴于人工提取特征，而是基于模型逐層提取數(shù)據(jù)中的特征，分類速度和準確性明顯提高。許學添等[6]在2021年提出將圖卷積網(wǎng)絡算法應用到運動想象分類中，通過多個節(jié)點腦電信號的相關系數(shù)建立腦電圖結構，最后通過全連接層輸出分類效果，通過第四屆BCI競賽IIa數(shù)據(jù)集數(shù)據(jù)集驗證取得80.9%的準確率。

Holz等[7]在2015年通過基于事件相關電位(event-related potentials,ERP)的BCI技術研究肌萎縮性側索綜合征(amyotrophic lateral sclerosis,ALS)患者的運動能力，證明在14周時間內ALS患者通過使用經(jīng)典的P300拼寫器能夠在其家庭環(huán)境中操作必要的軟件，如文字處理、繪畫、電子郵件和控制家用電器等。Boonyakitanont等[8]在2019年綜合總結EEG信號在表征癲癇發(fā)作時的特征描述及其解釋，對分類性能指標進行綜述，并進行獨立的實驗來檢測每個特征的質量，結果表明根據(jù)方差、能量、峰度等特征能夠很好地捕捉癲癇發(fā)作。張錦等[9]在2020年提出了一種簡化深度學習模型研究癲癇腦電識別問題，利用經(jīng)驗模態(tài)分解選取不同階次本征模態(tài)函數(shù)分量，結果表明對于五類不同的腦電信號，前三階的本征模態(tài)函數(shù)分量的識別率達到92.1%。

由表1所示，基于EEG-BCI研究現(xiàn)狀可以看出此項技術的可行性。EEG-fNIRS主要通過測量運動想象任務、認知任務等過程中，受試者任務相關皮質區(qū)域根據(jù)不同特征提取算法得到的頻率、方差等特征指標，并利用機器學習算法基于提取的特征指標進行分類識別。

受試者任務相關皮質區(qū)域根據(jù)不同特征提取算法得到的頻率、方差等特征指標，并利用機器學習算法基于提取的特征指標進行分類識別。針對健康被試，研究者主要通過在已有的經(jīng)典算法中進行創(chuàng)新，希望能夠實現(xiàn)新的算法或更優(yōu)的算法組合以達到更高的分類準確率，從而提高BCI系統(tǒng)的實用性。在針對患者的研究中可以看出BCI可以有效檢測到患者的殘余意識，幫助具有嚴重功能障礙的患者建立與外界的交流通道，捕捉癲癇發(fā)病信號，為患者的及時治療提供保障，或者一定程度上恢復運動障礙患者的運動能力，操作簡單的軟件。隨著BCI技術的不斷成熟，它會在未來造福更多患者。

然而，EEG也存在一些局限性。一方面，與傳統(tǒng)的輸入技術相比，目前BCI的性能水平仍然很低，不支持快速復雜的通信和控制。另一方面，由于EEG測量的復雜性以及精神任務(如運動想象、心算等)對于注意力的依賴性，將BCI系統(tǒng)從控制良好的實驗室環(huán)境過渡到現(xiàn)實生活環(huán)境仍是一個挑戰(zhàn)。

2 fNIRS技術在BCI中的應用

2.1 fNIRS概述

fNIRS技術是一種利用近紅外光來檢測組織血氧變化的無創(chuàng)、實時、可長時間連續(xù)監(jiān)測的新型光學腦功能成像技術[22]。早在1977年，Jobsis等[23]在Science雜志上發(fā)表文章指出，近紅外光(波長為550 nm-950 nm)可以穿透一定厚度的生物組織，可用于檢測大腦的氧合水平。隨后該技術獲得了生物醫(yī)學領域的極大關注，經(jīng)過數(shù)十年的發(fā)展，目前該技術已被廣泛應用于大腦的正常功能活動[16]、BCI以及疾病狀態(tài)下的腦機制研究，如精神分裂癥、抑郁癥、癲癇、意識障礙等疾病[21]。此外，該技術在兒童、嬰幼兒的認知發(fā)育或疾病診斷領域獨具優(yōu)勢[24]。fNIRS技術低成本、便攜、安全、具有較高的時間分辨率和適中的空間分辨率、對運動噪聲具有較強的容忍力，而且可以同時測量HbO、HbR及總血紅蛋白(total hemoglobin,HbT)濃度的變化，信息量更加豐富，非常適合于BCI研究，近年來fNIRS-BCI的主要研究成果如表2所示。

表2 fNIRS-BCI的研究成果總結Table 2 Summary of fNIRS-BCI research achievements

2.2 研究成果

李玉等[16]在2020年研究fNIRS對單個肢體動作運動想象的可行性，以HbO 信號的相關系數(shù)等信息作為新的特征，并采用 SVM 對右腳3種運動想象動作進行分類，平均分類準確率約78%，結果表明基于 fNIRS 信號可以有效分類單個肢體不同運動想象動作。

Chaudhary等[18]在2017年利用fNIRS通過指導閉鎖綜合癥(locked-in state,LIS)患者對幾個問題思考是或否，并且使用開放式句子的交流，其中3/4的患者分類準確率超過75%。同年Androu等[19]利用fNIRS進行LIS患者腦功能檢測的研究，在沒有任何事先訓練的情況下，一名LIS患者成功地利用運動想象打網(wǎng)球實現(xiàn)與外界提出的簡單交流。Borgheai等[21]在2020年發(fā)了一種新的基于fNIRS-BCI系統(tǒng)，并結合單次試驗視覺心理范式(visuo-mental,VM)來研究增強ALS患者溝通能力的可行性，結果表明相較于傳統(tǒng)方法，fNIRS-VM的準確率顯著提升。

由表2所示，經(jīng)過數(shù)十年的發(fā)展，基于fNIRS技術的BCI在健康正常被試及特殊人群中取得了良好的應用效果。fNIRS-BCI主要通過測量運動想象任務、視覺任務、認知任務等過程中，受試者任務相關皮質區(qū)域的血氧響應函數(shù)(HbO、HbR、HbT)的均值、峰值、方差、斜率、相關系數(shù)等特征指標，通過機器學習算法進行分類識別，均取得一定的成果，為增強BCI系統(tǒng)的準確性與實用性，研究者將更多精力集中于算法的創(chuàng)新。在針對患者的研究中，BCI技術使閉鎖綜合征患者成功擺脫了語言和動作交流的局限，對于是否問題的判斷有較高的準確率，同時實現(xiàn)了ALS患者與外界的交流和控制能力，并且逐步探索以增強這種能力，為運動障礙患者帶來更大的福音。

然而，fNIRS技術也存在一些弊端，如空間定位能力有限，且容易受呼吸、心跳等生理噪聲的影響。除了這兩種技術自身的局限性，單模態(tài)BCI本身也存在一些不足：(1) 分類的精度和速度。去噪過程會增加計算復雜度和時間成本，若不進行去噪處理，分類速度雖然提升，但精度卻明顯下降，如何同時提升分類的精度和速度仍需要進一步研究。(2) 信號變化緩慢。 fNIRS的光信號不會受到電磁特性影響，但由于血液動力學響應的慢變特性導致血氧信號變化較慢。(3) 個體差異性。BCI對于不同受試者會產(chǎn)生不同的效果，反映出受試者大腦活動的差異，例如已經(jīng)證實的“BCI盲[25]”問題，如何讓BCI系統(tǒng)適合大多數(shù)被試需要進一步研究。(4) BCI系統(tǒng)的指令豐富性和實用性。目前單一模態(tài)的輸出指令有限，需要更加豐富的指令實現(xiàn)更多功能。此外，由于BCI技術本身的限制，一般的實驗條件都是出于實驗室環(huán)境，將其過渡到現(xiàn)實環(huán)境仍然是一個挑戰(zhàn)。

3 EEG-fNIRS多模態(tài)融合技術在BCI中的應用

3.1 EEG-fNIRS概述

多模態(tài)BCI將EEG、fNIRS、fMRI等多種模態(tài)技術融合，相比單一模態(tài)，多模態(tài)融合技術可以實現(xiàn)從神經(jīng)電生理、血氧活動及能量代謝等多個角度對腦活動的實時監(jiān)測，充分發(fā)揮不同模態(tài)信息的互補優(yōu)勢，為研究大腦的功能活動提供強大的推動力。EEG技術具有很高的時間分辨率，但空間分辨率受限；fNIRS的空間分辨率適中，但實時性較差。基于EEG-fNIRS的多模態(tài)融合技術可整合二者的時空分辨率的優(yōu)勢。此外，這兩種技術均具備安全無創(chuàng)、價格低廉、便攜可移動、信號易獲取、可在自然環(huán)境中使用以及可長時程連續(xù)監(jiān)測等特點，二者的融合可同時獲得大腦神經(jīng)元電活動與血氧代謝變化，更加全面、準確反映大腦的功能活動。與單一模態(tài)相比，EEG-fNIRS融合技術通過融合不同類型(神經(jīng)元電活動信號、血紅蛋白濃度變化信號)的特征來提高分類精度，增加控制命令的數(shù)量，豐富和強大系統(tǒng)的功能。結合EEG-fNIRS的多模態(tài)融合技術目前已成為BCI發(fā)展的重要工具，近年來的主要研究成果如表3所示。

表3 EEG-fNIRS的多模態(tài)融合研究成果總結Table 3 Summary of EEG-fNIRS multi-mode fusion research achievements

3.2 研究成果

Verma等[26]在2019年研究結合EEG和fNIRS同時分類運動圖像任務的左、右抓取運動時BCI的表現(xiàn)是否有所提高，結果表明使用多模態(tài)方法的BCI與僅基于EEG的BCI相比，其分類準確率提高了約8%～10%。

Sargent等[27]在2018年通過基于EEG-fNIRS的BCI系統(tǒng)驗證精神疲勞是否能夠誘發(fā)大腦激活的變化，8名參與者參與了這項研究，其中2名ALS患者和6名健康對照組，結果表明EEG和fNIRS可用于評估長期腦機輔助使用期間的腦激活變化，將進行進一步的分析以確定精神疲勞的生物標記。

研究發(fā)現(xiàn)基于EEG-fNIRS多模態(tài)融合的BCI性能明顯優(yōu)于單一模態(tài)。EEG與fNIRS的多模態(tài)融合技術彌補了EEG技術空間分辨率低的問題，而且fNIRS測量信號產(chǎn)生的時間滯后問題可以通過優(yōu)化選擇特征和更復雜的算法來改善。研究表明，結合EEG和fNIRS的多模態(tài)BCI將腦電信號與腦血氧信號的特征融合到一起進行分類識別，不僅克服了單一模態(tài)的局限性，提高了系統(tǒng)的分類準確率，而且性能更穩(wěn)定，應用更廣泛。另外，多特征融合可以從多角度、多方位更加全面地反映腦功能的激活情況，使系統(tǒng)獲得更多的指令信息，驗證了其對于復雜機制的研究的優(yōu)越性，進一步增強了BCI系統(tǒng)的實用性。綜上所述，多模態(tài)BCI技術勢必會成為未來BCI發(fā)展的重點研究方向，也勢必會加快推進BCI的實用化進程。

然而，目前基于EEG-fNIRS的多模態(tài)融合技術也面臨一些困難。一方面，由于時間分辨率不完全匹配和血液動力學響應固有的延遲，這會在一定程度上影響特征的同步性；另一方面，由于EEG和fNIRS記錄位置的不匹配可能會影響大腦神經(jīng)血管耦合機制解釋。根據(jù)以往文獻，已有學者給出了上述問題的解決辦法。對于第一個問題，Morioka等[34]提出基于fNIRS信息的腦電皮質電流解碼方法，使用fNIRS特征作為先驗信息來估計EEG中的皮質腦電信號，證明在空間注意任務中此方法性能優(yōu)于僅基于腦電信號的解碼方法，Sangtae等[35]提出基于特征歸一化的特征組合方法，通過歸一化0～1范圍內EEG和fNIRS的特征，并應用特征的總和，在檢測疲勞駕駛任務中獲得比單模態(tài)更好的BCI性能，盡管還需要進一步的優(yōu)化探索，但這兩種方法可能是未來的解決方案，可以克服目前在融合EEG-fNIRS特征方面的局限性。針對第二個問題，在實驗準備階段盡可能地匹配好EEG電極與fNIRS光極的空間位置，由于fNIRS記錄到的血液動力學響應位于光源發(fā)射端和探測器的中間位置，因此EEG電極應該放置在發(fā)射端和探測器中間，從而使二者的空間位置匹配。另外，fNIRS信號的信噪比可能會受到被試頭發(fā)的影響，實驗準備環(huán)節(jié)一定要確保光極與頭皮良好的接觸。

4 應用前景

腦機接口的相關技術日益趨向成熟，目前研究方向逐漸由實驗室研究專用向日常生活普遍應用探索。根據(jù)總結腦機接口的已有研究和各類預測，其發(fā)展前景主要體現(xiàn)在以下幾個方面。

(1) 醫(yī)療。BCI系統(tǒng)廣泛應用在康復醫(yī)學中，為存在嚴重功能障礙的患者提供與外界交流的通道，也可用于恢復運動障礙患者的運動能力，即通過被試指令性腦電信號控制外部設備，協(xié)助患者進行肢體運動，如機械臂、輪椅等，以便用戶可以自由移動。為保障安全性，此系統(tǒng)不能承受高錯誤率，且需保障傳輸速率以提供實時控制。除此之外，通過對信號的分類識別處理能夠實現(xiàn)對神經(jīng)系統(tǒng)疾病和心理檢測的監(jiān)測與治療，例如早期診斷阿爾茨海默病以降低發(fā)病率，預測癲癇發(fā)病，構建睡眠質量自動監(jiān)測系統(tǒng)。

(2) 軍事。BCI系統(tǒng)在軍事應用的潛力主要體現(xiàn)在：① 提高作戰(zhàn)人員的認知能力，為其提供融合BCI系統(tǒng)的頭盔或其他裝備，在計算機中實時監(jiān)測軍人的大腦活動狀態(tài)，當出現(xiàn)緊急情況時及時提供反饋以減少軍人的應激反應，提升軍人的作戰(zhàn)反應能力，近些年來美軍提出了“感知操控”“代理戰(zhàn)士”等概念，這種人機結合的方式必定是未來軍事領域的重點研究方向；② 協(xié)助操控無人設備，代替作戰(zhàn)人員深入危險區(qū)域，也可避免作戰(zhàn)時的體力消耗，此項技術已在實戰(zhàn)中被驗證有效性；③ 進行高效保密的軍事通信，此技術的成功將是對通信技術領域的一種革命式的改變。

(3) 游戲娛樂。目前的網(wǎng)上娛樂方式需要通過鍵盤、鼠標等設備來操控游戲，利用BCI的方式可以通過思維來進行操控，機器通過編碼給予大腦反饋，讓人類在大腦中實現(xiàn)觸覺等感知效果，但真正實現(xiàn)還需要相關人員深入研究，BCI與虛擬現(xiàn)實技術相結合的研究將會成為游戲界一次革命性進展。

(4) 其他應用。除了上述應用以外，近些年BCI對教育、環(huán)境控制、智能通信等方面的研究也逐漸增多，其中環(huán)境控制領域，例如腦控智能家居對運動障礙人士非常有效。目前針對BCI技術的研究大多處于實驗室階段，將其過渡到現(xiàn)實環(huán)境中還需要各界科學人士進一步的探索研究，接下來BCI技術對于新的應用領域的研究以及如何將各種領域、各項技術相結合，開發(fā)一套實用、便攜、綜合的BCI系統(tǒng)是未來發(fā)展的一個重要方向。

5 總結與展望

BCI技術是一門涉及神經(jīng)科學、康復醫(yī)療、人工智能等多學科的交叉技術，可以實現(xiàn)人腦與外界的信息交互。近些年來基于BCI的研究取得了不少令人矚目的成果，研究人員也與日俱增。

通過對BCI的研究成果總結，基于EEG、fNIRS的BCI技術發(fā)展已經(jīng)逐漸成熟，給予功能障礙患者極大的幫助，目前存在的主要問題是BCI系統(tǒng)的準確性與實用性，體現(xiàn)在分類的準確率和系統(tǒng)的傳輸速率，同時保障系統(tǒng)的穩(wěn)定性，以及將受控的實驗環(huán)境過渡到現(xiàn)實環(huán)境中，這就需要相關人員對基于傳統(tǒng)算法上的創(chuàng)新研究。除此之外，通過對已有的研究分析可以看出目前單模態(tài)BCI本身還存在缺陷，而多模態(tài)融合技術可以實現(xiàn)從神經(jīng)電生理等多個角度對腦活動的實時監(jiān)測，同時獲得大腦神經(jīng)元電活動與血氧代謝變化，更加全面、準確地反映大腦的功能活動，已有不少研究證明其性能優(yōu)于單一模態(tài)，因此一種多模態(tài)融合BCI的研究方式更值得期待。當然，目前多模態(tài)融合的研究也存在一些局限性，不過有些研究中已經(jīng)提出了克服當前局限性的可能途徑，為接下來的研究提供參考。針對BCI的研究會對醫(yī)療，以及軍事教育等領域帶來重大的促進作用。

目前BCI正處于快速發(fā)展的階段，但目前這項技術還存在問題，由于它建立了一條大腦與計算機之間通信的道路，因此導致的傳輸速度問題、精度問題、適應性問題、實用問題還需進一步研究改善。相信隨著BCI技術的深入研究會有更重大的突破，展現(xiàn)出更大的應用前景，給人們帶來更多便利。