面向中高頻SSVEP腦機接口的編解碼算法研究

許敏鵬 吳喬逸 熊文田 肖曉琳 明東

（1.天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院，天津 300072；2.天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072）

1 引言

腦-機接口（brain-computer interface，BCI）是在人腦與計算機或其他電子設(shè)備之間，建立起不依賴于常規(guī)大腦信息輸出通路（外周神經(jīng)及相關(guān)肌肉組織）的全新信息交流和控制技術(shù)［1］，實現(xiàn)對人體中樞神經(jīng)系統(tǒng)功能的修復(fù)［2］、增強［3］、補充甚至替代［4］。在各種生理信號采集技術(shù)中，非侵入式頭皮腦電圖（electroencephalography，EEG）因其具備低成本、快響應(yīng)、易部署等優(yōu)點被廣泛用于構(gòu)建BCI系統(tǒng)，常用頭皮腦電特征信號包括事件相關(guān)電位（event-related potentials，ERPs）［5-7］、運動想象（motor imagery，MI）［8-10］、穩(wěn)態(tài)視覺誘發(fā)電位（steady-state visual evoked potentials，SSVEPs）［11-13］以及它們的組合［14］。其中SSVEP 因其具有信息傳輸率高、抗干擾能力強、個體變異性小等優(yōu)點受到了研究者的廣泛關(guān)注。在典型SSVEPBCI 系統(tǒng)中，多個刺激目標(biāo)按照不同頻率與初始相位同時進行閃爍。當(dāng)受試者視線聚焦于其中一個目標(biāo)上時，大腦視覺皮層將出現(xiàn)與刺激的基波和高次諧波頻率一致、相位鎖定的特征響應(yīng)，通過檢測SSVEP 中的頻率與相位特征就能識別當(dāng)前受試者所注視的刺激目標(biāo)。

根據(jù)閃爍頻率，SSVEP可分為低頻段（8～15 Hz），中頻段（15～30 Hz）和高頻段（≥30 Hz）?；诼?lián)合頻率-相位調(diào)制（joint frequency-phase modulation，JFPM）編碼方法設(shè)計的低頻40 指令集系統(tǒng)是目前信息傳輸率（information transfer rate，ITR）最快的BCI 系統(tǒng)，理論值最高可達352.3 bits/min［15］。然而低頻SSVEP-BCI 系統(tǒng)存在諸多缺陷：1）低頻強光閃爍容易引起受試者視覺疲勞；2）低頻特征信號易受alpha波段神經(jīng)振蕩的影響產(chǎn)生誤檢；3）低頻系統(tǒng)指令集數(shù)量受到帶寬限制，難以進一步拓展。

為了解決上述問題，研究者們在系統(tǒng)范式設(shè)計上做出了很多新的嘗試。在頻率方面，Diez 等人［16］基于37～40 Hz 刺激設(shè)計了一套4 指令集異步系統(tǒng)，受試者的ITR表現(xiàn)差異較大（4～45 bits/min）；Chen等人［17］基于30～33 Hz刺激設(shè)計了一套4指令集無監(jiān)督腦控機械臂操控系統(tǒng)，平均ITR僅有14.21 bits/min。在編碼方面，Kimura 等人［18］提出了頻控鍵移法（frequency shift keying，F(xiàn)SK），把不同閃爍模式分配給“0”和“1”，通過多位二進制數(shù)字編碼指令集；Han等人［19］通過時-頻-相多址混合技術(shù)，設(shè)計了一種P300-SSVEP 混合范式BCI 系統(tǒng)，可幫助構(gòu)音障礙患者實現(xiàn)正常交流，首次實現(xiàn)了BCI 領(lǐng)域指令集數(shù)量（108）與信息傳輸率（172.46 bits/min）“雙百”的重大突破；最近Chen 等人［20］利用多頻序列（multiple frequencies sequential coding，MFSC）方法設(shè)計了一套160 指令無監(jiān)督SSVEP-BCI 系統(tǒng)，進一步擴展了指令集數(shù)量。

綜上所述，目前見刊的中高頻SSVEP-BCI 系統(tǒng)普遍存在控制指令少、系統(tǒng)解碼效率低的缺陷，而上述構(gòu)建大指令集的編碼方法僅部署于低頻段，尚未有研究成功將其拓展至中高頻段。針對以上缺點，本研究基于中高頻SSVEP 腦電特征，設(shè)計了一套編解碼算法：在編碼上，基于碼分多址（code division multiple access，CDMA）思想設(shè)計Code Words 范式，將具有相同頻率、不同相位的SSVEP 閃爍刺激與靜止圖塊分別設(shè)置為基本碼元（Codes）并組合成不同碼詞，利用單個頻率可實現(xiàn)多達6個輸出指令，通過不同頻率分別編碼可實現(xiàn)指令集數(shù)量的成倍擴增；在解碼上，使用集成任務(wù)相關(guān)成分分析［21］（ensemble task-related component analysis，eTRCA）算法提取具有時序、頻率與相位差異的多維融合特征，實現(xiàn)復(fù)雜信號的精準(zhǔn)識別。本研究有助于探索中高頻段SSVEP 的編解碼潛力，為研發(fā)高舒適、大指令、少訓(xùn)練的實用型腦-機交互系統(tǒng)提供關(guān)鍵技術(shù)支撐［22］。

2 方法與實驗

2.1 受試者

共有10 名受試者（5 名男性，5 名女性，年齡在20～24歲）參與離線實驗。各位受試者身體健康，視力正?；虺C正后正常。實驗程序得到了天津大學(xué)倫理委員會批準(zhǔn)，所有受試者在實驗之前閱讀和簽署了知情同意書，實驗后獲取了相應(yīng)的酬勞。

2.2 編碼方法與實驗設(shè)計

Code Words 范式的用戶界面是一個包含6個字符的2×3 刺激矩陣。每個刺激是一個180×180 像素的方塊，呈現(xiàn)在24 inch 的LCD 顯示屏上。屏幕分辨率為1920×1080 像素，刷新率為240 Hz。編碼方式與刺激分布如圖1 所示，每個目標(biāo)刺激序列由6 個等長碼元構(gòu)成，碼元“0”與“1”分別表示頻率相同、相位相反的300 ms SSVEP閃爍刺激，碼元“P”表示灰色靜止圖片，據(jù)此單個刺激頻率可實現(xiàn)6 個控制指令。在不同組別中，有效碼元頻率分別設(shè)置為20、24、30 和40 Hz，采用正弦采樣近似編碼視覺閃爍。刺激程序使用PsychoPy 3 在Python 環(huán)境下開發(fā)。

圖1 6指令Code Words系統(tǒng)的刺激設(shè)計與分布Fig.1 Stimulus design and distribution of the 6-target Code Words BCI system

實驗包含4個頻率各15輪，共計60輪。每一輪的6 個試次分別對應(yīng)于6 個字符。每個試次開始于一個0.5 s 的黃色三角提示，受試者在提示消失前需要盡快將視線轉(zhuǎn)移到相應(yīng)字符上。提示結(jié)束后，全體刺激目標(biāo)根據(jù)各自編碼開始呈現(xiàn)1.8 s，刺激結(jié)束后有0.5 s 休息時間。受試者被要求在目標(biāo)刺激呈現(xiàn)期間避免眨眼以及肢體運動。為了緩解視覺疲勞，每隔3個輪次進行1～5 min休息。受試者坐在距離屏幕70 cm 左右的舒適椅子上，在光線微弱的電磁屏蔽隔離室中進行實驗。

2.3 數(shù)據(jù)收集與信號處理

本實驗使用的腦電放大器是Neuroscan 公司開發(fā)的64 導(dǎo)聯(lián)Synamp2 系統(tǒng)，電極位置依照國際10-20 系統(tǒng)標(biāo)準(zhǔn)設(shè)置（見圖2），參考電極放置于頭頂，接地電極放置于前額區(qū)域。單電極阻抗控制在5 kΩ 以下，采樣率為1000 Hz，系統(tǒng)內(nèi)置50 Hz 陷波濾波器以去除工頻噪聲干擾，選用枕區(qū)9 導(dǎo)聯(lián)（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz 和O2）的數(shù)據(jù)進行后續(xù)分析。

圖2 64導(dǎo)聯(lián)電極位置分布圖Fig.2 64 electrodes distribution

使用MNE 的mne.filter.filter_data（）函數(shù)設(shè)計有限脈沖響應(yīng)（finite impulse response，F(xiàn)IR）帶通濾波器，窗函數(shù)為hamming 窗，阻帶截止頻率設(shè)為18 Hz 和60 Hz，下截止頻率過渡帶寬度為4.5 Hz，上截止頻率過渡帶寬度為15 Hz，濾波器長度為最短過渡帶倒數(shù)的3.3 倍，通過預(yù)先截取標(biāo)簽前數(shù)據(jù)保證有效數(shù)據(jù)的長度滿足濾波器需求。

2.4 解碼算法

Nakanishi 等人［21］于2017 年將任務(wù)相關(guān)成分分析（task-related component analysis，TRCA）用 于SSVEP 信號的模式識別，如今TRCA 已成為SSVEP檢測的標(biāo)準(zhǔn)算法之一。其空間濾波器ω可通過最大化濾波后信號的試次間相關(guān)性得到，具體計算公式見式（1）至式（4）：

其中Xi是單類別第i試次數(shù)據(jù)，表示試次疊加平均模板；Nc表示導(dǎo)聯(lián)總數(shù)目；Np表示有效數(shù)據(jù)采樣點數(shù)；Nt表示訓(xùn)練試次數(shù)。S的表達式中由于運算所引入的試次自相關(guān)成分一般可以忽略不計，且常系數(shù)不影響矩陣特征分解的結(jié)果，所以目標(biāo)函數(shù)可以簡化為式（4）：

根據(jù)廣義瑞利商的結(jié)論，目標(biāo)函數(shù)最優(yōu)解是矩陣Q-1S的最大特征值對應(yīng)的特征向量。Nakanishi還提出了集成任務(wù)相關(guān)成分分析eTRCA，該方法通過級聯(lián)操作獲取高維濾波器與二維模板：

其中χ表示單試次測試信號，corr2（）表示計算二維Pearson 相關(guān)系數(shù)。預(yù)測目標(biāo)類別為最大特征系數(shù)所對應(yīng)的類別k。

2.5 性能評估

信息傳輸速率ITR（bits/min 或bpm）是目前最常用的BCI 系統(tǒng)性能綜合評估參數(shù)，它考量了分類準(zhǔn)確率（P）、時間（T）與指令集數(shù)量（N）共3 個指標(biāo)［23］：

其中T指完成一輪刺激并輸出結(jié)果所需的總時長，包括視線轉(zhuǎn)移時間（0.5 s）、視覺通路延遲（0.14 s）與刺激持續(xù)時長（1.8 s），在本研究中共計2.44 s。

3 結(jié)果

3.1 Code Words特征

Code Words 信號本質(zhì)上是具有時序編碼特性的SSVEP 響應(yīng)，一般在Oz 導(dǎo)聯(lián)處特征最明顯。因此首先分析Oz 導(dǎo)聯(lián)處的時域波形來研究新范式下誘發(fā)的腦電特征。以24 Hz刺激頻率為例，圖3顯示了來自10名被試的6個字符各150次試驗數(shù)據(jù)疊加平均獲得的時域波形，其中0 ms 是閃爍刺激開始0.14 s后的時刻。在有效編碼區(qū)段能夠觀察到具有對應(yīng)頻率、相位與時序的SSVEP 成分。進一步截取并對不同頻率的有效碼元依次進行二分類測試，各測試條件下均重復(fù)10次蒙特卡洛交叉驗證取均值，結(jié)果如圖4 所示：中頻段碼元之間的可分性普遍較好；在40 Hz高頻段下，由于受試者之間存在一定的個體差異，在訓(xùn)練樣本較少時整體分類結(jié)果較差，但隨著樣本數(shù)量上升，分類準(zhǔn)確率也逐漸穩(wěn)定于較高水平。綜合以上結(jié)果表明，本研究設(shè)計的Code Words刺激能夠在特定時段內(nèi)穩(wěn)定誘發(fā)具有相應(yīng)頻率與相位的SSVEP 響應(yīng)，初步證明了新范式的有效性。

圖3 Code Words時域波形圖（24 Hz）Fig.3 Averaged waveform of Code Words data（24 Hz）

圖4 單頻率有效碼元分類結(jié)果Fig.4 2-target classification accuracy of Codes

3.2 解碼結(jié)果

分別使用TRCA 與eTRCA 對4種刺激頻率下的Code Words數(shù)據(jù)依次進行6分類，使用配對t檢驗差異顯著性。結(jié)果如圖5 所示，在中頻段刺激下，TRCA 與eTRCA 的6 分類結(jié)果不具備顯著性差異；在40 Hz高頻段下，當(dāng)訓(xùn)練樣本量較少時，eTRCA 的解碼能力優(yōu)于TRCA（*p＜0.05，**p＜0.01，***p＜0.001），隨著訓(xùn)練樣本量增加，兩種算法的平均分類準(zhǔn)確率均穩(wěn)定于較高水平（＞90%）。

圖5 單頻率Code Words分類結(jié)果Fig.5 6-target classification results of Code Words

基于以上結(jié)果，使用性能更穩(wěn)定的eTRCA 算法對不同頻率刺激下的Code Words 數(shù)據(jù)進行組合分類，即2種頻率組合的12分類、3種頻率組合的18分類以及4 種頻率組合的24 分類，驗證通過增加有效編碼的頻率種類直接倍增指令集數(shù)量的可行性。分類準(zhǔn)確率如圖6（a）至（c）所示，在12分類、訓(xùn)練樣本量為2 時，24 Hz &30 Hz 組合優(yōu)于30 Hz &40 Hz的純高頻組合（Δ=11.48 %，p＜0.01），當(dāng)訓(xùn)練樣本量為9 時，該差異依舊存在（Δ=4.33%，p＜0.05）；在18 分類、訓(xùn)練樣本量為2 時，20 Hz&24 Hz&30 Hz組合優(yōu)于20 Hz &24 Hz &40 Hz 組合（Δ=9.73 %，p＜0.01）；而訓(xùn)練樣本量為10 時，具有統(tǒng)計學(xué)意義的差距依然存在（Δ=3.44%，p＜0.05）。以上結(jié)果表明影響分類性能的主要因素是頻率升高后誘發(fā)信號質(zhì)量的下降，該負面影響在現(xiàn)有編解碼策略下難以通過增加訓(xùn)練量加以平衡。圖6（d）對不同頻率組合下Code Words 系統(tǒng)的最優(yōu)理論ITR 值進行了比較（6 指令集的刺激頻率為24 Hz，12 指令集的頻率組合為24 &30 Hz，18 指令集為20 &24 &30 Hz）。在具有10 個訓(xùn)練樣本時，盡管分類準(zhǔn)確率相對較低，但由于指令集數(shù)量增加，18 指令集系統(tǒng)的平均ITR 值（86.94±6.07 bits/min）優(yōu)于6 指令集（Δ=30.19 bits/min，p＜0.001）與12 指令集（Δ=8.94 bits/min，p＜0.05）。18 指令集與24 指令集（81.71±5.95 bits/min）之間的差異不具備統(tǒng)計學(xué)意義。以上結(jié)果表明在合適的范圍內(nèi)通過簡單增加頻率種類的方法成倍擴充編碼數(shù)目，能夠有效提升BCI系統(tǒng)性能。圖6（d）中每位受試者的具體ITR 情況詳見表1。

圖6 組合頻率Code Words分類結(jié)果Fig.6 Multi-target classification results of Code Words

表1 組合頻率Code Words系統(tǒng)理論ITR（bits/min）結(jié)果Tab.1 ITR（bits/min）results of Multi-target Code Words systems

4 討論

離線實驗結(jié)果證明，本研究設(shè)計的方法能夠有效編解碼中高頻SSVEP 特征，且具備相當(dāng)程度的可擴展性。目前該套算法的研究尚處于初級階段，深入研究有希望進一步提高分類精度，增強系統(tǒng)實用性。

4.1 解碼方法的優(yōu)化

在解碼算法上，除了eTRCA，還有很多根據(jù)TRCA 思想設(shè)計與改進的新算法能夠提供更強的分類效能。例如Tanaka等人［24］為了克服試次間初始相位隨機性而提出的xTRCA、Wong等人［25］結(jié)合相鄰目標(biāo)刺激數(shù)據(jù)提出的多重刺激eTRCA（multi-stimulus eTRCA，ms-eTRCA）、Liu 等人［26］提出的任務(wù)判別成分分析（task discriminant component analysis，TDCA）等。相比于普通（e）TRCA 算法，上述算法在不同方面的性能上分別有所提升，例如少訓(xùn)練樣本下的魯棒性、受試者個體有效信息的利用率、跨頻率分析的差異捕獲能力等。

在以往報導(dǎo)中，為了充分利用SSVEP 的高次諧波信息，研究者們通常使用濾波器組技術(shù)［21］提升（e）TRCA 算法的性能，范式刺激頻率大多為常規(guī)低頻段的8～15.8 Hz。SSVEP 的二次、三次乃至四次諧波分量可能都包含了足夠高的能量，因此融合各子帶分量的特征有利于增加分類器的識別能力。然而在本研究中，閃爍刺激的最低頻率就已達到20 Hz，高頻達到40 Hz，這類SSVEP 的高次諧波可能并不包含足夠的有效成分，而且研究者一般將背景腦電信號視為具有1/f分布的寬帶隨機信號，在經(jīng)過高下限截止頻率的帶通濾波處理后，空碼區(qū)段的腦電信號也可能出現(xiàn)與刺激頻率相關(guān)的偽跡成分，因此我們認為包含濾波器組的方法可能并不適用，在本文中也沒有進行相關(guān)嘗試。

在解碼策略上，目前的分類方法需要針對每個刺激目標(biāo)采集數(shù)據(jù)并建模，而本研究設(shè)計的Code Words 范式本質(zhì)上僅由少數(shù)有效碼元組合而成，因此利用少量原始數(shù)據(jù)或額外采集的SSVEP 數(shù)據(jù)對短時長碼元建模，有希望實現(xiàn)對長序列Code Words信號的識別分類，相關(guān)研究正在進行當(dāng)中。此外，利用遷移學(xué)習(xí)技術(shù)在少量訓(xùn)練數(shù)據(jù)的基礎(chǔ)上批量生成模擬樣本［27］，有可能與該策略產(chǎn)生良好的化學(xué)反應(yīng)。

4.2 編碼方法的優(yōu)化

我們調(diào)研了其他基于SSVEP 的編碼范式，從中挑選代表性研究與Code Words 范式進行理論參數(shù)對比，結(jié)果展現(xiàn)于表2。

表2 Code Words與其他SSVEP范式研究的對比Tab.2 Comparison of Code Words and other SSVEP paradigms

與JFPM編碼方法相比，本文設(shè)計的Code Words優(yōu)勢主要有兩點，其一是使用中高頻閃爍刺激，用戶體驗感較好；其二是基于單頻率編碼多指令，具有高度可擴展性，不易受帶寬制約。Code Words 的劣勢主要在于刺激時間偏長且不可變更，嚴(yán)重影響了系統(tǒng)ITR 指標(biāo)。與現(xiàn)有基于MFSC 編碼方法的工作相比，Code Words在ITR 指標(biāo)上具有一定優(yōu)勢，合理編碼方式與先進解碼算法起到了關(guān)鍵作用。

盡管如此，現(xiàn)有Code Words 范式依舊存在廣闊的改進空間。目前單個刺激頻率僅能編碼6個獨立的控制指令，這主要是受到了有效編碼率（33.3%）的限制。本研究結(jié)果表明，增加頻率種類雖然能夠擴充指令集數(shù)量，但是效率相對較低，且與低頻段不同，中高頻段可用的頻率選擇存在較大局限性，間隔過小或跨度太大都會影響分類精度。因此通過增加有效編碼率，提高單頻率可編碼的指令集數(shù)量，從根本上提高信號間可分性是一種效率更高、更具有研究價值的方法，相關(guān)研究也正在進行當(dāng)中。

需要強調(diào)的是，增加有效編碼率并不意味著取消空碼的設(shè)計，也不等同于減少碼元長度或者增加碼詞長數(shù)。若在本研究中采用“0-1”編碼的FSK 范式，單頻率最高可實現(xiàn)64 個控制指令，然而編碼集稀疏性將大幅減小，導(dǎo)致指令可分性弱化。同時頻繁的碼元切換可能對SSVEP 波形產(chǎn)生未知影響；若將碼元長度縮短至150 ms，碼詞長度相應(yīng)地擴增為12 位，編碼稀疏性雖然得以提升，但碼元響應(yīng)強度將減弱，特征顯著性受到影響。因此如何優(yōu)化碼元長度、碼元種類以及碼詞長度亟待深入研究。

除此之外，為了穩(wěn)步推進腦-機接口系統(tǒng)的實用化進程，有必要在現(xiàn)有中高頻刺激范式的基礎(chǔ)上通過其他方式繼續(xù)改善使用舒適度，例如改變刺激面積［30］、使用有色刺激［31］等，在上述領(lǐng)域進行探索有利于減輕BCI 系統(tǒng)應(yīng)用的認知負擔(dān)，實現(xiàn)更自然的腦機交互與意圖表達。

5 結(jié)論

本研究基于中高頻SSVEP 腦電特征設(shè)計的編解碼算法能夠有效誘發(fā)、提取與識別具有時-頻-相多維度的融合特征，Code Words 特征信號具有廣闊的潛在應(yīng)用和研究價值。以上結(jié)果為研究高速高通量、舒適易部署的視覺型腦-機交互系統(tǒng)提供了重要依據(jù)與全新的探索方向。