基于RCSP 的言語想象多分類任務(wù)

劉艷鵬，羅建功，劉化東

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引 言

腦機接口（Brain-Computer Interface，BCI）[1-2]技術(shù)為言語障礙患者提供了一種新的交流方式，這是一種不依賴于正常外周神經(jīng)和肌肉通路，而是直接通過大腦與外部輔助設(shè)備交互的通信系統(tǒng)。目前常見的BCI 系統(tǒng)范式有基于P300 成分[3]、穩(wěn)態(tài)視覺誘發(fā)電位（Steady-State Visual Evoked Potentials，SSVEP）[4]、運動想象[5]以及言語想象[6]的系統(tǒng)。其中，基于P300 成分與SSVEP 的BCI 系統(tǒng)需要由外部提供視覺刺激，使用者在使用過程中長時間注視屏幕容易導(dǎo)致視覺疲勞；基于運動想象的BCI 系統(tǒng)會存在部分被試不能執(zhí)行這一心理任務(wù)，即BCI盲現(xiàn)象。

言語想象，即人們在心中默讀或想象某些特定的字符或詞語，BCI 系統(tǒng)通過識別被試執(zhí)行言語想象任務(wù)時的腦神經(jīng)信號特征，即可輸出對應(yīng)的控制指令，其不需要持續(xù)存在的視覺刺激，也避免了運動想象BCI 盲現(xiàn)象。這一范式有諸多優(yōu)點，如自發(fā)產(chǎn)生且無需刺激、無需訓(xùn)練且對被試友好、可直接表達真實意圖，并且能夠提供一種自然的交流方式，因此這一范式逐漸受到關(guān)注。

在BCI 領(lǐng)域，利用非侵入式技術(shù)（即將信號采集電極放置頭皮表面）采集腦神經(jīng)信號的方式有腦電（Electroencephalography，EEG）[7]、功能性近紅 外 光 譜（functional Near-Infrared Spectroscopy，fNIRS）[8]及腦磁圖（Magnetoencephalography，MEG）[9]等。其中，EEG 信號的采集憑借價格較低、便攜易用等優(yōu)點被廣泛深入研究。基于言語想象的BCI 系統(tǒng)大多采集EEG 信號。

雖然EEG 信號有著較高的時間分辨率，但是其空間分辨率較低，因此需要通過空域濾波算法彌補這一缺點。共空間模式（Commom Spatial Patterns，CSP）算法就是用來提取兩類模式特征的空間濾波算法。其通過設(shè)計空間濾波器來提取兩類模式間方差最大的EEG 數(shù)據(jù)成分以實現(xiàn)分類[10]。并且，CSP及其改進算法已被廣泛地應(yīng)用于基于運動想象的BCI 系統(tǒng)中，并表現(xiàn)出較好的分類性能[11]。

言語想象作為一種新穎的BCI 實驗范式，對其特征提取并未廣泛開展深入研究，因此本文將正則化與CSP 相互融合以構(gòu)成正則化CSP（Regularized CSP，RCSP）的特征提取算法，并將其首次應(yīng)用于言語想象多分類任務(wù)。

1 材料與方法

1.1 實驗數(shù)據(jù)

本研究使用2020 年國際BCI 競賽數(shù)據(jù)集Track#3 的數(shù)據(jù)（多分類言語想象任務(wù)）。數(shù)據(jù)可通過公開網(wǎng)站（https://osf.io/pq7vb/）獲取。其中包含15 名被試（年齡在20 ～30 歲）的數(shù)據(jù)。被試被要求執(zhí)行5個不同單詞/短語（“hello”“help me”“stop”“thank you”“yes”）的言語想象任務(wù)，這些單詞/短語可用于生活中的基本對話。數(shù)據(jù)集記錄了被試執(zhí)行五類言語想象任務(wù)時的EEG 信號。每類言語想象任務(wù)包含70 個試次（共70×5=350個試次），60 個試次用于訓(xùn)練，10 個試次用于驗證（由于官方并未公布測試集數(shù)據(jù)，因此在本文分類過程將10 個試次的驗證集用作測試集）。

1.1.1 實驗范式

在實驗數(shù)據(jù)記錄過程中，被試坐在24 英寸LED 顯示屏幕前的椅子上，進行指定單詞/短語的言語想象任務(wù)。在言語想象當中，被試被要求不移動發(fā)音器官，也不發(fā)出聲音，就像他們在真實說話一樣進行思維活動。在執(zhí)行這一心理任務(wù)時被試不能進行其他大腦活動。在視覺提示后即為言語想象周期，提示被試不能移動身體，避免眨眼。為了避免其他因素影響大腦的活動，在言語想象期間屏幕呈現(xiàn)黑屏。實驗范式時序如圖1 所示。

圖1 實驗范式時序圖

5個不同單詞/短語通過聲音提示隨機呈現(xiàn)，然后是為期0.8 ～1.2 s 的“+”字標記，當“+”字標記在屏幕上消失時，要求被試對所提示的單詞/短語進行言語想象。每個隨機任務(wù)包含4個“+”字標記和言語想象期（2 s）。進行4次言語想象任務(wù)后，被試有3 s 的休息間隙，以便進入下一個想象任務(wù)。

1.1.2 實驗裝置

EEG 數(shù)據(jù)由EEG 信號放大器（德國Brain Product 公司生產(chǎn)的BrainAmp）采集，原始數(shù)據(jù)使用Brain Vision 軟件（德國BrainProduct 公司開發(fā)）和Matlab 2019a 軟件（美國The MathWorks Inc.開發(fā)）記錄。64 個電極按照國際10-20 系統(tǒng)排布方式進行記錄，接地和參考電極位于Fpz 和FCz 上，采樣電極和頭皮之間的阻抗均保持在15 kΩ 以下。

1.2 特征提取算法

1.2.1 CSP 算法

本節(jié)將簡要描述CSP 算法。Xa(N*T)表示一類EEG 數(shù)據(jù)矩陣，其中N為EEG 數(shù)據(jù)的電極數(shù)，T為每個電極采集的樣本數(shù)。同理，Xb表示的是另一類EEG 數(shù)據(jù)矩陣。兩類數(shù)據(jù)的協(xié)方差矩陣分別為：

對混合協(xié)方差矩陣進行特征分解，如式（3）所示：

式中：矩陣U由矩陣C的特征向量組成，矩陣Λ是由矩陣C的特征值組成的對角矩陣。

接著，進行白化變換，如式（4）、式（5）所示：

將Ca和Cb經(jīng)過白化變換后分別得到矩陣S a和S b，并且得到的兩個矩陣具有相同的特征向量，再分別對其進行特征分解，如式（6）所示：

式中：矩陣ya和yb的和為單位矩陣，并且矩陣S a和S b具有相同的特征向量B。由此可知，對一類數(shù)據(jù)特征值最大的特征向量對另一類數(shù)據(jù)特征值最小，反之亦然。將EEG 信號進行白化變換，再選取矩陣B的前m及后m列構(gòu)成空間濾波器，然后按照式（7）可以得到映射矩陣，即空間濾波器，如式（7）所示：

矩陣W-1的列是共空間模式，即兩類條件下腦電源分布向量。最后就可以將每次試驗的EEG 數(shù)據(jù)X按式（8）進行分解：

得到的新的矩陣，其方差能最大化區(qū)分兩類任務(wù)。對濾波后的特征信號Z的方差進行歸一化，將其作為新的特征，過程如下：

1.2.2 RCSP 算法

正則化首先被應(yīng)用在正則化判別分析（Regularized Discriminant Analysis，RDA）中，用于解決線性和二次判別分析中小樣本的問題。小樣本訓(xùn)練往往會導(dǎo)致特征值產(chǎn)生有偏估計，通過引入兩個正則化參數(shù)可以解決這一問題[12]。CSP 算法對噪聲較為敏感，泛化能力也較低，而且EEG 數(shù)據(jù)的樣本量較少。為解決這些問題，可通過應(yīng)用正則化的方法進行改善，即構(gòu)成基于正則化的RCSP 算法。正則化的使用對CSP 算法的最終分類性能有著明顯的提高。正則化在CSP 算法中的應(yīng)用一般有兩種方法，一種是引入兩個正則化參數(shù)，并利用其他被試的數(shù)據(jù)來提高分類性能[13]，而另一種方法不需要其他被試的數(shù)據(jù)，僅需一個被試的數(shù)據(jù)即可實現(xiàn)正則化[14]。由于第一種方法需要較多的計算量，僅使用一個被試的數(shù)據(jù)實現(xiàn)正則化的方法更為實用，因此在本文研究選擇第二種方法。下面介紹這一算法的實現(xiàn)過程。

式中：Ci表示i類數(shù)據(jù)的協(xié)方差矩陣，表示成對協(xié)方差矩陣。基于正則化的協(xié)方差矩陣如下：

式 中：α和β為 兩 個 正 則 化 參 數(shù)（0 ≤α≤1，0 ≤β≤1），I為單位陣，m為執(zhí)行某一種言語想象任務(wù)的次數(shù)。兩類數(shù)據(jù)的平均協(xié)方差矩陣分解為：

2 實驗結(jié)果

2.1 數(shù)據(jù)預(yù)處理

成年人的EEG 主要包括δ波（0.5 ～4 Hz）、θ波（4 ～7 Hz）、α波（8 ～13 Hz）、β波（14 ～30 Hz）以及γ波（＞30 Hz），并且每種頻率的EEG 節(jié)律都與大腦特定的生理現(xiàn)象密切相關(guān)。在言語想象分類任務(wù)相關(guān)研究中，JAHANGIRI 等人[15]通過音節(jié)想象分類任務(wù)發(fā)現(xiàn)α波具有最高的分類性能，其次是β波；KOIZUMI 等人[16]通過言語想象分類任務(wù)發(fā)現(xiàn)，在低γ波段（30 ～40 Hz）的分類精度有一個峰值。因此對原始言語想象EEG 數(shù)據(jù)選擇4 ～44 Hz 帶通濾波器進行濾波處理，然后對預(yù)處理后的信號應(yīng)用RCSP 算法提取相應(yīng)的特征，最后對其進行分類。

2.2 分類結(jié)果

在分類過程中，選擇支持向量機（Support Vector Machine，SVM）進行分類識別。由于SVM適用于解決小樣本、非線性和高維度的模型等問題，而EEG 數(shù)據(jù)同樣具有樣本量少且非線性等特點，故本文選擇這一算法進行分類。為避免單一分類算法造成最終結(jié)果不穩(wěn)定，本文還選擇K 近鄰算法（K-Nearest Neighbor，KNN）進行分類。15 名被試執(zhí)行言語想象任務(wù)的分類準確率如表1 所示。

表1 15 名被試執(zhí)行言語想象任務(wù)的分類準確率/%

從表1 的結(jié)果可知，RCSP 與SVM 的組合取得了最高的準確率，其次是CSP 與SVM 組合。當分類器為SVM 時，RCSP 算法可以提高分類準確率；而當分類器為KNN 時，RCSP 算法的分類準確率卻不及CSP 算法。

另外，本文還將這一算法的分類結(jié)果與其他研究進行對比（使用同一數(shù)據(jù)集），結(jié)果對比如表2 所示。

表2 本文方法與其他研究結(jié)果的對比

同樣，本文提出的方法相比于深度學(xué)習(xí)網(wǎng)絡(luò)也取得了較好的分類性能。

3 結(jié) 語

本文針對言語想象多分類任務(wù)，將RCSP 算法應(yīng)用于這一范式BCI 數(shù)據(jù)集。從分類結(jié)果來看，當分類器為SVM 時，RCSP 算法可以提高分類性能，并且利用這一算法可使分類準確率提高4.0%；而當分類器為KNN 時，RCSP 算法取得的分類準確率卻比CSP 算法低2.3%。因此，對于言語想象EEG信號分類任務(wù)，更適合選擇SVM 對RCSP 提取的特征進行分類。另外，RCSP 與SVM 組合的準確率達到76.7%±5.8%，比深度學(xué)習(xí)網(wǎng)絡(luò)高出17%。深度學(xué)習(xí)雖然在腦神經(jīng)信號解碼過程中有諸多優(yōu)點，能表現(xiàn)出較好的解碼性能，但在處理言語想象EEG 數(shù)據(jù)分類任務(wù)過程中，深度學(xué)習(xí)的分類性能卻不如經(jīng)典的CSP 及其改進算法。因此，在EEG 信號特征提取及分類過程中對算法的選擇應(yīng)選擇合適的算法，才能取得較好的分類結(jié)果。