基于改進時頻共空間模式的運動想象腦電信號分類*

范凌霄，高云園，2*，馬玉良

(1.杭州電子科技大學自動化學院，浙江 杭州 310018；2.浙江省腦機協(xié)同智能重點實驗室，浙江 杭州 310018)

腦機接口(Brain Computer Interface，BCI)是指將人或動物大腦與計算機或其他外圍設備直接連接，并實現(xiàn)控制和通訊的方法。BCI 的研究可以幫助患者，通過腦電信號直接與外部世界進行通信[1]。由于腦電信號(Electroencephalogram，EEG)具有無創(chuàng)性、良好的時間分辨率和方便性，長期以來一直受到了很多學者的關注[2]。腦機接口的實現(xiàn)在很大程度上依賴于對腦電信號的分類[3]。

由于EEG 信號具有非平穩(wěn)、低信噪比、多通道的特性，一些時域和頻域特征處理方法如自回歸模型[4]、雙譜分析法[5]等效果較差。時頻域特征處理方法如小波包變換[6]、經(jīng)驗模態(tài)分解[7]等能有效提取不同節(jié)律的時變和瞬時特征，解決了腦電信號時變性的問題，但是仍然存在對多通道腦電數(shù)據(jù)適應度低的問題。共空間模式(Common Space Pattern，CSP)[8]通過組合來自所有可用記錄通道的信號，從空域角度尋找EEG 信號的投影方向，使任意兩類EEG 信號之間的差異最大化(即找到一組權重向量，最小化一類方差的同時，最大化另一類的方差)。

雖然傳統(tǒng)的CSP 在腦電信號運動想象分類中取得了一定效果，但空間濾波器的性能往往取決于工作頻帶、腦電通道和時間窗口的選擇。每個受試者的最佳工作頻帶都是不同的，在一個固定的頻帶上使用CSP 方法難以獲得很好的EEG 分類性能。濾波器組共空間模式(Filter Bank Common Space Pattern，F(xiàn)BCSP)將EEG 信號濾波到多個頻帶并從中提取特征，并通過互信息對特征進行自動選擇，提高了分類準確率[9]。傳統(tǒng)的CSP 方法采用了所有的可用信道，由于通道間存在冗余信息和噪聲干擾，使用全部的通道信息并非對分類有利，研究人員提出了許多算法來對通道進行選擇。Arvaneh M 等[10]提出了稀疏CSP (Sparse Common Space Pattern，SCSP)方法，通過在CSP 優(yōu)化函數(shù)中加入L1 和L2范數(shù)約束對過濾器進行稀疏，去除與運動想象(Motor Imagery，MI) 無關的冗余通道。Tam WK等[11]提出了一種基于空間濾波器排序的CSP-Rank算法，通過觀察濾波器系數(shù)的大小選擇通道。除了濾波器頻帶優(yōu)化和通道選擇以外，另一個重要的問題是為腦電信號選擇合適的時間窗口。Miao Y等[12]認為每個受試者在運動想象過程中事件相關去同步(Event-Related Desynchronization，ERD)的時間進程是不相同的，提出了一種時頻空間濾波框架，將整個MI 周期分成多個候選時間窗，在每個時間窗上提取多個頻帶，從而更好地挖掘腦電信號中的信息。此外，有研究人員結合通道篩選和子頻帶劃分提出一些改進算法。CSP 多頻帶濾波器排序及信道選擇方法(CSP-Rank Channel Selection for Multifrequency Band EEG，CSP-R-MF)將信號分解到多個頻帶后，對每個頻帶利用CSP-Rank 算法減少冗余通道[13]。孟明等[14]提出了塊選擇共空間模式(Block-Selection for CSP，BS-CSP)，利用Fisher 比對通道和頻帶同時進行選擇。

現(xiàn)有的一些方法都是通過結合通道選擇和多頻帶劃分，解決了傳統(tǒng)CSP 方法存在的問題。然而他們都是在固定的時間窗口上，沒有對時間窗進行選擇。并且僅采用特征選擇算法從各子頻帶特征集合中提取稀疏CSP 特征，沒有對子頻帶進行選擇，導致算法分類性能的下降。本文系統(tǒng)地將頻帶、通道和窗口的選擇與傳統(tǒng)CSP 方法進行結合，提出了一種通道選擇共時頻空間模式(Channel selecting for common time-frequency-space patterns，CS-CTFSP)的新框架。首先利用皮爾遜相關系數(shù)計算通道間相關性，在主通道的基礎上篩選出合適的通道集合；之后從多個候選時間窗口內(nèi)劃分多段子頻帶，并利用時頻共空間模式提取特征；接著引入能量和特征值兩個指標，對頻帶進行篩選后提取稀疏的CSP 特征；最后采用LDA 分類器進行分類。本文的主要創(chuàng)新和貢獻為:①提出了新的通道選擇方法，將主通道篩選和相關性分析應用到通道選擇；②利用能量和特征值對EEG 子頻帶進行篩選，實現(xiàn)特征篩選。

本文的結構如下:在方法部分描述了框架的細節(jié)并介紹了本文所使用的算法。在實驗部分介紹了使用的兩個公開數(shù)據(jù)集和通道閾值設置方法。結果與分析部分列出了實驗結果并對其進行了分析。最后在結論部分對全文進行了總結，并討論了未來的改進方向。

1 方法

1.1 整體框架

由于EEG 本質(zhì)上是一個非平穩(wěn)的時間序列信號，傳統(tǒng)共空間模型存在不能充分利用信號的頻帶和時間域信息，并且無法解決通道冗余的問題。本文通過相關系數(shù)去除冗余通道后，對每個時間窗的子頻帶進行選擇，從而提高CSP 特征表征運動想象的能力。本文提出CS-CTFSP 結構框圖如圖1 所示。首先通過計算其他通道與主通道間皮爾遜相關系數(shù)對通道進行選擇；然后對整個MI 周期進行子時間窗分割，在每個時間窗內(nèi)，通過5 階巴特沃茲濾波器提取mu 和beta 子頻段；之后利用CSP 算法提取每個子窗口的頻帶特征；篩除低能量和低特征值的子頻帶單元后利用LASSO 進行特征降維選擇；最后將所得特征經(jīng)過融合后送入LDA 分類器分類。

圖1 CS-CTFSP 方法的總體框架

1.2 通道選擇

K個通道的腦電信號，一共進行M次試驗。第i次試驗，第k個通道的腦電信號為:，這其中k＝1，2，…，K，i＝1，2，…，M，N是每個腦電通道的采樣點數(shù)。

皮爾遜相關系數(shù)是一種量化兩個或多個隨機變量之間統(tǒng)計關系或線性相關性的一種度量，其定義如下式(1):

式中，X和Y是兩個可觀測變量，ρXY的取值范圍是[0，1]，其值越大，則表明X與Y相關度越高。本文采用皮爾遜相關系數(shù)衡量腦電通道之間的相關性。

在基于腦電信號的運動想象通道選擇中，通常選取運動感覺區(qū)域的Cz(大腦皮層中央?yún)^(qū)域)，C3(大腦皮層左側區(qū)域)和C4(大腦皮層右側區(qū)域)通道[15-16]。本文將這三個通道作為主通道，利用皮爾遜相關系數(shù)衡量兩個通道之間的相關性，進而選擇與主通道相關性高的通道作為其拓展通道。

本文每次試驗都計算三個主通道與其他所有腦電通道間的相關系數(shù)，構成一個3×K維的相關系數(shù)矩陣C，其中元素cij，i＝1，2，3，j＝1，2，…，K表示第i個主通道與第j個通道間的相關系數(shù)。計算相關系數(shù)矩陣C中每列的和，得到1×K維行向量，并對其進行降序排列，記錄排序后向量的前Ms個元素，在M次試驗后得到M×Ms維通道排序矩陣，將其中出現(xiàn)頻率最高的前Ms個通道作為主通道的拓展通道。通道選擇算法的偽代碼如表1 所示。Ms是通道選擇中的重要參數(shù)，通過交叉驗證確定。

表1 通道選擇偽代碼

1.3 窗口和頻帶劃分

由于運動想象實驗中事件相關的去同步/同步現(xiàn)象(ERD/ERS) 主要出現(xiàn)在mu 頻段(8 Hz～13 Hz)和beta 頻段(14 Hz～30 Hz)，因此利用8 Hz～30 Hz 的5 階巴特沃茲濾波器提取與運動節(jié)律相關的主要頻帶。此外，每個受試者都有自己的運動想象方式和速度，訓練空間濾波器時采用相同的時間窗口難以獲得最佳的CSP 模式，多時間窗口方法會降低錯誤選擇時間窗口而導致錯誤分類的風險。在這里將整個時間段分成三個子時間窗，每個時間窗相隔0.5 s。具體的分割做法如下:對于數(shù)據(jù)集1 采用的三個子時間窗口分別是[0-2.5]、[0.5-3]和[1-3.5]，對于數(shù)據(jù)集2 使用的三個子時間窗口分別是[3-6]、[3.5-6.5]和[4-7]。

另外，共空間模式提取特征時不攜帶任何頻率信息，然而Kai K A 等人證明選擇特定的頻帶可以提高MI-BCI 的識別率[9]。本文對三個子時間窗分別使用5 階巴特沃茲濾波器將腦電信號分離成7 個子頻帶8 Hz～10 Hz、10 Hz～13 Hz、8 Hz～13 Hz(對應于mu 頻段)，13 Hz～18 Hz、18 Hz～23 Hz、23 Hz～30 Hz、13 Hz～30 Hz(對應于beta 頻段)，并對每個子頻帶分別應用CSP 提取特征。

1.4 特征提取

共空間模式是MI-BCI 中最常用的特征提取算法之一，該方法本質(zhì)上是尋找一個投影向量，使得一類數(shù)據(jù)在向量投影下方差最大，而另一類數(shù)據(jù)方差最小。CSP 濾波器是通過最大化式(2)實現(xiàn)的:

1.5 特征篩選

經(jīng)過前面的時間窗口與子頻帶劃分，每個子窗口分成了7 個子頻帶，每次試驗可以得到2p×7 維的特征。由于空間濾波器的有效性取決于識別最佳EEG 頻帶，現(xiàn)有的算法大都依靠特征選擇方法間接篩選子頻帶，難以將一些無區(qū)別能力的頻帶單元對應的CSP 特征全部丟棄。本文提出在使用LASSO算法前對子頻帶進行選擇，丟棄無區(qū)分能力的子頻帶單元對應的特征。

本文采用能量和CSP 優(yōu)化函數(shù)中特征值λ兩個篩選指標對子頻帶進行篩選[17]。能量指標廣泛應用于腦電信號的特征提取中[18]。本文利用所有訓練數(shù)據(jù)，通過式(4)計算每個子頻帶單元經(jīng)過CSP 投影后的總能量。

經(jīng)過頻帶選擇后，還需要對剩余的R＝2p×4 維特征進行稀疏，因為從特征集中選擇有效子集，可以最大限度地減少分類誤差。LASSO 回歸方法是以數(shù)據(jù)驅(qū)動的方式從高維特征中進行特征選擇，它不依賴于任何分類器。它通過對模型的系數(shù)施加一個L1 懲罰項，在最小二乘估計的基礎上使得某些系數(shù)趨于0，丟棄系數(shù)為0 的特征，進而達到特征選擇的目的[19]。LASSO 估計定義為下式(6):

式中，hi與yi分別是第i次試驗的R維特征向量和類標簽，γ為非負正則化參數(shù)，α0和α為回歸參數(shù)(α0為標量；α是R維向量)。隨著γ的增加，α的非零分量的數(shù)量減少。本文將均方誤差作為稀疏指標，通過5 倍交叉驗證選擇特征的最佳稀疏度。

1.6 LDA 分類器

線性判別分析在BCI 系統(tǒng)中有著廣泛的應用。LDA 的分類思想十分樸素:通過尋找一個投影向量w′，使得同類樣本經(jīng)投影后盡可能接近，異類樣本盡可能遠離[20]。算法通過最大化以下目標函數(shù)求得最優(yōu)向量w′:

式中，Sb表示類間散度矩陣，Sw表示類內(nèi)散度矩陣。

2 實驗

2.1 數(shù)據(jù)描述

本文采用BCI 數(shù)據(jù)集BCI Competition III IVa[21]和BCI Competition IV Dataset I[22]分別對CS-CTFSP有效性進行驗證。

數(shù)據(jù)集1(DS1):第1 個數(shù)據(jù)集來自BCI Competition III IVa。該數(shù)據(jù)集記錄了5 名受試者(al、aa、av、aw、ay)左手、右手和足部118 個通道的運動想象數(shù)據(jù)。數(shù)據(jù)包含了每個受試者280 次試驗的時間標記信息，視覺提示持續(xù)3.5 s，期間受試者要求執(zhí)行MI任務。然后，參與者被要求放松1.75 s～2.25 s。EEG原始信號以1 000 Hz 采樣，隨后在0.05 Hz 至200 Hz之間進行帶通濾波，這些信號最后被降采樣到100 Hz。單次試驗時間軸如圖2 所示。

圖2 來自BCI 競賽III 數(shù)據(jù)集IVa 單次試驗

數(shù)據(jù)集2(DS2):第2 個數(shù)據(jù)集來自BCI Competition IV Dataset I。此數(shù)據(jù)集記錄了4 名健康受試者(a、b、f、g)的59 通道EEG 數(shù)據(jù)，每個受試者被要求完成左右手或者雙腳的兩類運動想象各100 次，每次試驗的前6 s 首先會在電腦屏幕中央顯示固定的十字，在t＝2 s 時，顯示一個指向左、右或下的箭頭，參與者被要求執(zhí)行相應的MI 任務(左手/右手和腳)，然后在6 s～8 s 時屏幕出現(xiàn)黑屏，參與者被要求休息2 s，具體時間軸如圖3 所示。原始信號在0.05 Hz 至200 Hz 之間進行帶通濾波，后被降采樣到100 Hz。

圖3 來自BCI Competition IV Dataset I 單次試驗

2.2 通道數(shù)目配置

通道數(shù)量Ms是配置拓展通道集的重要參數(shù)，它在分類性能中起著重要的作用。通過5 折交叉驗證，根據(jù)驗證集的平均分類準確率確定參數(shù)的最佳閾值。本文以DS1 的受試者aa 為例，得到驗證集分類精度隨著所選通道數(shù)目的變化趨勢如圖4 所示。

圖4 驗證集分類準確率隨通道個數(shù)變化趨勢圖

在通道數(shù)目為3 個(C3、Cz、C4)時驗證集只有0.72 的分類精度，隨著通道個數(shù)的增加，驗證集分類精度顯著增大，當通道數(shù)目為16 個時具有最高的分類準確率0.92，當通道個數(shù)繼續(xù)增加時(超過20個通道)，由于冗余通道和噪聲的引入，驗證集的分類精度開始降低。因此，本文設置使驗證集分類精度達到最大值的通道數(shù)目Ms為最佳通道閾值。

3 結果與分析

3.1 分類結果

使用本文提出的方法對DS1 和DS2 兩個數(shù)據(jù)集進行實驗，并且和最近提出的運動想象算法BS-CSP[14]，CTFSP[12]，F(xiàn)BCSP[9]，CSP-R-MF[13]等進行比較。在實驗中我們采用5×5 折交叉驗證方法，將原始EEG 數(shù)據(jù)集按4 ∶1 隨機劃分為訓練集和測試集，并且重復5 次實驗，從而減少實驗偶然性對評估結果的影響。5 種分類算法在兩個測試集下的分類結果如表2 和表3。

表2 各分類算法在DS1 的準確率比較

表3 各分類算法在DS2 的準確率比較

針對上述兩個公開數(shù)據(jù)集，從所有受試者的平均準確度上看，本文提出的CS-CTFSP 相對于其他算法表現(xiàn)出了最佳的分類性能。具體來說，對于DS1 數(shù)據(jù)集的5 位受試者，CS-CTFSP 方法在aa，aw和ay 受試者上獲得了最高的分類精度，而BS-CSP方法在al 和av 上獲得了最高的分類精度。在DS2數(shù)據(jù)集上CS-CTFSP 方法在受試者a、b、f 上相較于BS-CSP 分類準確率得到了大幅提高，但在受試者g上低于BS-CSP。

此外，為了驗證通道選擇算法的合理性，可視化了選擇通道分布圖，對所選通道采用黑色實心點進行標記。圖5 和圖6 分別是DS1 受試者aa 和DS2受試者g 的通道標記圖。從圖中可以看出所選通道分布于額中央和中央頂區(qū)的15 個電極，即FC3、FC1、FCZ、FC2、FC4、C3、C1、CZ、C2、C4、CP3、CP1、CPZ、CP2、CP4，而與運動控制相關的神經(jīng)現(xiàn)象通常分布在這些區(qū)域[23]。這在一定程度上驗證了方法的有效性。

圖5 DS1 受試者aa 選擇通道分布圖

圖6 DS2 受試者g 選擇通道分布圖

3.2 頻帶篩選前后比較

在DS1 和DS2 數(shù)據(jù)集上使用全部通道，對比CTFSP 和子頻帶篩選后CTFSP 的分類準確率，驗證子頻帶篩選算法的效果。

圖7 為CTFSP 在子頻帶篩選前后兩數(shù)據(jù)集下所有受試者的分類準確率。我們發(fā)現(xiàn)，采用子頻帶篩選后的CTFSP 在受試者a、f、g、aa、av、ay 準確率有1%～3%的提升，在受試者b 分類準確率有較大幅度的提升(6%)。

圖7 DS1 和DS2 受試者子帶篩選前后分類準確率對比

本文在3 個時間窗口上各提取了7 個子頻帶，一共有21 個頻率單元。為了清晰地顯示剔除的子頻帶，我們在受試者av 上可視化每個頻帶單元，如圖8 所示。3 行代表3 個子窗口，7 列代表7 個子頻帶，每個方塊都代表一個頻帶單元。白色單元表示需要剔除的頻帶，可以看到受試者av 三個子窗口都剔除了8 Hz～10 Hz 低頻單元和23 Hz～30 Hz、13 Hz～30 Hz 高頻單元，上述三個頻帶具有較低的能量和特征值，不具有區(qū)分二分類運動想象的能力。文獻[14]中av 受試者的通道頻帶熱點圖顯示，對于受試者av，低于10 Hz 和高于24 Hz 的頻帶Fisher比都很低，不利于運動想象的分類，這也印證了本文的結論。

圖8 DS1 受試者av 子頻帶單元剔除示意圖

此外，為了更清楚地驗證方法的有效性，本文將受試者av 在子頻帶篩選前后的特征分布可視化，如圖9 所示，可以發(fā)現(xiàn)后者產(chǎn)生了更容易分離的特征分布，這與兩種分類算法的分類結果是一致的。

圖9 DS1 受試者av 在子帶篩選前后特征分布圖

3.3 不同融合策略下的分類性能

由于對整個運動想象時間段進行了多個子時間窗口的劃分，并從中提取稀疏特征，因此需要對這些特征進行融合。本文比較了兩種不同的融合策略即分類器融合和特征層融合的分類性能。表4 列出了兩種不同融合策略下的分類準確率。結果顯示分類器融合方法在DS2 數(shù)據(jù)集上相對于特征層融合具有更高的準確率，在DS1 數(shù)據(jù)集上兩者具有幾乎相同的分類性能。

表4 受試者在不同融合策略下的準確率

4 結論

提出了一種基于通道選擇的時頻共空間模式，能提升運動想象的分類準確率。該方法利用通道間相關性對主通道(C3、Cz、C4)進行拓展，實現(xiàn)通道選擇。在所選通道上進行子窗口劃分，以應對參與者在MI期間時間延遲的不同。在每個子窗口上對mu 波段、beta 波段及其子波段等提取CSP 特征。之后將共空間模式中的特征值λ 和頻帶能量作為指標對頻帶進行篩選，對剩余的特征使用LASSO 算法進行稀疏回歸，提取最有用的特征后送入LDA 分類器分類。在兩個公開的數(shù)據(jù)集上對算法進行了驗證并與現(xiàn)有算法進行了比較，結果表明所提出的算法具有更高的分類準確率。此外，本文在兩個數(shù)據(jù)集上對比了CTFSP進行子頻帶篩選前后的準確率，并可視化了最佳分類性能下受試者所選通道的分布情況，從而驗證了通道選擇和頻帶篩選算法的有效性。在實際應用中BCI運動想象有多分類的需求，在未來的工作中我們的目標是將算法拓展到多分類場景中。此外，遷移學習能夠利用其他受試者的數(shù)據(jù)(源域)訓練待測受試者(目標域)，大大減小了待測試者的訓練集，故將遷移學習與CSP 結合也是后續(xù)研究的方向。