廣義任務相關成分分析的SSVEP研究

韓 丹，董艷清，高程昕，曹 銳

太原理工大學 軟件學院，山西 晉中 030600

腦機接口（brain-computer interface，BCI）系統(tǒng)指在大腦與外部環(huán)境之間構建起一條信息傳輸通道，用戶的意圖可以通過腦電信號（electroencephalogram，EEG）反映出來，然后通過系統(tǒng)把它轉換成所需要的輸出形式加以利用[1-2]。BCI 已在醫(yī)療、教育、生活以及科研等領域取得了階段性進展，另一個熱點領域是BCI 字符拼寫器，其可以幫助患有嚴重運動障礙（例如肌萎縮側索硬化癥）的患者通過拼寫器與大腦進行交流，而無需肌肉活動[3]。因此，BCI 字符拼寫器的研究對于患者們正常生活和無障礙交流具有重要意義。

當用戶受到固定閃爍頻率的視覺刺激時，誘發(fā)大腦神經(jīng)元產(chǎn)生的EEG 頻率與所受刺激頻率同步，導致相應頻率及其諧波的振幅增強，產(chǎn)生穩(wěn)態(tài)視覺誘發(fā)電位（steady-state visual evoked potential，SSVEP）[4]。近年來，基于腦電信號的SSVEP 字符識別系統(tǒng)由于信息傳輸率高（information transfer rate，ITR）、穩(wěn)定性強和用戶操作簡單等優(yōu)勢[5]，成為近年BCI 研究領域中最熱門的應用方向之一。SSVEP-BCI 拼寫系統(tǒng)的實現(xiàn)通常是在靜態(tài)背景下不同位置輸出不同的閃爍刺激頻率來對應某個指令，如用于腦控打字的字母信息等[6]。

基于SSVEP-BCI的算法可分為無監(jiān)督方法和有監(jiān)督方法[7]。無監(jiān)督方法以即插即用的方式識別刺激頻率，如Chen等人[8]提出的典型相關分析（canonical correlation analysis，CCA）及其濾波器組擴展[9]等，以正余弦信號作為參考信號，首次被用于在沒有校準的情況下進行SSVEP 檢測，然而較高的準確率需要長時間持續(xù)刺激，會導致用戶視覺疲勞，并且ITR 會有所降低?；诒O(jiān)督的方法通常利用個體的訓練數(shù)據(jù)來構建其模板和空間濾波器，如Nakanishi等人[10]提出的任務相關成分分析（task-related component analysis，TRCA）可以通過最大限度地增強SSVEP-BCI試驗之間的可重復性與SSVEP信號的信噪比（signal-to-noise ratio，SNR），從而提高分類性能，是目前SSVEP分類的主要方法之一，然而在短時間窗口（time window，TW）下存在識別率較低的問題[11-12]。而在SSVEP 的在線BCI 應用中，時間窗口的魯棒性對于SSVEP 中頻率識別的具有重要意義。此外，有監(jiān)督方法多數(shù)情況下性能優(yōu)于無監(jiān)督方法，但前者的采集數(shù)據(jù)和訓練過程過于繁瑣、耗時。例如由于電極位置、環(huán)境和患者狀態(tài)的變化，癱瘓患者在日常生活中使用SSVEP-BCI 時記錄EEG 可能無法作為SSVEP 檢測算法的驗證數(shù)據(jù)，從而導致BCI系統(tǒng)的低效。如果能夠利用用戶的校準數(shù)據(jù)，并與無監(jiān)督的SSVEP 檢測算法相結合，那么分類器就能以較低的訓練成本實現(xiàn)高性能。

因此，本研究針對SSVEP-BCI提出了一種廣義任務相關成分分析方法（generalized task-related component analysis，GTRCA），充分利用校準數(shù)據(jù)、測試數(shù)據(jù)和預定義數(shù)據(jù)的相關性來提高字符識別準確率和信息傳輸率。本文使用清華大學腦機接口研究組提供Benchmark 公開數(shù)據(jù)集來評估算法性能。

1 相關工作

1.1 任務相關成分分析

TRCA[10]是用于提高單獨校準的SSVEP-BCI 在不同數(shù)據(jù)長度下的性能。算法理念是在空間過濾后最大化任務相關組件的可重復性。其基本假設是一個生成模型，其信號模型如下：

其中，x(t)是觀察值，s(t)是任務相關分量，n(t)是任務無關分量，a1,j和a2,j是任務相關組件的混合系數(shù)，Nch是通道數(shù)。s(t)可以通過在空間濾波后最大化試驗間協(xié)方差來估計，h1和h2是指相同任務下的不同試驗：

為了解決優(yōu)化問題，添加了有限方差的二次約束：

然后，可以從廣義瑞利商問題推導出TRCA 空間濾波器：

之后提出的ensemble TRCA 是一種基于TRCA 的集成目標識別方法，它采用了一種集成技術來構成最終的空間濾波器：

其中，m表示方法所采用的濾波器組，Nc表示目標類數(shù)。由于有Nc個視覺刺激的單獨校準數(shù)據(jù)，因此可以獲得Nc個不同的空間濾波器。理想情況下，它們應該彼此相似，因此可以使用一個集成的空間濾波器進行后續(xù)研究。之后研究中濾波器組技術已在文獻[10]中得到驗證，也可以提高基于TRCA的方法的性能。

1.2 標準典型相關性分析

CCA 是一種探索兩組多維變量之間潛在相關性的統(tǒng)計方法。它計算兩個多維隨機變量A∈Rn×m1和B∈Rn×m2之間的最大相關性，其中n和m1（或m2）是行號和列號。通過優(yōu)化兩個權重向量u∈Rm1×1和v∈Rm2×1來最大化相關性。優(yōu)化問題可以寫成以下方程：

讓x=Au和y=Bv，上述等式結果使得皮爾遜相關系數(shù)corr(x,y)最大化。集合X和Yf表示多通道EEG信號和SSVEP參考信號。令X=A且Yf=B，上述方程式可以計算腦電信號和參考信號之間的最大相關性。參考信號由下面公式構成：

公式中，fk表示刺激頻率，F(xiàn)s表示采樣率，N表示采樣點數(shù)量，Nh表示SSVEP 信號的諧波數(shù)。由于CCA算法受到SSVEP 的非高斯背景噪聲和諧波的影響，因此其不能充分利用SSVEP的信息。

1.3 平方相關和

平方相關和SSCOR[13]是對多視圖數(shù)據(jù)的CCA的推廣。就像前面提到的TRCA 一樣，SSCOR 也是基于個體的訓練數(shù)據(jù)，SSCOR的原始公式是：

其中，所有訓練試驗組合之間的相關性的二次和在空間濾波器上最大化。在文獻[13]中，為了更好地適應SSVEP目標檢測任務的要求和特征，作者將其應用為一個新的約束優(yōu)化問題。表示為所有訓練試驗的平均值，新的優(yōu)化問題顯示為：

其中，C(0,j)表示均值Γi0與訓練試驗Γij之間的交叉協(xié)方差，C(0,0)和C(j,j)為自協(xié)方差矩陣?？臻g濾波器通過優(yōu)化單個的SSVEP 模板來學習一個公共的SSVEP 表示空間。SSCOR對SSVEP響應子空間的投影提高了嵌入在記錄的EEG 數(shù)據(jù)中的SSVEP 分量的信噪比以提高性能。

2 數(shù)據(jù)與方法

2.1 數(shù)據(jù)集

刺激范式是SSVE-BCI 系統(tǒng)中一個重要的部分。一個良好的刺激范式具有操作簡單、性能穩(wěn)定、產(chǎn)生高質量的SSVEP信號等特點。本文使用清華大學腦機接口研究組提供的Benchmark公開數(shù)據(jù)集進行研究。

數(shù)據(jù)集收集了35 名健康被試的SSVEP-BCI 記錄，實驗時，屏幕上顯示了一個5×8的字符矩陣，包含40個以不同頻率（8～15.8 Hz，間隔0.2 Hz）閃爍的字符，如圖1所示。對每個被試的數(shù)據(jù)來說，由6 組實驗組成，每個實驗包含40 個試驗，對應于以隨機順序顯示的40 個字符。每個實驗開始時都有一個視覺提示，該提示在屏幕上出現(xiàn)了0.5 s。受試者被要求在提示時間內(nèi)盡快將目光轉移到目標上。所有的刺激開始在屏幕上同時閃爍，持續(xù)5 s。在刺激偏移之后，屏幕在下一次試驗開始之前空白0.5 s。收集的腦電圖數(shù)據(jù)被下采樣到250 Hz，并根據(jù)每個試驗分為6 s的數(shù)據(jù)。數(shù)據(jù)集的更詳細描述在文獻[14]中給出。

圖1 聯(lián)合頻率和相位調(diào)制方法的40個刺激目標Fig.1 40 stimulus targets for combined frequency and phase modulation methods

2.2 數(shù)據(jù)預處理

圖2 電極位置分布Fig.2 Distribution of electrode positions

為了使所提出方法在時間窗口內(nèi)更有效地學習頻率相關信息并且降低肌電、自發(fā)腦電等背景噪聲的影響，本研究選用六階零相位Chebyshev I 型無限脈沖響應（IIR）濾波器[16]對數(shù)據(jù)進行6 Hz 到90 Hz 之間的帶通濾波[17]。

由于數(shù)據(jù)長度對于單獨校準的SSVEP-BCI至關重要[18]，因此采用的EEG數(shù)據(jù)樣本通過給定不同的時間窗口Nl（范圍從0.2 s 到1 s，間隔為0.1 s）來進行選取，如圖3所示。本文提取試驗刺激開始0.5 s后的數(shù)據(jù)，并考慮視覺通路引起的140 ms 延遲，選取采樣數(shù)據(jù)范圍為[0.64，0.64+Nl]。

圖3 腦電數(shù)據(jù)選取過程Fig.3 EEG data selection process

2.3 GTRCA

本文提出了一種廣義任務相關成分分析的方法來應用于SSVEP-BCI字符拼寫系統(tǒng)。方法通過確定一個線性變換，最大化多組變量集合之間的相關性來提高SSVEP-BCI 的分類性能。圖4 為GTRCA 的SSVEP 目標識別過程。

圖4 GTRCA算法示意圖Fig.4 Schematic diagram of GTRCA algorithm

（3）測試信號Xn與參考信號Yn之間的；其中n=1,2,…,Nf，Nf是刺激目標頻率的個數(shù)。

之后，通過多組相關計算分析得到：一個刺激目標頻率n在不同的投影向量之間計算的相關向量，包含了的i個相關系數(shù)，i=1，2，3，4，如公式所示：

其中，corr(a,b)表示計算兩個向量a和b之間的皮爾遜相關系數(shù)。本文通過實驗將加權相關系數(shù)ρn進一步組合分析作為目標識別的特征：

公式中，選用符號函數(shù)sign(·)充分保留來自負相關系數(shù)的區(qū)別性信息，以便于后續(xù)的分析。最后，頻率為n的測試樣本試驗的目標字符T識別公式如下：

從而得到最后字符識別分類結果。GTRCA方法主要通過計算三組數(shù)據(jù)的不同空間濾波器特征w，即單個模板之間的濾波器、單個模板與參考信號之間以及測試信號與參考信號之間的濾波器，將這些空間濾波器特征結合多通道腦電信號等數(shù)據(jù)進行的多組相關計算從而得到多組皮爾遜相關系數(shù)，之后最大化相關的系數(shù)而得到最后字符分類結果。加入的個體模板數(shù)據(jù)結合了個體特異性特征，從而提高了SSVEP 檢測性能。加入?yún)⒖夹盘柨色@得額外信息進而增強模型的魯棒性并且減少了校準時間，這對于實際的BCI應用至關重要。

2.4 評價指標

本研究使用兩個參數(shù)來評估SSVEP-BCI 的性能：識別準確率和信息傳輸率。其中準確率P被定義為正確識別樣本數(shù)與總識別樣本數(shù)的比值：

其中，n表示正確樣本數(shù)，m表示總樣本數(shù)。ITR 考慮了準確率和時間長度之間的權衡，ITR單位定義為每分鐘比特數(shù)（bit/min）[19]：

其中，N和T是SSVEP類的數(shù)量和選擇的平均時間，T包括注視時間和注視移動時間。原始離線實驗中的注視移動時間為0.5 s。P是最后的分類精度，同時管理預測精度和信號持續(xù)時間之間的權衡，以便實現(xiàn)最大ITR。

在性能評估中，本文選擇使用留一交叉驗證法，以每個被試者的單個EEG 數(shù)據(jù)塊作測試集，其余數(shù)據(jù)作訓練集，這個過程重復6次。本文計算不同時間窗下的平均準確率和信息傳輸率指標來評估所提方法的性能。

3 實驗結果與討論

3.1 不同方法的對比實驗

為充分評估本文所提出方法在公開數(shù)據(jù)集Benchmark 的SSVEP 字符識別性能，將GTRCA 與TRCA、SSCOR和CCA方法在不同時間窗下的所有被試的平均準確率和信息傳輸率進行比較。比較實驗中，所選通道、數(shù)據(jù)等均保持一致。

如圖5所示，結果表明GTRCA在平均準確率和ITR方面表現(xiàn)出最佳性能，在所有時間窗口下的性能都優(yōu)于其余三種方法，圖中誤差條表示標準誤差。GTRCA在時間窗為1 s時平均準確率最高達到了（90.7±4.71）%，在0.8 s時平均信息傳輸率最高達到了（188.46±18.69）bit/min。在短時間窗0.2 s 時，GTRCA 的平均準確率比TRCA 方法的高5.33%，平均ITR比TRCA方法的高20.1 bit/min。表1 展示四種方法在時間窗口為0.9 s 時的所有被試平均準確率和ITR結果。

表1 TW為0.9 s時四種方法的被試平均準確率和ITRTable 1 Mean accuracy and ITR of subjects for four methods when TW is 0.9 s

圖5 不同時間窗下四種方法的被試平均準確率和ITRFig.5 Average accuracy and ITR of subjects for four methods under different time windows

3.2 訓練數(shù)據(jù)塊數(shù)的影響

本文對四種方法的分類性能如何隨訓練數(shù)據(jù)塊數(shù)量變化進行了研究。由于只考慮訓練數(shù)據(jù)塊數(shù)量的影響，實驗時需要時間窗口大小保持一致，通過圖5 可以觀察出時間窗為0.9 s時，準確率和信息傳輸率結果相對較高，因此時間窗口設定為0.9 s，以便于后續(xù)實驗觀察分析。在有6組數(shù)據(jù)且使用留一交叉驗證的基礎上，通過將訓練塊的數(shù)量從5個逐步降低到2個來記錄觀察四種方法的分類準確率。

結果如圖6所示，從圖中可以觀察到當時間窗口不變時，隨著訓練塊數(shù)量的增加，各方法的平均準確率均有不同程度增加，并且也觀察到在訓練集少的情況下，本文方法依然表現(xiàn)出比其他方法更穩(wěn)健的性能。

圖6 TW為0.9 s時不同訓練塊數(shù)的方法準確率Fig.6 Accuracy of methods with different number of training blocks when TW is 0.9 s

3.3 通道數(shù)的影響

為了進一步評估四種方法的分類性能，本文比較了四種方法在不同通道數(shù)下的平均分類準確率。除了枕區(qū)的九個通道（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2），本文還進行了其他通道數(shù)量的實驗：包括中央枕部3 通道（Oz、O1 和O2），5 通道（PO5、PO6、Oz、O1 和O2），7通道（PO5、PO3、PO4、PO6、O1、Oz、O2）。

本文將TW同樣設置為0.9 s。圖7所示為這四種方法在使用不同通道數(shù)時的平均分類準確率。結果表明當時間窗口保持不變時，隨著通道數(shù)量的增加，各方法的平均準確率均有不同程度增加，并且在所有通道數(shù)都一樣的情況下，所提出的GTRCA 方法都表現(xiàn)出最好的分類效果。

圖7 TW為0.9 s時不同通道數(shù)的方法準確率Fig.7 Accuracy of methods for different number of channels when TW is 0.9 s

3.4 單因素重復測量方差分析

本文對GTRCA與比較方法中性能較好的TRCA 進行了單因素重復測量方差分析（one-way repeated measures，ANOVA）。當發(fā)現(xiàn)顯著的主效應(p＜0.05)時，使用Bonferroni校正進行F檢驗的事后比較。統(tǒng)計分析在SPSS Statistics 25（IBM，Armonk，NY，USA）中進行。如表2 所示，單因素重復測量方差分析結果表明，兩種方法在所有時間窗的平均準確度存在顯著差異。對于ITR，類似地觀察到兩種方法之間的存在統(tǒng)計學差異。

表2 不同時間窗口GTRCA和TRCA 性能的統(tǒng)計分析結果Table 2 Results of statistical analysis of GTRCA and TRCA performance at different time windows

因此，在基準數(shù)據(jù)集上，GTRCA 方法結果的性能顯著優(yōu)于標準TRCA 方法的性能，證明了GTRCA 在SSVEP頻率識別方面的有效性和可行性。

3.5 濾波器組分析

濾波器組分析的目標是將SSVEP數(shù)據(jù)分解為子帶分量，更有效地提取嵌入諧波分量中的獨立信息，提高SSVEP的檢測。濾波器組分析方法主要包括三個過程：（1）子帶分解，（2）每個子帶信號的特征提取，以及（3）目標識別。首先，濾波器組分析使用具有不同通帶的多個濾波器進行子帶分解。本研究的濾波器組選擇在[6 Hz～90 Hz]頻率范圍內(nèi)，設計覆蓋SSVEP 分量上限頻率相同的5 個(Nb)諧波頻段的子帶。如圖8所示，該設計有多個具有不同帶寬的濾波器來覆蓋所有SSVEP數(shù)據(jù)及其諧波。

圖8 濾波器組設計策略Fig.8 Filter bank design strategy

經(jīng)過濾波器組分析后，采用特征提取方法應分別用于每個子帶分量。計算所有子帶分量對應的相關值的加權平方和作為目標識別的特征：

其中，m為子頻帶的索引。在公式中為所計算的兩組數(shù)據(jù)之間的最大相關系數(shù)，子帶分量的權值定義如下：

其中，a和b是使分類性能最大化的常數(shù)。本文將a和b的值分別設為1.25和0.25。

本文檢驗了四種方法在不同時間窗的濾波器組方法的性能，如圖9 所示，圖中誤差條表示標準誤差。從圖中觀察到每種方法采用濾波器技術后，字符識別平均準確率、ITR與圖5原有方法的相對比有所提高，并且本文所提出的方法仍優(yōu)于其他四種方法，表明本文方法在SSVEP字符識別分類具有良好穩(wěn)定的性能。

圖9 不同時間窗的濾波器組方法平均準確率和ITRFig.9 Accuracy and ITR of filter bank methods with different time windows

4 結束語

本文提出了一種GTRCA 方法，最大化單個訓練數(shù)據(jù)、測試數(shù)據(jù)、預定義的正弦余弦信號三組數(shù)據(jù)之間的相關性，充分利用訓練數(shù)據(jù)和預定義的正弦余弦信號的先驗知識獲得空間濾波器以提高SSVEP 的識別性能。在Benchmark數(shù)據(jù)集上進行了實驗，結果表明所提出的GTRCA方法識別準確率和信息傳輸率明顯優(yōu)于所比較的方法，尤其是在考慮到有限的訓練數(shù)據(jù)時，即在采用更短時間窗口、更少電極或更少訓練塊的情況，此外，濾波器技術也適用于GTRCA，F(xiàn)BGTRCA 算法性能較GTRCA有明顯提高。

本文只考慮了基于GTRCA的方法中的線性變換以及最大相關系數(shù)對應的權重向量，然而腦電信號是非線性和非平穩(wěn)的，在未來將探索GTRCA 非線性和更多有效的權重向量，這可能會進一步提高分類性能，使更多基于SSVEP-BCI的潛在應用成為現(xiàn)實。