孟 明 董芝超 高云園 孔萬增
①(杭州電子科技大學(xué)自動化學(xué)院 杭州 310018)
②(浙江省腦機協(xié)同智能重點實驗室 杭州 310018)
腦機接口(Brain Computer Interface, BCI)是一種先進的通信系統(tǒng),旨在大腦和計算機之間建立直接的通信[1]。腦電信號(ElectroEncephaloGram,EEG)因為其低成本、高時間分辨率而成為BCI中最常用和廣泛研究的信號[2]。目前,最廣泛采用的實驗范式有事件相關(guān)電位(Event-Related Potentials,ERP)[3]、穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visual Evoked Potentials, SSVEPs)[4]和運動想象(Motor Imagery, MI)[5,6]。根據(jù)EEG研究表明,不同身體部位的想象運動可以導(dǎo)致在相應(yīng)的活躍皮層區(qū)域的感覺運動節(jié)律(α和β節(jié)律)的功率衰減,稱為事件相關(guān)去同步(Event-Related Desynchronization,ERD);與此同時,在相應(yīng)的對側(cè)皮層區(qū)域的感覺運動節(jié)律的功率增強,稱為事件相關(guān)同步(Event-Related Synchronization, ERS)[7]。通過ERD/ERS模式的分類,可以識別不同身體部位的想象運動,從而產(chǎn)生控制信號用于MI-BCI系統(tǒng)中。
現(xiàn)有研究中,通常利用較多的EEG通道信號獲得更多的空域信息來提升性能[8]。然而同時也會引入包含與MI任務(wù)無關(guān)或冗余信息的通道[9],從而使用較多的EEG通道并不能保證性能的提升[10]。為了去除與MI任務(wù)無關(guān)的、冗余的通道,研究者提出了許多通道選擇的方法。Feng等人[11]提出了基于多頻帶的共空間模式濾波器排序進行通道選擇的方法(Common Space Pattern-Rank channel selection for Multi-Frequency band, CSP-R- MF),結(jié)合多頻帶信號分解濾波和CSP-Rank方法選擇通道;Jin等人[12]提出了基于皮爾遜相關(guān)系數(shù)進行通道選擇的方法(Correlation based Channel Selection, CCS),CCS利用皮爾遜相關(guān)系數(shù)選擇與MI任務(wù)相關(guān)的通道,之后對這些通道進行正則化共空間模式(Regularized CSP, RCSP)[13]特征提??;Han等人[14]提出了基于特征壓縮和通道排序(Feature Compression and Channel Ranking, FCCR)的通道選擇方法,通過K-Means方法聚類降低特征維數(shù),進而通過結(jié)構(gòu)稀疏最小二乘回歸等特征選擇方法,對腦電通道進行排序和選擇。
MI任務(wù)的執(zhí)行需要多個大腦區(qū)域的參與,并且這些區(qū)域相互聯(lián)系[15,16]。因此通道選擇方法應(yīng)充分考慮通道間的整體性和大腦區(qū)域內(nèi)電極的相互聯(lián)系。為此,本文提出一種基于相關(guān)性和稀疏表示的運動想象腦電通道選擇方法(Correlation and Sparse Representation based Channel Selection, CSRCS),用以選擇含有判別性信息的通道。首先計算訓(xùn)練樣本通道的皮爾遜相關(guān)系數(shù)來選擇顯著通道,對顯著通道所在的每個區(qū)域提取濾波器組CSP(Filter Bank CSP, FBCSP)[17]特征并拼接成字典矩陣,通過驗證樣本的FBCSP特征用字典稀疏表示[18],得到每個區(qū)域的非零稀疏系數(shù)個數(shù),利用其個數(shù)表征每個通道區(qū)域的分類能力來選出顯著區(qū)域,將顯著區(qū)域所包含的顯著通道作為最優(yōu)通道,最后用CSP和支持向量機(Support Vector Machine, SVM)分別進行特征提取與分類,利用BCI 第3次競賽數(shù)據(jù)集IVa(Competition III Dataset IVa)和BCI第4次競賽數(shù)據(jù)集I (Competition IV Dataset I)對提出的方法進行驗證。
本文所提基于相關(guān)性和稀疏表示的運動想象腦電通道選擇方法考慮了通道間的整體性和大腦區(qū)域內(nèi)電極的相互聯(lián)系,可以有效排除與MI任務(wù)無關(guān)的冗余通道,從而改善后續(xù)特征提取和分類的準確性。
圖1是CSR-CS方法的框圖。首先計算訓(xùn)練樣本EEG通道的皮爾遜相關(guān)系數(shù),選擇高于閾值的通道,稱為顯著通道;然后將每個區(qū)域提取的FBCSP特征拼接成字典,利用得到的每個區(qū)域非零稀疏系數(shù)個數(shù)表征其區(qū)域分類的能力;接著在通道區(qū)域的選擇中選出K個顯著區(qū)域,顯著區(qū)域所包含的顯著通道稱為最優(yōu)通道,從而構(gòu)造新的EEG矩陣作為CSP的輸入,并提取CSP特征,最后采用SVM進行分類。
相關(guān)性有利于檢測出與MI任務(wù)相關(guān)的活躍皮層區(qū)域[19]。研究表明當受試者執(zhí)行MI任務(wù)時,與MI任務(wù)相關(guān)的那些通道應(yīng)該包含共同信息,并且在多次MI任務(wù)中都存在這種通道之間的相關(guān)性[12]?;谶@一結(jié)論,本文使用皮爾遜相關(guān)系數(shù)去除一些與MI任務(wù)不相關(guān)或者相關(guān)性小的通道,從而減少后續(xù)特征提取和分類所需要的腦電通道數(shù)量。計算皮爾遜相關(guān)系數(shù)具體步驟如下:
首先,采用Min-Max歸一化方法將所有通道的EEG數(shù)據(jù)歸一化。
圖1 CSR-CS方法框圖
共空間模式(CSP)是處理二分類任務(wù)的空域濾波算法,該算法提取多通道的腦電信號中每類的空間分布成分,通過空間投影尋找最好的投影方向,使其中一類方差最大化而另一類最小化,從而達到分類的目的。
近年來,稀疏表示(Sparse Representation,SR)[20]作為一種新的信號采集方法受到了廣泛的關(guān)注。稀疏表示可以使數(shù)據(jù)的表示形式更加簡潔清晰,其原理為利用字典中的少量原子進行線性疊加來重構(gòu)輸入信號。稀疏表示算法中重要的兩個部分是字典的構(gòu)建和利用字典表示信號[21]。圖2是稀疏表示方法的模型構(gòu)建。
在字典的構(gòu)建階段,將給定的訓(xùn)練特征集合記為X,得到的字典記為D,本文將得到的每個通道區(qū)域的訓(xùn)練特征集拼接成字典。
建立字典矩陣后,可以通過矩陣形式來獲得輸入的驗證樣本信號的稀疏表示,其表示形式為
通過式(15)可以得到每個通道區(qū)域的稀疏系數(shù),同時每個通道區(qū)域的非零稀疏系數(shù)個數(shù)表征其分類能力,所以將每個區(qū)域的非零系數(shù)個數(shù)降序排列,選出顯著區(qū)域,顯著區(qū)域中包含的顯著通道即最優(yōu)通道將會進行后續(xù)的特征提取和分類。
支持向量機(Support Vector Machine, SVM)在分類中有著廣泛的應(yīng)用,并且可以取得良好的分類效果。本實驗采用SVM作為分類工具。SVM的基本思想是首先通過非線性變換將輸入空間變換到一個高維空間,然后在這個新空間中求最優(yōu)分類面即最大間隔分類面。SVM分類器旨在解決優(yōu)化問題
數(shù)據(jù)集Ⅰ:第1個數(shù)據(jù)集來自BCI Competition III Dataset IVa。該數(shù)據(jù)集記錄了5個健康受試者(aa, al, av, aw, ay)的兩類運動想象任務(wù)EEG數(shù)據(jù),每位受試者要求在視覺提示后想象右手或者腳的運動,每次實驗持續(xù)時間3.5 s,每組EEG信號均采用118個電極進行記錄,采樣率為100 Hz,每個受試者進行每類運動想象140次實驗,共280次實驗。每次實驗流程:前3.5 s內(nèi)在電腦屏幕上出現(xiàn)向右或者向下的箭頭,受試者根據(jù)箭頭方向執(zhí)行對應(yīng)的運動想象,然后放松1.75~2.25 s,單次實驗時間軸如圖3(a)所示。
數(shù)據(jù)集Ⅱ:第2個數(shù)據(jù)集來自BCI Competition IV Dataset I。該數(shù)據(jù)集記錄了4個健康受試者(a, b, f, g)的兩類運動想象任務(wù)EEG數(shù)據(jù),每位受試者要求完成左手或者雙腳的兩類運動想象任務(wù)各100次實驗,每組EEG信號均采用59個通道進行記錄,采樣率為100 Hz。每次實驗流程:首先一個固定十字顯示在電腦屏幕的中央,時間為6 s,第2 s時電腦屏幕出現(xiàn)向左或者向下的箭頭,受試者根據(jù)箭頭方向執(zhí)行對應(yīng)的運動想象,然后在6~8 s內(nèi)出現(xiàn)黑屏,單次實驗時間軸如圖3(b)所示。
由于EEG是一種非平穩(wěn)、低幅值、低信噪比的生物電信號,并且運動想象系統(tǒng)的穩(wěn)定性較差,易受干擾,所以EEG信號通常含有不同形式的噪聲和干擾,比如50 Hz工頻干擾(腦電信號頻譜圖在50 Hz處有一個明顯的干擾脈沖),還有眼電、心電、肌電的干擾。結(jié)合運動想象任務(wù)的特點,即執(zhí)行運動想象任務(wù)時會出現(xiàn)ERD和ERS現(xiàn)象,執(zhí)行單手和雙腳運動想象任務(wù)時會在對側(cè)和中央運動皮層區(qū)域的α頻段(8~12 Hz)和β頻段(13~30 Hz)出現(xiàn)明顯的ERD現(xiàn)象,故本文截取每次實驗中視覺提示后0.5~2.5 s的EEG數(shù)據(jù),并且采用有限單位沖激響應(yīng)濾波器(Finite Impulse Response, FIR)對EEG信號進行4~40 Hz的帶通濾波。
(1)選擇顯著通道。計算訓(xùn)練樣本所有通道的皮爾遜相關(guān)系數(shù)ρi,(i=1,2,...,Nch),并將ρi的平均值設(shè)置為閾值,低于閾值的通道將被去除,高于閾值的通道稱為顯著通道,并選擇進行后續(xù)操作。
(2)劃分通道區(qū)域。將分布在腦皮層的所有通道劃分K個區(qū)域(數(shù)據(jù)集Ⅰ:K=9;數(shù)據(jù)集Ⅱ:K=7),如圖4所示,中央?yún)^(qū)域一些通道(Fpz, AFz, Fz, FCz,Cz, CPz)的填充色和線框色是屬于兩個顏色的,說明該通道同時屬于兩個通道區(qū)域。圖4(a)是數(shù)據(jù)集Ⅰ的9個通道區(qū)域,圖4(b)是數(shù)據(jù)集Ⅱ的7個通道區(qū)域。
圖3 單次實驗時間軸
圖4 通道區(qū)域劃分
(3)選擇通道區(qū)域。使用4階巴特沃斯濾波器將每個通道區(qū)域的EEG信號劃分為P=17個帶寬為4 Hz,重疊率為2 Hz的子頻帶(4~8 Hz, 6~10 Hz,8~12 Hz , ···, 32~36 Hz, 34~38 Hz, 36~40 Hz),用以FBCSP特征的提取(2M=4),所以每個通道區(qū)域得到68維的特征向量。
將訓(xùn)練樣本的特征向量拼接成字典D ∈RF×(Ntr×K),D=[f(1),f(2),...,f(K)],其中f(i)為第i個通道區(qū)域的特征向量;驗證樣本用字典D稀疏表示,求解稀疏向量u的目標函數(shù)如式(15)所示,可以得到每個通道區(qū)域的非零稀疏系數(shù)個數(shù),將其降序排列設(shè)置閾值進而選擇顯著的通道區(qū)域。
(4)分類。顯著區(qū)域內(nèi)的顯著通道作為最優(yōu)通道提取CSP特征,用SVM進行分類,本文中采用徑向基(Radial Basis Function, RBF)函數(shù)作為SVM的核函數(shù),正則化參數(shù)C通過交叉驗證確定。
將CSR-CS方法應(yīng)用于數(shù)據(jù)集Ⅱ,圖5是數(shù)據(jù)集Ⅱ經(jīng)過通道選擇后的電極分布,黃色填充部分代表被選擇通道。由圖5可以看出,4個受試者所選擇的通道都位于通道CCP3和CCP4附近,這一結(jié)果表明CSR-CS方法基本符合神經(jīng)生理學(xué)意義;同時每個受試者經(jīng)過選擇后通道分布各不一樣,這也充分說明了基于不同受試者進行通道選擇的必要性。
圖5 數(shù)據(jù)集Ⅱ電極分布
用CSR-CS方法分別在兩個數(shù)據(jù)集上進行實驗,并與CCS-RCSP, CSP-R-MF和FCCR方法進行比較,10折交叉驗證得到的測試集平均分類精度如表1所示。
針對上述兩個數(shù)據(jù)集,CSR-CS方法表現(xiàn)出了最佳的分類性能。針對數(shù)據(jù)集Ⅰ,與上述3種方法相比,本文方法的平均分類準確率分別提高了1.17%, 6.13%, 2.7%;針對數(shù)據(jù)集Ⅱ,與上述3種方法相比,本文方法的平均分類準確率分別提高了2.3%, 6.1%, 3.8%。與CSP-R-MF方法相比,CSRCS方法在分類精度上取得了非常顯著的提高(p<0.01)。雖然與另外兩種方法相比沒有體現(xiàn)出非常顯著的優(yōu)勢,但是無論是在數(shù)據(jù)集Ⅰ還是數(shù)據(jù)集Ⅱ,CSR-CS方法在經(jīng)過通道選擇后并沒有降低分類性能反而有一定提升。
與上述3種方法相比,其中受試者aa , a和f的分類準確率提升較多,說明CSR-CS方法所選擇的最優(yōu)通道多位于運動想象區(qū)域,在運動想象時該區(qū)域內(nèi)信號更具有區(qū)分性。FCCR作為一種通過特征壓縮和特征選擇來選擇通道的方法在個別受試者上表現(xiàn)出了一定的優(yōu)越性,但通過此方法選出來的通道并不像CSR-CS方法選出來的通道那樣考慮了通道間的整體性和大腦區(qū)域內(nèi)電極的相互聯(lián)系,而CSP-R-MF方法更偏向于子帶的特征選擇,缺少對通道的選擇,CCS-RCSP方法沒有考慮到通道間的整體性,這都導(dǎo)致部分分類精度的損失。
綜上所述,CSR-CS方法在電極數(shù)量較多和較少的數(shù)據(jù)集都可以展現(xiàn)出較好的分類效果,從而驗證了本文提出的通道選擇方法的可行性。
(1) 選擇通道區(qū)域個數(shù)k對分類準確率的影響。以數(shù)據(jù)集Ⅰ中的5位受試者為例介紹選擇通道區(qū)域個數(shù)k對分類準確率的影響,由圖6看出對于大多數(shù)受試者來說,隨著所選通道區(qū)域數(shù)量的增加,分類準確率的總體趨勢是先增加后降低的。這是因為最初選擇的通道數(shù)量太少,導(dǎo)致特征太少,分類精度較低。當通道數(shù)量過大時,含有冗余信息的通道或者與MI任務(wù)無關(guān)的通道會降低分類精度。受試者aa和aw使用CSR-CS方法選擇較少通道區(qū)域時,分類準確率可以達到最高,這是因為選擇的較少通道區(qū)域中的特征已經(jīng)足夠用以準確分類;其中,受試者al , av和ay達到最高分類準確率時選擇了較多通道區(qū)域,這是其通道含有較少的判別性特征信息的緣故。
(2) 通道選擇與否對分類準確率的影響。為了驗證進行通道選擇可以提升分類精度的必要性,本文還對上述兩個數(shù)據(jù)集進行了沒有通道選擇用CSP進行特征提取進而分類(All-Channel CSP,AC-CSP)和使用本文提出的通道選擇方法對比,從表2可以看出,CSR-CS方法在兩個數(shù)據(jù)集的9位受試者的分類精度均高于AC-CSP。對于數(shù)據(jù)集Ⅰ中的al , ay和數(shù)據(jù)集Ⅱ中的f , g 4位受試者,可以看到經(jīng)過通道選擇后分類精度的提升幅度很小,對于其他受試者,經(jīng)過通道選擇后分類精度的提升幅度很大,所以這也充分說明了基于不同受試者進行通道選擇的必要性。與AC-CSP方法相比,本文所提方法在分類精度上取得了非常顯著的提高(p<0.01)。圖7繪制了最顯著的兩個CSP特征的分布,這兩個特征是由CSR-CS和AC-CSP方法從數(shù)據(jù)集Ⅰ中的受試者aa中提取的。顯然,CSR-CS方法的特征相對于不同的MI任務(wù)更具有可分離性。
表1 數(shù)據(jù)集Ⅰ、數(shù)據(jù)集Ⅱ分類精度比較
(3) 選擇顯著通道或者通道區(qū)域與否對分類精度的影響。為了驗證選擇顯著通道和通道區(qū)域的必要性,本文將僅選擇通道區(qū)域(Sparse Representation based Channel Selection, SR-CS)、僅選擇顯著通道(Correlation based Channel Selection, CCS)方法和CSR-CS方法進行對比。SR-CS方法不通過相關(guān)性選擇顯著通道,而是將所有的電極劃分固定通道區(qū)域,與CSR-CS方法的通道區(qū)域劃分規(guī)則是一樣的。C-CS方法通過計算皮爾遜相關(guān)系數(shù)選擇顯著通道,進而特征提取與分類。同樣在上述的兩個數(shù)據(jù)集進行實驗,測試集10折交叉驗證分類精度對比結(jié)果如圖8所示。
圖6 選擇通道區(qū)域個數(shù)對分類精度的影響
表2 通道選擇與否對分類準確率的影響
圖7 受試者aa在CSR-CS和AC-CSP方法上獲得的最顯著的兩個特征的分布
圖8 選擇顯著通道或區(qū)域與否對分類精度的影響
可以看出,兩個數(shù)據(jù)集的所有受試者在選擇相同通道區(qū)域時,CSR-CS的分類性能明顯優(yōu)于SRCS;在選擇相同顯著通道時,CSR-CS的分類性能明顯優(yōu)于C-CS。這表明通過稀疏表示選擇顯著區(qū)域和通過計算皮爾遜相關(guān)系數(shù)選擇顯著通道,可以去除含有冗余信息和與MI任務(wù)無關(guān)的通道,從而可以提取判別性特征,最終提高分類精度。其中,對于數(shù)據(jù)集Ⅰ中的受試者ay和數(shù)據(jù)集Ⅱ中的受試者f,CSR-CS方法與SR-CS方法、C-CS方法得到的分類準確率相差很小(<1.5%),這是因為一些與MI任務(wù)無關(guān)的冗余通道包含在未選擇的通道區(qū)域中或者受試者ay和f含有冗余信息的通道較少。
本文提出一種對于多通道腦電信號的通道選擇方法CSR-CS,即基于相關(guān)性和稀疏表示選擇運動想象腦電通道的方法。首先,通過計算皮爾遜相關(guān)系數(shù)選擇顯著通道,將通道劃分為K個通道區(qū)域,然后通過稀疏表示得到每個區(qū)域的非零稀疏系數(shù)個數(shù)來選擇顯著區(qū)域,最后用顯著區(qū)域中的顯著通道作為最優(yōu)通道進行特征提取和分類。在電極數(shù)分別為118和59的公共數(shù)據(jù)集進行測試,并與其他3種通道選擇算法進行對比,且對不同的受試者給出了利于分類的最優(yōu)通道,結(jié)果表明通道的選擇是有必要的,分類精度有一定提升。此外,頻段信息對EEG分類也十分重要,使用稀疏組表示方法[22]同時選擇最優(yōu)通道和最佳頻段將是后續(xù)工作的研究內(nèi)容。