采用改進共空間模式算法的四類表情輔助腦電信號識別方法

王迪,陶慶,張小棟,,蘇娜,吳斌,方婧瑤,陸竹風

(1.新疆大學(xué)機械工程學(xué)院,830047,烏魯木齊;2.西安交通大學(xué)機械工程學(xué)院,710049,西安;3.新疆醫(yī)科大學(xué)第一附屬醫(yī)院,830054,烏魯木齊)

腦機接口(brain computer interface,BCI)是一種不依賴由外周神經(jīng)和肌肉組織組成的大腦信息輸出通道而直接實現(xiàn)人腦與外部設(shè)備之間信息交流和通信控制的技術(shù)[1]。目前,BCI技術(shù)中常見的研究較為成熟的范式有運動想象(MI)、穩(wěn)態(tài)視覺誘發(fā)電位、P300、事件相關(guān)去同步化/同步化,但由于腦電信號(EEG)的個體差異性大和非平穩(wěn)性,在該技術(shù)的應(yīng)用過程中依然存在識別準確率低、信息傳輸速率慢、設(shè)備不易實現(xiàn)便攜等問題,這也是制約該技術(shù)發(fā)展的關(guān)鍵瓶頸。為了克服這些難題,2016年6月張小棟等[2]首次提出了表情輔助腦電信號的腦機接口方式,并根據(jù)人體生理機制對該新范式進行了建模仿真,從神經(jīng)生理學(xué)的角度驗證了表情輔助腦電信號的可分性。同時,該團隊首次嘗試使用小波變換和BP神經(jīng)網(wǎng)絡(luò)對表情輔助腦電信號進行特征提取和分類識別,其準確率可達85%。2018年,該團隊利用OVO-CSP算法結(jié)合OVO-SVM算法對表情輔助腦電信號進行特征提取和分類,其離線平均分類準確率達到88.3%±4.8%[3]。在此基礎(chǔ)上,該團隊開展了腦控假手的在線實驗,使得受試者順利完成了手腕內(nèi)旋、外旋、手掌抓取、張開共4種動作,成功利用表情驅(qū)動腦電信號實現(xiàn)受試者主動喝水的流程[3-4],這意味著腦機接口技術(shù)有了創(chuàng)新性發(fā)展,也為便攜式腦機接口系統(tǒng)的發(fā)展提供了可能性。

表情輔助腦電信號是一種自發(fā)型的腦電信號,能更直接地表達受試者的運動意圖[5],且無需前期的大量訓(xùn)練,無需額外增加刺激源,對受試者要求低,具有廣泛的應(yīng)用價值[6]。現(xiàn)階段對于面部表情的研究趨勢是用于監(jiān)測患者在康復(fù)階段的感受,在患者康復(fù)訓(xùn)練的過程中能夠起到輔助作用,更好地實現(xiàn)人機交互[7-8]。與此同時,直接利用表情輔助腦電信號的BCI技術(shù)相比于其他范式,提出較晚且尚在發(fā)展階段,因此進一步對表情輔助腦電信號做特征提取及分類識別研究具有很大意義。

對腦電信號進行有效且快速地特征提取及分類是實現(xiàn)BCI系統(tǒng)的關(guān)鍵技術(shù)[9],也是后續(xù)在線實驗過程中提高控制準確率和降低控制延遲率的關(guān)鍵。由于表情輔助腦電信號同運動想象腦電信號均屬于自發(fā)式類型,有一定的類比性,且表情輔助腦電信號識別的研究還主要集中在傳統(tǒng)方法,故本文以相對研究較為成熟的MI腦電信號的特征提取和分類方法作為參照,選取最有效特征提取算法之一——共空間模式(CSP)算法——進行改進。在傳統(tǒng)范式腦電信號領(lǐng)域中,對于CSP算法的研究有了一定的研究基礎(chǔ)。劉寶等[10]提出了一種基于粒子群優(yōu)化和CSP的運動想象腦電信號特征提取算法,該算法針對個體差異性用粒子群優(yōu)化得出每個個體腦電信號的最佳時段和頻段,這樣經(jīng)CSP提取出的特征要遠遠優(yōu)于傳統(tǒng)方法的。谷學(xué)靜等[11]結(jié)合CSP和CNN算法對運動想象腦電信號進行空間濾波處理并提取時空域上的特征,實驗結(jié)果顯示,相比傳統(tǒng)的CNN算法,所提算法的分類準確率有明顯提高。張學(xué)軍等[12]提出了一種基于局部均值分解、模糊熵以及共空間模式算法的特征提取方法,選取其中最具區(qū)分度的特征輸入到支持向量機(SVM)中分類,并采用BCI競賽數(shù)據(jù)集驗證了該特征提取方法的有效性。

傳統(tǒng)的CSP算法僅能做二分類識別問題的特征提取,若想實現(xiàn)多分類,就得對其進行擴展或改進[13],最簡單的擴展如OVO-CSP、OVR-CSP等。其中:OVO-CSP是把多分類問題轉(zhuǎn)換成多個二分類問題,即在每兩類樣本之間構(gòu)造一個CSP投影矩陣,若有n類樣本時,則需要構(gòu)造n(n-1)/2個投影矩陣,這就會使得算法存在計算復(fù)雜度大、耗時長的問題;OVR-CSP是把某一類樣本和其余類的樣本看作兩大類,以此構(gòu)造CSP投影矩陣,該擴展方法的優(yōu)點是只需要構(gòu)造n個投影矩陣,計算復(fù)雜度有所降低,但精確度和穩(wěn)定性較低。而且,由于傳統(tǒng)CSP算法通常情況下只進行一個固定寬度的帶通濾波處理,但腦電信號具有極強的個體差異性,且面部表情的腦電信號受噪聲干擾的程度較嚴重,因此這種做法具有一定盲目性。

為了更好地解決上述問題,本文對揚眉、皺眉、左撇嘴、右撇嘴共4類面部表情腦電信號進行研究,提出了一種基于重復(fù)二分濾波器組共空間模式(FBCSP)和SVM(RB-FBCSP-SVM)算法的4類表情輔助腦電信號識別方法。不僅在一定程度上實現(xiàn)了個體頻率濾波器的自適應(yīng)優(yōu)化,還可以有效降低計算復(fù)雜度、提高識別準確率。

1 實驗設(shè)計

1.1 實驗安排

本文實驗共有10名受試者(均為22～28歲身體健康的在校大學(xué)生,6男4女),且在實驗前沒有接受過任何訓(xùn)練。任務(wù)類型包含4種面部表情,分別是左撇嘴、右撇嘴、揚眉、皺眉。在實驗過程中,要求受試者單獨在一個安靜的房間,做表情任務(wù)期間需避免不必要的身體活動。

具體實驗流程如下:每位受試者每種表情需完成12組,每組實驗重復(fù)做動作5次,即每一受試者的每類表情的腦電數(shù)據(jù)有60個試次,將腦電數(shù)據(jù)降維到N×T(N是通道數(shù),T是采樣點數(shù))維;將每個試次作為1個樣本,則總數(shù)據(jù)集共有2 400個樣本;每個樣本數(shù)據(jù)長度為4 s,采樣點數(shù)為512。每組實驗以蜂鳴器的第一個嗶聲記為開始時刻,受試者有2 s的準備時間,之后根據(jù)嗶聲提示開始執(zhí)行一種表情并持續(xù)4 s,每組實驗重復(fù)5次。為避免精神疲勞引起腦電信號的失真,每次動作之間有2 s的休息時間,每5組實驗之間間隔1 min。圖1是一組實驗流程的具體說明。

圖1 實驗流程

1.2 實驗數(shù)據(jù)

腦電信號的采集設(shè)備是Neuracle公司生產(chǎn)的NeuSen W16無線腦電信號采集系統(tǒng),采樣頻率默認為1 000 Hz,共有16個采集通道,電極位置的分布是嚴格按照國際標準10-20電極定位方法來放置的,實驗過程中所有電極的阻抗均保持在10 kΩ以下。每個面部表情都有各自的時域響應(yīng)。Toth和Arvaneh[14]通過實驗證明,在一般情況下,面部表情腦電信號的最優(yōu)采樣率為128 Hz。因此,本文的實驗數(shù)據(jù)均做降采樣處理至128 Hz。根據(jù)Nyquist采樣定理,實驗采集到的有效腦電信號頻帶寬度為64 Hz。

根據(jù)面部表情產(chǎn)生的神經(jīng)生理機制,表情的加工是由前額葉皮質(zhì)和邊緣系統(tǒng)相互協(xié)調(diào)合作完成的[2]。本文實驗結(jié)合博?？悼萍?常州)股份有限公司NeuSen W16無線腦電信號采集設(shè)備16通道的腦電帽電極分布圖和腦皮層結(jié)構(gòu)圖,確定選取F7、C3、F8、C4為有效腦電信號采集通道,具體如圖2所示。

(a)腦皮層結(jié)構(gòu)圖

2 基于重復(fù)二分FBCSP和SVM算法的識別方法

2.1 CSP特征提取原理

傳統(tǒng)的CSP算法在兩分類任務(wù)下進行空間濾波特征提取,能夠從多通道的腦電信號數(shù)據(jù)中提取出每一類的空間分布成分,可以有效地對信號進行空間濾波。CSP算法的基本原理是利用矩陣的對角化,找到一組最優(yōu)的空間濾波器進行投影,使得兩類信號的方差值差異最大[15],從而得到具有較高區(qū)分度的特征向量。

具體數(shù)學(xué)原理如下。設(shè)X1和X2為兩分類任務(wù)下的多通道腦電信號矩陣,維數(shù)為N×T,則X1和X2歸一化后的協(xié)方差矩陣R1和R2分別為

(1)

然后,求混合空間協(xié)方差矩陣R

(2)

R=UλUT

(3)

式中:U是矩陣λ的特征向量矩陣;λ是對應(yīng)特征值構(gòu)成的對角陣。將特征值進行降序排列,白化值矩陣為

(4)

接著,構(gòu)造空間濾波器。對R1和R2進行變換

S1=PR1PT;S2=PR2PT

(5)

S1、S2具有公共特征向量,而且存在λ1、λ2和特征向量矩陣B滿足

S1=Bλ1BT;S2=Bλ2BT

(6)

λ1、λ2相加為單位矩陣,即λ1+λ2=1。這意味著S1的最小特征值總是對應(yīng)S2的最大特征值,反過來也同理。因此,可以利用矩陣B解決兩分類問題。計算投影矩陣

W=(BTP)T

(7)

將原始腦電數(shù)據(jù)X1和X2通過空間濾波器W得到矩陣

Z1=WN×N×X1;Z2=WN×N×X2

(8)

2.2 基于SVM的表情輔助腦電信號分類

在腦電信號分類問題上,SVM具有很強的泛化能力,擅長應(yīng)付小樣本、樣本數(shù)據(jù)不可分的情況,主要通過松弛變量和核函數(shù)技術(shù)來實現(xiàn)[16]。由于表情驅(qū)動腦電信號具有非線性特點[17-18],所以需引入核函數(shù)來解決。對于核函數(shù)的選擇,陸竹風等[4]在2018年就驗證了在表情輔助腦電信號的處理上,OVO-CSP結(jié)合冪指核函數(shù)(RBF核函數(shù)的一種)是平均識別準確率最高的方法。所以,本文分類器選用冪指核函數(shù)[19],其數(shù)學(xué)表達式為

Krbf(xi,xj)=exp{-r‖xi-xj‖2}

(9)

與CSP原理類似,SVM是一個典型的二分類器。因此,若想用SVM算法實現(xiàn)多分類問題,就必須進行擴展。本文為了保證分類器的穩(wěn)定性采用OVO-SVM的擴展方法[20]。圖3是傳統(tǒng)的二分類擴展為四分類的OVO-SVM方法結(jié)構(gòu)圖。

圖3 傳統(tǒng)二分類擴展為四分類OVO-SVM方法的結(jié)構(gòu)圖

2.3 基于表情輔助腦電信號的RB-FBCSP-SVM算法原理

FBCSP算法是在CSP算法的基礎(chǔ)上增加了濾波器組,將原始腦電信號劃分為多個子頻段信號,再分別對每個濾波后的子頻段信號使用CSP算法提取空間能量特征。FBCSP在較小的頻率尺度范圍內(nèi)對有效數(shù)據(jù)進行分析,增加了信噪比,并在一定程度上實現(xiàn)了濾波器的個體自適應(yīng)。

由于表情的產(chǎn)生時大腦前額葉皮層腦電信號的α波和θ波較為活躍[2],所以為了過濾出有效的腦電信號,減少高頻干擾,本文使用3個起始頻率為4 Hz、截止頻率為16 Hz、帶寬為4 Hz的巴特沃思帶通濾波器構(gòu)成濾波器組。頻率濾波后的表情輔助腦電信號經(jīng)投影后得到特征矩陣,其特征值由小到大排列。特征信息主要集中在特征矩陣的頭部和尾部,中間的特征信息不明顯,可以忽略。為避免特征重復(fù),本文選取特征點對數(shù)為2,即3個頻段中選擇每個特征矩陣的前6行和后6行作為原始輸入數(shù)據(jù)的特征向量,每個樣本的特征向量維數(shù)是12。對特征向量其進行歸一化處理,得到

(10)

式中yi為第i個樣本歸一化后的特征矩陣。

本文所提出的基于表情驅(qū)動腦電信號的RB-FBCSP-SVM算法結(jié)構(gòu)如圖4所示,具體步驟如下:

圖4 RB-FBCSP-SVM算法結(jié)構(gòu)

(1)將4類表情輔助腦電信號數(shù)據(jù)看成上面部表情(揚眉、皺眉)和下面部表情(左撇嘴、右撇嘴)兩大類,用濾波器組將原始信號分成3個子頻帶,并分別對其進行CSP特征提取;

(2)將特征提取后大小為2 400×12像素的數(shù)據(jù)集輸入到第1個SVM分類器中,識別出上面部表情和下面部表情兩類信號;

(3)在上面部表情和下面部表情數(shù)據(jù)集中,分別重復(fù)進行一次CSP特征提取,將各自提取后的特征數(shù)據(jù)集分別輸入到第2個和第3個SVM分類器中,并在五折交叉驗證下得出4類表情輔助腦電信號的識別準率。

3 實驗結(jié)果分析

3.1 對比算法及度量指標

為了驗證本文所提方法的有效性,結(jié)合OVO-SVM分類器,在相同數(shù)據(jù)集的前提下,設(shè)置OVO-CSP、OVR-CSP、小波包變換共3種對比算法。

小波包變換是一種非常有效的特征提取算法[21]。本文選取db4小波包基,將表情輔助腦電信號進行小波包變換4層分解,選取第4層的4～8、8～12、12～16 Hz子頻段信號[22-23]。分別提取每個子頻段的4個通道的信號能量均值特征,則每個樣本的特征向量維度均為12。

度量指標及對比分析描述如下。

(1)運算耗時對比。為驗證重復(fù)二分結(jié)構(gòu)的有效性,將本文所提方法與傳統(tǒng)的四分類OVO-CSP和OVR-CSP擴展算法進行計算復(fù)雜度及運算時長的對比[24]。

(2)特征差異性對比。為驗證本文所提方法在特征提取階段的有效性,將本文所提方法與傳統(tǒng)的四分類OVO-CSP和OVR-CSP擴展算法進行歸一化特征向量的對比。

(3)分類識別準確率對比。結(jié)合OVO-SVM分類器對比4種方法的分類識別準確率,該結(jié)果是在五折交叉驗證下得出的共統(tǒng)計10次[25]。分類準確率定義為預(yù)測正確的樣本數(shù)量占總樣本數(shù)量的比例,公式為

(11)

式中:Ac為分類識別正確率;Tp為預(yù)測正確的正類樣本數(shù);Tn為預(yù)測正確的負類樣本數(shù);Fp為預(yù)測錯誤的正類樣本數(shù);Fn為預(yù)測錯誤的負類樣本數(shù)。

3.2 結(jié)果分析

從圖4可以看出,本文所提方法只需計算3個投影矩陣、設(shè)計3個SVM分類器便可以達到很好的分類效果,而傳統(tǒng)的OVO需要6個投影矩陣和6個分類器,OVR也需要4個投影矩陣和4個分類器,本文方法大大降低了計算復(fù)雜度。

在10名受試者的腦電信號經(jīng)EEGLAB工具箱進行簡單預(yù)處理的前提下,本文所提方法的總樣本數(shù)據(jù)特征提取+分類識別的運算時間約為92.4 s,而在傳統(tǒng)的OVR和OVO擴展方法下的運算耗時分別高達221.7、179.3 s。因此,在計算耗時方面,本文方法表現(xiàn)出明顯的優(yōu)勢。

圖5～7是本文RB-FBCSP算法重復(fù)3次二分后特征值的分布情況。從圖5可以看出,上面部表情和下面部表情的特征值差異明顯,上面部表情整體呈下降趨勢,下面部表情整體呈現(xiàn)上升趨勢,說明了重復(fù)二分結(jié)構(gòu)第一步的有效性。圖8和圖9是傳統(tǒng)OVR-CSP、OVO-CSP算法特征提取后4種表情任務(wù)的特征值。對比圖5可以看出,本文算法后兩次提取的特征值類間差異明顯,而傳統(tǒng)擴展算法提取出的特征值沒有明顯的差異,故本文算法更有利于提高分類識別效果。

圖5 RB-FBCSP第1次特征提取后的特征值

圖6 RB-FBCSP第2次特征提取后下面部表情的特征值

圖7 RB-FBCSP第3次特征提取后上面部表情的特征值

圖8 傳統(tǒng)OVR-CSP特征提取后4種表情任務(wù)的特征值

圖9 傳統(tǒng)OVO-CSP特征提取后4種表情任務(wù)的特征值

表1是對所有受試者進行表情輔助腦電信號識別的五折交叉驗證的10次識別準確率?？梢钥闯?本文RB-FBCSP算法的平均識別準確率為89.614%,相比于傳統(tǒng)的OVO-CSP、OVR-CSP和小波包變換結(jié)合SVM分類得出的平均識別準確率分別提高了9.23%、9.82%和8.04%。

表1 10次五折交叉驗證下的識別準確率

4 結(jié) 論

本文針對表情輔助下多分類腦電信號特征提取困難、計算復(fù)雜度高的問題,提出了一種重復(fù)二分濾波器組共空間模式(RB-FBCSP)算法用于四分類表情輔助腦電信號的特征提取,并結(jié)合支持向量機(SVM)分類器對提取出的信號特征進行分類識別。與傳統(tǒng)的四分類擴展算法相比,本文所提方法的計算復(fù)雜度明顯降低,平均分類準確率也有一定的提升,計算耗時極大縮短。本文研究可為在線腦控技術(shù)及便攜式腦控技術(shù)提供參考。