李珍琦,王 晶+,賈子鈺,林友芳
1.北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,北京 100044
2.北京交通大學(xué) 交通數(shù)據(jù)分析與挖掘北京市重點(diǎn)實(shí)驗(yàn)室,北京 100044
腦-機(jī)接口(brain-computer interface,BCI)是一種被廣泛研究的人機(jī)交互技術(shù),可以在人類大腦和外部設(shè)備之間建立直接連接通路,允許人們僅通過大腦神經(jīng)活動(dòng)來與現(xiàn)實(shí)世界交流或者操縱外部設(shè)備。目前,腦-機(jī)接口的研究有很多,比如運(yùn)動(dòng)想象(motor imagery,MI)、情緒識(shí)別和睡眠分期等,其中運(yùn)動(dòng)想象在近幾年引起了極大的關(guān)注。運(yùn)動(dòng)想象是與人體運(yùn)動(dòng)有關(guān)特異性行動(dòng)在大腦的再現(xiàn),但并不伴有實(shí)際的身體運(yùn)動(dòng)。對(duì)不同運(yùn)動(dòng)想象大腦神經(jīng)元活動(dòng)的正確識(shí)別,可以獲得大腦指令,進(jìn)而幫助患有嚴(yán)重運(yùn)動(dòng)神經(jīng)元疾病的患者控制輪椅等外部設(shè)備,同時(shí)運(yùn)動(dòng)想象分類也是進(jìn)行運(yùn)動(dòng)康復(fù)訓(xùn)練的重要支撐。
腦-機(jī)接口系統(tǒng)包括侵入性和非侵入性兩種方法對(duì)大腦神經(jīng)元的活動(dòng)進(jìn)行測(cè)量,其中腦電波(electroencephalogram,EEG)作為非侵入性方法之一,憑借其安全性、可靠性、舒適性和高便捷性被人們廣泛使用?;谀X電信號(hào)的運(yùn)動(dòng)想象分類研究,核心問題是如何將根據(jù)多個(gè)電極收集到的腦電信號(hào)解碼為有效特征,并提高分類的準(zhǔn)確性。
對(duì)于腦電信號(hào)的特征提取,學(xué)者們已經(jīng)做出了許多努力。早期的腦電分類方法直接從波形上提取時(shí)間特征,只能用于隨時(shí)間變化明顯的信號(hào)。后來學(xué)者們將腦電信號(hào)從時(shí)域轉(zhuǎn)換到頻域或者空間域去提取特征,進(jìn)而分類。但這些方法只考慮了時(shí)頻或時(shí)空特征,沒有同時(shí)考慮到腦電信號(hào)的多維(空間、時(shí)間和頻譜維度)特征,而且分類效果嚴(yán)重依賴于專家經(jīng)驗(yàn)。最近很多學(xué)者利用深度學(xué)習(xí)方法來解碼腦電信號(hào),如利用二維或三維卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)自動(dòng)提取腦電信號(hào)不同維度的特征。但是,腦電電極分布并非天然的歐式空間,不適合用標(biāo)準(zhǔn)卷積去提取特征。而且由于腦電的特性,各維度上的關(guān)聯(lián)強(qiáng)度會(huì)隨著不同實(shí)驗(yàn)而變化。因此,如何表示腦電的多維信息以及捕獲各維度上動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度仍是當(dāng)前的挑戰(zhàn)。
為解決上述挑戰(zhàn),本文提出了一種融合注意力的多維特征圖卷積網(wǎng)絡(luò)(attention based multi-dimensional feature graph convolutional network,AMFGCN)來進(jìn)行運(yùn)動(dòng)想象分類。本文的主要貢獻(xiàn)概述如下:
(1)提出一種適用于腦電信號(hào)的圖結(jié)構(gòu),能夠準(zhǔn)確表示腦電電極分布的非歐空間并充分考慮電極間的空間相關(guān)性。
(2)提出時(shí)-空、頻-空的雙分支框架,同時(shí)提取腦電信號(hào)在時(shí)域、頻域和空間域三個(gè)維度上的特征信息。
(3)設(shè)計(jì)出AMFGCN 模型,首次結(jié)合注意力機(jī)制和圖卷積去自適應(yīng)地捕獲腦電信號(hào)在各維度上的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度并有效地提取腦電特征。
(4)在四個(gè)公開腦機(jī)接口數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),證明本文提出的模型優(yōu)于其他現(xiàn)有運(yùn)動(dòng)想象分類方法。
針對(duì)基于腦電信號(hào)的運(yùn)動(dòng)想象分類問題,大量學(xué)者在不懈努力下提出了許多優(yōu)秀的分類算法。
傳統(tǒng)的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法通常是基于人工提取特征的方法,大致分為以下兩種:一類是空間濾波的方法,比如運(yùn)動(dòng)想象領(lǐng)域中最流行的共空間模式(common spatial pattern,CSP),該方法從多導(dǎo)腦電數(shù)據(jù)中提取每一類空間分布的分量并對(duì)其分類。后來,Ang等人提出了濾波器組共空間模式(filter bank common spatial pattern,F(xiàn)BCSP),該方法在CSP的基礎(chǔ)上增加了一種特征選擇算法,選擇可區(qū)分的頻帶對(duì)和相應(yīng)CSP 特征。另一類是基于時(shí)頻域轉(zhuǎn)換進(jìn)行腦電分類的方法,例如小波變換和短時(shí)傅里葉變換等。但是,這些方法依賴專家經(jīng)驗(yàn),運(yùn)動(dòng)想象分類的準(zhǔn)確性受到很大的限制。
如今,深度學(xué)習(xí)算法憑借自動(dòng)提取特征的優(yōu)勢(shì),在圖像和自然語言處理等領(lǐng)域取得了巨大的成功。為了解決人工提取特征的限制,學(xué)者們將深度學(xué)習(xí)算法同樣應(yīng)用到了運(yùn)動(dòng)想象分類中。Schirrmeister等人提出了一種淺層的卷積網(wǎng)絡(luò),直接從原始腦電信號(hào)中自動(dòng)提取特征。Zhao 等人提出具有三個(gè)不同卷積核大小的多分支三維卷積模型,從腦電信號(hào)的三維表示中提取特征。Wu 等人提出一種并行多尺度濾波器組的卷積神經(jīng)網(wǎng)絡(luò)去提取腦電特征。但是,大多數(shù)方法都只考慮了腦電信號(hào)的時(shí)間和空間特征。而且腦電的電極分布并非標(biāo)準(zhǔn)的網(wǎng)格結(jié)構(gòu),普通的卷積無法充分捕獲電極之間的空間相關(guān)性。
由于腦電的電極分布并非歐式空間,學(xué)者們逐漸利用圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network,GCN)來對(duì)運(yùn)動(dòng)想象進(jìn)行分類。Li等人提出一種端到端的時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò),同時(shí)捕獲腦電信號(hào)的時(shí)空特征來識(shí)別不同的運(yùn)動(dòng)想象。Lun 等人通過結(jié)合電極的功能拓?fù)潢P(guān)系,提出一種基于GCN 的深度學(xué)習(xí)框架,提高對(duì)運(yùn)動(dòng)想象腦電信號(hào)的解碼性能。Sun 等人提出一種自適應(yīng)時(shí)空?qǐng)D卷積網(wǎng)絡(luò),可以同時(shí)充分利用腦電信號(hào)時(shí)域中的特征和空間域中的通道相關(guān)性?,F(xiàn)階段利用圖卷積在運(yùn)動(dòng)想象分類問題上的研究還不是很多,以上這些模型雖然都取得了分類性能上的提升,但對(duì)于腦電信號(hào)在時(shí)間、頻率和空間多個(gè)維度中的信息表示和建模還有待完善。
圖是由若干節(jié)點(diǎn)以及連接兩點(diǎn)的線所構(gòu)成的,通常用來描述某些事物之間的某種特定關(guān)系。考慮到圖的鄰居節(jié)點(diǎn)并不是固定的,不能用傳統(tǒng)上固定大小可學(xué)習(xí)的卷積核去提取圖節(jié)點(diǎn)特征。因此,學(xué)者們提出了圖卷積的概念,可以在圖上進(jìn)行卷積操作。最常用的構(gòu)建方式有兩種:空間域和譜域。在空間域上構(gòu)建圖卷積就是把卷積核直接應(yīng)用到圖上的節(jié)點(diǎn)及其鄰域。但是由于每個(gè)頂點(diǎn)的鄰域不同,需要針對(duì)每個(gè)頂點(diǎn)去處理,計(jì)算成本很高,復(fù)雜度很大。在譜域上,通過圖拉普拉斯矩陣變換到譜域,再利用切比雪夫多項(xiàng)式的階截?cái)嘟魄蠼?,?shí)現(xiàn)圖結(jié)構(gòu)數(shù)據(jù)上的卷積操作,計(jì)算成本較低。因此,本文使用譜圖卷積來提取圖節(jié)點(diǎn)特征。
本文提出了一種新型的AMFGCN 模型,對(duì)運(yùn)動(dòng)想象所產(chǎn)生的腦電信號(hào)進(jìn)行解碼與識(shí)別。AMFGCN整體框架如圖1 所示,原始腦電信號(hào)基于圖結(jié)構(gòu)被轉(zhuǎn)換成時(shí)-空?qǐng)D表示和頻-空?qǐng)D表示后,分別輸入到由注意力機(jī)制、圖卷積、時(shí)間卷積、全局特征聚合和短路連接組成的網(wǎng)絡(luò)中,兩個(gè)分支的輸出經(jīng)過特征融合后進(jìn)行分類。
圖1 AMFGCN 模型框架圖Fig.1 Architecture of AMFGCN
模型整體包括五部分,分別為數(shù)據(jù)轉(zhuǎn)換及其圖表示、基于注意力機(jī)制的空間圖卷積模塊、基于注意力機(jī)制的時(shí)間/頻譜卷積模塊、全局特征聚合模塊和多維特征融合模塊,接下來分別進(jìn)行詳細(xì)介紹。
由于腦電信號(hào)的電極節(jié)點(diǎn)位置并非標(biāo)準(zhǔn)的歐式空間,為了準(zhǔn)確表示這一特性,本文根據(jù)電極的自然空間分布構(gòu)建出一個(gè)圖。再將腦電信號(hào)的時(shí)域和頻域信息映射到圖中,具體轉(zhuǎn)換過程如圖2 所示。
圖2 腦電信號(hào)的轉(zhuǎn)換過程Fig.2 Conversion process of EEG signals
本文根據(jù)電極節(jié)點(diǎn)在大腦上的自然空間分布構(gòu)建出一個(gè)適用于腦電信號(hào)的圖,構(gòu)建過程如圖3 所示。圖由節(jié)點(diǎn)和邊構(gòu)成,記為=(,),其中是腦電電極的節(jié)點(diǎn)集,是邊集??紤]到每個(gè)電極節(jié)點(diǎn)的電壓值受其周圍電壓值的影響較大,因此本文假設(shè)每個(gè)節(jié)點(diǎn)有上、下、左、右、左上、右上、左下、右下共8個(gè)自然相鄰的節(jié)點(diǎn),同時(shí)假設(shè)每個(gè)節(jié)點(diǎn)與其自身相連。定義邊集為={NN|(,)∈},其中是自然相鄰節(jié)點(diǎn)的集合。對(duì)于時(shí)域上的多導(dǎo)腦電信號(hào),每一時(shí)間片可以構(gòu)成一個(gè)無向圖,全部的時(shí)間就形成了時(shí)-空?qǐng)D表示x,用來描述時(shí)間在空間上的信息。
圖3 圖的構(gòu)建過程Fig.3 Construction process of graph
為了自適應(yīng)地捕獲空間域中腦電節(jié)點(diǎn)之間的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度,本文設(shè)計(jì)出一個(gè)基于注意力機(jī)制的空間圖卷積模塊,其包含兩部分:空間注意力機(jī)制和空間圖卷積。
一般來說,不同的運(yùn)動(dòng)想象任務(wù)會(huì)觸發(fā)大腦不同區(qū)域的神經(jīng)元活動(dòng)。即使是進(jìn)行同一任務(wù),不同區(qū)域的激活程度也會(huì)因人而異。因此,大腦節(jié)點(diǎn)之間的關(guān)聯(lián)強(qiáng)度是動(dòng)態(tài)變化的。受到自注意力機(jī)制的啟發(fā),本文設(shè)計(jì)出一種空間注意力機(jī)制去自適應(yīng)捕獲這種動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度,具體計(jì)算過程如下:
由于時(shí)-空分支和頻-空分支結(jié)構(gòu)完全相同,這里以時(shí)-空分支為例進(jìn)行描述。模塊的輸入為x∈R,為通道數(shù),模塊根據(jù)x自適應(yīng)地計(jì)算得到a∈R:
通常情況下,使用Softmax 歸一化函數(shù)對(duì)a進(jìn)行歸一化。然而,Softmax 雖然能夠保證不同電極之間是可分的,但無法達(dá)到區(qū)域內(nèi)緊湊和區(qū)域間分離的效果。因此,本文提出對(duì)a進(jìn)行L2 歸一化計(jì)算空間注意力矩陣,L2 歸一化可以令特征向量區(qū)域內(nèi)盡可能緊湊,區(qū)域間盡可能分離,能夠更好地提升模型性能??臻g注意力矩陣a′∈R定義為:
為了減少計(jì)算成本,本文采用譜圖卷積在經(jīng)過空間注意力機(jī)制調(diào)節(jié)后的圖結(jié)構(gòu)數(shù)據(jù)上進(jìn)行卷積操作,提取腦電信號(hào)的空間特征,具體過程如下:
根據(jù)構(gòu)建的圖,計(jì)算鄰接矩陣A∈R:
式中,′∈R是切比雪夫系數(shù)向量,切比雪夫多項(xiàng)式的遞歸定義為T()=2xT()-T(),()=1,()=。
式中,表示激活函數(shù),?表示對(duì)應(yīng)元素相乘。
為了提取腦電時(shí)域和頻域上的特征并自適應(yīng)地捕獲腦電時(shí)間與時(shí)間之間、頻譜與頻譜之間的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度,本文設(shè)計(jì)出基于注意力機(jī)制的時(shí)間/頻譜卷積模塊,包括時(shí)間/頻譜注意力機(jī)制和卷積。
腦電信號(hào)是隨著時(shí)間變化的多條時(shí)間序列,它在不同時(shí)刻的電壓值會(huì)存在一定的相互影響與依賴。同樣,相鄰頻率之間的頻率譜密度也會(huì)相互影響與依賴。因此,本文設(shè)計(jì)出一種時(shí)間/頻譜注意力機(jī)制去自適應(yīng)捕獲這種動(dòng)態(tài)變化的關(guān)聯(lián)性。本文的時(shí)間注意力和頻譜注意力分別作用于兩個(gè)分支,但結(jié)構(gòu)相同。因此,本文仍舊以時(shí)-空分支為例進(jìn)行描述,具體計(jì)算過程如下:
其次,對(duì)a進(jìn)行L2 歸一化得到時(shí)間注意力矩陣a′∈R:
經(jīng)過時(shí)間/頻譜注意力機(jī)制的調(diào)整后,本文選擇用二維的標(biāo)準(zhǔn)卷積去分別學(xué)習(xí)時(shí)間依賴性以及頻譜依賴性。盡管深度神經(jīng)網(wǎng)絡(luò)具有良好的學(xué)習(xí)表示能力,但對(duì)于腦電分析而言,并不是網(wǎng)絡(luò)越深效果越好。因此,一層的卷積已經(jīng)能夠很好地捕捉到每一節(jié)點(diǎn)上的時(shí)間及頻譜特征。本文中,時(shí)間/頻譜卷積的具體結(jié)構(gòu)如表1 所示。
表1 時(shí)間/頻譜卷積結(jié)構(gòu)Table 1 Convolution structure of temporal/spectral
式中,和分別是時(shí)間卷積學(xué)習(xí)到的權(quán)重和偏差。
為了全局地考慮所有節(jié)點(diǎn)之間的特征信息以及所有時(shí)間/頻譜之間的特征信息,本文設(shè)計(jì)出一個(gè)全局特征聚合模塊,通過兩個(gè)卷積層分別聚合空間全局特征和時(shí)/頻全局特征。而且,卷積層間的非線性函數(shù)ReLU 還可以令模型學(xué)習(xí)到更復(fù)雜的函數(shù),進(jìn)而增加模型復(fù)雜度。
式中,和分別是全局空間聚合的權(quán)重和偏差。
式中,和分別是全局時(shí)間聚合的權(quán)重和偏差。全局特征聚合模塊的結(jié)構(gòu)設(shè)置如表2 所示。
表2 全局特征聚合的結(jié)構(gòu)Table 2 Structure of global feature aggregation
式中,W和W是學(xué)習(xí)參數(shù),反映了兩個(gè)分支對(duì)運(yùn)動(dòng)想象分類的不同影響程度。
本文中使用的4 個(gè)公開腦機(jī)接口數(shù)據(jù)集分別為:BCI Competition IV 數(shù)據(jù)集2a(http://www.bbci.de/competition/iv)、BCI Competition III 數(shù)據(jù)集3a(http://www.bbci.de/competition/iii)、大型腦電數(shù)據(jù)集HaLT(https://www.nature.com/articles/sdata2018211)和AHUMIEEG 數(shù)據(jù)集(http://iiphci.ahu.edu.cn/toeeg)。
BCI Competition IV 數(shù)據(jù)集2a(BCICIV-2a):該數(shù)據(jù)集包含9 位受試者做不同運(yùn)動(dòng)想象任務(wù)的腦電信號(hào),分別是想象左手、右手、腳以及舌頭運(yùn)動(dòng)的4 類運(yùn)動(dòng)想象任務(wù)。使用22 個(gè)電極和250 Hz 的采樣頻率來記錄腦電信號(hào)。每個(gè)人在不同的日期共進(jìn)行了兩組實(shí)驗(yàn)。每組實(shí)驗(yàn)包含288 次運(yùn)動(dòng)想象,平均每類運(yùn)動(dòng)想象進(jìn)行72 次。
BCI Competition III數(shù)據(jù)集3a(BCICIII-3a):該數(shù)據(jù)集包含3 位受試者,其中第一位受試者進(jìn)行了360次運(yùn)動(dòng)想象,其他人為240 次。運(yùn)動(dòng)想象任務(wù)有4類,分別為左手、右手、腳和舌頭。腦電信號(hào)的收集使用了60 個(gè)腦電電極,并以250 Hz 的采樣頻率進(jìn)行記錄。
HaLT 數(shù)據(jù)集:考慮到BCI 競(jìng)賽的時(shí)間都相對(duì)較早,本文還選擇了一個(gè)于2018 年發(fā)布的大型公共腦電信號(hào)數(shù)據(jù)集。HaLT 數(shù)據(jù)集是“用于腦機(jī)接口腦電圖的大型腦電圖運(yùn)動(dòng)想象數(shù)據(jù)集”中的子數(shù)據(jù)集。它包含12 位受試者,運(yùn)動(dòng)想象任務(wù)有6 類,分別是左手、右手、左腿、右腿、舌頭和靜止。以200 Hz 的采樣率和19 個(gè)腦電電極記錄腦電信號(hào)。數(shù)據(jù)集中共包含29 次實(shí)驗(yàn),每次實(shí)驗(yàn)中大約有900 次運(yùn)動(dòng)想象,包括不同的想象任務(wù)。
AHU-MIEEG 數(shù)據(jù)集:該數(shù)據(jù)集為安徽大學(xué)公開的運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)集,本文選擇了其中的10位受試者進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)為Neuroscan 放大器采集的腦電信號(hào),電極個(gè)數(shù)為26,采樣頻率為250 Hz,運(yùn)動(dòng)想象任務(wù)有3 類,分別是左手、右手和腳。每位受試者在不同的日期進(jìn)行實(shí)驗(yàn),每次實(shí)驗(yàn)大約包含75次運(yùn)動(dòng)想象,平均每類運(yùn)動(dòng)想象進(jìn)行25 次。
在深度學(xué)習(xí)領(lǐng)域,訓(xùn)練數(shù)據(jù)量對(duì)于高分類精度至關(guān)重要。由于運(yùn)動(dòng)想象實(shí)驗(yàn)耗時(shí)且復(fù)雜,無法獲得大量腦電信號(hào),于是,本文使用數(shù)據(jù)增強(qiáng)從原始腦電信號(hào)中生成更多的訓(xùn)練數(shù)據(jù)。在BCICIV-2a 和BCICIII-3a 數(shù)據(jù)集中,每個(gè)運(yùn)動(dòng)想象任務(wù)包含3 s 的腦電信號(hào)數(shù)據(jù),本文選擇了一種在腦電信號(hào)中常用的數(shù)據(jù)增強(qiáng)方法——滑動(dòng)窗口。設(shè)置窗口大小為2 s,滑動(dòng)步幅為0.32 s,將腦電數(shù)據(jù)增強(qiáng)為原來的4 倍。在HaLT 數(shù)據(jù)集中,每個(gè)運(yùn)動(dòng)想象任務(wù)只包含1 s的腦電信號(hào)數(shù)據(jù),考慮到任務(wù)的持續(xù)時(shí)間太短,本文采用增加白噪聲的方法對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)。
本文中,將每個(gè)受試者的所有組實(shí)驗(yàn)數(shù)據(jù)組合在一起,并使用5 折交叉驗(yàn)證的方式來驗(yàn)證提出模型的有效性,最后取結(jié)果的平均值。模型在訓(xùn)練過程中采用Adam 優(yōu)化器算法最小化交叉熵?fù)p失函數(shù),進(jìn)行模型優(yōu)化,學(xué)習(xí)率設(shè)置為0.001。批大小設(shè)置為64,即每次選擇64 個(gè)樣本進(jìn)行模型優(yōu)化。圖表示中,時(shí)間長(zhǎng)度和頻率長(zhǎng)度全都設(shè)置為100,切比雪夫多項(xiàng)式中的設(shè)為3。
本文的實(shí)驗(yàn)部分全部使用Python 語言編寫實(shí)現(xiàn),其中模型部分采用了TensorFlow 和Keras 框架,模型的訓(xùn)練和測(cè)試都是在GPU服務(wù)器上運(yùn)行的。表3給出了實(shí)驗(yàn)中所使用軟硬件環(huán)境的詳細(xì)說明。
表3 實(shí)驗(yàn)環(huán)境Table 3 Experimental environment
為了驗(yàn)證AMFGCN 在運(yùn)動(dòng)想象分類任務(wù)上的優(yōu)越性,本文選取運(yùn)動(dòng)想象分類研究中一些優(yōu)秀的傳統(tǒng)方法和深度學(xué)習(xí)方法作為基準(zhǔn)方法與AMFGCN進(jìn)行比較,基準(zhǔn)方法描述如下:
FBCSP(filter bank common spatial pattern):一種空間濾波方法,從多通道腦電信號(hào)中提取每種類型的空間分布分量,然后用線性判別分析對(duì)其進(jìn)行分類。
Shallow ConvNet:一種淺層卷積網(wǎng)絡(luò),利用兩個(gè)卷積層分別作為時(shí)間卷積和空間濾波器,提取原始腦電信號(hào)的特征。
EEGNet:一種緊湊的卷積神經(jīng)網(wǎng)絡(luò),它使用深度和可分離卷積來構(gòu)建腦電分類模型。
Multi-branch-3D:一種具有三個(gè)不同卷積核大小的多分支三維卷積模型,從腦電信號(hào)的三維表示中提取時(shí)空特征。
MSFBCNN(multiscale filter bank convolutional neural network):一種并行多尺度濾波器組卷積神經(jīng)網(wǎng)絡(luò),從腦電中提取時(shí)間和空間特征。
CNN-LSTM:一種基于FBCSP、CNN 和長(zhǎng)短期記憶(long short-term memory,LSTM)的混合深度神經(jīng)網(wǎng)絡(luò),去解碼運(yùn)動(dòng)想象的腦電信號(hào)。
本文采用運(yùn)動(dòng)想象分類中常用的準(zhǔn)確率(accuracy,Acc)和Kappa系數(shù)作為模型的評(píng)價(jià)指標(biāo)。其中,準(zhǔn)確率為運(yùn)動(dòng)想象被正確分類的比例,即正確分類的樣本數(shù)和總樣本數(shù)的比值;Kappa 系數(shù)的具體計(jì)算公式如下:
為了驗(yàn)證AMFGCN 在運(yùn)動(dòng)想象分類方法中的優(yōu)勢(shì),將其在4 個(gè)數(shù)據(jù)集上與基準(zhǔn)方法進(jìn)行了比較。本文對(duì)所有基準(zhǔn)方法應(yīng)用相同的數(shù)據(jù)預(yù)處理和5 折交叉驗(yàn)證。表4、表5、表6、表7分別顯示了在BCICIV-2a、BCICIII-3a、HaLT 和AHU-MIEEG 數(shù)據(jù)集中不同方法的分類準(zhǔn)確率和Kappa 系數(shù)。由于本文是基于特定受試者的運(yùn)動(dòng)想象分類研究,計(jì)算了每一個(gè)人的分類準(zhǔn)確率和Kappa 系數(shù),以及每個(gè)數(shù)據(jù)集中所有人的平均值。
表4 不同方法在數(shù)據(jù)集BCICIV-2a 中的分類性能比較Table 4 Performance comparison of different methods on BCICIV-2a dataset
表5 不同方法在數(shù)據(jù)集BCICIII-3a 中的分類性能比較Table 5 Performance comparison of different methods on BCICIII-3a dataset
表6 不同方法在數(shù)據(jù)集HaLT 中的分類性能比較Table 6 Performance comparison of different methods on HaLT dataset
表7 不同方法在數(shù)據(jù)集AHU-MIEEG 中的分類性能比較Table 7 Performance comparison of different methods on AHU-MIEEG dataset
從表中可以看到,F(xiàn)BCSP 作為一種基于空間濾波的傳統(tǒng)腦電分類方法僅僅考慮了空間信息,忽略了時(shí)間和頻率信息中的辨別性特征,因此分類結(jié)果較差。而Shallow ConvNet、EEGNet和MSFBCNN 等方法通過設(shè)計(jì)不同類型的2D 卷積從腦電中提取時(shí)間和空間特征;Multi-branch-3D 利用大小不同的3D 卷積核來同時(shí)提取時(shí)空特征;CNN-LSTM 結(jié)合了FBCSP、CNN 和LSTM 等傳統(tǒng)與深度方法去提取時(shí)空特征。以上這些方法考慮到了腦電信號(hào)時(shí)間和空間兩個(gè)維度的特征,因此分類性能要優(yōu)于FBCSP。
本文提出的AMFGCN 與所有基準(zhǔn)方法相比,在4 個(gè)數(shù)據(jù)集上的平均準(zhǔn)確率和平均Kappa系數(shù)都具有最佳性能。這是因?yàn)锳MFGCN 基于適合腦電信號(hào)的圖表示同時(shí)提取了時(shí)-頻-空特征,獲得了更準(zhǔn)確、更全面的特征信息。而且AMFGCN 還利用了注意力機(jī)制去自適應(yīng)地捕獲腦電信號(hào)在不同維度上的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度,令模型具有更強(qiáng)的魯棒性。在單個(gè)人的實(shí)驗(yàn)結(jié)果中,EEGNet 在數(shù)據(jù)集HaLT 中受試者6 上取得了最佳的分類效果,CNN-LSTM 在數(shù)據(jù)集AHUMIEEG 中受試者S4 上表現(xiàn)最好。這可能是因?yàn)檫\(yùn)動(dòng)想象產(chǎn)生的腦電信號(hào)個(gè)體差異較大,EEGNet 的深度和可分離卷積以及CNN-LSTM 的混合網(wǎng)絡(luò)分別更好地捕捉到了這兩位受試者的特征信息。相比之下,AMFGCN 雖然沒能捕捉到最適合這兩位受試者的腦電特征,但是也取得了相當(dāng)不錯(cuò)的分類結(jié)果。而且從整體來看,AMFGCN 在其他受試者上均獲得了最佳的分類性能。因此,AMFGCN 能夠提升絕大多數(shù)受試者的運(yùn)動(dòng)想象分類性能,且能保證每個(gè)數(shù)據(jù)集中的平均分類結(jié)果是最優(yōu)的。
為了進(jìn)一步研究AMFGCN 中不同模塊的作用,本文設(shè)計(jì)了AMFGCN 的5 個(gè)變體,這些變體之間的差異描述如下:
(1)時(shí)-空?qǐng)D卷積:此模型僅具有AMFGCN 的時(shí)-空分支,分支中只包括空間圖卷積和時(shí)間卷積。
(2)頻-空?qǐng)D卷積:此模型僅具有AMFGCN 的頻-空分支,分支中只包括空間圖卷積和頻譜卷積。
(3)雙分支:此模型同時(shí)包括AMFGCN 的時(shí)-空分支、頻-空分支和最后兩個(gè)分支的特征融合。
(4)+全局特征聚合:此模型在變體3(雙分支)的基礎(chǔ)上,增加了全局特征聚合模塊。
(5)+注意力機(jī)制:此模型在變體4 的基礎(chǔ)上,增加了注意力機(jī)制,即空間注意力和時(shí)間/頻譜注意力。
圖4 展示了模型的5 個(gè)變體在數(shù)據(jù)集BCICIV-2a、BCICIII-3a、HaLT 和AHU-MIEEG 中所有人平均分類準(zhǔn)確率的對(duì)比。從中可以看出,如果提取腦電的時(shí)-頻-空三個(gè)維度的特征比單獨(dú)提取時(shí)空特征或者頻空特征能夠提供更多、更豐富的辨別性特征,進(jìn)而獲得更好的分類性能;而且,本文設(shè)計(jì)的全局特征聚合模塊和注意力機(jī)制都能不同程度地提高模型對(duì)不同運(yùn)動(dòng)想象的分類準(zhǔn)確性。由此可以證明,本文提出的AMFGCN 模型中每一模塊都是有效的,都能提升運(yùn)動(dòng)想象分類性能。
圖4 模型不同變體的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of different model variants
針對(duì)運(yùn)動(dòng)想象分類問題,本文提出一種新型的融合注意力的多維特征圖卷積網(wǎng)絡(luò)AMFGCN。該模型基于一種適合腦電信號(hào)的圖結(jié)構(gòu)作為輸入,能夠準(zhǔn)確表示腦電電極分布的非歐空間并充分考慮電極間的空間相關(guān)性;利用雙分支框架從原始腦電信號(hào)轉(zhuǎn)換成的時(shí)-空?qǐng)D表示和頻-空?qǐng)D表示中同時(shí)提取時(shí)-頻-空多維度特征信息;并設(shè)計(jì)出注意力機(jī)制和全局特征聚合模塊,與圖卷積結(jié)合去自適應(yīng)地捕獲腦電信號(hào)在各維度上的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度和有效特征。在4個(gè)公開腦機(jī)接口數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明,AMFGCN比其他基準(zhǔn)方法在運(yùn)動(dòng)想象分類任務(wù)上取得了一定程度的提升。此外,AMFGCN 模型是腦電信號(hào)分類的通用框架,適用于情感識(shí)別、睡眠分期等基于腦電進(jìn)行研究的領(lǐng)域,且該模型具有在現(xiàn)實(shí)生活中運(yùn)動(dòng)想象康復(fù)醫(yī)療領(lǐng)域應(yīng)用的潛力。
雖然本文算法顯示出了獨(dú)特的優(yōu)勢(shì),但是依然存在一些問題需要進(jìn)一步研究。比如,當(dāng)前的研究是針對(duì)每一位受試者的,如何提出普適性更高的算法去進(jìn)行跨受試者研究,需要更深一步的探討與分析。