融合多尺度自注意力機(jī)制的運(yùn)動(dòng)想象信號(hào)解析

劉 京，趙 薇，董澤浩，王少華，王 余

1.河北師范大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)空間安全學(xué)院，石家莊050024

2.河北師范大學(xué)軟件學(xué)院，石家莊050024

3.河北師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，石家莊050024

腦電圖（electroencephalogram，EEG）是由Hans Berger 于1924 年首先檢測(cè)到并命名，是測(cè)量電極和基準(zhǔn)參考電極所采集得到電位的差值，是兩個(gè)電極間大量神經(jīng)元自發(fā)性、節(jié)律性放電的電位差的記錄。EEG由于其簡單、安全和低廉的優(yōu)勢(shì)而被廣泛用于許多非侵入性腦機(jī)接口（brain-computer interface，BCI）系統(tǒng)的研究中[1]。BCI通過腦電信號(hào)和解碼技術(shù)在人腦和計(jì)算機(jī)之間建立直接通路。早期的BCI 系統(tǒng)主要用于中風(fēng)康復(fù)或改善殘疾患者的生活質(zhì)量，如控制電動(dòng)輪椅[2]、文字拼寫器[3]和假肢[4]等。近些年，BCI系統(tǒng)不僅僅局限于殘疾患者，還被廣泛應(yīng)用于健康人群[5]。在不同類型的EEG信號(hào)中，運(yùn)動(dòng)想象（motor imagery，MI）腦電信號(hào)作為一種經(jīng)典范例已經(jīng)研究和開發(fā)了數(shù)十年。其生理學(xué)基礎(chǔ)是，當(dāng)人們用雙手、雙腳或舌頭想象或執(zhí)行動(dòng)作時(shí)，在腦半球的對(duì)側(cè)和同側(cè)的感覺運(yùn)動(dòng)區(qū)域中，mu（8～12 Hz）和beta（16～26 Hz）節(jié)律的能量受到抑制或促進(jìn)，即產(chǎn)生事件相關(guān)同步/去同步（ERS/ERD）現(xiàn)象[6]。

BCI 的關(guān)鍵問題是如何實(shí)現(xiàn)腦電信號(hào)的精確分類，盡管學(xué)者們?cè)贛I分類方面提出了許多方法，包括機(jī)器學(xué)習(xí)的方法和深度學(xué)習(xí)的方法，但是仍然面臨著許多挑戰(zhàn)。首先，之前的方法主要選擇在感覺運(yùn)動(dòng)區(qū)域的電極（如C3、Cz、C4電極）記錄的腦電信號(hào)，但不同身體部位的MI可能會(huì)激活大腦的不同功能區(qū)域[7]，所有的大腦功能區(qū)域都會(huì)對(duì)不同的MI 任務(wù)產(chǎn)生一定的影響，而不僅僅是感覺運(yùn)動(dòng)區(qū)域。由于MIEEG 信號(hào)活動(dòng)的幅值與響應(yīng)時(shí)間因人而異，無法確定哪個(gè)腦區(qū)與MI 最相關(guān)[8]。其次，MI 信號(hào)在時(shí)間上是連續(xù)的，具有低信噪比（signal-to-noise ratio，SNR）的特性，并且容易受到多種生物學(xué)因素（如眨眼、心臟跳動(dòng)和肌肉活動(dòng)產(chǎn)生的眼電、心電和肌電）或環(huán)境偽影（如機(jī)器的工頻噪聲）的影響。這些目前面臨的挑戰(zhàn)的組合使得以前的方法提取特征的能力有限，并且分類準(zhǔn)確率較低。

為了克服如上問題，本文提出了一種基于注意力機(jī)制的多尺度時(shí)空自注意力網(wǎng)絡(luò)模型，用于原始MI-EEG信號(hào)的運(yùn)動(dòng)想象任務(wù)分類，該模型由特征提取模塊、特征融合模塊與特征分類模塊組成。本文方法假設(shè)在大腦活動(dòng)過程中，與運(yùn)動(dòng)想象相關(guān)的通道應(yīng)分配更高的權(quán)重值。權(quán)重值根據(jù)本文提出的空間自注意力機(jī)制計(jì)算得到，該機(jī)制捕獲高級(jí)可區(qū)分的空間特征，并在原始MI-EEG信號(hào)數(shù)據(jù)的空間域中定義更緊湊、更集中的表現(xiàn)形式。MI-EEG信號(hào)是一種非平穩(wěn)時(shí)序信號(hào)，可以采用時(shí)間卷積神經(jīng)網(wǎng)絡(luò)（temporal convolutional neural networks，TCN）提取EEG信號(hào)隨時(shí)間變化的狀態(tài)和程度，且TCN 可以通過擴(kuò)張卷積和改變卷積核大小的方式來保證淺層網(wǎng)絡(luò)獲得更大的感受野，同時(shí)其反向傳播路徑與序列的時(shí)間方向不同，因此TCN 在一定程度上可以避免梯度消失和爆炸的問題。本文在TCN 網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，采用并行多尺度TCN 層，以解決MI-EEG 信號(hào)中時(shí)間域上存在的噪聲干擾的問題，同時(shí)可以提取不同尺度的時(shí)間域特征信息，與空間自注意力機(jī)制得到的空間域特征信息相結(jié)合，得到豐富的時(shí)空域特征信息，進(jìn)一步提高分類性能。本文的主要工作如下：

（1）在空間域中，本文使用空間自注意力機(jī)制層提取任意兩個(gè)通道的腦電信號(hào)之間的潛在空間聯(lián)系。某一通道的特征通過加權(quán)求和的方式聚合所有通道上的特征來更新，其中的權(quán)重是通過相應(yīng)通道之間的特征相似性計(jì)算得到的。定義了一種新的原始MI-EEG信號(hào)空間域特征信息的表示形式，通過自動(dòng)分配較高的值給運(yùn)動(dòng)相關(guān)的通道，較低的值給運(yùn)動(dòng)無關(guān)的通道來選擇最佳的通道。該層提高了分類精度，消除了人工選擇信號(hào)通道所產(chǎn)生的特征信息的丟失。

（2）在時(shí)間域中，MI-EEG 信號(hào)是連續(xù)的時(shí)序信號(hào)，具有信噪比低的特性，從原始腦電信號(hào)中提取與MI 相關(guān)的特征信息相對(duì)困難。因此，本文使用并行多尺度TCN 層消除時(shí)間域特征信息中的噪聲，并利用不同時(shí)間尺度的TCN網(wǎng)絡(luò)提取不同尺度下的時(shí)間域特征信息。

（3）將兩層得到的特征圖拼接融合，得到MIEEG空間域與時(shí)間域特征信息增強(qiáng)的特征圖。為了驗(yàn)證所提出模型的性能，將該模型在三個(gè)公共數(shù)據(jù)集上進(jìn)行了評(píng)估。相應(yīng)結(jié)果表明，本文方法在MI-EEG的分類任務(wù)上優(yōu)于幾種傳統(tǒng)方法（平均提高11.84%），與基于DL 的方法相比，本文方法也處于領(lǐng)先水平。為了直觀地從生理上驗(yàn)證所提出的空間自注意力機(jī)制的合理性，本文繪制了MI-EEG 數(shù)據(jù)的腦地形圖，據(jù)此來說明MI 不僅激活了C3、C4、Cz 通道，而且還影響了其他的通道。

1 相關(guān)工作

針對(duì)MI-EEG 信號(hào)的分類已有許多研究。這些研究可以分為兩類：傳統(tǒng)研究方法和基于深度學(xué)習(xí)的方法。在傳統(tǒng)研究方法中，共空間模式（common spatial pattern，CSP）算法[9]及其變體，如濾波器組共空間模式（filter bank common spatial pattern，F(xiàn)BCSP）[10]，被廣泛用于從多通道EEG數(shù)據(jù)中提取特征的空間分布。Jin 等人[11]使用Pearson 的相關(guān)系數(shù)手動(dòng)選擇包含最相關(guān)信息的通道，然后使用正則化的共空間模式（regularized common spatial pattern，RCSP）提取有效特征，并使用支持向量機(jī)（support vector machine，SVM）作為分類器。但是，特征選擇工程在很大程度上取決于手工特征的選擇，依賴于人類的經(jīng)驗(yàn)。此外，由于MI-EEG具有有限的空間分布，易受噪聲干擾，信噪比（signal-to-noise ratio，SNR）低和隨時(shí)間發(fā)生變化的高動(dòng)態(tài)特性，傳統(tǒng)方法無法實(shí)現(xiàn)高精度解碼。

目前，深度學(xué)習(xí)（deep learning，DL）在各個(gè)領(lǐng)域中均表現(xiàn)出優(yōu)越的性能，尤其是在計(jì)算機(jī)視覺、自然語言處理和語音識(shí)別方面取得了巨大成就，在各種醫(yī)學(xué)應(yīng)用中也表現(xiàn)出卓越的性能[12-14]。DL 的發(fā)展引起了BCI 領(lǐng)域研究人員的關(guān)注。相關(guān)研究包括基于深度學(xué)習(xí)模型的腦電特征提取[15]、癲癇病的預(yù)測(cè)和監(jiān)測(cè)[16-17]、分類[18-19]和聽覺音樂檢索[20]。

深度學(xué)習(xí)在基于MI-BCI系統(tǒng)的分類任務(wù)中發(fā)展迅速，根據(jù)網(wǎng)絡(luò)的輸入形式，基于DL 的MI 分為兩類：特征輸入網(wǎng)絡(luò)和原始信號(hào)輸入網(wǎng)絡(luò)。特征輸入網(wǎng)絡(luò)的MI腦電信號(hào)分類分兩個(gè)階段完成。首先，通過傳統(tǒng)的特征提取方法，如功率譜分析、小波變換和CSP 等，將MI-EEG 信號(hào)的空間、頻譜和時(shí)間信息組合在一起，將1D 的特征向量人工轉(zhuǎn)換為2D 的特征圖。然后，將這些特征圖輸入網(wǎng)絡(luò)，采用DL 訓(xùn)練模型對(duì)特征進(jìn)行分類。Bashivan等人[18]將MI-EEG信號(hào)轉(zhuǎn)換為保留拓?fù)涞亩喙庾V圖像，并訓(xùn)練了一個(gè)深度遞歸卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行分類。Kumar 等人[12]使用CSP 提取特征，然后將其輸入到多層感知器（multilayer perceptrons，MLPs）中。Tabar 和Halici[21]將通過短時(shí)傅里葉變換生成的時(shí)頻特征圖輸入具有5層堆疊式自動(dòng)編碼器的CNN（convolutional neural networks）中進(jìn)行分類，取得了很好的結(jié)果。Sakhavi等人[22]提出了一種新的特征表示方法，該方法結(jié)合了FBCSP 和Hilbert變換來提取空間域和時(shí)間域特征，隨后將特征輸入到5層的CNN網(wǎng)絡(luò)中進(jìn)行分類。Zhu等人[23]提出了一種分離通道的卷積神經(jīng)網(wǎng)絡(luò)對(duì)多通道的MIEEG 數(shù)據(jù)進(jìn)行編碼，將編碼后的特征拼接起來輸入到識(shí)別網(wǎng)絡(luò)中，來執(zhí)行最終的MI分類任務(wù)。

另外一種輸入形式是將原始時(shí)間序列MI-EEG信號(hào)（即C（通道）×T（時(shí)間點(diǎn)）矩陣）直接輸入DL神經(jīng)網(wǎng)絡(luò)中，該方法無需人工選擇特征即可從原始EEG 信號(hào)中獲得高級(jí)隱式特征，是一種端到端的方法。目前已經(jīng)提出了幾種性能較好的端到端DL 模型。受到FBCSP 的啟發(fā)，Schirrmeister 等人[24]提出了ShallowNet和DeepNet兩種卷積神經(jīng)網(wǎng)絡(luò)，與FBCSP相比，兩者均具有更高的精度。EEGNet[19]是一個(gè)通用型的EEG 任務(wù)分類網(wǎng)絡(luò)，它使用相對(duì)較少的參數(shù)在不同的EEG分類任務(wù)上實(shí)現(xiàn)了良好的性能。Azab等人[25]提出了一種新的加權(quán)遷移學(xué)習(xí)的方法，提高了MI-BCI系統(tǒng)分類的準(zhǔn)確率。Song等人[26]通過將表示模塊、分類模塊和重構(gòu)模塊組合到端到端框架中，利用有限的MI-EEG 數(shù)據(jù)提高了分類性能。Li 等人[27]提出了一種通道投影混合尺度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用擴(kuò)張卷積的方法擴(kuò)大感受野，來提取不同尺度下的時(shí)間域特征，提高了分類性能。Amin 等人[28]采用一種用于融合具有不同特征和架構(gòu)的多層CNN方法，利用不同的卷積網(wǎng)絡(luò)從原始MI-EEG信號(hào)中提取空間域和時(shí)間域特征。Wu等人[29]提出了一種并行的多尺度濾波器組卷積神經(jīng)網(wǎng)絡(luò)的方法，通過不同尺度的卷積核來提取不同尺度下的原始MI-EEG 信號(hào)時(shí)間域特征，從而提高分類精度。Ingolfsson 等人[30]首次將TCN 應(yīng)用于MI-EEG 分類任務(wù)中，取得了很好的結(jié)果。

兩種輸入形式都有其優(yōu)點(diǎn)和缺點(diǎn)。特征輸入網(wǎng)絡(luò)的方法由于是人工選擇特征，具有強(qiáng)大的可解釋性，適用于小型數(shù)據(jù)集，并且優(yōu)于傳統(tǒng)方法。但是，人工選擇的特征會(huì)丟失一些潛在的信息，從而影響性能。而端到端模型可以從原始MI-EEG 信號(hào)數(shù)據(jù)中自動(dòng)學(xué)習(xí)有用的潛在信息，并可以獲得令人滿意的結(jié)果。但是，對(duì)于小的訓(xùn)練數(shù)據(jù)集，端到端的方法很難訓(xùn)練出令人滿意的模型。從文獻(xiàn)中可以看出，為MI-EEG 分類設(shè)計(jì)可行的端到端深度神經(jīng)體系結(jié)構(gòu)仍然是一個(gè)挑戰(zhàn)。

2 本文方法

本文的網(wǎng)絡(luò)體系結(jié)構(gòu)如圖1所示。圖中，平行四邊形是不同層中的特征圖，它們對(duì)應(yīng)的大小在四邊形周圍標(biāo)明。Ⅰ是特征提取層，其中空間自注意力機(jī)制層與并行多尺度TCN 層由橙色和藍(lán)色方塊表示；Ⅱ是特征融合層；Ⅲ是特征分類層。D為特征圖的個(gè)數(shù)，H為特征圖的高度，W為特征圖的寬度。輸入的運(yùn)動(dòng)想象原始信號(hào)M為22個(gè)采樣通道，1 125個(gè)時(shí)間采樣點(diǎn)。網(wǎng)絡(luò)架構(gòu)分為三個(gè)模塊：特征提取模塊、特征融合模塊、特征分類模塊。

圖1 所提方法的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 1 Schematic diagram of proposed method

首先介紹特征提取模塊，該模塊包含平行的空間自注意力層與并行多尺度TCN 層兩層，在空間域和時(shí)間域提取可區(qū)分的特征；然后介紹特征融合模塊，該層將特征提取模塊得到的兩組特征圖進(jìn)行拼接融合；最后將得到的特征圖輸入到特征分類模塊中進(jìn)行分類。

2.1 特征提取模塊

2.1.1 空間自注意力層

傳統(tǒng)方法通常是人工手動(dòng)選擇EEG 通道，或者假設(shè)每個(gè)通道都起著同等的作用。然而，不同的人對(duì)于相同的MI動(dòng)作的腦活動(dòng)區(qū)域是不同的，這就意味著不同被試的MI信號(hào)的強(qiáng)度是不同的，同樣的被試在不同的試驗(yàn)中MI信號(hào)的強(qiáng)度也存在差異。這種現(xiàn)象會(huì)導(dǎo)致較低的分類精度。因此，為了消除人工選擇信號(hào)通道造成的損失，本文提出了空間自注意力層，自動(dòng)選擇最有用的信號(hào)通道來提取被試者的判別特征。

該層的相應(yīng)網(wǎng)絡(luò)架構(gòu)如圖2（其中M∈RH×W表示原始信號(hào)數(shù)據(jù)，A∈RD×H×W表示卷積之后得到的特征圖，D為特征圖的個(gè)數(shù)，H為特征圖的高度，W為特征圖的寬度。C、E表示重塑之后的特征圖，用于計(jì)算通道間的相似性。?表示矩陣乘法，⊕表示逐元素求和）所示，網(wǎng)絡(luò)參數(shù)如表1所示。由圖1，M∈RH×W為高度H=22 和寬度W=1 125 的運(yùn)動(dòng)想象腦電信號(hào)原始數(shù)據(jù)。首先將這些數(shù)據(jù)輸入一個(gè)卷積層（Conv11）得到特征圖A，其中A∈RD×H×W，D=8 表示特征圖的數(shù)量。由圖2，將A重塑為C∈RH×(D×W)和E∈R(D×W)×H，用來實(shí)現(xiàn)它們之間的矩陣乘法。最后，應(yīng)用Softmax 函數(shù)得出空間自注意力權(quán)重矩陣P∈RH×H，相應(yīng)公式如下式所示：

表1 空間自注意力機(jī)制層網(wǎng)絡(luò)的詳細(xì)說明Table 1 Detailed architecture of channel self-attention mechanism module network

圖2 空間自注意力機(jī)制層網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 2 Schematic diagram of channel self-attention mechanism module network

式中，f是相似性函數(shù)，使用矩陣點(diǎn)乘來計(jì)算相似度。P表示相似度，表示第i個(gè)通道和第j個(gè)通道的相似性，取值范圍為0～1（0 表示沒有相似性，而1 表示完全相似）。

之后由式（1）得到的P與M∈RH×W矩陣乘法來獲得信號(hào)F∈RH×W。信號(hào)F是通道預(yù)測(cè)信號(hào)，其中每個(gè)通道都是原始數(shù)據(jù)空間域中其他通道的加權(quán)和。該工作自動(dòng)學(xué)習(xí)通道之間相似的權(quán)值，自適應(yīng)地集合所有通道的信號(hào)數(shù)據(jù)，并使用加權(quán)求和來更新每個(gè)通道。最后，本文通過將F與可學(xué)習(xí)的參數(shù)α相乘形成一個(gè)殘差塊，并對(duì)原始信號(hào)執(zhí)行逐元素求和運(yùn)算，獲得最終的空間特征信號(hào)G∈RH×W，相應(yīng)公式如下：

其中，α初始化為0，并在整個(gè)深度學(xué)習(xí)模型的訓(xùn)練過程中逐漸更新被分配更合適的權(quán)重。G增強(qiáng)了跨被試分類的性能。這意味著當(dāng)人們思考一個(gè)動(dòng)作時(shí)，任何具有相似特征的通道都能相互促進(jìn)，而不管它在大腦中的空間位置。

2.1.2 多尺度TCN層

MI-EEG 信號(hào)在時(shí)間域上具有連續(xù)且SNR 低的特性。因此，本文構(gòu)建了一個(gè)多尺度TCN 層，利用TCN能夠并行處理和增大感受野且一定程度上能夠避免梯度消失與爆炸的優(yōu)勢(shì)，采用不同的時(shí)間步長提取不同尺度的時(shí)間域特征信息，再將這些特征拼接融合，得到增強(qiáng)的時(shí)間域特征信息，同時(shí)消除噪聲影響，增加魯棒性，提高分類性能。該層的相應(yīng)網(wǎng)絡(luò)架構(gòu)如圖3，網(wǎng)絡(luò)參數(shù)如表2所示。

表2 多尺度TCN層網(wǎng)絡(luò)的詳細(xì)說明Table 2 Detailed architecture of multi-scale TCN module network

圖3 多尺度TCN層網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 3 Schematic diagram of multi-scale TCN module network

由圖1，將M∈RH×W輸入一個(gè)卷積層（Conv21）得到特征圖B∈RD×1×W，Conv21的卷積核大小為（22×1），此時(shí)特征圖B有16個(gè)，每個(gè)特征圖大小為（1,1 125）。如圖2，將特征圖B并行輸入4個(gè)不同尺度的TCN卷積層，每層TCN 的尺度由卷積核的大小體現(xiàn)。每層卷積核大小分別為（1×25）、（1×50）、（1×75）、（1×100），分別代表以100 ms、200 ms、300 ms、400 ms 的時(shí)間步長對(duì)MI-EEG特征圖進(jìn)行卷積，得到4組時(shí)間特征圖T1,T2,T3,T4∈RD×1×W。其中，每層TCN 由若干個(gè)殘差塊組成，殘差塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，其中卷積核大小KT=2，膨脹系數(shù)d={1,2}。

圖4 TCN中的架構(gòu)元素Fig. 4 Architectural elements in TCN

TCN[31]與常規(guī)CNN的區(qū)別主要是由于其三種結(jié)構(gòu)：因果卷積、膨脹卷積和殘差塊[32]。

（1）因果卷積：TCN 的輸出與輸入的長度相同。為此，TCN使用1D全卷積網(wǎng)絡(luò)架構(gòu)[33]，其中每個(gè)隱藏層的大小與輸入層的大小相同，采用0填充的方式使后續(xù)層的長度與先前層相同。此外，因果卷積保證沒有信息從未來流向過去，簡而言之，時(shí)間t的輸入僅取決于時(shí)間t或更早的輸入。

（2）膨脹卷積：常規(guī)的因果卷積只能在網(wǎng)絡(luò)深度上線性增加其感受野大小，導(dǎo)致如果要獲得大的感受野大小，就需要一個(gè)非常深的網(wǎng)絡(luò)或者一個(gè)具有巨大卷積核的網(wǎng)絡(luò)，這是常規(guī)因果卷積最主要的一個(gè)缺點(diǎn)。為了解決這個(gè)問題，TCN 使用一系列膨脹卷積[34]，該卷積通過成倍增加膨脹因子d的方法，使感受野的大小與網(wǎng)絡(luò)深度成比例的方式增大。

（3）殘差塊：TCN 的殘差塊由兩層膨脹卷積組成，每一層除了因果卷積層，還具有批量歸一化、非線性激活和Dropout層。雖然TCN只有一維卷積，但將二維特征圖的第二維度視為深度維，仍然能夠處理二維深度圖。跳過連接將輸入添加到輸出特征映射中，并檢查輸入和輸出的深度是否相同，若不同，則會(huì)進(jìn)行1×1卷積。

那么，膨脹基為b，卷積核大小k（k≥b），TCN的感受野大小l與殘差塊數(shù)n有：

在本網(wǎng)絡(luò)中，b=2，l=W=1 125，則有：

k取值為25、50、75、100，則對(duì)應(yīng)TCN 層的殘差塊數(shù)n為5、4、4、3，如圖3所示。

最后，將4 組特征圖T1,T2,T3,T4∈RD×1×W通過拼接函數(shù)融合為一組特征圖T∈R4D×1×W，T即最終獲得的消除噪聲且包含不同時(shí)間尺度信息的時(shí)間域特征圖。

2.2 特征融合模塊

本節(jié)將空間自注意力層的輸出G∈RH×W經(jīng)過一個(gè)卷積核大小為（22×1）的空間卷積層（Conv12）得到特征圖S∈RD×1×W，然后將S∈RD×1×W與T∈R4D×1×W按照深度維進(jìn)行拼接融合，得到增強(qiáng)的時(shí)空信息特征圖N1∈R5D×1×W，其中D=16，W=1 125，方法如下：

該模塊的網(wǎng)絡(luò)架構(gòu)如圖1中的Ⅱ部分，參數(shù)如表3所示。

表3 特征融合模塊的詳細(xì)說明Table 3 Detailed architecture of feature fusion layer

2.3 特征分類模塊

本節(jié)將特征融合模塊得到的N1∈RD×1×W輸入到特征分類模塊中，該模塊的網(wǎng)絡(luò)架構(gòu)如圖1中的Ⅲ所示，網(wǎng)絡(luò)參數(shù)如表4 所示。該模塊包含兩個(gè)卷積層（Conv3 和Conv4，都包含批量歸一化與非線性激活層）、兩個(gè)平均池化層（AvgP1 和AvgP2，都包含Dropout 層）、一個(gè)全卷積層（FC）和一個(gè)LogSoftmax函數(shù)。

表4 特征分類模塊的詳細(xì)說明Table 4 Detailed architecture of feature classification layer

將N1經(jīng)過一個(gè)內(nèi)核大小為（1×75）的卷積（Conv3），采用0填充的方法得到與N1同樣大小的特征圖，將得到的特征圖應(yīng)用批量歸一化與非線性激活得到N2。將N2通過內(nèi)核大小為（1×8）的平均池化層（AvgP1），將輸入大?。?0，1，1 125）減小到（80，1，140）輸出得到N3。將N3經(jīng)過一個(gè)內(nèi)核大小為（1×25）的卷積（Conv4），采用0填充的方法得到與N3同樣大小的特征圖，將得到的特征圖應(yīng)用批量歸一化與非線性激活得到N4。N4再通過一個(gè)內(nèi)核大小為（1×8）的平均池化層（AvgP2），將輸入大?。?0，1，140）減小到（80，1，17）輸出得到N5。將N5通過一個(gè)內(nèi)核大小為（1×17）的全卷積層（FC），其輸出的大小為N6（4，1，1）。最后，通過N6轉(zhuǎn)換為4 個(gè)標(biāo)簽的條件概率，使用LogSoftmax函數(shù)執(zhí)行四分類。

2.4 訓(xùn)練策略

對(duì)于四類MI 分類，將Pytorch 中的NLLoss 函數(shù)定義為損失函數(shù)[35]，使用Xavier算法初始化網(wǎng)絡(luò)中的所有參數(shù)[24]，優(yōu)化算法采用Adam算法[36]。BCICIV2a和BCICIV2b 數(shù)據(jù)集的學(xué)習(xí)率為0.000 1，而HGD 數(shù)據(jù)集的學(xué)習(xí)率為0.001，批次大小為32。

由于3 個(gè)數(shù)據(jù)集均將訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集清晰地劃分出來，本節(jié)將訓(xùn)練數(shù)據(jù)集隨機(jī)分為訓(xùn)練集（80%）和驗(yàn)證集（20%），所有測(cè)試數(shù)據(jù)集作為測(cè)試集。采用這種劃分方式可以使用在計(jì)算機(jī)視覺領(lǐng)域開發(fā)的早期停止策略。當(dāng)驗(yàn)證精度在預(yù)定時(shí)期內(nèi)沒有提高時(shí)，訓(xùn)練的第一階段停止。然后，使用使驗(yàn)證數(shù)據(jù)集具有最高準(zhǔn)確率的參數(shù)值，繼續(xù)對(duì)訓(xùn)練和驗(yàn)證數(shù)據(jù)集進(jìn)行訓(xùn)練。當(dāng)驗(yàn)證數(shù)據(jù)集上的損失函數(shù)下降到與第一個(gè)訓(xùn)練階段結(jié)束時(shí)的訓(xùn)練數(shù)據(jù)集的值相同時(shí)，訓(xùn)練結(jié)束。Dropout 層中的超參數(shù)以及批歸一化層中的常數(shù)和權(quán)重衰減率分別設(shè)置為0.4、10-5和0.1。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出的模型的性能和可行性，對(duì)3個(gè)數(shù)據(jù)集進(jìn)行了一系列實(shí)驗(yàn)。單被試分類實(shí)驗(yàn)?zāi)康氖球?yàn)證本文的模型對(duì)單被試分類的性能。之后設(shè)計(jì)了跨被試遷移實(shí)驗(yàn)，來驗(yàn)證所提出方法的遷移能力。在跨被試實(shí)驗(yàn)中，其他被試（除目標(biāo)被試）的腦電信號(hào)用來預(yù)先訓(xùn)練模型，然后將該模型作為初始權(quán)重對(duì)網(wǎng)絡(luò)進(jìn)行初始化，最后對(duì)目標(biāo)被試進(jìn)行測(cè)試實(shí)驗(yàn)。

3.1 數(shù)據(jù)集說明

在這項(xiàng)研究中，本文采用了3個(gè)廣泛使用的公共MI-EEG數(shù)據(jù)集進(jìn)行評(píng)估。它們之間的主要區(qū)別在于通道數(shù)量、試驗(yàn)數(shù)量、被試數(shù)量、任務(wù)類別和采樣率。

第一個(gè)數(shù)據(jù)集是BCICIV2a[24]，該數(shù)據(jù)集記錄了由9 位不同的被試執(zhí)行的四類運(yùn)動(dòng)想象任務(wù)（左手、右手、雙腳和舌頭），采樣率為250 Hz，共25 個(gè)通道（22 個(gè)腦電通道和3 個(gè)眼電通道），每個(gè)通道都經(jīng)過0.5～100 Hz帶通濾波器的預(yù)處理。對(duì)于每個(gè)被試者，在不同的日子里共記錄了兩個(gè)時(shí)間段（session）的腦電數(shù)據(jù)。每個(gè)session 包含6 個(gè)運(yùn)行（run），中間有短暫的休息。一個(gè)run 包括48 個(gè)試驗(yàn)（4 種可能的類別各12 個(gè)），每個(gè)session 總共288 個(gè)試驗(yàn)（trial）。本文使用一個(gè)session 作為訓(xùn)練集，另一個(gè)session 用于測(cè)試分類器和評(píng)估性能。因此，訓(xùn)練集由第一個(gè)session的288個(gè)試驗(yàn)組成，而測(cè)試集由第二個(gè)session的288個(gè)試驗(yàn)組成。此外，每個(gè)試驗(yàn)都使用相同的時(shí)間窗[-0.5,4]（單位：s）提取22個(gè)腦電通道的運(yùn)動(dòng)想象信號(hào)。因此，在數(shù)據(jù)集中，顯式分離了9個(gè)訓(xùn)練集和9個(gè)測(cè)試集。在子集中，每個(gè)類別有72 個(gè)trial，并未提供反饋。因此，去除3 個(gè)眼電通道信號(hào)后，每次試驗(yàn)獲得22×1 125 個(gè)數(shù)據(jù)點(diǎn)。

第二個(gè)數(shù)據(jù)集是BCICIV2b[24]，該數(shù)據(jù)集包含了6個(gè)通道（3 個(gè)腦電通道和3 個(gè)眼電通道），記錄了9 個(gè)不同的被試兩類運(yùn)動(dòng)想象任務(wù)（左手、右手）。對(duì)于每個(gè)被試，運(yùn)動(dòng)想象任務(wù)分為5個(gè)session，BCICIV2b數(shù)據(jù)集中的前兩個(gè)session 在運(yùn)行時(shí)沒有反饋，其余session具有反饋。

第三個(gè)數(shù)據(jù)集是HGD 數(shù)據(jù)集[24]，該數(shù)據(jù)集包含了44 個(gè)腦電通道，記錄了14 位健康被試進(jìn)行的4 類運(yùn)動(dòng)想象任務(wù)，對(duì)想象運(yùn)動(dòng)進(jìn)行4 s 試驗(yàn)。每個(gè)被試包含13 個(gè)session，每個(gè)session 包括80 次試驗(yàn)。這4類運(yùn)動(dòng)包括左手、右手、雙腳和休息（不動(dòng)）。對(duì)于每個(gè)被試，訓(xùn)練集由大約880個(gè)試驗(yàn)（除了最后兩個(gè)session 的其他session）組成，測(cè)試集由大約160 個(gè)試驗(yàn)（最后兩個(gè)session）組成。HGD 的采樣率為500 Hz。為了與BCICIV2a 進(jìn)行公平的比較，對(duì)HGD 重新采樣，采樣率為250 Hz，并使用相同的4.5 s 時(shí)間窗，因此每個(gè)試驗(yàn)獲得44×125 個(gè)數(shù)據(jù)點(diǎn)。

3.2 評(píng)估指標(biāo)

本文方法在3個(gè)公共數(shù)據(jù)集BCICIV2a、BCICIV2b和HGD 上進(jìn)行評(píng)估，以準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。計(jì)算公式為：

其中，TP為真陽性數(shù)，TN為真陰性數(shù)，F(xiàn)P為假陽性數(shù)，F(xiàn)N為假陰性數(shù)。

3.3 單被試分類實(shí)驗(yàn)定量評(píng)價(jià)

3.3.1 BCICIV2a數(shù)據(jù)集的比較

為了驗(yàn)證提出方法的有效性和準(zhǔn)確性，首先使用BCICIV2a進(jìn)行了單被試分類實(shí)驗(yàn)，并將本文方法的準(zhǔn)確率與基于DL 的方法EEGNet[19]、M3DCNN[37]、CPMixedNet[27]、MSFBCNN[29]、DMTLCNN[26]、MCCNN[28]、WTL[25]、EEG-TCNet[30]和基于ML 的方法FBCSP[10]進(jìn)行比較，結(jié)果見表5（最優(yōu)的準(zhǔn)確率加粗顯示）。

表5 BCICIV2a數(shù)據(jù)集在單被試分類中的準(zhǔn)確率Table 5 Accuracy on BCICIV2a dataset for intra-subject classification 單位：%

表5 列出了各種方法中每個(gè)被試者的準(zhǔn)確率以及BCICIV2a 數(shù)據(jù)集的平均準(zhǔn)確率。本文方法明顯優(yōu)于其他基于DL的方法，對(duì)單被試分類的平均準(zhǔn)確率為79.26%。此外，圖5（a）中給出了MI任務(wù)的混淆矩陣和測(cè)試集上的實(shí)驗(yàn)結(jié)果。FBCSP 是一種基于ML 的基線方法，被廣泛用于識(shí)別振蕩的MI-EEG 數(shù)據(jù)，該方法使用支持向量機(jī)作為分類器。它選擇最優(yōu)的空間濾波器來提取特征，并且在BCI比賽中運(yùn)行BCICIV2a時(shí)表現(xiàn)最好。但其在所有被試者中的平均準(zhǔn)確率僅為67.42%，比本文方法低了11.84 個(gè)百分點(diǎn)。因此，與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，本文方法擁有更好的結(jié)果。

圖5 運(yùn)動(dòng)想象（MI）任務(wù)的混淆矩陣Fig. 5 Confusion matrices for motor imagery(MI)task

這里介紹的其他基于DL 的方法是具有較高準(zhǔn)確率的最新技術(shù)。在此任務(wù)中，它們的平均準(zhǔn)確率值的范圍是65.43%至77.35%。M3DCNN 模型結(jié)合了新的EEG三維表示形式，采用多分支三維CNN和相應(yīng)的分類策略，來增強(qiáng)其對(duì)不同被試的抗過擬合能力。M3DCNN的最大貢獻(xiàn)是證明原始MI-EEG的復(fù)雜表示形式可以幫助改善性能。但是，其準(zhǔn)確率為75.01%，比本文方法低4.25個(gè)百分點(diǎn)。DMTLCNN和WTL 使用遷移學(xué)習(xí)技術(shù)使分類準(zhǔn)確率顯著提高，分別達(dá)到75.21%和75.56%。與這兩種方法相比，本文方法準(zhǔn)確率分別提高了4.05個(gè)百分點(diǎn)和3.70個(gè)百分點(diǎn)，MCCNN模型采用不同的濾波器大小和深度提取不同類型的時(shí)空特征，融合不同架構(gòu)的CNN模塊，提高M(jìn)IEEG分類精度。吳等人提出的并行的MSFBCNN，利用特征提取網(wǎng)絡(luò)從腦電數(shù)據(jù)中充分提取潛在的時(shí)空特征[29]。Li 等人提出的端到端的腦電解碼框架采用原始多通道腦電數(shù)據(jù)作為輸入，利用CPMixedNet 和振幅擾動(dòng)數(shù)據(jù)增強(qiáng)技術(shù)來提高精度[27]。與上述模型相比，本文的平均準(zhǔn)確率分別提高了3.54個(gè)百分點(diǎn)、3.68 個(gè)百分點(diǎn)和4.66 個(gè)百分點(diǎn)。EEG-TCNet 是一種端到端的DL模型，擁有一個(gè)空間卷積和一個(gè)時(shí)間卷積，之后輸入到TCN網(wǎng)絡(luò)中進(jìn)行特征提取，最后由全卷積網(wǎng)絡(luò)進(jìn)行分類。該網(wǎng)絡(luò)第一次將TCN網(wǎng)絡(luò)應(yīng)用于MI-EEG 分類領(lǐng)域，并取得很好的結(jié)果，可以證明TCN 適合于MI-EEG 的分類研究。但是該網(wǎng)絡(luò)沒有考慮到不同尺度的時(shí)間域特征信息。與EEG-TCNet方法相比，本文方法平均準(zhǔn)確率高出1.91個(gè)百分點(diǎn)。

以上結(jié)果表明，對(duì)于4 類MI-EEG 分類，本文方法優(yōu)于傳統(tǒng)方法，平均提高11.84 個(gè)百分點(diǎn)。與目前最新的基于DL 的方法相比，本文方法在BCICIV2a數(shù)據(jù)集的單被試分類實(shí)驗(yàn)上取得了更好的結(jié)果。除了平均準(zhǔn)確率外，本文也在兩個(gè)被試者（被試2、被試5）上取得了最好的結(jié)果。

3.3.2 BCICIV2b和HGD數(shù)據(jù)集的比較

為了進(jìn)一步驗(yàn)證所提出方法的自適應(yīng)性和魯棒性，本文對(duì)另外兩個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集BCICIV2b和HGD（見3.1 節(jié)）進(jìn)行單被試分類實(shí)驗(yàn)來評(píng)估提出的模型的性能，網(wǎng)絡(luò)結(jié)構(gòu)并未進(jìn)行改動(dòng)，其中對(duì)二分類數(shù)據(jù)集BCICIV2b進(jìn)行實(shí)驗(yàn)時(shí)，LogSoftmax的輸出分類為二分類。由于目前最先進(jìn)的方法僅提供了BCICIV2b 和HGD 的平均精度值，在比較時(shí)，本文僅將平均精度分別列于表6和表7中（最優(yōu)準(zhǔn)確率加粗顯示），相應(yīng)的混淆矩陣如圖5（b）、圖5（c）所示。

表6 BCICIV2b數(shù)據(jù)集在單被試分類中的平均準(zhǔn)確率Table 6 Average accuracy on BCICIV2b dataset for intra-subject classification 單位：%

表7 HGD數(shù)據(jù)集在單被試分類中的平均準(zhǔn)確率Table 7 Average accuracy on HGD dataset for intra-subject classification 單位：%

表6 所列的數(shù)據(jù)表明，BCICIV2b 的結(jié)果與其他最先進(jìn)的方法相比有了良好的改進(jìn)。本文方法獲得了85.90%的準(zhǔn)確率，而次優(yōu)方法MSFBCNN 獲得了84.30%的準(zhǔn)確率，準(zhǔn)確率提高了近1.6個(gè)百分點(diǎn)。表7 數(shù)據(jù)表明，本文方法在HGD 的實(shí)驗(yàn)結(jié)果取得了顯著的提高，達(dá)到了96.96%的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，提出的網(wǎng)絡(luò)模型對(duì)不同的腦電數(shù)據(jù)集及不同的分類任務(wù)具有較好的自適應(yīng)性和魯棒性。

3.4 BCICIV2a 數(shù)據(jù)集跨被試分類實(shí)驗(yàn)定量評(píng)價(jià)

為了驗(yàn)證所提出方法的遷移學(xué)習(xí)能力，本文進(jìn)行了跨被試分類實(shí)驗(yàn)。本文采用遷移學(xué)習(xí)技術(shù)，利用其他被試（除目標(biāo)被試）的腦電數(shù)據(jù)在BCICIV2a數(shù)據(jù)集上訓(xùn)練一個(gè)模型，然后將該模型作為網(wǎng)絡(luò)的初始權(quán)值進(jìn)行初始化，之后加載新被試者（目標(biāo)被試）的數(shù)據(jù)進(jìn)行進(jìn)一步測(cè)試。這樣，訓(xùn)練后的模型可以整合其他被試者的信息，從而使其更具魯棒性。

表8 給出了每個(gè)被試者對(duì)應(yīng)的分類結(jié)果（最優(yōu)準(zhǔn)確率加粗顯示）。由于每個(gè)被試的MI-EEG活動(dòng)的幅值和響應(yīng)時(shí)間有差別，不同被試者之間差異較大，故而表8中的結(jié)果并不優(yōu)于單被試者分類的結(jié)果（如表5所示）。圖6為BCICIV2a數(shù)據(jù)集跨被試分類結(jié)果的混淆矩陣。與其他先進(jìn)的DL 方法（僅DeepCNN、DMTLCNN、STSACNN 提供跨被試分類實(shí)驗(yàn)比較結(jié)果）相比，本文方法平均準(zhǔn)確率為73.78%，9個(gè)被試者中2個(gè)被試（被試2、被試9）取得最優(yōu)。

表8 BCICIV2a數(shù)據(jù)集上跨被試遷移學(xué)習(xí)分類結(jié)果Table 8 Results of inter-subject transfer learning classification on BCICIV2a dataset 單位：%

圖6 MI任務(wù)的混淆矩陣（BCICIV2a跨被試分類）Fig. 6 Confusion matrices for MI task(inter-subject classification of BCICIV2a)

結(jié)果表明，本文方法不僅可以由網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)與MI相關(guān)的通道信息，消除了手動(dòng)選擇信號(hào)通道的影響，同時(shí)為MI腦電信號(hào)的分類提供了更通用的特征表示，具有更好的魯棒性和更高的分類準(zhǔn)確率。

3.5 BCICIV2a數(shù)據(jù)集交叉驗(yàn)證實(shí)驗(yàn)定量評(píng)價(jià)

為了驗(yàn)證本文所提出的模型的預(yù)測(cè)性能和泛化能力，本文進(jìn)行了10 倍交叉驗(yàn)證實(shí)驗(yàn)。在數(shù)據(jù)集有限的情況下，本文結(jié)合BCICIV2a 的訓(xùn)練集和測(cè)試集，每個(gè)被試者有576個(gè)試驗(yàn)，將它們隨機(jī)分為10個(gè)相等的部分。每次運(yùn)行使用9 個(gè)子集作為訓(xùn)練集，1個(gè)子集作為測(cè)試集，即518 個(gè)和58 個(gè)試驗(yàn)分別用于訓(xùn)練和測(cè)試。最終的準(zhǔn)確率是通過取10次最佳值的平均值得到的。

表9 給出了10 倍交叉驗(yàn)證的結(jié)果（最優(yōu)準(zhǔn)確率加粗顯示）。與本文之前使用的288個(gè)訓(xùn)練試驗(yàn)和288個(gè)測(cè)試試驗(yàn)相比，10倍交叉驗(yàn)證顯著增加了訓(xùn)練集的數(shù)量，因此平均準(zhǔn)確率提高了11.82%，達(dá)到了91.08%。除了平均準(zhǔn)確率外，該數(shù)據(jù)集9名被試均取得最佳結(jié)果。這再次證明了數(shù)據(jù)量小確實(shí)是DL 方法的瓶頸。

表9 BCICIV2a數(shù)據(jù)集上使用十倍交叉驗(yàn)證單被試分類結(jié)果Table 9 Intra-subject classification of 10-fold cross-validation results on BCICIV2a dataset 單位：%

3.6 BCICIV2a數(shù)據(jù)集消融實(shí)驗(yàn)定量評(píng)價(jià)

為了驗(yàn)證所提出的空間自注意力層和多尺度TCN層的作用，本文進(jìn)行了基于BCICIV2a的消融實(shí)驗(yàn)，該實(shí)驗(yàn)采用去除其中一層來測(cè)試另一層的作用，其中MSTCN-CAMNet 表示本文提出的網(wǎng)絡(luò)結(jié)構(gòu)，MSTCN 表示只包含多尺度TCN 層的網(wǎng)絡(luò)結(jié)構(gòu)，CAMNet 表示只包含空間自注意力層的網(wǎng)絡(luò)結(jié)構(gòu)。結(jié)果如表10所示。

表10 基于BCICIV2a數(shù)據(jù)集消融實(shí)驗(yàn)Table 10 Ablation experiments on BCICIV2a dataset

從表10 中數(shù)據(jù)可以看出，兩層對(duì)所提出網(wǎng)絡(luò)的準(zhǔn)確率都有明顯提升效果，驗(yàn)證了所提出兩層的有效性。其中，對(duì)于空間自注意力機(jī)制層，多尺度TCN網(wǎng)絡(luò)層對(duì)所提出方法的作用更大。

3.7 BCICIV2a數(shù)據(jù)集T-SNE實(shí)驗(yàn)定性評(píng)價(jià)

前幾節(jié)進(jìn)行了一系列定量評(píng)價(jià)任務(wù)，定量評(píng)價(jià)的標(biāo)準(zhǔn)為4 類MI 腦電分類準(zhǔn)確率和混淆矩陣，混淆矩陣對(duì)角線上的值表示對(duì)每個(gè)運(yùn)動(dòng)想象分類任務(wù)的正確預(yù)測(cè)準(zhǔn)確率。本節(jié)進(jìn)行了t 分布隨機(jī)鄰域嵌入（T-SNE）定性評(píng)價(jià)任務(wù)。T-SNE 被廣泛用于評(píng)價(jià)特征向量的判別能力，它可以將高維數(shù)據(jù)投影到二維散點(diǎn)圖上。在T-SNE 可視化的情況下，評(píng)價(jià)標(biāo)準(zhǔn)如下：一個(gè)類的實(shí)例越多，可以從其他類的實(shí)例中分離出來，相關(guān)特征的表現(xiàn)就越好。本文所有的實(shí)驗(yàn)都在BCICIV2a上進(jìn)行，使用相同的訓(xùn)練策略進(jìn)行單被試分類實(shí)驗(yàn)。

如圖7所示，被試者1的原始MI-EEG數(shù)據(jù)的所有類別標(biāo)簽均勻分布在T-SNE 圖中。其中，數(shù)字0 到3代表MI-EEG信號(hào)的4類標(biāo)簽（左手、右手、腳和舌頭）。

圖7 被試者1在BCICIV2a原始數(shù)據(jù)上的T-SNE映射Fig. 7 T-SNE mapping of subject 1 on BCICIV2a raw data

被試者1的混淆矩陣及其對(duì)應(yīng)的T-SNE圖如圖8所示。從圖中可以看出，混淆矩陣中最大的誤差發(fā)生在左手和右手之間以及腳和舌頭之間。將腳分類為舌，錯(cuò)誤率為23.04%，將舌頭分類為腳，錯(cuò)誤率為10.59%。這一趨勢(shì)與圖8的T-SNE圖是一致的，在圖8的T-SNE圖中，誤分程度最大的是label 2和label 3之間，對(duì)應(yīng)的是腳和舌。從上面的實(shí)驗(yàn)可以表明，TSNE 圖和相應(yīng)的混淆矩陣具有相同的變化趨勢(shì)：一個(gè)類的實(shí)例越多，可以從其他類的實(shí)例中分離出來，在四分類MI-EEG實(shí)驗(yàn)中獲得更好的分類性能。

圖8 被試1的混淆矩陣和相應(yīng)的T-SNE映射Fig. 8 Confusion matrices and corresponding T-SNE mapping for subject 1

4 討論

圖9中（電極Cz位于頭部的中心，C3、C4分別位于左右兩側(cè)。紅色表示正相關(guān)，即表示幅值增加（ERD）；藍(lán)色表示負(fù)相關(guān)，即表示幅值減少（ERS）），本文使用來自BCICIV2a 數(shù)據(jù)集的四類MI-EEG 信號(hào)，并畫出與每個(gè)單被試分類結(jié)果相對(duì)應(yīng)的大腦活動(dòng)相關(guān)圖。當(dāng)人們想象或執(zhí)行左手、右手、雙腳和舌頭運(yùn)動(dòng)時(shí)，mu（8～12 Hz）和beta（16～26 Hz）節(jié)律的能量會(huì)在大腦半球?qū)?cè)和同側(cè)的感覺運(yùn)動(dòng)區(qū)域減少或增加，即ERS/ERD 現(xiàn)象。因此，在圖9 中本文將紅色定義為表示ERD 的正相關(guān)，紅色的色調(diào)越強(qiáng)烈，正相關(guān)性越強(qiáng)。將藍(lán)色定義為表示ERS 的負(fù)相關(guān)，藍(lán)色陰影越強(qiáng)烈，負(fù)相關(guān)性越強(qiáng)。例如，圖9 中的第一行顯示的是左手運(yùn)動(dòng)想象數(shù)據(jù)的大腦活動(dòng)相關(guān)圖。本文的分類結(jié)果是針對(duì)左手運(yùn)動(dòng)的MI-EEG 信號(hào)，相應(yīng)的大腦活動(dòng)相關(guān)圖顯示了左半球的ERS和右半球的ERD。

圖9 BCICIV2a數(shù)據(jù)集上本文方法分類結(jié)果的大腦活動(dòng)相關(guān)圖Fig. 9 Brain active correlation map to classification results of proposed method on BCICIV2a dataset

圖9 是在BCICIV2a 數(shù)據(jù)集上對(duì)四類MI 腦電信號(hào)進(jìn)行分類，得到對(duì)應(yīng)于本文方法分類結(jié)果的大腦活動(dòng)相關(guān)圖。圖中所示的結(jié)果證明，當(dāng)人們想象或執(zhí)行某個(gè)動(dòng)作時(shí)，任何具有相似特征的通道都能相互促進(jìn)，而不管它在大腦中的空間位置如何。本文首次使用自注意力與TCN網(wǎng)絡(luò)融合機(jī)制提取EEG信號(hào)的新時(shí)空特征表示形式，以提取可區(qū)分的時(shí)空特征。因此，從圖9 中的圖像中得出結(jié)論，本文方法在神經(jīng)生理學(xué)上得到了可信賴的結(jié)果。

5 結(jié)束語

本文提出了一種基于注意力機(jī)制的多尺度時(shí)空自注意力網(wǎng)絡(luò)模型，用于四類（左手、右手、雙腳和舌頭或休息）MI-EEG 分類。該模型由特征提取模塊、特征融合模塊、特征分類模塊三個(gè)模塊組成。其中特征提取模塊由空間自注意力機(jī)制層和多尺度TCN層兩個(gè)并行層組成，通過這兩層可以提取到空間域和時(shí)間域上特征增強(qiáng)的可區(qū)分的時(shí)空特征。

本文使用三個(gè)公共數(shù)據(jù)集（BCICIV2a、BCICIV2b和HGD）進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本文方法對(duì)不同數(shù)據(jù)的魯棒性和準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文方法與現(xiàn)有的基于DL 的方法相比，具有更好的分類性能，并且適用于單被試與跨被試實(shí)驗(yàn)，具有遷移學(xué)習(xí)的能力。同時(shí)，消融實(shí)驗(yàn)也證明了本文方法的有效性。未來，計(jì)劃進(jìn)一步完善模型，提高單被試與跨被試的分類性能。