基于ECA和三分支卷積融合網(wǎng)絡的腦電信號解碼研究

摘" 要： 基于運動想象腦電信號的腦機接口系統(tǒng)可以實現(xiàn)大腦和外部設備的交互，能夠幫助殘疾人控制輔助設備，提高他們的生活質(zhì)量。然而，有限的腦電信號解碼性能限制了腦機接口產(chǎn)業(yè)的大規(guī)模發(fā)展。文中提出一種基于高效通道注意力（ECA）和三分支卷積融合網(wǎng)絡的ECA?TBCFNet模型用于基于腦電圖的運動想象（MI?EEG）信號解碼。ECA模塊可自動捕捉腦電信號中的跨通道交互，三分支卷積融合網(wǎng)絡能夠多尺度地提取信號中的時空特征。ECA?TBCFNet模型在BCI競賽IV?2a數(shù)據(jù)集上的四分類任務中取得了83.3%的準確率和0.78的kappa系數(shù)；此外，在Physionet MI?EEG數(shù)據(jù)集上兩分類和四分類任務中，ECA?TBCFNet模型的準確率分別為87.87%和69.01%。結(jié)果表明，提出的ECA?TBCFNet模型可以有效提高運動想象腦電信號的識別準確率，并具有較高的魯棒性。

關鍵詞： 腦機接口； 腦電圖； 運動想象； 高效通道注意力； 三分支卷積神經(jīng)網(wǎng)絡； 特征融合

中圖分類號： TN911.7?34； TP391.9" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）23?0089?09

Research on EEG signal decoding based on ECA and

three?branch convolutional fusion network

ZHOU Kai， ARKIN Hamdulla

（School of Mechanical Engineering， Xinjiang University， Urumqi 830017， China）

Abstract： Brain?computer interface （BCI） systems based on electroencephalogram?based motor imagery （MI?EEG） signals can facilitate interaction between the brain and external devices， assisting disabled individuals in controlling assistive devices and thereby improving their quality of life. However， the limited decoding performance of EEG signals has hindered the development of the BCI industry. In view of this， an ECA?TBCFNet model based on efficient channel attention （ECA） and a three?branch convolutional fusion network for decoding MI?EEG signals is proposed. The ECA module can capture the cross?channel interactions in EEG signals automatically. The three?branch convolutional fusion network can extract spatio?temporal features from the signals at multiple scales. The ECA?TBCFNet model achieves accuracy rate of 83.3% and kappa coefficient of 0.78 in the four?class task on the dataset BCI Competition IV?2a. The ECA?TBCFNet model achieves accuracy rate of 87.87% and 69.01% in the two?class tasks and four?class tasks on the dataset Physionet MI?EEG， respectively. The results demonstrate that the proposed ECA?TBCFNet model can improve the recognition accuracy rate of MI?EEG signals effectively， and has high robustness.

Keywords： BCI; EEG; MI; ECA; three?branch convolutional neural network; feature fusion

0" 引" 言

腦機接口（Brain?Computer Interface， BCI）能夠通過可穿戴傳感器和智能算法來監(jiān)測和解碼大腦活動，并將其轉(zhuǎn)換為控制指令，進而實現(xiàn)人腦與外部設備的交互。腦電圖（Electroencephalogram， EEG）能夠通過測量大腦皮層表面電位的微小變化來反映大腦的活動狀態(tài)，并因其具有非侵入性和高時間分辨率等優(yōu)點而在BCI領域廣泛應用[1]。運動想象（Motor Imagery， MI）是指人通過想象而非實際執(zhí)行的方式來模擬自身肢體（或肌肉）的運動?；谀X電圖的運動想象（Electroencephalogram?based Motor Imagery， MI?EEG）信號的腦機接口系統(tǒng)在醫(yī)療和非醫(yī)療領域均有許多應用[1]。其中，醫(yī)療應用包括卒中后的康復以及控制醫(yī)療輔助設備（如輪椅、假肢和外骨骼）等。非醫(yī)療應用包括無人機或地面車輛的控制、智能家居和游戲中的環(huán)境控制等。雖然基于運動想象的腦機接口系統(tǒng)有著廣闊的應用前景，但是它的發(fā)展一直受到MI?EEG信號解碼能力的制約[1]。

基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）的深度學習模型具有強大的特征提取能力，并且能夠隨著訓練數(shù)據(jù)規(guī)模的變化進行擴展[1]。因此，許多研究者對基于CNN的MI?EEG信號解碼模型進行了深入研究。文獻[2]將可分離卷積整合到CNN架構(gòu)并提出EEGNet框架，該框架已成功應用于各種MI任務分類。文獻[3]提出了FBCNet架構(gòu)，通過將EEG信號劃分為多個頻率帶，利用CNN提取特征并對MI任務進行分類。在眾多CNN模型中，采用多分支結(jié)構(gòu)的CNN不僅可以從多維度提取特征，并可有效緩解MI分類中的過擬合，使模型更易訓練。文獻[4]設計了一種多分支的三維卷積神經(jīng)網(wǎng)絡，通過三個尺度的卷積從原始腦電信號中提取時空信息。文獻[5]提出了一種多分支密集殘差連接的三維卷積網(wǎng)絡，并通過實驗發(fā)現(xiàn)多分支網(wǎng)絡的分類效果優(yōu)于單分支，且網(wǎng)絡性能隨密集殘差連接的增多而增強。

注意力機制是深度學習領域的一個研究熱點，通過添加注意力機制，深度學習架構(gòu)能夠自動關注輸入數(shù)據(jù)、特征映射甚至層核中的重要元素[6]。最近一些研究表明，基于注意力機制的深度學習模型在MI?EEG信號的分類任務上表現(xiàn)良好。文獻[7]提出了一種結(jié)合擠壓和激勵（Squeeze and Excitation， SE）注意力模塊[8]的三分支CNN模型用于無預處理的MI?EEG信號分類。文獻[9]通過并行多尺度卷積神經(jīng)網(wǎng)絡提取特征，并采用多頭注意力機制模塊進一步突出已提取特征中的重要部分，進而提高模型識別精度。文獻[10]使用高效通道注意力（Efficient Channel Attention， ECA）[11]模塊聚焦與運動想象分類任務相關的特征信息，有效提高了模型性能。

為了進一步提升MI?EEG信號的分類性能和解碼能力，本文提出了一種基于ECA和三分支卷積融合網(wǎng)絡的ECA?TBCFNet模型用于MI?EEG信號解碼，以此實現(xiàn)MI?EEG信號的跨通道交互自動關注以及多尺度特征提取。本文主要貢獻如下。

1） 采用ECA模塊自適應學習MI?EEG信號中的跨通道交互，提高MI?EEG信號的空間特征提取能力。

2） 提出了一種三分支卷積融合網(wǎng)絡模塊，能夠多各尺度地從MI?EEG信號中提取時空特征，有效提高了模型性能。

3） 在BCI競賽IV?2a數(shù)據(jù)集[12]和Physionet MI?EEG數(shù)據(jù)集[13]上對ECA?TBCFNet模型進行了評估，取得了較高的分類精度。

1" 研究方法

1.1" 網(wǎng)絡模型

本文提出的ECA?TBCFNet模型包含ECA模塊和三分支卷積融合網(wǎng)絡模塊，具體結(jié)構(gòu)如圖1所示。首先，采用ECA模塊捕捉原始MI?EEG信號中的跨通道交互，提高腦電信號的空間分辨率；然后，采用三分支卷積融合網(wǎng)絡模塊從多個尺度提取MI?EEG信號中的時空特征；最后，將提取到的特征輸入至全連接層并利用Softmax函數(shù)實現(xiàn)類別劃分。

1.2" 模型輸入表示

本文所提出的ECA?TBCFNet模型以一個運動想象實驗[Xi∈RC×T]為輸入，該實驗由[C]個EEG電極（通道）和[T]個時間點組成。ECA?TBCFNet模型的目標是將輸入的MI實驗[Xi]映射到其相應的類[yi]，給定一組[m]標記的MI實驗[S={Xi，yi}mi=1]，其中，[yi∈{1，2，…，n}]是實驗[Xi]對應的類標簽，[n]為集合[S]定義的類總數(shù)。

對于BCI競賽IV?2a數(shù)據(jù)集[12]，其中，腦電通道個數(shù)[C]=22，時間點個數(shù)[T]=1 125，MI實驗個數(shù)[m]=5 184，MI類別個數(shù)[n]=4。對于Physionet MI?EEG數(shù)據(jù)集[13]，腦電通道個數(shù)[C]=64，時間點個數(shù)[T]=640，MI實驗個數(shù)[m]=9 241，MI類別個數(shù)[n]=4。

1.3" 高效通道注意力（ECA）

從腦電信號采集的角度來看，單個腦電通道記錄的電信號是由于體積傳導作用而產(chǎn)生的多個神經(jīng)元活動的疊加。為了減少腦電信號通道之間的相互干擾，提高腦電信號的空間分辨率，文獻[14]將通道注意力機制成功應用于MI?BCI的通道選擇，并取得78.8%的準確率和0.71的Kappa值。受此啟發(fā)，本文引入ECA模塊來重新校準腦電信號的空間信息，提高模型對腦電信號空間（通道）特征的提取能力。ECA模塊利用神經(jīng)網(wǎng)絡對提取到的時空特征賦予關注權值，并根據(jù)特征的重要性自適應優(yōu)化網(wǎng)絡參數(shù)，詳細實現(xiàn)過程如下。

1） 如圖2所示，ECA模塊輸入的維數(shù)為[（N，H，W，C）]，其中[C]為通道數(shù)。GAP表示全局平均池化，它在不減少通道數(shù)的同時將輸入的數(shù)據(jù)壓縮，并聚合每個通道的特征。經(jīng)過GAP層后，輸入的維數(shù)變?yōu)閇（N，1，1，C）]。

2） 在GAP層之后，通過一維卷積層自動學習新的特征圖。當計算權重時，一維卷積層的卷積核大小會影響注意力機制中特征通道的數(shù)量，即跨通道交互的覆蓋面。因此，需要考慮每個通道及其相鄰的[k]個通道，所以采用了一種自適應方法來確定[k]的值，其中[k]與特征通道數(shù)成比例，如式（1）所示，[b]表示[k]與通道數(shù)[C]之間線性映射的偏移量。

[k=ψ（C）=log2 Cy+byodd] （1）

3） 通過[σ]對非聚合通道進行特征重分布，如式（2）所示。[σ]表示經(jīng)過通道交互后獲得的效果與分配的權重之間的關系，C1D表示卷積核大小為[k]的一維卷積層。在本文中，[σ]采用Sigmoid函數(shù)來映射權重。

[ω=σ（C1Dk（y））] （2）

1.4" 三分支卷積融合網(wǎng)絡模塊

在MI?EEG分類任務中，單分支CNN的性能可能因受試者甚至信號采集時間點的不同而受到較大影響，而多分支CNN能夠從EEG信號中獲得更全面的特征，且魯棒性更好。因此，本文提出一種三分支卷積融合網(wǎng)絡模塊，從多個尺度對MI?EEG信號的頻譜和空間特征進行提取，以此提高模型性能，具體結(jié)構(gòu)如圖3所示。

三分支卷積網(wǎng)絡融合模塊的第一部分為時序卷積層，包含[F1]個大小為[（1，Kc）]的卷積核。本文將[F1]取為16，此外，為了卷積層提取4 Hz及以上的頻率信息，[Kc]被設定為采樣率[Fs]的[14]。時序卷積層的輸出是時序特征圖。

三分支卷積網(wǎng)絡融合模塊的第二部分為三分支卷積網(wǎng)絡，其中分支一與分支二具有相同結(jié)構(gòu)，均由一個深度卷積層和一個時空卷積層組成，分支三僅由一個深度卷積層組成。時序卷積層輸出的時序特征圖經(jīng)過三個分支中的深度卷積層處理后分別輸出一個時間序列[Si，2∈RT×Di×F1]，[i=1，2，3]，其中[i]表示分支序號，[Di]表示各分支連接到每個時序特征圖的空間核數(shù)。本文將三個分支中的深度卷積層的[Di]分別設定為[D1=2]，[D2=6]，[D3=3]。在各分支的深度卷積層之后均用內(nèi)核大小為（1，8）的平均池化層將時間數(shù)據(jù)和采樣頻率降低到輸入的[18]。分支一與分支二的第二個卷積層均為時空卷積層，包含[F2]個大小為[（1，Kc2）]的卷積核。為便于在500 ms（32 Hz采樣數(shù)據(jù)）內(nèi)解碼MI活動，兩個分支的[Kc2]均被設置[6]為16。時空卷積層能夠自動學習如何將時空特征最優(yōu)融合在一起，并輸出一個高級時空序列[Si，3∈RT1×F2]，[i=1，2]。然后，使用內(nèi)核大小為（1，[P2]）的平均池化層將采樣率降低到[-32P2] Hz，本文將[P2]設為7。最后，分支一與分支二均輸出一個時間序列[zi∈RTc×d]，[i=1，2]，分支三輸出一個時間序列[S3，2∈RT×D3×F1]。

將三個分支輸出的時空序列展平并拼接成一個時序序列，再將其輸入到全連接層并通過Softmax函數(shù)進行類別預測。上述所有卷積層均通過批量歸一化加速網(wǎng)絡訓練，并通過指數(shù)線性單元（Exponential Linear Unit， ELU）激活非線性。

2" 數(shù)據(jù)集與實驗設置

2.1" 數(shù)據(jù)集介紹

BCI競賽IV?2a數(shù)據(jù)集[12]是一個著名的MI?EEG公共數(shù)據(jù)集，其包含22個腦電圖電極記錄9名受試者的 5 184次MI?EEG樣本（每個受試者576次）。每個MI實驗持續(xù)4 s，采樣頻率為250 Hz。每次MI實驗均為以下四種任務之一：想象左手運動、想象右手運動、想象雙腳運動和想象舌頭運動。每個受試者均在不同的兩天各進行了一次采集實驗，每次實驗記錄288次MI任務，其中一次實驗的數(shù)據(jù)用于訓練模型，另一次用于測試模型。

Physionet MI?EEG數(shù)據(jù)集[13]包括109名受試者的腦電圖記錄。每個受試者均進行了包含4項任務的14次實驗，并使用BCI 2000系統(tǒng)以160 Hz的采樣率記錄執(zhí)行任務時的64通道腦電圖信號。14次實驗包括2個基線實驗、6個實際動作實驗和6個MI實驗。MI實驗包括左拳（L）、右拳（R）、雙拳（LR）和雙腳（F）4種MI任務。每種MI任務進行21次，每次持續(xù)4 s。由于標注錯誤，本文未采用受試者38、88、89、92、100和104的數(shù)據(jù)。

2.2" 數(shù)據(jù)集預處理

將采用很少預處理的腦電信號作為深度學習模型的輸入可以得到更具競爭力的結(jié)果[1]。因此本文分別對BCI競賽IV?2a數(shù)據(jù)集和Physionet MI?EEG數(shù)據(jù)集僅進行0.5[～]100 Hz的帶通濾波和0[～]80 Hz的帶通濾波。

此外，兩個數(shù)據(jù)集的MI?EEG信號在輸入模型前均進行了標準化處理，如式（3）所示：

[x′i=xi-mean（xi）std（xi），" " i=1，2，…，C] （3）

式中[C]為EEG信號通道數(shù)。

2.3" 評估方法與評價指標

2.3.1" 評估方法

在BCI競賽IV?2a數(shù)據(jù)集上，使用受試者依賴和受試者獨立方法評估提出的模型。對于受試者依賴方法，本文使用第一次采集的288×9個MI實驗數(shù)據(jù)用于訓練，將第二次采集的數(shù)據(jù)用于測試。對于受試者獨立方法，本文采用留下一個被試（Leaving One Subject Out，" LOSO）的方法，即模型訓練和測試的次數(shù)等于被試的數(shù)量，每次使用一個受試者的數(shù)據(jù)測試模型，剩下的其他受試者數(shù)據(jù)用于訓練模型。

在Physionet MI?EEG數(shù)據(jù)集上通過受試者獨立的方法對提出的模型進行評估。具體來講，是采用10折交叉驗證來評估模型的性能，即在每次實驗中隨機選擇10%的數(shù)據(jù)進行測試，其余90%的數(shù)據(jù)用于訓練。此過程重復10次，并將10次實驗結(jié)果的平均值作為最終結(jié)果。

2.3.2" 評價指標

本文使用準確率（Acc），單位為%，以及Kappa系數(shù)（[K]）作為模型性能的評價指標，具體描述如下：

[Acc=i=1nTPi Iin] （4）

式中：[TPi]為正樣本，即第[i]類中正確預測的樣本數(shù)；[Ii]為第[i]類中的樣本數(shù)；[n]為類數(shù)。

[K=1nj=1nPj-Pe1-Pe] （5）

式中：[n]為類別的數(shù)量；[Pj]是第[j]類被正確分類的實際百分比；[Pe]為所有類別被正確分類的預期百分比。

2.4" 實驗環(huán)境與參數(shù)設置

本文所有實驗均是在Ubuntu 22.04操作系統(tǒng)上完成，GPU為NVIDIA GTX 3080顯卡，顯存為10 GB，編譯語言為Python 3.8，深度學習框架為TensorFlow 2.9。在訓練前用Glorot統(tǒng)一初始化器進行模型權重初始化，訓練時采用Adam優(yōu)化器進行參數(shù)優(yōu)化，損失函數(shù)采用多分類交叉熵函數(shù)，學習率為0.000 9。在BCI競賽IV?2a數(shù)據(jù)集訓練1 000個epoch，批量大小為64，在Physionet MI?EEG數(shù)據(jù)集訓練500個epoch，批量大小為32。

3" 實驗結(jié)果與分析

3.1" 深度卷積層的輸出通道數(shù)選擇

為探究三分支卷積網(wǎng)絡融合模塊中的深度卷積層輸出通道數(shù)的變化對模型性能的影響，本文在BCI競賽IV?2a數(shù)據(jù)集上對ECA?TBCNet模型進行了參數(shù)對比實驗。

深度卷積層的輸出通道數(shù)為[F1×Di]，[i=1，2，3]，其中[F1]為輸入通道數(shù)，[Di]是鏈接到前一層每個時間特征圖的濾波器數(shù)量，[i]是三分支卷積網(wǎng)絡模塊中的分支序號。本文中的三個深度卷積層的輸入通道數(shù)[F1]均為16，所以輸出通道數(shù)由[Di]唯一確定。對于單分支卷積網(wǎng)絡，輸出通道數(shù)為32的深度卷積層有較好的特征提取能力[2，6，15]。因此本文將三分支卷積網(wǎng)絡模塊的分支一中的深度卷積層的參數(shù)[D1]選定為2，并采用控制變量的方法探究[D2]與[D3]對ECA?TBCNet模型性能的影響。本文將[D2]與[D3]的取值范圍規(guī)定為2～6之間的整數(shù)。實驗時，首先將[D2]的值固定，然后記錄下[D3]從2增加到6時ECA?TBCNet模型性能的變化，結(jié)果如圖4所示。

從圖4可知：隨著[D3]取值增大，模型分類準確率的總體趨勢是逐步降低的，但當[D2]與[D3]取值不同為偶數(shù)或奇數(shù)時，分類準確率會有不同程度的增加，這表明[D2]與[D3]同時取偶數(shù)或者奇數(shù)時，提取到的特征相似，不能起到相互補充的作用；反之，能夠提取到多種尺度的特征，發(fā)揮出多分支網(wǎng)絡的優(yōu)勢。此外，當[D2=6]且[D3=3]時，ECA?TBCNet模型為最佳工作狀態(tài)。

3.2" 不同注意力機制對模型性能的影響

為了檢驗不同注意力機制對于模型性能的影響，本文在模型中分別采用SE、CBAM[16]和ECA三種注意力機制，并在BCI競賽IV?2a數(shù)據(jù)集上進行訓練與驗證實驗，結(jié)果如表1所示。

由表1可知，三種注意力機制均能提升模型性能，其中ECA模型結(jié)果最好，這是由于ECA具有強大的跨通道交互捕捉能力，并且能夠避免通道降維，能更好地為各個通道賦予權值。

3.3" 消融實驗

為了探究各模塊對模型性能的具體貢獻，本文在BCI競賽IV?2a數(shù)據(jù)集上進行了消融實驗，結(jié)果如表2所示。

由表2可知，ECA模塊使整體精度提高了0.77%。當去除ECA模塊后，即僅有三分支卷積網(wǎng)絡融合模塊時，去除三分支卷積網(wǎng)絡中的分支二使準確率降低0.82%，去除分支三使準確率降低0.74%，同時去除分支二和分支三使準確率降低2.05%，這說明分支二和分支三均有較強的特征提取能力，并且均能對分支一提取到的特征進行補充。

3.4" 分類結(jié)果對比與分析

3.4.1" BCI競賽IV?2a數(shù)據(jù)集上的對比實驗

本節(jié)使用BCI競賽IV?2a數(shù)據(jù)集評估ECA?TBCFNet模型的性能，并與復現(xiàn)模型進行比較，包括EEGNet[2]、EEG?TCNet[15]和TCNet?Fusion[17]。復現(xiàn)模型的分類結(jié)果是采用原始文章中定義的參數(shù)訓練得到的，而預處理、訓練和評估是按照本文中指定的方法進行的。

表3顯示了10次隨機訓練后，每個模型在受試者依賴評估上的最佳性能和平均性能。

表3結(jié)果表明：ECA?TBCFNet模型中所有受試者的精度均優(yōu)于其他模型，其準確率為83.3%，[K]為0.78；ECA?TBCFNet模型10次訓練的平均性能，即平均90次單獨且隨機訓練（9個受試者×10次運行）也高于其他模型。這表明ECA?TBCFNet模型具有較強的學習能力，并能在多次運行后重現(xiàn)相似的穩(wěn)定結(jié)果。此外，ECA?TBCFNet模型取得了最佳的標準偏差（std），表明該模型在不同受試者身上的分類性能更加穩(wěn)定。

圖5為ECA?TBCFNet模型和其他復現(xiàn)模型（EEGNet、EEG?TCNet以及TCNet Fusion）的混淆矩陣。與其他模型相比，ECA?TBCFNet模型提升了所有MI活動的分類性能。

在表4中，本文根據(jù)預處理、輸入數(shù)據(jù)、網(wǎng)絡結(jié)構(gòu)和網(wǎng)絡性能比較了近年來的MI解碼研究。

結(jié)果表明，ECA?TBCFNet模型的性能優(yōu)于以往使用原始MI?EEG信號且未進行預處理的模型。在受試者依賴和受試者獨立評估上，ECA?TBCFNet模型都取得了最佳表現(xiàn)，這說明該模型對新受試者具有更好的泛化能力。

t分布隨機鄰居嵌入（t?Distributed Stochastic Neighbor Embedding， t?SNE）是一種廣泛應用的統(tǒng)計降維和特征可視化技術，其能夠?qū)⒏呔S數(shù)據(jù)點映射到低維空間，同時保留數(shù)據(jù)的局部結(jié)構(gòu)。

圖6為復現(xiàn)模型和本文提出的ECA?TBCFNet模型在BCI競賽IV?2a數(shù)據(jù)集上的t?SNE特征可視化結(jié)果。從圖中可知，ECA?TBCFNet模型提取到的特征具有更清晰的邊界和更明顯的聚類，這再次證明了該模型能夠有效地提取特征信息，并增強不同類別的可分性。

3.4.2" Physionet MI?EEG數(shù)據(jù)集上的對比實驗

為了進一步測試ECA?TBCFNet模型的解碼能力和魯棒性，本文在Physionet MI?EEG數(shù)據(jù)集上對該模型進行了兩類（L和R）和四類（L，R，LR和F）運動想象分類實驗，并與該數(shù)據(jù)集上的先進模型進行對比，結(jié)果如表5所示。

從表5中可以看出：ECA?TBCFNet模型在兩類和四類運動想象分類任務上的準確率分別達到了87.87%和69.01%，相比于其他模型分別提高了1.17%和0.47%，這證明ECA?TBCFNet模型具有較優(yōu)的特征提取和分類性能。

圖7為ECA?TBCFNet模型在兩類和四類運動想象分類任務中的混淆矩陣。結(jié)果表明，ECA?TBCFNet模型在識別左拳、右拳類別上表現(xiàn)良好，但在識別雙拳類別上表現(xiàn)較差。這說明該模型對單手運動時的雙側(cè)大腦區(qū)域的神經(jīng)活動有較好的識別能力，但對雙手運動時的神經(jīng)活動識別能力較弱。此外，該模型在雙腳類別上有較高的分類準確率，說明其可以有效識別來自單側(cè)運動皮層的神經(jīng)活動。

圖8為使用t?SNE方法對ECA?TBCFNet模型在Physionet數(shù)據(jù)集上的兩類和四類分類運動想象任務中提取到的特征進行可視化處理后的結(jié)果。

由圖8可知，在這兩個分類任務中，來自左拳和右拳的大多數(shù)特征樣本都表現(xiàn)出較高的可分辨性，這表明ECA?TBCFNet模型可以有效地提取到這兩類運動想象任務的特征。在四類運動想象分類任務中，提取到的雙腳運動想象特征具有較高的可分辨性，而雙拳運動想象特征重疊明顯，可分辨性較低，不利于準確分類。

4" 結(jié)" 論

為提高運動想象腦電信號識別準確率，本文提出了一種基于ECA和三分支卷積融合網(wǎng)絡的ECA?TBCFNet模型。首先，通過ECA模塊捕捉原始MI?EEG信號中的跨通道交互；然后，使用三分支卷積網(wǎng)絡融合模塊從多個尺度提取EEG信號的時空特征；最后，將提取到的特征輸入全連接層并利用Softmax函數(shù)實現(xiàn)類別劃分。

為驗證本文所提出模型的識別準確率與泛化魯棒性，進行了相關實驗，結(jié)論如下。

1） 通過在BCI競賽IV?2a數(shù)據(jù)集的消融實驗證明ECA?TBCFNet模型中的各模塊均對整體性能有顯著的貢獻。然后，通過在BCI競賽IV?2a數(shù)據(jù)集上的模型對比實驗可知，ECA?TBCFNet模型的受試者獨立準確率為70.8%，受試者依賴準確率為83.3%，優(yōu)于當前模型，證明該模型能夠有效地從原始MI?EEG信號中檢測MI活動。此外，通過混淆矩陣可知，該模型還提高了所有受試者的腦電信號識別能力，展現(xiàn)了其從不同受試者和不同類別中提取更豐富MI特征的能力，并通過t?SNE特征可視化再次證明了這點。

2） 為了再次評估ECA?TBCFNet模型的特征提取和分類能力，以及在新數(shù)據(jù)集上的泛化性能，本文在Physionet MI?EEG數(shù)據(jù)集上進行了兩類和四類運動想象任務的分類實驗。結(jié)果顯示，ECA?TBCFNet模型的兩分類和四分類準確率分別為87.87%和69.01%，優(yōu)于該數(shù)據(jù)集上的其他模型，證實了ECA?TBCFNet模型有較強的運動想象腦電信號解碼能力和高魯棒性。在未來的工作中，將繼續(xù)探索和優(yōu)化框架，再次提高MI?EEG信號的識別能力。

注：本文通訊作者為艾爾肯·亥木都拉。

參考文獻

[1] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M， et al. Deep learning techniques for classification of electroencephalogram （EEG） motor imagery （MI） signals： A review [J]. Neural computing application， 2023， 35（20）： 14681?14722.

[2] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： A compact convolutional neural network for EEG?based brain?computer interfaces [J]. Journal of neural engineering， 2018， 15（5）： 056013.

[3] MANE R， ROBINSON N， VINOD A P， et al. A multi?view CNN with novel variance layer for motor imagery brain computer interface [C]// 2020 42nd Annual International Conference of the IEEE Engineering in Medicine amp; Biology Society （EMBC）. New York： IEEE， 2020： 2950?2953.

[4] ZHAO X Q， ZHANG H M， ZHU G L， et al. A multi?branch 3D convolutional neural network for EEG?based motor imagery classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2019， 27（10）： 2164?2177.

[5] LIU T， YANG D. A densely connected multi?branch 3D convolutional neural network for motor imagery EEG decoding [J]. Brain sciences， 2021， 11（2）： 197.

[6] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M. Dynamic convolution with multilevel attention for EEG?based motor imagery decoding [C]// IEEE Internet of Things journal， 2023， 10（21）： 18579?18588.

[7] ALTUWAIJRI G A， MUHAMMAD G， ALTAHERI H， et al. A multi?branch convolutional neural network with squeeze?and?excitation attention blocks for EEG?based motor imagery signals classification [J]. Diagnostics， 2022， 12（4）： 995.

[8] HU J， SHEN L， ALBANIE S， et al. Squeeze?and?excitation networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 2011?2023.

[9] 馮澤林，宋耀蓮.多尺度卷積與注意力機制的腦電信號識別研究[J].現(xiàn)代電子技術，2023，46（23）：85?92.

[10] 周成誠，曾慶軍，楊康，等.基于高效通道注意力模塊的運動想象腦電識別[J].計算機與現(xiàn)代化，2023（12）：19?23.

[11] WANG Q， WU B， ZHU P， et al. ECA?Net： Efficient channel attention for deep convolutional neural networks [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2020： 11531?11539.

[12] BRUNNER C， LEEB R， MüLLER?PUTZ G R， et al. BCI competition 2008： Graz data set A [EB/OL]. [2023?09?13]. https：//bbci.de/competition/iv/desc_2a.pdf.

[13] GOLDBERGER A L， AMARAL L A， GLASS L， et al. PhysioBank， PhysioToolkit， and PhysioNet： Components of a new research resource for complex physiologic signals [J]. Circulation， 2000， 101（23）： E215.

[14] MIAO Z Q， ZHAO M R， ZHANG X， et al. LMDA?Net： A lightweight multi?dimensional attention network for general EEG?based brain computer interfaces and interpretability [J]. Neuroimage， 2023， 276： 120209.

[15] INGOLFSSON T M， HERSCHE M， WANG X Y， et al. EEG?TCNet： An accurate temporal convolutional network for embedded motor?imagery brain?machine interfaces [EB/OL]. [2020?06?09]. https：//arxiv.org/abs/2006.00622.

[16] WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg， Germany： Springer， 2018： 3?19.

[17] MUSALLAM Y K， ALFASSAM N I， MUHAMMAD G， et al. Electroencephalography?based motor imagery classification using temporal convolutional network fusion [J]. Biomedical signal processing and control， 2021， 69： 102826.

[18] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi?layer CNNs feature fusion [J]. Future generations computer systems， 2019， 101： 542?554.

[19] DOSE H， M?LLER J S， IVERSEN H K， et al. An end?to?end deep learning approach to MI?EEG signal classification for BCIs [J]. Expert systems with applications， 2018， 114： 532?542.

[20] ROOTS K， MUHAMMAD Y， MUHAMMAD N. Fusion convolutional neural network for cross?subject EEG motor imagery classification [J]. Computers （Basel）， 2020， 9（3）： 72.

[21] KOSTAS D， AROCA?OUELLETTE S， RUDZICZ F. BENDR： Using transformers and a contrastive self?supervised learning task to learn from massive amounts of EEG data [EB/OL]. [2021?01?28]. https：//arxiv.org/abs/2101.12037.

[22] XIE J， ZHANG J， SUN J， et al. A transformer based approach combining deep learning network and spatial temporal information for raw EEG classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2022， 30： 2126?2136.

[23] ALI O， SAIF?UR?REHMAN M， GLASMACHERS T， et al. ConTraNet： A single end?to?end hybrid network for EEG?based and EMG?based human machine interfaces [EB/OL]. [2022?10?02]. https：//doi.org/10.48550/arXiv.2206.10677.

作者簡介：周" 凱（1997—），男，河南商丘人，碩士研究生，研究方向為腦機接口、運動想象腦電信號處理。

艾爾肯·亥木都拉（1972—），男，新疆鳥魯木齊人，碩士研究生，副教授，研究方向為腦機接口、信號處理和高端農(nóng)牧裝備與特種機器人。