基于注意力時間卷積的運(yùn)動想象腦電分類方法

摘 "要： 以運(yùn)動想象為基礎(chǔ)的腦機(jī)接口技術(shù)有助于運(yùn)動障礙患者的康復(fù)，因而被廣泛應(yīng)用于康復(fù)醫(yī)療領(lǐng)域。針對目前腦電信號的信噪比導(dǎo)致深度學(xué)習(xí)方法在運(yùn)動想象數(shù)據(jù)集上解碼精度不高的問題，提出一種基于注意力時間卷積的運(yùn)動想象腦電分類方法。首先利用深度卷積模塊初步提取腦電信號中的時間與空間信息，采用多尺度卷積模塊中三個不同大小的卷積塊進(jìn)一步提取MI?EEG（運(yùn)動想象腦電）數(shù)據(jù)中整體和細(xì)節(jié)特征；再經(jīng)過多頭注意力模塊突出數(shù)據(jù)中最有價值的特征，利用時間卷積網(wǎng)絡(luò)提取高級時間特征；最后，經(jīng)過全連接網(wǎng)絡(luò)和softmax層輸出分類結(jié)果。實(shí)驗(yàn)結(jié)果表明，在BCI競賽IV?2b數(shù)據(jù)集上，所提模型對運(yùn)動想象二分類任務(wù)的平均分類準(zhǔn)確率達(dá)到了84.26%，與已有的基準(zhǔn)模型相比，該方法的準(zhǔn)確率有顯著提高。

關(guān)鍵詞： 腦機(jī)接口； 運(yùn)動想象； 時間卷積網(wǎng)絡(luò)； 深度學(xué)習(xí)； 多頭注意力模塊； 多尺度卷積； 信號分類

中圖分類號： TN911.7?34； TP391 " " " " " " " " " 文獻(xiàn)標(biāo)識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）18?0070?07

Method of MI?EEG classification based on attentional temporal convolution

XU Jiazhen， HE Wenxue， LI Haoran

（School of Automation， Qingdao University， Qingdao 266071， China）

Abstract： Brain?computer interface （BCI） technology based on motor imagery is helpful for the rehabilitation of patients with movement disorders， and thus it is widely used in the field of rehabilitation medicine. In allusion to the problem that the current signal?to?noise ratio of EEG signals leads to poor decoding accuracy of deep learning methods on motor imagery datasets， a method of MI?EEG （motor imagery electroencephalogram） classification based on attentional temporal convolution is proposed. The deep convolution module is used to initially extract the temporal and spatial information in the EEG signals， and three convolutional blocks with different size in the multi?scale convolution module are used to further extract the global and detailed features from the MI?EEG data. The most valuable features in the data are highlighted by means of multi?head attention module， and the advanced temporal features are extracted by means of temporal convolution network， and then the classification results are output by connected network and softmax layer. The experimental results show that， on the BCI competition IV?2b dataset， the proposed model can realize an average classification accuracy of 84.26% for the motor imagery binary classification task， and this method has significantly improved accuracy compared with existing benchmark models.

Keywords： brain?computer interface; motor imagery; temporal convolutional network; deep learning; multi?head attention module; multi?scale convolution; signal classification

0 "引 "言

腦?機(jī)接口（Brain?Computer Interface， BCI）通過腦電傳感器采集大腦電信號，并利用腦電解碼算法將人的思維活動轉(zhuǎn)化為驅(qū)動外部設(shè)備的命令信號，從而實(shí)現(xiàn)人與外部設(shè)備之間的信息交互[1]。這種技術(shù)使得運(yùn)動障礙患者不需要進(jìn)行肢體相關(guān)活動便可以通過大腦控制外部設(shè)備。

BCI技術(shù)的應(yīng)用前景非常廣闊，如卒中后運(yùn)動康復(fù)、虛擬現(xiàn)實(shí)、3D四軸飛行器控制等。為了支持這些應(yīng)用，準(zhǔn)確、快速的解碼腦電信號起著至關(guān)重要的作用[2]。由于各種因素影響，MI?EEG信號表現(xiàn)出低信噪比，例如受試者的精神狀態(tài)、環(huán)境噪聲、由皮層作為體積導(dǎo)體的行為引起的信號失真，或其他生理信號的干擾[3]。

為了解決這個問題，有學(xué)者提出以深度學(xué)習(xí)為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型，用于MI?EEG信號分類[4]。腦電信號是通過多個電極在大腦皮層上提取的一維時間序列，它具有時間特征和不同電極之間的空間特征[5]。與其他噪聲信號相比，運(yùn)動想象任務(wù)相關(guān)的腦電信號往往更為微弱，因此利用深度學(xué)習(xí)模型提取腦電信號中的特征信息更具有挑戰(zhàn)性[6]。文獻(xiàn)[7]中提出并行卷積神經(jīng)網(wǎng)絡(luò)模型，在網(wǎng)絡(luò)中融入不同大小的卷積核，用來提高分類準(zhǔn)確率。文獻(xiàn)[8]中提出混合多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，利用帶通濾波器將腦電信號分為三個不同的子頻帶，再通過不同大小的卷積核分別獲得三個頻帶信號的特性，并將其特征融合。文獻(xiàn)[9]中提出一種基于注意力機(jī)制的多尺度融合卷積神經(jīng)網(wǎng)絡(luò)，將三種特性進(jìn)行了整合，并通過注意力模塊對特性進(jìn)行了篩選。文獻(xiàn)[10]中提出一種基于遷移學(xué)習(xí)的多尺度特征融合網(wǎng)絡(luò)，通過不同卷積尺度來捕獲腦電信號中各種非重疊標(biāo)準(zhǔn)頻帶的可區(qū)分特征，以提高分類準(zhǔn)確率。

基于上述研究，本文提出一種基于多頭注意力的多尺度卷積結(jié)合時間卷積的運(yùn)動想象腦電分類模型。所提模型以Inception[11]結(jié)構(gòu)為基礎(chǔ)串聯(lián)時間卷積網(wǎng)絡(luò)模塊，以獲取時間與空間特征，利用多頭注意力模塊篩選重要特征，達(dá)到分類目的。

1 "方 "法

1.1 "整體模型

本文提出的基于注意力的時間卷積網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，將運(yùn)動想象腦電信號定義為[X∈RC×T]，模型輸出定義為[P∈RN]，C表示腦電信號的導(dǎo)聯(lián)通道數(shù)，T表示腦電信號時間點(diǎn)的個數(shù)[12]，N表示類別數(shù)。整體結(jié)構(gòu)中，5個模塊串聯(lián)連接。

深度卷積模塊和多尺度卷積模塊分別提取不同電極通道間的空間特征和不同頻率上的時間特征，輸出高維時間序列。利用多頭注意力模塊突出時間序列中最重要的特征信息，時間卷積模塊提取時間序列中的高級時間特征，最后將提取到的特征通過分類模塊中的softmax函數(shù)轉(zhuǎn)換成概率分布，使得模型能夠更好地進(jìn)行分類決策。

1.2 "深度卷積模塊

首先在腦電信號[X]的維度上添加一個通道維度，通道維度大小設(shè)置為1，將[X∈R1×C×T]作為深度卷積模塊的輸入。

在深度卷積模塊中，通過[F1]個大小為（1，125）的卷積核沿著原始信號的時間軸進(jìn)行卷積，提取出[F1]組2 Hz以上信息的特征圖；接著在每一張?zhí)卣鲌D上通過大小為（3，1）的卷積核進(jìn)行[D]次卷積操作，輸出[F2]組特征圖，批量歸一化處理特征圖，使用指數(shù)線性單元（ELU）激活函數(shù)[13]。最后經(jīng)過大小為（1，8）的最大池化層進(jìn)行數(shù)據(jù)降采樣，通過保留最顯著的特征來減少數(shù)據(jù)冗余，并生成特征圖作為輸出[U∈RF2×1×T/8]。為避免訓(xùn)練模型時過擬合，使用Dropout技術(shù)[14]，并將Dropout值設(shè)置為0.25。深度卷積模塊具體結(jié)構(gòu)如圖2所示。

1.3 "多尺度卷積模塊

大尺度卷積核能夠獲取總體特征，但對細(xì)節(jié)特征的敏感度較低，而小尺度卷積核對這些細(xì)粒度特征信息的獲取更為有效[15]。在Inception結(jié)構(gòu)框架下，構(gòu)建多尺度卷積模塊，通過（1，63）大小的卷積核提取腦電信號中整體特征信息，（1，15）大小的卷積核捕捉相對粗略的局部特征信息，而（1，3）大小的卷積核可以有效地保留細(xì)粒度特征信息，具體結(jié)構(gòu)如圖3所示。

首先通過三種大小不等的卷積核并聯(lián)連接，最大池化層對數(shù)據(jù)進(jìn)行降采樣，減小計算量，去掉冗余信息；此外，最大池化操作還可以對特征圖的特征信息進(jìn)行保留，進(jìn)而提高模型分類準(zhǔn)確率。最大池化層后連接一個（1，1）大小的卷積核，使得此分支上的特征圖通道數(shù)與其余三個分支的通道數(shù)相同。將四個并聯(lián)連接的網(wǎng)絡(luò)層得到的特征映射在通道維度上進(jìn)行拼接操作，輸出[U∈R4F2×1×T/64]給后續(xù)模塊。

1.4 "多頭注意力模塊

多頭注意力模塊由8個自注意力層（縮放點(diǎn)積注意力）組成，如圖4所示。每個自注意力層包含查詢Q、鍵K和值V三個部分。首先對查詢和鍵進(jìn)行點(diǎn)積運(yùn)算，獲得注意力分?jǐn)?shù)；然后使用縮放因子來增強(qiáng)或減弱這些分?jǐn)?shù)，將縮放后得到的分?jǐn)?shù)輸入softmax函數(shù)，得出每個元素的注意力權(quán)重；再根據(jù)這些權(quán)重對值進(jìn)行加權(quán)求和，從而得到最終的輸出。

多尺度卷積模塊的輸出重塑為[I∈RTc×d]作為多頭注意力模塊的輸入，其中[Tc=T64]，[d=4F2]。將輸入I通過線性變換得到查詢Q、鍵K、值V矩陣為：

[Q=WQ?I]

[K=WK?I]

[V=WV?I] " " " " " "（1）

式中：[WQ]、[WK]、[WV]分別是可學(xué)習(xí)的權(quán)重矩陣。

對于每一個注意力頭h，都要計算出一個注意力權(quán)重矩陣[ah]，把Q、[KT]矩陣做點(diǎn)積，再除以一個縮放因子[d]，最后進(jìn)行softmax操作得出：

[ah=softmaxQ·KTd ] " " " " " （2）

使用注意力權(quán)重矩陣[ah]對值矩陣V進(jìn)行加權(quán)求和，得到每個注意力頭h的輸出，公式如下：

[Oh=ahV] " " " " " "（3）

將每個注意力頭的輸出[Oh]拼接起來，得到H個頭注意力的輸出：

[AQ，K，V=Concat（O1，O2，…，OH）] （4）

最后，將多頭注意力的輸出通過一個線性變換[WO]和一個ReLU激活函數(shù)進(jìn)行處理，獲得最終多頭注意力模塊的輸出。

[MHAQ，K，V=WO?AQ，K，V+b] " （5）

式中：[WO]是可學(xué)習(xí)的權(quán)重矩陣；[b]是偏置向量。

softmax函數(shù)為：

[softmaxxi=exij=1Nexj] " " " " （6）

式中：[softmaxxi]是輸入張量中的第i個元素經(jīng)過softmax操作后的值；x是softmax函數(shù)的輸入向量；N是類別數(shù)量。

1.5 "時間卷積模塊

時間卷積模塊結(jié)構(gòu)如圖5所示，包含兩個時間卷積殘差塊。每個殘差塊中串聯(lián)兩個膨脹因果卷積層，每個卷積層后進(jìn)行批量歸一化操作和ELU函數(shù)激活。

因果卷積被用來防止任何信息從未來傳播到過去，也就是t時刻的輸出只依賴于t時刻和更早時間的輸入。膨脹卷積允許接受域呈指數(shù)級擴(kuò)張，同時增加網(wǎng)絡(luò)的深度。因此，膨脹因果卷積可以學(xué)習(xí)長序列中的關(guān)系。殘差連接對輸入和輸出特征映射進(jìn)行元素加法，即[F（x）+x]。在殘差塊中，使用恒等映射，因?yàn)檩斎牒洼敵鼍S數(shù)相同，否則，將使用一個線性變換，即1×1卷積。

時間卷積網(wǎng)絡(luò)的感受野大小（RFS）隨著堆疊殘差塊數(shù)量L的增加呈指數(shù)增長，這是由于每個后續(xù)塊的膨脹因子D呈指數(shù)增長。感受野大小由兩個參數(shù)控制：殘差塊數(shù)量L和核大小[KT]，公式如下：

[RFS=1+2KT-1（2L-1）] " " （7）

此模塊由2個時間卷積殘差塊和32個[KT=4]的濾波器組成，每個時間卷積網(wǎng)絡(luò)的RFS為19，即時間卷積網(wǎng)絡(luò)可以在一個序列中處理多達(dá)19個元素，如圖6所示。因此，輸入時間卷積塊的時間序列應(yīng)小于或等于19，以允許時間卷積網(wǎng)絡(luò)處理所有的時間信息而不丟失。

圖6顯示了輸入時間卷積網(wǎng)絡(luò)的15個時間元素序列，每個元素都是一個大小為F的向量。網(wǎng)絡(luò)輸出時間序列中最后一個元素，它是一個大小為[FT]的向量，其中F=[FT]=32。然后輸入分類模塊，模塊中具有兩個神經(jīng)元的全連接（FC）層，神經(jīng)元的數(shù)量與MI類的數(shù)量相同，利用softmax函數(shù)獲得每個類別的概率輸出。

本文所使用的超參數(shù)如表1所示，這些參數(shù)是基于多個實(shí)驗(yàn)的經(jīng)驗(yàn)設(shè)置，并且對所有受試者都是固定的。

2 "實(shí) "驗(yàn)

2.1 "數(shù)據(jù)集描述與預(yù)處理

為了訓(xùn)練和測試本文的模型，在此使用公開的MI?BCI競賽腦電數(shù)據(jù)集（BCI competition Dataset IV?2b）[16]。該數(shù)據(jù)集中包含了9名受試者腦電圖數(shù)據(jù)，每名受試者進(jìn)行5次運(yùn)動想象腦電采集記錄，前2次記錄共240次實(shí)驗(yàn)，后3次記錄共480次實(shí)驗(yàn)且包含微笑反饋。分別進(jìn)行兩類運(yùn)動想象任務(wù)，包含想象左手運(yùn)動和想象右手運(yùn)動。采樣頻率為250 Hz，導(dǎo)聯(lián)通道數(shù)為3，每個通道都經(jīng)過帶通濾波器0.5～100 Hz和陷波濾波器50 Hz預(yù)處理。此外，本文采用相關(guān)研究中常見的0～4 s線索時間窗切割數(shù)據(jù)集，因此每個受試者獲得720個樣本。

2.2 "實(shí)驗(yàn)設(shè)置

本文將數(shù)據(jù)集按照3∶1∶1比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。采用Adam優(yōu)化器和交叉熵?fù)p失函數(shù)來更新網(wǎng)絡(luò)參數(shù)，批次大小設(shè)置為32，最大訓(xùn)練周期設(shè)置為1 000，當(dāng)驗(yàn)證準(zhǔn)確率在200次內(nèi)未提升，訓(xùn)練提前停止，以防止訓(xùn)練過擬合。在訓(xùn)練過程中引入了余弦退火策略來動態(tài)調(diào)整學(xué)習(xí)率，學(xué)習(xí)率范圍設(shè)置為0.002～0.000 1。余弦退火是一種在優(yōu)化目標(biāo)函數(shù)的同時動態(tài)調(diào)整學(xué)習(xí)速率的方法，公式如下：

[ηt=ηmin+12ηmax-ηmin1+cosTcurTmaxπ] （8）

式中：[ηt]表示在時間t處的學(xué)習(xí)率；[ηmin]表示學(xué)習(xí)率的最小值；[ηmax]表示學(xué)習(xí)率的最大值，即初始學(xué)習(xí)率；[Tcur]表示當(dāng)前的訓(xùn)練周期；[Tmax]表示最大訓(xùn)練周期。在此方法中，學(xué)習(xí)率的變化形式類似于余弦函數(shù)圖形。開始時學(xué)習(xí)率較大，在[Tcur]=0時達(dá)到了最大值[ηmax]。然后，通過余弦函數(shù)，學(xué)習(xí)率逐漸減小，直到[Tcur]=[Tmax]時達(dá)到最小值[ηmin]。這種方式使得模型在訓(xùn)練初期收斂更快，而在訓(xùn)練后期更細(xì)致地調(diào)整。

實(shí)驗(yàn)使用的編程語言是Python 3.7，基于PyTorch框架設(shè)計，利用MNE庫對腦電信號進(jìn)行預(yù)處理，Scikit?learn庫用于數(shù)據(jù)分割和模型評估，模型的訓(xùn)練和測試是在Nvidia RTX 4060 GPU上完成的。

2.3 "評價指標(biāo)

為了直觀地對模型的分類性能進(jìn)行評估，引入準(zhǔn)確率（Accuracy），公式如下：

[Accuracy=TP+TNTP+FN+FP+TN] " " " "（9）

式中：TP（True Positive）表示原始數(shù)據(jù)為正，分類后仍然為正的樣本數(shù)；TN（True Negative）表示原始數(shù)據(jù)為負(fù)，分類后仍然為負(fù)的樣本數(shù)；FN（False Negative）表示原始數(shù)據(jù)為正，但是分類后為負(fù)的樣本數(shù)；FP（False Positive）表示原始數(shù)據(jù)為負(fù)，但是分類后為正的樣本數(shù)。

3 "實(shí)驗(yàn)結(jié)果與分析

3.1 "不同模型的分類結(jié)果比較

表2所示為應(yīng)用于BCI competition IV?2b數(shù)據(jù)集時，本文模型與三種基準(zhǔn)模型單個受試者分類準(zhǔn)確率的比較結(jié)果。表中，本文提出的模型在9個受試者上的平均分類準(zhǔn)確率達(dá)到了84.26%，優(yōu)于其他三種基準(zhǔn)模型。對比每個受試者單獨(dú)的分類準(zhǔn)確率，本模型僅在受試者3、受試者4和受試者8中未能達(dá)到最高準(zhǔn)確率，可能原因是該模型對腦電信號中的噪聲特征進(jìn)行了學(xué)習(xí)，導(dǎo)致分類效果不佳。針對特定受試者的腦電信號，個別模型具有較強(qiáng)的敏感性，對受試者腦電信號分類準(zhǔn)確率相對較高。此外，超參數(shù)設(shè)置不當(dāng)也會導(dǎo)致模型訓(xùn)練時過擬合，使得測試分類準(zhǔn)確率不高。

根據(jù)分類標(biāo)簽和模型預(yù)測值繪制了平均混淆矩陣，如圖7所示。由混淆矩陣可看出，每個受試者有144個測試樣本，其中分類正確的樣本數(shù)有122個，準(zhǔn)確率為84.72%。

3.2 "繪制特征散點(diǎn)圖

為了進(jìn)一步證明本文模型的解碼和分類能力，對受試者B6進(jìn)行t分布隨機(jī)鄰域嵌入（t?SNE）分析。這是一種非線性的降維技術(shù)，用于向二維或三維空間映射高維數(shù)據(jù)，以便可視化[20]。它在保留數(shù)據(jù)點(diǎn)之間的局部結(jié)構(gòu)的同時，盡可能地將相似的數(shù)據(jù)點(diǎn)映射到降維空間中的相鄰位置。

首先，對于給定的高維數(shù)據(jù)集，通過高斯核函數(shù)來度量數(shù)據(jù)點(diǎn)之間的相似性。假設(shè)有N個數(shù)據(jù)點(diǎn)，使用條件概率來表示數(shù)據(jù)點(diǎn)[xi]在給定數(shù)據(jù)點(diǎn)[xj]的條件下的相似性：

[pji=exp-xi-xj222ik≠iexp-xi-xk222i] " " "（10）

式中[pji]是一個與數(shù)據(jù)點(diǎn)[xi]相關(guān)的方差參數(shù)，通常由固定的高斯核帶寬或基于數(shù)據(jù)點(diǎn)的局部密度來確定。

計算低維空間中各數(shù)據(jù)點(diǎn)的相似度。使用t?分布來測量低維空間中數(shù)據(jù)點(diǎn)的相似度，因?yàn)閠?分布具有厚尾的性質(zhì)，有助于保留數(shù)據(jù)點(diǎn)之間的局部結(jié)構(gòu)。在t?SNE中，相似性度量定義為：

[qji=1+yi-yj2-1k≠i1+yi-yk2-1] " " " "（11）

式中：[yi]和[yj]是數(shù)據(jù)點(diǎn)[xi]和[xj]在低維空間中的投影。

t?SNE通過最小化高維空間中數(shù)據(jù)點(diǎn)之間的相似性與低維空間中數(shù)據(jù)點(diǎn)之間的相似性的差異來優(yōu)化投影[yi]，即通過最小化高維空間中相似性分布P與低維空間中相似性分布Q之間的差異：

[C=KLPQ=ijpjilogpjiqji] " " （12）

在優(yōu)化過程中，使用隨機(jī)梯度下降算法來更新低維投影[yi]，使得KL散度逐漸減小，最終收斂到局部最優(yōu)解。圖8a）是受試者B6原始數(shù)據(jù)的降維投影，由圖可見，在未經(jīng)解碼時，其數(shù)據(jù)類別雜亂且不可分。圖8b）是受試者B6經(jīng)過本模型解碼后的降維特征，除了有小部分類別重疊，二類任務(wù)都具有高度的聚類性和離散性。

3.3 "消融實(shí)驗(yàn)

為了研究每個模塊對整個模型的影響，通過去除相應(yīng)模塊來測試剩余網(wǎng)絡(luò)模型的分類效果，平均分類結(jié)果如表3所示。

表3 "基于BCI competition IV?2b的模型消融實(shí)驗(yàn)

[去除模塊 AVG/% 時間卷積 82.04 多頭注意力 82.16 多尺度卷積 78.27 深度卷積 62.13 ]

表3結(jié)果顯示，相對于本文模型的平均準(zhǔn)確率84.26%，去除深度卷積模塊對分類準(zhǔn)確率影響最大，準(zhǔn)確率下降了22.13%，而去除多尺度卷積模塊分類準(zhǔn)確率下降了5.99%，去除多頭注意力模塊分類準(zhǔn)確率下降2.1%，去除時間卷積模塊分類準(zhǔn)確率下降2.22%。

此外，針對多頭注意力模塊中注意力頭數(shù)的選擇，做了多組對比實(shí)驗(yàn)，結(jié)果如表4所示。

表4結(jié)果顯示，當(dāng)注意力頭數(shù)為8時，平均分類效果最好，故多頭注意力模塊選取8個頭。

4 "結(jié) "論

本文提出的基于多頭注意力的多尺度卷積結(jié)合時間卷積的運(yùn)動想象腦電分類模型，可以提取腦電數(shù)據(jù)中整體特征和局部細(xì)節(jié)特征，多頭注意力對特征進(jìn)行融合和篩選，以增強(qiáng)有效特征的表征能力，最后利用時間卷積提取高級時間特征，進(jìn)一步提高分類效果。在BCI competition IV?2b數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型與近年來先進(jìn)的深度學(xué)習(xí)方法相比有明顯的優(yōu)勢。未來的研究中，將在多分類運(yùn)動想象數(shù)據(jù)集上對模型進(jìn)行改進(jìn)。

注：本文通訊作者為何文雪。

參考文獻(xiàn)

[1] 楊幫華.運(yùn)動想象腦機(jī)接口在神經(jīng)系統(tǒng)疾病康復(fù)中的應(yīng)用[J].康復(fù)學(xué)報，2023，33（6）：477?485.

[2] JIA H， YU S Q， YIN S J， et al. A model combining multi branch spectral?temporal CNN， efficient channel attention， and light GBM for MI?BCI classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 1311?1320.

[3] LOTTE F， BOUGRAIN L， CICHOCKI A， et al. A review of classification algorithms for EEG?based brain?computer interfaces： a 10 year update [J]. Journal of neural engineering， 2018， 15（3）： 031005.

[4] LIH L， DING M， ZHANG R， et al. Motor imagery EEG classifi?cation algorithm based on CNN?LSTM feature fusion network [J]. Biomedical signal processing and control， 2022， 72： 103342.

[5] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M. Physics?informed attention temporal convolutional network for EEG?based motor imagery classification [J]. IEEE transactions on industrial informatics， 2023， 19（2）： 2249?2258.

[6] 李紅利，劉浩雨，陳虹宇，等.基于時間序列數(shù)據(jù)增強(qiáng)的運(yùn)動想象腦電多尺度特征提取分類[J].生物醫(yī)學(xué)工程學(xué)雜志，2023，40（3）：418?425.

[7] HAN Y X， WANG B， LUO J， et al. A classification method for EEG motor imagery signals based on parallel convolutional neuralnetwork [J]. Biomed signal process control， 2022， 71： 103190.

[8] DAI G H， ZHOU J， HUANG J H， et al. HS?CNN： a CNN with hybridconvolution scale for EEG motor imagery classification [J]. Journal of neural engineering， 2020， 17（1）： 016025.

[9] LI D L， XU J C， WANG J H， et al. A multi?scale fusion convolutional neuralnetwork based on attention mechanism for the visualization analysis of EEG signals decoding [J]. IEEE transactions on neural systems and rehabilitation engineering， 2020， 28（12）： 2615?2626.

[10] ROYA M. Adaptive transfer learning?based multiscale feature fused deep convolutional neural network for EEG MI multi classification in brain?computer interface [J]. Engineering applications of artificial intelligence， 2022， 116： 105347.

[11] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： IEEE， 2015： 1?9.

[12] 賈子鈺，林友芳，劉天航，等.基于多尺度特征提取與擠壓激勵模型的運(yùn)動想象分類方法[J].計算機(jī)研究與發(fā)展，2020，57（12）：2481?2489.

[13] KOL W， RANGA S S K， KOMARV O， et al. Development of single?channel hybrid BCI system using motor imagery and SSVEP [J]. Journal of healthcare engineering， 2017， 2017： 1?7.

[14] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting [J]. Journal of machine learning research， 2014， 15（1）： 1929?1958.

[15] 劉培，宋耀蓮.基于通道選擇的多尺度Inception網(wǎng)絡(luò)的腦電信號分類研究[J].現(xiàn)代電子技術(shù)，2023，46（23）：59?65.

[16] LEEB R， BRUNNER C， MULLER?PUTZ G R， et al. BCI competition 2008 { Graz data set B [EB/OL]. [2023?07?18]. bbci.de/competition/iv/desc_2a.pdf.

[17] LAWHERNV J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG?based brain?computer interfacing [J]. Journal of neural engineering， 2018， 15（5）： 056013.1?056013.30.

[18] WANGJ H， YAO L and WANG Y M. IFNet： an interactive frequency convolutional neural network for enhancing motor imagery decoding from EEG [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 1900?1911.

[19] ZHAO X F， LIU D， MA L， et al. Deep CNN model based on serial?parallel structure optimization for four?class motor imagery EEG classification [J]. Biomedical signal processing and control， 2022， 72： 103338.

[20] 申佳華，代成龍，李光輝.AFBCNet：一種基于自適應(yīng)濾波器組的運(yùn)動想象卷積神經(jīng)網(wǎng)絡(luò)[J].傳感技術(shù)學(xué)報，2023，36（11）：1714?1723.