基于注意力與多尺度的4類腦電信號(hào)解碼

任玲玲, 王力,2*, 黃學(xué)文, 詹倩倩

(1.廣州大學(xué)電子與通信工程學(xué)院， 廣州 510006； 2.廣州市信息處理與傳輸重點(diǎn)實(shí)驗(yàn)室， 廣州 510006)

腦-機(jī)接口(brain-computer interface, BCI)是一種建立人腦與外部設(shè)備之間通信和控制通路的技術(shù)[1-4]。在BCI的幫助下，大腦活動(dòng)可直接轉(zhuǎn)化為驅(qū)動(dòng)設(shè)備的指令，而不依賴于外周神經(jīng)和肌肉組織。人的大腦想象意圖在BCI中起著至關(guān)重要的影響，可以提高人機(jī)系統(tǒng)交互的性能。解碼人的想象信號(hào)主要分為腦電圖信號(hào)和肌電圖信號(hào)兩種[5],相比于肌電圖信號(hào)，腦電圖信號(hào)可以更直接的檢測(cè)到運(yùn)動(dòng)意圖，解碼人的想象意圖可以幫助用戶執(zhí)行特定的任務(wù)操作[6]。通過BCI的指令，機(jī)械外骨骼可以直接由運(yùn)動(dòng)障礙患者的大腦進(jìn)行控制[3]，這可幫助他們獲得更高質(zhì)量的康復(fù)訓(xùn)練，并極大提高他們的生活質(zhì)量。此外，還能作為健康的人在日常生活中一種新型交流方式和娛樂設(shè)備，如機(jī)器人控制，單詞拼寫和智能家居控制[4]。

腦電圖(electroencephalogram, EEG)以其安全性、低成本和較高的時(shí)間分辨率被廣泛應(yīng)用于BCI[5]。其中可分為誘發(fā)EEG和自發(fā)EEG[7]，使用者可以不依賴外界刺激設(shè)備，實(shí)現(xiàn)自主操作的屬于主動(dòng)式BCI，也是本文研究的研究對(duì)象。如運(yùn)動(dòng)想象[8]，也可以因?yàn)橥獠看碳ふT導(dǎo)而做出反應(yīng)，如聽覺、視覺刺激[9]。穩(wěn)定狀態(tài)視覺誘發(fā)電位(steady-state visual evoked potentials, SSVEP)和P300誘發(fā)電位均屬于被動(dòng)式實(shí)驗(yàn)范式，分別利用了信號(hào)的頻率特性和時(shí)間特征。被動(dòng)式實(shí)驗(yàn)范式具有分類精度高的優(yōu)點(diǎn)，但依賴額外的刺激設(shè)備，使用起來繁瑣。對(duì)于主動(dòng)式實(shí)驗(yàn)范式(如運(yùn)動(dòng)想象、意識(shí)任務(wù))，使用者可以根據(jù)自己的想法進(jìn)行操作，不需要額外的刺激設(shè)備[10]。執(zhí)行運(yùn)動(dòng)想象任務(wù)時(shí)，大腦運(yùn)動(dòng)皮層的EEG存在事件相關(guān)去同步化(event-related desynchronization，ERD)和事件相關(guān)同步化(event-related synchronization,ERS)現(xiàn)象[11]。除上述實(shí)驗(yàn)范式外，研究人員還提出了言語想象等新的實(shí)驗(yàn)范式[12]。語言是人類大腦皮層高級(jí)思維活動(dòng)的產(chǎn)物，由這類想象誘發(fā)的EEG信號(hào)具有顯著的空間特征，被提出作為控制BCI。

運(yùn)動(dòng)想象和言語想象均可誘發(fā)自發(fā)性EEG信號(hào)，且兩者之間存在顯著差異，因此結(jié)合運(yùn)動(dòng)想象和言語想象的實(shí)驗(yàn)范式被提出[13]。同類想象過于單調(diào)，多模態(tài)實(shí)驗(yàn)范式具有足夠的研究?jī)r(jià)值，在結(jié)合單一模式的基礎(chǔ)上，提高了BCI的實(shí)用性和操作性。通過分析EEG信號(hào)，計(jì)算機(jī)能夠解碼用戶的意圖，但EEG信號(hào)的空間分辨率較低，分類準(zhǔn)確率隨著識(shí)別數(shù)目增多而顯著降低，這限制了指令集的數(shù)量。為了擴(kuò)展主動(dòng)式BCI的指令集，本文研究提出了基于運(yùn)動(dòng)想象和言語想象的四分類時(shí)序編碼實(shí)驗(yàn)范式，時(shí)序編碼是按照時(shí)間順序?qū)⑾胂笕蝿?wù)進(jìn)行排序組合，包括了運(yùn)動(dòng)想象，言語想象，先運(yùn)動(dòng)想象再言語想象和先言語想象再運(yùn)動(dòng)想象。

由于腦電信號(hào)的非線性，非平穩(wěn)性，低信噪比等特點(diǎn)，傳統(tǒng)的預(yù)處理和手工選擇特征的方法不能全面反映大腦活動(dòng)，深度學(xué)習(xí)方法可以自動(dòng)從原始腦電數(shù)據(jù)中學(xué)習(xí)高級(jí)的潛在特征。深度學(xué)習(xí)模型已成功應(yīng)用在許多領(lǐng)域，如醫(yī)學(xué)診斷[14-16]、語音分析[17]，獲得了顯著的性能效果，越來越多的研究人員使用深度學(xué)習(xí)方法對(duì)EEG進(jìn)行分類Schirrmeister等[18]構(gòu)建了3種不同的端到端模型：Deep ConvNets模型、Shallow ConvNets模型、Hybrid ConvNets模型對(duì)腦電信號(hào)進(jìn)行分類，但是上述模型大多都是使用單一尺度的卷積，這樣提取到的特征只能反映腦電信號(hào)其中一個(gè)方面的特性。因此設(shè)計(jì)一個(gè)通用的自動(dòng)提取腦電信號(hào)特征的方法尤其重要，現(xiàn)采用基于注意力的多尺度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)(attention multiscale eeg neural network, AMEEGNet)，該方法基于EEGNet，并將其擴(kuò)展為多尺度卷積提取不同頻帶內(nèi)的關(guān)鍵信息，同時(shí)添加擠壓激勵(lì)模塊給不同特征進(jìn)行權(quán)重化操作，最后利用全連接層進(jìn)行分類。4類想象的腦電信號(hào)基于神經(jīng)網(wǎng)絡(luò)的解碼，不僅豐富了BCI指令集的數(shù)量，也為智能穿戴設(shè)備的發(fā)展提供理論基礎(chǔ)。

1 實(shí)驗(yàn)范式設(shè)計(jì)

本實(shí)驗(yàn)數(shù)據(jù)來自12位身體健康、心理狀況良好的受試者(其中9位男性，3位女性，年齡在22～26歲)。在后續(xù)的實(shí)驗(yàn)結(jié)果中分別用S1-S12來表示。所有受試者都是右利手，并且有5位受試者首次參加類似的EEG信號(hào)采集實(shí)驗(yàn)，其他受試者第二次參加類似的實(shí)驗(yàn)。在參加實(shí)驗(yàn)前要求保證足夠的休息，同時(shí)在實(shí)驗(yàn)前24 h之內(nèi)禁止喝茶或者咖啡等刺激性飲品。受試者調(diào)整座椅至舒適狀態(tài)完成整個(gè)采集實(shí)驗(yàn)，并在采集數(shù)據(jù)的過程中保持放松狀態(tài)。通過注視前方的液晶顯示屏來獲得提示信息。本實(shí)驗(yàn)已經(jīng)通過廣州大學(xué)倫理審查委員會(huì)的批準(zhǔn)，實(shí)驗(yàn)前所有受試者閱讀了實(shí)驗(yàn)相關(guān)的說明和注意事項(xiàng)，并簽署了《實(shí)驗(yàn)知情同意書》。

圖1 一次實(shí)驗(yàn)的時(shí)序圖Fig.1 Timing of a trial of the experimental paradigm

本次實(shí)驗(yàn)是無反饋采集數(shù)據(jù)，實(shí)驗(yàn)提示界面由E-prime軟件設(shè)計(jì)完成，一次完整實(shí)驗(yàn)流程的時(shí)序圖如圖1所示。流程分為如下：0～3 s，顯示器出現(xiàn)一個(gè)“*”，表示空閑期，受試者在這3 s內(nèi)可以進(jìn)行適當(dāng)?shù)男菹ⅲ?～4 s，屏幕顯示一個(gè)“+”，表示準(zhǔn)備期，要求受試者做好準(zhǔn)備；4～5 s，屏幕中央隨機(jī)顯示右手、“壹”、右手+“壹”以及“壹”+右手這4種提示信息，表示提示期，告知受試者即將想象的內(nèi)容；5～7 s，顯示屏顯示黑屏，7～9 s，顯示屏顯示紫屏，這 4 s 都為想象期，單次實(shí)驗(yàn)持續(xù)時(shí)間為9 s。如果提示是右手，要求受試者不斷想象右手運(yùn)動(dòng)直至想象期結(jié)束。如果提示是漢字“壹”，要求受試者在想象期內(nèi)不斷默念“壹”。如果提示是前面出現(xiàn)右手，后面出現(xiàn)“壹”，則要求受試者在黑屏階段不斷想象右手運(yùn)動(dòng)，在紫屏階段不斷默念“壹”。如果提示是前面出現(xiàn)“壹”，后面出現(xiàn)右手，則要求受試者在黑屏階段不斷默念“壹”，在紫屏階段不斷想象右手運(yùn)動(dòng)。在想象期內(nèi)，受試者需要保持穩(wěn)定狀態(tài)，不要移動(dòng)身體產(chǎn)生肌肉電位的變化，同時(shí)也不能眨眼、咬牙。每位受試者根據(jù)實(shí)驗(yàn)范式流程采集7組數(shù)據(jù)，每組數(shù)據(jù)包含40次想象任務(wù)，其中4類想象各四分之一，因此4類想象共有280組數(shù)據(jù)，每一類想象各70組。

2 注意力與多尺度神經(jīng)網(wǎng)絡(luò)

EEGNet是一種緊湊型的卷積神經(jīng)網(wǎng)絡(luò)，可以應(yīng)用于幾種不同范式的BCI。它由普通卷積，深度卷積和可分離卷積組成，時(shí)域特征是由普通卷積生成的，頻域特征是由普通卷積和可分離卷積生成的，空域特征是由通過頻域特征的深度卷積生成的。最終通過一個(gè)具有Softmax激活函數(shù)的全連接層輸出4個(gè)概率值，得到類別結(jié)果[19]。在BCI的深度學(xué)習(xí)技術(shù)領(lǐng)域，EEGNet是一種適用性廣的算法，它具有一定的可解釋性，但它是單一尺度的神經(jīng)網(wǎng)絡(luò)，尤其特征選擇部分難以理解，特征空間的增加容易導(dǎo)致過擬合。因此設(shè)計(jì)了基于注意力與多尺度神經(jīng)網(wǎng)絡(luò)(AMEEGNet)，網(wǎng)絡(luò)模型總體框架如圖2所示。保持EEGNet主體不變，首先通過3個(gè)不同尺度的普通卷積和1個(gè)空洞卷積提取信號(hào)的時(shí)域特征，然后與EEGNet網(wǎng)絡(luò)一致，使用深度卷積和可分離卷積提取頻域特征和空域特征。最后，使用擠壓和激勵(lì)塊進(jìn)行特征的自適應(yīng)選擇。

Input 為輸入；Pooling 為池化；BatchNorm 為歸一化；Dense 為全連接；Flatten 為扁平化；ELU為激活函數(shù)；Conv2D 為二維卷積；AveragePooling2D 為平均池化；DepthwiseConv2D 為深度卷積；Dropout 為退出概率；Concatenate 為連接；SeparableConv2D 為可分離卷積； Atrous Conv2D 為空洞卷積；Output 為輸出圖2 AMEEGNet網(wǎng)絡(luò)總體框架Fig.2 AMEEGNet network framework

2.1 多尺度網(wǎng)絡(luò)模塊

AMEEGNet模型利用二維卷積和空洞卷積來實(shí)現(xiàn)多尺度卷積，用多個(gè)卷積核替換一個(gè)卷積核來實(shí)現(xiàn)多輸入的方法?？斩淳矸e層是在標(biāo)準(zhǔn)卷積中注入孔，這樣的方式能夠擴(kuò)大感受野，有效的關(guān)注腦電圖時(shí)域內(nèi)更多尺度信息，普通卷積和空洞卷積的并行操作構(gòu)成了時(shí)間多尺度模塊，從不同大小的接受域提取時(shí)間維度特征。每個(gè)卷積操作之后包括標(biāo)準(zhǔn)化和激活操作，激活函數(shù)采用指數(shù)線性單元(exponential linear unit，ELU)，ELU函數(shù)最大優(yōu)點(diǎn)是它混合了Sigmoid函數(shù)和RELU(rectified linear unit)函數(shù)[20]。對(duì)于ELU函數(shù)，它的線性部分作用是緩解梯度消失問題，軟飽和區(qū)域使它對(duì)輸入變化或噪聲更具有魯棒性，這也是選擇ELU適用于腦電信號(hào)端到端模型解碼的原因。

使用一個(gè)大小為(C,1)的深度卷積來學(xué)習(xí)一個(gè)空間濾波器，該操作能直接學(xué)習(xí)每個(gè)時(shí)間濾波器的空間濾波器，從而有效提取特定頻率的空間特征。在應(yīng)用ELU之前，沿著特征映射維數(shù)使用批歸一化[21]。應(yīng)用一個(gè)大小為(1，4)的平均池化層來對(duì)信號(hào)進(jìn)行降采樣。為了正則化效果，應(yīng)用Dropout[22]，概率設(shè)置與EEGNet結(jié)構(gòu)值一致為0.5，防止小樣本訓(xùn)練時(shí)出現(xiàn)過擬合。接下來使用一個(gè)可分離的卷積，可分離卷積的優(yōu)點(diǎn)是減少了要擬合的參數(shù)的數(shù)量，通過對(duì)每個(gè)通道進(jìn)行獨(dú)立的空間卷積后再合并通道，然后明確地解耦特征映射內(nèi)部和相互之間的關(guān)系，達(dá)到最優(yōu)后合并輸出。

2.2 通道注意力模塊

引入一個(gè)擠壓激勵(lì)模塊(squeeze excitation，SE),該模塊來自圖像處理中二維卷積神經(jīng)網(wǎng)絡(luò)的SE模塊[23]，它能自適應(yīng)關(guān)注更重要的特征。SE塊由擠壓和激勵(lì)組成，擠壓解決了通道依賴的問題，通過使用全局平均池化，將整個(gè)通道壓縮起來形成壓縮向量mq，即

(1)

式(1)中：Fsq為壓縮操作；Uq為輸入的特征圖；L為特征映射的大小。

激勵(lì)(excitation)操作是對(duì)壓縮后的數(shù)據(jù)經(jīng)過兩個(gè)全連接實(shí)現(xiàn)的，第一個(gè)全連接是降低特征維度，其后使用RELU激活函數(shù)。第二個(gè)全連接操作是恢復(fù)到原來的維度，再通過一個(gè)Sigmoid函數(shù)，獲得歸一化的權(quán)重系數(shù)。兩個(gè)連接層相比用一個(gè)連接層的優(yōu)勢(shì)是具有更多的非線性，從而更好地?cái)M合通道間復(fù)雜的相關(guān)性。權(quán)重Sq定義為

Sq=Fex(mq,W)

(2)

式(2)中：Fex為激勵(lì)操作；W為比值參數(shù)調(diào)節(jié)激勵(lì)操作。

最后是重新分配權(quán)重，激勵(lì)輸出的權(quán)重是經(jīng)過特征選擇后每個(gè)特征通道的重要性，通過乘法逐通道加權(quán)到輸入的特征圖上，在通道維度上對(duì)原始特征分配權(quán)重：

fq=Fscale(Uq,Sq)=UqSq

(3)

式(3)中：fq為SE塊的輸出；Fscale為賦權(quán)重的操作。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)采集

運(yùn)動(dòng)想象與大腦運(yùn)動(dòng)皮層有關(guān)，言語想象與語言皮層有關(guān)，處理他們的大腦皮層分布較廣，為了更全面地記錄EEG信號(hào)，選擇了能夠覆蓋大腦皮層的布羅卡氏區(qū)、韋尼克區(qū)、頂葉以及初級(jí)運(yùn)動(dòng)皮層的16個(gè)電極。在使用導(dǎo)電膏后，受試者戴著這頂電極帽，坐在提示屏前。腦電帽的電極位置分布圖如圖3所示，這些電極遵照國際10/20導(dǎo)聯(lián)系統(tǒng)設(shè)置。采集EEG信號(hào)的設(shè)備為博?？悼萍脊煞萦邢薰旧a(chǎn)的Neusen W2無線腦電采集系統(tǒng)。接地電極放置在前額以減少50 Hz工頻干擾。EEG信號(hào)的采樣頻率為250 Hz，數(shù)據(jù)采集過程中的電極與頭皮之間的阻抗控制在5 kΩ以內(nèi)。

F3/F4為左右額電極；Fz/Cz為中心電極；FC5/FC1/FC2/FC6/為 額和中央之間的電極；CP5/CP1/CP2/CP6為中央和頂之間的電 極；C3/C4為左右中央電極；P3/P4為左右頂電極圖3 電極位置分布圖Fig.3 Channel positions of the EEG setup

3.2 數(shù)據(jù)描述

采集腦電信號(hào)過程包含若干時(shí)間節(jié)點(diǎn)，實(shí)驗(yàn)用到的數(shù)據(jù)節(jié)點(diǎn)是從提示開始至想象期結(jié)束，這兩個(gè)節(jié)點(diǎn)間記錄的腦電信號(hào)。實(shí)驗(yàn)數(shù)據(jù)由4種不同的想象方式的腦電信號(hào)組成，數(shù)據(jù)集標(biāo)簽對(duì)應(yīng)提示依次設(shè)為1、2、3、4。定義數(shù)據(jù)集名稱為4類想象時(shí)序編碼，形狀為(N，C，T)，其中N表示腦電信號(hào)的樣本數(shù)量280；C表示通道數(shù)16；T表示腦電信號(hào)的采樣點(diǎn)數(shù)1 000。

3.3 數(shù)據(jù)分析

EEG信號(hào)的有用特征主要分布在8～30 Hz范圍內(nèi)，因此對(duì)采集的數(shù)據(jù)首先進(jìn)行預(yù)處理，利用一個(gè)6階的巴特沃斯帶通濾波器在這個(gè)范圍內(nèi)對(duì)信號(hào)進(jìn)行濾波，接著通過50 Hz陷波器去除工頻干擾。當(dāng)大腦的思維活動(dòng)發(fā)生變化時(shí)，EEG信號(hào)的能量也會(huì)隨之改變。ERD/ERS可以表征EEG能量的相對(duì)增加或減少。以事件發(fā)生前的EEG信號(hào)為參考，ERD表示事件發(fā)生后信號(hào)的能量相對(duì)下降，ERS表示信號(hào)的能量相對(duì)上升[24]。為了分析4類時(shí)序編碼想象的差異，EEG信號(hào)首先經(jīng)4～45 Hz帶通濾波，然后利用EEGLAB繪制出事件相關(guān)譜擾動(dòng)(event-related spectral perturbation, ERSP)圖[25]，ERSP圖是每次同類實(shí)驗(yàn)數(shù)據(jù)能量譜的疊加。受試者S9分別進(jìn)行4類想象時(shí)C3電極的ERSP圖如圖4所示，其中時(shí)間軸上0 s的位置是提示出現(xiàn)的時(shí)刻，1 s后開始進(jìn)行想象任務(wù)。根據(jù)時(shí)頻分析結(jié)果圖，可以看出4類想象信號(hào)的電極C3在時(shí)序上能量變化差異顯著，在進(jìn)行語言想象時(shí)，信號(hào)能量明顯升高，運(yùn)動(dòng)想象時(shí)信號(hào)能量明顯降低，先言語想象時(shí)能量變化是先升高再降低，先運(yùn)動(dòng)想象再言語想象能量變化是先降低再升高，因此可以觀察到時(shí)頻圖中存明顯的ERD/ERS現(xiàn)象，為后續(xù)數(shù)據(jù)的分類提供了依據(jù)。

圖4 4類想象的ERSP圖Fig.4 ERSP diagrams of four types of imagination

3.4 實(shí)驗(yàn)結(jié)果

為了評(píng)估模型的效果，使用了五倍交叉驗(yàn)證，ELU激活函數(shù)，RMSProp(root mean square propagation)優(yōu)化設(shè)置，模型學(xué)習(xí)率為0.000 1，Dropout概率為0.5，訓(xùn)練過程中使用早期停止策略，采用多分類交叉熵(categorical crossentropy)指標(biāo)作為損失函數(shù)。將本文模型與以下開源的端到端模型進(jìn)行比較。

Shallow ConvNet[26]：淺層卷積網(wǎng)絡(luò)模型端到端的提取信號(hào)的時(shí)域和空域特征，類似于傳統(tǒng)算法中的帶通步驟和空間濾波操作，沒有手動(dòng)選擇特征的情況下解碼原始腦電信號(hào)中的相關(guān)信息，該模型是深度學(xué)習(xí)在腦電信號(hào)領(lǐng)域的首次探索。

EEGNet[19]：深度學(xué)習(xí)模型利用具有深度卷積和可分離卷積的單尺度神經(jīng)網(wǎng)絡(luò)，構(gòu)建了一種統(tǒng)一的架構(gòu)來分類不同的BCI實(shí)驗(yàn)范式，是一種緊湊型的卷積神經(jīng)網(wǎng)絡(luò)，在小數(shù)據(jù)集訓(xùn)練上有較好的性能。

MMCNN[27]：多分支多尺度卷積神經(jīng)網(wǎng)絡(luò)模型有效地解碼原始腦電圖信號(hào)，沒有任何預(yù)處理，包括濾波。同時(shí)，多分支多尺度卷積結(jié)構(gòu)成功地解決了基于并行處理的主題差和時(shí)間差問題。此外，多尺度卷積可以實(shí)現(xiàn)不同頻帶內(nèi)信息的表征，從而有效地解決了最佳卷積尺度難以確定的問題。

TSGL-EEGNet[28]:利用臨時(shí)約束稀疏組算法，提高了EEGNet算法的性能，該方法主要是將傳統(tǒng)的機(jī)器學(xué)習(xí)算法與深度學(xué)習(xí)模型進(jìn)行比較，可視化神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的頻率和空間特征，用傳統(tǒng)算法來解釋神經(jīng)網(wǎng)絡(luò)的可靠性。

表1顯示了本文方法和其余幾種基線模型在4類想象時(shí)序編碼實(shí)驗(yàn)數(shù)據(jù)集上的解碼效果，加粗的數(shù)字表示被試在該模型上取得最優(yōu)的結(jié)果。

從表1的結(jié)果可以看出，本文方法在好幾個(gè)被試中都達(dá)到最佳的分類精度，4類時(shí)序編碼實(shí)驗(yàn)數(shù)據(jù)應(yīng)用本文提出的AMEEGNet平均準(zhǔn)確率達(dá)到71.1%，高于其他幾種模型的平均分類結(jié)果。與EEGNet相比，AMEEGNet算法明顯提高了分類精度，t檢驗(yàn)的p=1.580 5×10-4,遠(yuǎn)小于0.05，具有顯著性差異。由于EEGNet采用單一尺度的卷積核，未能充分提取腦電信號(hào)隱含的特征信息，一定程度上說明注意力與多尺度卷積機(jī)制的網(wǎng)絡(luò)在4類時(shí)序信號(hào)識(shí)別中有良好的性能。對(duì)于MMCNN，t檢驗(yàn)的p=5.401 8×10-4，AMEEGNet兼顧減輕網(wǎng)絡(luò)復(fù)雜度的因素，進(jìn)而獲得良好的識(shí)別率。與Shallow ConvNett檢驗(yàn)的p=0.052 1，沒有突出顯著性差異，但在大多被試上AMEEGNet的性能還是優(yōu)于Shallow ConvNet、Shallow ConvNet也是采用單一卷積核尺度，網(wǎng)絡(luò)層數(shù)少，存在一定程度上信息損失。與TSGL-EEGNett檢驗(yàn)的p=0.022，TSGL-EEGNet模型是用傳統(tǒng)算法在深度學(xué)習(xí)模型上進(jìn)行優(yōu)化，是用傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行優(yōu)化，通過可視化操作解釋模型學(xué)習(xí)到腦電信號(hào)的特征。在同一數(shù)據(jù)集的情況下，說明本實(shí)驗(yàn)范式采集的數(shù)據(jù)具有良好的可分性和可解釋性。

3.5 消融驗(yàn)證

為了驗(yàn)證空洞卷積和并行網(wǎng)絡(luò)支數(shù)增加對(duì)分類精度的影響，在本實(shí)驗(yàn)范式采集的數(shù)據(jù)集上進(jìn)行驗(yàn)證。從最開始僅使用空洞卷積一個(gè)分支開始，逐步遞增普通二維卷積分支的個(gè)數(shù)，直到與本文提出的網(wǎng)絡(luò)結(jié)構(gòu)中分支數(shù)一致，得到的結(jié)果圖如圖5所示。從圖5中可以看出，分類準(zhǔn)確度隨著分支數(shù)的增加而提高，當(dāng)分支數(shù)與模型結(jié)構(gòu)一致時(shí)達(dá)到最高分類結(jié)果。這說明隨著卷積分支個(gè)數(shù)的增加，網(wǎng)絡(luò)的感受野不斷擴(kuò)大，從而提取到更多的特征。

為了探討AMEEGNet網(wǎng)絡(luò)結(jié)構(gòu)中擠壓激勵(lì)模塊的影響，設(shè)置兩組實(shí)驗(yàn)進(jìn)行對(duì)比，一組是刪除擠壓激勵(lì)模塊，另一組是保留擠壓激勵(lì)模塊，將這兩組變體應(yīng)用在本文的自采集數(shù)據(jù)12位被試上，如圖6所示，移除擠壓激勵(lì)模塊后除了被試2和被試6之外，每個(gè)受試者分類準(zhǔn)確度呈現(xiàn)不同程度的降低，因此，說明了擠壓激勵(lì)模塊在本文模型中是有效的應(yīng)用，基于此模塊可以自動(dòng)學(xué)習(xí)不同特征的重要程度，進(jìn)而提升分類效果。

圖5 不同分支組合的性能Fig.5 Performance of different branch combinations

表1 本文模型與基準(zhǔn)模型在四分類數(shù)據(jù)集上的結(jié)果對(duì)比

圖6 擠壓激勵(lì)塊移除前后實(shí)驗(yàn)結(jié)果對(duì)比圖Fig.6 Comparison of experimental results before and after removing extruded excitation block

12位受試者的平均分類準(zhǔn)確率為71.1%，其中有6位受試者的分類結(jié)果超過了70%。分類準(zhǔn)確率最高的受試者是S11，他的結(jié)果為88.6%。對(duì)于四分類25%的隨機(jī)概率，本實(shí)驗(yàn)范式的分類準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于該數(shù)值。分類結(jié)果表明基于運(yùn)動(dòng)想象和言語想象的時(shí)序編碼實(shí)驗(yàn)范式可有效增加主動(dòng)式BCI指令集的數(shù)量，進(jìn)而提高了BCI的實(shí)用性。

4 結(jié)論

BCI的效果通常體現(xiàn)在腦電信號(hào)的分類精度上，針對(duì)腦電信號(hào)分類準(zhǔn)確率隨著識(shí)別數(shù)目增多而顯著降低，提出了運(yùn)動(dòng)想象和言語想象的實(shí)驗(yàn)范式設(shè)計(jì)。在4類想象的時(shí)序編碼實(shí)驗(yàn)數(shù)據(jù)集上統(tǒng)計(jì)結(jié)果表明，本文設(shè)計(jì)的模型達(dá)到了最高的平均分類精度。與EEGNet基準(zhǔn)模型相比，在AMEEGNet模型設(shè)計(jì)上添加了新的部分，用空洞卷積和不同尺度的二維卷積組合來提取腦電信號(hào)時(shí)域上更多的特征；深度卷積和可分離卷積的應(yīng)用，以最大限度挖掘原始信號(hào)的頻域、空域特征，按照特定方式進(jìn)行加權(quán)融合來提高分類效果。同時(shí)驗(yàn)證注意力模塊、多尺度設(shè)計(jì)對(duì)腦電信號(hào)分類性能提升的效果，經(jīng)對(duì)實(shí)驗(yàn)數(shù)值結(jié)果分析，得到以下結(jié)論。

(1)實(shí)驗(yàn)結(jié)果表明面向運(yùn)動(dòng)和言語想象的實(shí)驗(yàn)范式是有效的，采集的280組4類EEG信號(hào)具有可分性，豐富了主動(dòng)式BCI的指令集數(shù)量。

(2)AMEEGNet網(wǎng)絡(luò)框架應(yīng)用在采集的四分類數(shù)據(jù)上，12名被試的平均分類準(zhǔn)確率為71.1%，比EEGNet、MMCNN、Shallow ConvNet、TSGL-EEGNet分別高出13.2%、10.6%、2.8%、2.7%。

后續(xù)將計(jì)劃引入其他方式的想象任務(wù)，以組成更豐富的控制指令，探索腦電信號(hào)的多任務(wù)分析。此外，考慮將該實(shí)驗(yàn)范式用于同步BCI在線控制系統(tǒng)，以檢測(cè)其實(shí)時(shí)控制的能力，為進(jìn)一步探究腦機(jī)接口的深入發(fā)展提供研究?jī)r(jià)值和意義。