基于卷積注意力機(jī)制的運(yùn)動想象腦電信號識別

杜秀麗，馬振倩，邱少明，呂亞娜

1.大連大學(xué) 通信與網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連116622

2.大連大學(xué) 信息工程學(xué)院，遼寧 大連116622

運(yùn)動想象腦電信號（Motor Imagination-EEG，MIEEG）的識別可以幫助人們直接通過思維來控制基于腦機(jī)接口的機(jī)器人從事各種工作，是實(shí)現(xiàn)人與外界通訊的一種新途徑，對腦認(rèn)知、腦治療和腦應(yīng)用的研究具有重要意義。運(yùn)動想象腦機(jī)接口系統(tǒng)不僅在殘疾人康復(fù)、老年人護(hù)理等醫(yī)療領(lǐng)域具有顯著的優(yōu)勢，而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應(yīng)用前景。

目前，基于深度學(xué)習(xí)的網(wǎng)絡(luò)框架被廣泛應(yīng)用于特征提取，在圖像、視頻、語音、文本等方面已經(jīng)取得了良好的效果，且性能優(yōu)于傳統(tǒng)的算法[1-2]。由于這些領(lǐng)域的成功應(yīng)用，研究者開始將深度學(xué)習(xí)技術(shù)應(yīng)用于腦電圖分析。Xu等人[3]利用一個(gè)兩層卷積神經(jīng)網(wǎng)絡(luò)對經(jīng)過小波時(shí)頻變換后的三通道腦電信號進(jìn)行識別以提高分類性能。Cai等人[4]利用門控遞歸單元（Gated Recurrent Unit，GRU）進(jìn)一步提取經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）預(yù)處理后的運(yùn)動想象腦電信號中隱藏的一些序列信息，提高了MI-EEG的識別精度。葛榮祥等人[5]提出用深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）對不同波段傅里葉變換后的腦電信號進(jìn)行分類識別的方法，有效地提高了多類別MI-EEG的識別準(zhǔn)確率。胡章芳等人[6]考慮到MI-EEG中蘊(yùn)含豐富的時(shí)頻信息，提出一種基于時(shí)頻域的卷積神經(jīng)網(wǎng)絡(luò)識別方法，通過一種新穎的一維卷積CNN結(jié)構(gòu)對短時(shí)傅里葉變換后的二維時(shí)頻圖進(jìn)行特征提取，有效地提高了識別的準(zhǔn)確率。因此，深度學(xué)習(xí)已成為MI應(yīng)用中一種有效的算法。這些模型雖然為MI-EEG的識別提供了方法理論并取得了不錯(cuò)的效果，但是沒有考慮不同通道和空間腦電信號與識別任務(wù)之間的重要程度關(guān)系，只是簡單地將一些對該任務(wù)有用的原始腦電信號選取出來送入深度學(xué)習(xí)算法。然而，對于多通道腦電信號來說，信號的通道和空間對于不同的識別任務(wù)重要程度顯然不同。

卷積注意力模塊（Convolutional Block Attention Module，CBAM）可以聚焦重要信息，提高卷積的表示能力[7]。最近，將注意力模塊融入網(wǎng)絡(luò)中以提高網(wǎng)絡(luò)的性能開始成為趨勢，并在自然語言處理和圖像處理方面取得了良好的效果[8-10]。但是目前還沒有將卷積注意力模塊融入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行腦電信號識別的研究。

因此，為充分挖掘腦電信號的特征，兼顧通道和空間對腦電信號識別程度不同的機(jī)制，提高多類別運(yùn)動想象腦電信號識別準(zhǔn)確率，本文提出融合卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)多類別MI-EEG識別模型。為避免噪聲對識別結(jié)果的影響，提出采用共空間模式構(gòu)建的空間濾波器提高腦電信號的信噪比，再利用小波變換進(jìn)行時(shí)頻轉(zhuǎn)換得到二維時(shí)頻圖，最后將二維時(shí)頻圖作為輸入特征送入融合卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)中。要驗(yàn)證多類別MI-EEG識別問題，本文分別利用BCI競賽IV-2a和BCI競賽III-IIIa數(shù)據(jù)集對該方法進(jìn)行了測試和評價(jià)，兩個(gè)數(shù)據(jù)集存在著受試者人數(shù)和實(shí)驗(yàn)經(jīng)驗(yàn)的區(qū)別。

1 卷積注意力模塊

將給定的中間特征圖作為輸入，通過網(wǎng)絡(luò)中融合的卷積注意力模塊聚焦重要信息弱化無用信息，依次推導(dǎo)出一維通道注意力圖和二維空間注意力圖，然后將生成的注意力圖映射相乘為自適應(yīng)特征細(xì)化的輸出特征映射。

1.1 通道注意力模塊

中間特征圖的每個(gè)通道都被視為特征檢測器，因此通道注意力模塊在獲取輸入圖像有意義的通道方面較為重要。為了有效利用中間特征圖通道之間的特殊關(guān)系，壓縮輸入特征圖的空間維度，聚集空間信息，同時(shí)使用平均池化和最大池化，更多地保留輸入特征圖的背景以及紋理信息，極大地提高卷積網(wǎng)絡(luò)的表征能力[7]。

通道注意力模塊操作過程如下：第一層卷積的輸出特征圖作為中間輸入特征分別通過平均池化和最大池化壓縮成一個(gè)實(shí)數(shù)，輸出的向量維度與中間特征圖通道數(shù)相匹配；通過共享網(wǎng)絡(luò)多層感知機(jī)（Multilayer Perception，MLP）的調(diào)整，輸出經(jīng)過調(diào)整后的向量；將各個(gè)向量元素相加，最后通過Sigmoid函數(shù)激活。通過式（1）的方法，與輸入中間特征圖逐通道加權(quán)求和，完成對第一層卷積輸出特征圖通道注意力的運(yùn)算。

1.2 空間注意力模塊

沿著特征圖的通道維度對生成的通道注意力圖分別應(yīng)用平均池化和最大池化操作，在空間位置上進(jìn)行2種池化方式的維度壓縮，輸出空間特征矩陣；將輸出的特征矩陣合并成一個(gè)特征圖，然后通過卷積層的作用生成二維空間注意力圖，更好地?cái)M合空間復(fù)雜相關(guān)性。經(jīng)過Sigmoid函數(shù)激活后，應(yīng)用式（2）加權(quán)求和，作用于特征圖上，生成空間注意力圖。

其中，σ表示sigmoid函數(shù)，f7×7表示卷積操作，卷積核大小為7×7。

2 基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)

優(yōu)秀的CNN結(jié)構(gòu)不僅能成功地應(yīng)用于計(jì)算機(jī)視覺和自然語言處理領(lǐng)域[11]，而且在生物醫(yī)學(xué)信號處理領(lǐng)域也存在著巨大的潛力。CNN能很好地自適應(yīng)提取腦電信號中隱藏的特征信息，但是它并沒有學(xué)習(xí)輸入特征向量通道與空間之間的重要程度關(guān)系。通過融合卷積注意力模塊[7]，網(wǎng)絡(luò)相對于背景可以更高效的聚焦腦電信號特征的提取。卷積注意力模塊作為基本模塊構(gòu)建網(wǎng)絡(luò)，應(yīng)用于網(wǎng)絡(luò)中，一定程度上可以改善卷積核滑動加權(quán)求和難以得到全局信息的問題，提高卷積的表示性能。

CNN從腦電信號中充分學(xué)習(xí)特征需要大量的數(shù)據(jù)，但MI-EEG的數(shù)據(jù)集對于經(jīng)典模型來說是小樣本，很可能出現(xiàn)網(wǎng)絡(luò)權(quán)值訓(xùn)練不充分的情況，導(dǎo)致過擬合的發(fā)生。為了使網(wǎng)絡(luò)權(quán)值得到充分地訓(xùn)練，需要適當(dāng)?shù)卣{(diào)整CNN的結(jié)構(gòu)，使CNN盡量滿足數(shù)據(jù)集的要求。

具體MI-EEG識別方案框圖如圖1所示。

圖1 MI-EEG識別方案框圖Fig.1 Block diagram of MI-EEG identification scheme

針對樣本量較小以及未兼顧重要程度關(guān)系的問題，本文將注意力模塊和網(wǎng)絡(luò)相結(jié)合，提出了一個(gè)簡單有效的卷積網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。第一層為網(wǎng)絡(luò)的輸入層，將預(yù)處理得到的輸入圖像統(tǒng)一調(diào)整為64×64的大小。第二層L1為卷積層，通過卷積運(yùn)算提取圖像中的空間和時(shí)間頻域低層次特征。第三層L2為卷積注意力模塊，將經(jīng)過卷積之后的圖像作為中間特征圖輸入，沿著通道維度對中間特征圖進(jìn)行調(diào)整并強(qiáng)化特征圖關(guān)鍵通道的信息，沿著空間維度對通道特征圖進(jìn)行調(diào)整并強(qiáng)化關(guān)鍵空間位置的信息，對通道注意力信息進(jìn)行補(bǔ)充。第四層L3為卷積層，繼續(xù)進(jìn)行卷積運(yùn)算提取高階層全局特征。第五層L4作為池化層，捕獲卷積運(yùn)算輸出的最重要的抽象特征，過濾掉冗余特征，減小數(shù)據(jù)維度。第六層F1，第七層F2為全連接層，通過將池化層輸出的特征進(jìn)行平面化，最終通過分類器得到識別結(jié)果。

圖2 基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of neural network structure based on convolutional attention module

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)描述

目前，MI-EEG的識別雖然已取得了較好的識別效果，但仍然存在識別種類少的問題，針對大多數(shù)文獻(xiàn)針對二分類MI-EEG進(jìn)行研究的問題，本文對四分類MIEEG進(jìn)行分析。

上述科技創(chuàng)新補(bǔ)貼供給側(cè)改革機(jī)制從源頭上試圖扭轉(zhuǎn)企業(yè)策略性創(chuàng)新行為，提高創(chuàng)新補(bǔ)貼的邊際效率，引導(dǎo)企業(yè)采用實(shí)質(zhì)性研發(fā)策略。基于此目的，本文試圖以微觀企業(yè)創(chuàng)新為切入點(diǎn)，根據(jù)本輪供給側(cè)改革的政策特征，考察科技創(chuàng)新補(bǔ)貼供給側(cè)改革下企業(yè)研發(fā)策略的實(shí)施效果及其作用機(jī)制。具體而言，本文進(jìn)行以下研究工作: 第一，考察創(chuàng)新驅(qū)動供給側(cè)改革期間，政府創(chuàng)新補(bǔ)貼的新特征及趨勢。第二，分析企業(yè)的創(chuàng)新研發(fā)項(xiàng)目類型以及R&D投入及科技產(chǎn)出等研發(fā)策略變動。 第三，進(jìn)一步考察上述問題在不同產(chǎn)權(quán)性質(zhì)的企業(yè)分組中，是否存在異質(zhì)性差異。

本實(shí)驗(yàn)對數(shù)據(jù)集一BCI競賽IV數(shù)據(jù)集2a[12]進(jìn)行分類研究，數(shù)據(jù)集由9名受試者的22個(gè)頭皮電極位置組成，包括4個(gè)類別的運(yùn)動想象任務(wù)，即左手、右手、雙腳和舌頭的想象。數(shù)據(jù)采集的實(shí)驗(yàn)范式如圖3所示。任務(wù)想象的時(shí)間為4 s；每個(gè)受試者在不同日期的兩個(gè)會話涉及9個(gè)主題，每個(gè)會話由6次運(yùn)行組成，一次運(yùn)行包含48次實(shí)驗(yàn)，共包括288次實(shí)驗(yàn)。信號采樣頻率為250 Hz，并進(jìn)行了頻率為0.5~100 Hz的帶通濾波和50 Hz的陷波濾波消除工頻干擾。

圖3 實(shí)驗(yàn)范式時(shí)序圖Fig.3 Sequence diagram of experimental paradigm

此外，本實(shí)驗(yàn)采用2005年BCI競賽數(shù)據(jù)集IIIa對該算法進(jìn)行了評價(jià)。該數(shù)據(jù)集由三個(gè)對運(yùn)動圖像有不同體驗(yàn)的受試者（k3b、l1b、k6b）組成，k3b每種運(yùn)動想象進(jìn)行90次實(shí)驗(yàn)，共進(jìn)行360次實(shí)驗(yàn)，l1b和k6b每種運(yùn)動想象進(jìn)行60次實(shí)驗(yàn)

，共進(jìn)行240次實(shí)驗(yàn)。神經(jīng)掃描腦電圖放大器中60通道可用。腦電圖采樣頻率為250 Hz，所有腦電圖信號均采用1~50 Hz帶通濾波器進(jìn)行預(yù)處理。

運(yùn)動想象的時(shí)間是4 s。一次實(shí)驗(yàn)全過程時(shí)序圖如圖4所示。

圖4 一次實(shí)驗(yàn)周期范例Fig.4 Example of experiment cycle

3.2 預(yù)處理

不同的運(yùn)動想象任務(wù)在特征頻帶和腦區(qū)是不同的，由于腦電圖的事件相關(guān)同步和事件相關(guān)不同步模式主要反映在8~30 Hz頻段。因此本文在對原始腦電信號進(jìn)行分段處理后，采用8~30 Hz頻段的帶通濾波器對MI-EEG進(jìn)行濾波處理。

腦電信號本身的信噪比較低，對最終識別的準(zhǔn)確性影響較大。本文使用一對多共空間模式構(gòu)建空間濾波器來最大限度地提高信噪比。一對多共空間模式是多分類問題的一種常用方法[13]，其將一個(gè)類設(shè)置為一個(gè)正類，其余的類都作為一個(gè)反類處理，從而形成一個(gè)兩分類的共空間模式。

根據(jù)式（3）和式（4）進(jìn)行空間濾波投影。

其中，Bi代表第i類模式下的空間濾波；UT1,2m代表某類模式下的特征向量；Pi代表這一類模式下的白化矩陣；X∈RN×M表示每個(gè)MI-EEG任務(wù)樣本的N×M維矩陣，其中N表示電極數(shù)，M表示每個(gè)電極的采樣點(diǎn)數(shù)；Zj∈R2m×M代表j類模式下的濾波后信號，2m表示濾波后的通道數(shù)。

腦電信號中隱藏著豐富的時(shí)頻信息，小波時(shí)頻轉(zhuǎn)換能夠顯示信號的時(shí)間以及頻域信息。通過將MI-EEG轉(zhuǎn)換成二維時(shí)頻圖，并將其作為神經(jīng)網(wǎng)絡(luò)的輸入，能夠增強(qiáng)網(wǎng)絡(luò)的特征提取能力，深度挖掘運(yùn)動想象腦電信號中隱藏的動態(tài)信息。

3.3 仿真驗(yàn)證及結(jié)果分析

為了提高本文網(wǎng)絡(luò)模型的泛化能力，采用k折交叉驗(yàn)證（k-fold cross-validation）的方法來驗(yàn)證模型的有效性，k設(shè)為9。采用小批量隨機(jī)梯度下降來通過反向傳播算法優(yōu)化最小化實(shí)際標(biāo)簽和預(yù)測標(biāo)簽之間的交叉熵。

對基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)來說，不同的參數(shù)決定了不同的網(wǎng)絡(luò)結(jié)構(gòu)，這些參數(shù)的設(shè)置將直接影響最終的識別準(zhǔn)確率。本文通過改變參數(shù)的大小，驗(yàn)證不同大小和個(gè)數(shù)的卷積核對網(wǎng)絡(luò)識別效果的影響，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)的識別準(zhǔn)確率Table 1 Recognition accuracy of different network structures %

其中n1,n2分別代表不同卷積層中卷積核的大小，i1,i2分別代表不同卷積模塊中卷積核的個(gè)數(shù)。

通過表1中實(shí)驗(yàn)結(jié)果可知，當(dāng)i1、i2分別為8、32、n1、n2分別為4時(shí)，模型的識別準(zhǔn)確率最高。因?yàn)楸疚奶峁┑哪X電信號數(shù)據(jù)的維度較小，大卷積核容易覆蓋整個(gè)二維圖像，使得卷積提取局部特征的分辨率降低，從而影響識別效果。而小卷積核覆蓋的局部區(qū)域較小，使卷積只能提取到很小的局部特征，提高了識別效果。

為了進(jìn)一步比較本文提出的基于卷積注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，將本文模型和未加入卷積注意力模塊的CNN網(wǎng)絡(luò)用于數(shù)據(jù)集的訓(xùn)練，同時(shí)對比不同壓縮率r下的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同壓縮率r下網(wǎng)絡(luò)結(jié)構(gòu)識別準(zhǔn)確率Table 2 Network structure recognition accuracy rate under different compression ratio r

本文對基于卷積注意力模塊網(wǎng)絡(luò)模型中不同的壓縮率參數(shù)r的值進(jìn)行實(shí)驗(yàn)，通過表2中實(shí)驗(yàn)結(jié)果可以看出，對于本文的腦電信號識別任務(wù)，r設(shè)置為4時(shí)效果最好，準(zhǔn)確率達(dá)到81.599%，因?yàn)閞為4時(shí)，卷積注意力模塊擁有的非線性能夠更好地?cái)M合通道間復(fù)雜的相關(guān)性，減少參數(shù)量的同時(shí)使網(wǎng)絡(luò)整體的特征表達(dá)能力增強(qiáng)。r設(shè)置為8時(shí)準(zhǔn)確率次之，達(dá)到79.830%；r為16時(shí)對信號的卷積特征提取起到了反作用，使任務(wù)識別的準(zhǔn)確率不如未加入卷積塊注意力模塊的CNN網(wǎng)絡(luò)好。

將本文提出的基于卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)識別方法與其他多類別MI-EEG識別方法進(jìn)行了對比。受試者的平均識別準(zhǔn)確率由表3給出。其中文獻(xiàn)[14]采用多級加權(quán)融合框架將所有卷積層的特征使用完全連接層融合，從而在每個(gè)卷積級保留特征，達(dá)到的準(zhǔn)確率為74.5%；文獻(xiàn)[15]中將FBCSP方法和CNN用作新策略。FBCSP算法用于數(shù)據(jù)準(zhǔn)備并創(chuàng)建包絡(luò)表示輸入EEG信號以保持信號的時(shí)間和空間屬性，該準(zhǔn)確率達(dá)到73.4%。本文方法得到的全部受試者的平均識別準(zhǔn)確率為81.6%，相比于其他算法結(jié)果有較大提高。從結(jié)果的準(zhǔn)確率來看，本文在一定程度上說明基于卷積注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)在多類別腦電信號識別中具有良好的性能。

表3 本文方法與其他方法的識別準(zhǔn)確率比較Table 3 Comparison of recognition accuracy between proposed method and other methods

為了進(jìn)一步驗(yàn)證本文方法的魯棒性，在BCI-III-IIIa數(shù)據(jù)集上進(jìn)行了不同方法的識別準(zhǔn)確率對比，實(shí)驗(yàn)結(jié)果如表4。

表4 不同方法在BCI-III-IIIa上的識別準(zhǔn)確率比較Table 4 Comparison of recognition accuracy of different methods on BCI-III-IIIa

由表4可得，與BCI競賽以及近年來的文獻(xiàn)[16]中采用CBLSTM方法提取頻域和時(shí)域特征，文獻(xiàn)[17]中選擇各信道的最優(yōu)頻帶提取特征的方法相比，本文方法的準(zhǔn)確率有了提高，說明本文方法能夠有效地解決多類別運(yùn)動想象腦電信號的識別問題。

綜合表3，表4可以看出，在同一數(shù)據(jù)集的情況下本文所提出的基于卷積注意力機(jī)制的腦電信號識別方法在多類別腦電信號任務(wù)下能夠獲得較好的識別準(zhǔn)確率，魯棒性較好。說明本文能夠兼顧通道和空間的重要程度關(guān)系，較好地提取運(yùn)動想象腦電信號的特征，進(jìn)而獲得良好的識別準(zhǔn)確率。

4 結(jié)論

運(yùn)動想象腦電信號特性復(fù)雜，在多分類識別任務(wù)中準(zhǔn)確率不高。本文通過一對多共空間模式對多類別腦電信號進(jìn)行預(yù)處理，減少空間模糊的影響，得到各類別的空間濾波信號后，使用小波變換進(jìn)行時(shí)頻轉(zhuǎn)換生成二維圖像。利用深度學(xué)習(xí)網(wǎng)絡(luò)可以自適應(yīng)提取腦電信號中隱藏的特征信息的能力，加入注意力模塊來強(qiáng)化重要信息，抑制相對不重要信息，兼顧網(wǎng)絡(luò)通道和空間的重要程度關(guān)系，有效提高網(wǎng)絡(luò)特征提取的能力。實(shí)驗(yàn)表明，本文融合卷積注意力模塊的神經(jīng)網(wǎng)絡(luò)通過卷積運(yùn)算對輸入二維特征圖片進(jìn)行抽象特征提取并執(zhí)行分類模式的識別分析可有效提高M(jìn)I-EEG的識別準(zhǔn)確率，通過與其他方法相比，說明本文方法在MI-EEG識別方面具有有效性。