基于高效通道注意力模塊的運(yùn)動(dòng)想象腦電識(shí)別

周成誠(chéng)，曾慶軍，楊 康，胡家銘，韓春偉

（1.江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，江蘇 鎮(zhèn)江 212003；2.江蘇科技大學(xué)自動(dòng)化學(xué)院，江蘇 鎮(zhèn)江 212003；3.北京郵電大學(xué)集成電路學(xué)院，北京 100876）

0 引 言

大腦是人體的中樞神經(jīng)系統(tǒng)和活動(dòng)控制中心，人們依靠大腦活動(dòng)來(lái)控制身體對(duì)外界刺激做出相應(yīng)的反應(yīng)。腦-機(jī)接口（Brain-Computer Interface，BCI）為大腦與外部設(shè)備之間的通信建立了一個(gè)新的通信渠道，它通過(guò)對(duì)腦電信號(hào)的采集和分析來(lái)解碼用戶的運(yùn)動(dòng)意圖，從而完成大腦與外部控制設(shè)備進(jìn)行交互［1-3］。目前，BCI的研究熱點(diǎn)之一是運(yùn)動(dòng)想象腦電信號(hào)（Motor Imagination-Electroencephalogram，MI-EEG），它可以完成操縱雙臂機(jī)器人、控制無(wú)人機(jī)，也被廣泛應(yīng)用于康復(fù)訓(xùn)練領(lǐng)域，其根本原因在于通過(guò)“解碼”MI-EEG來(lái)感知因中風(fēng)導(dǎo)致手部癱瘓的患者的手部運(yùn)動(dòng)意圖［4-6］。因此，許多解碼腦電信號(hào)的機(jī)器學(xué)習(xí)方法被研究者提出來(lái)，包括自回歸模型［7］、共空間模式［8］（Common Spatial Patterns，CSP）、濾波器組共空間模式［9］（Filter Bank Common Spatial Patterns，F(xiàn)BCSP）的特征提取方法以及線性判別分析［10］（Linear Discriminant Analysis，LDA）、支持向量機(jī)［11］（Support Vector Machines，SVM）、貝葉斯線性回歸［12］的分類(lèi)方法。

大量研究表明，雖然傳統(tǒng)的特征提取和分類(lèi)方法相對(duì)成熟，但是面對(duì)復(fù)雜的腦電圖信號(hào)識(shí)別分類(lèi)問(wèn)題仍存在一些缺陷。近年來(lái)，深度學(xué)習(xí)的發(fā)展為語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域提供了一種重要的技術(shù)，并表現(xiàn)出相當(dāng)出色的性能［13-15］。因此，許多研究者也開(kāi)始研究基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的腦電圖信號(hào)分類(lèi)識(shí)別，并獲得了相當(dāng)不錯(cuò)的分類(lèi)效果。文獻(xiàn)［16］為突出各個(gè)通道之間以及每個(gè)通道內(nèi)的特征，提出了一種結(jié)合條件經(jīng)驗(yàn)?zāi)Ｊ椒纸夂痛⑿芯矸e神經(jīng)網(wǎng)絡(luò)的腦電信號(hào)識(shí)別方法，在自行采集和公共數(shù)據(jù)集上的平均識(shí)別率分別達(dá)到94.58%和82.13%；文獻(xiàn)［17］提出將多個(gè)CNN 基學(xué)習(xí)器線性組合，并用AdaBoost 算法自動(dòng)更新基學(xué)習(xí)器的增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)左右手運(yùn)動(dòng)想象進(jìn)行分類(lèi)，相較于競(jìng)賽優(yōu)勝者和傳統(tǒng)SVM 方法，其Kappa 值均有所提高；文獻(xiàn)［18］提出了一種卷積神經(jīng)網(wǎng)絡(luò)-極限學(xué)習(xí)機(jī)分類(lèi)識(shí)別模型，使用ELM 取代CNN 的最后一層，相比傳統(tǒng)的學(xué)習(xí)算法更快，并且通過(guò)ACGAN 對(duì)S 變換生成的時(shí)頻圖進(jìn)行數(shù)據(jù)增強(qiáng)來(lái)提高模型的分類(lèi)性能。然而，這些模型雖然為MIEEG 的識(shí)別提供了方法理論并取得了優(yōu)于傳統(tǒng)分類(lèi)方法的性能優(yōu)勢(shì)，但是忽視了不同通道的腦電信號(hào)與識(shí)別任務(wù)的相關(guān)性，導(dǎo)致準(zhǔn)確率不是特別高。

考慮到不同通道的腦電信號(hào)與識(shí)別任務(wù)的相關(guān)性，本文將高效通道注意力（Efficient Channel Attention，ECA）模塊［19］引入CNN 分類(lèi)模型中，并將此模型應(yīng)用到BCI數(shù)據(jù)集上。實(shí)驗(yàn)結(jié)果表明，ECA 模塊能夠提高模型的性能，所提方法比近幾年其他研究者使用CNN結(jié)構(gòu)的分類(lèi)方法具有更高的準(zhǔn)確率。

1 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

本文所采用的腦電數(shù)據(jù)集來(lái)源于公共數(shù)據(jù)集BCI Competition ⅡDataset Ⅲ［20］，此記錄來(lái)源于一名正常受試者（女性，25 歲）。實(shí)驗(yàn)使用G.tec 放大器和Ag/AgCl 電極測(cè)量了C3、Cz 和C4 這3 個(gè)雙極EEG通道，導(dǎo)聯(lián)位置如圖1所示，EEG采樣頻率為128 Hz，濾波頻率為0.5～30 Hz。

圖1 導(dǎo)聯(lián)位置圖

在采集EEG信號(hào)的實(shí)驗(yàn)中，每隔0.5～2 s進(jìn)行一次試驗(yàn)，每次試驗(yàn)時(shí)間為9 s，共280 次。實(shí)驗(yàn)開(kāi)始前，受試者被要求端坐在椅子上，正對(duì)前方電腦屏幕。實(shí)驗(yàn)開(kāi)始后，前2 s 受試者保持安靜放松的狀態(tài)，在t=2 s 時(shí)，一個(gè)聲刺激指示試驗(yàn)開(kāi)始，提醒受試者需要集中注意力準(zhǔn)備實(shí)驗(yàn)，并在1 s 內(nèi)顯示一個(gè)“+”字，第3～9 s，屏幕會(huì)隨機(jī)顯示指向左（或指向右）的箭頭，同時(shí)要求受試者按照箭頭指示進(jìn)行左手（右手）的運(yùn)動(dòng)想象任務(wù)。實(shí)驗(yàn)范式如圖2所示。

圖2 數(shù)據(jù)采集實(shí)驗(yàn)范式

EEG 是一種復(fù)雜的生物信號(hào)，其ERD/ERS 模式主要反映在8~30 Hz 頻段。EEG 信號(hào)的預(yù)處理主要是濾除與運(yùn)動(dòng)想象任務(wù)無(wú)關(guān)的頻率成分，如肌電信號(hào)大部分分布在大于30 Hz的頻率范圍；眼動(dòng)信號(hào)集中在5 Hz 以下的頻率范圍。因此，本文采用8~30 Hz頻段的帶通濾波器對(duì)BCI競(jìng)賽數(shù)據(jù)集進(jìn)行濾波處理。

由于CNN 適用于圖像的處理，而腦電信號(hào)是一種時(shí)序信號(hào)。為此，本文利用小波變換［21-23］將經(jīng)過(guò)濾波后的原始信號(hào)從一維信號(hào)轉(zhuǎn)換為二維信號(hào)，它對(duì)原始信號(hào)x（t）進(jìn)行如下線性運(yùn)算：

其中：ψs,τ(t)是由母小波函數(shù)ψ(t)經(jīng)位移和伸縮產(chǎn)生的一簇函數(shù)，w(s，τ)稱(chēng)為小波基函數(shù)；ψ*(t)是ψ(t)的復(fù)共軛；s和τ都是連續(xù)變化的參數(shù)，分別表示縮放和平移參數(shù)。在本文中采用Morlet 小波函數(shù)，隨著τ的變化，對(duì)小波函數(shù)在頻率為s與原始信號(hào)x（t）相乘并積分得到一個(gè)變換值，將一維的時(shí)域信號(hào)轉(zhuǎn)為二維的時(shí)頻信號(hào)。

2 高效通道注意力模塊

注意力是人腦的基本功能，可以通過(guò)對(duì)特定物體的關(guān)注放大特定的神經(jīng)元活動(dòng)和抑制其他神經(jīng)元的活動(dòng)（大腦的“噪音”）來(lái)改變感知，即在整個(gè)場(chǎng)景中重點(diǎn)關(guān)注某些重要部分，同時(shí)忽略某些不重要的部分。與此類(lèi)似的是，注意力機(jī)制也是一種在計(jì)算機(jī)視覺(jué)中通過(guò)自主學(xué)習(xí)使神經(jīng)網(wǎng)絡(luò)不僅能夠關(guān)注到相關(guān)的重要特征，而且同時(shí)忽略不重要特征的有效機(jī)制。目前，注意力機(jī)制有硬注意力機(jī)制和軟注意力機(jī)制，其中軟注意力又包括：空間注意力機(jī)制、通道注意力機(jī)制以及混合注意力機(jī)制，即在空間維度和通道維度增加注意力機(jī)制［24-25］。由于本文使用的腦電數(shù)據(jù)存在許多環(huán)境干擾因素，在模型識(shí)別過(guò)程中會(huì)有相當(dāng)大的噪聲。隨著網(wǎng)絡(luò)層數(shù)的增加，在模型學(xué)習(xí)過(guò)程中，特征圖中噪聲信息的權(quán)重也會(huì)增加，最終會(huì)對(duì)模型產(chǎn)生一定的負(fù)面影響，所以本文重點(diǎn)關(guān)注通道注意力機(jī)制。通道注意力機(jī)制削弱了含有噪聲的通道并減輕了它們的權(quán)重，從而減少噪聲和其他干擾因素對(duì)模型識(shí)別任務(wù)的負(fù)面影響。

ECA是通道注意力機(jī)制的一種實(shí)現(xiàn)形式，使用一維卷積組合相鄰?fù)ǖ赖玫郊訖?quán)特征，補(bǔ)償特征降維引起的缺陷，實(shí)現(xiàn)局部跨通道交互，更好地識(shí)別腦電信號(hào)相關(guān)區(qū)域的特征。此外，ECA 參數(shù)量和復(fù)雜度較低，不會(huì)過(guò)多地增加網(wǎng)絡(luò)模型的存儲(chǔ)和計(jì)算開(kāi)銷(xiāo)。ECA模塊的結(jié)構(gòu)如圖3所示。

圖3 ECA模塊的結(jié)構(gòu)

圖3 中，W表示特征圖的寬度，H表示特征圖的高度，C表示通道數(shù)，U表示原始特征，GAP表示全局平均池化操作，σ表示Sigmoid激活函數(shù)，U?表示加權(quán)特征。

首先，使用全局平均池化來(lái)聚合輸入要素U∈RW×H×C的每個(gè)通道的空間信息，得到1×1×C的特征圖。全局平均池化操作如公式（3）所示：

然后，利用動(dòng)態(tài)的卷積核大小為k的一維卷積對(duì)GAP（U）進(jìn)行卷積運(yùn)算，學(xué)習(xí)不同通道之間的重要性。卷積核自適應(yīng)函數(shù)以及權(quán)重ω∈R1×1×C的定義如下：

其中，式（4）中k表示卷積核大小，C表示通道數(shù)，|? |odd表示k只能取奇數(shù)，γ和b用于改變通道數(shù)C和卷積核大小之間的比例；式（5）中，向量ω用來(lái)調(diào)整每個(gè)通道的注意力權(quán)重，Sigmoid 函數(shù)用于計(jì)算一維卷積輸出的激活值，表示特征通道的局部關(guān)系和重要性，C1D表示一維卷積。

最后，對(duì)U和ω的每個(gè)通道特征進(jìn)行重編碼，逐個(gè)元素相乘得到特征圖通道集U?。

3 基于高效通道注意力模塊的分類(lèi)方法

一個(gè)完整的CNN 結(jié)構(gòu)通常包括輸入層、卷積層、池化層和全連接層［26］，其作用是能夠自適應(yīng)地提取腦電信號(hào)中隱藏的特征信息，但也存在一個(gè)問(wèn)題：在提取腦電信號(hào)特征的時(shí)候，CNN 無(wú)法關(guān)注到通道中與分類(lèi)任務(wù)相關(guān)的重要特征信息。高效通道注意力模塊是通道注意力機(jī)制的一種模塊，將其應(yīng)用在CNN 中，不僅可以聚焦與運(yùn)動(dòng)想象分類(lèi)任務(wù)相關(guān)的特征信息，而且能夠有效提高模型的性能。MI-EEG數(shù)據(jù)集是小樣本數(shù)據(jù)集，CNN 適用于從大量數(shù)據(jù)中學(xué)習(xí)特征，若將MI-EEG 數(shù)據(jù)集直接應(yīng)用在CNN 中，很容易發(fā)生過(guò)擬合現(xiàn)象。為了避免此現(xiàn)象，需要適當(dāng)?shù)卣{(diào)整CNN 的網(wǎng)絡(luò)結(jié)構(gòu)，使之滿足本文小樣本數(shù)據(jù)集的要求。因此，本文提出一種基于高效通道注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 基于高效通道注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)模型

首先，本文提取原始腦電信號(hào)C3、Cz、C4 通道8~30 Hz 頻段的腦電信號(hào)，將經(jīng)過(guò)小波變換得到的二維時(shí)頻圖作為神經(jīng)網(wǎng)絡(luò)模型的輸入，圖像調(diào)整為64×64。

然后，通過(guò)2 層卷積層自動(dòng)提取與左右手運(yùn)動(dòng)想象相關(guān)的特征，其中，卷積層1使用8個(gè)大小為4×4的卷積核來(lái)提取圖像中的空間和時(shí)間頻域低層次特征；卷積層2 使用32 個(gè)大小為4×4 的卷積核來(lái)提取更高階的全局特征。2 層卷積層均采用ReLU 激活函數(shù)，并對(duì)其輸出數(shù)據(jù)進(jìn)行批量標(biāo)準(zhǔn)化處理。為了使模型盡可能多地獲取到與EEG 分類(lèi)任務(wù)有關(guān)的特征信息，在卷積層1 之后插入ECA 模塊，該模塊分別沿著卷積層1 輸出的特征圖的通道維度和空間維度對(duì)此特征圖進(jìn)行調(diào)整并強(qiáng)化特征圖關(guān)鍵通道和空間位置的信息，對(duì)通道注意力信息進(jìn)行補(bǔ)充，同時(shí)捕獲位置信息和通道關(guān)系，以提高模型在復(fù)雜環(huán)境中關(guān)注有效特征的能力。在池化層中，本文采用最大池化來(lái)篩選特征，減小數(shù)據(jù)維度，捕獲卷積運(yùn)算輸出的最重要的抽象特征，同時(shí)保證特征的局部不變性。

最后，經(jīng)過(guò)全連接層將池化層輸出的特征進(jìn)行平面化后，輸出層采用softmax 分類(lèi)器對(duì)運(yùn)動(dòng)想象二分類(lèi)任務(wù)進(jìn)行分類(lèi)并輸出最終分類(lèi)結(jié)果，其神經(jīng)元數(shù)目分別為128和2。

4 實(shí)驗(yàn)及結(jié)果分析

本文將所提方法應(yīng)用在BCI數(shù)據(jù)集上，設(shè)置訓(xùn)練迭代次數(shù)為300 次，經(jīng)過(guò)多次實(shí)驗(yàn)，對(duì)模型參數(shù)進(jìn)行調(diào)整優(yōu)化，將在驗(yàn)證集上準(zhǔn)確率最高的模型作為本文方法的最終模型。本文在未引入高效通道注意力模塊時(shí)，由于卷積層決定了卷積神經(jīng)網(wǎng)絡(luò)模型的深度，為了構(gòu)建合適的網(wǎng)絡(luò)結(jié)構(gòu)，則對(duì)不同卷積層數(shù)進(jìn)行研究。識(shí)別準(zhǔn)確率結(jié)果如表1所示。

表1 不同卷積層數(shù)識(shí)別準(zhǔn)確率對(duì)比

可以看出，當(dāng)卷積層數(shù)為2 時(shí)，卷積神經(jīng)網(wǎng)絡(luò)模型具有最好的識(shí)別效果，其平均準(zhǔn)確率達(dá)到83.33%。對(duì)基于高效通道注意力模塊的卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō)，注意力模塊的數(shù)量不同決定了不同的網(wǎng)絡(luò)結(jié)構(gòu)，甚至直接影響最終的準(zhǔn)確率。因此，本文設(shè)置了一組對(duì)比實(shí)驗(yàn)，在卷積神經(jīng)網(wǎng)絡(luò)模型的第1 層卷積層后和卷積神經(jīng)網(wǎng)絡(luò)模型的每層卷積層后分別插入ECA 模塊，即分別插入1 個(gè)ECA 模塊和插入2 個(gè)ECA 模塊。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 不同ECA模塊數(shù)量的模型分類(lèi)準(zhǔn)確率

加入ECA 模塊后，模型的準(zhǔn)確率相較于未加入ECA模塊時(shí)的準(zhǔn)確率出現(xiàn)較少的震蕩，能夠平穩(wěn)地收斂。此外，插入1 個(gè)ECA ?？斓钠骄鶞?zhǔn)確率為88.07%，插入2 個(gè)ECA 模塊的平均準(zhǔn)確率為86.30%，顯然插入1 個(gè)ECA 模塊的識(shí)別性能優(yōu)于插入2 個(gè)ECA模塊的識(shí)別性能。因此，本文的分類(lèi)模型是基于1個(gè)ECA模塊的卷積神經(jīng)網(wǎng)絡(luò)模型。

為了評(píng)估本文方法對(duì)左右手運(yùn)動(dòng)想象腦電信號(hào)的識(shí)別性能，將本文提出的模型與使用同一數(shù)據(jù)集進(jìn)行研究的其他分類(lèi)識(shí)別方法進(jìn)行對(duì)比，其平均識(shí)別準(zhǔn)確率如表2 所示。其中文獻(xiàn)［27］兼顧腦電的時(shí)間、頻率和空間信息，提出了一種基于希爾伯特-黃變換（Hilbert-Huang Transform，HHT）和CSP 的腦電信號(hào)特征提取并用SVM 分類(lèi)的方法，記為HCHT+SVM；文獻(xiàn)［28］針對(duì)自用型運(yùn)動(dòng)想象BCI 系統(tǒng)設(shè)計(jì)了2 種分類(lèi)方法：SVM 和自回歸模型（Autoregressive Model，AR）與SVM 相結(jié)合，記為AR-SVM；文獻(xiàn)［29］中由2個(gè)子網(wǎng)絡(luò)構(gòu)成的經(jīng)典孿生神經(jīng)網(wǎng)絡(luò)；以及未引入ECA模塊時(shí)的含有2層卷積層的CNN分類(lèi)模型，記為CNN。

表2 本文方法與其他方法的準(zhǔn)確率比較

由表2可知，通過(guò)引入ECA模塊與未引入ECA模塊的CNN 分類(lèi)模型實(shí)驗(yàn)結(jié)果對(duì)比得知，引入ECA 模塊的CNN 分類(lèi)模型的平均準(zhǔn)確率高于未引入ECA 模塊的CNN 分類(lèi)模型，這表明ECA 模塊能夠讓模型更加關(guān)注信息量大的通道特征，在不增加模型的訓(xùn)練周期以及計(jì)算開(kāi)銷(xiāo)的前提下，有效地提升模型的準(zhǔn)確率；其次，本文方法的平均準(zhǔn)確率相較于文獻(xiàn)［27］、文獻(xiàn)［28］、文獻(xiàn)［29］有一定的提升，說(shuō)明在運(yùn)動(dòng)想象分類(lèi)識(shí)別任務(wù)中，本文方法具有優(yōu)越性。

5 結(jié)束語(yǔ)

本文針對(duì)腦電信號(hào)分類(lèi)識(shí)別問(wèn)題提出了一種基于ECA模塊的卷積神經(jīng)網(wǎng)絡(luò)模型，并在BCI競(jìng)賽數(shù)據(jù)集上展開(kāi)研究。實(shí)驗(yàn)結(jié)果表明，與近幾年使用CNN模型對(duì)MI-EEG 進(jìn)行分類(lèi)的結(jié)果相比，本文方法在MI-EEG分類(lèi)識(shí)別上能夠獲得更優(yōu)的識(shí)別精度。