基于數(shù)據(jù)增強(qiáng)的運(yùn)動(dòng)想象腦電分類

彭禹，宋耀蓮，楊俊

基于數(shù)據(jù)增強(qiáng)的運(yùn)動(dòng)想象腦電分類

彭禹，宋耀蓮*，楊俊

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，昆明 650500）（?通信作者電子郵箱39217149@qq.com）

針對(duì)運(yùn)動(dòng)想象腦電（MI?EEG）多分類問題，在已有研究的基礎(chǔ)上進(jìn)行改進(jìn)，構(gòu)建了基于深度可分離卷積的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)（L?Net）和輕量級(jí)混合網(wǎng)絡(luò)（LH?Net），并在BCI競(jìng)賽Ⅳ-2a四分類數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)和分析，結(jié)果表明：L?Net比LH?Net可以更快地?cái)M合數(shù)據(jù)，訓(xùn)練時(shí)間更短；但LH?Net的穩(wěn)定性比L?Net更好，在測(cè)試集上的分類性能具有更好的穩(wěn)健性，平均準(zhǔn)確率和平均Kappa系數(shù)比L?Net分別提高了3.6個(gè)百分點(diǎn)和4.8個(gè)百分點(diǎn)。為了進(jìn)一步提升模型分類性能，采用了基于時(shí)頻域的高斯噪聲添加新方法對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)（DA），并針對(duì)噪聲的強(qiáng)度進(jìn)行了仿真驗(yàn)證，推測(cè)出了兩種模型的最優(yōu)噪聲強(qiáng)度的取值范圍。仿真結(jié)果表明使用了該數(shù)據(jù)增強(qiáng)方法后，兩種模型的平均準(zhǔn)確率最少提高了4個(gè)百分點(diǎn)，四分類效果均得到了明顯提升。

腦電信號(hào)；運(yùn)動(dòng)想象；深度學(xué)習(xí)；深度可分離卷積；數(shù)據(jù)增強(qiáng)

0 引言

腦機(jī)接口（Brain?Computer Interface， BCI）在人類大腦和外部設(shè)備之間提供了一種新的人機(jī)交流模式，通過它可以將人腦中的想法編碼成計(jì)算機(jī)可以識(shí)別的機(jī)器指令進(jìn)一步控制外接設(shè)備運(yùn)作［1］。在不同類型的腦電（ElectroEncephaloGraphy， EEG）信號(hào)中，運(yùn)動(dòng)想象腦電信號(hào)（Motor?Imagery EEG， MI?EEG）［2-3］近年來引起了廣泛的研究，目前研究人員已經(jīng)使用MI?EEG信號(hào)幫助中風(fēng)和癲癇患者交流［4-5］、控制輪椅和機(jī)器人等外部設(shè)備，甚至用于阿爾茨海默病等疾病的研究［6］。但是EEG信號(hào)由于受采集環(huán)境、設(shè)備以及受試者的身心狀態(tài)的影響，具有高度的非平穩(wěn)性和信噪比低的特點(diǎn)，增加了EEG分類任務(wù)的難度［7］。

1 相關(guān)工作

傳統(tǒng)的機(jī)器學(xué)習(xí)方法雖然在EEG分類方面取得了一定的成功，但仍不能達(dá)到良好的解碼精度。目前深度學(xué)習(xí)方法的成功推動(dòng)了研究人員將其應(yīng)用于EEG信號(hào)分類，深度學(xué)習(xí)證明了EEG特征自動(dòng)提取可以達(dá)到更好的效果［8］。Lawhern等［9］針對(duì)來自不同BCI范式的EEG信號(hào)提出了一種緊湊型的模型EEGNet，在目前較常用的四種BCI范式上表現(xiàn)出了良好的性能；Sakhavi等［10］基于濾波器組通用空間模式（Filter Bank Common Spatial Pattern， FBCSP）方法將EEG轉(zhuǎn)換成一種新的時(shí)間包絡(luò)表示，并使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）進(jìn)行分類，在BCI競(jìng)賽Ⅳ數(shù)據(jù)集2a上平均準(zhǔn)確率達(dá)到74.46%；Amin等［11］提出了多層CNN融合模型，該模型將多個(gè)不同深度的CNN提取到的特征分別通過多層感知器（Multi?Layer Perceptron， MLP）和自編碼器進(jìn)行特征融合；杜秀麗等［12］提出了一種融合注意力模塊的CNN模型，通過注意力模塊增強(qiáng)重要特征信息、抑制不重要特征的方式有效提升了模型的分類性能，該模型在BCI競(jìng)賽Ⅳ?2A數(shù)據(jù)集上平均準(zhǔn)確率達(dá)到了81.6%。包括以上分類方法在內(nèi)，目前大多數(shù)深度學(xué)習(xí)的模型都是在EEG的預(yù)處理，或者是在模型輸入形式上做了較多的特征處理工作，這很可能導(dǎo)致原始EEG信號(hào)中有效信息的丟失［13］，致使網(wǎng)絡(luò)模型分類表現(xiàn)欠佳。

針對(duì)以上問題，本文參考了EEGNet［9］的特點(diǎn)，構(gòu)建了兩種不同結(jié)構(gòu)的輕量級(jí)網(wǎng)絡(luò)：L?Net（Lightweight Convolutional Neural Network）和LH?Net（Lightweight Hybrid Network）；同時(shí)提出了基于短時(shí)傅里葉變換（Short?Time Fourier Transform， STFT）的高斯噪聲添加方式來擴(kuò)充數(shù)據(jù)。為了驗(yàn)證兩種模型以及基于STFT的數(shù)據(jù)增強(qiáng)方式的性能，在BCI競(jìng)賽Ⅳ中2a數(shù)據(jù)集進(jìn)行模型訓(xùn)練、測(cè)試和評(píng)價(jià)。

2 本文方法與原理

2.1　基于深度可分離卷積的分類方法

考慮到數(shù)據(jù)集規(guī)模較小的特點(diǎn)以及硬件設(shè)備的限制，本文設(shè)計(jì)了兩種網(wǎng)絡(luò)參數(shù)體量較小的輕量級(jí)網(wǎng)絡(luò)模型，分別為L?Net和LH?Net，二者的具體網(wǎng)絡(luò)結(jié)構(gòu)分別如圖1、2所示。在模型的輸入表示上，本文將EEG信號(hào)的通道數(shù)量作為輸入樣本尺寸的高度，將采樣點(diǎn)的數(shù)量作為樣本的寬度。這種將輸入表示為二維矩陣的形式，與將EEG信號(hào)轉(zhuǎn)化成時(shí)頻圖片的方式［16］相比，優(yōu)勢(shì)在于能顯著降低輸入的維數(shù)。

圖1　L?Net模型結(jié)構(gòu)

圖2　LH?Net模型結(jié)構(gòu)

L?Net根據(jù)網(wǎng)絡(luò)層的不同功能主要可劃分為三個(gè)模塊：

1）時(shí)空卷積模塊，對(duì)應(yīng)圖1中的二維的卷積和深度卷積，這兩個(gè)子層分別對(duì)經(jīng)過時(shí)間裁剪后的EEG信號(hào)進(jìn)行時(shí)間域和空間域卷積［9］。二維卷積的卷積核的大小為64×1，輸出特征圖數(shù)量為F1即該層卷積核的數(shù)量。深度卷積的卷積核大小為1×22，輸出特征圖數(shù)量為F2。

2）深度可分離卷積模塊，分別對(duì)上一層輸出的所有特征圖按照通道順序做深度卷積，再進(jìn)行逐點(diǎn)卷積。它將標(biāo)準(zhǔn)卷積操作分成了兩步，不僅減少了通道之間的耦合，還進(jìn)一步減少了模型的參數(shù)量，輸出的特征圖數(shù)量仍然與上一層保持一致。

3）分類模塊，由一維卷積層、展平層和全連接層組成。一維卷積的卷積核大小為4，采用因果卷積來提取更加抽象的EEG特征，卷積之后向展平層輸入16個(gè)長度為17的特征向量；展平層則將所有向量連接展平為長度為16×17的特征向量，輸入到最后的全連接層，并通過Softmax激活函數(shù)輸出分類概率；全連接層共包含了4個(gè)神經(jīng)元，分別代表網(wǎng)絡(luò)的4類輸出結(jié)果（左手、右手、舌頭和雙腳），該層根據(jù)式（1）將輸入的特征向量通過一個(gè)權(quán)重矩陣進(jìn)行加權(quán)求和。

有大量證據(jù)表明，EEG信號(hào)是跨多個(gè)時(shí)間尺度組成的，具有較好的時(shí)間分辨率［18］；而且在深度可分離卷積之后，特征圖仍包含了時(shí)間信息。因此，為了進(jìn)一步在更深層次中提取關(guān)于EEG更為抽象的時(shí)間特征，增強(qiáng)模型的分類效果，本文在L?Net的基礎(chǔ)上，使用圖3（b）所示的殘差塊來堆疊時(shí)間卷積網(wǎng)絡(luò)（Temporal Convolutional Network， TCN），構(gòu)建了LH?Net。TCN是Bai等［19］于2018年提出的，且在多個(gè)數(shù)據(jù)集上的表現(xiàn)均比經(jīng)典的序列模型如長短期記憶（Long Short?Time Memory， LSTM）網(wǎng)絡(luò)和門控循環(huán)單元（Gated Recurrent Unit， GRU）等更優(yōu)秀，避免了序列模型經(jīng)常出現(xiàn)的梯度爆炸、梯度消失等問題。TCN模型的結(jié)構(gòu)特點(diǎn)是它在卷積層使用了因果卷積和膨脹卷積［20］，同時(shí)加入了殘差結(jié)構(gòu)。圖3（a）展示的便是TCN的核心模塊，它在卷積后面均添加了歸一化層、非線性層和Dropout層［19］。LH?Net也使用了與TCN殘差塊相同的結(jié)構(gòu)，但是在歸一化層上將權(quán)重歸一化換成了批量歸一化，激活函數(shù)由修正線性單元（Rectified Linear Unit， ReLU）換成了ELU。LH?Net在TCN模塊之后，將輸出的特征矩陣輸入到網(wǎng)絡(luò)的自定義層，并在該層實(shí)現(xiàn)了對(duì)特征矩陣進(jìn)行跨通道的特征融合，最后輸入到包含四個(gè)輸出單元的全連接層，并通過Softmax激活函數(shù)輸出分類結(jié)果。

圖3　時(shí)間卷積網(wǎng)絡(luò)殘差塊

2.2　基于時(shí)頻域的數(shù)據(jù)增強(qiáng)方法

深度學(xué)習(xí)模型的分類性能非常依賴于參與模型訓(xùn)練的數(shù)據(jù)量，尤其在網(wǎng)絡(luò)深度不斷增加的情況下，極大概率會(huì)出現(xiàn)過度擬合的問題［21］。在圖像處理等領(lǐng)域，解決過擬合的最好方法就是增加訓(xùn)練樣本的數(shù)量，一般會(huì)對(duì)圖像進(jìn)行幾何變換或者噪聲添加。如果對(duì)EEG信號(hào)進(jìn)行同樣的幾何變換，會(huì)破壞數(shù)據(jù)的時(shí)域特征；如果直接在EEG信號(hào)中加入噪聲會(huì)破壞信號(hào)的幅值和相位信息，從而降低分類精度［14］。綜上分析，本文提供了基于STFT的噪聲添加方法來擴(kuò)充訓(xùn)練用的樣本數(shù)量。同時(shí)考慮到EEG信號(hào)具有很強(qiáng)的隨機(jī)性和非平穩(wěn)性，隨機(jī)加入一些局部噪聲，如泊松噪聲、椒鹽噪聲，會(huì)局部改變EEG的有效特征［14］，因此，本文使用了高斯噪聲來進(jìn)行噪聲添加，具體的算法流程如圖4所示。

圖4　基于時(shí)頻域的數(shù)據(jù)增強(qiáng)算法流程

高斯噪聲是指它的概率密度函數(shù)服從高斯分布的一類噪聲。式（8）是關(guān)于高斯隨機(jī)變量的概率密度函數(shù)表達(dá)式：

3 實(shí)驗(yàn)數(shù)據(jù)與設(shè)置

3.1　數(shù)據(jù)集和預(yù)處理

本文使用的EEG數(shù)據(jù)來自BCI競(jìng)賽Ⅳ-2a數(shù)據(jù)集，該數(shù)據(jù)集由奧地利格拉茨工業(yè)大學(xué)［22］提供。該數(shù)據(jù)集一共記錄了9名受試者關(guān)于左手、右手、雙腳和舌頭四種不同的運(yùn)動(dòng)想象任務(wù)的EEG腦電信號(hào)。每個(gè)受試者的數(shù)據(jù)由兩個(gè)部分組成：一部分用于訓(xùn)練，另一部分用于測(cè)試。每個(gè)部分都包含了288次實(shí)驗(yàn)，每次實(shí)驗(yàn)持續(xù)7.5 s，并根據(jù)圖5所示的計(jì)時(shí)方案來進(jìn)行記錄。所有數(shù)據(jù)均是通過分布在頭部的22個(gè)Ag/AgCl電極記錄，采樣頻率為250 Hz，并且對(duì)采集的信號(hào)進(jìn)行了0.5～100 Hz帶通濾波。

圖5　數(shù)據(jù)采集計(jì)時(shí)方案

本文首先對(duì)原始的EEG信號(hào)進(jìn)行相關(guān)運(yùn)動(dòng)想象事件段的提取，從每個(gè)試次中提示出現(xiàn)的前0.5 s到3 s的運(yùn)動(dòng)想象實(shí)驗(yàn)結(jié)束為止。從圖5中來看，即Cue的前0.5 s一直到第6 s運(yùn)動(dòng)想象結(jié)束，共4.5 s的時(shí)間長度。同時(shí)本文將提取到的樣本標(biāo)簽進(jìn)行獨(dú)熱編碼，用一個(gè)長度為4的二進(jìn)制向量來表示四種類別標(biāo)簽，最后左手、右手、雙腳和舌頭四類標(biāo)簽分別被編碼為1000、0100、0010和0001。MI?EEG在采集中很容易受到生理性和非生理性的噪聲影響，這些被記錄的噪聲便是偽影。非生理性偽影多數(shù)為操作不當(dāng)引起的，生理性偽影主要由眼部的活動(dòng)、肌肉活動(dòng)、呼吸以及汗水等引起。非生理性的偽影可以通過肉眼辨別出，但多數(shù)生理性偽影與MI?EEG的有效頻段重合難以剔除，為了盡量減少有效信息的損失，本文未進(jìn)一步對(duì)提取到的數(shù)據(jù)段進(jìn)行濾波。

3.2　實(shí)驗(yàn)設(shè)置

EEG信號(hào)中含多個(gè)頻率分量，且漢寧窗對(duì)非平穩(wěn)信號(hào)的良好性能，可以防止頻譜泄漏同時(shí)消去高頻干擾［23］。因此本文在對(duì)EEG信號(hào)進(jìn)行STFT時(shí)使用漢寧窗作為窗函數(shù)，同時(shí)為了獲得較高的頻率分辨率，將時(shí)間窗函數(shù)的長度設(shè)置為256。進(jìn)行數(shù)據(jù)增強(qiáng)后，每個(gè)類別的訓(xùn)練樣本量均擴(kuò)充為原來的兩倍。

圖6展示了某個(gè)受試者同一個(gè)通道上，關(guān)于左手和右手兩個(gè)類別的EEG信號(hào)在進(jìn)行數(shù)據(jù)增強(qiáng)前后的時(shí)頻幅值對(duì)比。從圖6中可以發(fā)現(xiàn)，在時(shí)頻域?qū)τ?xùn)練樣本進(jìn)行噪聲添加后，很好地保留了信號(hào)的時(shí)頻特征，同時(shí)在局部的特征上有比較明顯的區(qū)別，達(dá)到了本文數(shù)據(jù)增強(qiáng)的目的。

圖6　數(shù)據(jù)增強(qiáng)前后的時(shí)頻圖對(duì)比

本文對(duì)所有受試者分別使用兩種網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試，將2a數(shù)據(jù)集中每個(gè)被試的訓(xùn)練子集部分用于訓(xùn)練，測(cè)試子集部分用于測(cè)試。在訓(xùn)練階段，每訓(xùn)練完一個(gè)epoch就將訓(xùn)練數(shù)據(jù)的順序打亂，同時(shí)為每個(gè)epoch設(shè)置了批大?。╞atchsize）。除了少數(shù)受試者的批大小設(shè)置為32，其余均為64。兩種模型在訓(xùn)練過程中均采用了最小化交叉熵?fù)p失函數(shù)，同時(shí)使用Adam優(yōu)化器算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率均設(shè)置為0.001。本文所有實(shí)驗(yàn)代碼均使用Python語言編寫，其中在網(wǎng)絡(luò)模型的構(gòu)建和訓(xùn)練測(cè)試部分采用了GPU版的Tensorflow框架。

4 實(shí)驗(yàn)與結(jié)果分析

4.1　評(píng)價(jià)指標(biāo)

4.2　模型對(duì)比

圖7展示了4個(gè)受試者（A03、A05、A07、A08）在模型訓(xùn)練過程中的準(zhǔn)確率曲線。L?Net由于網(wǎng)絡(luò)的深度比LH?Net淺，因此在第100到200個(gè)epoch左右便可以很好地?cái)M合訓(xùn)練樣本，而在圖（a）～（c）中LH?Net則需要訓(xùn)練400個(gè)epoch左右才能擬合數(shù)據(jù)，訓(xùn)練所需的時(shí)間是L?Net的兩倍多。雖然L?Net能更快地?cái)M合數(shù)據(jù)，但是從圖中可以發(fā)現(xiàn)，在訓(xùn)練后期L?Net的準(zhǔn)確率出現(xiàn)了較大波動(dòng)，而LH?Net則并未出現(xiàn)這種情況，訓(xùn)練期間的準(zhǔn)確率一直比較穩(wěn)定。

圖7　部分受試者的訓(xùn)練準(zhǔn)確率

為了驗(yàn)證L?Net和LH?Net在運(yùn)動(dòng)想象四分類任務(wù)上的優(yōu)勢(shì)，本文選取了以下幾個(gè)近幾年來在該研究領(lǐng)域中性能表現(xiàn)優(yōu)秀的深度學(xué)習(xí)模型進(jìn)行對(duì)比。

1）基于深度可分離卷積構(gòu)建的EEGNet［9］。它是一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型的可訓(xùn)練參數(shù)僅在2 000左右。該模型在目前最先進(jìn)的BCI范式上表現(xiàn)出了相當(dāng)高的性能，且具有很好的泛化能力。

2）基于3D卷積的多分支卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network， 3DCNN）［24］。該模型開創(chuàng)性地提出了使用多維陣列來表示EEG信號(hào)，并使用3個(gè)不同接受視野大小的3D卷積網(wǎng)絡(luò)來提取運(yùn)動(dòng)想象的相關(guān)特征。

3）并行的多尺度濾波器組卷積神經(jīng)網(wǎng)絡(luò)（Multiscale Filter Bank Convolutional Neural Network， MSFBCNN）［25］。該網(wǎng)絡(luò)采用多個(gè)不同尺度的卷積核來提取EEG的時(shí)間特征。

表1展示了本文方法與MSFBCNN、EEGNet、3DCNN在2a數(shù)據(jù)集上的具體性能表現(xiàn)。從表1中可以發(fā)現(xiàn)，深度學(xué)習(xí)模型在分類性能上遠(yuǎn)遠(yuǎn)超過傳統(tǒng)的FBCSP，具有更好的泛化能力。其中L?Net與EEGNet、3DCNN、MSFBCNN的平均準(zhǔn)確率和平均Kappa系數(shù)相較于L?Net的總體性能略高于EEGNet同時(shí)略低于3DCNN，與MSFBCNN的分類性能則基本保持在同等水平。雖然在受試者A02、A03、A06和A08上的分類表現(xiàn)不佳，但是在A04和A05上的準(zhǔn)確率均達(dá)到了71%左右，Kappa系數(shù)則到達(dá)了61%左右，均高于前二者。由L?Net改進(jìn)的LH?Net在平均準(zhǔn)確率和平均Kappa系數(shù)上分別達(dá)到了77.83%和70.44%，相較于EEGNet、3DCNN和MSFBCNN平均準(zhǔn)確率分別提高了4.4、1.6和2.9個(gè)百分點(diǎn)，平均Kappa系數(shù)則分別提升了5.9、2.1和3.9個(gè)百分點(diǎn)。同時(shí)在A03上將準(zhǔn)確率提升到91.57%，Kappa系數(shù)則提升到88.76%，均優(yōu)于EEGNet、3DCNN和MSFBCNN。結(jié)合圖7的訓(xùn)練情況和表1的測(cè)試結(jié)果，可以發(fā)現(xiàn)LH?Net雖然在訓(xùn)練時(shí)間效率上不如L?Net，但是在測(cè)試集上的表現(xiàn)要更優(yōu)于L?Net，性能上具有更好的泛化能力。

表1　各方法在測(cè)試集上的分類性能比較 單位： %

4.3　數(shù)據(jù)增強(qiáng)分析

本文針對(duì)每個(gè)受試者均采用了6種不同強(qiáng)度的噪聲來生成新的訓(xùn)練樣本，并從區(qū)間［0.001， 0.5］取值作為噪聲的強(qiáng)度值。圖8和圖9分別為兩種模型針對(duì)數(shù)據(jù)集中的9名受試者在采用不同噪聲強(qiáng)度的數(shù)據(jù)增強(qiáng)方法時(shí)的分類準(zhǔn)確率，圖中的橫軸坐標(biāo)代表6種噪聲強(qiáng)度的取值，與橫軸平行的散點(diǎn)代表不同受試者（A01～A09）未使用數(shù)據(jù)增強(qiáng)（a01～a09）時(shí)的分類準(zhǔn)確率。從圖8中可以明顯發(fā)現(xiàn)L?Net在使用6種不同強(qiáng)度的噪聲時(shí)，受試者A03、A07、A08的分類精度均比未使用數(shù)據(jù)增強(qiáng)的分類準(zhǔn)確率有了比較明顯的提高。其余的幾個(gè)受試者則只有在特定的噪聲強(qiáng)度范圍內(nèi)準(zhǔn)確率才有明顯提高，其中A02、A04、A06的最優(yōu)強(qiáng)度范圍大致在（0.05，0.001）區(qū)間，A05和A09的最優(yōu)強(qiáng)度范圍大致在（0.01，0.5），而A01只有在區(qū)間（0.01，0.1）內(nèi)準(zhǔn)確度才有提升。

圖9顯示，LH?Net在6種不同強(qiáng)度的噪聲下，受試者A01、A02、A04、A05、A06的分類準(zhǔn)確率均比未使用數(shù)據(jù)增強(qiáng)的準(zhǔn)確率有了比較明顯的提高，與圖8相比呈現(xiàn)出一種截然不同的情況。與圖8中不同的是，A03、A07、A08、A09的噪聲強(qiáng)度最優(yōu)范圍均縮小了，其中：A03的最優(yōu)強(qiáng)度范圍由（0.001， 0.5）縮小到（0.01， 0.5），噪聲強(qiáng)度設(shè)置過小，分類準(zhǔn)確度卻降低了；A07和A08的最優(yōu)強(qiáng)度范圍則是由（0.001， 0.5）縮小到（0.001， 0.01），噪聲強(qiáng)度過大反而導(dǎo)致了準(zhǔn)確率降低；A09在噪聲強(qiáng)度過大和過小時(shí)均會(huì)導(dǎo)致準(zhǔn)確率降低，只有在強(qiáng)度為0.01時(shí)準(zhǔn)確率才會(huì)有所上升。

圖8　9名受試者在L?Net上不同噪聲強(qiáng)度下的分類準(zhǔn)確率

圖9　9名受試者在LH?Net上不同噪聲強(qiáng)度下的分類準(zhǔn)確率

綜上所述，由于兩種模型結(jié)構(gòu)之間的差異和不同受試者自身數(shù)據(jù)的特異性，導(dǎo)致在進(jìn)行數(shù)據(jù)增強(qiáng)時(shí)噪聲的強(qiáng)度成為影響模型性能的關(guān)鍵因素，不同受試者在不同模型上存在不同的最優(yōu)噪聲強(qiáng)度范圍。為了探索噪聲強(qiáng)度對(duì)該數(shù)據(jù)集總體分類效果的影響，本文在不同噪聲強(qiáng)度下，計(jì)算得到9名受試者的平均準(zhǔn)確率如圖10所示。

圖10　L?Net和LH?Net在不同噪聲強(qiáng)度下的平均分類準(zhǔn)確率

從圖10中可以發(fā)現(xiàn)隨著噪聲強(qiáng)度從0.5降低到0.05，兩種模型的平均分類準(zhǔn)確率都在逐漸升高。其中對(duì)于L?Net模型當(dāng)噪聲強(qiáng)度降低到為0.05時(shí)準(zhǔn)確度提升到75%左右，之后隨著噪聲強(qiáng)度的減弱平均分類準(zhǔn)確度未有明顯的提升。而LH?Net在噪聲強(qiáng)度降低到0.01時(shí)，平均準(zhǔn)確率上升到最高（81%左右），之后隨著強(qiáng)度的減弱平均準(zhǔn)確率呈現(xiàn)下降的趨勢(shì)。由此可初步推斷出兩種模型的最優(yōu)噪聲強(qiáng)度范圍大致分布在（0.001，0.05）、（0.01，0.05）。

表2展示了傳統(tǒng)的直接對(duì)信號(hào)樣本進(jìn)行噪聲添加（Noise Addition， NA）與本文基于時(shí)頻域的噪聲添加方法（STFT+NA），兩種不同的數(shù)據(jù)增強(qiáng)方法在L?Net和LH?Net兩種模型上的分類性能。從表2可以看出，與未進(jìn)行數(shù)據(jù)增強(qiáng)之前相比，兩種模型的性能指標(biāo)均得到了有效提升。其中L?Net和LH?Net在使用傳統(tǒng)的噪聲添加方式時(shí)，兩種分類指標(biāo)均提升了1～2個(gè)百分點(diǎn)；而使用基于時(shí)頻域的噪聲添加方法后，二者的分類指標(biāo)比使用傳統(tǒng)的噪聲添加方法提升效果更顯著，兩者的平均準(zhǔn)確率分別達(dá)到了79.12%和82.67%。相較于未采用數(shù)據(jù)增強(qiáng)策略得到的性能指標(biāo)，L?Net在平均準(zhǔn)確率和平均Kappa系數(shù)分別提升了4.90個(gè)百分點(diǎn)和6.55個(gè)百分點(diǎn)；而LH?Net則提升了4.84個(gè)百分點(diǎn)和6.46個(gè)百分點(diǎn)。同時(shí)LH?Net在受試者A03和A07上準(zhǔn)確率分別達(dá)到了95.24%，91.33%，Kappa系數(shù)則達(dá)到了93.65%，88.44%。

為了進(jìn)一步比較兩種模型在不同類別上的性能優(yōu)異，本文在從所有受試者中挑選出最佳噪聲強(qiáng)度下的分類模型，并將所有人的預(yù)測(cè)結(jié)果和測(cè)試集的真實(shí)標(biāo)簽分別合并為一個(gè)標(biāo)簽集合來繪制混淆矩陣，同時(shí)與未進(jìn)行數(shù)據(jù)增強(qiáng)的最優(yōu)模型進(jìn)行了對(duì)比，如圖11所示。其中圖11（a）、（c）是在沒有使用數(shù)據(jù)增強(qiáng)的情況下得到的混淆矩陣，圖11（b）、（d）是在使用了數(shù)據(jù)增強(qiáng)的情況下得到的混淆矩陣。從圖11可以發(fā)現(xiàn)，使用數(shù)據(jù)增強(qiáng)后，LH?Net在四個(gè)類別上的準(zhǔn)確率均有了非常明顯的提升，每個(gè)類別的精度平均增長了4.8個(gè)百分點(diǎn)；而L?Net雖然在右手這一類別的準(zhǔn)確率降低了些許，但其他三類的準(zhǔn)確率均有不錯(cuò)的提升，尤其在舌頭分類中，準(zhǔn)確率由72.6%提升到了83.1%，總體的平均增幅為4.9個(gè)百分點(diǎn)。

表2　L?Net和LH?Net使用不同數(shù)據(jù)增強(qiáng)方法的分類性能比較 單位： %

圖11　L?Net和LH?Net在測(cè)試集不同類別上的分類準(zhǔn)確率

表3給出了不同模型在相同訓(xùn)練次數(shù)時(shí)所耗費(fèi)的時(shí)間。從表3可以發(fā)現(xiàn)：在未使用數(shù)據(jù)增強(qiáng)時(shí)，LH?Net總體耗費(fèi)的時(shí)間比L?Net多161 s，每個(gè)受試者的平均訓(xùn)練時(shí)間多18 s；在使用數(shù)據(jù)增強(qiáng)后，由于數(shù)據(jù)集的樣本變?yōu)榱嗽瓉淼膬杀?，二者的總體訓(xùn)練時(shí)間和平均訓(xùn)練時(shí)間也增加到了原來的兩倍左右。結(jié)合表2的分類性能分析，雖然LH?Net與L?Net相比增加了模型的復(fù)雜度，導(dǎo)致訓(xùn)練時(shí)間更長，但是模型的分類效果得到了有效提升，同時(shí)增加的訓(xùn)練時(shí)間在一個(gè)可接受的范圍。由此可見模型LH?Net的整體效果要優(yōu)于L?Net，同時(shí)本文使用的基于時(shí)頻域的數(shù)據(jù)增強(qiáng)方法在兩種模型上都取得了不錯(cuò)的表現(xiàn)。

表3　不同模型的訓(xùn)練時(shí)間比較 單位： s

5 結(jié)語

本文提出了兩種不同結(jié)構(gòu)的輕量級(jí)網(wǎng)絡(luò)L?Net和LH?Net，它們?cè)谶\(yùn)動(dòng)想象四分類任務(wù)中表現(xiàn)良好，且LH?Net比L?Net具有更好的魯棒性，分類性能更好；同時(shí)也說明了基于時(shí)頻域的數(shù)據(jù)增強(qiáng)方法能夠有效提升網(wǎng)絡(luò)模型的分類效果。本文基于時(shí)頻域的噪聲添加方法與目前使用對(duì)抗生成網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法［16］相比，是一種高效、簡單的數(shù)據(jù)增強(qiáng)方法。L?Net和LH?Net的優(yōu)勢(shì)在于使用了深度可分離卷積，在大幅減少訓(xùn)練參數(shù)的同時(shí)，能保證模型較好的性能表現(xiàn)；而且由于網(wǎng)絡(luò)模型規(guī)模較小，與3DCNN等大規(guī)模的網(wǎng)絡(luò)模型相比，硬件部署的場(chǎng)景也會(huì)更廣泛。不過這兩個(gè)模型在部分受試者上的分類性能表現(xiàn)欠佳，因此我們的下一步工作將從特征選擇和遷移學(xué)習(xí)兩個(gè)方向繼續(xù)研究和探索。

[1] LONG J， LI Y， WANG H， et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2012， 20（5）： 720-729.

[2] ANG K K， CHIN Z Y， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b［J］. Frontiers in Neuroscience， 2012， 6： Article 39.

[3] TONIN L， CARLSON T， LEEB R， et al. Brain?controlled telepresence robot by motor?disabled people［C］// Proceedings of the 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2011： 4227-4230.

[4] ACHARYA U R， SREEr S V， SWAPNA G， et al. Automated EEG analysis of epilepsy： a review［J］. Knowledge?Based Systems， 2013， 45： 147-165.

[5] HOSSAIN M S， AMIN S U， ALSULAIMAN M， et al. Applying deep learning for epilepsy seizure detection and brain mapping visualization［J］. ACM Transactions on Multimedia Computing， Communications， and Applications， 2019， 15（1）： 1-17.

[6] SAFI M S， SAFI S M M. Early detection of Alzheimer’s disease from EEG signals using Hjorth parameters［J］. Biomedical Signal Processing and Control， 2021， 65： 102338.

[7] ZHANG R， ZONG Q， DOU L， et al. Hybrid deep neural network using transfer learning for EEG motor imagery decoding［J］. Biomedical Signal Processing and Control， 2021， 63： 102144.

[8] CHIARELLI A M， CROCE P， MERLA A， et al. Deep learning for hybrid EEG?fNIRS brain?computer interface： application to motor imagery classification［J］. Journal of Neural Engineering， 2018， 15（3）： 036028.

[9] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG?based brain–computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： 056013.

[10] SAKHAVI S， GUAN C， YAN S. Learning temporal information for brain?computer interface using convolutional neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（11）： 5619-5629.

[11] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi?layer CNNs feature fusion［J］. Future Generation Computer Systems， 2019， 101： 542-554.

[12] 杜秀麗，馬振倩，邱少明，等.基于卷積注意力機(jī)制的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別［J］.計(jì)算機(jī)工程與應(yīng)用，2021，57（18）：181-185.（DU X L， MA Z Q， QIU S M， et al. Motor imagery EEG signal recognition based on the convolutional attention mechanism［J］. Journal of Computer Engineering and Applications， 2021， 57（18）： 181-185.）

[13] SCHIRRMEISTER R T， SPRINGENBERG J T， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420.

[14] WANG F， ZHONG S?H， PENG J， et al. Data augmentation for EEG?based emotion recognition with deep convolutional neural networks［C］// Proceedings of the 2018 International Conference on Multimedia Modeling， LNCS 10705. Cham： Springer， 2018： 82-93.

[15] SCHWABEDAL J T C， SNYDER J C， CAKMAK A， et al. Addressing class imbalance in classification problems of noisy signals by using fourier transform surrogates［EB/OL］. （2019-01-28）［2021-06-19］. https：//arxiv.org/pdf/1806.08675.pdf.

[16] ZHANG K， XU G， HAN Z， et al. Data augmentation for motor imagery signal classification based on a hybrid neural network［J］. Sensors， 2020， 20（16）： 4485.

[17] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co?adaptation of feature detectors［EB/OL］. ［2021-09-01］. https：//arxiv.org/pdf/1207. 0580.pdf.

[18] CHAUDHARY S， TARAN S， BAJAJ V， et al. Convolutional neural network based approach towards motor imagery tasks EEG signals classification［J］. IEEE Sensors Journal， 2019， 19（12）： 4494-4500.

[19] BAI S， KOLTER J Z， KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling［EB/OL］. （2018-04-19）［2021-06-19］. https：//arxiv.org/pdf/1803.01271.pdf.

[20] 袁華，陳澤濠.基于時(shí)間卷積神經(jīng)網(wǎng)絡(luò)的短時(shí)交通流預(yù)測(cè)算法［J］.華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，48（11）：107-113， 122.（YUAN H， CHEN Z H. Short?term traffic flow prediction algorithm based on time convolutional neural network［J］. Journal of South China University of Technology （Natural Science Edition）， 2020，48（11）： 107-113， 122.）

[21] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.（ZHOU F Y， JIN L P， DONG J. A survey of convolutional neural networks［J］. Chinese Journal of Computers，2017，40（6）： 1229-1251.）

[22] TANGERMANN M， MüLLER K?R， AERTSEN A， et al. Review of the BCI Competition Ⅳ［J］. Frontiers in Neuroscience， 2012， 6： Article 00055.

[23] SAMIEE K， KOVACS P， GABBOUJ M. Epileptic seizure classification of EEG time?series using rational discrete short?time Fourier transform［J］. IEEE Transactions on Biomedical Engineering， 2014， 62（2）： 541-552.

[24] ZHAO X， ZHANG H， ZHU G， et al. A multi?branch 3D convolutional neural network for EEG?based motor imagery classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（10）： 2164-2177.

[25] WU H， NIU Y， LI F， et al. A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification［J］. Frontiers in Neuroscience， 2019， 13： Article 01275.

Motor imagery electroencephalography classification based on data augmentation

PENG Yu， SONG Yaolian*， YANG Jun

（，，650500，）

Aiming at the multi?classification problem for Motor Imagery ElectroEncephaloGraphy （MI?EEG）， Lightweight convolutional neural Network （L?Net） and Lightweight Hybrid Network （LH?Net） based on deep separable convolution were built on the basis of existing research. Experiments and analyses were carried out on the BCI competition IV-2a data set. It was shown that L?Net could fit the data faster than LH?Net， and the training time was shorter. However， LH?Net is more stable than L?Net and has better robustness in classification performance on the test set， the average accuracy and average Kappa coefficient of LH?Net were increased by 3.6% and 4.8%， respectively compared with L?Net. In order to further improve the classification performance of the model， a new method of adding Gaussian noise based on the time?frequency domain was adopted to apply Data Augmentation （DA） on the training samples， and simulation verification of the noise intensity was carried out， thus the optimal noise intensity ranges of the two models were inferred. With the DA method， the average accuracies of the two models were increased by at least 4% in the simulation results， the four classification effects were significantly improved.

electroencephalography; motor imagery; deep learning; depth separable convolution; data augmentation

PENG Yu， born in 1995， M. S. candidate. His research interests include brain information decoding， deep learning.

SONG Yaolian， born in 1979， Ph. D.， associate professor. Her research interests include brain information decoding， communication system.

YANG Jun， born in 1984， Ph. D.， lecturer. His research interests include brain information decoding， deep learning.

1001-9081（2022）11-3625-08

10.11772/j.issn.1001-9081.2021091701

2021?09?30；

2022?01?05；

2022?01?28。

TP391.4

A

彭禹（1995—），男，四川瀘州人，碩士研究生，CCF會(huì)員，主要研究方向：腦信息解碼、深度學(xué)習(xí)；宋耀蓮（1979—），女，河南延津人，副教授，博士，主要研究方向：腦信息解碼、通信系統(tǒng)；楊?。?984—），男，云南昆明人，講師，博士，主要研究方向：腦信息解碼、深度學(xué)習(xí)。