基于圖卷積網(wǎng)絡(luò)的運(yùn)動(dòng)想象識(shí)別

許學(xué)添，蔡躍新

1.廣東司法警官職業(yè)學(xué)院 信息管理系，廣州510520

2.中山大學(xué)孫逸仙紀(jì)念醫(yī)院 耳鼻喉科 聽(tīng)力學(xué)與言語(yǔ)研究所，廣州510120

腦-機(jī)接口（brain-computer interface，BCI）作為大腦神經(jīng)活動(dòng)與外部物理世界的連接橋梁，將大腦活動(dòng)信息轉(zhuǎn)為計(jì)算機(jī)指令，從而控制外部設(shè)備，可以有效地幫助殘疾人、老年人等活動(dòng)能力受限的人。腦電圖（electroencephalogram，EEG）由于其低成本和非入侵等優(yōu)點(diǎn)，在BCI系統(tǒng)中得到最多的應(yīng)用與研究[1]?；贓EG的運(yùn)動(dòng)想象分類(lèi)與識(shí)別是腦機(jī)接口的一個(gè)重要研究方向，特別是近年來(lái)，結(jié)合深度學(xué)習(xí)算法，BCI 系統(tǒng)的發(fā)展取得了巨大的進(jìn)展[2]。

運(yùn)動(dòng)想象EEG識(shí)別經(jīng)歷了從早期的特征統(tǒng)計(jì)到結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行分類(lèi)識(shí)別[3-5]，再到當(dāng)前的深度學(xué)習(xí)階段，識(shí)別效果在不斷提高，特別是結(jié)合深度學(xué)習(xí)算法，可以自主學(xué)習(xí)信號(hào)不同層次的特征，避免人工參與的特征工程，因此在識(shí)別準(zhǔn)確率上取得較大的突破。利用深度學(xué)習(xí)自主提取樣本抽象特征的能力，許多研究將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）、深度玻爾茲曼機(jī)（deep Boltzmann machine，DBM）等方法應(yīng)用到運(yùn)動(dòng)想象腦電分析中，并取得較好的識(shí)別效果。Schirrmeister 等[6]研究了一系列不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)用于解碼原始腦電圖中想象或執(zhí)行運(yùn)動(dòng)的不同模型；Lu等[7]提出了一種基于受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）的深度學(xué)習(xí)算法，通過(guò)快速傅里葉變換和小波包分解得到腦電圖信號(hào)的頻域表示，輸入三層RBM 與一個(gè)額外的輸出層疊加，完成分類(lèi)任務(wù)；Wang 等[8]將運(yùn)動(dòng)想象EEG 時(shí)間序列分割為等長(zhǎng)的片段，并計(jì)算均值，再通過(guò)一組空間濾波器以確定不同節(jié)點(diǎn)通道的權(quán)重，最后輸入LSTM網(wǎng)絡(luò)進(jìn)行分類(lèi)；胡章芳等[9]設(shè)計(jì)了一個(gè)多層卷積雙向LSTM 型遞歸網(wǎng)絡(luò)，利用多層的卷積神經(jīng)網(wǎng)絡(luò)提取EEG 信號(hào)的頻域特征，再用LSTM網(wǎng)絡(luò)提取時(shí)域特征，最后完成分類(lèi)；唐智川等[10]將腦電信號(hào)事件相關(guān)去同步和事件相關(guān)同步模式下的EEG 功率值作為分類(lèi)特征建立矩陣，再用CNN 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)分類(lèi)。

目前基于深度學(xué)習(xí)的腦電信號(hào)分析，主要是將EEG信號(hào)當(dāng)作二維矩陣，或者將EEG 信號(hào)的特征轉(zhuǎn)為圖像（時(shí)頻圖、FRMI 圖等），再通過(guò)CNN、LSTM 等經(jīng)典的深度學(xué)習(xí)算法進(jìn)行特征提取，這些樣本對(duì)象均為歐式空間的規(guī)則數(shù)據(jù)，對(duì)節(jié)點(diǎn)已經(jīng)進(jìn)行了默認(rèn)的排序，在提取抽象、高層的EEG 信號(hào)特征時(shí)沒(méi)有考慮大腦不同區(qū)域神經(jīng)元之間的關(guān)聯(lián)信息，也即節(jié)點(diǎn)的空間結(jié)構(gòu)信息在研究是中被忽略的。圖卷積網(wǎng)絡(luò)（graph convolution network，GCN）[11-12]是在非歐式空間結(jié)構(gòu)數(shù)據(jù)上的深度學(xué)習(xí)，將傳統(tǒng)的離散卷積思想應(yīng)用在圖結(jié)構(gòu)上以獲取節(jié)點(diǎn)特征信息在圖結(jié)構(gòu)上不同層次的譜域表示，能夠充分考慮節(jié)點(diǎn)自身的特征信息及節(jié)點(diǎn)之間的關(guān)聯(lián)信息，更詳細(xì)深入地描述圖信息數(shù)據(jù)。圖卷積網(wǎng)絡(luò)目前已經(jīng)在交通預(yù)測(cè)、信息傳播、社交關(guān)系、生物結(jié)構(gòu)、動(dòng)作建模等領(lǐng)域得到廣泛應(yīng)用[13-17]。多路導(dǎo)聯(lián)電極采集的EEG數(shù)據(jù)，每個(gè)電極節(jié)點(diǎn)上的EEG 信號(hào)代表了所在大腦區(qū)域的神經(jīng)活動(dòng)信息，可以抽象為一個(gè)由點(diǎn)集和邊集組成的圖，因此圖卷積網(wǎng)絡(luò)也適合分析多節(jié)點(diǎn)的EEG信號(hào)。將圖卷積網(wǎng)絡(luò)應(yīng)用到運(yùn)動(dòng)想象腦電信號(hào)分析中，結(jié)合不同節(jié)點(diǎn)EEG信號(hào)的時(shí)頻特征和節(jié)點(diǎn)間的圖譜特征，可以從全腦域空間的關(guān)聯(lián)中去學(xué)習(xí)、提取有價(jià)值的高層特征信息，以提高運(yùn)動(dòng)想象的識(shí)別準(zhǔn)確率。本文的基本思路是通過(guò)不同通道的EEG 信號(hào)的相關(guān)性建立大腦圖結(jié)構(gòu)，再將每個(gè)電極上的EEG信號(hào)時(shí)頻特征作為每個(gè)節(jié)點(diǎn)的輸入特征，通過(guò)GCN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，完成不同運(yùn)動(dòng)想象動(dòng)作的識(shí)別。

1 基于圖卷積網(wǎng)絡(luò)的運(yùn)動(dòng)想象分類(lèi)模型

1.1 圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)分為譜域圖卷積網(wǎng)絡(luò)和空域圖卷積網(wǎng)絡(luò)[11-12]，其中譜域圖卷積網(wǎng)絡(luò)是在圖論的基礎(chǔ)上發(fā)展而來(lái)，根據(jù)圖譜理論和卷積定理將數(shù)據(jù)從空域轉(zhuǎn)到譜域進(jìn)行卷積處理，具有嚴(yán)格的理論基礎(chǔ)。本文采用圖譜卷積模型ChebNet[18]來(lái)進(jìn)行EEG圖信息識(shí)別。

為了對(duì)局部輸入維度可變，輸入排列無(wú)序的圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行卷積操作。Bruna等[19]首次提出了利用拉普拉斯矩陣來(lái)完成譜域圖卷積。對(duì)于N個(gè)頂點(diǎn)的無(wú)向圖G={E,V,W}，其中V是頂點(diǎn)的集合，E是邊的集合，W∈?N×N是該圖的鄰接矩陣。該圖的度矩陣為D∈?N×N,，該圖的拉普拉斯矩陣L=D-W，規(guī)一化的拉普拉斯矩陣L=In-D-1/2AD-1/2，In為單位矩陣。對(duì)L特征分解得到L=UΛUT，其中U=(u1,u2,…,un)∈?N×N為L(zhǎng)的特征向量矩陣，Λ=diag(λ0,λ1,…,λn)∈?N×N為特征值對(duì)角矩陣，ui∈?N,i=1,2,…,n,為L(zhǎng)的特征向量，λi為對(duì)應(yīng)的特征值。在譜域，x1、x2兩個(gè)信號(hào)的圖卷積定義為：

因此對(duì)于輸入信號(hào)x，經(jīng)過(guò)卷積核濾波器g∈?n的圖卷積運(yùn)算定義為：

如果將g表示為gθ=diag(UTg)，則x的圖卷積運(yùn)算可以簡(jiǎn)化為：

譜域卷積都是基于式（3）或者改進(jìn)而來(lái)的。ChebNet圖卷積網(wǎng)絡(luò)用切比雪夫（Chebyshev）多項(xiàng)式代替譜域的卷積核，gθ定義為切比雪夫多項(xiàng)式為T(mén)i(x)=2xTi-1(x)-Ti-2(x),T0(x)=1,T1(x)=x，因此ChebNet圖卷積運(yùn)算為：

ChebNet 圖卷積不需要對(duì)拉普拉斯矩陣做特征分解，而且卷積核只有K+1 個(gè)可學(xué)習(xí)的參數(shù)，參數(shù)的復(fù)雜度被大大降低，可以大大提高運(yùn)算速度。

1.2 系統(tǒng)模型框架

圖1 為本文基于圖卷積網(wǎng)絡(luò)的運(yùn)動(dòng)想象分類(lèi)模型。首先根據(jù)多路導(dǎo)聯(lián)節(jié)點(diǎn)所采集的EEG 信號(hào)建立EEG圖信息，包括EEG圖結(jié)構(gòu)和EEG信號(hào)特征；之后將EEG 信號(hào)特征作為圖卷積層的輸入特征。圖卷積層首先經(jīng)過(guò)ChebNet卷積計(jì)算，之后經(jīng)過(guò)激活層利用Rule函數(shù)進(jìn)行非線性變化，再經(jīng)過(guò)批標(biāo)準(zhǔn)化（batch normalization，BN）層對(duì)可學(xué)習(xí)參數(shù)進(jìn)行歸一化處理，加快訓(xùn)練的收斂速度，最后再經(jīng)過(guò)池化層進(jìn)行降采樣操作，減少運(yùn)算量，防止過(guò)擬合。本項(xiàng)目設(shè)置兩層圖卷積層，提取EEG圖信息的高層特征信息，最后再經(jīng)過(guò)一個(gè)全連接層和Softmax層輸出運(yùn)動(dòng)想象分類(lèi)（左右手、腳、舌頭等）。

圖1 基于圖卷積網(wǎng)絡(luò)的運(yùn)動(dòng)想象分類(lèi)模型Fig.1 Motion imagery classification model based on graph convolution network

2 運(yùn)動(dòng)想象腦電數(shù)據(jù)及特征提取

2.1 EEG大腦網(wǎng)絡(luò)

將每個(gè)導(dǎo)聯(lián)電極定義為圖中的一個(gè)節(jié)點(diǎn)，多路EEG信號(hào)就能抽象為一個(gè)由點(diǎn)集和邊集組成的圖G=(V,E)，其中V為節(jié)點(diǎn)的集合，對(duì)應(yīng)導(dǎo)聯(lián)節(jié)點(diǎn)，E為邊的集合，該圖的鄰接矩陣為W，節(jié)點(diǎn)i和節(jié)點(diǎn)j的權(quán)重ωi,j通過(guò)其所采集的EEG 信號(hào)的皮爾遜相關(guān)系數(shù)來(lái)表示，計(jì)算如下：

其中，EEGi和EEGj分別為第i個(gè)節(jié)點(diǎn)和第j個(gè)節(jié)點(diǎn)的EEG信號(hào)時(shí)間序列，D為方差，COV為協(xié)方差。

2.2 EEG腦電特征提取

本文分段獲取EEG信號(hào)的時(shí)頻特征作為圖卷積網(wǎng)絡(luò)的節(jié)點(diǎn)輸入特征，主要分為時(shí)域特征和頻域特征。時(shí)域特征包括EEG信號(hào)的標(biāo)準(zhǔn)差、均方根、信息熵三個(gè)指標(biāo)。頻域特征主要計(jì)算EEG信號(hào)在δ、θ、α、β四個(gè)頻段的能量譜值。時(shí)頻特征的計(jì)算如表1。因此每個(gè)節(jié)點(diǎn)的輸入特征為x=(xrms,xstd,xent,xEδ,xEθ,xEα,xEβ)，所有特征在經(jīng)標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化之后再輸入圖卷積網(wǎng)絡(luò)。

表1 EEG信號(hào)時(shí)頻特征Table 1 Time frequency features of EEG signal

2.3 實(shí)驗(yàn)數(shù)據(jù)介紹

本文的實(shí)驗(yàn)數(shù)據(jù)集采用的是BCI Competition IV Dataset 2a（http：//www.bbci.de/competition/iv/），運(yùn)動(dòng)想象的類(lèi)型有4種，分別為左手、右手、腳和舌頭。數(shù)據(jù)采集電極分布如圖2 所示，單極記錄所有信號(hào)，共有22 個(gè)EEG 通道和3 個(gè)EOG 通道，以左乳突為參照，右乳突為地信號(hào)。信號(hào)采樣頻率為250 Hz，帶通濾波范圍為0.5～100 Hz，放大器的靈敏度被設(shè)置為100 μV，另外一個(gè)50 Hz陷波濾波器被用來(lái)抑制線噪聲。

圖2 電極示意圖Fig.2 Electrode diagram

數(shù)據(jù)采集范式如圖3所示。在每一次實(shí)驗(yàn)開(kāi)始（0 s），會(huì)發(fā)有蜂鳴聲，之后屏幕出現(xiàn)一個(gè)固定的“十”字光標(biāo)，持續(xù)2 s，之后出現(xiàn)運(yùn)動(dòng)想象標(biāo)識(shí)，持續(xù)1.25 s，在第3 s到6 s為運(yùn)動(dòng)想象階段，之后休息，開(kāi)始下一次實(shí)驗(yàn)。數(shù)據(jù)集總共有9個(gè)人，每個(gè)人進(jìn)行6輪的運(yùn)動(dòng)想象采集，每一輪4種運(yùn)動(dòng)想象類(lèi)型實(shí)驗(yàn)各12次，因此每個(gè)人總共有288次的運(yùn)動(dòng)想象實(shí)驗(yàn)樣本作為訓(xùn)練數(shù)據(jù)集。另外還有相同數(shù)量的測(cè)試數(shù)據(jù)集。

圖3 實(shí)驗(yàn)EEG數(shù)據(jù)采集范式Fig.3 Experimental paradigm of EEG data

3 實(shí)驗(yàn)及結(jié)果分析

3.1 模型參數(shù)設(shè)置及訓(xùn)練

采用早停法（early stopping）來(lái)進(jìn)行模型訓(xùn)練，以獲取最優(yōu)的泛化性能，防止過(guò)擬合。將訓(xùn)練數(shù)據(jù)集的30%作為驗(yàn)證數(shù)據(jù)集，訓(xùn)練時(shí)只訓(xùn)練剩下的70%數(shù)據(jù)，訓(xùn)練停止的條件為：（1）以10個(gè)epoch為一個(gè)訓(xùn)練周期，在一個(gè)訓(xùn)練周期后，在驗(yàn)證集上驗(yàn)證測(cè)試結(jié)果，如果連續(xù)5個(gè)訓(xùn)練周期驗(yàn)證數(shù)據(jù)集的最低誤差值都沒(méi)有變化，則停止訓(xùn)練；（2）超過(guò)最大訓(xùn)練次數(shù)500，則停止訓(xùn)練。模型訓(xùn)練batch 大小設(shè)置為60，反向傳播訓(xùn)練，使用自適應(yīng)動(dòng)量估計(jì)優(yōu)化器（adaptive moment estimation，Adam）進(jìn)行參數(shù)學(xué)習(xí)，學(xué)習(xí)速率為0.000 1，采用交叉熵（cross entropy）指標(biāo)作為損失函數(shù)。

停止訓(xùn)練后對(duì)測(cè)試數(shù)據(jù)集進(jìn)行檢驗(yàn)，由準(zhǔn)確率Accuracy和kappa系數(shù)來(lái)衡量分類(lèi)結(jié)果。準(zhǔn)確率為運(yùn)動(dòng)想象正確識(shí)別的比例，kappa系數(shù)為：

其中，kappa 系數(shù)的計(jì)算基于混淆矩陣，p0即為分類(lèi)準(zhǔn)確率，pe為預(yù)期與實(shí)際一致性的概率。kappa系數(shù)用來(lái)表示分類(lèi)識(shí)別的一致性級(jí)別，如表2所示。

表2 kappa系數(shù)一致性Table 2 kappa coefficient consistency

3.2 模型參數(shù)分析

圖卷積層是本文運(yùn)動(dòng)想象分類(lèi)模型的核心，其參數(shù)設(shè)置決定了分類(lèi)的準(zhǔn)確率。ChebNet 的卷積核具有嚴(yán)格的空間局部性，其中切比雪夫多項(xiàng)式的階數(shù)K就是卷積核的“感受半徑”，K值越大，節(jié)點(diǎn)就能獲取更多其他節(jié)點(diǎn)的特征信息進(jìn)行聚合，但是也會(huì)加入更多的無(wú)關(guān)信息。另外，圖卷積層的數(shù)量，也會(huì)影響模型分類(lèi)的準(zhǔn)確率。不同的切比雪夫多項(xiàng)式的階數(shù)K和圖卷積層數(shù)對(duì)模型的分類(lèi)性能影響如圖4 所示，當(dāng)K取值為2，圖卷積層的層數(shù)取2時(shí)，可以得到最佳的分類(lèi)準(zhǔn)確率。

圖4 階數(shù)K 和圖卷積層數(shù)Fig.4 Order K and GCN layers

3.3 實(shí)驗(yàn)結(jié)果

對(duì)于BCI Competition IV Dataset 2a數(shù)據(jù)集，本文所介紹的圖卷積網(wǎng)絡(luò)模型取得的準(zhǔn)確率和kappa系數(shù)如表3所示。9名受試者4種運(yùn)動(dòng)想象類(lèi)型的識(shí)別準(zhǔn)確率達(dá)到80.9%，平均kappa系數(shù)為0.74，能夠取得較好的分類(lèi)效果。

表3 9名受試者實(shí)驗(yàn)結(jié)果Table 3 Experimental results of 9 subjects

9名受試者在測(cè)試數(shù)據(jù)集上的分類(lèi)結(jié)果混淆矩陣如圖5 所示。每個(gè)子圖為每名受試者的混淆矩陣，橫、縱坐標(biāo)代表預(yù)測(cè)和實(shí)際的運(yùn)動(dòng)想象分類(lèi)類(lèi)型（LH、LR 為左、右手，F(xiàn) 為腳，T 為舌頭），中間數(shù)值為對(duì)應(yīng)分類(lèi)概率。根據(jù)kappa 系數(shù)，有4 名受試者取得了幾乎完全一致的識(shí)別效果，有3 名受試者取得高度一致的識(shí)別效果，Subject2和6受試者的識(shí)別效果相對(duì)較差（中等識(shí)別效果），主要是由于腦電信號(hào)采集時(shí)干擾較大、不穩(wěn)定和樣本數(shù)量不足。另外，由于圖卷積網(wǎng)絡(luò)屬于非結(jié)構(gòu)化數(shù)據(jù)的深度學(xué)習(xí)算法，其本質(zhì)是收集網(wǎng)絡(luò)中不同節(jié)點(diǎn)的特征進(jìn)行聚合和傳遞，進(jìn)而選擇節(jié)點(diǎn)最優(yōu)的高層抽象特層，因此如果樣本數(shù)量不足會(huì)導(dǎo)致無(wú)法訓(xùn)練學(xué)習(xí)到最佳的譜域和時(shí)頻域特征，影響算法的泛化性能。

圖5 受試者分類(lèi)結(jié)果混淆矩陣Fig.5 Confusion matrix of subject classification results

3.4 方法比較

為了評(píng)價(jià)驗(yàn)證本文所提出圖卷積模型的有效性，與其他文獻(xiàn)的方法進(jìn)行比較，分類(lèi)的準(zhǔn)確率如表4所示。

表4 不同方法比較結(jié)果Table 4 Comparison results of different methods

FBCSP[3]屬于經(jīng)典CSP 算法的改進(jìn)，主要是利用腦電信號(hào)矩陣找到一組最優(yōu)空間濾波器進(jìn)行投影，再結(jié)合機(jī)器學(xué)習(xí)分類(lèi)算法進(jìn)行識(shí)別；FDBN[7]通過(guò)快速傅立葉變換和小波包分解獲取EEG 信號(hào)的頻域數(shù)據(jù)，再利用三個(gè)波爾茲曼機(jī)來(lái)訓(xùn)練；Shallow ConvNet 和Hybrid ConvNet[6]采用兩種類(lèi)型的CNN網(wǎng)絡(luò)來(lái)處理EEG數(shù)據(jù)，Shallow ConvNet卷積核長(zhǎng)度較長(zhǎng)，網(wǎng)絡(luò)層數(shù)較少，Hybrid ConvNet 卷積核長(zhǎng)度較短，網(wǎng)絡(luò)層數(shù)多；AX-LSTM[8]采用時(shí)間序列的符號(hào)化表示EEG 數(shù)據(jù)，再通過(guò)信道加權(quán)引入一組空間濾波器作為隱藏層，將其輸出反饋給LSTM 網(wǎng)絡(luò)以完成分類(lèi)識(shí)別。本文則是將EEG 腦電圖轉(zhuǎn)化為圖結(jié)構(gòu)信息，再利用圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)圖譜域和時(shí)頻域信息，完成運(yùn)動(dòng)想象分類(lèi)，在四分類(lèi)問(wèn)題上可以取得較好的分類(lèi)效果。

4 結(jié)束語(yǔ)

本文提出了一種基于圖卷積網(wǎng)絡(luò)的EEG信號(hào)運(yùn)動(dòng)想象識(shí)別方法，根據(jù)多路導(dǎo)聯(lián)節(jié)點(diǎn)采集的EEG 信號(hào)建立節(jié)點(diǎn)的關(guān)聯(lián)圖結(jié)構(gòu)，并提取每個(gè)節(jié)點(diǎn)上EEG 信號(hào)的時(shí)頻特征作為輸入特征進(jìn)行譜域圖卷積運(yùn)算，獲取大腦圖信息的高層、抽象特征，最后通過(guò)全連接層輸出想象分類(lèi)結(jié)果。在BCI Competition IV Dataset 2a 數(shù)據(jù)集上取得80.9%的準(zhǔn)確率和0.74的kappa系數(shù)。本文方法在提取EEG 信號(hào)特征時(shí)既考慮信號(hào)的時(shí)頻特征，又結(jié)合節(jié)點(diǎn)網(wǎng)絡(luò)的譜域空間信息，因此能取得較好的分類(lèi)效果，為多路EEG 信號(hào)的運(yùn)動(dòng)想象分類(lèi)識(shí)別提供一種新的思路。