基于WCSP-LSTM的腦電運(yùn)動(dòng)想象意圖識(shí)別研究

甘亞奇， 李楠軒， 孫云梅

(1. 桂林電子科技大學(xué)， 廣西 桂林 541010;2. 北京東華合創(chuàng)科技有限公司， 北京 100086;3. 北京無線電測(cè)量研究所， 北京 100843)

0 引 言

腦機(jī)接口(Brain-Computer Interface, BCI)直接連接大腦和外部設(shè)備，無需肌肉和周圍運(yùn)動(dòng)神經(jīng)參與，進(jìn)行通信并控制外部設(shè)備。1973年，文獻(xiàn)[1]首次提出BCI這個(gè)概念，與在設(shè)備之間傳輸非生命信息的傳統(tǒng)電子接口不同，BCI在大腦和非生命設(shè)備之間架起一座通信橋梁[2]。

運(yùn)動(dòng)想象(Motor Imagery, MI)被定義為沒有任何的運(yùn)動(dòng)輸出，僅憑大腦想象給定運(yùn)動(dòng)的思維過程[3]。MI作為一種高級(jí)的認(rèn)知過程，已廣泛地應(yīng)用于運(yùn)動(dòng)技能學(xué)習(xí)、神經(jīng)康復(fù)和BCI等領(lǐng)域[4-5]?；贛I的BCI系統(tǒng)(MI-BCIs)通過從大腦信號(hào)中獲得的不同任務(wù)進(jìn)行分類，將受試者的運(yùn)動(dòng)意圖轉(zhuǎn)化為命令[6-7]。研究表明，通過MI-BCIs反復(fù)刺激受傷的運(yùn)動(dòng)皮層，激活周圍的運(yùn)動(dòng)神經(jīng)細(xì)胞，可以幫助運(yùn)動(dòng)功能障礙病例恢復(fù)運(yùn)動(dòng)能力[8]。文獻(xiàn)[9]在MI-BCIs上提出促進(jìn)恢復(fù)的神經(jīng)式腦運(yùn)動(dòng)療法，可以達(dá)到較好的康復(fù)效果。文獻(xiàn)[10]在MI-BCIs中使用功能性電刺激(Functional Electrical Stimulation, FES)作為反饋，發(fā)現(xiàn)BCI-FES系統(tǒng)可有效恢復(fù)中風(fēng)病例上肢的運(yùn)動(dòng)功能。

皮層腦電圖(Electrocorticography, ECoG)常用于自發(fā)的運(yùn)動(dòng)動(dòng)作或MI中產(chǎn)生的α波，β波和γ波的分析[11]，大腦活動(dòng)中的控制信號(hào)事件相關(guān)電位(Event Related Potential, ERP)，感知運(yùn)動(dòng)節(jié)律相關(guān)的MI已經(jīng)在基于ECoG的BCI系統(tǒng)中得到廣泛應(yīng)用。文獻(xiàn)[12]在1999年提出利用ECoG進(jìn)行ERP的識(shí)別完成動(dòng)作分類。文獻(xiàn)[13]提出BCI系統(tǒng)的MI訓(xùn)練中ECoG演變過程的中的三個(gè)典型周期，從而推動(dòng)基于ECoG的BCI系統(tǒng)的設(shè)計(jì)和發(fā)展。文獻(xiàn)[14]提出使用改進(jìn)S變換進(jìn)行光譜時(shí)間表示來表征腦電活動(dòng)的方法。使用支持向量機(jī)來進(jìn)行分類，該方法在公共ECoG數(shù)據(jù)集上進(jìn)行評(píng)估，達(dá)到98%的準(zhǔn)確率，研究證明該方法在認(rèn)知任務(wù)中的實(shí)時(shí)BCI系統(tǒng)的潛力。

原始的腦電圖(electroencephalography, EEG)/ECoG信號(hào)直接應(yīng)用到MI-BCIs中無法達(dá)到很好的效果，研究者們致力于尋找最優(yōu)的特征提取方法提高M(jìn)I-BCIs的系統(tǒng)性能。傳統(tǒng)的特征提取方法主要包括：時(shí)域、頻域和空域等。時(shí)域的分析一般采用直接提取腦電時(shí)序特征的方法，但是分析后的信號(hào)摻雜較多的噪聲。傅里葉變換、S變換以及功率譜密度是主要的頻域的分析方法。傳統(tǒng)的時(shí)頻方法包括短時(shí)傅里葉變換、小波變換和希爾伯特黃變換等。單一的特征不能很好地表征EEG/ECoG特征，文獻(xiàn)[15]提出一種融合特征的方法，主要使用離散小波變換、排列熵(Common Spatial Pattern, CSP)三種特征融合，結(jié)果表明這個(gè)融合特征能夠有效的提升BCI性能。文獻(xiàn)[16]提出一種基于EEG的人員識(shí)別的時(shí)空密集架構(gòu)，首先使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)提取原始EEG的空間特征，然后使用長(zhǎng)短期記憶 (Long-Short-Term Memory, LSTM)網(wǎng)絡(luò)處理時(shí)間特征并進(jìn)行人員識(shí)別，實(shí)驗(yàn)結(jié)果證明所提出的架構(gòu)在人員識(shí)別方面具有很好的魯棒性。其中CSP是時(shí)空域特征提取的代表方法，它可以很好地提取EEG/ECoG的特定信號(hào)成分。文獻(xiàn)[17]通過方差分析來確定最佳的實(shí)驗(yàn)時(shí)間段，然后采用CSP算法進(jìn)行特征提取來實(shí)現(xiàn)對(duì)健康對(duì)照組、輕度抑郁癥病例、重度抑郁癥病例的EEG三分類。傳統(tǒng)的特征提取方法大多是手工完成的，整個(gè)過程需要較強(qiáng)的算法技術(shù)支撐。然而，目前我們對(duì)大腦的探索尚不完善，在特征提取的過程中也容易造成信息的丟失，如何有效提取EEG/ECoG特征是MI-BCIs應(yīng)用的挑戰(zhàn)之一。

隨著計(jì)算機(jī)處理性能的提高，深度學(xué)習(xí)方法在處理腦電信號(hào)方面已成為熱點(diǎn)[18]。基于深度學(xué)習(xí)的CNN、遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)和生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)已經(jīng)應(yīng)用到基于EEG的MI-BCIs中。獲取EEG數(shù)據(jù)通常耗時(shí)、費(fèi)力且成本高昂，對(duì)訓(xùn)練強(qiáng)大但需要大量數(shù)據(jù)的深度學(xué)習(xí)模型提出了實(shí)際的挑戰(zhàn)，文獻(xiàn)[19]提出一種基于循環(huán)一致對(duì)抗網(wǎng)絡(luò)(Cycle Generative Adversarial Networks, CycleGAN)替代EEG數(shù)據(jù)生成的系統(tǒng)，使用EEG2Image將EEG數(shù)據(jù)轉(zhuǎn)換為腦地形圖，使用CycleGAN來學(xué)習(xí)和生成腦卒中病例的EEG數(shù)據(jù)。針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在MI-BCIs的分類性能較差的現(xiàn)象，文獻(xiàn)[20]將CNN和LSTM相結(jié)合，提出一種神經(jīng)網(wǎng)絡(luò)特征融合算法，為MI-BCIs的特征提取和分類研究提供新思路。文獻(xiàn)[21]提出一種通過數(shù)據(jù)增強(qiáng)算法來分類的一維卷積神經(jīng)網(wǎng)絡(luò)，促進(jìn)了BCI的發(fā)展。與CNN相比，RNN在時(shí)序信號(hào)建模方面更有效，更適用于EEG/ECoG時(shí)序信號(hào)。但是在RNN的訓(xùn)練過程中容易出現(xiàn)梯度消失或者梯度爆炸的問題，為了保持模型的有效性，在RNN引入了LSTM單元。文獻(xiàn)[22]提出一種基于遷移學(xué)習(xí)的CNN和LSTM混合深度學(xué)習(xí)模型，用于對(duì)運(yùn)動(dòng)想象腦電信號(hào)進(jìn)行分類。文獻(xiàn)[23]引入LSTM模型來解碼多通道EEG/ECoG，實(shí)現(xiàn)MI-BCIs性能的顯著提升。為了實(shí)現(xiàn)運(yùn)動(dòng)想象任務(wù)有效的分類，文獻(xiàn)[24]采用一維聚合近似來提取LSTM網(wǎng)絡(luò)的有效信號(hào)表示，受經(jīng)典CSP算法的啟發(fā)，進(jìn)一步部署了通道加權(quán)技術(shù)來提高所提出的分類框架的有效性。

本文提出重疊式加窗式的CSP-LSTM(Window CSP-LSTM，WCSP-LSTM)進(jìn)行運(yùn)動(dòng)想象意圖識(shí)別，采用WCSP可以很好地描述ECoG的時(shí)空域特征，結(jié)合LSTM進(jìn)行深層次特征表征，然后送入全連接(Fully Connected, FC)層進(jìn)行運(yùn)動(dòng)想象意圖識(shí)別，同時(shí)通過腦網(wǎng)絡(luò)分析癲癇病例在執(zhí)行MI的運(yùn)動(dòng)功能機(jī)制，為病例的康復(fù)提供一種新的神經(jīng)調(diào)控指標(biāo)。實(shí)驗(yàn)結(jié)果表明本文提出的WCSP-LSTM算法在基于ECoG的MI-BCIs系統(tǒng)中具有很好的分類效果，證明了本文算法的有效性。

1 相關(guān)工作

通過MI-BCIs將受試者的運(yùn)動(dòng)意圖轉(zhuǎn)化為命令，同時(shí)通過反復(fù)MI，刺激腦部受損運(yùn)動(dòng)皮層部位，重新激活周圍運(yùn)動(dòng)神經(jīng)細(xì)胞，重建患者的運(yùn)動(dòng)功能[6-8]。BCI是大腦與自然之間的通信媒介[2]。換言之，BCI將大腦生成的信號(hào)轉(zhuǎn)換為輸出，而不是依賴于周圍神經(jīng)和肌肉，并將使用者的意圖直接傳輸?shù)酵獠吭O(shè)備[19]。MI-BCIs主要包括三個(gè)部分，分別是信號(hào)采集、信號(hào)處理和應(yīng)用，如圖1所示。腦電信號(hào)是BCI系統(tǒng)的基礎(chǔ)，電極記錄腦電信號(hào)的方式有兩種，包括侵入式和非侵入式。ECoG和單神經(jīng)記錄屬于侵入式。EEG和腦磁圖(Magnetoencephalography, MEG)記錄[11]屬于非侵入式?；贓EG的BCI系統(tǒng)是非侵入式BCI系統(tǒng)的代表之一，也是應(yīng)用最廣泛的BCI系統(tǒng)?；贓CoG的BCI系統(tǒng)是侵入式系統(tǒng)的主要代表之一[26]，雖然需要在大腦皮層植入電極，具有創(chuàng)傷風(fēng)險(xiǎn)，但是由于具備幅值高，信噪比高等優(yōu)點(diǎn)，近幾年受到研究者們的廣泛關(guān)注。Pradeepkumar等使用LSTM網(wǎng)絡(luò)對(duì)ECoG進(jìn)行分類，對(duì)手勢(shì)進(jìn)行解碼，所提出的方法達(dá)到82.4%的平均分類準(zhǔn)確率[25]。

圖1 MI-BCIs系統(tǒng)框架

本文構(gòu)建WCSP-LSTM腦電信號(hào)處理算法，應(yīng)用于基于ECoG的BCI系統(tǒng)進(jìn)行運(yùn)動(dòng)想象任務(wù)判別。

2 基于WCSP-LSTM的模型

2.1 模型概述

本文構(gòu)建WCSP-LSTM模型進(jìn)行運(yùn)動(dòng)想象意圖識(shí)別，首先對(duì)ECoG進(jìn)行加窗式處理，構(gòu)建WCSP時(shí)空域，送入LSTM進(jìn)行深層次特征表征；然后，送入FC層進(jìn)行運(yùn)動(dòng)想象任務(wù)判別。所提出的算法在國(guó)際公開BCI競(jìng)賽III數(shù)據(jù)庫(kù)I中的ECoG數(shù)據(jù)集中進(jìn)行性能評(píng)估。

2.2 WCSP模塊

首先對(duì)癲癇病例的ECoG數(shù)據(jù)進(jìn)行預(yù)處理，主要包括濾波和時(shí)間窗處理兩部分。對(duì)ECoG數(shù)據(jù)采用巴特沃斯濾波，由于運(yùn)動(dòng)想象的腦電信號(hào)波動(dòng)大多出現(xiàn)在α波段和β波段中，并且要剔除掉高頻眼電偽跡的影響，所以選取8 Hz～30 Hz的頻段。本文使用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)舌尖動(dòng)和左小拇指動(dòng)兩類運(yùn)動(dòng)想象分類識(shí)別，需要大量的數(shù)據(jù)進(jìn)行深層次特征表征。由于所使用的數(shù)據(jù)集中數(shù)據(jù)量太少，本文提出了一種時(shí)間窗處理方法，針對(duì)原始數(shù)據(jù)進(jìn)行1 000 ms時(shí)間窗處理從而增大數(shù)據(jù)量。選取0 ms～1 000 ms，500 ms～1 500 ms，1 000 ms～2 000 ms，1 500 ms～2 500 ms，2 000 ms～3 000 ms這五個(gè)時(shí)間窗對(duì)原始數(shù)據(jù)進(jìn)行截取，原始的ECoG信號(hào)訓(xùn)練集和測(cè)試集構(gòu)成是278×64×3 000和100×64×3 000三維矩陣，其中第一維是實(shí)驗(yàn)次數(shù)，第二維是通道數(shù)，第三維是采樣點(diǎn)數(shù)，通過時(shí)間窗處理之后，訓(xùn)練集和測(cè)試集構(gòu)成是1 390×64×1 000和500×64×1 000，其中第一維是加窗之后的總次數(shù)，第二維是通道數(shù)，第三維是加窗采樣點(diǎn)數(shù)。

對(duì)預(yù)處理之后的ECoG進(jìn)行特征提取，主要采用WCSP的時(shí)空域分析方法。CSP算法的基本原理是利用矩陣的對(duì)角化，找到一組最優(yōu)空間濾波器進(jìn)行投影，使得兩類信號(hào)的方差值差異最大化，從而得到具有較高區(qū)分度的特征向量[27]。

假設(shè)X1和X2分別為兩分類想象運(yùn)動(dòng)任務(wù)下的多通道誘發(fā)響應(yīng)時(shí)-空信號(hào)矩陣,維數(shù)均為N×T,N為腦電通道數(shù)，T為每個(gè)通道所采集的樣本數(shù)。為了計(jì)算其協(xié)方差矩陣，假設(shè)N

(1)

式中：S1和S2分別代表兩種類型任務(wù)。假設(shè)兩種信號(hào)源是相互線性獨(dú)立的；Sm代表兩種類型任務(wù)下所共同擁有的源信號(hào)，假設(shè)S1是由m1個(gè)源所構(gòu)成的，S2是由m2個(gè)源所構(gòu)成，則C1和C2便是由S1和S2相關(guān)的m1和m2個(gè)共同空間模式組成的。由于每個(gè)空間模式都是一個(gè)N×1維的向量，現(xiàn)在用該向量來表示單個(gè)的源信號(hào)所引起的信號(hào)在N個(gè)導(dǎo)聯(lián)上的分布權(quán)重。CM表示的是與Sm相應(yīng)的共有的空間模式。CSP算法的目標(biāo)就是要設(shè)計(jì)空間濾波器F1和F2得到空間因子W。

首先需要求解協(xié)方差矩陣，時(shí)空信號(hào)矩陣X1和X2歸一化的協(xié)方差矩陣R1和R2。

(2)

(3)

式中：Ri分別為任務(wù)1,2的平均協(xié)方差矩陣。

第二步需要構(gòu)建空間濾波器，首先需要求解正交白化變換求白化特征矩陣P，由于混合空間協(xié)方差矩陣R是正定矩陣，將協(xié)方差矩陣按照分解定理進(jìn)行特征分解：

R=UλUT

(4)

式中：U是特征向量矩陣；λ為對(duì)應(yīng)的特征值的對(duì)角陣，按特征值按降序排列，白化轉(zhuǎn)換U可得：

(5)

然后構(gòu)建空間濾波器，將矩陣P作用于C1和C2可得：

S1=PR1PT

S2=PR2PT

(6)

S1、S2具有公共特征向量，且存在兩個(gè)對(duì)角矩陣λ1、λ2和相同的特征向量矩陣B, 對(duì)S1、S2進(jìn)行主分量分解，可得：

S1=Bλ1BT

S2=Bλ2BT

(7)

且兩個(gè)特征值的對(duì)角陣λ1和λ2之和為單位矩陣：

λ1+λ2=I

(8)

由式(8)可知，若λ1中的特征值按照降序排列，則λ2中對(duì)應(yīng)的特征值按升序排列。由于λ1、λ2為S1、S2的對(duì)角矩陣，所以對(duì)于特征向量矩陣B，當(dāng)S1取最大的特征值時(shí)，S2具有最小的特征值。因此可以利用矩陣B實(shí)現(xiàn)兩類問題的分類，由此得到投影矩陣W為

W=BTP

(9)

投影矩陣W就是對(duì)應(yīng)的空間濾波器。

最后進(jìn)行特征提取將訓(xùn)練集的運(yùn)動(dòng)想象矩陣XL和XR經(jīng)過濾波器W濾波可得特征ZL和ZR為

ZR=W×XR

ZL=W×XL

(10)

對(duì)于測(cè)試數(shù)據(jù),其特征向量提取方式為

(11)

將fi與fL和fR進(jìn)行比較以確定第i次想象為想象左還是想象右。根據(jù)CSP特征提取的定義，其中fL和fR的定義為

(12)

本文對(duì)癲癇病例的舌尖和左小拇指兩類MI任務(wù)下進(jìn)行時(shí)空域特征提取，從64通道的ECoG數(shù)據(jù)里面提取出每一類的空間分布成分，利用矩陣的對(duì)角化，找到一組最優(yōu)空間濾波器進(jìn)行投影，使得兩類的方差值差異最大化，從而得到具有較高區(qū)分度的特征向量。

2.3 LSTM-FC模塊

將WCSP的時(shí)空域特征送入LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行深層次特征表征，然后利用FC層進(jìn)行運(yùn)動(dòng)意圖識(shí)別。LSTM模型對(duì)其隱藏層結(jié)構(gòu)進(jìn)行了改造，增加一個(gè)可以控制長(zhǎng)期狀態(tài)的細(xì)胞狀態(tài)，如圖2所示。遺忘門、輸入門和輸出門三個(gè)門函數(shù)可以有效地控制當(dāng)前長(zhǎng)時(shí)狀態(tài)的記憶，解決了長(zhǎng)時(shí)依賴問題，使得網(wǎng)絡(luò)可以輕松記憶長(zhǎng)時(shí)信息。

LSTM的隱藏層中包含一個(gè)細(xì)胞狀態(tài)ct和隱藏狀態(tài)ht，可以定義為

(13)

ht=ot·tanh(ct)

(14)

(15)

式中：ct表示用于更新的候選值[28]，it,ft,ot分別為輸入門、遺忘門和輸出門的輸出。

公式(16)～(18)分別表示的是輸入門、遺忘門和輸出門，其中輸入門控制輸入信息是否在隱藏狀態(tài)下更新，輸出門控制在當(dāng)前時(shí)間步存儲(chǔ)的隱藏狀態(tài)信息量，遺忘門控制前一個(gè)狀態(tài)對(duì)導(dǎo)出當(dāng)前狀態(tài)的貢獻(xiàn)。

ft=σ(wf·[ht-1,xt]+bf)

(16)

it=σ(wi·[ht-1,xt]+bi)

(17)

ot=σ(wo·[ht-1,xt]+bo)

(18)

隨著時(shí)間步長(zhǎng)的推移，LSTM可以根據(jù)門機(jī)制是否閉合來選擇是否讀入、寫進(jìn)和重置當(dāng)前細(xì)胞狀態(tài)ct的信息。其中，遺忘門是LSTM中最關(guān)鍵的組成部分之一，可以直接影響LSTM的性能。LSTM的三個(gè)門通過不同的參數(shù)控制細(xì)胞狀態(tài)存儲(chǔ)先前狀態(tài)信息的強(qiáng)度、更新輸入量大小以及輸出量的多少[29]。

將LSTM神經(jīng)網(wǎng)絡(luò)提取的深層次特征送入FC層進(jìn)行運(yùn)動(dòng)想象任務(wù)判別。本文使用的FC層神經(jīng)網(wǎng)絡(luò)的前兩層隱藏層(h1，h2)神經(jīng)元的數(shù)目為v1=32，v2=16。第三層隱藏層將之前的輸出匯集成值z(mì)并輸入Softmax激活函數(shù)得出結(jié)果。

本文構(gòu)建WCSP-LSTM模型用于包含運(yùn)動(dòng)想象的ECoG信號(hào)的深層次特征表征和運(yùn)動(dòng)想象意圖識(shí)別。首先，對(duì)經(jīng)過巴特沃斯濾波器的ECoG信號(hào)進(jìn)行WCSP時(shí)空域特征提??；其次，引入LSTM-FC網(wǎng)絡(luò)對(duì)WCSP特征進(jìn)行深層次特征表征和運(yùn)動(dòng)想象意圖識(shí)別，其總體流程如圖3所示。

圖3 WCSP-LSTM系統(tǒng)框架圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文采用國(guó)際公開BCI競(jìng)賽III數(shù)據(jù)庫(kù)I中的ECoG數(shù)據(jù)集來評(píng)估所提出算法的有效性。采集腦電的通道數(shù)目為64，腦電信號(hào)的釆樣頻率為1 kHz。數(shù)據(jù)集中包括訓(xùn)練集和測(cè)試集，儲(chǔ)存格式為“實(shí)驗(yàn)次數(shù)×信道數(shù)目×樣本數(shù)目”。訓(xùn)練集中包括278個(gè)實(shí)驗(yàn)，數(shù)據(jù)集結(jié)構(gòu)為278×64×3 000。測(cè)試集中包括100個(gè)實(shí)驗(yàn)，數(shù)據(jù)集結(jié)構(gòu)為100×64×3 000。本實(shí)驗(yàn)中包含舌頭和左小手指二類運(yùn)動(dòng)想象任務(wù)。訓(xùn)練集中每一類運(yùn)動(dòng)想象任務(wù)的實(shí)驗(yàn)次數(shù)為139次。數(shù)據(jù)集是由波恩大學(xué)癲癇分院提供，數(shù)據(jù)來源于病灶性癲癇病例，在病例大腦右半球運(yùn)動(dòng)皮層表面放置一個(gè)網(wǎng)格狀鉑電極，尺寸為包括64個(gè)用來記錄數(shù)據(jù)的信道，如圖4(a)所示。為了本文算法描述的方便性，我們給出信道的位置做了定義，其順序如圖4(b)所示。

圖4 電極位置及分布圖

實(shí)驗(yàn)采集過程中，首先在病例的大腦皮層植入電極并保持一周用來記錄數(shù)據(jù)。數(shù)據(jù)記錄是在一周內(nèi)不同的二天完成。整個(gè)實(shí)驗(yàn)過程中，用戶面對(duì)電腦屏幕，根據(jù)要求重復(fù)想象伸舌頭和左小指的運(yùn)動(dòng)。每次想象過程開始時(shí)屏幕上出現(xiàn)一個(gè)運(yùn)動(dòng)想象任務(wù)的圖像。為了避免視覺激發(fā)電位，圖像提示1 s后開始采集信號(hào)。圖5描述一次實(shí)驗(yàn)中的腦電數(shù)據(jù)采集過程。

圖5 數(shù)據(jù)采集過程

3.2 結(jié)果分析

首先，基于WCSP-LSTM系統(tǒng)模型對(duì)深層次進(jìn)行可視化；然后，針對(duì)WCSP特征、相位鎖定值(Phase Locking Value, PLV)+CSP融合特征以及WCSP-LSTM特征進(jìn)行對(duì)比分析并驗(yàn)證算法有效性；最后，利用PLV來構(gòu)建腦網(wǎng)絡(luò)對(duì)左小拇手指動(dòng)和舌尖動(dòng)兩類運(yùn)動(dòng)想象任務(wù)進(jìn)行網(wǎng)絡(luò)機(jī)制的對(duì)比研究。

3.2.1WCSP-LSTM深層次特征可視化

基于WCSP-LSTM系統(tǒng)模型對(duì)于經(jīng)過WCSP的特征之后進(jìn)入LSTM進(jìn)行深層次的特征提取，并對(duì)深層次特征進(jìn)行可視化展示，按照訓(xùn)練集和測(cè)試集的先后順序?qū)?shù)據(jù)進(jìn)行處理和可視化，由于數(shù)據(jù)量過大，對(duì)深層次特征通過三幅圖展示如圖6所示。

3.2.2算法性能

為了驗(yàn)證本文所提出LSTM深層次特征的有效性，本文針對(duì)WCSP特征、PLV+CSP融合特征以及WCSP-LSTM特征進(jìn)行對(duì)比分析，分別采用支持向量機(jī)(Support Vector Machines，SVM)、隨機(jī)森林以及梯度提升三種傳統(tǒng)分類器與LSTM-FC神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)想象任務(wù)判別，如表1所示。

表1 WCSP-LSTM特征與傳統(tǒng)特征的比較 %

表1顯示三種傳統(tǒng)分類器對(duì)WCSP與PLV+CSP特征進(jìn)行識(shí)別，其中融合特征PLV+CS的識(shí)別效果優(yōu)于WCSP特征。三種傳統(tǒng)分類器對(duì)兩種特征識(shí)別中SVM對(duì)融合特征PLV+CSP的識(shí)別效果最好，準(zhǔn)確率能夠達(dá)到73%，優(yōu)于其他兩種分類器。相比較于傳統(tǒng)分類器，包含LSTM深層次特征的模型所得到的分類準(zhǔn)確率最高，能達(dá)到93.423%，比傳統(tǒng)特征的分類準(zhǔn)確率差值最高達(dá)23.423%。

本文對(duì)基于WCSP提取之后的ECoG數(shù)據(jù)利用LSTM進(jìn)行深層次特征表征，利用FC網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)想象任務(wù)判別，對(duì)融合特征PLV+CSP進(jìn)一步利用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)想象意圖識(shí)別，發(fā)現(xiàn)WCSP深層次表征的運(yùn)動(dòng)想象意圖識(shí)別效果明顯優(yōu)于融合特征PLV+CSP運(yùn)動(dòng)想象意圖識(shí)別的效果。表2描述WCSP和PLV+CSP進(jìn)行LSTM深層次表征后，進(jìn)入FC層進(jìn)行運(yùn)動(dòng)想象意圖識(shí)別的結(jié)果，并且進(jìn)行了十折的交叉驗(yàn)證。交叉驗(yàn)證包括從1～10次的十折的交叉驗(yàn)證結(jié)果。其中WCSP的分類準(zhǔn)確率最高為100%，PLV+CSP的分類準(zhǔn)確率最高為92.11%，WCSP的分類準(zhǔn)確率比PLV+CSP的分類準(zhǔn)確率高出7.89%。WCSP的交叉驗(yàn)證平均準(zhǔn)確率為93.423%，PLV+CSP的交叉驗(yàn)證平均準(zhǔn)確率為83.158%，WCSP的交叉驗(yàn)證平均準(zhǔn)確率比PLV+CSP的交叉驗(yàn)證平均準(zhǔn)確率高出10.265%。

3.2.3腦網(wǎng)絡(luò)分析

圖7表示對(duì)癲癇病例舌尖運(yùn)動(dòng)想象和左小拇指運(yùn)動(dòng)想象兩組鄰接矩陣進(jìn)行t檢驗(yàn)，并進(jìn)行錯(cuò)誤發(fā)現(xiàn)率校驗(yàn)形成的差異網(wǎng)絡(luò)圖。圖7中藍(lán)色線表示癲癇病例在進(jìn)行舌尖運(yùn)動(dòng)想象時(shí)比左小拇指運(yùn)動(dòng)想象時(shí)的連接性強(qiáng)，紅色則相反。從圖中可以觀察到在進(jìn)行舌尖動(dòng)運(yùn)動(dòng)想象時(shí)右側(cè)腦區(qū)的各個(gè)電極節(jié)點(diǎn)之間的連接密度更高。通過圖7兩類運(yùn)動(dòng)想象腦網(wǎng)絡(luò)差異性可以看出舌尖動(dòng)比左小拇手指動(dòng)各個(gè)節(jié)點(diǎn)之間的連接性更強(qiáng)，連接密度更高。

表2 所提出算法與融合特征的交叉驗(yàn)證準(zhǔn)確率對(duì)比 %

圖7 癲癇病例舌尖運(yùn)動(dòng)想象和左小拇指運(yùn)動(dòng)想象差異網(wǎng)絡(luò)圖

4 結(jié) 語

1)本文提出的WCSP-LSTM深層次特征進(jìn)行對(duì)癲癇病例的運(yùn)動(dòng)想象意圖識(shí)別，由于ECoG采集難度較大數(shù)據(jù)量過少，為擴(kuò)充數(shù)據(jù)量，本文提出一種加窗式的CSP特征提取方法，以1 000 ms的時(shí)間窗長(zhǎng)度進(jìn)行切割，結(jié)合LSTM進(jìn)行深層次特征表征，通過FC進(jìn)行任務(wù)判別。實(shí)驗(yàn)結(jié)果表明基于WCSP-LSTM深層次特征進(jìn)行運(yùn)動(dòng)想象識(shí)別的效果明顯優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)分類，所得到的分類準(zhǔn)確率最高能達(dá)到93.423%，比傳統(tǒng)特征的分類準(zhǔn)確率差值最高達(dá)23.423%。

2)本文提出的WCSP特征進(jìn)一步與融合特征PLV+CSP比較，利用LSTM進(jìn)行深層次的特征提取，通過FC神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)動(dòng)想象任務(wù)判別，分類準(zhǔn)確率最高為100%，交叉驗(yàn)證平均準(zhǔn)確率為93.423%，比PLV+CSP的交叉驗(yàn)證平均準(zhǔn)確率高出10.265%，充分說明本文提出的WCSP特征可以有效地捕捉MI過程中腦活動(dòng)的基本信息。

3)本文提出使用PLV對(duì)癲癇病例在執(zhí)行運(yùn)動(dòng)想象時(shí)的特征進(jìn)行可視化，發(fā)現(xiàn)右腦的連接更加緊密而且枕葉和頂葉之間的連接性更強(qiáng)，可以更好地理解癲癇病例運(yùn)動(dòng)意圖以及功能障礙的腦網(wǎng)絡(luò)機(jī)制，為臨床康復(fù)提供更可靠的定量分析方法。

本文所提出的算法側(cè)重于提取ECoG有效的深層次特征來實(shí)現(xiàn)精準(zhǔn)MI意圖識(shí)別。在未來的工作中，將更多ECoG的數(shù)據(jù)用于WCSP-LSTM算法中，進(jìn)一步提高M(jìn)I-BCIs的性能。