融合頻帶能量特征和雙向門(mén)控循環(huán)單元的運(yùn)動(dòng)想象意圖識(shí)別

韓向可，郭士杰

(1.河北工業(yè)大學(xué)機(jī)械工程學(xué)院，天津 300130；2.安陽(yáng)工學(xué)院機(jī)械工程學(xué)院，安陽(yáng) 455000；3.河北省機(jī)器人感知與人機(jī)融合重點(diǎn)實(shí)驗(yàn)室，天津 300132)

腦機(jī)接口(brain computer interface,BCI)通過(guò)對(duì)大腦生理信號(hào)的采集和轉(zhuǎn)換，可以不需要人體外周神經(jīng)與肌肉系統(tǒng)的參與，實(shí)現(xiàn)人腦與計(jì)算機(jī)或外圍設(shè)備之間的信息交流[1]。因此，對(duì)于神經(jīng)損壞和運(yùn)動(dòng)能力喪失的患者來(lái)說(shuō)，BCI系統(tǒng)是其與外界交流的重要工具[2]。運(yùn)動(dòng)想象(motor imagery，MI)作為一種重要的BCI系統(tǒng)，在沒(méi)有外界刺激輔助下，患者能夠通過(guò)自主誘發(fā)大腦運(yùn)動(dòng)節(jié)律，控制光標(biāo)、輪椅、機(jī)械手等外圍設(shè)備運(yùn)動(dòng)，表達(dá)其意圖信息[3]。

運(yùn)動(dòng)想象BCI作為一種重要的腦機(jī)接口范式，有著十分重要應(yīng)用價(jià)值。但是，由于腦電信號(hào)的高度非線(xiàn)性、時(shí)變性以及個(gè)體差異性等特點(diǎn)，如何實(shí)現(xiàn)運(yùn)動(dòng)想象的高精度解碼依然是中外學(xué)者密切關(guān)注的問(wèn)題，其核心是如何實(shí)現(xiàn)腦電信號(hào)(electroencephalogram,EEG)特征的有效提取和正確分類(lèi)。目前，運(yùn)動(dòng)想象BCI常用的特征提取方法有：能量特征法[4]、模型參數(shù)法[5]、小波/小波包分析法[6]和共同空間模式[7]等。其中，能量特征法是利用腦電信號(hào)相關(guān)頻帶能量信息或功率譜信息實(shí)現(xiàn)特征提取，但是該方法損失了信號(hào)的時(shí)域信息；小波包分析是通過(guò)小波包基函數(shù)對(duì)EEG信號(hào)進(jìn)行多尺度分解和重構(gòu)，實(shí)現(xiàn)特定頻段信號(hào)的有效提取。因此，本文采用兩者相結(jié)合的方法，通過(guò)小波包變換獲得不同頻帶的節(jié)律信號(hào)，利用能量計(jì)算進(jìn)行運(yùn)動(dòng)想象的特征序列提取，實(shí)現(xiàn)腦電信號(hào)的多頻帶分析。

在運(yùn)動(dòng)想象意圖解碼方面，傳統(tǒng)的分類(lèi)方法(如線(xiàn)性分類(lèi)器[8]、貝葉斯分類(lèi)器[9]、支持向量機(jī)[10]等)，通常損失特征信號(hào)的序列信息。但是，腦電信號(hào)作為一種高度時(shí)變性的隨機(jī)信號(hào)，具有明顯的時(shí)序性。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，長(zhǎng)短時(shí)記憶(long short term memory,LSTM)網(wǎng)絡(luò)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)的重要手段，通過(guò)多個(gè)LSTM單元的定向連接構(gòu)建一個(gè)內(nèi)部循環(huán)網(wǎng)絡(luò)，可以實(shí)現(xiàn)時(shí)間信息的序列化分析[11]。近年來(lái)，LSTM以其良好的收斂性和穩(wěn)定性，在自然語(yǔ)言處理[12]、圖像識(shí)別[13]、機(jī)器人軌跡規(guī)劃[14]等領(lǐng)域得到了廣泛的應(yīng)用。但是，由于LSTM存在結(jié)構(gòu)復(fù)雜、計(jì)算繁瑣、訓(xùn)練時(shí)間長(zhǎng)等不足，通過(guò)對(duì)LSTM模型的改進(jìn)，提出了一種雙向門(mén)控循環(huán)單元(bidirectional gated recurrent unit，BiGRU)，從而在極大的提高算法效率的同時(shí)[15]，實(shí)現(xiàn)時(shí)序信息的雙向關(guān)聯(lián)[16]。

為充分利用EEG信號(hào)的能量特征和時(shí)序信息，提出了一種頻帶能量特征和BiGRU相結(jié)合的方法，進(jìn)行運(yùn)動(dòng)想象的模式識(shí)別。首先通過(guò)對(duì)MI節(jié)律信號(hào)的滑動(dòng)截取實(shí)現(xiàn)能量的序列化提取，之后采用BiGRU單元對(duì)腦電信號(hào)進(jìn)行分類(lèi)；最后，通過(guò)實(shí)驗(yàn)對(duì)該方法的可行性進(jìn)行驗(yàn)證。

1 相關(guān)理論

1.1 小波包分解

圖1 小波包分解Fig.1 Wavelet packet decomposition

小波包分解后，第l層第k個(gè)節(jié)點(diǎn)的小波包系數(shù)為

(1)

(2)

h1(m-2k)=(-1)1-kh0(m-2k)

(3)

在經(jīng)過(guò)第l層分解后，原始信號(hào)被分解為不同的子頻帶：

(4)

式(4)中：fs為采樣頻率。

根據(jù)分解的節(jié)點(diǎn)小波包系數(shù)可以對(duì)子頻帶信號(hào)進(jìn)行重構(gòu)，其公式如式(5)所示：

(5)

1.2 BiGRU

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short term memory,LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)重要分支，它利用記憶細(xì)胞進(jìn)行時(shí)間序列記憶并通過(guò)門(mén)控機(jī)制實(shí)現(xiàn)信息流管理；該方法不僅考慮了特征序列中上下文的時(shí)序關(guān)系，還解決了RNN中的梯度爆炸或消失等問(wèn)題。LSTM單元由輸入門(mén)、輸出門(mén)、遺忘門(mén)和一個(gè)記憶細(xì)胞組成，其中遺忘門(mén)和記憶細(xì)胞相互作用對(duì)輸入信息適當(dāng)遺忘和篩選，實(shí)現(xiàn)序列化樣本的預(yù)測(cè)和分類(lèi)。但是，LSTM結(jié)構(gòu)復(fù)雜，需要選擇的網(wǎng)絡(luò)參數(shù)較多，計(jì)算量較大。門(mén)控循環(huán)單元(gated recurrent unit，GRU)作為L(zhǎng)STM的簡(jiǎn)化模型，即解決了梯度消失等問(wèn)題，又提高了學(xué)習(xí)效率。GRU單元由更新門(mén)和重置門(mén)組成，如圖2所示。其中，更新門(mén)用于控制前一時(shí)刻隱層輸出對(duì)當(dāng)前時(shí)刻的影響程度；重置門(mén)實(shí)現(xiàn)上一時(shí)刻信息的某種程度的遺忘；通過(guò)兩者的配合完成時(shí)序信息的篩選。

xt表示t時(shí)刻輸入數(shù)據(jù)；zt表示更新門(mén)狀態(tài)；rt表示重置門(mén)狀態(tài)；ht、ht-1表示當(dāng)前層和前一層的隱層狀態(tài)；σ為sigmoid激活函數(shù)圖2 GRU單元Fig.2 Unit of GRU

GRU網(wǎng)絡(luò)前向傳播的具體計(jì)算過(guò)程如式(6)所示：

(6)

式(6)中，xt為t時(shí)刻輸入數(shù)據(jù)；zt為更新門(mén)狀態(tài)；rt為重置門(mén)狀態(tài)；wz、wr、wh分別為GRU單元更新門(mén)、重置門(mén)和候選隱藏狀態(tài)的權(quán)值系數(shù)；ht、ht-1表示當(dāng)前層和前一層的隱層狀態(tài)；σ為sigmoid激活函數(shù)。

BiGRU是對(duì)GRU的拓展，其工作原理與GRU相似，由兩個(gè)方向相反的GRU組成，充分考慮了特征序列在時(shí)間上的雙向關(guān)聯(lián)，展現(xiàn)了優(yōu)越的分類(lèi)性能。設(shè)計(jì)的BiGRU模型如圖3所示，對(duì)輸入序列BiGRU后，采用Softmax分類(lèi)器輸出分類(lèi)結(jié)果。

GRUi為第i個(gè)門(mén)控單元，wi為權(quán)值系數(shù)圖3 BiGRU結(jié)構(gòu)模型Fig.3 Structural model of BiGRU

圖4 實(shí)驗(yàn)流程圖Fig.4 Flow chart of the experiment

2 實(shí)驗(yàn)數(shù)據(jù)

采用2003年BCI競(jìng)賽公開(kāi)數(shù)據(jù)集Data Set Ⅲ，實(shí)驗(yàn)流程如圖4所示。實(shí)驗(yàn)中，一名受試者坐在椅子上，雙手自然放松，根據(jù)屏幕提示分別執(zhí)行左手或右手運(yùn)動(dòng)想象任務(wù)。在前2 s中受試者安靜注視著屏幕，第2 s時(shí)，產(chǎn)生實(shí)驗(yàn)開(kāi)始提示音，同時(shí)屏幕上出現(xiàn)十字標(biāo)識(shí)，時(shí)長(zhǎng)1 s；在3～9 s時(shí)，屏幕呈現(xiàn)方向提示箭頭，受試者根據(jù)提示執(zhí)行相應(yīng)運(yùn)動(dòng)想象任務(wù)。實(shí)驗(yàn)采集C3、C4和Cz三個(gè)通道數(shù)據(jù)，采樣頻率128 Hz，0.5～30 Hz帶通濾波。整個(gè)實(shí)驗(yàn)進(jìn)行7組，每組執(zhí)行40次運(yùn)動(dòng)想象任務(wù)，共280次(左、右手次數(shù)均等)，其中訓(xùn)練集和測(cè)試集樣本數(shù)據(jù)各140個(gè)。

3 運(yùn)動(dòng)想象意圖識(shí)別

3.1 MI解碼總體流程

基于運(yùn)動(dòng)想象的腦電信號(hào)作為一種節(jié)律信號(hào)，不僅具有空、頻域特性，而且在時(shí)間尺度上也具有顯著的時(shí)序特性?；诖?，采用BiGRU的深度學(xué)習(xí)算法，對(duì)運(yùn)動(dòng)想象腦電信號(hào)進(jìn)行意圖解碼，具體流程如圖5所示。首先，通過(guò)小波包變換對(duì)EEG原始信號(hào)多頻帶分解，并重構(gòu)特定節(jié)律的子頻帶信號(hào)；然后采用特定時(shí)間窗對(duì)子頻帶信號(hào)滑動(dòng)截取，并計(jì)算其能量，提取能量特征的時(shí)間序列；最后利用BiGRU實(shí)現(xiàn)序列特征的分類(lèi)和運(yùn)動(dòng)解碼。

圖5 MI解碼總體流程Fig.5 Overall flow of MI decoding

3.2 頻帶能量特征序列的提取

由于人腦在肢體運(yùn)動(dòng)想象的過(guò)程中，大腦對(duì)側(cè)腦區(qū)會(huì)出現(xiàn)能量減弱，而同側(cè)增強(qiáng)，即發(fā)生事件相關(guān)去同步/事件相關(guān)同步(event related synchronization/desynchronization,ERD/ERS)現(xiàn)象[17]。腦電信號(hào)的這種能量變化主要集中在α(8～12 Hz)和β(16～24 Hz)頻段。EEG信號(hào)的采樣頻率為128 Hz，采用bior3.3小波對(duì)其4層小波包分解。分解后各子頻帶頻率范圍如表1所示。

從表1中可以看出，節(jié)點(diǎn)[4 3]與α頻帶一致，而[4 6]、[4 7]節(jié)點(diǎn)落在了β頻帶范圍內(nèi)。因此，分別重構(gòu)α、β頻帶信號(hào)，得到[sα,sβ]。

表1 四層小波包分解各子頻帶范圍Table 1 Sub-frequency ranges of four-layer wavelet packet decomposition

為獲得序列特征，采用3 s時(shí)間窗、0.062 5 s時(shí)間間隔(8個(gè)采樣間隔)，對(duì)重構(gòu)信號(hào)進(jìn)行滑動(dòng)截取。在運(yùn)動(dòng)想象ERD/ERS顯著的3.5～7.5 s時(shí)間段內(nèi)，得到65個(gè)時(shí)間窗數(shù)據(jù)。所截時(shí)間窗的能量特征可以通過(guò)采樣點(diǎn)的平方和計(jì)算，公式如式(7)所示：

(7)

式(7)中：Ej為第j個(gè)時(shí)間窗的能量；ui第i個(gè)采樣點(diǎn)數(shù)據(jù)；N為窗寬。

C3、C4通道的能量特征序列U∈R4×65為

(8)

3.3 BiGRU模型設(shè)計(jì)

通過(guò)時(shí)間窗截取的能量特征在時(shí)間上依然是連續(xù)的，所以仍具有完備的時(shí)序特性。因此，使用BiGRU不僅可以學(xué)習(xí)能量特征，還引入了時(shí)變信息。

采用keras框架設(shè)計(jì)BiGRU結(jié)構(gòu)，模型采用三層網(wǎng)絡(luò)結(jié)構(gòu)；第一層為輸入層，負(fù)責(zé)特征序列數(shù)據(jù)準(zhǔn)備和格式轉(zhuǎn)換；第二層為BiGRU層，由正向和反向GRU組成，正向計(jì)算時(shí)，關(guān)聯(lián)未來(lái)信息，反向計(jì)算時(shí)，關(guān)聯(lián)歷史信息。最后一層為輸出層，采用分類(lèi)器對(duì)計(jì)算結(jié)果進(jìn)行分類(lèi)輸出，如圖5所示。網(wǎng)絡(luò)模型主要參數(shù)設(shè)置為：學(xué)習(xí)率為0.001，損失函數(shù)為Cross-entropy，采用Softmax分類(lèi)器。

4 結(jié)果分析

4.1 窗寬的選擇

在對(duì)EEG信號(hào)進(jìn)行加窗截取的過(guò)程中，窗寬的選擇至關(guān)重要。在BiGRU分類(lèi)前，采用能量特征和支持向量機(jī)(support vector machine,SVM)相結(jié)合的方法對(duì)窗寬進(jìn)行選擇。對(duì)小波包重構(gòu)后的信號(hào)，計(jì)算不同窗寬時(shí)的能量特征，并用SVM對(duì)其進(jìn)行分類(lèi)，結(jié)果如圖6所示。圖6中顯示不同窗寬下的最高分類(lèi)正確率，從圖6中可以看出，當(dāng)窗寬3 s時(shí)，分類(lèi)正確率最高，達(dá)到87.86%；而在此窗寬左右兩邊依次呈下降趨勢(shì)。這說(shuō)明以3 s窗寬提取的能量特征，模式分類(lèi)性能最好。因此，選擇3 s窗寬來(lái)構(gòu)造能量特征序列。

圖6 不同窗寬下的分類(lèi)正確率Fig.6 Classification accuracies with different bandwidths

4.2 頻帶能量特征序列

在窗寬3 s情況下，對(duì)α、β頻段的訓(xùn)練樣本的能量特征序列疊加平均，得到特征序列均值，如圖7所示。從圖7中可以看出：C3通道，右手運(yùn)動(dòng)想象時(shí)，能量在時(shí)間上先減弱而后回升的變化趨勢(shì),即發(fā)生顯著的事件相關(guān)去同步現(xiàn)象(ERD)，6.75 s時(shí)達(dá)到最低點(diǎn)；左手MI時(shí)，則先增強(qiáng)而后緩慢回落趨勢(shì)，即呈現(xiàn)出事件相關(guān)同步現(xiàn)象(ERS)，但是ERD比ERS變化顯著。C4通道能量變化情況則相反。這表明，能量特征序列不但有幅值特性，還有時(shí)序特征，這也為采用BiGRU分類(lèi)提供了理論依據(jù)。

4.3 與其他分類(lèi)算法的比較

圖8所示為競(jìng)賽前三名和分類(lèi)正確率[18]。由圖8可知，文獻(xiàn)[19]采用Wavelet特征和貝葉斯分類(lèi)器，獲得競(jìng)賽最高分類(lèi)正確率89.2%；而本文方法的正確率為92.1%，高于其他方法，且優(yōu)于競(jìng)賽最高水平3%左右。為進(jìn)一步驗(yàn)證本文方法的有效性，與其他使用同樣數(shù)據(jù)的方法進(jìn)行了比較。文獻(xiàn)[20]采用小波包熵特征和Fisher分類(lèi)器，獲得最高90.8%的分類(lèi)正確率；徐保國(guó)等[21]使用小波包分解和聚類(lèi)分析相結(jié)合的方法，得到測(cè)試集分類(lèi)正確率為88.57%；文獻(xiàn)[22]中提取連續(xù)小波變換系數(shù)作為特征，采用支持向量機(jī)進(jìn)行分類(lèi)，正確率為85.7%。通過(guò)測(cè)試小波包變換和支持向量機(jī)方法得到的最高分類(lèi)正確率是87.86%。由此可見(jiàn)，所提方法是有效的，對(duì)分類(lèi)效果有一定程度的改善。也為深度學(xué)習(xí)在BCI方面的研究提供了參考。

圖7 能量時(shí)序曲線(xiàn)Fig.7 Energy time series curves

圖8 BCI競(jìng)賽結(jié)果比較[18]Fig.8 Comparison of BCI competitions[18]

5 結(jié)論

針對(duì)腦電信號(hào)非線(xiàn)性、時(shí)變性等特點(diǎn)，提出了一種頻帶能量特征和BiGRU相結(jié)合的方法，實(shí)現(xiàn)運(yùn)動(dòng)意圖識(shí)別。通過(guò)加窗、滑動(dòng)截取的方法實(shí)現(xiàn)能量特征的序列化，即體現(xiàn)了運(yùn)動(dòng)想象信號(hào)能量幅度，又反映了變化趨勢(shì)。提取的特征序列，經(jīng)雙向GRU后獲得的更好的分類(lèi)正確率。因此，本文方法對(duì)運(yùn)動(dòng)想象的意圖識(shí)別是有效的。同時(shí)，作為L(zhǎng)STM的簡(jiǎn)化模型，BiGRU方法計(jì)算量小、所需迭代次數(shù)少，算法更加高效，為深度學(xué)習(xí)在腦電信號(hào)中進(jìn)一步研究提供了新的思路。