基于腦電特征的多模式想象動作識別

萬柏坤，劉延剛，明 東，孫長城，綦宏志，張廣舉，程龍龍

(天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072)

腦-機(jī)接口(brain-computer interface，BCI)是運(yùn)用工程技術(shù)手段在人腦和計(jì)算機(jī)或者其他電子設(shè)備之間建立的直接信息交流和控制通道[1]．BCI可以為思維正常但運(yùn)動功能殘缺的病人提供輔助運(yùn)動功能，也可以大大擴(kuò)展人與外界進(jìn)行交流和對外界進(jìn)行控制的能力[2]．

1 BCI系統(tǒng)

典型的 BCI系統(tǒng)如圖 1所示，其技術(shù)研究的核心是從電極所檢測到的腦電信號中識別出人腦思維操作的意圖，提取能反映操作者主觀動作意圖的特征參數(shù)并通過適當(dāng)?shù)乃惴ò阉D(zhuǎn)換為控制外部設(shè)備的命令[3-4]．

圖1 典型的BCI系統(tǒng)結(jié)構(gòu)示意Fig1 Typical structure of BCI system

現(xiàn)代神經(jīng)電生理學(xué)的研究表明，人體實(shí)際的肢體動作或者僅是大腦的想象動作均可引起誘發(fā)腦電信號內(nèi)某些特征頻段成分(如 alpha波、beta波等)的功率譜強(qiáng)弱變化，其中功率譜比率下降的現(xiàn)象稱為事件相關(guān)去同步化(event related desynchronization，ERD)現(xiàn)象，而功率譜比率上升稱為事件相關(guān)同步化(event related synchronization，ERS)現(xiàn)象[5-6]．

不同肢體部位動作誘發(fā)的ERD/ERS現(xiàn)象在發(fā)生頻段上具有明顯的差異，如手部動作誘發(fā)的 ERD現(xiàn)象較為顯著，多發(fā)生于 10～12 Hz及 20～24 Hz頻段；而舌部動作的ERS現(xiàn)象較為顯著，多發(fā)生在10～11 Hz，足部動作則為發(fā)生在 7～8 Hz及 20～24 Hz頻段的 ERD現(xiàn)象．另外，不同肢體部位的動作誘發(fā)的 ERD/ERS現(xiàn)象還具有不同的皮層區(qū)域分布，由于人體大腦皮層感覺運(yùn)動區(qū)神經(jīng)沖動的傳導(dǎo)方式具有左右交叉、上下顛倒的特征，因此皮層區(qū)域分布表現(xiàn)出對側(cè)占優(yōu)的特點(diǎn)．如當(dāng)進(jìn)行左手的想象動作時(shí)，右側(cè)皮層初級感覺運(yùn)動區(qū)表現(xiàn)出更強(qiáng)的ERD現(xiàn)象[7]．

ERD/ERS現(xiàn)象的發(fā)生頻段和分布區(qū)域的特異性使得其可以用來作為腦-機(jī)接口中自主運(yùn)動意識信息的轉(zhuǎn)化工具，如將不同部位的肢體想象動作對應(yīng)于不同的控制指令，則通過對腦電信號中 ERD/ERS現(xiàn)象的發(fā)生頻段和分布區(qū)域進(jìn)行分析，即可提取出想象動作對應(yīng)的肢體部位，從而解析出使用者所要傳達(dá)的控制指令．因此，腦-機(jī)接口研究中將肢體想象動作誘發(fā)的 ERD/ERS作為一種經(jīng)典范式，傳統(tǒng)的使用方式是采取左、右手想象動作的雙模式機(jī)制，這主要是由于左手和右手兩個(gè)部位的皮層特征區(qū)域距離較遠(yuǎn)、腦電特征較為穩(wěn)定，從而有利于識別．然而以識別左、右手想象動作誘發(fā)腦電特征的方式傳遞自主信息時(shí)，每個(gè)想象動作任務(wù)僅可輸出 1,b信息(如識別出左手動作輸出0，識別出右手動作則輸出1，相當(dāng)于輸出1位數(shù)字信號)．顯然這種模式下的腦-機(jī)接口信息傳輸效率比較低，不利于 BCI系統(tǒng)復(fù)雜控制功能的實(shí)現(xiàn)．因此逐步擴(kuò)展動作模式的范疇，采用更多的動作模式以提高 BCI系統(tǒng)的性能已成為目前的研究共識．筆者對包括左手、右手、足部和舌頭 4個(gè)想象動作模式進(jìn)行研究，探討多模式想象動作誘發(fā)信號的特征提取和識別方法，理論上4種動作模式可以提供2倍的信息傳輸速率．

2 實(shí)驗(yàn)數(shù)據(jù)

采用的實(shí)驗(yàn)數(shù)據(jù)來源于國際 BCI CompetitionⅢ的公開數(shù)據(jù)庫[8]，數(shù)據(jù)庫中的腦電信號數(shù)據(jù)所采用的動作任務(wù)是由左手、右手、足部和舌頭 4個(gè)部位的想象動作組成的．每個(gè)任務(wù)時(shí)間長度為 8 s，其中，第1秒到第 2秒為任務(wù)的準(zhǔn)備期，此期間內(nèi)要求受試者保持安靜狀態(tài)．第 3秒為任務(wù)的提示期，期間計(jì)算機(jī)屏幕出現(xiàn)一個(gè)“＋”的符號標(biāo)志以提示受試者下一秒鐘將開始執(zhí)行想象動作任務(wù)．第 4秒到第 7秒的時(shí)間為想象任務(wù)的動作期，此期間符號“＋”在計(jì)算機(jī)屏幕上消失而代之以出現(xiàn)一個(gè)“→”、“←”、“↓”或者“↑”的符號標(biāo)志，該標(biāo)志在該期間內(nèi)一直保持顯示在計(jì)算機(jī)屏幕上，當(dāng)該標(biāo)志出現(xiàn)后，即要求受試者按照箭頭方向所示執(zhí)行左手、右手、足部或者舌頭的想象動作任務(wù)．第8秒為任務(wù)的恢復(fù)期，提示符號標(biāo)志消失，計(jì)算機(jī)屏幕恢復(fù)灰黑色背景，受試者停止想象動作恢復(fù)平靜狀態(tài)．實(shí)驗(yàn)中所采集的任務(wù)同步腦電數(shù)據(jù)為60導(dǎo)聯(lián)，導(dǎo)聯(lián)的位置如圖2所示[8]．

圖2 多模式想象動作的導(dǎo)聯(lián)位置示意Fig.2 Position of EEG electrodes of multi-pattern motor imagery

3 時(shí)頻分析與ERD/ERS

時(shí)頻分析[9]可作為想象動作誘發(fā)腦電ERD/ ERS信號的處理基礎(chǔ)，是由于想象動作引起的 ERD/ERS現(xiàn)象有著特定的發(fā)生頻段和相對于誘發(fā)刺激固定的時(shí)間延遲，因此采用基于短時(shí)傅里葉變換的時(shí)頻分析方法對事件發(fā)生前后的功率譜密度變化及分布特點(diǎn)進(jìn)行分析．短時(shí)傅里葉變換(short time Fourier transform，STFT)是目前最常用的時(shí)頻分析方法之一，其做法是先使用一個(gè)有限寬度的觀察窗 W(t)對信號x(t)進(jìn)行觀察，然后對加窗后的信號進(jìn)行傅里葉變換

式中：ω是角頻率；*( )Wtτ?是()Wtτ?的復(fù)共軛函數(shù)．逐步移動觀察窗對整個(gè)肢體想象動作任務(wù)刺激下的腦電信號 x(t)進(jìn)行觀察，可以得到單次任務(wù)的二維時(shí)頻圖譜(如圖 3所示)．由于誘發(fā)腦電信號的信噪比不高，單次任務(wù)腦電信號易出現(xiàn)偏差或者噪聲太大，因此，采用多次任務(wù)疊加平均的方法來增強(qiáng)信噪比．

經(jīng)處理，得到各動作模式下的平均二維時(shí)頻圖譜，圖 3(a)、3(c)和圖 4(c)、4(a)所示分別為左手、右手、足部、舌部4個(gè)肢體想象動作中特征最顯著導(dǎo)聯(lián)處的時(shí)頻圖譜．橫軸表示時(shí)間，縱軸表示頻率，偽彩色則代表經(jīng)過疊加平均后的功率譜密度(單位為 dB)．可以看出，左、右手和足部動作的ERD現(xiàn)象顯著，而舌頭的想象動作則誘發(fā)出較為明顯的ERS現(xiàn)象．

圖3 左、右手想象動作特征導(dǎo)聯(lián)處的二維時(shí)頻圖譜和空間分布地形Fig.3 Two-dimensional time-frequency atlases and spatial distribution map of feature channels of left and right hand motor imagery

圖4 舌部和足部想象動作特征導(dǎo)聯(lián)處的二維時(shí)頻圖譜和空間分布地形Fig.4 Two-dimensional time-frequency atlases and spatial distribution map of feature channels of tongue and foot motor imagery

時(shí)頻圖譜中標(biāo)示的 t1、t2為 ERD/ERS特異性最強(qiáng)時(shí)段，此時(shí)段內(nèi)的平均功率譜密度在頭皮上的空間分布如圖 3(b)、3(d)、4(b)、4(d)所示，可見 4 種模式想象動作的空間分布均具有較強(qiáng)的特異性，其中左、右手想象動作的ERD現(xiàn)象分別在34導(dǎo)聯(lián)和28導(dǎo)聯(lián)處最顯著(為左右交叉對應(yīng))，足部想象動作誘發(fā)的ERD在41導(dǎo)聯(lián)處最顯著，而舌頭部位的ERS現(xiàn)象在24導(dǎo)聯(lián)處最強(qiáng)．

時(shí)頻分析的結(jié)果表明，想象左手、右手、足部和舌頭動作可以引起特異性較強(qiáng)的頻譜變化，并伴隨有顯著的空間分布，根據(jù)這些信息提取出特征參數(shù)即可用于不同動作模式的分類識別．但由于不同動作模式誘發(fā)的ERD/ERS現(xiàn)象的特征頻段和響應(yīng)時(shí)段有所不同，因此需要采用可分性分析進(jìn)一步提取出有利于識別的特征頻譜參數(shù)．

4 Fisher可分性分析與特征提取

信號的可分性分析是想象動作特征電位提取的關(guān)鍵部分，可分性分析作為特征提取的方法，主要用來評價(jià)特征參數(shù)在不同類別樣本中的分布是否具有明顯的差異，一般差異度越大的參數(shù)越適于作為樣本分類的特征值．采用 Fisher可分性分析進(jìn)行頻譜特征的提取，其基本描述[10]為

式中：m1與 m2分別為兩類特征的均值；σ12與 σ22分別為兩類特征的方差．Fisher分析的評價(jià)函數(shù)J實(shí)際上是特征值的類間離散度與類內(nèi)離散度的比值，J值越大則可分性越高，若兩類特征的均值相等，則 J為0，兩類特征線性不可分．

采用 Fisher分析的方法對二維時(shí)頻網(wǎng)格上兩類動作模式的功率譜密度特征進(jìn)行處理，選擇J值較大且集中的頻段和時(shí)段(特征頻段和特征時(shí)段)進(jìn)行分類特征的構(gòu)造．下面以 34導(dǎo)聯(lián)處想象左手動作與其他動作之間的 Fisher分析為例來說明特征頻段和特征時(shí)段的提取方法．

首先，對每一次實(shí)驗(yàn)的數(shù)據(jù)進(jìn)行二維時(shí)頻處理，將左手動作數(shù)據(jù)作為樣本 1，以其他動作的數(shù)據(jù)作為樣本 2，然后在二維時(shí)頻網(wǎng)格上對每一節(jié)點(diǎn)處的兩個(gè)樣本集計(jì)算其 Fisher系數(shù)(J值)，這樣可得到 Fisher系數(shù)的二維時(shí)頻分布圖(如圖 5(a)所示)．對動作期(3～7 s)內(nèi)的 J值按照時(shí)間軸進(jìn)行平均，可得到隨頻率變化的 J值曲線(如圖 5(b)所示)，該曲線上的兩個(gè)波峰表示左手想象動作與其他想象動作模式之間存在兩個(gè)具有特異性差別的頻段，采用閾值提取的方法提取出的即為特征頻段．對特征頻段F1和F2中的J值按照頻率軸進(jìn)行平均，分別得到特征頻段內(nèi)隨時(shí)間變化的 J值曲線(如圖 5(c)、5(d)所示)．然后，在這兩條曲線上分別提取特征時(shí)段

圖5 左手想象動作經(jīng)Fisher分析提取特征頻段和特征時(shí)段的示意(34導(dǎo)聯(lián)處)Fig.5 Diagram of extraction of feature frequency bands and time periods of left hand motor imagery by Fisher analysis(at channel 34)

各動作模式的分類特征是以特征頻段和特征時(shí)段內(nèi)的功率譜密度均值來構(gòu)造的，這樣得到的特征具有較高的可分性和穩(wěn)定性．例如，在想象左手動作時(shí)，在頻段F1和時(shí)段 T1上 34導(dǎo)聯(lián)處的J值為0.828 6，在34導(dǎo)聯(lián)附近的左手模式特征區(qū)域內(nèi)的所有導(dǎo)聯(lián)的平均J值為0.473 3，而在剩余的所有導(dǎo)聯(lián)上的平均J值僅有 0.044 8，顯然，左手模式與其他模式之間具有良好的可分性，提取這個(gè)區(qū)域的導(dǎo)聯(lián)作為左手模式的特征導(dǎo)聯(lián)．同樣，對其他每種動作模式也提取可分性最好的數(shù)個(gè)導(dǎo)聯(lián)，用于構(gòu)造各模式的特征向量，按照特征的J值大小共提取出4種動作模式下的27個(gè)特征值，并按照J(rèn)值由大到小對每種模式的所有特征進(jìn)行排序，由于不同特征組合方式會導(dǎo)致不同的識別效果，筆者嘗試了3種特征組合方式(如表1所示)進(jìn)行分類識別，每種組合中使用的各模式的特征均從其所有特征中選擇J值最大的若干個(gè)．組合1與組合2中的特征基本分布在各肢體部位的皮層功能區(qū)上，組合3中的特征分布較廣，除各對應(yīng)功能區(qū)外，還有部分特征位于其他區(qū)域，如額區(qū)和枕區(qū)．

表1 4種模式的3種識別特征組合Tab.l Three kinds of compages of recognition features of four classes

5 基于SVM的分類識別結(jié)果

分類識別是腦-機(jī)接口系統(tǒng)中重要的信號處理環(huán)節(jié)，是完成使用者自主意識到控制命令轉(zhuǎn)化的關(guān)鍵步驟．對于基于想象動作的腦-機(jī)接口系統(tǒng)而言，模式識別即是通過對腦電信號特征的提取和分類來辨識出其中所攜帶的自主性動作信息．

腦-機(jī)接口的識別環(huán)節(jié)中，分類器建立過程中可以使用的訓(xùn)練樣本數(shù)往往比較有限，這種情況下傳統(tǒng)的分類識別方法如神經(jīng)網(wǎng)絡(luò)等存在識別準(zhǔn)確率偏低、分類器泛化能力不強(qiáng)、識別效果不穩(wěn)定等問題．基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)(support vector machine，SVM)方法是近年來在模式識別與機(jī)器學(xué)習(xí)領(lǐng)域中得到廣泛認(rèn)可的分類識別技術(shù)，它可以有效地避免經(jīng)典學(xué)習(xí)方法中的過學(xué)習(xí)、維數(shù)災(zāi)難和局部極小等問題，在小樣本條件下仍具有良好的泛化能力．因此，采用SVM 的方法來對提取到的想象動作腦電信號的特征參數(shù)進(jìn)行分類識別[11]．

文中處理的識別問題屬于多分類識別(共4種動作模式，也即4個(gè)類別)，實(shí)踐上可采用兩種方案進(jìn)行分類：①單層分類，即同時(shí)對4種模式進(jìn)行識別；②雙層分類，第1層分類首先對4種模式按照特征的分布特點(diǎn)分為兩類(左手和右手動作模式為一類，足部和舌部動作模式為另一類)，第 2層分類是在第 1層分類的結(jié)果上在兩類內(nèi)部繼續(xù)細(xì)分．對這兩種方案進(jìn)行測試并對其結(jié)果進(jìn)行比較分析，將所有單次實(shí)驗(yàn)樣本分為訓(xùn)練集和測試集，首先使用訓(xùn)練集訓(xùn)練 SVM分類器并進(jìn)行參數(shù)優(yōu)化，然后使用測試集放入分類器中進(jìn)行測試得到識別正確率，其結(jié)果如表2所示．

表2 不同特征組合和分類方案下的識別結(jié)果Tab.2 Recognition results under different kinds of feature Tab.2 compages and classification schemes

由表2可以看出采用16個(gè)特征的特征組合及雙層分類方案下識別正確率最高，可達(dá)到 85.71%．對于不同的特征組合，組合2的識別正確率高于其他兩個(gè)組合，單層分類器方案下，組合 2的識別正確率為81.63%，而組合 1和 3的識別正確率分別為 73.47%和 75.51%；雙層分類器方案下，組合 2的識別正確率為 85.71%，而組合 1和 3的識別正確率分別為77.55%和 79.59%．相對于組合 1而言組合 2增加的特征是同樣位于相應(yīng)動作模式的大腦皮層功能區(qū)域內(nèi)，而 J值相對較低的部分特征，由于采用了更多的特征信息，分類效果得到了一定的提高．組合 2高于組合3的原因則較為復(fù)雜，一方面組合3中的特征分布已不完全位于相應(yīng)動作模式的大腦皮層功能區(qū)域內(nèi)，這些功能區(qū)外的特征往往是由于腦電的空間低通特性所致，本質(zhì)上屬于一種冗余信息，而且對于識別起不到正面作用，另一方面分類器學(xué)習(xí)時(shí)在樣本數(shù)一定的情況下，特征維度過高時(shí)將帶來學(xué)習(xí)機(jī)泛化能力的下降，組合3中的特征維度相對于樣本數(shù)量而言過高，從而降低了分類器的識別效果．不同特征組合的分類對比結(jié)果說明，對于多模式想象動作的分類絕不是特征越多越好，過分增加特征維度有可能帶來識別效率的下降．

對于不同的分類器方案，各種特征組合方式下雙層分類的最終正確率均比單層分類的高了約 4%(比如 16個(gè)特征時(shí)，單層分類為 81.63%，而雙層分類可達(dá) 85.71%)，這也說明雙層分類能夠改善分類效果，其原因可能是由于支持向量機(jī)本身所具有的更適合于二分類的特點(diǎn)．

此外，從表2中可以看到雙層分類的第1層分類正確率都很高，在 16個(gè)特征時(shí)可以達(dá)到 97.96%，這說明左、右手模式和足部、舌頭模式的功能區(qū)和特征頻段的分布的可分性相當(dāng)好；同時(shí)，左、右手模式的ERD/ERS信號強(qiáng)度也遠(yuǎn)遠(yuǎn)高于足部、舌頭模式．

6 結(jié) 論

(1)采用二維時(shí)頻分析結(jié)合Fisher可分性分析的方法對多模式想象動作的誘發(fā)腦電信號進(jìn)行特征提取，采用支持向量機(jī)構(gòu)造分類器進(jìn)行識別，研究結(jié)果表明，多導(dǎo)時(shí)頻特征的優(yōu)化組合可以獲得較高的多模式想象動作區(qū)分效果，采用雙層的分類器構(gòu)造方案可以提高分類識別的正確率．

(2)將傳統(tǒng)的左右手雙模式想象動作腦-機(jī)交互任務(wù)擴(kuò)展到左手、右手、足部、舌頭 4種模式后，識別效果未見明顯下降，這為雙模式動作任務(wù)向多模式動作任務(wù)的推廣提供了良好的條件，同時(shí)也為進(jìn)一步擴(kuò)展動作模式奠定了基礎(chǔ)．

(3)肢體想象動作的誘發(fā)特征區(qū)域性較為集中，而左手、右手、足、舌4個(gè)肢體部位在大腦皮層初級感覺運(yùn)動區(qū)內(nèi)的對應(yīng)主控區(qū)域相互間隔較遠(yuǎn)，因此其產(chǎn)生的特異性誘發(fā)腦電信號仍可表現(xiàn)出空間可分性，這是多模式任務(wù)識別的基礎(chǔ)原因．想象動作模式的擴(kuò)展可以提高腦-機(jī)交互的信息傳輸效率，但受制于腦電信號較低的空間分辨率，動作模式的擴(kuò)展必須考慮到誘發(fā)特征的空間分布特異性．因此，進(jìn)一步的動作模式擴(kuò)展也應(yīng)當(dāng)考慮到誘發(fā)特征的區(qū)域集中性以及與已有模式的皮層功能區(qū)間隔．

［1］ Wolpaw J R，Birbaumer N，Heetderks W J，et al. Braincomputer interface technology：A review of the first international meeting[J]. IEEE Trans Rehabil Eng，2000，8(2)：222-225.

［2］ Wolpaw J R，Birbaumer N，McFarland D J，et al. Braincomputer interfaces for communication and control[J].Clinical Neurophysology，2002，113：94-109.

［3］ 萬柏坤，高 揚(yáng)，趙 麗，等. 腦-機(jī)接口：大腦對外信息交流的新途徑[J]．國外醫(yī)學(xué)生物醫(yī)學(xué)工程分冊，2005，28(1)：4-9.Wan Baikun，Gao Yang，Zhao Li，et al. Brain-computer interface：A new channel for information communicate between human brain and environments[J]. Biomedical Engineering Foreign Medical Sciences，2005，28(1)：4-9(in Chinese).

［4］ Vaughan T M. Brain-computer interface technology：A review of the second international meeting[J]. IEEE Trans Neural Syst Rehabil Eng，2003，11(2)：94-109.

［5］ 莊 平．腦電事件相關(guān)去同步化和同步化活動與運(yùn)動相關(guān)性作業(yè)[J]. 中國臨床康復(fù)，2004，8(1)：152-154.Zhuang Ping．EEG event-related desynchronization and synchronization activities and movement relate dexercises[J]. Chinese Journal of Clinical Rehabilitation，2004，8(1)：152-154(in Chinese).

［6］ Pfurtscheller G，Lopes da Silva F H．Event-related EEG/MEG synchronization and desychronization：Basic principles[J]. Clinical Neurophysiology，1999，110(11)：1842-1857.

［7］ Neuper C，Müller G R，Kübler A，et al. Clinical application of an EEG-based brain-computer interface：A case study in a patient with severe motor impairment[J].Clinical Neurophysiology，2003，114：399-409.

［8］ Krusienski D J，Wolpaw J R，Millán José del R. The BCI competitionⅢ：Validating aternative approaches to actual BCI problems[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineeing，2006，14(2)：153-158．

［9］ 殷曉中，于盛林. 信號的時(shí)頻分析理論及應(yīng)用評述[J].現(xiàn)代電子技術(shù)，2006，29(21)：118-120.Yin Xiaozhong，Yu Shenglin．Time-frequency analysis and its application[J]. Modern Electronic Technique，2006，29(21)：118-120(in Chinese).

［10］ 楊 健，楊靜宇，葉 暉．Fisher線性兼?zhèn)浞治龅睦碚撗芯考捌鋺?yīng)用[J]. 自動化學(xué)報(bào)，2003，29(4)：481-493.Yang Jian，Yang Jingyu，Ye Hui．Fisher linear analysis of both theoretical research and its applications[J]. Acta Automation Sinica，2003，29(4)：481-493(in Chinese).

［11］ 胡 哲，鄭 誠，閔鵬鵬. 支持向量機(jī)及其應(yīng)用研究[J]. 重慶科技學(xué)院學(xué)報(bào)：自然科學(xué)版，2008，10(2)：121-124.Hu Zhe，Zheng Cheng，Min Pengpeng．Support vector machine and its applications[J]. Journal of Chongqing University of Science and Technology：Natural Sciences Edition，2008，10(2)：121-124(in Chinese).