基于腦肌電融合的混合腦機接口研究

謝 平 陳迎亞 郝艷彪 陳曉玲 杜義浩 吳曉光

(燕山大學電氣工程學院河北省測試計量技術及儀器重點實驗室，河北 秦皇島 066004)

基于腦肌電融合的混合腦機接口研究

謝 平 陳迎亞 郝艷彪 陳曉玲 杜義浩 吳曉光*

(燕山大學電氣工程學院河北省測試計量技術及儀器重點實驗室，河北 秦皇島 066004)

動作模式識別是腦機接口技術的核心內容之一。針對目前腦機接口動作識別模式單一、識別率低等問題，基于混合腦機接口思想，提出一種腦電和肌電特征融合策略，可實現(xiàn)單側肢體不同動作模式的有效分類，進而可用于腦機接口技術。同步采集9名健康受試者單側手腕屈/伸兩種動作模式下的腦電信號和表面肌電信號，分別提取腦電信號事件相關去同步化特征和表面肌電信號的積分肌電值特征，構建基于支持向量機和粒子群優(yōu)化算法的腦肌電融合及運動模式識別模型，通過調整“特征融合系數(shù)”來實現(xiàn)動作模式最優(yōu)分類，從而提高模式識別的準確率；進一步通過遞降健康人的肌電信號幅值來模擬患者和運動疲勞狀態(tài)下的肌電信號，驗證所提出方法對動作模式識別的有效性。實驗結果表明，基于腦肌電融合特征的動作模式識別率(98%)比單純依靠腦電特征的識別率(73%)提高25%；在運動疲勞狀態(tài)下，基于腦肌電融合特征的識別率穩(wěn)定在80%以上，比單純依靠肌電特征的識別率提高14%?？梢姡X肌電融合策略能提高動作模式識別的準確性和魯棒性，為混合腦機接口技術提供條件。

腦肌電融合；事件相關去同步化；粒子群優(yōu)化；動作模式識別

引言

腦機接口(brain-computer interface, BCI)是一種不依賴于由大腦外周神經(jīng)與肌肉組成的正常運動控制通路而直接在人腦與外部設備之間建立通信的控制系統(tǒng)[1]，它可以幫助肢體運動功能障礙的人群(老年人、中風患者等)實現(xiàn)對外部設備的有效控制。基于運動想象(moter imagery, MI)腦電信號(electroencephalogram, EEG)信號BCI的研究已經(jīng)開展，即基于運動想象EEG特征來獲取人體運動意圖，進而控制外部設備。例如，通過分析左手或右手運動想象所產(chǎn)生的EEG信號實現(xiàn)光標移動[2]、基于右手和右腳運動想象進行打字[3]等。由于運動想象腦電信號由受試者自主想象肢體運動產(chǎn)生，因此基于運動想象的BCI系統(tǒng)具有訓練時間短、易于實現(xiàn)等優(yōu)點。然而，目前基于運動想象的BCI仍存在兩個主要局限：一是絕大多數(shù)研究都基于運動想象EEG判別人體某一部位(左手、右手、舌頭等)是否存在運動意圖，但無法有效識別同一部位的不同運動模式，限制了對輸出設備的精細控制；二是由于腦電信號的微弱性、混疊性和信噪比低等特點，使得基于EEG特征進行多模式動作識別的準確率有待提高?？梢?，如何有效識別精細動作模式并提高準確率，對于腦機接口技術的發(fā)展具有重要意義。

混合腦機接口(hybrid brain-computer interface, hBCI)是將EEG和另外一種生理信號融合進行混合控制的BCI系統(tǒng)，它的提出在一定程度上彌補了現(xiàn)有腦機接口的不足。Pfurtseheller等進行過多種混合模式BCI的嘗試，如基于運動想象和穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential, SSVEP)的hBCI[4]、基于SSVEP的BCI引入心率控制近紅外光譜開關[5]等；高上凱等基于運動想象和運動起始時刻視覺誘發(fā)電位，實現(xiàn)了可用于字符輸入的hBCI系統(tǒng)[6]。雖然融合眼動、心率、多模式腦電等生理信號的hBCI研究已取得一定的進展，但是對于運動功能障礙患者而言，以上生理信號不能有效體現(xiàn)患者肌肉的運動狀態(tài)，為此，研究能夠融合大腦運動意圖和肌肉運動狀態(tài)的hBCI系統(tǒng)，對運動功能障礙患者更有意義。表面肌電信號(surface electromyographic, sEMG)能夠充分體現(xiàn)肌肉的運動狀態(tài)并且易于獲取，它充分利用患者殘存的運動能力，將sEMG與EEG融合，理論上有利于提高多模式動作的分類精度。Robert Leeb提出了基于EEG和sEMG兩個信源的決策層融合策略，實現(xiàn)了左右手運動意圖識別[7]，提高了BCI系統(tǒng)的準確率和穩(wěn)定性。決策層融合處理信息量小，但要求腦電、肌電信號的每個信源必須具有獨立決策能力，忽略了腦電與肌電間的協(xié)同互補性。羅志增等將腦電和肌電信號的特征值簡單地組合在一個特征向量中，實現(xiàn)手部多模式動作的識別[8]，但未考慮到肌肉疲勞狀態(tài)。

本研究基于hBCI思想，通過腦電與肌電特征層融合，實現(xiàn)單側手腕屈、伸動作模式的分類識別。提取運動想象和運動執(zhí)行下EEG事件相關去同步化(event-related desynchronization, ERD)/同步化(event-related synchronization, ERS)特征，并與sEMG的積分肌電值特征進行融合，構建基于支持向量機(support vector machine, SVM)和粒子群優(yōu)化(particle swarm optimization, PSO)的腦肌電特征融合模型，利用腦肌電間的協(xié)同互補性來提高系統(tǒng)識別率。此外，針對患者運動功能不健全和長時間運動時出現(xiàn)疲勞、肌力不足等情況，通過遞降肌電信號幅值來模擬患者患側的肌電信號和運動疲勞肌電信號[7]，并調整腦肌電融合系數(shù)，以避免由于肌電信號幅值降低導致的動作識別率下降，提高系統(tǒng)的識別準確性和魯棒性。

1 方法研究

1.1 數(shù)據(jù)采集

選取9名無任何病史的健康受試者(在校大學生，女性1名)，均簽署了知情同意書。實驗在安靜的屏蔽室內進行，受試者端坐在舒適的座椅上，與屏幕水平距離為80 cm。根據(jù)屏幕提示，進行相應的手腕屈伸動作想象，同時手腕做相應的屈伸動作(見圖1(a))。為避免受試者精神疲勞，實驗分成2個部分，每個部分包含40個試次(trial)，屈和伸各20個。單個試次持續(xù)7 s，如圖1(c)所示，具體實驗過程包括3個步驟。

步驟1：t=0～2 s時，屏幕中央出現(xiàn)一個十字光標，同時伴有短暫的蜂鳴聲，以提示受試者實驗即將開始，需集中注意力，等待動作提示指令出現(xiàn)。

步驟2：t=2～5 s時，屏幕上出現(xiàn)手腕伸/屈運動的圖片提示，如圖1(c)所示，受試者根據(jù)提示進行手腕伸/屈運動的想象，同時做相應的動作，兩種動作任務出現(xiàn)的次序隨機。

步驟3：t=5～7 s時，顯示器處于黑屏狀態(tài)，受試者休息2 s。

數(shù)據(jù)記錄采用Neuroscan腦電采集系統(tǒng)，同步采集腦電和肌電信號，腦電如圖1(b)所示。選取乳突部位為電極參考，AFZ額頭中央接地，同時采集水平和垂直兩通道眼電信號。利用Neuroscan腦電采集系統(tǒng)的預留通道，采集受試者前臂尺側腕屈肌(flexor carpi ulnaris, FCU)和橈側腕長伸肌(extensor carpi radialis longus, ECRL)兩塊肌肉處的表面肌電信號。采樣頻率設定為1 000 Hz，并進行50 Hz陷波處理。

圖1 信號采集及實驗內容。(a)腦肌電采集實驗；(b)腦電信號采集通道；(c)單個試次實驗過程Fig.1 Signal acquisition and experiment paradigm. (a) Acquisition of EEG and EMG signals; (b) EEG channels; (c) Time sequence of one trail

1.2 EEG與EMG預處理

由于腦電信號的ERD/ERS特征主要體現(xiàn)在alpha頻段(8～13 Hz)和beta頻段(13～30 Hz)，因此對原始腦電信號進行5～40 Hz帶通濾波，同時濾除了基線漂移的噪聲干擾。此外，應用獨立分量分析(independent component analysis, ICA)去除眼電、肌電等偽跡。ICA能夠將多通道EEG分成多個相互獨立信號，并可分離出明顯的眼電、肌電等干擾成分。圖2(a)為存在眼電偽跡的原始腦電信號，圖2(b)為分解出來的部分獨立分量，第1個分量代表眼電信號源，去除此分量，得到去除眼電干擾后的腦電信號(見圖2(c))。

圖2 基于ICA的EEG去眼電過程 (a)含有眼電偽跡的EEG；(b)ICA分解后各成分信號；(c)去除眼電偽跡成分后的EEGFig.2 Removing of ocular artifact from EEG based on ICA. (a) Raw EEG containing ocular artifact; (b) Components based on ICA decomposition; (c) EEG after removing ocular artifact

肌電信號的有效頻率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范圍內，主要噪聲來源為50 Hz的工頻干擾。采用自適應濾波器去除工頻干擾，然后進行10～200 Hz的帶通濾波。sEMG預處理的結果如圖3所示，這有效地去除了肌電信號中各種噪聲干擾。

圖3 肌電信號的預處理前(上)和預處理后(下)Fig.3 EMG signal before preprocessing(the top) and EMG signal after preprocessing(the bottom)

1.3 EEG與EMG信號特征提取

1.3.1 基于ERD/ERS的EEG特征提取

當大腦皮質某區(qū)域被激活時，該區(qū)域的代謝和血流量增加，同時大腦信息加工可以導致alpha(8～13 Hz)和beta(13～30 Hz)頻段震蕩的幅度降低或者阻滯，這一電生理現(xiàn)象被稱為事件相關去同步化[9]。alpha和beta頻譜在大腦靜息或惰性狀態(tài)下表現(xiàn)出明顯波幅增高的電活動，此即為事件相關同步化。運動想象和實際運動過程都能夠激活相應的大腦感覺運動區(qū)，并且特定頻率段將會產(chǎn)生ERD/ERS現(xiàn)象。筆者在傳統(tǒng)ERD/ERS量化方法的基礎上，研究單個試次ERD/ERS的腦電特征提取方法。

1.3.1.1 對腦電信號進行局部頻帶分解

由于ERD/ERS產(chǎn)生在特定時間的特定頻段并且具有個體差異性，因此需要對腦電信號進行頻帶分解，以分析不同腦電節(jié)律隨時間變化的情況。通過FIR帶通濾波器，將7～34 Hz的頻帶寬度分割成若干頻率分辨率為1 Hz的子帶，覆蓋較重要的EEG事件相關同步和去同步的頻段變化范圍。對于0～16、16～23和23～34 Hz的頻帶，子帶寬度各設為2、4、8 Hz[10]。

1.3.1.2 ERD/ERS平均量化

ERD/ERS是一種對刺激觸發(fā)非鎖相的誘導電位，因此引入試次間方差(intertrial variance, IV)的算法[11]來量化ERD/ERS。對每個通道的每個頻帶EEG計算IV，有

(1)

由相對于參考時間內每個采樣點方差變化的百分比來表示ERD/ERS量化值[12]，有

(2)

(3)

式中，R表示參考時間段內的平均能量，n0表示參考時間的起始點，k表示參考時間的長度。

1.3.1.3ERD/ERS顯著頻帶和時段提取

通過時頻圖，可視化每個受試者各個頻段的平均ERD/ERS序列；設置合適的閾值，選取每個受試者ERD/ERS顯著的頻帶和時間段。ERD/ERS顯著的各頻段EEG信號記為EEGF={EEGf1,EEGf2,…,EEGfk}。對于每個頻段，ERD/ERS顯著的時間段記為Time={t1,t2,…,tm}。

1.3.1.4 單個試次的ERD/ERS量化

(4)

2) 計算第j個試次中ERD/ERS顯著時間段內所有采樣點的ERD/ERS平均值，則第j個試次的ERD/ERS特征向量為

(5)

式中，[ ]Τ代表向量的轉置。

3) 重復上述過程，計算N個試次腦電序列的ERD/ERS值，并組成特征向量組，有

(6)

以上方法基于傳統(tǒng)的試次間方差ERD/ERS量化方法，通過時頻圖可視化ERD/ERS現(xiàn)象并提取出顯著頻帶和時間段，進而量化單個試次的ERD/ERS，可作為進一步識別手腕運動模式的有效特征。

1.3.2 肌電信號特征提取

肌電能量幅值的變化是肌肉在運動狀態(tài)下的主要特征。積分肌電值(intergratedelectromyogram,iEMG)是指肌電信號經(jīng)整流濾波后單位時間內曲線下面積的總和，它表征肌電信號振幅在時間維度上的變化特征，本研究選取積分肌電值作為肌電特征。對于離散的EMG，其計算公式如下：

(7)

(8)

由于運動功能障礙患者表面肌電信號極其微弱，而且在長時間運動時會出現(xiàn)疲勞、肌力不足等現(xiàn)象，所以此時腦電信號在動作識別中應該占主導地位。如圖4所示，本實驗室人員采集了一名中風患者(腦出血導致右上肢癱瘓)在手臂屈伸動作模式下患側和健側肱二頭肌的肌電信號，可以看出患側肌電信號幅值明顯低于健側肌電信號幅值。有研究表明，隨著疲勞程度的增加，運動神經(jīng)系統(tǒng)會募集更多周圍的運動神經(jīng)元，以維持輸出力的恒定輸出，從而導致肌電幅值增大；但隨后當無法維持力恒定時，肌電幅值會急劇下降[13]。為此，本研究通過遞降健康受試EMG信號幅度來模擬不同程度運動功能障礙或運動疲勞狀態(tài)下患者的肌電信號，幅度衰減范圍為20%～100%，即分別為80%、50%和10%EMG。

圖4 患者患側(上)和健側(下)的肌電信號Fig.4 EMG signals from affected(the top)and unaffected (the bottom) side of a stroke patient

圖5 基于腦肌電特征層融合模型(SVM-PSO)的運動模式識別原理Fig.5 Flow chart of motion pattern recongnition based on the fusion model (SVM-PSO) of EEG and EMG feature

以上研究分析獲取EEG的ERD/ERS特征和EMG的iEMG特征，既能體現(xiàn)運動過程中EEG和EMG的生理學變化，同時又便于在時域計算，有助于進一步實現(xiàn)腦肌電特征融合，并提高hBCI中的分類速度。

1.4 腦肌電特征融合

EEG和EMG分別包含了大腦對軀體運動的控制信息和肌肉對大腦控制意圖的功能響應信息，并在運動過程中腦、肌電信號間表現(xiàn)出一定的相關性。1995年，Conway等發(fā)現(xiàn)在運動過程中，腦、肌電信號之間具有相關性[14]。同時，患者在長時間運動時的疲勞、肌力不足等現(xiàn)象也會影響肌電信號的質量，此時應使腦電信號在動作識別中占主導地位，通過利用腦肌電之間的協(xié)同互補性提高hBCI的控制精度。因此，為實現(xiàn)運動控制信息與功能響應信息之間的特征融合，進而實現(xiàn)運動模式的有效分類，將EEG和sEMG的特征向量進行關聯(lián)，構建基于支持向量機和粒子群優(yōu)化算法的腦肌電融合模型(SVM-PSO)，實現(xiàn)運動模式識別(見圖5)。該模式識別的工作原理為：定義“融合系數(shù)”來表示各腦肌電特征向量的權重系數(shù)和信任程度，進而構成腦肌電融合特征向量；利用SVM進行腦肌電特征向量學習并實現(xiàn)運動模式分類，進而基于運動模式識別率來構造PSO算法的適應度函數(shù)，實現(xiàn)融合系數(shù)的自適應優(yōu)化，最終實現(xiàn)腦肌電特征的有效融合及運動模式的準確分類。

1.4.1 腦肌電融合特征向量構建

令A=[a1,a2,…,ap+q]為各腦肌電特征向量的融合系數(shù)矩陣，組成腦肌電融合特征向量，有

(9)

N個試次腦肌電特征向量融合構成融合特征向量組，即

(10)

腦肌電融合特征向量V將被分為訓練集VT和測試集VP，訓練集輸入SVM網(wǎng)絡進行學習，輸出模式識別正確率以構造PSO算法的適應度，尋找到最優(yōu)“融合系數(shù)”。測試集將基于最優(yōu)“融合系數(shù)”進行構造，并輸入訓練好的SVM網(wǎng)絡，實現(xiàn)動作模式的有效分類。

1.4.2 基于SVM-PSO的腦肌電特征融合

由上述腦肌電特征融合原理可知，如何尋找最優(yōu)融合系數(shù)A以提高識別準確率，是本研究的關鍵。基于粒子群優(yōu)化算法[16]具有規(guī)則簡單、收斂速度快、易于實現(xiàn)等優(yōu)點，筆者構建基于SVM-PSO的腦肌電特征融合模型(見圖5)，即基于SVM訓練網(wǎng)絡的分類結果構造粒子群算法的優(yōu)化函數(shù)，進一步利用PSO算法，搜索有效運動模式識別結果對應的最優(yōu)特征融合系數(shù)A，具體步驟如下：

步驟1：粒子群初始化。將融合系數(shù)矩陣A看做是一個粒子群，為保證所提取的p+q個腦電和肌電特征均能有效影響融合特征，事先對融合特征系數(shù)A給定下列約束，即

(11)

根據(jù)式(10)隨機產(chǎn)生一組A=[a1,a2,…,ap+q]，按照式(9)組成融合特征向量訓練集VT。同時，初始化各參數(shù)，即最大遺傳代數(shù)maxgen、種群規(guī)模sizepop、學習因子c1和c2、慣性權重w、適應度預設值eps等。

(12)

由此得到分類函數(shù)如下：

(13)

式中，sgn(·)表示分類函數(shù)，ai為權值系數(shù)。

(14)

式中：K為識別錯誤的樣本數(shù)目，因此0≤K≤m；C1、C2分別為代價函數(shù)對于這兩項的權值系數(shù)，需根據(jù)實際情況確定。

步驟3：種群更新及融合系數(shù)A優(yōu)化?；诿總€粒子的適應度fitness，更新個體極值p和全局極值pg，有

p=fitnesspg=min(fitness)

(15)

同時，更新粒子速度和位置，產(chǎn)生新的種群A，代入式(9)構造新的特征訓練集VT。

步驟4：重復步驟2和步驟3，直至使pg≤eps(預設值)，或已達到設定迭代次數(shù)，所得的即為最優(yōu)融合系數(shù)A。

1.4 基于最優(yōu)融合系數(shù)A的運動模式識別

利用上述尋優(yōu)得到的融合系數(shù)A，代入式(9)構造測試數(shù)據(jù)集VP，送入經(jīng)步驟2)和3)訓練好的支持向量機模式分類函數(shù)，即可實現(xiàn)運動模式的有效分類。

2 結果

2.1 ERD/ERS分析

運動過程產(chǎn)生的ERD/ERS主要出現(xiàn)在大腦皮層感覺運動區(qū)，取具有代表性的C3、C4兩個通道的腦電信號進行分析，按照本文第1.3.1節(jié)的方法計算所有試次的平均ERD/ERS并進行加窗平滑，圖6為受試者S1右手手腕屈伸動作下的C3、C4兩個導聯(lián)ERD/ERS時頻圖，左側兩個圖為右手手腕運動對應的大腦對側區(qū)域C3通道的ERD/ERS時頻圖，右側兩個圖為對應的大腦同側區(qū)域C4通道的ERD/ERS時頻圖。0～2 s為動作準備期，2～5 s為動作執(zhí)行期，5～7 s為動作返回期。由圖6可以得出：從ERD/ERS的時域表現(xiàn)來看，當動作開始執(zhí)行后，2.5 s左右對側先出現(xiàn)ERD現(xiàn)象，隨著運動的執(zhí)行，4 s左右ERD擴展到雙側感覺運動區(qū)，但始終表現(xiàn)為對側顯著，動作結束后并未出現(xiàn)明顯的ERS現(xiàn)象；從ERD/ERS的頻段分布來看，運動過程中ERD現(xiàn)象主要出現(xiàn)在μ節(jié)律(10～12 Hz)和高β頻段(19～30 Hz)；從手腕屈與伸動作下的ERD表現(xiàn)區(qū)別來看，相對于手腕彎曲動作，手腕伸展動作下手腕ERD現(xiàn)象更為顯著。

圖6 受試者S1在手腕彎曲(上)和伸展(下)狀態(tài)下的ERD/ERS時頻分析。(a)C3導聯(lián)；(b)C4導聯(lián)Fig.6 Time-frequency analysis of ERD/ERS of subject 1 under wrist flexion(the top) and extension(the bottom). (a) C3 channel; (b)C4 channel

圖7為受試者S2右手手腕屈伸動作下的C3、C4兩個導聯(lián)ERD/ERS時頻圖，由圖可見： 從ERD/ERS的時域表現(xiàn)來看，S2與S1基本一致；從ERD/ERS的頻段分布來看，運動過程中ERD現(xiàn)象主要出現(xiàn)在μ節(jié)律(10～12 Hz)和低β頻段(15～20 Hz)；從手腕屈與伸動作下的ERD表現(xiàn)區(qū)別來看，手腕彎曲動作與伸展動作下的ERD現(xiàn)象無明顯差別。

圖7 受試者S2在手腕彎曲(上)和伸展(下)狀態(tài)下的ERD/ERS時頻分析。(a)C3導聯(lián)；(b)C4導聯(lián)Fig.7 Time-frequency analysis of ERD/ERS of subject 2 under wrist flexion(the top) and extension(the bottom). (a) C3 channel; (b)C4 channel

對其他7名受試者進行同樣的分析，表1為每名受試者的ERD顯著頻段，可以看出所有受試者ERD顯著的頻段范圍都集中在α頻段(8～12 Hz)和β頻段(13～30 Hz)范圍內。為進一步量化分析手腕彎曲和伸展兩種動作下的ERD現(xiàn)象，表2給出了所有受試者α頻段范圍內的基線參考時段(0～2 s)和動作段(3～5 s)范圍內的ERD量化平均值，以及分別對0～2 s和3～5 s內的ERD做配對樣本t檢驗的結果。結果表明：相對于0～2 s的基線狀態(tài)，3-5s動作段內感覺運動皮層雙側C3和C4均出現(xiàn)顯著ERD現(xiàn)象(C3:P<0.01; C4:P<0.01)，且表現(xiàn)為對側更為顯著(C3和C4運動段平均ERD成對樣本t檢驗：P<0.05)；手腕彎曲和手腕伸展兩種動作下運動段平均ERD做成對樣本t檢驗，手腕彎曲與伸展動作下的ERD現(xiàn)象無顯著差別(C3:P>0.05; C4:P>0.05)。β頻段ERD現(xiàn)象和α頻段ERD現(xiàn)象類似。

因此，對于單個試次的腦電序列，ERD顯著頻段如表1所示，顯著時間段取運動執(zhí)行期3～5 s。對C3、C4兩個通道分別按照本文第1.3.1節(jié)的方法進行單個試次的ERD特征提取，式(5)中單個試次的特征向量sj可具體化為

sj=[ERDC3,α,ERDC3,β,ERDC4,α,ERDC4,β]Τ

(16)

進而構成如式(6)所示的特征向量組F。

表1 每名受試者ERD顯著的頻段范圍Tab.1 Significant frequency bands of ERD in all subjects

表2 9名受試者α頻段ERD量化值Tab.2 Quantization value of α-band ERD in all subjects

2.2 肌電特征分析

對采集到的尺側腕屈肌(FCU)和橈側腕長伸肌(ECRL)兩塊肌肉處的肌電信號進行預處理，然后按照式(7)對每1 000個點(1 s)計算一次積分肌電值。圖8為手腕彎曲和伸展時兩塊肌肉的肌電信號與積分肌電值時域圖，可以看出：在手腕彎曲動作下(2～5 s)，F(xiàn)CU的肌電信號幅值和積分肌電值明顯高于ECRL，在動作返回時(5～7 s)，F(xiàn)CU的肌電信號幅值和積分肌電值降低；而ECRL的肌電信號幅值和積分肌電值出現(xiàn)小幅值的增大，說明ECRL參與了返回動作的執(zhí)行。當手腕伸展時，ECRL的肌電信號幅值和積分肌電值明顯高于FCU，動作返回時，ECRL和FCU的肌電信號幅值和積分肌電值均降低至接近于零點。

圖8 FCU、ECRL肌電信號及其積分肌電值。(a)手腕彎曲；(b)手腕伸展Fig.8 EMG signal and iEMG over FCU and ECRL. (a) Wrist flexion; (b) Wrist extension

圖9 積分肌電值量化。(a)～(f)分別為t=2 s,t=3 s, t=4 s, t=5 s, t=6 s, t=7 s時的積分肌電值Fig.9 Quantization of iEMG. (a)-(f) represent the iEMG at t=2 s, t=3 s, t=4 s, t=5 s, t=6 s, t=7 s respectively

(17)

進而構成式(8)所示的特征向量組F′。

2.3 特征融合與分類結果

將腦電特征與肌電特征融合時，每個通道的特征賦予一個融合系數(shù)，第j個試次的腦肌電特征融合向量(即式(9))可具體為

vj=[a1ERDC3,α,a1ERDC3,β,a2ERDC4,α,a2ERDC4,β，a3iEMGt=3,FCU,a3iEMGt=4,FCU,a3iEMGt=5,FCU,a3iEMGt=6,FCU,a4iEMGt=3,ECRL,a4iEMGt=4,ECRL,a4iEMGt=5,ECRL,a4iEMGt=6,ECRL]

(18)

預處理后，直接去除仍存在明顯眼電和肌電偽跡的試次，共剩余794個試次(屈344，伸350)。為驗證本方法應用于腦機接口的有效性，通過遞降所有試次肌電幅值，建立6組不同的數(shù)據(jù)模型：EMG、100%EMG+EEG、80%EMG+EEG、50%EMG+EEG、10%EMG+EEG、EEG。對每種數(shù)據(jù)模型分別進行特征提取后，各得到794組特征樣本。對于每種數(shù)據(jù)模型的特征集，隨機選取一半作為訓練集，單獨采用SVM-PSO方法搜索使識別結果最優(yōu)的特征融合系數(shù)A，并訓練好SVM識別網(wǎng)絡；所有數(shù)據(jù)模型特征集的另一半作為測試集一起進行分類，通過檢測活動段的肌電信號幅值大小，選擇相應的、已經(jīng)訓練好的融合系數(shù)和SVM識別網(wǎng)絡。同時，為進行對比，將EEG和EMG特征向量分別送入SVM網(wǎng)絡進行訓練和識別；并利用貝葉斯網(wǎng)絡，將單獨基于EEG和EMG的識別結果在決策層上進行融合。圖10為單獨基于腦電或肌電、基于SVM-PSO特征融合及基于貝葉斯網(wǎng)絡決策層融合的識別結果，可以看出：當肌電信號較強時，3種識別方法的識別正確率均很高。隨著肌電幅值降低，單靠肌電特征識別的正確率和決策層融合的正確率明顯下降，尤其在肌電信號降到10%時，決策層融合結果已降到65%，這是由于貝葉斯決策層融合對每個信源識別結果具有依賴性，而10%的EMG已經(jīng)失去了獨立決策能力。通過與腦電信號特征融合，達到了更準確穩(wěn)定的識別效果。

圖10 分別基于肌電、腦肌電融合及腦電特征的識別正確率Fig.10 Correct recognition rate based on sole EMG, sole EEG or both EEG and EMG features

隨著肌電幅值的下降，融合系數(shù)的相應變化見表3?？梢钥闯觯谶\動疲勞狀態(tài)(肌電幅值降低)下，肌電特征的融合系數(shù)顯著下降，而腦電的融合系數(shù)顯著升高，說明肌電特征的參與決策的權重下降，在SVM網(wǎng)絡識別過程中腦電信號起主要作用。實驗證明，筆者構建的SVM-PSO網(wǎng)絡有效利用了腦肌電間的協(xié)同互補性來提高系統(tǒng)識別率，并通過調整腦肌電融合系數(shù)來避免由于肌電信號幅值降低而導致的動作識別率下降，提高系統(tǒng)的識別準確性和魯棒性。

表3 不同肌電幅值下的融合系數(shù)的變化結果

Tab.3 The change of fusion coefficients with different EMG amplitudes

特征源融合系數(shù)EEGEMGa1a2a3a480%EMG+EEG0.540.211.281.9750%EMG+EEG0.90.561.051.4910%EMG+EEG1.820.870.660.65

3 討論

首先，本研究對單側手腕屈/伸運動下大腦皮層產(chǎn)生的ERD/ERS現(xiàn)象進行分析，結果表明，實際運動時皮層感覺運動區(qū)會出現(xiàn)對側主導的alpha ERD和beta ERD。在運動準備期，對側感覺運動皮質首先出現(xiàn)alpha ERD和beta ERD；隨著運動執(zhí)行的開始，可以觀察到雙側皮質區(qū)域出現(xiàn)對稱的ERD[17]，這與Pfurscheller等的研究結果一致；當運動結束后，雙側感覺運動區(qū)均未出現(xiàn)明顯的ERS現(xiàn)象。不同學者關于ERS的研究結論存在爭議：Nam等的研究沒有發(fā)現(xiàn)明顯的具有半球形特異性的beta ERS現(xiàn)象[18]；Pfurtscheller等的研究表明，運動結束后beta ERD不僅很快恢復到基線，而且顯示短暫運動后的ERS現(xiàn)象；然而，alpha ERD大約需兩三秒才能恢復到基線。在本研究中，可能由于最后兩秒是運動返回階段，受試者并未完全放松，休息時間過短，所以未出現(xiàn)明顯的ERS現(xiàn)象。從手腕屈與伸動作下的ERD表現(xiàn)區(qū)別來看，部分受試者手腕伸展動作產(chǎn)生的ERD現(xiàn)象比彎曲動作產(chǎn)生的ERD現(xiàn)象要明顯，而部分受試者并未存在明顯差異，這可能與肢體屈伸運動在神經(jīng)生理、行為和臨床上存在差異性有關。例如，Salonikidis等研究發(fā)現(xiàn)，相比手腕伸展動作，手腕彎曲的運動精度更高(力的變動系數(shù)低)[19]；Little等的研究表明，中風病人手腕彎曲運動功能的恢復要比手腕伸展運動的恢復更快[20]；Yue等通過對大腦進行功能核磁共振成像，發(fā)現(xiàn)相比手指彎屈動作，手指伸展時神經(jīng)系統(tǒng)的活化容積更大[21]；Nikhil等研究發(fā)現(xiàn)，手腕伸展較手腕彎曲時腦肌電之間的一致性更強[22]。在日常生活中，人們更習慣于手腕的彎曲運動，因此手腕伸展時所需的大腦激活區(qū)域更大，對神經(jīng)元群的抑制越強，由此導致相關神經(jīng)元群振蕩同步性的下降，這也可能是本研究中部分受試者出現(xiàn)手腕伸展時ERD現(xiàn)象更明顯的原因之一。

對于單側手腕屈與伸動作模式的分類問題，由于不同受試者產(chǎn)生的ERD在大腦激活區(qū)域和強度上的差異性不明顯，導致單純基于腦電ERD特征的分類正確率較低(74%)。而通過與sEMG融合，識別率明顯提高，即使融合微弱的sEMG(10%EMG)識別率顯著提高9%。另外，在肌電信號正常的情況下，單純依靠sEMG的動作識別率接近100%；但隨著疲勞程度的增加，識別率明顯下降；在肌電信號接近缺失時，識別率降到70%以下；而在與EEG融合后，達到了更準確、穩(wěn)定的識別結果。將本方法與Robert Leeb所做的相關研究[7]進行對比分析，該文獻研究將分別基于腦電和肌電特征的識別結果送入貝葉斯網(wǎng)絡進行決策融合，當模擬疲勞肌電幅值高于50%時，識別結果較好；但當EMG降低到10%的水平時，腦肌電融合的識別率明顯下降(甚至低于單獨基于腦電的識別率)。究其原因，是貝葉斯決策層融合對每個信源識別結果具有依賴性，而10%的EMG已經(jīng)失去了獨立決策能力。與之不同，本研究在腦電和肌電特征提取的基礎上實現(xiàn)了腦肌電特征層的融合，降低了對每個信源識別結果的依賴性，并通過SVM-PSO模型自適應調整腦肌電融合系數(shù)，提高模式識別準確性，在肌電信號極其微弱的情況下也具有較好的魯棒性，降低了患者運動功能部分缺失和運動疲勞的影響。因此，本研究提出的SVM-PSO融合模型充分利用了EEG與sEMG之間的協(xié)調互補性，提高了單側肢體不同動作模式的分類精度，彌補了腦機接口的不足。

4 結論

在本課題中，研究了一種可用于混合腦機接口的腦電與肌電特征融合方法，并用于實現(xiàn)單側手腕屈/伸兩種動作模式識別。分別提取受試者運動過程中的腦電信號的ERD特征和肌電信號的iEMG特征，構建基于支持向量機和粒子群算法的腦肌電融合模型，通過調整“特征融合系數(shù)”來實現(xiàn)動作模式最優(yōu)分類；調節(jié)肌電信號幅值大小來模擬患者和運動疲勞狀態(tài)下的肌電信號，降低了運動功能部分缺失和運動疲勞因素對模式識別結果的影響，提高了動作模式識別系統(tǒng)的準確性和穩(wěn)定性。

(致謝 感謝實驗工作人員郭子暉在研究工作中給予支持。)

[1] Wolpaw JR, Birbaumer N, McFarland WJ, et al. Brain-computer interface technology: A review of the first international meeting [J]. IEEE Trans Rehabil Eng, 2000, 8(2): 164-173.

[2] Pfurtscheller G, Flotzinger D, Kalcher J. Brain-computer interface-a new communication device for handicapped persons [J]. Journal of Microcomputer Applications, 1993, 16(3): 293-299.

[3] Blankertz B, Dornhege G, Krauledat M, et al. The Berlin brain-computer interface presents the novel mental typewriter Hex-o-Spell [C]// Proceedings of the 3rd International Brain-Computer Interface Workshop and Training Course. Graz: Verlag der Technischen Universit?t Graz, 2006: 108-109.

[4] Brunner C, Allison BZ, Krusienski DJ, et al. Improved signal processing approaches in an offline simulation of a hybrid brain-computer interface [J]. Journal of Neuroscience Methods, 2010, 188(1): 165-173.

[5] Scherer R, Müller-Putz GR, Pfurtscheller G. Self-initiation of EEG-based brain-computer communication using the heart rate response [J]. Journal of Neural Engineering, 2007, 4(4): L23-L29.

[6] 李翔, 高小榕, 高上凱. 一種基于兩種不同范式的混合型腦-機接口系統(tǒng) [J]. 中國生物醫(yī)學工程學報, 2012, 31(3): 326-330.

[7] Leeb R, Sagha H, Chavarriaga R, et al. A hybrid brain-computer interface based on the fusion of electroencephalographic and electromyographic activities [J]. Journal of neural engineering, 2011, 8(2): 1-5.

[8] 羅志增, 李亞飛, 孟明. 用于手部動作識別的腦電和肌電信號混沌特征融合方法 [P]. 中國專利: 101732110, 2012-11-07.

[9] Pfurtscheller G, Lopes da Silva FH. Event-related EEG/MEG synchronization and desynchronization: basic principles [J]. Clin Neurophysiolo, 1999, 110(11): 1842-1857.

[10] Graimann B, Pfurtscheller G. Quantification and visualization of event-related changes in oscillatory brain activity in the time-frequency domain [J]. Progr Brain Res, 2006, 159: 79-97.

[11] Kalcher J, Pfurtscheller G. Discrimination between phase-locked and non-phase-locked event-related EEG activity [J]. Electroencephalography and Clinical Neurophysiology, 1995, 94(5): 381-384.

[12] Tangwiriyasakul C, Verhagen R, van Putten MJAM,etal. Importance of baseline in event-related desynchronization during a combination task of motor imagery and motor observation [J]. Journal of Neural Engineering, 2013, 10(2): 1-9.

[13] Dimitrova NA, Dimitrov GV. Interpretation of EMG changes with fatigue: facts, pitfalls and fallacies [J]. Electromyogr Kinesiol, 2003, 13(1): 13-36.

[14] Conway BA, Halliday DM, Shahani U, et al. Common frequency components identified from correlations between magnetic recordings of cortical activity and the electromyogram in man [J]. J Physiol, 1995, 483: 35.

[15] 王勇. 數(shù)據(jù)融合技術綜述 [J]. 計算機測量與控制, 2002, 10(11): 706-709.

[16] Poli R, Kennedy J, Blackwell T. Particle swarm optimization [J]. Swarm Intelligence, 2007, 1(1): 33-57.

[17] Pfurtscheller G, Neuper C. Motor imagery and direct brain computer communication [J]. Proc IEEE, 2001, 89(7): 1123-1134．

[18] Nam CS, Jeon Y, Kim YJ, et al. Movement imagery-related lateralization of event-related (de)synchronization (ERD/ERS): Motor-imagery duration effects [J]. Clin Neurophysiol, 2011, 122(3): 567-577.

[19] Salonikidis K, Amiridis I, Oxyzoglou N, et al. Wrist Flexors are Steadier than Extensors [J]. Int J Sports Med, 2011, 32(10): 754-760.

[20] Little JW, Massagli TL. Spasticity and associated abnormalities of muscle tone [C] //DeLisa J, Gans B, eds. Rehabilitation Medicine Principles and Practice. Philadelphia: Lippincot-Raven Publishers, 1998: 997-1013.

[21] Yue GH, Liu JZ, Siemionow V, et al. Brain activation during humannger extension andexion movements [J]. Brain Res, 2000, 856(1): 291-300.

[22] Divekar NV, John LR. Neurophysiological, behavioural and perceptual differences between wrist flexion and extension related to sensorimotor monitoring as shown by corticomuscular coherence [J]. Clinical Neurophysiology, 2013, 124(1): 136-147.

[23] 謝平, 陳曉玲, 蘇玉萍，等. 基于EMD-多尺度熵和ELM的運動想象腦電特征提取和模式識別 [J]. 中國生物醫(yī)學工程學報, 2013, 32(6): 641-648.

Multimodal Fusion of EEG and EMG Signals for a Hybrid BCI

Xie Ping Chen Yingya HaoYanbiao Chen Xiaoling Du Yihao Wu Xiaoguang*

(KeyLabofMeasurementTechnologyandInstrumentationofHebeiProvince,InstituteofElectricEngineering,YanshanUniversity,Qinhuangdao,Hebei066004,China)

Pattern recognition is one of the hot researches in the brain-computer interface technology. In order to solve the problems in BCI, such as movement pattern singleness and low recognition rate, a hBCI-based strategy fusioning the features of EEG and EMG was proposed to realize the classification of different motor patterns with unilateral limb. In the present study, the event-related desynchronization features and intergrated electromyogram features were abstracted based on the EEG over brain scope and EMG from flexor carpi ulnaris and extensor carpi radialis longus under wrist flexion or extension in 9 healthy subjects. Secondly, the pattern recognition model fusioning the features of EEG and EMG, based on the theories of support vector machine and particle swarm optimization, was designed to classify optimally by adjusting the feature fusion coefficient. Furthermore, the proposed method was verified based on the EMG signals of patients or healthy subjects under fatigue state, which were simulated by descending the EMG amplitude of healthy subjects. Results showed that the recognition rate based on the fusion of EEG and EMG (98%) improved 25% compared to sole EEG feature under natural condition (73%); the recognition rate reached a stable level above 80% and improved 14% compared to sole EMG feature under fatigue state. It is revealed that the fusion of EEG and EMG feature contributed to improve the accuracy of pattern recognition and stability of movement, and provided the basis for the application of hybrid brain-computer interface.

fusion of EEG and EMG; event-related desynchronization; particle swarm optimization; movement pattern recognition

10.3969/j.issn.0258-8021. 2016. 01.003

2015-02-24， 錄用日期:2015-09-14

國家自然科學基金(61271142)；河北省自然科學基金(F2015203372、F2014203246)

R318

A

0258-8021(2016) 01-0020-11

*通信作者(Corresponding author)， E-mail: wuxiaoguang@ysu.edu.cn