基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位的腦電控制上肢康復(fù)機(jī)器人

熊 特，胡瑢華，邵杭峰，宋 巖，郭福民

(南昌大學(xué)機(jī)電工程學(xué)院，南昌 330031)

腦機(jī)接口(brain-computer interface, BCI)可以看成一種大腦與外部設(shè)備之間的協(xié)作，它使得神經(jīng)元中發(fā)出的電信號(hào)可以直接傳送給外部設(shè)備，例如計(jì)算機(jī)或機(jī)械臂[1-2]?，F(xiàn)如今腦卒中導(dǎo)致的肢體偏癱問(wèn)題愈來(lái)愈嚴(yán)重，而偏癱患者的肢體恢復(fù)往往需要數(shù)位專(zhuān)業(yè)的康復(fù)理療師來(lái)輔助患者進(jìn)行康復(fù)訓(xùn)練，康復(fù)理療師的人員缺口巨大。因此通過(guò)腦機(jī)接口技術(shù)來(lái)控制康復(fù)機(jī)器人具有重大的研究?jī)r(jià)值，它不僅允許患者可以獨(dú)立自主地進(jìn)行康復(fù)訓(xùn)練，還能夠在一定程度上提高患者康復(fù)治療地積極性[3]。

李方博等[4]提出了一種雙腦協(xié)作腦機(jī)接口的設(shè)計(jì)方案，可用于協(xié)同控制多維度目標(biāo)、提高BCI系統(tǒng)信息傳輸速率，為腦機(jī)接口發(fā)展提供了新思路。唐智川等[5]提出一種基于單次運(yùn)動(dòng)想象的腦電信號(hào)分類(lèi)方法，在實(shí)時(shí)控制中達(dá)到了87.12%±2.03%的成功率。Chen等[6]提出一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位(steady-state visual evoked potential，SSVEP)的7自由度機(jī)械臂BCI控制系統(tǒng)，允許用戶(hù)直接控制機(jī)器人手臂，平均精度為92.78%。華南理工大學(xué)腦機(jī)接口與腦信息處理中心研制的腦機(jī)混合接口：在輪椅機(jī)械臂系統(tǒng)控制中的應(yīng)用，得到了良好的控制精度，展現(xiàn)出了BCI控制系統(tǒng)應(yīng)用于復(fù)雜日常任務(wù)的潛力[7]。李明愛(ài)[8]團(tuán)隊(duì)研制了采用運(yùn)動(dòng)想象控制的上肢運(yùn)動(dòng)康復(fù)系統(tǒng)，完成手臂伸/屈動(dòng)作，該系統(tǒng)的平均識(shí)別率為76.75%，固定時(shí)間窗為3～5 s。翟文文[9]提出一種基于SSVEP與Alpha波混合的BCI上肢康復(fù)訓(xùn)練機(jī)器人系統(tǒng)，具有較高的分類(lèi)準(zhǔn)確率和實(shí)時(shí)控制效果。天津理工大學(xué)復(fù)雜系統(tǒng)控制與應(yīng)用重點(diǎn)實(shí)驗(yàn)室設(shè)計(jì)了一種基于腦電控制的移動(dòng)爬墻清潔機(jī)器人智能遙操作系統(tǒng)[10]，具有良好的工作效率、安全性以及魯棒性。

盡管隨著基于腦機(jī)接口的康復(fù)機(jī)器人研究不斷發(fā)展，涌現(xiàn)出了愈來(lái)愈多的研究成果，但也同樣還面臨著許多挑戰(zhàn)，如多目標(biāo)分類(lèi)的分析時(shí)間長(zhǎng)、識(shí)別準(zhǔn)確率仍有待提高。

基于此，現(xiàn)設(shè)計(jì)一種基于SSVEP控制的上肢康復(fù)機(jī)器人，目的在于輔助上肢偏癱患者獨(dú)立自主進(jìn)行康復(fù)訓(xùn)練運(yùn)動(dòng)，并且在實(shí)時(shí)控制康復(fù)運(yùn)動(dòng)開(kāi)始和停止時(shí)，僅依靠患者的視覺(jué)注意即可完成康復(fù)訓(xùn)練過(guò)程中所有動(dòng)作。

1 研究方案

1.1 實(shí)驗(yàn)設(shè)備

完整實(shí)驗(yàn)流程如圖1所示，主要設(shè)備組成包括：奧地利G.Tec公司生產(chǎn)的80通道系統(tǒng)主機(jī)放大器、G.Recorder生物信號(hào)記錄軟件，G.SCARABEO 64通道電極帽，導(dǎo)聯(lián)位置符合10-20國(guó)際標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)，顯示視覺(jué)刺激界面的計(jì)算機(jī)，進(jìn)行信號(hào)存儲(chǔ)和處理的計(jì)算機(jī)，藍(lán)牙通信模塊和四自由度上肢康復(fù)機(jī)器人。

圖1 基于SSVEP的上肢康復(fù)機(jī)器人控制流程

上肢康復(fù)機(jī)器人實(shí)物圖如圖2所示。上肢康復(fù)機(jī)器人主體部分選用材料為合成塑料聚甲醛樹(shù)脂(polyoxymethylene，POM)和聚乳酸(polylactice acid，PLA)，選用合成塑料既保證了機(jī)構(gòu)強(qiáng)度和硬度，也減輕機(jī)構(gòu)的質(zhì)量。主體部分通過(guò)背部支架安裝在一個(gè)可移動(dòng)輪椅上，通過(guò)輪椅來(lái)實(shí)現(xiàn)機(jī)器人的移動(dòng)。上肢康復(fù)機(jī)器人由伺服電機(jī)驅(qū)動(dòng)關(guān)節(jié)運(yùn)動(dòng)，輔助患者完成康復(fù)訓(xùn)練動(dòng)作，設(shè)計(jì)的康復(fù)訓(xùn)練動(dòng)作為肩關(guān)節(jié)外展內(nèi)收、肩關(guān)節(jié)屈伸、肘關(guān)節(jié)屈伸和腕關(guān)節(jié)屈伸4個(gè)自由度和1個(gè)停止，每個(gè)自由度的動(dòng)作都是周期性重復(fù)。另外，考慮到不同患者的上身身高可不同，因此在輪椅的背部支架上還留有不同高度的小孔，用于調(diào)整機(jī)器人的高度。

圖2 四自由度上肢康復(fù)機(jī)器人

1.2 視覺(jué)刺激器設(shè)計(jì)

基于視覺(jué)刺激的SSVEP腦電信號(hào)主要特征為當(dāng)眼睛注視到4～60 Hz的視覺(jué)刺激時(shí)，在大腦的枕葉區(qū)會(huì)產(chǎn)生與所注視的刺激相同頻率或倍頻的腦電信號(hào)，該響應(yīng)信號(hào)可以在大腦皮層被檢測(cè)出。為了保證連續(xù)穩(wěn)定的SSVEP信號(hào)出現(xiàn)，現(xiàn)階段主要有3種主流的刺激顯示裝置，分別為發(fā)光二極管(LED)、陰極射線(xiàn)管(CRT)、液晶顯示器(LCD)。

設(shè)計(jì)的刺激分類(lèi)為5種，其中4種對(duì)應(yīng)4個(gè)康復(fù)訓(xùn)練動(dòng)作，第五種對(duì)應(yīng)停止動(dòng)作命令。選擇了分辨率為1 920×1 080的LCD液晶顯示屏作為視覺(jué)刺激器。屏幕刷新頻率為60 Hz，為保證刺激頻率的準(zhǔn)確性以及避免SSVEP信號(hào)倍頻成分之間的干擾[11]，設(shè)計(jì)的5個(gè)刺激頻率為6.67、8.57、10、12、15 Hz，刺激頻率均為60 Hz的整數(shù)分之一，分別對(duì)應(yīng)5個(gè)控制指令。刺激界面由Pscyhtoolbox-3心理物理學(xué)工具箱在MATLAB軟件上編寫(xiě)完成，該工具箱可以精確控制視覺(jué)刺激頻率，設(shè)計(jì)的刺激界面如圖3所示。刺激顯示器長(zhǎng)46 cm、寬26 cm，正方形刺激塊邊長(zhǎng)4 cm，中間刺激矩形居中布置，與左右刺激矩形間隔16 cm、與上下間隔6 cm，四周刺激矩形與顯示器邊緣間隔1 cm。

圖3 視覺(jué)刺激器

2 信號(hào)采集與處理

2.1 信號(hào)采集

實(shí)驗(yàn)選擇了5名年齡在22～24歲、均無(wú)SSVEP經(jīng)驗(yàn)的男性為受試者，在除相關(guān)實(shí)驗(yàn)設(shè)備外沒(méi)有其他大型用電設(shè)備的房間中進(jìn)行?；?.2節(jié)設(shè)計(jì)的視覺(jué)刺激器下采集SSVEP腦電信號(hào)。受試端坐于舒適的凳子上正視前方，眼睛與LCD顯示屏水平距離保持為60 cm。

閃爍刺激的一個(gè)完整的周期時(shí)長(zhǎng)為5 s，如圖4所示。閃爍過(guò)程中目標(biāo)刺激塊首先閃爍4 s，后暫停在如圖3界面1 s。實(shí)驗(yàn)過(guò)程每一組實(shí)驗(yàn)中要求受試者從最上方6.67 Hz開(kāi)始依次順時(shí)針?lè)謩e注視每個(gè)刺激塊10次，每次注視4 s休息1 s，并告知受試者在閃爍刺激時(shí)盡量避免眨眼、眼動(dòng)或是身動(dòng)等其他行為。每個(gè)受試者進(jìn)行兩組實(shí)驗(yàn)，兩組實(shí)驗(yàn)之間休息5 min。

圖4 實(shí)驗(yàn)范式循環(huán)流程

實(shí)驗(yàn)過(guò)程中選擇采集P3、Pz、P4、PO3、POz、PO4、PO7、O1、Oz、O2、PO8共11個(gè)導(dǎo)聯(lián)通道的腦電信號(hào)，并以63通道作為參考信號(hào)放置于左/右耳垂處，采樣頻率為256 Hz，腦電信號(hào)采集的某時(shí)刻場(chǎng)景如圖5所示。實(shí)驗(yàn)過(guò)程中保證各通道與頭皮之間的阻抗在3 kΩ及以下，并通過(guò)設(shè)置Combine Trigger聯(lián)合觸發(fā)器定義好并口傳輸協(xié)議，接收實(shí)驗(yàn)過(guò)程中生成刺激電腦端口發(fā)出的Trigger標(biāo)志位信號(hào)，保證腦電信號(hào)產(chǎn)生與頻閃刺激開(kāi)始的精確同步。

圖5 在線(xiàn)控制機(jī)器人動(dòng)作

2.2 信號(hào)處理

基于SSVEP穩(wěn)態(tài)視覺(jué)誘發(fā)電位的腦電信號(hào)處理常用的算法有快速傅里葉變換(FFT)、典型性相關(guān)分析(CCA)、多導(dǎo)聯(lián)同步指數(shù)(MSI)、最小能量結(jié)合(MEC)[12-14]。Zhang等在研究中發(fā)現(xiàn)，在短時(shí)窗樣本數(shù)據(jù)長(zhǎng)度較小的情況下，MSI算法相比與CCA、MEC等算法能夠得到更高的分類(lèi)準(zhǔn)確率[13]。選擇MSI算法作為頻率識(shí)別的分類(lèi)算法，SSVEP信號(hào)處理流程圖如圖6所示。

圖6 SSVEP信號(hào)處理流程

2.2.1 信號(hào)預(yù)處理

對(duì)采集到的信號(hào)進(jìn)行預(yù)處理，分別設(shè)計(jì)了50 Hz去工頻陷波濾波器以及4～50 Hz的切比雪夫帶通濾波器，使用MATLAB軟件完成信號(hào)的濾波處理去除工頻、高頻干擾等噪聲。

2.2.2 基于MSI的頻率識(shí)別算法

MSI算法的主要目的是通過(guò)運(yùn)用S-估計(jì)算法，來(lái)得出多個(gè)通道腦電EEG信號(hào)和參考信號(hào)之間的同步指數(shù)，算法的頻率識(shí)別過(guò)程如下。

腦電信號(hào)是一個(gè)大小為N×M的矩陣X，構(gòu)造的參考信號(hào)是一組大小為2Nh×M的矩陣Y。N為腦電信號(hào)的導(dǎo)聯(lián)通道數(shù)，M為信號(hào)樣本數(shù)即樣本長(zhǎng)度，Nh為構(gòu)造的參考信號(hào)里包含的正余弦成分的諧波數(shù)。計(jì)算X與Y之間的相關(guān)矩陣為

(1)

(2)

(3)

(4)

(5)

有研究學(xué)者發(fā)現(xiàn)，C中存在的自相關(guān)矩陣會(huì)對(duì)X與Y之間的同步指數(shù)計(jì)算結(jié)果造成影響，因此進(jìn)一步對(duì)C進(jìn)行如下公式變換以去除該影響因素。

(6)

經(jīng)過(guò)上述系列變換后的相關(guān)矩陣R為

R=UCUT=

(7)

式(7)中：IN×N為維度為N的單位矩陣；I2Nh×2Nh為維度為2Nh的單位矩陣。設(shè)Φ1，Φ2，…，Φi為R的特征值，標(biāo)準(zhǔn)化處理為

(8)

式(8)中：P=N+ 2Nh，tr(R)為矩陣R的跡。

信號(hào)X與參考信號(hào)Y之間的同步指數(shù)計(jì)算公式為

(9)

基于MSI的多導(dǎo)聯(lián)頻率識(shí)別算法在運(yùn)算過(guò)程中，需要依據(jù)所設(shè)計(jì)的視覺(jué)刺激頻率構(gòu)造出相應(yīng)的參考信號(hào)Y，假設(shè)有k個(gè)刺激頻率，則構(gòu)造的參考信號(hào)數(shù)學(xué)表達(dá)式[14]為

(10)

式(10)中：Nh、fk、FS分別為諧波數(shù)、刺激頻率和采樣頻率。

構(gòu)造參考信號(hào)Y之后，利用式(1)和式(9)即可計(jì)算得到每一個(gè)EEG腦電信號(hào)與所有參考信號(hào)之間的同步指數(shù)S1，S2，…，SK。其中最大同步指數(shù)Smax所表示的參考信號(hào)的頻率即為MSI算法識(shí)別出來(lái)的受試注視的閃爍頻率。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)流程

對(duì)上肢康復(fù)機(jī)器人進(jìn)行訓(xùn)練動(dòng)作調(diào)試，通過(guò)上位機(jī)向機(jī)器人發(fā)出不同的控制指令，確保機(jī)器人能夠在接收指令后正確完成相應(yīng)的康復(fù)訓(xùn)練動(dòng)作。

首先對(duì)采集到的SSVEP腦電信號(hào)做分類(lèi)識(shí)別處理，并轉(zhuǎn)換成各頻閃相對(duì)應(yīng)的控制指令，然后通過(guò)藍(lán)牙通信將指令發(fā)送至上肢康復(fù)機(jī)器人的控制器，進(jìn)而控制機(jī)器人完成相應(yīng)的康復(fù)訓(xùn)練動(dòng)作。記錄每一次的頻閃分類(lèi)識(shí)別結(jié)果以及預(yù)期的康復(fù)訓(xùn)練動(dòng)作與實(shí)際動(dòng)作是否一致。

3.2 結(jié)果分析

信號(hào)分析的過(guò)程中為了保證所取SSVEP信號(hào)的穩(wěn)定性，選擇從刺激開(kāi)始后0.2 s作為時(shí)間窗的起始取值。首先對(duì)5名受試者兩組block共120次刺激，0.5～2.5 s每隔0.5 s取一次時(shí)間窗長(zhǎng)度進(jìn)行分類(lèi)識(shí)別，所得結(jié)果如圖7所示。

圖7 5名受試者的實(shí)驗(yàn)結(jié)果

根據(jù)識(shí)別正確數(shù)隨時(shí)間窗長(zhǎng)度增加的變化趨勢(shì)可得，時(shí)間窗大于等于2 s后，5名受試者的識(shí)別正確數(shù)變化均趨于平穩(wěn)。其中受試者3未按要求集中精神情況，但結(jié)果也表現(xiàn)尚可。因此實(shí)驗(yàn)控制過(guò)程中，以2 s時(shí)間窗長(zhǎng)度的信號(hào)作為分類(lèi)樣本，機(jī)器人實(shí)際與預(yù)期動(dòng)作完成情況如表1所示。

信息傳輸速率(ITR)常常用于作為評(píng)估腦機(jī)接口系統(tǒng)的傳輸性能指標(biāo)，計(jì)算公式[15]為

(11)

式(11)中：T為采樣開(kāi)始至機(jī)器人執(zhí)行完一次動(dòng)作的總耗時(shí)；Q為刺激目標(biāo)個(gè)數(shù)；P為識(shí)別正確率；ITR單位為bits/min。實(shí)驗(yàn)的平均ITR和平均耗時(shí)結(jié)果如表2所示。

由表1、表2可知，5名受試者的平均正確率為93.17%，信息傳輸速率為23.11 bit/min，平均耗時(shí)為4.74 s。受試者5表現(xiàn)最好，在2 s的時(shí)間窗長(zhǎng)度控制正確率達(dá)到98.33%；實(shí)驗(yàn)結(jié)果驗(yàn)證了基于SSVEP信號(hào)控制的上肢康復(fù)機(jī)器人的可行性和有效性。

表1 機(jī)器人動(dòng)作正確率

表2 平均耗時(shí)與ITR結(jié)果

4 結(jié)論

基于SSVEP腦電信號(hào)控制的上肢康復(fù)機(jī)器人，允許患者獨(dú)立自主地進(jìn)行康復(fù)訓(xùn)練運(yùn)動(dòng)，2 s時(shí)間窗長(zhǎng)度下的分類(lèi)識(shí)別情況下，控制動(dòng)作正確率高達(dá)98.33%，達(dá)到了預(yù)期的研究目標(biāo)，在控制上肢康復(fù)機(jī)器人輔助治療的方面具有良好的應(yīng)用前景。