基于最優(yōu)化少量電極的思維任務(wù)腦機接口

孫　瀚　張　雄　王保平　Bruce J Gluckman　劉嘉陽仲雪飛　樊兆雯　張　玉　張　春

(1東南大學(xué)電子科學(xué)與工程學(xué)院, 南京 210096)(2賓夕法尼亞州立大學(xué)工程學(xué)院, 美國斯泰特克利奇 16803)

?

基于最優(yōu)化少量電極的思維任務(wù)腦機接口

孫瀚1張雄1王保平1Bruce J Gluckman2劉嘉陽2仲雪飛1樊兆雯1張玉1張春1

(1東南大學(xué)電子科學(xué)與工程學(xué)院, 南京 210096)(2賓夕法尼亞州立大學(xué)工程學(xué)院, 美國斯泰特克利奇 16803)

為減少腦機接口的電極數(shù)量,采用基于最優(yōu)化少量電極的共空間模式(CSP)算法提取不同思維任務(wù)下的腦電信號(EEG)特征值.首先,根據(jù)事件相關(guān)(去)同步化現(xiàn)象觀察時頻特性;然后,運用熵準(zhǔn)則對單個電極進行可分性度量;最后,根據(jù)可分性排序,利用基于最優(yōu)化少量電極的CSP算法和支持向量機算法對不同電極組合的特征值進行提取和分類,得出最優(yōu)化的電極組合. 結(jié)果表明,進行心算和想像空間旋轉(zhuǎn)2種思維任務(wù)時被試的EEG信號在頂葉和枕葉區(qū)域存在明顯的能量差異,6個被試可分性最高的電極均位于這2個區(qū)域;與傳統(tǒng)的EEG信號處理算法相比,基于最優(yōu)化少量電極的算法可以使系統(tǒng)使用的電極數(shù)減少至3.3個,并且分類正確率提高5.4%.因此,采用基于最優(yōu)化少量電極的算法可以減少電極數(shù)目,改善思維任務(wù)腦機接口的性能.

思維任務(wù);腦機接口;最優(yōu)化少量電極;共空間模式;熵準(zhǔn)則

腦機接口(BCI)試圖直接通過大腦內(nèi)部的神經(jīng)活動控制外部設(shè)備,以期修復(fù)甚至擴展人體的生理或者認知功能[1].腦電信號(EEG)中的很多特征可以被視覺、聽覺等刺激或者自主想像所誘發(fā),如穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)、P300誘發(fā)電位、運動想像以及思維任務(wù)想像等[2].基于運動想像的腦機接口可分任務(wù)較少,而基于SSVEP和P300的腦機接口不適宜長期使用[3],因此,Keirn等[4]提出了一種基于5種思維任務(wù)的BCI系統(tǒng).

腦機接口系統(tǒng)中電極越多,準(zhǔn)備時間越長,便攜性越差.Iacoviello等[5]提出了一種針對自發(fā)情緒的腦機接口,運用主成分分析(PCA)算法對單電極(T8)的EEG信號進行分析.基于運動想像的腦機接口通常使用位于運動皮層的C3與C4電極,故只要明確進行思維任務(wù)時腦部活動區(qū)域,較少的電極也可實現(xiàn)腦機接口技術(shù).本文分別采用熵準(zhǔn)則、基于最優(yōu)化少量電極的共空間模式算法(CSP)算法和支持向量機(SVM)算法進行EEG信號的可分性計算、特征值提取以及特征分類.然后,利用基于最優(yōu)化少量電極的算法對2種不同思維任務(wù)的EEG信號進行分析,并與傳統(tǒng)的EEG信號處理方法結(jié)果進行比較.

1　實驗設(shè)計

被試選擇為健康且右利手的在校大學(xué)生(平均年齡25.2歲),所有被試均未參加過基于思維任務(wù)腦機接口的實驗.實驗開始前,向被試介紹實驗和相關(guān)注意事項,然后簽署《知情同意書》.實驗所需的視覺提示信息采用液晶顯示器完成,被試坐在舒服的椅子上,雙眼距離屏幕約1 m.

范式為無反饋實驗,時序圖見圖1.單次實驗開始前屏幕上出現(xiàn)“+”,持續(xù)2 s,表示實驗即將開始.平靜時間為2 s的黑屏?xí)r間,被試需要保持平靜.隨后,屏幕上隨機出現(xiàn)“100-7”或“L”的任務(wù)提示,被試根據(jù)提示分別在5 s的思維任務(wù)想像時間進行100-7的連續(xù)心算及想像字母L在三維空間中的旋轉(zhuǎn).這2種任務(wù)在5組實驗中分別進行15次,每組實驗間休息5～10 min.整個實驗過程中要求被試不能發(fā)出聲音、伸縮舌頭或者活動身體.

圖1　實驗范式時序圖

2　數(shù)據(jù)采集

思維任務(wù)是一種高級認知行為. Chai等[6]提出思維任務(wù)不能單純地由一個半球主導(dǎo),而應(yīng)由2個半球共同協(xié)作;主要負責(zé)區(qū)域為頂葉、枕葉以及顳葉區(qū)域.本文采用的電極分布遵照國際10/20導(dǎo)聯(lián)系統(tǒng)設(shè)置,不僅覆蓋了上述區(qū)域,也覆蓋了額葉區(qū)域,具體的電極分布示意圖見圖2.所有電極的阻抗均低于5 kΩ.為了去除眼電偽跡,在被試左右太陽穴和左眼上下位置安裝2對雙極性電極以記錄眼電信號.參考電極位于左邊乳突位置,接地電極放置在前額處.采集EEG信號的設(shè)備為美國Neuroscan公司生產(chǎn)的SynAmps2系統(tǒng),采樣頻率為250 Hz.將采集到的EEG信號經(jīng)過0.1～100 Hz的帶通濾波器處理后輸入計算機.

圖2　電極分布示意圖

3　分析方法

3.1時頻分析

EEG信號是一種復(fù)雜信號,單一的時域或者頻域特性無法完整地表現(xiàn)出腦部活動的特征.時頻分析是一種更加全面和準(zhǔn)確的分析方法,它將信號經(jīng)過某種變換映射到時間-頻率平面.目前常用的時頻分析方法包括小波變換和Gabor變換等[7].

首先,對EEG信號在時域和頻域范圍內(nèi)進行預(yù)處理. 在頻域范圍內(nèi),進行巴特沃茲帶通濾波,濾波范圍為4～35 Hz;對于時域波形,采用滑動窗取平均的方法進行時域平滑,滑動窗長度為200 ms.然后,采用事件相關(guān)去同步化(ERD)和事件相關(guān)同步化(ERS)的方法觀察時頻特性.由此得到的時頻特性為思維任務(wù)想像時間內(nèi)的EEG信號能量相對于刺激出現(xiàn)前平靜時間內(nèi)EEG信號能量(基線能量)的變化趨勢[8].令A(yù)j為圖1中思維任務(wù)想像時間內(nèi)第j個樣本點的EEG信號能量,R為平靜時間內(nèi)EEG信號的平均能量,則第j個樣本點的ERD/ERS能量為

(1)

若Sj>0,表示進行思維任務(wù)時EEG信號能量增大,產(chǎn)生了ERS;若Sj<0,表示EEG信號能量減小,產(chǎn)生了ERD. 通過計算可以觀察各電極在進行2種任務(wù)時EEG信號能量上的差異以及可分性較大的時頻范圍.

3.2基于最優(yōu)化少量電極的共空間模式算法

共空間模式算法是一種有監(jiān)督的特征提取算法,其本質(zhì)是構(gòu)建一個最優(yōu)的空間濾波器,使不同任務(wù)下特征值的差異最大化.算法流程參考文獻[9].該算法要求包含足夠多的輸入向量[9],部分研究人員將多導(dǎo)聯(lián)EEG信號作為輸入信號.本文采用了基于最優(yōu)化少量電極的CSP算法,即提取經(jīng)過預(yù)處理后的、具有最優(yōu)電極數(shù)目k的EEG信號,按照腦部節(jié)律特征將其分成5個頻率段. 被試的EEG信號在提示出現(xiàn)一段時間后才能逐步穩(wěn)定,且在單次任務(wù)中最后一段時間內(nèi)可能因為任務(wù)即將結(jié)束而分心,故為了提升信號的質(zhì)量,實驗中舍去對應(yīng)頻率段思維任務(wù)想像時間中EEG信號開始時的500 ms以及最后500 ms,將剩下的4 s信號平均分成4段,EEG信號的采樣頻率為250 Hz,因此每個時間段內(nèi)包含250個樣本點.由此構(gòu)建了(k(NFNT))Ts維的輸入信號,其中NF,NT,Ts分別表示根據(jù)腦部節(jié)律特征劃分的頻率段總數(shù)、EEG信號的時間段總數(shù)和每個時間段內(nèi)包含的樣本點數(shù). 當(dāng)k=1時,該算法即為基于最優(yōu)化單電極的CSP算法.

根據(jù)CSP基本計算方法可知,當(dāng)一種任務(wù)的特征值達到最大值時,另一種任務(wù)的特征值為最小值. 因此,可以分別取2種任務(wù)下協(xié)方差矩陣中最大的m個特征值對應(yīng)的特征向量,構(gòu)成空間濾波器W1和W2. m取值不宜過大或過小,本文中,m=2,3.則原始EEG信號X經(jīng)過空間濾波器處理后第i種任務(wù)的分解矩陣Zi為

Zi=WiXi=1,2

(2)

2種任務(wù)下提取的特征向量計算公式為

(3)

式中,fMA與fSR分別為心算(MA)任務(wù)和想像空間旋轉(zhuǎn)任務(wù)下的特征向量;var(·) 為方差計算函數(shù).對數(shù)運算是為了使特征分布更接近正態(tài)分布.

3.3熵準(zhǔn)則

(4)

式中,Jh為各電極熵準(zhǔn)則數(shù)值;p為任務(wù)總數(shù).由式(4)可知,當(dāng)不同任務(wù)下第h個電極的方差相等時,Jh達到最大值,即包含的分類信息最少.

3.4特征分類

SVM算法通過非線性變換將數(shù)據(jù)轉(zhuǎn)換至高維的特征空間,在高維空間中構(gòu)造線性判別函數(shù)以實現(xiàn)原空間中的非線性判別函數(shù)[10]. 采用基于最優(yōu)化少量電極的CSP算法,分別得到心算任務(wù)和想像空間旋轉(zhuǎn)任務(wù)下k個電極的G×m維特征向量fMA與fSR，其中,G為被試進行單次思維任務(wù)組數(shù).令fd為特征向量中的一組特征值,yd為不同的思維任務(wù),fd和yd便可構(gòu)成一組特征樣本.當(dāng)d=1,2,…,G時,令yd=1,表示特征樣本對應(yīng)的任務(wù)為心算任務(wù),fd即為特征向量fMA的一組特征值;當(dāng)d=G+1, G+2,…,2G時,令yd=-1,表示特征樣本對應(yīng)的任務(wù)為想像空間旋轉(zhuǎn)任務(wù),fd即為特征向量fSR的一組特征值.取Q(Q<2G)個特征樣本構(gòu)成訓(xùn)練樣本,剩余2G-Q個樣本構(gòu)成測試樣本,計算過程參考文獻[10]. 將訓(xùn)練樣本作為SVM算法的輸入,對分類器進行訓(xùn)練得到最優(yōu)分類面的權(quán)系數(shù)向量w以及分類閾值b.根據(jù)以上參數(shù)便可得到最優(yōu)分類判別函數(shù)r(f),即

r(f)=sgn{(w-1f)+b}

(5)

式中,f為測試樣本.r(f)=1,-1分別表示該組測試樣本對應(yīng)的任務(wù)為心算任務(wù)和想像空間旋轉(zhuǎn)任務(wù). 選擇徑向基核函數(shù)K(xe,xt),其中xe為訓(xùn)練樣本,xt為核函數(shù)中心.采用Matlab軟件中的LIBSVM工具箱計算分類正確率[11].訓(xùn)練分類器前需確定控制函數(shù)作用范圍的寬度參數(shù)g和懲罰因子c,可通過交叉驗證的方法尋找g和c的最優(yōu)值,兩者的搜索范圍均為2-10～210.

4　結(jié)果與分析

在思維任務(wù)的腦機接口操作中,被試分別進行了心算和想像空間旋轉(zhuǎn)2種思維任務(wù)各75次,每次任務(wù)的有效時長為8 s.首先,利用熵準(zhǔn)則計算單個電極特征向量的可分性.然后,根據(jù)可分性排序,將各電極組合在不同時間段和頻率段下的EEG信號作為基于最優(yōu)化少量電極的CSP算法的輸入信號.將圖1中5.5～9.5 s的時間區(qū)域平均分為4段,并根據(jù)腦部節(jié)律特征對頻率進行劃分.采用基于最優(yōu)化少量電極的CSP算法得到特征值,并利用SVM算法進行分類,計算其分類正確率,從而得到最優(yōu)化的電極組合.

4.1電極可分性分析

各電極可分性排序結(jié)果見表1. 表中從左到右依次代表可分性最好的5個電極.由表可知,在頂葉和枕葉區(qū)域特征的可分性較好,而在額葉區(qū)域可分性則較差.

表1　電極可分性排序

注:括號內(nèi)的數(shù)值為對應(yīng)電極的熵準(zhǔn)則數(shù)值.

4.2特征提取分析

圖3為被試1在頂葉C3電極處的事件相關(guān)譜擾動(ERSP)圖.圖中,0 s對應(yīng)圖1中第4 s,即任務(wù)提示出現(xiàn)的時刻.由圖可知,被試在進行2種思維任務(wù)想像時(圖3中0～5 s)與保持平靜時(圖3中-1～0 s)的EEG信號能量存在明顯區(qū)別. 針對心算任務(wù), 7～10 Hz頻率段內(nèi)會間斷出現(xiàn)ERS現(xiàn)象, 10～12 Hz頻率段內(nèi)第3 s以及30 Hz左右3～5 s時間段內(nèi)會出現(xiàn)ERD現(xiàn)象;針對想像空間旋轉(zhuǎn)任務(wù),在α頻率段內(nèi)會出現(xiàn)持續(xù)的ERS現(xiàn)象,而在15～20 Hz頻率段內(nèi)會出現(xiàn)ERD現(xiàn)象. 由此可知,在不同的頻率段和時間段內(nèi)2種思維任務(wù)的EEG信號間存在明顯區(qū)別.

(a) 心算任務(wù)

(b) 想像空間旋轉(zhuǎn)任務(wù)

根據(jù)表1中的電極可分性排序,提取不同電極組合下EEG信號的特征向量,并測試分類器性能.當(dāng)最優(yōu)電極數(shù)為1、特征值個數(shù)為2時,被試2的分類正確率達到最大值,最優(yōu)化的電極組合為C3,2種任務(wù)下最優(yōu)化電極組合的特征值如圖4所示.由圖可知,被試進行想像空間旋轉(zhuǎn)任務(wù)時EEG信號的特征值較心算任務(wù)時大.

圖4　被試2的C3電極特征值

4.3最優(yōu)化少量電極的分類結(jié)果分析

針對2種思維任務(wù)的腦機接口,比較了基于最優(yōu)化少量電極的算法與傳統(tǒng)EEG信號處理算法的性能優(yōu)化程度.除采用CSP算法及熵準(zhǔn)則不同外,其他信號處理方法保持一致.使用最優(yōu)化少量電極的腦機接口與使用傳統(tǒng)電極的腦機接口主要參數(shù)比較見表2.由表可知，較使用傳統(tǒng)電極的腦機接口，在采用最優(yōu)化少量電極的算法后，6位被試者使用的平均電極數(shù)目由10個減少至3.3個，平均分類正確率由85.3%提升至90.7%.其中，2位被試者的最優(yōu)化電極數(shù)目為1，即使用單個電極時分類正確率最高.使用最優(yōu)化少量電極的腦機接口分類正確率均高于80%，可以滿足實際操作需求[12].因此,采用基于最優(yōu)化少量電極的算法可以有效減少系統(tǒng)采用的電極數(shù)目,優(yōu)化腦機接口性能.

表2　基于最優(yōu)化少量電極的腦機接口的主要參數(shù)

5　結(jié)語

減少電極數(shù)目是研究腦機接口的熱點問題.相對于采用傳統(tǒng)的EEG信號處理算法而言,采用本文提出的基于最優(yōu)化少量電極的算法可減少所需電極的數(shù)目,提高不同思維任務(wù)的分類正確率.下一步的主要工作為改善算法,實現(xiàn)單電極腦機接口,并完成在線控制.

References)

[1]Hill N J, Ricci E, Haider S, et al. A practical, intuitive brain-computer interface for communicating “yes” or “no” by listening[J].JNeuralEng, 2014, 11(3):035003. DOI:10.1088/1741-2560/11/3/035003.

[2]Ahn M, Lee M, Choi J, et al. A review of brain-computer interface games and an opinion survey from researchers, developers and users [J].Sensors, 2014, 14(8): 14601-14633. DOI:10.3390/s140814601.

[3]Wang L, Zhang X, Zhang Y. Extending motor imagery by speech imagery for brain-computer interface[C]//35thAnnualInternationalConferenceoftheIEEEEngineeringinMedicineandBiologySociety(EMBC). Osaka, Japan, 2013: 7056-7059. DOI:10.1109/EMBC.2013.6611183.

[4]Keirn Z A, Aunon J I. A new mode of communication between man and his surroundings[J].IEEETransBiomedEng, 1990, 37(12):1209-1214. DOI:10.1109/10.64464.

[5]Iacoviello D, Petracca A, Spezialetti M, et al. A real-time classification algorithm for EEG-based BCI driven by self-induced emotions[J].ComputMethodsProgramsBiomed, 2015, 122(3):293-303. DOI:10.1016/j.cmpb.2015.08.011.

[6]Chai R, Ling S H, Hunter G P, et al. Mental non-motor imagery tasks classifications of brain computer interface for wheelchair commands using genetic algorithm-based neural network[C]//The2012InternationalJointConferenceonNeuralNetworks(IJCNN). Brisbane,Australia, 2012: 1-7.DOI:10.1109/ijcnn.2012.6252499.

[7]Jamal W, Das S, Maharatna K, et al. Brain connectivity analysis from EEG signals using stable phase-synchronized states during face perception tasks[J].PhysicaA:StatisticalMechanicsanditsApplications, 2015, 434:273-295. DOI:10.1016/j.physa.2015.03.087.

[8]Pfurtscheller G. Event-related synchronization (ERS): an electrophysiological correlate of cortical areas at rest[J].ElectroencephalogrClinNeurophysiol, 1992, 83(1):62-69. DOI:10.1016/0013-4694(92)90133-3.

[9]Wang H, Xu D. Comprehensive common spatial patterns with temporal structure information of EEG data: Minimizing nontask related EEG component[J].IEEETransBiomedEng, 2012, 59(9):2496-2505. DOI:10.1109/TBME.2012.2205383.

[10]王陸洲. 一種利用心算任務(wù)增強腦電信號特征的腦-機接口研究[D]. 天津:天津醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院, 2013.

[11]Chang C C, Lin C J. LIBSVM: A library for support vector machines [EB/OL]. (2015-12-14)[2016-01-10]. http://www. csie. ntu. edu. tw/～ cjlin/libsvm.

[12]Geronimo A, Stephens H E, Schiff S J, et al. Acceptance of brain-computer interfaces in amyotrophic lateral sclerosis[J].AmyotrophLateralSclerFrontotemporalDegener, 2015, 16(3/4):258-264. DOI:10.3109/21678421.2014.969275.

Optimal-less channel based mental task brain-computer interfaces

Sun Han1Zhang Xiong1Wang Baoping1Bruce J Gluckman2Liu Jiayang2Zhong Xuefei1Fan Zhaowen1Zhang Yu1Zhang Chun1

(1School of Electronic Science and Engineering, Southeast University, Nanjing 210096, China) (2College of Engineering, Pennsylvania State University, State College 16803, USA)

To decrease the number of channels of brain-computer interfaces, the optimal-less channel based common spatial pattern (CSP) algorithm is proposed to extract the eigenvalues of the electroencephalography (EEG) features of different mental tasks. First, the temporal-frequency features are represented by event-related (de)synchronization. Then, the separability of each individual channel is measured by entropy criterion. Finally, according to the rank of the separability, the eigenvalues of different channel groups are extracted and classified by the optimal-less channel CSP algorithm and the support vector machine algorithm to obtain the optimal channels. The results demonstrate that during the mental arithmetic task and the spatial rotation task, the EEG signals exhibit significant different powers in central and occipital lobe. The electrodes with the highest separability of all the subjects are located in these two areas. Compared with the traditional signal processing algorithm of EEG, the optimal-less channels based algorithm can reduce the number of the channels to 3.3 and increase the classification accuracy by 5.4%. Therefore, the optimal-less channel based algorithm can reduce the number of channels and improve the performance of the mental task brain-computer interfaces.

mental task; brain-computer interface; optimal-less channel; common spatial pattern; entropy criterion

10.3969/j.issn.1001-0505.2016.05.006

2016-01-14.作者簡介: 孫瀚(1990—),男,博士生;張雄(聯(lián)系人),男,博士,教授,博士生導(dǎo)師,zxbell@seu.edu.cn.

國家自然科學(xué)基金資助項目(61405033,61505028)、國家重點基礎(chǔ)研究發(fā)展計劃(973計劃)資助項目(2010CB327705)、高等學(xué)校學(xué)科創(chuàng)新引智計劃資助項目(B07027)、江蘇省自然科學(xué)基金資助項目(BK20130629).

TP274

A

1001-0505(2016)05-0934-05

引用本文: 孫瀚，張雄，王保平,等.基于最優(yōu)化少量電極的思維任務(wù)腦機接口[J].東南大學(xué)學(xué)報(自然科學(xué)版),2016,46(5):934-938. DOI:10.3969/j.issn.1001-0505.2016.05.006.