語義匹配性及刺激間隔對視聽雙模態(tài)腦控字符輸入系統(tǒng)的影響

安興偉，曹?勇，綦宏志，焦學軍，明?東1,*

?

語義匹配性及刺激間隔對視聽雙模態(tài)腦控字符輸入系統(tǒng)的影響

安興偉1+，曹?勇2+，綦宏志3，焦學軍2*，明?東1,3*

(1. 天津大學醫(yī)學工程與轉(zhuǎn)化醫(yī)學研究院，天津 300072；2. 中國航天員科研訓練中心人因工程國防科技重點實驗室，北京 100092；3. 天津大學精密儀器與光電子工程學院，天津 300072)

近年來，基于事件相關電位(ERP)的腦控字符輸入系統(tǒng)的研究越來越多，視覺與聽覺的多模態(tài)刺激范式作為一種新型的復合刺激越來越受到關注．然而，研究視聽雙模態(tài)刺激的腦控字符輸入系統(tǒng)性能因素的文章卻很少報道．本研究旨在初步探究視聽覺刺激的語義匹配性以及刺激間隔(SOA)對視聽雙模態(tài)腦控字符輸入系統(tǒng)的影響．為此，本研究設計了語義匹配、語義失配兩種刺激范式，每種范式又設置兩種不同的刺激間隔(200,ms或400,ms)．10名健康被試參與了本實驗，通過對比事件相關電位特征、可分性及分類正確率發(fā)現(xiàn)視聽覺匹配性、刺激間隔以及兩者交互作用對非目標刺激大腦反應、目標刺激大腦反應及其可分性都有顯著性影響，且視聽覺的匹配性對視聽聯(lián)合腦控字符輸入系統(tǒng)分類正確率影響顯著，但是不同刺激間隔腦機接口分類正確率之間并無顯著性差異．本研究的結(jié)果能夠為基于雙模態(tài)刺激腦控字符輸入系統(tǒng)的范式選擇和優(yōu)化提供一定的指導意見．

腦機接口；事件相關電位；雙模態(tài)；刺激間隔

近年來，腦機接口(brain computer interface，BCI)技術(shù)的迅猛發(fā)展為飽受肌肉癱瘓或者肌萎縮性脊髓側(cè)索硬化癥(amyotrophic lateral sclerosis，ALS)折磨的患者提供了一種創(chuàng)新型與外界環(huán)境交流的方式[1]．確切來說，BCI能夠?qū)⒋竽X活動的信號轉(zhuǎn)變?yōu)榭刂菩盘?，以操作特定的外界設備，進而幫助患者在沒有肌肉參與的情況下實現(xiàn)與外部環(huán)境的交互[2]．在BCI研究中，事件相關電位(event related potential，ERP)是一種備受研究者們青睞的腦電信號．相比于其他常用的基于腦電信號的BCI而言，如基于穩(wěn)態(tài)視覺誘發(fā)電位(stable state visual elicited potential，SSVEP)的BCI和基于運動想象(motor imagery，MI)的BCI，基于ERP的腦機接口系統(tǒng)通常被認為更穩(wěn)定和高效[3]．

在基于ERP腦機接口的相關研究中，又以腦控字符輸入系統(tǒng)的研究最為廣泛成熟．ERP在20世紀60年代首次被Walter等[4]檢測到，是與特定事件的發(fā)生和大腦對該事件的認知加工過程密切相關的大腦信號．P300是ERP中的1個重要組成成分，是事件發(fā)生后300,ms左右出現(xiàn)的1個正向峰值電位，通常由OddBall范式[5]誘發(fā)得到．在過去的幾十年里，BCI研究領域的先驅(qū)者們已開發(fā)了許多非常經(jīng)典的適用于P300腦控字符輸入系統(tǒng)的刺激范式．其中，尤以1988年Farwell等[6]提出的6×6字符矩陣最為經(jīng)典，并被沿用至今．在該范式中，1個6×6的字符矩陣被呈現(xiàn)在屏幕上，并按照先逐行再逐列順序(或相反)隨機閃爍．用戶被要求只注意目標字符閃爍而忽略其他閃爍，以此來組成OddBall范式誘發(fā)出P300響應．但一些研究者指出，字符矩陣范式的性能在很大程度上依賴于使用者的注視轉(zhuǎn)移能力[7-8]，因此該范式對眼動控制受限患者具有一定的局限性．為解決這一難題，獨立于眼動控制的視覺刺激范式應運而生[9]．除此之外，一些基于其他感官刺激的單模態(tài)范式，如聽覺和觸覺等也被提出[10-12]．不過，這些單模態(tài)范式共同的弱點是系統(tǒng)性能表現(xiàn)與視覺刺激范式相比具有明顯不足[13]．

隨著生物醫(yī)學工程學科的持續(xù)進步，使用者們對字符輸入系統(tǒng)的表現(xiàn)性能和用戶主觀體驗也提出了越來越高的要求．綜合考慮到眼動能力限制等問題，結(jié)合視覺聽覺雙重刺激的多模態(tài)BCI范式[14-18]慢慢走向研究者們的視野．2011年，Belitski等[17]開展了1項在線視聽雙模態(tài)刺激實驗，實驗主要為基于聲音刺激的字符輸入系統(tǒng)，采用視覺刺激提供字符所在位置信息進而便于受試者了解目標刺激與非目標刺激，實驗得出具有視覺提示的范式其性能高于僅聽覺刺激性能的結(jié)論．同樣的結(jié)論在Wang等[15]的研究中也被證實．此外，該研究還發(fā)現(xiàn)多模態(tài)刺激下的大腦活躍度明顯強于單模態(tài)刺激，且視聽聯(lián)合刺激的腦電響應與視覺、聽覺刺激的腦電響應加和之間也存在顯著性的差異．An等[14]從行為學和ERP數(shù)據(jù)兩個角度詳細探究了獨立于眼動的隱性視聽聯(lián)合范式，其結(jié)果表明行為學數(shù)據(jù)以及大腦活躍度在雙模態(tài)刺激和單模態(tài)刺激之間都存在顯著性的差異．

在基于ERP的腦機接口系統(tǒng)中，不同的系統(tǒng)設置參數(shù)對系統(tǒng)的性能會產(chǎn)生較大的影響．然而針對影響視聽雙模態(tài)刺激腦控字符輸入系統(tǒng)性能影響因素的研究卻鮮有報道．文獻[19-20]分別探究了刺激閃爍頻率和刺激時間間隔特征對系統(tǒng)性能的影響，但該結(jié)果僅在傳統(tǒng)的字符矩陣實驗下得出，在視聽聯(lián)合刺激下是否依然成立仍需實驗論證．文獻[14-15，21]詳細對比了視聽聯(lián)合刺激與僅視覺、僅聽覺刺激在系統(tǒng)性能和大腦特性響應之間的區(qū)別，但是該實驗并沒有分析影響視聽雙模態(tài)刺激范式性能因素．為此，筆者研究了視聽聯(lián)合刺激視覺與聽覺之間語義匹配性以及相鄰刺激時間間隔(stimulus-onset asynchrony，SOA)對腦控字符輸入系統(tǒng)性能和大腦響應特性的影響．

1?方法與實驗

1.1?受試者

本研究招募了10名年齡在22～33歲(23.9±1.14歲)之間的健康被試，均是在校大學生，且所有被試具有正常的聽力和正?；蛘咝Ｕ秸５囊暳Γ畬嶒炚归_之前，所有的被試都提供了書面同意協(xié)議書，志愿無償參與本次實驗．

1.2?實驗刺激與流程

實驗設計了語義匹配和語義失配兩種刺激模式，兩種模式又均設置兩種不同的刺激時間間隔SOA(S：200,ms；L：400,ms)，即實驗總共4種刺激范式．將4種范式分別稱為語義匹配長間隔范式(L-C)、語義匹配短間隔范式(S-C)、語義失配長間隔范式(L-IC)、語義失配短間隔范式(S-IC)．

本研究4種范式中視覺刺激為4個不同顏色的小寫字母．視覺刺激呈現(xiàn)在19寸、顯示頻率為60,Hz的顯示屏上；聽覺刺激則為不同的短語音刺激，由分通道呈現(xiàn)的耳機輸出．

在語義匹配范式中，聽覺刺激是4個與視覺刺激相對應的字母發(fā)音，即‘ei’、‘bi’、‘si’、‘di’．視覺與聽覺的對應關系如圖1(a)所示．音節(jié)‘ei’、‘si’在左聲道播放，音節(jié)‘bi’、‘di’在右聲道播放．如當前視覺刺激呈現(xiàn)的是字母‘a(chǎn)’，對應的聽覺刺激是短音‘ei’(字母‘a(chǎn)’的發(fā)音)，如圖1(c)所示．

圖1?實驗刺激與流程

語義失配范式中，聽覺刺激是4個單音節(jié)的短音刺激[22-23]：‘ti’、‘to’、‘it’、‘ot’．其中音節(jié)‘ti’、‘it’在左聲道播放，音節(jié)‘to’，‘ot’在右聲道播放；且每個聲音刺激的發(fā)音與視覺呈現(xiàn)的字母之間沒有語義上的聯(lián)系，其對應關系如圖1(b)所示．例如，與視覺刺激字母‘a(chǎn)’呈現(xiàn)時，對應的聲音刺激是音節(jié)‘ti’．

在各個范式中，每個視覺刺激有且只有1個聲音刺激與之對應，且視覺刺激和對應的聲音刺激同時呈現(xiàn)．視覺刺激與聽覺刺激的刺激時間均為130,ms．長間隔范式的SOA為400,ms，而短間隔范式的相鄰刺激之間SOA為200,ms．實驗范式在e-prime 2.0環(huán)境下編寫完成．

實驗過程分上、下兩部分．每部分4種范式以隨機順序進行．每種范式包含分別以4個視聽刺激為目標刺激的刺激序列．每個刺激序列包含提示目標刺激、序列呈現(xiàn)兩部分(如圖1(c)、(d)所示)．提示目標刺激呈現(xiàn)2,s，序列呈現(xiàn)為10試次的4個刺激的隨機呈現(xiàn)．刺激序列間休息2,s．

在實驗過程中，被試被要求以1個盡量舒適的坐姿直視刺激呈現(xiàn)屏幕中央?yún)^(qū)域，并盡量減少眼睛和任何其他肢體的移動．

1.3?數(shù)據(jù)采集與預處理

腦電信號通過64導聯(lián)的Neuroscan腦電電極帽采集，電極位置參照國際通用標準10～20系統(tǒng)放置．其中參考電極選擇鼻尖位置，地電極選擇在AFz電極附近．所有電極阻抗都保持在10,kΩ以下．腦電信號的采集頻率為500,Hz，由Neuroscan NuAmp腦電放大器放大．

實驗數(shù)據(jù)預處理主要包括變參考電位、ICA去噪、降采樣以及數(shù)據(jù)分段．首先將原信號以左右乳突的平均值作為參考信號；其次，對變參考電位之后的信號進行獨立成分分析(independent component analysis，ICA)，并根據(jù)分析結(jié)果，手動去除眼動干擾和運動偽跡；再次，對去噪后的信號進行帶通濾波(0.5～40,Hz)，并降采樣到200,Hz；最后，將每個刺激對應的刺激前200,ms到刺激后800,ms的數(shù)據(jù)進行分段．

1.4?可分性與分類算法

為了獲得更好的分類效果，研究分析了每個通道在任意時刻目標刺激與非目標刺激信號之間的可分性．可分性通常用2來描述，即

式中：T和N分別為目標刺激和非目標刺激信號的樣本大小；T和N分別為目標刺激和非目標刺激腦電響應的特征向量．

通常情況下ERP目標刺激與非目標刺激的可分性決定了腦控字符輸入系統(tǒng)的分類正確率．因此，對2值的分析，能夠為選擇恰當?shù)姆诸愄卣鼽c提供數(shù)學理論基礎．本文中用到了2個最為典型和常用的機器學習算法：支持向量機(support vector machine，SVM)和逐步線性判別(stepwise linear discriminant analysis，SWLDA)．具體說來，SVM在處理小樣本、非線性以及高維度的模式識別問題上表現(xiàn)出了很多獨特的優(yōu)勢．SVM是一種二類分類器，基本模型可以描述為特征空間上間隔最大的線性分類器，它通過引入1張離2個模式距離最大的超平面實現(xiàn)2個模式的區(qū)分，SVM算法已經(jīng)在LibSVM中實現(xiàn)[24]. SWLDA是線性判別式(linear discriminant analysis，LDA)的擴展算法．相比于LDA算法，SWLDA最主要的區(qū)別就在于它能夠根據(jù)需要挑選出最佳的特征以獲得較好的分類表現(xiàn)性能．

1.5?統(tǒng)計學方法

采用基于bootstrapping的統(tǒng)計學分析方法，諸如配對T檢驗以及單因素、雙因素方差分析來刻畫幾種不同范式在系統(tǒng)性能以及大腦響應特性上的差異．作為由Efron[25]開發(fā)的一種新的統(tǒng)計學分析方法，bootstrapping分析的實現(xiàn)不依賴于樣本的分布特性，這也是該分析方法相比傳統(tǒng)的配對檢驗和方差分析最大的優(yōu)勢所在．具體說來，bootstrapping通過對已有的原樣本多次進行重采樣(通常迭代次數(shù)為1,000次左右)，并以此來估計樣本的分布．因此，可根據(jù)所得的分布確定置信區(qū)間，進而判斷不同范式下的結(jié)果差異是否顯著．此外，當數(shù)據(jù)進行多次比較時，采用FDR校正方式對結(jié)果進行校正．更多有關bootstrapping分析方法的學習資料可以參考文獻[26].

2?結(jié)?果

2.1?事件相關電位對比

為了對比不同刺激配置下大腦響應特性之間的差異，研究中采用bootstrapping雙因素方差分析，對不同范式目標和非目標事件刺激下的ERP信號進行全時空對比，分析結(jié)果經(jīng)過FDR校正，結(jié)果如圖2所示．圖2(a)上半部分為bootstrapping分析結(jié)果值在所有導聯(lián)以及時間內(nèi)的時空分布；下半部分為特定時刻值在所有導聯(lián)上的空間分布．圖2中所有色塊圖都共享右下方顏色區(qū)間標注，深藍色區(qū)域表示因子對信號影響顯著，且≤0.01；淺藍色區(qū)域表示因子對信號影響顯著，且0.01＜≤0.05；白色區(qū)域表明因子對信號在該時刻、該空間無顯著性影響，＞0.05．從圖2(a)中可以看出，在非目標刺激下，SOA 對被試大腦響應特性影響主要集中在200,ms左右的顳葉和枕葉、340,ms左右的額葉和頂葉；視聽覺刺激之間匹配性對200,ms和340,ms左右的全腦區(qū)的影響都顯著；兩者交互作用影響主要在刺激開始時刻以及ERP的后期成分(560,ms左右)．SOA對目標刺激的影響主要體現(xiàn)在200,ms和400,ms的頂葉；語義匹配性在200,ms對全腦區(qū)都有影響，在340,ms和560,ms左右的頂葉也有顯著性影響；SOA和語義匹配性的交互作用影響主要體現(xiàn)在200,ms的額葉和顳葉以及560,ms左右部分頂葉．

圖3顯示了3個典型導聯(lián)(FC5、CZ、P7)在不同刺激配置下的大腦響應ERP．其中綠色曲線S-IC代表短時間間隔(200,ms)語義失配刺激，藍色曲線S-C代表短時間間隔(200,ms)語義匹配刺激，粉色曲線L-IC代表長時間間隔(400,ms)語義失配刺激，紅色曲線L-C代表長時間間隔(400,ms)語義匹配刺激．

從圖3中可以看出，目標刺激和非目標刺激所誘發(fā)的腦電信號明顯不同．目標刺激在200,ms附近有1個明顯的負電位，通常被稱為N200成分；在200～400,ms之間的正電位通常被稱為P300成分．通過各個參數(shù)設置下非目標刺激的波形可看到不同范式在FC5和CZ導聯(lián)處從刺激開始時刻就表現(xiàn)出較大的差異，長時間與短時間間隔范式在刺激后200,ms處在3個導聯(lián)均存在差異，且長時間間隔范式的幅值(負向)要大于短時間間隔范式的幅值．從圖3中給定的3個導聯(lián)來看，語義失配刺激誘發(fā)的ERP響應幅度大于語義匹配刺激的幅值；短時間間隔(SOA＝200,ms)刺激誘發(fā)的ERP相應幅度較長時間間隔(SOA＝400,ms)刺激來說更大．此外，在這4種模式中，P300成分幅值最大的是語義失配短時間間隔范式．

圖3?不同刺激參數(shù)下ERP波形對比

從圖3分析的結(jié)果中可以得出：①任務難度越大，則相對誘發(fā)出的ERP各個成分也會相應更大．一般地，從神經(jīng)生理學角度來看，刺激間隔越短，被試越需要集中更多的注意力以捕捉到目標刺激．同樣地，對于視聽語義之間的匹配性而言，失配的刺激難度更高，也需要被試投入更多的注意力．而ERP中的P300成分恰好是反映被試注意投入程度的一個指標；且被試越專注于目標刺激的出現(xiàn)，則誘發(fā)的事件相關電位中P300成分強度也越強．這一結(jié)論從一定程度上揭示了上述結(jié)果的產(chǎn)生．②刺激間隔與語義匹配性對視聽雙模態(tài)非目標刺激的影響要大于目標刺激．一方面刺激間隔的長短影響了非目標刺激出現(xiàn)的頻率，從而影響了非目標刺激的波形特性，而對目標刺激出現(xiàn)頻率的影響并不大；另一方面大腦對語義匹配和失配刺激的響應可能來源于不同的反應機制，從而導致波形的不同．然而對于目標刺激的響應作為選擇性刺激，屬于內(nèi)源性大腦認知反應，語義匹配性的影響并不大．

2.2?可分性對比

可分性是描述目標刺激與非目標刺激大腦響應ERP之間差異的一個變量，通?？捎墒?1)計算得到．本文計算了4種刺激配置下全時空的可分性，并采用bootstrapping雙因素方差分析方法對比了SOA、語義匹配性以及兩者的交互作用對ERP信號可分性的影響，分析結(jié)果經(jīng)FDR校正，如圖4所示.深藍色區(qū)域表示因子對信號影響顯著，且≤0.01；淺藍色區(qū)域表示因子對信號影響顯著，且0.01＜≤0.05；白色區(qū)域表明因子對信號無顯著性影響，＞0.05．由圖4可以看出，SOA的長短僅在200,ms左右的頂葉對可分性有顯著性影響．視聽覺之間的匹配性在200,ms附近的額葉、頂葉以及430,ms左右的頂葉和顳葉、枕葉左半部分影響都顯著．除此之外，兩者的交互作用在300,ms左右的前額葉、頂葉對可分性影響顯著．根據(jù)可分性的分析結(jié)果，最后選取的特征點位于180～280,ms、300～450,ms、480～530,ms 3個時間窗內(nèi)，并降采樣到40,Hz．選取的導聯(lián)為在上述3個特征窗口內(nèi)有著最大可分性的10個導聯(lián)(CZ、PZ、CPZ、OZ、PO7、PO8、FC1、FC2、FC5、FC6)．因此，每個事件刺激選取了10×12＝120個特征點用以分類器的建模識別．

圖4?不同刺激參數(shù)下可分性對比

2.3?離線分類正確率

根據(jù)可分性結(jié)果所選擇的信號特征分別用SWLDA和SVM對數(shù)據(jù)進行分類．圖5顯示了在語義匹配(C)、語義失配(IC)兩種范式下，SOA分別為200,ms和400,ms時得到的離線分類正確率．圖5橫坐標中“S”表示短間隔刺激，SOA為200,ms，“L”表示長間隔刺激，SOA為400,ms．在SWLDA分類算法下，10名被試S-IC、L-IC、S-C、L-C范式的平均分類正確率分別為70.7%,、73.9%,、68.8%,以及74.8%,．在SVM分類算法下，分類結(jié)果有些許下降，分別為66.4%,、67.3%,、62.7%,和68.1%,．

圖5?不同參數(shù)下單次提取分類正確率

從圖5可以看出：盡管SWLDA和SVM兩種分類算法得到的結(jié)果有所差異，但分類結(jié)果的總體趨勢顯示，長間隔范式腦控字符系統(tǒng)分類正確率要高于短間隔范式的分類正確率；此外，語義匹配性對短間隔范式的分類正確率影響較大，而對長間隔范式的分類正確率影響并不大；最后，基于bootstrapping的雙因素方差分析被用以驗證語義匹配性和SOA對分類正確率的影響．

本文主要研究視聽雙模態(tài)刺激語義匹配性及刺激間隔的長短對分類正確率的影響．每類都有兩種情況，因此，用雙因素方差分析來檢驗各因素以及因素間的交互作用對最終分類結(jié)果的影響. Bootstrapping的檢驗結(jié)果表明，盡管長間隔范式得到的分類正確率更高，但SOA對分類正確率的影響并不顯著?(＞0.05)．語義匹配性對分類結(jié)果影響顯著：在SWLDA分類算法下，(1，9)＝15.6，＝0.003；在SVM分類算法下，(1，9)＝6.3，＝0.03．兩者的交互作用在SVM分類結(jié)果中影響同樣顯著：(1，9)＝5.0，＝0.05．

分類正確率的高低與可分性大小密不可分．圖4中顯示的不同實驗配置參數(shù)下可分性bootstrapping分析結(jié)果在一定程度上也可以為系統(tǒng)離線分類正確率之間的差異做出解釋．語義匹配性對分類正確率影響顯著，同樣的語義匹配性對可分性的影響在選定的導聯(lián)和時間窗內(nèi)都有顯著性影響.刺激時間間隔對分類正確率影響并不顯著，對應地，可分性的對比結(jié)果也僅在極少數(shù)導聯(lián)處顯示出差異.

3?結(jié)?語

本文設計了2(語義匹配、語義失配)×2(SOA 200,ms、SOA 400,ms)＝4種刺激參數(shù)配置實驗范式，初步探究了視、聽覺之間語義匹配性以及SOA對視聽雙模態(tài)腦控字符輸入系統(tǒng)性能和大腦響應特性之間的影響．ERP的分析結(jié)果表明，語義匹配性、刺激時間間隔對非目標及目標刺激下大腦響應均存在顯著性差異，且對非目標刺激的影響大于對目標刺激的影響；語義匹配性對腦控字符輸入系統(tǒng)離線的分類正確率影響顯著，而SOA對分類正確率并無顯著性影響；語義匹配并不能帶來ERP信號幅值和分類正確率的優(yōu)化，相反，較高難度的任務即語義失配反而能誘發(fā)高幅值的ERP信號及高的分類正確率；由于時間間隔對分類正確率的影響并不顯著，這就提示在范式設計時，在被試可接受的任務難度下可選擇語義失配的短時間間隔范式進行實驗．本研究得到的結(jié)果對后續(xù)視聽相關的腦控字符輸入系統(tǒng)的范式選擇及優(yōu)化研究具有重要的參考價值．

［1］ Wolpaw J，Wolpaw E W.：[M]. USA：OUP，2012.

［2］ Wolpaw J R，Birbaumer N，Heetderks W J，et al. Brain-computer interface technology：A review of the first international meeting[J].，2000，8(2)：164-173.

［3］ Mak J N，Wolpaw J R. Clinical applications of brain-computer interfaces：Current state and future prospects [J].，2009，2(1)：187-199.

［4］ Walter W，Cooper R，Aldridge V J，et al. Contingent negative variation：An electric sign of sensori-motor association and expectancy in the human brain[J].，1964，203(4943)：380-384.

［5］ Fabiani Monica，Gratton Gabriele，Karis Demetrios，et al. Definition，identification，and reliability of measurement of the P300 component of the event-related brain potential[J].，1987，2(S1)：1-78.

［6］ Farwell Lawrence Ashley，Donchin Emanuel. Talking off the top of your head：Toward a mental prosthesis utilizing event-related brain potentials[J].，1988，70(6)：510-523.

［7］ Brunner P，Joshi S，Briskin S，et al. Does the P300 speller depend on eye gaze?[J].，2010，7(5)：056013.

［8］ Treder M S，Blankertz B. (C)overt attention and visual speller design in an ERP-based brain-computer interface [J].，2010，6(1)：6-28.

［9］ Treder Matthias Sebastian，Schmidt Nico Maurice，Blankertz Benjamin. Gaze-independent brain-computer interfaces based on covert attention and feature attention [J].，2011，8(6)：066003.

［10］ Guo Jing，Gao Shangkai，Hong Bo. An auditory brain-computer interface using active mental response[J].，2010，18(3)：230-235.

［11］ Brouwer Anne-Marie，van Erp Jan B F. A tactile P300 brain-computer interface[J].，2010，4(19)：1-11.

［12］ Riccio Angela，Mattia Donatella，Simione L，et al. Eye-gaze independent EEG-based brain-computer interfaces for communication[J].，2012，9(4)：045001.

［13］ Aloise F，Lasorsa I，Schettini F，et al. Multimodal stimulation for a P300-based BCI[J].，2007，9(3)：128-130.

［14］ An Xingwei，H?hne Johannes，Ming Dong，et al. Exploring combinations of auditory and visual stimuli for gaze-independent brain-computer interfaces[J].，2014，9(10)：e111070.

［15］ Wang Fei，He Yanbin，Pan Jiahui，et al. A novel audiovisual brain-computer interface and its application in awareness detection[J].，2015，5：9962.

［16］ Chang Moonjeong，Nishikawa Nozomu，Cai Zhenyu，et al. Psychophysical responses comparison in spatial visual，audiovisual，and auditory BCI-spelling paradigms[C]//，. Kobe，Japan，2154-2157.

［17］ Belitski A，F(xiàn)arquhar J，Desain P. P300 audio-visual speller[J].，2011，8(2)：025022.

［18］ Chang M，Nishikawa N，Struzik Z R，et al. Comparison of P300 responses in auditory，visual and audiovisual spatial speller BCI paradigms[J].，2013.

［19］ McFarland D J，Sarnacki W A，Townsend G，et al. The P300-based brain-computer interface(BCI)：Effects of stimulus rate[J].，2011，122(4)：731-737.

［20］ Lu Jessica，Speier William，Hu Xiao，et al. The effects of stimulus timing features on P300 speller performance [J].，2013，124(2)：306-314.

［21］ 安興偉. 基于數(shù)字拼寫的視-聽聯(lián)合刺激誘發(fā) ERP 研究[D]. 天津：天津大學精密儀器與光電子工程學院，2010.

An Xingwei. Research on Event-Related Potentials(ERP)Evoked by Visual-Auditory Cross Stimulation Based on Number Speller[D]. Tianjin：School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，2010(in Chinese).

［22］ H?hne Johannes，Krenzlin Konrad，D?hne Sven，et al. Natural stimuli improve auditory BCIs with respect to ergonomics and performance[J].，2012，9(4)：045003.

［23］ An Xingwei，Ming Dong，Sterling Douglas，et al. Optimizing visual-to-auditory delay for multimodal BCI speller[C]//2014 36. Chicago，USA，2014：1226-1229.

［24］ Chang Chih-Chung，Lin Chih-Jen. LIBSVM：A library for support vector machines[J].()，2011，2(3)：1-27.

［25］ Efron Bradley.：[M]. New York，USA：Springer，1992.

［26］ Hesterberg T，Moore D S，Monaghan S，et al. Bootstrap methods and permutation tests[J].，2005，5：1-70.

(責任編輯：王新英)

Effects of Semantic Congruency and Stimulus-Onset Asynchrony onAudiovisual Bimodal Stimuli Based BCI Speller

An Xingwei1+，Cao Yong2+，Qi Hongzhi3，Jiao Xuejun2*，Ming Dong1, 3*

(1. Academy of Medical Engineering and Translational Medicine，Tianjin University，Tianjin 300072，China；2. National Key Laboratory of Human Factors Engineering，China Astronaut Research and Training Center，Beijing 100092，China；3. School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，Tianjin 300072，China)

In recent years，researches on event-related potential(ERP)-based brain computer interface(BCI)speller have become increasingly popular．Visual and auditory based multimodal stimuli paradigms as new paradigms have attracted more and more attention．Studies on the effect of experimental parameters on system performance of visual-auditory stimuli based BCI speller have rarely been reported．This study aims at investigating the effects of audiovisual semantic congruency and stimulus-onset asynchrony(SOA)on audiovisual bimodal stimuli based BCI speller．Therefore，two audiovisual paradigms(semantic congruent and semantic incongruent)with two different SOAs(200,ms and 400,ms)were adopted，and 10 healthy subjects participated in the experiment．ERP，discrimination of targets and non-targets，and classification accuracy were analyzed．Results indicated that semantic congruency，SOA and the interaction factors have significant effect on the brain response and discrimination of target and non-target stimuli．Semantic congruency also has significant effect on system classification accuracy，whereas no significant difference was found on factor SOA．This study could provide a theoretical guidance for the design of new paradigms on visual and auditory based bimodal BCI speller.

brain-computer interface(BCI)；event-related potential(ERP)；bimodal；stimulus-onset asynchrony (SOA)

10.11784/tdxbz201702038

R318

A

0493-2137(2018)01-0103-08

2017-02-21；

2017-06-06.

+并列第一作者：安興偉(1985—??)，女，博士，anxingwei@tju.edu.cn；曹?勇(1993—??)，男，碩士研究生，caoyong_93@163.com.

明?東，richardming@tju.edu.cn；焦學軍，jxjisme@sina.com.

國家自然科學基金資助項目(61603269，81671861，81630051)；中國博士后科學基金資助項目(2017M610162)．

the National Natural Science Foundation of China(No.,61603269，No.,81671861 and No.,81630051)and the China Postdoctoral Science Foundation(No.,2017M610162).