基于三維視覺指導(dǎo)的運(yùn)動想象訓(xùn)練性能分析

胡 敏，李 沖，路榮榮，黃宏程

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引言

近些年，腦機(jī)接口(Brain-Computer Interface, BCI)利用其不依賴于常規(guī)大腦信息輸出通路的特點(diǎn)，直接實(shí)現(xiàn)人腦對電子設(shè)備進(jìn)行信息交流和控制的特點(diǎn)，已被用于康復(fù)醫(yī)療、交互控制、虛擬現(xiàn)實(shí)(Virtual Reality, VR)等領(lǐng)域[1-2]。

運(yùn)動想象(Motor Imagery, MI)是BCI中一種常見類型，是指用戶自主地想象做特定動作，且不引發(fā)肢體、肌肉的運(yùn)動。當(dāng)人們在想象肢體運(yùn)動(如想象左手或右手運(yùn)動等)時，在大腦的感覺運(yùn)動皮層會產(chǎn)生事件相關(guān)去同步(Event-Related Desynchronization, ERD)或事件相關(guān)同步(Event-Related Synchronization, ERS)的節(jié)律性腦電(ElectroEncephaloGram, EEG)變化，這種EEG節(jié)律性變化可以被應(yīng)用在BCI系統(tǒng)中。對于基于運(yùn)動想象的腦機(jī)接口，其使用之前需要通過實(shí)驗(yàn)設(shè)計(jì)方式對用戶進(jìn)行訓(xùn)練，且性能較大程度取決于訓(xùn)練樣本的質(zhì)量或者主體參與度[3]。因此，如何設(shè)計(jì)合理的實(shí)驗(yàn)設(shè)計(jì)以提高訓(xùn)練性能，是關(guān)乎運(yùn)動想象腦機(jī)接口成功的關(guān)鍵。

運(yùn)動想象的實(shí)驗(yàn)設(shè)計(jì)一般包括準(zhǔn)備、提示、運(yùn)動想象以及反饋等階段。研究發(fā)現(xiàn)在引入一定的視覺指導(dǎo)有助于用戶的訓(xùn)練，提高訓(xùn)練效率[4]。目前，視覺指導(dǎo)的運(yùn)動想象訓(xùn)練的研究主要集中在兩個方面：一是呈現(xiàn)環(huán)境方面的研究，比如，文獻(xiàn)[5]發(fā)現(xiàn)在三維立體顯示器的環(huán)境下，感覺運(yùn)動皮質(zhì)上的Alpha(10～12 Hz)波段有著更明顯的ERD現(xiàn)象。相似地，文獻(xiàn)[6]發(fā)現(xiàn)虛擬現(xiàn)實(shí)環(huán)境能夠引發(fā)更為明顯的EEG的節(jié)律性變化。然而上述研究中，未對運(yùn)動想象訓(xùn)練效果作出說明，無法明確這些呈現(xiàn)環(huán)境是否有利于訓(xùn)練。另外，文獻(xiàn)[7]將反饋階段置于虛擬現(xiàn)實(shí)環(huán)境下，對用戶的想象腳運(yùn)動的訓(xùn)練效果有一定提升；但是其對比中內(nèi)容形式是不同的，忽略了內(nèi)容形式對訓(xùn)練效果的影響。二是內(nèi)容形式方面的研究，比如，研究者廣泛采用Graz-BCI實(shí)驗(yàn)范式[8]，其主要是以箭頭指向?yàn)樘崾?。在此基礎(chǔ)上，文獻(xiàn)[9]對比了視頻和箭頭方式的訓(xùn)練效果，結(jié)論表明兩者運(yùn)動想象訓(xùn)練性能并未有顯著性差異，但是只是考慮了短時間的訓(xùn)練效果，缺乏長時間測試時，視頻方式可能帶來優(yōu)勢分析。文獻(xiàn)[10]對比了動態(tài)手與動態(tài)立方體的三維視覺，發(fā)現(xiàn)動態(tài)手引起中央Beta節(jié)律(13～30 Hz)變化有著更強(qiáng)的ERD現(xiàn)象。而后，文獻(xiàn)[11]進(jìn)一步研究發(fā)現(xiàn)有交互對象的三維動畫，其在分類準(zhǔn)確性表現(xiàn)相對更好。這些研究表明，生動形象且有交互對象的視覺指導(dǎo)內(nèi)容有利于運(yùn)動想象的訓(xùn)練。

從以上研究可以得出，一些視覺指導(dǎo)的呈現(xiàn)環(huán)境和內(nèi)容形式對運(yùn)動想象訓(xùn)練效果有著一定積極影響，尤其以虛擬現(xiàn)實(shí)為呈現(xiàn)環(huán)境或三維動畫為內(nèi)容形式為代表的視覺指導(dǎo)，但是目前視覺指導(dǎo)的運(yùn)動想象訓(xùn)練仍存在以下問題：1)虛擬現(xiàn)實(shí)的呈現(xiàn)環(huán)境對能否改善運(yùn)動想象訓(xùn)練效果，提高分類準(zhǔn)確率、延長訓(xùn)練時間等仍缺乏明確結(jié)論。2)當(dāng)前研究所使用的訓(xùn)練樣本和測試樣本，一般為相同視覺指導(dǎo)內(nèi)容下獲取的腦電數(shù)據(jù)。而在實(shí)際BCI應(yīng)用環(huán)境下，用戶所執(zhí)行運(yùn)動想象任務(wù)可能存在與訓(xùn)練場景不一致的情況，此時對BCI系統(tǒng)性能是否存在影響，目前也缺乏討論。

針對以上問題，本文設(shè)計(jì)了三種三維動畫作為左右手運(yùn)動想象的視覺指導(dǎo)內(nèi)容，并通過指導(dǎo)被試在傳統(tǒng)顯示環(huán)境和虛擬現(xiàn)實(shí)環(huán)境進(jìn)行標(biāo)準(zhǔn)實(shí)驗(yàn)和長測實(shí)驗(yàn)。而后，通過對腦電數(shù)據(jù)的模式分類，研究了：1)標(biāo)準(zhǔn)實(shí)驗(yàn)下傳統(tǒng)顯示環(huán)境和虛擬現(xiàn)實(shí)環(huán)境的分類準(zhǔn)確率的差異；2)長測實(shí)驗(yàn)下傳統(tǒng)顯示環(huán)境和虛擬現(xiàn)實(shí)環(huán)境下分類準(zhǔn)確率變化的異同；3)測試樣本與訓(xùn)練樣本來源不同視覺指導(dǎo)內(nèi)容訓(xùn)練下腦電數(shù)據(jù)，其分類準(zhǔn)確率較相同視覺指導(dǎo)內(nèi)容的區(qū)別。最后，通過上述的對比與分析，給出視覺指導(dǎo)方式下改善運(yùn)動想象訓(xùn)練性能意見，為運(yùn)動想象腦機(jī)接口的訓(xùn)練和應(yīng)用提供一定參考。

1 實(shí)驗(yàn)設(shè)計(jì)

1.1 動畫設(shè)計(jì)

本文以三維動畫作為視覺指導(dǎo)內(nèi)容形式，引導(dǎo)被試執(zhí)行左右手運(yùn)動想象任務(wù)。為了給被試者一種接近真實(shí)場景的引導(dǎo)方式，本文利用三維建模軟件3D Max，設(shè)計(jì)了人的左右胳膊(包含左右手)的三維模型；與此同時，也設(shè)計(jì)了三維模型盒子、書本以及地球儀，用于手部的交互動畫設(shè)計(jì)。而后，將設(shè)計(jì)的模型導(dǎo)入到游戲引擎Unity3d中，利用Unity3d開發(fā)組建和C#腳本語言，設(shè)計(jì)了三種左右手運(yùn)動的三維動畫，分別是手推盒子、手翻書以及手撥地球儀，如圖1所示。

圖1 手部運(yùn)動的三維動畫示意圖 Fig. 1 3D-animation of hand movement

1.2 實(shí)驗(yàn)者與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)招募了5名被試者(年齡：24～27歲，均為右利手，1名女性)。所有被試者都是第一次參加腦電實(shí)驗(yàn)，且并未告知任何的實(shí)驗(yàn)假設(shè)。本實(shí)驗(yàn)使用OpenBCI的腦電采集系統(tǒng)以及64通道腦電帽。根據(jù)10/20系統(tǒng)，采集電極設(shè)置為FC3、FCz、FC4、C5、C3、C1、Cz、C2、C4、C6、CP1、CP2、CP3、CPz和CP4電極點(diǎn)，參考點(diǎn)電極為Fpz，接地電極為右耳乳突處，采樣頻率為250 Hz。在佩戴好腦電帽后，注入導(dǎo)電膏降低電阻，并進(jìn)行阻抗檢測，確定每個通道阻抗穩(wěn)定在20 kΩ以下。

在腦電信號采集過程中，被試者坐在手椅子上，雙手自然地放置在桌子上。實(shí)驗(yàn)過程中，被試者被要求根據(jù)屏幕上呈現(xiàn)的場景進(jìn)行運(yùn)動想象任務(wù)，期間應(yīng)盡量避免頭部和身體的移動，并避免在運(yùn)動想象期間眨眼。

1.3 實(shí)驗(yàn)范式和實(shí)驗(yàn)方案

實(shí)驗(yàn)范式如圖2所示，一次訓(xùn)練持續(xù)7 s。具體如下：0～2 s三維動畫場景保持靜止；第2～3 s會箭頭指示出執(zhí)行左手或右手運(yùn)動想象，第3 s發(fā)出提示音，并顯示運(yùn)動的三維動畫場景，持續(xù)4 s；每次實(shí)驗(yàn)間有5 s的間隔。另外，三種視覺指導(dǎo)動畫都設(shè)計(jì)了左手和右手兩種交互方式，其中左右手模型、箭頭及背景是相同的，而手部的交互對象、左右手的運(yùn)動方式及其交互對象的反饋是存在差異的。如圖3所示，給出了三種視覺內(nèi)容下，左手和右手在實(shí)驗(yàn)范式中各個階段的訓(xùn)練場景。

圖2 實(shí)驗(yàn)范式 Fig. 2 Experimental paradigm

圖3 三種視覺指導(dǎo)內(nèi)容下左右手運(yùn)動想象的訓(xùn)練場景 Fig. 3 Training scenarios of left hand and right hand motor imagery under three visual guidance contents

實(shí)驗(yàn)中視覺指導(dǎo)的呈現(xiàn)環(huán)境分為兩種，分別為24寸液晶顯示器(Liquid Crystal Display， LCD)和HTC VIVE頭盔顯示器(Helmet-Mounted Displays, HMD)呈現(xiàn)環(huán)境，如圖4所示。具體的實(shí)驗(yàn)方案具體如下：

1)標(biāo)準(zhǔn)實(shí)驗(yàn)。分別在LCD和HMD呈現(xiàn)環(huán)境下，分別使用視覺指導(dǎo)場景為手推盒子、手翻書以及手撥地球儀的實(shí)驗(yàn)范式對被試進(jìn)行200組腦電采集，其中左手和右手視覺指導(dǎo)隨機(jī)出現(xiàn)。另外為了避免被試疲勞，每間隔25組休息5 min，每100組之間休息20 min。

2)長測實(shí)驗(yàn)。分別在LCD和HMD呈現(xiàn)方式下，分別使用視覺指導(dǎo)場景為手推盒子、手翻書以及手撥地球儀的實(shí)驗(yàn)范式對被試進(jìn)行腦電采集，訓(xùn)練1次，持續(xù)15 min，其中左手和右手視覺指導(dǎo)隨機(jī)出現(xiàn)。

圖4 兩種視覺指導(dǎo)的呈現(xiàn)環(huán)境 Fig. 4 Two rendering environment with visual guidance

2 數(shù)據(jù)處理

實(shí)驗(yàn)采集的腦電信號，將分為訓(xùn)練性本和測試性本。對于訓(xùn)練性本數(shù)據(jù)，首先經(jīng)過預(yù)處理，這其中包括去噪、濾波等；其次，使用共同空間模式(Common Spatial Pattern, CSP)算法提取運(yùn)動想象腦電的特征信息，并利用支持向量機(jī)(Support Vector Machine, SVM)的方法對特征信息進(jìn)行訓(xùn)練，得到分類器。對于測試樣本數(shù)據(jù)，同樣需要進(jìn)行預(yù)處理和特征提取，然后將提取的特征導(dǎo)入到已經(jīng)構(gòu)建好的SVM分類器中進(jìn)行分類測試。

2.1 預(yù)處理

本文首先對原始腦電信號使用共同平均參考方法，降低對噪聲影響。另外，由于左右手運(yùn)動想象所誘發(fā)的最相關(guān)為Mu(8～13 Hz)和Beta(13～30 Hz)節(jié)律頻段的腦電信號。因此，再利用FIR(Finite Impulse Response)數(shù)字帶通濾波器對腦電信號進(jìn)行濾波，通帶頻率8～30 Hz。為了更好地提取頻域信息，本文將8～30 Hz的腦電數(shù)據(jù)分解為[8,13.5]、[13.5,19]、[19,24.5]以及[24.5,30]這4個子帶。

2.2 特征提取

腦電信號的特征提取是為了獲取一些表征大腦活動的特征量，是BCI系統(tǒng)中一個關(guān)鍵環(huán)節(jié)。常見的特征提取方法主要有獨(dú)立成分分析(Independent Component Analysis， ICA)、自回歸(AutoRegression, AR)模型、希爾伯特黃變換(Hilbert-Huang Transform， HHT)、CSP等，其中CSP作為一種有效的特征提取手段已被廣泛應(yīng)用。它是通過構(gòu)造一個空間濾波器，使得兩類信號經(jīng)過濾波后，一類信號方差最大化，同時另一類方差最小化，達(dá)到區(qū)分兩類信號的作用[12]。另一方面，實(shí)驗(yàn)所采集的電極點(diǎn)主要是C3、C4及其相鄰的電極點(diǎn)，其能夠?yàn)镃SP提供較多與ERD/ERS現(xiàn)象有關(guān)的導(dǎo)聯(lián)通道，且一定程度上減少冗余信息和噪聲；與此同時，預(yù)處理的頻帶分解也能夠?yàn)镃SP提供了一定的頻域信息。因此，本文使用CSP算法對預(yù)處理后EEG信號進(jìn)行特征提取。

對于左右手運(yùn)動想象的兩類任務(wù)，假設(shè)X1和X2分別表示執(zhí)行左手和右手運(yùn)動想象任務(wù)的EEG信號，X1和X2都為N×M維，其中N表示通道數(shù)，M表示采集點(diǎn)數(shù)。其CSP的具體實(shí)現(xiàn)步驟如下。

步驟1 對EEG信號X1和X2作歸一化處理，獲取協(xié)方差矩陣C1和C2：

(1)

其中:T表示轉(zhuǎn)置，trace表示跡。

步驟2 將歸一化的協(xié)方差矩陣C1與C2合成空間協(xié)方差矩陣C，并進(jìn)行特征分解：

C=C1+C2=UλUT

(2)

其中：λ為特征值矩陣，U為相對應(yīng)特征向量矩陣。另外，在此過程中，特征值矩陣λ按照降序排列，對特征向量矩陣U也進(jìn)行相應(yīng)的變換。

步驟3 構(gòu)造白化變換矩陣P，并對C1和C2進(jìn)行白化變換：

P=λ-1/2UT

(3)

(4)

再對S1和S2進(jìn)行特征值分解：

(5)

其中:λ1和λ2為特征值矩陣，U1和U2為相對應(yīng)特征向量矩陣；且可以證明，U1=U2，λ1+λ1=I，其中I為單位矩陣，也即是表明當(dāng)S1的特征值較大時S2相對較小，反之亦然。

步驟4 從U1(或U2)中選擇前m列和后m列的重新組成矩陣B，構(gòu)造如下的投影矩陣：

W=BTP

(6)

其中:m為整數(shù)，取值范圍為1≤m≤[N/2]。

步驟5 對信號進(jìn)行空間濾波，提取特征向量。將腦電信號X通過投影矩陣W獲得新的時間序列Z：

Z=WX

(7)

將Z的第j行記為Zj(j=1,2,…,2m)，并定義其方差為vj為EEG信號的特征向量f：

(8)

f=[v1,v2,…,v2m]T

(9)

其中，var(Zj)是計(jì)算樣本Zj的方差。

2.3 訓(xùn)練與測試

SVM是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種機(jī)器學(xué)習(xí)方法，其在小樣本、非線性及高維模式識別問題中表現(xiàn)出良好的特性。它通過適當(dāng)?shù)姆蔷€性映射將輸入向量映射到一個高維的特征空間，使得兩類數(shù)據(jù)總能被一個超平面分割[13]。由于徑向基核函數(shù)是一種局部性強(qiáng)的核函數(shù)，其可以將一個樣本映射到一個更高維的空間內(nèi)，在生物醫(yī)學(xué)信號的處理方面具有良好表現(xiàn)。本文選用徑向基函數(shù)構(gòu)造的SVM分類器，利用5×5交叉驗(yàn)證的方法確定最優(yōu)的參數(shù)值，實(shí)現(xiàn)對兩類運(yùn)動想象的特征數(shù)據(jù)進(jìn)行訓(xùn)練和測試。

選取左右手運(yùn)動想象階段3.5～6.5 s時間段的腦電數(shù)據(jù)進(jìn)行CSP特征提取。經(jīng)數(shù)據(jù)測試發(fā)現(xiàn)，m值為4時平均表現(xiàn)最好。對于標(biāo)準(zhǔn)實(shí)驗(yàn)，每個被試用于訓(xùn)練樣本數(shù)為100組，經(jīng)過CSP后得到100×32的特征矩陣，利用5×5交叉驗(yàn)證的方法，使用SVM對特征矩陣進(jìn)行分類訓(xùn)練，構(gòu)建SVM分類器。最后，使用訓(xùn)練得出的CSP和SVM分類器對100個測試樣本進(jìn)行測試。而對于長測實(shí)驗(yàn)，本文將15 min的測試數(shù)據(jù)，按照時間順序等分為3份，每份5 min(25組運(yùn)動想象腦電數(shù)據(jù))。利用標(biāo)準(zhǔn)實(shí)驗(yàn)中該場景下被試訓(xùn)練得到SVM分類器，對3份測試樣本進(jìn)行測試。

3 實(shí)驗(yàn)結(jié)果

3.1 標(biāo)準(zhǔn)實(shí)驗(yàn)下腦電數(shù)據(jù)的分類結(jié)果

在LCD和HMD兩種呈現(xiàn)環(huán)境下，五名被試者的標(biāo)準(zhǔn)實(shí)驗(yàn)的左右手運(yùn)動想象腦電分類情況如表1所示。從實(shí)驗(yàn)結(jié)果可以看出：在手推盒子、手翻書、手撥地球儀三種視覺指導(dǎo)內(nèi)容下，HMD較LCD分類準(zhǔn)確率分別高出5.2%、3.4%、6.6%。綜合三種視覺指導(dǎo)內(nèi)容形式下腦電分類結(jié)果，HMD在分類準(zhǔn)確率方面要優(yōu)于LCD；但是，在數(shù)據(jù)結(jié)果中也發(fā)現(xiàn)了被試S2在手翻書作為視覺指導(dǎo)內(nèi)容時，LCD的分類準(zhǔn)確率較HMD高出了2%，且整個實(shí)驗(yàn)的分類結(jié)果較其他被試偏低。在對S2調(diào)查中了解到，其執(zhí)行運(yùn)動想象任務(wù)的狀態(tài)較差。

表1標(biāo)準(zhǔn)實(shí)驗(yàn)下左右手腦電數(shù)據(jù)的分類準(zhǔn)確率對比%

Tab. 1 Classification accuracy comparison of left and right hand EEG data under standard experiment %

被試編號LCD手推盒子手翻書手撥地球儀HMD手推盒子手翻書手撥地球儀S178.073.077.083.076.084.0S267.065.060.070.063.069.0S375.075.073.086.082.079.0S473.080.076.079.084.082.0S579.071.067.080.076.072.0平均74.472.870.679.676.277.2

為了進(jìn)一步驗(yàn)證LCD和HMD兩種呈現(xiàn)環(huán)境對被試執(zhí)行想象左右手運(yùn)動想象任務(wù)的影響，本文使用t檢驗(yàn)的方法比較兩者。將置信率設(shè)為95%，結(jié)果表明兩者之間存在顯著性差異(F=6.88，p<0.01)。結(jié)合上述數(shù)據(jù)分析，使用視覺指導(dǎo)的方式引導(dǎo)用戶進(jìn)行運(yùn)動想象訓(xùn)練，采用HMD的呈現(xiàn)環(huán)境在訓(xùn)練效果方面要優(yōu)于LCD。

3.2 長測實(shí)驗(yàn)下腦電數(shù)據(jù)的分類結(jié)果

在LCD和HMD兩種呈現(xiàn)環(huán)境下，五名被試的長測實(shí)驗(yàn)的左右手運(yùn)動想象腦電分類情況如表2所示?？梢灾庇^地看出，三種視覺指導(dǎo)內(nèi)容形式下進(jìn)行長測實(shí)驗(yàn)，被試無論在LCD還是HMD下，整體上分類準(zhǔn)確率都出現(xiàn)了明顯下降。綜合三種視覺指導(dǎo)內(nèi)容形式下訓(xùn)練結(jié)果分析，LCD和HMD的呈現(xiàn)環(huán)境下，整體上分類準(zhǔn)確率分別平均下降了24.53%、23.2%。

表2 長測實(shí)驗(yàn)下左右手腦電數(shù)據(jù)的分類準(zhǔn)確率對比 %Tab. 2 Classification accuracy comparison of left and right hand EEG data under long-time experiment %

同時，為了進(jìn)一步分析LCD和HMD在長時間訓(xùn)練中的差異，本文對比了兩種呈現(xiàn)環(huán)境下分類準(zhǔn)確率變化的情況。由表3可以看出，HMD相比LCD，在[5,10)min較[0,5)min分類準(zhǔn)確率下降比例上減緩了6.13%，但在[10,15)min較[5,10)min分類準(zhǔn)確率下降比例上增加了4.8%。

另外，由于在HMD和LCD的呈現(xiàn)環(huán)境下[10,15)min的訓(xùn)練階段，被試的左右手運(yùn)動想象腦電數(shù)據(jù)的平均分類準(zhǔn)確率分別為50.67%和54.67%，而本文討論的為兩分類問題，任意給出的分類結(jié)果都有50%的正確率，一定程度上表明了被試在[10,15)min時間段，已經(jīng)不能較好地執(zhí)行運(yùn)動想象任務(wù)。為此，本文將重點(diǎn)考慮[0,5)min和[5,10)min兩個時間段中LCD和HMD對分類準(zhǔn)確率下降的影響。置信率設(shè)為95%，使用t檢驗(yàn)進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)結(jié)果表明兩者之間存在顯著性差異(F=3.525，p<0.01)。通過上述分析，被試長時間進(jìn)行運(yùn)動想象訓(xùn)練，隨著訓(xùn)練時長增加，兩者的分類準(zhǔn)確率都出現(xiàn)明顯下降；但是，在一定時間內(nèi)，HMD相對于LCD的呈現(xiàn)環(huán)境能夠減緩分類準(zhǔn)確率的下降。

表3 長測實(shí)驗(yàn)下兩種環(huán)境的腦電平均分類準(zhǔn)確率 %Tab. 3 Average classification accuracy of EEG in two environments under long-time experiment %

3.3 三種視覺指導(dǎo)內(nèi)容下腦電數(shù)據(jù)交叉測試結(jié)果

本文針對HMD的呈現(xiàn)環(huán)境，對訓(xùn)練樣本(100組)與測試樣本(100組)為不同視覺指導(dǎo)內(nèi)容下獲取的左右手運(yùn)動想象腦電信號的分類情況進(jìn)行分析。由表4可以看出，在HMD呈現(xiàn)環(huán)境下，訓(xùn)練樣本和測試樣本是否為同一個視覺指導(dǎo)內(nèi)容形式，對最終分類準(zhǔn)確率有著很大的影響，其中相同視覺指導(dǎo)內(nèi)容的平均分類準(zhǔn)確率為77.67%，而不同視覺指導(dǎo)內(nèi)容的平均分類準(zhǔn)確率僅為61.33%。

表4 三種視覺指導(dǎo)內(nèi)容下腦電數(shù)據(jù)交叉測試分類準(zhǔn)確率 %Tab. 4 Classification accuracy rate comparison of EEG cross-testing under three visual guidance contents %

為了進(jìn)一步分析，本文對HMD呈現(xiàn)環(huán)境下的訓(xùn)練樣本和測試樣本進(jìn)行了新的組合，都為手推盒子(50組)+手翻書(50組)+手撥地球儀(50組)，五名被試的測試結(jié)果的分類準(zhǔn)確率分別為78%、65.33%、76.67%、77.33%、73.33%，平均為74.13%。這種混合三種視覺指導(dǎo)內(nèi)容的訓(xùn)練方式，相對于使用訓(xùn)練樣本和測試樣本一致的單一視覺指導(dǎo)內(nèi)容的訓(xùn)練方式，其分類準(zhǔn)確率平均下降了3.54%，但是相對于不一致情況提高了12.8%。根據(jù)以上分析可以得出，不同視覺指導(dǎo)內(nèi)容的左右手運(yùn)動想象訓(xùn)練，腦電信號特征存在一定差異。

4 討論

4.1 視覺指導(dǎo)的呈現(xiàn)環(huán)境對運(yùn)動想象訓(xùn)練的影響

在本文實(shí)驗(yàn)中，重點(diǎn)對比了虛擬現(xiàn)實(shí)環(huán)境和傳統(tǒng)顯示環(huán)境在視覺指導(dǎo)中的訓(xùn)練表現(xiàn)，并利用HMD和LCD去呈現(xiàn)這兩種顯示環(huán)境。實(shí)驗(yàn)結(jié)果表明，被試在HMD的呈現(xiàn)環(huán)境下分類準(zhǔn)確率要優(yōu)于LCD。

在這兩種呈現(xiàn)環(huán)境下，本文設(shè)計(jì)的三種三維動畫都能夠很清晰地表達(dá)手部的運(yùn)動，但是，使用HMD這種設(shè)備所呈現(xiàn)出的虛擬現(xiàn)實(shí)環(huán)境更具有沉浸性和逼真性[14]。在對被試的調(diào)查也發(fā)現(xiàn)，被試也表示在HMD較LCD來說，其動畫更具有立體感和真實(shí)性。相關(guān)文獻(xiàn)研究結(jié)論也表明，在虛擬現(xiàn)實(shí)環(huán)境下用戶參與的積極性更高[15]。另外，在肢體障礙、腦卒等患者的康復(fù)訓(xùn)練中，使用虛擬現(xiàn)實(shí)的方式進(jìn)行運(yùn)動想象訓(xùn)練，更能夠調(diào)節(jié)和增強(qiáng)大腦活動的能力，促進(jìn)運(yùn)動想象相關(guān)的神經(jīng)激活和神經(jīng)元變化[16-17]。

此外，長測實(shí)驗(yàn)的結(jié)果表明，長時間的訓(xùn)練一定程度上會導(dǎo)致被試大腦和視覺的疲勞，造成注意力不集中，無法較好地執(zhí)行運(yùn)動想象任務(wù)，但是，本研究也表明HMD所呈現(xiàn)虛擬現(xiàn)實(shí)環(huán)境相對于LCD，其能夠減緩分類準(zhǔn)確率下降。值得說明一點(diǎn)，使用HMD的顯示方式的可視角度為固定的，本文所使用HTC VIVE設(shè)備的可視角度為110°，而LCD的可視角度與其尺寸、用戶和設(shè)備的距離等相關(guān)。實(shí)驗(yàn)中，由于人的眼睛可視角度最高可達(dá)220°，使用HMD較LCD能夠減少其他環(huán)境干擾，提高用戶的注意力。在對被試調(diào)研中也了解到，在HMD的呈現(xiàn)環(huán)境下，實(shí)驗(yàn)時注意力相對更加集中。這可能是HMD較LCD一定程度上延緩了分類準(zhǔn)確率下降趨勢的原因所在。

4.2 視覺指導(dǎo)的內(nèi)容形式對運(yùn)動想象訓(xùn)練的影響

實(shí)驗(yàn)設(shè)計(jì)的三種三維動畫，其手部交互方式互不相同，主要表現(xiàn)在手部運(yùn)動方式、交互目標(biāo)、目標(biāo)對象運(yùn)動狀態(tài)等。實(shí)驗(yàn)結(jié)果也發(fā)現(xiàn)，在這三種三維動畫的視覺指導(dǎo)下，被試的腦電分類準(zhǔn)確率也存在一定差別。已有的研究也表明，肢體運(yùn)動姿態(tài)、交互邏輯、有無目標(biāo)物、目標(biāo)物是否靜止等因素，都對運(yùn)動想象訓(xùn)練有著一定程度的影響[18]。對于視覺指導(dǎo)的運(yùn)動想象訓(xùn)練來說，設(shè)計(jì)視覺指導(dǎo)內(nèi)容對被試訓(xùn)練效果也應(yīng)因人而異。

在對訓(xùn)練樣本和測試樣本來源于不同視覺指導(dǎo)內(nèi)容的研究中，發(fā)現(xiàn)較相同視覺指導(dǎo)內(nèi)容的情況，前者的分類準(zhǔn)確率明顯下降。眾所周知，人在運(yùn)動想象時，會在大腦的感覺運(yùn)動皮層引發(fā)ERD/ERS特征，研究者也正是利用這種特征對運(yùn)動想象進(jìn)行研究。本文設(shè)計(jì)的三種視覺指導(dǎo)內(nèi)容，在引導(dǎo)被試進(jìn)行左右手運(yùn)動想象時，理論上其腦電特征應(yīng)該是相似的。根據(jù)對實(shí)驗(yàn)設(shè)計(jì)的分析，產(chǎn)生上述現(xiàn)象的原因可能是由于三種視覺指導(dǎo)內(nèi)容的差異造成，這其中包含兩個方面：1)想象手部運(yùn)動的差別。雖然三種視覺指導(dǎo)內(nèi)容都是左右手運(yùn)動，但是手部具體運(yùn)動軌跡、交互對象都存在明顯差異，造成了ERD/ERS特征也存在一定區(qū)別。2)不同視覺指導(dǎo)下引發(fā)了不同視覺刺激。在相關(guān)研究中表明，人處在某種外界視覺刺激下，刺激源與大腦之間會建立起來某種神經(jīng)聯(lián)系[19]。也就說，一直在某種視覺指導(dǎo)內(nèi)容下進(jìn)行運(yùn)動想象訓(xùn)練，被試的腦電特征不僅有運(yùn)動想象所觸發(fā)的ERD/ERS特征，同時也可能具有視覺指導(dǎo)內(nèi)容引發(fā)其他腦電特征。在實(shí)驗(yàn)中，同時使用三種視覺指導(dǎo)作為訓(xùn)練樣本發(fā)現(xiàn)，分別測試三種視覺指導(dǎo)內(nèi)容下的運(yùn)動想象EEG數(shù)據(jù)，結(jié)果也看出，與完全相同的視覺指導(dǎo)內(nèi)容相比，分類準(zhǔn)確率有所下降，但是與完全不一致視覺指導(dǎo)內(nèi)容相比，分類準(zhǔn)確率有較大提高。這在一定程度上也反映了上述分析的合理性。

因此，對使用視覺指導(dǎo)的運(yùn)動想象訓(xùn)練，建議跟據(jù)BCI的應(yīng)用場景而設(shè)計(jì)；尤其是對于使用在多個場景、交互對象和邏輯存在一定區(qū)別的BCI系統(tǒng)，應(yīng)盡可能在每種場景下做一定量的訓(xùn)練，能夠減少由于環(huán)境變化、想象邏輯不一致造成的BCI系統(tǒng)性能下降。

5 結(jié)語

本文針對三維視覺指導(dǎo)的運(yùn)動想象訓(xùn)練中，不同的呈現(xiàn)環(huán)境與內(nèi)容形式對訓(xùn)練性能可能產(chǎn)生的影響，進(jìn)行了探討與分析，研究主要是為了提高運(yùn)動想象的訓(xùn)練效率以及分類準(zhǔn)確率。通過實(shí)驗(yàn)對比分析了HMD和LCD在標(biāo)準(zhǔn)實(shí)驗(yàn)與長測實(shí)驗(yàn)下訓(xùn)練性能的區(qū)別，以及不同視覺指導(dǎo)下分類模型間的差異。分析結(jié)果表明，HMD所呈現(xiàn)的虛擬現(xiàn)實(shí)環(huán)境，能夠提高運(yùn)動想象腦電分類準(zhǔn)確率，延長單次訓(xùn)練時長，減少整體訓(xùn)練時間；另一方面，不同視覺指導(dǎo)內(nèi)容下所構(gòu)造的分類模型也存在顯著差別，某一分類模型對非同一視覺指導(dǎo)內(nèi)容的測試樣本進(jìn)行分類時，分類準(zhǔn)確率明顯下降。此外，本文僅從分類準(zhǔn)確率角度說明了不同視覺指導(dǎo)內(nèi)容下分類模型間差異，而對于產(chǎn)生腦電特征差別的原因，以及如何有效識別不同視覺指導(dǎo)內(nèi)容缺乏進(jìn)一步分析，后續(xù)將針對這一情況繼續(xù)研究。

參考文獻(xiàn)(References)

[1] NICOLAS-ALONSO L F, GOMEZ-GIL J. Brain computer interfaces, a review [J]. Sensors, 2012, 12(2): 1211-1279.

[2] 楊立才,李佰敏,李光林,等.腦-機(jī)接口技術(shù)綜述[J].電子學(xué)報(bào),2005,33(7):1234-1241. (YANG L C, LI B M, LI G L, et al. A review of brain-computer interface technology [J]. Acta Electronica Sinica, 2005, 33(7): 1234-1241.)

[3] SCHUSTER C, HILFIKER R, AMFT O, et al. Best practice for motor imagery: a systematic literature review on motor imagery training elements in five different disciplines [J]. BMC Medicine, 2011, 9: 75.

[4] ONO T, KIMURA A, USHIBA J. Daily training with realistic visual feedback improves reproducibility of event-related desynchronisation following hand motor imagery [J]. Clinical Neurophysiology, 2013, 124(9): 1779-1786.

[5] SOLLFRANK T, HART D, GOODSELL R, et al. 3D visualization of movements can amplify motor cortex activation during subsequent motor imagery [J]. Frontiers in Human Neuroscience, 2015, 9(1): 463-470.

[6] VOURVOPOULOS A, BADIA S B I. Motor priming in virtual reality can augment motor-imagery training efficacy in restorative brain-computer interaction: a within-subject analysis [J]. Journal of Neuroengineering and Rehabilitation, 2016, 13: 69.

[7] LEEB R, KEINRATH C, FRIEDMAN D, et al. Walking by thinking: the brainwaves are crucial, not the muscles! [J]. Presence: Teleoperators and Virtual Environments — Special Issue: 8th Annual International Workshop on Presence II, 2006, 15(5): 500-514.

[8] PFURTSCHELLER G, NEUPER C, MüLLER G R, et al. Graz-BCI: state of the art and clinical applications [J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 177-180.

[9] NEUPER C, SCHERER R, WRIESSNEGGER S, et al. Motor imagery and action observation: modulation of sensorimotor brain rhythms during mental control of a brain-computer interface [J]. Clinical Neurophysiology, 2009, 120(2): 239-247.

[10] PFURTSCHELLER G, SCHERER R, LEEB R, et al. Viewing moving objects in virtual reality can change the dynamics of sensorimotor EEG rhythms [J]. Presence: Teleoperators and Virtual Environments, 2007, 16(1): 111-118.

[11] LIANG S, CHOI K S, QIN J, et al. Enhancing training performance for brain-computer interface with object-directed 3D visual guidance [J]. International Journal of Computer Assisted Radiology and Surgery, 2016, 11(11): 2129-2137.

[12] 李明愛,崔燕,楊金福,等.基于HHT和CSSD的多域融合自適應(yīng)腦電特征提取方法[J].電子學(xué)報(bào),2013,41(12):2479-2486. (LI M A, CUI Y, YANG J F, et al. An adaptive multi-domain fusion feature extraction with method HHT and CSSD [J]. Acta Electronica Sinica, 2013, 41(12): 2479-2486.)

[13] 劉沖,趙海濱,李春勝,等.基于CSP與SVM算法的運(yùn)動想象腦電信號分類[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,31(8):1098-1101. (LIU C, ZHAO H B, LI C S, et al. CSP/SVM-based EEG classification of imagined hand movements [J]. Journal of Northeastern University (Natural Science), 2010, 31(8): 1098-1101.)

[14] 趙沁平.虛擬現(xiàn)實(shí)綜述[J].中國科學(xué):信息科學(xué),2009,39(1):2-46. (ZHAO Q P. A survey on virtual reality [J]. Science China Information Sciences, 2009, 39(1): 2-46)

[15] VOURVOPOULOS A, BERMUDEZ I BADIA S, LIAROKAPIS F. EEG correlates of video game experience and user profile in motor-imagery-based brain-computer interaction [J]. Visual Computer, 2017, 33(4): 533-546.

[16] GRIMM F, NAROS G, GHARABAGHI A. Closed-loop task difficulty adaptation during virtual reality reach-to-grasp training assisted with an exoskeleton for stroke rehabilitation [J]. Frontiers in Neuroscience, 2016, 10: 518.

[17] VOURVOPOULOS A, CARDONA J E M, BADIA S B I. Optimizing motor imagery neurofeedback through the use of multimodal immersive virtual reality and motor priming [C]// ICVR 2015: Proceedings of the 2015 International Conference on Virtual Rehabilitation Proceedings. Piscataway, NJ: IEEE, 2015: 228-234.

[18] MUKAINO M, ONO T, SHINDO K, et al. Efficacy of brain-computer interface-driven neuromuscular electrical stimulation for chronic paresis after stroke [J]. Journal of Rehabilitation Medicine, 2014, 46(4): 378-82.

[19] 黃秉憲.腦的高級功能與神經(jīng)網(wǎng)絡(luò)[M].北京：科學(xué)出版社,2000:133-140. (HUANG B X. Advanced Function of Brain and Neural Network [M]. Beijing: Science Press, 2000: 133-140.)

This work is partially supported by the Basic and Frontier Research Project of Chongqing Science & Technology Commission (cstc2014jcyjA40039), the National Innovation Program for College Students (No. 45, Education Department, Ministry of Education).

HUMin, born in 1971, M. S., associate professor. Her research interests include virtual reality, brain-computer interface, communication network system and protocol.

LIChong, born in 1992, M. S. candidate. His research interests include brain-computer interface, virtual reality interaction.

LURongrong, born in 1995. Her research interests include image processing.

HUANGHongcheng, born in 1979, Ph. D., associate professor. His research interests include pattern recognition, data fusion communication.