基于SSVEP的空間機(jī)械臂腦機(jī)交互方法

錢一潤(rùn)，王從慶，張聞銳，展文豪，張 民

(1. 南京航空航天大學(xué) 自動(dòng)化學(xué)院，南京 210016; 2. 中國(guó)航天員科研訓(xùn)練中心 人因工程國(guó)防科技重點(diǎn)實(shí)驗(yàn)室，北京 100094)

0 引言

空間機(jī)械臂是空間站中用來(lái)完成目標(biāo)搬運(yùn)、在軌建設(shè)和輔助航天員出艙等任務(wù)的智能設(shè)備，具有強(qiáng)大的應(yīng)用能力和廣闊的發(fā)展前景。空間機(jī)械臂可以由航天員遙控進(jìn)行操作，然而在失重的環(huán)境影響下，航天員很難像在地面一樣自如地操控空間機(jī)械臂。腦機(jī)接口(BCI，brain-computer interface)作為一種可以直接實(shí)現(xiàn)大腦與外界間信息傳輸?shù)耐ǖ繹1]，可以通過(guò)腦機(jī)接口技術(shù)對(duì)大腦中的神經(jīng)信號(hào)進(jìn)行解碼并傳輸給空間機(jī)械臂，實(shí)現(xiàn)航天員與空間機(jī)械臂之間的腦機(jī)交互控制。穩(wěn)態(tài)視覺(jué)誘發(fā)電位(SSVEP，steady-state visual evoked potential)是一種受持續(xù)視覺(jué)刺激而產(chǎn)生的腦電信號(hào)[2]，根據(jù)其原理而設(shè)計(jì)的SSVEP腦機(jī)接口憑借著頻域特征明顯、可選擇的目標(biāo)數(shù)多、信息傳輸速率快且受試者不需要經(jīng)過(guò)訓(xùn)練等優(yōu)勢(shì)，在對(duì)信息傳輸要求較高的場(chǎng)合已被廣泛使用。

傳統(tǒng)的SSVEP信號(hào)分析方法主要有功率譜密度分析[3](PSDA，power spectral density analysis)和典型相關(guān)分析(CCA， canonical correlation analysis)等。功率譜密度分析是一種單通道分析方法，通過(guò)將腦電信號(hào)從時(shí)域轉(zhuǎn)換到頻域[4]，比較信號(hào)的頻率成分和相對(duì)強(qiáng)弱來(lái)對(duì)受試者關(guān)注的視覺(jué)刺激進(jìn)行分類。作為目前主流的SSVEP分類方法，典型相關(guān)分析及其改進(jìn)方法被廣泛應(yīng)用，CCA方法可以計(jì)算出兩組多維變量之間的相關(guān)性[5]。Lin等人[6]提出的CCA方法通過(guò)分析腦電信號(hào)與模板信號(hào)之間的相關(guān)關(guān)系來(lái)對(duì)SSVEP信號(hào)進(jìn)行分類。作為一種多通道方法，CCA具有高效性和魯棒性，已成為一種SSVEP信號(hào)分類的經(jīng)典方法。陳小剛等人[7]在CCA的基礎(chǔ)上有效地利用了信號(hào)中的諧波成分，提出了改進(jìn)方法濾波器組典型相關(guān)分析(FBCCA，filterbank canonical correlation analysis)，進(jìn)一步提高了信號(hào)的分類準(zhǔn)確率。近年來(lái)，深度學(xué)習(xí)已經(jīng)在很多領(lǐng)域成為了一種熱門方法。引入深度學(xué)習(xí)來(lái)對(duì)SSVEP信號(hào)進(jìn)行分類，相比于傳統(tǒng)方法，深度學(xué)習(xí)在學(xué)習(xí)數(shù)據(jù)特征方面有著天然的優(yōu)勢(shì)，卷積神經(jīng)網(wǎng)絡(luò)[8](CNN，convolutional neural network)是最常使用的算法之一。杜光景等人[9]使用了一個(gè)7層的CNN網(wǎng)絡(luò)對(duì)原始的多通道SSVEP信號(hào)進(jìn)行分類，在針對(duì)短時(shí)間的SSVEP信號(hào)時(shí)，有效地提高了信號(hào)的分類準(zhǔn)確率和魯棒性。A.Ravi等人[10]先將SSVEP信號(hào)轉(zhuǎn)換到頻域提取特征，再輸入到CNN網(wǎng)絡(luò)，可以有效地降低模型的計(jì)算復(fù)雜度。

在空間機(jī)械臂腦機(jī)交互系統(tǒng)中，為保證實(shí)際應(yīng)用中的信息傳輸效率，有必要在短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)SSVEP信號(hào)的正確分類，因此本文針對(duì)1 s時(shí)間窗口的6類信號(hào)分類問(wèn)題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的SSVEP分類方法，并與傳統(tǒng)的CCA和FBCCA方法進(jìn)行比較，本文方法的平均識(shí)別準(zhǔn)確率最高。采用本文方法解碼6類SSVEP信號(hào)，并控制仿真環(huán)境下的空間機(jī)械臂進(jìn)行操作。

1 SSVEP信號(hào)處理與分類

1.1 SSVEP信號(hào)原理

SSVEP信號(hào)由視覺(jué)刺激產(chǎn)生[11]，當(dāng)人眼受到外界一個(gè)持續(xù)性的閃爍刺激時(shí)(刺激頻率一般高于6 Hz)，大腦枕葉區(qū)的視覺(jué)皮層會(huì)產(chǎn)生相應(yīng)的信號(hào)，該信號(hào)的頻率與閃爍刺激的頻率及其諧波頻率相同。SSVEP腦機(jī)接口正是根據(jù)這個(gè)原理設(shè)計(jì)的。如圖1所示，當(dāng)受試者注視一個(gè)頻率為10 Hz的周期性持續(xù)刺激時(shí)，從SSVEP信號(hào)的頻譜圖上可明顯看出在10 Hz、20 Hz和30 Hz處出現(xiàn)波峰，波峰的幅值隨著頻率的增大呈遞減趨勢(shì)。

圖1 10 Hz頻率誘發(fā)的SSVEP頻譜圖

1.2 數(shù)據(jù)集介紹及預(yù)處理

本文所使用的數(shù)據(jù)來(lái)自清華大學(xué)的Benchmark數(shù)據(jù)集[12]，該數(shù)據(jù)集共采集了35名健康的受試者(記為S01-S35)，其中女性有17名，男性有18名。在所有受試者中，受試者S01-S08有過(guò)SSVEP數(shù)據(jù)的采集經(jīng)驗(yàn)，受試者S09-S35則沒(méi)有。該數(shù)據(jù)集使用64通道的腦電儀對(duì)40個(gè)目標(biāo)進(jìn)行了6次實(shí)驗(yàn)，每次實(shí)驗(yàn)采集到的有效時(shí)間為5 s。經(jīng)處理后，SSVEP信號(hào)的采樣頻率為250 Hz，并且通過(guò)50 Hz的陷波濾波器去除工頻干擾。選擇8 Hz，9 Hz，10 Hz，11 Hz，12 Hz和13 Hz這6個(gè)頻率作為6分類的刺激頻率?；诮?jīng)驗(yàn)知識(shí)，選擇該數(shù)據(jù)集中位于大腦枕葉區(qū)的Pz，PO5，PO3，POz，PO4，PO6，O1，Oz和O2這9個(gè)通道的數(shù)據(jù)。并使用巴特沃斯帶通濾波器對(duì)選用的SSVEP信號(hào)進(jìn)行濾波。

1.3 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)

1.3.1 特征提取

特征提取是從原始信號(hào)中提取出對(duì)分類最有效可靠的特征，進(jìn)行特征提取可以有效降低數(shù)據(jù)的維度，并且能夠在后續(xù)處理使用時(shí)簡(jiǎn)化卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度。對(duì)于腦電信號(hào)，通常采用傅里葉變換、小波變換法等方法提取信號(hào)的頻域或時(shí)頻域特征[13]。

在本文中，選擇先對(duì)SSVEP信號(hào)進(jìn)行特征提取，再把提取的特征輸入到CNN進(jìn)行分類。SSVEP信號(hào)頻域特征明顯，快速傅里葉變換(FFT，fast Fourier transform)可以將信號(hào)轉(zhuǎn)換到頻域[14]。對(duì)原始的SSVEP信號(hào)使用快速傅里葉變換可以得到一組復(fù)數(shù)序列，其中實(shí)部代表信號(hào)的幅度信息，虛部代表信號(hào)的相位信息。研究結(jié)果表明，信號(hào)的相位信息在解碼SSVEP時(shí)提供重要信息[15]，因此將快速傅立葉變換的實(shí)部和虛部結(jié)合起來(lái)作為CNN的輸入。對(duì)每個(gè)通道使用分辨率為0.293 0 Hz的標(biāo)準(zhǔn)快速傅立葉變換，選擇4～40 Hz之間的頻率分量，把計(jì)算出的FFT實(shí)部和虛部組合成一個(gè)新的特征。

再將這些特征按通道順序進(jìn)行堆疊，得到最終的特征矩陣。

1.3.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的研究開(kāi)始于20世紀(jì)80至90年代，經(jīng)過(guò)多年的完善發(fā)展，目前已經(jīng)是深度學(xué)習(xí)領(lǐng)域中最常用的神經(jīng)網(wǎng)絡(luò)之一，在圖像處理[16]、信號(hào)分類[17]和目標(biāo)檢測(cè)[18]等方面都發(fā)揮了重要的作用。一個(gè)常見(jiàn)的CNN架構(gòu)包括輸入層、隱藏層和輸出層這幾部分。在隱藏層中，又有卷積層、全連接層等常見(jiàn)的架構(gòu)。利用CNN進(jìn)行信號(hào)分類時(shí)，網(wǎng)絡(luò)的輸入通常是原始時(shí)域信號(hào)或信號(hào)的特征矩陣，通過(guò)卷積層對(duì)輸入的數(shù)據(jù)加以學(xué)習(xí)，并由輸出層輸出分類標(biāo)簽。

在本文中，設(shè)計(jì)了一個(gè)5層的CNN網(wǎng)絡(luò)，分別是一個(gè)輸入層，3個(gè)卷積層和一個(gè)全連接的輸出層。總體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，每一層的網(wǎng)絡(luò)具體如下：

1)輸入層l1。第一層為整個(gè)網(wǎng)絡(luò)的輸入層，將前一步特征提取中得到的特征矩陣作為整個(gè)網(wǎng)絡(luò)的輸入在特征提取中，我們對(duì)每一個(gè)通道都提取了特征，整個(gè)特征矩陣的維度即為通道數(shù)×特征數(shù)量。在圖2中，輸入的特征矩陣大小為9×248，表示一共有9個(gè)通道的輸入數(shù)據(jù)，每個(gè)通道中有248個(gè)特征數(shù)量。

圖2 卷積神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)圖

2)卷積層l2。卷積層l2層執(zhí)行整個(gè)網(wǎng)絡(luò)中的第一次卷積操作，為學(xué)習(xí)每個(gè)通道的不同作用，參考空域?yàn)V波器的設(shè)計(jì)，在這一層中，利用步長(zhǎng)為1，維度為9×1的一維卷積核對(duì)輸入數(shù)據(jù)進(jìn)行卷積。l2層一共輸出18個(gè)大小為1×248的一維特征圖。

3)卷積層l3。第三層是對(duì)每張?zhí)卣鲌D中的頻譜特征進(jìn)行學(xué)習(xí)，利用步長(zhǎng)為1，維度為1×30的卷積核進(jìn)行卷積。在這一層中只進(jìn)行有效的卷積，即不對(duì)邊界數(shù)據(jù)進(jìn)行處理，最后輸出的特征圖數(shù)量不變，大小則變?yōu)?×219。

4)卷積層l4。卷積層l4是在卷積層l3的基礎(chǔ)上對(duì)頻譜特征再做一次卷積，采用步長(zhǎng)為3，維度為1×10的卷積核進(jìn)行卷積，同樣不對(duì)邊界數(shù)據(jù)進(jìn)行處理，共輸出18個(gè)特征圖，每個(gè)特征圖的大小減小為1×70。為方便將這一層得到的數(shù)據(jù)傳遞給輸出層，在卷積結(jié)束后對(duì)所有數(shù)據(jù)進(jìn)行扁平化處理。

5)輸出層l5。輸出層由6個(gè)節(jié)點(diǎn)組成，代表原始SSVEP數(shù)據(jù)中的6個(gè)刺激頻率。將卷積層l4和輸出層l5進(jìn)行全連接，選擇使用softmax函數(shù)作為輸出層的激活函數(shù)。

在卷積神經(jīng)網(wǎng)絡(luò)的每一層卷積后，選擇線性整流函數(shù)(ReLU)作為卷積層的激活函數(shù)，并且不設(shè)置偏置值。研究表明，批歸一化可以使特征服從均值為0，方差為1的分布，從而使得網(wǎng)絡(luò)中的數(shù)據(jù)分布相對(duì)穩(wěn)定，可以簡(jiǎn)化調(diào)參過(guò)程，并起到了一定的正則化效果。為了提高網(wǎng)絡(luò)的泛化能力，加快模型的學(xué)習(xí)訓(xùn)練速度[19]，對(duì)卷積層l2，l3和l4層的輸出均使用批歸一化處理。同時(shí)，使用權(quán)值衰減和隨機(jī)刪除部分神經(jīng)元的方法可以有效防止訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，因此在每一層卷積中引入了L2正則化和dropout方法[20]。

CNN訓(xùn)練時(shí)，使用誤差反向傳播法訓(xùn)練網(wǎng)絡(luò)。以均值為0，標(biāo)準(zhǔn)差為1的高斯分布作為CNN的權(quán)重初始值。訓(xùn)練過(guò)程中，利用小批量訓(xùn)練進(jìn)行學(xué)習(xí)，每次輸入32個(gè)數(shù)據(jù)段，總共迭代50次。損失函數(shù)選擇使用交叉熵?fù)p失函數(shù)，采用SGDM算法進(jìn)行權(quán)值優(yōu)化，設(shè)置學(xué)習(xí)率為0.001，動(dòng)量為0.9。為防止過(guò)擬合，設(shè)置正則化項(xiàng)L2為0.000 1，dropout比率為0.2。

1.4 典型相關(guān)分析

CCA方法可以計(jì)算出兩組數(shù)據(jù)之間的相關(guān)程度。其基本原理是分別從兩組數(shù)據(jù)中提取一對(duì)綜合變量，計(jì)算這組變量對(duì)之間的相關(guān)關(guān)系，我們可以得到一個(gè)數(shù)值，即為這組變量對(duì)之間的相關(guān)系數(shù)。顯然，在這兩組數(shù)據(jù)中我們可以提取出很多對(duì)綜合變量。其中，相關(guān)系數(shù)最大的一組變量對(duì)被稱為這兩組數(shù)據(jù)的一對(duì)典型變量，相關(guān)系數(shù)越大，代表這組變量對(duì)之間的相關(guān)關(guān)系就越強(qiáng)，說(shuō)明兩組數(shù)據(jù)之間的關(guān)聯(lián)性也越強(qiáng)。因此，在分析兩組數(shù)據(jù)之間的整體關(guān)系時(shí)，可以根據(jù)這兩個(gè)指標(biāo)來(lái)判斷。

使用CCA方法進(jìn)行SSVEP分類時(shí)，我們通常只關(guān)注SSVEP信號(hào)與模板信號(hào)之間最大的相關(guān)系數(shù)，因此通過(guò)計(jì)算兩者之間的典型相關(guān)系數(shù)就可以確定刺激頻率。研究表明，CCA在區(qū)分SSVEP信號(hào)時(shí)具有優(yōu)異的性能[21]。定義兩組變量X和Yi，X為采集到的SSVEP信號(hào)，表示為：

X=(X1,X2,...,Xn)

(1)

(2)

(3)

按上述步驟計(jì)算待檢測(cè)的SSVEP信號(hào)與各模板信號(hào)之間的皮爾森相關(guān)系數(shù)，確定目標(biāo)頻率:

ft=maxp(x,yi),i=1,2,...,M

(4)

式中，M為視覺(jué)刺激的個(gè)數(shù)。

1.5 濾波器組典型相關(guān)分析

FBCCA是對(duì)CCA方法的一種改進(jìn)[22]，相比于CCA，F(xiàn)BCCA方法有效地利用了信號(hào)中的諧波成分。根據(jù)CCA的原理，在進(jìn)行SSVEP信號(hào)分類時(shí)，更關(guān)注SSVEP信號(hào)與模板信號(hào)之間的相關(guān)關(guān)系，而忽略了SSVEP內(nèi)部的諧波信息。從SSVEP的頻譜圖中可以很清楚地看出，信號(hào)中的諧波成分，尤其是二次諧波成分非常明顯，因此可以通過(guò)這些諧波成分為SSVEP分類提供重要的參考信息。

在進(jìn)行分類前，先使用濾波器組將SSVEP信號(hào)分成多個(gè)子帶，對(duì)每個(gè)子帶和模板信號(hào)進(jìn)行CCA處理，計(jì)算出對(duì)應(yīng)的相關(guān)系數(shù)。最后，將每個(gè)子帶得到的相關(guān)系數(shù)進(jìn)行加權(quán)平方和后求得最終的相關(guān)系數(shù)：

(5)

式中，i表示某類視覺(jué)刺激目標(biāo)，j表示子帶的索引，l為子帶總個(gè)數(shù)，M為視覺(jué)刺激的個(gè)數(shù)，w(j)為子帶分量對(duì)應(yīng)的權(quán)重因子，可以表示為：

w(j)=j-a+b,j∈[1,j]

(6)

式中，a和b為常數(shù)參數(shù)，根據(jù)經(jīng)驗(yàn)，通常設(shè)置參數(shù)a為1.25，參數(shù)b為0.25。最終確定目標(biāo)頻率為：

ft=max(pi),i=1,2,...,M

(7)

2 實(shí)驗(yàn)分析

將卷積神經(jīng)網(wǎng)絡(luò)方法在數(shù)據(jù)集上的進(jìn)行測(cè)試，由于卷積神經(jīng)網(wǎng)絡(luò)需要比較大的數(shù)據(jù)量，而數(shù)據(jù)集中的SSVEP信號(hào)較少，因此采用數(shù)據(jù)分割的方式增加數(shù)據(jù)量[23]。將每個(gè)5秒的數(shù)據(jù)用寬度為1 s，步長(zhǎng)為200 ms的滑動(dòng)窗口進(jìn)行分割，這樣單次試驗(yàn)將能獲得21個(gè)分段數(shù)據(jù)，每人每個(gè)頻率目標(biāo)一共有126個(gè)分段數(shù)據(jù)，可滿足卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)需求。

更多信息，請(qǐng)掃描二維碼關(guān)注“老創(chuàng)客”微信公眾號(hào)。如果您也想展示自己的作品，請(qǐng)撥打電話0551-62607765。

使用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行訓(xùn)練時(shí)，將單個(gè)受試者的數(shù)據(jù)按比例劃分為訓(xùn)練集和測(cè)試集。為得到較好的效果，對(duì)每個(gè)受試者的數(shù)據(jù)進(jìn)行10倍交叉驗(yàn)證，即將數(shù)據(jù)劃分為10份，分別選擇其中9份數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的1份數(shù)據(jù)作為測(cè)試數(shù)據(jù)。每次試驗(yàn)都會(huì)得到一個(gè)分類準(zhǔn)確率，將10次試驗(yàn)得到的準(zhǔn)確率的平均值作為最終的分類準(zhǔn)確率。同時(shí)使用CCA和FBCCA的方法在該數(shù)據(jù)集上進(jìn)行測(cè)試，將3種方法得到的分類準(zhǔn)確率進(jìn)行比較，對(duì)比的結(jié)果如表1所示。

表1 1 s時(shí)間窗口下分類準(zhǔn)確率對(duì)比

實(shí)驗(yàn)表明，對(duì)35名受試者使用本文提出的卷積神經(jīng)網(wǎng)絡(luò)方法，平均分類準(zhǔn)確率為99.07%，明顯高于CCA方法(41.67%)和FBCCA方法(85.79%)。其中最高的分類準(zhǔn)確率為100%(S3，S5，S10，S12，S13，S14，S22，S25，S26，S31，S32)，共11人，占總數(shù)的31.43%；最低分類準(zhǔn)確率為94.18%(S33)?？紤]到數(shù)據(jù)集中受試者S1-S8有過(guò)采集SSVEP數(shù)據(jù)的經(jīng)驗(yàn)，而受試者S09-S35則沒(méi)有，因此對(duì)其分別進(jìn)行討論。對(duì)于有過(guò)經(jīng)驗(yàn)的受試者S1-S8，他們的分類準(zhǔn)確率都在99%以上，平均分類準(zhǔn)確率達(dá)到了99.64%，說(shuō)明對(duì)于有經(jīng)驗(yàn)的受試者，本文給出的方法可以出色的完成短時(shí)間窗口下的SSVEP信號(hào)分類問(wèn)題，且具有較高的魯棒性。受試者S09-S35沒(méi)有采集經(jīng)驗(yàn)，他們的平均分類準(zhǔn)確率為98.90%。在的27名受試者中，共有5人的分類準(zhǔn)確率低于98%(S11，S18，S19，S29，S33)，占沒(méi)有采集經(jīng)驗(yàn)人數(shù)的18.52%，只有兩人的分類準(zhǔn)確率沒(méi)有達(dá)到95%(S19：94.71%，S33：94.18%)，且相差并不大，說(shuō)明即使是沒(méi)有經(jīng)驗(yàn)的受試者，采用本文方法依然可以保持較高的分類準(zhǔn)確率。

除了識(shí)別準(zhǔn)確率，還可以通過(guò)信息傳輸率(ITR，information translate rate)來(lái)評(píng)價(jià)SSVEP腦機(jī)接口的性能[24]，ITR表示在一分鐘內(nèi)所能夠傳輸?shù)男畔⒘看笮?，ITR越大，說(shuō)明該方法下信息傳輸率越快。在SSVEP腦機(jī)接口中有3個(gè)重要的參數(shù)指標(biāo)，分別是待分類的刺激頻率數(shù)、信號(hào)的分類準(zhǔn)確率和單次刺激所持續(xù)的時(shí)間。信息傳輸率將這3個(gè)指標(biāo)結(jié)合起來(lái)：

(8)

(9)

式中，B表示一次刺激所傳輸?shù)男畔⒘?，T表示進(jìn)行一次刺激所持續(xù)的時(shí)間，N表示所要分類的刺激頻率數(shù)量，P表示分類準(zhǔn)確率。在本文中，共有6個(gè)待分類的刺激頻率，選用35名受試者的平均識(shí)別率作為信號(hào)的分類準(zhǔn)確率，設(shè)定單次刺激所持續(xù)的時(shí)間為理論時(shí)間1秒。通過(guò)上述公式，計(jì)算出采用卷積神經(jīng)網(wǎng)絡(luò)方法時(shí)的信息傳輸率為149.24 b/min，已經(jīng)達(dá)到了一個(gè)很高的傳輸速率。相比于CCA方法(15.04 b/min)和FBCCA方法(99.92 b/min)，采用CNN方法下的信息傳輸率得到了巨大的提升。總體而言，在針對(duì)短時(shí)間窗口的SSVEP信號(hào)時(shí)，本文提出的方法比傳統(tǒng)CCA和FBCCA方法在分類準(zhǔn)確率和信息傳輸率上都有了很大的提升，可以有效提高SSVEP腦機(jī)接口的分類性能。

3 空間機(jī)械臂的腦機(jī)交互控制

本文所使用的仿真空間機(jī)械臂在VS2017平臺(tái)上進(jìn)行運(yùn)行。首先在3D Studio MAX中繪制空間機(jī)械臂的模型，然后使用OpenGL在VS2017平臺(tái)上對(duì)空間機(jī)械臂進(jìn)行重構(gòu)。6類SSVEP信號(hào)的分類識(shí)別在Jupyter Notebook中完成，與空間機(jī)械臂仿真環(huán)境之間采用TCP/IP協(xié)議進(jìn)行信息傳輸。將使用卷積神經(jīng)網(wǎng)絡(luò)方法分類后的結(jié)果作為控制信號(hào)，控制仿真環(huán)境下的空間機(jī)械臂運(yùn)動(dòng)，仿真實(shí)驗(yàn)方案如圖3所示。

圖3 仿真實(shí)驗(yàn)方案流程圖

仿真環(huán)境中的空間機(jī)械臂安裝在空間站上，由基座、大臂、中臂、小臂和末端手爪等部分組成，其初始示意圖見(jiàn)圖4。

圖4 空間機(jī)械臂初始示意

操作者利用SSVEP信號(hào)解碼指令控制空間機(jī)械臂，各刺激頻率與控制指令和空間機(jī)械臂動(dòng)作的對(duì)應(yīng)關(guān)系如表2所示。

表2 刺激目標(biāo)對(duì)應(yīng)控制指令及機(jī)械臂動(dòng)作

進(jìn)行仿真實(shí)驗(yàn)時(shí)，空間機(jī)械臂轉(zhuǎn)動(dòng)示意圖見(jiàn)圖5。

圖5 空間機(jī)械臂轉(zhuǎn)動(dòng)示意圖

實(shí)驗(yàn)過(guò)程中，當(dāng)檢測(cè)到受試者注視的刺激頻率為8 Hz時(shí)，控制空間機(jī)械臂大臂順時(shí)針轉(zhuǎn)動(dòng)；檢測(cè)到注視的刺激頻率為9 Hz時(shí)，控制空間機(jī)械臂大臂逆時(shí)針轉(zhuǎn)動(dòng)；檢測(cè)到注視的刺激頻率為10 Hz時(shí)，控制空間機(jī)械臂中臂順時(shí)針轉(zhuǎn)動(dòng)；檢測(cè)到注視的刺激頻率為11 Hz時(shí)，控制空間機(jī)械臂中臂逆時(shí)針轉(zhuǎn)動(dòng)；檢測(cè)到注視的刺激頻率為12 Hz時(shí)，控制空間機(jī)械臂小臂順時(shí)針轉(zhuǎn)動(dòng)；檢測(cè)到注視的刺激頻率為13 Hz時(shí)，控制空間機(jī)械臂小臂逆時(shí)針轉(zhuǎn)動(dòng)。

4 結(jié)束語(yǔ)

根據(jù)實(shí)際腦機(jī)交互場(chǎng)景中高信息傳輸率的要求，本文針對(duì)短時(shí)間窗口下的SSVEP信號(hào)分類問(wèn)題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法。該方法通過(guò)快速傅里葉變換提取各通道的頻譜特征并組成特征矩陣，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行分類。由于在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)之前進(jìn)行了特征提取，本文提出的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)相比于直接對(duì)原始SSVEP信號(hào)進(jìn)行深度學(xué)習(xí)要簡(jiǎn)單很多。在清華大學(xué)的Benchmark數(shù)據(jù)集上將本文方法與典型相關(guān)分析方法和濾波器組典型相關(guān)分析方法進(jìn)行比較，對(duì)比結(jié)果表明，該方法的目標(biāo)識(shí)別準(zhǔn)確率和信息傳輸率要明顯高于另外兩種方法。在1秒的時(shí)間窗口下，平均識(shí)別準(zhǔn)確率達(dá)到了99.07%，平均信息傳輸率為149.24 b/min。即使對(duì)于沒(méi)有SSVEP信號(hào)采集經(jīng)驗(yàn)的受試者，應(yīng)用本文方法的平均識(shí)別準(zhǔn)確率也達(dá)到了98.90%，表示該方法可以有效地對(duì)短時(shí)間窗口的信號(hào)進(jìn)行分類。最后，采用分類后的SSVEP信號(hào)作為控制信號(hào)，控制仿真環(huán)境中空間機(jī)械臂的大、中、小臂運(yùn)動(dòng)，驗(yàn)證了本方法是一種可靠的腦機(jī)交互方法。

和其他腦電信號(hào)相同，SSVEP信號(hào)也存在個(gè)體差異性強(qiáng)、識(shí)別準(zhǔn)確率會(huì)隨著分類目標(biāo)的增多而下降等缺點(diǎn)，如何使用遷移學(xué)習(xí)的方法提高模型在不同受試者之間的泛化能力；同時(shí)當(dāng)面對(duì)目標(biāo)更多的分類問(wèn)題時(shí)，保證識(shí)別準(zhǔn)確率是我們后續(xù)研究的重點(diǎn)。