增強(qiáng)現(xiàn)實(shí)場(chǎng)景下基于穩(wěn)態(tài)視覺誘發(fā)電位的機(jī)械臂控制系統(tǒng)

陳玲玲 陳鵬飛 謝 良 許敏鵬 徐登科閆慧炯 羅治國(guó)③ 閆 野③ 印二威③

①(河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院 天津 300130)

②(智能康復(fù)裝置與檢測(cè)技術(shù)教育部工程研究中心 天津 300130)

③(軍事科學(xué)院國(guó)防科技創(chuàng)新研究院 北京 100071)

④(天津（濱海）人工智能創(chuàng)新中心 天津 300450)

⑤(天津大學(xué) 天津 300072)

⑥(中國(guó)鐵道科學(xué)研究院通信信號(hào)研究所 北京 100081)

1 引言

由于老齡化、意外事故和疾病等諸多原因，我國(guó)失能和半失能人口日趨增多，其中處于失能或半失能狀態(tài)的老年人已經(jīng)超過4×107，如何改善他們的生活已經(jīng)成為重要的社會(huì)問題。隨著機(jī)器人技術(shù)和康復(fù)醫(yī)學(xué)的發(fā)展，機(jī)器人在康復(fù)醫(yī)療領(lǐng)域得到廣泛推廣應(yīng)用[1-3]。然而，大部分重度失能患者無(wú)法通過傳統(tǒng)的人機(jī)交互方式(語(yǔ)音、鍵盤等)控制康復(fù)機(jī)器人，因此人機(jī)交互能力的擴(kuò)展對(duì)于發(fā)揮康復(fù)機(jī)器人系統(tǒng)的作用至關(guān)重要[4-6]。

腦機(jī)接口(Brain-Computer Interface, BCI)是一種不依賴人體外周神經(jīng)和肌肉的，在大腦與外界環(huán)境間建立直接信息與控制通道的技術(shù)，實(shí)現(xiàn)大腦與外部設(shè)備間的直接交互[7-11]。通過實(shí)時(shí)解析患者大腦信息，控制高自由度靈巧機(jī)械臂完成復(fù)雜動(dòng)作，進(jìn)而實(shí)現(xiàn)醫(yī)療輔助已成為當(dāng)前BCI技術(shù)的研究熱點(diǎn)。目前BCI主要分為兩大類：植入式BCI和非植入式BCI[12]。植入式BCI雖然信噪比較高，但需要通過手術(shù)將微電極植入人體大腦神經(jīng)皮層，具有一定風(fēng)險(xiǎn)，受試對(duì)象往往無(wú)法接受；而非植入式BCI，如腦電圖(ElectroEncephaloGraphy, EEG)具有高時(shí)間分辨率、操作簡(jiǎn)單且對(duì)人體無(wú)創(chuàng)等特點(diǎn)，更能滿足大多數(shù)失能患者的需求。

近年來(lái)，雖然基于非植入式BCI控制機(jī)械臂的研究取得了諸多成果，但仍存在可用指令較少、控制過程嚴(yán)格受限等問題[13-17]。例如上海交通大學(xué)的徐陽(yáng)[15]使用基于運(yùn)動(dòng)想象(Motor Imagery, MI)的BCI實(shí)現(xiàn)對(duì)機(jī)械臂的移動(dòng)控制，僅可實(shí)現(xiàn)兩種控制指令；華東理工大學(xué)的左詞立等人[17]實(shí)現(xiàn)對(duì)兩種不同筆畫漢字字符的識(shí)別，目前所識(shí)別的漢字字符數(shù)目為2個(gè)。相對(duì)而言，基于穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visual Evoked Potential, SSVEP)的非植入式BCI (SSVEP-BCI)，通信速率更高，可識(shí)別指令數(shù)目相對(duì)較多，因此備受關(guān)注[18-26]。

當(dāng)人體受到一個(gè)固定頻率的視覺刺激時(shí)，大腦皮層的電位活動(dòng)將被調(diào)制，從而產(chǎn)生一個(gè)連續(xù)的且與刺激頻率有關(guān)的響應(yīng)，即為SSVEP。識(shí)別該響應(yīng)的過程通常使用固定窗口，有利于降低系統(tǒng)復(fù)雜性和提高系統(tǒng)穩(wěn)定性[26]。然而由于使用者間存在明顯差異，同一使用者在不同時(shí)刻也將發(fā)生變化，使得固定窗口在實(shí)際使用中受到一定限制。動(dòng)態(tài)窗口可以根據(jù)當(dāng)前受試者的狀態(tài)自適應(yīng)地調(diào)整數(shù)據(jù)長(zhǎng)度，從而調(diào)節(jié)刺激時(shí)長(zhǎng)，減輕受試者的視覺疲勞，提高系統(tǒng)效率。王春慧等人[23]采用基于Bayes的動(dòng)態(tài)停止(Dynamic Stopping, DS)策略實(shí)現(xiàn)了動(dòng)態(tài)窗口，從而進(jìn)一步提升SSVEP-BCI的性能。

另外，目前誘發(fā)SSVEP的視覺刺激大多由計(jì)算機(jī)屏幕提供，靈活性較差。例如，Chen等人[13]設(shè)計(jì)的腦控機(jī)械臂系統(tǒng)，使用計(jì)算機(jī)屏幕提供視覺刺激，雖然平均準(zhǔn)確率達(dá)92.78%，但是由于屏幕位置固定，所以執(zhí)行任務(wù)過程中要求受試者不斷地在機(jī)械臂和屏幕間轉(zhuǎn)移視線，加重了受試者的負(fù)擔(dān)。增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)是一種將虛擬信息與現(xiàn)實(shí)世界智能融合的技術(shù)[27-31]。AR技術(shù)與BCI技術(shù)的融合(AR-BCI)在一定程度上可以解決BCI系統(tǒng)靈活性較差的問題[32-34]。Arpaia等人[32]利用AR-BCI實(shí)現(xiàn)了機(jī)器人的移動(dòng)控制，使受試者擺脫了屏幕的束縛，行動(dòng)更加自由。

BCI控制系統(tǒng)一般可為同步系統(tǒng)和異步系統(tǒng)。同步系統(tǒng)要求使用者嚴(yán)格按照系統(tǒng)分配的時(shí)序選擇命令，使用者活動(dòng)受限；異步系統(tǒng)中操作序列沒有固定的周期節(jié)拍和嚴(yán)格的時(shí)鐘同步，每個(gè)指令或每一步操作可以根據(jù)需求來(lái)占用相應(yīng)的時(shí)間，更貼近于人的正常操作習(xí)慣。異步系統(tǒng)的關(guān)鍵是區(qū)分用戶的工作狀態(tài)和空閑狀態(tài)[35]。

因此，綜合上述相關(guān)研究，為解決目前大多數(shù)SSVEP-BCI存在的靈活性差且易使受試者疲勞等問題，本文提出一種AR場(chǎng)景下基于SSVEP的機(jī)械臂異步控制系統(tǒng)。首先，設(shè)計(jì)視覺刺激界面，構(gòu)建基于SSVEP的AR-BCI系統(tǒng)；接著，設(shè)計(jì)基于投票策略和差值預(yù)測(cè)的動(dòng)態(tài)窗口，實(shí)現(xiàn)刺激時(shí)間長(zhǎng)度的靈活調(diào)整；然后，利用偽密鑰構(gòu)建狀態(tài)選擇界面，實(shí)現(xiàn)機(jī)械臂系統(tǒng)的異步控制；最后，設(shè)計(jì)腦控機(jī)械臂拼圖試驗(yàn)，驗(yàn)證此控制系統(tǒng)的有效性和可行性。相較于上述研究，本研究將AR技術(shù)、動(dòng)態(tài)窗口、異步控制策略與SSVEP-BCI相融合，進(jìn)一步提高了BCI系統(tǒng)的可行性和實(shí)用性。

2 受試者

本次試驗(yàn)共有10名視力正?；虺C正至正常的健康受試者(7名男性和3名女性；年齡在23～26歲)參加。

在所有受試者中，有5名受試者參加過BCI的相關(guān)試驗(yàn)或?qū)CI有一定了解，而另外5名受試者不熟悉BCI及其相關(guān)試驗(yàn)。所有受試者的母語(yǔ)均為漢語(yǔ)，并熟悉在試驗(yàn)中使用的英文字符。其中，只有一名男性受試者為左利手，其余受試者均為右利手。試驗(yàn)前，每名受試者均簽署知情同意書，并且天津大學(xué)倫理審查委員會(huì)批準(zhǔn)了本研究(編號(hào) TJUE-2021-115)。試驗(yàn)采集地點(diǎn)為天津(濱海)人工智能創(chuàng)新中心。在整個(gè)試驗(yàn)過程中，受試者坐在相對(duì)舒適安靜的實(shí)驗(yàn)室中。

3 AR-BCI系統(tǒng)設(shè)計(jì)

設(shè)計(jì)基于SSVEP的機(jī)械臂控制系統(tǒng)，如圖1所示，包括AR-BCI子系統(tǒng)和機(jī)械臂子系統(tǒng)，通過TCP/IP通信協(xié)議實(shí)現(xiàn)指令和信息的傳遞。

3.1 AR-BCI子系統(tǒng)

AR-BCI子系統(tǒng)包括視覺刺激、EEG數(shù)據(jù)采集和EEG數(shù)據(jù)信號(hào)處理3個(gè)模塊。

3.1.1 視覺刺激

如圖2所示，設(shè)計(jì)的視覺刺激界面包含12個(gè)刺激矩陣和1個(gè)提示框。前11個(gè)刺激矩陣采用數(shù)字的形式表示目標(biāo)的終點(diǎn)位置坐標(biāo)“1”～“11”；第12個(gè)刺激矩陣為“back”命令，用于撤銷上一步操作。

圖1 系統(tǒng)整體結(jié)構(gòu)圖

在實(shí)際應(yīng)用過程中，需要依次選擇橫縱坐標(biāo)，提示框出現(xiàn)相應(yīng)的提示符“Row”和“Column”，通過兩次閃爍確定一個(gè)坐標(biāo)值。其中，第1次閃爍用于選擇坐標(biāo)，閃爍結(jié)束后系統(tǒng)將識(shí)別結(jié)果反饋在刺激界面上，即提示框內(nèi)出現(xiàn)反饋?zhàn)址?，且?duì)應(yīng)反饋?zhàn)址陌咨仃囎優(yōu)樗{(lán)色。第2次閃爍用于校正，當(dāng)受試者發(fā)現(xiàn)反饋?zhàn)址c自身所選不符時(shí)，可以通過選擇“back”命令撤銷選擇；反之，在第2次閃爍時(shí)隨意選擇除“back”之外的命令即可。

刺激矩陣采用正弦波閃爍，如式(1)和式(2)所示，刺激頻率、相位與矩陣位置的關(guān)系為

其中，x和y為命令在刺激界面上的橫縱坐標(biāo)(刺激界面上橫、縱軸的正方向分別為從左至右和從上至下)，f0, Δf和 Δp分別為8.0 Hz, 0.5 Hz和0.35 π。

視覺刺激由MATLAB PsychToolBox-3(PTB3)生成，呈現(xiàn)在AR設(shè)備(NED+，中國(guó))的屏幕上。屏幕分辨率為1920×1080，刷新率為60 Hz。

3.1.2 EEG數(shù)據(jù)采集

EEG數(shù)據(jù)利用EEG數(shù)據(jù)采集設(shè)備NeuSen W(博?？?，中國(guó))來(lái)采集，采樣頻率為1000 Hz。電極按照10-20國(guó)際電極放置法進(jìn)行放置，選擇位于枕區(qū)的9個(gè)電極采集EEG數(shù)據(jù)，分別為Pz, PO5,PO3, POz, PO4, PO6, O1, Oz和O2。接地電極放置在Fz和FPz之間，參考電極放置在頭部頂點(diǎn)。上述11個(gè)電極的阻抗均保持在10 kΩ以下。

3.1.3 EEG數(shù)據(jù)處理

EEG數(shù)據(jù)處理模塊主要包括預(yù)處理、分類和指令轉(zhuǎn)換部分。利用帶通濾波對(duì)EEG數(shù)據(jù)進(jìn)行預(yù)處理，截止頻率分別為8 Hz和90 Hz，阻帶上下截止頻率分別為6 Hz和100 Hz。由于存在視覺延遲，故截取視覺刺激開始0.15 s后的EEG數(shù)據(jù)段。接著，將數(shù)據(jù)段輸入到分類模型識(shí)別受試者的意圖，并將其轉(zhuǎn)化為機(jī)械臂控制指令。

3.2 機(jī)械臂子系統(tǒng)

機(jī)械臂子系統(tǒng)主要包括機(jī)械臂、工作區(qū)域、目標(biāo)物及控制主機(jī)。機(jī)械臂為6自由度機(jī)械臂(Kinova jaco2，加拿大)，配有二指夾爪，固定在工作臺(tái)的右側(cè)。工作區(qū)域?yàn)橐粋€(gè)11×11的矩形棋盤，從機(jī)械臂視角看，從左至右為橫軸，從上至下為縱軸。目標(biāo)物為10顆直徑為2.8 cm的黑色小球。

圖2 視覺刺激界面

控制主機(jī)安裝Ubuntu 16.04系統(tǒng)和機(jī)器人操作系統(tǒng)(Robot Operating System, ROS)。機(jī)械臂的驅(qū)動(dòng)程序和運(yùn)動(dòng)控制程序均部署在ROS上。在ROS中，除了機(jī)械臂原有的節(jié)點(diǎn)外，還包括ARBCI系統(tǒng)發(fā)布的節(jié)點(diǎn)，用于向機(jī)械臂發(fā)送控制命令及接收機(jī)械臂狀態(tài)信息。

機(jī)械臂的路徑規(guī)劃采用笛卡兒空間軌跡規(guī)劃方法，在輸入機(jī)械臂的始末端位置、姿態(tài)及沿途經(jīng)過的路徑點(diǎn)位姿變化后，系統(tǒng)自動(dòng)規(guī)劃?rùn)C(jī)械臂的行動(dòng)路徑。同時(shí)，在機(jī)械臂行動(dòng)過程中，系統(tǒng)通過機(jī)械臂相關(guān)節(jié)點(diǎn)實(shí)時(shí)獲取當(dāng)前機(jī)械臂的運(yùn)行速度和位置信息，用以確定夾爪工作的開始時(shí)刻。

4 信號(hào)分類方法及優(yōu)化策略

4.1 信號(hào)分類方法

4.1.1 CCA算法

視覺刺激頻率與刺激誘發(fā)的SSVEP信號(hào)存在一定的相關(guān)性，典型相關(guān)分析(Canonical Correlation Analysis, CCA)是挖掘數(shù)據(jù)相關(guān)性的常用算法。

利用CCA計(jì)算每個(gè)刺激頻率下多通道EEG信號(hào)與正弦-余弦參考信號(hào)之間的規(guī)范相關(guān)性。選擇具有最大典范相關(guān)性的正弦余弦參考信號(hào)頻率作為SSVEP頻率，完成目標(biāo)識(shí)別。

雖然CCA算法對(duì)于SSVEP具有較好的分類效果，但難以對(duì)少量數(shù)據(jù)進(jìn)行分類處理，且沒有充分提取數(shù)據(jù)的重要信息，影響了分類效果。因此，引入濾波器組典型相關(guān)分析方法(Filter Bank Canonical Correlation Analysis, FBCCA)對(duì)其改進(jìn)。

4.1.2 FBCCA算法

4.2 基于動(dòng)態(tài)窗口的優(yōu)化策略

如圖4所示，設(shè)計(jì)基于投票策略和差值預(yù)測(cè)的動(dòng)態(tài)窗口，使視覺刺激時(shí)長(zhǎng)可以在1.8～3.0 s靈活變化。

投票步驟：

步驟1 當(dāng)系統(tǒng)讀入數(shù)據(jù)時(shí)長(zhǎng)Td達(dá)到1.6 s時(shí)，將預(yù)處理后EEG數(shù)據(jù)導(dǎo)入FBCCA算法得到預(yù)測(cè)結(jié)果，將該結(jié)果作為系統(tǒng)第1次投票(S1=C)；

步驟2 按照步長(zhǎng)0.2 s繼續(xù)讀入數(shù)據(jù)；

步驟3 將預(yù)處理后EEG數(shù)據(jù)導(dǎo)入FBCCA算法計(jì)算預(yù)測(cè)結(jié)果 ，將該結(jié)果作為系統(tǒng)第2次投票(S2=C)；

圖3 SSVEP-BCI中用于目標(biāo)識(shí)別的FBCCA算法流程圖

圖4 基于投票策略和差值預(yù)測(cè)的動(dòng)態(tài)窗口

步驟4 比較兩次投票結(jié)果。如果結(jié)果相同，將投票結(jié)果C成為系統(tǒng)預(yù)判結(jié)果；反之，繼續(xù)按照步長(zhǎng)0.2 s讀入EEG數(shù)據(jù)并進(jìn)行投票，直至相鄰兩次投票結(jié)果相同。

步驟5 如果EEG數(shù)據(jù)達(dá)到3.0 s時(shí)，停止讀入數(shù)據(jù)，選擇系統(tǒng)最后一次投票結(jié)果作為系統(tǒng)預(yù)判結(jié)果。

基于差值預(yù)測(cè)的FBCCA算法步驟：

步驟1 將EEG數(shù)據(jù)導(dǎo)入FBCCA算法求得目標(biāo)識(shí)別的特征ρ?k；

步驟2 選擇最大特征值所對(duì)應(yīng)的目標(biāo)作為判別結(jié)果 ；對(duì)ρ?k從小到大進(jìn)行排序，選擇其中最大的兩個(gè)特征值，并計(jì)算兩者的差值E；

步驟3 當(dāng)差值E大于閾值0.20時(shí)，將C作為算法預(yù)判結(jié)果輸出；反之，將“12”(即命令“back”)作為算法預(yù)判結(jié)果輸出。其中，閾值是通過離線試驗(yàn)確定的。

5 異步控制系統(tǒng)設(shè)計(jì)

異步控制的關(guān)鍵在于區(qū)分休息狀態(tài)和工作狀態(tài)，因此設(shè)計(jì)基于SSVEP-BCI的狀態(tài)切換界面。狀態(tài)切換界面上設(shè)有5個(gè)目標(biāo)矩陣，包括兩條指令“Open”和“Keep”。

Open：位于狀態(tài)切換界面4個(gè)角落的目標(biāo)均代表“Open”指令。當(dāng)受試者選擇4個(gè)角落中的任一目標(biāo)時(shí)，系統(tǒng)從休息狀態(tài)切換至工作狀態(tài)，即從當(dāng)前界面切換到刺激界面(如圖2所示)，并激活刺激界面。

Keep：位于狀態(tài)切換界面中央，該命令為偽密鑰，也稱為“假目標(biāo)”。當(dāng)受試者選擇此命令時(shí)，系統(tǒng)保持現(xiàn)有狀態(tài)，即休息狀態(tài)。在佩戴AR眼鏡后，受試者的視線一般集中在屏幕中央，所以當(dāng)此命令存在時(shí)，受試者會(huì)在有意無(wú)意中選擇該命令，保證系統(tǒng)狀態(tài)不變。為了進(jìn)一步提高系統(tǒng)穩(wěn)定性，在信號(hào)處理過程中，加入閾值判別(閾值因個(gè)體而異)。當(dāng)使用者沒有專注于“Keep”目標(biāo)矩陣時(shí)，系統(tǒng)輸出特征值無(wú)法超過閾值，系統(tǒng)將強(qiáng)制輸出“Keep”命令，維持系統(tǒng)狀態(tài)。

狀態(tài)切換界面的刺激方式與刺激界面相同，單次刺激時(shí)長(zhǎng)為2.8 s，兩次刺激間隔0.5 s。刺激頻率的范圍為8.0～10 Hz，頻率間隔為0.5 Hz；初始相位均為0。

6 試驗(yàn)設(shè)計(jì)

為驗(yàn)證系統(tǒng)有效性，分別設(shè)計(jì)離線和在線兩種試驗(yàn)：

(1) 離線試驗(yàn)：在AR環(huán)境下完成屏幕上的目標(biāo)識(shí)別任務(wù)，無(wú)機(jī)械臂控制；

(2) 在線試驗(yàn)：在AR環(huán)境下控制機(jī)械臂并完成拼圖任務(wù)。

6.1 離線試驗(yàn)

離線試驗(yàn)?zāi)康氖菐椭茉囌呤煜は嚓P(guān)試驗(yàn)，檢測(cè)AR-BCI系統(tǒng)的實(shí)際性能，驗(yàn)證動(dòng)態(tài)窗口的有效性。在離線試驗(yàn)中，受試者佩戴AR眼鏡，并專注于屏幕上的SSVEP刺激界面，無(wú)需控制機(jī)械臂。

每名受試者需要進(jìn)行至少10次測(cè)試，每次測(cè)試包含12個(gè)識(shí)別目標(biāo)提示(即12條指令)，每個(gè)目標(biāo)提示出現(xiàn)的順序是隨機(jī)的。每輪識(shí)別過程持續(xù)4 s，其中3 s用于視覺刺激，1 s用于目標(biāo)提示和休息。在試驗(yàn)前，屏幕中出現(xiàn)目標(biāo)提示，相應(yīng)目標(biāo)的白色背景變?yōu)榧t色。在試驗(yàn)中，目標(biāo)按照預(yù)設(shè)的頻率和相位閃爍，為受試者提供視覺刺激，要求受試者將視線聚焦在所提示的目標(biāo)。當(dāng)一輪刺激結(jié)束后，屏幕上會(huì)出現(xiàn)下一個(gè)目標(biāo)的提示，要求受試者及時(shí)將目光從上一個(gè)目標(biāo)轉(zhuǎn)移到下一個(gè)目標(biāo)。

試驗(yàn)結(jié)束后，分別使用固定窗口和動(dòng)態(tài)窗口對(duì)離線數(shù)據(jù)進(jìn)行處理，并對(duì)比兩者的差異。

6.2 在線試驗(yàn)

在線試驗(yàn)要求受試者佩戴AR眼鏡，通過抓取黑色小球并將其放置在工作區(qū)域完成拼圖任務(wù)。在線試驗(yàn)中沒有視覺提示，小球放置的位置并不固定，由受試者自行選擇。當(dāng)受試者確定小球放置位置后，自行切換刺激界面，受試者選擇目標(biāo)放置位置的坐標(biāo)(行坐標(biāo)和列坐標(biāo))。然后，機(jī)械臂到指定位置抓取小球，并將小球根據(jù)選擇結(jié)果移動(dòng)到目標(biāo)位置。

要求受試者在工作區(qū)域依次完成菱形和三角形兩項(xiàng)拼圖任務(wù)，其中每個(gè)圖形由8顆黑色小球組成，記錄受試者完成任務(wù)所需時(shí)間。

6.3 評(píng)價(jià)指標(biāo)

7 試驗(yàn)結(jié)果與分析

7.1 離線試驗(yàn)結(jié)果

將離線試驗(yàn)的EEG數(shù)據(jù)分別選用固定窗口1(刺激時(shí)長(zhǎng)2 s)、固定窗口2(刺激時(shí)長(zhǎng)3 s)及動(dòng)態(tài)窗口，計(jì)算12個(gè)目標(biāo)分類的準(zhǔn)確率和ITR，結(jié)果如表1、表2和表3所示。3次測(cè)試的分類準(zhǔn)確率依次為(92.08±7.02)%,(95.41±4.13)%和(93.11±5.85)%；ITR依次為(59.59±9.90) bit·min-1, (47.87±4.92)bit·min-1和(59.69±8.11) bit·min-1。

表1 離線試驗(yàn)1的結(jié)果

表2 離線試驗(yàn)2的結(jié)果

表3 離線試驗(yàn)3的結(jié)果

離線試驗(yàn)2(固定窗口3 s)的識(shí)別準(zhǔn)確率最高，但其ITR遠(yuǎn)低于試驗(yàn)1和試驗(yàn)3(p<0.05)，而試驗(yàn)1(固定窗口2 s)與試驗(yàn)3(動(dòng)態(tài)窗口)的ITR無(wú)顯著性差異(p>0.05)。使用動(dòng)態(tài)窗口后，平均刺激時(shí)長(zhǎng)(2.02±0.02) s略高于2 s，遠(yuǎn)低于3 s。試驗(yàn)3的平均識(shí)別準(zhǔn)確率高于試驗(yàn)1，且動(dòng)態(tài)窗口的平均ITR均高于固定窗口。

如圖5所示，由受試者識(shí)別結(jié)果的混淆矩陣可知，使用動(dòng)態(tài)窗口時(shí)，12個(gè)目標(biāo)的識(shí)別準(zhǔn)確率為88.57%～98.10%，由單因素方差分析可知，類間無(wú)顯著差異(p>0.05)。分類錯(cuò)誤多發(fā)生在兩個(gè)相鄰的目標(biāo)之間，如目標(biāo)“8”和目標(biāo)“back”，如圖2所示，目標(biāo)“8”位于目標(biāo)“back”的正上方。主要原因是相鄰目標(biāo)之間存在一定的干擾。

7.2 在線試驗(yàn)結(jié)果

圖5 12個(gè)指令預(yù)測(cè)字符與真實(shí)字符的混淆矩陣

圖6 在線實(shí)驗(yàn)場(chǎng)景，受試者控制機(jī)械臂完成拼圖任務(wù)

10名受試者參加在線試驗(yàn)，實(shí)驗(yàn)場(chǎng)景如圖6所示。在線試驗(yàn)過程中，小球放置位置由受試者自行決定，當(dāng)系統(tǒng)預(yù)判結(jié)果與受試者所選不符時(shí)，即判定為錯(cuò)誤指令。且當(dāng)校正環(huán)節(jié)失效導(dǎo)致小球位置放錯(cuò)時(shí)，判定為最終執(zhí)行錯(cuò)誤。其中一組執(zhí)行準(zhǔn)確與失誤的場(chǎng)景如圖7所示。

7.2.1 選擇控制指令試驗(yàn)

如表4所示，對(duì)比使用固定窗口(刺激時(shí)長(zhǎng)3 s)和動(dòng)態(tài)窗口的在線試驗(yàn)結(jié)果，兩次試驗(yàn)完成任務(wù)的平均時(shí)間分別為725.4 s和681.7 s，使用動(dòng)態(tài)窗口完成任務(wù)所需時(shí)間明顯少于固定窗口，同時(shí)平均識(shí)別準(zhǔn)確率、平均錯(cuò)誤命令數(shù)目和平均最終執(zhí)行錯(cuò)誤數(shù)目均差異不大。

圖7 執(zhí)行準(zhǔn)確與失誤的場(chǎng)景圖

在線使用動(dòng)態(tài)窗口后，平均命令選擇時(shí)間為2.18 s，高于離線試驗(yàn)的平均刺激時(shí)長(zhǎng)2.02 s，原因是在線試驗(yàn)過程中視覺刺激和數(shù)據(jù)處理同步進(jìn)行，算法運(yùn)行及數(shù)據(jù)傳輸占用一定的時(shí)間。但使用動(dòng)態(tài)窗口的在線試驗(yàn)的平均命令選擇時(shí)間仍低于3 s固定時(shí)長(zhǎng)，有利于降低受試者的視覺疲勞和精神疲勞，進(jìn)一步提高系統(tǒng)的實(shí)用性。通過對(duì)比錯(cuò)誤命令數(shù)目和最終執(zhí)行錯(cuò)誤數(shù)目發(fā)現(xiàn)，最終執(zhí)行錯(cuò)誤數(shù)目明顯低于錯(cuò)誤命令數(shù)目，說(shuō)明增加糾錯(cuò)環(huán)節(jié)可以有效避免受試者發(fā)送錯(cuò)誤指令，提高系統(tǒng)的穩(wěn)定性和準(zhǔn)確性。

7.2.2 狀態(tài)切換試驗(yàn)

如表5所示，對(duì)比使用固定窗口(刺激時(shí)長(zhǎng)2.8 s)和動(dòng)態(tài)窗口的狀態(tài)切換的試驗(yàn)結(jié)果，兩種情況的平均準(zhǔn)確率分別為95.40%和96.07%，差異不大。且平均總命令數(shù)目和平均錯(cuò)誤命令數(shù)目都差異較小。但是，狀態(tài)切換試驗(yàn)的平均準(zhǔn)確率明顯高于選擇控制指令的平均準(zhǔn)確率。主要原因是狀態(tài)切換的指令數(shù)量(5個(gè))遠(yuǎn)少于控制指令的數(shù)量(12個(gè))，且狀態(tài)切換界面的刺激矩陣之間相鄰較遠(yuǎn)，相互干擾較小。

表4 選擇控制指令試驗(yàn)結(jié)果

表5 選擇控制指令試驗(yàn)結(jié)果

8 結(jié)論

本文設(shè)計(jì)了一套AR環(huán)境下基于SSVEP的機(jī)械臂異步控制系統(tǒng)。使用AR設(shè)備擺脫了傳統(tǒng)屏幕的束縛，使BCI系統(tǒng)的使用更為便利。使用動(dòng)態(tài)窗口可以靈活調(diào)整刺激時(shí)長(zhǎng)，在一定程度上減輕受試者的視覺疲勞。利用FBCCA算法，充分提取數(shù)據(jù)的重要信息，實(shí)現(xiàn)12目標(biāo)的準(zhǔn)確識(shí)別，確定目標(biāo)位置坐標(biāo)。系統(tǒng)的平均準(zhǔn)確度為(93.11±5.85)%，平均ITR為(59.69±8.11) bits·min-1。采用偽密鑰實(shí)現(xiàn)機(jī)械臂異步控制，使受試者順利完成兩種拼圖任務(wù)(平均時(shí)間681.7 s)，有效地提高了系統(tǒng)的實(shí)用性和靈活性。

試驗(yàn)結(jié)果表明，無(wú)論是BCI試驗(yàn)經(jīng)驗(yàn)豐富的受試者還是無(wú)經(jīng)驗(yàn)受試者均可利用該系統(tǒng)控制機(jī)械臂去完成相應(yīng)的目標(biāo)任務(wù)。本文的研究是一次有益的探索，證明了本文提出的人機(jī)交互方法具備一定的可行性和有效性，為將來(lái)腦控機(jī)械臂的發(fā)展提供了一種新的思路。同時(shí)，此系統(tǒng)將來(lái)還可以作為一種康復(fù)理療的手段，幫助病患恢復(fù)自身的運(yùn)動(dòng)能力，具有一定的應(yīng)用前景。

雖然該系統(tǒng)具有一定的優(yōu)勢(shì)，但在異步控制方面，基于偽鍵而設(shè)計(jì)的狀態(tài)切換策略使得受試者的視線受到一定的遮擋，影響了受試者的使用。同時(shí)，滑動(dòng)窗口也存在進(jìn)一步改進(jìn)的空間。并且SSVEP自身也存在一些局限性。例如目前誘發(fā)SSVEP信號(hào)的視覺刺激大多數(shù)采用低頻視覺刺激，這容易引起受試者疲勞。另外SSVEP-BCI系統(tǒng)的效率相對(duì)于傳統(tǒng)交互方式還是比較慢，影響了他的推廣及應(yīng)用。未來(lái)的工作將對(duì)更為便利和有效的異步控制方式、刺激范式和滑動(dòng)窗口進(jìn)行研究，使控制系統(tǒng)的實(shí)用性得到進(jìn)一步提高。