基于Hololens的增強(qiáng)現(xiàn)實(shí)腦-機(jī)接口研究

張力新 張?jiān)＠?柯余峰 杜佳樂(lè) 許敏鵬# 明 東,2#

1(天津大學(xué)精密儀器與光電子工程學(xué)院生物醫(yī)學(xué)工程系，天津 300072)2(天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院，天津 300072)

引言

腦-機(jī)接口(brain-computer interface，BCI) 是在人腦和計(jì)算機(jī)或其他電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路的全新對(duì)外信息交流和控制技術(shù)[1]。由于腦電圖(electroencephalography, EEG)時(shí)間分辨率高、易于獲取、價(jià)格低廉等優(yōu)勢(shì)，被廣泛應(yīng)用于非侵入式BCI中。目前常用于BCI的腦電信號(hào)成分或種類(lèi)主要包括：事件相關(guān)同步電位和去同步電位(event related synchronization/desynchronization, ERS/ERD)、穩(wěn)態(tài)視覺(jué)誘發(fā)電位(steady-state visual evoked potentials, SSVEP)、慢皮層電位(slow cortical potentials, SCP)、P300以及μ節(jié)律、β節(jié)律等。其中SSVEP-BCI向用戶呈現(xiàn)多個(gè)具有不同頻率、相位的周期性視覺(jué)刺激(repetitive visual stimulus, RVS)，當(dāng)用戶將注意力集中在某個(gè)RVS上時(shí)，其主視覺(jué)皮層中會(huì)誘發(fā)出具有特定特征的EEG信號(hào)，即SSVEP信號(hào)。其頻率成分主要包括相應(yīng)視覺(jué)刺激頻率及其各次諧波。能有效誘發(fā)出SSVEP的視覺(jué)刺激頻率集中在1～100 Hz范圍內(nèi)[2]。通過(guò)識(shí)別腦電信號(hào)中的SSVEP成分即可實(shí)現(xiàn)用戶意圖識(shí)別，近年來(lái)SSVEP-BCI已能夠達(dá)到非常高的識(shí)別正確率和信息傳輸速率[3-6]。

盡管腦-機(jī)接口的性能正在不斷提升，目前腦-機(jī)接口應(yīng)用還主要集中在輔助、增強(qiáng)和修復(fù)人體的認(rèn)知和運(yùn)動(dòng)感覺(jué)等神經(jīng)功能方面[7]，如何將該技術(shù)廣泛應(yīng)用于日常生活中還有待研究。以SSVEP-BCI為代表的高性能BCI往往需要借助較大尺寸的顯示設(shè)備提供視覺(jué)刺激，目前最常用的顯示設(shè)備是計(jì)算機(jī)屏幕。然而，在日常生活中計(jì)算機(jī)屏幕難以隨時(shí)攜帶，這限制了BCI的便攜性和適用范圍。通過(guò)增強(qiáng)現(xiàn)實(shí)(argument reality, AR)技術(shù)與BCI技術(shù)相結(jié)合，可以很好地解決這一問(wèn)題?？纱┐鞯腁R設(shè)備可以讓BCI擺脫屏幕，隨時(shí)隨地向用戶呈現(xiàn)視覺(jué)刺激，誘發(fā)具有特定特征的EEG信號(hào)，從而實(shí)現(xiàn)便攜式的腦-機(jī)控制系統(tǒng)。AR與BCI相結(jié)合(AR-BCI)將使BCI技術(shù)向日常生活中應(yīng)用邁進(jìn)一步。

目前，AR-BCI及其類(lèi)似研究所采用的范式主要包括P300-BCI和SSVEP-BCI。2009年Kansaku等通過(guò)在機(jī)器人身上安裝攝像頭捕捉現(xiàn)實(shí)場(chǎng)景，并將畫(huà)面?zhèn)鬏數(shù)揭壕聊簧?，誘發(fā)P300所需的視覺(jué)刺激也同時(shí)呈現(xiàn)在液晶屏幕當(dāng)中，用戶可以通過(guò)注視特定的視覺(jué)刺激控制機(jī)器人前后左右移動(dòng)，當(dāng)機(jī)器人攝像頭捕捉到特定AR標(biāo)志時(shí)將切換為臺(tái)燈控制模式，此時(shí)用戶可以通過(guò)P300控制臺(tái)燈打開(kāi)、關(guān)閉、亮度增加或降低[8]。2010年，Lenhardt等采用透視式頭盔顯示器(see through head mounted display)呈現(xiàn)P300刺激，這樣用戶可以直接看到現(xiàn)實(shí)中的真實(shí)物體，也可以看到疊加在真實(shí)物體上的P300視覺(jué)刺激。該系統(tǒng)集成了一套工業(yè)機(jī)械臂系統(tǒng)，使用戶可以控制機(jī)械臂抓取、放置桌面上的物體[9]。2011年，Kouji等改進(jìn)了Kansaku于2009年進(jìn)行的研究，將視覺(jué)刺激從屏幕上移植到透視式頭盔顯示器中，進(jìn)行了控制臺(tái)燈和電視的實(shí)驗(yàn)[10]。2015年，Horii等通過(guò)頭戴式顯示器(head mounted display, HMD)設(shè)備將攝像頭捕捉到的現(xiàn)實(shí)場(chǎng)景和SSVEP視覺(jué)刺激投射到人眼中，該設(shè)備不同于透視式頭盔顯示器，用戶不能直接看到真實(shí)場(chǎng)景，而是通過(guò)攝像頭捕捉眼前場(chǎng)景再傳輸?shù)紿MD中呈現(xiàn)給用戶，該研究中被試完成了選取物體的實(shí)驗(yàn)[11]。2017年Faller等進(jìn)行了利用AR-BCI控制小機(jī)器人在桌面上移動(dòng)的實(shí)驗(yàn)，他們同樣采用攝像頭捕捉真實(shí)場(chǎng)景并傳輸?shù)紿MD設(shè)備中，而SSVEP視覺(jué)刺激則固定在機(jī)器人周?chē)?，隨機(jī)器人移動(dòng)[12]?？偨Y(jié)這些研究發(fā)現(xiàn)，AR-BCI仍處于初步探索階段，早期由于AR技術(shù)不成熟，研究中采用其他方法實(shí)現(xiàn)類(lèi)似AR的效果，目前AR-BCI的研究仍處于探索階段，這些研究中BCI的識(shí)別正確率和速度都較低(如表1所示)。此外，還有一些其他研究團(tuán)隊(duì)進(jìn)行了AR-BCI的相關(guān)研究[13-17]，但并沒(méi)有報(bào)道詳細(xì)的識(shí)別正確率、速度情況。

表1 AR-BCI相關(guān)研究Tab.1 AR-BCI related research

分析以上相關(guān)研究可以看出，目前AR-BCI相關(guān)研究還處于初級(jí)階段，如何提升 AR-BCI的速度和正確率還有待研究。雖然AR技術(shù)能提升腦-機(jī)接口的便攜性、實(shí)用性，但如果AR-BCI系統(tǒng)沒(méi)有較高水平的識(shí)別正確率和速度，也很難實(shí)際應(yīng)用。目前SSVEP識(shí)別算法不斷更新，而基于SSVEP的AR-BCI相關(guān)研究沒(méi)有采用最先進(jìn)的識(shí)別算法，這可能是其正確率、速度較低的原因。本研究結(jié)合先進(jìn)的SSVEP識(shí)別算法和微軟Hololens AR設(shè)備，設(shè)計(jì)了一種AR-BCI系統(tǒng)，進(jìn)行了在線和離線實(shí)驗(yàn)，并在識(shí)別正確率和信息傳輸率參數(shù)方面與基于計(jì)算機(jī)屏幕的BCI系統(tǒng)進(jìn)行了對(duì)比。

1 方法

1.1 實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)系統(tǒng)包括基于Hololens的AR-BCI系統(tǒng)和基于普通計(jì)算機(jī)屏幕的BCI系統(tǒng)，系統(tǒng)結(jié)構(gòu)如圖1所示。兩系統(tǒng)除了采用不同設(shè)備誘發(fā)SSVEP外其余部分均相同?；谄胀ㄒ壕聊缓虷ololens的實(shí)驗(yàn)系統(tǒng)分別由便攜式計(jì)算機(jī)的液晶屏幕和微軟Hololens設(shè)備產(chǎn)生SSVEP視覺(jué)刺激，同時(shí)通過(guò)局域網(wǎng)與腦電放大器進(jìn)行同步，腦電放大器采集到的信號(hào)通過(guò)局域網(wǎng)傳輸至便攜式計(jì)算機(jī)。實(shí)驗(yàn)系統(tǒng)硬件主要包括：自主研發(fā)8通道腦電放大器、17 in液晶屏幕便攜式計(jì)算機(jī)、無(wú)線路由器、微軟Hololens AR設(shè)備。腦電放大器采集8導(dǎo)聯(lián)的腦電信號(hào)(POz、PO3、PO4、PO5、PO6、Oz、O1、O2)，以頭頂Cz通道為參考，采樣率為1 000 Hz。

1.2 實(shí)驗(yàn)設(shè)計(jì)

在液晶屏幕上誘發(fā)SSVEP的視覺(jué)刺激通過(guò)Matlab Psychtoolbox生成，如圖2所示。采用的視覺(jué)刺激為8個(gè)正方形SSVEP刺激，采用頻率分別為8、9、10、11、12、13、14、15 Hz的正弦波閃爍，初始相位分別為0 π、1.75 π、1.50 π、1.25 π、1.00 π、0.75 π、0.50 π、0.25 π。實(shí)驗(yàn)采用的屏幕尺寸為17 in，刷新率60 Hz。被試距屏幕約58 cm，每個(gè)刺激方塊相對(duì)被試所成視覺(jué)夾角為6°，相鄰方塊間間隔相對(duì)被試所成視覺(jué)夾角為3.6°。每個(gè)trial包含提示階段和刺激階段，提示階段通過(guò)白色十字提示被試需要注視的位置，持續(xù)1 s，刺激階段為SSVEP視覺(jué)刺激，持續(xù)2 s，被試根據(jù)提示依次注視各個(gè)頻率的閃爍刺激。在普通屏幕上的SSVEP實(shí)驗(yàn)中，每個(gè)block包含40個(gè)trial，分別為8種頻率各5個(gè)trial。離線實(shí)驗(yàn)與在線實(shí)驗(yàn)采用相同的視覺(jué)刺激程序。每名被試完成2個(gè)block離線實(shí)驗(yàn)和1個(gè)block在線實(shí)驗(yàn)。在線實(shí)驗(yàn)中，利用離線實(shí)驗(yàn)數(shù)據(jù)建立的模型進(jìn)行在線實(shí)時(shí)識(shí)別，采用的數(shù)據(jù)長(zhǎng)度為1 s，識(shí)別結(jié)果通過(guò)聲音實(shí)時(shí)反饋給被試。

圖1 系統(tǒng)結(jié)構(gòu)Fig.1 Architecture of the system

圖2 屏幕SSVEP視覺(jué)刺激Fig.2 SSVEP visual stimuli on screen

在Hololens上產(chǎn)生的視覺(jué)刺激采用Unity 3D制作實(shí)現(xiàn)，如圖3所示。每個(gè)trial包括空白階段和刺激階段，空白階段持續(xù)1 s，此時(shí)被試可以看到8個(gè)亮度較低的紅色方塊，方塊顏色、亮度保持不變，用來(lái)提示被試閃爍刺激將出現(xiàn)的位置。刺激階段將在同提示階段相同位置產(chǎn)生8個(gè)SSVEP刺激，刺激頻率、相位、位置和視角、持續(xù)時(shí)間均同屏幕刺激一致。每個(gè)block含16個(gè)trial，每個(gè)頻率各2個(gè)trial。被試完成5個(gè)block離線實(shí)驗(yàn)、4個(gè)block在線實(shí)驗(yàn)。在線實(shí)驗(yàn)中利用離線實(shí)驗(yàn)數(shù)據(jù)建立的模型進(jìn)行在線實(shí)時(shí)識(shí)別，采用的數(shù)據(jù)長(zhǎng)度為1 s，識(shí)別結(jié)果通過(guò)聲音實(shí)時(shí)反饋給被試。

本研究共對(duì)12名被試進(jìn)行試驗(yàn)，其中8名男性4名女性，被試年齡22～26周歲之間。每名被試都需要進(jìn)行在屏幕上和在Hololens上的兩種SSVEP實(shí)驗(yàn)，被試進(jìn)行兩種SSVEP實(shí)驗(yàn)的先后順序隨機(jī)。實(shí)驗(yàn)場(chǎng)景如圖4所示。

圖3 Hololens SSVEP視覺(jué)刺激Fig.3 SSVEP visual stimuli on Hololens

圖4 實(shí)驗(yàn)場(chǎng)景。(a)屏幕實(shí)驗(yàn)；(b)Hololens實(shí)驗(yàn)Fig.4 Experiment scene. (a) Screen experiment；(b) Hololens experiment

1.3 數(shù)據(jù)處理與分析

1.3.1數(shù)據(jù)預(yù)處理

為了提取特定頻段的腦電信號(hào)用來(lái)進(jìn)行SSVEP識(shí)別，去除高頻噪聲、工頻干擾以及低頻成分，首先對(duì)每名被試每個(gè)block的離線數(shù)據(jù)進(jìn)行高通、低通和陷波處理。所采用的濾波器分別為截止頻率4 Hz的4階切比雪夫1型高通濾波器、截止頻率90 Hz的8階切比雪夫1型低通濾波器和阻帶為45～55 Hz的4階切比雪夫1型帶阻濾波器。采用零相位濾波方法為以免影響信號(hào)相位信息。

1.3.2識(shí)別算法

每名被試的離線數(shù)據(jù)為四維向量：χ=(χ)njkh∈Nf×Nc×Ns×Nt，其中，n為頻率序號(hào)，Nf為刺激頻率數(shù)量，J為導(dǎo)聯(lián)號(hào)，Nc為導(dǎo)聯(lián)數(shù)量，k為數(shù)據(jù)點(diǎn)，Ns為每個(gè)trial的數(shù)據(jù)長(zhǎng)度，h為trial序號(hào)，Nt為trial數(shù)量。

SSVEP識(shí)別算法采用帶模板的濾波器組典型相關(guān)分析(filter bank canonical correlation analysis, FBCCA)[3]。將每名被試的多組訓(xùn)練集數(shù)據(jù)進(jìn)行平均得到個(gè)人信號(hào)模板，即

(1)

(2)

式中，ρ(a,b)表示a與b之間的皮爾森相關(guān)系數(shù)。

按照

(3)

得到該測(cè)試樣本與各頻率模板的綜合相關(guān)系數(shù)。

最后按照

(4)

(5)

得到?jīng)Q策結(jié)果，其中a(m)=m-1.25+0.25，為經(jīng)驗(yàn)值[18]。

1.3.3BCI性能評(píng)價(jià)

本研究采用識(shí)別正確率和信息傳輸率(information transfer rate, ITR)作為BCI系統(tǒng)性能的評(píng)價(jià)指標(biāo)。其中，離線正確率和ITR基于離線實(shí)驗(yàn)數(shù)據(jù)采用十折交叉驗(yàn)證求得平均值，既依次選取10組離線實(shí)驗(yàn)?zāi)X電信號(hào)中的一組作為測(cè)試集，其余9組作為訓(xùn)練集。在線實(shí)驗(yàn)中采用基于全部離線數(shù)據(jù)所建立的模板對(duì)每組在線數(shù)據(jù)實(shí)時(shí)進(jìn)行識(shí)別，得到在線識(shí)別正確率和信息傳輸率。

信息傳輸速率是BCI研究中廣泛應(yīng)用的評(píng)價(jià)指標(biāo)[19]，其表示的是單位時(shí)間內(nèi)傳輸?shù)男畔⒘浚瑔挝粸?bit / min。每完成一次判斷輸出的信息量為

(6)

式中，N為目標(biāo)數(shù)量，p為識(shí)別正確率，則信息傳輸速率為

ITR=B(60/T)

(7)

式中，T為每輸出一個(gè)指令所需時(shí)間，s。

可見(jiàn)，信息傳輸率受識(shí)別正確率和輸出單個(gè)指令所需時(shí)間的雙重因素影響。在本研究的離線數(shù)據(jù)分析中，每輸出一個(gè)指令需要的時(shí)間為識(shí)別所需數(shù)據(jù)長(zhǎng)度加刺激間隔。在線數(shù)據(jù)分析中，每輸出一個(gè)指令所需時(shí)間為實(shí)際刺激時(shí)長(zhǎng)加刺激間隔[20]。

本研究分析了每名被試在屏幕、Hololens上的離線和在線SSVEP識(shí)別正確率和信息傳輸率，并通過(guò)統(tǒng)計(jì)分析分別比較了離線和在線實(shí)驗(yàn)中識(shí)別正確率和信息傳輸率在基于計(jì)算機(jī)屏幕的BCI與基于Hololens的AR-BCI之間的差異。

2 結(jié)果

2.1 正確率

首先計(jì)算并比較了采用不同數(shù)據(jù)長(zhǎng)度(0.5～2.0 s，間隔0.1 s)時(shí)12名被試在Hololens、屏幕下離線、在線實(shí)驗(yàn)的正確率，如圖5所示。在此特別對(duì)比數(shù)據(jù)長(zhǎng)度為0.5、1.0、1.5、2.0 s時(shí)的分類(lèi)正確率，其均值如表2所示?？梢?jiàn)，分類(lèi)正確率隨數(shù)據(jù)長(zhǎng)度增加而升高，當(dāng)數(shù)據(jù)長(zhǎng)度達(dá)到1 s時(shí)4種條件下平均正確率均達(dá)到87.1%以上，數(shù)據(jù)長(zhǎng)度達(dá)到1.5 s時(shí)4種條件下平均正確率均達(dá)到95.0%以上，數(shù)據(jù)長(zhǎng)度達(dá)到2 s時(shí)4種條件下平均正確率均達(dá)到97.5%以上。當(dāng)數(shù)據(jù)長(zhǎng)度較小時(shí)(小于1 s)，基于Hololens的AR-BCI識(shí)別正確率較低，且明顯低于基于屏幕的普通BCI，而當(dāng)數(shù)據(jù)長(zhǎng)度較大時(shí)(大于1.5 s)，AR-BCI與普通屏幕BCI的差異不明顯。

分別對(duì)離線、在線分類(lèi)正確率進(jìn)行雙因素方差分析，統(tǒng)計(jì)分析視覺(jué)刺激設(shè)備(屏幕、Hololens)與數(shù)據(jù)長(zhǎng)度(0.5、1.0、1.5、2.0 s)對(duì)正確率的影響，其結(jié)果如表3所示。在離線和在線條件下，設(shè)備因素和數(shù)據(jù)長(zhǎng)度因素均對(duì)識(shí)別正確率有顯著影響，刺激設(shè)備與數(shù)據(jù)長(zhǎng)度之間均存在顯著的交互作用，結(jié)合圖5和表2可以看出，數(shù)據(jù)長(zhǎng)度較大時(shí)設(shè)備因素對(duì)SSVEP識(shí)別正確率影響較小。

圖5 屏幕、Hololens下離線與在線識(shí)別正確率Fig.5 Classification accuracy for offline and online experiments with normal screen and Hololens

表3 正確率方差分析結(jié)果Tab.3 Result of ANOVA for accuracy

為了深入探究不同數(shù)據(jù)長(zhǎng)度下兩種設(shè)備間正確率差異，分別對(duì)離線和在線條件不同數(shù)據(jù)長(zhǎng)度時(shí)(0.5、1.0、1.5、2.0 s)屏幕與Hololens正確率進(jìn)行配對(duì)t檢驗(yàn)，比較屏幕與Hololens之間正確率差異,其結(jié)果如表4所示?？梢钥闯?，無(wú)論離線或在線條件下，當(dāng)數(shù)據(jù)長(zhǎng)度較小時(shí)，基于屏幕的BCI正確率顯著大于基于Hololens的AR-BCI，且隨著數(shù)據(jù)長(zhǎng)度增加顯著性降低，當(dāng)數(shù)據(jù)長(zhǎng)度達(dá)到2 s時(shí)屏幕與Hololens之間SSVEP的識(shí)別正確率無(wú)顯著差異。

表4 正確率配對(duì)t檢驗(yàn)結(jié)果Tab.4 Result of paired t-test for accuracy

2.2 信息傳輸速率

圖6為離線實(shí)驗(yàn)中12名被試在屏幕和Hololens下采用0.5～2.0 s長(zhǎng)的數(shù)據(jù)進(jìn)行識(shí)別所得的信息傳輸速率及其平均值，數(shù)據(jù)長(zhǎng)度為0.5、1.0、1.5、2.0 s時(shí)的信息傳輸率如表5所示?？梢?jiàn)，當(dāng)數(shù)據(jù)長(zhǎng)度較短時(shí)基于屏幕的BCI明顯高于基于Hololens的AR-BCI，當(dāng)數(shù)據(jù)長(zhǎng)度接近2 s時(shí)各種條件下的信息傳輸率差異不明顯。

此外，信息傳輸率隨著數(shù)據(jù)長(zhǎng)度增加均有先增大后降低的變化趨勢(shì)，主要是因?yàn)樾畔鬏斅适軘?shù)據(jù)長(zhǎng)度和識(shí)別正確率雙重因素的影響，當(dāng)數(shù)據(jù)較短時(shí)識(shí)別正確率較低，而識(shí)別正確率較高時(shí)數(shù)據(jù)長(zhǎng)度也較大。因此，當(dāng)數(shù)據(jù)長(zhǎng)度適當(dāng)時(shí)信息傳輸率最大。在屏幕上，數(shù)據(jù)長(zhǎng)度為0.7 s時(shí)平均信息傳輸速率最高，此時(shí)離線信息傳輸速率為 93.7 bit/min。在Hololens上，數(shù)據(jù)長(zhǎng)度為1.1 s時(shí)信息傳輸速率最大，此時(shí)離線信息傳輸速率為64.2 bit/min。

對(duì)離線信息傳輸速率進(jìn)行雙因素方差分析，統(tǒng)計(jì)分析視覺(jué)刺激設(shè)備(屏幕、Hololens)與數(shù)據(jù)長(zhǎng)度(0.5、1.0、1.5、2.0 s)對(duì)信息傳輸速率的影響，其結(jié)果如表6所示。離線條件下，設(shè)備因素和數(shù)據(jù)長(zhǎng)度因素均對(duì)信息傳輸速率有顯著影響，且刺激設(shè)備與數(shù)據(jù)長(zhǎng)度之間存在顯著的相互作用。結(jié)合圖6和表5可以看出，數(shù)據(jù)長(zhǎng)度較大時(shí)設(shè)備因素對(duì)信息傳輸速率影響減小。

圖6 屏幕、Hololens下離線信息傳輸速率Fig.6 Information transfer rate for offline experiments with normal screen and Hololens

為了探究不同數(shù)據(jù)長(zhǎng)度下兩種設(shè)備間信息傳輸速率差異，對(duì)數(shù)據(jù)長(zhǎng)度為0.5、1.0、1.5、2.0 s時(shí)的屏幕與Hololens離線信息傳輸速率進(jìn)行配對(duì)t檢驗(yàn)，對(duì)比屏幕與Hololens之間離線信息傳輸速率差異,其結(jié)果如表7所示?？梢?jiàn)，當(dāng)數(shù)據(jù)長(zhǎng)度較小時(shí)，基于屏幕的BCI信息傳輸速率顯著高于基于Hololens的AR-BCI，當(dāng)數(shù)據(jù)長(zhǎng)度達(dá)到2 s時(shí)屏幕與Hololens之間SSVEP的信息傳輸速率無(wú)顯著差異。

在線實(shí)驗(yàn)中，SSVEP閃爍刺激持續(xù)2 s，刺激間隔為1 s，每次輸出指令時(shí)間為3 s。在屏幕和Hololens下在線實(shí)驗(yàn)信息傳輸速率如圖7所示。

在線實(shí)驗(yàn)中，屏幕和Hololens下信息傳輸速率平均值和方差分別為(52.5±9.3)和(44.0±7.2)bit/min。對(duì)兩種條件下在線信息傳輸速率做配對(duì)t檢驗(yàn)，得到屏幕與Hololens在線信息傳輸速率間存在顯著差異(P<0.05)，屏幕在線信息傳輸速率顯著高于Hololens。

表6 離線條件下信息傳輸速率方差分析結(jié)果Tab.6 Result of ANOVA for ITR in offline experiment

表7離線條件下信息傳輸速率配對(duì)t檢驗(yàn)結(jié)果

Tab.7Resultofpairedt-testforITRinofflineexperiment

數(shù)據(jù)長(zhǎng)度/s自由度t值P0.5113.76<0.011.0113.07<0.051.5113.42<0.012.0110.56>0.05

圖7 在線實(shí)驗(yàn)中12名被試信息傳輸速率Fig.7 ITR for 12 subject in online experiment

3 討論

本研究在AR環(huán)境中采用1、2 s長(zhǎng)的數(shù)據(jù)可以達(dá)到88.7%和98.6%的平均在線識(shí)別正確率，在線信息傳輸速率達(dá)到44.0 bit/min。相較已有AR-BCI及其類(lèi)似研究，本研究在更短的數(shù)據(jù)上得到了更高的識(shí)別正確率。

但同時(shí)也發(fā)現(xiàn)，當(dāng)所用數(shù)據(jù)段較短時(shí)，Hololens AR情境下誘發(fā)的SSVEP其識(shí)別正確率低于屏幕下誘發(fā)的SSVEP識(shí)別正確率，這與背景環(huán)境干擾以及被試對(duì)Hololens的適應(yīng)程度有一定關(guān)系。此外，通過(guò)分析發(fā)現(xiàn)，由于Hololens設(shè)備只能采用無(wú)線網(wǎng)絡(luò)與放大器數(shù)據(jù)進(jìn)行同步，而基于屏幕的腦-機(jī)接口系統(tǒng)采用有線網(wǎng)絡(luò)與放大器進(jìn)行數(shù)據(jù)同步，因?yàn)闊o(wú)線網(wǎng)絡(luò)相較有線網(wǎng)絡(luò)延時(shí)更高(無(wú)線網(wǎng)絡(luò)延時(shí)估計(jì)在16～32 ms，有線網(wǎng)絡(luò)延時(shí)估計(jì)在3～4 ms以內(nèi))，更不穩(wěn)定，造成Hololens AR刺激與腦電采集設(shè)備之間的同步信號(hào)時(shí)間誤差較大、且穩(wěn)定性更低，致使獲得的個(gè)人平均模板質(zhì)量降低、模板與測(cè)試數(shù)據(jù)相位差異大，從而導(dǎo)致識(shí)別正確率降低。最后發(fā)現(xiàn)，當(dāng)所采用的數(shù)據(jù)長(zhǎng)度達(dá)到2 s時(shí)，屏幕與Hololens誘發(fā)的SSVEP識(shí)別正確率無(wú)顯著差異，均達(dá)到很高水平。

筆者在實(shí)驗(yàn)中選取了紅色閃爍誘發(fā)SSVEP信號(hào)，選取紅色是因?yàn)镠ololens設(shè)備顯示方式不同于液晶顯示器，液晶顯示器在刷新畫(huà)面時(shí)同時(shí)刷新每個(gè)像素的三原色(red, green, blue, RGB)值，而Hololens設(shè)備采用三原色加背景光(red, green, blue, white, RGBW)輪流刷新的方式呈現(xiàn)畫(huà)面，這使得如果使用白色正弦閃爍刺激，實(shí)際產(chǎn)生的將是RGBW等4種顏色正弦刺激相差π/2依次閃爍的疊加，只有采用單元色閃爍刺激才能避免這種情況，誘發(fā)出期望的SSVEP信號(hào)。各個(gè)原色中紅色最先刷新，與時(shí)間同步信息發(fā)送時(shí)間最接近，故選擇紅色閃爍刺激。

筆者認(rèn)為可以通過(guò)以下兩方面努力進(jìn)一步提升AR-BCI系統(tǒng)的信息傳輸速率。一方面，采用更好的AR設(shè)備。在顯示性能方面，Hololens存在可呈現(xiàn)畫(huà)面的視角范圍小(約32°)、刷新速率低(60 fps)且穩(wěn)定性不足、RGBW依次刷新等問(wèn)題，在時(shí)間同步方面，Hololens只能采用無(wú)線網(wǎng)絡(luò)實(shí)現(xiàn)與腦電采集設(shè)備的通信，時(shí)間延遲較大、且不穩(wěn)定，難以準(zhǔn)確截取腦電數(shù)據(jù)，此外其質(zhì)量較大，用戶體驗(yàn)不佳。采用呈現(xiàn)畫(huà)面視角范圍較大，刷新速率高且穩(wěn)定，各原色同時(shí)刷新且能夠通過(guò)有線傳輸時(shí)間同步信息的AR設(shè)備，將有望提升AR-BCI系統(tǒng)誘發(fā)更穩(wěn)定的SSVEP信號(hào)的能力。另一方面，當(dāng)前AR-SSVEP相較屏幕上的SSVEP系統(tǒng)仍有較大差距，其中一個(gè)重要因素就是AR-BCI中用戶會(huì)受到背景環(huán)境的干擾。通過(guò)算法上的改進(jìn)，提高在復(fù)雜、混亂背景中識(shí)別SSVEP信號(hào)的能力，也將是提升AR-BCI系統(tǒng)的識(shí)別正確率和信息傳輸速率的重要途徑。

4 結(jié)論

本研究總結(jié)了AR-BCI相關(guān)研究，并設(shè)計(jì)了一種基于Hololens的AR-BCI在線系統(tǒng)。AR技術(shù)與BCI技術(shù)相融合可以在一定程度上解決當(dāng)前BCI系統(tǒng)的便攜性問(wèn)題。本研究采用微軟Hololens AR設(shè)備構(gòu)建了一種基于SSVEP的AR-BCI系統(tǒng)。參與實(shí)驗(yàn)的12名被試可以在AR情境中成功誘發(fā)明顯的SSVEP，且利用1 s的數(shù)據(jù)長(zhǎng)度可以達(dá)到平均88.67%(78%～100%)的在線識(shí)別正確率，采用2 s長(zhǎng)的數(shù)據(jù)可以達(dá)到98.6%的平均在線識(shí)別正確率。該研究表明，AR-BCI能夠?qū)崿F(xiàn)較高的正確率和速率，有望實(shí)現(xiàn)在日常生活中實(shí)現(xiàn)可穿戴的便攜化高性能控制型BCI系統(tǒng)。