基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機接口元素尺寸和間距工效學研究

牛亞峰 王佳浩 伍金春 薛澄岐 楊文駿

①(東南大學機械工程學院 南京 211189)

②(飛行器控制一體化技術國防科技重點實驗室 西安 710018)

1 引言

腦機接口(Brain-Computer Interface, BCI)是一種測量中樞神經系統(tǒng)活動并將其轉換為人工輸出的系統(tǒng)，可替代、恢復、增強、補充或改善中樞神經系統(tǒng)的自然輸出，從而改變中樞神經系統(tǒng)與其外部或內部環(huán)境之間的持續(xù)交互作用，故對BCI的研究使得人體與外界的交互形式增多，利于提升殘障人士的生活福祉。當前，BCI研究領域的關注點主要在以下3個方面：創(chuàng)新信號采集硬件、優(yōu)化信號處理、探索應用場景等[1]。在創(chuàng)新信號采集硬件上，Lee等人[2]報告了可以自主執(zhí)行神經傳感和電微刺激的無線聯(lián)網與供電電子微芯片，實現(xiàn)了單獨電極的靈活放置。Afanasenkau等人[3]提出了一種軟生物電子植入物的快速原型制作技術，可以快速印刷柔軟的生物相容性材料，用于需要定制電極陣列的原型設計。在優(yōu)化信號處理上，Sani等人[4]開發(fā)了優(yōu)先子空間識別PSID，是一種對神經活動進行建模的算法，同時對其行為相關的動態(tài)進行分離和優(yōu)先排序。羅志增等人[5]提出一種結合腦功能網絡和樣本熵的特征提取方法，實現(xiàn)了更優(yōu)的左右手運動想象分類效果。徐寶國等人[6]提出了一種基于小波分析和AR模型的腦電信號特征提取方法，為在線BCI系統(tǒng)的研究提供了新的思路。吳明權等人[7]針對單通道腦電提出一種基于長時差分振幅包絡與小波變換的眼電干擾自動分離方法，能夠高效地檢測出幾乎所有的眼電偽跡和大強度的其他偽跡。高諾等人[8]針對腦卒中開發(fā)了基于腦機接口技術的上下肢康復系統(tǒng)，有效解決了傳統(tǒng)康復療法中存在被動介導的問題。在探索應用場景上，Li等人[9]為腦控移動機器人開發(fā)了一個魯棒的非線性預測控制器，提高了系統(tǒng)的整體性能。Willett等人[10]開發(fā)了一種皮層內BCI，解碼來自運動皮層神經活動的手寫動作嘗試，并將其實時轉換為文本。Moses等人[11]從癱瘓失語的患者運動皮層活動中解碼出完整句子。

典型BCI系統(tǒng)根據(jù)腦電來源不同，有運動想象[12]、穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visual Evoked Potential, SSVEP)[13]、P300[14]等種類。其中基于SSVEP的BCI比運動想象準確度高，比P300輸出指令快[15]，故其泛用性更好，本文選擇基于SSVEP的BCI系統(tǒng)作為研究對象。

SSVEP是視覺刺激誘發(fā)的枕葉相應的腦電活動[16]。刺激呈現(xiàn)是SSVEP-BCI的關鍵環(huán)節(jié)[17]，刺激呈現(xiàn)方式有光源(LED燈、熒光燈和氙氣燈等)和屏幕(CRT和LCD等)[18]，因顯示器具有顯示內容高自由度的特征，使用屏顯刺激的SSVEP-BCI被廣泛開發(fā)。SSVEP-BCI的屏顯刺激范式可以分為3類：(1)簡單閃爍刺激：單個刺激元素在屏幕上的出現(xiàn)和消失[19]；(2)圖形模式反轉刺激：例如棋盤格，模式反轉刺激可以誘發(fā)更明顯的腦電響應[20]；(3)明暗刺激：刺激元素在深色與淺色之間切換，兩種顏色的明度需要有明顯的對比，例如紅色與黑色[21]。目前SSVEP-BCI已應用在輸入法[22]、射擊游戲[23]、虛擬小車[24]，智能輪椅[25]等場景。

目前，對于使用屏幕呈現(xiàn)刺激的SSVEP-BCI，研究中尚缺乏統(tǒng)一、規(guī)范的界面設計標準。如任泓錦等人[26]的實驗界面中，使用了5cm×10.5cm和5cm×8.1cm兩種元素尺寸；李鵬海等人[27]報告了一種元素尺寸為2.7 cm×2 cm的SSVEP撥號鍵盤。陳景霞等人[28]設計的游戲則以8×8的矩陣將界面元素充滿整個屏幕。從人機交互的工效學角度出發(fā)，對交互界面的研究能提升交互系統(tǒng)的效率和用戶體驗[29]，但目前對SSVEP-BCI刺激界面的工效學研究尚不充分。例如Ng等人[30]認為刺激元素間距在視角5°以下性能不佳；Ravi等人[31]認為刺激元素間距離與SSVEP解碼性能之間存在正相關；而Duszyk等人[32]研究發(fā)現(xiàn)，元素尺寸對SSVEP有線性影響，SSVEP功率隨著元素尺寸的增大而增加，在視角5°以下，刺激間距對SSVEP沒有影響。

本文針對SSVEP-BCI屏顯界面刺激元素的尺寸和間距進行了量化的工效學實驗，旨在探究操作效率和用戶體驗較優(yōu)的界面元素尺寸和間距范圍，并提出以下假設：

(1)刺激元素的尺寸對識別效率有影響，更大的尺寸會有更高的識別效率。

(2)刺激元素的間距對識別效率有影響，更大的間距會有更高的識別效率。

(3)刺激元素的尺寸和間距對用戶體驗有影響，更大的尺寸和間距會有更高的用戶滿意度。

2 實驗設計

2.1 受試者

20名東南大學學生參與了本次實驗。受試者年齡介于22～26歲，平均年齡為23.95歲，年齡標準差為1.19。所有受試者的裸眼或矯正視力均達到4.8以上，且無眼部或腦部疾病。

2.2 實驗設備與環(huán)境

本實驗使用Brain Products actiCHamp腦電放大器以及easyCap腦電帽，配備61 cm1920px×1080px分辨率、60Hz刷新率LCD顯示器的Windows10系統(tǒng)臺式計算機。本實驗采用O1, O2電極作為腦電輸入通道，腦電信號處理使用了開源工具OpenViBE[33]，使用共空間模式算法對腦電信號進行特征提取，將刺激頻率基頻和二倍頻處的振幅作為特征指標。實驗刺激呈現(xiàn)界面使用Unity開發(fā)，并通過VRPN接口與OpenViBE進行通信。本實驗在光照適宜，氣溫恒定舒適的環(huán)境下開展，且周圍沒有干擾受試者的人員或聲音，實驗場景如圖1所示。

2.3 刺激材料和實驗流程

本實驗使用的界面分辨率為1920px×1080px，界面背景為深灰色RGB(85, 85, 85)，深灰色可以保護受試者的眼睛，減少眼部疲勞。界面上4個不同頻率的刺激元素分別位于界面的上、下、左、右，圖形中心與界面中心橫向或縱向對齊。刺激顏色使用了紅黑交替(紅：RGB 255, 0, 0；黑：RGB 0, 0, 0)，刺激頻率分別為f1=8.57 Hz，f2=10 Hz，f3=12 Hz，f4=15 Hz。刺激元素的尺寸和間距兩個因素分別設置3個水平，因素1為尺寸即正方形邊長，分為100px，150px，200px3個水平；因素2為間距即元素中心與界面中心的垂直/水平距離，分為400px/800px，300px/600px，200px/400px3個水平。刺激元素界面設計如圖2所示。本實驗因變量為試次的完成時和失敗次數(shù)。

腦電實驗開始前，受試者被要求洗頭以去除頭皮油脂，并嚴格吹干頭發(fā)。實驗過程中受試者正坐在屏幕前，背靠椅子，手自然放松置于腿上，保持身體固定。受試者眼睛距離屏幕中心約為65cm，受試者對屏幕的垂直視角約為25.9°，水平視角約為44.5°。為了更好地注視刺激元素，受試者僅頭部的輕微轉動被允許。正式實驗前，BCI系統(tǒng)會采集受試者在尺寸200px、間距300px/600px水平下注視4個不同頻率目標的腦電信號，進行特征提取訓練。預實驗共20個試次，若腦電信號的頻域特征不明顯(即腦電頻譜圖中在刺激的基頻和倍頻處沒有明顯波峰)，則排除該受試者。

圖1 實驗場景

圖2 刺激元素界面設計

正式實驗中的任意一個試次的實驗流程為：第1步，界面中心出現(xiàn)“+”，提醒受試者試次開始，受試者需要注視界面中心的“+”，1000 ms后跳轉到下一步。第2步，呈現(xiàn)4個刺激元素，界面中心出現(xiàn)指示箭頭。受試者根據(jù)箭頭指示注視目標刺激元素，系統(tǒng)識別成功后記錄完成時并跳轉到下一步，每個試次設置8 s超時，箭頭外圍為環(huán)形倒計時進度條；若8 s內識別不成功則跳轉到下一步，記錄完成時為8s并計入失敗次數(shù)。第3步，實驗界面框選顯示識別結果，白色指示線框在目標刺激元素上說明識別成功，否則失敗，結果呈現(xiàn)500 ms后跳轉到下一步。第4步，界面呈現(xiàn)深灰色空屏，持續(xù)時長為1000 ms，此步驟用于消除受試者的視覺殘留。當前試次結束后進入下一個試次，每3個水平之間休息一次，整個實驗休息兩次，9個水平之間隨機呈現(xiàn)，直至整個實驗結束。在本實驗中，每個水平進行20個試次，即每個頻率的刺激元素作為目標5次，整個實驗共計180個試次，實驗過程大約持續(xù)40 min。單個試次的實驗流程如圖3所示。

2.4 參數(shù)設置依據(jù)

刺激顏色：根據(jù)Li等人[34]的研究，紅色會帶來更好的SSVEP響應，所以本實驗界面元素的刺激顏色使用紅色RGB(255,0,0)。與之對應地，使用明度最低的黑色作為輔助色。

刺激頻率：因為本實驗使用的顯示器刷新率為60Hz，且刺激元素閃爍頻率需為顯示器刷新率的因數(shù)，故本實驗中使用的4個頻率為f1=8.57 Hz，f2=10 Hz，f3=12 Hz，f4=15 Hz。

元素尺寸：4cm是目前SSVEP刺激元素邊長的常用值[35,36]，換算到本實驗的顯示器上約為150px，本實驗設置邊長梯度為50px，故在本實驗中刺激元素邊長的3個水平分別為100px，150px和200px。

元素布局：對于4個元素有2×2矩陣和上、下、左、右兩種常見的布局方式。根據(jù)人的雙眼視域特征及常用顯示器的比例，采用橫向較寬的布局形式更貼近實際[37]；而人眼和頭部在橫向、縱向的移動比斜向更簡便[38]，Zambalde等人[39]的研究也表明十字布局比矩陣布局帶來更高的識別準確度，所以本實驗將4個元素進行上、下、左、右且橫向更寬的布局。

元素間距：需要保證最大限度利用界面尺寸，同時，元素間距取最小值時元素圖形不發(fā)生干涉。在綜合考慮了這兩個條件后，本實驗中元素間距的梯度設置為縱向100px/橫向200px，間距的3個水平分別為垂直方向：200px，300px和400px；水平方向：400px，600px和800px。

2.5 實驗結果與分析

圖3 單個試次實驗流程圖

完成時指1個試次中刺激元素呈現(xiàn)到BCI系統(tǒng)識別成功的時間。失敗次數(shù)指在每個界面的實驗中識別超時失敗的試次數(shù)。工效學實驗結果為：(1)尺寸100px下的200px/400px，300px/600px，400px/800px3種間距的平均完成時分別為4.61s，4.65s，4.56s，總失敗次數(shù)分別為55，55，50。(2)尺寸150px下的200px/400px，300px/600px，400px/800px3種間距的平均完成時分別為4.52s，4.51s，4.34s，總失敗次數(shù)分別為48，46，36。(3)尺寸200px下的200px/400px，300px/600px，400px/800px 3種間距的平均完成時分別為4.41 s，4.36 s，4.37 s，總失敗次數(shù)分別為41，27，41。

2.5.1 完成時統(tǒng)計分析

以尺寸作為因子，對完成時進行正態(tài)性檢驗，p=0.00＜0.05，故以尺寸分組的完成時數(shù)據(jù)不符合正態(tài)分布，不能進行參數(shù)檢驗。以尺寸為分組變量，對完成時進行非參數(shù)檢驗中的K-W檢驗，p=0.003＜0.05，說明刺激元素尺寸變化對完成時有顯著影響。以間距作為因子，對完成時進行正態(tài)性檢驗，p=0.00＜0.05，故以間距分組的完成時數(shù)據(jù)不符合正態(tài)分布，不能進行參數(shù)檢驗。以間距為分組變量，對完成時進行K-W檢驗，p=0.261＞0.05，說明刺激元素間距變化對完成時沒有顯著影響。為檢驗兩個因素(尺寸、間距)的交互作用，對9組完成時數(shù)據(jù)進行Friedman檢驗，p=0.001＜0.05，說明兩個因素的交互作用對完成時有顯著影響。

在尺寸為100px，150px，200px的3個水平下，完成時平均值分別為4.60s，4.46s，4.38s，可見在本實驗取值范圍內，刺激元素的尺寸越大完成時越短，在本實驗中200px的尺寸水平帶來最高的識別效率。不同尺寸水平的完成時箱線圖如圖4所示。

對于3個不同的間距水平，如圖5所示，在間距為200px/400px和300px/600px的兩個水平下，隨著尺寸增加，完成時平均值呈下降趨勢，而在間距為400px/800px水平下，尺寸為150px和200px水平的完成時平均值基本相等(4.34s和4.37s)。

2.5.2 失敗次數(shù)統(tǒng)計分析

圖4 不同尺寸水平的完成時箱線圖

以尺寸和間距為因子，對失敗次數(shù)進行雙因素ANOVA分析，尺寸p=0.07＜0.1，間距p=0.69＞0.05，尺寸×間距p=0.73＞0.05，即刺激元素尺寸對失敗次數(shù)的影響邊緣顯著，元素間距及兩個因素的交互作用對失敗次數(shù)無顯著影響。在尺寸為100px，150px，200px的3個水平下，總失敗次數(shù)平均值為51次，41.3次，34.3次，可見在本實驗取值范圍內，刺激元素的尺寸越大失敗次數(shù)越少。不同尺寸水平的失敗次數(shù)箱線圖如圖6所示。

對于3個不同的間距水平，如圖7所示，在間距為200px/400px和300px/600px的兩個水平下，隨著尺寸增加，每個水平的總失敗次數(shù)呈下降趨勢，而在間距為400px/800px水平下，尺寸為200px水平的總失敗次數(shù)比150px水平有所回升。

3 用戶主觀評價

圖5 不同尺寸水平的完成時平均值折線圖

圖6 不同尺寸水平的失敗次數(shù)箱線圖

圖7 不同尺寸水平的失敗次數(shù)折線圖

為了量化各個界面的用戶體驗，本研究采用了ISO 9241可用性標準中對“滿意度”的定義：工作系統(tǒng)的用戶和受其使用影響的人的舒適性和可接受度。舒適度和可接受度越高說明界面的用戶滿意度越高[40]。做完實驗后，20名受試者被要求分別對9個界面(如圖2)的舒適度和可接受度進行主觀評價，采用李克特7級量表評分，即每份問卷18個問題，共20份問卷，360個問題，對結果進行信度分析，克龍巴赫α=0.866，說明本問卷信度較高。

主觀評價結果為：(1)尺寸100px下的200px/400px，300px/600px，400px/800px 3種間距的舒適度平均分分別為4.50，5.45，4.30，可接受度平均分分別為4.35，4.95，4.55。(2)尺寸150px下的200px/400px，300px/600px，400px/800px 3種間距的舒適度平均分分別為3.55，5.25，4.50，可接受度平均分分別為3.65，5.30，4.95。(3)尺寸2 0 0 p x 下的2 0 0 p x/4 0 0 p x，3 0 0 p x/6 0 0 p x，400px/800px 3種間距的舒適度平均分分別為2.95，4.50，4.50，可接受度平均分分別為3.00，4.90，4.95。

以尺寸、間距為因子分別對舒適度評分和可接受度評分進行重復測量方差分析。分析發(fā)現(xiàn)，間距對舒適度評分有顯著影響(p=0.00＜0.05)，對可接受度評分也有顯著影響(p=0.001＜0.05)；尺寸對舒適度評分沒有顯著影響(p=0.11＞0.05)，對可接受度評分也沒有顯著影響(p=0.13＞0.05)。

如圖8所示，在尺寸為100px和150px的兩個水平下，隨著間距增大，舒適度評分先升高后下降，間距為300px/600px時評分最高。而在尺寸為200px水平下，400px/800px間距舒適度評分的平均分(4.50分)與300px/600px間距相等(4.50分)。

如圖9所示，在尺寸為100px和150px的兩個水平下，隨著間距增大，可接受度評分先升高后下降，間距為300px/600px時評分最高。而在尺寸為200px水平下，400px/800px間距可接受度評分的平均分(4.95分)與300px/600px間距基本相等(4.90分)。

圖8 不同間距水平的舒適度評價結果折線圖

間距對兩個指標都有顯著影響，而尺寸沒有，即實驗因素(間距、尺寸)分別對主觀評價的兩個指標(舒適度、可接受度)的影響趨勢是一致的。根據(jù)“滿意度”的定義，對舒適度和可接受度各賦50%權重，計算最終的滿意度得分。如圖10所示，在尺寸為100px和150px的兩個水平下，隨著間距增大，滿意度先升高后下降，間距為300px/600px時得分最高。而在尺寸為200px水平下，400px/800px間距滿意度得分(4.73分)與300px/600px間距基本相等(4.70分)。

4 討論

本實驗旨在探究基于SSVEP的BCI系統(tǒng)界面刺激元素尺寸和間距對識別效率及用戶舒適度與可接受度的影響，之前鮮有文獻關注BCI界面的工效學研究。

本次實驗的結果表明，對于屏顯刺激的方式，刺激元素的尺寸大小對SSVEP的識別效率有顯著影響，且在本實驗范圍內尺寸越大效率越高，與假設1以及Duszyk等人[32]的研究結論相符?？赡芨竺娣e的光刺激會引發(fā)更明顯的腦電反應，此外根據(jù)瞿玨等人[41]的研究，在視覺搜索中交互項目面積增大能使受試者反應時間減小，而本實驗中的完成時記錄了試次開始到識別成功的時間，其中包含了受試者的視覺搜索階段，所以元素尺寸對BCI系統(tǒng)效率的增益可能與此有關。

圖9 不同間距水平的可接受度評價結果折線圖

圖10 不同間距水平的滿意度得分折線圖

識別效率整體隨著尺寸增大呈增高的趨勢，但在400px/800px間距水平下，200px的尺寸水平識別效率比150px較差，這與假設1有所不同，但此間距水平下200px尺寸的完成時平均值和失敗次數(shù)沒有高于其他間距水平的結果，沒有影響整體趨勢。大間距需要受試者進行頭部運動以更好地完成注視，運動信號會干擾到SSVEP的識別，出現(xiàn)這個結果可能因為干擾放大了實驗結果的隨機性，仍可以從圖5和圖7看出150px和200px尺寸水平的實驗結果顯著好于100px尺寸水平。

與假設2以及Ravi等人[31]的研究結論不同的是，元素間距對BCI識別效率并沒有顯著影響。在目標搜索過程中會發(fā)生凝視-掃視-凝視的瀏覽路徑[42]，在本實驗中，因為屏幕中心有箭頭指向提示，且界面布局簡單清晰、目標明顯，可能因此導致受試者在大間距組別的掃視時間被元素間距的影響不顯著。而小間距對于系統(tǒng)準確率也沒有影響，根據(jù)目前的SSVEP鍵盤[43]布局間距推測，這可能與本實驗的界面中設置的最小元素間距仍不會對視覺產生強烈的干擾有關。

主觀評價的結果表明，本次實驗設置的最小元素間距對系統(tǒng)性能沒有造成明顯差異，但對用戶滿意度產生了負面影響，這說明視野中出現(xiàn)較為緊湊的不同功能鍵會讓SSVEP-BCI使用者減少信心。而最大間距的滿意度有所下降，這與假設3不同，可能因為更大的元素間距需要受試者耗費更多的體力(轉動頭部)，才能完成視野中心的注視，尤其是在腦電實驗的背景下，本實驗使用的腦電帽采用有線連接，對頭部運動有所牽制，導致受試者舒適度下降。

對于200px尺寸水平，最大間距沒有導致用戶滿意度得分下降，這可能與邊長為200px的刺激元素面積較大，在最大間距下界面布局比例和諧美觀有關，大面積的刺激元素相較小面積刺激元素削弱了受試者對間距增大所增加的掃視負擔的感知。

對于SSVEP-BCI的另外兩種屏顯刺激范式：簡單閃爍刺激本質是明暗刺激(本文的實驗范式)的一種特定情況，即明暗刺激的暗色與背景色相同；而圖形模式反轉刺激本質是集合了多個明暗刺激單元，同時通過反相，令各單元閃爍的明暗階段不同，以達到使刺激頻率比明暗刺激翻倍的效果。此兩種范式的核心依然是明暗刺激，所以，對于明暗刺激元素的工效學研究結論是可以推廣應用的。

5 結束語

本研究的結論為：(1)在本實驗尺寸的取值范圍內(100px，150px，200px)，界面元素尺寸越大，完成時越短，失敗次數(shù)越少，系統(tǒng)識別效率越高，邊長尺寸為200px的刺激元素識別效率最高。元素間距對識別效率沒有影響。(2)元素間距對用戶滿意度有顯著影響，刺激元素的緊湊(200px/400px)或疏遠(400px/800px)都會導致滿意度的下降，300px/600px的刺激元素間距設置帶來相對更好的用戶滿意度，尺寸對用戶滿意度沒有顯著影響。這項研究的結論可以為SSVEP-BCI界面設計提供一定的參數(shù)設計依據(jù)，也有望向更具體的SSVEPBCI應用程序或互動娛樂產品等形式推廣。本研究存在一些局限，后續(xù)研究中可以嘗試更多的刺激元素布局形式(例如矩陣)和元素形狀(例如圓形)；此外，有具體意義的操作任務需要被引入到下一步的實驗中。