采用最小二乘轉(zhuǎn)換的在線SSVEP字符輸入系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李振華，劉 柯，鄧 欣

(重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065)

0 引 言

腦機(jī)接口(brain computer interface，BCI)技術(shù)為大腦和外部設(shè)備之間構(gòu)建直接的通信與控制路徑[1]，在殘疾人應(yīng)用領(lǐng)域具有重要的研究意義[2-3]。穩(wěn)態(tài)視覺誘發(fā)電位(steady state visual evoked potentials，SSVEP)是外界固定頻率視覺刺激在大腦視覺皮層誘發(fā)的與刺激頻率有關(guān)(刺激頻率的基頻或倍頻)的連續(xù)響應(yīng)[4]。由于高信息傳輸率(information transfer rate，ITR)、魯棒性、較短訓(xùn)練時(shí)間和特征易于提取等優(yōu)點(diǎn)，SSVEP信號(hào)在BCI領(lǐng)域獲得廣泛應(yīng)用[5]。

SSVEP-BCI系統(tǒng)的性能取決于刺激目標(biāo)數(shù)目和頻率識(shí)別算法[6]。SSVEP頻率識(shí)別算法可分為無訓(xùn)練和有訓(xùn)練頻率識(shí)別算法。常見無訓(xùn)練頻率識(shí)別算法包括典型相關(guān)分析(canonical correlation analysis，CCA)[7]、濾波器組CCA(filter bank canonical correlation analysis，F(xiàn)BCCA)[6]、融合典型系數(shù)CCA(fusing canonical coefficients of canonical correlation analysis，F(xiàn)oCCA)[8]等。這些方法不需要訓(xùn)練數(shù)據(jù)即可實(shí)現(xiàn)在線SSVEP-BCI系統(tǒng)。如趙麗等[9]設(shè)計(jì)的基于雙層刺激的字符輸入系統(tǒng)，用戶注視目標(biāo)字符5 s，利用FBCCA算法對(duì)采集的腦電(electroencephalogram，EEG)信號(hào)實(shí)現(xiàn)在線識(shí)別，平均準(zhǔn)確率和ITR分別為95.8%和156 bit/min。雖然無訓(xùn)練SSVEP頻率識(shí)別算法有效避免了在線訓(xùn)練過程，但難以滿足SSVEP-BCI系統(tǒng)的實(shí)時(shí)性需求。

為進(jìn)一步提高頻率識(shí)別的準(zhǔn)確性，研究者們提出了基于受試者個(gè)體模板信號(hào)或者訓(xùn)練數(shù)據(jù)的有訓(xùn)練SSVEP頻率識(shí)別算法，如基于個(gè)體模板的CCA(individual template based canonical correlation analysis，IT-CCA)[10]、擴(kuò)展CCA(extended canonical correlation analysis，Extended CCA)[11]、相關(guān)分量分析(correlated components analysis，CORRCA)[12]、最大信號(hào)分量分析(maximum signal fraction analysis，MSFA)[13]等。這些方法利用受試者個(gè)體訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)了更高準(zhǔn)確率的SSVEP-BCI系統(tǒng)，如文獻(xiàn)[14]利用干電極先采集10組EEG信號(hào)作為訓(xùn)練數(shù)據(jù)，然后利用TRCA進(jìn)行1 s腦電信號(hào)識(shí)別，平均準(zhǔn)確率和ITR分別為93.2%和92.4 bit/min等。雖然有訓(xùn)練數(shù)據(jù)SSVEP頻率識(shí)別算法取得較高的準(zhǔn)確率和ITR，但受試者需花費(fèi)大量時(shí)間和精力進(jìn)行在線訓(xùn)練數(shù)據(jù)的采集。

遷移學(xué)習(xí)(transfer learning，TL)找到現(xiàn)有知識(shí)和新知識(shí)的相似性，并運(yùn)用現(xiàn)有的知識(shí)去學(xué)習(xí)新知識(shí)[15]。遷移學(xué)習(xí)的主要思想是從相關(guān)領(lǐng)域中遷移知識(shí)結(jié)構(gòu)或標(biāo)注數(shù)據(jù)、完成或改進(jìn)目標(biāo)域的學(xué)習(xí)效果，可用于圖像分類、情感分類、自動(dòng)化設(shè)計(jì)、BCI等眾多領(lǐng)域。遷移學(xué)習(xí)在SSVEP-BCI系統(tǒng)中常用來解決樣本數(shù)據(jù)不足的難題，常見應(yīng)用場(chǎng)景包括跨會(huì)話(cross-session)遷移學(xué)習(xí)、跨被試(cross-subject)遷移學(xué)習(xí)、跨任務(wù)(cross-task)遷移學(xué)習(xí)和跨設(shè)備(cross-divice)遷移學(xué)習(xí)。其中，跨會(huì)話和跨被試遷移學(xué)習(xí)是當(dāng)前的研究熱點(diǎn)[16]。

針對(duì)上述問題，本文利用遷移學(xué)習(xí)思想，提出了基于最小二乘轉(zhuǎn)換(least squares transformation，LST)的SSVEP在線字符輸入系統(tǒng)，在需要少量訓(xùn)練樣本和較短訓(xùn)練時(shí)間的同時(shí)，實(shí)現(xiàn)具有較高準(zhǔn)確率和ITR的SSVEP頻率識(shí)別，并在實(shí)際系統(tǒng)中驗(yàn)證了該方法的有效性，實(shí)現(xiàn)了高效的SSVEP在線字符輸入系統(tǒng)。

1 系統(tǒng)框架

基于SSVEP的在線字符輸入系統(tǒng)包括4個(gè)模塊：視覺刺激模塊、信號(hào)采集模塊、信號(hào)處理模塊和字符輸入模塊[9]。視覺刺激模塊由40個(gè)不同頻率的刺激目標(biāo)組成，頻率為8～15.8 Hz；信號(hào)采集模塊由德國(guó)Brain products公司的ActicHamp腦電儀和32通道AgCl電極進(jìn)行數(shù)據(jù)記錄；信號(hào)處理模塊結(jié)合跨被試離線訓(xùn)練數(shù)據(jù)和少量在線訓(xùn)練數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)，并用FoMSFA頻率識(shí)別算法和多頻率學(xué)習(xí)技術(shù)進(jìn)行腦信號(hào)的在線分類；字符輸入模塊將識(shí)別的字符實(shí)時(shí)顯示在視覺刺激器上反饋給用戶。

1.1 視覺刺激器

目前常用的視覺刺激器有2種設(shè)計(jì)方法：①在硬件電路中使用單片機(jī)控制發(fā)光裝置的閃爍頻率；②通過計(jì)算機(jī)軟件控制顯示器上的圖像閃爍頻率進(jìn)行刺激。本文使用后者進(jìn)行40目標(biāo)視覺刺激界面的設(shè)計(jì)。

本文使用混合頻率和相位的編碼方法[17]實(shí)現(xiàn)了40目標(biāo)的字符輸入界面，字符輸入界面及頻率和相位值分布如圖1所示。字符輸入界面包括26個(gè)字母、10個(gè)數(shù)字和4個(gè)其他符號(hào)，見圖1a。刺激頻率為8～15.8 Hz，頻率間隔為0.2 Hz；相位值分別為0、0.5π、π和1.5π，見圖1b?；旌项l率和相位編碼的刺激范式表示為

(1)

(1)式中：f表示刺激頻率；τ表示相位；RefreshRate表示屏幕刷新率，本系統(tǒng)為60 Hz；i表示屏幕刷新率的索引序號(hào)。

圖1 字符輸入界面及頻率和相位值分布Fig.1 Character input interface and distribution of frequency and phase values

1.2 信號(hào)采集

ActicHamp設(shè)備和電極通道位置分布如圖2所示。SSVEP信號(hào)通過ActicHamp腦電儀(見圖2 a)和32通道AgCl電極(見圖2 b)進(jìn)行記錄。其中，Cz為參考電極；腦電儀的采樣率為1 000 Hz；各通道電極的阻抗值在15 kΩ以內(nèi)；陷波器用于去除50 Hz工頻噪聲。事件觸發(fā)器通過刺激電腦的并行端口與腦信號(hào)同步。ActicHamp腦電儀對(duì)腦電數(shù)據(jù)放大和濾波等處理，并通過USB接口發(fā)送至記錄電腦。

1.3 信號(hào)處理

該系統(tǒng)用LST方法來遷移學(xué)習(xí)訓(xùn)練集，并使用FoMSFA頻率識(shí)別算法和多頻率學(xué)習(xí)技術(shù)進(jìn)行腦信號(hào)的在線識(shí)別與分類。其中，LST方法用來降低不同被試數(shù)據(jù)之間的特征差異性，可將離線的跨被試數(shù)據(jù)訓(xùn)練為在線訓(xùn)練數(shù)據(jù)；多頻率學(xué)習(xí)技術(shù)利用頻率的特征相似性來聯(lián)合學(xué)習(xí)空間濾波器，也可有效解決訓(xùn)練樣本不足的難題；在線字符輸入系統(tǒng)的解析算法FoMSFA是主流的腦電分類算法，可快速準(zhǔn)確地識(shí)別用戶的腦電指令。

圖2 ActicHamp設(shè)備和電極通道位置分布Fig.2 ActicHamp equipment and channel position distribution of electrodes

1.4 字符輸入

字符輸入系統(tǒng)對(duì)在線腦電信號(hào)處理完畢后，可得到用戶注視目標(biāo)的頻率，并將其對(duì)應(yīng)的字符顯示在刺激界面，實(shí)時(shí)反饋給用戶，如圖3所示。

圖3 在線字符輸入Fig.3 Online character input

2 信號(hào)處理

已有的研究證明，枕葉和頂葉區(qū)域?qū)SVEP信號(hào)貢獻(xiàn)最大[18]，本文提取了對(duì)應(yīng)區(qū)域8個(gè)通道(P7，P3，Pz，P4，P8，O1，Oz和O2)的SSVEP信號(hào)進(jìn)行識(shí)別分類。腦電信號(hào)處理流程包括預(yù)處理、特征提取和特征分類階段：預(yù)處理階段通過濾波去除相關(guān)噪聲和偽跡，提高腦電信號(hào)的信噪比；特征提取與分類階段先結(jié)合跨被試離線訓(xùn)練數(shù)據(jù)(2名受試者分別采集6組SSVEP數(shù)據(jù))和在線訓(xùn)練數(shù)據(jù)(用戶采集2組訓(xùn)練數(shù)據(jù))，用LST方法來遷移學(xué)習(xí)訓(xùn)練集；再用FoMSFA頻率識(shí)別算法和多頻率學(xué)習(xí)技術(shù)實(shí)現(xiàn)腦信號(hào)的在線識(shí)別與分類。系統(tǒng)識(shí)別指令通過字符輸出在計(jì)算機(jī)屏幕上實(shí)時(shí)反饋給用戶。系統(tǒng)工作流程如圖4所示。

圖4 系統(tǒng)流程圖Fig.4 Flowchart of proposed system

2.1 信號(hào)預(yù)處理

腦電信號(hào)非常微弱且易受污染，可能摻雜眼電、心電、肌電等一系列偽跡，預(yù)處理階段可進(jìn)一步提升腦電信號(hào)的質(zhì)量。本文先將EEG信號(hào)降采樣為250 Hz，然后用4階Butterworth濾波器進(jìn)行7～90 Hz的帶通濾波處理?？紤]到視覺延遲，提取[T+0.14，T+0.14+0.8] s的SSVEP信號(hào)參與頻率識(shí)別，其中T為刺激開始時(shí)事件觸發(fā)器對(duì)應(yīng)的時(shí)間點(diǎn)，0.14 s表示視覺延遲，0.8 s表示參與頻率識(shí)別的腦電數(shù)據(jù)。

2.2 特征提取和分類

2.2.1 最小二乘轉(zhuǎn)換

基于有訓(xùn)練頻率識(shí)別算法的SSVEP-BCI系統(tǒng)中，訓(xùn)練數(shù)據(jù)不足是長(zhǎng)期存在的難題。本研究用LST方法完成跨被試遷移學(xué)習(xí)[19]，只需采集少量在線訓(xùn)練數(shù)據(jù)，對(duì)來自其他受試者的離線數(shù)據(jù)進(jìn)行學(xué)習(xí)和轉(zhuǎn)換，可有效解決訓(xùn)練數(shù)據(jù)不足的難題[20]。

本文分別選擇了2個(gè)受試者的離線數(shù)據(jù)和2組在線訓(xùn)練數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)轉(zhuǎn)換。第m個(gè)刺激頻率對(duì)應(yīng)的離線和在線訓(xùn)練數(shù)據(jù)分別為Om∈RNc×Ns×Noff和Xm∈RNc×Ns×Non(m=1,2,…,Nf)，其中，Nf、Nc和Ns分別表示刺激目標(biāo)數(shù)、通道數(shù)和采樣點(diǎn)數(shù)；Noff和Non分別表示離線和在線訓(xùn)練數(shù)據(jù)的組數(shù)。

(2)

(3)

(4)

圖5 LST算法流程Fig.5 Procedure of LST algorithm

2.2.2FoMSFA頻率識(shí)別算法

實(shí)驗(yàn)假設(shè)測(cè)量信號(hào)X包括信號(hào)Xs∈RNc×Ns和噪聲Xn∈RNc×Ns，且X=Xs+Xn。FoMSFA方法評(píng)估空間濾波器w∈RNc×1表示為

(5)

若對(duì)于任意空間濾波器wi和wj(i≠j=1,2,…,Nc)，均滿足wiTXsXsTwj=0，(5)式可進(jìn)一步轉(zhuǎn)換為

XsXsTw=ηXnXnTw

(6)

(6)式中，任意ηi(i=1,2,…,Nc)是特征值，與特征向量wi相對(duì)應(yīng)。特征值η=[η1,η2,…,ηNc]T∈RNc×1和特征向量W=[w1,w2,…,wNc]T∈RNc×Nc可通過MATLAB函數(shù)eig()進(jìn)行求解，即[W,η]=eig(XsXsT,XnXnT)。Nc個(gè)特征值降序排列，與特征向量一一對(duì)應(yīng)。

(7)

(7)式中，corr函數(shù)用于計(jì)算2個(gè)數(shù)據(jù)集合的皮爾遜相關(guān)系數(shù)，相關(guān)系數(shù)越接近1表示線性相關(guān)程度越強(qiáng)。

對(duì)Fn個(gè)子帶信號(hào)對(duì)應(yīng)的相關(guān)系數(shù)進(jìn)行頻域加權(quán)融合

(8)

θ=n-1.25+0.25,n=1,2,…,Fn

對(duì)Nc組空間濾波器對(duì)應(yīng)的相關(guān)系數(shù)進(jìn)行空域加權(quán)融合，表示為

ξk=k-2+0,k=1,2,…,Nc

(9)

(9)式中，ρm表示測(cè)試信號(hào)X與第m個(gè)刺激頻率對(duì)應(yīng)訓(xùn)練數(shù)據(jù)的相關(guān)性。同樣，可得到X與Nf個(gè)刺激頻率的相關(guān)系數(shù)(ρ1,ρ2,…,ρNf)。測(cè)試信號(hào)X的最終頻率可通過(10)式識(shí)別得到。

(10)

FoMSFA的算法流程圖如圖6所示。具體算法流程見文獻(xiàn)[21]。

2.2.3 多頻率學(xué)習(xí)方法

40個(gè)刺激頻率分別對(duì)應(yīng)40個(gè)字符(26個(gè)字母、10個(gè)數(shù)字和4個(gè)其他符號(hào))，系統(tǒng)對(duì)實(shí)時(shí)信號(hào)識(shí)別后，該頻率對(duì)應(yīng)字符實(shí)時(shí)地輸出呈現(xiàn)。結(jié)合FoMSFA算法、LST遷移學(xué)習(xí)和多頻率學(xué)習(xí)方法，本文提出了在線字符輸入系統(tǒng)的分類算法Mul-Freq+LST+FoMSFA。

2.3 10受試者公開數(shù)據(jù)集

為了模擬不同在線訓(xùn)練數(shù)據(jù)個(gè)數(shù)對(duì)分類性能的影響，本研究引入了包含10受試者(9名男性，1名女性，平均年齡28歲)的公開數(shù)據(jù)集(https://github.com/mnakanishi/12JFPM_SSVEP)。刺激界面包括12個(gè)目標(biāo) (每個(gè)6 cm×6 cm)，以4×3矩陣作為手機(jī)的虛擬鍵盤，并標(biāo)記不同的頻率(9.25～14.75 Hz)和相位(0、0.5π、π和1.5π)。實(shí)驗(yàn)采用2 048 Hz的采樣率進(jìn)行數(shù)據(jù)記錄，參考電極為Cz。指示視覺刺激開始的事件觸發(fā)器從計(jì)算機(jī)的并行端口發(fā)送到腦電圖系統(tǒng)，并記錄在與腦電圖數(shù)據(jù)同步的事件通道上。根據(jù)刺激程序產(chǎn)生的事件觸發(fā)器，提取覆蓋枕部區(qū)域的八通道的SSVEP數(shù)據(jù)。所有數(shù)據(jù)都被降采樣到256 Hz，然后用IIR濾波器從60～80 Hz進(jìn)行帶通濾波。實(shí)驗(yàn)考慮了0.14 s的實(shí)驗(yàn)延遲，具體見文獻(xiàn)[10]。

圖6 FoMSFA算法流程圖Fig.6 Algorithm flowchart of FoMSFA

3 在線字符輸入系統(tǒng)實(shí)驗(yàn)

3.1 實(shí)驗(yàn)準(zhǔn)備

本文采用Brain products公司的ActicHamp腦電儀和主動(dòng)式電極帽Acticap進(jìn)行數(shù)據(jù)記錄。字符拼寫界面通過心理學(xué)工具箱(Psychtoolbox-3，PTB-3)設(shè)計(jì)實(shí)現(xiàn)。一臺(tái)計(jì)算機(jī)用于視覺刺激呈現(xiàn)和信號(hào)實(shí)時(shí)處理。

實(shí)驗(yàn)開始前，工作人員基于字符輸入界面采集3名受試者的離線SSVEP數(shù)據(jù)。其中，每名受試者的記錄數(shù)據(jù)有6組，每組包括40個(gè)刺激目標(biāo)的0.8 s腦電數(shù)據(jù)。在線字符輸入時(shí)，可從中選出2個(gè)魯棒數(shù)據(jù)集用于在線訓(xùn)練集評(píng)估。

實(shí)驗(yàn)共有15名視力正?；蛐Ｕ５闹驹刚邊⒓?，平均年齡21歲。受試者戴上連接記錄電極的電極帽，安靜地坐在舒適的椅子上，距離視線正前方的計(jì)算機(jī)屏幕60 cm。實(shí)驗(yàn)工作人員使用電極膏將各電極點(diǎn)的阻抗值降低到15 kΩ以下，并調(diào)節(jié)室內(nèi)燈光強(qiáng)度，避免燈光影響刺激界面的展示。實(shí)驗(yàn)首先對(duì)受試者進(jìn)行簡(jiǎn)單的刺激訓(xùn)練，無任何不適反應(yīng)可進(jìn)行后續(xù)實(shí)驗(yàn)流程[23]。

3.2 實(shí)驗(yàn)過程

設(shè)備準(zhǔn)備就緒后，工作人員先和受試者講述實(shí)驗(yàn)流程和注意事項(xiàng)，接著進(jìn)行如下3個(gè)實(shí)驗(yàn)流程。

1)訓(xùn)練階段。在線字符拼寫開始前，本文需采集2組在線SSVEP信號(hào)，每組包含40個(gè)刺激目標(biāo)的訓(xùn)練數(shù)據(jù)。實(shí)驗(yàn)開始后，40個(gè)刺激目標(biāo)中的一個(gè)隨機(jī)變紅0.5 s用于提示受試者轉(zhuǎn)移注意，接著所有刺激目標(biāo)按不同頻率持續(xù)閃爍1 s，最后，屏幕空白0.5 s用于數(shù)據(jù)實(shí)時(shí)讀取和處理。受試者按提示注視對(duì)應(yīng)的刺激目標(biāo)，40個(gè)刺激目標(biāo)變紅和閃爍一輪為一組，2組間隔1 min用于受試者休息。2組訓(xùn)練數(shù)據(jù)采集完畢后，受試者即可開始有提示和無提示字符輸入實(shí)驗(yàn)。

2)有提示字符拼寫。本文隨機(jī)選擇30個(gè)字符有提示呈現(xiàn)。實(shí)驗(yàn)開始后，第1個(gè)字符變紅提示0.5 s，接著所有刺激目標(biāo)按不同頻率閃爍0.96 s(包括0.14 s視覺延遲，0.8 s時(shí)間窗口數(shù)據(jù)用于頻率識(shí)別，0.02 s防止讀取空值。)，最后屏幕空白0.5 s用于信號(hào)識(shí)別。受試者按照提示注視對(duì)應(yīng)的目標(biāo)字符，當(dāng)前字符拼寫完成后，輸入結(jié)果會(huì)在下一個(gè)字符拼寫時(shí)顯示在上方輸入框。30個(gè)字符均閃爍完成后，有提示字符輸入實(shí)驗(yàn)結(jié)束。受試者可直接查看字符輸入結(jié)果，結(jié)果界面顯示預(yù)輸入字符、實(shí)輸入字符和識(shí)別準(zhǔn)確率，具體如圖7所示。

圖7 有提示字符輸入Fig.7 Character input with cues

3)無提示字符拼寫。受試者提前想好自己想要輸入的15個(gè)字符。實(shí)驗(yàn)開始后，字符輸入界面無變紅提示并靜止呈現(xiàn)0.5 s，受試者可快速尋找想要輸入的目標(biāo)字符，接著40個(gè)字符閃爍0.96 s，屏幕空白0.5 s用于信號(hào)的處理和識(shí)別。與有提示字符輸入類似，單個(gè)字符輸入完成，識(shí)別字符會(huì)實(shí)時(shí)顯示在上方輸入框中。15個(gè)字符輸入完成后，無提示字符輸入結(jié)束，屏幕顯示實(shí)際識(shí)別到的15個(gè)字符。受試者將實(shí)際輸入字符與想要輸入的字符進(jìn)行對(duì)比，可得到無提示字符輸入的準(zhǔn)確率。

3.3 實(shí)驗(yàn)結(jié)果和分析

3.3.1 在線訓(xùn)練數(shù)據(jù)量評(píng)估

本文選用2.3節(jié)介紹的10受試者公開數(shù)據(jù)集來驗(yàn)證系統(tǒng)分類算法的性能與在線訓(xùn)練數(shù)據(jù)量的關(guān)系。Mul-Freq+LST+FoMSFA算法在不同組數(shù)在線訓(xùn)練數(shù)據(jù)下的分類性能如圖8所示，隨著在線訓(xùn)練數(shù)據(jù)的增多，Mul-Freq+LST+FoMSFA算法(FoMSFA算法結(jié)合LST遷移學(xué)習(xí)、多頻率學(xué)習(xí)進(jìn)行改進(jìn)的在線字符輸入系統(tǒng)分類算法)的分類性能穩(wěn)步提升。由于在線訓(xùn)練數(shù)據(jù)量和訓(xùn)練時(shí)間成正比，綜合考慮分類算法性能和在線訓(xùn)練數(shù)據(jù)采集時(shí)間，選擇采集2組在線訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)和分類。

圖8 Mul-Freq+LST+FoMSFA算法在不同 組數(shù)在線訓(xùn)練數(shù)據(jù)下的分類性能Fig.8 Classification performance of Mul-Freq+LST+FoMSFA under different sets of online training data

3.3.2 在線系統(tǒng)性能

本實(shí)驗(yàn)選擇了15名受試者進(jìn)行有提示字符輸入實(shí)驗(yàn)。每名受試者均使用58.8 s完成了30個(gè)字符的有提示輸入，單字符的平均傳輸時(shí)間為1.96 s。在0.8 s的時(shí)間窗口下，F(xiàn)BCCA、Extended CCA和Mul-Freq+LST+FoMSFA的平均分類準(zhǔn)確率分別為16.7%、67.8%、79.3%，對(duì)應(yīng)的信息傳輸率分別為13.8、127.1、161.9 bit/min。圖9展示了3種算法的平均分類性能對(duì)比，誤差條表示標(biāo)準(zhǔn)誤差。有訓(xùn)練數(shù)據(jù)算法Extended CCA和Mul-Freq+LST+FoMSFA的平均分類準(zhǔn)確率和信息傳輸率遠(yuǎn)高于FBCCA，體現(xiàn)了有訓(xùn)練算法的性能優(yōu)越性。同時(shí)，Mul-Freq+LST+FoMSFA的分類性能明顯優(yōu)于Extended CCA。實(shí)驗(yàn)結(jié)果驗(yàn)證了遷移學(xué)習(xí)和高效分類算法在SSVEP應(yīng)用系統(tǒng)中的高效性。

同時(shí)，選擇了10名受試者進(jìn)行無提示在線字符輸入，單字符的平均傳輸時(shí)間為1.96 s。每名受試者均使用29.4 s完成了15個(gè)字符的無提示輸入，單字符的平均傳輸時(shí)間為1.96 s。FBCCA、Extended CCA和Mul-Freq+LST+FoMSFA在0.8 s的時(shí)間窗口內(nèi)的平均分類準(zhǔn)確率分別為16.0%、72.0%、80.0%，對(duì)應(yīng)的信息傳輸率分別為13.8、138.9、165.6 bit/min。圖10展示了3種算法平均分類性能的對(duì)比，Mul-Freq+LST+FoMSFA算法同樣取得最高的平均分類準(zhǔn)確率和信息傳輸率，再次驗(yàn)證了遷移學(xué)習(xí)和高效算法應(yīng)用于在線SSVEP應(yīng)用系統(tǒng)的可行性。

綜合實(shí)驗(yàn)結(jié)果分析，無需訓(xùn)練數(shù)據(jù)的頻率識(shí)別算法FBCCA，雖然避免了在線訓(xùn)練，但在短時(shí)間的測(cè)試數(shù)據(jù)中難以取得令人滿意的性能。有訓(xùn)練的頻率識(shí)別算法Extended CCA，在少量在線訓(xùn)練數(shù)據(jù)下的情況下，難以發(fā)揮和訓(xùn)練數(shù)據(jù)充足時(shí)一致的良好性能。這都在一定程度上降低了系統(tǒng)的友好性和實(shí)用性。本文利用LST遷移學(xué)習(xí)技術(shù)，僅需2組在線訓(xùn)練數(shù)據(jù)作為目標(biāo)域，即可結(jié)合離線跨被試數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)，有效縮短了采集訓(xùn)練數(shù)據(jù)的時(shí)間。有提示和無提示在線字符輸入中，在同等的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)下，Mul-Freq+LST+FoMSFA算法的分類性能明顯優(yōu)于FBCCA、Extended CCA。實(shí)驗(yàn)結(jié)果證實(shí)了遷移學(xué)習(xí)技術(shù)和高效頻率識(shí)別算法的結(jié)合，為高效和普適型的SSVEP-BCI應(yīng)用系統(tǒng)設(shè)計(jì)提供了新思路。

3.3.3 字符識(shí)別計(jì)算時(shí)間評(píng)估

考慮到算法實(shí)時(shí)性的應(yīng)用需求，本節(jié)使用15組有提示字符輸入的數(shù)據(jù)，取0.8 s的時(shí)間窗口長(zhǎng)度，比較FBCCA、Mul-Freq+LST+FoMSFA和Extended CCA這3種方法進(jìn)行單個(gè)字符識(shí)別需要的計(jì)算時(shí)間，如圖11所示。從圖11可以看出，Extended CCA進(jìn)行0.8 s的SSVEP信號(hào)識(shí)別需要將近70 ms，而Mul-Freq+LST+FoMSFA和FBCCA在20 ms內(nèi)可完成單個(gè)字符識(shí)別的計(jì)算過程，識(shí)別速度滿足實(shí)時(shí)性系統(tǒng)的應(yīng)用要求。

圖11 FBCCA、Mul-Freq+LST+FoMSFA和 ExtendedCCA單字符識(shí)別計(jì)算時(shí)間Fig.11 Computational time of FBCCA, Mul-Freq+LST+ FoMSFA and extended CCA for single character recognition

4 結(jié)束語

本文結(jié)合遷移學(xué)習(xí)技術(shù)和高效頻率識(shí)別算法，實(shí)現(xiàn)了字符在有提示和無提示時(shí)的快速準(zhǔn)確輸入。多數(shù)受試者使用該系統(tǒng)均取得了良好的性能，具備普適性的特點(diǎn)。需要注意的是，基于LST遷移學(xué)習(xí)也可用于TRCA、CORRCA等SSVEP識(shí)別算法，實(shí)現(xiàn)更高性能的在線SSVEP-BCI系統(tǒng)，這也是下一步的工作。此外，該系統(tǒng)可進(jìn)一步擴(kuò)展到輪椅控制、在線撥號(hào)系統(tǒng)、智能家電等應(yīng)用，以滿足肢體殘疾患者的基本生活需求，具有很大的應(yīng)用潛力。