群體廣泛適用的SSVEP腦機(jī)接口研究

張智超,劉彤軍,劉 琦,周麗麗

(黑龍江省科學(xué)院智能制造研究所,哈爾濱 150090)

0 引言

隨著軟硬件條件的發(fā)展,高精度采集技術(shù)日益成熟,伴隨神經(jīng)動(dòng)力學(xué)模型進(jìn)一步豐富,腦機(jī)接口(Brain Computer Interface,BCI)的腦電采集得到了更多的理論支撐,并逐步實(shí)現(xiàn)了應(yīng)用[1]。腦機(jī)接口技術(shù)是新一代人機(jī)交互的關(guān)鍵核心技術(shù),腦機(jī)接口的研究將促進(jìn)我國(guó)腦科學(xué)與類(lèi)腦智能研究的進(jìn)一步發(fā)展。國(guó)家“十四五”規(guī)劃部署了5項(xiàng)腦科學(xué)研究重點(diǎn)領(lǐng)域,其中腦機(jī)融合納入了重點(diǎn)技術(shù)研究范疇。在腦機(jī)接口研究中,SSVEP具有時(shí)間分辨率高、數(shù)據(jù)訓(xùn)練快的特點(diǎn),可快速得到有效特征,對(duì)于腦機(jī)接口技術(shù)的廣泛應(yīng)用研究更具優(yōu)勢(shì)[2]。在現(xiàn)有研究的基礎(chǔ)上發(fā)現(xiàn),于相同的視覺(jué)刺激頻率下,不同個(gè)體的SSVEP響應(yīng)存在差異,需規(guī)避針對(duì)個(gè)體的優(yōu)化訓(xùn)練,進(jìn)一步改進(jìn)信號(hào)處理網(wǎng)絡(luò),實(shí)現(xiàn)可群體適用的信號(hào)處理分類(lèi)算法[3]。

1 可群體適用的常用腦電信號(hào)對(duì)比

非侵入式腦機(jī)接口在群體使用上有著便攜的優(yōu)勢(shì)[4]。血液動(dòng)力學(xué)中的fMRI有很好的空間分辨率,但時(shí)間分辨率、便攜性及成本都不適用于群體應(yīng)用。電動(dòng)力學(xué)的EEG與MEG可有效解決此問(wèn)題。EEG與MEG相比,MEG的信息素更全面精準(zhǔn),而EEG對(duì)使用環(huán)境要求低,便于群體應(yīng)用[5]。

表1 常用腦電信號(hào)特點(diǎn)對(duì)比

EEG的生理學(xué)原理是神經(jīng)元的傳導(dǎo)過(guò)程中會(huì)產(chǎn)生較大的電磁信號(hào),腦電采集設(shè)備采集的是一群神經(jīng)元的共同放電,實(shí)際上很難獲得單一神經(jīng)元的情況,這類(lèi)采集信號(hào)只是很多神經(jīng)元信號(hào)的一個(gè)共同結(jié)果,空間上的分辨率很低,但時(shí)間分辨率較高,可以捕獲毫秒級(jí)別的神經(jīng)沖動(dòng)[6]。

在腦機(jī)接口研究中,EEG信號(hào)種類(lèi)根據(jù)空間位置劃分為以下3種:穩(wěn)定頻率的視覺(jué)誘導(dǎo)引發(fā)電位(Steady-State Visual EvokedPotential, SSVEP)、P300電位及運(yùn)動(dòng)想象電位(Motor Imagery, MI)[7]。前兩者通過(guò)外部刺激誘發(fā)后,在大腦皮層產(chǎn)生腦電信號(hào),分別通過(guò)固定頻率視覺(jué)刺激及稀有事件刺激作為誘發(fā)因素,后者屬于內(nèi)源性大腦神經(jīng)元放電產(chǎn)生的電信號(hào)。內(nèi)源自發(fā)腦電信號(hào)與外源誘發(fā)腦電信號(hào)相比,外援誘導(dǎo)引發(fā)的大腦自放電活動(dòng)采集的腦電信號(hào)特征明顯利于解析,可減少分類(lèi)過(guò)程中的數(shù)據(jù)訓(xùn)練,快速得到有效特征,用于實(shí)際應(yīng)用,對(duì)于腦機(jī)接口技術(shù)的廣泛應(yīng)用更具優(yōu)勢(shì)。

表2 EEG信號(hào)的優(yōu)點(diǎn)

對(duì)應(yīng)不同類(lèi)型的腦電存在不同的腦機(jī)接口范式,如內(nèi)源性的運(yùn)動(dòng)想象(Motor Imagery,MI),外源性的誘發(fā)腦電SSVEP、P300范式?；趦?nèi)源電位范式的腦機(jī)接口系統(tǒng)往往需要對(duì)被試進(jìn)行大量訓(xùn)練,個(gè)體間模式差異大且識(shí)別率較低。基于外源性的誘發(fā)式電位范式的腦機(jī)接口系統(tǒng),被試訓(xùn)練難度低,其中SSVEP范式具有穩(wěn)定、指令集豐富、信息傳輸速率高等優(yōu)點(diǎn)[8-9]。

穩(wěn)態(tài)視覺(jué)誘發(fā)電位(Steady-state VEP,SSVEP)是使用固定頻率快速穩(wěn)定地對(duì)受試者進(jìn)行視覺(jué)刺激,引起大腦枕葉皮層電位響應(yīng),這些響應(yīng)的重疊產(chǎn)生穩(wěn)態(tài)的振蕩(Steady-state oscillation)。這種信號(hào)是一種具有連續(xù)性及特異性的腦電信號(hào),與誘發(fā)信號(hào)的刺激頻率有關(guān)。這種視覺(jué)誘發(fā)刺激的腦電信號(hào)的頻率特征與刺激信號(hào)頻率息息相關(guān),不同被試者反應(yīng)特征明顯,個(gè)體差異很小,在腦機(jī)接口技術(shù)中適合群體廣泛應(yīng)用[10-11]。

2 基于相關(guān)成分分析提高SSVEP腦機(jī)接口的可移植性

穩(wěn)態(tài)視覺(jué)誘發(fā)電位是對(duì)被試者施加一個(gè)固定頻率的視覺(jué)誘發(fā)刺激,要求被試者集中注意注視刺激源,在大腦枕葉皮層中產(chǎn)生響應(yīng),通過(guò)腦電BCI平臺(tái)將這種響應(yīng)提取,進(jìn)行信號(hào)處理,得到有效的信息輸出。過(guò)程原理如圖1所示。

圖1 穩(wěn)態(tài)視覺(jué)腦機(jī)接口工作過(guò)程原理Fig.1 Principle of steady state visual BCI working process

在腦電信號(hào)的預(yù)處理方面,SSVEP原始信號(hào)通常包含來(lái)自于感官的生理電信號(hào)及雜波干擾信號(hào)。SSVEP的信號(hào)處理主要目的是去除信號(hào)干擾,提高信號(hào)的信噪比,常用方法是濾波去噪聲。本研究的BCI系統(tǒng)預(yù)處理除硬件層面的陷波濾波,還對(duì)采集數(shù)據(jù)進(jìn)行了數(shù)據(jù)分割及優(yōu)化。

在腦電信號(hào)的特征提取方面,針對(duì)群體廣泛適用性需具備的特點(diǎn),結(jié)合任務(wù)相關(guān)成分分析TRCA及SSCOR分析方法的優(yōu)點(diǎn),特征提取算法采用高效、低訓(xùn)練成本、通用可移植的分析方法解決BCI特征提取問(wèn)題。新方法充分利用TRCA方法在不同數(shù)據(jù)長(zhǎng)度下準(zhǔn)確率高、可重復(fù)性高的特性及SSCOR個(gè)體校準(zhǔn)數(shù)據(jù)優(yōu)化,形成公共SSVEP表示空間、預(yù)定義的正弦-余弦信號(hào)及測(cè)試數(shù)據(jù),獲得空間濾波器,以提高SSVEP的特征相關(guān)性。

新方法主要通過(guò)分析3組信號(hào)特征進(jìn)行信號(hào)處理,根據(jù)訓(xùn)練人員之間的信號(hào)特征,將相似度接近的5人劃分為一個(gè)群體,根據(jù)群體中5人的信號(hào)特征預(yù)定義正余弦信號(hào)。根據(jù)測(cè)試人員與預(yù)定義信號(hào)的匹配度選擇預(yù)定義信號(hào),對(duì)被測(cè)人員采集的信號(hào)進(jìn)行分類(lèi)處理。該方法的優(yōu)點(diǎn)是基于CCA的準(zhǔn)確性通過(guò)對(duì)少量樣本的訓(xùn)練得到預(yù)定義信號(hào),防止訓(xùn)練人員信號(hào)偏差大,預(yù)定義多組信號(hào),達(dá)到預(yù)分類(lèi)效果。對(duì)被測(cè)人員進(jìn)行測(cè)試,匹配預(yù)定義信號(hào),進(jìn)行精準(zhǔn)分類(lèi),以增強(qiáng)信號(hào)處理的高移植性,提高腦機(jī)接口的群體廣泛適用性。

圖2 信號(hào)處理原理Fig.2 Signal processing principles

腦電信號(hào)的分類(lèi)識(shí)別為外部設(shè)備生成控制信號(hào)。分類(lèi)與特征提取是緊密交織在一起的,分類(lèi)主要完成刺激頻率的檢測(cè)。

3 評(píng)價(jià)指標(biāo)及實(shí)驗(yàn)設(shè)計(jì)

誘發(fā)信號(hào)為12幅圖片組成的頻閃圖片,由12幅圖片組成類(lèi)9宮格漢字拼寫(xiě)鍵盤(pán),輸出漢字語(yǔ)句。由于漢字拼寫(xiě)過(guò)程需要不同字母、不同個(gè)數(shù)的多字符組合,不能以漢字拼寫(xiě)的成功率做為實(shí)驗(yàn)評(píng)價(jià)指標(biāo),故以訓(xùn)練次數(shù)、字符及字符選擇成功率做為評(píng)價(jià)指標(biāo)。

圖3 誘發(fā)圖片F(xiàn)ig.3 Induced image

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了探究穩(wěn)態(tài)視覺(jué)誘發(fā)下枕葉皮層電位的潛在變化,進(jìn)行了一系列的實(shí)驗(yàn)。訓(xùn)練組人員過(guò)少會(huì)降低標(biāo)準(zhǔn)信號(hào)的廣泛適用性,訓(xùn)練組人員過(guò)多會(huì)增加訓(xùn)練時(shí)間,信號(hào)在廣泛適用過(guò)程中準(zhǔn)確率提升不明顯,故在5名訓(xùn)練組人員身上進(jìn)行訓(xùn)練,得到綜合標(biāo)準(zhǔn)信號(hào),完成設(shè)備調(diào)試,再對(duì)被試組進(jìn)行腦電采集,驗(yàn)證該設(shè)備的群體適用性。

3.2 實(shí)驗(yàn)步驟

實(shí)驗(yàn)招募了25名年齡為20～45歲的健康被試者。所有被試者都接受了實(shí)驗(yàn)前的健康檢查,且沒(méi)有任何神經(jīng)系統(tǒng)疾病或其他健康問(wèn)題。實(shí)驗(yàn)使用8通道10電極的EEG采集裝置,按照常用的國(guó)際腦電10-20系統(tǒng)進(jìn)行腦電極布置,采集位置為枕葉區(qū)O1、Oz、O2、P3、P1、Pz、P2、P4共8個(gè)點(diǎn)位,每個(gè)通道都記錄了不同點(diǎn)位的電位變化,另外兩個(gè)為參考電極。數(shù)據(jù)采集前對(duì)每個(gè)受試者進(jìn)行詳細(xì)的實(shí)驗(yàn)操作指導(dǎo),以確保數(shù)據(jù)質(zhì)量及一致性。

實(shí)驗(yàn)過(guò)程中,被試者需要坐在舒適的座位上,在距離眼睛約1 m的距離觀看一塊屏幕,屏幕上不斷閃爍出現(xiàn)12幅不同的數(shù)字及符號(hào),用來(lái)選擇所要輸入的字母,需通過(guò)看到的圖片按照試驗(yàn)任務(wù)進(jìn)行拼寫(xiě),如屏幕上出現(xiàn)1時(shí)會(huì)出現(xiàn)漢字,選擇想要的漢字,以此類(lèi)推識(shí)別50張圖片。

參與者的EEG信號(hào)經(jīng)過(guò)前置放大器放大,傳輸?shù)接?jì)算機(jī)中進(jìn)行記錄及分析。計(jì)算機(jī)分析軟件可輸出各通道波形,主屏幕由漢字拼寫(xiě)器及完成語(yǔ)句實(shí)現(xiàn)。

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)設(shè)計(jì)有時(shí)會(huì)影響基于SSVEP的腦機(jī)接口識(shí)別性能。對(duì)訓(xùn)練組人員進(jìn)行訓(xùn)練,將5名腦電信號(hào)接近的人標(biāo)記為一個(gè)群體,預(yù)定義標(biāo)準(zhǔn)信號(hào),對(duì)25名被試者進(jìn)行實(shí)驗(yàn),每個(gè)被試者需完成50個(gè)字符的采集,針對(duì)不同受試者進(jìn)行3組實(shí)驗(yàn),結(jié)果如表3。

表3 建立標(biāo)準(zhǔn)模型后的測(cè)試結(jié)果

對(duì)上述數(shù)據(jù)進(jìn)行分析:單人三次測(cè)試,字符識(shí)別成功次數(shù)均出現(xiàn)準(zhǔn)確率下降的情況,原因可能與SSVEP會(huì)引起視覺(jué)疲勞有關(guān)。訓(xùn)練組平均成功率可達(dá)89.33%～92.66%,去掉一名低于70%的腦機(jī)接口盲被試者,其他測(cè)試組成員成功率達(dá)到74.00%～87.33%。訓(xùn)練組第一次測(cè)試平均成功率為95.60%,被試組第一次測(cè)試平均成功率為86.72%。對(duì)于成功率不超過(guò)70%的人員,將EEG特征數(shù)據(jù)標(biāo)記,做為一個(gè)新的群體分類(lèi),當(dāng)樣本數(shù)據(jù)量達(dá)到5人時(shí),則預(yù)定義一組標(biāo)準(zhǔn)模型,加入分類(lèi)數(shù)據(jù)庫(kù)。

5 結(jié)論

該方法結(jié)合現(xiàn)有研究成果改進(jìn)分類(lèi)思想與分類(lèi)步驟,具有快速訓(xùn)練樣本、廣泛適用等特點(diǎn)。采集過(guò)程中針對(duì)特殊腦機(jī)接口盲群體繼續(xù)搜集樣本,當(dāng)該群體樣本量充足時(shí),可增加群體預(yù)定義模型,提高群體適用性。該方法存在的問(wèn)題是樣本受地域群體限制,一致性較高,為實(shí)現(xiàn)群體性廣泛應(yīng)用,需增加更多的群體預(yù)定義標(biāo)準(zhǔn)模型。因采集工作具有高隨機(jī)性,形成新的群體模型在樣本數(shù)量低時(shí),腦機(jī)群體盲群體個(gè)體的EEG信號(hào)差距較大,難以重新建立新的群體預(yù)定義標(biāo)準(zhǔn)模型。

腦機(jī)接口的群體適用需研究群體差異性,故設(shè)計(jì)通用性系統(tǒng)是未來(lái)的研究方向。未來(lái)腦機(jī)接口將廣泛應(yīng)用于醫(yī)療康復(fù)、人機(jī)交互等領(lǐng)域,依托腦科學(xué)與高性能硬件的發(fā)展及算法的更新迭代,腦機(jī)接口研究將更關(guān)注群體適用特性,實(shí)現(xiàn)產(chǎn)業(yè)化落地,帶動(dòng)全產(chǎn)業(yè)鏈的發(fā)展。