基于張量網(wǎng)絡(luò)的多腦運(yùn)動(dòng)想象腦電信號(hào)分類(lèi)

傅倩婧，孔萬(wàn)增

(杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310018)

0 引 言

腦機(jī)接口(Brain Computer Interface, BCI)是人腦與外部設(shè)備之間的接口，無(wú)需依賴(lài)動(dòng)作，通過(guò)大腦來(lái)控制外部設(shè)備[1]。穩(wěn)態(tài)視覺(jué)誘發(fā)電位和運(yùn)動(dòng)想象(Motor Imagery, MI)是最常見(jiàn)的腦機(jī)接口范式。運(yùn)動(dòng)想象腦機(jī)接口(MI-BCI)不僅可以給健康人提供更豐富的娛樂(lè)方式，還可以幫助有運(yùn)動(dòng)障礙的人恢復(fù)運(yùn)動(dòng)功能[2-4]。然而，MI-BCI系統(tǒng)存在識(shí)別率低、穩(wěn)定性差等問(wèn)題。為此，Nijholt等[5]采用多腦BCI技術(shù)進(jìn)行腦機(jī)接口的研究，證實(shí)了其在腦機(jī)接口應(yīng)用中的可行性。多腦BCI來(lái)源于超掃描思想，超掃描技術(shù)可以同時(shí)測(cè)量2個(gè)及以上被試的腦電信號(hào)[6-7]。相關(guān)研究表明，當(dāng)多個(gè)被試處于同一環(huán)境進(jìn)行交流時(shí)，大腦會(huì)產(chǎn)生同步共振現(xiàn)象[8-9]。傳統(tǒng)方法處理腦電數(shù)據(jù)時(shí)，一般轉(zhuǎn)換成向量的形式，這樣會(huì)打亂數(shù)據(jù)的內(nèi)部結(jié)構(gòu)從而影響實(shí)驗(yàn)結(jié)果[10]。張量表示方法與神經(jīng)網(wǎng)絡(luò)之間有著緊密聯(lián)系，可以把神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)換成張量的形式。Novikov等[11]采用張量分解進(jìn)行圖像數(shù)據(jù)集的分類(lèi)，取得了較好的分類(lèi)效果。Yang等[12]在大規(guī)模視頻數(shù)據(jù)集的分類(lèi)任務(wù)中，使用張量鏈分解壓縮門(mén)控循環(huán)單元(Gated Recurrent Unit，GRU)，結(jié)果表明張量鏈模型不僅可以減少參數(shù)數(shù)量，而且提高了分類(lèi)性能。Wang等[13]采用張量環(huán)方法來(lái)壓縮深度神經(jīng)網(wǎng)絡(luò)的全連接層和卷積層，減少了網(wǎng)絡(luò)中的參數(shù)數(shù)量。雖然張量表示方法在處理大規(guī)模圖片數(shù)據(jù)取得了一些成效，但是上述方法只學(xué)習(xí)了隱藏空間中的動(dòng)態(tài)關(guān)系。本文針對(duì)高維數(shù)據(jù)輸入問(wèn)題，采用張量網(wǎng)絡(luò)方法[14]來(lái)實(shí)現(xiàn)多腦運(yùn)動(dòng)想象腦電數(shù)據(jù)的分類(lèi)，在輸入空間中進(jìn)行高維數(shù)據(jù)處理與模型參數(shù)壓縮，以提高張量網(wǎng)絡(luò)的性能。

1 多腦腦電數(shù)據(jù)采集

1.1 采集設(shè)備與被試

實(shí)驗(yàn)招募10名18～25歲的健康被試，隨機(jī)分成5組，每組的2名被試，分別命名為“S1”和“S2”。通過(guò)2個(gè)相連的62通道Neuroscan放大器同步采集多腦腦電數(shù)據(jù)，2名被試同時(shí)進(jìn)行相關(guān)任務(wù)。多腦腦電數(shù)據(jù)同步采集裝置如圖1所示。

圖1 多腦腦電數(shù)據(jù)同步采集裝置

1.2 實(shí)驗(yàn)流程

實(shí)驗(yàn)包含4個(gè)階段，其中1個(gè)是測(cè)試階段。每個(gè)階段包含125個(gè)實(shí)驗(yàn)，總共有375個(gè)實(shí)驗(yàn)。每個(gè)被試共有1 875個(gè)樣本數(shù)據(jù)，單個(gè)樣本大小為62×250。實(shí)驗(yàn)流程如圖2所示。每個(gè)實(shí)驗(yàn)包括1.0 s的視頻誘發(fā)，該階段隨機(jī)呈現(xiàn)3種狀態(tài)(左手、右手、空閑)的視頻。被試根據(jù)屏幕上呈現(xiàn)的任務(wù)提示，進(jìn)行5.5 s大腦運(yùn)動(dòng)想象任務(wù)或空閑任務(wù)狀態(tài)。由于實(shí)驗(yàn)過(guò)程比較漫長(zhǎng)，隨后進(jìn)入2.0 s休息狀態(tài)。

圖2 實(shí)驗(yàn)流程

1.3 數(shù)據(jù)獲取與預(yù)處理

原始腦電信號(hào)包含噪聲數(shù)據(jù)，需要進(jìn)行預(yù)處理以去除干擾成分。腦電數(shù)據(jù)中最主要的偽跡是眼電，借助EEGLAB工具包刪除眼電干擾成分，腦電信號(hào)進(jìn)行0.5～45.0 Hz的帶通濾波。為了降低不同被試之間差異產(chǎn)生的影響，采用z-score函數(shù)進(jìn)行數(shù)據(jù)歸一化操作。采集得到5組腦電數(shù)據(jù)，對(duì)每組的2名被試沿著腦電數(shù)據(jù)通道維度進(jìn)行拼接融合[15]。隨機(jī)劃分?jǐn)?shù)據(jù)，80%作為訓(xùn)練集，20%作為測(cè)試集，訓(xùn)練集中選取10%作為驗(yàn)證集，用于張量網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中最佳參數(shù)值的確定。

2 實(shí)驗(yàn)方法

本文提出一種基于張量網(wǎng)絡(luò)的多腦運(yùn)動(dòng)想象數(shù)據(jù)識(shí)別方法，通過(guò)共空間模式(Common Spatial Patterns，CSP)提取多腦運(yùn)動(dòng)想象腦電數(shù)據(jù)的空間分布特征，張量網(wǎng)絡(luò)將提取的空間分布特征轉(zhuǎn)化成張量的形式，輸入張量網(wǎng)絡(luò)進(jìn)行多腦運(yùn)動(dòng)想象數(shù)據(jù)識(shí)別任務(wù)，使用張量分解方法來(lái)壓縮網(wǎng)絡(luò)的參數(shù)數(shù)量以解決張量網(wǎng)絡(luò)中參數(shù)眾多的缺點(diǎn)。多腦運(yùn)動(dòng)想象腦電數(shù)據(jù)分類(lèi)方法如圖3所示。

圖3 多腦運(yùn)動(dòng)想象腦電數(shù)據(jù)分類(lèi)方法

2.1 腦電特征提取

CSP廣泛用于運(yùn)動(dòng)想象腦電數(shù)據(jù)的特征提取[16]，同時(shí)對(duì)角化兩類(lèi)任務(wù)的協(xié)方差矩陣，從多通道的腦電數(shù)據(jù)中提取出每一類(lèi)樣本的空間分布特征[17]?？臻g協(xié)方差矩陣表示如下：

(1)

式中，Z表示樣本數(shù)據(jù)，trace函數(shù)表示矩陣對(duì)角元素之和。CSP算法目的是找到一組最優(yōu)空間濾波器進(jìn)行投影，使得2類(lèi)信號(hào)的方差值差異最大，從而得到具有較高區(qū)分度的特征向量。由于多腦運(yùn)動(dòng)想象數(shù)據(jù)有3種狀態(tài)信息，分別為左手、右手、空閑，因此，本文設(shè)計(jì)了一種針對(duì)三分類(lèi)任務(wù)的CSP特征提取方法。實(shí)驗(yàn)中，針對(duì)3種狀態(tài)，選取其中2個(gè)類(lèi)別合成1類(lèi)，并和剩下的1類(lèi)進(jìn)行計(jì)算投影矩陣。

2.2 權(quán)重張量分解

張量分解是低秩近似表示高階數(shù)組的一種方法。目前流行的張量分解方法包括Canonical Polyadic(CP)分解[18]、Tucker分解[19]和Tensor Train(TT)分解[20]。

(2)

式中，?r∈[1,…,R],g1,r∈Rm1，g2,r∈Rm2，g3,r∈Rm3，R∈Z+是CP分解對(duì)應(yīng)的秩一張量的數(shù)量，稱(chēng)為CP-rank?！?”表示克羅內(nèi)克積。權(quán)重張量的CP分解如圖4所示。

圖4 權(quán)重張量的CP分解

Tucker分解就是通過(guò)1個(gè)N階張量∈RR1×R2×…×RN和N個(gè)因子矩陣B(n)∈RIn×Rn(n=1,2,…,N)相乘得到原始張量。Tucker積在所有模上進(jìn)行乘法運(yùn)算，3階權(quán)重張量∈RR1×R2×R3可寫(xiě)為：

(3)

圖5 權(quán)重張量的Tucker分解

(4)

圖6 權(quán)重張量的TT分解

2.3 參數(shù)張量化

張量網(wǎng)絡(luò)包括以下的線性變換函數(shù)：

y=wx+b

(5)

(6)

2.4 張量GRU網(wǎng)絡(luò)

張量GRU網(wǎng)絡(luò)表示如下：

(7)

式中，zt表示更新門(mén)，決定進(jìn)入t時(shí)刻的信息。rt是重置門(mén)，決定丟棄多少信息，兩者共同決定隱藏層ht的值。TL對(duì)應(yīng)于不同的張量分解方法組成的目標(biāo)函數(shù)，“°”表示向量之間乘積。綜上，可以得到CP-GRU，Tucker-GRU，TT-GRU張量網(wǎng)絡(luò)模型。

3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估張量網(wǎng)絡(luò)識(shí)別準(zhǔn)確率及其壓縮參數(shù)的能力，在pytorch實(shí)驗(yàn)環(huán)境中，通過(guò)多腦運(yùn)動(dòng)想象腦電數(shù)據(jù)重復(fù)進(jìn)行5次實(shí)驗(yàn)，分析比較張量網(wǎng)絡(luò)識(shí)別準(zhǔn)確率和壓縮參數(shù)的效果。

3.1 單個(gè)被試和多腦的識(shí)別準(zhǔn)確率對(duì)比

圖7 每組被試識(shí)別準(zhǔn)確率

對(duì)單個(gè)被試、多腦融合數(shù)據(jù)重復(fù)進(jìn)行5次實(shí)驗(yàn)得到平均識(shí)別準(zhǔn)確率，結(jié)果如圖7所示。圖7中，S1，S2分別表示同一組中2名被試的識(shí)別準(zhǔn)確率，S(1,2)表示2名被試數(shù)據(jù)融合后的識(shí)別準(zhǔn)確率。從圖7可以看出，多腦融合數(shù)據(jù)識(shí)別準(zhǔn)確率普遍比單個(gè)被試高，最高可達(dá)86.6%，提高了17.2%。與傳統(tǒng)的CSP方法[6]相比識(shí)別準(zhǔn)確率提高了2.8%，張量網(wǎng)絡(luò)能夠識(shí)別更多的特征信息，從而提高了準(zhǔn)確率。

3.2 不同模型的識(shí)別準(zhǔn)確率和參數(shù)量對(duì)比

實(shí)驗(yàn)采用GRU模型作為對(duì)照組，選擇不同的秩運(yùn)行CP-GRU，Tucker-GRU，TT-GRU模型，實(shí)驗(yàn)結(jié)果如表1所示。與GRU模型相比，CP-GRU，Tucker-GRU，TT-GRU模型的識(shí)別準(zhǔn)確率都有所提高，參數(shù)數(shù)量均小于GRU模型。與其他3種模型相比，TT-GRU模型的識(shí)別準(zhǔn)確率最高。

4 結(jié)束語(yǔ)

本文提出一種基于張量網(wǎng)絡(luò)的多腦運(yùn)動(dòng)想象數(shù)據(jù)識(shí)別方法。在神經(jīng)網(wǎng)絡(luò)參數(shù)眾多的情況下，使用張量分解方法來(lái)壓縮神經(jīng)網(wǎng)絡(luò)中權(quán)重張量的參數(shù)數(shù)量，提高了張量網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。但是，本文實(shí)驗(yàn)樣本較少，后續(xù)將采集更豐富的樣本，增加對(duì)比組的分析，得到更有說(shuō)服力的結(jié)果。