基于共空間模式和均勻流形投影的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法

付榮榮,隋佳新,劉 沖,張 揚(yáng)

(1.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004；2.東北大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院，遼寧 沈陽(yáng) 110819；3.沈陽(yáng)機(jī)床(集團(tuán))有限責(zé)任公司 設(shè)計(jì)研究院，遼寧 沈陽(yáng) 110142)

1 引 言

運(yùn)動(dòng)想象腦電數(shù)據(jù)的特征提取以及分類工作逐漸成為了腦機(jī)接口領(lǐng)域研究的熱門話題。在進(jìn)行腦電數(shù)據(jù)的特征提取及分類時(shí)，常常面臨著由于腦電數(shù)據(jù)維數(shù)過高從而導(dǎo)致計(jì)算量巨大的問題。為了能夠從夾雜著大量雜亂信息的高維數(shù)據(jù)中提取出想要的腦電數(shù)據(jù)的特征和規(guī)律，直接使用常用的在低維空間內(nèi)部表現(xiàn)優(yōu)異的機(jī)器學(xué)習(xí)算法進(jìn)行數(shù)據(jù)降維，得到的效果就差強(qiáng)人意了[1]。此時(shí)，數(shù)據(jù)降維技術(shù)不僅能解決高維數(shù)據(jù)帶來的計(jì)算量大、復(fù)雜性高的問題，還能將高維數(shù)據(jù)可視化，從而在低維空間直接觀察數(shù)據(jù)在高維空間的分布情況，更利于數(shù)據(jù)特征的提取與分類。目前，經(jīng)典的數(shù)據(jù)降維方法包括線性判別分析、主成分分析和多維尺度分析等[2]。這些傳統(tǒng)方法雖然能夠通過對(duì)樣本的特征進(jìn)行線性組合來發(fā)現(xiàn)數(shù)據(jù)中的線性結(jié)構(gòu)，但是腦電數(shù)據(jù)中包含了大量的非線性特征，在對(duì)非線性特征的處理上，上述方法就顯得有些不足了[3]。

2000年Seung H S等發(fā)表了題為The manifold ways of perception的文章，首次提出了流形學(xué)習(xí)的概念，并指出人類的感知是以流形為基礎(chǔ)的，高維結(jié)構(gòu)可以通過低維變量表示出來[4]。隨后大量的流形學(xué)習(xí)的算法涌現(xiàn)，并開始在數(shù)據(jù)降維、圖像處理等領(lǐng)域快速發(fā)展。流形學(xué)習(xí)算法本質(zhì)上就是模仿人類的神經(jīng)感知系統(tǒng)，其基本思想為：假設(shè)所研究的數(shù)據(jù)集均勻采樣于高維數(shù)據(jù)空間中的流形結(jié)構(gòu)上，在保持?jǐn)?shù)據(jù)集之間鄰域關(guān)系不變的基礎(chǔ)上，找出隱藏于高維觀測(cè)數(shù)據(jù)空間中的低維流形結(jié)構(gòu)，并將這種從高維觀測(cè)空間到低維嵌入空間的非線性映射關(guān)系通過某種方式構(gòu)造出來，從而達(dá)到數(shù)據(jù)降維或者可視化的目的[5]。目前，常用的流形學(xué)習(xí)算法包括局部線性嵌入、等度量映射、t-SNE等[6]。本文區(qū)別傳統(tǒng)的流行學(xué)習(xí)算法，將共空間模式算法和均勻流形投影算法相結(jié)合，應(yīng)用于運(yùn)動(dòng)想象腦電信號(hào)的數(shù)據(jù)降維和分類中，該方法充分利用了腦電數(shù)據(jù)的非線性特征，降低了在腦電數(shù)據(jù)分類過程中的計(jì)算復(fù)雜度，有效提高了分類的準(zhǔn)確率，并且在特征數(shù)據(jù)可視化方面也有著不錯(cuò)的效果。

2 數(shù)據(jù)來源及預(yù)處理

本文數(shù)據(jù)來自實(shí)驗(yàn)室面向運(yùn)動(dòng)耦合約束的交互實(shí)驗(yàn)[7]運(yùn)動(dòng)想象腦電數(shù)據(jù)，受試者為10名健康的22歲到30歲的大學(xué)生，實(shí)驗(yàn)使用Emotive Epoc+14導(dǎo)聯(lián)腦電采集設(shè)備對(duì)受試者腦電進(jìn)行采集，采樣頻率為128 Hz，受試者通過點(diǎn)擊鍵盤左右鍵來控制電腦屏幕中的碗狀結(jié)構(gòu)向左或向右移動(dòng)，碗中小球也會(huì)同時(shí)因?yàn)閼T性在碗中左右運(yùn)動(dòng)，在保證碗中小球不從碗中掉落的前提下，將碗從起點(diǎn)運(yùn)送到終點(diǎn)，進(jìn)而在碗狀結(jié)構(gòu)左右運(yùn)動(dòng)時(shí)可以分別得到左手和右手的運(yùn)動(dòng)想象腦電數(shù)據(jù)。采集到原始數(shù)據(jù)后，將數(shù)據(jù)按照實(shí)驗(yàn)次數(shù)每秒鐘逐次截段，存儲(chǔ)為高維形式(樣本數(shù)×導(dǎo)聯(lián)數(shù)×試驗(yàn)數(shù)×類別數(shù))。

3 算法原理

3.1 共空間模式

共空間模式算法(common spatial pattern,CSP)是一種空域?yàn)V波特征提取算法，主要針對(duì)二分類任務(wù)[8]。CSP算法主要通過創(chuàng)建一個(gè)最優(yōu)的公共空間濾波器，對(duì)兩類數(shù)據(jù)的協(xié)方差矩陣進(jìn)行對(duì)角化，得到差異最大化的兩類方差，進(jìn)而得到特征向量。

3.1.1 計(jì)算兩類數(shù)據(jù)的協(xié)方差矩陣

將運(yùn)動(dòng)想象腦電數(shù)據(jù)分為E1和E2兩類，其中E1表示左手運(yùn)動(dòng)時(shí)腦電數(shù)據(jù)，E2表示右手運(yùn)動(dòng)時(shí)腦電數(shù)據(jù)。計(jì)算協(xié)方差矩陣的公式如下：

(1)

式中：trace(E)表示求矩陣E的跡。

由式(1)可以得到：

C=C1+C2

(2)

式中：C表示兩類數(shù)據(jù)的空間協(xié)方差矩陣之和。

3.1.2 求出白化值矩陣并做對(duì)角化

求正定矩陣C的特征向量和特征值，即：

C=UΛUT

(3)

式中：U為特征向量矩陣；Λ表示特征值的對(duì)角陣。對(duì)矩陣U進(jìn)行白化處理可以得到：

(4)

3.1.3 計(jì)算投影矩陣得到特征矩陣

對(duì)C1和C2進(jìn)行如下變換：

S1=PC1PT=BΛ1BT
S2=PC2PT=BΛ2BT

(5)

由式(5)可知，當(dāng)S1特征值最大時(shí)，對(duì)應(yīng)的S2有最小的特征值，故可以通過特征向量矩陣Q實(shí)現(xiàn)數(shù)據(jù)的分類，得到投影矩陣：

W=(QTP)T

(6)

進(jìn)一步得到特征矩陣：

Z=W·E

(7)

3.2 均勻流形投影算法

均勻流形投影算法(uniform manifold approximation and projection for dimension reduction，UMAP)是基于流形學(xué)習(xí)的一種非線性數(shù)據(jù)降維方法[9]。腦電信號(hào)是一種非平穩(wěn)性強(qiáng)、隨機(jī)度高、高度非線性的生物電信號(hào)。如圖1所示，在多維空間中，兩個(gè)點(diǎn)之間的歐氏距離，即直接連接的距離很近，但是如果上升到流形的理論，其連接距離就不再是直線連接，而是流形表結(jié)構(gòu)上的距離[10]。在高維空間中所觀察到的數(shù)據(jù)從局部來看，可以近似地視為是符合歐式分布的，故只有在進(jìn)行流行局部分析時(shí)，歐式距離才會(huì)更接近真實(shí)距離。因而，這種基于流形學(xué)習(xí)的方法能更精準(zhǔn)地挖掘出特征數(shù)據(jù)真實(shí)信息。均勻流形投影算法主要分為構(gòu)建初始模糊拓?fù)浔硎竞蛢?yōu)化低維嵌入兩個(gè)部分[11]。

圖1 多維空間流形距離示意圖Fig.1 Schematic diagram of multi-dimensional space manifold distance

3.2.1 獲取低維表示

假設(shè)腦電數(shù)據(jù)集來自一個(gè)拓?fù)淇臻g，首先生成該空間的開覆蓋，進(jìn)而了解該空間的拓?fù)?，?gòu)造單純復(fù)形。采用最鄰近下降算法，給定一個(gè)超參數(shù)k，k用來表示xi所具有的k個(gè)鄰居，進(jìn)而得到每個(gè)xi的k最近鄰集合{xi1,…,xik}。對(duì)于每個(gè)xi，進(jìn)而確定其對(duì)應(yīng)的ρi和σi：

ρi=min{d(xi,xij)|1≤j≤k,d(xi,xij)>0}

(8)

(9)

進(jìn)而得到條件概率表達(dá)式為：

(10)

pij=pi|j+pj|i-pi|jpj|i

(11)

式中：pij為條件概率，用來表示數(shù)據(jù)點(diǎn)xi和xj之間的相似度，pij越大則說明兩個(gè)點(diǎn)之間的相似程度越高，越有可能為同一類數(shù)據(jù)。

最終得到低維空間表示為：

qij=(1+a(yi-yj)2b)-1

(12)

式中：a和b為超參數(shù)，一般情況下取a=1.93,b=0.79。

3.2.2 優(yōu)化低維嵌入

對(duì)已經(jīng)計(jì)算好的模糊拓?fù)浔硎具M(jìn)行優(yōu)化，使高維和低維具有盡可能接近的模糊拓?fù)浔硎?。這里，使用交叉熵來衡量?jī)煞N表示的近似度，運(yùn)用隨機(jī)梯度下降法對(duì)低維嵌入進(jìn)行優(yōu)化，交叉熵的公式如下：

(13)

4 實(shí)驗(yàn)結(jié)果與分析

本文中選取了10名受試者的腦電信號(hào)進(jìn)行特征提取和降維研究，腦電信號(hào)的整體處理流程如圖2所示。

4.1 不同受試者運(yùn)動(dòng)想象腦電數(shù)據(jù)分類結(jié)果

在對(duì)腦電信號(hào)進(jìn)行特征提取和降維的過程中，為了保證結(jié)果的穩(wěn)定性，降低隨機(jī)性的影響，通常將數(shù)據(jù)集分為測(cè)試集和訓(xùn)練集兩個(gè)部分，使用交叉驗(yàn)證的方法對(duì)數(shù)據(jù)進(jìn)行處理。本文采用了10折交叉驗(yàn)證的方式，將10個(gè)受試者的運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)分為測(cè)試集和訓(xùn)練集，用CSP進(jìn)行特征提取，UMAP進(jìn)行數(shù)據(jù)降維，最后使用KNN分類器實(shí)現(xiàn)數(shù)據(jù)分類，其交叉驗(yàn)證結(jié)果如表1所示。

表1 不同受試者腦電數(shù)據(jù)交叉驗(yàn)證結(jié)果Tab.1 Cross-validation results of EEG data of different subjects

表中：ACC表示分類的準(zhǔn)確度；AUC為受試者工作特性(ROC)曲線與坐標(biāo)軸圍成的面積；ACC和AUC的值越接近1，說明分類效果越好。

從表1中可以看出，5位受試者的ACC的均值為0.961 6，AUC的均值為0.951 7。由此說明，經(jīng)過特征提取和UMAP算法降維的運(yùn)動(dòng)腦電數(shù)據(jù)的分類效果很好。

腦電信號(hào)處理整體流程如圖3所示。

圖2 腦電信號(hào)處理整體流程圖Fig.2 Overall flow chart of EEG signal processing

圖3 3種方法KNN分類器分類ROC曲線對(duì)比圖Fig.3 Comparison of ROC curves of three methods KNN classifier classification

4.2 腦電數(shù)據(jù)降維前后分類效果對(duì)比

本文在運(yùn)動(dòng)想象腦電數(shù)據(jù)的分類工作中首次使用了傳統(tǒng)CSP算法和UMAP算法相結(jié)合的方式，對(duì)腦電數(shù)據(jù)進(jìn)行了特征提取和數(shù)據(jù)降維工作。與傳統(tǒng)的單純CSP算法相比，大大減小了數(shù)據(jù)分類過程的計(jì)算量。

將本文中CSP-UMAP算法與傳統(tǒng)的CSP算法對(duì)分類結(jié)果的影響相比較，傳統(tǒng)的CSP算法在進(jìn)行特征提取后一般取特征矩陣的頭部和尾部的特征，直接進(jìn)行分類；而本文則在CSP算法后加入了UMAP算法，在降低計(jì)算量的同時(shí)，充分利用了特征矩陣的所有特征。對(duì)受試者A的腦電數(shù)據(jù)分別進(jìn)行傳統(tǒng)CSP算法的特征提取和本文采用的CSP-UMAP相結(jié)合的方式，使用KNN分類器進(jìn)行分類得到的ROC曲線結(jié)果如圖4所示。

圖4 UMAP算法特征數(shù)據(jù)可視化效果對(duì)比圖Fig.4 UMAP algorithm feature data visualization effect comparison chart

從圖3中可以直觀地看出，未經(jīng)過降維算法處理，直接使用傳統(tǒng)CSP算法進(jìn)行特征提取的腦電數(shù)據(jù)直接分類的ROC曲線圖的下方面積明顯小于經(jīng)過UMAP算法降維之后的ROC曲線圖的面積。由此可知，相比于傳統(tǒng)的CSP算法而言，本文采用的CSP-UMAP算法相結(jié)合的方法在降低計(jì)算量的基礎(chǔ)上，充分利用了特征矩陣的全部特征，起到了提高分類效果的作用。

4.3 UMAP降維算法在數(shù)據(jù)可視化方面的表現(xiàn)

在數(shù)據(jù)降維過程中，本文采用了UMAP流形學(xué)習(xí)算法對(duì)數(shù)據(jù)進(jìn)行降維處理以達(dá)到降低分類計(jì)算量、提高分類精確度的目的。由于腦電數(shù)據(jù)中蘊(yùn)含著大量的非線性特征，因而傳統(tǒng)的線性降維方法無(wú)法保證在數(shù)據(jù)降維前后、在保證腦電數(shù)據(jù)點(diǎn)之間距離信息的同時(shí)，找到數(shù)據(jù)的合適的低維表達(dá)。與傳統(tǒng)線性降維方法不同，UMAP是一種非線性的降維方法，該方法充分利用了腦電數(shù)據(jù)中的非線性特征，充分保證了數(shù)據(jù)降維前后的距離信息，在數(shù)據(jù)特征可視化方面有很大的優(yōu)勢(shì)。對(duì)受試者A和B的腦電數(shù)據(jù)進(jìn)行降維，將數(shù)據(jù)維度降低至2D，與未降維之前進(jìn)行對(duì)比，得到散點(diǎn)圖如圖4所示。

如圖4所示，圖中圓點(diǎn)分別表示受試者A和受試者B未經(jīng)降維和經(jīng)過UMAP算法降維后腦電數(shù)據(jù)在二維空間的分布位置，從圖(a)和圖(c)中可以看出受試者A和B未經(jīng)過降維的腦電數(shù)據(jù)的散點(diǎn)圖十分雜亂，難以分辨出不同類別，然而從圖(b)和圖(d)中可以看出，經(jīng)過UMAP算法降維的腦電數(shù)據(jù)的散點(diǎn)圖左右手腦電數(shù)據(jù)被明顯分為兩類，大大提高了腦電數(shù)據(jù)特征的可視化程度。

5 討 論

在運(yùn)動(dòng)想象腦電信號(hào)中蘊(yùn)含著大量的非線性特征，本文將CSP算法和UMAP算法相結(jié)合，運(yùn)用于運(yùn)動(dòng)想象腦電數(shù)據(jù)的分類工作中，提供了一種快速高效的腦電信號(hào)特征提取和降維方法。對(duì)采集的運(yùn)動(dòng)想象腦電數(shù)據(jù)進(jìn)行了特征提取和數(shù)據(jù)降維工作，并且使用KNN分類器對(duì)腦電數(shù)據(jù)進(jìn)行了分類，經(jīng)過交叉驗(yàn)證檢驗(yàn)，發(fā)現(xiàn)分類準(zhǔn)確率達(dá)到了90%以上。進(jìn)一步將CSP-UMAP算法與傳統(tǒng)的CSP算法進(jìn)行對(duì)比，通過繪制ROC曲線的方法，對(duì)分類效果進(jìn)行評(píng)估。2011年，Arvaneh M等[12]和Shi L C等[13]將CSP算法應(yīng)用于第Ⅳ屆BCI競(jìng)賽的數(shù)據(jù)集I中[14]，對(duì)腦電信號(hào)進(jìn)行了分類研究，該數(shù)據(jù)集記錄了4名受試者依靠電腦提示進(jìn)行左右手運(yùn)動(dòng)想象的腦電數(shù)據(jù)。相比他們的研究成果，本研究中分類的準(zhǔn)確率大約分別提高了3.3%和7.2%。這體現(xiàn)了與傳統(tǒng)的CSP算法相比，CSP-UMAP算法充分利用了腦電數(shù)據(jù)的非線性特征，在降低分類計(jì)算量的同時(shí)，大大提高了分類器的分類效果。與此同時(shí)，在腦電特征數(shù)據(jù)可視化方面[15～18],CSP-UMAP算法能直觀觀察腦電信號(hào)的特征數(shù)據(jù)在二維空間的分布狀態(tài)。這不僅為研究者從低維空間中的少量特征數(shù)據(jù)為切入，進(jìn)而研究存在于高維空間的大量數(shù)據(jù)提供了一種新的解決方案，更可以通過低維數(shù)據(jù)所具有的聚類性和可分性將其應(yīng)用于腦電信號(hào)的分類工作，為從運(yùn)動(dòng)想象腦電數(shù)據(jù)在低維空間分布特性的角度，對(duì)腦電信號(hào)和運(yùn)動(dòng)想象任務(wù)之間的關(guān)系和規(guī)律進(jìn)行分析和研究，為進(jìn)一步揭示腦電信號(hào)的本質(zhì)特征提供了一種新思路。

6 結(jié) 論

本研究提出了基于CSP-UMAP算法的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法，實(shí)驗(yàn)數(shù)據(jù)采用實(shí)驗(yàn)室采集的面向運(yùn)動(dòng)耦合約束的交互實(shí)驗(yàn)的運(yùn)動(dòng)想象腦電數(shù)據(jù)，使用CSP-UMAP算法對(duì)運(yùn)動(dòng)想象腦電數(shù)據(jù)進(jìn)行特征提取和數(shù)據(jù)降維，并使用KNN實(shí)現(xiàn)了特征分類，通過交叉驗(yàn)證的方式驗(yàn)證了算法的穩(wěn)定性，并對(duì)結(jié)果進(jìn)行了評(píng)價(jià)，最后還研究了在腦電特征數(shù)據(jù)可視化方面CSP-UMAP算法的表現(xiàn)。實(shí)驗(yàn)結(jié)果表明，將CSP算法和UMAP算法相結(jié)合應(yīng)用于運(yùn)動(dòng)想象腦電數(shù)據(jù)特征提取和數(shù)據(jù)降維中，可以有效提高腦電數(shù)據(jù)分類的識(shí)別效果，并且在腦電數(shù)據(jù)特征可視化方向有著不錯(cuò)的表現(xiàn)。