基于通道選擇和多維特征融合的腦電信號分類

楊淑瑩，國海銘，李欣

基于通道選擇和多維特征融合的腦電信號分類

楊淑瑩*，國海銘，李欣

（天津理工大學 計算機科學與工程學院，天津 300384）（ ? 通信作者電子郵箱 yangshuying@email.tjut.edu.cn）

針對多通道腦電信號（EEG）相互干擾、存在個體差異性導致分類結果不同和單域特征識別率低等問題，提出一種通道選擇和特征融合的方法。首先，對獲取到的EEG進行預處理，使用梯度提升決策樹（GBDT）選出重要通道；其次，采用廣義預測控制（GPC）模型構建重要通道的預測信號，辨析多維相關信號之間的細微差別，再使用SE?TCNTA（Squeeze and Excitation block-Temporal Convolutional Network-Temporal Attention）模型提取不同幀之間的時序特征；然后，使用皮爾遜相關系數(shù)計算通道間的關系，提取EEG的頻域特征和預測信號的控制量作為輸入，建立空間圖結構，并采用圖卷積網(wǎng)絡（GCN）提取頻域、空域的特征；最后，將上述二者特征輸入全連接層進行特征融合，實現(xiàn)EEG的分類。在公共數(shù)據(jù)集BCICIV_2a上的實驗結果表明，在進行通道選擇的情況下，與首個用于ERP檢測的EEG-Inception模型以及同樣采用雙分支提取特征的DSCNN （Shallow Double-branch Convolutional Neural Network）模型方法相比，所提方法的分類準確率分別提升了1.47%和1.69%，Kappa值分別提升了1.25%和2.53%。所提方法能夠提高EGG的分類精度，同時減少冗余數(shù)據(jù)對特征提取的影響，因此更適用于腦機接口（BCI）系統(tǒng)。

腦電信號；特征融合；通道選擇；圖卷積網(wǎng)絡；時序卷積網(wǎng)絡；廣義預測控制模型

0 引言

腦機接口（Brain-Computer Interface， BCI）系統(tǒng)可以實現(xiàn)人腦與計算機的交流和溝通，在醫(yī)學上能夠幫助患者進行康復訓練，具有很廣泛的應用前景。腦電信號（ElectroEncephaloGraphy， EEG）是一種由大腦神經(jīng)元產(chǎn)生的生物電信號，它是一種非平穩(wěn)的時序信號，具有低成本和非入侵等優(yōu)點，經(jīng)常用于研究BCI［1-2］。運動想象腦電信號［3］是一種內(nèi)源性自發(fā)腦電，與誘發(fā)腦電不同，它無需外界刺激，只需人進行運動想象，腦電波就呈現(xiàn)特異波形。研究運動想象腦電信號具有重要意義，可以完成殘障人士的肢體運動康復和控制外部設備等任務，改善他們的生活。

EEG通常由多電極采集得到，多通道數(shù)據(jù)同時輸入網(wǎng)絡會增大計算量，導致訓練時間長，因此有必要進行通道選擇。目前的研究表明，通過對多維信號降維，可以在不影響精度的前提下去除一些冗余的信息，并且降低計算量，縮短算法的識別時間。Bavkar等［4］提出重力搜索算法（Improved Binary Gravitational Search Algorithm， IBGSA）為運動想象腦電信號選擇最佳通道，但是該方法未考慮任務的特異性和事件相關去同步（Event-Related Desynchronization， ERD）/事件相關同步化（Event Related Synchronization， ERS）特征的判別性。共空間模式（Common Spatial Pattern， CSP）算法以及稀疏共空間模式算法可用于實現(xiàn)通道選擇，但是CSP容易受到EEG噪聲的影響。二進制粒子群優(yōu)化（Binary Particle Swarm Optimization， BPSO）算法［5］也可與CSP算法相結合選擇最優(yōu)的通道，但這些算法通常對計算要求很高。相比以上算法，梯度提升決策樹（Gradient Boosting Decision Tree， GBDT）具有預測精度高，構建過程簡便，能處理非線性、連續(xù)和離散數(shù)據(jù)，結果可解釋等優(yōu)點。GBDT組合弱學習器形成一個強學習器，可以計算不同通道的特征重要度，具備區(qū)分不同通道的天然優(yōu)勢。

近年來，深度學習的普及使EEG的研究達到了前所未有的高度。Sun等［12］提出了SE-CNN（Squeeze and Excitation block- Convolutional Neural Network），使用稀疏頻譜時間分解算法提取時頻特征，比傳統(tǒng)算法的準確率更高。Xu等［13］通過融合注意力機制設計了端到端的編碼器模型，通過深度卷積網(wǎng)絡DHDANet（Dual HeaDed Attention via deep convolution Net）同時學習時間和空間特征，能夠達到不錯的準確率。Tortora等［14］提出了一個長短期記憶（Long Short-Term Memory， LSTM）深度神經(jīng)網(wǎng)絡，可以自動處理大腦信號中的時間相關信息。在時域分析中，時序卷積網(wǎng)絡（Temporal Convolutional Network， TCN）更具優(yōu)勢，而LSTM參數(shù)量較大，導致訓練時間長，因此選擇參數(shù)量更少的神經(jīng)網(wǎng)絡模型可以加速訓練。

隨著深度學習的發(fā)展，研究人員設計了能處理圖數(shù)據(jù)的神經(jīng)網(wǎng)絡結構，并將它們應用在空域分析中，即圖神經(jīng)網(wǎng)絡，通過聚合節(jié)點及其鄰接節(jié)點的特征信息，捕獲圖結構的依賴關系。EEG中也具有空間結構的特征，不同通道的位置信息、特征信息都會影響正確率。Feng等［15］通過圖卷積神經(jīng)網(wǎng)絡（Graph Convolutional Network， GCN）解碼不同的運動想象信號，達到了不錯的準確率。Chang等［16］通過GCN研究精神分裂癥患者的腦功能連接，提取了圖論特征進行分析。由于電極分布不同，圖網(wǎng)絡非常適合EEG研究，能提取更具代表性的特征。由于圖神經(jīng)網(wǎng)絡在運動想象腦電信號中的應用較少，因此本文使用GCN提取空域頻域特征，再結合其他領域特征進行研究。

研究表明，時頻分析相比單一鄰域分析可以取得更好的分類準確率。Li等［17］提出使用神經(jīng)網(wǎng)絡自動提取特征，使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）提取空間特征，用LSTM提取時間特征；隨后通過特征融合進行分類，提高了準確率。李紅利等［18］設計了模型內(nèi)融合（With-in Model Fusion-Feature， WMFF）和模型間融合（Cross Model Fusion-Feature， CMFF）兩種特征融合策略。WMFF策略提取CNN每一層特征進行融合；CMFF策略融合CNN和LSTM并提取每一層特征。此類方法雖然可以縮短時間，可是神經(jīng)網(wǎng)絡并非人腦，在獲取細節(jié)特征時具有一定的限制，從而影響分類的準確率。由此可以看出，進行特征融合可以達到不錯的效果，融合后的特征更利于分類。

結合上述分析，為了提高運動想象分類的準確率，避免丟失免細節(jié)特征，本文提出了一種融合通道選擇算法和時頻特征提取模型的分類方法。該方法首先對采集到的EEG使用巴特沃斯濾波器進行帶通濾波，然后使用GBDT算法進行重要性分析，并使用GPC模型對重要通道信號進行特征提??；提取后的特征參數(shù)送入SE-TCNTA模型和GCN模型，以進一步提取局部時域特征和全局頻域特征；最后，將提取的多領域特征進行融合輸入全連接層，得到分類的準確率。該方法能夠減少冗余數(shù)據(jù)，簡化EEG并從多領域提取特征，且特征都基于GPC模型，能夠提升所應用系統(tǒng)的效率。

本文的主要工作如下：

1）提出了一種基于GBDT的通道選擇算法，選擇重要通道，提高特征提取的效率。

2）利用GPC模型為每一幀EEG構建預測信號，使用最小二乘法進行參數(shù)辨析，通過SE-TCNTA模型提取精確的時域特征。

3）將預測信號的功率譜密度和控制量作為頻域特征，利用GCN模型提取頻域特征。

4）實現(xiàn)特征融合并進行實驗驗證，實驗結果驗證了本文方法的有效性，表明該方法能夠在減少冗余信息前提下，提取精細的時頻特征，提高準確率。

1 本文方法

本文方法的整體流程如圖1所示：采用GBDT算法對預處理信號進行通道選擇，然后對重要通道信號進行分幀處理，使用GPC模型對每幀信號建模，提取參數(shù)特征。特征提取分為兩個分支：上分支使用SE-TCNTA模型對不同時間步的特征進行加權，得到精細的時域特征；下分支使用GCN，將GPC模型的控制量和相關頻段的功率譜密度作為節(jié)點特征。接著計算皮爾遜相關系數(shù)，建立節(jié)點聯(lián)系創(chuàng)建圖信息，提取頻域特征。最后進行特征融合，輸入全連接層得到分類結果。

圖1　本文方法總體流程

1.1　數(shù)據(jù)集

本文使用具有22個通道的公開數(shù)據(jù)集BCICIV_2a［19］進行實驗并對結果進行分析。該數(shù)據(jù)集包括9名實驗人員的訓練數(shù)據(jù)和測試數(shù)據(jù)，分別用于訓練和測試。

數(shù)據(jù)集包括4類運動想象，即左手、右手、腳和舌頭。數(shù)據(jù)采集電極分布位置采用國際10-20系統(tǒng)的電極分布形式，如圖2所示。數(shù)據(jù)集共有9人，每人進行6輪的運動想象采集，每一輪4類運動想象類型實驗各12次，因此每人總共有288次的運動想象實驗樣本作為訓練數(shù)據(jù)集。另外還有相同數(shù)量的測試數(shù)據(jù)集。

圖2　國際10-20系統(tǒng)的電極分布

1.2　預處理

經(jīng)過儀器采集的EEG具有噪聲和偽影，為了防止噪聲和偽影對特征提取的影響，需要對數(shù)據(jù)進行預處理。本文使用范圍為0.5～60 Hz的五階巴特沃斯帶通濾波器去除無用頻段和工頻的干擾，獲取運動想象腦電信號的感興趣頻段區(qū)域。由于還混雜其他腦電偽跡，因此還需要利用自適應偽跡檢測法剔除偽跡片段和基線漂移等干擾信號，最后通過手動檢查刪除混淆的數(shù)據(jù)段，并對數(shù)據(jù)段歸一化，從而獲得滿足實驗要求且能有效提高實驗準確率的腦電信號。

圖3　經(jīng)過預處理后的某段EEG

1.3　基于GBDT的通道選擇

EEG由多電極采集而成，處理多通道數(shù)據(jù)會造成計算量大、資源消耗大、浪費時間等問題，降低特征提取的效率，因此需要選擇重要通道進行分析。本文使用GBDT算法計算不同通道的特征重要性，并選出重要性較高的幾個通道進行后續(xù)研究，能減少工作量，提高分類準確率。

GBDT是一種迭代的決策樹算法［20］，它使用分類回歸樹（Classification And Regression Tree， CART）作為基學習器，通過多輪迭代，每輪學習都在上一輪訓練的殘差（用損失函數(shù)的負梯度來替代）基礎上進行訓練，降低殘差，提高分類精度，每輪迭代產(chǎn)生一棵CART，迭代結束時將得到多棵CART，最后將所有的樹累加起來就得到了最終的提升樹。

2）對于建立棵分類回歸樹=1，2，…，：

①對1，2，…，，計算第棵樹對應的響應值（損失函數(shù)的負梯度，即偽殘差）：

特征重要度代表了不同通道對最終分類結果［左手，右手，雙腳，舌頭］的影響程度，GBDT的特征重要度通過特征在單棵樹中的重要度的平均值來衡量：

1.4　時域特征

1.4.1EEG-GPC

為了更好地描述腦機接口內(nèi)部系統(tǒng)，本文提出了基于腦電接口的GPC模型。實驗結果表明，通過預測模型擬合EEG，以預測模型參數(shù)作為時域特征進行后續(xù)分析可以達到良好的效果。GPC是基于參數(shù)模型的控制算法，通過求解控制量的形式對模型進行反饋矯正，通過前面時刻的信息計算下一步的控制量信息，將它加入下一次的運算過程中［21-22］?？刂屏啃畔⒏鶕?jù)前面序列的變化計算產(chǎn)生，在預測中通過對下一步預測結果的調(diào)整來達到更好的擬合效果，并結合了辨識和自校正機制，具有良好的魯棒性。由于EEG采集具有較多的噪聲影響，GPC模型考慮了噪聲影響，因此更具有優(yōu)勢。控制量反映了EEG的跳變性，隱含了不同個體間進行運動想象EEG的瞬間變化信息，更適合非平穩(wěn)的EEG。

由于EEG具有時序性，本文將選擇的重要通道進行分幀，對每幀EEG使用GPC模型建模，計算模型參數(shù)。將參數(shù)特征作為時域特征，控制量作為頻域特征輸入兩個分支中進一步進行特征提取。

GPC采用下列CARIMA模型，求解控制量過程如下：

則預測誤差的方差：

性能指標函數(shù)如下所示：

其中：

其中：

將式（21）代入式（18）中，得：

則當前時刻的控制量為：

1.4.2最小二乘法實現(xiàn)參數(shù)估計

參數(shù)特征使用最小二乘法進行辨識，考慮如下簡易模型：

設時刻的批處理最小二乘估計為：

則

又由式（27）得：

則由式（29）及式（30）得：

于是時刻的最小二乘估計可表示為

針對式（33）的目標函數(shù)，可得遺忘因子遞推最小二乘參數(shù)估計公式：

1.4.3SE-TCNTA

提取完參數(shù)特征后，將每幀特征看作不同時間步的特征，為了進一步提取時域特征，本文借鑒擠壓激勵網(wǎng)絡（Squeeze-and-Excitation Network， SENet）中的SE Block結構，將它置于時序卷積網(wǎng)絡（TCN）之前，并在TCN之后加入時間注意力（Temporal Attention）機制，組成SE-TCNTA網(wǎng)絡作為EEG時域特征的提取模型。通過該模型，可以對不同時間步的特征進行加權，選擇重要特征，達到提取精確特征的目的。

圖4　TCN結構

時間注意力機制可以認為是對不同時間步進行權值分配，不同的權重代表不同的重要性。本文提出利用時間注意機制對TCN輸出的時間步進行加權，得到每個時間步注意力權重，從而進一步提高模型的準確度。

本文先利用SE Block模塊處理每幀提取的特征，通過圖5可以看出，SE Block先對所有特征進行平均池化，然后將特征進行壓縮，再通過兩層全連接使特征變回原來的維度，接著對特征進行Sigmoid激活，最后將權重加權到原本的特征上。將上述SE Block的輸出按時序順序輸入TCN，利用TCN的并行計算優(yōu)勢提取時域特征，將所有TCN的輸出通過時間注意力層，對時間步進行權重分配，得到時序特征。由于特征參數(shù)相比多維信號減少，為了獲得更大的感受野，本文對TCN的參數(shù)進行了修改：將第一層TCN的膨脹系數(shù)修改為3的倍數(shù)，以獲得更多的特征信息；將第二層TCN的膨脹系數(shù)修改為固定值（1，2，4），保證不會影響較少的特征參數(shù)。

圖5　SE-TCNTA模型

1.5　頻域特征

頻域特征通過圖譜卷積將空域轉化為譜域進行提取，借助圖譜的理論來實現(xiàn)拓撲圖上的卷積操作。本文使用皮爾遜相關系數(shù)計算通道間相關性，建立圖信息，提取GPC模型中的控制量和預測信號中相關頻段的功率譜密度作為輸入，通過圖卷積進行節(jié)點特征聚合得到頻域特征。

1.5.1圖卷積

圖卷積網(wǎng)絡（Graph Convolutional Network， GCN）［24-26］是在非歐氏空間結構數(shù)據(jù)上的深度學習技術，在EEG中的應用較少，它將傳統(tǒng)的離散卷積思想應用在圖結構上以獲取節(jié)點特征信息在圖結構上不同層次的譜域表示，能夠充分考慮節(jié)點自身的特征信息及節(jié)點之間的關聯(lián)信息，更詳細深入地描述圖信息數(shù)據(jù)。由于大多數(shù)研究建立在歐氏空間上，而對于EEG來說，不同的電極分布并非歐氏空間，因此圖網(wǎng)絡更具有優(yōu)勢。圖卷積主要分為空域圖卷積和譜域圖卷積兩類［27］。本文使用譜域圖卷積，根據(jù)圖譜理論和卷積定理，將數(shù)據(jù)由空域轉換到譜域做處理，理論基礎非常扎實。

為了減少計算成本，本文采用譜圖卷積對GBDT選出的重要通道提取特征信息，圖卷積的原理如下：

定義為從節(jié)點出發(fā)的所有邊的權重之和（×的方陣，是對角矩陣）。則的拉普拉斯矩陣可以表示為：

將該拉普拉斯矩陣進行歸一化得到：

圖卷積經(jīng)歷過很多版本，本文使用的GCN卷積公式基于切比雪夫圖卷積改進而來，定義為：

1.5.2皮爾遜相關系數(shù)

本文使用皮爾遜相關系數(shù)計算節(jié)點之間的相關性以建立圖信息中的鄰接矩陣，計算運動想象相關頻段的功率譜密度和控制量作為節(jié)點特征，由此建立圖信息。它的定義如下：

1.5.3頻域特征提取

本文提取與運動想象相關的、兩個波段的功率譜密度并結合GPC模型的控制量作為圖卷積節(jié)點特征的輸入。功率譜密度表示輸入信號在一定頻率范圍內(nèi)的功率。利用Welch算法計算腦電功率譜密度值，該方法將原始數(shù)據(jù)分成段，允許數(shù)據(jù)重疊。采用窗函數(shù)完成數(shù)據(jù)截取，每一段的功率譜密度記作xx（）。

所以功率譜為：

頻域特征提取的主要步驟如下：

1）使用皮爾遜相關系數(shù)計算通道相關性，建立GCN的鄰接矩陣；

2）計算信號的功率譜密度并結合模型的控制量作為通道的頻域特征矩陣，與鄰接矩陣建立圖信息；

3）通過GCN進行頻域信息特征提取，設定兩層圖卷積，聚合節(jié)點特征，最后得到全局的頻域特征矩陣。

頻域特征需要從全局考慮，通過圖卷積建立了通道的關聯(lián)性，得到全局的頻域特征，能夠避免特征信息的丟失。

1.6　特征融合和分類

本文分別提取了時域和頻域特征，但單一地提取時域或頻域特征會導致部分信息丟失，因此有必要充分挖掘信號中的全部信息，采用特征拼接的方式進行特征融合，公式如下：

其中：表示時域特征；表示頻域特征；表示融合特征，融合特征的向量長度是時域與頻域特征長度之和。將融合的時域頻域特征輸入全連接層，使用Softmax激活函數(shù)返回每個類別的概率值。損失函數(shù)使用交叉熵損失函數(shù)。圖6展示了本文特征融合的模型結構。根據(jù)EEG的復雜性，建立了時頻特征并行提取結構。時序特征提取由輸入層、SE Block模塊、TCN、時間注意力層和扁平層組成，對每幀信號進行分析，提取精確的時序特征。頻域特征提取由輸入層、2個圖卷積層和扁平層組成，計算整段信號的功率譜密度結合控制量，能夠提取全局的頻域特征。最后將兩部分輸入全連接層進行分類。另外，為了防止過擬合，在GCN中使用Dropout層，圖卷積層之間使用線性整流函數(shù)（Rectified Linear Unit， ReLU）進行激活。

2 實驗與結果分析

2.1　通道選擇實驗分析

將受試者經(jīng)過預處理的EEG使用GBDT進行通道選擇，設置迭代次數(shù)250，學習率0.01，經(jīng)過GBDT計算重要度后，得到22個通道的重要性評分，如圖7所示。

通過計算通道重要度，可以得到幾個較為重要的通道，但是通道數(shù)的選擇也需要進行考慮，因此有必要通過消融實驗選擇合適的個數(shù)。為了探究通道數(shù)對實驗的影響，保持后面的模型參數(shù)不變，并且添加了沒有進行通道選擇的實驗進行對比，表1展示了不同通道數(shù)的分類效果。

通過表1可以發(fā)現(xiàn)，當通道數(shù)為5時，準確率比其他通道數(shù)更高。這是由于選擇較少通道時，特征不足導致準確率下降，應該保持精度不變的情況下選擇較少的通道數(shù)，這樣可以減少參數(shù)量和計算時間。增加通道數(shù)會導致模型中輸入數(shù)據(jù)對應的維度也增加，而后續(xù)的特征提取是根據(jù)選擇的通道進行計算，因此可以看到每個受試者選擇不同通道數(shù)時會導致結果的浮動較大。通過實驗結果可以看出，不進行通道選擇時，平均準確率只達到了76.61%。為了保證參數(shù)量最少且不影響準確率，因此本文挑選得分大于0.07的5個通道（通道3、5、6、8、9）數(shù)據(jù)。

表1　不同通道數(shù)的分類結果 單位： %

2.2　EEG-GPC

圖8　EEG的擬合圖

2.3　建立圖信息

由于GCN的輸入由節(jié)點的鄰接矩陣與特征組成。因此需要對選擇的通道信號建立圖信息，根據(jù)皮爾遜相關系數(shù)計算通道的相關性，由此建立鄰接矩陣。由于EEG具有個體差異性，本文對每個受試者都計算相關性，設定大于0.8的兩個通道為相關。將其鄰接矩陣對應的位置設置為1，其余為0，計算的皮爾遜矩陣如圖11所示。

圖9　參數(shù)趨勢曲線

圖10　控制量跳變信息

圖11　皮爾遜相關系數(shù)

2.4　實驗分析

本次實驗的軟件和硬件情況如下：采用Intel 2.90 GHz Core i5和NVIDIA GTX1650，內(nèi)存4 GB；使用Python中的深度學習Keras框架。表2展示了本文模型的具體結構，對于時序特征的提取，首先使用SE Block計算GPC模型提取的每幀特征權重并加到自身，然后將特征輸入兩層TCN中，設置卷積核參數(shù)為12。將TCN的輸出通過時間注意力層，對時間步重新分配，得到時序特征。而對于頻域特征的提取，首先輸入節(jié)點特征和鄰接矩陣信息，節(jié)點特征的維度為（5，280），鄰接矩陣大小為（5，5），設置2個圖卷積層，神經(jīng)元分別設置為16、8，使用先行激活函數(shù)ReLU防止過擬合，兩個特征提取分支分別設置了一個展平層，將提取的多維特征轉換為一維，然后通過全連接層進行特征融合。模型訓練時，本文方法定義損失函數(shù)采用Categorical_Crossentropy，優(yōu)化器使用Adam，學習率設置為0.001。

為了證明多維特征融合的重要性，本文還設置了兩個領域特征的單獨實驗對照特征融合實驗，將選擇后的通道數(shù)據(jù)分別進行時域頻域的特征提取進行分類，驗證本文算法的有效性。表3展示了時域特征、頻域特征與時頻特征融合實驗的準確率。從表3可以看出，在選擇相同的通道數(shù)下，時域特征提取的準確率達到了83.30%，頻域特征提取達到了84.26%。由于時域信號比頻域所含信息較少，因此準確率略低于頻域特征。這兩種方法都達到了不錯的效果，驗證了本文特征提取方法的可行性。通過特征融合的準確率達到了86.07%，驗證了使用特征融合比單一提取特征效果更好。

表2　網(wǎng)絡模型結構參數(shù)

表3　單一算法與特征融合算法的比較 單位： %

為了體現(xiàn)本文方法的有效性，使用BCI競賽公共數(shù)據(jù)集BCICIV_2a進行實驗。對于每個受試者，按照8∶2的比例劃分為訓練集和測試集。為更好地評價本文方法的分類效果，與以下方法進行比較：DSCNN（Shallow Double-branch Convolutional Neural Network）［28］、EEG-inception［29］、M3DCNN（Multi-Branch 3D Convolutional Neural Network）［30］、FBSF-TSCNN（Filter-Bank Spatial Filtering and Temporal-Spatial Convolutional Neural Network）［31］、AMSI-EEGNET（Auxiliary Multi-Scale Input CNN for EEG）［32］、MCNN（Multi-layer CNN）［33］和EGGNet［34］。其中，EEG-Inception是首個集成了Inception模塊并用于ERP檢測的模型。DSCNN則是一種淺層的雙分支卷積神經(jīng)網(wǎng)絡，采用雙分支并行提取特征，其中：左分支只包含兩個單一的時間和空間卷積層來提取共同的腦電特征；類似地，右分支首先引入一維卷積來利用多個時間尺度上的信道相關性和時間特征，隨后采用沿深度方向可分離的卷積層優(yōu)化EEG序列。本文也借鑒了DSCNN模型采用兩個分支提取特征的方法，并將兩個分支的特征進行融合，表3的實驗結果說明了兩個分支提取特征能夠包含豐富的原始信號信息，充分考慮不同領域信號的影響，能夠最大限度地減少特征對最終分類的影響，驗證了特征融合的重要性。

本文使用Kappa系數(shù)衡量分類精度，Kappa系數(shù)也通常作為BCICIV_2a的驗證標準，計算公式如下：

表4展示了9個受試者（A01～A09）在本文方法和其他文獻方法的平均分類準確率，可以看到：受試者A02分類的準確率最低，但仍高于其他方法；受試者A04和A05比其他方法的準確率最高，達到了85.68%和84.39%。本文方法平均分類準確率比對比方法分別提升了9.8、11.05、14.07、1.25、8.35、1.43個百分點，說明使用本文模型進行特征融合時能夠充分提取EEG的特征信息并提高準確率。

表5則展示了不同算法的Kappa值，可以看出，本文方法的Kappa平均值優(yōu)于對比方法，與EEG-inception和DSCNN相比，Kappa值分別提升了1.25%和2.53%。

圖12為不同方法訓練的受試者3的混淆矩陣，混淆矩陣中橫、縱坐標代表預測和實際的運動想象分類類型，中間數(shù)值為對應分類概率?？梢钥闯?，本文方法對四種分類任務的分類概率分別達到了0.91、0.92、0.95、0.94，而EEGNet方法對雙腳的識別率較低，本文通過特征融合能夠?qū)λ念惾蝿斩既〉幂^高的識別率。

表4　本文方法與其他文獻方法的準確率對比 單位： %

表5　本文方法與其他文獻方法的Kappa值對比

圖12　不同方法下受試者3的混淆矩陣

3 結語

本文提出了一種基于通道選擇和多維特征融合的EEG分類方法。在不影響精度的情況下，進行重要性選擇用來減少參數(shù)量；提取了時間特征，頻域特征，譜域特征并進行融合，由此來提取更為有用的特征信息。通過實驗表明，在選擇出重要的通道信號后再進行特征融合能夠有效地提高分類的準確率，說明通道選擇和特征融合能夠挖掘更深層的特征信息。綜上所述，本文提出的方法能夠?qū)EG進行降維，減少冗余的數(shù)據(jù)對算法的影響，并且提取時域頻域相關的特征進行融合，提高分類精度，為EEG分類研究提供了新的途徑。在未來，我們將設計屬于自己的范式，并將虛擬人應用在提取數(shù)據(jù)中，將算法應用在情緒識別或其他研究中。

[1] DOUIBI K， LE BARS S， LEMONTEY A， et al. Toward EEG-based BCI applications for Industry 4.0： challenges and possible applications［J］. Frontiers in Human Neuroscience， 2021， 15： No.705064.

[2] MINI P P， THOMAS T， GOPIKAKUMARI R， et al. EEG based direct speech BCI system using a fusion of SMRT and MFCC/LPCC features with ANN classifier［J］. Biomedical Signal Processing and Control， 2021， 68： No.102625.

[3] VIDAURRE C， JORAJURíA T， RAMOS-MURGUIALDAY A， et al. Improving motor imagery classification during induced motor perturbations［J］. Journal of Neural Engineering， 2021， 18（4）： No.0460b1.

[4] BAVKAR S， IYER B， DEOSARKAR S， et al. Rapid screening of alcoholism： an EEG based optimal channel selection approach［J］. IEEE Access， 2019， 7：99670-99682.

[5] LV J， LIU M. Common spatial pattern and particle swarm optimization for channel selection in BCI［C］// Proceedings of the 3rd International Conference on Innovative Computing Information and Control. Piscataway： IEEE， 2008： 457-457.

[6] ANNABY M H， SAID M H， ELDEIB A M， et al. EEG-based motor imagery classification using digraph Fourier transforms and extreme learning machines［J］. Biomedical Signal Processing and Control， 2021， 69： No.102831.

[7] RAMOSER H， MüLLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement［J］. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）： 441-446.

[8] ZAHID S Z， AQIL M， TUFAIL M， et al. Online classification of multiple motor imagery tasks using filter bank based maximum-a-posteriori common spatial pattern filters［J］. IRBM， 2020， 41（3）：141-150.

[9] ANG K K， CHIN Z Y， ZHANG H， et al. Filter Bank Common Spatial Pattern （FBCSP） in brain-computer interface［C］// Proceedings of the 2008 IEEE International Joint Conference on Neural Networks （IEEE World Congress on Computational Intelligence）. Piscataway： IEEE， 2008： 2390-2397.

[10] HAN Y， WANG B， LUO J， et al. A classification method for EEG motor imagery signals based on parallel convolutional neural network［J］. Biomedical Signal Processing and Control， 2022， 71（Pt B）： No.103190.

[11] VENKATA PHANIKRISHNA B， CHINARA S. Automatic classification methods for detecting drowsiness using wavelet packet transform extracted time-domain features from single-channel EEG signal［J］. Journal of Neuroscience Methods， 2021， 347： No.108927.

[12] SUN B， ZHAO X， ZHANG H， et al. EEG motor imagery classification with sparse spectrotemporal decomposition and deep learning［J］. IEEE Transactions on Automation Science and Engineering， 2021， 18（2）： 541-551.

[13] XU M， YAO J， NI H. Dual head and dual attention in deep learning for end-to-end EEG motor imagery classification［J］. Applied Sciences， 2021， 11（22）： No.10906.

[14] TORTORA S， GHIDONI S， CHISARI C， et al. Deep learning-based BCI for gait decoding from EEG with LSTM recurrent neural network［J］. Journal of Neural Engineering， 2020， 17（4）： No.046011.

[15] FENG N， HU F， WANG H， et al. Motor intention decoding from the upper limb by graph convolutional network based on functional connectivity［J］. International Journal of Neural Systems， 2021， 31（12）： No.2150047.

[16] CHANG Q， LI C C， TIAN Q， et al. Classification of first-episode schizophrenia， chronic schizophrenia and healthy control based on brain network of mismatch negativity by graph neural network［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29：1784-1794.

[17] LI H， DING M， ZHANG R， et al. Motor imagery EEG classification algorithm based on CNN-LSTM feature fusion network［J］. Biomedical Signal Processing and Control， 2022， 72（Pt A）： No.103342.

[18] 李紅利，丁滿，張榮華，等. 基于特征融合神經(jīng)網(wǎng)絡的運動想象腦電分類算法［J］. 中國醫(yī)學物理學雜志， 2022， 39（1）：69-75.（LI H L， DING M， ZHANG R H， et al. Motor imagery EEG classification algorithm based on feature fusion neural network［J］. Chinese Journal of Medical Physics， 2022， 39（1）： 69-75.）

[19] Institute for Knowledge Discovery， Graz University of Technology. BCI Competition IV — data sets 2a［DB/OL］. ［2022-05-13］. https：//www.bbci.de/competition/iv/#dataset2a.

[20] DEVOS L， MEERT W， DAVIS J. Fast gradient boosting decision trees with bit-level data structures［C］// Proceedings of the 2019 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 11906. Cham： Springer， 2020： 590-606.

[21] MENDOZA-SOTO J L， RODRíGUEZ CORTéS H. Generalized predictive control for trajectory tracking of a quadcopter vehicle［C］// Proceedings of the 2017 International Conference on Unmanned Aircraft Systems. Piscataway： IEEE， 2017： 206-212.

[22] ZHANG T， LI C X， LI Z L. Generalized predictive control and delay compensation for high-speed EMU network control system［C］// Proceedings of the 6th International Conference on Computer Science and Network Technology. Piscataway： IEEE， 2017： 511-515.

[23] 李紅利，尹飛超，張榮華，等. 基于通道注意力和稀疏時頻分解的運動想象分類［J］. 生物醫(yī)學工程學雜志， 2022， 39（3）：488-497.（LI H L， YIN C F， ZHANG R H， et al. Motor imagery electroencephalogram classification based on sparse spatiotemporal decomposition and channel attention［J］. Journal of Biomedical Engineering， 2022， 39（3）： 488-497.）

[24] ZHOU Y， ZHENG H， HUANG X， et al. Graph neural networks： taxonomy， advances and trends［J］. ACM Transactions on Intelligent Systems and Technology， 2022， 13（1）： No.15.

[25] SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80.

[26] SHI X， LV F， SENG D， et al. Visualizing and understanding graph convolutional network［J］. Multimedia Tools and Applications， 2021， 80（6）： 8355-8375.

[27] SALIM A， SUMITRA S. Spectral graph convolutional neural networks in the context of regularization theory［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022（Early Access）： 1-12.

[28] MA W， GONG Y， XUE H， et al. A lightweight and accurate double-branch neural network for four-class motor imagery classification［J］. Biomedical Signal Processing and Control， 2022， 75： No.103582.

[29] ZHANG C， KIM Y K， ESKANDARIAN A. EEG-inception： an accurate and robust end-to-end neural network for EEG-based motor imagery classification［J］. Journal of Neural Engineering， 2021， 18（4）： No.046014.

[30] ZHAO X， ZHANG H， ZHU G， et al. A multi-branch 3D convolutional neural network for EEG-based motor imagery classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（10）： 2164-2177.

[31] CHEN J， YU Z， GU Z， et al. Deep temporal-spatial feature learning for motor imagery-based brain-computer interfaces［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2020， 28（11）： 2356-2366.

[32] RIYAD M， KHALIL M， ADIB A. A novel multi-scale convolutional neural network for motor imagery classification［J］. Biomedical Signal Processing and Control， 2021， 68： No.102747.

[33] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi-layer CNNs feature fusion［J］. Future Generation Computer Systems， 2019， 101：542-554.

[34] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： No.056013.

EEG classification based on channel selection and multi-dimensional feature fusion

YANG Shuying*， GUO Haiming， LI Xin

（，，300384，）

To solve the problems of the mutual interference of multi-channel ElectroEncephaloGraphy （EEG）， the different classification results caused by individual differences， and the low recognition rate of single domain features， a method of channel selection and feature fusion was proposed. Firstly， the acquired EEG was preprocessed， and the important channels were selected by using Gradient Boosting Decision Tree （GBDT）. Secondly， the Generalized Predictive Control （GPC） model was used to construct the prediction signals of important channels and distinguish the subtle differences among multi-dimensional correlation signals， then the SE-TCNTA （Squeeze and Excitation block-Temporal Convolutional Network-Temporal Attention） model was used to extract temporal features between different frames. Thirdly， the Pearson correlation coefficient was used to calculate the relationship between channels， the frequency domain features of EEG and the control values of prediction signals were extracted as inputs， the spatial graph structure was established， and the Graph Convolutional Network （GCN） was used to extract the features of frequency domain and spatial domain. Finally， the above two features were input to the fully connected layer for feature fusion in order to realize the classification of EEG. Experimental results on public dataset BCICIV_2a show that in the case of channel selection， compared with the first EEG-inception model for ERP detection and DSCNN （Shallow Double-branch Convolutional Neural Network） model that also uses double branch feature extraction， the proposed method has the classification accuracy increased by 1.47% and 1.69% respectively， and has the Kappa value increased by 1.25% and 2.53% respectively. The proposed method can improve the classification accuracy of EEG and reduce the influence of redundant data on feature extraction， so it is more suitable for Brain-Computer Interface （BCI） systems.

ElectroEncephaloGraphy (EEG); feature fusion; channel selection; Graph Convolution Network (GCN); Temporal Convolutional Network (TCN); Generalized Predictive Control (GPC) model

1001-9081（2023）11-3418-10

10.11772/j.issn.1001-9081.2022101590

2022?10?24；

2023?01?31；

2019年天津市教育科學規(guī)劃院教學成果獎重點培育項目（PYGJ?015）； 2020年天津理工大學校級重點教學基金資助項目（ZD20?04）。

楊淑瑩（1964—），女，四川成都人，教授，博士，主要研究方向：模式識別、智能機器人； 國海銘（1998—），男，河北衡水人，碩士研究生，主要研究方向：模式識別； 李欣（1998—），男，安徽六安人，碩士研究生，主要研究方向：模式識別。

TP301.6

A

2023?01?31。

This work is partially supported by 2019 Key Cultivation Project of Teaching Achievement Award of Tianjin Institute of Educational Science Planning （PYGJ-015）， School Level Teaching Fund of Tianjin University of Technology （ZD20-04）.

YANG Shuying， born in 1964， Ph. D.， professor. Her research interests include pattern recognition， intelligent robots.

GUO Haiming， born in 1998， M. S. candidate. His research interest includes pattern recognition.

LI Xin， born in 1998， M. S. candidate. His research interest includes pattern recognition.