結(jié)合互信息通道選擇與混合深度神經(jīng)網(wǎng)絡(luò)的腦電情感識(shí)別方法?

孟 明胡家豪高云園馬玉良

(杭州電子科技大學(xué)自動(dòng)化學(xué)院，浙江 杭州310018)

情感是一種綜合了感覺(jué)、思想和行為的復(fù)雜狀態(tài)，是人類(lèi)對(duì)內(nèi)部或外部刺激真實(shí)的心理和生理反應(yīng)[1]。隨著人工智能技術(shù)的不斷發(fā)展，情感識(shí)別已經(jīng)成為了人機(jī)交互(Human Machine Interface，HMI)領(lǐng)域的研究熱點(diǎn)[2]，將情感自動(dòng)識(shí)別技術(shù)引入到HMI應(yīng)用，可顯著提高用戶(hù)的體驗(yàn)質(zhì)量，并推動(dòng)實(shí)現(xiàn)人工智能由感知智能到認(rèn)知智能的飛躍[3－5]。腦機(jī)接口(Brain Computer Interface，BCI)可以有效的作為人機(jī)交互的橋梁，BCI技術(shù)可通過(guò)非侵入的方式采集人體腦電信號(hào)(electroencephalography，EEG)，且大量的神經(jīng)生理學(xué)和心理學(xué)研究發(fā)現(xiàn)，人類(lèi)的情緒產(chǎn)生和情感活動(dòng)與大腦皮層的電信號(hào)高度相關(guān)[6]，因此EEG信號(hào)憑借其高時(shí)間分辨率，低成本，高便捷的優(yōu)點(diǎn)被有效地運(yùn)用在人類(lèi)情感識(shí)別任務(wù)中。

如何對(duì)情感EEG信號(hào)進(jìn)行特征提取并分類(lèi)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，基于淺層機(jī)器學(xué)習(xí)方法的研究在該領(lǐng)域取得了一定的進(jìn)展。Shahnaz C等人[7]對(duì)EEG信號(hào)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)運(yùn)算，選取得到的本征模式函數(shù)(IMF)進(jìn)行離散小波變換(DWT)，然后選擇合適的DWT系數(shù)方差、峰度、偏度來(lái)形成特征向量，并使用SVM進(jìn)行情感分類(lèi)。Liu[8]等人分別從時(shí)域和頻域提取腦電信號(hào)的高階過(guò)零分析、分型維度和離散小波變換、功率譜密度等特征，利用隨機(jī)森林算法(Random Forest，RF)進(jìn)行最后分類(lèi)。Guo[9]等人分別提取受試α，β，γ腦電頻段的granger因果特征，并引入稀疏組lasso算法進(jìn)行特征篩選，獲得高相關(guān)性特征子集作為情感分類(lèi)特征，最后使用SVM進(jìn)行情感分類(lèi)。然而這類(lèi)方法依賴(lài)人為從EEG信號(hào)中尋找和提取各種與情感相關(guān)的特征，這也成為了阻礙系統(tǒng)性能突破的瓶頸。

近年來(lái)隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)(DNN)被越來(lái)越多研究者應(yīng)用在情感EEG信號(hào)處理中。Shawky[10]等人提出了一種3D卷積神經(jīng)網(wǎng)絡(luò)(3-Dimensional Convolutional Neural Networks，3D-CNN)來(lái)進(jìn)行情感腦電信號(hào)的特征提取與分類(lèi)。Xing[11]等人提出了一種基于堆棧自動(dòng)編碼器(Stacked Auto Encoder，SAE)的腦電源信號(hào)特征提取方法，并使用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long-short term memory neural network，LSTM)對(duì)提取到的特征進(jìn)行分類(lèi)。DNN擺脫了特征工程，能夠自行實(shí)現(xiàn)端到端的“黑箱”學(xué)習(xí)過(guò)程，適合對(duì)抽象的EEG信號(hào)進(jìn)行識(shí)別分類(lèi)，得到的分類(lèi)結(jié)果也普遍優(yōu)于淺層機(jī)器學(xué)習(xí)。然而EEG信號(hào)是一種集時(shí)域、頻域、空間域信息于一體的復(fù)雜信號(hào)，僅使用單模態(tài)DNN模型難以充分挖掘其潛在的特征規(guī)律。且腦電信號(hào)多個(gè)通道中可能存在著冗余信息干擾，不僅影響最終的分類(lèi)結(jié)果還增大了樣本維度，提高了DNN的訓(xùn)練難度。

針對(duì)上述存在的問(wèn)題，本文提出了一種結(jié)合互信息通道選擇與混合深度神經(jīng)網(wǎng)絡(luò)的腦電情感識(shí)別方法。提取EEG信號(hào)各通道中γ節(jié)律的微分熵(Differential Entropy，DE)特征，進(jìn)一步計(jì)算通道歸一化互信息(NMI)矩陣選取一定數(shù)量的最優(yōu)通道，之后采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)相結(jié)合的混合DNN進(jìn)行特征提取和分類(lèi)，并利用DEAP數(shù)據(jù)集對(duì)所提出的方法進(jìn)行評(píng)估。

1 數(shù)據(jù)描述與預(yù)處理

1.1 DEAP數(shù)據(jù)集

DEAP是由Koelstra[12]等建立的面向情感識(shí)別領(lǐng)域的包含多模態(tài)信號(hào)的數(shù)據(jù)集。數(shù)據(jù)集采集了32位健康被試各自觀看40段時(shí)長(zhǎng)60 s的情感誘發(fā)視頻的生理電信號(hào)，其中包括32通道的EEG信號(hào)和8通道的外周生理信號(hào)，采樣頻率為512 Hz，圖1為一次實(shí)驗(yàn)的具體流程。

圖1 實(shí)驗(yàn)任務(wù)時(shí)間軸

實(shí)驗(yàn)開(kāi)始后，屏幕顯示2 s當(dāng)前視頻編號(hào)，隨后屏幕呈現(xiàn)交叉十字，記錄5 s信號(hào)基值，接著播放60 s的情感誘發(fā)視頻，最后被試將對(duì)觀看后的視頻在情感的效價(jià)、喚醒度、喜好度、控制程度4個(gè)維度上進(jìn)行1~9的評(píng)分。DEAP中提供了預(yù)處理后的數(shù)據(jù)，包括將EEG信號(hào)下采樣至128 Hz，利用ICA算法去除眼電偽跡干擾。每段EEG信號(hào)的長(zhǎng)度為63 s(包括3 s實(shí)驗(yàn)前的腦電基線信號(hào)和60 s的視頻刺激信號(hào))。本文進(jìn)行的是針對(duì)效價(jià)和喚醒度的二分類(lèi)任務(wù)，根據(jù)被試的評(píng)分標(biāo)記數(shù)據(jù)集中樣本的類(lèi)別，以5為閾值，即將低于5的樣本標(biāo)記為低效價(jià)/低喚醒度，高于5的樣本標(biāo)記為高效價(jià)/高喚醒度。

1.2 數(shù)據(jù)預(yù)處理

根據(jù)腦神經(jīng)科學(xué)和心理學(xué)的研究，腦電信號(hào)的δ(1 Hz~3 Hz)、θ(4 Hz~7 Hz)、α(8 Hz~13 Hz)、β(14 Hz~30 Hz)、γ(31 Hz~50 Hz)5個(gè)節(jié)律與人的生理活動(dòng)有著密切聯(lián)系[13]，其中γ節(jié)律與人類(lèi)情感活動(dòng)有較大關(guān)聯(lián)[14－16]。根據(jù)各節(jié)律的起始和截止頻率，使用8階巴特沃斯濾波器對(duì)原始腦電信號(hào)進(jìn)行帶通濾波得到γ節(jié)律信號(hào)用于進(jìn)一步的提取特征和通道選擇。

2 方法

2.1 基于歸一化互信息的通道選擇

2.1.1 微分熵

微分熵(Differential Entropy，DE)可對(duì)連續(xù)性隨機(jī)變量概率分布的不確定性總量進(jìn)行具體量化，Duan[17]等人首次將其作為特征引入到基于EEG的情感識(shí)別任務(wù)中。采用DE特征可以減小獲取EEG高頻信號(hào)時(shí)所產(chǎn)生的濾波誤差[18]，進(jìn)而提高模型后續(xù)的學(xué)習(xí)效果，DE的定義為:

式中:p(x)表示連續(xù)信息的概率密度函數(shù)，[a，b]為信息的取值區(qū)間。對(duì)于固定頻帶的EEG樣本，其各通道采樣值可近似地認(rèn)為服從正態(tài)分布N(μ，σ2)，故單個(gè)EEG樣本各通道的DE特征為:

2.1.2 歸一化互信息

互信息(Mutual Information，MI)是衡量?jī)蓚€(gè)隨機(jī)變量之間相互依賴(lài)性的統(tǒng)計(jì)學(xué)指標(biāo)[19]，對(duì)于兩類(lèi)離散隨機(jī)變量X和Y，其互信息為:

式中:p(x，y)為兩個(gè)隨機(jī)變量的聯(lián)合分布，p(x)，p(y)分別為兩個(gè)隨機(jī)變量的邊緣分布。為了方便計(jì)算和對(duì)比，將所得的互信息進(jìn)行歸一化處理:

式中:H(X)與H(Y)分別為隨機(jī)變量X和Y的信息熵:

2.1.3 通道選擇

首先計(jì)算一次實(shí)驗(yàn)中各通道EEG信號(hào)的DE特征，然后計(jì)算各通道DE值之間的MI并進(jìn)行歸一化處理，相同通道之間的MI值為1，如此便得到了一個(gè)n×n(n為通道個(gè)數(shù))的實(shí)對(duì)稱(chēng)互信息矩陣INMI。

以權(quán)值來(lái)表征各通道的任務(wù)相關(guān)程度并進(jìn)行通道選擇，零初始化各被試全通道權(quán)值向量求出被試每次實(shí)驗(yàn)對(duì)應(yīng)的INMI后，對(duì)其按列相加，得到各通道與其他通道互信息和的向量VNMI，互信息和值越大代表該通道在情感活動(dòng)中與其余腦區(qū)電極交互信息越多，任務(wù)相關(guān)性越高，故取VNMI中最大元素，記其對(duì)應(yīng)的通道編號(hào)為l，同時(shí)將向量Ws中的值加一。單個(gè)被試共進(jìn)行M次實(shí)驗(yàn)，故經(jīng)過(guò)M輪更新計(jì)算后得到單個(gè)被試的最終權(quán)值向量Ws。

由于個(gè)體的差異性，依賴(lài)被試的通道選擇最終得到的是每個(gè)被試的最優(yōu)通道集，然而在一些應(yīng)用場(chǎng)景中對(duì)每一位使用者設(shè)計(jì)特定的最優(yōu)通道集是不切實(shí)際的，這里采用一種權(quán)值求和的思想，選擇出適合所有被試的最優(yōu)通道集，將每位被試經(jīng)過(guò)M輪更新后的權(quán)值向量Ws按通道編號(hào)對(duì)應(yīng)相加，得到不依賴(lài)具體被試的共性通道權(quán)值向量其中

N表示被試總數(shù)表示被試s第i個(gè)通道的權(quán)值。將Wf中的元素按從大到小的順序排列后，選出前k個(gè)通道作為最優(yōu)通道集合。

通道選擇方法的整體流程如表1所示:

表1 通道選擇流程

2.2 分類(lèi)

2.2.1 二維腦電序列變換

EEG信號(hào)由攜帶特定電極排布的可穿戴式腦電帽采集，DEAP中使用的是國(guó)際常用的“10－20”腦電帽，“10”和“20”是指相鄰電極之間的實(shí)際距離為顱骨前后或左右總距離的10%或20%[20]。各通道在某采樣時(shí)刻t采集到的腦電信號(hào)構(gòu)成向量Xt＝為t時(shí)刻第n個(gè)通道采集的腦電數(shù)據(jù)。對(duì)于一個(gè)時(shí)間窗[0，T－1]，共有T個(gè)這樣的向量構(gòu)成腦電信號(hào)序列。

原一維腦電信號(hào)只能表示兩個(gè)相鄰采樣點(diǎn)之間的數(shù)據(jù)變換情況，根據(jù)腦電帽的電極分布，將一維腦電信號(hào)Xt轉(zhuǎn)換為二維矩陣形式，既保留了電極空間排布的拓?fù)涮匦?，又可作為后續(xù)CNN網(wǎng)絡(luò)的輸入，因此向量Xt可轉(zhuǎn)換為二維矩陣形式的Yt，其中未排布電極的位置設(shè)為0，如此一個(gè)時(shí)間窗[0，T－1]內(nèi)的T個(gè)一維腦電數(shù)據(jù)[X0，X1，…，XT－1]便轉(zhuǎn)換為T(mén)個(gè)腦電數(shù)據(jù)矩陣[Y0，Y1，…，YT－1]，如圖2所示。

圖2 腦電信號(hào)采集和變換流程

2.2.2 混合深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

混合網(wǎng)絡(luò)結(jié)合了CNN和RNN兩種深度學(xué)習(xí)模型在提取樣本空域和時(shí)域特征的獨(dú)特優(yōu)勢(shì)，CNN模型用于處理二維腦電數(shù)據(jù)，而從屬于RNN網(wǎng)絡(luò)模型的LSTM則直接用于處理一維腦電數(shù)據(jù)，兩個(gè)并行的網(wǎng)絡(luò)同時(shí)對(duì)輸入樣本提取特征，然后對(duì)各自提取的特征進(jìn)行特征融合[21]，最后根據(jù)融合的特征進(jìn)行分類(lèi)，如圖3所示。

圖3 混合深度神經(jīng)網(wǎng)絡(luò)(HDNN)模型

CNN模型從經(jīng)過(guò)二維轉(zhuǎn)換的腦電信號(hào)序列中提取空間域特征，第j個(gè)EEG樣本經(jīng)過(guò)轉(zhuǎn)換后輸入到CNN模型中為Pj＝[Y0，Y1，…，YT－1]εRT×h×w，其中Yk(k＝0，1，2…T－1)是維度為h×w的矩陣。在CNN模型中共有4個(gè)卷積層，對(duì)于前三個(gè)卷積層，輸入的是二維的稀疏矩陣，使用3×3卷積核可能無(wú)法充分提取特征圖的特征信息，使用5×5卷積核可能會(huì)加大卷積運(yùn)算復(fù)雜度，故選擇4×4的卷積核，卷積核步長(zhǎng)設(shè)為“1”，并進(jìn)行調(diào)整補(bǔ)零(Padding)使得經(jīng)過(guò)卷積后的特征圖維度與卷積前保持一致，三個(gè)卷積層分別使用32、64、128個(gè)卷積核。傳統(tǒng)CNN模型中卷積核之間需要有池化層(Pooling Layer)操作，降低數(shù)據(jù)維度加速訓(xùn)練效果，然而本文CNN模塊中輸入的腦電矩陣維數(shù)較小，加入池化層可能會(huì)丟失關(guān)鍵的特征信息，故此CNN模型中未設(shè)置池化層。輸入序列經(jīng)過(guò)三層卷積后還需經(jīng)過(guò)一個(gè)拼接層(Concatenate Layer)使得各個(gè)采樣時(shí)刻特征融合為一個(gè)輸入序列的總特征，之后經(jīng)過(guò)一個(gè)具有10卷積核，卷積核維度為1×1的卷積層，作為CNN網(wǎng)絡(luò)的最終特征輸出，為了方便特征融合將最終特征輸出展平(Flatten)為一維特征向量CjεR810。

構(gòu)建雙層LSTM網(wǎng)絡(luò)提取各采樣點(diǎn)之間的時(shí)間域特征，LSTM模型第j個(gè)EEG樣本輸入為Qj＝[X0，X1，…，XT－1]，記第一層LSTM單元在當(dāng)前時(shí)刻t的隱層輸出為ht，則ht－1表示在前一時(shí)刻t－1時(shí)的隱層輸出，在LSTM的每一層中，前一個(gè)時(shí)間點(diǎn)的信息被傳遞到當(dāng)前時(shí)間點(diǎn)，以此類(lèi)推，影響最后一個(gè)采樣時(shí)刻的最終輸出。第一層LSTM的隱層輸出序列[h0，h1，…，hT－1]作為第二層LSTM單元的輸入。由于我們感興趣的是輸入EEG樣本整個(gè)時(shí)段的情感類(lèi)別，因此取第二層最后一個(gè)單元的輸出h′T－1作為輸入樣本的特征，將h′T－1送入全連接層，作為L(zhǎng)STM模型提取的最終特征Lj，其中Lj∈R1024。

將上述兩個(gè)模型提取到的空域特征和時(shí)域特征連接起來(lái)作為最終的特征向量，最后經(jīng)過(guò)一個(gè)帶有softmax輸出的全連接層進(jìn)行分類(lèi)。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 實(shí)驗(yàn)描述

本文的實(shí)驗(yàn)由兩部分組成，一部分是基于NMI的最優(yōu)通道選取，另一部分是模型分類(lèi)效果對(duì)比。其中我們分別對(duì)比了不同通道模式下混合深度神經(jīng)網(wǎng)絡(luò)與單模態(tài)深度神經(jīng)網(wǎng)絡(luò)的分類(lèi)效果。

本文對(duì)DEAP中預(yù)處理后的單次實(shí)驗(yàn)EEG信號(hào)，去除其前3 s的基線數(shù)據(jù)，以1 s時(shí)間窗將原信號(hào)劃分為60個(gè)互不重疊的樣本，故每位被試的40次實(shí)驗(yàn)共得到2 400個(gè)樣本，每個(gè)樣本的數(shù)據(jù)維度為128×32。對(duì)每位被試取80%的樣本作為訓(xùn)練集，20%的樣本作為測(cè)試集，并進(jìn)行5折交叉驗(yàn)證，取平均值作為單被試的分類(lèi)結(jié)果。所有被試分類(lèi)結(jié)果的平均值作為模型的最終分類(lèi)結(jié)果。

3.2 基于互信息的通道選擇結(jié)果

依照前述基于NMI的通道選擇算法，利用權(quán)值相加法對(duì)所有被試進(jìn)行統(tǒng)一的最優(yōu)通道選擇。將所得最終通道權(quán)值向量Wf中的元素按從大到小排列，取滿(mǎn)足前文通道選擇要求的前k個(gè)通道最為最優(yōu)通道集。為確定合理的k值，定義了閾值a:

通過(guò)調(diào)整a的值，來(lái)確定k的最優(yōu)解，同時(shí)計(jì)算每個(gè)閾值下對(duì)應(yīng)的通道集合，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，當(dāng)a值取55.46%時(shí)所對(duì)應(yīng)的通道集在被試驗(yàn)證集上取得了最優(yōu)的分類(lèi)效果，此時(shí)k＝10，最優(yōu)通道集的名稱(chēng)和所對(duì)應(yīng)的權(quán)值數(shù)量如圖4所示:

圖4 最優(yōu)通道權(quán)值

為進(jìn)一步驗(yàn)證所提通道選擇算法的普適性和泛化能力，本文以不放回抽樣的方式分別隨機(jī)抽取了8，16，24名被試的數(shù)據(jù)組成新的樣本集，分別使用本文所提出的基于互信息的通道選擇法篩選最優(yōu)通道，根據(jù)各通道所得到的歸一化權(quán)值大小繪制出對(duì)應(yīng)的腦地形圖，如圖5所示:

圖5 通道權(quán)值腦地形圖

由圖5可以看到，隨著樣本集數(shù)量的不斷增加，權(quán)值較大的通道的分布呈現(xiàn)出明顯的聚集域，如前額葉區(qū)(尤其是左前額葉)、頂葉區(qū)和顳葉區(qū)，這也在經(jīng)驗(yàn)上和人類(lèi)情感活動(dòng)相關(guān)的腦區(qū)大致吻合[22－25]，進(jìn)一步驗(yàn)證了本文所提的通道選擇方法的合理性，同時(shí)也可以觀察到由不同數(shù)量的隨機(jī)被試數(shù)據(jù)組成的新樣本集所得到的高權(quán)值通道分布大致相同，且隨著樣本數(shù)量的增加，分布范圍愈發(fā)穩(wěn)定，這在一定程度上證明了本文所提的通道選擇方法具有普適性和泛化能力。

3.3 全通道模型和基于通道選擇模型的分類(lèi)性能對(duì)比

基于通道選擇的結(jié)果，對(duì)比了全通道HDNN和選擇通道HDNN兩種模型在情感的效價(jià)和喚醒度上的分類(lèi)效果，基于上文通道選擇的結(jié)果，對(duì)CNN模塊輸入層的二維腦電矩陣中未經(jīng)選擇的22個(gè)通道數(shù)據(jù)置0，選中的10通道數(shù)據(jù)保持不變；對(duì)LSTM模塊的輸入層僅選擇這10個(gè)通道的數(shù)據(jù)即可。表2展示了各被試在兩種模型下的輸入數(shù)據(jù)格式。

表2 不同通道模式下模型輸入數(shù)據(jù)格式

所有被試在情感V－A維度上的平均分類(lèi)結(jié)果如表3所示，可以看到經(jīng)過(guò)通道選擇后，NMI-HDNN在使用低維度，高稀疏樣本的條件下分類(lèi)準(zhǔn)確率較全通道HDNN模型在效價(jià)和喚醒都上分別得到了1.15%和0.7%的提升，推斷在相同分類(lèi)模型下，通道選擇可以排除冗余通道的信息干擾，提高模型穩(wěn)定性。

表3 兩種模型下所有被試的平均分類(lèi)準(zhǔn)確率(均值±標(biāo)準(zhǔn)差)

3.4 混合深度神經(jīng)網(wǎng)絡(luò)與單模態(tài)深度神經(jīng)網(wǎng)絡(luò)的分類(lèi)性能對(duì)比

為研究空域特征和時(shí)域特征對(duì)腦電情感識(shí)別的影響和作用，分別去掉HDNN模型中的空域特征提取器CNN模塊和時(shí)域特征提取器LSTM模塊，保持余下獨(dú)立的CNN和LSTM模型網(wǎng)絡(luò)架構(gòu)不變，得到Single LSTM，Single CNN兩種分類(lèi)模型，結(jié)合通道選擇在DEAP數(shù)據(jù)集上對(duì)所有被試數(shù)據(jù)分別使用這兩種模型進(jìn)行分類(lèi)實(shí)驗(yàn)，結(jié)果和對(duì)比如圖6所示:

圖6 不同通道模式下Single-LSTM,Single-CNN,HDNN分別在情感V－A維度上的分類(lèi)效果

從圖6中可以看到，相同通道模式下HDNN模型的分類(lèi)準(zhǔn)確率最高，Single-CNN模型其次，Single-LSTM模型最低，經(jīng)過(guò)通道選擇后的各模型得到的分類(lèi)準(zhǔn)確率均高于全通道模型。

從以分類(lèi)準(zhǔn)確率標(biāo)準(zhǔn)差做出的誤差線可以看到，相同通道模式下HDNN模型的標(biāo)準(zhǔn)差最小，Single-CNN模型其次，Single-LSTM模型最高，且經(jīng)過(guò)通道選擇后的各模型標(biāo)準(zhǔn)差大多低于全通道模型。

實(shí)驗(yàn)結(jié)果佐證了提出的NMI-HDNN模型不僅可以集成不同深度學(xué)習(xí)網(wǎng)絡(luò)的分類(lèi)優(yōu)勢(shì)，還排除了冗余通道的信息干擾，取得了最優(yōu)的分類(lèi)結(jié)果。

3.5 同類(lèi)研究對(duì)比

表4 為其他使用DEAP情感腦電數(shù)據(jù)集文獻(xiàn)的分類(lèi)結(jié)果與本文方法結(jié)果的對(duì)比，分類(lèi)任務(wù)均為在效價(jià)和喚醒度上的二分類(lèi)。

表4 同類(lèi)研究不同分類(lèi)方法的分類(lèi)結(jié)果比較

文獻(xiàn)[7－9]。均通過(guò)淺層機(jī)器學(xué)習(xí)模型進(jìn)行情感識(shí)別，其中文獻(xiàn)[7]和文獻(xiàn)[8]對(duì)提取到的EEG特征進(jìn)行直接分類(lèi)，文獻(xiàn)[9]則引入稀疏組lasso算法對(duì)獲取的granger因果特征值進(jìn)行特征篩選，獲得高相關(guān)性特征子集作為分類(lèi)特征，其取得的分類(lèi)結(jié)果優(yōu)于前者，這一定程度的證明了對(duì)任務(wù)相關(guān)性的特征進(jìn)行篩選有助于提高BCI的分類(lèi)性能。本文則通過(guò)計(jì)算個(gè)通道間的NMI值達(dá)到了對(duì)任務(wù)相關(guān)通道的篩選，并結(jié)合混合深度神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)，結(jié)果優(yōu)于基于淺層機(jī)器學(xué)習(xí)模型的方法。

文獻(xiàn)[10]與文獻(xiàn)[11]。使用單模態(tài)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和情感識(shí)別，其分類(lèi)結(jié)果低于本文提出的NMI-HDNN的分類(lèi)結(jié)果，說(shuō)明HDNN較DNN能更充分的提取EEG信號(hào)的多域特征，且通道選擇可排除冗余信息干擾，降低模型的訓(xùn)練難度，證明了本文方法的可行性和優(yōu)越性。

4 結(jié)論

本文提出了一種結(jié)合NMI通道選擇與混合深度神經(jīng)網(wǎng)絡(luò)的腦電情感識(shí)別方法，提取EEG信號(hào)各通道中與情感活動(dòng)最相關(guān)的γ節(jié)律的DE特征，通過(guò)DE計(jì)算通道間相互的NMI，將所得NMI矩陣按列求和后的向量作為表征各通道任務(wù)相關(guān)性的權(quán)值，通過(guò)權(quán)值大小選出一定數(shù)量的最優(yōu)通道，之后采用CNN與LSTM相結(jié)合的混合DNN網(wǎng)絡(luò)進(jìn)行樣本特征提取和分類(lèi)。使用該方法在公開(kāi)的DEAP情感腦電數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)對(duì)比，結(jié)果表明通道選擇可以排除冗余通道信息干擾，提高分類(lèi)準(zhǔn)確率。同時(shí)HDNN的分類(lèi)效果優(yōu)于單一結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，說(shuō)明混合神經(jīng)網(wǎng)絡(luò)可以繼承不同深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，挖掘更多的EEG樣本信息。該方法一定程度解決了淺層機(jī)器學(xué)習(xí)在腦電情感識(shí)別領(lǐng)域依賴(lài)特征工程的問(wèn)題。在未來(lái)的工作中將進(jìn)一步探索可進(jìn)行跨被試，跨時(shí)段工作的腦電情感分類(lèi)模型，以提高情感BCI技術(shù)的應(yīng)用價(jià)值。