基于卷積聯(lián)合適應(yīng)網(wǎng)絡(luò)的腦電信號(hào)情感識(shí)別

陳景霞，胡修文，唐喆喆，劉 洋，胡凱蕾

（陜西科技大學(xué)電子信息與人工智能學(xué)院，西安 710021）

引 言

近年來(lái)，基于腦-機(jī)接口（Brain computer interface，BCI）提取腦電信號(hào)（Electroencephalogram，EEG）的情感識(shí)別成為情感計(jì)算領(lǐng)域中一個(gè)備受關(guān)注的研究熱點(diǎn)。情感計(jì)算是一個(gè)是需要結(jié)合計(jì)算機(jī)科學(xué)、心理學(xué)以及社會(huì)學(xué)等多學(xué)科知識(shí)進(jìn)行交叉研究的領(lǐng)域，其目的是通過(guò)讓計(jì)算機(jī)學(xué)習(xí)人與人之間交流互動(dòng)的特點(diǎn)，使得人機(jī)交互過(guò)程中計(jì)算機(jī)能夠理解人產(chǎn)生的情感變化并做出適當(dāng)?shù)姆磻?yīng)。情感計(jì)算研究可以借助很多生理信號(hào)，如心率血壓、皮膚電活動(dòng)、眼電信號(hào)和腦電信號(hào)等。研究表明，皮膚電反應(yīng)是一種有效測(cè)量情感變化程度的生理信號(hào)指標(biāo)，腦電信號(hào)就是皮膚電的一種，是被試者佩戴的腦電帽在頭皮處采集的大腦發(fā)出的微弱電信號(hào)，其中包含大量人體生理信息。人類(lèi)情感發(fā)生變化時(shí)，EEG 信號(hào)也會(huì)隨著發(fā)生變化［1］。當(dāng)人類(lèi)情緒變化大時(shí)，EEG 信號(hào)也會(huì)產(chǎn)生較大波動(dòng)；當(dāng)人類(lèi)情緒平穩(wěn)時(shí)，EEG 信號(hào)也趨近于平緩。由于EEG 信號(hào)能夠直接反應(yīng)人的情感變化，具有客觀(guān)的和無(wú)法偽裝的特性，正在被越來(lái)越多的應(yīng)用到情感計(jì)算領(lǐng)域中［2］。

由于腦電信號(hào)存在較大的個(gè)體差異，一個(gè)模型往往只適用于一個(gè)特定的任務(wù)，為了提高模型的泛化能力，遷移學(xué)習(xí)是解決這個(gè)問(wèn)題的一種有效途徑［3］。遷移學(xué)習(xí)可以把訓(xùn)練好的模型、參數(shù)等用于另一個(gè)相似任務(wù)上，大大減小了最優(yōu)模型的訓(xùn)練時(shí)間，同時(shí)也減少了訓(xùn)練模型所需的數(shù)據(jù)量。隨著遷移學(xué)習(xí)的快速發(fā)展，基于遷移學(xué)習(xí)的腦電情感識(shí)別成為情感計(jì)算領(lǐng)域的一項(xiàng)重要研究?jī)?nèi)容。傳統(tǒng)的遷移學(xué)習(xí)方法不需要復(fù)雜的深度網(wǎng)絡(luò)和大量的數(shù)據(jù)，就可以達(dá)到很好的遷移效果。Dai 等［4］提出了TrAda-Boost 遷移學(xué)習(xí)框架，利用少量帶有標(biāo)簽的目標(biāo)域數(shù)據(jù)和大量源域數(shù)據(jù)訓(xùn)練分類(lèi)模型，增加有效參數(shù)的權(quán)重訓(xùn)練網(wǎng)絡(luò)，完成從源域到目標(biāo)域數(shù)據(jù)的遷移；Zhang 等［5］進(jìn)一步使用TrAdaBoost 方法來(lái)訓(xùn)練基于個(gè)體相似度的模型，使用最大均值差異（Maximum mean discrepancy，MMD）［6］計(jì)算個(gè)體間分布的差異程度，該方法在DEAP 數(shù)據(jù)集效價(jià)上情感二分類(lèi)實(shí)驗(yàn)精度達(dá)到66.7%，在喚醒度上實(shí)驗(yàn)精度達(dá)到66.1%；Zheng 等［7］對(duì)比了多種經(jīng)典的遷移學(xué)習(xí)方法在SEED 數(shù)據(jù)集上進(jìn)行三分類(lèi)情感識(shí)別實(shí)驗(yàn)，其中直推式參數(shù)遷移（Transductive parameter transfer，TPT）［8］在源域數(shù)據(jù)上訓(xùn)練支持向量機(jī)（Support vector machine，SVM）分類(lèi)器，選取效果最好的分類(lèi)器參數(shù)和數(shù)據(jù)分布的回歸函數(shù)對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行測(cè)試，達(dá)到了76.31%的分類(lèi)精度。

上述研究表明，傳統(tǒng)的遷移學(xué)習(xí)方法對(duì)提高情感識(shí)別分類(lèi)任務(wù)是有效的。隨著深度學(xué)習(xí)的快速發(fā)展，深度遷移學(xué)習(xí)方法與傳統(tǒng)遷移學(xué)習(xí)方法相比表現(xiàn)出更好的性能［9-10］。Long 等［11］提出了深度自適應(yīng)網(wǎng)絡(luò)（Deep adaptation network，DAN）方法，在AlexNet 網(wǎng)絡(luò)分類(lèi)器的前一層加入多層多核MMD（Multi kernel MMD，MK-MMD）［12］的適配層，減小源域和目標(biāo)域數(shù)據(jù)分布之間的差異，在圖像領(lǐng)域取得了較好的效果；Li 等［13］提出將DAN 的思想應(yīng)用在情感識(shí)別中，在多層感知機(jī)（Multilayer perceptron，MLP）網(wǎng)絡(luò)中加入MK-MMD 層，對(duì)源域和目標(biāo)域數(shù)據(jù)進(jìn)行適配，從而最大程度消除了個(gè)體數(shù)據(jù)差異，該方法準(zhǔn)確率達(dá)到83.81%。Ganin 等［14］提出了領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)（Domain-adversarial neural network，DANN），利用網(wǎng)絡(luò)對(duì)抗訓(xùn)練的思想進(jìn)行域間數(shù)據(jù)的適配，增加一個(gè)梯度反轉(zhuǎn)層監(jiān)督網(wǎng)絡(luò)的對(duì)抗訓(xùn)練，當(dāng)網(wǎng)絡(luò)無(wú)法區(qū)分特征來(lái)自源域還是目標(biāo)域時(shí)，便實(shí)現(xiàn)了有效的域間遷移，實(shí)驗(yàn)證明DANN 在Office 數(shù)據(jù)集上的圖像分類(lèi)任務(wù)表現(xiàn)良好；Ma 等［15］將DANN 改進(jìn)后提出了一種領(lǐng)域殘差網(wǎng)絡(luò)（Domain residual network，DResNet）用于訓(xùn)練情感模型，在整個(gè)模型訓(xùn)練中目標(biāo)域數(shù)據(jù)不需要帶有標(biāo)簽，該方法在SEED-VIG 數(shù)據(jù)集上對(duì)司機(jī)疲勞駕駛需警惕程度的預(yù)測(cè)準(zhǔn)確率達(dá)到了83.86%。Liu 等［16］將聯(lián)合適應(yīng)網(wǎng)絡(luò)（Joint adaptation network，JAN）［17］思想應(yīng)用于情感識(shí)別中，JAN 方法在深度網(wǎng)絡(luò)中對(duì)數(shù)據(jù)進(jìn)行聯(lián)合分布自適應(yīng)，采用AlexNet 網(wǎng)絡(luò)融入MMD 度量算法進(jìn)行情感識(shí)別實(shí)驗(yàn)，對(duì)SEED 和SEED-V 數(shù)據(jù)集上的DE 特征進(jìn)行三分類(lèi)和五分類(lèi)情感預(yù)測(cè)，被試內(nèi)實(shí)驗(yàn)準(zhǔn)確率分別達(dá)到了79.87%和76.46%。

雖然研究者們?cè)谑褂眠w移學(xué)習(xí)方法進(jìn)行EEG 情感識(shí)別方面取得了一定進(jìn)展，但仍然存在兩個(gè)重要問(wèn)題需要進(jìn)一步研究：一是如何減小源域和目標(biāo)域EEG 間分布差異，不同被試間EEG 信號(hào)差異很大，而且隨情緒變化波動(dòng)明顯，容易導(dǎo)致EEG 情感分類(lèi)模型的適應(yīng)性和泛化能力較差；二是如何在網(wǎng)絡(luò)中實(shí)現(xiàn)適配層之間聯(lián)合分布的互相聯(lián)系，進(jìn)一步提高適配層的效率。通常在深度網(wǎng)絡(luò)中進(jìn)行深層特征提取后，用于在特征和標(biāo)簽之間減小數(shù)據(jù)分布的激活函數(shù)只會(huì)作用在適配層的最后一層，導(dǎo)致網(wǎng)絡(luò)前面的訓(xùn)練沒(méi)有把源域和目標(biāo)域數(shù)據(jù)的信息關(guān)聯(lián)起來(lái)。為了解決這兩個(gè)問(wèn)題，本文提出將JAN 分別和CNN、門(mén)控循環(huán)單元（Gate recurrent unit，GRU）網(wǎng)絡(luò)進(jìn)行融合，同時(shí)使用含有聯(lián)合分布的多核最大均值差異算法（Multi-kernel joint maximum mean discrepancy，MK-JMMD）對(duì)源域和目標(biāo)域數(shù)據(jù)的概率分布進(jìn)行度量，通過(guò)縮小數(shù)據(jù)間邊緣概率分布和條件概率分布的差異來(lái)解決基于EEG 的領(lǐng)域自適應(yīng)情感識(shí)別問(wèn)題。

1 本文方法

1.1 最大均值差異算法

最大均值差異（MMD）［6］是遷移學(xué)習(xí)訓(xùn)練中使用最廣的損失函數(shù)之一，它通過(guò)核函數(shù)將兩種不同但相關(guān)的數(shù)據(jù)映射到高維的再生核希爾伯特空間（Reproducing kernel Hilbert space，RKHS）［18］，在高維空間中來(lái)度量?jī)煞N數(shù)據(jù)的分布距離。RKHS 是由核函數(shù)構(gòu)建的完備的內(nèi)積函數(shù)空間。設(shè)Hs是希爾伯特空間，存在函數(shù)k：X×X→R，X?Rn，滿(mǎn)足對(duì)任意x∈X，k(x，·)∈Hs且k(·，·)具有再生性質(zhì)，即

那么稱(chēng)H 為再生核希爾伯特空間，k(x，·) 可以看作一個(gè)特征映射Φ(x)，其 中k(x，x′)=。

用MMD 度量算法計(jì)算源域和目標(biāo)域在RKHS 空間映射的最小距離。從分布P(Xs)和Q(Xt)中分別取源域樣本集和目標(biāo)域樣本集，則MMD 的度量在RKHS 中映射距離的計(jì)算公式為

當(dāng)且僅當(dāng)P=Q時(shí)，DH(P，Q)=0。MMD 的平方距離為

1.2 聯(lián)合適應(yīng)網(wǎng)絡(luò)

聯(lián)合適應(yīng)網(wǎng)絡(luò)（JAN）是一種領(lǐng)域自適應(yīng)的學(xué)習(xí)模型，通過(guò)學(xué)習(xí)達(dá)到減小數(shù)據(jù)間聯(lián)合分布差異的目的。聯(lián)合分布由邊緣概率分布P(Xs，Ys)和條件概率分布Q(Xt，Yt)組成，上標(biāo)s 和t 分別代表源域和目標(biāo)域，X和Y分別代表數(shù)據(jù)和標(biāo)簽。研究表明，將數(shù)據(jù)輸入到深度網(wǎng)絡(luò)中進(jìn)行深度特征提取，聯(lián)合分布的變化只會(huì)停留在激活層Z1，Z2，…，ZL的最高層網(wǎng)絡(luò)L層中［19］，因此，JAN 利用層與層間的聯(lián)合分布P(Zs1，Zs2，…，ZsL)和Q(Zt1，Zt2，…，ZtL)替換P(Xs，Ys)和Q(Xt，Yt)。

本文將源域和目標(biāo)域EEG 數(shù)據(jù)通過(guò)核函數(shù)映射到再生核希爾伯特空間，使用JMMD 算法度量JAN 網(wǎng)絡(luò)所有適配層的聯(lián)合分布差異，JMMD 定義為

核函數(shù)k使用了數(shù)值不唯一的權(quán)重，體現(xiàn)了不同層? ∈L中其他變量之間的相互作用。

1.3 深度卷積聯(lián)合適應(yīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）是標(biāo)準(zhǔn)全連接神經(jīng)網(wǎng)絡(luò)的一種變體，在圖像、文本分類(lèi)與識(shí)別領(lǐng)域均達(dá)到不錯(cuò)的性能，也越來(lái)越多地被使用在EEG 相關(guān)任務(wù)中［20］。Yoon［21］用多個(gè)大小不同的長(zhǎng)方形卷積核提取語(yǔ)義特征，驗(yàn)證了長(zhǎng)方形卷積核可以更好地獲取文本信息的局部相關(guān)性。Chakrabarty 等［22］證明使用大小為M×1 的卷積核（M＞1）進(jìn)行訓(xùn)練比正方形卷積核可以在動(dòng)態(tài)聲學(xué)場(chǎng)景中達(dá)到更好的定位性能。

聲學(xué)信號(hào)是波狀數(shù)據(jù)，同樣腦電信號(hào)也是波狀數(shù)據(jù)。在上述工作啟發(fā)下，本文采用具有正方形和長(zhǎng)方形兩種不同尺度卷積核構(gòu)成的CNN 模型，先從原始EEG 數(shù)據(jù)中學(xué)習(xí)深層時(shí)空相關(guān)語(yǔ)義特征，然后再輸入JAN 進(jìn)一步學(xué)習(xí)源域和目標(biāo)域的聯(lián)合分布，通過(guò)多核JMMD 算法最小化兩個(gè)聯(lián)合分布的差異，使源域上訓(xùn)練的分類(lèi)器能更好地適應(yīng)目標(biāo)域測(cè)試集上的數(shù)據(jù)。該組合模型被稱(chēng)為CNN-JAN 模型，其結(jié)構(gòu)如圖1 所示，先使用32 個(gè)3×3 正方形卷積核學(xué)習(xí)通道間數(shù)據(jù)的相關(guān)性信息，再接入64 個(gè)大小為3×1 的長(zhǎng)方形卷積核，這一卷積層可以將數(shù)據(jù)信息合并到學(xué)習(xí)的空間特征中，兩個(gè)卷積層均進(jìn)行步長(zhǎng)為1 有填充的卷積操作，采用ReLu 激活函數(shù)和Adam 優(yōu)化器。

圖1 CNN-JAN 模型Fig.1 CNN-JAN model

CNN-JAN 模型的兩個(gè)卷積層后分別連接兩個(gè)池化層，選擇2×2 大小且步長(zhǎng)為2 的Maxpooling 過(guò)濾器對(duì)經(jīng)過(guò)卷積核處理的數(shù)據(jù)進(jìn)行下采樣處理；將經(jīng)過(guò)第二個(gè)池化層的數(shù)據(jù)輸入JAN 全連接適配層，適配層對(duì)經(jīng)過(guò)CNN 提取的空間特征進(jìn)行遷移學(xué)習(xí)，減小源域和目標(biāo)域聯(lián)合分布的差異。多核JMMD（Multi-kernel JMMD，MK-JMMD）是在JMMD 的基礎(chǔ)上由多個(gè)核線(xiàn)性組合得到的，具體表示為

式中：K表示多個(gè)核函數(shù)經(jīng)過(guò)線(xiàn)性組合的公式；k表示核函數(shù)；β表示核函數(shù)的數(shù)量。數(shù)據(jù)經(jīng)過(guò)兩層適配層后送入一個(gè)全連接層，并使用Softmax 分類(lèi)器進(jìn)行三分類(lèi)情感預(yù)測(cè)。CNN-JAN 模型的優(yōu)化目標(biāo)是最小化MK-JMMD 的損失函數(shù)和網(wǎng)絡(luò)自身?yè)p失函數(shù)之和，CNN 網(wǎng)絡(luò)的交叉熵?fù)p失函數(shù)為

式中J(·，·)為交叉熵?fù)p失函數(shù)。CNN-JAN 模型的最終目標(biāo)函數(shù)定義為

式中λ＞0 為MK-JMMD 懲罰項(xiàng)權(quán)衡參數(shù)。所提CNN-JAN 模型在訓(xùn)練中考慮到了數(shù)據(jù)不同通道間的相關(guān)性和深度網(wǎng)絡(luò)層與層之間的相關(guān)性，能更充分地完成源域到目標(biāo)域的遷移學(xué)習(xí)，從而提升模型在情感識(shí)別任務(wù)中的性能。

本文同時(shí)提出用來(lái)提取EEG 序列時(shí)間相關(guān)性特征的GRU-JAN 組合網(wǎng)絡(luò)作為對(duì)比模型。門(mén)控循環(huán)單元（Gate recurrent unit，GRU）［23］適合學(xué)習(xí)預(yù)測(cè)時(shí)間順序數(shù)據(jù)之間的上下文相關(guān)信息，EEG 信號(hào)就是按照時(shí)間序列采集的信息。GRU-JAN 同CNN-JAN 結(jié)構(gòu)相似，首先將源域和目標(biāo)域特征分別輸入到一層GRU 中，設(shè)GRU 的當(dāng)前節(jié)點(diǎn)的輸入為xt，輸入數(shù)據(jù)與保存之前所有參數(shù)的隱藏節(jié)點(diǎn)ht-1共同在網(wǎng)絡(luò)中學(xué)習(xí)，經(jīng)過(guò)一個(gè)節(jié)點(diǎn)的學(xué)習(xí)會(huì)得到輸出yt和將傳遞給下一個(gè)節(jié)點(diǎn)的隱藏節(jié)點(diǎn)ht。再將經(jīng)過(guò)GRU 學(xué)習(xí)到的時(shí)序相關(guān)特征輸入適配層，在適配層經(jīng)過(guò)MK-JMMD 度量最終接入全連接層和分類(lèi)層進(jìn)行情感分類(lèi)。

2 數(shù)據(jù)集及數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)集

本文采用上海交通大學(xué)BCMI 實(shí)驗(yàn)室提供的SEED 數(shù)據(jù)集（The SJTU emotion EEG dataset）進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集記錄了7 名男性被試和8 名女性被試觀(guān)看15 個(gè)不同的中國(guó)電影剪輯片段時(shí)，根據(jù)電影情節(jié)變化刺激大腦所產(chǎn)生的腦電信號(hào)，這些視頻引發(fā)3 種類(lèi)型的情緒，包括中立、積極和消極。所有被試都進(jìn)行了3 次腦電圖記錄實(shí)驗(yàn)，每次實(shí)驗(yàn)之間間隔兩周，因此，每個(gè)被試都有3 次實(shí)驗(yàn)數(shù)據(jù)，每次實(shí)驗(yàn)包含15 次62 個(gè)通道的腦電信號(hào)數(shù)據(jù)。數(shù)據(jù)采集時(shí)，每個(gè)電影片段播放前均有5 s 的提示時(shí)間，電影片段4 min 的播放時(shí)間，自我完成問(wèn)卷評(píng)估45 s，休息時(shí)間15 s。采集裝置采用“10/20”國(guó)際導(dǎo)聯(lián)標(biāo)準(zhǔn)的62 導(dǎo)聯(lián)電極帽，采樣頻率為1 000 Hz，下采樣到200 Hz。

2.2 數(shù)據(jù)預(yù)處理

已有的研究結(jié)果［9，13］表明微分熵（Differential entropy，DE）特征在腦電情感識(shí)別實(shí)驗(yàn)中取得了較優(yōu)的性能。本研究在上述成果的啟發(fā)下，使用SEED 數(shù)據(jù)集提供的微分熵和微分尾端性（Differential caudality，DCAU）兩種頻域相關(guān)特征進(jìn)行情感分類(lèi)實(shí)驗(yàn)。該數(shù)據(jù)集共有45 個(gè).mat 文件，每一個(gè).mat 文件記錄了每個(gè)被試每次實(shí)驗(yàn)觀(guān)看15 個(gè)電影片段所采集腦電數(shù)據(jù)的5 個(gè)特征。其中，DE 特征的數(shù)據(jù)格式為62（Channels）×樣本數(shù)×5（Frequency bands），5 個(gè)頻帶分別為δ、θ、α、β、γ［24］。使用線(xiàn)性動(dòng)態(tài)系統(tǒng)（Linear dynamic system，LDS）算法對(duì)這些特征進(jìn)行了平滑處理。由于15 名被試分別進(jìn)行了3 組不同時(shí)間的實(shí)驗(yàn)，為了提高計(jì)算效率，將每組實(shí)驗(yàn)觀(guān)看15 視頻（15 trials）采集的EEG 數(shù)據(jù)分別降采樣至185個(gè)采樣點(diǎn)，再將每個(gè)被試每次實(shí)驗(yàn)EEG 數(shù)據(jù)格式整理為62（Channels）×5×2 775（Samples=185 Samples/Trial×15 Trials）。

DCAU 是大腦額葉和后葉電極位置的微分熵進(jìn)行差分計(jì)算得到的特征數(shù)據(jù)，反應(yīng)了不同腦區(qū)產(chǎn)生的電信號(hào)間的相互聯(lián)系，它的數(shù)據(jù)結(jié)構(gòu)為32（Channels）×樣本數(shù)×5（Frequency bands），同樣提取LDS算法處理過(guò)的數(shù)據(jù)，對(duì)每個(gè)Trial 分別下采樣至185 個(gè)采樣點(diǎn)，每組數(shù)據(jù)大小整理為32（Channels）×5×2 775（Samples）。SEED 數(shù)據(jù)集將實(shí)驗(yàn)中刺激產(chǎn)生的情緒分為積極、中立和消極，使用｛1，0，-1｝組成的數(shù)組作為標(biāo)簽表示這3 種不同的情緒，將標(biāo)簽大小整理為2 775×1。

3 情感分類(lèi)實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)基于上述SEED 數(shù)據(jù)集里15 名被試的腦電特征來(lái)驗(yàn)證所提出方法的可行性和有效性，采用交叉驗(yàn)證來(lái)測(cè)試算法準(zhǔn)確性。所提模型在pytorch 1.8.1 框架和GeForce GTX 3090 GPU 上實(shí)現(xiàn)。CNN-JAN 模型的適配層選擇徑向基函數(shù)（Radial basis function，RBF），經(jīng)過(guò)參數(shù)調(diào)優(yōu)后學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為10 000 次。本文選擇3 種傳統(tǒng)遷移學(xué)習(xí)方法和1 種深度自適應(yīng)網(wǎng)絡(luò)作為基準(zhǔn)方法展開(kāi)對(duì)比實(shí)驗(yàn)，4 種對(duì)比方法的基本原理和配置如下：

（1）遷移成分分析法（Transfer component analysis，TCA）［25］將特征映射到RKHS 空間中，可以最大化不同類(lèi)別數(shù)據(jù)之間的方差和最小化源域和目標(biāo)域數(shù)據(jù)分布之間的距離，最大程度的保留使學(xué)習(xí)任務(wù)有效的數(shù)據(jù)屬性。

（2）聯(lián)合分布適配法（Joint distribution adaptation，JDA）［26］同時(shí)適配源域和目標(biāo)域的邊緣分布概率和條件分布概率。

（3）平衡分布適配（Balanced distribution adaptation，BDA）［27］對(duì)JDA 方法進(jìn)行改進(jìn)，根據(jù)不同的數(shù)據(jù)領(lǐng)域?qū)Σ煌植嫉臋?quán)重進(jìn)行動(dòng)態(tài)自適應(yīng)調(diào)整。

TCA、JDA 和BDA 三種方法均選擇線(xiàn)性核作為核函數(shù)，都使用KNN 分類(lèi)器進(jìn)行三分類(lèi)實(shí)驗(yàn)。TCA、JDA 和BDA 的正則化參數(shù)分別設(shè)為5.0、0.8 和0.7。

（4）DAN：由兩層卷積層后分別連接兩層池化層，再加上兩層含有MK-MMD 的全連接適配層和一層全連接層構(gòu)成。兩個(gè)卷積層分別由32 個(gè)3×3 和64 個(gè)2×2 大小的正方形卷積核構(gòu)成，進(jìn)行步長(zhǎng)為1 的有填充的卷積操作。兩個(gè)池化層都采用2×2 大小的Maxpooling 過(guò)濾器對(duì)經(jīng)過(guò)卷積核處理的數(shù)據(jù)進(jìn)行下采樣處理，步長(zhǎng)設(shè)置為2。將經(jīng)過(guò)第二個(gè)池化層池化過(guò)的數(shù)據(jù)輸入采用RBF 作為核函數(shù)的全連接適配層，經(jīng)過(guò)兩層適配層后接入全連接層，使用Softmax 分類(lèi)器進(jìn)行三類(lèi)情感分類(lèi)。卷積層均采用ReLu 激活函數(shù)，選擇Adam 優(yōu)化器，經(jīng)過(guò)參數(shù)調(diào)優(yōu)后學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為10 000 次。

3.1 同一被試跨時(shí)間的實(shí)驗(yàn)結(jié)果與分析

同一被試跨時(shí)間的實(shí)驗(yàn)用來(lái)預(yù)測(cè)被試在不同時(shí)間的情緒變化，檢測(cè)所提模型隨時(shí)間變化的穩(wěn)定性。在實(shí)驗(yàn)中，分別選擇其中一組數(shù)據(jù)作為源域，其他兩組數(shù)據(jù)分別作為目標(biāo)域構(gòu)建交叉驗(yàn)證集，將三折交叉驗(yàn)證的平均分類(lèi)準(zhǔn)確率作為每個(gè)被試最終的跨時(shí)間實(shí)驗(yàn)結(jié)果。所提的CNN-JAN 模型以及各種基準(zhǔn)模型的整體實(shí)驗(yàn)性能如表1 所示。

表1 同一被試跨時(shí)間實(shí)驗(yàn)的平均分類(lèi)準(zhǔn)確率Table 1 Average classification accuracy of the within-subject across time experiments

觀(guān)察發(fā)現(xiàn)，在DCAU 特征上，傳統(tǒng)遷移學(xué)習(xí)方法TCA 和JDA 的平均準(zhǔn)確率分別為60.52%和59.54%，BDA 模型的性能較優(yōu)，其平均準(zhǔn)確率為60.73%，說(shuō)明BDA 模型加入對(duì)數(shù)據(jù)分布的權(quán)重進(jìn)行動(dòng)態(tài)調(diào)整的方法是有效的。進(jìn)一步觀(guān)察發(fā)現(xiàn)DAN 模型的平均準(zhǔn)確率為76.65%，表明深度遷移學(xué)習(xí)方法明顯優(yōu)于傳統(tǒng)的遷移學(xué)習(xí)方法，而所提CNN-JAN 模型的平均準(zhǔn)確率達(dá)到78.38%，在對(duì)比方法中表現(xiàn)最優(yōu)。

在DE 特征上，BDA 也取得傳統(tǒng)遷移學(xué)習(xí)方法里最好的準(zhǔn)確率73.14%，較TCA 和JDA分別高出9.92%和0.40%。深度遷移學(xué)習(xí)方法DAN 模型準(zhǔn)確率為81.08%，說(shuō)明使用CNN 提取空間相關(guān)性后再進(jìn)行遷移學(xué)習(xí)可以提升情感分類(lèi)任務(wù)的準(zhǔn)確率。同時(shí)比較深度模型的參數(shù)量和運(yùn)行時(shí)間，DAN 模型參數(shù)總量為15 174 個(gè)，單次一組數(shù)據(jù)的實(shí)驗(yàn)運(yùn)行時(shí)間738 s，CNN-JAN 模型參數(shù)總量為13 126 個(gè)，單次實(shí)驗(yàn)運(yùn)行時(shí)間5 771 s，雖然所提CNN-JAN 模型耗時(shí)較多，但其參數(shù)總量少于DAN 模型，且CNN-JAN 達(dá)到最優(yōu)準(zhǔn)確率84.01%，比DAN 的準(zhǔn)確率高出2.93%。CNN-JAN 模型性能提升顯著，表明CNN-JAN 在DAN 考慮不同分布差異的基礎(chǔ)上同時(shí)考慮適配層間的分布可以進(jìn)一步提高EEG 情感分類(lèi)準(zhǔn)確率。

同時(shí)觀(guān)察發(fā)現(xiàn)，使用DE 特征進(jìn)行實(shí)驗(yàn)的準(zhǔn)確率在各個(gè)模型上都高于DCAU 特征，這種現(xiàn)象可能是因?yàn)镈CAU 特征是在DE 特征基礎(chǔ)上進(jìn)行通道間的差分計(jì)算得到的特征數(shù)據(jù)，EEG 信號(hào)的各個(gè)通道采集的是不同大腦區(qū)域的生理電信號(hào)，數(shù)據(jù)本身具有較大差異性，通道間的差異經(jīng)過(guò)差分計(jì)算之后反而更加凸顯，使得DCAU 特征的分類(lèi)準(zhǔn)確率低于DE 特征。15 名被試以DE 特征為輸入進(jìn)行跨時(shí)間情感三分類(lèi)實(shí)驗(yàn)的平均準(zhǔn)確率對(duì)比情況如圖2 所示。觀(guān)察圖2發(fā)現(xiàn)，傳統(tǒng)遷移學(xué)習(xí)方法在每個(gè)被試上的準(zhǔn)確率大多數(shù)都低于深度遷移學(xué)習(xí)方法，但在一兩個(gè)被試上性能反超深度遷移學(xué)習(xí)模型，如sub3 和sub13 上JDA 的準(zhǔn)確率均超過(guò)80%，說(shuō)明源域和目標(biāo)域的邊緣分布和條件分布權(quán)重大體相同，適合采用JDA 對(duì)數(shù)據(jù)進(jìn)行處理，但對(duì)于源域和目標(biāo)域上這兩種分布差異較大的數(shù)據(jù)，JDA 方法的準(zhǔn)確率并沒(méi)有達(dá)到最優(yōu)?？傮w來(lái)看，與其他方法對(duì)比，雖然CNN-JAN模型沒(méi)有在每個(gè)被試上都取得最好的準(zhǔn)確率，但該模型對(duì)各種不同分布的數(shù)據(jù)均表現(xiàn)出不錯(cuò)的性能，其平均精度達(dá)到了最高，證明了該模型的有效性和優(yōu)越性。同時(shí)在圖2 中可以看出第15 名被試使用CNN-JAN 模型在DE 特征上的分類(lèi)準(zhǔn)確率達(dá)到98.85%，為所有被試最高。圖3 為sub15 訓(xùn)練集上效果最優(yōu)的一次學(xué)習(xí)曲線(xiàn)，橙線(xiàn)表示訓(xùn)練準(zhǔn)確率accuracy，藍(lán)線(xiàn)表示平均誤差loss。從圖3 可以看出，隨著迭代次數(shù)的增加，訓(xùn)練準(zhǔn)確率從0.35 增長(zhǎng)至0.991 7 處收斂；平均誤差loss 整體呈現(xiàn)下降趨勢(shì)，從0.13 逐步降低向0 逼近。在這一過(guò)程中，Iteration 在6 000 到7 500 輪之間loss 出現(xiàn)小幅度波動(dòng)，但并未對(duì)訓(xùn)練準(zhǔn)確率造成影響。

圖2 15 名被試DE 特征被試內(nèi)跨時(shí)間實(shí)驗(yàn)結(jié)果對(duì)比Fig.2 Statistics chart of classification accuracy results of experimental test set on the DE feature for 15 subjects

圖3 sub15 上CNN-JAN 模型訓(xùn)練過(guò)程示意圖Fig.3 sub15 training process of CNN-JAN

3.2 跨被試的實(shí)驗(yàn)結(jié)果與分析

跨被試的實(shí)驗(yàn)用來(lái)檢測(cè)不同個(gè)體間的情感識(shí)別模型的穩(wěn)定性。在實(shí)驗(yàn)中，依次將每一名被試的EEG數(shù)據(jù)作為測(cè)試集即目標(biāo)域，其他14 名被試的EEG 數(shù)據(jù)作為訓(xùn)練集即源域，為了避免時(shí)間因素影響，均使用SEED 數(shù)據(jù)集中每個(gè)被試第一組時(shí)間采集的EEG數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。所提模型以及各種基準(zhǔn)模型的整體實(shí)驗(yàn)結(jié)果如表2 所示。

表2 跨被試實(shí)驗(yàn)的平均分類(lèi)準(zhǔn)確率Table 2 Average classification accuracy across subjects

觀(guān)察發(fā)現(xiàn)JDA 和BDA 模型的性能在DCAU 和DE特征上均優(yōu)于TCA 模型，BDA 在DE 特征準(zhǔn)確率達(dá)到62.22%，在DCAU 特征上實(shí)驗(yàn)準(zhǔn)確率為60.07%，再一次驗(yàn)證動(dòng)態(tài)適配邊緣分布和條件分布比默認(rèn)數(shù)據(jù)分布權(quán)重相同的方法性能優(yōu)異。DAN 模型較BDA 性能有所提升，在DE 和DCAU 特征上的分類(lèi)性能分別提升了10.04%和12.65%；CNN-JAN 模型在DCAU 特征上準(zhǔn)確率達(dá)到73.02%，在DE特征進(jìn)行實(shí)驗(yàn)取得最好準(zhǔn)確率73.60%，表明所提模型在跨被試實(shí)驗(yàn)中也取得了較好的準(zhǔn)確率。CNN-JAN 模型在DE 特征上進(jìn)行跨被試實(shí)驗(yàn)中，15名被試分別作為目標(biāo)域測(cè)試集的平均分類(lèi)精度如圖4 所示。由圖4 觀(guān)察到，跨被試實(shí)驗(yàn)中第3 名被試作為目標(biāo)域的交叉驗(yàn)證實(shí)驗(yàn)準(zhǔn)確率達(dá)到84.29%，為所有被試最高，其在最優(yōu)訓(xùn)練集上的學(xué)習(xí)曲線(xiàn)如圖5 所示。

圖4 15 名被試基于CNN-JAN 模型和DE 特征的跨被試情感分類(lèi)結(jié)果Fig.4 Cross-subject sentiment classification results based on CNN-JAN model and DE features for 15 subjects

圖5 sub03 上CNN-JAN 模型跨被試訓(xùn)練過(guò)程示意圖Fig.5 sub03 training process of CNN-JAN across subjects

從圖5 看出，隨著平均誤差Loss 從0.034 逐步降低至0.01，訓(xùn)練準(zhǔn)確率逐步提升并收斂至0.910 4。在這一過(guò)程中，Iteration 從2 000 到4 000 輪之間loss 出現(xiàn)一定幅度的波動(dòng)，同時(shí)訓(xùn)練準(zhǔn)確率也呈現(xiàn)震蕩上升趨勢(shì)；Iteration 從5 000 到10 000 輪Loss 波動(dòng)較小趨于平穩(wěn)，訓(xùn)練準(zhǔn)確率也趨于穩(wěn)定。

3.3 不同JAN 變種模型的實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提具有長(zhǎng)方形卷積核CNN-JAN 模型的優(yōu)勢(shì)，本文與只含有正方形卷積核的CNN-JAN模型的變體（簡(jiǎn)稱(chēng)JAN-1）和1.3 節(jié)中提出的GRU-JAN 模型進(jìn)行對(duì)比實(shí)驗(yàn)，參數(shù)設(shè)置如下：

（1）所提CNN-JAN 和GRU-JAN 模型的適配層均選擇RBF 核函數(shù)，經(jīng)過(guò)參數(shù)調(diào)優(yōu)后學(xué)習(xí)率均設(shè)置為0.001，迭代次數(shù)設(shè)置為10 000 次，優(yōu)化器Momentum 動(dòng)量設(shè)為8，L2 正則化參數(shù)設(shè)置為0.000 5。

（2）JAN-1 模型由兩層3×3 大小的卷積核構(gòu)成，為了公平起見(jiàn)，池化層和適配層的結(jié)構(gòu)與CNN-JAN 一致，適配層同樣選擇RBF 核函數(shù)，迭代次數(shù)和學(xué)習(xí)率等參數(shù)設(shè)置一致。

被試內(nèi)跨時(shí)間的實(shí)驗(yàn)結(jié)果如表3 所示，跨被試的實(shí)驗(yàn)結(jié)果如表4 所示。

表3 不同JAN 模型被試內(nèi)實(shí)驗(yàn)的分類(lèi)性能對(duì)比Table 3 Comparison of classification performance in within-subject experiments of different JAN models

表4 不同JAN 模型跨被試實(shí)驗(yàn)的分類(lèi)性能對(duì)比Table 4 Comparison of classification performance of different JAN models across subjects

由表3 可知，JAN-1 模型在DCAU 特征上準(zhǔn)確率為72.04%，在DE 特征上準(zhǔn)確率為78.81%，CNN-JAN 分別在這兩個(gè)特征上比JAN-1 性能提升了6.34%和5.20%。由此可以看出，針對(duì)腦電數(shù)據(jù)，長(zhǎng)方形卷積核可以更好的提取數(shù)據(jù)的時(shí)空特征。同時(shí)觀(guān)察到GRU-JAN 模型在DCAU 和DE 特征上準(zhǔn)確率分別為72.13%和80.45%，由于GRU-JAN 模型側(cè)重于提取EEG 數(shù)據(jù)的時(shí)序特征，該模型也取得了較好的性能，但是其性能仍然低于CNN-JAN 模型，表明CNN 模型所提取的深層時(shí)空特征比GRU 模型所提取的深層時(shí)序特征具有更好的可分性。

由表4 可知，CNN-JAN 比JAN-1 在DACU 特征上性能提高了8.38%，在DE 特征上提高了6.65%，再一次驗(yàn)證了本實(shí)驗(yàn)采用長(zhǎng)方形卷積核進(jìn)行情感分類(lèi)性能較優(yōu)。但在跨被試實(shí)驗(yàn)中，GRU-JAN 模型的性能略低于JAN-1，這種現(xiàn)象可能是因?yàn)镋EG 數(shù)據(jù)量相對(duì)較小，GRU 更適合針對(duì)大規(guī)模長(zhǎng)時(shí)序列進(jìn)行特征提??；也可能是因?yàn)榭绫辉嘐EG 數(shù)據(jù)在時(shí)序上下文之間的相關(guān)性相對(duì)通道間的空間相關(guān)性較弱，后續(xù)將進(jìn)一步對(duì)該模型進(jìn)行優(yōu)化。

進(jìn)一步比較各個(gè)模型參數(shù)總量，JAN-1 模型參數(shù)總量為25 222 個(gè)，GRU-JAN 模型為48 073 個(gè)，CNN-JAN 模型為13 126 個(gè)，所提CNN-JAN 模型參數(shù)量最少，表現(xiàn)出較高的計(jì)算性能。以上實(shí)驗(yàn)結(jié)果表明，所提CNN-JAN 模型無(wú)論在被試內(nèi)跨時(shí)間實(shí)驗(yàn)還是跨被試實(shí)驗(yàn)的性能均優(yōu)于對(duì)比模型，驗(yàn)證了長(zhǎng)方形與正方形組合的卷積核在提取EEG 數(shù)據(jù)深層時(shí)空相關(guān)性特征方面的優(yōu)勢(shì)，同時(shí)也證明通過(guò)融合聯(lián)合適應(yīng)層確實(shí)能夠減小源域和目標(biāo)域深層特征聯(lián)合分布之間的差異，有效提高模型的分類(lèi)準(zhǔn)確性和魯棒性。

3.4 采用不同核函數(shù)的實(shí)驗(yàn)結(jié)果與分析

CNN-JAN 是通過(guò)適配層的核函數(shù)對(duì)EEG 深層特征進(jìn)行空間映射，通過(guò)MK-JMMD 算法縮小源域和目標(biāo)域特征分布間的差異，從而完成特征的遷移學(xué)習(xí)。為了進(jìn)一步證明所提方法的優(yōu)越性，本文對(duì)采用不同核函數(shù)的CNN-JAN 模型進(jìn)行了對(duì)比實(shí)驗(yàn)，對(duì)比模型分別采用線(xiàn)性（Linear）核函數(shù)和RBF。其中RBF-5 和RBF-10 分別表示每個(gè)適配層采用數(shù)量為5 個(gè)和10 個(gè)RBF 核函數(shù)。為了確保實(shí)驗(yàn)公平，除了選取不同核函數(shù)外，其余實(shí)驗(yàn)參數(shù)與上文CNN-JAN 相關(guān)實(shí)驗(yàn)保持一致，均使用DE 特征，實(shí)驗(yàn)結(jié)果如表5 所示。觀(guān)察表5 發(fā)現(xiàn)，采用RBF 核的實(shí)驗(yàn)準(zhǔn)確率比Linear 線(xiàn)性核的高，證明RBF 能更好地將EEG 特征映射到高維空間并進(jìn)行分布計(jì)算，在EEG 特征適配方面具有較強(qiáng)的魯棒性。RBF-5 被試內(nèi)和被試間分類(lèi)準(zhǔn)確率分別達(dá)到80.73%和69.70%，也取得了不錯(cuò)的效果，表明在適配層加入適當(dāng)數(shù)量核函數(shù)的模型更能充分利用CNN 學(xué)習(xí)到的深層時(shí)空相關(guān)語(yǔ)義特征，顯著提高特征遷移學(xué)習(xí)的效果和情感識(shí)別的性能。

表5 使用不同核函數(shù)的實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Comparison of experimental performance of CNN-JAN model by using different kernel functions

4 結(jié)束語(yǔ)

本文采用了卷積神經(jīng)網(wǎng)絡(luò)和聯(lián)合適應(yīng)網(wǎng)絡(luò)相結(jié)合的CNN-JAN 模型來(lái)處理基于EEG 信號(hào)的情感識(shí)別任務(wù)。利用含有正方形卷積核與長(zhǎng)方形卷積核的CNN 對(duì)EEG 數(shù)據(jù)進(jìn)行深層時(shí)空特征提取，再使用多核JMMD 算法度量其源域和目標(biāo)域特征的聯(lián)合分布差異，從而完成源域到目標(biāo)域深層特征的遷移學(xué)習(xí)。通過(guò)與經(jīng)典的傳統(tǒng)遷移學(xué)習(xí)方法和流行的深度遷移學(xué)習(xí)方法在SEED 數(shù)據(jù)集EEG 信號(hào)的DE 特征和DCAU 特征上進(jìn)行對(duì)比實(shí)驗(yàn)和結(jié)果分析，發(fā)現(xiàn)所提CNN-JAN 模型在被試內(nèi)和被試間的實(shí)驗(yàn)中均體現(xiàn)出較好的情感分類(lèi)性能，EEG 信號(hào)情感分類(lèi)的準(zhǔn)確率和穩(wěn)定性得到了進(jìn)一步的提高，證明該模型確實(shí)能夠通過(guò)深層特征提取與聯(lián)合適應(yīng)學(xué)習(xí)，減少源域與目標(biāo)域特征分布之間的特征，有效提高了模型的精度和自適應(yīng)性，為后續(xù)開(kāi)發(fā)魯棒的情感腦-機(jī)接口應(yīng)用打下了良好的基礎(chǔ)。針對(duì)現(xiàn)存遷移學(xué)習(xí)解釋性弱的問(wèn)題，下一步將對(duì)該方法進(jìn)行優(yōu)化，嘗試提取相關(guān)性更高、解釋性更強(qiáng)的腦電特征進(jìn)行更深層次的研究，同時(shí)開(kāi)展基于遷移學(xué)習(xí)的EEG 信號(hào)跨數(shù)據(jù)集情感識(shí)別研究，在確保模型簡(jiǎn)單的基礎(chǔ)上獲得較高的性能。