基于Swin Transformer的四維腦電情緒識(shí)別

陳宗楠,金家瑞,潘家輝

(華南師范大學(xué) 軟件學(xué)院,廣東 佛山 528225)

0 引 言

情緒識(shí)別是計(jì)算機(jī)感知人類情感從而進(jìn)行人機(jī)交互反饋的重要環(huán)節(jié),在情感腦機(jī)接口領(lǐng)域得到了學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注。在眾多情緒識(shí)別的方法中,腦電圖(Electroencephalogram,EEG)是一種使用電生理指標(biāo)記錄大腦活動(dòng)的方法,通過記錄大腦正常活動(dòng)的電信號(hào)變化,可以反映出腦神經(jīng)細(xì)胞產(chǎn)生的各種生理電信號(hào)在大腦皮層的變化情況。已有研究表明,腦電模式會(huì)隨著生理與心理狀態(tài)不同而變化,因此使用腦電圖來進(jìn)行情緒識(shí)別是可行的[1],能夠真實(shí)地反映人的情緒狀態(tài)。

基于EEG的情緒識(shí)別是人工智能領(lǐng)域的一個(gè)重要分支。在各類基于EEG的情緒識(shí)別方法中,使用傳統(tǒng)的機(jī)器學(xué)習(xí)如支持向量機(jī)(Support Vector Machine,SVM)、決策樹等模型[2]對(duì)復(fù)雜函數(shù)表達(dá)能力有限,且不同人的腦電之間存在領(lǐng)域偏移(Domain Shift)問題[3],這類淺層模型容易受到不同領(lǐng)域數(shù)據(jù)分布變化的影響,一定程序上限制了機(jī)器學(xué)習(xí)模型分類復(fù)雜模型的能力,使得跨被試情緒識(shí)別準(zhǔn)確率不高。近年來的工作主要使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)和深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)等來分類情緒,通過多層非線性網(wǎng)絡(luò)結(jié)構(gòu)能夠更好地?cái)M合復(fù)雜函數(shù)[4-5]。Wang等[6]利用3DCNN同時(shí)捕獲時(shí)間和空間特征,并配合批標(biāo)準(zhǔn)化和密集預(yù)測(cè)解決數(shù)據(jù)分布偏移和參考標(biāo)簽不可靠問題,其消融實(shí)驗(yàn)證實(shí)了上述模塊的有效性。陳景霞等[7]基于EEG信號(hào)的時(shí)域、頻域特征,提出一種基于CNN的EEG情感特征學(xué)習(xí)與分類算法,在效價(jià)維度上平均準(zhǔn)確率最高達(dá)到88.76%,在喚醒度上平均準(zhǔn)確率最高達(dá)到85.57%。Zhang等[8]提出時(shí)空RNN,包含空間和時(shí)間兩層RNN結(jié)構(gòu),實(shí)驗(yàn)策略上選擇被試依賴,達(dá)到了89.50%的準(zhǔn)確率。Chen等[9]提出了一種基于估計(jì)熵的深度信念網(wǎng)絡(luò)情緒識(shí)別框架,對(duì)情緒四分類的識(shí)別準(zhǔn)確率達(dá)到了83.34%。然而,由于EEG信號(hào)的非平穩(wěn)性所造成的被試間的不同數(shù)據(jù)分布差異[4],針對(duì)單被試訓(xùn)練的分類模型在跨被試情緒識(shí)別時(shí)存在困難。這種分布差異使得利用固定分類模型對(duì)腦電情緒的預(yù)測(cè)效果隨時(shí)間改變而下降,極大地限制了腦電情緒識(shí)別技術(shù)的實(shí)際應(yīng)用。

腦電圖的非平穩(wěn)特性和個(gè)體差異限制了情緒識(shí)別模型在不同時(shí)間、不同受試者之間的泛化,為了解決跨被試情緒識(shí)別問題,部分研究團(tuán)隊(duì)使用了領(lǐng)域適配(Domain Adaptation)[10-11]和對(duì)比學(xué)習(xí)(Contrastive Learning)方法[12]。李勁鵬[13]為了解決EEG情緒識(shí)別模型的跨被試適配問題,提出了一種多源遷移學(xué)習(xí)框架。在每個(gè)合適的源上,減少目標(biāo)和源域的差異,使源域上的分類器直接用于推斷目標(biāo)中樣本的情緒標(biāo)簽。Jin等[14]利用域?qū)股窠?jīng)網(wǎng)絡(luò)(DANN)建立跨被試情感識(shí)別模型,在訓(xùn)練階段保持特征區(qū)分性和領(lǐng)域不變性,在SEED數(shù)據(jù)集上的平均準(zhǔn)確率為79.19%±13.14%。郭苗苗等[15]提出全局域適應(yīng)與相關(guān)子域自適應(yīng)串聯(lián)系統(tǒng)模型來實(shí)現(xiàn)跨被試的情感識(shí)別,以解決EEG的非平穩(wěn)性及個(gè)體差異性造成的情緒識(shí)別模型跨被試泛化性能低的問題。Shen等[12]提出了基于對(duì)比學(xué)習(xí)的跨被試對(duì)齊方法,通過最大化被試間腦電的相似性,來降低跨被試腦電的差異。DANN等模型適配了源域和目標(biāo)域等邊緣分布,但來自多名被試多源域場(chǎng)景的腦電數(shù)據(jù)則無法進(jìn)行對(duì)抗學(xué)習(xí)。如果被試間的相關(guān)性較低,單源域遷移學(xué)習(xí)可能會(huì)造成負(fù)遷移現(xiàn)象。同時(shí),深度神經(jīng)網(wǎng)絡(luò)能夠?qū)δX電分類進(jìn)行端到端的自動(dòng)學(xué)習(xí),卻忽略了腦電特征和情緒之間的內(nèi)在關(guān)系,導(dǎo)致深度學(xué)習(xí)模型自動(dòng)提取情緒特征的可解釋性不如人工設(shè)計(jì)的情緒特征。因此,如何將傳統(tǒng)的腦電特征提取方式與深度學(xué)習(xí)算法相結(jié)合,提高模型的可解釋性和跨被試情緒識(shí)別性能是該文研究的重點(diǎn)。

該文使用Swin Transformer[16]模型用于情緒識(shí)別,Swin Transformer是在Transformer[17]和ViT (Vision Transformer)[18]模型上的改進(jìn)。具體使用上,針對(duì)腦電信號(hào)特征,該文提出了改進(jìn)的Swin Transformer框架,進(jìn)行模型優(yōu)化。為了適配腦電通道數(shù)以及特征維度,修改了輸入尺寸和維度,并通過修改滑動(dòng)窗口大小、特征塊大小和優(yōu)化結(jié)構(gòu)層數(shù)來降低模型參數(shù)量和浮點(diǎn)運(yùn)算次數(shù)。針對(duì)腦電情緒識(shí)別任務(wù),通過改進(jìn)的Swin Transformer將人工特征生成二次特征,映射到一個(gè)公共的特征空間,在跨被試情緒識(shí)別中也有較高的準(zhǔn)確率。為驗(yàn)證模型改進(jìn)效果,改進(jìn)后的模型在SEED數(shù)據(jù)集上測(cè)試。通過融合頻域和空間域的人工情緒特征,模型速度效率和準(zhǔn)確率均有提升,并進(jìn)行了融合特征的有效性分析。研究結(jié)果表明,使用改進(jìn)的Swin Transformer框架在跨被試情緒識(shí)別中有較高的準(zhǔn)確率和較快的測(cè)試速度,這是將傳統(tǒng)機(jī)器學(xué)習(xí)人工提取特征與深度學(xué)習(xí)特征分類在情感腦機(jī)接口的情緒識(shí)別任務(wù)上的一次有益嘗試。

1 數(shù)據(jù)預(yù)處理

1.1 腦電情緒識(shí)別框架

基于Swin Transformer的EEG四維腦電情緒識(shí)別框架如圖1所示,由三部分組成:腦電人工特征提取、特征組合與融合、改進(jìn)的Swin Transformer情緒識(shí)別模型。在腦電特征提取中,將預(yù)處理后的腦電源數(shù)據(jù)從時(shí)域、頻域和空間域特征提取,得到不同的人工腦電特征。在特征組合與融合中,將腦電特征進(jìn)行多特征組合形成四維腦電特征數(shù)據(jù),4個(gè)維度包含單通道特征、腦電多通道、單特征維度、多特征組合。最后將組合特征輸入改進(jìn)的Swin Transformer情緒識(shí)別模型,輸入的特征大小是單通道特征長(zhǎng)為56的56個(gè)腦電通道集合,特征深度由組合的原始各個(gè)特征維度決定。依照情緒分類任務(wù)的類目數(shù)量,改變?nèi)B接層實(shí)現(xiàn)情緒多分類。

圖1 基于Swin Transformer的EEG四維腦電情緒識(shí)別框架

1.2 腦電特征提取

為提高情緒識(shí)別的可解釋性,并使傳統(tǒng)的腦電特征提取方式與深度學(xué)習(xí)算法相結(jié)合,該文從以下人工特征中開展實(shí)驗(yàn),包含時(shí)域、頻域、空間域。時(shí)域特征包括一階差分、二階差分、Hjorth Mobility特征、Hjorth Complexity特征和不穩(wěn)定指數(shù)(Non-Stationary Index,NSI);頻域特征包括微分熵(Differential Entropy,DE)和功率譜密度(Power Spectral Density,PSD);空間域特征包括不對(duì)稱差(Differential Asymmetry,DASM)、不對(duì)稱商(Rational Asymmetry,RASM)和不對(duì)稱系數(shù)(Asymmetry Index,AsI)。針對(duì)頻域特征,腦電按頻率分為5個(gè)頻段:δ(1～4 Hz),θ(4～8 Hz),α(8～13 Hz),β(13～30 Hz),γ(30～47 Hz)。各情緒特征的參數(shù)根據(jù)具體特征維度有所不同,如表1所示。

表1 情緒特征參數(shù)

1.3 特征組合與融合

為了腦電數(shù)據(jù)能夠符合文中Swin Transformer模型的輸入大小,對(duì)源數(shù)據(jù)的通道和時(shí)長(zhǎng)進(jìn)行了選擇和處理。模型輸入的尺寸大小是(56,56),第一維的56表示將選擇56個(gè)腦電通道。因?yàn)榇竽X的額葉部分主要控制人們的情感,與情緒密切相關(guān)[25],所以例如在62導(dǎo)腦電設(shè)備中剔除了非額葉部分6個(gè)對(duì)腦電特征影響較小的通道:P7,P8,PO7,PO8,CB1和CB2。第二維的56表示一個(gè)腦電通道在一個(gè)時(shí)間片下的特征長(zhǎng)度為56。該文對(duì)受試者每個(gè)實(shí)驗(yàn)單次誘導(dǎo)情緒片段截取了175秒腦電數(shù)據(jù),共35 000個(gè)腦電采樣點(diǎn),按7秒為時(shí)間片切分為25組,每組有1 400個(gè)腦電采樣點(diǎn)。以微分熵為例,將每25個(gè)采樣點(diǎn)計(jì)算1次微分熵特征,使得該時(shí)間片微分熵特征是長(zhǎng)度為56的向量,與56個(gè)通道和5個(gè)頻段結(jié)合后,一個(gè)7秒時(shí)間片的特征大小為(56,56,5)。最后將這25組時(shí)間片疊加成(25,56,56,5),代表了觀看一段誘導(dǎo)視頻中按7秒為一個(gè)時(shí)間片分為了25組,其中包含56通道腦電數(shù)據(jù)各自的長(zhǎng)為56的特征,這些特征按頻段或者特征組數(shù)在維度上進(jìn)行疊加。

2 情緒識(shí)別模型

Swin Transformer[16]是2021年提出的一種新型的Transformer架構(gòu),通過一個(gè)層次化的Transformer來解決二維數(shù)據(jù)的訓(xùn)練難點(diǎn),其表示是用滑動(dòng)窗口計(jì)算的。根據(jù)腦電特征圖的大小和維度,對(duì)其模型結(jié)構(gòu)進(jìn)行了適配,圖2是適配后的模型結(jié)構(gòu)和其輸入特征尺寸和維度的變化細(xì)節(jié)。針對(duì)腦電情緒識(shí)別任務(wù),Swin Transformer模型適配了人工腦電特征的輸入尺寸和維度,將人工特征生成二次特征,映射到一個(gè)公共的特征空間,使得跨被試情緒識(shí)別效果更好。模型通過優(yōu)化與改進(jìn)結(jié)構(gòu),修改特征塊(Patch)的大小和通用結(jié)構(gòu)層數(shù),降低了模型參數(shù)量和浮點(diǎn)運(yùn)算次數(shù),使其有較快的運(yùn)行速度。

圖2 改進(jìn)的Swin Transformer模型

為適配Swin Transformer模型的輸入結(jié)構(gòu),輸入模型的腦電特征大小定為56×56,輸入特征的維度由具體特征或特征組合而定,假定為n維,則通過2×2的特征塊分區(qū)轉(zhuǎn)化為28×28×4n的大小。根據(jù)人工腦電特征的構(gòu)建,每個(gè)2×2特征塊包含相鄰時(shí)間和相鄰?fù)ǖ赖奶卣鲾?shù)據(jù)。塊合并(Patch Merging) 類似于CNN的池化層,能夠讓模型產(chǎn)生多尺度的特征。隨著模型的深入,經(jīng)過塊合并后每個(gè)塊會(huì)擁有成倍增加的視野,使得表征能力更強(qiáng)。線性嵌入層(Linear Embedding)把特征維度升至8n,提高了不同特征間的可區(qū)分性。在Swin Transformer基本模塊中,使用基于窗口的掩碼自注意力機(jī)制(W-MSA)對(duì)2×2特征塊內(nèi)計(jì)算自注意力,再使用基于滑動(dòng)窗口的掩碼自注意力機(jī)制(SW-MSA)使窗口之間進(jìn)行互動(dòng),不同塊的特征之間產(chǎn)生聯(lián)系?；瑒?dòng)窗口方案將自注意力機(jī)制限制在非重疊的局部窗口上,通過允許跨窗口連接從而提高了效率。這種分層結(jié)構(gòu)具有在不同尺度下建模的靈活性,并且相對(duì)于圖像大小具有線性計(jì)算復(fù)雜性,能夠提高模型的運(yùn)行速度。通過線性嵌入層后,單層特征會(huì)被拉直為序列,使用層歸一化(Layer Normalization,LN)在通道方向上進(jìn)行歸一化操作,最后通過一個(gè)全連接層(Multilayer Perceptron,MLP)輸出到下一個(gè)模塊。鑒于原始特征輸入大小為56,對(duì)最小的Swin-Tiny模型的模塊進(jìn)行修改,刪去了最后一個(gè)塊合并和基本結(jié)構(gòu)塊,整個(gè)模型由3個(gè)階段組成,如圖2所示,最后的輸出再接上對(duì)應(yīng)三分類的全連接層即可進(jìn)行腦電情緒三分類。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集使用上海交通大學(xué)提供的情緒腦電數(shù)據(jù)庫(Shanghai Jiao Tong University, Emotion Electroencephalogram Dataset,SEED)[4]。SEED包含15名受試者(7名男性,平均年齡23.27,標(biāo)準(zhǔn)差為2.37)在觀看電影片段時(shí)收集的腦電圖。電影片段誘發(fā)受試者產(chǎn)生不同類型的情緒:積極、中性和消極。15個(gè)電影片段包含5個(gè)積極片段、5個(gè)中性片段和5個(gè)消極片段。15名受試者觀看約4分鐘的單個(gè)電影片段時(shí),使用62通道的ESI Neuro Scan系統(tǒng)采集腦電信號(hào),相應(yīng)的EEG電極布置如圖3所示。

圖3 SEED的EEG電極通道

SEED提供了15名受試者各進(jìn)行3次實(shí)驗(yàn)的腦電數(shù)據(jù),共45次實(shí)驗(yàn)。每名受試者每次實(shí)驗(yàn)分為15段誘導(dǎo)腦電,其中表示積極、中性和消極的腦電數(shù)據(jù)各5段。單個(gè)腦電數(shù)據(jù)包含62通道上記錄的腦電圖,對(duì)其進(jìn)行下采樣處理,從原始1 000 Hz的EEG數(shù)據(jù)降采樣到200 Hz。為了濾除噪聲和去偽影,使用0.3～50 Hz的帶通濾波器對(duì)EEG數(shù)據(jù)進(jìn)行預(yù)處理。該文將在SEED提供的預(yù)處理腦電上進(jìn)行實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)設(shè)計(jì)

為了研究Swin Transformer模型在不同特征組合下單被試、跨被試的情緒分類能力,設(shè)計(jì)了三種實(shí)驗(yàn),分別為代表情緒特征的選取、單被試情緒識(shí)別和跨被試情緒識(shí)別,最后通過消融實(shí)驗(yàn)在單被試和跨被試中驗(yàn)證特征融合的有效性。

在代表情緒特征的選取中,使用Swin Transformer模型分別對(duì)各個(gè)特征單獨(dú)做情緒識(shí)別測(cè)試,以選取有代表性的一種或多種特征來代表情緒,實(shí)驗(yàn)中訓(xùn)練集和測(cè)試集的比例為8∶2。其中單被試準(zhǔn)確率表示使用該特征分別測(cè)試15名受試者,取所有受試者準(zhǔn)確率的平均值作為該特征的單被試準(zhǔn)確率。在跨被試實(shí)驗(yàn)中,將SEED的15名受試者分別劃分為15個(gè)獨(dú)立的域。當(dāng)1名受試者作為目標(biāo)域時(shí),其腦電數(shù)據(jù)將作為測(cè)試數(shù)據(jù)計(jì)算跨被試準(zhǔn)確率,其余14名受試者將作為訓(xùn)練數(shù)據(jù)生成二次特征,映射到一個(gè)公共的特征空間,最終取各受試者作為目標(biāo)域的測(cè)試準(zhǔn)確率平均值作為該特征的跨被試準(zhǔn)確率。通過對(duì)比各特征單被試和跨被試準(zhǔn)確率,選取效果較好的人工特征融合為代表情緒特征,達(dá)到提高情緒識(shí)別效果的目的。

在代表情緒特征的單被試和跨被試情緒識(shí)別中,單被試和跨被試的實(shí)驗(yàn)設(shè)計(jì)與上述方法相同。其目的是從融合的不同人工腦電特征中獲得最具差異性的信息,利用特征之間的互補(bǔ)性,融合特征之間的優(yōu)點(diǎn),進(jìn)而提高模型的性能。為保證融合代表特征中每一個(gè)特征都起到了提升模型情緒識(shí)別能力的作用,消融實(shí)驗(yàn)則通過測(cè)試代表情緒特征不同組合的情緒識(shí)別準(zhǔn)確率,以驗(yàn)證單個(gè)特征對(duì)模型情緒識(shí)別能力提升的貢獻(xiàn)。

3.3 結(jié)果與分析

在代表情緒特征的選取中頻域DE特征的單被試準(zhǔn)確率最高(90.24%),頻域PSD特征的跨被試準(zhǔn)確率最高(82.16%)。空間域的特征表現(xiàn)不如頻域特征優(yōu)秀,但它能補(bǔ)充頻域特征在空間分布上的位置信息。時(shí)域特征則表現(xiàn)較差,在情緒三分類任務(wù)里準(zhǔn)確率較低,并不能達(dá)到很好的情緒表征能力。各個(gè)特征的情緒識(shí)別準(zhǔn)確率如表2所示。結(jié)合不同特征的特點(diǎn)和測(cè)試準(zhǔn)確度,選用單被試準(zhǔn)確率高于80%且跨被試準(zhǔn)確率表現(xiàn)較好的3個(gè)特征,即頻域的微分熵和功率譜密度、空間域的不對(duì)稱系數(shù)組成融合代表特征。

表2 單特征情緒識(shí)別準(zhǔn)確率 %

在代表情緒特征的單被試情緒識(shí)別中,測(cè)試準(zhǔn)確率如表3所示,該表包含了15名被試各自模型的情緒識(shí)別準(zhǔn)確率。相較于單一特征,融合了3個(gè)特征的組合特征在情緒識(shí)別準(zhǔn)確率更高,平均準(zhǔn)確率達(dá)到了94.73%,標(biāo)準(zhǔn)差為1.72%,其中最高的單被試準(zhǔn)確率達(dá)到了96.89%。

表3 單被試情緒識(shí)別準(zhǔn)確率 %

模型在各個(gè)被試上訓(xùn)練測(cè)試的結(jié)果較為穩(wěn)定,皆能達(dá)到90%以上的結(jié)果。各個(gè)被試的融合代表特征情緒識(shí)別準(zhǔn)確率高于原先單一特征的DE最高平均準(zhǔn)確率90.24%,說明多個(gè)有效特征的融合有利于情緒識(shí)別能力的提升。

圖4展示了以第一位受試者作為單被試訓(xùn)練以及跨被試的目標(biāo)域時(shí),其腦電數(shù)據(jù)作為測(cè)試數(shù)據(jù)計(jì)算單被試和跨被試的準(zhǔn)確率和測(cè)試誤差的結(jié)果。從結(jié)果來看,模型在第150輪左右開始收斂,在單被試測(cè)試上能達(dá)到約95%的準(zhǔn)確率,在跨被試測(cè)試上能達(dá)到約90%的準(zhǔn)確率。為保證模型測(cè)試的穩(wěn)定性,對(duì)15名受試者進(jìn)行單被試和跨被試測(cè)試的準(zhǔn)確率取平均值記錄,用該值代表模型的平均性能。將文中模型與近三年腦電情緒識(shí)別模型在SEED的識(shí)別準(zhǔn)確率進(jìn)行對(duì)比,如表4所示。

表4 情緒識(shí)別的準(zhǔn)確率對(duì)比 %

表5 消融實(shí)驗(yàn)

圖4 文中模型的準(zhǔn)確率與測(cè)試誤差

利用Swin Transformer使用層次化Transformer解決二維數(shù)據(jù)訓(xùn)練困難的特點(diǎn),將腦電特征構(gòu)造成相應(yīng)的模型輸入,在單被試和跨被試中都取得了較高的腦電情緒識(shí)別準(zhǔn)確率。文中模型的輸入融合了不同特征,相較于單個(gè)模態(tài),有更好的情緒識(shí)別準(zhǔn)確率。在單被試中,相較于STNN[8],R2G-STNN[26],BiDANN[3],BiHDM[27],ATDD-LSTM[28]的單模態(tài)模型輸入,文中模型通過融合多個(gè)有效特征提升模型的情緒識(shí)別能力。與多模態(tài)輸入的DGCNN[29]相比,DGCNN通過動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)將不同通道的EEG用鄰接矩陣學(xué)習(xí)空間域特征,文中模型使用人工特征中的不對(duì)稱系數(shù)來代表腦電的空間域特征,在單被試實(shí)驗(yàn)準(zhǔn)確率和模型可解釋性上都更優(yōu)秀。在跨被試中,文中模型依然可以達(dá)到接近90%準(zhǔn)確率,高于PSD單特征的82.16%。由于沒有在代表特征中融合進(jìn)有效的時(shí)域人工特征,僅使用7秒的時(shí)間片來計(jì)算每種特征,文中模型在跨被試準(zhǔn)確率上比ATDD-LSTM[28]的90.92%低1.29百分點(diǎn),但仍然在跨被試情緒識(shí)別上有較高的分類準(zhǔn)確率。

此外在模型速度方面,文中模型的測(cè)試速度能達(dá)到實(shí)時(shí)處理的水平。相比起原本的Swin-T模型29 M模型參數(shù)量和4.5 G的浮點(diǎn)運(yùn)算次數(shù),修改后的模型使用的模型參數(shù)量為12.1 M,浮點(diǎn)運(yùn)算次數(shù)為902.6 M。在實(shí)驗(yàn)訓(xùn)練條件的腦電識(shí)別測(cè)試時(shí),處理一段7 s的腦電平均用時(shí)0.37 s,說明在一些計(jì)算能力較弱的環(huán)境以及未來實(shí)際應(yīng)用時(shí)能夠較為容易達(dá)到實(shí)時(shí)處理的水平。

從消融實(shí)驗(yàn)結(jié)果中可知,使用多種人工特征組合后的效果要優(yōu)于單一人工特征的腦電情緒識(shí)別效果。在單被試腦電情緒識(shí)別中,使用PSD和AsI能夠給單一DE特征帶來3.57百分點(diǎn)和2.69百分點(diǎn)的提升,使用DE和AsI能夠給單一PSD特征帶來4.49百分點(diǎn)和3.14百分點(diǎn)的提升,使用DE和PSD能夠給AsI特征帶來11.5百分點(diǎn)和11.03百分點(diǎn)的提升。在跨被試情緒識(shí)別上也有同樣的準(zhǔn)確率提升,平均能夠提高約3.2百分點(diǎn)。使用3種特征的組合特征效果最好,能夠在單被試達(dá)到94.73%、多被試達(dá)到89.63%的情緒識(shí)別準(zhǔn)確率。這說明在融合代表特征種的3種人工特征對(duì)腦電情緒識(shí)別的結(jié)果都有各自的貢獻(xiàn),通過特征組合來提高情緒識(shí)別能力是有效的。

4 結(jié)束語

該文提出一種基于Swin Transformer的EEG四維腦電情緒識(shí)別模型來對(duì)腦電情緒進(jìn)行分類研究。通過對(duì)Swin Transformer進(jìn)行模型優(yōu)化,修改了輸入尺寸、維度和模型內(nèi)滑動(dòng)窗口、特征塊的大小。研究結(jié)果表明,通過Swin Transformer進(jìn)行跨時(shí)間或跨被試情緒識(shí)別,最終均得到了較高的準(zhǔn)確率和較快的測(cè)試速度,在單被試達(dá)到了94.73%±1.72%的準(zhǔn)確率,跨被試達(dá)到了89.63%±3.42%的情緒識(shí)別準(zhǔn)確率。在與同類任務(wù)的其它模型的對(duì)比中,文中模型在效果上不僅有顯著優(yōu)勢(shì),并且在可解釋性上也更好。測(cè)試速度上,模型優(yōu)化結(jié)構(gòu)后的參數(shù)量和浮點(diǎn)運(yùn)算量能夠滿足實(shí)時(shí)腦電情緒識(shí)別的要求。這是將傳統(tǒng)機(jī)器學(xué)習(xí)人工提取特征與深度學(xué)習(xí)特征分類在情感腦機(jī)接口的情緒識(shí)別任務(wù)上的一次有益嘗試,為腦電情緒識(shí)別的實(shí)際應(yīng)用提供了新的方法。