基于腦電通道增強(qiáng)的情緒識(shí)別方法

王 晨,胡景釗,劉 科,王潔瓊,鄭佳賓,吳東亞,馮 筠, 2

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.新型網(wǎng)絡(luò)智能信息服務(wù)國家地方聯(lián)合工程研究中心,陜西 西安 710127)

情緒是人類將客觀事物和自身需求相比較后產(chǎn)生的一種態(tài)度或體驗(yàn), 它能夠反映人類當(dāng)下的心理和生理狀態(tài), 對人們認(rèn)知、決策和溝通等有著至關(guān)重要的作用[1]。 情緒的識(shí)別是人工智能時(shí)代智能交互中最關(guān)鍵的研究問題之一, 如何進(jìn)行便攜式、 有效、 精確的人類情緒識(shí)別, 已然成為推動(dòng)人工智能新時(shí)代發(fā)展的催化劑[2]。 無論在生物醫(yī)學(xué)工程、 智能教育、 物聯(lián)網(wǎng)還是影視娛樂等眾多領(lǐng)域中, 情緒識(shí)別都具有非常寶貴的研究價(jià)值[3]。

通常使用人類的面部表情、語音信號(hào)或姿勢步態(tài)進(jìn)行情緒識(shí)別,這樣容易受到人類主觀因素的影響,不易反映真實(shí)的情緒狀態(tài)[4]。而基于腦電信號(hào)的情緒識(shí)別研究可以避免人類偽裝情緒,通過檢測電生理信號(hào)更加真實(shí)準(zhǔn)確地分析人類的情緒[5]。與目前已有的情緒識(shí)別研究工作相比,本文將提出一種基于腦電通道增強(qiáng)的情緒識(shí)別方法,能夠更加便攜精確地識(shí)別人類的情緒狀態(tài)。

腦電信號(hào)是一種非線性非平穩(wěn)的隨機(jī)信號(hào),通過對腦電信號(hào)進(jìn)行信號(hào)預(yù)處理、特征提取等可以分析檢測人類的意圖和情緒狀態(tài)[6]。從使用腦電通道個(gè)數(shù)的角度出發(fā),腦電情緒識(shí)別可以分為單通道和多通道的情緒識(shí)別方法[7]。據(jù)相關(guān)研究表明,單通道的腦電情緒識(shí)別能夠快速高效地進(jìn)行大規(guī)模的情緒識(shí)別任務(wù),在智慧課堂、智能教育中已有初步應(yīng)用。例如劉窈窈等設(shè)計(jì)了基于視頻誘導(dǎo)的情緒識(shí)別實(shí)驗(yàn),使用一款可穿戴腦電設(shè)備Mindeep采集被試在積極和消極情緒狀態(tài)下的腦電信號(hào),再將情緒識(shí)別結(jié)果等反饋顯示在APP界面上[8]。多通道的腦電情緒識(shí)別方法具有高精度、多維度的特點(diǎn),能夠更加真實(shí)精確地檢測人類的情緒狀態(tài),并可以從時(shí)間、空間和大腦區(qū)域等多維度全面分析其情感及相關(guān)認(rèn)知心理活動(dòng)等[9-11]。李昕等從多通道腦電信號(hào)提取4種不同腦電節(jié)律的小波熵、小波系數(shù)能量、近似熵和Hurst指數(shù)特征,利用主成分分析(PCA)方法降維,然后進(jìn)行情緒識(shí)別，達(dá)到了較好的分類效果[12]。

從采用機(jī)器學(xué)習(xí)方法進(jìn)行特征提取的角度出發(fā),主要通過傳統(tǒng)的手工特征提取和利用深度學(xué)習(xí)自動(dòng)提取相關(guān)特征來進(jìn)行腦電情緒識(shí)別[13]?；趥鹘y(tǒng)手工特征提取的腦電情緒識(shí)別方法具有豐富的先驗(yàn)知識(shí),能夠充分利用腦電非平穩(wěn)非線性信號(hào)的特征進(jìn)行處理;而基于深度學(xué)習(xí)自動(dòng)提取腦電特征的識(shí)別方法能夠從原始的腦電信號(hào)中充分挖掘各類信息,研究表明,利用數(shù)據(jù)驅(qū)動(dòng)的高維特征進(jìn)行情緒識(shí)別效果較為顯著[14-17]。

然而,目前無論是單通道、多通道的腦電情緒識(shí)別方法,還是基于傳統(tǒng)手工特征提取和基于深度學(xué)習(xí)自動(dòng)提取腦電特征的情緒識(shí)別方法,依然存在較大的提升潛質(zhì):① 多通道腦電信號(hào)數(shù)據(jù)量大,信息冗余;② 采集腦電信號(hào)所有通道重要程度一致,不能更高效地有針對性地增強(qiáng)腦電情緒識(shí)別的效果[18-19]。

為解決以上問題,本文提出一種基于縮放卷積神經(jīng)網(wǎng)絡(luò)層和腦電通道增強(qiáng)模塊融合進(jìn)行腦電情緒識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)。該情緒識(shí)別網(wǎng)絡(luò)能夠融入原始腦電信號(hào)時(shí)間維度和頻率維度的信息，自動(dòng)提取特征,并通過腦電通道增強(qiáng)模塊使網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)對情緒識(shí)別任務(wù)更為重要的相關(guān)腦電通道,進(jìn)而減少網(wǎng)絡(luò)在與任務(wù)相關(guān)性不高的腦電通道上的學(xué)習(xí)能力,提升腦電情緒識(shí)別的精確度。與此同時(shí),通過輸出該情緒識(shí)別網(wǎng)絡(luò)增強(qiáng)模塊各腦電通道重要性的權(quán)重大小,并將其可視化在腦地形圖中,可以分析不同情緒狀態(tài)在人類大腦不同腦區(qū)的激活程度。最后，對比了各個(gè)腦電通道在進(jìn)行增強(qiáng)前后信號(hào)能量的變化,以驗(yàn)證本文所提基于腦電通道增強(qiáng)的情緒識(shí)別網(wǎng)絡(luò)的有效性。

1 相關(guān)工作

腦機(jī)情感交互可以增強(qiáng)人工智能的“類腦化”,只有將機(jī)器賦予了人類敏銳的情緒識(shí)別功能,才能更高效、更智能地與用戶進(jìn)行交互[20]。近年來,隨著6G時(shí)代的發(fā)展,基于腦電信號(hào)的情緒識(shí)別也成為熱點(diǎn)研究領(lǐng)域[21-22]。

目前，利用腦電生理信號(hào)進(jìn)行情緒識(shí)別的算法主要分為兩大類:傳統(tǒng)的腦電情緒識(shí)別算法和基于深度神經(jīng)網(wǎng)絡(luò)的腦電情緒識(shí)別算法。傳統(tǒng)的腦電情緒識(shí)別算法主要包括對腦電情緒信號(hào)進(jìn)行預(yù)處理、特征提取、特征降維和分類等步驟,需要具有一定的先驗(yàn)知識(shí)設(shè)計(jì)和提取與情緒識(shí)別相關(guān)的腦電特征,例如Petrantonakis等人從腦電情緒信號(hào)中提取了高階交叉特征,該特征能夠反映腦電情緒信號(hào)的波動(dòng)情況,實(shí)驗(yàn)表明在單通道和多通道的腦電情緒識(shí)別準(zhǔn)確率上均有較大的提升[23]。

隨著深度學(xué)習(xí)以及圖神經(jīng)網(wǎng)絡(luò)的發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)的腦電情緒識(shí)別研究受到更多研究學(xué)者的關(guān)注。相較于傳統(tǒng)的腦電情緒識(shí)別算法,利用深度神經(jīng)網(wǎng)絡(luò)模型識(shí)別腦電情緒可以避免因缺乏腦電情緒相關(guān)先驗(yàn)知識(shí)而導(dǎo)致識(shí)別效果低的問題。同時(shí)，深度神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性變換能力和學(xué)習(xí)能力,對于復(fù)雜的多通道腦電情緒信號(hào)的識(shí)別會(huì)表現(xiàn)出更優(yōu)越的性能[24]。如胡景釗等人提出的多通道腦電情緒識(shí)別網(wǎng)絡(luò)ScalingNet,利用深度神經(jīng)網(wǎng)絡(luò)直接對腦電信號(hào)的時(shí)空頻三域的信息進(jìn)行建模,用卷機(jī)神經(jīng)網(wǎng)絡(luò)對腦電情緒進(jìn)行分類[25]。Xing等人考慮腦電信號(hào)的時(shí)間動(dòng)態(tài)信息,將長短時(shí)記憶(long short term memory, LSTM)網(wǎng)絡(luò)模型應(yīng)用到腦電情緒識(shí)別中,分別對愉悅度、喚醒度和喜愛度3種維度上的二分類進(jìn)行探究,并證明LSTM網(wǎng)絡(luò)模型適合對腦電信號(hào)進(jìn)行處理[26]。Zhong等提出一種基于腦電信號(hào)的正則圖神經(jīng)網(wǎng)絡(luò)(regularized graph neural networks,RGNN),通過考慮不同腦區(qū)之間的生物拓?fù)浣Y(jié)構(gòu)捕捉不同腦電通道之間的局部和全局關(guān)系，進(jìn)行腦電情緒的識(shí)別[27]。

對于多通道腦電情緒識(shí)別的研究,其在特征提取階段能夠得到更加完整和豐富的腦電信息,同時(shí)也包含了許多與腦電情緒識(shí)別任務(wù)相關(guān)性不高的冗余信息,出現(xiàn)信息過載的問題,并且所有腦電通道重要性一致,不能有針對性地進(jìn)行腦電情緒識(shí)別。

綜上,本文基于縮放卷積神經(jīng)網(wǎng)絡(luò)層和腦電通道增強(qiáng)模塊提出一種新的用于腦電情緒識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu),并通過可視化各腦電通道權(quán)重腦地形圖探究不同情緒維度腦電通道增強(qiáng)效果。

2 方法設(shè)計(jì)

本文腦電情緒識(shí)別方法主要包括腦電信號(hào)預(yù)處理、自動(dòng)類時(shí)頻特征提取、腦電通道增強(qiáng)和分類識(shí)別4個(gè)步驟。圖1所示為該方法的處理流程框架圖。

圖1 本文方法處理流程框架圖Fig.1 Processing flow chart of the method in this paper

2.1 腦電預(yù)處理

通常在實(shí)驗(yàn)采集腦電信號(hào)過程中,所使用的信號(hào)采樣率均比較高,一是為了減少信號(hào)采集過程中的噪聲干擾,二是可以提升腦電信號(hào)的傳輸速率。圖2所示為一段32通道的原始腦電信號(hào)。為了減少后續(xù)腦電數(shù)據(jù)處理和特征提取等數(shù)據(jù)量的大小,提升數(shù)據(jù)的可用性，首先將其下采樣至128 Hz。

圖2 32通道原始腦電信號(hào)Fig.2 32-channel raw EEG signal

由于腦電信號(hào)的頻帶特性,其頻率一般都在50 Hz以下,以避開在采集過程中存在的工頻干擾。因此,采用帶通濾波器得到特定頻段4～45 Hz的腦電信號(hào)。同時(shí),考慮到被試在誘導(dǎo)情緒采集其腦電信號(hào)時(shí)存在的個(gè)體差異性和基線漂移問題,將前3 s的數(shù)據(jù)去除。然后將預(yù)處理之后的多通道腦電情緒信號(hào)送入自動(dòng)類時(shí)頻特征提取模塊。

2.2 類時(shí)頻特征提取

腦電預(yù)處理后的多通道腦電情緒信號(hào)為時(shí)間序列信號(hào),其存在情感信息表征不足的問題。為了融入腦電信號(hào)中時(shí)間維度和頻率維度的豐富信息,自動(dòng)從時(shí)序腦電信號(hào)中提取情感特征,同時(shí)，又可以利用深度學(xué)習(xí)技術(shù)進(jìn)一步自動(dòng)提取腦電信號(hào)中的高維特征張量。在得到預(yù)處理后的多通道腦電信號(hào)后,本文采用基于縮放卷積神經(jīng)網(wǎng)絡(luò)層的特征提取模塊,自動(dòng)提取多通道腦電情緒信號(hào)中的類時(shí)頻特征。

縮放卷積層是用來提取一維時(shí)間序列信號(hào)特征的一種神經(jīng)網(wǎng)絡(luò)層(見圖3),它的輸入可以是任意長度的腦電情緒信號(hào)[25]。對于每一個(gè)縮放卷積層,都會(huì)有一個(gè)縮放卷積核與腦電情緒信號(hào)進(jìn)行互相關(guān)計(jì)算。為了提取不同腦電通道情緒信號(hào)的類時(shí)頻特征,給每一個(gè)腦電通道將獨(dú)立分配一個(gè)縮放卷積層。

圖3 縮放卷積神經(jīng)網(wǎng)絡(luò)層[25]Fig.3 Scaling layer neural network

對每一個(gè)腦電通道的縮放卷積層,首先，采用初始的縮放卷積核與腦電情緒信號(hào)進(jìn)行互相關(guān)計(jì)算,初始的縮放卷積核為一個(gè)奇數(shù),目的是為了保證在每一次進(jìn)行互相關(guān)計(jì)算后,縮放卷積層的輸出結(jié)果長度保持不變。然后，再對該腦電通道的縮放卷積核進(jìn)行下采樣,縮放卷積核的大小,不斷地進(jìn)行這樣的操作,直至達(dá)到設(shè)定的縮放卷積核的下界。由此,便可以獲得與該腦電通道對應(yīng)的類時(shí)頻特征圖。式(1)為該縮放卷積層的計(jì)算式[25]，

Houtput(l)=δ(bias(l)+

downSample(weight,l)?Hinput)。

(1)

其中:Hinput表示縮放卷積層中輸入的一維腦電情緒信號(hào);Houtput表示縮放卷積層輸出的類時(shí)頻特征矩陣;bias是每次通過縮放該卷積核產(chǎn)生對應(yīng)的偏置,它是一個(gè)為了更好擬合數(shù)據(jù)的標(biāo)量;downSample表示池化操作符,通過一個(gè)窗口大小為2的平均卷積核對權(quán)重進(jìn)行下采樣,并執(zhí)行l(wèi)次,直至達(dá)到設(shè)定的縮放卷積核的下界；l表示控制縮放的水平；δ(·)表示縮放卷積層的激活函數(shù);weight表示縮放卷積核的權(quán)重;?代表互相關(guān)算子,其定義如式(2)所示[25]，

(2)

其中:f為downSample(weight,l),即經(jīng)過下采樣后的縮放卷積核;g為Hinput,在該網(wǎng)絡(luò)層中即為輸入的一維時(shí)間序列信號(hào);N為時(shí)間序列信號(hào)數(shù)據(jù)的總長度；n是一個(gè)自變量；m為求和變量。f在g上滑動(dòng),即輸入的一維腦電情緒信號(hào)與縮放卷積核不斷進(jìn)行滑動(dòng),連續(xù)做互相關(guān)計(jì)算。

對每一個(gè)腦電通道都使用獨(dú)立的縮放卷積層提取該通道上的類時(shí)頻信息,然后在腦電通道維度上堆疊各腦電通道的類時(shí)頻特征圖,得到所有腦電通道情緒信號(hào)的三維類時(shí)頻特征張量。

2.3 腦電通道增強(qiáng)模塊

腦電情緒識(shí)別任務(wù)中存在多通道信息過載、腦電通道重要性一致,以及特征中包含與情緒識(shí)別任務(wù)相關(guān)性不高的特征等問題。通過對提取到類時(shí)頻特征中的有效情感信息進(jìn)行增強(qiáng),并抑制冗余信息帶來的負(fù)面影響,可以改善情緒分類的性能。為了提升腦電情緒識(shí)別過程中的有效性和針對性,采用基于注意力機(jī)制的腦電通道增強(qiáng)模塊,以達(dá)到增強(qiáng)腦電情緒識(shí)別任務(wù)相關(guān)腦電通道重要性的目的[28]。這是首次使用注意機(jī)制直接對腦電物理通道進(jìn)行增強(qiáng),進(jìn)而提升腦電情緒識(shí)別的準(zhǔn)確率。

在2.2節(jié)中得到的三維特征張量形狀為(腦電通道數(shù),時(shí)間信息,頻率信息),通道增強(qiáng)是在三維特征張量中的腦電物理通道維度上進(jìn)行的。通過腦電通道增強(qiáng)模塊,可以在情緒識(shí)別過程中對不同的腦電通道賦予不同的重要性。腦電通道增強(qiáng)模塊主要由全局平均池化層、全連接層、ReLU激活函數(shù)和Sigmoid激活函數(shù)等構(gòu)成[29]。通過該增強(qiáng)模塊,可以得到一個(gè)和腦電通道數(shù)一樣大小的一維向量作為各腦電通道的重要性程度,然后，再將此一維向量重要性程度重新與三維類時(shí)頻特征張量加權(quán)相乘,得到增強(qiáng)后的特征圖。圖4所示為腦電通道增強(qiáng)模塊的結(jié)構(gòu)連接圖，從縮放卷積層輸出類時(shí)頻特征之后即連接腦電通道增強(qiáng)模塊,其中，r表示降維過程的壓縮比,這樣做一方面可以降低網(wǎng)絡(luò)計(jì)算量,另一方面增加了網(wǎng)絡(luò)的非線性變換能力。對類時(shí)頻特征張量進(jìn)行全局平均池化處理,能夠增強(qiáng)網(wǎng)絡(luò)的全局感受野，使用兩層全連接層能夠增強(qiáng)網(wǎng)絡(luò)的非線性變換能力。最終達(dá)到增強(qiáng)與腦電情緒識(shí)別相關(guān)腦電通道的重要性,同時(shí)抑制與其不相關(guān)腦電通道的目的。

圖4 腦電通道增強(qiáng)模塊Fig.4 EEG channel enhancement module

2.4 網(wǎng)絡(luò)結(jié)構(gòu)

本文所提的基于注意機(jī)制的腦電通道增強(qiáng)情緒識(shí)別網(wǎng)絡(luò),其輸入是多通道原始的腦電情緒信號(hào),輸出為積極情緒或消極情緒,網(wǎng)絡(luò)的主要組成部分包括縮放卷積層模塊和腦電通道增強(qiáng)模塊。圖5所示為基于注意力機(jī)制的腦電通道增強(qiáng)情緒識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)。自動(dòng)類時(shí)頻特征提取模塊由32層獨(dú)立的縮放卷積層組成,腦電通道增強(qiáng)模塊由一層全局平均池化層、兩層全連接層、 ReLU激活函數(shù)和Sigmoid激活函數(shù)層組成,深度特征變化模塊由三層二維卷積神經(jīng)網(wǎng)絡(luò)層組成,最后由Softmax層進(jìn)行腦電情緒的分類。

圖5 基于注意力機(jī)制的腦電通道增強(qiáng)情緒識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 EEG channel enhancement emotion recognition network structure based on the attention mechanism

該網(wǎng)絡(luò)為端到端的情緒識(shí)別網(wǎng)絡(luò),每一個(gè)腦電通道都獨(dú)立分配一個(gè)縮放卷積層來提取該通道的類時(shí)頻特征，在腦電通道維度上將所有通道的類時(shí)頻特征圖進(jìn)行堆疊得到類時(shí)頻特征張量。首次利用注意力機(jī)制直接在腦電物理通道中對其進(jìn)行增強(qiáng),腦電通道增強(qiáng)模塊輸出重要性的一維向量,然后，與類時(shí)頻特征進(jìn)行加權(quán)相乘得到腦電通道增強(qiáng)重標(biāo)定特征,接著，再經(jīng)過深度特征變換模塊提取腦電信號(hào)的深層信息,最后，使用全連接神經(jīng)網(wǎng)絡(luò)對情緒識(shí)別分類。

該網(wǎng)絡(luò)融合了多通道原始腦電信號(hào)的時(shí)間和頻率信息,利用縮放卷積層全自動(dòng)提取腦電情緒信號(hào)的類時(shí)頻特征,利用注意力機(jī)制對腦電物理通道進(jìn)行增強(qiáng),同時(shí)抑制與腦電情緒識(shí)別任務(wù)不相關(guān)的腦電通道,有效提高了腦電情緒識(shí)別的準(zhǔn)確率。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)評估均在DEAP多模態(tài)情感數(shù)據(jù)集上進(jìn)行[30]。該數(shù)據(jù)集記錄了32名被試分別觀看40段不同誘導(dǎo)音樂視頻下的腦電信號(hào)及周邊生理信號(hào)。采集腦電信號(hào)的設(shè)備是BioSemi ActiveTwo system,設(shè)備采樣率為512 Hz,采用的是10-20國際標(biāo)準(zhǔn)32通道。BioSemi ActiveTwo system腦電設(shè)備在多通道、高分辨率、生物電勢測量系統(tǒng)中設(shè)立了世界領(lǐng)先的標(biāo)準(zhǔn),保障了本實(shí)驗(yàn)所使用腦電數(shù)據(jù)的可靠性[30]。

DEAP數(shù)據(jù)集對情感的描述采用了SAM三維情感模型,圖6所示為SAM情感描述模型空間圖。除了在愉悅度(valance)、喚醒度(arousal)和支配度(dominance)上對情感進(jìn)行描述,同時(shí)記錄了被試對每一段誘導(dǎo)音樂視頻的喜愛度(liking)，作為情感的評估,被試在每一個(gè)維度上的評分均在1～9之間。在本實(shí)驗(yàn)中,定義評分大于等于5為積極的情緒,評分小于5則為消極的情緒。經(jīng)評估分析,該數(shù)據(jù)集在情感激發(fā)上是成功的[30]。

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 驗(yàn)證及評估 32名被試觀看40段不同誘導(dǎo)視頻產(chǎn)生的腦電信號(hào)樣本大小為1 280。經(jīng)腦電數(shù)據(jù)預(yù)處理后,每一個(gè)腦電情緒信號(hào)樣本的采樣率均為128 Hz,采樣時(shí)間為60 s,因此,腦電情緒信號(hào)的形狀為(32,7 680)。按照8∶2的比例劃分訓(xùn)練集與測試集,并進(jìn)行五折交叉驗(yàn)證。

圖6 SAM三維情感描述模型Fig.6 SAM 3D emotion description model

實(shí)驗(yàn)在3個(gè)情感維度上的評估指標(biāo)均為準(zhǔn)確率accuracy，其定義為式(3)。在每一個(gè)情感維度上的分類準(zhǔn)確率均采用五折交叉驗(yàn)證的平均分類準(zhǔn)確率。

(3)

其中:TP、TN表示真正例和真負(fù)例;FP、FN表示假正例和假負(fù)例。

3.2.2 參數(shù)選擇 為了使該情緒識(shí)別模型具備最佳性能，在不同參數(shù)設(shè)置上對模型進(jìn)行了實(shí)驗(yàn)。表1所示為不同大小的深度特征變換模塊對網(wǎng)絡(luò)性能的影響，當(dāng)深度特征變換模塊的卷積核大小為(16,16,32)時(shí),網(wǎng)絡(luò)的性能較好。

表1 深度特征變換模塊對比實(shí)驗(yàn)

同時(shí)，對網(wǎng)絡(luò)的批大小batch size、初始化縮放卷積核大小、腦電通道增強(qiáng)模塊的壓縮比r,以及不同的網(wǎng)絡(luò)優(yōu)化器進(jìn)行了對比實(shí)驗(yàn),圖7為參數(shù)對比實(shí)驗(yàn)的結(jié)果?？梢钥闯觯?種參數(shù)對腦電情緒識(shí)別網(wǎng)絡(luò)的整體性能都有較大的影響。因此，對網(wǎng)絡(luò)中的參數(shù)設(shè)置極為重要。綜上述所示,本文在最終驗(yàn)證與評估腦電情緒識(shí)別性能時(shí)采用了如表2所示的參數(shù)設(shè)置。

表2 網(wǎng)絡(luò)參數(shù)選擇設(shè)置Tab.2 Network parameter selection settings

3.3 實(shí)驗(yàn)結(jié)果

為了探求引入不同注意力機(jī)制對腦電通道增強(qiáng)模塊的效果對比,本文采用了4種不同注意力機(jī)制進(jìn)行腦電通道增強(qiáng)。表3展示了4種不同注意力機(jī)制對腦電通道增強(qiáng)情緒識(shí)別的結(jié)果。其中SE-FC表示使用全連接層進(jìn)行特征非線性變換過程;SE-Conv表示使用1×1的卷積層進(jìn)行擴(kuò)增特征維度的過程;ECANet是通過自適應(yīng)內(nèi)核大小具備跨通道信息交互的注意力機(jī)制[31];SE-DFC是在原SE-FC注意力機(jī)制中再增加一層非線性變換的腦電通道增強(qiáng)模塊。經(jīng)實(shí)驗(yàn)驗(yàn)證評估,基于SE-FC注意力機(jī)制的腦電通道增強(qiáng)模塊更適用于情緒識(shí)別的任務(wù)。這也表明利用更多的腦電通道進(jìn)行情緒識(shí)別是更合理的,對其進(jìn)行腦電物理通道的增強(qiáng)也是十分新穎和有必要的。

為進(jìn)一步驗(yàn)證該情緒識(shí)別網(wǎng)絡(luò)模型性能,與其他采用同一數(shù)據(jù)集的腦電情緒識(shí)別實(shí)驗(yàn)進(jìn)行了對比,結(jié)果如表4所示。本文所提出的基于腦電通道增強(qiáng)的情緒識(shí)別方法在愉悅度、喚醒度和支配度3個(gè)維度上的平均識(shí)別準(zhǔn)確率均達(dá)到了最優(yōu)的性能,分別為71.18%,70.08%和70.86%。這表明類時(shí)頻特征圖能有效地進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的信號(hào)變換,有利于后續(xù)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步抽取與任務(wù)相關(guān)的高階語義信息,減少非參數(shù)化信號(hào)變換可能導(dǎo)致的非任務(wù)相關(guān)信息被過多保留的問題。由于類時(shí)頻特征圖是逐通道提取的,其在神經(jīng)網(wǎng)絡(luò)特征空間中既存在任務(wù)相關(guān)淺層表征,又保留了腦電通道本身的物理映射。腦電通道增強(qiáng)模塊直接在特征空間中作用于物理通道維度,既對信號(hào)表征進(jìn)行了任務(wù)相關(guān)的通道增強(qiáng),又保留了物理通道的可解釋性，這表明直接在腦電物理通道上利用注意力機(jī)制對其進(jìn)行增強(qiáng)是有效的。對不同的腦電物理通道通過腦電通道增強(qiáng)模塊賦予不同的重要性,增強(qiáng)對腦電情緒識(shí)別任務(wù)相關(guān)通道的權(quán)重,同時(shí)抑制與任務(wù)不相關(guān)的腦電通道學(xué)習(xí)能力。在引入時(shí)頻信息的同時(shí),采用縮放卷積層,其相較于非參數(shù)化的信號(hào)變換方法，可以在學(xué)習(xí)過程去除淺層特征中部分與任務(wù)無關(guān)信息。結(jié)合腦電通道增強(qiáng)模塊可以有效解決多通道腦電信號(hào)數(shù)據(jù)量大、信息過載，以及有效特征表征能力不足的問題。該方法能夠有效提升多通道腦電情緒識(shí)別的準(zhǔn)確度,在推動(dòng)腦機(jī)情感交互和6G時(shí)代創(chuàng)新與發(fā)展的同時(shí),促進(jìn)基于腦電信號(hào)情緒識(shí)別在生物醫(yī)學(xué)、神經(jīng)康復(fù)等交叉領(lǐng)域的應(yīng)用。

圖7 網(wǎng)絡(luò)性能影響對比實(shí)驗(yàn)Fig.7 Comparative experiment on network performance

表3 不同腦電通道增強(qiáng)模塊對比實(shí)驗(yàn)

表4 與其他相關(guān)研究實(shí)驗(yàn)結(jié)果對比Tab.4 Comparison of experimental results with other related studies

為了進(jìn)一步探究類時(shí)頻特征和腦電通道增強(qiáng)模塊對情緒識(shí)別的影響,在DEAP數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。首先,將本文所提出的網(wǎng)絡(luò)去除掉類時(shí)頻特征和腦電通道增強(qiáng)模塊作為比較基準(zhǔn)(baseline)；然后，依次探究類時(shí)頻特征及腦電通道增強(qiáng)模塊(SE-FC)的有效性。結(jié)果如表5所示,相比于基準(zhǔn)方法(baseline),本文使用的類時(shí)頻特征可以有效地從腦電信號(hào)中提取情緒識(shí)別相關(guān)的特征信息,同時(shí)，腦電通道增強(qiáng)模塊(SE-FC)可以進(jìn)一步提升情緒識(shí)別的準(zhǔn)確率,這也表明了直接在腦電物理通道上利用注意力機(jī)制對其進(jìn)行增強(qiáng)是有效的。

表5 消融實(shí)驗(yàn)Tab.5 AblationStudy

3.4 分析討論

在情緒識(shí)別網(wǎng)絡(luò)模型訓(xùn)練好后,本文繪制了SE-FC、SE-Conv、ECANet和SE-DFC 4種不同腦電通道增強(qiáng)方法下3個(gè)情感維度上的腦地形圖,如圖8所示。腦地形圖中的值表示每一個(gè)腦電通道的重要性。 由圖8可以看出, 4種增強(qiáng)方法和3維情感維度上的大腦激活區(qū)域都主要都分布在額葉、 枕葉和顳葉區(qū)。 據(jù)相關(guān)生物學(xué)腦區(qū)功能劃分研究表明, 大腦額葉區(qū)主要負(fù)責(zé)人類計(jì)劃、 判斷、 智力、 注意力, 包括情緒和自我意識(shí)等高級(jí)功能, 圖8中的腦地形圖也從側(cè)面可以反映這點(diǎn)[37]。 人類的情緒與腦電信號(hào)都是極其復(fù)雜的, 圖8中腦地形圖在枕葉區(qū)的激活程度也比較高, 其原因與實(shí)驗(yàn)在誘導(dǎo)被試情緒時(shí)觀看音樂視頻相關(guān), 導(dǎo)致在負(fù)責(zé)視覺相關(guān)信息的枕葉區(qū)也相當(dāng)活躍。

圖8 3個(gè)情緒維度上的腦地形圖Fig.8 Brain topography on the three emotion dimensions

腦地形圖在不同的情感維度上也會(huì)有不同的差異存在, 圖8中的腦地形圖反映了在256個(gè)測試樣本上計(jì)算得到的腦電通道的平均重要性。 樣本之間的差異性并不大, 在3個(gè)情感維度上的通道重要性略有不同, 具體在表6中有所體現(xiàn)。 表6展示的是經(jīng)過腦電通道增強(qiáng)后, 各情感描述維度上通道重要性在前8名的腦電通道。 近年來, 大量腦科學(xué)與神經(jīng)心理學(xué)研究報(bào)告了與情緒活動(dòng)相關(guān)的主要區(qū)域, 研究發(fā)現(xiàn)其主要集中在大腦杏仁核(靠近海馬體, 位于顳葉的額部)與前額葉皮層(覆蓋額葉的一部分)[38]相關(guān)區(qū)域。 在表6中對比了3個(gè)情緒維度的重要通道, 發(fā)現(xiàn)C4、P4、P3、 PO4、 F7這5個(gè)腦電通道在3個(gè)情感模型維度上均比較活躍,表明與情緒識(shí)別相關(guān)的大腦活躍區(qū)域分布在額葉、 枕葉和顳葉區(qū),這與已有的腦認(rèn)知科學(xué)理論是相符的, 進(jìn)一步說明基于純數(shù)據(jù)驅(qū)動(dòng)的腦電通道增強(qiáng)結(jié)果與人類的先驗(yàn)知識(shí)是一致的。

表6 腦電通道增強(qiáng)后重要性前8名結(jié)果

4 結(jié)語

針對多通道的腦電情緒識(shí)別研究,本文從各腦電通道的重要性角度出發(fā),通過腦電增強(qiáng)模塊在網(wǎng)絡(luò)中重新賦予各腦電通道不同的重要性,以增強(qiáng)與腦電情緒識(shí)別相關(guān)的通道,同時(shí)抑制與任務(wù)不相關(guān)的腦電通道。通過實(shí)驗(yàn)驗(yàn)證了直接在腦電物理通道上增強(qiáng)識(shí)別情緒的有效性,同時(shí)繪制了不同情感維度上的腦地形圖,表明與情緒識(shí)別相關(guān)的大腦激活區(qū)域主要分布在人腦的額葉、枕葉和顳葉區(qū)等邊緣系統(tǒng),額葉區(qū)和枕葉區(qū)的C4、P4、P3、PO4和F7這5個(gè)腦電通道在3個(gè)情感模型維度上均比較活躍。本文所提出的基于腦電通道增強(qiáng)的情緒識(shí)別方法促進(jìn)了腦機(jī)情感交互在生物醫(yī)學(xué),特別是在自閉癥等精神疾病康復(fù)方面的應(yīng)用。