基于EEG的戰(zhàn)場(chǎng)適應(yīng)性模擬訓(xùn)練情緒分析方法

羅超元

（陸軍步兵學(xué)院 江西省南昌市 330103）

1 引言

殘酷激烈的作戰(zhàn)情景容易激發(fā)一線指戰(zhàn)員的高度憂慮和緊張等負(fù)面情緒，導(dǎo)致其思維上的遲鈍甚至混亂，嚴(yán)重影響作戰(zhàn)指揮效能。戰(zhàn)場(chǎng)適應(yīng)性模擬訓(xùn)練系統(tǒng)提供高度逼真的戰(zhàn)場(chǎng)環(huán)境，能夠較好地培養(yǎng)一線指戰(zhàn)員在殘酷戰(zhàn)場(chǎng)環(huán)境中的心理穩(wěn)定能力和承受能力[1]。在適應(yīng)性訓(xùn)練過程中，了解參訓(xùn)者的情緒狀態(tài)是驗(yàn)證訓(xùn)練有效性必不可少的環(huán)節(jié)，施訓(xùn)人員以往通過參訓(xùn)者的自我描述了解人員心理變化，以評(píng)估訓(xùn)練的效果，然而，該方法受主觀性影響較大，存在較大的弊端。近年來許多學(xué)者提出一種基于腦電信號(hào)的情緒識(shí)別方法，為分析參訓(xùn)者的情緒狀態(tài)提供了一種新手段。

目前，基于腦電信號(hào)的情緒識(shí)別主要建立在公開的數(shù)據(jù)集上，比如上海交大情感腦電數(shù)據(jù)集（SEED）[2]、生理信號(hào)情緒分析數(shù)據(jù)集（DEAP）[3]，MAHNOB-HCI數(shù)據(jù)集[4]。主要研究路線有兩條：

（1）將腦電信號(hào)數(shù)據(jù)直接輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行分類器的訓(xùn)練，通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略來提升情緒識(shí)別的準(zhǔn)確性[5-8]。比如周雙如等[5]提出一種結(jié)合卷積殘差網(wǎng)絡(luò)、雙向門循環(huán)網(wǎng)絡(luò)與注意力機(jī)制網(wǎng)絡(luò)的情緒識(shí)別模型，在DEAP數(shù)據(jù)集上進(jìn)行情緒的二分類測(cè)試，喚醒度和效價(jià)的分類準(zhǔn)確率分別達(dá)到96.95%、97.22%。賈巧妹[8]等在ScaleNet網(wǎng)絡(luò)的基礎(chǔ)上提出一種結(jié)合提升算法與梯度下降法的雙策略訓(xùn)練方法，在DEAP數(shù)據(jù)集上進(jìn)行情緒二分類測(cè)試，有效提升了模型的泛化性能。戴紫玉[9]等提出基于多尺度卷積核的卷積神經(jīng)網(wǎng)絡(luò)分類模型，在SEED數(shù)據(jù)集上進(jìn)行情緒三分類測(cè)試，將分類準(zhǔn)確率提升至98.19%。

（2）事先根據(jù)經(jīng)驗(yàn)手動(dòng)提取數(shù)據(jù)特征，再利用特征對(duì)模型進(jìn)行訓(xùn)練，通過改變特征的類別、對(duì)特征進(jìn)行組合、模型參數(shù)的調(diào)整等方式提升準(zhǔn)確率[10-14]。提取的特征包括頻域和時(shí)域特征[14]，以及近似熵、模糊熵、微分熵等各種信息熵特征和融合特征[16]。比如，柳長(zhǎng)源[13]等將不對(duì)稱熵特征輸入支持向量機(jī)進(jìn)行訓(xùn)練，在DEAP數(shù)據(jù)集上進(jìn)行壓力與平靜情緒狀態(tài)的二分類測(cè)試，準(zhǔn)確率最高達(dá)到93.75%。廖健熙[10]等提取微分熵及常用的統(tǒng)計(jì)特征輸入隨機(jī)森林進(jìn)行訓(xùn)練，在自建數(shù)據(jù)集上進(jìn)行情緒三分類測(cè)試，平均準(zhǔn)確率達(dá)到97.87%。

從上述研究中可以發(fā)現(xiàn)，情緒識(shí)別研究集中于提升模型的識(shí)別準(zhǔn)確率，卻忽視了識(shí)別的分辨率，例如，建立在SEED數(shù)據(jù)集上的研究多以三分類（消極、積極、中性）研究為主[17-18]，建立在DEAP數(shù)據(jù)集上的研究多以二分類研究為主[6,19-22]。利用這些成果無法精細(xì)化了解人的情緒狀態(tài)，難以在現(xiàn)實(shí)應(yīng)用層面中發(fā)揮效用?；谏鲜鲅芯楷F(xiàn)狀以及戰(zhàn)場(chǎng)適應(yīng)性模擬訓(xùn)練的現(xiàn)實(shí)需求，本文提出一種基于排列熵和功率譜特征的卷積神經(jīng)網(wǎng)絡(luò)情緒分類模型，從EEG信號(hào)中提取特征對(duì)模型進(jìn)行訓(xùn)練，在情緒二維模型的兩個(gè)維度上分別進(jìn)行情緒八分類，通過實(shí)驗(yàn)結(jié)果的對(duì)比與分析，以期證明模型在情緒分類準(zhǔn)確率和分辨率上的優(yōu)越性，從而為戰(zhàn)場(chǎng)適應(yīng)性模擬訓(xùn)練提供一種更加有效的情緒分析方法。

2 分析方法描述

腦電是隨時(shí)間連續(xù)變化的序列信號(hào)，對(duì)腦電信號(hào)進(jìn)行分析，可以了解人員內(nèi)在的情緒狀態(tài)。本文基于腦電對(duì)情緒進(jìn)行的分析，建立在情緒的二維模型基礎(chǔ)上，第一個(gè)維度是喚醒度，用于度量情緒從平靜到興奮的激活程度；第二個(gè)維度是效價(jià)，用于區(qū)分正性和負(fù)性情緒。用二者刻畫情緒可在二維空間形成一個(gè)平面，每一個(gè)坐標(biāo)都有一個(gè)值來指代一種狀態(tài)的情緒，據(jù)此可以初步了解人的情緒狀態(tài)，如圖1所示。

圖1：情緒二維模型

3 模型構(gòu)建

如圖2所示，在構(gòu)建模型時(shí)，首先對(duì)用于模型訓(xùn)練的數(shù)據(jù)進(jìn)行預(yù)處理和擴(kuò)展，然后提取排列熵與功率譜作為特征，再將特征輸入到兩個(gè)8分類網(wǎng)絡(luò)結(jié)構(gòu)，分別以不同的情緒標(biāo)簽（喚醒度、效價(jià)）進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，從而得到情緒分類器。

圖2：模型主要結(jié)構(gòu)

3.1 數(shù)據(jù)預(yù)處理

本文采用DEAP數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練和測(cè)試，該數(shù)據(jù)集包含對(duì)32名被試在情緒誘發(fā)實(shí)驗(yàn)中腦電信號(hào)的記錄[3]。在情緒誘發(fā)實(shí)驗(yàn)中，每個(gè)被試觀看40個(gè)時(shí)長(zhǎng)為1分鐘的視頻，記錄了被試觀看視頻時(shí)32個(gè)電極的腦電信號(hào)。相關(guān)研究表明僅使用少量電極通道的信號(hào)即可以較高的準(zhǔn)確率完成識(shí)別[21]，為減少信號(hào)冗余的并加速模型的訓(xùn)練速度，本文僅使用其中的14個(gè)電極信號(hào)，包括AF3、F3、F7、FC5、C3、P7、O1、AF4、F4、F8、FC6、T8、P8、O2，因此一共使用32×40×14個(gè)腦電信號(hào)序列。使用數(shù)據(jù)為經(jīng)過預(yù)處理之后的腦電信號(hào)序列，預(yù)處理采用降采樣至128Hz、去偽跡、4-45Hz濾波、平均重參考四個(gè)過程對(duì)原始信號(hào)進(jìn)行處理，最終每個(gè)信號(hào)序列長(zhǎng)度為7680。

此外，對(duì)較為龐大的網(wǎng)絡(luò)模型而言，用于模型訓(xùn)練數(shù)據(jù)量有限，為減少訓(xùn)練過程中的過擬合的可能性，特征提取之前在原數(shù)據(jù)的基礎(chǔ)上進(jìn)行分割擴(kuò)展，在每段分割后的信號(hào)數(shù)據(jù)上抽取特征。數(shù)據(jù)分割擴(kuò)展采取以下方法：以16為步長(zhǎng)，使用大小為256的重疊式滑動(dòng)窗口對(duì)每個(gè)信號(hào)序列進(jìn)行分割，如圖3所示，進(jìn)而將每個(gè)信號(hào)序列轉(zhuǎn)換為465個(gè)子序列。此后的特征提取過程中，在每個(gè)子序列上提取N個(gè)特征值，14個(gè)電極信號(hào)特征拼接以后形成長(zhǎng)度為14×N的一維特征序列，最終得到595200條特征樣本序列。

圖3：基于重疊滑動(dòng)窗口的數(shù)據(jù)分割

DEAP數(shù)據(jù)中除腦電信號(hào)數(shù)據(jù)外，數(shù)據(jù)還包括被試對(duì)自身情緒狀態(tài)的自我評(píng)價(jià)值，包括喚醒度（arousal）、效價(jià)（value），取值區(qū)間為[1,9]。為實(shí)現(xiàn)8分類的目的，將區(qū)間進(jìn)行8等分，落在每個(gè)區(qū)間內(nèi)的值歸為不同類別。

3.2 排列熵

熵特征中，排列熵具有算法簡(jiǎn)單、速度快、能夠抵抗環(huán)境干擾影響等優(yōu)點(diǎn)，在機(jī)械設(shè)備狀態(tài)監(jiān)測(cè)、故障診斷以及心率、血壓信號(hào)檢測(cè)中都比較有用，廣泛應(yīng)用于特征提取的領(lǐng)域當(dāng)中，本文從多個(gè)尺度提取腦電信號(hào)的排列熵值，以確保特征的多樣性，具體實(shí)施步驟如下：

其中k=n-m+1，矩陣有k個(gè)重構(gòu)分量，每個(gè)分量中嵌入m個(gè)元素。

（2）將重構(gòu)矩陣中的第j個(gè)分量x(j)，x(j+τ)，...，x(j+(m-1)τ)進(jìn)行大小排序，得到：

（3）每個(gè)重構(gòu)分量都重復(fù)步驟（2），得到k個(gè)重構(gòu)符號(hào)序列S(l)=(j1,j2,...,jm)，l=1,2,...,k。

（4）計(jì)算每一種m維符號(hào)序列出現(xiàn)的概率P1,P2,…, Pk，再得出序列的排列熵值：

本文中的嵌入維數(shù)m與延時(shí)τ的取值定為（3，10）、（4，9）、（5，8），分別從上述3個(gè)尺度提取時(shí)間序列的排列熵特征，并作歸一化。

3.3 功率譜

頻域特征中，部分頻段與人的情緒活動(dòng)有著緊密的聯(lián)系[22]，且有相關(guān)文獻(xiàn)介紹到特定頻段內(nèi)的腦電信號(hào)對(duì)與情緒識(shí)別的準(zhǔn)確率較高，比如β(14-30Hz)、γ(31-50Hz)[23]。本文模型中提取多個(gè)頻段內(nèi)的功率譜均值作為頻域特征，頻段區(qū)間設(shè)定為[4，8]，[8，12]，[12，16]，[16，25]，[25，45]。第i個(gè)頻段區(qū)間的功率譜特征可用如下公式計(jì)算：

其中，{xi}是原始信號(hào)序列，{Xk}是其傅里葉變換系數(shù)，N為區(qū)間長(zhǎng)度。

3.4 網(wǎng)絡(luò)結(jié)構(gòu)

為能夠在喚醒度與效價(jià)兩個(gè)維度上實(shí)現(xiàn)預(yù)期的分類效果，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計(jì)12層的一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要參數(shù)如表1所示。

表1：網(wǎng)絡(luò)主要參數(shù)

（1）卷積層：網(wǎng)絡(luò)輸入形狀為N×1（特征數(shù)量×1），第一層卷積使用1024個(gè)大小為9×1卷積核對(duì)輸入特征進(jìn)行卷積操作，第3、5、7層卷積核尺寸設(shè)置為6×1，每層卷積核數(shù)量按比例2遞減，所有卷積層的激活函數(shù)設(shè)置為relu。

（2）池化層：每個(gè)卷積層后進(jìn)行一次最大池化操作，池化尺寸設(shè)置為2。

（3）全連接層：最后經(jīng)過4個(gè)全連接層，每層神經(jīng)元數(shù)量分別為1024、256、64、8。其中，最后一個(gè)全連接層的輸出函數(shù)使用softmax，得到輸出形狀為8×1的分類結(jié)果。

3.5 訓(xùn)練策略

為使得輸出結(jié)果符合預(yù)期，在訓(xùn)練網(wǎng)絡(luò)過程中采取以下幾項(xiàng)策略：

（1）輸入網(wǎng)絡(luò)前，將每個(gè)特征進(jìn)行z-score標(biāo)準(zhǔn)化。用全部訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行120次訓(xùn)練，取最優(yōu)的結(jié)果。

（2）將特征樣本按照初始順序，以取7留1的方式分隔為訓(xùn)練樣本與測(cè)試樣本，訓(xùn)練過程軟件基于keras2.9.0，硬件基于NVIDIA RTX3060 GPU，網(wǎng)絡(luò)初始權(quán)重默認(rèn)值，采用adam算法進(jìn)行權(quán)重調(diào)整，訓(xùn)練批次大小設(shè)置為256。

（3）第8層的最大池化操作后，進(jìn)行一次平展操作，將第8層的輸出平展為一維向量，以便與全連接層銜接。

表3：基于不同特征的效價(jià)分類指標(biāo)

（4）為防止網(wǎng)絡(luò)深度增加而導(dǎo)致的層間特征值分布逐漸向激活函數(shù)的輸出區(qū)間的兩端聚集，進(jìn)而引起導(dǎo)致梯度消失。在1、3、5、7層的每次卷積操作后，進(jìn)行批次歸一化處理（BN），將每層的輸出值分布重新調(diào)整回標(biāo)準(zhǔn)正態(tài)分布，輸出值將落在激活函數(shù)自變量的敏感區(qū)間，使損失函數(shù)產(chǎn)生較大的變化，避免梯度消失，加快模型的收斂。

（5）由于網(wǎng)絡(luò)規(guī)模較大，為加速訓(xùn)練過程及避免網(wǎng)絡(luò)過擬合問題，在訓(xùn)練該網(wǎng)絡(luò)時(shí)，使用隨即丟棄策略凍結(jié)9至11層中的部分神經(jīng)元（Droupout），概率取20%。

3.6 模型評(píng)價(jià)指標(biāo)

從準(zhǔn)確率、查準(zhǔn)率（P）、查全率（R）與F1分?jǐn)?shù)（F1-score）幾個(gè)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)，由于該模型屬于多分類模型，因此在評(píng)價(jià)中以Macro-average方法對(duì)P、R與F1-score進(jìn)行了處理，Macro-average適用于多分類問題，不受數(shù)據(jù)不平衡影響，核心計(jì)算過程如下：

其中n=8，Pi、Ri為第i個(gè)類別的查準(zhǔn)率與查全率。

4 模型測(cè)試

將訓(xùn)練好的模型用于測(cè)試數(shù)據(jù)，對(duì)其進(jìn)行8分類測(cè)試，從分類結(jié)果中計(jì)算各項(xiàng)評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行對(duì)比分析。

4.1 基于不同特征的模型對(duì)比

分別用排列熵、功率譜以及二者拼接后的特征訓(xùn)練出的模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類，從表2、3所記錄的結(jié)果中可以看出：

表2：基于不同特征的喚醒度分類指標(biāo)

（1）單一特征與組合特征訓(xùn)練出的模型，二者的查準(zhǔn)率皆高于查全率，說明模型在分類時(shí)表現(xiàn)的比較謹(jǐn)慎。

（2）排列熵與功率譜二者組合后訓(xùn)練出的分類器，在喚醒度和效價(jià)上的分類準(zhǔn)確率達(dá)到96.30%、96.23%，效果明顯優(yōu)于用單一特征訓(xùn)練出的分類器。此外，查準(zhǔn)率、查全率、F1-score均有明顯的提升。結(jié)果表明將兩種特征進(jìn)行組合可有效提高情緒分類器的準(zhǔn)確率。

表6：不同分類器效價(jià)分類指標(biāo)（單位：%）

4.2 多模型對(duì)比

為驗(yàn)證本文模型的優(yōu)越性，將排列熵與功率譜特征組合后輸入4種常用的分類器進(jìn)行訓(xùn)練，包括K鄰近（KNN）、隨機(jī)森林（RF）、邏輯回歸（LR）、樸素貝葉斯（NB），并對(duì)分類結(jié)果進(jìn)行對(duì)比。訓(xùn)練過程依托Scikit-learn1.0.2進(jìn)行，4種常用的模型的主要參數(shù)設(shè)置如表4所示。

表4：模型參數(shù)設(shè)置

對(duì)分類結(jié)果測(cè)試指標(biāo)進(jìn)行計(jì)算，得到表5、6中的一系列結(jié)果，從結(jié)果可以看出：

表5：不同分類器喚醒度分類指標(biāo)（單位:%）

（1）本文中構(gòu)建的模型在各項(xiàng)指標(biāo)上的表現(xiàn)最佳，RF綜合表現(xiàn)較好，僅次于本文中提出的分類模型，主要原因在于，研究中訓(xùn)練數(shù)據(jù)包括520800條樣本，特征維度為112，屬于比較大的數(shù)據(jù)量，因此RF比較適用于數(shù)據(jù)量較大時(shí)的情況，且能夠處理高維度的特征數(shù)據(jù)，因此其準(zhǔn)確率等各方面表現(xiàn)較好，KNN表現(xiàn)僅居其后。

（2）LR與NB的表現(xiàn)較差并不理想，一方面是為特征空間較大；另一方面是文中使用的特征之間不能保證相關(guān)性大小，部分特征可能具備一定較強(qiáng)的相關(guān)性，比如從多個(gè)尺度提取的排列熵特征，因此LR與NB不適用于本文的分類任務(wù)。

綜上所述，本文提出的基于排列熵與功率譜特征的卷積神經(jīng)網(wǎng)絡(luò)分類模型用于情緒分類的效果最好，在喚醒度和效價(jià)上的分類準(zhǔn)確率達(dá)到96.30%、96.23%，比表現(xiàn)最好的RF分別提升了2.64%、2.43%。

5 結(jié)論

本文構(gòu)建了一種基于排列熵與功率譜特征的卷積神經(jīng)網(wǎng)絡(luò)情緒分類模型，并用DEAP數(shù)據(jù)集對(duì)模型進(jìn)行了測(cè)試，研究結(jié)果表明：

（1）本文模型能同時(shí)保持以較高的分辨率和準(zhǔn)確率，從喚醒度、效價(jià)兩個(gè)情緒維度上的對(duì)腦電信號(hào)進(jìn)行分類。

（2）本文構(gòu)建的12層網(wǎng)絡(luò)模型比傳統(tǒng)的分類模型更具優(yōu)越性：與傳統(tǒng)分類模型中表現(xiàn)最好的模型相比，本文模型在喚醒度和效價(jià)分類上的準(zhǔn)確率分別提升了2.64%、2.43%。

（3）將排列熵與功率譜特征進(jìn)行組合后，有助于提升模型的性能，利用組合特征訓(xùn)練出的模型在各項(xiàng)測(cè)試指標(biāo)上都有明顯的提升，綜合表現(xiàn)比利用單一特征訓(xùn)練出的模型表現(xiàn)更好。

研究成果為戰(zhàn)場(chǎng)適應(yīng)性模擬訓(xùn)練情緒分析提供了一種可行的手段，同時(shí)，為后續(xù)情緒識(shí)別研究提供了研究思路，下一步情緒分析研究可以向更高分辨率的方向發(fā)展，從而更精準(zhǔn)的識(shí)別人在各種活動(dòng)與作業(yè)過程中的情緒狀態(tài)。