基于EEGNet的腦電信號情緒識別

趙瀛文，張偉民，程超杰，董英梁

（洛陽理工學(xué)院，河南 洛陽 471023）

0 引 言

在基于深度學(xué)習(xí)實現(xiàn)腦電信號的情緒識別的應(yīng)用過程中使用了一種緊湊輕量型的網(wǎng)絡(luò)EEGNet。在經(jīng)過數(shù)據(jù)集的制作、優(yōu)化模型參數(shù)、訓(xùn)練模型后實現(xiàn)了對腦電信號進行分析以達到情緒識別的目的，驗證了EEGNet網(wǎng)絡(luò)對腦電信號情緒識別具有良好的識別準確率。對情緒二分類、四分類以及八分類的準確度均在90%以上，本文詳細介紹了數(shù)據(jù)集的制作與網(wǎng)絡(luò)建立，以及損失函數(shù)及優(yōu)化器等參數(shù)的選擇，展示了EEGNet優(yōu)異的性能以及特點。

1 信號采集與處理工作

1.1 采集對象

采集對象共15人（男性9人，女6人），采集對象年齡在21歲到43歲區(qū)間內(nèi)，平均23.4歲。身體狀況良好，四肢健全且精神無恙，聽力均正常，視力均正常，經(jīng)過心理問卷檢查未發(fā)現(xiàn)被采集者有情緒問題或精神疾病狀況。實驗開始前24個小時內(nèi)不曾服用影響精神的各類物品，且未飲用影響精神的飲品，如酒精等。采集開始前被采集人員以及充分知悉整個實驗項目情況以及內(nèi)容流程。被采集人員在采集過程中可以選擇終止實驗。

1.2 刺激方法

本次采集采用圖片誘發(fā)情緒的方法。圖片選自《中國情緒材料情感圖片系統(tǒng)》中正性、負性和中性的圖片內(nèi)容。該情感圖片系統(tǒng)由800多張圖片組成。這些圖片為內(nèi)容清晰、含義明確、沒有文字且突出刺激物本身的東方特色的圖片。其中分別具有可以讓人產(chǎn)生正性情緒的圖片，例如可愛的動物、溫馨的情景、美味的食物、開心的笑容；另一種類別是能使人產(chǎn)生負性情緒的圖片，例如分離情景、災(zāi)難戰(zhàn)爭、流淚哭泣、驚悚的情景或可怕的蟲子。每次采集共緩慢播放一分鐘文件夾內(nèi)圖片，依照分類，極大程度選擇情緒表達強烈的圖片。例如圖1為系統(tǒng)內(nèi)負性圖片、正性圖片、中性圖片（部分）。

圖1 系統(tǒng)內(nèi)各類圖片

1.3 信號采集與處理流程

實驗中采用了博?？倒镜腘euSen W系列的32導(dǎo)無線腦電采集設(shè)備，其點擊位置按照標準的國際10-20系統(tǒng)排布。其具有高采樣率的高精信號質(zhì)量和優(yōu)異的抗干擾能力。

實驗之前，告知被采集者實驗?zāi)康?，實驗的流程以及注意事項，并且保證被采集者面部、耳部清潔，且采集工具佩戴前進行濕紙巾擦拭。選擇一個靜謐的環(huán)境且被采集者找到舒適的坐姿。被采集者頭腦保持清醒，身心保證放松。采集時電極連接位置使用EEGLAB描繪出來如圖2所示。

圖2 電極位置

被采集者接受不同圖片的情緒誘發(fā)，對各類情緒進行分散式穿插誘發(fā)，被采集者按之前告知注意事項進行實驗，采用顯示屏播放圖片。每組播放12張圖片，每張圖片有5 s的停留展示時間。一組腦電信號采集完成后，進行閉目兩分鐘情緒恢復(fù)后再繼續(xù)進行采集，針對每位被采集者分別進行40次采集。每組照片結(jié)束后，被采集人員進行自我評價，分別標示出喚醒度與效價的評分等級。評分從1分到9分，5分為中等，9分為強烈，一分為毫無感覺。對于標簽使用一個一維包含2個元素的矩陣進行保存。分別對應(yīng)著被采集者的每次采集后的自評標簽數(shù)據(jù)。對于采集的腦電信號使用EEGLAB工具包進行處理，經(jīng)過定位電極，剔除無用電極、濾波、跑ICA、去除偽跡、設(shè)置重參考等得到預(yù)處理后的數(shù)據(jù)，處理后的數(shù)據(jù)下采樣到128 Hz，使用EEGLAB繪制后如圖3所示。

圖3 預(yù)處理數(shù)據(jù)繪制

1.4 數(shù)據(jù)封裝處理

因為對腦電信號的下采樣頻率為128 Hz，有32個采集通道，且每位實驗參與者采集40次數(shù)據(jù)，即1 s時間內(nèi)有128個采樣點，每位被采集者分別采集40組腦電信號。為了減少應(yīng)用過程中中間變量以及生成文件數(shù)量，將每位被采集者的數(shù)據(jù)集封裝為一個32×7680×40的三維矩陣，其中32表示32個通道數(shù)據(jù)，7 680表示7 680個采樣點，40表示40次實驗。在制作訓(xùn)練集時再對其進行切片操作，使其數(shù)據(jù)與標簽相對應(yīng)，處理前后的數(shù)據(jù)使用MATLAB進行顯示，如圖4、圖5所示。

圖4 處理前數(shù)據(jù)矩陣

圖5 處理后數(shù)據(jù)矩陣

其中處理前數(shù)據(jù)矩陣大小為32×7 680，代表32個采集通道各有7 680個采樣點，處理后數(shù)據(jù)矩陣大小為32×7 680×40，其中32代表通道數(shù)量（channels），7 680代表每次的采樣點數(shù)，40代表每位被采集者采集40次數(shù)據(jù)，即處理后的數(shù)據(jù)矩陣代表每位被采集者的采集數(shù)據(jù)。

1.5 標簽封裝處理

對于情緒標簽，我們采用基于目前占主導(dǎo)地位的效價—喚醒度二維情緒理論，其中效價（valence）又稱作愉悅維度，在愉悅（積極）與非愉悅（消極）之間變化；喚醒度則在興奮與平靜之間變化。類似的，為減少中間變量以及后期生成文件的數(shù)量將每位被采集者的標簽同樣封裝在一個labels矩陣內(nèi)，矩陣大小為40×2，其中40代表實驗次數(shù)，2代表自評效價以及自評喚醒度。效價和喚醒度分別有1～9九個評級，在情緒識別時根據(jù)情緒分類識別類型不同將評級進行量化處理，例如，在情緒二分類型中，將某一評級量化到0和1，即二分類時labels內(nèi)數(shù)據(jù)只有0和1的標簽。

2 EEGNet網(wǎng)絡(luò)

EEGNet是一個基于EEG的緊湊型腦電特征提取卷積神經(jīng)網(wǎng)絡(luò)，是一個深度可分離卷積結(jié)構(gòu)。其利用深度卷積和可分離卷積構(gòu)造腦電特征提取模型的方法，在訓(xùn)練數(shù)據(jù)有限的情況下，EEGNet具有更好的泛化能力和性能。EEGNet對ERP和基于振蕩的BCIs都有很好的泛化。其結(jié)構(gòu)示意如圖6所示。

圖6 EEGNet結(jié)構(gòu)示意圖

2.1 EEGNet結(jié)構(gòu)

EEGNet結(jié)構(gòu)先后使用了深度卷積與深度可分離卷積進行卷積操作，降低了訓(xùn)練參數(shù)的數(shù)量，在其后使用指數(shù)線性單元ELU激活函數(shù)，最后特征直接傳遞給分類的softmax輸出，減少模型中自由參數(shù)的數(shù)量。

其中深度卷積方法為：

深度可分離卷積方法為：

式中表示輸入的第個通道與輸出的第個通道，其中*表示一個空間卷積。其對每個輸入通道獨立地應(yīng)用濾波（產(chǎn)生相同數(shù)量的輸出通道）。

深度可分離卷積示意如圖7所示。

圖7 深度可分離卷積示意圖

深度可分離卷積可看作是深度卷積與逐點卷積的結(jié)合，深度卷積的計算量為×××××，逐點卷積的計算量為××××，則深度卷積計算量為：

EEGNet的結(jié)構(gòu)圖如圖8所示。

圖8 EEGNet結(jié)構(gòu)圖

2.2 EEGNet與普通卷積

EEGNet采用了深度可分離卷積，深度可分離卷積會把一個卷積核拆分為兩個，然后對這兩種卷積核分別實行兩種不同的卷積方案：深度卷積、點卷積。基于深度卷積的這種特點其會比普通卷積具有更小的計算開銷，其減少了網(wǎng)絡(luò)中的參數(shù)數(shù)量，因此網(wǎng)絡(luò)就能在更短的時間內(nèi)處理更多的數(shù)據(jù)。如果網(wǎng)絡(luò)的參數(shù)不是很少的話，深度可分離卷積使用得當?shù)脑捒梢栽谶m當?shù)那闆r下提高運行效率。

2.3 EEGNet網(wǎng)絡(luò)建立

本文在基于anaconda的框架下進行開發(fā)，初始實驗設(shè)備CPU為英特爾i7-9750H。顯卡為英偉達GTX1660Ti，運行內(nèi)存雙通道8 g。在模型參數(shù)的選擇中，選擇使用Adam優(yōu)化器，通道數(shù)（Chans）設(shè)置為32，激活函數(shù)選用ELU函數(shù)，dropout設(shè)置為50%，采樣點數(shù)（Samples）設(shè)置為128。其中CNN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建的某層相關(guān)代碼為：

2.4 數(shù)據(jù)集封裝建立

對數(shù)據(jù)集與標簽封裝到一個文件中，在訓(xùn)練前對其數(shù)據(jù)集與標簽分別取出，以下是數(shù)據(jù)處理部分相關(guān)代碼：

2.5 模型訓(xùn)練

模型訓(xùn)練過程中需要對參數(shù)迭代更新，對于模型的參數(shù)更新配置如下，使用Adma優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 1，使用交叉熵損失函數(shù)，其中交叉熵多分類公式為：

式中，表示實際的標簽，表示預(yù)測輸出。

模型訓(xùn)練部分代碼為：

3 結(jié)果與分析

本文使用一種輕型緊湊的EEGNet網(wǎng)絡(luò)實現(xiàn)了對基于腦電信號的情緒識別，把32通道的腦電信號作為輸入，以情緒類別為輸出，其先后通過了深度卷積與深度可分離卷積層進行訓(xùn)練和測試識別。該網(wǎng)絡(luò)可以通過卷積核提取波形的內(nèi)在特征信息，以實現(xiàn)情緒分類問題。

3.1 結(jié)果

本系統(tǒng)是基于EEGNet神經(jīng)網(wǎng)絡(luò)的腦電信號情緒識別系統(tǒng)，通過采集人的腦電信號對信號特征提取及分析輸出人的情緒類別。訓(xùn)練過程如圖9所示。

圖9 訓(xùn)練過程

對于情緒的二分類識別最可達到98%以上，對于情緒的四識別最高可達到95%，對于情緒的八分類識別準確率可達到93%以上。對于更加精準的情緒識別而言采取增加腦電信號的采集通道數(shù)目從而獲取更多的腦電區(qū)域信號以及更換運算能力更強的后端處理設(shè)備的方式進行改進及優(yōu)化。對于情緒各分類平均識別準確率如表1所示。

表1 EEGNet各分類識別準確率

表1中各分類皆使用EEGNet方法，采用基于tensorflow2.0的庫函數(shù)進行搭建，訓(xùn)練與測試，證明其具有高效的腦電情緒識別能力。

3.2 分析

本文實現(xiàn)了使用EEGNet網(wǎng)絡(luò)進行基于腦電信號的情緒識別，體現(xiàn)了EEGNet的特點與性能。通過以32通道的腦電信號采集設(shè)備進行腦電信號的采集，使用EEGLAB工具包對原始信號進行預(yù)處理與封裝，最后對數(shù)據(jù)集進行處理與封裝以及網(wǎng)絡(luò)模型的建立。最終使用EEGNet網(wǎng)絡(luò)進行情緒識別。在數(shù)據(jù)集有限的情況下同樣具有良好的識別能力與魯棒性。本文系統(tǒng)仍存在局限，采集環(huán)境及誘發(fā)方式仍存在優(yōu)化空間采集樣本數(shù)量及覆蓋范圍可進行擴大，因此本實驗的結(jié)果可以作為參考依據(jù)，高度精準的專業(yè)級情緒測量需進行進一步印證。

4 結(jié) 論

本文提出一種基于EEGNet的腦電情緒識別方案，在基于較為有限自采集的數(shù)據(jù)集下，該方案具有較好的識別精度、魯棒性與準確率，為情緒識別提供新思路，后期可將其網(wǎng)絡(luò)應(yīng)用于嵌入式設(shè)備等。