結(jié)合人臉圖像和腦電的情緒識(shí)別技術(shù)①

黃泳銳,楊健豪,廖鵬凱,潘家輝

(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

1 引言

1.1 研究背景

情緒是一種綜合了人的感覺(jué),思想和行為的狀態(tài),它包括人對(duì)外界或自身刺激的心理反應(yīng),也包括伴隨這種心理反應(yīng)的生理反應(yīng),在人們的日常工作和生活中,情緒的作用無(wú)處不在.因此,基于人類的視覺(jué)特征和腦電特征,采用計(jì)算機(jī)技術(shù),對(duì)情緒特征進(jìn)行歸類的情緒識(shí)別成為人機(jī)交互、情感計(jì)算、智能控制、機(jī)器視覺(jué)、圖像處理與模式識(shí)別等領(lǐng)域的重要研究課題.

1.2 研究現(xiàn)狀

(1)關(guān)于人臉表情識(shí)別的研究

20世紀(jì)70年代美國(guó)心理學(xué)家Ekman和Friesen對(duì)現(xiàn)代人臉表情識(shí)別做出了開(kāi)創(chuàng)性的工作[1].Ekman定義了人類的6種基本表情:高興、生氣、吃驚、恐懼、厭惡和悲傷,確定了識(shí)別對(duì)象的類別;其次是建立了面部動(dòng)作編碼系統(tǒng) (Facial Action Coding System,FACS ).Shao等人在2015年提出一種基于子集選擇的面部識(shí)別的方法,用來(lái)提取人臉的特征[2].Hu等人在2016年提出一種從單一人臉圖像中進(jìn)行3D人臉重建的方法,用于進(jìn)行人臉信息的擴(kuò)充[3].2003年,北京科技大學(xué)的王志良教授領(lǐng)導(dǎo)的團(tuán)隊(duì),將人臉表情識(shí)別算法應(yīng)用于機(jī)器人的情感控制研究中[4].人臉表情識(shí)別的研究具有很大的開(kāi)發(fā)潛力.但檢測(cè)出準(zhǔn)確的表情并不總可以代表人的真正情緒,因?yàn)槿丝梢詡窝b表情.

(2)關(guān)于基于腦電的情緒識(shí)別研究

對(duì)于提取出的腦電特征,如何從腦電特征中學(xué)習(xí)出情緒狀態(tài)的模型,是腦電能否在情緒識(shí)別中得到應(yīng)用是關(guān)鍵性的一步.Murugappan等人利用模糊C均值和模糊K均值的方法對(duì)高興、厭惡、恐懼三種情緒進(jìn)行聚類,并通過(guò)對(duì)聚類效果的觀察,選擇能對(duì)情緒進(jìn)行區(qū)分的最少特征集合[5].Bos利用費(fèi)雪判別分析,針對(duì)正向、負(fù)向、興奮、平靜情緒中每一類分別訓(xùn)練一個(gè)分類器,使得正向情緒的分類準(zhǔn)確率為37/39,興奮、平靜情緒分類準(zhǔn)確率為38/39[6].Yazdani等人利用貝葉斯線性判別分析,將腦電特征針對(duì)喜悅、憤怒、厭惡、悲傷、驚訝、恐懼等六種情緒進(jìn)行了分類,達(dá)到80%以上的準(zhǔn)確率[7].Pertrantonakis和Hadjileontiadis利用二次判別分析(Quadratic Discriminant Analysis,QDA)以及SVM對(duì)情緒在愉快、驚訝、生氣、恐懼、厭惡、悲傷六種類別下進(jìn)行分類,分別達(dá)到了62.3%和83.33%的準(zhǔn)確率[8].但是基于腦電的情緒識(shí)別方法,存在信號(hào)難以提取的問(wèn)題.在采集腦電信號(hào)時(shí),會(huì)存在較大的其他電位干擾(如肌電,眼電等).

(3)關(guān)于利用信息融合技術(shù)的研究

盡管基于單一模態(tài)的情緒識(shí)別方法上攜帶著準(zhǔn)確的情緒信息,但是信號(hào)強(qiáng)度十分微弱,所以在提取過(guò)程中要求較高.近年來(lái),隨著多源異類信息融合處理領(lǐng)域的發(fā)展,可以將來(lái)自多類別參考情緒狀態(tài)的特征進(jìn)行融合.利用不同類別的信號(hào)相互支持,通過(guò)對(duì)互補(bǔ)信息進(jìn)行融合處理,可以得到很大改善.因此,人們開(kāi)始利用人臉表情、語(yǔ)音、眼動(dòng)、姿態(tài)和生理信號(hào)等多個(gè)通道的情緒信息之間的互補(bǔ)性來(lái)研究識(shí)別問(wèn)題,即基于多模態(tài)的情緒識(shí)別.多模態(tài)信息融合識(shí)別相對(duì)于單一信號(hào)識(shí)別無(wú)疑是可以提高識(shí)別準(zhǔn)確率的.

本文的工作就是融合人臉圖像和腦電識(shí)別的結(jié)果,以提高情緒識(shí)別的準(zhǔn)確率.

2 人臉表情識(shí)別的基本原理和實(shí)現(xiàn)

2.1 人臉表情識(shí)別過(guò)程

程序通過(guò)攝像頭采集到圖像,通過(guò)基于Haar特征值的Adaboost算法,實(shí)時(shí)檢測(cè)人臉位置.利用主成分分析(Principal Component Analysis,PCA)對(duì)提取人臉特征值進(jìn)行降維處理.將降維后的特征值利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類.詳細(xì)過(guò)程見(jiàn)圖1.下面重點(diǎn)講述Adaboost算法,PCA降維和卷積神經(jīng)網(wǎng)絡(luò)算法.

圖1 人臉表情識(shí)別流程圖

2.2 使用基于Haar特征值的Adaboost算法進(jìn)行人臉檢測(cè)基本原理

基于人臉圖像的人臉檢測(cè)方法,采用基于Haar特征值的Adaboost算法[9],它實(shí)際上是Boosting算法的一個(gè)應(yīng)用,Haar分類器用到了Boosting算法中的Adaboost算法,把Adaboost算法訓(xùn)練出的強(qiáng)分類器進(jìn)行了級(jí)聯(lián).

Adaboost是一種迭代算法,其核心思想是針對(duì)一個(gè)訓(xùn)練數(shù)據(jù)集D={(x1,y1),(x2,y2),(x3,y3),···,(xN,yN)},從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)一系列弱分類器或基本分類器,然后將這些弱分類器組合成一個(gè)強(qiáng)分類器.

其算法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的.通過(guò)每次訓(xùn)練集之中每個(gè)樣本分類結(jié)果是否準(zhǔn)確來(lái)訓(xùn)練弱分類器.并通過(guò)上一次的總體分類準(zhǔn)確率來(lái)確定每個(gè)弱分類器在強(qiáng)分類器中的權(quán)重,最終將多個(gè)弱分類器結(jié)合成強(qiáng)分類器.

將提取到的Haar特征值作為輸入,利用Adaboost算法進(jìn)行分類器訓(xùn)練,最終得出可用于人臉檢測(cè)的分類器.

2.3 表情特征提取

表情特征提取是人臉表情識(shí)別中最重要的部分,有效的表情特征提取工作將使識(shí)別的性能大大提高.通過(guò)對(duì)大量文獻(xiàn)的總結(jié),可知好的表情特征提取結(jié)果應(yīng)該具備以下幾個(gè)條件:(1)可完整表示出人臉表情的本質(zhì)特征;(2)可通過(guò)灰度處理,高斯濾波等方法去除噪聲、光照及其他與表情無(wú)關(guān)的干擾信息;(3)數(shù)據(jù)表示形式緊湊,可避免過(guò)高的維數(shù)(常見(jiàn)的方法有PCA和LDA,本文利用PCA進(jìn)行數(shù)據(jù)降維操作);(4)不同類別表情特征之間有較好的區(qū)分性.要得到滿足這些條件的表情特征,特征提取的過(guò)程可能需要數(shù)個(gè)步驟來(lái)完成.首先,利用某種形式的信息來(lái)獲得表情的原始特征,如特征形狀與幾何關(guān)系,局部紋理,光流場(chǎng)等,這一步驟稱為原始特征獲取.然而,這些原始特征一般都存在信息冗余,維數(shù)過(guò)高,區(qū)分性不夠等問(wèn)題.為了能夠更有效地表征輸入人臉表情的本質(zhì),需要對(duì)原始特征數(shù)據(jù)需要較好的預(yù)處理方法,因此使用PCA進(jìn)行降維.主要提取的方式如圖2所示.

圖2 人臉特征點(diǎn)提取過(guò)程

PCA是一種分析、簡(jiǎn)化數(shù)據(jù)集的技術(shù).主成分分析經(jīng)常用于減少數(shù)據(jù)集維數(shù),同時(shí)保持?jǐn)?shù)據(jù)集中對(duì)方差貢獻(xiàn)最大的特征.

利用PCA進(jìn)行特征值降維的基本原理如下:

對(duì)于一個(gè)M×N的矩陣,其中M為樣本數(shù),每個(gè)樣本包含N個(gè)特征(n維).

1)進(jìn)行樣本矩陣中心化,每一維的數(shù)據(jù)都減去該維的均值,將每一維的均值變?yōu)?.

即對(duì)于第m個(gè)樣本,第n個(gè)特征值,將該值代入式(1)進(jìn)行運(yùn)算.

2)計(jì)算樣本特征的協(xié)方差矩陣

協(xié)方差矩陣的第(i,j)項(xiàng)如式(2)所示.

則協(xié)方差矩陣如式(3)所示[10].

矩陣中第(i,j)項(xiàng)元素是Xi與Xj的協(xié)方差,對(duì)角線就是各個(gè)維度上的方差.

2)計(jì)算協(xié)方差矩陣的特征值和特征向量

得到N個(gè)特征值與N個(gè)特征向量.將N個(gè)特征向量根據(jù)其對(duì)應(yīng)的特征值從大到小進(jìn)行排列,取其中前k列,組成一個(gè)N×k的降維矩陣[11].

3)降維計(jì)算

將原M×N矩陣與上述步驟得到的降維矩陣N×k相乘,便得到結(jié)果,一個(gè)M×k的矩陣.其中M為樣本數(shù)量,k為其維度.

4)應(yīng)用

應(yīng)用到人臉圖像的特征值處理,將原始特征作為初始的輸入維度,進(jìn)行人臉特征值降維處理,減少接下來(lái)表情識(shí)別的計(jì)算量.

2.4 人臉表情識(shí)別方法

在表情識(shí)別方面,采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法.

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法總體上與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)類似,但是由于其特殊結(jié)構(gòu),不同的層在誤差回傳、前向激活時(shí)有所不同,其具體步驟如下[12]:

1)前向傳導(dǎo)階段

從樣本集中選取一個(gè)樣本(Xi,Yi),將向量Xi輸入網(wǎng)絡(luò),計(jì)算出相應(yīng)的實(shí)際輸出f(xi).在這個(gè)階段,信息從輸入層經(jīng)過(guò)逐層計(jì)算,傳遞到輸出層,在此過(guò)程中,神經(jīng)網(wǎng)絡(luò)執(zhí)行的計(jì)算實(shí)際上就是輸入值向量與每層的權(quán)值矩陣進(jìn)行點(diǎn)乘運(yùn)算,得到最后的輸出結(jié)果,如式(4)所示.

其中,wi表示第i層各個(gè)神經(jīng)元的權(quán)重,ai表示第i層各個(gè)神經(jīng)元輸入,ai+1表示第i層各個(gè)神經(jīng)元輸出.這個(gè)輸出將作為第i+1層神經(jīng)元的輸入,迭代直到輸出層.

2)反向傳播階段

定義代價(jià)函數(shù)Loss如式(5)所示.

其中m為樣本集中樣本的個(gè)數(shù),l為卷積神經(jīng)網(wǎng)絡(luò)的層數(shù).

網(wǎng)絡(luò)參數(shù)更新需要計(jì)算網(wǎng)絡(luò)參數(shù)殘差,其中包括輸出層殘差,下一層為池采樣層(pooling層)的卷積層的殘差以及下一層為卷積層的pooling層的殘差.

在反向傳播階段里,需要將損失函數(shù)產(chǎn)生的殘差依層次往前傳遞,在傳遞的過(guò)程中,全連接層、pooling層、卷積層的殘差計(jì)算方法和更新權(quán)值矩陣的計(jì)算方法不同,如下為具體幾種情況的計(jì)算方式和步驟.

1)計(jì)算輸出層的殘差

針對(duì)單個(gè)樣本(x,y)時(shí),對(duì)應(yīng)的樣本代價(jià)函數(shù)Loss的值如式(6).

其中下標(biāo)c的含義如式(7)所示.

由此可得如式(8)所示此時(shí)Loss值相對(duì)于輸出層的殘差.

式(9)為第L層的權(quán)值Wl的偏導(dǎo)數(shù).

式(10)為輸出層偏置的偏導(dǎo)數(shù).

假設(shè)第一層為卷積層,第l+1層為pooling層,且pooling層的殘差如式(11)所示.

3)再下一層是卷積層的pooling層殘差計(jì)算

假設(shè)pooling層(第l層)有N個(gè)通道,即有N張?zhí)卣鲌D,卷積層(l+1層)有M個(gè)特征,l+1層中每個(gè)通道圖都對(duì)應(yīng)有自己的殘差項(xiàng),則式(12)為第l+1層第j個(gè)通道的殘差計(jì)算方法.

4)卷積層相連接層的權(quán)值、偏置值的導(dǎo)數(shù)計(jì)算

第l層第i個(gè)通道與第l+1層第j個(gè)通道之間的權(quán)值和偏置的導(dǎo)數(shù)計(jì)算方法如式(13)所示.

對(duì)于訓(xùn)練完的分類器,將上文利用PCA提取到的特征值,將其作為輸入輸進(jìn)神經(jīng)網(wǎng)絡(luò)的輸入層,如上述前向傳導(dǎo)的過(guò)程,迭代直到輸出層,輸出表情結(jié)果.

3 腦電信息處理的基本原理和實(shí)現(xiàn)

3.1 腦電信息處理流程

通過(guò)Neurosky公司的腦電設(shè)備,即時(shí)提取腦電波的特征值,當(dāng)接收到識(shí)別的命令,將當(dāng)前的值先做特征處理,再作為輸入傳入SVM分類器,得出結(jié)果.詳細(xì)過(guò)程見(jiàn)圖3.

圖3 腦電處理流程

3.2 腦電特征值的預(yù)處理和特征分類

使用Neurosky公司的腦電提取設(shè)備,提取出來(lái)每種的腦電波的值是一個(gè)無(wú)符號(hào)整數(shù).特征預(yù)處理采用的方法是特征標(biāo)準(zhǔn)化和歸一化,再使用訓(xùn)練好的SVM分類器進(jìn)行特征的分類,將特征分為虛弱、普通、強(qiáng)烈三類,分別對(duì)應(yīng)情緒的不同狀態(tài).

3.3 利用SVM算法進(jìn)行腦電特征值訓(xùn)練的基本原理

對(duì)于給定訓(xùn)練樣本:

分類學(xué)習(xí)最基本思想就是基于訓(xùn)練集D在樣本空間找到一個(gè)劃分超平面,使得不同類別的樣本分開(kāi)[13].

設(shè)線性可分時(shí)存在超平面可表示為式(14):其中,w為待確定的行向量.則每個(gè)樣本點(diǎn)到超平面的距離r如式(15)所示.

距離超平面最近的訓(xùn)練樣本點(diǎn)使得上式等號(hào)成立,他們被稱為“支持向量”.支持向量的點(diǎn)到超平面的距離之和如式(17)所示.

因此要求出超平面,就是求出滿足式(18)的w值.

為了簡(jiǎn)化計(jì)算,等價(jià)于計(jì)算式(19).

式(19)是一個(gè)二次規(guī)劃問(wèn)題,可用拉格朗日乘子法求得最優(yōu)解.

線性不可分時(shí)存在超平面可將樣本從原始空間映射到一個(gè)更高維的特征空間,使得樣本在整個(gè)樣本空間線性可分.

令g(x)表示將X映射后的特征向量,于是,在特征空間中劃分超平面的模型可表示為式(20).

求解w過(guò)程類似于上述線性可分情況.

對(duì)于多分類問(wèn)題,將多分類任務(wù)拆解為若干個(gè)二分類任務(wù)求解.

應(yīng)用到腦電波訓(xùn)練問(wèn)題,對(duì)于每個(gè)樣本點(diǎn)(xi,yi)

求解一個(gè)w,使得存在

使得樣本分為兩類(先把-1和0看成一類,1看成另一類).若找不到存在的w滿足條件,則通過(guò)核函數(shù)向高維映射.然后再通過(guò)分成多類的方法(區(qū)分-1和0類),將其分為三類.

4 信息融合的基本原理和實(shí)現(xiàn)

4.1 信息融合主要流程

圖4 信息融合主要流程圖

如圖4所示,首先利用設(shè)備攝像頭檢測(cè)當(dāng)前畫(huà)面圖像,利用所訓(xùn)練的Haar分類器,找出人臉位置,框出來(lái).與此同時(shí),腦電設(shè)備每隔1 s檢測(cè)人腦電波,不斷更新.

當(dāng)系統(tǒng)接收到要進(jìn)行情緒識(shí)別的信號(hào)(即鼠標(biāo)點(diǎn)擊人臉框).人臉圖像模塊進(jìn)行人臉特征提取和表情計(jì)算返回當(dāng)前人臉表情.腦電處理模塊進(jìn)行特征預(yù)處理和特征分類返回當(dāng)前人內(nèi)心情緒的波動(dòng)程度.信息融合模塊匯總上述2個(gè)模塊的信息,給出最終結(jié)果,判斷出人的真正情緒.

5 實(shí)驗(yàn)和結(jié)果

下面三種實(shí)驗(yàn)分別分為在線和離線實(shí)驗(yàn),在線實(shí)驗(yàn)用來(lái)產(chǎn)生訓(xùn)練數(shù)據(jù),離線實(shí)驗(yàn)的數(shù)據(jù)用來(lái)測(cè)試本文方法的準(zhǔn)確率.

每次實(shí)驗(yàn)開(kāi)始,首先在大屏幕的中心呈現(xiàn)固定十字,以吸引實(shí)驗(yàn)對(duì)象的注意力,2秒后,對(duì)應(yīng)不同情緒的片段出現(xiàn)在屏幕中心.每個(gè)片段2～3分鐘,片段之間間隔10秒讓實(shí)驗(yàn)對(duì)象恢復(fù)情緒.情緒的得分使用Manikin自我評(píng)定表獲取[14].

實(shí)驗(yàn)中采用攝像頭(25FPS,800×600圖像大小)獲取人臉圖像.采用腦電設(shè)備(Neurosky,Inc.,Abbotsford,Australia)獲取腦電,從“Fz”電極獲取用于分析的腦電信號(hào).所有電極的電阻保持在5 kΩ以下.

實(shí)驗(yàn)數(shù)據(jù)在Windows下采用python3.5進(jìn)行處理.圖像方面算法用谷歌的開(kāi)源深度學(xué)習(xí)框架tensorflow.腦電方面算法用python開(kāi)源庫(kù)scikit-learn.信息融合算法自己用python實(shí)現(xiàn).

5.1 表情識(shí)別效果

表情識(shí)別實(shí)驗(yàn)對(duì)象為20個(gè)18～22歲的青年,男女比例1:1.每個(gè)對(duì)象檢測(cè)八種基本表情,每種表情檢測(cè)3次.檢測(cè)環(huán)境有在光照強(qiáng)度大的環(huán)境,也有在光照較差的環(huán)境.被測(cè)人的內(nèi)心狀態(tài)各有不同,但都被要求做出所需要的表情.

表情識(shí)別實(shí)驗(yàn)效果準(zhǔn)確率如圖5表示,其中,x軸表示實(shí)驗(yàn)者編號(hào),y軸表示準(zhǔn)確率.

圖5 人臉表情檢測(cè)準(zhǔn)確率

表情識(shí)別實(shí)驗(yàn)效果顯示,雖然對(duì)人臉表情檢測(cè)準(zhǔn)確率能夠高達(dá)81.35%,但是對(duì)內(nèi)心情緒波動(dòng)程度的辨別程度幾乎為0.單純基于人臉圖像對(duì)真實(shí)情緒檢測(cè)的準(zhǔn)確率并不高,其曲線如圖9 (三種情緒識(shí)別效果對(duì)比可以體現(xiàn)出來(lái)).

5.2 腦電信息進(jìn)行情緒強(qiáng)弱程度分析效果

以上進(jìn)行表情檢測(cè)的20個(gè)人,只利用腦電設(shè)備,在其內(nèi)心情緒的不同狀態(tài),檢測(cè)10次,每人每次作為一個(gè)樣本.進(jìn)行內(nèi)心情緒波動(dòng)程度的檢測(cè).檢測(cè)的效果如表1.

表1 腦電情緒強(qiáng)弱程度分析效果

可以看到,利用腦電信息對(duì)內(nèi)心情緒波動(dòng)檢測(cè)的方法對(duì)內(nèi)心情緒波動(dòng)微弱檢測(cè)的召回率較差,但在其他方面均可達(dá)到0.8左右的效果.

5.3 表情識(shí)別與腦電信息進(jìn)行信息融合的效果

用相同的20個(gè)人,在表情識(shí)別實(shí)驗(yàn)基礎(chǔ)上,加入利用腦電信息進(jìn)行情緒波動(dòng)分析的方法進(jìn)行檢測(cè).很大程度上彌補(bǔ)了表情識(shí)別無(wú)法識(shí)別出內(nèi)心情緒波動(dòng)的缺陷.

圖6 情緒強(qiáng)烈的效果圖

圖7 正常情緒效果圖

圖8 微弱情緒效果圖

開(kāi)心情緒的識(shí)別效果如圖6,7,8所示,被實(shí)驗(yàn)人都被要求做出微笑表情.圖6是在被實(shí)驗(yàn)人聽(tīng)歡快音樂(lè)1分鐘后所試驗(yàn),圖8是在被實(shí)驗(yàn)人聽(tīng)悲傷音樂(lè)1分鐘后所試驗(yàn),圖7是在被實(shí)驗(yàn)人情緒波動(dòng)正常時(shí)試驗(yàn).

三種情緒識(shí)別的效果圖如圖9所示,其中,x軸表示實(shí)驗(yàn)者編號(hào),y軸表示準(zhǔn)確率.

圖9 三種情緒識(shí)別的效果圖

可以看到,只基于面部表情進(jìn)行真實(shí)情緒識(shí)別有較高的波動(dòng)性,這是因?yàn)橹灰粚?shí)驗(yàn)人懂得假裝自己的面部表情就可以成功地“騙”過(guò)機(jī)器.利用人臉表情和腦電信息進(jìn)行情緒識(shí)別很好地彌補(bǔ)了只基于單一信息源識(shí)別信息單一的缺陷.在檢測(cè)出面部表情的基礎(chǔ)上,還檢測(cè)出了內(nèi)心情緒的波動(dòng)程度,這部分的準(zhǔn)確率在71.53%.很大程度上拓寬了情緒信息的廣度.

6 總結(jié)

本文利用信息融合技術(shù)結(jié)合人臉表情識(shí)別技術(shù)與腦電情緒識(shí)別技術(shù).不僅檢測(cè)出了情緒的分類,還檢測(cè)出了情緒的強(qiáng)弱程度.對(duì)比其他文獻(xiàn)的實(shí)驗(yàn)結(jié)果,他們大多只檢測(cè)了情緒的分類,對(duì)于情緒的強(qiáng)弱程度這方面,目前并沒(méi)有太多的研究者去做.比如說(shuō),Murugappan等人從腦電信號(hào)中提取多解析度的小波變換作為特征,對(duì)高興、厭惡、恐懼三種情緒進(jìn)行了聚類[5].Li等人指出Gamma頻帶的腦電信號(hào)對(duì)于愉悅和悲傷兩種情緒的分類有很高的解析度[15].

這些實(shí)驗(yàn)大多只檢測(cè)出了情緒的種類,而且檢測(cè)出情緒的種類并不夠多.而利用信息融合的方法,不僅可以檢測(cè)出情緒的種類,而且還可以檢測(cè)出情緒的強(qiáng)弱程度.說(shuō)明利用信息融合的方法更適合用于情緒識(shí)別.下一步的工作:由于內(nèi)心情緒的不可控性,導(dǎo)致進(jìn)行內(nèi)心情緒的檢測(cè)過(guò)程困難,難以得到高質(zhì)量的腦電數(shù)據(jù).這進(jìn)一步導(dǎo)致了腦電部分的估測(cè)準(zhǔn)確率不高.但是一旦有高質(zhì)量的腦電數(shù)據(jù),進(jìn)行分類器的重新訓(xùn)練,就可以大大提高基于腦電信息的內(nèi)心情緒識(shí)別的準(zhǔn)確率.

1Ekman P,Friesen WV.Facial action coding system:A technique for the measurement of facial movement.Palo Alto:Consulting Psychologists Press,1978.

2Shao H,Chen S,Zhao JY,et al.Face recognition based on subset selection via metric learning on manifold.Frontiers of Information Technology &Electronic Engineering,2015,16(12):1046-1058.

3Hu XP,Wang Y,Zhu FY,et al.Learning-based fully 3D face reconstruction from a single image.Proceedings of 2016 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP).Shanghai,China.2016.1651-1655.

4王志良,陳鋒軍,薛為民.人臉表情識(shí)別方法綜述.計(jì)算機(jī)應(yīng)用與軟件,2003,20(12):63-66.[doi:10.3969/j.issn.1000-386X.2003.12.027]

5Murugappan M,Rizon M,Nagarajan R,et al.EEG feature extraction for classifying emotions using FCM and FKM.International Journal of Computers and Communications,2007,2(1):21-25.

6Bos DO.EEG-based emotion recognition.The Influence of Visual and Auditory Stimuli,2006.

7Yazdani A,Lee JS,Ebrahimi T.Implicit emotional tagging of multimedia using EEG signals and brain computer interface.Proceedings of the First SIGMM Workshop on Social Media.Beijing,China.2009.81-88.

8Petrantonakis PC,Hadjileontiadis LJ.Emotion recognition from EEG using higher order crossings.IEEE Transactions on Information Technology in Biomedicine,2010,14(2):186-197.[doi:10.1109/TITB.2009.2034649]

9江偉堅(jiān),郭躬德,賴智銘.基于新Haar-like特征的Adaboost人臉檢測(cè)算法.山東大學(xué)學(xué)報(bào)(工學(xué)版),2014,44(2):43-48.[doi:10.6040/j.issn.1672-3961.1.2013.003]

10曾陽(yáng)艷,葉柏龍.基于PCA方法的人臉特征提取和檢測(cè).電腦知識(shí)與技術(shù),2008,1(4):742-744.

11高緒偉.核PCA特征提取方法及其應(yīng)用研究[碩士學(xué)位論文].南京:南京航空航天大學(xué),2009.

12王劍云.基于深度神經(jīng)網(wǎng)絡(luò)的表情識(shí)別算法[碩士學(xué)位論文].綿陽(yáng):西南科技大學(xué),2015.

13張國(guó)云.支持向量機(jī)算法及其應(yīng)用研究[博士學(xué)位論文].長(zhǎng)沙:湖南大學(xué),2006.

14Bradley MM,Lang PJ.Measuring emotion:The selfassessment Manikin and the semantic differential.Journal of Behavior Therapy and Experimental Psychiatry,1994,25(1):49-59.[doi:10.1016/0005-7916(94)90063-9]

15Li M,Lu BL.Emotion classification based on gamma-band EEG.Proceedings of 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Minneapolis,MN,USA.2009.1223-1226.