基于生理大數(shù)據(jù)的情緒識別研究進展

趙國朕　宋金晶　葛　燕　劉永進　姚　林　文　濤

1(中國科學(xué)院心理研究所行為科學(xué)院重點實驗室　北京　100101)

2(清華信息科學(xué)與技術(shù)國家實驗室(籌)　北京　100084)

3　　　(中國移動研究院　北京　100055)

(liuyongjin@tsinghua.edu.cn)

?

基于生理大數(shù)據(jù)的情緒識別研究進展

趙國朕1宋金晶1葛燕1劉永進2姚林3文濤3

1(中國科學(xué)院心理研究所行為科學(xué)院重點實驗室北京100101)

2(清華信息科學(xué)與技術(shù)國家實驗室(籌)北京100084)

3(中國移動研究院北京100055)

(liuyongjin@tsinghua.edu.cn)

Advances in Emotion Recognition Based on Physiological Big Data

Zhao Guozhen1, Song Jinjing1, Ge Yan1, Liu Yongjin2, Yao Lin3, and Wen Tao3

1(KeyLaboratoryofBehavioralScience,InstituteofPsychology,ChineseAcademyofSciences,Beijing100101)2(TsinghuaNationalLaboratoryforInformationScienceandTechnology,Beijing100084)3(ChinaMobileResearchInstitute,Beijing100055)

AbstractAffective computing (AC) is a new field of emotion research along with the development of computing technology and human-machine interaction technology. Emotion recognition is a crucial part of the AC research framework. Emotion recognition based on physiological signals provides richer information without deception than other techniques such as facial expression, tone of voice, and gestures. Many studies of emotion recognition have been conducted, but the classification accuracy is diverse due to variability in stimuli, emotion categories, devices, feature extraction and machine learning algorithms. This paper reviews all works that cited DEAP dataset (a public available dataset which uses music video to induce emotion and record EEG and peripheral physiological signals) and introduces detailed methods and algorithms on feature extraction, normalization, dimension reduction, emotion classification, and cross validation. Eventually, this work presents the application of AC on game development, multimedia production, interactive experience, and social network as well as the current limitations and the direction of future investigation.

Key wordsemotion recognition; electroencephalograph (EEG); peripheral physiological signal; feature extraction; machine learning

摘要隨著計算技術(shù)和人機交互技術(shù)的不斷發(fā)展，情感計算(affective computing, AC)逐漸成為情緒研究的新興領(lǐng)域，而情緒識別(emotion recognition)又是情感計算中不可或缺的一環(huán).基于生理信號的情緒識別方法比其他指標(biāo)如面部表情、語音語調(diào)、身體姿勢等更難以偽裝，也能提供更豐富的信息.目前基于生理信號的情緒識別研究很多，但受到各種因素的影響，如刺激選取、誘發(fā)情緒的類別、采集設(shè)備、特征提取方法、不同的降維和分類算法等，各個研究的識別準(zhǔn)確率差異性很大，很難進行比較.針對使用DEAP數(shù)據(jù)庫(用音樂視頻誘發(fā)情緒并采集腦電及外周生理信號的公開數(shù)據(jù)庫)進行情緒識別的16篇文章做了梳理；對特征提取、數(shù)據(jù)標(biāo)準(zhǔn)化、降維、情緒分類、交叉檢驗等方法做了詳細的解釋和比較；最后分析了現(xiàn)階段情緒識別在游戲開發(fā)、多媒體制作、交互體驗、社交網(wǎng)絡(luò)中的初步探索和應(yīng)用，以及情緒識別和情感計算目前存在的問題及未來發(fā)展的方向.

關(guān)鍵詞情緒識別；腦電；外周生理信號；特征提??；機器學(xué)習(xí)

情緒是伴隨著認知和意識過程產(chǎn)生的心理和生理狀態(tài)，在人類交流中扮演著非常重要的角色.對情緒的研究由來已久，近年來，隨著感知技術(shù)和人機交互技術(shù)的發(fā)展，情感計算(affective computing, AC)逐漸成為情緒研究的新興領(lǐng)域.關(guān)于人機情感交互的思想由Minsky[1]最先提出，其在《Society of Mind》一書中指出“問題的關(guān)鍵不是智能機器是否需要情緒，而在于沒有情緒的機器能否實現(xiàn)智能”.后來Picard[2]將“與情感有關(guān)、由情感引發(fā)或者能夠影響情感因素的計算”界定為情感計算.

具體而言，情感計算是通過構(gòu)建情緒狀態(tài)而建立的計算模型，它對行為和生理信號進行分析，并基于測量到的情緒狀態(tài)在人機之間建立情緒交互.其最重要的一個環(huán)節(jié)是“情緒識別(emotion recognition)”,即通過用戶的行為和生理反應(yīng)來預(yù)測估計相應(yīng)的情緒狀態(tài)[3].

基于腦電(electroencephalograph, EEG)的情緒識別[4]和基于生理信號的情緒識別[5]已經(jīng)有研究者進行過綜述.這2篇綜述主要是從情緒的生理基礎(chǔ)、情緒分類模型、誘發(fā)方法、腦電和生理信號的預(yù)處理、特征提取、降維和識別等方面進行了整理和介紹，但綜述內(nèi)容并不系統(tǒng)，涉及的文獻也不完整.此外，考慮到情緒識別研究中的差異性(如刺激選取方法、誘發(fā)情緒的類別、采集設(shè)備、特征提取、降維和分類算法)，情緒識別的準(zhǔn)確率變化很大，難以進行比較.因此，本文選取了一個用音樂視頻誘發(fā)情緒并采集腦電和外周生理信號的公開數(shù)據(jù)庫DEAP[6]，將使用該數(shù)據(jù)庫對情緒識別的研究做了細致的梳理，從特征提取、數(shù)據(jù)標(biāo)準(zhǔn)化、特征降維、分類器、交叉檢驗(cross validation, CV)5個方面進行分析和比較，探討各因素在情緒識別研究中的應(yīng)用效果以及各因素中不同算法間的優(yōu)缺點.

本文中的生理大數(shù)據(jù)是指面向情緒識別的腦電及外周生理(皮膚電、心電、呼吸、皮膚溫度、肌電、眼電)信號.盡管在累積數(shù)據(jù)的規(guī)模上還達不到互聯(lián)網(wǎng)、社交媒體、醫(yī)療健康等領(lǐng)域超大數(shù)據(jù)的PB甚至EB級別，但其數(shù)據(jù)仍具有規(guī)模大(volume)、模態(tài)多樣(variety)、速度快(velocity)和真實性(veracity)的“4V”特點[7].以DEAP數(shù)據(jù)庫為例，32人共計1 280 min的生理數(shù)據(jù)大小為5.8 GB，按照單個醫(yī)療機構(gòu)每日200人次的觀測推算，數(shù)據(jù)規(guī)模已達到TB級別,其40通道的生理信號可提取的時域、頻域、時頻域特征從幾百到上千不等.基于DEAP的實時情緒識別系統(tǒng)應(yīng)在其刺激材料的持續(xù)時間(1 min)甚至更短時間內(nèi)對情緒狀態(tài)作出判斷.考慮到生理信號的時變、不穩(wěn)定、噪聲強等特點，在短時間內(nèi)從大規(guī)模生理信號中提取干凈、真實、可信的特征并以此訓(xùn)練、建立分類模型并預(yù)測情緒狀態(tài)是非常具有挑戰(zhàn)性的研究內(nèi)容.此外，本文重點強調(diào)的是基于個體用戶的生理信號預(yù)測其情緒狀態(tài)，不同于基于語音或者網(wǎng)絡(luò)大數(shù)據(jù)的(例如用戶在微博等社交媒體上發(fā)布的帶有感情色彩的文字、照片和視頻)面向群體用戶情緒狀態(tài)預(yù)測的技術(shù).生理信號的時域、頻域和時頻域特征有著較強的心理學(xué)和生理學(xué)基礎(chǔ)，不需要人工規(guī)則構(gòu)造特征；依賴于利用標(biāo)準(zhǔn)化的刺激材料誘發(fā)單一的目標(biāo)情緒；利用用戶的主觀評價標(biāo)記(分類)訓(xùn)練樣本并采用有監(jiān)督的機器學(xué)習(xí)算法；面向人機間情緒交互的實時、高效的情緒識別算法.

1情緒的理論模型

作為“情緒識別”的對象，首先需要明確“情緒”的含義.Izard[8]在一項通過對34名科學(xué)家的調(diào)研中提煉出情緒的構(gòu)成：神經(jīng)回路、反應(yīng)系統(tǒng)以及一種激發(fā)和綜合了認知及行為的感受狀態(tài).這可視為近30余年研究者對情緒的認知集合；然而，這種關(guān)于情緒的理論對“以實驗技術(shù)操作情緒”和“以工程手段提取和判別情緒特征”而言缺乏可操作性.因此在研究情緒識別時，研究者通常采用以下2種視角來建構(gòu)和理解情緒空間：離散模型(discrete model)和維度模型(dimensional model).

1) 離散模型認為情緒空間由數(shù)量有限的離散的基本情緒構(gòu)成.盡管不同研究者對基本情緒的認識并不一致，但多數(shù)研究傾向于認為至少存在以下6種基本情緒：高興、悲傷、驚訝、恐懼、憤怒和厭惡[9].2)維度模型則認為情緒空間可以由二維的效價-喚醒度(valence-arousal, VA)或是三維的愉悅度-喚醒度-優(yōu)勢度(pleasure-arousal-dominance, PAD)的坐標(biāo)體系進行表達[10].其中，愉悅度是指個體感受到的愉悅程度，即正負特性(效價)；喚醒度是指個體感受到情緒的心理警覺水平和生理激活的強烈程度；優(yōu)勢度是指個體處于控制還是被控制的地位[11].目前，基于DEAP數(shù)據(jù)庫的情緒識別研究絕大多數(shù)建立在情緒維度模型的基礎(chǔ)上.

以“離散”視角建立的情緒模型，其提煉出的基本情緒具有較好的普遍辨識性和自然屬性，在神經(jīng)系統(tǒng)層面也表現(xiàn)出了相對特異的反應(yīng)模式[9,12-13].而以“維度”視角建立的情緒模型，即使在難以對某種特定感受進行命名的情況下，該模型也可以將不同情緒用數(shù)值在坐標(biāo)空間中進行標(biāo)記[14].從操作層面分析，盡管維度模型顯然比離散模型更具操作性，但是當(dāng)維度模型所要識別的情緒在效價和喚醒度上相近時，該方法對情緒的區(qū)分效力會相應(yīng)下降[15].這是由于在度量維度上相近的情緒(如焦慮和憤怒)可能具有各自獨特的表象，并誘發(fā)完全不同的行為反應(yīng)[16].

近年來，研究人員們提出一種融合2種情緒模型的觀點：將具有顯著特征的離散的情緒狀態(tài)以維度化的方式表達，可在一定程度上實現(xiàn)2種模型的相互融合，如圖1所示.例如，憤怒可表示為具有消極效價的、較高喚醒的情緒[17]；恐懼則可表征為一種消極的、更高喚醒的情緒[18].此外，同一種情緒也會因為刺激的不同而使感受到的情緒強烈程度不同.看到嬰兒微笑會特別高興，而看到美麗的日落可能高興程度沒有那么強烈[18].從“情緒識別”的角度出發(fā),情緒的維度模型更適合從量化的角度操縱和定義情緒；同時通過對生理信號的分析，也可以在一定程度上彌補“效價-喚醒度”模型在二維空間上缺乏分辨力的不足.

Fig. 1　Representing discrete emotions within a dimensional framework[18].圖1　將離散情緒表征到維度框架上

2情緒誘發(fā)

情緒誘發(fā)是情緒識別研究中的重要一環(huán).常用的情緒誘發(fā)方法包括自我誘發(fā)(如回憶[19-21])、情景誘發(fā)(如玩游戲[22-23])和事件誘發(fā).其中以事件誘發(fā)的研究最多，即通過圖片、聲音、視頻或任何可以喚起情緒的材料來誘發(fā)被試的情緒.

2.1視覺刺激

視覺刺激是最常見的誘發(fā)情緒的材料，通過給被試呈現(xiàn)情緒性的圖片、面部表情、文字等來誘發(fā)被試的目標(biāo)情緒是情緒誘發(fā)最常用的方法.經(jīng)過標(biāo)準(zhǔn)化的視覺刺激材料，如國際情感圖片庫(international affective picture system, IAPS)[24-25]、面孔表情圖片庫(pictures of facial affect, POFA)[26]、英語情感詞庫(affective norms for English words, ANEW)[27]等，均已在情緒識別領(lǐng)域中得到廣泛的引用.雖然研究表明基本情緒具有跨文化的一致性[28]，但由于文化背景、社會學(xué)習(xí)等差異，很多國家都針對國際標(biāo)準(zhǔn)庫進行相應(yīng)的修訂和完善.國內(nèi)研究者也針對國際標(biāo)準(zhǔn)材料庫進行了本土化修訂，建立了適用于中國的情緒刺激材料，如中國情感圖片庫(Chinese affective picture system, CAPS)[29]等.

2.2聽覺刺激

用聽覺刺激誘發(fā)情緒比視覺刺激更為深入和持久，但目前經(jīng)過標(biāo)準(zhǔn)化評定的聽覺刺激材料很少[30].現(xiàn)有的研究中，大多數(shù)是研究者自己制作的聽覺刺激材料，包括電影背景音樂、歌曲、聲音等，也有經(jīng)過標(biāo)準(zhǔn)化的聽覺刺激材料庫，如國際情感數(shù)碼聲音庫(international affective digitized sounds, IADS)[31].國內(nèi)研究者針對IADS編制了適用于中國被試的聽覺刺激材料，即中國情感數(shù)碼聲音庫(Chinese affective digital sounds, CADS)[32].

2.3視聽覺刺激

早期的情緒識別研究主要使用圖片或聲音作為誘發(fā)情緒的材料.近年來，越來越多的情緒識別研究開始使用視聽刺激結(jié)合的方式來誘發(fā)情緒.常用的視聽覺刺激包括電影片段、音樂視頻，或是呈現(xiàn)情緒圖片的同時播放相應(yīng)情緒的音樂[33].相比于單純的視、聽覺刺激，電影與實際生活中的情境更相似，內(nèi)容和情節(jié)更為豐富，具有動態(tài)性、不可欺騙性和高生態(tài)效度[34].當(dāng)然，電影誘發(fā)的情緒比較復(fù)雜，識別難度更大.常用的電影庫包括Gross and Levenson[34]建立的美國情緒電影庫、Schaefer等人[35]建立的法國情緒電影庫、羅躍嘉等人[36]建立的中國情感電影庫和梁育琦等人[37]建立的基于臺灣被試的華語情緒電影庫等.這些電影庫都是基于離散情緒進行編制的.

2.4DEAP數(shù)據(jù)庫

和電影比起來，音樂視頻能夠表達的情緒更為單一、連貫，更容易進入情緒狀態(tài)，不像電影片段那樣需要慢慢看情節(jié)才能誘發(fā)出情緒.Koelstra,Muhl等人[6]在情緒維度模型的基礎(chǔ)上選取了40段音樂視頻作為刺激材料，并采集了32名被試在觀看40段音樂視頻時的生理信號和臉部錄像.生理信號共40導(dǎo)，其中腦電信號32導(dǎo)，外周生理信號(皮膚電、血壓、呼吸、皮膚溫度、肌電、眼電)8導(dǎo)，組成了DEAP數(shù)據(jù)庫，且為公開共享資源.DEAP數(shù)據(jù)庫還包含每名被試在觀看每段視頻后在效價、喚醒度、優(yōu)勢度和喜歡度4個維度上的主觀評分，并以此對生理數(shù)據(jù)進行標(biāo)記(有監(jiān)督學(xué)習(xí)，詳見3.4節(jié)).截止投稿前，一共有16篇發(fā)表在期刊或會議上的文章使用DEAP數(shù)據(jù)庫中的生理信號做情緒識別，如表1所示.其中的4篇文章使用DEAP數(shù)據(jù)庫建立了情緒識別系統(tǒng)，但沒有詳細報告與情緒識別相關(guān)的特征提取、分類算法、準(zhǔn)確率等內(nèi)容，因此不在表1中體現(xiàn).表1中出現(xiàn)的縮寫詞見第3節(jié).

Table 1　Summary of Articles that Use Physiological Signals of DEAP Dataset for Emotion Recognition

Notes: 1) # stands for the number of features; 2) Acc stands for accuracy; 3) the data is obtained by using the features extracted from both

EEG and peripheral signals; 4) FLEC stands for fuzzy logic based emotion classification algorithm; 5) MMC stands for meta-multiclass.

3基于生理大數(shù)據(jù)的情緒識別

Fig. 2　Main steps of emotion recognition.圖2　情緒識別的主要步驟

情緒識別研究一般包括情緒誘發(fā)、生理信號采集、數(shù)據(jù)預(yù)處理、特征提取、特征降維、情緒學(xué)習(xí)和分類6個步驟，如圖2所示.由于DEAP數(shù)據(jù)庫在情緒誘發(fā)、生理信號采集和數(shù)據(jù)預(yù)處理3部分作了統(tǒng)一的處理，本節(jié)將針對2.4節(jié)提出的12篇使用DEAP數(shù)據(jù)做情緒識別的文獻，從特征提取、特征標(biāo)準(zhǔn)化、特征降維、分類器、交叉檢驗(CV)5個方面進行詳細介紹.

3.1特征提取

特征提取是情緒識別的關(guān)鍵環(huán)節(jié)，只有找出與誘發(fā)情緒相關(guān)的敏感、有效特征，才能保證后續(xù)情緒識別的準(zhǔn)確率.常見的生理信號特征包括時域特征、頻域特征和時頻域特征.在每一類特征中，我們將依次按照腦電、皮膚電、心電、呼吸、皮膚溫度、面部肌電、眼電的順序進行介紹.

3.1.1時域特征

腦電信號的時域特征主要集中在事件相關(guān)電位(event-related potentials, ERPs)的研究中.ERP研究通常采用單純的視覺或聽覺刺激誘發(fā)情緒，并將多個試次的事件進行疊加，分辨率一般為毫秒級.而DEAP數(shù)據(jù)庫用音樂視頻誘發(fā)情緒，采集的是連續(xù)的腦電信號，以頻域和時頻域特征為主.

外周生理信號的時域特征主要是信號變化的統(tǒng)計特征[6].常用的皮膚電信號時域特征為信號的均值、中值、標(biāo)準(zhǔn)差、最大最小值、最大最小值的比率和差值等，再將上述信號特征進行一階差分、二階差分計算后提取以上相同的統(tǒng)計特征等.心電的時域特征包括心率和心率變異性的均值和標(biāo)準(zhǔn)差.呼吸信號的時域特征主要是通過計算呼吸間隔(即2個相鄰的吸氣末的波峰的時間差)的均值和標(biāo)準(zhǔn)差.皮膚溫度的時域特征目前在情緒識別領(lǐng)域中應(yīng)用較少.面部肌電信號通過計算肌電值積分、均方根、過零點數(shù)、方差、幅值、肌電直方圖等指標(biāo)，反映時間維度上肌電信號振幅的變化特征.眼電信號常用的時域特征包括眨眼頻率的均值和標(biāo)準(zhǔn)差.

3.1.2頻域特征

頻域特征是由原始生理信號從時域轉(zhuǎn)化而來.在提取腦電頻率特征時，一般將腦電信號映射到常用的δ(0.5～4 Hz)，θ(4～8 Hz)，α(8～12 Hz)，β(13～30 Hz)，γ(31～60 Hz)等頻段上，再從中提取功率、功率譜密度(power spectral density, PSD)、能量及其不對稱性(asymmetry, ASM)等特征.皮膚電(galvanic skin response, GSR)信號的頻域特征主要是其信號頻率范圍內(nèi)(0～2.4 Hz)的譜功率，皮膚導(dǎo)電慢反應(yīng)(0～0.2 Hz)和極慢反應(yīng)(0～0.08 Hz)的過零率[6].心電(electrocardiograph, ECG)的頻域分析是將連續(xù)正常的R-R間期進行時-頻轉(zhuǎn)化，從而獲得各頻率段上的功率譜密度，如低頻段(0～0.04 Hz)、中頻段(0.04～0.15 Hz)、高頻段(0.15～0.4 Hz)等，用以定量描述心率變異性的能量分布情況.呼吸(respiration, RSP)信號的頻域特征主要是其頻率范圍內(nèi)(0～2.4 Hz)的譜功率及不同頻率段之間能量差值和比率.皮膚溫度(skin temperature, SKT)的頻率特征主要是其頻率范圍(0～0.2 Hz)內(nèi)的譜功率.肌電(electromyogram, EMG)和眼電(electrooculo-gram, EOG)的頻域特征與腦電特征相似，將原始的信號映射到頻域范圍內(nèi)再提取能量、功率、PSD等特征指標(biāo).

在基于生理信號的情緒識別研究中，PSD及其相關(guān)指標(biāo)應(yīng)用最為廣泛.PSD用來描述其能量特征隨頻率的變化關(guān)系，與自相關(guān)函數(shù)互為傅里葉變換的關(guān)系.計算生理信號功率譜的方法可以分為2類：1)線性估計方法，包括周期圖法、Welch’s method、自相關(guān)估計、自協(xié)方差法等;2)非線性估計方法，如最大似然法、最大熵法等.線性估計方法是有偏的譜估計方法，譜分辨率隨數(shù)據(jù)長度的增加而提高；非線性估計方法大多是無偏的譜估計方法，可以獲得高譜分辨率.最常用的PSD估計方法是使用傅里葉變換技術(shù).盡管傳統(tǒng)的離散傅里葉變換(discrete Fourier transform, DFT)算法能夠獲取生理信號的頻域特征，但是算法計算量大、耗時長，不利于計算機對生理信號進行實時處理.因此，DFT的一種快速實現(xiàn)算法——快速傅里葉變換(fast Fourier transform, FFT)被發(fā)現(xiàn)，使得DFT算法在生理信號的實時分析中得到廣泛的應(yīng)用.

(1)

式(1)為DFT的計算方法，其中x(n)表示輸入的離散生理信號序列，WN為旋轉(zhuǎn)因子，X(k)為輸入序列x(n)對應(yīng)的N個離散頻率點的相對幅度.因為DFT計算得到的一組離散頻率幅度值實際上是在頻率軸上呈周期變化的，即X(k+N)=X(k).因此任意取連續(xù)的N個點均可以表示DFT的計算效果.一般情況下，假設(shè)x(n)來自于低通采樣，采樣頻率為fs，那么X(k)表示在[0,fs-fsN]頻率上間隔為fsN的N個頻率點的相對幅度.根據(jù)式(1)可知，每計算一個頻率點X(k)均需要進行N次復(fù)數(shù)乘法和N-1次復(fù)數(shù)加法，計算N個點的X(k)共需要N2次復(fù)數(shù)乘法和N(N-1)次復(fù)數(shù)加法.當(dāng)x(n)為實數(shù)的情況下，計算N點的DFT需要2×N2次實數(shù)乘法，2N(N-1)次實數(shù)加法.這種算法計算量大而且耗時長.

而FFT算法則是利用WN的對稱性和周期性(如式(2)所示)，將N點的DFT變換轉(zhuǎn)為lbN級聯(lián)的蝶形運算，每一級均包含有N2次蝶形計算.由于每一個蝶形運算包含了1次復(fù)數(shù)乘法和2次復(fù)數(shù)加法，因此計算N點FFT只需要N2×lbN次復(fù)數(shù)乘法和N×lbN次復(fù)數(shù)加法.當(dāng)被采樣的序列為實數(shù)序列，只有第一級的計算為實數(shù)與復(fù)數(shù)的混合計算，經(jīng)過一次迭代后的計算均變?yōu)閺?fù)數(shù)計算，因此對于輸入序列是復(fù)數(shù)還是實數(shù)對FFT算法的效率影響較小.由于計算N點的FFT只需要2N×lbN次實數(shù)乘法和2N×lbN次實數(shù)加法，計算效率大大提高.

(2)

3.1.3時頻域特征

生理信號大多是非平穩(wěn)的時變信號，即不同時刻有不同的頻率成分，因此單純的時、頻分析都不能有效地反映生理信號的這些特征,而且通過傅里葉變換的時、頻域分析方法不可能在時域和頻域同時獲得較高的分辨率.越來越多的研究開始將時域和頻域聯(lián)系起來，對生理信號進行時頻特征分析，著眼于真實信號的時變譜特征.簡單來說就是將一維的時、頻域信號表達為二維的時間-頻率密度函數(shù)，以揭示生理信號中每個頻率分量隨時間變化的規(guī)律，如α波隨時間變化的能量分布.常用的時頻域特征提取方法主要包括：基于短時傅里葉變換(short-timeFouriertransform,STFT)和基于小波包變換(waveletpackettransform,WPT)的時頻特征提取方法.

考慮到傅里葉變換處理非平穩(wěn)信號有天生缺陷，STFT是在傳統(tǒng)傅里葉變換的基礎(chǔ)上加入窗函數(shù)(即把整個時域過程分解成無數(shù)個等長的子過程，每個子過程近似平穩(wěn)，再做傅里葉變換)，通過窗函數(shù)的不斷移動來決定時變信號局部弦波成分的頻率和相位.由于生理信號的不穩(wěn)定性，長時間窗的生理信號變異性大；而短時間窗又不能提供充足的信息，因此選取一個合適長度的時間窗對于情緒識別的準(zhǔn)確率和計算效率至關(guān)重要[43].加窗的方法不僅改善了傅里葉變換處理不穩(wěn)定信號的缺陷，也可以用來估計不同情緒狀態(tài)(如高喚醒度)的起始和持續(xù)時間.特別是當(dāng)我們使用電影片段或音樂視頻誘發(fā)情緒時，不同的刺激材料持續(xù)時間不同，且由于刺激材料的情節(jié)不同導(dǎo)致誘發(fā)情緒有快有慢.因此，通過加窗的方法估算不同情緒狀態(tài)的起始和持續(xù)時間更有其實際意義和應(yīng)用.由表1可知，目前使用DEAP數(shù)據(jù)庫的情緒識別研究大多選擇1～8s的時間窗，且識別準(zhǔn)確率最高的時間窗在1～2s[40-41,43-44].

基于STFT的時頻域特征提取的基本思想是：給一段連續(xù)生理信號序列x(m)，加一個沿時間軸滑動的窗w(n-m)，窗寬有限，所得到的傅里葉變換結(jié)果X(n,ω)可以表達為

(3)

隨著n的改變，窗函數(shù)在時間軸上會有位移.經(jīng)w(n-m)x(m)后，生理信號只留下了窗函數(shù)截取的部分做最后的傅里葉轉(zhuǎn)換.窗函數(shù)種類有很多種，常見的窗函數(shù)有方形、三角形、高斯函數(shù)等；而STFT也因窗函數(shù)的不同而有不同的名稱，通常沒有特別說明的STFT為加伯轉(zhuǎn)換(即窗函數(shù)是高斯函數(shù)的STFT).

由于STFT的窗口是固定的，無法滿足時變非穩(wěn)態(tài)信號變化的頻率需求(即高頻小窗口、低頻大窗口).而小波變換(wavelet transform, WT)的窗函數(shù)可以隨頻率的改變而改變，能對時間(空間)頻率的局部化分析，通過伸縮平移運算對生理信號逐步進行多尺度細化，最終達到高頻處時間細分、低頻處頻率細分，能自動適應(yīng)時頻信號分析的要求.

WT算法的基本思想是：設(shè)ψ(t)為一平方可積函數(shù)，即ψ(t)∈L2(R)，若其傅里葉變換ψ(ω)滿足：

(4)

則稱ψ(t)為一個基本小波或小波母函數(shù)，并稱式(4)是小波函數(shù)的可允許條件.將小波母函數(shù)ψ(t)進行伸縮和平移，設(shè)其伸縮(尺度)因子為a，平移因子為τ，則平移伸縮后的函數(shù)ψa,τ(t)可表達為

(5)

其中,a,τ∈R且a>0；ψa,τ(t)為參數(shù)為a和τ的小波基函數(shù).由于a和τ可以取連續(xù)變化的值或是限定在離散點上取值，因此又稱之為連續(xù)小波變換(continuous wavelet transform, CWT)或離散小波變換(discrete wavelet transform, DWT).由于小波基具有尺度和位移2個參數(shù)，因此將小波基展開意味著將一個時間函數(shù)投影到二維的時間-尺度相平面上，尺度因子a對應(yīng)于頻率(反比)，平移量τ對應(yīng)于時間，有利于時頻域特征的提取.

考慮到WT算法在高頻段的頻率分辨率較差，而在低頻段的時間分辨率較差的缺點，人們在小波分解的基礎(chǔ)上提出了小波包變換(WPT).小波包元素是由3個參數(shù)確定波形，分別是：位置、尺度和頻率.對一個給定的正交小波函數(shù)，可以生成一組小波包基，每一個小波包基里提供一種特定的信號分析方法，它可以保存信號的能量并根據(jù)特征進行精確的重構(gòu).小波包可以對一個給定的信號進行大量不同的分解.在正交小波分解過程中，一般是將低頻系數(shù)分解為2部分：一個近似系數(shù)向量和一個細節(jié)系數(shù)向量.在2個連續(xù)的近似系數(shù)中丟失的信息可以在細節(jié)系數(shù)中得到；然后將近似系數(shù)向量進一步分解為2部分，而細節(jié)系數(shù)向量不再分解.在小波包變換中，每一個細節(jié)系數(shù)向量也使用近似系數(shù)向量分解同樣的分法分為2部分，因此它提供了更豐富、更精細的信號分析方法，提高了信號的時頻分辨率.

近年來，基于雙樹復(fù)小波包變換(dual-tree complex WPT, DT-CWPT)也逐步用于提取腦電信號的時頻域特征.DT-CWPT引入了各向異性的小波包分解結(jié)構(gòu)，由此得到的小波基在各個方向上尺度可以不同，并具有更多的種類和方向，能更有效地表現(xiàn)多維度的腦電特征.

3.2數(shù)據(jù)標(biāo)準(zhǔn)化

在情緒誘發(fā)過程中，被試通常會在一段時間內(nèi)觀看很多的刺激材料.以DEAP為例，每名被試需要觀看40段1 min長度的音樂視頻，每兩段音樂視頻之間允許被試休息2 min.也有一些研究會要求被試在休息時間內(nèi)從事一些不相關(guān)的任務(wù)，以盡量讓被試脫離上一段材料所誘發(fā)的情緒[37,49].盡管如此，上一段刺激材料誘發(fā)的情緒仍然可能會持續(xù)到下一段刺激材料的誘發(fā)過程中，尤其是音頻、視頻材料，持續(xù)時間較長，情緒卷入可能更大.此外，生理信號的個體差異很大，不同人的生理信號水平各不相同，甚至同一個人在不同時間、不同環(huán)境下都會有所不同.因此，為了去除之前刺激材料對當(dāng)前情緒狀態(tài)的影響以及生理信號的個體差異，我們通常會將數(shù)據(jù)進行標(biāo)準(zhǔn)化處理.最常用的方法是：用刺激材料呈現(xiàn)時(即情緒誘發(fā)狀態(tài)下)的生理信號數(shù)據(jù)(如功率譜密度)減去刺激材料呈現(xiàn)之前(即平靜狀態(tài)下)的生理信號數(shù)據(jù)，再將差值后的數(shù)據(jù)統(tǒng)一映射到[0,1]區(qū)間上[46].此步驟雖然方法簡單，但意義重大，可惜大部分的研究并未考慮.

3.3降維

特征維度過多會導(dǎo)致機器學(xué)習(xí)建模算法的運行速度變慢，增加過度擬合的可能性，導(dǎo)致數(shù)據(jù)在整個輸入空間的分布越稀疏并越難以獲得對整個輸入空間有代表性的樣本.因此，通過降維的方法從眾多特征維度中選取部分放入建模數(shù)據(jù)集是必不可少的一步.常用的降維方法包括線性判別式分析(linear discriminant analysis, LDA)、主成分分析(principal component analysis, PCA)、奇異值分解(singular value decomposition, SVD)、列主元QR分解(QR factorization with column pivoting, QRcp)等.

3.3.1線性判別式分析

LDA也叫做Fisher線性判別，是模式識別的經(jīng)典算法之一.基本思想是：將高維的模式樣本投影到最佳鑒別矢量空間，以達到抽取分類信息和壓縮特征空間維數(shù)的效果，投影后保證模式樣本在新的子空間有最大的類間距離Sb和最小的類內(nèi)距離Sw，即模式在該空間中有最佳的可分離性.為達到最佳分類效果，LDA算法要求其所分的類之間耦合度(即類間均值之差的絕對值)低、類內(nèi)的聚合度(即類內(nèi)協(xié)方差矩陣之和)高.因此，通過引入Fisher鑒別準(zhǔn)則表達式(式(6))，我們可以將LDA算法表達為：選取讓JFisher(φ)達到最大值的任一n維矢量φ作為投影方向，使得投影后的樣本具有最大的類間離散度和最小的類內(nèi)離散度.

(6)

LDA降維直接和類別的個數(shù)相關(guān)，與數(shù)據(jù)本身的維度沒有關(guān)系.針對多分類問題(c個類別)，LDA需要由c-1個投影向量組成一個投影矩陣，將樣本投影到投影矩陣上，從而提取c-1維的特征矢量.因此，應(yīng)用LDA降維后的維度的變化范圍是1到c-1.

在LDA的假定條件中，每個類內(nèi)的協(xié)方差矩陣是一樣的.當(dāng)我們需要處理更復(fù)雜情況時，我們可以考慮每個類內(nèi)協(xié)方差不一樣的情況，這時我們需要用到二次辨別分析(quadratic discriminate analysis, QDA)算法.QDA算法在參數(shù)估計時需要分別在每一個類中去估計協(xié)方差矩陣.

3.3.2主成分分析

PCA是另外一種常用的降維算法，與LDA算法最大的區(qū)別在于：PCA是一種無監(jiān)督的映射算法，它所作的只是將整組數(shù)據(jù)整體映射到最方便表示這組數(shù)據(jù)的坐標(biāo)軸上，映射時沒有利用任何數(shù)據(jù)內(nèi)部的分類信息；而LDA是一種有監(jiān)督的映射算法，在增加了分類信息后，數(shù)據(jù)之間更易區(qū)分.

PCA算法是根據(jù)輸入數(shù)據(jù)的分布給輸入數(shù)據(jù)重新找到更能描述這組數(shù)據(jù)的正交的坐標(biāo)軸.其具體思路是：首先求出輸入數(shù)據(jù)的協(xié)方差矩陣，再求出這個協(xié)方差矩陣的特征值和特征向量.如式(7)所示：假設(shè)λi對應(yīng)特征值，μi為投影向量.式(7)的左邊取得最大值的條件就是取得最大的特征值λi.假設(shè)要將一個n維的數(shù)據(jù)空間投影到m維的數(shù)據(jù)空間中(m

(7)

3.4分類器

實現(xiàn)情緒狀態(tài)的識別有3種方法：1)無監(jiān)督學(xué)習(xí)方法.對沒有概念標(biāo)記(分類)的訓(xùn)練樣本進行學(xué)習(xí)，以發(fā)現(xiàn)訓(xùn)練樣本集中的結(jié)構(gòu)性知識，深度學(xué)習(xí)網(wǎng)絡(luò)(deep learning network, DLN)就是典型的無監(jiān)督學(xué)習(xí).DLN采用與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易.與人工規(guī)則構(gòu)造特征的方法相比，深度學(xué)習(xí)利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息[50].2)監(jiān)督學(xué)習(xí)方法.對具有概念標(biāo)記(分類)的訓(xùn)練樣本進行學(xué)習(xí)，以盡可能對訓(xùn)練樣本集外的數(shù)據(jù)進行標(biāo)記(分類)預(yù)測.常見的監(jiān)督學(xué)習(xí)方法有支持向量機(support vector machine, SVM)、神經(jīng)網(wǎng)絡(luò)、決策樹、貝葉斯網(wǎng)絡(luò)、K-近鄰以及隱馬爾可夫模型等.3)半監(jiān)督學(xué)習(xí)方法.半監(jiān)督學(xué)習(xí)方法結(jié)合了監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的方法，考慮如何利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進行訓(xùn)練和分類[51].

DEAP數(shù)據(jù)庫是以被試觀看完每段音樂視頻后對各個維度的評分來標(biāo)記生理樣本，因此基于DEAP數(shù)據(jù)庫的情緒分類研究普遍采用監(jiān)督學(xué)習(xí)方法，主要包括SVM、樸素貝葉斯(na?ve Bayes, NB)、K最近鄰(K-nearest neighbors,KNN)、多層感知機(multilayer perceptron, MLP)和人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)等.

3.4.1K-近鄰算法

(8)

模糊最近鄰算法(fuzzyKNN, FKNN)在KNN的基礎(chǔ)上考慮各類樣本與各類隸屬關(guān)系的不確定性，計算近鄰樣本對各類的隸屬度值，由隸屬度函數(shù)確定近鄰樣本與各類的隸屬關(guān)系.模糊粗糙近鄰算法(fuzzy rough NN)在FKNN的基礎(chǔ)上，進一步針對各類邊緣的粗糙不確定性綜合構(gòu)建模糊粗糙隸屬度,可有效克服分類算法易受離群點和噪聲影響的缺陷，適用于近鄰樣本隸屬關(guān)系不確定、各類邊緣不清晰的分類問題.

3.4.2樸素貝葉斯

貝葉斯分類器的分類原理是通過樣本的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，然后選擇具有最大后驗概率的類作為未知樣本所屬的類.樸素貝葉斯(NB)是最簡單、應(yīng)用最廣泛的貝葉斯算法，其前提是假設(shè)各屬性之間x={a1,a2,…,an}互相獨立

(9)

具體的思路是：首先對于給出的待分類項，求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率P(y1|x),P(y2|x),…,P(yn|x)，輸出特征屬性和訓(xùn)練樣本.計算每個類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個特征屬性劃分對每個類別的條件概率估計，最大概率的類別即為該未知樣本的所屬類別P(yk|x)=max{P(y1|x),P(y2|x),…,P(yn|x)}.

3.4.3支持向量機

支持向量機(SVM)是一種特征空間上間隔最大的線性分類器，其學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個凸二次規(guī)劃問題的求解.其主要思想可以概括為2點：對于線性可分的情況，基于結(jié)構(gòu)風(fēng)險最小化理論，在特征空間x1,x2,…,xn中建構(gòu)最優(yōu)分割超平面f(x)=wT·x+b，使得學(xué)習(xí)器得到全局最優(yōu)化，并且在整個樣本空間的期望風(fēng)險以某個概率滿足一定上界，如式(10)所示：

(10)

對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能.特征從低維到高維的轉(zhuǎn)換過程中，我們通常使用核函數(shù)(kernel function)在低維上進行計算，而將實質(zhì)上的分類效果表現(xiàn)在了高維上，避免了直接在高維空間中的復(fù)雜計算.

3.4.4支持向量回歸

除分類問題外，支持向量也可用來處理回歸問題，即支持向量回歸(SVR)算法.與SVM相比，SVR算法的目標(biāo)也是尋找空間中的最優(yōu)分割超平面.不同的是，SVM尋找的是能將數(shù)據(jù)分開的平面，而SVR尋找的是能夠準(zhǔn)確預(yù)測數(shù)據(jù)分布的平面.SVR算法的主要思想是：在特征空間x1,x2,…,xn中建構(gòu)最優(yōu)分割超平面f(x)=wT·x+b，使其能夠準(zhǔn)確地預(yù)測該特征空間所對應(yīng)的回歸值yi，即f(xi)和xi的差值足夠小,如式(11)所示：

(11)

其中,ε≥0，用來表示SVR算法預(yù)測值與實際值之間的最大差距.對于非線性問題，SVR算法同樣可以引用核函數(shù)將低維樣本升維，在高維空間中構(gòu)造線性決策函數(shù)來實現(xiàn)非線性回歸.用核函數(shù)代替線性方程中的線性項可以使原來的線性算法“非線性化”.與此同時，因引進核函數(shù)“升維”而增加的可調(diào)參數(shù)，其過擬合的風(fēng)險依然可控.

3.4.5各種分類器算法的分類效果比較

從表1也可看出，SVM是使用最廣泛且識別準(zhǔn)確率最高的分類器算法，其優(yōu)點有3個：1)不同于那些力求最小化經(jīng)驗誤差的統(tǒng)計學(xué)習(xí)方法(例如神經(jīng)網(wǎng)絡(luò)和決策樹)，SVM能夠同時最小化經(jīng)驗誤差與最大化幾何邊緣區(qū).2)SVM在處理情緒類別之間數(shù)據(jù)不平衡方面具有較好的魯棒性[39].由于無法干預(yù)被試的主觀評分，利用被試評分標(biāo)定訓(xùn)練樣本的過程很可能會導(dǎo)致情緒類別之間的數(shù)據(jù)不平衡.以DEAP數(shù)據(jù)庫為例，其高、低喚醒度的數(shù)據(jù)比例為63.9%和36.1%，正負特性(效價)的數(shù)據(jù)比例為63.1%和36.9%.由于SVM的最終決策函數(shù)只由少數(shù)的支持向量所確定，其支持向量的樣本集具有一定的魯棒性.3)SVM在基于生理大數(shù)據(jù)的情緒實時識別應(yīng)用中優(yōu)勢明顯.實時的情緒識別要求在短時間內(nèi)從大規(guī)模生理信號中提取干凈、真實、可信的特征并以此訓(xùn)練、建立分類模型并預(yù)測情緒狀態(tài).實時決定了訓(xùn)練樣本有限，SVM不需要耗費太多的運算時間求解支持向量，而SVM少數(shù)支持向量(而不是樣本空間的維數(shù))決定最終結(jié)果的特性有效地避免了生理大數(shù)據(jù)維數(shù)高的缺陷，幫助我們剔除冗余樣本的同時抓住關(guān)鍵樣本.

3.5交叉檢驗

交叉驗證(CV)的目的是為了得到穩(wěn)定可靠的模型.N折交叉驗證(N-fold CV)是比較常用的交叉檢驗方法.它將初始采樣分割成N個子樣本，一個單獨的子樣本被保留作為驗證模型的數(shù)據(jù)，其他N-1個樣本用來訓(xùn)練.交叉驗證重復(fù)N次，每個子樣本驗證一次，平均N次的結(jié)果或者使用其它結(jié)合方式，最終得到一個單一估測.被試依賴(subject dependent, SD)是指留一個試次作為測試集，其他的試次作為訓(xùn)練集，然后重復(fù)這個過程，直至所有的試次都做了一次測試集，正確率為所有試次的平均.被試獨立(subject independent, SID)留一個被試作為作為測試集，其他的被試作為訓(xùn)練集，然后重復(fù)這個過程，直至所有的被試都做了一次測試集，正確率為所有被試的平均.一般來講，被試依賴的正確率較高，但推廣性差.而實時在線分析的正確率低于線下分析的正確率.

4應(yīng)用

隨著基于生理信號的情緒識別研究逐漸深入，越來越多的研究者們開始思考如何將研究成果轉(zhuǎn)化和應(yīng)用.傳統(tǒng)采集生理信號的方式是在實驗室環(huán)境下完成的，采集需要一系列的準(zhǔn)備過程和繁瑣的程序，花費時間較長，收集到的生理信號多數(shù)用于線下分析.近年來，微針型干電極技術(shù)的不斷發(fā)展以及可穿戴設(shè)備的與時俱進，使得情緒識別的相關(guān)研究成果更多地應(yīng)用到實際產(chǎn)品中.干電極生理信號采集系統(tǒng)采用無線通信技術(shù)，使用簡便，不易受環(huán)境制約.Jatupaiboon等人[52]采用14導(dǎo)干電極腦電帽(emotiv)采集被試的腦電數(shù)據(jù)，建立了實時監(jiān)測高興-不高興(即正性-負性)識別系統(tǒng).研究者基于這個系統(tǒng)開發(fā)了2款游戲：頭像游戲和奔跑游戲.頭像游戲是用戶高興時呈現(xiàn)高興的面孔和音樂，不高興時則呈現(xiàn)不高興的面孔和音樂；奔跑游戲則是用戶越高興，則游戲角色跑的越快.值得說明的是，emotiv設(shè)備本身也能夠?qū)崟r地識別出多種情緒狀態(tài).

盡管干電極技術(shù)和可穿戴設(shè)備目前還有很多局限，如信號穩(wěn)定性不強、電源供電時間較短等，限制了其應(yīng)用范圍[53]；但未來隨著技術(shù)的不斷革新，基于生理信號的情緒識別必將在社交網(wǎng)絡(luò)、教育、醫(yī)療、心理治療、軍事等領(lǐng)域發(fā)揮重要作用.

5討論與展望

從已有文獻來看，基于生理信號的情緒識別研究還處于摸索階段，研究很多但良莠不齊.由于情緒誘發(fā)材料、采集設(shè)備、生理信號的特征提取、降維和分類算法等方面的差異性，已有研究中的情緒識別正確率高低不一，無法進行橫向比較.因此，本文建議未來的情緒研究可以從以下2個方面展開：

1) 建議研究人員使用標(biāo)準(zhǔn)化的刺激材料，特別是生態(tài)效度更高的電影片段和音樂視頻.未來預(yù)期還要建立適用于中國社會和文化背景的華語電影片段和音樂視頻標(biāo)準(zhǔn)庫.

2) 建議研究人員使用公開發(fā)表的生理信號數(shù)據(jù)庫(如DEAP數(shù)據(jù)庫)進行特征提取算法、分類算法和模型的開發(fā)，既能避免情緒誘發(fā)和信號采集過程中的差異性，也方便研究人員對各個算法模型進行橫向比較.未來預(yù)期能夠建立基于華語電影片段和音樂視頻標(biāo)準(zhǔn)刺激的生理信號庫，提供包括腦電和外周生理信號在內(nèi)的生理大數(shù)據(jù)庫.

參考文獻

[1]Minsky M. Society of Mind[M]. New York: Simon and Schuster, 1988

[2]Picard R W. Affective Computing[M]. Cambridge, MA: MIT Press, 1997

[3]Kim M K, Kim M, Oh E. et al. A review on the computational methods for emotional state estimation from the human EEG[J]. Computational and Mathematical Methods in Medicine, 2013, 2013: 1-13

[4]Nie Dan, Wang Xiaowei, Duan Ruonan, et al. A survey on EEG based emotion recognition[J]. Chinese Journal of Biomedical Engineering, 2012, 31(4): 595-606 (in Chinese)(聶聃, 王曉韡, 段若男, 等. 基于腦電的情緒識別研究綜述[J]. 中國生物醫(yī)學(xué)工程學(xué)報, 2012, 31(4), 595-606)

[5]Zhang Di, Wan Baikun, Ming Dong. Research progress on emotion recognition based on physiological signals[J]. Journal of Biomedical Engineering, 2015, 32(1): 229-234 (in Chinese)(張迪, 萬柏坤, 明東. 基于生理信號的情緒識別研究進展[J]. 生物醫(yī)學(xué)工程學(xué)雜志, 2015, 32(1), 229-234)

[6]Koelstra S, Muhl C, Soleymani M, et al. DEAP: A database for emotion analysis using physiological signals[J]. IEEE Trans on Affective Computing, 2012, 3(1): 18-31

[7]Gupta R, Gupta H, Mohania M. Cloud computing and big data analytics: What is new from databases perspective?[C]Proc of Big Data Analytics. Berlin: Springer, 2012: 42-61

[8]Izard C E. The many meaningsaspects of emotion: Definitions, functions, activation, and regulation[J]. Emotion Review, 2010, 2(4): 363-370

[9]van den Broek E L. Ubiquitous emotion-aware computing[J]. Personal and Ubiquitous Computing, 2013, 17(1): 53-67

[10]Mehrabian A. Pleasure arousal dominance: A general framework for describing and measuring individual differences in temperament[J]. Current Psychology, 1996, 14(4): 261-292

[11]Liu Ye, Fu Qiufang, Fu Xiaolan. The interaction between cognition and emotion[J]. Chinese Science Bulletin, 2009, 54(18): 2783-2796 (in Chinese)(劉燁, 付秋芳, 傅小蘭. 認知與情緒的交互作用[J]. 科學(xué)通報, 2009, 54(18): 2783-2796)

[12]Collet C, Vernet-Maury E, Delhomme G, et al. Autonomic nervous system response patterns specificity to basic emotions[J]. Journal of the Autonomic Nervous System, 1997, 62(12): 45-57

[13]Barrett L F. Are emotions natural kinds?[J]. Perspectives on Psychological Science, 2006, 1(1): 28-58

[14]Liu Yisi, Sourina O, Nguyen M K. Real-time EEG-based human emotion recognition and visualization[C]Proc of Int Conf on Cyberworlds. Piscataway, NJ: IEEE, 2010: 262-269

[15]Fontaine J R J, Scherer K R, Roesch E B, et al. The world of emotions is not two-dimensional[J]. Psychological Science, 2007, 18(12): 1050-1057

[16]Yin Dezhi, Bond Samuel D, Zhang Han. Anxious or angry? Effects of discrete emotions on the perceived helpfulness of online reviews[J]. Mis Quarterly, 2014, 38(2): 539-560

[17]Mauss I B, Robinson M D. Measures of emotion: A review[J]. Cognition & Emotion, 2009, 23(2): 209-237

[18]Hamann S. Mapping discrete and dimensional emotions onto the brain: Controversies and consensus[J]. Trends in Cognitive Sciences, 2012, 16(9): 458-466

[19]AlZoubi O, Calvo R A, Stevens R H. Classification of EEG for affect recognition: An adaptive approach[C]Proc of AI 2009: Advances in Artificial Intelligence. Berlin: Springer, 2009: 52-61

[20]Chanel G, Kierkels J J M, Soleymani M, et al. Short-term emotion assessment in a recall paradigm[J]. International Journal of Human-Computer Studies, 2009, 67(8): 607-627

[21]Kothe C A, Makeig S, Onton J A. Emotion recognition from EEG during self-paced emotional imagery[C]Proc of Humaine Association Conf on Affective Computing and Intelligent Interaction. Piscataway, NJ: IEEE, 2013: 855-858

[22]van Reekum C, Johnstone T, Banse R, et al. Psychophy-siological responses to appraisal dimensions in a computer game[J]. Cognition and Emotion, 2004, 18(5): 663-688

[23]Merkx P A B, Truong K P, Neerincx M A. Inducing and measuring emotion through a multiplayer first-person shooter computer game[C]Proc of Computer Games Workshop. Amsterdam, the Netherlands: TNO Defensie en Veiligheid, 2007

[24]Lang P J, Bradley M M, Cuthbert B N. International affective picture system (IAPS): Technical manual and affective ratings[R]. Gainesville, FL: NIMH Center for the Study of Emotion and Attention, 1997

[25]Lang P J, Bradley M M, Cuthbert B N. International affective picture system (IAPS): Affective ratings of pictures and instruction manual[R]. Gainesville, FL: NIMH Center for the Study of Emotion and Attention, 2005

[26]Ekman P, Friesen W. Pictures of Facial Affect[M]. Sunnyvale, CA: Consulting Psychologists Press, 1975

[27]Bradley M M, Lang P J. Affective norms for English words (ANEW): Instruction manual and affective ratings, C-1[R]. Gainesville, FL: the Center for Research in Psychophysiology, University of Florida, 1999

[28]Ekman P. Emotions Revealed: Understanding Thoughts and Feelings[M]. London: Weidenfeld and Nicolson, 2003

[29]Bai Lu, Ma Hui, Huang Yuxia, et al. The development of native Chinese affective picture system-a pretest in 46 college students[J]. Chinese Mental Health Journal, 2005, 19(11): 719-722 (in Chinese)(白露, 馬慧, 黃宇霞, 等. 中國情緒圖片系統(tǒng)的編制——在46名中國大學(xué)生中的試用[J]. 中國心理衛(wèi)生雜志, 2005, 19(11): 719-722)

[30]Zheng Pu, Liu Conghui, Yu Guoliang. An overview of mood-induction methods[J]. Advances in Psychological Science, 2012, 20(1): 45-55 (in Chinese)(鄭璞, 劉聰慧, 俞國良. 情緒誘發(fā)方法述評. 心理科學(xué)進展, 2012, 20(1): 45-55)

[31]Bradley M M, Lang P J. The International affective digitized sounds (2nd ed; IADS-2): Affective ratings of sounds and instruction manual, B-3[R]. Gainesville, FL: University of Florida, 2007

[32]Liu Taosheng, Ma Hui, Huang Yuxia, et al. Primary study of establishing an affective sound system of China[J]. Chinese Mental Health Journal, 2006, 20(11): 709-712 (in Chinese)(劉濤生, 馬慧, 黃宇霞, 等. 建立情緒聲音刺激庫的初步研究[J]. 中國心理衛(wèi)生雜志, 2006, 20(11): 709-712)

[33]Khosrowabadi R, Quek H C, Wahab A, et al. EEG-based emotion recognition using self-organizing map for boundary detection[C]Proc of Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2010: 4242-4245

[34]Gross J J, Levenson R W. Emotion elicitation using films[J]. Cognition & Emotion, 1995, 9(1): 87-108

[35]Schaefer A, Nils F, Sanchez X, et al. Assessing the effectiveness of a large database of emotion-eliciting films: A new tool for emotion researchers[J]. Cognition and Emotion, 2010, 24(7): 1153-1172

[36]Xu Pengfei, Huang Yuxia, Luo Yuejia. Establishment and assessment of native Chinese affective video system[J]. Chinese Mental Health Journal, 2010, 24(7): 551-561 (in Chinese)(徐鵬飛, 黃宇霞, 羅躍嘉. 中國情緒影像材料庫的初步編制和評定[J]. 中國心理衛(wèi)生雜志, 2010, 24(7): 551-561)

[37]Liang Yuchi, Hsieh Shulan, Weng Chiaying, et al. Taiwan corpora of Chinese emotions and relevant psychophysiological data—standard Chinese emotional film clips database and subjective evaluation normative data[J]. Chinese Journal of Psychology, 2013, 55(4): 601-621 (in Chinese)(梁育綺, 謝淑蘭, 翁嘉英, 等. 臺灣地區(qū)華人情緒與相關(guān)心理生理數(shù)據(jù)庫—標(biāo)準(zhǔn)化華語版情緒電影短片材料庫與主觀評量常模[J]. 中華心理期刊, 2013, 55(4): 601-621)

[38]Daimi S N, Saha G. Recognition of emotions induced by music videos using DT-CWPT[C]Proc of Indian Conf on Medical Informatics and Telemedicine. Piscataway, NJ: IEEE, 2013: 53-57

[39]Daimi S N, Saha G. Classification of emotions induced by music videos and correlation with participants’ rating[J]. Expert Systems with Applications, 2014, 41(13): 6057-6065

[40]Rozgic V, Vitaladevuni S N, Prasad R. Robust EEG emotion classification using segment level decision fusion[C]Proc of IEEE Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2013: 1286-1290

[41]Zhuang Xiaodan, Rozgic V, Crystal M. Compact unsupervised EEG response representation for emotion recognition[C]Proc of IEEE EMBS Int Conf on Biomedical and Health Informatics. Piscataway, NJ: IEEE, 2014: 736-739

[42]Torres C A, Orozco A A, Alvarez M A. Feature selection for multimodal emotion recognition in the arousal-valence space[C]Proc of Int Conf of the IEEE Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE, 2013: 4330-4333

[43]Yoon H J, Chung S Y. EEG-based emotion estimation using Bayesian weighted-log-posterior function and perceptron convergence algorithm[J]. Computers in Biology and Medicine, 2013, 43(12): 2230-2237

[44]Hatamikia S, Maghooli K, Nasrabadi A M. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals[J]. Journal of Medical Signals and Sensors, 2014, 4(3): 194-201

[45]Xiang Jie, Cao Rui, Li Li. Emotion recognition based on the sample entropy of EEG[J]. Bio-Medical Materials and Engineering, 2014, 24(1): 1185-1192

[46]Jirayucharoensak S, Pan-Ngum S, Israsena P. EEG-based emotion recognition using deep learning network with principal component based covariate shift adaptation[J]. The Scientific World Journal, 2014, 2014: 1-10

[47]Matiko J W, Beeby S P, Tudor J. Fuzzy logic based emotion classification[C]Proc of IEEE Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2014: 4389-4393

[48]Verma G K, Tiwary U S. Multimodal fusion framework: A multiresolution approach for emotion classification and recognition from physiological signals[J]. Neuroimage, 2014, 102: 162-172

[49]Lee Youyun, Hsieh Shulan. Classifying different emotional states by means of EEG-based functional connectivity patterns[J]. Plos One, 2014, 9(4): e95415

[50]Yu Kai, Jia Lei, Chen Yuqiang, et al. Deep learning: Yesterday, today, and tomorrow[J]. Journal of Computer Research and Development, 2013, 50(9): 1799-1804 (in Chinese)(余凱, 賈磊, 陳雨強, 等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計算機研究與發(fā)展, 2013, 50(9): 1799-1804)

[51]Li Ming, Zhou Zhihua. Online semi-supervised learning with multi-kernel ensemble[J]. Journal of Computer Research and Development, 2008, 45(12): 2060-2068 (in Chinese)(黎銘, 周志華. 基于多核集成的在線半監(jiān)督學(xué)習(xí)方法[J]. 計算機研究與發(fā)展, 2008, 45(12): 2060-2068)

[52]Jatupaiboon N, Pan-Ngum S, Israsena P. Real-time EEG-based happiness detection system[J]. The Scientific World Journal, 2013, 2013: 1-10

[53]Wang Xiaowei, Shi Lichen, Lu Baoliang. A survey on the technology of dry electrodes for EEG recording[J]. Chinese Journal of Biomedical Engineering, 2010, 29(5): 777-784 (in Chinese)(王曉韡, 石立臣, 呂寶糧. 干電極腦電采集技術(shù)綜述[J]. 中國生物醫(yī)學(xué)工程學(xué)報, 2010, 29(5): 777-784)

Zhao Guozhen, born in 1984. Received his PhD degree from the State University of New York in 2011. Assistant Professor at the Institute of Psychology, Chinese Academy of Sciences. His main research interests include the mathematical modeling of human cognition and performance, transportation safety, human computer interaction, neuroergonomics and their applications in intelligent system design.

Song Jinjing, born in 1990. Master candidate at the Institute of Psychology, Chinese Academy of Sciences. Her main research interests include emotion recognition based on EEG and physiological signals.

Ge Yan, born in 1981. Received her PhD degree from the Institute of Psychology, Chinese Academy of Sciences in 2008. Associate professor at Institute of Psychology, Chinese Academy of Sciences. Her main research interests include human-computer interaction.

Liu Yongjin, born in 1977. Received his PhD degree from the Hong Kong University of Science and Technology in 2004. Associate professor at the Tsinghua National Laboratory for Information Science and Technology (TNList), Department of Computer Science and Technology, Tsinghua University. Member of IEEE and IEEE Computer Society. His main research interests include computational geometry, cognitive computation and computer graphics.

Yao Lin, born in 1985. Received his PhD degree from the Institute of Psychology, Chinese Academy of Sciences in 2012. Researcher at China Mobile Research Institute. His main research interests include human-computer interaction and innovation in handheld, mobile and wearable technologies.

Wen Tao, born in 1985. Received his master degree at the Capital Normal University in 2010. Researcher at China Mobile Research Institute. His main research interests include collecting, analyzing, presenting usability metrics of mobile data services through behavioral-based research method.

中圖法分類號TP18

基金項目：國家自然科學(xué)基金項目(31300852,61322206)

收稿日期：2015-07-06；修回日期：2015-10-16

This work was supported by the National Natural Science Foundation of China (31300852,61322206).