多維數(shù)據(jù)特征融合的用戶情緒識別*

陳　茜，史殿習(xí)，楊若松國防科技大學(xué) 計(jì)算機(jī)學(xué)院 并行與分布處理國防科技重點(diǎn)實(shí)驗(yàn)室，長沙 410073

?

多維數(shù)據(jù)特征融合的用戶情緒識別*

陳茜+，史殿習(xí)，楊若松
國防科技大學(xué) 計(jì)算機(jī)學(xué)院 并行與分布處理國防科技重點(diǎn)實(shí)驗(yàn)室，長沙 410073

Xi,SHI Dianxi,YANG Ruosong.User emotion recognition based on multidimensional data feature fusion.Journal of Frontiers of Computer Science and Technology,2016,10(6):751-760.

摘要：針對目前基于智能手機(jī)的情緒識別研究中所用數(shù)據(jù)較為單一，不能全面反應(yīng)用戶行為模式，進(jìn)而不能真實(shí)反應(yīng)用戶情緒這一問題展開研究，基于智能手機(jī)從多個維度全面收集反應(yīng)用戶日常行為的細(xì)粒度感知數(shù)據(jù)，采用多維數(shù)據(jù)特征融合方法，利用支持向量機(jī)（support vector machine，SVM）、隨機(jī)森林（random forest）等6種分類方法，基于離散情緒模型和環(huán)狀情緒模型兩種情緒分類模型，對12名志愿者的混合數(shù)據(jù)和個人數(shù)據(jù)分別進(jìn)行情緒識別，并進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該全面反應(yīng)用戶行為的多維數(shù)據(jù)特征融合方法能夠很好地對用戶的情緒進(jìn)行識別，其中使用個人數(shù)據(jù)進(jìn)行情緒識別的準(zhǔn)確率最高可達(dá)到79.78%，而且環(huán)狀情感模型分類結(jié)果明顯優(yōu)于離散分類模型。

關(guān)鍵詞：情緒識別；情緒模型；機(jī)器學(xué)習(xí)；智能手機(jī)

ISSN 1673-9418CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(06)-0751-10

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

1　引言

人類在對外界事物進(jìn)行探索和認(rèn)知的過程中，會產(chǎn)生諸如喜悅、悲傷、憤怒、恐懼等主觀情感。人們把對客觀事物的態(tài)度體驗(yàn)以及相對應(yīng)的行為反應(yīng)，稱為情緒（emotion）[1]。情緒作為一種不同于認(rèn)識和意識的心理形式，不同程度上影響著人的學(xué)習(xí)、工作效率以及行為模式，在日常生活中扮演著重要的角色。

情緒識別作為人工智能和普適計(jì)算的重要組成部分，受到了業(yè)內(nèi)人士的高度重視，已經(jīng)成為當(dāng)下的研究熱點(diǎn)，在人機(jī)交互、遠(yuǎn)程教育、醫(yī)療保健、心理治療等多個領(lǐng)域均有廣闊的應(yīng)用前景[2]。因?yàn)榍榫w通常是經(jīng)由一些外在因素刺激而產(chǎn)生的主觀體驗(yàn)（如喜、怒、哀、懼等情感），并伴有外部表現(xiàn)的變化（如面部表情、身體行為和聲音語調(diào)等）和生理反應(yīng)的變化（如皮下的特定活動、心率的節(jié)奏等），因此可以獲得有關(guān)情緒狀態(tài)的一些觀測值。假設(shè)這些數(shù)據(jù)的觀測值有效可靠，那么就可以根據(jù)這些數(shù)據(jù)把潛在的情緒狀態(tài)推測出來。

目前，情緒識別領(lǐng)域已經(jīng)取得了一系列的研究成果，但是絕大多數(shù)情緒識別工作都是基于面部表情以及語音語調(diào)的分析[3-4]。隨著智能手機(jī)內(nèi)嵌傳感器的不斷增加，通過手機(jī)傳感器收集人們的日常行為已經(jīng)變得觸手可及。本文采用移動群體感知技術(shù)[5-6]，并選取智能手機(jī)作為傳感器數(shù)據(jù)收集的平臺，主要原因如下：首先，智能手機(jī)的用戶眾多，如此大規(guī)模的潛在實(shí)驗(yàn)數(shù)據(jù)收集對象是以前的相關(guān)研究未能達(dá)到的；其次，隨身攜帶手機(jī)已經(jīng)逐漸成為一種習(xí)慣，并且隨著手機(jī)內(nèi)嵌傳感器的增多，捕捉使用者的身體行為變化也變得更加容易；最后，基于智能手機(jī)的感知是非干擾式的，用戶的參與度低，相較傳統(tǒng)的捆綁式傳感器基本不會對用戶造成困擾。

正是由于智能手機(jī)具有上述優(yōu)點(diǎn)，基于智能手機(jī)的情緒識別逐漸成為普適計(jì)算領(lǐng)域研究的熱點(diǎn)問題，并取得了一系列研究成果，其中最具代表性的工作包括EmotionSense[7]、MoodScope[8]、gottaFeeling[9]等。在此相關(guān)工作分析研究基礎(chǔ)上，本文針對目前基于智能手機(jī)的情緒識別研究中所使用的傳感器較為單一，大多數(shù)為通訊信息的記錄和位置信息，不能全面反應(yīng)用戶行為模式這一問題，使用智能手機(jī)從多個維度全面收集反應(yīng)用戶日常行為的細(xì)粒度感知數(shù)據(jù)，采用多維數(shù)據(jù)特征融合方法，利用支持向量機(jī)（support vector machine，SVM）、k-近鄰（k-nearest neighbor，kNN）、決策樹（decision tree）、AdaBoost、隨機(jī)森林（random forest）、梯度樹提升（gradient tree boosting,GTB）6種分類器以及離散情緒模型和環(huán)狀情緒模型兩種分類方式，對12名志愿者的混合數(shù)據(jù)和個人數(shù)據(jù)分別進(jìn)行情緒識別，并進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的全面反應(yīng)用戶行為的多維數(shù)據(jù)特征融合方法，能夠很好地對用戶的情緒進(jìn)行識別。雖然最初使用混合數(shù)據(jù)訓(xùn)練準(zhǔn)確率只有72.73%，但隨著對單個用戶進(jìn)行個人數(shù)據(jù)訓(xùn)練，準(zhǔn)確率可以達(dá)到79.78%。在情緒分類模型的對比實(shí)驗(yàn)中，環(huán)狀情感模型分類結(jié)果明顯優(yōu)于離散分類模型。

本文組織結(jié)構(gòu)如下：第2章對國內(nèi)外相關(guān)工作進(jìn)行分析和研究；第3章對本文選取的情緒分類模型進(jìn)行簡要描述；第4章描述了總體框架結(jié)構(gòu)；第5章描述了用戶問卷調(diào)查過程以及統(tǒng)計(jì)分析結(jié)果，同時對手機(jī)數(shù)據(jù)收集平臺以及所收集的多維數(shù)據(jù)進(jìn)行了描述；第6章詳細(xì)闡述了特征提取過程，并設(shè)計(jì)了多個實(shí)驗(yàn)對所提取的特征進(jìn)行驗(yàn)證；第7章進(jìn)行了相關(guān)工作的比較；第8章對全文進(jìn)行了歸納總結(jié)。

2　基本的情緒識別方法

自從1997年麻省理工學(xué)院媒體實(shí)驗(yàn)室的Picard教授提出“情感計(jì)算”（affective computing）[10]這個概念之后，越來越多的學(xué)者對情緒識別展開研究，分別從面部表情、語音語調(diào)、生理信號和身體動作與姿勢等多種角度對情緒進(jìn)行識別。

通過面部表情識別情緒的依據(jù)在于不同情緒狀態(tài)下人們的面部表情有顯著差異[11]，會產(chǎn)生特定的表情模式。美國的心理學(xué)家Ekman等人[3]開發(fā)了面部運(yùn)動編碼系統(tǒng)（facial action coding system,FACS），并建立了幾千幅不同的表情圖像庫來對面部表情進(jìn)行研究。隨后，研究人員又在FACS的基礎(chǔ)上相繼采用MPEG-4臉部參數(shù)運(yùn)動法、主分量分析法等多種算法進(jìn)行識別，但在基于圖像的情緒識別中實(shí)驗(yàn)樣本大多與實(shí)際生活中的自然表情有不一致的地方，這種問題帶來的影響并不能很好地消除，因此導(dǎo)致識別率低，算法復(fù)雜度高等問題。

語音語調(diào)作為人類表達(dá)自己情感的一種重要方式，早在20世紀(jì)80年代就開始了系統(tǒng)性的研究[4]。但是語音信號的情緒識別需要建立龐大的情緒語音數(shù)據(jù)庫，并且個體差異比較明顯，而且還需要考慮說話人的內(nèi)容，因此識別起來難度很大。

生理信號的變化很少受到人們主觀意識的控制，因而使用生理信號進(jìn)行情緒識別相對來說更為客觀。但是生理信號存在著信號十分微弱以及干擾源多，噪聲大等各種問題[12]，并且實(shí)驗(yàn)條件苛刻，因此這類方法大多局限于實(shí)驗(yàn)室研究。

身體動作與姿勢的情緒識別也具有較大的局限性，以往的研究大多是針對各種情緒下的身體姿勢提取特征并建立特征庫[13]。但很多動作或姿勢并不具備明顯的情緒特征，因而在識別過程中并不能準(zhǔn)確地分辨出結(jié)果。

對面部表情和語音進(jìn)行情緒識別由來已久，但基于身體行為變化的研究則遠(yuǎn)遠(yuǎn)滯后于前者，原因在于后者大多是以身體動作與姿態(tài)作為研究對象，實(shí)驗(yàn)難度相對更大，準(zhǔn)確率也更低；而現(xiàn)今智能手機(jī)的發(fā)展與普及讓人們看到了基于身體行為研究情緒識別的一絲曙光。LiKamWa等人建立了心情傳感器MoodScope[8,14]，他們將用戶的通話記錄、短信記錄、郵件、上網(wǎng)歷史、應(yīng)用程序使用情況以及位置的歷史數(shù)據(jù)進(jìn)行收集，采用多元線性回歸的方法來進(jìn)行心情的推測。Bogomolov等人[15]也利用手機(jī)作為數(shù)據(jù)采集終端來對用戶的幸福感進(jìn)行識別，以通話記錄、短信記錄和藍(lán)牙信息作為采集數(shù)據(jù)輔佐以天氣因素和人格測試，采用隨機(jī)森林的方法進(jìn)行訓(xùn)練。這些已有的基于智能手機(jī)的情緒識別方法研究所使用的傳感器較為單一，大多數(shù)為通訊信息的記錄和位置信息，不能全面地記錄用戶的行為模式，因此本文在已有研究的基礎(chǔ)上進(jìn)行了相應(yīng)的拓展，使用數(shù)據(jù)收集工具在后臺對以加速度計(jì)、陀螺儀、磁力計(jì)為代表的運(yùn)動傳感器數(shù)據(jù)，以光傳感器和GPS為代表的環(huán)境傳感器數(shù)據(jù)，還有各種社交信息、手機(jī)使用信息和手機(jī)狀態(tài)信息（例如聯(lián)網(wǎng)狀態(tài)、充電狀態(tài)等）采用機(jī)會式感知的方式[6]進(jìn)行收集，以求更全面地感知用戶行為，使得對用戶情緒的識別更加準(zhǔn)確。

3　情緒分類模型

進(jìn)行情緒識別面臨的首要問題是建立情緒分類模型，即如何對情緒進(jìn)行劃分。通常講，采用一個國際通用的標(biāo)準(zhǔn)便于對不同的研究結(jié)果進(jìn)行比較，雖然學(xué)術(shù)界關(guān)于如何有效地劃分情緒狀態(tài)一直存在爭議，但其共同點(diǎn)是都認(rèn)為情緒與生理反應(yīng)之間存在一定的映射關(guān)系。目前使用較多的分類模型有兩種:一種是將情緒以離散的模式劃分為幾種基本情緒[16-17]，如喜、怒、哀、懼；另一種則是認(rèn)為情緒是連續(xù)的，使用維度空間模型進(jìn)行劃分[18]。

3.1基本情緒模型

基本情緒模型認(rèn)為情緒是離散可分的，由數(shù)種基本情緒類型組成。迄今為止，已經(jīng)有許多研究者對情緒進(jìn)行了不同精度的劃分。其中，在情緒圖書館（emotion library）[19]中定義了14種情緒，但這些情緒中很多具有一定的相似性，區(qū)分起來難度很高。因此，本文采取了被社會心理學(xué)家廣泛使用的一種劃分方式，即將情緒圖書館中所有種類的情緒通過聚類的方式劃分到5種標(biāo)準(zhǔn)情緒庫中，分別為高興（happy）、悲傷（sad）、害怕（fear）、生氣（anger）、中性（neutral）。這5種廣義情緒區(qū)分度明顯，辨識度較高，因此將其作為基本情緒模型中的具體分類進(jìn)行研究。

3.2維度空間模型

維度空間論則認(rèn)為，情緒之間不是獨(dú)立存在的，而是存在著一種連續(xù)、漸變的關(guān)系。本文采取了較為經(jīng)典的環(huán)狀情感模型（circumplex model of affect）[18]，如圖1所示。這個模型由愉悅（pleasure）維度和活躍（activeness）維度兩部分組成。其中愉悅維度用來衡量一個人的感覺是積極還是消極，活躍維度則用來表示一個人在某種情緒下的行為是主動或是被動。圖1中，每種基本情緒都可以通過被分解為愉悅度和活躍度從而在環(huán)狀模型中大致定位。

Fig.1　Circumplex emotion model圖1　環(huán)狀情感模型

雖然兩種分類模型之間并沒有一種精準(zhǔn)的轉(zhuǎn)換方法，但也能從中看出它們并不是互相排斥的。因此，本文分別使用這兩種分類模型進(jìn)行了對比實(shí)驗(yàn)，以尋求更合適的分類方法，得到更高的準(zhǔn)確率。

4　情緒識別的框架流程

Fig.2　Framework process of emotion recognition圖2　情緒識別的框架流程

本文所采用的情緒識別框架流程如圖2所示。在數(shù)據(jù)收集前，首先對情緒如何影響人的行為模式進(jìn)行預(yù)調(diào)查（采用網(wǎng)上問卷的形式），并以調(diào)查結(jié)果作為手機(jī)數(shù)據(jù)采集的依據(jù)；其次，采用一個基于Android平臺的數(shù)據(jù)收集工具實(shí)時采集手機(jī)數(shù)據(jù)，同時開發(fā)一個情緒記錄工具供用戶每天記錄；然后，對所采集的多維數(shù)據(jù)進(jìn)行預(yù)處理、特征提取以及進(jìn)行多維數(shù)據(jù)的特征融合；最后，設(shè)計(jì)多組實(shí)驗(yàn)，基于多維數(shù)據(jù)的融合特征，采用支持向量機(jī)等6種分類器以及基本情緒模型和環(huán)狀情緒模型兩種分類方式，對多個人的混合數(shù)據(jù)和個人數(shù)據(jù)分別進(jìn)行情緒識別和對比驗(yàn)證。

5　用戶調(diào)查和數(shù)據(jù)收集

作為前期準(zhǔn)備，首先設(shè)計(jì)并在線發(fā)布了一份主題為“情緒變化對行為影響”的問卷調(diào)查；然后根據(jù)問卷調(diào)查的統(tǒng)計(jì)結(jié)果，篩選出需要采集的數(shù)據(jù)，并且確定用戶手動記錄情緒的頻率。

5.1預(yù)調(diào)查——網(wǎng)上問卷調(diào)查

在數(shù)據(jù)采集前，首先需要確定收集哪些數(shù)據(jù)，即情緒的變化可能導(dǎo)致哪些行為發(fā)生變化，需要確定可以反映出用戶行為變化的手機(jī)數(shù)據(jù)，然后通過這些數(shù)據(jù)識別用戶的情緒。為了獲取到最可能反映個人行為變化的傳感器數(shù)據(jù)，設(shè)計(jì)了一張問卷調(diào)查，部分內(nèi)容如圖3所示（完整部分請參考文獻(xiàn)[20]）。

本次問卷調(diào)查從在網(wǎng)上發(fā)布到最終回收歷時10天，總共有117名參與者匿名參與了問卷調(diào)查的填寫。經(jīng)過統(tǒng)計(jì)，發(fā)現(xiàn)男女人數(shù)比例大概維持在1.2:1，即人數(shù)大致平等，且超過85%的人處于18歲至30歲，這部分參與者隨身攜帶手機(jī)的比例超過90%，因此本文選擇智能手機(jī)作為傳感器數(shù)據(jù)收集的平臺完全合理。結(jié)果顯示，46.7%的參與者每天使用手機(jī)的時間在2小時至4小時之間，33.4%的參與者每天使用手機(jī)的時間超過4小時，只有不足20%的參與者使用手機(jī)時間少于2小時。另外，大部分參與者認(rèn)為包括正在使用的應(yīng)用程序、通話記錄、短信、微信、運(yùn)動情況等在內(nèi)的多項(xiàng)數(shù)據(jù)都可以反映出使用者的行為。為此，根據(jù)問卷調(diào)查的結(jié)果選擇出需要收集的數(shù)據(jù)項(xiàng)以及用戶手動記錄心情的頻率，實(shí)現(xiàn)準(zhǔn)確率高且干擾性低的預(yù)期目標(biāo)。

Fig.3　Questionnaire:effect of emotion changes on behaviors圖3　問卷調(diào)查：情緒變化對行為的影響

5.2數(shù)據(jù)收集

本文使用StarLog作為數(shù)據(jù)收集工具。StarLog是根據(jù)需要對UbiqLog[21]進(jìn)行擴(kuò)展和改進(jìn)的一款安卓平臺數(shù)據(jù)收集軟件，其主界面如圖4所示。根據(jù)5.1節(jié)統(tǒng)計(jì)分析后得到的結(jié)果，確定收集以下種類的數(shù)據(jù)：（1）運(yùn)動類感知數(shù)據(jù)，包括加速計(jì)、陀螺儀、磁力計(jì)以及活動狀態(tài)（可判定用戶處在靜止、低速或高速狀態(tài)）；（2）環(huán)境類感知數(shù)據(jù)，包括光傳感器和GPS信息；（3）手機(jī)使用數(shù)據(jù)，包括通話、短信、微信、QQ以及藍(lán)牙記錄等社交記錄，WiFi、App使用、屏幕解鎖和鎖屏、拍照等使用記錄以及手機(jī)狀態(tài)記錄（手機(jī)模式、是否聯(lián)網(wǎng)、是否充電）。因?yàn)楫?dāng)用戶睡覺后手機(jī)會處于閑置狀態(tài)，并且根據(jù)實(shí)驗(yàn)開始前對志愿者的詢問，大多數(shù)人會在早上7點(diǎn)至7點(diǎn)半起床，晚上10點(diǎn)半至11點(diǎn)睡覺，且睡覺有關(guān)機(jī)或者使用飛行模式的習(xí)慣，因此文中數(shù)據(jù)收集時間是每天從早上7點(diǎn)半到晚上10點(diǎn)半，總計(jì)15個小時。

Fig.4　Main interface of data collection framework圖4　數(shù)據(jù)收集框架主界面

5.3情緒記錄

根據(jù)問卷調(diào)查統(tǒng)計(jì)結(jié)果，被調(diào)查者選擇愿意每4小時或每6小時記錄一次的結(jié)果總和超過90%，因此，以此作為參考，同時本著對參與者干擾最少的原則，本文最終選擇每隔5個小時記錄一次用戶情緒狀態(tài)，即每天記錄3次，分別代表當(dāng)日上午、下午和晚上的情緒。為了方便參與者對其情緒狀況進(jìn)行記錄，設(shè)計(jì)并開發(fā)情緒記錄收集工具，如圖5所示。其中，圖5（a）上部分有兩行滑動條，分別代表愉悅度和活躍度，取值范圍為1～5，分別代表非常不愉悅（非常不活躍）、不愉悅（不活躍）、中性（平靜）、愉悅（活躍）、非常愉悅（非?；钴S）；圖5（a）下部分是一個離散的基本情緒輸入對話框。因此用戶需要在圖5（a）中采用兩種情緒模型分別進(jìn)行記錄，如前文所述，完成記錄后需要點(diǎn)擊下方保存情緒按鈕。圖5（b）是一個展示歷史情緒記錄的界面，用戶可以對已記錄的情緒進(jìn)行查看、刪除等操作。圖5（c）則為文件導(dǎo)出界面，可以將情緒記錄數(shù)據(jù)導(dǎo)出為txt文檔或sql數(shù)據(jù)庫格式，并具有清除數(shù)據(jù)的功能。

Fig.5　Emotion recordApp圖5　情緒記錄App

6　實(shí)驗(yàn)驗(yàn)證和結(jié)果分析

6.1實(shí)驗(yàn)數(shù)據(jù)來源

為了驗(yàn)證本文所提出的采用多維數(shù)據(jù)特征融合方法進(jìn)行情緒識別的有效性，招募了12名研究生作為志愿者（7名男性和5名女性）進(jìn)行連續(xù)一個月的數(shù)據(jù)收集工作（全部使用安卓手機(jī)）。在數(shù)據(jù)開始收集前為這12名志愿者進(jìn)行了數(shù)據(jù)收集軟件和情緒記錄軟件的安裝與使用培訓(xùn)，以確保每個人收到的數(shù)據(jù)有效、可利用。作為對這12名志愿者的回報，在實(shí)驗(yàn)開始時給每人發(fā)放了一個容量為32 GB的手機(jī)存儲卡。

6.2預(yù)處理和特征提取

6.2.1運(yùn)動類感知數(shù)據(jù)的預(yù)處理和特征提取

運(yùn)動感知數(shù)據(jù)包括加速度計(jì)、陀螺儀、磁力計(jì)和活動狀態(tài)等4類數(shù)據(jù)。其中，加速度計(jì)、陀螺儀和磁力計(jì)的數(shù)據(jù)收集信息包括時間以及相應(yīng)的三軸數(shù)據(jù)；活動狀態(tài)的數(shù)據(jù)收集信息包括開始時間、結(jié)束時間以及這段時間內(nèi)的狀態(tài)（靜止、慢速或快速）。

進(jìn)行預(yù)處理時，采用了具有50%重疊的滑動窗口對加速度計(jì)、陀螺儀和磁力計(jì)的數(shù)據(jù)進(jìn)行分割，分割后的窗口時間長度一般為5 s；然后再對分割后的數(shù)據(jù)窗口分別提取最大值、最小值、均值、標(biāo)準(zhǔn)差、波形個數(shù)、波峰均值、波谷均值、波峰與波谷差值的最大值、波峰與波谷差值的最小值這9個特征值；又因?yàn)檫@3種傳感器都是三軸傳感器，所以每種傳感器可以提取27個特征。而且，可以根據(jù)活動狀態(tài)的數(shù)據(jù)（根據(jù)加速度計(jì)等傳感器計(jì)算得出）來判斷用戶每天處于靜止、慢速和快速的時間占總時間的比例，可以提取3個特征值，因此運(yùn)動傳感器總共提取出了84個特征。

6.2.2環(huán)境類感知數(shù)據(jù)的預(yù)處理和特征提取

環(huán)境感知數(shù)據(jù)包括光傳感器數(shù)據(jù)和GPS數(shù)據(jù)兩類。其中，光傳感器數(shù)據(jù)收集信息包括時間以及相應(yīng)的光強(qiáng)度；GPS的數(shù)據(jù)收集信息包括時間、經(jīng)度、緯度、高度和精度。

將光傳感器數(shù)據(jù)繪制成圖后，可以發(fā)現(xiàn)其數(shù)據(jù)數(shù)值大小差異明顯，當(dāng)手機(jī)放置在衣物口袋或包中時，數(shù)值較小，大多集中在0～100之間；當(dāng)在室內(nèi)時，大多數(shù)是受到燈光照射的情況，數(shù)值多集中在100～1 000之間；當(dāng)處于戶外時，受到太陽直射，采集到的數(shù)值很大，多集中在1 000～20 000之間。根據(jù)這些特點(diǎn)，將光傳感器數(shù)據(jù)進(jìn)行分類，并提取出3個特征，分別為手機(jī)未被使用、在室內(nèi)使用以及在戶外使用的比例。

GPS采用高頻進(jìn)行采集（每30 s記錄一次），然后使用K-means聚類算法[22]對數(shù)據(jù)進(jìn)行聚類分析，得到用戶每天去過的位置個數(shù)，為了衡量不同用戶在不同位置停留時間長短的比例，采用式（1）進(jìn)行計(jì)算：其中，pi為用戶在第i個位置記錄的數(shù)據(jù)占總記錄數(shù)據(jù)的比例。信息熵H(u)表示信息出現(xiàn)的概率或不確定性，可以看作是對信息有序化度量。也就是說當(dāng)采集的位置越多，熵越大，數(shù)據(jù)越混亂；采集的位置越少，熵越小，數(shù)據(jù)越有序。假如某個用戶一天都在家中，經(jīng)過聚類后只有一個位置，那么熵就是0，表示處于一種有序狀態(tài)。因此，GPS數(shù)據(jù)的特征值有兩個，分別為經(jīng)過聚類的位置個數(shù)以及熵值。

6.2.3手機(jī)使用記錄相關(guān)數(shù)據(jù)的預(yù)處理和特征提取

手機(jī)使用記錄的數(shù)據(jù)可以分為社交信息、手機(jī)使用信息和手機(jī)狀態(tài)信息3類。

社交信息包括通話記錄、短信記錄、微信、QQ消息和藍(lán)牙。其中，通話的數(shù)據(jù)收集信息包括時間、經(jīng)過加密處理的通話號碼、通話時長和通話類別；短信、微信、QQ的數(shù)據(jù)收集信息包括時間和經(jīng)過加密處理的通信號碼；藍(lán)牙的數(shù)據(jù)收集信息包括時間、藍(lán)牙地址和連接狀態(tài)。對此，統(tǒng)計(jì)了通話個數(shù)，通話時長，最頻繁通話時長占總時長的比例，接收短信、微信、QQ消息的條數(shù)以及最頻繁聯(lián)系人發(fā)送消息總數(shù)占總條數(shù)的比例，檢測到的藍(lán)牙個數(shù)以及其中連接過的個數(shù)，總共11個特征。

手機(jī)使用信息包括WiFi、App使用、屏幕鎖屏和解鎖以及拍照情況。其中，WiFi的數(shù)據(jù)收集信息包括時間、SSID、BSSID以及連接狀態(tài)；App使用的數(shù)據(jù)收集信息包括開始時間、結(jié)束時間以及進(jìn)程名；屏幕鎖屏和解鎖的數(shù)據(jù)收集信息包括屏幕點(diǎn)亮?xí)r間、屏幕解鎖時間、屏幕暗時間；拍照的數(shù)據(jù)收集信息包括時間以及相應(yīng)的經(jīng)緯度。對此，統(tǒng)計(jì)了手機(jī)周邊WiFi個數(shù)以及連接過的個數(shù)；統(tǒng)計(jì)App使用時間需要對安卓系統(tǒng)或是手機(jī)系統(tǒng)軟件運(yùn)行時間進(jìn)行過濾，即只對前臺非系統(tǒng)程序的使用情況進(jìn)行計(jì)算；統(tǒng)計(jì)屏幕相關(guān)數(shù)據(jù)時需要對屏幕亮、屏幕暗的時間分別做計(jì)算并記錄解鎖次數(shù)；照相情況只需要簡單統(tǒng)計(jì)次數(shù)。因此這部分可以提取7個特征。

手機(jī)狀態(tài)信息對包括時間，鈴聲模式（鈴聲開、鈴聲關(guān)），飛行模式（飛行模式開、飛行模式關(guān)），網(wǎng)絡(luò)連接模式（數(shù)據(jù)流量連接、WiFi連接或者未連接），充電狀態(tài)（充電、未充電）在內(nèi)的5種數(shù)據(jù)進(jìn)行記錄，根據(jù)各類數(shù)據(jù)處于不同模式的比例，提取了9個特征。

6.3實(shí)驗(yàn)和結(jié)果分析

6.3.1數(shù)據(jù)篩選和分類實(shí)驗(yàn)

實(shí)驗(yàn)使用StarLog數(shù)據(jù)收集平臺采集每天上午7:30至夜間22:30總計(jì)15個小時的數(shù)據(jù)，同時將每天記錄的3次情緒分別與上午、下午和晚上的數(shù)據(jù)相對應(yīng)，作為已提取特征的標(biāo)簽，便于后期進(jìn)行學(xué)習(xí)與訓(xùn)練。

本文采用12名志愿者連續(xù)一個月的數(shù)據(jù)總計(jì)1 080條（每5個小時采集的數(shù)據(jù)整體作為一條記錄）作為實(shí)驗(yàn)數(shù)據(jù)，但完成收集實(shí)驗(yàn)后，經(jīng)過統(tǒng)計(jì)發(fā)現(xiàn)數(shù)據(jù)存在缺少和丟失的現(xiàn)象。調(diào)查發(fā)現(xiàn)，數(shù)據(jù)收集過程中存在以下問題：首先，WiFi、藍(lán)牙和GPS需要每天開啟15個小時，以及數(shù)據(jù)收集軟件的持續(xù)收集造成了耗電量高的現(xiàn)象，因此當(dāng)不能及時充電時，部分用戶會選擇暫時停止數(shù)據(jù)的收集，就造成了傳感器數(shù)據(jù)的缺失；其次，用戶并沒有對記錄情緒這一行為形成習(xí)慣，可能有時忘記記錄，造成情緒標(biāo)簽的缺失。這兩個原因造成了部分?jǐn)?shù)據(jù)的不完整，經(jīng)過篩選，最終選出743條有效數(shù)據(jù)作為數(shù)據(jù)樣例，其中每條數(shù)據(jù)樣例將各部分特征以等權(quán)重進(jìn)行特征拼接并融合成為一個116維的新特征；然后采用交叉驗(yàn)證的方法對數(shù)據(jù)進(jìn)行劃分，其中80%作為訓(xùn)練數(shù)據(jù)，20%作為測試數(shù)據(jù)。

最終，本實(shí)驗(yàn)采用支持向量機(jī)、k-近鄰、決策樹、AdaBoost、隨機(jī)森林、梯度樹提升6種分類器，并基本情緒模型和環(huán)狀情緒模型兩種分類方式對混合數(shù)據(jù)（全部12人）和個人數(shù)據(jù)進(jìn)行對比實(shí)驗(yàn)。

另外，對環(huán)狀情緒模型中愉悅度和活躍度的相關(guān)性進(jìn)行了統(tǒng)計(jì)分析，如表1所示。表中P1～P5分別代表非常不愉悅、不愉悅、中性、愉悅、非常愉悅，A1～ A5分別代表非常不活躍、不活躍、平靜、活躍、非常活躍。根據(jù)統(tǒng)計(jì)結(jié)果，發(fā)現(xiàn)用戶情緒處于(P3,A3)的概率最大，其次是(P4,A3)和(P4,A4)，這表明用戶大多數(shù)處于平靜狀態(tài)，并且高興的概率要遠(yuǎn)遠(yuǎn)大于悲傷的概率。其中(P1,A4)、(P1,A5)、(P5,A1)、(P5,A4)的概率為0，充分表明愉悅度和活躍度的統(tǒng)一，二者呈正相關(guān)關(guān)系。因?yàn)楸疚闹饕接懹脩舻那榫w，所以后文中如無特殊提及，環(huán)狀情緒模型的準(zhǔn)確率都是指愉悅度的準(zhǔn)確率。

Table 1　Correlation analysis of pleasure and activeness表1　愉悅度和活躍度相關(guān)性分析　%

6.3.2實(shí)驗(yàn)結(jié)果分析

首先，使用混合數(shù)據(jù)進(jìn)行分類，實(shí)驗(yàn)結(jié)果如圖6所示?？梢钥闯?，當(dāng)采用基本情緒模型作為情緒分類標(biāo)準(zhǔn)時，隨機(jī)森林分類器識別的準(zhǔn)確率最高，可以達(dá)到65.91%；采用環(huán)狀情緒模型作為情緒分類標(biāo)準(zhǔn)時，也是隨機(jī)森林的識別率排在首位，可以達(dá)到72.73%。

對比兩種分類模型準(zhǔn)確率，發(fā)現(xiàn)在混合數(shù)據(jù)實(shí)驗(yàn)中6種分類器使用環(huán)狀情緒模型識別的結(jié)果都要比基本情緒模型準(zhǔn)確率更高。對此實(shí)驗(yàn)結(jié)果，可以認(rèn)為連續(xù)的情緒比離散的情緒識別度更高的原因在于連續(xù)的情緒是一種模糊的衡量方式，它比具體地將情緒劃分到某一類更人性化，便于用戶選擇。在后期回訪中，一部分志愿者也曾經(jīng)表示有時需要記錄的情緒并不在備選的5種離散情緒中，不知道該如何選擇。關(guān)于如何劃分類型才能更全面衡量情緒的問題是學(xué)術(shù)界爭論的焦點(diǎn)，這同時也是離散情緒識別過程中需要克服的一個難題。

Fig.6　Recognition accuracy rate of hybrid data圖6　混合數(shù)據(jù)情緒識別準(zhǔn)確率

Fig.8　Comparison of discrete emotional model of hybriddata and personal data圖8　混合數(shù)據(jù)和個人數(shù)據(jù)的基本情緒模型對比

接下來使用個人數(shù)據(jù)進(jìn)行分類，將12名志愿者的全部個人數(shù)據(jù)進(jìn)行訓(xùn)練后發(fā)現(xiàn)，每名志愿者最多有30天的數(shù)據(jù)量，部分?jǐn)?shù)據(jù)缺失對實(shí)驗(yàn)結(jié)果造成的影響較大，因此選取其中一名數(shù)據(jù)量最完整的志愿者進(jìn)行分析。該名志愿者連續(xù)30天共計(jì)90條450小時的數(shù)據(jù)記錄完整，是參與實(shí)驗(yàn)的12名志愿者中數(shù)據(jù)最多的一人（共計(jì)2.65 GB數(shù)據(jù)），實(shí)驗(yàn)結(jié)果如圖7所示。結(jié)果表明，隨機(jī)森林依然是識別率最高的分類器，對基本情緒模型和環(huán)狀情緒模型的識別率可以達(dá)到70.00%和79.78%；并且使用環(huán)狀情緒模型識別的結(jié)果也比基本情緒模型準(zhǔn)確率更高。

通過對比混合數(shù)據(jù)、個人數(shù)據(jù)在基本情緒模型以及環(huán)狀情緒模型下的識別率（如圖8和圖9所示），可以發(fā)現(xiàn)雖然個人數(shù)據(jù)的最高識別率比混合數(shù)據(jù)高，但少數(shù)分類器也有混合數(shù)據(jù)識別準(zhǔn)確率更高的情況出現(xiàn)。從而可以認(rèn)為每個用戶使用手機(jī)的模式都存在差異性，用個人的數(shù)據(jù)進(jìn)行訓(xùn)練更容易得到適合用戶本身的模型，這樣比混合數(shù)據(jù)更具有針對性，因此得到的準(zhǔn)確率更高。然而本實(shí)驗(yàn)中，個人數(shù)據(jù)量相對較少，某些分類器對較少數(shù)據(jù)的分類結(jié)果可能并不理想，有時會出現(xiàn)混合模型準(zhǔn)確率更高的情況。

Fig.7　Recognition accuracy rate of personal data圖7　個人數(shù)據(jù)情緒識別準(zhǔn)確率

Fig.9　Comparison of circumplex emotional model ofhybrid data and personal data圖9　混合數(shù)據(jù)和個人數(shù)據(jù)的環(huán)狀情緒模型對比

7　相關(guān)工作比較

gottaFeeling[9]是一個iOS平臺上用戶記錄和分享自己情緒的應(yīng)用，通過使用這個應(yīng)用可以增加朋友間互動，提高彼此的親密度。雖然這個應(yīng)用并沒有進(jìn)行情緒的推測，但是它為本文的研究提供了值得研究的動機(jī)。

EmotionSense[7]選取專業(yè)演員進(jìn)行多種情緒的音頻錄制，并使用高斯混合模型進(jìn)行訓(xùn)練，將訓(xùn)練后的聲音情緒識別模型裝載到手機(jī)上，并對高興、悲傷、恐懼、生氣和中性5類情緒進(jìn)行識別。因?yàn)镋motion-Sense中請專業(yè)演員進(jìn)行錄制，并且準(zhǔn)備了相等數(shù)據(jù)量的各種情緒數(shù)據(jù)，所以作為均衡樣本，可以分別對每種情緒進(jìn)行識別，準(zhǔn)確率依次達(dá)到58.67%、60.00%、60.00%、64.00%、84.66%。但是日常生活中大多數(shù)人的情緒是以中性和高興居多[8]，且本文實(shí)驗(yàn)采集到的數(shù)據(jù)也大多集中在中性和高興兩類，與前文所述一致，更具有真實(shí)意義。本文的情緒識別準(zhǔn)確率指的是各種情緒識別率的平均值，并沒有計(jì)算單類情緒的識別率，將在下一步工作中針對單類情緒識別做進(jìn)一步研究。

MoodScope[8]是和本文較為類似的研究，它通過對社交記錄（電話、短信和郵件）和日常活動記錄（瀏覽器歷史、應(yīng)用使用記錄和歷史位置）這兩類數(shù)據(jù)的數(shù)據(jù)集訓(xùn)練用戶的心情模型，最終可以達(dá)到93.00%的準(zhǔn)確率。本文在數(shù)據(jù)收集前使用問卷調(diào)查的形式充分了解用戶使用智能手機(jī)的習(xí)慣，并最終選擇收集3大類共計(jì)15種數(shù)據(jù)，提取了116維特征進(jìn)行訓(xùn)練。本文采集的數(shù)據(jù)幾乎包括了用戶使用手機(jī)的各種習(xí)慣，提取的數(shù)據(jù)特征相較來說類型豐富，更有價值性。MoodScope提取特征維數(shù)較低，因此同等數(shù)據(jù)量下準(zhǔn)確率更高；隨著提取的特征維數(shù)的增高，在高維空間下樣本分布越來越稀疏，要避免過擬合的出現(xiàn)，就要持續(xù)增加樣本數(shù)量。為了進(jìn)一步提高情緒識別的準(zhǔn)確率，將繼續(xù)進(jìn)行數(shù)據(jù)的收集工作。

8　結(jié)束語

本文對用戶的情緒進(jìn)行識別時，分別使用了6種分類器對兩種不同情緒分類方式進(jìn)行識別，結(jié)果表明采用隨機(jī)森林分類器明顯優(yōu)于其他分類器，并且環(huán)狀情緒模型的識別率較高。每名用戶都有自己的手機(jī)使用習(xí)慣和行為模式，因此使用個人數(shù)據(jù)將比混合數(shù)據(jù)更合適。下一步需要持續(xù)進(jìn)行數(shù)據(jù)的收集工作，并為每個用戶建立屬于自己的情緒模型，識別出單類情緒，完成一個情緒實(shí)時推送平臺。

References:

[1]Meng Shaolan.Human emotion[M].Shanghai:Shanghai People’s Publishing House,1989.

[2]Calvo R A,D'Mello S.Affect detection:an interdisciplinary review of models,methods,and their applications[J].IEEE Transactions onAffective Computing,2010,1(1):18-37.

[3]Ekman P,Friesen W V,Hager J C.Facial action coding system[M].Salt Lake City,USA:AHuman Face,2002.

[4]Lee C M,Narayanan S S.Toward detecting emotions in spoken dialogs[J].IEEE Transactions on Speech and Audio Processing,2005,13(2):293-303.

[5]Khan W Z,Xiang Y,Aalsalem M Y,et al.Mobile phone sensing systems:a survey[J].IEEE Communications Surveys&Tutorials,2013,15(1):402-427.

[6]Xiong Ying,Shi Dianxi,Ding Bo,et al.Survey of mobile sensing[J].Chinese Journal of Computer Science,2014,41 (4):1-8.

[7]Rachuri K K,Musolesi M,Mascolo C,et al.EmotionSense: a mobile phones based adaptive platform for experimental social psychology research[C]//Proceedings of the 12th ACM International Conference on Ubiquitous Computing, Copenhagen,Denmark,Sep 26-29,2010.New York,USA: ACM,2010:281-290.

[8]LiKamWa R,Liu Yunxin,Lane N D,et al.MoodScope:building a mood sensor from smartphone usage patterns[C]//Proceedings of the 11th Annual International Conference on Mobile Systems,Applications,and Services,Taipei,China, Jun 25-28,2013.New York,USA:ACM,2013:389-402.

[9]The gottaFeeling application[EB/OL].[2015-06-29].http:// gottafeeling.com/.

[10]Picard R W.Affective computing[M].Cambridge,USA:MIT Press,1997.

[11]Ma Fei,Liu Hongjuan,Cheng Ronghua.Research of facial expression recognization based on facial features[J].Chinese Journal of Computer and Digital Engineering,2011,39 (9):111-113.

[12]Dang Hongshe,Guo Chujia,Zhang Na.Research progress of emotion recognition in information fusion[J].Chinese Journal ofApplicationResearchofComputers,2013,30(12):3536-3539.

[13]de Gelder B.Towards the neurobiology of emotional body language[J].Nature Reviews Neuroscience,2006,7(3): 242-249.

[14]LiKamWa R,Liu Yunxin,Lane N D,et al.Can your smartphone infer your mood?[C]//Proceedings of the 2nd International Workshop on Sensing Applications on Mobile Phones,Seattle,USA,Nov 1,2011.

[15]Bogomolov A,Lepri B,Pianesi F.Happiness recognition from mobile phone data[C]//Proceedings of the 2013 International Conference on Social Computing,Alexandria,USA, Sep 8-14,2013.Piscataway,USA:IEEE,2013:790-795.

[16]Ekman P.Universal and cultural differences in facial expressions of emotion[M]//Nebraska Symposium on Motivation. Lincoln,USA:Nebraska University Press,1971:207-283.

[17]Tomkins S S.Affect,imagery,consciousness[M].Berlin: Springer,1962.

[18]Russell J A.A circumplex model of affect[J].Journal of Personality and Social Psychology,1980,39(6):1161-1178.

[19]Feldman Barrett L,Russell J A.Independence and bipolarity in the structure of current affect[J].Journal of Personality and Social Psychology,1998,74(4):967-984.

[20]The influence of emotion changes in behavior[EB/OL]. [2015-06-29].http://www.sojump.com/jq/4414533.aspx.

[21]Rawassizadeh R,Tomitsch M,Wac K,et al.UbiqLog:a generic mobile phone-based life-log framework[J].Personal and Ubiquitous Computing,2013,17(4):621-637.

[22]Hartigan J A,Wong M A.Algorithm AS 136:a k-means clustering algorithm[J].Journal of the Royal Statistical Society:Series CApplied Statistics,1979,28(1):100-108.

附中文參考文獻(xiàn)：

[1]孟昭蘭.人類情緒[M].上海:上海人民出版社,1989.

[6]熊英,史殿習(xí),丁博,等.移動群體感知技術(shù)研究[J].計(jì)算機(jī)科學(xué),2014,41(4):1-8.

[11]馬飛,劉紅娟,程榮花.基于人臉五官結(jié)構(gòu)特征的表情識別研究[J].計(jì)算機(jī)與數(shù)字工程,2011,39(9):111-113.

[12]黨宏社,郭楚佳,張娜.信息融合技術(shù)在情緒識別領(lǐng)域的研究展望[J].計(jì)算機(jī)應(yīng)用研究,2013,30(12):3536-3539.

[20]情緒變化對行為的影響[EB/OL].[2015-06-29].http:// www.sojump.com/jq/4-414533.aspx.

CHEN Xi was born in 1991.She is an M.S.candidate at National University of Defense Technology.Her research interests include distributed computation and mobile sensing.

陳茜（1991—），女，天津塘沽人，國防科技大學(xué)計(jì)算機(jī)學(xué)院碩士研究生，主要研究領(lǐng)域?yàn)榉植际接?jì)算技術(shù)，移動感知。

SHI Dianxi was born in 1966.He received the Ph.D.degree in computer science from National University of Defense Technology.Now he is a professor and M.S supervisor at National University of Defense Technology,and the member of CCF.His research interests include distributed computing,pervasive computing and software engineering.

史殿習(xí)（1966—），男，山東龍口人，國防科技大學(xué)博士，現(xiàn)為國防科技大學(xué)教授、碩士生導(dǎo)師，CCF會員，主要研究領(lǐng)域?yàn)榉植际接?jì)算，普適計(jì)算，軟件工程。

YANG Ruosong was born in 1991.He is an M.S.candidate at National University of Defense Technology.His research interests include distributed computation and mobile sensing.

楊若松（1991—)，男，陜西咸陽人，國防科技大學(xué)計(jì)算機(jī)學(xué)院碩士研究生，主要研究領(lǐng)域?yàn)榉植际接?jì)算技術(shù)，移動感知。

*The National Natural Science Foundation of China under grant No.61202117(國家自然科學(xué)基金).

Received 2015-07,Accepted 2015-09.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2015-10-09,http://www.cnki.net/kcms/detail/11.5602.TP.20151009.1541.002.html

+Corresponding author:E-mail:476330186@qq.comCHEN

文獻(xiàn)標(biāo)志碼：A

中圖分類號：TP399

doi:10.3778/j.issn.1673-9418.1509014

User Emotion Recognition Based on Multidimensional Data Feature Fusion?

CHEN Xi+,SHI Dianxi,YANG Ruosong
National Laboratory for Parallel and Distributed Processing,College of Computer,National University of Defense Technology,Changsha 410073,China

Abstract:This paper studies the problem how to recognize the user emotion based on smartphone data more really. With single data used in the previous research,it cannot make a comprehensive response of user behavior patterns.So this paper collects fine-grained sensing data which can reflect user daily behavior fully from multiple dimensions based on smartphone,and then uses multidimensional data feature fusion method and six classification methods such as support vector machine(SVM)and random forest.Finally,this paper carries out contrast experiments with twelve volunteers’hybrid data and personal data respectively to recognize user emotion based on discrete emotion model and circumplex emotion model.The results show that the multidimensional data feature fusion method can reflect user behavior comprehensively and presents high accuracy.After personal data training,the accuracy rate of emotion recognition can reach 79.78%.In the experiments of different emotion models,the circumplex emotion model is better than discrete emotion model.

Key words:emotion recognition;emotion model;machine learning;smartphone