基于文字輸入特征的情緒自動(dòng)識(shí)別

曹曉春

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

基于文字輸入特征的情緒自動(dòng)識(shí)別

曹曉春

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

情緒一直受到研究者的廣泛關(guān)注，但是關(guān)于情緒自動(dòng)識(shí)別的研究卻很少。通過收集自由文本輸入時(shí)的擊鍵特征、停頓特征和修改特征，使用分類算法判斷輸入者是否出現(xiàn)喜、怒、哀、懼四種基本情緒，可以建立情緒的自動(dòng)識(shí)別模型。實(shí)驗(yàn)結(jié)果表明，四種基本情緒都能通過文本輸入的特征進(jìn)行推斷，并且擁有較高的準(zhǔn)確率。

情緒；自由文本；擊鍵特征；分類算法；自動(dòng)識(shí)別

0 引言

情緒理論由達(dá)爾文和詹姆斯提出來(lái)后得到了廣泛的關(guān)注和研究，起初研究的進(jìn)展非常的緩慢，近幾十年來(lái)，情緒的研究得到了較快的發(fā)展。

盡管情緒理論很多，但是Ekman和Friesen研究發(fā)現(xiàn)人類有六種基本情緒，即快樂、悲傷、恐懼、驚訝、憤怒、嫉妒。其他情緒都是以這六種基本情緒組合出來(lái)的，屬于復(fù)合情緒。但是這個(gè)結(jié)論并沒有得到所有研究者的承認(rèn)，英國(guó)研究者的研究表明Ekma的六種基本情緒并不準(zhǔn)確，他們研究得到的基本情緒只有四種，即喜、怒、哀、懼。在他們的研究中驚訝和恐懼是同一種情緒，憤怒和厭惡是同一種情緒。同時(shí)，情緒的fMRI研究發(fā)現(xiàn)，驚訝情緒的腦電持續(xù)時(shí)間非常短，顯著短于其他幾種情緒的持續(xù)時(shí)間。所以本文在在研究過程中只選取了喜、怒、哀、懼四種基本情緒，對(duì)文字輸入者的這四種基本情緒進(jìn)行判斷。

目前關(guān)于情緒的研究都集中在情緒的產(chǎn)生機(jī)制，情緒的影響因素，情緒的分類，情緒對(duì)人的影響等方面。而關(guān)于對(duì)人情緒的判斷的研究相對(duì)較少，現(xiàn)有的關(guān)于情緒判斷的研究都是表情、微表情、身體行為方面的研究。通過對(duì)他人的表情、行為的觀察對(duì)他們的情緒進(jìn)行判斷，探究哪些表情和行為能夠準(zhǔn)確地對(duì)情緒進(jìn)行準(zhǔn)確地判斷。情緒和性格、脾氣、個(gè)體行為等因素相互作用，不僅影響著人們的行為、表情，同時(shí)人們的行為和表情也能夠反映一個(gè)人的情緒。

隨著計(jì)算機(jī)圖像學(xué)的發(fā)展，人們開始使用圖像學(xué)方面的方法對(duì)人物圖片和影像資料進(jìn)行分析，判斷圖中或影像中人物的情緒。Schosberg首先提出了表情描述的三個(gè)量化尺度：注意-拒絕（A-R）、高興-不高興（P-U）、和活躍度。1978年Terzopoulos和Waters則運(yùn)用了簡(jiǎn)化的Ekman-Friesen模型,用計(jì)算機(jī)產(chǎn)生人臉動(dòng)畫,同時(shí)也做了人臉視頻序列的表情分析，判斷人臉表現(xiàn)出來(lái)的情緒。

近年來(lái)，社交網(wǎng)絡(luò)和社交軟件得到普及，現(xiàn)在存在大量的非面對(duì)面的交流，這些交流中，不能看到交流對(duì)象的表情和行為，對(duì)他們的情緒判斷存在很大的困難。但是，對(duì)方的情緒對(duì)交流者的反應(yīng)、決策有著很重要的作用，需要根據(jù)對(duì)方不同的情緒產(chǎn)生不同的反應(yīng)，這樣才能更加融洽地交流下去。

本文基于文本輸入的特征對(duì)文字輸入者的情緒進(jìn)行推斷，使用常用的五種分類算法（樸素貝葉斯、決策樹、k近鄰、支持向量機(jī)和AdaBoost）逐個(gè)判斷他們是否表現(xiàn)出了四種基本情緒（喜、怒、哀、懼），建立相應(yīng)的情緒推斷模型。

1 相關(guān)技術(shù)

1.1 擊鍵特征模型

Joyce和Gopal Guptal最早提出了利用擊鍵特征模型。他們?cè)O(shè)計(jì)了一個(gè)基于擊鍵韻律的特征采集系統(tǒng)，在用戶進(jìn)行輸入的過程中，采集用戶使用鍵盤輸入擊鍵時(shí)間特征。因?yàn)镴oyce等人的擊鍵模型中只選用了擊鍵平均時(shí)間，所以其數(shù)據(jù)收集和特征提取非常簡(jiǎn)單，計(jì)算量也很小。但是這個(gè)模型也存在不足之處：擊鍵特征過于單一；特征值的處理過于簡(jiǎn)單；用戶的輸入習(xí)慣可能會(huì)隨時(shí)間的推移而緩慢變化，當(dāng)積累到一定量時(shí)，會(huì)導(dǎo)致此種方法的識(shí)別準(zhǔn)確率降低。

Kacholia和Pandit等人根據(jù)Joyce模型提取擊鍵特征過于單一的缺點(diǎn)，從鍵入單個(gè)字符、兩個(gè)字符序列和多個(gè)字符序列等方面進(jìn)行了研究。他們認(rèn)為一個(gè)單獨(dú)的按鍵事件應(yīng)該分成按下（Press）事件和釋放（Release）事件兩個(gè)部分，從而可以構(gòu)建一個(gè)能夠描述鍵盤輸入事件序列的PR-RP模型。

后來(lái)他們又對(duì)的PR-RP模型進(jìn)行了細(xì)化，提出了新的思路，把擊鍵時(shí)間間隔分為了以下四種：PP（Press-Press）時(shí)延：從某個(gè)鍵的按下事件開始到另一個(gè)鍵的按下事件為止的間隔時(shí)間。PR（Press-Release）時(shí)延：從某個(gè)鍵的按下事件開始到另一個(gè)鍵的釋放事件為止的間隔時(shí)間。RP（Release-Press）時(shí)延：從某個(gè)鍵的釋放事件開始到另一個(gè)鍵的按下事件為止的間隔時(shí)間。RR（Release-Release）時(shí)延：從某個(gè)鍵的釋放事件開始到另一個(gè)鍵的釋放事件為止的間隔時(shí)間。本文只使用了PR和RP兩種延遲時(shí)間。

1.2 固定文本和自由文本

擊鍵動(dòng)力學(xué)的研究?jī)?nèi)容主要包括兩種文本形式，一種是固定文本，另一種是自由文本。對(duì)自由文本的研究，用戶不再是輸入特定的字符串序列，而是可以自由的進(jìn)行輸入，無(wú)論是打字聊天、編輯文檔還是輸入用戶名密碼，都能夠?qū)τ脩舻膿翩I特征進(jìn)行監(jiān)控和研究。這種情況比固定文本研究要復(fù)雜得多，產(chǎn)生的數(shù)據(jù)量也要大很多。本文就是針對(duì)用戶在互聯(lián)網(wǎng)上聊天時(shí)輸入的自由文本進(jìn)行研究。

1.3 分類算法

分類算法是數(shù)據(jù)挖掘中的重要技術(shù)，其目的是為了使用數(shù)據(jù)特征集構(gòu)造一個(gè)分類模型，把未知類別的數(shù)據(jù)映射到給定的類標(biāo)下。模型的構(gòu)造過程可以分為兩個(gè)階段——訓(xùn)練階段和測(cè)試階段。模型在構(gòu)造之前要將數(shù)據(jù)進(jìn)行預(yù)處理，把數(shù)據(jù)集隨機(jī)的分為訓(xùn)練集和測(cè)試集。訓(xùn)練集用來(lái)建立模型，訓(xùn)練集中的數(shù)據(jù)又稱訓(xùn)練樣本，一個(gè)樣本的形式為：（x1，x2，…，xn；y），其中xi表示屬性值，y為類標(biāo)。訓(xùn)練集中每個(gè)樣本都提供了類標(biāo)，所以這個(gè)階段也成為有指導(dǎo)學(xué)習(xí)。測(cè)試集在測(cè)試階段使用，用來(lái)對(duì)前面建立的分類模型進(jìn)行檢測(cè)，通過檢測(cè)分類模型的分類準(zhǔn)確率來(lái)判斷分類模型的好壞。

本文采用常用的幾種分類算法（樸素貝葉斯，決策樹、k近鄰、支持向量機(jī)和AdaBoost）建立分類模型，并對(duì)分析他們的分類準(zhǔn)確率。

2 特征選擇

研究表明，不同的情緒會(huì)導(dǎo)致不同的行為，例如，憤怒會(huì)讓人產(chǎn)生沖動(dòng)，做事的速度會(huì)加快，悲傷會(huì)讓人抑郁，做事的速度會(huì)緩慢許多。同樣，不同的情緒對(duì)文字輸入也有著不同的影響，通過對(duì)文字輸入的特征進(jìn)行分析便能反過來(lái)對(duì)情緒進(jìn)行推斷。文字輸入的流暢性和節(jié)律能夠很好的反映用戶的情緒狀態(tài)。前人研究表明不同情緒說(shuō)話的速度、節(jié)律、語(yǔ)調(diào)都有差異，這些差異跟他們的情緒有著重要的聯(lián)系，例如恐懼的人會(huì)語(yǔ)無(wú)倫次，重復(fù)詞語(yǔ)，節(jié)律時(shí)快時(shí)慢；悲傷的人說(shuō)話速度很慢，但是節(jié)律很穩(wěn)定。在文字輸入時(shí)，不同情緒的人會(huì)表現(xiàn)出類似的特點(diǎn)。本文將文字輸入的特征分為了三個(gè)方面的特征：擊鍵特征、修改特征和停頓特征。

擊鍵特征分為單鍵特征和組合特征。單鍵特征就是指鍵盤上漢語(yǔ)拼音對(duì)應(yīng)的26個(gè)英文字母的個(gè)體特征，本文主要使用時(shí)間上的特征，即按下一個(gè)鍵到釋放該建的時(shí)間。

本文使用的組合特征只是兩個(gè)鍵的時(shí)間上的組合特征。組合特征有兩種：RP：第一個(gè)鍵釋放到第二個(gè)鍵按下的時(shí)間；PR：第一個(gè)鍵按下到第二個(gè)鍵釋放的時(shí)間。

本文并不考慮單個(gè)鍵的擊鍵時(shí)間特征，而是選取擊鍵時(shí)間的統(tǒng)計(jì)特征。計(jì)算用戶在在輸入過程中擊鍵時(shí)間的最大值、最小值、平均值、中位數(shù)、標(biāo)準(zhǔn)差，三種擊鍵特征總共15個(gè)特征。

除了前面的擊鍵特征，本文還使用了與文本內(nèi)容相關(guān)特征。這些特征不僅僅是擊鍵的時(shí)間，還包含了文字輸入中輸入的內(nèi)容相關(guān)的一些特征。例如輸入時(shí)的停頓時(shí)間、內(nèi)容修改次數(shù)、句子長(zhǎng)度等，這些特征已經(jīng)在以前的研究中被證明對(duì)通過語(yǔ)音推斷情緒有顯著影響。同樣，這些特征在用鍵盤進(jìn)行文字輸入時(shí)也可以被檢測(cè)到，也可以用來(lái)對(duì)情緒進(jìn)行推斷。

在輸入過程中我們還可以得到關(guān)于修改和停頓等方面的信息。對(duì)文字的修改有兩種方式，第一種是修改光標(biāo)所在的位置，第二種是修改前面的錯(cuò)誤。修改光標(biāo)處的錯(cuò)誤又分為修改單個(gè)字詞和修改長(zhǎng)短文字。修改前文錯(cuò)誤分為前文插入和前文刪除。本文選取兩種修改方式的特征共14個(gè)。

停頓是兩次敲擊鍵盤是時(shí)間差超過規(guī)定的停頓閾限，根據(jù)已有的研究，本文將停頓閾限定為2s。本文提取停頓次數(shù)、長(zhǎng)度、最長(zhǎng)停頓、停頓位置等8個(gè)特征用于推斷模型。

本文用于情緒推斷模型的特征總共37個(gè)，各自的分類和數(shù)量如下表。

表1 文字輸入特征分類

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)數(shù)據(jù)的采集是通過普通的Lenovo104鍵薄膜鍵盤，使用Java編寫的Windows鉤子程序來(lái)實(shí)現(xiàn)的。特征選擇和模型訓(xùn)練主要是通過Weka3.6和MATLAB 2015b來(lái)實(shí)現(xiàn)的。本文的所有工作都是在Windows平臺(tái)下完成的。

3.2 被試

本文共選取60位被試，所有被試都是四川大學(xué)在校學(xué)生，年齡在22-27（平均值24，標(biāo)準(zhǔn)差6.7）歲之間，都至少使用電腦5年以上，熟悉鍵盤輸入，沒有閱讀障礙。被試中男生35名，女生25名。

3.3 實(shí)驗(yàn)過程

為了讓被試產(chǎn)生相應(yīng)的情緒，被試在進(jìn)行文字輸入前需要看5分鐘的視頻，這些視頻為五個(gè)：喜、怒、哀、懼、無(wú)情緒五類，用來(lái)啟動(dòng)用戶相應(yīng)的情緒。每位被試都需要觀看五個(gè)視頻，每看完一個(gè)視頻后，在鍵盤上輸入剛才看到的視頻的大致內(nèi)容，輸入的時(shí)間沒有限制。為了避免視頻的順序效應(yīng)，每位被試的五個(gè)視頻出現(xiàn)的順序是隨機(jī)的。

3.4 數(shù)據(jù)收集

整個(gè)文字輸入過程在一個(gè)空白Word中進(jìn)行，我們使用Java程序編寫了Windows后臺(tái)鉤子程序，通過安裝鍵盤鉤子程序，收集用戶在互聯(lián)網(wǎng)通訊軟件中通過鍵盤輸入的按鍵信息。

4 實(shí)驗(yàn)結(jié)果分析

本次實(shí)驗(yàn)共招募被試60名，每位被試產(chǎn)生5組數(shù)據(jù)，總共300份數(shù)據(jù)。其中無(wú)情緒啟動(dòng)和喜、怒、哀、懼四種情緒啟動(dòng)后的數(shù)據(jù)各60組。在處理數(shù)據(jù)時(shí)，采用機(jī)器學(xué)習(xí)分類算法進(jìn)行分類。將喜、怒、哀、懼四種情緒下產(chǎn)生的數(shù)據(jù)無(wú)情緒啟動(dòng)情況下產(chǎn)生的數(shù)據(jù)進(jìn)行分類，判斷被試在輸入過程中是否有產(chǎn)生四種情緒。

本文實(shí)驗(yàn)得到的數(shù)據(jù)，分別采用五種機(jī)器學(xué)習(xí)算法建立分類模型。本文采用了10折交叉驗(yàn)證，9/10的數(shù)據(jù)用于搜索最佳參數(shù)和建模，剩下的1/10的數(shù)據(jù)用來(lái)對(duì)該模型進(jìn)行驗(yàn)證。最后對(duì)四類情緒分類準(zhǔn)確率進(jìn)行統(tǒng)計(jì)，同時(shí)使用雙側(cè)T檢驗(yàn)判斷分類的準(zhǔn)確率和基線之間是否有顯著性差異。因?yàn)樗姆N情緒啟動(dòng)的數(shù)據(jù)和無(wú)情緒啟動(dòng)的數(shù)據(jù)是一樣的，所以這里的基線就是50%。

如表2所示，在四個(gè)基本情緒維度上使用五種分類算法，得到的所有分類準(zhǔn)確率都和基線之間有著顯著性差異，能夠很好地對(duì)被試是否產(chǎn)生了四種情緒進(jìn)行判斷。其中恐懼情緒的分類準(zhǔn)確率最高，五種分類器得到的準(zhǔn)確率都高過70%，其中支持向量機(jī)得到的準(zhǔn)確率達(dá)到了89.67%。準(zhǔn)確率最低的是哀傷情緒，最高準(zhǔn)確率為73.36%，最低為61.76%。Ekman的研究結(jié)果表明，人在產(chǎn)生恐懼的情緒是，身體反應(yīng)是最大的，MRI的波動(dòng)也最大，哀傷情緒對(duì)人的情感、決策影響較大，但是對(duì)身體、行為的影響相對(duì)較小。這能很好解釋本文的研究結(jié)果，當(dāng)產(chǎn)生恐懼情緒時(shí)，擊鍵的行為的改變較大，而哀傷情緒的對(duì)擊鍵行為的影響較小。所以恐懼情緒能夠更好地檢測(cè)出來(lái)，二哀傷情緒的準(zhǔn)確率較低。

從表中的數(shù)據(jù)來(lái)看，支持向量機(jī)的分類效果最好，準(zhǔn)確率最高，都在80%以上。我們推測(cè)，這可能是因?yàn)樾颖镜脑?。支持向量機(jī)適合小樣本訓(xùn)練，所以分類效果較好。如果使用非常大的數(shù)據(jù)進(jìn)行分析，可能會(huì)得到其他結(jié)果。

表2 無(wú)時(shí)間限制分類準(zhǔn)確率

5 結(jié)語(yǔ)

本文使用分類算法，對(duì)用戶文字輸入的特征進(jìn)行處理，對(duì)他們表現(xiàn)出的四種基本情緒進(jìn)行判斷，得到如下結(jié)果：1.能夠通過用戶進(jìn)行文字輸入的特征對(duì)四種基本情緒——喜、怒、哀、懼進(jìn)行判斷，判斷是否產(chǎn)生了四種基本情緒的一種或多種。2.恐懼情緒最容易通過文字輸入特征進(jìn)行判斷，哀傷情緒的判斷準(zhǔn)確率最低。3.使用支持向量機(jī)對(duì)情緒分類的準(zhǔn)確率最低。

本文建立的情緒自動(dòng)識(shí)別模型能夠很好地識(shí)別情緒，但是，情緒識(shí)別模型是通過分類算法進(jìn)行二分，只能判斷用戶在輸入過程中是否存在四種基本情緒。這尚屬于定性的研究，并不能對(duì)他們情緒的強(qiáng)度進(jìn)行分析。在將來(lái)的研究中，打算進(jìn)一步建立定量分析模型，自動(dòng)識(shí)別用戶各種情緒的強(qiáng)度?，F(xiàn)在，大段文字輸入的場(chǎng)景較少，更多的文字輸入是在社交中的文字輸入。這種文字輸入主要特點(diǎn)是交互性和簡(jiǎn)短性，和本文的研究有一定的差異。我們打算進(jìn)一步研究社交過程中的情緒的特點(diǎn)，以及對(duì)情緒進(jìn)行自動(dòng)識(shí)別。

[1]喬建中.情緒研究[M].南京師范大學(xué)出版社,2003.

[2]劉海燕，郭德俊.近十年來(lái)情緒研究的回顧與展望[J].心理科學(xué).2004,27(3):684-686.

[3]Ortony A,Turner T J.What's Basic about Basic Emotions[J].Psychological Review.1990,97(3):315-331.

[4]Ekman P,Sorenson E R,Friesen W V.Pan-Cultural Elements in Facial Displays of Emotion[J].Science.1969,164(3875):86-88.

[5]Gross J J.Emotion Regulation:Affective,Cognitive,and Social Consequences[J].Psychophysiology，2002,39(3):281-291.

[6]Ochsner K N,Knierim K,Ludlow D H,et al.Reflecting upon Feelings:an fMRI Study of Neural Systems Supporting the Attribution of Emotion to self and other.[J].Journal of Cognitive Neuroscience.2004,16(10):1746-1772.

[7]劉箴.虛擬人情緒向量和表情向量的合成[J].系統(tǒng)仿真學(xué)報(bào).2006,18(s1):404-406.

[8]Russell J A.Core Affect and the Psychological Construction of Emotion.[J].Psychological Review，2003,110(1):145-172.

[9]陳上萬(wàn).基于視頻的情緒檢測(cè)系統(tǒng)的研究[D].浙江工業(yè)大學(xué),2013.

[10]吳立平，王金海，崔軍.人臉表情識(shí)別在監(jiān)護(hù)系統(tǒng)中的應(yīng)用與設(shè)計(jì)[C].天津市生物醫(yī)學(xué)工程學(xué)會(huì)學(xué)術(shù)年會(huì),2014.2014.

[11]吳奇，申尋兵，傅小蘭，等.微表情研究及其應(yīng)用[J].心理科學(xué)進(jìn)展，2010,18(9):1359-1368.

[12]劉曉旻，譚華春，章毓晉.人臉表情識(shí)別研究的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2006,11(10):1359-1368.

[13]Card S K,Moran T P,Newell A.The Keystroke-Level Model for User Performance Time with Interactive Systems[J].Communications of the Acm.2010,23(7):396-410.

[14]Vizer L M,Zhou L,Sears A.Automated Stress Detection Using Keystroke and Linguistic Features:An Exploratory Study[J].International Journal of Human-Computer Studies.2009,67(10):870-886.

[15]Singley M K,Anderson J R.A Keystroke Analysis of Learning and Transfer in Text Editing[J].Human-Computer Interaction，1987,3 (3):223-274.

[16]易彬，胡曉勤.基于加權(quán)貝葉斯的擊鍵特征身份識(shí)別[J].現(xiàn)代計(jì)算機(jī):普及版，2015(5):15-19.

[17]史揚(yáng)，曹立明.基于擊鍵特征的用戶身份校驗(yàn)[J].計(jì)算機(jī)工程，2005,31(6):120-122.

[18]倪桂強(qiáng)，李佳楨，潘志松，等.基于支持向量數(shù)據(jù)描述的擊鍵生物特征認(rèn)證[J].模式識(shí)別與人工智能，2008,21(5):704-708.

[19]羅可,林睦綱,郗東妹.數(shù)據(jù)挖掘中分類算法綜述[J].計(jì)算機(jī)工程,2005,31(1):3-5.

Emotion Automatic Recognition Based on Text Input

CAO Xiao-chun

（College of Computer Science,Sichuan University，Chengdu 610065）

Emotion is widely researched,but little has been done on automatic emotion recognition.In this paper,we propose an approach that intends to recognize emotion automatically.we collected keystroking characteristics,pausing features and modifying features,and used classification algorithms to determine whether the user expressed the four kinds of basic emotions,happiness,anger,sadness and fear.Result showed that the four basic emotions can be inferred through the characteristics,and it performed a high accuracy rate.

Emotion;Free Text;Keystroke;Classification Algorithm;Automatic Identification

1007-1423（2017）04-0003-05

10.3969/j.issn.1007-1423.2017.04.001

曹曉春（1991-），男，四川廣安人，碩士研究生，研究方向?yàn)槿藱C(jī)交互

2016-12-13

2017-01-21