機(jī)器學(xué)習(xí)在情緒識(shí)別中的應(yīng)用研究

李思琦

摘要：人類的感情理解一直都屬于人工智能的重要課題，計(jì)算機(jī)在人機(jī)交互中如果能夠智能地理解人的感情變化就能夠提供更好的服務(wù)。因?yàn)榍榫w通常是經(jīng)由一些外在因素刺激而產(chǎn)生的主觀體驗(yàn)（如喜、怒、哀、懼等情感），并伴有外部表現(xiàn)的變化（如面部表情、身體行為和聲音語(yǔ)調(diào)等）和生理反應(yīng)的變化（如皮下的特定活動(dòng)、心率的節(jié)奏等）。假設(shè)數(shù)據(jù)的觀測(cè)值有效可靠，那么就可以根據(jù)這些數(shù)據(jù)把潛在的情緒狀態(tài)推測(cè)出來(lái)。情緒在人類的感知、推理、決策的過(guò)程中扮演著極其重要的角色，長(zhǎng)期以來(lái)，對(duì)情緒的研究只存在于心理學(xué)和認(rèn)知科學(xué)領(lǐng)域。近年來(lái)，隨著人工智能的發(fā)展，情緒研究與機(jī)器學(xué)習(xí)方法相結(jié)合產(chǎn)生了基于機(jī)器學(xué)習(xí)的情緒識(shí)別這一研究方向。本文分為以下幾部分進(jìn)行介紹：首先是機(jī)器學(xué)習(xí)的發(fā)展歷程以及原理，然后是機(jī)器學(xué)習(xí)在情緒識(shí)別中的應(yīng)用，最后是對(duì)未來(lái)機(jī)器學(xué)習(xí)在情緒識(shí)別方向發(fā)展的展望。

關(guān)鍵詞：情緒識(shí)別;機(jī)器學(xué)習(xí);微表情;宏表情

一、前言

人類在對(duì)外界事物進(jìn)行探索和認(rèn)知的過(guò)程中，會(huì)產(chǎn)生諸如喜悅、悲傷、憤怒、恐懼等主觀情感。人們把對(duì)客觀事物的態(tài)度體驗(yàn)以及相對(duì)應(yīng)的行為反應(yīng)，稱為情緒。情緒作為一種不同于認(rèn)識(shí)和意識(shí)的心理形式，不同程度上影響著人的學(xué)習(xí)、工作效率以及行為模式。如今隨著人工智能發(fā)展走上正軌，各項(xiàng)人工智能技術(shù)都已經(jīng)適用于學(xué)習(xí)生活中的各個(gè)方面。其中最重要的一個(gè)方面就是人和計(jì)算機(jī)的信息交互。要給計(jì)算機(jī)加入人的一些基本功能如視覺(jué)和聽(tīng)覺(jué)，這樣人與計(jì)算機(jī)就消除了基本的隔閡[1]。分別從面部表情、語(yǔ)音語(yǔ)調(diào)、生理信號(hào)和身體動(dòng)作與姿勢(shì)等多種角度對(duì)情緒進(jìn)行識(shí)別。對(duì)面部表情和語(yǔ)音語(yǔ)調(diào)的識(shí)別是基于非生理信號(hào)的情緒識(shí)別方法。面部表情識(shí)別方法是根據(jù)表情與情緒間的對(duì)應(yīng)關(guān)系來(lái)識(shí)別不同的情緒，在特定情緒狀態(tài)下人們會(huì)產(chǎn)生特定的面部肌肉運(yùn)動(dòng)和表情模式，如心情愉悅時(shí)嘴角會(huì)上翹，眼部會(huì)出現(xiàn)環(huán)形褶皺; 憤怒時(shí)會(huì)皺眉，睜大眼睛等。語(yǔ)音語(yǔ)調(diào)識(shí)別方法是根據(jù)不同情緒狀態(tài)下人們的語(yǔ)言表達(dá)方式的不同來(lái)實(shí)現(xiàn)的，如心情愉悅時(shí)說(shuō)話的語(yǔ)調(diào)會(huì)比較歡快，煩躁時(shí)語(yǔ)調(diào)會(huì)比較沉悶。但是基于非生理信號(hào)識(shí)別方法缺點(diǎn)是不能保證情緒識(shí)別的可靠性，因?yàn)槿藗兛梢酝ㄟ^(guò)偽裝面部表情和語(yǔ)音語(yǔ)調(diào)來(lái)掩飾自己的真實(shí)情緒，而這種偽裝往往不易被發(fā)現(xiàn)。其次，對(duì)于患有某些特殊疾病的殘疾人來(lái)說(shuō)，基于非生理信號(hào)識(shí)別的方法往往難以實(shí)現(xiàn)。通過(guò)心率、呼吸、眼動(dòng)、血氧或皮膚電等生理信號(hào)是基于生理信號(hào)的情緒識(shí)別來(lái)推測(cè)或者解釋心理活動(dòng)，具有自然、高效、真實(shí)可靠的特點(diǎn)。在此基礎(chǔ)上，為了讓人和計(jì)算機(jī)的交互更加常態(tài)化，需要給計(jì)算機(jī)加入情感理解和情感識(shí)別，讓計(jì)算機(jī)能夠很自然地和人交流，擁有情感理解和情感識(shí)別的計(jì)算機(jī)是人工智能未來(lái)的發(fā)展趨勢(shì) [2]。

二、機(jī)器學(xué)習(xí)的源起與發(fā)展

（一）機(jī)器學(xué)習(xí)的發(fā)展歷程

機(jī)器學(xué)習(xí)是基于經(jīng)驗(yàn)數(shù)據(jù)的函數(shù)估計(jì)問(wèn)題，它通過(guò)從已知的觀測(cè)樣本中學(xué)習(xí)并歸納出數(shù)據(jù)的模型或規(guī)律，然后通過(guò)這個(gè)規(guī)律或模型推測(cè)出未知的輸入數(shù)據(jù)所對(duì)應(yīng)的未知輸出數(shù)據(jù)。

對(duì)于機(jī)器學(xué)習(xí)而言，已經(jīng)發(fā)展出以下一些流派，他們都在歷史上繁榮一時(shí)，占據(jù)過(guò)一定的地位。五十年代中后期，神經(jīng)網(wǎng)絡(luò)的“連接主義”這一階段為熱烈時(shí)期20世紀(jì)60年代中期到70年代末，基于邏輯表達(dá)的“”符號(hào)主義“。這個(gè)時(shí)期的研究方向是模擬人類大腦的學(xué)習(xí)過(guò)程，并采用邏輯推理或圖結(jié)構(gòu)作為機(jī)器學(xué)習(xí)機(jī)制的描述，但當(dāng)時(shí)缺乏大內(nèi)存和高處理速度的計(jì)算機(jī)以及龐大的數(shù)據(jù)庫(kù)支持，也沒(méi)人知道如何能讓一個(gè)程序?qū)W習(xí)這么大量的知識(shí)。20世紀(jì)80年代至21世紀(jì)初，基于數(shù)學(xué)統(tǒng)計(jì)的“統(tǒng)計(jì)學(xué)習(xí)”時(shí)期，這一時(shí)期在全世界范圍內(nèi)又掀起了機(jī)器學(xué)習(xí)研究的熱潮，用隱單元來(lái)計(jì)算與學(xué)習(xí)非線性函數(shù)的方法，從而克服了早期神經(jīng)元模型的局限性。加之計(jì)算機(jī)硬件的突飛猛進(jìn)的發(fā)展 ，使神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)成為現(xiàn)實(shí)。1995 年提出了支持向量機(jī)的概念，2001年提出了隨機(jī)森林算法，這些都是機(jī)器學(xué)習(xí)領(lǐng)域的重大突破。2006年，首次提出了深度學(xué)習(xí)的概念，并指明可以通過(guò)逐層初始化來(lái)解決深度神經(jīng)網(wǎng) 絡(luò)在訓(xùn)練上的難題。大大提高了人工神經(jīng)網(wǎng)絡(luò)的能力，對(duì)支持向量機(jī)形成了挑戰(zhàn)，開(kāi)啟了深度學(xué)習(xí)的浪潮。

（二）機(jī)器學(xué)習(xí)在情緒識(shí)別中的應(yīng)用

越來(lái)越多的學(xué)者對(duì)情緒識(shí)別展開(kāi)研究，用于情緒識(shí)別的對(duì)象一般有面部表情、語(yǔ)音、語(yǔ)義、姿態(tài)和生理信號(hào)。如趙國(guó)朕（2016年）等人的基于生理大數(shù)據(jù)的情緒識(shí)別將腦電、皮膚電、心電、呼吸、皮膚溫度、面部肌電、眼電等數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)發(fā)現(xiàn)支持向量機(jī)在基于生理大數(shù)據(jù)的情緒實(shí)時(shí)識(shí)別應(yīng)用中優(yōu)勢(shì)明顯[3]。蔣小梅等人為準(zhǔn)確有效地對(duì)情緒狀態(tài)進(jìn)行識(shí)別，對(duì)4種情緒狀態(tài)高興、生氣、悲傷、緊張下的多生理信號(hào)（心電、肌電、呼吸、皮電）進(jìn)行預(yù)處理和特征提取，利用ReliefF算法進(jìn)行特征選擇，利用J48決策樹(shù)分類器最終實(shí)現(xiàn)對(duì)4種情緒狀態(tài)的識(shí)別。J48決策樹(shù)分類器對(duì)4種情緒狀態(tài)的平均識(shí)別率為96.74%[4]。慕永利等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，提出了一種基于集成卷積神經(jīng)網(wǎng)絡(luò)的情緒原因識(shí)別方法[5]，實(shí)驗(yàn)結(jié)果表明，該文的方法在情緒原因識(shí)別方面取得了較好的效果，對(duì)于情緒歸因的方法研究具有一定的指導(dǎo)作用。甚至還有對(duì)于殘疾人士采用機(jī)器學(xué)習(xí)對(duì)其情緒進(jìn)行準(zhǔn)確識(shí)別，（魯心靈，2018）利用支持向量機(jī)對(duì)殘疾人情緒孤獨(dú)心理進(jìn)行識(shí)別，明該模型的精確度為93.33%[6]。

人類表達(dá)情緒的表情還包括微表情，其是人們情緒和心理健康的真實(shí)表現(xiàn)。在臨床診斷、情感計(jì)算、國(guó)家安全詢問(wèn)、謊言檢測(cè)等領(lǐng)域有普遍的應(yīng)用。與普通的面部表情相比，微表情具有顯著的特征—持續(xù)時(shí)間短（1/3至1/25秒）和低強(qiáng)度。它們?cè)诔掷m(xù)時(shí)間短的情況下與宏觀表達(dá)明顯不同，并且顯示出抑制的影響。肉眼難以察覺(jué)微觀表達(dá)。即使是受過(guò)訓(xùn)練的人也能夠正確區(qū)分微觀表達(dá)，準(zhǔn)確率低于50%。李等人借鑒動(dòng)態(tài)紋理識(shí)別的方法提取微表情特征，用支持向量機(jī)做分類器[7]。在高速微表情數(shù)據(jù)庫(kù)上測(cè)試得到48.78%的識(shí)別率。顏等人得到了63.41%的識(shí)別率[8]。吳奇等人提出采用過(guò)濾器（特征提取）和支持向量機(jī)（分類器）來(lái)識(shí)別微表情[9]?；谶\(yùn)動(dòng)的特征提取的方法，（楊文杰，2018年）發(fā)現(xiàn)深度卷積算法使用人臉表情為數(shù)據(jù)進(jìn)行情緒識(shí)別方法，準(zhǔn)確率高達(dá)85.4%，識(shí)別率以及系統(tǒng)魯棒性都有較好的效果[10]。

從之前的研究發(fā)現(xiàn)，基于機(jī)器學(xué)習(xí)基于微表情的情緒識(shí)別的研究得到的識(shí)別率并不高，近幾年研究者將深度學(xué)習(xí)應(yīng)用于微表情識(shí)別中，識(shí)別率有很大的提升，目前研究并不多，仍有很大的潛力可以挖掘。

人臉表情分析在人機(jī)交互中起著至關(guān)重要的作用。表情識(shí)別與人臉面部的運(yùn)動(dòng)變化有關(guān)，它提供了豐富的關(guān)于人的情感、內(nèi)涵及其它內(nèi)在狀態(tài)的信息。盡管目前仍舊沒(méi)有關(guān)于“情感”一詞的精確定義，但人類情感的存在是毫無(wú)疑問(wèn)的，而且它是我們的日常生活的重要組成部分。人類能夠理解“情感”，并能針對(duì)它人的“情感”做出相應(yīng)的反應(yīng)，正因?yàn)槿绱?，人類的之間的交互活動(dòng)才顯得如此豐富多彩。

三、展望

情緒識(shí)別是一個(gè)高度綜合和復(fù)雜的研究領(lǐng)域。通過(guò)機(jī)器學(xué)習(xí)理論與認(rèn)知科學(xué)、心理科學(xué)的結(jié)合，研究人與人交互的情緒表達(dá)的特征，找尋到其內(nèi)在真實(shí)的或統(tǒng)計(jì)意義上的規(guī)律，將有可能實(shí)現(xiàn)人與計(jì)算機(jī)和諧的情緒交互。這首要的問(wèn)題就是要使計(jì)算機(jī)能夠識(shí)別情感狀態(tài)，而生理信號(hào)情感識(shí)別以其特有的，潛在的優(yōu)勢(shì)備受重視。但這方面的研究還很不成熟，未來(lái)希望能有更多的采用生理信號(hào)結(jié)合機(jī)器學(xué)習(xí)算法來(lái)進(jìn)行情緒識(shí)別。

隨著計(jì)算機(jī)等硬件條件的發(fā)展、大數(shù)據(jù)時(shí)代的到來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域備受關(guān)注。目前已成為計(jì)算機(jī)視覺(jué)等眾多科研領(lǐng)域的研究熱點(diǎn)。在情緒識(shí)別領(lǐng)域，深度學(xué)習(xí)很好地解決了傳統(tǒng)機(jī)器學(xué)習(xí)對(duì)人臉姿態(tài)、光照、遮擋物 等敏感問(wèn)題，提高了表情情緒識(shí)別的魯棒性。深度學(xué)習(xí)雖在人臉表情等分類領(lǐng)域具有優(yōu)良的性能，但目前其理論知識(shí)尚不完備，大多數(shù)學(xué)者都是通過(guò)調(diào)參的方法去提高識(shí)別率，把深度學(xué)習(xí)當(dāng)作一個(gè)黑匣子使用，如何用理論知識(shí)指導(dǎo)實(shí)踐，用實(shí)踐促進(jìn)理論知識(shí)的理解是研究者需要解決的。綜上所述，如何處理與理解深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的關(guān)系，取長(zhǎng)補(bǔ)短，是未來(lái)情緒識(shí)別研究的重點(diǎn)與方向。

參考文獻(xiàn)：

[1]潘崢嶸賀秀偉.人臉表情識(shí)別在智能機(jī)器人中的應(yīng)用研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（2）：173-177.

[2]崔鳳焦表情識(shí)別算法研究進(jìn)展與性能比較[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（2）：145-149.

[3]趙國(guó)朕， 宋金晶， 葛燕， 姚林， & 文濤. （2016）. 基于生理大數(shù)據(jù)的情緒識(shí)別研究進(jìn)展.計(jì)算機(jī)研究與發(fā)展， 53（1）， 80-92.

[4] 蔣小梅，張俊然，陳富琴， 等.基于J48決策樹(shù)分類器的情緒識(shí)別與結(jié)果分析[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（3）：761-767.

[5] 慕永利，李旸，&王素格. （2018）.基于e-cnn的情緒原因識(shí)別方法. 中文信息學(xué)報(bào)，32（2）.

[6]魯心靈，李欣，田紅梅，李安巧，杜若飛，&陳林.（0）.殘疾人情緒孤獨(dú)研究——基于機(jī)器學(xué)習(xí)的實(shí)證研究.第十一屆全國(guó)運(yùn)動(dòng)心理學(xué)學(xué)術(shù)會(huì)議.

[7]李等人.自發(fā)的微表達(dá)數(shù)據(jù)庫(kù)：誘導(dǎo)，收集和基線[C] // IEEE自動(dòng)面部和手勢(shì)識(shí)別國(guó)際會(huì)議和研討會(huì)。 2013：1-6。

[8] 嚴(yán)等人.改進(jìn)的自發(fā)微表達(dá)數(shù)據(jù)庫(kù)，基線評(píng)估 PLOS ONE，2014，9（1）：1-8。

[9] 吳等人.機(jī)器知道您要隱藏的內(nèi)容：一個(gè)自動(dòng)微表情識(shí)別系統(tǒng)[J]。 2011：152-162。

[10]楊文杰. . 基于VGGNet深度卷積特征的人臉表情識(shí)別方法研究. （廣東工業(yè)大學(xué)）.