情感識(shí)別綜述

潘瑩

摘要：情感交互在人機(jī)自然交互的研究中受到了很大的重視，而情感識(shí)別是人機(jī)情感交互的關(guān)鍵，其研究目的是讓機(jī)器感知人類的情感狀態(tài)，提高機(jī)器的人性化水平。該文首先對(duì)情感識(shí)別理論進(jìn)行了概述，繼而對(duì)情感識(shí)別的研究方法進(jìn)行了分類描述，接著簡(jiǎn)述了情感識(shí)別的應(yīng)用領(lǐng)域，最后對(duì)情感識(shí)別的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：情感識(shí)別；綜述；多模態(tài)融合；特征提??；情感分類

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）08-0169-03

1引言

隨著智能技術(shù)的迅猛發(fā)展以及智能機(jī)器在各領(lǐng)域的廣泛應(yīng)用，人們渴望對(duì)機(jī)器進(jìn)行更深層次地智能化開(kāi)發(fā)，使機(jī)器具備和人一樣的思維和情感，讓機(jī)器能夠真正地了解用戶的意圖，進(jìn)而讓機(jī)器更好地為人類提供智能化的服務(wù)。在智能機(jī)器研究中，自然和諧的人機(jī)交互能力受到很大的重視。情感識(shí)別作為人機(jī)情感交互的基礎(chǔ)，能夠使機(jī)器理解人的感性思維，影響著機(jī)器智能化的繼續(xù)發(fā)展，成為人機(jī)自然交互的關(guān)鍵要素。同時(shí)，情感識(shí)別融多學(xué)科交叉為一體，其發(fā)展將會(huì)帶動(dòng)多學(xué)科共同發(fā)展，其應(yīng)用也會(huì)帶來(lái)巨大的經(jīng)濟(jì)效益和社會(huì)效益。因而，情感識(shí)別技術(shù)的研究具有很大的發(fā)展前景和重要的學(xué)術(shù)價(jià)值。

2情感識(shí)別概述

情感是一種綜合了行為、思想和感覺(jué)的狀態(tài)。情感信息主要表現(xiàn)在內(nèi)外兩個(gè)層面：一是外在情感信息，是指通過(guò)外表能自然觀察到的信息，如面部表情、唇動(dòng)、聲音、姿勢(shì)等，二是內(nèi)在情感信息，是指外部觀察不到的生理信息，如心率、脈搏、血壓、體溫等。

情感識(shí)別本質(zhì)上也是一種模式識(shí)別，它是指利用計(jì)算機(jī)分析各種情感信息，提取出描述情感的情感特征值，建立特征值與情感的映射關(guān)系，然后對(duì)情感信息進(jìn)行分類，從而推斷出情感狀態(tài)的過(guò)程。

3情感識(shí)別的研究方法

情感識(shí)別的研究方法主要有：面部表情識(shí)別、語(yǔ)音情感識(shí)別、姿態(tài)表情識(shí)別、文本識(shí)別、生理模式識(shí)別和多模態(tài)情感識(shí)別。情感識(shí)別過(guò)程一般包括四個(gè)部分：數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、情感特征提取、情感分類。情感特征提取過(guò)程一般包括：特征提取、特征降維和特征選擇。其中，特征提取的方式各有不同，而特征降維和選擇的方式大致相同。

特征降維常用的方法有：主成分分析、獨(dú)立成分分析、等距特征映射、拉普拉斯特征映射、多維尺度變換、線性鑒別分析、局部線性嵌入、局部切空間排列和減秩回歸法等。

特征選擇常用的方法有：雙向搜索、序列前向選擇、序列后向選擇、列浮動(dòng)選擇等。

情感分類常用的方法有：基于模型匹配法、決策樹(shù)、支持向量機(jī)、樸素貝葉斯、貝葉斯網(wǎng)絡(luò)、K近鄰法、人工神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、隱馬爾科夫模型、線性回歸、多層感知器、卷積神經(jīng)網(wǎng)絡(luò)和多分類器融合等。

3.1面部表情識(shí)別

在特定情感狀態(tài)下，面部肌肉會(huì)發(fā)生變化。例如心情愉悅時(shí)，雙目含笑，嘴角上翹，顴肌收縮；悲傷時(shí)，兩眼呆滯，嘴角下拉，雙眉緊鎖；憤怒時(shí)會(huì)皺眉，睜大眼睛等。除此之外，也包括一些頭部姿勢(shì)，例如點(diǎn)頭、搖頭、低頭等。

面部表情識(shí)別過(guò)程一般包括四個(gè)部分：人臉圖像獲取、圖像預(yù)處理、表情特征提取、情感分類。

第一步：人臉圖像獲取。一般從影像數(shù)據(jù)中得到人臉的圖像，包括圖片和視頻，分別對(duì)應(yīng)靜態(tài)表情和動(dòng)態(tài)表情。視頻就是圖像序列，含有時(shí)間特性。

第二步：圖像預(yù)處理。一般包括人臉檢測(cè)定位、人臉?lè)稣?、剪裁處理、尺度歸一化、直方圖均衡化、去光照、光線補(bǔ)償、同態(tài)濾波、灰度化、高斯平滑處理等方式。

第三步：表情特征提取。（1）基于靜態(tài)圖像的特征提取方法主要有：Gabor小波變換、局部二值模式、尺度不變特征變換、離散余弦變換和區(qū)域協(xié)方差矩陣等；（2）基于動(dòng)態(tài)圖像序列的特征提取方法主要有：光流法、差分圖像法、特征點(diǎn)跟蹤法、基于模型法和彈性圖匹配法等。

第四步：情感分類。除了一些常用的分類器以外，還包括典型相關(guān)分析、稀疏表示分類法和基于專家規(guī)則的方法等。

3.2語(yǔ)音情感識(shí)別

語(yǔ)音是最普遍、最自然的交流形式，語(yǔ)言除了包含語(yǔ)義信息，還包含具有情感的語(yǔ)速、語(yǔ)調(diào)等信息。例如心情愉悅時(shí)，語(yǔ)調(diào)比較歡快；煩悶時(shí)，語(yǔ)調(diào)比較沉悶；生氣時(shí)，音量變大，音調(diào)變高等。

語(yǔ)音情感識(shí)別過(guò)程主要分為四個(gè)部分：語(yǔ)音信號(hào)采集、數(shù)據(jù)預(yù)處理、情感特征提取、情感分類。

第一步：語(yǔ)音信號(hào)采集。一般采集語(yǔ)音信號(hào)的方式是使用麥克風(fēng)等語(yǔ)音錄制設(shè)備。

第二步：數(shù)據(jù)預(yù)處理。語(yǔ)音信號(hào)預(yù)處理的方式主要有：反混疊濾波、采樣和量化、預(yù)加重處理、分幀加窗、端點(diǎn)檢測(cè)和清濁音判別等。

第三步：情感特征提取。典型的語(yǔ)音情感特征分為三類：（1）韻律特征，包括音調(diào)、能量、基頻、語(yǔ)速、時(shí)長(zhǎng)等；（2）音質(zhì)特征，主要有共振峰及其帶寬、諧波噪聲比和短時(shí)抖動(dòng)等；（3）普特征，常見(jiàn)的有梅爾頻率倒譜系數(shù)、線性預(yù)測(cè)倒譜系數(shù)和對(duì)數(shù)頻率功率系數(shù)等。

第四步：情感分類。除了一些常用的分類器以外，還包括基于D-S證據(jù)理論、高斯混合模型、馬氏距離分類法和矢量量化法等。

3.3姿態(tài)表情識(shí)別

姿態(tài)表情是除面部以外身體其他部位的表情動(dòng)作，它在協(xié)同或補(bǔ)充表達(dá)言語(yǔ)內(nèi)容的同時(shí)，也有效地傳遞著情感信息。例如開(kāi)心時(shí)，手舞足蹈；悲痛時(shí)，捶胸頓足；焦慮時(shí)，坐立不安；失敗時(shí)，垂頭喪氣等。

姿態(tài)表情識(shí)別過(guò)程主要分為四個(gè)部分：運(yùn)動(dòng)數(shù)據(jù)采集、預(yù)處理、運(yùn)動(dòng)特征提取、情感分類。

第一步：運(yùn)動(dòng)數(shù)據(jù)采集。一般運(yùn)動(dòng)數(shù)據(jù)的采集方式分為兩種：（1）接觸式：內(nèi)嵌各式傳感器的穿戴式裝置，例如電子手套和數(shù)據(jù)鞋套等；（2）非接觸式：一般通過(guò)攝像頭得到圖像信息。接觸式的識(shí)別技術(shù)所需設(shè)備成本較高，用戶體驗(yàn)不舒適，不符合人機(jī)自然交互的意圖，本文選取非接觸式的姿態(tài)識(shí)別技術(shù)。

第二步：數(shù)據(jù)預(yù)處理。一般包括：人體目標(biāo)檢測(cè)、圖像去噪、圖像分割、圖像二值化處理、時(shí)間窗口、濾波處理等。其中，人體目標(biāo)檢測(cè)的方法主要有：基本圖像分割、背景差分法、幀間差分法、光流法和能量最小化法。

第三步：運(yùn)動(dòng)特征提取。常用的運(yùn)動(dòng)特征分為四類：（1）靜態(tài)特征：大小、顏色、輪廓、形狀、深度等；（2）動(dòng)態(tài)特征：速度、光流、方向、軌跡等；（3）時(shí)空特征：時(shí)空上下文、時(shí)空形狀、時(shí)空興趣點(diǎn)等；（4）描述性特征：場(chǎng)景、屬性、物體、姿態(tài)等。常用的運(yùn)動(dòng)特征提取方法分為三類：時(shí)域分析法、頻域分析法和時(shí)頻域分析法。

第四步：情感分類。除了一些常用的分類器以外，還包括動(dòng)態(tài)時(shí)間規(guī)整法、動(dòng)態(tài)規(guī)劃法、潛在狄利克雷分配、概率潛在語(yǔ)義分析、上下文無(wú)關(guān)文法、有限狀態(tài)機(jī)和條件隨機(jī)場(chǎng)等。

3.4文本識(shí)別

文本識(shí)別過(guò)程主要分為四個(gè)部分：素材搜集、文本預(yù)處理、特征提取、情感分類。

第一步：素材搜集。一般使用爬蟲(chóng)工具搜集材料，大部分的素材來(lái)自博客、電子商務(wù)站點(diǎn)和新聞?wù)军c(diǎn)。

第二步：文本預(yù)處理。一般包括：分詞、詞性標(biāo)注、標(biāo)簽過(guò)濾、詞綴修剪、簡(jiǎn)化替換等。

第三步：特征提取。文本特征主要有：詞、詞組、n-Gram和概念等。一般特征詞可以自動(dòng)抽取，有的也要人工參與構(gòu)造情感詞表，另外使用的方法還有頻繁模式挖掘技術(shù)和關(guān)聯(lián)規(guī)則挖掘技術(shù)。

第四步：情感分類。除了一些常用的分類器以外，還包括中心向量分類法、最大熵、基于情感詞標(biāo)注和詞頻加權(quán)統(tǒng)計(jì)等。

3.5生理模式識(shí)別

當(dāng)機(jī)體處于特定情感狀態(tài)下時(shí)，其內(nèi)部會(huì)發(fā)生一系列的生理反應(yīng)，例如恐懼時(shí)，心跳加速，呼吸加快，血壓升高等。常用的生理信號(hào)有：腦電圖、心電圖、肌電圖、血容量搏動(dòng)、皮膚電反應(yīng)、呼吸信號(hào)、體溫、光電脈搏等。

生理模式識(shí)別主要分為四部分：生理信號(hào)采集、預(yù)處理、特征提取、情感分類。

第一步：生理信號(hào)采集。一般通過(guò)生理信號(hào)傳感器進(jìn)行采集。例如肌肉電反應(yīng)傳感器、呼吸傳感器、血容量搏動(dòng)和皮膚電導(dǎo)傳感器等舊。

第二步：生理信號(hào)預(yù)處理。主要是為了去偽跡，常用的方法包括：歸一化、濾波、獨(dú)立成分分析、主成分分析、平滑處理等。

第三步：特征提取。生理信號(hào)特征一般包括：自回歸系數(shù)、小波系數(shù)、能量譜、功率譜密度、近似熵等。常用的生理信號(hào)提取方法有：時(shí)域分析法、頻域分析法和時(shí)頻域分析法。

第四步：情感分類。除了一些常用的分類器以外，還包括共空間模式、誤差反向傳播算法等。

3.6多模態(tài)情感識(shí)別

單通道的情感信息性質(zhì)比較單一，有時(shí)無(wú)法反映真實(shí)的情感信息，因此，情感識(shí)別需要利用多通道信息互補(bǔ)來(lái)提高魯棒性和情感識(shí)別率。多模態(tài)情感識(shí)別是指利用面部表情、語(yǔ)音、姿態(tài)和生理信號(hào)等多個(gè)通道的情感信息進(jìn)行情感識(shí)別。

多通道信息融合層次可以分為三類：數(shù)據(jù)層、特征層和決策層。

（1）數(shù)據(jù)層融合，是直接對(duì)采集的原始數(shù)據(jù)進(jìn)行融合處理，然后從融合后的數(shù)據(jù)中提取特征向量，最后進(jìn)行情感分類；（2）特征層融合，是先對(duì)采集的各通道數(shù)據(jù)進(jìn)行預(yù)處理和特征提取，然后對(duì)提取的情感特征信息進(jìn)行融合處理，得到特征向量，最后進(jìn)行情感分類；（3）決策層融合，是對(duì)采集的各通道數(shù)據(jù)分別作單獨(dú)的情感分類決策，然后對(duì)單模態(tài)的識(shí)別結(jié)果進(jìn)行融合處理，得到最終分類結(jié)果。常用的信息融合方法有：D-S證據(jù)理論、人工神經(jīng)網(wǎng)絡(luò)、模糊集理論、貝葉斯推斷、聚類分析、專家系統(tǒng)方法等。

4情感識(shí)別的應(yīng)用

情感識(shí)別涉及了模式識(shí)別、傳感器技術(shù)、人工智能、心理學(xué)、生理學(xué)和認(rèn)知科學(xué)等多學(xué)科領(lǐng)域，有著廣闊的應(yīng)用前景。在醫(yī)學(xué)領(lǐng)域，在情感識(shí)別理論基礎(chǔ)上進(jìn)行孤獨(dú)癥、壓力識(shí)別和癲癇等研究，輔助診斷和治療精神類疾病；在教育領(lǐng)域，在遠(yuǎn)程教學(xué)系統(tǒng)中加入情感識(shí)別，可以實(shí)時(shí)地檢測(cè)學(xué)生的情感狀態(tài)并及時(shí)給予反饋，實(shí)現(xiàn)了人性化的網(wǎng)絡(luò)教學(xué)；在安全駕駛領(lǐng)域，基于情感識(shí)別的非接觸式信號(hào)采集裝置可以實(shí)時(shí)分析司機(jī)的情感狀態(tài)，及時(shí)地提醒司機(jī)或進(jìn)行自動(dòng)控制，確保駕駛的安全；在電子商務(wù)領(lǐng)域，將情感識(shí)別運(yùn)用到購(gòu)物網(wǎng)站系統(tǒng)中，可以記錄用戶的情感狀態(tài)，分析用戶的偏好，有助于滿足用戶的喜好，從而提高銷售量；在智能監(jiān)控領(lǐng)域，將情感識(shí)別加入到銀行、機(jī)場(chǎng)和停車場(chǎng)等重要公共場(chǎng)所的監(jiān)控系統(tǒng)中，可以自動(dòng)識(shí)別出監(jiān)控場(chǎng)地每個(gè)人的情感狀態(tài)，有助于這些場(chǎng)所的安全管理；在娛樂(lè)領(lǐng)域，各種機(jī)器寵物、智能機(jī)器人、情感飾物等的出現(xiàn)給人們?cè)鎏砹烁嗟纳顦?lè)趣。隨著情感識(shí)別研究的不斷完善，將會(huì)把情感因素引入到各類產(chǎn)品和服務(wù)中，有助于我們創(chuàng)造更加和諧、美好的生活。

5未來(lái)展望

情感識(shí)別技術(shù)的研究具有重要的理論意義和應(yīng)用價(jià)值，在人機(jī)自然交互中有著無(wú)可替代的作用。情感識(shí)別有大量的研究成果，但由于人類情感的復(fù)雜多樣性，情感識(shí)別依舊存在許多問(wèn)題。開(kāi)展融合面部表情、語(yǔ)音、姿勢(shì)、文本和生理信號(hào)等的多模態(tài)情感識(shí)別研究具有重要的應(yīng)用前景。另外，結(jié)合唇讀、手語(yǔ)識(shí)別等技術(shù)，可以將情感識(shí)別更好的應(yīng)用于殘疾人的日常交流，是一個(gè)很好的、人性化的發(fā)展方向。