基于人工智能的情緒識別系統(tǒng)綜述

◆楊林 侯俊科

基于人工智能的情緒識別系統(tǒng)綜述

◆楊林 侯俊科

（山東省淄博第一中學 山東 255000）

情感是一種整合人的思想和行為的狀態(tài)。它在人們的交流中起著重要的作用。它包括人們對外界或自我刺激的心理反應，包括伴隨這種心理反應的生理反應。在各種人機交互系統(tǒng)中，如果系統(tǒng)能夠識別人的情感狀態(tài)，人與機器之間的交互將變得更加友好和自然。隨著人工智能、計算機圖形學和各種硬件設備的不斷發(fā)展和演變，這種發(fā)展趨向于更加現(xiàn)實，具有很強的現(xiàn)實意義。因此，情緒分析與識別是神經科學、心理學、認知科學、計算機科學和人工智能領域的一個重要跨學科研究課題。

人臉檢測；情緒識別；計算機科學；人工智能

1 前言

情緒認知在日常社會生活中起著非常重要的作用。良好的情緒認知能力是人們順利社交的重要保證。情感通常通過表情來傳遞情感信息，包括面部表情、身體表情和言語表情。面部表情可以傳達更多的情感信息。通過對他人面部表情的認知，我們可以了解他人的情緒狀態(tài)、性別、年齡、身份等信息。此外，表達，即情感識別，在當代社會中可以發(fā)揮重要作用。例如，“微表情”識別在警察巡邏清查中的應用。在警察巡邏清查活動中，通過對清查對象面部微表情的識別，可以快速篩選出重點清查對象，實現(xiàn)預警，從而提高巡邏清查的效率，降低警察的執(zhí)法風險。例如，近年來，青少年抑郁癥患者的數(shù)量逐漸增加。情緒識別對解決當代大學生的行為抑制問題具有一定的參考價值，主要表現(xiàn)在對求助、親密、自信、拒絕、信任和服從等行為的抑制，以及與心理健康水平相關的問題?？傊楦凶R別是人工智能發(fā)展趨勢和人類社會發(fā)展需求的綜合體現(xiàn)。它對現(xiàn)代社會具有重要的研究意義。

2 技術分析

2.1 人臉檢測

人臉檢測用于在所制定的圖片信息或者視頻序列中檢測出人臉所在位置，并進行標識顯示，人臉檢測是自動人臉識別系統(tǒng)中的一個關鍵環(huán)節(jié)。隨著電子商務等應用的發(fā)展，人臉識別成為最有潛力的生物身份驗證手段，人臉檢測采用一定的策略對其進行搜索以確定其中是否含有人臉，如果是則返回一臉的位置、大小和姿態(tài)。本次試驗采用OpenCV（開源計算機視覺庫）的特征提取算法以及人臉檢測識別算法進行實驗測試。OpenCV系統(tǒng)中，已經存在的程序可以完成對haar-like特征分類器的訓練，訓練完成之后形成的級聯(lián)分類器會儲存在xml文件中。OpenCV利用樣本的Haar特征進行的分類器訓練，得到的級聯(lián)分類器（Cascade Classification），通過該級聯(lián)分類器內部封裝算法先將獲取圖像進行灰度化作用，再通過多矢量檢測函數(shù)（detectMultiScale）檢測出所有的人臉，并用vector保存各個人臉的坐標、大小（用矩形表示），實現(xiàn)人臉檢測的目的。

2.2 人臉特征識別

人臉表情識別實現(xiàn)的難點主要在于特征的提取、學習與分類，這也會在很大程度上直接影響最后識別的準確率。在此介紹兩種常用表情特征提取方法。

（1）基于卷積神經網絡及特征提取的面部表情識別算法

卷積神經網絡（Convolutional Neural Networks，CNN）是深度學習的代表算法之一，是一種包含卷積計算且具有深度結構的前饋神經網絡。因為可以進行平移不變分類（Shift-Invariant Classification），所以卷積神經網絡也被稱為“平移不變人工神經網絡（Shift-Invariant Artificial Neural Networks，SIANN）。卷積神經網絡主要由卷積層、池化層、全連接層三部分組成。其中卷積層主要是實現(xiàn)在原始的輸入上進行的特征提取操作；池化層的作用是對特征圖進行特征壓縮，以減少數(shù)據(jù)量；全連接層是對特征進行整合分類，得到最終的分類結果?；谏窠浘W絡（CNN）的特征提取方法主要由以下幾部分構成：數(shù)據(jù)集的選取，數(shù)據(jù)預處理，神經網絡搭建，從而實現(xiàn)人臉特征識別。數(shù)據(jù)集是面部表情的集合，通常是48*48像素的灰色圖像。標準的FER數(shù)據(jù)集用于分類面部表情，包括積極、中等和消極的表情成分。數(shù)據(jù)預處理將FER數(shù)據(jù)集分為兩部分：訓練集和測試集，以便于后續(xù)訓練。然后，對所有數(shù)據(jù)進行統(tǒng)一的灰度處理，以減少噪聲干擾。為了防止網絡擬合過快，最好的方法之一是使用更多的訓練數(shù)據(jù)。因此，在分割數(shù)據(jù)集之后，將對圖像執(zhí)行一些操作，例如旋轉和剪切，以增加數(shù)據(jù)量。面部表情識別基本框架如圖1所示。

圖1 面部表情識別基本框架

（2）基于幾何的特征提取法

人臉幾何特征包括眼睛、鼻子和嘴巴等人臉特征的局部形狀特征、人臉形狀特征以及五官在人臉上分布的幾何關系特征。

基于幾何的特征提取方法是一種基于統(tǒng)計的特征提取方法。它是一種通過計算人臉各特征點之間的距離并將其與標準進行比較來進行情感判斷的識別方法。一般采用灰度差分投影法確定人臉輪廓，采用積分投影法或水平差分累積法進行眼睛定位。人臉特征提取主要依賴于Dlib庫和ERT算法。ERT（集成回歸樹）算法，也稱為級聯(lián)回歸算法，是一種基于梯度改進學習的回歸樹方法。該算法需要一個事先標定好的圖片集作為訓練集進行訓練，從而得到訓練模型，以用于后續(xù)特征分類。在該算法中，會使用基于特征選擇的相關性方法，將輸入數(shù)據(jù)隨機投影到一個方向上，并選擇一對特征（u，v），計算該特征與輸入數(shù)據(jù)之間的樣本相關性，并通過不斷調整特征（u，v）的值，來尋找與輸入數(shù)據(jù)具有最高樣本相關性的特征。每當輸入一個新的圖像時，算法會首先估計一個大致的特征點位置，然后采用Gradient Boosting算法選取與輸入平方差最小的特征點。該算法一般采用最小二乘法來減少誤差，以得到每一級的級聯(lián)回歸因子。ERT算法的核心公式如下所示：

其中，表示級聯(lián)序號，r表示當前級的回歸器regressor。為輸入圖像。每個回歸器可以由若干棵樹組成，使用梯度提高學習的回歸樹訓練每個回歸器，同時不斷使用最小二乘法來最小化誤差。

3 項目框架

圖2 程序大致流程

本文采用OpenCV內置的人臉檢測算法與關于神經網絡（深度學習）相關算法相結合的方式，并通過python進行可視化界面設計與顯示的過程，進行本次試驗。通過采用標準FER數(shù)據(jù)集作為訓練模型的樣本，結合相關開源代碼，完成本次試驗。實現(xiàn)人臉檢測（框選出人臉）與表情識別的檢測，并實時顯示在可視化界面上（見圖2）。

4 實例

借助Python，從我們的網絡攝像頭獲取圖像流，使用OpenCV檢測并添加邊界框，從我們的神經網絡獲取預測并將標簽添加到網絡攝像頭圖像，最后返回最終的圖像流（見圖3）。

圖3 實例

5 結語

人臉表情特征識別是人工智能快速發(fā)展的一個主要方向。具有很強的現(xiàn)實意義。它與深度學習和計算機圖形學密切相關，占主導地位的是神經網絡（CNN）。在識別方面，神經網絡算法依賴于其自身的分布式特征表示。在訓練足夠的人臉表情圖像后，識別精度明顯高于其他傳統(tǒng)方法，但需要更高的計算能力。因此，需要更多的方法盡可能提高算法效率，如預處理環(huán)節(jié)的處理，如有效減小圖像大小等；在顯示方面，如何以更自然、流暢、和諧的人機界面與用戶溝通也顯得尤為重要。在OpenCV處理動態(tài)視頻序列的基礎上，還需要進一步優(yōu)化流暢性和友好性。

總之，人臉表情特征識別在實際領域具有重要的理論意義和良好的應用前景，雖然目前有了一定的成效，但有效地解決真實復雜場景下的人臉表情檢測的準確性、迅速性等問題還有待進一步的研究。

[1]聶聃，王曉韡，段若男，等.基于腦電的情緒識別研究綜述[J].中國生物醫(yī)學工程學報，2012，31（04）：595-606.

[2]宋曉輝.論“微表情”識別在警務巡邏盤查工作中的運用[J].北京警察學院學報，2017（05）：106-110.

[3]徐振國. 智慧學習環(huán)境中學習畫面的情感識別及其應用[D].山東師范大學，2019.

[4]白樂樂. 大學生行為抑制的研究[D].曲阜師范大學，2016.

[5]王怡文.基于卷積神經網絡及特征提取的面部表情識別算法[J].電腦知識與技術，2019，15（16）：203-205.

[6]翟蒙鎖. 人臉表情特征提取與識別算法研究[D].安徽工程大學，2019.

[7]王忠民，李和娜，張榮，等.融合卷積神經網絡與支持向量機的表情識別[J].計算機工程與設計，2019，40（12）：3594-3600.

[8]劉衛(wèi)華，吳丹.基于OpenCV的人臉檢測[J].科技創(chuàng)新與應用，2019（31）：18-19.