人臉面部表情識(shí)別

傅栩雨 葉健東 王鵬 曾穎森

（北京郵電大學(xué),北京海淀 100876）

人臉面部表情識(shí)別

傅栩雨 葉健東 王鵬 曾穎森

（北京郵電大學(xué),北京海淀 100876）

近年來交互，智能成為了大家很關(guān)注的問題，人臉表情識(shí)別是人工智能中有重大意義的一部分，通過面部情緒的識(shí)別，增進(jìn)人機(jī)交往的友好性和智能性。本文講述了情緒識(shí)別的完整過程，從攝像頭的實(shí)時(shí)影像中開始到最后實(shí)現(xiàn)情緒識(shí)別，顯示識(shí)別結(jié)果。不單一地側(cè)重某一部分內(nèi)容，而進(jìn)行整體過程的勾畫。同時(shí)將涉及到的多方面內(nèi)容從原理到應(yīng)用講逐個(gè)講解，點(diǎn)明使用的具體方法，結(jié)合實(shí)際應(yīng)用過程對(duì)功能相近的模塊進(jìn)行選擇和對(duì)比。

表情識(shí)別；主動(dòng)形狀模型；局部二值特征；級(jí)聯(lián)分類器；主動(dòng)表觀模型

1 引言

指紋，虹膜，人臉等人與生俱來的信息越來越多的應(yīng)用到身份認(rèn)證的過程中。由于計(jì)算機(jī)的工作能力，早期這些信息只是小部分的被使用。人工智能的發(fā)展，對(duì)這類信息的處理利用提出了更高的要求。

計(jì)算機(jī)以人為服務(wù)對(duì)象而被廣泛使用，隨著計(jì)算機(jī)技術(shù)的發(fā)展，操作越來越復(fù)雜，功能越來越多樣，但在取得這些進(jìn)步的同時(shí)犧牲了用戶使用的舒適度和友好性，人機(jī)交互成為一個(gè)重要課題。在人機(jī)交互的過程中，人們不再滿足于通過鼠標(biāo)鍵盤等物理介質(zhì)實(shí)現(xiàn)對(duì)計(jì)算機(jī)的控制和交流，希望計(jì)算機(jī)可以對(duì)人的語言、肢體動(dòng)作、表情作出自然地反應(yīng)。要實(shí)現(xiàn)這樣的需求就需要計(jì)算機(jī)可以更好的理解用戶的行為，最好能夠賦予計(jì)算機(jī)人的情感和判斷，因此人臉情緒是別對(duì)人機(jī)的良好交互有著重要意義。

情緒是一種重要的心理活動(dòng)，情在緒的表達(dá)中語言占有7%,語音占38%，面部表情占55%，因此對(duì)表情的分析可以使計(jì)算機(jī)更好地揣度人的情緒，作出期望的反應(yīng)。識(shí)別表情對(duì)計(jì)算機(jī)來說不是一件容易的事情，表情是通過面部肌肉的運(yùn)動(dòng)實(shí)現(xiàn)的，由幾十塊肌肉共同作用產(chǎn)生產(chǎn)生。同一個(gè)人在不同的情景下，同一種表情的表達(dá)方式也會(huì)有差別，不同的人的表情更是千差萬別，很難以統(tǒng)一的標(biāo)準(zhǔn)來判斷。同時(shí)，人眼的識(shí)別能力遠(yuǎn)遠(yuǎn)高于計(jì)算機(jī)，計(jì)算機(jī)能否在短時(shí)間中捕捉到特征，以什么為特征，又是一大問題。

表情識(shí)別又是一個(gè)結(jié)合心理學(xué)、生理學(xué)、計(jì)算機(jī)視覺、模式識(shí)別的交叉課題。研究意義重大，應(yīng)用廣闊。

2 haar特征確定人臉位置

（1）haar-like特征的計(jì)算

如下圖所示的就是haar-理科特征，由黑白的矩形區(qū)域構(gòu)成。Haar-like分為以下四種，邊緣特征、線性特征、中心特征和對(duì)角線特征，選取下面的兩到三種特征構(gòu)成一個(gè)模板，規(guī)定這個(gè)模板的特征值為白色區(qū)域像素和減去黑色區(qū)域像素和。這樣的一個(gè)模板就將圖片信息轉(zhuǎn)化為數(shù)字信息，其實(shí)質(zhì)上體現(xiàn)出來的是在一定區(qū)域類圖片灰度值變?cè)挼那闆r。改變模板的大小與位置，在子窗口中與目標(biāo)圖像對(duì)應(yīng)，每種組合（由模板的種類，大小，位置構(gòu)成）方式都可以得到一種haar-like特征。圖（1）顯示了基連的原理。

圖1 級(jí)聯(lián)原理

（2）強(qiáng)分類器級(jí)聯(lián)

通過模板的簡(jiǎn)單組合構(gòu)成弱分類器，再通過改變每種模板的權(quán)值生成強(qiáng)分類器。強(qiáng)分類器級(jí)聯(lián)，各個(gè)強(qiáng)分類器之間存在與的關(guān)系，并具有樹狀結(jié)構(gòu)。比如得到的強(qiáng)分類器的的識(shí)別率為98%，拒絕率（可以通過非人臉的概率）為50%，在10個(gè)強(qiáng)分類器級(jí)聯(lián)的情況下能夠得到P（通過）=（0.98）^10=0.87,P (拒絕率)=0.0009766。在實(shí)際運(yùn)用過程中識(shí)別的最主要問題是將非人臉的部分判斷為人臉，在使用級(jí)聯(lián)的情況下可以很大程度上，可以很大程度上降低拒絕率。

（3）加快人臉檢測(cè)速度

在實(shí)驗(yàn)過程中，為了加快檢測(cè)到人臉的的速度，并且考慮到在動(dòng)態(tài)的過程中，人臉不可能在屏幕上產(chǎn)生瞬時(shí)的長(zhǎng)距離移動(dòng)，我們采用了保存上一步檢測(cè)人臉區(qū)域的方法。第一次檢測(cè)到人臉的區(qū)域如圖（2）綠色方框所示，第二次擴(kuò)大上一方框在圖（3）所示的方框內(nèi)檢測(cè)人臉，免除了一些重復(fù)的步驟。

圖2 第一次檢測(cè)

圖3 第二次檢測(cè)

3 S支持向量機(jī)SVM分類器

（1）模式識(shí)別主要兩類分類原理

第一種主要方法是主成分分析法，我們平時(shí)收集到的信息，是一種混疊狀態(tài)的信息，各個(gè)特征模式的分量都具有相關(guān)性，這樣進(jìn)行數(shù)據(jù)處理就會(huì)重復(fù)進(jìn)行很多無意義的計(jì)算。通過主成分析法分析法將變量分為多個(gè)因子，通常處理對(duì)所有因子都進(jìn)行操作，主成分分析法將因子對(duì)的特征根直接（可以用spss對(duì)因子特征根進(jìn)行計(jì)算）按照大小排列，取影響大的提高權(quán)，是一種降維的方法。LBP部分提到的旋轉(zhuǎn)LBP算子和LBP等價(jià)模型在一定程度上來說也是一種降維的處理方法。

第二類也就是SVM采用的分類原理，升維的分類方法。低維無法進(jìn)行分類的情況，換到高維空間就可以找到更好的邊界。

（2）SVM分類器

SVM是功能強(qiáng)大的分類器，可以解決分類問題和回歸問題，使用了kernel trick進(jìn)行數(shù)據(jù)轉(zhuǎn)換。SVM在輸入（得到的LBP特征）間找到最好的區(qū)分邊界，再將它找到的邊界與輸入的標(biāo)簽對(duì)比，最后確定邊界的可靠性，我們主要運(yùn)用到的是分類問題，在opencv中可以使用其自帶的SVM庫。

4 結(jié)束語

視覺是信息在人的交往過程中占的比重非常大，人的語言在一些情況下誤導(dǎo)性很高，表情是人情緒的一種直觀表示，在世界范圍都具有很高的共性人臉情緒識(shí)別在人工智能，人機(jī)交互方面有很廣闊的運(yùn)用前景。

參閱文獻(xiàn)

[1]Robert laganiere.opencv2計(jì)算機(jī)視覺[M].北京:科學(xué)出版社,2013.

[2]毛峽.人機(jī)情感交互[M].北京:科學(xué)出版社,2011.

[3]李樹娟.基于LBP特征的人臉表情分析[M].

[4]July.支持向量機(jī)通俗導(dǎo)論[M].

Facial Expression Recognition

FU Xu-yu,YE Jian-dong,WANG Peng,ZENG Ying-sen
(Beijing University of Posts and Telecommunications,Beijing 100876,China)

In recent years,interaction and intelligence are issues attracting more and more attention.Facial expression recognition,as a significant part of artificial intelligence,enhances the friendly and intelligent human-machine interaction through facial emotion recognition.The paper describes the complete process of emotion recognition from the real-time images of camera to the final realization of emotion recognition and result display.The paper outlines the whole process instead of solely focusing on a part of the content.And the multiple aspects of content involved are introduced one by one,from theory to application.The specific methods of use are pointed out,and the modules with similar functions are selected and compared based on the practical application process.

facial expression recognition;active shape model;local binary characteristic;cascade classifier;active appearance model

TN971

A

1008-1739（2015）10-70-2

定稿日期：2015-04-26

北京郵電大學(xué)大學(xué)生創(chuàng)新基金資助