人臉表情識(shí)別綜述

孫蔚 王波

摘要：人際交往中，面部表情為人們相互間的交流提供了一種重要的渠道，人們通過(guò)面部豐富細(xì)小的變化，能表達(dá)各種各樣的表情。該文綜合介紹了人臉表情識(shí)別的研究背景和國(guó)內(nèi)外現(xiàn)狀，并且羅列出了和表情識(shí)別相關(guān)的一些重要國(guó)際會(huì)議，總結(jié)了近十年來(lái)國(guó)內(nèi)外研究學(xué)者在表情識(shí)別領(lǐng)域提出的各自創(chuàng)新的研究方法，最后提出在表情識(shí)別研究中仍然存在的問(wèn)題和不足。

關(guān)鍵詞：表情識(shí)別；研究方法；創(chuàng)新；不足

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2012)01-0106-03

A Survey of Facial Expression Recognition

SUN Wei1,2, WANG Bo1

(1.Information Science of Nanjing College for Population Program Management, Nanjing, 210042, China; 2.College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Abstract: Facial expression is a key to nonverbal communication, which has been confirmed by many different research projects. A change in intensity or magnitude of even one specific facial expression can cause different interpretations. In this paper, the background of facial expression recognition reaches and the study of the current situation at home and abroad are introduced Then those important international meetings and those novel reaches in this area are listed. At the end of this paper the limits in facial expression recognition are pointed out.

Key words: Facial expression recognition; Research methods; Innovation; Limits

人臉表情是人們鑒別情感的主要標(biāo)志。人際交往中，面部表情為人們相互間的交流提供了一種非語(yǔ)言溝通的重要渠道，人們通過(guò)面部豐富細(xì)小的變化，能表達(dá)各種各樣的表情，并且表情有時(shí)甚至比語(yǔ)言更能顯示情感的真實(shí)性。

人臉表情識(shí)別是指通過(guò)計(jì)算機(jī)來(lái)計(jì)算分析人的臉部表情及變化，判定其內(nèi)心情緒或思想活動(dòng)，從而獲得更加智能化的人機(jī)交互環(huán)境。在模式識(shí)別領(lǐng)域中表情識(shí)別是一個(gè)非常具有挑戰(zhàn)性的課題，它在心理學(xué)、遠(yuǎn)程教育、安全駕駛、公共監(jiān)控、測(cè)謊技術(shù)、電腦游戲、臨床醫(yī)學(xué)、精神病理分析等方面都有著廣泛的應(yīng)用。

1研究背景及現(xiàn)狀

早在20世紀(jì)70年代,有關(guān)于人臉表情識(shí)別的研究就已經(jīng)展開(kāi)，但是早期主要集中在心理學(xué)和生物學(xué)方面。隨著計(jì)算機(jī)技術(shù)的發(fā)展,人臉表情識(shí)別技術(shù)逐漸發(fā)展起來(lái)，到上個(gè)世紀(jì)90年代該領(lǐng)域的研究已經(jīng)變得非?；钴S。大量的文獻(xiàn)資料顯示表情識(shí)別已經(jīng)從原來(lái)的二維圖像走向了三維數(shù)據(jù)研究，從靜態(tài)圖像識(shí)別研究轉(zhuǎn)向?qū)崟r(shí)視頻跟蹤。

國(guó)內(nèi)開(kāi)展該項(xiàng)目研究的單位主要有：清華大學(xué)、北京科技大學(xué)、中國(guó)科學(xué)院、南京理工大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、浙江大學(xué)、東南大學(xué)、南京大學(xué)、北京航空航天大學(xué)、西南交通大學(xué)、大連理工大學(xué)、天津大學(xué)、湖南大學(xué)等。國(guó)外較為著名的研究機(jī)構(gòu)有麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)、匹茲堡大學(xué)、馬里蘭大學(xué)、加利福尼亞大學(xué)、代爾夫特理工大學(xué)等。

國(guó)際上關(guān)于人臉或表情識(shí)別方面的國(guó)際會(huì)議中影響比較大的有：

CVPR：計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（International Conference on Computer Vision and Pattern Recognition）

FGR：人臉與姿態(tài)自動(dòng)識(shí)別國(guó)際會(huì)議（International Conference Automatic Face and Gesture Recognition）

ICPR：模式識(shí)別國(guó)際會(huì)議（International Conference on Pattern Recognition）

ICCV：IEEE計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議（IEEE International Conference on Computer Vision）

SIGGRAPH：計(jì)算機(jī)圖形和交互技術(shù)國(guó)際會(huì)議（International Conference on Computer Graphics and Interactive Techniques）

ECCV：歐洲計(jì)算機(jī)視覺(jué)會(huì)議（European Conference on Computer Vision）

ICMI：多模式接口國(guó)際會(huì)議（International Conference on Multimodal Interfaces）

ACCV：亞洲計(jì)算機(jī)視覺(jué)會(huì)議（Asian Conference on Computer Vision）。

VISAPP：計(jì)算機(jī)視覺(jué)理論與應(yīng)用國(guó)際會(huì)議（International Conference on Computer Vision Theory and Applications）。

ACII：情感計(jì)算及智能交互國(guó)際會(huì)議（International Conference on Affective Computing and Intelligent Interaction）

ICBA：國(guó)際生物特征識(shí)別國(guó)際會(huì)議（International Conference on Biometric Authentication）

2研究?jī)?nèi)容

人臉表情識(shí)別(Facial Expression Recognition，F(xiàn)ER)主要包括三個(gè)技術(shù)環(huán)節(jié)(如圖1所示):首先是人臉的檢測(cè)與定位,然后進(jìn)行表情特征提取和識(shí)別,即從輸入的圖像中檢測(cè)和定位人臉,然后再提取出對(duì)表情識(shí)別有用的信息并進(jìn)行分類識(shí)別。

圖1人臉表情識(shí)別系統(tǒng)

2.1人臉檢測(cè)與定位

近十年來(lái)人臉檢測(cè)得到了廣泛的關(guān)注，并且取得了長(zhǎng)足的發(fā)展和一定的成果。國(guó)內(nèi)外很多學(xué)者提出了不少方法,現(xiàn)有的人臉檢測(cè)技術(shù)方法，從不同的角度可以有多種分類方式。根據(jù)利用人臉知識(shí)的不同，現(xiàn)有的人臉檢測(cè)方法可以分為基于特征的方法(Fea? ture-based Method)和基于圖像的方法(Image-based Method)兩大類[2, 3]。目前基于特征方法比較成熟，常用的有基于膚色特征[4,5]、模板匹配[6]等方法；基于圖像的人臉檢測(cè)方法主要有主成分分析法（Principal Component Analysis，PCA）[7]、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network Approach，ANNA）[8]方法、隱馬爾可夫模型（Hidden Markov Models，HMM）[9]方法、支持向量機(jī)（Support Vector Machines，SVM）[10]方法和AdaBoost方法。

2.2特征提取

表情特征的提取方法分為基于運(yùn)動(dòng)與基于形變的兩類[11]。其中運(yùn)動(dòng)是指表情發(fā)生時(shí)面部特征隨時(shí)間的變化,而形變則是指有表情的臉相對(duì)于中性表情臉的差異。運(yùn)動(dòng)特征提取方法代表性的包括光流法[12]、運(yùn)動(dòng)模型、特征點(diǎn)跟蹤方法等。面部特征的形變可以由形狀和紋理兩方面來(lái)描述,又可以分為基于模型的方法和基于圖像的方法兩類。其中基于模型的方法有活動(dòng)外觀模型(AAM)

[13]、點(diǎn)分布模型(PDM)[14]等;基于圖像的方法有Gabor變換[15]、主成分分析(PCA)[16]等。

2.3表情分類

用于表情分類的方法可以分為時(shí)空域方法和空域方法兩類[17]。其中時(shí)空域方法包括隱馬爾可夫模型方法、回歸神經(jīng)網(wǎng)絡(luò)方法、空時(shí)運(yùn)動(dòng)能量模板方法等;空域方法包括神經(jīng)網(wǎng)絡(luò)方法、支持向量機(jī)方法、AdaBoost方法、基于規(guī)則推理的方法、主成分分析、獨(dú)立分量分析、Fisher線性判別分析等。

3存在問(wèn)題

盡管在當(dāng)前表情識(shí)別領(lǐng)域的研究中很多核心環(huán)節(jié)上已經(jīng)取得了一定的成果如人臉檢測(cè),特征提取,情感分類等,但是該領(lǐng)域仍然存在以下問(wèn)題：

1）缺乏對(duì)于自發(fā)表情識(shí)別方面的研究

人為表情識(shí)別和自發(fā)表情識(shí)別之間存在巨大的差異度，而目前大多數(shù)人臉表情識(shí)別都是對(duì)來(lái)自于現(xiàn)有的表情數(shù)據(jù)庫(kù)（即人為表情）進(jìn)行分析和識(shí)別，并非是對(duì)自然人的實(shí)時(shí)表情（即自發(fā)表情）?，F(xiàn)有表情庫(kù)里面的表情都是一些單一的比較夸張的表情，現(xiàn)實(shí)生活中人們的表情往往是混合的，強(qiáng)度也是深淺不一，因此需要加強(qiáng)對(duì)于混和表情以及表情強(qiáng)度方面的研究。

2）對(duì)于表情的標(biāo)定還沒(méi)有一個(gè)精細(xì)的標(biāo)準(zhǔn)

人類的表情可以說(shuō)是多姿多彩、千變?nèi)f化的，但是目前，包括FACS在內(nèi)的現(xiàn)有人臉表情識(shí)別系統(tǒng)僅能做到簡(jiǎn)單的基本表情識(shí)別，因?yàn)楹芏喱F(xiàn)有的表情庫(kù)中并沒(méi)有具體的標(biāo)定每一個(gè)表情該有的尺度。因此，今后的一個(gè)研究重點(diǎn)應(yīng)該是加強(qiáng)人臉表情的視覺(jué)認(rèn)知加工等認(rèn)知心理學(xué)的基礎(chǔ)研究，從而建立其更加精細(xì)的人臉表情描述標(biāo)準(zhǔn)，指導(dǎo)計(jì)算機(jī)進(jìn)行人臉表情的精細(xì)識(shí)別。

3）需要提高表情識(shí)別的魯棒性

個(gè)體表情對(duì)象研究時(shí)很多外部因素如：光照、膚色、姿勢(shì)以及是否有遮擋物等都會(huì)對(duì)面部表情識(shí)別產(chǎn)生一定的影響，但是當(dāng)前大多數(shù)的研究都是針對(duì)特定條件下的表情模式，實(shí)際上這些因素都影響到了表情識(shí)別的實(shí)用化，導(dǎo)致了表情識(shí)別的魯棒性不強(qiáng)。因此，只有綜合考慮人臉的表情、光照、噪聲、附屬物等影響并且使用恰當(dāng)?shù)呐袥Q模型才能較好地解決這個(gè)問(wèn)題。

4）缺乏實(shí)用性的應(yīng)用系統(tǒng)

人臉表情識(shí)別潛在應(yīng)用十分廣泛，但是實(shí)用性系統(tǒng)卻很少，已知的有數(shù)碼相機(jī)自動(dòng)捕捉笑臉系統(tǒng)、駕駛員疲勞監(jiān)測(cè)系統(tǒng)、微表情識(shí)別系統(tǒng)等。我們?cè)陂_(kāi)展人臉表情識(shí)別的基礎(chǔ)理論研究同時(shí)，也應(yīng)該結(jié)合工程應(yīng)用需求，同時(shí)強(qiáng)化其在工程上的應(yīng)用。

4總結(jié)

人的內(nèi)心是豐富的,豐富的內(nèi)心造就了人類豐富的表情，有些表情之間的差別本身也不是很明顯，縱使自然人尚且不能精確的判斷出每一個(gè)表情及其程度，更何況由人設(shè)計(jì)出的經(jīng)驗(yàn)識(shí)別算法。雖然一些經(jīng)典的識(shí)別方法已經(jīng)取得了不錯(cuò)的識(shí)別率，但都是基于一定條件下的幾種方法的綜合，因此到目前為止仍然沒(méi)人能夠提出一種復(fù)雜如人腦的計(jì)算方法去讓機(jī)器識(shí)別人臉的表情。

基于二維圖像的人臉表情識(shí)別，由于維度的限制，不能提供識(shí)別對(duì)象的完整信息，而且它還受到環(huán)境和人臉表情圖像本身因素

的影響，因此識(shí)別精度很難進(jìn)一步的提高。三維圖像在信息的完整度上避免了這樣的缺陷，而且減少了外部光照和姿態(tài)變化的影響。因此，利用三維信息進(jìn)行表情識(shí)別將是一個(gè)具有挑戰(zhàn)性的研究課題。

參考文獻(xiàn)：

[1]金輝,高文.人臉面部混合表情識(shí)別系統(tǒng)[J].計(jì)算機(jī)學(xué)報(bào)，2000，23(6)：602-608.

[2]梁路宏,艾海舟,徐光祐,等.人臉檢測(cè)研究綜述[J].計(jì)算機(jī)學(xué)報(bào),2002,25(05):449-458

[3]文沁,汪增福.基于三維數(shù)據(jù)的人臉表情識(shí)別[J].計(jì)算機(jī)仿真，2005，22(7)：99-103.

[4] Chen D S,Liu Z K.A Survey of Skin Color Detection[J].Chinese Journal of Computers,2006,29(2):194-207.

[5] Hsu R.L, Abdel-Mottaleb M, Jain A.K. Face detection in color images[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2002,24(5): 696-706.

[6] Yullie A, Hallinan P,Cohen D. Feature extraction from faces using deformable templates[J].International Journal of Computer Vision,1992, 8(2)：99-111.

[7] Turk M, Pent land A. Eigen faces for Recognition[J].Cognitive Neuro-science, 1991, 3(1):71-86.

[8] Rowley H.A, Baluja S, Kanade T. Neural Network-Based Face Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998:20(1):23-38.

[9] Nefian A, Hayes M. Hidden Markov Models for Face Recognition[A].IEEE International Conference on Acoustics, Speech and Signals Pro? cessing[C].Seattle, Washington, 1998:2721-2724.

[10]馬勇,丁曉青.基于層次型支撐向量機(jī)的人臉檢測(cè)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2003,43(1):35-38.

[11] Hongcheng Wang, Ahuja N. Facial expression decomposition[A]. In: Proceedings of International Conference on Computer Vision[C], Nice,France,2003:958–965.

[12] Yacoob Y, DavisL. Recognizing human facial expressions from long image sequences using optic flow [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996,18(6): 636-642.

[13] Tang F Q, Deng B.Facial expression recognition using AAM and local facial features [A].In: Proceedings of the Third International Conference on Natural Computation [C], Haikou, China, 2007:632-635.

[14] Hammal Z, Couvreur L, Caplier A,et al. Facial expression classification: an approach based on the fusion of facial deformations using the transferable belief model[J].International Journal of Approximate Reasoning, 2007,46(3): 542-567.

[15] Yu JG, Bhanu B. Evolutionary feature synthesis for facial expression recognition [ J].Pattern Recognition Letters, 2006,27( 11 ): 1289-1298.

[16] Kotsia I, Zafeiriou S, Pitas L. Texture and shape information fusion for facial expression and facial action unit recognition [ J].Pattern Recognition, 2008,41(3): 833-851.

[17]薛雨麗,毛峽.人機(jī)交互中的人臉表情識(shí)別研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào),2009,14(5):764-772.