三維人臉表情識別研究與進展

嚴　政，潘志庚

(杭州師范大學數(shù)字媒體與人機交互研究中心，浙江 杭州 311121)

?

三維人臉表情識別研究與進展

嚴政，潘志庚

(杭州師范大學數(shù)字媒體與人機交互研究中心，浙江 杭州 311121)

摘要：隨著人機交互與情感計算的快速發(fā)展，人臉表情識別已經(jīng)成為研究熱點.二維人臉表情圖像對于姿態(tài)變化與光照變化不具備魯棒性，為了解決這些問題，研究者們使用三維人臉表情數(shù)據(jù)進行表情分析研究.本文在前人工作的基礎上，對三維人臉表情識別中的對齊與跟蹤、表情數(shù)據(jù)庫、特征提取等方面進行綜述.指出人臉表情識別的熱點與趨勢以及存在的局限，并對未來發(fā)展進行了展望.

關鍵詞：情感計算；表情識別；三維表情識別；表情特征提取

0引言

近20年來，國內(nèi)外學者對人類行為的自動化理解作了很多的研究，它在心理學、人機交互、醫(yī)療與安全領域有廣泛的應用.由于在情感計算、學習適應性教學系統(tǒng)和醫(yī)療健康管理中的重要作用，人類行為理解成為下一代計算機系統(tǒng)中的必要功能[1].

現(xiàn)有的人機交互領域中，對人類行為進行理解與交互的設備通常為傳統(tǒng)的鍵盤與鼠標，這種設備局限使得體驗過程中更需要用戶強調(diào)其顯式指令而忽略隱式指令(如用戶情緒狀態(tài)的變化).但是在人際互動中，用戶情緒狀態(tài)的變化卻是一個不可忽略的基本元素，一些情緒狀態(tài)會激發(fā)人的行為，而另外一些則使人際交流中的意義更加豐富.因此，傳統(tǒng)的忽略隱式指令的人機交互方式在不經(jīng)意間疏漏了大部分的有效信息，這也導致這種交互方式過于死板、不人性化，無法具備日常的社交能力.

人臉表情是用戶情緒狀態(tài)外化中不可忽略的一項，是人類情感交流手段中最強力、自然的一種，也是隱式指令中最有效的通道.人們通過表情可以表達強調(diào)、不關心、困惑、中意等意圖，并能夠實現(xiàn)與周邊環(huán)境的互動[2].眾所周知，過去20年這個研究領域在學術界頗受關注[3].與先前人臉表情識別綜述相比[4-7]，本文在對二維人臉表情識別現(xiàn)狀進行分析之外，主要對三維人臉表情識別中的對齊與跟蹤、表情數(shù)據(jù)庫、特征提取與分類等方面進行分析.大多數(shù)現(xiàn)有二維人臉表情識別的實現(xiàn)方式如下：1)對精心擺拍的極端情緒圖像進行訓練和測試；2)對一小部分的原型表情進行識別；3)對FACS編碼的人臉表情AU進行識別.

在前人的研究成果中，對6種原型表情擺拍圖像的自動檢測都獲得了較高的準確率，可是由于自發(fā)表情在外觀與時序上與之有較大差別，所以檢測非實驗室環(huán)境下的表情仍然比較難.另外，大多表情數(shù)據(jù)庫只包含了在高度可控的情況下進行拍攝的擺拍表情圖片，這些照片僅包括憤怒、惡心、恐懼、高興、悲傷和驚喜這6種原型表情.近些年來，研究者的方向開始轉為對自發(fā)表情及人臉表情AU進行檢測分析，但由于局限性的存在，大部分系統(tǒng)對光照、遮擋、人臉外觀(妝容和頭發(fā))等拍攝條件的變化仍然較為敏感.

根據(jù)識別結果進行劃分，可以將當前研究方向分為兩類：第一類是以原型表情為識別結果的，第二類是以人臉表情運動單元(AU)作為識別結果的.

自從人臉表情識別受到關注以來，大部分研究[8-12]專注于對原型表情進行識別，只有少量的研究[13-15]涉及非原型表情.而對非原型表情的研究包括外觀狀態(tài)如疲勞，也包括心理狀態(tài)如贊同、擔憂、感興趣、思考、困惑等.現(xiàn)今針對人臉AU識別[16-18]的研究成果較幾年前顯著增加.其中Wang[8]通過構建空間域模板來識別姿態(tài)和自發(fā)性原型表情，定義了幾何特征并通過其找出了擺拍表情與自發(fā)性表情的差別.Gonzalez[19]通過隱半馬爾可夫模型用于進行AU的動態(tài)識別.雖然大多數(shù)現(xiàn)有自動人臉表情識別工作[9-12]都是針對基于擺拍的極端表情圖像，但最近仍有一部分工作[8][20-21]研究自發(fā)人臉表情數(shù)據(jù)的自動識別分析.其中有許多研究[21-22]從自發(fā)表情而不是原型表情中提取特征訓練模型識別人臉AU，也有一些研究[8]試圖明確地找出自發(fā)表情與擺拍表情的區(qū)別.Valstar[23]首先通過對表情速度、強度、持續(xù)時間和臉部肌肉運動的相關性建模，將擺拍表情與自發(fā)表情分離開來.

1三維人臉表情識別

由于二維攝像機無法獲取人臉表面的平面信息，所以單視角二維人臉表情的檢測分析難以充分挖掘人臉信息.充分挖掘全部人臉信息需要多個二維攝像機同時拍攝，應用場景受到限制.為了解決這個問題，研究者們嘗試使用三維數(shù)據(jù)進行檢測和分析.通過在AU識別領域使用三維數(shù)據(jù)，可以檢測人臉表面的輕微深度變化.如圖1所示，在二維正面圖像中，AU18(嘴唇皺起)很難與AU10+AU17+AU24(嘴唇上升、下巴上升及唇下壓)區(qū)分開來，而在三維圖像中則會變得容易區(qū)分.近期學界在結構光、立體攝影及立體測光方面的研究成果也使獲取三維人臉結構和動作更為便利.

圖1　二維和三維中捕捉到的AU 18，(a)-(d)是二維正面圖像，(e)-(h)為三維重建數(shù)據(jù)Fig. 1　AU 18 captured with 2D camera (a)-(d) and 3D camera (e)-(h)

典型的三維人臉表情識別的流程如圖2所示，首先對三維模型進行預處理，使用去噪、補洞等增強方法；然后對三維人臉進行對齊與跟蹤；接著選用特征提取方法進行特征提?。蛔詈笫褂锰卣鞣诸惙椒ㄟM行判定.

圖1　典型三維人臉表情識別流程Fig. 1　Typical work flow of 3D facial expression recognition

1.1　三維人臉的對齊與跟蹤

因為特征提取依賴于不同的人物能否定位到人臉的同一位置，以及能否在人臉上找到特定點的移動，所以準確的排列和跟蹤算法至關重要.人臉網(wǎng)格間的稠密對應關系也同樣重要，通過它們才能在不同人物和幀間跟蹤人臉網(wǎng)格的運動.對于剛體的對齊，根據(jù)ICP算法(Iterative close point)[24]，在不需要進行大規(guī)模的矩陣轉置運算的情況下，就可以實現(xiàn)兩個相似網(wǎng)格間的對齊算法.不過，對于非剛體對齊，則需要進行全對齊、稠密對應關系和跟蹤，這些都需要更加復雜的算法.解決非剛體對齊的算法包括基于ICP的非剛體算法[25]、FFDs(Free-form deformations)[26]、調(diào)和映射[27]、保角映射[28]、ASM(Active shape model)[29]、協(xié)方差金字塔[30].算法對比見表1.

ICP(Iterative close point)是在三維人臉表情分析中被廣泛使用的三維剛體對齊算法.不過，ICP的形式僅僅適合剛體變換，對于不同的人物和表情，ICP算法無法在網(wǎng)格中找到點的全對應關系.因此需要一個算法來生成全稠密對應關系的映射或非剛體變換.Amberg[25]提出了一種非剛體的ICP算法，這個算法引入一個剛度值，控制每一次迭代中變換的程度.

FFDs是另一族用于非剛體注冊的算法，由Rueckert[29]提出.該算法的特點是通過操縱控制點的單元網(wǎng)格來使物體變形.首先對原網(wǎng)格中的單元網(wǎng)格通過一個最優(yōu)化過程，在目標網(wǎng)格上進行注冊，接著在變形中使用B樣條插值，在兩個三維網(wǎng)格中建立點對點的映射.Wang[26]使用該算法將粗糙的臉部網(wǎng)格擬合到表情序列的第一幀，Sandbach[27-28]則使用該算法在三維表情圖像序列中追蹤人臉網(wǎng)格的運動.Tsalakanidou[31-32]使用了ASM主動形狀模型來實現(xiàn)對人臉特征點的追蹤.

表1　三維人臉對齊與跟蹤算法比對

1.2　三維人臉表情數(shù)據(jù)庫

過去20年間，研究者們建立了三維人臉數(shù)據(jù)庫用于進行人臉建模和人臉識別.各個數(shù)據(jù)的比較見表2.Chang[33]通過使用結構光投射采集建立了第一個三維人臉表情數(shù)據(jù)庫，其中包括6個人物，每個人物擁有6種原型表情.BU-3DFE數(shù)據(jù)庫是首個成體系的人臉表情數(shù)據(jù)庫[34]，也是第一個可以用于人臉表情識別的數(shù)據(jù)庫.它包含了100個人物以4種不同強度、6種原型表情表現(xiàn)的三維人臉.這些模型根據(jù)人物臉部的大小，由20000到35000不等的多面體構成，此數(shù)據(jù)庫還包含了每個人臉模型的83個臉部特征點坐標作為補充數(shù)據(jù).

BU-4DFE[35]是首個包含三維人臉表情序列的數(shù)據(jù)庫，使用DI3D動態(tài)人臉捕捉裝置，對101個人物進行表情捕捉.此數(shù)據(jù)庫包含了6種原型表情的三維表情序列，其中每段都持續(xù)4 s左右.這個庫的視頻具有25/s的幀率及35000個頂點，可惜并沒有提供AU信息.

另一個包含靜態(tài)三維人臉表情模型的公開數(shù)據(jù)庫是Bosphorus數(shù)據(jù)庫[36].這個數(shù)據(jù)庫通過Inspeck Mega Capturor II 3D設備，對105個人物進行多姿態(tài)、表情和遮擋環(huán)境下的模型采集.每個人物都演繹了6種原型表情及24種AU，并對24個AU進行了手工標記.該數(shù)據(jù)庫中，圖像大小為1600*1200，三維人臉模型包含35000個頂點，隨庫附帶24個對鼻尖、眼角等人臉特征點的手工標記.

最近公布的ICT-3DRFE[37]數(shù)據(jù)庫包含了在不同光照條件下的超高清三維數(shù)據(jù)，可以用于測試自動三維人臉表情識別系統(tǒng)的性能.該數(shù)據(jù)庫包含了23個人物各15種表情，而每個模型包含1200000個頂點，對于每一段表情序列，都添加了人工標記的AU信息，根據(jù)肌肉活躍的程序給定0到1之間的強度值.

表2　三維人臉表情數(shù)據(jù)庫比較

1.3　三維人臉表情特征提取

三維人臉表情識別的主流研究方向[38-42][20,43]是對靜態(tài)三維人臉表情數(shù)據(jù)進行識別，不過最近有一些研究者開始對動態(tài)三維人臉表情數(shù)據(jù)[35][44-45]進行識別.靜態(tài)表情數(shù)據(jù)與動態(tài)表情數(shù)據(jù)的不同導致了特征提取方法間的巨大區(qū)別，下文將對這兩種特征提取方法分別進行敘述.

1.3.1靜態(tài)三維表情識別

靜態(tài)三維表情識別可以應用許多特征提取方法，包括距離特征、基于斑紋的特征、主動形狀模型、二維紋理特征，對這些特征進行分類可以識別原型表情和AU.

1) 距離特征：距離特征是靜態(tài)三維表情識別中使用最廣泛的表情特征，它是通過對特定臉部特征點求距離所得.與二維幾何方法跟蹤臉部基準點類似，當三維臉部發(fā)生形變時，特征將發(fā)生變化.BU-3DFE表情庫提供了83個臉部特征點的坐標，這些點的坐標以及它們的距離被廣泛應用在靜態(tài)三維人臉表情分析中.其中Soyel[38]使用了6種距離公式，對BU-3DFE中11個人臉特征點的位置提取特征并分類，獲得了91.3%的準確率.Tang[39]在人臉特征點距離的基礎上，提出了FAPUS(Facial Animation Parameter Units)距離，取得了95.1%的準確率.

2) 基于斑紋的特征：基于斑紋的特征是另一種使用廣泛的表情特征，通常使用斑紋特征可以獲得網(wǎng)格每個點周圍的形狀信息，也可以獲得每個臉部特征點周圍的形狀信息.Wang[19]在網(wǎng)格中的每個點上使用多項式光滑斑紋，并將其作為輸入去計算特征，在包含6種原型表情的自建庫中取得了83.6%的準確率.

3) 形變模型：形變模型擁有眾多變種，可以用于身份建模、表情建模，或者同時對兩者建立混合模型.Ramanathan[46]提出了形變表情模型MEM，可以對特定個體的一系列不同表情進行建模.Zhao[47]提出了SFAM模型用于識別表情，通過使用多尺度LBP特征作為圖像表征，在BU-3DFE表情庫上達到87.2%的平均識別率.

4) 二維紋理特征：通過將三維模型數(shù)據(jù)映射到二維圖像，可以提取出該三維模型對應的二維紋理特征.Berretti[48]使用三維人臉網(wǎng)格的深度圖，將圖像x、y坐標的深度值作為二維紋理特征，然后通過SIFT算法提取特征，在BU-3DFE表情庫中取得了78.4%的平均識別率.Vretos[49]首先對整個圖像的深度信息進行直方圖均衡化，然后使用Zernike矩進行分類，在BU-3DFE和Bosphorus庫上分別取得了73.0%和60.5%的表情識別率.

1.3.2動態(tài)三維表情識別

動態(tài)三維表情識別即使用三維表情模型序列而非單個或者多個靜態(tài)三維表情模型進行的表情識別.Chang[33]使用特征點追蹤表情變化過程中三維網(wǎng)格的形變.Yin[44]首先使用三維運動特征進行人臉表情分析，他使用一個形變模型追蹤幀之間的變化，計算運動向量，對其提取特征進行分類，在BU-4DFE表情庫上取得了80.2%的準確率.

1.4　三維人臉表情特征分類

三維人臉表情識別中使用的特征提取和特征分類方法通常與二維人臉表情識別中使用的方法類似，這里不再贅述.

2總結

從表情識別的發(fā)展現(xiàn)狀來看，有以下幾個熱點和趨勢：識別效率和速率提高，不斷有新的識別方法和改進方案被提出；從針對擺拍的表情識別往針對自發(fā)表情的識別發(fā)展；二維表情識別無法處理出平面信息，三維表情識別正在成為研究熱點；從針對靜態(tài)圖像的表情識別轉為針對動態(tài)圖像序列的表情識別；從對6種原型表情的識別轉為對更精細的AU、特殊表情的識別發(fā)展.另外，表情識別還存在以下的不足：缺乏對復雜光照、姿態(tài)、遮擋的表情識別研究；自發(fā)表情數(shù)據(jù)庫不足；對混合表情、非基本表情的研究欠缺深度.

鑒于以上分析，筆者認為在人臉表情識別領域，雖然基礎研究已經(jīng)相當豐富，已經(jīng)取得了可喜的成績，但和人類出眾的表情識別能力相比，仍有相當大差距，表情識別暫時難以獲得商業(yè)上的應用.在未來的人機交互中，計算機對隱式信息的理解必然是情感計算的重點，而人臉表情又包含了最多的人類隱式信息，表情識別必將在未來人機交互及情感計算中占據(jù)重要的地位.

參考文獻:

[1] PANTIC M, NIJHOLT A, PENTLAND A, et al. Human-Centred Intelligent Human? Computer Interaction (HCI2): how far are we from attaining it?[J]. International Journal of Autonomous and Adaptive Communications Systems,2008,1(2):168-187.

[2] AMBADY N, ROSENTHAL R. Thin slices of expressive behavior as predictors of interpersonal consequences: a meta-analysis[J]. Psychological bulletin,1992,111(2):256-274.

[3] PAUL S, PETER A, PIETROBON N, et al. Visual and spectrophotometric shade analysis of human teeth[J]. Journal of Dental Research,2002,81(8):578-582.

[4] 王志良,陳鋒軍,薛為民.人臉表情識別方法綜述[J].計算機應用與軟件,2004,20(12):63-66.

[5] 薛雨麗,毛峽,郭葉,等.人機交互中的人臉表情識別研究進展[J].中國圖象圖形學報,2009,14(5):764-772.

[6] 孫蔚,王波.人臉表情識別綜述[J].電腦知識與技術,2012,8(1):106-108.

[7] 王大偉,周軍,梅紅巖,等.人臉表情識別綜述[J].計算機工程與應用,2014,50(20)：149-157.

[8] WANG S F, WU C L, HE M H, et al. Posed and spontaneous expression recognition through modeling their spatial patterns[J]. Machine Vision and Applications,2015,26(2):219-231.

[9] FARAJZADEH N, PAN G, WU Z H. Facial expression recognition based on meta probability codes[J]. Pattern Analysis and Applications,2014,17(4):763-781.

[10] YANG M X, ZHENG S M, LI Y. Facial expression recognition based on LBP and SVM decision tree[C]//IIICFC. 2015 International Industrial Informatics and Computer Engineering Conference. Atlantis:Atlantis Press,2015:651-655.

[11] SIDDIQI M H, ALI R, KHAN A M. Human facial expression recognition using stepwise linear discriminant analysis and hidden conditional random fields[J]. IEEE Transactions on, Image Processing,2015,24(4):1386-1398.

[12] JIA Q, GAO X K, GUO H, et al. Multi-layer sparse representation for weighted LBP-patches based facial expression recognition[J]. Sensors,2015,15(3):6719-6739.

[13] GU H S, JI Q. An automated face reader for fatigue detection[C]//6th IEEE International Conference on.Automatic Face and Gesture Recognition, Proceedings.[S.l]: IEEE,2004:111-116.

[14] JI Q, LAN P, LOONEY C. A probabilistic framework for modeling and real-time monitoring human fatigue[J]. IEEE Transactions on, Systems, Man and Cybernetics, Systems and Humans,2006,36(5):862-875.

[15] KALIOUBY R E, ROBINSON P. Real-time inference of complex mental states from facial expressions and head gestures[M]//Real-time vision for human-computer interaction. NewYork:Springer US,2005:181-200.

[16] VAN DER MAATEN L, HENDRIKS E. Action unit classification using active appearance models and conditional random fields[J]. Cognitive processing,2012,13(Suppl2):507-518.

[17] GIRARD J M, COHN J F, JENI L A, et al. Spontaneous facial expression in unscripted social interactions can be measured automatically[J]. Behavior research methods,2015,47(4):1136-1147.

[18] ALKAWAZ M H, MOHAMAD D, BASORI A H, et al. Blend Shape Interpolation and FACS for Realistic Avatar[J]. 3D Research,2015,6(1):1-10.

[19] WANG J, YIN L J, WEI X Z, et al. 3D facial expression recognition based on primitive surface feature distribution[C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]:IEEE,2006,2:1399-1406.

[20] RAMANATHAN S, KASSIM A, VENKATESH Y V, et al. Human facial expression recognition using a 3D morphable model[C]//2006 IEEE International Conference on Image Processing. Atlanta:IEEE,2006:661-664.

[21] HE S, WANG S E, LYU Y P. Spontaneous facial expression recognition based on feature point tracking[C]//2011 Sixth International Conference on Image and Graphics. Hefei:IEEE,2011:760-765.

[22] BARTLETT M S, BRAATHEN B, SEJNOWSKI T J, et al. A prototype for automatic recognition of spontaneous facial actions[C]//Advances in neural information processing systems.[S.l]: NIPS,2002:1271-1278.

[23] VALSTAR M F, PANTIC M, AMBADAR Z, et al.Posed facial behavior: automatic analysis of brow actions[C]//Proceedings of the 8th international conference on Multimodal interfaces. NewYork:ACM,2006:162-170.

[24] BESL P J, MCKAY N D. Method for registration of 3-D shapes[M]//Schenker P S. Control paradigms and Data Structures. Boston:International Society for Optics and Photonics,1992:586-606.

[25] AMBERG B, ROMDHANI S, VETTER T. Optimal step nonrigid ICP algorithms for surface registration[C]//IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis:IEEE,2007,1-8:1491-148.

[26] WANG Y, GUPTA M, ZHANG S, et al. High resolution tracking of non-rigid motion of densely sampled 3D data using harmonic maps[J]. International Journal of Computer Vision,2008,76(3):283-300.

[27] SANDBACH G, ZAFEIRIOU S, PANTIC M, et al. A dynamic approach to the recognition of 3d facial expressions and their temporal models[C]//2011 IEEE International Conference on Automatic Face & Gesture Recognition and Workshops. Santa Barbara:IEEE,2011:406-413.

[28] SUN Y, CHEN X C, ROSATO M, et al. Tracking vertex flow and model adaptation for three-dimensional spatiotemporal face analysis[J]. IEEE Transactions on Systems, Man and Cybernetics: Systems and Humans,2010,40(3):461-474.

[29] RUECKERT D, SONODA L I, HAYES C, et al. Nonrigid registration using free-form deformations: application to breast MR images[J]. IEEE Transactions on Medical Imaging,1999,18(8):712-721.

[30] SAVRAN A, SANKUR B TAHA, BILGE M. Comparative evaluation of 3D vs. 2D modality for automatic detection of facial action units[J]. Pattern recognition,2012,45(2):767-782.

[31] TSALAKANIDOU F, MALASSIOTIS S. Real-time facial feature tracking from 2D+3D video streams[C]//3DTV Conference.[S.l.]：IEEE,2010:1-4.

[32] TSALAKANIDOU F, MALASSIOTIS S. Real-time 2D+3D facial action and expression recognition[J]. Pattern Recognition,2010,43(5):1763-1775.

[33] CHANG Y, VIEIRA M, TURK M, et al. Automatic 3D facial expression analysis in videos[M].ZHAO W U, GONG S G, TANG X O. Analysis and Modelling of Faces and Gestures. Berlin:Springer,2005:293-307.

[34] YIN L J, WEI X Z, SUN Y, et al. A 3D facial expression database for facial behavior research[C]//7th International Conference on Automatic face and gesture recognition. Southampton:IEEE,2006:211-216.

[35] YIN L J, CHEN X C, SUN Y, et al. A high-resolution 3D dynamic facial expression database[C]//8th IEEE International Conference on Automatic Face & Gesture Recognition. Amsterdam:IEEE,2008:1-6.

[37] STRATOU G, GHOSH A, DEBEVEC P, et al. Effect of illumination on automatic expression recognition: a novel 3D relightable facial database[C]//2011 IEEE International Conference on Automatic Face & Gesture Recognition and Workshops. Santa Barbara:IEEE,2011:611-618.

[38] SOYEL H, DEMIREL H. Facial expression recognition using 3D facial feature distances[M]. KAMEL M, CAMPILHO A. Image Analysis and Recognition. Berlin:Springer Berlin Heidelberg,2007:831-838.

[39] TANG H, HUANG T S. 3D facial expression recognition based on properties of line segments connecting facial feature points[C]//8th IEEE International Conference on Automatic Face & Gesture Recognition. Amsterdam:IEEE,2008:110-115.

[40] LI X L, RUAN Q Q, MING Y E. 3D facial expression recognition based on basic geometric features[C]//IEEE 10th international confence on signal processing proceedings. Beijing:IEEE,2010:1366-1369.

[41] TEKGUC U, SOYEL H, DEMIREL H. Feature selection for person-independent 3D facial expression recognition using NSGA-II[C]//24th International Symposium on Computer and Information Sciences. Guzelyurt:IEEE,2009:35-38.

[42] SHA T, SONG M L, BU J J, et al. Feature level analysis for 3D facial expression recognition[J]. Neurocomputing,2011,74(12):2135-2141.

[43] SRIVASTAVA R, ROY S. 3D facial expression recognition using residues[C]//TENCON 2009-2009 IEEE Region 10 Conference.Singapore:IEEE,2009:1160-1164.

[44] YIN L J, WEI X Z, LONGO P, et al. Analyzing facial expressions using intensity-variant 3D data for human computer interaction[C]//18th International Conference on Pattern Recognition. Hongkong:IEEE,2006,1:1248-1251.

[45] ROSATO M, CHEN X C, YIN L J. Automatic registration of vertex correspondences for 3D facial expression analysis[C]//2nd IEEE International Conference on Biometrics: Theory, Applications and Systems. Arlington:IEEE,2008:223-229.

[46] WAN S H, AGGARWAL J K. Spontaneous facial expression recognition: a robust metric learning approach[J]. Pattern Recognition,2014,47(5):1859-1868.

[47] ZHAO X, HUANG D, DELLANDRéA E, et al. Automatic 3D facial expression recognition based on a Bayesian Belief Net and a Statistical Facial Feature Model[C]//20th International Conference on Pattern Recognition. Istanbul:IEEE,2010:3724-3727.

[48] BERRETTI S, AMOR B B, DAOUDI M, et al. 3D facial expression recognition using SIFT descriptors of automatically detected keypoints[J]. The Visual Computer,2011,27(11):1021-1036.

[49] VERTOS N, NIKOLAIDIS N, PITAS I. 3D facial expression recognition using Zernike moments on depth images[C]//2011 18th IEEE International Conference on Image Processing. Brussels: IEEE,2011:773-776.

第15卷第1期2016年1月杭州師范大學學報(自然科學版)JournalofHangzhouNormalUniversity(NaturalScienceEdition)Vol.15No.1Jan.2016

The Researches and Progress of 3D Facial Expression Recognition

YAN Zheng, PAN Zhigeng

(Digital Media & Interaction Research Center, Hangzhou Normal University, Hangzhou 311121, China)

Abstract:With the fast development of human-computer interaction, the recognition of facial expression has already become the research focus. 2D facial expression images do not have the robustness of posture change and illumination variation. In order to solve these problems, researchers use 3D facial expression data to analyze expression. Basing on the prophase work, this survey summarizes the registration and tracing, expression data and feature extraction in 3D facial expression recognition. The focus, trend and limitation of facial expression recognition are put forward, and the future development is discussed.

Key words:affective computing; facial expression recognition; 3D facial expression recognition; facial expression feature extraction

文章編號:1674-232X(2016)01-0088-07

中圖分類號:TP391.4

文獻標志碼:A

doi:10.3969/j.issn.1674-232X.2016.01.017

通信作者：潘志庚(1965—)，男，教授，博士，主要從事虛擬現(xiàn)實與人機交互研究.E-mail:zgpan@cad.zju.edu.cn

基金項目：國家科技支撐計劃項目(2013BAH24F00); 國家科技支撐計劃項目(2015BAK04B05).

收稿日期：2015-04-16