人臉表情識別在智能機器人中的應用研究

潘崢嶸，賀秀偉

(蘭州理工大學 電氣與信息工程學院，甘肅 蘭州 730050)

0 引 言

表情是人類傳達自己內心的情緒、情感和意圖最有效和直接的方式。研究表明，表情包含了人類傳達情感55%的信息[1]。因此，表情識別在研究機器人與人進行情感交互的系統(tǒng)中起著非常重要的作用。目前，表情識別研究取得的成果非?？捎^[2]。Zhang等[3-4]對表情識別的智能機器人人機交互的應用做了一定的研究。但是要滿足生活中的實際應用還有許多關鍵問題需要解決，如采集人臉表情圖像時光照不均勻，人臉姿態(tài)的旋轉，圖像的尺度差異，不同身份人臉的差異等影響因子。針對這些技術難點，很多學者都提出了自己的解決方案。

表情識別主要包含三個過程：人臉檢測、表情特征提取、表情分類。表情特征提取是最為重要的一個步驟，有效合理地表征表情特征是準確分類的關鍵?，F(xiàn)階段的人臉表情特征提取大致分為三類：基于形狀特征的模型、基于紋理特征的模型、基于混合特征的模型。Cootes等提出幾種典型的人臉特征提取模型，有主動形狀模型(active shape models，ASM)[5]、局部約束模型(constrained local models，CLM)[6]、主動表觀模型(active appearance models，AAM)[7]。AAM是基于ASM提出的算法，有很好的形狀和紋理特征的匹配性能，但是擬合過程計算復雜度高，缺乏實時性。CLM在目標圖像上設置定位點，對于標記點的檢測具有很高的實時性和魯棒性，但是缺乏紋理描述能力。基于紋理特征的方法有Gabor小波、局部二進制模式(local binary pattern，LBP)[8]、局部Gabor二進制模式(local Gabor binary pattern，LGBP)[9]、自適應加權的局部二值模式[10]等。Gabor小波有多尺度、多方向的圖像表征能力，但是局部細節(jié)信息描述能力不足。LBP可以精細地表征細節(jié)信息，但缺乏尺度和方向變化的魯棒性。LGBP結合了Gabor小波和LBP兩者的優(yōu)點，有更強的圖像特征表征能力，但是其對面部表情特征點缺乏精確定位的能力。Chen等[11]利用混合特征的方法分別提取面部標記點和局部紋理特征來進行表情分類，效果不錯。

針對上述方法的不足，文中采用具有姿態(tài)和旋轉魯棒性的BRISK[12]特征描述子與AAM相結的方法進行快速的形狀和紋理特征提取。用LGBP對AAM的紋理特征進行二次提取，以增強表情特征的可分性。

1 特征提取模型算法

傳統(tǒng)AAM模型擬合算法的復雜度太高，不能滿足實時性的應用要求。Georgios等[13]提出的Fast-SIC(fast-simultaneous inverse compositional)擬合算法極大地提高了模型提取特征的時效性。由于表情特征提取過程中人臉圖像存在一定的姿態(tài)變化，為了提高表情特征點的檢測與匹配精度，采用對姿態(tài)旋轉變化具有魯棒性的新特征檢測與描述算子BRISK進行特征匹配。最后，對AAM的紋理特征采用LGBP進行二次提取，在一定程度上提高了表情特征的描述能力。

1.1 基于Fast-SIC擬合的AAM算法

AAM算法主要包括三個步驟：形狀模型的建立、紋理模型的建立、AAM模型的擬合?；贔ast-SIC擬合的AAM算法步驟如下：

設訓練圖像集為Ii(x)∈RN,有n個標記點的向量S=(x1,y1,x2,y2,…,xn,yn)T。

Step1：建立形狀模型。

其中，s0為平形狀；S為n個形狀向量組成的特征矩陣；p為形狀參數(shù)。

Step2：建立紋理模型。

其中，A0為平均紋理；A為m個紋理向量組成的特征矩陣；c為紋理參數(shù)。

Step3：Fast-SIC擬合模型。

用Fast-SIC擬合算法的AAM模型在LFPW圖像數(shù)據(jù)庫中對測試圖像提取形狀和紋理特征的實驗結果，如圖1所示。由圖1可知，F(xiàn)ast-SIC擬合算法的AAM模型具有很高的形狀擬合精度和從表觀空間中重建描述表觀模型的性能。

圖1 提取結果

1.2 BRISK特征點匹配

BRISK算法使用自適應通用加速分割檢測(AGAST)算子在尺度空間內檢測特征點，其基礎是FAST角點檢測算法。利用特征點的鄰域采樣模式，將離散同心圓上均勻分布的采樣點依據(jù)一定規(guī)則描述為512 bit的二進制比特串，再用兩個描述符之間的漢明距離來衡量其特征的相似度。

1.3 LGBP特征提取

LBP[14]是一種灰度范圍內像素層級的紋理度量。LBP方法本質上提取的是圖像的邊緣、角點等局部變化特征，該特征對人臉圖像描述非常重要。但是邊緣特征有尺度和方向的差異性，原始LBP不能提取該特征。而LGBP結合了Gabor變化提取多尺度、多方向的局部圖像特性的優(yōu)越性，可以很好地描述這些差異性，可以描述圖像中更多區(qū)分性的特征信息。

LGBP特征提取過程為：先對歸一化的人臉圖像進行多方向，多分辨率Gabor小波濾波，提取不同方向和尺度的多個Gabor幅值閾譜，然后對每個Gabor幅值閾譜提取LBP特征，最后組成LGBP特征描述子。

2 表情識別在智能機器人中的應用研究

表情識別在智能機器人中的應用主要體現(xiàn)在人性化的智能人機交互系統(tǒng)?；诒砬樽R別的智能人機交互系統(tǒng)主要由人臉檢測、表情特征提取、表情分類和交互策略模塊等組成。文中主要論述解決表情識別中關鍵問題的算法。表情識別的智能交互系統(tǒng)整體流程如圖2所示。

圖2 系統(tǒng)整體框架

提取有效的表情特征是表情識別成功的關鍵。為了從人臉表情圖像中提取包含形狀和紋理而且判別性高的特征信息，研究中常采用的特征提取模型有ASM，CLM和AAM，以及對其改進的模型[15-16]。AAM模型與其他模型相比，不僅包含了可變目標的形狀特征，而且還有比較準確的紋理特征。文中在研究傳統(tǒng)AAM模型的基礎上，改進傳統(tǒng)模型擬合算法得到人臉原始圖像的形狀和紋理更高效的表達，最后應用于自動人臉表情識別的機器人智能交互系統(tǒng)中。

AAM模型擬合的目標是尋找一組形狀和表觀參數(shù)為訓練模型和給定輸入圖像之間提供最好的擬合效果。近年來，為了降低給定輸入圖像和訓練模型之間的誤差，提出了很多模型擬合算法和策略以達到最優(yōu)的擬合效果。Fast-SIC擬合算法具有一定的高效性，但是Fast-SIC擬合的AAM對人臉的旋轉、姿態(tài)變化和快速移動很敏感。因此，為了從旋轉的人臉圖像中提取有效的形狀和紋理特征信息，AAM必須在帶有旋轉和姿態(tài)變化的人臉庫中再次重復訓練。然而，訓練過程通常比較耗時和低效，并且需要存取帶有各種頭部姿態(tài)旋轉的大樣本圖像數(shù)據(jù)庫，有時會因計算代價太大而導致訓練過程不可行。為了解決這個缺陷，需要一種高效的擬合算法。

BRISK是一種具有旋轉和尺度不變性的關鍵點檢測、描述和匹配的算法。該算法對處理旋轉和尺度變化的特征有很好的魯棒性和高效性，適合應用于對計算能力和時間有要求的特征提取過程。

文中采用了基于AAM和BRISK組合模型的特征提取方法，該方法是一種具有旋轉不變性的特征提取模型。首先，利用訓練好的AAM實時地提取初始的形狀特征信息，再用Fast-SIC算法對測試圖像進行擬合，然后終止Fast-SIC算法。接著，開始構建BRISK算法。將AAM中提取的形狀信息s轉換成兩個關鍵點向量k1和k2，k1表示前一幀的關鍵點，k2表示當前幀的關鍵點。利用生成的關鍵點計算得到兩個BRISK描述子，再用近似最近鄰算法(approximate nearest neighbor，ANN)匹配生成的兩個BRISK描述子。將ANN搜索匹配后的BRISK描述子作為形狀信息的最后輸出。紋理特征是在生成帶標記形狀的指導下從AAM中提取出來的，標記點采用常用的68點人臉面部關鍵特征點標記。將AAM和BRISK結合提取的紋理特征用LGBP進行特征二次提取，進一步提高紋理特征的判別能力。最后，將優(yōu)化的形狀和紋理特征結合之后進行表情分類。利用AAM和BRISK組合的方法提取形狀和紋理特征的詳細過程如圖3所示。

圖3 AAM和BRISK提取形狀和紋理特征

3 實驗及結果分析

在Cohn-Kanade(CK+)[17]和LFPW[18]人臉庫上進行面部特征點的檢測實驗，在CK+表情庫上進行人臉表情識別的實驗。CK+人臉庫包含123個對象的593個圖像序列，每張圖片都帶有68個面部標記點。庫中包含七種基本表情：anger，contempt，disgust，fear，happy，sadness，surprise。為了構建魯棒高效的AAM模型，選取了32個對象的2 990張圖片來訓練AAM模型。這些圖片包含了人臉從中性表情變化到其他表情峰值的信息。AAM模型訓練的輸入參數(shù)為訓練圖片和與其對應的68個標記點。LFPW包含了從網絡上抓取的1 432張人臉圖片，每張圖片帶有29個標記點，Sagonas等[19]將其重復標記為68點，選取811張圖片作為訓練集，224張圖片作為測試集。

在NAO機器人平臺上進行人臉表情識別與交互實驗。該平臺提供了C++SDK(NAOqi2.1.3)開發(fā)包，可以高效地開發(fā)機器人視覺、語音和運動的智能組件。NAO機器人配有920 P攝像頭，最高分辨率為1 280*720像素，視頻幀率為30 fps,可以滿足實時視頻圖像處理應用的要求。該機器人提供了視覺系統(tǒng)API且兼容OpenCV開發(fā)包，要實現(xiàn)表情識別的交互系統(tǒng)只需開發(fā)核心算法即可。在表情識別的機器人智能交互系統(tǒng)中，表情識別的結果會反饋給語音交互系統(tǒng)，執(zhí)行預設的交互功能，語音交互系統(tǒng)可以利用NAOqi系統(tǒng)提供的Audio模塊實現(xiàn)。

3.1 人臉特征點定位實驗

該實驗采用基于Fast-SIC擬合算法的AAM模型進行特征點的檢測與定位。為了得到更好的擬合效果，實驗采用多分辨率的擬合方法，兩種不同分別率的參數(shù)設置分別為:低分辨率下紋理特征取50維，形狀特征取3維;高分辨率下紋理特征取200維，形狀特征取10維。利用常用的方法來評估AAM模型對特征點檢測定位的精度，計算模型定位的特征點坐標與樣本手動標定的特征點坐標之間距離的平均誤差，除以定位人臉尺寸長寬之和的一半，作為單張人臉圖像檢測定位的誤差。

整個測試集的誤差評估是通過對設定誤差范圍內參與評估測試圖像所占測試集的比例與設定誤差的關系曲線來描述。誤差評估描述曲線如圖4所示。

圖4 特征點定位誤差曲線

從圖4中可以看出,特征點誤差在小于0.05時，分別覆蓋了CK+和LFPW中選取的測試集的95%和90%。文獻[12]中指出，誤差在0.03附近即表現(xiàn)出了很好的擬合特性。LFPW中的樣本從復雜背景下采集，姿態(tài)、光照、尺度等影響因素較大，導致LFPW的擬合誤差略大于CK+。

3.2 表情識別實驗

在CK+表情庫中選取327個有表情類別標記的圖像序列，每個序列抽取與峰值表情連續(xù)的5幀圖像，共1 635個樣本。選取1 090個樣本作為訓練集，545個樣本作為測試集。實驗步驟如下：

(1)AdaBoost人臉檢測算法檢測定位人臉；

(2)AAM和BRISK結合的模型擬合特征點獲取形狀和紋理特征；

(3)LGBP對紋理特征二次提??；

(4)用SVM分別對形狀和紋理以及二者的融合特征做分類。

SVM分類算法采用開源工具LIBSVM，核函數(shù)選用線性核函數(shù)，其他參數(shù)用默認設置。表情識別率的實驗結果如表1所示。

表1 提取的不同特征對7種表情識別率的對比

表情類別識別率shapetextureconfusionLGBP+confusionanger54/7562/7569/7572/7572.00%82.67%92.00%94.74%contempt15/3024/3024/3026/3050.00%80.00%80.00%86.67%disgust89/10087/10090/10092/10089.00%87.00%90.00%92.00%fear8/4023/4022/4035/4020.00%57.50%55.00%87.50%happy96/115109/115109/115112/11683.48%94.78%94.78%96.55%sadness19/4830/4830/4831/4839.58%62.50%62.50%64.58%surprise93/138132/138132/138138/13866.91%95.65%95.65%1.00%total68.50%85.53%87.18%92.67%

根據(jù)表1可以看出，用形狀特征做表情分類，識別率(68.50%)最低。LGBP二次提取紋理特征再結合形狀的特征做表情分類，識別率(92.67%)最高。形狀特征受表情圖像的面部特征點運動幅度影響很大，所以對面部特征點幾何運動幅度小的fear，sadness表情分類效果很差。而紋理特征相比形狀特征對表情變化有更為細節(jié)性的表達，識別率有明顯提高。形狀與紋理特征的融合可以進一步提高識別率。LGBP提取的紋理特征，不僅對光照、姿態(tài)變化具有魯棒性，而且表情細節(jié)信息的表達更豐富，取得了很好的識別率(92.67%)。文中方法與其他相關方法在CK+表情庫的平均識別率比較如表2所示。

表2 文中方法與相關方法平均表情識別率比較

由表2可知，文中方法利用LGBP提取紋理特征可以獲得表情信息更具判別性的表達，該方法在CK+表情庫上的表情識別率優(yōu)于對比方法。

4 結束語

為了解決基于傳統(tǒng)AAM的表情識別算法在機器人智能交互系統(tǒng)中難以達到實時性的問題，采用Fast-SIC擬合算法提高了AAM擬合速度，并結合新的特征檢測描述子BRISK做人臉面部的關鍵特征點匹配，然后通過LGBP對AAM的紋理特征進行二次提取以增強表情特征的判別性，最后用SVM分類器對表情進行識別與分類。實驗結果表明，該方法對人臉特征點檢測定位具有實時性和姿態(tài)旋轉的魯棒性，對表情特征的描述具有很好的判別性。實驗結果驗證了算法的有較性。但是，該算法對微弱表情的判別性能較差，下一步研究目標是實現(xiàn)對微弱表情特征的更有效表達，使得表情識別在智能機器人交互應用中更人性化。

[1] EKMAN P,FRIESEN W V.Constants across cultures in the face and emotion[J].Journal of Personality & Social Psychology,1971,17(2):124-129.

[2] 薛雨麗,毛 峽,郭 葉,等.人機交互中的人臉表情識別研究進展[J].中國圖象圖形學報,2009,14(5):764-772.

[3] ZHANG L, MISTRY K,HOSSAIN A. Shape and texture based facial action and emotion recognition[C]//Proceedings of the 2014 international conference on autonomous agents and multi-agent systems.Richland,SC:International Foundation for Autonomous Agents and Multiagent Systems,2014:1659-1660.

[4] MISTRY K,LI Z,BARNDEN J.Intelligent facial expression recognition with adaptive feature extraction for a humanoid robot[C]//International joint conference on neural networks.[s.l.]:IEEE,2015:1-8.

[5] COOTES T F,EDWARDS G J,TAYLOR C J.Comparing active shape models with active appearance models[C]//British machine vision conference.Nottingham:[s.n.],1999:173-182.

[6] CRISTINACCE D,COOTES T F.Feature detection and tr-acking with constrained local models[C]//British machine vision conference.Edinburgh,UK:[s.n.],2006:929-938.

[7] COOTES T F,EDWARDS G J,TAYLOR C J.Active appearance models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2001,23(6):681-685.

[8] SHAN C,GONG S,MCOWAN P W.Facial expression recognition based on local binary patterns:a comprehensive study[J].Image & Vision Computing,2009,27(6):803-816.

[9] ZHANG W, SHAN S, GAO W,et al.Local Gabor binary pattern histogram sequence (lgbphs):a novel non-statistical model for face representation and recognition[C]//Tenth IEEE international conference on computer vision.[s.l.]:IEEE,2005:786-791.

[10] 胡 敏,許艷俠,王曉華,等.自適應加權完全局部二值模式的表情識別[J].中國圖象圖形學報,2013,18(10):1279-1284.

[11] CHEN H Y,HUANG C L,FU C M.Hybrid-boost learning for multi-pose face detection and facial expression recognition[J].Pattern Recognition,2008,41(3):1173-1185.

[12] LEUTENEGGER S,CHLI M,SIEGWART R Y.Brisk:binary robust invariant scalable keypoints[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2011:2548-2555.

[13] TZIMIROPOULOS G,PANTIC M.Optimization problems for fast aam fitting in-the-wild[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2013:593-600.

[14] OJALA T,HARWOOD I.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,29(1):51-59.

[15] 黃 飛,譚守標.基于改進主動表觀模型算法的人臉特征定位[J].計算機工程與應用,2015,51(16):204-209.

[16] 王 晶,蘇光大,劉炯鑫,等.融合改進的asm和aam的人臉形狀特征點定位算法[J].光電子·激光,2011,22(8):1227-1230.

[17] LUCEY P,COHN J F,KANADE T,et al.The extended cohn-kanade dataset (ck+):a complete dataset for action unit and emotion-specified expression[C]//IEEE computer society conference on computer vision and pattern recognition workshops.[s.l.]:IEEE,2010:94-101.

[18] BELHUMEUR P N,JACOBS D W,KRIEGMAN D J,et al.Localizing parts of faces using a consensus of exemplars[C]//IEEE conference on computer vision and pattern recognition.Colorado Springs,Co,USA:IEEE,2011:545-552.

[19] SAGONAS C,TZIMIROPOULOS G,ZAFEIRIOU S,et al.300 faces in-the-wild challenge:the first facial landmark localization challenge[C]//Proceedings of the IEEE international conference on computer vision workshops.[s.l.]:IEEE,2013:397-403.

[20] WU T,BARTLETT M S,MOVELLAN J R.Facial expression recognition using Gabor motion energy filters[C]//IEEE computer society conference on computer vision and pattern recognition workshops.[s.l.]:IEEE,2010:42-47.