基于支持向量機(jī)的實(shí)時(shí)表情識(shí)別

張鵬，賈銀山，劉陪勝

0 引言

面部表情在人們的交流中起著非常重要的作用，是人們進(jìn)行非語(yǔ)言交流的一種重要方式。表情含有豐富的人體行為信息，是情感最主要的載體，是智能的體現(xiàn)，對(duì)它的研究可以進(jìn)一步了解人類的心理狀態(tài)。目前，對(duì)表情的研究主要分為心理學(xué)領(lǐng)域和計(jì)算機(jī)領(lǐng)域的研究。在計(jì)算機(jī)領(lǐng)域，面部表情分析是情感計(jì)算中的研究熱點(diǎn)，其目的在于建立友好、人性化的人機(jī)交互界面，使計(jì)算機(jī)具備感知和理解人的情緒的能力。

面部表情是一種刻畫情緒、認(rèn)知、主體狀態(tài)以及他們?cè)谏鐣?huì)交往中的作用和角色的方法[1]。就自動(dòng)識(shí)別的觀點(diǎn)來看，面部表情可以被認(rèn)為是臉部組成部分和它們的空間關(guān)系的變形或是臉部的顏色變化。對(duì)面部表情自動(dòng)識(shí)別的研究，圍繞在這些變形或臉部顏色的靜態(tài)或者動(dòng)態(tài)特性的表示和分類上。

本文提出了在實(shí)時(shí)圖像中通過對(duì)面部表情的識(shí)別，來自動(dòng)識(shí)別人的情感的方法。它是基于支持向量機(jī)的機(jī)器學(xué)習(xí)方法。臉部特征跟蹤器從視頻流特征運(yùn)動(dòng)中收集了一系列位移，然后由已經(jīng)訓(xùn)練好的SVM分類器去識(shí)別未知的表情。

1 面部特征的提取

選取適合于視頻系統(tǒng)的特征位移方法來獲取面部特征形變信息。在能夠很好地反映表情變化的眉毛、眼睛、鼻子、嘴等五官周圍標(biāo)定23個(gè)特征點(diǎn)，其中鼻尖點(diǎn)與兩眼內(nèi)點(diǎn)作為標(biāo)準(zhǔn)化處理時(shí)的基準(zhǔn)點(diǎn)，除鼻尖外的22個(gè)點(diǎn)作為面部的特征點(diǎn)。引用基準(zhǔn)點(diǎn)的目的是對(duì)跟蹤的特征點(diǎn)進(jìn)行標(biāo)準(zhǔn)化，通過對(duì)3個(gè)基準(zhǔn)點(diǎn)所構(gòu)成三角形的平移及旋轉(zhuǎn)的判斷，得到其它特征點(diǎn)的準(zhǔn)確位置和特征位移。從而消除由距離相機(jī)的遠(yuǎn)近、頭部運(yùn)動(dòng)（如平移或頭部?jī)A斜）等引起的特征位移的誤差，提高識(shí)別的準(zhǔn)確率。

如圖1所示，使用主動(dòng)形狀模型（ASM）[2][3]方法自動(dòng)地對(duì)特征點(diǎn)進(jìn)行標(biāo)定，然后用改進(jìn)的L-K光流算法[4]對(duì)標(biāo)定的特征點(diǎn)進(jìn)行跟蹤，獲得它們?cè)陔S后一系列幀中的位置。對(duì)于每個(gè)表情，用中性表情和面部表情所表示的高峰幀特征點(diǎn)之間的歐氏距離來計(jì)算特征位移向量。圖2所示，為每個(gè)表情建立其特有的特征運(yùn)動(dòng)模式。在運(yùn)動(dòng)量是最小值（初期的中性表情階段）和在運(yùn)動(dòng)穩(wěn)定的達(dá)到峰值時(shí)（表情序列的最后階段），特征位置都會(huì)被自動(dòng)捕獲。

圖1 面部特征點(diǎn)的標(biāo)定與跟蹤

圖2 特征點(diǎn)運(yùn)動(dòng)模型

2 表情的分類

2.1 支持向量機(jī)

支持向量機(jī)（SVM）[5][6]是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的學(xué)習(xí)方法。它的基本思想是在樣本空間或特征空間，構(gòu)造出最優(yōu)超平面，使得超平面與不同類樣本集之間的距離最大，從而達(dá)到最大的泛化能力。其理論是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，基本思想可用圖2的二維情況來說明。

圖中實(shí)心點(diǎn)和空心點(diǎn)分別代表兩類樣本，H為分類線，H1和H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔（margin）。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開，而且使分類間隔最大。

利用Langrange優(yōu)化方法可以把上述最優(yōu)分類面問題轉(zhuǎn)化為其對(duì)偶問題：

α為與每個(gè)樣本對(duì)應(yīng)的Langrange乘子，求解對(duì)應(yīng)的樣本就是支持向量，得到最優(yōu)分類函數(shù)：

對(duì)于非線性問題，可以通過非線性轉(zhuǎn)化為某個(gè)高維空間中的線性問題，在變換空間最優(yōu)分類超平面。選用合適的核函數(shù)K（xi，xj）滿足Mercer條件變換到高維空間，并選取適當(dāng)?shù)膽土P參數(shù)C﹥0，得最優(yōu)問題：

相應(yīng)的分類函數(shù)為：

將SVM推廣解決多分類問題[7]有兩種方法，第一種方法是通過層疊的二值分類器，將多分類問題轉(zhuǎn)化為二分類問題。第二種方法是通過修改目標(biāo)函數(shù)，從根本上解決SVM處理多分類問題。目前多采用第一類方法。對(duì)于K類問題，給定訓(xùn)練集，其中。由此可見，求解多分類問題，實(shí)質(zhì)上就是找到一個(gè)把Rn上的點(diǎn)分成K部分的規(guī)則。常用的方法有：

1）一對(duì)多SVM分類

一對(duì)多SVM分類是最為簡(jiǎn)單的，也是最為普通的實(shí)現(xiàn)方案。對(duì)于k（k≥2）類SVM分類問題，把其中某一類作為一類，其余k-1類視為一類，自然地將k分類問題轉(zhuǎn)化為二分類問題。這種分類方法在訓(xùn)練過程中，每個(gè)分類函數(shù)都需要所有的樣本參與。

2）一對(duì)一SVM分類

該方法在每?jī)深愑?xùn)練一個(gè)分類器，因此對(duì)于一個(gè)k類問題，將有k（k-1）/2個(gè)分類函數(shù)。當(dāng)對(duì)一個(gè)未知樣本進(jìn)行分類時(shí)，每個(gè)分類器都對(duì)其類進(jìn)行判斷，并為相應(yīng)的類別“投上一票”，最后得票最多的類別即為該未知樣本的類別。

3）層（樹）分類方法

這種方法是一對(duì)一方法的改進(jìn)，首先將所有類別分成兩個(gè)子類，再將子類進(jìn)一步劃分成兩個(gè)次級(jí)子類，如此循環(huán)下去，直到得到一個(gè)單獨(dú)的類別為止，這樣就得到一個(gè)倒立的二叉分類樹。該方法將原有的多類問題同樣分解成了一系列的兩類分類問題，其中兩個(gè)子類間的分類函數(shù)采用SVMs。

2.2 表情的分類

本文使用一種支持向量機(jī)編碼多分類的方法，子分類器的數(shù)目N=log2K，表情類別數(shù)K=7，則子分類器的數(shù)目為3。對(duì)7種表情采用二進(jìn)制編碼，如表1：

表1 表情類別編碼表

按順序取編碼的第一位0，1，0，1，0，1，0這7個(gè)數(shù)字意味著將第2、4、6類的樣本作為正類，第1、3、5、7類的樣本當(dāng)作反類訓(xùn)練第一個(gè)子SVM1。第二位0，0，1，1，0，0，1這6個(gè)數(shù)字意味著將第3、4、7類的樣本作為正類，第1、2、5、6類的樣本當(dāng)作反類訓(xùn)練第二個(gè)子SVM2.第三位0，0，0，0，1，1，1這7個(gè)數(shù)字意味著將第5、6、7類的樣本作為正類，第1、2、3、4類的樣本當(dāng)作反類訓(xùn)練第三個(gè)子SVM3。

跟蹤器從視頻流中提取22個(gè)面部特征的位置，計(jì)算每個(gè)特征點(diǎn)在中性表情和表情的峰值之間的特征位移。這些特征位移及相應(yīng)的表情類型作為SVM的輸入，然后對(duì)SVM分類器進(jìn)行訓(xùn)練。得到一個(gè)訓(xùn)練好的SVM分類器，對(duì)實(shí)時(shí)的未知的表情進(jìn)行分類。分類過程用圖4描述：

圖4 分類流程圖

其中邏輯運(yùn)算包含兩個(gè)步驟：

1.根據(jù)編碼表將SVM輸出轉(zhuǎn)化為決策結(jié)果，如果SVM1輸出{+1}，則決策樣本x的可能類別為（2，4，6）。

2.求出所有子SVM的決策輸出集合的交集即是樣本x所屬類別。

對(duì)于新的測(cè)試樣本，如3個(gè)SVM的輸出依次為{+1，-1，+1}，則3個(gè)支持向量機(jī)作出的決策分別是（2，4，6）、（1，2，5，6）、（5，6，7），可判斷新的測(cè)試樣本歸為第6類--恐懼。

3 實(shí)驗(yàn)結(jié)果

為了確定特征位移和SVM對(duì)表情識(shí)別的準(zhǔn)確率，我們最初評(píng)價(jià)我們的方法仍然使用的是Cohn-Kanade面部表情數(shù)據(jù)庫(kù)[8]的圖像。人工定義每幅圖像特征點(diǎn)，然后獲得中性面部表情和其它表情代表的幀之間的位移。用一套20個(gè)例子的基本表情用于訓(xùn)練，然后對(duì)15個(gè)未知的表情實(shí)例進(jìn)行分類，取得了較高的分類準(zhǔn)確率。

本文采用k-fold cross-validation檢驗(yàn)方法對(duì)分類結(jié)果的評(píng)價(jià)，在k-fold cross- validation檢驗(yàn)方法中，隨機(jī)將數(shù)據(jù)庫(kù)分為K個(gè)子集合作為訓(xùn)練集，此過程循環(huán)k次。

對(duì)于視頻分類，試驗(yàn)使用的表情數(shù)據(jù)庫(kù)包括對(duì)10個(gè)對(duì)象的六種基本表情的視頻序列，視頻序列是中性表情到表情高潮的變化序列，對(duì)每個(gè)表情采集了5-7個(gè)序列。并對(duì)每個(gè)表情幀進(jìn)行標(biāo)準(zhǔn)化，以減少頭部運(yùn)動(dòng)帶來的分類誤差。如表2，列出標(biāo)準(zhǔn)化與未標(biāo)準(zhǔn)化的識(shí)別準(zhǔn)確率的差別。

表2 標(biāo)準(zhǔn)化與未標(biāo)準(zhǔn)化的識(shí)別率比較

訓(xùn)練集由每種表情的35個(gè)視頻序列組成，各種表情剩下的一個(gè)序列用來構(gòu)成測(cè)試集。完成一次識(shí)別后每種表情的第一個(gè)序列用來構(gòu)成新的測(cè)試集，而原來測(cè)試集中的序列被包含在新的訓(xùn)練集中，這個(gè)過程一直進(jìn)行到所有的視頻序列都被用作測(cè)試集一次。分類準(zhǔn)確率通過正確分類的面部表情序列的平均百分率來衡量。表3顯示了分類的準(zhǔn)確率。

表3 使用SVM分類的準(zhǔn)確率

使SVM分類器得到較高的分類準(zhǔn)確率的一個(gè)參數(shù)是核函數(shù)。本文比較了Sigmoid核函數(shù)和RBF核函數(shù)的分類效果，同時(shí)，本文還比較一對(duì)一多分類與編碼多分類的識(shí)別效果。表4的試驗(yàn)結(jié)果表明，用編碼多分類比一對(duì)一多分類方法明顯地提高了識(shí)別率，而且所消耗的時(shí)間也要比一對(duì)一多分類方法小得多。

表4 識(shí)別效果比較

4 結(jié)論

在本文中，我們提出了在實(shí)時(shí)圖像中表情識(shí)別的方法。試驗(yàn)結(jié)果顯示，面部特征位移與SVM結(jié)合的方法用于表情分類具有較高的分類準(zhǔn)確率。我們使用了ASM方法自動(dòng)地對(duì)特征點(diǎn)進(jìn)行標(biāo)定，提高了特征點(diǎn)標(biāo)定的效率。使用了改進(jìn)的L-K光流算法，該方法更能適用于面部特征信息的提取，對(duì)面部特征點(diǎn)的跟蹤準(zhǔn)確率和魯棒性都有所提高。使用了基于編碼支持向量機(jī)的多分類方法，該方法在縮小消耗時(shí)間的同時(shí)也提高了識(shí)別準(zhǔn)確率。

由于面部表情受文化、性別等因素影響，個(gè)體差別較大，且實(shí)驗(yàn)的數(shù)據(jù)樣本有限，因此結(jié)果不具有普遍性。下一步的工作可以考慮以更大的數(shù)據(jù)集作為實(shí)驗(yàn)對(duì)象，建立更為普遍的表情模型。特征提取階段的標(biāo)準(zhǔn)化程序應(yīng)進(jìn)一步加強(qiáng)，考慮由頭部轉(zhuǎn)動(dòng)帶來的誤差，得到更加準(zhǔn)確的特征位移，從而得到更高的分類準(zhǔn)確率。

[1]Donato G，Barlett M S，Hager J C，Ekman P，Sejnowski T J.“Classifying Facial Actions”，IEEE Trans.Pattern Analysis and Machine Intelligence，Vol.21，No.10.974-989，1999.

[2]Cootes T F，Taylor C J，Cooper D H，and Haslam J.Training Models of Shape from Sets of Examples，in Proc.British Machine Vision Conference.Springer-Verlag，1992.9-18.

[3]Cootes T F，Taylor C J，Cooper D H，and Graham J，"Active Shape Models-Their Training and Application"，Computer Vision and Image Understanding，61（I），19 95.38-5 9.

[4]Jean-Yves Bouguet.Pyramidal implementation of the Lucas Kanade feature tracker.Technical Report，Intel Corporation，Microprocessor Research Labs 2000.

[5]Vapnik V.The Nature of Statistical Learning Theory.New York: Springer-Verlag 1995.

[6]鄧乃揚(yáng)，田英杰.數(shù)據(jù)挖掘中的新方法-支持向量機(jī)[J].科學(xué)出版社.2006.

[7]鄭勇濤，劉玉樹.支持向量機(jī)解決多分類問題研究[J].計(jì)算機(jī)工程與應(yīng)用.2005，第41卷第23期:190-192.

[8]Kanade T，Cohn J，and Tian Y.Comprehensive database for facial expression analysis.In Proceedings of the 4th IEEE International Conference on Automatic Face and Gesture Recognition（FG’00），46-53，2000.