基于L1范數(shù)特征臉的人臉表情識(shí)別算法

馬祥，李文敏，付俊妮

（長(zhǎng)安大學(xué) 信息工程學(xué)院，陜西西安710064）

人臉表情識(shí)別就是一種通過(guò)計(jì)算機(jī)對(duì)人臉的面部表情信息進(jìn)行特征提取并分類的方法。大部分現(xiàn)有的表情特征提取方法的目標(biāo)函數(shù)都是基于L2范數(shù)[1-7]的，其中L2范數(shù)對(duì)異常值非常敏感，導(dǎo)致人臉表情識(shí)別性能極差。文中提出一種基于L1范數(shù)特征臉的人臉表情識(shí)別算法，將特征臉與L1范數(shù)結(jié)合起來(lái)進(jìn)行表情識(shí)別。對(duì)預(yù)處理后的訓(xùn)練樣本進(jìn)行特征提取形成特征臉向量集合，通過(guò)L1范數(shù)方法對(duì)特征臉向量集合分類實(shí)現(xiàn)人臉表情識(shí)別。在日本JAFEE和美國(guó)AR人臉表情數(shù)據(jù)庫(kù)上的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)特征空間的選擇不挑剔，同時(shí)對(duì)于特定和非特定人臉表情識(shí)別均實(shí)現(xiàn)了較滿意的識(shí)別率。

1 本文算法

1.1 特征臉向量集提取

將所有的訓(xùn)練集人臉表情樣本和測(cè)試樣本都經(jīng)過(guò)預(yù)處理后生成w×f的灰度圖片，w和f分別表示人臉圖像樣本的高度和寬度的像素值，然后將其轉(zhuǎn)換為一個(gè)G維的列向量[8-11]，其中G=w×f。假設(shè)人臉表情庫(kù)中共有M個(gè)訓(xùn)練表情樣本，則所有訓(xùn)練表情樣本可以組合成一個(gè)矩陣Z=(z1,z2,…,zM)T，向量zi表示第i個(gè)圖像構(gòu)成的一組G維列向量，其中i=1,2,…,M。訓(xùn)練表情樣本的“平均臉”X可表示為：

每個(gè)測(cè)試表情樣本與“平均臉”的差值θi表示為：

然后協(xié)方差矩陣C表示為：

其中，H代表所有測(cè)試表情樣本與平均臉的差值，即H=(θ1,θ2,…,θM)。為降低計(jì)算量，采用奇異值分解定理，通過(guò)求解HTH的特征值和特征向量來(lái)獲得HHT的特征值和特征向量，進(jìn)而構(gòu)成特征臉空間[12-15]。HTH的特征值λi和正交歸一化的特征向量αi可通過(guò)特征值的貢獻(xiàn)率計(jì)算，1

當(dāng)求出HTH的特征值λi和正交歸一化的特征向量αi后，則協(xié)方差矩陣C的特征向量ei表示為：

這里i=1,2,…,o，特征臉空間W表示為：

將每個(gè)測(cè)試表情樣本與“平均臉”的差值θi投影到特征臉空間W，得到特征臉向量集B：

1.2 L1范數(shù)特征臉向量分類

設(shè)上節(jié)M個(gè)訓(xùn)練表情樣本的類別屬于第l類，這些訓(xùn)練表情樣本仍可以組合成一個(gè)矩陣，這里，R表示所有表情樣本的個(gè)數(shù)，不失一般性，任何一個(gè)與訓(xùn)練表情樣本同類的特征臉測(cè)試表情樣本B往往通過(guò)可通過(guò)線性組合表示為：

由于特征臉向量集具體所屬的類別是未知的，本文假設(shè)共有L類的訓(xùn)練表情樣本，同理這些所有L類的訓(xùn)練表情樣本也可組合成一個(gè)矩陣A=[A1，A2，…,AL]∈RG×n，n代表所有L類的特征臉的訓(xùn)練表情樣本個(gè)數(shù)。B可近似的表示為所有訓(xùn)練集樣本的線性組合：

這里x表示分類系數(shù)向量，若假設(shè)x=[0,…,0,xl,1,xl,2,…,xl,n,0,…,0]T∈R，則可知除了與第l類相關(guān)的系數(shù)不為0外，其他的元素均為0。

由公式（8）得知向量x中的非零元素直接決定了B的所屬類別。因此可通過(guò)求解線性方程B=Ax來(lái)獲得系數(shù)向量x，由于矩陣A的行數(shù)小于列數(shù)，則訓(xùn)練字典是過(guò)完備的，此時(shí)線性方程B=Ax是一個(gè)欠定方程，它的解不唯一。根據(jù)壓縮感知理論[16]，如果x足夠稀疏，可將求解欠定方程B=Ax的稀疏解問(wèn)題可以轉(zhuǎn)換為一個(gè)求x的L1范數(shù)的解的問(wèn)題:

可知，L1范數(shù)的非零解與測(cè)試表情樣本屬于同一個(gè)類別。

上述描述都是在理想條件下，然而，現(xiàn)實(shí)生活中，人類的表情圖像往往都是有噪聲存在的，也可能會(huì)受到其他因素的干擾，為解決噪聲問(wèn)題，仍需要在B=Ax后面加一個(gè)誤差項(xiàng)ω，即B=Ax+ω，則轉(zhuǎn)化為求解下面的L1范數(shù)問(wèn)題：

當(dāng)x獲得后，可以根據(jù)特征方程δl建立一組新的向量δl(x)∈R，則屬于第l類的特征臉的測(cè)試表情樣本新的近似可表示為：

根據(jù)B與的最小殘差值(rl)B對(duì)應(yīng)的類別來(lái)判斷特征臉測(cè)試表情樣本的所屬類別：

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的可行性，本文在日本JAFFE和美國(guó)AR人臉表情數(shù)據(jù)庫(kù)上分別進(jìn)行特定人臉表情識(shí)別和非特定人臉表情識(shí)別，同時(shí)為了更進(jìn)一步驗(yàn)證本文算法的有效性，在相同的兩種表情數(shù)據(jù)庫(kù)上采用下采樣法與本文算法進(jìn)行對(duì)比。

2.1 特定人臉表情識(shí)別

特定人臉表情識(shí)別是指訓(xùn)練樣本中允許出現(xiàn)待測(cè)試樣本的人臉表情圖像。本實(shí)驗(yàn)在日本JAFFE表情數(shù)據(jù)庫(kù)上進(jìn)行，該數(shù)據(jù)庫(kù)中包含了10個(gè)個(gè)體，213幅日本女性的人臉表情圖像，每個(gè)個(gè)體有7種表情，分別為中性、高興、悲傷、驚奇、憤怒、厭惡、恐懼。其中每幅圖像的人臉均為正面，分辨率均為256×256，如圖1（a）所示。文中將原始圖像進(jìn)行預(yù)處理，使眼睛在數(shù)據(jù)庫(kù)圖像中的位置大致相同，臉部尺寸基本一致，隨機(jī)抽取該人臉表情庫(kù)中每個(gè)人每類表情圖像各2-3張共計(jì)143張構(gòu)成表情訓(xùn)練集，其余每個(gè)人每類表情各1張共計(jì)70張構(gòu)成測(cè)試集。經(jīng)過(guò)預(yù)處理后的人臉表情圖像如圖1（b）所示。

圖1 預(yù)處理后的部分人臉表情訓(xùn)練圖像

從測(cè)試集人臉表情圖像中隨機(jī)挑選一人的悲傷表情圖像作為測(cè)試圖像。根據(jù)壓縮感知理論得到的稀疏系數(shù)x為143×1的一個(gè)列向量，采用L1范數(shù)最小化問(wèn)題來(lái)求解稀疏系數(shù)如圖2（a）所示。從圖中可看出系數(shù)中非0元素非常少，且非0元素中的最大值與其他值的差別比較大，最大的系數(shù)0.443是第20個(gè)系數(shù)，恰好對(duì)應(yīng)的是挑選的那個(gè)人的表情為悲傷這一類的訓(xùn)練樣本。計(jì)算測(cè)試圖像與訓(xùn)練集所有類的殘差，結(jié)果也顯示表情為悲傷的這一類殘差值最小。同時(shí)本文給出用傳統(tǒng)的L2范數(shù)求解y=Bx作為對(duì)比，相同測(cè)試圖像的稀疏系數(shù)如圖2（b）所示，從圖可以看出其系數(shù)分布比較均勻，各種系數(shù)之間的差值也不是很大。所以我們采用L1范數(shù)最小化問(wèn)題來(lái)求解稀疏系數(shù)進(jìn)行分類識(shí)別。

圖2 測(cè)試圖像在訓(xùn)練集表示的系數(shù)

2.1.1 本文算法提取特征的實(shí)驗(yàn)結(jié)果

本文取測(cè)試表情樣本在降維后o為15，即特征向量為15×1，由本文算法得到的各類特定人臉表情識(shí)別結(jié)果如表1所示。

表1 本文算法的特定人臉表情識(shí)別結(jié)果（%）

從實(shí)驗(yàn)結(jié)果可以看出，本文算法對(duì)特定人臉表情的正確識(shí)別效果良好，平均識(shí)別率達(dá)到92.03%，其中高興和驚奇這兩類表情的正確識(shí)別率達(dá)到了99%以上，且沒(méi)有出現(xiàn)相互誤識(shí)的情況，這是由于高興、和驚奇這兩類表情在人臉中眼睛、眉毛和嘴巴等敏感區(qū)域的相對(duì)變化比較明顯，所以不容易出現(xiàn)錯(cuò)誤識(shí)別的情況。而悲傷、中性、恐懼、厭惡和憤怒這五類表情均有個(gè)別識(shí)別錯(cuò)誤，這是由于這幾種表情在敏感區(qū)域的相對(duì)變化不是很明顯，所以容易出現(xiàn)錯(cuò)誤識(shí)別。

2.1.2 下采樣降維方法提取特征的實(shí)驗(yàn)結(jié)果

使用下采樣降維方法提取特征，將圖像下采樣至8×6，原因在于要保證訓(xùn)練字典的過(guò)完備性。下采樣降維的各類特定人臉表情識(shí)別結(jié)果如表2所示。

表2 下采樣的特定人臉表情識(shí)別結(jié)果（%）

從實(shí)驗(yàn)結(jié)果可以看出，下采樣降維方法對(duì)特定人臉表情的正確識(shí)別效果也不錯(cuò)，平均識(shí)別正確率也達(dá)到了89.98%。與本文方法提取特征類似，對(duì)各類表情的識(shí)別結(jié)果仍與其在敏感區(qū)域的相對(duì)變化的明顯程度有關(guān)，敏感區(qū)域變化越明顯的表情正確識(shí)別率越高。

2.2 非特定人臉表情識(shí)別

非特定人臉表情識(shí)別是指測(cè)試集和訓(xùn)練集沒(méi)有對(duì)應(yīng)的人物重疊。本實(shí)驗(yàn)在AR人臉數(shù)據(jù)庫(kù)上進(jìn)行，其包含了126個(gè)個(gè)體（70名男性和56名女性），每幅圖像的分辨率均為256×256。該數(shù)據(jù)庫(kù)中部分不同表情人臉圖像如圖3所示。

圖3 AR數(shù)據(jù)庫(kù)中部分不同表情人臉圖像

本文選用AR人臉數(shù)據(jù)庫(kù)中所有126個(gè)個(gè)體的其中4種表情：高興、中性、生氣、尖叫共504張人臉表情數(shù)據(jù)圖像，隨機(jī)挑選100個(gè)人的400張人臉表情圖像作為訓(xùn)練圖像，其余26個(gè)人的104張人臉表情圖像作為測(cè)試集，然后分別對(duì)訓(xùn)練集與測(cè)試集進(jìn)行預(yù)處理。經(jīng)過(guò)預(yù)處理操作后人臉表情圖像集分為兩種，如圖4所示。其中，圖4（a）表示預(yù)處理后分辨率為64×48的有頭發(fā)的人臉表情圖像集，圖4（b）表示分辨率為64×64的去除頭發(fā)的人臉表情圖像集。

圖4 經(jīng)過(guò)預(yù)處理后部分人臉表情圖像

為了盡量減小發(fā)型因素對(duì)人臉表情識(shí)別結(jié)果的影響，所以本實(shí)驗(yàn)在圖像分辨率為64×64的表情庫(kù)上進(jìn)行，同理上節(jié)所述，本文算法依然與特征數(shù)為16×16的下采樣法進(jìn)行對(duì)比，具體識(shí)別結(jié)果分別如表3，表4所示。

表3 本文算法非特定人臉表情識(shí)別結(jié)果（%）

表4 下采樣的非特定人臉表情識(shí)別結(jié)果（%）

從表3，表4可看出在非特定人臉表情識(shí)別中，兩者的平均識(shí)別率很接近，不過(guò)還是本文算法的識(shí)別率相對(duì)略高。其中對(duì)在人臉敏感區(qū)域結(jié)構(gòu)的變化比較大的表情仍比較容易識(shí)別。而對(duì)在人臉敏感區(qū)域結(jié)構(gòu)的變化非常細(xì)微的表情容易出現(xiàn)相互識(shí)別錯(cuò)誤的情況。

3 結(jié)束語(yǔ)

提出一種基于L1范數(shù)特征臉的人臉表情識(shí)別算法，將特征臉與L1范數(shù)結(jié)合起來(lái)進(jìn)行表情識(shí)別。在日本JAFEE和美國(guó)AR人臉表情數(shù)據(jù)庫(kù)上的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)于特定和非特定人臉表情識(shí)別均實(shí)現(xiàn)了較滿意的識(shí)別率。

參考文獻(xiàn)：

[1]Liu M，Shan S，Wang R，et al.Learning expres?sionlets on spatio-temporal manifold for dynamic facial expression recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition，2014:1749-1756.

[2]Sariyandi E，Gunes H，Cavallaro A.Probabilistic subpixel temporal registration for facial expression analysis[C]//Asian Conference on Computer Vi?sion，2014:320-335.

[3]Jiang B，Valstar M，Martinez B，et al.A dynamic appearance descriptor approach to facial actions temporal modeling[J].IEEE Transactions on Cybernetics，2014，44（2）:161-174.

[4]易積政，毛峽，Ishizuka Mitsuru，等.基于特征點(diǎn)矢量與紋理形變能量參數(shù)融合的人臉表情識(shí)別[J].電子與信息學(xué)報(bào)，2013，35（10）:2403-2410.

[5]Jung H，Lee S，Yim J，et al.Joint fine-tuning in deep neural networks for facial expression recogni?tion[C]//IEEE International Conference on Comput?er Vision（ICCV），2015:2983-2991.

[6]劉寧，梁志貞.基于Lp范數(shù)的樣本對(duì)加權(quán)的人臉識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（7）:2504-2508.

[7]Nojun Kwak．Principal Component Analysis by Lp-Norm Maximization[J].IEEE Transactions on Cybernetics，2014，44（5）:594-609．

[8]李雅倩，李穎杰，李海濱，等.融合全局與局部多樣性特征的人臉表情識(shí)別[J].光學(xué)學(xué)報(bào)，2014，34（5）:172-178.

[9]Gunes H，Schuller B.Categorical and dimensional affect analysis in continuous input:Current trends and future directions[J].Image and Vision Comput?ing，2013，31（2）:120-136.

[10]趙棟杰.改進(jìn)的LBP算子和稀疏表達(dá)分類在人臉表情識(shí)別上的應(yīng)用[J].電子設(shè)計(jì)工程，2016，24（20）:174-177.

[11]Li X，Pfister T，Huang X，et al.A spontaneous mi?cro facial expression database:Inducement，collec?tion and baseline[C]//IEEE International Confer?ence and Workshops on Automatic Face and Ges?ture Recognition（FG），2013:1-6.

[12]Wang Z，Wang S，Ji Q.Capturing complex spatiotemporal relations among facial muscles for facial expression recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013:3422-3429.

[13]楊凡，張磊.基于Gabor參數(shù)矩陣與改進(jìn)Adaboost的人臉表情識(shí)別[J].計(jì)算機(jī)應(yīng)用，2014，34（4）:1134-1138.

[14]Sariyanidi E，Gunes H，Cavallaro A.Automatic analysis of facial affect:A survey of registration，representation，andrecognition[J].IEEETransactions onPatternAnalysisandMachineIntelligence，2015，37（6）:1113-1133.

[15]Wang H.Block principal component analysis with L1-norm for image analysis[J].Pattern recognition letters，2012，33（5）:537-542．

[16]Porter S，ten Brinke L，Wallace B.Secrets and lies:Involuntary leakage in deceptive facial expressions as a function of emotional intensity[J].Journal of Nonverbal Behavior，2012，36（1）:23-37.