基于卡方距離度量學(xué)習(xí)的面部表情識(shí)別算法

秦 毅，趙二剛

(1.重慶電子工程職業(yè)學(xué)院 人工智能與大數(shù)據(jù)學(xué)院，重慶 401331； 2.南開大學(xué) 電子信息與光學(xué)工程學(xué)院，天津 300071)

0 引 言

面部表情識(shí)別(facial expression recognition，F(xiàn)ER)作為一個(gè)活躍的多學(xué)科研究領(lǐng)域，在轉(zhuǎn)錄視頻、電影或廣告推薦、遠(yuǎn)程醫(yī)療中的疼痛檢測(cè)等領(lǐng)域具有廣泛的應(yīng)用潛力[1,2]。

根據(jù)從圖像中提取面部表情特征的不同，可以將現(xiàn)有的FER方法分為基于幾何特征[3]和外觀特征的方法[4]兩類方法。文獻(xiàn)[5]提出一種基于外觀特征進(jìn)行面部識(shí)別的方法，該方法采用Viola-Jones框架提取面部表情感興趣區(qū)域的局部二值模式圖像，利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別結(jié)果。文獻(xiàn)[6]提出了一種基于幾何特征的面部識(shí)別方法，該方法利用面部特征點(diǎn)來(lái)確定面部特征間的相對(duì)距離，以便捕獲不同表情下的面部肌肉運(yùn)動(dòng)形態(tài)，然后使用面部特征點(diǎn)間的相對(duì)距離來(lái)訓(xùn)練網(wǎng)絡(luò)，提高分類模型的辨別能力。文獻(xiàn)[7]提出了一種新的特征提取技術(shù)，該技術(shù)使用壓縮感測(cè)技術(shù)將提取的特征變換為高斯空間，在降低特征向量維數(shù)的同時(shí)，將特征向量與分量支持向量機(jī)的徑向基函數(shù)核匹配，從而可以對(duì)任何向量進(jìn)行分類。文獻(xiàn)[8]提出了一種利用局部人臉區(qū)域識(shí)別面部表情的方法，該方法對(duì)每個(gè)局部區(qū)域采用類成對(duì)的中級(jí)描述符來(lái)提取中級(jí)特征和Adaboost特征選擇用以選擇更多的判別特征，在野外面部表情識(shí)別中提高了準(zhǔn)確率。文獻(xiàn)[9]提出了一種基于孤島損失來(lái)增強(qiáng)深度學(xué)習(xí)特征判別力的方法，該方法采用減少類內(nèi)變化，同時(shí)擴(kuò)大類間差異的方式提高野外面部表情識(shí)別的準(zhǔn)確率。

野外面部表情圖像識(shí)別具有各種挑戰(zhàn)，如自發(fā)情緒和光照變化等，使得大多數(shù)FER方法不能有效識(shí)別。此外，在不受控制的條件下的面部表情識(shí)別也是一個(gè)尚未解決的問題。針對(duì)上述問題，提出了一種基于局部卡方距離的KNN算法，用于人臉的表情識(shí)別。首先定義了計(jì)算卡方距離的新公式；其次，在優(yōu)化算法中引入了Dropout技術(shù)用于解決過(guò)擬合現(xiàn)象；最后，使用KNN算法進(jìn)行表情識(shí)別。此外，所提出的損失函數(shù)使用了卡方距離，從而進(jìn)一步改善所提方法的識(shí)別準(zhǔn)確率。

1 K最近鄰算法

K最近鄰(k-nearest neighbor，KNN)算法是近年來(lái)新興的分類方法之一，它在訓(xùn)練大數(shù)據(jù)集的同時(shí)，具有資源利用有限的優(yōu)點(diǎn)。KNN是一種無(wú)監(jiān)督學(xué)習(xí)分類算法，也是應(yīng)用最廣泛的非參數(shù)模式分類方法之一，它降低了對(duì)概率密度復(fù)雜性的關(guān)注。KNN算法通過(guò)在K個(gè)最近的鄰居樣本標(biāo)簽來(lái)對(duì)目標(biāo)樣本進(jìn)行分類。KNN算法在分類問題和回歸問題中具有廣泛的應(yīng)用空間。

在KNN算法中，影響結(jié)果的主要是K值和距離，因此使用KNN算法解決分類或回歸問題時(shí)，需要重點(diǎn)關(guān)注K值的優(yōu)化和合適的距離度量方法。若K取值太小時(shí)，樣本的分類結(jié)果取決于最近的樣本類別，容易受到噪聲點(diǎn)的影響；若K取值太小時(shí)，樣本的分類結(jié)果容易受到不平衡數(shù)據(jù)集的影響，導(dǎo)致分類模糊。因此，在使用過(guò)程中，選擇K值從1開始逐步增大，使用交叉驗(yàn)證來(lái)評(píng)估不同K值下的分類情況，選擇最優(yōu)K值。

距離度量則是衡量樣本之間的距離，當(dāng)兩個(gè)樣本之間的距離越小，說(shuō)明兩者的相似度越大，同屬一類別的概率也就越大。常用的距離的度量方法有歐幾里得距離和馬哈拉諾比斯距離。歐氏距離是指空間中兩點(diǎn)之間的絕對(duì)距離，定義為

(1)

式中：xi和xj為樣本點(diǎn)。歐氏距離在多數(shù)情況下只能對(duì)低維空間中超球狀分布的數(shù)據(jù)有效，容易受到數(shù)據(jù)集中噪聲的干擾。

馬氏距離表示數(shù)據(jù)的協(xié)方差距離，該度量是計(jì)算樣本屬性標(biāo)準(zhǔn)化之后的距離，其定義為

(2)

式中：S表示樣本xi和xj的協(xié)方差。馬氏距離對(duì)數(shù)據(jù)集中呈超橢球型分布的數(shù)據(jù)有效。

下面給出KNN算法的計(jì)算步驟：

(1)初始化K值；

(2)計(jì)算目標(biāo)數(shù)據(jù)與帶標(biāo)簽數(shù)據(jù)之間的距離；

(3)按照距離遠(yuǎn)近進(jìn)行升序排序；

(4)選取與當(dāng)前目標(biāo)數(shù)據(jù)最近的K個(gè)點(diǎn)；

(5)選擇K個(gè)點(diǎn)出現(xiàn)最多的類別進(jìn)行新樣本分類。

2 基于卡方距離度量的面部表情識(shí)別

在過(guò)去的十年中，人們對(duì)度量學(xué)習(xí)進(jìn)行了許多研究。度量學(xué)習(xí)的目標(biāo)是利用訓(xùn)練集的信息改進(jìn)數(shù)據(jù)比較度量?，F(xiàn)有的方法大多集中在馬氏距離度量學(xué)習(xí)上。然而，在人臉表情識(shí)別中廣泛使用的特征往往是基于直方圖的圖像紋理描述，而馬氏距離無(wú)法準(zhǔn)確描述該空間中數(shù)據(jù)之間的關(guān)系?？ǚ骄嚯x是直方圖數(shù)據(jù)比較中最著名的方法。因此，本文提出了一種基于卡方距離KNN的表情識(shí)別方法，其算法流程如圖1所示。

圖1 所提方法的流程

2.1 基于卡方距離度量的KNN

距離度量學(xué)習(xí)(distance metric learning，DML)也稱為相似度學(xué)習(xí)，其目的是為了衡量樣本之間的相近程度，DML通過(guò)特征變換得到特征子空間，然后使用度量學(xué)習(xí)，讓類似的目標(biāo)距離更近，不同的目標(biāo)距離更遠(yuǎn)。DML經(jīng)常應(yīng)用于大量的機(jī)器學(xué)習(xí)方法中，如K近鄰、支持向量機(jī)、徑向基函數(shù)網(wǎng)絡(luò)等分類方法以及K-means聚類方法。

(3)

(4)

(5)

(6)

基于卡方距離度量的損失函數(shù)為

(7)

2.2 基于隨機(jī)梯度下降卡方距離度量

基于卡方度量的KNN分類時(shí)需要對(duì)訓(xùn)練數(shù)據(jù)中獲取每個(gè)訓(xùn)練數(shù)據(jù)的K近鄰先驗(yàn)知識(shí)，然后根據(jù)損失函數(shù)對(duì)訓(xùn)練誤差進(jìn)行最小化處理，求解映射矩陣L。由于基于卡方距離度量的損失函數(shù)在L矩陣的元素中是非凸的，因此，使用諸如梯度下降之類的方法來(lái)最小化成本函數(shù)時(shí)，需要對(duì)矩陣L的初始值進(jìn)行優(yōu)化，而且存在陷入局部最小值的問題。本文通過(guò)半正定規(guī)劃(semi-definite programming，SDP)克服陷入局部最小值的問題。SDP作為線性規(guī)劃的一種擴(kuò)展，通過(guò)約束矩陣的半正定性實(shí)現(xiàn)求解優(yōu)化問題，常用于實(shí)際問題的凸優(yōu)化求解，SDP可描述為

(8)

其中，F(xiàn)0,F1,…,Fn表示對(duì)稱矩陣(k階)。

在SDP中，通過(guò)結(jié)合矩陣的半正定約束來(lái)完成優(yōu)化。基于卡方距離度量的優(yōu)化問題可以表示為

(9)

(10)

Frobenius范數(shù)是度量學(xué)習(xí)中流行的正則化算子，用于避免過(guò)度擬合訓(xùn)練數(shù)據(jù)。Frobenius規(guī)范的度量學(xué)習(xí)問題的標(biāo)準(zhǔn)形式定義為

(11)

(12)

在Dropout技術(shù)中，如果p(φij=0)=α，則有

(13)

由于Frobenius范數(shù)只能簡(jiǎn)單地以相同的方式約束學(xué)習(xí)矩陣的所有元素，無(wú)法對(duì)學(xué)習(xí)矩陣的對(duì)角元素做特殊處理。且在學(xué)習(xí)矩陣中，對(duì)角元素描述了每個(gè)特征的重要性，其余元素描述了特征的相互作用，因此對(duì)角元素相對(duì)于其它元素更重要。本文提出了一種針對(duì)學(xué)習(xí)矩陣的對(duì)角線和非對(duì)角線元素Dropout正則化方法。

假定Φ為隨機(jī)矩陣，其對(duì)角元素和非對(duì)角元素分布服從 [0,0.5] 和 [0,1] 之間的均勻分布， [0,0.5] 上的累積分布函數(shù)可以表示為

(14)

基于矩陣Φ，Dropout方法在0≤δ≤0.5的概率定義為

p(φij=0)=p(Φij≤δ)=F(δ)

(15)

因此

(16)

根據(jù)式(11)優(yōu)化問題可以修改為

(17)

從上式可以看出，利用Frobenius范數(shù)和L1范數(shù)對(duì)矩陣A進(jìn)行了正則化。因此，矩陣A的對(duì)角元素在Frobenius范數(shù)和L1范數(shù)正則化器中都有貢獻(xiàn)，其余元素僅在Frobenius范數(shù)中有所貢獻(xiàn)。

2.3 基于局部的卡方度量表情識(shí)別方法

(18)

根據(jù)特征向量的維數(shù)，學(xué)習(xí)矩陣A是D×D方陣，包含U×U個(gè)圖像塊。為了在每個(gè)圖像塊中執(zhí)行單獨(dú)學(xué)習(xí)，可以在矩陣A的相應(yīng)塊上采用求解距離度量問題的dropout正則化方法。對(duì)于第U個(gè)圖像塊，對(duì)應(yīng)矩陣A的第U個(gè)對(duì)角塊。其特征是為每個(gè)圖像塊訓(xùn)練數(shù)據(jù)

(19)

因此，輸入數(shù)據(jù)的維數(shù)減少到k，每個(gè)塊的學(xué)習(xí)矩陣是k×k。 局部度量學(xué)習(xí)如算法1所示。

算法1：局部度量學(xué)習(xí)用于人臉表情識(shí)別

(1)輸入： 訓(xùn)練數(shù)據(jù)Y， 步長(zhǎng)γ；

(2)迭代A0←0，A0∈RD×D(包含U×U個(gè)子塊)和T；

(4) 當(dāng)前子區(qū)域特征：Yu；

(5) 使用dropout正則化的度量學(xué)習(xí)在Yu上訓(xùn)練Au；

(6) ∏psd(At)；

(7) endfor

(8) 返回A

在所有局部矩陣學(xué)習(xí)后，兩個(gè)人臉圖像的特征距離可以利用式(20)計(jì)算

(20)

由于矩陣A的非對(duì)角塊為零，因此，式(20)可重寫為僅為非零塊計(jì)算的距離之和

(21)

如果正確地學(xué)習(xí)對(duì)角線塊，那么將最小化來(lái)自類似類的兩個(gè)圖像塊與塊之間的特征距離；而對(duì)于來(lái)自不同類的圖像，將最大化這些特征距離。由于圖像的塊與塊的特征距離在數(shù)學(xué)上是正的且彼此獨(dú)立，因此這些值的總和對(duì)于來(lái)自同一類的數(shù)據(jù)是最小的，來(lái)自不同類的數(shù)據(jù)是最大的。

本文提出的基于局部卡方距離的KNN表情識(shí)別方法體現(xiàn)了特征量之間的相對(duì)關(guān)系，對(duì)每個(gè)特征量賦予相同的權(quán)重，但是不同特征對(duì)分類的貢獻(xiàn)并不同，在局部卡方度量的表情識(shí)別方法上，引入特征權(quán)重系數(shù)，對(duì)不同的特征賦予不同的權(quán)重。

針對(duì)局部卡方距離識(shí)別方法中錯(cuò)誤樣本數(shù)量為n， 之后去除第p,p=1,2,…m個(gè)特征量，使用局部卡方度量的KNN方法對(duì)測(cè)試樣本進(jìn)行識(shí)別，得到錯(cuò)誤樣本數(shù)量為np。 計(jì)算vp=np/n， 該值越大說(shuō)明分類誤差越大，反映了第p個(gè)特征量對(duì)分類的貢獻(xiàn)就越大,反之亦然。則第p個(gè)特征權(quán)重系數(shù)可定義為

(22)

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提算法的有效性，采用FER研究領(lǐng)域公開可用的受控環(huán)境下和非受控環(huán)境下的數(shù)據(jù)集進(jìn)行面部表情識(shí)別的各種實(shí)驗(yàn)，用于評(píng)估所提出的度量學(xué)習(xí)算法中卡方距離、特征提取補(bǔ)丁大小、局部學(xué)習(xí)和正則化器的貢獻(xiàn)度，并且將獲得的結(jié)果與現(xiàn)有方法進(jìn)行比較。所有實(shí)驗(yàn)均在配置為CPU Intel Core i7-4700MQ @2.4 GHz，RAM 8 GB，Windows10環(huán)境下的機(jī)器中執(zhí)行。

3.1 數(shù)據(jù)集

本文選取擴(kuò)展Cohn-Kanade(CK+)數(shù)據(jù)集、野外的靜態(tài)面部表情(SFEW)數(shù)據(jù)集和大型的面部表情數(shù)據(jù)庫(kù)RAF-DB這3個(gè)數(shù)據(jù)集用于測(cè)試。下面給出幾個(gè)數(shù)據(jù)集的詳細(xì)信息。

CK+數(shù)據(jù)集是在實(shí)驗(yàn)室控制條件下獲得的圖像，這個(gè)數(shù)據(jù)集由來(lái)自123個(gè)受試者的593個(gè)圖像序列組成，其中327個(gè)序列具有包含6個(gè)基本情感和蔑視的面部表情標(biāo)簽。在發(fā)布的數(shù)據(jù)集中，使用活動(dòng)外觀模型定位了68個(gè)面部界標(biāo)點(diǎn)。每個(gè)圖像序列從中性面開始到其表達(dá)標(biāo)簽的峰值。在本文中，選擇327個(gè)標(biāo)記序列的最終峰幀用于評(píng)估所提出的算法。

SFEW 2.0為在野外(非控制)場(chǎng)景下獲得的自然表情的圖像，由一組光照、頭部姿勢(shì)等存在巨大變化的靜態(tài)圖像組成。該數(shù)據(jù)集分為訓(xùn)練、驗(yàn)證和測(cè)試3個(gè)圖像子集，圖像數(shù)量分別為958、436和372，其中，培訓(xùn)和驗(yàn)證集的標(biāo)簽可供研究人員公開使用。在本文針對(duì)SFEW數(shù)據(jù)集的所有實(shí)驗(yàn)中，訓(xùn)練和驗(yàn)證集分別用于訓(xùn)練和測(cè)試階段。

RAF-DB數(shù)據(jù)集包含了從互聯(lián)網(wǎng)上下載的29 672張不受控制的面部圖像，共有315個(gè)學(xué)習(xí)注釋器對(duì)該數(shù)據(jù)集中的每個(gè)圖像進(jìn)行了大約40次標(biāo)記。除了基本情緒外，該數(shù)據(jù)集還包含11種復(fù)合情緒，因此，這是嘗試提供在不受控制的條件下具有復(fù)合情緒的大規(guī)模面部表情識(shí)別數(shù)據(jù)庫(kù)。在數(shù)據(jù)集中的每個(gè)圖像旁邊還發(fā)布了面部邊界框，5個(gè)手動(dòng)注釋的面部界標(biāo)點(diǎn)，37個(gè)自動(dòng)界標(biāo)點(diǎn)。在訓(xùn)練集和測(cè)試集中，包括6種基本情緒和中性情緒等7類情緒，分別有12 271幅和3068幅。本文利用RAF-DB在一個(gè)大規(guī)模人臉表情識(shí)別數(shù)據(jù)集上對(duì)該算法的可擴(kuò)展性進(jìn)行了評(píng)估。

3.2 對(duì)比研究

通過(guò)進(jìn)行各種實(shí)驗(yàn)來(lái)評(píng)估所選擇的距離，特征提取補(bǔ)丁大小，局部學(xué)習(xí)和正則化器在所提出的度量學(xué)習(xí)算法中的效果。首先在基于不同直方圖特征的人臉表情識(shí)別算法中，將運(yùn)用卡方距離、馬哈拉諾比距離以及KNN和SVM分類器的識(shí)別結(jié)果進(jìn)行了比較。其次，將不同的補(bǔ)丁大小用于特征提取，以探索此參數(shù)對(duì)所提出算法的影響。然后，將所提出的局部度量學(xué)習(xí)與全局度量學(xué)習(xí)的結(jié)果進(jìn)行對(duì)比。最后，執(zhí)行所提出的度量學(xué)習(xí)采用不同正則化器的測(cè)試。

3.2.1 度量距離對(duì)比

為了驗(yàn)證卡方度量距離的優(yōu)越性，對(duì)現(xiàn)有3類直方圖特征LBP-LPQ[10]、HWP[11]和CA-LBFL[12]應(yīng)用不同的度量距離，并對(duì)測(cè)試結(jié)果進(jìn)行對(duì)比。提取特征的分類方法有4種：基于歐式距離的KNN分類、基于一對(duì)一的RBF核的SVM分類、基于馬哈拉諾比距離的KNN分類和基于提出的卡方距離度量學(xué)習(xí)的KNN分類。在這些實(shí)驗(yàn)中，對(duì)于KNN分類器，K設(shè)置為7。評(píng)價(jià)方法采用獨(dú)立的10倍交叉驗(yàn)證各種分類方法。在驗(yàn)證方案中，圖像隨機(jī)分成10組，圖像數(shù)量大致相等。其中一組作為實(shí)驗(yàn)組，其余9組作為訓(xùn)練組。此過(guò)程重復(fù)10次，以使每個(gè)組都會(huì)充當(dāng)測(cè)試集。

圖2和圖3為不同數(shù)據(jù)集上的識(shí)別率實(shí)驗(yàn)結(jié)果，從圖中可以看出，本文提出的基于卡方距離識(shí)別人臉表情的算法比其它方式更優(yōu)，對(duì)這些特征描述符進(jìn)行度量學(xué)習(xí)時(shí)更有效。

圖2 不同度量距離在CK+數(shù)據(jù)集的識(shí)別率

圖3 不同度量距離在SFEW數(shù)據(jù)集的識(shí)別率

3.2.2 補(bǔ)丁大小的影響

為了評(píng)估算法1在所提算法中的貢獻(xiàn)度，使用尺寸為2×2～8×8等不同大小的補(bǔ)丁進(jìn)行實(shí)驗(yàn)。對(duì)于每個(gè)分區(qū)，首先從圖像塊中局部提取直方圖特征；其次，將提取的局部特征串接成最終的特征向量；然后，使用算法1學(xué)習(xí)所提出的度量；最后，利用基于卡平方度量的KNN分類器進(jìn)行分類。在特征提取方面，采用了LBP-LPQ、HWP和CA-LBFL等多種方法。該實(shí)驗(yàn)過(guò)程在CK+和SFEW數(shù)據(jù)集上執(zhí)行。對(duì)于CK+數(shù)據(jù)集，使用獨(dú)立的10倍交叉驗(yàn)證方案，而SFEW數(shù)據(jù)集則將訓(xùn)練集和驗(yàn)證集分別用作訓(xùn)練集和測(cè)試集。圖4和圖5給出了實(shí)驗(yàn)結(jié)果。

圖4 CK+數(shù)據(jù)集中使用不同補(bǔ)丁時(shí)的識(shí)別率

圖5 SFEW數(shù)據(jù)集中使用不同補(bǔ)丁時(shí)的識(shí)別率

從圖4中可以看出，CK+數(shù)據(jù)集的總體準(zhǔn)確性隨補(bǔ)丁數(shù)量的增加而近似增加。這可能是由于在最終特征向量中，尺寸很小的補(bǔ)丁無(wú)法正確地表示面部圖像的足夠信息，而當(dāng)補(bǔ)丁數(shù)量增加時(shí)，特征向量包含更多的局部信息。因此，當(dāng)補(bǔ)丁尺寸提高到6×6時(shí)，識(shí)別率最高。同理，從圖5中看到，SFEW數(shù)據(jù)集的識(shí)別率隨著增大到4×4獲得最高。但是，當(dāng)補(bǔ)丁的尺寸繼續(xù)增加時(shí)識(shí)別率呈現(xiàn)降低的趨勢(shì)。這可能是由于數(shù)據(jù)集中較大的頭部姿勢(shì)引起的。大頭姿勢(shì)時(shí)，小補(bǔ)丁的效率會(huì)大大降低。因此，數(shù)據(jù)集上的識(shí)別率會(huì)隨著補(bǔ)丁數(shù)量的增加而降低。為了在計(jì)算成本和準(zhǔn)確性之間進(jìn)行權(quán)衡取舍，對(duì)于CK+和SFEW數(shù)據(jù)集，本文之后的實(shí)驗(yàn)分別選擇了6×6和4×4的補(bǔ)丁尺寸進(jìn)行測(cè)試。

3.2.3 局部與全局學(xué)習(xí)對(duì)比

為了探索基于卡方距離度量的局部學(xué)習(xí)在面部表情識(shí)別中的效率，進(jìn)行全局和局部學(xué)習(xí)。在全局學(xué)習(xí)中，將提取的特征進(jìn)行整體學(xué)習(xí)。在局部學(xué)習(xí)中，分別對(duì)每個(gè)圖像塊執(zhí)行學(xué)習(xí)過(guò)程，最后進(jìn)行權(quán)重調(diào)整。表1中顯示了使用基于不同特征的兩種方法的識(shí)別率。從該表中可以看出，應(yīng)用于不同提取方法的局部度量學(xué)習(xí)在CK+、SFEW數(shù)據(jù)集上的測(cè)試結(jié)果明顯優(yōu)于全局度量學(xué)習(xí)。

表1 全局和局部度量學(xué)習(xí)的測(cè)試結(jié)果

3.2.4 正則化器對(duì)比

為了避免過(guò)度擬合訓(xùn)練數(shù)據(jù)，本文提出了基于Dropout的正則化器，下面需要評(píng)估該技術(shù)的效率。為此，在所提出的面部表情識(shí)別的局部度量學(xué)習(xí)方法中定義并使用3種變體：沒有正則化器、Frobenius Dropout正則化、結(jié)構(gòu)化Dropout正則化。采用SFEW數(shù)據(jù)集對(duì)這3類不同正則化進(jìn)行測(cè)試，測(cè)試結(jié)果如圖6所示。

圖6 不同正則化器在SFEW數(shù)據(jù)集的測(cè)試結(jié)果

從圖6中可以看出，相對(duì)于不使用Dropout技術(shù)的情況，采用Frobenius Dropout正則化的識(shí)別率提高了約0.5%～3%，結(jié)構(gòu)化Dropout正則化提高了大約3.4%～7.6%。實(shí)驗(yàn)結(jié)果表明，所提出的正則化增加了度量學(xué)習(xí)算法對(duì)測(cè)試數(shù)據(jù)的通用性。

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證提出方法的分類效果，本文采用LBP、LPQ、HOG和POEM這4個(gè)直方圖特征組合的方式在CK+、SFEW和RAF-DB數(shù)據(jù)集上進(jìn)行分類測(cè)試，獲得的分類混淆矩陣結(jié)果見表2、表3、表4。從表中可以看出，對(duì)于CK+數(shù)據(jù)集，提出的方法能夠完全識(shí)別高興、驚訝兩種表情，在7種表情中厭惡表情的識(shí)別率也很高，排名第三；對(duì)于SFEW數(shù)據(jù)集，識(shí)別率最高的表情為憤怒，在6種表情中排名第二、三位的表情為驚訝和高興；對(duì)于RAF-DB數(shù)據(jù)集，識(shí)別率最高的表情為驚訝，在7種表情中排名第二、三位的表情為高興和憤怒。

表2 CK+數(shù)據(jù)集生成的混淆矩陣

為了驗(yàn)證提出方法的優(yōu)越性，本文比較了不同的最新的人臉表情識(shí)別方法：IL-CNN[9]、IACNN[13]、DLP-CNN[14]和SJMT[15]。表5給出了本文方法與其余方法在CK+、SFEW和RAF-DB數(shù)據(jù)集的測(cè)試對(duì)比結(jié)果。從表5中可以看出，所提出的算法比其它算法更準(zhǔn)確，不同外觀特征直方圖的組合以及所提出的度量學(xué)習(xí)方法有效地提高了面部表情識(shí)別準(zhǔn)確度。

表3 SFEW數(shù)據(jù)集生成的混淆矩陣

表4 RAF-DB數(shù)據(jù)集生成的混淆矩陣

表5 不同人臉表情識(shí)別方法的識(shí)別率

4 結(jié)束語(yǔ)

本文提出了一種基于卡方距離度量學(xué)習(xí)的面部表情識(shí)別算法，用于解決野外復(fù)雜環(huán)境下面部表情面臨的頭部姿勢(shì)變化、光照變化等挑戰(zhàn)。提出的方法采用基于卡方距離方法進(jìn)行KNN分類，利用SDP方法將損失函數(shù)修正為凸優(yōu)化，同時(shí)將Dropout技術(shù)引入度量學(xué)習(xí)防止訓(xùn)練數(shù)據(jù)出現(xiàn)過(guò)擬合現(xiàn)象，最后引入權(quán)重系數(shù)，提高識(shí)別準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，提出的算法提高了不受控環(huán)境下的面部表情識(shí)別率。