基于約束差異最大化投影算法的表情識別

王 超，潘正高，路紅梅，李雪竹

宿州學院信息工程學院， 宿州，234000

在人的情緒判別和人際交往中，人臉表情識別起到了重要作用[1，2],因此人臉表情識別在國內外引起廣泛關注。目前多種模式識別的方法被應用到人臉表情自動識別中。主分量分析(PCA)[3]算法將人臉數字圖片轉換成一個矢量，大量樣本集組成一個矢量集，對這些矢量集的協(xié)方差矩陣求特征值特征向量。主要特征值對應的特征向量映射下的人臉圖片作為特征人臉進行分類。線性判別分析(LDA)[4]算法充分利用類別信息構造一個類間散度矩陣和一個類內散度矩陣并且通過尋找一組投影向量使得這兩個散度矩陣的跡之比最大。這組投影向量作用于每一個樣本使得投影后的人臉樣本稱為fisher臉，并使用這個fisher臉來進行分類。此外線性特征提取方法還有獨立分量分析(ICA)[5]。以上算法是對人臉表情圖片整體直接做特征提取方法然后給分類器分類。

還有一些算法是對圖像求局部特征和整體特征融合的方法。文獻[6]人臉表情識別通過兩個階段的特征提取，第一階段通過限制的局部二值模式(LBP)將人臉圖片轉變成特征圖片，第二階段對這些特征圖片利用基于塊的中心對稱局部二值模式提取具有鑒別信息的特征，然后利用支持向量機(SVM)分類。文獻[7]融合了PCA和嘴巴部分的LBP特征進行人臉表情識別，利用SVM進行分類，在作者自己構造的樣本數據上取得了比傳統(tǒng)特征提取效果更好的分類結果。文獻[8]利用了簡化的局部梯度編碼算法，僅僅采用了水平方向和垂直方向的分量進行編碼,在日本女子人臉表情數據集(JAFFE)上測試這個算法，比傳統(tǒng)的LBP和gabor特征具有更好分類效果而且運行時間上更快。針對PCA和LBP融合算法對隨機噪聲和光照變化容易受影響的特點，文獻[9]提出了融合PCA整體特征和局部方向模式(LDP)特征，LDP算子作用于眼部和嘴部提取其局部紋理特征，實驗證明這種融合算法比單獨使用PCA提取特征或者PCA和LBP融合算法有更好的效果。

流形學習算法是非線性特征提取方法，文獻[10]提出一種流形學習的方法進行人臉表情分類。它基于這樣一個假設，不同的表情分布在不同的流形上(維數也未必相同),提出一個人臉表情建模和分類的整體框架。每種表情的本征特征單獨學習，通過遺傳算法(GA)從分類角度獲取每個表情流形最佳維數。分類標準也是新定義的，在表情流形上最小的重建誤差作為分類的判別標準。文獻[11]提出使用改進的LBP和類規(guī)則的局部保持投影(LPP)，LBP強調了人臉在特定基準點的部分信息，另外也增強了面部特征和表情類別的聯系。LPP通過降維使得不同類獨立性最大化，另外也保持了局部特征的相似性。文獻[12]提出了一種有偏的子空間學習算法來魯棒處理非對齊人臉表情圖片，同時提出有偏線性判別分析(BLDA)，該算法對于差別很小的類間樣本給予很大的懲罰，對于差別很大的類間樣本給予很小的懲罰，這樣可有效提取鑒別特征。算法為了更好地利用測地信息，設計了一種加權有偏差異fisher分析(WBMFA)算法，利用圖嵌入準則提取鑒別信息，該算法適用于數據集不滿足高斯分布的情況。約束差異最大化投影[13](CMVM)算法由2008年李波等提出，應用于人臉識別等領域。該算法在構造差異化判決式上利用類別信息，而且在構造近鄰關系判決式上利用了近鄰信息。該算法主要目標是保持同類的人臉表情樣本投影后更緊湊，不同類人臉表情樣本投影后更加離散。本文采用此算法在人臉表情識別領域，是首次嘗試。

1 約束差異最大化投影算法

CMVM算法的思想來源于差異最大化展開(maxmum variance unfolding MVU)的流形學習算法[14，15]。該算法假設近鄰的樣本之間由剛性桿連接，算法的目標是最大化兩樣本之間距離同時又不破壞近鄰樣本之間的剛性連接。CMVM算法從數據降維角度考慮，把原始輸入高維數據通過投影映射到低維空間。這個過程中保持了近鄰樣本之間的剛性連接，同時又最大化兩兩樣本之間的距離。

1.1 鄰域的選擇

首先是近鄰樣本選擇，近鄰樣本之間的距離用歐式距離來度量。有兩種判斷近鄰的方法，一種是(K-Nearest Neighbor，KNN)就是在歐式距離度量的樣本之間尋找距離最小的前K個樣本。另一種方法叫ε-ball的方法，該方法以中心樣本為圓心，以一定長度ε為半徑畫超球。超球范圍內的樣本，統(tǒng)稱為中心樣本的近鄰樣本。表達近鄰關系樣本關系矩陣的元素定義如下：

(1)

(2)

1.2 近鄰關系判決式

CMVM算法目的是尋找一個投影矩陣W，使得投影后的樣本維數更低同時更有利于分類。輸入樣本xi∈RN是N維空間中的樣本矢量。投影后的樣本yi∈RM是M維空間中的樣本矢量。其中yi通過這樣一個投影關系式得到y(tǒng)i=WTxi，且滿足M

=2tr{Y(P-L)YT}

(3)

1.3 差異化判決式構造

CMVM算法假定同類樣本都嵌入在同一個流形上，不同類樣本嵌入在不同的流形上。歐式距離大小經常來定義樣本間差異大小。此處用歐式距離平方來定義不同類的樣本所在流形的差異，使其在歐式距離度量下最大化展開。首先構造一個類別關系矩陣C定義如下：

(4)

差異化判決式定義如下：

(5)

1.4 關系式改寫

由線性映射關系可以得到JL、JD關系式如下：

(6)

(7)

1.5 最優(yōu)化目標式

根據算法思想，即使不同類樣本在不同流形上嵌入差異最大，同時保持所有流形近鄰結構不變。可以得到以下的最優(yōu)化關系式。

2 實 驗

如引言所述，把整幅圖像看作一個整體，例如一幅m×n的數字圖像可以看作是一個m×n維空間中的一個點。如何將這個高維空間中的點有效維數提取出來，將無關的冗余特征除去，將是特征提取算法要完成的任務。這里使用的特征提取算法有CMVM、LPP、UDP、LDA、MVP等。這些算法將作用在JAFFE日本女人表情人臉數據庫和CK+人臉表情數據庫上。將這些算法作用在這兩個數據庫上之前，使用了PCA算法來降維，以避免小樣本問題。降維后的數據使用KNN分類器來進行分類預測類別。

2.1 JAFFE數據庫上實驗

JAFFE(The Japanses Female Facial Expression)數據庫即日本女性面部表情數據庫，該數據庫共有213張表情圖片，由10個女性的7種表情圖片組成(見圖1)。每種表情圖片2-3張照片。算法表示總的識別率如表1所示?？偣灿?13張圖片，前150張作為訓練數據，后163張作為測試數據，構成一組數據。這組數據樣本間的差異，不僅有不同表情之間的差異，而且相同的表情樣本之間還有不同個體之間的差異，相對來說識別難度較大。

表1 LPP 、UDP、LDA、MVP、CMVM算法在JAFFE數據庫上總最高識別率對比

圖1 JAFFE數據庫七種表情圖片

由表1可知，最高識別率CMVM高出UDP接近6個百分點，高出LPP接近9個百分點,高出LDA接近11個百分點，高出MVP接近18個百分點。而且CMVM算法達到最大識別率的維數很小比起LPP和MVP算法。所以本文中使用的CMVM算法在表情識別上有效。

將5種算法在JAFFE數據集的測試集上不同維度的識別率用圖2展示出來。分析圖2可知，CMVM算法總體識別率最高達到92.92%，而且識別率比較穩(wěn)定，在維度為6和7上都達到了92.92%的識別率。其他維度上的識別率也普遍高于LPP算法和UDP算法。UDP算法的識別率在一些維度上取得了和CMVM算法同樣的識別率，但是到了28維后，流形學習算法LPP，UDP，MVP包括本文算法CMVM下降比較快。高維度時識別率下降是值得探討的一個問題。

2.2 CK+數據庫上實驗

該數據庫是在 Cohn-Kanade Dataset 的基礎上擴展來的。該數據庫比起JAFFE 要大得多。包含表情的標簽和動作單元的標簽。

該數據庫包括123個人,593 個圖像序列，每個圖像序列的最后一張圖片都有動作單元的標簽，而在這593個圖像序列中，有327個圖像序列有表情的標簽。每個序列圖片都是從中性表情到這個表情標簽的表情一個序列(圖3所示為CK+數據庫一個實驗者的七種表情)。因此如何合理區(qū)別中性表情到這個表情標簽是一個問題。也是影響分類準確度一個關鍵點之一。

圖2 LPP、UDP、LDA、MVP、CMVM算法在JAFFE數據庫上不同維度的識別率

每個表情選取7張圖片作為測試，其余5張作為測試樣本，使用表中列舉的5種算法分別進行訓練和測試得到識別率見表2。

圖3 CK+數據庫七種表情圖

算法LPPUDPLDAMVPCMVM最高識別率97.26%95.89%95.85%65.75%99.52%維度688168

圖4 LPP、UDP、LDA、MVP、CMVM算法在CK+數據庫上不同維度的識別率

分析表2可知最高識別率仍然是CMVM算法達到99.52%，其次分別是LPP最高識別率為97.26%，UDP最高識別率為95.89%，LDA識別率為95.85%，但是MVP識別偏低為65.75%。LPP在第6維就達到了最高識別率，CMVM、UDP、LDA這三種算法均在第8維達到了最高識別率。但是MVP卻在第16維才達到最高識別率。將本文所用到的5種算法在不同維度上的測試準確率展示如圖4。由圖4分析可知CMVM在11個維度上都達到了99.52%的識別率，而且下降不明顯。LDA算法比較穩(wěn)健，達到最大值95.85%后則保持該識別率，且識別率不隨著維度上升而下降。LPP算法雖然最大識別率為97.26%，但無CMVM算法穩(wěn)定，隨著維度增加迅速下降。UDP算法的表現介于LPP和LDA算法中間。MVP算法表現最差，實驗表明MVP算法不適合表情識別。

3 結 論

本文提出使用約束差異最大化投影這一流形學習算法來進行人臉表情數據降維分析，通過在JAFFE和CK+這兩個數據庫上實驗，驗證了流形學習算法的有效性。進一步的工作是推廣這個算法在實時動態(tài)的表情識別上的應用，爭取在實時識別上可以達到每秒30幀的處理速度，識別效果可以達到98%以上。另外，差異最大化投影算法在表情識別數據集上表現較差差的原因還有待進一步研究。