一種面向人臉表情識別的局部線性嵌入改進算法

賀國慶 王 煒

（1 甘肅政法學(xué)院公安技術(shù)學(xué)院 甘肅 蘭州 730070；2 甘肅省證據(jù)科學(xué)技術(shù)研究與應(yīng)用重點實驗室 甘肅 蘭州 730070）

1 引言

人臉及其表情識別技術(shù)是智能圖像處理中的一個重要分支，是安全防范工程中常用的一種技術(shù)，在當(dāng)前嚴(yán)峻的治安形勢下，利用監(jiān)控圖像對畫面中的人物進行人臉識別和表情檢測不失為一種有效手段，尤其是在公安技術(shù)中[1]，利用測謊儀對受測者進行測謊時，通過直接物理接觸（主要指皮膚接觸）方法對受測者采集生理信號時，往往會由于受測者對測謊設(shè)備的抵觸、緊張等原因增加測謊的失誤率，若能以視頻圖像分析為輔助，將對測謊的有效性具有重要幫助意義。

在一個完整的表情識別系統(tǒng)中，表情特征提取是人臉表情識別過程中一個重要組成部分，表情特征的有效性直接決定著表情識別的準(zhǔn)確性，它對整個表情識別系統(tǒng)有著決定性的作用。在表情特征提取方法中，基于靜態(tài)表情紋理提取法是其中最主要的一種，常用的靜態(tài)紋理特征提取方法主要有基于小波提取方法[2]和基于局部二元模式（Local Binary Pattern，LBP）提取方法[3-4]?；谛〔ǖ姆椒芤匀祟愐曈X方法較好的提取紋理特征，但該方法對內(nèi)存和時間的要求較高，不利于實時系統(tǒng)的建立；利用LBP方法以及它的改進方法由于其簡便性也被常用于表情特征提取。然而不管是基于小波方法還是基于LBP的方法，都存在提取到的特征維數(shù)過高的問題，針對此問題，提出一種降維算法，該算法將圖像歐式距離（Image Euclidean Distance，IMED）嵌入于LLE（Local Linear Embedding）方法中，得到一種改進的特征提取方法。

2 圖像預(yù)處理

對于一個完整的圖像識別系統(tǒng)來說，源圖像的選擇和預(yù)處理是必不可少的工作，本文中所用的實驗圖像均來源于日本女性人臉表情庫（JAFFE），該表情庫中的人臉圖像尺寸大小一致，沒有過多背景干擾，已經(jīng)被多種人臉及表情識別的研究作為源圖像，是學(xué)術(shù)界公認(rèn)的適合用作于亞洲人臉表情圖像識別的實驗源圖像。為減少由于光照、噪聲等因素的影響，在對圖像進行特征提取前，對表情圖像進行灰度歸一化處理，完成歸一化處理后利用灰度積分投影[5]的方法得到人臉表情圖像。根據(jù)灰度積分投影方法原理，若圖像不同區(qū)域中有較明顯的灰度變化，則投影曲線也將會發(fā)生躍變，形成波峰或波谷，這對于表情圖像中特征點的位置的確定，尤其是眼球的坐標(biāo)很有幫助。為能獲取最佳的包含有表情的人臉，本文中利用二次灰度積分投影的方法實現(xiàn)人臉的精確檢測和定位。

第一次灰度投影是對整個含有人臉表情圖像進行積分檢測，分別對垂直方向和水平方向上進行積分投影，得積分投影曲線如圖1～2所示。圖中標(biāo)記的位置分別是原始圖像水平方向（臉頰部位）坐標(biāo)和原始圖像垂直部位（眼眼睛部位）坐標(biāo)，由此根據(jù)人臉的五官比例得到較為準(zhǔn)確且完整人臉圖

對第一次灰度積分投影定位得到的圖像再次進行積分投影，得到的積分到投影曲線如圖3～4所示。獲得鼻梁水平位置的坐標(biāo)（即得眼部水平方向坐標(biāo)）及眼睛部位的精確垂直方向的坐標(biāo)，利用已得出的人臉中軸線和圖像中眼睛部位的垂直坐標(biāo)，再次按照人臉五官比例裁剪即可得到精確的人臉表情圖像。

最后進行尺寸的歸一化處理，分別得到不同尺寸的表情圖像，用以后續(xù)實驗作對比。圖像預(yù)處理示意如圖5中第二次積分投影確定圖像所示。

圖1 人臉垂直積分投影

圖2 人臉?biāo)椒e分投影

圖3 眼部坐標(biāo)垂直投影

圖4 眼部坐標(biāo)水平投影

圖5 圖像預(yù)處理裁剪

3 初級高維特征提取

原始的LBP方法[6]是利用一個算子模板，將算子模板中心的像素的像素值與周圍像素的像素值作簡單比較，大于等于中心像素值的標(biāo)記為1，小于中心像素值的標(biāo)記為0，然后按照順時針或逆時針得到一組二進制數(shù)，這組二進制數(shù)即是算子模板中心原像素點的LBP值，對整幅圖像中每個像素點都用此模板操作，得到整個圖像的LBP碼，將由LBP碼組成的直方圖為本幅圖像的LBP特征，如公式（1）所示：

其中，P代表算子模板中與中心點的近鄰點的個數(shù)，R代表模板中近鄰點與中心點的半徑，是中心像素點）的近鄰點，定義如下：

局部定向模式（Local Directional Pattern，LDP）[7]算法，是對LBP算子的改進，與LBP算法相比，LDP對于光照和噪聲具有更好的魯棒性。以一個固定為3×3的模板算子為例，一共有9個灰度值，利用Kirsch算子對中心像素點周圍的8個像素點進行計算，得到每個不同方向上的Kirsch值，記為。然后依次選取k個較大的值作為主要特征值，并將這k個灰度值賦值為1，其它的賦值為0，得到一組二進制數(shù)。這個二進制值即為該3×3算子模塊中心值的特征值，記為該點的值，如公式（2）所示：

圖6 LBP和LDP方法提取到的圖譜

4 嵌入圖像歐式距離的LLE降維算法

在各種分類方法的計算過程中，樣本距離的計算常常是必不可少的，對于圖像識別來說，最簡單的方法莫過于將不同圖片按照像素點灰度值進行逐個比較，但這種方法往往會因圖像的輕微變動而造成兩張相似圖片得到較大距離，從而造成誤判?；诖丝紤]WANG L等人提出圖像歐式距離[8]，該方法與傳統(tǒng)方法計算利用公式（3）得到的歐氏距離不同，它在進行圖像對比時將圖像灰度值所對應(yīng)的位置考慮進去，利用公式（4）得到圖像歐式距離

由IMED方法的原理可見，它能減少由于圖像的輕微變形或擾動造成的比較誤差，尤其是對于表情圖像識別時同一表情表現(xiàn)程度不同而形成的紋理的比較，效果尤為明顯。但在進行圖片分類識別時，若完全以整個圖像的灰度值作為特征分類，即使利用IMED方法，也會出現(xiàn)特征信息量嚴(yán)重冗余，分類方法復(fù)雜度指數(shù)增加等問題，造成分類錯誤?；诖?，需要有一種降維方法提取出有效的分類特征，而流行降維是一種通過局部線性關(guān)系的聯(lián)合來解釋全局非線性結(jié)構(gòu)的非線性降維[9]方法，對于解決人臉識別與表情識別這一類具有較多相似性圖片的分類問題有較好的效果。

本文利用LLE[10]方法，它是流形方法的其中一種，其基本思想是：在一個樣本空間中，對于其中任意一個樣本點來說，都可以用其周圍有限個樣本點來線性表述，在計算的過程中得到一個能最佳重構(gòu)原樣本的權(quán)值向量，從而將樣本從高維空間變換到低維空間。

采用LLE方法將表情特征從高維向量空間變換到低維空間，即可得到各種表情的本質(zhì)幾何特征，但考慮人臉的非剛體性等特點，為得到更好的表情特征，實現(xiàn)較好的識別率，將圖像歐式距離方法與LLE方法結(jié)合。

嵌入圖像歐式距離的LLE特征提取方法具體過程描述如下：

（1）獲取含有高維表情特征的樣本X。利用公式（1）和（2）得到每張表情圖像的LBP和LDP圖譜，由此得到訓(xùn)練樣本集合

（2）將圖像歐式距離嵌入到高維表情圖譜中。由（5）公式可知， 的計算方法與圖像中像素的灰度值無關(guān)，只和圖像中像素點的坐標(biāo)位置有關(guān)系，即只與圖像大小有關(guān)系，所以 可以被事先計算好。為提高實際使用中的計算效率，Liwei Wang，Yan Z hang等人提出一種ST（Standardizing Transform）的變化方法，用以計算，從 而避免不必要重復(fù)的計算。將分解為與分別是的特征向量和特征值。由此原始圖像變?yōu)椋?/p>

則圖像歐式距離變?yōu)椋?/p>

由（7）公式中可以看出，高維特征圖像經(jīng)過變換后作為特征提取時，就相當(dāng)于將IMED方法嵌入了，也就是說不用等到提取特征時再嵌入IMED，從而避免了重復(fù)計算，提高計算效率。本步驟實際是對LBP及LDP圖像嵌入IMED，為更明顯體現(xiàn)視覺效果，對未做基本紋理提取的原圖像嵌入IMED，如圖7所示。

圖7 嵌入IMED前后圖像對比

5 實驗結(jié)果與分析

選擇JAFFE圖庫中7種表情，每種30張共210張人臉表情圖像，對這些表情圖像按照文中的方法進行預(yù)處理，分別得到分辨率為64×64，48×48，2×32，16×16大小的圖像。對得到的不同分辨率的表情圖像分別用LBP、LDP方法提取得到高維表情特征，然后分別再用改進前與改進后的LLE方法對已經(jīng)提取的高維特征進行降維，最后用最近鄰方法分類[11]?；诓煌椒ê筒煌直媛时砬樽R別得到的識別率如圖8～11所示。

整體分析圖中的識別率曲線，利用LDP提取紋理特征的方法得到的識別效果要好于LBP方法，說明LDP方法在一定程度上優(yōu)于LBP方法。

圖8 16×16分辨率表情識別率曲線

圖8中，16×16分辨率圖像的表情識別率曲線中，LBP+IMLLE方法得到的效果最好，在不同維數(shù)情況下（60～140），識別率較穩(wěn)定（70%～75%），魯棒性較強，LDP+IMLLE方法在降維后維數(shù)為80左右得到的表情識別率接近于LBP+IMLLE方法。

圖9 32×32分辨率表情識別率曲線

圖9中，32×32分辨率圖像的表情識別率曲線中，LDP+IMLLE方法的效果與使用像素為16×16分辨率的圖像相比，有明顯提高，使用LBP+IMLLE方法得到的識別效果與于LDP+LLE方法得到的效果相近，但均高于未改進前的方法。

圖10 48×48分辨率表情識別率曲線

圖10中，48×48分辨率圖像表情識別率曲線中，同32×32相比，LDP+IMLLE方法最高識別率高于80%。

圖11 64×64分辨率表情識別率曲線

圖11中，64×64分辨率圖像表情識別率曲線中，與48×48，32×32相比，最高識別率有所下降，但不同維數(shù)情況下識別率保持穩(wěn)定，尤其是LDP+IMLLE方法在維數(shù)為60～130情況下基本保持在75%以上，這對不同情況下選取降維后的維數(shù)是重要的參考依據(jù)。

綜上所述，可以看出：

（1）利用LDP方法得到的表情識別效果要好于LBP方法得到的識別效果，這種情況在圖9～11中表現(xiàn)的尤為明顯，其識別率要高出近8%～10%。

（2）嵌入IMED的LLE降維方法得到更為穩(wěn)定的識別率，尤其是在圖8、9、11中，最為明顯在維數(shù)為60～130均保持在一個穩(wěn)定的范圍內(nèi)，這對于多樣本降維過程中低維維數(shù)的確定提供了一種較大的選擇范圍，同時也說明嵌入IMED方法的LLE對于人臉表情識別過程中的降維具有更好的效果。

（3）文中提出的嵌入IMED方法的LLE算法在對LBP及LDP圖譜做表情識別時好于ZI-LU YING等提出SLLE+LBP的表情識別方法[12]。SLLE+LBP方法得到的最高識別率為71.5%，而本文中無論是基于LBP還是基于LDP圖譜的方法得到的識別率均高于此值。

本文所有實驗的代碼運行均是利用MATLAB2010a軟件完成，硬件平臺是英特爾酷睿i5處理器（2.9GHz），4G內(nèi)存的PC機。

6 結(jié)束語

本文對表情識別系統(tǒng)中特征提取的降維方法提出了一種改進算法，在原有的局部線性嵌入方法（LLE）的基礎(chǔ)上，將圖像歐式距離（IMED）嵌入其中。對不同分辨率的表情圖像分別提取LBP和LDP特征，利用改進后的降維方法得到低維表情特征，利用低維特征對不同的表情分類。對實驗數(shù)據(jù)進行分析，表明改進后的方法提取到的表情特征更加穩(wěn)定。該方法可作為微表情識別及表情測謊中的表情特征提取的重要參考。

參考文獻：

[1] 肖軍.人臉識別技術(shù)在追逃工作中的應(yīng)用現(xiàn)狀與展望[J].刑事技術(shù),2016(2):137-141.

[2] 牛連強, 趙子天, 張勝男. 基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法[J]. 沈陽工業(yè)大學(xué)學(xué)報,2016(1):63-68.

[3] Ji Y, Idrissi K. Facial Expression Recognition by Automatic Facial Parts Position Detection with Boosted-LBP[C]//IEEE.IEEE International Conference on Signal-Image Technology& Internet-Based Systems (SITIS). Washington DC:IEEE Computer Society,2009:28-35.

[4] 姜銳,許建龍,張愛朋.基于改進LBP的人臉表情識別[J].浙江理工大學(xué)學(xué)報,2013(4):546-549.

[5] 馬艷妮,耿國華,周明全,等.臉部特征點的定位與提取方法[J].計算機工程與應(yīng)用,2009(18):167-170.

[6] Ojala T,Pietikainen M,Maenpaa T.MultiresolutionGray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2002(7):971-987．

[7] Taskeed Jabid,Md Hasanul Kabir,Oksam Chae.Local Directional Pattern (LDP)-A Robust Image Descriptor for Object Recognition[C]//IEEE. IEEE International Conference on Advanced Video and Signal Based Surveillance(AVSS).Washington DC:IEEE Computer Society,2010:482-487.

[8] WANG L,ZHANG Y,FENG J. On the Euclidean distance of image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005(8):1334-1339．

[9] 馬瑞,王家廞,宋亦旭. 基于局部線性嵌入(LLE)非線性降維的多流形學(xué)習(xí)[J]. 清華大學(xué)學(xué)報(自然科學(xué)版),2008(4):582-585.

[10] Roweis S,Saul L.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000(5500):2323-2326．

[11] 祝磊,朱善安.基于2維保局投影的人臉識別[J].中國圖象圖形學(xué)報,2007(11):2043-2047.

[12] Ying Z L,ZHANG Y W,Li J W. Manifold Learning Approach to Facial Expression Recognition on Local Binary Pattern Features[C]//IEEE.IEEE International Conference on Machine Learning and Cybernetics.Baoding:IEEE,2009:405-410.