基于IMF解析信號能量熵的人臉表情特征提取方法*

李　茹　張建偉

(1.四川大學計算機學院　成都　610065)(2.四川大學視覺合成圖形圖像技術國家重點學科實驗室　成都　610065)

?

基于IMF解析信號能量熵的人臉表情特征提取方法*

李茹1,2張建偉1,2

(1.四川大學計算機學院成都610065)(2.四川大學視覺合成圖形圖像技術國家重點學科實驗室成都610065)

摘要人臉表情識別是指利用計算機技術、圖像處理、機器視覺等技術對人臉表情圖像或圖像序列進行特征提取、建模,以及表情分類的過程,從而使得計算機程序能夠依據(jù)人的臉部表情信息推斷人的心理狀態(tài)。人臉表情識別主要分為三個階段:人臉檢測、表情特征提取、表情特征分類。其中,表情特征的選取是人臉表情識別的關鍵步驟,特征選取的好壞直接影響表情分類的效果。論文提出了一種基于IMF解析信號能量熵的人臉表情特征提取方法,將希爾伯特黃變換方法應用到人臉表情識別中。首先,對表情圖像進行Radon變換,得到人臉表情信號,然后對該信號進行經(jīng)驗模態(tài)分解(EMD),得到一系列本征模態(tài)函數(shù)(IMF),對得到本征模態(tài)函數(shù)(IMF)進行Hilbert變換,得到IMF解析信號,計算瞬時振幅,瞬時頻率。選擇IMF以及其解析信號的振幅作為特征向量,計算其能量判別熵,選擇同類之間有較小判別熵,不同信號類之間有較大判別熵的特征作為表情分類的特征向量。采用PCA算法對選取的特征進行降維,使用支持向量機(SVM)對兩類表情進行分類。

關鍵詞EMD; IMF; Hilbert; 能量判別熵; 人臉表情識別; 特征提取

Facial Expression Feature Extraction Based on the J-divergence Entropy of IMF

LI Ru1,2ZHANG Jianwei1,2

(1. School of Computer, Sichuan University, Chengdu610065)

(2. State Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu610065)

AbstractFacial emotion or facial expression recognition refers to using computer technology, image processing and machine vision technology to process the object from a given image or video sequence for feature extraction, modeling, classification to identify the psychological mood of the subject. Facial expression recognition is mainly divided into three stages, including face detection, face feature extraction and expression classification. Expression feature extraction and selection is a key step in efficient and effective facial emotion recognition and may affect the classification results. In this study, a novel approach of face expression feature extraction is proposed based on energy entropy of IMF analytic signal. Firstly, a Radon transform is made for the facial image to obtain a facial signal and the facial signal is decomposed into a number of IMFs, using the EMD algorithm. Then, with the Hilbert transform for etch IMF, the amplitude of IMF analytic signal can be acquired. In this work, the element which has larger discriminant entropy between the different classes and smaller discriminant entropy is chosen in the same class as the feature vector for emotion classification. Principal Component Analysis (PCA) is independently applied on features extraction for dimensionality reduction. These dimensionality reduced features are fed to the Support Vector machine (SVM) classifiers for classification.

Key WordsEMD, IMF, Hilbert, J-divergence entropy, facial expression recognition, feature extraction

Class NumberTN911.7

1引言

人臉表情識別是指從給定的表情圖像或者視頻序列中分析檢測出特定的表情狀態(tài),進而確定被識別對象的心理情緒。

近年來,gabor濾波器[1~2],小波變換[3~4],邊緣檢測[5],離散余弦變換[6~7]和局部二進制模式[8~9]等技術不斷被應用于人臉表情識別研究中。

由于將人臉進行Radon變換[10]后得到的信號屬于非平穩(wěn)信號,針對非平穩(wěn)信號我們采用Hilbert-Huang[11]變換進行處理。該方法包括經(jīng)驗模態(tài)分解及Hilbert變換兩部分。本文采取EMD分解算法將處理后的人臉表情信號進行分解,得到一系列IMF分量,然后介紹基于能量熵的分類特征的選取,并通過仿真實驗給出分析結果。

2圖像預處理

實驗表明[12],嘴角形狀對表情的影響最大,其次是眼睛和眉毛,因此對表情人臉進行圖像分割的目標就是要精確定位和分離出嘴巴、眼睛和眉毛等局部持久表情特征子區(qū)域。從表情圖像中分割出與表情有關的子區(qū)域后,需要對子圖像進行幾何及尺寸歸一化處理。處理后的部分樣本圖如圖1所示。

圖1　CK庫中分割樣本圖

3基于IMF的人臉表情特征選取

3.1EMD的簡介

從本質上說,EMD是一個對信號進行平穩(wěn)化處理的過程,它基于信號的局部特征尺度,可以將任意信號中不同尺度的波形或趨勢逐級分解出來,對原始的非平穩(wěn)、非線性時間序列進行經(jīng)驗模態(tài)分解,產(chǎn)生一系列具有不同特征尺度的數(shù)據(jù)序列,每個序列作為一個本征模態(tài)函數(shù)(IMF)。

根據(jù)IMF的定義,對原始信號進行n階經(jīng)驗模態(tài)分解,獲得n個IMF分量和剩余信號。經(jīng)過EMD分解后原始非平穩(wěn)、非線性信號可以表示為IMF分量及剩余剩余趨勢rn項之和[13~14],即

(1)

式中:ci代表每個IMF;rn代表剩余信號。

對Radon變換后的人臉表情信號進行EMD分解后得到的信號圖如圖2所示。

圖2　對驚訝表情進行EMD分解后的IMF分量及剩余分量

3.2Hilbert變換

經(jīng)過EMD后,對每個IMF進行Hilbert變換,可得到原始信號的Hilbert譜[13~14]。具體步驟如下。

對每個IMF分量進行Hilbert變換,可形成解析信號ci(t)+jHT(ci(t)),式中,HT(ci(t))為ci(t)的Hilbert變換。

(2)

解析信號的幅度可以表示為

(3)

解析信號的相位可以表示為

θi(t)=arctan(H(ci(t))/ci(t))

(4)

再求導可得瞬時頻率

wi(t)=dθi(t)/dt

(5)

這樣,原信號x(t)可描述為

(6)

3.3基于IMF能量判別熵的人臉表情特征選取

表情特征的選取是人臉表情識別的關鍵步驟,特征選取的好壞直接影響表情分類的效果,其根本任務是從眾多的特征中找出對目標識別最有效的特征。由圖2可知,每階IMF分量含有不同頻率成分,IMF的階數(shù)越低,其所含高頻成份愈多。在同一階IMF分量上,不同類別的信號有著不同的頻率成分,而且頻率、幅度相差很大。IMF解析信號的幅度,頻率與數(shù)據(jù)的特征有緊密關系,因而可以考慮采用IMF解析信號以及該信號的的幅度或頻率作為分類的特征。通過實驗選擇最優(yōu)特征。

在特征選擇中,需要一個定量的準則來衡量特征分類的有效性。通過對信號EMD過程的分析和可分性測度的仿真計算,選擇各類特征向量的均值分散度來度量該分量對分類的重要性,并用相對熵作為分散度的測度[13]。

相對熵定義為v(p,ω)=∑p(xi)log[p(xi)/ω(xi)]≥0,可以用來作為某個概率分布密度p(xi)偏離給定標準分布ω(xi)程度的度量,相對熵越大,這兩類概率分布的差別就越大。因此,可定義判別熵W(p,q)來表征兩類分布p(xi)和q(xi)的差別大小[15]。

w(p,q)=v(p,q)+v(q,p)

=∑p(xi)logp(xi)-∑p(xi)logq(xi)

+∑q(xi)logq(xi)-∑q(xi)logp(xi)

(7)

式中i代表類別號,在不對概率分布進行估計的情況下,可用歸一化處理的樣本特征值來代替上式中的概率分布。

其中,n表示樣本個數(shù)。

歸一化后的均值為

(8)

(9)

用

(10)

作為特征向量X(i)可分型的熵度量。

4基于IMF能量判別熵的分類實驗

基于IMF解析信號的振幅能量判別熵的人臉表情特征提取方法流程圖如圖3所示。

圖3　基于IMF解析信號的振幅能量判別熵的

4.1實驗數(shù)據(jù)

在CK數(shù)據(jù)庫上的實驗為保證數(shù)據(jù)的有效性,實驗時,有選擇地選取不同光照條件下,不同人種的實驗對象的表情序列,本文選取每個序列的前兩個圖像作為中性表情,為了保證表情樣本的多樣性,我們選取各個序列的中間以及最后兩幅圖片作為實驗對象。實驗時,采用2-fold方法對算法進行交叉驗證,即將實驗數(shù)據(jù)劃分成兩個沒有重疊圖像的兩組數(shù)據(jù)集合X1和X2,其中,X1包含所選序列的中間兩幅及最后兩幅圖片中的各一幅圖像,X2包含每一個所選序列的剩余兩幅圖像。訓練及測試樣本集X1和X2中每個樣本集均包含154張圖片,其中高興表情76張,驚訝表情78張。

4.2實驗結果與分析

對訓練樣本和測試樣本兩類表情進行分類,用式(7)~式(10)計算IMF1~IMF8分量及其分量解析信信號的振幅,頻率的判別熵。

選擇IMF解析信號的振幅作為表情分類特征的實驗。

表1給出s1(高興表情類)和s2(驚訝表情類)兩類表情的IMF解析信號的振幅能量判別熵。其中S_AMP表示同類表情圖片經(jīng)過EMD分解后得到的IMF1~IMF8解析信號的振幅判別熵,D_AMP表示不同類之間的判別熵。

表1　兩類表情IMF解析信號振幅判別熵

實驗1:X1為訓練數(shù)據(jù),X2為測試數(shù)據(jù),累計方差貢獻率選擇91%,分別計算以IMF1~IMF8解析信號的振幅為特征向量的分類正確率。

實驗2:X2為訓練數(shù)據(jù),X1為測試數(shù)據(jù),累計方差貢獻率為91%,分別計算以IMF1~IMF8解析信號的振幅為特征向量的分類正確率。

計算實驗1和實驗2的平均分類正確率,分類結果如表2所示。

為了保證分類器有較好的分類性能,通常選擇那些在不同類別的樣本之間有較大判別熵,同時在同類的樣本之間有較小判別熵的特征向量進行分類器設計;觀察表1可知IMF1~IMF4分量以及該分量的的解析信號的振幅符合上述條件,觀察表2的分類結果可知當選擇IMF1~IMF4解析信號的振幅做特征向量時,兩類表情有很好的區(qū)分度,分類正確率較高。

表2　使用IMF1~IMF8解析信號的瞬時頻率

5結語

本文對基于IMF解析信號振幅判別熵的人臉表情特征特取方法及分類試驗進行了介紹。從分類試驗的過程可以看出,基于IMF解析信號振幅判別熵的特征提取方法非常簡單,計算量小,從分類試驗的結果看,以IMF1解析信號的振幅作為特征向量該兩類表情的分類效果最好。

參 考 文 獻

[1] Donato G, Bartlett, M S, Hager, J C, et al. Classifying facial actions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(10):974-989.

[2] Deng, H B, Jin, L W, Zhen, L X, et al. A new facial expression recognition method based on local gabor filter bank and PCA plus LDA[J]. International Journal of Information Technology,2005,11(11):86-96.

[3] Shih, F Y, Chuang, C F, Wang, P S P. Performance comparisons of facial expression recognition in JAFFE database[J]. International Journal of Pattern Recognition,2008,22(3):445-459.

[4] Kazmi, S B, Qurat-ul-Ain, Jaffar, M A. Wavelet-based facial expression recognition using a bank of support vector machines[J]. Soft Computing,2012,16(3):369-379.

[5] Ilbeygi, M, Hosseini, H S. A novel fuzzy facial expression recognition system based on facial feature extraction from color face images[J]. Engineering Applications of Artificial Intelligence,2012,25:130-146.

[6] Kharat, G U, Dudul, S V. Emotion recognition from facial expression using neural networks[C]//Z S Hippe & J L Kulikowski(Eds), Human-computer systems interaction, AISC 60,2009:207-219.

[7] Gupta, S K, Agrwal, S, Meena, Y K, et al. A hybrid method of feature extraction for facial expression recognition[C]//7th international conference on signal image technology & internet-based systems,2011:422-425.

[8] Zhang, S, Zhao, X, Lei, B. Facial expression based on local binary patterns and local fisher discriminant analysis[J]. WSEAS Transactions on Signal Processing,2012,8(1):21-31.

[9] Zhao, X, Zhang, S. Facial expression recognition based on local binary patterns and kernel discriminant isomap[J]. Sensors,2011,11(10):9573-9588.

[10] Hasimah Ali, Muthusamy Hariharan, Sazali Yaacob, et al. Facial emotion recognition using empirical mode decomposition[J]. Expert Systems with Applications,2015,42:1261-1277.

[11] Huang, N E, Shen, Z, Long, S, et al. The empirical mode decomposition and Hilbert spectrum for nonlinear and non-stationary time series analysis[C]//Proceedings of the Royal Society of London, 454, 903-995. R Soc, Lond,1998,454(12):903-995.

[12] Liu Xiaomin, Tan Huachun, Zhang Yujin. The new progress in the study of facial expression recognition[J]. Chinese Journal of Image and Graphics,2006,11(10):1359-1368.

[13] 張小薊,張歆,孫進才.基于經(jīng)驗模態(tài)分解的目標特征提取與選擇[J].西北工業(yè)大學學報,2006,24(4):453-456.

ZHANG Xiaoji, ZHANG Xin, SUN Jincai. Feature extraction and selection based on empirical mode decomposition[J]. Journal of Northwestern Polytechnical University,2006,24(4):453-456.

[14] 王健鋒,黃曉霞.基于EMD和Hilbert變換的腦磁信號特征提取和分類[J].上海海事大學學報,2014,35(3):90-94.

WANG Jianfeng, HUANG Xiaoxia. Feature extraction and classification of agnetoencephalography based on EMD and Hilbert transform[J]. Journal of Shanghai Maritime University,2014,35(3):90-94.

[15] ZHANG Xiaoji, ZHANG Xin, SUN Jincai. Feature extraction and classification experiment based on energy entropy of IMF’S[J]. Computer Engineering and Pplications,2008,44(4):68-69.

中圖分類號TN911.7

DOI:10.3969/j.issn.1672-9722.2016.03.032

作者簡介:李茹,女,碩士研究生,研究方向:數(shù)字圖象處理。張建偉,男,博士,研究員,博士生導師,研究方向:數(shù)字圖象處理與計算機圖形學、空管自動化。

基金項目:支持群體交互的大規(guī)模虛擬環(huán)境構建技術及系統(tǒng)(編號:2013AA013902)資助。

收稿日期:2015年9月11日,修回日期:2015年10月27日