基于改進(jìn)LTP算子和稀疏表示的人臉表情識(shí)別

李立賽，應(yīng)自爐

?

基于改進(jìn)LTP算子和稀疏表示的人臉表情識(shí)別

李立賽，應(yīng)自爐

（五邑大學(xué) 信息工程學(xué)院，廣東 江門 529020）

為了提高實(shí)際應(yīng)用中的人臉表情識(shí)別率，本文提出了改進(jìn)局部三值模式算法（ILTP），并結(jié)合稀疏表達(dá)分類器（SRC）組成新的算法應(yīng)用于人臉表情識(shí)別. 該算法首先利用ILTP算法對(duì)人臉表情圖像進(jìn)行特征提取，然后將得到的圖像頂層特征數(shù)據(jù)和圖像底層特征數(shù)據(jù)作為SRC的輸入，從而完成人臉表情分類. 基于JAFFE數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明：改進(jìn)算法的人臉表情識(shí)別率達(dá)70.48%，具有較高的可行性.

表情識(shí)別；紋理特征；改進(jìn)局部三值模式算法；稀疏表達(dá)分類器

隨著人工智能和模式識(shí)別技術(shù)的快速發(fā)展，生物識(shí)別技術(shù)已經(jīng)成為人機(jī)交互研究的重要領(lǐng)域之一. 表情作為一種特殊的生物特征，是人與人之間交流與互動(dòng)的重要手段，也是了解他人主觀心理狀態(tài)的客觀指標(biāo). 近幾十年來，人臉表情識(shí)別在不同的領(lǐng)域獲得了很多成果，如人機(jī)交互、智能監(jiān)控、身份驗(yàn)證、行為科學(xué)等. 但由于年齡、膚色、性別、發(fā)型等差異和眼鏡等飾物的遮掩，人臉表情識(shí)別技術(shù)仍然是一個(gè)極富挑戰(zhàn)性的研究課題.

人臉表情識(shí)別的特征提取算法和分類器優(yōu)劣對(duì)識(shí)別效果有著重要的影響. 最常見的特征提取算法和識(shí)別算法有主成分分析法[1]、Gabor小波法[2]、基于特征點(diǎn)的跟蹤方法[3]、局部二值量化、局部相位量化等. 被廣泛應(yīng)用的識(shí)別算法有SVM、AdaBoost、SRC（Sparse Representation-based Classification）和人工神經(jīng)網(wǎng)絡(luò)等. 這些算法都不斷被研究者們改進(jìn)和應(yīng)用[4]，使得人臉表情識(shí)別取得了很多成果. 本文提出的改進(jìn)局部三值模式算法（Improved Local Ternary Patterns，ILTP）是在局部三值模式（Local Ternary Patterns，LTP）[5]的基礎(chǔ)上獲得的，局部三值模式是局部二值模式（Local Binary Pattern，LBP）的一種優(yōu)化算法. 雖然LTP在圖像均勻的區(qū)域比LBP具有更強(qiáng)的區(qū)分能力和對(duì)噪聲、光源變化的強(qiáng)魯棒性等特點(diǎn)，但是，其在圖像的多尺度變化和局部遮擋問題的處理上還有一些不足，容易因圖像特征不易提取而導(dǎo)致識(shí)別率較低. 考慮到這些不足，本文希望對(duì)LTP做進(jìn)一步的優(yōu)化，并將其應(yīng)用于人臉表情識(shí)別.

1 ILTP特征描述算子

1.1 基本LTP特征描述算法

局部三值模型是由Tan[6]提出的，該算法是對(duì)局部二值模型的一種改進(jìn)與泛化. LTP算法[7]引入了閾值區(qū)間，即將LBP算子以中心值為閾值變?yōu)橐灾行闹档膮^(qū)間為閾值. 鄰域值在中心值區(qū)間內(nèi)編碼值將為0；鄰域值比中心值區(qū)間大編碼將為1；鄰域值比中心值區(qū)間小編碼將為. 其具體編碼規(guī)則如式（1）所示：

圖1 基本LTP編碼示意圖

通過LTP編碼可以得到三值編碼，如圖1中得到的LTP編碼為1100（-1）（-1）00. 為了降低編碼的復(fù)雜度，編碼時(shí)往往會(huì)將三值模式轉(zhuǎn)換為2個(gè)二值模式，然后分別統(tǒng)計(jì)直方圖信息. 如100（-1）（-1）00將會(huì)被分為頂層模式（11000000）和底層模式（00001100）這2種二值模式，如圖2所示.

圖2 LTP拆分編碼

1.2 ILTP特征描述算法

盡管在圖像均勻區(qū)域LTP算子用于人臉表情識(shí)別比LBP具有更強(qiáng)的判別能力，但LTP仍然存在不足. 其一是產(chǎn)生的直方圖維數(shù)過大；其二是LTP在圖像的多尺度變化和局部遮擋等問題的處理上還有一定局限. 同時(shí)，傳統(tǒng)LTP算子在編碼的過程中只是簡(jiǎn)單將中心像素點(diǎn)值與鄰域值進(jìn)行比較，丟失了一些局部結(jié)構(gòu)信息. 針對(duì)LTP算子的缺點(diǎn)，編碼過程中將會(huì)給中心像素和鄰域值分配不同的權(quán)重以得到新的值，并將獲得的新的值用于后期編碼，從而得到ILTP算子，如圖3所示.

圖3 ILTP編碼過程中中心值的確定

圖4 ILTP編碼圖像

2 稀疏表達(dá)分類器

近年來，SRC作為一種新的識(shí)別算法不斷被應(yīng)用到表情識(shí)別中并且取得了不錯(cuò)的效果[8-9]. 只要信號(hào)是可壓縮的或在某個(gè)變換域是稀疏的，就可以運(yùn)用一個(gè)與變換基不相關(guān)的觀測(cè)矩陣將所得高維信號(hào)投影到低維空間，并通過求解一個(gè)優(yōu)化問題從少量投影中重構(gòu)原始信號(hào). SRC的基本思想為，假設(shè)有類的幅訓(xùn)練樣本，可將其重構(gòu)排列為，其中，，為圖像大小. 那么，的每一個(gè)列向量就是第類對(duì)應(yīng)的訓(xùn)練樣本. 假設(shè)有足夠的測(cè)試樣本，那么一個(gè)屬于類的測(cè)試樣本可用訓(xùn)練樣本線性表達(dá)為

3 基于ILTP和SRC的人臉表情識(shí)別

本文提出的人臉表情識(shí)別方法是基于ILTP和SRC，即利用ILTP算法對(duì)訓(xùn)練樣本和測(cè)試樣本分別進(jìn)行處理得到表情特征數(shù)據(jù)，將這些數(shù)據(jù)作為SRC的輸入，從而得到識(shí)別結(jié)果. 本實(shí)驗(yàn)在JAFFE（Japanese Female Facial Expression）數(shù)據(jù)庫中進(jìn)行. 該庫中包含10個(gè)人7種表情（生氣、厭惡、害怕、傷心、高興、吃驚、中性）的共210張人臉表情圖像，其中，每種表情含3幅圖像.

4）輸出步驟3）的結(jié)果.

圖5 基本LTP+SRC算法識(shí)別率與ILTP+SRC算法識(shí)別率對(duì)比圖

圖6 ILTP+SRC算法分別拆分（頂層模式，底層模式）后的識(shí)別效果對(duì)比圖

圖7 ILTP+SRC算法和特征融合算法識(shí)別效果對(duì)比圖

4 總語

人臉表情分類的準(zhǔn)確性很大程度上依賴于所提取特征的有效性，因而表情特征的高效提取與應(yīng)用是提高表情識(shí)別率的一個(gè)關(guān)鍵步驟. 本文在基本算法的基礎(chǔ)上得到了算法，并通過實(shí)驗(yàn)與相關(guān)分析證明了改進(jìn)算法的有效性. 改進(jìn)了在人臉表情識(shí)別算法上的不足，提出了與融合的算法，使得識(shí)別率提高到70.48%. 由于該識(shí)別率是在一個(gè)特定的條件下獲得的（即JAFFE數(shù)據(jù)庫下非相關(guān)人臉的表示識(shí)別率），其普遍性和實(shí)用性還有待在后期的工作實(shí)驗(yàn)中加以證明，如何提高其在實(shí)際運(yùn)用中的時(shí)效性和識(shí)別率還有待在后期實(shí)驗(yàn)中不斷的改進(jìn).

[1] RAHULAMATHAVAN Y, PHAN R C W, CHAMBERS J A, et al. Facial expression recognition in the encrypted domain based on local fisher discriminant analysis [J]. IEEE Transactions on Affective Computing, 2013, 4(1): 83-92.

[2] 張娟，詹永照，毛啟容，等. 基于Gabor小波和稀疏表示的人臉表情識(shí)別[J]. 計(jì)算機(jī)工程，2012, 38(6): 207-209.

[3] LI Yongqiang, WANG Shangfei, ZHAO Yongping, et al. Simultaneous facial feature tracking and facial expression recognition [J]. IEEE Trans Image Process, 2013, 22(7): 2559-2573.

[4] 徐杜功，丁召，劉橋. 基于稀疏表示和改進(jìn)的LBP算子的人臉表情識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件，2013, 30(4): 246-248.

[5] 宋克臣，顏云輝，陳文輝，等. 局部二值模式方法研究與展望[J]. 自動(dòng)化學(xué)報(bào)，2013, 39(6): 730-744.

[6] TAN X, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [C]//Proc of Analysis and Modeling of Faces and Gestures. [S.I.]: Springer, 2007: 168-182.

[7] SATPATHY A, JIANG Xudong, ENG Howlung. LBP-based edge-texture features for object recognition [J]. IEEE Trans Image Process, 2014, 23(5): 1953-1964.

[8] ZHI Ruicong, RUAN Qiuqi, WANG Zhifei. Facial expression recognition via sparse representation [J]. IEICE TRANSACTIONS on Information and Systems, 2012, E95-D(9): 2347-2350.

[9] WANG Jing, SU Guangda, XIONG Ying, et al. Sparse representation for face recognition based on constraint sampling and face alignment [J]. Tsinghua Science and Technology, 2013, 18(1): 62-67.

[責(zé)任編輯：韋 韜]

Facial Expression Recognition Based on Improved LTP and Sparse Representation

LILi-sai, YINGZi-Lu

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

In order to improve the facial expression recognition rate in practical application, an improved local ternary patterns (ILTP) algorithm was proposed on the basis of the local ternary patterns (LTP) algorithm，and was combined with sparse representation-based classifier (SRC) to form a new algorithm to be applied to human facial expression recognition. Then facial expression features are extracted by ILTP algorithm, and the features are treated as the input of the SRC to complete facial expressions recognition. Experimental results based on JAFFE database prove that the new algorithm can get a facial expression recognition rate of 70.48% and is highly feasible.

facial expression recognition; texture features; ILTP; SRC

1006-7302（2015）02-0049-06

TP 391.41

A

2014-09-25

國家自然科學(xué)基金資助項(xiàng)目（61072127，61372193）；廣東省自然科學(xué)基金資助項(xiàng)目（S2011010001085，1052902001000002）

李立賽（1989—），女，湖北天門人，在讀碩士生，主要研究方向?yàn)槿四槺砬樽R(shí)別；應(yīng)自爐，教授，博士，碩士生導(dǎo)師，通信作者，主要研究方向?yàn)樾盘?hào)與信息處理、通信與信息系統(tǒng).