基于協(xié)作低秩分層稀疏和LC-KSVD的人臉表情識(shí)別*

劉清泉， 張亞飛， 李華鋒， 李 勃

(1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500; 2.昆明理工大學(xué) 智能信息處理重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500)

基于協(xié)作低秩分層稀疏和LC-KSVD的人臉表情識(shí)別*

劉清泉1,2， 張亞飛1,2， 李華鋒1,2， 李 勃1,2

(1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南昆明650500;2.昆明理工大學(xué)智能信息處理重點(diǎn)實(shí)驗(yàn)室，云南昆明650500)

為了降低人臉表情識(shí)別對(duì)待識(shí)別個(gè)體的依賴程度，控制識(shí)別字典規(guī)模，增加識(shí)別準(zhǔn)確度，提出了一種基于協(xié)作低秩和分層稀疏的表情識(shí)別字典構(gòu)建方法。通過協(xié)作低秩和分層稀疏表示(C-HiSLR)有效分離與待識(shí)別個(gè)體相關(guān)部分，保留表情變化部分，并結(jié)合標(biāo)簽一致區(qū)分字典學(xué)習(xí)(LC-KSVD)算法，進(jìn)行相應(yīng)待訓(xùn)練表情序列的重構(gòu)識(shí)別和對(duì)應(yīng)類別字典的區(qū)分程度的優(yōu)化學(xué)習(xí)。該方法在CK+數(shù)據(jù)集上進(jìn)行驗(yàn)證，識(shí)別效果較一般基于稀疏表示模型算法有明顯的提升。

協(xié)作低秩； 分層稀疏； 標(biāo)簽一致區(qū)分字典學(xué)習(xí)算法； 稀疏表示； 表情識(shí)別

0 引 言

目前,用于表情識(shí)別的方法主要有主成分分析[1]、Gabor小波變換[2]、局部二值模式[3]、流型方法[4]和主動(dòng)外觀模型等。相較于傳統(tǒng)方法，稀疏表示分類(sparse representation classification,SRC)，在模式識(shí)別領(lǐng)域獲得了較好的效果[5～8]，可以有效減少光照、姿態(tài)等因素對(duì)人臉表情識(shí)別的影響[9]。但稀疏表示需要構(gòu)建一個(gè)超完備字典，而一般的表情識(shí)別字典和待識(shí)別表情的對(duì)應(yīng)人相關(guān)程度較大，導(dǎo)致表情字典規(guī)模較大。

影片租賃公司Netflix推薦系統(tǒng)提出了著名的低秩矩陣填充問題，并因此延伸出了協(xié)作低秩和分層稀疏(C-HiSLR)，核心為假定觀測(cè)矩陣分解成稀疏和低秩2個(gè)矩陣。人臉表情中變化部分對(duì)應(yīng)稀疏的部分，而與待識(shí)別人物相關(guān)部分對(duì)應(yīng)于低秩部分，可以有效地將與人物相關(guān)，但與表情識(shí)別無關(guān)的低秩部分排除、提高了字典的有效性，使字典更加緊湊，并有效降低了字典規(guī)模。

表征臉可由中性正臉和相關(guān)的表情變化疊加而成，反之，有效的表情變化也可以通過表征臉減去中性正臉得到。在觀測(cè)人臉表征圖像序列減去中性正臉?biāo)玫降谋砬樽兓蛄袝r(shí)，發(fā)現(xiàn)，在該表情變化中，與待識(shí)別個(gè)體相關(guān)的人臉干擾因素被有效排除，大大提高了識(shí)別效果。

針對(duì)一般的表情分類不能有效地將與表情識(shí)別無關(guān)的低秩因素排除，導(dǎo)致識(shí)別字典規(guī)模較大的問題,采用標(biāo)簽一致區(qū)分(label consistent KSVD,LC-KSVD)字典學(xué)習(xí)算法[10],利用大量的訓(xùn)練樣本，學(xué)習(xí)出一個(gè)在識(shí)別和分類領(lǐng)域有明顯優(yōu)勢(shì)的字典。因此，結(jié)合協(xié)作低秩分層稀疏表示和標(biāo)簽一致區(qū)分字典學(xué)習(xí)算法的算法用于人臉表情識(shí)別十分有必要。

1 相關(guān)算法簡(jiǎn)述

1.1 LC-KSVD字典學(xué)習(xí)算法

采用能夠有效提升分類效果LC-KSVD算法。相比KSVD[11]算法，LC-KSVD算法加入了類別標(biāo)識(shí)因素作為監(jiān)督學(xué)習(xí)條件。LC-KSVD算法在考慮字典表示能力的同時(shí)，兼顧了對(duì)于字典分類性能的加強(qiáng)，在考慮對(duì)當(dāng)前訓(xùn)練樣本序列表示能力和分類能力的同時(shí)，保持了之前樣本對(duì)字典的訓(xùn)練效果，具體的表達(dá)形式

s.t.?i,‖xi‖0≤T

(1)

式中Y=[y1…yN]∈Rn×N為N個(gè)n維輸入信號(hào)集;D=[d1…dK]∈Rn×K(n>K即字典過完備)為一個(gè)待學(xué)習(xí)的字典；X=[x1,…,xN]∈RK×N為輸入信號(hào)Y的稀疏數(shù)表示系數(shù);T為稀疏閾值(每個(gè)信號(hào)個(gè)數(shù)比T更小);α和β控制對(duì)應(yīng)項(xiàng)之間的貢獻(xiàn)度。

為了便于計(jì)算，將式(1)轉(zhuǎn)換成式(2)形式，借用KSVD算法求解式(2)

s.t.?i,‖xi‖0≤T

(2)

KSVD算法主要利用給定的數(shù)據(jù)集，找到全局最優(yōu)的字典。但這是一個(gè)NP問題，只能分步逐漸逼近以求得最優(yōu)解，主要的操作可以簡(jiǎn)化成以下2步：

1)固定字典Dnew求解稀疏表示系數(shù)矩陣X。

2)根據(jù)求解的稀疏表示系數(shù)矩陣逐列更新字典原子，即當(dāng)字典在非最優(yōu)情況下，經(jīng)過稀疏表示后，必然與待表示樣本存在表示誤差。在滿足稀疏度的情況下，將表示誤差緩慢包含到原始字典中，即逐行、逐列更新優(yōu)化，以減小整體誤差，逼近最優(yōu)解字典，更新字典的核心步驟如式(3)

(3)

(4)

1.2 協(xié)作低秩分層稀疏表示算法

C-HiSLR根據(jù)低秩矩陣分解(RPCA)和協(xié)作分層表示(C-HiLasso)[10]算法演變而來,主要思想是從測(cè)試樣本矩陣中分離低秩矩陣的同時(shí)，將分解后的稀疏矩陣通過C-HiLasso進(jìn)行相應(yīng)的稀疏表示，以達(dá)到最佳的分類效果。C-HiSLR的公式如下

s.t.Y=DX+L

(5)

Γ(X,L,Λ)=f(X)+λL‖L‖*+〈Λ,Y-AX-L〉+

(6)

(7)

(8)

Λk+1=Λk+β(Y-AXk+1-Lk+1)

(9)

式(6)參考非精確求解RPCA問題進(jìn)行求解。

(10)

2 本文算法

2.1 協(xié)作低秩分層稀疏表示和LC-KSVD算法

為了減少表情識(shí)別字典與待識(shí)別個(gè)體的相關(guān)程度，提高各表情類子字典區(qū)分程度，在分層稀疏和協(xié)作低秩表示的基礎(chǔ)上加入了有助于分類的監(jiān)督學(xué)習(xí)條件。如下

s.t.Y=DX+L

(11)

(12)

〈Λ,Ynew-L-DnewX〉

(13)

2.2 表情圖像分類

通過求得相應(yīng)的稀疏表示系數(shù)和分解的低秩部分(X,L)。然后參照稀疏表示分類模型，利用式(14)計(jì)算相應(yīng)的類別的殘差，在各類別子字典進(jìn)行分組驗(yàn)證后，所得到的該類別最小殘差即為該表情序列類別

(14)

式中D[Gc]為第Gc類子字典;X[Gc]為相應(yīng)稀疏表示系數(shù)。

2.3 算法求解

類似于KSVD算法求解過程，為了學(xué)習(xí)一個(gè)有效的分類字典，可以通過交替更新方法進(jìn)行求解[11]，即在固定字典的情況下通過利用C-HiSLR[12]中方法求解稀疏系數(shù)和低秩矩陣，然后通過求解的稀疏系數(shù)和低秩矩陣進(jìn)行字典原子的更新，在不斷迭代過程中，獲得最佳的分類字典。

將式(13)的求解算法簡(jiǎn)單描述為以下2步：

1)利用C-HiSLR求解稀疏表示系數(shù)X和低秩分解矩陣Lnew;

2)根據(jù)求解后的(X,Lnew)利用式(13)、式(14)進(jìn)行字典學(xué)習(xí)。

3 實(shí)驗(yàn)結(jié)果

所有實(shí)驗(yàn)均選用CK+數(shù)據(jù)集，由321組被標(biāo)記的情感序列夠成(生氣、蔑視、厭惡、害怕、開心、悲傷、驚訝)，從每類表情中隨機(jī)選取10個(gè)序列初始化字典，5個(gè)用于測(cè)試。為了比較實(shí)驗(yàn)效果，利用為C-HiSLR和C-HiLasso算法進(jìn)行對(duì)比實(shí)驗(yàn)。圖2給出了通過學(xué)習(xí)后的部分字典，橫向?yàn)橄嗤砬轭?，縱向?yàn)椴煌砬轭悺＿x取出3類表情，即生氣、輕蔑、厭惡。從圖1可以發(fā)現(xiàn)，有利于分類表示的部分為圖像中高亮的部分，表情變化共同特性主要集中在眉、眼、鼻和嘴等五官部位，而其他特征對(duì)表情識(shí)別貢獻(xiàn)并不大，甚至對(duì)識(shí)別造成干擾。

圖2 經(jīng)過本文算法獲取的驚訝類表情序列恢復(fù)

實(shí)驗(yàn)過程中，從每類表情隨機(jī)選取10個(gè)序列初始化字典，5個(gè)用于測(cè)試，其余用于訓(xùn)練字典，初始字典時(shí)采用減去第一幀的方式進(jìn)行表情變化的提取，為了便于比較訓(xùn)練算法與其他算法的識(shí)別率，本文算法和C-HiSLR的測(cè)試樣本和訓(xùn)練樣本均采用原始序列進(jìn)行驗(yàn)證，C-HiLasso算法的測(cè)試樣本和訓(xùn)練樣本均采用減去第一幀的方式。

圖2為經(jīng)過本文算法獲取的表情序列恢復(fù)。由圖2(c)發(fā)現(xiàn)該表情變化主要部分被有效分離和表示。

表1為本文算法在CK+數(shù)據(jù)集驗(yàn)證的混淆矩陣，其中生氣、輕蔑、開心、悲哀、驚訝等表情識(shí)別較準(zhǔn)確，而其他類別表情主要干擾是和‘生氣’類表情變化近似。對(duì)照表2可以發(fā)現(xiàn)，相對(duì)而言在表情變化細(xì)微的(生氣、輕蔑、厭惡)表

表1 本文算法在CK+數(shù)據(jù)集驗(yàn)證的混淆矩陣

情類別上，本文學(xué)習(xí)算法相比對(duì)比算法有較好的改善，在總的識(shí)別率上也達(dá)到了一定的提升,平均識(shí)別率為0.885 7,加強(qiáng)了各類表情的區(qū)分度，并明顯增強(qiáng)了有利于識(shí)別表征的主要表情變化，由圖2可以發(fā)現(xiàn)，經(jīng)過本文算法學(xué)習(xí)后的字典相較其他人臉特征區(qū)域，該表情類別的主要區(qū)分因子被凸顯(如眉、眼、鼻和嘴等五官)。由圖2(c)圖像序列可以發(fā)現(xiàn)，與表情識(shí)別相關(guān)的主要人臉部位通過訓(xùn)練字典被有效表示，因而,算法能夠較好提升表情識(shí)別。

表2 各類算法在各表情分類的識(shí)別正確率比較

4 結(jié) 論

提出了基于協(xié)作低秩分層稀疏表示和LC-KSVD的人臉表情識(shí)別。實(shí)驗(yàn)數(shù)據(jù)在中性正臉被有效提供的情況下，減去中性正臉得到表情變化的部分，以提高識(shí)別效率。通過協(xié)作低秩分層稀疏表示，分離與待識(shí)別人物相關(guān)的低秩部分，所得的表情變化稀疏矩陣，能夠在訓(xùn)練好的表情識(shí)別字典上進(jìn)行有效分類。為了增加訓(xùn)練字典的分類效果，結(jié)合LC-KSVD算法能夠有效加強(qiáng)分類效果的優(yōu)勢(shì)，將類別標(biāo)記條件作為有效的監(jiān)督學(xué)習(xí)約束，提升識(shí)別效果。未來需要優(yōu)善的部分在于如何在訓(xùn)練樣本未給定中性正臉的情況下有效構(gòu)建表情變化矩陣，如何在非強(qiáng)約束情況下(光照、姿態(tài)等變化)，提升識(shí)別率。

[1] Calder A J,Burton A M,Miller P,et al.A principal component analysis of facial expressions[J].Vision Research,2001,41(9):1179-208.

[2] Saabni R.Facial expression recognition using multi radial bases function networks and 2D Gabor filters[C]∥Proceedings of the Digital Information Processing and Communications,2015.

[3] Shan C,Gong S,Mcowan P W.Robust facial expression recognition using local binary patterns[C]∥Proceedings of the IEEE International Conference on Image Processing,2005.

[4] Wang L,Wang K,Li R.Unsupervised feature selection based on spectral regression from manifold learning for facial expression recognition[J].Iet Computer Vision,2015,9(5):655-662.

[5] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[6] 陳 柘,鐘曉榮,張曉博.壓縮傳感及其在醫(yī)學(xué)圖像融合中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(9):149-152.

[7] 韓 震,王紅斌,余正濤,等.雙邊非局部均值濾波圖像去噪算法[J].傳感器與微系統(tǒng),2016,35(6):124-127,131.

[8] 龔 靜,陳向東,時(shí)子青.基于CS和神經(jīng)網(wǎng)絡(luò)的傳感器網(wǎng)絡(luò)模式識(shí)別研究[J].傳感器與微系統(tǒng),2011,30(12):62-65.

[9] 張?bào)@雷,姜松濤.基于改進(jìn)壓縮感知的運(yùn)動(dòng)目標(biāo)跟蹤[J].傳感器與微系統(tǒng),2016,35(6):120-122.

[10] Sprechmann P,Ramirez I,Sapiro G,et al.C-HiLasso:A collaborative hierarchical sparse modeling framework[J].IEEE Transactions on Signal Processing,2011,59(9):4183-4198.

[11] 杜向龍,伍健榮,邢 濤.一種基于場(chǎng)景區(qū)分算法的背景抽取方法[J].傳感器與微系統(tǒng),2011,30(11):39-42.

Facialexpressionrecognitionbasedoncollaborativelow-rankandhierarchicalsparseandLC-KSVD*

LIU Qing-quan1,2, ZHANG Ya-fei1,2, LI Hua-feng1,2, LI Bo1,2

(1.SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China;2.KeyLaboratoryofIntelligentInformationProcessing,KunmingUniversityofScienceandTechnology,Kunming650500,China)

To reduce dependence of individual on facial expression recognition,control scale of recognition dictionary,increase recognition accuracy,propose a dictionary recognition construction method based on collaborative low-rank and hierarchical sparse representation.Effective separation the relevant characteristics of the individual to be identified by collaboration lowvrank and hierarchical sparse model(C-HiSLR),keep expression variation characteristics,combined with label consist KSVD(LC-KSVD),to identify and reconstruct the sequence of expression to be trained and optimization study of distinction between corresponding category dictionary.The methods is verified on data set in CK+,recognition effect is significantly improved than general model algorithm based on sparse representation.

collaborative low-rank; hierarchical sparse; label consistent(LC)-KSVD algorithm; sparse representation; facial expression recognition

10.13873/J.1000—9787(2017)11—0056—04

TP 751

A

1000—9787(2017)11—0056—04

2016—10—19

國(guó)家自然科學(xué)基金資助項(xiàng)目(61562053，61302041，61363043)； 昆明理工大學(xué)引進(jìn)人才基金資助項(xiàng)目(KKSY201403116)

劉清泉(1990 - )，男，碩士研究生，研究方向?yàn)閳D像處理。

張亞飛，通訊作者，E—mail：76326474@qq.com。