基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別研究

李思泉+張軒雄

摘要：隨著人機(jī)交互技術(shù)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，人臉表情識(shí)別技術(shù)逐漸成為研究熱點(diǎn)。針對(duì)傳統(tǒng)人臉表情識(shí)別算法魯棒性差、表情特征提取能力不足的問(wèn)題，提出一種改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別算法。首先對(duì)人臉圖像進(jìn)行預(yù)處理，檢測(cè)并分割出人臉關(guān)鍵點(diǎn)的部分圖像，然后輸入到包含卷積神經(jīng)網(wǎng)絡(luò)通道和卷積稀疏自編碼（CSAE）預(yù)訓(xùn)練通道的雙通道模型中。其中卷積神經(jīng)網(wǎng)絡(luò)通道部分使用了批量正則化（Batch Normalization）和ReLU激活函數(shù)，加快了模型訓(xùn)練速度，解決了梯度消失問(wèn)題，同時(shí)增加了模型的非線性表達(dá)能力。通過(guò)引入Dropout技術(shù)，解決了網(wǎng)絡(luò)的過(guò)擬合問(wèn)題。在另一個(gè)通道，對(duì)輸入的人臉表情圖像增加了卷積稀疏自編碼進(jìn)行無(wú)監(jiān)督預(yù)處理。實(shí)驗(yàn)結(jié)果表明，該算法在JAFFE、CK+人臉表情數(shù)據(jù)集上均獲得了較好的識(shí)別效果。

關(guān)鍵詞：人臉表情識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；卷積稀疏自編碼；特征提?。粺o(wú)監(jiān)督預(yù)處理

DOIDOI：10.11907/rjdk.172863

中圖分類(lèi)號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2018）001002804

Abstract：With the development of humancomputer interaction technology and machine learning technology，facial expression recognition technology has gradually become an important field. In this paper， we proposean improved algorithm based on Convolutional Neural Network （CNN） for face expression recognition due to the lack of robustness of traditional facial expression recognition algorithm and availabe feature extraction ability.First of all，we pretrain the facial image and detect， segment face. The segmented face applied to a dualchannel model which， includes a convolutional neural network channel and an extra pretraining channel by sparse convolutional autoencoders. The training speed is improved according to Batch Normalization and the ReLU activation function by convolutional neural network channel， and solve the problem of gradient disappearance.This modelcan increase nonlinear expression ability of the model. At the same time， the introduction of dropout technology also remove the problem of overfitting. Another channel that contains a sparse convolutional autoencoder aims to deal with input facial expression images. Experimental results involved this algorithm demonstratean improved recognition ability on the JAFFE and CK+dataset.

Key Words：facial expression recognition；convolutional neural network；feature extraction；sparse convolutional autoencoders；unsupervised pretraining

0引言

人類(lèi)的情感認(rèn)知一直是人機(jī)交互技術(shù)研究的重要課題，而人臉表情是傳達(dá)人類(lèi)情感和認(rèn)知的重要方式。面部表情變化能夠準(zhǔn)確傳達(dá)人類(lèi)除語(yǔ)言表達(dá)之外的心理活動(dòng)變化。人臉表情識(shí)別系統(tǒng)一般包括人臉檢測(cè)、圖像預(yù)處理、特征提取和表情分類(lèi)4部分。其中表情的特征提取和分類(lèi)是人臉表情技術(shù)研究的重點(diǎn)，關(guān)系著最終的表情判別結(jié)果。

目前表情識(shí)別特征的提取方法主要包括：①幾何特征提取，如面部的幾何特征：眼睛、嘴巴、眉毛等；②頻率特征提取法，如Gabor小波變換；③運(yùn)行特征提取，如光流法。表情分類(lèi)方法主要包括線性分類(lèi)器、K最近鄰、彈性圖匹配法、支持向量機(jī)。Burkert等[6]提出DeXpression深度網(wǎng)絡(luò)模型，在MMI數(shù)據(jù)庫(kù)有較好的識(shí)別效果，識(shí)別率達(dá)到98.3%；Chai等[7]提出了結(jié)合Gabor小波和深度信念網(wǎng)絡(luò)（DBN）的人臉表情識(shí)別方法，在遮擋的情況下識(shí)別效果較好；Masci[8]提出了基于無(wú)監(jiān)督的堆疊深度卷積自編碼方法應(yīng)用于層次特征提取。

2006年Hinton[9]在《自然》雜志上發(fā)表了利用RBM編碼的深層神經(jīng)網(wǎng)絡(luò)，利用單層的RBM自編碼預(yù)訓(xùn)練使深層的神經(jīng)網(wǎng)絡(luò)訓(xùn)練變得可能。深度學(xué)習(xí)方法已成功應(yīng)用于語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)和自然語(yǔ)音處理等領(lǐng)域，其中最具代表性的就是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。endprint

1融合卷積神經(jīng)網(wǎng)絡(luò)與卷積稀疏自編碼的網(wǎng)絡(luò)模型

本文針對(duì)卷積神經(jīng)網(wǎng)絡(luò)在幾何變換、形變具有一定程度不變性等方面優(yōu)勢(shì)，同時(shí)為進(jìn)一步減少人臉表情圖像易受到光照、遮擋和姿態(tài)等外界因素影響，提高自身的魯棒性，提出一種改進(jìn)的結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和卷積稀疏自編碼的人臉表情識(shí)別算法。具體網(wǎng)絡(luò)模型如圖1所示。

1.1卷積稀疏自編碼器

卷積稀疏自編碼器是在自編碼器的基礎(chǔ)上改進(jìn)而來(lái)。自編碼是一種基于預(yù)訓(xùn)練階段的無(wú)監(jiān)督學(xué)習(xí)算法，通過(guò)對(duì)原始數(shù)據(jù)添加約束條件進(jìn)行權(quán)重初始化，使hw，b（x）≈x，輸出接近于輸入x。卷積自編碼（CAE）是把之前自編碼中內(nèi)積的操作轉(zhuǎn)換為卷積的操作[1]，卷積核的值決定了卷積操作結(jié)果，可以設(shè)置不同卷積核進(jìn)行去噪[2]、模糊變換等處理。

本文的卷積稀疏自編碼（CSAE）是在卷積自編碼（CAE）基礎(chǔ)上進(jìn)行的改進(jìn)。通過(guò)采用WTA（WinnerTakeAll）[3]方法，加入稀疏約束條件后[4]，能夠有效地提取神經(jīng)網(wǎng)絡(luò)特征，計(jì)算量較少。對(duì)于每一個(gè)特征圖，保留RELU激活函數(shù)處理的最大值，并把其它值進(jìn)行置0處理。采取WTA方法進(jìn)行每一層的稀疏化處理，相比于收縮正則化方法更加有效[5]。WTA方法只適用于訓(xùn)練階段，網(wǎng)絡(luò)訓(xùn)練完成與權(quán)重確定后則消失。網(wǎng)絡(luò)則會(huì)繼續(xù)把圖像的有效信息傳入到下一層，而不是傳入隱藏層的一個(gè)非零值進(jìn)行特征映射。經(jīng)過(guò)預(yù)訓(xùn)練之后，為了減少計(jì)算量、減少模型參數(shù)，選擇預(yù)訓(xùn)練后固定權(quán)重[10]。

由于無(wú)監(jiān)督預(yù)訓(xùn)練數(shù)據(jù)是人臉圖像，圖像中相鄰像素之間的相關(guān)性非常強(qiáng)，可以認(rèn)為訓(xùn)練輸入是冗余的，需要進(jìn)行白化處理來(lái)降低輸入數(shù)據(jù)的冗余。本文采用ZCA進(jìn)行白化處理，在不降低維數(shù)的情況下，可以使處理后的數(shù)據(jù)更接近原始數(shù)據(jù)。使用無(wú)監(jiān)督預(yù)處理后的卷積稀疏自編碼器，能夠讓模型學(xué)習(xí)到最佳的濾波器，并用最佳濾波器代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的原有濾波器。具體流程如圖2所示。

1.2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層感知神經(jīng)網(wǎng)絡(luò)，包含卷積層、下采樣層與全連接層。主要思想包括局部感知、權(quán)重共享和子采樣[11]。本文改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)有兩個(gè)卷積層（C1，C2）和兩個(gè)下采樣層（maxpooling），并用ReLU（修正線性單元）激活函數(shù)代替?zhèn)鹘y(tǒng)的Sigmoid激活函數(shù)。在激活前加入Batch Normalization（BN）[12]進(jìn)行規(guī)范化操作，避免梯度消失，最后在全連接處加入Dropout[13]技術(shù)防止過(guò)擬合。卷積神經(jīng)網(wǎng)絡(luò)通道中，卷積核大小為5×5，采樣核大小為2×2，Dropout系數(shù)為0.5。具體網(wǎng)絡(luò)模型如圖3所示。

1.2.1卷積層

在卷積神經(jīng)網(wǎng)絡(luò)通道中，C1、C2代表卷積層。通常定義卷積層為特征提取層，通過(guò)可訓(xùn)練的濾波器對(duì)輸入圖像或上一層特征圖像進(jìn)行卷積處理，得到一個(gè)二維特征圖。根據(jù)輸入圖像大小定義濾波器卷積核大小，通過(guò)不同濾波器處理可以得到不同特征圖。每一個(gè)卷積后特征圖都對(duì)應(yīng)一個(gè)大小相同、方向不同的卷積核。每一個(gè)卷積層都有很多特征圖，假設(shè)定義當(dāng)前卷積層為l，則第j個(gè)特征圖表達(dá)式如下：

神經(jīng)元x（k）經(jīng)過(guò)（3）、（4）變換，會(huì)逐漸形成均值為0、方差為1的正太分布，從而使反向傳播變化區(qū)域擴(kuò)大，收斂速度也會(huì)加快。

1.2.4線性單元修正

修正線性單元（Rectified Linear Unit） 來(lái)源于2003年Lennie P對(duì)人腦神經(jīng)細(xì)胞稀疏性的研究，其優(yōu)勢(shì)在于其具有單側(cè)抑制、稀疏激活性、相對(duì)寬闊的興奮邊界。實(shí)驗(yàn)結(jié)果表明，近似生物神經(jīng)激活函數(shù)ReLU相比于Sigmoid函數(shù)效果更好。將ReLU激活函數(shù)替代其它激活函數(shù)，可有效添加網(wǎng)絡(luò)稀疏性，因?yàn)镽eLU激活函數(shù)會(huì)使一部分神經(jīng)元輸出為0。在神經(jīng)網(wǎng)絡(luò)的正確傳播中，ReLU激活函數(shù)只需要一個(gè)閾值即可得到激活值，而不需要經(jīng)過(guò)復(fù)雜的運(yùn)算，從而加快了計(jì)算速度。

1.2.5Dropout技術(shù)

Dropout技術(shù)最早由Hinton[13]在2012年提出，與L1和L2范式技術(shù)不同，其基本思想是在每次訓(xùn)練時(shí)，讓一半的特征檢測(cè)器停止工作，可以使其有50%的概率被移除神經(jīng)元，而不依賴(lài)其他神經(jīng)元。實(shí)驗(yàn)結(jié)果表明該做法可以提供網(wǎng)絡(luò)泛化能力，防止過(guò)擬合。每一次Dropout后，都可以認(rèn)為訓(xùn)練后的網(wǎng)絡(luò)模型為整個(gè)網(wǎng)絡(luò)的子網(wǎng)絡(luò)，從而進(jìn)一步減小計(jì)算量。

2實(shí)驗(yàn)與結(jié)果分析

2.1實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)的硬件平臺(tái)為：聯(lián)想R720i77700CPU3.6GHz，軟件平臺(tái)為：Keras深度學(xué)習(xí)框架、Python語(yǔ)言。

2.2JAFFE 數(shù)據(jù)集

該數(shù)據(jù)集共有213張人表情圖片，由10位日本女性人臉的共7種人臉表情組成。每種人臉表情有3～4幅圖像，每個(gè)圖像的像素為256*256。先將已檢測(cè)出的人臉圖像歸一化為64*64像素大小的圖像。

本文采用交叉驗(yàn)證的方法提高識(shí)別結(jié)果的可靠性。把所有人臉表情樣本分成兩個(gè)子集，一部分是樣本集，另一部分是測(cè)試集。使用5次交叉驗(yàn)證方法，將所有人臉圖像樣本分為5份，其中4份作為訓(xùn)練樣本，1份作為測(cè)試樣本。依次重復(fù)5次實(shí)驗(yàn)，求取其平均值作為最終實(shí)驗(yàn)結(jié)果。表1給出了JAFFE數(shù)據(jù)集下7種表情的識(shí)別率。

2.3CK+數(shù)據(jù)集

CK+數(shù)據(jù)集發(fā)布于2010年，由Cohn Kanade表情庫(kù)擴(kuò)展而來(lái)，其人臉表情圖像樣本比JAFFE多。本文選取7種表情的共3 200個(gè)人臉圖像樣本，其中包括生氣500個(gè)樣本、恐懼420個(gè)樣本、高興550個(gè)樣本、中性430個(gè)樣本、悲傷480個(gè)樣本、驚訝420個(gè)樣本、厭惡400個(gè)樣本。

本文首先對(duì)人臉圖像進(jìn)行歸一化處理，檢測(cè)出人臉關(guān)鍵點(diǎn)部分，得到64*64像素的人臉表情樣本。由于樣本數(shù)目較多，為增加準(zhǔn)確性，采用10次交叉驗(yàn)證法對(duì)樣本進(jìn)行統(tǒng)計(jì)分析。把人臉數(shù)據(jù)集中所有的人臉表情樣本分成endprint

10份，輪流將其中9份作為訓(xùn)練樣本，1份作為測(cè)試樣本。依次重復(fù)10次實(shí)驗(yàn)，最后把10次實(shí)驗(yàn)結(jié)果的平均值作為最終識(shí)別結(jié)果。表2給出了在CK+數(shù)據(jù)集下7種表情的識(shí)別率。

為了驗(yàn)證本文提出的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，實(shí)驗(yàn)在CK+數(shù)據(jù)集下，對(duì)基于LBP+SVM、Gabor+SVM、BDBN、CNN、CSAENN的人臉表情識(shí)別算法的平均識(shí)別率進(jìn)行了比較。表3結(jié)果表明，本文改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)算法比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法（CNN）平均識(shí)別率提高了2.4%。相對(duì)于卷積稀疏自編碼的神經(jīng)網(wǎng)絡(luò)人臉表情（CSAENN）算法，識(shí)別率也提高了3.1%。

在CK+數(shù)據(jù)集下，CNN算法和本文的CNN+CSAE算法的各自訓(xùn)練時(shí)間和識(shí)別結(jié)果如表4所示。實(shí)驗(yàn)結(jié)果表明，本文算法比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練時(shí)間更短，識(shí)別率更高，算法分類(lèi)效果更為顯著。

3結(jié)語(yǔ)

本文提出的改進(jìn)雙通道卷積神經(jīng)網(wǎng)絡(luò)模型，在JAFFE數(shù)據(jù)集和CK+數(shù)據(jù)集上均取得了不錯(cuò)的識(shí)別效果。卷積神經(jīng)網(wǎng)絡(luò)通道部分，首先通過(guò)對(duì)人臉圖像進(jìn)行歸一化處理，檢測(cè)出人臉的關(guān)鍵點(diǎn)部分。接著在RELU激活函數(shù)前加入Batch Normalization（BN），加快了模型訓(xùn)練速度，并解決了梯度消失問(wèn)題，同時(shí)增加了模型的非線性表達(dá)能力。雙卷積層能夠更好地提取人臉表情特征，減少了權(quán)值數(shù)量，降低了網(wǎng)絡(luò)的模型復(fù)雜度；另一個(gè)通道用卷積稀疏自編碼器進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練人臉表情圖像，首先進(jìn)行白化處理以降低冗余，加入稀疏化約束，優(yōu)化網(wǎng)絡(luò)參數(shù)，選出最佳濾波器替代原卷積神經(jīng)網(wǎng)絡(luò)濾波器，并加入卷積神經(jīng)網(wǎng)絡(luò)模型中。最后將兩個(gè)通道輸出，連接到Dropout全連接層和Softmax分類(lèi)器，完成最終的人臉表情分類(lèi)。下一步研究工作將考慮在遮擋、光照等因素下進(jìn)行人臉表情識(shí)別，進(jìn)一步研究視頻圖像幀的人臉表情識(shí)別，并對(duì)人臉視頻圖像進(jìn)行去噪、去抖動(dòng)等優(yōu)化，以期能夠研究出更為實(shí)用的人臉表情識(shí)別方法。

參考文獻(xiàn)：

[1]牛玉虎. 卷積稀疏自編碼神經(jīng)網(wǎng)絡(luò)[J]. 計(jì)算機(jī)與現(xiàn)代化， 2017（2）：2229.

[2]李江， 冉君軍， 張克非. 一種基于降噪自編碼器的人臉表情識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用研究， 2016， 33（12）：38433846.

[3]MAKHZANI A， FREY B. A winnertakeall method for training sparse convolutional autoencoders[J]. Eprint Arxiv， 2014.

[4]VU T D， YANG H J， NGUYEN V Q， et al. Multimodal learning using convolution neural network and sparse autoencoder[C].IEEE International Conference on Big Data and Smart Computing， 2017：309312.

[5]RIFAI S， VINCENT P， MULLER X， et al. Contractive autoencoders： explicit invariance during feature extraction[C].ICML， 2011.

[6]BURKERT P， TRIER F， AFZAL M Z， et al. DeXpression： deep convolutional neural network for expression recognition[J].Computer Vision and Pattern Recognition，2015， 22（10）：217222.

[7]CHAI R. Face recognition algorithm based on Gabor wavelet and deep belief networks[J]. Journal of Computer Applications， 2014（9）：19381943.

[8]MASCI J， MEIER U， DAN C， et al. Stacked convolutional autoencoders for hierarchical feature extraction[M]. Artificial Neural Networks and Machine Learning –ICANN 2011. Springer Berlin Heidelberg， 2011：5259.

[9]HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006.

[10]DOI E， INUI T， LEE T W， et al. Spatiochromatic receptive field properties derived from informationtheoretic analyses of cone mosaic responses to natural scenes[J]. Neural Computation， 2003， 15（2）：397417.

[11]LOPES A T， AGUIAR E D， OLIVEIRASANTOS T. A facial expression recognition system using convolutional networks[C].Graphics， Patterns and Images. IEEE， 2015：273280.

[12]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[J]. Learning，2015：448456.

[13]HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing coadaptation of feature detectors[J]. Computer Science， 2012：212223.

（責(zé)任編輯：黃?。〆ndprint