基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型

楊格蘭，鄧曉軍，劉琮(.同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海，20804；2.湖南城市學(xué)院 信息科學(xué)與工程學(xué)院，湖南 益陽，4000；.湖南工業(yè)大學(xué) 計(jì)算機(jī)與通信學(xué)院，湖南 株洲，42007)

基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型

楊格蘭1,2，鄧曉軍3，劉琮1
(1.同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海，201804；
2.湖南城市學(xué)院 信息科學(xué)與工程學(xué)院，湖南 益陽，413000；
3.湖南工業(yè)大學(xué) 計(jì)算機(jī)與通信學(xué)院，湖南 株洲，412007)

基于特征抽取是表情識別算法中的重要步驟，但是現(xiàn)有算法依賴手工設(shè)計(jì)特征且適應(yīng)性差等問題，提出基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型，采用數(shù)據(jù)驅(qū)動(dòng)策略直接從表情視頻中自動(dòng)抽取時(shí)空域中的動(dòng)靜態(tài)特征。使用新穎的卷積濾波器響應(yīng)積替代權(quán)重和，使得模型能同時(shí)抽取到動(dòng)態(tài)特征和靜態(tài)特征。引入深度學(xué)習(xí)的多層設(shè)計(jì)，使得模型能逐層學(xué)習(xí)到更抽象、更宏觀的特征。采用端對端的有監(jiān)督學(xué)習(xí)策略，使得所有參數(shù)在同一目標(biāo)函數(shù)下優(yōu)化。研究結(jié)果表明：訓(xùn)練后的卷積核類似于Garbor濾波器的形態(tài)，這與視覺皮層細(xì)胞對激勵(lì)的響應(yīng)相似；該模型能對表情視頻進(jìn)行更準(zhǔn)確分類；通過與其他幾種近年出現(xiàn)的算法進(jìn)行比較，驗(yàn)證該算法的優(yōu)越性。

情感計(jì)算；表情識別；時(shí)空域；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

感知表情有別于理性思維和邏輯推理，是第三類人類智能表情[1]。表情是人類交往的重要渠道，是計(jì)算機(jī)理解人類行為的前提，也是情感計(jì)算的基礎(chǔ)。表情識別被廣泛地應(yīng)用于商業(yè)營銷、人機(jī)交互、疲勞駕駛檢測、遠(yuǎn)程護(hù)理和疼痛評估等領(lǐng)域。然而，從表情視頻中自動(dòng)識別人臉表情是一項(xiàng)極具挑戰(zhàn)的機(jī)器視覺任務(wù)。光照、位置、化妝、飾物和遮擋等對計(jì)算機(jī)理解表情都有影響。表情識別系統(tǒng)的實(shí)用化需要魯棒的算法才能實(shí)現(xiàn)?，F(xiàn)有的表情識別算法大致上可以分為2步：特征抽取和分類識別。在特征抽取階段，一般采用手工來顯性地設(shè)計(jì)特征。常用的特征描述子有Garbor[2]，DAISY[3]和LBP[4]等。在分類識別階段，上一步生成的特征向量被輸入SVM、隨機(jī)森林等淺層[5]分類器中，進(jìn)行表情歸類。這些分類器的設(shè)計(jì)原則是分辨類間變換(不同類型的表情)和類內(nèi)變化(2個(gè)人的相同表情)?，F(xiàn)有算法存在一些弊端。一是在特征抽取階段，手工特征的通用性不足。雖然近年來出現(xiàn)了一些基于學(xué)習(xí)的(learning-based)、數(shù)據(jù)驅(qū)動(dòng)(data-drive)的特征抽取方法[6]，但是它們的優(yōu)化目標(biāo)并不直接與表情分類相關(guān)，抽取的特征可能引入了與表情無關(guān)的其他信息。更為重要的是，現(xiàn)有算法是先獨(dú)立地抽取視頻中的多幀特征再進(jìn)行匯總，沒有考慮多幀之間的相關(guān)性，可能會丟失視頻時(shí)域上的動(dòng)態(tài)特征。而時(shí)域動(dòng)態(tài)特征是視頻識別區(qū)別于靜態(tài)圖像識別的關(guān)鍵。表情視頻識別本質(zhì)上是三維數(shù)據(jù)的分類。視頻數(shù)據(jù)有1個(gè)重要特性，即視頻數(shù)據(jù)在空域(兩維)和時(shí)域(一維)上都存在著明顯的統(tǒng)計(jì)相關(guān)性?？沼蛳嚓P(guān)性構(gòu)成了圖像的邊緣、紋理等特征，時(shí)域相關(guān)性與表情的動(dòng)態(tài)特征密切相關(guān)。近年來，深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks)在靜態(tài)圖像的空域特征識別方面表現(xiàn)出較明顯優(yōu)勢[7-8]，但時(shí)域特征在視頻識別中具有更重要的地位。卷積神經(jīng)網(wǎng)絡(luò)是針對靜態(tài)圖像識別設(shè)計(jì)的，從設(shè)計(jì)之初[9]就缺乏對時(shí)域特征的考慮，這導(dǎo)致深度卷積神經(jīng)網(wǎng)絡(luò)在視頻識別方面的效果較差。人們對有限的研究[10-12]集中在：擴(kuò)展(復(fù)制)原有卷積神經(jīng)網(wǎng)絡(luò)的第1個(gè)卷積層，使得每幀都對應(yīng)1個(gè)卷積層，期望通過這些并行多個(gè)卷積層來學(xué)習(xí)到時(shí)域特征。但在實(shí)驗(yàn)中發(fā)現(xiàn)[12]，當(dāng)使用這種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)來識別人類動(dòng)作視頻時(shí)，使用單幀卷積層和使用多幀卷積層的準(zhǔn)確率差別不大，也就是說改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上還是使用空域特征來識別人體動(dòng)作的，期望中的時(shí)域特征并沒有學(xué)習(xí)。JI等[10-11]通過事先抽取幀與幀之間的光流特征引入時(shí)域特征，但是這種方法分隔了特征抽取和分類識別階段，破壞了端對端的學(xué)習(xí)結(jié)構(gòu)。在學(xué)習(xí)時(shí)域特征方面，近年來出現(xiàn)了一些符合深層和端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)的算法[13-14]。這些算法的共同點(diǎn)是：通過計(jì)算兩幀之間的逐元素乘積來抽取時(shí)域特征。實(shí)際上，這種逐元素乘相當(dāng)于計(jì)算兩幀圖像的Gabor濾波器響應(yīng)的平方和。實(shí)驗(yàn)表明[14]：在視頻識別任務(wù)中，基于能量感知模型的算法可以學(xué)習(xí)到類似于人類大腦視覺皮層V1區(qū)復(fù)雜細(xì)胞(complex cell)的響應(yīng)。但是，這些基于能量感知模型的算法存在1個(gè)明顯缺陷，即三維視頻數(shù)據(jù)在輸入網(wǎng)絡(luò)前，必須拉成一維向量的形式。這破壞了空域和時(shí)域上的相對位置關(guān)系，可能會引起空域和時(shí)域相關(guān)信息丟失，還會造成高維數(shù)據(jù)所具有的維度災(zāi)難問題。針對以上算法不足，本文作者結(jié)合深度卷積網(wǎng)絡(luò)和能量感知模型的優(yōu)勢，提出一種新的表情識別模型。新模型使用多個(gè)并行卷積層從多幀中抽取特征(類似文獻(xiàn)[12]中的擴(kuò)展卷積層)，再計(jì)算這些特征的兩兩逐元素乘(類似能量感知模型)。這種神經(jīng)元間的乘法交互(multiplicative interactions)模型可以顯性地學(xué)習(xí)到時(shí)域動(dòng)態(tài)特征。同時(shí)，新模型保留了卷積神經(jīng)網(wǎng)絡(luò)在處理空域特征上的優(yōu)勢，即直接處理二維圖像而不用事先拉成一維向量，這避免了能量感知模型的維度災(zāi)難問題。另外，還證明了新模型可以同時(shí)學(xué)習(xí)空域靜態(tài)特征。因?yàn)橐曨l靜態(tài)特征與表情識別任務(wù)是強(qiáng)相關(guān)的，所以這是一個(gè)有用特性。稱這種新模型為基于時(shí)空域深度卷積神經(jīng)網(wǎng)絡(luò)(spatiotemporal convolutional neural networks，stCNN)的表情識別模型，以強(qiáng)調(diào)它能同時(shí)學(xué)習(xí)時(shí)空域特征的特性。

1　時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)

1.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1　Structure of convolutional neural networks

卷積神經(jīng)網(wǎng)絡(luò)是前饋多層神經(jīng)網(wǎng)絡(luò)中具有代表性的一類網(wǎng)絡(luò)，其思想來源于1962年HUBEL和WIESEL對貓腦主要視覺皮層的研究。深度卷積神經(jīng)網(wǎng)絡(luò)通過多個(gè)串行的卷積層(convolution layer)和池化層(pooling layer)間隔排列的方式逐層地學(xué)習(xí)數(shù)據(jù)特征，其網(wǎng)絡(luò)結(jié)構(gòu)見圖1。其中，卷積層采用卷積操作的方式利用小于圖像尺寸的卷積核來掃描整個(gè)圖像并計(jì)算卷積核與圖像局部位置的權(quán)重之和。當(dāng)輸入數(shù)據(jù)為二維結(jié)構(gòu)的圖像時(shí)，因?yàn)榫矸e操作可以直接處理二維拓?fù)浣Y(jié)構(gòu)，還能減少權(quán)值數(shù)量，降低網(wǎng)絡(luò)復(fù)雜度，便于特征提取和模式分類。卷積層的輸出常常被離散化和歸一化，并稱之為特征映射(feature maps)，每個(gè)卷積都對應(yīng)1個(gè)特征映射。特征映射隨后被輸入到池化層進(jìn)行空域上子抽樣(subsample)，比較直接的方法是對輸入圖像感興趣點(diǎn)周圍的鄰居結(jié)點(diǎn)計(jì)算平均值，每次計(jì)算周圍鄰居結(jié)點(diǎn)的步進(jìn)值在1到最大鄰居范圍之間。經(jīng)過池化層處理能減小輸出特征映射圖的分辨率，降低卷積神經(jīng)網(wǎng)絡(luò)對輸入圖像中待識別對象位置變化的敏感程度，使得卷積神經(jīng)網(wǎng)絡(luò)具有一定程度的抗畸變能力。網(wǎng)絡(luò)的更高層使用更寬泛的感受野對低分辨率特征映射進(jìn)行結(jié)合和進(jìn)一步抽象，以期獲得更具辨識力的特征。網(wǎng)絡(luò)的最頂層將所有得到的特征映射重新拉成一維向量并結(jié)合多分類回歸分類器反向傳播錯(cuò)誤信號來調(diào)整網(wǎng)絡(luò)參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)主要用來識別位移、縮放和其他形式扭曲不變性的二維圖像。網(wǎng)絡(luò)直接輸入訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，避免了手工設(shè)計(jì)特征。另外，卷積神經(jīng)網(wǎng)絡(luò)還可以利用現(xiàn)代GPU的多個(gè)流處理器架構(gòu)進(jìn)行并行計(jì)算，這大大加快了網(wǎng)絡(luò)的訓(xùn)練速度。卷積神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的卷積操作、卷積核共享和子抽樣結(jié)構(gòu)，在二維圖像處理方面有著先天優(yōu)越性，其較強(qiáng)的容錯(cuò)能力、并行處理能力和自學(xué)習(xí)能力可處理復(fù)雜環(huán)境下的二維信號識別問題。

1.2時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

雖然卷積神經(jīng)網(wǎng)絡(luò)不能抽取時(shí)域上的動(dòng)態(tài)特征，但其適合處理圖像二維拓?fù)浣Y(jié)構(gòu)，并能保持像素間的相對位置關(guān)系。本文提出的時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)將這些優(yōu)勢整合于能量感應(yīng)模型，以高效地抽取視頻中的時(shí)空域特征。

時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2所示。從圖2可見：為了應(yīng)對視頻的多幀，它首先擴(kuò)展了原卷積神經(jīng)網(wǎng)絡(luò)的卷積層，使得不同的幀都有相應(yīng)的卷積層對其處理。這種結(jié)構(gòu)保留了卷積層對二維信號處理的優(yōu)勢。其次，為了模擬能量感知模型的逐元素乘操作來捕捉幀之間的時(shí)域相關(guān)性，還設(shè)計(jì)了新的乘法層和加法層。

圖2　時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)Fig.2　Spatiotemporal convolutional neural networks

時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)由4層組成。

1)輸入層使用2個(gè)相鄰幀X和Y作為輸入，網(wǎng)絡(luò)要能捕捉到它們之間時(shí)域上的動(dòng)態(tài)特征和空域上的靜態(tài)特征。

2)卷積層使用與標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)一樣的卷積操作。但這里的卷積核被分成4組，每幀分別對應(yīng)2組卷積核。將每組中的某個(gè)卷積核寫作矩陣形式：Fx，和，則經(jīng)過訓(xùn)練Fx和Fy，和之間會自動(dòng)地形成正交基函數(shù)對。相應(yīng)的4個(gè)特征映射可以記為：，和。若輸入圖像的大小為N×N，卷積核的大小為K×K，則采用有效卷積操作(valid convolution)后的特征映射大小為(N-K+1)×(N-K+1)。注意：在實(shí)際操作中，卷積一般采用多通道卷積操作(即3D卷積)來處理彩色圖像的RGB三通道；還可以添加偏置參數(shù)，以便用仿射來代替線性映射，可以使用stride技術(shù)來減少參數(shù)，可以使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)(activation function)：sigmoid或者tanh。但是，為了使推導(dǎo)簡潔，這里只用簡潔的2D卷積來表達(dá)公式。

3)乘法層用來計(jì)算2個(gè)特征映射之間的逐元素乘(element-wise product)。參與運(yùn)算的2個(gè)特征映射需分別處于2組特征映射中，并分別對應(yīng)相鄰幀X和Y。稱乘法層的輸出為積映射，則積映射有2組，記每組中的某個(gè)積映射為和，這里的“·”表示逐元素乘。注意：在能量感知模型中，2個(gè)相鄰幀X和Y之間的變換關(guān)系也是被表達(dá)成這種逐元素乘的形式。

4)加法層用來計(jì)算2個(gè)積映射的逐元素和(element-wise sum)，即

這里的“+”表示逐元素求和，稱加法層的輸出為和映射。因?yàn)槭侵鹪厍蠛?，所以和映射的尺寸與上層的一致。每一個(gè)和映射都代表了某一特定空時(shí)域特征在圖像空域上出現(xiàn)的情況。

時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)有別于標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)之處在于：采用不同幀對應(yīng)的濾波器響應(yīng)的乘積操作來代替求和操作。這種乘積操作可看作是2個(gè)向量化圖像的外積，即2個(gè)圖像的相關(guān)系數(shù)，也可看作是能量感知模型的變形。正是這種相關(guān)分析給時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)提供了相鄰幀之間的變換信息。

1.3和映射上的節(jié)點(diǎn)值

根據(jù)時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，輸入2個(gè)連續(xù)幀時(shí)網(wǎng)絡(luò)會在和映射的節(jié)點(diǎn)上給出多個(gè)響應(yīng)值。考慮其中1個(gè)節(jié)點(diǎn)，此節(jié)點(diǎn)的感受野在X和Y上的尺寸為K×K，見圖3。圖中輸入層小矩形框里的圖像為節(jié)點(diǎn)能見的范圍。注意：因?yàn)椴捎昧酥鹪爻伺c逐元素加，所以，乘法層和加法層并不改變感受野的范圍。

節(jié)點(diǎn)sk是1個(gè)標(biāo)量，可寫作以下形式：

這里的i和j用來索引節(jié)點(diǎn)sk的感受野范圍。

式(2)中的卷積操作還可以寫作矩陣與向量乘的形式。這是因?yàn)槎S離散循環(huán)卷積操作可用1個(gè)特殊的塊循環(huán)矩陣(block circulant matrix)來實(shí)現(xiàn)。例如：卷積操作可以寫作。其中，x是按照列順序?qū)⒕仃嘪的列連接而生成，F(xiàn)x為N2×N2的雙塊循環(huán)矩陣(doubly block circulant)，F(xiàn)x的每行都包含了合適的濾波器系數(shù)來實(shí)現(xiàn)X和Fx之間的二維卷積操作。若把Fx，，F(xiàn)y和對應(yīng)的雙循環(huán)矩陣中的某一行表示成大小為1×N2向量和，由以上分析，式(2)可重新寫作：

圖3　和映射上節(jié)點(diǎn)的感受野Fig.3　Receptive fields of node on sum map

由式(3)可知：卷積可以看作在輸入圖像的一定空域范圍內(nèi)進(jìn)行線性變換。2個(gè)濾波器的響應(yīng)被先相乘再相加，使得節(jié)點(diǎn)sk成為1個(gè)時(shí)空域特征描述子。卷積操作一般有2個(gè)類型：循環(huán)卷積(circular convolution)和可用卷積(valid convolution)，為了能將其寫成矩陣向量乘的形式，這里考慮循環(huán)卷積并在Fx的周圍增補(bǔ)0直至與x的大小相同。該結(jié)論對可用卷積也近似成立。這是因?yàn)樵谟?jì)算有效卷積時(shí)，卷積核需要整個(gè)位于圖像的內(nèi)部，而循環(huán)卷積不對此有要求，且當(dāng)卷積核不能整個(gè)位于圖像內(nèi)部時(shí)，允許卷積核循環(huán)位移，所以，2種卷積生成的結(jié)果在圖像內(nèi)部區(qū)域是一致的。

2　復(fù)平面上的時(shí)空特征描述子

這里將證明每個(gè)與映射上的每個(gè)節(jié)點(diǎn)sk都是時(shí)空特征描述子(spatiotemporal descriptor)，它通過檢測復(fù)平面上的旋轉(zhuǎn)角度來同時(shí)抽取時(shí)域上的動(dòng)態(tài)特征和空域上的靜態(tài)特征。考慮兩幀x和y之間的圖像變換L，

其中：x和y是矩陣X和Y中每列首尾相接形成的大小為1×N2的向量；L為它們之間的圖像變換矩陣(image warp)。注意：這里不是通常意義上的仿射變換(affine transformation)。當(dāng)使用圖像變換時(shí)，對應(yīng)的L是置換矩陣(permutation matrix)，這是一種特殊的、用于在像素空間中轉(zhuǎn)換圖像內(nèi)容的矩陣，這種矩陣的每一行和每一列只有1個(gè)元素為1，其余全是0。當(dāng)圖像向量與這種矩陣相乘時(shí)，可以實(shí)現(xiàn)將圖像的像素任意排列。實(shí)際上，初等幾何變換中的平移、旋轉(zhuǎn)、縮放等都可以用置換矩陣來近似描述。顯然，置換矩陣是正交規(guī)范矩陣，正交矩陣的1個(gè)重要性質(zhì)是：其在復(fù)數(shù)域上可以被對角化，即。其中：復(fù)數(shù)域，為L的特征向量組成的正交規(guī)范矩陣且所有元素都為復(fù)數(shù)，對角矩陣的對角線元素都是模為1的復(fù)數(shù)。將此公式代入式(4)則有

若只考慮x在U中1列μ上的投影，則有

其中：r∈C是R中對角線上的1個(gè)元素。因?yàn)樘卣飨蛄康倪x擇不是唯一的，可以選擇μ使得其上的所有元素的模也為1，使用歐拉公式，將這些模相同而方向不同的復(fù)數(shù)中的1個(gè)寫作：。整列可以寫作：， i=1,…,N2。其中，ω表示U中列μ對應(yīng)的頻率，注意每列對應(yīng)的頻率不同。又因?yàn)閺?fù)數(shù)乘實(shí)數(shù)等于復(fù)數(shù)的實(shí)部乘實(shí)數(shù)加上復(fù)數(shù)的虛部乘實(shí)數(shù)，所以，可以把每個(gè)復(fù)數(shù)拆成cos(實(shí)部)和sin(虛部)而不會丟失任何信息。這樣，μ就可以拆成2列u(由cos函數(shù)組成的實(shí)部)和uˊ(由sin函數(shù)組成的虛部)。相應(yīng)地，式(6)可以被重新寫作：

其中，],[uuˊ與x、],[uuˊ與x之間的點(diǎn)積會生成二維向量，且位于基],[uuˊ撐起的二維復(fù)平面上。所以，式(7)相當(dāng)于：先把圖像x投影到μ對應(yīng)的復(fù)平面上得到復(fù)數(shù)，再將其乘以模為1的復(fù)數(shù)r(即在復(fù)平面中旋轉(zhuǎn)一個(gè)角度θ，θ由r決定)，最后再映射回像素空間。

同理，矩陣U中的每一列(特征向量)都可以按照前面方法被分拆成2列：

其中：i和j索引列，n索引行。這些被拆分的每對列與離散傅里葉變換有密切的聯(lián)系。這是因?yàn)閳D像x的離散傅里葉變換是將圖像x投影到一組由cos和sin函數(shù)組成的基即和，并精心設(shè)計(jì)每組基對應(yīng)的頻率ω使得基之間正交，即μi與μj之間正交。顯然，規(guī)范正交化的矩陣U的列滿足此條件，且U中每對被分拆的列組成相位差為90°的正交對(quadrature pairs)。所以，這些正交對相當(dāng)于離散傅里葉分析中的基函數(shù)cos(ωn)和sin(ωn)，其與人類大腦視覺皮層V1區(qū)域的簡單細(xì)胞和復(fù)雜細(xì)胞有密切的聯(lián)系，見圖7。把x和y投影到U的每列上，就相當(dāng)于對圖像進(jìn)行了離散傅里葉變換。

下面證明對于不同類型的圖像變換，式(5)中的U或者式(6)中的μ是相同的，而R或者r不同。對角化理論認(rèn)為：對所有的線性變換L，若存在1個(gè)可逆矩陣U，使得UTLU是對角矩陣，則稱所有的L可被同時(shí)對角化。同時(shí)對角化成立的條件是：不同的L符合交換律，即LLˊ=LˊL。事實(shí)上，不同的置換矩陣L符合交換律?？紤]2個(gè)相繼的平移變換L(向下平移) 和Lˊ(向左平移)，則先向下平移再向左平移 LLˊ后的目標(biāo)物體位置和先向左平移再向下平移的位置相同。所以，置換矩陣L符合交換律，U在不同的圖像變換中都是相同的，圖像變換間的差異只體現(xiàn)在R或者r上。

下面證明“和映射”上的節(jié)點(diǎn)sk是特定圖像變換的描述子。從以上分析可見：x和y之間的變換可以通過將x和y投影到響應(yīng)的復(fù)平面上，再通過計(jì)算復(fù)平面上的旋轉(zhuǎn)角度就可以判定x和y之間的變換類型。假設(shè)式(7)中的二維向量和的長度都為1，并設(shè)其投影在復(fù)平面[u,uˊ]上的角度分別為 θx和，則r對應(yīng)的旋轉(zhuǎn)角度，也就是和之間夾角的余弦為

下面證明“和映射”上的節(jié)點(diǎn)sk不僅是特定圖像變換的描述子，而且是圖像內(nèi)容的描述子。前面在推導(dǎo)式(9)時(shí)，使用了假設(shè)：二維向量和的長度都為1。這明顯是不合理的，因?yàn)榇蟛糠謭D像在[u,uˊ]T對應(yīng)的復(fù)平面上的投影長度不為1。例如，圖4中，要投影的圖像(左下)缺乏豎直方向上頻率的內(nèi)容(frequent contents)(右上)，造成其在對應(yīng)復(fù)平面上的投影長度為0(右下)。而其在水平方向頻率(中上)對應(yīng)的復(fù)平面上的投影長度不為0(中下)。

由以上分析可知：sk會受到圖像內(nèi)容的影響，但這并不會對表情識別造成不利影響。因?yàn)閱螏瑘D像中的靜態(tài)內(nèi)容也是判斷表情分類的重要依據(jù)，而人類甚至可以根據(jù)單幀的笑臉圖像判斷出對應(yīng)的表情是高興?？梢?，映射上的每個(gè)時(shí)空特征描述子sk具有以下

圖4　圖像在正交對對應(yīng)的復(fù)平面上的投影Fig.4　Projection of images on complex planes corresponding to different quadrature pairs

性質(zhì)：1)和映射上的每個(gè)節(jié)點(diǎn)sk在自己的感受野中檢查特定的圖像變換和圖像內(nèi)容是否出現(xiàn)；2)通過不共享卷積核，1個(gè)和映射可以高效地在圖像上檢查多個(gè)不同的圖像變換和圖像內(nèi)容。

3　基于時(shí)空域深度卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型

基于時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)，再結(jié)合標(biāo)準(zhǔn)深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)1種表情識別模型，如圖5所示。

圖5中，模型使用5個(gè)時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)模塊來學(xué)習(xí)時(shí)空特征描述子，并在其加法層輸出這些特征描述，訓(xùn)練或測試視頻按照5幀一組按順序輸入模型。使用5個(gè)連續(xù)幀的原因是：在建模動(dòng)作時(shí)，5~7幀就可以較好地表達(dá)整個(gè)視頻的時(shí)域特征[15]。所有的卷積層使用localconnect策略，不共享參數(shù)。卷積層、加法層和全連接層使用ReLUs非線性，以便加速計(jì)算。歸一層使用局部響應(yīng)歸一化(local response normalization)來提高模型的泛化能力(generalization)。池化層用來消除數(shù)據(jù)噪音和小形變帶來的不利影響。時(shí)空域深度卷積神經(jīng)網(wǎng)絡(luò)的卷積層有4組共96個(gè)10×10的濾波器。第2個(gè)卷積層使用256個(gè)5×5的濾波器。第3，4和5個(gè)卷積層分別使用384，384和256個(gè)3×3的濾波器。最后的全連接層有1 024個(gè)神經(jīng)元，并使用dropout技術(shù)來防止過擬合，從而提高模型的泛化能力，dropout的值設(shè)定為0.7。所有的池化層使用2×2的重疊滑動(dòng)窗口進(jìn)行池化操作。模型相當(dāng)于把空域深度卷積神經(jīng)網(wǎng)絡(luò)模塊插入標(biāo)準(zhǔn)的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中，并使用了2012年imagenet挑戰(zhàn)賽冠軍Alex Net[7]中的大部分網(wǎng)絡(luò)參數(shù)。期望這種設(shè)計(jì)可以利用深度學(xué)習(xí)的層次化結(jié)構(gòu)在網(wǎng)絡(luò)高層學(xué)到抽象的、全局的時(shí)空域特征。模型使用有監(jiān)督策略訓(xùn)練，softmax層連接全連接層來計(jì)算每個(gè)分類的后驗(yàn)概率。分類誤差被反向傳播至每一層中計(jì)算各參數(shù)的梯度。采用基于小批量(min-batch)策略的隨機(jī)梯度下降算法來更新參數(shù)，并對相鄰幀組成的數(shù)據(jù)集進(jìn)行隨機(jī)排序以保證每次迭代時(shí)采用的小批量數(shù)據(jù)達(dá)到類均衡。實(shí)驗(yàn)使用 5折交叉驗(yàn)證。最后的識別率為 5次實(shí)驗(yàn)的平均值。

圖5　基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型Fig.5　Facial expression recognition model based on Spatiotemporal convolutional neural network

4　試驗(yàn)

4.1CK+人臉表情庫

使用CK+人臉表情數(shù)據(jù)集(extended Cohn-Kanade facial expression)[16]測試基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型。CK+數(shù)據(jù)集包含了210個(gè)人的7種表情(生氣、高興、驚訝、厭惡、恐懼、悲傷、輕蔑)的大約2 000個(gè)視頻，見圖6(a)，試驗(yàn)只使用有分類標(biāo)簽的視頻子集。視頻的空間分辨率為640×490或者640×480，黑白或者彩色圖像，該數(shù)據(jù)庫中每個(gè)人的每種表情都包括一系列臉部活動(dòng)，由開始表情到極強(qiáng)表情的表情序列構(gòu)成，見圖6(b)。

圖6　CK+人臉表情數(shù)據(jù)集Fig.6　CK+facial expression datasets

為簡化模型，試驗(yàn)將彩色視頻轉(zhuǎn)為黑白視頻，并把視頻的空域尺寸縮小為160×120，視頻還經(jīng)過減像素均值預(yù)處理。

圖7所示為基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型在訓(xùn)練后相鄰幀X和Y對應(yīng)的16個(gè)隨機(jī)選擇的濾波器，發(fā)現(xiàn)在自然數(shù)據(jù)集上，時(shí)空域深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征類似于Gabor濾波器的形態(tài)，即不同的濾波器對于大小、位置、頻率、方向和相位有著不同的選擇性。這些濾波器的形態(tài)非常類似于神經(jīng)學(xué)在人腦V1區(qū)域中發(fā)現(xiàn)的簡單細(xì)胞(simple cells)對外界刺激的響應(yīng)。圖7(a)和圖7(b)所示2組濾波器互相成對，與時(shí)間存在90°的相位差。

圖7　卷積層濾波器的最優(yōu)響應(yīng)Fig.7　Optimal filter responses of convolutional lay

圖8所示為本文模型在CK+數(shù)據(jù)集上的混淆矩陣。其中，行代表正確的類別，列代表模型的分類結(jié)果。從圖8可見模型的總體識別率較高，而在傷心和害怕兩類上錯(cuò)誤率較高，這也與人們的直覺相似，因?yàn)橛袝r(shí)人類要正確判斷這2個(gè)類較困難。

表1所示為本文模型與其他3種算法的平均正確率的比較。從表1可以看出本文模型在7類上的平均正確率為92.3%，高于AAM算法(active appearance models)[16]，CLM 算法(constrained local models)[17]和TMS算法(temporal modelling of shapes)[18]的平均正確率。

圖8　模型在CK+數(shù)據(jù)集上的混淆矩陣Fig.8　Confusion matrix of CK+dataset

表1　4種算法在CK+數(shù)據(jù)集上的平均正確率Table 1　Average recognition accuracy on CK+dataset　%

因?yàn)橐淮涡暂斎肽Ｐ偷倪B續(xù)幀的數(shù)量是本模型抽取時(shí)空域特征的基礎(chǔ)，所以，連續(xù)幀數(shù)量是決定模型性能的重要參數(shù)。此外，對于每一幀都需要1個(gè)并行的卷積層，所以，連續(xù)幀數(shù)量也決定了模型的計(jì)算復(fù)雜度。通常地，在不影響模型性能的前提下，為了降低計(jì)算復(fù)雜度和發(fā)生過擬合的概率，希望連續(xù)幀的數(shù)量越少越好。為了研究連續(xù)幀的數(shù)量對本文模型性能的影響，選擇數(shù)量從1~10的連續(xù)幀，改造識別模型的并行卷積層的數(shù)量，在其他參數(shù)不變的條件下計(jì)算模型在3種類別上的正確率與連續(xù)幀數(shù)量的關(guān)系。這3種類別分別是：驚訝和傷心上的正確率，以及其他4種類別上的平均正確率。圖9(a)所示為實(shí)驗(yàn)結(jié)果。從圖9(a)可見：隨著連續(xù)幀數(shù)量的增加，3種表情類別的正確率都呈現(xiàn)穩(wěn)步上升趨勢；當(dāng)模型看到的表情幀數(shù)量從1幀上升到2幀時(shí)，3種表情類別的正確率較大提高；當(dāng)表情幀數(shù)量達(dá)到5幀時(shí)，3種表情類別的正確率逐漸趨于穩(wěn)定?？紤]到模型的計(jì)算復(fù)雜度，建議連續(xù)幀數(shù)量取值5是一個(gè)較好的折中策略。

與正確率不同，召回率是指識別出的相關(guān)視頻數(shù)量與數(shù)據(jù)庫中所有的相關(guān)視頻數(shù)量的比率，衡量模型對相關(guān)視頻的查全率。為了研究本文模型在不同連續(xù)幀數(shù)量下的召回率，計(jì)算模型在連續(xù)幀數(shù)量為1~6幀的條件下6種表情類別的召回率，圖9(b)所示為實(shí)驗(yàn)結(jié)果。從圖9(b)可以發(fā)現(xiàn)模型的召回率隨著連續(xù)幀數(shù)量的增加呈現(xiàn)上升趨勢，但與正確率不同的是其上升趨勢并不穩(wěn)定。與正確率類似，大多數(shù)表情類別在連續(xù)幀數(shù)量達(dá)到5幀時(shí)，已能較好地覆蓋數(shù)據(jù)庫中的樣本，但繼續(xù)增加連續(xù)幀數(shù)量，個(gè)別表情類別出現(xiàn)了召回率下降的趨勢，故根據(jù)實(shí)驗(yàn)結(jié)果建議連續(xù)幀數(shù)量取值在6以下。

4.2FABO雙模態(tài)情感數(shù)據(jù)庫

本文模型的1個(gè)重要優(yōu)點(diǎn)是能夠端對端地采用數(shù)據(jù)驅(qū)動(dòng)策略從視頻數(shù)據(jù)中直接抽取時(shí)空域特征，這意味著不用人工干預(yù)，模型就可自動(dòng)地借助視頻中的其他因素(除去表情因素)來輔助表情識別。為了驗(yàn)證基于模型的這一特性，采用 FABO即身體姿態(tài)和人臉表情的雙模態(tài)情感數(shù)據(jù)庫[19]對本文模型性能進(jìn)行測試。

圖9　連續(xù)幀數(shù)量與正確率和召回率的關(guān)系Fig.9　Relationship between number of contiguous frames and accuracy recall

FABO是目前唯一公開的表情和姿態(tài)雙模態(tài)情感數(shù)據(jù)庫，其理論基礎(chǔ)是人類的情感表達(dá)并不僅僅通過單種模態(tài)，而是多種模態(tài)情感信息融合的方式。FABO數(shù)據(jù)庫包括了大約1 900條18~50歲人的雙模態(tài)視頻。

FABO數(shù)據(jù)庫由單模態(tài)的表情視頻和雙模態(tài)的表情+姿態(tài)視頻組成，圖10所示為模型在2種模態(tài)下的混淆矩陣，2種模態(tài)下的平均正確率分別為88.5%和96.1%。從圖10可以看出：在表情+姿態(tài)雙模態(tài)下本文模型在7種表情上的正確率都比表情單模態(tài)下的正確率高，特別是迷惑類別的正確率從80%提高到89%，這說明姿態(tài)能有效地輔助表情識別，而且模型能自動(dòng)地從姿態(tài)中抽取空時(shí)域特征。

圖11所示為本文模型在表情+姿態(tài)模態(tài)下與其他3種算法平均正確率的比較結(jié)果。為了公平對比，選取的3種算法均采用表情+姿態(tài)視頻雙模態(tài)進(jìn)行處理。3種算法分別是 BayesNet，AD+HMM(automatic determination+hidden markov model)和CCA(canonical correlation analysis)，數(shù)據(jù)均來自文獻(xiàn)[20]?？梢钥闯霰疚哪Ｐ偷钠骄_率要比其他3種算法的高。

圖10　模型在FABO數(shù)據(jù)庫上的混淆矩陣Fig.10　Confused martrix of model in FABO dataset

圖11　4種算法在FABO數(shù)據(jù)集上的平均正確率Fig.11　Averagerecognition accuracy on FABO dataset

5　結(jié)論

1)提出基于深度時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)的表情識別模型。使用卷積濾波器的響應(yīng)積來代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)的響應(yīng)和，使得模型能從相鄰幀之間高效地抽取表情的靜態(tài)特征和動(dòng)態(tài)特征。使用深度學(xué)習(xí)策略，使模型能逐層抽取更抽象、更宏觀的特征。

2)采用端對端的學(xué)習(xí)策略，直接從原始像素中學(xué)習(xí)特征，并將特征抽取和分類識別統(tǒng)一在同個(gè)優(yōu)化目標(biāo)下，使這2個(gè)階段的參數(shù)得到優(yōu)化，提高了模型在基準(zhǔn)測試數(shù)據(jù)集上的平均正確率。

3)空時(shí)域卷積神經(jīng)網(wǎng)絡(luò)還可應(yīng)用到其他需要學(xué)習(xí)圖像間關(guān)系的領(lǐng)域，如人類行為視頻分析、雙目視覺中的深度估計(jì)、全景圖拼接等。

[1]GAVRILA D M.The visual analysis of human movement:a survey[J].Computer Vision and Image Understanding,1999, 73(1):82-98.

[2]宋偉,趙清杰,宋紅,等.基于關(guān)鍵塊空間分布與Gabor濾波的人臉表情識別算法[J].中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2013, 44(S2):239-243. SONG Wei,ZHAO Qingjie,SONG Hong,et al.Keyblock distribution and Gabor filter based facial expression recognition algorithm[J].Journal of Central South University(Science and Technology),2013,44(S2):239-243.

[3]TOLA E,TOLA E,LEPETIT V,et al.A fast local descriptor for dense matching[C]//IEEE Conference on Computer Vision and Pattern Recognition.Alaska,USA:IEEE,2008:1-8.

[4]陳炳權(quán),劉宏立.基于二次修正的LBP算子和稀疏表示的人臉表情識別[J].中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,45(5): 1503-1509. CHEN Bingquan,LIU Hongli.Facial expression recognition based on improved IBP operator and sparse representation[J]. Journal of Central South University(Science and Technology), 2014,45(5):1503-1509.

[5]BENGIO Y.Learning deep architectures for AI[J].Foundations and trends in Machine Learning,2009,2(1):1-127.

[6]HUANG G B,LEE H,LEARNED-MILLER E.Learning hierarchicalrepresentationsforfaceverificationwith convolutional deep belief networks[C]//IEEE Conference on Computer Vision and Pattern Recognition.Providence,USA: IEEE,2012:2518-2525.

[7]SKLAN J E,PLASSARD A J,FABBRI D,et al.Toward content basedimageretrievalwithdeepconvolutionalneural networks[C]//SPIE Medical Imaging,International Society for Optics and Photonics.Renaissance Orlando,Florida,at Seaword, USA:SPIE,2015:94172c.

[8]SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Boston,MA,USA:IEEE, 2015:1-9.

[9]LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[10]JI S,YANG M,YU K.3D convolutional neural networks for human action recognition[J].IEEE Trans Pattern Anal Mach Intell,2013,35(1):221-231.

[11]SIMONYAN K,ZISSERMAN A.Two-stream convolutional networks for action recognition in videos[C]//Advances in Neural Information Processing Systems.2014:568-576.

[12]KARPATHY A,TODERICI G,SHETTY S,et al.Large-scale video classification with convolutional neural networks[C]// IEEE Conference on Computer Vision and Pattern Recognition. Columbus,OH,USA:IEEE,2014:1725-1732.

[13]MEMISEVICR.Learningtorelateimages[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013, 35(8):1829-1846.

[14]LE Q V,ZOU W Y,YEUNG S Y,et al.Learning hierarchical invariant spatio-temporal features for action recognition with independentsubspaceanalysis[C]//IEEEConferenceon Computer Vision and Pattern Recognition.Colorado Springs, USA:IEEE,2011:3361-3368.

[15]SCHINDLER K,SCHINDLER K,van GOOL L,et al.Action snippets:how many frames does human action recognition requireC]//IEEE Conference on Computer Vision and Pattern Recognition.Alaska,USA:IEEE,2008:1-8.

[16]LUCEY P,COHN J F,KANADE T,et al.The extended Cohn-Kanade Dataset(CK+):a complete dataset for action unit and emotion-specified expression[C]//IEEE Conference on Computer Vision and Pattern Recognition.San Francisco,CA, USA:2010:94-101.

[17]CHEW S W,LUCEY P,LUCEY S,et al.Person-independent facial expression detection using constrained local models[C]// IEEE International Conference on Automatic Face Gesture Recognition.Santa Barbara,California,USA:IEEE,2011: 915-920.

[18]JAIN S,HU C,AGGARWAL J K.Facial expression recognition with temporal modeling of shapes[C]//IEEE International Conference on Computer Vision.Barcelona,Spain:IEEE,2011: 1642-1649.

[19]GUNES H,PICCARDI M.A bimodal face and body gesture database for automatic analysis of human nonverbal affective behavior[C]//18thInternationalConferenceonPattern Recognition.Hong Kong,China,2006:1148-1153.

[20]GUNESH,PICCARDIM.Automatictemporalsegment detection and affect recognition from face and body display[J]. IEEE Trans Syst Man Cybern B Cybern,2009,39(1):64-84.

(編輯陳燦華)

Facial expression recognition model based on deep spatiotemporal convolutional neural networks

YANG Gelan1,2,DENG Xiaojun3,LIU Cong1
(1.School of Electronics and Information Engineering,Tongji University,Shanghai 201804,China;
2.School of Information Science and Engineering,Hunan City University,Yiang 413000,China;
3.College of Computer and Communication,Hunan University of Technology,Zhuzhou 412007,China)

Considering that the feature extraction is crucial phases in the process of facial recognition,and it incorporates manual intervention that hinders the development of reliable and accurate algorithms,in order to describe facial expression in a data-driven fashion,a temporal extension of convolutional neural network was developed to exploit dynamics of facial expressions and improve performance.The model was fundamental on the multiplicative interactions between convolutional outputs,instead of summing filter responses,and the responses were multiplied.The developed approach was capable of extracting features not only relevant to facial motion,but also sensitive to the appearance and texture of the face.The introduction of hierarchical structure from deep learning makes the approach learn the high-level and global features.The end to end training strategy optimizes all the parameters under the uniform objective.The results show that the approach extracts the two types of features simultaneously as natural outcome of the developed architecture. The learnt fitters are similar to the receptive field area of visual cortex.The model is proved to be effective.

affect computing;facial expression recognition;spatiotemporal space;convolutional neural networks;deep learning

鄧曉軍，副教授，從事圖像處理和參數(shù)優(yōu)化等研究；E-mail:little_army@139.com

TP301

A

1672-7207(2016)07-2311-09

10.11817/j.issn.1672-7207.2016.07.019

2015-07-12；

2015-09-22

湖南省自然科學(xué)基金資助項(xiàng)目(2015JJ2046)；湖南省教育廳優(yōu)秀青年項(xiàng)目(12B023)(Project(2015JJ2046)supported by the Natural Science Foundation of Hunan Province;Project(12B023)supported by Science Research Foundation of Education Department of Hunan Province)