基于Bandlet和KW技術(shù)的移動(dòng)應(yīng)用面部情感識別

張小華，黃 波

成都東軟學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系，四川 都江堰 611844

1 引言

面部情感是人工心里領(lǐng)域的一個(gè)研究課題，在理論研究和實(shí)際應(yīng)用領(lǐng)域都有潛在應(yīng)用價(jià)值。由于智能手機(jī)的廣泛使用和持續(xù)增長，智能手機(jī)服務(wù)、應(yīng)用和情感識別成為為人們提供情感護(hù)理的必要的組成部分。提供情感護(hù)理可以大大提高用戶體驗(yàn)來改善生活質(zhì)量。傳統(tǒng)的情感識別方法不能滿足移動(dòng)應(yīng)用用戶的緊急增值服務(wù)。此外，由于移動(dòng)應(yīng)用的動(dòng)態(tài)性和異質(zhì)性，因此提供一個(gè)能實(shí)時(shí)收集、分析、處理感情交流，能用最小的計(jì)算時(shí)間達(dá)到高度精確識別情感的方法是一個(gè)挑戰(zhàn)。

現(xiàn)在的文獻(xiàn)中已有一些情感識別方法。情感可以從語音、圖像、視頻或文本中識別[1-2]。在移動(dòng)平臺上有許多情感識別應(yīng)用。例如在移動(dòng)應(yīng)用中，短信文本能被進(jìn)行分析來檢測用戶的心情或情感。情感一旦檢測，系統(tǒng)會自動(dòng)把相應(yīng)的表情符號放在短信中。通過在情感語境中分析視頻，智能手機(jī)可以自動(dòng)換壁紙，或者播放一些與此用戶情感相關(guān)的收藏歌曲。同樣也能被用于通過智能手機(jī)口頭人機(jī)對話；情感可以從會話語音中檢測到，因此適當(dāng)?shù)臑V波可以應(yīng)用于會話。

為了實(shí)現(xiàn)一個(gè)情感感知移動(dòng)應(yīng)用，情感識別引擎必須是實(shí)時(shí)，計(jì)算代價(jià)應(yīng)更便宜，并有很高的識別精度[3]。大多數(shù)可用的情感識別系統(tǒng)并不解決所有這些問題，因?yàn)樗鼈冎饕辉O(shè)計(jì)用于脫機(jī)工作和桌面應(yīng)用。這些應(yīng)用程序不受存儲大小、處理能力或時(shí)間的限制。例如，許多在線游戲應(yīng)用收集用戶的視頻或音頻，然后在云端處理它們，并在以后的游戲版本中分析它們[4]。在這種情況下，云計(jì)算可以提供無限存儲和處理能力，游戲開發(fā)者可以有足夠的分析時(shí)間。相反，情感感知移動(dòng)應(yīng)用程序并不能如此奢侈。馬哈茂德和李[5]利用晚期正電位特征的大腦信號模式提出了一個(gè)情感識別系統(tǒng)。該系統(tǒng)需要與移動(dòng)設(shè)備相關(guān)聯(lián)的、額外的EEG傳感器。陳等人[6]提出了情感感知與交互的CP機(jī)器人。該機(jī)器人采用了云圖像和視頻處理。文獻(xiàn)[7]提出了一個(gè)使用互動(dòng)式的視頻和情感檢測的遠(yuǎn)程學(xué)習(xí)系統(tǒng)LIVES。LIVES可以從視頻中識別學(xué)生的情感，進(jìn)而調(diào)整講座的內(nèi)容。

文獻(xiàn)[4，8]中提出了幾種情感感知的應(yīng)用。侯賽因等人[4]通過嵌入情感識別模塊提出了一種云游戲框架。通過從視聽信息中識別情感，游戲屏幕或內(nèi)容可以調(diào)整。侯賽因等人[8]使用音頻和視頻的方式在5G上識別情感。他們用語音作為音頻形態(tài)，用圖像作為視覺形態(tài)。他們發(fā)現(xiàn)，這兩種形態(tài)相互補(bǔ)充彼此的感情信息。Y.Zhang等人[9-10]提出了將移動(dòng)技術(shù)、大數(shù)據(jù)技術(shù)和情感交互[11]進(jìn)行集成的技術(shù)。

情緒可以通過語音或圖像識別。例如張等人[12]使用深度學(xué)習(xí)從漢語對話中識別情感。他們的方法相當(dāng)強(qiáng)大；但是，此方法需要大量的訓(xùn)練數(shù)據(jù)。文獻(xiàn)[13]提出了一個(gè)從人臉識別情感的調(diào)查報(bào)告。最近另一個(gè)從音頻和視頻中識別情感的系統(tǒng)涉及到多方位回歸和ridgele變換[14]。該系統(tǒng)在兩個(gè)數(shù)據(jù)庫中都取得了優(yōu)秀的精度。華豐等人[15]提出了一個(gè)深度學(xué)習(xí)方法來從視頻剪輯中識別野性的情感，并且達(dá)到了47.67%的準(zhǔn)確率。多尺度時(shí)間模型被用來從視頻中進(jìn)行情感識別[16]。一個(gè)基于分類器的極端學(xué)習(xí)機(jī)和主動(dòng)學(xué)習(xí)法一起被用于情感識別[17]。

在本文中，提出了一個(gè)高性能的移動(dòng)應(yīng)用情感識別方法。智能手機(jī)的嵌入式攝像頭捕捉用戶的視頻。針對從視頻中提取出的一些幀進(jìn)行Bandlet變換，并生成一定的子波圖像。針對所有子波圖像計(jì)算局部二進(jìn)制模式直方圖。直方圖描述了對應(yīng)幀的特征。高斯混合模型（GMM）分類器被用作本文的分類器。本文提出的情感識別方法使用多個(gè)數(shù)據(jù)庫進(jìn)行評價(jià)。本文主要工作如下：（1）將 Bandlet變換用于情感識別；（2）使用Kruskal Wallis（KW）特征選擇來減少測試階段所需的時(shí)間；（3）將本文的方法與當(dāng)今其他同類方法相比較，在兩個(gè)公開可用的數(shù)據(jù)庫上達(dá)到了更高的精度。

2 情感識別方法

圖1顯示了本文提出的移動(dòng)應(yīng)用情感識別方法的框圖。后面將描述此方法中的各個(gè)組成部分。

圖1 移動(dòng)應(yīng)用情感識別方法框圖

2.1 捕獲視頻

本文方法使用智能手機(jī)的嵌入式攝像頭捕獲用戶視頻。大多數(shù)情況下，用戶面向手機(jī)屏幕，視頻主要捕捉用戶人臉、頭部和身體的某些部位。

2.2 選擇代表幀

由于視頻序列中有許多幀，所以需要從幀序列中選擇一些有代表性的幀來減輕處理負(fù)擔(dān)。要選擇幀，首先將所有幀轉(zhuǎn)換為灰度級。然后獲得每個(gè)幀的直方圖。計(jì)算兩個(gè)連續(xù)幀的直方圖之間的卡方距離。選擇當(dāng)前幀的直方圖距離、前一幀和下一幀的直方圖距離都最小的幀，這樣選擇了一個(gè)性質(zhì)穩(wěn)定的幀。

2.3 人臉檢測

一旦代表性幀選擇好后，幀中的人臉區(qū)域?qū)⒂蒝iola Jones算法檢測[18]。該算法速度快，并且適合于實(shí)時(shí)實(shí)現(xiàn)?，F(xiàn)在，許多智能手機(jī)系統(tǒng)都具有人臉檢測功能。

2.4 Bandlet變換

Bandlet變換被應(yīng)用于已檢測到的人臉區(qū)域。人臉圖像攜帶著許多有關(guān)身份、性別、年齡和面部表情的有價(jià)值信息的幾何結(jié)構(gòu)。傳統(tǒng)的小波變換不太關(guān)心圖像的幾何結(jié)構(gòu)，尤指在尖銳過渡區(qū)。然而使用幾何結(jié)構(gòu)的尖銳過渡表示可以改善圖像表示。使用幾何結(jié)構(gòu)的主要障礙之一是計(jì)算復(fù)雜度高。Bandlet變換是一種基于邊緣的圖像表示方法，能自適應(yīng)地跟蹤圖像的幾何正則方向。Bandlet變換通過Bandlet基計(jì)算幾何流克服了圖像的幾何表示障礙[19-20]。Bandlet變換工作在灰度圖像上進(jìn)行，因此，在本文方法中，輸入的彩色圖像會被轉(zhuǎn)換成灰度圖像。

為了形成正交Bandlet基，圖像需要被分成由幾何流組成的區(qū)域。事實(shí)上，圖像被分為小方形塊，每塊至多包含一個(gè)外形。如果某個(gè)塊不包含輪廓，該塊中的幾何流將不被定義。

通過L2域中的小波基，Bandlet變換近似如下。

其中，ψ和φ是小波函數(shù)和尺度函數(shù)，i是擴(kuò)張標(biāo)號，n1×n2是輸入圖像的尺寸，x是像素位置。φ,ψH,ψV,ψD分別是低頻近似、沿水平方向、垂直方向和對角線方向的高頻表示。圖2說明了Bandlet分解。

圖2 Bandlet分解示意圖

如下所示，一旦計(jì)算出小波基，就可以通過Bandlet正交基替換小波基的方式計(jì)算得到幾何流。

在上述方程中，c(x1)是參數(shù)x1的幾何流線，公式定義如下。

從上述方程中，了解了塊體尺寸影響幾何流方向。在實(shí)踐中，較小的塊大小比較大的塊大小提供更好的幾何流表示。

在本文提出的方法中，研究了不同塊大小的效果以及情感識別精度上的尺度分解。

2.5 LBP

本文方法的下一步是將LBP應(yīng)用在經(jīng)過Bandlet變換的子波圖像上。LBP（Local Binary Patterns，局部二進(jìn)制模式）最初是由Ojala提出的，它可以簡單有效地描述圖像的局部紋理特征，在機(jī)器視覺領(lǐng)域中，相對于其他特征描述子，LBP算子擁有很多獨(dú)特的優(yōu)點(diǎn)[21]。LBP是一個(gè)功能強(qiáng)大的應(yīng)用在實(shí)時(shí)環(huán)境下的灰度圖像描述符[22]。它已被用于許多圖像處理應(yīng)用中，包括人臉識別、性別識別、種族識別。基本的LBP操作在3×3鄰域，其中相鄰像素的強(qiáng)度是中心像素強(qiáng)度的閾值。如果某個(gè)像素強(qiáng)度高于中心像素的強(qiáng)度，那么該像素位置被賦值為“1”，否則賦值為“0”。所有的8個(gè)相鄰像素的值連接到一起產(chǎn)生一個(gè)8位二進(jìn)制數(shù)，然后此8位二進(jìn)制數(shù)將被轉(zhuǎn)換為十進(jìn)制值。此十進(jìn)制值就是對應(yīng)于中心像素的LBP值。用這些LBP值創(chuàng)建一個(gè)直方圖來描述圖像。本文中的插值LBP，使用一個(gè)半徑為R像素和P像素的圓形插值。本文中的統(tǒng)一LBP是一種模式，此模式中至多有2個(gè)從0到1的逐位轉(zhuǎn)換，反之亦然。圖3說明了LBP的計(jì)算。

圖3 LBP計(jì)算示意圖

在本文方法中，經(jīng)Bandlet分解得到的子波被劃分到互不重疊的塊中。計(jì)算所有塊的LBP直方圖，然后關(guān)聯(lián)起來作為描述圖像的特征集。

2.6 KW的特征選擇

圖像的特征數(shù)量非常巨大。過多的特征減慢了處理進(jìn)程，而且它們還帶來了“維度詛咒”。因此，特征選擇技術(shù)可以被用于降低特征向量的維數(shù)。有許多特征選擇技術(shù)，每種特征選擇技術(shù)都有自己的優(yōu)點(diǎn)和缺點(diǎn)。因?yàn)椴捎帽疚姆椒ǖ南到y(tǒng)將被部署到移動(dòng)應(yīng)用程序中，因此本文方法采用簡單、低計(jì)算復(fù)雜性的KW特征選擇。

KW特征選擇是一個(gè)基于Kruskal-Wallis檢驗(yàn)的特征提取方法。Kruskal-Wallis檢驗(yàn)是一個(gè)多獨(dú)立樣本的非參數(shù)檢驗(yàn)，用于檢驗(yàn)多個(gè)樣本的分布是否存在顯著差異。Kruskal-Wallis檢驗(yàn)的原假設(shè)（H0）：多個(gè)獨(dú)立樣本來自的多個(gè)總體的分布無顯著差異。其基本步驟為：（1）將多組樣本數(shù)據(jù)混合并按升序排序，求出各變量值的秩。（2）用下面的公式計(jì)算檢驗(yàn)統(tǒng)計(jì)量H。

其中ni為第i組的樣本量，而N為各個(gè)樣本量之和（總樣本量）。Ri為第i個(gè)樣本的秩之和。Rˉ為總樣本的平均秩。

（3）由H值查出對應(yīng) p值，如果 p值＜顯著性水平，則拒絕原假設(shè)（H0），即多個(gè)獨(dú)立樣本來自的多個(gè)總體分布存在顯著差異。反之，p值＞顯著性水平，則不拒絕原假設(shè)，即多個(gè)獨(dú)立樣本來自的多個(gè)總體分布無顯著差異。

本文KW特征選擇中顯著性水平的值為0.05。如果 p的值＜0.05，相應(yīng)的特征被挑選出來。導(dǎo)致 p值很大的特征將被丟棄，因?yàn)樗徽J(rèn)為是不具有可分性。

2.7 基于GMM的分類器

選定的特征被輸入到基于GMM的分類器中。在訓(xùn)練過程中，從特征集建立不同的情緒模型。在測試期間，計(jì)算使用特征集的每個(gè)情感的對數(shù)似然分?jǐn)?shù)，以及此情感模型的對數(shù)似然分?jǐn)?shù)。對應(yīng)最大對數(shù)似然分?jǐn)?shù)的情感就是本文方法的輸出。在實(shí)驗(yàn)中，研究了不同數(shù)量的高斯混合模型，最終選擇基于分類器的GMM，因?yàn)樗軐?shí)時(shí)運(yùn)行，比基于分類器的神經(jīng)系統(tǒng)更穩(wěn)定。

3 實(shí)驗(yàn)結(jié)果及其分析

為了驗(yàn)證所提出的方法，用兩個(gè)公共數(shù)據(jù)庫Canade Kohn（CK）[23]和日本女性的面部表情（JAFFE）[24]做了一些實(shí)驗(yàn)。在以下小節(jié)，簡要地描述這兩個(gè)數(shù)據(jù)庫，并提出實(shí)驗(yàn)結(jié)果與討論。

3.1 實(shí)驗(yàn)數(shù)據(jù)庫

在本文的實(shí)驗(yàn)中，使用了兩個(gè)數(shù)據(jù)庫。JAFFE數(shù)據(jù)庫由日本女性的面部表情圖片組成。JAFFE庫包含10位日本女性，一共213張面部圖片。所有的圖片都是256×256分辨率的灰度圖片。原始圖像被沖洗、掃描和數(shù)字化，而且所有圖像都是臉部朝前。這些圖片有七種類別的情緒，分別是憤怒、幸福、悲傷、厭惡、害怕、神經(jīng)和驚奇。

CK數(shù)據(jù)庫是由100位大學(xué)生的面部圖像組成。經(jīng)過仔細(xì)觀察，其中四位學(xué)生的面部圖像被拋棄，因?yàn)樗麄兊拿娌繄D像沒有恰當(dāng)?shù)乇磉_(dá)情感。CK庫中的學(xué)生們來自不同的民族。視頻序列是在受控環(huán)境中捕獲的，參與者表現(xiàn)出前面提到的六種情緒。有408個(gè)視頻序列，并從每個(gè)視頻序列中選擇3個(gè)最具代表性的圖像幀。CK數(shù)據(jù)庫圖像的總數(shù)是1 632。

3.2 實(shí)驗(yàn)結(jié)果和討論

首先，在實(shí)驗(yàn)中使用JAFFE數(shù)據(jù)庫來設(shè)置本文方法中的不同參數(shù)。選擇了JAFFE數(shù)據(jù)庫是因?yàn)樗菴K數(shù)據(jù)庫小。一旦使用JAFFE數(shù)據(jù)庫設(shè)定好本文方法的參數(shù)后，再使用CK數(shù)據(jù)庫。

在分類過程中，采用了5倍方法，其中數(shù)據(jù)庫被分成5個(gè)相等的組。在每一個(gè)迭代，4個(gè)組用于訓(xùn)練，剩余的一組用于測試。經(jīng)過5次迭代后，所有5組都進(jìn)行了測試。使用該方法可以減少針對任何特定圖像本文方法的誤差。對于使用KW方法進(jìn)行特征選擇，把p值設(shè)為0.2，因?yàn)?.2的p值幾乎對所有案例都給出了最優(yōu)結(jié)果。

在Bandlet分解中，嘗試了不同的塊尺寸和不同的子圖尺度。圖4顯示了使用不同塊尺寸和不同尺度下本文方法的平均精度（%）。平均精度是從七種情感類別中獲得的。從圖中，發(fā)現(xiàn)2×2塊尺寸和0尺度子圖產(chǎn)生了最高的精度92.4%。如果增加塊大小，精度會下降，同樣地，精度也會隨著尺度的增大而下降。

圖4 不同塊尺寸和不同Bandlet尺度下的精度

在接下來的實(shí)驗(yàn)中，歸一化Bandlet系數(shù)，并研究其效果。在本文的歸一化中采用Bandlet系數(shù)除以向量長度的方法[25]。圖5顯示了使用歸一化Bandlet系數(shù)的本文方法的平均精度（%）。這些精度優(yōu)于那些沒有做Bandlet系數(shù)歸一化的系統(tǒng)的精度。例如，采用2×2塊大小、0尺度的歸一化Bandlet系數(shù)的本文方法達(dá)到93.5%精度，優(yōu)于沒有歸一化的精度92.4%。類似的結(jié)果對所有的塊尺寸和尺度都是正確的。在下面的實(shí)驗(yàn)中，只使用歸一化的Bandlet系數(shù)。

圖5 本文方法使用歸一化Bandlet系數(shù)的不同塊尺寸和不同Bandlet尺度下的精度

研究了將不同尺度相關(guān)聯(lián)的Bandlet系數(shù)對本文方法精度的影響。在實(shí)驗(yàn)中，僅僅使用了2×2塊尺寸。圖6顯示了在不同的級聯(lián)尺度下本文方法的精度。0尺度和2尺度相關(guān)聯(lián)產(chǎn)生了最高的精確度，其次是1尺度和2尺度相關(guān)聯(lián)。需要注意的是將尺度關(guān)聯(lián)會極大地增加計(jì)算復(fù)雜度，這可能會妨礙將本文方法運(yùn)用到移動(dòng)應(yīng)用中。因此，雖然尺度關(guān)聯(lián)能提高識別精度，但是本文方法沒有進(jìn)行尺度的關(guān)聯(lián)，而僅將LBP運(yùn)用到0尺度上來提高性能。

圖6 本文方法使用2×2塊尺寸和歸一化Bandlet系數(shù)，在不同關(guān)聯(lián)尺度下的精度

在本文方法中，研究了LBP的各種變體。將LBP應(yīng)用在2×2塊大小和0尺度的歸一化Bandlet系數(shù)上。使用的LBP變體是基本LBP，0模式插值LBP，均勻插值LBP（U2），旋轉(zhuǎn)不變插值LBP（RI）和旋轉(zhuǎn)不變性均勻插值LBP（riu2）。LBP的塊大小為16×16，在分類階段高斯混合的數(shù)為32。平均精度如圖7所示?；綥BP獲得了最佳精度99.8%。事實(shí)上，所有使用LBP的精度都在98%以上，這表明本文方法的可行性。

圖7 本文方法在0尺度和2×2塊尺寸下使用不同LBP變體的精度

為了檢驗(yàn)高斯混合函數(shù)在分類階段的效果，將Bandlet變換的參數(shù)固定為2×2塊大小，0尺度，歸一化系數(shù)，將基本LBP塊大小固定為16×16。使用多種高斯混合數(shù)的本文方法的平均精度如圖8所示。從圖中可以看到，32高斯混合數(shù)達(dá)到了最高精度99.8%，其次為64高斯混合數(shù)精度達(dá)到了99.5%。需要注意的是，即使使用16高斯混合數(shù)（計(jì)算量小于32高斯混合數(shù)），本文方法的精度也在94%之上。

圖8 本文方法在GMM中不同高斯混合數(shù)下的精度

表1顯示了本文方法使用JAFFE數(shù)據(jù)庫的混淆矩陣。參數(shù)設(shè)定如下：歸一化的Bandlet系數(shù)，2×2的Bandlet塊大小，0尺度，16×16塊大小的基本LBP，32高斯混合數(shù)。從混淆矩陣中，發(fā)現(xiàn)快樂和中性的情感有最高精度99.9%，憤怒和厭惡情感有最低精度99.7%。平均而言，本文方法用1.2秒識別一種情緒。

表1 使用JAFFE數(shù)據(jù)庫的混淆矩陣

表2顯示了本文方法使用CK數(shù)據(jù)庫的混淆矩陣。參數(shù)與上面使用JAFFE數(shù)據(jù)庫的混淆矩陣一致。從表中發(fā)現(xiàn)憤怒情感大多與厭惡情感和恐懼情感相混淆。其他情感基本上被正確識別。本文方法平均用了1.32秒的時(shí)間來識別一種情緒。

表2 使用CK數(shù)據(jù)庫的混淆矩陣

表3給出了在JAFFE數(shù)據(jù)庫和CK數(shù)據(jù)庫上不同情感識別系統(tǒng)[26-28]的識別精度比較。從表3中可知，本文方法優(yōu)于近三年所有其他相關(guān)系統(tǒng)。

表3 在JAFFE數(shù)據(jù)庫和CK數(shù)據(jù)庫上不同情感識別系統(tǒng)的識別精度比較

在相同的硬件（處理器2.20 GHz，系統(tǒng)內(nèi)存大小為4 GB，頻率為DDR3L-1600 RAM，操作系統(tǒng)是Win7旗艦）、軟件（matlab2013a）和實(shí)驗(yàn)數(shù)據(jù)（JAFFE數(shù)據(jù)庫）實(shí)驗(yàn)環(huán)境下，表4給出了本文識別方法采用和不采用KW特征提取方法前后運(yùn)行時(shí)間的對比。表5給出了本文KW特征提取方法和LBP，CS-LBP，LGC-HD，F(xiàn)TP中的特征提取方法的運(yùn)行時(shí)間對比。

從表4可知本文識別方法采用KW特征提取方法后運(yùn)行效率有顯著的提高。從表5可知本文KW特征提取方法的提取效率顯著高于CS-LBP和LGC-HD中的特征提取方法，而與FTP中的特征提取方法的提取效率差別不大。

表4 采用KW特征提取前后的運(yùn)行時(shí)間對比

表5 目前特征提取方法運(yùn)行時(shí)間的比較

4 結(jié)束語

本文提出了一種移動(dòng)應(yīng)用情感識別方法，情感通過面部圖像進(jìn)行識別。Bandlet變換和LBP被作為特征，然后通過KW特征選擇方法進(jìn)行選擇?；贕MM的分類器用于識別情感。并用兩個(gè)公開可用的數(shù)據(jù)庫來驗(yàn)證本文方法。本文方法使用JAFFE數(shù)據(jù)庫達(dá)到了99.8%的精度，使用CK數(shù)據(jù)庫達(dá)到了99.7%的精度。本文方法識別一個(gè)情感不到1.4秒。本文方法的高精度和低時(shí)間復(fù)雜度使其適用于任何情緒感知移動(dòng)應(yīng)用。在未來的研究中，希望擴(kuò)展這項(xiàng)工作，以納入不同的情感輸入模式。

：

[1]彭杰.語音情感識別技術(shù)研究[D].成都：電子科技大學(xué)，2016.

[2]戴惟嘉.基于表情和語音雙模態(tài)的兒童情感識別研究[D].南京：東南大學(xué)，2016.

[3]Chen M，Zhang Y，Li Y，et al.EMC：Emotionaware mobile cloud computing in 5G[J].IEEE Network，2015，29（2）：32-38.

[4]Hossain M S，Muhammad G，Song B.Audio-visual emotionaware cloud gaming framework[J].IEEE Transactions on Circuits&Systems for Video Technology，2015，25（12）：2105-2118.

[5]Mehmood R M，Lee H J.A novel feature extraction method based on late positive potential for emotion recognition in human brain signalpatterns[J].Computers &Electrical Engineering，2016，53.

[6]Chen M.CP-Robot：cloud-assisted pillow robot for emotion sensing and interaction[C]//International Conference on Industrial Iot Technologies&Applications，2016：81-93.

[7]Chen M，Hao Y，Li Y.Demo：LIVES：learning through interactive video and emotion-aware system[C]//Acm International Symposium on Mobile Ad Hoc Networking&Computing，2015：399-400.

[8]Hossain M S，Muhammad G，Alhamid M F.Audio-visual emotion recognition using big data towards 5G[J].Mobile Networks&Applications，2016，21（5）：753-763.

[9]Zhang Y，Chen M，Mao S.CAP：Community Activity Prediction based on big data analysis[J].Network IEEE，2014，28（4）：52-57.

[10]Zhang Y.GroRec：a group-centric intelligent recommender system integrating social，mobile and big data technologies[J].IEEE Transactions on Services Computing，2016，9（5）：786-795.

[11]Chen M，Zhang Y，Li Y.AIWAC：affective interaction through wearable computing and cloud technology[J].IEEE Wireless Commun，2015，22（1）：20-27.

[12]Zhang W，Zhao D，Chen X.Deep learning based emotion recognition from Chinese speech[C]//International Conference on Smart Homes&Health Telematics，2016：49-58.

[13]Shan C，Gong S，McOwan P W.Facial expression recognition based on local binary patterns：a comprehensive study[J].Image&Vision Computing，2009，27（6）：803-816.

[14]Hossain M S，Muhammad G.Audio-visual emotion recognition using multi-directional regression and ridgelet transform[J].Journal on Multimodal User Interfaces，2016，10（4）：325-333.

[15]Kahou S E.EmoNets：Multimodal deep learning approaches for emotion recognition in video[J].Journal on Multimodal User Interfaces，2015，10（2）：99-111.

[16]Chao L，Tao J，Yang M.Multi-scale temporal modeling for dimensional emotion recognition in video[C]//4th Int Workshop Audio/Vis Emotion Challenge（AVEC），Orlando，2014：11-18.

[17]Muhammad G，Alhamid M F.User emotion recognition from a larger pool of social network data using active learning[J].Multimedia Tools&Applications，2016，76：1-12.

[18]Viola P，Jones M J.Robust real-time face detection[J].International Journal of Computer Vision，2004，57（2）：137-154.

[19]梁銳華.基于Bandelet變換的圖像稀疏表示及壓縮編碼方法研究[D].長沙：國防科學(xué)技術(shù)大學(xué)，2007.

[20]Mallat S，Peyré G.A review of bandlet methods for geometrical image representation[J].Numerical Algorithms，2007，44（3）：205-234.

[21]劉斌，徐巖，米強(qiáng).LBP特征和改進(jìn)Fisher準(zhǔn)則的人臉識別[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（16）：155-160.

[22]Ahonen T，Hadid A，Pietik?inen M.Face description with local binary patterns：application to face recognition[J].IEEE Trans on Pattern Anal Mach Intell，2006，28（12）：2037-2041.

[23]Kanade T，Cohn J F，Tian Y.Comprehensive database for facial expression analysis[C]//IEEE International Conference on Automatic Face& Gesture Recognition，2000.

[24]Lyons M，Akamatsu S，Kamachi M.Coding facial expressions with Gabor wavelets[C]//IEEE International Conference on Automatic Face& Gesture Recognition，1998：200-205.

[25]Hill F S，Kelley S M.Computer graphics using OpenGL[M].New Jersey：Prentice-Hall，2006.

[26]Neeru N，Kaur L.Face recognition based on LBP and CS-LBP technique under different emotions[C]//IEEE International Conference on Computational Intelligence&Computing Research，2016：1-4.

[27]Tong Y，Chen R，Cheng Y.Facial expression recognition algorithm using LGC based on horizontal and diagonal prior principle[J].Optik-International Journal for Light and Ele，2014，125（16）：4186-4189.

[28]Ding Y，Zhao Q，Li B，et al.Facial expression recognition from image sequence based on LBP and Taylor expansion[J].IEEE Access，2017，PP（99）.