基于圖卷積多標簽學習的復合人臉表情識別①

武中華

(江蘇大學 計算機科學與通信工程學院,鎮(zhèn)江 212013)

在現(xiàn)實生活中,人臉表情是僅次于語氣之后必不可少的情感交流手段[1].人臉表情識別能讓計算機有效表達人類的情感信息,是人工智能領域中的重要組成部分.人臉表情識別是將人臉表情圖像識別為不同的表情類型,如憤怒、高興、悲傷、驚訝、厭惡和恐懼等等[2].近年來,隨著人工智能研究領域的不斷發(fā)展,人臉表情識別也因其重要性而受到廣泛關注.

目前,人臉表情識別方法劃分為3 個主要步驟,分別是預處理,人臉表情特征提取和人臉表情分類.在人臉表情特征提取中,根據(jù)特征提取方式不同分為手工特征和學習型特征,前者是通過手工設計的算法進行提取,后者是通過深度學習模型進行提取.對于手工特征,可以進一步分為基于紋理的特征,如局部二值模式(local binary pattern,LBP)、Gabor 小波變換;基于幾何的特征,如尺度不變特征變換(scale-invariant feature transform,SIFT)和基于多種手工特征得到的混合特征.而大多數(shù)學習型特征都是基于神經(jīng)網(wǎng)絡自動進行學習[3,4],如卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN),深度神經(jīng)網(wǎng)絡(deep neural network,DNN),循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network,RNN)和生成對抗網(wǎng)絡(generative adversarial network,GAN).人臉表情分類的方法則有支持向量機(support vector machine,SVM)、隱馬爾科夫模型(hidden Markov model,HMM)、K 最近鄰算法(K-nearest neighbor,KNN)和混合分類器模型等等[5,6].

傳統(tǒng)的人臉表情識別僅限于識別6 種基本人臉表情,即憤怒、高興、悲傷、驚訝、厭惡和恐懼.然而,現(xiàn)實生活中人類情感變化非常復雜,表現(xiàn)出來的人臉表情類別大大高于早期定義的6 種基本表情[7].復合人臉表情的提出為人臉表情識別開辟了一個新的領域,可以將計算機視覺和人工智能的研究提高到一個新的高度.復合人臉表情通常是來自于沒有任何控制條件下的真實場景,而大部分公開的自然環(huán)境下的人臉表情數(shù)據(jù)集只包含基本表情,而少數(shù)包含復合人臉表情的數(shù)據(jù)集也缺乏足夠的訓練數(shù)據(jù).近年來,有一些基于復合人臉表情識別的研究,Benitez-Quiroz 等人[8]提出了利用檢測表情中的面部運動單元(action unit,AU)來識別復合人臉表情,然而此方法需要顯著提升表情中AU的檢測性能才能有效識別復合人臉表情.Li 等人[9]改進了基礎的深度卷積神經(jīng)網(wǎng)絡(deep convolutional neural network,DCNN)提出一種新的模型(deep locality-preserving CNN,DLP-CNN)來進行復合人臉表情識別,該方法大大增強了識別能力.但是,復合人臉表情數(shù)據(jù)集訓練樣本的不足,人工標注費時費力,因此,目前的研究還是主要集中在基本人臉表情的識別.

單標簽學習中,每個樣本只屬于一個標簽且標簽之間兩兩互斥,而在多標簽學習中,一個樣本可以對應多個標簽,且各個標簽之間通常具有一定的聯(lián)系[10].在現(xiàn)實生活中,數(shù)據(jù)的復雜性導致單標簽學習已經(jīng)無法滿足研究方法的要求,因為真實的對象往往具有多義性,所以多標簽學習逐漸得到了廣泛的關注.運用面部動作編碼系統(tǒng)(facial action coding system,FACS)[7]對所有人臉表情中出現(xiàn)的人臉面部運動單元(AU)進行研究發(fā)現(xiàn),復合人臉表情一般是由兩種基本人臉表情組合而成的,如驚喜(happily surprised),其是由高興(happily)和驚訝(surprised)兩個基本表情組合而成,所以復合人臉表情識別可以視為一個多標簽分類問題.

現(xiàn)實世界中的諸多問題都是用圖的形式來表示,近年來,由于圖卷積網(wǎng)絡能夠解決圖的卷積問題得到了巨大的發(fā)展[11,12].Wang 等人[13]利用圖卷積進行零樣本圖像識別時,考慮到可見類別和不可見類別之間的關系,轉移從可見類別中學習到的知識來描述不可見類別,大幅度提高了零樣本識別的性能.Chen 等人[14]通過構建知識圖來捕獲標簽間的依賴關系,將圖卷積應用在多標簽圖像識別上,也取得了巨大的成功.Zhang等人[15]利用上下文信息來構建情感關系圖,再利用圖卷積網(wǎng)絡來學習情感關系以推理情緒狀態(tài),獲得不錯的效果.Li 等人[16]在人臉面部單元識別中,先利用先驗知識構造了AU 關系圖,再使用GGNN 在圖上進行信息傳播來得到AU的特征,最后進行AU 識別.表明了人臉面部單元識別中使用圖神經(jīng)網(wǎng)絡的有效性.

我們將復合人臉表情識別視為多標簽分類問題,通過復合人臉表情類別之間的聯(lián)系來構建人臉表情類別關系知識圖,為了更好的獲得表情之間的關系,我們提出了一種基于圖卷積網(wǎng)絡多標簽學習的復合人臉表情識別方(graph convolution network in multi-label learning for compound facial expression recognition,GCN-ML-CFER),來更好的實現(xiàn)對復合人臉表情的識別.

1 基于圖卷積多標簽學習的復合人臉表情識別

圖1所示為整體的網(wǎng)絡結構,基于圖卷積多標簽學習的復合人臉表情識別模型(GCN-ML-CFER)主要分為3 個部分:1)以VGG19 網(wǎng)絡模型為骨架,再利用提供的人臉面部關鍵點來對感興趣區(qū)域(region of interest,ROI)[16,17]進行學習,最后提取人臉表情的特征.2)通過面部動作編碼系統(tǒng)(FACS)對所有人臉表情中出現(xiàn)的人臉面部運動單元(AU)進行分析,得到人臉表情類別之間的關系.再通過數(shù)據(jù)驅動的方式,挖掘人臉表情類別的標簽在數(shù)據(jù)集中的共現(xiàn)模式,使用條件概率的形式對標簽的依賴性關系進行建模,得到人臉表情類別關系圖,圖卷積網(wǎng)絡作用在關系圖上進行分類器學習.3)通過提取的人臉表情特征與學習到的分類器進行復合人臉表情預測.

圖1 GCN-ML-CFER 模型框架

1.1 人臉表情特征提取模塊

面部動作編碼系統(tǒng)(FACS)根據(jù)人臉解剖學的特點用人臉面部運動單元(AU)的變化來描繪不同的表情這種描述方式幾乎可以表現(xiàn)所有的面部表情,是目前標準的表情劃分參照體系.人臉表情的發(fā)生是基于人臉面部運動單元(AU)的變化,所以為了獲得更加顯著的人臉表情特征,我們利用提供的人臉面部關鍵點來對感興趣區(qū)域進行特征提取,這種全局和局部特征的結合,可以很好的表示人臉的表情.

我們選擇VGG19 作為我們的骨架網(wǎng)絡,如圖1(a)所示,通過VGG19 我們可以得到人臉面部表情的全局特征圖F.接著我們根據(jù)提供的5 個人臉面部關鍵點置,縮放映射到全局特征圖的關鍵點位置,以此位置為中心,劃分出感興趣區(qū)域,使用ROI 網(wǎng)絡來對這5 個感興趣區(qū)域進行特征提取,從而得到局部的人臉表情特征.

其中,l為提供的人臉面部關鍵點,ROI為區(qū)域特征提取網(wǎng)絡,f為從感興趣區(qū)域提取到的特征.將連接起來的全局和局部特征作為我們從人臉表情圖像中提取得到的表情特征.

其中,g為特征連接,X為最后的維度為600的人臉表情特征.

1.2 表情類別知識圖構造

考慮到復合表情之間具有一定的相關性,捕獲和利用這些相關性可以提升復合表情的分類性能.拓撲結構的圖擁有對于復雜系統(tǒng)的強表現(xiàn)力,同時具有很強的推理能力,因此將人臉表情類別之間的關系構造成圖的形式,可以很好的進行復合人臉表情識別.

我們用V來表示圖中節(jié)點的集合,具體來說,每種基本表情類別分別對應圖的一個節(jié)點,即v∈V,圖中的每個節(jié)點表示為標簽的詞嵌入.詞嵌入是一種將文本中的詞轉表示數(shù)字向量的方法,向量中的每一個維度可視為對應特定的語義信息,在詞嵌入空間中,語義相關和相近的概念詞向量也彼此接近.

圖中節(jié)點間的關系我們用邊E來表示,如驚喜(happily surprised)這個復合表情,它在圖中體現(xiàn)為高興(happily)代表的節(jié)點和驚訝(surprised)代表的節(jié)點通過邊來進行連接.根據(jù)面部動作編碼系統(tǒng)(FACS)和復合表情的標簽,我們初步可以得到哪些基本表情之間是有關系的,也就是圖中哪些節(jié)點是通過邊相連的.同時,我們再通過數(shù)據(jù)驅動的方式來進一步表示圖中節(jié)點間關系的強度,即通過挖掘數(shù)據(jù)集中不同復合表情的數(shù)量,來對圖中相連節(jié)點之間關系進行調整.

我們以條件概率的形式對節(jié)點間關系的強度進行建模.即P(Lj|Li),它表示的是出現(xiàn)標簽Li時出現(xiàn)標簽Lj的概率,需要注意的是,P(Lj|Li) 不等于P(Li|Lj).

復合表情可以視為基本表情的標簽對.首先我們對訓練集中的所有復合表情進行計數(shù),得到矩陣M∈RC×C,其中,C為基本表情的個數(shù),Mij表示基本表情標簽Li和Lj一同出現(xiàn)的次數(shù),也就是,這兩個基本表情組成的復合表情出現(xiàn)的次數(shù).

再利用Pij=Mij/Ni得到條件概率矩陣P∈RC×C,其中Ni表示基本表情標簽Li在數(shù)據(jù)集中出現(xiàn)的次數(shù),Pij=P(Lj|Li).

在圖卷積后,節(jié)點的特征為節(jié)點自身特征與相鄰節(jié)點特征的加權和,對于圖卷積可能導致的過渡平滑問題,即節(jié)點特征可能變得相似,以至于不同類別的節(jié)點可能變的難以區(qū)分,為了緩解這個問題,我們對條件概率矩陣進行一定的改進,首先對于可能出現(xiàn)的噪聲邊通過閾值t來進行限制.

接著,在更新節(jié)點特征時,有一個固定的權重對節(jié)點本身的特征,而相鄰節(jié)點的特征由其分布決定,最后鄰接矩陣A表示為:

其中,A是鄰接矩陣,而p是分配給節(jié)點本身和其相鄰節(jié)點的權重,當p趨近于1 時,節(jié)點本身的特征將不會著重考慮,主要使用其相鄰節(jié)點的特征.當p趨近于0 時,其相鄰節(jié)點的特征將不會著重考慮,主要考慮節(jié)點本身的特征.

1.3 圖卷積模塊的分類器學習

圖卷積在學習過程中能夠融合圖結構信息,可以將來自相鄰節(jié)點的有效信息集成到節(jié)點自身當中,因此,我們使用圖卷積從表情類別知識圖中學習表情類別分類器,如圖1(b)和圖1(c)所示.給定的圖是一個具有C個節(jié)點且每個節(jié)點的特征維度為d,從而得到圖的特征矩陣H0 ∈RC×d.其中節(jié)點的初始特征為相對應表情標簽的詞向量表示.表情類別知識圖用鄰接矩陣A∈RC×C表示.我們采用簡單的傳播規(guī)則進行圖卷積.

其中,σ為ReLU 激活函數(shù),是對鄰接矩陣A進行歸一化后的矩陣,Hl是第l層的節(jié)點特征表示,首層的節(jié)點特征表示為H(0),通過圖卷積將圖的節(jié)點特征矩陣更新為Hl+1 ∈RC×d′,可以通過多層的圖卷積來學習和建模節(jié)點間復雜的關系,Wl是第l層待學習的權重參數(shù),最后通過圖卷積后的輸出為Z∈RC×D,D與人臉表情特征X的維度相同.

Z∈RC×D

經(jīng)過圖卷積模塊得到的就是我們學習到的分類器,將其應用到人臉表情特征上,就可以得到表情類別預測的分數(shù):

人臉表情圖像的標簽為y∈RC,其中yi={0,1} 表示人臉表情類別標簽i是否出現(xiàn)在圖像中.整個網(wǎng)絡用傳統(tǒng)的多標簽分類損失進行訓練:

其中,φ是S igmoid 函數(shù).

2 基于圖卷積多標簽學習的復合人臉表情識別方法

本文在2 個數(shù)據(jù)集上進行復合人臉表情識別實驗.

RAF-DB[9].是目前最大公開可用的真實情感人臉數(shù)據(jù)集,它擁有15 339 張7 種基本表情圖像和3 954 張11種復合人臉表情圖像.本文使用11 種復合人臉表情,采用數(shù)據(jù)集提供的3 162 張訓練集圖像和792 張測試圖像.

EmotioNet[8].是自然環(huán)境下大型人臉表情數(shù)據(jù)集,它擁有2 478 張帶有人臉表情標簽的圖像,由于我們工作集中在復合人臉表情識別上,同時選擇有明確基本表情組成的復合人臉表情類別,最后我們從中獲取了1220 張復合人臉表情圖像,其中訓練集圖像為980 個,測試集圖像為240 個.

在實驗設置方面,首先,我們采用4 層圖卷積網(wǎng)絡,每層維度為350,400,500,600.表情類別知識圖構造中,我們選擇的是300 維度的GloVe[18]詞向量作為每個節(jié)點的初始化,圖中邊的構造中,我們的參數(shù)設置為p=0.3,t=0.2.在人臉表情特征提取模塊,我們采用LeakyReLU=0.2 激活函數(shù),預訓練的VGG19為主干網(wǎng)絡,在訓練過程中,輸入人臉表情圖像大小歸一化到為100×100,最后得到的圖像特征維度為600,與最后圖卷積后的節(jié)點維度一致.采用SGD 優(yōu)化算法,momentum為0.9,學習率初始化設置為0.01,每30 個epoch 學習率衰減10 倍.整個網(wǎng)絡構建使用的是Python 3.6,CUDA10.2,PyTorch 1.3.1.

2.1 特征提取模型選擇

為了選擇合適的特征提取模型,在RAF-DB 這個數(shù)據(jù)集上,對幾個目前流行的深度學習模型的識別準確率進行了對比,即baseDCNN[9],ResNet18,ResNet34,ResNet50,ResNet101[19]和VGG19[20].其中,baseDCNN是RAF-DB 數(shù)據(jù)庫中基準方法DLP-CNN的特征提取模型,DLP-CNN 能夠提高對學習到的特征的識別能力,可以比擬于其它最優(yōu)的方法.所有的模型都是用RAF-DB的訓練集數(shù)據(jù)進行訓練,在測試集上進行測試,結果如表1所示,我們使用的模型除了baseDCNN外,其它都是經(jīng)過ImageNet[21]預訓練過后的模型.從表中可以看出,其它模型的識別率相對VGG19 來說,VGG19的結果最好,因此,后續(xù)的試驗以VGG19 作為選擇的特征提取模型.

表1 不同模型的識別準確率比較 (%)

2.2 卷積層數(shù)的選擇

我們展現(xiàn)了不同卷積層數(shù)對模型識別率的影響,對于3 層圖卷積網(wǎng)絡,輸出的維度分別是,400,500,600,對于4 層圖卷積,輸出維度為350,450,550,600,對于5 層圖卷積,輸出維度為350,400,450,500,600.通過圖2中的結果展示,隨著圖卷積數(shù)目的增加,復合表情識別率先上升后下降,在使用4 層圖卷積的情形下識別率最高.可能的原因是,在使用更多的圖卷積層時,節(jié)點之間的多次傳播導致了過平滑,使得節(jié)點間的區(qū)分性降低,導致識別率的降低,而我們?yōu)榱司徑膺^平滑,在知識圖的構造過程中,設置了t來限制節(jié)點之間邊的連接,設置p來分配給節(jié)點本身和其相鄰節(jié)點的權重,一定程度緩解了使用更多的圖卷積層而出現(xiàn)的過平滑,所以才會出現(xiàn)隨著圖卷積層數(shù)的變化,復合表情識別率也出現(xiàn)了先上升后下降的變化,而且變化幅度不大.

圖2 兩個數(shù)據(jù)集下不同GCN 層數(shù)的準確率

2.3 不同詞向量選擇的影響

在表情類別知識圖構造中,運用詞向量來對圖中節(jié)點進行初始化,我們調查了幾個不同的詞向量表示,包括GloVe,GoogleNew[22]和FastText[23]3 個詞向量表示.圖3展示了這3 種詞向量對實驗結果的影響,對比于其它的詞向量,GloVe 詞向量下模型的識別率相對較高.我們發(fā)現(xiàn),3 種不同的詞向量下實驗結果差別不是很大,表明我們模型的識別率受詞向量的影響較小.同時運用更加合理準確的詞向量能夠得到更好的結果,原因可能是從豐富語料中學習到的詞向量包含了豐富的語義信息,我們的模型能夠利用這種有效的語義信息來提升對復合人臉表情識別的準確率.

圖3 兩個數(shù)據(jù)集下不同詞向量的準確率

2.4 t 取值分析

在表情類別知識圖構造中,鄰接矩陣中的t是一個閾值,來決定圖中兩個節(jié)點是否進行連接.t∈{0,0.1,0.2,···,0.9,1},其結果如圖4所示.我們發(fā)現(xiàn),當t取值為0 時,表示所有的節(jié)點進行連接,隨著t值的增加,減少了一些干擾的邊,使得識別的準確率不斷的增加,然而,當太多的邊刪減之后,節(jié)點之間的關系不能很好的學習到,導致準確在不斷的下降.我們從圖中發(fā)現(xiàn)在RAF-DB 數(shù)據(jù)集中,t=0.2 時,復合表情的識別率最好,而在EmotioNet 數(shù)據(jù)集中,t=0.4 時,復合表情的識別率最好.出現(xiàn)此類情況的原因可能是,不同的數(shù)據(jù)集所擁有的的復合表情的數(shù)目不同,而根據(jù)數(shù)據(jù)驅動而構造的知識圖也因此受到影響,導致不同數(shù)據(jù)集下合適的t值是不同的.

圖4 兩個數(shù)據(jù)集下不同t 值的準確率

2.5 p 取值分析

在表情類別知識圖構造中,鄰接矩陣中的p是分配給節(jié)點本身和其相鄰節(jié)點的權重.為了發(fā)現(xiàn)不同p值構造的知識圖對復合表情識別的影響,我們應用p∈{0,0.1,0.2,···,0.9,1},結果如圖5所示,我們能發(fā)現(xiàn)當p=0.3時,它能取得最好的結果.如果p值太小,圖中節(jié)點不能從鄰接節(jié)點中學習到有效的信息,如果p值太大,它將不會保持自身的特征,導致出現(xiàn)過平滑現(xiàn)象.

圖5 兩個數(shù)據(jù)集下不同p 值的準確率

2.6 ROI 網(wǎng)絡的影響

我們根據(jù)RAF-DB 數(shù)據(jù)集提供的5 個人臉面部關鍵點位置,劃分出感興趣區(qū)域,使用ROI 網(wǎng)絡來對這5 個感興趣區(qū)域進行特征提取,將得到的局部的人臉表情特征和全局人臉特征進行結合得到最后的人臉表情特征.為了驗證ROI 網(wǎng)絡的有效性,我們從模型中移除ROI 網(wǎng)絡,直接進行復合人臉表情識別,我們將缺失了ROI 網(wǎng)絡的模型稱為GCN-ML-CFER-ROI.由于EmotioNet 數(shù)據(jù)集中沒有提供準確的人臉面部關鍵點位置,所在RAF-DB 數(shù)據(jù)集中進行比較.對比結果如表2所示.我們發(fā)現(xiàn),在RAF-DB 數(shù)據(jù)集中,ROI 網(wǎng)絡的使用提升了復合人臉表情的識別率,提升了大約1.3%左右,原因很可能是通過ROI 網(wǎng)絡,我們提取到了更有效的人臉表情特征,從而使得整個模型的復合人臉表情準確率得到了提升.

表2 RAF-DB 數(shù)據(jù)集中ROI 網(wǎng)絡影響下的準確率 (%)

2.7 與其它方法比較

實驗與目前的主流研究方法作對比.表1給出了對比方法的準確率結果.表1中的對比方法是在單標簽學習基礎上進行的,復合人臉表情圖像對應復合人臉表情類別,即一張人臉表情圖像對應一個標簽.表3中是我們提出的基于圖卷積多標簽的復合人臉表情識別模型GCN-ML-CFER的準確率結果.從表3中可以明顯看出多標簽學習下對復合人臉表情識別的準確率明顯高于單標簽學習下的準確率.

表3給出了在多標簽學習中,我們模型在不同主干網(wǎng)絡下的準確率結果,從中可以看出:將我們模型的提取人臉表情特征的主干網(wǎng)絡替換,整個模型的復合人臉表情識別率都高于對應的原先的模型.其中提升效果最好的為VGG19 方法,相較于單獨使用預訓練過后的VGG19 模型,在RAF-DB 數(shù)據(jù)集中識別效果高出了4.92%,在EmotioNet 數(shù)據(jù)集中高出了4.16%,實現(xiàn)了在這兩個數(shù)據(jù)集下最好的識別效果,證明了圖卷積模塊可以獲取表情類別之間的關系,來更好的輔助復合人臉表情識別.

表3 模型在不同主干網(wǎng)絡下的準確率比較結果 (%)

圖6給出了我們模型在兩個數(shù)據(jù)集上最好識別率下的混淆矩陣.在RAF-DB 數(shù)據(jù)集下的混淆矩陣中發(fā)現(xiàn),fearfully angry和fearfully surprised復合表情的識別率較高,而sadly angry和sadly surprised復合表情的識別率較低.在EmotioNet 數(shù)據(jù)集下的混下矩陣中,fearfully surprised和happily disgusted的識別率較高,而angrily disgusted和sadly angry的識別率較低.可能原因一方面在于,數(shù)據(jù)集中復合表情的樣本數(shù)目不平衡所致,數(shù)據(jù)集中復合表情的樣本數(shù)目越多,學習到的對應的表情特征越準確,另一方面,構成復合表情的基本表情一起出現(xiàn)的概率越高,圖卷積通過語義空間學習的表情類別分類器越準確,最后有效的提升相應復合表情的識別率.

圖6 GCN-ML-CFER 模型在兩個數(shù)據(jù)集下的混淆矩陣

3 總結與展望

對于復合人臉表情識別,本文提出了一種基于圖卷積多標簽學習的復合人臉表情識別方法.針對表情類別之間的關聯(lián)性,本文將基本表情類別作為圖中的節(jié)點,利用先驗知識和數(shù)據(jù)驅動方法,構建了表情類別知識圖,再通過圖卷積網(wǎng)絡來有效提取知識圖中的關系信息,以提高復合人臉表情識別的性能.在RAF-DB和EmotioNet 這兩個數(shù)據(jù)集上進行了大量實驗,實驗結果表明:所提出的方法在復合人臉表情識別上達到了很好的效果.由于本文主要是對復合人臉表情進行識別,對所有表情混合進行識別沒有深入考慮,同時,圖中節(jié)點特征的初始化使用的是詞向量,需要進一步研究是否有更合適的方式,從而更加有效的提升人臉表情識別的準確率.