權重推斷與標簽平滑的輕量級人臉表情識別

劉 勁，羅曉曙，，徐照興

1.廣西師范大學 電子工程學院，廣西 桂林 541004

2.江西服裝學院 大數據學院，南昌 330000

面部表情是人類傳達情感狀態(tài)和意圖最直接的外部表現之一，賦予機器感知并理解人類的情緒變化，是實現人機交互的重要目標。近年來隨著人工智能的迅速發(fā)展，人臉表情識別（facial expression recognition，FER）在智慧醫(yī)療、疲勞駕駛檢測、社交機器人以及在線課堂教學效果評價等諸多領域有著廣泛的應用前景。但由于人臉表情所特有的復雜性和微妙性，在實際采集表情圖像時，通常會由于表情強度、頭部姿勢、光照變化等因素，造成不同表情樣本之間類內差異大、類間差距小的問題，使模型的識別準確率降低。因此，人臉表情識別仍面臨著巨大挑戰(zhàn)。

傳統(tǒng)的人臉表情識別方法主要依賴人工設計的特征提取器，其一般關注幾何特征和紋理特征，這需要大量的專業(yè)知識，同時模型的泛化能力和魯棒性不足。近些年，隨著深度學習在計算機視覺領域的快速發(fā)展，其被成功地應用在人臉表情識別領域。深度學習通過誤差優(yōu)化算法和梯度反向傳播來進行更新迭代提取特征，這相較于傳統(tǒng)方法可以提取到更深層次、更抽象的特征。但深度學習在使表情識別準確率提升的同時，也會導致參數量和計算量（floating point operations，FLOPs）的急劇增加，影響實際應用。He等人[1]利用恒等映射構造的殘差網絡（residual network，ResNet）通過不斷疊加卷積的層數可以達到152層的深度，其FLOPs達到了11.3×109，而這相較于ResNet-18的FLOPs提升了6.3倍。雖然更大更深的網絡模型效果更好，但是模型運行時對所需要的硬件配置要求也越高，而在實際生產與應用環(huán)境中，設備的配置水平往往受到成本限制，過高的配置需求不利于模型的實際應用。Zhou等人[2]利用多任務級聯卷積神經網絡來完成人臉檢測，并結合殘差模塊和深度可分離卷積模塊，以減少網絡的參數。Kong等人[3]提出了一種基于注意力機制和關鍵區(qū)域融合的輕量級面部表情識別方法，為了降低計算復雜度，使用輕量級卷積神經網絡作為表情分類的基本識別模型，這在一定程度上減少了網絡的計算量。Ni等人[4]提出的多尺度特征融合注意力的輕量級人臉表情識別方法，利用改進的殘差模塊與深度可分離卷積來優(yōu)化網絡參數。可以看出，在人臉表情識別領域除了在繼續(xù)提高識別準確率的同時，也應考慮如何壓縮模型的計算開銷。

1978年，Ekman等人[5]發(fā)表的跨文化研究中首次定義了六種基本面部表情：高興、傷心、生氣、害怕、厭惡和驚訝。兩年后，心理學家Plutchik等人[6]的研究表明：人類的大多數情緒都是由基本面部表情組成。在現實世界中，某一靜態(tài)的人臉表情圖像往往由不同強度的基本情緒組成，有復雜的情感意圖，但表情圖像卻只對應一個標簽。由于這種標簽信息量不足所帶來的模糊性導致的歧義表情，使得表情識別的效果嚴重受限，本文通過標簽平滑（label smoothing，LS）[7]學習來解決單標簽無法有效描述復雜情感傾向的問題，可以進一步提高FER模型的識別性能。此外，標簽平滑還可以緩解由數據集標注者的主觀性所造成的噪聲問題[8]。

根據上述問題的分析，本文提出了一種通過標簽平滑學習緩解歧義表情的輕量級人臉表情識別方法。給定一張人臉表情圖像，本方法首先利用改進后更輕量的ShuffleNet-V2進行人臉表情特征提取，并緩解了ShuffleNet模型中倒轉殘差結構可能導致信息丟失的問題。此外，由于人臉表情是由嘴巴、眼睛等關鍵點的肌肉運動所決定，因此在網絡模型中融入了設計的通道空間關鍵權重推斷模塊，這有利于提高網絡對人臉表情重要特征信息的表征能力，而該過程并不會大量增加模型的計算復雜度。最后，將網絡輸出的硬標簽通過標簽平滑生成軟標簽分布監(jiān)督網絡學習，減少歧義表情的影響，以滿足實際人臉表情識別的需要。實驗結果表明，所提方法在保持較低計算開銷的情況下，在主流數據集上較現有的一些表情識別方法有較好的識別性能提升。

1 模型

1.1 設計輕量化的倒轉殘差結構

傳統(tǒng)的標準卷積既過濾輸入，又將過濾后的輸出進行組合，最終形成一組新的輸出。當大小為K×K的卷積核作用在大小為H×W的輸入特征圖上時，令輸入、輸出的通道數分別為k和N，可得標準卷積的計算量為H×W×k×(K×K×N)。深度可分離卷積將標準卷積分解為一個深度卷積（depthwise convolution）和一個點卷積（pointwise convolution），如圖1所示。深度卷積對每一個通道（深度）分別進行空間卷積，并對輸出進行拼接，完成對輸入特征圖的過濾，其計算量為H×W×k×(K×K×1)。點卷積過程類似于標準卷積，是對每個像素點在不同通道上進行線性組合（信息融合），因此保留了特征圖原有的平面結構、調控深度。相較于深度卷積，點卷積具有改變通道數的能力，具有實現升維或降維的能力，其計算量為H×W×k×(1×1×N)，可得深度可分離卷積總的計算量為H×W×k×(K×K+N)，而這僅為標準卷積計算量的。由此可見，相較于標準卷積，深度可分離卷積能夠大幅度減少計算參數，實現網絡的輕量化。

圖1 標準卷積與深度可分離卷積運算過程Fig.1 Operation process of standard convolution and depth-separable convolution

ShuffleNet網絡[9]通過深度可分離卷積構建倒轉殘差模塊，并堆疊緊湊型算子（如深度卷積）以降低模型計算復雜度，網絡中的倒轉殘差模塊可分為兩種結構，一種是每個階段的第一個DownBlock，由于需要下采樣操作并升維，所以將輸入直接復制為兩份，分別經過Branch1和Branch2后，將提取到的特征沿通道維度連接起來進行合并，然后將合并后的通道以交錯的方式重新排列，這種Channel Shuffle操作實現了兩個分支之間的信息通信。另外一種普通的BasicBlock是將特征映射的通道分為兩部分，一部分保留原始狀態(tài)實現恒等映射，另一部分輸入到特征提取器中，最后將兩分支進行Concat和Channel Shuffle操作，以實現淺層的部分通道周期性地融合到網絡的深層，達到特征重用的效果。圖2是以ShuffleNet中Stage2階段為例繪制的下采樣DownBlock和普通BasicBlock。

圖2 Stage2階段下采樣Block和普通BlockFig.2 Downsampling Block and BasicBlock in Stage2

通常在深度卷積的前或后使用1×1點卷積出于兩種目的，一是融合通道間的特征信息，彌補深度卷積對通道間信息融合功能的缺失；另一種是實現輸出通道數的升維或降維，例如MobileNet中的Inverted Residual模塊。ShuffleNet作為MobileNet的改進版本，在每個Block的Branch2中都使用了兩個1×1點卷積，這對于本文更輕量的人臉表情識別任務來說有些多余，因為此處并沒有升維或者降維的需求，其只是為了融合深度卷積的通道信息，而ShuffleNet提出的Channel Shuffle操作也有利于通道信息的融合，因此這里實際上只需一個1×1卷積就足夠了。為了減少冗余，使模型更加輕量化，本文將圖2中紫紅色虛線框的1×1卷積進行剪裁，以實現Light_ShuffleNet版本。

通過實驗觀察ShuffleNet中的計算量分布，發(fā)現模型中主要的計算量都集中在1×1卷積上，而在深度卷積上的計算量占比很小，這也表明了本文對1×1卷積的剪裁具有實際意義。此外，Peng等人[10]的研究表明，大卷積核對語義信息具有更強的表征能力，因此本文對深度卷積的卷積核進行擴張，這樣既不會引入太多的計算比重，又能提升人臉表情識別效果，將Block中的3×3深度卷積均擴張成5×5深度卷積，以此構成K5_ShuffleNet網絡。為了更好地表現網絡的非線性建模性能，同時防止梯度彌散，減少參數間的依存關系，在倒轉殘差結構中均使用了ReLU激活函數，定義如下：

然而ReLU也有缺陷，對于輸入不大于0的神經元將會永遠被抑制，導致梯度始終為0，使權重無法更新，這會影響整個模型的最終表達。為此，本文將ReLU替換為Mish激活函數：

圖3展示了ReLU與Mish激活函數的對比圖，可以看出，Mish激活函數對負值保留了一定的梯度流，而不像ReLU中的硬零邊界，這有利于特征信息的流動。此外，更重要的是Mish曲線上的每一點都是平滑的，這將允許更好的信息深入神經網絡，從而取得更好的識別準確率和泛化性。

圖3 ReLU與Mish激活函數對比圖Fig.3 Comparison of Relu and Mish activation functions

1.2 關鍵權重推斷模塊的設計

人臉表情識別往往與局部細節(jié)特征有關，例如眉毛、眼睛、嘴巴等部位可以更容易地表現出不同情緒，人眼在識別表情時也往往關注這些區(qū)域。注意力機制作為一種模仿人的認知行為所提出的理論，在計算機視覺領域取得了優(yōu)異的性能。為了進一步豐富骨干網絡的結構，提升其性能，本文依次引入了通道注意力機制和空間注意力機制[11]，實現對不同關鍵區(qū)域的注意權重推斷（attention weight inference for key regions，Key-att），這不僅有利于識別不同表情特征的整體形態(tài)，還可以提高關鍵區(qū)域特征的表征能力，抑制不必要的特征。此外，由于Key-att模塊內部并無大量卷積結構，只有少量的池化層和特征融合操作，這使得該模塊具有較小的參數量和FLOPs，保持了本文模型的輕量化。對于給定的輸入特征圖F∈?C×H×W，Key-att模塊會依次沿著輸入特征的通道和空間維度推斷注意力圖，分別生成一維的通道注意力Mc∈?C×1×1和二維的空間注意力Ms∈?1×H×W，這一過程可以描述為：

式中，?表示對應元素相乘。最后將得到的注意力圖F″與輸入特征圖相乘進行關鍵權重自適應特征優(yōu)化。

1.2.1 通道維度權重推斷

隨著網絡逐層運算的加深，特征圖的通道數會增加，而每個通道對關鍵信息的貢獻是不同的，因此當通道數過多時，將會產生信息冗余，本文首先采用通道注意力模塊解決這一問題，其通過池化層壓縮特征圖的空間維度，進行通道計算，進而篩選出能夠捕獲人臉特征的最佳濾波器。

Ekman等人[5]提出的面部行為編碼系統(tǒng)（facial action coding system，FACS）揭示了面部肌肉塊的運動規(guī)律，FACS將人臉劃分為若干個運動單元（action unit，AU）描述面部局部細節(jié)的信息變化。此前的研究大多偏向采用平均池化作為壓縮和膨脹模塊，在人臉表情識別任務中，不同的面部表情與特定區(qū)域的AUs相關，模型更應該關注與當前表情關聯度最高的局部特征，而平均池化并不能很好地勝任表情特征的提取任務，基于此，本文所設計的Key-att模塊是基于特征圖width和height的最大池化方法，其中通道注意力模塊如圖4所示。

圖4 通道注意力Fig.4 Channel attention module

輸入特征圖F∈?C×H×W,首先通過最大池化方法來聚合特征信息，得到兩個大小為C×1×1的特征圖Fmax，然后將兩個空間描述特征Fmax送入一個權重共享的多層感知機（MLP）中，該共享網絡是由含有一個隱藏層的感知機所構成，輸出層的尺寸仍為C×1×1。將MLP輸出的兩個特征圖進行逐元素求和，再經過Sigmoid激活函數操作，最終生成通道注意力推斷權重Mc∈?C×1×1。將通道特征圖Mc∈?C×1×1與輸入特征圖F∈?C×H×W逐元素相乘，即可得到縮放后的通道細化特征F'∈?C×H×W，該通道細化特征F'將作為空間注意力模塊的輸入特征。

1.2.2 空間維度權重推斷

在人臉表情圖像中，人臉五官的位置具有一定的空間關系，眼睛、嘴巴等關鍵部位可以更容易地區(qū)分不同人臉表情，網絡更應該關注這些重點區(qū)域，而卷積操作對整張圖像的運算卻是一樣的。為了解決該問題，本文在通道注意力的基礎上引入了空間注意力模塊，利用特征間的位置關系突出具有辨別能力的重要局部特征信息，將二者相結合構成的Key-att模塊能夠同時獲得關鍵的通道特征以及特征間的空間關系，最終將得到更加精細化的特征圖，利于人臉表情的識別，圖5展示了空間注意力模塊。

圖5 空間注意力Fig.5 Spatial attention module

首先將經過通道注意力模塊產生的細化特征F'∈?C×H×W饋送至空間注意力模塊，在通道軸上利用最大池化的聚合功能生成一個有效的特征描述符，得到大小為1×H×W的特征圖F'max，將生成的兩個二維特征圖采用通道級聯的方式進行合并得到?2×H×W，然后使用7×7大小的卷積核作用于，降維為單通道，再經過Sigmoid激活函數操作，最終生成二維空間權重推斷系數Ms∈?1×H×W。此后將此二維空間權重推斷系數Ms與輸入的原始特征相乘，得到關鍵區(qū)域的注意力權重推斷特征圖。

1.3 標簽平滑學習

人臉表情圖像的標注往往需要大量的人力物力，且由于人臉表情所特有的復雜性與微妙性，單標簽的靜態(tài)人臉表情圖像往往會導致歧義表情，不利于表情圖像的識別，因此解決表情圖像單標簽信息量不足的問題有助于提高模型的識別準確率。

對于一般圖像識別分類任務而言，其訓練模式基本都遵循如下流程：

步驟1一個深度神經網絡來得到特征向量表示。

步驟2一個Softmax分類器來輸出預測的標簽概率分布p∈(0,1)。給定一張人臉表情圖像x，其groundtruth標簽y∈{ }1,2,…,i，其中i表示表情圖像的類別數，通過深度網絡的全連接層之后會輸出一個當前數據對應于各個類別的置信度分數ωTx，然后將這些分數通過Softmax進行歸一化處理，最終得到表情圖像x屬于類別i的條件概率為：

其中，ωi是第i類的權重向量，K表示總類別數，這些概率之和為1。

步驟3使用交叉熵（cross-entropy loss，CE-Loss）來計算真實標簽與預測值p之間的損失，從而得到優(yōu)化。標準交叉熵損失函數如式（6）所示：

其中，N為樣本數量，qi為真實標簽y，通過one-hot生成的硬標簽，那么qi的分布可以表示為：

訓練神經網絡時，通過誤差反向傳播最小化預測概率和標簽真實概率之間的交叉熵，并更新迭代獲得最優(yōu)的模型參數解。

由于現實世界中樣本標簽的真實分布難以獲得，因此在多數情況下均使用了理想的All in One假設，即樣本屬于且僅屬于某一類。根據公式（6）可以看出，在CE-Loss中只有qi為1的那一維度參與了損失的計算，其他的都被忽略了，這會導致真實標簽與其他標簽之間的關系被忽略，很多有用的知識無法學到。而人臉表情圖像往往是由多種不同強度的基本情緒疊加而成，因此one-hot形式的交叉熵并不利于人臉表情的識別，在面對容易混淆的分類任務、標簽有噪聲的人臉表情數據集時，模型更容易受到影響。為了彌補表情圖像單標簽信息量不足所導致的歧義表情問題，本文利用了標簽平滑學習（LS）方法[7]來監(jiān)督網絡的學習。LS沒有使用硬標簽進行模型訓練，而是使用通過均勻分布平滑硬標簽而生成的軟標簽分布。具體而言，圖像x是軟標簽中類別i的概率分布可表示為：

其中，ε表示平滑系數，實驗中設置為0.1。標簽平滑學習將均勻分布與原始硬標簽相結合，賦予非目標類別一定的置信度，使模型預測的所有標簽分數都是激活的，彌補了分類時監(jiān)督信號不足的問題，增加了信息量，由此在反向傳播過程中模型不僅可以學習如何增加正確標簽的分數，也可以學習如何減少不正確標簽的分數，有助于更好地描繪復雜的情感傾向，將經過標簽平滑后的軟標簽計算的交叉熵記為，重新定義模型的損失函數如下式：

1.4 改進的輕量化ShuffleNet模型人臉表情識別方法

本文提出了一種基于標簽平滑學習的輕量級人臉表情識別方法，網絡框架如圖6所示。將輸入的人臉表情圖像送入本文所改進的輕量化ShuffleNet網絡提取特征后進行分類，通過分析原始ShuffleNet網絡的計算量分布，將Stage2、Stage3和Stage4中的Block替換成本文所設計的K5_Light_ShuffleNet版本，對1×1點卷積的裁剪不僅可以降低模型的計算復雜度，而且在實驗過程中發(fā)現并沒有對表情識別精度產生明顯的影響，此外使用的大卷積核可以獲得更大的感受野，提取到更好的全局特征，搭配Mish激活函數的使用也保證了特征信息的流動。隨著網絡深度的加深，特征圖的空間大小將縮小，通道數翻倍，由于Key-att模塊是對空間和通道兩個維度推斷注意力，過淺或過深的網絡不利于Key-att模塊的學習，此外為盡可能減少對模型引入額外的計算，本文只在Stage3后融入了設計的Key-att模塊提取關鍵的局部特征。最后為緩解單標簽信息量不足所導致的歧義表情問題，利用標簽平滑監(jiān)督網絡學習最優(yōu)參數解，而這一過程并不需要引入額外的信息。

圖6 本文人臉表情識別網絡結構圖Fig.6 Expression recognition network structure

所提網絡結構的詳細參數信息及參數量和FLOPs如表1所示。網絡輸入的RGB圖片大小為224×224，通過一系列卷積操作提取特征，并統(tǒng)計相對應的參數量和FLOPs。Stage2、Stage3和Stage4中的第一個DownBlock主要用于下采樣升維，并進行Channel Shuffle操作實現不同特征組內的通道信息融合，其余BasicBlock主要采用恒等映射實現淺層特征的重用。經過Conv5之后達到了1 024個通道數，最終經過全局平均池化（global average pooling，GAP）和全連接層得到七分類人臉表情輸出。從表中可以看出，最終本文方法總的參數量和FLOPs分別為9.5×105和1.08×108。而本文所設計的Key-att模塊的參數量和FLOPs也均保持在較低水平，分別為1.3×104和6×104，這僅占網絡整體的1.4%和0.06%，表明了其輕量性。

表1 網絡結構參數及其計算復雜度Table 1 Network structure parameters and their computational complexity

2 實驗

2.1 數據集介紹

為了驗證本文所提方法的有效性，選擇公開的realworld affective faces database（RAF-DB）[12]數據集和AffectNet[13]數據集進行實驗驗證。

RAF-DB數據集是源自真實世界人臉情感數據庫，共有快樂、憤怒、驚訝、厭惡、悲傷、恐懼、中立七種表情圖像15 339張，每張圖像均由40人獨立標注，分為12 271張訓練集和3 068張測試集。這些表情圖像存在著年齡、遮擋、姿態(tài)等不同方面的影響，復合了現實生活中表情圖像的特征，具有較大的差異性與實際應用價值。

AffectNet是迄今為止最大的公開野外人臉表情數據集，包含超過100萬張來自互聯網的面部圖片，這些圖片通過不同的搜索引擎檢索情感標簽獲得，選擇標注了6種基本表情（快樂、憤怒、驚訝、厭惡、悲傷、恐懼）和自然表情的表情圖像進行AffectNet-7實驗，通過在AffectNet-7數據集的基礎上增加蔑視表情，得到共有八種類別表情標簽的AffectNet-8數據集。

2.2 實驗環(huán)境

本文實驗均在Ubuntu 16.04系統(tǒng)下完成，采用深度學習框架PyTorch 1.9和解釋器Python 3.9來編寫程序，硬件平臺：CPU為英特爾E5-2637 v4，GPU為NVIDIA GeForce GTX 1080Ti，顯存大小為11 GB，加速庫為CUDA 10.2。

在真實場景采集的人臉表情圖像不僅包含人臉，還包括姿態(tài)、背景等干擾因素，同時要保證人臉位置、尺寸的一致性，因此使用了Retinaface算法[14]對人臉進行檢測與對齊，并調整到224×224像素大小。在RAF-DB和AffectNet數據集上的參數設置如表2所示。

實驗時采用隨機梯度下降法（stochastic gradient descent，SGD）優(yōu)化損失函數，當損失值接近全局最小時，學習率應變小使模型盡可能收斂于該點，而余弦退火策略（cosine annealing）通過余弦函數來降低學習率滿足這一特性，可以表示如下：

式中，t代表當前批次，T表示總迭代次數，ηmax和ηmin表示學習率的范圍，實驗時分別取1和0.01。

2.3 實驗結果

為了驗證本文所提方法的可靠性并衡量模型的計算復雜度，以ShuffleNet-V2作為主干網絡，使用本文所設計的K5_Light_ShuffleNet模塊替換原始的倒轉殘差結構，并在Stage3階段后嵌入所設計的Key-att模塊，引入標簽平滑學習，在大規(guī)模人臉表情數據集RAF-DB和AffectNet上進行實驗驗證，并就識別準確率與計算復雜度同其他方法進行了比較。

2.3.1 RAF-DB實驗結果

圖7展示了在RAF-DB數據集上的訓練與測試的準確率曲線、損失函數曲線以及學習率曲線，為了在同一坐標系下清晰顯示，將損失曲線放大10倍，學習率曲線放大2 000倍。從圖中可以看出，最終訓練集與測試集的損失值相差不大，這得益于標簽平滑學習，避免了模型的過擬合，模型最終在RAF-DB數據集上的識別準確率達到了86.91%。

圖7 RAF-DB訓練曲線Fig.7 RAF-DB training curve

評價深度學習模型的優(yōu)劣不應只對比識別準確率等結果指標，還應兼顧模型的參數規(guī)模等性能指標，在RAF-DB數據集上與近年來優(yōu)秀的公開方法就識別準確率、參數量以及FLOPs進行了比較，由于部分對比模型中并未提及模型的性能指標，因此本文對這些方法按照原論文中的設置進行了復現，如表3所示。在參數量方面，本文方法的參數量僅為9.5×105，這遠低于pACNN方法和gACNN方法，并且相較于參數量較小的Separate loss、RAN、SCN以及DDAloss方法，本文方法的參數量也不到其十分之一，較大地壓縮了模型的參數量。在浮點運算數方面，本文方法的FLOPs為1.08×108，相較于pACNN和gACNN方法壓縮了約99.30%的計算量，相較于Separate Loss和SCN方法也壓縮了94.05%的計算量，這也遠低于近期提出的MFN方法，本文模型具有較低的復雜度。在準確率方面，相較于近期提出的MFN方法，本文的準確率提升了1.52個百分點，相較于pACNN、Separate Loss和gACNN，本文模型的識別準確率也分別提升了3.86、0.53和1.84個百分點。由于數據集中的標簽可能存在標注錯誤，Li等人[15]提出了自治愈網絡SCN，通過正則化排序和重新標簽等操作糾正網絡的學習，在RAF-DB數據集上取得了87.03%的準確率，比本文高出了0.12個百分點，但本文的參數量和FLOPs分別壓縮了12倍和17倍，驗證了本文方法的有效性。MFN+方法是在MFN方法的基礎上取剪枝通道的60%作為剪枝百分比所得到的結果，能夠較好地壓縮模型的參數量和FLOPs，但最終的識別準確率受到一定影響。LA-Net通過將壓縮和激勵模塊與卷積神經網絡相結合，在RAF-DB數據集上取得了87.00%的準確率，但該模塊會引入大量的計算參數，不利于模型的輕量化。LA-Net+方法是對LA-Net取剪枝通道的70%作為剪枝百分比所得到的結果，剪枝后的模型具有較小的計算復雜度，但此時的識別準確率不及本文?？梢钥闯?，本文方法在保持較低參數量與FLOPs的前提下，同時具有較好的識別準確率，這有利于本文模型在實際生產中的應用。

表3 RAF-DB數據集上不同方法的性能比較Table 3 Performance comparison of different methods on RAF-DB dataset

2.3.2 AffectNet實驗結果

圖8展示了在AffectNet-7數據集上的訓練與測試的準確率曲線、損失函數曲線以及學習率曲線，與RAF-DB實驗一樣，將損失曲線和學習率曲線作同樣的放大的處理。從圖中可以看出，在訓練到第30輪左右時，模型已基本收斂，具有較快的擬合速度并穩(wěn)定收斂，這也有利于模型在實際嵌入式設備上的運行，模型最終在大規(guī)模表情數據集AffectNet-7上的識別準確率達到了61.80%。

圖8 AffectNet-7訓練曲線Fig.8 AffectNet-7 training curve

為了驗證本文方法在AffectNet-7數據集上的可靠性及其計算復雜度，與近年來其他方法進行對比，對比情況如表4。在參數量方面，本文方法僅為pACNN方法的0.7%，相較于其他方法，本文方法的參數量僅為其0.70%～8.49%，本文的參數量保持在較低水平。在浮點運算數方面，相較于MFN方法，本文方法壓縮了99.36%的計算量，該壓縮量與pACNN和gACNN方法相比近似，相較于其他幾種方法，本文方法也壓縮了94.05%的計算量。在準確率方面，相較于近期提出的SCN和MFN方法，本文的識別準確率分別提升了1.57和2.99個百分點，相較于pACNN、Separate loss和gACNN方法，本文的準確率也分別提升了6.47、2.91和3.02個百分點，盡管本文的識別準確率不及DDA loss，但在參數量上DDA Loss方法為本文的11.7倍，在FLOPs上為本文的16.7倍，這不利于模型在性能較低的嵌入式設備上運行。綜合來看，本文方法在有效降低模型計算復雜度的同時能保持較高水平的表情識別效果，驗證了本文方法的有效性與實用性。

表4 AffectNet-7數據集上不同方法的性能比較Table 4 Performance comparison of different methods on Affectnet-7 dataset

同時，為了進一步驗證本文方法在含有8類情感標簽數據集AffectNet-8上的有效性，并評估其參數量和FLOPs，與其他方法進行了對比分析，如表5所示，本文方法在AffectNet-8數據集上取得了58.75%的準確率。在參數量方面，相較于Weighted loss、VGG variant和RAN方法，本文方法的參數量分別壓縮了98.4%、85.48%和91.6%。在浮點運算數方面，Weighted loss方法的FLOPs約為本文方法的6 500倍，RAN和ESR-9方法分別為本文的134倍和10倍。在識別準確率方面，相較于Weighted loss、VGG variant和MobileNet variant方法，本文分別提升了0.75、0.75和2.75個百分點的準確率。區(qū)域注意網絡（RAN）首先通過FC層粗略計算自身各區(qū)域的重要性，然后對區(qū)域特征與聚合內容表示之間的關系進行建模，生成更準確的注意權重，該方法在AffectNet-8數據集上達到了59.50%的準確率，盡管本文方法的識別準確率不及RAN方法，但本文方法的參數量和FLOPs均優(yōu)于該方法。MobileNet作為經典的輕量化模型，MobileNet variant方法通過優(yōu)化MobileNet模型達到了較低的計算復雜度，但其識別準確率比本文低了2.75個百分點。可以看出，本文方法在保持較低參數量和FLOPs的前提下，在八分類數據集AffectNet-8數據集上仍取得了不錯的表現。

表5 AffectNet-8數據集上不同方法的性能比較Table 5 Performance comparison of different methods on AffectNet-8 dataset

2.4 實驗分析

為了更精準探究模型對各類表情的識別性能，在RAF-DB和AffectNet數據集上根據最終模型訓練結果在測試集上生成混淆矩陣進行分析，分別如表6和表7所示，主對角線上表示各類表情的識別精度，其余表示被誤分為其他表情的比例。由表6和表7可知，在兩個數據集上對高興的識別準確率最高，分別達到了95%和82%，這是因為高興表情往往具有嘴角上揚、眼角有紋路等易于識別的顯著特征，在七種表情中最易識別，此外，高興表情的樣本數量在兩個數據集中的占比數量都最大，利于模型的學習。對于RAF-DB數據集，中立、悲傷、驚訝和憤怒表情也都取得了較高的識別準確率，具有不錯的分類能力。驚訝表情具有嘴巴張開、眼睛睜大等特征，而恐懼表情中也存在嘴巴張開的AU運動，但其動作幅度更大，這使得恐懼表情較易與驚訝混淆。由于厭惡和悲傷表情都具有皺眉、額頭緊皺等相同特征，這使得厭惡容易與悲傷混淆。相比于RAF-DB數據集，AffectNet數據集中的恐懼、憤怒等消極表情識別準確率較低，這幾類消極類別的表情本身具有較強的相似性，面部關鍵點通常只有細微的變化，大都具有嘴角向下、眉頭緊鎖等特征，人眼也難以完全準確區(qū)分，給識別工作帶來了一定的難度。此外，由于AffectNet數據集中的樣本圖像來自于互聯網，樣本數量較大，包含的錯誤樣本也多，導致整體表情識別準確率相比于RAF-DB數據集偏低。

表6 RAF-DB數據集混淆矩陣Table 6 RAF-DB dataset confusion matrix

表7 AffectNet-7數據集混淆矩陣Table 7 AffectNet-7 dataset confusion matrix

最后，為了驗證本文所提不同模塊對人臉表情識別的有效性并衡量模型計算復雜度，以RAF-DB數據集為例，將輕量級網絡ShuffleNet作為基線（Baseline），依次加入改進后的K5_Light_ShuffleNet模塊和通道空間關鍵權重推斷模塊（Key-att），并引入標簽平滑學習（LS）進行了消融實驗，實驗結果如表8所示。

表8 網絡不同模塊的性能對比Table 8 Performance comparison of different modules of the network

從表8可以看出，通過將原始ShuffleNet進行適當的剪裁，得到更輕量的Light_ShuffleNet版本，雖然模型的識別準確率有小幅下降（約0.12個百分點），但網絡的參數量和FLOPs相較于原始網絡分別減少了3.4×105和4.1×107，降低了模型的參數冗余，使模型更加緊湊，利于其輕量化；在此基礎上，對深度卷積的卷積核進行擴增，以增強模型對語義信息的表征能力，在參數量增加4×104和FLOPs增加7.36×106的情況下，識別準確率相較于Light_ShuffleNet版本提高了0.98個百分點，而得到的K5_Light_ShuffleNet版本相較于原始ShuffleNet無論在參數量和FLOPs上，還是在識別準確率上都更具有優(yōu)勢；本文所設計的基于最大池化的通道空間關鍵權重推斷模塊可以使網絡更加關注與當前表情關聯度較高的局部特征，在參數量增加1×104和FLOPs增加6×104的情況下，相較于基線網絡有1.60個百分點的識別準確率提升；標簽平滑學習有利于減少歧義表情的影響，而這并不會引入額外的參數量和FLOPs，模型最終達到了86.91%的準確率，現實世界中的人臉表情圖像往往具有復雜的情感意圖，標簽平滑學習通過軟標簽監(jiān)督網絡的學習，來減少歧義表情的不確定性，這有利于緩解單標簽所帶來信息量不足的問題?？梢姳疚乃氲母鱾€模塊對原始網絡都是有效的，并且能夠共同促進模型性能的提高。

3 結束語

人臉表情識別在諸多領域有著廣泛的應用，但在實際生產環(huán)境中，過于復雜的網絡模型不利于在配置受限的設備上運行。因此，本文提出了一種基于標簽平滑學習的輕量級人臉表情識別方法。本文方法從特征提取的角度，對傳統(tǒng)的ShuffleNet網絡模型作出改進，這不僅可以進一步壓縮模型的計算復雜度，而且還有利于增強模型的性能；設計的基于最大池化的通道空間關鍵權重推斷模塊，也有利于強化模型對人臉表情圖像中局部細節(jié)的特征提取能力。在訓練策略上，通過標簽平滑學習，利用軟標簽監(jiān)督網絡的學習來解決單標簽信息量不足所導致的歧義表情問題，而這一過程并不會增加模型的計算復雜度，也不需要額外的信息。最后，本文分別在RAF-DB和AffectNet數據集上作了對比實驗，實驗結果表明，本方法在保持較低參數量和FLOPs的前提下，仍具有較高的識別精度，具備較強的實用性。

深度學習模型在人臉表情識別研究中往往需要大量的標注數據，這不僅會產生昂貴的標注成本，而且可能會引入主觀因素的標簽噪聲。因此在接下來的工作中，將研究如何進行半監(jiān)督或無監(jiān)督學習的人臉表情識別。