改進(jìn)多尺度卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別研究

李 軍，李 明

(重慶師范大學(xué) 計(jì)算機(jī)與信息科學(xué)學(xué)院， 重慶 401331)

0 引 言

隨著深度學(xué)習(xí)的快速發(fā)展，人臉表情識(shí)別已經(jīng)成為人機(jī)交互的研究熱點(diǎn)，提高模型的識(shí)別準(zhǔn)確率變得尤為重要。人臉表情是人與人之間信息溝通的有效途徑之一[1],隨著科技的不斷發(fā)展，人臉表情識(shí)別技術(shù)的應(yīng)用領(lǐng)域越來越廣泛。傳統(tǒng)的人臉表情識(shí)別技術(shù)有幾何特征[2]、稀疏表示[3]和局部二值模式[4]。人工智能與大數(shù)據(jù)的發(fā)展，使得神經(jīng)網(wǎng)絡(luò)備受矚目，研究者開始將卷積神經(jīng)網(wǎng)絡(luò)[5]和對(duì)抗神經(jīng)網(wǎng)絡(luò)[6]應(yīng)用于人臉表情識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)是特征提取的有效方法，廣泛應(yīng)用于圖像處理和圖像識(shí)別領(lǐng)域，并取得了一定的成功。之后的發(fā)展是進(jìn)一步改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，從而達(dá)到更好的效果，包括卷積神經(jīng)網(wǎng)絡(luò)與自編碼器結(jié)合[7]和特征融合[8]等。特征融合使特征信息更加豐富，從而增強(qiáng)信息的流通與重利用。多尺度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)使特征信息更加豐富，研究者開始將多尺度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單目深度估計(jì)[9]、圖像增強(qiáng)[10]和人臉識(shí)別領(lǐng)域[11]。

卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像處理，并且取得了較多的研究成果，但是仍然存在信息丟失嚴(yán)重、組件間相對(duì)空間聯(lián)系不密切的問題，造成這些問題的原因是卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的理解粒度太粗，池化操作丟失了一些隱含信息，從而限制了模型的學(xué)習(xí)能力。卷積核能夠理解非常細(xì)微的局部特征，池化操作能夠讓局部特征更加明顯，人臉表情識(shí)別必須突出局部特征來學(xué)習(xí)表情的分類，所以池化操作在人臉表情識(shí)別中是必不可少的一部分。因此，在池化操作的基礎(chǔ)上，必須盡可能地減少信息的丟失，從而優(yōu)化模型。

針對(duì)以上問題，本文提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)模型，首先在多尺度卷積層基礎(chǔ)上再次構(gòu)建多尺度卷積層，幫助模型挖掘出更多潛在的特征信息，每個(gè)卷積層后都有批量歸一化(batch normalization，BN)層，加快網(wǎng)絡(luò)收斂速度，使網(wǎng)絡(luò)更加穩(wěn)定，再通過特征融合促進(jìn)信息的流通和重利用，通過特征的增加來減少池化操作帶來的信息丟失，通過控制卷積核的大小來平衡全局特征與局部特征之間的關(guān)系，從而增強(qiáng)組件間相對(duì)空間的聯(lián)系。為了避免特征圖通道信息冗余，本文在特征融合后的連接壓縮層減少了特征圖的數(shù)量。

1 理論基礎(chǔ)

1.1 卷積核與卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中非常經(jīng)典的模型之一，通常由輸入層、卷積層、池化層、全連接層、輸出層組成。

卷積核是卷積層的重要組成部分，用來提取特征。每個(gè)神經(jīng)元與輸入?yún)^(qū)的某個(gè)特定區(qū)域相連，這種區(qū)域稱為感受野[12]，卷積核的大小與感受野的大小一致。在卷積神經(jīng)網(wǎng)絡(luò)中，小卷積核可以提取細(xì)微的特征，而且計(jì)算量較小，但并不意味著卷積核越小越好，太小的卷積核會(huì)過多提取局部特征，不利于某些模型的訓(xùn)練，忽略了組件之間的相對(duì)空間聯(lián)系，這些都會(huì)導(dǎo)致模型訓(xùn)練準(zhǔn)確率低下。卷積核越大，感受野越大，但是計(jì)算量也會(huì)增大，所以需要找到合適的卷積核應(yīng)用到模型訓(xùn)練中。

池化層能夠使局部特征更加明顯，并減少模型中神經(jīng)元的個(gè)數(shù)[13]，但是池化操作丟失了部分特征信息，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)的泛化性較差。

1.2 多尺度卷積神經(jīng)網(wǎng)絡(luò)

多尺度卷積神經(jīng)網(wǎng)絡(luò)是使用多個(gè)不同尺寸的卷積核對(duì)圖像進(jìn)行卷積，分別進(jìn)行池化操作，再將結(jié)果連接，最后進(jìn)行分類處理，多尺度卷積神經(jīng)網(wǎng)絡(luò)如圖1所示。

圖1 多尺度卷積神經(jīng)網(wǎng)絡(luò)Fig.1 Multi-scale convolutional neural network

多尺度卷積神經(jīng)網(wǎng)絡(luò)通過不同尺寸的卷積核提取特征，可以增加特征圖的數(shù)量，提取的信息更加豐富，訓(xùn)練效果優(yōu)于基準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)，但是存在訓(xùn)練不穩(wěn)定的缺陷，主要原因是組件間相對(duì)空間聯(lián)系不密切和特征利用不夠充分。

2 模型建立

在多尺度卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上再次構(gòu)建神經(jīng)網(wǎng)絡(luò)模型。首先對(duì)輸入圖像進(jìn)行卷積與池化，在每個(gè)卷積層后都添加BN層，能夠使網(wǎng)絡(luò)收斂速度加快，并且使網(wǎng)絡(luò)更加穩(wěn)定。隨后分兩個(gè)階段：階段一，對(duì)池化后的圖像采用較大尺度的卷積核分別進(jìn)行卷積操作，每個(gè)卷積層產(chǎn)生的特征圖再與卷積前的特征圖進(jìn)行特征融合，最后進(jìn)行壓縮與池化處理；階段二，采用較小尺度的卷積核分別進(jìn)行卷積操作，同樣將產(chǎn)生的特征圖與卷積之前的特征圖進(jìn)行融合，最后將特征圖依次連接，經(jīng)過池化處理后，依次傳入全連接層與分類層。模型具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

改進(jìn)的多尺度卷積層：通過兩次不同尺度的卷積神經(jīng)網(wǎng)絡(luò)與特征融合操作不僅可以提取到更加豐富的特征信息，一定程度上也減少了池化操作所丟失的信息，有利于模型學(xué)習(xí)到更多隱藏的信息，能夠平衡全局特征與局部特征之間的關(guān)系。為避免特征信息的冗余，模型增加了壓縮層。

卷積核控制：階段一采用5×5,7×7,9×9,11×11的卷積核進(jìn)行卷積，階段二采用3×3和5×5的卷積核進(jìn)行卷積。階段一采用的卷積核較大，對(duì)應(yīng)的感受野也較大，提取的特征更傾向于全局特征，而階段二采用較小的卷積核，感受野也較小，所以提取的特征更傾向于局部特征。通過階段一與階段二的學(xué)習(xí)，能夠很好地衡量全局特征與局部特征間的關(guān)系。

特征融合：階段一與階段二都實(shí)行了特征融合處理，特征融合能夠促進(jìn)信息的流通和重利用。經(jīng)過特征融合后，階段一和階段二的特征圖數(shù)量分別為96和128。

壓縮層：融合后的特征圖經(jīng)過壓縮處理，可以有效減少特征圖通道信息的冗余。壓縮層采用1×1的卷積核進(jìn)行卷積操作，階段一壓縮后的特征圖數(shù)量為48。

池化層：池化層可以讓特征更加明顯。本文采用最大池化操作，池化區(qū)域?yàn)?×2，步長(zhǎng)為2，池化后的特征圖分辨率變?yōu)樵瓉淼?/2。

Dropout:池化層后采用Dropout操作，防止過擬合，系數(shù)設(shè)為0.7。

BN層：每個(gè)卷積層后都加入了BN層，BN層能夠加快網(wǎng)絡(luò)的收斂速度，并使網(wǎng)絡(luò)更加穩(wěn)定。

具體模型參數(shù)如表1所示。

模型輸入的大小為48×48×1，經(jīng)過一次卷積和池化后大小變?yōu)?4×24×32，經(jīng)過階段一的多尺度卷積后，各通道圖像大小變?yōu)?4×24×64，將卷積前的特征圖與多尺度卷積后的特征圖進(jìn)行融合，圖像大小變?yōu)?4×24×96，經(jīng)過壓縮處理后圖像大小變?yōu)?4×24×48，最后進(jìn)行池化操作來結(jié)束階段一，圖像大小變?yōu)?2×12×48。階段一網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 階段一網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Phase1 network structure diagram

表1 模型參數(shù)

階段一的輸出作為階段二的輸入，采用較小的卷積核進(jìn)行多尺度卷積操作，各通道圖像大小變?yōu)?2×12×80，將階段二的輸入與卷積后的特征圖進(jìn)行融合，圖像大小為12×12×128，最后各通道經(jīng)過總的特征融合后圖像大小變?yōu)?2×12×1 024，經(jīng)過池化操作后，輸出由6×6像素的1 024個(gè)圖像組成，將這些圖像展開為一個(gè)一維向量，長(zhǎng)度為6×6×1 024，這個(gè)向量作為輸入并傳入含有625個(gè)神經(jīng)元的全連接層，最后再傳入輸出層，由含有7個(gè)神經(jīng)元的全連接層組成。階段二網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 階段二網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Phase 2 network structure diagram

3 數(shù)據(jù)集與實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集與預(yù)處理

本文采用的數(shù)據(jù)集有兩種，一種是JAFFE人臉表情數(shù)據(jù)集，有213張圖片，由10名日本女性的正面人臉表情組成，數(shù)據(jù)集有7種表情，分別為憤怒、厭惡、恐懼、高興、悲傷、驚訝、中性，本文將數(shù)據(jù)集裁剪為48×48，采用十折交叉驗(yàn)證，隨機(jī)打亂數(shù)據(jù)，并以9∶1分為訓(xùn)練集和測(cè)試集。數(shù)據(jù)集部分表情如圖5所示。

圖5 JAFFE數(shù)據(jù)集部分表情圖像Fig.5 Some facial expressions in the JAFFE dataset

另一種是FER-2013人臉表情數(shù)據(jù)集，由Kaggle人臉表情識(shí)別挑戰(zhàn)賽提供。由35 887張人臉表情圖片組成，訓(xùn)練集有28 709張，公共測(cè)試集和私有測(cè)試集各有3 589張，本文在私有測(cè)試集上進(jìn)行測(cè)試。數(shù)據(jù)集也有7種表情，分別為憤怒、厭惡、恐懼、高興、悲傷、驚訝、中性。

3.2 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，python編程語言，采用TensorFlow深度學(xué)習(xí)框架，在谷歌提供的Colab平臺(tái)上使用GPU資源進(jìn)行實(shí)驗(yàn)。首先，在JAFFE數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，由于JAFFE數(shù)據(jù)集本身較小，采用較大的批處理樣本數(shù)量使得實(shí)驗(yàn)效果不佳。大量實(shí)驗(yàn)表明，批處理樣本設(shè)為32為最佳。學(xué)習(xí)率的設(shè)定會(huì)對(duì)網(wǎng)絡(luò)的收斂速度和訓(xùn)練結(jié)果產(chǎn)生重要影響，學(xué)習(xí)率設(shè)定過小會(huì)導(dǎo)致收斂過慢，學(xué)習(xí)率設(shè)定過大，會(huì)使代價(jià)函數(shù)振蕩，可能達(dá)不到最小值。大量實(shí)驗(yàn)證明，學(xué)習(xí)率設(shè)為0.001為最佳。經(jīng)過65次迭代訓(xùn)練之后，對(duì)測(cè)試集進(jìn)行測(cè)試，準(zhǔn)確率穩(wěn)定地達(dá)到了95.45%。模型的準(zhǔn)確率和損失趨于穩(wěn)定，證明模型的收斂性較好。在JAFFE測(cè)試集上的準(zhǔn)確率測(cè)試結(jié)果如圖6所示。

本文與文獻(xiàn)[14-17]所采用方法在JAFFE數(shù)據(jù)集上的準(zhǔn)確率測(cè)試對(duì)比如表2所示。文獻(xiàn)[14]通過使用局部Gabor特征的徑向編碼和分類器合成來進(jìn)行面部表情識(shí)別。文獻(xiàn)[15]采用局部有向數(shù)值模式用于面部分析，通過對(duì)面部紋理進(jìn)行編碼，從而具有更好的區(qū)分性。文獻(xiàn)[16]通過多通道的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并進(jìn)行特征融合，豐富了特征信息，從而提高模型的識(shí)別準(zhǔn)確率。文獻(xiàn)[17]將曲波變換和在線順序極限學(xué)習(xí)機(jī)與徑向基進(jìn)行融合從而構(gòu)造出模型。由表2可知，文獻(xiàn)[14-17]的方法準(zhǔn)確率都低于本文方法。

圖6 JAFFE測(cè)試集上的準(zhǔn)確率Fig.6 Accuracy on the JAFFE test set

表2 JAFFE數(shù)據(jù)集上采用的方法以及對(duì)應(yīng)的準(zhǔn)確率

把本文方法在FER-2013數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集較大，經(jīng)過大量實(shí)驗(yàn)表明，批處理樣本設(shè)為128為最佳，學(xué)習(xí)率設(shè)為0.001，經(jīng)過302次迭代訓(xùn)練后，損失趨于穩(wěn)定，準(zhǔn)確率達(dá)到了76.56%，在FER-2013測(cè)試集上的準(zhǔn)確率測(cè)試結(jié)果如圖7所示。

圖7 FER-2013測(cè)試集上的準(zhǔn)確率Fig.7 Accuracy on the FER-2013 test set

本文與文獻(xiàn)[18-21]所采用方法在FER-2013測(cè)試數(shù)據(jù)集上準(zhǔn)確率的對(duì)比如表3所示。文獻(xiàn)[18-21]所采用方法是目前在該數(shù)據(jù)集上效果較好的方法。文獻(xiàn)[18]對(duì)數(shù)據(jù)集進(jìn)行復(fù)雜度分類，從而解決環(huán)境因素所帶來的影響，以此來提高模型的準(zhǔn)確率。文獻(xiàn)[19]將人臉進(jìn)行分割，凸顯出與人臉表情聯(lián)系密切的區(qū)域，從而提高準(zhǔn)確率。文獻(xiàn)[20]通過多尺度卷積神經(jīng)網(wǎng)絡(luò)來提高識(shí)別的準(zhǔn)確率。文獻(xiàn)[21]在Res18殘差網(wǎng)絡(luò)和正則化的基礎(chǔ)上，提出聯(lián)合優(yōu)化策略來提高識(shí)別的準(zhǔn)確率。從表3可知，本文方法的準(zhǔn)確率比文獻(xiàn)[18-21]都高。

表3 FER-2013數(shù)據(jù)集上采用的方法以及對(duì)應(yīng)的準(zhǔn)確率

4 結(jié)束語

本文提出了改進(jìn)的多尺度卷積神經(jīng)網(wǎng)絡(luò)，在原始多尺度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上再次構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，從而提取出更豐富的特征信息，通過特征融合提高了特征信息的重復(fù)利用率；在模型中加入了BN層、壓縮層和Dropout，不僅加快了模型的收斂速度，讓網(wǎng)絡(luò)更加穩(wěn)定，而且也避免了模型的過擬合。實(shí)驗(yàn)證明，本文方法在JAFFE和FER-2013人臉表情數(shù)據(jù)集上識(shí)別的準(zhǔn)確率有所提高，未來可以將數(shù)據(jù)增強(qiáng)方法結(jié)合到模型中，從而提高模型的魯棒性。