基于改進GhostNet模型的表情識別研究

張文海，陳春玲

(南京郵電大學(xué) 計算機學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院，江蘇 南京 210023)

0 引 言

通過深度學(xué)習(xí)方法提取表情特征信息是目前最廣泛使用且有效的方法[1]，但隨著深度神經(jīng)網(wǎng)絡(luò)模型的不斷發(fā)展，網(wǎng)絡(luò)模型越來越復(fù)雜，參數(shù)和計算量不斷變大，導(dǎo)致模型的使用只能在特定的應(yīng)用場合，很難應(yīng)用到移動設(shè)備和嵌入式設(shè)備上。為解決這個問題，Howard等于2017年提出MobileNet[2]模型，通過將一個標(biāo)準(zhǔn)卷積拆分成逐通道卷積和逐點卷積的方法大幅減少了計算量；Sandler等提出倒殘差模塊和線性瓶頸層，并以此設(shè)計了MobileNet V2模型[3]；2019年，Howard等提出MobileNet V3模型[4]，在倒殘差模塊中引入了SE注意力機制，并修改MobileNet V2中計算量偏大的開頭和結(jié)尾兩層，該模型在分類和檢測等任務(wù)上準(zhǔn)確率和速度都優(yōu)于前幾版；2020年，針對生成的特征圖中存在大量的冗余信息，Han等提出GhostNet模型[5]，使用恒等映射的方式直接生成這些冗余的特征圖，大幅減少了參數(shù)量和計算量。但這些模型當(dāng)中，即便是最小的圖像輸入分辨率也是96×96，而人臉表情識別任務(wù)則可以使用更低的分辨率。

目前卷積神經(jīng)網(wǎng)絡(luò)大都采用Softmax交叉熵?fù)p失函數(shù)來優(yōu)化類間的特征差異，并未考慮到人臉表情信息中類內(nèi)的特征差異。為解決這個問題，Wen等提出中心損失函數(shù)[6]，使樣本均勻分布于類中心周圍，減小類內(nèi)差異；Cai等在中心損失函數(shù)的基礎(chǔ)上提出Island損失函數(shù)[7]，優(yōu)化類中心的位置，增大類間差異。事實上，基于Softmax交叉熵?fù)p失函數(shù)改進得到的各種損失函數(shù)都是在做減小類間相似性、增大類內(nèi)相似性的工作。但是這樣的優(yōu)化方式將正負(fù)樣本都以相同方式優(yōu)化，不夠靈活，于是Sun等提出Circle損失函數(shù)[8]，引入相似性權(quán)重因子，對類內(nèi)相似性和類間相似性給予不同的懲罰強度，從而使優(yōu)化更加靈活。

基于上述內(nèi)容，該文主要工作有以下兩點：

(1)針對現(xiàn)有的輕量級神經(jīng)網(wǎng)絡(luò)的缺點和表情數(shù)據(jù)的特點，提出一個輸入圖像分辨率為48×48的改進GhostNet模型——M-GhostNet。該模型不僅大幅減少了參數(shù)和計算量，并且更加符合人臉表情識別任務(wù)的特點，更加符合移動端和嵌入式設(shè)備的使用場景。在FERplus數(shù)據(jù)集[9]上取得了較高的識別準(zhǔn)確率和識別速度。

(2)針對Softmax交叉熵?fù)p失函數(shù)不能壓縮類內(nèi)空間，優(yōu)化不靈活等問題，結(jié)合Circle損失函數(shù)和Island損失函數(shù)，提出基于余弦相似性的損失函數(shù)，在FERplus數(shù)據(jù)集上獲得了不錯的效果。

1 改進的GhostNet網(wǎng)絡(luò)模型

1.1 Ghost模塊

文獻[5]對ResNet50的某層輸出進行可視化分析，發(fā)現(xiàn)訓(xùn)練過程中的特征圖中存在著大量重復(fù)、冗余的特征圖。因此可以定義其中一張?zhí)卣鲌D為本征圖，與其相似的特征圖則可以被定義為Ghost圖。既然Ghost圖與本征圖相似，那么就不需要使用占用內(nèi)存多，計算復(fù)雜等高成本的卷積操作，直接使用低成本的線性變換或者其他廉價的操作得到。

圖1(a)是常規(guī)卷積操作，圖1(b)是Ghost模塊的具體操作?？梢钥闯鯣host模塊主要由三部分組成：第一步，將輸入圖像通過常規(guī)卷積得到本征圖；第二步，對本征圖做線性變換或其他廉價操作生成Ghost圖；第三步，將本征圖與Ghost圖拼接作為輸出。假設(shè)每張本征圖都存在著與之對應(yīng)的s張Ghost圖，這s張Ghost圖僅需通過線性變換方式獲得，那么從整體上來看，Ghost模塊相較于常規(guī)卷積操作會減少大約s倍的參數(shù)量和計算量。

圖1 常規(guī)卷積和Ghost模塊

1.2 改進的GhostNet模型

ReLU激活函數(shù)憑借著其低計算復(fù)雜度和快速的收斂效果，成為大部分卷積神經(jīng)網(wǎng)絡(luò)模型首選的激活函數(shù)，GhostNet也不例外。但是其函數(shù)曲線不平滑，并且在模型訓(xùn)練的時候，容易導(dǎo)致部分神經(jīng)元“壞死”。所以在改進的GhostNet中摒棄了ReLU函數(shù)，改用函數(shù)曲線更為平滑，可以保留部分負(fù)值信息的Mish函數(shù)[10]。Mish函數(shù)表達式為：

Mish(x)=x·tanh(ln(1+ex))

(1)

Mish函數(shù)性質(zhì)同ReLU函數(shù)一樣無上界，有下界，但是Mish函數(shù)保留了少量的負(fù)值信息，避免了ReLU函數(shù)可能產(chǎn)生的Dying ReLU現(xiàn)象，即部分神經(jīng)元在反向傳播時可能不起作用的現(xiàn)象[11]。并且Mish函數(shù)更為平滑，這樣隨著網(wǎng)絡(luò)的深度增加，樣本的信息也能傳遞到更深的網(wǎng)絡(luò)層中，整個模型更加容易優(yōu)化，最終的模型也能有更好的泛化效果。

參照ResNet中的殘差結(jié)構(gòu)[12]，使用Ghost模塊，可以堆疊出Ghost瓶頸層。使用Mish函數(shù)作為新的激活函數(shù)的改進Ghost瓶頸層結(jié)構(gòu)如圖2所示。

圖2 改進Ghost瓶頸層

結(jié)合人臉表情數(shù)據(jù)的特性，在保持高準(zhǔn)確率的前提下，盡可能地減少網(wǎng)絡(luò)模型的參數(shù)量和計算量，該文設(shè)計出一個基于改進Ghost瓶頸層，輸入尺寸為48×48×3，適用于七分類表情識別任務(wù)的改進GhostNet網(wǎng)絡(luò)模型M-GhostNet，其詳細網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 M-GhostNet網(wǎng)絡(luò)結(jié)構(gòu)

其中#exp表示改進Ghost瓶頸層中經(jīng)過第一個Ghost模塊處理過后的通道數(shù)，#out表示該層輸出的通道數(shù)，SE為1表示該層使用了注意力機制，Stride表示步長。采用Mish函數(shù)作為每層的激活函數(shù)。

經(jīng)過理論和實驗驗證，M-GhostNet的參數(shù)量和計算量比MobileNet V2、MobileNet V3和GhostNet有著大幅的降低，并且在表情識別任務(wù)上保持著較高的準(zhǔn)確率。具體參數(shù)量和計算量的對比見表2。

表2 模型參數(shù)量、FLOPs對比

可以看出，M-GhostNet的參數(shù)量比MobileNet V2和GhostNet減少90%左右，比Mobile V3減少80%左右。浮點運算量比MobileNet V3少了62%左右，比GhostNet少了90%左右，比MobileNet V2更是少了93%左右。

2 基于余弦相似性的損失函數(shù)

2.1 Softmax交叉熵?fù)p失函數(shù)

Softmax交叉熵?fù)p失函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)常用的損失函數(shù)。在一個擁有N個嵌入式表示實例集合的分類任務(wù)中，xi是神經(jīng)網(wǎng)絡(luò)全連接層輸出的第i個樣本的特征向量，wj、bj是第j類對應(yīng)的全連接層的權(quán)重和偏置。Softmax交叉熵?fù)p失函數(shù)的計算公式為：

(2)

2.2 Island損失函數(shù)

Island損失函數(shù)是基于中心損失函數(shù)改進得來的，中心損失函數(shù)的計算公式為：

(3)

其中，ci是第i類的中心，λ用于調(diào)節(jié)兩項的比例。但是由于中心損失函數(shù)只考慮到了樣本向其類中心分布，縮小了類內(nèi)的差異，沒有考慮類間的差異，故Island損失函數(shù)在式(5)的基礎(chǔ)上優(yōu)化了類中心之間的歐氏距離，計算公式為：

(4)

其中，λ1超參數(shù)用于調(diào)節(jié)新增項和中心損失函數(shù)的比例。式(4)中的尾項懲罰了類與類之間的相似性，從而增大了類間距離。

2.3 基于余弦相似性的Island損失函數(shù)

雖然Island損失函數(shù)可以很好地增加類間距離，縮小類內(nèi)距離，但由于Softmax交叉熵?fù)p失函數(shù)本身并不能減少類內(nèi)差異性，所以Island損失函數(shù)的性能依舊受限于Softmax交叉熵?fù)p失函數(shù)，影響最終分類的準(zhǔn)確率。大部分以Softmax交叉熵?fù)p失函數(shù)為基礎(chǔ)的一系列改進的損失函數(shù)，比如：Triplet損失函數(shù)[13]、AM-Softmax損失函數(shù)[14]等，本質(zhì)上都是在最大化類內(nèi)相似度sp，最小化類間相似度sn，即優(yōu)化式(5)：

min(sn-sp)

(5)

如果直接優(yōu)化sn-sp，那么網(wǎng)絡(luò)模型最終將收斂并得到這樣一個決策邊界：

sn-sp=margin

(6)

這些損失函數(shù)在優(yōu)化的時候會對sn、sp做相同力度的懲罰。比如，當(dāng)sn已經(jīng)是一個十分小的值，但sp卻是一個相對較大的值時，雖然此時模型已經(jīng)可以很好地聚合相同的類，但由于sp是個較大值，需要受到一個較大的懲罰力度，而sn卻因此也需要受到相同的懲罰力度，這顯然是不合適的。

鑒于該問題，引入兩個獨立的非負(fù)權(quán)重參數(shù)αn、αp，分別控制sn、sp以不同的速率進行優(yōu)化。又因為sn、sp分開進行優(yōu)化，邊界值margin不再是它們共同的邊界值，所以需要為它們引入兩個不同的邊界值，類間邊界值Δn和類內(nèi)邊界值Δp，則新的決策邊界為：

αn(sn-Δn)-αp(sp-Δp)=0

(7)

(8)

(9)

其中，[·]+表示取非負(fù)數(shù)操作。將式(7)與式(9)結(jié)合，可以得到新的決策邊界：

(10)

為了簡化參數(shù)，可以設(shè)Op=1+m，On=-m，Δp=1-m，Δn=m，這樣新的決策邊界就變成：

(11)

綜上，最終的Circle損失函數(shù)可以表示為：

(12)

該文提出的基于余弦相似性的損失函數(shù)的中心思想就是使用Circle損失函數(shù)替換Island損失函數(shù)中的Softmax函數(shù)，新的計算公式可以表示為：

(13)

新的損失函數(shù)不僅彌補了Softmax交叉熵?fù)p失函數(shù)無法更好地聚合同類樣本的缺陷，而且可以讓各類樣本更加靈活地朝著更加合適方向收斂。同時，第二項可以約束每個樣本分布在其類中心周圍，緩解類內(nèi)差異，增大類間差異。

圖3是Softmax交叉熵?fù)p失函數(shù)、AM-Softmax損失函數(shù)和基于余弦相似性的損失函數(shù)在某一分類任務(wù)中類xi的決策邊界。

圖3 Softmax、AM-Softmax和基于余弦相似性損失函數(shù)的決策邊界

如圖3(a)所示，Softmax交叉熵?fù)p失函數(shù)的決策邊距為0，并不能更好地區(qū)分類與類，減少類內(nèi)的差異性。圖3(b)中AM-Softmax損失函數(shù)引入了余弦距離margin，可以更好區(qū)分類，并壓縮類內(nèi)空間。圖3(c)中基于余弦相似性的損失函數(shù)的決策邊距則與超參數(shù)m相關(guān)，由式(12)可以得出，當(dāng)m≤0.5時，兩個類之間就不會相交，當(dāng)m越來越小時，兩個類的決策邊距也就越來越大，從而更好地放大類間距離，壓縮類內(nèi)空間。由于圖3(c)是圓形邊界，樣本在收斂過程會比圖3(b)擁有更明確的收斂方向。實驗中m取值0.35，縮放因子γ取值2，Island損失函數(shù)的超參數(shù)λ、λ1分別設(shè)置為0.01和10。

特別地，當(dāng)K=1時，即樣本中只有一個正樣本，其余均為負(fù)樣本，基于余弦相似性的Island損失函數(shù)就退化成了文獻[15]中的基于余弦距離的損失函數(shù)。

3 實 驗

3.1 實驗環(huán)境與設(shè)置

實驗以TensorFlow 2.4框架為基礎(chǔ)，編程語言為Python 3.7。實驗訓(xùn)練都在GPU上進行，GPU的型號為Nvidia GeForce RTX 2060，6 GB顯存。實驗中采取SGD優(yōu)化器，動量為0.9，學(xué)習(xí)率初始設(shè)置為0.01，隨著訓(xùn)練輪數(shù)的增加，通過余弦退火策略降低學(xué)習(xí)率[16]。實驗?zāi)Ｐ驮跀?shù)據(jù)集上訓(xùn)練100輪。批大小為16。對輸入的圖片在歸一化的前提下，進行隨機旋轉(zhuǎn)30度、上下左右移動、縮放和剪切等數(shù)據(jù)增強手段處理[17]。

該文所涉及的方法分別在FERplus數(shù)據(jù)集上進行七分類對比實驗。FERplus數(shù)據(jù)集是針對FER2013數(shù)據(jù)集中數(shù)據(jù)標(biāo)注錯誤和冗余等問題而重新標(biāo)注的數(shù)據(jù)集[18]。原數(shù)據(jù)集總共有十類表情，而實驗選取七類，去除掉“輕蔑”、“未知”和“非人臉”三個標(biāo)簽，總共35 493張圖片。然后按照8∶1∶1的比例將數(shù)據(jù)隨機拆分為訓(xùn)練集、驗證集和測試集。訓(xùn)練好的模型用測試集來測試識別準(zhǔn)確率。

3.2 實驗結(jié)果與分析

文中模型與其他算法模型在FERplus數(shù)據(jù)集上的對比實驗結(jié)果如表3所示，損失函數(shù)為Softmax，×表示模型的縮放因子，每個模型的縮放因子設(shè)置參考了文獻[5]的分類實驗設(shè)置。

表3 各模型在FERplus數(shù)據(jù)集上的準(zhǔn)確率

從表3可以看出，使用了Mish激活函數(shù)替換ReLU激活函數(shù)的M-GhostNet，在參數(shù)和計算量均少于GhostNet、MobileNet V2和MobileNet V3的前提下，依舊保持了較高的準(zhǔn)確率，比GhostNet高了1.008%，比MobileNet V2高了7.628%，比MobileNet V3高了0.614%，可以看出選用Mish函數(shù)能夠在表情分類任務(wù)中提高識別準(zhǔn)確率。

為了控制變量，損失函數(shù)的對比實驗均使用M-GhostNet模型，在FERplus數(shù)據(jù)集上進行。其中AM-Softmax的超參數(shù)margin設(shè)置為0.35。

從表4可以看出，基于余弦相似度的損失函數(shù)比傳統(tǒng)的Softmax交叉熵?fù)p失函數(shù)準(zhǔn)確率高了3.222%，比Island損失函數(shù)高了2.431%，比AM-Softmax損失函數(shù)高了2.177%，比Circle損失函數(shù)高了0.904%，比基于余弦距離的損失函數(shù)高了0.512%。實驗結(jié)果表明基于余弦相似性的損失函數(shù)可以學(xué)習(xí)到更具有區(qū)分力度的表情特征，更好地區(qū)分類，提高表情識別任務(wù)的準(zhǔn)確率。

表4 各損失函數(shù)在FERplus數(shù)據(jù)集上的準(zhǔn)確率

表5是各模型預(yù)測一張圖片所需時間對比，模型均運行在CPU上，CPU型號為Intel Core i7-9750H 2.60 GHz?？梢钥闯龈倪MGhostNet模型預(yù)測所需時間更少，從而可以得出預(yù)測速度更快、實時性更好。

表5 各模型預(yù)測所需時間對比

4 結(jié)束語

該文設(shè)計了一種基于改進的GhostNet神經(jīng)網(wǎng)絡(luò)模型，用于人臉表情的特征提取和分類任務(wù)。該模型不僅擁有輕量級網(wǎng)絡(luò)的參數(shù)少、計算復(fù)雜度低、訓(xùn)練快等特性，還解決了ReLU函數(shù)可能導(dǎo)致的信息丟失的問題，保持了較高的識別準(zhǔn)確率。同時，針對表情數(shù)據(jù)的特性，提出了基于余弦相似度的損失函數(shù)，可以更好地增加類間差異，減小類內(nèi)差異，提高模型的識別準(zhǔn)確率。實驗結(jié)果表明，改進GhostNet模型和基于余弦相似性的損失函數(shù)可以在人臉表情識別任務(wù)上有著較高的識別準(zhǔn)確率和速度優(yōu)勢。下面將繼續(xù)研究表情樣本分布不均的問題，提高模型的準(zhǔn)確率，實現(xiàn)表情識別的自動化和智能化。