一種孤立中心損失方法及其在人臉表情識(shí)別中的應(yīng)用

人臉表情是一種重要且自然的情緒表現(xiàn)形式,因而人臉表情自動(dòng)識(shí)別也是人機(jī)和諧交互的重要基礎(chǔ)。近三十年來(lái),人臉表情識(shí)別(FER)研究一直是人工智能領(lǐng)域的一個(gè)熱點(diǎn)

。近些年,隨著深度學(xué)習(xí)技術(shù)發(fā)展,FER研究從實(shí)驗(yàn)室限制條件下的表情樣本逐漸轉(zhuǎn)移到了現(xiàn)實(shí)世界(自然)表情圖像。自然表情圖像復(fù)雜多變,如光照強(qiáng)度、頭部姿態(tài)變化、有無(wú)遮擋物等,導(dǎo)致表情識(shí)別的難度增加

。

FER是一個(gè)典型的多分類(lèi)任務(wù),每一個(gè)樣本必歸屬某一個(gè)類(lèi)別,且只屬于一個(gè)類(lèi)別。Softmax Loss (SL)是一種交叉熵?fù)p失,經(jīng)過(guò)Softmax變換,每一個(gè)樣本最終輸出對(duì)應(yīng)多個(gè)類(lèi)別的概率值(相對(duì)概率)。SL通過(guò)優(yōu)化預(yù)測(cè)概率與目標(biāo)概率之間的誤差,會(huì)持續(xù)拉高正確類(lèi)別的概率和降低錯(cuò)誤分類(lèi)的概率。在多分類(lèi)問(wèn)題上,SL直觀、易理解,而且反向求導(dǎo)簡(jiǎn)潔,是FER領(lǐng)域應(yīng)用最廣泛的一種監(jiān)督函數(shù)。

SL盡力把不同類(lèi)別樣本特征在角度空間分開(kāi),在SL監(jiān)督下學(xué)習(xí)到的深度特征的區(qū)分度不夠好

,因此研究者們對(duì)SL進(jìn)行了改進(jìn)

。針對(duì)SL的改進(jìn)技術(shù)主要分兩類(lèi):一類(lèi)是改變SL本身(即SL的變體),例如人臉識(shí)別領(lǐng)域中的ArcFace

、Normface

和CosFace

等;另一類(lèi)是增加約束項(xiàng)協(xié)同SL一起工作,如Center loss(CL)

和Island Loss(IL)

等。

分類(lèi)任務(wù)有個(gè)共同原則,深度特征的區(qū)分度越高越好,即不同類(lèi)別樣本特征之間的距離(差異性)越大越好?，F(xiàn)有技術(shù)主要通過(guò)減小類(lèi)內(nèi)距離和增大不同類(lèi)之間的距離兩個(gè)方面來(lái)提高特征區(qū)分度。

CL采用中心聚類(lèi)思想,減小同類(lèi)樣本之間的歐式距離,有效降低類(lèi)內(nèi)變化。Luo等

認(rèn)為同一種表情并非高度相似,同一種表情中也應(yīng)該分成幾個(gè)子類(lèi),從而提出了Subcenter Loss(SCL)。Li等

則減小每個(gè)樣本與其相鄰幾個(gè)同類(lèi)樣本中心的距離,從而促使同類(lèi)樣本收斂在一起,這種方法兼具了CL、SCL的優(yōu)點(diǎn),但是計(jì)算復(fù)雜度高,且需要額外的內(nèi)存開(kāi)銷(xiāo)。

IL在SL的基礎(chǔ)上采用了CL,同時(shí)通過(guò)最小化不同類(lèi)中心夾角的余弦值,期望不同類(lèi)之間的夾角盡量大。IL需要約束每一類(lèi)與其他類(lèi)的夾角,難以處理類(lèi)別數(shù)量多的任務(wù),Zhao等

用于人臉識(shí)別的“排他正則化”本質(zhì)上是IL的一種特例。Jiang等

證明了類(lèi)間夾角相等且等于arccos(1/(1-

))(

為類(lèi)別數(shù)量)是類(lèi)間角度距離最大化的一種理想狀態(tài),基于此提出了一種改進(jìn)Softmax損失(ASL)。

ASL能夠有效最大化類(lèi)間角度距離,CL能夠有效地減小類(lèi)內(nèi)變化,但是ASL、CL單純地協(xié)同工作,即ASL+CL并非更優(yōu)秀,可能比ASL更差。針對(duì)此問(wèn)題,本文提出了一種孤立中心聚類(lèi)損失(ICL)方法,以ASL為基礎(chǔ)融合中心聚類(lèi)思想,即改進(jìn)CL以符合ASL,再最大化類(lèi)間歐式距離,使各類(lèi)成為徹底的“孤島”。實(shí)驗(yàn)結(jié)果表明,所提方法在識(shí)別精度和穩(wěn)定性方面都有較好的提升。

1 相關(guān)工作

1.1 改進(jìn)Softmax損失函數(shù)

無(wú)偏量的SL一般定義為

(1)

一個(gè)訓(xùn)練理想的模型,第

類(lèi)特征的中心就在其對(duì)應(yīng)權(quán)值向量

的方向上,即

可以代表第

類(lèi)中心的方向。若用

表示第

和

類(lèi)(中心)的夾角,則

的余弦值為

精準(zhǔn)調(diào)控水分不但能提高作物產(chǎn)量和品質(zhì)，還能有效地提高水分利用效率[11]。定量分析水分與作物生長(zhǎng)發(fā)育之間的關(guān)系，對(duì)農(nóng)田水分管理具有重要意義。研究表明[12-15]，減少作物蒸騰作用而不影響光合作用，則植物的水分利用效率會(huì)明顯增加，合理的農(nóng)林間作群體有利于提高土壤貯水量，減少作物蒸騰，促進(jìn)光合作用，提高水分利用效率。本試驗(yàn)中，輕度水分虧缺下棉花產(chǎn)量與正常灌水差異不顯著，考慮到水分投入相對(duì)較少，在一定程度上大大提高了間作系統(tǒng)的水分利用效率，這與之前的研究結(jié)果一致[16-17]。

(2)

測(cè)試階段采用10-crop方法,100×100×3的圖像被剪裁成10幅90×90×3的圖像塊(左上、右上、左下、右下和中心部分共5張,以及它們水平翻轉(zhuǎn)后的5幅),然后對(duì)這10幅子圖的輸出結(jié)果進(jìn)行平均,再選擇概率最高的類(lèi)別作為識(shí)別結(jié)果。

(3)

式中:

為所有夾角的余弦值之和,

越小表示各類(lèi)之間的夾角越大,區(qū)分度越好。

譯文舍棄了原文的形式,采用了漢語(yǔ)常用的四字格,顯得典雅,保存了原文的意境,原文邊品咖啡邊嘖嘖稱(chēng)贊的意境描繪得淋漓盡致,讓消費(fèi)者產(chǎn)生了最佳關(guān)聯(lián)性期待,也按捺不住想嘗嘗,實(shí)乃譯作精品。

UPS的配置應(yīng)根據(jù)發(fā)信臺(tái)設(shè)備的用電功率以結(jié)合其他因素做精確計(jì)算后進(jìn)行配置，經(jīng)統(tǒng)計(jì)，目前發(fā)信臺(tái)正在運(yùn)行的設(shè)備及所需功率如表2。

(4)

對(duì)比式(1)、式(4),ASL只是對(duì)SL的權(quán)值做了限制。ASL在初始化時(shí),權(quán)值向量

由文獻(xiàn)[20]的算法1生成

,在訓(xùn)練時(shí)固定不變。

ASL的優(yōu)勢(shì)有兩點(diǎn):ASL的權(quán)值向量等角度分布,可以緩解多樣本類(lèi)容易擠壓少樣本類(lèi)角度空間的問(wèn)題,在一定程度上可以解決樣本不平衡的問(wèn)題;ASL采用的權(quán)值是固定的,在訓(xùn)練過(guò)程中不需要更新,所以ASL的訓(xùn)練速度比SL快。

每年初夏，當(dāng)聞到梔子花的香氣時(shí)，我都會(huì)想起剛?cè)肼殨r(shí)的情景。那是一段關(guān)于梔子花的美麗記憶，每每想起，我都會(huì)不自覺(jué)地嘴角上揚(yáng)……

內(nèi)部審計(jì)的重?fù)?dān)要求內(nèi)部審計(jì)人員不僅需要通曉財(cái)務(wù)知識(shí)，還應(yīng)當(dāng)掌握經(jīng)濟(jì)、法律、金融、稅收、計(jì)算機(jī)、企業(yè)管理等知識(shí)。但是，在現(xiàn)實(shí)生活中，由于有些中小型企業(yè)對(duì)內(nèi)部審計(jì)工作的重要性認(rèn)識(shí)不足，加之內(nèi)部審計(jì)人員普遍存在著學(xué)歷偏低、專(zhuān)業(yè)結(jié)構(gòu)較為單一等問(wèn)題，影響了內(nèi)部審計(jì)作用的發(fā)揮和組織目標(biāo)的實(shí)現(xiàn)。

1.2 中心聚類(lèi)損失函數(shù)

針對(duì)SL只注重類(lèi)間差異,忽略類(lèi)內(nèi)差異性過(guò)大的問(wèn)題,文獻(xiàn)[13]提出了一個(gè)減小類(lèi)內(nèi)離散度的約束函數(shù),即著名的中心聚類(lèi)損失函數(shù)(center loss,CL),其定義為

(5)

式中

表示第

類(lèi)的中心。

CL是對(duì)SL的一種輔助,與SL一起監(jiān)督學(xué)習(xí),學(xué)習(xí)時(shí)總損失可以表示為

=

+

(6)

式中

是一個(gè)權(quán)值,決定了CL約束效果。

=0時(shí),CL無(wú)效;

過(guò)大,則同類(lèi)樣本有可能被聚集在同一個(gè)點(diǎn),這也不利于分類(lèi),因?yàn)橥?lèi)樣本特征不可能完全相同,同類(lèi)樣本之間也存在細(xì)微差別。

CL的核心思想是減小同類(lèi)樣本之間的(歐氏)空間距離,讓同類(lèi)樣本盡量聚集在一起,從而增大不同類(lèi)樣本之間的距離,提升區(qū)分度。

2 孤立中心損失函數(shù)

增大類(lèi)間差異、減小類(lèi)內(nèi)差異是監(jiān)督學(xué)習(xí)提高區(qū)分度的基本原則。ASL本質(zhì)上是類(lèi)間角度距離最大化的結(jié)果,本文以ASL為基礎(chǔ),再在歐式空間減小類(lèi)間離散度和增大類(lèi)間距離,提出一種孤立中心損失方法(ICL)。

2.1 前向傳播

ASL已經(jīng)假定了第

類(lèi)的中心在其對(duì)應(yīng)的權(quán)值向量

方向上,因而可以設(shè)第

類(lèi)的中心為

(

是一個(gè)可學(xué)習(xí)的值),則減小類(lèi)內(nèi)空間距離的損失函數(shù)可表示為

(7)

式中

代表深度特征

所對(duì)應(yīng)的第

類(lèi)的中心,

與其類(lèi)中心

的距離越小,

的值越小。

ICL監(jiān)督學(xué)習(xí)過(guò)程

Strategic marketing modes of cosmetic enterprises 3 54

神經(jīng)網(wǎng)絡(luò)參數(shù)

1:隨機(jī)初始化網(wǎng)路參數(shù)

和

(

∈

),利用文獻(xiàn)[20]的算法1生成權(quán)重

2:for

=1 to

do

RAF-DB數(shù)據(jù)集上的性能對(duì)比如表3所示,在識(shí)別準(zhǔn)確度方面,SL+CL和ICL的識(shí)別率最高,達(dá)到88.26%,但是ICL的穩(wěn)定度是0.180,要比SL+CL的穩(wěn)定度0.288好得多。

6: 更新

:

province ZHANG Ting FU Bi-chang ZHOU Zhi-guo et al.(12)

7: 更新網(wǎng)絡(luò)參數(shù)

:

挖鞭筍要注意以下幾點(diǎn)：沿山坡方向穿行的縱鞭不挖，橫鞭則挖；“梅鞭”埋、“伏鞭”挖；干旱季不挖；竹林空隙處少挖，土層深厚處不挖；挖掘后筍穴及時(shí)覆土踩實(shí)。鞭筍型竹林經(jīng)營(yíng)一般以2年為間隔期比較合理。

8:end for

創(chuàng)業(yè)型企業(yè)是指處于創(chuàng)業(yè)階段，高成長(zhǎng)性與高風(fēng)險(xiǎn)性并存的創(chuàng)新開(kāi)拓型企業(yè)。隨著國(guó)家鼓勵(lì)民營(yíng)經(jīng)濟(jì)的發(fā)展以及當(dāng)前就業(yè)形勢(shì)的日趨嚴(yán)峻，創(chuàng)業(yè)已成為促進(jìn)區(qū)域經(jīng)濟(jì)發(fā)展和解決就業(yè)問(wèn)題的一條重要途徑。許多國(guó)家意識(shí)到，只有通過(guò)創(chuàng)新、創(chuàng)業(yè)，尤其是創(chuàng)建高新技術(shù)企業(yè)，它們才能參與新產(chǎn)品、新市場(chǎng)、新產(chǎn)業(yè)的發(fā)展，從而進(jìn)入世界經(jīng)濟(jì)的高增長(zhǎng)行列。

不同類(lèi)中心的空間距離越遠(yuǎn)越好,可以考慮如下約束函數(shù)

受眾理論的“使用—滿(mǎn)足說(shuō)”認(rèn)為受眾群體接受媒體的動(dòng)機(jī)和得到的滿(mǎn)足都是極其多樣的[]，研究生作為校園新媒體平臺(tái)的受眾，利用新媒體可以快速獲取到學(xué)術(shù)講座、招生就業(yè)、校園新聞、生活服務(wù)等方面的信息。作為新媒體的用戶(hù)，研究生每天都會(huì)閱讀和瀏覽大量的信息，而其中真正寫(xiě)的生動(dòng)、吸引人的信息屈指可數(shù)?？梢?jiàn)，新媒體運(yùn)營(yíng)模式是至關(guān)重要的。

采用SPSS 19.0統(tǒng)計(jì)學(xué)軟件處理數(shù)據(jù)，計(jì)量資料采用（±s）表示，進(jìn)行 t檢驗(yàn)，計(jì)數(shù)資料采用[n（%）]表示，進(jìn)行χ2檢驗(yàn)，P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

(8)

式中‖

-

‖為第

類(lèi)中心

到第

類(lèi)中心

的歐式距離,距離越大,其倒數(shù)越小,

越小。

ICL以ASL為基礎(chǔ),再用

損失減小類(lèi)內(nèi)空間距離,以

損失增加類(lèi)間空間距離。ICL定義為

=

+

+

(9)

式中

、

為權(quán)值。

2.2 反向傳播

實(shí)驗(yàn)采用3個(gè)經(jīng)典的非限制性表情數(shù)據(jù)集:FER2013

、FERPlus

和RAF-DB

。

(10)

只有

和

中含有

,

的反向梯度為

(11)

式中:

(

)當(dāng)條件

為真時(shí)取值1,為假則取值0;

是一個(gè)極小的常量,防止除數(shù)可能為零時(shí)出錯(cuò),文中取值10

。

青菜、蔬菜、生菜是蘇南地區(qū)的四季栽培蔬菜，在蘇南氣候條件下，夏季高溫多雨對(duì)其構(gòu)成了高溫和高濕脅迫，所以青菜、菠 菜、生菜在夏季生產(chǎn)中往往表現(xiàn)生長(zhǎng)緩慢，死苗率高，病蟲(chóng)害嚴(yán)重，葉片易變黃、腐爛等[1]，因此夏季栽培中篩選耐高溫高濕的品種成為青菜新品種選育的重要目標(biāo)之一。鑒于此，筆者選取3個(gè)品系(生菜、菠菜、青菜)15份不同蔬菜材料，在不同溫度和濕度下對(duì)其分別進(jìn)行高溫高濕處理，篩選適宜蘇南夏季氣候特征的蔬菜品種，旨在降低高溫高濕脅迫對(duì)蔬菜產(chǎn)量的影響。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)相關(guān)設(shè)置

實(shí)驗(yàn)采用Python開(kāi)發(fā)平臺(tái)和PyTorch庫(kù),運(yùn)行平臺(tái)為一臺(tái)Dell服務(wù)器,其配置為CPU:Intel Xeon Silver 4114 @ 2.20 GHz,內(nèi)存為64 GB,顯卡為NVIDIA GeForce RTX 3090。

3.1.1 深度卷積網(wǎng)絡(luò)結(jié)構(gòu)

實(shí)驗(yàn)采用經(jīng)典ResNet-18的變體,如圖1所示,網(wǎng)絡(luò)輸入大小為90×90的三通道圖像,輸出為512×1特征向量。

從表1～表3可知,總體而言,ASL優(yōu)于SL,SL+CL也很優(yōu)秀,但是ASL+CL在FER2013數(shù)據(jù)庫(kù)上的識(shí)別率和穩(wěn)定性都比ASL差,在RAF-DB數(shù)據(jù)集上識(shí)別率也低于ASL,說(shuō)明ASL+CL可能比單獨(dú)的ASL更差,這也是本文提出ICL的出發(fā)點(diǎn)。ICL是以ASL為基礎(chǔ),融合了CL的思想,再加入了最大化類(lèi)間空間距離的思想,ICL在3個(gè)數(shù)據(jù)庫(kù)上都表現(xiàn)優(yōu)異,表明了ICL的合理性和有效性。

在反向傳播時(shí),ASL的權(quán)值向量

固定不變,只需要更新深度特征

和第

類(lèi)中心的

。

關(guān)于

的偏導(dǎo)數(shù)為

FER2013數(shù)據(jù)集有7類(lèi)表情共35 886張圖像,用于訓(xùn)練、驗(yàn)證和測(cè)試的圖像分別是28 709、3 589和3 589張。訓(xùn)練表情樣本包括憤怒3 995張、厭惡436張、恐懼4 097張、悲傷4 830張、開(kāi)心7 215張、驚訝3 171張以及中性4 965張。

FER2013中含有一些標(biāo)注錯(cuò)誤的數(shù)據(jù),因而FERPlus數(shù)據(jù)集則對(duì)FER2013中的圖像重新進(jìn)行了人工標(biāo)注,在FER2013的7類(lèi)基本表情上又增加了蔑視、未知和非人臉這3類(lèi)。FERPlus每一張圖像有10個(gè)分類(lèi)標(biāo)簽,10個(gè)標(biāo)簽上的得分總和為10。本文只考慮7種基本表情,采用文獻(xiàn)[22]提供的最大投票方式篩選后的訓(xùn)練圖像有24 941張、驗(yàn)證圖像3 186幅、測(cè)試圖像3 137張。

RAF-DB有15 339表情圖片,其中12 271和3 068分別用于訓(xùn)練和測(cè)試。訓(xùn)練圖像含有的7類(lèi)基本表情是憤怒705張、厭惡717張、恐懼281張、悲傷1 982張、開(kāi)心4 772張、驚訝1 290張以及中性2 524張。

FER2013和FERPlus都含有驗(yàn)證集和測(cè)試集,本文只給出測(cè)試集的測(cè)試結(jié)果,結(jié)果如表1～4所示。

在圖1中，實(shí)線箭頭表示直接聯(lián)系，即“鄉(xiāng)愁”萌生于詩(shī)人（我）的心中，通過(guò)4個(gè)不同的意象載體，分別傳達(dá)給4個(gè)不同的目標(biāo)；而虛線箭頭則表示間接聯(lián)系，即“鄉(xiāng)愁”在詩(shī)人心中所指向的實(shí)際目標(biāo)。

3.1.3 圖像預(yù)處理

FER2013和FERPlus的圖片是48×48灰度圖,先擴(kuò)大成100×100圖片,然后通過(guò)復(fù)制通道方式轉(zhuǎn)換為100×100×3的圖像。RAF-DB提供100×100 RGB彩色圖像,無(wú)需轉(zhuǎn)換。

訓(xùn)練時(shí),從100×100×3人臉圖像中隨機(jī)剪切出90×90×3圖像塊,再把每一個(gè)像素值除以255歸一化。為了增強(qiáng)數(shù)據(jù),在±10°范圍內(nèi)隨機(jī)旋轉(zhuǎn),且以50%的概率隨機(jī)水平翻轉(zhuǎn)。

3.1.4 訓(xùn)練/測(cè)試策略

采用隨機(jī)梯度下降法對(duì)模型進(jìn)行端對(duì)端訓(xùn)練,每批128個(gè)表情樣本,動(dòng)量矩參數(shù)為0.9,采用的Heinitialization方法初始化卷積網(wǎng)絡(luò)系數(shù)

,L2正則系數(shù)為3×10

,迭代次數(shù)為200,初始學(xué)習(xí)率為0.005,迭代80次后,每20代衰減率0.8。ICL的參數(shù)

和

分別為0.005和7。

基于類(lèi)間角度距離(夾角)越大,區(qū)分度越高的原則,考慮如下?lián)p失函數(shù)

3.2 性能評(píng)價(jià)標(biāo)準(zhǔn)及實(shí)驗(yàn)結(jié)果

3.2.1 性能評(píng)價(jià)標(biāo)準(zhǔn)

本文采用文獻(xiàn)[20]中的平均準(zhǔn)確率和穩(wěn)定度兩個(gè)標(biāo)準(zhǔn)。對(duì)每種方法測(cè)試

(

=10)次,以

次結(jié)果的平均值作為最終準(zhǔn)確率,定義為

(12)

式中Acc

為第

次實(shí)驗(yàn)的識(shí)別率。由于網(wǎng)絡(luò)參數(shù)隨機(jī)初始化和訓(xùn)練樣本隨機(jī)分批的原因,相同設(shè)置下每一次的識(shí)別結(jié)果有一定的誤差,所以采用多次實(shí)驗(yàn)的平均值更加公平可靠。

穩(wěn)定度是

次實(shí)驗(yàn)結(jié)果的均方差,定義為

(13)

穩(wěn)定度

體現(xiàn)了相同設(shè)置下實(shí)驗(yàn)結(jié)果的變化程度,

越小,表明模型性能越穩(wěn)定。

3.2.2 表情識(shí)別性能對(duì)比

本文ICL是在SL基礎(chǔ)上的改進(jìn),為了驗(yàn)證ICL的有效性,主要與SL及其改進(jìn)技術(shù)進(jìn)行對(duì)比,對(duì)比方法有:SL、ASL

、SL+CL

、ASL+CL、IL

、L2SL

和LP

。

本文在FER2013、FERPlus和RAF-DB數(shù)據(jù)集上進(jìn)行了對(duì)比測(cè)試,為了公平對(duì)比,所有方法均采用圖1中卷積網(wǎng)絡(luò),且采用相同的訓(xùn)練步驟和網(wǎng)絡(luò)參數(shù)。ASL代碼由原論文作者提供,其他方法則是按照文獻(xiàn)所述原理另行編寫(xiě)程序。

ASL可定義為

在FER2013數(shù)據(jù)集上的性能對(duì)比結(jié)果如表1所示,ICL的平均識(shí)別率Acc最高,達(dá)到了73.02%,比SL和ASL分別提高了1.25%和0.66%。在穩(wěn)定度

方面,ICL也取得了最佳成績(jī)0.210,相比于SL的0.422,提升了一倍,穩(wěn)定度性能提升是指

的數(shù)值下降。

FERPlus數(shù)據(jù)庫(kù)的測(cè)試結(jié)果如表2所示,在識(shí)別準(zhǔn)確率和穩(wěn)定度方面,ICL都取得了最好成績(jī),分別是88.56%和0.192。相比于SL和ASL,ICL的準(zhǔn)確度提高了0.44%和0.39%,其性能提升程度沒(méi)有FER2013上顯著。

3.1.2 實(shí)驗(yàn)數(shù)據(jù)集

3.2.3 參數(shù)選擇

ICL有兩個(gè)人為設(shè)置的權(quán)值

、

,理論上應(yīng)該采用網(wǎng)格計(jì)算最優(yōu)權(quán)值。文獻(xiàn)[13-15,17]表明,減小類(lèi)內(nèi)變化的約束權(quán)值在0.001～0.01區(qū)間比較合理,因而本文首先設(shè)置

為0

005,然后

取1到10共10個(gè)值,在FER2013數(shù)據(jù)集上的識(shí)別率如圖2(b)所示,雖然不是嚴(yán)格的上凸曲線,整體而言,

=7時(shí)的識(shí)別率明顯優(yōu)于其他值。

設(shè)置為7,

分別取值0.000 5、0.001、0.005、0.01及0.05,在FER2013數(shù)據(jù)集上的識(shí)別結(jié)果如圖2(a)所示,可知

=0.005時(shí)的識(shí)別率最高。

綜上所述,本文選取

=0

005和

=7。

3.2.4 消融實(shí)驗(yàn)

ICL損失函數(shù)由ASL損失

SL

、類(lèi)內(nèi)損失

和類(lèi)間距離損失

這3部分構(gòu)成,本次消融實(shí)驗(yàn)測(cè)試了

SL

(ASL)、

SL

+

和

SL

+

+

(ICL),其結(jié)果如表4所示,其中

SL

+

與對(duì)比實(shí)驗(yàn)中的ASL+CL是不同的方法。

在FER2013數(shù)據(jù)庫(kù)上,

SL

的識(shí)別率和穩(wěn)定度分別是72.36%和0.348。加入

損失(

SL

+

)后則分別是72.23%和0.188,識(shí)別率反而略微下降,但是穩(wěn)定度性能大幅提升。再加入

(

SL

+

+

)后的成績(jī)分別是73.02%和0.210,

SL

+

+

在識(shí)別率方面有了明顯的提高;在穩(wěn)定性方面,比

SL

+

的穩(wěn)定度稍差一點(diǎn),但仍然比

SL

優(yōu)秀很多。

在FERPlus數(shù)據(jù)集中,

SL

、

SL

+

和

SL

+

+

3種方式的識(shí)別率分別是88.17%、88.47%和88.56%,依次略微提升。這3種方式的穩(wěn)定度分別是0.308、0.167和0.192,

SL

+

的穩(wěn)定度好,

SL

+

+

的穩(wěn)定度反而比

SL

+

稍微差一點(diǎn),但比

SL

仍然好很多。

在RAF-DB數(shù)據(jù)庫(kù)上,

SL

、

SL

+

和

SL

+

+

的識(shí)別準(zhǔn)確率分別是85.58%、85.89%和86.26%,依次增高。三者的穩(wěn)定度分別是0.271、0.187和0.180,也是依次變好;

SL

+

和

SL

+

+

的穩(wěn)定度非常接近,幾乎差不多。

由此可見(jiàn),大體上

SL

+

可以大幅增加穩(wěn)定性,

SL

+

+

在保持穩(wěn)定性?xún)?yōu)勢(shì)的基礎(chǔ)上可以提高一定的識(shí)別準(zhǔn)確度。

3.2.5 時(shí)間復(fù)雜度

各種監(jiān)督方法在FER2013數(shù)據(jù)集上訓(xùn)練一個(gè)Epoch所需的平均時(shí)間如表5所示,ASL速度最快,只需33.51 s。SL是33.92 s,ASL+CL與SL幾乎差不多,需要33.97 s。ICL是以ASL為基礎(chǔ)融合了CL思想,再增加了一部分約束,所以ICL比ASL+CL計(jì)算復(fù)雜度高,需要34.31 s,仍然比SL+CL略微快一點(diǎn),比IL和L2SL快很多。

4 結(jié) 論

針對(duì)傳統(tǒng)SL監(jiān)督學(xué)習(xí)的深度特征區(qū)分度不足,本文提出了一種孤立中心損失方法(ICL),它主要包含了最大化類(lèi)間角度距離、減小類(lèi)內(nèi)變化以及最大化類(lèi)間(歐氏)空間距離3種約束,從而使各類(lèi)成為徹底的“孤島”,以提高各類(lèi)之間的區(qū)分度。在FER2013、FERPlus和RAF-DB 3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:ICL在識(shí)別準(zhǔn)確率和穩(wěn)定性?xún)蓚€(gè)方面都有明顯的提升。ICL雖然由3部分組成,但是計(jì)算復(fù)雜度并未增加太多,運(yùn)行速度只比傳統(tǒng)SL略微慢一點(diǎn),仍然比一些其他方法快。

ICL的基礎(chǔ)是ASL,ASL中生成等角分布固定權(quán)值向量過(guò)程的計(jì)算量隨著類(lèi)別數(shù)量增大而呈幾何形式增長(zhǎng),難以處理類(lèi)別特別多的分類(lèi)任務(wù),ICL仍然存在這個(gè)問(wèn)題,這是將來(lái)工作需要改進(jìn)的一個(gè)方向。多損失函數(shù)融合模型在許多領(lǐng)域非常有效,未來(lái)工作將在這方面進(jìn)行嘗試。

:

[1] JIANG Ping,WAN Bo,WANG Quan,et al.Fast and efficient facial expression recognition using a Gabor convolutional network [J].IEEE Signal Processing Letters,2020,27:1954-1958.

[2] RUAN Delian,YAN Yan,LAI Shenqi,et al.Feature decomposition and reconstruction learning for effective facial expression recognition [C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2021:7656-7665.

[3] WANG Kai,PENG Xiaojiang,YANG Jianfei,et al.Suppressing uncertainties for Large-Scale facial expression recognition [C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2020:6896-6905.

[4] YANG Huiyuan,CIFTCI U,YIN Lijun.Facial expression recognition by de-expression residue learning [C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2018:2168-2177.

[5] LI Danyang,WEN Guihua,HOU Zhi,et al.RTCRelief-F:an effective clustering and ordering-based ensemble pruning algorithm for facial expression recognition [J].Knowledge and Information Systems,2019,59(1):219-250.

[6] LI Shan,DENG Weihong.Deep facial expression recognition:a survey [J/OL].IEEE Transactions on Affective Computing [2021-08-30].https:∥ieeexplore.ieee.org/document/9039580.

[7] DENG Jiankang,GUO Jia,XUE Niannan,et al.ArcFace:additive angular margin loss for deep face recognition [C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2019:4685-4694.

[8] 吳慧華,蘇寒松,劉高華,等.基于余弦距離損失函數(shù)的人臉表情識(shí)別算法 [J].激光與光電子學(xué)進(jìn)展,2019,56(24):188-194.

WU Huihua,SU Hansong,LIU Gaohua,et al.Facial expression recognition algorithm based on cosine distance loss function [J].Laser &Optoelectronics Progress,2019,56(24):188-194.

[9] 龍?chǎng)?蘇寒松,劉高華,等.一種基于角度距離損失函數(shù)和卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法 [J].激光與光電子學(xué)進(jìn)展,2018,55(12):402-413.

LONG Xin,SU Hansong,LIU Gaohua,et al.A face recognition algorithm based on angular distance loss function and convolutional neural network [J].Laser &Optoelectronics Progress,2018,55(12):402-413.

[10] 張文萍,賈凱,王宏玉,等.改進(jìn)的Island損失函數(shù)在人臉表情識(shí)別上的應(yīng)用 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2020,32(12):1910-1917.

ZHANG Wenping,JIA Kai,WANG Hongyu,et al.Application of improved Island loss in facial expression recognition [J].Journal of Computer-Aided Design &Computer Graphics,2020,32(12):1910-1917.

[11] WANG Feng,XIANG Xiang,CHENG Jian,et al.NormFace:L

hypersphere embedding for face verification [C]∥Proceedings of the 25th ACM International Conference on Multimedia.New York,NY,USA:ACM,2017:1041-1049.

[12] WANG Hao,WANG Yitong,ZHOU Zheng,et al.CosFace:large margin cosine loss for deep face recognition [C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2018:5265-5274.

[13] WEN Yandong,ZHANG Kaipeng,LI Zhifeng,et al.A discriminative feature learning approach for deep face recognition [C]∥Computer Vision — ECCV 2016.Cham:Springer International Publishing,2016:499-515.

[14] WEN Yandong,ZHANG Kaipeng,LI Zhifeng,et al.A comprehensive study on center loss for deep face recognition [J].International Journal of Computer Vision,2019,127(6):668-683.

[15] CAI Jie,MENG Zibo,KHAN A S,et al.Island loss for learning discriminative features in facial expression recognition [C]∥2018 13th IEEE International Conference on Automatic Face &Gesture Recognition (FG 2018).Piscataway,NJ,USA:IEEE,2018:302-309.

[16] LUO Zimeng,HU Jiani,DENG Weihong.Local subclass constraint for facial expression recognition in the wild [C]∥2018 24th International Conference on Pattern Recognition (ICPR).Piscataway,NJ,USA:IEEE,2018:3132-3137.

[17] LI Shan,DENG Weihong,DU Junping.Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild [C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2017:2584-2593.

[18] LI Shan,DENG Weihong.Reliable crowdsourcing and deep locality-preserving learning for unconstrained facial expression recognition [J].IEEE Transactions on Image Processing,2019,28(1):356-370.

[19] ZHAO Kai,XU Jingyi,CHENG Mingming.RegularFace:deep face recognition via exclusive regularization [C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2019:1136-1144.

[20] JIANG Ping,LIU Gang,WANG Quan,et al.Accurate and reliable facial expression recognition using advanced softmax loss with fixed weights [J].IEEE Signal Processing Letters,2020,27:725-729.

[21] DHALL A,GOECKE R,JOSHI J,et al.Emotion recognition in the wild challenge 2013 [C]∥Proceedings of the 15th ACM on International Conference on Multimodal Interaction.New York,NY,USA:ACM,2013:509-516.

[22] BARSOUM E,ZHANG Cha,FERRER C C,et al.Training deep networks for facial expression recognition with crowd-sourced label distribution [C]∥Proceedings of the 18th ACM International Conference on Multimodal Interaction.New York,NY,USA:ACM,2016:279-283.

[23] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Delving deep into rectifiers:surpassing human-level performance on ImageNet classification [C]∥2015 IEEE International Conference on Computer Vision (ICCV).Piscataway,NJ,USA:IEEE,2015:1026-1034.