一種結(jié)合專家先驗(yàn)知識(shí)和運(yùn)動(dòng)關(guān)聯(lián)性的人臉運(yùn)動(dòng)單元檢測(cè)算法

李 奎 ，莫建華 ，王加俊

(蘇州大學(xué)電子信息學(xué)院電子信息工程系，江蘇 蘇州 215006)

引起面部運(yùn)動(dòng)的面部肌肉被稱為面部運(yùn)動(dòng)單元(action unit，AU)[1]，AU檢測(cè)的目的是檢測(cè)這種運(yùn)動(dòng)是否出現(xiàn)。由于個(gè)體差異性和AU間復(fù)雜的關(guān)系，AU檢測(cè)極具挑戰(zhàn)。20世紀(jì)70年代，EKMAN等[2]提出了面部運(yùn)動(dòng)編碼系統(tǒng)(facial action coding system，F(xiàn)ACS)，其中定義了44種面部AU，并將AU的強(qiáng)度定義為5個(gè)等級(jí)。FACS的提出為AU檢測(cè)奠定基礎(chǔ)。21世紀(jì)初，一些研究人員使用隱馬爾可夫模型[3]、貝葉斯網(wǎng)絡(luò)[4]、受限玻爾茲曼機(jī)[5]和Credal網(wǎng)絡(luò)[6]建模AU關(guān)系實(shí)現(xiàn)AU檢測(cè)，這些AU關(guān)系建模的缺點(diǎn)是無(wú)法影響特征學(xué)習(xí)和檢測(cè)過程。近年來(lái)，研究人員提出了大量基于深度學(xué)習(xí)的AU檢測(cè)方法。一些方法基于AU的區(qū)域性展開研究，比如DRML[7]、EAC-Net[8]、JAA-Net[9]、AURCNN[10]，另外一些方法利用圖卷積神經(jīng)網(wǎng)絡(luò)建模AU關(guān)系[11-13]，但是這些方法忽略了樣本的獨(dú)特性對(duì)AU關(guān)系的影響。除此之外，研究人員還嘗試?yán)肨ransformer[14]來(lái)探究類別間的關(guān)系，該方法采用圖片Patch的方式，以及多頭自注意力機(jī)制，對(duì)像素與像素、區(qū)域與區(qū)域間的關(guān)系進(jìn)行建模[15]。

為了解決以上問題，本研究提出了一種新的AU檢測(cè)模型，利用先驗(yàn)的AU區(qū)域知識(shí)劃分面部區(qū)域，并融入卷積網(wǎng)絡(luò)，隨后通過Transformer結(jié)構(gòu)中的編碼器對(duì)AU關(guān)系進(jìn)行樣本獨(dú)特性建模，最終利用全連接層實(shí)現(xiàn)AU分類。在BP4D和DISFA數(shù)據(jù)集上的測(cè)試結(jié)果顯示，本文提出的模型具有良好的AU檢測(cè)性能。

1 數(shù)據(jù)預(yù)處理以及AU檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)

1.1 預(yù)處理

對(duì)人臉圖像進(jìn)行預(yù)處理能有效減少與人臉特征無(wú)關(guān)的噪聲信息對(duì)AU檢測(cè)的影響。人臉圖像的預(yù)處理的步驟如圖1所示。預(yù)處理包括人臉關(guān)鍵點(diǎn)檢測(cè)、人臉對(duì)齊、人臉裁剪、人臉區(qū)域劃分、數(shù)據(jù)標(biāo)準(zhǔn)化等步驟。首先，使用MediaPipe工具包[16]對(duì)數(shù)據(jù)集中所有圖片進(jìn)行關(guān)鍵點(diǎn)檢測(cè)；其次，利用仿射變換對(duì)每一段視頻數(shù)據(jù)中所有幀的人臉進(jìn)行對(duì)齊操作，以消除由于縮放和旋轉(zhuǎn)造成的影響；接著，對(duì)人臉區(qū)域進(jìn)行裁剪，使得裁剪后的圖片大小為224×224個(gè)像素，人臉雙瞳中心的距離為90個(gè)像素；然后，結(jié)合FACS對(duì)AU的解剖學(xué)描述，在分析臉部肌肉運(yùn)動(dòng)的基礎(chǔ)上，參考MA等[10]提出的方法，利用面部關(guān)鍵點(diǎn)將人臉劃分出8個(gè)區(qū)域，各個(gè)區(qū)域包含的AU類別如表1所示；最后，對(duì)訓(xùn)練集中每一個(gè)樣本的三個(gè)顏色通道分別進(jìn)行歸一化操作，以消除不同樣本之間像素分布的差異。

表1 各個(gè)興趣區(qū)所包含的AU類別

圖1 數(shù)據(jù)預(yù)處理步驟

1.2 AU區(qū)域特征提取

為了充分利用AU區(qū)域的先驗(yàn)信息提取有效的高維特征，本研究使用ResNet101的前三個(gè)殘差模塊作為基礎(chǔ)網(wǎng)絡(luò)，殘差結(jié)構(gòu)使輸入端的信息能夠與輸出端直接相連，這種結(jié)構(gòu)能使網(wǎng)絡(luò)梯度反向傳播時(shí)直接作用于最初的輸入數(shù)據(jù)，避免了網(wǎng)絡(luò)層數(shù)過多引起的網(wǎng)絡(luò)退化問題。第三個(gè)殘差模塊生成的高維特征圖和NAU個(gè)AU區(qū)域邊界框一起進(jìn)行感興趣區(qū)域池化操作，經(jīng)過殘差模塊4、一個(gè)卷積層和全連接層后得到NAU個(gè)一維特征向量，作為AU關(guān)系網(wǎng)絡(luò)的輸入。用來(lái)進(jìn)行特征提取的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 AU區(qū)域特征提取網(wǎng)絡(luò)

下面分三個(gè)部分介紹AU特征提取網(wǎng)絡(luò)的參數(shù)細(xì)節(jié)。第一部分由ResNet101的前3個(gè)殘差結(jié)構(gòu)組成，每個(gè)殘差模塊均由3個(gè)具有跳躍結(jié)構(gòu)的瓶頸組成，瓶頸結(jié)構(gòu)采用卷積核為1×1，3×3，1×1的組合設(shè)計(jì)而成，第一個(gè)1×1卷積核負(fù)責(zé)降低輸入特征的維度，而輸出端的1×1卷積核負(fù)責(zé)提高特征的通道數(shù)，所以這樣的設(shè)計(jì)在增加網(wǎng)絡(luò)層數(shù)的同時(shí)也減少了參數(shù)量。最終輸出人臉特征圖尺寸為1 024×28×28。第二部分由感興趣區(qū)域池化層和殘差模塊4組成，其作用是由預(yù)處理得到的人臉AU區(qū)域框，得到對(duì)應(yīng)于人臉特征圖的NAU個(gè)AU的高維特征，尺寸為NAU×2 048×7×7。第三部分是AU Patch Embedding模塊，利用一個(gè)卷積核為7×7的卷積層，將特征的維度調(diào)整為NAU×2 048，最后使用全連接層輸出維度為NAU×768的AU特征向量。

由上文的討論可以看出，本文的方法與文獻(xiàn)[10]中的方法有很大的不同。文獻(xiàn)[10]把人臉面部區(qū)域劃分為43個(gè)感興趣區(qū)域，再將不同的區(qū)域組合成9個(gè)AU組。本文則直接針對(duì)AU將人臉劃分為8個(gè)不同的感興趣區(qū)域，每個(gè)AU均包含在其中一個(gè)感興趣區(qū)域之中，并且在AU特征提取網(wǎng)絡(luò)中對(duì)每個(gè)AU所在區(qū)域均進(jìn)行感興趣區(qū)域池化，以此生成NAU個(gè)特征，并且達(dá)到AU特征的尺度統(tǒng)一的目的。這樣的操作滿足了Transformer結(jié)構(gòu)用于圖像領(lǐng)域時(shí)對(duì)輸入圖像Patch尺寸的一致性要求，有利于后續(xù)的AU關(guān)系網(wǎng)絡(luò)中對(duì)特征進(jìn)行類別標(biāo)記和位置編碼。

1.3 AU關(guān)系建模(AU relationship modeling，ARM)

不同AU的出現(xiàn)是存在生理上聯(lián)系的，并且AU之間的關(guān)系受個(gè)體的獨(dú)特性影響?；谝陨峡紤]，本文使用Transformer的編碼器結(jié)構(gòu)來(lái)隱式地對(duì)特征提取模塊輸出的NAU個(gè)AU特征向量之間的關(guān)系進(jìn)行建模，關(guān)系建模過程中考慮AU本身的特征對(duì)于AU關(guān)系的作用。這種AU特征本身具有的樣本獨(dú)特性決定了建模的AU關(guān)系也具有獨(dú)特性。ARM模塊由類別標(biāo)記、位置嵌入、12個(gè)級(jí)聯(lián)的AU關(guān)系編碼器以及一個(gè)全連接層分類器組成。ARM模塊的結(jié)構(gòu)如圖3所示。圖中類別標(biāo)記的作用是在NAU個(gè)AU特征的首位插入一個(gè)尺寸為1×768大小的類別標(biāo)記(其值被隨機(jī)初始化)。類別標(biāo)記通過與每個(gè)AU特征向量的交互，最終獲取類別信息。位置嵌入通過將一個(gè)可學(xué)習(xí)的AU位置特征與經(jīng)過類別標(biāo)記的AU特征直接相加，使得NAU個(gè)AU特征向量的位置編碼能夠通過后續(xù)AU關(guān)系編碼器學(xué)習(xí)彼此的信息，從而建立起AU間的聯(lián)系。AU關(guān)系編碼器主要包括一個(gè)多頭注意力模塊和一個(gè)帶有非線性激活函數(shù)的多層感知器。

圖3 AU關(guān)系建模模塊

AU關(guān)系編碼器整體采用了跳躍結(jié)構(gòu)，并保持輸入輸出特征維度不變，其主要包含兩個(gè)網(wǎng)絡(luò)組件：一個(gè)多頭注意力模塊以及一個(gè)多層感知器。AU特征提取網(wǎng)絡(luò)輸出尺寸為NAU×768的AU特征向量，拼接1×768的類別標(biāo)記信息后維度變?yōu)?NAU+1)×768，而在每一行嵌入1×768維的位置信息后特征維度保持為(NAU+1)×768。多頭注意力層中使用全連接層將維度增大至(NAU+1)×2 304，隨后將此特征均分為三段，分別為命名為q、k、v，維度均為(NAU+1)×768，再通過設(shè)定的注意力的頭數(shù)H，分別將q、k、v劃分為H個(gè)特征子空間。如果設(shè)定H=12，則q、k、v的維度最終變?yōu)?NAU+1)×12×64。通過子空間的劃分，網(wǎng)絡(luò)能夠關(guān)注到不同位置上的信息，模型也能夠綜合多方面信息提取更加準(zhǔn)確、豐富的特征。q、k、v之間進(jìn)行一系列矩陣乘法、參數(shù)縮放、SoftMax等操作，得到維度為(NAU+1)×12×64的特征，最后經(jīng)過全連接層輸出尺寸為(NAU+1)×768的特征。多層感知器包含兩層全連接層，隱含層特征的維度是3 072維，第一層全連接層使用GeLU激活函數(shù)[17]，并且兩層網(wǎng)絡(luò)均使用Dropout操作來(lái)防止多層感知器出現(xiàn)過擬合現(xiàn)象。經(jīng)過12個(gè)AU關(guān)系編碼器之后，從輸出的特征中取出類別標(biāo)記向量做后續(xù)分類任務(wù)。將類別標(biāo)記向量輸入一個(gè)由全連接層和Sigmoid激活函數(shù)構(gòu)成的分類器中，最終得到AU分類概率。

將圖2和圖3中的網(wǎng)絡(luò)串接就構(gòu)成了本文AU檢測(cè)模型，它們將作為一個(gè)整體進(jìn)行訓(xùn)練和測(cè)試。由于數(shù)據(jù)集中樣本的AU標(biāo)簽分布嚴(yán)重不平衡，并且AU分類任務(wù)屬于多標(biāo)簽場(chǎng)景，所以本研究使用加權(quán)多標(biāo)簽交叉熵?fù)p失和加權(quán)可微F1損失函數(shù)作為損失函數(shù)對(duì)人臉運(yùn)動(dòng)單元檢測(cè)模型進(jìn)行訓(xùn)練。

1.4 損失函數(shù)設(shè)計(jì)

AU分類任務(wù)屬于多標(biāo)簽場(chǎng)景，對(duì)于數(shù)據(jù)驅(qū)動(dòng)的模型來(lái)說(shuō)，訓(xùn)練數(shù)據(jù)集中的類別平衡性影響著模型的性能。然而，這種類別平衡性常常不能滿足。例如，本文所使用的BP4D和DISFA數(shù)據(jù)集，其中某一折訓(xùn)練集各AU類別出現(xiàn)頻次如圖4所示，其中0標(biāo)簽表示無(wú)任何AU出現(xiàn)的情況，可見訓(xùn)練集中樣本的AU標(biāo)簽分布嚴(yán)重不平衡。

A：BP4D上某一折訓(xùn)練集的各個(gè)AU出現(xiàn)頻次；B：DISFA上某一折訓(xùn)練集的各個(gè)AU出現(xiàn)頻次。AU：面部運(yùn)動(dòng)單元。

為了解決以上問題，本研究設(shè)計(jì)了一種新的損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練，見公式(1)，損失函數(shù)包含三部分：加權(quán)多標(biāo)簽交叉熵?fù)p失函數(shù)、加權(quán)可微F1損失函數(shù)、對(duì)網(wǎng)絡(luò)權(quán)重的L2正則化項(xiàng)。公式(2)給出了加權(quán)交叉熵?fù)p失函數(shù)。為了平衡類別內(nèi)正負(fù)樣本的不均衡，設(shè)計(jì)了一個(gè)加權(quán)可微F1損失函數(shù)Ef1，使用預(yù)測(cè)得到的概率作為標(biāo)簽值來(lái)計(jì)算可微F1損失函數(shù)，避免了由于模型最終預(yù)測(cè)的標(biāo)簽值為{0，1}而導(dǎo)致的F1分?jǐn)?shù)不可微的問題，權(quán)重可微F1損失函數(shù)見公式(3)所示。

(1)

(2)

(3)

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集

為了評(píng)估本研究所提出的模型的性能，在兩個(gè)被廣泛使用的公開數(shù)據(jù)集BP4D、DISFA進(jìn)行了模型訓(xùn)練和性能評(píng)估。BP4D包含了41名青年在與實(shí)驗(yàn)人員進(jìn)行8項(xiàng)不同的互動(dòng)過程中各種情緒的2D和3D視頻。41名參與者中有23名女性，18名男性；其中11人是亞洲人，6人是非裔美國(guó)人，4人是西班牙裔，20人是歐美人。BP4D包含328個(gè)視頻約140 000張有效的人臉圖像。DISFA數(shù)據(jù)庫(kù)收集了27名成年受試者的自發(fā)面部動(dòng)作，每個(gè)受試者的視頻記錄時(shí)間為4 min，每個(gè)視頻4 844幀，共有130 788張圖像。本研究對(duì)BP4D中的12個(gè)AU和DISFA中的8個(gè)AU進(jìn)行檢測(cè)。

為更好地對(duì)算法的魯棒性進(jìn)行分析，分別在每個(gè)數(shù)據(jù)集上進(jìn)行三折交叉實(shí)驗(yàn)驗(yàn)證，BP4D數(shù)據(jù)集的三折交叉驗(yàn)證的劃分方式分別為：訓(xùn)練集27人或28人，測(cè)試集14人或13人，DISFA數(shù)據(jù)集的三折交叉驗(yàn)證劃分方式為訓(xùn)練集18人，測(cè)試集9人。取三次交叉驗(yàn)證的F1 分?jǐn)?shù)的平均值作為最終結(jié)果。

2.2 參數(shù)設(shè)置

本文使用隨機(jī)梯度下降算法對(duì)模型進(jìn)行訓(xùn)練，其超參數(shù)設(shè)置如下：動(dòng)量系數(shù)為0.9，實(shí)驗(yàn)訓(xùn)練共20個(gè)周期并使用余弦衰減學(xué)習(xí)率，初始學(xué)習(xí)率lrstart=0.001，最后一個(gè)訓(xùn)練周期的學(xué)習(xí)率為lrend=0.000 01，L2正則化項(xiàng)權(quán)重設(shè)置為5e-5。

2.3 評(píng)價(jià)指標(biāo)

AU檢測(cè)是一個(gè)多標(biāo)簽分類任務(wù)，AU檢測(cè)結(jié)果性能的評(píng)價(jià)指標(biāo)一般采用式(4)所示的F1分?jǐn)?shù)，F(xiàn)1分?jǐn)?shù)同時(shí)兼顧了分類模型的查準(zhǔn)率和查全率，可以看作是模型查準(zhǔn)率和查全率的一種調(diào)和平均，因此F1分?jǐn)?shù)能真實(shí)地反映出分類結(jié)果的好壞。

(4)

2.4 實(shí)驗(yàn)結(jié)果與分析

2.4.1 消融實(shí)驗(yàn) 為分析各個(gè)網(wǎng)絡(luò)模塊在AU檢測(cè)中的作用，本研究用ResNet101作為主干網(wǎng)，加權(quán)交叉熵為基礎(chǔ)損失函數(shù)，分別對(duì)僅包含AU特征提取網(wǎng)絡(luò)和全連接層作為分類器的檢測(cè)模型(ARFE)、在ARFE基礎(chǔ)上加入AU關(guān)系建模模塊的檢測(cè)模型(ARFE+ARM)、引入加權(quán)可微F1損失函數(shù)(WDFL)的檢測(cè)模型(ARFE+ARM+WDFL)以及使用AU關(guān)系編碼器中不同頭數(shù)的檢測(cè)模型進(jìn)行三折交叉驗(yàn)證實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果顯示，ARFE的AU檢測(cè)結(jié)果中平均F1分?jǐn)?shù)達(dá)到62.6%，優(yōu)于ResNet101的60.7%和VGG16的54.0%，并且P<0.05，差異具有統(tǒng)計(jì)學(xué)上的顯著性。ARFE+ARM的AU檢測(cè)結(jié)果中平均F1分?jǐn)?shù)達(dá)到63.4%，相比ARFE提高了0.8%，并且P<0.05，這一結(jié)果說(shuō)明利用Transformer的編碼器構(gòu)建的AU關(guān)系模塊可以有效捕獲AU間關(guān)系，提高分類性能。ARFE+ARM+WDFL的AU檢測(cè)結(jié)果中平均F1分?jǐn)?shù)達(dá)到63.8%，相比ARFE+ARM提高了0.4%并且具有統(tǒng)計(jì)學(xué)上的顯著性，這說(shuō)明引入加權(quán)可微F1損失函數(shù)的檢測(cè)模型能更好地平衡查準(zhǔn)率和查全率。

本研究通過Transformer編碼器中的注意力機(jī)制來(lái)考慮樣本的獨(dú)特性，當(dāng)Transformer編碼器中的頭數(shù)較少時(shí)，模型對(duì)每個(gè)輸入位置的信息提取能力較弱，更加傾向于全局特征的關(guān)系建模，使得模型在處理每個(gè)樣本時(shí)的注意力分布更加相似，從而在一定程度上減小了樣本獨(dú)特性的影響。反之，當(dāng)Transformer編碼器中的頭數(shù)較多時(shí)，模型對(duì)每個(gè)輸入位置的信息提取能力較強(qiáng)，使得模型更加具有樣本自適應(yīng)性，從而在一定程度上增加了樣本獨(dú)特性的影響。為了驗(yàn)證樣本獨(dú)特性對(duì)AU關(guān)系建模的影響，通過改變Transformer編碼器中的頭數(shù)來(lái)調(diào)整Transformer中的注意力機(jī)制，進(jìn)而影響到AU關(guān)系的建模。圖5給出了ARFE+ARM+WDFL方法中編碼器頭數(shù)對(duì)于AU檢測(cè)性能的影響。由圖可見，當(dāng)頭數(shù)比較少的時(shí)候，模型的檢測(cè)性能與頭數(shù)呈正相關(guān)。當(dāng)編碼器頭數(shù)增加到12時(shí)，模型的AU檢測(cè)性能達(dá)到最優(yōu)，而繼續(xù)增加頭數(shù)到16時(shí)模型的性能仍然維持同一水平，并略有降低。以上結(jié)果說(shuō)明，樣本獨(dú)特性對(duì)模型的檢測(cè)性能有著重要的影響，當(dāng)樣本獨(dú)特性和特征的全局性達(dá)到某種平衡時(shí)，模型的檢測(cè)性能達(dá)到最優(yōu)。

圖5 編碼器頭數(shù)對(duì)AU檢測(cè)精度的影響曲線

2.4.2 與現(xiàn)有主流方法的對(duì)比試驗(yàn) 為了說(shuō)明本研究模型的優(yōu)越性，表2和表3分別給出了本文提出的方法與其他主流AU檢測(cè)方法在BP4D數(shù)據(jù)集以及DISFA數(shù)據(jù)集上的三折交叉驗(yàn)證實(shí)驗(yàn)結(jié)果(其他方法的結(jié)果均直接取自于其他已發(fā)表的論文)。

表2 不同人臉AU檢測(cè)方法在BP4D數(shù)據(jù)集上的檢測(cè)性能比較 (%)

表3 不同人臉AU檢測(cè)方法在DISFA數(shù)據(jù)集上的檢測(cè)性能比較 (%)

由表2可見，相比于其他方法，本研究提出的方法對(duì)于BP4D數(shù)據(jù)集中12個(gè)AU的檢測(cè)結(jié)果更加穩(wěn)定，對(duì)于AU1、AU2、AU4這些出現(xiàn)頻次偏少，不利于模型檢測(cè)的類別，相比次優(yōu)分?jǐn)?shù)分別高出9.4%、14.8%、3.3%；而在部分AU，如AU6、AU7、AU10、AU12的檢測(cè)結(jié)果上相比其他方法的F1分?jǐn)?shù)稍低，原因是損失函數(shù)使用的權(quán)重削弱了模型對(duì)這些出現(xiàn)較多AU的關(guān)注，以及網(wǎng)絡(luò)輸入的人臉圖像尺寸為224×224相比AURCNN的512×512更小；在AU15、AU17上，由于這些AU實(shí)際區(qū)域較小，因此使用了多尺度特征提取的SRERL和AURCNN更有優(yōu)勢(shì)。在平均F1分?jǐn)?shù)上，本研究提出的方法也超過了其他方法。

表3給出了不同方法在DISFA數(shù)據(jù)集上對(duì)8個(gè)AU進(jìn)行檢測(cè)的性能，與BP4D類似，在AU1、AU2、AU9這些出現(xiàn)頻次較少的類別上，我們的模型仍能保持較好的檢測(cè)性能；此外，由于DISFA數(shù)據(jù)集標(biāo)簽相比BP4D具有更強(qiáng)的稀疏性，因此建模AU間的關(guān)系對(duì)于模型性能提升尤為顯著，從F1分?jǐn)?shù)平均值來(lái)看，本文的方法相比次優(yōu)的方法提升了5.8%，并且我們的方法對(duì)全部的AU檢測(cè)結(jié)果具有很高的穩(wěn)定性。

除此之外，表4和表5還給出了本研究模型在BP4D和DISFA數(shù)據(jù)集上的三折交叉驗(yàn)證的結(jié)果。雖然其他方法未提供三折交叉驗(yàn)證的結(jié)果，無(wú)法用此項(xiàng)作為對(duì)比，但仍然可以看出本研究方法在各折上檢測(cè)性能的標(biāo)準(zhǔn)差上均保持了較低值，這說(shuō)明本研究模型對(duì)不同的數(shù)據(jù)劃分方式具有很強(qiáng)的魯棒性。

表4 研究模型在BP4D數(shù)據(jù)集上的三折交叉驗(yàn)證結(jié)果

表5 研究模型在DISFA數(shù)據(jù)集上的三折交叉驗(yàn)證結(jié)果

3 討論

本研究將有關(guān)AU區(qū)域性的專家先驗(yàn)知識(shí)融合特征提取的過程中，使得模型能專注于與特定AU相關(guān)的人臉區(qū)域，從而提取具有更強(qiáng)表達(dá)能力的AU區(qū)域特征?？紤]到人臉不同AU在空間位置上的關(guān)聯(lián)性，本研究利用Transformer的編碼器結(jié)構(gòu)對(duì)AU間的關(guān)系進(jìn)行編碼，使得模型能夠充分考慮樣本的獨(dú)特性。為了有效解決具有多個(gè)AU標(biāo)簽的分類任務(wù)中的類別不平衡問題以及正負(fù)樣本不均衡問題，采用加權(quán)多標(biāo)簽交叉熵以及加權(quán)可微F1損失作為模型訓(xùn)練中的損失函數(shù)。在BP4D和DISFA數(shù)據(jù)集上的評(píng)測(cè)結(jié)果證明本研究提出的AU檢測(cè)方法與現(xiàn)有的主流方法相比具有更好的穩(wěn)定性，這種穩(wěn)定性不僅表現(xiàn)為對(duì)同一數(shù)據(jù)集上不同AU檢測(cè)性能的相對(duì)一致性，而且表現(xiàn)為對(duì)不同數(shù)據(jù)集上檢測(cè)性能的相對(duì)均衡性。