抑郁障礙高危人群特質(zhì)測(cè)驗(yàn)中面部運(yùn)動(dòng)表情特征提取與識(shí)別

李志博，盧思萌，王加俊，黃 申，張 昀

(1蘇州大學(xué)電子信息學(xué)院電子信息工程系，江蘇 蘇州 215006； 2火箭軍工程大學(xué)政治系，陜西 西安 710025； 3西安交通大學(xué)電信學(xué)部信息與通信工程學(xué)院，陜西 西安 710049)

世界衛(wèi)生組織預(yù)測(cè)，抑郁癥將成為全球范圍內(nèi)引起死亡和殘疾的第二大疾病[1]。抑郁癥嚴(yán)重影響了軍人的身心健康和戰(zhàn)斗力的生成。因此，通過(guò)心理測(cè)量，實(shí)現(xiàn)對(duì)抑郁障礙高危人群的早期篩查，對(duì)于抑郁癥的預(yù)防具有很重要的意義。而這里的抑郁障礙高危人群是指具有抑郁易感人格特質(zhì)[2]，但尚未完全符合第五版《精神障礙和診斷手冊(cè)》(DSM-5)[3]診斷標(biāo)準(zhǔn)的人群。

心理測(cè)量可以反映認(rèn)知、情感、意識(shí)、技能、興趣、動(dòng)機(jī)等個(gè)人特征，既可用于篩查抑郁癥、自閉癥等心理疾病，也可用于性格測(cè)試、職業(yè)評(píng)估等。但傳統(tǒng)的心理測(cè)量手段，如觀察法、訪(fǎng)談法、問(wèn)卷法、實(shí)驗(yàn)法、心理物理法等[4]，容易受到主觀因素的影響。一方面，測(cè)量結(jié)果取決于心理醫(yī)師的專(zhuān)業(yè)素養(yǎng)；另一方面，由于無(wú)法記錄被試在篩查中的客觀情感狀態(tài)，測(cè)量結(jié)果容易受被試情緒、掩飾等因素干擾[5]。近些年，隨著生物神經(jīng)科學(xué)的發(fā)展，人臉[6]、眼動(dòng)[7]等客觀生理信息特征在精神障礙篩查中的研究備受關(guān)注。

在諸多的生理信息特征中，面部表情的變化是最直觀的，且與情緒障礙密切相關(guān)。抑郁癥患者的面部表情存在明顯與悲傷有關(guān)的特征：嘴角下拉、眉頭緊皺、皺紋加深、眼睛經(jīng)常哭的紅腫等[1]?，F(xiàn)有的文獻(xiàn)中報(bào)道了不少面部表情的測(cè)量方法，例如VERMA等[8]通過(guò)對(duì)區(qū)域容積差函數(shù)的量化來(lái)測(cè)量高維人臉形變，并對(duì)面部表情進(jìn)行分類(lèi)，生成臨床打分。WANG等[9]提出了一種全自動(dòng)方法，通過(guò)對(duì)每幀視頻的愉快、痛苦、憤怒、恐懼以及中性等情緒狀態(tài)的概率似然值的量化，來(lái)對(duì)視頻中的人臉表情進(jìn)行分析。HAMM等[10]發(fā)展了一種先進(jìn)的自動(dòng)人臉運(yùn)動(dòng)編碼系統(tǒng)，利用幾何和紋理特征實(shí)現(xiàn)對(duì)面部標(biāo)記的定位，從而分析視頻中精神障礙患者面部運(yùn)動(dòng)的動(dòng)態(tài)變化，幫助實(shí)現(xiàn)對(duì)患者的診斷。

雖然當(dāng)前利用面部特征對(duì)包括抑郁癥在內(nèi)的精神障礙人群進(jìn)行篩查的研究眾多[6]，但是利用面部特征對(duì)抑郁障礙高危人群進(jìn)行識(shí)別的研究則鮮有涉及。與文獻(xiàn)[6]中以六種基本情緒的短視頻片段為刺激材料，對(duì)被試面部視頻的采集與心理測(cè)量分開(kāi)進(jìn)行不同，本文以心理測(cè)量量表本身為刺激材料，在進(jìn)行心理測(cè)量的同時(shí)采集被試面部視頻數(shù)據(jù)，通過(guò)對(duì)被試在心理測(cè)量過(guò)程中面部數(shù)據(jù)的分析，實(shí)現(xiàn)對(duì)抑郁障礙高危人群的輔助心理測(cè)量。

1 方法與實(shí)驗(yàn)

1.1 方法

1.1.1 面部運(yùn)動(dòng)單元及其檢測(cè) EKMAN等[11]提出人臉運(yùn)動(dòng)編碼系統(tǒng)，該系統(tǒng)對(duì)特定人臉肌肉的運(yùn)動(dòng)(稱(chēng)為面部運(yùn)動(dòng)單元，action unit，AU)進(jìn)行編碼，反映了面部外觀上不同的瞬時(shí)變化。表1給出了常用的AU及其意義。這些AU及其不同的組合可以反映一個(gè)人的情緒特征，進(jìn)而反映個(gè)體的心理狀態(tài)和特質(zhì)。目前，已經(jīng)存在非常多的基于AU特征的精神障礙類(lèi)人群篩查研究，例如GAVRILESCU等[6]通過(guò)建立AU的強(qiáng)度特征矩陣，并利用前饋神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)抑郁、焦慮和壓力水平，HAMM等[10]通過(guò)AU在一段時(shí)間內(nèi)的發(fā)生頻次來(lái)對(duì)精神障礙類(lèi)人群進(jìn)行研究等。受此啟發(fā)，本研究從AU出發(fā)，對(duì)面部特征進(jìn)行深入的研究，發(fā)展基于面部特征的抑郁障礙高危人群的檢測(cè)算法。

表1 常用的AU及其意義

為了利用運(yùn)動(dòng)單元對(duì)抑郁障礙高危人群進(jìn)行檢測(cè)，本研究借助開(kāi)源人臉識(shí)別工具OpenFace2對(duì)表情采集處理系統(tǒng)記錄的視頻進(jìn)行面部標(biāo)記和AU識(shí)別[12]。該工具首先對(duì)人臉地標(biāo)進(jìn)行檢測(cè)，然后分別提取人臉外觀特征和幾何特征，并利用支持向量機(jī)(support vector machine, SVM)對(duì)AU進(jìn)行分類(lèi)，或者利用支持向量回歸(support vector regression, SVR)對(duì)AU強(qiáng)度進(jìn)行回歸處理。最終會(huì)生成表1中的18種AU及其對(duì)應(yīng)的強(qiáng)度值。本研究利用OpenFace2共檢測(cè)出17種AU(除去AU28)的強(qiáng)度變化，AU的采樣時(shí)間為0.101 s。

1.1.2 AU特征提取與抑郁障礙高危識(shí)別 針對(duì)每一個(gè)被試，借助于OpenFace2可以得到被試在心理測(cè)試過(guò)程中17個(gè)AU的原始時(shí)間序列。去除原始序列中與量表無(wú)關(guān)的部分AU 序列(量表準(zhǔn)備時(shí)的AU 序列、回答每道條目之前的校準(zhǔn)AU 序列等)，就可以得到被試相應(yīng)于量表所有條目的17個(gè)AU的時(shí)間序列。由于AU的時(shí)間序列中信息冗余，本文通過(guò)離散余弦變換(discrete cosine transform，DCT)[13]將AU的時(shí)間序列轉(zhuǎn)換到頻域，使得大部分信息集中在少數(shù)低頻系數(shù)上，從而降低特征的維數(shù)，提高特征的表征能力。設(shè)f(i)(i=0, 1, …,N-1)為AU時(shí)間序列，則其離散余弦變換為：

(1)

k=0, 1, …,N-1

其中，k為頻率，F(xiàn)(k)是頻譜系數(shù)，N為AU序列的采樣點(diǎn)數(shù)，c(k)為補(bǔ)償系數(shù)，使DCT的變換矩陣為正交矩陣。本文以式(2)給出的能量譜為基礎(chǔ)，構(gòu)造抑郁障礙高危人群的分類(lèi)模型：

zk=F2(k)

k=0, 1, …,N-1

(2)

其中，zk為頻率點(diǎn)k處的能量譜。

需要指出的是，由于每個(gè)被試完成每個(gè)條目所需的時(shí)間不同，在相同的采樣頻率下所得到的AU時(shí)序序列長(zhǎng)度也不同。因此，為了使得頻譜具有相同的頻率分辨率，需要進(jìn)行時(shí)域補(bǔ)零，保證樣本的時(shí)域序列長(zhǎng)度相等?？紤]到造成每個(gè)被試的AU時(shí)間序列長(zhǎng)度不同的原因是不同被試回答量表每道條目所用的時(shí)間不等，用時(shí)較短的被試在完成相應(yīng)的條目后就離開(kāi)了量表刺激這個(gè)測(cè)試環(huán)境，處于沒(méi)有任何刺激的靜息態(tài)，所以本文通過(guò)補(bǔ)零來(lái)使不同被試的AU時(shí)序序列長(zhǎng)度相同。有多種補(bǔ)零策略可供選擇，一種是對(duì)每一條目的AU序列進(jìn)行補(bǔ)零，使每一個(gè)被試在每一條目上的序列長(zhǎng)度相等；另一種策略是將所有的條目結(jié)合在一起進(jìn)行補(bǔ)零，使所有被試在整個(gè)心理測(cè)試期間的AU序列長(zhǎng)度相等。前者會(huì)使得AU序列的長(zhǎng)度大大增加，而后者雖然使得AU序列的長(zhǎng)度大大縮短，但是無(wú)法分析量表每個(gè)維度特征的分類(lèi)性能。所以，本文采用一種折中的做法，按照維度進(jìn)行補(bǔ)零操作，也就是說(shuō)使得每個(gè)被試相應(yīng)于每個(gè)維度的AU序列長(zhǎng)度相等。圖1給出了某一被試的AU01的時(shí)間序列及其頻譜。在進(jìn)行DCT變換后，AU01的能量多集中在低頻。鑒于此，本文篩選出各個(gè)維度下40%的低頻AU能量作為最終的特征。

為了均衡各個(gè)特征分量對(duì)分類(lèi)器的貢獻(xiàn)，首先對(duì)上述頻域特征進(jìn)行歸一化處理：

(3)

x=Azn

(4)

AU：面部運(yùn)動(dòng)單元。圖1 AU01樣例圖

本研究利用SVM[15]對(duì)以特征向量x為描述子的兩類(lèi)人群(健康人群和抑郁障礙高危人群)進(jìn)行分類(lèi)：

(5)

其中，xl為測(cè)試集中第l個(gè)被試的特征向量，xj為訓(xùn)練集中第j個(gè)被試的特征向量，αj為拉格朗日乘子，可以通過(guò)訓(xùn)練得到，b是分類(lèi)閾值，K(xl,xj)為SVM的核函數(shù)，這里選用線(xiàn)性核函數(shù)：

(6)

為了進(jìn)一步提高分類(lèi)模型的性能，本文結(jié)合SVM分類(lèi)器，對(duì)上述特征向量x的各分量進(jìn)行特征選擇，算法如下：

算法1：基于支持向量機(jī)的特征選擇與模型訓(xùn)練算法。

輸入：所有樣本的特征向量集Px={x1,x2, …,xns}，所有樣本的標(biāo)簽Plb={y1,y2, …,yns}，ns為樣本個(gè)數(shù)，L為特征向量長(zhǎng)度。

輸出： 最優(yōu)分類(lèi)模型αopt，最優(yōu)準(zhǔn)確率ACopt，最優(yōu)特征索引集Iopt。

初始化： 特征索引集I=[1, 2, 3…,L]，單個(gè)模型的準(zhǔn)確率AC=0，最優(yōu)模型準(zhǔn)確率ACopt=0，Iopt=I。

劃分：將Px劃分為訓(xùn)練集Xtr=[x1,x2,…,xntr]T和測(cè)試集Xte=[x1,x2, …,xnte]T，Plb劃分為訓(xùn)練集標(biāo)簽Ytr=[y1,y2, …,yntr]T和測(cè)試集標(biāo)簽Yte=[y1,y2, …,ynte]T，其中ntr是訓(xùn)練集的樣本個(gè)數(shù)，nte為測(cè)試集的樣本個(gè)數(shù)。

開(kāi)始：

當(dāng)I≠φ時(shí)，執(zhí)行循環(huán)：

利用訓(xùn)練集訓(xùn)練SVM模型：α=SVM-train(Xtr,ytr)；

利用測(cè)試集評(píng)估SVM模型，得出模型在測(cè)試集中的準(zhǔn)確率AC；

根據(jù)特征打分準(zhǔn)則ci=(wi)2對(duì)每個(gè)特征進(jìn)行打分；

更新訓(xùn)練集與測(cè)試集中的特征：Xtr=Xtr(:,I),Xte=Xte(:,I)。

若AC>ACopt，則

AC→ACopt；

α→αopt；

I→Iopt。

輸出：最優(yōu)模型αopt，準(zhǔn)確率ACopt，特征索引集Iopt。

結(jié)束。

1.2 實(shí)驗(yàn)

1.2.1 實(shí)驗(yàn)材料 本研究選用空軍軍醫(yī)大學(xué)研制的 “抑郁障礙高危人群特質(zhì)篩查量表”(Scale for High-Risk Population Trait of depressive disorder，SHPTDD)[16]進(jìn)行抑郁障礙高危人群的檢測(cè)。該量表共包含62道條目，分為悲觀消極、缺乏自信、急躁憂(yōu)慮、自責(zé)自罪、敏感退讓、心態(tài)脆弱共6個(gè)維度。這一量表經(jīng)過(guò)了長(zhǎng)達(dá)三年的測(cè)試，驗(yàn)證了其良好的可信度(狀態(tài)量表和特質(zhì)量表的Krumbach指數(shù)分別為0.956和0.962)。

1.2.2 實(shí)驗(yàn)對(duì)象 利用SHPTDD在某部隊(duì)開(kāi)展普測(cè)，共計(jì)519人參加普測(cè)。采用隨機(jī)對(duì)照的方法，將被試按SHPTDD得分和心理學(xué)專(zhuān)家訪(fǎng)談結(jié)果分為抑郁障礙高危組和健康對(duì)照組。

高危組：共16人，年齡19～32(平均22.71±4.24)歲，教育背景分別為高中、大專(zhuān)和本科。入組標(biāo)準(zhǔn)：①SHPTDD評(píng)分高于平均分?jǐn)?shù)兩個(gè)標(biāo)準(zhǔn)差(19.98±5.36)；②抑郁自評(píng)量表(Self-Rating Depression Scale，SDS)評(píng)分未達(dá)到抑郁標(biāo)準(zhǔn)(SDS<50分)；③經(jīng)心理學(xué)專(zhuān)家訪(fǎng)談確定為抑郁障礙高危人群。

對(duì)照組：選取在同樣測(cè)試條件下SHPTDD與SDS得分均正常且無(wú)精神障礙家族史18人，年齡19～32(平均23.36±3.62)歲，教育背景分別為中專(zhuān)、高中、大專(zhuān)和本科，SHPTDD得分13.14±3.21。

1.2.3 人臉數(shù)據(jù)采集 如前所述，本研究以SHPTDD為刺激材料，利用SciEye系列TM300設(shè)備[17](數(shù)據(jù)處理采用 SciOne開(kāi)放API接口[18])采集被試完成量表答題時(shí)的面部表情數(shù)據(jù)。該系統(tǒng)利用計(jì)算機(jī)進(jìn)行心理測(cè)試，將SHPTDD導(dǎo)入到計(jì)算機(jī)中，系統(tǒng)自動(dòng)將量表中的條目逐項(xiàng)呈現(xiàn)給被試。系統(tǒng)利用鍵盤(pán)按鍵記錄被試的回答選項(xiàng)，利用攝像頭記錄被試的人臉視頻數(shù)據(jù)。

1.2.4 性能指標(biāo) 本研究利用以下三個(gè)性能指標(biāo)對(duì)算法的性能進(jìn)行評(píng)估[6]：

①準(zhǔn)確率(accuracy, AC)：

(7)

②特異度(specificity, SP): 被模型正確預(yù)測(cè)的真陰性樣本個(gè)數(shù)與模型應(yīng)當(dāng)預(yù)測(cè)為其陰性的所有樣本個(gè)數(shù)之比。

(8)

③靈敏度(sensitivity， SE)：被模型正確預(yù)測(cè)的真陽(yáng)性樣本個(gè)數(shù)與模型應(yīng)當(dāng)預(yù)測(cè)為真陽(yáng)性的所有樣本個(gè)數(shù)之比。

(9)

其中，TP、TN、FN、FP分別表示真陽(yáng)性、真陰性、假陰性、假陽(yáng)性的樣例數(shù)，顯然，TP+FP+TN+FN=被測(cè)樣本總數(shù)。

2 結(jié)果

2.1 兩類(lèi)人群頻域特征的差異性分析

為了探究頻域AU特征的抑郁障礙高危表征能力，本文首先對(duì)兩類(lèi)人群(抑郁障礙高危人群和健康人群)在量表所有條目下的AU頻域特征差異性進(jìn)行了統(tǒng)計(jì)顯著性分析。在分析的過(guò)程中，分別求取高危人群和健康人群的每個(gè)AU在對(duì)應(yīng)頻率下的頻域特征的均值，得到均值向量，然后利用非參數(shù)t檢驗(yàn)(不滿(mǎn)足正態(tài)分布)對(duì)兩類(lèi)人群在每個(gè)頻率成分對(duì)應(yīng)的17種AU能量均值特征的差異顯著性進(jìn)行分析，以P<0.05為有顯著統(tǒng)計(jì)學(xué)差異(圖2)。結(jié)果顯示，兩類(lèi)人群的AU能量特征的差異主要集中在低頻部分。這為本研究提取低頻能量來(lái)構(gòu)建特征提供了理論依據(jù)。

圖2 頻域特征差異顯著性分析結(jié)果

2.2 兩類(lèi)人群分類(lèi)識(shí)別的結(jié)果分析

本研究在提取各個(gè)AU的低頻能量特征后，分別對(duì)特征集進(jìn)行歸一化以及PCA降維處理。在進(jìn)行PCA時(shí)，將處理后的特征維數(shù)降至原來(lái)特征維數(shù)的10%以下，保證特征維數(shù)不大于訓(xùn)練集樣本的個(gè)數(shù)。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)，各個(gè)維度下模型取得最優(yōu)分類(lèi)性能的特征維數(shù)見(jiàn)表2。結(jié)果顯示，PCA降維后，特征維數(shù)相比初始維數(shù)大大減少，這為避免分類(lèi)器訓(xùn)練中的“維數(shù)災(zāi)難”問(wèn)題，提高分類(lèi)器的泛化能力提供了可能。

表2 特征集在PCA降維前后的大小 (n=34)

利用算法1對(duì)PCA降維后的特征集進(jìn)行特征選擇和模型訓(xùn)練，采用五折交叉驗(yàn)證的方法，最終得出各個(gè)維度下抑郁障礙高危人群識(shí)別模型的平均AC、SP以及SE。表3分別給出了算法利用各維度上的面部特征以及全部條目上的面部特征數(shù)據(jù)建模并進(jìn)行五折交叉驗(yàn)證后在五個(gè)交叉驗(yàn)證模型上的AC、SP、SE的均值和標(biāo)偏差。

表3 不同量表?xiàng)l目維度下的模型分類(lèi)識(shí)別結(jié)果

當(dāng)利用不同維度的面部運(yùn)動(dòng)特征數(shù)據(jù)進(jìn)行建模時(shí)，其模型的分類(lèi)性能各不相同(表3)。在各維度中，“悲觀消極”這個(gè)維度上模型的SE最高，但是SP較低，在“自罪自責(zé)”維度上，模型的AC在所有維度上最高，達(dá)到0.80，SP和SE均較高，如果利用量表所有條目下的面部特征進(jìn)行建模，其在SE(0.90)、SP(0.87)、AC(0.88)上均高于其他單個(gè)維度的模型。說(shuō)明量表各個(gè)維度的刺激，對(duì)抑郁障礙高危人群的檢出均有貢獻(xiàn)。比較各維度模型性能的標(biāo)準(zhǔn)偏差，可以發(fā)現(xiàn)它們的標(biāo)準(zhǔn)偏差普遍大于所有條目下的分類(lèi)模型。

為了驗(yàn)證AU時(shí)序補(bǔ)零策略的合理性，本文使用雙三次插值算法將所有AU序列補(bǔ)足至相同長(zhǎng)度進(jìn)行建模，在所有條目上，當(dāng)原始特征維數(shù)降至23時(shí)SVM模型取得最優(yōu)性能：AC為0.85±0.16，SP為0.86±0.20，SE為0.88±0.14，其結(jié)果略差于補(bǔ)零策略，從實(shí)驗(yàn)上說(shuō)明了本文補(bǔ)零策略的合理性。為了說(shuō)明本文算法的優(yōu)越性，還嘗試了利用K-近鄰、決策樹(shù)、隨機(jī)森林等算法，在所有量表?xiàng)l目下，對(duì)經(jīng)過(guò)PCA降維的特征向量進(jìn)行了建模，其分類(lèi)性能如表4所示。

表4 量表所有條目下不同分類(lèi)模型的性能比較

K-近鄰算法的特征維數(shù)為25，近鄰數(shù)為13；決策樹(shù)算法的特征維數(shù)取23；隨機(jī)森林的特征維數(shù)取27。

結(jié)果顯示，隨機(jī)森林表現(xiàn)要優(yōu)于K-近鄰和決策樹(shù)，但劣于本文所提算法。為了進(jìn)一步說(shuō)明本文算法的優(yōu)越性，表4中列出了前饋神經(jīng)網(wǎng)絡(luò)分類(lèi)器對(duì)所有條目下的面部運(yùn)動(dòng)特征進(jìn)行建模的分類(lèi)性能[6]。由于本研究所用的視頻采集系統(tǒng)的采樣率約為10幀/s(文獻(xiàn)[6]中為30幀/s)，所以這里將與量表相關(guān)的10幀視頻的AU堆疊成長(zhǎng)度為170(17個(gè)AU)的特征向量作為神經(jīng)網(wǎng)絡(luò)的輸入。由于本研究只有兩類(lèi)人群，所以輸出為兩個(gè)神經(jīng)元，分別代表判定為兩類(lèi)人群的概率。為了方便比較，也將樣本按被試分成五份，其中四份訓(xùn)練一份測(cè)試，進(jìn)行交叉驗(yàn)證。在訓(xùn)練時(shí)，將訓(xùn)練集中與量表相關(guān)的視頻切分成10幀/組，與其對(duì)應(yīng)的標(biāo)簽(健康或抑郁障礙高危)構(gòu)成訓(xùn)練樣本集，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在測(cè)試的時(shí)候，在被試的視頻中截取5段10幀的視頻，分別送到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，進(jìn)行判別。如果5段視頻的判別結(jié)果相同則視為判別成功。為了獲得被試最后的判決結(jié)果，對(duì)同一被試在所有5段視頻上的判決結(jié)果進(jìn)行投票，多數(shù)票對(duì)應(yīng)的判決結(jié)果為該被試的判決結(jié)果。表4的結(jié)果同樣說(shuō)明，本文算法的分類(lèi)性能要優(yōu)于文獻(xiàn)[6]的前饋神經(jīng)網(wǎng)絡(luò)模型。

3 討論

從系統(tǒng)分析的角度看，每一個(gè)被試都是一個(gè)復(fù)雜的系統(tǒng)。心理測(cè)量的過(guò)程就是一個(gè)系統(tǒng)辨識(shí)的過(guò)程，其中量表就是這個(gè)系統(tǒng)的激勵(lì)，而被試對(duì)量表中每一個(gè)條目的回答就是系統(tǒng)的響應(yīng)。正如前文指出的那樣，一方面，由于被試的誠(chéng)實(shí)度等問(wèn)題，這一響應(yīng)缺乏相應(yīng)的印證，導(dǎo)致心理醫(yī)生對(duì)被試進(jìn)行系統(tǒng)辨識(shí)的結(jié)果存在一定的不確定性；另一方面，由于受心理醫(yī)生專(zhuān)業(yè)素養(yǎng)的影響，其進(jìn)行系統(tǒng)辨識(shí)的能力也存在著差異，對(duì)被試進(jìn)行心理辨識(shí)的結(jié)果也存在主觀性。正是鑒于此，本文采集被試的面部運(yùn)動(dòng)特征，利用計(jì)算機(jī)自動(dòng)進(jìn)行輔助心理測(cè)量，使得其結(jié)果能和心理醫(yī)生的心理測(cè)量的結(jié)果相互印證，從而提高心理測(cè)量的可靠性。

本研究和現(xiàn)有的一些利用面部運(yùn)動(dòng)特征進(jìn)行心理檢測(cè)的方法相比存在很大的區(qū)別：首先本文緊扣心理測(cè)量過(guò)程，以心理測(cè)量量表作為刺激材料，在傳統(tǒng)心理測(cè)量的同時(shí)采集面部視頻數(shù)據(jù)、提取面部運(yùn)動(dòng)特征并分類(lèi)。而現(xiàn)有的一些方法，例如文獻(xiàn)[6]中，被試的刺激材料為代表不同情緒的視頻片段。由于情感問(wèn)卷以及自分析問(wèn)卷是在視頻刺激完成以后進(jìn)行的，所以該方法所采集的被試面部視頻不能反映被試在完成問(wèn)卷時(shí)的心理狀態(tài)，因而也就無(wú)法窺探被試在回答問(wèn)卷時(shí)的誠(chéng)實(shí)度；其次，量表刺激是心理學(xué)家經(jīng)過(guò)大量的理論和實(shí)驗(yàn)研究得出的結(jié)果，其科學(xué)性、系統(tǒng)性要高于簡(jiǎn)單的視頻刺激；最后，心理測(cè)量是一個(gè)完整的過(guò)程，心理醫(yī)生通過(guò)利用量表不同條目對(duì)被試的刺激，測(cè)量被試的心理特質(zhì)和狀態(tài)。因此，理論上講應(yīng)該直接對(duì)心理測(cè)量過(guò)程中所記錄的完整面部視頻進(jìn)行分析建模。但是由于數(shù)據(jù)量巨大，會(huì)給數(shù)據(jù)分析帶來(lái)很大的困難。為此，文獻(xiàn)[6]利用前饋神經(jīng)網(wǎng)絡(luò)對(duì)被試面部視頻片段進(jìn)行建模并實(shí)現(xiàn)心理測(cè)量。但是這種思路破壞了心理測(cè)量的完整性，因?yàn)樗焕昧吮辉嚥糠置娌恳曨l片段進(jìn)行判別，而這些視頻片段不能完整地表征被試的特性，所以模型性能比較差，這與本文只利用部分維度的視頻進(jìn)行判別、模型性能較差的現(xiàn)象是一致的。為了利用完整的面部視頻數(shù)據(jù)進(jìn)行分析建模，本文通過(guò)離散余弦變換將AU的時(shí)間序列轉(zhuǎn)換到頻域，使得AU所包含的信息集中于少數(shù)低頻的特征上，從而大大減少數(shù)據(jù)量(本文僅抽取了40%的低頻特征)。通過(guò)PCA去除特征間的相關(guān)性并進(jìn)一步降低特征的維數(shù)。利用特征選擇算法挑選出極少數(shù)具有較強(qiáng)分辨能力的特征構(gòu)建相應(yīng)的分類(lèi)模型，取得了較高的分類(lèi)性能。本文之所以選擇SVM分類(lèi)器進(jìn)行建模，一方面是考慮到SVM特別適合于對(duì)小樣本進(jìn)行建模，另一方面利用該方法可以很方便地實(shí)現(xiàn)封裝型特征選擇。本實(shí)驗(yàn)也驗(yàn)證了該分類(lèi)器相對(duì)于K-近鄰、決策樹(shù)、隨機(jī)森林等分類(lèi)器的優(yōu)勢(shì)。

但是，本研究也存在一些缺點(diǎn)。本研究給出的結(jié)果是五折交叉驗(yàn)證的結(jié)果，由不同訓(xùn)練集得到的分類(lèi)器在測(cè)試集上的分類(lèi)性能存在較大的差異(標(biāo)準(zhǔn)偏差比較大)，主要原因是本文用到的樣本較少，多樣性不夠，所以該方法還需要在大樣本集上進(jìn)行訓(xùn)練測(cè)試。今后的工作可以從以下幾個(gè)方面進(jìn)行改進(jìn)：首先，在處理AU時(shí)序序列的時(shí)候，由于不同被試答題的時(shí)間不一樣，所以AU時(shí)序序列的長(zhǎng)度不一樣，為此本文直接進(jìn)行了補(bǔ)零操作，這勢(shì)必會(huì)使得分類(lèi)性能受AU時(shí)序長(zhǎng)度的影響，為了避免補(bǔ)零操作，考慮采用多層長(zhǎng)短期記憶網(wǎng)絡(luò)，將輸入序列映射成固定長(zhǎng)度的向量；其次，本文利用了簡(jiǎn)單的離散余弦變換以及PCA來(lái)提取特征，在樣本數(shù)增加的前提下，未來(lái)將考慮采用卷積自編碼器來(lái)提取更加魯棒和緊湊的特征，提高分類(lèi)器性能。