中國人微漸變情緒面孔庫的建立及分析評估

鄭飛宇,馮正直

(1.解放軍第94833部隊醫(yī)院,南昌 332100;2.陸軍軍醫(yī)大學(xué)醫(yī)學(xué)心理系,重慶 400038)

人常說:“月有陰晴圓缺,人有喜怒哀樂?！笨梢哉f情緒與生俱來,又無時無刻不在影響著人們,在我們的日常生活和工作中扮演著舉足輕重的角色。情緒是包含神經(jīng)系統(tǒng)在內(nèi)的多個系統(tǒng)綜合作用的結(jié)果,也是感知覺、記憶、思維等多個認知過程整合作用的結(jié)果,是人對環(huán)境與自身需要之間關(guān)系的評價產(chǎn)物。情緒既包括認知評價后的主觀感受,也包括由此引起的生理反應(yīng)和外部表現(xiàn),后者即是我們常說的表情。表情包含面部表情、姿態(tài)表情和語調(diào)表情,其中面部表情是最直接也最基本的表達方式之一(彭聃齡,2012)。古詩云:“嬉笑怒罵皆傳情,一顰一嗔總是詩?！边_爾文也早在1872年就提出了面部表情在人類社交活動中起著至關(guān)重要的作用,是人類適應(yīng)社會的基本功能(Charles et al.,1956)。心理學(xué)家Mehrabian認為面部表情在情緒表達上所占的作用達到55%以上(Wu et al.,2005)?？梢?面部表情是人類進行信息溝通傳遞的重要途徑,人們既可以通過面部表情來表達自己的態(tài)度和情感,也可以通過觀察對方的面部表情來了解和判斷對方的意圖和情緒。因此,面部表情一直被研究者們公認為是情緒認知研究的重要刺激材料,這不僅因為面部表情在人類社交活動中的重要性,也因為面部表情能較好地誘導(dǎo)被試的情緒,且其刺激相對純凈,便于操控(樂洪波 等,2009)。

正因為面部表情作為研究刺激材料的種種優(yōu)點,心理學(xué)家們從上世紀(jì)70年代起,開始一系列標(biāo)準(zhǔn)化的面孔情緒刺激材料的創(chuàng)建,其中不能不提的就是表情研究的先驅(qū)和專家Ekman及其團隊創(chuàng)建的IAPS(Bradley &Lang,2007;Limbrecht-Ecklundt et al.,2013)。然而多項研究發(fā)現(xiàn),不同種族和文化背景的人們在情緒加工上存在顯著差異(Grossmann et al.,2012;Marsh et al.,2003;Okazaki et al.,2002;Riley et al.,2002;Yan et al.,2016;楊紅升,黃希庭,2008)。因此,本世紀(jì)初開始,中國的科學(xué)家們也開始進行本土化表情圖片系統(tǒng)的創(chuàng)建和研究,其中被應(yīng)用最為廣泛的是羅躍嘉等人創(chuàng)建的中國面孔表情圖片系統(tǒng)(龔栩 等,2011)。這些本土化的情緒刺激材料被廣泛應(yīng)用于中國人的情緒認知研究中,但研究者們在使用這些材料的同時也發(fā)現(xiàn)了一些不足之處,比如缺乏同一面孔的多種情緒類型圖片,或者即使有同一面孔的某類情緒圖片,也缺乏其不同強度或不同愉悅度的序列圖片(劉靜 等,2019;趙艷麗 等,2020)。而有研究發(fā)現(xiàn)即使相同情緒強度的刺激材料,如果愉悅度不同,不僅其誘導(dǎo)的主觀體驗不同、生理喚醒不同,而且被試對之的識別正確率和認知傾向均有顯著差異,尤其對于情緒障礙個體,愉悅度指標(biāo)相較于情緒強度更敏感(滕騰 等,2007)。因此,我們擬創(chuàng)建一個能呈現(xiàn)同一個人從中性情緒向各種情緒轉(zhuǎn)變的不同情緒愉悅度等級的動態(tài)圖片系統(tǒng),以增加情緒面孔刺激材料在研究應(yīng)用中的生態(tài)效度,進一步豐富中國人情緒研究刺激材料。為情緒認知研究尤其是情緒障礙病人的甄別和預(yù)測提供有效的標(biāo)準(zhǔn)化工具。

1 對象與方法

1.1 研究對象

1.1.1 面部表情表演組為重慶市某高校表演系在校學(xué)生,共20人,其中男10人,女10人,年齡18～22歲,平均年齡(19.16±1.119)歲,身體健康,無精神疾患及重大心理問題。表演前告知實驗內(nèi)容,并獲得知情同意。

1.1.2 面部表情評定者為重慶市另一所高校的在校學(xué)生,共84人,年齡18～23歲,平均年齡(21.04±1.041)歲,身體健康,無精神疾患及家族史,視力或矯正視力正常。評定前告知實驗內(nèi)容,并獲得知情同意,實驗后付報酬。

本研究實施前已預(yù)先通過陸軍軍醫(yī)大學(xué)倫理委員會審核,所有被試實驗前均已知情同意。

1.2 研究材料

1.2.1 情緒面孔圖片的制備

每種情緒表演前讓表演者充分想象誘發(fā)這種情緒的場景,并給予表演者充足的時間醞釀情緒;表演時并不指導(dǎo)他們應(yīng)該做怎樣的面部動作,只是提示他們表現(xiàn)出相應(yīng)的表情,該方法已被證明是一種采集情緒面孔圖片的有效方法(龔栩 等,2011)。情緒誘導(dǎo)方法并未采用JAFFE表情數(shù)據(jù)庫樣本示例(Lyons et al.,1999)和相應(yīng)表情的面部肌肉動作指導(dǎo)語(Cohn et al.,2007),原因是考慮到不同種族不同文化群體具有表情特異性(Srinivasan &Martinez,2018;Tang et al.,2011),西方白人的表情指導(dǎo)并不一定適合中國人的情緒表達。

讓每位表演者分別表演出開心、悲傷、厭惡、恐懼、憤怒、驚奇、平靜7種基本面部表情,除平靜表情外的其它6種表情以低、中、高3個強度等級進行表演,每種情緒的同一強度等級拍攝8張。同一名專業(yè)人像攝影師使用同一臺數(shù)碼相機,在同一白色背景、相同光線條件下進行拍攝。拍攝前,將表演者的頭發(fā)劉海及耳邊碎發(fā)等都用發(fā)箍或發(fā)夾梳上去,保證整個面部(包括額頭、眉毛、眼睛、耳朵、鼻子、嘴巴)無遮擋,并摘掉配飾(包括眼鏡、耳環(huán)、項鏈等),僅拍攝頸部以上區(qū)域。所有拍攝統(tǒng)一用圖片處理系統(tǒng)PhotoshopCC2017進行處理,摳除頭發(fā)、耳朵和頸部等外部特征后只保留完整面部區(qū)域。并采用黑白圖片,統(tǒng)一為分辨率2904×3744像素,共得到情緒面孔圖片3040張。

1.2.2 情緒面孔圖片的篩選

先請本課題組參與拍攝過程的5名成員根據(jù)圖片拍攝質(zhì)量的好壞、圖片是否具有明確的情緒及表情表演者的自我反饋對收集到的圖片進行初步篩選,得到情緒面孔圖片2221張。然后由未參與拍攝的4名心理學(xué)專業(yè)研究生(男:女=1:1)依據(jù)圖片對所代表的情緒類型是否具有代表性和每名表演者的不同表情是否具有情緒強度的低中高三個等級進行再次篩選,最終篩選出圖片1133張(要求表演類型分別為憤怒179張,厭惡180張,恐懼178張,快樂179張,悲傷178張,驚奇179張,平靜60張)。

1.2.3 評價手冊的制作

研究對篩選出的1133張圖片進行了認可率和喚醒度、愉悅度、優(yōu)勢度的評定。評定方式是采取自評模式,評分者根據(jù)看到圖片時的即時感受判斷面部表情圖片的情緒類型,并采用瑟斯頓式9點量表對每張表情圖片進行喚醒度、愉悅度和優(yōu)勢度的評分(1為最弱,9為最強)。認可率:是指評定某圖片為某特定情緒的人數(shù)占總評分人數(shù)的百分比。喚醒度:圖片所表現(xiàn)的情緒強烈程度,情緒越弱,評分越接近1;情緒越強,評分越接近9。愉悅度:圖片讓評分者感受到的愉快程度,評分越接近9越愉快;評分越接近1越不愉快。優(yōu)勢度:評分者對圖片影響的控制程度,評分越接近9,評分者對圖片影響的控制程度越高;評分越接近1,評分者對圖片影響的控制程度越低。

1.3 評價測試實施

用Eprime2.0軟件編制程序呈現(xiàn)圖片,圖片大小統(tǒng)一為2904像素×3744像素。呈現(xiàn)圖片的電腦顯示器對比度、亮度、色彩均統(tǒng)一設(shè)置。圖片呈現(xiàn)時,請評定者以評價手冊為標(biāo)準(zhǔn),根據(jù)自己的即時感受對圖片進行情緒類型的判斷和情緒喚醒度、愉悅度和優(yōu)勢度的9點量表評分。圖片呈現(xiàn)時間由評分者掌握,每完成一張圖片的情緒類型分類和三維度評分后,程序會自動轉(zhuǎn)到下一張圖片,要求評分者以即時感受判斷,不做長時間思考。正式實驗前對評分者進行舉例講解并安排練習(xí),練習(xí)的圖片來自羅躍嘉表情庫(龔栩 等,2011),每種情緒類型一張,共7張。目的在于幫助被試了解實驗流程和評分標(biāo)準(zhǔn)。正式實驗時,每100張圖片休息一次。為避免疲勞對實驗結(jié)果的影響,實驗共分4次進行,分別為判斷情緒類型、喚醒度評分、愉悅度評分和優(yōu)勢度評分。同一評分者的4次實驗在一天內(nèi)完成。另外,從除平靜表情外(考慮到平靜表情在情緒類型判斷上容易產(chǎn)生歧義)的所有圖片中,每種情緒類型圖片隨機選出6張(共36張),復(fù)制后以隨機順序混入圖片識別實驗程序中作為評分穩(wěn)定性指標(biāo)。

1.4 統(tǒng)計分析

所有數(shù)據(jù)用SPSS 20.0統(tǒng)計軟件包進行統(tǒng)計分析,統(tǒng)計方法采用描述統(tǒng)計分析,獨立樣本t檢驗,單因素方差分析等。

1.5 圖組排列標(biāo)準(zhǔn)

將篩選出的所有合格圖片按同一表演者同一情緒類型分組,在正性情緒的圖組內(nèi)從平靜表情按愉悅度數(shù)值從低往高排序,在負性情緒圖組內(nèi)從平靜表情按愉悅度數(shù)值從高往低排序。

2 研究結(jié)果

2.1 評分穩(wěn)定性篩選

將評分者對36張重復(fù)呈現(xiàn)的圖片的情緒類型前后判斷一致的圖片所占比例作為判斷評分者認真完成實驗的指標(biāo)。剔除一致率在0.6以下的評分者,共13人。得到71名評分者的有效數(shù)據(jù)。

2.2 各情緒類型面孔圖片的的認同率

認同率標(biāo)準(zhǔn)是指參評人中認同某圖片為某特定情緒類型的人數(shù)占評分者總?cè)藬?shù)的百分比。有效數(shù)據(jù)表明,評分者對快樂表情的認同率最高,79.3%的快樂表情圖片認同率達到80%以上;而厭惡和恐懼表情的認同率在50%以下的圖片最多(見表1)?？鞓繁砬榈恼J同率絕大多數(shù)都很高的原因與評分者都是健康人群有關(guān),也與既往相關(guān)研究結(jié)果相符;厭惡、恐懼表情的認同率多集中在低分段的原因與這兩種表情屬于比較復(fù)雜的情緒有關(guān),也與既往研究結(jié)果相符。

表1 穩(wěn)定性篩選后的各類情緒圖片在不同認可率分?jǐn)?shù)段所占百分比%

2.3 各情緒類型面孔圖片的強烈程度分析

在1133張圖片中選出認同率70%以上的圖片(平靜表情圖片的認同率60%以上即可)。篩選平靜表情圖片的認可率低于其它情緒類型的表情圖片,是考慮到平靜表情的情緒強度低于其它情緒類型,容易產(chǎn)生歧義,而且此標(biāo)準(zhǔn)亦為既往相似研究常用(龔栩 等,2011;劉明礬 等,2012)。按此標(biāo)準(zhǔn)篩選后共得到圖片603張,其中憤怒86張,厭惡54張,恐懼2張,快樂165張,悲傷135張,驚奇54張,平靜107張。平靜表情的情緒喚醒度平均值最低,明顯低于其他情緒類型,且其標(biāo)準(zhǔn)差遠小于其它情緒類型,說明平靜表情的情緒喚醒度分?jǐn)?shù)最為集中,且集中于低強度區(qū)域,符合預(yù)期且說明篩選出的圖片具有較高的可靠性。剩余的6種情緒類型圖片中,除選出的恐懼表情過少(僅2張)不方便進行統(tǒng)計分析外,其它情緒類型圖片的強度分值域分布較寬,涵蓋了從低強度到高強度全域(具體見表2),這與我們的研究選取低中高3個情緒強度等級進行拍攝的情況基本相符。

表2 達到認可率篩選標(biāo)準(zhǔn)的圖片表情強度描述統(tǒng)計結(jié)果

我們對比了男女表演者的圖片被篩選出來的選出率(男52%,女54.1%),不同性別間沒有顯著差異(χ2=0.509,p=0.476)。

2.4 情緒三維度的描述統(tǒng)計分析

對最終篩選出的603張圖片進行喚醒度、愉悅度、優(yōu)勢度的描述性統(tǒng)計分析,可以看出喚醒度和優(yōu)勢度的標(biāo)準(zhǔn)差比愉悅度小,說明愉悅度評分分值分布更廣,且均值最小(見表3),這與以往研究結(jié)果一致(劉明礬 等,2012)。

表3 603張圖片情緒三維度評分的描述性統(tǒng)計分析

然后針對各情緒類型圖片分別進行情緒三維度的分析,數(shù)據(jù)見表4。表中可見,快樂表情的數(shù)量最多,其喚醒度和愉悅度最高,優(yōu)勢度最低;而平靜表情的喚醒度最低且優(yōu)勢度最高。說明快樂表情感染力更強,對評分者情緒的影響更大,而平靜表情則對評分者情緒的影響最小。

表4 各情緒類型面孔圖片的三維度分析

為了進一步說明三個情緒維度之間的關(guān)系,我們做了三者兩兩之間的分布散點圖。結(jié)果發(fā)現(xiàn)喚醒度與愉悅度成以愉悅度約4.5為對稱軸的側(cè)V型關(guān)系。當(dāng)愉悅度大于4.5時,愉悅度與喚醒度呈高度正相關(guān)(r=0.954,p<0.01);當(dāng)愉悅度小于4.5時,愉悅度與喚醒度呈高度負相關(guān)(r=-0.861,p<0.01)。優(yōu)勢度與愉悅度以愉悅度約4.5為對稱軸呈倒V型關(guān)系。當(dāng)愉悅度大于4.5時,愉悅度與優(yōu)勢度呈高度負相關(guān)(r=-0.959,p<0.01);當(dāng)愉悅度小于4.5時,愉悅度與優(yōu)勢度呈高度正相關(guān)(r=0.874,p<0.01)。喚醒度與優(yōu)勢度呈負相關(guān),說明隨喚醒度的增加,評分者對圖片影響的控制程度降低,更容易被圖片影響。詳見圖1。

圖1 情緒喚醒度、愉悅度、優(yōu)勢度兩兩之間的散點圖

2.5 不同情緒效價圖片的評分差異

按照日常生活對情緒效價的常識,我們將憤怒、厭惡、恐懼、悲傷歸為負性表情,快樂表情歸為正性表情,平靜表情歸為中性表情。為檢驗這種分類的有效性,我們對7類表情的愉悅度進行單因素方差分析,結(jié)果表明中性表情、快樂表情和驚奇表情與各類負性情緒之間兩兩差異顯著,而各類負性情緒之間的愉悅度無顯著差異,說明我們的分類有效(見表5)。

表5 各情緒類型圖片的愉悅度差異分析

之后,我們對按效價分類后的正中負性圖片在各情緒維度上進行了單因素方差分析,發(fā)現(xiàn)不同情緒效價的圖片給在各維度上的評分均有顯著差異。正負性表情的喚醒度顯著高于中性表情,優(yōu)勢度顯著低于中性表情;而正性表情的愉悅度顯著高于中性表情,中性表情的愉悅度顯著高于負性表情,這充分說明收錄的這些圖片具有良好的效價區(qū)分度(見表6)。

表6 不同效價表情圖片的情緒三維度比較

此外,我們對正中負三種情緒效價的圖片做愉悅度與喚醒度的分布散點圖(圖2),發(fā)現(xiàn)正負性表情的二者都高度正相關(guān)(r正=0.910,r負=-0.915,p<0.001),中性表情的愉悅度與喚醒度也顯著相關(guān)(r中=-0.260,p<0.01)。

淺灰點:中性圖片;中灰點:正性圖片;深灰點:負性圖片

最后,我們對不同性別表演者的表情圖片按不同效價做了情緒三維度的對比,發(fā)現(xiàn)正負性圖片在喚醒度和愉悅度上都存在顯著的性別差異,中性圖片則未發(fā)現(xiàn)此類差異(見表7)。

表7 不同效價圖片情緒三維度的性別差異

2.6 圖片序列分組結(jié)果

經(jīng)篩選后共得到圖片603張,其中正性表情圖片165張(男66張,女99張),全部為快樂表情;中性表情圖片107張(男53張,女54張),全部為平靜表情;負性表情圖片277張,包含憤怒表情圖片86張(男55張,女31張),悲傷表情圖片135張(男42張,女93張),恐懼表情圖片2張(女2張),厭惡表情圖片54張(男24張,女30張);另有因效價不明確而未納入正、中、負性表情圖片的驚奇表情圖片,共54張(男26張,女28張)。每張圖片都有獨立的情緒喚醒度、愉悅度及優(yōu)勢度評分、表情類別、性別及認同率指標(biāo)。形成的圖片組系統(tǒng)共包含同一個人面孔的不同情緒類型圖片序列78組,每一組包括同一個人的平靜表情和某種特定表情。其中,正性表情系列共有20組平靜-高興表情組圖片序列;負性表情系列共有44組表情組圖片序列,包括15組平靜-憤怒表情組圖片,18組平靜-悲傷表情組圖片序列,1組平靜-恐懼表情組圖片序列,10組平靜-厭惡表情組圖片序列;另有14組平靜-驚奇表情組圖片序列。每組序列都依愉悅度數(shù)值大小從平靜面孔向情緒面孔排列。

3 討論

本研究從取樣階段,增加了表演者從弱到強三個情緒強度的演繹,從實驗材料硬件設(shè)施、人員配備到實驗環(huán)境的設(shè)置、圖片的制作都保持同一性,并嚴(yán)格按標(biāo)準(zhǔn)進行篩選和評價,保證了入庫圖片的可靠性。圖片的選出率未發(fā)現(xiàn)顯著的性別差異,也說明不同性別表演者的演繹水平匹配,進一步說明入庫圖片的穩(wěn)定性。

除平靜表情認同率標(biāo)準(zhǔn)稍低以外,其它各類情緒類型圖片的認同率都在70%以上,說明納入本系統(tǒng)的圖片信度較高。所有圖片的愉悅度、喚醒度和優(yōu)勢度都顯著的高度相關(guān),愉悅度處于兩極時,喚醒度都較高,評分者對圖片的情緒優(yōu)勢度較低;而愉悅度處于中間水平時,則喚醒度較低,優(yōu)勢度較高。這與人類的情緒規(guī)律吻合,即非常愉快和非常不愉快的情緒,其情緒程度必然強烈,圖片刺激對情緒的支配也就越明顯。這也進一步說明本圖片系統(tǒng)圖片有較高的可靠性和代表性。

國內(nèi)最先編制也是應(yīng)用最為廣泛的CAPS和CAFPS(白露 等,2005;龔栩 等,2011;王妍,羅躍嘉,2005),在中國人的情緒認知研究,特別是情緒障礙性疾病患者的認知研究中取得了良好的信效度(韓冰雪 等,2020;李大志 等,2020;王芬 等,2021)。但是我們發(fā)現(xiàn),既往這些常用表情圖庫均按情緒類型分類,多為不同表演者的不同情緒類型圖片,缺乏同一面孔的多種情緒類型的系列圖片。而不同面孔由于面部結(jié)構(gòu)特征差異造成對實驗被試者影響不同,有可能會影響研究的基線比較。而本圖組系統(tǒng)的特點是收錄了同一個表演者的各種基本情緒面孔,使得研究更具有比較性。而且,同一面孔同一類情緒并非僅收錄一張而是收錄了由低到高的不同愉悅度等級的序列圖片。既往研究都是以情緒強度作為分級的標(biāo)準(zhǔn)(趙艷麗 等,2020),而對于情緒障礙類的研究,愉悅度是比情緒強度更為敏感的指標(biāo),實驗表明愉悅度不僅影響主觀體驗和生理喚醒度,而且影響被試對情緒面孔的識別準(zhǔn)確率和認知偏向(Reilly et al.,2006)。因此我們采用的是愉悅度作為等級劃分的維度,是一套新的可靠的標(biāo)準(zhǔn)化刺激材料。由于每組圖片都提供了該表演者的平靜表情圖片,因此可以使用圖片MORPH軟件生成從平靜表情到相應(yīng)表情的任意喚醒度或愉悅度的動態(tài)圖片。有研究表明,動態(tài)表情對情緒障礙類疾病的鑒別效能優(yōu)于靜態(tài)圖片(Sato et al.,2010;Xia et al.,2018),這與人類在社交活動中的適應(yīng)功能有關(guān)。而國內(nèi)鮮見此類刺激材料,本研究為動態(tài)表情的制作提供了標(biāo)準(zhǔn)化的素材。

本系統(tǒng)存在以下不足:一是經(jīng)篩選后不能保證每個表演者都有7種基本情緒的系列圖組,因此并不完整,還需后期繼續(xù)增大樣本量,擴充并完善本系列圖組;二是納入的恐懼情緒圖片數(shù)量非常少,這與前人研究結(jié)果相似(龔栩等,2011;劉明礬等,2012;王妍&羅躍嘉,2005)?？謶直砬閳D片的認同率較低,原因可能是因為恐懼表情不僅在表演者演繹時,而且在評分者辨別時都較容易與其它一些表情,尤其是驚奇表情相混淆(Ekman et al.,1987)。曾有研究者對恐懼表情的認同率較低做了驗證性研究,結(jié)果發(fā)現(xiàn)有約40%的被試將恐懼表情誤判為驚奇。從表情的形成與發(fā)展過程來看,恐懼表情經(jīng)常始于驚奇,因此含有與驚奇相似的成分。且現(xiàn)實生活中,人們對于恐懼情緒的識別不止依賴面部表情,身體表情是更受關(guān)注的線索,因此人們僅從面部表情來判斷恐懼情緒的能力有限(劉明礬 等,2012;趙科 等,2018)。將來補充恐懼表情時,一方面可以通過對表演者的精細化培訓(xùn)和指導(dǎo)以增加其對該情緒的理解即表現(xiàn)的準(zhǔn)確性,另一方面可在符合倫理的前提下適當(dāng)給予表演者相應(yīng)的情緒誘導(dǎo)。