自然場景與身體動作對面孔表情識別的影響*

白 鷺 毛偉賓 王 蕊 張文海

(1山東師范大學心理學院,濟南 250014)(2成都大學教育科學研究院,成都 610106)(3遼寧師范大學腦與認知研究中心,大連 116029)

1 引言

面孔表情是識別情緒的一個非常重要的信息來源,受到情緒認知研究者的廣泛關(guān)注。長期以來,受到 Darwin普遍面孔表情觀點的影響,研究者大都認為存在幾種普遍通用的基本情緒,個體可以通過面孔表情結(jié)構(gòu)直接讀出他人的情緒(Ekman,1992;Lindquist,Wager,Kober,Bliss-Moreau,&Barrett,2012)。所以,面孔表情識別研究(Adolphs,2002;Susskind,Littlewort,Bartlett,Movellan,&Anderson,2007)及面孔的相似性判斷研究(Flowe &Bessemer,2011;陰國恩,楊文,肖艷麗,王正光,2013;肖艷麗,陰國恩,楊文,2015)等大多是孤立地從面孔本身的結(jié)構(gòu)特征方面進行的。但現(xiàn)實生活中,情緒面孔很少孤立出現(xiàn),它總是出現(xiàn)在特定的情境中。例如,憤怒的面孔總是伴隨著握緊的拳頭,悲傷的面孔常常出現(xiàn)在葬禮上,而厭惡面孔似乎總會和冰箱后面一塊發(fā)霉的食物一起出現(xiàn)等。因此,情境對面孔表情識別的影響逐漸受到廣泛的重視。近期,越來越多的研究發(fā)現(xiàn),個體對情緒面孔的識別經(jīng)常會受到面孔表情所處情境的影響,即面孔表情的識別具有情境效應(Lindquist,Barrett,Bliss-Moreau,&Rusull,2006;Hassin,Aviezer,&Bentin,2013)。這里的情境(context)是指與中心面孔表情有關(guān)聯(lián)的背景信息或要素,包括自然場景、身體姿勢、語言文字以及周圍他人的面孔表情(Masuda et al.,2008)等。

Righart和de Gelder (2008b)以自然場景圖片做為情境信息時發(fā)現(xiàn)了面孔表情識別的情境效應。他們將表達厭惡、恐懼和開心的面孔表情與同樣誘發(fā)這3種情緒的自然場景互相匹配,利用面孔與自然場景的情緒一致性測量個體對面孔表情識別的錯誤率和反應時。結(jié)果發(fā)現(xiàn)面孔表情識別的錯誤率在面孔與自然場景情緒一致時顯著低于不一致時,并且這種情境的影響在增加任務負荷時依然很強,說明面孔表情識別的情境效應是十分強勁的。Righart和de Gelder (2006)采用ERPs技術(shù),探討圍繞著面孔表情的視覺場景是否會影響對面孔表情的加工時曾發(fā)現(xiàn),與單獨面孔表情引發(fā)的 N170相比,伴隨有情境信息的面孔加工的N170波幅有明顯降低,說明N170對情境信息的存在非常敏感。更重要的是,他們將開心、恐懼的面孔表情與開心、恐懼以及中性的自然場景相匹配,進一步測量 N170成分在面孔表情識別任務中的變化時發(fā)現(xiàn),N170受到了情境所具有的情緒信息的影響。即與中性自然場景中的恐懼面孔相比,恐懼自然場景中的恐懼面孔引發(fā)的 N170波幅更負性(Righart &de Gelder,2008a)。作為面孔構(gòu)形加工早期階段的指標,N170的變化足以說明面孔表情信息與自然場景信息的結(jié)合非常迅速,即個體在加工的早期階段就能夠利用自然場景信息來區(qū)分面孔表情。

先前研究主要通過不同情境下面孔表情識別成績的差異來推斷情境所受的影響,與之不同,2010年,Barrett和Kensinger通過計算自然場景的再認正確率直接對其加工程度進行了分析。他們分別考察了被試對面孔表情(消極面孔與中性面孔)進行表情識別(label the facial expression with an emotion word)和可接近性判斷(make an affective judgment of the face—to approach or avoid it)兩種任務中對自然場景的再認正確率。結(jié)果發(fā)現(xiàn),面孔表情識別任務中的場景再認成績要高于面孔可接近性判斷任務的再認成績,尤其對識別消極面孔表情而言。這說明在識別消極面孔表情時,被試需要利用一切可利用的情境信息,識別中性面孔則只依靠面孔本身的結(jié)構(gòu)特點就足以進行判斷,不需要對情境進行編碼。但該研究將不同情緒類型(厭惡、恐懼、中性)的面孔均與中性自然場景相匹配,此時識別消極面孔表情時,對中性自然場景信息的依賴,是否與面孔表情與自然場景間的情緒不一致有關(guān)？Righart和de Gelder (2008b)發(fā)現(xiàn)在面孔表情與自然場景情緒不一致時對面孔表情的識別成績更差。但鮮有研究考察當面孔表情與自然場景同為消極情緒(如厭惡或者恐懼)時,厭惡或恐懼面孔與厭惡或恐懼自然場景間的情緒一致性是否也會影響自然場景的加工程度。因此考察面孔與自然場景的情緒一致性對面孔表情識別情境效應的影響還是非常有價值的。

另外,除自然場景外,面孔還通常伴隨著身體一起出現(xiàn),身體動作不僅像面孔表情一樣具有表達性,而且與面孔的加工共享著許多認知與腦活動(de Gelder,2006;Yovel,Pelc,&Lubetzky,2010),對情緒性身體動作的加工與面孔表情的加工具有相似性(張丹丹,趙婷,柳昀哲,陳玉明,2015),因此,身體動作對面孔表情識別的影響也受到了研究者的重視。Meeren,van Heijnsbergen和 de Gelder(2005)研究發(fā)現(xiàn),當身體動作和面孔表情的情緒匹配不一致時(比如憤怒面孔與恐懼的身體動作匹配),盡管被試對面孔進行快速分類的反應時會變慢、準確率會降低,但個體仍然更傾向于忽略身體動作而將面孔進行正確分類。因此,他們認為盡管基本面孔表情的感知可能受身體動作的調(diào)節(jié),但面孔表情的情緒分類基本不受身體動作的影響。Aviezer,Hassin和 Ryan等人(2008)則認為先前研究并未考慮情緒間感知相似性對結(jié)果帶來的影響,厭惡、恐懼、悲傷及憤怒這些消極情緒之間的相似程度是不同的。他們將面孔表情與身體動作之間的情緒相似程度分為 4個水平進行相互匹配：低相似(厭惡與恐懼)、中相似(厭惡與悲傷)、高相似(厭惡與憤怒)、一致性(厭惡與厭惡)。結(jié)果發(fā)現(xiàn)即使在視覺的早期階段,身體動作對面孔表情的識別也有很大影響：面孔表情與身體動作間的情緒越相似,身體動作對面孔表情識別的影響程度就越強。隨后,Aviezer,Trope和 Todorov (2012)利用經(jīng)典面孔合成效應范式進一步考察面孔與身體動作的整合加工機制,結(jié)果同樣說明了個體將面孔和身體作為一個整體單元來加工,面孔與身體動作之間的情緒一致性以及相似程度會促進或阻礙情緒面孔的識別。

來自眼動實驗的結(jié)果同樣發(fā)現(xiàn)當面孔表情與身體動作的情緒不一致時,對面孔表情的注視模式會受到身體動作所表達的情緒的影響。如當給被試呈現(xiàn)憤怒面孔與厭惡身體動作的復合圖片時,被試對憤怒面孔的注視模式受身體動作情緒的影響,會表現(xiàn)出與對厭惡面孔相一致的注視模式變化(Aviezer,Hassin,Bentin,&Trope,2008)。由于注視模式是不受意識控制的,因此身體動作對面孔表情識別的影響是發(fā)生在認知階段早期的自動化加工過程。Aviezer,Bentin,Dudarev和Hassin (2011)也發(fā)現(xiàn)情緒性面孔與身體的整合是自動化的,它不受個體意識的控制,即使通過指導語和金錢獎勵要求被試避免利用身體動作時,面孔表情的識別還是會受到身體動作的影響,甚至在一定認知負荷下身體動作的影響也無法消除。上述一系列研究的結(jié)果均表明面孔表情識別并不像基本情緒理論假定的那樣簡單和直接,不僅自然場景會影響面孔表情識別,身體動作也可以改變面孔表情的情緒類別,更重要的是情境對面孔識別的這些影響是發(fā)生在認知階段早期的自動化加工過程。但尚不明確當面孔與自然場景在情緒匹配一致或不一致時,與自然場景情緒相沖突身體動作的加入會對面孔表情的識別產(chǎn)生何種影響。即在面孔?場景復合圖片中加入與自然場景情緒相沖突的身體動作時,相比于無身體動作條件,傳達沖突信息的身體動作會怎樣影響面孔表情的識別。

值得強調(diào)的是,以往許多關(guān)于面孔表情識別的研究往往將提供的語言文字標簽作為一個無關(guān)緊要的特征,較少對其可能產(chǎn)生的影響進行考察。但有研究提出面孔表情和文字背景對判斷他人情緒同等重要(Goodenough &Tinker,1931)。Russell(1994)也曾發(fā)現(xiàn),是否提供情緒性語言標簽,會直接影響被試對面部表情的識別速度及準確率。當不提供情緒性語言標簽,要求被試利用面孔動作間的結(jié)構(gòu)相似性將面孔表情進行匹配時(如兩個皺眉的面孔可以匹配,一個皺眉的面孔和一個撅嘴的面孔不匹配),準確率降到42%;然而,當要求被試從情緒性語言標簽中選擇一個與目標面部表情相匹配時,準確率顯著提高(83.4%)。這說明,情緒性語言標簽會產(chǎn)生自上而下的知覺影響,從而對被試的面部表情識別起促進作用。近期研究也發(fā)現(xiàn)個體對情緒概念的加工和對面孔的知覺加工之間存在相互影響(劉文娟,沈曼瓊,李瑩,王瑞明,2016)。尤其當個體使用詞匯來描述或標示面孔的情緒方面的特征時,對語言文字的加工更是不容忽視,研究發(fā)現(xiàn),對面孔進行情緒標注能夠起到抑制個體負性情緒的作用(白學軍,岳鵬飛,2013;岳鵬飛,杜婉婉,白學軍,許遠理,2015)。但先前相關(guān)研究中所提供的情緒性語言標簽選項數(shù)量,均與要判斷的面孔表情的情緒類別個數(shù)相一致。例如,面孔表情有厭惡、恐懼、開心三類,給被試提供了厭惡、恐懼、開心三種情緒類別的語言標簽選項,要求被試從中選擇一個符合圖片中面孔表情的情緒類別(Righart &de Gelder,2008b)。顯然,此時語言文字標簽會作為一種背景與其他情境因素(例如自然場景或身體動作)產(chǎn)生共同作用,從而影響個體的面孔識別。那么,如果增加情緒性語言標簽選項數(shù)量,就會降低語言標簽對面孔表情識別的影響,從而更好地考察自然場景以及身體動作對面孔表情識別的作用。

因此,本研究擬采用Barrett和Kensinger (2010)的實驗范式,同時考察面孔的表情識別和自然場景的再認成績,通過2個實驗擬解決如下幾個問題：(1)在兩個實驗中均為被試提供 5個情緒性語言標簽選項(恐懼、厭惡、悲傷、憤怒、中性),盡量擴大被試的選擇范圍,減少語言標簽對個體識別能力的促進作用?？疾煸跍p少了情緒性語言標簽影響的情況下,面孔表情識別的情境效應是否會受到影響;(2)使用同為消極情緒,但感知相似性較低的情緒類型(厭惡、恐懼),探討面孔表情與自然場景情緒匹配一致或不一致時,面孔表情的識別以及自然場景加工所受的影響;(3)考察當自然場景與身體動作提供不一致的情緒信息時,身體動作是否會干擾自然場景對面孔表情識別的影響。即當面孔與場景情緒一致時,不一致的身體動作會對面孔的表情識別以及自然場景的再認帶來怎樣的影響？當面孔與場景情緒不一致時,一致的身體動作又會對二者的成績帶來怎樣的影響呢？

2 實驗1 自然場景對面孔表情識別的影響

2.1 實驗目的

本實驗主要使用消極情緒間感知相似性較低的厭惡、恐懼情緒,探討面孔表情與自然場景間的情緒一致性如何影響面孔表情的識別以及自然場景的加工。同時,考察增加情緒性語言標簽選項數(shù)量后,面孔表情的識別是否會受到自然場景情緒的影響。

2.2 研究方法

2.2.1 被試

選取 30名山東師范大學在校大學生(男生 15名,女生15名)進行實驗。對超出3個標準差以外的個別數(shù)據(jù)進行剔除。所有被試視力或矯正視力正常,無色盲或色弱情況,無精神疾病史,均為自愿參加本實驗,且之前沒有參加過類似的實驗,實驗結(jié)束之后贈送小禮物。

2.2.2 實驗材料

面孔表情圖片選自Ekman和Friesen (1976)面孔圖片數(shù)據(jù)庫和羅躍嘉面孔情緒圖片庫,由 20名不參與正式實驗的山東師范大學在校大學生進行評定。評定者逐一觀看每張孤立呈現(xiàn)的面孔表情圖片,并對其情緒做出判斷。最終選取出9名女性分別表達厭惡、恐懼的圖片共34張,其中厭惡與恐懼各 17張。同時,從中國情感圖片系統(tǒng)(CAPS)和網(wǎng)絡圖片庫中選取彩色消極自然場景圖片(如：骯臟的小湖等)。由 8名本科生對圖片首先進行情緒判斷(D=厭惡,F=恐懼),而后對其情緒效價和喚醒度分別從“幾乎沒有”到“非常強烈”做7點量表評分。根據(jù)Kensinger,Garoff-Eaton和Schacter (2007)的標準(喚醒水平大于 4、效價水平小于 3)選取厭惡、恐懼的消極自然場景圖片各17張,共34張,各情緒類型之間的效價和喚醒水平之間沒有差異(ps >0.05)。將面孔表情圖片與自然場景圖片互相匹配,最終得到 68張面孔?場景復合圖片,其中面孔?場景情緒一致圖片(厭惡面孔?厭惡場景、恐懼面孔?恐懼場景)和面孔?場景情緒不一致圖片(厭惡面孔?恐懼場景、恐懼面孔?厭惡場景)各 34張。由于預實驗結(jié)果顯示面孔呈現(xiàn)在場景的中心還是四周對面孔的表情識別正確率以及場景的再認正確率的影響沒有顯著差異,因此在正式實驗中面孔表情隨機呈現(xiàn)在場景圖片的5個方向(中心、左上、左下、右上、右下),見圖1。

記憶再認階段的材料由 54張自然場景圖片組成,其中34張在面孔情緒識別中呈現(xiàn)過,20張為未呈現(xiàn)過的新圖片(厭惡、恐懼各10張)。

圖1 實驗1面孔表情識別材料

2.2.3 實驗設(shè)計

采用 2(面孔情緒：厭惡、恐懼)×2(面孔?場景情緒一致性：一致、不一致)的被試內(nèi)設(shè)計。因變量為面孔表情識別的正確率和反應時、場景再認的正確率和反應時。

2.2.4 實驗程序

所有被試單獨施測,均需完成相同順序的3個實驗任務：面孔的表情識別任務、分心任務以及場景再認任務,實驗時長約20 min。在面孔表情識別階段,要求被試仔細觀看屏幕中呈現(xiàn)的圖片,并對圖片中面孔所表達的情緒進行判斷。每一張面孔?場景復合圖片的呈現(xiàn)時間為 500ms,被試需從給定情緒性語言標簽選項中,又快又準地選擇一個符合圖片中面孔表情的情緒類別,并用鍵盤上相應的按鍵(1=恐懼、2=厭惡、3=憤怒、4=悲傷、5=中性)表示。在分心任務階段中,被試需觀看一個2 min左右的動畫視頻,以便于消除短時記憶對自然場景再認結(jié)果帶來的影響(Barrett &Kensinger,2010)。分心任務過后進入場景的再認測驗階段,此階段不限制圖片的呈現(xiàn)時間,要求被試對單獨呈現(xiàn)的自然場景圖片做出是否在面孔表情識別任務中出現(xiàn)過的判斷：出現(xiàn)過,按“J”鍵;沒有出現(xiàn)過,按“F”鍵。

2.3 實驗結(jié)果

2.3.1 面孔表情識別的正確率和反應時

分別以面孔表情識別的正確率和反應時(見表1)為因變量,進行 2(面孔情緒：厭惡、恐懼)×2(面孔?場景情緒一致性：一致、不一致)的重復測量方差分析,結(jié)果表明：面孔表情識別正確率的面孔情緒主效應不顯著,F(1,29)=2.85,p=0.102,面孔?場景情緒一致性主效應顯著,F(1,29)=85.48,p<0.001,=0.747,對面孔表情識別的正確率在面孔?場景情緒一致時顯著高于不一致時。二者的交互作用不顯著,F(1,29)=0.38,p=0.544。面孔表情識別反應時的面孔情緒主效應不顯著,F(1,28)=0.45,p=0.508,面孔?場景情緒一致性主效應顯著,F(1,28)=45.68,p<0.001,=0.620,面孔表情的識別反應時在面孔?場景情緒一致時顯著短于不一致時。二者的交互作用邊緣顯著,F(1,28)=3.51,p=0.072,=0.111。進一步簡單效應分析發(fā)現(xiàn),對厭惡面孔及恐懼面孔表情的識別在面孔?場景情緒一致時的反應時均顯著短于面孔?場景情緒不一致時[F(1,28)=24.31,p<0.001,F(1,28)=25.63,p<0.001],且對厭惡面孔表情的識別受面孔?場景情緒一致性影響更大。

表1 不同情緒場景中面孔表情識別的正確率和反應時(ms)(M±SD)

2.3.2 場景再認的正確率和反應時

分別以場景的再認正確率和反應時(見表2)為因變量,進行 2(面孔情緒：厭惡、恐懼)×2(面孔?場景情緒一致性：一致、不一致)重復測量方差分析,結(jié)果發(fā)現(xiàn)：場景再認正確率的面孔情緒主效應不顯著,F(1,28)=2.15,p=0.154,面孔?場景情緒一致性主效應顯著,F(1,28)=5.89,p<0.05,=0.174,場景的再認正確率在面孔?場景情緒一致時顯著低于不一致時,二者的交互作用不顯著。場景再認反應時的主效應和交互作用均不顯著(ps >0.05)。

表2 匹配不同情緒面孔的場景平均再認正確率和反應時(ms)(M±SD)

2.4 討論

實驗1研究結(jié)果發(fā)現(xiàn),增加情緒性語言標簽選項的數(shù)量控制語言標簽對面孔識別的促進作用后,自然場景的情緒性對面孔表情識別的影響依舊顯著：面孔?場景情緒一致時的面孔表情識別正確率顯著高于面孔?場景情緒不一致時的面孔表情識別正確率。這說明當面孔?場景情緒不一致時,面孔表情的識別受不一致自然場景信息的影響,使得被試對面孔表情的識別正確率更低,同時反應時更長,這與前人研究一致(Righart &de Gelder,2008b)。

同時實驗 1也發(fā)現(xiàn),場景的再認正確率在面孔?場景情緒一致時顯著低于不一致時,顯然面孔表情與自然場景間的情緒沖突,使得被試需要依賴對自然場景的加工,因而提高了對自然場景的記憶成績。這進一步說明不僅對消極面孔?中性場景,情緒間的一致性關(guān)系會影響被試對自然場景的加工,而且對同為消極情緒的面孔表情與自然場景而言,面孔?場景間的情緒一致性也會影響自然場景的加工程度。個體需要加工自然場景提供的情緒信息,即便對情緒間感知相似程度較低的厭惡和恐懼情緒面孔的識別,也會受到自然場景情緒的影響。

3 實驗2 沖突身體動作對面孔表情識別情境效應的影響

3.1 實驗目的

除自然場景外,許多研究發(fā)現(xiàn)身體動作也可以作為情境因素影響面孔表情的識別(Aviezer et al.,2011,2012),但鮮有研究考察兩種類型的情境因素共存時對面孔表情識別的影響。因此,實驗2以實驗 1為基礎(chǔ),在面孔?場景情緒匹配一致或不一致的復合圖片中加入與自然場景情緒相沖突的身體動作,且使面孔表情與自然場景或身體動作間的情緒始終保持沖突,重點考察身體動作是否會干擾自然場景對面孔表情識別的影響,以及不同類型的情境信息對面孔表情識別的影響差異。

3.2 研究方法

3.2.1 被試

30名山東師范大學在校大學生(男生16人、女生14人)作為被試參加實驗。廢除2名面孔情緒識別平均正確率為0的被試,得到28名被試的有效數(shù)據(jù),并進一步對超出3個標準差以外的個別數(shù)據(jù)進行剔除。所有被試視力或矯正視力正常,無色盲或色弱情況,無精神疾病史,均為自愿參加本實驗,且之前沒有參加過類似的實驗,實驗結(jié)束之后贈送小禮物。

3.2.2 實驗材料

選取面孔表情圖片12張(6名女性分別表達厭惡和恐懼情緒各1張,即厭惡、恐懼各6張)、自然場景圖片 12張(厭惡、恐懼各 6張)以及身體動作24張(厭惡、恐懼情緒各 12張)。身體動作圖片選自de Gelder和van den Stock (2011)的圖片庫,由另外 20名不參與正式實驗的山東師范大學在校大學生進行評定。評定者逐一觀看每張身體動作圖片,并對其情緒做出判斷。面孔表情圖片及自然場景圖片來源及評定方式同實驗1。

首先將面孔表情圖片與自然場景圖片互相匹配,得到 24張面孔?場景復合圖片,其中面孔?場景情緒一致圖片(厭惡面孔?厭惡場景、恐懼面孔?恐懼場景)和面孔?場景情緒不一致圖片(厭惡面孔?恐懼場景、恐懼面孔?厭惡場景)各 12張。然后在面孔?場景復合圖片的基礎(chǔ)上加入身體動作,最終形成如下兩類圖片：面孔與自然場景情緒一致、與身體動作情緒不一致(厭惡面孔?厭惡場景?恐懼身體、恐懼面孔?恐懼場景?厭惡身體各6張)12張(見圖2(a));面孔與自然場景情緒不一致、與身體動作情緒一致(厭惡面孔?恐懼場景?厭惡身體、恐懼面孔?厭惡場景?恐懼身體各6張)12張,共24張(見圖2(b))。

場景再認階段的材料由 22張自然場景圖片組成,其中12張在面孔情緒識別中呈現(xiàn)過,10張為未呈現(xiàn)過的新圖片(厭惡、恐懼各5張)。

圖2 實驗2面孔表情識別材料

3.2.3 實驗設(shè)計

實驗為 2 × 2的被試內(nèi)設(shè)計,其中,面孔情緒變量有兩種水平：厭惡面孔、恐懼面孔;面孔?場景情緒一致性(有沖突身體動作)變量有兩種水平：面孔?場景情緒一致、面孔?場景情緒不一致。需要指出的是,面孔與自然場景或身體動作間的情緒始終保持沖突(即面孔?場景情緒一致時,面孔與身體動作的情緒不一致;而面孔?場景情緒不一致時,面孔與身體動作的情緒一致)。因變量包括面孔表情識別正確率和反應時、場景再認正確率和反應時。

3.2.4 實驗程序

同實驗1。

3.3 實驗結(jié)果

3.3.1 面孔表情識別的正確率和反應時

分別以面孔表情的識別正確率和反應時(見表3)為因變量進行2×2的重復測量方差分析,結(jié)果表明：面孔表情識別正確率的面孔情緒主效應不顯著,F(1,24)=0.78,p=0.387,面孔?場景情緒一致性(有沖突身體動作)主效應顯著,F(1,24)=14.87,p<0.01,=0.383,對面孔表情識別的正確率在面孔?場景情緒一致時顯著高于面孔?場景情緒不一致時。面孔情緒和面孔?場景情緒一致性(有沖突身體動作)交互作用顯著,F(1,24)=6.76,p<0.05,=0.220。進一步簡單效應分析發(fā)現(xiàn),對厭惡面孔表情識別的正確率在面孔?場景情緒一致時顯著高于面孔?場景情緒不一致時,F(1,24)=17.14,p<0.001,對恐懼面孔表情的識別在兩種情況下沒有顯著差異,F(1,24)=1.31,p=0.263 (見圖3)。正確識別面孔表情平均反應時的面孔情緒和面孔?場景情緒一致性(有沖突身體動作)主效應和交互作用均不顯著(ps >0.05)。

3.3.2 場景再認的正確率和反應時

分別以場景再認的正確率和反應時(見表4)為因變量進行2×2的重復測量方差分析,結(jié)果表明：場景再認正確率的面孔情緒主效應顯著,F(1,27)=12.04,p<0.01,=0.308,對與厭惡面孔相匹配場景的再認正確率顯著高于與恐懼面孔相匹配場景的再認正確率,面孔?場景情緒一致性(有沖突身體動作)主效應不顯著,F(1,27)=1.53,p=0.226。二者的交互作用不顯著,F(1,27)=0.39,p=0.538。

場景再認反應時的面孔情緒主效應不顯著,F(1,23)=0.19,p=0.671,面孔?場景情緒一致性(有沖突身體動作)主效應不顯著,F(1,23)=0.21,p=0.648。兩者的交互作用顯著,F(1,23)=6.58,p<0.05,=0.222。進一步簡單效應分析發(fā)現(xiàn),與恐懼面孔相匹配場景的識別反應時在面孔?場景情緒不一致時長于面孔?場景情緒一致時,且邊緣顯著,F(1,23)=4.18,p=0.053,與厭惡面孔相匹配場景的識別反應時在兩種情況下沒有顯著差異,F(1,23)=1.62,p=0.216 (見圖4)。

表3 有沖突身體動作的不同情緒場景中面孔表情識別的平均正確率和反應時(ms)(M±SD)

表4 不同情緒一致性條件下場景再認的平均正確率和反應時(ms)(M±SD)

圖3 有沖突身體動作的不同情緒場景中面孔表情識別正確率

圖4 不同情緒一致性條件下的場景再認反應時

3.3.3 實驗1與實驗2的對比分析

為了進一步分析加入身體動作后,提供沖突信息的身體動作對面孔表情識別和自然場景再認的影響,我們分別將實驗 1(無身體動作)和實驗 2(有沖突身體動作)各實驗條件下被試的面孔表情識別正確率、反應時以及場景再認的正確率、反應時進行獨立樣本t檢驗(見表5)。結(jié)果發(fā)現(xiàn)：相比于實驗1,實驗 2的面孔表情識別正確率在各實驗條件下均有所下降,但僅在恐懼面孔?恐懼場景(面孔?場景情緒一致)上存在顯著差異,t=4.15,df=53,p<0.001 (見圖5(a)左);面孔表情識別反應時的差異均不顯著(見圖5(b)左);不論面孔?場景情緒一致性如何,與厭惡面孔相匹配場景的再認正確率在實驗1與實驗2之間均有顯著差異：一致時,t=? 2.52,df=55,p<0.05;不一致時,t=?2.49,df=55,p<0.05 (見圖5(a)右);場景再認反應時僅在厭惡面孔?恐懼場景(面孔?場景情緒不一致)條件下存在顯著差異,t=2.34,df=51,p<0.05 (見圖5(b)右)。

3.4 討論

在實驗2中,對面孔表情識別正確率結(jié)果的分析發(fā)現(xiàn),被試在面孔?場景情緒一致時識別的正確率顯著高于面孔?場景情緒不一致時,與實驗 1的結(jié)果一致。這說明,即使在面孔?場景復合圖片中加入了具有一致或不一致情緒性的身體動作,面孔表情識別的正確率依舊在很大程度上受到自然場景的影響。

但通過將實驗2與實驗1數(shù)據(jù)的進一步對比可以發(fā)現(xiàn),盡管總體來說自然場景對面孔表情識別的影響更大,但身體動作也能夠在一定程度上對面孔的表情識別以及自然場景的再認產(chǎn)生干擾。相比于無身體動作傳達沖突性的情緒信息時,消極身體動作表情的存在為面孔表情的識別提供了情緒信息,在一定程度上可以減弱或增強被試對自然場景的依賴。

表5 實驗1與實驗2各實驗條件下的獨立樣本t檢驗結(jié)果

圖5 實驗1與實驗2各實驗條件對比

4 總討論

4.1 情緒性語言標簽數(shù)量的影響

本研究的兩個實驗中被試對所有面孔表情的識別正確率都不高,這與在實驗中為被試提供5個情緒性語言標簽選項,減弱其對個體識別正確率的促進作用有關(guān)。顯然,如果沒有描述性文字,感知者盡管能夠注意到面孔動作間的微小變化,但是并不清楚這些變化具有何種心理意義,因此難以區(qū)分情緒類別間的界限,從而影響面孔表情的正確識別(Fugate,Gouzoules,&Barrett,2010)。而在實驗中只要給被試提供文字信息來判斷面孔表情,不管他們是否有意識地使用,語言文字都潛在地提供了一種能夠塑造感知加工的背景,影響對面孔表情的判斷(Barrett,Mesquita,&Gendron,2011)。上述推論與情緒的概念行為模型(the conceptual-act model of emotion)相一致(Barrett,Lindquist,&Gendron,2007),該模型認為面孔肌肉動作可以獨立表達簡單的情感信息(如面孔的可接近性判斷),但更具體的情緒需要通過概念性背景(比如文字)推論得出。Righart和de Gelder (2008a)曾提出,未來研究應該更加關(guān)注當個體不再受到情緒性語言標簽的限制時,面孔表情的識別怎樣受到情緒性場景的影響。但先前研究大都使用與面孔情緒種類相對應的情緒性語言標簽數(shù)量,混淆了文字背景與自然場景對面孔識別的影響。

Righart和de Gelder (2008b)在實驗中減少了備選項的數(shù)量,要求被試對兩兩匹配(厭惡?恐懼、厭惡?開心、恐懼?開心)的復合圖片分別進行二選一的迫選任務,結(jié)果發(fā)現(xiàn)對厭惡面孔的表情識別,不再受到面孔?場景情緒一致性的影響。而本研究則通過擴大提供情緒性語言標簽的選項范圍(5個選項),盡可能地控制了文字背景對面孔識別的影響,因而能夠更好地考察自然場景以及身體動作對面孔表情識別的影響。實驗1研究結(jié)果發(fā)現(xiàn),控制情緒性語言標簽對面孔識別的促進作用后,自然場景對面孔表情識別的影響非常顯著。本研究與Righart和de Gelder (2008b)的研究結(jié)果進一步說明,當提供的標簽數(shù)量較少時,語言文字就提供了非常具體的情境信息,個體可以迅速完成任務,因而自然場景起到的作用較小;但當提供較多的語言標簽時,為了對面孔的情緒做出正確判斷,個體更需要對自然場景進行加工,更容易受到面孔?場景情緒一致性的影響。但情緒性語言標簽是否能夠調(diào)節(jié)個體對情境信息的加工方向,先于自然場景對個體的表情識別產(chǎn)生影響,還需要進一步的研究支持與證明。

4.2 自然場景對面孔表情識別的影響

為了控制 Aviezer,Hassin和 Ryan等人(2008)提出的面孔與情境間情緒感知相似性的影響,本研究選取了相似程度較低的厭惡情緒與恐懼情緒,結(jié)果依舊發(fā)現(xiàn)了自然場景對面孔表情識別的顯著影響。說明消極情緒面孔表情的識別難度較高,即使在區(qū)分不易混淆的兩種消極情緒時,個體依舊需要加工自然場景信息。實驗 1結(jié)果表明,當面孔?場景情緒一致時,面孔表情識別的正確率更高且反應時更短;而當面孔?場景情緒不一致時,面孔表情識別的正確率更低且反應時更長,二者之間差異顯著。實驗1中面孔識別正確率和反應時的結(jié)果并未出現(xiàn)速度?準確性權(quán)衡,與前人研究一致(Righart &de Gelder,2008b)。

此外,本研究采用對自然場景再認成績進行分析的研究范式,直接證實了對消極情緒面孔的識別確實需要加工自然場景的情緒信息。Barrett和Kensinger (2010)首次考察了消極、中性面孔與中性自然場景相匹配時個體對中性自然場景的記憶情況。本文進一步探索了當消極情緒面孔與消極情緒的自然場景相匹配時,面孔表情與自然場景情緒間的一致性對自然場景加工程度的影響,得到了與之類似的結(jié)果。這說明識別消極情緒面孔表情時會對消極自然場景情緒信息的加工投入較多的認知資源,尤其在面孔與自然場景間的情緒性出現(xiàn)矛盾時,識別難度加大導致個體對自然場景的依賴提高,對自然場景的加工程度更深,從而記憶更好。

4.3 身體動作對面孔表情識別情境效應的影響

實驗2反映了當自然場景、身體動作這兩種情境類型與面孔表情的情緒產(chǎn)生沖突時,自然場景依然對面孔的表情識別起主要影響。與自然場景情緒不一致時的面孔表情識別正確率始終低于與自然場景情緒一致時的面孔表情識別正確率,這與Meeren等(2005)的結(jié)論有類似之處。但另一方面我們也發(fā)現(xiàn),身體動作能夠干擾自然場景對面孔表情識別的作用。與實驗1相比,實驗2各條件下被試面孔識別的正確率普遍下降,表明加入身體動作后,兩種情境信息同時存在,使得被試對面孔表情的識別難度加大,尤其在面孔?場景情緒一致條件下,不一致的身體動作對恐懼面孔的識別產(chǎn)生了顯著的影響,降低了被試對面孔的識別正確率。同時,實驗2各條件下被試對場景的再認正確率均有提高,反應時也有所減少。除此之外,面孔識別的反應時盡管在2個實驗中差異未達到顯著,但各實驗條件下均值變化的趨勢也有所不同：當面孔與身體動作情緒不一致時,身體動作會減弱與面孔情緒一致的自然場景對面孔表情識別的促進作用,延長面孔識別的反應時;而當面孔與身體動作情緒一致時,身體動作會減弱與面孔情緒不一致的自然場景對面孔表情識別的干擾作用,從而減少加工的反應時。

研究發(fā)現(xiàn),加工身體動作和加工面孔的腦區(qū)是相鄰的(Schwarzlose,Baker,&Kanwisher,2005),且面孔表情和身體動作表情的加工在很大程度上存在相互影響(Aviezer,Hassin,&Ryan et al.,2008;Kret,Stekelenburg,Roelofs,&de Gelder,2013;Mondloch,Nelson,&Horner,2013)。但為何在本研究中自然場景反而對面孔表情的識別影響要大于身體動作的影響呢？我們猜測,正因為面孔與身體總是一起出現(xiàn),二者基本屬于一個整體,個體在判斷他人面孔表情的情緒時,會對面孔表情與身體動作進行整合加工(Aviezer et al.,2012),所以當存在可資利用的自然場景信息時,個體并未將身體動作作為單獨傳達信息的情境因素來對待,對其的加工程度相對于自然場景而言也始終較低,因而起到的作用也小。另外,面孔?身體之間的整合加工具有速度較快但精細程度不高的特點,在處理多種情境信息同時存在的復雜材料時有可能會出現(xiàn)錯誤,導致個體在加工時忽略身體動作與面孔表情間存在的情緒沖突,而將其作為情緒性一致的整體來加工。進一步來說,倘若個體意識到面孔與身體動作情緒不一致時,也會進而尋求自然場景信息的支持,加深個體對自然場景信息的加工程度。當然,此種推測還需未來研究更深入的探索和驗證。

值得注意的是,我們還發(fā)現(xiàn)了厭惡面孔與恐懼面孔表情識別的情境效應之間存在差異。在實驗1中,恐懼面孔表情識別的反應時受面孔?場景間情緒一致性的影響較小;在實驗 2中,恐懼面孔表情識別的正確率受面孔?場景間情緒一致性的影響也較小,與恐懼面孔相匹配的自然場景的再認率不受面孔?場景情緒一致性的影響且均比與厭惡面孔相匹配自然場景的再認率低,這一發(fā)現(xiàn)還是很有價值的。相對于厭惡面孔情緒而言,恐懼面孔情緒更能傳達出威脅信息,對個體具有重要的生存價值(劉靜怡,黃希庭,楊帥,2013),因而不論情境中是否存在有沖突的其他信息,個體總會對恐懼面孔產(chǎn)生注意偏向,進行自動化加工,這致使個體對與恐懼面孔相匹配的自然場景的加工程度均較低。當然,在出現(xiàn)與恐懼面孔不相匹配的其他情境信息時,關(guān)于被試忽略不一致的情境信息而對恐懼面孔進行更好的識別和更快的加工的機制,還需要進一步研究。

5 結(jié)論

(1)增加情緒性語言標簽選項數(shù)量時,自然場景的情緒性對面孔表情識別的影響依舊顯著;

(2)消極情緒面孔與消極自然場景情緒不一致時對自然場景的依賴更深,加工程度更高;

(3)身體動作會干擾自然場景對面孔表情識別的影響,但自然場景依然對消極情緒面孔的表情識別有重要影響。

Adolphs,R.(2002).Recognizing emotion from facial expressions:Psychological and neurological mechanisms.Behavioral and Cognitive Neuroscience Reviews,1,21–61.

Aviezer,H.,Bentin,S.,Dudarev,V.,&Hassin,R.R.(2011).The automaticity of emotional face-context integration.Emotion,11(6),1406–1414.

Aviezer,H.,Hassin,R.R.,Bentin,S.,&Trope,Y.(2008).Putting facial expressions back in context.In N.Ambady &J.Skowronski (Eds.),First impressions(pp.255–286).New York,NY:Guilford Press.

Aviezer,H.,Hassin,R.R.,Ryan,J.,Grady,C.,Susskind,J.,Anderson,A.,...Bentin,S.(2008).Angry,disgusted,or afraid? Studies on the malleability of emotion perception.Psychological Science,19(7),724–732.

Aviezer,H.,Trope,Y.,&Todorov,A.(2012).Holistic person processing:Faces with bodies tell the whole story.Journal of Personality and Social Psychology,103(1),20–37.

Bai,X.J.,&Yue,P.F.(2013).Affect labeling can reduce negative emotions:Evidences from autonomic nervous activity.Acta Psychologica Sinica,45(7),715–724.

[白學軍,岳鵬飛.(2013).情緒標注對負性情緒的抑制:來自自主神經(jīng)活動的證據(jù).心理學報,45(7),715–724.]

Barrett,L.F.,&Kensinger,E.A.(2010).Context is routinely encoded during emotion perception.Psychological Science,21(4),595–599.

Barrett,L.F.,Lindquist,K.A.,&Gendron,M.(2007).Language as context for the perception of emotion.Trends in Cognitive Sciences,11(8),327–332.

Barrett,L.F.,Mesquita,B.,&Gendron,M.(2011).Context in emotion perception.Current Directions in Psychological Science,20(5),286–290.

de Gelder,B.(2006).Towards the neurobiology of emotional body language.Nature Reviews Neuroscience,7(3),242–249.

de Gelder,B.,&van den Stock,J.(2011).The bodily expressive action stimulus test (BEAST).Construction and validation of a stimulus basis for measuring perception of whole body expression of emotions.Frontiers in Psychology,2,181.

Ekman,P.(1992).Facial expressions of emotion:New findings,new questions.Psychological Science,3(1),34–38.

Ekman,P.,&Friesen,W.V.(1976).Pictures of facial affect.Palo Alto,CA:Consulting Psychologists Press.

Flowe,H.,&Bessemer,A.(2011).The effects of target discriminability and criterion placement on accuracy rates in sequential and simultaneous target-present lineups.Psychology,Crime &Law,17(7),587–610.

Fugate,J.M.B.,Gouzoules,H.,&Barrett,L.F.(2010).Reading chimpanzee faces:Evidence for the role of verbal labels in categorical perception of emotion.Emotion,10(4),544–554.

Goodenough,F.L.,&Tinker,M.A.(1931).The relative potency of facial expression and verbal description of stimulus in the judgment of emotion.Journal of Comparative Psychology,12(4),365–370.

Hassin,R.R.,Aviezer,H.,&Bentin,S.(2013).Inherently ambiguous:Facial expressions of emotions,in context.Emotion Review,5(1),60–65.

Kensinger,E.A.,Garoff-Eaton,R.J.,&Schacter,D.L.(2007).Effects of emotion on memory specificity:Memory trade-offs elicited by negative visually arousing stimuli.Journal of Memory and Language,56(4),575–591.

Kret,M.E.,Stekelenburg,J.J.,Roelofs,K.,&de Gelder,B.(2013).Perception of face and body expressions using electromyography,pupillometry and gaze measures.Frontiers in Psychology,4,28.

Lindquist,K.A.,Barrett,L.F.,Bliss-Moreau,E.,&Russell,J.A.(2006).Language and the perception of emotion.Emotion,6(1),125–138.

Lindquist,K.A.,Wager,T.D.,Kober,H.,Bliss-Moreau,E.,&Barrett,L.F.(2012).The brain basis of emotion:A meta-analytic review.Behavioral and Brain Sciences,35(3),121–143.

Liu,J.Y.,Huang,X.T.,&Yang,S.(2013).Three components of attentional bias in social anxiety disorder.Advances in Psychological Science,21(4),664–670.

[劉靜怡,黃希庭,楊帥.(2013).社交焦慮障礙中的注意偏差三成分研究述評.心理科學進展,21(4),664–670.]

Liu,W.J.,Shen,M.Q.,Li,Y.,&Wang,R.M.(2016).The interaction between emotional concept processing and emotional face perception.Acta Psychologica Sinica,48(2),163–173.

[劉文娟,沈曼瓊,李瑩,王瑞明.(2016).情緒概念加工與情緒面孔知覺的相互影響.心理學報,48(2),163–173.]

Masuda,T.,Ellsworth,P.C.,Mesquita,B.,Leu,J.,Tanida,S.,&van de Veerdonk,E.(2008).Placing the face in context:Cultural differences in the perception of facial emotion.Journal of Personality and Social Psychology,94(3),365–381.

Meeren,H.K.M.,van Heijnsbergen,C.C.R.J.,&de Gelder,B.(2005).Rapid perceptual integration of facial expression and emotional body language.Proceedings of the National Academy of Sciences of the United States of America,102(45),16518–16523.

Mondloch,C.J.,Nelson,N.L.,&Horner,M.(2013).Asymmetries of influence:Differential effects of body postures on perceptions of emotional facial expressions.PLoS ONE,8(9),e73605.

Righart,R.,&de Gelder,B.(2006).Context influences early perceptual analysis of faces—an electrophysiological study.Cerebral Cortex,16(9),1249–1257.

Righart,R.,&de Gelder,B.(2008a).Rapid influence of emotional scenes on encoding of facial expressions:An ERP study.Social Cognitive and Affective Neuroscience,3(3),270–278.

Righart,R.,&de Gelder,B.(2008b).Recognition of facial expressions is influenced by emotional scene gist.Cognitive,Affective,&Behavioral Neuroscience,8(3),264–272.

Russell,J.A.(1994).Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies.Psychological Bulletin,115(1),102–141.

Schwarzlose,R.F.,Baker,C.I.,&Kanwisher,N.(2005).Separate face and body selectivity on the fusiform gyrus.The Journal of Neuroscience,25(47),11055–11059.

Susskind,J.M.,Littlewort,G.,Bartlett,M.S.,Movellan,J.,&Anderson,A.K.(2007).Human and computer recognition of facial expressions of emotion.Neuropsychologia,45(1),152–162.

Xiao,Y.L.,Yin,G.E.,&Yang,W.(2015).The interaction of different face parts in the similarity judgment of the face part.Studies of Psychology and Behavior,13(6),729–736.

[肖艷麗,陰國恩,楊文.(2015).面孔部件相似性判斷中不同部件的相互影響研究.心理與行為研究,13(6),729–736.]

Yin,G.E.,Yang,W.,Xiao,Y.L.,&Wang,Z.G.(2013).The weight distribution of the face part in the face similarity judgment.Journal of Psychological Science,36(3),553–557.

[陰國恩,楊文,肖艷麗,王正光.(2013).面孔相似性判斷中各部件的權(quán)重分配.心理科學,36(3),553–557.]

Yovel,G.,Pelc,T.,&Lubetzky,I.(2010).It's all in your head:Why is the body inversion effect abolished for headless bodies?.Journal of Experimental Psychology:Human Perception and Performance,36(3),759–767.

Yue,P.F.,Du,W.W.,Bai,X.J.,&Xu,Y.L.(2015).When does inhibition of affect labeling occur:ERP study.Acta Psychologica Sinica,47(9),1124–1132.

[岳鵬飛,杜婉婉,白學軍,許遠理.(2015).情緒標注對情緒的抑制發(fā)生在何時:一項ERPs研究.心理學報,47(9),1124–1132.]

Zhang,D.D.,Zhao,T.,Liu,Y.Z.,&Chen,Y.M.(2015).Comparison of facial expressions and body expressions:An event-related potential study.Acta Psychologica Sinica,47(8),963–970.

[張丹丹,趙婷,柳昀哲,陳玉明.(2015).恐懼情緒面孔和身體姿勢加工的比較:事件相關(guān)電位研究.心理學報,47(8),963–970.]