微表情探析

余姣姣

（蘇州大學(xué) 教育學(xué)院，江蘇 蘇州 215123）

1 引言

微表情（microexpression）是個(gè)體試圖隱藏或壓抑其真實(shí)情感時(shí)所泄露出的非常短暫的且不能自主控制的面部表情.微表情存在的觀點(diǎn)來(lái)源于達(dá)爾文的抑制假說(shuō)：面部的動(dòng)作不能被自由的控制，有可能會(huì)產(chǎn)生一些不受控制的動(dòng)作，即使個(gè)體嘗試去控制他/她的情緒表達(dá).

百年后，Haggard和 Isaacs（1966）首先發(fā)現(xiàn)微表情（micromomentary expression），并認(rèn)為它是一種壓抑的表情.隨后，1969年Ekman和Friesen也在抑郁癥患者的訪談錄像中發(fā)現(xiàn)了這種面部表情，并將其命名為微表情.Porter and ten Brinke(2008)等人認(rèn)為當(dāng)個(gè)體試圖期望他人被情緒表達(dá)所欺騙時(shí)，微表情就會(huì)發(fā)生.

微表情最近開(kāi)始走向大眾化，是由于在診斷和國(guó)家安全方面潛在的應(yīng)用價(jià)值，它被認(rèn)為是一個(gè)最有效線索來(lái)檢測(cè)謊言和危險(xiǎn)行為.在美國(guó)運(yùn)輸安全局已經(jīng)采用了篩選乘客通過(guò)觀察技術(shù)，該技術(shù)很大程度上是基于微表情研究的結(jié)果.在臨床領(lǐng)域，微表情可以用來(lái)了解患者真正的情感，促進(jìn)更好的治療.然而，微表情被認(rèn)為是如此短暫，這幾乎是不可檢測(cè)的，因此難以對(duì)人們進(jìn)行檢測(cè).雖然如此，還是難以阻擋人們對(duì)微表情研究的熱情.本文將從微表情的識(shí)別、微表情的生理機(jī)制以及微表情庫(kù)三個(gè)方面進(jìn)行闡述.

2 微表情識(shí)別

早期研究中，研究者主要任務(wù)是編制各種測(cè)驗(yàn)以達(dá)到訓(xùn)練或者測(cè)量被試微表情的識(shí)別能力.如Ekman和Friesen在1974年聯(lián)合編制的短暫微表情識(shí)別測(cè)驗(yàn) (Brief Affect Recognition Test，BART).在這個(gè)測(cè)驗(yàn)中，主試每1/25秒向被試呈現(xiàn)一張表情圖片，以探究被試對(duì)微表情的識(shí)別能力.且該測(cè)驗(yàn)還能判斷微表情的識(shí)別能力與謊言識(shí)別率的關(guān)系.Ekman和Sullivan(1991)利用該測(cè)驗(yàn)發(fā)現(xiàn)，謊言識(shí)別測(cè)驗(yàn)的得分與BART測(cè)驗(yàn)中的成績(jī)呈顯著正相關(guān).然而隨著研究的進(jìn)一步深入，研究者們對(duì)每1/25秒的呈現(xiàn)速度提出質(zhì)疑，認(rèn)為在真實(shí)的環(huán)境中，微表情出現(xiàn)的時(shí)間可能更短；并且如果每次都快速呈現(xiàn)表情圖片，很有可能會(huì)造成視覺(jué)后效，影響微表情的辨別.因此在2002年Ekman又研制了一個(gè)微表情識(shí)別能力測(cè)驗(yàn)，即“日本人與高加索人短暫表情識(shí)別測(cè)驗(yàn)”(Japanese and Caucasian Brief Affect Recognition Test,JACBART).與BART不同之處在于在該測(cè)驗(yàn)中每張圖片呈現(xiàn)的時(shí)間僅為1/15秒.并且為了消除視覺(jué)后效，在每張表情圖片的前后都會(huì)加上該人的中性表情圖片.Frank等人利用該測(cè)驗(yàn)對(duì)澳大利亞人和美國(guó)人的微表情識(shí)別能力和謊言識(shí)別能力的關(guān)系進(jìn)行研究，結(jié)果表明不管是美國(guó)人還是澳大利亞人，JACBART得分越高，其謊言識(shí)別能力也越高.

此外，人們還發(fā)現(xiàn)微表情的識(shí)別是可以通過(guò)訓(xùn)練提高的.Ekman(2002)等人使用微表情識(shí)別訓(xùn)練工具（Micro Expression Training Tool,METT）對(duì)被試進(jìn)行微表情的識(shí)別訓(xùn)練，結(jié)果發(fā)現(xiàn)使用METT訓(xùn)練程序后，被試在可在1.5小時(shí)內(nèi)將微表情識(shí)別的成績(jī)提高至30%-40%.

David Matsumoto和Hyi SungHwang通過(guò)對(duì)韓國(guó)81名超市員工的實(shí)驗(yàn)對(duì)此進(jìn)行了證明.首先所有的被試都會(huì)填一個(gè)微表情問(wèn)卷作為前測(cè).然后使用微表情認(rèn)知訓(xùn)練工具（MIX）對(duì)實(shí)驗(yàn)組被試進(jìn)行訓(xùn)練和練習(xí)，而控制組被試沒(méi)有訓(xùn)練.一個(gè)小時(shí)后對(duì)所有被試進(jìn)行MIX后測(cè)，以及給他們做一個(gè)關(guān)于怎樣在日常生活和工作中使用識(shí)別他人表情的能力的簡(jiǎn)短介紹.實(shí)驗(yàn)設(shè)計(jì)是2（實(shí)驗(yàn)組vs對(duì)照組）*2（前測(cè)vs后測(cè)）的混合設(shè)計(jì).實(shí)驗(yàn)結(jié)果表明實(shí)驗(yàn)組的成績(jī)顯著高于對(duì)照組成績(jī)，并且實(shí)驗(yàn)組獲得了更好的第三方評(píng)價(jià)，這證明訓(xùn)練提高了被試識(shí)別微表情的能力，并且能在人際交往中發(fā)揮作用.為了證明微表情的訓(xùn)練效果能夠持續(xù)一段時(shí)間，研究者在美國(guó)重復(fù)了上述實(shí)驗(yàn)，只是在兩個(gè)星期后通過(guò)e-mail給被試發(fā)網(wǎng)上后測(cè)工具，收集信息.結(jié)果發(fā)現(xiàn)兩個(gè)星期后實(shí)驗(yàn)組和對(duì)照組仍然存在顯著差異，這證明了對(duì)微表情識(shí)別的訓(xùn)練不僅能夠提高微表情識(shí)別的能力，而且其效果還能持續(xù)較長(zhǎng)的時(shí)間.但是該研究?jī)蓚€(gè)星期后的后測(cè)回收率較低，這就存在了那些覺(jué)得有效果的給了結(jié)果，而覺(jué)得沒(méi)有效果的就沒(méi)有結(jié)果，這使得研究結(jié)果產(chǎn)生偏差，因此該實(shí)驗(yàn)的研究結(jié)果是否可信，還值得商榷.

雖然微表情的識(shí)別在現(xiàn)實(shí)中可以有很大的應(yīng)用，但是由于微表情持續(xù)時(shí)間短很多時(shí)候不能覺(jué)察，因此人類識(shí)別微表情的正確率很低，Tomas等人發(fā)現(xiàn)只有受過(guò)訓(xùn)練的人才能識(shí)別微表情并且準(zhǔn)確率只有47%，因此一個(gè)代替人類微表情識(shí)別的方法是很重要的，自動(dòng)微表情識(shí)別的研究由此誕生.Tomas,Xiaobai Li,Guoying Zhao and Matti Pietik¨ainen（2011）使用時(shí)空插值法實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)識(shí)別，實(shí)驗(yàn)證明即使是在25幀每秒的速度下仍可達(dá)到高識(shí)別率，通過(guò)結(jié)合隨機(jī)弗雷斯特分辨器和29幀的時(shí)間插值使結(jié)果達(dá)到最好，幾乎達(dá)到87.9%的正確率.這就可媲美于人類微表情的識(shí)別率.

而 Qiqiang Zhou和 Xiangzhou Wang（2013）又有了更高的進(jìn)展.他們創(chuàng)造了基于幾何特征的系統(tǒng)的實(shí)時(shí)的面部表情識(shí)別系統(tǒng).幾何特征的提取是在一種混合的方法下提取出來(lái)的.這個(gè)方法首先使用ASM來(lái)粗略的追蹤基本點(diǎn)，然后使用一個(gè)基于閾限和可變模型來(lái)調(diào)整嘴巴部位的基本點(diǎn)，這些基本點(diǎn)是由于在非線性圖像變量中呈現(xiàn)了不正確的位置，如由巨大的面部表情的改變所引起.基本特征的提取來(lái)自通過(guò)SVM分類器對(duì)基本點(diǎn)進(jìn)行分類，并歸類到七個(gè)基本表情中的一個(gè)，實(shí)驗(yàn)表明識(shí)別的速度可以達(dá)到12幀.但是，這個(gè)自動(dòng)表情識(shí)別有一個(gè)缺陷：當(dāng)出現(xiàn)如嘴巴張的很大，皺眉等較大的表情時(shí)識(shí)別的結(jié)果很好，當(dāng)出現(xiàn)微小的表情時(shí)，系統(tǒng)不能工作.也就是說(shuō)當(dāng)微表情不是那么明顯或者表情的幅度不是那么大的時(shí)候，就不能實(shí)現(xiàn)微表情的自動(dòng)化識(shí)別.

國(guó)內(nèi)傅小蘭等人（2011年）基于前人的研究成果自主研發(fā)了基于靜態(tài)特征的自動(dòng)微表情識(shí)別系統(tǒng).該系統(tǒng)首先自動(dòng)地對(duì)視頻中的人臉進(jìn)行捕獲并進(jìn)行相應(yīng)的預(yù)處理，基于Gabor特征對(duì)捕獲到的人臉圖像進(jìn)行特征提取，以形成人臉表情的Gabor9表征，再結(jié)合Gabor特征與改進(jìn)的GentleSVM算法實(shí)現(xiàn)人臉表情識(shí)別.測(cè)試結(jié)果表明，這個(gè)基于Gabor的自動(dòng)微表情識(shí)別系統(tǒng)比受過(guò)訓(xùn)練的人類被試的成績(jī)更好!不過(guò)，該結(jié)果是基于特定的測(cè)試集得到的，對(duì)于幅度較小的表情或?qū)⑵鋺?yīng)用于現(xiàn)實(shí)環(huán)境中可能無(wú)法達(dá)到很高的識(shí)別率.

可見(jiàn)，自動(dòng)微表情識(shí)別的研究雖然已取得了較大的進(jìn)展，但是所取得的成果都針對(duì)于幅度較大的面部表情，而對(duì)于精細(xì)表情的識(shí)別還有一定的差距，因此，對(duì)于自動(dòng)表情識(shí)別的精細(xì)化，將是未來(lái)的一個(gè)研究方向.

3 微表情數(shù)據(jù)庫(kù)

無(wú)論是對(duì)人類微表情識(shí)別特點(diǎn)的研究，還是對(duì)自動(dòng)識(shí)別微表情的計(jì)算機(jī)系統(tǒng)的研發(fā)，在很大程度上都依賴于一個(gè)完整的微表情數(shù)據(jù)庫(kù).梁靜等人在2013年認(rèn)為諸如為實(shí)驗(yàn)者提供豐富的刺激材料或基本的實(shí)驗(yàn)材料、為自動(dòng)微表情識(shí)別系統(tǒng)提供充分的訓(xùn)練和評(píng)估樣例，那么就必須建立一個(gè)具有代表性且數(shù)量足夠的微表情數(shù)據(jù).因此，許多研究人員試圖開(kāi)發(fā)一種自動(dòng)微表情識(shí)別系統(tǒng)，幫助人們發(fā)現(xiàn)這種稍縱即逝的表情.以下是在開(kāi)發(fā)檢測(cè)和識(shí)別算法中使用的一些微表情數(shù)據(jù)庫(kù)：

1.USF-HD包含100個(gè)表情,分辨率為720×1280和29.7幀的幀頻.參與者被要求執(zhí)行表情和微表情.對(duì)于微表情，參與者在被記錄之前先觀看一些包含微表情的示例視頻.參與者被要求去模仿這些表情.

2.polikovsky的數(shù)據(jù)庫(kù)包含了10個(gè)大學(xué)生被試，被要求執(zhí)行7基本表情與低臉部肌肉強(qiáng)度，并盡可能快回到中性表情，模擬微表情動(dòng)作.相機(jī)設(shè)置為：480×640分辨率，200幀/秒.

3.yorkddt包含18個(gè)微表情：7個(gè)來(lái)自于表情場(chǎng)景、11個(gè)來(lái)自非表情化的場(chǎng)景；11個(gè)來(lái)自欺騙性場(chǎng)景、7個(gè)源自真實(shí)場(chǎng)景.

4.SMIC包含由100fps照相機(jī)記錄的77個(gè)無(wú)意識(shí)微表情.一個(gè)帶有處罰威脅和高度表情起伏的審訊室被選擇創(chuàng)造高賭博情境，在這里被試經(jīng)歷高表情喚醒卻要有意識(shí)地壓制他們的面部表情.

之前的微表情數(shù)據(jù)庫(kù)包含以下問(wèn)題：

1.不自然的微表情.其中一些是故意創(chuàng)建的所以它們都是與無(wú)意識(shí)的微表情不同.根據(jù)Ekman研究，表情不能故意控制.

2.面部動(dòng)作沒(méi)有情感參與.如果沒(méi)有認(rèn)真的分析和研究，很容易混淆無(wú)表情面目運(yùn)動(dòng)是微表情，如擤鼻涕，吞咽口水或滾動(dòng).

3.缺乏精確表情標(biāo)簽.從心理觀點(diǎn)來(lái)看，其中一些數(shù)據(jù)庫(kù)沒(méi)有正確表情標(biāo)簽.微表示的表情標(biāo)簽是相似的，但與傳統(tǒng)的面部表情的標(biāo)簽并不相同.

國(guó)內(nèi)學(xué)者 Wen-Jing Yan（2013）等人，在前人研究的基礎(chǔ)上，研發(fā)了無(wú)意識(shí)微表情數(shù)據(jù)庫(kù).該數(shù)據(jù)庫(kù)具有：1.樣本是自發(fā)的和動(dòng)態(tài)的微表情.之前和之后每個(gè)微表情是基線（通常中性）的面孔，所以樣本可還可以用于評(píng)估檢測(cè)算法.2.在研究中參與者被要求保持中性的面孔（中立化范式).因此，在我們的數(shù)據(jù)庫(kù)中捕獲的微表情是相對(duì)較“純凈且清晰”，無(wú)噪聲，頭部運(yùn)動(dòng)和不相干的面部動(dòng)作等.3.行動(dòng)單位被給予每種微表情.AUs給出詳細(xì)的面部表情運(yùn)動(dòng)，幫助給出更準(zhǔn)確的表情標(biāo)簽4.二臺(tái)不同照相機(jī)在不同的環(huán)境配置之下用于增加視覺(jué)可變性.5.基于心理研究和參與者的自我報(bào)告仔細(xì)標(biāo)記出現(xiàn)的表情.此外，無(wú)表情的面部動(dòng)作被去除了.

4 微表情的心理與神經(jīng)機(jī)制

微表情與普通表情的識(shí)別除了在行為數(shù)據(jù)上的差異外（如普通表情的識(shí)別正確率顯著大于微表情），研究者認(rèn)為兩者的認(rèn)知神經(jīng)機(jī)制也存在差異.如在微表情產(chǎn)生機(jī)制上，人們已產(chǎn)生了一定的共識(shí)：對(duì)面部肌肉的控制存在兩條通路.一條是控制隨意的面部肌肉運(yùn)動(dòng)的皮質(zhì)運(yùn)動(dòng)通路；另一條是控制自發(fā)面部肌肉運(yùn)動(dòng)的皮質(zhì)椎體外系通路.雖然研究者認(rèn)為微表情的產(chǎn)生可能與這兩條通路有關(guān)，但是目前還沒(méi)有直接的證據(jù)進(jìn)行證明(Ekman，2003).另外梁靜、顏文靖等利用ERP技術(shù)也發(fā)現(xiàn)了微表情與普通表情在加工機(jī)制上的差異.他們?cè)诮o被試呈現(xiàn)三種不同的表情圖片（正性、負(fù)性和中性）時(shí)發(fā)現(xiàn)了個(gè)體在微表情（呈現(xiàn)時(shí)間在200ms以內(nèi)）和普通表情（呈現(xiàn)時(shí)間在200ms以上）的ERP成分存在顯著差異.這表明200ms很有可能是區(qū)分微表情與普通表情之間的分界點(diǎn)；這也從另一方面證明了微表情與普通表情在加工機(jī)制上并不相同.

由于微表情的神經(jīng)生理機(jī)制的研究目前尚少，要對(duì)微表情的心理與神經(jīng)機(jī)制闡述清楚較為困難.但是我們可以通過(guò)影響微表情的人格、情緒、動(dòng)機(jī)或認(rèn)知等因素的分析來(lái)加深對(duì)微表情的理解，進(jìn)而深入系統(tǒng)的回答微表情系別中的基本問(wèn)題.研究發(fā)現(xiàn)，微表情的識(shí)別能力與人格有較大關(guān)系.如Matsumoto等人(2000)的研究發(fā)現(xiàn)被試在JACBART上的得分與他們?cè)诖笪迦烁窳勘黹_(kāi)放性(openness)維度上的得分和艾森克人格量表外傾性(extraversion)維度上的得分呈顯著正相關(guān).即個(gè)體在開(kāi)放性或者外傾性上的得分越高，其微表情的識(shí)別能力也越高.這說(shuō)明越開(kāi)放的人其微表情識(shí)別能力越強(qiáng)，這也可能是為什么越開(kāi)放的人越受歡迎的原因之一，因?yàn)樗麄兏朴诓煅杂^色.另外，這也表明了微表情識(shí)別能力的訓(xùn)練可能不僅僅局限于訓(xùn)練的程序，還可以從個(gè)體的性格上進(jìn)行塑造.

迄今為止，有關(guān)微表情的心理與神經(jīng)機(jī)制研究還較少，微表情的神經(jīng)機(jī)制還是微表情研究中亟待解決的重要科學(xué)問(wèn)題.

5 小結(jié)

微表情的研究是近年來(lái)學(xué)術(shù)界與現(xiàn)實(shí)生活中都非常關(guān)注的話題.但是由于時(shí)間較短，并沒(méi)有對(duì)微表情進(jìn)一步透徹的分析.例如，對(duì)于現(xiàn)行的微表情識(shí)別能力測(cè)驗(yàn)還存在生態(tài)化的效度不高等問(wèn)題；基于微表情的自動(dòng)謊言識(shí)別系統(tǒng)的正確率不夠理想，以及微表情識(shí)別的心理與神經(jīng)機(jī)制的探索還有待進(jìn)一步加強(qiáng)等.隨著研究的進(jìn)一步深入，這些問(wèn)題將進(jìn)一步得到解決，使得相關(guān)的成果能夠得到廣泛的應(yīng)用.

〔1〕David Matsumoto , Hyi Sung Hwang.Evidence for training the ability to read microexpressions of emotion.Motiv Emot.2011,35:181–191.

〔2〕Ekman, P. (2003). Emotions revealed:Recognizing faces and feelings to improve communication and emotional life.New York:Times books.

〔3〕Ekman,P.,&Friesen,W.V.The repertoire of nonverbal behavior: Categories, origins,usage,and coding[J].Semiotica,1969,1,49–98.

〔4〕Ekman, P., & Friesen, W. V. (1974).Nonverbal behavior and psychopathology.In R.J.Friedman & M.Katz (Eds.),The psychology of depression:Contemporary theory and research(pp.3–31)[M].Washington,D.C.:Winston and Sons.

〔5〕Ekman,P.,Sullivan M.Who can catch a liar[J],American Psychologist,1991,46(9):913-920.

〔6〕Ekman P.Micro Experssion Trainng Tool(METT). From http://www.paulekman.com,2002.Retrieved April 15,2009.

〔7〕G. Warren, E. Schertler, and P. Bull,“Detecting deception from emotional and unemotional cues,”[J]Journal of Nonverbal Behavior,2009,33(1):59-69.

〔8〕Haggard,E.A., & Isaacs,K.S. (1966).Micro -momentary facial expressions as indicators of ego mechanisms in psychotherapy.In L.A.Gottschalk&A.H.Auerbach(Eds.),Methods of Research in Psychotherapy (pp.154–165)[M].New York:Appleton-Century-Crofts.

〔9〕M.Shreve,S.Godavarthy,D.Goldgof,and S.Sarkar, “Macro-and micro-expression spotting in long videos using spatio-temporal strain,”in IEEE Conference on Automatic Face and Gesture Recognition FG’11.IEEE,2011,pp.51–56.

〔10〕Matsumoto,D.,LeRoux,J.A.,Wilson-Cohn,C.,Raroque,J.,Kooken,K.,Ekman,P.,et al.A new test to measure emotion recognition ability:Matsumoto and Ekman’s Japanese and Caucasian Brief Affect Recognition Test (JACBART)[M].Journal of Nonverbal Behavior,2000,24(3),179–209.

〔11〕Porter,S.,&ten Brinke,L.Reading between the lies:Identifying concealed and falsi?ed emotions in universal facial expressions[J].Psychological Science,2008,91(5),508–514.

〔12〕Qiqiang Zhou,&Xiangzhou Wang.Real-Time Facial Expression Recognition System Based -On Geometric Features [M].International Conference on Information Technology and Software Engineering.2013:449-456.

〔13〕S.Polikovsky,Y.Kameda,and Y.Ohta,“Facial micro-expressions recognition using high speed camera and 3d -gradient descriptor,” in Crime Detection and Prevention (ICDP 2009),3rd International Conference on.IET,2009:1–6.

〔14〕T. Pster, X. Li, G. Zhao, and M.Pietikainen, “Recognising spon-taneous facial micro-expressions,”in Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011,pp.1449–1456.

〔15〕Tomas P?ster,Xiaobai Li,Guoying Zhao and Matti Pietik¨ainen.Recognising Spontaneous Facial Micro-expressions.IEEE International Conference On Computer Vision.2011:1449-1456.

〔16〕Wen-Jing Yan,Qi Wu,Yong-Jin Liu,Su-Jing Wang and Xiaolan Fu. CASME Database:A Dataset of Spontaneous Micro-Expressions Collected From Neutralized Faces.In:IEEE Conference on Automatic face and Gesture Recognition,Shanghai,China,2013.

〔17〕Wu Q,Shen X,Fu,X.The machine knows what you are hiding:An automatic microexpression recognition system [J].Affective Computing and Intelligent Interaction:lectures notes in computer science,2011,6975:152-162.

〔18〕梁靜,嚴(yán)文靖,吳齊,申尋兵,傅小蘭.微表情研究的進(jìn)展與展望[J].中國(guó)科學(xué)基金，2013（2）：75-78.