文化互鑒視角下非言語表情的嗓音編碼和解碼

蔣曉鳴

摘要：不同文明下的人類語言在文化交流互鑒的過程中發(fā)生深度交互。語言形式的使用和理解受到文化規(guī)范的制約。實(shí)驗(yàn)社會(huì)語言學(xué)試圖解決的重要問題是：社會(huì)文化的不同方面，包括文化標(biāo)準(zhǔn)、文化預(yù)期以及交際環(huán)境，如何制約語言的使用方式;反之，語言的使用方式如何塑造社會(huì)行為。文化定義了相同種族內(nèi)部的共性，即通過言語的和非言語的社會(huì)交互習(xí)得特定的社會(huì)規(guī)范與行為習(xí)慣。非言語（或“副語言信息”，如嗓音、面孔等）表情的編碼和解碼規(guī)則揭示了社會(huì)交互中文化與非言語行為之間的關(guān)系。這些規(guī)則的文化間差異定義了“文化修飾規(guī)則”。這些修飾性規(guī)則限定了說話者使用的表情是否恰當(dāng)，聲明了聽話者應(yīng)該如何以及向誰表達(dá)這樣的意義。為了維持人際溝通過程的和諧，避免出現(xiàn)障礙，特定文化族群內(nèi)的個(gè)體會(huì)積極有效地、自動(dòng)地使用這種規(guī)則來編碼言語和非言語的表述。最新的研究通過語用學(xué)、語音學(xué)、實(shí)驗(yàn)心理學(xué)、認(rèn)知神經(jīng)科學(xué)等多學(xué)科的多研究方法整合來揭示有關(guān)言語和非言語表情加工的跨文化認(rèn)知機(jī)制。

關(guān)鍵詞：文化規(guī)范;語音表情編碼;語音表情解碼;文化修飾;副語言信息;實(shí)驗(yàn)社會(huì)語言學(xué)

中圖分類號：H0-05 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3060（2020）01-0116-09

一、引言

人類世界面臨著文化多樣化、經(jīng)濟(jì)全球化的趨勢，這一趨勢增加了人類不同文化之間理解和信任的風(fēng)險(xiǎn)，給應(yīng)對這一風(fēng)險(xiǎn)的人類社會(huì)帶來新的挑戰(zhàn)。不同文明、不同文化之間的交流互鑒的核心思想在于尊重不同文明，在于從不同文明、文化中尋求智慧。本研究回應(yīng)此社會(huì)變遷之大格局，以文明交流互鑒作為重要的研究驅(qū)動(dòng)。從微觀上來剖析不同文明、不同文化之間的交流互鑒，是為了最終實(shí)現(xiàn)不同文化內(nèi)個(gè)體說話者之間的有效交際，消除不同文化交際者之間可能存在的隔閡和偏見，這些課題一直是相關(guān)領(lǐng)域的語言學(xué)家、民族文化學(xué)家、教育學(xué)家和認(rèn)知神經(jīng)科學(xué)家為推動(dòng)不同地域、不同國家和不同文明之間的理解與信任而設(shè)立的研究目標(biāo)。

文化定義了同一族群內(nèi)、通過和族群內(nèi)個(gè)體間交互習(xí)得的社會(huì)規(guī)范和行為習(xí)慣（Matsumoto，2007;Matsumoto et al，2001;Triandis，1994）。文化規(guī)范了語言使用的文化與非言語行為之間的關(guān)系，或“社會(huì)交互中非言語行為的知覺凸顯性差異”——即解碼和編碼非言語表情時(shí)的文化差異[例如，相比西方文化下非言語表情與說話者相一致的溝通意圖，特定的東亞文化比較強(qiáng)調(diào)經(jīng)過修改非言語表情來修飾真實(shí)的溝通意圖，或稱“文化修飾規(guī)則”（cuItural dispIay）]（Ekman & Friesen，1969）。這些修飾規(guī)則定義了說話者意義恰當(dāng)?shù)囊约安磺‘?dāng)?shù)谋磉_(dá)方式，聲明了個(gè)體應(yīng)該在什么時(shí)候、怎么樣以及對誰表達(dá)他們的意義（Matsumoto，1990;Matsumoto et al，1999）。為了維持人際溝通中的和諧，避免沖突的產(chǎn)生，特定文化中的個(gè)體應(yīng)該積極地運(yùn)用這一規(guī)則來理解言語與非言語的表情（Jiang &Zhou，2015;Pell，2007）。傳統(tǒng)的社會(huì)語言學(xué)研究通常采用描述性或定性的分析（例如會(huì)話分析），最新的研究借助多學(xué)科、多種定量研究方法來考察社會(huì)與文化交際的問題（B6gels & Levinson，2016）。本研究將圍繞言語與非言語表情加工的跨語言和跨文化差異、“文化內(nèi)”與“文化外”的非言語表情加工、文化學(xué)習(xí)與語言水平影響非言語表情加工等三個(gè)問題，討論來自語用學(xué)、言語韻律、實(shí)驗(yàn)心理學(xué)以及認(rèn)知神經(jīng)科學(xué)交叉學(xué)科的最新實(shí)證研究，并對該領(lǐng)域的未來趨勢做出展望。

二、言語與非言語表情加工的跨語言和跨文化差異

人類的嗓音線索（vocal cue）是重要的非言語信息。研究者關(guān)注音高、音強(qiáng)、節(jié)奏以及語速等信息來揭示非言語表情的“嗓音相關(guān)物”，以及語言或文化如何影響嗓音表情的編碼。例如，佩爾等人比較了四種不同語言（包括加拿大英語、德語、印度語與阿拉伯語）和七種嗓音表情（包括驚訝、高興、生氣、悲傷、害怕、厭惡與中性表情）的聲學(xué)測量指標(biāo)（Pell et al，2009）。研究者讓具有表演經(jīng)驗(yàn)的說話者產(chǎn)出“假句子”（pseudo-utterance）。這些“假句子”具有完好的音韻結(jié)構(gòu)，句中的詞匯由無意義詞語所代替，并且所有假句子都攜帶不同的嗓音表情。研究者找了每種語言的母語說話者來評價(jià)表情，考察表情知覺的準(zhǔn)確性。基于被準(zhǔn)確知覺的表情進(jìn)行聲學(xué)分析，計(jì)算出平均基頻（音高有多高）以及速度（說話者說得有多快）用于區(qū)分不同類型的表情。不管哪一種語言，相比中性表情，帶有情緒的表情聽上去更輕，音高變化更小，說話速度更快。表情音高和語速的平均水平與變化可以預(yù)測表情的具體水平。不同語言和文化內(nèi)部，聲學(xué)特征數(shù)值大?。ɑl高低及其標(biāo)準(zhǔn)差，音強(qiáng)大小及其標(biāo)準(zhǔn)差）與不同的表情類型之間呈現(xiàn)相關(guān)模式，如高興和生氣具有較高的平均基頻，而悲傷和恐懼具有較低的基頻。這些發(fā)現(xiàn)揭示了表情編碼的文化一致性規(guī)律。

為了揭示文化對于非言語表情解碼的影響，劉攀等人測量了母語為漢語與母語為加拿大英語的說話者，在同時(shí)聽到假句子和看到面孔時(shí)引起的腦電活動(dòng)（Liu et al，2015）。文化制約編碼嗓音和面孔當(dāng)中非言語表情的方式，進(jìn)一步影響大腦從多種通道中解碼特定表情的結(jié)果。在實(shí)驗(yàn)中，被試或被要求注意嗓音通道，或被要求注意面孔通道，并對注意通道中的信息進(jìn)行判斷，因此模擬出要求把注意聚焦在不同通道的交際情景。實(shí)驗(yàn)采用了實(shí)驗(yàn)心理學(xué)中適合觀察文化差異的“斯特魯普”（Stroop）范式的變式，即使用的嗓音表情（如恐懼和悲傷）與面孔表情相一致或者不一致（Oyserman et al，2009）。被試判斷表情的正確率和表情誘發(fā)的腦電活動(dòng)都存在跨文化差異。與一致的條件相比，不一致的表情降低了反應(yīng)正確率，提高了視聽刺激引起的N400波幅（刺激出現(xiàn)后引起的、在400毫秒達(dá)到峰值的負(fù)活動(dòng)）。在指導(dǎo)語要求聽話者忽略面孔通道而注意嗓音通道信息時(shí)，不一致條件在英語說話者身上引起不同的腦電活動(dòng)，而在漢語說話者身上并未看到差異。這些結(jié)果表明，當(dāng)注意偏離面孔通道時(shí)，英語說話者更容易受到視覺信息的干擾。這些結(jié)果印證了東方文化個(gè)體對嗓音線索更敏感，而西方文化個(gè)體對視覺線索更敏感（Ishii et al，2003）。

三、對比“文化內(nèi)”與“文化外”的非言語表情加工

不同文化與語言間非言語表情解碼的一致性體現(xiàn)在，交際者具有識別他們原生文化以外的語言中的嗓音表情。來自美國的、母語為英語的說話者用不同表情產(chǎn)出日常交流的句子，這些句子被呈現(xiàn)給母語為英語和母語為來自亞馬遜厄瓜多爾的、舒阿爾族的西班牙語說話者。舒阿爾族說話者識別美式英語句子表情的正確率高于依靠猜測的機(jī)會(huì)概率（或“機(jī)會(huì)水平”），但是他們的識別正確率比母語說話者低（Bryant & Barrett，2008）。這些結(jié)果表明：個(gè)體有能力在不同文化范疇之間進(jìn)行溝通。

湯普森和博克威爾比較了英語說話者在解碼英語、漢語、德語、日語和他加祿語句子表情時(shí)（生氣、高興、悲傷、恐懼）的正確率（Thompson & Balkwill，2006）。聽話者以至少30%的正確率判斷表情（高于25%的機(jī)會(huì)水平）。平均正確率在判斷他們母語時(shí)最高，其次是德語、他加祿語，漢語和日語的正確率最低。“文化外”加工對表情識別具有阻礙作用，降低了區(qū)分不同表情類型的能力。

另一項(xiàng)研究考察了言語速度和靜默停頓在多個(gè)文化嗓音表情評價(jià)中的作用（Tisliar-szabo&Pleh，2014）。人類非言語表情的原始形式之一是人的發(fā)聲語（vocalization）。該研究考察了自己的和不熟悉文化下的發(fā)聲語，讓母語為匈牙利語的說話者采用不同的表情（如發(fā)笑）說出不帶有情緒性語義的語段。為了制作語速變快或變慢的嗓音片段，表情樣本經(jīng)過調(diào)節(jié)之后縮短（原始句子的21%-50%）或拉長（原始句子的18%-50%），其情緒性接受匈牙利（同種族）和德語（不同種族）說話者的評價(jià)。相比匈牙利語說話者，德語評價(jià)者傾向于將外種族的匈牙利語說話者評價(jià)為更負(fù)面（更悲傷、更生氣、更不積極、更害怕）。這些結(jié)果表明，語言/文化熟悉度可能和聲學(xué)參數(shù)一起影響嗓音表情的解碼。不管哪個(gè)文化族群，較低的語速和更長的停頓都會(huì)增強(qiáng)對悲傷和害怕的評定，降低高興和積極性的評定。在解釋語音線索在表情知覺過程中的作用時(shí)可能存在文化共性。

“文化內(nèi)”與“文化外”情緒判斷的正確率的差異是非言語表情解碼的文化特異性機(jī)制（如在自己的文化內(nèi)表現(xiàn)較好，而在其他文化中表現(xiàn)較差）。個(gè)體在識別同一文化族群成員說話者的意義時(shí)有更好的成績。肥田等人考察了原生和非原生文化中非言語發(fā)聲語表情的知覺（Koeda et al，2013）。他們讓母語為日語和加拿大英語的說話者分別判斷加拿大法語說話者發(fā)聲語的情緒效價(jià)（表情令人愉悅的程度）、強(qiáng)度（表情的強(qiáng)烈程度）和喚醒度（體驗(yàn)到的程度）。與加拿大英語說話者相比，日語說話者評價(jià)生氣、惡心和恐懼表情時(shí)給出更低的強(qiáng)度和更負(fù)性的評分，而在評價(jià)愉悅度時(shí)給出更低的評分。暗示了東方文化可能存在“文化修飾現(xiàn)象”，進(jìn)而影響了該文化中個(gè)體對西方文化中表情韻律模式的知覺。

研究者也通過比較聽話者，判斷自己與他人文化中的發(fā)聲表情，來考察同種族和不同種族對文化知覺的影響。母語為英語和來自辛巴族說話者（來自北部納米比亞、講少數(shù)民族語言的部落）分別評價(jià)自己及他族語言中的五種基本情緒（如生氣、惡心、害怕、悲傷和驚訝）以及四種正性的高級社會(huì)情緒的表情（如獲得成就感、消遣娛樂、感官愉悅和宣泄）（Sauter et al，2010）。對于基本情緒，兩組聽話者對來自同種族與不同種族文化的識別率都很高。對于獲得成就感和感官愉悅的發(fā)聲語，只有同種族語言才被識別。這些積極的情緒發(fā)聲語促進(jìn)了同種族內(nèi)的社會(huì)和諧，故帶有積極情緒的發(fā)聲溝通可能被局限在建立起社會(huì)關(guān)系的同族成員之間。但是，不管哪個(gè)文化群體，表達(dá)消遣娛樂的發(fā)聲情緒都可被識別，表明與“笑”有關(guān)的發(fā)聲表情與聽話者在開玩笑中體驗(yàn)到的享受有關(guān)，這種關(guān)聯(lián)存在文化一致性。

非言語表情的情感特征會(huì)影響知覺不同種族表情的結(jié)果。羅卡等人比較了由印度、肯尼亞、新加坡和美國的英語說話者產(chǎn)出的八種不同發(fā)聲語表情，被瑞典語母語被試識別的正確率（Laukka et al，2013）。文化之間的比較不涉及“文化內(nèi)”的知覺條件，因此排除了同種族和不同種族比較可能產(chǎn)生的混淆效應(yīng)——對于聽話者來講，實(shí)驗(yàn)所有待評價(jià)的語言都屬于“文化外”的。結(jié)果發(fā)現(xiàn)，不管何種文化類型，正性表情（高興、感興趣、誘惑、釋放、平靜和驚嘆）和負(fù)性表情（生氣、輕蔑、厭惡、害怕、悲傷）都可以得到準(zhǔn)確的識別。但是，與自我意識相關(guān)的表情類型（羞愧、愧疚、驕傲），不管哪種文化下的識別率都較低。因此，與自我相關(guān)的概念可以與文化效應(yīng)發(fā)生相互作用，并進(jìn)而影響對非母語語言中非言語表情的知覺。

有研究表明：加工不同種族文化的表情時(shí)可能遇到阻礙，表現(xiàn)為“假句子”表情的識別正確率下降。“方言理論”認(rèn)為，與不同地區(qū)的方言類型相似，不同文化下說話與溝通方式也具有“方言”特征，這些特征改變了非言語線索的知覺（Elfenbein & Ambady，2002;Elfenbein et al，2007）。方言中與文化相關(guān)的非言語線索可以促進(jìn)表情識別并提高正確率，而與文化無關(guān)的線索會(huì)阻礙識別過程并降低正確率。采用不同范式的實(shí)驗(yàn)研究支持了“方言理論”。

第一組研究中，佩爾等人讓阿根廷西班牙母語者判斷他們本國語言以及他們不熟悉語言（例如德語、加拿大英語和阿拉伯語）中的六種基本情緒和中性表情的假句子（Pell et al，2009）。不管是哪一種語言，聽話者都表現(xiàn)出高于機(jī)會(huì)水平以上四倍的識別率（約50%，且每種表情的識別率都高于機(jī)會(huì)水平）。更重要的是，相比判斷不熟悉的語言，當(dāng)聽話者判斷自己的母語時(shí)，識別率更高。

通過對不同的文化樣本進(jìn)行檢驗(yàn)，伯爾曼和奧斯庫邀請了漢語和母語為英國英語的說話者對各自和對方語言中的情緒性假句子做判斷（Paulmann & Uskul，2014），從而形成了“同種族”（漢語說話者知覺漢語句子、英語說話者知覺英語句子）和“不同種族”的知覺案例（漢語說話者知覺英語句子、英語說話者知覺漢語句子）。研究者檢驗(yàn)了加工非言語信息的“文化一致性”和“文化特異性”的假設(shè)?！拔幕恢滦浴奔僭O(shè)認(rèn)為語言內(nèi)部的聲學(xué)變化足夠讓同種族和不同種族聽話者準(zhǔn)確地判斷某種語言中的表情?！拔幕禺愋浴奔僭O(shè)認(rèn)定“同種族優(yōu)勢效應(yīng)”，即：相比其他語言，對母語的反應(yīng)更為準(zhǔn)確。結(jié)果表明，這兩種假設(shè)都得到了支持：（1）同種族和不同種族聽話者都以高出機(jī)會(huì)的水平識別了目標(biāo)表情（支持“文化一致性”理論）;（2）即使用來識別表情的聲學(xué)變量相同，每種語言中都有一些情緒存在“同種族優(yōu)勢效應(yīng)”（支持“文化特異性”理論）。

研究也采用了“面孔情緒判斷任務(wù)”（Face-affect detection task，簡稱FADT）來考察“文化外”嗓音的內(nèi)隱知覺（Pell & Skorup，2008）。在該范式下，聽話者在收聽假句子以后觀看面孔表情，并對面孔表情是否帶有情緒做判斷。假句子與面孔情緒可能一致，可能不一致。結(jié)果發(fā)現(xiàn)，即使嗓音表情沒有外顯地被提示，聽話者也能區(qū)分不同表情的假句子，表現(xiàn)出“面孔一嗓音一致性”效應(yīng)，即：相比一致的條件，不一致條件的正確率更低、反應(yīng)時(shí)更長。結(jié)果表明，聽話者可以對嗓音表情做內(nèi)隱加工（Pell，2005）?；谶@一發(fā)現(xiàn)，佩爾和斯克魯普進(jìn)一步比較了英語說話者判斷與加拿大英語和阿拉伯語假句子同時(shí)出現(xiàn)的面部表情的正確率。他們操縱了嗓音和面孔之間的時(shí)間間隔（短：600ms vs.長：1000ms）（Pell & Skorup，2008）。在有足夠時(shí)間激活說話者文化背景的條件下（1000ms），與一致條件相比，不管說話者知覺到的是同種族還是不同種族的嗓音，不一致條件都表現(xiàn)出更多的錯(cuò)誤。但是，當(dāng)嗓音的時(shí)間長度受到限制時(shí)，聽話者對嗓音和面孔之間的一致性變得更不敏感，在加工不一致和一致條件時(shí)所犯的錯(cuò)誤數(shù)量沒有區(qū)別，表明激活非母語中嗓音表情的意義需要更多的時(shí)間。

這些實(shí)驗(yàn)的共性在于：要求說話者判斷來自他們文化內(nèi)或文化外言語形式的表情。有兩個(gè)問題尚未做出回答：第一，判斷非母語說話者意義時(shí)所表現(xiàn)出的較高的正確率，是聽話者群體特有的，還是可以擴(kuò)展到相同方言群體評價(jià)同一語言的其他聽話者群體。第二，同種族優(yōu)勢效應(yīng)是可以通過暴露在目標(biāo)文化中習(xí)得的動(dòng)態(tài)過程，還是相對穩(wěn)定的、受同種族和不同種族語言韻律特征決定的過程。

四、非言語表情加工的影響因素：文化學(xué)習(xí)與語言水平

為了回答這些問題以及檢驗(yàn)表情判斷的速度和有效性，研究者采用了“聽覺一門控范式”來考察兩種不同母語說話者（加拿大英語和印度語）分別判斷其母語和對方語言中假句子的表情。研究者以句子的起點(diǎn)為始，以六個(gè)不同的長度為終點(diǎn)對假句子進(jìn)行切分。句子長度包括即200ms，400ms，500ms，600ms，700ms以及整個(gè)句子。聽話者從他們的母語（英語說話者判斷英語、印度語說話者判斷印度語）、外語（英語說話者判斷印度語）、第二語言（印度語說話者判斷英語）中判斷四種基本表情（Jiang etal，2015）。結(jié)果發(fā)現(xiàn)，即使聽話者第二語言表現(xiàn)出較高的熟練度（印度語說話者判斷英語句子），相比非母語說話者，聽話者在母語中表現(xiàn)得更準(zhǔn)確、更高效（在較少聲學(xué)信息的條件下獲得較高的正確率）。印度語說話者主觀報(bào)告較高的英語口語水平（包括說和聽），可以預(yù)測其在該語中的較高的表情判斷效率以及減弱的“同種族優(yōu)勢效應(yīng)”。這些數(shù)據(jù)進(jìn)一步支持了“方言理論”，表明在非言語表情方言中，文化一致性線索促進(jìn)了同種族表情的識別，文化不一致線索阻礙了該表情的識別。

為了進(jìn)一步考察文化學(xué)習(xí)（或文化修飾規(guī)則的獲得與維持）對于表情解碼過程的影響，研究者比較了移民到加拿大（住在加拿大或沉浸在加拿大一英語文化中至少6年）且有漢語經(jīng)驗(yàn)、剛來加拿大（少于2年）且母語為漢語和母語為加拿大英語的說話者，來判斷三組個(gè)體對表情加工的腦反應(yīng)差異（Liuet al，2016）。這些比較背后的邏輯是：如果文化學(xué)習(xí)影響聽話者對于非言語表情的解碼，移民組身上的行為或神經(jīng)反應(yīng)模式應(yīng)該類似于加拿大英語組的模式。這一結(jié)果表明：文化影響是有局限性的。當(dāng)研究者要求聽話者忽略說話者的面孔時(shí)，移民組的正確率降低，該模式與母語為英語的被試相似。但是，不一致條件下提高的N400不受到注意焦點(diǎn)轉(zhuǎn)換的調(diào)節(jié)，模式與母語為漢語的被試相似，而與母語為英語的被試不同。后者在注意偏離面孔時(shí)，表現(xiàn)出更大的N400變化。這些結(jié)果表明：文化影響加工多種非言語線索背后的神經(jīng)認(rèn)知過程，表現(xiàn)出漸進(jìn)性的適應(yīng)機(jī)制，其行為適應(yīng)先于神經(jīng)可塑性。

文化學(xué)習(xí)對表情解碼影響的機(jī)制，也通過直接比較母語說話者、第二語言說話者（L2）和外語說話者發(fā)出的目標(biāo)表情的識別正確率來進(jìn)行研究（Altrov，2013）。研究者要求被試在網(wǎng)絡(luò)測試平臺上對不同表情的嗓音（高興、生氣、悲傷和中性）做出判斷。三個(gè)聽話者組，包括愛沙尼亞語母語者、居住在俄羅斯的俄語母語者和居住在愛沙尼亞的俄語母語者，完成基于網(wǎng)絡(luò)的實(shí)驗(yàn)。實(shí)驗(yàn)中噪音表情語句子內(nèi)容相一致或不相一致，韻律表情與句子內(nèi)容相一致或不相一致（如聽話者用高興的表情說“我們住在這里感到很不舒服”）。所有聽話者群體都以高于機(jī)會(huì)水平的概率判斷表情，母語者和居住在愛沙尼亞的俄語母語者以高出兩倍機(jī)會(huì)水平以上的概率進(jìn)行判斷。相比愛沙尼亞說話者，居住在愛沙尼亞的俄語說話者判斷正確率更低，但是相比住在俄羅斯的俄語說話者，該組說話者在生氣、高興和中性表情上判斷正確率更高。這些結(jié)果支持了表情解碼同時(shí)依賴文化差異和文化學(xué)習(xí)過程，提示了聽話者通過社會(huì)交互和與目標(biāo)語言的接觸進(jìn)行非言語表情的規(guī)則學(xué)習(xí)。

這些研究無法區(qū)分，表情產(chǎn)生和識別過程中的跨文化差異是來源于聲音刺激屬性的不同，還是來源于文化標(biāo)準(zhǔn)間的差異。例如，文化修飾即編碼和解碼與特定文化相關(guān)的情緒標(biāo)準(zhǔn)，反映了控制和解碼表情的能力，深刻影響了社會(huì)交互（Matsumoto，1989）。文化學(xué)習(xí)可能植根于接觸不同文化下、用于表情編碼的物理屬性，或者源于習(xí)得并采用與誰、于何時(shí)以及如何溝通的規(guī)范標(biāo)準(zhǔn)。對這兩個(gè)變量的區(qū)分對于多個(gè)領(lǐng)域，包括商業(yè)、教育以及法律情景中的跨文化溝通具有重要的意義。

為了嘗試區(qū)分上述的可能性，研究采用了機(jī)器學(xué)習(xí)和模擬的方法，旨在分離聽覺刺激的物理屬性和影響嗓音表情知覺分類的文化標(biāo)準(zhǔn)（Laukka et al，2014）。研究者從來自5種不同英語文化的、由100個(gè)受過訓(xùn)練的說話者所表達(dá)的、10種典型情緒（生氣、輕蔑、害怕、高興、興趣、中性、性欲望、驕傲、悲傷和羞恥）的短句中，提取出聲學(xué)特征。研究者訓(xùn)練了支持向量機(jī)的機(jī)器學(xué)習(xí)模型，用來識別不同表情類型下基頻、嗓音強(qiáng)度、共振峰、嗓音質(zhì)量和時(shí)間信息等聲學(xué)特征的組合模式。這些模型被進(jìn)一步用來對相同或不同文化群體中聲學(xué)特征模式的表情進(jìn)行分類?？傮w來講，在跨文化的條件下，機(jī)器學(xué)習(xí)模型的區(qū)分率高于機(jī)會(huì)水平，相比不同文化，相同文化下進(jìn)行檢驗(yàn)的模型正確率更高（例如美國和印度之間）。相同種族文化和不同種族文化之間的分類正確率，在澳大利亞和美國英語的表情之間沒有差異。這些結(jié)果表明：不同文化之間的嗓音表情具有共同特征，不同文化的非言語表達(dá)具有“方言”屬性，表現(xiàn)在嗓音風(fēng)格中。由于不同文化下，表情識別的主觀偏好不影響分類正確率，同種族（或不同種族）文化下更高（或更低）的識別率可能來源于更多的接觸，也可能是由于對文化特異性的表達(dá)風(fēng)格更熟悉。

五、研究展望

過去有關(guān)文化的理論模型較少地考慮有關(guān)人類非言語表情的相關(guān)研究證據(jù)。隨著文化交流互鑒的不斷深入，跨學(xué)科的科學(xué)研究問題和方法學(xué)逐漸成熟，研究非言語表情的編碼和解碼越來越成為跨文化認(rèn)知神經(jīng)科學(xué)、跨文化心理學(xué)和跨文化語言學(xué)的重要研究問題?？疾旆茄哉Z表情與文化之間關(guān)系的一條有價(jià)值的研究路徑，是考察文化維度（如個(gè)體主義vs.集體主義）如何調(diào)節(jié)非言語表情的使用和解碼。霍夫斯泰德（Hofstede，1983）提出了文化維度理論，用來揭示文化對其成員的影響以及這些價(jià)值如何與他們的行為相關(guān)聯(lián)。文化變異的維度包括“個(gè)體主義一集體主義”“權(quán)力距離”“不確定性回避”“男性一女性化”“目標(biāo)長期一短期性”以及“縱容一約束”等文化規(guī)范取向（Hofstede，1983;2001）。其中，“個(gè)體主義一集體主義”維度是非言語溝通過程中適用“文化變異修飾規(guī)則”的有意義的預(yù)期變量，該維度的分?jǐn)?shù)很少在實(shí)驗(yàn)上得到檢驗(yàn)。高度個(gè)體主義的文化鼓勵(lì)外向性的表達(dá)，易夸大個(gè)體感受的強(qiáng)度;而在高度集體主義的文化中，情緒的表達(dá)依賴自我和他人間的關(guān)系進(jìn)行控制和評價(jià)（Matsu—moto et al，1998）。有一項(xiàng)研究報(bào)道了居住在伊朗的波斯語說話者，從他們自身文化的發(fā)聲語中，判斷六種基本情緒的正確率。說話者對攜帶情緒詞匯內(nèi)容的句子以一致的表情進(jìn)行發(fā)聲，因此在發(fā)生語的言語和非言語兩個(gè)通道都表征了情緒。高個(gè)體主義傾向得分的文化群體表現(xiàn)出95%的表情識別正確率（Hofstede et al，2010）。雖然這項(xiàng)研究沒有比較位于文化屬性兩個(gè)極端的群體，但是跨研究的比較表明：個(gè)體主義傾向高的德語和加拿大英語群體的表情識別正確率低（約70%和約83%）（Paulmannet al，2009），而集體主義傾向高的華人群體的正確率也低（約73%）（Liu & Pell，2012）?？缪芯康谋容^并沒有導(dǎo)致一致性的結(jié)果，并可能伴隨多個(gè)混淆變量。這些變量包括：（1）“迫選一判斷”任務(wù)中表情的數(shù)量;（2）是否存在額外的非言語或言語線索可用于表情識別;（3）不同群體說話者特異性的聲學(xué)特征以及其他與聽話者和說話者個(gè)體共變的文化變量。

與此相關(guān)的問題是：社會(huì)心理學(xué)變量如何與文化相互作用來共同影響非言語表情的解碼。聽話者的生物性別影響識別說話者意義的表情能力，女性說話者對非言語線索中的社會(huì)性信息更敏感（Schirmer & Kotz，2006），特別是當(dāng)注意沒有被外顯地導(dǎo)向這么做時(shí)，她們更傾向于整合非言語和言語線索（Jiang & Pell，2016），用來完善意義表征。在兩項(xiàng)事件相關(guān)腦電位的研究中，語義積極和語義消極的詞匯分別以高興或悲傷的語調(diào)呈現(xiàn)給聽話者（從而構(gòu)造出詞匯一韻律一致與不一致的條件），要求對詞匯的情緒意義進(jìn)行判斷，而忽略韻律線索（外顯任務(wù)指導(dǎo)語）或者判斷韻律和詞匯意義之間的一致性（內(nèi)隱任務(wù)指導(dǎo)語）（Jiang & Pell，2016;Schirmer et al，2002;2005）。母語為德語的說話者判斷德語表情（Schirmer et al，2002;2005），母語為廣東話的說話者判斷廣東話表情（Schirmer et al，2006）。不論聽話者的母語和文化是什么，只有當(dāng)非言語線索被忽略的時(shí)候，性別差異才體現(xiàn)出來;相比一致條件，不一致條件引起更強(qiáng)烈的神經(jīng)活動(dòng)，且只在女性說話者身上才有所體現(xiàn)。這些結(jié)果表明，生物性別影響非言語和言語表情的解碼，這種影響是獨(dú)立于文化的。

跨文化溝通場景中，與文化相關(guān)的非言語線索的編碼和解碼機(jī)制是多文化/多語言研究中社會(huì)語言學(xué)方面所感興趣的問題（Min & Schirmer，2011）。傳統(tǒng)的社會(huì)語言學(xué)研究者使用大量的態(tài)度調(diào)查問卷，來揭示與語言身份相關(guān)的積極或消極刻板印象（“社會(huì)污名”），從心理學(xué)視角看，近期有越來越多的研究開始關(guān)注神經(jīng)認(rèn)知系統(tǒng)如何加工與刻板印象相關(guān)的口語信息。例如，貝絲托邁爾記錄了英語為母語的聽話者在收聽與他們方言相同（南部英語或蘇格蘭英語）或不同（美式英語）的說話者，在口頭報(bào)告數(shù)字時(shí)聽話者的大腦活動(dòng)（Bestelmeyer et al，2014）。兩組被試者中有的持南部英語口音，有的持蘇格蘭英語口音。研究者采用了“適應(yīng)范式”，即反復(fù)呈現(xiàn)特定方言時(shí)采集他們的神經(jīng)反應(yīng)變化。杏仁核——通常在伴隨情緒反應(yīng)時(shí)活動(dòng)增強(qiáng)——中的神經(jīng)活動(dòng)，在呈現(xiàn)相同方言時(shí)增強(qiáng)，在呈現(xiàn)不同方言時(shí)減弱。這些結(jié)果提示當(dāng)知覺到說話者的語言中包含與聽話者相同的地理、種族和社會(huì)等級時(shí)，該語言的社會(huì)凸顯度表征提高。在另一項(xiàng)研究中，母語為加拿大英語的聽話者基于不同口音說話者的嗓音表情，進(jìn)行可信度推理。結(jié)果發(fā)現(xiàn)，當(dāng)聽話者將不同種族口音知覺為更可信時(shí)，負(fù)責(zé)沖突解決的腦區(qū)（如扣帶前回）活躍程度增強(qiáng)。這些結(jié)果提示，聽話者激活了說話者有關(guān)的刻板印象對說話者的非言語表情進(jìn)行解碼（Jiang et al，2018）。

非言語表情的準(zhǔn)確解碼對母語和非母語的加工都有重要影響。嗓音表情可以被用來解決第二語言加工中的詞匯歧義。阿努利科娃和奧斯塔的研究（Hanulikova & Haustein，2016）表明，在用悲傷的語調(diào)來說話的時(shí)候，以第二語言為英語的德語說話者更傾向于將英語中的“消極一中性類”同音異義詞（如：banned/band，被禁止/樂隊(duì)），判斷為具有悲傷的意義。但是，以高興的語調(diào)來說話的時(shí)候，以英語為第二語言的說話者和母語者都傾向?qū)⒂⒄Z中“積極一中性類”同音異義詞（如：flower/flour，花/面粉）知覺為攜帶積極的意義。這些結(jié)果提示，說話者的嗓音表情與聽話者的文化身份可以消解詞匯歧義中的情緒意義。

文化互鑒視角下的最新研究進(jìn)展揭示了非言語表情的文化多樣性基礎(chǔ)，跨文化非言語表情的編碼和解碼具有“同種族文化優(yōu)勢效應(yīng)”，個(gè)體文化和語言程度可以預(yù)測文化外的非言語表情解碼。未來研究應(yīng)針對非言語嗓音表情編碼和解碼的跨文化機(jī)制，特別應(yīng)以中國傳統(tǒng)文化背景下非言語表情加工為基礎(chǔ)開展跨文化研究。應(yīng)面向更豐富的文化認(rèn)知維度，應(yīng)考察跨文化機(jī)制與個(gè)體社會(huì)認(rèn)知、社會(huì)心理變量之間的相互作用，結(jié)合跨學(xué)科的、具有更高的時(shí)空精確度的神經(jīng)認(rèn)知測量方法，多維度地反映人類語言交際的文化基礎(chǔ)和文化問差異的語言學(xué)基礎(chǔ)。