淺談?wù)Z音隋緒識(shí)別的腦機(jī)制研究進(jìn)展

李曉慶　李東　蔣重清

摘要：本文根據(jù)語(yǔ)音信息傳遞的特性，將情緒性語(yǔ)音進(jìn)行歸類(lèi)，并根據(jù)當(dāng)前歸類(lèi)，以及近年來(lái)的研究，對(duì)關(guān)于語(yǔ)音情緒識(shí)別的腦機(jī)制的研究進(jìn)行歸納總結(jié)，進(jìn)而根據(jù)歸納總結(jié)提出研究展望，為以后語(yǔ)音情緒識(shí)別的研究提供參考。

關(guān)鍵詞：情緒語(yǔ)音；情緒韻律；情緒識(shí)別；腦機(jī)制

doi：10.16083/j.cnki.1671-1580.2018.4.048

中圖分類(lèi)號(hào)：H11 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-1580（2018）4-0166-03

一、引言

作為人際交往的必備技能之一——“情緒識(shí)別”能夠幫助我們更好地與他人進(jìn)行交往，進(jìn)而更好地生活和工作。人們對(duì)于情緒的識(shí)別主要依賴(lài)兩個(gè)感覺(jué)通道：視覺(jué)和聽(tīng)覺(jué)?！罢Z(yǔ)言”作為人際交往和情緒表達(dá)最直接的方式之一，通過(guò)視覺(jué)表達(dá)的時(shí)候，被稱(chēng)作“文本”，進(jìn)行聽(tīng)覺(jué)表達(dá)時(shí)，則被稱(chēng)為“口語(yǔ)”。文本在表達(dá)情緒的時(shí)候只能傳遞語(yǔ)義情緒，而口語(yǔ)不僅可以傳遞情緒語(yǔ)義內(nèi)容，還可以傳遞韻律信息。兩種情緒傳遞方式存在巨大的差異，與視覺(jué)呈現(xiàn)相比，聽(tīng)覺(jué)呈現(xiàn)更為復(fù)雜。所以，對(duì)于聽(tīng)覺(jué)方面的情緒識(shí)別的腦機(jī)制與視覺(jué)也應(yīng)該存在一定的差異。為了更好的了解這些差異，需要對(duì)語(yǔ)音情緒識(shí)別進(jìn)行研究。

對(duì)于人類(lèi)聲音而言，大量研究表明，語(yǔ)音情緒的識(shí)別是一個(gè)多步驟的加工過(guò)程，就語(yǔ)音加工的時(shí)程來(lái)說(shuō)，當(dāng)語(yǔ)音出現(xiàn)后的lOOms內(nèi)，個(gè)體會(huì)對(duì)語(yǔ)音的聲學(xué)線索進(jìn)行加工，這些聲學(xué)線索包括音強(qiáng)等，之后，大約再過(guò)100ms左右，聽(tīng)者會(huì)整合所聽(tīng)到的語(yǔ)音的聲學(xué)信息，并開(kāi)始解讀出所聽(tīng)到的語(yǔ)音所表現(xiàn)出的情緒意義，之后帶著這些情緒意義，個(gè)體進(jìn)行更高級(jí)的認(rèn)知加工，如情緒的評(píng)價(jià)和判斷等。大腦在進(jìn)行這些步驟的情緒語(yǔ)音加工的時(shí)候，需要大量神經(jīng)網(wǎng)絡(luò)的參與，如杏仁核（Amygdala）和聽(tīng)覺(jué)區(qū)域主要編碼情緒相關(guān)的聲學(xué)信息，而前島（AnteriorInsu.1ar）和前額葉區(qū)域更多的負(fù)責(zé)聲音情緒抽象的認(rèn)知表征。且有研究表明，大腦對(duì)具有高相似的中性韻律聲音的反應(yīng)與對(duì)情緒韻律的反應(yīng)存在一定的差異，其對(duì)情緒韻律有更大的激活。由此證明，大腦能夠很好地表征和區(qū)分紛雜多變的情緒性語(yǔ)音并予以一定的反應(yīng)。本文旨在根據(jù)前人的研究，對(duì)表達(dá)情緒的語(yǔ)音進(jìn)行分類(lèi)，并在此分類(lèi)的基礎(chǔ)上，總結(jié)前人關(guān)于“語(yǔ)音情緒識(shí)別的腦機(jī)制”方面的研究成果，進(jìn)而根據(jù)歸納總結(jié)提出研究展望，為以后語(yǔ)音情緒識(shí)別的研究提供參考。

二、語(yǔ)音的類(lèi)型

根據(jù)語(yǔ)音信息傳遞的特性（既可以通過(guò)語(yǔ)音文本的語(yǔ)義內(nèi)容傳遞信息，又可以通過(guò)韻律傳遞信息），研究者們會(huì)通過(guò)改變語(yǔ)音的語(yǔ)義或韻律信息來(lái)進(jìn)行語(yǔ)音情緒識(shí)別的研究。語(yǔ)音的語(yǔ)義信息是指說(shuō)話者說(shuō)了什么，個(gè)體可以根據(jù)積極或消極的說(shuō)話內(nèi)容來(lái)判斷說(shuō)話者的情緒。而韻律信息是指說(shuō)話者是怎樣說(shuō)的，包括語(yǔ)調(diào)、重音和音質(zhì)等，是理解說(shuō)話者意圖、意義和情緒狀態(tài)的重要線索。

根據(jù)研究時(shí)實(shí)驗(yàn)材料的不同，語(yǔ)音一般分為以下類(lèi)型：（1）情緒語(yǔ)義和情緒韻律共存的語(yǔ)音。在此類(lèi)語(yǔ)音中，既包含語(yǔ)音的語(yǔ)義情緒，又包含語(yǔ)音的韻律情緒，如語(yǔ)義——韻律情緒一致的語(yǔ)音和語(yǔ)義——韻律情緒不一致的詞、句子等。（2）只存在情緒韻律的語(yǔ)音。在此類(lèi)語(yǔ)音中，語(yǔ)音的語(yǔ)義不帶任何情緒信息，如攜帶情緒韻律的中性詞、句子，或者是表達(dá)不同情緒的感嘆詞如Yeah、Heey、Wow、Oooh等。此外，還有非言語(yǔ)發(fā)聲，也就是一種不用言語(yǔ)而發(fā)出的聲音，如嘆息聲、哭泣聲或是性愉悅聲等等。（3）只存在情緒語(yǔ)義的語(yǔ)音。沒(méi)有韻律信息的情緒詞、句子。

三、語(yǔ)音情緒加工的腦機(jī)制

目前，關(guān)于語(yǔ)音情緒加工腦機(jī)制的研究，主要根據(jù)語(yǔ)音信息傳遞的特性（既可以通過(guò)語(yǔ)音文本的語(yǔ)義內(nèi)容傳遞信息，又可以通過(guò)韻律傳遞信息），主要分成兩個(gè)方面：情緒語(yǔ)義和情緒韻律共存的語(yǔ)音情緒的加工，這里的情緒語(yǔ)義指的是語(yǔ)音當(dāng)中帶有情緒性語(yǔ)義的文本信息，而情緒韻律指的是情緒的非詞匯言語(yǔ)表達(dá)；情緒韻律的加工，此類(lèi)研究中的語(yǔ)音所表達(dá)的文本不包含任何情緒信息，而韻律則含有情緒信息。本文將從這兩個(gè)方面具體進(jìn)行分析。

（一）情緒語(yǔ)義和情緒韻律共存的語(yǔ)音情緒加工的腦機(jī)制。目前，對(duì)于情緒語(yǔ)義和情緒韻律共存的語(yǔ)音情緒加工腦機(jī)制的研究，其結(jié)果解釋基本上都是以具體的腦區(qū)為參照。早期對(duì)于聽(tīng)覺(jué)加工的研究就發(fā)現(xiàn)，顳橫回（Transverse Temporal Gyms，簡(jiǎn)稱(chēng)TTG）與早期的聽(tīng)覺(jué)加工有關(guān)。之后，進(jìn)一步對(duì)情緒語(yǔ)音的研究發(fā)現(xiàn)，外側(cè)顳回的活性與情緒語(yǔ)音和情緒性語(yǔ)調(diào)的加工有關(guān)，相比于中性的語(yǔ)音，情緒語(yǔ)音能引起其更大的激活。另外，大量研究表明，額葉也與語(yǔ)音情緒的加工存在聯(lián)系。前額葉對(duì)應(yīng)的是語(yǔ)音情緒的抽象認(rèn)知表征，攜帶情緒信息的語(yǔ)音會(huì)引起前額葉區(qū)域的激活；額下區(qū)域（InferiorFrontal Ar-eas，簡(jiǎn)稱(chēng)IFA）是對(duì)情緒刺激產(chǎn)生反應(yīng)的腦區(qū)之一，具體到額下回（InferiorFrontalis Gyms，簡(jiǎn)稱(chēng)IFG），有研究表明，額下回參與語(yǔ)音情緒的評(píng)價(jià)，評(píng)價(jià)判斷語(yǔ)音情緒的效價(jià)以及所屬的情緒類(lèi)別。另外，研究還表明右側(cè)額下回是評(píng)價(jià)判斷的中心。而對(duì)于左側(cè)額下回來(lái)說(shuō)，其被稱(chēng)為語(yǔ)音情緒評(píng)價(jià)的語(yǔ)義腦區(qū)，更多的負(fù)責(zé)語(yǔ)音中語(yǔ)義內(nèi)容情緒的評(píng)價(jià)。而語(yǔ)音情緒評(píng)價(jià)的語(yǔ)音腦區(qū)，一般是指雙側(cè)顳上回（su.perior Temporal Gyms，簡(jiǎn)稱(chēng)STG）/顳上溝（SulciTemporalis Superior，簡(jiǎn)稱(chēng)STS），其對(duì)語(yǔ)音的情緒線索非常敏感，能夠?qū)η榫w韻律進(jìn)行評(píng)價(jià)。

除了上述腦區(qū)，多年的研究還發(fā)現(xiàn)，顳頂聯(lián)合處、杏仁核和前島也與語(yǔ)音情緒的識(shí)別有關(guān)。2010年，Shari和Marc在對(duì)語(yǔ)音情緒的研究中發(fā)現(xiàn)，右側(cè)顳頂聯(lián)合處（right TPJ）對(duì)情緒韻律的知覺(jué)相比于對(duì)情緒語(yǔ)義的知覺(jué)更敏銳，表現(xiàn)為，包含情緒韻律和中性語(yǔ)義的語(yǔ)音相比于包含中性韻律和情緒語(yǔ)義的語(yǔ)音，能引起右側(cè)顳頂聯(lián)合處更高的激活水平。而對(duì)于左側(cè)顳頂聯(lián)合處（left TPJ），研究發(fā)現(xiàn)其并不是對(duì)情緒性?xún)?nèi)容優(yōu)先反應(yīng)，只有當(dāng)心理狀態(tài)（包括潛在環(huán)境因素導(dǎo)致的聽(tīng)者的心理狀態(tài)）感知和情緒識(shí)別的結(jié)合被要求時(shí)，才會(huì)與其相關(guān)。也就是說(shuō)，當(dāng)個(gè)體要求感知語(yǔ)音的情緒并對(duì)語(yǔ)音的情緒進(jìn)行判斷時(shí)，左側(cè)顳頂聯(lián)合處才會(huì)對(duì)語(yǔ)音的情緒性?xún)?nèi)容優(yōu)先反應(yīng)，包括韻律的情緒性?xún)?nèi)容和語(yǔ)義的情緒性?xún)?nèi)容。對(duì)于杏仁核而言，其主要參與情緒相關(guān)聲學(xué)信息的編碼，對(duì)情緒韻律很敏感，且無(wú)論是左側(cè)杏仁核，還是右側(cè)杏仁核，相比于中性語(yǔ)音，情緒語(yǔ)音會(huì)引起更大的激活。此外，研究還發(fā)現(xiàn)，前島與前額葉類(lèi)似，更多的也是對(duì)應(yīng)聲音情緒的抽象認(rèn)知表征。

（二）情緒韻律加工的腦機(jī)制。在對(duì)語(yǔ)音情緒中的情緒韻律進(jìn)行研究時(shí)，大部分的研究者并沒(méi)有將大腦區(qū)域進(jìn)行細(xì)分，只是將大腦大致分成了兩個(gè)區(qū)域——左側(cè)大腦和右側(cè)大腦。

研究初期，研究者們普遍認(rèn)為，大腦右半球更多的與情緒韻律的加工相聯(lián)系。1982年，Ley和Bryden的研究發(fā)現(xiàn)，右側(cè)大腦對(duì)情緒韻律的加工具有優(yōu)先性。之后的研究也表明：右側(cè)大腦對(duì)副語(yǔ)言（情緒韻律信息）加工有著極其重要的作用，相比于其他的信息，大腦右半球?qū)β曊{(diào)（韻律包括聲調(diào)和重音）的加工更加專(zhuān)業(yè)。例如，當(dāng)拋棄語(yǔ)音的詞匯信息的時(shí)候，右側(cè)額顳網(wǎng)絡(luò)或右顳回（STG）就會(huì)對(duì)情緒韻律基頻的變化和外形進(jìn)行加工。

但是，隨著研究的不斷深入，最近的研究發(fā)現(xiàn)，大腦對(duì)情緒韻律的加工并不只是有右側(cè)大腦的參與，大腦左半球也參與了情緒韻律的加工。有研究發(fā)現(xiàn)，一些雙側(cè)區(qū)域與明確注意的情緒韻律加工有關(guān)，包括右顳中回（right Middle Temporal Gyms，簡(jiǎn)稱(chēng)rMTG）、右側(cè)顳上回前部（right Planum Polare，簡(jiǎn)稱(chēng)rPP）、左側(cè)亞屬前扣帶皮層（1eft Sub-genualAnte.rior Cingulate Cortex，簡(jiǎn)稱(chēng)1SACC）、左側(cè)殼核（Puta.men）和左側(cè)杏仁核。另外，關(guān)于“生氣”這個(gè)單一情緒的研究發(fā)現(xiàn)，大腦兩半球參與了生氣韻律的加工，更加證實(shí)了情緒韻律的加工是大腦兩半球共同作用的結(jié)果。因而，綜上所述可推知，對(duì)于情緒韻律的加工，應(yīng)該是大腦兩半球共同作用的結(jié)果，但大腦右半球的參與度可能比左半球更高。

四、展望

目前為止，關(guān)于語(yǔ)音情緒識(shí)別的研究并沒(méi)有完善，研究者們還可以從其它角度進(jìn)行研究。

首先，在語(yǔ)音情緒的加工方面，完全脫離情緒韻律，而單獨(dú)研究語(yǔ)音情緒文本加工的研究極少。所以，需要研究者們對(duì)語(yǔ)音情緒中的帶有情緒語(yǔ)義的文本進(jìn)行單獨(dú)研究，探討大腦對(duì)此類(lèi)語(yǔ)音情緒加工的規(guī)律。另外，人們?cè)谌粘＝涣髦?，也可以通過(guò)非言語(yǔ)發(fā)聲來(lái)表達(dá)自己的情緒，即不用言語(yǔ)而發(fā)出的聲音，如嘆息聲、哭泣聲等等，但是此方面腦機(jī)制的研究比較少。同樣的情況也發(fā)生在情緒感嘆詞的腦機(jī)制的研究方面。因此，對(duì)此方面的研究，需要研究者們踴躍加人。值得一提的是，作為人類(lèi)最復(fù)雜的器官——大腦應(yīng)該還有許多與語(yǔ)音情緒加工有關(guān)的腦區(qū)，也等待著研究者們的進(jìn)一步挖掘。

[責(zé)任編輯：王辰]