多模態(tài)語音情感語料庫的語言符號學“全文本”解讀

湯朝菊，　魏全鳳

(電子科技大學 外國語學院，成都 611731)

?

多模態(tài)語音情感語料庫的語言符號學“全文本”解讀

湯朝菊，魏全鳳

(電子科技大學 外國語學院，成都 611731)

在符號學與語言學的交叉學科語言符號學視角下，探討語言符號學對語料庫全文本解讀的可行性和實際應用價值，是語言符號學應用廣度上一個新嘗試，也是對語料庫后續(xù)價值的進一步挖掘。本文主要從已經建立的語力和韻律關聯性多模態(tài)語音情感語料庫的語言符號學全文本解讀分析入手，論證語言符號學視角下多模態(tài)語音情感語料庫的全文本解讀不僅可以還原語料庫的原有信息，而且生成新的可用信息，更好地解釋語力、韻律和情感的互動關聯，同時為語料庫的后續(xù)研發(fā)提供資源基礎，從而說明語言符號學這個新興交叉學科的實際應用價值和對研究空間的拓展功能。

語言符號學；多模態(tài)；語音情感語料庫；全文本

一、引言

語音情感研究是當前人機互動工程的熱點話題。語音情感依托文本、聲音等載體，故語音情感是多模態(tài)的，涉及視覺(語音的文本呈現)、聽覺(生理神經感官)、心理觸覺(言者和聽者對語音的意義解讀)以及其他如思想、道德、倫理方面的諸多因素，所以要進行語音情感的工程學研究，比較通用的方法是首先建立語音情感語料庫。這類語料庫與其他語料庫的區(qū)別在于：語料不是純文字文本而是聲音文本，語料標注的重點信息是情感，語料庫的建庫原理是基于語言學方法論，語料庫的標注內容要體現多模態(tài)特征，語料庫的建立是為后續(xù)工程研發(fā)提供通用信息[1-5]。目前中國社會科學院創(chuàng)新工程項目之“語力、韻律與情感研究”子課題所建立的語料庫即屬于這類語料庫。該類語料庫在語言學方法論指導下，結合語音流中語力施事行為單元中語力和韻律的特征標注語音情感，標注原理是在Damasio等人的情感論基礎上，通過情感分層建模來實現不同情感的表征形式[6-9]，標注軟件是當前語音學界通用的由荷蘭阿姆斯特丹大學人文學院語音科學研究所主席保羅·博爾斯馬(Paul Boersma)教授和大衛(wèi)·威寧克(David Weenink)博士研發(fā)的跨平臺的多功能語音學專業(yè)軟件Praat。當前這類語料庫語料的主要來源是廣播體小說錄音和現場即席講話錄音。

這類語料庫建好后，如何解讀語料庫內容是對其后續(xù)研發(fā)服務的前提。本文討論從語言符號學觀點如何對其進行全文本解讀，這類語音情感語料庫的核心內容是將聽覺形態(tài)的語音情感用符號與形式化的手段表示出來。

這類語料庫實際是一個多模態(tài)的符號化整合系統(tǒng)，是各種模態(tài)在感知、復現、互動方面的文本表現，這些符號化的文本意義通過一個全文本模型，將符號交際意義進行共現式的表達，用什么方法通過何種角度解讀是決定語料庫的價值關鍵。

二、語音情感語料庫的語言符號學全文本解讀

語音情感語料庫的建立主要是為后續(xù)的工程研發(fā)服務，那么如何解讀語料庫內容，決定了根據不同的研發(fā)目的對語料庫數據的取舍和特征提取。本著符號學對語言學提供的系統(tǒng)化思維方式、豐富的概念工具和有效的分析方法的觀點[10]，我們來討論如何對上述語料庫進行語言符號學的全文本解讀問題，具體地說，討論如何用語言符號學觀點全文本解讀語音情感語料庫，并探討語音情感與語力和韻律的互動關聯性，以便界定語料庫應用價值，為后續(xù)開發(fā)提供足夠的信息資源。

(一)語言符號學理論及全文本概念

1.語言符號學理論及應用

語言符號學是結合符號學和語言學相關知識的一門交叉學科。我們知道，符號學理論是基于語言學、人類學和現象學三個學科的相關知識，這就注定了語言學和符號學之間的密切關聯性。語言符號學本身是在汲取人文社會科學和自然科學中與信息的編碼、傳遞、解碼以及語義等問題相關的理論與實踐的諸多理論和學科，如控制論、信息論、哲學、語言學、心理學、社會學等發(fā)展起來的一門交叉學科，奠定了語言符號學的多元性特征。語言符號學從語言的本體結構(語素、詞匯、句子、篇章)構建語言符號的層級概念，并把這些語言層級的符號學研究作為主要內容[10-14]。這個理論框架的提出為語言學與符號學的結合和實際應用提供了很多研究空間，因為語言的元語言特質決定了語言本身就具有對其他所有符號系統(tǒng)進行解釋的功能。

目前語言符號學的應用在傳播學、詞匯學、哲學等學科領域以及跨文化交際、語篇分析、翻譯、古詩詞的解讀、網絡符號的解讀、短信文本的解讀、廣告?zhèn)髅降确矫娑加形墨I探討。本文將語言符號學分析運用到語音情感語料庫的全文本解讀中，進一步論證語言符號學在應用領域的可行性和拓展功能，從而論證語言符號學具有一個更為開放的前景，論證語音情感語料庫后續(xù)研發(fā)的潛力和價值。

2.全文本概念

全文本概念是基于世界普遍聯系的哲學觀點，因為“文本”即“有意義的符號組合”[15]。趙毅衡認為全文本就是“進入慣例式解釋的全部文本元素之集合”，包括通常意義潛勢下的主體文本和文本邊界外的伴隨文本等[16-17]，既有顯性文本也有隱性文本?；谏鲜鲇^點，本文的全文本是指通過語料庫構建方法，用語音軟件Praat切分及標注語音流中的情感，從而形成一個多模態(tài)的全文本。Praat軟件的功能是可以通過層級表達的方式對聲音和圖形處理及文字標注處理進行分區(qū)分層。但是就語音情感語料庫而言，這些分區(qū)分層后的文本組合元素都是意義解讀的符號實體，都服務于一個整體文本目標，即情感的解讀。

(二)語音情感語料庫全文本解讀

1.語音情感語料庫解讀的可行性

按照索緒爾的觀點，語言本身是一套傳達思想意義的符號系統(tǒng)，得出語言是一個表意系統(tǒng)的概念，即語言是一個層級符號系統(tǒng)、多維的關系系統(tǒng)、純粹的價值系統(tǒng)[18]。人類社會所有信息的所有溝通形式都是通過符號進行的，語言符號在本質上是一種社會性的存在。從這個意義上說，語言符號與我們建立的語音情感語料庫存在層級對應關系，語料庫建立后，就是一個全文本的打包系統(tǒng)，那么用語言符號學觀點首先要解讀語音情感。語音情感涉及很多因素，其解讀也是多元性的。本文從語言符號學視覺討論語音情感的“全文本”解讀。首先，語音情感是多模態(tài)的，因為根據Kress的觀點，所有的話語都是多模態(tài)的[19]；其次，對語音情感的解讀是多模態(tài)的，顧曰國認為：“人類在正常情況下跟外部世界(包括人際之間)的互動都是多模態(tài)的?！盵4]3

語料庫全文本解讀就是語料庫從聚合整體性方面對語料的表達實體、表達內容、內容實體、內容形式從多個維度進行符號系統(tǒng)性、意指性的宏觀解讀，同時對各個具體內容進行線性和非線性、切分性、語境關聯性和信息的豐富性進行解析。具體地說，Praat軟件對聽覺單模態(tài)的語音流進行數字化、文本化等性質的可視化轉變，從而形成多模態(tài)語音情感語料庫。語言符號學就是對其各種模態(tài)特征、模態(tài)的間際關系、模態(tài)功能互動以及由此構成的整體意義等進行解讀[20]。

多模態(tài)語音情感語料庫的語言符號學全文本解讀是基于人類多種感官基礎之上的語言和非語言符號的多樣性符號系統(tǒng)的理解，因為多模態(tài)本身就是指交際符號的多樣性。當前這類語料庫一般是用Praat軟件進行人工標注，從而形成語音符號化，這些文本的各個要素都是為整體意義解讀的符號。從文本符號學和視覺符號學的角度來看，這是由行為事件、聲音、圖形、文字、色彩、符號、線條、標示記號、空間層次等多模態(tài)符號形式對原有的符號化文本進行再生性轉化或創(chuàng)造，通過分割、截取和標注后，將即時性的符號意義轉化為長時性的示意性和描述性符號意義。在語料庫的基礎上，進行語音情感的語言符號學全文本解讀是在了解語音文本具有了符號意義的基礎上，如何通過這些符號解讀語音情感，這些語音情感又是如何通過語言的轉寫轉述而被人更加了解和認知、感知的。每一個符號在規(guī)約化之前都有一個具體的意向性關聯，是存在于心理感知與對象之間的內容，語言符號學的主要任務就是對所有符號文本承載的意義進行盡量多的全方位傳遞和解讀。

2.語音情感語料庫的全文本解讀示例

顯然，多模態(tài)下任何一個事件的意義呈現都是在一個打包系統(tǒng)下同時進行的，對該事件的各項意義解讀卻必須是分步逐一解構的，即對各個模態(tài)成分的意義解讀。從通常的認知邏輯來看，這種解構秩序是遵循先表象后真相，先現象后本質，先具象后抽象，先主要后次要，先簡單后復雜，先解凸顯事件后解背景事件，在符號與意義的組合與聚合、廣度和深度雙重維度下進行的。

以語料庫單元為例，“道歉”語力施事單元的文本內容是“萬麗不好意思的/沖許大姐笑了一下說/對不起許大姐/反正/反正您知道”。通過語音軟件對這個施事單元進行人工標注后，形成了一個多模態(tài)語料庫單位組件，通過對這個單位組件的語言符號學全文本解讀，可以得到豐富的信息：(1)首先這是一個語音流單元。(2)這個語音流的總時長為8.9秒。(3)這個語音流包含3個語調單元。(4)這個語音流有聲波、語圖、韻律、文字等的同步呈現。(5)這個語音流除了再現音高、音強、停頓、語速等信息，重點是情感的呈現。(6)這個語音流單元同時呈現了語音的三種情感：社會情感、基本情感和背景情感。(7)這個語音情感的值價是正面的，取向是對人而非對己。(8)由標注我們得知，言者表達出了“愧疚”的社會情感，而基本情感是很真誠坦然的，卻有因理虧而顯得底氣不足的背景情感。(9)言者在表達這些情感時，伴隨了韻律特征，如長停頓、核心韻律詞反復、低音、高調、少能量等。(10)這些韻律特征和情感分層形成對應關系，同時扣合“道歉”語力，形成語力與情感和韻律的關聯。(11)因為這樣的標注，在即使不聽聲音的條件下，我們仍然可以把言者聲音的停頓和猶豫通過轉化文本“〈萬麗不好意思的〉〈沖許大姐笑了一下說〉對不起許大姐……反正……反正您知道”體現出來。(12)這個文本還包含了一些附加文本信息，由此我們知道敘事者對言者的神態(tài)“不好意思”和講話方式“沖……笑了一下”都有既定的描述。(13)這個語料庫單元是由圖、文、聲構成的多模態(tài)。(14)這種文本的層級建構是開放式的，可以繼續(xù)增加。(15)這種語料庫發(fā)展了語構、語義和語用的符號學句意結構。(16)這類語料庫將句子和語篇的話語意義有機結合……由此看出，這種解構至少遵循先宏觀、后微觀、再宏觀的程式秩序，同時在過程中關聯了圖像、圖形、聲音、文字、色彩、空間、時間、立體維度與平面序列等諸多符號。

這個只是對語料庫中的一個施事單元的解讀。皮爾斯認為，任何一個個體符號的解釋都指向另外一個(或諸多)符號，即符號可以無限衍義。按照這樣的關聯，當語料庫足夠大的時候，其符號資源非常豐富，這樣的全文本解讀就具有了系統(tǒng)性的結果，對語音情感的意義指涉更加精細和明確，從而形成語音情感誘發(fā)條件、語音情感表達方式的范疇性和范式化，就可以建立語音情感意義解讀的對應關系。當然，我們必須保證解讀描寫的規(guī)約性、可重復性以及相同概念的一致性。

三、討論

(一)多模態(tài)語音情感語料庫的語言符號學全文本解讀的理據和可行性

多模態(tài)語音情感語料庫的語言符號學全文本解讀的理據在于：多模態(tài)語音情感語料庫是一個符號的集合系統(tǒng)，而語言對符號是有闡釋功能的，可以通過語言符號學視角進行解讀；其次，多模態(tài)語音情感語料庫的語言符號學全文本解讀的可行性在于，多模態(tài)語音情感語料庫是一個兼容主體文本和伴隨文本的全文本。根據de Bauderande，文本具有七個特性：結構上的整合性、概念上的一貫性、發(fā)出者的意圖性、接收者的可接受性、解釋的情境性、文化的文本間性、文本本身的信息性[21]。按照這七個特性界定，多模態(tài)視覺下語音情感全文本符合這些特征，而且語音情感語料庫通過軟件把一些隱性文本符號信息如音高、音強、能量、共振峰、語速、音色、聲域、響度、發(fā)音清晰度等，同時加上伴隨文本如語力施事單元的兩端邊界信息、韻律的音樂性和節(jié)奏感，以及副文本信息如停頓、嘆息、言者的思想或感情等形成聯合表意整體，實際上形成了語言與非語言的文本資源，不但提高了文本的清晰度，同時增加了文本的敘事性和可視性，還增強了文本的直觀性和修辭效果。因此，可以進行全文本的系統(tǒng)解讀。

由此我們看到，符號學的方法論和應用性至少在語言學領域找到又一個接口，并看到了符號學在分析具體語言現象上的又一種功效。對語言現象進行符號學分析，建立符號學與語言學之間的實質關系，也是符號學的主要任務。語言學與符號學孰為種孰為屬之爭已經不重要了，重要的是二者相互依存和聯手之后內在功能的增強以及強大的描述性和解釋力。

(二)多模態(tài)語音情感語料庫全文本解讀的實用性

通過語音軟件生成的標注語音情感語料庫符合情感性、可理解性、可預期性，同時兼具目的性、評價性、取效性、必要性、義務性和認知性，其跨學科的應用性不言而喻。通過語言符號學的全文本解讀，可以增生和提供該類語料庫的價值，拓展后續(xù)研發(fā)的前景，使之更加有應用價值，如：柔性語音語言的可接受度研究，人機互動中語力、韻律和情感的對應范式，聲訊臺、語音廣告用語、廣播用語的語力、韻律和情感的對應范式，領導人話語場合的適宜性和語用效應，教師課堂用語的得體性，醫(yī)患交流的語力情感選擇性等等。

四、結語

語音中的情感主要是通過話語和聲音特征來體現，用Praat軟件對語音情感信息進行切割后，將音頻信息可視化、符號化，并構成一個涉及情感誘發(fā)事件、情感表達自我事件、情感感知他人事件的主體行為和客體行為共同體，同時，事件的性質決定了情感的正面與負面反應和效應，最終形成一個多維全文本。對該全文本用語言符號學解讀的可行性和效價性可以總結為：語言符號學為語音情感語料庫的全文本解讀提供了理論支持；多模態(tài)視覺下，語音情感全文本的語言符號學解讀方式涉及言者和聽者的雙向性；多模態(tài)視覺下，語音情感全文本的語言符號學解讀要注重過程解讀，即進行動態(tài)解讀；對語料庫的全文本解讀要遵循以人為本的解讀原則；對多模態(tài)語音情感語料庫的語言符號學全文本解讀在足夠量的情況下，逐漸形成范式化的解讀模式，對語料庫的后續(xù)研發(fā)是有明顯意義的。

總之，語音情感語料形式的文本是經過人工標注的文本，因為標注中的各種參數和標注軟件的技術化處理，使得該類文本具有全文本特質，但這樣的全文本最終還是要進行意義的解讀，從符號學觀點來看，其實就是系列符號的意義化。語言符號學全文本解讀觀將語音情感進行文本化、圖示化、符號化，使得對語音情感的解讀超越了基于純文字文本或純聲音文本的意義和語用的多向關聯，提高了對語音情感的闡釋力。多模態(tài)語料庫的語音情感解讀涉及聽讀能力、文字的識讀能力，在各種符號資源(語力、韻律、言者、聽者、文字標注、語圖)非常豐富的情況下，能更好地識讀情感，形成一個通感解讀。同時，語用環(huán)境下，語言還有社會性和差異性，通過語力、韻律和情感的關聯來解讀情感文本是有靶向性的，容易抓住情感的特質，盡量體現符號傳意的一致性。

多模態(tài)語料庫的語音情感解讀是基于語言符號母版系統(tǒng)的文本再現，融合了索緒爾的符號學理論和皮爾斯的符號學思想，語力的符號意指既由語言的元語言性質決定，又因語言的社會功能決定?？梢哉f結合語力和韻律的多模態(tài)語料庫語音情感的語言符號學解讀跳出了單純從語音的聲學特征參數來分析情感的框架，融入了敘事學立場和視角，有利于提高多模態(tài)識讀能力，從文本意向性解決了語力和韻律表達情感的聯動問題。

[1]GU Y.Multimodal text analysis:a corpus linguistic approach to situated discourse[J]．Text and talk,2006,26(2):127-167.

[2]GU Y.From real-life situated discourse to video-stream data-mining[J].International journal of corpus linguistics,2009,14(4):433-466.

[3]GU Y.A conceptual model of Chinese illocution,emotion and prosody[C]//Human language resources and linguistic typology.Taipei:Academia Sinica,2013:309-362.

[4]顧曰國.論言思情貌整一原則與鮮活話語研究:多模態(tài)語料庫語言學方法[J].當代修辭學,2013(6):1-19.

[5]GU Y.Elementary introduction to multimodal corpus linguistics[R]//Sino-UK school of corpus linguis-tics.Shanghai:Shanghai Jiao Tong University,2014.

[6]DAMASIO A.Descartes’ Error:emotion,reason and the uuman brain[M].London:Papermac,1996.

[7]DAMASIO A.The feeling of what happens:body and emotion in the making of consciousness[M].London:William Heinemann,1999.

[8]DAMASIO A.Looking for spinoza:joy,sorrow,and the feeling brain[M].London:William Heinemann,2003.

[9]DAMASIO A,MEYER K.Consciousness:an overview of the phenomenon and of its possible neural basis[C]//LAUREY S,TONONI G.The neurology of consciousness.Amsterdam:Academic Press Elsevier,2009.

[10]王銘玉.談語言符號學系統(tǒng)理論的構建[J].外語學刊,2007(1):105-112.

[11]王銘玉.符號學與語言學[J].外語研究,1999(2):5-7.

[12]王銘玉.從符號學看語言符號學[J].解放軍外國語學院學報,2004(1):1-9.

[13]王銘玉.語言符號學[M].北京:高等教育出版社,2004.

[14]王銘玉,等.現代語言符號學[M].北京:商務印書館,2013.

[15]LOTMAN J.The structure of artistic text[M].Ann Arbor:University of Michigan Press，1970:64．

[16]趙毅衡.“全文本”與普遍隱含作者[J].甘肅社會科學,2012(6):145.

[17]趙毅衡.論文本的普遍性[J].重慶廣播電視大學學報,2013,25(6):23.

[18]呂紅周.索緒爾的語言系統(tǒng)觀研究[J].外語學刊,2010(4):57-60.

[19]KRESS G,LEEUWEN van T.Front pages:the critical analysis of newspaper layout[C]//BELL A,GARRETT P.Approaches to media discourse.London:Times New Roman,1998:186.

[20]KRESS G,LEEUWEN van T.Multimodal discourse:the modes and media of contemporary communication[M].London:Arnold,2001:111.

[21]BAUDERANDE de R.Text,discourse and process[M].Norwood NJ:Ablex,1980.

(責任編輯：張璠)

Full-textualizing towards Multimodal Corpus of Emotion in Speech from Linguistic Semiotics

TANG Chaoju, WEI Quanfeng

(School of Foreign Languages, University of Electronic Science and Technology of China, Chengdu 611731, China)

The feasibility and practical application of full-textualizing towards Multimodal corpus of emotion in speech is explored from the perspective of linguistic semiotics. It is actually an initial methodological application and discussion on both the discipline of linguistic semiotics and further explorations and researchers of the established corpus. With the implication of the interface of semiotics and linguistics, the full-textualizing perspectives and methods can not only restore the given information, but also dig out new information carried by the transcribed corpus.

linguistic semiotics; multi-modality; corpus of emotion in speech; full-text

2016-02-26

電子科技大學人文社科重點培育項目“語音情感識別多模態(tài)研究：語力、韻律和情感互動關系”(ZYGX2015SKZ01)；中國社會科學院創(chuàng)新工程項目子課題 “語力、韻律與情感研究”

湯朝菊(1968—)，女，重慶人，電子科技大學外語學院教授，博士，研究方向：語言學；魏全鳳(1972—)，女，四川人，電子科技大學外語學院副教授，博士，研究方向：符號學。

H0-0

A

1674-0297(2016)04-0134-05