多模態(tài)表現(xiàn)手法對(duì)話語意義完整性的貢獻(xiàn)

摘 要：在技術(shù)不斷進(jìn)步的今天，信息的表達(dá)和信息傳遞越來越呈現(xiàn)多模態(tài)化趨勢(shì)?？v觀人類實(shí)際的語言交際，成功的語義信息構(gòu)建和傳達(dá)始終非單一手段所能達(dá)到，而是多種語言甚至非語言要素綜合作用的結(jié)果。因此，對(duì)于話語意義的研究需要跳出單純的文本研究模式，擴(kuò)展到多模態(tài)的話語分析模式。本文首先綜述了多模態(tài)理論在話語分析以及其他領(lǐng)域的應(yīng)用，其次將理論應(yīng)用于實(shí)踐，以影視作品《天才理論傳》中部分視頻片段為考察對(duì)象，相應(yīng)劇本為語料，通過分析進(jìn)一步闡釋多模態(tài)的語言對(duì)表現(xiàn)完整而準(zhǔn)確的話語意義的重要作用。

關(guān)鍵詞：多模態(tài)；話語分析；非語言因素

作者簡(jiǎn)介：陳雅璐，同濟(jì)大學(xué)，專業(yè)：英語學(xué)歷：碩士研究生（研一），研究方向：外國(guó)語言學(xué)及應(yīng)用語言學(xué)。

[中圖分類號(hào)]：H0-06[文獻(xiàn)標(biāo)識(shí)碼]：A

[文章編號(hào)]：1002-2139(2012)-14-0148-02

引言

人類之所以是自然界最高級(jí)的生物，因?yàn)槿祟惥哂兴枷?，并且?chuàng)造出了能夠傳達(dá)自己思想的表意符號(hào)系統(tǒng)。狹隘說來表意符號(hào)系統(tǒng)就是指的人類的語言，但廣義來說，語言系統(tǒng)只是表意符號(hào)系統(tǒng)的一個(gè)組成部分。

在技術(shù)不斷進(jìn)步的今天，人們?cè)诮浑H過程越來越多地使用多種符號(hào)工具來創(chuàng)造信息和傳達(dá)意義，比如在言語對(duì)話時(shí)配合手勢(shì)或眼神，在提供文字信息的同時(shí)采用圖片或圖像輔助闡釋，在講話或報(bào)告時(shí)佐以背景音樂等等。

一、多模態(tài)話語分析框架

根據(jù)張德祿老師（2009:24）的觀點(diǎn)，多模態(tài)話語指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。多模態(tài)也稱多符號(hào)，即指的其中采用的各種可以用來構(gòu)建意義的符號(hào)工具。

在承載話語意義的媒體層面，多模態(tài)話語分為語言的和非語言的兩大類媒介形式；其中，語言的承載媒介包括純語言的和伴語言的兩類；非語言的承載媒介包括身體性的和非身體性的兩類。具體每一類媒介包含的符號(hào)工具如下圖所示（張德祿，2009:25）：

由此多模態(tài)話語媒體系統(tǒng)結(jié)構(gòu)圖我們可以看出，從多模態(tài)話語的角度來衡量，純語言的文字體系作為人類實(shí)際交際的符號(hào)工具，只是龐大而復(fù)雜的符號(hào)系統(tǒng)中很小的一個(gè)組成部分。也就是說，純語言的言語聲音或書面文字不足以完整和準(zhǔn)確的構(gòu)建和傳遞信息。因此，對(duì)于話語的多模態(tài)分析越來越成為語言研究的重要課題之一。

話語分析理論最初由美國(guó)語言學(xué)家Harris于20世紀(jì)50年代初期提出，之后話語分析專家們紛紛立足于不同角度，提出了多種理論與方法來揭示話語行為自身的特征、內(nèi)在的規(guī)律，以及話語與認(rèn)知之間的關(guān)聯(lián)，并結(jié)合了大量的案例來分析、論證和鞏固以上理論。然而何山燕（2011:153）認(rèn)為：“以往的話語分析研究基本都是以語言為研究對(duì)象，或從語言系統(tǒng)和語義結(jié)構(gòu)本身，或從社會(huì)文化、認(rèn)知心理之間的關(guān)系探討語言應(yīng)用規(guī)律，忽略了諸如圖像、音響、色彩、動(dòng)畫等其他意義的表現(xiàn)形式?！?/p>

隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，多模態(tài)話語現(xiàn)象愈發(fā)頻繁，單純從語言的角度已經(jīng)不能夠準(zhǔn)確和完整地對(duì)話語進(jìn)行深入而全面的分析和闡釋，因?yàn)槿祟愋畔⒔浑H中很大一部分信息是由非語言因素體現(xiàn)的。非語言符號(hào)在信息傳遞方面能夠打破空間甚至?xí)r間的限制，因此在日常交際中發(fā)揮著越來越重要的作用。

根據(jù)張德祿老師（2009：27）的觀點(diǎn)，各種模態(tài)形式之間存在如下各種關(guān)系：

多模態(tài)之所以被廣泛運(yùn)用于實(shí)際話語交際中，就是因?yàn)槎喾N模態(tài)能夠通過相互之間的突出、擴(kuò)充、聯(lián)合等互補(bǔ)關(guān)系，或者抵消、抽象到具體、獨(dú)立等非互補(bǔ)關(guān)系，更完整更準(zhǔn)確的表達(dá)說話者的意思。

下面筆者將對(duì)影視作品《天才理論傳》中部分情節(jié)的多模態(tài)話語交際現(xiàn)象進(jìn)行嘗試性分析，通過對(duì)理論的應(yīng)用與實(shí)踐，進(jìn)一步闡釋多模態(tài)的表現(xiàn)手法對(duì)構(gòu)建準(zhǔn)確而完整的話語意義的重要作用。

二、多模態(tài)語義構(gòu)建實(shí)例——以《天才理論傳》為腳本

《天才理論傳》是20分鐘為一集的美國(guó)短喜劇，其中男主人公四名（Sheldon， Leonard等，以下簡(jiǎn)稱S和L）均為智商超群的“科學(xué)天才”，做事較真愛鉆牛角尖，因此處理日常生活和感情問題時(shí)總是不；女主人公Penny（以下簡(jiǎn)稱P），是S和L的對(duì)門鄰居，美麗漂亮、聰明伶俐，雖沒有極高的學(xué)歷和超凡的智商，但在生活及做事的諸多方面是男人們應(yīng)崇拜和效仿的典范。《天才理論傳》就是講一個(gè)美女和四個(gè)科學(xué)家的搞笑故事。

下面我們以《天才理論傳》第一部的第十一集為研究對(duì)象，對(duì)其中的多模態(tài)話語交際現(xiàn)象進(jìn)行描述和分析，以圖考察說話者意圖表達(dá)的語義是怎樣通過多種模態(tài)的相互作用和意義整合才能完整而準(zhǔn)確地建構(gòu)起來。

背景1：S和L在下自創(chuàng)的“多維象棋”（立體多層的棋盤，每層的棋子及弈法均相互關(guān)聯(lián)構(gòu)成整個(gè)棋局），此時(shí)L已輸給S多局：

S：It must be humbling to suck on so many different levels.（手勢(shì)）

在說到畫線部分時(shí)，S用手由下到上將多維棋盤的每一層指示了一遍。

我們來考察此多模態(tài)話語采用了哪些媒體，即符號(hào)系統(tǒng)來表意。首先是純語言的聲音符號(hào)，即說話者的言語行為。這是語義傳達(dá)的主體部分，表達(dá)了說話者的基本意義。在此情景下，說話者S想表達(dá)的是對(duì)對(duì)方連連輸棋的嘲笑和戲弄。其次是說話者的手勢(shì)符號(hào)。若沒有該手勢(shì)的配合，話語僅能夠傳達(dá)出S嘲笑L下棋水平低之意，即不管跟什么水平的人下什么樣的棋都會(huì)輸棋；然而有了手勢(shì)的同步配合，該表達(dá)更具體的點(diǎn)明是在當(dāng)下的“多維象棋”游戲中，巧妙地強(qiáng)調(diào)了L在每一層棋盤上的表現(xiàn)都不盡如人意，表達(dá)了一個(gè)更具體更形象的含義，達(dá)到生動(dòng)的效果，使語言本身的諷刺意味更強(qiáng)。

從各種模態(tài)形式之間的關(guān)系來考察，兩種模態(tài)可以理解為互補(bǔ)關(guān)系中的強(qiáng)化關(guān)系，具備擴(kuò)充功能，即在基本的抽象的“下棋水平總是很低”的抽象概念語義上，擴(kuò)充出“實(shí)際多維棋盤每一層都下得不好”的具體情景語義。

背景2：P度假回來，到對(duì)門公寓里跟S和L打招呼并講述旅途聽到的有趣的笑話，S非但不領(lǐng)情，還嚴(yán)肅地指出P的笑話中存在言辭和邏輯不嚴(yán)謹(jǐn)?shù)戎T多問題，P無奈地看著S：

P：Boy， it’s good to be back.（語調(diào)，表情）

單看文本我們僅能獲得“P認(rèn)為度假結(jié)束終于到家很快樂”的解讀，然而結(jié)合視頻，通過觀察P的語調(diào)和面部表情，我們可以很容易地判斷出，單純的文本解讀是不完整不準(zhǔn)確的：一方面，P與S是多年的鄰居，S的脾氣性格P實(shí)際上已經(jīng)完全熟悉和適應(yīng)，因此在異地度完長(zhǎng)假回到家中，又聽到鄰居大男孩的嘮叨和抱怨，一種熟悉和親切的感覺的確油然而生，這貼合話語純字面的解讀。另一方面，S的不領(lǐng)情和咬文嚼字的確很掃興，令人心里不快，因此P說good這個(gè)詞的音調(diào)偏高，非正常語調(diào)，體現(xiàn)出一定的反語含義，即：回到家中聽S嘮叨是件煩擾的事情；同時(shí)P的面部表情非常無奈和尷尬，也表現(xiàn)出她心里的矛盾想法。

此情景的多模態(tài)話語涉及純語言的媒體，即句子本身，伴語言媒體，即話語的音調(diào)和語調(diào)，以及身體媒體中的表情符號(hào)媒體。其中后兩者與前者純語言的關(guān)系可以闡述為非互補(bǔ)中的抵消關(guān)系，也就是說，非純語言的符號(hào)系統(tǒng)表達(dá)的是與純語言符號(hào)系統(tǒng)剛好對(duì)立的兩種語義，正負(fù)兩方面相互作用，效果抵消，P對(duì)于度假回家面對(duì)S這個(gè)事實(shí)，既非完全的開心又非單純的煩擾。

背景3：S被P傳染得了感冒，S來到P打工的餐館吃粥，P過來接待他：

P：Sheldon， what are you doing here?

S：I’m SICK. Thank you VERY MUCH.（表情，眼神，音調(diào)，音響）

從純語言媒體角度考察，由于S的回答與P的提問沒有直接關(guān)聯(lián)，明顯違背了言語交際中的合作原則，因此可以推斷答語中必定有隱藏的含義。單就純語言角度分析S的回答是對(duì)P表感謝，實(shí)際相反：S說話時(shí)面露怒色，對(duì)P不滿地翻白眼，同時(shí)語氣中有明顯的埋怨成分，句中的sick和very much被說話者重讀強(qiáng)調(diào)。因此，伴語言的音響特征媒體與純語言的聲音文字媒體結(jié)合，輸出完整的語義：我果然生病了，這可都怪你。

此例中，非語言的表情和眼神媒體與純語言之間形成非互補(bǔ)中的排斥關(guān)系；伴語言的音調(diào)和音響與純語言的聲音形成突出強(qiáng)化關(guān)系；而同屬非純語言的媒體之間，比如表情與音調(diào)，眼神與聲響形成互補(bǔ)關(guān)系中的非強(qiáng)化關(guān)系，即聯(lián)合關(guān)系，協(xié)調(diào)關(guān)系，或交叉關(guān)系。據(jù)此，一個(gè)多模態(tài)的話語的完整意義只有通過對(duì)各種符號(hào)媒體的意義表達(dá)進(jìn)行分析，整合，才能得到完整的、準(zhǔn)確的話語意義。以上案例向我們展示了：話語的多模態(tài)可以由純語言媒體與一種（案例1）、兩種（例2）或多種（案例3）其他模態(tài)的媒體相結(jié)合來實(shí)現(xiàn)。

三、結(jié)語

當(dāng)今諸多的實(shí)際語言交際現(xiàn)象中都存在多模態(tài)的交際表現(xiàn)手法。通過對(duì)以上具體語料的分析，我們可以總結(jié)得出：要得到完整的語義解釋我們需要考慮多種模態(tài)的符號(hào)系統(tǒng)對(duì)構(gòu)建完整的話語意義的重要作用。

多模態(tài)話語通過多種承載意義的符號(hào)媒體來實(shí)現(xiàn)；不同媒體擅長(zhǎng)表現(xiàn)不同的話語模態(tài)形式；各種形式之間又存在諸如擴(kuò)充、聯(lián)合、抵消等互補(bǔ)或非互補(bǔ)的關(guān)系，它們共同作用為完整的話語意義輸出做出貢獻(xiàn)。

本文的研究還存在諸多問題，比如研究對(duì)象是影視話語，話語是由編劇事先編寫好的臺(tái)詞，這與實(shí)際生活中的言語交流存在一定差別；其次，本文分析的多種模態(tài)均沒有涉及非語言系統(tǒng)中的非身體符號(hào)工具，即外部工具和環(huán)境，如PPT、音響擴(kuò)放、網(wǎng)絡(luò)等等。然而在實(shí)際生活的很多情況下，這種非身體媒體在多模態(tài)話語交際中起著不可或缺的作用，因此對(duì)這種模態(tài)的研究也是本文尚待完善的領(lǐng)域之一，需要更全面和深入的分析和思考。

參考文獻(xiàn)：

[1]、顧曰國(guó).多媒體、多模態(tài)教學(xué)剖析[J].外語電化教學(xué)，2007(2).

[2]、何山燕.國(guó)內(nèi)多模態(tài)話語分析研究述評(píng)[J].重慶文理學(xué)院學(xué)報(bào)（社會(huì)科學(xué)版），2011年5月，第30卷第三期.

[3]、胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007(1).

[4]、李戰(zhàn)子.多模式話語的社會(huì)符號(hào)學(xué)分析[J].外語研究，2003(5).

[5]、王應(yīng)喜.多模態(tài)話語分析[J].中國(guó)科教創(chuàng)新導(dǎo)刊（語言學(xué)研究），2010年第17卷.

[6]、辛志英.話語分析的新發(fā)展——多模態(tài)話語分析[J].社會(huì)科學(xué)輯刊，2008年第5期.

[7]、張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國(guó)外語，2009年1月，第6卷第1期.

[8]、張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué)，2009年7月，第30卷第4期.

[9]、朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007(5).

[10]、Halliday，M.A.K.(1978).Language as a social semiotic.London:Arnold.

[11]、Kress，G.van Leeuwen，T.(2001).Multimodal discourse:The modes and media of contemporary communication.London:Arnold.

[12]、O’Halloran，K.L.(2006).Multimodal discourse analysis:Systemic functional perspectives.New York:Continuum International Publishing Group.