對(duì)外傳播與多模態(tài)話(huà)語(yǔ)研究

楊 穎

對(duì)外傳播與多模態(tài)話(huà)語(yǔ)研究

楊 穎

現(xiàn)代科技的日新月異和人類(lèi)傳播方式的推陳出新使多模態(tài)話(huà)語(yǔ)研究成為當(dāng)下跨學(xué)科研究的一個(gè)熱門(mén)課題。以多模態(tài)話(huà)語(yǔ)分析理論為代表的多模態(tài)話(huà)語(yǔ)研究不僅是語(yǔ)篇分析理論，而且是語(yǔ)言學(xué)研究順應(yīng)時(shí)代潮流的重要發(fā)展，更為包括對(duì)外傳播在內(nèi)的人類(lèi)傳播實(shí)踐提供了理論支持。文章結(jié)合多模態(tài)話(huà)語(yǔ)研究的理論視角和相關(guān)成果，從對(duì)外傳播的多模態(tài)屬性、對(duì)外傳播的多模態(tài)話(huà)語(yǔ)能力以及對(duì)外傳播的多模態(tài)話(huà)語(yǔ)實(shí)踐三方面論證了以多模態(tài)話(huà)語(yǔ)研究的視角觀照對(duì)外傳播的必要性和可行性。

多模態(tài)；對(duì)外傳播；話(huà)語(yǔ)研究

DOI 10.16602/j.gmj.20160029

一、 多模態(tài)研究的興起

隨著現(xiàn)代科學(xué)技術(shù)，尤其是媒介技術(shù)的飛速發(fā)展，信息傳播和人類(lèi)交流的方式發(fā)生了巨大改變。20世紀(jì)90年代，“多模態(tài)”(multimodality)成為西方語(yǔ)言學(xué)者和符號(hào)研究者廣泛討論的術(shù)語(yǔ)。社會(huì)符號(hào)學(xué)研究者們認(rèn)識(shí)到，新媒介環(huán)境下的傳播促進(jìn)了文本、聲音、視頻以及圖像在表意時(shí)的融合?！皩?zhuān)注于文字表意的研究已遠(yuǎn)遠(yuǎn)不夠，意義在其他的表意系統(tǒng)，如視覺(jué)、聽(tīng)覺(jué)、行為以及其他編碼中強(qiáng)烈并廣泛地存在著”(Hodge & Kress, 1988，p.vii)?！岸嗄B(tài)”一詞的提出，就是為了強(qiáng)調(diào)語(yǔ)言之外其他符號(hào)的重要性(Iedema, 2003)。

所謂“多模態(tài)”，即“傳播行為和事件中不同符號(hào)模態(tài)的組合，例如，語(yǔ)言和聲音的結(jié)合”(Van Leeuwen, 2005，p.281)；“多模態(tài)研究的是一些獨(dú)立的符號(hào)系統(tǒng)在構(gòu)建整體語(yǔ)篇意義中是如何通過(guò)不同的方式共同編碼、共同形成語(yǔ)篇意義的”(Baldry & Thibault, 2006，p.21)。Kress和Ogborn指出，多模態(tài)研究的意義在于,它明確指出對(duì)于言語(yǔ)和書(shū)寫(xiě)之外的其他再現(xiàn)模態(tài)的研究興趣是必然的而不是偶然的，它是現(xiàn)實(shí)傳播形式的中心，而不只是作為語(yǔ)言研究的補(bǔ)充。多模態(tài)研究假設(shè)的基礎(chǔ)即：所有的實(shí)踐往往都是多模態(tài)的，因此需要我們發(fā)展一種以這一現(xiàn)實(shí)為中心的理論以及用以分析涵蓋各種模態(tài)的表達(dá)形式的方法。如果說(shuō)最初“多模態(tài)”的提出是出于偶然的對(duì)其他符號(hào)模態(tài)的研究興趣，那么如今它已成為一種把所有文本都看作是多模態(tài)，并以多模態(tài)對(duì)其進(jìn)行解釋的一種范式(轉(zhuǎn)引自Iedema，2003，p.39)。多模態(tài)話(huà)語(yǔ)分析的出現(xiàn)就是這一范式轉(zhuǎn)變的集中表現(xiàn)。

二、 多模態(tài)話(huà)語(yǔ)分析及其研究概述

在對(duì)“多模態(tài)”的廣泛認(rèn)識(shí)和深入討論中，西方開(kāi)始興起對(duì)含有兩種或兩種以上模態(tài)話(huà)語(yǔ)進(jìn)行語(yǔ)篇分析。2000年，多模態(tài)話(huà)語(yǔ)分析(Multimodal Discourse Analysis，MDA)作為一個(gè)術(shù)語(yǔ)首次出現(xiàn)在Van Leeuwen和Jewitt(2001)編著的HandbookofVisualAnalysis(《視覺(jué)分析手冊(cè)》)中。這是在話(huà)語(yǔ)分析基礎(chǔ)上產(chǎn)生的一個(gè)前沿學(xué)術(shù)研究領(lǐng)域，它將對(duì)語(yǔ)言的研究擴(kuò)展到對(duì)語(yǔ)言及其他符號(hào)資源，如圖像、手勢(shì)、行為、音樂(lè)和聲音等的綜合研究上。

在韓禮德(M.A.K.Halliday)語(yǔ)言研究的社會(huì)符號(hào)學(xué)方法(Halliday, 1978; Halliday & Hasan，1985)的基礎(chǔ)上，O’Toole(1994)以及Kress和Van Leeuwen(1996; 2006)于20世紀(jì)八九十年代開(kāi)始把文字、聲音和圖片的意義潛勢(shì)作為一系列相互聯(lián)系的系統(tǒng)和結(jié)構(gòu)進(jìn)行研究，這些為多模態(tài)研究奠定了基礎(chǔ)。O’Toole的TheLanguageofDisplayedArt(《展示藝術(shù)的語(yǔ)言》)以及Kress和Van Leeuwen的ReadingImages(《閱讀圖像》)這兩本書(shū)成為該領(lǐng)域建立的標(biāo)志性作品。他們承襲了Halliday對(duì)文本與情境、實(shí)例與潛勢(shì)的研究，不同的是，O’Toole提出了一種(自下而上的)語(yǔ)法分析路徑(grammatical approach)，將Halliday的系統(tǒng)功能模式運(yùn)用到對(duì)展示藝術(shù)、繪畫(huà)、雕塑和建筑的符號(hào)分析中；而Kress和Van Leeuwen則把研究重點(diǎn)放在圖像和視覺(jué)設(shè)計(jì)，采用一種特定意識(shí)導(dǎo)向的(自上而下的)語(yǔ)境分析法(contextual approach)總結(jié)出視覺(jué)設(shè)計(jì)的一般原則。這兩種分析方法在之后的研究中得到進(jìn)一步發(fā)展，并應(yīng)用到一些新的領(lǐng)域,如語(yǔ)音、聲音和音樂(lè)研究(Van Leeuwen,1999),科學(xué)文本研究(Lemke,1998),超媒體研究(Lemke,2002)，行為和肢體語(yǔ)言研究(Martinec，2000)，教學(xué)研究(Jewitt,2006)和文化素養(yǎng)研究(Kress,2003)等。21世紀(jì)第一個(gè)十年的中后期，多模態(tài)研究進(jìn)一步發(fā)展。Ron Scollon、Suzanne Wong Sollon和Sigrid Norris從中介話(huà)語(yǔ)分析出發(fā)，以社會(huì)互動(dòng)語(yǔ)言學(xué)和跨文化傳播研究為基礎(chǔ)，開(kāi)展了多模態(tài)互動(dòng)分析(Scollon, 2001; Norris, 2004; Scollon & Scollon, 2004; Norris & Jones, 2005)；Charles Forceville則以認(rèn)知語(yǔ)言學(xué)(Lakoff & Johnson, 1980)為基礎(chǔ)，對(duì)多模態(tài)隱喻進(jìn)行認(rèn)知研究(Forceville & Urios-Aparisi, 2009)。此外，基于社會(huì)符號(hào)學(xué)和其他批判傳統(tǒng)的批判性話(huà)語(yǔ)研究路徑也得到發(fā)展(Machin, 2007; Van Leeuwen, 2008)。許多不同的理論概念和框架在多模態(tài)研究領(lǐng)域不斷涌現(xiàn),但多數(shù)都與上述范例相關(guān)。

我國(guó)多模態(tài)話(huà)語(yǔ)分析始于21世紀(jì)初①。相較于多模態(tài)話(huà)語(yǔ)研究在國(guó)外的如火如荼，國(guó)內(nèi)當(dāng)前多模態(tài)話(huà)語(yǔ)研究雖然起步較晚，但也后勁頗足。論文方面，李戰(zhàn)子2003年于《外語(yǔ)教學(xué)》第5期發(fā)表的《多模式話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析》一文，可謂國(guó)內(nèi)第一篇探討多模態(tài)話(huà)語(yǔ)分析的論文，開(kāi)創(chuàng)了我國(guó)多模態(tài)話(huà)語(yǔ)研究的先河。該文首次向國(guó)內(nèi)學(xué)界介紹了Kress和Leeuwen提出的多模態(tài)話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析方法(李戰(zhàn)子，2003)。此后，我國(guó)語(yǔ)言學(xué)者胡壯麟(2007)、朱永生(2007)、辛志英(2008)、張德祿(2009)、楊信彰(2009)、韋琴紅(2009a)等也對(duì)多模態(tài)化、意義的多模態(tài)構(gòu)建以及多模態(tài)話(huà)語(yǔ)的理論基礎(chǔ)和研究方法等進(jìn)行了代表性研究。21世紀(jì)第二個(gè)十年，多模態(tài)話(huà)語(yǔ)分析研究更是在國(guó)內(nèi)風(fēng)生水起，呈現(xiàn)快速發(fā)展的趨勢(shì)。概括而言，該領(lǐng)域的研究文章目前大致可分為以下六類(lèi)：(1)多模態(tài)話(huà)語(yǔ)分析理論研究，此類(lèi)文章注重對(duì)國(guó)外多模態(tài)話(huà)語(yǔ)研究的引介和反思，也嘗試對(duì)多模態(tài)研究做出的一些理論和方法上的探索創(chuàng)新；(2)運(yùn)用西方多模態(tài)話(huà)語(yǔ)分析的方法對(duì)不同文本類(lèi)型進(jìn)行分析，即多模態(tài)話(huà)語(yǔ)分析方法的運(yùn)用型文章。此類(lèi)文章基本出現(xiàn)于2010年之后，且占據(jù)了半壁江山；(3)多模態(tài)話(huà)語(yǔ)分析對(duì)語(yǔ)言教學(xué)的意義和作用；(4)多模態(tài)話(huà)語(yǔ)分析與多元識(shí)讀能力的培養(yǎng)；(5)對(duì)多模態(tài)研究現(xiàn)狀的綜述類(lèi)文章；(6)書(shū)評(píng)類(lèi)文章，包括對(duì)一些國(guó)外多模態(tài)研究的書(shū)評(píng)以及國(guó)內(nèi)該領(lǐng)域的學(xué)界動(dòng)態(tài)介紹等。這些書(shū)評(píng)對(duì)我們了解西方該領(lǐng)域的最新研究成果起到了一定的補(bǔ)充作用。著書(shū)方面，盡管當(dāng)前多模態(tài)話(huà)語(yǔ)分析已被納入許多語(yǔ)言學(xué)教材中(如2013年出版、由杜金榜主編的 《語(yǔ)篇分析教程》一書(shū))，但國(guó)內(nèi)以多模態(tài)話(huà)語(yǔ)研究為主題的專(zhuān)著相較而言還十分有限。韋琴紅的專(zhuān)著《視覺(jué)環(huán)境下的多模態(tài)化與多模態(tài)話(huà)語(yǔ)研究》②(韋琴紅，2009b)算是國(guó)內(nèi)最早出版的以多模態(tài)話(huà)語(yǔ)研究為主題的專(zhuān)著;而新近出版的《多模態(tài)敘事語(yǔ)篇研究》③一書(shū)(劉曉琳，2015)則是將多模態(tài)話(huà)語(yǔ)分析引入敘事語(yǔ)篇研究的研究成果。此外，《多模態(tài)話(huà)語(yǔ)分析理論與外語(yǔ)教學(xué)》(張德祿，2015)一書(shū)則對(duì)多模態(tài)話(huà)語(yǔ)研究作了較為全面而詳細(xì)的介紹。總體而言，我國(guó)目前對(duì)多模態(tài)話(huà)語(yǔ)的理論研究還處于起步階段，我們更多是將國(guó)外的多模態(tài)話(huà)語(yǔ)分析方法作為一種文本分析工具，廣泛運(yùn)用于分析各種文本類(lèi)型，如海報(bào)、廣告文本、新聞作品(多為平面新聞)、影視作品、漫畫(huà)、徽標(biāo)、網(wǎng)頁(yè)語(yǔ)篇、醫(yī)學(xué)語(yǔ)篇、建筑學(xué)術(shù)語(yǔ)篇等。

應(yīng)該說(shuō)，對(duì)多模態(tài)話(huà)語(yǔ)研究而言，多模態(tài)話(huà)語(yǔ)分析既是一種理論研究框架，也是一種話(huà)語(yǔ)分析方法。結(jié)合該領(lǐng)域的研究成果，從多模態(tài)話(huà)語(yǔ)研究的視角對(duì)具體傳播行為進(jìn)行觀照，探討具體傳播實(shí)踐中多模態(tài)話(huà)語(yǔ)的生產(chǎn)、信息傳遞和情感交流等將具有重要的理論和現(xiàn)實(shí)意義。

三、 多模態(tài)話(huà)語(yǔ)研究視角下的對(duì)外傳播

作為一種有著明確傳播主體和目標(biāo)的傳播行為，對(duì)外傳播在當(dāng)前媒介環(huán)境和社會(huì)傳播語(yǔ)境中,離不開(kāi)多模態(tài)話(huà)語(yǔ)的積極卷入和重要參與。但從現(xiàn)有研究成果來(lái)看，除了將我國(guó)對(duì)外傳播的一些文化產(chǎn)品，如電影海報(bào)、國(guó)家形象宣傳片、文化紀(jì)錄片等作為多模態(tài)話(huà)語(yǔ)分析的文本進(jìn)行個(gè)案分析外，直接從多模態(tài)話(huà)語(yǔ)研究的視角對(duì)對(duì)外傳播進(jìn)行宏觀把控的研究還比較缺乏。本文認(rèn)為，結(jié)合多模態(tài)話(huà)語(yǔ)研究對(duì)對(duì)外傳播進(jìn)行觀照，不該只是停留在對(duì)個(gè)別文本的話(huà)語(yǔ)分析層面，而應(yīng)該以多模態(tài)的思維方式和解釋方法對(duì)其進(jìn)行全面研究。

具體而言，從多模態(tài)話(huà)語(yǔ)研究的視角考量對(duì)外傳播這一具體的傳播實(shí)踐行為，本文認(rèn)為主要可從以下三個(gè)方面進(jìn)行： (1)對(duì)外傳播的多模態(tài)屬性；(2)對(duì)外傳播的多模態(tài)話(huà)語(yǔ)能力；(3)對(duì)外傳播的多模態(tài)話(huà)語(yǔ)實(shí)踐。

(一) 對(duì)外傳播的多模態(tài)屬性

從概念界定上說(shuō)，模態(tài)是指信息接收者所感知的話(huà)語(yǔ)模式，既是媒體表達(dá)信息的結(jié)果，也是人們通過(guò)感官感知的交際結(jié)果。模態(tài)的劃分主要有兩種標(biāo)準(zhǔn)：感知通道和符號(hào)系統(tǒng)。根據(jù)人類(lèi)的感知通道，模態(tài)主要包括視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué)五種模態(tài)；根據(jù)話(huà)語(yǔ)所涉及的符號(hào)系統(tǒng)，模態(tài)主要包括語(yǔ)言(文字)、言語(yǔ)(聲音)、副語(yǔ)言、圖像、肢體動(dòng)作和音樂(lè)等(杜金榜，2013，p.227)。無(wú)論從感知通道的標(biāo)準(zhǔn)還是以符號(hào)系統(tǒng)的標(biāo)準(zhǔn)進(jìn)行劃分，對(duì)外傳播都具有與生俱來(lái)的多模態(tài)屬性。

對(duì)外傳播是一個(gè)國(guó)家向外傳遞信息、樹(shù)立形象、擴(kuò)大交流、增強(qiáng)互動(dòng)的傳播活動(dòng)。它以外國(guó)政府、組織和公眾為目標(biāo)受眾，目的在于影響目標(biāo)受眾對(duì)傳播國(guó)的印象和態(tài)度，引導(dǎo)其建立對(duì)傳播國(guó)的積極認(rèn)知和友善態(tài)度，形成有利于傳播國(guó)發(fā)展的國(guó)際環(huán)境，為傳播國(guó)的國(guó)家利益服務(wù)。狹義的對(duì)外傳播特指?jìng)鞑?guó)面向?qū)ο髧?guó)進(jìn)行的有目的的新聞報(bào)道活動(dòng)，而廣義的對(duì)外傳播則涵蓋了傳播國(guó)跨國(guó)交流中的各種經(jīng)濟(jì)、商務(wù)、文化、政治、教育等活動(dòng)以及存在于旅游、移民等跨國(guó)行為中的人際交流活動(dòng)(郭可，2003，pp.1-2)。然而，對(duì)外傳播中，傳播國(guó)和對(duì)象國(guó)之間存在的語(yǔ)言不通、文字各異等交流障礙是一道天然屏障，成為制約對(duì)外傳播效果的直接因素，也是對(duì)外傳播活動(dòng)中需要重點(diǎn)克服的問(wèn)題。因此，對(duì)外傳播與生俱來(lái)的跨國(guó)界、跨語(yǔ)言等特性使傳播國(guó)需要采取翻譯、多語(yǔ)種傳播等策略以確保達(dá)到“傳播出去”的目的。為了建造“通天的巴別塔”，人類(lèi)付出了語(yǔ)言不通的代價(jià)，但這并不意味著人類(lèi)同時(shí)失去了使用非語(yǔ)言符號(hào)進(jìn)行交流的能力。事實(shí)上，人類(lèi)在使用各自語(yǔ)言的同時(shí)，也利用肢體、五官以及其他外部符號(hào)進(jìn)行各式各樣的交流活動(dòng)。盡管語(yǔ)言有時(shí)無(wú)法溝通，但一個(gè)表情、一聲嘆息、一個(gè)動(dòng)作往往能夠傳遞出語(yǔ)言所要表達(dá)的信息；盡管文字無(wú)法交流，但有時(shí)一幅圖畫(huà)、一張照片、一件物品卻能傳達(dá)出比文字更加豐富的意義。因此，對(duì)于面臨語(yǔ)言文字障礙的對(duì)外傳播而言，運(yùn)用包括語(yǔ)言在內(nèi)的多種模態(tài)進(jìn)行話(huà)語(yǔ)傳播是一種不可或缺的重要方式。多模態(tài)話(huà)語(yǔ)交流的方式對(duì)于有著“跨國(guó)界”“跨文化”和“跨語(yǔ)言”特性的對(duì)外傳播而言，無(wú)異于一道福音，被廣泛運(yùn)用于其中。因此，從對(duì)外傳播的傳播過(guò)程、傳播層級(jí)和傳播特性來(lái)看，對(duì)外傳播都有著無(wú)法抹去的多模態(tài)屬性。無(wú)論是對(duì)外新聞報(bào)道，還是對(duì)外文化交流活動(dòng)，甚至是跨國(guó)人際交流行為，都不可避免地帶有多模態(tài)的影子。因此，從多模態(tài)話(huà)語(yǔ)研究的視角觀照對(duì)外傳播，很重要的一點(diǎn)就是在對(duì)外傳播中培養(yǎng)多模態(tài)意識(shí)，從而充分調(diào)用人類(lèi)的感知通道和信息表達(dá)的符號(hào)來(lái)進(jìn)行有效的對(duì)外傳播。

(二) 對(duì)外傳播的多模態(tài)話(huà)語(yǔ)能力

現(xiàn)代科技的發(fā)展是多模態(tài)話(huà)語(yǔ)發(fā)展及其研究的外部條件和物質(zhì)基礎(chǔ)。盡管從本質(zhì)上看，人類(lèi)傳播自口語(yǔ)時(shí)代起就具備了原始的多模態(tài)特性，但與電子媒介時(shí)代話(huà)語(yǔ)呈現(xiàn)的多模態(tài)化相比，兩者不可同日而語(yǔ)。電子媒介，尤其是網(wǎng)絡(luò)媒體的到來(lái)，不僅成為人類(lèi)媒介發(fā)展史上的重要一筆，而且使人類(lèi)話(huà)語(yǔ)世界發(fā)生了質(zhì)的改變。隨著新媒介技術(shù)的發(fā)展和普及，大眾傳播由文字(語(yǔ)言符號(hào))占絕對(duì)統(tǒng)治地位的話(huà)語(yǔ)世界已毫無(wú)掩飾地呈現(xiàn)出了多模態(tài)特性。如果說(shuō)以前人類(lèi)傳播中非語(yǔ)言模態(tài)的使用是自發(fā)、偶然的，那么，如今人類(lèi)傳播中由文字、圖像、聲音等各種模態(tài)綜合而成，借助屏幕、鍵盤(pán)訴諸人類(lèi)視覺(jué)、聽(tīng)覺(jué)等多種感官的多模態(tài)表意系統(tǒng)相較而言則是自覺(jué)、綜合、與科技發(fā)展密切相關(guān)的。信息技術(shù)的飛速發(fā)展使傳統(tǒng)文本走向了多模態(tài)化，同時(shí)，互聯(lián)網(wǎng)成為當(dāng)今世界最重要的信息載體，計(jì)算機(jī)界面和網(wǎng)絡(luò)文本的多模態(tài)性更使多模態(tài)話(huà)語(yǔ)充斥人類(lèi)傳播的各種活動(dòng)。

作為總是與時(shí)代高新技術(shù)的應(yīng)用緊密相連的對(duì)外傳播，必然受到當(dāng)下社會(huì)環(huán)境和技術(shù)發(fā)展的影響。因此，嫻熟地運(yùn)用多模態(tài)話(huà)語(yǔ)進(jìn)行對(duì)外傳播，即在對(duì)外傳播中生產(chǎn)出高質(zhì)量的多模態(tài)話(huà)語(yǔ)，應(yīng)該成為新媒體時(shí)代對(duì)外傳播的一種重要能力。訴諸人類(lèi)多種感官的多模態(tài)話(huà)語(yǔ)為跨國(guó)、跨語(yǔ)言和跨文化的交流行為提供了更廣泛的意義共享空間，為來(lái)自不同國(guó)度、使用不同語(yǔ)言、擁有不同文化背景的人們提供了更豐富的互動(dòng)符號(hào)和交流工具。如果說(shuō)，語(yǔ)言的障礙為我國(guó)對(duì)外傳播設(shè)置了一道屏障，那么，超越語(yǔ)言之上的多模態(tài)話(huà)語(yǔ)則為我們開(kāi)啟了另一扇溝通之門(mén)。本文認(rèn)為，對(duì)外傳播中的多模態(tài)話(huà)語(yǔ)能力可籠統(tǒng)地分為兩個(gè)層面，一是利用多模態(tài)進(jìn)行直接表意的話(huà)語(yǔ)能力；二是利用多模態(tài)進(jìn)行間接表意的話(huà)語(yǔ)能力。兩者相輔相成，沒(méi)有高低之分，亦不是非此即彼的關(guān)系，而應(yīng)當(dāng)根據(jù)對(duì)外傳播的受眾、目標(biāo)和戰(zhàn)略不同，開(kāi)展不同的訴求和實(shí)踐。例如，在對(duì)外傳播的經(jīng)濟(jì)和商務(wù)活動(dòng)中，為了確保盡快與傳播對(duì)象在最大范圍內(nèi)達(dá)成共識(shí)，傳者在多模態(tài)話(huà)語(yǔ)的選擇和使用方面，應(yīng)當(dāng)更多地做到簡(jiǎn)單明了、充分表達(dá)(簡(jiǎn)單常見(jiàn)的例子如國(guó)際展會(huì)中的指示標(biāo)識(shí)或視頻等)；而在一些政治活動(dòng)的對(duì)外傳播中，出于意識(shí)形態(tài)和其他政治因素的考量，傳者對(duì)多模態(tài)話(huà)語(yǔ)的選擇和使用則當(dāng)以巧妙含蓄、嚴(yán)密周全而又不失得體為宜(典型特殊的例子如含有隱喻的政治漫畫(huà)等)。因此，研究并發(fā)展對(duì)外傳播的多模態(tài)話(huà)語(yǔ)能力要求我們結(jié)合具體的傳播語(yǔ)境和文本體裁，揣摩不同模態(tài)的特點(diǎn)和作用，在具體話(huà)語(yǔ)實(shí)踐中分清主模態(tài)和輔助模態(tài)、自動(dòng)模態(tài)和有意識(shí)選擇模態(tài)，以此有的放矢地開(kāi)展積極的對(duì)外傳播活動(dòng)。畢竟，對(duì)于這樣一種跨國(guó)、跨語(yǔ)言、跨文化的傳播行為而言，充分調(diào)動(dòng)包括語(yǔ)言和非語(yǔ)言符號(hào)在內(nèi)的各種模態(tài)來(lái)傳遞信息、傳輸觀念、傳播文化是可以做到事半功倍的。但是，如果我們?cè)趯?duì)外傳播中不能恰到好處地利用這種話(huà)語(yǔ)形式，則有可能事倍功半，無(wú)功而返，甚至弄巧成拙，欲益反損。

(三) 對(duì)外傳播的多模態(tài)話(huà)語(yǔ)實(shí)踐

從多模態(tài)話(huà)語(yǔ)研究的視角研究對(duì)外傳播的多模態(tài)話(huà)語(yǔ)能力，目的在于更好地指導(dǎo)對(duì)外傳播行為中的多模態(tài)話(huà)語(yǔ)實(shí)踐。多模態(tài)話(huà)語(yǔ)分析為我們研究整體話(huà)語(yǔ)之中不同模態(tài)之間是如何互動(dòng)從而生產(chǎn)意義，即多模態(tài)話(huà)語(yǔ)意義生產(chǎn)的機(jī)制和規(guī)律提供了根據(jù)。將相關(guān)研究成果運(yùn)用于對(duì)外傳播的實(shí)踐中，有利于我們更科學(xué)、更精準(zhǔn)地使用不同模態(tài)組織話(huà)語(yǔ)，從而盡可能實(shí)現(xiàn)理想的話(huà)語(yǔ)傳播效果。例如，多模態(tài)話(huà)語(yǔ)分析研究中提出的視覺(jué)語(yǔ)法(visual grammar)便對(duì)我國(guó)對(duì)外傳播中多模態(tài)話(huà)語(yǔ)的生成提供了很大啟發(fā)。

視覺(jué)語(yǔ)法以社會(huì)符號(hào)學(xué)為基礎(chǔ)，將系統(tǒng)功能語(yǔ)法的概念創(chuàng)造性地運(yùn)用于視覺(jué)分析，為多模態(tài)研究提供了形而上的理論支持和形而下的分析工具。根據(jù)系統(tǒng)功能語(yǔ)言學(xué)的研究，語(yǔ)言以外的其他符號(hào)系統(tǒng)(圖像、音樂(lè)與顏色等)也是意義的源泉，同樣具有概念功能、人際功能和語(yǔ)篇功能。Kress和van Leeuwen以此三大元功能為基礎(chǔ)，將韓禮德的功能語(yǔ)法延伸到圖像分析，提出了視覺(jué)語(yǔ)法理論。該理論指出，視覺(jué)圖像和語(yǔ)言一樣，在意義構(gòu)建中也同樣具有三大元功能，即再現(xiàn)、互動(dòng)、構(gòu)圖功能，由此產(chǎn)生出與之相對(duì)應(yīng)的三種不同的意義潛勢(shì)。再現(xiàn)意義對(duì)應(yīng)概念功能，主要研究不同符號(hào)系統(tǒng)之間或同一符號(hào)系統(tǒng)之內(nèi)各個(gè)成分、各個(gè)部分之間的關(guān)系；互動(dòng)意義對(duì)應(yīng)人際功能，主要研究視覺(jué)模態(tài)的創(chuàng)作者與圖像觀看者、圖像表征參與者之間的關(guān)系；構(gòu)圖意義對(duì)應(yīng)語(yǔ)篇功能，主要研究不同符號(hào)系統(tǒng)或同一符號(hào)系統(tǒng)內(nèi)部不同組成成分之間的布局和結(jié)構(gòu)。該理論一經(jīng)提出，就被廣泛運(yùn)用于各種多模態(tài)文本的分析和評(píng)價(jià)，也是我國(guó)學(xué)界目前使用最多的多模態(tài)話(huà)語(yǔ)分析路徑。該研究中的許多發(fā)現(xiàn)，如：根據(jù)圖像表征參與者與圖像觀看者接觸方式的不同，把圖像分為“索取”類(lèi)圖像、“提供”類(lèi)圖像；從水平方向和垂直方向區(qū)分五種畫(huà)面視角，指出正面視角賦予觀看者身臨其境的感覺(jué)，傾斜視角賦予觀看者一種作為旁觀者漫不經(jīng)心的感覺(jué)，俯視則表明觀看者的權(quán)勢(shì)，平視表明觀看者和參與者之間的平等關(guān)系，仰視則表明參與者強(qiáng)勢(shì)的地位；依據(jù)圖像元素在構(gòu)圖中的不同位置判斷其信息值，如，左側(cè)的信息是已知的，右側(cè)的信息是新的，上方的信息是理想的，下方的信息是真實(shí)的，中心與前景的信息重要，邊緣的信息次要等?？梢哉f(shuō)，視覺(jué)語(yǔ)法的提出為我們了解英語(yǔ)受眾的多模態(tài)話(huà)語(yǔ)(尤其是圖像)識(shí)讀方式和規(guī)律提供了扎實(shí)的依據(jù)和很大的啟發(fā)。當(dāng)我們以英語(yǔ)受眾作為對(duì)象進(jìn)行對(duì)外傳播時(shí)，當(dāng)我們?cè)谥谱髅嫦蛴⒄Z(yǔ)國(guó)家傳播的多模態(tài)文本時(shí)，就更能夠根據(jù)受眾的認(rèn)知和行為習(xí)慣及思維定式進(jìn)行更加到位的對(duì)外話(huà)語(yǔ)傳播。當(dāng)然，非西方國(guó)家的民族和人民，甚至西方國(guó)家中的不同民族和人民，對(duì)多模態(tài)話(huà)語(yǔ)的識(shí)讀方式和接受規(guī)律都不相同，需要我們以“外外有別”的思路，分別進(jìn)行專(zhuān)門(mén)的研究與深入的探索。

此外，基于多模態(tài)話(huà)語(yǔ)分析進(jìn)一步深入而發(fā)展的多模態(tài)敘事話(huà)語(yǔ)、多模態(tài)隱喻、多模態(tài)論辯話(huà)語(yǔ)(van den Hoven & Yang，2013)等相關(guān)研究，也為對(duì)外傳播中如何根據(jù)語(yǔ)境的不同選擇適宜的多模態(tài)文本體裁及話(huà)語(yǔ)策略進(jìn)行表達(dá)提供了參考。

四、 結(jié)論

對(duì)外傳播的話(huà)語(yǔ)文本是一個(gè)國(guó)家向外傳遞信息、構(gòu)建形象的重要載體，是國(guó)際受眾對(duì)該國(guó)產(chǎn)生認(rèn)知、建立情感、激發(fā)行為的重要介質(zhì)，因此，如何根據(jù)受眾對(duì)象設(shè)計(jì)并生產(chǎn)符合受眾接觸行為和心理的話(huà)語(yǔ)，應(yīng)該成為對(duì)外傳播的重中之重。當(dāng)下新媒體時(shí)代，電子媒介，特別是網(wǎng)絡(luò)媒介所滋生的多模態(tài)話(huà)語(yǔ)不僅為人類(lèi)傳播方式帶來(lái)了根本變化，也在很大程度上影響了整個(gè)社會(huì)話(huà)語(yǔ)意義的生產(chǎn)和表達(dá)。在此影響下，若要嫻熟、自如地運(yùn)用這一話(huà)語(yǔ)形態(tài)為對(duì)外傳播服務(wù)，從理論層面上理清它的來(lái)龍去脈，弄清它的表意機(jī)制和特點(diǎn)就顯得十分必要和重要。多模態(tài)話(huà)語(yǔ)分析是從獨(dú)立的語(yǔ)言研究向?qū)φZ(yǔ)言和其他符號(hào)資源進(jìn)行整合研究的范式轉(zhuǎn)向，是話(huà)語(yǔ)分析家們出于廣泛解讀人類(lèi)話(huà)語(yǔ)實(shí)踐的目的，意在對(duì)存在于各種媒介(包括如今的互動(dòng)數(shù)字技術(shù))中的多種符號(hào)資源所承載的意義進(jìn)行解釋的一種探索。它的深入探究及進(jìn)一步的多模態(tài)話(huà)語(yǔ)研究有利于推動(dòng)我國(guó)對(duì)外傳播的話(huà)語(yǔ)和符號(hào)研究。對(duì)外傳播從本質(zhì)而言是多模態(tài)的，提高對(duì)外傳播的多模態(tài)話(huà)語(yǔ)能力是當(dāng)下對(duì)外傳播順利開(kāi)展的前提和保障。因此，用多模態(tài)話(huà)語(yǔ)研究的思維和視角審視對(duì)外傳播及其實(shí)踐，亦將更科學(xué)地為對(duì)外傳播的話(huà)語(yǔ)策略提供指導(dǎo)性的意見(jiàn)。

本文系中國(guó)外文局對(duì)外傳播研究中心專(zhuān)項(xiàng)委托課題“新媒介時(shí)代講好中國(guó)故事之話(huà)語(yǔ)策略研究”的階段性研究成果。

注釋

① 由于多模態(tài)話(huà)語(yǔ)一詞源于西文multimodal discourse, 故早期國(guó)內(nèi)學(xué)界對(duì)該領(lǐng)域進(jìn)行的研究中，亦有人用“多模式話(huà)語(yǔ)”“多模式語(yǔ)篇”“多模態(tài)語(yǔ)篇”的表述。

② 該書(shū)以英文寫(xiě)作,英文書(shū)名為Studies on Multimodality and Multimodal Discourse in Visual Surroundings.

③ 該書(shū)以英文寫(xiě)作,英文書(shū)名為T(mén)he study on the multimodal narrative discourse analysis.

杜金榜(2013):《語(yǔ)篇分析教程》， 武漢：武漢大學(xué)出版社。

郭可(2003)：《當(dāng)代對(duì)外傳播》， 上海：復(fù)旦大學(xué)出版社。

胡壯麟(2007)：符號(hào)學(xué)研究中的多模態(tài)化，《語(yǔ)言教學(xué)與研究》，第1期，1-10頁(yè)。

李戰(zhàn)子(2003)：多模式話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析，《外語(yǔ)教學(xué)》，第5期，1-8 頁(yè)。

劉曉琳(2015)：《多模態(tài)敘事語(yǔ)篇研究》， 哈爾濱：哈爾濱工程大學(xué)出版社。

韋琴紅(2009a)：論多模態(tài)話(huà)語(yǔ)中的模態(tài)、媒介與情態(tài)，《外語(yǔ)教學(xué)》，第30卷(第4期)，54-57頁(yè)。

韋琴紅(2009b)：《視覺(jué)環(huán)境下的多模態(tài)化與多模態(tài)話(huà)語(yǔ)研究》， 北京：科學(xué)出版社。

辛志英(2008):話(huà)語(yǔ)分析的新發(fā)展——多模態(tài)話(huà)語(yǔ)分析, 《社會(huì)科學(xué)輯刊》，第5期，208-211頁(yè)。

楊信彰(2009)：多模態(tài)語(yǔ)篇分析與系統(tǒng)功能語(yǔ)言學(xué)，《外語(yǔ)教學(xué)》,第30卷(第4期)，11-14頁(yè)。

張德祿(2009)：多模態(tài)話(huà)語(yǔ)分析綜合理論框架探索，《中國(guó)外語(yǔ)》，第6卷(第1期)，24-30頁(yè)。

張德祿(2015)：《多模態(tài)話(huà)語(yǔ)分析理論與外語(yǔ)教學(xué)》， 北京：高等教育出版社。

朱永生(2007)：多模態(tài)話(huà)語(yǔ)分析的理論基礎(chǔ)與研究方法，《外語(yǔ)學(xué)刊》，第5期，82-86頁(yè)。

Baldry, A. & Thibault, P. J. (2006).Multimodaltranscriptionandtextanalysis. London: Equinox.

Forceville, C. J. & Urios-Aparisi, E. (2009).Multimodalmetaphor. The Hague: Mouton De Gruyter.

Halliday, M. A. K. (1978).Languageassocialsemiotic:Thesocialinterpretationoflanguageandmeaning. London: Edward Arnold.

Halliday, M. A. K. & Hasan, R. (1985).Language,context,andtext:Aspectsoflanguageinasocial-semioticperspective. Victoria: Daekin University.

Hodge, B. & Kress, G. (1988).Socialsemiotics. Cambridge: Polity.

Iedema, R. (2003). Multimodality, resemiotization: extending the analysis of discourse as multi-semiotic practice.VisualCommunication, 2(1), 29-57. doi:10.1177/1470357203002001751.

Jewitt, C. (2006).Technology,literacy,learning:Amultimodalapproach. London: Routledge.

Kress, G. (2003).Literacyinthenewmediaage. London: Routledge.

Kress, G. & Van Leeuwen, T. (1996).Readingimages:Thegrammarofvisualdesign. London: Routledge.

Kress, G. & Van Leeuwen, T. (2006).Readingimages:Thegrammarofvisualdesign(2nd ed.). London: Routledge.

Lakoff, G. & Johnson, M. (1980).Metaphorsweliveby. Chicago and London: The University of Chicago Press.

Lemke, J. L. (1998). Multiplying meaning: Visual and verbal semiotics in scientific text. In Martin, J. R., & Veel, R. (Eds.),Readingscience:Criticalandfunctionalperspectivesondiscoursesofscience(pp.87-113). London: Routledge.

Lemke, J. L. (2002). Travels in hypermodality.VisualCommunication, 1(3), 299-325. doi: 10.1177/147035720200100303.

Machin, D. (2007).Introductiontomultimodalanalysis. London and New York: Hodder Arnold.

Martinec, R. (2000). Types of process in action.Semiotica, 130(3-4), 243-268. doi: 10.1515/semi.2000.130.3-4.243.

Norris, S. (2004).Analyzingmultimodalinteraction:Amethodologicalframework. London: Routledge.

Norris, S. & Jones, R. H. (2005).Discourseinaction:Introducingmediateddiscourseanalysis. London: Routledge.

O’Toole, M. (1994).Thelanguageofdisplayedart. London: Leicester University Press.

Scollon, R. (2001).Mediateddiscourse:Thenexusofpractice. London and New York: Routledge.

Scollon, R. & Scollon, S. W. (2004).Nexusanalysis:Discourseandtheemerginginternet. London: Routledge.

Van den Hoven, P. & Yang, Y. (2013). The argumentative reconstruction of multimodal discourse: Taking the ABC coverage of President Hu Jintao’s visit to the USA as an example.Argumentation, 27(4), 403-424. doi: 10.1007/s10503-013-9293-z.

Van Leeuwen, T. (1999).Speech,music,sound. London: Macmillan.

Van Leeuwen, T. (2005).Introducingsocialsemiotics. London: Routledge.

Van Leeuwen, T. (2008).Discourseandpractice:Newtoolsforcriticaldiscourseanalysis. Oxford: Oxford University Press.

Van Leeuwen, T. & Jewitt, C. (Eds.) (2001).Handbookofvisualanalysis. London: Sage.

(編輯：郭鎮(zhèn)之)

International Communication from the Perspective of Multimodal Discourse Study

Ying Yang

(SchoolofJournalismandCommunication,TsinghuaUniversity)

Multimodal discourse study has become a hot topic in current interdisciplinary research with the rapid development of modern technology and the way human beings communicate with each other. Represented by multimodal discourse analysis, multimodal discourse study is not only a theory on text analysis, but the important development of linguistic research keeping pace with the times. Furthermore, it also provides theoretical support for human communication practices including international communication. Based on the theoretical perspective of multimodal discourse study and its research achievement, the paper argues the necessity and feasibility of observing international communication from the perspective of multimodal discourse study in terms of the multimodal character of international communication, multimodal discourse competence in international communication and multimodal discourse practice in international communication.

multimodality； international communication； discourse study

楊穎：清華大學(xué)新聞與傳播學(xué)院博士后。