多媒體語篇分析：以希拉里的一則總統(tǒng)競選廣告為例

■張 莉 謝韶亮

多媒體語篇分析：以希拉里的一則總統(tǒng)競選廣告為例

■張 莉 謝韶亮

由于多媒體語篇對于語言學(xué)研究來說是一種新的語篇形式，文章運用系統(tǒng)功能語法對一則多媒體語篇進(jìn)行分析。其分析過程如下：首先是對多媒體語篇的轉(zhuǎn)錄，這種轉(zhuǎn)錄方法是區(qū)別于，純粹語音的轉(zhuǎn)錄，有其特有的方式；其次是系統(tǒng)功能語法的理論的框架的實際運用與驗證；最后，得出多媒體語篇的自身特點，主要在于視頻與音頻的聯(lián)系方式，以及多媒體語篇與整個社會知識的聯(lián)系，并且提出更廣闊的分析思路，例如批評語篇分析的方法的運用。

前言

隨著符號學(xué)的發(fā)展，多媒體語篇分析已越來越受到重視，尤其是語篇分析研究者們的重視。多媒體語篇分析起源于視覺符號在語篇中的作用，即視覺語篇分析（visual discourse analysis）。近年來，人們認(rèn)識到視覺符號和聲音符號與語言符號同樣重要，都是語篇的構(gòu)建和理解的重要因素，掀起了一場多媒體語篇分析研究的新浪潮。多媒體語篇分析并非無水之源，無本之木。它有著長期的理論準(zhǔn)備，例如多媒體語篇分析從多媒體廣告的分析研究中得到啟發(fā)。然而，多媒體語篇分析畢竟剛剛起步，又鑒于語篇分析的復(fù)雜性，尤其是多媒體語篇分析的復(fù)雜性，人們采取不同的分析目的，會使用不同的分析方法，得到不同的結(jié)果。國內(nèi)對于多媒體語篇的研究主要是局限于多媒體對于英語課堂教學(xué)的作用，而對于多媒體語篇本身的研究卻聊聊可數(shù)。正如Forceville（2007）所說“突然之間，多模式分析成了熱門的學(xué)術(shù)話題。”目前此類研究大致分為兩類，一類是語言學(xué)導(dǎo)向，另一類是非語言學(xué)導(dǎo)向的(Baldry&Thibault,2006)。按方法分，又可分為多模態(tài)分析和視覺語篇分析。國外所做研究的對象是多媒體廣告（Cook,1992;Stella&Adam,2005）和電影(Bordwell&Thompson,1988)等，并且從事此類研究的包括了理工科科技人員 (Watanabe等,2000)和社會文化學(xué)者和語言學(xué)家(例如，Kress，2001；O’Halloran，2004)；其中，Kress(2001)提出了多模式的交際理論，Scollon和Scollon（2003）開辟了新的符號研究領(lǐng)域——“geosemiotics”。國內(nèi)相關(guān)的多模式研究是顧曰國（2005），他對北京外國語大學(xué)60周年慶祝儀式作了多模式語篇分析，誠如作者所言是嘗試性的（“exploratory”）。

文章的研究對象是希拉里的一則總統(tǒng)競選廣告，借鑒系統(tǒng)功能語法的觀點和批評語篇分析的觀點，對這則多媒體語篇進(jìn)行解讀。文章主要以語言學(xué)導(dǎo)向，探討多媒體語篇的銜接方式及其語用效果，

一、轉(zhuǎn)錄

競選廣告的轉(zhuǎn)錄分為兩個部分：一為文本的轉(zhuǎn)錄，二為多媒體的整體轉(zhuǎn)錄。

（一）文本轉(zhuǎn)錄

文章進(jìn)行文本轉(zhuǎn)錄的目的為描寫文本服務(wù)，即盡量還原希拉里的話語特點。采用的方法是Gee（1999）的stanza和line的劃分方法，由于具體的文本細(xì)節(jié)的不同，在方法上會有一定的出入。（++表示長時間的停頓，+表示較短時間的停頓，單詞大寫表示重讀）

HILLARY（screaming）:

As I travel around America,++

I hear from SO many people who feel like+

they're just invisible to their government.

ANNOUNCER:

Hillary Clinton has spent her life standing up for people others don't see.

HILLARY（sappy music）:

If you're a family that is struggling,and you don't have health care,

well,you ARE invisible+to this president.

If you're a single mom trying to find affordable child care so you can go to work,

well,you're INVISIBLE,too.

And I never thought I would see that+our soldiers who served in Iraq and Afghanistan+would be treated as though THEY were invisible as well.

Americans from all walks of life across our country+may be invisible to this president,+but they're not invisible to me

and they won't be invisible+to the next president of the United States!

（二）多媒體轉(zhuǎn)錄

多媒體的轉(zhuǎn)錄采用的是Thibault（2000）所采用的表格法（Table），作者也強(qiáng)調(diào)話語，多媒體（聲音視覺）符號是共現(xiàn)的，雖然文字轉(zhuǎn)錄與多媒體語篇不能完全對等但是這種方法基本上能實現(xiàn)者兩者的統(tǒng)一。文章因個案分析需要略作改動。需要說明的是，多媒體語篇本身是個流動的動態(tài)過程，在轉(zhuǎn)錄時必然會丟失一些動態(tài)信息。

二、多媒體語篇的銜接與連貫

任何語篇都具有七大特性（參見Beaugrande和Dressler，1981）其中之一便是場景的構(gòu)建或稱場景性(situationality),我們認(rèn)為此語篇特點對于多媒體語篇至關(guān)重要，并且體現(xiàn)的更直觀，更明顯。語篇分析的理論共識之一是語篇與文化或社會知識之間是相互影響的?？梢哉f多媒體營造了一個情景語境。多媒體語篇的銜接與連貫，通過話語和音樂等，直接與視覺符號和場景互動。

（一）指稱

指稱（或照應(yīng)）（reference）分為內(nèi)指包括前指(anaphoric)，后指(cataphoric)和外指(exophoric)（Halliday&Hasan:2001）；多媒體語篇從總體上來看主要是依靠外指達(dá)到連貫，即語言表達(dá)與視覺符號同步。例如，Hillary說到single mom,視頻上出現(xiàn)了“抱著嬰兒的婦女”，說道soldier視頻上出現(xiàn)了“抱著小孩的年輕男子”，說到“all walks of life”出現(xiàn)了一群人等。然而，我們并不能確定視頻中人物的確切身份，但是由視頻本身和話語共同構(gòu)成的一個語境使話語和場景相互影響，這同時使得外指具有預(yù)設(shè)性，即“理所當(dāng)然的認(rèn)為”（taken-for-grantedness）。

另一方面，外指與視覺符號并非總是保持同步，外指的所指可以缺省，在這種情況下我們認(rèn)為多媒體語篇要達(dá)到某種語用效果。例如，文章所分析的這則多媒體廣告，最后Hillary說到“這屆總統(tǒng)”(this president)但是并沒有任何人在畫面中出現(xiàn)以指稱現(xiàn)實的president（George W.Bush）。在語用效果上可以認(rèn)為是總統(tǒng)無視人民，所以人民亦將無視總統(tǒng)；目的在于褒己貶人。整個多媒體語篇都是在指稱的大環(huán)境下的銜接。然而，需要指出的是，外指本身就是一個動態(tài)的概念，至少在多媒體語篇內(nèi)如此，具體的說，話語外指多媒體的視覺符號，整個多媒體語篇則外指社會文化語境。另外，作為多媒體語篇的指稱，也可以是場景指稱（例如動態(tài)的視覺符號）；如競選廣告中“travel”一詞的動態(tài)外指。

（二）省略

就文章的研究對象而言，省略手段并不十分明顯，我們認(rèn)為只是視覺符號使用了省略手段，例如，在視頻開始時聲道中出現(xiàn)了announcer的聲音時省略了希拉里的演說詞，另外，整個視頻表現(xiàn)的是希拉里在公眾面前的演說，但是視頻畫面省略了演說過程的大部分畫面，取而代之的是演說內(nèi)容的視覺符號。我們認(rèn)為，作為政治廣告話語上還應(yīng)保持一定的嚴(yán)肅性，所以話語方面并沒有使用省略的銜接手段；另一方面，視覺符號的省略取舍也具有一定的語用效果，省略的部分一方面為了使視頻更簡潔，更重要的是為了突出重點，例如每當(dāng)希拉里說到“invisible”時視頻畫面便回到演講的主線場景。值得一提的是上述提到的“this president”的外指在視覺符號上的省略，可以稱作“外指缺省”（exophoric default），這是有具體的語用含義的。

（三）替代

多媒體語篇的替代是雙重的：一是視覺符號的替代，二是話語語篇中的替代。正如上文所述視覺符號中的人物可以視為個體替代一類人。話語語篇中的替代一般是代詞，方式一般是名詞性替代，一般來說，被替代者則在畫面中以視覺符號的形式呈現(xiàn)，進(jìn)一步分析話語指稱，視覺符號指稱，共同指向更廣闊的社會文化大語境。

（四）連接

本競選廣告的多媒體語篇的連接可以分為視覺符號、聽覺符號和話語符號的連接。視覺符號的連接主要是通過關(guān)聯(lián)性，本則廣告的主線是希拉里的公眾演說，主題是“invisible”所以人物的顯現(xiàn)尤其是希拉里的顯現(xiàn)是連接的主要方式。例如，視覺符號的希拉里身著紅色外套演說的場景即可視為視覺符號的連接。聽覺符號的連接主要是背景音樂的連續(xù)。話語的連接方式是通過排比的修辭手段實現(xiàn)的。需要指出的是，視覺符號的連接在多媒體語篇中需要有符號認(rèn)知上的關(guān)聯(lián)意識，以達(dá)到對多媒體語篇的統(tǒng)一，連貫的整體性構(gòu)建。

（五）重復(fù)

文章競選廣告的重復(fù)包括視覺符號重復(fù)和話語語篇內(nèi)的重復(fù)。例如，視覺符號中，“擁抱”場面的重復(fù)和希拉里身著紅色外套演講場面的重復(fù)。本廣告重復(fù)手段的運用也具有一定的語用目的，即為了政治目的贏得大眾的支持；另外，使人們感到多媒體語篇的整體性和連貫性。但是此類場景重復(fù)并不一定與話語重復(fù)符合或同步，或可以說視覺語篇具有相對的獨立性。但是整體多媒體語篇的最終效果必然是各種符號的有機(jī)統(tǒng)一。

三、余論及更廣闊的視角

另外需要指出的是所謂“非人物”的視角（impersonal footing），Glinert（2005）認(rèn)為這種視角主要是匿名的畫外音形式，通常是男性的冷靜的話語，給人以專家的權(quán)威。本則廣告也出現(xiàn)了男性畫外音即announcer的話語，但我們認(rèn)為畫外音在具體的語篇中具有不同的效果或目的。我們認(rèn)為此廣告的畫外音主要地是表達(dá)可證性，使語篇更具效力使人可信。

其次，不可忽視的是除了情景語境之外，還有文化語境對整個多媒體產(chǎn)生影響，在話語語篇，多媒體語篇和文化背景等劃分下產(chǎn)生明顯的層次結(jié)構(gòu)特征。本則語篇的大文化場景應(yīng)當(dāng)是民主黨的政治路線，即將焦點放在國內(nèi)，注重美國國民在國內(nèi)的福利，權(quán)利和利益，另一方面不排除競選者Hillary作為女性政治家的女性主義觀念。由于篇幅所限本文不作詳細(xì)討論。

再次，任何語篇都是一個整體，將語篇尤其是多媒體語篇采用分析的手段分析只是為了滿足更好的理解語篇的需要，所以不能機(jī)械地認(rèn)為多媒體語篇各個部分是可以獨立的，而應(yīng)當(dāng)在分析之后從整體上認(rèn)識多媒體語篇的視覺符號，聽覺符號和話語符號之間的相互影響和聯(lián)系。

語篇分析由于目的和切入點的不同而采取不同的分析方法和理論，本文主要是依據(jù)韓禮德的銜接理論，對多媒體語篇的語用意義作了探討。當(dāng)然還可以從其他方面進(jìn)行研究，例如認(rèn)知語言學(xué)的理論。本文的不足之處在于只是個案分析，在量上沒有達(dá)到喬姆斯基的描寫充分性，即所得結(jié)論的普遍性有待進(jìn)一步的證實。

四、意義

通過對多媒體語篇的個案分析，可以為多媒體語篇的教學(xué)構(gòu)建提供參考，例如，外指缺省的語用含義在多媒體語篇教學(xué)中的采用及其效果，更重要的是多媒體語篇作為話語語篇和社會語境的中間層面的地位，其語用指稱對于理解更廣闊和更抽象的社會文化現(xiàn)象的作用。

[1]Baldry,A.P.and Thibault,P.J. （2006）.Multimodal Transcription and Text.London:Equinox.de Beaugrande,R.,and W.U.Dressler.（1981）.Introduction to text linguistics.London:Longman.

[2]Bordwell,David&Thompson,Kristin.（1988）Film Art:An Introduction(2nd ed.).Berkeley,CA:University of California Press.

[3]Cook,G.（1992）.The Discourse of Advertising.London:Routledge.

[4]Forceville,C.（2007）.Book review.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Coursebook.Journal ofPragmatics.

[5]Gee,J.P.（1999）.An Introduction to Discourse Analysis:Theory and Method.Routledge.

[6]Glinert,Lewis.（2005）.TV commercials for prescription drugs:A discourse analytic perspective.Research in Social and Administrative Pharmacy,p.158-184.

[7]Halliday,M.A.K.&Hasan,R. （1976）,Cohesion in English,Longman,London.

[8]Kress,G.R.（2001）.Multimodal Discourse:The Modes and Media ofContemporary Communication.London:Arnold.

[9]O’Halloran,Kay L.,（ed.）.(2004).Multimodal Discourse Analysis.London:Continuum.

[10]Stella,J.and Adam,S.（2005）.Tropes in Advertising:A Web-Based Empirical Study, p. 93-105. Multimedia CD-ROM.In Treloar,A.and Ellis,A.（Eds.）

[11]Thibault,P.J.（2000）.The multimodal transcription of a television advertisement.In A.Baldry,Ed.,Multimodality and Multimediality in the distance learning age.Campobasso,Italy:Palladino.

[12]Watanabe,Yasuhiko,Okada,Yoshihiro,Kurohashi,Sadao,&Iwanari,Eiichi.（2000）.Discourse Structure AnalysisFor News Video.IEEE International Conference on Multimedia&Expo.New York New York.Electronic Proceedings

[13]顧曰國.（2003）.Forthcoming A multimodal text analysis of an anniversary ceremony in China A corpus linguistic approach.Submitted asa contribution to a special issue ofText.

張 莉（1980.4-），女，陜西蒲城人，渭南師范學(xué)院外國語學(xué)院教師，研究方向：外國語言文學(xué);謝韶亮(1981.10-)，男，安徽全椒人，渭南師范學(xué)院外國語學(xué)院教師，研究方向：對比語言學(xué)。）