多模態(tài)小品的功能間性

胡加圣 柴改英

(上海外國語大學(xué),上海,200083；浙江工商大學(xué),杭州,310018)

隨著信息技術(shù)的不斷發(fā)展,PPT(PowerPoint)、PPS(PowerPoint Show)、WMV(Windows Media Video)等應(yīng)用軟件(或軟件模塊)被廣泛地用來創(chuàng)建演示文稿,服務(wù)教學(xué)、會議和日常信息交流。區(qū)別于普通的Word文檔,這些文稿訴諸于讀者的視覺、聽覺等多種感覺通道,充分應(yīng)用文字、圖像、顏色、音樂、視頻等多種符號系統(tǒng),因而具有多模態(tài)性(multimodality)(“多模態(tài)語篇”的界定參見Kress & van Leeuwen 2001;李戰(zhàn)子2003；張德祿2009)。本文重點(diǎn)討論的是被胡壯麟先生(2010)稱之為多模態(tài)話語大家庭中的一個(gè)新成員——“多模態(tài)小品”,它是一種新的提供一定信息量的、有一定品位和文藝鑒賞價(jià)值的交際形式。它圍繞特定的題目,如“健康”、“生活”、“上帝不會問的十個(gè)問題”,通過若干張幻燈片自動(dòng)翻閱或點(diǎn)擊翻頁,在向讀者提供視聽感官享受和體驗(yàn)的同時(shí),傳達(dá)或?qū)嵱?、或愉悅的精神信息。本文關(guān)注的話題有:(1)多模態(tài)小品的多模態(tài)性；(2)多模態(tài)小品的語篇特征；(3)多模態(tài)小品各模態(tài)間的互動(dòng)性。第三個(gè)問題也將嘗試思考Baldry和Thibault(2006)關(guān)于多模態(tài)語篇的研究課題:在把多媒體的意義生成資源綜合應(yīng)用到超語篇(hypertext)后,怎樣才能使意義生成潛能成倍地增加。

1. 多模態(tài)小品的多模態(tài)性

多模態(tài)小品的模態(tài)參數(shù)共有3個(gè),即文字(Language,用L表示)、圖像(Visual,用V表示)、聲音(Audio,用A表示)。其參數(shù)配置共有5種L、L+V、L+V+A、V和V+A。單一A模態(tài)的多模態(tài)小品,即沒有圖像和文字、只有樂曲的多模態(tài)小品到目前為止尚未發(fā)現(xiàn)。

雖然L(只有文字)和L+V(圖文結(jié)合)是多模態(tài)小品早期制作技術(shù)不發(fā)達(dá)時(shí)常用的簡單形式,但是,這種“簡單”在技術(shù)水平已經(jīng)很發(fā)達(dá)的現(xiàn)在也可以是一種有意之為:或者排除其他元素可能帶來的干擾,使讀者全身心關(guān)注內(nèi)容；或者由于主題的需要,將讀者的心情放置在特殊的情景之中。這兩種,特別是只有文字的PPT,或者是溫馨的低語,如“與健康有約”；或者是感人的敘事,這種情況下圖畫的作用更多是展示和解釋。富有基督教色彩的PPT故事“The Smell of Rain”第一頁面的文字“A cold Match wind danced around the dead of night in Dallas as the doctor walked into the small hospital room of Diana Blessing”把我們引入一個(gè)生命奇跡故事。背景純白,正合著故事發(fā)生的場所——醫(yī)院；沒有音樂,正合著場所的需求——安靜。更為重要的是,這種安寧、靜謐的意境中,發(fā)生的是一個(gè)遠(yuǎn)離喧囂、天使降臨的故事,是上帝對出生只有12英寸長、1.2磅重的Diana的憐惜愛撫的故事；而“雨的味道”也只有安寧虔誠的心可以嗅得到。可見,聲音缺席正是作者的匠心所在,在讀者內(nèi)心的體驗(yàn)與文字的和諧互動(dòng)中,哪怕是最輕微的音響都可能是聒噪。

而文字缺席的V(只有圖畫)和V+A(圖畫和音樂)形式的多模態(tài)小品多以藝術(shù)欣賞(風(fēng)景名勝、人物攝影、繪畫欣賞等)為內(nèi)容。正如黑格爾(1959:83)所說:“藝術(shù)形式就是訴諸感官的形象”,當(dāng)表面文字的缺席促發(fā)了讀者更深層次的視覺和聽覺投入,缺少文字“錨定”(anchor,見Barthes 1977:39)的圖畫和音樂所指的不確定性(曾方本2010:61)使得以情感促發(fā)為目的藝術(shù)訴求方式(圖畫和音樂)引發(fā)了讀者“無拘無束”(即沒有語言信息來控制讀者的意識)的聯(lián)想和藝術(shù)體驗(yàn)。例如,由E-mail文化傳播網(wǎng)發(fā)布的多模態(tài)小品“童話般美麗的奧地利”將奧地利令人心曠神怡的湖光山色和色彩亮麗建筑獨(dú)特的岸邊小鎮(zhèn),在薩克斯風(fēng)版《月亮河》的浪漫旋律中,別有韻味地展開、流淌。沒有文字的羈絆,讀者可以充分發(fā)揮想象,“心馳神往”。

L+V+A的復(fù)合形式越來越多地出現(xiàn)在多模態(tài)小品中,這種制作技術(shù)整合了文字、圖片、音樂等不同社會文化符號的功能,全面激活PPT接受者認(rèn)知、情感等各方面的資源,使之能夠更加立體、更加有效地參與意義建構(gòu)。Burke(1931:31,124)將“修辭形式”定義為對欲望的激起和滿足。顯然,不論是作為文字形式的修辭形式,還是藝術(shù)形式(圖片、音樂)的修辭形式,它們激起“欲望”的方式和方面是不同的,前者著重于理性的認(rèn)知加工,而后者訴諸于人的情感。從生理學(xué)的角度看,“理”和“情”相互配合,協(xié)同完成對外部信息的內(nèi)化過程和對認(rèn)知信息的外化過程。人的認(rèn)知結(jié)構(gòu)對外部信息加工處理的過程中,情感圖式會對認(rèn)知結(jié)構(gòu)的活動(dòng)進(jìn)行干預(yù),并促發(fā)認(rèn)知結(jié)構(gòu)進(jìn)行信息加工。由圖片和音樂促發(fā)的情感因素在文字認(rèn)知加工中的作用表明:多種模態(tài)形式只有協(xié)調(diào)合作才能達(dá)到好的交際效果。

當(dāng)然,“協(xié)調(diào)”并不意味著三種模態(tài)在小品中平分秋色。“美國軍事演習(xí)”(http:∥www.52e-mail.com)和“世界好友周”都屬于L+V+A復(fù)合形式的多模態(tài)小品。前者如其英文標(biāo)題“Cool Pictures—Compliments of Our US Military”中的“Cool Pictures”所示,圖片而不是文字是PPT話語的中心,非常簡單的短語相當(dāng)于圖片的畫外音,只是向世人提供美國軍演中高端武器的名稱；而配合畫面的進(jìn)行曲“The Thunderer”(“父輩的旗幟”)無異于沖鋒的號角,讓一幅幅原本已經(jīng)定格的海上沖鋒、空中俯沖的畫面恢復(fù)了雄赳赳的生機(jī)。而“世界好友周”重在傳遞一種觀念“什么是好朋友?”其文字內(nèi)容,如“當(dāng)大部分人都在關(guān)注你飛得高不高的時(shí)候,只有少部分人關(guān)心你飛得累不累,這就是友情”,成為承載明確信息的凸顯模態(tài)；其圖畫(大片舒坦的田野、整齊的花海)以及舒緩的音樂都在為讀者對文字所指產(chǎn)生思想回應(yīng),鋪墊著情緒、營造著氣氛。比較以上兩個(gè)L+V+A復(fù)合形式的多模態(tài)小品,“美國軍事演習(xí)”中L、V、A三者的凸顯關(guān)系為:V>A>L(凸顯度依次下降)。沒有文字,不影響讀者對美國高端武器的認(rèn)可,但是沒有圖片,讀者就無法感受美國軍演的“Cool”主題。而在“世界好友周”中,雖然我們無法完全確定圖像和音樂在此過程中孰重孰輕,但是可以確定的是:如果沒有文字,并不連貫的圖片的所指漂浮性和音樂的不確定性難以幫助讀者建構(gòu)合適的確定意義。

2. 多模態(tài)小品的語篇特征:“神不散”

普遍意義上的語篇類型,如議論、說明、描寫、敘事,都有明顯的語篇特征(texture),即主題、故事和描述對象以明顯的線索(銜接手段)貫穿始終(意義連貫)。但是,多模態(tài)小品各頁之間并不一定必須具有十分明顯的關(guān)聯(lián),往往傾向于不同幻燈片頁面展示不同內(nèi)容。例如,“Life”其中兩頁的內(nèi)容是:

(a) (午后靜謐的練功房,芭蕾舞演員)陽光午后 旋處一份飄逸和輕盈 和影子共舞的人 都會有一份恬靜的人生吧！

(b) (街角,枕著書包、擁著小熊熟睡的小女兒,旁邊放著行李箱)是離家出走么 我不敢肯定 如果是,她比我有勇氣,我小時(shí)候只是拿些小人書 那才是我童年時(shí)的全部家當(dāng)。

如果把它們放到一個(gè)段落里,我們無法找到任何確定的、顯性的、客觀的語言特征將兩者相連接。但是,如此“形散”的幻燈片能夠統(tǒng)一在同一個(gè)標(biāo)題里,必然在文字下面體現(xiàn)著某種關(guān)聯(lián),這種隱形的、主觀的聯(lián)系是語篇調(diào)動(dòng)了交際雙方,特別是閱讀者的認(rèn)知資源、情感資源來建立的,即是主體互聯(lián)(intersubjectivity)的結(jié)果。兩個(gè)幻燈片表面上都是在敘事:它們都有人物(“舞者”和“小女孩”)、背景(午后和練功房,街角和安靜的四周環(huán)境)、事件(“欣賞自己的舞蹈”和“離家出走”)。如果仔細(xì)閱讀,我們不難發(fā)現(xiàn)它們還隱含著另一聲音,這可以從第二張幻燈片里的“我”看出:

(b1) 小女孩帶著她的全部家當(dāng)(皮箱、書包、玩具)有勇氣地離家出走。

(b2) 我小時(shí)候所有的家當(dāng)只是講述別人故事的小人書,我沒有勇氣離家出走。

類似地,看到第一張幻燈片時(shí),讀者為之震撼的,不僅僅是舞者的美,更有她的那份輕盈、恬靜的人生,于是不禁會對比自問:

(a1) 陽光午后,年輕女子和影子共舞,旋處一份飄逸和輕盈,享受恬靜人生。

(a2) 我 在陽光午后(閑暇之時(shí)),是否顧暇和欣賞自己的影子和心靈,是否擁有一份恬靜人生?

這種如在拉康理論中的鏡像階段發(fā)生的在“他者”中尋找認(rèn)同的“自我投射”(見岳鳳梅2005),使得閱讀從對“他者”故事的賞析變化到對“自我”故事的建構(gòu)和反思,顯然(a)中“都會有一份恬靜的人生吧”的贊嘆、羨慕的語氣和(b)中“只是”、“才”表達(dá)的無奈語氣,透露了象征性符號及其在“自我”中所激發(fā)的形象之間的鴻溝。作為制造象征的動(dòng)物(Burke 1966:45),人運(yùn)符號進(jìn)入修辭環(huán)境,幻燈片讀者以藝術(shù)性的符號(本例中的圖像及文字)為參考,建構(gòu)及反省自己的現(xiàn)實(shí),下面(b3)和(a3)是一種反思:

(b3) 童年的我生活在別人撰寫的小人書里,“乖乖”地按照書中或者美麗、或者勇敢、或者守紀(jì)律……等標(biāo)準(zhǔn)長大,沒有勇氣走自己想走的路；成年的我“規(guī)矩地”亦步亦趨,不敢怠慢,思想不敢出走。

(a3) 生活在現(xiàn)代社會的我,缺失的正是閑暇、疏于關(guān)照自己的靈魂、沒有一份屬于自己的恬靜人生。

這種語言建構(gòu)的“他者”故事和現(xiàn)實(shí)中“自我”故事的不對等使兩個(gè)看似不相干的幻燈片在讀者那里產(chǎn)生了類似的共鳴:對“缺失”(現(xiàn)實(shí)生活中突破自我羈絆實(shí)現(xiàn)自我的勇氣的缺失、現(xiàn)代社會里心靈空間被擠壓后顧暇靈魂的缺失)的抱憾和對理想的“向往”(向往擺脫思想的物質(zhì)羈絆放飛自己、向往能夠關(guān)照心靈的恬靜優(yōu)雅)。當(dāng)然,兩者的另外一層聯(lián)系還發(fā)生在讀者因“缺失”和“向往”而產(chǎn)生的“自我”向“他者”的心理遷移。當(dāng)讀者從“自我”的故事回歸“他者”故事時(shí),會將“自我”無意識地誤同(identification by inaccuracy)(Burke 1969:20)于“他者”的美感中?！拔覀冎?美感作為一種感覺,是在對象化的過程中實(shí)現(xiàn)自己的。當(dāng)這種對象能給人帶來美感的時(shí)候,人們的心靈常常執(zhí)著于或固結(jié)于這種美感上”(李鑫華2001:57)。讀者好似經(jīng)歷了類似小女孩出走的思想自由,和類似舞蹈者輕盈弄影的愜意。這種相似的認(rèn)知心理活動(dòng)及審美活動(dòng)是連接兩個(gè)幻燈片的無形的網(wǎng)絡(luò)?？梢?和一般散文相比,多模態(tài)小品的“形散而神不散”的語篇特征強(qiáng)調(diào)的是文本與讀者的主體互聯(lián)。

除了文字模態(tài),PPT這種形散而神不散的語類特點(diǎn)也通過其他模態(tài)得以強(qiáng)化。從視覺模態(tài)來看,幾乎每一個(gè)多模態(tài)小品都貫穿一類圖像、圖形。貫穿“Chinese New Year”的都是中國新年表示吉祥祝福的元素“對聯(lián)”、“年畫”、“爆竹”、“財(cái)神”；貫穿“上帝不會問的十個(gè)問題”的是天空、大地和海洋,傳達(dá)了上帝創(chuàng)世紀(jì)和拯救人類的恢宏宗教主題。正如喜慶的中國節(jié)日元素始終將讀者置于歡樂的情緒中,恢宏神秘的圖片色彩讓讀者沉靜在宗教氣氛中,它們成為感染讀者精神和情緒的不散之神。

同樣,多模態(tài)小品的聽覺模態(tài)也起到了非常重要的銜接作用,往往同一首音樂或同一種類型的音樂形式成為承載主題、貫穿全文的重要線索:“Chinese New Year”中歡快、喜慶、跳躍的中國民樂《恭喜恭喜》始終感染著讀者的情緒；“上帝不會問的十個(gè)問題”中悠揚(yáng)、圣潔、高遠(yuǎn)的贊美詩音樂“Amazing Grace”(《奇異的恩典》)渲染了整個(gè)語篇的宗教情緒。音樂表演手段和音樂語言風(fēng)格,或抒情優(yōu)美、或華麗絢爛,都成為全篇意義統(tǒng)一的旋律。

可見,不論多模態(tài)小品的模態(tài)關(guān)系如何,作為“語篇特征”,它們分別具有各自的內(nèi)在連貫性(統(tǒng)一性)。而且,各自的連貫性相互照應(yīng),共同協(xié)調(diào)地構(gòu)造更高層次上的連貫。如,“Chinese New Year”中三條連貫的線索(恭賀新春的美好祝愿/各種喜慶的視覺元素/歡快、跳躍的中國民樂)同時(shí)協(xié)調(diào)訴求于人的視聽感官,表現(xiàn)一個(gè)主題:“節(jié)日快樂”。

3. 多模態(tài)小品的功能間性

多模態(tài)小品有5種組合可能,但是鑒于篇幅,我們這里暫且不討論單模態(tài)的L、V,以及L+V的形式(以音樂為背景配合圖畫的PPT比較多,但是以圖畫為背景闡釋音樂的雖然未必不可,但是相對比較少,另文討論),重點(diǎn)討論L+V、L+V+A復(fù)合模態(tài)中的圖文、音文關(guān)系。

3.1 多模態(tài)小品中的圖文關(guān)系

關(guān)于多模態(tài)話語中圖文關(guān)系的研究不斷有“地位論”(Barthes 1977)、“位置論”(Kress & van Leeuwen 1997)、“系統(tǒng)論”(Martin & Salway 2005)等學(xué)說涌現(xiàn)。圖文地位論認(rèn)為,在多種符號組成的復(fù)合系統(tǒng)中圖文之間有三種關(guān)系:或者是錨定(anchorage,即語言文字對于圖文意義進(jìn)行錨定,以克服圖像符號所指的不確定性)、或者是說明(illustration,即圖像對語言文字的闡釋說明)、或者是接遞(relay,即圖文互補(bǔ),如動(dòng)漫中的對話泡)。圖文位置論比照功能語法中語言的概念、人際與組篇功能,認(rèn)為圖像同時(shí)具有再現(xiàn)功能(解釋參與者與過程之間的關(guān)系)、互動(dòng)功能(指每個(gè)行動(dòng)不僅表達(dá)了語言使用者對接受者的導(dǎo)向,也表達(dá)了兩者之間的社會關(guān)系)和構(gòu)圖功能(composition,指每個(gè)行動(dòng)在語篇空間對整體或整體中的部分作出限定)。其中構(gòu)圖關(guān)系不僅表明圖像成分間的關(guān)系,也關(guān)心圖文間的關(guān)系,即視覺空間里頁面的特定位置會賦予相應(yīng)的圖、文特別的意義。其原則有:信息價(jià)值原則(information value principle)(左邊的是已知信息,右邊的是新信息；上方的是“理想”信息,即概括性的凸顯的信息,下方的是“真實(shí)”信息,及具體的細(xì)節(jié)性的信息；中央為主要信息,邊緣為次要信息)、突顯原則(salience principle)(通過尺寸、亮度、色彩、視角等使某些信息被充分關(guān)注),以及分格原則(framing principle)(通過空間位置的鄰接程度說明信息之間的關(guān)系)。為了擺脫上述兩種理論的直觀性和經(jīng)驗(yàn)性,Martin和Salway(2001)借用功能語法中小句關(guān)系理論從圖文地位以及邏輯語義關(guān)系兩個(gè)子系統(tǒng)的組合闡述多模態(tài)語篇的圖文關(guān)系(共27種關(guān)系)。為了縷清理論脈絡(luò),我們將以上三個(gè)理論主要內(nèi)容表示如下表1:

表1 多模態(tài)小品中的圖文關(guān)系

綜合以上三種學(xué)說的具體內(nèi)容,以我們掌握的現(xiàn)有的700多則多模態(tài)小品為語料,我們具體探索其可能的圖文關(guān)系類型。

3.1.1 以圖片展示為主的多模態(tài)小品的圖文關(guān)系

第一,文字“解釋、說明、介紹”圖畫

根據(jù)“圖文位置論”的“突顯原則”,尺寸大小、亮度等都可能成為影響凸顯度的因素,“美國軍事演習(xí)”中每個(gè)頁面按9:1的比例將畫面整齊地上下分割,上面的9/10的面積大幅展示威武先進(jìn)的美國武器,畫面背景均為亮度相對高、視野相對開闊的藍(lán)天、大海,而1/10的最底邊往往是黑色背景下的短語式的武器名稱。以此方式,圖片得到了突顯,而文字起到了介紹的作用。這種關(guān)系,也可以用“圖文地位論”的“信息價(jià)值原則”加以證明,同一頁面內(nèi)的“中央與邊緣則表明信息有主次之分”,被邊緣化的文字名稱只起解說作用。

第二,文字“延伸”圖畫

和上面解釋說明類型的圖文關(guān)系類似,圖文延伸(文延伸圖意)往往也符合圖文位置論的“突顯原則”,即圖片占據(jù)了畫面最大面積的、中央的、顯眼的位置,而文字相對邊緣化、不凸顯。圖文相對獨(dú)立,可以分別表達(dá)獨(dú)立意義,不出現(xiàn)在同一語篇里,也各自可以成為完整的意義表征,即它們之間不存在“系統(tǒng)論”的依附關(guān)系,但是卻起到意義延伸的作用。例如“Life”中下面的頁面。我們通過網(wǎng)絡(luò)查詢,發(fā)現(xiàn)了此圖的兩個(gè)“配音”版本。

我們姑且不論兩種配“音”孰優(yōu)孰劣,但版本的多樣性證明了圖文的獨(dú)立性以及圖畫的意義開放性,在某種程度上文字對圖畫具有錨定作用,即圖畫的所指往往很多,觀眾可能會有不同的解讀,但是不同于概念錨定,此類多模態(tài)小品更多是錨定一種情感、一種趣味?！罢Z言這種符號誘使那些本性能對符號作出反應(yīng)的動(dòng)物進(jìn)行合作”(Burke 1969:43),這里的合作類似于Burke的“誤同”(identification by inaccuracy),雖然這種同一方式(identification)最不被人有意識地注意,但最有影響力。正如買萬寶路香煙的人可能將自己無意識地投射為香煙廣告中的瀟灑、迷人的男人的形象,恰如其分的文字“配音”錨定圖片中小女孩并非玩笑的“離家出走”的“勇氣”,PPT讀者除了天生對天使般孩子的撫愛,還因?yàn)樾∨?shí)現(xiàn)了“童年的我”“曾經(jīng)有過的夢想”(也許是讀文時(shí)臨時(shí)產(chǎn)生的),而生出無限的疼惜憐愛?？梢?文字讓想象生出翅膀,是PPT讀者的情感始于圖、升華于圖的中介。

圖1 “Life”中的文字延伸圖畫示例

3.1.2 以概念展示為主的多模態(tài)小品的圖文關(guān)系

第一,圖畫調(diào)試情緒、“渲染”情感

以概念展示為主的多模態(tài)小品,圖畫的作用有調(diào)試情緒、渲染感情的作用?！妒澜绾糜阎堋穾缀跛挟嬅娑加筛鞣N明快的色彩大線條構(gòu)成:藍(lán)的天空、棕的田壟、綠的草原、鮮亮的花帶。不論是縱向地向天邊鋪撒,還是橫向地寫意流動(dòng),這些線條通過廣角鏡頭舒展地貫通整個(gè)畫面,使讀者視野格外寬闊；長景深,表現(xiàn)出相當(dāng)大的清晰范圍和極強(qiáng)的畫面透視效果,使讀者吐納暢快、心情得到了空前的放松。而畫面色彩的協(xié)調(diào)搭配更將讀者置身于特定的情緒之中。第二張幻燈片以“深綠(草地)—淺綠(草地)—褐色(田壟)—藍(lán)色(天空)”橫貫畫面,沉穩(wěn)、知性的低明度深綠,舒適安全的嫩綠,親切中蘊(yùn)含安定的褐色,以及讓人放松的藍(lán)色(百度百科2010),特別是右上方遠(yuǎn)處的那個(gè)尖頂小屋,讓人的心情有了可歸之處。舒展、寧靜的溫馨蔓延開來,當(dāng)知心話語暖暖地在耳畔響起,“當(dāng)大部分人關(guān)注你飛得高不高時(shí),……”,一種被撫摸、被安慰的感覺隨著畫面流淌開來?？梢?畫面絕不是可有可無的背景,它激起合適的情緒圖式,是文字認(rèn)知的情緒啟動(dòng)器,同時(shí)也是情緒抒發(fā)的載體。

第二,圖畫“增強(qiáng)”文字

圖畫在渲染氣氛的同時(shí),有時(shí)會在反映生活及生活哲理方面的非寫實(shí)作品中,起到增強(qiáng)文字的作用。根據(jù)圖文系統(tǒng)論的觀點(diǎn),這種邏輯—語義關(guān)系和小句的增強(qiáng)關(guān)系很接近,增強(qiáng)關(guān)系可以通過文本(或圖像)交代圖像(或文本)的背景信息,如人物、事件等所處地點(diǎn)、時(shí)間等。因?yàn)椴皇菍憣?shí)的,所以被增強(qiáng)的信息(多模態(tài)小品中的圖畫)屬于意境類的場所、時(shí)間。例如,“用生命守著的秘密”是一個(gè)凄美的愛情敘事散文多模態(tài)小品。作者選擇了若干張風(fēng)景圖片交代故事發(fā)生的場景:陽光下人跡罕至的雪山、午后暴風(fēng)雪肆虐的雪原、落日里吞沒生命的雪海。PPT的文本語境要求是高度性和開放性的,即只要求有限的信息被置于清晰的編碼中,它反映了多模態(tài)小品盡可能訴求讀者情感的品質(zhì),而非以傳達(dá)準(zhǔn)確信息和如實(shí)反映現(xiàn)實(shí)為目標(biāo)。這些精心挑選的圖片不僅為敘事提供了背景(setting),更為重要的是這些意境類的信息起到了“入境”作用,即將讀者帶到了故事發(fā)生的情形中、情緒里。

3.2 多模態(tài)小品的音文關(guān)系

和文字話語相比,音樂和美術(shù)的表現(xiàn)力具有相對的開放性。李斯特曾說過,音樂語言“比任何其它的語言都更為隨意和不確定,猶如夕陽西下時(shí)美麗的金黃色的彩云,孤獨(dú)流浪者的幻想可賦予它任何形式,并屈服于極不相同的解釋”(參見何乾三1983:158)。這其中的原因是“所有的音樂都創(chuàng)造出了一個(gè)虛幻的時(shí)間序列”(朗格1986:128),但正如錢鐘書(1984:290)曾說過的,“樂無意,故含一切意”,音樂釋義也具有一定的開放性。一段寧靜的音樂可以出現(xiàn)在“人生哲理”類的文字話語里,也可以出現(xiàn)在“宗教文化”的話語里,還可以與“鄉(xiāng)間”主題相配。但是,這種不確定性不可以將其作用貶低到“陪襯”地位。音樂在多模態(tài)小品話語中的意義如下:

第一,情緒調(diào)頻,促進(jìn)讀者對語言話語的認(rèn)同

接收無線電廣播時(shí),我們轉(zhuǎn)動(dòng)“選臺”旋鈕(選擇性電路),在眾多的音頻信號中選擇自己想要聽的節(jié)目,而“濾掉”雜音。同樣,合適的音樂將人的情緒調(diào)整到合適的頻率,或者興奮、或者寧靜、或者莊嚴(yán),在這樣的情緒里再接受加工相應(yīng)的文字信號時(shí),就會對文字內(nèi)容產(chǎn)生積極的作用。音樂的調(diào)頻作用來源于不同的音對聽眾心理的影響:長音使人感覺空間寬闊,短音使人感覺空間狹窄；長音使人感覺心情平和安靜,短音使人性情急躁、不平靜……(姚琦2000)。音樂所傳達(dá)的這種暗示的、象征性的特質(zhì)與人的情感的律動(dòng)一致,因而開啟了我們情緒之門。例如,幻燈片“愛的解析”選用了席琳迪翁為電影《泰坦尼克號》演唱的主題曲“我心永恒”為背景音樂,而當(dāng)具有濃烈民族韻味的蘇格蘭風(fēng)笛悠揚(yáng)婉轉(zhuǎn)而又凄美動(dòng)人地響起的時(shí)候,觀眾的情緒也隨著旋律從平緩到激昂,再從纏綿悱惻到蕩氣回腸。在這樣的情緒體驗(yàn)中,普通的文字,諸如“選擇最適合你的婚姻,因?yàn)樽詈玫奈幢刈詈线m你”激發(fā)了讀者最為豐富的想象,思緒借著旋律的舒展蔓延開來,個(gè)人經(jīng)歷、事理感悟被一個(gè)個(gè)激活,話語產(chǎn)生了最佳關(guān)聯(lián),出現(xiàn)李白所謂“片言茍會心,掩卷忽而笑”的效果。

第二,互文啟示、建構(gòu)意義

音樂并不是簡單地、表象地追求與文字的契合。根據(jù)參照論,音樂能夠傳達(dá)存在于音樂之外的某些概念、行動(dòng)、感情狀態(tài),積極地參與話語意義的建構(gòu),著眼于對思想主旨的拓展。在某些具有鮮明主題思想、情緒基調(diào)的多模態(tài)小品中,常有一個(gè)旋律式、動(dòng)機(jī)式、或主導(dǎo)動(dòng)機(jī)式的音樂核心；越來越多的多模態(tài)小品以人們熟知的、打動(dòng)人心的音樂為背景,這使得聽覺話語及其相關(guān)意義資源(如歌詞內(nèi)容、出現(xiàn)的影片內(nèi)容、作者、歌者等信息)從“背景”走向“前臺”,不僅成為理解語言話語的重要資源,而且延伸了語言的意義。

根據(jù)信息加工心理學(xué)理論,我們認(rèn)識到:多模態(tài)小品的聽覺刺激所引發(fā)的互文聯(lián)想激活了讀者原有的認(rèn)知語境,此聯(lián)想補(bǔ)充、放大、修復(fù)了文字信息所能提供的語言意義,因而產(chǎn)生頓悟,使讀者獲得更為豐富的意義和更為長久的情感體驗(yàn)。以“上帝不會問的十個(gè)問題”為例,對其背景音樂《奇異的恩典》稍有了解的人立刻會對歌詞、影片、音樂創(chuàng)作人的心歷路程和基督教福音思想產(chǎn)生互文聯(lián)想,歌詞中所包含著的平淡但極富深意的贖罪故事、創(chuàng)作人浪子回頭的人生經(jīng)歷、基督教懺悔、感恩、救贖、重生的主旨等意義資源隨著音樂的流淌不斷被讀者調(diào)動(dòng)整合,這些意義藉由樂音的延伸、變化、發(fā)展、層次的遞進(jìn)等手法抒發(fā)開來,幫助讀者更深切地理解語言話語和圖畫話語,在圣潔的天籟之音中,讀者對于PPT文本的解讀超越了一般的宗教行善教導(dǎo)；文字頓時(shí)變成了救贖的呼喚,對讀者心靈的拷問。這種能提供互文啟示、協(xié)助意義建構(gòu)的功能是一般以渲染情緒為目的的背景音樂所不具備的。

當(dāng)然,承認(rèn)聽覺符號是一種意義潛勢,就要承認(rèn)聽覺資源參與意義建構(gòu)的程度因人而異,因?yàn)檎J(rèn)知主體的潛能水平以及他對認(rèn)知信息的組織程度的認(rèn)識水平都存在著一定的差異性。

3.3 多模態(tài)小品多模態(tài)資源互動(dòng):意義生成潛能的“酵母”

前面兩個(gè)小節(jié)我們分別敘述了多模態(tài)小品的圖文、音文關(guān)系,當(dāng)然三種模態(tài)資源不是彼此之間單向的作用,而是資源間的互動(dòng)。多模態(tài)小品屬于電子模式(electronic mode)的一種,這種模式具有三種模態(tài)同時(shí)展現(xiàn)的優(yōu)勢,它們彼此促進(jìn),決定它們共同建構(gòu)的話語的語篇特征。這種多模態(tài)的意義生成資源之間的互動(dòng)使意義生成潛能(meaning-making potential)“發(fā)酵”般地成倍增加。

第一,確定與不確定之間的互動(dòng)

意義并非事物所固有的屬性,是人賦予的,所以天生具有不確定性。同一客體(能指)對于不同的主體(認(rèn)知資源、認(rèn)知水平、情感歷程存在差異)來說會引發(fā)出完全不同的意義(所指),面對大自然紅色砂巖因長期風(fēng)化剝離和流水侵蝕而形成的孤立山峰和陡峭怪石,宗教信徒會發(fā)出對神靈的贊美、藝術(shù)家促發(fā)創(chuàng)作靈感、地質(zhì)學(xué)家會考證其發(fā)育世紀(jì)及成因。

不同模態(tài)符號的意義確定程度存在差異。語言符號的任意性(arbitariness),即符號能指和所指之間的約定俗成性,使其具有了相對的確定性。由于語言符號的社會規(guī)約性,語言符號的能指有相對確定的所指,詞語的組合也因語法的存在而具有句子層面和語篇層面的意義確定性。相對而言,圖畫和音樂的確定性遠(yuǎn)遠(yuǎn)不及語言符號。與語言相比,圖像的意義顯得漂浮不定,就像是一條由所指構(gòu)成的漂浮鏈(Barthes 1977:39)；同樣,音樂所傳達(dá)的意義也是不確定性的(王唯1999:39)。

多模態(tài)小品中訴諸人類情感的藝術(shù)形式(圖畫和音樂)意義的不確定性、開放性和無限豐富性,賦予讀者無限的情感張力,為建立語篇的互動(dòng)意義(Kress & van Leeuwen 2001)的“視覺語法”中比照系統(tǒng)功能語言學(xué)人際意義的術(shù)語,我們認(rèn)為也適用于聽覺模態(tài)語法、促進(jìn)心靈溝通,奠定了理性的基礎(chǔ)。而文字的意義確定性,克服了視覺、聽覺藝術(shù)的意義任意性,使得讀者的情感和思緒錨定在相對穩(wěn)定的范圍內(nèi),最終達(dá)到多模態(tài)小品制作者的目的。同時(shí),文字的意義借助開放的藝術(shù)形式得到擴(kuò)展和升華。

第二,理性與情感之間的互動(dòng)

語言模態(tài)和藝術(shù)模態(tài)(這里指圖畫和音樂)促發(fā)的理性和情感的互動(dòng)是多模態(tài)小品之所以引人入勝的又一原因。文字符號的優(yōu)勢在于,它能通過概念、判斷和推理等邏輯方式確切地表達(dá)現(xiàn)實(shí)中的具體事物和抽象的思想觀念；藝術(shù)符號長于生動(dòng)、豐富地傳達(dá)出語言所不能傳達(dá)的人類內(nèi)心的情緒和情感。多模態(tài)小品這種情理交融的特點(diǎn)將人的各種認(rèn)知資源全面促發(fā),保證了認(rèn)知和情感體驗(yàn)的收獲。如果說藝術(shù)模態(tài)修辭形式是欲望的激起,那么語言模態(tài)在合適的情緒容器中通過認(rèn)知加工是這種欲望的滿足,這種滿足是感覺找到了合適的語言表達(dá)(對方提供的)而產(chǎn)生的共鳴、情緒的釋放。

4. 結(jié)語

多模態(tài)小品基于PPT/PPS/WMV技術(shù),訴諸于讀者視覺、聽覺。它能在當(dāng)今快速多變信息爆炸的時(shí)代背景下產(chǎn)生一種快速、多面、溫情、而又極具審美愉悅的交際效果,是各模態(tài)符號意義的確定與不確定性之間的互動(dòng),是各模態(tài)符號情感和理性功能互動(dòng)的結(jié)果,更是現(xiàn)代多媒體信息技術(shù)與語言藝術(shù)的完美結(jié)合的結(jié)果。我們非常高興,對于多模態(tài)小品的如下展望能得到胡壯麟先生(2010)的認(rèn)可:隨著生活節(jié)奏的加快和人們交流的便捷化,這種微型多模態(tài)語篇形態(tài)將會有越來越旺盛的生命力,不僅會成為普通人交流的禮品、媒體、載體,也會成為語言創(chuàng)作的另類模式——微型語篇模式；它和微博一樣,將會成為一種新的創(chuàng)作領(lǐng)域,將會有自己的創(chuàng)作權(quán)屬特性；它也會成為教學(xué)的常用方法之一,在語言教學(xué)當(dāng)中起到明顯的促進(jìn)作用。作為與博客、視頻、mp3、PPT、Word等計(jì)算機(jī)網(wǎng)絡(luò)交際媒體各有互補(bǔ)的形式,它是出于PPT而勝于PPT的一種多模態(tài)的文化形態(tài)。

Baldry, A. & P. J. Thilbault. 2006.MultimodalTranscriptionandTextAnalysis:AMultimediaToolkitandCoursebook[M]. London: Equinox, 2006.

Barthes, R. 1977.Image.Music.Text[M]. London: Fontana.

Burke, K. 1931.Counter-Statement[M]. New York: Harcourt, Brace.

Burke, K. 1969.AGrammarofMotives[M]. California: University of California Press.

Halliday, M. A. K.1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Kress, G. & T. van Leeuwen. 1996.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 2001.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Arnold.

Martin, R. & A. Salway.2005. A system for image-text relations in new (and old) media [J].VisualCommunication(3): 337-371.

百度百科.2010.色彩心理學(xué)[WE/OL].http:∥baike.baidu.com/view/64636.htm?fr=ala0_1_1.

何乾三.1983.西方哲學(xué)家文學(xué)家音樂家論音樂[M].北京:人民音樂出版社.

黑格爾.1959.美學(xué)(第一卷)[M].北京:人民文學(xué)出版社.

胡壯麟.2007.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究(1):1-10.

胡壯麟.2010.多模態(tài)小品的問世與發(fā)展[J].外語電化教學(xué)(4):1-7.

李鑫華.2001.博克新修辭學(xué)認(rèn)同說初探[J].外語學(xué)刊(1):54-58.

李戰(zhàn)子.2003.多模式話語的社會符號學(xué)分析[J].外語研究(5):1-8.

錢鐘書.1984.談藝錄[M].北京:中華書局.

蘇珊·朗格.1986.情感與形式(劉大基等譯)[M].北京:中國社會科學(xué)出版社.

王唯.1999.音樂的意義:不確定性——一個(gè)音樂美學(xué)的話題[J].交響(西安音樂學(xué)院學(xué)報(bào))(1):39-40.

姚琦.2000.電影聲畫節(jié)奏的特征分析[J].電影文學(xué)(11):21-23.

岳鳳梅.2005.拉康的語言觀[J].外國文學(xué)(3):48-53.

曾方本.2010.多模態(tài)語篇里圖文關(guān)系的解構(gòu)及其模式研究——關(guān)于圖文關(guān)系的三種理論評述[J].外國語文(4):60-64.

張德祿.2009.多模態(tài)話語分析綜合理論框架探索[J].中國外語(1):24-30.