多模態(tài)化與語(yǔ)義構(gòu)建機(jī)制研究
——以第十屆中國(guó)—東盟博覽會(huì)宣傳片為例

鄭小惠

(廣西大學(xué)外國(guó)語(yǔ)學(xué)院,廣西南寧530004)

多模態(tài)化與語(yǔ)義構(gòu)建機(jī)制研究
——以第十屆中國(guó)—東盟博覽會(huì)宣傳片為例

鄭小惠

(廣西大學(xué)外國(guó)語(yǔ)學(xué)院,廣西南寧530004)

多模態(tài)話語(yǔ)分析理論是近年來(lái)語(yǔ)篇分析領(lǐng)域的研究熱點(diǎn),它突破靜態(tài)書面語(yǔ)的限制,將研究領(lǐng)域拓展到多模態(tài)互動(dòng)的動(dòng)態(tài)性語(yǔ)篇,彰顯了強(qiáng)大的闡釋力?；诙嗄B(tài)話語(yǔ)分析理論,以第十屆中國(guó)—東盟博覽會(huì)宣傳片為例,從圖片的再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義三個(gè)角度研究多模態(tài)化宣傳片語(yǔ)義構(gòu)建機(jī)制中文字、圖片、顏色等模態(tài)的意義創(chuàng)生功能。

多模態(tài)話語(yǔ)分析;語(yǔ)義構(gòu)建;宣傳片

隨著多媒體技術(shù)的普及,圖片、聲音、顏色、動(dòng)作等非語(yǔ)言符號(hào)開(kāi)始在人類的交際活動(dòng)中扮演重要角色,而傳統(tǒng)的話語(yǔ)分析基本上局限于文字本身,即只注意語(yǔ)言系統(tǒng)和語(yǔ)義結(jié)構(gòu)本身及其與社會(huì)文化和心理認(rèn)知之間的關(guān)系,忽視了其他意義表現(xiàn)形式[1],因此其局限于靜態(tài)文字研究的語(yǔ)篇分析的理論適應(yīng)性及闡釋力遭到質(zhì)疑。針對(duì)這一問(wèn)題,多模態(tài)話語(yǔ)分析理論主張從視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等多模態(tài)相結(jié)合的角度分析多媒體語(yǔ)篇[2]。國(guó)內(nèi)外研究者也逐漸意識(shí)到現(xiàn)代交際語(yǔ)篇的多模態(tài)化態(tài)勢(shì),開(kāi)始轉(zhuǎn)向多模態(tài)語(yǔ)篇中文字結(jié)合其他模態(tài)的意義創(chuàng)生機(jī)制研究。Kress&van Leeuwen首次詮釋了視覺(jué)語(yǔ)法,將語(yǔ)言、聲音、圖像等模態(tài)的語(yǔ)義潛勢(shì)定義為相互聯(lián)系的意義構(gòu)建性系統(tǒng),為該領(lǐng)域奠定了理論基礎(chǔ)[3]。胡壯麟則探究了多模態(tài)化和意義的多模態(tài)構(gòu)建的理論和實(shí)踐意義[4-5],代樹(shù)蘭對(duì)多模態(tài)話語(yǔ)研究的緣起與進(jìn)展進(jìn)行了探討[6]。目前國(guó)內(nèi)學(xué)界的探討多集中于平面媒體中圖片、顏色、文字等元素的多模態(tài)意義構(gòu)建機(jī)制,而對(duì)于數(shù)字化動(dòng)態(tài)多模態(tài)語(yǔ)篇的研究還不多見(jiàn)。

電視宣傳片是典型的動(dòng)態(tài)多模態(tài)語(yǔ)篇,圖像、音樂(lè)、文字等符號(hào)在持續(xù)性聯(lián)動(dòng)過(guò)程中進(jìn)行整合,構(gòu)建語(yǔ)篇的整體意義。2013年正值中國(guó)—東盟博覽會(huì)舉辦十周年,近年來(lái)這一國(guó)際盛事影響力的不斷提升,引發(fā)外界廣泛關(guān)注。本文基于Kress &van Leeuwen的視覺(jué)語(yǔ)法框架[7],以第十屆中國(guó)—東盟博覽會(huì)宣傳片為例,從多模態(tài)角度研究宣傳片中圖像、顏色和文字等符號(hào)的動(dòng)態(tài)互聯(lián)及意義創(chuàng)生功能,有利于更加全面深入地了解其語(yǔ)篇的整體意義構(gòu)建機(jī)制,對(duì)于提高其宣傳效果有一定的實(shí)踐指導(dǎo)意義。

一、多模態(tài)話語(yǔ)分析理論

多模態(tài)話語(yǔ)分析是指把單一對(duì)文字的研究延展至對(duì)文字、圖片、象征、手勢(shì)、動(dòng)作、音樂(lè)和聲音等多模態(tài)意義表達(dá)方式的研究[8]1。

多模態(tài)話語(yǔ)分析的理論出發(fā)點(diǎn)是系統(tǒng)功能語(yǔ)言學(xué)。多模態(tài)話語(yǔ)分析借助Halliday的系統(tǒng)功能語(yǔ)言學(xué),主張語(yǔ)言是社會(huì)符號(hào)(social semiotic),認(rèn)為文字以外的其他社會(huì)符號(hào)也是意義的源泉,并把文字作為社會(huì)符號(hào)所具有的三大元語(yǔ)言功能擴(kuò)展到文字之外其他社會(huì)符號(hào)(圖像、科學(xué)象征、手勢(shì)、動(dòng)作、音樂(lè)和聲音等)。由于多模態(tài)話語(yǔ)分析深受系統(tǒng)功能語(yǔ)言學(xué)和社會(huì)符號(hào)學(xué)的影響,因此,其也可以稱之為系統(tǒng)功能符號(hào)學(xué)(systemic-functional semiotics)[1]。

Kress&van Leeuwen的視覺(jué)語(yǔ)法理論框架是本文研究的理論基礎(chǔ)。在《圖像解讀:視覺(jué)語(yǔ)法》一書中,Kress&van Leeuwen提出視覺(jué)語(yǔ)法能夠?qū)Φ攸c(diǎn)、事件和動(dòng)作發(fā)出者進(jìn)行組織,正如語(yǔ)法整合詞語(yǔ)句子。視覺(jué)語(yǔ)法把Halliday的三大元語(yǔ)言功能即概念意義、人際意義和語(yǔ)篇意義延伸至除文字之外的其他符號(hào),在視覺(jué)模態(tài)分析中這三大功能則被解釋為再現(xiàn)、互動(dòng)和構(gòu)圖功能[7]。再現(xiàn)、互動(dòng)、構(gòu)圖是視覺(jué)語(yǔ)法的重要內(nèi)容。

圖像的再現(xiàn)意義也就是概念意義,基于系統(tǒng)功能語(yǔ)法Kress&van Leeuwen把圖像的再現(xiàn)意義分為兩大類:敘事性再現(xiàn)和概念性再現(xiàn)[7]59。圖像的人際功能體現(xiàn)為一種互動(dòng),指的是圖片的設(shè)計(jì)者、圖像本身(包括人物、物體和背景)和讀者之間的關(guān)系。Kress&van Leeuwen指出,圖像的互動(dòng)意義通過(guò)相互交流來(lái)實(shí)現(xiàn)[7]59。圖像的構(gòu)圖意義則是圖像的各個(gè)組成部分按照一定的順序組合起來(lái)構(gòu)成有意義的整體。信息值、顯著性和取景是圖像構(gòu)圖意義的三要素。Kress&van Leeuwen指出,元素所處的位置不同體現(xiàn)意義也不同[7]168。

二、案例分析:以第十屆中國(guó)—東盟博覽會(huì)宣傳片為例

本文選取的第十屆中國(guó)—東盟博覽會(huì)宣傳片(下文圖1至圖7)來(lái)自優(yōu)酷網(wǎng),它包含文字、圖片、聲音、顏色、動(dòng)漫等多模態(tài)意義表現(xiàn)形式,是很有代表性的多模態(tài)語(yǔ)篇。本研究側(cè)重于視覺(jué)模態(tài)的探討,從再現(xiàn)意義、互動(dòng)意義、構(gòu)圖意義對(duì)宣傳片中圖片、顏色、文字的多模態(tài)意義構(gòu)建機(jī)制進(jìn)行研究。

(一)第十屆中國(guó)—東盟博覽會(huì)宣傳片的再現(xiàn)意義

根據(jù)圖片的不同特征,Kress&van Leenwen把再現(xiàn)意義分成敘事再現(xiàn)和概念再現(xiàn)兩大類。敘事再現(xiàn)的特征是有向量的存在,而概念再現(xiàn)則沒(méi)有向量。在圖像中向量是指元素構(gòu)成的斜線,通常是強(qiáng)烈的對(duì)角線[7]59。圖1-4都不存在向量,屬于概念再現(xiàn)。概念圖像呈現(xiàn)的是概括的、穩(wěn)定的和沒(méi)有時(shí)間限制的精華[7]59。

圖1 河水相聚

圖1的背景是南寧市地標(biāo)性的建筑——南寧國(guó)際會(huì)展中心,其屋頂掛著一些國(guó)家的國(guó)旗,告知觀眾中國(guó)-東盟博覽會(huì)的成員國(guó)是:中國(guó)、越南、老撾、泰國(guó)、柬埔寨、緬甸、印度尼西亞、菲律賓、文萊、馬來(lái)西亞、新加坡。圖中,取自博覽會(huì)成員國(guó)母親河的河水匯聚在一起,設(shè)計(jì)者以南寧國(guó)際會(huì)展中心,東盟博覽會(huì)的永久舉辦地為背景,突出河水相聚的場(chǎng)景,呈現(xiàn)出圖像的概念意義:相聚。中國(guó)和東盟十國(guó)的人民匯聚在中國(guó)廣西南寧,齊心協(xié)力把中國(guó)—東盟博覽會(huì)辦成一個(gè)繁榮的國(guó)際盛會(huì)。

圖2 中國(guó)-東盟博覽會(huì)會(huì)徽

圖3 相聚到永遠(yuǎn)

設(shè)計(jì)者在宣傳片中還選取了中國(guó)—東盟博覽會(huì)的會(huì)徽(如圖2所示),再一次陳述了圖像的概念意義:相聚。中國(guó)和東盟十國(guó)將相聚到永久。11條彩帶分別代表著美麗的中國(guó)和旖旎的東盟十國(guó),他們齊聚于南寧,通過(guò)密切的合作和廣泛的交流,實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)、共同發(fā)展的美好愿望。

此外,緊緊束在一起的彩帶猶如一枝有綠葉相伴的鮮花。上半部分是盛開(kāi)的花朵,其形狀宛如南寧市市花:朱槿花。下方是綠色的,宛如朱槿花的枝葉,其形狀又像南寧國(guó)際會(huì)展中心屋頂?shù)目s影,而綠色恰好與綠城南寧相呼應(yīng),傳達(dá)出朝氣蓬勃的氣息。色彩艷麗的花瓣,輔之以醒目的文字CAEXPO和晴朗的天空,傳達(dá)給世人的概念意義是中國(guó)—東盟博覽會(huì)是一個(gè)在中國(guó)南寧舉辦的有美好未來(lái)、充滿希望、不斷繁榮的國(guó)際盛事。

圖3是“盛聚”的完美詮釋,設(shè)計(jì)者選取中國(guó)的國(guó)粹書法而不是單調(diào)的文字,并采用艷麗的顏色來(lái)書寫“相聚到永久”這幾個(gè)大字,非常有審美效果,引人注目,輔之以英文對(duì)照,讓中外觀眾一目了然。

圖4 雙邊貿(mào)易成就

圖4由4張相似的圖片組成,黃色的字體在蔚藍(lán)天空的映襯下吸引著讀者的眼球。第一張圖片傳達(dá)的意義是中國(guó)和東盟的雙邊貿(mào)易額年增長(zhǎng)率達(dá)20%以上,隨后的幾張圖片列出其中一些年份的雙邊貿(mào)易額:2004年1000億美元,2007年2000億美元,2012年4000億美元。這些數(shù)據(jù)足以說(shuō)明雙邊貿(mào)易額年增長(zhǎng)率高達(dá)20%的真實(shí)性。設(shè)計(jì)者以晴空萬(wàn)里下的南寧地標(biāo)性建筑——南寧國(guó)際會(huì)展中心的朱槿花廳作為背景,表明這些成就都得益于中國(guó)—東盟博覽會(huì)的舉辦。通過(guò)整合圖片的多模態(tài)符號(hào),可以得出他們所傳達(dá)的概念意義是中國(guó)—東盟博覽會(huì)作為發(fā)展的加速器,將把中國(guó)和東盟國(guó)家之間的貿(mào)易合作推向一個(gè)更大的平臺(tái)。

(二)第十屆中國(guó)—東盟博覽會(huì)宣傳片的互動(dòng)意義

互動(dòng)意義指的是設(shè)計(jì)者、物體(包括人、事物和背景)和讀者之間的相互交流,具體通過(guò)接觸、社會(huì)距離和態(tài)度來(lái)體現(xiàn)。

1.接觸。圖2中的11條彩帶像無(wú)數(shù)雙揮舞的手臂,成千上萬(wàn)的廣西人民團(tuán)結(jié)一心,積極參與到中國(guó)—東盟博覽會(huì)中來(lái)。他們揮舞著雙手,讀者能夠感受到他們熱忱的歡迎,這個(gè)過(guò)程就是接觸交流的過(guò)程。而這種接觸所傳遞的圖像行為是一種索求,索求的是讀者投身于博覽會(huì)的熱情與切實(shí)行動(dòng)。

圖5 投資合作

圖5也是一個(gè)接觸交流的過(guò)程,不斷向上升的箭頭映入眼簾,明確表示出中國(guó)東—盟博覽會(huì)所帶來(lái)的投資合作火速發(fā)展,給世人提供了大量的機(jī)遇。箭頭不斷地變大,表明機(jī)遇越來(lái)越多,我們可以把這一接觸交流的過(guò)程看作是一種提供,提供的是機(jī)遇和機(jī)會(huì)。設(shè)計(jì)者達(dá)到了吸引人們參與東盟博覽會(huì)的目的。

2.社會(huì)距離。由于相機(jī)有近焦距和遠(yuǎn)焦距,我們能夠得到近距離的圖片(即近景),也能夠獲取遠(yuǎn)距離的圖片(即遠(yuǎn)景)。所以,在視覺(jué)分析中,我們可以把社會(huì)距離劃分為近景和遠(yuǎn)景。遠(yuǎn)的社會(huì)距離帶給人們一個(gè)廣闊的視野,預(yù)示著廣闊的平臺(tái)。圖6是南寧美麗景色的遠(yuǎn)景,更確切地說(shuō)是南寧著名的南湖公園的景色。一條彩虹高掛空中,其七彩的顏色正表現(xiàn)了文字的內(nèi)容:多領(lǐng)域的合作。中英文,加上彩虹和廣闊的土地傳遞出的信息是中國(guó)-東盟博覽會(huì)是一個(gè)支持各領(lǐng)域合作的巨大平臺(tái)。

圖6 多領(lǐng)域合作

3.態(tài)度。態(tài)度,也可以理解為情態(tài),指的是圖像表達(dá)手段的使用程度,如顏色、色彩飽和度、細(xì)節(jié),等等。態(tài)度有三種,分別為高飽和度色彩的高情態(tài)、不太飽和色彩的中情態(tài)與單純的黑白色的低情態(tài)。

2013年中國(guó)—東盟博覽會(huì)宣傳片是一個(gè)高情態(tài)的多模態(tài)語(yǔ)篇,其中使用的顏色都是艷麗顯眼的,絕大部分圖片都采用藍(lán)天作為背景。高飽和度的色彩正是中國(guó)—東盟博覽會(huì)現(xiàn)狀的最好詮釋:具有美好未來(lái)的國(guó)際盛會(huì)。

(三)第十屆中國(guó)—東盟博覽會(huì)宣傳片的構(gòu)圖意義

信息值、顯著性和取景是圖像構(gòu)圖意義的三個(gè)組成部分。

圖7 文化交流

1.信息值。根據(jù)Kress&van Leeuwen的研究,信息值的分布有三種形式:左右、上下、中間與邊緣[7]177。通過(guò)分析我們可以知道,圖7屬于中間與邊緣的分布方式。處于中間部位的信息是具有決定意義的核心信息,其他處于邊緣地方的信息則是輔助信息[7]194。

圖7是百花齊放的景象,顏色各異的花,如同東盟多樣的文化,從遠(yuǎn)處不斷地飄進(jìn)屏幕中央,呈現(xiàn)出核心信息:文化的相聚與融合。處于邊緣的是文化交流(Cultural Exchange)和南寧國(guó)際會(huì)展中心,這些輔助信息交代了相聚的目的和相聚的地點(diǎn)。整幅圖片所傳達(dá)的信息是中國(guó)和東盟十國(guó)各地區(qū)的文化齊聚于中國(guó)南寧。

2.顯著性。顯著性是由大小、強(qiáng)調(diào)和色調(diào)對(duì)比度這些因素的復(fù)雜關(guān)系顯現(xiàn)的[7]177。

顯著性跟信息值有著密切的聯(lián)系。圖7中的花占據(jù)圖片的大半部分,對(duì)比其他地方的色調(diào),這些花更加顯眼,也就說(shuō)明這部分的信息值和顯著性最高,得以強(qiáng)調(diào)。如上所述,顏色各異的花,如同東盟多樣的文化,從遠(yuǎn)處不斷地匯聚屏幕中央,其顯著性不言而喻。而處于邊緣的信息文化交流(Cultural Exchanges)和南寧國(guó)際會(huì)展中心道出了匯聚的目的和地點(diǎn),同樣是顯著的內(nèi)容,但就顏色跟所處的位置而言,其顯著性明顯低于匯聚于屏幕中央的花朵,所以花是圖7中的顯著內(nèi)容。

3.取景。取景中的各個(gè)元素之間的關(guān)系有些情況下是相互分離、互不聯(lián)系的,但絕大部分是緊密聯(lián)系在一起的[7]177。

圖7中,背景、中央和邊緣構(gòu)成一個(gè)統(tǒng)一的整體,緊密地聯(lián)系在一起。圖片中,在蔚藍(lán)的天空下許多鮮花齊聚于南寧國(guó)際會(huì)展中心,加上位于邊緣的文字說(shuō)明,構(gòu)成一幅和諧而完整的畫面。不同種類色彩各異的花朵正如中國(guó)和東盟各國(guó)多元的文化,它們齊聚于南寧國(guó)際會(huì)展中心也就意味著中國(guó)—東盟博覽會(huì)是文化交流的巨大平臺(tái)。

第十屆中國(guó)—東盟博覽會(huì)的宣傳片是結(jié)合了各種多模態(tài)社會(huì)符號(hào)(如文字、圖片、聲音、顏色和動(dòng)漫)的多模態(tài)語(yǔ)篇,這些社會(huì)符號(hào)對(duì)宣傳片的意義構(gòu)建起到重要的作用,整合這些符號(hào)所傳達(dá)的意義要遠(yuǎn)遠(yuǎn)超出單純的文字符號(hào)所傳達(dá)的意義。多模態(tài)話語(yǔ)分析是一門新興的研究學(xué)科,其理論和研究方法都有待完善和改進(jìn)。隨著科學(xué)技術(shù)的進(jìn)步,我們應(yīng)該堅(jiān)信人們對(duì)多模態(tài)話語(yǔ)的認(rèn)識(shí)會(huì)不斷地完善。

[1]朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J].外語(yǔ)學(xué)刊,2007(5):82-86.

[2]O’Toole,M.The language of displayed Art[M].London:Leicester University Press,1994:8-20.

[3]Kress G,van Leeuwen T.Reading images:The grammar of visual design[M].London:Routledge,1996.

[4]胡壯麟,董佳.意義的多模態(tài)構(gòu)建[J].外語(yǔ)電化教學(xué), 2007(6):3-12.

[5]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語(yǔ)言教學(xué)與研究,2007(1):1-10.

[6]代樹(shù)蘭.多模態(tài)話語(yǔ)研究的緣起與進(jìn)展[J].外語(yǔ)學(xué)刊, 2013(2):17-23.

[7]Kress G,van Leeuwen T.Reading images:The grammar of visual design[M].2nd ed.London:Routledge,2006.

[8]O’Halloran K L.Multimodal discourse analysis[M]. London and New York:Continuum,2011:1.

Analysis of multi-modality and meaning construction mechanism: A case study of the 10th CAEXPO publicity

ZHENG Xiaohui
(Foreign Languages College,Guangxi University,Nanning 530004,China)

Multimodal discourse analysis,expanding its research domain to multimodal interactive discourses featured by dynamicity,is proved to be exhaustive in the interpretation of multimodal discourse.This paper,with the 10th China ASEAN EXPO Publicity as a typical case,aims to explore the meaning construction mechanism of multimodal interactive discourses from the perspectives of representation meaning,interaction meaning,and composition meaning.

multimodal discourse analysis;meaning construction mechanism;publicity

H0

:A

:1671-9476(2015)01-0064-04

10.13450/j.cnkij.zknu.2015.01.017

2014-11-21;

2014-12-10

鄭小惠(1990-),女,廣西桂林人,碩士研究生,主要從事認(rèn)知語(yǔ)言學(xué)研究。