多模態(tài)語篇理論在大眾傳媒中的應(yīng)用

馬 霞

（北京航空航天大學(xué)，北京 100191）

引 言

隨著多媒體技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，人類交際活動(dòng)中出現(xiàn)多種符號(hào)，話語已不僅僅以文本模式體現(xiàn)，而且以圖像、動(dòng)畫、聲音、圖表、顏色、編排等多模態(tài)同時(shí)出現(xiàn)。近年來,國內(nèi)外學(xué)者對(duì)多模態(tài)話語分析開始了廣泛的探索?？巳鹚购屠瘴脑凇秷D像閱讀》一書中,根據(jù)韓禮德的系統(tǒng)功能語法中的三大純理功能,提出了第一個(gè)系統(tǒng)全面的視覺語法分析框架,從構(gòu)圖視角、色調(diào)、圖片架構(gòu)等多方面討論圖像的意義表達(dá)方式。由于目前多模態(tài)話語分析深受系統(tǒng)功能語言學(xué)和符號(hào)學(xué)的影響,朱永生（2007）提出將這方面的研究稱之為“系統(tǒng)功能符號(hào)學(xué)”。廣告作為一種語篇體裁，一個(gè)最顯著的特征就是多種符號(hào)模態(tài)——語言、圖像、音樂的混合使用。傳統(tǒng)的廣告語篇分析注重分析廣告語言符號(hào)系統(tǒng)和語義結(jié)構(gòu)本身，如詞匯、語法、文體、修辭特點(diǎn)和語言的社會(huì)功能，忽視了對(duì)其他符號(hào)系統(tǒng)，如圖像、聲音、顏色、動(dòng)漫等的探究。對(duì)此，本文以“蒂花之秀”洗發(fā)水廣告為例，運(yùn)用多模態(tài)語篇的社會(huì)符號(hào)學(xué)分析方法，從語言、圖像、聲音方面對(duì)其進(jìn)行解讀，以說明廣告語篇分析的多維性。

1.多模態(tài)語篇分析的理論基礎(chǔ)

1.1 多模態(tài)語篇及多模態(tài)語篇分析

語篇的多模態(tài)觀（multimodal perspective）指的是各種符號(hào)資源（如有聲語言、形象、聲音、設(shè)計(jì)、動(dòng)作等）共同參與我們?nèi)粘５娜穗H交往活動(dòng)。在這種語境下，模態(tài)可以定義為參與交際的所有渠道和媒介，除了傳統(tǒng)的語言符號(hào)，它還包括圖像、顏色、音樂、技術(shù)等符號(hào)系統(tǒng)。這些模態(tài)的選擇和使用可以形成一種合力，共同引導(dǎo)讀者理解語篇和語境意義。

多模態(tài)語篇分析方法興起于20世紀(jì)90年代，以克瑞斯和凡利文（Kress&van Leeuwen）為代表。多模態(tài)語篇分析方法以系統(tǒng)功能語言學(xué)理論為基礎(chǔ)，嘗試把系統(tǒng)功能語言學(xué)對(duì)于語言研究的方法應(yīng)用到其他的一些符號(hào)資源（如面部表情、手勢(shì)、圖像、音樂等）的研究上。多模態(tài)語篇分析是對(duì)一個(gè)語篇或交際事件（如一則雜志廣告的文本和形象，或者一部電影的影像、音樂和有聲文獻(xiàn)等）的幾個(gè)或所有不同符號(hào)模態(tài)的分析。多模態(tài)分析的目的在于把由這些不同交流模態(tài)所體現(xiàn)的再現(xiàn)意義、互動(dòng)意義和構(gòu)成意義融合起來考慮，分析它們是怎樣共同協(xié)作，創(chuàng)造出一個(gè)完整的語篇或交際事件。

1.2 多模態(tài)語篇分析的功能語言學(xué)基礎(chǔ)

多模態(tài)話語分析從系統(tǒng)功能語言學(xué)那里接受了語言是社會(huì)符號(hào) （social semiotic）和意義潛勢(shì)（meaning potential）的觀點(diǎn)，認(rèn)為語言以外的其他符號(hào)系統(tǒng)也是意義的源泉；系統(tǒng)功能語言學(xué)對(duì)于語言研究的方法同樣也可以應(yīng)用到其他符號(hào)資源（圖像，音樂，手勢(shì)）的解讀，其他符號(hào)資源同樣也具有語言的系統(tǒng)性和功能性。在多模態(tài)語篇分析方法中，Kress&van Leeuwen的研究最為突出和具有代表性。在將圖像也看作社會(huì)符號(hào)的前提下，他們將Halliday功能語言學(xué)中的純理功能思想延伸到視覺模式，創(chuàng)建了以“再現(xiàn)意義”、“互動(dòng)意義”和“構(gòu)成意義”為核心內(nèi)容的分析圖像的視覺語法（the grammar of visual design）。其中再現(xiàn)功能（representational metafunction）對(duì)應(yīng)于概念功能，包括敘事的再現(xiàn) （narrative representations）和概念的再現(xiàn)（conceptual representations）；互動(dòng)功能（interactive metafunction）對(duì)應(yīng)于人際功能，涉及接觸、社會(huì)關(guān)系、態(tài)度三要素和情態(tài)（modality）；構(gòu)成功能（compositional metafunction）則相當(dāng)于語篇功能。由此，系統(tǒng)功能語言學(xué)的理論開始被運(yùn)用到除了各種語言語篇以外的符號(hào)資源，如對(duì)視覺圖像、聲音、印刷體式、建筑設(shè)計(jì)、身體動(dòng)作、電子媒體和電影等多模態(tài)交際手段的研究。

2.案例分析：對(duì)一則“蒂花之秀”廣告的多模態(tài)解讀

2.1 語言符號(hào)系統(tǒng)分析

首先，標(biāo)題“蒂花之秀，青春好朋友”就吸引了那些渴望頭發(fā)變得柔順亮澤的女士們的眼球。愛美之心，人皆有之。這無可厚非，聰明的廣告商抓住消費(fèi)者愛美的心理，運(yùn)用一些夸張的詞語煽動(dòng)消費(fèi)者購買商品，這是純理功能中的概念功能。其次，“尤其是頭發(fā)，我是不能忍受一點(diǎn)點(diǎn)的頭屑的”以聊天的形式引起消費(fèi)者注意，然后又說：“蒂花之秀特效去屑洗發(fā)露。”此處與消費(fèi)者之間產(chǎn)生對(duì)話，告知解決方案，激發(fā)消費(fèi)者購買欲，這是人際意義。然后緊接著解釋：“去除頭屑，保持柔潤”、“去屑升級(jí)，無懈可擊”，進(jìn)一步闡釋本洗發(fā)露的效果，如此銜接，達(dá)到了語篇連貫功能。

2.2 圖像符號(hào)系統(tǒng)分析

Kress&van Leeuwen（1996）從社會(huì)符號(hào)學(xué)的角度解讀圖像的再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義，闡釋了圖像中的人物、地點(diǎn)、情景如何與語言互動(dòng)構(gòu)建語篇，傳遞意義。

2.2.1 再現(xiàn)意義（representational）

Kress&van Leeuwen（1996）根據(jù)圖像的特點(diǎn)，把再現(xiàn)意義區(qū)分為敘事的再現(xiàn)（narrative representations）和概念的再現(xiàn)（conceptual representations）。敘事圖像相當(dāng)于一個(gè)命題，敘事的再現(xiàn)意義又包括行動(dòng)過程、反應(yīng)過程及言語和心理過程。概念的再現(xiàn)意義包括關(guān)系過程和存在過程。而將敘事再現(xiàn)與概念再現(xiàn)區(qū)分開的唯一要素則是判斷圖像中有無矢量的產(chǎn)生。電視廣告要吸引觀眾，引起觀眾對(duì)產(chǎn)品的觀看欲望，實(shí)現(xiàn)對(duì)產(chǎn)品的消費(fèi)這些最終目的，需通過主題鮮明突出、造型簡潔明快、色彩艷麗、對(duì)比強(qiáng)烈等藝術(shù)形式的視覺語言沖擊，才能達(dá)到效果。在圖像中，一位滿頭飄逸黑發(fā)的當(dāng)紅女星劉若英在圖像中很顯著，首先映入眼簾的是她美麗的秀發(fā)，柔順亮澤，給觀眾帶來強(qiáng)烈的視覺沖擊，激起觀眾對(duì)她頭發(fā)的羨慕。然后，圖像中隨即以水平箭頭方向出現(xiàn)一支色彩鮮艷精致的“蒂花之秀”，其出現(xiàn)與美女的反應(yīng)形成了矢量（vector），告訴觀眾秀發(fā)保養(yǎng)好的秘訣就在于此。在圖像中，矢量是代表過程與方向的力量，圖像中的參與者被矢量這條無形的線條相連，觀看者則可通過圖像中的矢量關(guān)系判斷參與者之間的互動(dòng)關(guān)系。矢量是敘事圖像的標(biāo)志。在敘事再現(xiàn)的行動(dòng)過程中，動(dòng)作者即為發(fā)出矢量的參與者。在圖像中，參與者通常處在最突出的位置。此廣告中，明星劉若英置于最突出的位置，通過使用洗發(fā)露使頭發(fā)顯得年輕潤澤，這個(gè)矢量關(guān)系構(gòu)成了敘事再現(xiàn)中的行動(dòng)過程（action process），美女是參與者（actor），而洗發(fā)露就是行為的對(duì)象（goal），廣告商的目的就在于推銷這種產(chǎn)品。

2.2.2 互動(dòng)意義（Interactive）

互動(dòng)意義是關(guān)于圖像的制作者、圖像中的事物和圖像的觀看者之間的關(guān)系，以及觀看者對(duì)圖像中的事物所持有的態(tài)度。圖像通過接觸、社會(huì)距離、態(tài)度和情態(tài)四個(gè)要素來實(shí)現(xiàn)互動(dòng)意義。Kress&Leeuwen（1996/2006:117）指出，圖像在傳達(dá)意義時(shí)都有一個(gè)圖像行為 （image act），這種圖像行為是由表征參與者的凝視系統(tǒng)（system of gaze）實(shí)現(xiàn)的，這種凝視表達(dá)分為兩種：（i）索求（demand），（ii） 提供（offer）。如果圖像的參與者與觀看者有直接的目光接觸，則表明圖像中的參與者向觀看者有所“索求”，如信息、意見、評(píng)論、看法等，要求觀看者深度介入并參與到圖像表述的事件與活動(dòng)中來。反之，如果圖像的參與者與觀看者沒有直接的目光接觸，則認(rèn)定他們之間不存在想象中的人際關(guān)系，是“提供”類圖像。整個(gè)廣告中，劉若英面帶自信的笑容，直視觀眾，與觀眾形成一種平等的交流，讓觀眾倍感親切，這是“索求”類圖像，呼吁觀眾購買歐萊雅新生活力抗皺緊膚霜試試效果。與語言中的情態(tài)不同，圖像分析中的情態(tài)指的是“某種圖畫表達(dá)手段（色彩、再現(xiàn)的細(xì)節(jié)、深度、色調(diào)等）使用的程度”（Norris 2004:256）。情態(tài)以感官的編碼傾向?yàn)槌霭l(fā)點(diǎn)，基于色彩的飽和程度。與功能語法一樣，情態(tài)可分成高、中、低三類。情態(tài)的標(biāo)志有色彩飽和度、色彩區(qū)分度和色彩調(diào)諧度（Kress&van Leeuwen 2003）。按照Kress&van Leeuwen對(duì)情態(tài)量值高低的分類標(biāo)準(zhǔn)，本文所討論的“蒂花之秀”廣告屬于高感官情態(tài)，這可從情態(tài)的幾大視覺標(biāo)記看出。首先，從色彩飽和度來看，該圖像使用了高飽和度的色彩：在大紅的背景下，明星劉若英身穿一襲大紅衣服出現(xiàn)在畫面上，洗發(fā)露也是用淡紅色外殼包裝，表現(xiàn)出一種愉悅的情感意義，因而其具有高情態(tài)。其次，從色彩區(qū)分度來看，該圖像的色彩區(qū)分度非常大，大紅明亮的背景和烏黑的秀發(fā)形成鮮明對(duì)比，給讀者帶來強(qiáng)烈的視覺沖擊力，達(dá)到了最佳效果。同時(shí)，圖像中的文字部分也是位于大紅的背景之上，白色的文字和黑色的頭發(fā)突出對(duì)比，同樣起到了最佳視覺效果，也充分體現(xiàn)了護(hù)膚品廣告的宣傳主旨。再次，從色彩調(diào)諧度來看，圖像中各種顏色的搭配非常協(xié)調(diào)，深淺有致。此外，色彩的搭配也蘊(yùn)含著文化意義，如紅色表示熱情，給人以積極向上的情感反應(yīng)。黑色亮麗的秀發(fā)給人以健康青春的氣息。

2.2.3 構(gòu)圖意義（compositional）

構(gòu)圖意義有三種資源：信息值（information valuation）、取景（framing）和顯著性（salience）。信息值通過圖像中人、事物放置的位置實(shí)現(xiàn)。圖像中的任何成分在圖像中的位置，是上、下，左、右，中心、邊緣等，都具有不同的信息值。Kress&Leeuwen（1996/2006）認(rèn)為，圖像上方的元素是“理想的”，具有理想化、概括性的實(shí)質(zhì)；下面是“現(xiàn)實(shí)的”，帶有特定的信息，如細(xì)節(jié)等，更具實(shí)際意義；左邊是“已知的”，右邊是“新的”，如同在功能語法中，已知信息是常識(shí)性的、顯而易見的，而新信息則是有問題的、可爭議的。處于中心位置的是重量的平衡點(diǎn)，在此視覺成分獲得權(quán)勢(shì)，幫助中心區(qū)以外的物體團(tuán)結(jié)在一起并穩(wěn)定下來。顯著性指的是元素吸引觀看者注意力的不同程度，可通過被放置在前景或背景、色調(diào)值的對(duì)比（或色彩）、相對(duì)尺寸、鮮明度的不同來實(shí)現(xiàn)。顯著性通過圖像中線條的粗淺、顏色的濃淡等實(shí)現(xiàn)。線條粗的、顏色濃的，顯著度高；反之則顯著度低。取景指通過造成分割線條、或?qū)嶋H分割框架的線條，割斷或連接圖像中的元素。通過有無這種取景手段，在某種意義上可表示它們是所屬還是非所屬關(guān)系。在圖像中，劉若英的秀發(fā)一直處于中間位置，向觀眾呈現(xiàn)出年輕、時(shí)尚、性感的形象。然后，“蒂花之秀”洗發(fā)露在右邊出現(xiàn)，告訴觀眾一種新產(chǎn)品的誕生。再次，對(duì)劉若英烏黑亮澤的秀發(fā)進(jìn)行特寫，占據(jù)整個(gè)畫面，十分顯著，表現(xiàn)出“蒂花之秀”洗發(fā)產(chǎn)品對(duì)塑造完美秀發(fā)的無敵效果。最后，在圖像最上方標(biāo)注“蒂花之秀，青春好朋友”，說明“蒂花之秀”就是觀眾理想的護(hù)發(fā)產(chǎn)品。標(biāo)題“去屑升級(jí)，無懈可擊”全部用大字體，且特別用紅底襯托，顯著性高，圖像下方居中位置出現(xiàn)“添加草本植物精華”，是現(xiàn)實(shí)具體的信息，廣告商巧妙地使用圖像和產(chǎn)品名字構(gòu)成一個(gè)整體多模態(tài)語篇，達(dá)到更佳的電視廣告宣傳效果。

3.結(jié)束語

電視廣告作為大眾熟悉的廣告宣傳模式，具有親切、生動(dòng)、傳神的特點(diǎn)。我們生活在一個(gè)多模態(tài)的社會(huì)，社會(huì)互動(dòng)是多模態(tài)的，多模態(tài)無處不在(Norris 2004）。本文介紹了多模態(tài)相關(guān)理論和Kress&van Leeuwen的視覺語法框架，并以“蒂花之秀”洗發(fā)露電視廣告為例，對(duì)廣告語篇的再現(xiàn)、互動(dòng)、構(gòu)圖三大意義的構(gòu)建進(jìn)行多模態(tài)分析發(fā)現(xiàn)圖與文，物與人，位置、色調(diào)與信息都是廣告的有機(jī)組成部分，共同構(gòu)建意義，吸引觀眾的興趣，從而達(dá)到最佳宣傳效果。

Kress，G.&Leeuwen，Theo Van (2003).Multi-modal Discourse： The Modes and Media of Contemporary Communication[M].London：Arnold.

Norris.S.(2004).Analyzing Multimodal Interaction：A Methodological Framework[M].London：Routledge.

李戰(zhàn)子（2003）.多模式話語的社會(huì)符號(hào)學(xué)分析 [J].外語研究（5）。

朱永生（2007）.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊（5）。