多模態(tài)話語觀照下的視覺語法與視覺敘事——以一則敘事型廣告為例

劉　純

（中南民族大學(xué) 外語學(xué)院，湖北 武漢 430074）

?

多模態(tài)話語觀照下的視覺語法與視覺敘事——以一則敘事型廣告為例

劉純

（中南民族大學(xué) 外語學(xué)院，湖北 武漢 430074）

摘 要：視覺語法理論被廣泛認(rèn)為是多模態(tài)話語分析的主流理論框架。文章首先以一則敘事型廣告為語料， 在視覺語法框架下對(duì)其進(jìn)行多模態(tài)話語分析，其分析結(jié)果直觀地反映該理論中所存在的一些問題；然后引入視覺敘事理論，并在該理論框架下對(duì)同一語料進(jìn)行第二次分析；最后通過兩次分析結(jié)果的對(duì)比，闡明視覺敘事理論的相對(duì)優(yōu)勢(shì)，并歸納出相應(yīng)結(jié)論。

關(guān)鍵詞：多模態(tài)；話語；視覺敘事；視覺語法

多模態(tài)話語分析產(chǎn)生于上世紀(jì)90年代，隨科技進(jìn)步而得以長足發(fā)展：O’Toole（1994）對(duì)三維建筑物進(jìn)行過多模態(tài)分析；Kress和van Leeuwen（1996）將Halliday功能語法三大元功能延伸至視覺交際模態(tài)中，構(gòu)建了視覺語法；van Leeuwen和Jewitt（2001）將多模態(tài)話語分析延伸到人類學(xué)、心理治療、民族志及影視作品等領(lǐng)域[1]。

國內(nèi)多模態(tài)話語研究處于起步階段，李戰(zhàn)子（2003）、胡壯麟（2007）、朱永生（2007）、張德祿（2009）、馮德正（2011）等在構(gòu)建理論框架方面卓有貢獻(xiàn)，此外諸多研究者在各類語料分析方面也頗有建樹。

縱觀多模態(tài)話語分析領(lǐng)域，主流理論框架為Kress 和 van Leeuwen（1996）的視覺語法理論，其應(yīng)用性研究不勝枚舉，但對(duì)其局限性的研究較為鮮見。本文首先在視覺語法理論框架下分析一則2015年戛納廣告節(jié)的平面金獎(jiǎng)作品[2]，直觀地反映該理論在實(shí)際語料分析方面的一些問題；然后引入視覺敘事理論，在該理論框架下對(duì)同一作品進(jìn)行二次分析，根據(jù)分析結(jié)果對(duì)比，闡述其相對(duì)優(yōu)勢(shì)性；最后歸納得出結(jié)論。

一、本文所選語料

（一）多模態(tài)話語范疇中的廣告類型

談及廣告類型的劃分，黃國文（1997）曾從語篇分析角度，依據(jù)廣告文本的體裁與風(fēng)格，將廣告分為敘事型、證言型、描述型和對(duì)話型。隨著對(duì)視覺圖像的日益關(guān)注，美國藝術(shù)史家Mark D. Fullerton（2004）曾在Greece Art一書中將視覺圖像分為敘事型和象征型。綜合廣告文本和圖像的分類，可將現(xiàn)代平面廣告在多模態(tài)話語范疇中劃分如表1。若圖像或文本是敘事型，即為敘事型廣告，因此8種廣告類型中5種為敘事型，3種為非敘事型，可見敘事型廣告所占比例較高。無論是廣告手段還是目的，廣告商還是受眾，廣告效果還是藝術(shù)價(jià)值，敘事型廣告的接受度較高。從平面媒體、電視媒體到新銳媒體，敘事型廣告都是主流類型。

（二）語料介紹

本文以2015年戛納廣告節(jié)平面類金獎(jiǎng)作品——法國莫城戰(zhàn)爭博物館廣告為語料，包括三幅連續(xù)圖像；其中圖像元素為一戰(zhàn)中首次使用的重機(jī)槍、手榴彈和大口徑巨炮彈；文字部分呈縱向詩行排列。依據(jù)上述廣告類型劃分標(biāo)準(zhǔn)，該廣告屬于敘事型廣告。

表1　多模態(tài)話語范疇中的敘事型廣告

圖1　重機(jī)槍

圖2　手榴彈 　

圖3　大口徑巨炮彈

二、視覺語法框架下的語料分析

（一）視覺語法理論

Kress和van Leeuwen（1996）在Reading Images: The Grammar of Visual Design中首次提到視覺語法，并仿效功能語法語言三大元功能提出再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義（見表2）：

表2　系統(tǒng)功能語法與視覺語法的理論框架對(duì)照

（二）語料分析

在視覺語法框架下對(duì)本文所選廣告的多模態(tài)話語分析見表3。

表3　基于視覺語法框架的語料分析

再現(xiàn)意義方面，“重機(jī)槍”、“手榴彈”和“大口徑巨炮彈”三種武器屬于概念意義，象征第一次世界大戰(zhàn)的存在性及災(zāi)難性。

互動(dòng)意義方面，以近鏡頭客觀提供三種武器的信息；以低情態(tài)畫面客觀低調(diào)地再現(xiàn)第一次世界大戰(zhàn)；以正面直觀平視的視角，拉近與觀看者的距離，使其以平等心態(tài)融入到陰郁濃重的色彩所營造的戰(zhàn)爭環(huán)境當(dāng)中，從而達(dá)到互動(dòng)目的。

構(gòu)圖意義方面，圖文無分割，是個(gè)整體；武器在圖像中心，尺寸較大，或偏左，或偏上，因此是主導(dǎo)信息，已知信息，強(qiáng)勢(shì)地傳遞戰(zhàn)爭信息；文字在圖像邊緣，尺寸較小，或偏右，或偏下，為輔助信息，新信息，負(fù)責(zé)詮釋，使觀看者接受圖像信息后，再由文字引發(fā)共鳴。

三、語料分析所反映的問題

根據(jù)上文語料分析不難發(fā)現(xiàn)：

（1）再現(xiàn)意義方面，視覺語法解讀了三種武器各自蘊(yùn)含的信息，但本廣告作為一個(gè)整體旨在傳達(dá)更復(fù)雜的內(nèi)涵與情感，絕非三幅圖像含義的簡單疊加或羅列，對(duì)此該理論框架無法深入挖掘。

（2）互動(dòng)意義方面，視覺語法認(rèn)為本廣告圖像在“提供”信息，因?yàn)槲淦髋c觀看者沒有視線接觸。其實(shí)本廣告并非一味“提供”信息，而旨在 “索取”觀看者的心理共鳴與情感認(rèn)同等，在此“提供”和“索取”發(fā)生了偏差。

（3）構(gòu)圖意義方面，視覺語法認(rèn)為武器是主要信息，已知信息，而文字是次要信息，輔助信息。但實(shí)際上，文字雖在視覺上所占比例較小，位置也并未居中，但其深層含義較之武器有過之而無不及。

上述問題雖反映于一個(gè)廣告案例中，但其存在性不容忽視。關(guān)于視覺語法的種種爭議，John A. Bateman(2012)和張敬源教授（2012）都曾有所探討，該理論亟待新的補(bǔ)充與擴(kuò)展。

四、視覺敘事框架下的語料分析

（一）視覺敘事理論

Reading Visual Narratives: Image Analysis of Children’s Picture Books是Clare Painter，Jim Martin與Len Unsworth三位著名系統(tǒng)功能語言學(xué)者歷經(jīng)十年的嘔心之作，是自Kress和van Leeuwen的視覺語法以來對(duì)視覺圖像分析理論最顯著的發(fā)展，是該理論框架的完善[3]。馮德正（2015）教授凝練其中主要觀點(diǎn)，建構(gòu)了視覺敘事理論框架（見表4）。

表4　系統(tǒng)功能語法、視覺語法和視覺敘事的理論框架對(duì)照

（二）語料分析

在視覺敘事框架下對(duì)本文所選廣告的多模態(tài)話語分析如表5。

表5　基于視覺敘事框架下的語料分析

概念意義方面，三種武器通過整體表征，以相同情境構(gòu)建戰(zhàn)爭屬性，且位置相鄰，彼此延續(xù)，這種視覺與功能的并列和延續(xù)如同并列句，既重復(fù)強(qiáng)化信息，也遞進(jìn)升華信息：

（1）從“重機(jī)槍”到殺傷力更強(qiáng)的“手榴彈”，再到凡爾登戰(zhàn)役中首次使用的“大口徑巨炮彈”，武器的并列除了構(gòu)建戰(zhàn)爭屬性外，還凸顯“武器殺傷力逐漸增強(qiáng)”、“災(zāi)難性越來越大”、“對(duì)人類摧殘?jiān)絹碓缴睢钡壬鐣?huì)意義；

（2）重機(jī)槍、手榴彈和大口徑巨炮彈是一戰(zhàn)所用武器之代表，大炮、坦克、轟炸機(jī)、潛艇和化學(xué)武器等也都是首次用于一戰(zhàn)后得以迅猛發(fā)展；

（3）武器是社會(huì)文明與科學(xué)技術(shù)發(fā)展的標(biāo)志，但正是這一人類科技與智慧的結(jié)晶反而在戰(zhàn)爭中起到“關(guān)鍵性”作用，反而讓人類自己處于水生火熱之中，讓一戰(zhàn)成為人類文明史上的噩夢(mèng)，這無疑是對(duì)人類文明與戰(zhàn)爭意義的反諷。

人際意義方面，陳列型畫面真實(shí)再現(xiàn)武器屬性，色調(diào)近乎黑白，濃重低沉，色彩單一，旨在與觀看者保持冷漠疏遠(yuǎn)的距離，建構(gòu)沉重壓抑的情感，引導(dǎo)觀看者冷靜克制地旁觀、回顧和審視這場戰(zhàn)爭，重溫浩劫的同時(shí)，感慨戰(zhàn)爭殘酷、人民痛苦，從而更加珍惜和維護(hù)來之不易的和平環(huán)境，以此達(dá)到互動(dòng)目的。

組篇意義方面，圖文融合，通過相鄰位置關(guān)系擴(kuò)展意義，投射思維，增強(qiáng)意義：

（1）圖1的文字貌似介紹“重機(jī)槍”的使用年份和功能，其中“一分鐘能產(chǎn)生450個(gè)孤兒”即“一分鐘能摧毀450個(gè)家庭”之意，反映死難者無數(shù)、民不聊生的景象，“450名孤兒”的信息深入人心，讓觀看者對(duì)重機(jī)槍、對(duì)戰(zhàn)爭不寒而栗；

（2）圖2的文字以“解剖課”暗喻死傷者被開膛破肚、血流成河之景象，增強(qiáng)了戰(zhàn)爭的血腥和殘忍之含義，讓人唏噓不已；

（3）圖3的文字以數(shù)字反映一戰(zhàn)最殘酷之戰(zhàn)役——凡爾登戰(zhàn)役中所投巨炮彈的數(shù)量之多，密度之高，意義之巨，尤其是“你在上戰(zhàn)場前就已被炸死了”這一句，看似“不可能”在戰(zhàn)場上成為“可能”，強(qiáng)調(diào)戰(zhàn)爭的殘忍程度超乎想象。

此外，文字部分還有些地方值得注意：

（1）文字顏色和背景顏色幾乎一樣，僅淺一個(gè)色調(diào)，貌似從背景中浮現(xiàn)、凸透出來，增強(qiáng)可信度和歷史厚重感；

（2）文字部分全是英文大寫，旨在形成視覺沖擊，強(qiáng)調(diào)和刻畫含義；

（3）文字部分多為不完整結(jié)構(gòu)，名詞化現(xiàn)象除了凸顯語言簡潔精煉之外，還以一種“碎片式”的行文風(fēng)格進(jìn)行含義上的反諷，“完整”建構(gòu)從武器到戰(zhàn)爭對(duì)人類肉體和精神的摧殘；

（4）文字部分均呈詩行般排列，第一個(gè)信息點(diǎn)最短（圖1“1914”，圖2“WW1”和圖3“Verdun”），第二個(gè)信息點(diǎn)稍長（圖1“France put into service”，圖2 “Probably the most brutal anatomy class in the world.”和圖3“26 million shells or 6 per m2.”），第三個(gè)信息點(diǎn)最長，信息量與內(nèi)涵最豐富（圖1“The first machine capable of producing 450 orphans a minute.”和圖3 “Mathematically speaking, even before the battle you were already dead.”）。獨(dú)特的建行，匠心獨(dú)運(yùn)，口語節(jié)奏自然轉(zhuǎn)換成視覺節(jié)奏，再轉(zhuǎn)換成思維節(jié)奏，讓觀看者充分感受到“憤怒、控訴且渴望共鳴”，而這些是圖文內(nèi)容本身無法表現(xiàn)得淋漓盡致的。

五、視覺語法與視覺敘事分析結(jié)果對(duì)比

（一）對(duì)本文所選語料的兩次分析結(jié)果對(duì)比

在視覺語法與視覺敘事框架下對(duì)本文所選語料進(jìn)行兩次分析，其分析結(jié)果見表6。

可見，視覺敘事理論在多幅連續(xù)圖像關(guān)系及其含義解讀、圖像與觀看者的互動(dòng)效果、圖文關(guān)系傳達(dá)含義等方面進(jìn)行了有益補(bǔ)充和擴(kuò)展，更適合現(xiàn)代社會(huì)視覺圖像迅猛發(fā)展的宏觀語境及多模態(tài)話語分析的實(shí)際需求。

（二）對(duì)其它類型廣告的分析結(jié)果對(duì)比

根據(jù)上文廣告類型的劃分，象征型圖像結(jié)合證言型、描述型或?qū)υ捫臀谋镜膹V告屬于非敘事型廣告，它們?cè)谝曈X語法與視覺敘事理論框架下呈現(xiàn)各自的特點(diǎn)。由于篇幅有限，無法對(duì)每種類型的廣告一一分析，因此對(duì)非敘事型廣告在兩種理論框架下可能呈現(xiàn)的異同點(diǎn)作簡要闡述（見表7）。

表6　本文所選語料的兩次分析結(jié)果對(duì)比

表7　非敘事型廣告在視覺語法與視覺敘事框架下的異同

象征型圖像“不是敘述某個(gè)事件，只是代表某種物體或現(xiàn)象”（Mark D. Fullerton，2004），因此“代表或呈現(xiàn)”是其特點(diǎn)：

（1）在視覺語法框架的再現(xiàn)意義方面，象征型圖像屬于概念意義的象征過程；在互動(dòng)意義方面，屬于接觸方面的提供類圖像；而考察圖像呈現(xiàn)、視角和色彩的社會(huì)距離、態(tài)度和情態(tài)，以及考察圖文比例與位置關(guān)系的構(gòu)圖意義方面，有待結(jié)合具體廣告進(jìn)行分析。

（2）在視覺敘事框架的概念意義方面，象征型廣告的表征形式和圖像數(shù)量不盡相同，因此無論是考察事物性質(zhì)的人物表征，還是考察多幅連續(xù)圖像間的事件關(guān)系或背景關(guān)系，都需結(jié)合具體廣告分析；在人際意義方面，象征型圖像屬于旁觀性互動(dòng)的聚焦模式，至于聚焦系統(tǒng)中的視角，以及考察情感互動(dòng)與色彩的情感系統(tǒng)與氛圍系統(tǒng)，也需結(jié)合具體廣告分析；在組篇意義方面，每個(gè)廣告的圖文布局各有特點(diǎn)，因此圖文間的含義增補(bǔ)或含義相悖無法確定，但根據(jù)證言型、描述型和對(duì)話型廣告的文本特點(diǎn)，對(duì)可能呈現(xiàn)的圖文關(guān)系分析如下：

①證言型廣告有“證明書”的特點(diǎn)，是權(quán)威人士或知名人士對(duì)商品（或服務(wù)等）的鑒定、評(píng)價(jià)、贊揚(yáng)、使用和見證等。這里所說的權(quán)威人士和知名人士既包括實(shí)際生活中的真人, 也包括虛構(gòu)的人（黃國文，1997）。證言型文字往往是直接引語或間接引語，利用“思維慣常定勢(shì)的權(quán)威定勢(shì)（黃國文，1997）”達(dá)到廣告目的，因此在組篇意義方面圖文多為融合布局，但具體是投射型融合，還是擴(kuò)展型融合，有待結(jié)合具體廣告來分析圖文相對(duì)位置、語泡或矢量等因素。

②描述型廣告以解釋說明商品性能或服務(wù)特點(diǎn)為主，圖文往往各占一部分空間，因此在組篇意義方面呈互補(bǔ)性布局，但具體是對(duì)稱性互補(bǔ)，還是重要性互補(bǔ)，是相鄰位置關(guān)系，還是分隔位置關(guān)系，有待結(jié)合具體廣告分析。

③對(duì)話型廣告通過廣告商與消費(fèi)者或消費(fèi)者間的對(duì)話來凸顯商品或服務(wù)的優(yōu)越性，拉近與消費(fèi)者的距離，增強(qiáng)廣告信賴度。該類型廣告多為直接引語，在組篇意義方面圖文呈融合性布局，至于具體圖文位置、語泡和矢量等情況，也需結(jié)合具體廣告進(jìn)行分析。

六、結(jié)語

本文所選語料屬于主流廣告類型，具有普遍性和代表性，因此可將本文廣告?zhèn)€案的兩次分析對(duì)比和其它類型廣告的分析對(duì)比，歸納總結(jié)至以視覺圖像為特點(diǎn)的多模態(tài)話語領(lǐng)域中：

（1）單幅圖像無法滿足當(dāng)今信息傳達(dá)的需要，多幅連續(xù)圖像逐漸成為圖像時(shí)代的主流形式。視覺語法雖能分析前者，但無法透徹分析后者。而視覺敘事可通過分析連續(xù)圖像的連接關(guān)系與方式，使其整體含義得以關(guān)注和剖析。

（2）視覺語法框架下“提供”與“索取”信息在實(shí)際語料分析中可能發(fā)生偏差。究其原因，是因?yàn)樵摾碚摰摹疤峁焙汀八魅　备拍钍翘兹alliday功能語法的“給予”和“求取”概念（胡壯麟，2005）。后者研究對(duì)象是語言文字，而視覺圖像有其特殊性，因此“提供”和“索取”的分類不能充分概括圖像和觀看者目光接觸中的多種復(fù)雜情況（李戰(zhàn)子，2003）。而視覺敘事理論能夠摒棄這個(gè)方面，轉(zhuǎn)而從圖像與觀看者的關(guān)系——聚焦系統(tǒng)，觀看者的情感介入情況——情感系統(tǒng)及圖像所營造的氛圍——氛圍系統(tǒng)來考察互動(dòng)情況，更適合在當(dāng)今圖像時(shí)代客觀地反映多模態(tài)話語的真實(shí)含義，也更為人們所接受。

（3）視覺語法框架中對(duì)“顯著性”和“信息值”的闡述固化了圖文關(guān)系。實(shí)際語料分析中，圖像元素所處的位置與其內(nèi)涵間并無絕對(duì)關(guān)系，其含義解讀還要考慮社會(huì)習(xí)俗、文化背景等，如某些視覺圖像中的圖文含義不一致、擴(kuò)展或相悖；再如Darrida解構(gòu)主義顛覆傳統(tǒng)的中心，而關(guān)注邊緣等。而視覺敘事的圖文版面布局框架，從圖文融合性和互補(bǔ)性出發(fā)，根據(jù)個(gè)人屬性、地域?qū)傩院蜕鐣?huì)屬性等靈活考量圖文關(guān)系及意義。

參考文獻(xiàn)：

[1] 張敬源，賈培培. 關(guān)于視覺語法的幾點(diǎn)思考[J]. 當(dāng)代外語研究，2012，(3)：38-42.

[2] 佚名. 2015戛納廣告節(jié)平面金獎(jiǎng)作品合集[EB/OL]. http://www.a.com.cn/info/Creative/pm/2015/0623/283138.html, 2015-06-24.

[3] 馮德正. 視覺語法的新發(fā)展：基于圖畫書的視覺敘事分析框架[J]. 外語教學(xué)，2015，(5)：23-27.

[4] Kress G.,T.van Leeuwen. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[5] 顧曰國. 論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學(xué)方法[J]. 當(dāng)代修辭學(xué)，2013，(6)：1-19.

[6] 黃國文. 對(duì)“胡—朱與Halliday訪談”的解讀[J]. 中國外語，2010，(11)：25-30.

[7] 黃國文. 廣告語篇中的敘事性正文[J]. 外語研究, 1997，(3)：11-15. 41.

[8] 黃國文. 廣告語篇中的證言式話語[J]. 中山大學(xué)學(xué)報(bào)（社科版），1997，(4):119-125.

[9] 李戰(zhàn)子. 多模態(tài)符號(hào)學(xué)：理論基礎(chǔ)，研究途徑與發(fā)展前景[J]. 外語研究，2012，(2):1-8.

[10] 馬克·D·富勒頓. 希臘藝術(shù)[M]. 李娜，謝瑞貞譯. 北京：中國建筑工業(yè)出版社，2004. 101.

[11] 張德祿. 論多模態(tài)話語設(shè)計(jì)[J]. 山東外語教學(xué)，2012，(1)：9-15.

[12] 吳安萍，鐘守滿. 視覺語法與隱喻機(jī)制的多模態(tài)話語研究[J]. 外語與外語教學(xué)，2014，(3)：23-28.

[13] 韋琴紅. 論多模態(tài)話語的整體意義構(gòu)建——基于一個(gè)多模態(tài)媒體語篇的話語分析[J]. 天津外國語學(xué)院學(xué)報(bào), 2008, (11):16-21.

[14] 朱永生. 多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J]. 外語學(xué)刊，2007，(5): 82-86.

Visual Grammar and Visual Narrative in the Multimodal Discourse——A Case Study of a Narrative Advertisement

LIU Chun
(Department of Foreign Languages, South-central University for Nationalities, Wuhan Hubei 430074, China)

Abstract:Visual Grammar, the main approach of visual images analysis in multimodal discourse analysis, establishes the theory structure of Representing Meaning, Interacting Meaning and Constructing Meaning, according to the three meta-functions of language in Functional Grammar. A narrative advertisement will be analyzed in this paper as the language material under the theory structures of Visual Grammar and Visual Narrative, through which some conclusions will be arrived at to illustrate the disadvantages of Visual Grammar and the advantages of Visual Narrative in the complex visual narratives, based on the comparison of the results of analysis.

Key words:multimodal; discourse; visual narratives; visual grammar

作者簡介：劉純（1981-），女，講師，碩士，研究方向：話語分析.

中圖分類號(hào)：H312

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095－414X(2016)01－0051－06