符號重構(gòu)視角下的圖像復(fù)合體功能分析——以英語沙龍雜志為例

陳樹坤

(廣東金融學(xué)院 外語系，廣東 廣州 510520)

1.引言

隨著打印技術(shù)，數(shù)字技術(shù)的發(fā)展，圖像已經(jīng)成為報紙、雜志、網(wǎng)站等媒體的重要交流手段。近年來，不少學(xué)者從Halliday的社會符號學(xué)出發(fā)，研究圖像、聲音、動作等作為符號是如何表達(dá)意義的。O’Toole(2010)應(yīng)用級階的概念建立自下而上的多模態(tài)分析框架，Kress和van Leeuwen(1996)基于系統(tǒng)功能語言學(xué)(下稱SFL)的三大元功能建立了圖像語法，Royce(2007)則探討了圖像與文字的關(guān)系，他們的研究充分證明了SFL在多模態(tài)語篇分析中強大的解釋力，SFL中許多對語言符號系統(tǒng)的描述適用于對圖像系統(tǒng)的描述。本文正是出于SFL中對小句復(fù)合體的描述提出圖像復(fù)合體這一概念。

在SFL中，為了區(qū)分簡單句(小句)與復(fù)雜句，把兩個或兩個以上的小句所組成的更大的整體稱為小句復(fù)合體(clause complex)。小句以下的單位詞組和短語同樣可以組成復(fù)合體。這種復(fù)合體的概念也被應(yīng)用到體裁分析的研究中，Martin和Rose(2008)、于暉(2009)提出的體裁復(fù)合體(genre complex)的概念，并探討不同體裁如何通過擴展與投射現(xiàn)象組合而成，用于解釋體裁的混合現(xiàn)象。我們認(rèn)為，復(fù)合體的概念對圖像同樣具有適用性。在英語沙龍這種類型的雜志中，兩張或者兩張以上的圖片會經(jīng)常被以某種排版方式放在一起，或者是緊靠的，或者是邊角重疊的。在視覺上，幾張圖片形成一個整體構(gòu)型，我們把這樣的圖片組合稱之為圖像復(fù)合體(image complex)。在英語沙龍雜志中，我們可以發(fā)現(xiàn)非常多圖像復(fù)合體現(xiàn)象。雜志編輯會在很多文章中挑選多張圖片放在一起作為文章的插圖。那么隨之而來的問題就是，為何雜志編輯要把幾張圖片放在一起呢?圖像復(fù)合體與分開的圖片相比，具有哪些特殊的功能呢?探討這個問題之前，我們先從符號重構(gòu)這一角度探討雜志的圖文關(guān)系。

2.圖像復(fù)合體與文本的符號重構(gòu)關(guān)系

O’Halloran(2011)認(rèn)為，研究多模態(tài)語篇的理論視角有三個:(1)研究語言與其他符號在表達(dá)意義方面的區(qū)別;(2)研究各種符號如何在多模態(tài)語篇中整合，實現(xiàn)語義擴展(inter-semiotic expansion of meaning);(3)把多模態(tài)語篇看作是一種社會實踐活動，是一種符號重構(gòu)或再符號化(resemioticisation)。這三個理論視角反映了多模態(tài)語篇研究在社會符號學(xué)中的“人本位”轉(zhuǎn)變:從研究各種符號的意義潛勢，強調(diào)意義表達(dá)背后的系統(tǒng)網(wǎng)絡(luò)，到研究符號間的協(xié)同互補，到后來在分析多模態(tài)語篇時充分考慮到“符號制造者”(sign maker)在潛在的意義資源中作出的選擇以及他們與社會實踐語境之間的關(guān)系。在這種視角下，多模態(tài)話語分析所關(guān)注的重點轉(zhuǎn)向“人”在某種具體環(huán)境中所有的各種符號資源。也就是說，把多模態(tài)語篇看作是某種社會環(huán)境下的社會過程。具體來說，是分析人們?yōu)楹卧谀硶r刻會選擇某種形式(符號)去表達(dá)某些意義。人們?yōu)榱四撤N社會實踐目的，會重新闡釋或重新設(shè)計某種符號資源。

Iedema(2003)把符號重構(gòu)定義為意義由一種語境向另一種語境轉(zhuǎn)變、或者由一種實踐向另外一種實踐轉(zhuǎn)變、抑或是由實踐的一個階段向另一個階段轉(zhuǎn)變過程中意義的轉(zhuǎn)化。在多模態(tài)語篇的建構(gòu)過程中，當(dāng)不同符號表達(dá)同樣的意義的時候就會發(fā)生符號重構(gòu)，而意義在符號重構(gòu)過程中會產(chǎn)生轉(zhuǎn)化，如《英語沙龍》雜志中的語篇是由語言和圖像兩種符號組成的多模態(tài)語篇，語言與圖像不一定完全對應(yīng)，但是圖像符號會在編輯某種目的之下被放置到該語篇當(dāng)中。如果把雜志中的多模態(tài)語篇看作是一種社會實踐，我們應(yīng)該考慮符號制造者，也就是編輯們在制造符號時擁有的各種符號資源，符號制造的目的，符號制造的先后順序。可以設(shè)想，雜志編輯先確定刊登什么文章，然后再根據(jù)文章內(nèi)容選取和編輯圖片。在契合雜志的風(fēng)格和要求下，圖片編輯將文章中某些意義通過圖片表達(dá)出來，這是一種符號重構(gòu)的過程。由于不同的符號表達(dá)意義的資源是不對等的(Lemke，1998)。出于社會實踐目的，各種模態(tài)的資源優(yōu)勢會被符號制造者利用起來，那么圖像復(fù)合體便會因為某些資源優(yōu)勢被編輯選擇。

在本研究所關(guān)注的多模態(tài)語篇中，語言符號是主模態(tài)，是社會實踐的表征，而圖像符號是對語言符號所表征意義的二次表征。英語沙龍雜志編輯作為符號制作者，選擇圖像符號對文本意義進(jìn)行符號重構(gòu)。意義從社會實踐轉(zhuǎn)移到雜志的語言符號，再轉(zhuǎn)移到雜志圖像符號。van Leeuwen(2008:6)把這種現(xiàn)象定義為語境重構(gòu)(recontextualisation)或者說語境要素重構(gòu)，“指一種社會實踐中的語境要素可以挪用到另一種社會實踐的語境當(dāng)中，并以特定的方式發(fā)生轉(zhuǎn)變，話語的某些部分在語境重構(gòu)過程中常會發(fā)生簡化、擴展、重點重置等變化”。語篇在特定社會語境下會以契合該語境的方式對現(xiàn)實中的社會實踐進(jìn)行語境重構(gòu)，同時也是對社會實踐的知識構(gòu)建。圖像復(fù)合體作為圖像符號的一種表達(dá)資源，如何重構(gòu)語言符號的各種意義?重構(gòu)過程發(fā)生了哪些簡化、擴展或是重點重置?下面我們將從語篇意義的符號重構(gòu)，概念意義的符號重構(gòu)以及評價意義的符號重構(gòu)三方面探討圖像復(fù)合體的功能。

3.語篇意義的符號重構(gòu)

圖像通過信息價值(information value)、凸顯度(salience)以及框架(framing)三個系統(tǒng)網(wǎng)絡(luò)表達(dá)語篇意義(Kress＆van Leeuwen，1996:177)。圖像復(fù)合體表達(dá)語篇意義的資源比單張圖片更加豐富，可以通過數(shù)張圖片進(jìn)行靈活的排版布局、尺寸大小的對比和要素的歸類等手段表達(dá)語篇意義。如在例1(《英語沙龍》(實戰(zhàn)版)2013年1月刊第58頁，下省略雜志名］這篇書評中，以書名A Street Cat Named Bob作為主標(biāo)題。文章分為兩部分，兩部分的標(biāo)題分別為“New Book”和“The True Story”，其中“The True Story”占據(jù)文章大部分的篇幅。圖像復(fù)合體符號重構(gòu)了文章的這種結(jié)構(gòu)，兩張圖片對應(yīng)文章的兩大部分。兩張圖片呈現(xiàn)出尺寸上的對比，描繪書的封面的圖片較小，描繪貓和主人的圖片較大，凸顯度最高，并且該圖片被置于頁面的中心位置。中心位置能提高圖片的重要性和穩(wěn)定感(Arnheim，1988:133)，使旁邊的圖片成為其附屬圖片，這實際上符號重構(gòu)了文章總體的篇章結(jié)構(gòu)，即文章重點介紹的是“The True Story”。并且書的封面圖片融入到了“New Book”標(biāo)題下的文字當(dāng)中，貓和主人圖片置于“The True Story”正上方，增強了圖文的銜接關(guān)系。

例1

另外，該圖像復(fù)合體符號重構(gòu)了文章兩大部分之間的邏輯語義關(guān)系。Halliday(2008)在研究小句復(fù)合體時提出兩種主要邏輯語義關(guān)系:擴展和投射。Martin＆Rose(2008)借鑒小句復(fù)合體中的邏輯語義關(guān)系，分析一個宏觀體裁(macrogenre)，也就是于暉(2009)所提出的體裁復(fù)合體(genre complex)如何由不同的體裁通過擴展與投射現(xiàn)象組合而成。在例1文章中的兩大部分實際上形成了體裁復(fù)合體，其中第一部分“New Book”是書評，在書評中會投射出敘述文這種體裁，如:“A Street Cat Named Bob，a story that chronicles how the 33-year-old busker ”這句話中包含報道投射關(guān)系，其中“a story”是投射載體，“how the 33-year-old busker ”是被投射的內(nèi)容。而文章第二部分“The True Story”則是第一部分投射內(nèi)容的擴展。這種“投射—擴展”關(guān)系在圖像復(fù)合體中得到符號重構(gòu)，左圖是一本書的封面，“書”這一圖像要素成為“a story”的載體，故事中的人物在右圖中出現(xiàn)，形成投射關(guān)系。左圖中的“貓”這一圖像要素情態(tài)較低，右圖是情態(tài)值高的真實圖片，呈現(xiàn)更多細(xì)節(jié)，這樣便形成了擴展關(guān)系。也就是說，符號制造者(編輯)在選擇圖像復(fù)合體時候，可以更靈活地對文章的主題、重點、新舊信息進(jìn)行符號重構(gòu)，也可以對文章中各層次的邏輯語義關(guān)系進(jìn)行符號重構(gòu)。

例2

4.概念意義的符號重構(gòu)

在大多數(shù)的情況下，《英語沙龍》雜志編輯都是針對文章的主題或者標(biāo)題的概念意義選擇圖片。由于某些概念或者話題比較難用一張圖片去表達(dá)，或者說難以找到符合雜志風(fēng)格以及高質(zhì)量的圖片去表達(dá)。在這種情況下，圖像復(fù)合體在重構(gòu)主題概念意義的時候更具靈活性，能更好地表達(dá)或者烘托主題內(nèi)容。主題的概念意義會被解構(gòu)為不同的語境要素，然后被不同的圖片重構(gòu)，組成圖像復(fù)合體。圖像復(fù)合體所表達(dá)的概念意義會相對于文字的概念意義發(fā)生一些偏離，但是會保持一定的關(guān)聯(lián)性。這種關(guān)聯(lián)性可以用Halliday和Hasan(1976)的銜接理論來解釋。圖片的圖像要素與文本的詞匯項通過重復(fù)、同義、反義、上下義、部分整體義和搭配等意義關(guān)系形成符號間的互補(intersemiotic complementarity)(Royce，2007)。如例 2(2013年 3月第 52－53頁)的文章主題“Working in Sydney’s Chinese Restaurant”被三張圖片重構(gòu)，其中中間尺寸最大的圖片是一張餐館內(nèi)部環(huán)境的照片，沒有任何人物，只有一些中餐的桌椅，與“Chinese Restaurant”詞匯同義。“Sydney’s”這一概念被拆分開來，被右邊的圖片中幾個外國人重構(gòu)，表示餐廳是在“國外”，“國外”與“Sydney’s”詞匯是上下義關(guān)系。左邊的圖片中的食物并沒有被主題或者正文中任何地方提及，但根據(jù)餐館吃飯這一意象圖式，食物與餐館形成搭配關(guān)系。也就是說“Working in Sydney’s Chinese Restaurant”被解構(gòu)為“Food”、“Chinese Restaurant”和“Sydney’s”三個語境要素組成圖像復(fù)合體，而“working”這一概念意義在圖像復(fù)合體中未被重構(gòu)。這里值得指出的是，一般來說，重構(gòu)環(huán)境成分的圖片在圖像復(fù)合體中尺寸會較大，而重構(gòu)參與者成分的圖片則尺寸會較小。這樣的構(gòu)圖方式更符合讀者把參與者融入環(huán)境中的認(rèn)知習(xí)慣。例2中重構(gòu)“Chinese Restaurant”的圖片尺寸最大，置于三張圖片中間位置，兩邊的圖片中的參與者便會被讀者融入到中間圖片。例2以格式塔的方式重構(gòu)了“in Sydney’s Chinese Restaurant”這一環(huán)境成分?？梢韵胂?，三張圖片位置和尺寸如果對調(diào)一下，都會改變讀者對圖像復(fù)合體的整體意義的解讀，那么圖像重構(gòu)文字的意義會進(jìn)一步偏離。例3(見下頁)則能更好說明這個問題，文章主題“在路上的背包客/The Backpackers Hiking around the World”被解構(gòu)為“在路上”(around the world)和“背包客”(the backpackers)兩個要素。上下兩張圖片通過邊框裁剪(framing)把讀者注意力引導(dǎo)到backpackers上，環(huán)境的因素被盡可能地去除。中間的圖片未出現(xiàn)任何的參與者，讀者所能觀察到的是圖中的環(huán)境因素，并且圖片尺寸較大。通過這種編排中間圖片與上下兩張圖中的backpackers形成空間關(guān)系，讓讀者對backpackers所處的環(huán)境產(chǎn)生一種聯(lián)想。

例3

有些比較抽象的概念意義在圖像復(fù)合體中以符號隱喻(semiotic metaphor)(O’Halloran，1999)的方式重構(gòu)。Halliday(2008)提出語言中存在語法隱喻現(xiàn)象，例如動詞名詞化現(xiàn)象，還有人際意義用概念意義的方式表達(dá)等。那么語言的詞匯語法和圖像語法之間也會存在符號隱喻現(xiàn)象，這是因為一種符號中表達(dá)某種意義的要素與另外一種符號表達(dá)該意義的要素往往是不對等的。比如語言中實現(xiàn)動作過程的動詞“l(fā)ook”，在圖像中可能會使用箭頭來表達(dá)。實現(xiàn)心理過程的動詞“l(fā)ove”，則可能被重構(gòu)為實體，例如象征愛的鉆石。符號重構(gòu)過程中，一種符號的抽象概念被另一種符號實體化。下面我們通過例4(2013年2月第58－59頁)來看看雜志編輯如何利用圖像復(fù)合體的特殊意義潛勢對文字進(jìn)行符號重構(gòu)。文章主題“追溯情人節(jié)”被解構(gòu)為“追溯”和“情人節(jié)”兩個要素，“情人節(jié)”這一概念分別在下面四張圖片以花、巧克力、心等象征物重構(gòu)。表面上看，“追溯”這個動詞似乎沒有在圖片中體現(xiàn)出來。但仔細(xì)分析一下圖像復(fù)合體的編排，圖片的閱讀路徑是從左到右最終落在最上方。左邊的兩張圖片與右邊的三張圖片形成情態(tài)上的對比，即左邊兩張真實程度高，代表今天的情人節(jié)，右邊三張圖片真實程度低，代表歷史上的情人節(jié)，最后正上方的圖片代表一個歷史事件，情態(tài)對比與閱讀路徑協(xié)同使讀者明顯感覺到圖片的時間關(guān)系，是由現(xiàn)在到過去。因此，“追溯”通過圖像復(fù)合體的閱讀途徑、情態(tài)對比等手段表達(dá)出來，是一種符號隱喻。

例4

5.評價意義的符號重構(gòu)

評價是指人們表達(dá)自己的情感、表達(dá)對某些事物行為或者現(xiàn)象的態(tài)度，是屬于人際意義范疇。Martin和White(2008)提出評價系統(tǒng)包括態(tài)度、介入和極差，其中態(tài)度分為情感、判斷、鑒賞，極差系統(tǒng)包括語勢和聚焦，其中，態(tài)度是指人類對各種事物或現(xiàn)象所作出的判斷。根據(jù)評價對象，態(tài)度可進(jìn)一步劃分為三個次系統(tǒng):情感(Affection)、判斷(Judgment)和鑒賞(Appreciation)。簡單地說，情感指說話人表達(dá)自己的感受，可進(jìn)一步劃分幸福/不幸福，安全/不安全，滿意/不滿意等意義。判斷是指說話人對行為的評判，可進(jìn)一步分析評判是屬于社會評判(social esteem)還是社會約束(social sanction)。社會評判包括常規(guī)(normality)、才干(capacity)和韌性(tenacity)三方面，社會約束包括真實性(veracity)和適宜性(propriety)，而鑒賞是指說話人對事物的評判，其中包括反應(yīng)(reaction)、構(gòu)成(composition)和價值(valuation)等方面。介入系統(tǒng)主要是指評價中的話語空間，即:是否容忍別人的意見。極差系統(tǒng)則指評價的程度所用的語言手段。

例5

圖像具有評價功能，Kress和van Leeuwen(1996)論述圖像語法過程中也有提及圖像如何實現(xiàn)評價意義。他們(同上:67－68)指出，圖像中的人物眼睛會產(chǎn)生視線，視線形成指向矢量(vector)時，圖像體現(xiàn)的是反應(yīng)過程(reactional processes)。在反應(yīng)過程中，參與者包括反應(yīng)者(reactor)和現(xiàn)象(phenomena)。例如:圖像中描述一個人微笑地看著另外一個人，微笑的人就是反應(yīng)者，被看著的人是現(xiàn)象，眼睛視線則是反應(yīng)過程。這里便產(chǎn)生了評價意義，給予該現(xiàn)象一個認(rèn)可的態(tài)度。在圖像復(fù)合體中，“指向矢量”或者“反應(yīng)過程”可以被符號重構(gòu)為圖片間的閱讀路徑，這也是一種符號隱喻現(xiàn)象。如在例5(2013年1月第60頁)中，左邊的圖像人物是在對著鏡頭微笑，人物開船的方向指向右邊，讀者讀圖片的順序也是從左到右，形成一個隱性的箭頭指向右圖。右邊圖片重構(gòu)了主題“Otter Bay”，注意右邊圖片的尺寸在這個時候是比左邊圖片小的(不同于例2、例3)，“Otter Bay”環(huán)境成分被弱化，成為了評價對象。圖像復(fù)合體通過左圖中人物微笑的表情符號重構(gòu)了文章當(dāng)中對“Otter Bay”認(rèn)可的態(tài)度。

例6

圖像復(fù)合體還可以利用圖片排版的信息價值提升評價意義的“語勢”，即提高評價強度。如在例6(2013年6月第8－9頁)中，圖片豎立的排版方式給讀者圖書館非常高大的感覺。圖書館外觀的圖片是仰視的視角，并置于最高位置，利用“Ideal-Real”信息原則，凸顯了圖書館的雄偉形象。左右和最底下的圖片組合起來給人一種圖書數(shù)量巨大的感覺。圖像復(fù)合體在重構(gòu)“The World’s Coolest-Looking Bookstore”的概念意義的同時也加強了“Coolest-Looking”這一評價意義。圖像復(fù)合體所表達(dá)的評價意義是任何一張圖片單獨拿出來都無法表達(dá)的整體意義。當(dāng)這些圖片以這樣的編排方式放在一起，圖片所表達(dá)的概念意義相互滲透，間接地表達(dá)出評價的意義。這里Ideal-Real這一信息價值成為強化(intensification)(Martin ＆ White，2008:141－151)的評價資源。由此可見，圖像復(fù)合體在重構(gòu)評價意義方面比單張圖片也有更豐富的資源。

6.結(jié)語

當(dāng)我們觀看一系列放在一起的照片時，這些照片的效果不是獨立的，而是會產(chǎn)生相互作用。多張圖片組合擴大了圖像復(fù)合體的意義潛勢。人們會以整體構(gòu)型或者格式塔(Gestalt)的方式去解讀圖像復(fù)合體，也就是說，圖像復(fù)合體所表達(dá)的意義大于其構(gòu)成的單張圖片所能表達(dá)的意義之和。從符號重構(gòu)的角度看，雜志中多模態(tài)語篇的產(chǎn)生是一種社會實踐活動，編輯作為符號制造者，要綜合考慮雜志語篇的種種語境因素，包括雜志風(fēng)格、文章主題、文章內(nèi)容等等。圖像復(fù)合體在重構(gòu)語篇意義、概念意義和評價意義三方面都比單張圖片享有更多的表達(dá)資源。一方面，某些主題或者概念可以被解構(gòu)為幾個語境要素，以多張圖片的形式組合重構(gòu);另一方面，圖像復(fù)合體能通過尺寸大小、閱讀路徑、排版布局形成的信息價值、凸顯度、邊框裁剪等手段符號重構(gòu)文字的語篇意義、概念意義和評價意義。這其中涉及到符號隱喻的問題，如上分析所示，概念意義、評價意義被符號重構(gòu)為閱讀路徑所產(chǎn)生的指向矢量以及“理想—現(xiàn)實”、“中間—邊緣”等信息價值。符號重構(gòu)這一視角使我們能更好地理解雜志語篇中圖像復(fù)合體的功能。

［1］Arnheim，R.The Power of the Centre:A Study of Composition in the Visual Arts［M］.Berkeley and Los Angeles:U-niversity of California Press，1988.

［2］ Halliday，M.A.K.＆ R.Hasan.Cohesion in English［M］.London:Longman，1976.

［3］Halliday，M.A.K.An Introduction to Functional Grammar［M］.Beijing:Foreign Language Teaching and Research Press，2008.

［4］Iedema，R.Resemioticization［J］.Semiotica，2001(1):23－39.

［5］Iedema，R.Multimodality，Resemioticization:Extending the Analysis of Discourse as a Multisemiotic Practice［J］.Visual Communication，2003(1):29－57.

［6］ Kress，G.＆ T.van Leeuwen.Reading Images:The Grammar of Visual Design(2nd ed)［M］.London:Routledge，1996 .

［7］Lemke，J.L.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［C］//J.R.Martin ＆ R.Veel.Reading Science:Critical and Functional Perspectives on Discourses of Science.London:Routledge，1998:87 －113.

［8］Martin，J.R.＆ D.Rose.Genre Relations:M apping Culture［M］.London:Equinox，2008.

［9］Martin J.R.＆ P.R.R.White The Language of Evalutation:Appraisal in English［M］.Beijing:Foreign Language Teaching and Research Press，2008.

［10］O’Halloran.Interdependence，Interation and Metaphor in Multisemiotic Texts ［J］. SocialSemiotics，1999(9):317－354.

［11］O’Toole，M.The Language of Displayed Art(2nd ed)［M］.London and New York:Routledge，2010.

［12］Royce，T.D.Intersemiotic Complementarity:A Framework for Multimodal Discourse Analysis［C］//T.D.Royce＆ W.L.Bowcher.New Directions in the Analysis of Multimodal Discourse.Lawrence Erlbaum Associates，2007:63－110.

［13］van Leeuwen.Discourse and Practice:New Tools for Critical Discourse Analysis［M］.New York:Oxford University Press，2008.

［14］于暉.語篇體裁復(fù)合體——試析語篇體裁之間的邏輯語義關(guān)系［J］.解放軍外國語學(xué)報，2009(3).