基于視覺(jué)語(yǔ)法的多模態(tài)敘事語(yǔ)篇圖文關(guān)系研究

劉曉華

(安徽農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，安徽 合肥 230036)

隨著科技的發(fā)展，非言語(yǔ)模態(tài)越來(lái)越成為構(gòu)建意義、實(shí)現(xiàn)交際的重要載體。隨著話語(yǔ)分析理論研究的不斷深入，非語(yǔ)言模態(tài)作為意義表達(dá)模態(tài)，逐漸受到學(xué)者的關(guān)注。多模態(tài)話語(yǔ)指的是運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象[1]。在話語(yǔ)分析中，如何把言語(yǔ)模態(tài)和非言語(yǔ)模態(tài)結(jié)合起來(lái)進(jìn)行分析解讀，并建立一個(gè)綜合分析框架，是多模態(tài)話語(yǔ)分析研究的重要內(nèi)容。

多模態(tài)語(yǔ)篇指的是“所有通過(guò)一種以上符號(hào)編碼構(gòu)建意義的語(yǔ)篇”[2]。在多模態(tài)語(yǔ)篇中，文字和圖像，作為兩種截然不然的符號(hào)系統(tǒng)，用不同的表達(dá)方式，共同作用，構(gòu)建同一個(gè)意義。因此，多模態(tài)敘事語(yǔ)篇中圖文之間的互動(dòng)與整合關(guān)系不僅會(huì)影響語(yǔ)篇意義的構(gòu)建，同時(shí)還會(huì)影響語(yǔ)篇的識(shí)讀和理解。

1 多模態(tài)話語(yǔ)分析

在多模態(tài)話語(yǔ)分析方面，Barthe最早關(guān)注到多模態(tài)語(yǔ)篇中，視覺(jué)符號(hào)與語(yǔ)言符號(hào)相互作用，產(chǎn)生意義[3]。他從社會(huì)符號(hào)學(xué)的角度給圖文關(guān)系進(jìn)行分類；其對(duì)圖文關(guān)系的分析是從語(yǔ)篇的宏觀層面展開(kāi)的；在系統(tǒng)功能語(yǔ)言學(xué)的理論基礎(chǔ)上，國(guó)外一些學(xué)者從微觀層面開(kāi)展了對(duì)多模態(tài)語(yǔ)篇中圖文關(guān)系的研究：Schriver[4]從信息視角提出五種圖文關(guān)系模式；Carney和Levin[5]和Marsh和White[6]分別從功能視角下對(duì)多模態(tài)語(yǔ)篇的圖片功能進(jìn)行研究并分類；Martinec和Salway[7]在Barthes理論的基礎(chǔ)上提出了多模態(tài)語(yǔ)篇圖文互動(dòng)關(guān)系。國(guó)內(nèi)的研究主要集中在兩個(gè)方面：一是理論建構(gòu)方面，李戰(zhàn)子[8]肯定了系統(tǒng)功能語(yǔ)法理論對(duì)多模態(tài)話語(yǔ)分析的重要意義，胡壯麟[9]指出了社會(huì)符號(hào)學(xué)研究的多模態(tài)趨勢(shì)，并區(qū)分了多模態(tài)符號(hào)學(xué)和多媒體符號(hào)學(xué)，朱永生[10]全面闡釋了多模態(tài)話語(yǔ)分析的理論基礎(chǔ)、研究方法以及研究意義，張德祿[1]建立了一個(gè)多模態(tài)話語(yǔ)分析的綜合框架；二是個(gè)案分析，主要集中在特殊的靜態(tài)多模態(tài)語(yǔ)篇，如會(huì)徽中的文字與圖像、顏色及版式設(shè)計(jì)等符號(hào)的互動(dòng)關(guān)系[11]，交通標(biāo)志牌的圖文互動(dòng)與整合[12]，《格林童話》中的插圖與文字之間的邏輯語(yǔ)義擴(kuò)展關(guān)系[13]，多模態(tài)小說(shuō)的圖文關(guān)系[14]；也有對(duì)動(dòng)態(tài)多模態(tài)語(yǔ)篇的分析，如易霞[15]從一則電視新聞入手，分析了多種模態(tài)資源之間的內(nèi)在關(guān)系。這些對(duì)不同類型的語(yǔ)篇，進(jìn)行的多模態(tài)話語(yǔ)分析，對(duì)現(xiàn)有多模態(tài)話語(yǔ)分析理論，做了驗(yàn)證及理論的補(bǔ)充，但多模態(tài)語(yǔ)篇分析還缺乏一個(gè)普適性的分析工具。Kress & van Leeuwen[2]在系統(tǒng)功能語(yǔ)法的基礎(chǔ)上，研究了人類學(xué)、文化研究、心理治療、民族志研究、影視作品等領(lǐng)域的視覺(jué)分析[8]，提出了多模態(tài)語(yǔ)篇分析的理論框架，為系統(tǒng)闡釋廣告、教材、漫畫(huà)等多模態(tài)語(yǔ)篇的意義建構(gòu)提供了有力的工具，確立了多模態(tài)語(yǔ)篇分析的學(xué)科地位[16]。

2 視覺(jué)語(yǔ)法理論框架

Halliday[17]在系統(tǒng)功能語(yǔ)法中提出了語(yǔ)言的三大元功能，即概念功能、人際功能和語(yǔ)篇功能。這些元功能是基于語(yǔ)言作為交際和再現(xiàn)意義的符號(hào)編碼提出來(lái)的，但并不僅僅局限于語(yǔ)言符號(hào)。Kress和van Leeuwen[2]把語(yǔ)言的三大功能延伸到視覺(jué)圖像，他們認(rèn)為：“和語(yǔ)言的語(yǔ)法描寫(xiě)，比如，詞如何組成小句，句子如何組成語(yǔ)篇一樣，視覺(jué)語(yǔ)法也可以描寫(xiě)視覺(jué)圖像中人物、地點(diǎn)和事物如何組成復(fù)雜的視覺(jué)陳述?！彼麄儚娜齻€(gè)方面，即視覺(jué)圖像的再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義，提出了視覺(jué)語(yǔ)法的分析框架，分別對(duì)應(yīng)著功能語(yǔ)法概念、人際和組篇的三大元功能。Kress根據(jù)圖像的特點(diǎn)，把再現(xiàn)意義分成敘事再現(xiàn)和概念再現(xiàn)兩類，是否有矢量是敘事圖像和概念圖像的唯一區(qū)別。敘事再現(xiàn)主要分為行動(dòng)過(guò)程、反應(yīng)過(guò)程、言語(yǔ)和心理過(guò)程；概念再現(xiàn)分為分類過(guò)程、分析過(guò)程和象征過(guò)程。視覺(jué)圖像能建立讀者與圖像表達(dá)的世界之間的特定關(guān)系，并與讀者互動(dòng)，激發(fā)讀者應(yīng)有的態(tài)度和情感，這是視覺(jué)圖像的互動(dòng)意義，主要由距離、接觸和視點(diǎn)這三個(gè)要素共同作用，創(chuàng)造出讀者對(duì)語(yǔ)篇的獨(dú)特觀感和體驗(yàn)。與功能語(yǔ)法的語(yǔ)篇意義相對(duì)應(yīng)，Kress & van Leeuwen[2]也提出了視覺(jué)圖像的構(gòu)圖意義，并分析了構(gòu)圖意義的三種資源：信息值、取景和顯著性。信息值是通過(guò)圖像元素在構(gòu)圖中的放置位置實(shí)現(xiàn)的；取景是指通過(guò)線條割斷或連接圖像中的元素，來(lái)表達(dá)意義上的從屬或不從屬；顯著性是指圖像元素對(duì)讀者注意力的吸引程度[8]。下圖1為其總結(jié)的視覺(jué)交際中的敘事結(jié)構(gòu)圖[8]。

圖1 視覺(jué)敘事結(jié)構(gòu)框架

本文擬采用視覺(jué)語(yǔ)法的理論框架，從圖像模態(tài)意義構(gòu)建，言語(yǔ)模態(tài)意義構(gòu)建、圖像與言語(yǔ)模態(tài)意義互動(dòng)和整合三個(gè)方面，對(duì)多部敘事繪本的視覺(jué)敘事進(jìn)行多模態(tài)話語(yǔ)分析。

3 多模態(tài)敘事語(yǔ)篇的語(yǔ)篇分析

3.1 圖像模態(tài)和言語(yǔ)模態(tài)的再現(xiàn)意義

3.1.1敘事再現(xiàn)

Kress認(rèn)為圖片的敘事再現(xiàn)是通過(guò)圖像元素形成斜線，一般是對(duì)角線，形成矢量，把參與者連接起來(lái)，完成敘事。參與者之間互動(dòng)，形成事件的過(guò)程。他們把視覺(jué)敘事和語(yǔ)言敘事的過(guò)程進(jìn)行對(duì)比，并一一羅列出來(lái)。 下面參照Kress等人[2]視覺(jué)敘事的結(jié)構(gòu)框架，從行動(dòng)過(guò)程、反應(yīng)過(guò)程、言語(yǔ)和心理過(guò)程，對(duì)敘事繪本進(jìn)行多模態(tài)話語(yǔ)分析，重點(diǎn)考察圖像模態(tài)如何構(gòu)建再現(xiàn)意義，并與言語(yǔ)模態(tài)呼應(yīng)。

首先行動(dòng)過(guò)程中，矢量的參與者通常有單個(gè)或者兩個(gè)。敘事再現(xiàn)中如果有兩個(gè)參與者，那么一個(gè)是動(dòng)作者，即矢量的發(fā)出者，動(dòng)作者本身也是矢量；另一個(gè)是目標(biāo)，也就是矢量所指向的參與者，動(dòng)作者和目標(biāo)之間相互作用，構(gòu)成事件的發(fā)展。動(dòng)作者在圖像中占有顯著位置，可以通過(guò)尺寸、構(gòu)圖中的位置，與背景的對(duì)比、色彩飽和度、聚焦程度，以及心理凸顯程度等手段表現(xiàn)出來(lái)[8]。例如，繪本《小老鼠亞歷山大》中，小老鼠亞歷山大被貓哈茨叼住的插圖，如圖2a，貓哈茨，是矢量的發(fā)出者，即行動(dòng)者，老鼠亞歷山大是矢量的指向，即動(dòng)作的目標(biāo)。行動(dòng)者占據(jù)了這張圖片最突出的位置，把讀者的視覺(jué)焦點(diǎn)聚焦在哈茨身上，同時(shí)用貓身形的巨大尺寸和老鼠弱小身形的尺寸形成強(qiáng)烈對(duì)比，敘述弱小的老鼠不幸被強(qiáng)大的貓抓住的事件。這與插圖相對(duì)應(yīng)的文字：“哈茨張開(kāi)大嘴，用牙齒叼住了亞歷山大的大熊裝?！痹谖镔|(zhì)過(guò)程敘事上保持了一致?！皝啔v山大嚇得捂住眼睛，幾乎透不過(guò)氣來(lái)。”這段文字所表達(dá)的情態(tài)意義，在圖片中是通過(guò)色彩飽和度來(lái)實(shí)現(xiàn)的。Kress & van Leeuwen[2]認(rèn)為圖畫(huà)可以借助色彩、色調(diào)等表達(dá)手段，傳遞情態(tài)意義。在這張圖片里，黑色的貓和白色的地毯背景，形成黑與白的視覺(jué)對(duì)比，黑色和白色的使用達(dá)到了最高情態(tài)，營(yíng)造恐怖的氣氛，把老鼠被貓抓住這一事件在細(xì)節(jié)上做了最大程度的再現(xiàn)。

有時(shí)，矢量指向的參與者，即目標(biāo)，也會(huì)在圖片中處于顯著位置，實(shí)現(xiàn)敘事再現(xiàn)。例如，繪本《警察和強(qiáng)盜》中，警察皮尤被四個(gè)強(qiáng)盜攻擊的場(chǎng)面，如圖2c。這個(gè)圖片里有多個(gè)參與者，處于圖片顯著位置的是矢量的指向參與者，分別從四個(gè)方向構(gòu)成斜線的是矢量的發(fā)出者，即行動(dòng)者。四個(gè)方向的斜線構(gòu)成對(duì)角線，并把目標(biāo)置于圖片的中心位置，來(lái)再現(xiàn)警察被四個(gè)強(qiáng)盜攻擊的事件。同時(shí)，也和言語(yǔ)模態(tài)中“掀掉警盔”“扯下領(lǐng)帶”“踩住警棍”“踢泥巴”四個(gè)物質(zhì)過(guò)程相對(duì)應(yīng)，共同再現(xiàn)敘事情景。

和語(yǔ)言中的不及物動(dòng)詞一樣，圖像敘事再現(xiàn)中也有不及物結(jié)構(gòu)，也就是行動(dòng)過(guò)程中沒(méi)有參與者，也沒(méi)有目標(biāo)。例如，敘事繪本《向左走 向右走》中，見(jiàn)圖2b，刮起了冷風(fēng)，寒流來(lái)了，這里沒(méi)有行動(dòng)者，也沒(méi)有目標(biāo)。圖像與言語(yǔ)模態(tài)的物質(zhì)過(guò)程完全對(duì)等之外，又用了烏云、雨滴、陰郁的色調(diào)等圖像元素補(bǔ)充了言語(yǔ)模態(tài)的意義，讓“寒流”更具象化，營(yíng)造低落、惆悵的故事氛圍。

圖2 行動(dòng)過(guò)程分析圖例

其次，反應(yīng)過(guò)程主要是行動(dòng)過(guò)程，只是矢量是由參與者的目光構(gòu)成。因此，“反應(yīng)者”和“現(xiàn)象”是反應(yīng)過(guò)程的兩大要素。反應(yīng)過(guò)程也分為及物結(jié)構(gòu)和不及物結(jié)構(gòu)。及物結(jié)構(gòu)是從一個(gè)參與者的目光或多個(gè)參與者匯聚在一起的矢量反應(yīng)過(guò)程，如圖3a，所配的文字是“媽媽跑到洞口，探出頭，就在那一瞬間，她看見(jiàn)了哈茨！在哈茨的后面，不僅跟著三只小貓，還跟著一只可愛(ài)的小熊。媽媽放心了，她知道兒子很安全”。圖片中，媽媽是反應(yīng)者，她的目光落在穿著大熊服的小老鼠亞歷山大身上。媽媽凝視兒子的反應(yīng)過(guò)程，一是與言語(yǔ)模態(tài)中“跑”、“探”、“看見(jiàn)”的物質(zhì)過(guò)程彼此呼應(yīng)，二是補(bǔ)充了媽媽由擔(dān)心兒子到看見(jiàn)兒子安全而安心的心理轉(zhuǎn)變過(guò)程。再如圖片3b中，反應(yīng)者的目光有時(shí)并沒(méi)有落在具體的現(xiàn)象或物體上，而是落在畫(huà)框外的某個(gè)地方。圖中的反應(yīng)者并未投入所處的環(huán)境里，而是沉浸在個(gè)人的內(nèi)心世界里。這種不及物結(jié)構(gòu)可以使讀者與圖中刻畫(huà)的人物達(dá)成內(nèi)心的統(tǒng)一，產(chǎn)生共鳴。

圖3 反應(yīng)過(guò)程分析圖例

最后，在言語(yǔ)和心理過(guò)程中，敘事繪本的圖片里，還有一種特殊的矢量，即圖中的說(shuō)話者或思考者所說(shuō)的話或所想到的內(nèi)容通過(guò)對(duì)話泡或者思維泡表現(xiàn)出來(lái)。Halliday把這種結(jié)構(gòu)叫做“投射”，及物反應(yīng)的“現(xiàn)象”沒(méi)有直接表達(dá)，而是通過(guò)反應(yīng)者的中介，即對(duì)話泡中的“言語(yǔ)者”或思維泡中的“感知者”傳遞意義。如圖4a，強(qiáng)盜比利被警察皮尤抓住，比利覺(jué)得皮尤像一頭熊一樣強(qiáng)壯，又想起小時(shí)候媽媽對(duì)自己的教導(dǎo)而后悔。這個(gè)思維過(guò)程在圖像模態(tài)里，用思維泡投射出思考者的整個(gè)思維過(guò)程。同樣地，如圖4b，敘事繪本《爺爺變成了幽靈》中，男孩艾斯本的爺爺去世了，艾斯本很傷心，媽媽告訴他，爺爺去了天堂。艾斯本努力想象天堂的樣子，爺爺變成天使的樣子。這個(gè)想象的過(guò)程也是用投射的結(jié)構(gòu)表現(xiàn)出來(lái)，與言語(yǔ)模態(tài)相對(duì)應(yīng)。

圖4 投射結(jié)構(gòu)分析圖例

3.1.2概念再現(xiàn)

和系統(tǒng)功能語(yǔ)法中關(guān)系過(guò)程和存在過(guò)程相對(duì)應(yīng)的是視覺(jué)模態(tài)的概念再現(xiàn)。敘事再現(xiàn)通過(guò)矢量構(gòu)建空間來(lái)表現(xiàn)發(fā)展中的行為和事件，形成敘事的時(shí)間性。概念再現(xiàn)的時(shí)間意義減少，主要表達(dá)類別、結(jié)構(gòu)或者意義[8]。視覺(jué)模態(tài)和言語(yǔ)模態(tài)相同的地方在于視覺(jué)模態(tài)概念再現(xiàn)的分類，分析結(jié)構(gòu)類似于言語(yǔ)的功能小句，象征結(jié)構(gòu)也相當(dāng)于認(rèn)同小句。但是，視覺(jué)模態(tài)中所使用的概念化在言語(yǔ)模態(tài)中是無(wú)法找到等同物的。因此敘事繪本采用視覺(jué)模態(tài)的概念化結(jié)構(gòu)手段來(lái)彌補(bǔ)言語(yǔ)的不足，以生成富有深意的文學(xué)效果。

下面結(jié)合敘事繪本語(yǔ)料，從分類過(guò)程、分析過(guò)程和象征過(guò)程來(lái)分析視覺(jué)模態(tài)再現(xiàn)概念的結(jié)構(gòu)手段。

首先，分類過(guò)程通過(guò)分類關(guān)系將參與者聯(lián)系起來(lái)，至少有一組參與者將對(duì)另一個(gè)參與者扮演“從屬”的角色[8]。在多模態(tài)語(yǔ)篇中，大多數(shù)分類過(guò)程都是用圖畫(huà)加上文字來(lái)表達(dá)的。如圖5a，各司其職的12個(gè)警察是“倫敦警察”的從屬，他們都處于同一個(gè)背景中，對(duì)稱分布，與文字表達(dá)的意義互動(dòng)。其次，在視覺(jué)符號(hào)分析過(guò)程中，參與者具有部分-整體的特點(diǎn)。這個(gè)過(guò)程有兩種參與者：一是承載者，也就是整體；二是任何數(shù)量所擁有的特征，即部分[8]。例如圖5b，這六個(gè)強(qiáng)盜都是承載者，他們都具有不同的特征，比如年齡、性別、發(fā)色、體形等，都具有各自的特征；其中五個(gè)強(qiáng)盜都帶著黑色的眼罩，暗示著他們都擁有強(qiáng)盜的共同身份，這是整體。

最后，象征過(guò)程有兩種，即象征屬性和象征暗示。前者是指，意義和身份由參與者本身的品質(zhì)表現(xiàn)出來(lái)，一般有兩個(gè)參與者，其中一個(gè)的身份已經(jīng)在敘事關(guān)系中確定，也就是承載者；另一個(gè)參與者來(lái)表達(dá)意義或身份。如圖5c，女孩興奮得失眠，女孩是承載者，而窗外的兔子以及室內(nèi)的白兔子象征著虛幻的夢(mèng)境。這是視覺(jué)模態(tài)的象征屬性。

圖5 參與者分析圖例

3.2 圖像模態(tài)和言語(yǔ)模態(tài)的互動(dòng)意義

Kress和Van Leeuwen[2]提出了圖像的三類“互動(dòng)意義”：接觸、距離和情態(tài)。視覺(jué)圖像能建立讀者與圖像世界之間的互動(dòng)關(guān)系，激發(fā)讀者應(yīng)有的態(tài)度和情感，營(yíng)造出讀者對(duì)語(yǔ)篇的獨(dú)特觀感和體驗(yàn)。這是視覺(jué)圖像的互動(dòng)意義，主要由距離、接觸和視點(diǎn)這三個(gè)要素來(lái)實(shí)現(xiàn)。同時(shí)，情態(tài)作為互動(dòng)意義的重要部分，以“感官的編碼傾向”為出發(fā)點(diǎn)，帶來(lái)感官的愉悅，是對(duì)圖像“現(xiàn)實(shí)主義”的再現(xiàn)。以下將從這四個(gè)方面分析敘事繪本中圖像模態(tài)與言語(yǔ)模態(tài)的互動(dòng)意義。

3.2.1接觸

Kress和Van Leeuwen[2]根據(jù)Halliday[17]的話語(yǔ)功能，把圖像分為“索取”和“提供”兩種類型。圖像中的人物直視讀者，也就是說(shuō)他們和讀者“接觸”，從而建立讀者與圖像世界的互動(dòng)關(guān)系，人物通過(guò)表情、姿勢(shì)表達(dá)他們?cè)谙蜃x者索取什么。例如敘事繪本《向左走 向右走》中，如圖6a，圖像模態(tài)中，女孩直視讀者，落寞的表情，表達(dá)人生的迷茫、個(gè)體的渺小、在命運(yùn)洪流中的無(wú)奈，直擊讀者的心靈，激發(fā)共鳴；言語(yǔ)模態(tài)使用陳述句的形式提供信息，用了“一個(gè)人”與圖像模態(tài)呼應(yīng)。

同樣，在敘事繪本《向左走 向右走》中，也有這樣的圖像：圖中的人物并沒(méi)有直視讀者，向讀者索取什么，這時(shí)讀者置身事外，圖中人物在向讀者展示信息，例如圖6b，圖像模態(tài)中，女孩并沒(méi)有和讀者直接的眼神交流，只是提供了不同場(chǎng)景中孤身一人在陌生的城市生活的信息，讓讀者感同身受。Kress 和 Van Leeuwen[2]把這類圖像叫做“提供”類圖像。在言語(yǔ)模態(tài)中，同樣使用陳述句為讀者提供信息，大量使用“低落”“孤單”“悲涼”“哀傷”“荒寒”這些形容詞，營(yíng)造出都市中現(xiàn)代人生活彷徨、迷茫的氛圍。

但是，敘事繪本中，圖像模態(tài)與言語(yǔ)模態(tài)之間的互動(dòng)關(guān)系從宏觀到微觀都更為復(fù)雜，這兩類關(guān)系顯然無(wú)法概括圖像和讀者之間的復(fù)雜關(guān)系[8]。

圖6 接觸分析圖例

3.2.2距離

圖像模態(tài)可以使讀者接近人物和事件，也可以把讀者擋在圖像世界之外。按照距離的尺寸，Kress和Van Leeuwen[2]把距離分成近距離、中距離和遠(yuǎn)距離；按照人物關(guān)系的呈現(xiàn)，也可以分為個(gè)人距離和社會(huì)距離。通過(guò)遠(yuǎn)近距離的圖像模態(tài)構(gòu)建人物關(guān)系，敘述事件，實(shí)現(xiàn)圖像的互動(dòng)意義，這種方法在敘事繪本《我的爸爸叫焦尼》中得到了充分的運(yùn)用。如圖7a，圖像模態(tài)使用了個(gè)人的遠(yuǎn)距離，讀者可以清楚地看見(jiàn)參與人完整的形象，以及周?chē)沫h(huán)境；言語(yǔ)模態(tài)用陳述句的形式介紹了主人公的信息：一個(gè)父母離異后，和媽媽一起生活的小男孩，獨(dú)自在站臺(tái)等爸爸，為讀者構(gòu)建故事基本要素。圖7b是社會(huì)的近距離，圖像展示了參與者一對(duì)父子一起共進(jìn)午餐的溫馨場(chǎng)面，人物的表情可以看出父子久別之后再次會(huì)面的快樂(lè)，而言語(yǔ)模態(tài)詳述了孩子觀察到的“披薩”和“啤酒”，食物雖然普通，但是和久別重逢的爸爸一起享用，普通的食物也變得更美味。

圖7 距離分析圖例

3.2.3視點(diǎn)

Kress和Van Leeuwen[2]把圖像的視點(diǎn)分為仰視、俯視和平視三種。圖像不同角度的視點(diǎn)能夠表達(dá)象征性的權(quán)勢(shì)關(guān)系，同時(shí)能使讀者不同程度地介入圖像世界。以敘事繪本《小老鼠亞歷山大》為例，圖8a中小老鼠仰視貓的爪子，觀察視點(diǎn)和言語(yǔ)模態(tài)的敘述者視點(diǎn)一致。利用仰視的視點(diǎn)角度，與文本中“亞歷山大嚇壞了，他非常非常害怕哈茨”相呼應(yīng)，通過(guò)小老鼠的姿勢(shì)，讀者能體會(huì)到小老鼠的心理感受。同時(shí)這種仰視的視點(diǎn)，也象征著老鼠與貓之間不平等的權(quán)勢(shì)關(guān)系。圖8b采用了俯視的視點(diǎn)，同樣是敘述者視點(diǎn)，小老鼠俯視自己的家，這樣的視點(diǎn)與文本中“地板下的家”“地板上的家”相對(duì)應(yīng)。

圖8 視點(diǎn)分析圖例

3.3 圖像模態(tài)與言語(yǔ)模態(tài)的構(gòu)圖意義

與功能語(yǔ)法的組篇意義相對(duì)應(yīng)， Kress和Van Leeuwen[2]分析了多模態(tài)語(yǔ)篇的構(gòu)圖意義，并指出圖像的構(gòu)圖意義是由信息值、取景和顯著性這三種資源實(shí)現(xiàn)的。在分析圖像模態(tài)的構(gòu)圖意義時(shí)，Kress和Van Leeuwen認(rèn)為圖像和言語(yǔ)構(gòu)成了語(yǔ)篇的整體。在真實(shí)的交際中，圖像和文字，以及其他交際形式共同構(gòu)建了一體化的語(yǔ)篇。因此，信息值、取景和顯著性這些原則不僅適用于圖像，也適用于多模態(tài)語(yǔ)篇的版面設(shè)計(jì)[8]。下面結(jié)合敘事繪本的版面布局，來(lái)分析圖像模態(tài)與言語(yǔ)模態(tài)共建構(gòu)圖意義時(shí)相互補(bǔ)充的動(dòng)態(tài)關(guān)系。

3.3.1信息值

Kress等人[18]指出，信息值是指多模態(tài)話語(yǔ)中各種元素因?yàn)樵跇?gòu)圖中所占不同位置而產(chǎn)生的價(jià)值差異。所有的元素在多模態(tài)語(yǔ)篇中的信息值取決與它所被安排的位置。在多模態(tài)語(yǔ)篇的構(gòu)圖結(jié)構(gòu)中，左邊和右邊、上方和下方、中間和邊緣，都具有不同的信息。上方和下方分別排列主要信息和次要信息，同時(shí)也是理想和現(xiàn)實(shí)的分水嶺[11]。如果某一個(gè)元素被安排在上方，而其他元素被置于下方，那么上方的元素是“理想的”，下方的是“真實(shí)的”[8]?！袄硐氲摹笔侵刚Z(yǔ)篇中最理想的、最具概括性的信息。因此被放置在語(yǔ)篇中最凸顯的位置；“真實(shí)的”是指更具體的、更貼近實(shí)際的信息。

同時(shí)圖像和文字的相對(duì)位置，也會(huì)影響讀者對(duì)整頁(yè)或整本書(shū)的閱讀，因?yàn)閳D像和文字位置的編排會(huì)創(chuàng)造或打亂繪本每個(gè)跨頁(yè)上的視覺(jué)平衡。

以敘事繪本《尋找亞特蘭蒂斯》為例，圖9a中文字被安排在雙開(kāi)頁(yè)的左上方，以陳述句的形式提供故事的基本信息；下方則是與“箱子”“彎刀”“望遠(yuǎn)鏡”……相對(duì)應(yīng)的圖像，但圖像提供的遠(yuǎn)遠(yuǎn)不止這些，充滿想象力的圖像既對(duì)應(yīng)了言語(yǔ)，又補(bǔ)充了言語(yǔ)之外的意義。左上側(cè)的文字不僅有邊框圍繞，而且以規(guī)則的區(qū)塊呈現(xiàn)，使左頁(yè)的文字和右頁(yè)的圖像達(dá)成平衡。圖9b也是文字在上，圖像在下的布局。這樣的安排與人們從左往右，自上而下的閱讀習(xí)慣一致。

圖9 信息值分析圖例

3.3.2顯著性

顯著性指的是，在多模態(tài)語(yǔ)篇中某些元素吸引讀者注意力的程度，是通過(guò)被安排在前景或背景、尺寸大小、色調(diào)對(duì)比、明暗對(duì)比等手段來(lái)實(shí)現(xiàn)的。例如在敘事繪本《小老鼠亞歷山大》中，圖10a以貓的剪影為背景，小老鼠作為前景，呼應(yīng)文字中“他壓根沒(méi)注意到哈茨已走到了他的身后”；以明暗對(duì)比、相對(duì)尺寸營(yíng)造老鼠弱小、貓強(qiáng)大的危險(xiǎn)局面。類似的，在圖10b中，把老鼠置于前景，以他的大熊裝在燈光的照射下形成的陰影作為明暗對(duì)比，重現(xiàn)文本中“亞歷山大穿上它，在鏡子前面照了照，覺(jué)得自己看上去既勇敢又強(qiáng)壯”。燈光下形成的影子和小老鼠本身的明暗對(duì)比也暗示了它的強(qiáng)壯是偽裝的，讓讀者感受到小老鼠渴望強(qiáng)大的強(qiáng)烈的心理需求。

圖10 顯著性分析圖例

3.3.3取景

讀者在閱讀敘事繪本時(shí)，除了閱讀文本，還會(huì)更關(guān)注圖像的一些更具體的特質(zhì)，例如圖畫(huà)是否加了邊框。通常，加了框的圖像顯得較為拘謹(jǐn)，缺乏活力。因此，敘事繪本的圖像常常聚焦于身體動(dòng)作，很少加框，除非同一頁(yè)有多幅場(chǎng)景不同的圖，才會(huì)用框線分開(kāi)。嚴(yán)格限制的分界線，往往暗示著疏離和客觀性。Kress和Van Leeuwen把分割線這個(gè)手段稱為取景。用這些分割線來(lái)切斷或連接圖像中的元素，表示它們?cè)谡Z(yǔ)義上是否歸屬。有的敘事繪本，為了從不帶感情的客觀角度來(lái)描述事件，常常會(huì)給所有的圖像都加上邊框。例如敘事繪本《爺爺變成了幽靈》，整本書(shū)的圖像都用了圖畫(huà)周?chē)目瞻仔纬闪诉吙?，如圖11，平衡了開(kāi)跨頁(yè)的左右兩側(cè)，同時(shí)每一個(gè)分隔出來(lái)的場(chǎng)景，都對(duì)應(yīng)著文本中的每一個(gè)陳述句。根據(jù)Moebius[19]的說(shuō)法：加了邊框，圖像提供的是有限的一瞥，從外面“進(jìn)入”一個(gè)世界的感覺(jué)。所以在這里，小男孩沉浸在回憶的個(gè)人世界里，邊框的使用讓讀者從客觀角度進(jìn)入敘述者的世界。

圖11 取景分析圖例

4 多模態(tài)敘事繪本的圖文關(guān)系

多模態(tài)敘事繪本不同于其他任何語(yǔ)言藝術(shù)或視覺(jué)藝術(shù)的形式，它通過(guò)一系列圖像，并結(jié)合較少的文字或完全沒(méi)有文字，來(lái)傳達(dá)信息或講故事。兩種模態(tài)的使用是為了表達(dá)敘述者的整體意義，當(dāng)圖像模態(tài)不能充分表達(dá)其意義時(shí)，就需要借助言語(yǔ)模態(tài)來(lái)補(bǔ)充；反之亦然。在多模態(tài)敘事繪本中，圖像無(wú)法暗示焦點(diǎn)，無(wú)法說(shuō)明“觀看”的理由。沒(méi)有相伴隨的文字提供語(yǔ)境，圖像的視覺(jué)沖擊只能作為感官樂(lè)趣的源泉；反之，讓讀者僅看文字講述，不看圖像，整個(gè)故事的意義和效果都會(huì)發(fā)生改變。也就是說(shuō)，沒(méi)有圖像相伴的文字，在描述重要的視覺(jué)信息時(shí)是模糊的、不完整的且不具表現(xiàn)力的；沒(méi)有文字相伴的圖像是模糊的、不完整的，且缺乏焦點(diǎn)、時(shí)間關(guān)系和內(nèi)在意義。因此，多模態(tài)敘事繪本的圖文關(guān)系是互補(bǔ)中的非強(qiáng)化關(guān)系，兩種模態(tài)關(guān)系缺一不可，互為補(bǔ)充，相互協(xié)調(diào)、聯(lián)合和交叉，各自以不同的貢獻(xiàn)方式共建語(yǔ)篇意義。

5 結(jié)論

本研究以視覺(jué)語(yǔ)法為理論框架，對(duì)多模態(tài)敘事語(yǔ)篇進(jìn)行話語(yǔ)分析，進(jìn)一步厘清敘事繪本中，圖文之間互補(bǔ)類的非強(qiáng)化關(guān)系，其意義在于：首先，驗(yàn)證了視覺(jué)語(yǔ)法框架在對(duì)多模態(tài)敘事語(yǔ)篇進(jìn)行話語(yǔ)分析的可行性，展現(xiàn)其強(qiáng)大的解釋力；其次，圖像時(shí)代的來(lái)臨，多模態(tài)語(yǔ)篇的大量生產(chǎn)，需要更加細(xì)致的圖文關(guān)系研究，本研究為語(yǔ)篇生成，如何合理選擇圖像配置，構(gòu)建清楚有效的語(yǔ)篇意義，提供了理論依據(jù)。具體內(nèi)容分為以下三個(gè)方面：首先，利用圖像模態(tài)的再現(xiàn)意義和概念再現(xiàn)功能，在構(gòu)建多模態(tài)語(yǔ)篇時(shí)，有效使用圖像中的人物及動(dòng)作，色彩飽和度、聚焦程度、明暗對(duì)比等圖像元素，構(gòu)建事件的發(fā)展的時(shí)間和空間，以彌補(bǔ)言語(yǔ)模態(tài)的不足；其次，充分發(fā)揮圖像的三類“互動(dòng)意義”：接觸、距離和情態(tài)。通過(guò)這三個(gè)圖像要素建立讀者與圖像世界之間的互動(dòng)關(guān)系，激發(fā)讀者應(yīng)有的態(tài)度和情感，營(yíng)造出讀者對(duì)語(yǔ)篇的獨(dú)特觀感和體驗(yàn)；最后，靈活運(yùn)用圖像模態(tài)的構(gòu)圖意義，即信息值、顯著性和取景這三個(gè)資源，設(shè)計(jì)恰當(dāng)?shù)膱D像版面布局，和言語(yǔ)模態(tài)一起，共建一體化的敘事語(yǔ)篇。