兒童繪本：多模態(tài)話語分析的新寵

劉芳

摘 ? ?要： 文章以Kress & van Leeuwen的視覺語法為依據(jù)，從多模態(tài)社會符號學(xué)視角對Peppe the Lamplighter這一榮獲凱迪克銀獎的兒童繪本中的圖像進行描述和分析;并基于Nikolajeva & Scott對圖文關(guān)系的區(qū)分，揭示該繪本中的圖文關(guān)系，以期加深對兒童繪本的理解，優(yōu)化兒童繪本的譯介和出版。

關(guān)鍵詞： 多模態(tài)話語分析 ? ?視覺語法 ? ?圖文關(guān)系 ? ?《培培點燈》

一、引言

多模態(tài)話語是“運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象”。20世紀(jì)90年代以來，多模態(tài)話語分析一直是國外語言學(xué)界的研究熱點，國外學(xué)者也在該領(lǐng)域取得了豐碩的成果。但國內(nèi)相關(guān)研究處于起始階段，尚未成熟，且國內(nèi)學(xué)者多模態(tài)話語分析的對象多集中在廣告、電影或詩歌等語篇上，很少對兒童繪本（尤其是單一繪本）進行完整的分析。作為一種典型的多模態(tài)語篇，兒童繪本通過圖畫與文字的配合，共同敘述故事和傳遞知識。隨著對兒童閱讀的重視，兒童繪本開始大量出現(xiàn)，但其創(chuàng)作與譯介卻良莠不齊。本文以《培培點燈》為例，運用多模態(tài)社會符號學(xué)分析方法解讀優(yōu)秀兒童繪本的特征，以揭示多模態(tài)理論的可操作性，從而為繪本的創(chuàng)作和譯介提供依據(jù)，優(yōu)化當(dāng)下繪本市場。

二、理論背景

韓禮德認(rèn)為語言作為一種社會符號，具有表征客觀世界和內(nèi)心世界的概念、體現(xiàn)語言使用者的交際參與和交際角色關(guān)系的人際關(guān)系及組織成語篇等三大功能?！半m然這些元功能是首先基于對語言的研究提出來的，但這并不意味著它們僅僅局限于語言”。Kress 等人認(rèn)為，圖像可看做一種社會符號，也可用韓禮德分析語言的社會符號學(xué)方法來分析。因此，Kress & Van Leeuwen借用韓禮德的語言三大功能理論，分別從表現(xiàn)意義，即概念功能、互動意義，人際功能、組篇意義，即語篇功能三個不同的層面分析圖像等視覺符號的語義關(guān)系。

Kress & Van Leeuwen的視覺語法為理解和解釋多模態(tài)語篇中的圖像提供了有力的理論支持，但他們并未明確提出用來分析視覺和語言模態(tài)之間相互作用的理論框架，而且對于圖、文這兩種模態(tài)間的關(guān)系，學(xué)術(shù)界的看法不盡相同。Royce將圖文關(guān)系分為重復(fù)、同義、反義、整體與部分、上下義搭配關(guān)系。Barthes認(rèn)為圖像是多意的，因而圖像需要依附于文字，圖文的關(guān)系主要是闡釋和延伸。Nikolajeva & Scott 則將圖文關(guān)系定義為四種：（1）對稱關(guān)系，圖與文闡釋相同的內(nèi)容;（2）意義互補關(guān)系，兩種模態(tài)分別為對方提供了其缺少的信息，進行互補;（3）對比關(guān)系;（4）相反關(guān)系。相比較而言，Nikolajeva & Scott 的分析更清晰明確，因此本文將借鑒他們對圖文關(guān)系的區(qū)分來解讀繪本。

三、Peppe the Lamplighter的多模態(tài)話語分析

Peppe the Lamplighter曾獲1994年凱迪克銀獎，是繪本作者根據(jù)自己爺爺?shù)恼鎸嵔?jīng)歷改編而成的。該繪本講述了在世紀(jì)之交的紐約，主人公Peppe一家人懷抱“美國夢”來到小意大利城的移民故事。繪本的插畫家Ted Lewin以寫實畫法將書中人物的表情、感受表達得淋漓盡致，增強了繪本故事的真實性，并以大幅的黑色背景來襯托出燈光給人們帶來的明亮與溫暖的效果。

（一）Peppe the Lamplighter的視覺語法解讀

Kress & Van Leeuwen認(rèn)為，圖像中的視覺符號不僅可以反映客觀世界和主觀世界發(fā)生的各種事件，而且可以表現(xiàn)各種各樣的人際關(guān)系，與此同時視覺符號內(nèi)部也是一個有機的和連貫的整體，因此可以從概念功能、人際功能和語篇功能三個不同的層面分析圖像等視覺符號的語義關(guān)系。以下將基于視覺語法簡單描述圖像的再現(xiàn)、互動和構(gòu)圖意義。

1.再現(xiàn)意義

圖畫故事書（繪本）的再現(xiàn)元功能是通過圖畫中的人物、事物和場景表現(xiàn)的。在該繪本的17幅圖中，Peppe作為主人公出現(xiàn)了15次，其他家人的出現(xiàn)次數(shù)均少于5次，而其余參與人物只出現(xiàn)1次。至于圖畫背景，主要有兩個：一是Peppe的家，一是桑樹街。圖1、6、8、9、11、13、14、15和17是以桑樹街為背景，而圖2、7、10、12和16則以家為背景。繪本的前五幅圖是對故事人物、背景的介紹及Peppe找工作處處碰壁這一艱難處境的描述。第六幅圖則是對Peppe找到燈夫這一工作的事件再現(xiàn)。在接下來的圖畫中，故事在兩個場景中交替發(fā)生，但隨著故事情節(jié)的發(fā)展，同一背景下人物的情感發(fā)生了改變。尤其是以家為背景的后四幅圖體現(xiàn)了Peppe和父親兩個人的情感變化。父親先是對Peppe燈夫的工作表示不滿，但仍對他寄予厚望，然后不顧顏面對他喊罵責(zé)備，而后因小女兒的失蹤認(rèn)識到Peppe工作的重要性到最后的以Peppe為榮。而Peppe則一直備受壓力，直到最后贏得了父親的稱許，并感受到自己工作的價值。兩個場景的頻繁交替切換及人物情感的漸變使故事情節(jié)更加緊湊、充滿節(jié)奏感，增強了讀者思維的跳躍感，充分展現(xiàn)了圖像作為視覺符號的表達意義。

2.互動意義

“與系統(tǒng)功能語法中的語法關(guān)系相似，視覺語法中的互動意義旨在探討圖像制作者、圖像所呈現(xiàn)的世界與圖像觀看者之間的關(guān)系，同時表達圖像觀看者對表征事物應(yīng)持的態(tài)度”。在實現(xiàn)這種互動意義時，有三個要素：距離、接觸和視點。雖然情態(tài)也是互動意義的重要部分，但實現(xiàn)情態(tài)的資源在圖像中非常多，因此本文不進行一一描述。

Kress & Van Leeuwen根據(jù)圖像中的參與者與圖像觀看者之間有無直接的視線接觸，將接觸分為“索取”和“提供”兩種關(guān)系。在所有圖畫中，只有第二幅圖（圖1）中的參與者與圖像觀看者之間有直接的目光接觸。這表明圖像中的參與者向觀看者有所“索取”，它要求觀看者深度介入，參與到圖像表達的事件中。該圖是對Peppe及家人的形象展現(xiàn)，畫面中共9人，其中8人（包括Peppe）與觀看者有直接的目光接觸，從而把觀看者帶入到故事中去，身臨其境地感受Peppe經(jīng)歷的一切。而剩余圖畫中，參與者與觀看者之間沒有直接的目光接觸，是“提供類”圖像，旨在通過圖畫向觀看者提供信息，敘述故事。從社會距離上來看，社會距離決定參與者與觀看者之間的親疏關(guān)系，進而展示一種社會關(guān)系。這種親疏關(guān)系主要通過鏡頭取景的框架大小得到體現(xiàn)。在該繪本中，除幾個近鏡頭的取景外，畫面中人物多以長鏡頭取景的方式呈現(xiàn)出來，總體上展現(xiàn)了一種疏遠(yuǎn)的社會關(guān)系。就視點而言，當(dāng)仰視、俯視、平視某物時，我們會對物體產(chǎn)生象征性的權(quán)勢，平等的和不平等的[2]。Peppe對父親及其他社會場景中人物始終處于仰視的姿態(tài)，體現(xiàn)了他較低的家庭地位和社會地位。

3.構(gòu)圖意義

“對應(yīng)于功能語法的組篇意義，Kress & Van Leeuwen提出了多模式語篇的構(gòu)圖意義，并分析了構(gòu)圖意義的三種資源：信息值、取景和顯著性”。限于篇幅，下文只從信息值角度對關(guān)鍵圖像元素-Peppe和街燈進行描述和分析。

信息值是通過圖像中元素的位置安排來實現(xiàn)的，如左右、上下和中心—邊緣。在該繪本中，隨著故事情節(jié)的發(fā)展變化，Peppe在頁面中的位置也隨之改變。在故事開端，Peppe處于頁面的右方，且在圖像中所占比重較大，這不僅突出了Peppe的主人公地位，而且表明Peppe最初作為新信息出現(xiàn)，預(yù)示著他為維持家庭生計而尋找工作的新經(jīng)歷的開始。通過Peppe在頁面中位置的變化，體現(xiàn)了新舊信息的交替及故事情節(jié)的跌宕起伏。位置的上方與下方也具有不同的信息值。在該故事中，街燈是被置于上方的因素，而Peppe則被置于下方。置于上方的是“理想的”，置于下方的是“真實的”。每當(dāng)夜晚來臨，Peppe認(rèn)真地點亮每一盞燈，他覺得每一盞燈都燃起一盞小小的希望，于是他點燃每一盞燈的時候，都為自己的家人許下一個愿望。信息的“理想化”借助這一被置于上方的街燈體現(xiàn)得淋漓盡致。而位置上被置于下方的Peppe每天夜晚點燈的這一行為則是更實際的信息，更“腳踏實地的”信息。通過圖像中元素所展現(xiàn)的不同信息值，即“理想的”和“真實的”，突出了該故事關(guān)于夢想與現(xiàn)實的主題。對于中心與邊緣的格局，Kress & Van Leeuwen認(rèn)為置于中心位置的元素可凸顯其中心地位和重要性，而那些環(huán)繞在其四周的元素則一般處于次要的地位。該繪本的第一幅圖和最后一幅圖均描繪了Peppe在桑樹街點燈這一場景。在兩幅圖中，街燈均處于中心位置，從而突出了街燈在故事中的重要性，而且主人公在第一幅圖中點完燈離開的行為與最后一幅圖中去點燈的行為向觀看者描繪了一幅完整的畫面，首尾呼應(yīng)，敘述完整。

可以看出，繪本以Peppe和街燈為關(guān)鍵圖像元素，通過繪圖者對其位置的刻畫，將“美國夢”與移民家庭緊密聯(lián)系起來，從移民家庭這一小的視角來窺探美國歷史，感悟美國夢，突出了夢想與現(xiàn)實這一歷史主題;同時將Peppe及其家人的情感變化借由圖像生動地再現(xiàn)了出來，突出了繪本關(guān)于希望、幸福和痛苦的家庭主題。

（二）Peppe the Lamplighter的圖文關(guān)系解讀

居松直認(rèn)為：“假如用公式來表示的話，文+圖=有插畫的書，文*圖=圖畫書?！盵8]根據(jù)Nikolajeva & Scott對圖文關(guān)系的劃分，該繪本的圖文關(guān)系只涉及其中的對稱和互補，而且互補關(guān)系較為突出。

從繪本標(biāo)題“Peppe the Lamplighter”來看，只知道有一個參與者，即Peppe，其職業(yè)是燈夫。但圖片給我們提供了更豐富的信息，描繪了一個完整的動作過程——點燈。在這一過程中，動作者是Peppe，通過圖像，我們發(fā)現(xiàn)他是一個小男孩，其外形和著裝特點在畫面中清晰地展現(xiàn)出來，這是標(biāo)題所沒能表述的;目標(biāo)是街燈;而將動作者和街燈聯(lián)系起來的長長的木棍在Peppe和街燈這兩個圖像元素間形成了鮮明的對角線，再現(xiàn)了點燈這一過程。所以就標(biāo)題而言，圖像是對文字的補充。通過這一補充，引起讀者們思考“為什么小男孩這么小要做燈夫呢？”從而激發(fā)讀者的閱讀興趣并暗含著Peppe所承擔(dān)的超越年齡的那份責(zé)任。

在故事開端，圖像和文字都是對故事和人物背景的介紹。通過觀察發(fā)現(xiàn)，文字表述中出現(xiàn)的人物在該頁面的概念圖像中都有著視覺對應(yīng)物：Peppe，Peppe的父親及他的妹妹們，所以是對稱關(guān)系。但圖文互補關(guān)系體現(xiàn)得更為明顯。一方面，圖像意義補充了文字內(nèi)容。文字中一筆帶過的人物在圖像中都得到了形象再現(xiàn)，人物的樣貌、著裝、眼神、姿態(tài)在畫面中淋漓盡致地展現(xiàn)出來。而且畫面上出現(xiàn)的桌子，桌子上的煤油燈、杯子，窗戶，以及窗外漆黑的外景是對Peppe一家人所住公寓的簡單再現(xiàn)，而文字中并未表述。另一方面，文字內(nèi)容擴展了圖像意義。文字表述了故事發(fā)生的時間、地點和時代背景，但這些并未在圖畫中得到體現(xiàn)。例如“His father was sick……”這句話所表達的內(nèi)容僅靠看圖像難以解讀，但可以在圖1中看出來。所以圖像應(yīng)與文字相互作用，共同敘事。

圖 ?1

在故事進展階段，Peppe找到了工作，使故事情節(jié)得到進一步發(fā)展。對Peppe來說找到工作是好消息，這樣他就可以維持一家人的生計，而他父親卻對Peppe“燈夫”這一工作產(chǎn)生了極大的不滿。在故事發(fā)展的這一階段，畫面也在Peppe的家和桑樹街這兩個場景間來回切換，在一定程度上體現(xiàn)了父子之間所處的一種“拉鋸”狀態(tài)。圖2及所述文字更是體現(xiàn)了緊張的父子關(guān)系，圖文互補敘事，但這一部分更凸顯了文字的力量，文字傳達了比圖像更多的意義。圖像中只出現(xiàn)了父親這一個人物形象，而文字不僅表述了父親的言語過程，還詳述了Peppe的行為過程及他三個妹妹給予他安慰的言語、行為過程。通過對人物言語、心理及各種動作過程的文字表達，更好地體現(xiàn)了人物的情感和態(tài)度，尤其是父親對Peppe工作的不認(rèn)同。

圖 2

Peppe妹妹Assunta在Peppe沒有點燈的那一晚沒有回家的事件使故事發(fā)生了轉(zhuǎn)折，打破了父親對Peppe燈夫這一工作的偏見，并承認(rèn)“燈夫”是一個很重要的職業(yè)。所以Peppe重新點燈，找到了妹妹并贏得了家人尤其是父親的尊重。這一文字內(nèi)容與圖畫也是互補關(guān)系，但這里不再突出文字的力量，表明故事氛圍趨于平靜，人物關(guān)系得到改善。而繪本的最后一幅圖（圖3）也回到Peppe點燈的這一場景，但此時他的心境與之前截然不同。現(xiàn)在的他贏得了家人的尊重，他抬頭挺胸地點燃一盞盞燈，充滿希望地面對自己的人生;同時，在他心里的那些喜悅、失望、幸福還有痛苦也都在燈盞的亮光中化成溫暖……

通過以上分析發(fā)現(xiàn)，該繪本圖文之間不存在完全的對稱關(guān)系，也不只存在互補關(guān)系。只有了解了圖像與文字相互作用的方式，才能更好地理解繪本這一多模態(tài)語篇。

圖 3

四、結(jié)語

基于Kress & Van Leeuwen 的視覺語法和Nikolajeva & Scott的圖文關(guān)系理論的多模態(tài)話語分析，本文認(rèn)為圖像能夠幫助讀者更好地理解故事情節(jié)的發(fā)展，感受人物情感的變化。Peppe the Lamplighter的繪本作者以文字?jǐn)⑹龅母腥斯适屡c插畫家寫實的點燈畫面完美結(jié)合，展現(xiàn)了一個看待美國歷史的新視角。圖像中的場景讓讀者更準(zhǔn)確形象地了解世紀(jì)之交的紐約，而圖中主人公及其他參與人物的神情動作刻畫則有助于讀者把握故事的情感。圖像與文字的結(jié)合給予讀者更豐富的閱讀體驗，這是單一模態(tài)的語篇所做不到的，也是未來繪本的創(chuàng)作和譯介需要多加關(guān)注的重要方面。

參考文獻：

[1]李戰(zhàn)子，陸丹云.多模態(tài)符號學(xué)：理論基礎(chǔ)，研究途徑與發(fā)展前景[J].外語研究， 2012（2）： 1-8.

[2]李戰(zhàn)子.多模式話語的社會符號學(xué)分析[J].外語研究，2003（5）：1-8.

[3]Kress，G.& T.Van Leeuwen. Reading Images：The Grammar of Visual Design[M].London：Routledge，1996.

[4]Jewitt，Carey. The Routledge Handbook of Multimodal Analysis[C].London：Routledge，2009.

[5]Ventola， Eija & Arsenio Jesus Moya Guijarro. The World Told and the World Shown：Multisemiotic Issues[C].Hampshire：Palgrave Macmillan，2009.

[6]Kress，G. & T. Van Leeuwen. Multimodal Discourse：The Modes and Media of Contempory Communication[M].London：Arnold，2003.

[7]張敬源，賈培培.關(guān)于視覺語法的幾點思考[J].當(dāng)代外語研究，2012（3）：38-42.

[8]朱自強.兒童文學(xué)概論[M].北京：高等教育出版社，2009.

[9]Halliday，M. A. K. Language as Social Semiotic：[M].London：Edward Arnold，1978.

[10]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007（1）：1-10.

[11]胡壯麟、朱永生、張德祿、李戰(zhàn)子.系統(tǒng)功能語言學(xué)概論[M].北京： 北京大學(xué)出版社， 2005.

[12]謝妮妮.《格林童話》中圖文關(guān)系的邏輯語義擴展探討[J].外語教學(xué)，2014，35（1）：21-25.

[13]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009（1）：24-30.

[14]張德祿、穆志剛.多模態(tài)功能文體學(xué)理論框架探索[J].外語教學(xué)，2012，33 （3）： 1-6.

[15]周俐.兒童繪本中的圖、文、音——基于系統(tǒng)功能多模態(tài)語篇研究及社會符號學(xué)理論的分析[J].外國語文，2014，30（3）：106-112.

[16]周棋豐.多模態(tài)視域下的英語繪本圖文關(guān)系分析及啟示[J].北京科技大學(xué)學(xué)報， 2014， 30（5）： 22-27.

[17]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007（5）： 82-86.