多模態(tài)語篇中的圖文關(guān)系

劉成科

(安徽農(nóng)業(yè)大學(xué)外國語學(xué)院，安徽合肥 230036)

一、引 言

人類社會的語篇世界已經(jīng)出現(xiàn)了多模態(tài)化的趨勢。語篇的意義生成不再單獨依賴于語言符號的貢獻，而是進一步凸顯了視覺符號的重要性，更多地將語言符號、視覺符號等多種符號體系融合起來，共同構(gòu)建語篇的意義。從某種意義上說，語篇的多模態(tài)性具有普遍性。多模態(tài)語篇指“任何通過一種以上符號編碼實現(xiàn)意義的語篇”(Kress＆Van Leeuwen 2006:177)。在這個符號體系中，視覺符號(圖片)與語言符號(文本)是其中最重要的兩種意義承載方式。因此，圖文關(guān)系將直接影響語篇意義的生成與理解。早在古希臘時代，柏拉圖(1986:268－271)的“線段之喻”就開始初步探討了圖文之間的關(guān)系。圖文關(guān)系的研究隨著社會符號學(xué)的發(fā)展日益流行起來，特別是20世紀70年代以來，很多學(xué)者(Roland Barthes 1977;Kress＆ Van Leeuwen 1996/2006;Karen Schriver 1997;Lemke 1998;O’Halloran 1999;Carney＆Levin 2002;Marsh＆White 2003;Martinec＆Salway 2005;Matthiessen 2007)分別從各自的研究領(lǐng)域分析了多模態(tài)語篇中的圖文關(guān)系，為圖文關(guān)系的研究奠定了一定的理論基礎(chǔ)，然而卻沒有能夠更加系統(tǒng)全面地剖析多模態(tài)語篇中的圖文關(guān)系模式，也未能把圖文意義的生產(chǎn)與消費統(tǒng)一起來。

二、圖文關(guān)系模式研究的多重視閾

(一)符號視角下的圖文關(guān)系模式

Barthes(1977)主要從符號的角度來審視圖文關(guān)系，重點研究了視覺符號(圖片)與語言符號(文本)兩種不同的符號體系如何相互聯(lián)系來生成意義的。正是基于這兩種不同符號體系之間的邏輯關(guān)系，他提出了三種基本的圖文關(guān)系:說明(illustration)，錨定(anchorage)和接遞(relay)。

“說明”主要是指圖片支持文本，文本處于信息承載的支配地位，而圖片則處于附屬地位，起著說明或支持文本意義的功能。根據(jù)Barthes的觀點，在這類圖文關(guān)系中，圖片對文本有一種“索求”的關(guān)系。文本是表意的基礎(chǔ)和根本，是必選的概念，相比之下，圖片則是依附于文本的存在而存在，屬于可選的范疇。這類圖文關(guān)系在報刊文章中十分常見。

“錨定”主要是指文本支持圖片，文本只是說明圖片的意義，而圖片才起著決定性的意義功能。語言與圖片都具有模糊性的特點。圖片存在著多種可能的解讀，需要用文本去“固定”住它們的意義。語言信息的功能就是去固定或錨定這些可能的意義，指導(dǎo)讀者的解讀，解決可能存在的視覺歧義和誤讀。其原理就是:“所有圖片都是多義的……存在一條所指的‘漂浮鏈’，讀者可以選擇其中一些而忽略其他的……因此，每個社會都需要想出各種手段來固定所指的‘漂浮鏈’，從而對抗符號不確定性的問題;語言信息就是這些手段中的一種?！?Barthes 1977:38－39)

“接遞”主要是指文本與圖片地位平等，沒有明顯主次關(guān)系的界限，而是兩者處于一種互補的關(guān)系?！拔淖趾蛨D片一樣，都是更綜合的結(jié)構(gòu)體的組成部分，信息的統(tǒng)一性在較高層次上得以實現(xiàn)?！?Barthes 1977:38－39)此外，語篇的意義也不能簡單地理解為圖片和文本的信息之和，或者兩種符號意義的簡單相加。Barthes認為這種圖文關(guān)系很少出現(xiàn)在固定的圖片里，但是在漫畫里的對話泡，電視或電影里移動的畫面里卻很常見。由此可見，Barthes從符號的角度對圖文關(guān)系的劃分相對來說比較簡單，便于讀者界定圖文關(guān)系的類型，了解圖文在多模態(tài)語篇中的不同角色。然而，該圖文關(guān)系的模式?jīng)]有涵蓋圖文相互獨立和圖文相互增補等情況，存在一定的片面性;又沒有在每一種模式下作更細化的分類，從而造成該模式的實際操作性較弱，有待于進一步補充與完善。

(二)功能視角下的圖文關(guān)系模式

1.Carney和Levin的圖文關(guān)系說。Carney＆Levin(2002)提出了多模態(tài)語篇中圖片的五種不同的功能:裝飾功能(decorational)、再現(xiàn)功能(representational)、組織功能(organizational)、闡釋功能(interpretational)和轉(zhuǎn)換功能(transformational)。

裝飾型圖片用來裝飾文本和點綴頁面，與文本內(nèi)容的關(guān)系不大或者根本沒有關(guān)聯(lián)，只包含極少或根本沒有任何附加信息。例如，旅行手冊里的一張大海的照片僅僅只有一種裝飾功能。再現(xiàn)型的圖片部分或完整地描述了文本的內(nèi)容，反映了文本里的部分或全部信息，也是最常見的插圖類型之一。例如，精確描述小說里某個場景的圖片就屬于此類。也有一些再現(xiàn)型的圖片甚至超出了文本，描述了文本里沒有的東西。例如，一幅繪畫作品，旁邊的文本描述該畫的內(nèi)容。

組織型圖片展示了文本的結(jié)構(gòu)信息，為文本內(nèi)容提供了一個便于理解的結(jié)構(gòu)性框架，如地圖或者展示傷口包扎步驟的圖片等。通常此類圖片一步一步地描述文本中的信息，使文本內(nèi)容更加具有結(jié)構(gòu)性、邏輯性和形象性，方便讀者的理解和操作。闡釋型圖片主要用于解釋難以理解的文本材料，如描述抽象的過程等。這些文本的內(nèi)容復(fù)雜抽象，僅僅依靠文本自身的闡釋是不夠的，而借助闡釋性的圖片可以讓讀者更清楚地理解文本中所呈現(xiàn)的信息，比如用水泵系統(tǒng)的圖片來解釋血壓的原理。轉(zhuǎn)換型圖片含有系統(tǒng)的記憶提升成分，這些成分直接解讀文本的信息，從而提高讀者對文本信息的記憶。

2.Marsh和White的圖文關(guān)系說。Marsh＆White(2003)通過分類法具體描述了圖片在文本中的功能。按照他們的分類，圖片在文本中的功能主要分為三個層面。第一層包含了3個總的圖片功能，第二層共有11個功能，第三層含有30個功能。第一層代表了三種圖文關(guān)系強度的類型。A組是圖片與文本關(guān)系松散型;B組是圖片與文本關(guān)系密切型;C組是圖片超越文本型。接下來將簡要解釋一下第二層功能。在A組里，第二層功能主要是裝飾、激發(fā)情感和控制?！把b飾”指圖片本身對文本信息的理解并沒有實質(zhì)性的影響，但是可以使文本更具吸引力;“激發(fā)情感”指圖片含有可以激發(fā)讀者某種情感的內(nèi)容;“控制”指圖片對讀者的影響是控制性或指導(dǎo)性的，圖片的內(nèi)容吸引讀者的關(guān)注，鼓勵讀者作出某種回應(yīng)。在B組里，第二層功能主要是重述、組織、關(guān)聯(lián)、濃縮和解釋。“重述”指圖片以細微的變化或解釋來重述文本中的信息;“組織”指圖片用結(jié)構(gòu)的形式呈現(xiàn)信息，通常使用比文本形式更易理解的圖形來展示信息，如圖表、地圖或其他任何可以更清楚地以結(jié)構(gòu)化組織化的方式展示信息的形式;“關(guān)聯(lián)”指圖片表示文本內(nèi)部所包含的過程或概念;“濃縮”指圖片使信息更加緊湊和精煉，或者把信息壓縮成一些基本的要素或元素;“解釋”則是指圖片使信息清晰而便于理解。只有當(dāng)圖片的內(nèi)容與文本密切相關(guān)時，才可使用此種功能，否則必須使用C組與此類似的功能。在C組里，第二層的功能主要是闡釋、擴展和轉(zhuǎn)換。“闡釋”指圖片把復(fù)雜抽象的文本概念變成更加形象具體的形式;“擴展”指圖片提供了更多的細節(jié)、例證或?qū)π畔⒌木唧w分析來拓展文本;“轉(zhuǎn)換”指圖片把文本中的信息轉(zhuǎn)換成另一種形式。

總之，以上兩組學(xué)者對圖文關(guān)系的解讀，主要是在功能思想的指導(dǎo)下，基于圖片支持文本的視角全面探討了多模態(tài)語篇中的圖文關(guān)系，分類詳細，邏輯清楚，有利于讀者更好地理解圖片在多模態(tài)語篇中的功能。但是，他們都沒有考慮文本支持圖片或者文本與圖片地位平等的情形。圖片本身就是有組織的，也是有結(jié)構(gòu)的，并不是完全依附于文字。圖文之間各有所長，各有所短，不可隨意偏廢其中一方。所以，從某種程度上說，他們并沒能夠擺脫傳統(tǒng)思維模式下對圖片這種符號系統(tǒng)的固有偏見，仍然把圖片放在表意過程中的從屬地位，因而需要根據(jù)語篇世界的發(fā)展趨勢作出相應(yīng)的補充和完善。

(三)邏輯語義視角下的圖文關(guān)系模式

Martinec＆Salway(2005)借鑒Barthes(1977)和Halliday(1994)早期作品中的思想提出了圖文之間的相互關(guān)系模式，他們對圖文關(guān)系類型的描述更加側(cè)重于在多模態(tài)語篇中的圖文互動，并沒有片面強調(diào)圖片或文本的支配地位。他們認為該模式可以作為“圖文關(guān)系的總系統(tǒng)”。既可以描述圖片支持文本的情況，又可以解釋文本支持圖片的情況，還可以說明圖片與文本相互依存或相互獨立的情況。該模式認為圖片與文本之間存在兩種關(guān)系，即地位關(guān)系和邏輯語義關(guān)系。

1.地位關(guān)系。地位關(guān)系指圖片與文本之間的相對地位。在平等關(guān)系中，兩種模態(tài)之間是相互獨立或者相互補充的關(guān)系。在不平等關(guān)系中，一種模態(tài)處于支配地位，另一種處于從屬地位。當(dāng)圖片與文本存在整體上的關(guān)聯(lián)時，兩種模態(tài)就是平等關(guān)系。當(dāng)圖片與文本這兩種模態(tài)相互依賴或相互修飾時，它們之間就存在互補關(guān)系。當(dāng)兩種模態(tài)各自可以單獨呈現(xiàn)，彼此之間沒有相互依存，那么，在這種情況下，兩種模態(tài)之間的關(guān)系就是獨立的。當(dāng)一種模態(tài)依賴于另一種模態(tài)而存在時，模態(tài)之間就存在著從屬關(guān)系。

2.邏輯語義關(guān)系。邏輯語義關(guān)系有兩種主要類型:擴展和投射?！皵U展”就是指一種模態(tài)在內(nèi)容上拓展了另一種模態(tài)?！巴渡洹笔侵敢环N模態(tài)重復(fù)了另一種模態(tài)所展現(xiàn)的內(nèi)容?！巴渡洹笨梢苑譃樵捳Z和思想?！皵U展”則可以分三種類型:詳述、延伸和增強。“詳述”主要指一種模態(tài)為另一種模態(tài)提供了更加詳細的描述，并不一定提供了新信息?！霸斒觥庇址譃殛U述和例證。闡述指當(dāng)兩種模態(tài)(如圖片與文本)展示同一信息，但以不同的形式或方法進行呈現(xiàn)，兩種模態(tài)同樣概括并且相互復(fù)述。例證則是通過提供更加具體的例子進一步擴展信息?！把由臁敝敢环N模態(tài)延伸了另一種模態(tài)的信息。延伸模式增加了全新的元素，給出了例外的情況，或提供了其他的選擇。這種延伸的信息是新增加的信息，然而，兩種模態(tài)中的信息必須是相關(guān)的?！霸鰪姟敝敢环N模態(tài)通過一些情景信息(地點、時間、目的或原因)來增強另一種模態(tài)。例如藝術(shù)作品類的圖片可以通過說明作品創(chuàng)作的時間和地點方面的文本增強作品本身的內(nèi)容。增強與延伸有點類似，兩者都增加了新的信息，但前者是通過提供環(huán)境背景等來增強另一種模態(tài)的信息或內(nèi)容。第二種主要類型是投射，還可以細分為話語和思想。Martinec＆Salway(2003:352)認為:“話語是言語的投射，通常通過言語過程來實現(xiàn)。思想是意義的投射，主要通過心理過程來實現(xiàn)?！彼麄冋J為投射主要出現(xiàn)在兩種不同的語境中，即漫畫和圖文結(jié)合體。話語和思想在漫畫中的區(qū)別非常明顯，話語指“對話泡”里的文本，而思想指“思考泡”里的文本。

由此可見，該模式比較系統(tǒng)地闡述了多模態(tài)語篇中的圖文關(guān)系。一方面，考慮了圖文之間的地位關(guān)系，把兩者置于一個獨立平等的平臺上進行客觀考量，沒有片面強調(diào)一方，而忽略另一方;另一方面，根據(jù)兩者之間的邏輯語義關(guān)系，對圖片和文本在多模態(tài)語篇中的表意特點作出了較為全面的描述。不過，該模式主要借鑒了功能語言學(xué)視角下的小句關(guān)系理論，而圖片與文本之間的邏輯語義判斷比單純的小句之間更加復(fù)雜，因此，在解讀過程中，也容易出現(xiàn)混淆或者主觀隨意性強的缺點。

(四)信息視角下的圖文關(guān)系模式

Schriver(1997)提出了五種圖文關(guān)系模式:冗余(redundant)、互補(complementary)、增補(supplementary)、并置(juxtapositional)和布景(stage－setting)。

“冗余”是指視覺信息與言語信息表達的內(nèi)容之間基本相同，難以區(qū)分。它是通過圖片與文本兩種不同的再現(xiàn)方式來表達信息的主要內(nèi)容。正如Schriver指出的那樣:“話題越難以理解，讀者可能會越歡迎冗余的出現(xiàn)。”(1997:413)原理圖和用于解釋說明該圖的文本信息之間的關(guān)系就屬于冗余的范疇。“互補”是指圖片和文本表達不同的內(nèi)容，但是兩者通過相互之間的緊密合作共同幫助讀者理解信息的基本概念。Schriver認為“互補的關(guān)系也可以幫助讀者綜合圖片和文本表達的信息?！?1997:415)例如，手機使用說明書中，通過文本和圖片相互補充來共同描述如何更換電池。“增補”指圖片和文本表達不同的信息，但是一種模態(tài)處于支配地位，表達主要的信息，而另一種模態(tài)詳細敘述處于支配地位的模態(tài)所要表達的內(nèi)容，或者更進一步說明和闡釋該內(nèi)容。第四種圖文之間的關(guān)系就是“并置”，在Schriver看來，當(dāng)出現(xiàn)并置的情景時，“主要的信息是通過某種碰撞，意想不到的綜合或者每種模態(tài)呈現(xiàn)的內(nèi)容之間的張力而表達出來的”(1997:422)。根據(jù)Schriver的觀點，并置組合最常見的情景就是廣告，也經(jīng)常會出現(xiàn)在海報、圖片封面和CD的封面上。最后一種圖文結(jié)合方式就是布景。一種模態(tài)通過預(yù)測內(nèi)容或可能要呈現(xiàn)的觀點為另一種模態(tài)的出現(xiàn)提供背景。如Schriver所言的那樣:“提供背景的文本或圖片通過提供語境框架提高讀者對后面信息的理解?！?1997:413)布景類型的文本特征的例子有大綱、教學(xué)目標列表和內(nèi)容導(dǎo)覽流程圖等。

因此，Schriver從圖片和文字對多模態(tài)語篇信息的貢獻出發(fā)，淡化了圖片和文字在多模態(tài)語篇中的地位關(guān)系，提出了上述五種圖文關(guān)系類型。此外，該圖文關(guān)系模式在某種程度上也考慮了語篇消費者的解讀需求(如“冗余”的存在就通過信息的重疊滿足讀者的理解需求)，讓讀者在解讀語篇時能夠盡可能方便地接受語篇所傳達的信息。不過，該模式同Barthes的劃分一樣，較為簡單，對于多模態(tài)語篇中一些比較復(fù)雜的圖文關(guān)系的解釋仍然顯得單薄，缺乏更為系統(tǒng)性的解讀。

三、圖文關(guān)系模式的建構(gòu):問題與思考

1.圖文關(guān)系模式的精密度。不同視角下的圖文關(guān)系模式在精密度上存在很大差異?？傮w來說，Barthes，Carney＆Levin，以及Schriver的圖文關(guān)系劃分相對比較簡單，精密度也比較低?？梢哉f是一種粗線條式的分類方法，更多地從宏觀角度解讀圖文之間的關(guān)系，而淡化了微觀上細小的差別。這種低精密度的劃分有利于更加清楚準確地界定圖文關(guān)系的類型，不易產(chǎn)生混淆或者誤判，但是，有時因為過于簡單，對于某類語篇的解讀不夠全面具體，顯得有些力不從心，解釋力偏弱。相比之下，Marsh＆White(2003)和Martinec＆Salway(2005)的圖文關(guān)系分類則比較復(fù)雜，精密度也比較高，可以按照不同的要求對圖文關(guān)系進行不同層次或精密度的劃分。因此，圖文關(guān)系解讀的空間更大，或者解讀的彈性更強。不過，高精密度的劃分也容易造成重點不夠突出，結(jié)構(gòu)過于復(fù)雜的問題，可能產(chǎn)生混淆或歸類錯誤。所以，可以根據(jù)必要性原則，把精密度控制在一定的范圍，適度增減，從而更有利于讀者對圖文關(guān)系的理解。

2.圖文意義生成的經(jīng)濟性。不同于以往單一模態(tài)語篇的意義生成方式，多模態(tài)語篇的意義是由語篇中不同的模態(tài)之間通過相互作用，相互協(xié)作，共同生成。作為多模態(tài)語篇中的最常見的符號編碼體系，即圖片與文本，它們在多模態(tài)語篇的意義生成過程中各自扮演著不同的角色。作為視覺符號的圖片，擁有形象性、直觀性以及結(jié)構(gòu)性等特點，尤其在解釋抽象的概念和復(fù)雜的過程時，具有文本不可比擬的優(yōu)越性。在讀圖時代和多模態(tài)語篇日益流行的今天，圖片在語篇中的地位已經(jīng)得到普遍的認可，語篇的意義生成方式發(fā)生的根本性的變革，不再過度依賴文本符號對語篇的貢獻，而是更多地靈活運用圖片與文本各自的特點。也就是說，從多模態(tài)語篇意義生成的角度出發(fā)，基于意義生成的經(jīng)濟性，經(jīng)過綜合考量去選擇圖片與文本之間的關(guān)系類型。無論采用何種圖文關(guān)系模式構(gòu)成多模態(tài)的語篇，都不要簡單地把兩者割裂開來，也不該過于強調(diào)兩者之間的地位關(guān)系，而要根據(jù)語篇生成的經(jīng)濟性，以最有效最經(jīng)濟的圖文關(guān)系模式，充分發(fā)揮圖文表意時各自的特長，優(yōu)勢互補，取長補短，表達最清楚最豐富的語篇意義。

3.圖文意義消費的便利性。圖文意義消費是指讀者對多模態(tài)語篇中圖文意義的理解或解讀，或者指對圖文意義的接收和消化。多模態(tài)語篇改變了以前過分強調(diào)語篇生產(chǎn)的環(huán)節(jié)，更多地從語篇消費的視角出發(fā)，充分考慮了語篇消費者的認知特點等因素，把語篇的消費與語篇的生產(chǎn)統(tǒng)一起來。因此，多模態(tài)語篇中的圖文關(guān)系模式的選擇，一方面需要從圖文意義生成的經(jīng)濟性考慮，優(yōu)化配置圖文資源，合理選擇圖文關(guān)系模式，更加有效清楚地生成語篇意義;另一方面，又必須從圖文意義消費的角度出發(fā)，根據(jù)語篇潛在的讀者群體的特點，靈活運用圖文關(guān)系模式，盡量減少讀者解讀圖文意義時的認知努力，從而把從語篇生產(chǎn)到語篇消費有機地結(jié)合起來。例如，信息視角下的圖文關(guān)系中的“冗余”就是考慮到讀者解讀語篇時可能會存在困難，而使用不同方式再現(xiàn)相同的內(nèi)容方便讀者的理解;又如邏輯語義視角下的“擴展”同樣基于對讀者消費語篇的考慮，從而采用“詳述”、“延伸”或“增強”的方式幫助讀者更好地接受語篇的意義;再如，符號學(xué)視角下的“錨定”便是通過去除圖片多義性帶來的理解障礙的方式幫助讀者對語篇的消費;在功能視角下，Carney＆Levin提出的“闡釋功能”，或者Marsh＆White提出的“重述”等功能也都是為了滿足讀者語篇消費的需求?？傊?，在圖文關(guān)系模式的建構(gòu)中，應(yīng)該從圖文意義消費的角度出發(fā)，根據(jù)不同的讀者群體的特征和要求，選擇不同的圖文關(guān)系模式，從而更加有效地生成語篇的意義。

4.圖文意義之間的互動性。多模態(tài)語篇的意義主要通過語篇中的圖片和文本之間的意義互動而生成。語篇中的圖片和文字都具有相對的獨立性和自足性。按照Halliday＆Hasan的銜接和連貫理論［24］，圖文意義關(guān)系之間具有語言本身的語義特征，如重復(fù)、同義和反義等。換言之，圖文意義之間既可以是并列的，又可以是互補的，甚至是沖突的。以沖突為例，假如圖文之間的意義是沖突的，它同樣表現(xiàn)出了圖文之間意義互動形成的一種特殊的語義張力。如馬格里特的著名的畫作《形象的背叛》。圖片顯示的是一只煙斗，而圖片下方的文字說明卻是“這不是一只煙斗”。該語篇的意義就是通過圖文意義之間的沖突而形成特殊的互動方式產(chǎn)生的。因此，在圖文關(guān)系模式的建構(gòu)中，應(yīng)該摒棄僵化的“語言中心論”或“圖像霸權(quán)”的片面思想，把圖文意義看成動態(tài)的有機整體，充分考慮圖文意義的互動性特點，合理選擇圖文關(guān)系模式，從而豐富多模態(tài)語篇意義建構(gòu)的手段。

［1］柏拉圖.理想國［M］.北京:商務(wù)印書館，1986.

［2］Barthes，R.Image－Music－Text［M］.London:Fontana.1977.

［3］Carney，R N，and Levin，J R.Pictorial illustrations still improve students learning from text［J］.Educational Psychology Review，2002，14(1).

［4］Halliday，M A K.An Introduction to Functional Grammar(2nd edition)［M］.Edward Arnold，London.1994.

［5］Halliday，H A K ＆ Hasan，R.Cohesion in English［M］.London:Longman，1976.

［6］Kress，G ＆ T van Leeuwen.Reading Images:The Grammar of Visual Design［M］.London:Routledge，2006.

［7］O’Halloran，K L.Towards a Systemic Functional Analysis of Multisemiotic Mathematics Texts［J］.Semiotica，1999，124(1/2).

［8］Lemke，J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［A］.In J.R.Martin and R.Veel(eds)Reading Science:Critical and Functional Perspectives on Discourses of Science［C］，London:Routeldge，1998..

［9］Marsh，E E and White，M D.A Taxonomy of Relationships between Images and Texts［J］.J.of Documentation，2003，59(6).

［10］Matthiessen，C M I M.The Multimodal Page:A Systemic Functional Exploration［A］.In T.D.Royce＆ W.L.Bowcher.New Directions in the Analysis of Multimodal Discourse［C］.Mahwah，New Jersey:Lawrence Erlbaum Associates，2007.

［11］Martinec，R，Salway，A.A system for image－ text relations in new media［J］.Visual Communication，2005，4(3).

［12］Schriver，K A.Dynamics in document design:creating text for readers［M］.Willey Computer Publishing，1997.