多模態(tài)視域下外語教材的圖像再現(xiàn)意義的對(duì)比

隨著傳播手段的多樣化，多模態(tài)資源（圖像、聲音、行動(dòng)等）逐漸成為構(gòu)建意義、實(shí)現(xiàn)交際的重要方式。作為典型的多模態(tài)語篇，教材一直是多模態(tài)學(xué)者的研究對(duì)象，尤其是外語教材。大多數(shù)學(xué)者致力于單一外語教材的研究，以英語教材為主，也有一些學(xué)者嘗試對(duì)不同版本的英語教材進(jìn)行對(duì)比研究，然而對(duì)不同語種教材的對(duì)比研究數(shù)量較少，從多模態(tài)視角對(duì)不同語種教材進(jìn)行對(duì)比分析，有助于幫助教師和學(xué)生了解當(dāng)前教材中的多模態(tài)意義建構(gòu)機(jī)制，圖像作為教材中傳遞意義的重要載體，對(duì)圖像功能的探究有利于培養(yǎng)學(xué)生的多元識(shí)讀能力。

因此，本文基于視覺語法和符際互補(bǔ)理論，以大學(xué)英語和西班牙語精讀教材為語料，描述英西教材中圖像再現(xiàn)意義和圖文關(guān)系的分布特征，旨在揭示圖像如何建構(gòu)再現(xiàn)意義以及圖文互補(bǔ)機(jī)制如何進(jìn)一步補(bǔ)充意義。

視覺語法中的再現(xiàn)意義

Kress amp; Van Leeuwen基于系統(tǒng)功能語法理論，提出“視覺語法（VG）”的概念，其核心理論是把系統(tǒng)功能理論的三大元功能延伸到視覺圖像，分別是再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。

再現(xiàn)意義指的是任何符號(hào)系統(tǒng)必須以一種參照或者偽參照的意義表示特定符號(hào)系統(tǒng)之外的經(jīng)驗(yàn)世界，也就是說圖像和語言一樣可以反映客觀世界，包括人及其內(nèi)心活動(dòng)、地點(diǎn)和事物等。圖像的再現(xiàn)意義由兩部分組成：敘事再現(xiàn)和概念再現(xiàn)，二者的區(qū)別在于圖像中是否存在矢量。敘事再現(xiàn)是一種動(dòng)態(tài)過程，通過矢量表征正在發(fā)生的事件或活動(dòng)，而概念再現(xiàn)不存在矢量，圖像中的參與者相對(duì)穩(wěn)定，可稱為靜態(tài)過程，通常表征抽象意義。敘事再現(xiàn)可進(jìn)一步分為行動(dòng)過程、反應(yīng)過程、言語和心理過程，概念再現(xiàn)包括分類過程、分析過程和象征過程。分析視覺圖像并不意味著去語境化，圖像與文本之間是相輔相成、相互補(bǔ)充的關(guān)系。

概念符際互補(bǔ)理論

Royce的符際互補(bǔ)理論主要用于分析圖像和文本之間的銜接機(jī)制和互補(bǔ)關(guān)系?；谙到y(tǒng)功能語法理論和視覺語法理論，Royce提出了概念符際互補(bǔ)、人際符際互補(bǔ)和語篇符際互補(bǔ)的理論框架。其中，概念符際互補(bǔ)是基于Halliday amp; Hasan的詞匯銜接理論提出的。Royce認(rèn)為，對(duì)概念符際互補(bǔ)的研究首先需要識(shí)別圖像中的視覺元素，包括過程類型、參與者（視覺框架中的人或其他實(shí)體，無論是否有生命），然后分析確定視覺元素與語言符號(hào)之間的關(guān)系。圖像與文本之間有六種符際概念意義關(guān)系：重復(fù)、同義、反義、上下義、整體與部分和搭配。

分析框架

Guo amp; Feng 在Kress amp; Van Leeuwen 的視覺語法理論基礎(chǔ)上提出了探索圖像再現(xiàn)意義的理論框架。由圖1可知，再現(xiàn)意義的理論框架由三個(gè)要素構(gòu)成：過程類型、參與者和環(huán)境。過程類型借鑒了Kress amp; Van Leeuwen 的視覺語法中的再現(xiàn)意義的分類。為了使圖像中參與者的形象更加立體，可以從三個(gè)方面進(jìn)行分析：普遍或特殊、團(tuán)體或個(gè)人、卡通或照片。環(huán)境作為圖像的背景，從國(guó)內(nèi)學(xué)生的生活經(jīng)驗(yàn)角度可分為非本地和本地，Guo amp; Feng 將本地環(huán)境分為四個(gè)場(chǎng)所：學(xué)校、家、城市、社團(tuán)。根據(jù)本文的語料特征，將本地環(huán)境設(shè)置為學(xué)校、家和娛樂場(chǎng)所。

概念符際互補(bǔ)理論作為研究圖文語義互補(bǔ)關(guān)系的理論框架，恰好彌補(bǔ)了圖像再現(xiàn)意義建構(gòu)的不完整性。因此，本文將Guo amp; Feng的再現(xiàn)意義理論框架與概念符際互補(bǔ)理論相結(jié)合，建立針對(duì)探究圖像再現(xiàn)意義及圖文互補(bǔ)機(jī)制的多模態(tài)語篇分析框架。

本文語料選自外語教學(xué)與研究出版社出版的《現(xiàn)代大學(xué)英語》第二版（以下稱為“英語教材”）和《現(xiàn)代西班牙》（以下稱為“西語教材”）中的圖像。本文采用定量與定性相結(jié)合的研究方法對(duì)英西教材中的圖像進(jìn)行識(shí)別與統(tǒng)計(jì)，英語教材一共有四冊(cè)（不包含選修），每?jī)?cè)包括16個(gè)單元，每個(gè)單元均有一幅圖像，相同圖像不重復(fù)計(jì)算；西語教材共有4冊(cè)，所含單元數(shù)量與英語教材一致，每單元含有圖像數(shù)量不等，其中西語教材第四冊(cè)不含有圖像。因此，語料范圍確定為英語教材1—4冊(cè)和西語教材1—3冊(cè)，經(jīng)數(shù)量統(tǒng)計(jì)，英語教材共有56幅圖像，西語教材共有69幅圖像。

根據(jù)本文的分析框架，筆者對(duì)選取的125幅圖像（英語教材56幅，西語教材69幅）進(jìn)行數(shù)據(jù)統(tǒng)計(jì)并結(jié)合實(shí)例進(jìn)行具體分析。

英西教材中圖像再現(xiàn)意義三要素的統(tǒng)計(jì)與分析

1.英西教材中圖像過程類型的統(tǒng)計(jì)與分析

根據(jù)Guo amp; Feng的理論框架，敘事再現(xiàn)和概念再現(xiàn)不能出現(xiàn)在同一幅圖像中，但同一幅圖像可以含有一種過程類型的兩個(gè)或兩個(gè)以上子過程。經(jīng)數(shù)據(jù)統(tǒng)計(jì)，本文得出英西教材中圖像過程類型的頻率分布情況，如表1所示。

就敘事再現(xiàn)類型而言，在行動(dòng)過程中西語教材的圖像所占比例顯著高于英語教材，分別為50.72%和7.14%，在反應(yīng)過程中英西教材的圖像所占比例差異不大。這個(gè)結(jié)果符合學(xué)生的學(xué)習(xí)水平，對(duì)于英語的學(xué)習(xí)，國(guó)內(nèi)大學(xué)生可通過文本閱讀理解意義，而對(duì)西班牙語的學(xué)習(xí)，大多數(shù)大學(xué)生都屬于零基礎(chǔ)，利用圖像的敘事再現(xiàn)功能了解人物正在做某事，有助于提高學(xué)生學(xué)習(xí)西語的興趣和效率。以圖2為例，圖像中丈夫拿著調(diào)料向鍋具里撒的行動(dòng)構(gòu)成了一個(gè)矢量，發(fā)出矢量的丈夫作為行動(dòng)者，矢量指向的鍋具為目標(biāo)，這個(gè)行動(dòng)過程表征了丈夫正在做飯的事件。同時(shí)，這幅圖像還包含一個(gè)反應(yīng)過程，反應(yīng)過程的矢量是丈夫的目光，用眼睛觀察事物的是反應(yīng)者，也就是圖中丈夫，通過反應(yīng)過程表征人物進(jìn)行的活動(dòng)，可以拉近與學(xué)生的距離，引起學(xué)生的閱讀興趣。

就概念再現(xiàn)類型而言，英西教材的圖像過程類型分布有明顯差異。分類過程僅出現(xiàn)在西語教材的圖像中，象征過程僅出現(xiàn)英語教材的圖像中，在分析過程中，英語教材的圖像所占比例顯著高于西語教材，分別為66.07%和4.35%。這說明英語教材傾向于通過圖像參與者的結(jié)構(gòu)，培養(yǎng)學(xué)生系統(tǒng)（整體與部分）分析事物的能力。以圖3為例，圖中汽車作為承載者（整體），其各零件為擁有的屬性（部分），構(gòu)成分析過程，與文中“老掉牙的吉普”相對(duì)應(yīng)，反映作者當(dāng)時(shí)拮據(jù)的經(jīng)濟(jì)狀況，有利于幫助學(xué)生對(duì)文本內(nèi)容的理解，而西語教材傾向于利用圖像參與者之間的類別關(guān)系，幫助學(xué)生理清人物或事物之間的關(guān)系，以圖4為例，這幅圖像中包括春、夏、秋、冬，它們均統(tǒng)稱為季節(jié)，它們構(gòu)成上下級(jí)的關(guān)系，從圖像中學(xué)生可以直接觀察到四季的特征，從而增強(qiáng)學(xué)生歸納總結(jié)的能力。

2.英西教材中圖像參與者的統(tǒng)計(jì)與分析

本文的語料均是選自課文中的插圖，圖像中參與者的地位不容忽視。經(jīng)數(shù)據(jù)統(tǒng)計(jì)，前兩個(gè)方面的參與者類型的頻率分布差異不大，但在卡通/照片的類型上有明顯差異。英西教材中圖像均突出個(gè)人特征即特殊，且參與者數(shù)量在兩個(gè)及兩個(gè)以上即團(tuán)體，如圖2中，從外貌、服飾、體態(tài)等方面的突出特征可以判斷出參與者分別是丈夫和妻子，他們可以看作是一個(gè)團(tuán)體，有助于在學(xué)生頭腦中快速形成具體的人物形象，提高學(xué)生的速讀技能。在卡通/照片的類型上，英語教材的圖像多為照片，西語教材的圖像多為卡通圖片，參與者以卡通形式呈現(xiàn)，其夸張的行動(dòng)和表情能夠引起學(xué)生的閱讀興趣，參與者以照片形式呈現(xiàn)，通過真實(shí)場(chǎng)景再現(xiàn)使學(xué)生對(duì)描述場(chǎng)景形成直觀感受，有助于加深對(duì)晦澀知識(shí)的理解記憶。

3.英西教材中圖像環(huán)境的統(tǒng)計(jì)與分析

基于Guo amp; Feng的理論框架，圖像中的背景被稱為環(huán)境，分為非本地環(huán)境和本地環(huán)境，這取決于學(xué)生是否經(jīng)常去該場(chǎng)所。根據(jù)數(shù)據(jù)統(tǒng)計(jì)，英西教材中圖像的非本地環(huán)境頻率差異不顯著，而其本地環(huán)境的頻率存在明顯差異。英西教材的圖像均以非本地環(huán)境-區(qū)域?yàn)橹鳎@說明教材編寫者的目的在于通過圖像直觀了解更多不熟悉的區(qū)域場(chǎng)景，拓寬學(xué)生的視野。在本地環(huán)境中，英語教材使用較多的是娛樂場(chǎng)所，西語教材使用較多的是學(xué)校環(huán)境，這表明英語教材傾向于使用以?shī)蕵穲?chǎng)所為背景的圖像，輕松愉悅的場(chǎng)景容易激發(fā)學(xué)生的學(xué)習(xí)興趣，而西語教材能夠均衡使用本地環(huán)境圖像，場(chǎng)景的多樣化是英語教材編寫者值得借鑒的地方。

英西教材中圖文關(guān)系的統(tǒng)計(jì)與分析

在分析圖像建構(gòu)意義時(shí)還需要結(jié)合語境，因此，對(duì)圖文互補(bǔ)關(guān)系的研究也是必不可少的。英西教材中圖文關(guān)系的頻率分布情況如表2所示。

由表2可知，英語教材中所占比例位居前三的圖文關(guān)系依次是同義、搭配和重復(fù)，西語教材中所占比例位居前三的圖文關(guān)系依次是重復(fù)、同義和上下義。其中，在英西教材中搭配和重復(fù)的比例存在顯著差異。在搭配關(guān)系中，英語教材所占比例顯著高于西語教材，分別占33.93%和1.45%；在重復(fù)關(guān)系中，西語教材所占比例高于英語教材，分別為44.93%和10.72%。這表明英語教材中圖像呈現(xiàn)的過程、參與者和環(huán)境在文本中能找到相似的描述或者與抽象的詞匯相呼應(yīng)，有利于加強(qiáng)學(xué)生對(duì)較難知識(shí)的理解掌握，西語教材中圖像表征的行動(dòng)、人物和地點(diǎn)與文本敘述相對(duì)應(yīng)或是展現(xiàn)事物的具體結(jié)構(gòu)，有利于學(xué)生對(duì)重點(diǎn)知識(shí)的重復(fù)記憶，培養(yǎng)學(xué)生綜合分析事物的能力。

本文以視覺語法和符際互補(bǔ)理論為理論框架，采用定量和定性相結(jié)合的方法，對(duì)比分析了英西教材中圖像再現(xiàn)意義和圖文關(guān)系的分布特征。研究結(jié)果表明，英西教材均能根據(jù)學(xué)生的學(xué)習(xí)水平，選取恰當(dāng)?shù)膱D像，但仍存在傾向性：英語教材傾向于使用真實(shí)照片表征靜態(tài)過程，建構(gòu)整體與部分的抽象意義，與文本形成搭配關(guān)系，西語教材傾向于使用卡通圖片表征動(dòng)態(tài)過程，建構(gòu)正在發(fā)生的事件，與文本形成重復(fù)關(guān)系。從多模態(tài)視角，探究不同語種教材中圖像再現(xiàn)意義和圖文互補(bǔ)機(jī)制，有助于教師和學(xué)生了解教材中多模態(tài)意義建構(gòu)機(jī)制，從而培養(yǎng)學(xué)生的多元識(shí)讀能力。

作者簡(jiǎn)介：李京京（1996?），女，漢族，碩士研究生，長(zhǎng)春師范大學(xué)外國(guó)語學(xué)院碩士研究生，研究方向：功能語言學(xué)。

基金項(xiàng)目：本課題由長(zhǎng)春師范大學(xué)研究生科研創(chuàng)新項(xiàng)目資助《多模態(tài)視域下外語教材的圖文關(guān)系對(duì)比研究—以英語和西班牙語為例》；項(xiàng)目編號(hào)：長(zhǎng)春師范大學(xué)研究生科研創(chuàng)新項(xiàng)目【2020】第015號(hào)。