數(shù)字化讀圖時(shí)代多模態(tài)翻譯能力與培養(yǎng)策略

吳靜 龍明慧

(重慶師范大學(xué) 外國(guó)語(yǔ)學(xué)院,重慶 401331)

0 引言

21 世紀(jì)是一個(gè)數(shù)字化時(shí)代,也是一個(gè)讀圖的時(shí)代。 在這個(gè)時(shí)代,數(shù)字、網(wǎng)絡(luò)和新媒體技術(shù)在各個(gè)領(lǐng)域得到廣泛使用,人們的閱讀習(xí)慣出現(xiàn)視覺(jué)化轉(zhuǎn)向,整合語(yǔ)言文字、圖片、影像等多種符號(hào)的多模態(tài)信息傳播日益成為信息傳播的主流方式。 相應(yīng)地,在翻譯領(lǐng)域,翻譯的對(duì)象也已遠(yuǎn)超出傳統(tǒng)線性文本范疇(王少爽 等,2018),譯者在更多時(shí)候需要處理的是整合文字、圖像、聲音、影像等多種模態(tài)符號(hào)的多模態(tài)文本,進(jìn)行多模態(tài)翻譯。 能夠處理多模態(tài)文本,以及運(yùn)用多模態(tài)手段進(jìn)行翻譯的多模態(tài)翻譯人才的培養(yǎng)也變得極為必要。

多模態(tài)翻譯有不同于單一語(yǔ)言模態(tài)翻譯的特點(diǎn),最突出的就是在翻譯過(guò)程中涉及多種模態(tài)符號(hào)的意義構(gòu)建。 因此,相對(duì)于單一語(yǔ)言模態(tài)翻譯,多模態(tài)翻譯對(duì)譯者有著不同的要求。 然而,在當(dāng)前的翻譯教學(xué)領(lǐng)域,雖然越來(lái)越多的聲音倡導(dǎo)多模態(tài)教學(xué),但學(xué)者們提及的多模態(tài)翻譯教學(xué)主要限于利用多媒體技術(shù)、多媒體網(wǎng)絡(luò)平臺(tái)或多模態(tài)材料作為輔助工具來(lái)進(jìn)行語(yǔ)言翻譯教學(xué)活動(dòng)。 這些方法旨在培養(yǎng)語(yǔ)言翻譯人才,尚未深入研究多模態(tài)翻譯實(shí)踐本身的特點(diǎn)及其對(duì)譯者提出的新要求,以解決多模態(tài)翻譯人才培養(yǎng)的問(wèn)題。 能力的培養(yǎng)是翻譯人才建設(shè)的核心(唐昉,2022)。 那么,培養(yǎng)多模態(tài)翻譯人才的核心問(wèn)題就是培養(yǎng)學(xué)生的多模態(tài)翻譯能力。 因此,本文結(jié)合多模態(tài)翻譯的特點(diǎn),構(gòu)建多模態(tài)翻譯能力模式以及多模態(tài)翻譯能力的具體培養(yǎng)策略,為培養(yǎng)更能適應(yīng)時(shí)代需求的多模態(tài)翻譯人才提供借鑒。

1 數(shù)字化讀圖時(shí)代的多模態(tài)翻譯能力模式

翻譯能力一直是翻譯研究,特別是翻譯教學(xué)研究的一個(gè)重要話題。 對(duì)于翻譯能力,學(xué)者們一般從不同角度,通過(guò)翻譯的“子能力”對(duì)翻譯能力進(jìn)行詮釋。 紐博特(Neubert)(2000:3-18)認(rèn)為翻譯能力包含語(yǔ)言能力、文本能力、主題能力、文化能力和轉(zhuǎn)換能力。 麥肯齊(Mackenzie)(2004:32-33)指出,翻譯能力不僅包括語(yǔ)言文化運(yùn)用能力,還包含溝通能力、計(jì)算機(jī)運(yùn)用能力、營(yíng)銷能力和管理能力。 西班牙PACTE 專項(xiàng)研究小組提出翻譯能力“六成分說(shuō)”,即翻譯能力包括雙語(yǔ)子能力、語(yǔ)言外子能力、翻譯知識(shí)子能力、工具子能力、心理生理要素和策略子能力等六大子能力(PACTE,2005; 祝朝偉,2015)。 譚載喜(2012:115)從“綜合”的概念出發(fā)來(lái)考察對(duì)譯者或翻譯專才的教育,認(rèn)為譯者或翻譯專才應(yīng)該具備基本的 “子能力”,即認(rèn)知能力、相關(guān)雙語(yǔ)能力、技術(shù)輔助能力和轉(zhuǎn)換能力。 而我國(guó)2020 年發(fā)布的《翻譯專業(yè)本科教學(xué)指南》借鑒國(guó)外翻譯能力研究的相關(guān)成果,經(jīng)由國(guó)內(nèi)翻譯學(xué)界對(duì)翻譯能力內(nèi)涵的持續(xù)探討,將翻譯能力界定為:“能運(yùn)用翻譯知識(shí)、方法與技巧進(jìn)行有效的語(yǔ)言轉(zhuǎn)換,一般包括雙語(yǔ)能力、超語(yǔ)言能力(如百科知識(shí)、話題知識(shí)等)、工具能力、策略能力等。”(趙朝永 等,2020)

目前學(xué)界提出的翻譯能力,不管是語(yǔ)言能力還是語(yǔ)言外能力,最終指向的都是依靠并運(yùn)用這些能力順利地將一種語(yǔ)言文本表述的信息用另一種語(yǔ)言表述出來(lái)。 也就是說(shuō),學(xué)者們?cè)谔接懛g能力時(shí)都是以語(yǔ)言為意義載體的翻譯為默認(rèn)對(duì)象。 而多模態(tài)翻譯涉及對(duì)多種模態(tài)符號(hào)的意義處理,對(duì)譯者翻譯能力自然會(huì)有更多要求。 譯者除了要具備單一語(yǔ)言模態(tài)翻譯要求的能力以外,還需要具有非語(yǔ)言視覺(jué)符號(hào)處理能力以及將語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)進(jìn)行有機(jī)整合的能力。 因此,我們可參照學(xué)界對(duì)翻譯能力的解釋,將多模態(tài)翻譯能力分為語(yǔ)言翻譯能力、視覺(jué)讀寫能力①雖然有的多模態(tài)文本也包含聽(tīng)覺(jué)信息,但目前翻譯涉及的大多數(shù)多模態(tài)文本,最突出的意義構(gòu)建資源還是語(yǔ)言符號(hào)和非語(yǔ)言視覺(jué)符號(hào),因此本文重點(diǎn)研究涉及視覺(jué)信息的多模態(tài)翻譯能力培養(yǎng),將視覺(jué)讀寫能力而非聽(tīng)覺(jué)讀寫能力作為多模態(tài)翻譯能力的一個(gè)子能力。和多模態(tài)整合能力這三個(gè)子能力。 而這三個(gè)子能力又可以進(jìn)一步進(jìn)行細(xì)分,具體如下圖所示:

圖1 多模態(tài)翻譯能力模式

1.1 語(yǔ)言翻譯能力

語(yǔ)言翻譯能力就是迄今學(xué)界所討論的翻譯能力,即從事語(yǔ)言翻譯涉及的各種能力。 具體而言,就是理解原文語(yǔ)言承載的信息,并結(jié)合讀者需求,以合適的方式將其用目標(biāo)語(yǔ)言再現(xiàn)出來(lái)的能力。 要正確全面地理解原文語(yǔ)言承載的信息并將其轉(zhuǎn)換為另一種語(yǔ)言,譯者首先需要具備雙語(yǔ)能力,能夠理解和熟練運(yùn)用翻譯所涉及的兩種語(yǔ)言。 然而,語(yǔ)言并非存在于真空中,而是凝聚了各種文化、社會(huì)和歷史因素。 因此,除了雙語(yǔ)能力外,譯者還需要具備語(yǔ)言之外的百科知識(shí)能力,掌握社會(huì)文化知識(shí)、主題知識(shí)等。 要獲取這些知識(shí),自然離不開(kāi)運(yùn)用輔助工具的能力。 此外,由于不同語(yǔ)言、文化之間的差異,以及翻譯環(huán)境、讀者需求方面的差異,譯者在用譯文語(yǔ)言呈現(xiàn)原文信息時(shí),往往需要進(jìn)行一些調(diào)整和改動(dòng),這就需要譯者具有翻譯策略能力。

關(guān)于語(yǔ)言翻譯能力,學(xué)界已有廣泛而深入的闡述。 本文不再贅述其詳細(xì)內(nèi)涵,而將重心置于對(duì)視覺(jué)讀寫能力以及多模態(tài)整合能力的探討。

1.2 視覺(jué)讀寫能力

視覺(jué)讀寫能力是“一種就像計(jì)算、信息技術(shù)和識(shí)字一樣的跨學(xué)科文化技能”(Hughes,1998:117)。具體說(shuō)來(lái),就是指理解和應(yīng)用圖像的能力,包括運(yùn)用圖像進(jìn)行思考、學(xué)習(xí)和表達(dá)自己的能力。 換言之,擁有視覺(jué)讀寫能力就是要能夠創(chuàng)造或選擇合適的圖像來(lái)表達(dá)從具體信息到抽象概念中的各種意義。同時(shí),可以閱讀、解釋和提取他人創(chuàng)造的各類視覺(jué)信息(劉成科 等,2014)。 因此,視覺(jué)讀寫能力至少應(yīng)該包括視覺(jué)信息理解能力和視覺(jué)圖像設(shè)計(jì)創(chuàng)造能力這兩個(gè)子能力。

1.2.1 視覺(jué)信息理解能力

視覺(jué)信息理解能力是指能夠識(shí)別各種視覺(jué)設(shè)計(jì)元素,理解視覺(jué)符號(hào)的意義,了解一般人對(duì)某個(gè)圖像會(huì)產(chǎn)生什么樣的反應(yīng),并能解釋其原因。

而視覺(jué)符號(hào)的意義,和語(yǔ)言符號(hào)的意義一樣,并不局限于表層意義。 早在1955 年,德國(guó)藝術(shù)史學(xué)家潘諾夫斯基(Panofsky)在論述如何理解藝術(shù)品圖像時(shí)就提出了理解藝術(shù)品圖像的三個(gè)階段,即:(1)前圖像志階段(preiconographic)、圖像志階段(iconographic)、圖像學(xué)解釋階段(iconological)。 這三個(gè)階段對(duì)應(yīng)視覺(jué)圖像的三個(gè)意義層次,即事實(shí)意義、表現(xiàn)意義和內(nèi)在意義(Serafini,2011)。

第一個(gè)階段前圖像志階段,聚焦圖像的事實(shí)意義,主要是對(duì)視覺(jué)形式最基本、最自然的意義的解釋,涉及將視覺(jué)形式與我們從實(shí)際經(jīng)驗(yàn)中認(rèn)識(shí)的對(duì)象簡(jiǎn)單等同起來(lái)。 簡(jiǎn)言之,就是能夠識(shí)別視覺(jué)圖像所指代的實(shí)際事物。

第二個(gè)階段圖像志階段,聚焦圖像的表現(xiàn)意義,主要是對(duì)視覺(jué)形式從屬的或約定俗成的意義的解釋,要求觀察者跳出表面意象,結(jié)合實(shí)際社會(huì)和特定文化理解視覺(jué)形式所代表的意義。 比如豎大拇指在中國(guó)文化中表示稱贊,但在其他文化中可能有不同的意義。 又如同樣的顏色、動(dòng)植物在不同的社會(huì)文化中也可能具有不同的含義。 而理解視覺(jué)圖像這一層次的意義對(duì)于從事多模態(tài)翻譯極其重要。 翻譯總是涉及兩種文化之間的轉(zhuǎn)換,譯者在理解原文涉及的視覺(jué)符號(hào)時(shí),就必須考慮該視覺(jué)符號(hào)在原語(yǔ)文化中約定俗成的意義,同時(shí)考慮目標(biāo)讀者在理解該視覺(jué)符號(hào)時(shí)可能會(huì)和原文讀者產(chǎn)生不同的反應(yīng),以及如何避免目標(biāo)讀者對(duì)視覺(jué)符號(hào)可能產(chǎn)生的誤解或理解困難。 若是使用多模態(tài)手段對(duì)單一語(yǔ)言模態(tài)原文進(jìn)行翻譯,在選擇視覺(jué)符號(hào)時(shí)更要考慮來(lái)自不同文化背景的目標(biāo)語(yǔ)讀者對(duì)視覺(jué)符號(hào)的接受情況,避免出現(xiàn)文化誤解。

第三個(gè)階段圖像學(xué)解釋階段,聚焦圖像的內(nèi)在意義的解釋。 圖像總是產(chǎn)生于特定的社會(huì)、政治和歷史語(yǔ)境之中,并因此獲得特定的意識(shí)形態(tài)和文化意義。 要正確理解圖像的這一意義,就需要觀察者將圖像置于特定社會(huì)、政治和歷史語(yǔ)境中進(jìn)行分析。 如萬(wàn)字符“卐”本是佛祖釋迦牟尼胸部所現(xiàn)的“瑞相”,象征吉祥福瑞,具有“萬(wàn)德吉祥”的含義,但自二戰(zhàn)后成為德國(guó)納粹的黨徽,具有了血腥、暴力和恐怖的象征意義。

視覺(jué)符號(hào)這三個(gè)層次的意義其實(shí)剛好對(duì)應(yīng)語(yǔ)言的指稱意義、內(nèi)涵意義和象征意義。 這三種意義中,第一個(gè)層次的意義,也就是視覺(jué)符號(hào)的事實(shí)意義,由于圖像的直觀形象性,最易理解。 而要理解第二個(gè)、第三個(gè)層次的意義,則需要進(jìn)行系統(tǒng)學(xué)習(xí)。 因此培養(yǎng)學(xué)生理解多模態(tài)文本中視覺(jué)符號(hào)在特定文化的內(nèi)涵意義和象征意義應(yīng)成為培養(yǎng)學(xué)生視覺(jué)讀寫能力的重點(diǎn)目標(biāo)。

1.2.2 視覺(jué)圖像設(shè)計(jì)和創(chuàng)造能力

視覺(jué)讀寫能力中解碼與編碼兩種能力同等重要(Braden et al., 1982)。 除了解碼能力,即理解視覺(jué)信息的能力,視覺(jué)信息的編碼能力,進(jìn)行視覺(jué)圖像的設(shè)計(jì)和創(chuàng)造的能力也是視覺(jué)讀寫能力不可或缺的部分。 視覺(jué)圖像的設(shè)計(jì)和創(chuàng)造能力,就是基于對(duì)視覺(jué)元素的了解,能夠運(yùn)用一定的工具,選擇合適的原創(chuàng)圖片或者根據(jù)視覺(jué)傳播的基本原則對(duì)基本視覺(jué)元素進(jìn)行綜合設(shè)計(jì),傳遞想要表達(dá)的意義,引起讀者認(rèn)知和情感上的反應(yīng)。

鑒于視覺(jué)圖像往往具有如上所述的三種意義,進(jìn)行視覺(jué)圖像的設(shè)計(jì)和創(chuàng)造就不能僅限于運(yùn)用視覺(jué)圖像來(lái)傳達(dá)其事實(shí)意義,而是要能夠運(yùn)用合適的視覺(jué)符號(hào)在特定文化、特定社會(huì)、政治和歷史語(yǔ)境中傳達(dá)更深層次的意義,確保讀者能夠理解圖像的內(nèi)涵意義或是象征意義,從而產(chǎn)生共鳴。

對(duì)于運(yùn)用多模態(tài)手段對(duì)單一語(yǔ)言模態(tài)文本進(jìn)行翻譯,譯者的視覺(jué)圖像設(shè)計(jì)和創(chuàng)造能力是十分重要的。 雖然存在從事圖像創(chuàng)作的專業(yè)人士,但不同于藝術(shù)領(lǐng)域內(nèi)的藝術(shù)創(chuàng)作,翻譯中設(shè)計(jì)創(chuàng)造圖像的目的是更有效地輔助傳達(dá)原文的意義和內(nèi)容。 單單依靠從事圖像創(chuàng)作的專業(yè)人士所設(shè)計(jì)的圖像未必能滿足多模態(tài)翻譯的需求,例如為了追求藝術(shù)效果,有些圖像設(shè)計(jì)者往往傾向于設(shè)計(jì)一些抽象、模糊、寫意的圖像。 但對(duì)于這類圖像,普通讀者未必能夠理解。 因此,進(jìn)行多模態(tài)翻譯,還需要譯者具備基本的圖像設(shè)計(jì)創(chuàng)造能力,能夠立足原文信息的傳達(dá)以及目標(biāo)讀者的文化背景,靈活運(yùn)用色彩、聲音、動(dòng)畫、人物或事物形象等,選擇合適角度、焦點(diǎn)和背景生成圖像或影像傳達(dá)原文各個(gè)層次的意義,特別是傳達(dá)原文無(wú)法用語(yǔ)言表述清楚,或是目標(biāo)讀者單單依靠語(yǔ)言無(wú)法實(shí)現(xiàn)全面理解的信息。 同時(shí)考慮視覺(jué)符號(hào)文化特殊性,避免出現(xiàn)在目標(biāo)語(yǔ)文化中屬于文化禁忌,或是讓目標(biāo)語(yǔ)讀者困惑、誤解的視覺(jué)信息。 在多模態(tài)翻譯過(guò)程中,即使視覺(jué)圖像的創(chuàng)作由專門的圖像制作者完成,譯者仍然需要積極參與并與他們進(jìn)行有效的溝通。 要實(shí)現(xiàn)與圖像制作者的有效交流,譯者也需要具備基本的視覺(jué)圖像設(shè)計(jì)和創(chuàng)作能力。 這樣,譯者才能更好地理解和傳達(dá)原文的內(nèi)容和意義,并確保翻譯文本與所生成的圖像之間的一致性和準(zhǔn)確性。

1.3 多模態(tài)整合能力

進(jìn)行多模態(tài)翻譯,不是僅僅理解和創(chuàng)造視覺(jué)文本,而是要理解和創(chuàng)造語(yǔ)言和非語(yǔ)言符號(hào)整合而成的文本。 要做到這一點(diǎn),除了語(yǔ)言翻譯能力和視覺(jué)讀寫能力外,多種模態(tài)的整合能力也必不可少。 而多模態(tài)整合能力具體又可以細(xì)分為圖文關(guān)系識(shí)別和構(gòu)建能力以及圖文互動(dòng)策略能力這兩個(gè)子能力。

1.3.1 圖文關(guān)系識(shí)別和構(gòu)建能力

對(duì)于多模態(tài)語(yǔ)篇,圖文關(guān)系將直接影響語(yǔ)篇意義的生成與理解(劉成科,2014)。 而從事多模態(tài)翻譯,不管是理解多模態(tài)原文,還是生成多模態(tài)譯文,譯者首先需要明確的便是圖文關(guān)系。

當(dāng)翻譯的對(duì)象是多模態(tài)文本時(shí),如影視、繪本、配圖廣告、新聞等,譯者首先需要識(shí)別語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)這兩種不同的符號(hào)體系如何相互聯(lián)系并生成意義,非語(yǔ)言符號(hào)和語(yǔ)言符號(hào)是呈現(xiàn)同樣信息的冗余關(guān)系,還是表達(dá)不同內(nèi)容的互補(bǔ)關(guān)系,亦或是非語(yǔ)言符號(hào)提供語(yǔ)言信息的背景,或是對(duì)語(yǔ)言文本的裝飾。 譯者只有在明確這些關(guān)系的基礎(chǔ)上才能確定在翻譯過(guò)程中是否要對(duì)非語(yǔ)言符號(hào)進(jìn)行特別處理。例如,若原文中非語(yǔ)言符號(hào)和語(yǔ)言符號(hào)是冗余關(guān)系,譯者幾乎不需要對(duì)非語(yǔ)言圖像進(jìn)行特別處理。 但如果在原文語(yǔ)境下非語(yǔ)言符號(hào)是對(duì)語(yǔ)言符號(hào)提供的信息進(jìn)行進(jìn)一步補(bǔ)充,譯者便需要做出研判:在目標(biāo)語(yǔ)環(huán)境下,目標(biāo)語(yǔ)讀者是否能夠理解這些補(bǔ)充信息? 若不能,是需要更換圖像,還是對(duì)圖像進(jìn)行額外的解釋? 譯者甚至可能還需要考慮原文的圖文關(guān)系是否適合用于目標(biāo)語(yǔ)語(yǔ)境中,譯文是否要改變?cè)牡膱D文關(guān)系。

若是運(yùn)用多模態(tài)手段對(duì)單一語(yǔ)言模態(tài)文本進(jìn)行翻譯,譯者則需要確定對(duì)于原文完全用語(yǔ)言表達(dá)的信息,需要使用什么樣的視覺(jué)符號(hào)。 視覺(jué)符號(hào)和語(yǔ)言符號(hào)以一種什么樣的關(guān)系才能更好地傳達(dá)原文的意義,且更容易為目標(biāo)語(yǔ)讀者所理解。 確定譯文的圖文關(guān)系后,譯者才能據(jù)此選擇、設(shè)計(jì)合適的非語(yǔ)言符號(hào),并對(duì)這些非語(yǔ)言符號(hào)進(jìn)行排版布局,最終生成有效的多模態(tài)譯本。

1.3.2 圖文互動(dòng)策略能力

圖文互動(dòng)策略能力是指在使用語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)共同構(gòu)建譯本時(shí),能夠運(yùn)用一定的策略,使語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)互相整合,成為一個(gè)有機(jī)整體,共同傳遞文本意義。 比如,在用多模態(tài)手段翻譯單一語(yǔ)言模態(tài)原文時(shí),若是在文本中插入了插圖且這些插圖明確表述了原文文本的某些信息,那么譯文在語(yǔ)言描述上便可以進(jìn)行適當(dāng)?shù)膭h除和簡(jiǎn)化。 若是插圖中出現(xiàn)令讀者理解困難、可能產(chǎn)生誤解的信息,就需要在語(yǔ)言描述中增加適當(dāng)?shù)慕忉尅?又如譯者在翻譯多模態(tài)文本時(shí),若是發(fā)現(xiàn)在原文語(yǔ)境中,本來(lái)彼此關(guān)聯(lián)的原文語(yǔ)言和非語(yǔ)言符號(hào),到了目標(biāo)語(yǔ)環(huán)境中由于語(yǔ)言和目標(biāo)讀者文化認(rèn)知語(yǔ)境的不同,語(yǔ)言和非語(yǔ)言符號(hào)失去了關(guān)聯(lián),譯者便需要調(diào)整語(yǔ)言表達(dá)或非語(yǔ)言符號(hào),實(shí)現(xiàn)譯文語(yǔ)篇中語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)的連貫重構(gòu),使語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)在目標(biāo)語(yǔ)語(yǔ)境中重新成為一個(gè)有機(jī)整體。

由于多模態(tài)翻譯本身的特殊性,譯者要從事多模態(tài)翻譯,語(yǔ)言翻譯能力、視覺(jué)讀寫能力以及多模態(tài)整合能力這三個(gè)子能力缺一不可。 然而,目前翻譯專業(yè)和外語(yǔ)專業(yè)的學(xué)生普遍缺乏視覺(jué)讀寫能力和多模態(tài)整合能力的培養(yǎng)。 這兩種能力的培養(yǎng)需要采用與語(yǔ)言翻譯能力培養(yǎng)不同的策略和方法。 因此,當(dāng)前需要著重探索針對(duì)視覺(jué)讀寫能力和多模態(tài)整合能力的培養(yǎng)策略,以滿足日益增長(zhǎng)的多模態(tài)翻譯需求。

2 數(shù)字化讀圖時(shí)代的多模態(tài)翻譯能力培養(yǎng)策略

如前所述,數(shù)字化時(shí)代的多模態(tài)翻譯能力應(yīng)該包括語(yǔ)言翻譯能力、視覺(jué)讀寫能力以及多模態(tài)整合能力。 對(duì)于語(yǔ)言翻譯能力的培養(yǎng),學(xué)界已有大量論述,本文在此主要探討從事多模態(tài)翻譯所需要的視覺(jué)讀寫能力和多模態(tài)整合能力的培養(yǎng)策略。

視覺(jué)讀寫能力主要包括視覺(jué)信息理解能力和視覺(jué)圖像設(shè)計(jì)創(chuàng)造能力,而多模態(tài)整合能力則包括圖文關(guān)系識(shí)別構(gòu)建能力和圖文互動(dòng)策略能力。 要培養(yǎng)這幾個(gè)能力,可以通過(guò)具體的多模態(tài)翻譯實(shí)踐案例,教授學(xué)生識(shí)別各種視覺(jué)元素,再以視覺(jué)語(yǔ)法為指導(dǎo),了解視覺(jué)圖像的意義構(gòu)建原則和方式,激發(fā)學(xué)生視覺(jué)符號(hào)的文化差異意識(shí),繼而訓(xùn)練學(xué)生識(shí)解各種圖文關(guān)系,熟悉多模態(tài)整合策略。

2.1 引導(dǎo)學(xué)生識(shí)別視覺(jué)元素,以視覺(jué)語(yǔ)法為指導(dǎo),了解視覺(jué)圖像意義構(gòu)建原則

視覺(jué)信息通過(guò)視覺(jué)圖像呈現(xiàn),而視覺(jué)圖像則是由各種視覺(jué)元素整合構(gòu)成。 不管是理解視覺(jué)圖像的意義,還是設(shè)計(jì)創(chuàng)造視覺(jué)圖像,都需要熟悉構(gòu)成視覺(jué)圖像的各種元素。 因此,培養(yǎng)學(xué)生視覺(jué)符號(hào)的理解和運(yùn)用能力,首先需要教會(huì)學(xué)生識(shí)別各種視覺(jué)元素,了解各種視覺(jué)元素如何構(gòu)建意義。

視覺(jué)元素包括線條、形狀、色調(diào)、色彩、圖案、紋理和形式等,是藝術(shù)作品的基本構(gòu)件①對(duì)視覺(jué)元素的具體詳細(xì)介紹可參見(jiàn)https:∥www.artyfactory.com/art_appreciation/visual-elements/visual-elements.html.,相當(dāng)于語(yǔ)言中的字和單詞。 這些基本元素本身具有豐富的意義,同時(shí)又根據(jù)一定的原則組合起來(lái)傳達(dá)更多的意義。 如不同的色彩,除了指代色彩本身以外,還有不同的聯(lián)想象征意義。 色彩和形狀、線條、圖案組合起來(lái)又會(huì)傳達(dá)不同的意義。 如陳絲雨繪圖、孫見(jiàn)坤進(jìn)行文字注解的《山海經(jīng)》圖文版,其中的插圖使用了黑、白、紅三種顏色,剛好契合中國(guó)人民歷來(lái)對(duì)這三種顏色的偏愛(ài)以及這三種顏色代表的深厚文化內(nèi)涵①對(duì)于黑白紅三色在中國(guó)文化中的特有內(nèi)涵和重要意義,參見(jiàn)李彥彬,2009.中國(guó)傳統(tǒng)色彩中的黑白情結(jié). 藝術(shù)教育[J].(7):156-157,以及“中國(guó)傳統(tǒng)‘紅’與‘黑’色彩元素的文化探源https:∥wenku.so.com/d/41c454e150cfac599049b75ba083ba66.。

對(duì)于各種視覺(jué)元素如何表達(dá)意義,克萊斯等(Kress et al., 1996) 在韓禮德的系統(tǒng)功能語(yǔ)法理論的基礎(chǔ)上提出的視覺(jué)語(yǔ)法為我們提供了一套系統(tǒng)的分析框架。 兩位學(xué)者將韓禮德(Halliday)提出的語(yǔ)言的三大元功能延伸到視覺(jué)圖像,認(rèn)為視覺(jué)圖像具有再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義,分別對(duì)應(yīng)語(yǔ)言的概念、人際和語(yǔ)篇的三大元功能。 其中,再現(xiàn)意義可分為敘事再現(xiàn)和概念再現(xiàn)兩大類。 敘事再現(xiàn)主要分為行動(dòng)過(guò)程、 反應(yīng)過(guò)程、 言語(yǔ)和心理過(guò)程。 概念再現(xiàn)則主要分為分類過(guò)程、分析過(guò)程和象征過(guò)程。 體現(xiàn)再現(xiàn)意義的符號(hào)資源包括表征參與者、過(guò)程和環(huán)境。 表征參與者是指被描繪的,“我們所談?wù)摰?、書寫的或是為之生成圖像的”的參與者(Kress et al.,1996: 48),例如圖像中的人物、事物和地方。 過(guò)程指圖像中描繪的動(dòng)作和關(guān)系。 環(huán)境則指圖像中描繪的場(chǎng)景。

視覺(jué)圖像中的互動(dòng)意義指圖像制作者、圖像所呈現(xiàn)的世界與圖像觀看者之間的關(guān)系,同時(shí)表達(dá)圖像觀看者對(duì)表征事物應(yīng)持有的態(tài)度(張敬源 等,2012)。 實(shí)現(xiàn)互動(dòng)意義主要依賴接觸(contact)、社會(huì)距離(social distance)、態(tài)度(attitude)和情態(tài)(modality)四個(gè)要素。 接觸指圖像中的參與者與觀看者通過(guò)目光建立起來(lái)的一種想象中的關(guān)系。 社會(huì)距離決定圖像參與者和觀看者之間的親疏關(guān)系,進(jìn)而展示一種社會(huì)關(guān)系。 這種親疏關(guān)系主要通過(guò)鏡頭取景的框架大小得以體現(xiàn),特寫或近鏡頭、長(zhǎng)鏡頭、中鏡頭分別表示不同的親疏關(guān)系。 態(tài)度指圖像觀看者對(duì)圖像參與者的態(tài)度,主要通過(guò)視角體現(xiàn),水平角度體現(xiàn)觀看者介入圖像世界的程度,垂直角度則體現(xiàn)兩者的地位差異。 情態(tài)強(qiáng)調(diào)圖像世界反映現(xiàn)實(shí)的真實(shí)度,與色彩飽和度(color saturation)、色彩區(qū)分度(color differentiation)、色彩協(xié)調(diào)度(color modulation)、語(yǔ)境化(contextualization)、再現(xiàn)(representation)、深度(depth)、照明(illumination)和亮度(brightness)相關(guān)。 以色彩飽和度為例,如果顏色傳達(dá)情感,那么飽和度就是這種情感的飽滿度,飽和度等級(jí)就等同于感情從最強(qiáng)烈到最柔和的等級(jí)。 圖像飽和度高可能代表一種積極的、冒險(xiǎn)肆意的或充滿活力的情感,而飽和度低則可能表達(dá)一種平淡、壓抑和陰郁的情感(Chen,2021)。

視覺(jué)圖像的構(gòu)圖意義指圖像如何整合其再現(xiàn)意義和互動(dòng)意義,從而形成一個(gè)有意義的整體,主要通過(guò)信息值(information value)、顯著性(salience)和取景(framing)實(shí)現(xiàn)。 信息值通過(guò)圖像中元素的位置安排來(lái)實(shí)現(xiàn),通過(guò)位置安排可以判斷圖像元素的地位、角色和重要性(Kress et al., 1996)。 也就是說(shuō),圖像元素在整個(gè)圖像的中央、邊緣、左側(cè)、右側(cè)、上方、下方等方位會(huì)傳遞不同的意義;取景指通過(guò)分割線條或分割框架來(lái)連接或隔斷圖像中的元素,來(lái)表達(dá)意義上的從屬或不從屬關(guān)系(張敬源 等,2012);顯著性指圖像元素對(duì)讀者注意力的吸引程度,通過(guò)前景、背景、相對(duì)大小、色調(diào)、清晰度等方面體現(xiàn)(Chen,2021)。

基于視覺(jué)符號(hào)傳遞信息的特點(diǎn),要培養(yǎng)學(xué)生的視覺(jué)讀寫能力,我們可以首先引導(dǎo)學(xué)生認(rèn)識(shí)單個(gè)視覺(jué)元素,讓其了解單個(gè)視覺(jué)元素的不同形式所表達(dá)的意義以及人們會(huì)如何感知這些視覺(jué)元素,會(huì)對(duì)這些視覺(jué)元素的不同形式產(chǎn)生何種聯(lián)想。 例如,線條的不同形式:曲線表達(dá)什么意義,直線、鋸齒線、水平線、垂直線又分別表達(dá)什么意義。 哪種顏色有什么具體及抽象的聯(lián)想意義,不同色調(diào)如何傳達(dá)不同的信息等等。

在學(xué)生了解基本視覺(jué)元素后,可以以視覺(jué)語(yǔ)法為指導(dǎo),讓學(xué)生了解由各個(gè)視覺(jué)元素組合而成的圖像如何通過(guò)相對(duì)大小、位置安排、前景背景設(shè)置、色調(diào)、色彩飽和度、分割線、鏡頭長(zhǎng)短、視角、人物目光注視方向等細(xì)節(jié)設(shè)置實(shí)現(xiàn)再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。 在具體操作上,可以給學(xué)生呈現(xiàn)一幅圖片,然后以提問(wèn)的方式引導(dǎo)學(xué)生對(duì)圖像意義進(jìn)行深度理解。 比如可以問(wèn)學(xué)生:什么是前景? 什么是背景?圖中人物在看什么? 圖中人物是用長(zhǎng)鏡頭拍攝,還是中、短鏡頭? 這樣的拍攝給你什么樣的感覺(jué)? 某個(gè)人物或物體在整幅圖像占據(jù)中心位置,還是邊緣位置,是在左邊還是右邊,上面還是下面? 這樣的位置傳達(dá)出什么信息? 圖像使用了什么色調(diào)? 這種色調(diào)給你什么樣的感覺(jué)?

除了提問(wèn)引導(dǎo),還可以通過(guò)圖像對(duì)比的方式加深學(xué)生對(duì)圖像細(xì)節(jié)設(shè)置的認(rèn)知。 比如呈現(xiàn)一幅圖畫中兩個(gè)人物大小、位置的差異,讓學(xué)生推敲這種差異代表什么意思,是否代表兩個(gè)人物地位的不同? 也可選擇報(bào)道同一事件的不同新聞圖片,讓學(xué)生分析圖片中的前景和背景設(shè)置的差異,或是物像色彩飽和度等的差異,進(jìn)而解讀作者看待該事件的不同視角和態(tài)度。

培養(yǎng)學(xué)生的視覺(jué)讀寫能力,就如同培養(yǎng)學(xué)生的語(yǔ)言讀寫能力一樣,可以從單個(gè)視覺(jué)元素到元素整合的規(guī)則和方式,讓學(xué)生逐步學(xué)會(huì)對(duì)視覺(jué)圖像進(jìn)行深入細(xì)致的分析,為多模態(tài)翻譯奠定基礎(chǔ)。 不過(guò),多模態(tài)翻譯涉及跨文化的圖像理解和創(chuàng)造,而圖像也和語(yǔ)言一樣,具有文化特殊性,因此在學(xué)生了解基本的視覺(jué)符號(hào)及其意義構(gòu)建方式后,還需要培養(yǎng)學(xué)生的視覺(jué)符號(hào)文化差異意識(shí)。

2.2 激發(fā)學(xué)生視覺(jué)符號(hào)文化差異意識(shí)

如前所述,圖像和語(yǔ)言一樣,具有多重意義。 除了事實(shí)意義以外,其表現(xiàn)意義和內(nèi)在意義都和圖像所處的文化背景有著非常密切的關(guān)系,具有文化特殊性。 對(duì)于同一個(gè)視覺(jué)符號(hào),在不同的文化背景中,其所表達(dá)的表層含義或者隱性意義也會(huì)因此產(chǎn)生偏差。 如因漢民族先祖之一軒轅氏經(jīng)常穿黃衣,加之“黃”和“皇”諧音,黃色在中國(guó)便具有了皇權(quán)、尊貴之意。 而在西方文化中,由于背叛耶穌的猶大喜歡穿黃色衣服,黃色便有了背叛、卑鄙的聯(lián)想意義。

此外,視覺(jué)符號(hào)相比文字符號(hào)更具多義性,在編碼和解碼的過(guò)程中由于文化差異極易出現(xiàn)誤讀。人們?cè)诶斫馕谋緯r(shí),一般都會(huì)下意識(shí)地基于自身的文化背景、生活經(jīng)歷和文化立場(chǎng)進(jìn)行理解。 理解語(yǔ)言文本如此,理解視覺(jué)文本則更是如此。 如生活在中國(guó)文化背景下的讀者普遍能對(duì)龍鳳、麒麟、虎獅、如意、八卦等文化符號(hào)產(chǎn)生心理情感共鳴,而西方讀者則鮮有這樣的聯(lián)想。 若是在多模態(tài)翻譯中,譯者沒(méi)有這樣的意識(shí),對(duì)這些圖像缺乏必要的解釋和說(shuō)明,國(guó)外讀者便無(wú)法像中國(guó)讀者一般產(chǎn)生同樣的反應(yīng)。 因此在進(jìn)行跨文化多模態(tài)翻譯時(shí),譯者必須要具有較強(qiáng)的視覺(jué)符號(hào)文化差異意識(shí),在翻譯多模態(tài)文本時(shí),一方面要立足原語(yǔ)文化語(yǔ)境理解圖像意義,同時(shí)也要預(yù)測(cè)目標(biāo)讀者可能對(duì)原文圖像的反應(yīng),必要時(shí)增加語(yǔ)言解釋或改變圖像以避免目標(biāo)讀者對(duì)圖像的誤讀,幫助讀者理解圖像所代表的真正含義。此外,在運(yùn)用圖像對(duì)原語(yǔ)語(yǔ)言文本進(jìn)行翻譯時(shí),更是要選擇目標(biāo)讀者易于接受的圖像,輔助傳達(dá)原文意義。 若是無(wú)法進(jìn)行視覺(jué)圖像的歸化處理,就需要通過(guò)語(yǔ)言對(duì)視覺(jué)圖像進(jìn)行額外解釋,避免讀者對(duì)圖像產(chǎn)生誤讀。

因此,培養(yǎng)學(xué)生的視覺(jué)讀寫能力,非常有必要激發(fā)學(xué)生對(duì)于圖像的文化差異意識(shí)。 這可以分兩個(gè)層面進(jìn)行。 首先是通過(guò)對(duì)比,讓學(xué)生了解單個(gè)視覺(jué)元素的文化特殊性,如圖像的色彩、位置所代表含義的文化差異。 然后再展示不同國(guó)家、民族和文化在傳遞某一主題內(nèi)容的圖像,引導(dǎo)學(xué)生挖掘圖像所傳遞的獨(dú)特文化信息,以強(qiáng)化學(xué)生的文化意識(shí),使學(xué)生在進(jìn)行多模態(tài)翻譯的過(guò)程中,能夠識(shí)別展現(xiàn)了獨(dú)特文化信息的視覺(jué)元素,進(jìn)而判斷這些視覺(jué)元素是否可能給目標(biāo)讀者帶來(lái)理解困難或是引起誤讀。 如有,則需在語(yǔ)言翻譯上進(jìn)行解釋。 例如,在浙江嘉興的宣傳片中,出現(xiàn)了一艘紅船。 這艘紅船代表著什么樣的含義? 又比如在《話說(shuō)中國(guó)節(jié)》宣傳視頻中介紹冬至演變成祭天祭祖的節(jié)氣,為什么畫面只呈現(xiàn)了點(diǎn)燃的香燭? 介紹立冬補(bǔ)冬為什么呈現(xiàn)的是煲湯的畫面? 提到以二十四節(jié)氣為靈感的美食菜品,為什么會(huì)搭配餃子的畫面? 介紹七夕時(shí)為什么畫面會(huì)出現(xiàn)一對(duì)鴛鴦? 多模態(tài)文本中存在的不少文化細(xì)節(jié)能讓原文讀者感知并產(chǎn)生情感共鳴,但他國(guó)文化的讀者未必能理解其中的內(nèi)涵。 在翻譯這樣的多模態(tài)文本時(shí),譯者若不能識(shí)別這類文化信息并進(jìn)行額外處理,目標(biāo)觀眾便很難理解這些圖像的深層文化意義,導(dǎo)致文本整體意義的傳達(dá)受到影響。

2.3 訓(xùn)練學(xué)生識(shí)解各種圖文關(guān)系,熟悉多模態(tài)整合策略

多模態(tài)文本總是通過(guò)語(yǔ)言和非語(yǔ)言模態(tài)共同構(gòu)建意義。 在進(jìn)行多模態(tài)翻譯時(shí),譯者必須清楚多模態(tài)文本中的圖像和文字是如何進(jìn)行互動(dòng)協(xié)調(diào)的,以及在傳遞某個(gè)信息時(shí)圖像和文字之間的關(guān)系是怎樣的,才能確定如何整合圖像和文字以實(shí)現(xiàn)信息的最佳傳播效果。 例如,若是圖像和語(yǔ)言文本傳遞同樣的信息,語(yǔ)言翻譯時(shí)便可以酌情刪減某些信息。 若是在傳達(dá)某個(gè)信息時(shí),圖像展示更多細(xì)節(jié)信息,是對(duì)文本部分內(nèi)容的例證,翻譯時(shí)語(yǔ)言翻譯便可以采用泛化策略。 若是圖像解釋拓展文本,提供了更為具體的信息,譯者也可以根據(jù)圖像信息將文本內(nèi)容具體化。 如葛浩文在翻譯陳絲雨配圖的《山海經(jīng)》時(shí),很多時(shí)候都結(jié)合圖像,對(duì)原文進(jìn)行了泛化或具體化處理。 以對(duì)蠱雕的翻譯為例,原文為“水有獸焉,名曰蠱雕,其狀如雕而有角,其音如嬰兒之音,是食人”。 陳絲雨為蠱雕繪制了非常精致的插圖,呈現(xiàn)了更多的細(xì)節(jié)信息,葛浩文的英譯本則根據(jù)插圖所呈現(xiàn)的蠱雕形象,對(duì)蠱雕進(jìn)行了更為具體的描述:

It was the source of the Zegeng River, which flowed east and emptied into the Pang River, where lived a strange man-eating creature that resembled, but was not, an ordinary bird. A horned vulture, the Gudiao had a richly feathered body, a serpentine tail, and a head with a hooked beak and a single horn from which several pointed ends bent backward(Goldblatt, 2021 : 22-23).

圖2 蠱雕

原文對(duì)蠱雕外形的描述非常簡(jiǎn)單,只提到了“其狀如雕而有角”,但譯文卻進(jìn)行了非常詳細(xì)的描述,增加了“richly feathered body, a serpentine tail, and a head with a hooked beak and a single horn from which several pointed ends bent backward”諸多細(xì)節(jié)信息。 同時(shí),該譯本使用了指涉極為廣泛的“creature”翻譯原文的“獸”。 若是沒(méi)有插圖,“creature”很難讓人對(duì)所指對(duì)象產(chǎn)生具體的想象,但配上插圖,這一泛化表達(dá)便絲毫無(wú)損目標(biāo)讀者對(duì)這一異獸形象的理解和認(rèn)知。

因此,要培養(yǎng)學(xué)生的多模態(tài)翻譯能力,除了前面提到的熟悉視覺(jué)元素及其意義構(gòu)建方式,了解視覺(jué)符號(hào)的文化差異,還需要訓(xùn)練學(xué)生識(shí)解圖文關(guān)系,并在此基礎(chǔ)上使用恰當(dāng)?shù)膱D文整合策略,充分利用圖文各自的優(yōu)勢(shì)傳遞信息。 對(duì)于這一點(diǎn),也可以分為兩個(gè)步驟進(jìn)行。 首先可以給學(xué)生呈現(xiàn)大量體現(xiàn)不同圖文關(guān)系的多模態(tài)文本,引導(dǎo)學(xué)生分析文字和圖像分別傳遞什么信息,兩者各自傳遞的信息有什么關(guān)系。 然后再引導(dǎo)學(xué)生將圖文結(jié)合的信息用另一種語(yǔ)言翻譯出來(lái),設(shè)置一些如空間、時(shí)間因素限制,或者告知學(xué)生目標(biāo)讀者不同于原文讀者的認(rèn)知習(xí)慣,提示學(xué)生在圖像保持不變的情況下,語(yǔ)言可以進(jìn)行什么樣的調(diào)整,或者能否根據(jù)翻譯目的和目標(biāo)語(yǔ)境的要求,調(diào)整圖像形式,若是圖像進(jìn)行調(diào)整,語(yǔ)言又可以進(jìn)行什么樣的改動(dòng)。 例如下面這部杭州宣傳片中出現(xiàn)一幅說(shuō)明杭州變化的片段:

圖3 杭州宣傳片片斷

這幅畫面背景模糊化,凸顯了居于畫面中間的蝴蝶破蛹而出這一意象,以表達(dá)杭州的蛻變成長(zhǎng)。原文,也就是中文字幕“成蛹、破繭、化蝶”和圖像是一種“冗余”關(guān)系,即圖像與語(yǔ)言兩種不同的模態(tài)符號(hào)表達(dá)的是同樣的信息。 若是將“成蛹、破繭、化蝶”都譯為英文,英文字幕便幾乎要占據(jù)整排屏幕空間,目標(biāo)讀者未必能夠在圖像停留的短暫時(shí)間內(nèi)看完所有字幕。 因此,翻譯這句字幕時(shí)便可以提醒學(xué)生,不必譯出原文所有內(nèi)容,而是只選擇“破繭”這一中間階段進(jìn)行翻譯,譯為“emerging from its cocoon”,這一英文表達(dá)結(jié)合圖像,同樣可以完整呈現(xiàn)原文語(yǔ)言和圖像表達(dá)的意義。

除了通過(guò)多模態(tài)文本的翻譯訓(xùn)練學(xué)生對(duì)多模態(tài)翻譯策略的使用,也可以給學(xué)生一篇純語(yǔ)言表達(dá)的文本,讓學(xué)生分析文本中哪些內(nèi)容可以使用圖像來(lái)傳達(dá),圖像和文本可以形成什么樣的關(guān)系。 使用了圖像后,語(yǔ)言的翻譯又可以進(jìn)行什么樣的調(diào)整。 通過(guò)諸如此類的反復(fù)訓(xùn)練,逐漸扭轉(zhuǎn)學(xué)生僅僅使用語(yǔ)言傳達(dá)信息的習(xí)慣,強(qiáng)化其整合使用語(yǔ)言模態(tài)和非語(yǔ)言模態(tài)的意識(shí)。 如此,在進(jìn)行多模態(tài)翻譯時(shí),才能真正有效地利用多模態(tài)優(yōu)勢(shì)傳遞原文信息。

3 結(jié)語(yǔ)

如今我們已經(jīng)進(jìn)入一個(gè)數(shù)字化時(shí)代。 在這樣的時(shí)代,圖像無(wú)處不在,讀圖成為一種風(fēng)尚,思想和信息越來(lái)越依賴視覺(jué)形式進(jìn)行傳播,多模態(tài)語(yǔ)篇成為信息傳播的主流。 相應(yīng)地,在翻譯領(lǐng)域,多模態(tài)翻譯也必定會(huì)占據(jù)越來(lái)越重要的位置。 要滿足這個(gè)時(shí)代翻譯市場(chǎng)的需求,就必然需要譯者具備多模態(tài)翻譯能力。 多模態(tài)翻譯涉及多種模態(tài)符號(hào)的意義處理,那么多模態(tài)翻譯能力除了包括語(yǔ)言翻譯能力,就還應(yīng)該包括非語(yǔ)言視覺(jué)符號(hào)處理能力以及將語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)進(jìn)行有機(jī)整合的能力。 歸納起來(lái),就是語(yǔ)言翻譯能力、視覺(jué)讀寫能力和多模態(tài)整合能力。 視覺(jué)讀寫能力又具體包含視覺(jué)信息理解能力和視覺(jué)圖像設(shè)計(jì)創(chuàng)造能力,多模態(tài)整合能力具體包括圖文關(guān)系識(shí)別構(gòu)建能力以及圖文互動(dòng)策略能力。 要培養(yǎng)這些能力,我們首先需要引導(dǎo)學(xué)生識(shí)別基本視覺(jué)元素,然后以視覺(jué)語(yǔ)法為指導(dǎo),了解由視覺(jué)元素組合而成的視覺(jué)圖像的意義構(gòu)建原則和方式,同時(shí)激發(fā)學(xué)生視覺(jué)符號(hào)文化差異意識(shí),通過(guò)文化對(duì)比,讓學(xué)生學(xué)會(huì)理解圖像深層含義,然后訓(xùn)練學(xué)生識(shí)解各種圖文關(guān)系,熟悉多模態(tài)整合策略,逐步培養(yǎng)學(xué)生的多模態(tài)翻譯能力,滿足數(shù)字化讀圖時(shí)代翻譯市場(chǎng)的需求。