翻譯研究的多模態(tài)轉(zhuǎn)向:現(xiàn)狀與展望?

陳曦 潘韓婷 潘莉

（澳門科技大學(xué)，澳門999078；中山大學(xué)，廣州510275；廣東外語外貿(mào)大學(xué)，廣州510420）

提 要：近年來，多模態(tài)翻譯在國際學(xué)界發(fā)展迅猛，但國內(nèi)學(xué)界至今仍無該領(lǐng)域較全面的引介和評述。 鑒于此，本文追溯多模態(tài)概念在翻譯研究中的介入與發(fā)展，梳理多模態(tài)翻譯的國內(nèi)外研究現(xiàn)狀，并在此基礎(chǔ)上指出，目前國內(nèi)多模態(tài)翻譯研究存在總量少、范圍局限、視角單一、概念濫用等不足，提出多模態(tài)翻譯研究需加強(qiáng)理論構(gòu)建、拓寬實(shí)證領(lǐng)域、推進(jìn)相應(yīng)語料庫建設(shè)等方面的建議，以期為今后多模態(tài)翻譯跨學(xué)科研究的進(jìn)一步發(fā)展提供借鑒。

1 引言

多模態(tài)“在其最基本的意義上，是在特定文本中多個(gè)符號模態(tài)的共存”（Gibbons 2012:8）。多模態(tài)可以指在一個(gè)交流成品或交流活動中不同符號模態(tài)的混合體（Van Leeuwen 2005:281），也可以指調(diào)動不同的符號資源， 在一個(gè)特定的文本中共同構(gòu)建意義的各種方式（Baldry， Thibault 2006:21）。 不論是口語還是書面語，語言的使用總是不可避免地由多種交際模式構(gòu)成，因此從某種意義上說，所有的話語都是多模態(tài)話語（Kress，Van Leeuwen 1998:186）。

科技的飛速發(fā)展使計(jì)算機(jī)和多媒體技術(shù)得到廣泛運(yùn)用，文字、圖像、聲音等多模態(tài)同時(shí)出現(xiàn)的話語形態(tài)更加普遍，多模態(tài)研究也隨之蓬勃發(fā)展。 目前，多模態(tài)研究主要有3 種途徑:社會符號學(xué)途徑（Kress 2009；Kress， Van Leeuwen 1996，2006； Van Leeuwen 2005），系統(tǒng)功能語言學(xué)途徑（O'Toole 1994；O'Halloran 2004，2005；Jones，Ventola 2008）和會話分析途徑（Goodwin 1981，2000）。 在此基礎(chǔ)上，還有地理符號學(xué)（Scollon，Scollon 2003）、多模態(tài)交互分析（Norris 2004）、多模態(tài)民族志（Flewitt 2011）、多模態(tài)語料庫分析（Baldry，Thibault 2006；Bateman 2008，2014）等新途徑相繼產(chǎn)生。 科技發(fā)展也同樣為翻譯研究帶來革新，語音翻譯、云翻譯等新形式的出現(xiàn)為從多模態(tài)角度探索翻譯研究提供可能。 Snell-Hornby 提到“圖像轉(zhuǎn)向”已經(jīng)到來（Snell-Hornby 2010:368） ；Munday 指出，“翻譯研究的興趣已經(jīng)拓展到諸多的符際翻譯形式”（Munday 2010:422）。 隨著人們對翻譯認(rèn)知的不斷拓寬和深化，翻譯研究已從過去單模態(tài)為主的研究開始更多地轉(zhuǎn)向多模態(tài)的翻譯研究。 在互聯(lián)網(wǎng)交際的大環(huán)境下，多模態(tài)翻譯研究將是未來翻譯研究的一個(gè)新熱點(diǎn)。 筆者在文獻(xiàn)搜集的過程中發(fā)現(xiàn)，國內(nèi)對多模態(tài)翻譯存在著認(rèn)識不清、研究不足等問題。 因此，本文對多模態(tài)理論在翻譯研究中的應(yīng)用與發(fā)展進(jìn)行系統(tǒng)的梳理分析。 首先追溯多模態(tài)概念在翻譯研究中的介入與發(fā)展，然后通過文獻(xiàn)法梳理多模態(tài)翻譯的國內(nèi)外研究現(xiàn)狀，探討國內(nèi)多模態(tài)翻譯研究目前存在的問題，并指出未來多模態(tài)翻譯跨學(xué)科研究的發(fā)展方向。

2 多模態(tài)在翻譯研究中的介入與發(fā)展

2.1 跨文化多模態(tài)交際概念

Kress 和Van Leeuwen（2001）提出多模態(tài)交際的概念，這為多模態(tài)概念在翻譯研究中的介入做鋪墊。 盡管在該研究中作者沒有直接指向翻譯研究，但其為研究不同模態(tài)（mode）的功能及模態(tài)和媒介（medium/media）間的關(guān)聯(lián)性提供參考，也為翻譯研究者帶來啟發(fā)。 Kress 和Van Leeuwen 將模態(tài)定義為允許同時(shí)實(shí)現(xiàn)話語和多種互動的符號資源（Kress ，Van Leeuwen 2001:21）。 模態(tài)不再只是產(chǎn)品，而是顯示話語性并具有文本構(gòu)成功能的文化過程。 從這一角度看，多模態(tài)研究如何使用多個(gè)符號模態(tài)來設(shè)計(jì)一件符號產(chǎn)品或活動，以及這些模態(tài)相結(jié)合的特定方式（同上:20）。 Kress 和Van Leeuwen 將多模態(tài)看作文本設(shè)計(jì)的一種原則，單一模態(tài)不僅有特定功能，而且有協(xié)同作用，模態(tài)在文本中具有哪些功能，設(shè)計(jì)文本時(shí)要用到哪些模態(tài)，這些取決于語用因素和特定的文化因素。

多模態(tài)交際將多模態(tài)的概念引入到與交際和文化相關(guān)的翻譯理論中。 其中與Kress 和Van Leeuwen 的理論聯(lián)系最緊密的是Holz-M?ntt?ri（1984）的翻譯行為理論。 與Kress 和Van Leeuwen相似的是，Holz-M?ntt?ri 強(qiáng)調(diào)翻譯的設(shè)計(jì)特點(diǎn)，翻譯不僅是語言的傳遞，更是突破文化障礙的文本設(shè)計(jì)。 譯者通常專注于文本中的文字轉(zhuǎn)換，但由于文本的多模態(tài)設(shè)計(jì)，他們也需要和攝影師、圖畫設(shè)計(jì)師等其他專業(yè)人士合作，從而產(chǎn)生出滿足譯文接受者交際功能的譯文。 例如，在翻譯科技手冊時(shí)，視覺模態(tài)和語言模態(tài)都起到解釋操作步驟的作用，而文本的交際作用到底是由圖像還是語言實(shí)現(xiàn)則由特定文化因素和產(chǎn)品的語境來決定。

2.2 涉及多模態(tài)的翻譯分類

將多模態(tài)概念引入翻譯分類可以追溯到Jakobson （1959:127）的翻譯3 分法:（1）語內(nèi)翻譯（intralingual translation），或重述（rewording）:用同種語言內(nèi)的其他符號來解釋語言符號；（2）語際翻譯（interlingual translation），或真正的翻譯（translation proper）:用其他某種語言來解釋語言符號；（3）符際翻譯（intersemiotic translation），或跨類翻譯（transmutation）:用非語言系統(tǒng)的符號來解釋語言符號。

在Jakobson 的翻譯分類中出現(xiàn)符際翻譯的概念，將非語言系統(tǒng)的其他符號也納入到翻譯的范疇中，這種針對語言和非語言信息進(jìn)行綜合處理的翻譯手段，在文化傳播和交際層面上更加適合如今種類繁多的非語言交流和傳播活動。 然而，在實(shí)際翻譯中，語內(nèi)、語際和符際翻譯往往不是獨(dú)立分開的，而是在很多情況下交叉共存。 例如，電影字幕翻譯就涉及語際和符際翻譯兩種類型，而改編常常很難在語內(nèi)或語際翻譯之間定義。 圍繞符際翻譯，一系列新的翻譯概念也隨之提出，使Jakobson 的翻譯分類得到拓寬和延伸。 例如，Toury 將翻譯的定義拓展為“一個(gè)符號實(shí)體被轉(zhuǎn)換替代為屬于另一個(gè)符號系統(tǒng)的符號實(shí)體”（Toury 1986:1128）。 他認(rèn)為，符際翻譯是“兩個(gè)不同符號系統(tǒng)間不同符號編碼的轉(zhuǎn)換，其中一個(gè)符號編碼可以是語言符號，也可以不是”（同上:1129）。 Gorlée 認(rèn)為，多模態(tài)概念需要納入翻譯分類的考量，因?yàn)樵贘akobson 的3 分法中，對非語言符號向語言符號的轉(zhuǎn)化缺乏更詳細(xì)的進(jìn)一步討論（Gorlée 2010:58）。

針對包含多模態(tài)文本的翻譯，Kaindl（2013:261 -262）基于模態(tài)、媒介和文化提出一個(gè)更為細(xì)化的翻譯分類（見表1）。 Kaindl 根據(jù)模態(tài)的不同將翻譯分為模態(tài)內(nèi)翻譯（intramodal）和模態(tài)間翻譯（intermodal）。 模態(tài)內(nèi)翻譯指只涉及同一種模態(tài)的翻譯，例如從語言模態(tài)到語言模態(tài)，從圖像模態(tài)到圖像模態(tài)；模態(tài)間翻譯則包含不同種模態(tài)間的轉(zhuǎn)化過程（同上）。 在這兩種翻譯中，又有文化內(nèi)（intracultural）和文化間（transcultural）兩種情況。 文化內(nèi)翻譯的交際行為是在同一文化的不同目標(biāo)群體中實(shí)現(xiàn)，而跨文化翻譯則是打破文化障礙的交際行為（同上:262）。 例如，將迪士尼漫畫翻譯成日本漫畫就是不同文化間同一模態(tài)內(nèi)的翻譯，而將一本配圖操作手冊翻譯成純文字文本則屬于同一文化內(nèi)不同模態(tài)間的翻譯。

表1 基于模態(tài)、媒介和文化的翻譯分類

同時(shí)，依據(jù)媒介的不同，翻譯又可以分為媒介內(nèi)翻譯（intramedia）和媒介間翻譯（intermedia）。媒介內(nèi)翻譯只涉及同一種媒介，而媒介間翻譯則包含至少兩種媒介的轉(zhuǎn)化。 例如，美國一些流行歌手的音樂作品同時(shí)面向美國的英語和西班牙語觀眾，那么他們的音樂錄影帶的英語和西班牙語版本其實(shí)是同一文化同一媒介內(nèi)的轉(zhuǎn)化，但卻涉及到不同模態(tài)間的翻譯。 因?yàn)榭紤]到市場需要，在面對美國本土觀眾和歐洲觀眾時(shí)，往往會拍攝出不同版本的音樂錄影帶來迎合歐洲觀眾的觀影習(xí)慣，如剪輯、圖像的出場次序等就會有所不同，這也形成不同的模態(tài)（同上）。

Kaindl 翻譯分類中的“模態(tài)”和“媒介”是有重疊的兩個(gè)概念。 文本模態(tài)通常通過媒介語境實(shí)現(xiàn)，因此二者總聯(lián)系在一起。 模態(tài)也可以通過不同媒介實(shí)現(xiàn)，例如語言能通過書寫媒介成為文字，而通過講話媒介成為聲音。 在翻譯中，模態(tài)和媒介都有必要列入考慮（同上:261）。 為避免這兩個(gè)概念的混淆，我們可以參考Lee 對二者的區(qū)分，模態(tài)指文本表現(xiàn)中不同的符號形式，例如，語言的、視覺的、聽覺的、觸覺的等符號形式；而媒介則是與這些符號形式對應(yīng)的表現(xiàn)形式（如歌劇、戲劇、漫畫等），以及它們的物質(zhì)溝通渠道（如廣播、電視、電子媒體等）（Lee 2012:11）。 在Kaindl 的翻譯分類中，模態(tài)內(nèi)翻譯、模態(tài)間翻譯、媒介內(nèi)翻譯和媒介間翻譯的概念緊密相連，互相影響。 這一翻譯分類將模態(tài)的概念引入到翻譯研究中，使Jakobson 的翻譯3 分法得到拓展，也有助于為一些之前較難定義的翻譯現(xiàn)象找到更為細(xì)化的定位。 翻譯不再僅僅是一個(gè)文本行為，而成為一種涉及模態(tài)、媒介和文化的交際行為。 然而，Kaindl 的翻譯分類也存在一些問題，例如其中對模態(tài)和媒介的區(qū)分在實(shí)際分析中常易混淆，同時(shí)，由于其分類過細(xì)，也易于在具體應(yīng)用中顯得既過于復(fù)雜又不夠?qū)嵱谩?/p>

3 國外多模態(tài)翻譯研究現(xiàn)狀

通過文獻(xiàn)法，我們首先將國外多模態(tài)和翻譯相結(jié)合的跨學(xué)科研究進(jìn)行文獻(xiàn)梳理。 目前，國外多模態(tài)翻譯研究相關(guān)領(lǐng)域主要包括視聽翻譯、廣告翻譯、口譯、游戲翻譯、網(wǎng)站翻譯、兒童圖畫書翻譯、漫畫翻譯等，主要側(cè)重于從不同研究視角探討如何處理翻譯和跨文化交際中涉及的多模態(tài)因素，以及多種模態(tài)在翻譯中如何互相轉(zhuǎn)換、作用等問題。

多模態(tài)與翻譯結(jié)合最早、研究最廣的領(lǐng)域是視聽翻譯，它研究多模態(tài)和多媒體文本中的語言或文化轉(zhuǎn)換（González 2009:13）。 目前，視聽翻譯的研究領(lǐng)域已經(jīng)拓展到“對用任一媒體（或格式）來制作的節(jié)目（或后期制作）進(jìn)行的所有翻譯形式（或多符號轉(zhuǎn)換）”（Orero 2004:vii-viii），包括電影字幕翻譯、配音、口譯、畫外音、同聲傳譯，以及新聞播報(bào)的現(xiàn)時(shí)字幕和歌劇唱詞字幕等的翻譯。 同時(shí)，一些有關(guān)媒體接觸的新研究領(lǐng)域也被涵蓋其中，例如，為失聰和有聽力障礙的人進(jìn)行的字幕翻譯，以及為失明和有視力障礙的人進(jìn)行的音頻描述（同上）。

由于視聽文本的產(chǎn)生和意義闡釋依賴于各種符號資源或模態(tài)的配置，視聽文本具備多模態(tài)屬性，其意義建構(gòu)的模態(tài)主要包括語言、圖像、聲音、音樂、色彩等。 Zabalbeascoa 認(rèn)為，視聽文本經(jīng)由聽覺、視覺這兩種符號與語言、非語言這兩個(gè)交際通道相互交叉，產(chǎn)生“聽覺—語言”“聽覺—非語言”“視覺—語言”“視覺—非語言”4 種不同的符號類型（Zabalbeascoa 2008:24）。 因此，對視聽翻譯的研究須要考慮多個(gè)傳播通道的相互作用。 在視聽翻譯研究中，常利用多模態(tài)轉(zhuǎn)錄（Baldry， Thibault 2006）作為系統(tǒng)化多媒體文本分析的有力工具，來分析視頻、電影、網(wǎng)站、電腦游戲等多媒體文本。 同時(shí)，也可將多模態(tài)轉(zhuǎn)錄與電影字幕翻譯相結(jié)合，通過詳細(xì)準(zhǔn)確的電影文本描述，使字幕翻譯人員能夠把譯文選擇建立在視覺、音樂、色彩等其他符號形式提供的意義之上，以選擇合適的翻譯策略（Taylor 2003，2016）。 此外，借助多模態(tài)語料庫進(jìn)行視聽翻譯研究也成為近年來的趨勢。 多模態(tài)語料庫指“經(jīng)過標(biāo)注的不同交際渠道（包括話語、目光、手勢、身勢語等） 同步內(nèi)容的集合” （Foster，Oberlander 2007:307 -308），“包含經(jīng)過轉(zhuǎn)寫、處理與標(biāo)注的語言文本及與文本緊密關(guān)聯(lián)的音視頻數(shù)據(jù)庫”（Heiss，Soffritti 2008），語料庫途徑的多模態(tài)研究可拓寬視聽翻譯的研究視角。 例如，可利用多模態(tài)注釋軟件和多模態(tài)語料庫檢索軟件進(jìn)行電影音頻描述的分析（Hurtado，Gallego 2013），或基于多模態(tài)語料庫對美劇配音中幽默語篇進(jìn)行研究（Balirano 2013）等。

除視聽翻譯外，廣告翻譯也和多模態(tài)研究聯(lián)系緊密。 廣告文本，包括印刷廣告和多媒體廣告，都涉及到不止一種模態(tài)參與意義建構(gòu)，這一多模態(tài)屬性在翻譯過程中起著重要的作用。 例如，視覺語法就可以作為分析電視廣告的有力工具（Millán-Varela 2004），在廣告設(shè)計(jì)中，文化、意識形態(tài)、話語特征、視覺因素和符號功能都需考慮在內(nèi)。 同時(shí)，視覺模態(tài)在印刷廣告和其他印刷文本翻譯中的作用也不容小覷（Torresi 2008）。 廣告和品牌形象的符際翻譯是一個(gè)包括市場分析、品牌定位等諸多因素的長期決策過程，“不僅是某一特定產(chǎn)品的圖像，而且品牌的整體形象及其所代表的價(jià)值，都需要根據(jù)不同的目標(biāo)文化進(jìn)行改編”（同上:68）。 此外，圖像對廣告信息傳輸?shù)挠绊懀瑢⒎H翻譯從語言符號到非語言符號的轉(zhuǎn)換，擴(kuò)展到非語言符號系統(tǒng)之間的轉(zhuǎn)換（Smith 2008）。 在廣告設(shè)計(jì)中，圖像的排版、方向性、主題的選擇等都涉及一系列的視覺修辭選擇，譯者須要提高視覺配置能力，解碼廣告信息，使其更好地被目標(biāo)文化所接受。

在口譯過程中也涉及到大量非語言因素，從語調(diào)、語速到注視、手勢、視線活動、面部表情等都影響著信息的傳遞和理解。 近年來，一些學(xué)者也開始在口譯和口譯培訓(xùn)相關(guān)研究中引入多模態(tài)視角。例如，在同聲傳譯過程中，視覺非語言溝通對信息理解的重要性已經(jīng)得到關(guān)注（Rennert 2008）。 此外，多模態(tài)口譯語料庫也是一個(gè)值得關(guān)注的多模態(tài)研究新領(lǐng)域。 例如，利用帶有手勢注釋的多媒體口譯語料庫來輔助口譯培訓(xùn)，將有助于減少實(shí)習(xí)譯員和專業(yè)譯員在處理手勢等非語言信息時(shí)的差異（Zagar Galv?o，Galhano Rodrigues 2010）。

同時(shí)，特殊文本的多模態(tài)翻譯研究也開始吸引學(xué)界的關(guān)注，其中包括一些隨著多模態(tài)發(fā)展產(chǎn)生的新文本模式，如游戲翻譯、網(wǎng)站翻譯、實(shí)驗(yàn)文學(xué)翻譯等。 電子游戲多模態(tài)翻譯（O'Hagan 2007）就是隨著互聯(lián)網(wǎng)和游戲產(chǎn)業(yè)發(fā)展而新興的研究領(lǐng)域。 現(xiàn)代電子游戲構(gòu)建出一個(gè)科技化的多模態(tài)空間，在游戲本地化過程中，譯者需采用各種超越文本的調(diào)整手段，創(chuàng)造特定游戲在特定目標(biāo)市場的游玩樂趣。除電子游戲，桌上游戲翻譯（Evans 2013）中同樣須要考量多模態(tài)因素，對應(yīng)不同的目標(biāo)市場，游戲規(guī)則說明、游戲卡片等中的文字和圖像都要做出相應(yīng)的調(diào)整，從而全方位提高玩家的游戲體驗(yàn)。 而在網(wǎng)站翻譯中（Tercedor Sánchez 2010， Rike 2013），通過不同的信息渠道和符號，互聯(lián)網(wǎng)多模態(tài)使新的翻譯方式和翻譯任務(wù)成為可能。 與傳統(tǒng)的文學(xué)形式不同，融合文字、科技、表演等多種模態(tài)的實(shí)驗(yàn)文學(xué)（Lee 2013）把翻譯視為一種“跨文化語際—符際翻譯”（Wang 2009）。 在如今的溝通中，感官知覺在話語實(shí)踐中的比重越來越大，這種跨語言也跨媒介的翻譯角度使不同方式的意義溝通成為可能。 此外，博物館展覽中視覺因素對文本翻譯的制約和影響也值得關(guān)注（Neather 2008）。 在博物館，語言的、視覺的、空間的等不同的意義系統(tǒng)互相作用，這些互動包括跨符號層面的（如不同的語言和視覺因素間的）以及符號內(nèi)部層面的（如物體間的、物體和照片間的、文本間的）。 博物館中的語際翻譯需要綜合考慮這些多角度的互動，才能產(chǎn)生有效的目標(biāo)文本。

對于圖文并茂的兒童繪本來說，圖像和文字間的關(guān)系一直是學(xué)界的關(guān)注點(diǎn)。 Pereira（2008）將插畫書中的圖片看做是對文本的符際翻譯，認(rèn)為語際翻譯中使用的翻譯策略和方法也同樣適用于對繪本中符際翻譯的分析。 他還根據(jù)實(shí)例分析，總結(jié)出3 種圖片翻譯文字的方法:在圖片中重現(xiàn)文本中的信息、在圖片中強(qiáng)調(diào)特定的敘事元素和針對特定的意識形態(tài)和藝術(shù)潮流對圖片進(jìn)行改編，這為從符際翻譯角度解讀圖文關(guān)系提供很好的借鑒。 Chen（2018）結(jié)合多模態(tài)語篇分析理論提出繪本圖像的多模態(tài)分析框架，將系統(tǒng)的圖像分析與文本分析相結(jié)合，從語際翻譯、語內(nèi)翻譯和符際翻譯的角度解讀繪本翻譯。 此外，圖像、聲音和文字在繪本中的相互作用（Oittinen 2008）也是如今兒童繪本翻譯中的熱點(diǎn)。 文字和圖像是符號化的，相呼應(yīng)的，也是有歸化和異化途徑的，插畫作者可以利用歸化策略，在圖片中添加一些特定的事物，從而使圖片敘事更能被目標(biāo)語讀者所接收。 同時(shí)，譯者的視覺認(rèn)知能力和媒介素養(yǎng)對多模態(tài)翻譯也有重要影響，專業(yè)的譯者需要有顏色、圖形、聲音效果、視聽隱喻、視覺文化差異等方面的廣博知識，才能勝任兒童繪本翻譯的工作。

作為同樣圖文并重的體裁，漫畫中的敘事方式和圖文關(guān)系卻與繪本大不相同，也呈現(xiàn)出不一樣的多模態(tài)互動。 比較有代表性的是對漫畫中多模態(tài)幽默及其對應(yīng)翻譯策略的研究（Kaindl 2004）。 漫畫中創(chuàng)造幽默效果的語言和非語言符號間的關(guān)系可分為語言層面的文字游戲、多模態(tài)符號游戲、非語言符號游戲等，為實(shí)現(xiàn)全面的幽默效果，除選擇合適的翻譯策略外，還可采用特定的視覺漫畫技巧，如文化特定視覺因素的使用、圖像互文性和圖像暗示等，以突出漫畫圖像的幽默。 此外，漫畫中的語言和視覺模態(tài)在翻譯過程中的符際關(guān)系也值得關(guān)注（Borodo 2015）。 漫畫中的人物不僅通過對話框互動和溝通，而且通過手勢、體態(tài)、目光注視或面部表情等進(jìn)行互動，這些視覺模態(tài)和語言模態(tài)對意義構(gòu)建的作用同樣重要。 因此，在漫畫翻譯過程中，譯者須要采用多種策略以兼顧到語言和視覺兩種模態(tài)間的關(guān)系，如壓縮或增加原文，刪除兩模態(tài)間不一致的例子，重新解釋對話框中的特定內(nèi)容，甚至重繪部分人物或章節(jié)，刪除一些視覺符號或用其他符號代替它們。 而這些語言或視覺方面的轉(zhuǎn)換，也會反過來影響圖文關(guān)系和譯文中兩種模態(tài)間的互動。

除上述多模態(tài)翻譯研究相關(guān)領(lǐng)域外，將認(rèn)知研究和多模態(tài)翻譯相結(jié)合（Ketola 2016）的嘗試也值得肯定。 多模態(tài)翻譯屬跨學(xué)科研究，引入新學(xué)科的交叉視角，將為多模態(tài)翻譯研究注入更多新鮮血液。 例如，在包含文字信息和視覺信息的配圖科技文本的翻譯中，借助多媒體學(xué)習(xí)認(rèn)知理論和文本與圖像理解的綜合理論，譯者可以更好地理解文字和圖像兩種模態(tài)提供的信息，從而選擇更為合適的翻譯策略（同上）。

4 國內(nèi)多模態(tài)翻譯研究的不足與展望

相對于國外翻譯學(xué)界在多模態(tài)應(yīng)用領(lǐng)域的積極嘗試，國內(nèi)翻譯學(xué)界才剛剛起步。 目前，國內(nèi)僅有1 篇對中國多模態(tài)翻譯研究的述評（許勉君2017），且僅限于對國內(nèi)多模態(tài)翻譯研究現(xiàn)狀的梳理、分析，對多模態(tài)概念如何介入翻譯研究并逐漸發(fā)展，以及國外多模態(tài)翻譯研究現(xiàn)狀等，都沒有進(jìn)行系統(tǒng)性的回顧和討論。 通過文獻(xiàn)梳理我們發(fā)現(xiàn)，目前國內(nèi)多模態(tài)翻譯文獻(xiàn)的現(xiàn)狀是總量少、范圍局限、研究視角單一、缺乏深度和廣度等特征。 此外，國內(nèi)多模態(tài)翻譯研究主要局限在影視翻譯和多模態(tài)教學(xué)兩大領(lǐng)域。 影視翻譯研究多以字幕翻譯為主，重復(fù)研究多，觀點(diǎn)大同小異。 而且，對“多模態(tài)”概念有濫用趨勢，有些文章在題目中出現(xiàn)“多模態(tài)”，而文內(nèi)并不真正涉及多模態(tài)核心概念或多模態(tài)分析。 在多模態(tài)教學(xué)領(lǐng)域，口譯教學(xué)研究值得肯定，多模態(tài)口譯語料庫（劉劍胡開寶2015，劉劍2017）和多模態(tài)口譯焦慮（康志峰2012）的相關(guān)研究為口譯教學(xué)與研究提供借鑒和參考。 目前，多模態(tài)口譯語料庫仍處于起步階段，但將來“必將成為口譯教學(xué)的輔助工具”，并會“沿著網(wǎng)絡(luò)化、交互性、開放性、商業(yè)化的方向迅速發(fā)展”（劉劍2017:14）。然而，除口譯教學(xué)外的其他多模態(tài)翻譯教學(xué)研究大都不盡如人意。 很多文章將多媒體技術(shù)的運(yùn)用簡單地理解為多模態(tài)教學(xué)，這是對“多模態(tài)”認(rèn)識不清、概念混淆的表現(xiàn)。 此外，也有研究從多模態(tài)翻譯的符際特征角度審視政治文本（陳風(fēng)華董成見2017）及文化繪本（王悅晨2018）的翻譯。 在目前“一帶一路”國家戰(zhàn)略的大背景下，多模態(tài)與外宣翻譯、文化形象構(gòu)建的結(jié)合也是值得嘗試的研究領(lǐng)域。

基于對國內(nèi)外多模態(tài)翻譯研究的梳理，筆者認(rèn)為未來國內(nèi)的多模態(tài)翻譯研究應(yīng)聚焦于以下3 個(gè)方面:

（1） 加強(qiáng)多模態(tài)翻譯研究的理論構(gòu)建。 多模態(tài)理論的介入和發(fā)展拓寬翻譯的研究范疇，將更多的非語言因素納入對翻譯研究的考量中。 在如今的多媒體時(shí)代，從多模態(tài)視角審視翻譯研究顯得尤為重要。 目前，多模態(tài)和翻譯相結(jié)合的跨學(xué)科研究還是一個(gè)有待進(jìn)一步探索和發(fā)展的新領(lǐng)域，尤其在國內(nèi)翻譯研究領(lǐng)域，相關(guān)研究還處于起步階段，未有多模態(tài)翻譯理論的研究專著和理論綜述性文獻(xiàn)問世，對多模態(tài)翻譯的相關(guān)理論、研究方法、研究框架認(rèn)識不足，這也是導(dǎo)致目前國內(nèi)多模態(tài)翻譯研究較為單一的主要原因之一。 國內(nèi)多模態(tài)翻譯研究面臨的一大挑戰(zhàn)是如何找到合適的多模態(tài)理論和研究框架來研究不同翻譯文本中的非語言模態(tài)。

（2）拓寬多模態(tài)翻譯研究的實(shí)證研究領(lǐng)域。通過對比國內(nèi)外多模態(tài)翻譯研究的應(yīng)用與發(fā)展我們發(fā)現(xiàn)，多模態(tài)翻譯研究應(yīng)用前景廣大，并不局限于影視翻譯和翻譯教學(xué)，在一些實(shí)用性較強(qiáng)的領(lǐng)域，如手語翻譯、醫(yī)療翻譯、網(wǎng)站翻譯、博物館翻譯等也大有用武之地。 此外，如漫畫翻譯、兒童繪本翻譯等領(lǐng)域在國外已經(jīng)有成熟的多模態(tài)翻譯研究，但在國內(nèi)并沒有受到足夠的關(guān)注。 結(jié)合多模態(tài)理論來研究中國連環(huán)畫翻譯、中國原創(chuàng)繪本外譯等也是值得嘗試的多模態(tài)翻譯研究領(lǐng)域。

（3）推進(jìn)多模態(tài)翻譯語料庫的建設(shè)。 目前國外已有多個(gè)多模態(tài)語料庫，有綜合性多模態(tài)語料庫，也有專門用途多模態(tài)語料庫，應(yīng)用在心理學(xué)、犯罪學(xué)、計(jì)算機(jī)語言學(xué)、人機(jī)互動、醫(yī)學(xué)診斷與康復(fù)等多個(gè)跨學(xué)科領(lǐng)域。 國內(nèi)多模態(tài)語料庫建設(shè)則滯后不少，現(xiàn)階段僅有顧曰國教授（2006，2013）建成的“SCCSD”多模態(tài)語料庫作為主要代表。 在多模態(tài)翻譯語料庫方面，國外已建成數(shù)個(gè)多模態(tài)口譯語料庫，例如“CIAIR 同傳語料庫”（Tohyama，Matsubara 2007）、“歐洲議會口譯語料庫” （Russo 2012）、“ComInDat”社區(qū)口譯語料庫（Angermeyer et al.2012）等。 近年來，國內(nèi)也逐漸建立起幾個(gè)多模態(tài)口譯語料庫，如“漢英會議口譯語料庫”（CECIC）（胡開寶陶慶2010）和“中國大學(xué)生英漢漢英口筆譯語料庫”（PACCEL）中的口譯子語料庫（文秋芳王金銓2008），但數(shù)量仍然不足，且在處理多模態(tài)語料方面尚存缺陷。 期待未來的國內(nèi)多模態(tài)翻譯研究者能與軟件工程、計(jì)算機(jī)等領(lǐng)域的學(xué)者展開積極的跨專業(yè)合作，以進(jìn)一步探討多模態(tài)語料的切分與標(biāo)注等問題，并建立更多更好的多模態(tài)翻譯語料庫，推動多模態(tài)翻譯研究的發(fā)展。

5 結(jié)束語

多模態(tài)話語分析和翻譯研究這兩個(gè)新領(lǐng)域均在應(yīng)對全球化跨文化交際中扮演重要角色，而數(shù)字時(shí)代的到來為這兩個(gè)學(xué)科的發(fā)展提供更廣闊的平臺。 將多模態(tài)理論運(yùn)用到翻譯研究中，可打破翻譯的文本局限。 不同模態(tài)間的轉(zhuǎn)換本身就是一種翻譯過程，而翻譯過程所涉及的復(fù)雜因素（例如，文本—譯者大腦構(gòu)式—文本）也意味著翻譯本身的多模態(tài)性質(zhì)。 因此，多模態(tài)理論在翻譯研究中的應(yīng)用可以幫助我們探索更多、更復(fù)雜的翻譯活動，并開拓新的研究領(lǐng)域。