視聽翻譯、多媒體翻譯與多模態(tài)翻譯：辨析與思考

王紅芳 喬孟琪

內(nèi)容摘要：本研究辨析了視聽翻譯、多媒體翻譯與多模態(tài)翻譯三個概念，認為：視聽翻譯是針對視聽文化產(chǎn)品的翻譯，強調(diào)視聽文本在翻譯中的多符號、多維信息的轉(zhuǎn)換;多媒體翻譯是依托于多媒體技術(shù)的翻譯，側(cè)重多媒體文本翻譯中所使用的多媒體電子系統(tǒng)及渠道;多模態(tài)翻譯是多模態(tài)話語的翻譯，重點在于翻譯中語言模態(tài)及非語言模態(tài)信息的相互轉(zhuǎn)換。三者之間既互相區(qū)別又彼此聯(lián)系，視聽翻譯兼有多模態(tài)及多媒體屬性。

關(guān)鍵詞：視聽翻譯;多媒體翻譯;多模態(tài)翻譯

Title： An Analysis on Audiovisual Translation， Multimedia Translation and Multimodal Translation

Abstract： This paper explores audiovisual translation， multimedia translation and multimodal translation. The author holds that audiovisual translation means the translation of audiovisual cultural products in nature with an emphasis on the transfer of multi-semiotic and multi-dimensional information. Multimedia translation is multimedia technology-based translation which highlights the multimedia electronic system and channel in translating multimedial texts; whereas multimodal translation means the translation of multimodal discourse concerning the transfer of verbal and non-verbal modal information in the translation of multimodal discourse. The three conceptions are different from as well as interrelated with each other， besides， audiovisual translation is both multimodal and multimedial.

Key Words： audiovisual translation; multimedia translation; multimodal translation

Authors： Wang Hongfang is Ph.D. candidate at College of Foreign Languages， Nankai University （Tianjin 300071， China）. Her research interests are translation studies and audiovisual translation. E-mail： waiyuanhongfang@126.com. Qiao Mengqi is lecturer at School of Foreign Languages， Tianjin Chengjian University （Tianjin 300384， China）. Her research interests are British & American literature and English language teaching.

一、引言

“隨著數(shù)字化時代的來臨，翻譯的對象除了傳統(tǒng)的紙質(zhì)文本外，還涌現(xiàn)了形形色色的涵蓋文字、圖片、聲音影像等多種形式符號的文本，即超文本（hypertext）或虛擬文本（cybertext），而這些‘文本的翻譯行為已經(jīng)超出了傳統(tǒng)意義上翻譯的概念”（謝天振 14）。引文中的這些“超文本”或“虛擬文本”，在視聽翻譯、多媒體翻譯與多模態(tài)翻譯的相關(guān)研究中比比皆是。有趣的是，在視聽翻譯研究文獻中，“多媒體翻譯”與“多模態(tài)翻譯”出現(xiàn)的頻率甚高，如Orero（2004）、Gambier（2013）、Taylor（2016）、劉大燕（2010）、許勉君（2017），似乎后兩者與“視聽翻譯”有著千絲萬縷的關(guān)系。辨析后發(fā)現(xiàn)，視聽翻譯、多媒體翻譯與多模態(tài)翻譯的屬性及本質(zhì)雖不同，卻彼此聯(lián)系。本文中，筆者試圖追本溯源，探索三個概念的淵源與發(fā)展，以厘清區(qū)別與聯(lián)系，從而為后續(xù)研究提供一定參照。

二、視聽翻譯的演進路徑

2.1 從“視聽”的含義說起

關(guān)于“視聽”（audiovisual）一詞的含義，有四種解釋可以從詞典中加以考證：（1）“看和聽”。出自《書·蔡仲之命》：“詳乃視聽”，《史記· 秦始皇本紀》中亦有記載：“皇帝明德，經(jīng)理宇內(nèi)，視聽不怠”。（2）借指耳目（替人刺探消息的人），出自《三國志·吳志·諸葛恪傳》：“恪更拜太傅。于是罷視聽，息校官，原逋責，除關(guān)稅，事崇恩澤，眾莫不悅”。（3）看到的和聽到的，謂見聞。漢荀悅《漢紀·平帝紀》記載：“臣悅所論，粗表其大事，以參得失，以廣視聽也。”（4）言路;輿論。唐蘇鶚《蘇氏演義》卷下：“五明扇，舜所作也。舜廣開視聽，求賢為輔，故作?！彪S著時代發(fā)展及技術(shù)進步，較詞典中的解釋，“視聽”一詞的含義已發(fā)生根本性變化。它更多地依托于多媒體及網(wǎng)絡(luò)技術(shù)，常出現(xiàn)在“視聽網(wǎng)”、“網(wǎng)絡(luò)視聽”、“視聽演播”等語境中，體現(xiàn)著人們在新時代、新媒體背景下的視覺、聽覺活動及體驗。廣義的視聽，“承載和涵蓋了以電子介質(zhì)作為創(chuàng)造、呈現(xiàn)、傳播、接受載體的所有視聽活動……只要是以電子技術(shù)所呈現(xiàn)的圖像和聲音的文化傳播活動，都可以統(tǒng)合在視聽概念之下”（龐井君38），具體而言，它既包括廣播、電影、電視等傳統(tǒng)視聽形態(tài)，也包括移動廣播電視、網(wǎng)絡(luò)影視、三維動畫、3D電影等新型視聽形態(tài)，甚至包括“未來可能出現(xiàn)的融合生物技術(shù)、腦神經(jīng)科學、電子信息技術(shù)、網(wǎng)絡(luò)技術(shù)于一體的直接連接讀取人腦視聽信息的視聽活動”（同上）。這些視聽形態(tài)，統(tǒng)稱為視聽文本，均屬于視聽時代的文化產(chǎn)品，它們是受語言及非語言因素綜合影響的混合型文本，是一種特殊的文化產(chǎn)品。

2.2 視聽文化時代的到來

縱觀人類文化發(fā)展史，不難發(fā)現(xiàn)，它已經(jīng)歷縱橫捭闔的四個時代：前語言時代、聽說時代、閱讀時代和視聽時代（龐井君36-38）。前語言時代，即人類茹毛飲血的遠古時期，誕生了人類的前語言文化;人類分音節(jié)的口頭語言的出現(xiàn)，將人類帶入了聽說時代;人類文化發(fā)展史上的一次重要革命——文字的出現(xiàn)，使人類進入了文化的閱讀時代;19世紀末，人類歷史上出現(xiàn)了兩項偉大發(fā)明——攝影與錄像技術(shù)，使人類步入了文化的視聽時代，視聽文化應(yīng)運而生。視聽文化與技術(shù)的發(fā)明及運用息息相關(guān)?！霸缙谝暵犖幕\用當時世界上最先進的聲、光、電技術(shù)，從形式上顛覆了文化特別是中國傳統(tǒng)文化的存在、傳播與消費方式”（韓晗115）。時至今日，數(shù)字技術(shù)、網(wǎng)絡(luò)技術(shù)和信息技術(shù)迅猛發(fā)展，形式各樣的現(xiàn)代電子視聽文化及傳播方式，正被廣泛用于人類的信息傳遞及文化交往。在視聽時代之下，“人類文化的生產(chǎn)方式、傳播方式以及人的生活方式和消費方式正發(fā)生著劇烈轉(zhuǎn)型，甚至整個社會結(jié)構(gòu)和社會交往方式也因之發(fā)生強烈的震蕩和改變”（龐井君38）。視聽時代的文化，呈現(xiàn)出了泛視聽化、融合化、社會化、產(chǎn)業(yè)化及個性化特征。從國家戰(zhàn)略的高度部署視聽文化，建設(shè)“視聽中國”，是實現(xiàn)中華民族文化的偉大復(fù)興的應(yīng)有之義（同上 41-43）。

2.3 視聽翻譯是視聽文化產(chǎn)品的翻譯

2.3.1 術(shù)語變遷

19世紀末，人類歷史上出現(xiàn)的兩項重大發(fā)明——攝影與錄像技術(shù)，將人類帶入了偉大的視聽時代，電影及電影院節(jié)目應(yīng)運而生。視聽翻譯（Audiovisual Translation， AVT）就是一種為電影與電影院節(jié)目的翻譯而發(fā)展起來的一種特殊的翻譯活動，可以追溯到早期的默片，人們最初也使用“電影翻譯”（film translation）指代“視聽翻譯”。

隨著技術(shù)進步、翻譯實踐及研究的拓展，“視聽翻譯”先后經(jīng)歷了“電影翻譯”、“語言轉(zhuǎn)換”（language transfer）、“改編”（versioning）、“屏幕翻譯”（screen translation）、“多媒體翻譯”（multimedia translation）幾種術(shù)語的演進（Gambier， The position of audiovisual translation studies 46）?！半娪胺g”未包含電視、真人秀、專題紀錄片等產(chǎn)品類型，其涵義過于狹窄;“語言轉(zhuǎn)換”忽略了視聽文本集多種符號（聽覺符號、視覺符號、語言符號等）于一體的復(fù)雜性，有側(cè)重語言符號的轉(zhuǎn)換之嫌;“改編”未免過于寬泛，且難以與文學翻譯中的“改編”（adaptation）相區(qū)別;“屏幕翻譯”最初現(xiàn)于歐洲視聽翻譯研究協(xié)會（European association for Studies in Screen Translation， ESIST），不僅指電視屏幕、電影屏幕及電腦屏幕上視聽產(chǎn)品的翻譯，也包含本地化，卻不包含舞臺、歌劇字幕翻譯，且容易與“網(wǎng)頁翻譯”相混淆;“多媒體翻譯”包羅萬千，范疇不定;相比之下，“視聽翻譯”這一術(shù)語，在其所涵蓋文化產(chǎn)品的范圍、適用性等諸方面具有優(yōu)越性。上述術(shù)語均有側(cè)重，學者對AVT的發(fā)展亦持開放態(tài)度，“AVT研究在名稱上的不統(tǒng)一并沒有為該領(lǐng)域的研究和交流設(shè)置任何障礙，而是表明了時代的改變，反映了最近科技的發(fā)展，折射了這個領(lǐng)域不斷變化的本質(zhì)，是其活力的象征”（劉大燕64）。國內(nèi)學者，如董海雅（2007）、肖維青（2012）、彭典貴（2013）慣用“影視翻譯”指西方學者的AVT。值得注意的是，自2010年以來，“視聽翻譯”這一術(shù)語逐漸被中國學者所接受。

2.3.2 定義與學科發(fā)展

視聽翻譯是“一個可以囊括所有新技術(shù)發(fā)展和業(yè)內(nèi)實踐”的概括性術(shù)語，并不單純關(guān)注節(jié)目類型或播放的場所，而是更強調(diào)譯作與觀眾的交流通道（董海雅，蓬勃發(fā)展的視聽翻譯研究55），它廣泛、直觀而生動地傳遞著文化產(chǎn)品的信息，促進了不同文化間的交往。奧雷羅（Orero）（2004）從視聽翻譯實踐的角度概括了視聽翻譯的內(nèi)涵。她認為，視聽翻譯“不僅包含任何媒體、形式中用于作品制作（或后續(xù)制作）的一切翻譯或多符號轉(zhuǎn)換，而且包括媒體的無障礙傳播：即為殘障人士而服務(wù)的聽障者字幕（Subtitling for the Deaf and Hard of Hearing， SDHH）或口述影像（Audio Description， AD）”（Orero viii）。有學者認為，視聽翻譯“將多模態(tài)、多媒體的文本轉(zhuǎn)化到另一種語言或文化的翻譯研究分支”（Baker 13），從而定位了視聽翻譯的學科屬性。

縱觀學術(shù)界，翻譯研究學者前仆后繼，從未停止關(guān)于視聽翻譯學科發(fā)展的探索。早在20世紀80年代末及90年代初，就有學者提出，視聽翻譯研究是“未被開墾的研究領(lǐng)域”（Delabastita 202）;Bassnett（1991）將視聽翻譯列為“翻譯和詩學”之下的研究內(nèi)容;Snell-Hornby（1995）將視聽文本的翻譯列入文學翻譯之下;20世紀90年代中期，隨著視聽翻譯實踐的拓展與譯者培訓的開展，視聽翻譯已正式贏得學術(shù)認可。21世紀之初，Baker（2009）對視聽翻譯學科屬性的定位，推動了視聽翻譯研究學科的進程?！耙暵牱g已發(fā)展了自身的理論視角及方法論，為其學術(shù)研究地位的確立提供了充分可能”（Díaz-Cintas 7）。目前，學者已達成共識，將視聽翻譯視為翻譯學研究中的一個獨立性研究領(lǐng)域。

三、多媒體翻譯探索

3.1 從“媒”說起

欲知“媒體”（media），需了解 “媒”?！对姟ばl(wèi)風·氓》中有記載：“匪我愆期，子無良媒”;古語曰：天上無云不下雨，地上無媒不成婚。由此，早期的“媒”，主要是在男女婚嫁中起傳情達意的中介作用?！懊襟w”一詞，源于拉丁語“medius”，音譯為“媒介”，意為“兩者之間”。傳播學中，媒體有兩種基本含義：（1）媒體是傳播工具、傳播渠道和傳播信息的載體;（2）媒體是各種傳播工具的總稱，如電影、電視、廣播、印刷品（書籍、雜志、報紙）、計算機和計算機網(wǎng)絡(luò)等。根據(jù)傳播方式，媒體可分為口頭媒體、書寫媒體、印刷媒體、電子媒體和新傳媒等（董璐 67），其中，新傳媒又稱“數(shù)字媒體”。每一種媒體的出現(xiàn)，都是對既有媒體的整合、延伸與革新。媒體的每次革新，“都伴隨著人類思維的變化和社會文化的發(fā)展”（李春媚 15），革新并不代表完全替代，相反，各媒體的融合與發(fā)展，是大勢所趨。

媒體功能的融合，產(chǎn)生了多媒體，如多媒體電腦，集文字、影像、聲音、數(shù)據(jù)儲存、雙向通信、網(wǎng)絡(luò)等功能于一體，更好地服務(wù)于人類，體現(xiàn)著數(shù)字媒介的人性化與智能化?！岸嗝襟w”，是計算機和視頻技術(shù)的結(jié)合，在計算機系統(tǒng)中，它是組合兩種或兩種以上媒體的一種人機交互式信息交流和傳播媒體。認為，“多媒體是指具有文字、圖像、音頻、視頻等播放功能的現(xiàn)代技術(shù)，如在課堂上使用的電腦、投影儀、電視機、移動終端等，……它強調(diào)的是不同媒體技術(shù)的綜合使用”（許勉君41）。早期的多媒體與教學（幻燈片、錄像等）和先鋒派藝術(shù)相聯(lián)系，后來，新數(shù)字技術(shù)與數(shù)字傳媒為多媒體帶來了豐富新穎多樣化的交際形式，如電子書籍、多媒體數(shù)據(jù)庫、視頻會議、虛擬現(xiàn)實等，“反映了這些交際新技術(shù)的高科技特征”（劉大燕 63）?？梢灶A(yù)見的是，未來的多媒體，將繼續(xù)呈現(xiàn)高科技、人性化與智能化特征，并以更加靈活多樣化的姿態(tài)為人類帶來更高的生活品質(zhì)。

3.2依托于媒介與技術(shù)的多媒體翻譯

3.2.1 定義

根據(jù)上文中關(guān)于“媒體”的兩層基本含義，筆者認為，媒體翻譯不僅指將一種語言文化內(nèi)的媒體文本轉(zhuǎn)換為另一種語言文化內(nèi)的媒體文本，而且指在轉(zhuǎn)換過程中所使用的媒體。廣義的媒體翻譯，不僅包括印刷媒體翻譯，而且包括口頭媒體、書寫媒體、電子媒體和新傳媒的翻譯。國際傳播視野下，媒體翻譯具有跨文化傳播的意義，“傳媒文本翻譯成為跨文化傳播中一個直觀重要的因素”（王海 205），在跨文化交流、外交與外宣等方面發(fā)揮著重要作用;于翻譯理論而言，媒體翻譯的實踐豐富了翻譯理論的內(nèi)涵。實際上，媒體文本翻譯已是翻譯研究的一個重要分支，斯內(nèi)爾-霍恩比（Snell-Hornby）在《翻譯研究：綜合法》（Translation Studies： An Integrated Approach 1995）中將各類翻譯文本分為文學翻譯、普通語言翻譯和特殊語言翻譯。對于舞臺劇、電影、報紙、廣告等媒體文本的翻譯，她不僅引進文化史、社會文化與地域研究，也引進了專門主題研究，勾勒了媒體文本翻譯的多學科研究途徑。

維基百科將“多媒體翻譯”定義如下：多媒體翻譯，有時也指視聽翻譯，是翻譯的一個專門的分支，是將一種文化語言內(nèi)的多模態(tài)、多媒體文本轉(zhuǎn)換為另一種文化語言的多模態(tài)、多媒體文本的活動，同時，它也指在翻譯或轉(zhuǎn)換過程中所使用的多媒體電子系統(tǒng)。此定義將多媒體翻譯視為翻譯的一個分支，并強調(diào)了待譯文本所依托的多媒體系統(tǒng)以及文本的多模態(tài)、多媒體屬性，但該定義將多媒體翻譯與視聽翻譯相混淆，筆者認為欠妥?！岸嗝襟w翻譯與視聽翻譯并不完全重合”（Gambier， The position of audiovisual translation studies 46），以連環(huán)漫畫的翻譯為例，連環(huán)漫畫至少融合了文字、圖像兩種傳播信息，屬于多媒體翻譯，但卻不屬于視聽翻譯，因為它不是視聽產(chǎn)品，不包含聽覺信息的傳遞。“多媒體翻譯，明確來講，指翻譯的媒介及交流渠道，它廣泛地運用于電影、電視、劇院、廣告、視聽及移動設(shè)備通訊等多種領(lǐng)域，在全球及局部地域發(fā)揮著信息傳遞、娛樂、教育及廣告等功能”（同上）。

3.2.2 對象與內(nèi)容

多媒體翻譯的對象所呈現(xiàn)的文本，是多媒體文本（multi-medial texts）。與傳統(tǒng)意義上的文本不同，多媒體文本結(jié)合了信息代碼和交際代碼， 混合了文字、圖像和聲音， 是具有三維性質(zhì)的超文本結(jié)構(gòu)。萊斯（Reiss）是“關(guān)注為說或唱而進行書面表達的聽覺媒體型（audio-medial）文本的第一人”（Gambier & Gottlieb x）。“萊斯的聽覺媒體型文本更多地是指廣告文本而非電影翻譯和紀錄片翻譯”（Munday 268）。斯內(nèi)爾—霍恩比（2006）將多媒體文本視為由技術(shù)或涉及視覺媒體和聲音媒體的電子媒體傳遞的文本，突出了技術(shù)與電子媒體對于此類文本的重要性。多媒體文本具有兩大特征：多重符號聚合性與交互性。多媒體文本的意義是文字和非文字符號（如圖片、聲音、顏色和版式等）的總和， 多重符號共處于多媒體交際的大環(huán)境中。多媒體文本的交互性首先在于各符號間相互作用，共同完成意義的構(gòu)建;其次在于接受者和文本之間相互作用，如個人與電腦、個人與電影電視等媒體的交互，所用媒體不同，交互程度各異。

多媒體翻譯的內(nèi)容相當廣泛，首先，“它包括為電影或電視而進行的視聽翻譯，如字幕翻譯、配音、畫外音等等，也涵蓋了屏幕翻譯（電影、家庭和公司錄像、電視節(jié)目）的領(lǐng)域，還包括戲劇和歌劇的翻譯”（劉大燕 63），其次，因它涉及到信息通訊技術(shù)產(chǎn)品的本地化及互聯(lián)網(wǎng)產(chǎn)品的翻譯，包括“為互聯(lián)網(wǎng)和在互聯(lián)網(wǎng)上的翻譯、脫機產(chǎn)品和服務(wù)的翻譯”（Gambier & Gottlieb xi），如字幕/配音組、網(wǎng)絡(luò)動畫，也屬多媒體翻譯的范疇，此外，手機、平板電腦等設(shè)備的視頻游戲、網(wǎng)上交流也屬此類。可見，多媒體翻譯包羅萬象，導致其概念模糊，范疇不定，“多媒體翻譯這一概念，會導致某種困惑”（Gambier， Screen transadaptation 171）。似乎，凡是能與多媒體技術(shù)有聯(lián)系的任何翻譯行為，都可以被統(tǒng)括在多媒體翻譯之下。

四、多模態(tài)翻譯透析

4.1從“模態(tài)”的含義說起

“模態(tài)”（modality）一詞，源于生物學與生命科學中的5種感知渠道——視覺、聽覺、嗅覺、味覺和觸覺，當這5種感知渠道用于交際時，就產(chǎn)生了5種交際模態(tài)。朱伊特（Jewitt）（184）認為模態(tài)是“有組織、有規(guī)律的任何表現(xiàn)及交流方式”;顧曰國（3）從人機互動中受到啟發(fā)，認為人類通過感官與外部環(huán)境之間的互動方式就是模態(tài)。模態(tài)，指交流的渠道和媒介，包括語言、技術(shù)、圖象、顏色和音樂等符號系統(tǒng)（朱永生83）?？死姿购头掺斘模↘ress & van Leeuwen ）（Multimodal Discourse 20）將“多模態(tài)”（multimodality）定義為：“在具體的社會情境中，同時被使用的多種符號資源，就構(gòu)成了多模態(tài)”，強調(diào)社會情境與多樣化符號資源的運用;多模態(tài)指語篇中使用的多種符號資源，既包括口語及書面語資源，也包括圖像、空間及其他用于構(gòu)建語篇的非語言資源（Baldry & Thibault 4）;LeVine & Scollon（2）從社會語言學的視角出發(fā)，將多模態(tài)定義為“交際時所采用的多種模式，如言語、顏色、味道、圖像等”，諾里斯（Norris）（404）則認為“言語交際方式與非言語交際方式（如手勢、姿勢）共同構(gòu)成了多模態(tài)的社會互動”。綜合考慮，筆者認為，多模態(tài)指用于建構(gòu)語篇或社會交際（互動）的資源、渠道和媒介等多種模態(tài)構(gòu)成的符號系統(tǒng)，它不僅包括語言符號，也包括非語言符號。

傳統(tǒng)意義上的話語基于語言，如“話語是超越句子或小句的語言”（Harris 3），功能主義者認為話語“是社會文化語境中互動的產(chǎn)物”（代樹蘭26）。多模態(tài)中的“話語”刷新了話語本身的含義，多模態(tài)話語，指同時使用兩種及以上模態(tài)所形成的“現(xiàn)實知識的社會建構(gòu)”（Kress & van Leeuwen， Reading Images 17）。分析多模態(tài)話語時，不僅關(guān)注語言模態(tài)，還要關(guān)注聲音、圖像、動作、空間、手勢、技術(shù)等非語言模態(tài)，“語言是社會符號（social semiotic）和意義潛勢（meaning potential），語言以外的其他符號系統(tǒng)也是意義的源泉”（朱永生 84）。

4.2 多模態(tài)翻譯面面觀

4.2.1 定義

目前關(guān)于這一概念的界定，至今未有定論。筆者認為，多模態(tài)翻譯（multimodal translation），即多模態(tài)話語意義的翻譯。國內(nèi)有學者認為，它至少包含三層含義：首先，多模態(tài)作品的翻譯，包括但不限于影視作品/視聽作品、漫畫、連環(huán)畫、題畫詩、兒童讀物、廣告等的翻譯;其次，翻譯中不同模態(tài)之間的轉(zhuǎn)換或綜合運用，如將文字模態(tài)轉(zhuǎn)換為圖像模態(tài);第三，多模態(tài)理論在翻譯教學與實踐的運用，如運用多媒體技術(shù)展示多媒體文本，從而調(diào)動學生的多個感官系統(tǒng)參與學習（許勉君 41）該論述囊括了與“多模態(tài)”、“翻譯”相關(guān)的幾個重要內(nèi)涵——多模態(tài)話語、模態(tài)轉(zhuǎn)換、多模態(tài)理論、多媒體、翻譯教學與實踐，具有重要參考價值。由此，多模態(tài)翻譯與多模態(tài)作品、模態(tài)轉(zhuǎn)換、多媒體技術(shù)、翻譯教學與實踐密切相關(guān)，不可分割。

4.2.2 理論基礎(chǔ)

多模態(tài)翻譯是翻譯學研究中的新術(shù)語、新事物，有待于被研究、挖掘。針對這一新術(shù)語，筆者擬嘗試性概括了它的理論基礎(chǔ)，主要包括三方面，即，多模態(tài)話語與多模態(tài)話語分析、與多媒體技術(shù)相關(guān)的理論知識及符際翻譯。鑒于筆者已介紹前兩方面，此處只簡述符際翻譯。俄羅斯著名語言學家、翻譯學專家Roman Jakobson 在專著《論翻譯的語言學方面》（On Linguistic Aspects of Translation 232-239 ）中歸納了三種翻譯類型：語內(nèi)翻譯（intralingual transaltion）、語際翻譯（interlingual translation）和符際翻譯（intersemiotic translation）。其中，符際翻譯，又稱“變形”，指用某種非語言符號系統(tǒng)的符號來解釋語言符號的現(xiàn)象，例如，將書面文本轉(zhuǎn)換為音樂、電影或是繪畫等形式。符際翻譯將非語言符號納入研究對象，將語言符合與非語言符號之間的信息傳播作為研究內(nèi)容，超越了傳統(tǒng)意義上的翻譯內(nèi)涵，為翻譯研究開拓了新視野、新思路。多模態(tài)翻譯的其中一個含義在于不同模態(tài)（語言模態(tài)與非語言模態(tài)）之間的轉(zhuǎn)換或綜合運用，鑒于此點，筆者認為多模態(tài)翻譯與符際翻譯有異曲同工之妙。

4.2.3 研究前瞻

與翻譯學研究領(lǐng)域內(nèi)的其他類研究（如文學翻譯、科技翻譯等）相比，多模態(tài)翻譯研究比較滯后。究其原因，有兩方面：其一，以往的研究側(cè)重于單模態(tài)（主要指語言）層面的語際翻譯，忽略了非語言符號與語言符號系統(tǒng)之間的符際翻譯;其二，多模態(tài)翻譯的理論基礎(chǔ)之一——多模態(tài)話語理論尚不成熟、不完善，從而限制了研究的深層次發(fā)展。此外，“目前國內(nèi)關(guān)于多模態(tài)翻譯的研究，主要集中在影視翻譯和多模態(tài)翻譯教學體系構(gòu)建方面，并且多數(shù)研究，只是簡單套用了多模態(tài)話語分析理論，研究方法和內(nèi)容大同小異，研究視角單一，缺乏深度和廣度”（許勉君40）。展望未來的多模態(tài)翻譯研究，應(yīng)以多模態(tài)翻譯學科建設(shè)為主要旨歸，從純理論研究、應(yīng)用研究及方法論建設(shè)三方面同等發(fā)力，具體研究內(nèi)容應(yīng)包括：多模態(tài)翻譯理論建構(gòu)、多模態(tài)語料庫建設(shè)與研究、多模態(tài)翻譯產(chǎn)品、過程與功能研究、多模態(tài)翻譯人才培養(yǎng)、多模態(tài)翻譯質(zhì)量評估研究等。

五、結(jié)語

本文對視聽翻譯、多媒體翻譯與多模態(tài)翻譯三個概念進行了相關(guān)辨析，呈現(xiàn)了它們的淵源、研究與發(fā)展。綜合上述分析，筆者認為，視聽翻譯、多媒體翻譯與多模態(tài)翻譯三個概念之間既相互區(qū)別，又彼此聯(lián)系（如圖所示）。

圖? 視聽翻譯、多媒體翻譯與多模態(tài)翻譯的關(guān)系

視聽翻譯強調(diào)的是視聽文本（如電影、電視劇、脫口秀等）翻譯過程中的多符號、多維信息的轉(zhuǎn)換，本質(zhì)上，它是視聽文化的翻譯，具體體現(xiàn)為視聽文化產(chǎn)品的翻譯;多媒體翻譯側(cè)重多媒體文本（如網(wǎng)頁翻譯、連環(huán)漫畫、網(wǎng)絡(luò)動畫等）翻譯或轉(zhuǎn)換過程中所使用的多媒體電子系統(tǒng)、媒介及渠道，本質(zhì)上，它是依托于多媒體技術(shù)的翻譯;而多模態(tài)翻譯的重點在于多模態(tài)話語（如影視作品、兒童讀物等）的翻譯中多模態(tài)（如語言、聲音、圖像、技術(shù)等）信息的轉(zhuǎn)換，本質(zhì)上是不同模態(tài)的話語之間的轉(zhuǎn)換與翻譯。當人們使用不同的符號資源或模態(tài)來制作、翻譯視聽文本時，視聽文本就具有了“多模態(tài)”屬性，視聽翻譯可被稱為“多模態(tài)翻譯”。當各種模態(tài)，如語言、圖像、音樂、顏色、視角與多媒體屏幕的主要功能相組合時，視聽文本就具有了“多媒體”屬性，視聽翻譯亦可被稱為“多媒體翻譯”。如尼葛洛龐帝（Negroponte）（68）所言：“視聽文本的視覺模態(tài)與聽覺模態(tài)在多媒體技術(shù)的協(xié)調(diào)下，借助屏幕得以同步呈現(xiàn)，因此，視聽文本不僅有多模態(tài)屬性，而且有多媒體屬性”。

此外，多模態(tài)話語分析需要借助多媒體手段，如聲音的轉(zhuǎn)錄、動態(tài)圖像的錄制與分解，語料庫的建立等，它的發(fā)展將日趨結(jié)合多模態(tài)和多媒體（辛志英 210）。多模態(tài)理論（尤指多模態(tài)話語分析理論）為視聽翻譯研究提供了重要的理論支撐，是視聽翻譯研究的必要理論;多媒體為視聽翻譯研究與實踐提供了必要的技術(shù)支持，視聽翻譯的蓬勃發(fā)展，是多媒體技術(shù)、信息技術(shù)與數(shù)字網(wǎng)絡(luò)技術(shù)的必然產(chǎn)物。

引用文獻【W(wǎng)orks Cited】

Baker， Mona and Gabriela Saldanha， eds. Routledge Encyclopedia of Translation Studies. 2nd Edition. London： Routledge， 2009.

Baldry， Anthony， and Paul J. Thibault. Multimodal Transcription and Text Analysis： A Multimedia Toolkit and Coursebook. London/ Oakville： Equinox， 2006.

Bassnett， Susan. Translation Studies. London： Methuen， 1991.

代樹蘭：話語、話語分析與多模態(tài)話語分析的界定與發(fā)展?！段靼餐鈬Z大學學報》3（2013）：26-30。

[Dai， Shulan. “The definition and development of discourse， discourse analysis and multimodal discourse analysis.” Journal of Xi an International Studies University 3（2013）： 26-30.]

Delabastita， Dirk. “Translation and mass-communication： Film and TV Translation as evidence of cultural dynamics.” Babel 4（1989）： 193-218.

Díaz Cintas， Jorge. “Introduction- Audiovisual translation： An overview of its potential.” New Trends in Audiovisual Translation. Ed. Jorge Díaz-Cintas. Bristol， Buffalo， Toronto： Multilingual Matters Limited. 2009. 1-20.

董海雅：西方語境下的影視翻譯研究概覽?！渡虾７g》1（2007）：12-17。

[Dong， Haiya. “A review on audiovisual translation studies in western context.” Shanghai Journal of Translation 1（2007）： 12-17.]

——：蓬勃發(fā)展的視聽翻譯研究及教學——Jorge Díaz-Cintas訪談?！渡虾７g》4（2012）：53-57。

[---. “An interview with Jorge Díaz Cintas on audiovisual translation studies.” Shanghai Journal of Translation 4 （2012）： 53-57.]

董璐：《傳播學核心理論與概念》。北京：北京大學出版社，2008。

[Dong， Lu. Key Theories and Concepts in Communication. Beijing： Beijing University Press， 2008.]

Gambier， Yves， and Henrik Gottlieb， eds. （Multi） Media Translation. Amsterdam： John Benjamins， 2001.

Gambier， Yves. “Screen transadaptation： Perception and reception.” The Translator 2 （2003）： 171-189.

---. “The position of audiovisual translation studies.” The Routledge Handbook of Translation Studies. Eds. Carmen Millán and Francesca Bartrina. London and New York： Routledge Tylor & Francis Group. 2013. 45-59.

顧曰國：多媒體、多模態(tài)學習剖析?！锻庹Z電化教學》2（2007）：3-12。

[Gu， Yueguo. “On multimedia learning and multimodal learning.” Computer-Assisted Foreign Language Education 2（2007）： 3-12.]

韓晗：早期視聽文化：中國現(xiàn)代文化產(chǎn)業(yè)的重要起源?！段錆h大學學報（人文科學版）》5（2017）：111-117。

[Han， Han. “Early audiovisual culture： the important origin of Chinese modern cultural industries.” Wuhan University Journal （Arts & Humanity） 5（2017）： 111-117.]

Harris， Zelling. “Discourse analysis.” Language 28 （1952）： 1-30.

Jakobson， Roman. “On linguistic aspects of translation.” On Translation. Ed. Reuben. A. Brower. Cambridge， MA： Harvard University Press. 1959. 232-239.

Jewitt， Carey. “Multimodality and new communication technologies.” Multimodal Discourse Analysis. Ed. OHalloran， Kay. London and New York： Continuum. 2004. 184-195.

Kress， Gunther， and Theo van Leeuwen. Multimodal Discourse. London： Edward Arnold， 2001.

---. Reading Images： The Grammar of Visual Images. London： Routledge， 1996.

LeVine， Philip， and Ron Scollon eds. Discourse and Technology： Multimodal Discourse Analysis. Washington， D. C.： Georgetown University Press， 2004.

李春媚：四大媒體特征論?！逗洗蟊妭髅铰殬I(yè)技術(shù)學院學報》1（2004）：15-18。

[Li， Chunmei. “On the features of the four media forms.” Journal of Hunan Mass Media Vocational Technical College 1 （2014）： 15-18.]

劉大燕：析 AVT 名稱演變：從電影翻譯到多媒體翻譯?！渡虾７g》4（2010）：61-65。

[Liu， Dayan. “The Name of AVT—AVT studies from film translation to multimedia translation.” Shanghai Journal of Translation 4（2010）： 61-65.]

Munday， Jeremy. Introducing Translation Studies. 3rd Edition. London and New York： Routledge， 2012.

Negroponte， Nicholas. “Multimedia.” Feb 8， 2018 .

Norris， Sigrid. “Multiparty interaction： a multimodal perspective on relevance.” Discourse Studies 3（2006）： 401-421.

Orero， Pilar. “Audiovisual translation： A new dynamic umbrella.” Topics in Audiovisual Translation. Ed. Pilar Orero. Amsterdam/ Philadelphia： John Benjamins. 2004：vii-xiii.

龐井君：當代人類文化發(fā)展的視聽轉(zhuǎn)型?！短旖蛏鐣茖W》5（2013）：36-43。

[Pang， Jingjun. “The audiovisual transition of contemporary peoples cultural development.” Tianjin Social Sciences 5（2013）： 36-43.]

彭典貴：影視翻譯中情色禁忌語的歸化策略?！渡虾７g》3（2013）：66-68。

[Peng， Diangui. “On domestication strategy of sexual language in audiovisual translation.” Shanghai Journal of Translation 3（2013）： 66-68.]

Snell-Hornby， Mary. The Turns of Translation Studies： New Paradigms or Shifting Viewpoints？ Amsterdam/ Philadelphia： John Benjamins Publishing Company， 2006.

---. Translation Studies： An Integrated Approach. Amsterdam and Philadelphia： John Benjamins， 1995.

Taylor， Christopher. “The multimodal approach in audiovisual translation.” Target 2（2016）： 222-36.

王海：《傳媒翻譯概論》。廣州：暨南大學出版社，2011。

[Wang， Hai. An Introduction to Translation for the Media. Guangzhou： Jinan University Press， 2011.]

肖維青：論影視翻譯課程的技術(shù)路徑。《中國翻譯》5（2012）：44-47。

[Xiao， Weiqing. “On the technological method of audiovisual translation course.” Chinese Translators Journal 5（2012）： 44-47.]

謝天振：現(xiàn)行翻譯定義已落后于時代的發(fā)展——對重新定位和定義翻譯的幾點反思?！吨袊g》3（2015）：14-15。

[Xie， Tianzhen. “The current definition of translation has been outdated—some reflections on the repositioning and redefinition of translation.” Chinese Translators Journal 3（2015）： 14-15.]

辛志英：話語分析的新發(fā)展——多模態(tài)話語分析?！渡鐣茖W輯刊》5（2008）：208-211。

[Xin， Zhiying. “The new development of discourse analysis—multimodal discourse analysis.” Social Science Journal 5（2008）： 208-211.]

許勉君：中國多模態(tài)翻譯研究述評?！稄V東外語外貿(mào)大學學報》2（2017）：40-46。

[Xu， Mianjun. “A review of multimodal translation studies in China.” Journal of Guangdong University of Foreign Studies 2（2017）： 40-46.]

朱永生：多模態(tài)話語分析的理論基礎(chǔ)與研究方法?！锻庹Z學刊》5（2007）：82-86。

[Zhu， Yongsheng. “On theoretical basis and research methods of multimodal discourse analysis.” Foreign Language Research 5（2007）： 82-86.]