跨模態(tài)傳播新路徑：評(píng)?《多模態(tài)翻譯理論與實(shí)踐研究》

摘要：在對(duì) 《多模態(tài)翻譯理論與實(shí)踐研究》一書進(jìn)行述評(píng)的基礎(chǔ)上，本文從跨模態(tài)傳播重構(gòu)、符際傳播重釋、文化符號(hào)的多維傳播重寫等方面探索跨模態(tài)國際傳播的有效路徑。研究發(fā)現(xiàn)，跨模態(tài)國際傳播可充分理解本土文化和目標(biāo)傳播環(huán)境，利用符號(hào)的模態(tài)資源再配置實(shí)現(xiàn)跨符號(hào)、跨媒介的意義再闡釋和再表達(dá)。未來可利用人工智能和大語言模型技術(shù)的應(yīng)用提高跨模態(tài)國際傳播的效率。研究結(jié)果可為跨模態(tài)國際傳播提供啟示和借鑒。

關(guān)鍵詞：多模態(tài)文本；跨模態(tài)傳播；文化符號(hào)；國際傳播

全球化和讀圖時(shí)代，多模態(tài)傳播成為視聽媒體信息傳播的主要形式，多模態(tài)不僅豐富了傳播方式，也極大地提高了信息的表達(dá)力和感染力。隨著數(shù)字技術(shù)的快速發(fā)展，多模態(tài)文本的國際傳播面臨著傳統(tǒng)和創(chuàng)新融合的機(jī)遇和挑戰(zhàn)。多模態(tài)文本翻譯不再是傳統(tǒng)意義上的語言轉(zhuǎn)換，而是涉及跨模態(tài)、跨符號(hào)和跨媒介重構(gòu)，以及文化意義的再創(chuàng)造。比如，一個(gè)成功的品牌國際傳播，不僅是語言信息的準(zhǔn)確傳達(dá)，更是品牌形象和文化價(jià)值觀念的全球重塑，涉及圖像、聲音、文字等多種符號(hào)系統(tǒng)的有機(jī)結(jié)合和創(chuàng)新性重構(gòu)，以適應(yīng)不同文化的接受習(xí)慣和審美標(biāo)準(zhǔn)。[1]

相關(guān)研究或聚焦多模態(tài)文本的符號(hào)特征，或著重分析多模態(tài)翻譯策略，或關(guān)注多模態(tài)傳播的話語路徑，[2][3][4]較少結(jié)合符際翻譯和國際傳播視角進(jìn)行跨模態(tài)符際傳播研究。浙江萬里學(xué)院王洪林教授的新作 《多模態(tài)翻譯理論與實(shí)踐研究》一書在一定程度上彌補(bǔ)了先前研究的不足。該書兼顧多模態(tài)翻譯理論和國際傳播實(shí)踐，從符號(hào)學(xué)和多模態(tài)雙重理論視角出發(fā)，探討跨文化語境下多模態(tài)翻譯的跨符號(hào)和跨媒介表意路徑；以視覺和視聽多模態(tài)翻譯的國際傳播為實(shí)踐案例分析，并從符際書寫視角提出中國地方特色文化國際傳播的對(duì)策建議。該書除緒論和結(jié)語外，共有五章，以多模態(tài)翻譯研究的學(xué)術(shù)史考察、視覺多模態(tài)翻譯案例分析、視聽多模態(tài)翻譯案例分析、中國文化對(duì)外傳播中的多模態(tài)翻譯和符際書寫、多模態(tài)翻譯研究焦點(diǎn)與前瞻為主題，分別從理論闡釋到案例分析，從跨符號(hào)表意到符際書寫，從多模態(tài)翻譯到國際傳播，從品牌、電影、宣傳片到兒童繪本故事和地方文化國際傳播展開分析，層層遞進(jìn)，其研究視角和觀點(diǎn)具有創(chuàng)新性，對(duì)多模態(tài)翻譯，以及全球品牌和文化的國際傳播研究和實(shí)踐均具有實(shí)際借鑒和啟示價(jià)值。

本文在國際傳播視域下，從符號(hào)學(xué)和多模態(tài)翻譯學(xué)的跨學(xué)科視角，探討多模態(tài)文本的跨符號(hào)和跨媒介重構(gòu)實(shí)踐，基于 《多模態(tài)翻譯理論與實(shí)踐研究》一書的述評(píng)探索跨模態(tài)國際傳播的有效路徑，以不斷優(yōu)化視聽跨文化信息的傳播和接受效果。

一、跨符號(hào)和跨語言的跨模態(tài)傳播重構(gòu)

意義是視聽多模態(tài)文本傳播過程中的核心問題。多模態(tài)文本通過圖像、聲音、文字等多種符號(hào)的組合和配置，提供視覺、聽覺、觸覺等不同模態(tài)的信息體驗(yàn)，使得抽象或復(fù)雜的概念更容易被理解。通過多感覺的刺激，更強(qiáng)烈地影響受眾的情感和認(rèn)知。而在跨文化和跨語言語境中，傳播發(fā)送端和接收端文化和語言的差異使得傳播過程中不可避免地發(fā)生意義的重構(gòu)和重新解讀，主要涉及意義再生、意義變異、多模態(tài)符號(hào)再配置等方面。

意義再生指跨模態(tài)傳播中原有的符號(hào)信息被重新解讀和表達(dá)，重新構(gòu)建信息意義，使之適應(yīng)新的文化語境。意義變異的產(chǎn)生通常是由于接收者/解讀者文化背景的差異，導(dǎo)致原始信息的意義在新的文化語境下發(fā)生變化。意義再生和變異是 《多模態(tài)翻譯理論與實(shí)踐研究》一書的核心理論觀點(diǎn)之一。王洪林指出，多模態(tài)翻譯涉及跨文化語境下語言符號(hào)和非語言符號(hào)的互相配合，共同參與意義建構(gòu)。因此，相對(duì)于單一文化符號(hào)文本翻譯的意義轉(zhuǎn)換過程，多模態(tài)文本翻譯需要處理并調(diào)和原始文本和譯文中的文化差異，其意義轉(zhuǎn)換和再生涉及更突出的變異問題。比如，華為中英文網(wǎng)站對(duì)平板電腦和手機(jī)互聯(lián)功能進(jìn)行宣傳時(shí)，中英文網(wǎng)站的圖片和圖形均相同，中文網(wǎng)站配文 “雙設(shè)備”“優(yōu)勢互補(bǔ)”，英文網(wǎng)站配文 “One Super Device”，前者關(guān)注平板電腦和手機(jī)兩種設(shè)備的優(yōu)勢互補(bǔ)功能，后者則從整體上關(guān)注將兩種功能合二為一形成的超級(jí)設(shè)備，而不同的解讀者又將對(duì)中英文網(wǎng)站不同的圖文符號(hào)配置進(jìn)行不同視角的解讀，從而產(chǎn)生意義的變異和

無限衍義。

除此之外，意義再生和變異過程還涉及多模態(tài)符號(hào)的重新配置。76集電視連續(xù)劇 《甄嬛傳》在美國播出時(shí)剪輯為6集，美國版精簡故事情節(jié)，對(duì)視覺表達(dá)效果和表達(dá)方式、配樂、臺(tái)詞及字幕翻譯等視聽符號(hào)進(jìn)行重新配置，構(gòu)建新的敘事和符號(hào)意義，實(shí)現(xiàn)意義的再闡釋和表達(dá)。如美國版中向皇上下跪的畫面，配有中文字幕 “參見皇上”以及英文字幕 “bow in respect” （直譯為恭敬鞠躬），由于中西宮廷禮儀文化差異，英文字幕中的 “bow” （鞠躬）與畫面中的下跪動(dòng)作在符號(hào)意義上不是一一對(duì)應(yīng)關(guān)系，西方受眾需結(jié)合視覺模態(tài)的下跪畫面，才能理解中國宮廷禮儀中 “參見皇上”的符號(hào)意義。

自20世紀(jì)50年代雅各布森 （Roman Jakobson）提出語內(nèi)、語際和符際翻譯概念以來，大部分學(xué)者關(guān)注語際翻譯，較少關(guān)注符際翻譯，更少有兼顧語際和符際翻譯的研究?！抖嗄B(tài)翻譯理論與實(shí)踐研究》一書將多模態(tài)翻譯和國際傳播視域相結(jié)合，追問符際翻譯中的意義再生和變異，并將意義再生和變異機(jī)制用于闡釋阿里巴巴集團(tuán)中英文官網(wǎng)品牌標(biāo)識(shí)翻譯、華為官網(wǎng)產(chǎn)品圖文說明翻譯等場景，這為商業(yè)品牌通過視覺多模態(tài)翻譯策略來適應(yīng)和優(yōu)化其在目標(biāo)文化市場中的品牌識(shí)別和產(chǎn)品特色信息傳達(dá)提供了新的思路。但該書對(duì)多模態(tài)傳播中意義再生和變異的理論建構(gòu)主要基于案例和質(zhì)性分析，尚未建立系統(tǒng)的理論框架，因而在跨符號(hào)和跨語言的意義機(jī)制解讀上存在一定的主觀性。后續(xù)研究可進(jìn)一步利用多模態(tài)翻譯和國際傳播視域的互補(bǔ)性，增加定量分析數(shù)據(jù)，對(duì)跨模態(tài)國際傳播過程中的意義再生和變異機(jī)制進(jìn)行更深入的闡釋。

二、跨文化和跨媒介的符際傳播重釋

電影、電視、短視頻、廣播、網(wǎng)絡(luò)直播、虛擬現(xiàn)實(shí)等視聽媒介，通過視覺和聽覺手段提供豐富而多維的信息體驗(yàn)。由于媒介的不同特點(diǎn)，如電影通過講述完整的故事，能夠提供深刻的情感體驗(yàn)和視覺沖擊；短視頻易于分享，適合快速傳播；網(wǎng)絡(luò)直播提供即時(shí)互動(dòng)和反饋等，不同媒介可實(shí)現(xiàn)不同的傳播目的，優(yōu)化信息的全球傳播和接受效果。同時(shí)，視聽媒介的信息內(nèi)容和多模態(tài)符號(hào)呈現(xiàn)方式各異，信息的內(nèi)容、形式、情感、文化內(nèi)涵將適應(yīng)其選擇的媒介傳播渠道而各不相同。國際傳播背景下，如何借助符號(hào)的媒介資源轉(zhuǎn)換，實(shí)現(xiàn)有效的多模態(tài)信息再闡釋和表達(dá)，是跨模態(tài)、跨文化和跨媒介信息傳播的關(guān)鍵問題。

《多模態(tài)翻譯理論與實(shí)踐研究》在視聽多模態(tài)傳播章節(jié)詳細(xì)分析的 《三只小豬》正是不同國家、不同文化背景下跨媒介傳播的典型案例。英國童話故事 《三只小豬》在全球廣為流傳，有不同的媒介形式，包括繪本、動(dòng)畫片、電視劇、電影、廣播劇、舞臺(tái)劇等；不同的文體，包括兒歌、短篇故事、繪本故事、晚安故事等；三只小豬的繪本插圖和影視劇形象各異，包括保留動(dòng)物原型、擬人化形象，以及在中國動(dòng)畫片中模仿豬八戒半人半豬的形象等。動(dòng)畫片中色彩鮮艷的畫面和動(dòng)感的音樂協(xié)同作用，講述了生動(dòng)有趣的故事并營造了童趣氛圍，廣播劇通過語音表演和聲音效果的聽覺刺激引發(fā)聽眾的想象力，舞臺(tái)劇則結(jié)合了表演、布景、音樂等多種元素，通過現(xiàn)場互動(dòng)增強(qiáng)觀眾的體驗(yàn)感和參與感。除此之外，類似的跨文化和跨媒介傳播案例如 《哈利·波特》系列在全球范圍內(nèi)被翻譯成多種語言，通過電影、舞臺(tái)劇、視頻游戲、網(wǎng)絡(luò)平臺(tái)、主題公園等多種形式的媒介傳播；中國古典小說 《西游記》通過電視劇、電影、動(dòng)畫片、舞臺(tái)劇、視頻游戲和漫畫等媒介在全球傳播，孫悟空、唐僧、豬八戒和沙僧在不同文化中被改編為不同的符號(hào)形象，中國文化元素不斷重塑、闡釋、傳播、接受。

值得注意的是，該書探討視聽多模態(tài)翻譯中的符號(hào)關(guān)系、文化符號(hào)的意義轉(zhuǎn)換，以及多模態(tài)符號(hào)在跨語言、跨文化、跨媒介傳播中的闡釋和衍義問題，但主要聚焦視覺模態(tài)和視聽模態(tài)，未涉及聽覺模態(tài)的案例分析；主要聚焦語言符號(hào)和非語言符號(hào)間的符號(hào)轉(zhuǎn)換，未涉及非語言符號(hào)間的符號(hào)轉(zhuǎn)換研究。比如，影片 《臥虎藏龍》成功的原因之一是其配樂大量使用了中國傳統(tǒng)樂器如二胡和古箏，同時(shí)結(jié)合西方管弦樂，創(chuàng)造出一種既有東方神秘感又符合西方聽眾審美的音樂風(fēng)格。這種音樂的跨文化融合不僅增強(qiáng)了影片的情感表達(dá)，還能幫助西方觀眾更好地理解和感受中國文化的獨(dú)特美學(xué)，實(shí)現(xiàn)聽覺模態(tài)的有效傳播。而配樂、人物臺(tái)詞、視覺畫面的多模態(tài)符號(hào)組合及其在國際傳播中的融通和再塑則值得進(jìn)一步探索。

三、文化符號(hào)的多維傳播重寫

跨模態(tài)傳播重構(gòu)以意義再生和變異為核心議題，跨媒介符際傳播關(guān)注傳播渠道的策略性使用，文化符號(hào)的傳播則關(guān)注跨文化傳播的語內(nèi)、語際和符際融通與重寫。符際書寫是 《多模態(tài)翻譯理論與實(shí)踐研究》中提出的另一關(guān)鍵概念，定義為 “一種更加靈活的符際翻譯方式，借助跨語言、跨文化、跨模態(tài)、跨媒介和跨符號(hào)轉(zhuǎn)換等多種手段，可以更有效地提升跨文化傳播效果”。符際書寫與文化記憶緊密相關(guān)，在文化符號(hào)學(xué)理論視野下，它關(guān)注的是符號(hào)傳播過程中文本發(fā)送端的文化記憶及文本接收端的闡釋和意義變異。這與意義再生和變異的核心議題相呼應(yīng)。在多模態(tài)文本的國際傳播過程中，符際書寫不局限于傳統(tǒng) “翻譯”概念中原文和譯文的直接對(duì)應(yīng)關(guān)系，而是更關(guān)注傳播效果的優(yōu)化。通過文化符號(hào)的重寫和再創(chuàng)造，以提升地方特色文化符號(hào)的本土和國際傳播效果以及國際影響力，增強(qiáng)文化交流的雙向性和多向性。

通過有效利用文化符號(hào)的模態(tài)資源，跨模態(tài)、跨媒介符號(hào)表意和符際書寫行為，能夠顯著提升符號(hào)意義的傳遞效果，為中國文化國際傳播提供新的視角和思路。近年來，通過對(duì)外宣傳片和包含中國特色元素的電影進(jìn)行對(duì)外傳播，中國文化在國際舞臺(tái)上的呈現(xiàn)方式得到了創(chuàng)新性拓展。比如，中國故宮博物院利用虛擬現(xiàn)實(shí)技術(shù)和在線數(shù)字展覽對(duì)外展示中國藝術(shù)藏品和傳統(tǒng)文化。這種多模態(tài)傳播方式通過數(shù)字媒介和虛擬技術(shù)的結(jié)合，不僅提升了文化遺產(chǎn)的全球可達(dá)性，也創(chuàng)造了新的文化體驗(yàn)方式，通過中國傳統(tǒng)文化和現(xiàn)代技術(shù)的融合，增強(qiáng)了文化的傳播效果和文化記憶的保存。又如，張藝謀導(dǎo)演的電影 《英雄》使用了高度風(fēng)格化的武術(shù)符號(hào)，以及具有中國美學(xué)特色的色彩符號(hào)，如紅色、藍(lán)色、白色和綠色等來代表不同的情感，通過符際書寫將中國的武俠文化和美學(xué)轉(zhuǎn)化為全球觀眾都能欣賞和理解的視覺語言。其跨文化符號(hào)轉(zhuǎn)換不僅提升了藝術(shù)表達(dá)的深度，也增強(qiáng)了其全球市場的傳播力。

同時(shí)，我們也發(fā)現(xiàn)，不同文化空間主導(dǎo)的符際書寫可能影響文化記憶的傳播。比如，中國古詩 《花木蘭》講述木蘭代父從軍的故事，美國迪士尼公司將其改編為動(dòng)畫和真人電影，在改編過程中，迪士尼在人物形象、情節(jié)和臺(tái)詞設(shè)計(jì)，以及畫面構(gòu)圖和聲效等方面著重強(qiáng)調(diào)女性的自由意識(shí)和個(gè)人覺醒，增加了影片的現(xiàn)代感，但改變了原文本的文化內(nèi)涵和歷史記憶。可以看出，在跨文化的符際書寫和國際傳播過程中，文化傳播者和翻譯者扮演著至關(guān)重要的角色。中國文化的對(duì)外傳播者需要在深入理解傳統(tǒng)文化核心價(jià)值和象征意義，以及國外受眾接受習(xí)慣的基礎(chǔ)上，調(diào)整可能被誤解或曲解的符號(hào)內(nèi)容和表現(xiàn)形式，確保傳統(tǒng)文化的真實(shí)和有效傳播。

《多模態(tài)翻譯理論與實(shí)踐研究》一書主要從文化符號(hào)學(xué)視角探討跨文化的符際書寫實(shí)踐，隨著人工智能技術(shù)和大語言模型的迅速發(fā)展，國際傳播中符際書寫的內(nèi)容、形式和傳播途徑都將發(fā)生極大的變化，從符號(hào)學(xué)、文化研究、媒介學(xué)、傳播學(xué)、計(jì)算機(jī)科學(xué)、計(jì)算語言學(xué)、自然語言處理等多學(xué)科視角進(jìn)行跨文化、跨模態(tài)的符際書寫研究，可能成為跨文化國際傳播研究和實(shí)踐的趨勢。比如，針對(duì)多模態(tài)新聞的國際傳播，可利用NLP技術(shù)自動(dòng)從不同語言的新聞源中抽取和總結(jié)新聞內(nèi)容，基于符號(hào)學(xué)視角確定適應(yīng)目標(biāo)受眾偏好的圖像和語言符號(hào)，運(yùn)用傳播學(xué)和媒介學(xué)分析新聞內(nèi)容的受眾定位和媒介使用策略，并借助AI技術(shù)對(duì)新聞內(nèi)容進(jìn)行編譯和重寫，確保新聞在全球范圍內(nèi)的及時(shí)有效傳播。

四、結(jié)束語

多模態(tài)翻譯和國際傳播涉及語言、圖像、聲音等多模態(tài)符號(hào)間的動(dòng)態(tài)互動(dòng)和文化意義的深層重構(gòu)。本文在對(duì) 《多模態(tài)翻譯理論與實(shí)踐研究》一書進(jìn)行述評(píng)的基礎(chǔ)上，從多模態(tài)傳播重構(gòu)、符際傳播重釋、文化符號(hào)的多維傳播重寫等方面分析國際傳播視域下多模態(tài)文本的跨符號(hào)和跨媒介重構(gòu)。研究發(fā)現(xiàn)，跨文化和跨模態(tài)符際轉(zhuǎn)換需充分考慮本土文化和快速變化的目標(biāo)傳播環(huán)境，利用符號(hào)的模態(tài)資源再配置實(shí)現(xiàn)符號(hào)意義在國際傳播語境中的再闡釋和再表達(dá)。同時(shí)，人工智能和大語言模型技術(shù)的應(yīng)用提高了翻譯的效率和準(zhǔn)確性，也有助于更好地理解和重構(gòu)復(fù)雜的文化符號(hào)。未來的研究可進(jìn)一步探索這些技術(shù)在國際傳播中的應(yīng)用效果，特別是如何通過技術(shù)賦能促進(jìn)文化符號(hào)的表達(dá)，實(shí)現(xiàn)傳統(tǒng)文化和本土品牌的有效國際傳播。

參考文獻(xiàn)：

[1] 王洪林.多模態(tài)翻譯理論與實(shí)踐研究[M].杭州：浙江大學(xué)出版社，2023.

[2] 尹素偉，姚喜雙.信息傳播中互動(dòng)機(jī)制的建構(gòu)與意義生成：基于中美氣象頻道節(jié)目的多模態(tài)話語分析[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報(bào)），2020，42（03）：96-100.

[3] 胡蒞敏.多模態(tài)視域下原創(chuàng)繪本里中華文化符號(hào)的功能與傳播特征：基于 “豐子愷兒童圖畫書獎(jiǎng)” 作品的文本分析[J].傳播與版權(quán)，2023（02）：91-93.

[4] 孫小孟.中國故事多模態(tài)話語敘事與國際傳播[M].成都：西南財(cái)經(jīng)大學(xué)出版社，2023.