多模態(tài)隱喻研究20年(1998—2017)
——理論、實踐與進展

陳風華 胡冬梅

(1. 香港理工大學(xué) 人文學(xué)院，香港 999077; 2. 中國地質(zhì)大學(xué) 外國語學(xué)院，湖北 武漢 430074)

0 引言

多模態(tài)隱喻濫觴于概念隱喻理論(Lakoff et al.，1980)和圖像隱喻理論(Forceville，1991；1994；1996)，指始源域和目標域特定或顯著出現(xiàn)在不同模態(tài)之中，如視覺圖像、書面語言、口頭語言、聲音符號及音樂符號，并用于研究不同隱喻如何體現(xiàn)于各種符號實踐、作用于人類的認知語境和影響人們的認知識解(Forceville，2009:24；張德祿 等，2013:20)。自1998年迄今，在國內(nèi)外學(xué)者的共同努力下，多模態(tài)隱喻研究取得了顯著進步，同時也存在一些值得反思的問題。本研究基于國內(nèi)外文獻大數(shù)據(jù)，運用學(xué)界廣泛使用的可視化計量分析軟件CiteSpace，全面考察多模態(tài)隱喻研究的基本特征和進展狀態(tài)，以期為今后的深入探索提供一定的參考。

1 多模態(tài)隱喻研究知識圖譜分析

目前國內(nèi)外學(xué)界對多模態(tài)隱喻開展的計量研究尚不多見。孫毅(2015:17-21)分析國內(nèi)外語類CSSCI期刊歷時20年(1994—2013)當代隱喻學(xué)領(lǐng)域論文發(fā)現(xiàn)，國內(nèi)偏重隱喻理解輸出端而輕視研究前提輸入端，強調(diào)二維平面隱喻而漠視多模態(tài)隱喻；孫亞等(2017:695-702)采用文獻計量可視化技術(shù)考察國外主流SSCI語言學(xué)期刊跨越11年(2006—2016)隱喻研究的文章提出，國外隱喻研究的理論根基為概念隱喻理論，語料庫與實驗法是熱點模式，多模態(tài)隱喻、情感隱喻、身份隱喻和手勢隱喻形成前沿話題。

1.1 研究問題

本研究旨在探索以下問題的解答：就發(fā)文量分布、關(guān)鍵詞共現(xiàn)、文獻共被引、作者共被引、期刊共被引和合作學(xué)者群六要素而言：

問題1. 國內(nèi)外多模態(tài)隱喻研究呈現(xiàn)怎樣的特征？

問題2. 上述特征為今后的探索帶來怎樣的啟示？

1.2 研究方法

CiteSpace是美國德雷塞爾大學(xué)學(xué)者陳超美開發(fā)的一款引文可視化計量軟件。該軟件主要用于分析文獻的標題、副標題、摘要、關(guān)鍵詞、作者、機構(gòu)和參考文獻，通過已發(fā)表的文獻追尋科學(xué)發(fā)展蹤跡，實現(xiàn)緊跟科研前沿目的。我們使用的CiteSpace版本為5.1 R8，選取的國內(nèi)語料來自CNKI與CSSCI網(wǎng)站，國際語料出自WOS官網(wǎng)。研究按照以下步驟規(guī)劃：第一步，按照多模態(tài)隱喻學(xué)者Feng(2017:462)的觀點，隱喻和轉(zhuǎn)喻之間沒有明晰界限。由此我們在CNKI和CSSCI網(wǎng)站以“多模態(tài)隱喻”和“多模態(tài)轉(zhuǎn)喻”、在WOS官網(wǎng)用“multimodal metaphor”和“multimodal metonymy”作為主題詞展開檢索，獲得281條國內(nèi)文獻和205條國際文獻。第二步，使用CiteSpace對國內(nèi)外文獻進行可視化分析。第三步，在可視化數(shù)據(jù)基礎(chǔ)上探討研究結(jié)果對未來進一步探索帶來的相關(guān)啟示。

1.3 研究發(fā)現(xiàn)

1.3.1 發(fā)文量分布

從圖1統(tǒng)計的數(shù)據(jù)可以發(fā)現(xiàn)，國內(nèi)文獻肇始于2010年，此后其數(shù)量呈曲線式逐步增長趨勢。2010至2013年為發(fā)文量急劇增加時期，從2010年的兩篇上升為2015年的巔峰57篇，折射國內(nèi)學(xué)者對多模態(tài)隱喻的研究已經(jīng)達到一定的深度與廣度。國內(nèi)首條文獻是李毅、石磊(2010:47-49)論文《教學(xué)中的多模態(tài)隱喻——應(yīng)用隱喻研究的新方向》，該文系統(tǒng)介紹了單模態(tài)隱喻與多模態(tài)隱喻、多模態(tài)隱喻研究現(xiàn)狀、多模態(tài)隱喻教學(xué)的研究意義和多模態(tài)隱喻教學(xué)研究的前景與挑戰(zhàn)，為學(xué)界的后續(xù)研究提供了翔實的概念基礎(chǔ)和系統(tǒng)的理論鋪墊。

圖1 國內(nèi)與國際發(fā)文數(shù)量歷時分布

國際文獻發(fā)軔于1998年，1998到2004年國際多模態(tài)隱喻研究進展緩慢。2005年以后開始持續(xù)發(fā)力，發(fā)文數(shù)量以年平均15篇的趨勢快速上揚，2015年數(shù)量達到最高35篇。國際首條文獻是Stanney等(1998:327-351)論文《虛擬環(huán)境中的人為因素問題:文獻綜述》，該文系統(tǒng)引介虛擬環(huán)境中的人為因素類型、人類表現(xiàn)組成、健康與安全問題和虛擬技術(shù)的社會影響，為后續(xù)學(xué)者深入研究虛擬環(huán)境中人類與電腦的多模態(tài)互動隱喻鋪開可行路徑。

1.3.2 關(guān)鍵詞共現(xiàn)

文獻主題和研究重心的核心術(shù)語是被引關(guān)鍵詞(Law et al.，1992:418)。研究數(shù)據(jù)表明，2010—2017年間國內(nèi)熱門話題按照中心度值排名前10位依次為公益廣告、概念隱喻、跨文化、概念整合、意義構(gòu)建、政治漫畫、電視廣告、認知、映射和構(gòu)建。前沿主題的可視化基礎(chǔ)是被引文獻與共引脈絡(luò)(Chen，2006:359)。CiteSpace自動解析的聚類主題顯示，國內(nèi)研究的前沿主題分別是多模態(tài)語篇分析、電視廣告、意義構(gòu)建、概念隱喻與公益廣告。從中可以發(fā)現(xiàn)，公益廣告、概念隱喻、意義構(gòu)建及電視廣告等重疊研究出現(xiàn)在熱門話題和前沿主題之中，預(yù)示一些熱門話題和前沿主題并無差別?？梢暬嬃繑?shù)據(jù)證實，自1998年開始國際多模態(tài)隱喻研究的10個熱點領(lǐng)域依次是手勢、演講、語言、認知語言學(xué)、信息、適用性、模型、認知、聽標和交談。依照聚類數(shù)據(jù)我們得到的前沿主題，先后為時間、視覺隱喻、適用性、聲音、全球金融危機、相異性與協(xié)同進化體系，這些既是熱門話題也是前沿話題。

綜合國內(nèi)外研究的熱點與前沿話題可以推斷，第一，認知話題是國內(nèi)外研究的共同熱點，證明國內(nèi)能夠與國際的一些學(xué)術(shù)前沿實現(xiàn)同步。第二，國內(nèi)與國際的研究前沿差異顯著，表明國內(nèi)匱乏足夠的前瞻洞察力。第三，概念隱喻和視覺隱喻是多模態(tài)隱喻的理論基石，凸顯基于系統(tǒng)功能語言學(xué)和認知語言學(xué)的二元研究范式。自20世紀70年代伊始，視覺隱喻作為單模態(tài)修辭方式就得到國際學(xué)界密切關(guān)注，之后Forceville將其上升到概念隱喻維度，自此多模態(tài)隱喻作為專門術(shù)語開始出現(xiàn)在國際文獻中。多模態(tài)隱喻相比語言隱喻擁有以下優(yōu)勢：多模態(tài)隱喻的始源域與目標域具有天然多模態(tài)性，圖像、聲音和手勢具有語言匱乏的感知即時性；多模態(tài)隱喻擁有更多確定始源域與目標域之間相似性的方式；多模態(tài)隱喻的跨文化接受程度和傳播范圍更加廣泛；多模態(tài)始源域的情感吸引力更為強烈(Forceville，2008:463)。

1.3.3 文獻共被引

共被引文獻構(gòu)成研究領(lǐng)域的知識基礎(chǔ)(Persson，1994:31-38)?？梢暬瘮?shù)據(jù)證實，國內(nèi)前10條影響力顯著的文獻(表1)為對多模態(tài)話語分析(序號1，8，9)、視覺隱喻(序號3，7)和多模態(tài)隱喻(序號2，4，5，6，10)的引介。Kress 等(1996)提出視覺設(shè)計語法，把系統(tǒng)功能語法根基的概念意義、人際意義和語篇意義三大元功能分別發(fā)展成為再現(xiàn)意義、互動意義和構(gòu)圖意義，認為圖像和語言一樣能夠建構(gòu)意義。該書的問世使得多模態(tài)話語研究自此蓬勃發(fā)展(陳風華 等，2017:156)。朱永生(序號1)指出多模態(tài)話語分析可稱為系統(tǒng)功能符號學(xué)。馮德正(序號2)建立多模態(tài)隱喻框架，彌補了視覺設(shè)計語法主觀性的一些不足，為視覺語法互動意義與構(gòu)圖意義的建構(gòu)提供了理論上的認知理據(jù)。張德祿(序號8)基于系統(tǒng)功能語言理論建立多模態(tài)話語分析框架，為學(xué)界系統(tǒng)解析多模態(tài)語篇奠定了科學(xué)的理論依據(jù)。

表1 國內(nèi)共被引中心度值前10條文獻

影響力顯著的共被引前10條國際文獻如表2所示，序號3、6、8和10都出自Forceville 等i(2009)編寫的論文集《多模態(tài)隱喻》(序號9)。該部著作同時引導(dǎo)國內(nèi)與國際多模態(tài)隱喻的發(fā)展方向，體現(xiàn)其在多模態(tài)隱喻領(lǐng)域中的重要角色。Gibbons(2011:81)認為該書是概念隱喻研究的重要進展，有力推動了其進一步理論化。Stoeckl(2012:383)提出它是“里程碑”式學(xué)術(shù)出版物。馮德正等(2014:90)指出它標志著多模態(tài)隱喻理論正式形成。Baldry 等著作《多模態(tài)篇章轉(zhuǎn)錄與分析——多媒體工具箱和教材》(序號7)從符號學(xué)視角探討多媒體傳播語境中不同模態(tài)之間的協(xié)同關(guān)系，為多模態(tài)語料庫的深入研究提供了新途徑。對商業(yè)廣告(序號1)、圖像(序號2)、商標(序號3)、漫畫(序號4，10)和手勢(序號6)的實證研究體現(xiàn)語類在多模態(tài)隱喻中的重要性。語類決定多模態(tài)隱喻始源域、目標域和映射項的認知(Forceville，2009:19)。

表2 國際共被引中心度值前10條文獻

對比國內(nèi)與國際的共被引文獻我們能夠推斷: 首先，多模態(tài)隱喻術(shù)語的擬定亟待明晰化。Forceville(2009:24)認為多模態(tài)隱喻是始源域和目標域分別以專門或顯著方式呈現(xiàn)的一種隱喻。其觀點很快引發(fā)國內(nèi)外學(xué)界廣泛質(zhì)疑。Gibbons(2011:81)指出該界定約束了多模態(tài)隱喻的研究范圍。趙秀鳳(2011:2)提出該定義屬于狹義層面，廣義層面的多模態(tài)隱喻指由兩種以上模態(tài)符號協(xié)同、作用、傳遞和構(gòu)建的隱喻。馮德正(2011:28)建議只要映射的始源域/目標域在兩種或兩種以上的符號資源中實現(xiàn)，便可將其定義為多模態(tài)隱喻?；诙嗄B(tài)隱喻的動態(tài)性和敘事性，F(xiàn)orcevillet等(2009:11)把隱喻認知公式“A IS B”解讀為“A-ING IS B-ING”，拓寬了隱喻的人際特征。從認知視角考察多模態(tài)隱喻會不可避免地出現(xiàn)一些主觀性和隨意性。究其原因，該視角不僅要求系統(tǒng)的理論模型闡釋，還需要翔實的實證理據(jù)支撐。雖然有學(xué)者提出多模態(tài)隱喻甄別的三條準則(Bounegru et al.，2011：213)，但是這些標準是基于社論漫畫語料而提出，對其它語類是否具有普遍適用性有待實證數(shù)據(jù)的多方驗證。

其次，多模態(tài)隱喻理論建構(gòu)有待系統(tǒng)化。多模態(tài)隱喻學(xué)者的任務(wù)之一是把概念隱喻建構(gòu)方式以及始源域、目標域和映射項相互關(guān)系如何轉(zhuǎn)化為非語言環(huán)境進行理論化(Tay，2017:99)。盡管多模態(tài)隱喻是一門年輕的學(xué)科，但其模態(tài)理論尚未成熟，國內(nèi)與國際對多模態(tài)隱喻理論框架和模型的確立依然做出了不懈探索。國內(nèi)如多模態(tài)隱喻潛勢框架和文字—圖像隱喻模型(馮德正，2011:27-28)、多模態(tài)隱喻整合模型(趙秀鳳，2013:4)、系統(tǒng)功能語法和多模態(tài)隱喻語境鏈接理論框架(張德祿 等，2013:23)、態(tài)度意義多模態(tài)系統(tǒng)模型(馮德正 等，2014:589)、正面價值觀多模態(tài)語篇框架(馮德正，2015:30)、政治漫畫多模態(tài)融合框架(Lin et al.，2015:142)、產(chǎn)品故事多模態(tài)構(gòu)造交互模型(Tseng，2015:119)、再現(xiàn)意義與態(tài)度意義之間的轉(zhuǎn)喻映射模型(Feng，2017：441-466)、圖像意義與態(tài)度意義的轉(zhuǎn)喻建構(gòu)模型(馮德正 等，2017:10-12)。國際如多模態(tài)幽默理論框架(Tsakona，2009:1177-1185)、多模態(tài)課堂朗讀隱喻框架(Oliveira et al.，2014:655)、時間的空間隱喻模型與認知的隱喻與轉(zhuǎn)喻映射模型(Coegnarts et al.，2015:222-224)、圖像框架理論(Abdel-Raheem，2017：327-352)。不可否認的是，國內(nèi)外學(xué)界尚未建立一套全面、權(quán)威和系統(tǒng)的多模態(tài)隱喻理論體系。

最后，語類理論化訴求建構(gòu)。盡管《多模態(tài)隱喻》在內(nèi)容上圍繞廣告、漫畫、手勢、動畫片、音樂和電影等語類編排，多模態(tài)隱喻對語類卻缺乏理論建構(gòu)。實際上，就理論層面而言，作為跨學(xué)科領(lǐng)域，多模態(tài)隱喻如何整合多門學(xué)科形成統(tǒng)一的研究模式有待學(xué)界深入探尋；就實踐層面而言，目前能夠全面解析多元模態(tài)意義表達的硬件設(shè)備和軟件系統(tǒng)寥寥無幾，對多模態(tài)隱喻統(tǒng)一的研判標準學(xué)界也尚未達成共識。

1.3.4 作者共被引

對共被引作者中心度值和引用頻次的統(tǒng)計數(shù)據(jù)表明，F(xiàn)orceville、Lakoff、趙秀鳳、Kress、謝競賢、李毅、Refaie、張德祿、馮德正和朱永生是中心度遙遙領(lǐng)先的學(xué)者，表明該學(xué)科的成果轉(zhuǎn)化通過他們的研究成績得以實現(xiàn)。Forceville、Lakoff、趙秀鳳、Kress、Yu、謝競賢、馮德正、朱永生、Refaie和張德祿是被引頻次名列前茅的學(xué)者，說明該領(lǐng)域的深遠影響力依靠他們的學(xué)術(shù)成績順利獲得。國際學(xué)者Forceville、Lakoff、Kress、Refaie和國內(nèi)學(xué)者趙秀鳳、張德祿、馮德正、朱永生在多模態(tài)隱喻領(lǐng)域中既取得了廣泛的影響，又引領(lǐng)著該領(lǐng)域的發(fā)展走向。

國際文獻共被引作者中心度值名列前10位的學(xué)者依次為Gibbs、Schroder、Blackburn、Kovecses、Musolff、Muller、Bakhtin、Johnson、Rigas和Casasant。被引頻次排名前十位的作者分別是Lakoff、Forceville、Kress、Kovecses、Gibbs、Johnson、Fauconnier、Barcelona、Rigas與Cienki，同時在中心度值和引用頻次都取得顯著成就的前四位學(xué)者是Gibbs、Kovecses、Johnson和Rigas。綜合國內(nèi)與國際共被引作者的數(shù)據(jù)可見，F(xiàn)orceville、Lakoff和Kress在國內(nèi)外學(xué)界取得了強大的影響力。值得關(guān)注的是，國內(nèi)學(xué)者尚未在國際領(lǐng)軍舞臺獲得一席之地。

1.3.5 期刊共被引

可視化數(shù)據(jù)表示，國內(nèi)CSSCI期刊《外國語》《中國外語》《外語電化教學(xué)》《外語與外語教學(xué)》《外語研究》《外語學(xué)刊》和國際SSCI期刊CognitiveLinguistics、VisualCommunication、MetaphorandSymbol取得共被引中心度值與頻次雙高?！锻庹Z學(xué)刊》2017年推出“多模態(tài)話語研究”專欄，圍繞多模態(tài)話語的模態(tài)關(guān)系、多模態(tài)圖像的轉(zhuǎn)喻意義、多模態(tài)語篇的圖文關(guān)系、多模態(tài)微博的語篇意義和多模態(tài)語篇的布局結(jié)構(gòu)等學(xué)界密切關(guān)注的話題展開系統(tǒng)探討，加深了國內(nèi)對多模態(tài)話語和多模態(tài)隱喻領(lǐng)域的認識。

國際共被引中心度值前10位的期刊排列為Human-ComputerInteraction、MultimodalityandCognitiveLinguistics、BritishJournalofEducationalTechnology、CommunicationsoftheACM、MetaphorandGesture、JournalofPragmatics、Cognition、ACMTransactionsonAppliedPerception、CognitiveLinguistics與PsychologicalReview，在中心度值和引用頻次取得前列的是JournalofPragmatics與CognitiveLinguistics。國際權(quán)威期刊JournalofPragmatics于2017年發(fā)行題為“多模態(tài)成品和視點紋理”?？荚趶恼Z言學(xué)和傳播學(xué)視角探索認知語言學(xué)理論工具如框架隱喻、隱喻混合及意向圖式的潛力。國際著名期刊CognitiveLinguistics在2013年出版名為“多模態(tài)與認知語言學(xué)”特刊，系統(tǒng)總結(jié)學(xué)界對認知語言學(xué)與多模態(tài)隱喻、社會符號學(xué)與系統(tǒng)功能語言學(xué)以及多模態(tài)互動分析的研究成果。其后不久該刊于2017年推出題為“多模態(tài)交際中國的觀點現(xiàn)象”專刊，探討多模態(tài)交際中多模態(tài)和概念觀點的本質(zhì)問題。

由此可知，其一，國內(nèi)多模態(tài)隱喻研究的多為語言類核心期刊，國際則是包含語言類、科技類、教育類、傳播類和心理類等多種期刊，由此導(dǎo)致國際期刊多模態(tài)隱喻研究的聚類主題明顯多過國內(nèi)期刊。其二，國際期刊比國內(nèi)更早重視多模態(tài)隱喻研究。其三，國際期刊CognitiveLinguistics在國內(nèi)外多模態(tài)隱喻研究中起著重要的學(xué)術(shù)地位。其四，近幾年國內(nèi)外期刊越來越重視多模態(tài)隱喻的跨學(xué)科研究?？鐚W(xué)科研究模式能使學(xué)界共同瞄準新的知識(胡壯麟，2012:16)。多模態(tài)研究的發(fā)展方向是跨學(xué)科研究與學(xué)科融合(馮德正 等，2015:111)。

1.3.6 合作學(xué)者群

CiteSpace可視化數(shù)據(jù)展示，國內(nèi)合作者群體中馮德正、張德祿、趙秀鳳、陳風華、楊友文、潘艷艷、王小潞、張輝、雷茜與梁曉暉是發(fā)文中心度值最高的前10位作者。同濟大學(xué)、香港理工大學(xué)、西安外國語大學(xué)、中國海洋大學(xué)、濟南大學(xué)、廈門大學(xué)、浙江師范大學(xué)、山東大學(xué)、上海外國語大學(xué)和東華大學(xué)是前10家科研機構(gòu)。存在學(xué)術(shù)往來的學(xué)者網(wǎng)絡(luò)為張德祿與馮德正、雷茜、孫毅、馮德正與趙秀鳳、張輝與潘艷艷、展偉偉。毋庸諱言，相對于國內(nèi)數(shù)千所高校，這些有著學(xué)術(shù)往來的學(xué)者和高校在數(shù)量上依然偏少，因此加強學(xué)者與高校之間的定期交流勢在必行。

國際發(fā)文中心度值最高的前10位作者先后為Yu、Tseng、Perez-Sobrino、Aachen、Guijarro、Refaie、Lin、Chiang和Forceville，前10個國家依次是英國、加拿大、美國、中國、澳大利亞、瑞士、瑞典、意大利、德國和荷蘭。前10所機構(gòu)均為高校，分別是西班牙卡斯蒂利亞-拉曼恰大學(xué)、西班牙拉里奧哈大學(xué)、西班牙馬德里康普頓斯大學(xué)、美國賓夕法尼亞州立大學(xué)、美國俄克拉荷馬大學(xué)、中國香港理工大學(xué)、澳大利亞科廷大學(xué)、中國臺灣“國立”中山大學(xué)、奧地利薩爾茨堡大學(xué)、荷蘭阿姆斯特丹大學(xué)。各國大學(xué)之間有著學(xué)術(shù)聯(lián)系的是中國香港理工大學(xué)與澳大利亞科廷大學(xué)。值得注意的是，CiteSpace未能發(fā)現(xiàn)國際學(xué)者和機構(gòu)相互之間存在學(xué)術(shù)交往。

從中可見，在國內(nèi)，香港高校與臺灣高校研究實力不容小覷，它們?yōu)閲鴥?nèi)高校贏得國際多模態(tài)隱喻研究舞臺的一定地位。在國際，西班牙和美國高校的研究水平值得國內(nèi)外學(xué)界充分借鑒。除此之外，國際學(xué)者也需要同國內(nèi)學(xué)者一樣改進相互之間的學(xué)術(shù)切磋。

2 結(jié)語

多模態(tài)隱喻研究使得認知語言學(xué)的隱喻探索達到新高度。本研究結(jié)合國內(nèi)與國際期刊數(shù)據(jù)庫，借助權(quán)威可視化軟件CiteSpace探索學(xué)界多模態(tài)隱喻研究的過去與現(xiàn)在的客觀情形。研究發(fā)現(xiàn)：首先，國內(nèi)學(xué)界在落后國際學(xué)界10余年的形勢下依舊加強對多模態(tài)隱喻的不懈研究，其關(guān)注的熱門話題與國際存在交集，取得的系列學(xué)術(shù)成就值得充分肯定。其次，國際領(lǐng)軍學(xué)者在國內(nèi)外學(xué)界贏得公認的引導(dǎo)力，國內(nèi)領(lǐng)軍學(xué)者尚未在國際獨當一面。最后，國內(nèi)需要與國際加強相互交流，深入開展跨學(xué)科研究實現(xiàn)合作共贏。本研究遴選的數(shù)據(jù)未包括國內(nèi)與國際的研究生論文與會議論文等文獻，在一定程度上會稀釋研究推斷應(yīng)有的說服力和解釋力。本研究運用CiteSpace進行的可視化大數(shù)據(jù)分析，一方面拓寬了以往學(xué)界局限于較少語料的不足，另一方面能為今后的深入考察提供一定的借鑒。