國內(nèi)多模態(tài)研究熱點與趨勢(2010—2020)
——基于CiteSpace的可視化分析

劉玉梅 王曉峰

(1.四川外國語大學(xué) 教務(wù)處，重慶 400031；2.四川外國語大學(xué) 英語學(xué)院，重慶 400031)

0 引言

索緒爾的結(jié)構(gòu)主義語言學(xué)僅關(guān)注符號學(xué)意義上的一種模態(tài)，即語言，并通過剝離與其相關(guān)的文字、語音、政治、社會、文化、地理、歷史、人等因素，將語言學(xué)研究的對象歸結(jié)為語言結(jié)構(gòu)。但事實上，人們在日常交際活動中常會協(xié)同使用語言、音律、圖像、身體姿勢、氣味、顏色、環(huán)境等多模態(tài)符號，構(gòu)成多模態(tài)事件，以此來表情達(dá)意，完成交際和社會行為。過去30多年來，國內(nèi)外學(xué)界從社會符號學(xué)、系統(tǒng)功能語法、認(rèn)知語言學(xué)、會話分析、中介語篇分析、語料庫研究及互動語言學(xué)等不同視角對構(gòu)成多模態(tài)事件的語言和非語言模態(tài)資源開展研究，匯聚成了既有共識性假設(shè)，又各有側(cè)重的新興跨學(xué)科研究領(lǐng)域(O’Toole, 1994; Kress et al., 1996;李戰(zhàn)子,2003;胡壯麟, 2007;馮德正, 2011;劉玉梅 等, 2020)。Bateman等 (2017)甚至提出，包括語言學(xué)在內(nèi)的交際研究出現(xiàn)了多模態(tài)轉(zhuǎn)向。

國內(nèi)公認(rèn)最早發(fā)表有關(guān)多模態(tài)研究文章的當(dāng)屬李戰(zhàn)子(2003)。此后近20年，國內(nèi)發(fā)表的多模態(tài)文章所涉足的領(lǐng)域與方向愈發(fā)廣泛，尤其是近十多年的研究成果頗豐。但國內(nèi)針對近十年多模態(tài)研究的綜述性文章較少，且主要集中于外語類核心期刊的多模態(tài)話語或語篇研究、多模態(tài)隱喻等相關(guān)文獻。鑒于此，本文以中國知網(wǎng)、萬方數(shù)據(jù)知識服務(wù)和維普資訊中文期刊服務(wù)平臺中的核心期刊以及《人大復(fù)印報刊資料》為數(shù)據(jù)基礎(chǔ)，采用CiteSpace (5.7.R2)文獻計量軟件，以“多模態(tài)”為關(guān)鍵詞，篩選出2010—2020年期間公開發(fā)表在這些期刊平臺上的多模態(tài)研究文章進行詳細(xì)分析，以把握該領(lǐng)域研究的基本現(xiàn)狀、熱點領(lǐng)域和發(fā)展趨勢，以期對今后相關(guān)領(lǐng)域的研究提供參考。

1 多模態(tài)研究的緣起與發(fā)展

多模態(tài)研究發(fā)軔于O’Toole(1994)對藝術(shù)品的分析，他借鑒了Halliday的三大元功能概念，通過對繪畫、雕像與建筑中視覺語法的探究，提出人類對其進行觀察時可同時獲得再現(xiàn)、模態(tài)和構(gòu)成三種意義。20世紀(jì)90年代國外學(xué)者將多模態(tài)與話語分析相結(jié)合產(chǎn)生了多模態(tài)話語分析理論，代表作當(dāng)屬Kress與van Leeuwen(1996)的《閱讀圖像——視覺設(shè)計語法》(ReadingImages:TheGrammarofVisualDesign)。不同學(xué)者對多模態(tài)研究徑路的認(rèn)識不同，如Jewitt(2009)認(rèn)為多模態(tài)研究主要有社會符號學(xué)、話語分析和互動分析三種路徑；Li與Ono(2019)則將研究徑路歸結(jié)為多模態(tài)會話分析、多模態(tài)交際、多模態(tài)語法及多模態(tài)互動等四種。不過，國內(nèi)外學(xué)者都公認(rèn)，多模態(tài)這一術(shù)語是由社會符號學(xué)派首次提出。作為符號學(xué)的一個支流，該學(xué)派吸取了系統(tǒng)功能語言學(xué)部分理論，認(rèn)同Halliday(1978)的 “語言即是一種符號系統(tǒng)”的思想。

從生物學(xué)角度講，人類主要通過眼、耳、鼻、舌、身等五大感官獲取外界知識，因而在交際中自然會獲得語言、音律、圖像、身體姿勢、氣味、顏色、環(huán)境等多種模態(tài)傳遞的信息和意義。媒體的快速發(fā)展更是帶來了多樣化的交際方式。國內(nèi)學(xué)者也察覺到多模態(tài)研究迫在眉睫。李戰(zhàn)子(2003)、胡壯麟(2007)、張德祿(2009a/2009b)等逐漸從引介國外理論到探索本土多模態(tài)研究。由于多模態(tài)理論不僅要求研究者有較強的語言學(xué)理論積淀，還要對非語言符號的研究方法有所了解，因此早期的多模態(tài)研究整體發(fā)文量較少。2010年以來，國內(nèi)多模態(tài)研究無論是研究對象還是所涉及領(lǐng)域都逐漸豐富和多樣化，例如潘艷艷、李戰(zhàn)子(2017)在綜合國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上總結(jié)出了多模態(tài)研究的九種研究徑路。鑒于此，本文將研究重心放至2010—2020年公開發(fā)表在國內(nèi)優(yōu)質(zhì)數(shù)據(jù)資源平臺上的高質(zhì)量文章，以探索國內(nèi)多模態(tài)研究的基本現(xiàn)狀、熱點領(lǐng)域和發(fā)展趨勢。

2 研究設(shè)計

2.1 研究問題

本研究試回答如下問題：

(1)2010—2020年間國內(nèi)多模態(tài)研究的基本現(xiàn)狀如何？

(2)2010—2020年間國內(nèi)多模態(tài)研究的熱點領(lǐng)域有哪些？

(3)國內(nèi)今后多模態(tài)研究的發(fā)展趨勢是什么？

2.2 數(shù)據(jù)來源

為形成涵蓋較為全面的數(shù)據(jù)源，本研究以中國知網(wǎng)、萬方數(shù)據(jù)知識服務(wù)和維普資訊中文期刊服務(wù)平臺中的核心期刊(CSSCI與北大核心期刊)以及《人大復(fù)印報刊資料》為數(shù)據(jù)基礎(chǔ)，運用CiteSpace (5.7.R2)分析軟件等工具對2010—2020年多模態(tài)研究文章進行篩選和歸并關(guān)鍵詞同類項，然后詳細(xì)分析。我們首先在中國知網(wǎng)上以“多模態(tài)”為篇名檢索文獻，共檢索出23390篇論文。接著以篇名“多模態(tài)”、出版年“2010—2020年”、文獻類型“期刊”、來源類別“核心期刊、CSSCI”為條件對上述檢索結(jié)果進一步篩選，初步篩選出1271篇論文。隨后，將篩選結(jié)果中篇名中含“多模態(tài)”一詞，但與語言學(xué)研究無關(guān)的文章剔除，最終獲得中國知網(wǎng)收錄的語言學(xué)領(lǐng)域內(nèi)多模態(tài)研究相關(guān)文章495篇。接著，我們以相同的檢索方法在萬方數(shù)據(jù)知識服務(wù)、維普資訊中文期刊服務(wù)平臺以及《人大復(fù)印報刊資料》數(shù)據(jù)庫中獲取語言學(xué)領(lǐng)域內(nèi)多模態(tài)研究相關(guān)文章共633篇(已去重)。至此，共獲得目標(biāo)文獻1128篇(含重復(fù))。最后，將去除重復(fù)文章后共獲得的687篇論文作為數(shù)據(jù)源。

2.3 研究方法

CiteSpace是一種信息可視化軟件，現(xiàn)為學(xué)界廣泛使用。它主要基于共引分析等理論，對某一學(xué)科的文獻進行計量分析，并通過一系列可視化圖譜來分析特定研究領(lǐng)域發(fā)展?jié)搫菁鞍l(fā)展前沿(陳悅 等,2015)。我們在確定數(shù)據(jù)源后，批量下載了這687篇論文的題錄信息，并將這些信息導(dǎo)入到CiteSpace之中以獲得年度刊文、高產(chǎn)期刊、高產(chǎn)作者與機構(gòu)、高頻關(guān)鍵詞、關(guān)鍵詞聚類圖譜等信息用于分析。

3 文獻基本概況

3.1 年度刊文量分布

年刊文總量的變化能大致反映研究趨勢，因此，我們對數(shù)據(jù)源中不同年份發(fā)表的文章數(shù)量進行了統(tǒng)計，并以圖1呈現(xiàn)統(tǒng)計結(jié)果。該圖表明，2010—2020年總體發(fā)文數(shù)量在快速上升后呈現(xiàn)趨穩(wěn)態(tài)勢。具體來說，2020年發(fā)文量較2010年有明顯增加，其中2010年至2013年期間發(fā)文量呈快速攀升趨勢，2013年發(fā)文量約為2010年的3倍，多達(dá)85篇，成為近11年來年度發(fā)文量的一個頂峰。自2014年起，發(fā)文量呈現(xiàn)下降后小幅波動、總體穩(wěn)定的態(tài)勢。從近六年的多模態(tài)研究論文刊登情況來看，除2015年發(fā)文量偏低外(僅56篇)，每年發(fā)文量基本維持在70篇左右，處于平穩(wěn)狀態(tài)。

圖1 2010—2020年國內(nèi)多模態(tài)研究論文刊登情況

根據(jù)康佳萍等(2020)對1999—2018年國外多模態(tài)研究熱點與趨勢的研究，國外1999年以來的多模態(tài)研究整體呈上升趨勢，先后經(jīng)歷了“低速發(fā)展期”(1999—2007年)、“迅猛發(fā)展期”(2008—2012年)、“輕微回落期”(2013—2015年)和“穩(wěn)定繁榮期”(2016—2018年)。通過數(shù)據(jù)對比可見，國內(nèi)多模態(tài)研究發(fā)展態(tài)勢受到國外研究態(tài)勢的影響：國外呈現(xiàn)迅猛發(fā)展時，2010—2013年國內(nèi)相關(guān)發(fā)文量也不斷攀升，而接下來兩年國內(nèi)研究出現(xiàn)逐漸下滑的趨勢，與國外研究的輕微回落的趨勢一致； 2016年之后，國內(nèi)研究與國外同步進入了穩(wěn)定期，但似乎還說不上進入了繁榮期。

3.2 高產(chǎn)期刊分布

為觀察各個刊物的刊載量，我們對數(shù)據(jù)源期刊進行統(tǒng)計并將發(fā)文量排名前10位的刊物用圖2表示。

圖2 2010—2020年前十位高產(chǎn)期刊發(fā)文信息

圖2表明，2010—2020年期間，國內(nèi)刊載多模態(tài)研究成果排名前十的期刊依次為《外語電化教學(xué)》《電影文學(xué)》《外語教學(xué)》《外國語文》《外語學(xué)刊》《外語研究》《西安外國語大學(xué)學(xué)報》《中國外語》《教學(xué)與管理》和《現(xiàn)代教育技術(shù)》等，主要集中在外語類核心刊物上。這十個期刊共發(fā)文238篇，占總數(shù)的34.8%。其余文獻散布于以語言學(xué)類研究為主的刊物上，如《外國語》《現(xiàn)代外語》《外語界》《外語與外語教學(xué)》《解放軍外國語學(xué)院學(xué)報》《山東外語教學(xué)》《漢語學(xué)習(xí)》《當(dāng)代修辭學(xué)》等。一些大學(xué)學(xué)報哲學(xué)社會科學(xué)版也刊登此類文章，如《福建師范大學(xué)學(xué)報》《西南民族大學(xué)學(xué)報》等。翻譯學(xué)、傳播學(xué)等研究領(lǐng)域的期刊也零星發(fā)表相關(guān)文章，如《上海翻譯》《編輯之友》《當(dāng)代傳播》等。

3.3 主要發(fā)文作者及研究機構(gòu)

我們繼續(xù)運用CiteSpace對主要發(fā)文作者及研究機構(gòu)進行分析，結(jié)果如圖3所示。11年間發(fā)文量最多的學(xué)者為張德祿，共發(fā)表相關(guān)文章25篇，接著是馮德正、趙秀鳳、陳風(fēng)華、潘艷艷、劉劍等學(xué)者。國內(nèi)多模態(tài)研究的主要機構(gòu)為同濟大學(xué)、中國石油大學(xué)、香港理工大學(xué)等高校。其中，同濟大學(xué)的研究團隊由張德祿和黃立鶴等組成，中國石油大學(xué)的研究團隊由趙秀鳳帶頭，香港理工大學(xué)研究團隊有馮德正和陳風(fēng)華等。

圖3 2010—2020年國內(nèi)多模態(tài)研究主要發(fā)文作者及研究機構(gòu)

4 研究熱點與趨勢

4.1 高頻關(guān)鍵詞和關(guān)鍵詞共現(xiàn)

為了解11年間國內(nèi)多模態(tài)研究的熱點和趨勢，我們對數(shù)據(jù)源中關(guān)鍵詞進行考察，通過合并含義重復(fù)項(如將“多模態(tài)話語”“多模態(tài)話語分析”“話語分析”合并為“話語”)篩選出數(shù)據(jù)源中排名前20的關(guān)鍵詞，結(jié)果如圖4所示。接著，通過進一步文獻考察，發(fā)現(xiàn)“寫作”和“自主學(xué)習(xí)”實際上討論的是與教學(xué)相關(guān)的問題，而“圖文關(guān)系”討論的是意義建構(gòu)相關(guān)問題，因此，我們通過合并近似項，將其分別歸并入“教學(xué)”和“意義”。據(jù)此，國內(nèi)多模態(tài)研究的熱點主要集中在“話語”“隱喻”“教學(xué)”“語篇”“意義”，頻次分別為100、89、84、47、44；“視覺語法”和“語料庫”研究的頻次緊隨其后，其余不足15，包括“轉(zhuǎn)喻”“字幕翻譯”“多媒體”“電影海報”“多元識讀能力”“圖像”“中國形象”“政治漫畫”等?！耙曈X語法”“系統(tǒng)功能語言學(xué)”“社會符號學(xué)”分別體現(xiàn)了多模態(tài)研究的理論背景和框架。

圖4 2010—2020年國內(nèi)多模態(tài)研究關(guān)鍵詞詞頻統(tǒng)計

我們通過剔除論文關(guān)鍵詞中諸如“模態(tài)”“多模態(tài)”“話語”等不能說明熱點領(lǐng)域的廣義詞匯及含義重復(fù)項，獲得CiteSpace關(guān)鍵詞共現(xiàn)可視化網(wǎng)絡(luò)圖(圖5)，以進一步說明當(dāng)前研究熱點和趨勢。陳悅等(2015)指出，聚類模塊性指數(shù) Q 值和聚類輪廓性指數(shù) S 值可用作評價圖譜繪制效果的依據(jù)，Q 值應(yīng)當(dāng)在0.3以上，S 值需大于0.5。如圖5所示，Modularity Q = 0.731, Silhouette S = 0.948 8，可見我們所得到的關(guān)鍵詞聚類圖譜具有一定的合理性。圖中節(jié)點大小和顏色深淺表示關(guān)鍵詞顯著性的高低。節(jié)點越大，顏色越深，顯著性越高，越能凸顯多模態(tài)研究的熱點領(lǐng)域和話題。

圖5 2010—2020年國內(nèi)多模態(tài)研究關(guān)鍵詞聚類圖譜

根據(jù)圖5所示，在排除計量數(shù)據(jù)中的含義重復(fù)項后，2010—2020年間國內(nèi)多模態(tài)研究的熱點主要集中在多模態(tài)話語或語篇、多模態(tài)隱喻、教學(xué)、寫作、意義建構(gòu)、圖文關(guān)系、視覺語法、社會符號學(xué)、語料庫建設(shè)等方面。圖4和圖5相互映射，呈現(xiàn)出11年間多模態(tài)研究的熱點，也表明多模態(tài)研究雖主要以視覺語法、社會符號學(xué)、系統(tǒng)功能語言學(xué)為理論背景，但也逐漸引入認(rèn)知語言學(xué)、語用學(xué)、詩學(xué)、敘事學(xué)、文體學(xué)等其他語言學(xué)理論以豐富多模態(tài)研究。圖5也表明，11年來國內(nèi)多模態(tài)研究應(yīng)用領(lǐng)域越來越廣泛，除了話語或語篇分析、教學(xué)研究、意義建構(gòu)等熱點話題外，多模態(tài)隱喻成為近幾年關(guān)注的焦點。此外，人們還將多模態(tài)研究融入其他學(xué)科研究之中，應(yīng)用于文學(xué)、敘事、詩學(xué)、修辭、翻譯、語料庫、影視節(jié)目、戲劇表演、廣告、音樂、政治等領(lǐng)域，呈現(xiàn)出跨學(xué)科交叉融合的態(tài)勢。

4.2 研究趨勢分析

4.2.1 多模態(tài)話語或語篇

出于不同學(xué)派對“text”和“discourse”的界定不同，國外學(xué)者尚未采用統(tǒng)一說法，國內(nèi)對這兩個詞語的翻譯也未做明確區(qū)分，常將“話語”與“語篇”混用。因而我們也權(quán)宜將主題為多模態(tài)話語分析和多模態(tài)語篇分析的研究合并討論。

如前所述，Kress與van Leeuwen(1996)以社會符號學(xué)為理論框架開創(chuàng)了多模態(tài)話語分析路徑，從表現(xiàn)意義、互動意義和組篇意義三個維度考察了圖像、顏色、線條、聲音等視覺符號的語義關(guān)系和交際功能。國內(nèi)早期一些研究(如李戰(zhàn)子, 2003;朱永生, 2007;胡壯麟, 2007)主要以引介和評述為主，探討多模態(tài)話語的產(chǎn)生、定義及分析方法。近年來，國內(nèi)學(xué)者逐漸嘗試在國外原有理論基礎(chǔ)上建立適用于各類語篇的分析框架，如張德祿(2009a/2018)先后嘗試構(gòu)建一個將系統(tǒng)和功能綜合為一體的多模態(tài)話語分析模式，引起國內(nèi)學(xué)者關(guān)注。近年來，也有學(xué)者嘗試將多模態(tài)話語分析理論與新興語言學(xué)理論結(jié)合，形成了創(chuàng)新性研究成果，如田海龍等(2018)提出了多模態(tài)批評話語分析框架，側(cè)重研究交際者如何利用多模態(tài)實現(xiàn)交際意圖和社會活動；黃立鶴(2019)將言語行為理論融入多模態(tài)研究，分析交際者情感態(tài)度對言語交際和語義推理的影響；徐燕等(2020)結(jié)合語域類型理論提出了新媒體商務(wù)話語分析框架。

近年來我國多模態(tài)話語研究不僅理論成果頗豐，在實際應(yīng)用方面也尤為廣泛，所涉學(xué)科越來越全面，如符號學(xué)、哲學(xué)、心理學(xué)、翻譯學(xué)、教育學(xué)、新聞學(xué)、傳播學(xué)、戲劇與影視學(xué)、政治學(xué)、法學(xué)、美學(xué)、詩學(xué)等?？梢姡瑢W(xué)科并非靜止不變，相關(guān)學(xué)科相互補充、相互依賴，形成共同的話語體系、方法和目標(biāo)，甚至有可能生成超學(xué)科向量推動新學(xué)科的產(chǎn)生和發(fā)展(劉玉梅, 2018)。多模態(tài)話語研究不僅具有學(xué)科多元融合的特點，其研究對象也日趨豐富多樣。在這11年間國內(nèi)不少學(xué)者對電影、影視劇、戲劇、小品、新聞、天氣預(yù)報、廣告、海報、封面、海報、雜志、logo(徽章)、繪本、課堂話語、司法話語及小說等素材中的多模態(tài)靜態(tài)與動態(tài)語篇陸續(xù)展開了研究。他們從形式層面的模態(tài)間關(guān)系入手，運用互補理論探討具體語篇中的文字、聲音、圖像等多模態(tài)手段和符號資源，試圖說明多模態(tài)之間是如何協(xié)同運作以實現(xiàn)語篇整體意義，如趙秀鳳(2013/2020)、王天翼等(2015)、余憶萍等(2016)、許幸等(2018)、周思邑(2020)等。但與國外這些交叉領(lǐng)域的多模態(tài)研究相比，國內(nèi)在這些領(lǐng)域的研究還不成體系，尚未形成匯聚性成果。

4.2.2 多模態(tài)隱喻

Forceville(1996)基于Lakoff 和Johnson(1980)的概念隱喻理論，首次對廣告中的圖像隱喻進行了分析，指出多模態(tài)隱喻是一種始源域和目標(biāo)域分別由不同模態(tài)呈現(xiàn)而形成的隱喻，由此拓寬了隱喻研究的范疇。2009年他與Urios-Aparisi合著的《多模態(tài)隱喻》推動了該領(lǐng)域的發(fā)展，也引發(fā)了國內(nèi)對多模態(tài)隱喻的關(guān)注。我們對這11年的多模態(tài)隱喻相關(guān)文章中的關(guān)鍵詞詞頻進行分析后發(fā)現(xiàn)，采用該研究路徑的學(xué)者傾向于以電影、廣告、政治漫畫等為語料進行研究(如王天翼 等,2015;王揚 等,2015;潘艷艷,2020)。但國內(nèi)有關(guān)多模態(tài)隱喻的研究主要以應(yīng)用研究為主，還有待進一步挖掘認(rèn)知語言學(xué)豐富的理論資源和多元的研究方法，以深化多模態(tài)隱喻的理論研究，優(yōu)化研究方法。

4.2.3 多模態(tài)教學(xué)、寫作

伴隨著媒體及信息技術(shù)的快速發(fā)展、多模態(tài)話語研究成果的增加、多元讀寫能力的引介以及外語教學(xué)的改革，國內(nèi)多模態(tài)教學(xué)應(yīng)用研究自2007年逐漸發(fā)展起來。胡壯麟(2007)、張德祿(2009b)是較早探討多模態(tài)外語教學(xué)實踐的學(xué)者。他們從宏觀上探索多模態(tài)外語教學(xué)，對該領(lǐng)域內(nèi)的研究具有一定指導(dǎo)性意義。在理論引進與探索的基礎(chǔ)上，學(xué)者們紛紛從微觀上對多模態(tài)教學(xué)開展研究。從面向?qū)哟慰矗采w了基礎(chǔ)教育及高等教育的教學(xué)活動(劉明 等,2011;戴慧敏,2020)；從教學(xué)環(huán)節(jié)看，涵蓋了聽、說、讀、寫、譯等多項語言技能(黃偉,2016;許幸 等,2018;李晶晶,2019)；從研究對象看，涉及PPT、課堂話語、教學(xué)模式、教材編寫、金課設(shè)計等教學(xué)內(nèi)容(張征,2013;劉鳳賢,2019;王珊,2020)。其中，“寫作”是多模態(tài)研究高頻出現(xiàn)的關(guān)鍵詞。不少學(xué)者關(guān)注寫作過程的多模態(tài)特征并提出教學(xué)設(shè)計建議。如梁曉暉(2015)認(rèn)為，作者在構(gòu)思的過程中，腦中浮現(xiàn)的并不僅是書面文字，同時被喚起的還有以音響符號、韻律、動作和圖像等方式承載的百科知識，這就決定了寫作過程的多模態(tài)性。許幸等(2018)構(gòu)建了具有多模態(tài)屬性的寫前項目來刺激學(xué)生的寫前動機，進而促進整體寫作水平的提高。但多模態(tài)教學(xué)領(lǐng)域還有待深入開展實證研究，探索將心理實驗法、腦神經(jīng)實驗法等量化分析方法應(yīng)用到多模態(tài)教學(xué)實驗中，發(fā)揮量化分析在多模態(tài)研究中的積極作用。

4.2.4 視覺語法、圖文關(guān)系、意義

O’Toole(1994)同Kress和van Leeuwen(1996)首次提出視覺語法這一概念，并將韓禮德的三大元功能思想延伸到圖像符號分析理論中。對應(yīng)于語言的概念、人際、語篇功能，圖像和聲音等符號系統(tǒng)也有一套符合自身模態(tài)的語法，以體現(xiàn)再現(xiàn)、互動和構(gòu)圖意義。十余年來，我國學(xué)界多名學(xué)者在視覺語法適用性問題上進行了較為深入的研究，形成了較為豐富的研究成果。如余憶萍等(2016)將視覺語法與多模態(tài)隱喻相結(jié)合解讀了可樂廣告的多模態(tài)動態(tài)意義構(gòu)建；陳風(fēng)華(2019)以視覺設(shè)計語法、圖像認(rèn)知框架和圖文符際模型為理論背景，考察了金庸小說中插畫圖文的再現(xiàn)意義、互動意義、構(gòu)圖意義及圖文關(guān)系。但是國內(nèi)絕大多數(shù)研究都是以Kress和van Leeuwen的視覺語法為理論基礎(chǔ)來分析具體語料，從再現(xiàn)意義、互動意義和構(gòu)圖意義三個維度考察多模態(tài)意義實現(xiàn)和語法構(gòu)成，理論上還沒有新的突破。雖然有個別學(xué)者在Barthes(1977)圖文關(guān)系理論的基礎(chǔ)上引入評價理論，提出了多模態(tài)語篇分析的態(tài)度意義建構(gòu)理論框架(馮正德 等,2014)或多模態(tài)評價語義分析框架(石春煦 等,2015)，但都還未形成一定的影響力。此外，有關(guān)圖文關(guān)系背后的認(rèn)知動因和文化因素還有待進一步挖掘。

4.2.5 多模態(tài)語料庫

多模態(tài)語料庫是指由音頻、視頻和文字等多種信息集成的、研究者可通過多模態(tài)方式加工、檢索和統(tǒng)計建立相關(guān)研究的語料庫，可謂“語料庫4.0”(黃立鶴, 2015)。近年來，國內(nèi)語料庫建設(shè)尚處于起步階段，但也有學(xué)者(顧曰國,2013;黃立鶴,2015)開始探討多模態(tài)語料的采集、轉(zhuǎn)寫、切分、標(biāo)注與建庫等問題，還有一些學(xué)者嘗試并建立了小型多模態(tài)語料庫，如大學(xué)英語口語、口譯多模態(tài)語料庫和漢語兒童多模態(tài)口語語料庫等。除對語料庫建設(shè)的初步探索外，也有學(xué)者嘗試開展多模態(tài)語料庫的實證研究，如王正等(2016)、張培佳等(2018)、劉劍等(2020)、周思邑(2020)等。但總體而言，國內(nèi)多模態(tài)語料庫研究尚處于起步階段。

4.3 近三年發(fā)展趨勢

為進一步考察國內(nèi)今后多模態(tài)研究的發(fā)展趨勢，我們對數(shù)據(jù)源中近三年的關(guān)鍵詞分別進行了統(tǒng)計，經(jīng)過近似項合并選取排名靠前的“教學(xué)”“話語”“隱喻”“語料庫”“語篇”等五個關(guān)鍵詞進行對比，并按類別表示為圖6。

圖6 2018—2020年語言學(xué)領(lǐng)域多模態(tài)研究關(guān)鍵詞詞頻統(tǒng)計

前文通過對2010—2020年間高頻關(guān)鍵詞和關(guān)鍵詞共現(xiàn)的討論表明，國內(nèi)多模態(tài)研究聚焦在“話語”“隱喻”“教學(xué)”“語篇”“意義”等方面。圖6中近三年高頻出現(xiàn)的關(guān)鍵詞恰巧又與這11年間多模態(tài)研究路徑及其應(yīng)用研究相吻合，由此可根據(jù)最近三年關(guān)鍵詞來判斷未來研究走勢。首先，從論文總體刊登數(shù)量來看，多模態(tài)研究年發(fā)文量比較平穩(wěn)，變化幅度不大，分別為65、69、65篇(參見圖1)。接著，從圖6中列出的關(guān)鍵詞詞頻來看，多模態(tài)隱喻研究呈現(xiàn)逐年上升趨勢，多模態(tài)話語研究變化趨于平穩(wěn)，其余研究在下降后有所回升，多模態(tài)語料庫研究還有待拓展和開發(fā)。最后，從研究路徑的占比來看，近三年多模態(tài)在教學(xué)中的應(yīng)用研究總量位居榜首，之后分別是多模態(tài)話語分析、多模態(tài)隱喻、多模態(tài)語料庫、多模態(tài)語篇。除上述熱門研究路徑外，近兩年多模態(tài)互動分析也在國內(nèi)出現(xiàn)(李曉婷,2019;劉玉梅 等, 2020)。Li與Ono合著了論文集《漢語互動中的多模態(tài)》(MultimodalityinChineseInteraction)，探索漢語互動中的多模態(tài)協(xié)作與組織方式。但國內(nèi)學(xué)者采用這一路徑開展的研究尚不多見，該領(lǐng)域發(fā)展前景廣闊。

5 結(jié)語

從本文分析可見，2010—2020年間多模態(tài)研究的總體發(fā)文量從快速上升到逐漸平穩(wěn)的態(tài)勢，且這一態(tài)勢基本與國外研究態(tài)勢同頻共振，國內(nèi)外研究呈現(xiàn)一定的同步性。這說明，國內(nèi)多模態(tài)研究受到國外相關(guān)研究的影響較大。國內(nèi)研究出現(xiàn)了一些本土理論及其應(yīng)用研究，但總體而言，理論創(chuàng)新尚不足，基本沒有突破系統(tǒng)功能語言學(xué)、社會符號學(xué)、視覺語法等理論框架。自Forceville之后，María Jesús Pinar Sanz(2015)編著出版了《多模態(tài)與認(rèn)知語言學(xué)》(MultimodalityandCognitiveLinguistics)，嘗試提出以認(rèn)知語言學(xué)為主導(dǎo)的多模態(tài)跨學(xué)科研究，但主要局限于概念隱喻理論、意象圖式、融合空間理論等。未來可進一步挖掘認(rèn)知語言學(xué)、甚至構(gòu)式語法對多模態(tài)研究的價值。此外，多模態(tài)研究的熱門主題主要集中在“話語”“隱喻”“教學(xué)”“語篇”“意義”“視覺語法”“語料庫”等方面。11年間國內(nèi)學(xué)者對這些話題的關(guān)注也并不均衡，大多還是集中在多模態(tài)話語或語篇分析、多模態(tài)隱喻研究。我們對近三年熱點研究關(guān)鍵詞的分析進一步表明，多模態(tài)隱喻研究呈現(xiàn)出逐年上升趨勢，多模態(tài)話語研究趨于平穩(wěn)。從研究路徑上看，人們更關(guān)注多模態(tài)在教學(xué)中的應(yīng)用研究，其次是多模態(tài)話語分析、多模態(tài)隱喻研究，也有少量語料庫研究。雖然國內(nèi)現(xiàn)已建成多種小型多模態(tài)語料庫，但尚未形成體系，缺乏系統(tǒng)性。此外，微觀層面的多模態(tài)研究，尤其是多模態(tài)互動研究尚處于起步階段。總體上，國內(nèi)多模態(tài)研究呈現(xiàn)出學(xué)科交叉的特點，應(yīng)用范圍更廣泛，這與國際發(fā)展趨勢基本吻合，但研究深度和系統(tǒng)性還有待提高。