多模態(tài)話語研究的知識圖譜演化分析
——基于國內(nèi)外核心期刊的研究

○陳風(fēng)華 [巴西]弗朗西斯科·維勒索

多模態(tài)話語研究的知識圖譜演化分析
——基于國內(nèi)外核心期刊的研究

○陳風(fēng)華 [巴西]弗朗西斯科·維勒索

運用國際公認(rèn)的權(quán)威可視化解析工具CiteSpace，對國內(nèi)核心期刊(CSSCI和全國中文核心)與國際核心期刊(SSCI和A&HCI)刊發(fā)的歷年多模態(tài)話語研究文獻(xiàn)作知識圖譜演化分析。研究認(rèn)為：首先，國內(nèi)和國際學(xué)界的多模態(tài)話語研究的領(lǐng)軍人物均為高校學(xué)者；其次，國內(nèi)學(xué)界在過去的10余年里不斷重視建構(gòu)適合中國國情的多模態(tài)話語理論框架，但是團(tuán)隊合作的研究現(xiàn)象較為匱乏；再次，國際學(xué)界在過去20多年里的多模態(tài)話語研究覆蓋更為廣泛的學(xué)科領(lǐng)域，取得的豐富研究經(jīng)驗和精湛研究水平值得國內(nèi)學(xué)界參考，國內(nèi)學(xué)界需要在理論探索、學(xué)科合作以及內(nèi)涵構(gòu)成等方面加強對多模態(tài)話語的研究；最后，國內(nèi)和國際學(xué)界需要共同努力深化多模態(tài)話語研究的理論探索。

多模態(tài)話語；國內(nèi)核心期刊；國際核心期刊；CiteSpace；知識圖譜；可視化分析

一 引言

“多模態(tài)話語”概念首次由Kress & van Leeuwen*Kress.G，van Leeuwen.T.Reading Images:the Grammar of Visual Design.London & New York: Routledge, 1996.提出。多模態(tài)話語包括語言、圖像、聲音、顏色和音樂等在內(nèi)，運用聽覺、視覺、觸覺等多種感覺進(jìn)行交際的多元渠道和媒介，語言和其它符號資源在其中共同存在，一起建構(gòu)意義*Kress.G，van Leeuwen.T.Multimodal Discourse:The Modes and Media of Contemporary Communication.London:Arnold,2001.*朱永生：《多模態(tài)話語分析的理論基礎(chǔ)與研究方法》，《外語學(xué)刊》2007年第5期，第83頁。*辛志英：《話語分析的新發(fā)展——多模態(tài)話語分析》，《社會科學(xué)輯刊》2008年第5期，第208頁。*張德祿：《多模態(tài)話語分析綜合理論框架探索》，《中國外語》2009年第1期，第24頁。。多模態(tài)話語研究發(fā)軔于20世紀(jì)90年代的國際學(xué)界，該領(lǐng)域通過使用圖像、聲音、視頻等多元意義體現(xiàn)(Meaning-making)元素，彌補了傳統(tǒng)研究窠臼于語言單一類型的缺陷。對非語言資源的關(guān)注使得話語研究更加充分和全面*Van Leeuwen.T.& Kress,G.Discourse Semiotics.In van Dijk,T.A.Discourse Studies:A Multidisciplinary Introduction.London:Sage,2011,pp.108.。多模態(tài)話語研究已成為話語分析的一個重要研究領(lǐng)域*代樹蘭：《多模態(tài)話語研究的緣起與進(jìn)展》，《外語學(xué)刊》2013年第2期，第17頁。。

20多年以來，在國內(nèi)外學(xué)者的共同努力下，多模態(tài)話語研究取得了有目共睹的進(jìn)步和蔚然大觀的成績，然而也存在一些值得關(guān)注的不足和亟待解決的問題?；诖?，對過去及當(dāng)下學(xué)界在多模態(tài)話語研究取得的成就進(jìn)行總結(jié)和存在的問題展開反思很有必要。本研究旨在通過國際學(xué)界權(quán)威公認(rèn)的知識圖譜分析軟件CiteSpace，結(jié)合國內(nèi)CSSCI/全國中文核心期刊和國際SSCI/A&HCI期刊上發(fā)表的論文探索多模態(tài)話語研究的客觀狀況，期冀為今后學(xué)界對多模態(tài)話語的深入研究提供一些參考和借鑒。

二 多模態(tài)話語計量研究回顧

通過計量方法能夠揭示語言現(xiàn)象的形成內(nèi)因、語言系統(tǒng)的適應(yīng)機制和語言演化的本質(zhì)動因*馮志偉：《〈計量語言學(xué)導(dǎo)論〉評介》，《外語電化教學(xué)》2017年第4期，第95頁。。國內(nèi)學(xué)者對多模態(tài)話語綜述展開了系列的計量研究。羅永勝分析15種國內(nèi)外語類CSSCI期刊發(fā)表的多模態(tài)話語研究論文，認(rèn)為就發(fā)展?fàn)顩r而言，刊發(fā)論文的數(shù)量在各期刊分布不均衡，多模態(tài)話語研究在外語界尚未成為主流，該領(lǐng)域呈現(xiàn)“慢速→快速→飛速”的發(fā)展態(tài)勢；就研究方法而言，思辨性研究占主導(dǎo)地位，緊隨其后為描述性研究、評述性研究和追溯性研究；就研究內(nèi)容而言，應(yīng)用性研究占主要比例，評介性研究集中于國際學(xué)者的多模態(tài)話語著作和國內(nèi)舉行的多模態(tài)話語會議，探討性研究大多從多模態(tài)話語分析和多模態(tài)隱喻研究視角開展；就研究趨勢而言，國內(nèi)學(xué)者應(yīng)該建構(gòu)自己的多模態(tài)研究理論體系、加強驗證性定量研究及豐富多模態(tài)研究內(nèi)涵*羅永勝:《近十年來中國多模態(tài)話語及其應(yīng)用研究述評》，《現(xiàn)代教育技術(shù)》2012年第4期，第62—66頁。。

國防對國際SSCI期刊近12年(2004—2015)刊登的多模態(tài)話語研究論文關(guān)鍵詞詞頻進(jìn)行文獻(xiàn)計量統(tǒng)計，發(fā)現(xiàn)多模態(tài)研究領(lǐng)域存在10個熱點內(nèi)容，依次為言語、手勢語、視覺、互動、身份、符號學(xué)、系統(tǒng)功能語法、計算機媒介、語境和隱喻，該領(lǐng)域的未來發(fā)展趨勢是由描述性的思辨研究轉(zhuǎn)為應(yīng)用性的實證研究，具體體現(xiàn)為語料庫、教學(xué)和協(xié)作關(guān)系*國防:《多模態(tài)話語分析研究熱點及趨勢分析——基于文獻(xiàn)計量學(xué)方法》，《外語與外語教學(xué)》2016年第3期，第58—64頁。。程瑞蘭、張德祿考察國內(nèi)11種外語類CSSCI期刊13年(2003—2015)的載文數(shù)據(jù)，指出多模態(tài)話語研究成果存在分布不均衡、理論視角呈現(xiàn)多元化、研究類型表現(xiàn)多樣化、研究方法定性主導(dǎo)化，該領(lǐng)域存在的問題主要是理論發(fā)展不成熟、多學(xué)科適應(yīng)性差和定性研究亟待突破，由此未來的發(fā)展方向應(yīng)該聚焦于深化語篇多元化視閾分析、增加高科技數(shù)據(jù)軟件應(yīng)用、發(fā)展實證化研究規(guī)模、拓展個案與大數(shù)據(jù)分析數(shù)量、歷時研究與共時研究有效結(jié)合*程瑞蘭、張德祿:《多模態(tài)話語分析在中國研究的現(xiàn)狀、特點和發(fā)展趨勢——以期刊成果為例》，《中國外語》 2017年第3期，第37—43頁。。潘艷艷、李戰(zhàn)子歸納以國內(nèi)外語類為主的CSSCI期刊近15年(2003—2017)的文獻(xiàn)，發(fā)現(xiàn)國內(nèi)多模態(tài)話語研究緊跟國際研究的步伐，主要體現(xiàn)在四個路徑：以系統(tǒng)功能語言學(xué)和社會符號學(xué)為理論基礎(chǔ)的多模態(tài)話語分析、多模態(tài)隱喻分析、多模態(tài)語料庫分析和多模態(tài)互動分析，多模態(tài)話語研究的未來發(fā)展應(yīng)該融合視角和創(chuàng)新理論、擴展領(lǐng)域及拓寬視野、探索其它可行路徑。*潘艷艷、李戰(zhàn)子：《國內(nèi)多模態(tài)話語分析綜論(2003—2017)—以CSSCI來源期刊發(fā)表成果為考察對象》，《福建師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)》2017年第5期，第54—59頁。

綜合上述學(xué)者的研究可以發(fā)現(xiàn)：首先，對多模態(tài)話語計量研究的學(xué)者主要是國內(nèi)學(xué)者，國際學(xué)者尚不多見，這表明中國學(xué)界比海外學(xué)界更注重縱向性的宏觀研究；其次，對CSSCI期刊的計量研究數(shù)量顯著多過SSCI期刊，這說明國內(nèi)學(xué)界需要更多關(guān)注國際核心期刊的發(fā)展動向；再次，國內(nèi)和國際學(xué)界綜合CSSCI期刊和SSCI期刊的系統(tǒng)研究較為少見；然后，國內(nèi)學(xué)界對CSSCI期刊或SSCI期刊的歷時研究局限于某一固定的時間段，缺少對多模態(tài)話語自誕生伊始到發(fā)展至今全局性的系統(tǒng)研究；最后，目前學(xué)界對CSSCI和SSCI期刊的數(shù)據(jù)解碼缺乏融客觀性、可視性、科學(xué)性和權(quán)威性于一體的高科技研究工具。鑒于此，本研究通過使用CiteSpace研究多模態(tài)話語分析能夠在一定程度上彌補該領(lǐng)域研究中存在的一些不足。

三 多模態(tài)話語計量研究的可視化分析

多模態(tài)話語研究濫觴于O’Toole*O’Toole, M.The Language of Displayed Art.London:Leicester University Press,1994.研究展覽藝術(shù)的語言和其后不久Kress & van Leeuwen*Kress,G.Van Leeuwen.T.Reading Images:the Grammar of Visual Design.London & New York: Routledge,1996.研究視覺設(shè)計的語法。1990年以來，多模態(tài)語篇研究逐步成為語言學(xué)和傳播學(xué)的研究熱點之一*馮德正、張德祿、Kay O’Hallora：《多模態(tài)語篇分析的進(jìn)展與前沿》，《當(dāng)代語言學(xué)》2014年第1期，第88頁。。代樹蘭歸納多模態(tài)話語研究的緣起與進(jìn)展，認(rèn)為多模態(tài)話語起源于話語的多模態(tài)性，早期的話語研究窠臼于語言單一模態(tài)，對話語多模態(tài)特征的系統(tǒng)研究從20世紀(jì)90年代開始興起，涉及的主流學(xué)派有社會符號學(xué)、互動社會語言學(xué)和認(rèn)知語言學(xué)，多模態(tài)話語研究呈現(xiàn)領(lǐng)域廣泛化和視野開闊化的特點，主要體現(xiàn)在研究內(nèi)容(多種模態(tài)的融合現(xiàn)象，模態(tài)之間的相互聯(lián)系)、研究對象(新型媒體，互動話語)、研究方法(批判性分析，多學(xué)科交叉)和研究領(lǐng)域(多模態(tài)語言教學(xué)，多元讀寫能力)*代樹蘭：《多模態(tài)話語研究的緣起與進(jìn)展》，《外語學(xué)刊》2013年第2期，第18—22頁。。陳秀蘭提出多模態(tài)語篇研究的發(fā)展能很好地說明，形如手勢、動作和環(huán)境等一切幫助意義建構(gòu)的非語言符號均可視為非語言特征。*陳秀蘭：《語類結(jié)構(gòu)潛勢理論的局限性分析——以公司簡介為例》，《華僑大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)》，2013年第2期，第139—140頁。

張德祿等指出Kress & van Leeuwen于1996年出版的著作《閱讀圖像——視覺設(shè)計語法》(Reading Images: The Grammar of Visual Design)使得多模態(tài)話語研究蓬勃發(fā)展，該領(lǐng)域成為熱門話題的主要原因是語篇分析理論的發(fā)展、現(xiàn)代科學(xué)技術(shù)的進(jìn)步和現(xiàn)代交際手段的變化*張德祿等：《多模態(tài)話語分析理論與外語教學(xué)》，北京:高等教育出版社, 2015年，第1—2頁。。Jewitt et al.提出多模態(tài)話語研究的領(lǐng)域主要包括系統(tǒng)功能語言學(xué)、社會符號學(xué)和話語分析，在這三個領(lǐng)域基礎(chǔ)上衍生出5個研究內(nèi)容：地理符號學(xué)(語言人類學(xué)，社會符號學(xué)，位置符號學(xué))、多模態(tài)互動分析(媒介話語，社會互動，社會符號學(xué))、多模態(tài)民族志(資料開放，見解定位，研究反思)、多模態(tài)語料庫分析(線性數(shù)據(jù)，非線性數(shù)據(jù))和多模態(tài)感知分析(社會符號學(xué)理論，認(rèn)知理論，追蹤和分析眼球運動的方法)*Jewitt,C.Bezemer,J.O’Halloran,K.Introducing Multimodality.London & New York:Routledge,2016,pp.6-128.。

(一) 研究問題

研究目的是探索以下問題的解答：

問題1：國內(nèi)學(xué)界多模態(tài)話語研究呈現(xiàn)出怎樣的特征？

問題2：國際學(xué)界多模態(tài)話語研究展現(xiàn)出怎樣的特征？

問題3：國內(nèi)與國際學(xué)界的多模態(tài)話語研究給未來的進(jìn)一步研究帶來了怎樣的啟迪？

(二) 研究方法

學(xué)術(shù)論文能展示其所在學(xué)科的本質(zhì)及水平*Gupta,B.Kumar,S.Citation Analysis of Theoretical Population Genetics Literature.Library Herald,2001(4),pp.208.。研究選取的語料來自于國內(nèi)廣泛認(rèn)可的核心期刊CSSCI(中國社會科學(xué)引文索引)與全國中文核心(亦稱為“北大核心”)(下文將此兩種期刊統(tǒng)稱為“國內(nèi)核心”)以及國際廣泛認(rèn)可的權(quán)威期刊SSCI(社會科學(xué)引文索引)與A&HCI(藝術(shù)人文引文索引)(下文把這兩種期刊統(tǒng)稱為“國際核心”)刊發(fā)的論文。國內(nèi)核心數(shù)據(jù)來源于CNKI中國知網(wǎng)(http://www.cnki.net)、CSSCI官網(wǎng)(http://CSSCI.nju.edu.cn)和Google scholar官網(wǎng)(http://scholar.google.com)，國際核心數(shù)據(jù)遴選自美國科學(xué)信息研究所(Institute for scientific information)研發(fā)的Web of Science(WoS)核心合集官網(wǎng)(http://www.webofknowledge.com)。

研究方法及步驟安排如下：首先，按照楊信彰的觀點，語篇是話語的實例，屬于話語的具體體現(xiàn)*楊信彰：《話語與語篇的研究:理論和方法》，《中國外語》2013年第4期，第1頁。。由此我們在CNKI官網(wǎng)上分別以“多模態(tài)話語”和“多模態(tài)語篇”為主題詞，“從—年”與“到—年”均選為“不限”，文獻(xiàn)“來源類別”選擇“核心期刊”和“CSSCI”，結(jié)果得到220條國內(nèi)核心文獻(xiàn)；其次，在WoS官網(wǎng)的主題欄依次填寫“multimodal discourse”和“multimodal text”，時間跨度選取“所有年份”，“引文索引”框定“Social Sciences Citation Index(SSCI)——1970年至今”和“Arts & Humanities Citation Index(A&HCI)——1975年至今”，“語種”和“文獻(xiàn)類型”分別選為“English”與“Article”，從而析出877條國際核心文獻(xiàn)；最后，綜合國內(nèi)與國際學(xué)者廣泛使用的軟件CiteSpace(5.1R6版本，官網(wǎng)http://cluster.ischool.drexel.edu/～cchen/citespace)對國內(nèi)核心和國際核心文獻(xiàn)進(jìn)行的可視化計量分析數(shù)據(jù)和CNKI與WoS官網(wǎng)的自動統(tǒng)計數(shù)據(jù)展開研究及反思。以上數(shù)據(jù)都經(jīng)過去重處理，檢索時間為2017年10月11—12日。

(三)研究發(fā)現(xiàn)

CiteSpace是美國Drexel university學(xué)者陳超美(英文名：Chaomei Chen)基于java語言開發(fā)的計量分析科技軟件。該款工具的工作原理是對特定研究領(lǐng)域的文獻(xiàn)進(jìn)行共引分析與尋徑計算，以期呈現(xiàn)該領(lǐng)域知識演化的知識圖譜路徑，包括對演化動力機制的解析、知識單元之間的共現(xiàn)和領(lǐng)域發(fā)展前沿的探測。該軟件用戶分布遍及世界各地，用戶數(shù)量十分龐大*李杰、陳超美：《CiteSpace:科技文本挖掘及可視化(第二版)》，北京:首都經(jīng)濟貿(mào)易大學(xué)出版社, 2017年，第7頁。。

1.高引文獻(xiàn)與作者

結(jié)合CNKI、CSSCI和Google scholar的官網(wǎng)數(shù)據(jù)，我們統(tǒng)計出在國內(nèi)核心期刊上被引排名前十位的文獻(xiàn)。根據(jù)表1統(tǒng)計數(shù)據(jù)可知：其一，從文獻(xiàn)標(biāo)題上看，位居排名前兩條的是關(guān)于理論推介和框架建構(gòu)。其二，從第一作者上看，10名作者均為高校一線教師，其他類型的研究人員如行政管理人員和實驗研究人員沒有出現(xiàn)，說明國內(nèi)研究多模態(tài)話語的學(xué)者類型相對固定，也預(yù)示著該領(lǐng)域的研究群體比較狹隘。其三，從期刊和著作類型上看，8條文獻(xiàn)來自國內(nèi)外語類核心期刊，2篇來出自非外語類核心。同時，這些文獻(xiàn)都是以論文形式存在，專著尚未發(fā)現(xiàn)，這預(yù)示國內(nèi)學(xué)界具有廣泛影響力的多模態(tài)話語研究專著比較欠缺。其四，從發(fā)表時間上看，10條文獻(xiàn)的發(fā)表時期在2003年—2012年之間，反映出該段時期國內(nèi)學(xué)者對多模態(tài)話語研究的熱衷程度。最后，從被引頻次上看，朱永生、李戰(zhàn)子和張德祿的論文位居前茅，意味著高校語言學(xué)科的博導(dǎo)和教授群體是國內(nèi)多模態(tài)外語研究的先行者和引路人。

表1 多模態(tài)話語研究國內(nèi)被引排名前十位文獻(xiàn)

通過CiteSpace我們可以依托WoS官網(wǎng)的國際核心期刊數(shù)據(jù)庫統(tǒng)計出多模態(tài)話語研究論文國際共被引排名前十位的文獻(xiàn)。在“Term source”(詞語來源)一欄分別選擇“title” “abstract” “author key words(DE)” “Key words plus(ID)”， “Node types”(節(jié)點類型)選取“Cited reference”(共被引)，析出表2的數(shù)據(jù)呈現(xiàn)。根據(jù)表2可以推斷：第一，就標(biāo)題而言，8條文獻(xiàn)目的是推介學(xué)術(shù)概念、理論或建構(gòu)學(xué)術(shù)理論，2條文獻(xiàn)與多模態(tài)話語實證研究密切相關(guān)。這表明國際領(lǐng)軍學(xué)者和國內(nèi)學(xué)者一樣，都非常重視理論引介和理論建立。第二，就第一作者而言，4位國際學(xué)者都是高校研究人員，這與中國學(xué)者群體極為相似，也為中外學(xué)者加強多模態(tài)話語研究的密切合作提供了便利的學(xué)術(shù)基礎(chǔ)。

表2 多模態(tài)話語研究國際被引排名前十位文獻(xiàn)

第三，就期刊/著作類型而言，這些文獻(xiàn)均為著作，尤其是一些著作經(jīng)過數(shù)次出版而經(jīng)久不衰，凸顯出高水平的研究質(zhì)量。如Kress & van Leeuwen的著作Reading Image: The Grammar of Visual Design包括1996年的第一版和2006年的第二版*Kress,G.Van Leeuwen.T.Reading Images:the Grammar of Visual Design.London & New York:Routledge,1996/2006.，Halliday著作An Introduction to Functional Grammar包含1994年的第二版和2004年的第三版*Halliday,M.A.K.& Matthiessen,C.M.I.M.An Introduction to Functional Grammar.London:Routledge,1994 /2004.，其后Painter et al.利用兒童圖畫書對視覺設(shè)計語法作了進(jìn)一步改進(jìn)*Painter.C.Martin,J.Unsworth,L.Reading Visual Narratives:Image Analysis of Children’s Picture Books.London:Equinox,2013.，Halliday與Matthiessen合作對系統(tǒng)功能語法的著作作了相應(yīng)的修訂*Halliday,M.A.K.Halliday’s Introduction to Functional Grammar.London & New York:Routledge,2014.，側(cè)面印證了張德祿等的精準(zhǔn)判斷：Reading Image: The Grammar of Visual Design一旦問世，多模態(tài)話語研究很快便生機盎然、炙手可熱*張德祿等：《多模態(tài)話語分析理論與外語教學(xué)》，第1—2頁。。

Forceville認(rèn)為該部著作意義重大，具有創(chuàng)新性，可以作為大學(xué)教材*Forceville,C.Educating the eye? Kress and Van Leeuwen’s Reading Images:The Grammar of Visual Design (1996).Language and Literature,1999(2),pp175.。彭宣維指出An Introduction to Functional Grammar是Halliday語言學(xué)思想的集中體現(xiàn)，系統(tǒng)功能語言學(xué)是整個語言學(xué)研究傳統(tǒng)的“集大成者”*彭宣維：《An Introduction to Functional Grammar 的“集大成”地位》，《中國外語》2009年第1期，第109頁。。這充分說明國際學(xué)者比國內(nèi)學(xué)者更重視通過專著而不是論文著書立說、傳道授業(yè)，也揭示出多模態(tài)話語與系統(tǒng)功能語法之間的密切聯(lián)系。多模態(tài)話語研究是系統(tǒng)功能語言學(xué)由語言之內(nèi)向語言之外其他符號系統(tǒng)的延伸*張淑杰、張德祿：《系統(tǒng)功能語言學(xué):發(fā)展及應(yīng)用——張德祿教授訪談錄》，《山東外語教學(xué)》2015年第4期，第7頁。。

第四，就出版時間而言，10部著作的出版階段是1978—2010年。相比國內(nèi)學(xué)者而言，國際學(xué)者從事多模態(tài)話語研究的時間提前了10余年，表明國際多模態(tài)研究存在一定的學(xué)術(shù)優(yōu)勢值得國內(nèi)學(xué)者學(xué)習(xí)和借鑒。最后，就被引頻率而言，位列前三位的文獻(xiàn)作者均為Kress，彰顯出他在國際多模態(tài)話語研究領(lǐng)域中杰出的學(xué)術(shù)水準(zhǔn)和公認(rèn)的領(lǐng)軍地位。值得注意的是，國內(nèi)排名前列10條文獻(xiàn)的被引指數(shù)遙遙領(lǐng)先于國際前10條文獻(xiàn)，大概是因為國內(nèi)領(lǐng)軍學(xué)者的巨大影響力所致，也證明國內(nèi)學(xué)界在多模態(tài)研究領(lǐng)域取得顯著成就。

2.熱點領(lǐng)域與前沿

在CiteSpace的共現(xiàn)網(wǎng)絡(luò)圖片中，節(jié)點的大小表示論文主題(Term)、關(guān)鍵詞(Keyword)及類別(Category)的出現(xiàn)頻次，它們之間的連線表示共現(xiàn)強度。頻次(Frenquency)和中介中心度(Centrality)參數(shù)是關(guān)鍵詞的重要指標(biāo)，關(guān)鍵詞頻次與光環(huán)的大小、節(jié)點連線粗厚度與節(jié)點關(guān)系緊密度、中介中心度與圓環(huán)外層年齡的寬度成正比。大節(jié)點、厚光環(huán)的關(guān)鍵詞表示很高的顯著性，其所表征的就是多模態(tài)話語研究的熱門課題。突現(xiàn)(Bursts)也是橫向網(wǎng)絡(luò)節(jié)點的重要指標(biāo)，突現(xiàn)值體現(xiàn)突現(xiàn)的強度。

共詞分析先驅(qū)Law & Whittaker指出，論文被引的關(guān)鍵詞是反映研究主題及研究重點的核心術(shù)語*Law,J.Whittaker,J.Mapping Acidification Research:A Test of the Co-word Method.Scientometrics,1992(3),pp.418.。把國內(nèi)核心期刊的220篇論文導(dǎo)入CiteSpace，得到圖1解析數(shù)據(jù)，剔除與多模態(tài)話語研究含義重復(fù)的課題如多模態(tài)、多模態(tài)話語、多模態(tài)話語分析、多模態(tài)話語分析理論，可以看出，從2007年迄今，國內(nèi)多模態(tài)話語研究排名前10位的引發(fā)關(guān)注的熱點話題依次為話語分析、多模態(tài)隱喻、社會符號學(xué)、電影海報、圖文關(guān)系、視覺語法、模態(tài)、外語教學(xué)、互動意義、課堂教學(xué)。科學(xué)文獻(xiàn)引文和共引軌跡是研究前沿的知識基礎(chǔ)*Chen,C.CiteSpace II:Detecting and Visualizing Emerging Trends and Transient Patterns in Scientific Literature.Journal of American Society for Information Science and Technology,2006(3),pp.359.。通過選取聚類(Cluster)中的“Indexing terms”選項，我們可以獲取軟件自動生成的15個研究前沿聚類主題，排除與多模態(tài)話語研究含義重復(fù)的主題之后，依次為話語、話語分析、語言學(xué)理論、話語分析理論、多模態(tài)隱喻、課堂教學(xué)、語言學(xué)者、語言性、電影主題、全球本土化、評價理論。從中可以看出，多模態(tài)話語分析的熱門話題與前沿主題出現(xiàn)些許重疊現(xiàn)象，如話語分析、多模態(tài)隱喻和課堂教學(xué)，這說明一些熱門話題本身就是前沿主題，多模態(tài)話語研究需要同時兼顧二者的基本特征和發(fā)展趨勢。國內(nèi)核心論文尚未發(fā)現(xiàn)突顯節(jié)點，這或許是因為國內(nèi)學(xué)界研究多模態(tài)話語的歷史不夠長久和廣度不夠深入所致。

圖1 國內(nèi)多模態(tài)話語研究熱門課題

使用相同的方法我們可以獲取國際多模態(tài)話語研究熱點領(lǐng)域與前沿的計量數(shù)據(jù)。根據(jù)圖2數(shù)據(jù)不難推測，從1994年至今國際多模態(tài)話語研究的10個熱點領(lǐng)域依次為discourse(話語)、language(語言)、literacy(識讀)、gesture(手勢)、text(語篇)、communication(交流)、classroom(課堂)、identity(身份)、social semiotics(社會符號學(xué))、semiotics(符號學(xué))。通過聚類選取得到的前沿主題排序為media literacy(媒介識讀)、speech(演講)、English(英語)、organization(組織)、context(語境)、twitter(推特)、care(關(guān)心)、science education(科學(xué)教育)、health promotion(健康推廣)、working memory(工作記憶)、reading(閱讀)及primary school English(小學(xué)英語)。參照國內(nèi)研究的跨越時間，我們以“2003—2017年”為遴選標(biāo)準(zhǔn)，在CiteSpace的“Time slicing”(時間切分)中選擇“from 2003 to 2017”，也得到類似的可視化數(shù)據(jù)。

圖2 國際多模態(tài)話語研究熱門課題

最近十幾年來國際多模態(tài)話語研究主要有9個研究路徑：系統(tǒng)功能語言學(xué)多模態(tài)話語分析，社會符號學(xué)，多模態(tài)隱喻分析，多模態(tài)互動分析，會話分析，地理符號學(xué)，多模態(tài)民族志，多模態(tài)語料庫分析，多模態(tài)感知分析*潘艷艷、李戰(zhàn)子：《國內(nèi)多模態(tài)話語分析綜論(2003—2017)——以CSSCI來源期刊發(fā)表成果為考察對象》，《福建師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)》2017年第5期，第50—52頁。。我們通過凸顯查詢，發(fā)現(xiàn)從2015年到現(xiàn)在，國際核心突現(xiàn)術(shù)語(按照重力值大小)分別為online news(在線新聞，重力值:6.7694)、picture books(圖畫書，重力值:5.3263)、health(健康，重力值:5.2766)及identity text(身份語篇，重力值:3.7309)，2013年來2017年的突現(xiàn)術(shù)語依次為corpus(語料庫)、higher education(高等教育)、framework(框架)、text-making(文本制作)、middle school(中學(xué))、identities(身份)、affordances(可供性)和responses(反應(yīng))。把國內(nèi)與國際多模態(tài)話語研究的焦點領(lǐng)域和前沿話題作比較，可以發(fā)現(xiàn)：首先，國內(nèi)與國際研究焦點都包括社會符號學(xué)，國內(nèi)更重視對多模態(tài)教學(xué)的研究，如外語教學(xué)和課堂教學(xué)，國際更強調(diào)對多模態(tài)符號的探索，如social semiotics和semiotics。其次，國內(nèi)學(xué)界傾向于把語言話題作為前沿選題，如語言學(xué)者和語言屬性，國際學(xué)界傾向于將識讀話題當(dāng)成前沿論題，如媒介識讀和推特。再次，國際學(xué)界的研究領(lǐng)域及前沿相比國內(nèi)學(xué)界更為廣泛，不僅包括教育與媒介，而且包含心理學(xué)和新聞傳播等范疇。

表3 近5年國際多模態(tài)話語研究突現(xiàn)術(shù)語

然后，國內(nèi)和國際學(xué)者都使用多元研究方法推進(jìn)多模態(tài)話語研究。馮德正將多模態(tài)話語的研究方法分為理論建構(gòu)、定性和定性語篇分析以及通用語專用語料庫探索*馮德正：《多模態(tài)語篇分析的基本問題探討》，《北京第二外國語學(xué)院學(xué)報》2017年第3期，第7頁。。張德祿在理論建構(gòu)方面為國內(nèi)學(xué)界樹立了光輝榜樣，可謂是功勛卓著的開拓人物和領(lǐng)軍學(xué)者：他先后率先建立多模態(tài)話語分析綜合框架*張德祿：《多模態(tài)話語分析綜合理論框架探索》，《中國外語》2009年第1期，第28頁。、適用社會符號學(xué)框架*張德祿：《適用性社會符號學(xué)的理論與實踐研究》，《外語與外語教學(xué)》2010年第5期，第9頁。、多模態(tài)外語教材編寫原則框架*張德祿、張淑杰：《多模態(tài)外語教材編寫原則探索》，《外語界》2010年第5期，第32頁。、動態(tài)多模態(tài)話語分析框架*張德祿、袁艷艷：《動態(tài)多模態(tài)話語的模態(tài)協(xié)同研究——以電視天氣預(yù)報多模態(tài)語篇為例》，《山東外語教學(xué)》2011年第5期，第10頁。、多模態(tài)話語設(shè)計的操作模式*張德祿：《論多模態(tài)話語設(shè)計》，《山東外語教學(xué)》2012年第1期，第15頁。、多模態(tài)功能文體學(xué)分析框架*張德祿、穆志剛：《多模態(tài)功能文體學(xué)理論框架探索》，《外語教學(xué)》2012年第3期，第3頁。、外語教學(xué)多模態(tài)選擇框架*張德祿、丁肇芬：《外語教學(xué)多模態(tài)選擇框架探索》，《外語界》2013年第3期，第46頁。、多元讀寫設(shè)計學(xué)習(xí)綜合框架*張德祿、張時倩：《論設(shè)計學(xué)習(xí)——多元讀寫能力培養(yǎng)模式探索》，《解放軍外國語學(xué)院學(xué)報》2014年第2期，第6頁。、多模態(tài)話語轉(zhuǎn)譯變化理論框架*張德祿、瞿桃：《多模態(tài)話語中的轉(zhuǎn)譯現(xiàn)象研究——以從大學(xué)英語課本到英語課堂教學(xué)的轉(zhuǎn)譯為例》，《外語電化教學(xué)》2015年第06期，第21頁。、多模態(tài)互動分析框架*張德祿、王正：《多模態(tài)互動分析框架探索》，《中國外語》2016年第2期，第57頁。和多模態(tài)論辯修辭分析框架*張德祿：《多模態(tài)論辯修辭框架探索》，《當(dāng)代修辭學(xué)》2017年第1期，第4頁。。馮德正建立了圖像互動意義與構(gòu)圖意義隱喻模型以及文字-圖像隱喻模型*馮德正：《多模態(tài)隱喻的構(gòu)建與分類——系統(tǒng)功能視角》，《外語研究》2011年第1期，第27—28頁。、基于誘發(fā)條件的態(tài)度意義系統(tǒng)、態(tài)度誘發(fā)條件的多模態(tài)表征模型和態(tài)度意義的行為反應(yīng)體系*馮德正、亓玉杰：《態(tài)度意義的多模態(tài)建構(gòu)——基于認(rèn)知評價理論的分析模式》，《現(xiàn)代外語》2014年第5期，第589—592頁。。在國際核心期刊舞臺上，馮德正也長袖善舞，先后建立了廣告話語互文聲音模型、電視廣告的參與模型*Feng,D.Wignell,P.Intertextual Voices and Engagement in TV Advertisements.Visual Communication,2011(4),pp.569-572.、圖像情感意義建構(gòu)框架*Feng,D.O’Halloran,K.L.Representing Emotive Meaning in Visual Images:A Social Semiotic Approach.Journal of Pragmatics,2012(44),pp.2071-2079.、再現(xiàn)結(jié)構(gòu)中的視覺不規(guī)則模型*Feng,D.O’Halloran,K.L.The Visual Representation of Metaphor:A Social Semiotic Approach.Review of Cognitive Linguistics,2013(2),pp.327.、電影觀眾的情感元功能模型*Feng,D.Qi,Y.Emotion Prosody and Viewer Engagement in Film Narrative:A Social Semiotic Approach.Narrative Inquiry,2014(2),pp.356357.和視覺轉(zhuǎn)喻意義建構(gòu)框架*Feng,W.D.Metonymy and Visual Representation:Towards a Social Semiotic Framework of Visual Metonymy.Visual Communication,2017(4),pp.441-458.。類似的香港學(xué)者還有Hu建立多模態(tài)音樂情緒分類評估框架*Hu,X.Choi,K.Downie,S.A Framework for Evaluating Multimodal Music Mood Classification.Journal of the Association for Information Science and Technology,2017(2),pp.276.。

國際學(xué)界建立的多模態(tài)話語分析框架包括視覺敘事的多模態(tài)話語理論*Bateman,J.A.Wildfeuer,J.A Multimodal Discourse Theory of Visual Narrative.Journal of Pragmatics,2014,(74),pp.180-208.、新聞話語批評性話語分析的新方法框架*Bednarek,M.Caple,H.Why do News Values Matter?Towards a New Methodological Framework for Analyzing News Discourse in Critical Discourse Analysis and beyond.Discourse & Society,2014(2),pp.135- 158.、網(wǎng)站互動多模態(tài)分析的社會符號框架*Adami,E.What’s in a Click?A Social Semiotic Framework for the Multimodal Analysis of Website Interactivity.Visual Communication,2014(2),pp.142.、科學(xué)教育多模態(tài)意義再現(xiàn)的整體分析框架*Tang,K.S.Delgado,C.Moje,E.B.An Integrative Framework for the Analysis of Multiple and Multimodal Representations for Meaning-Making in Science Education.Science Education,2014(2),pp.311.、科學(xué)博物館展覽的社會符號學(xué)分析框架*Anyfandi, G. Koulaidis, V. Dimopoulos, K. A Socio-semiotic Framework for the Analysis of Exhibits in a Science Museum. Semiotica, 2014(200), pp.239-244.、在線新聞館藏多模態(tài)分析框架*Caple,H.Knox,J.S.A Framework for the Multimodal Analysis of Online News Galleries: What Makes a “Good” Picture Gallery?.Social Semiotics,2015(3),pp.310.、辯論的認(rèn)知符號學(xué)理論探索*Hoven,P.V.D.Cognitive Semiotics in Argumentation:A Theoretical Exploration.Argumentation,2015(29),pp.157-176.、多模態(tài)互動認(rèn)知框架*Cohn,N.A Multimodal Parallel Architecture:A cognitive Framework for Multimodal Interactions.Cognition,2016(146),pp.320.、視覺元話語分析模型*Groot,E.D.Nickerson,C.Korzilius,H.Gerritsen,M.Picture This:Developing a Model for the Analysis of Visual Metadiscourse.Journal of Business and Technical Communication,2016(2),pp.179-180.和圖像框架的解碼理論*Abdel-Raheem,A.Decoding Images:Toward a Theory of Pictorial Framing.Discourse & Society,2017(4),pp.327-352.。比較國內(nèi)與國際學(xué)者建構(gòu)的多模態(tài)話語研究的理論與框架不難斷定：雖然中國學(xué)者研究多模態(tài)話語的時間比國際晚10余年，但是以張德祿和馮德正為領(lǐng)軍的學(xué)者持續(xù)集中建立系列多模態(tài)話語研究理論框架，國際學(xué)者能夠做到這一點的寥寥無幾。同時，國內(nèi)學(xué)者建立的框架與模型呼應(yīng)了中國發(fā)展的客觀實際，因而比國際相關(guān)理論與框架更具有針對性、操作性和實用性。

最后，國內(nèi)與國際學(xué)界的多模態(tài)話語研究都涉及跨學(xué)科領(lǐng)域?？鐚W(xué)科性是多模態(tài)研究領(lǐng)域的天然屬性*O’Halloran,K.L.& Smith,B.A.Multimodal Studies.In O’Halloran,K.L.& Smith,B.A.(eds.).Multimodal Studies:Exploring Issues and Domains.London:Routledge,2011,pp.2.。多模態(tài)研究的發(fā)展方向是跨學(xué)科與學(xué)科融合，發(fā)展動力是理論與方法創(chuàng)新*馮德正、Francis Low：《多模態(tài)研究的現(xiàn)狀與未來—第七屆國際多模態(tài)會議評述》，《外國語》2015年第4期，第111頁。。多模態(tài)話語研究推動了語言學(xué)、美學(xué)、文學(xué)、修辭學(xué)和傳播學(xué)等學(xué)科*潘艷艷、李戰(zhàn)子：《國內(nèi)多模態(tài)話語分析綜論(2003—2017)——以CSSCI來源期刊發(fā)表成果為考察對象》，《福建師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)》2017年第5期，第49頁。。

3.研究成績與不足

我們在CiteSpace中的合作網(wǎng)絡(luò)“Node types”中選定“author”(作者)和“institution”(機構(gòu))，發(fā)現(xiàn)國內(nèi)多模態(tài)話語研究的核心期刊文獻(xiàn)中，發(fā)文數(shù)量居于前10的作者依次為張德祿、馮德正、劉曉斌、李戰(zhàn)子、劉秀麗、李妙晴、張宜波、孫毅、汪燕華和張維，機構(gòu)排名分別為同濟大學(xué)、廈門大學(xué)、中國海洋大學(xué)、中山大學(xué)、山東大學(xué)、華南師范大學(xué)、香港理工大學(xué)、西安外國語大學(xué)、廣東商學(xué)院及西南大學(xué)。

與上述選定方法相似，我們在CiteSpace中的“Node types”中選定“author”(作者)和“institution”(機構(gòu))之外，再選定“country”(國家)。數(shù)據(jù)顯示國際多模態(tài)話語研究的文獻(xiàn)中，發(fā)文數(shù)量名列前10的作者依次是Machin、Tan、O’Halloran、Pantaleo、Archer、Tang、van Leeuwen、Harvey、Lirola和Ledin，機構(gòu)排名為Orebro University、National University of Singapore、University of Lancaster、Nanyang Technological University、University of Victoria、University of Hong Kong、Griffith University、University of Bremen、Macquarie University及Columbia University，國家排名分別是USA、England、Australia、Canada、Spain、People’s Republic of China、Germany、Sweden、Netherlands與Singapore。

據(jù)此可見，一方面，在過去的10多年里，國內(nèi)學(xué)者的發(fā)文總量世界排名第6位，說明在國際多模態(tài)話語研究中，我國學(xué)者能夠奮起直追，從而擁有一席之地；另一方面，國內(nèi)和國際多模態(tài)話語研究的高被引作者及其所在機構(gòu)分布較為廣泛，這為有效提升多模態(tài)話語研究的影響力提供了便利的地理條件。雖然會給彼此之間的密切合作帶來一些不可避免的時空障礙，國際學(xué)界的眾多學(xué)者和機構(gòu)依然取得了定期、長久的合作。從CiteSpace展示的作者與機構(gòu)之間的合作網(wǎng)絡(luò)可知(參見圖3)，國內(nèi)學(xué)者之中張德祿的影響力最大，與他保持學(xué)術(shù)往來的學(xué)者有馮德正、劉秀麗、張宜波、程瑞蘭與張征。其他的學(xué)者學(xué)術(shù)合作網(wǎng)絡(luò)有馮德正與趙秀鳳、王艷，劉曉斌與張維。然而，除了這些學(xué)者和機構(gòu)之間存在合作聯(lián)系，其他排名前列的學(xué)者與機構(gòu)之間幾乎沒有顯示任何協(xié)同關(guān)系及跡象，這說明國內(nèi)多模態(tài)話語研究單兵作戰(zhàn)、孤軍前進(jìn)的現(xiàn)象十分突出。

圖3 國內(nèi)多模態(tài)話語研究發(fā)文領(lǐng)先的學(xué)者與機構(gòu) 圖4 國際多模態(tài)話語研究發(fā)文領(lǐng)先的國家、學(xué)者與機構(gòu)

相比之下，國際學(xué)者與機構(gòu)之間的合作比國內(nèi)密切很多，尤其以美國高校(如Columbia University, Stanford University，Temple University，University of California, Los Angeles)、英國高校(如Open University，University of Loughborough，University of Leeds, University of Warwick)、澳大利亞高校(如Griffith University，Queensland University of Technology，Curtin University，University of Western Australia，University of Technology Sydney，University of New South Wales)、加拿大高校(如University of Toronto，University of British Columbia)和新加坡高校(如National University of Singapore)最為明顯(參見圖4)。

從圖4可以觀察到，中國高校在國際多模態(tài)研究領(lǐng)域擁有一定話語權(quán)的有香港大學(xué)、香港理工大學(xué)和中山大學(xué)，但只有香港大學(xué)與美國伊利諾伊大學(xué)(University of Illinois)、香港理工大學(xué)與德國不萊梅大學(xué)(university of Bremen)學(xué)者Bateman、香港理工大學(xué)學(xué)者Feng D.Z.(馮德正)與比利時魯汶大學(xué)(Katholieke university of Leuven)存在學(xué)術(shù)交往。多模態(tài)話語研究是跨學(xué)科的前沿研究課題，需要多學(xué)科的協(xié)同研究*張淑杰、張德祿：《系統(tǒng)功能語言學(xué):發(fā)展及應(yīng)用——張德祿教授訪談錄》，《山東外語教學(xué)》2015年第4期，第5—6頁。。這說明國內(nèi)學(xué)界的多模態(tài)話語研究需要加快與國內(nèi)及國際學(xué)者和機構(gòu)之間的深入交流和協(xié)作。

(四)研究討論

多模態(tài)話語研究在國內(nèi)外語界尚未成為主流，還有很大的提升空間*羅永勝：《近十年來中國多模態(tài)話語及其應(yīng)用研究述評》，《現(xiàn)代教育技術(shù)》2012年第4期，第63頁。。時至今日，這種狀況依然沒有得到顯著的改進(jìn)。一方面，我們的研究數(shù)據(jù)顯示，從2007年迄今，國內(nèi)影響力排名前5位的外語類核心期刊刊登多模態(tài)話語/語篇研究的論文數(shù)量依次為：《外語教學(xué)與研究》(0篇)、《外國語》(1篇)、《外語界》(1篇)、《現(xiàn)代外語》(3篇)、《中國翻譯》(0篇)，這既說明多模態(tài)話語研究在國內(nèi)外語界沒有引起足夠的重視，也同時表明國內(nèi)研究多模態(tài)話語的整體水平需要上升到一定的高度。另一方面，CiteSpace可視化數(shù)據(jù)表明，從1994年至今，國內(nèi)學(xué)者在國際核心共發(fā)文46篇，與排名前三位的美國(230篇)、英國(110篇)和澳大利亞(102篇)相比，中國學(xué)者對國際核心表現(xiàn)出相當(dāng)?shù)呐d趣和熱忱，同時也表明我學(xué)者的多模態(tài)話語總體水準(zhǔn)與國際主流學(xué)者之間存在著較大的差距。基于此，我們認(rèn)為國內(nèi)學(xué)界需要從以下諸方面進(jìn)一步努力：

1.深化理論探索

多模態(tài)話語研究作為新興學(xué)科，至今仍然廣受質(zhì)疑*馮德正：《多模態(tài)語篇分析的基本問題探討》，第8頁。。Jewitt指出目前學(xué)界主要使用語言學(xué)的理論與方法研究多模態(tài)，缺乏獨立、完整的理論儲備*Jewitt,C.The Routledge Handbook of Multimodal Analysis.London:Routledge,2009,pp.26.。朱永生認(rèn)為多模態(tài)話語研究容易出現(xiàn)語法分析主觀性過強、模態(tài)之間的互動關(guān)系和互補作用難以確定、研究群體主要是系統(tǒng)功能語言學(xué)者等不足*朱永生：《多模態(tài)話語分析的理論基礎(chǔ)與研究方法》，《外語學(xué)刊》2007年第5期，第85頁。。程瑞蘭、張德祿強調(diào)多模態(tài)話語研究缺乏跨模態(tài)既統(tǒng)一又完善的多模態(tài)語法*程瑞蘭、張德祿：《多模態(tài)話語分析在中國研究的現(xiàn)狀、特點和發(fā)展趨勢——以期刊成果為例》，《中國外語》 2017年第3期，第42頁。。因此，國內(nèi)與國際學(xué)界需要齊心協(xié)力、密切配合，共同開發(fā)出覆蓋多種模態(tài)而又全面系統(tǒng)實用的多模態(tài)話語研究理論體系。對于中國學(xué)者而言，需要以張德祿和馮德正等領(lǐng)軍學(xué)者為榜樣，努力建構(gòu)出符合中國國情和時代發(fā)展、具有中國特色和指導(dǎo)作用的多模態(tài)話語研究理論框架和模型。多模態(tài)話語研究與符號類型、社會活動及社會文化聯(lián)系密切，因而需要關(guān)注符號系統(tǒng)在特定社會環(huán)境下、社會活動中和價值體系上的運行機制和嬗變過程*李戰(zhàn)子、陸丹云：《多模態(tài)符號學(xué):理論基礎(chǔ)，研究途徑與發(fā)展前景》，《外語研究》2012年第2期，第6頁。。

2.加強學(xué)科合作

學(xué)科間性的研究模式能使新知識成為共同應(yīng)對的主要目標(biāo)*胡壯麟：《超學(xué)科研究與學(xué)科發(fā)展》，《中國外語》2012年第6期，第16頁。。多模態(tài)話語研究同時關(guān)注語言和非語言的符號資源，需要將不同的符號流派如人類學(xué)、藝術(shù)學(xué)和民族志等學(xué)科融入系統(tǒng)功能語法、視覺設(shè)計語法、概念隱喻理論等體系進(jìn)行綜合研究。多模態(tài)話語涉及多種模態(tài)資源的協(xié)同，因而定性研究成為多模態(tài)話語研究的主導(dǎo)方法。van Leeuwen指出多模態(tài)研究的未來方向包括自我思辨、文化多元和技術(shù)應(yīng)用*Van Leeuwen.T.Multimodality.In Simpson,J.(eds.).The Routledge Handbook of Applied Linguistics.New York: Routledge, 2001, pp.679.。馮德正等認(rèn)為近年來多模態(tài)話語研究開始轉(zhuǎn)向?qū)Χ嗄B(tài)表意資源的跨學(xué)科系統(tǒng)闡釋與實證研究。認(rèn)知語言學(xué)與功能語言學(xué)之間的對話及融合是今后多模態(tài)語篇研究的發(fā)展方向*馮德正、張德祿、 Kay O'Hallora：《多模態(tài)語篇分析的進(jìn)展與前沿》，《當(dāng)代語言學(xué)》2014年第1期，第88—90頁。。馮德正進(jìn)而指出，國內(nèi)未來的多模態(tài)話語研究可以分析中國形象、社會主義價值觀的多模態(tài)建構(gòu)、新媒體教學(xué)(如慕課、微課)、公益廣告(如反腐敗、普法教育、環(huán)境保護(hù))等具有重要社會意義的跨學(xué)科語篇*馮德正：《多模態(tài)語篇分析的基本問題探討》，第5頁。。形如傳播學(xué)、心理學(xué)、教育學(xué)和社會學(xué)的跨學(xué)科多模態(tài)研究理論體系亟待逐步完善，多模態(tài)話語研究要有學(xué)科融合意識來構(gòu)建跨學(xué)科的理論體系*馮德正：《多模態(tài)語篇分析的基本問題探討》，第6—8頁。。

3.完善研究內(nèi)涵

在研究對象上，李戰(zhàn)子、陸丹云認(rèn)為話語秩序、意識形態(tài)、社會關(guān)系和社會實踐是多模態(tài)話語研究的發(fā)展路徑*李戰(zhàn)子、陸丹云：《多模態(tài)符號學(xué):理論基礎(chǔ),研究途徑與發(fā)展前景》，《外語研究》2012年第2期，第6頁。。張淑杰、張德祿指出模態(tài)話語研究需要關(guān)注三個方面：多模態(tài)語篇符號系統(tǒng)的詞匯語法、不同符號系統(tǒng)的語法特點和不同符號系統(tǒng)在多模態(tài)語篇中的選擇特征*張淑杰, 張德祿：《系統(tǒng)功能語言學(xué):發(fā)展及應(yīng)用——張德祿教授訪談錄》，《山東外語教學(xué)》2015年第4期，第6頁。。在研究方法上，胡壯麟強調(diào)多模態(tài)研究是有科技含量的新學(xué)科，需要語言以外的素養(yǎng)*胡壯麟：《我讀系統(tǒng)功能語言學(xué)研究現(xiàn)狀和發(fā)展趨勢》，第十二屆全國功能語言學(xué)研討會大會發(fā)言，南京:南京師范大學(xué), 2011年。。羅永勝提出我國多模態(tài)話語研究主要停滯在對國外理論的消化和吸收上，缺乏驗證性實驗研究和理論溯源性研究*羅永勝：《近十年來中國多模態(tài)話語及其應(yīng)用研究述評》，《現(xiàn)代教育技術(shù)》2012年第4期，第64頁。。其后不久，國防主張國際多模態(tài)話語研究已逐漸從描述性思辨研究轉(zhuǎn)向應(yīng)用性實證研究*國防：《多模態(tài)話語分析研究熱點及趨勢分析——基于文獻(xiàn)計量學(xué)方法》，《外語與外語教學(xué)》2016年第3期，第64頁。。馮德正提醒多模態(tài)話語研究需要同時具備跨學(xué)科意識、實證意識和應(yīng)用意識，不僅要立足于理論與方法創(chuàng)新，而且要著眼于解決多媒體時代傳播與交際中的實際問題*馮德正：《多模態(tài)語篇分析的基本問題探討》，《北京第二外國語學(xué)院學(xué)報》2017年第3期，第1頁。。實際上，問卷調(diào)查、面對面訪談、建立語料庫、運用大數(shù)據(jù)分析軟件能有效提高實證化研究方法的可信度與說服力，如對實證數(shù)據(jù)解析的軟件有SPSS*胡永近、張德祿：《英語專業(yè)聽力教學(xué)中多模態(tài)功能的實驗研究》，《外語界》2013年第5期，第20—25頁。、Nvivo*甘容輝、何高大：《大數(shù)據(jù)時代學(xué)習(xí)分析與外語教學(xué)研究展望》，《外語電化教學(xué)》2016年第3期，第40—45頁。、Wmatrix*陳風(fēng)華、查建設(shè)：《外宣語境多模態(tài)認(rèn)知視角國家領(lǐng)導(dǎo)人形象建構(gòu)——以習(xí)近平特稿為中心》，《外語教學(xué)理論與實踐》2017年第3期，第42—49頁。，對視頻數(shù)據(jù)解碼軟件有Elan*顧日國：《多模態(tài)感官系統(tǒng)與語言研究》，《當(dāng)代語言學(xué)》2015年第4期，第448—469頁。、Praat*馮德正：《數(shù)字技術(shù)與多模態(tài)語篇分析》，《北京科技大學(xué)學(xué)報(社會科學(xué)版)》2010年第4期，第12—17頁。、Multimodal Analysis Software*Lim-Fei,V. O’Halloran,K.L.Tan,S.Marissa,K.L.E.Teaching Visual Texts with the Multimodal Analysis Software.Educational Technology Research and Development,2015(6),pp.915-935.。

四 結(jié)語

本研究基于國內(nèi)外核心期刊運用文本挖掘功能強大的知識圖譜可視化工具CiteSpace考察了學(xué)界多模態(tài)話語研究的整體狀況，并就國內(nèi)學(xué)界的未來研究提出了一些建議。研究發(fā)現(xiàn)：首先，國內(nèi)高校的教授和博導(dǎo)群體是多模態(tài)話語研究的領(lǐng)航者，國內(nèi)學(xué)界比國際學(xué)界更善于建構(gòu)多模態(tài)話語分析研究框架；其次，國際學(xué)界和國內(nèi)學(xué)界都重視建構(gòu)及推介多模態(tài)話語理論以及對跨學(xué)科多模態(tài)話語的研究，國際學(xué)界的豐富經(jīng)驗和精湛水準(zhǔn)值得國內(nèi)學(xué)界學(xué)習(xí)和借鑒；再次，國內(nèi)學(xué)者在今后的多模態(tài)話語研究中需要在理論探索、學(xué)科合作和研究內(nèi)容等方面提高重視和付出努力；最后，多模態(tài)話語研究理論的深入探索有待國內(nèi)和國際學(xué)界的密切配合。本研究在時間、空間和內(nèi)容等維度拓寬了學(xué)界以往對多模態(tài)話語綜述研究的不足，為今后多模態(tài)話語研究提供了一定的參考價值。毋庸諱言，囿于研究語料所限，本研究獲取的結(jié)論或許存在不夠客觀與科學(xué)之處。展望未來研究，我們相信在更龐大的語料和更多維的視野基礎(chǔ)上的研究會進(jìn)一步完善我們現(xiàn)有的研究發(fā)現(xiàn)。

ChronologicalKnowledgeMappingAnalysisofMultimodalDiscourseStudies:CaseStudyofCoreJournalsatHomeandAbroad

CHEN Feng-hua,Francisco Veloso

Using the internationally recognized authoritative visualized analysis tool CiteSpace,this paper analyzes the evolution of the knowledge mapping of multimodal discourse research literature published in the domestic core journals (CSSCI and National Chinese Core) and international core journals (SSCI and A & HCI) over the years.The research holds that: First of all,the leading figures in the study of multimodal discourse in both the domestic and international academics are all university scholars. Secondly,the domestic academic circles have been paying attention to constructing a multi-modal discursive theoretical framework suitable for China’s national conditions in the past 10 years or so,but the phenomenon of teamwork research is rather scarce.Thirdly,in the past period which lasts over twenty years,the international academic circle has covered more subject fields than domestic academic circle,and their abundant research experience and exquisite research level is well worthwhile for domestic academic circle to learn.Fourthly,it is quite necessary for domestic academic circle to strengthen research in terms of theoretic exploration,subject cooperation and content composition.Finally,domestic and international scholars need to work together to deepen the theoretical exploration of multimodal discourse research.This study is believed to be able to provide some reference value for the future research of multimodal discourse in academic circles.

multimodal discourse;domestic core journals;international core journals;CiteSpace;knowledge mapping;visualized analysis

陳風(fēng)華，香港理工大學(xué)人文學(xué)院博士研究生，主要研究方向：多模態(tài)符號學(xué)及多模態(tài)話語分析。[巴西]弗朗西斯科·維勒索(Francisco Veloso)，香港理工大學(xué)人文學(xué)院助理教授，博士生導(dǎo)師，主要研究方向：多模態(tài)符號學(xué)及多模態(tài)話語分析(中國香港 999077)。

H0-06

A

1006-1398(2017)06-0154-13

2017-10-20

【責(zé)任編輯龔桂明 陳西玲】