國內(nèi)短視頻多模態(tài)話語的演進過程與熱點探析

摘要：文章以短視頻多模態(tài)話語在中國的發(fā)展歷程和熱點趨勢為研究對象，通過對CNKI（中國知網(wǎng)）全文數(shù)據(jù)庫收錄的140篇短視頻多模態(tài)話語領(lǐng)域期刊文獻進行可視化分析，深入探討文獻的年代、研究機構(gòu)、關(guān)鍵詞共現(xiàn)、突出特征和聚類等方面的內(nèi)容。同時，結(jié)合知識圖譜，從研究結(jié)論、研究對象、研究內(nèi)容等方面，為我國未來的短視頻多模態(tài)話語分析研究提出建設(shè)性意見。

關(guān)鍵詞：多模態(tài)；短視頻；CiteSpace

中圖分類號：G206 文獻標(biāo)識碼：A 文章編號：1004-9436（2023）02-0-05

0 引言

多模態(tài)語言是一種交流方式，它利用聽覺、視覺、觸覺等感覺，使用語言、圖像、語音、手勢、動漫和網(wǎng)絡(luò)等方式和符號信息實現(xiàn)交流。20世紀(jì)90年代開始，西方學(xué)術(shù)界開始大力開展多模態(tài)話語分析方面的研究，其中最具代表性的是Kress&Leeuwen、ScOllon&Levine、o'Halloran、Forceville&Urios等學(xué)者的研究成果。李戰(zhàn)子是國內(nèi)最早深入開展多模態(tài)研究的學(xué)者，其在《多模式話語的社會符號學(xué)分析》（2003）中提出，多模態(tài)語言不僅僅是文本，還包括圖像、圖表等多種符號編碼，可以用來實現(xiàn)更多的意義。此書深入探討了Kress&Leeuwen提出的視覺語法理論和圖像研究方法，推動了學(xué)術(shù)界對多模態(tài)話語分析的研究進展。2009年，韋秦紅發(fā)表了他的首部多模態(tài)話語解析專著《視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究》，為多模式語篇解析的發(fā)展作出了重要貢獻。隨著時間的推移，越來越多關(guān)于多模態(tài)話語分析理論的專著出現(xiàn)。例如，高佑梅（2014）在《認(rèn)知語言學(xué)方法為基的中國英語課堂教學(xué)實證研究》中，從認(rèn)知語言學(xué)的角度探討了多模態(tài)話語；張立新（2012）在《基于ELAN的多模態(tài)話語研究——以大學(xué)英語教師課堂話語為例》中，深入探討了多模態(tài)話語的分析和多模態(tài)教學(xué)的設(shè)計。這些專著都是針對應(yīng)用理論研究的。

自從2003年李戰(zhàn)子開辟了研究多模態(tài)的先河，往后近20年，我國多模態(tài)話語研究的領(lǐng)域和方向愈來愈廣泛，但有關(guān)短視頻多模態(tài)話語分析的研究仍處于起步階段。鑒于此，本文以中國知網(wǎng)中的文獻為數(shù)據(jù)基礎(chǔ)，以“多模態(tài)”和“短視頻”兩大主題詞對知網(wǎng)上的文獻進行篩選，并通過CiteSpace（6.1.R2）文獻計量軟件，對篩選出來的文獻進行可視化操作，探析該研究領(lǐng)域的演變過程、研究現(xiàn)狀與發(fā)展趨勢，旨在為今后該領(lǐng)域的相關(guān)研究提供參考。

1 研究方法

1.1 研究工具

CiteSpace是一款信息可視化軟件，已在學(xué)術(shù)界得到廣泛應(yīng)用。它通過考察一定范圍內(nèi)的文獻，對被引文獻、關(guān)鍵詞等進行定量分析，將所得結(jié)論繪制成可視化圖譜，從而發(fā)現(xiàn)該研究領(lǐng)域的前沿?zé)狳c與發(fā)展趨勢（陳悅等，2015）。在確定數(shù)據(jù)來源后，筆者將中國知網(wǎng)上相關(guān)的140篇論文的書目信息全部下載下來，將信息導(dǎo)入CiteSpace，獲得年度刊文、生產(chǎn)性期刊、生產(chǎn)性作者和機構(gòu)、高頻關(guān)鍵詞、關(guān)鍵詞聚類圖等信息并進行分析。

1.2 研究對象

在國內(nèi)權(quán)威性數(shù)據(jù)庫之一——中國知網(wǎng)（CNKI）中進行檢索后，發(fā)現(xiàn)有關(guān)“短視頻多模態(tài)話語”這一領(lǐng)域的、具有較高質(zhì)量的文獻最早出現(xiàn)在2014年。于是，本文將2014年至2022年期間的所有該領(lǐng)域的文獻作為研究對象，并將其導(dǎo)入CiteSpace，生成知識圖譜進行分析。

1.3 數(shù)據(jù)來源與收集

借助知網(wǎng)的高級檢索功能，在主題詞一欄中填入“短視頻”“多模態(tài)”兩個主題詞后，不限制時間范圍、更新時間等，共獲得文獻156條。后借助數(shù)據(jù)去重與人工篩選，將新聞通訊等相關(guān)性較小的文章去除，總共獲得140篇有效文獻。

2 文獻可視化分析

2.1 文獻年度分布

學(xué)術(shù)論文在數(shù)量上的變化往往能反映出該學(xué)術(shù)領(lǐng)域的發(fā)展情況，對文獻數(shù)量進行統(tǒng)計分析并描繪增長曲線，可以幫助評估該行業(yè)的發(fā)展，并預(yù)測其未來的發(fā)展［1］。本文統(tǒng)計了近8年來國內(nèi)140篇短視頻多模態(tài)話語分析相關(guān)文獻的年度發(fā)文量，大致可以分為以下兩個階段：緩慢增長期（2014—2018年）、持續(xù)增長期（2018年至今）。

如圖1所示，2014年，董小晶教授首次在其論文中對短視頻中的多模態(tài)話語進行分析研究，而后連續(xù)3年，該領(lǐng)域研究依舊不活躍，發(fā)文總量只有8篇。自2018年開始，有關(guān)短視頻多模態(tài)話語分析研究的論文發(fā)文量才開始呈現(xiàn)垂直上升的趨勢，2021年該領(lǐng)域發(fā)文量達(dá)到48篇，直至今日，該領(lǐng)域發(fā)文量仍然在持續(xù)增加。這充分表明，近年來，由于新媒體的活躍發(fā)展，短視頻逐漸成為人們?nèi)粘Ｉ钪胁豢珊鲆暤拇嬖?，對社會各行各業(yè)的影響也越來越大。因此，國內(nèi)學(xué)者對短視頻多模態(tài)話語分析的關(guān)注度持續(xù)提高，短視頻領(lǐng)域的多模態(tài)話語研究逐漸成為學(xué)界關(guān)注的對象。

2.2 研究熱點與研究趨勢

2.2.1 高頻關(guān)鍵詞和關(guān)鍵詞共現(xiàn)

為了更好地了解2014年至今國內(nèi)短視頻多模態(tài)話語分析的研究熱點和趨勢，筆者將數(shù)據(jù)源中的關(guān)鍵詞篩選出來，按照出現(xiàn)頻次由高到低排序，選出前20名關(guān)鍵詞，結(jié)果如表1所示。將非研究目標(biāo)關(guān)鍵詞“多模態(tài)”和“短視頻”剔除后發(fā)現(xiàn)，國內(nèi)有關(guān)短視頻多模態(tài)話語分析的研究熱點主要集中在“特征表示”“抖音”“深度學(xué)習(xí)”“視覺語法”“音畫關(guān)系”等方面，頻次分別為10、7、6、5、5；“李子柒”“主流媒體”相關(guān)研究的頻次緊隨其后；而其余方面的研究頻次不足4，包括“低秩表征”“對外傳播”“新媒體”“社交媒體”“詞匯教學(xué)”等。

接著，通過運行CiteSpace軟件，獲得關(guān)鍵詞共現(xiàn)可視化網(wǎng)絡(luò)圖譜（見圖2），將當(dāng)前研究熱點與趨勢可視化。由圖2可知，在140篇文獻中，抓取了147個關(guān)鍵詞，并且它們之間共有194次關(guān)聯(lián)。這表明國內(nèi)學(xué)者從多個角度對短視頻多模態(tài)話語開展了分析和研究，但是這一領(lǐng)域的研究仍處在初級階段，尚未完善，也說明短視頻多模態(tài)話語分析具有跨學(xué)科的特點。

在圖2中，節(jié)點大小反映了短視頻多模態(tài)話語分析的熱點領(lǐng)域和話題，節(jié)點越大，表明該領(lǐng)域的研究越熱門。除去“短視頻”和“多模態(tài)”兩個作為在知網(wǎng)數(shù)據(jù)庫中進行檢索的關(guān)鍵詞后可以發(fā)現(xiàn)，2014年到2022年，“深度學(xué)習(xí)”“抖音”“視覺語法”和“對外傳播”等關(guān)鍵詞是短視頻多模態(tài)話語分析研究領(lǐng)域的熱點話題，這說明短視頻多模態(tài)話語分析領(lǐng)域的研究內(nèi)容正在變得越來越豐富多彩。學(xué)者們將短視頻多模態(tài)研究應(yīng)用到教育學(xué)、傳播學(xué)、社會學(xué)等學(xué)科領(lǐng)域，不僅促進了學(xué)界跨學(xué)科交叉融合發(fā)展，而且對社會發(fā)展產(chǎn)生了一定的積極意義和影響。

2.2.2 突現(xiàn)詞分析

為了進一步了解短視頻多模態(tài)話語分析領(lǐng)域的研究熱點和研究趨勢，在高頻關(guān)鍵詞和關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)的基礎(chǔ)上，將Y值設(shè)置為0.2，對關(guān)鍵詞進行burstness檢測［2］，共提取9個突現(xiàn)詞，由這9個突現(xiàn)詞可知短視頻多模態(tài)話語分析研究發(fā)展的關(guān)鍵與變化。

如圖3所示，從變化時間上可以觀察到，關(guān)鍵詞突變大致可以分為以下幾個階段。2014—2018年，集中于“音畫關(guān)系”和“特征表示”，這段時間內(nèi)國內(nèi)研究者剛開始對短視頻進行多模態(tài)話語分析，研究剛剛起步，研究內(nèi)容還處于探索階段；2015—2019年，“詞匯教學(xué)”和“大學(xué)英語”成為研究中心，教育學(xué)研究領(lǐng)域的學(xué)者開始重視短視頻的多模態(tài)話語分析；2016—2019年，“傳播策略”突現(xiàn)明顯，表明傳播學(xué)領(lǐng)域的學(xué)者開始關(guān)注短視頻中的多模態(tài)話語；2018—2020年，“社交媒體”和“互動意義”突現(xiàn)明顯，說明學(xué)者開始從社會學(xué)的角度對短視頻的多模態(tài)話語進行分析研究；2019—2020年，“低秩表征”一詞突現(xiàn)，這有可能是未來短視頻多模態(tài)話語分析研究領(lǐng)域的重要研究內(nèi)容。

2.2.3 關(guān)鍵詞聚類

CiteSpace通過算法將文獻中共同的關(guān)鍵詞標(biāo)簽等聚類后，再對其進行分類，從而形成一張圖譜，較為清晰地呈現(xiàn)出該學(xué)科領(lǐng)域的研究前沿［3］。該技術(shù)基于譜聚類算法，能夠有效提取相關(guān)文獻中的關(guān)鍵詞，從而更好地反映研究的前沿。CiteSpace一般通過“模塊值”和“平均輪廓值”來評估聚合的有效性。通常來說，當(dāng)Q值大于0.3，則表明聚合分析得出的社團結(jié)構(gòu)特點是明顯的，而當(dāng)S值大于0.7，則表明聚類結(jié)果的可信度較高，具有較高的參考價值［4］。圖4的Q值和S值均達(dá)到了0.959，表明該視圖不僅特點明顯，且有較強的說服力，能夠為研究者提供有效指導(dǎo)。

從圖4可以觀察到，去除“短視頻”和“多模態(tài)”兩個標(biāo)簽后，聚類最明顯的標(biāo)簽依次是“政治視覺修辭”“主流媒體”“詞匯教學(xué)”“視覺語法”“鄉(xiāng)村形象”?！罢我曈X修辭”和“主流媒體”是短視頻多模態(tài)話語分析研究的重點關(guān)注對象，究其原因是在媒體融合的大背景下，主流媒體開始突破創(chuàng)新，在各類社交平臺上創(chuàng)建官方賬號，因此，在對短視頻進行多模態(tài)話語分析的初期，多數(shù)學(xué)者會選擇主流媒體作為研究對象，考察主流媒體短視頻中的多模態(tài)話語對社會和受眾產(chǎn)生的影響。另外，“詞匯教學(xué)”“視覺語法”和“鄉(xiāng)村形象”三者之間并無交叉重疊，學(xué)術(shù)研究較為分散。因“視覺語法”是多模態(tài)話語研究中使用較為頻繁的理論框架之一，所以并不能算在短視頻多模態(tài)分析的研究對象中，由此可見，多模態(tài)視域下對短視頻領(lǐng)域的研究較為片面，尚未發(fā)展成熟。

2.3 主要發(fā)文作者及研究機構(gòu)

通過中國知網(wǎng)的數(shù)據(jù)分析功能，可以清晰地看到2014—2022年這8年間發(fā)表文章最多的學(xué)者是蘇育挺和井佩光，他們分別發(fā)表了4篇相關(guān)文章；其次是劉昱、崔天舒和葉徐清，分別發(fā)表了2篇相關(guān)文章；最后是馮德正、徐劍、范建剛、張梅、黃圣等學(xué)者。圖5展示了這些學(xué)者的可視化分析結(jié)果。研究多模態(tài)短視頻的機構(gòu)包括天津大學(xué)、香港理工大學(xué)、上海交通大學(xué)和福建師范大學(xué)。其中，天津大學(xué)的研究團隊由著名學(xué)者蘇育挺、井佩光、劉昱、崔天舒和葉徐清領(lǐng)銜，而香港理工大學(xué)的研究團隊則由著名學(xué)者馮德正領(lǐng)銜。

3 研究不足與建議

對我國近8年的短視頻多模態(tài)研究成果進行分析可以發(fā)現(xiàn)，短視頻多模態(tài)話語分析在我國屬于較新的研究領(lǐng)域，對其進行研究的學(xué)者相對較少，直至近幾年該領(lǐng)域的研究才逐漸得到重視。作為一個較新的研究領(lǐng)域，本文認(rèn)為短視頻多模態(tài)話語分析研究存在一些不足，并針對該現(xiàn)象提出了一些建議。

3.1 研究結(jié)論主觀化，缺少實證研究

近年來，國內(nèi)針對短視頻多模態(tài)話語分析的研究日漸豐富，但大多數(shù)文章仍停留在引進和介紹國外學(xué)者的理論與科學(xué)研究方法上，能夠提出具有原創(chuàng)性的、獨立完整的短視頻多模態(tài)話語分析理論框架的學(xué)者相對較少。大多數(shù)學(xué)者在進行多模態(tài)話語分析理論研究時，仍采用Kress&Leeuwen在1996年出版的《閱讀圖像：視覺設(shè)計的語法》中提出的視覺語法理論框架。因此，應(yīng)該加以思考和創(chuàng)新，以更好地探索多模態(tài)話語分析的本質(zhì)。

同時，由于學(xué)者對話語類分析的研究是建立在學(xué)者個體的文化背景、知識底蘊、研究動機等之上的，所以不可避免地會存在研究結(jié)論過于主觀化這一問題，從而導(dǎo)致研究結(jié)論差異化較為明顯，而出現(xiàn)這一現(xiàn)象的原因是學(xué)者在該領(lǐng)域進行研究時，缺乏實證研究加以佐證。如果我國短視頻多模態(tài)研究領(lǐng)域能夠?qū)W習(xí)學(xué)科教學(xué)領(lǐng)域的多模態(tài)研究中的實證研究，不僅能夠促進多模態(tài)領(lǐng)域中的學(xué)科融合與共建，而且短視頻領(lǐng)域的多模態(tài)話語分析研究方法也會越來越完整。

3.2 研究對象扁平化，亟待學(xué)科共建

在短視頻多模態(tài)話語分析研究領(lǐng)域，學(xué)者們較多從認(rèn)知語言學(xué)和系統(tǒng)功能語言學(xué)角度對短視頻進行多模態(tài)話語分析，深入探討音畫關(guān)系的結(jié)構(gòu)性特征，及其在概念、人際關(guān)系和語篇這三個層面的功能作用。多模態(tài)話語分析不應(yīng)僅局限于某個學(xué)科領(lǐng)域，而應(yīng)當(dāng)是一種跨專業(yè)的研究，涉及符號學(xué)、傳播學(xué)、社會學(xué)等學(xué)科，以更深入地探索語言的本質(zhì)。尤其是在科技飛速發(fā)展的當(dāng)下，短視頻是新媒體行業(yè)中必不可少的存在，短視頻的內(nèi)容也涉及各行各業(yè)，對短視頻的多模態(tài)話語分析應(yīng)當(dāng)?shù)玫綄W(xué)界的重視。

因此，學(xué)者應(yīng)及時解構(gòu)或構(gòu)建短視頻多模態(tài)話語符號中的意義關(guān)系，積極主動地與其他學(xué)科領(lǐng)域的學(xué)者進行溝通交流與學(xué)習(xí)。學(xué)科的融合與共建是多模態(tài)話語分析研究領(lǐng)域的必然趨勢，只有緊跟時代潮流，在別的學(xué)科領(lǐng)域中發(fā)現(xiàn)多模態(tài)的存在，并將短視頻多模態(tài)分析融入各個學(xué)科領(lǐng)域，才能促進各學(xué)科共同進步，從而推動社會發(fā)展與進步。

3.3 研究內(nèi)容單一化，研究內(nèi)涵需豐富

筆者通過文獻研究發(fā)現(xiàn)，多數(shù)文獻的研究內(nèi)容主要集中在“主流媒體”“線上教學(xué)”等方面，內(nèi)容同質(zhì)化現(xiàn)象較為嚴(yán)重，研究缺乏獨特的視角與創(chuàng)新性見解。雖然相比研究初期而言，現(xiàn)階段逐漸開始有越來越多不同學(xué)科領(lǐng)域的學(xué)者對短視頻中的多模態(tài)話語進行分析研究，但樣本數(shù)量較少，尚未形成較為成熟的研究關(guān)系網(wǎng)。新媒體時代，短視頻APP被廣泛使用，逐漸成為人們獲取信息、學(xué)習(xí)知識、溝通交流等不可或缺的渠道之一，如果對短視頻多模態(tài)方面的分析研究只局限在“主流媒體”“線上教學(xué)”等方面，那么關(guān)于短視頻多模態(tài)話語分析的研究便會因?qū)W術(shù)視野狹窄而無法取得突破性的發(fā)現(xiàn)。

在后續(xù)研究中，需要分析多模態(tài)視域下短視頻對受眾的影響與效果等，將研究與社會生活的方方面面相聯(lián)系，展現(xiàn)出信息時代短視頻多模態(tài)話語的變化與特色。例如，黃芙蓉等學(xué)者對《中國一分鐘》進行多模態(tài)話語分析，發(fā)現(xiàn)文字、聲音、圖像能夠通過不同的方式對受眾產(chǎn)生不同的影響，從而更好地發(fā)揮時政類短視頻的效果，實現(xiàn)其意義［5］。雖然該文章仍然是從“主流媒體”的角度出發(fā)進行研究的，但更關(guān)注多模態(tài)不同的呈現(xiàn)方式對受眾的影響與效果。如果未來有關(guān)短視頻多模態(tài)話語分析的研究能夠放大這一優(yōu)點，不僅能夠真正推動相關(guān)研究發(fā)展，而且能對社會發(fā)展起到一定的促進作用。

4 結(jié)語

隨著新媒體時代的快速發(fā)展，社會不再是以往單一的模式形態(tài)，而變成了多模態(tài)共同發(fā)展的社會。以往被忽視的非語言符號，如聲音、圖像、色彩等，正在共同構(gòu)建如今的社會。雖然我國對短視頻多模態(tài)話語分析的研究時間并不是很長，但該研究領(lǐng)域擁有廣闊的發(fā)展前景，值得我國學(xué)者進行深入研究。同時，隨著我國科技的飛速發(fā)展，短視頻多模態(tài)話語分析將在研究思路、方法和路徑上取得新的突破，從而推動語言學(xué)研究進步與發(fā)展。

當(dāng)然，本研究仍然存在一定的不足。首先，本研究的文獻數(shù)量充足，一定程度上能夠反映我國短視頻多模態(tài)研究的狀況，但文獻來源為知網(wǎng)收錄的相關(guān)論文，相比核心期刊而言，缺乏代表性。其次，本研究檢索的關(guān)鍵詞為“短視頻”和“多模態(tài)”，可能并未搜集到全部有關(guān)短視頻多模態(tài)話語分析的研究文章，也可能包含部分其他領(lǐng)域的文章，因此準(zhǔn)確性有待商榷。最后，本研究涉及的外國文獻較少，如果能夠統(tǒng)計整理國外短視頻多模態(tài)話語分析研究的發(fā)展進程，研究得出的結(jié)論將更加嚴(yán)謹(jǐn)。

參考文獻：

［1］ 楊思洛，韓瑞珍.知識圖譜研究現(xiàn)狀及趨勢的可視化分析［J］.情報資料工作，2012（4）：22-18.

［2］ 陳超美. CiteSpace中的BurstDetection［EB/OL］.陳超美科學(xué)網(wǎng)博客，https：//blog.sciencenet.cn/blog-496649-566

289.html，2012-05-03.

［3］ 陳悅，陳超美，胡志剛，等.引文空間分析原理與應(yīng)用CiteSpace實用指南［M］.北京：科學(xué)出版社，2014：75-76.

［4］ 陳悅，陳超美，劉則淵，等. CiteSpace知識圖譜的方法論功能［J］.科學(xué)學(xué)研究，2015，33（2）：242-253.

［5］ 黃芙蓉，黃琪，王芬.時政微視頻：多模態(tài)話語講好中國故事的政治傳播實踐：以人民日報《中國一分鐘》等為例

［J］.湖北第二師范學(xué)院學(xué)報，2021，38（6）：102-108.

作者簡介：王曉凡（2000—），女，江蘇鹽城人，碩士在讀，研究方向：新聞與傳播。