多模態(tài)話語(yǔ)分析國(guó)內(nèi)研究綜述

保明東 馬 瑜 盧 剛

(云南民族大學(xué) 云南 昆明 650500)

多模態(tài)話語(yǔ)分析國(guó)內(nèi)研究綜述

保明東 馬 瑜 盧 剛

(云南民族大學(xué) 云南 昆明 650500)

隨著現(xiàn)代信息技術(shù)的飛速發(fā)展，信息的傳遞方式由單一文本形式轉(zhuǎn)化為多模態(tài)形式。本文通過(guò)對(duì)國(guó)內(nèi)近十年多模態(tài)話語(yǔ)分析進(jìn)行綜述，總結(jié)出我國(guó)多模態(tài)話語(yǔ)研究主要為多模態(tài)本身及理論研究、模態(tài)構(gòu)建研究及多模態(tài)在教育中的運(yùn)用及作用3個(gè)領(lǐng)域。分析了我國(guó)多模態(tài)話語(yǔ)研究現(xiàn)狀及存在的問(wèn)題，以及對(duì)今后的研究的啟示。

模態(tài);多模態(tài);話語(yǔ)分析;理論研究

1 多模態(tài)話語(yǔ)分析概述

語(yǔ)言是人類交往的工具和手段，但絕對(duì)不是唯一的工具和手段。多模態(tài)指的便是除了文本之外，還帶有圖像、圖表等符合話語(yǔ)，或者說(shuō)任何由一種以上符合編碼實(shí)現(xiàn)意義的文本。由此可見，在日常生活中，絕對(duì)單一模態(tài)的語(yǔ)篇是很少見的，而多模態(tài)語(yǔ)篇?jiǎng)t是普遍存在的。Kress和Leeuween認(rèn)為，多模態(tài)語(yǔ)篇是一種融合了多種交流模態(tài)(如聲音、文字、形象等)來(lái)傳遞信息的語(yǔ)篇，因此，區(qū)分單模態(tài)和多模態(tài)的關(guān)鍵在于有幾種符號(hào)參與了語(yǔ)篇的構(gòu)成。顧曰國(guó)認(rèn)為，模態(tài)指人類通過(guò)感官(如視覺(jué)、聽覺(jué))跟外部環(huán)境(如人、機(jī)器、物件、動(dòng)物等)之間的互動(dòng)方式。用單個(gè)感官進(jìn)行互動(dòng)的叫單模態(tài)，用兩個(gè)的叫雙模態(tài)，三個(gè)或以上的叫多模態(tài)。他認(rèn)為區(qū)分的關(guān)鍵在于有幾種感官參與。綜上所述，多模態(tài)語(yǔ)篇應(yīng)分為啟用單一感官的多符號(hào)語(yǔ)篇或啟用多感官的多符號(hào)語(yǔ)篇。

2 數(shù)據(jù)分析

目前國(guó)內(nèi)對(duì)多模態(tài)話語(yǔ)語(yǔ)篇的研究主要涉及3個(gè)領(lǐng)域：多模態(tài)本身及理論研究、模態(tài)構(gòu)建研究及多模態(tài)在教育中的運(yùn)用及作用。按照研究成果發(fā)表年限統(tǒng)計(jì)，國(guó)內(nèi)關(guān)于多模態(tài)話語(yǔ)分析3個(gè)領(lǐng)域的研究成果分布見表1。

表1 近十年我國(guó)多模態(tài)話語(yǔ)分析研究成果統(tǒng)計(jì)圖

3 國(guó)內(nèi)研究動(dòng)態(tài)解析

3.1 多模態(tài)理論框架研究。國(guó)內(nèi)學(xué)者就多模態(tài)話語(yǔ)的理論框架而言系統(tǒng)功能語(yǔ)言學(xué)是最為適合的，如朱永生(2007) 認(rèn)為多模態(tài)話語(yǔ)分析深受系統(tǒng)功能語(yǔ)言學(xué)的影響。張德祿(2009) 指出系統(tǒng)功能語(yǔ)言學(xué)對(duì)話語(yǔ)的功能與意義極其看重，將其置于首位，以多模態(tài)形式完成意義的實(shí)現(xiàn)。關(guān)于數(shù)字技術(shù)對(duì)多模態(tài)語(yǔ)篇分析產(chǎn)生的影響與重大作用馮德正(2010) 進(jìn)行了介紹。

3.2 多模態(tài)語(yǔ)篇構(gòu)建及模態(tài)間關(guān)系研究

表2 多模態(tài)語(yǔ)篇構(gòu)建及模態(tài)間關(guān)系研究統(tǒng)計(jì)

3.2.1 二維平面圖文關(guān)系的多模態(tài)研究。二維平面關(guān)系的多模態(tài)研究語(yǔ)篇主要來(lái)是關(guān)于公益平面廣告、活動(dòng)及電影海報(bào)、會(huì)徽、包裝設(shè)計(jì)、雜志封面等平面印刷品圖文關(guān)系多模態(tài)建構(gòu)分析。趙立書(2014)在其碩士論文中基于楊鈉，提出了一個(gè)適合分析多模態(tài)公益廣告互動(dòng)意義的模型，并從定性、定量及對(duì)比方面對(duì)中英公益廣告互動(dòng)意義進(jìn)行多模態(tài)話語(yǔ)對(duì)比分析，發(fā)現(xiàn)中英多模態(tài)公益廣告在互動(dòng)意義構(gòu)建上的相同點(diǎn)及不同點(diǎn)。

3.2.2 影視及視頻廣告宣傳片多模態(tài)分析。隨著多媒體技術(shù)的發(fā)展,人們發(fā)現(xiàn)單純從語(yǔ)言角度已經(jīng)不能對(duì)話語(yǔ)展開深入全面的分析和研究。話語(yǔ)標(biāo)記語(yǔ)作為一種語(yǔ)言模態(tài)已不僅僅以文本模式出現(xiàn)，而是和圖像、聲音、動(dòng)作、顏色等多種模態(tài)同時(shí)出現(xiàn)，共同完成語(yǔ)篇銜接的構(gòu)建。相對(duì)于圖文語(yǔ)篇，視頻語(yǔ)篇涉及更多模態(tài)共同建構(gòu)，綜合運(yùn)用聽覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)方式，通過(guò)聲音、語(yǔ)言、圖像、動(dòng)作等多種手段和符號(hào)系統(tǒng)進(jìn)行交際，這樣的語(yǔ)言也可稱為超越作為社會(huì)符號(hào)的語(yǔ)言，使用兩種或多種符號(hào)資源比如語(yǔ)言、音樂(lè)、空間、手勢(shì)等完成意義構(gòu)建的社會(huì)實(shí)踐。樊雪琴(2015)基于Halliday的系統(tǒng)功能語(yǔ)言學(xué)的理論背景，以Kress & Van Leeuwen提出的視覺(jué)語(yǔ)法為基礎(chǔ)，建立多模態(tài)話語(yǔ)分析的視覺(jué)語(yǔ)法分析框架分析微電影語(yǔ)篇中經(jīng)常出現(xiàn)的的多模態(tài)話語(yǔ)方式，從敘事和概念兩個(gè)維度分析其表征意義，從接觸、社會(huì)距離、視角和情態(tài)等方面分析其互動(dòng)意義，從信息值、顯著性和取景方面分析其構(gòu)圖意義。

3.2.3 三維空間的多模態(tài)話語(yǔ)建構(gòu)?？茖W(xué)技術(shù)的不斷發(fā)展使得人們不僅以言語(yǔ)傳遞信息，而且通過(guò)多模態(tài)形式，如圖像，視頻或音樂(lè)來(lái)傳遞信息。在可以用多種交流模式的信息化時(shí)代，話語(yǔ)建構(gòu)的方式也越來(lái)越繽紛復(fù)雜。運(yùn)用多種媒體和模態(tài)輔助交流成為提高交際能力和交際效果的重要途徑。魏鵬(2013)以視覺(jué)語(yǔ)法為基礎(chǔ)，采取以定量、定性相結(jié)合的研究方法，綜合了靜態(tài)的舞臺(tái)背景、PPT及動(dòng)態(tài)的演示視頻語(yǔ)篇的產(chǎn)品推廣發(fā)布會(huì)作為研究對(duì)象，對(duì)蘋果公司產(chǎn)品推廣發(fā)布會(huì)進(jìn)行多模態(tài)話語(yǔ)分析。

3.2.4 網(wǎng)絡(luò)語(yǔ)篇中圖文關(guān)系多模態(tài)研究。

互聯(lián)網(wǎng)技術(shù)和多媒體技術(shù)的發(fā)展使信息傳播方式日益多元化，對(duì)網(wǎng)絡(luò)及網(wǎng)絡(luò)語(yǔ)篇的多模態(tài)話語(yǔ)分析研究在近幾年才開始嶄露頭角，與海報(bào)，電影，平面廣告等方面的研究相比，對(duì)網(wǎng)頁(yè)的多模態(tài)分析研究是一個(gè)嶄新的領(lǐng)域，其中涉及到旅游廣告、網(wǎng)絡(luò)新聞報(bào)道、政府網(wǎng)站、購(gòu)物網(wǎng)站、教育博客、個(gè)人網(wǎng)頁(yè)和博物館網(wǎng)頁(yè)、游戲頁(yè)面等。

3.3 多模態(tài)在教育中的運(yùn)用及作用

3.3.1 多模態(tài)教學(xué)。教育語(yǔ)篇在教育和文化傳播過(guò)程中占有著重要的地位，一直是系統(tǒng)功能語(yǔ)言學(xué)家關(guān)注的主要課題之一。多模態(tài)話語(yǔ)分析理論的提出和數(shù)字化技術(shù)的成熟發(fā)展為多模態(tài)教學(xué)資源庫(kù)的建立提供了理論基礎(chǔ)和技術(shù)平臺(tái)。劉秀麗(2011)以多模態(tài)話語(yǔ)分析理論為基礎(chǔ)，以多模態(tài)研究為視角，結(jié)合系統(tǒng)功能語(yǔ)言學(xué)的三大元功能觀，結(jié)合學(xué)生外語(yǔ)學(xué)習(xí)動(dòng)機(jī)理論、英語(yǔ)教師的個(gè)性魅力及激勵(lì)風(fēng)格等理論，對(duì)大學(xué)英語(yǔ)課堂教學(xué)中教師的多模態(tài)話語(yǔ)進(jìn)行多層面、多視角研究，找到了教師多模態(tài)話語(yǔ)的內(nèi)容與學(xué)生英語(yǔ)學(xué)習(xí)積極性的關(guān)系。

3.3.2 多模態(tài)教材分析。楊鈉(2014)基于視覺(jué)語(yǔ)法框架和圖文關(guān)系理論，突破過(guò)去對(duì)文本或圖像進(jìn)行孤立研究的局限，提出分析文本和圖像共同構(gòu)建意義的框架。

4 國(guó)內(nèi)多模態(tài)話語(yǔ)分析研究的思考

多模態(tài)話語(yǔ)分析在我國(guó)屬于一個(gè)全新的語(yǔ)言學(xué)研究領(lǐng)域，研究歷史不長(zhǎng)，在理論和分析方法上有待進(jìn)一步研究加以深化。理論框架主要集中在Halliday的系統(tǒng)功能語(yǔ)法和Kress&Van Leeuwen的視覺(jué)語(yǔ)法。面對(duì)同樣的一個(gè)模態(tài)體系，不同的分析者有可能因?yàn)閭€(gè)人的文化背景、知識(shí)結(jié)構(gòu)或者解讀動(dòng)機(jī)、理解能力的差異而得出不同的結(jié)論。在國(guó)內(nèi)現(xiàn)有的多模態(tài)話語(yǔ)研究成果基本停留在主觀的分析解讀層面， 缺乏對(duì)多模態(tài)語(yǔ)法關(guān)系進(jìn)行科學(xué)的調(diào)查取證與量化分析，實(shí)證研究有待加強(qiáng)。

大多數(shù)的研究成果都集中在分析平面圖文語(yǔ)料上，發(fā)現(xiàn)不同媒體形成的形式項(xiàng)目，并且研究它們之間體現(xiàn)意義的語(yǔ)法規(guī)則固然是重要的研究課題，而更要的課題是探討各符號(hào)之間的關(guān)系，發(fā)掘不同模態(tài)的媒體之間如何相互關(guān)聯(lián)，共同實(shí)現(xiàn)說(shuō)話人的意義的基本途徑如何。國(guó)內(nèi)現(xiàn)有的研究主要集中在視覺(jué)和文字模態(tài)相結(jié)合的二維平面研究層次上，對(duì)于視覺(jué)、聲音、文字相結(jié)合的三維空間的多模態(tài)語(yǔ)篇以及空間模態(tài)的語(yǔ)篇鮮有涉及。

5 結(jié)語(yǔ)

經(jīng)過(guò)國(guó)內(nèi)學(xué)者十多年的努力，目前多模態(tài)話語(yǔ)理論在中國(guó)的研究已進(jìn)入蓬勃發(fā)展時(shí)期，取得了可喜的成績(jī)。多模態(tài)話語(yǔ)研究作為新興學(xué)科，在國(guó)內(nèi)研究中，理論上還需要?jiǎng)?chuàng)新與借鑒，方法上還需要改進(jìn)。相信未來(lái)多模態(tài)話語(yǔ)研究方向越來(lái)越廣闊，前景越來(lái)越美好。

[1] 樊雪琴，2015，從多模態(tài)分析視角研究動(dòng)態(tài)語(yǔ)篇[D]，山東師范大學(xué)。

[2] 馮德正，2010，數(shù)字技術(shù)與多模態(tài)語(yǔ)篇[J]，《北京科技大學(xué)學(xué)報(bào)(社科版)》(4) : 12-17。

[3] 趙立書，2014，中英公益廣告互動(dòng)意義多模態(tài)對(duì)比分析[D]，東北師范大學(xué)。

[4] 朱永生，2007，多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J]，《外語(yǔ)刊》(5):82-86。

保明東(1992-)，男，云南曲靖人，云南民族大學(xué)英語(yǔ)語(yǔ)言文學(xué)專業(yè)研究生，研究方向?yàn)槊绹?guó)華裔文學(xué)。馬瑜(1966-)，女，哈尼族，云南宣威人，云南民族大學(xué)外語(yǔ)學(xué)院教授，文學(xué)碩士，主要從事英語(yǔ)教學(xué)、英美文學(xué)和女性問(wèn)題研究。盧剛(1990-)，男，安徽宣城人，云南民族大學(xué)英語(yǔ)口譯專業(yè)研究生，研究方向?yàn)榭谧g與跨文化交際。

HO

A

1672-5832(2016)06-0291-02