我國多模態(tài)話語研究綜述

張莉 孫來麟

摘要：隨著現(xiàn)代信息技術的飛速發(fā)展，信息的傳遞方式由單一文本形式轉化為多模態(tài)形式。我國多模態(tài)話語研究主要為理論探索、圖文關系、多媒體語篇、教學應用及多模態(tài)語料庫等領域。文章分析了我國多模態(tài)話語研究現(xiàn)狀及存在的問題，以期對今后的研究有所啟示。

關鍵詞：多模態(tài);話語研究;綜述

中圖分類號：G642.0 ? ? 文獻標志碼：A ? ? 文章編號：1674-9324（2015）45-0225-03

一、引言

自1952年美國語言學家Z.Harris提出話語分析（Discourse Analysis）理論以來，國內外學者立足于不同的角度提出了各種各樣的話語分析理論和方法，并通過大量的案例研究，揭示了話語活動的內在規(guī)律與認知行為的內在關聯(lián)（朱永生2003）。以往的話語分析研究主要聚焦話語篇章結構、語法規(guī)律、語句之間的關系，忽略了諸如圖像、聲音、色彩、動畫、空間、符號等的表現(xiàn)形式。然而，隨著信息技術的發(fā)展及多元文化的相互滲透，傳統(tǒng)的話語研究已經不能滿足人們的交際需要，多模態(tài)話語研究應用而生。國際語言學界于20世紀90年代興起了多模態(tài)話語研究熱潮，而我國相關研究起步較晚，最早由李戰(zhàn)子（2003）將多模態(tài)話語分析引入國內。本文將對國內學者近年來公開發(fā)表的多模態(tài)話語方面的論文、論著進行梳理，總結所取得的研究成果并指出存在的不足，以期對以后的研究有所啟示。

二、多模態(tài)話語分析的理論基礎

Kress &Van Leeuwen（1996）指出多模態(tài)可以定義為參與交際的所有渠道和媒介，除了傳統(tǒng)的語言符號，它還包括圖像、顏色、音樂、技術等符號系統(tǒng)。多模態(tài)話語分析是建立在韓禮德的系統(tǒng)功能語言學理論基礎之上的。根據系統(tǒng)功能語言學理論，語言具有三種元功能，即概念功能、人際功能、語篇功能。概念功能指的是語言能表達說話者的親身經歷和內心活動，人際功能指的是建立和保持社會關系，語篇功能指的是將前兩種功能組成語篇的功能。而就多模態(tài)話語而言，其他語言符號也具有上述三種功能。系統(tǒng)功能語言學認為，語言是一種社會符號和意義潛勢，語言以外的其他符號，諸如圖像、聲音、色彩、空間等也是意義的源泉。（胡壯麟2007）

三、國內多模態(tài)話語研究成果綜述

我國多模態(tài)話語的研究始于2003年李戰(zhàn)子首次引入多模態(tài)話語理論，提出多模態(tài)話語分析對于教學有重要意義。隨后胡壯麟、朱永生、顧曰國、韋琴紅等專家對于多模態(tài)話語進行了深入的研究，但其研究尚處于初級階段。近年來，國內興起了多模態(tài)話語研究熱潮。

1.調查數據。到目前為止，在“中國知網數據總庫”中，以“多模態(tài)話語”為主題詞，搜索到的這方面的論文共達900篇，既涉及有理論的探索，也有對理論的應用研究。通過對數據的分析發(fā)現(xiàn)，近幾年，對多模態(tài)研究的論文呈逐漸上升趨勢。

2.理論研究。李戰(zhàn)子（2003）《多模式話語的社會符號學分析》介紹了Kress& Leeuwen所構架的視覺語法和圖像分析方法，研究了圖像分析的社會學框架，提供了一套明確的分析方法，分析由圖像中描寫的人物、地點和事件之間的句法關系所建立起來的意義，開創(chuàng)了我國多模態(tài)話語分析理論研究的先河。此后，胡壯麟（2007）認為符號學有廣闊的目標，視覺、聽覺、嗅覺、味覺、觸覺，以至抽象的模型、結構、主體意識都應納入其研究范圍;朱永生（2007）就多模態(tài)話語分析的理論基礎及研究方法進行了探討;張德祿（2009）探討了多模態(tài)研究的理論框架，同時還探討了各個模態(tài)之間的相互關系，另外對非語言模態(tài)的語法結構的建立、語法結構與語篇結構之間的關系及語法結構是如何實現(xiàn)其功能意義也有了深入的研究;韋琴紅（2009）研究了多模態(tài)話語中的模態(tài)、媒介與情態(tài)的區(qū)別。這些研究從不同角度豐富了多模態(tài)話語分析的理論思考，對國內多模態(tài)語言的研究起了積極的推動作用和宏觀指導的作用。

3.應用研究。盡管我國引進多模態(tài)話語分析理論只有十多年時間，但是研究者對多模態(tài)話語分析的研究價值給予了充分重視。李戰(zhàn)子（2012）分析認為，目前國內的多模態(tài)話語研究主要是應用型研究，最為常見的是將“視覺語法”應用于特定語類、語篇的分析，以揭示多模態(tài)與片中意義的構建方式。在此領域內，以系統(tǒng)功能語言學理論基礎的實踐研究仍占主導地位。數據統(tǒng)計發(fā)現(xiàn)，多模態(tài)話語分析的應用已涉及了圖文關系、多媒體語篇、教材、教學及多模態(tài)語料庫等方面。①二維平面的圖文關系多模態(tài)研究。由于圖像符號和文字符號本身的差異以及相互所承載的社會文化差異，圖文關系需要將“語類”分析和“圖類”分析相互合理的結合，才能得到較客觀的描寫、分析和評價。圖像和文本如何相互結合構造意義一直也是多模態(tài)話語研究的重點。趙寶福（2008）用多模態(tài)話語理論探討了奧斯卡最佳影片獎《老無所依》的電影海報;汪燕華（2010）研究了多模態(tài)話語中的圖文關系;王改弟、楊立學（2013）在多模態(tài)話語分析的視域下，從文化、意義和模態(tài)三個層面對英語詩歌進行了分析研究;孫毅（2012）從圖像、顏色和版式設計等方面分析了2011年西安世博會會徽，認為其他各種符號資源與語言一樣具有意義構建功能。②多媒體語篇的話語分析研究。多媒體語篇對于語言學研究來說是一種新的語篇形式，其文本的主要內容是通過圖像、文字、視頻流、數字音頻流等表現(xiàn)方式來接受和傳遞信息。其分析首先是對多媒體語篇的轉錄，這種轉錄的方法與純粹語音的轉錄相比，有其特有的方式;其次是系統(tǒng)功能語法的理論框架的實際運用與測試;最后，依據多媒體語篇的自身特點，使視頻與音頻的聯(lián)系更加緊密，從而加深多媒體語篇與整個社會知識的聯(lián)系，以便提出更廣闊的分析思路。胡壯麟、董佳（2007）以23個PPT演示作品為例，開展了與多模態(tài)化相結合的計算機介入的語篇分析，認為PPT既是工具，又是語篇，對PPT演示的研究可推動社會符號學的研究;范洪濤（2011）就中央電視臺少兒頻道一則少兒公益廣告，分別從再現(xiàn)意義、互動意義及構圖意義三個方面對多模態(tài)話語進行了研究;冀芳（2013）以多模態(tài)話語理論為基礎，分別從文化語境、內容層面和表達層面對微電影進行了探討。③多模態(tài)教材的研究。多模態(tài)教材是指由多種模態(tài)共同組成的教材，這些模態(tài)主要包括文字、圖畫、錄像、錄音、表格等同時或者按照一定順序關系出現(xiàn)。其中，文字是起主導作用，但不再是一種模態(tài)占據主導地位的局面，而是多種模態(tài)相互競爭相互配合的局面。其特征主要表現(xiàn)為圖、文、聲、像融為一體，同時多維度刺激學習者的感官，創(chuàng)造真實而豐富的教學環(huán)境，為學習者提供所需要的各種信息，根據學習者的不同特點來選擇適當的教學內容與教學方法，從而保證學習者達到預期的學習目標。在多媒體教材方面，特別是英語教材方面已有如下研究成果。陳瑜敏（2008）主要從語域角度對不同時期多模態(tài)教科書語篇展開分析，認為教科書圖文關系在不同時期具有明顯的差異;張德祿、張德祿、張淑杰（2010）提出了多模態(tài)外語教材總的特點和類型，即紙質、電子和演示教材，初步探討了多模態(tài)外語教材的編寫宏觀原則和具體原則。④多模態(tài)教學的研究。多模態(tài)教學的目的是希望教師能根據教學內容、教學設施、教學目標等基本理念為學生選擇一種或多種符合學生發(fā)展狀況教學方法，并將其合理運用在語言環(huán)境中。在多模態(tài)課堂外語教學中，教師運用多媒體手段進行聽覺、視覺、觸覺等多感官的刺激，以此來創(chuàng)設真實的情境，使學習者體驗真實的英語語言環(huán)境，進而提高學生輸出運用詞匯的能力。胡雯（2011）探討了多模態(tài)話語分析在英語教學中的應用;應建芬（2011）研究證實了多模態(tài)話語分析對英語詞匯教學具有積極的指導作用;魏笑梅（2012）對多模態(tài)話語理論視角下英語教學資源建設進行了探討;劉娟（2012）對大學英語精讀的多模態(tài)教學模式進行了試驗研究，發(fā)現(xiàn)此種教學模式體現(xiàn)了以學生為中心的教學理念，有利于培養(yǎng)學生的自主學習能力，養(yǎng)成良好的學習習慣，有利于提高教學質量;劉秀麗、張德祿（2013）就外語教師多模態(tài)話語與學生積極性的關系進行了研究，文章運用動機理論、注意層次理論和多模態(tài)話語分析理論，以教師的人格魅力和理念為基礎，建立了一個運用適當的多模態(tài)話語來激發(fā)學生的學習動力的理論模式。⑤多模態(tài)語料庫的研究。多模態(tài)話語分析研究離不開真實的語料庫的支持，近年來，一些學者也展開了對多模態(tài)語料庫的研究。顧曰國（2007）介紹了多模態(tài)語料庫語言學方法;王立非、文艷（2008）介紹了多模態(tài)分析軟件ELAN及其主要功能;張德祿（2012）對多模態(tài)話語的設計進行了研究;劉芹、潘鳴威（2010），從語音、詞匯、句法、篇章、非言語交際等多個維度構建了中國理工大學生英語口語多模態(tài)語料庫，認為此類語料庫的建立對于理工科英語口語教學、口語教材的編寫等能起到重要的作用;付磊（2010）把多模態(tài)理論引入到計算機輔助教學的軟件評估中，認為開展CAI軟件評估工作可促進外語教學多媒體軟件的設計和制作，從而有效提高外語教學。

四、研究存在的不足

通過對國內近十年的研究成果分析可以發(fā)現(xiàn)，多模態(tài)話語研究在理論探索及實踐應用方面均取得了可喜的成績。但作為一個全新的研究領域，多模態(tài)話語研究在國內發(fā)展時間不長，目前還存在一些不足之處，需要進行更加全面的探討和深入研究。

1.以理論研究為主，實證研究偏少。通過分析發(fā)現(xiàn)，雖然目前國內對多模態(tài)的研究呈上升趨勢，但主要是介紹國外的相關理論和研究方法，或以多模態(tài)理論對相關語篇等進行分析，主觀性較強，缺乏對多模態(tài)語法關系進行科學的調查取證與量化分析，實證研究有待加強。

2.靜態(tài)文本研究偏多，動態(tài)研究較少。目前國內多以多模態(tài)理論為基礎，對靜態(tài)的二維平面圖文關系進行分析，例如影視作品海報、漫畫、英語詩歌等，而動態(tài)語境中的多模態(tài)話語分析研究較少，比如，PPT研究、多模態(tài)語境下的外語教學、影視作品研究等。此方面的研究有待加強。

3.各種模態(tài)之間的關系有待研究。張德祿（2009）認為多模態(tài)話語的各個模態(tài)之間是相互作用和影響的，目前，對于各個模態(tài)之間的關系卻難以界定，需要有更科學的研究方法來驗證。

五、結語

經過國內學者十多年的努力，目前多模態(tài)話語理論在中國的研究已進入蓬勃發(fā)展時期，取得了可喜的成績。多模態(tài)話語作為一門新興的學科，理論研究需要創(chuàng)新，實踐研究還需要量化。我們相信，未來多模態(tài)話語研究方向越來越廣闊，前景越來越美好。

參考文獻：

[1]胡壯麟.社會符號學研究中的多模態(tài)化[J].語言教學與研究，2007.（01）：1-10.

[2]朱永生.多模態(tài)話語分析的理論基礎與研究方法[J].外語學刊，2007，（05）：82-86.

[3]Kress G R，Van Leeuween T.Reading Image[M]. London： Rouledge，1996：183.

[4]朱永生.話語分析五十年：回顧與展望[J].外國語（上海外國語大學學報），2003，（03）：43-50.

[5]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009，（01）：24-30.

[6]韋琴紅.論多模態(tài)話語中的模態(tài)、媒介與情態(tài)[J].外語教學，2009，（04）：54-57.

[7]孫毅.多模態(tài)話語意義建構——以2011西安世界園藝博覽會會徽為基點[J].外語與外語教學，2012，（01）：44-47.

[8]張德祿.論多模態(tài)話語設計[J].山東外語教學，2012，（01）：9-15.

[9]劉娟.大學英語精讀之多模態(tài)話語教學[J].長春理工大學學報（社會科學版），2012，（04）：184-187.

[10]李戰(zhàn)子，陸丹云.多模態(tài)符號學：理論基礎，研究途徑與發(fā)展前景[J].外語研究，2012，（02）：1-8.

[11]魏笑梅.多模態(tài)話語理論視角下英語教學資源建設[J].黑龍江教育（高教研究與評估），2012，（06）：20-21.

[12]王立非，文艷.應用語言學研究的多模態(tài)分析方法[J].外語電化教學，2008，（03）：8-12.

[13]趙寶福.多模態(tài)話語分析奧斯卡最佳影片獎《老無所依》的電影海報[J].科教文匯（下旬刊），2008，（05）：167.

[14]陳瑜敏，王紅陽.多模態(tài)語篇圖像的概念意義與圖文關系——當代教科書的多模態(tài)語篇分析[J].寧波大學學報（教育科學版），2008，（01）：124-129.

[15]汪燕華.多模態(tài)語篇分析的社會符號學理據[J].外語學刊，2010，06：145-147.

[17]付磊.基于“多模態(tài)理論”的《新視野大學英語視聽說》CAI軟件評價[J].山東廣播電視大學學報，2010，（04）：37-38.

[16]張德祿，張淑杰.多模態(tài)性外語教材編寫原則探索[J].外語界，2010，（05）：26-33.

[17]劉芹，潘鳴威.多模態(tài)環(huán)境下中國大學生英語口語非言語交際能力研究初探[J].外語電化教學，2010，（02）：38-43.

[18]王改娣，楊立學.英語詩歌之多模態(tài)話語分析研究[J].山東外語教學，2013，（02）：26-31.

[19]冀芳.多模態(tài)話語分析下的微電影研究[J].電影文學，2013，（11）：34-35.

[20]劉秀麗，張德祿，張宜波.外語教師多模態(tài)話語與學生學習積極性的關系研究[J].外語電化教學，2013，（03）：3-9.

[21]王夢婉.漫畫多模態(tài)話語的再現(xiàn)功能分析——以一幅《PHD漫畫》為例[J].北京科技大學學報（社會科學版），2014，（05）：28-33.

[22]胡壯麟，董佳.意義的多模態(tài)構建——對一次PPT演示競賽的語篇分析[J].外語電化教學，2006，（03）：3-12.

[23][26]范洪濤.多模態(tài)話語的社會符號學解析——以一則公益廣告為例[J].蘭州教育學院學報，2011，（02）：31-33.

[24]胡雯.多模態(tài)話語分析在英語教學中的應用[J].山東理工大學學報（社會科學版），2011，（03）：104-108.

[25]應建芬.多模態(tài)話語分析與大學英語詞匯教學[J].牡丹江大學學報，2011，（06）：136-138.

[26]侯建波.房地產廣告的多模態(tài)人際意義研究[J].中國外語，2014，（04）：48-53.

[27]顧曰國.論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學方法[J].當代修辭學，2013，（06）：1-19.