左紅霞

(河南牧業(yè)經(jīng)濟學(xué)院外語系，河南鄭州450044)

多模態(tài)教學(xué)法始于20世紀(jì)90年代，它的理論基礎(chǔ)是多模態(tài)話語分析理論。近年來，多媒體網(wǎng)絡(luò)技術(shù)迅猛發(fā)展為高校外語多模態(tài)教學(xué)模式的應(yīng)用搭建了技術(shù)平臺，其理念在現(xiàn)代信息技術(shù)高度發(fā)達的背景下得到廣泛應(yīng)用。國內(nèi)學(xué)者大都把它應(yīng)用到各種語篇話語分析中，也有一些學(xué)者開始把該理論引入“教”和“學(xué)”的研究之中。

一、多模態(tài)話語分析研究現(xiàn)狀

多模態(tài)話語分析的研究最早可追溯至1952年由美國語言學(xué)家Harris提出的話語分析理論。隨后，國外學(xué)者紛紛撰稿發(fā)文從不同理論視角對多模態(tài)話語進行了研究。其中Halliday的社會符號學(xué)，當(dāng)屬最具代表性的理論視角之一，他將語言的社會符號特性擴展到圖像、動作等方面，對多種模態(tài)的交際手段展開系列研究。Kress＆Leeuwen以韓禮德的功能語法和其比照系統(tǒng)功能語法的純理功能理論為基礎(chǔ)，從社會符號學(xué)角度建立了對圖像進行多模態(tài)語篇分析的理論框架，主要分析了圖像、聲音和顏色等在語篇中的作用;Iverson從歷時研究的角度，探究人類多模態(tài)交際的發(fā)展軌跡;Martin＆Stenglin則探討了空間設(shè)計等。

國內(nèi)研究中最早將這一理論的分析框架引介中國的南京國際關(guān)系學(xué)院的李戰(zhàn)子教授，于2003年發(fā)表了題為《多模式話語的社會符號學(xué)分析》的論文，她不僅向中國學(xué)者介紹了基于系統(tǒng)功能語言學(xué)的多模態(tài)話語分析框架，而且探討了多模態(tài)話語分析的教學(xué)意義。2007年復(fù)旦大學(xué)朱永生教授發(fā)表的《多模態(tài)話語分析的理論基礎(chǔ)和分析方法》論文，從系統(tǒng)功能語言學(xué)角度開展多模態(tài)話語研究并提供了理論基礎(chǔ)和分析方法［1］。此后，國內(nèi)多模態(tài)話語的研究逐漸增多，如韋琴紅、辛志英、張德祿、郭萬群、等，他們先后對多模態(tài)語篇分析理論、方法和應(yīng)用等方面開展了研究，主要從語言符號系統(tǒng)的各個層面對話語進行分析研究，且多集中于對多模態(tài)話語的意義構(gòu)建、模態(tài)之間的互補協(xié)同等問題的研究［2］［3］。國內(nèi)第一部題為《視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究》的多模態(tài)話語研究方面的專著于2009年6月出版［4］，多模態(tài)語篇分析已成為一個引人矚目的研究領(lǐng)域。

伴隨多模態(tài)話語分析研究的不斷深入，有學(xué)者梳理話語研究成果發(fā)現(xiàn)“迄今為止的話語分析基本上局限于語言本身，即只注意語言系統(tǒng)和語義結(jié)構(gòu)本身及其與社會文化和心理認(rèn)知之間的關(guān)系，忽視了諸如圖象、聲音、顏色、動漫等其他意義表現(xiàn)形式”［1］。那些傳統(tǒng)意義上一直被人們視為處于輔助位置的副語言符號，諸如圖像、顏色和動作等，在現(xiàn)代社會交流中已完全改變其角色，與語言符號一起共同參與意義構(gòu)建，以往那種單純語言的單模態(tài)語篇表達方式已經(jīng)被多模態(tài)的符號系統(tǒng)所代替。因此，以單一語言文字符號為中心，幫助學(xué)習(xí)者掌握讀寫技能等語言基本技能的識讀認(rèn)知能力(literacy)，也無法滿足人們對信息攝入的需要，單純從語言的角度研究話語分析的思路也存在一定的局限性，已經(jīng)不能引領(lǐng)話語研究向縱深方向做更進一步全面深入的探究，這些不僅催生新媒體、新視角、新思路的不斷產(chǎn)生，而且引導(dǎo)人們開始關(guān)注話語研究的新視角，即多模態(tài)話語(multimodal discourse)。

二、多模態(tài)話語分析相關(guān)概念的意涵解讀

在多模態(tài)話語分析中，經(jīng)常涉及模式(mode)、媒介(medium)與模態(tài)(modality)三個詞語，他們彼此之間意義上有一定的聯(lián)系，但界限并不十分明確，且易造成混淆和誤解。

(一)模式

模式即系統(tǒng)功能語言學(xué)所指的話語模式(mode of discourse)，意指交流渠道(channel of communication)，通常包括口頭模式(spoken mode)、書面模式(written mode)、電子模式(electronic mode)等。模式的選用和變化會對信息的流動(information flow)產(chǎn)生一定程度的影響，最終影響語篇具備的特征亦即語篇特性(texture)。

(二)媒介

媒介亦即交際媒體，指人們交際中直接接觸和使用的工具，諸如教師實施教學(xué)過程使用的黑板、計算機、電視機、擴音器、投影儀、錄音機、錄像機等，是符號分布印跡的物質(zhì)手段。如語篇生成采用的印刷或書寫的手段，說話時發(fā)出的聲音，肢體動作或計算機顯示器上的光脈沖等都是媒體。當(dāng)今信息化社會，媒體具有多元化特征，大量新聞、信息除了通過傳統(tǒng)的報刊、雜志等書面媒體發(fā)布，還通過網(wǎng)絡(luò)、移動設(shè)備等多種模態(tài)形式的新媒體傳播外，以往那種單純語言的單模態(tài)語篇表達方式已經(jīng)被多模態(tài)的符號系統(tǒng)所代替，也孕育了新媒體、新視角、新模態(tài)的不斷產(chǎn)生。

(三)模態(tài)

所謂模態(tài)實際上是一種感知模式。從生命科學(xué)研究角度看，生命體在歷經(jīng)世代殘酷的物競天擇演化過程中逐漸獲得視覺、聽覺、嗅覺、味覺、觸覺等五種不同的感知渠道(sensory channel)。這些感知渠道相互作用，對周圍的一切刺激做出迅速而有效的反應(yīng)，并由此產(chǎn)生5種交際模態(tài)，即視覺模態(tài)(visual modality)、聽覺模態(tài)(auditive modality)、觸覺模態(tài)(tactile modality)、嗅覺模態(tài)(olfactory modality)和味覺模態(tài)(gustatory modality)，其中與話語分析關(guān)系最為密切的是視覺模態(tài)和聽覺模態(tài)。由于科學(xué)技術(shù)的發(fā)展，人們憑借一種名為數(shù)據(jù)手套(dataglove)的方法，傳遞手指彎曲的不同角度，可以打出各種各樣的三維手勢，這種語言和手勢的結(jié)合，使人機對話的效果更接近自然的人際對話，便是觸覺模態(tài)應(yīng)用的典型范例。因此，模態(tài)是指人類生命體運用視覺、聽覺、觸覺、味覺、嗅覺等多種感知渠道，借助語言、圖像、聲音、肢體動作等多種手段和符號資源，與外部環(huán)境中諸如人、動物、機器、物件等之間進行交際的現(xiàn)象或互動方式。僅用單個感官進行互動的方式稱為單模態(tài)，借助兩個感官互動的方式視為雙模態(tài)，涉及三個或更多個感官進行互動的情況就稱其為多模態(tài)，常態(tài)下這種互動都是多模態(tài)的。

三、多模態(tài)在英語“教”和“學(xué)”中的優(yōu)勢

人類進行信息交流的方式具有多樣性，即口頭的、書面的，也有語言的、非語言的。在英語課堂教學(xué)的口頭交際中，交際者除了使用語言，還會運用語調(diào)、語速及眼神、手勢、面部表情等肢體語言來傳意。英語課堂教學(xué)中書面方式傳意則除了文字，還有圖表、圖像、顏色、版式等，因此，人與人之間的交際不僅僅是用一種模式進行的，而是運用視覺、聽覺、觸覺等多種感覺器官，同時借助語言、圖像、聲音、動作等多種手段和符號資源進行的，是多模態(tài)的互動方式且模態(tài)之間還會在一定程度上對信息起到修正、補充、強化等作用。

(一)多模態(tài)在英語課堂教學(xué)中的優(yōu)勢

語言課堂教學(xué)實際上就是老師與學(xué)生、學(xué)生與學(xué)生之間的一種交流形式。從模態(tài)的視角考察，傳統(tǒng)的課堂教學(xué)主要涉及視覺和聽覺兩種模態(tài)。有些教師為了強化教學(xué)效果，還會借助一些肢體語言或其他符號資源來實施課堂教學(xué)。但就整體而言，傳統(tǒng)的課堂教學(xué)模態(tài)單一，趣味性差，作用于學(xué)生感官的刺激較小，教學(xué)效果不夠理想。在高度信息化的今天，這種單一模態(tài)的教學(xué)勢必會讓位于以現(xiàn)代信息技術(shù)高度發(fā)達為背景的多模態(tài)教學(xué)。

“多模態(tài)教學(xué)”則指運用視覺、聽覺、觸覺等多種感知，通過圖像、聲音、動作、語言等多種手段的輔助實施交際能力培養(yǎng)的教學(xué)模式?，F(xiàn)代英語課堂的多模態(tài)化表現(xiàn)為同時使用兩種或兩種以上的模態(tài)或符號系統(tǒng)。它以基于網(wǎng)絡(luò)平臺的多媒體技術(shù)輔助語言教學(xué)的普及為基礎(chǔ)，以其獨特的優(yōu)勢和效果廣泛地運用到外語教學(xué)的聽、說、讀、寫、譯等各個方面［5］。在超文本的時代，媒體是模態(tài)的物質(zhì)基礎(chǔ)，充分發(fā)揮多模態(tài)的協(xié)同作用，借用網(wǎng)絡(luò)平臺幫助人們進行廣泛的信息交流活動。為達到最佳教學(xué)效果，搭建多媒體為主體的教學(xué)平臺便成為首選的現(xiàn)代教育技術(shù)手段，多媒體技術(shù)輔助下的多模態(tài)外語教學(xué)也自然成為外語教學(xué)的必然趨勢。該教學(xué)模式集視、聽、圖、文、動畫于一體，可以呈遞圖、文、聲、像并茂的教學(xué)資源，同時或交替對學(xué)生的聽覺、視覺產(chǎn)生刺激，吸引其注意力，激發(fā)其學(xué)習(xí)興趣，有助于培養(yǎng)學(xué)生的觀察能力、思維能力和自主學(xué)習(xí)能力，提高學(xué)生學(xué)習(xí)的效率，日漸凸顯出獨特的教學(xué)優(yōu)勢，為英語課堂教學(xué)帶來了全新的教學(xué)理念、教學(xué)方式及教學(xué)效果。隨著對多模態(tài)話語理論研究的深入，越來越多的語言教學(xué)工作者意識到單一模態(tài)的課堂教學(xué)已無法滿足外語人才培養(yǎng)的需要，而多模態(tài)的外語課堂教學(xué)模式在提高教學(xué)效果、學(xué)生運用知識的能力、自學(xué)能力及進行個性化教學(xué)等諸多方面更具優(yōu)勢。

(二)多模態(tài)在課下英語自學(xué)中的優(yōu)勢

認(rèn)知學(xué)習(xí)理論認(rèn)為，人的認(rèn)識是外界刺激與人的內(nèi)部心理過程相互作用產(chǎn)生的。作為知識接受者的學(xué)生必須發(fā)揮自身的主動性、積極性，才能獲得有效的認(rèn)知。因此學(xué)生自身的學(xué)習(xí)動力和參與程度是成功學(xué)習(xí)的關(guān)鍵。

在課下進行的英語自學(xué)中，學(xué)生在領(lǐng)會多模態(tài)理念的基礎(chǔ)上，在多媒體技術(shù)的輔助下，以集視、聽、圖、文、動畫于一體的教學(xué)資源及各種手段為已所用，已達到事半功倍的學(xué)習(xí)效果。學(xué)生可利用教師的多模態(tài)文本所輸出的信息，通過再次的觀看、回憶、討論、各種感官模態(tài)訓(xùn)練語言表達能力和思維能力等方法進行知識的鞏固。另外，學(xué)生可通過網(wǎng)絡(luò)教學(xué)平臺適當(dāng)搜集整理一些學(xué)習(xí)資源或根據(jù)自身實際水平選擇適當(dāng)?shù)牡燃壓蛯W(xué)習(xí)內(nèi)容，與所學(xué)的課堂知識相輔相成，以提高英語的學(xué)習(xí)效果?；诙嗝襟w資源的多模態(tài)輸入初衷，英語學(xué)習(xí)者也應(yīng)從被動參與者，轉(zhuǎn)換為主動參與者。最終，學(xué)生要綜合運用多模態(tài)認(rèn)知能力，內(nèi)化英語運用能力，轉(zhuǎn)化為外顯行為，如參加英語角，英語小品大賽，英語歌曲大賽、英語辯論賽等各種課外活動，相互交流，以求鍛煉和提高。

四、結(jié)語

目前，多模態(tài)技術(shù)輔助在英語的“教”和“學(xué)”兩個方面已逐漸展示出了它的優(yōu)勢。這種新的“教”和“學(xué)”的模式以現(xiàn)代技術(shù)為支撐，將教師的課堂教學(xué)和學(xué)生課下的自我學(xué)習(xí)中的抽象的內(nèi)容具體化，深奧的內(nèi)容淺顯化，枯燥的內(nèi)容趣味化，提高了教學(xué)和學(xué)習(xí)的效率。多模態(tài)協(xié)同作用下的英語“教”和“學(xué)”的優(yōu)勢在培養(yǎng)應(yīng)用型人才方面呈現(xiàn)了廣闊的前景。

［1］朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］.外語學(xué)刊，2007，(5).

［2］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009，(1).

［3］張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)［J］.外語學(xué)刊，2010，(2).

［4］韋琴紅.視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究［M］.北京:科學(xué)出版社，2009.

［5］梁玉.多模態(tài)話語對外語課堂教學(xué)的啟示［J］.中國科技教育·理論版，2012，(6).