大學英語教學的多模態(tài)性及其作用

曾慶敏

(重慶交通大學外國語學院，重慶400074)

大學英語教學的多模態(tài)性及其作用

曾慶敏

(重慶交通大學外國語學院，重慶400074)

人類的話語世界呈現(xiàn)出數(shù)字化和多模態(tài)化的特點。傳統(tǒng)的以關注語言文字為主的單模態(tài)教學模式已不能滿足人際交流方式和意義表達方式的需求。因此，培養(yǎng)學生多模態(tài)交際能力、多元識讀能力，并借助多模態(tài)教學理論及研究成果，構建多模態(tài)化的教學模式是時代的需求，是語言教學發(fā)展的必然趨勢。為此，強調(diào)多模態(tài)話語對教學的促進作用，并科學地將多模態(tài)恰當結合運用于教學中。

模態(tài); 多模態(tài)話語; 教學模式; 多元讀寫能力

一、引言

隨著現(xiàn)代科技特別是多媒體技術的飛速發(fā)展，人類交際活動中的多模態(tài)現(xiàn)象越來越突出，人類的話語世界也呈現(xiàn)出數(shù)字化和多模態(tài)化的特點［1］(P49)?！罢Z言使用，不管是口語還是書面語，總是不可避免地由多種交際模式組成?！保?］。Kress和van Leeuwen認為所有的話語都是多模態(tài)的［3］(P186)，意義總是通過在交際過程中共現(xiàn)的多種模式和媒介構建的［4］(P111)。多元文化的相互滲透和交際的多模態(tài)化使交流、傳播、經(jīng)濟等領域正發(fā)生著一場革命:書面文字在公共交流領域的統(tǒng)治地位正讓位于以圖像為載體，或文字與圖像并存的媒介。一種全新的多模態(tài)表達形式已經(jīng)深入到人們生活的方方面面［5］(P182)。

多模態(tài)話語的發(fā)展對教學、對學生交際能力的培養(yǎng)也提出了新的要求，培養(yǎng)學生對不同模態(tài)話語的讀寫能力和交際能力是語言教學的根本目標。胡壯麟認為“傳統(tǒng)以讀寫為主的識讀能力在多媒體時代已不夠用”［6］(P7)，在當今全球趨于一體化、多元化、技術化的今天，對學生不僅要進行讀寫能力的培養(yǎng)，更重要的是要進行多元識讀能力的培養(yǎng)。數(shù)字化信息時代的到來以及多媒體技術的廣泛運用，使得圖像、聲音、文字、視頻、色彩等多種模態(tài)充斥著人類的交際活動。因此，傳統(tǒng)的以關注語言文字為主的單模態(tài)教學模式已不能滿足人際交流方式和意義表達方式的需求，我們應清楚地認識到:培養(yǎng)學生多模態(tài)交際能力、多元識讀能力，并借助多模態(tài)教學理論及研究成果構建多模態(tài)化的教學模式是時代的需求，是語言教學發(fā)展的必然趨勢。

二、理論基礎

多模態(tài)話語分析的理論興起于20世紀90年代，西方學者以Halliday的系統(tǒng)功能語言學為理論基礎，將圖像、聲音、動作等作為語言社會符號性的研究重心［7～10］。研究表明，系統(tǒng)功能模式不僅可以用于對自然語言的分析，同時也為研究其他符號形式提供了可行的分析框架［11］(P159)。圖像、聲音、動作作為社會符號，通過有意義的整合來構建、描述和表達人、物體、空間、環(huán)境等之間的關系。語言和視覺現(xiàn)象均需依靠具體的、相互聯(lián)系的符號系統(tǒng)，并在相應的符號系統(tǒng)中做出恰當?shù)倪x擇，然后通過不同的形式組成具有意義的話語［8］(P1)。因此，我們應關注交際活動中多模態(tài)話語的整體意義，而不是將其構成要素割裂開來，進行孤立的討論研究。

Kress探討了教學中多模態(tài)信息傳遞的三個理論基礎［5］。首先，物質(zhì)的媒體經(jīng)過社會長時間的塑造，成為意義產(chǎn)生的資源，可表達不同社團所要求的意義，這就成了模態(tài)。所有模態(tài)具有表達意義的潛勢。其次，作為言語的語言模態(tài)和作為書面語的語言模態(tài)以及其他模態(tài)，往往是交織在一起的，在信息傳遞語境下同時存在、同時操作。這種互動本身就產(chǎn)生意義。最后，使用者經(jīng)常對表達和信息傳遞的模態(tài)加以改變，以適應社會的信息傳遞需要，這樣，已有的模態(tài)被改造，新模態(tài)被創(chuàng)造。多媒體技術可以快速高效傳遞多模態(tài)信息，所有意義的構建產(chǎn)生于語言、姿勢、眼神等各種符號系統(tǒng)之間，并越來越依賴各種符號資源的整合。

三、模態(tài)之間的關系

多模態(tài)話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象［12］(P98)。聽覺模態(tài)符號是大學英語課堂中最重要的模態(tài)符號之一，它決定著學習者語言輸入的量和質(zhì)，包括口語語言符號、音樂符號和其他聲音符號如噪音、音效。視覺模態(tài)符號包括書面語、圖像、肢體語言符號。除此之外，嗅覺、觸覺和味覺模態(tài)常出現(xiàn)在特定的情景中，使用頻率較低。如在學習“spaghetti”一詞時，可以讓學習者通過嗅覺、味覺感官來感知，獲得認知信息。我們生活在一個多模態(tài)的社會，話語的多模態(tài)性已成為當今人們交際中使用的各種語篇的一個重要特征。這些不同的模態(tài)在意義再現(xiàn)層面上起著同樣重要的作用，各模態(tài)之間相互補充，強化、調(diào)節(jié)和協(xié)同作用，從而盡量全面地表達意義。

第一，同一意義可以借助于不同的符號形式進行表述，即不同的符號形式可以表達同一種意義。比較(顧曰國，2007:4):

(1)(2)(3)分別代表了三種信息呈現(xiàn)方式。又如，同一數(shù)據(jù)信息我們可以采用表格，餅圖、柱狀圖等不同符號形式來表達。但是，不同的信息呈現(xiàn)方式對于信息的獲取和處理會產(chǎn)生很大的影響。

第二，意義的構建和識讀是多模態(tài)的，對于不同類型的信息應調(diào)用不同的模態(tài)。如語篇信息可通過視、聽、觸覺模態(tài)來進行全面的聽說讀寫譯認知;非語篇信息主要通過視、聽、觸覺模態(tài)來解構，并通過觸覺，以說和寫的方式來構建語篇信息。知識類、文化類信息主要通過視、聽模態(tài)輸入，學生可以通過視、聽模態(tài)直觀感受音頻、視頻內(nèi)容，快速高效解構輸入內(nèi)容;通過視覺跟視頻進行互動的直觀、體驗性學習，是技能類學習的主要學習方式。課前通過視覺模態(tài)進行教材文字識讀，認知語篇信息，在課堂學習中通過視、聽、觸覺模態(tài)訓練語言表達能力和思維能力，從而加快信息的內(nèi)化過程和輸出過程。

第三，當一種模態(tài)的話語不能充分表達說話者的意義或者無法表達其全部意義，需借助其它模態(tài)來補充，這時模態(tài)之間是一種互補關系。Royce在探討一篇有關金融報道的語言與視覺模態(tài)的關系時認為，“在一個語篇內(nèi)，語言和視覺模態(tài)在投射意義上相互補充，并且這種符號系統(tǒng)間的互補是由這些模態(tài)特有的各種各樣的語言和視覺手段來實現(xiàn)的”［14］(P23)。在互補關系中，通常一種模態(tài)為主要或基本模態(tài)，另一種起強化或補缺作用。例如，教師在通過語言傳遞意義的同時，可以調(diào)用動作、姿勢、表情、眼神等視覺符號輔助強化其意義的傳達。在中國學生視聽一段英文視頻時，聽覺模態(tài)是主模態(tài)，而視頻中的人物、動作、環(huán)境等視覺符號所傳遞的部分信息是語言信息所缺失的，兩種模態(tài)缺一不可，互為補充。

第四，一種模態(tài)會在某種程度上增加或減少由其它模態(tài)所表達的信息。例如，語言與圖像之間相互拓展、細化彼此所表達的意義，增加所蘊含的信息，對意義予以詳細說明或更準確的重述［15］(P300)。

第五，當次模態(tài)對主模態(tài)在意義體現(xiàn)上的作用不大時，它們之間是一種交疊關系或語境交互關系。交疊現(xiàn)象是兩種或多種模態(tài)同時出現(xiàn)，但它們之間并沒有相互強化關系［12］(P99)。例如，教師呈現(xiàn)的綱要式的PPT提供了主要的教學內(nèi)容，教師只是根據(jù)PPT內(nèi)容進行逐項講解，或者教師只需自己或跟學生一起讀上面的內(nèi)容即可。音樂可以為外語教學創(chuàng)造真實情景、營造適宜的氛圍，這時聽覺模態(tài)和視覺模態(tài)就是一種語境交互的關系。

四、多模態(tài)對英語教學的作用

多模態(tài)運用于英語教學，可使學生在英語學習過程中以多種感覺器官參與學習。多種媒體信息刺激學生的大腦皮層相應機能區(qū)，比單一媒體信息刺激所引起的反應要強得多。聲、光、色、圖俱佳的交互式教學環(huán)境，寬松、自主的學習氛圍，可促進學習主觀能動性的發(fā)揮和個性的發(fā)展，提高教學效率。首先，模態(tài)轉換可以強化記憶，提高內(nèi)容記憶的持久性。研究發(fā)現(xiàn)記憶力跟獲取信息的模態(tài)(或曰感官)有關。其中嗅覺跟情感和記憶力的關系是公認的事實［16］(P58)。多模態(tài)強調(diào)多感官并用，以幫助學生克服單詞、語法等記憶難的問題，便可達到牢固記憶的作用。多模態(tài)教學方式把靜態(tài)的資源包括服飾、發(fā)型、臉型等和動態(tài)的資源包括聲音、表情、身勢、眼神等納入教學過程，給學生全方位、多感官的充分體驗，引起多層次的聯(lián)想。實踐證明，大腦的記憶與聯(lián)想密切相關，聯(lián)想越多，記憶越深刻。

其次，多模態(tài)更有利于知識的理解和內(nèi)化，產(chǎn)生更好的學習效果。在多媒體、多模態(tài)條件下呈現(xiàn)的文本內(nèi)容能營造出有利于對英語理解和掌握乃至運用的真實語境。學生有機會接觸不同樣式的規(guī)范英語，地道的語言貼近自己的學習和生活，這種真實的語言環(huán)境能讓學生擺脫母語的羈絆、調(diào)動感覺器官及大腦對語言信息的綜合反應并自然地吸納語言。文化先于語言產(chǎn)生，多模態(tài)的教學手段有利于將文化內(nèi)涵和語言學習自然地結合起來。從《傲慢與偏見》中熟悉西方上層人士的舉止習慣、儀表談吐，從《阿甘正傳》了解南北戰(zhàn)爭、越南戰(zhàn)爭、中美外交等重大的歷史事件。視、聽模態(tài)的融合使得鮮活、地道的語言，聲情并茂的故事描述，把社會價值觀念等深層次的文化以一種大眾都能接受的方式反映出來［17］(P2004)。

第三，綜合運用多模態(tài)學習，不僅可以提高學生的語言輸出能力、創(chuàng)新思維能力，而且能夠加強學生的多模態(tài)交際能力和多元識讀能力。通過視覺跟視頻進行互動，具有直觀性和體驗性，學習效果事半功倍。例如，視聽說課堂上，學生通過視聽渠道接受語言信息，然后通過口語表達出來，課后還可將個人觀點、討論結果轉換為視覺模態(tài)符號，用書面語言表述成文，學生的語言輸出能力得以提高。在這一學習過程中，學生多模態(tài)地獲取信息，利用圖片、數(shù)據(jù)、視頻等組織和展示自己的觀點，學生多模態(tài)處理信息的能力和交際能力也得到了提高。這種直觀體驗性的學習往往是“暗學習”(implicit learning)，不知不覺就會了，是技能類學習的關鍵學習方式［13］(P7)。

第四，合理整合使用多種模態(tài)進行教學，可以營造一種輕松、活潑、和諧、積極的課堂互動氛圍，可以在很大程度上激發(fā)學生使用語言的主動性和積極性，在此基礎上，學生的語言應用能力得到最大程度的鍛煉和提高。心理學的實證研究表明，利用聲音、圖像、文字和動畫等多種模態(tài)形式向?qū)W生呈現(xiàn)最真實的語言活動，學生的眼、耳、口等各種感官不斷受到刺激，逼真、生動、有趣的語言環(huán)境大大調(diào)動了學生的神經(jīng)器官和濃厚的興趣。多模態(tài)的教學模式完全符合信息的輸入、加工、貯存、輸出的認知心理過程，實現(xiàn)了學生的主體地位，學生的學習興趣得以激發(fā)、交際能力得以提高。比如一些結合音樂的影視作品，如《窈窕淑女》等會讓學生在一種輕松愉悅的環(huán)境下體會到學習語言的快樂。付蓓對某大學英語專業(yè)三個本科班級進行對比，實驗結果表明多模態(tài)化的英語寫作教學能有效提高學生英語寫作能力和對寫作學習的熱情［18］(P136)。

多模態(tài)教學方式雖然給英語教學注入了新的活力和指明了方向，使課堂教學內(nèi)容、教學手段、教學模式多元化，但并不是不加選擇，使用越多越好。因此，科學地將多模態(tài)恰當結合運用于教學中，應注意以下幾點:教師應加強基本理論知識的學習，提升多模態(tài)教學的理論素養(yǎng)，并通過教學觀摩和教學實踐，提高自己的執(zhí)教能力;教師應遵循教學模態(tài)選擇的最優(yōu)化原則，即充分利用現(xiàn)代多媒體技術，充分表達講話者的意義，取得最佳效果［19］(P52);幫助學生通過接觸多模態(tài)話語，從語言、圖像、圖表、顏色、音樂等多渠道了解其他語言和外來文化，以適應文化多元化和語言多樣化的趨勢，引導學生利用多模態(tài)手段在課堂進行呈現(xiàn)和交流，培養(yǎng)其多元讀寫能力和多模態(tài)交際能力;教學的主要過程和階段是行動和行為，知識傳授在這里沒有地位。教學的過程主要為做事、行動、活動等［19］(P50)。

五、結語

大學英語教學中的多模態(tài)性主要是多媒體技術在英語課堂上廣泛應用的結果。多媒體、多模態(tài)學習像一把雙刃劍，處理得好，可以把學習者的注意力真正集中在知識點上，以達到強化記憶力的作用，從而提高學習效果;處理不好，會分散學習者的注意力，發(fā)生對知識點的記憶力的干擾，導致瞬間“熱鬧”而事后“空空”之感［13］(P9)。正如朱永生所指出的:“我們急需改變傳統(tǒng)的辦學理念，應提倡‘建構主義’取代傳統(tǒng)的‘訓導主義’，引導學生不僅能在多模態(tài)環(huán)境下理解各種經(jīng)歷，建構我們自己對現(xiàn)實世界的認識，而且能在多模態(tài)環(huán)境下有創(chuàng)造性地學習和做事?！保?0］(P13)如閱讀互聯(lián)網(wǎng)、設計互動的圖像操作軟件、電子音樂、科學模擬、虛擬劇場等多媒體，以改變原來的灌輸式教學，取得更加積極的教學效果。

［1］ 代樹蘭．關注多模態(tài)話語教學 提高學生交際能力［J］．山東外語教學，2011，(3)．

［2］ LeVine P，Scollon R．Discourse and Technology:Multimodal Discourse Analysis［M］．Washington DC:Georgetown University Press，2004．

［3］ Kress G，van Leeuwen T．Front pages:the critical analysis of newspaper layout［A］．Bell A，Garrett P(eds．)．Approaches to Media Discourse［C］．Oxford:Blackwell，1998．

［4］ Kress G，van Leeuwen T．Multimodal Discourse:The Modes and Media of Contemporary Communication［M］．London:Arnold，2001．

［5］ Kress G et al．Multimodal Teaching and Learning［M］．London:Continuum，2001．

［6］ 胡壯麟．社會符號學研究中的多模態(tài)化［J］．語言教學與研究，2007，(1)．

［7］ O'Toole M．The Language of Displayed Art［M］．London:Leicester Univesity Press，1994．

［8］ Kress G，van Leeuwen T．Reading Images:The Grammar of Visual Design［M］．London:Routledge，1996．

［9］ van Leeuwen T．Speech，Music，Sound［M］．London:Macmillan，1999．

［10］ Martinec R．Cohesion in action［J］．Semiotica，1998．

［11］ O'Toole M．A systemic-functional semiotics of art［A］．Fries P，Gregory M(eds．)．Discourse in Society:Systemic Functional Perspectives［C］．Norwood:Ablex，1995．

［12］ 張德祿，王璐．多模態(tài)話語模態(tài)的協(xié)同及在外語教學中的體現(xiàn)［J］．外語學刊，2010，(2)．

［13］ 顧曰國．多媒體、多模態(tài)學習剖析［J］．外語電化教學，2007，(114)．

［14］ Royce T D．Multimodal communicative competence in second language contexts［A］．Royce T D，Bowcher W L(eds．)．New Directions in the Analysis of Multimodal Discourse［C］．Mahwah:Lawrence Erlbaum Associates，Inc．，2007．

［15］ Anthonissen C．Interaction between visual and verbal communication:Changing patterns in the printed media［A］．Weiss G，Wodak R(eds．)．Critical Discourse A-nalysis and Interdisciplinarity［C］．New York:Palgrave Macmillan，2003．

［16］ Weston Trevor．Altas of Anatomy［M］．London:Marshall Cavendish Books Limited，1992．

［17］ 朱維芳．英語電影教程［M］．北京:外語教學與研究出版社，2004．

［18］ 付蓓．多模態(tài)化的英語寫作教與學［J］．湖北師范學院學報，2010，(5)．

［19］ 張德祿．多模態(tài)外語教學的設計與模態(tài)調(diào)用初探［J］．中國外語，2010，(3)．

［20］ 朱永生．多元讀寫能力研究及其對我國教學改革的啟示［J］．外語研究，2008，(4)．

Abstract:Digitization and multimodality are the major features of the human language．Monomodal teaching，which focuses mainly on language，can no longer meet the needs of human communication．It is a necessity to cultivate the students'multimodal communicative competence and multiliteracy while it is also a trend to construct a multimodal teching based on the teaching theory．The importance and application of multimodal discouse in college English teaching are emphasized．

Key words:mode;multimodal discourse;teaching model;multiliteracy

Study on Multimodality in College English Teaching and Its Importance

ZENG Qing-min
(School of Foreign Languages，Chongqing Jiaotong University，Chongqing 400074，China)

H319

A

1674－0297(2012)01－0141－04

2011－09－01

重慶市教委高等教育教學改革研究重點項目“非英語專業(yè)學生大學英語聽說能力培養(yǎng)創(chuàng)新模式研究及實踐”(編號:09－2－036)的成果之一。

曾慶敏(1972－)，女，重慶萬州區(qū)人，重慶交通大學外國語學院副教授，碩士，主要從事認知語言學和教學法研究。

(責任編輯:張 璠)