課堂教學(xué)多模態(tài)話語的模態(tài)配合研究

王文瓊

摘 要： 模態(tài)是物質(zhì)媒體經(jīng)過社會的長時(shí)間塑造形成的意義潛勢，是用于表征和交流意義的社會文化資源。人類社會活動已逐漸被多種媒介共存的復(fù)合話語取代，因此多模態(tài)化成為當(dāng)今社會文化系統(tǒng)的固有特性。隨著現(xiàn)代技術(shù)的發(fā)展，各種媒體技術(shù)開始進(jìn)入課堂，話語的研究具備多模態(tài)性。在語言教學(xué)中，僅僅從語言這一角度對課堂話語進(jìn)行研究是不夠的，還需要將多種模態(tài)和語言相結(jié)合以探討課堂話語。

關(guān)鍵詞： 多模態(tài) 多模態(tài)話語 模態(tài)配合

1.引言

模態(tài)是物質(zhì)媒體經(jīng)過社會長時(shí)間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源（Kress & Leuwen 2001）。由于人類社會活動所介入的物質(zhì)手段日漸豐富，在傳統(tǒng)上主要通過語言表達(dá)意義的做法已逐漸被多種媒介共存的復(fù)合話語取代，多媒體化（multimediality）體現(xiàn)了社會實(shí)踐的常態(tài)，多模態(tài)化（multimodality）成為當(dāng)今社會文化系統(tǒng)的固有特性。在教學(xué)領(lǐng)域，隨著現(xiàn)代技術(shù)的飛速發(fā)展，各種多媒體技術(shù)進(jìn)入課堂，屏幕越來越占據(jù)主導(dǎo)地位，同時(shí)圖像、動畫等成為交際的主媒體（Kress 2004），在教學(xué)中也是如此，這為教學(xué)環(huán)境的多模態(tài)研究提供了方便。

在語言教學(xué)中，語言在大多數(shù)情況下仍然占據(jù)主導(dǎo)地位，其他模態(tài)只是在不同程度地起著輔助、襯托、強(qiáng)化和補(bǔ)充的作用（張德祿，李玉香，2012），但即使如此，僅僅從語言這一角度對課堂話語進(jìn)行研究是不夠的，還需要將語言和其他模態(tài)組合在一起探討課堂話語。

2.理論框架

2.1模態(tài)

Kress將模態(tài)（mode）定義為一種表征和交流的符號表達(dá)方式（Kress & Leuwen 2001）。在《多模態(tài)語篇》（Multimodal Discourse）（Kress & Leuwen 2001）中，模態(tài)被定義為符號資源。Jewitt認(rèn)為多模態(tài)與符號相關(guān)，所有模態(tài)都包含整套符號資源，人們在特定場合下利用并構(gòu)建這些資源對事件和關(guān)系進(jìn)行表征。

多模態(tài)話語指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象。多模態(tài)話語最合適的理論模式是系統(tǒng)功能語言學(xué)的社會符號學(xué)理論。社會符號學(xué)基于韓禮德的語言符號觀（Halliday 1978），他認(rèn)為做一個(gè)社會符號系統(tǒng)，即一個(gè)表義系統(tǒng)，語言的語法并非是一系列的規(guī)則，而是表意的資源，這就是Hodge和Kress發(fā)展社會符號學(xué)理論的基礎(chǔ)。語言外的其他表義系統(tǒng)還有繪畫、雕刻、音樂、舞蹈等，這些表義系統(tǒng)與語言共同實(shí)現(xiàn)社會意義。這種觀點(diǎn)是系統(tǒng)功能語言學(xué)的社會符號學(xué)理論的基礎(chǔ)，為多模態(tài)話語分析理論發(fā)展奠定理論基礎(chǔ)。

多模態(tài)話語分析理論主要基于系統(tǒng)功能語言學(xué)理論，由五個(gè)層面的系統(tǒng)組成（Martin 1992），分別是：（1）文化層面，包括作為文化的主要存在形式的意識形態(tài)和作為話語模式選擇潛勢的體裁或者體裁結(jié)構(gòu)潛勢；（2）語境層面，包括由話語范圍、話語基調(diào)和話語方式組成的語境構(gòu)型；（3）意義層面，包括由幾個(gè)部分組成的話語意義，即概念意義、人際意義和謀篇意義；（4）形式層面，實(shí)現(xiàn)意義的不同形式系統(tǒng)，包括語言的詞匯語法系統(tǒng)和其他各種模態(tài)的表意形體和語法系統(tǒng)及各個(gè)模態(tài)的語法之間的關(guān)系；（5）媒體層面，是話語最終在物質(zhì)世界表現(xiàn)的物質(zhì)形式。

2.2多模態(tài)與教學(xué)

課堂教學(xué)就是由多種模態(tài)共同完成的，包括空間、手勢、身勢、移動、聲音、腔調(diào)、音樂、三維事物、口語、書面語、圖形、表格、圖畫和動畫等（Jewitt 2009）。這些不同的模態(tài)各自都是一個(gè)符號系統(tǒng)，在合適的語境中表達(dá)意義，達(dá)到交際的目的。但它們在絕大多數(shù)情況下都不是單獨(dú)用以達(dá)到交際目的，而是和其他模態(tài)共同配合達(dá)到交際目的，即使是語言也是如此。

在教學(xué)中，對多模態(tài)交際和體現(xiàn)的研究日益增多。在Lemke編輯的《語言學(xué)與教育》中，研究者對課程中的多模態(tài)進(jìn)行檢驗(yàn)，尤其檢驗(yàn)數(shù)學(xué)和科學(xué)學(xué)科。OHalloran用系統(tǒng)功能觀對數(shù)學(xué)課堂上的多符號系統(tǒng)的運(yùn)作進(jìn)行分析。Baker，Street在數(shù)學(xué)教育領(lǐng)域研究了多模態(tài)計(jì)算能力，其中包括行動、圖示和符號模態(tài)。這些研究表明，在不同模態(tài)之間的轉(zhuǎn)換問題是導(dǎo)致學(xué)生學(xué)科難點(diǎn)的來源。

新興的熱點(diǎn)是對多模態(tài)識讀（multiliteracy）的研究。多模態(tài)識讀（multiliteracy）指具有能閱讀所能接觸到的各種媒體和模態(tài)的信息，并循此產(chǎn)生相應(yīng)的材料，如閱讀互聯(lián)網(wǎng)或互動的多媒體。傳統(tǒng)的以讀寫為主的識讀能力在多媒體時(shí)代已不夠用。其次，教育中的多模態(tài)化來自教室中不斷增加使用的多種媒體，如圖像操作軟件、電子音樂、科學(xué)模擬、存在于計(jì)算機(jī)上的虛擬劇場等。多模態(tài)化和多元符號學(xué)試圖給這些信遞形式理論化，鑒別各種圖像、詞語和動作的模態(tài)如何互相依賴，以產(chǎn)生整體意義（Williamson 2005）。重要的是有時(shí)一種模態(tài)需要依賴其他模態(tài)完成信遞行為，如沒有口述的詞語說明，圖表將毫無意義；沒有模型課件，教師用手做的節(jié)奏性動作就沒有意義，因而每一種模態(tài)，作為符號資源，對所做的表達(dá)都有貢獻(xiàn)。學(xué)生的任務(wù)是將教師的各模式和符號資源轉(zhuǎn)變?yōu)槔斫狻?/p>

本文根據(jù)大學(xué)英語課堂教學(xué)的實(shí)際語境探討各種模態(tài)之間的協(xié)同配合關(guān)系。

3.語料及研究方法

本文的語料選自第五屆“外教社杯”全國高校外語教學(xué)大賽（職業(yè)院校）總決賽特等獎錄像，時(shí)長22分鐘。教學(xué)過程在一個(gè)按傳統(tǒng)模式安排的講臺和桌椅的教室進(jìn)行，配有可供書寫的黑板和PPT投影設(shè)備。教師主要在講臺講，有時(shí)到學(xué)生中間走動；學(xué)生主要坐在座位上聽課，有時(shí)根據(jù)老師的要求進(jìn)行互動。

4.課堂話語

4.1課堂教學(xué)描述

作為教學(xué)比賽，教學(xué)有一定的表演性，每堂課一般為50分鐘，而這堂課只有22分鐘。教學(xué)的主題是“網(wǎng)癮”（computer addiction），課文題目為“Teenager Committed Suicide When His Computer Broke down”。整個(gè)教學(xué)過程由老師控制，老師是教學(xué)的組織者、知識的提供者、學(xué)生能力提高的使能者；學(xué)生是學(xué)習(xí)者、被控制者、被促使提高能力者。交際的方式是面對面口頭交際，包括手勢、動作、口氣和強(qiáng)調(diào)等，PPT提供教學(xué)重點(diǎn)及圖像。

4.2體裁結(jié)構(gòu)

這堂22分鐘的課包括10個(gè)階段，分別是：（1）上課儀式：教師學(xué)生相互問候。（2）導(dǎo)入：首先以某位知名明星吸毒為例，引出單詞addiction的含義。（3）點(diǎn)出主題：引出網(wǎng)癮（computer addiction）這一主題。（4）課文講解：學(xué)生泛讀、小組活動、組內(nèi)討論、練習(xí)鞏固。（5）講解習(xí)題：學(xué)生回答習(xí)題中的填空，講解單詞詞意，并擴(kuò)展練習(xí)題內(nèi)容。（6）剖析課文：再次點(diǎn)題，提問學(xué)生，分析文中主人公的問題，練習(xí)上一環(huán)節(jié)填空中的單詞。（7）互動提問：如何在現(xiàn)實(shí)世界與虛擬世界中尋求平衡，提出解決提議。（8）角色扮演朗讀：進(jìn)一步對課文進(jìn)行熟悉，并對單詞therapist（治療師）有更深刻的了解，讓學(xué)生分角色朗讀設(shè)計(jì)好的對話。（9）總結(jié)重點(diǎn)：回顧課文知識。（10）結(jié)束：布置作業(yè)，結(jié)束課文。

4.3模態(tài)在語法層面的配合

這堂課的PPT共有21張，分為兩個(gè)類別：顯示文字、顯示圖像和文字。文字是一個(gè)語篇片段，一個(gè)幻燈片顯示一個(gè)語篇片段，由一個(gè)句子或者一系列句子體現(xiàn)；文字和圖形本身是多模態(tài)的，是兩個(gè)語篇片段的協(xié)同共建語篇意義，由各自的語法結(jié)構(gòu)體現(xiàn)。

幻燈片1由文字與圖像構(gòu)成，包括標(biāo)題和一個(gè)教師上課的圖片，它們共同完成了標(biāo)題的語篇功能，為教師的口語話語提供支持。標(biāo)題體現(xiàn)為一個(gè)句子（Teenager Committed Suicide When His Computer Broke down），圖像為老師上課的圖像，表明這是一門教學(xué)課。

幻燈片2與3相似，都是由圖像加文字構(gòu)成，其中包括階段導(dǎo)入標(biāo)題、文字提示和圖片（某吸毒明星照片、抽煙圖），幻燈片2中的文字為兩個(gè)英文單詞（Addiction，prison），為老師的引入提供信息引導(dǎo)，幻燈片3的文字則為“上癮”這一單詞的英文解釋。與幻燈片2相似，它們不僅為口頭語篇提供了文字信息，而且提供了實(shí)例，進(jìn)而引出了文章主題。

這個(gè)教學(xué)片段的主要功能是提供信息，進(jìn)行導(dǎo)入，引出主題“網(wǎng)癮”，預(yù)示著課文將圍繞網(wǎng)癮展開。

幻燈片4和5完全由文字構(gòu)成。其中包括課文標(biāo)題和環(huán)節(jié)設(shè)計(jì)（“學(xué)習(xí)目標(biāo)”的展示），這兩張幻燈片的主要目的在于為教師的話語（例如，“我們將重點(diǎn)學(xué)習(xí)本文的中心思想”，“學(xué)習(xí)與網(wǎng)癮有關(guān)的一些單詞表達(dá)”）提供支持，并為口語模態(tài)提供指導(dǎo)，為口語語篇的發(fā)展提供了路徑。

幻燈片6和其后與練習(xí)題和其講解的幻燈片都由圖像和文字構(gòu)成，圖像為箭頭與圓圈，用以引入及標(biāo)注信息，文字為練習(xí)題（如Jason未來可能做什么工作？What kind of job will Jason do in the future？），重點(diǎn)標(biāo)注的是答案。整個(gè)片段為教師口語（例如，對學(xué)生的回答進(jìn)行肯定：Good job??；對回答進(jìn)行復(fù)述：He will be a computer engineer.）提供支持，提供信息，用此提高學(xué)生閱讀理解及口語水平。

4.4課堂話語中的模態(tài)配合

以上是對一段教學(xué)比賽錄像片段中使用的PPT體裁結(jié)構(gòu)進(jìn)行的分析，但它只是整個(gè)教學(xué)過程的一個(gè)階段，是PPT所表現(xiàn)的一段多模態(tài)話語。在整個(gè)課堂話語中，各種模態(tài)共同發(fā)揮作用，特別是老師和學(xué)生交流的口語模態(tài)和PPT所表現(xiàn)的文字、圖像模態(tài)。下面簡略探討它們之間的協(xié)同配合。

口語是課堂教學(xué)的主模態(tài)，但是它不能有效完成教學(xué)任務(wù)，需要借助其他模態(tài)，特別是PPT所承載的模態(tài)來完成。這樣，PPT和口語之間就形成了一種協(xié)同關(guān)系。

下面分別從10個(gè)環(huán)節(jié)探討它們是如何協(xié)同完成教學(xué)任務(wù)的。（1）上課儀式：主要模態(tài)為口語：教師及學(xué)生通過寒暄完成這個(gè)階段的任務(wù)；（2）導(dǎo)入：主要模態(tài)為口語、圖像和文字：口語為教師授課，圖像和文字模態(tài)通過PPT呈現(xiàn)，具有導(dǎo)入文章主題的作用；（3）點(diǎn)出主題：主要模態(tài)為口語、文字和圖像：文字主要輔助提供信息，教師提問學(xué)生，引出話題，引起興趣；（4）課文講解：主要模態(tài)為口語、文字和圖像：學(xué)生討論，做練習(xí)題，對課文內(nèi)容進(jìn)行熟知、掌握，圖形為文章線索的一步步發(fā)展提供支撐；（5）講解習(xí)題：主要模態(tài)為口語、文字：這一階段可以分為兩個(gè)次階段：老師提問及學(xué)生回答。（6）剖析課文：主要模態(tài)為口語、文字：這一階段老師主要對學(xué)生提問發(fā)散性問題，進(jìn)一步讓學(xué)生理解課文；（7）互動提問：主要模態(tài)為口語、文字：口語模態(tài)通過老師和學(xué)生互動完成，文字主要體現(xiàn)在呈現(xiàn)在PPT上的問題；（8）角色扮演朗讀：主要模態(tài)為口語、文字：這一階段，學(xué)生進(jìn)行分角色扮演對話，完成對重點(diǎn)單詞的理解；（9）總結(jié)重點(diǎn)：主要模態(tài)為口語、文字：老師對本課進(jìn)行總結(jié)；（10）結(jié)束：主要模態(tài)為口語：老師布置作業(yè)，結(jié)束課文。

5.討論

在傳統(tǒng)教學(xué)中，主要采取教師和學(xué)生肢體模態(tài)和文字補(bǔ)充，隨著教學(xué)技術(shù)的發(fā)展，PPT等教學(xué)手段的運(yùn)用，越來越多的模態(tài)出現(xiàn)為口頭模態(tài)提供了支持。課堂教學(xué)中，一種模態(tài)很難達(dá)到教學(xué)目的，往往需要其他模態(tài)補(bǔ)充、協(xié)同，由其他模態(tài)提供新的內(nèi)容，進(jìn)行強(qiáng)化或者引導(dǎo)。在上述分析中，文字和圖像模態(tài)為教師的口語模態(tài)提供支持，從而強(qiáng)化教學(xué)效果。教師在授課過程中可以通過PPT課件展現(xiàn)生動畫面，刺激學(xué)生的感官系統(tǒng)，吸引學(xué)生的注意力，讓學(xué)生從聽覺和視覺方面獲取相關(guān)信息，快速獲取所學(xué)材料。

6.結(jié)語

作為社會符號學(xué)的一個(gè)應(yīng)用型分支，多模態(tài)符號學(xué)既是一門新興的“學(xué)科”（張德祿，李玉香，2012），又是一種“理論應(yīng)用的視角”（Jewitt 2009），更是一類值得研究的“領(lǐng)域”（Kress 2009）。話語的多模態(tài)化成為現(xiàn)代話語的一個(gè)突出特點(diǎn)，對多模態(tài)話語的研究也成為一種必然（張德祿，李玉香，2012）。本文以外語教學(xué)課堂話語為例探討多模態(tài)話語的體裁結(jié)構(gòu)、模態(tài)語法及模態(tài)在共建課堂話語意義中的協(xié)同，發(fā)現(xiàn)課堂話語中需要不同模態(tài)的協(xié)同配合。在今后的教學(xué)研究中，多模態(tài)話語的分析為其提供了很好的切入點(diǎn)，通過對課堂話語的分析，我們可以更好地把握課堂，并探討更好的教學(xué)模式及選擇與教學(xué)目的和學(xué)生需求更符合貼切的模態(tài)完成教學(xué)。

參考文獻(xiàn)：

[1]Baker，D.& Street，B.So，What About Multimodal Literacies？in K.Pahland J.Rowsell（eds） Travel Notes from the New Literacy Studies，Clevedon：Multilingual Matters，2006.

[2]Hallliday，M.A.K.Language as Social Semiotic[M].London： Arnold[M].London：Arnold，1978.

[3]Hodge，R. and Kress，G. Social Semiotics，Cambridge： Polity Press，1998.

[4]Holsonova，J. Different perspectives on multimodality. Methodological considerations. Lund： Lund University Press，1999.

[5]Martin，J.R.English Text： System and Structure[M].Amsterdam：John Benjamins，1992.

[6]Jewitt，C.Multi-modal Discourse Across the Curriculum，in N. Hornberger（eds.） Encyclopedia of Language and Education， 2ndrevdedn，New York： Springer-Verlag，2008.

[7]Jewitt，C.The Routledge Handbook of Multimodal Analysis[M].London：Routledge，2009.

[8]Kress，G.What is mode？[C]//C. Jewitt，2009：54-66.

[9]Kress，G.& T.van Leuwen. Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001.

[10]OHalloran，K.Classroom discourse in mathematics：a multi-semiotic analysis[J].Linguistics and Education，2000.10（3）：359-388.

[11]OHalloran，K. Multimodal Discourse Analysis[M].London： Continuum，2004.

[12]OHalloran，K. L. & B. A. Smith. Multimodal studies[C]//K.L.OHalloran & B. A. Smith. Multimodal Studies：Exploring Issues and Domains. New York & London：Routledge，2011.

[13]Scolon，Ron & Levine，Philip Multimodal Discourse Analysis as the Confluence of Discourse and Technology.Washington DC.：Georgetown University Press，2004.

[14]Williamson What Are Multimodality，Multisemiotics and Multiliteracy？-A Brief Guide to Some Jargon，NESTA Future lab，Online，2005.

[15]李戰(zhàn)子.多模態(tài)符號學(xué)：理論基礎(chǔ)，研究途徑與發(fā)展前景[J].外語研究，2012（2）：1-8.

[16]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007a.（1）：1-10.

[17]張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)[J].外語學(xué)刊，2010（2）：97-102.

[18]張德祿，李玉香.多模態(tài)課堂話語的模態(tài)配合研究[J].外語與外語教學(xué)，2012（1）：39-43.