多模態(tài)對外漢語課堂教學(xué)研究與案例分析

韓蓉

摘? 要：模態(tài)是人與人之間交流的渠道和媒介，人類的交際活動(dòng)具有多模態(tài)性。以多模態(tài)話語分析理論為基礎(chǔ)，通過對中國文化課中各種模態(tài)的研究，探討對外漢語課堂教學(xué)中加深外國學(xué)生對漢語與中國文化的認(rèn)知理解及融入中國文化語境的多模態(tài)教學(xué)方式。

關(guān)鍵詞：模態(tài);多模態(tài)話語分析;對外漢語教學(xué)

人們在使用語言的同時(shí)，還會(huì)伴隨許多非語言的交際。在交際過程中，交際雙方將視覺、聽覺、觸覺、嗅覺和味覺等各種感官調(diào)動(dòng)起來，以實(shí)現(xiàn)成功交際。對外漢語教學(xué)是對外國學(xué)生進(jìn)行的以漢語作為第二語言或者外語的教學(xué)，其中也包括中國文化的教學(xué)。其根本目標(biāo)是培養(yǎng)外國學(xué)生的漢語交際能力。一般在課堂教學(xué)過程中，漢語教師多采用漢語作為媒介語，其優(yōu)勢是為外國學(xué)生創(chuàng)造了目的語交際環(huán)境，但不足是在認(rèn)知方面，學(xué)生用非母語去學(xué)習(xí)復(fù)雜抽象的漢語與中國文化知識(shí)，難度較大。那么，漢語教師如何幫助留學(xué)生認(rèn)知漢語與中國文化，增強(qiáng)他們對中國文化語境的融入感？用什么樣的方式講好中國故事？本文以多模態(tài)話語分析理論為視角，通過對中國文化課中各種模態(tài)的研究，為上述問題提供一個(gè)新的解決途徑。

一、多模態(tài)話語理論

（一）理論概述

多模態(tài)話語分析理論興起于20世紀(jì)90年代，該理論從系統(tǒng)功能語言學(xué)理論那里借鑒了元功能理論，認(rèn)為圖像、聲音、動(dòng)畫、顏色等非語言符號同語言一樣都能夠體現(xiàn)一定的意義，實(shí)現(xiàn)三種元功能，即概念功能、人際功能和語篇功能，主要分析交際符號的不同模態(tài)、各種模態(tài)之間的相互關(guān)系、它們所體現(xiàn)的整體意義及其特征和功能。李戰(zhàn)子（2003）最先將多模態(tài)理論引入中國，之后許多學(xué)者對多模態(tài)話語分析理論進(jìn)行了深入研究。胡壯麟、董佳（2006）通過對一次競賽中PPT演示的語篇分析，探討了PPT在圖像、音響等模態(tài)中如何參與主題意義的表達(dá)。顧曰國（2007）界定了“單模態(tài)話語”“雙模態(tài)話語”或“多模態(tài)話語”。朱永生（2007）認(rèn)為，模態(tài)主要包括語言、圖像、音樂和技術(shù)等多種符號系統(tǒng)。張德祿（2009）指出，多模態(tài)話語是運(yùn)用視覺、聽覺、觸覺等多種感覺，借助語言、聲音、圖像、動(dòng)作等多種手段、符號、資源等進(jìn)行交際的現(xiàn)象。

（二）模態(tài)的分類

關(guān)于模態(tài)的分類，新倫敦小組（1996）將模態(tài)資源分為語言、視覺、聽覺、身勢和空間模態(tài)。Forceville（2009）將模態(tài)與人類的五種感官系統(tǒng)聯(lián)系起來，分為五種模態(tài)：聽覺模態(tài)、視覺模態(tài)、觸覺模態(tài)、嗅覺模態(tài)和味覺模態(tài)。張德祿（2009）將模態(tài)分為語言和非語言兩種。語言包括伴語言和純語言，伴語言主要包括音響、音調(diào)、字體和布局，而純語言又分為聲音和文字。能夠表達(dá)意義的非語言模態(tài)主要包括人們的身體動(dòng)作和使用的工具、環(huán)境等其他非語言手段。

Thibault將模態(tài)分為“靜態(tài)模態(tài)”和“動(dòng)態(tài)模態(tài)”，前者主要包括文字、圖片、表格、繪畫等，后者主要包括面對面的互動(dòng)、動(dòng)畫、電影、使用錄像機(jī)等。胡永近（2018）將模態(tài)系統(tǒng)分為兩個(gè)層次或三個(gè)層次的符號系統(tǒng)。如交通信號系統(tǒng)是由意義和圖符兩個(gè)層次組成的符號系統(tǒng);而語言屬于三個(gè)層次的符號系統(tǒng)，分別為音系層、詞匯語法層和意義層。胡永近又按維度將模態(tài)分為四種：口語和書面語等線性的是一維的，平面圖畫是二維的，立體圖形和實(shí)物三維的，四維的則是動(dòng)態(tài)的，例如電影、動(dòng)畫等。上述研究者從不同角度對模態(tài)進(jìn)行分類，有助于人們了解模態(tài)的各種特性。

二、外語課堂教學(xué)中的多模態(tài)研究

（一）外語課堂教學(xué)模態(tài)分析

近年來，多模態(tài)話語分析理論被廣泛應(yīng)用于各種研究，多模態(tài)外語教學(xué)就是其中之一。郭萬群（2013）將英語課堂教學(xué)模態(tài)分為八類，分別是聽覺、視覺、觸覺、嗅覺、味覺、附感覺、潛感覺、視聽雙模。其中前面三大類又分為若干小類，并認(rèn)為不同的課堂教學(xué)主模態(tài)與輔模態(tài)是不同的。

在英語課堂教學(xué)模態(tài)中，聽覺模態(tài)中的語音是學(xué)生聽課及互動(dòng)中接受信息的主要模態(tài)。副語言指交流過程中用來協(xié)助語言傳遞信息、表達(dá)情感、表明態(tài)度的非言語行為，主要包括語調(diào)、口音、語氣、音色、音質(zhì)、音強(qiáng)、語速、停頓、節(jié)奏、填充音、聲響等。副語言有利于師生互動(dòng)和學(xué)習(xí)情感遷移，強(qiáng)化教與學(xué)的效果。觸覺模態(tài)中的計(jì)算機(jī)模擬，是指通過觸摸計(jì)算機(jī)輸入設(shè)備這種感知方式來進(jìn)行自主學(xué)習(xí)，人機(jī)互動(dòng)也是重要的學(xué)習(xí)模式，它有助于學(xué)生自主學(xué)習(xí)、展示學(xué)生學(xué)習(xí)成果。味覺與觸覺模態(tài)很少出現(xiàn)在課堂教學(xué)中，但會(huì)輔助教學(xué)，主要出現(xiàn)在附感覺與潛感覺中。附感覺是指信息接受者在感受與媒介直接相關(guān)的話語模式的基礎(chǔ)上，通過其他感官呈現(xiàn)的模態(tài)形式，如聽老師講解“北京烤鴨皮脆肉嫩”時(shí)，學(xué)生運(yùn)用聽覺模態(tài)的同時(shí)，會(huì)產(chǎn)生對烤鴨的味覺，即附感覺。潛感覺是指潛意識(shí)地感受到并未呈現(xiàn)出來的另一種模態(tài)。如學(xué)生在聽老師講“北京烤鴨”時(shí)，頭腦中也會(huì)出現(xiàn)烤鴨的形象。視聽雙模，指課堂話語中“邊聽邊看”的視覺、聽覺雙模態(tài)并用。

王祖嫘（2016）將美國中文沉浸式課堂的話語模態(tài)分為四大類：視覺、聽覺、觸覺和空間。其中視覺模態(tài)又分為文字、體態(tài)語、圖像、視頻、表意符號;聽覺模態(tài)分為有聲語言、音樂、其他音效、節(jié)奏韻律;觸覺模態(tài)分為肢體感應(yīng)、人人接觸、人物接觸、環(huán)境接觸;空間模態(tài)分為靜態(tài)與動(dòng)態(tài)。這些模態(tài)的運(yùn)用主要是針對兒童的漢語教學(xué)，具體、形象、感性的視覺模態(tài)更有助于兒童的認(rèn)知與理解。其中視覺模態(tài)中的表意符號是指非圖片或圖畫的由教師在課堂使用中賦予新意義的符號，比如用幾何形狀的教具代表蘋果、蝴蝶等。聽覺模態(tài)中的節(jié)奏韻律是根據(jù)兒童機(jī)械性記憶較強(qiáng)這一特點(diǎn)，表現(xiàn)為與語言內(nèi)容結(jié)合在一起的兒歌、詩朗誦等形式。觸覺模態(tài)中的肢體反應(yīng)是根據(jù)兒童模仿能力強(qiáng)這一特點(diǎn)，體現(xiàn)在學(xué)習(xí)過程中，兒童經(jīng)常模仿教師或視頻錄像中的肢體動(dòng)作;通過感知和協(xié)調(diào)自己的肢體，幫助學(xué)生理解意義。人人接觸是指師生之間或生生之間通過悄悄話、拍手游戲、角色表演等實(shí)現(xiàn)的;人物接觸是指讓學(xué)生接觸教具類的實(shí)物、卡片等;環(huán)境接觸是使學(xué)生與課堂環(huán)境中的張貼畫、海報(bào)等接觸。

由此可見，無論是英語還是漢語的第二語言教學(xué)，課堂教學(xué)都以聽覺、視覺、觸覺作為共同的模態(tài)，其中聽覺、視覺是最為主要的模態(tài)，這在心理學(xué)的研究中也可以得到證實(shí)。項(xiàng)國雄（1997）指出，各器官所獲得的信息比例是不同的，其中通過視覺可獲取83%，聽覺可獲取11%，觸覺只能獲取1.5%，嗅覺可獲取3.5%，味覺只能獲取1%。研究數(shù)據(jù)顯示，視覺與聽覺可獲取高達(dá)94%的信息，這也說明獲取知識(shí)主要依靠聽覺和視覺模態(tài)。

（二）多模態(tài)的組合原則

多模態(tài)組合不是模態(tài)越多越好，而應(yīng)該考慮經(jīng)濟(jì)原則。因此，多模態(tài)組合的選擇要達(dá)到最優(yōu)化原則和經(jīng)濟(jì)原則之間的平衡。張德祿（2010）在研究多模態(tài)外語課堂教學(xué)設(shè)計(jì)中，提出最佳效果原則，包括有效原則、適配原則、經(jīng)濟(jì)原則。多模態(tài)組合選擇的最終目標(biāo)是發(fā)揮多模態(tài)組合優(yōu)勢，促進(jìn)外語教學(xué)質(zhì)量的提高。一般來說，教師選擇某種模態(tài)會(huì)基于以下三點(diǎn)的考慮：第一，是否意義上能夠補(bǔ)缺;第二，是否能起到強(qiáng)化的作用;第三，是否能引起學(xué)生的關(guān)注。這樣多模態(tài)組合才能發(fā)揮更大的教學(xué)效果。

三、中國文化課“京劇中的道具”多模態(tài)教學(xué)分析

（一）課程概述

本課程是面向中級漢語水平的留學(xué)生開設(shè)的專業(yè)選修課。通過學(xué)習(xí)，在認(rèn)知方面，使學(xué)生能夠了解京劇中交通工具的功能和特點(diǎn)，并能運(yùn)用句型“用……表示……”進(jìn)行表達(dá);在技能方面，提高學(xué)生運(yùn)用漢語進(jìn)行歸納總結(jié)與概括抽象的能力;在情感方面，增強(qiáng)學(xué)生對中華文化學(xué)習(xí)的興趣與熱情，以及對中國文化情境的融入感。教學(xué)以教師有聲語言為主模態(tài)，并使用PPT多媒體輔助教學(xué)，呈現(xiàn)文字、圖像、視頻、符號等視覺模態(tài)與音樂等聽覺模態(tài)，并配以馬鞭等實(shí)物道具，實(shí)現(xiàn)人物接觸的觸覺模態(tài)。通過對“京劇中的道具”多模態(tài)教學(xué)情境的展示，使學(xué)生掌握中國戲劇區(qū)別于西方戲劇的一大特征，即京劇藝術(shù)是通過高度抽象的方式來營造各種意境的。

（二）教學(xué)過程中的多模態(tài)運(yùn)用

1.導(dǎo)入環(huán)節(jié)

教師通過語言導(dǎo)入京劇《打龍袍》車旗的視頻。通過圖像提問、對比的方式，引導(dǎo)學(xué)生掌握“用車旗表示車”的表現(xiàn)方式。導(dǎo)入環(huán)節(jié)運(yùn)用的模態(tài)有：

（1）聽覺模態(tài)，主要以教師的有聲語言為主，這是學(xué)生聽課的主要模態(tài)，如教師的導(dǎo)入語：“京劇有上百年的歷史，是中國三大戲劇之一，接下來讓我們看一段視頻，欣賞一下京劇?！?提問語：“這幾個(gè)人在干什么？”“看一下中間這個(gè)東西，大家覺得它像什么？”“大家再仔細(xì)看一下‘圓中間有什么？這一條一條像什么？”;講解語：“看一下右邊的馬車，是‘車輪，這個(gè)道具在京劇里就表示‘車。這個(gè)道具就是‘車旗，表示車的旗子。京劇里用車旗表示車，在前邊的這個(gè)人是坐在車?yán)铮筮叺娜耸邱{車的人，也就是現(xiàn)在開車的司機(jī)。這個(gè)車旗上只畫了車輪，沒有其他的部分，這就是京劇道具的一個(gè)特點(diǎn)?！?/p>

（2）視覺模態(tài)，這一模態(tài)中的圖像具有具體形象的提示作用，使從未接觸過京劇文化的外國學(xué)生能在頭腦中形成對京劇的初步認(rèn)知。此外，教師在凸顯“車旗”時(shí)使用了“○”這個(gè)符號，紅色“○”可引起學(xué)生對重點(diǎn)部分的關(guān)注。

（3）視聽雙模，邊聽邊看、視聽雙模態(tài)并用，可促進(jìn)學(xué)生學(xué)習(xí)中國傳統(tǒng)文化的積極性。

2.講解環(huán)節(jié)

教師先播放《打漁殺家》使用船槳的視頻，并對視頻內(nèi)容進(jìn)行提問，引導(dǎo)出“用船槳表示船”的方式，并在PPT中呈現(xiàn)出文字。在車和船的基礎(chǔ)上，引導(dǎo)學(xué)生歸納總結(jié)“京劇里的交通道具的特點(diǎn)”，即“用物體的一部分表示物體”。這一環(huán)節(jié)中運(yùn)用的模態(tài)有：

（1）視聽雙模，能夠引起學(xué)生對“船槳”的關(guān)注。

（2）聽覺模態(tài)，教師的語言引導(dǎo)、講解有助于學(xué)生對視頻的進(jìn)一步理解。如提問語：“這兩個(gè)人在干什么呢？”“他們手里拿的是什么？”“剛才我們看了京劇里的車和船，車旗用兩個(gè)輪子表示車，船槳表示船，大家覺得京劇里的交通道具有什么特點(diǎn)呢？”;講解語：“這個(gè)叫‘船槳，京劇里用船槳表示船。他們只有‘漿，沒有船的其他部分。”“京劇交通道具的特點(diǎn)是：用物體的一部分表示物體。”

（3）視覺模態(tài)，通過圖片的對比，有助于學(xué)生理解京劇中“用船槳表示船”這一特征。PPT中文字的呈現(xiàn)使學(xué)生對漢字產(chǎn)生視覺感知，有利于對漢字字形的記憶，文字也是學(xué)生接受知識(shí)信息的主要模態(tài)。

3.運(yùn)用環(huán)節(jié)

教師通過提問，引起學(xué)生對“馬”這一古代最為重要的交通工具在京劇舞臺(tái)上呈現(xiàn)方式的思考，這是對“用物體的一部分表示物體”的逆向思維的引導(dǎo)與培養(yǎng)，即“馬是用馬的一部分呈現(xiàn)出來的”。通過圖像、肢體動(dòng)作啟發(fā)學(xué)生發(fā)現(xiàn)正確答案。雖然學(xué)生回答有誤，但教師仍給予鼓勵(lì)。并讓學(xué)生使用“馬鞭”道具進(jìn)行表演。通過觀看《追韓信》的視頻，加深對“用馬鞭表示馬”的認(rèn)知與理解。在這個(gè)過程中運(yùn)用的模態(tài)有：

（1）聽覺模態(tài)，有聲語言是課堂互動(dòng)中接受信息的主要模態(tài)。如提問語：“在古代，馬也是非常重要的交通工具，京劇里用什么表示馬呢？”“會(huì)不會(huì)讓演員騎著馬上舞臺(tái)？”“剛才講了京劇是用物體的一部分表示整個(gè)物體，那么是用馬的哪部分表示馬呢？”“看這三個(gè)圖，是用哪部分表示馬呢？為什么是馬頭呢？”;講解語：“這就是京劇里的馬，這叫馬鞭。京劇里就用馬鞭表示馬。”“沒錯(cuò)，都有毛。但是你們發(fā)現(xiàn)了嗎？馬鞭上的毛多。其實(shí)馬鞭就是馬脖子上的毛，用來表示一整匹馬?！薄澳昙o(jì)大的人騎馬比較慢，比較穩(wěn)，這出京劇叫《追韓信》?！?/p>

（2）視覺模態(tài)，圖像的視覺感知可以幫助學(xué)生理解重點(diǎn)、難點(diǎn)內(nèi)容?！榜R鞭對應(yīng)馬的哪一部分”是教學(xué)中的難點(diǎn)。教師通過三張馬背鬃毛的圖像來展示出由遠(yuǎn)及近、由模糊到清晰的視覺效果，使原本靜態(tài)的圖像產(chǎn)生了動(dòng)態(tài)的效果。教師通過肢體動(dòng)作向?qū)W生展示了馬鞭使用的視覺效果。

（3）觸覺模態(tài)，是通過人物接觸實(shí)現(xiàn)的，即讓學(xué)生手持馬鞭道具，這樣的接觸能夠激發(fā)學(xué)生的興趣，并產(chǎn)生相應(yīng)的認(rèn)知或心理效應(yīng)。

（4）視聽雙模，作為認(rèn)知負(fù)荷理論的重要假設(shè)和研究成果，這是積極學(xué)習(xí)的重要體現(xiàn)。通過觀看視頻，讓學(xué)生觀察不同角色——“年輕人”與“老年人”使用馬鞭時(shí)的不同動(dòng)作。

4.結(jié)課環(huán)節(jié)

主要采用聽覺模態(tài)中的有聲語言模態(tài)，對教學(xué)內(nèi)容進(jìn)行總結(jié)，并布置觀看視頻的作業(yè)。如結(jié)課語言：“如果大家感興趣，課后可以上網(wǎng)看一下：是誰在追韓信？他為什么追韓信？看看里面是如何騎馬的。好，今天的課就上到這里。”

上述分析表明，聽覺模態(tài)中的有聲語言仍是對外漢語課堂教學(xué)的主要模態(tài)，聽覺模態(tài)中的副語言體現(xiàn)在對外漢語教師的發(fā)音夸張、語速較慢、停頓較多且時(shí)間較長等方面。由于教學(xué)對象是外國學(xué)生，為了讓學(xué)生更好地理解說明性的語言，在進(jìn)行有聲語言表達(dá)的同時(shí)，教師會(huì)附帶大量的手勢、動(dòng)作和表情等肢體語言，這些屬于視覺模態(tài)。文字、符號、圖片、圖像、視頻等視覺模態(tài)，以及人物接觸的觸覺模態(tài)等多模態(tài)的運(yùn)用都應(yīng)參與到課堂教學(xué)主題意義的表達(dá)中來。這些多模態(tài)組合的設(shè)計(jì)遵循了有效原則、適配原則與經(jīng)濟(jì)原則，在意義上能夠互相補(bǔ)缺，并在教學(xué)中起到強(qiáng)化的作用，能引起學(xué)生的關(guān)注，幫助學(xué)生理解中國文化的內(nèi)涵。

由此可見，多模態(tài)對外漢語課堂教學(xué)設(shè)計(jì)可以促進(jìn)外國學(xué)生對漢語與中國文化的認(rèn)知理解，提高他們的學(xué)習(xí)興趣，增加學(xué)生對中國文化語境的融入感。這種多模態(tài)的課堂教學(xué)設(shè)計(jì)不僅能使外國學(xué)生“讀懂”中國文化，對于我國青少年了解中國傳統(tǒng)文化也是具有實(shí)踐意義的。多模態(tài)話語分析理論從語言學(xué)及語言教學(xué)的角度，為如何在漢語課堂上講好中國故事、傳播中國文化提供了一個(gè)新的研究視角。而根據(jù)教學(xué)對象的年齡、國別等特征，把中國文化教學(xué)的具體內(nèi)容與多模態(tài)教學(xué)模式相結(jié)合，探討不同模態(tài)組合的最佳效果，將是我們今后的研究方向。

參考文獻(xiàn)：

[1]Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitivist Framework：Agendas for research[A].in C.Forceville & E.Urios-Aparisi （Eds.） ，Multimodal Metaphor[C].Berlin： Mouton de Gruyter，2009.

[2]New London Group.A Pedagogy of Multiliteracies： Designing Social Futures[J].Harvard Educational Review，1996，（1）.

[3]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)， 2007，（2）.

[4]郭萬群.大學(xué)英語多模態(tài)課堂教學(xué)研究[M].上海：上海交通大學(xué)出版社，2015.

[5]胡永近.多模態(tài)話語分析理論及其在外語教學(xué)中的應(yīng)用[M].合肥：安徽大學(xué)出版社，2018.

[6]胡壯麟，董佳.意義的多模態(tài)構(gòu)建——對一次PPT演示競賽的語篇分析[J].外語電化教學(xué)，2006，（3）.

[7]李戰(zhàn)子.多模式話語的社會(huì)符號學(xué)分析[J].外語研究， 2003，（5）.

[8]王祖嫘.論美國中文沉浸式教學(xué)的多模態(tài)話語[J].民族教育研究，2016，（4）.

[9]項(xiàng)國雄.計(jì)算機(jī)輔助教學(xué)原理與課件設(shè)計(jì)[M].成都：電子科技大學(xué)出版社，1997.

[10]張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué)，2009，（4）.

[11]張德祿.多模態(tài)外語教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探[J].中國外語，2010，（3）.

[12]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007，（5）.