多模態(tài)視覺下課堂教學(xué)話語配合研究

夏衛(wèi)華

（合肥師范學(xué)院外國語學(xué)院，安徽合肥230061）

?

多模態(tài)視覺下課堂教學(xué)話語配合研究

夏衛(wèi)華

（合肥師范學(xué)院外國語學(xué)院，安徽合肥230061）

[摘要]新媒體時代，圖片、動畫、聲音等越來越多的參與到課堂話語意義的建構(gòu)，通過對課堂教學(xué)實例的研究發(fā)現(xiàn)：同一教學(xué)階段需要文字、圖片、身體語言或多媒體等多種模態(tài)協(xié)同作用，共同配合來完成課堂語義的建構(gòu)以達(dá)到最佳教學(xué)效果;同一階段，同一種模態(tài)可能發(fā)揮著迥然不同的作用，而其中教學(xué)目標(biāo)對模態(tài)的選擇起著根本性的決定作用。

[關(guān)鍵詞]多模態(tài)話語；模態(tài)配合；教學(xué)目標(biāo)

1　多模態(tài)話語分析與語言教學(xué)

多模態(tài)話語分析是近二十幾年來發(fā)展并活躍于西方的一種新的話語分析方式。是O’Toole（1994）[1]，Kress和Van Leeuwen（1996/2006）[2]在Halliday的系統(tǒng)功能語言學(xué)（Halliday 1994）[3]的理論基礎(chǔ)上，提出的一種新的話語分析方式。在分析語言特征的同時強調(diào)圖像、動作、顏色、聲音等視覺、聽覺和行為方面的符號模態(tài)在話語中的作用[4]。不同的模態(tài)在不同的組織規(guī)則（語法）指導(dǎo)下，共同作用，互為補充，形成“合力”，有效地強化，補充，調(diào)節(jié)話語意義，使話語意義得以充分地表達(dá)，使聽話者有效地理解話語。

課堂話語研究是話語研究的一個方面，過去多集中在語言研究上。而隨著現(xiàn)代化教學(xué)手段的飛速發(fā)展，網(wǎng)絡(luò)，多媒體和PPT越來越多的占據(jù)課堂的主導(dǎo)地位。教學(xué)話語的多模態(tài)已成為一種趨勢。課堂教學(xué)不僅包括空間、手勢、眼神交流、身體語言，移動、而且包括聲音、腔調(diào)、口語、書面語、音樂、動畫，圖形、表格、圖畫等[5]因而本文在Kress & van Leeuwen（1996/2006）視覺語法理論的基礎(chǔ)上通過常態(tài)課堂的觀察探討了課堂教學(xué)話語中不同模態(tài)之間的相互配合。

2　研究語料來源及研究方法

本文的語料來自于一節(jié)常態(tài)的高級英語課堂教學(xué)，總長45分鐘。教學(xué)環(huán)境是按傳統(tǒng)模式安排的教室，前面是講臺，下面是幾排規(guī)則分布的桌椅。配有PPT投影設(shè)備。教學(xué)過程是學(xué)生根據(jù)老師的要求到講臺上展示其作業(yè)，老師則在講臺下觀察，間雜有與其他學(xué)生的雙邊交際活動，而后老師根據(jù)學(xué)生提供的內(nèi)容在講臺上點評和補充。

語言模態(tài)和文字模態(tài)仍舊是整個教學(xué)過程中重要的模態(tài)，但以PPT為載體的模態(tài)組合，包括圖像、圖表、文字、動畫、視頻和聲音等也發(fā)揮著非常重要的作用；此外教師和學(xué)生在教室的活動，教師和學(xué)生的肢體語言，面部表情，教室的空間布局，周圍的相關(guān)環(huán)境等等同樣對課堂話語意義的建構(gòu)起著必要的補充和調(diào)節(jié)作用。

本文以定性的方式探討不同的模態(tài)在實現(xiàn)話語意義中的作用以及各種模態(tài)如何協(xié)同作用來實現(xiàn)話語的意義。

3　課堂話語描述

教學(xué)的主題是美國使用原子彈轟炸廣島（the atomic bombardment of Hiroshima）。教學(xué)的目的一方面是幫助學(xué)生了解原子彈爆炸時的情況以及原子彈帶來的嚴(yán)重后果，從而提供一個可討論的話題并深刻認(rèn)識作者的寫作意圖，訓(xùn)練學(xué)生的語言能力和社會認(rèn)知能力；另一方面是鍛煉和培養(yǎng)學(xué)生搜集和整理資料的能力，并引導(dǎo)學(xué)生如何利用背景資料的補充來更充分地分析和理解課文。在這堂課中，老師和學(xué)生是交際者，老師控制并組織整個課堂，而學(xué)生則是學(xué)習(xí)者。雙方通過面對面的口頭交際，包括手勢，動作，表情，口氣，腔調(diào)等，以及PPT提供的圖像，視頻，動畫、聲音等進(jìn)行交流。

這堂課的教學(xué)過程包括以下六個教學(xué)階段：（1）課堂熱身，教師和學(xué)生互相問候，活躍氣氛并引導(dǎo)學(xué)生進(jìn)入學(xué)習(xí)氛圍。（2）導(dǎo)入階段，通過釣魚島事件，引入話題，明確這節(jié)課的主要教學(xué)任務(wù)，討論日本的軍國主義思想和美日關(guān)系；（3）主題揭示：通過觀看美國使用原子彈轟炸日本時的情況以及帶來的嚴(yán)重后果的視頻，引導(dǎo)學(xué)生找出課文的主題；（4）發(fā)展主題：美國為什么要使用原子彈而不是常規(guī)武器來轟炸日本，結(jié)合課文討論作者的寫作意圖和對我們的啟迪；（5）重點回顧：綜述該節(jié)課知識的要點，幫助學(xué)生反思；（6）結(jié)束：布置作業(yè)。

該堂課一共展示了11張PPT和一段視頻。按照內(nèi)容分成四個類別：圖片，顯示文字，圖片和文字，圖像和動畫。

幻燈片1由文字加圖片構(gòu)成，展示其作為標(biāo)題的語篇功能，標(biāo)題是一個介詞短語（About Atomic Bombs）和一幅原子彈爆炸后產(chǎn)生的蘑菇云圖片，其為名詞短語構(gòu)成的標(biāo)題提供更為詳細(xì)的信息，再配合展示者的口頭語言，多種模態(tài)配合使標(biāo)題信息非常突出，幻燈片2和幻燈片1差不多，只是將總標(biāo)題進(jìn)一步細(xì)化成4個小標(biāo)題（即原子彈研制的歷史，廣島和長崎爆炸的原子彈，爆炸后的場景以及影響）進(jìn)一步為學(xué)生提供更多的信息。

幻燈片3、4、8、9和10完全由文字組成，它們都具有標(biāo)題、作者、主題、發(fā)展、結(jié)尾等語篇特征。因而可以將其視為一個個獨立的小語篇，為課堂話語提供更加具體的文字信息，是師生對信息的共同確認(rèn)。

幻燈片5、6、7則提供了四幅圖片，分別是原子彈爆炸后的廢墟和原子彈爆炸受害者畸形的圖片。通過對學(xué)生的視覺的沖擊來傳達(dá)其潛在的話語：戰(zhàn)爭給人們所帶來的災(zāi)難和創(chuàng)傷，從而加深對課文的感性認(rèn)識和深刻理解。

幻燈片11則為一段視頻鏈接。這個錄像片用一系列的畫面展示了原子彈爆炸后廣島的滿目瘡痍和受害者的可怕景況。錄像是按照時間連續(xù)播放的。要想確定這段錄像的意義，可以考慮以下三個因素：（1）從語篇整體上講，作為話語單位主要切分單位的語篇主題的發(fā)展與各種因素的關(guān)系，是如何表現(xiàn)的。（2）從經(jīng)驗意義的角度講，過程（參與者和情景成分）是否發(fā)生了實質(zhì)性的轉(zhuǎn)變。（3）重點描述的與主題相關(guān)的處于前景的事物和特征，從而找到話語的信息結(jié)構(gòu)，在模態(tài)的形式上發(fā)現(xiàn)有意義的區(qū)別特征，用來構(gòu)建語法單位，并進(jìn)而體現(xiàn)語篇特征[6]。

根據(jù)這三個條件，這個視頻片段可以做如下分析：

圖1　視頻語篇的意義分析

這個視頻大體可以分成三個階段：引言階段由一個老人的講述引出話題——廣島的原子彈爆炸；第二階段是爆炸后整個城市的情況的展示；第三個階段則是受害者的慘狀。根據(jù)上述張德祿等提出的的三個條件，在每個階段截取多個錄像截屏圖片，包括有意義區(qū)別性錄像片段（即在視頻內(nèi)部表現(xiàn)出一定的一致性），將其視為一個事件，在語法上分析為一個功能結(jié)構(gòu)（見圖1）。而每個事件又表現(xiàn)出行動過程（原子彈爆炸和建筑物等被摧毀）、反應(yīng)過程（人們對原子彈爆炸整件事所做出的反應(yīng)）、心理過程（人們對原子彈爆炸有可能帶來的可怕的后果的思考和想象的過程）、分類過程（人們對原子彈爆炸帶來的后果進(jìn)行分類）和象征過程（即原子彈隊廣島及世界的未來的影響）。

在這個視頻中，錄像，配音，音樂和其他的聲音等三種模態(tài)協(xié)同作用，共同創(chuàng)建語篇的話語意義。其中配音最為明析，明確闡明了話語的整體意義和不同階段之間的聯(lián)系和具體意義。圖像則是對配音的直觀展示和補充，參與話語建構(gòu)，對語言話語進(jìn)行強調(diào)和補充。音樂則主要是烘托主題，抒發(fā)情感和切分不同的階段。

視頻的第一部分是從一個日本老人回憶開始，主要使用錄像，老人的話語和配音三種模態(tài)。向觀眾展示原子彈爆炸時的可怕場景。

第二部分則使用了錄像，音樂和配音三種模態(tài)。錄像展示的是原子彈轟炸過后所遺留下來的廢墟般的城市，給觀眾造成一個強烈的視覺沖突，突出原子彈帶來的巨大破壞性。這部分的配音，是由一個沉痛的女聲概要介紹原子彈爆炸而造成的人員死傷情況，配的是一段，低沉而緩慢的音樂，渲染出人們悲傷的情緒。

第三部分仍然是由錄像，音樂和配音三種模態(tài)共同構(gòu)成。錄像展示給觀眾的是很多在原子彈爆炸中受傷的人們，他們身上的外傷給觀眾一種觸目驚心的感覺，直觀地顯示出原子彈的巨大危害。配音則繼續(xù)介紹兩次原子彈爆炸所造成的人員傷害，尤其突出了輻射所帶來的后期影響。音樂仍舊悲傷而低沉，讓人覺得心情十分沉重。

每個事件是由一個內(nèi)部有一定一致性的圖段體現(xiàn)，每個圖段即為一個過程，過程中有矢量，參與者（老人，受害者等）和情景成分（斷壁殘垣），每個這樣的單位又可包括一到多個圖素。[6]因而，這段錄像可以作進(jìn)一步分析（見圖2）：

圖2　事件構(gòu)成分析

4　課堂話語中的模態(tài)配合

通過以上分析，我們可以看出在整個課堂話語中，語言模態(tài)是最主要的模態(tài)，老師用他來指導(dǎo)，駕馭和控制課堂，而學(xué)生則通過這種模態(tài)來學(xué)習(xí)知識，表達(dá)思想。但口語不能長期留存，無法提供形象和具體的信息等，因而課堂話語中PPT，圖像、動畫和錄像則成為口語模態(tài)的強有力的支持，再輔以教師肢體語言，和學(xué)生之間的互動，共同完成話語意義的建構(gòu)。下面我們來簡略分析一下各種模態(tài)是如何協(xié)同作用來實現(xiàn)課堂話語意義的建構(gòu)的。

這堂課的主要目的是借用知識討論來訓(xùn)練交際能力，加深對課文的理解。口語雖然是一種主要的模態(tài)，但單憑口語無法有效地完成交際和知識的傳輸，需要借助圖像，聲音，背景，空間環(huán)境等模態(tài)共同完成這課的教學(xué)任務(wù)，這樣各種模態(tài)之間就形成協(xié)同關(guān)系。

雖然各種模態(tài)在教學(xué)的各個環(huán)節(jié)都有參與，但每個環(huán)節(jié)根據(jù)自己的需要又都有所側(cè)重，與其他的階段有所不同。下面我們就這節(jié)課使用的六個環(huán)節(jié)來分析探討多種模態(tài)是如何協(xié)同作用完成教學(xué)任務(wù)的。（1）課堂熱身階段主要通過語言模態(tài)來完成交際，同時伴隨有老師和學(xué)生間的動作和互動來有效地幫助學(xué)生調(diào)整其注意力，完成課堂的組織工作。（2）導(dǎo)入階段以引入新知識和調(diào)動學(xué)生的興趣為主，所以教師不僅使用了語言模態(tài)，通過展示關(guān)于釣魚島事件的圖片來激發(fā)學(xué)生的學(xué)習(xí)興趣和聽說愿望，文字和口語共同提出綱要性的重點信息和背景知識，完成對美日關(guān)系的探討。（3）主題揭示階段比較繁雜，所以教師不僅使用了口語模態(tài)還動用了視頻，聲音，圖片和文字模態(tài)展示美國使用原子彈轟炸日本時的情況以及原子彈爆炸后的嚴(yán)重后果，引導(dǎo)學(xué)生通過討論找到課文的主題，認(rèn)識到戰(zhàn)爭的危害性。（4）發(fā)展主題階段教師主要利用口語和文字模態(tài)來幫助學(xué)生找到美國為什么要使用原子彈而不是常規(guī)武器來轟炸日本的原因，引導(dǎo)學(xué)生尋找作者的寫作意圖，更深理解課文。（5）教師利用口語和文字模態(tài)，簡單的再次呈現(xiàn)本節(jié)課的知識要點。（6）最后教師使用口語模態(tài)和書面文字布置作業(yè)。

5　　小結(jié)

實驗心理學(xué)家Treicher[7]通過大量的實驗證實:人們一般能記住自己閱讀內(nèi)容的10%，自己聽到內(nèi)容的20%，自己看到內(nèi)容的30%，自己聽到和看到內(nèi)容的50%，在交流過程中自己所說內(nèi)容的70%。這就是說，如果既能聽到又能看到，再通過討論、交流用自己的語言表達(dá)出來，知識的保持將大大優(yōu)于傳統(tǒng)教學(xué)的效果。這說明多種模態(tài)結(jié)合，不僅能充分調(diào)動學(xué)生視覺（文字、圖形、圖像、動畫等），聽覺（解說，背景音樂和逼真的效果）等各種感官處理功能；還能通過交互式操作刺激學(xué)生的觸覺，促進(jìn)感官和想象力的互相配合，非常有利于知識的獲取和保持。

總之，話語的多模態(tài)化已經(jīng)成為現(xiàn)代話語的一個突出的特點。教師在組織教學(xué)的過程中，各種模態(tài)之間互相協(xié)同，互補，強化，共同構(gòu)建了課堂語篇意義。但在上述常態(tài)課堂的教學(xué)觀察中，我們也發(fā)現(xiàn)雖然一節(jié)課中會使用到很多種模態(tài)，但并不是從始至終都是各種模態(tài)混用。模態(tài)的選擇和使用受到了交際目的和授課階段的制約。交際目的不同，所選擇的模態(tài)會有不同，階段不同，所需要的模態(tài)也會產(chǎn)生變化。只有根據(jù)需求，選擇了合適的模態(tài)，才能充分地強化語言信息的輸入，有力的促進(jìn)語言教學(xué)的發(fā)展，從而取得最佳的教學(xué)效果，提高外語教學(xué)水平。

參考文獻(xiàn)：

[1]O’Toole.The Language of Displayed Art [M].London: Leicester University Press,1994.

[2]Kress,G.Reading Images: The Grammar of Visual Design [M].London: Routledge，2004.

[3]Halliday,M.A.K.An Introduction to Functional Grammar [M].2nded.London: Edward Arnold,1994.

[4]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語,2009（10）:24-30.

[5]Jewitt,C.The Routledge Handbook of Multimodal Analysis [M].London: Routledge,2009.

[6]張德祿，李玉香.多模態(tài)課堂話語的模態(tài)配合研究[J].外語與外語教學(xué),2012（1）:39-43.

[責(zé)任編輯：余義兵]

作者簡介：夏衛(wèi)華（1974-），女，安徽金寨人，合肥師范學(xué)院外國語學(xué)院講師，碩士，研究方向為系統(tǒng)功能語言學(xué)和語篇分析。

基金項目：合肥師范學(xué)院一般教研項目（2014jy17）；安徽省哲學(xué)社科項目（AHSK11－12D260）。

收稿日期：2015-07-19

DOI:10.13420/j.cnki.jczu.2016.01.036

[中圖分類號]G642

[文獻(xiàn)標(biāo)識碼]A

[文章編號]1674-1102(2016)01-0148-03