視覺語法框架下英語聽說教材多模態(tài)研究

劉 燕

（山西大學(xué)商務(wù)學(xué)院外語系，山西 太原 030031）

一、引言

大學(xué)英語聽說課程教學(xué)中，傳統(tǒng)的單模態(tài)教學(xué)資源已遠遠不能滿足信息爆炸時代的學(xué)習需求，不利于提高學(xué)生的多模態(tài)識讀能力。聽說教學(xué)資源的多模態(tài)特性日益凸顯，各種符號系統(tǒng)與文字一起共同完成學(xué)生學(xué)習的意義構(gòu)建。多模態(tài)話語分析（Multimodal Discourse Analysis）借鑒系統(tǒng)功能語言學(xué)中元功能、語境等思想及社會符號學(xué)理論，對語言之外的模態(tài)及各種模態(tài)之間的相互關(guān)系進行分析。視覺語法便是具體分析視覺元素在意義構(gòu)建過程中的理論框架。本研究以視覺語法為框架，對現(xiàn)行大學(xué)英語聽說教材進行多模態(tài)話語分析，為聽說課程的多模態(tài)教學(xué)設(shè)計提出可行性建議，并指出多模態(tài)資源的選擇原則。

二、理論基礎(chǔ)

（一）多模態(tài)與多模態(tài)話語分析 “多模態(tài)”（multimodality）是一個跨學(xué)科的概念，在西方的研究中涉及到語言學(xué)、社會學(xué)、認知心理學(xué)、醫(yī)學(xué)、計算機等多種領(lǐng)域，在國內(nèi)，也已成為近年來的研究熱點，但主要集中在介紹、述評及應(yīng)用研究方面。顧曰國（2015）曾指出，mode，modality，module 三個術(shù)語均可用漢語“模態(tài)”一詞來對應(yīng)翻譯。其中mode 這一概念與本文中所涉及的modality 最為接近也最易混淆。以Halliday 為代表的系統(tǒng)功能語言學(xué)重視語言的語境，認為人們是用語言來做事，而這種“做事”正是通過對語言方式（mode）的選擇來實現(xiàn)意義。 Kress（2009）將這一術(shù)語拓展到各種能夠產(chǎn)生意義的符號系統(tǒng)。如圖像、音樂、顏色、手勢等。而modality 更強調(diào)人在處理符號信息時多種感官系統(tǒng)的調(diào)用。相對于傳統(tǒng)話語分析（Discourse Analysis），多模態(tài)話語分析（Multimodal Discourse Analysis）對語言之外的多種符號系統(tǒng)進行系統(tǒng)研究。其理論基礎(chǔ)主要建立在系統(tǒng)功能語言學(xué)及社會符號學(xué)上。

（二）視覺語法、聽覺語法 多模態(tài)話語分析（MDA）旨在研究各種表意元素是如何協(xié)同來構(gòu)建完整語篇或完成交際任務(wù)的，它同樣以功能語言學(xué)中的三大元功能（metafunctions）理論為切入點，認為其他符號資源也可以對應(yīng)實現(xiàn)概念、人際及語篇功能。Kress（1996，2006）在他所提出的視覺語法（Visual Grammar）中用再現(xiàn)意義（representational meaning）、互動意義（interactive meaning）、構(gòu)圖意義（compositional meaning）來對應(yīng)圖像等符號系統(tǒng)元功能的實現(xiàn)。聽覺語法與視覺語法極為類似，同樣認為聲音符號系統(tǒng)也可對應(yīng)體現(xiàn)概念、人際、語篇功能。比如通過音量的不同級別（親密、個體、非正式、正式及公共場合）等來實現(xiàn)人際功能如觀點、社會身份差距等。

三、大學(xué)英語聽說教材的多模態(tài)話語分析

隨著技術(shù)及網(wǎng)絡(luò)的發(fā)展，現(xiàn)行的大學(xué)英語聽說教材多模態(tài)特性越來越明顯，然而在具體的課堂教學(xué)中仍是以老師播放音頻視頻，學(xué)生做題，然后老師講解這樣的傳統(tǒng)方式為主，課堂效率低，教學(xué)效果差。究其原因，很大程度上是由于教材的多模態(tài)特性沒有得到很好的體現(xiàn)和應(yīng)用?！缎乱曇按髮W(xué)英語視聽說教程》是國內(nèi)大部分高校聽說課程所使用的教材，以此教材為例，對其進行多模態(tài)話語分析，有助于構(gòu)建聽說課程的多模態(tài)教學(xué)模式。

（一）與傳統(tǒng)單模態(tài)教材內(nèi)容對比 首先，從模態(tài)運用對比來看，20世紀末所使用的英語聽說教材中主要出現(xiàn)一種視覺模態(tài)，二級模態(tài)形式主要體現(xiàn)在文字及少量圖像上；而現(xiàn)行的聽說教材則以視覺、聽覺模態(tài)共同為主導(dǎo)，二級模態(tài)形式有圖像、聲音、文字等多方面。從文字與圖像使用比例來看，傳統(tǒng)教材中每單元中圖像所占比例極少，不足半幅頁面，且主要出現(xiàn)在頁面頂端或左面。也就是說，傳統(tǒng)教材中語言模態(tài)的密集度要比多模態(tài)教材高很多?，F(xiàn)行的多模態(tài)教材更加注重視覺聽覺模態(tài)之間的協(xié)同與轉(zhuǎn)換，以此來達到提高學(xué)生多模態(tài)識讀能力的目的。

其次，從圖像類型來分析，Jones（2006）把圖像分為三種類型：及物性圖像（Experientially-oriented visuals）：主要包括照片、表格等；人際性圖像（Interpersonally-oriented visuals）：主要包括動畫等；語篇性圖像（Textually-oriented visuals）：主要包括商標、圖標、按鈕圖示等。傳統(tǒng)教材僅使用圖示圖標等來實現(xiàn)語篇功能，而現(xiàn)行多模態(tài)教材則在此基礎(chǔ)上更多地使用照片、表格來實現(xiàn)概念功能，使用動畫音頻視頻等來實現(xiàn)人際功能。這種差別的原因在于多模態(tài)教材更加注重語言的交互性。

另外，在色彩的選擇和應(yīng)用上二者也存在巨大差距。多模態(tài)教材的色彩運用更加突出醒目，豐富多樣。綜合上述分析，隨著科技網(wǎng)絡(luò)等的發(fā)展及新形勢下大學(xué)英語教學(xué)改革的要求，多模態(tài)化的英語聽說教材應(yīng)運而生，從而滿足學(xué)生新的學(xué)習需求。

（二）現(xiàn)行大學(xué)英語聽說教材中視覺圖像元功能的體現(xiàn) 根據(jù)Kress（1996，2006）的視覺語法，視覺符號的元功能體現(xiàn)是一個極為龐雜的體系，篇幅有限，不可能一一分析?，F(xiàn)以《新視野大學(xué)英語視聽說教程》第二冊中的一些圖像為例來進行分析。

首先，視覺圖像的再現(xiàn)意義（representational meaning）又可分為敘述再現(xiàn)（narrative representation）和概念再現(xiàn)（conceptual representation）（張敬源，2012）。兩者之間最大的不同在于有沒有在圖像元素之間由斜線構(gòu)成的矢量。在第一單元的part 1中，正文之前的插圖顯示為兩張樂器的照片，一張為小提琴，另一張為薩克斯。作為一個整體的圖像可以被看作是沒有矢量的概念過程。由于圖中的樂器象征音樂從而使讀者聯(lián)想到這個單元的主題，說明圖像中的參與者“是什么或意味著什么”，顯然應(yīng)該屬于概念再現(xiàn)中的象征過程（symbolic process）。象征過程根據(jù)圖像涉及到的參與者的數(shù)量又分為象征暗示（symbolic suggestive）和象征屬性（symbolic attribute），此圖由于只有一個參與者，應(yīng)屬于象征暗示。這樣，圖像的象征意義通過減少細節(jié)及環(huán)境的強調(diào)得以實現(xiàn)，音樂的主題便建立起來。

其次，互動意義（interactive meaning）的實現(xiàn)通過三方面的要素：接觸（contact），社會距離（social distance）和態(tài)度（attitude）。其中，最直接的要素是接觸，它是指圖像觀看者與參與者之間的一種關(guān)系，主要通過目光注視來實現(xiàn)。我們同樣以上面插圖為例，圖像中沒有眼神目光注視，所以應(yīng)屬于一種信息的提供（offer），而非索取（demand）。最后，構(gòu)圖意義（compositional meaning）的實現(xiàn)主要依賴三種資源，即信息值（information value），顯著性（salience）和取景（framing）。其中，信息值主要考慮的是圖像中元素的位置安排如何體現(xiàn)元素的重要地位。顯著性主要依賴視覺來判斷元素間重要性的次序，這種判斷相對來講比較主觀。構(gòu)圖意義不僅局限于圖像本身，還涉及到圖像、視頻等與文字之間的關(guān)系，如在第一單元中，圖像位于頁面正中，這樣圖像的信息值和顯著性通過位置和大小直觀地顯現(xiàn)出來，從而強調(diào)了本單元的主題。

四、大學(xué)英語聽說教學(xué)的多模態(tài)啟示

（一）大學(xué)英語聽說教學(xué)中的多模態(tài)資源選擇

1.不同模態(tài)之間的關(guān)系

綜合研究大學(xué)英語聽說課程中的所有模態(tài)，發(fā)現(xiàn)各種模態(tài)之間的關(guān)系可以總結(jié)為主次關(guān)系和并列關(guān)系。主次關(guān)系意味著所有模態(tài)均服務(wù)于主要模態(tài)，次要模態(tài)的作用是支持、輔助主要模態(tài)。英語聽說課程不同于其他英語課程，僅僅依靠閱讀教材不能提高學(xué)生的理解力。因此，聽說課程中為學(xué)生提供主要知識來源的為文字模態(tài)和聽覺模態(tài)。其他模態(tài)作為補充，是表達意義的工具，而不是課程的主要內(nèi)容。并列關(guān)系意味著各種模態(tài)之間是互動與合作的。在語言交際與教學(xué)過程中，單一模態(tài)是無法完整地構(gòu)建意義的，多種模態(tài)的協(xié)同操作是教學(xué)的有效途徑。也就是說，圖像、音樂、視頻等多種模態(tài)的相互配合能夠提高課堂效率。

2.多模態(tài)資源的選擇標準

在大學(xué)聽說英語課程中選擇多模態(tài)資源需遵循一定原則，按照教學(xué)目標來進行選擇可達到事半功倍的效果。隨機盲目的選擇只能降低效率。結(jié)合上述分析，多模態(tài)資源的選擇需遵循以下原則：1）多模態(tài)的使用需提供補充信息：在課堂教學(xué)的設(shè)計過程中，其他模態(tài)的使用可用來強化或補充完整地意義構(gòu)建。如PPT 的使用，其內(nèi)容應(yīng)該是聽說練習的延伸，對聽說訓(xùn)練的背景介紹或?qū)τ?xùn)練要點的總結(jié)。2）多模態(tài)的選擇應(yīng)該幫助教師吸引學(xué)生注意力：傳統(tǒng)聽說課堂耗時長，練習形式單一，學(xué)生容易感到疲憊乏味。生動幽默的圖像視頻等多模態(tài)資源顯然更能激發(fā)學(xué)生的興趣。3）多模態(tài)的選擇應(yīng)該使學(xué)習材料更容易被理解吸收：單模態(tài)的語言教材太過抽象概括，學(xué)生聽起來晦澀難懂，動態(tài)圖、情境圖、相關(guān)視頻等可使得聽力資料簡單化。

（二）大學(xué)英語聽說教學(xué)多模態(tài)設(shè)計原則 根據(jù)上述分析，結(jié)合對學(xué)生的訪談及問卷調(diào)查發(fā)現(xiàn)多模態(tài)系統(tǒng)從多方面來講非常適合運用到大學(xué)英語聽說教學(xué)中。然而，在現(xiàn)行的多模態(tài)聽說教學(xué)方法中仍存在缺點和不足之處。比如過多使用多模態(tài)資源會分散學(xué)生注意力，弱化學(xué)習過程。通過對《新視野大學(xué)英語視聽說教程》的多模態(tài)話語分析發(fā)現(xiàn)，多模態(tài)資源協(xié)同作用來實現(xiàn)符號系統(tǒng)的再現(xiàn)意義、互動意義及構(gòu)圖意義。

由此可以給出大學(xué)英語聽說教學(xué)多模態(tài)設(shè)計方面的一些建議：1）多模態(tài)應(yīng)該被引入大學(xué)英語聽說課堂；2）文字模態(tài)及聽覺模態(tài)應(yīng)被強化，因為其傳遞學(xué)生學(xué)習的最重要信息；3）社會背景及跨文化知識有助于提高學(xué)生的聽說綜合技能；4）視頻、網(wǎng)絡(luò)、PPT 等多媒體輔助手段能夠提供適當?shù)难a充信息，但教師要控制把握好這些手段的使用；5）教材內(nèi)容相對有限，課堂中應(yīng)增加更多額外相關(guān)的聽說訓(xùn)練；6）教師應(yīng)協(xié)調(diào)掌控除教材內(nèi)容之外的其他多模態(tài)資源，如教師話語、手勢等，提示學(xué)生更多關(guān)注各種多模態(tài)符號來獲取更多有用信息，提高多元識讀能力。

結(jié)語

結(jié)合對英語聽說教材的多模態(tài)話語分析，得出了大學(xué)英語聽說教學(xué)的多模態(tài)設(shè)計啟示及多模態(tài)資源的選擇標準，以此來促進課堂教學(xué)。在選擇多模態(tài)資源的時候，文化、語境、內(nèi)容等也是必要的要素，從而決定哪些模態(tài)是主要模態(tài)，語言模態(tài)和非語言模態(tài)之間的關(guān)系如何等。今后的研究還可以更為全面深入，如結(jié)合教師課堂話語、身體語言等進行多模態(tài)話語分析，為多模態(tài)聽說教學(xué)模式提供更可靠理據(jù)。