基于外語微課的多模態(tài)話語分析

陳小近

(浙江金融職業(yè)學(xué)院,浙江杭州 310018)

隨著當代信息技術(shù)的發(fā)展和電子媒介的使用，以話語為基礎(chǔ)的溝通方式也逐漸由單模態(tài)到多模態(tài)方向轉(zhuǎn)變。因此，傳統(tǒng)的話語分析方法可能無法滿足新時代的要求，而多模態(tài)話語分析的視角則應(yīng)運而生了。多模態(tài)話語分析起源于韓禮得的系統(tǒng)功能語言學(xué)和Kress & Van Leeuwen的視覺語法等理論。國內(nèi)學(xué)者主要有胡壯麟對多模態(tài)話語進行系統(tǒng)的分析和研究和張德祿的多模態(tài)話語分析框架。

而教師課堂話語分析則是典型的動態(tài)化多模態(tài)話語分析方法，因為教師的課堂教學(xué)涉及多種模態(tài)類型。盡管也有不少學(xué)者通過多模態(tài)的視角研究課堂話語，但是很少研究會涉及課堂內(nèi)的所有話語模態(tài)。而且涉及到課堂教學(xué)的研究較少，且定性分析較少，而通過一定語料進行的定性定量分析則更不多見。大部分的研究還處在對不同的模態(tài)進行科學(xué)的分類，而不是研究不同模態(tài)之間的協(xié)調(diào)和配合。鑒于這樣的背景，有必要對課堂多模態(tài)話語的視覺聽覺模態(tài)之間的協(xié)調(diào)配合進行定性定量研究。

1 外語微課話語的模態(tài)類型及語言符號層次分析

本研究依托張德祿的多模態(tài)話語分析框架，以中國外語微課大賽中獲得一等獎的微課作為課堂話語的研究語料，通過統(tǒng)計和分析，從定量方面，研究教師課堂多模態(tài)話語在微課視頻的結(jié)構(gòu)和制作環(huán)節(jié)中的語篇類型、層次結(jié)構(gòu)和模態(tài)特征，應(yīng)用多模態(tài)語篇分析的理論框架，分析整理不同模態(tài)之間的概念、組篇和互動意義，以此探究模態(tài)的特征和協(xié)同方式，為教師制作和使用多模態(tài)和信息技術(shù)提供借鑒，從而協(xié)調(diào)微課制作過程中不同模態(tài)的合作，提高微課的制作效果。

1.1 微課堂多模態(tài)類型和層次分析

多模態(tài)話語涉及話語交際的途徑、多種模態(tài)和符號媒介幾個因素。 交際途徑主要有視覺、聽覺、觸覺等，符號媒介包括各類多媒體設(shè)備，符號媒介包括語言以及體勢語、圖像、聲音等伴語言。就微課程中的教師課堂話語而言，研究發(fā)現(xiàn)，教師除了使用語言模態(tài)，還大量使用了其他模態(tài)形式，如PPT的大量使用和身體語言對抽象概念進行解釋。而類似于圖像、文本、表格和圖標這類模態(tài)與身體語言，如手勢、面部表情、姿態(tài)一起構(gòu)成視覺模態(tài)。而教師的講解類語言和視頻音頻模態(tài)則都屬于視聽模態(tài)。結(jié)合多模態(tài)話語分析理論和張德祿的多模態(tài)理論分析框架，微課視頻中出現(xiàn)的所有模態(tài)可以做以下層次劃分：

圖1 視覺模態(tài)構(gòu)成圖

圖2 聽覺模態(tài)構(gòu)成圖

因此，從上圖1、圖2中，我們可以將多模態(tài)微課中的符號資源進行分類和解析，因為在PPT中，聲音模態(tài)和圖片模態(tài)在視頻中是同時出現(xiàn)和被聽到的，所以可以是嵌入視頻的圖片和聲音。在被分析的微課視頻中，很多都是教師用特定的教學(xué)軟件自制的微課，所以在視頻的組織形式上，教師出鏡的情況反而不是很多。因此，在對出現(xiàn)的模態(tài)進行標記的過程中，教師的身體動作，面部表情這些涉及到教師多模態(tài)話語的因素將不占主導(dǎo)。

1.2 微課堂多模態(tài)元素的相互關(guān)系

不同的模態(tài)之間在意義表達層面上是如何相互交流，并構(gòu)成意義，首先要弄清楚的是不同模態(tài)之間互補或非互補的關(guān)系?；パa關(guān)系是指當某一個單一模態(tài)無法全面表達意義時，則需要其他模態(tài)進行補充。而互補模態(tài)則可以分為強化與非強化。強化關(guān)系可以理解為，一種模態(tài)是作為主要的溝通方式，而其他一種或多種模態(tài)則是作為補充。因此強化關(guān)系可以分為強調(diào)、主要和次要以及延伸。如喜劇表演舞臺是作為背景信息出現(xiàn)的，而身體與肢體語言則是作為語言的補償，而語言與動作或表演是主要模態(tài)與次要模態(tài)的關(guān)系。而非強化關(guān)系通常也有三種，分別是合作、聯(lián)合和交叉。而模態(tài)之間的非互補關(guān)系則是指第二種模態(tài)在意義表達上并不承擔大部分責(zé)任，但是仍有存在的必要。而非互補模態(tài)則分為重疊，包含和情境交流。重疊是指一種或多種模態(tài)同時出現(xiàn)，但并不是強化的關(guān)系。當演說者說到相關(guān)內(nèi)容時，PPT也出現(xiàn)，就是重疊。而在意義表達上并不對意義的構(gòu)建產(chǎn)生新的意義，只是給出更具體的信息叫做包含關(guān)系。而在情境交流中，情境只是被動參與交流而不是主動參與意義的構(gòu)建。

因此，所有的語言和非語言都可以表達意義，作為語言不僅僅純粹的語言本身還包括伴語言，伴語言包括語音語調(diào)或是語速。而非語言因素則包括手勢，頭部移動，面部表情和姿態(tài)。甚至還包括非語言因素如工具和環(huán)境。

2 多模態(tài)微課研究設(shè)計

2.1 微課及微課設(shè)計

信息技術(shù)時代的到來，使得教學(xué)的形態(tài)發(fā)生了劇烈的變化，翻轉(zhuǎn)課堂、微課程等教學(xué)方式應(yīng)運而生。翻轉(zhuǎn)課堂是以微課程、微課視頻為基礎(chǔ)和載體的，按照教學(xué)實踐要求和課程標準，教師在教學(xué)過程中就某個知識點、重難點或某個教學(xué)環(huán)節(jié)而開展的教學(xué)過程。而外語學(xué)習(xí)過程中微課的引入是必要且關(guān)鍵的內(nèi)容，也是今后外語課堂或課程改革的核心。首先，微課程將過去的第二課堂或者自主學(xué)習(xí)平臺通過新的方式整合，提升學(xué)習(xí)的效率和學(xué)生學(xué)習(xí)的主動性；同時，就大學(xué)英語的課堂而言，班級龐大，課時有限，一直都是存在的問題，而語言學(xué)習(xí)時間是非常重要的；因此，微課程的存在可以解決這一問題，學(xué)生可以在基本課時以外，有多余的時間可以進行語言的練習(xí)，并且通過微課程，完成一系列有針對性的，定制好的任務(wù)。

2.2 研究對象和內(nèi)容

研究語料為中國外語微課網(wǎng)上獲得一等獎的微課視頻，課程和設(shè)計具備代表性和示范性。這些微課視頻設(shè)計英語口語、寫作、英語文化、商務(wù)英語、中國文化、英文俗語等內(nèi)容，在課程設(shè)計、內(nèi)容組織、課件選擇、語言的選取上，這些微課都具備較高的設(shè)計水準和較好教學(xué)效果。在課件的制作手法上，軟件和硬件的使用比較基礎(chǔ)，但是在課堂設(shè)計上具有代表性和示范性。

本研究主要關(guān)注以下幾個問題：一是這些優(yōu)秀外語微課包括哪些類型多模態(tài)話語因素？二是哪些多模態(tài)話語資源對微課的質(zhì)量起到了決定因素？三是微課中的多模態(tài)話語呈現(xiàn)何種特點？本研究結(jié)合張德祿( 2010) 的多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)和多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用( 2009)；張德祿將多模態(tài)類型分為語言和非語言兩大類。語言包括教師的口頭語言、PPT 或紙質(zhì)教材呈現(xiàn)的文字語言和伴語言；伴語言包括升調(diào)、降調(diào)、字體形狀及大小等特征。在這個框架中，語言和圖畫作為交際模態(tài)共有意識形態(tài)、體裁、語域和話語意義四個層面。在意義和表達層面，圖片是視覺語法，語言則是詞匯語法。

3 微課作品的多模態(tài)話語分析

3.1 文字模態(tài)及意義構(gòu)建

文字模態(tài)文字模態(tài)一般情況下分為以下幾種：標題式文字模態(tài)，提綱式文字模態(tài)，文本類文字模態(tài)，過渡或提示型文字模態(tài)。在微課課件中，單純的文字模態(tài)會具有不同的作用，對意義的構(gòu)建都起到了至關(guān)重要的作用，有時候文字呈現(xiàn)方式的簡單差異對意義的生成或?qū)φZ言知識的輸入的作用是巨大的。因此，在對文字模態(tài)進行設(shè)計的時候，要關(guān)照到這種差異，并且對此類模態(tài)進行一定程度的調(diào)整或協(xié)同，就能極大提升教學(xué)的效果。

從這幾組微課的文字模態(tài)中可以看出，純文字模態(tài)也可以有各種變化，微課視頻中有一種一頁一句話的文字模態(tài)，出現(xiàn)這樣的模態(tài)主要是為了提升學(xué)生的注意力，為即將到來的下一個章節(jié)的內(nèi)容提供過渡。這樣的模態(tài)能產(chǎn)生較好的互動效果，引發(fā)學(xué)生的思考，大量的頁面留白能給學(xué)生較大的視覺沖擊，內(nèi)容雖少，但輸入效果精煉。提綱式的文字效果圖較為簡練，將文字模態(tài)以非常規(guī)的方式內(nèi)嵌在背景畫布中，關(guān)注協(xié)調(diào)性和整體感，起到了突出和強化的作用。還有通過字體大小產(chǎn)生變化的文字模態(tài)，用字體的大小或排列來表現(xiàn)思維的層次和內(nèi)容的重要性，讓學(xué)生知道在進行信息輸入時的著重信息的主次和取舍。用顏色的變化來產(chǎn)生差異的文字模態(tài)，可以突出強化關(guān)鍵信息，提升整體課件內(nèi)容的互動感，這一操作十分簡單，但效果明顯。

3.2 圖文模態(tài)的形態(tài)和意義構(gòu)建

純粹的圖片模態(tài)在微課設(shè)計中并不常見，大多數(shù)情況下，都是圖片模態(tài)和文字模態(tài)的結(jié)合，差別在于圖片是處于核心地位的模態(tài)還是文字處于核心地位。圖文模態(tài)的搭配靈活性強，變化較多，在構(gòu)建意義，構(gòu)建文化語境以及情境語境方面也起到了核心的作用。圖片模態(tài)和文字模態(tài)的結(jié)合使課件的生動性、易理解性、直觀性瞬間有了大幅度的提升，配上微課精心設(shè)計的演示功能，語言輸入的效率瞬間提升。圖片模態(tài)在多模態(tài)的協(xié)調(diào)配合中，一般構(gòu)成文化或情境語境，形成視覺語法，文字模態(tài)則完成語言的信息輸入，或是補充、解釋、說明，搭建語言學(xué)習(xí)的基礎(chǔ)和內(nèi)核，和圖片模態(tài)一起完成意義的構(gòu)建。

在以文字模態(tài)為核心的模態(tài)組合中，圖片模態(tài)的存在主要是為了作為演示背景，或者作為強化凸顯文字內(nèi)容，或者作為均等的信息輸入元素共同建構(gòu)意義。這樣的多模態(tài)組合多用來解釋概念，對具體教學(xué)內(nèi)容進行陳述，或具體章節(jié)進行詳細拓展，也有大量提綱式內(nèi)容。所有以上情境中，文字都是作為主導(dǎo)模態(tài)，對意義的構(gòu)建起到推介、推動、解構(gòu)甚至融合的作用，而圖片模態(tài)的作用在這種多模態(tài)組合中多半起到補充或強化的作用，有些情境語境中，只是起到背景的作用。而在圖片模態(tài)為主的模態(tài)組合中，圖片模態(tài)是信息構(gòu)建的主體，文字知識起到補充說明的作用。在提綱式多模態(tài)組合中，圖片的存在地位顯著，主要是使信息接受者對信息的輸入內(nèi)容有整體的把握，通常圖片模態(tài)處在核心位置，且內(nèi)容契合度高。還有一些模態(tài)組合中，圖片模態(tài)就是語言，就是信息輸入的內(nèi)容，這些模態(tài)多存在對視覺要求比較高的模態(tài)。

3.3 視頻與視聽模態(tài)的形態(tài)和意義構(gòu)建

視頻與視聽模態(tài)也是外語微課設(shè)計的一個主要構(gòu)成和展現(xiàn)形式。雖然在這些微課的多種模態(tài)中，視頻模態(tài)所占比重并不大，但是在整體設(shè)計中，視頻或視聽模態(tài)起到的是畫龍點睛的作用。常見的聽覺模態(tài)是切換背景音以及課件演示時候的背景音樂或聽覺模態(tài)的素材，使用頻率也比較高。而微課的單純視頻模態(tài)多半以簡短的小視頻為主，與課件信息主體相關(guān)，或著重或強調(diào)說明相關(guān)教學(xué)信息。而且視頻通常簡短，且配上文字圖片或者是解說，微課視頻的主導(dǎo)形式。

微課設(shè)計最主要的功能主要是視覺模態(tài)，尤其是換頁效果和旋轉(zhuǎn)效果這些細節(jié)，以非常簡單的操作具備flash動畫的效果。因此，在課件設(shè)計上，需要首先處理好課程內(nèi)容的邏輯流程，在制作具體內(nèi)容的時候，注意所有元素的搭配，形成層次感，元素的位置要具備一定的邏輯性，且要有一定的設(shè)計感。在使用PPT的動畫功能的時候，一定要做好設(shè)計，否則這一動畫效果就很難達到預(yù)期效果。在視頻框的周圍配上可以旋轉(zhuǎn)的文字內(nèi)容，可以達到配合完美的視覺效果，這樣的視頻多模態(tài)的搭配，能形成簡單的動畫效果。而文字模態(tài)與視頻模態(tài)則是互補的關(guān)系，共同構(gòu)成了flash動畫才能達成的多模態(tài)效果。圖片與文字的搭配，并且配上談話框，加上淡入淡出與換頁效果，簡單的動畫模式也可以實現(xiàn)。

3.4 非語言模態(tài)及意義構(gòu)建

教師的言語模態(tài)在微課中的表現(xiàn)主要是講解和背景音，具有同質(zhì)性。而在教師的非語言模態(tài)方面，教師的表情，語速，手勢語狀態(tài)，都以拉近與學(xué)生距離為主。這說明教師很注重與學(xué)生的溝通質(zhì)量和教學(xué)效果，這些非語言模態(tài)體現(xiàn)了人際意義。在伴語言模態(tài)的使用上，教師多用降調(diào)強調(diào)重點內(nèi)容，而幾位教師教師降調(diào)的調(diào)用頻率基本保持一致。手勢作為很重要的非語言模態(tài)，教師在微課的過程中也是頻繁使用的，有一位老師將手勢的運用作為微課素材展現(xiàn)的一個環(huán)節(jié)，體現(xiàn)的是話語的語篇意義和概念意義。但其他教師的手勢語主要是為了引起學(xué)生注意、降低學(xué)習(xí)難度或者強調(diào)重點信息，主要體現(xiàn)了語言模態(tài)的人際意義，提升了學(xué)生對意義的獲取能力。

4 結(jié) 語

綜上所述，外語微課設(shè)計實際上構(gòu)成了一種新的多模態(tài)表達方式，很多多模態(tài)的參與方式實際構(gòu)成了一個獨立的符號層，并且構(gòu)成了整體課件的語篇框架。它是語篇體裁的“體現(xiàn)樣式”，對意義建構(gòu)起著十分關(guān)鍵的杠桿和調(diào)節(jié)作用。微課的精心設(shè)計與教學(xué)環(huán)境、教師角色一起構(gòu)成了意義表達的完整語類。無論處在什么樣的教學(xué)環(huán)境和學(xué)生的學(xué)習(xí)需求，學(xué)生對多模態(tài)課件普遍持肯定的態(tài)度。因此，好的課件設(shè)計和工具是具有普遍與剛性需求的，人類對某些工具有一定的依賴性。微課設(shè)計上的優(yōu)勢和對外語課程的輔助性，是具備非常大的優(yōu)勢的。因此微課設(shè)計不僅要充分顯示社會符號的多模態(tài)性的形式功能，更要在語篇構(gòu)建，意義的再生成，文化語境和情境語境的再現(xiàn)方面顯示出獨特的作用。完整和精心的課件設(shè)計不僅能提升語言課堂語言信息輸入的效率，并且還能滿足學(xué)習(xí)者思維層次的需求，從而真正體現(xiàn)多模態(tài)輸入工具的價值。