多模態(tài)語篇分析視閾下綜合英語課程微課模式探析

瞿 慧 吉文凱

(西安外國語大學(xué)， 西安 710128)

一、引言

近年來，隨著融媒體、新媒體的發(fā)展，外語教學(xué)已不再固守傳統(tǒng)，微課、慕課等新型課程模式的出現(xiàn)也為傳統(tǒng)的課程帶來了新的轉(zhuǎn)機。綜合英語本是一門旨在提升英語專業(yè)學(xué)生聽、說、讀、寫、譯等多種語言技能的知識性專業(yè)課程，但隨著英語專業(yè)改革的深化，綜合英語已經(jīng)轉(zhuǎn)向以英語基本功學(xué)習(xí)為基礎(chǔ)，培養(yǎng)學(xué)生“運用所學(xué)知識和技能進行批判性思考，并結(jié)合顯示生活中的實際問題或熱點話題展開討論，表達(dá)觀點，培養(yǎng)思辨能力”的課程[1]。在此背景下，外語教師應(yīng)著力思考如何借助新技術(shù)和新的課堂組織模式，最大限度激發(fā)學(xué)生興趣，提升授課效率，延拓課程內(nèi)涵，調(diào)動其批判性思維。板書和講解可以最大限度幫助學(xué)生打下堅實的語言基本功，但在知識闡釋、視野延伸、感官調(diào)動等方面卻存在效率低下的弊病。微課和慕課等線上課程通過新媒體技術(shù)的使用，以圖片展示、動畫播放、教師講解畫面、音頻背景、視頻短片等多種表達(dá)方式，以全景方式將知識點傳播給受眾，是較為理想的教學(xué)方式。但由于缺乏系統(tǒng)性理論的指導(dǎo)，很多微課僅僅變成了傳統(tǒng)課堂簡單的錄制?；谡n程設(shè)計是否“有意識選擇模態(tài)和模式來表現(xiàn)現(xiàn)實”，張德祿[2]將多模態(tài)外語課堂的設(shè)計歸納為五類：教材權(quán)威型、知識獲取型、技能訓(xùn)練型、經(jīng)歷體驗型和資源發(fā)展型。不僅多模態(tài)外語教學(xué)課堂需要設(shè)計，基于實體課堂的微課也需要設(shè)計。

二、多模態(tài)話語

根據(jù)朱永生[3]對多模態(tài)話語性質(zhì)的分析，多模態(tài)話語判斷標(biāo)準(zhǔn)包括兩個方面：模態(tài)的種類和涉及符號系統(tǒng)的數(shù)量。模態(tài)種類指人類和外界進行接觸所依賴的各種感知通道，比如閱讀過程中我們動用的是視覺通道，聽廣播我們動用的是聽覺通道，這些都可以稱為單模態(tài)；而看電視我們動用了視覺和聽覺兩種通道，這就是多模態(tài)。符號系統(tǒng)包含文字、圖像、顏色、版式等。因此，即便針對第一條標(biāo)準(zhǔn)(感知通道)下的單模態(tài)，比如閱讀(視覺)，如果閱讀內(nèi)容呈現(xiàn)方式不止有文字，還有圖片、算式等符號，由于涉及了兩種符號，也屬于多模態(tài)。

微課所包含的模態(tài)主要涉及視覺和聽覺兩種模態(tài)，而在視覺模態(tài)下則又包含了除了語言符號之外的圖片、符號等多種符號形態(tài)，因此本研究中多模態(tài)所指的是多種符號，即圖像和文本之間的協(xié)同和轉(zhuǎn)換。

三、圖文關(guān)系理論基礎(chǔ)

韓禮德(1994)認(rèn)為大于小句的單位(復(fù)句)應(yīng)該從相互關(guān)系類型和邏輯語義關(guān)系兩個系統(tǒng)層面來描寫, 這兩個系統(tǒng)一起構(gòu)成小句復(fù)合體的功能性框架。韓禮德系統(tǒng)功能語法中小句理論認(rèn)為，應(yīng)該從相互關(guān)系和邏輯語義兩個層面對大于小句的單位(復(fù)句)進行描寫[4]。具體關(guān)系如下圖所示：

Martin和Salway借鑒了Kress和VanLeeuwen利用功能語法理論研究圖像模態(tài)與多模態(tài)語篇的方法, 主要借用功能語法中小句關(guān)系理論闡述多模態(tài)語篇的圖文關(guān)系。兩位學(xué)者[5]認(rèn)為, 如果從圖文之間的地位關(guān)系去觀察，圖文關(guān)系的實現(xiàn)方式與邏輯-語義視角的實現(xiàn)方式是不同的, 因此探討圖文關(guān)系必須從兩方面或兩個子系統(tǒng)進行：地位關(guān)系與邏輯-語義關(guān)系。

借用韓禮德功能語法理論中小句關(guān)系理論(見圖1)，即從相互關(guān)系和邏輯語義兩個層面對復(fù)句進行描寫，Martin和Salway[6]闡述了多模態(tài)語篇中的圖文關(guān)系，他們認(rèn)為圖文之間的關(guān)系應(yīng)該從地位關(guān)系和邏輯語義關(guān)系兩個方面進行系統(tǒng)化的描寫[7]。圖文關(guān)系可以以下圖加以呈現(xiàn)：

圖1

圖2

在外語教學(xué)領(lǐng)域中，張德祿探討了外語課堂教學(xué)中的設(shè)計，以及設(shè)計對模態(tài)系統(tǒng)的調(diào)用。在教學(xué)設(shè)計對模態(tài)系統(tǒng)進行選擇的三個一般原則中提到了適配原則——包括強化原則，多種模態(tài)選擇時一個模態(tài)為主，另一模態(tài)對其進行強化；協(xié)調(diào)原則，同時選用多個模態(tài)時，模態(tài)間需要協(xié)調(diào)配合；前景原則，同時選用多種模態(tài)時，主模態(tài)位于前景，其他模態(tài)提供背景；抽象具體原則，同時選用多種模態(tài)時，一種模態(tài)表達(dá)的內(nèi)容較為抽象和概括，其他模態(tài)通過舉例、解釋、說明等方法使其容易理解[8]。

該原則針對的是涉及視覺、聽覺等多種感官系統(tǒng)的多模態(tài)語言，也適用于視覺模態(tài)下融合多種符號的多模態(tài)語言，即圖像(包括各種符號)和文本融合形成的多模態(tài)語言。在這種情況下，強化原則表示同時選用多種符號時，一種符號為主模態(tài)，其他類型符號對其進行強化，從而突顯意義的表達(dá)。結(jié)合Martin和Salway的圖文關(guān)系分析，即地位關(guān)系下的圖文獨立關(guān)系，協(xié)調(diào)原則強調(diào)各種符號系統(tǒng)的調(diào)用和相互依賴，即地位關(guān)系下的圖文依賴。抽象和具體原則對應(yīng)的則是邏輯語義關(guān)系下的擴展層面中的詳述、闡釋、例證、延伸和增強的關(guān)系。而前景原則其實探討的是圖文關(guān)系實現(xiàn)的手段和方法。

圖3

就上圖整合后所列出的圖文關(guān)系中的地位關(guān)系、邏輯語義和實現(xiàn)方式等三方面而言，英語教學(xué)微課設(shè)計所面臨的最大問題在于邏輯語義和實現(xiàn)方式兩個方面。語言教學(xué)中，為了更加形象化地展示語言中所涉及的知識點以及對語言和相關(guān)文化的理解，教師必定需要借助各種圖片或符號進行解釋和說明，這就涉及到邏輯語義層面中的擴展，(由于投射中的思想投射針對包含對話泡的圖文關(guān)系，英語專業(yè)教學(xué)所涉及的文章中基本沒有此類，因此不在討論范圍內(nèi))其子項目中的詳述和增強作用都是在以圖像為主模態(tài)的情況下實現(xiàn)的，但在實際英語教學(xué)中，文字符號所形成的文本內(nèi)容往往是主模態(tài)，因此這兩項不成立。而由于實現(xiàn)方式的選擇會直接影響文本的邏輯語義是否能夠借助圖像進行清晰有效地呈現(xiàn)，因此也成為英語教學(xué)微課設(shè)計和制作中的重點。

圖4 英語專業(yè)微課中圖文關(guān)系設(shè)計制作重點

四、微課實例多模態(tài)話語分析

圖像和文本的關(guān)系并不只有微課中才有所涉及，在傳統(tǒng)的教學(xué)過程中教師往往都會借助圖像將所講的內(nèi)容進行形象化呈現(xiàn)，只是在多媒體廣泛應(yīng)用的今天，圖像方便調(diào)用，使得圖像和文本的關(guān)系更為凸顯。除此之外，微課教學(xué)以學(xué)生自學(xué)為主，因此微課中圖像和文本關(guān)系處理的恰當(dāng)與否會直接影響到學(xué)生借助微課學(xué)習(xí)的效果，尤其是涉及抽象概念知識理解微課。因此，本研究選取英語專業(yè)教學(xué)中對知識點進行講解的一節(jié)微課為例，借助圖文關(guān)系概念工具，詳細(xì)分析知識點講解過程中應(yīng)如何積極有效調(diào)用多模態(tài)符號。

本研究選取時長為8分鐘的微課實例為研究對象。微課主題為軛式修辭法(Figure of Speech—Zeugma)，講解內(nèi)容基于楊利民主編《現(xiàn)代大學(xué)英語》第二版第一冊第三課《土地的寓意》中的相關(guān)知識點。該微課是針對軛式修辭法的知識點分享課，主要包括兩個方面：1. 軛式修辭法理論介紹。通過對Zeugma修辭手法的解讀，了解軛式修辭法的定義，掌握其特點，探討文中所表現(xiàn)出的修辭效果； 2. 互動思考環(huán)節(jié)。聯(lián)系當(dāng)下社會現(xiàn)狀，引導(dǎo)學(xué)生發(fā)現(xiàn)不同環(huán)境(泰國Vs中國)下相似的工業(yè)化進程所引發(fā)的問題，并探求解決辦法；激發(fā)學(xué)生在語言知識和技能學(xué)習(xí)的同時，鍛煉邏輯思維能力，培養(yǎng)學(xué)生的土地觀和自我身份認(rèn)同感。本研究主要針對微課中涉及的概念講解部分課程設(shè)計中所涉及的多模態(tài)協(xié)調(diào)調(diào)用，因此教學(xué)視頻分析過程僅涉及該微課的第一個方面，有關(guān)軛式修辭法的講解。軛式修辭法的視頻可以細(xì)分為兩個階段：概念引入和概念解釋。每個階段都有多種模態(tài)的協(xié)同調(diào)用，使得教學(xué)活動更加邏輯有序、流暢自然，同時營造出輕松高效的學(xué)習(xí)氛圍。下面就分別從這兩個階段分析模態(tài)間是如何協(xié)同調(diào)用的。

(一) 引入

這部分作者以問題為導(dǎo)向，通過問題的提出(英文概念——zeugma)——解答(漢語意思——軛式修飾法)——提出新問題(“軛”為何意？)——解答(查找zeugma的英文釋義)這一過程，引導(dǎo)學(xué)生積極思考，幫助其在學(xué)習(xí)語言知識的同時，學(xué)會如何解決語言學(xué)習(xí)中出現(xiàn)的問題。對于zeugma的講解，微課首先以文本形式將zeugma的漢語詞條和字典中的英文釋義進行呈現(xiàn)?？紤]到畫面的呈現(xiàn)效果和課程的生動性，此處配合問題的提出和字典意思的呈現(xiàn)，微課使用了動態(tài)的問號和卡通字典的圖標(biāo)豐富畫面，體現(xiàn)出了圖文之間的闡釋關(guān)系，即圖像和文本的對應(yīng)關(guān)系(如圖5)。為了更加準(zhǔn)確地理解漢語的“軛”和其英文釋義，微課調(diào)用了生活中使用軛的圖片。圖片中原本靜態(tài)的軛用黃色高亮橫線加動態(tài)延伸的效果加以處理，讀者的眼球瞬時聚焦于圖片中的軛，使得原本作為背景用于解釋文本的圖片成為了畫面的焦點即前景，學(xué)生注意力的集中就是前景化原則在發(fā)揮作用(圖6)。借助圖片，學(xué)生不僅可以理解zeugma(軛)是何物，更重要的是它的作用在圖中進行了形象化的展示，而形象化的展示則進一步激活了生活中和修辭手法中zeugma的相似性，這就是圖像對文本的延伸作用。這樣的延伸作用在充分調(diào)動學(xué)生積極思考的同時將概念的引入效果最大化，進而為第二階段概念的講解，即修辭手法中zeugma的理解奠定了基礎(chǔ)。

圖5

圖6

(二)概念解釋

這部分是該微課的核心所在，微課借用圖像對概念加以解讀和闡釋。在引入概念的基礎(chǔ)上，即學(xué)生對生活中的zeugma(軛)有了一定了解后，微課給出了文學(xué)領(lǐng)域中zeugma(軛)作為修辭手法的英文釋義。但與以往修辭手法講解的不同之處在于英文釋義之后微課沒有直接給出對該釋義加以理解的包含軛式修辭法的英文例句，而是用圖像對英文釋義進行進一步概念解讀(圖7)。

圖7

基于上圖中英文釋義，可以得知zeguma簡而言之就是一種修辭手法，但這種修辭手法的特點僅依靠英文釋義無法快速解讀，原因在于句子相對復(fù)雜，而這種復(fù)雜性并非這個概念的特點。概念是通過表征對象的特有屬性來指稱對象的思維形式，而語言描寫下的思維形式基本包含意思和邏輯關(guān)系兩個層面，且這兩個層面的內(nèi)容往往很難在一句話內(nèi)加以呈現(xiàn)。除此之外，英語的語法規(guī)則意味著單純依靠文本的概念解讀往往需要數(shù)遍閱讀才能把握其本質(zhì)。上圖中，圖示釋義另辟蹊徑，充分發(fā)揮出圖形的直觀化優(yōu)勢，將概念中的意思和邏輯關(guān)系視覺化地展示出來，因此這里圖像和文字的內(nèi)容保持一致性，兩種模態(tài)符號系統(tǒng)之間的關(guān)系是闡釋。從上圖兩種不同概念解讀方式的對比中可以看出，圖示解讀概念的最大優(yōu)勢在于，圖示可以通過二維甚至三維的方式，將文字線性化表現(xiàn)的概念內(nèi)部的邏輯關(guān)系更加清晰而形象化地呈現(xiàn)出來，從而幫助和引導(dǎo)學(xué)生短時間內(nèi)理解并掌握抽象概念。而在視覺化呈現(xiàn)的過程中，各種符號、形狀、顏色和版式的積極配合使用使得概念圖示效果得以最大化呈現(xiàn)。在該定義中兩種不同顏色的使用預(yù)示著定義中兩個方面(形式和內(nèi)容)的內(nèi)容，而階梯形狀的選擇預(yù)示兩個方面之間的關(guān)系是低級(形式)和高級(內(nèi)容)的關(guān)系。并且在兩個層面中可以直觀看到各自的特點。形式方面，某個動詞或形容詞同時修飾前后兩個名詞，而內(nèi)容(意義)方面，則需要兼顧實現(xiàn)語法和邏輯兩個方面。因此結(jié)合圖像闡釋文本，學(xué)生可以很快抓住概念中意思和邏輯關(guān)系兩方面的內(nèi)容。

概念講解后，微課提供了英文例句，加深學(xué)生對概念的理解。例句的解讀部分同樣也配合圖片進行句意和邏輯關(guān)系的闡釋(圖8)。箭頭圖標(biāo)的使用使得修辭法清晰呈現(xiàn)于畫面，即lost后面同時連帶兩個表達(dá)，lost his coat 和lost his temper。兩個短語的語義借助頁面下方兩個卡通頭像進行了描述，但更為重要的是這兩個短語所表達(dá)的動作之間因果關(guān)系的實現(xiàn)方式。微課畫面中黃色箭頭動態(tài)效果的設(shè)計將此邏輯關(guān)系進行了清晰的描述。借助箭頭、圖片和文字等多種符號模態(tài)的搭配組合，原句的修辭方式產(chǎn)生的語義和邏輯關(guān)系通過畫面直觀形象地呈現(xiàn)出來。

圖8

五、對微課制作的啟示

(一)圖片(圖像)使用

圖片是英語教學(xué)中教師經(jīng)常調(diào)用的模態(tài)之一，但在實際授課過程中其更多被用于對文字描述的物品、狀態(tài)等進行實景化的形象描述和再現(xiàn)，而對于以文字方式呈現(xiàn)的邏輯關(guān)系的解讀，設(shè)計者往往更多還是依賴語言文字(板書或口頭)，甚至將注解邏輯關(guān)系的文字直接穿插在課程視頻當(dāng)中，削弱了視頻課程畫面的豐富度，降低了視頻課程的生動性。缺乏以圖片對邏輯關(guān)系進行描述的設(shè)計成為了英語微課設(shè)計中的痛點。英語語言本身的特性決定了在英語專業(yè)一年級綜合英語課程上課文的講解中，不可避免要處理的就是語言內(nèi)部的邏輯關(guān)系，而要使邏輯關(guān)系更加清晰高效地呈現(xiàn)，微課設(shè)計者就需要調(diào)用圖文等多種模態(tài)符號對邏輯關(guān)系加以描述。示例中，概念圖示化釋義的呈現(xiàn)可以幫助學(xué)生快速理解和掌握知識點。另外，由于語言教學(xué)是教語言不是教知識，因此更有必要引導(dǎo)學(xué)生學(xué)會梳理文字線性狀態(tài)下所呈現(xiàn)的語言內(nèi)部之間的邏輯關(guān)系，為學(xué)生合理的邏輯思維和批判性思維奠定基礎(chǔ)。

(二)圖文關(guān)系實現(xiàn)方式——前景化的解讀

前景化原則并非直接將某一模態(tài)設(shè)為背景從而實現(xiàn)凸顯另一模態(tài)的效果，而是調(diào)用顏色、動畫等方式，將需要強調(diào)的內(nèi)容加以凸顯，使之成為屏幕的焦點，從而成為前景。前景和背景之間并沒有明顯的界限，其相互關(guān)系也不是固定不變，而是取決于設(shè)計者對畫面內(nèi)容的處理和把握，當(dāng)下的前景在下一秒有可能成為背景，而這一秒的背景也會在下一秒成為前景。前景化原則更多考驗的是設(shè)計者將所要強調(diào)的重點以何種方式加以呈現(xiàn)，而這個過程中則又包含了設(shè)計者的技術(shù)使用、視覺效果、美學(xué)、教學(xué)理念、學(xué)情分析及學(xué)生觀等各方面的問題。

六、結(jié)語

本研究以英語教學(xué)微課，尤其是涉及概念講解的課程中如何積極調(diào)用多模態(tài)資源，合理處理圖像和文本關(guān)系，最大化實現(xiàn)幫助學(xué)生理解和掌握概念的目的。微課中抽象具體原則，即圖文關(guān)系中邏輯語義層面的擴展關(guān)系的運用，豐富了微課知識點內(nèi)容的呈現(xiàn)性。前景化原則將圖文之間關(guān)系的呈現(xiàn)進行了原則性的描述，即對某一模態(tài)進行凸顯。本研究所分析的示例僅涉及多模態(tài)語言中視覺系統(tǒng)下的圖像和文本相互關(guān)系的操作，而在實際微課制作中設(shè)計者不限于此，可以多種感官同時調(diào)用，重點內(nèi)容的前景化效果會更大化地實現(xiàn)。更為重要的是其隱性方面的作用，即內(nèi)容和知識點呈現(xiàn)效果背后的邏輯思維方式對學(xué)生思考力的影響。教師如何有效借助微課，通過綜合調(diào)用各種模態(tài)，積極影響并引導(dǎo)學(xué)生形成有效思維，建議后續(xù)的研究可以從更多的視角探索多模態(tài)在這個方面的作用。比如在聽覺模態(tài)方面，教師的講解、畫外音和畫面如何合理結(jié)合，背景音添加與否，這些要素均對微課的教學(xué)效果產(chǎn)生某種影響。