外語微課中多模態(tài)話語的符際間性研究

張媛軍

摘要本文以視覺語法和圖文關(guān)系理論為基礎(chǔ)，重點(diǎn)分析了外語微課視頻中作為視覺模態(tài)的圖像和文本符號與作為聽覺模態(tài)的教師（學(xué)生）話語符號之間是如何相互關(guān)聯(lián)和作用，共同達(dá)到意義的合理建構(gòu)和有效傳播。

關(guān)鍵詞 外語微課 多模態(tài)話語 符際間性 視覺語法

中圖分類號：G424文獻(xiàn)標(biāo)識碼：ADOI：10.16400/j.cnki.kjdk.2021.22.045

AStudyontheIntersymbolofMultimodalDiscourseinForeignLanguageMicroClass

ZHANG Yuanjun

（Chengdu Jincheng College， Chengdu， Sichuan 611731）

AbstractBased on the theory ofvisual grammarand graph text relationship，thispaperfocusesontheanalysis ofhow image and text symbols as visual mode interact with teacher（student）discourse symbols as auditory mode in foreign language micro lesson video， so as to achieve the reasonable construction and effective communication of meaning.

Keywordsforeign language micro class； multimodal discourse； intersymbol； visual grammar

0引言

自20世紀(jì)90年代以來，多模態(tài)話語分析在語言學(xué)界興起，并逐步成為語篇分析研究中的熱門話題之一。朱永生[1]（2007）曾提出，多模態(tài)話語就是指在交際中設(shè)計多種感知模式來構(gòu)建文本，以實現(xiàn)整體意義信息的傳遞，如英語課上普遍使用的視頻資料及如今的微課，既包含了圖像、聲音等信息，也配備有相應(yīng)的文本，能充分調(diào)動學(xué)生的視覺和聽覺系統(tǒng)，這就是典型的多模態(tài)教學(xué)模式。對多模態(tài)話語的分析主要包括兩個方面，一是將不同模態(tài)間的相互關(guān)系和作用作為分析對象，二是著重分析不同模態(tài)符號間的相互作用及影響（吳婷，2017）。[2]本文的研究重點(diǎn)在于后者，即以視覺語法和圖文關(guān)系理論為基礎(chǔ)，分析外語微課視頻中作為視覺模態(tài)的圖像和文本符號與作為聽覺模態(tài)的教師（學(xué)生）話語符號之間是如何聚合和相互影響，共同達(dá)成意義的合理建構(gòu)和有效傳播。

1理論基礎(chǔ)

提到語法，人們往往最先想到的是從單詞到句子再到篇章的一套固定的規(guī)則。那么，視覺語法所描述的規(guī)則，就是作為視覺符號的文本和圖像在組合過程中的邏輯關(guān)系。視覺語法的創(chuàng)始人Kress & Leeuwen[3]（1996）在深入研究了多模態(tài)話語分析理論框架后，將韓禮德[4]在系統(tǒng)功能語言學(xué)中提出的三大語言功能用對應(yīng)的再現(xiàn)、互動以及構(gòu)圖功能來替換，并運(yùn)用到視覺語篇的分析中。近年來，國內(nèi)外學(xué)者一方面在不斷完善視覺語法的理論框架，另一方面也開展了大量關(guān)于模態(tài)間性和符際間性方面的實踐研究，量化各個模態(tài)和符號系統(tǒng)在話語傳播中的權(quán)重。其中，張德祿[5]教授就指出，我們不能僅僅停留在分析語言特征本身，還要重視圖像、聲音、文字等符號間的協(xié)同配合在話語中發(fā)揮的作用，從而提高教學(xué)效率。

圖文關(guān)系理論是Martinec& Salway[6]（2005）在視覺理論基礎(chǔ)上創(chuàng)立的。根據(jù)該理論，我們可以從兩個維度來分析圖像和文字間的關(guān)系：一是地位，二是邏輯語義。地位維度主要揭示結(jié)構(gòu)上的圖文關(guān)系，包括平等關(guān)系和不平等關(guān)系兩種。邏輯語義關(guān)系又包括擴(kuò)展和投射兩種。其中，擴(kuò)展可進(jìn)一步劃分為詳述、延展和增強(qiáng)關(guān)系。詳述指用說明和例證的方法，對已有信息進(jìn)行更詳細(xì)的說明而不增加新的信息；延展指通過附加信息來延伸某一符號的意義；增強(qiáng)指通過各種方式增強(qiáng)符號意義。

外語微課是多模態(tài)話語的典型代表，它所包含的多種模態(tài)和符號系統(tǒng)能在很大程度上調(diào)動學(xué)生的學(xué)習(xí)積極性。因此，本文就將以視覺語法和圖文關(guān)系理論中的邏輯語義關(guān)系理論為基礎(chǔ)，重點(diǎn)分析外語微課中圖像、文本等視覺符號與教師（學(xué)生）的話語符號之間是如何相互關(guān)聯(lián)和作用，共同生成意義并有效傳播的。

2外語微課中的多模態(tài)話語分析

本研究以中國外語微課大賽全國一等獎微課作品《你所不知道的名詞化》為例，著重分析其中多模態(tài)話語的圖文關(guān)系及其產(chǎn)生的效果。

2.1內(nèi)容簡介

微課《你所不知道的名詞化》主要介紹了名詞化的概念和功能，以及名詞化生成的三種方式。該微課創(chuàng)設(shè)了一個極為貼近大學(xué)生學(xué)習(xí)生活的情景語境，即兩個學(xué)生（動畫人物）為遲交作業(yè)找借口的對話情境，以此導(dǎo)入名詞化概念；通過教師和學(xué)生不斷對話交流（提問和探索答案），闡釋了名詞化的重要性和生成方式，同時也提醒學(xué)生只有適當(dāng)和恰當(dāng)?shù)厥褂妹~化，才能充分展示其語篇功能，真正提升英語語言能力。整堂課以學(xué)生為中心，以師生對話的形式增強(qiáng)了學(xué)生的參與感，引導(dǎo)學(xué)生主動思考，教師講解生動有趣，效果良好。

2.2微課中多模態(tài)話語的符際間性分析

該微課的主要模態(tài)為視覺+聽覺模態(tài)。其中，視覺模態(tài)主要包括圖像和文字，圖像符號由教師真人、學(xué)生動畫形象、動作以及圖片組成，文字符號主要為字幕；聽覺模態(tài)為教師的講解音和學(xué)生的回答音。整個視頻中，主要的圖文關(guān)系由教師真人出鏡或?qū)W生動畫形象+字幕構(gòu)成（如圖1、圖2）。

整個教學(xué)視頻中，圖文語義聯(lián)系較緊密且自然。具體來說，圖文符號與教師（學(xué)生）話語符號間主要為增強(qiáng)關(guān)系，表現(xiàn)在以下兩個方面：

圖像文本與教師（學(xué)生）話語符號間的增強(qiáng)關(guān)系主要通過說明和例證來實現(xiàn)。如在解釋抽象名詞Nominalization（1分58秒）的概念時，教師真人出鏡，通過文本框中展示的兩個例句的對比來詳細(xì)說明在英語口語和書面寫作中，使用不同的詞匯可達(dá)到的不同語言效果。這里教師圖像的設(shè)置具有互動功能，對要講授的內(nèi)容做出指示（見圖3）。接下來，在學(xué)生提出疑問（為什么要使用名詞化短語）時，視頻中出現(xiàn)的文本框（言語泡Whyuseit）及時的再現(xiàn)了該問題，文本是圖像的話語投射，體現(xiàn)了文本符號的再現(xiàn)功能，進(jìn)一步引發(fā)學(xué)生的思考（見圖4）。在講到名詞化的使用在寫作中的好處時，視頻中出現(xiàn)了三個顏色各異的圓形文本框，分別介紹了名詞化的三大功能（conciseness， cohesion， objectivity），配上下方橢圓形方框中的簡短文字，對教師的語音講解起到了良好的補(bǔ)充闡釋作用，圖像的使用使文字更加具體、形象，邏輯語義關(guān)系一目了然，方便學(xué)生理解（見圖5）。其中在講到conciseness這一功能時，畫面中出現(xiàn)了一個漢堡在階梯上不斷跳動的圖像。漢堡在階梯上的每一次升級都對應(yīng)了更加豐富的名詞性短語內(nèi)容，一直到最高點(diǎn)，語義內(nèi)容達(dá)到最豐富，也最大限度的體現(xiàn)了使用名詞化所達(dá)到的簡潔這一優(yōu)點(diǎn)（見圖6）。

不僅如此，貫穿整個微課視頻的虛擬動畫場景設(shè)置，加入了特效的鏡頭綻放、旋轉(zhuǎn)和平移畫面，豐富的模板背景與人物形象素材等，都能極大的刺激學(xué)生的視覺感官，提高學(xué)生的思維參與度，促進(jìn)教師講解內(nèi)容的吸收。

文字文本與教師（學(xué)生）話語符號間的增強(qiáng)關(guān)系主要通過字體顏色、大小、形狀、排列方式等變化對話語內(nèi)容進(jìn)行突出和強(qiáng)調(diào)。在該微課作品中，教師很好的處理了字體的大小、顏色、形狀、背景、出場順序等搭配，與教學(xué)內(nèi)容表達(dá)需求相契合，重點(diǎn)突出，詳略得當(dāng)，達(dá)到了很好的意義構(gòu)建和傳遞的目標(biāo)。如圖3，紅色的圓圈非常醒目，通過紅色圈中的重點(diǎn)詞匯比較，學(xué)生可以更好的理解動詞名詞化的作用及使用方法；圖6中，階梯式的內(nèi)容排列順序使教學(xué)內(nèi)容的展示更加形象化且符合學(xué)生的認(rèn)知規(guī)律，利于學(xué)生接受；同時，微課中經(jīng)常使用的虛擬粉刷和虛擬人手書寫的文本呈現(xiàn)方式也較好的模擬了學(xué)生的認(rèn)知過程。

最后值得一提的是視頻中出現(xiàn)的非語言符號，即授課教師的表情、體態(tài)（身體語言）、出現(xiàn)位置等，它們體現(xiàn)的是與教師語言符號間的延展關(guān)系。教師和藹的笑容、恰當(dāng)?shù)氖謩葜敢寄茉诤艽蟪潭壬侠c學(xué)生的距離，增強(qiáng)教學(xué)的“身臨其境感”，促使學(xué)生更加積極的思考和參與教學(xué)互動。

總的來說，該微課視頻教學(xué)風(fēng)格自然活潑，教學(xué)過程流暢，表達(dá)方式也符合學(xué)生的認(rèn)知規(guī)律。視頻中圖像符號和文本符號協(xié)同配合，共同增強(qiáng)了教師（學(xué)生）話語符號的意義表達(dá)，達(dá)到了良好的教學(xué)效果。

3結(jié)語

綜上所述，本文主要通過定性研究的方法，從視覺語法和圖文關(guān)系角度（特別是邏輯語義維度）嘗試分析了在外語微課這一多模態(tài)語篇中，教師是如何運(yùn)用不同的圖像和文字文本符號來闡釋教師話語，實現(xiàn)有效教學(xué)的。鑒于本文僅針對某一微課視頻展開分析，語料相對有限，研究的深度和廣度均有所欠缺，今后可選取更多的多模態(tài)語篇從不同的視角來進(jìn)行更加深入的解讀。

基金項目：本文系四川外國語言文學(xué)研究中心、上海外語教育出版社資助項目“外語微課的多模態(tài)話語意義建構(gòu)及互動效果研究”的階段成果（編號：SCWYH20-18）

參考文獻(xiàn)

[1]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007（05）：82-86.

[2]吳婷.外語微課的多模態(tài)話語符際間性研究——以兩則微課大賽視頻為例[J].外語教學(xué)理論與實踐，2017（01）：72-77.

[3]Kress，G.&VanLeeuwen，T. ReadingImages： TheGrammarof Visual Design[M].London： Routledge， 1996.

[4]Halliday， M. A. K. An Introduction to Functional Grammar [M]. London： Edward Arnold，1994.

[5]張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué)，2009（04）：15-20.

[6]Martinec， R. & Salway. A， A System for Image-text Relations in New（and Old）Media[J].Visual Communication， 2005（3）：337-371.