外語微課多模態(tài)話語符際間性分析

摘要：目的：隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷發(fā)展，多模態(tài)話語分析吸引了語言學(xué)界眾多學(xué)者的關(guān)注。多模態(tài)話語是指運(yùn)用聽、視、觸等多種感覺，通過語言、圖像、聲音、動(dòng)作等多種符號(hào)系統(tǒng)和資源協(xié)同交際的話語組合?，F(xiàn)代人的語言交際不僅靠語言完成，還可以結(jié)合聽覺、視覺、動(dòng)作等多模態(tài)方式實(shí)現(xiàn)。近年來，外語教學(xué)中出現(xiàn)的微課往往是融圖像、聲音和文字于一體的視頻呈現(xiàn)方式，涉及多種模態(tài)的呈現(xiàn)（視覺、聽覺）和多種符號(hào)系統(tǒng)的表達(dá)（文本、聲音和圖像），是典型的多模態(tài)話語。方法：文章以國家級(jí)外語微課大賽獲獎(jiǎng)作品《中國哲學(xué)》為例，對(duì)其進(jìn)行多模態(tài)話語分析，基于視覺語法和圖文關(guān)系理論，對(duì)微課視頻中視覺模態(tài)符號(hào)和聽覺模態(tài)符號(hào)的關(guān)系進(jìn)行深入分析。結(jié)果：研究發(fā)現(xiàn)，該視頻主要圖文關(guān)系地位不平等，邏輯語義關(guān)系聯(lián)系緊密、銜接自然。視覺符號(hào)（文字、圖像等）和聽覺符號(hào)（講解話語、背景音樂）相輔相成，互為增強(qiáng)關(guān)系。結(jié)論：外語類微課作為一種新興的教學(xué)方法，可以有效補(bǔ)充線下課堂，促進(jìn)知識(shí)傳播。其典型的多模態(tài)特征，即視頻中各類符號(hào)意義的具體傳遞和實(shí)現(xiàn)方式，對(duì)實(shí)現(xiàn)意義的有效傳達(dá)具有重要作用。

關(guān)鍵詞：多模態(tài)話語；符際間性；外語微課

中圖分類號(hào)：G434；H09 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-9436（2024）12-0-03

0 引言

涉及多種感官，運(yùn)用語言、圖像、聲音、動(dòng)作等符號(hào)系統(tǒng)和資源協(xié)同交際的話語組合被稱為多模態(tài)話語［1］。多模態(tài)話語分析涵蓋模態(tài)間性與符際間性的研究。模態(tài)間性側(cè)重于探究不同模態(tài)間的關(guān)聯(lián)性和相互作用，而符際間性則關(guān)注模態(tài)內(nèi)部不同符號(hào)間的相互關(guān)系及影響。這兩種研究方法共同構(gòu)成了多模態(tài)話語分析的核心內(nèi)容，為理解多模態(tài)交流提供了全面的視角，旨在全面解析多模態(tài)文本中各種符號(hào)形式之間的復(fù)雜互動(dòng)［2］。由此，本文以視覺語法和圖文關(guān)系理論為基礎(chǔ)，以全國外語微課大賽獲獎(jiǎng)作品《中國哲學(xué)》為例，探究此微課視頻中圖像及文本符號(hào)這類視覺模態(tài)與教師話語——聽覺模態(tài)之間的關(guān)系和相互作用，以闡釋外語微課如何協(xié)同調(diào)配多種模態(tài)符號(hào)建構(gòu)意義，實(shí)現(xiàn)文化知識(shí)的有效傳播，進(jìn)一步為外語微課教學(xué)提供啟示。

1 理論基礎(chǔ)

社會(huì)符號(hào)學(xué)理論不僅促進(jìn)了人們對(duì)多模態(tài)語言現(xiàn)象的理解，還為研究者提供了深入探討不同符號(hào)系統(tǒng)相互作用的機(jī)會(huì)。在系統(tǒng)功能語言學(xué)家看來，每種模態(tài)都具有獨(dú)特的意義潛力，而單一模態(tài)的表達(dá)方式已無法滿足當(dāng)今信息快速交流的需求。該學(xué)派提出的語言三大元功能理論，推動(dòng)了視覺語法的發(fā)展。視覺語法實(shí)現(xiàn)了語言三大元功能與視覺語篇分析的結(jié)合，并分別對(duì)應(yīng)再現(xiàn)功能、互動(dòng)功能和構(gòu)圖功能，從而為文本和圖像符號(hào)的解讀提供有效框架。于1999年提出的聽覺語法，是對(duì)聽覺符號(hào)類的語義資源進(jìn)行歸類的方法。視覺語法認(rèn)為圖像中的每個(gè)元素都有意義，圖像中元素的位置、排列組織方式都能傳達(dá)一定的意義。聽覺語法則描述了人們對(duì)聽覺信息的理解和處理。視覺語法和聽覺語法是各類符號(hào)模態(tài)實(shí)現(xiàn)三大元功能（概念、人際和語篇）的論證基礎(chǔ)。

近年來，國內(nèi)外關(guān)于多模態(tài)話語分析的理論和應(yīng)用研究不斷深化，多模態(tài)話語分析和外語教學(xué)結(jié)合也成為一大趨勢(shì)。例如，基于多模態(tài)話語分析框架探討現(xiàn)代多媒體技術(shù)支持下的外語教學(xué)實(shí)踐，提出外語教學(xué)要充分重視圖像、聲音和文字符號(hào)的協(xié)調(diào)作用，豐富外語課堂的呈現(xiàn)形式，提高教學(xué)效率。

圖文關(guān)系理論的構(gòu)建基于視覺語法，并受到系統(tǒng)功能語言學(xué)小句關(guān)系的啟發(fā)。該理論系統(tǒng)研究了多模態(tài)語篇中圖像與文字之間的符際互動(dòng)，提出從兩個(gè)層面進(jìn)行分析：首先是地位層面，其次是邏輯—語義層面。地位層面探討圖像與文字的結(jié)構(gòu)關(guān)系，主要包括平等關(guān)系與不平等關(guān)系兩種類型。其中，平等關(guān)系又可以進(jìn)一步細(xì)分為互補(bǔ)性和非互補(bǔ)性關(guān)系。這種分類有助于深入理解圖像與文字在多模態(tài)語篇中的相互作用及對(duì)整體意義建構(gòu)的影響。在互補(bǔ)關(guān)系中，圖像與文字相輔相成，共同作用，以傳遞完整的意義；在非互補(bǔ)關(guān)系中，圖像與文字則各自獨(dú)立，能夠單獨(dú)有效地傳達(dá)各自的意義。符號(hào)之間的邏輯—語義關(guān)系分為擴(kuò)展和投射兩大類。擴(kuò)展又可細(xì)分為三種：一是詳述，對(duì)現(xiàn)有信息作更詳細(xì)的解釋，但不增加新信息，主要通過說明和舉例實(shí)現(xiàn)；二是延展，通過添加新信息豐富符號(hào)的含義；三是增強(qiáng)，用其他方式強(qiáng)化符號(hào)的意義。

從圖文關(guān)系理論視角出發(fā)，評(píng)析外語微課視頻設(shè)計(jì)，應(yīng)遵循以下兩個(gè)基本原則。一是圖文關(guān)系平等原則，也就是說，圖像信息與文字信息應(yīng)處于同等重要的地位，所以在呈現(xiàn)概念或知識(shí)點(diǎn)的過程中，圖像和文字應(yīng)相互補(bǔ)充、相輔相成，而非一方簡單地作為另一方的附屬或替代品。這種平衡的信息傳遞方式，有利于學(xué)習(xí)者對(duì)知識(shí)的理解與記憶。二是圖文語義相關(guān)原則。這一原則強(qiáng)調(diào)圖像與文字之間的語義關(guān)聯(lián)性。具體而言，即要求圖像內(nèi)容必須與相應(yīng)的文字描述保持緊密的語義聯(lián)系，從而確保兩者共同構(gòu)成一個(gè)連貫且完整的意義單元。這種一致性不僅有助于增強(qiáng)信息傳達(dá)的準(zhǔn)確性，而且能夠增強(qiáng)學(xué)習(xí)材料的可理解性和吸引力，進(jìn)而提升學(xué)習(xí)者的學(xué)習(xí)效率。

在多模態(tài)語篇中，圖文關(guān)系的平等依賴語言與圖像符號(hào)的協(xié)同作用，要求它們各自能夠獨(dú)立承擔(dān)語篇的三大核心功能（概念功能、人際功能及語篇功能）。此外，只有圖文雙方充分發(fā)揮各自的優(yōu)勢(shì)，才能有效實(shí)現(xiàn)意義的協(xié)同傳遞。在邏輯和語義層面，圖像的作用僅限于對(duì)文字內(nèi)容的詳細(xì)闡釋、說明或舉例支持。外語視頻微課程通常以某種特定的模態(tài)或符號(hào)為主，強(qiáng)調(diào)該模態(tài)或符號(hào)的特征。從理論角度來看，為實(shí)現(xiàn)有效的交流與溝通，傳播交際意義要依賴多種符號(hào)或模態(tài)的結(jié)合，單一符號(hào)或模態(tài)的使用顯然是不夠全面的。外語微課通常綜合調(diào)動(dòng)學(xué)生的多種感官，包括多種模態(tài)和符號(hào)系統(tǒng)，是典型的多模態(tài)話語。許多語言學(xué)學(xué)者致力于分析各類模態(tài)符號(hào)系統(tǒng)對(duì)多模態(tài)語篇傳播效果的影響，將多模態(tài)話語分析應(yīng)用于外語教學(xué)實(shí)踐。有學(xué)者通過探討大學(xué)英語課堂教學(xué)中不同模態(tài)間的協(xié)同作用，發(fā)現(xiàn)外語課堂教學(xué)主模態(tài)有賴于口頭話語模態(tài)，其余模態(tài)對(duì)其起補(bǔ)充強(qiáng)化作用；其他學(xué)者則將目光聚焦于多模態(tài)教學(xué)模式的探索［3］。

本文運(yùn)用視覺語法和圖文關(guān)系理論，對(duì)優(yōu)秀外語微課作品《中國哲學(xué)》進(jìn)行分析，重點(diǎn)考察視頻中的視覺元素（如圖像、文本等）與教師口頭表達(dá)之間的關(guān)系和互動(dòng)，探究外語微課視頻是如何運(yùn)用視聽模態(tài)共同建構(gòu)意義并實(shí)現(xiàn)意義的有效傳播的。

2 外語微課的多模態(tài)話語分析

本文以全國外語微課大賽獲獎(jiǎng)作品《中國哲學(xué)》為例，對(duì)其多模態(tài)話語中的圖文關(guān)系進(jìn)行分析，了解其意義建構(gòu)方式和傳播效果。

2.1 內(nèi)容簡介

微課《中國哲學(xué)》以中國哲學(xué)的起源與傳承為出發(fā)點(diǎn)，介紹了中國哲學(xué)文化生生不息、與時(shí)俱進(jìn)的發(fā)展路徑。從視頻中可以看出，中國哲學(xué)一脈相承，源遠(yuǎn)流長。視頻在傳播語言知識(shí)的基礎(chǔ)上，展示了中華文化的深刻內(nèi)涵，有助于學(xué)生樹立文化自信，講好中國故事，對(duì)線下課堂做了有效引導(dǎo)和鋪墊。

2.2 多模態(tài)話語符際間性分析

圖1 《中國哲學(xué)》相關(guān)動(dòng)畫圖

《中國哲學(xué)》的主要模態(tài)包括視覺模態(tài)和聽覺模態(tài)。聽覺模態(tài)作為主導(dǎo)模態(tài)貫穿整個(gè)視頻，即教師講解話語和背景音樂；視覺模態(tài)則包括動(dòng)畫圖像、畫面文本以及字幕文本符號(hào)（見圖1）。其中，動(dòng)畫圖像和字幕文本等視覺模態(tài)占據(jù)整個(gè)畫面，背景講解音娓娓道來，與畫面、文本互為補(bǔ)充。整個(gè)微課大體可分為三個(gè)部分：中國古代哲學(xué)、中國近代哲學(xué)、中國當(dāng)代哲學(xué)。中國古代哲學(xué)可追溯到春秋戰(zhàn)國時(shí)期，儒、道兩大學(xué)派奠定了中華文化的核心——人本思想，也就是視頻中提到的“Humanism”。中國哲學(xué)一脈相承，延續(xù)至今，仍然是當(dāng)代人重要的精神土壤。

外語類微課作為外語課堂教學(xué)內(nèi)容的補(bǔ)充，需要做到精練簡潔，從而快速高效地傳播知識(shí)。因此，外語微課中的圖文概念符號(hào)要緊密聯(lián)系，在語境中相互關(guān)聯(lián)、互為映射，使學(xué)生能對(duì)圖文內(nèi)容進(jìn)行有效聯(lián)想，加深他們對(duì)內(nèi)容的理解和記憶。

《中國哲學(xué)》整個(gè)微課視頻圖文在關(guān)系地位上不平等，動(dòng)畫圖像從屬于文字內(nèi)容，邏輯—語義上聯(lián)系較為緊密，銜接自然。從微課《中國哲學(xué)》中的截圖（見圖2）可以發(fā)現(xiàn)，微課的主要圖文關(guān)系是由動(dòng)畫和畫面文本及字幕構(gòu)成的，圖像內(nèi)容實(shí)現(xiàn)了構(gòu)圖和再現(xiàn)功能，但未成功實(shí)現(xiàn)人際功能，人際功能主要借助背景講解來實(shí)現(xiàn)。視頻的動(dòng)畫圖像是對(duì)畫面文字的補(bǔ)充，因?yàn)橹v到傳統(tǒng)中國哲學(xué)，所以畫面以古風(fēng)山水畫為主，彰顯中華民族的文化底蘊(yùn)。畫面展示了孟子的卡通形象，暗示畫面語錄出自孟子，但如果缺少聲音和文本，圖像并不能表征具體的概念義，因而圖像和文本間關(guān)系不平等。但動(dòng)畫圖像符號(hào)生動(dòng)形象，可以吸引受眾的注意力，也能使畫面圖文間的邏輯—語義關(guān)系更加明確，便于理解。

圖2 微課《中國哲學(xué)》截圖

視覺模態(tài)（圖像、文本）與作為聽覺模態(tài)的教師話語間則存在相互增強(qiáng)關(guān)系。虛擬動(dòng)畫貫穿整個(gè)微課視頻，作為場(chǎng)景使用，隨著文本和背景講解音的層層深入，微課畫面也不斷轉(zhuǎn)換，豐富的背景畫面和人物素材可以極大地刺激學(xué)生的視覺感官，背景音樂也隨著中國哲學(xué)這一話題的發(fā)展而逐漸改變，視聽結(jié)合，烘托渲染微課視頻氛圍。在外語教學(xué)中，視覺模態(tài)與聽覺模態(tài)的協(xié)作尤為必要，因?yàn)樗鼈兡軌騾f(xié)同促進(jìn)信息的傳遞，并以共同作用的形式（主模態(tài)）突出關(guān)鍵的、重要的信息，避免學(xué)生產(chǎn)生視覺疲勞、喪失興趣和接受能力。例如，從中國古代哲學(xué)轉(zhuǎn)向當(dāng)代馬克思主義哲學(xué)時(shí)，背景音樂從古色古香的純音樂切換成了激動(dòng)人心的進(jìn)行曲，視覺模態(tài)和聽覺模態(tài)相互補(bǔ)充，更有利于調(diào)動(dòng)學(xué)生的思維和情緒，加深學(xué)生對(duì)所講內(nèi)容的印象。

字幕文本和背景講解話語之間的增強(qiáng)關(guān)系主要通過字體顏色、大小、出場(chǎng)順序來實(shí)現(xiàn)。該微課的一大亮點(diǎn)就是圖像、文本與背景講解的融合和切換十分自然，三者相輔相成、互為補(bǔ)充。例如，在介紹社會(huì)主義核心價(jià)值觀時(shí)，畫面主要色調(diào)為紅色，搭配金色字體，彰顯沉穩(wěn)大氣。而“富強(qiáng)”一詞出自《漢書》，因此畫面中加入了典籍的動(dòng)畫符號(hào)，旁邊附上原文的英譯及出處。該微課深入挖掘了社會(huì)主義核心價(jià)值觀和中國哲學(xué)精神之間的繼承與發(fā)揚(yáng)關(guān)系，體現(xiàn)了中華優(yōu)秀傳統(tǒng)文化是中華民族的精神命脈。

3 結(jié)語

微課作為一種新興的教學(xué)方法，是線下課堂的有效補(bǔ)充，可以促進(jìn)知識(shí)傳播。其典型的多模態(tài)特征，即視頻中各類符號(hào)意義的具體傳遞和實(shí)現(xiàn)方式，對(duì)實(shí)現(xiàn)意義的有效傳達(dá)具有重要作用。本研究基于視覺語法和圖文關(guān)系理論，分析了外語微課視頻《中國哲學(xué)》中視聽元素的互動(dòng)。具體而言，研究了視頻中的圖像和文字（視覺模態(tài)）如何與教師講解（聽覺模態(tài)）相互配合和相互影響，探討了多模態(tài)元素之間的關(guān)系及在傳遞教學(xué)內(nèi)容中的作用。研究發(fā)現(xiàn)，該微課的主要模態(tài)為視覺模態(tài)和聽覺模態(tài)。整個(gè)微課視頻中，圖像和文本存在地位上的不平等，動(dòng)畫圖像從屬于文字內(nèi)容，二者之間存在緊密的邏輯語義聯(lián)系，并且銜接自然。此外，視覺符號(hào)如圖像和文本，與教師話語之間呈現(xiàn)出相互增強(qiáng)的關(guān)系。本研究僅選取一則微課視頻作為語料，研究深度和廣度有限。未來的研究可以選擇不同話題的微課視頻，以比較分析多模態(tài)符號(hào)之間的相互關(guān)系。

參考文獻(xiàn)：

［1］ 張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)［J］.外語學(xué)刊，2010（2）：97-102.

［2］ 吳婷.外語微課的多模態(tài)話語符際間性研究［J］.外語教學(xué)理論與實(shí)踐，2017（1）：72-77.

［3］ 馬利芳.多模態(tài)話語框架下教學(xué)模式研究［J］.教育理論與實(shí)踐，2016（1）：57-60.