‘多模態(tài)’理論宏觀框架解讀：以系統(tǒng)-功能為視角

曹志勇

摘要：韓禮德教授是英國倫敦學(xué)派的主要代表之一，同時也是系統(tǒng)功能語言學(xué)理論的創(chuàng)始人。系統(tǒng)功能語言學(xué)理論強調(diào)語言的情境和系統(tǒng)層面，其核心學(xué)術(shù)思想包括以下兩個方面：系統(tǒng)語法（Systemic Grammar）和功能語法（Functional Grammar）。系統(tǒng)語法旨在解釋語言作為一個系統(tǒng)網(wǎng)絡(luò)的內(nèi)部關(guān)系，該系統(tǒng)包括一系列語言使用者可以從中選擇的子系統(tǒng);功能語法旨在揭示語言在社會互動中所發(fā)揮的功能。筆者以韓禮德的系統(tǒng)功能語言學(xué)視角，對‘多模態(tài)理論研究的學(xué)科前沿進(jìn)行了簡單描述，嘗試為讀者構(gòu)建一個‘多模態(tài)理論的宏觀框架。同時，該理論框架為當(dāng)代大學(xué)英語課堂教學(xué)實踐提供了理論指導(dǎo)，指明了方向。

關(guān)鍵詞：系統(tǒng)功能語言學(xué);‘多模態(tài)理論;宏觀框架;教學(xué)實踐;理論指導(dǎo)

近年來，諸多語言學(xué)者轉(zhuǎn)向?qū)嶋H中的話語案例進(jìn)行分析。因此，話語分析理論應(yīng)運而生。該理論誕生之初，人們只是單純的從語言本身的角度對話語進(jìn)行理論解釋和特征描述。隨后，語言學(xué)家和外語教育專家指出，現(xiàn)實生活中話語的完整意義嚴(yán)格來說是由語言符號資源本身以及其背后的部分非語言符號資源共同體現(xiàn)出來的。尤其是在現(xiàn)代外語課堂中，單純的語言理論解釋和描述使學(xué)生感到枯燥、抽象、乏味，不再能激發(fā)學(xué)生的學(xué)習(xí)興趣。因此，在現(xiàn)代外語課堂中，有必要引進(jìn)非語言學(xué)符號和資源。這些非語言符號資源有以下幾大特征：（1）伴語言特征;（2）非身體特征等。因此，筆者認(rèn)為，日常生活中的語言交際事實上不僅僅是用一種感覺器官來進(jìn)行。這種利用多種感官協(xié)同作用就是多模態(tài)話語分析。筆者從韓禮德的系統(tǒng)功能語言學(xué)出發(fā)，通過對‘多模態(tài)理論宏觀框架的解讀，為當(dāng)下大學(xué)英語教學(xué)實踐提供了理論框架，指明了方向。

一、韓禮德的系統(tǒng)-功能觀

韓禮德教授是英國倫敦學(xué)派的主要代表之一，同時也是系統(tǒng)功能語言學(xué)理論的創(chuàng)始人。系統(tǒng)功能語言學(xué)理論強調(diào)語言的情境性和系統(tǒng)性。其核心學(xué)術(shù)思想包括以下兩個方面：系統(tǒng)語法（Systemic Grammar）和功能語法（Functional Grammar）。該理論是從社會學(xué)視角來對語言的功能進(jìn)行解讀，同時也是20世紀(jì)最有影響力的語言學(xué)理論之一。系統(tǒng)功能語法包括兩大成分：系統(tǒng)語法和功能語法，這兩大不同成分共同組成了語言學(xué)理論的整體框架。系統(tǒng)語法旨在解釋和語言相關(guān)的系統(tǒng)網(wǎng)絡(luò)（或意義潛勢），該系統(tǒng)網(wǎng)絡(luò)包含了語言學(xué)習(xí)者可以從中選擇的子系統(tǒng);功能語法旨在揭示語言作為一種社會互動形式所具有的功能優(yōu)勢。

韓禮德認(rèn)為，成年人語言變得越發(fā)復(fù)雜，且其語言必須要發(fā)揮更多的作用。兒童語言的功能范圍逐漸縮小為高度編碼且濃縮的三大元功能（meta-function），即分別為概念功能、人際功能和語篇功能（textual function）等。韓禮德的系統(tǒng)-功能觀從系統(tǒng)和功能兩個維度揭示了該理論的結(jié)構(gòu)及其在教學(xué)中的實際應(yīng)用。

二、‘多模態(tài)理論

多模態(tài)話語分析的理論基礎(chǔ)是社會符號學(xué)，該學(xué)派的代表人物有索緒爾（Saussure）、皮爾斯（Pierce）和韓禮德（Halliday）等語言學(xué)家。第一，美國語言學(xué)家索緒爾從符號學(xué)角度提出了能指概念和所指概念，但他只研究某個抽象符號的一般特點;第二，英國語言學(xué)家皮爾斯將索緒爾的符號范疇進(jìn)一步擴(kuò)大，提出了圖標(biāo)、索引和語符等概念;第三，英國語言學(xué)家韓禮德認(rèn)為，語言和社會符號緊密相連，語言就是一種社會符號。從某種程度上來說，語言是具體層面，符號是抽象層面，符號一般由具體語言形式來體現(xiàn)。這從某種程度上說明，語言（langue）和言語（parole）是兩個不同的概念。

社會符號學(xué)把語言看作眾多符號之一，各符號系統(tǒng)都能用來進(jìn)行社會交際，表現(xiàn)講話者的意義。因此，從該角度來講，言語交際就是具有多模態(tài)性的。

三、多模態(tài)符號資源及其分類

Lemke（1993）認(rèn)為，多模態(tài)符號系統(tǒng)也稱為多模態(tài)符號系統(tǒng)。語言使用者通過從中進(jìn)行模態(tài)選擇或者多種模態(tài)資源之間的組合，從事有意義的語言實踐活動，從而實現(xiàn)一定的交際目標(biāo)，他又指出，媒體資源可以分為以下幾個類型：

（一）語言與非語言符號資源

張德祿（2009）對媒體資源的類別劃分是根據(jù)語言是否以身體器官為中介，從而對外語教學(xué)中的媒體系統(tǒng)做了歸類。多模態(tài)話語媒體系統(tǒng)分為語言媒體系統(tǒng)和非語言媒體系統(tǒng)。其中，語言媒體系統(tǒng)又包括伴語言媒體系統(tǒng)（音響、音調(diào)、字體、布局等）和純語言媒體系統(tǒng)（聲音、文字）;而非語言媒體系統(tǒng)包括身體媒體系統(tǒng)（動作、比擬、面容、肢體）和非身體媒體系統(tǒng)（工具、環(huán)境）等。以上所有所述共同構(gòu)成了多模態(tài)話語媒體系統(tǒng)網(wǎng)絡(luò)，在實際話語交際中發(fā)揮重要角色。

（二）靜態(tài)與動態(tài)媒體資源

Thibault（2004）對各種符號資源作了更加深入具體的研究，并將這些媒體符號資源分為靜態(tài)媒體資源和動態(tài)媒體資源兩大類。其中，靜態(tài)媒體資源包括文字、圖片、表格、繪畫等;動態(tài)媒體資源包括面對面的互動、動畫、電影、使用錄像機等。

四、多模態(tài)語法

根據(jù)系統(tǒng)功能語言學(xué)理論（Halliday，1973;1985），語言要同時體現(xiàn)三種元功能（meta-function），即概念功能、人際功能和語篇功能等。那么，從多模態(tài)話語的角度來講，除了語言之外，其他符號系統(tǒng)也同樣是實現(xiàn)三個元功能的系統(tǒng)，如O'Toole（1994）把多元功能的思想延伸到圖像上，提出了視覺語法的概念;O'Toole（1994）則提出了一個以多元功能分析理論為基礎(chǔ)的，用于分析圖畫的模式。Kress and Van Leeuwen（1996）根據(jù)韓禮德系統(tǒng)功能語法中的及物性概念，把關(guān)于圖像的語法系統(tǒng)分為敘事類范疇以及概念類范疇，中間用矢量進(jìn)行連接。其中，語言對象的反應(yīng)過程也由矢量組成，由于多個圖像參與者的目光方向所構(gòu)成。筆者指出，內(nèi)部心理和外部言語過程是矢量，由具體的話語體系和抽象思維形式組成，在圖像中由言語泡或思維泡構(gòu)成，以及話語的敘事表現(xiàn)如圖1所示：

如圖1所示，敘事結(jié)構(gòu)包括過程和情景兩大部分。其中，過程包括有主體的過程和無主體的過程兩類。有主體的過程由非投射的言語過程以及投射的言語過程組成;另外一方面，情景包括敘事背景、手段、陪伴等因素。以上所述共同構(gòu)成了話語敘事結(jié)構(gòu)的完整框架。

五、結(jié)論與啟示

本文從韓禮德的系統(tǒng)功能觀出發(fā)，對多模態(tài)理論宏觀框架進(jìn)行了全方位解讀。該框架內(nèi)容主要包括：多模態(tài)理論、多模態(tài)符號資源及其分類、多模態(tài)語法等。然而，多模態(tài)話語分析理論研究仍然處于初級階段，具有一定的研究局限性。首先，對多模態(tài)話語分析理論的解釋存在主觀性，不同的解讀者可能得出不同的結(jié)論;其次，對多模態(tài)話語分析理論的解讀沒有規(guī)律可循，還沒有一套解析圖像與動畫等比較成熟的研究方法;最后，多維的多模態(tài)話語解析難度大。一維的文字和口語的解析方式比較簡單，開始和結(jié)尾的標(biāo)記都比較清晰，但二維的圖畫和三維的空間及思維的動畫如何解析，還需要進(jìn)一步研究。這也是未來研究者在多模態(tài)話語領(lǐng)域的努力的方向和需要解決的課題。

參考文獻(xiàn)：

[1]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Arnold，1973，1985.

[2]Kress，G.&van Leeuween，T.Reading Images：The Grammar of Visual Design[M].Burwood：Brown Prior Anderson，1994，1996.

[3]Lemke，J.Intertextuality and text semantics[A].In Gregory，M.&Fries，P.（eds.）.[4]Discourse in Society：Functional Perspectives[C].Norwood，N.J.：Ablex，1995：85-114.

[4]OToole，M.The Language of Displayed Art[M].London：Leicester University Press，1994.

[5]Thibault，P.J.The multimodality transcription of a television advertisement：Theory and practice[A].In A.P.Baldry（ed.）.Multimodality and Multimediality in the Distance[12]Learning Age[C].Campobasso.Italy：Palladino Editore，2004：311-285.

[6]張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué)，2009 （4）：15-20.

[7]胡壯麟.語言學(xué)教程[M].北京大學(xué)出版社，2011.