多模態(tài)語(yǔ)篇分析的社會(huì)符號(hào)學(xué)理?yè)?jù)

汪燕華

(廈門大學(xué)，廈門361005)

1 引言

傳統(tǒng)的語(yǔ)篇分析把語(yǔ)言符號(hào)作為研究對(duì)象，關(guān)注語(yǔ)言系統(tǒng)和語(yǔ)義結(jié)構(gòu)本身及其與社會(huì)文化和心理認(rèn)知之間的關(guān)系，卻往往忽視了諸如圖像、聲音、顏色、動(dòng)漫等其他意義表現(xiàn)形式(朱永生2007)。而隨著時(shí)代的發(fā)展，單獨(dú)以文字符號(hào)構(gòu)建的語(yǔ)篇已不能滿足意義表達(dá)和交際的需要。為了更快捷、有效的傳遞信息，達(dá)到交際的目的，語(yǔ)篇?jiǎng)?chuàng)造者運(yùn)用訴諸于人們感官(視覺(jué)、聽覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué))的各種模式建構(gòu)語(yǔ)篇，從而產(chǎn)生多模態(tài)語(yǔ)篇。多模態(tài)語(yǔ)篇分析是對(duì)組成一個(gè)語(yǔ)篇或一個(gè)交際事件的不同符號(hào)模態(tài)的分析，它將語(yǔ)言符號(hào)和其他相關(guān)的符號(hào)資源整合起來(lái)，旨在通過(guò)考察符號(hào)各自所體現(xiàn)的意義和符號(hào)之間的互動(dòng)意義，分析和解釋它們是如何共同協(xié)作，創(chuàng)造出一個(gè)完整的語(yǔ)篇或交際事件的。這類語(yǔ)篇分析既可以推動(dòng)我們對(duì)語(yǔ)言學(xué)的研究，同時(shí)也可以加深我們對(duì)符號(hào)學(xué)的認(rèn)識(shí)(胡壯麟2007)。本文將通過(guò)分析Saussure，Halliday和Kress的符號(hào)學(xué)理論，明確多模態(tài)語(yǔ)篇分析的符號(hào)學(xué)理?yè)?jù)。分析旨在表明:多模態(tài)語(yǔ)篇研究是以語(yǔ)言研究為基礎(chǔ)的社會(huì)符號(hào)學(xué)理論擴(kuò)展至其他模態(tài)研究的結(jié)果，是符號(hào)學(xué)理論逐漸社會(huì)化的表現(xiàn);Halliday和Kress的符號(hào)學(xué)研究是一套一脈相承的、以社會(huì)文化和人類心理認(rèn)知為導(dǎo)向的理論體系，該體系奠基于這樣一種認(rèn)識(shí)，即社會(huì)符號(hào)學(xué)不是一門關(guān)于符號(hào)研究的純理論，也不是一個(gè)自足的理論體系，它在分析社會(huì)現(xiàn)象，解決社會(huì)實(shí)踐問(wèn)題的過(guò)程中得以存在和發(fā)展。

2 Halliday的語(yǔ)言作為社會(huì)符號(hào)的理論

多模態(tài)語(yǔ)篇分析要求我們不僅關(guān)注語(yǔ)篇內(nèi)部符號(hào)系統(tǒng)之間的關(guān)系，還需要我們把它本身看作一個(gè)符號(hào)系統(tǒng)尋求它和社會(huì)及符號(hào)使用者之間的關(guān)系。在這一點(diǎn)上，Halliday的社會(huì)符號(hào)學(xué)為多模態(tài)語(yǔ)篇分析提供了有力的理論基礎(chǔ)。Halliday的社會(huì)符號(hào)學(xué)理論受到L.Hjelmslev符號(hào)學(xué)理論的啟發(fā)。Hjelmslev在實(shí)施Saussure提出的建立“研究社會(huì)內(nèi)部符號(hào)生命的學(xué)科”的任務(wù)過(guò)程中發(fā)現(xiàn)符號(hào)不僅包括物質(zhì)實(shí)體(能指)和心理概念(所指)的關(guān)系，還包括符號(hào)本身與外界符號(hào)系統(tǒng)的關(guān)系，并且所有符號(hào)都要服從更高系統(tǒng)的組織原則。這些表現(xiàn)更高系統(tǒng)的符號(hào)具有內(nèi)涵意義。像其他符號(hào)一樣，它具有讓業(yè)已存在的符號(hào)系統(tǒng)發(fā)生作用的潛能。Halliday提出的社會(huì)符號(hào)系統(tǒng)相當(dāng)于L.Hjelmslev所說(shuō)的“具有內(nèi)涵意義的符號(hào)”，它需要通過(guò)語(yǔ)言來(lái)體現(xiàn)。所有理論系統(tǒng)(科學(xué)、哲學(xué)和美學(xué)等)以及社會(huì)規(guī)范、法律、意識(shí)形態(tài)等都屬于語(yǔ)言符號(hào)所體現(xiàn)的高一級(jí)符號(hào)。Halliday同時(shí)認(rèn)為，還有一些社會(huì)符號(hào)依附語(yǔ)言而存在，如視覺(jué)藝術(shù)、音樂(lè)、舞蹈、著裝方式、飲食以及其他一些意義生成行為，還有圖表、地圖、圖形、數(shù)字等等(Halliday＆Matthiessen 1999:606)?？梢?jiàn)，Halliday的社會(huì)符號(hào)學(xué)理論擴(kuò)展了Saussure的語(yǔ)言具有“社會(huì)性”的觀點(diǎn)，把語(yǔ)言提升到符號(hào)主系統(tǒng)的地位，認(rèn)為語(yǔ)言是能夠掌控所有符號(hào)的生成的符號(hào)，而不單單是語(yǔ)言學(xué)描寫的符號(hào)。這樣，語(yǔ)言作為一個(gè)符號(hào)同時(shí)表述和構(gòu)建社會(huì)結(jié)構(gòu)和制度，而這種表述和構(gòu)建并不限于語(yǔ)言自身，而且還表現(xiàn)于文化的各個(gè)方面。文化正是由許多符號(hào)系統(tǒng)構(gòu)成的意義潛式，如建筑、美術(shù)、舞蹈、音樂(lè)、文學(xué)、民俗、禮儀、商品交換方式等都可以看做符號(hào)系統(tǒng)。在這個(gè)意義上，語(yǔ)言只是表現(xiàn)社會(huì)符號(hào)學(xué)的許多方式中的一種。另一方面，語(yǔ)言又是一種極為特殊的符號(hào)系統(tǒng)，它在表現(xiàn)其他符號(hào)的系統(tǒng)中也起了作用，因而是人們賴以締造世界的主要手段，是建構(gòu)和解構(gòu)其他符號(hào)的媒介。

Halliday的社會(huì)符號(hào)學(xué)思想主要反映在其著作《作為社會(huì)符號(hào)的語(yǔ)言》中。他詳細(xì)論述語(yǔ)言、社會(huì)和人的關(guān)系，提出“語(yǔ)篇、語(yǔ)境、語(yǔ)域、語(yǔ)碼、語(yǔ)言系統(tǒng)和社會(huì)結(jié)構(gòu)”6個(gè)反映語(yǔ)言和社會(huì)關(guān)系的概念。其核心思想是要在社會(huì)語(yǔ)境中解釋語(yǔ)言，用語(yǔ)言來(lái)建構(gòu)社會(huì)。這6個(gè)要素是我們分析多模態(tài)語(yǔ)篇的重要依據(jù)。和由單一的語(yǔ)言符號(hào)構(gòu)成的語(yǔ)篇一樣，多模態(tài)語(yǔ)篇也是人們根據(jù)語(yǔ)境所做的有意義的選擇，是意義潛式的實(shí)例化(instantiation);語(yǔ)境是多種符號(hào)意義生成的環(huán)境，其本身也是一個(gè)社會(huì)符號(hào)系統(tǒng)。同時(shí)，多模態(tài)語(yǔ)篇內(nèi)部的不同符號(hào)系統(tǒng)之間也互為語(yǔ)境，因語(yǔ)域變量(語(yǔ)場(chǎng)、語(yǔ)旨、語(yǔ)式)的不同而生成不同的意義;與由單一的語(yǔ)言符號(hào)所構(gòu)建的語(yǔ)篇所不同的是，多模態(tài)語(yǔ)篇的語(yǔ)式更為復(fù)雜多樣，涉及到諸如圖像、聲音、色彩、排版和構(gòu)圖等多種表達(dá)意義的方式;語(yǔ)碼在多模態(tài)語(yǔ)篇中可以指同一社會(huì)文化背景的人所默認(rèn)的符號(hào)系統(tǒng)的組織原則，它是社會(huì)系統(tǒng)產(chǎn)生的社會(huì)符號(hào)類型，具有一定的規(guī)約性，它如同一只“看不見(jiàn)的手”，調(diào)控著多模態(tài)語(yǔ)篇生產(chǎn)、識(shí)解和消費(fèi)的整個(gè)過(guò)程;這里要強(qiáng)調(diào)的是，語(yǔ)言系統(tǒng)在多模態(tài)語(yǔ)篇中屬于主系統(tǒng)，人們通過(guò)語(yǔ)言系統(tǒng)實(shí)現(xiàn)社會(huì)結(jié)構(gòu)，確立自身的地位和角色，建立和傳遞共享的價(jià)值系統(tǒng)和知識(shí)系統(tǒng)，從而將社會(huì)符號(hào)化。通過(guò)解讀這6個(gè)要素可以看出，Halliday的社會(huì)符號(hào)學(xué)理論反對(duì)過(guò)分強(qiáng)調(diào)用形式主義的方法研究符號(hào)系統(tǒng)，而是主張把語(yǔ)言行為作為實(shí)例，并把社會(huì)實(shí)踐作為經(jīng)常的、可重復(fù)的、可識(shí)辨的類型(胡壯麟2007)。它認(rèn)為社會(huì)是有意義的行動(dòng)所構(gòu)成的各種社會(huì)符號(hào)系統(tǒng)，也正是這些符號(hào)系統(tǒng)為這些實(shí)踐和其他實(shí)踐賦予了意義。如果說(shuō)Saussure把語(yǔ)言作為符號(hào)學(xué)的一個(gè)部分來(lái)研究是為了從語(yǔ)言與其他符號(hào)的異同中找到語(yǔ)言內(nèi)在的特質(zhì)，Halliday把語(yǔ)言作為社會(huì)符號(hào)的觀點(diǎn)則是為了把語(yǔ)言和語(yǔ)言之外的其他符號(hào)系統(tǒng)置于社會(huì)文化的大背景下解釋語(yǔ)言的功能。事實(shí)上，所有符號(hào)系統(tǒng)都是社會(huì)文化的一部分，社會(huì)文化本身也是一種符號(hào)結(jié)構(gòu)。多模態(tài)語(yǔ)篇中各個(gè)符號(hào)的意義只有置于社會(huì)文化的大背景中才能得到準(zhǔn)確的解讀和界定。

3 Kress的社會(huì)符號(hào)學(xué)理論

雖然Saussure和Halliday都注意到了符號(hào)的社會(huì)性是闡釋符號(hào)意義的必要條件，但他們談?wù)摰闹饕钦Z(yǔ)言符號(hào)。而Kress則把語(yǔ)言符號(hào)之外的其他符號(hào)納入自己的研究視野，提出旨在解釋所有符號(hào)系統(tǒng)意義的社會(huì)符號(hào)學(xué)理論(Kress 1988)。Kress的社會(huì)符號(hào)學(xué)的研究是從分析幼兒對(duì)語(yǔ)言、文字和圖像的反應(yīng)和創(chuàng)造的過(guò)程入手的。在此過(guò)程中他發(fā)現(xiàn)在能指和符號(hào)使用者之間存在“動(dòng)機(jī)”關(guān)系，動(dòng)機(jī)的產(chǎn)生與人的社會(huì)環(huán)境有密切關(guān)系。在完成著作《作為意識(shí)形態(tài)的語(yǔ)言》后，他意識(shí)到純粹語(yǔ)言符號(hào)研究對(duì)解釋社會(huì)問(wèn)題的局限性，認(rèn)為在語(yǔ)言系統(tǒng)之外的其他系統(tǒng)(如視覺(jué)、聽覺(jué)、行為等其他信號(hào)編碼)也同樣存在意義，僅僅探討語(yǔ)言符號(hào)的意義遠(yuǎn)遠(yuǎn)不能解釋社會(huì)實(shí)踐中存在的問(wèn)題?？梢钥闯觯琄ress所提出的社會(huì)語(yǔ)言學(xué)理論旨在描述和解釋語(yǔ)言符號(hào)和其他符號(hào)系統(tǒng)的意義生成、傳播和接受的過(guò)程。

Saussure認(rèn)為在符號(hào)學(xué)中，語(yǔ)言學(xué)起一個(gè)基準(zhǔn)模型(master pattern)的作用。意思是說(shuō)，其他符號(hào)體系的研究可以參照語(yǔ)言學(xué)來(lái)進(jìn)行。Kress的社會(huì)符號(hào)學(xué)理論正是建立在語(yǔ)言學(xué)研究的理論基礎(chǔ)之上的。他的社會(huì)符號(hào)學(xué)一方面補(bǔ)充完善Saussure的符號(hào)學(xué)理論，另一方面又借鑒Halliday的語(yǔ)言元功能思想并將之運(yùn)用到其他符號(hào)領(lǐng)域。Kress在分析Saussure一系列二分法之后，發(fā)現(xiàn)被Saussure排除在外無(wú)暇顧及的恰恰是符號(hào)學(xué)應(yīng)該關(guān)注的對(duì)象，并認(rèn)為符號(hào)學(xué)至少應(yīng)該包括:(1)符號(hào)所固有的社會(huì)、文化和政治因素;(2)與語(yǔ)言符號(hào)并存的其他符號(hào)系統(tǒng);(3)言語(yǔ)行為;(4)符號(hào)的歷史、發(fā)展和演變等歷時(shí)性特征;(5)符號(hào)化過(guò)程;(6)所指的結(jié)構(gòu);(7)符號(hào)的物質(zhì)屬性(Kress＆Hodge 1988:18)。

在Kress看來(lái)，語(yǔ)言符號(hào)與其他符號(hào)系統(tǒng)之間有著千絲萬(wàn)縷的聯(lián)系，任何一個(gè)符號(hào)意義的生成和理解都不能與其他的符號(hào)系統(tǒng)隔離開來(lái)，而必須將它放置在一個(gè)更為廣闊的、由所有符號(hào)系統(tǒng)共同建立起來(lái)的背景下闡釋，因?yàn)檫@些符號(hào)系統(tǒng)本身就是社會(huì)活動(dòng)的一部分。在談到語(yǔ)言學(xué)理論和其他符號(hào)系統(tǒng)之間的關(guān)系時(shí)，他認(rèn)為，語(yǔ)言學(xué)理論的潛在價(jià)值可以在解釋其他符號(hào)系統(tǒng)的過(guò)程中得到體現(xiàn)，而這種解釋只有在和社會(huì)實(shí)踐接軌后才能產(chǎn)生效果。

Kress不僅拓展Saussure和Halliday的符號(hào)學(xué)思想，還將他的理論思想運(yùn)用到視覺(jué)符號(hào)的分析當(dāng)中。Kress的社會(huì)符號(hào)學(xué)理論實(shí)踐主要體現(xiàn)在他與van Leeuwen合作的著作《閱讀圖式》(Kress van＆Leeuwen 1996)中。Kress運(yùn)用系統(tǒng)功能語(yǔ)法關(guān)于語(yǔ)法的解釋來(lái)構(gòu)建視覺(jué)語(yǔ)法。Halliday指出，“語(yǔ)法是再現(xiàn)經(jīng)驗(yàn)的模式的手段……它是人類建立關(guān)于現(xiàn)實(shí)的心理圖像，并理解發(fā)生在他們周圍和自身內(nèi)部的經(jīng)驗(yàn)(Halliday 1985:101)。也就是說(shuō)，語(yǔ)法是制造意義的資源，而不是一套決定對(duì)錯(cuò)的形式規(guī)則。Kress和勒文將Halliday對(duì)語(yǔ)法的定義延伸到視覺(jué)符號(hào)，認(rèn)為，“正如語(yǔ)言的語(yǔ)法決定詞如何組成小句、句子和語(yǔ)篇，視覺(jué)語(yǔ)法將描寫所描繪的人物、地點(diǎn)和實(shí)物如何組成具有不同復(fù)雜程度的視覺(jué)的‘陳述’”(Kress van＆Leeuwen 2006:1)，視覺(jué)圖像和語(yǔ)言符號(hào)一樣都是社會(huì)文化的產(chǎn)物，是人們?cè)谏a(chǎn)和闡釋社會(huì)現(xiàn)象用來(lái)創(chuàng)造意義的認(rèn)知資源。圖像中的視覺(jué)符號(hào)不僅可以反映客觀世界和主觀世界發(fā)生的各種事情，而且可以表現(xiàn)各種各樣的人際關(guān)系，與此同時(shí)視覺(jué)符號(hào)內(nèi)部也是一個(gè)有機(jī)的連貫的整體。因此可以借用Halliday的語(yǔ)言元功能，分別從概念功能、人際功能和語(yǔ)篇功能三個(gè)不同層面分析圖像等視覺(jué)符號(hào)的語(yǔ)義關(guān)系(Kress van＆Leeuwen 2003)。Kress不同意Barthes所說(shuō)的對(duì)圖像的理解是依賴語(yǔ)言而獲得的，而是認(rèn)為圖像和文字說(shuō)明雖然有聯(lián)系，但并不依賴文字說(shuō)明，因?yàn)樗旧砑仁怯薪M織的又是又結(jié)構(gòu)的(Kress van＆Leeuwen 2006)。他同時(shí)強(qiáng)調(diào)，“視覺(jué)結(jié)構(gòu)并不只是對(duì)‘現(xiàn)時(shí)’結(jié)構(gòu)進(jìn)行復(fù)制。恰恰相反，它們生成的現(xiàn)實(shí)世界的各種圖像，與那些生成、傳播和閱讀這些圖像的社會(huì)機(jī)構(gòu)的利益是緊緊聯(lián)系在一起的。它們是表達(dá)意識(shí)形態(tài)的。視覺(jué)結(jié)構(gòu)決不只是形式的，他們?cè)谡Z(yǔ)義上也是非常重要的”(Kress van＆Leeuwen 2006:46)?？梢?jiàn)，每一種圖形都有其特定的含義，我們稱之為“圖形語(yǔ)義”，即圖形在“說(shuō)什么”。的確，直到今天，我們還可以依靠刻劃在阿爾塔米拉石窟的野牛圖形和半坡遺址的彩陶魚紋等稚拙的圖案來(lái)研究和理解遠(yuǎn)古時(shí)代人類的生存狀況。因此，在多模態(tài)語(yǔ)篇中，圖形語(yǔ)義和語(yǔ)言是相互作用并互為語(yǔ)境的;它們的共同協(xié)作才能更好地表現(xiàn)語(yǔ)篇?jiǎng)?chuàng)造者和交際事件的意圖。

4 結(jié)束語(yǔ)

社會(huì)符號(hào)學(xué)的宗旨是在社會(huì)實(shí)踐中探索意義的生成。任何意義，無(wú)論是語(yǔ)言文字的意義還是其他符號(hào)系統(tǒng)(視覺(jué)、聽覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué))的意義，以至抽象的模型、結(jié)構(gòu)、主體意識(shí)都是它所要研究的對(duì)象。通過(guò)分析Saussure，Halliday和Kress的符號(hào)學(xué)理論，我們發(fā)現(xiàn)多模態(tài)語(yǔ)篇分析的理論是基于Saussure對(duì)符號(hào)具有“社會(huì)性”這一論斷之上的。Halliday的“語(yǔ)言是社會(huì)符號(hào)的理論”(Halliday 1978)是對(duì)此論斷的擴(kuò)展。須要指出，Saussure和Halliday的符號(hào)學(xué)理論是以語(yǔ)言符號(hào)為分析對(duì)象從而探討符號(hào)的共性和意義。這些共性是多種模態(tài)共存于同一語(yǔ)篇的基礎(chǔ)。Kress的社會(huì)符號(hào)學(xué)理論融合Halliday語(yǔ)言作為社會(huì)符號(hào)的思想，發(fā)展并創(chuàng)立旨在解釋所有符號(hào)意義生成和傳播的符號(hào)學(xué)理論。這一功能語(yǔ)言學(xué)的發(fā)展，關(guān)注的是特定于某一文化、某一社團(tuán)的符號(hào)實(shí)踐，它推動(dòng)多模態(tài)表達(dá)的研究，最終形成能夠包容多種模態(tài)意義生成和解釋的社會(huì)符號(hào)學(xué)理論，為多模態(tài)語(yǔ)篇分析提供直接的理論來(lái)源。

胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化［J］.語(yǔ)言教學(xué)與研究，2007(1).

索緒爾.普通語(yǔ)言學(xué)教程［M］.北京:商務(wù)印書館，1980.

朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)和研究方法［J］.外語(yǔ)學(xué)刊，2007(5).

Halliday，M.A.K.Language as a Social Semiotic［M］.London:Amold，1978.

Halliday，M.A.K.An Introdiction to Functional Grammar［M］.London:Amold，1985/1994.

Halliday，M.A.K.and C.M.L.M.Maatthiessen.Construing Experience through Meaning［M］.London＆New York:Cassell，1999.

Kress，G.＆ Leeuwen，Theo Van.Reading Images The Grammar of Visual Design［M］.London:Routledge，2006.

Robert，Hodge.＆ Kress.Social Semiotics［M］.New York:Cornell University Press，1988.

Saussure，F(xiàn).de.Course in General Linguistics［M］.London:Gerald Duchworth ＆ Co.Ltd.，1916.