多模態(tài)話語中各模態(tài)之間關(guān)系的研究*

代樹蘭

(江蘇理工學(xué)院，常州 213001)

隨著現(xiàn)代社會信息與傳播方式的改變及現(xiàn)代社會圖像的崛起，語言的統(tǒng)治地位受到?jīng)_擊，雖然圖像等視覺符號尚未達(dá)到一統(tǒng)天下的境地，然而其重要性也不可小覷。圖像、圖文之間的關(guān)系再次成為人們關(guān)注的焦點。特別是在現(xiàn)代符號學(xué)、語言學(xué)領(lǐng)域，人們越來越認(rèn)識到，意義的構(gòu)建依賴多種符號資源的協(xié)同作用，圖像、動作、姿態(tài)、聲音常常與語言如影隨形，共同參與多模態(tài)話語意義的建構(gòu)。在圖文關(guān)系的研究中，繼索緒爾、巴爾特之后，以系統(tǒng)功能語言學(xué)理論為基礎(chǔ)的學(xué)者深入到圖文之間比較細(xì)致的“語法”關(guān)系中，將語言系統(tǒng)的研究成果如小句之間的關(guān)系等拓展到話語單位之間、圖文之間的關(guān)系研究中，對圖文之間的地位、互補等關(guān)系，以及人際意義中的評價立場等展開研究；互動社會語言學(xué)、認(rèn)知語言學(xué)等領(lǐng)域也將圖像、圖文關(guān)系納入研究視野(代樹蘭 2013:21)，他們對話語互動進(jìn)程及參與互動的多種模態(tài)也提出相應(yīng)的研究方法和路徑，對圖像隱喻、轉(zhuǎn)喻以及空間位置、聊天平臺上聲音符號的關(guān)注等為多模態(tài)之間關(guān)系的研究注入活力。

1　現(xiàn)代話語語境中圖像的崛起

在現(xiàn)代社會，圖像崛起于傳統(tǒng)的語言一統(tǒng)天下的語境中。事實上，人們對圖像等視覺符號的探討由來已久。柏拉圖的“線段之喻”將可視世界一分為二，即實物與圖像，認(rèn)為圖像是對實物的摹仿。(柏拉圖 1986:268)亞里士多德在《形而上學(xué)》的開篇便有：“無論我們將有所作為，或竟是無所作為，較之其它感覺，我們都特愛觀看。理由是它能使我們識知事物，并顯明事物之間的許多差別，此于五官之中，以得于視覺者為多”(亞里士多德 1983:1)。我國古代，如果說老子和莊子的“五色令人目盲，五音令人耳聾” (《老子·第十二章》)、“上窺青天，下潛黃泉”(《莊子·田子方》)有意無意地強調(diào)視覺、聽覺的重要性，那么王弼的“盡意莫若象，盡象莫若言。言生于象，故可尋言以觀象；象生于意，故可尋象以觀意……”(《周易略例·明象》)，以及西晉文學(xué)家、書法家陸機的“宣物莫大于言,存形莫善于畫”(張彥遠(yuǎn)《歷代名畫記·敘畫之源流》引)等則凸顯出視覺及圖像的重要性。黑格爾在19世紀(jì)30年代也曾指出，在人的所有感官中，惟有視覺和聽覺是認(rèn)識性的感官。(黑格爾 1979:331)

人類社會進(jìn)入20世紀(jì)后半期，消費社會的來臨、信息生產(chǎn)與傳播方式的數(shù)字化進(jìn)程把我們由“語言一統(tǒng)天下”的時代帶入“圖像時代”。“藝術(shù)”與“圖像”作為概念從內(nèi)涵與外延、能指與所指的關(guān)系都在發(fā)生轉(zhuǎn)變(尹德輝 2010:11)，視覺符號正成為溝通個體與社會、人類與自然、心靈與肉體的紐帶?！盁o論我們喜歡與否，我們自身在當(dāng)今都已處于視覺成為社會現(xiàn)實主導(dǎo)形式的社會”(艾爾雅維茨 2003:5)，“圖像俘虜了我們……它置身于我們的語言之中，并且語言也似乎不斷地向我們重復(fù)著它”(Wittgenstein 1958:6)?！斑^去，圖像闡釋文本。今天，文本則充實著圖像……過去是從文本到圖像的涵義遞減，今天存在的卻是從文本到圖像的涵義遞增?！?Barthes 1982:204)“目前占統(tǒng)治地位的是視覺觀念。聲音和景象，尤其是后者，組織了美學(xué)，統(tǒng)率了觀眾?！?貝爾 1989:154)甚至有人提出，在當(dāng)代視覺文化中，文本與圖像的傳統(tǒng)支配關(guān)系被倒置，不是文字或文本支配圖像，而是圖像獲得前所未有的“霸權(quán)”(周憲 2005:138)。世界圖像并非從一個中世紀(jì)的稱謂演變?yōu)橐粋€現(xiàn)代的時尚，而是世界從根本上變成圖像，這正是現(xiàn)代社會之本質(zhì)(海德格爾 1996:899)。

電影、電視畫面、各種網(wǎng)絡(luò)資源及圖像的出現(xiàn)與普及意味著以視覺文化為主導(dǎo)的海德格爾的“世界圖像時代”(同上:1)，或曰“景象社會”(Debord 1994:6)、“視覺文化”(Mirzoeff 1998:5)、“仿像社會”(Baudrillard 1983:83)的到來。于是有學(xué)者宣稱，80年代末以來的“語言學(xué)轉(zhuǎn)向”似乎已經(jīng)壽終正寢，取而代之的正是“視覺轉(zhuǎn)向”，或曰“圖像轉(zhuǎn)向”：哲學(xué)家們所談?wù)摰牧硪淮无D(zhuǎn)變正在發(fā)生，又一次關(guān)系復(fù)雜的轉(zhuǎn)變正在人文科學(xué)的其他學(xué)科里、在公共文化的領(lǐng)域里發(fā)生。我想把這一轉(zhuǎn)變稱之為“圖像轉(zhuǎn)向”。在英美哲學(xué)中，這一轉(zhuǎn)向的種種形式早期可追溯到皮爾斯的符號學(xué)，后期可追溯到古德曼的“藝術(shù)語言”，兩者都探討構(gòu)成非語言符號系統(tǒng)之基礎(chǔ)的慣例和符碼。更為重要的是，它們并不從如下假定出發(fā)，即語言乃是意義的范式。在歐洲，人們可以把這一變化和現(xiàn)象學(xué)關(guān)于想象和視覺經(jīng)驗的研究等同起來，或把它與德里達(dá)的“語法學(xué)”等同起來，后者通過把注意力轉(zhuǎn)向書寫可見的物質(zhì)性痕跡而將語言的“語音中心論”模式去中心化；或者，還可以把這一轉(zhuǎn)變與法蘭克福學(xué)派對現(xiàn)代性、大眾文化以及視覺媒介的研究等同起來，或者與福柯所堅持的權(quán)力/知識歷史和理論等同起來，這一歷史和理論揭示出話語的和“視覺的”、可見的和可說的東西之間存在的裂隙，這種裂隙乃是現(xiàn)代性的“視覺政體”中的關(guān)鍵所在(Mitchell 1994:11-12, 米歇爾 2006:2-3)。

事實上，早在1972年，英國學(xué)者貢布里希(2001:106)就宣布“視覺時代”的到來。從電視到報紙，從廣告到各類商業(yè)形象，社會的特征似視覺的癌癥般擴散，所有事物的價值都取決于顯示或被顯示的能力，談話也被轉(zhuǎn)化為視覺過程(如電視訪談等)，這是一種眼睛的史詩，閱讀沖動的史詩 (Michel 1984:XXI)?！皥D像正是大眾話語最合適的傳媒和載體，圖像化為大眾化的意識形態(tài)提供一個最有效的途徑?！?彭亞非 2003:32)如果說“語言學(xué)轉(zhuǎn)向”是建立在語言建構(gòu)我們社會現(xiàn)實的重要通道的話，那么，如今在同樣的意義上也可以說，在當(dāng)代文化中圖像同樣是建構(gòu)我們社會現(xiàn)實的重要路徑。比較而言，圖像比語言更有效地塑造我們對現(xiàn)實世界的看法。而當(dāng)代視覺文化中各種復(fù)雜的圖像或影像形式的爆炸性發(fā)展，必然對當(dāng)代人的主體性、意識形態(tài)和認(rèn)知方式產(chǎn)生越來越深刻的影響(周憲 2005:142)。

盡管人們對圖像的地位、“圖像時代”的稱謂仍有爭議，“圖像霸權(quán)”等說法仍不免有言過其實之嫌，然而圖像等視覺符號在現(xiàn)代社會中的作用及地位的凸顯已成為不爭的事實。傳統(tǒng)的語言一統(tǒng)天下的時代正在改變。事實上，“圖像轉(zhuǎn)向”某種程度上正是肇起于“語言轉(zhuǎn)向”的基礎(chǔ)之上，崛起于傳統(tǒng)的語言一統(tǒng)天下的語境中。不僅圖像的表述是借助于語言完成的，對圖像重要性的凸顯、對圖像轉(zhuǎn)向的表述也是在語言轉(zhuǎn)向中、在與語言的對比中實現(xiàn)的。在此過程中，語言與圖像孰輕孰重、圖像符號的特點及其與語言符號的關(guān)系自然是學(xué)者們必須面對的問題。

2　現(xiàn)代多模態(tài)話語中各模態(tài)之間的關(guān)系

語言和圖像的發(fā)展經(jīng)歷早期的圖文一體、先秦至隋唐時期的文重于圖、圖模仿文，宋朝至明清的語圖合體、相得益彰的發(fā)展歷程(李彥鋒 2010:65)，與東方一樣，西方的圖像從模仿、替代到再現(xiàn)的過程也經(jīng)歷從一體、分離，走向融合的轉(zhuǎn)變。然而現(xiàn)代社會對多模態(tài)關(guān)系的研究歷史并不長。20世紀(jì)30年代的語言轉(zhuǎn)向萌芽之時，胡塞爾將圖像的物質(zhì)客體區(qū)分為物理客體、展示性客體、被展示性客體3種類型(倪梁康 2001:34)，這一區(qū)分與帕諾夫斯基圖像學(xué)闡釋的3個階段(前圖像志描述、圖像志分析、圖像學(xué)闡釋)具有異曲同工之妙(潘諾夫斯基 1987:31)。維特根斯坦也注意到非語言符號的作用及語言與圖像之間的關(guān)系，在將語言符號的功能進(jìn)行分類(傳達(dá)信息、表達(dá)情感與指導(dǎo)行動)的同時，提出非語言符號的功能，即表達(dá)態(tài)度與情緒、輔助語言交際、替代語言等；認(rèn)為盡管非語言符號不容易變成系統(tǒng)、準(zhǔn)確的語言，但大量不同的信息正是通過它們傳達(dá)的(維特根斯坦 2001:215-270)。阿恩海姆更進(jìn)一步認(rèn)為，“每一個視覺式樣都是一個力的式樣”(阿恩海姆1998:9)。被視覺所感知的圖像本身便存在著特殊的、不能用預(yù)先積累的知識推斷出來的“力的樣式”，從而將圖像看作與文字一樣是具有獨立性、具有表達(dá)層和意義層的符號資源(Royce, Bowcher 2007:195)，提醒人們對其意義構(gòu)建過程與機制、對各種符號資源的融合予以關(guān)注、進(jìn)行解釋。

如果說在柏拉圖那里，圖像與文字本身的符號價值被摹仿物所遮蔽，那么在現(xiàn)代的索緒爾、阿恩海姆等學(xué)者那里，它們的符號價值凸現(xiàn)出來，而不再受制于被摹仿物。只是索緒爾將語言文字看作一個自足的、封閉的系統(tǒng)，而胡塞爾、阿恩海姆等傾向于將圖像歸入某個自足的系統(tǒng)(陳力丹 王亦高 2008:15)。事實上，Kress和van Leeuwen認(rèn)為，圖像并不依賴文字說明，而是自足的，具有自己的組織和結(jié)構(gòu)特征。(Kress, van Leeuwen 2006:16) 如今，圖文關(guān)系在經(jīng)歷柏拉圖的圖像優(yōu)于文字、文字是圖像的闡釋者與輔助工具，以及巴爾特的文字優(yōu)于圖像的觀點之后，步入后現(xiàn)代的圖像具有獨立性、自足性的時代。

正是后現(xiàn)代社會語境中圖像的這種獨立性、自足性導(dǎo)致“圖像時代”的到來，以及人們對圖像、圖文關(guān)系更多的關(guān)注和研究。在現(xiàn)代符號學(xué)、語言學(xué)領(lǐng)域，人們越來越認(rèn)識到，意義的構(gòu)建依賴多種符號資源的協(xié)同作用，視覺符號與我們對動作的感知相聯(lián)系，從而將身體對動作的體驗也變成視覺與語言結(jié)合的模態(tài)符號，語言與圖像等符號之間的關(guān)系超越簡單意義上的視覺符號與語言符號的結(jié)合，跨入多模態(tài)融合的階段。這種對多層次的單獨或協(xié)同作用的符號資源的認(rèn)識為意義的研究提出新的課題，而日益增長的對傳播媒介、社會互動、符號學(xué)的研究興趣也正在促使人們重新將目光轉(zhuǎn)向話語的多種模態(tài)以及各模態(tài)之間的關(guān)系上。

2.1 以巴爾特為代表的符號學(xué)研究

人類對圖文關(guān)系的認(rèn)知與探討以及語言與圖像相結(jié)合的傳統(tǒng)源遠(yuǎn)流長。自古以來中國就有“圖經(jīng)書緯”的說法，在歐洲，圖像也曾經(jīng)被看成是一種書寫形式。然而在語圖關(guān)系研究中較早也頗具影響的當(dāng)屬巴爾特。受索緒爾圖像僅是語言符號整體的一部分的觀點影響，他不贊成圖像具有符號自律性，認(rèn)為對圖像的符號學(xué)分析需要借助于語言模式?！皥D像可以表達(dá)意義，但從來就不是自律的；任何符號體系均包含語言。……意義必然是通過語言來復(fù)制從而得到證實。”(Barthes 1973:10)“語言不是普遍的符號學(xué)科的一部分，……相反，符號學(xué)乃是語言學(xué)的一部分，是具體負(fù)責(zé)話語中的大的意義單位的那部分?！?巴爾特1999:2-3)

巴爾特的觀點大有成為現(xiàn)實之勢。他在圖文關(guān)系方面所做的工作也為后期的研究奠定基礎(chǔ)。他將圖像與文字的關(guān)系分為兩種：即本體論上的“基礎(chǔ)”關(guān)系和信息“傳遞”關(guān)系。前者圖像依賴文字；后者則是互補關(guān)系。兩種關(guān)系中，要么文字得到圖像的延伸，要么圖像從文字中擁有本體論基礎(chǔ)(葉起昌 2005:63)。隨后，在依賴與互補的基礎(chǔ)上，巴爾特提出語言和圖像間的3種關(guān)系：以圖像為主，語言解釋圖像；以語言為主，圖像解釋語言(Barthes 1977：25)；二者處于平等地位：“盡管在固定的圖像中很少見，但在電影中卻十分重要，對話不僅起著解釋的作用，而實際上通過提供圖像中不能表現(xiàn)的信息，起著推動情節(jié)發(fā)展的作用。此時，語言和圖像作為語段的組成部分，處于互補關(guān)系，信息的整體性在更高層次上得以實現(xiàn) (同上：41)，從而實現(xiàn)在意義表達(dá)上相互拓展、細(xì)化、增加所蘊含的信息，對意義予以詳細(xì)說明或更準(zhǔn)確的重述 (Anthonissen 2003:300)。

2.2 系統(tǒng)功能語言學(xué)領(lǐng)域的研究

意義的建構(gòu)與理解不僅需要關(guān)注語言，還需要考慮符號的復(fù)雜性以及參與整體意義建構(gòu)的其他符號資源，考慮多種符號間的協(xié)同作用。社會符號學(xué)關(guān)注符號自身的特征，認(rèn)為意義的建構(gòu)需要多種符號的協(xié)同作用，尋求語言與圖像等多種符號的整體理解方式，從而成為多模態(tài)話語的重要理論基礎(chǔ)。Kress和van Leeuwen率先把韓禮德的理論運用于多模態(tài)話語分析，認(rèn)為圖像符號與語言符號一樣也是常見的社會符號。(Kress，van Leeuwen 1996:1)圖像等視覺符號與語言符號一樣具有概念、人際和語篇3種功能(同上:40)，具有形成語篇或符號整體的功能，所形成的語篇既有內(nèi)在連貫性，又與外部語境相聯(lián)系。因此，話語的建構(gòu)與理解須要打破語言和圖像間的局限，考慮多模態(tài)語篇構(gòu)成的整體，須要將各模態(tài)的表達(dá)意義、指向意義和篇章意義結(jié)合起來(Lemke 1998:87)。

從20世紀(jì)90年代開始，該領(lǐng)域的部分學(xué)者以此為基礎(chǔ)對各符號之間的關(guān)系開展研究。Lemke 提出語言語義模式的語義系統(tǒng)或許也可用來整合語言與視覺圖像之間的意義關(guān)系(Lemke 1998:87)；Royce運用韓禮德 (1985/1994)的元功能模型、Kress和van Leeuwen(1996)的布局系統(tǒng)對廣告中的圖文關(guān)系進(jìn)行探討 (Royce 1998:25)。Bateman 則通過對傳統(tǒng)的紙質(zhì)報紙和網(wǎng)絡(luò)電子報紙首頁的布局設(shè)計及其在生產(chǎn)和傳播過程中所呈現(xiàn)的不同特征進(jìn)行分析，從類型學(xué)的角度提出圖文關(guān)系研究中需要注意的問題。(Royce, Bowcher 2007:147) 話語類型通過為話語提供隱性意義結(jié)構(gòu)，將圖文布局與社會活動連接起來，影響并制約著二者在模態(tài)選擇和布局設(shè)計等方面的特征與策略。圖文關(guān)系的確立與話語類型關(guān)系密切，后者是決定二者關(guān)系的重要因素。Lemke發(fā)現(xiàn)，雖然從理論上講所有的模態(tài)都是平等的，但在實際運用中，由于各自的特征及其在具體交際情景中所起的作用不同，一些模態(tài)會在更大程度上增加或減少由其他模態(tài)所表達(dá)的信息。(Lemke 1998:87) 語言更適用于表達(dá)序列關(guān)系、各類別之間的區(qū)別等，圖像更適用于表達(dá)空間關(guān)系，以及程度、等級、持續(xù)或動態(tài)變化等。不過，在具體交際情景中，語言和圖像的作用并不局限于以上的“特殊功能”，特別是隨著圖像在各種文本中的頻繁使用，其功能有可能成為這兩種模態(tài)互補關(guān)系的特征(Martinec, Salway 2005:351)。目前，該領(lǐng)域的進(jìn)展主要集中在以下幾個方面：

2.21 語法關(guān)系與圖文關(guān)系

在特定的社會文化領(lǐng)域，意義通常可由不同的符號來表達(dá)，共同的符號原則能在不同交際模式中起作用。系統(tǒng)功能語言學(xué)的學(xué)者以韓禮德對語言的研究為基礎(chǔ)向外延伸，認(rèn)為其語言研究成果同樣適用于圖像等其他交際符號。將其邏輯語義關(guān)系(Halliday 1985:306-307)延伸到話語單位(Martin 1994:29)和圖文之間的關(guān)系上。又在該基礎(chǔ)上增加地位關(guān)系(Martinec, Salway 2005:351)，還將巴爾特的互補關(guān)系考慮在內(nèi)，認(rèn)為圖像和文本互相依賴、互相依存。并因此將圖文的語義關(guān)系分為兩個子系統(tǒng)，即地位系統(tǒng)和邏輯語義系統(tǒng)；將平等關(guān)系進(jìn)一步分為獨立和互補兩種關(guān)系，獨立關(guān)系中地位平等；互補關(guān)系中互相修飾，共同構(gòu)成更大的語段。相互獨立時，其信息處于平行狀態(tài)，各自形成獨立過程。與小句中的從屬關(guān)系一樣，圖像與語言有主輔之分。

2.22 圖文之間的地位關(guān)系

圖像與語言之間的關(guān)聯(lián)是通過成分之間的銜接實現(xiàn)的，從而將圖像和語言中參與者、過程和情景聯(lián)系在一起。二者互補時，它們共同構(gòu)成一個大的語段，多數(shù)情況下，它們共同參與意義的建構(gòu)，特別是在單靠語言不能表達(dá)清楚，需要二者協(xié)同作用時，這種情況尤為常見。在語言與圖像之間的地位關(guān)系中，平等關(guān)系中語言與圖像相互獨立、互相補充；不平等關(guān)系中圖像從屬于語言，或者語言從屬于圖像。韓禮德的術(shù)語“闡述”也被用于說明圖文之間的邏輯語義關(guān)系，解釋、延伸和強化均可用來表達(dá)圖文關(guān)系。(韓禮德 1994:226) 解釋可分為說明和舉例；延伸指語言與圖像中的一種模態(tài)增加新的相關(guān)信息；強化指增加時間、地點、原因等新信息(Martinec, Salway 2005:360)。

2.23 圖文之間的多種關(guān)系

各模態(tài)之間在話語過程中具有多種關(guān)系，它們互相增效、協(xié)調(diào)一致，服務(wù)于整體意義的建構(gòu)，其整體意義大于任何單一模態(tài)的意義。語言與圖像之間在概念意義上存在一致、互補和連接等多種關(guān)系。這里的一致關(guān)系與Lemke 的多模態(tài)話語的意義多重性一致(Lemke 2002:301)，是各符號系統(tǒng)的意義功能結(jié)合的必然結(jié)果，它包括不同模態(tài)之間的重復(fù)、展示和例證：重復(fù)并不是各模態(tài)之間的簡單重復(fù)，而是通過另一模態(tài)的介入在原有的基礎(chǔ)上增加新的信息；展示指圖像與語篇處于同一級別時的意義建構(gòu)關(guān)系(Martinec, Salway 2005:350)；例證則指語言說明一般情況，圖像表示其中的一種情況、一個例子，或者提供追加、額外信息。概念功能中的互補關(guān)系主要指各模態(tài)之間所表達(dá)的意義有所不同而呈現(xiàn)出的互相補充、增效，產(chǎn)生比任一模態(tài)以及各模態(tài)構(gòu)成的整體更大的效果(Royce 1998:25-50)。偶爾也會出現(xiàn)概念的背離性，即語言與圖像表達(dá)的內(nèi)容呈相反關(guān)系。連接關(guān)系有兩種表現(xiàn)形式，第一種是凸顯，主要指引用或報告別人的話語或想法；第二種是時間、地點、原因等的連接關(guān)系，如文本敘述，圖像表明原因等(Martinec, Salway 2005:337-71)。

2.24 圖文關(guān)系中的評價立場

語言與圖像互相配合，共同建構(gòu)人際意義和評價立場。近期關(guān)于圖文關(guān)系的人際意義研究雖然關(guān)注各模態(tài)間的相互作用，但研究重點主要在多模態(tài)話語中評價立場的建構(gòu)上。認(rèn)為圖像與意象相似，旨在激起讀者的評價反應(yīng)，其主要作用是協(xié)同語言表達(dá)態(tài)度(包括情感、判斷和欣賞)，二者之間的關(guān)系更傾向于表達(dá)評價，而不是語氣或情態(tài)。(Martin 2002:311)通過在表達(dá)過程中對圖文的呈現(xiàn)形式進(jìn)行精心設(shè)計，以預(yù)示或揭示語言所表達(dá)的價值立場。就篇章意義而言，語言作為視覺成分，可以對圖像的不同部分予以強調(diào)或凸顯，圖像也能以不同的呈現(xiàn)形式突出語言表達(dá)的內(nèi)容。通過調(diào)整圖像和語言在屏幕上、語篇中的視覺效果，影響讀者的觀點和觀眾的視覺效果(Jewitt 2002:171)。就篇章關(guān)系而言，布局特征是建構(gòu)和理解意義、確立作者立場至關(guān)重要的因素(Macken 2003:283)。在對圖像的理解中，特別是在機構(gòu)話語情境中，人們時常忽視人際意義和篇章布局，只關(guān)注概念意義(Lemke 2002:301)。

2.3 互動社會語言學(xué)、認(rèn)知語言學(xué)對圖文關(guān)系的研究

話語研究不僅要考慮語言，更多地還要考慮語言在互動過程中的作用，以及互動過程中的其他因素。雖然在語言與其他各模態(tài)間的關(guān)系研究中，學(xué)者們關(guān)注較多的是語言與圖像，但是在社會符號學(xué)之外，對語言與其他模態(tài)之間的關(guān)系、對各模態(tài)間如何形成連貫的、有意義的整體以及各模態(tài)在意義建構(gòu)中的作用、對互動性話語的研究也正在引起重視。特別是以互動社會語言學(xué)、認(rèn)知語言學(xué)為理論基礎(chǔ)發(fā)展而來的多模態(tài)話語理論為多模態(tài)話語及其之間的關(guān)系研究提供支持。

互動社會語言學(xué)將語言看成社會行為，認(rèn)為互動過程中的參與者一般都同時做多件事情，只有在極少數(shù)情況下，參與者才會聚焦于單一事件或媒介上(Scollon 1998:116 )。一部電影、一幕街景同時具有多種代碼，并使用多種交際渠道，構(gòu)成具有整體意義的文化現(xiàn)象(格雷馬斯 2009:43)。因此，話語研究應(yīng)采取多模態(tài)的研究方法，將話語融入人們的行為進(jìn)行分析，探討話語和行為構(gòu)成的整體(Norris 2004a:5)。盡管交際情境中的模態(tài)難以計數(shù)，但各模態(tài)間的關(guān)系取決于具體的交際情景，其間不存在內(nèi)在的等級關(guān)系。就具體情況而言，當(dāng)某一模態(tài)特別適合某種情景且在當(dāng)前具有突出地位時，其他模態(tài)便處于輔助地位；當(dāng)各模態(tài)間的關(guān)系復(fù)雜且沒有一種更突出的模態(tài)時，特別是當(dāng)多種不同的模態(tài)同時表達(dá)一種信息時，各模態(tài)之間協(xié)同作用，共同為實現(xiàn)交際目標(biāo)服務(wù)。參與交際的模態(tài)數(shù)量并不重要，重要的是互相聯(lián)系的各模態(tài)間的關(guān)系或某一模態(tài)或某幾個模態(tài)的密度及其在交際過程中所起的作用。(Norris 2004b:196)

話語行為是對多個符號系統(tǒng)選擇的過程，非語言符號對于建構(gòu)和理解空間中的話語起著重要的作用。該領(lǐng)域以互動社會語言學(xué)、語言人類學(xué)和社會心理學(xué)等學(xué)科為基礎(chǔ)提出包括3個子系統(tǒng)(交互秩序、視覺符號和地理符號)的地理符號學(xué)，探索各種符號與其空間位置以及符號使用者行為的關(guān)系，研究人類同周圍存在的各種符號體系之間的互動(Scollon, Scollon 2003:3)；關(guān)注城市空間中的多模態(tài)話語分析及個體在公共空間中的行為定位等。Ornberg通過對三維語音聊天的多模態(tài)研究，認(rèn)為聲音符號在交際平臺上具有很高的模態(tài)密度。在內(nèi)容層面，有聲語言引入話題，具有澄清、修正、重復(fù)、解釋、強調(diào)、反饋等作用，如聲調(diào)和停頓的強調(diào)作用、韻律和超語言符號提供的反饋信息等。(Ornberg 2006:1) 在結(jié)構(gòu)層面，與聲音相關(guān)的各模態(tài)均可用作銜接手段。在語境層面，既傳達(dá)會話特點與風(fēng)格，又是會話者身份的組成部分。姿勢、表情、眼神等也具有提供反饋信息、表明態(tài)度及對對方的關(guān)注程度等作用。

認(rèn)知語言學(xué)學(xué)者則提出關(guān)聯(lián)理論不局限于言語交際，也適用于非言語的、多模態(tài)的話語研究。并在概念隱喻的基礎(chǔ)上提出圖像隱喻理論和多模態(tài)隱喻理論(Forceville 1996:334)，運用認(rèn)知理論，尤其是概念隱喻理論研究多模態(tài)話語及各模態(tài)間的關(guān)系。其中，Yus和Zbikowski等對視覺隱喻與語言隱喻，對詞語、手勢等不同形式的隱喻在口語表達(dá)中的運用，以及對音樂、語言與多模態(tài)隱喻之間的關(guān)系的研究皆屬于這一領(lǐng)域。(Forceville 2009:145)

3　結(jié)束語

隨著現(xiàn)代社會“圖像轉(zhuǎn)向”在“語言轉(zhuǎn)向”的背景中的崛起及圖文關(guān)系的凸顯，以及后現(xiàn)代社會語境中圖像所呈現(xiàn)出的越來越明顯的獨立性、自足性，在圖像與文字語篇不分上下，圖像可以直接用于交流的時代，人們對語言與圖像之間關(guān)系的研究已經(jīng)跨越長期以來爭論不休的孰重孰輕、孰優(yōu)孰劣的藩籬，圖像、圖文關(guān)系正引起更多的關(guān)注。以系統(tǒng)功能語言學(xué)為理論基礎(chǔ)的學(xué)者深入到圖文之間比較細(xì)致的“語法”關(guān)系中，將語言系統(tǒng)的研究成果如小句之間的關(guān)系拓展到話語單位之間、圖文之間關(guān)系的研究中。對圖文間的地位關(guān)系，一致、互補與連接關(guān)系，以及人際意義中的評價立場等展開研究。學(xué)者們對符號資源多層次的協(xié)同作用的認(rèn)識與研究，對交際過程中的其他因素如空間位置、聊天平臺上聲音符號的關(guān)注等不僅為意義和話語的研究提出新的課題，同時也開啟新的窗口、注入新的活力。

目前的研究，不管是索緒爾和巴爾特，還是系統(tǒng)功能語言學(xué)、互動社會語言學(xué)以及認(rèn)知語言學(xué)的相關(guān)研究大都是以語言為基礎(chǔ)，或者以語言為參照展開，即便是對繪畫等明顯以圖像為主的藝術(shù)研究，多數(shù)研究者也是深受先入為主的“語言霸權(quán)”的影響，就連“圖像轉(zhuǎn)向”一詞也肇起于“語言轉(zhuǎn)向”，以此為基礎(chǔ)對圖文關(guān)系的探討難免會從語言的視角出發(fā)去審視圖像及其之間的關(guān)系，其研究結(jié)論也會有偏頗，甚至在一定程度上掩蓋符號的本質(zhì)。因此，我們須要站在更高的平臺上，跨越“語言中心主義”的藩籬，將語言、圖像等看成人類多種交際符號中的平等對象，既正視各模態(tài)的區(qū)別，探討其符號本質(zhì)，重視其聯(lián)系，又不忽視交際過程中人的主體性和主動性，只有這樣，才有可能更接近其本質(zhì)，真正朝著揭示各模態(tài)之間的關(guān)系邁進(jìn)一步。

在處理多模態(tài)間的關(guān)系時，我們應(yīng)該認(rèn)識到“所有的感覺表達(dá)媒介都在發(fā)生相互滲透，盡管每一種表達(dá)媒介在依靠自身最獨特的性質(zhì)時發(fā)揮得最好，它們又都可以通過與自己的鄰者偶然連袂為自己灌注新的活力”(阿恩海姆 1994:119)。因為只有當(dāng)“內(nèi)容和完全適合內(nèi)容的形式達(dá)到獨立完整的統(tǒng)一，因而形成一種自由的整體，這就是藝術(shù)的中心”(黑格爾1979:157)，這應(yīng)該也是現(xiàn)代社會中以不同媒介為載體的多模態(tài)話語中各模態(tài)間關(guān)系的最佳境界。

阿恩海姆. 語言、形象與具體詩[A]. 藝術(shù)心理學(xué)新論[C]. 北京: 商務(wù)印書館, 1994.

阿恩海姆. 藝術(shù)與視知覺[M]. 成都: 四川人民出版社, 1998.

艾爾雅維茨. 圖像時代[M]. 長春: 吉林人民出版社, 2003.

巴爾特·羅蘭. 符號學(xué)原理[M]. 北京: 三聯(lián)書店, 1999.

貝爾. 資本主義文化的矛盾[M].南京：江蘇人民出版社, 1989.

柏拉圖. 理想國[M]. 北京: 商務(wù)印書館, 1986.

陳力丹王亦高. 論圖文關(guān)系的歷史變遷——以柏拉圖式的圖文觀為先導(dǎo)[J]. 現(xiàn)代傳播, 2008(4).

代樹蘭. 多模態(tài)話語研究的緣起與進(jìn)展[J]. 外語學(xué)刊, 2013 (2).

格雷馬斯. 符號學(xué)與社會科學(xué)[M]. 天津: 百花文藝出版社, 2009.

貢布里希. 視覺圖像在信息交流中的地位[A]. 貢布里希論設(shè)計[C]. 長沙: 湖南科技出版社, 2001.

海德格爾. 世界圖像時代[A]. 海德格爾選集[C]. 上海: 三聯(lián)書店, 1996.

黑格爾. 美學(xué)(第三卷上卷)[M]. 北京:商務(wù)印書館, 1979.

李彥鋒. 中國繪畫史中的語圖關(guān)系研究[D].上海大學(xué)博士學(xué)位論文, 2010.

米歇爾. 圖像理論[M]. 北京: 北京大學(xué)出版社, 2006.

倪梁康. 圖像意識的現(xiàn)象學(xué)[J]. 南京大學(xué)學(xué)報, 2001(1).

潘諾夫斯基. 視覺藝術(shù)的含義[M]. 沈陽:遼寧人民出版社, 1987.

彭亞非. 圖像社會與文學(xué)的未來[J]. 文學(xué)評論, 2003(5).

維特根斯坦. 哲學(xué)研究[M]. 上海: 上海世紀(jì)出版(集團)有限公司, 2001.

亞里士多德. 形而上學(xué)[M]. 北京: 商務(wù)印書館, 1983.

葉起昌. 論后印刷時代話語中圖像與文字的關(guān)系[J]. 北京交通大學(xué)學(xué)報(社會科學(xué)版), 2005 (4).

尹德輝. 新世紀(jì)以來國內(nèi)“圖像”研究述評[J]. 文藝爭鳴, 2010(10).

周憲. “讀圖時代”的圖文“戰(zhàn)爭”[J]. 文學(xué)評論, 2005(6).

Anthonissen, C. Interaction Between Visual and Verbal Communication: Changing Patterns in the Printed Media[A]. In: Weiss, G., Wodak, R.(Eds.),CriticalDiscourseAnalysis:TheoryandInterdisciplinarity[C]. New York: Palgrave Macmillan Ltd., 2003.

Barthes, R.ElementsofSemiology[M]. New York: Hill and Wang, 1973.

Barthes, R.Image,Music,Text[M]. London: Fontana, 1977.

Barthes, R. The Photographic Message[A]. In: Susan, S.(Ed.),ABarthesReader[C]. New York: Hill and Wang, 1982.

Baudrillard, J.Simulations[M]. New York: Semiotext(e), Inc., 1983.

Debord, G.TheSocietyoftheSpectacle[M]. New York: Zone Books, 1994.

Forceville, C.PictorialMetaphorinAdvertising[M]. London: Routledge, 1996.

Forceville, C., Urios-Aparisi, E.MultimodalMetaphor[M]. Berlin: Mouton de Gruyter, 2009.

Halliday, M.A.K.AnIntroductiontoFunctionalGrammar[M]. London: Arnold, 1985/1994.

Jewitt, C. The Move from Page to Screen: The Multimodal Reshaping of School English[J].VisualCommunication, 2002(2).

Kress, G., van Leeuwen, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold, 2001.

Lemke, J.L. Multiplying Meaning: Visual and Verbal Se-miotics in Scientific Text[A]. In: Martin, J.R., Veel, R.(Eds.),ReadingScience:CriticalandFunctionalPerspectivesonDiscoursesofScience[C]. London: Routledge, 1998.

Lemke, J.L. Travels in Hypermodality[J].VisualCommunication, 2002(3).

Macken-Horarik, M. Working the Borders in Racist Discourse: The Challenge of the “Children Overboard Affair” in News Media Texts[J].SocialSemiotics, 2003(3).

Martin, J.R. Macro-genres: The Ecology of the Page[J].Network, 1994(21).

Martin, J. Fair Trade: Negotiating Meaning in Multimodal Texts[A]. In: Coppock, P.(Ed.),TheSemioticsofWriting:TransdisciplinaryPerspectivesontheTechnologyofWriting[C]. Begijnhof: Brepols & Indiana University Press, 2002.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old)Media[J].VisualCommunication, 2005(3).

Michel, de C.ThePracticeofEverydayLife[M]. Berkeley and Los Angeles: University of California Press, 1984.

Mirzoeff, N.TheVisualReader[M]. London: Routledge, 1998.

Mitchell, W.J.T.PictureTheory[M]. Chicago: Chicago University Press, 1994.

Norris, S.AnalyzingMultimodalInteraction:AMethodologicalFramework[M]. London: Routledge, 2004a.

Norris, S. Multimodal Discourse Analysis: A Conceptual Framework[A]. In: LeVine, P., Scollon, R.(Eds.),DiscourseandTechnology:MultimodalDiscourseAnalysis[C]. Washington: Georgetown University Press, 2004b.

Ornberg, T. Multimodality in a Three-dimensional Voice Chat[P]. Multimodal Communication: Proceedings from the Second Nordic Conference on Multimodal Communication, 2006.

Royce, T. Synergy on the Page: Exploring Intersemiotic Complementarity in Page-based Multimodal Text[P]. Japan Association Systemic Functional Linguistics Occasional Papers, 1998(1).

Royce, T.D., Bowcher, W.L.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. Mahwah: Lawrence Erlbaum Associates, 2007.

Scollon, R.MediatedDiscourseasSocialInteraction[M]. London: Longman, 1998.

Scollon, R., Scollon, W.DiscourseinPlace:LanguageintheMaterialWorld[M]. London: Routledge, 2003.

Wittgenstein, L.TheBlueandBrownBooks[M]. New York: Harper, 1958.