多維視角下多模態(tài)話語研究的共性與差異探析

滕達

（大慶師范學(xué)院，黑龍江大慶 163712）

人工智能和科技的進一步發(fā)展，改變了人們的交流行為方式。人們的交流方式由人與人，到人與機器，到人與機器與人，多媒介，多符號，多信道的輸入和輸出模式廣泛地存在于人們的日常交流中。單一的模態(tài)的交際已經(jīng)不能滿足人類的交際訴求。語言的內(nèi)在本質(zhì)就是多模態(tài)的，語音、文字和其他符號是語言表達的3 個系統(tǒng)。不同的符號是不同意義潛勢的體現(xiàn)，各種符號資源相互在各自的分層系統(tǒng)和故事語法系統(tǒng)中構(gòu)成可以表征的意義。多模態(tài)話語有著單純語言模態(tài)不可替代的表意作用，也更加全面地反映人作為主體的交際者和讀者的表達意圖及識讀感受。

近年來，從靜態(tài)的圖文符號到動態(tài)的身勢語，多模態(tài)話語的研究逐步形成熱點?；咏涣鞣矫娴难芯?，如網(wǎng)頁、海報、電影、微博，漫畫到面對面的互動交流，手勢和聲音對語言表達的輔助作用。多模態(tài)話語研究從研究視角來看，其本身就具有跨學(xué)科性，教育學(xué)，心理學(xué)，神經(jīng)學(xué)，傳播學(xué)及語言學(xué)都有所涉及[1]。寬泛的研究視角架構(gòu)了多模態(tài)話語研究的融合性發(fā)展特點。近年來，從語言學(xué)視角研究多模態(tài)話語的意義建構(gòu)，文化負載和交往互動的研究成果頗豐。該研究探討語言學(xué)內(nèi)部，有關(guān)多模態(tài)話語研究的共性特征和差異性表現(xiàn)，僅此為多模態(tài)的融合發(fā)展提供借鑒。

1 多維視角下多模態(tài)話語研究

多模態(tài)研究非常有價值的觀點，最早由R，Barthes, 在Rhetoric of the image 一文中提出，探討了圖像與語言之間的關(guān)系。Barthes 在對報紙照片的分析中提到表意信息的整體由兩種不同的結(jié)構(gòu)來承載。這兩種結(jié)構(gòu)相互合作共同構(gòu)成整體意義的表達，但同時由于他們的異質(zhì)性，他們又彼此分離。語言信息的實質(zhì)是由單詞組成的;圖像信息有線條、表面、陰影等元素構(gòu)成。此外，消息的兩種結(jié)構(gòu)各自占據(jù)各自定義的空間，這些空間是連續(xù)的，但不是“均質(zhì)化”的。實際上，Barthes 探討了圖文之間的互補性和非均等性特點，它們之間的配比是由于整體意義的表達和建構(gòu)決定的[2]。文字確定了圖像的意義，圖像是對文字的進一步解釋，圖像和文字各自表達整體意義的一部分。

多模態(tài)符號研究的主要路徑包括：“符號語法的構(gòu)建，多模態(tài)語類特征研究，社會場所再符號化過程研究等?！保ɡ顟?zhàn)子，2013）研究主要分成四大部分，一是基于社會符號學(xué)的分析。二是從系統(tǒng)功能語言學(xué)角度進行元功能分析； 三是從社會互動語言學(xué)汲取營養(yǎng)，采用會話分析的方法研究多模態(tài)互動現(xiàn)象。四是從語用學(xué)角度，研究在說話人的多模態(tài)協(xié)同表達取得的語用效果，及語篇的多模態(tài)屬性對讀者的語用作用[3]。

1.1 社會符號學(xué)視角下的多模態(tài)話語

社會符號學(xué)的研究目的是揭示意義形成的過程，探討作為人的個體所使用的語言及非語言符號系統(tǒng)是如何表征的。一般認為符號資源是人們進行互動的載體，社會符號學(xué)關(guān)注符號的制造者，符號的模式和社會的需要。Robert Hodge, Kress, Van Leeuwen 基于符號學(xué)，系統(tǒng)功能語言學(xué)和批評話語分析進一步推動了社會符號學(xué)的發(fā)展。傳統(tǒng)的符號學(xué)認為語言的意義是靜止的和固定的，需要參照編碼系統(tǒng)進行解碼。社會符號學(xué)更注重符號的創(chuàng)造者，也就是說符號系統(tǒng)在社會使用中形成的，不可能脫離語境而存在。因此社會符號學(xué)的發(fā)展勢必要與人的意識形態(tài)，社會關(guān)系，社會實踐相關(guān)聯(lián)，也必將是多模態(tài)話語分析的走向。從社會符號學(xué)來看，Kress&van Leeuwen 的視覺語法理論對多模態(tài)話語研究做出了重要的理論貢獻。該理論從功能語言理論出發(fā)，從社會符號學(xué)視角提供了多模態(tài)研究框架，拓寬了多模態(tài)研究的范圍。社會符號學(xué)于20 世紀(jì)90年代末，開始關(guān)注更廣泛得多模態(tài)模式。van Leeuwen（1999）考察了聲音在交流中的材料，媒體和類型等的符號學(xué)潛力[4]。在21 世紀(jì)初以來，多模態(tài)的社會符號學(xué)研究開始從識別和描述單個模態(tài)轉(zhuǎn)向在模態(tài)內(nèi)部和跨模態(tài)運行的符號學(xué)原則。例如，空間和建筑、多媒體、聲音和音樂的符號學(xué)潛力。

1.2 系統(tǒng)功能語言學(xué)視角下的多模態(tài)話語

系統(tǒng)功能語言學(xué)（SFL）的多模態(tài)研究是系統(tǒng)功能語言學(xué)研究的一個子域。韓禮德繼承了J. R. Firth的思想，F(xiàn)irth 關(guān)注的是語言在不同語境中的使用方式，而不考慮語言使用形式的感知價值。語言學(xué)是理解個人與文化之間關(guān)系的社會行動。韓禮德和弗斯的語言觀與馬克思主義的語言學(xué)是完全兼容的，都強調(diào)研究語言與社會之間的不可分離的關(guān)系，語言和社會過程是系統(tǒng)之間的相互作用。發(fā)源于語義學(xué)的系統(tǒng)功能語言學(xué)對于其他符號資源的研究是適用的。SFL 適用于分析口語和書面語言以及非語言資源創(chuàng)造意義的方式。Kress、van Leeuwen 和O’Toole分別開發(fā)了分析圖像的視覺語法理論和展示藝術(shù)的系統(tǒng)框架，率先將SFL 用于多模態(tài)研究[5]。在O’Toole 之后，O’Halloran 運用SFL 方法來研究數(shù)學(xué)文本和課堂話語、實現(xiàn)圖像和數(shù)學(xué)符號的整合研究。目前從SFL 視角出發(fā)多模態(tài)的研究涉及三維空間、博物館展覽、建筑、網(wǎng)站、在線新聞、肢體語言、兒童繪本、學(xué)科知識等方面的研究 （O’Halloran, 2004;Dreyfus, Hood, & Stenglin, 2011）[6]。2020年馬丁中心舉辦的多模態(tài)會議中，相關(guān)的學(xué)者O’Halloran，張德祿、馮德正涉及的相關(guān)議題有多模態(tài)的大數(shù)據(jù)驅(qū)動研究，多模態(tài)話語與認知和文化的融合研究及對多模態(tài)本體的語法研究。

1.3 互動語言學(xué)視角下的多模態(tài)話語

人類在交際過程中，語言是主要的載體，非語言的信息輸入往往被認為是語言的附屬。雖然關(guān)于語言和非語言之間的相互作用已經(jīng)建立了許多有價值的工作，但毫無疑問的是把語言放在中心位置的觀點限制了我們對交互的復(fù)雜性的理解。因此，筆者將不再認為語言總是在互動中扮演中心角色。互動語言學(xué)更加關(guān)注人與人之間的面對面的交流活動，語言也只是眾多交際手段之一，手勢、凝視或頭部運動可能從屬于語言交流。哪一種交流模式起到主要作用，要看語境和交際目的的需要。在特定的互動中，手勢、注視和頭部運動也可能占據(jù)優(yōu)勢地位，而語言可能處于從屬地位或完全不存在?；蛘?，有時許多溝通渠道在一個特定的互動中發(fā)揮著不可或缺的作用，而沒有一個渠道比另一個渠道更重要。該文所說的多模態(tài)互動是互動的多模態(tài)性。

Kenneth Pike 提出的語言整合理論是多模態(tài)互動的語言學(xué)理論基礎(chǔ)。Pike 的語言整合理論認為人的互動行為是由語言行為和非語言行為共同構(gòu)成的整體。在傳統(tǒng)的語言學(xué)理論中，語言被認為是一個抽象的，獨立的，自足的結(jié)構(gòu)系統(tǒng)，以此為基礎(chǔ)在分析人類交際行為中，必然忽略非語言成分的作用，也很難對參與人類交際的手勢、眼神、肢體動作、韻律等做出合理的分析和解釋。所以一套整合理論才更適合研究人類的交際活動。多模態(tài)互動正是這樣一種整合理論視角和方法?；臃治鲫P(guān)注微觀的語言模態(tài)中的詞匯、句法與韻律和肢體運動相互協(xié)同作用。

多模態(tài)互動重視對互動參與者的語言、身體活動和周圍環(huán)境進行微觀序列分析，其哲學(xué)基礎(chǔ)是現(xiàn)象學(xué)。以胡塞爾早期理論和Merleau-Ponty 為代表的現(xiàn)象學(xué)主張將事物的本質(zhì)還原到其現(xiàn)實存在中，通過對人自身的存在體驗和周圍環(huán)境及二者之間直接原始關(guān)系的思考來達到對人和世界的理解。多模態(tài)互動主要研究主要涉及如下幾個方面。一是多模態(tài)互動單位研究。研究語言單位，包括詞匯，句法和韻律單位。身體活動單位包括手勢單位，頭部活動單位。二是多模態(tài)語法研究，目前對這一研究尚存爭議。構(gòu)式語法研究和互動研究兩個領(lǐng)域是目前討論的焦點。三是多模態(tài)資源與行為構(gòu)成研究。該研究不探討語言的實施行為，主要關(guān)注身體活動在構(gòu)建行為中的作用。四是多模態(tài)資源與話輪組織研究。該研究主要關(guān)注日常會話在組織方式過程中，話輪前、中和結(jié)束3 個環(huán)節(jié)中，身體資源和其他多模態(tài)資源如何開啟話輪，在話輪中如何建構(gòu)話語，在話輪結(jié)束時，多模態(tài)資源的規(guī)律性作用研究。

目前，我們對手勢、頭部活動、身體空間位置、面部表情等符號系統(tǒng)內(nèi)部組織特點已經(jīng)有了較為深入系統(tǒng)的認識。比如，手勢單位的形式和結(jié)構(gòu)，頭部活動的結(jié)構(gòu)，參與者身體相對空間位置的組織結(jié)構(gòu)，以及面部表情的分類等。總的看來，當(dāng)一個行為可以只用語言、身體活動、或兩者共同來完成時，這些資源在選擇和分配中是如何實現(xiàn)協(xié)同作用的？這是目前互動語言學(xué)和多模態(tài)互動研究值得探討的問題。

1.4 語用學(xué)視角下的多模態(tài)話語

語用學(xué)一直以來被理解為一種研究言語交際的方法，但是語言學(xué)家們已經(jīng)在語用范疇內(nèi)研究語境中的其他交際方式。正如Novitz 在1977年提出，奧斯汀已經(jīng)承認，雖然言外之意通常是通過說話來實現(xiàn)的，但使用非言語手段來實現(xiàn)這些行為是沒有限制的，只要使用的手段是常規(guī)的。因此Abell（2005）,不得不求助于分析類言語行為和Gricean 溝通準(zhǔn)則，試圖解釋圖片是如何產(chǎn)生意義和被表征的。

意義生成的語篇層面的研究隸屬于社會符號學(xué)和功能語言學(xué)對多模態(tài)的研究。語用學(xué)有關(guān)多模態(tài)的研究起步較晚。語用學(xué)關(guān)注的是接受者如何對多模態(tài)語篇進行推理的。語用學(xué)的多模態(tài)分析學(xué)者強調(diào)的是在特定語境中如何實現(xiàn)交際目的的共同興趣并提出語境中多模態(tài)語篇交際使用的研究?；谡Z用的多模態(tài)交際分析方法與基于語法或話語的多模態(tài)交際分析方法相比，并不將語言系統(tǒng)作為在語境中進行意義交流的基礎(chǔ)。語用學(xué)者更關(guān)注使用多模態(tài)文本做了什么，以及如何得到它們的解釋，而不是關(guān)于它們的結(jié)構(gòu)和連貫性的問題[7]。可見，交際行為理論可以比符號的多模態(tài)組合理論更好地解釋多模態(tài)關(guān)系。

語用學(xué)應(yīng)用于多模態(tài)研究重要的是理論框架的合理選擇問題，Mubeng 以韓禮德的系統(tǒng)功能語法及符號學(xué)理論為基礎(chǔ)提出了多模態(tài)語用分析方法,包括功能、符號和認知3 個基本組成部分,以及每個組成部分的3 個分析層次,即概念、人際和語篇。國內(nèi)學(xué)者陳新仁和錢永紅借鑒系統(tǒng)功能語言學(xué)理論框架構(gòu)建適用于語用分析的多模態(tài)語用分析框架。同樣。在自然會話中探討即席話語的手勢及其表意和言語行為與多模態(tài)的協(xié)同作用。國內(nèi)學(xué)者黃立鶴自建多模態(tài)語料庫，基于鮮活整人研究框架，以言語行為為切入點，探討人的體貌、韻律等方面的協(xié)同作用[8]。

2 多模態(tài)話語研究的共性與差異

在研究的共性方面，研究的主體都涉及人的多模態(tài)交際方式。研究的目的都是探討多模態(tài)話語的交際目的性和在交際過程中的實現(xiàn)方式及固有的規(guī)律。研究理論方面相互借鑒，功能語言學(xué)研究涉及言語行為的多模態(tài)性，語用學(xué)的研究涉及語境中的多模態(tài)符號資源的影響。

研究的差異方面存在研究視角的不同，符號學(xué)和功能語言學(xué)是以元功能理論為基礎(chǔ)，探討概念意義，人際意義和語篇意義在多符號化中的再生成過程[9]。社會符號學(xué)和功能語言學(xué)更關(guān)注語義層面的多模態(tài)話語的生成?；诱Z言學(xué)以整合理論為基礎(chǔ)，一般采用會話分析的模式探討人與人的互動過程中的多模態(tài)交際手段的實施過程，尋找內(nèi)部的規(guī)律性特征。語用學(xué)對多模態(tài)話語的研究，在理論上有對功能語言學(xué)的借鑒，也有自身的獨創(chuàng)性，考查在語言使用中，如反問句、言語行為等語用方面與多模態(tài)的融合研究。

3 結(jié)語

在新媒體時代，人的交際活動，無論是通過音視頻還是通過圖片，交往形式的多樣化決定了人們交際方式的改變，對于多模態(tài)研究的需求與日俱增。多模態(tài)符號的研究本身就是一個跨學(xué)科和多學(xué)科融合的過程，該文概述了多模態(tài)話語研究的幾個語言學(xué)分支，分析各自研究特點，理論架構(gòu)，符號傳承和在本領(lǐng)域的概念解讀。隨心智哲學(xué)的進一步發(fā)展，多模態(tài)研究要以體驗認知為基礎(chǔ)，結(jié)合心理學(xué)理論，為其發(fā)展方面提供相應(yīng)的理據(jù)。研究總結(jié)發(fā)現(xiàn)多模態(tài)研究在各自的語言學(xué)研究領(lǐng)域中，形成既自成一體，又可以相互交叉，互為補充的關(guān)系。通過對多模態(tài)話語研究的源起和發(fā)展進行簡單的梳理，為模態(tài)話語研究的理論范式和歸屬進行清晰的界定，為多模態(tài)話語研究提供借鑒。