多模態(tài)話語的非言語銜接研究

李 丹，蔣葉群

(湖南農業(yè)大學 外國語學院，湖南 長沙 410128)

多模態(tài)話語的非言語銜接研究

李 丹，蔣葉群

(湖南農業(yè)大學 外國語學院，湖南 長沙 410128)

在日常交際活動中，交流雙方為達到交流目的，越來越多地采用非言語因素來實現(xiàn)其話語意義。通過分析多模態(tài)話語中非言語符號的主要類型以及主要的銜接方式，探討多模態(tài)話語中非言語符號的應用機制，總結出不同模態(tài)銜接的語言功效，從而豐富語言的表達形式。

多模態(tài)；非言語；銜接

隨著科學技術發(fā)展水平的不斷提升，人們在探索和認識世界的水平也在不斷提高，交流方式相比以前也變得更為多元化和復雜化，根據(jù)目前我們已取得的研究成果，我們可以大膽地推測，溝通已經不再局限于言語內，還涉及到非言語范疇。20世紀50年代初期，美國著名語言學家Harris提出了話語分析理論，至此，國內外話語分析專家便紛紛對此展開研究，他們立足不同角度，針對不同問題提出了自己的理論和研究方法，然而，他們的研究大多數(shù)是屬于言語范疇內，而忽略了如圖片、音響等一系列的非言語因素在話語交流中所占據(jù)的重要地位。因此，只對交流中言語因素進行研究已經不能滿足當前話語分析的需求，國內外語言學專家開始意識到交際中多模態(tài)話語的重要性。為此，20世紀90年代，西方國家逐步興起了多模態(tài)話語的研究。多模態(tài)話語是在話語分析基礎之上產生的一個獨立的前沿學術研究領域。它是指運用聽覺、視覺、 觸覺等多種感覺模式，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。 此后，人們加深了對多模態(tài)話語的重要性和現(xiàn)實性的認識，在之后的研究中，也逐步意識到言語因素和非言語因素在現(xiàn)代語言學研究中占據(jù)著同樣的地位，特別是話語分析，將多種模態(tài)結合起來進行話語分析研究將成為一個新的課題。文章將系統(tǒng)地探討多模態(tài)話語的非言語的銜接類型及它的應用機制。

一、多模態(tài)話語

隨著電子時代、信息時代、多媒體時代的到來，人們在交流過程中已經不僅僅采用單一的模態(tài)，需要同時用到聽覺、視覺、觸覺等多種模態(tài)，從而最初不被大家所重視的視覺符號以及圖像、聲音等非言語因素在交流中所占的地位越來越突出，因此多模態(tài)話語應運而生。最早對多模態(tài)進行研究是西方的語言學家R.Barthes，2003年我國語言學家李戰(zhàn)子首次闡述了關于多模態(tài)話語理論，此后，國內著名專家學者開始展開了對多模態(tài)話語的研究，其中，較為突出的有胡壯麟、朱永生、顧曰國、羅永勝等。多模態(tài)(Multimodal)也有人譯成“多模式”話語,是指運用聽覺、視覺、觸覺、嗅覺、味覺，運動覺等多種感覺，通過語言、圖像、聲音、動作、動漫、網(wǎng)絡等多種手段和符號資源進行交際的現(xiàn)象.

二、多模態(tài)話語中常見非言語銜接類型

多模態(tài)話語作為綜合聽覺、視覺、觸覺等多種感覺的交際現(xiàn)象，它涉及了各種符號系統(tǒng)，文章將著重討論多模態(tài)話語中非言語銜接的主要類型，它們主要是通過身勢語、環(huán)境語和副語言實現(xiàn)銜接。

1.身勢語銜接

身勢語的概念最開始是由美國著名心理學家伯德惠斯特爾提出的，它主要包括目光語、手勢、身體姿勢、面部表情、舉止動作以及觸覺等方面的內容。身勢語作為一種交際方式是先于語言而存在的，人們在沒有找到共同的語言或者不能找到正確的表達方式進行交流時通常會使用身勢語進行交流。它具備了情感表露、象征動作、伴隨動作、反應動作、調節(jié)動作五種功能，而多模態(tài)話語中，視覺模態(tài)通常涉及的就是身勢語，通過眼睛觀察對方的身勢語即可能了解到對方所要表達的意思，因此，身勢語可以說是多模態(tài)話語中非言語銜接的主要類型。

2.環(huán)境語銜接

環(huán)境語是指文化本身所造成的生理上和心理上的環(huán)境，是人們在交際過程中為更好地實現(xiàn)交流目的而創(chuàng)造的交流環(huán)境，它主要涉及的是時間上和空間上一些特殊的存在，如幼兒園內的裝飾主要是一些充滿童真的物品，向孩子們傳遞了幼兒園是充滿趣味的信息，從而達到激發(fā)孩子們上學欲望的目的。而在法院則主要裝飾一些彰顯公平、公正的物品，向人們傳遞法院是主持公道、彰顯正義的信息，讓人們對法院充滿了敬畏和信賴。此外，它還涉及顏色、聲音、燈光等因素，如在心理咨詢室，它的各種裝飾以及墻面顏色都是以暖色調為主，給人們傳遞一種溫暖的信息；又如在演講進入到最激動人心的時候，伴奏則會選擇一些節(jié)奏較快的曲目；話劇在表演到悲傷的情節(jié)時，舞臺上的燈光就會變得昏暗，促使觀眾產生更為強烈的感覺。環(huán)境語作為一種非言語的表達方式，充分利用人們的視覺模態(tài)和聽覺模態(tài)，使交流變得更為高效。

3.副語言銜接

從語言學的角度，副語言屬于一種沒有特定含義卻能表達言語意義的有聲行為，大多數(shù)語言學文獻將副語言分為狹義和廣義兩種，狹義的副語言指伴隨語言的某些聲音現(xiàn)象,而廣義的副語言則是指無聲而有形的非言語現(xiàn)象，包括手勢、身勢、面部表情、對話時的位置和距離等等，本文主要探討狹義范疇的副語言，分別涉及到語言替代碼(指能取代詞或話語的無固定語義發(fā)音,包括語空填補語、語間停頓和沉默)、語音分隔符號以及語音替代符號。如在進行演講時，演講者在即將講述自己痛苦的經歷時會沉默幾秒，這幾秒時間使得聽眾的情緒得到一個轉換，從某種意義上來說，正是由于這種沉默，使得演講者的演講內容得到一個隱性的銜接，讓聽眾能夠更好地理解演講者的意圖。又比如，交流雙方閑聊時，因為其中一方談及對方難以啟齒的話題時，對方則發(fā)出了“額”等詞，通過這種隱性的銜接給對方發(fā)出自己不愿談及此事的信號，成功地避免了尷尬氣氛的產生，讓交流得以順利進行。

三、多模態(tài)話語的主要功能

多模態(tài)話語作為一種綜合多種感覺，運用多種手段和符號進行交際的現(xiàn)象，它的功能主要體現(xiàn)在交際方面。主要有以下幾種：

第一，讓交流變得更為簡單快捷。當今社會是一個快捷社會，生活節(jié)奏變得越來越快，因此，交流方式也在追求速度，人們的交流方式逐漸由寫信、發(fā)短信、打電話轉變成采用QQ、微信、郵件這種不僅可以通過輸入語言符號還可以使用非言語符號進行交流的方式，相比之前使用短信等傳統(tǒng)交流方式更為迅速、方便，讓交流變得更為簡單、快捷。

第二，讓交流變得更為清楚明了。人們在進行交流時，都渴望對方能在最短的時間里明白自己想表達的東西，而漢語作為一種古老的語言博大精深，一個標點符號，或者是斷句、重讀位置的變化也可能讓意思表達發(fā)生改變，因此，人們在交流時常常會因為交流雙方的身份地位、所處環(huán)境和受教育程度的不同而產生分歧，而多模態(tài)話語綜合了多種感覺多種手段和符號，在雙方進行交流時可以采用兩種甚至多種模態(tài)同時進行交流，讓交流變得更為清楚明了。

第三，讓交流變得更為高效。人類是一種感性動物，總是會受到各種信息的干擾，因此，很難做到長時間的精神集中，學生上課就是最典型的，據(jù)調查，學生上課四十五分鐘內能夠集中精神的時間最多三十分鐘，因此，現(xiàn)在越來越多的老師喜歡采用多媒體等現(xiàn)代化的教學設備，因為它綜合了聽覺、視覺等多種感覺以及聲音、圖像等多種語言符號，可以更好地吸引學生的注意力，相比傳統(tǒng)的只依靠老師講授這種單一模態(tài)進行講授的效果更為高效。

四、多模態(tài)話語中非言語銜接的應用

語篇的銜接理論最開始是由著名語言學家韓禮德和哈桑提出的，他們認為文字在形成語篇意義時需要依靠其他的文字來實現(xiàn)便出現(xiàn)了銜接，他們將銜接手段歸納為五種類型：指稱、替代、省略、連接和詞匯連接，其中指稱、替代和省略屬于語法銜接手段，詞匯連接(復現(xiàn)、詞匯搭配) 屬于詞匯銜接手段，連接(增補關系、轉折關系、因果關系和時間關系)則介于兩者之間，主要屬于語法銜接，但也包含詞匯的成分。這些銜接手段都是語言文字上的，而多模態(tài)話語作為一種綜合聽覺、視覺等多種感覺、運用多種符號和手段進行交際的現(xiàn)象，它的銜接除了語篇意義上的銜接，還有非言語上的銜接方式，本文重點探討多模態(tài)話語中非言語銜接的應用。

1.內容的承接

多模態(tài)話語充分利用人的視覺、聽覺等多種模態(tài)，通過交流者雙方交流時所展現(xiàn)的身勢語、環(huán)境語以及副語言等讓話題或者演講內容實現(xiàn)了承上啟下的目的。

身勢語主要指依靠身體所做出的動作及面部所呈現(xiàn)的表情來傳遞信息，它包括手勢語、目光語、面部表情等。如手勢語，又稱“啞語”“手勢”，手勢語作為一種交際手段，不僅僅在聾啞人中使用，它更是作為一種銜接手段在人們的交流中得到廣泛運用，尤其是在一些演講或者脫口秀中，手勢語作為一種銜接手段得到了眾多人的青睞，它的銜接方式主要是通過不同的手勢表現(xiàn)出來，如脫口秀節(jié)目《金星秀》，講述者金星在講完一個環(huán)節(jié)時都會做出兩手一攤的動作再轉個圈告訴觀眾本環(huán)節(jié)已結束，即將進入下一個環(huán)節(jié)。這種手勢充分利用了觀眾的視覺模態(tài)讓講述的內容實現(xiàn)了完美的銜接，讓信息的傳遞更加簡單快捷。又如目光語，它是指運用眼睛動作或者眼神來傳遞信息或情感，它只需要一個細微的動作就能讓交流者雙方在最短的時間里了解對方想要傳遞的信息，同時，它也可以作為一種銜接方式，通過眼睛動作來促進交流的進行。比如，在電視節(jié)目《超級演說家》中，一個演講者在進行演講的時候，剛開始他的情緒慷慨激昂，表情十分激動，眼神充滿了力量，突然他的眼睛低垂，眼神變得暗淡無光，這一個小小的動作就是在告訴觀眾，演講者接下來的講述將開始進入煽情階段，而此時，觀眾的情緒也將由前面的慷慨激昂轉變?yōu)閭校瑹o需語言的刻意提醒，便能使演講內容得到有效銜接，這種通過目光語進行的非言語的銜接，讓語篇意義得到更為完整的體現(xiàn)。

2.情緒的調動

演講者在進行演講活動時，除了用語言調動聽眾或者對方的情緒外，還常常會利用一些非言語的因素來調動聽眾的情緒，因為這些非言語因素不僅充分利用了人們的聽覺模態(tài)而且還充分地利用了聽眾的視覺模態(tài)，這種多模態(tài)的話語對調動聽眾的情緒通常會收獲到意想不到的效果，如環(huán)境語。環(huán)境語是綜合視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)等多種模態(tài)的交際現(xiàn)象，文章主要討論演講者在進行演講時，如何利用環(huán)境語這種非言語的因素達到銜接的目的。如演講者在進行演講活動時，會根據(jù)不同的內容放送不同的音樂，此時，聽眾也會根據(jù)不同的樂曲了解到演講者所講述內容的不同而促使情緒的轉變。這種非言語的銜接方式既保證了交流的有序進行，還很好地取得了交流的效果。而顏色則是通過眼、腦和我們的生活經驗所產生的一種對光的視覺效應。不同的顏色代表著不同的意義，比如白色代表純潔、紅色代表喜慶等，因此，人們在進行交流時通?？梢酝ㄟ^顏色的轉變實現(xiàn)銜接，這種銜接方式在演講活動中最為常見。在進行演講時，燈光師通常會根據(jù)演講者講述的不同內容對燈光進行調解，如演講者在講述讓人高興的故事時燈光通常以暖色調為主，而講述悲傷的故事時燈光通常以冷色調為主，這種燈光顏色的切換讓演講內容的銜接變得更為自然，也很好地調動了觀眾的情緒。

3.話語的暗示

在多模態(tài)話語中，非言語銜接充分利用聽眾的聽覺、視覺、觸覺等多種模態(tài)，不僅能夠實現(xiàn)內容上的承上啟下以及調動聽眾或者交流雙方的情緒，同時它還能夠對話語起到一定的暗示作用，話題講述者只需要利用一些非言語的因素如身勢、環(huán)境語以及副語言(狹義)就能暗示接受者。比如一個肯定的眼神就是在暗示對方我對他的話題很感興趣，他可以繼續(xù)講下去；在一些講座或者演講中主持人一個擺手有可能是在示意觀眾們坐下，暗示節(jié)目即將開始，現(xiàn)場的觀眾請保持安靜；學生在回答問題時停頓、沉默或者是不斷的發(fā)出“uh”等詞語，就是在暗示老師他可能不知道問題的答案，這種依靠人的視覺、聽覺等模態(tài)，通過非言語銜接，不僅能夠實現(xiàn)話題講述者的意圖，還能讓交流更好地進行。

多模態(tài)話語中非言語的銜接主要是通過身勢語和環(huán)境語得以實現(xiàn)的，一個手勢的運用、一個轉身、又或者是眼神的交流、面部表情的改變，甚至是音量大小、舞臺燈光顏色的轉換，都可以給交流雙方傳遞大量的信息，這些非言語的交際手段很好地為交流者、演講者在進行交流或者在闡述話題時實現(xiàn)完美的銜接，讓交流變得更為簡單、高效。

[1]O’Halloran,Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C].London:Continuum, 2004.

[2]Lim Fei,V.Developing an integrative multi-semiotic model[A].In O’Halloran,Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C].London:Continuum,2004:220-246.

[3]顧曰國.多媒體、多模態(tài) 學習剖析[J].外語電化教學,2007(2):3-12.

[4]韋琴紅.論多模態(tài)話語中的模態(tài)、媒介與情態(tài)[J].外語教學,2009(7):54-57.

[5]張德祿.語篇銜接中的形式與意義[J].外國語,2005(9):32-38.

[6]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語,2009(1):24-30.

[7]周紅云.銜接在功能語篇分析中的應用[J].外語與外語教學,2006(7):22-24.

[8]朱永生.多模態(tài)話語分析的理論基礎與研究方法[J].外語刊,2007(5):82-86.

Class No.:H030 Document Mark：A

(責任編輯：宋瑞斌)

Non-verbal Cohesion in Multi-modal Discourse

Li Dan, Jiang Yequn

(School of Foreign Languages, Hunan Agricultural University, Changsha, Hu'nan 410128，China)

In order to achieve the purpose of daily communication,, more and more people like to use nonverbal factors to realize its utterance meaning. Through analyzing the main types and cohesive ways of nonverbal factor in multimodal discourse, we explore the application mechanism of nonverbal factor in multimodal discourse and the different modes of convergence of language effect so as to enrich the expression of the language.

multimodal; nonverbal; cohesion

李丹，碩士，教授，湖南農業(yè)大學。 蔣葉群，在讀碩士，湖南農業(yè)大學。

1672-6758(2017)07-0142-4

H030

A