TED演講視頻中動態(tài)多模態(tài)話語的模態(tài)協(xié)同

王麗娟

(廣東培正學院，廣東 廣州 510830)

自從20世紀90年代以系統(tǒng)功能語言學為理論基礎的社會符號學者開始研究多模態(tài)語法以來，國內外對多模態(tài)話語的研究已經(jīng)如火如荼。迄今為止，多模態(tài)話語的研究從不同方面、不同角度得到了更進一步的發(fā)展。Kress & Van Leenwen (1996) 研究了視覺語法，從功能的角度探討了圖像的功能[1]。張德祿(2009)探索了多模態(tài)話語分析的綜合理論框架[2]。目前的多模態(tài)話語研究除了對圖像、符號、圖表等靜態(tài)形式展開探討，也對動態(tài)多模態(tài)話語進行了分析。如張德祿，袁艷艷(2011)以電視天氣預報多模態(tài)語篇為例研究了動態(tài)多模態(tài)話語的模態(tài)協(xié)同問題[3]。管樂(2017)分析了動態(tài)演講視頻的多模態(tài)話語[4]。雖說目前動態(tài)多模態(tài)話語的研究有一定的進展，但相對靜態(tài)多模態(tài)研究還是不足，需要再進一步擴展。本文以TED演講視頻為例，研究動態(tài)視頻中各個模態(tài)之間的關系。

一、動態(tài)多模態(tài)話語分析綜合理論框架

以系統(tǒng)功能語言學為理論基礎，張德祿(2009)提出了動態(tài)多模態(tài)話語分析綜合理論框架，如圖1所示[2]。該框架由文化語境、情景語境、內容層面和表達層面四部分組成。根據(jù)該框架，文化語境主要指的是意識形態(tài)和體裁系統(tǒng)，講話者為完成交際目的會根據(jù)情景語境(語場、語旨和語式)來選擇交際模態(tài)(視覺模態(tài)和聽覺模態(tài))去表達意義。在意義表達的過程中，主要由圖像意義體現(xiàn)的視覺模態(tài)和由聲音意義體現(xiàn)的聽覺模態(tài)形成互補(強化、非強化)或非互補(交疊、內包、語境互補)的關系。隨著交際進程(時間)的推進，各種模態(tài)之間要相互配合，共同完成話語整體意義的表達。

二、動態(tài)語料的選擇和研究方法

(一)語料

本文選取的動態(tài)語料是著名的心理學家Shawn Achor于2012年在TED 大會上的一篇演講“The happy secret to better work”。作為一家非盈利機構，TED大會以“傳播一切值得傳播的創(chuàng)意”為宗旨，每年邀請來自科學、設計、文學、音樂等領域的杰出人物進行演講，分享他們對技術、社會及人性等方面的探索。TED演講視頻有很多，本文在選取材料時有幾個因素考慮在內。因素之一是關注度。在TED網(wǎng)站上，Shawn Achor 的這篇演講是25個最受歡迎的演講之一，目前這個演講視頻的點擊率已超過2 000多萬。 因素之二是視頻中所使用的模態(tài)類型。為了較全面地分析多種模態(tài)之間的協(xié)同關系，盡可能選擇聽覺模態(tài)、視覺模態(tài)，手勢等多種模態(tài)共同出現(xiàn)的演講視頻。

圖1 動態(tài)多模態(tài)話語分析框架

(二)研究方法

本文運用張德祿的動態(tài)多模態(tài)話語分析框架，主要采用定性的研究方法[3]，從文化語境、情景語境及各模態(tài)之間的協(xié)同關系來對Shawn Achor的TED演講視頻進行分析。采用張德祿對動態(tài)多模態(tài)語篇的切分標準(語篇結構、經(jīng)驗意義和前景化的事物和特征)，根據(jù)演講語篇的四個發(fā)展階段(演講開始、演講主題、演講高潮、演講結束)，本文把Shawn Achor的演講視頻分為7個步驟和情節(jié)，包含14個事件和圖片。事件是由圖片來實現(xiàn)的，每個圖片都是一個信息單位[5]。具體的切分結果如下頁圖2所示。

圖2 演講視頻切分圖

三、動態(tài)演講視頻的多模態(tài)話語分析

(一)文化語境

文化語境主要指的是與人們交際相關的社會文化背景，包括文化習俗、生活習慣、思維方式、社會規(guī)范等，是完成交際的重要層面。文化語境決定人們根據(jù)不同的交際目的采取不同的體裁來完成交際意義的傳遞。具體到TED演講來說，演講者主要通過有聲語言的形式，借助于文字、圖像、肢體語言等其他手段針對某一個能引起觀眾共鳴的話題，清楚、完整地表達自己的見解。TED的演講者從最初的技術、娛樂、設計三個領域擴展到幾乎各個領域，包括心理學家、哲學家、慈善家、探險家等。演講者要求在18分鐘之內向觀眾闡述自己在某一領域的獨特觀點或主張。本文選取的是心理學家Shawn Achor關于“改善工作的快樂之道”的演講。在12分鐘左右的演講中，Shawn Achor指出積極的大腦對人們工作的影響，以及如何去創(chuàng)建積極的心理。這篇演講可以分為四個階段：(1)演講開始：演講者從自己兒童時期的故事入手引出“積極心理學”概念；(2)演講主題：科學平均數(shù)概念對人們生活的負面影響； (3)演講高潮：如何建立積極的心理(大腦)；(4)演講結束：演講者的致謝。

(二)情景語境

根據(jù)系統(tǒng)功能語言學，情景語境主要有語場、語旨和語式構成。語場指的是語篇所涉及的活動，即要做什么；語旨指的是語篇涉及的參與者，即交際雙方的角色和社會關系；語式指的是交際的媒介和渠道。在本文的演講視頻中，語場就是Shawn Achor于2012年在TED大會上的關于“更好工作的快樂之道”的一次演講。語旨是指演講者Shawn Achor本人，參加TED大會的觀眾及TED大會媒體。語式是指TED大會通過網(wǎng)絡的形式向全球播放心理學家Shawn Achor的演講，演講者著裝得體，語言正式，語速適度，表達清楚流暢，在主要通過口語形式表達主題的同時，結合了圖像、文字及手勢等其他模態(tài)，共同完成了交際意義的傳遞。

(三)動態(tài)多模態(tài)間的協(xié)同

下面按照Shawn Achor演講視頻的三個主要階段：演講開頭、演講主題、演講高潮對視頻中各個模態(tài)間的協(xié)同性進行分析。

1.演講開頭部分

演講的開始，Shawn Achor 面帶微笑，目光正對觀眾，雙手自然下垂，走向講臺。然后通過語言模態(tài)(口語)開始演講，同時伴隨著雙手交疊放在身前(事件1：自身經(jīng)歷的小故事介紹)。這時聽覺模態(tài)是主要模態(tài)，演講者和背景圖形成的視覺模態(tài)及手勢并沒有參與交際過程，對聽覺模態(tài)意義的體現(xiàn)基本上沒有貢獻，因此，這時的聽覺模態(tài)處于前景化的位置。隨著演講的進行，出現(xiàn)了文字模態(tài)，這是對演講者身份和演講主題的介紹，這時的視覺模態(tài)對聽覺模態(tài)所傳遞的意義可以說是一種互補的非強化擴充關系(事件2)。之后隨著導入故事的結束，Shawn Achor引出了“積極心理學”這一概念。在通過口語形式(聽覺模態(tài))引出這一概念的同時，可以發(fā)現(xiàn)Shawn Achor的兩只手從打開的狀態(tài)慢慢靠攏，直至碰觸(事件3)。打開的手的狀態(tài)是對口語內容“we had no idea at the time”的一個補充強化，雙手慢慢靠攏說明了時間的發(fā)展——從“at the time”到“two decades later”。同時雙手的碰觸說明時間發(fā)展到了現(xiàn)在，即今天的演講話題“positive psychology”。因此，在話題導入過程中，可以發(fā)現(xiàn)聽覺模態(tài)為主要形式，而手勢則起到了互補強化的作用。

2.演講主題部分

在演講視頻的主題部分，Shwan Archor 主要闡述了人們在日常生活中對科學平均數(shù)的迷信(事件4)，積極心理學家對待平均概念的看法(事件5)，舉例說明平均概念帶給人們的負面影響(事件6)，以及對異常數(shù)據(jù)的研究(事件7和事件8)。 從事件4和事件5來看， 演講者主要是通過展示一個圖表(視覺模態(tài))配合口語形式(聽覺模態(tài))來闡述積極心理學家和其他人對待平均概念的不同看法，同時伴隨著一定的手勢。這時的口語和圖表相互結合，共同完成了意義的傳遞，因此，兩者都是主要模態(tài)，構成了互補非強化聯(lián)合的關系。通過事件6，Shwan Archor列舉了自己生活中的一個例子，來說明平均概念給人們帶來的負面影響，在這個過程中口語是意義表達的主要形式。在事件7中演講者闡述了自己申請哈佛大學的經(jīng)歷(聽覺模態(tài))，同時以ppt的形式展示了哈佛大學的圖片(視覺模態(tài))，這時的視覺模態(tài)是對聽覺模態(tài)的強化。事件8 中Shwan Archor通過圖片展示了電影哈利·波特里面霍格瓦茨魔法學校的食堂和哈佛大學食堂的相似性，這時的聽覺模態(tài)和視覺模態(tài)共同擔當了傳遞意義的作用，構成了互補非強化聯(lián)合關系。

3.演講高潮部分

Shwan Archor視頻演講的高潮部分主要包括兩個情節(jié)：一是人們的大腦對于快樂和成功關系的認知(事件9、事件10、事件11)，二是如何去建立積極的心態(tài)(事件12、事件13)。在第一個情節(jié)中，當演講者提到積極的大腦對成功的影響時(事件9)，這時出現(xiàn)的文字形式(視覺模態(tài))是對所傳遞意義的補充強化，聽覺模態(tài)還是作為主要的模態(tài)形式。在事件10和事件11中，Shwan Archor主要闡述了傳統(tǒng)的關于快樂和成功關系的觀點及這種觀點的落后，這時演講者本人形成的視覺模態(tài)可以說是無效的，而演講者的手勢則起到了意義傳遞的強化作用。在第二個情節(jié)中，當Shwan Archor介紹到提高人們的積極心理程度會大大改善人們工作的結果時(事件12)，以ppt的形式出現(xiàn)了文字模態(tài)。文字模態(tài)主要列舉了積極心理帶來的一些具體的良好的結果，如高效的生產力、銷售量的提高等。這時的文字模態(tài)強化了語言模態(tài)所傳遞的內容，因此，聽覺模態(tài)和視覺模態(tài)構成了一種互補強化關系。事件13主要闡述了5種建立積極心態(tài)的方法。當演講者說道：“We've found there are ways that you can train your brain to be able to become more positive.”時，出現(xiàn)了帶有文字模態(tài)的圖像，這時的聽覺模態(tài)和視覺模態(tài)相互協(xié)調，共同表達了交際過程的意義，完成了交際目的。

四、動態(tài)多模態(tài)之間的協(xié)同關系

通過對Shwan Archor演講視頻的分析可以看出，在演講的開始、發(fā)展、高潮的每一個階段，口語形式都是傳遞信息的主要手段，即聽覺模態(tài)始終處于前景化的位置中。這是由聽覺模態(tài)的線性化決定的，也符合信息獲取循序漸進的特點。在Shwan Archor的演講視頻中，聽覺模態(tài)單獨處于前景化的比例約為71%，視覺模態(tài)和聽覺模態(tài)共同處于前景化的比例約為29%，視覺模態(tài)主要是作為聽覺模態(tài)的補充強化或協(xié)調。有時手勢也產生對聽覺模態(tài)的補充強化作用，但很多時候由演講者本身和手勢形成的視覺模態(tài)對傳遞意義并無多大貢獻。 從分析結果還可以看出，模態(tài)之間的協(xié)同并不是隨意的、任意的。如果聽覺模態(tài)(口語)能完成意義的傳遞，那么其他模態(tài)就沒有出現(xiàn)的必要。如果聽覺模態(tài)不能完全表達演講者所傳遞的信息，那么視覺模態(tài)、手勢或面部表情就會對聽覺模態(tài)進行補充強化，甚至協(xié)調。同時各個模態(tài)之間的配合不能產生矛盾和沖突，要以增加正效應為原則。

綜上所述，通過對TED動態(tài)演講視頻的分析可以看出，演講者在演講的不同階段會根據(jù)不同的交際目標來選擇不同的模態(tài)或模態(tài)組合，從而完成整體意義的傳遞。在整個演講過程中，聽覺模態(tài)始終是演講者所采用的主要形式，這也是由演講的特點決定的。本文通過對TED動態(tài)演講視頻的分析，一方面能夠讓人們對演講中各個模態(tài)的運用有更好的了解；另一方面也希望能夠進一步拓寬動態(tài)多模態(tài)話語分析理論的實踐應用。當然，本文也存在一些不足的地方，如缺乏詳盡的定量分析，語篇的切分帶有一定的主觀性等。希望以后的研究能進一步改正不足，促進多模態(tài)理論的發(fā)展。