動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)分析

管 樂(lè)

(1.中山大學(xué)南方學(xué)院國(guó)際學(xué)院，廣州 510970；2.廣東外語(yǔ)外貿(mào)大學(xué)英文學(xué)院，廣州 510420)

?

動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)分析

管 樂(lè)

(1.中山大學(xué)南方學(xué)院國(guó)際學(xué)院，廣州 510970；2.廣東外語(yǔ)外貿(mào)大學(xué)英文學(xué)院，廣州 510420)

運(yùn)用Lim提出的“綜合性多符號(hào)模式框架”和張德祿提出的“基于系統(tǒng)功能語(yǔ)言學(xué)理論設(shè)計(jì)的動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架”，對(duì)動(dòng)態(tài)演講視頻進(jìn)行多模態(tài)話語(yǔ)分析。研究發(fā)現(xiàn)：在演講視頻中，語(yǔ)言、聲音特征、表情、手勢(shì)、姿勢(shì)和動(dòng)作都是建構(gòu)整體意義的重要資源；在動(dòng)態(tài)演講多模態(tài)話語(yǔ)中，演講者的語(yǔ)言模態(tài)為主模態(tài)；為了構(gòu)建整個(gè)交際事件的整體意義，還需要運(yùn)用其他模態(tài)相互協(xié)調(diào)、相互補(bǔ)充和相互配合。文章對(duì)于演講愛(ài)好者了解演講中不同的模態(tài)是如何來(lái)實(shí)現(xiàn)話語(yǔ)意義以及如何提高演講水平具有一定的指導(dǎo)作用。

TED演講視頻；多模態(tài)話語(yǔ)；模態(tài)

近年來(lái)，隨著多模態(tài)話語(yǔ)研究的深入，研究者開(kāi)始注意到語(yǔ)言符號(hào)雖然對(duì)語(yǔ)篇意義的生成有顯著作用，但是視覺(jué)符號(hào)對(duì)語(yǔ)篇的意義生成也起著重要的作用。多模態(tài)語(yǔ)篇分析是由O’Toole[1]開(kāi)創(chuàng)的一種新的語(yǔ)篇分析模式。Kress 等[2]指出多模態(tài)語(yǔ)篇是任何通過(guò)一種以上符號(hào)編碼實(shí)現(xiàn)意義的語(yǔ)篇。該理論已應(yīng)用于多種媒體分析，如：Baldry等[3]運(yùn)用多模態(tài)語(yǔ)篇分析了媒體、網(wǎng)頁(yè)、電影和廣告等；Knox[4]運(yùn)用系統(tǒng)功能符號(hào)學(xué)對(duì)網(wǎng)頁(yè)進(jìn)行了研究；Martinec等[5]把多模態(tài)語(yǔ)篇分析運(yùn)用到電影海報(bào)、廣告和照片等語(yǔ)篇中，證明了該理論框架的可行性。

張德祿[6]指出多模態(tài)語(yǔ)篇是運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。由此可見(jiàn)，演講視頻是綜合了包括語(yǔ)言、圖像、聲音、空間和身體動(dòng)作等多種符號(hào)來(lái)實(shí)現(xiàn)語(yǔ)篇整體意義的多模態(tài)語(yǔ)篇。從國(guó)外的學(xué)者對(duì)演講的研究來(lái)看：Rendle-Short[7]對(duì)學(xué)術(shù)演講中肢體語(yǔ)言和語(yǔ)言使用進(jìn)行了研究，發(fā)現(xiàn)兩者之間存在復(fù)雜的關(guān)系；Morton[8]對(duì)學(xué)術(shù)演講的體裁進(jìn)行了分析。從國(guó)內(nèi)對(duì)演講的研究來(lái)看，它們主要從語(yǔ)用學(xué)和外語(yǔ)教學(xué)的角度研究了演講視頻，例如：徐珊[9]從語(yǔ)用學(xué)的角度探討演講視頻中虛假語(yǔ)用預(yù)設(shè)的功能研究，曹井香等[10]運(yùn)用TED模式的英語(yǔ)演講任務(wù)激發(fā)學(xué)生使用英語(yǔ)的熱情。目前運(yùn)用多模態(tài)話語(yǔ)分析動(dòng)態(tài)演講視頻的研究還比較少。本文以聲音專家Julian Treasure在TED大會(huì)中關(guān)于如何保持聽(tīng)力的演講為研究對(duì)象*本文所分析的視頻及相關(guān)語(yǔ)料來(lái)自于網(wǎng)頁(yè)：http://ielts.zhan.com/tifen/32783.html.，結(jié)合Lim[11]提出的“綜合性多符號(hào)模式框架”和張德祿[6]提出的“基于系統(tǒng)功能語(yǔ)言學(xué)理論設(shè)計(jì)的動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架”,對(duì)此動(dòng)態(tài)演講視頻進(jìn)行多模態(tài)話語(yǔ)分析。

一、動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架

張德祿根據(jù)Halliday的系統(tǒng)功能語(yǔ)言學(xué)，結(jié)合 Lim提出的綜合性多符號(hào)模式框架，提出了一種動(dòng)態(tài)多模態(tài)話語(yǔ)分析綜合理論框架，該框架由文化語(yǔ)境層面、情景語(yǔ)境層面、內(nèi)容層面和表達(dá)層面四個(gè)層面組成，如圖1所示。[6]從該框架來(lái)看，在一定文化語(yǔ)境的影響下，講話者話語(yǔ)意義的表達(dá)要受到意識(shí)形態(tài)和體裁系統(tǒng)的制約，同時(shí)還需根據(jù)所處的情景語(yǔ)境和交際目的來(lái)選擇表達(dá)的話語(yǔ)意義[12]。在表達(dá)話語(yǔ)意義的過(guò)程中，講話者需要根據(jù)體裁結(jié)構(gòu)運(yùn)用合適的交際模態(tài)將選擇的意義體現(xiàn)出來(lái)。選擇的意義主要包括圖像意義和聲音意義。其中，圖像意義通過(guò)視覺(jué)模態(tài)以及相關(guān)特征體現(xiàn)出來(lái)，聲音意義通過(guò)聽(tīng)覺(jué)模態(tài)以及相關(guān)特征體現(xiàn)出來(lái)。在體現(xiàn)意義的同時(shí)，關(guān)鍵是要注意各模態(tài)之間是否相互協(xié)調(diào)、相互補(bǔ)充和相互配合以構(gòu)建話語(yǔ)整體意義。不同的模態(tài)體現(xiàn)的意義屬于同一個(gè)交際事件，需要整合為一體才具有交際意義[12]。張德祿把不同模態(tài)話語(yǔ)之間的關(guān)系總結(jié)為互補(bǔ)和非互補(bǔ)兩大類，互補(bǔ)關(guān)系可分為強(qiáng)化和非強(qiáng)化，非互補(bǔ)關(guān)系可分為交疊、內(nèi)包和語(yǔ)境交互關(guān)系[6]。

圖1 動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架

隨著時(shí)間的變化，不同模態(tài)話語(yǔ)之間的關(guān)系也會(huì)隨之出現(xiàn)動(dòng)態(tài)變化。有時(shí)語(yǔ)言在話語(yǔ)整體構(gòu)建中是主要的交際形式，手勢(shì)、姿勢(shì)、音樂(lè)等其他模態(tài)對(duì)語(yǔ)言起強(qiáng)化作用。視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)之間的關(guān)系變化與整個(gè)話語(yǔ)建構(gòu)關(guān)系密切?？傊瑒?dòng)態(tài)多模態(tài)話語(yǔ)分析框架主要研究動(dòng)態(tài)多模態(tài)語(yǔ)篇中圖像、文字以及話語(yǔ)之間的多模態(tài)關(guān)系[6]。

二、語(yǔ)料和研究方法

(一)語(yǔ)料

TED是技術(shù)(technology)、娛樂(lè)(entertainment)、設(shè)計(jì)(design)三個(gè)英語(yǔ)的縮寫，它是美國(guó)的一家私有非營(yíng)利機(jī)構(gòu)，TED大會(huì)的宗旨是向人們傳播“值得傳遞的新思想、新信息、新觀點(diǎn)”。從2006年起，TED總裁克里斯·安德森決定將錄制的演講資源制作成TED Talks上傳至互聯(lián)網(wǎng)，全球的觀眾可以免費(fèi)下載和觀看精彩的演講視頻，如今TED大會(huì)全球訪問(wèn)量超過(guò)40億，這種以“互聯(lián)網(wǎng)+演講”的模式掀起了TED演講傳播的熱潮。作為TED主題之一的教育類演講一直是最受關(guān)注的演講話題之一。著名的聲音專家Julian Treasure在TED 的演講講壇中的一次講演視頻在互聯(lián)網(wǎng)上被大量轉(zhuǎn)載，點(diǎn)擊率超過(guò)了100萬(wàn)次。*截至2016年11月23日筆者登錄TED該視頻的網(wǎng)站時(shí)，該視頻的點(diǎn)擊量已達(dá)1,017,673次；該視頻的網(wǎng)址為：http://www.ted.com/talks/julian_treasure_shh_sound_health_in_8_steps.本文選取的語(yǔ)料是聲音專家Julian Treasure在TED大會(huì)中關(guān)于如何保持聽(tīng)力健康的演講，此次演講持續(xù)的時(shí)間并不長(zhǎng)，只有7分9秒，但卻給所有觀眾留下了深刻的印象。

(二)研究方法

本文運(yùn)用動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架(圖1)，從文化語(yǔ)境、情景語(yǔ)境和模態(tài)間的關(guān)系來(lái)分析動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)。以下是張德祿提出的對(duì)動(dòng)態(tài)多模態(tài)語(yǔ)篇進(jìn)行切分的三個(gè)標(biāo)準(zhǔn)[13]：首先，作為切分話語(yǔ)單位的主要標(biāo)準(zhǔn)，語(yǔ)篇的每一個(gè)主題由多個(gè)部分或階段組成，每個(gè)階段又分為多個(gè)次要單位；然后根據(jù)語(yǔ)篇過(guò)程的發(fā)展，找到語(yǔ)篇主題發(fā)生變化的轉(zhuǎn)折點(diǎn)，這個(gè)轉(zhuǎn)折點(diǎn)可作為切分單位的邊界，同時(shí)轉(zhuǎn)折點(diǎn)又引發(fā)新的語(yǔ)篇內(nèi)容，包括參與者和情景成分的變化；最后與語(yǔ)篇主題相關(guān)的處于前景的事物和特征是進(jìn)行切分的重點(diǎn)對(duì)象。張德祿[13]指出在語(yǔ)篇層面，每個(gè)圖像可以實(shí)現(xiàn)一個(gè)事件，一系列交際事件形成一個(gè)情節(jié)，幾個(gè)情節(jié)可以組成一個(gè)故事或者一個(gè)語(yǔ)篇。在演講視頻中，根據(jù)演講語(yǔ)篇的發(fā)展，可分為演講開(kāi)頭、演講主題闡述、演講高潮和結(jié)束四個(gè)部分，每一個(gè)部分由若干個(gè)情節(jié)構(gòu)成。本文依據(jù)張德祿[13]提出的以上三個(gè)標(biāo)準(zhǔn)對(duì)Treasure的演講視頻進(jìn)行切分。

按照張德祿[14]提出的語(yǔ)篇切分方法，Julian Treasure的這段演講視頻的體裁結(jié)構(gòu)包括9個(gè)階段，這9個(gè)階段分成19個(gè)步驟和22個(gè)情節(jié)以及25個(gè)事件和25個(gè)圖像，可見(jiàn)每個(gè)階段由若干個(gè)步驟構(gòu)成，每個(gè)步驟可分為若干個(gè)情節(jié)，每個(gè)情節(jié)可分為若干個(gè)事件，事件通過(guò)圖像來(lái)實(shí)現(xiàn)，每一個(gè)圖像標(biāo)志著一個(gè)語(yǔ)篇單位、一個(gè)語(yǔ)法過(guò)程和一個(gè)信息單位[14]。Julian Treasure的這段動(dòng)態(tài)演講視頻切分結(jié)果如圖2所示：

圖2 動(dòng)態(tài)演講視頻切分

三、動(dòng)態(tài)演講視頻的多模態(tài)分析

(一)文化語(yǔ)境

文化語(yǔ)境包括文化習(xí)俗和社會(huì)規(guī)范兩個(gè)方面，是指與言語(yǔ)交際相關(guān)的社會(huì)文化背景[14]。前者是指人們?cè)谡Z(yǔ)言、行為和心理上的集體習(xí)慣或生活模式，后者是指一個(gè)社會(huì)對(duì)言語(yǔ)交際活動(dòng)作出的各種規(guī)定和限制。根據(jù)交際的目的，文化語(yǔ)境決定了話語(yǔ)交際的目的。

演講是指在公眾場(chǎng)所，以有聲語(yǔ)言為主要手段，以體態(tài)語(yǔ)言為輔助手段，針對(duì)某個(gè)具體問(wèn)題，鮮明、完整地表達(dá)自己的見(jiàn)解和主張，闡明事理或抒發(fā)情感，進(jìn)行宣傳鼓動(dòng)的一種語(yǔ)言交際活動(dòng)[15]。隨著科技的發(fā)展，演講者還可以借助多媒體技術(shù)進(jìn)行圖像的演示。近年來(lái)TED所推出的通過(guò)視頻傳播新思想的演講模式受到了廣大觀眾的熱捧，TED總裁安德森宣傳要像拍電影一樣打造18分鐘的極致演講視頻，所有TED演講長(zhǎng)度需在18分鐘之內(nèi)，因?yàn)槿绻^(guò)了18分鐘就很難抓住觀眾的注意力，觀眾通過(guò)“注意力之爭(zhēng)”能夠認(rèn)真地聽(tīng)完全部演講內(nèi)容從而獲取演講中有價(jià)值的信息。

本文選取的是Julian Treasure在TED會(huì)議上關(guān)于如何保護(hù)聽(tīng)力健康的演講。在這個(gè)日益嘈雜的世界中，人們正逐漸喪失聆聽(tīng)的能力。在這場(chǎng)簡(jiǎn)短而引人入勝的演講中，Treasure指出了噪音和戴耳機(jī)給人們聽(tīng)力造成的危害，同時(shí)介紹了三種保護(hù)聽(tīng)力的方法，提出了八種可以改善聽(tīng)力健康的方法，在短短的7分鐘時(shí)間里，演講主題鮮明、思路清晰、內(nèi)容豐富。Julian Treasure本次演講的體裁結(jié)構(gòu)總共包括九個(gè)階段：演講開(kāi)頭(一個(gè)階段)、演講主題(三個(gè)階段)、演講高潮(四個(gè)階段)和演講結(jié)尾部分(一個(gè)階段)。

1)演講開(kāi)頭：演講者從健康的定義過(guò)渡到講述耳朵的作用。

2)演講主題1：耳朵的功能。

3)演講主題2：噪音的危害。

4)演講主題3：耳機(jī)的危害。

5)演講高潮1：三種簡(jiǎn)單的保護(hù)聽(tīng)力的方法。

6)演講高潮2：耳朵的三個(gè)“好朋友”。

7)演講高潮3：提出了八種可以改善聽(tīng)力健康的方法。

8)演講高潮4：七件改善你們的聽(tīng)覺(jué)健康的事情。

9)演講結(jié)尾：演講者的祝愿和致謝。

(二)動(dòng)態(tài)演講視頻的情景語(yǔ)境分析

根據(jù)系統(tǒng)功能語(yǔ)言學(xué)理論，情景語(yǔ)境是文化語(yǔ)境的一個(gè)重要內(nèi)容。情景語(yǔ)境主要包括語(yǔ)場(chǎng)三個(gè)變項(xiàng): 語(yǔ)場(chǎng)(field)、語(yǔ)旨(tenor)和語(yǔ)式( mode)。語(yǔ)場(chǎng)是指語(yǔ)篇所涉及的具體內(nèi)容；語(yǔ)旨是指參加者的身份和他們之間的社會(huì)角色關(guān)系、交際雙方的關(guān)系；語(yǔ)式是指語(yǔ)言在具體環(huán)境中所起的作用，即交際的媒介和渠道。Julian Treasure本次演講的語(yǔ)場(chǎng)是2010年7月在美國(guó)TED會(huì)議上的對(duì)如何保護(hù)聽(tīng)力的一次演講；語(yǔ)旨是美國(guó)TED大會(huì)媒體，聲音專家Julian Treasure和在場(chǎng)的觀眾；語(yǔ)式是美國(guó)TED大會(huì)通過(guò)網(wǎng)絡(luò)向全球免費(fèi)播放由著名聲音專家Julian Treasure進(jìn)行的演講，演講者穿著得體、用詞專業(yè)、語(yǔ)速平緩、語(yǔ)言流利，演講者主要通過(guò)聲音模態(tài)來(lái)傳遞關(guān)于如何保護(hù)聽(tīng)力的主題，同時(shí)綜合了演講者的身體模態(tài)、姿勢(shì)模態(tài)、手勢(shì)以及版面布局模態(tài)、圖像模態(tài)等共同構(gòu)建動(dòng)態(tài)演講視頻的多模態(tài)意義。

(三)動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)分析

本節(jié)按照J(rèn)ulian Treasure演講視頻的開(kāi)頭、演講主題、演講高潮和演講結(jié)束四個(gè)部分所體現(xiàn)的模態(tài)關(guān)系進(jìn)行分析。

1.動(dòng)態(tài)演講視頻開(kāi)頭部分

在演講的開(kāi)頭部分，Julian Treasure面帶笑容，目光正對(duì)觀眾，手拿著多媒體演示器走上了TED演講的講臺(tái)。然后演講者通過(guò)語(yǔ)言模態(tài)，伴隨著手勢(shì)模態(tài)(雙手伸開(kāi))指出人身體中的每一部分都在以不同的頻率振動(dòng)，此時(shí)手勢(shì)模態(tài)是一種輔助手段，屬于次要模態(tài)。接著Julian Treasure通過(guò)多媒體演示工具呈現(xiàn)出一張圖像，此時(shí)視覺(jué)模態(tài)通過(guò)圖像成為主要的交際形式，聲音模態(tài)起強(qiáng)化作用，在圖像出現(xiàn)的同時(shí)還伴隨著音樂(lè)模態(tài)，此時(shí)聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)共同表達(dá)交際者的整體意義(事件1)，缺一不可，圖像和聲音(音樂(lè))構(gòu)成了典型的相互協(xié)調(diào)的模式。從事件2來(lái)看，觀眾通過(guò)主模態(tài)即視覺(jué)模態(tài)了解了耳朵的主要功能，同時(shí)演講者的語(yǔ)言模態(tài)只是起強(qiáng)化作用的輔助模態(tài)。從事件3來(lái)看，演講者的聲音模態(tài)和手勢(shì)模態(tài)以及圖像構(gòu)成的視覺(jué)模態(tài)三者互為協(xié)調(diào)，共同為闡述耳朵的另外一個(gè)重要功能這一交際事件服務(wù)，這三種模態(tài)之間的關(guān)系屬于非強(qiáng)化協(xié)調(diào)關(guān)系。動(dòng)態(tài)演講視頻開(kāi)頭部分的多模態(tài)話語(yǔ)分析見(jiàn)表1。

表1 動(dòng)態(tài)演講視頻開(kāi)頭部分的多模態(tài)話語(yǔ)分析

2.動(dòng)態(tài)演講視頻主題部分

在動(dòng)態(tài)演講視頻的主題部分，聲音專家Julian Treasure主要以提供信息型的模式講述了三個(gè)重要問(wèn)題：一是耳朵的功能，包括刪減性的傾聽(tīng)和擴(kuò)展式傾聽(tīng)(事件4和事件5)；二是噪音的危害(事件6)；三是耳機(jī)的危害，包括幻聽(tīng)(事件7)、壓縮音樂(lè)(事件8)和耳聾(事件9)。下面就演講的主體部分的模態(tài)進(jìn)行分析。

從情節(jié)4來(lái)看，Julian Treasure主要通過(guò)視覺(jué)模態(tài)中的文字模態(tài)即海明威的一句名言，向觀眾說(shuō)明了認(rèn)真傾聽(tīng)是一種主動(dòng)技能，視覺(jué)模態(tài)為主模態(tài)，語(yǔ)言模態(tài)對(duì)聽(tīng)覺(jué)模態(tài)具有強(qiáng)化互補(bǔ)作用，目的是告訴觀眾傾聽(tīng)是處理聲音與聲音之間的關(guān)系，也是一種與生俱來(lái)的能力，從而引出事件4和事件5的內(nèi)容，即不同的傾聽(tīng)姿勢(shì)對(duì)獲取信息的影響。從事件4和事件5來(lái)看，聽(tīng)覺(jué)模態(tài)是主模態(tài)，演講者使用語(yǔ)言模態(tài)的同時(shí)，運(yùn)用圖像即視覺(jué)模態(tài)來(lái)補(bǔ)充說(shuō)明刪減性的傾聽(tīng)(reductive listening)和擴(kuò)展性的傾聽(tīng)(expansive listening)，形成非強(qiáng)化協(xié)調(diào)關(guān)系。從事件6來(lái)看，演講者雙手慢慢抬起，表情嚴(yán)肅，此時(shí)的話語(yǔ)類型屬于提醒注意類。演講者運(yùn)用表情模態(tài)和手勢(shì)模態(tài)提醒觀眾要對(duì)噪音的危害引起重視，因?yàn)樵胍粽诮档蜌W洲總?cè)藬?shù)25%的人口的健康和生活質(zhì)量，可見(jiàn)表情模態(tài)和手勢(shì)模態(tài)對(duì)語(yǔ)言模態(tài)具有強(qiáng)化突出作用。通過(guò)視覺(jué)模態(tài)，演講者運(yùn)用圖像擴(kuò)充語(yǔ)言表達(dá)的意義，此時(shí)的視覺(jué)模態(tài)對(duì)聽(tīng)覺(jué)模態(tài)具有強(qiáng)化補(bǔ)充作用。從事件6來(lái)看，演講者用圖像指出了人們擺脫噪音的方法即戴耳機(jī)，這時(shí)視覺(jué)模態(tài)是主模態(tài)，聽(tīng)覺(jué)模態(tài)與視覺(jué)模態(tài)之間是互補(bǔ)非強(qiáng)化協(xié)調(diào)關(guān)系。事件7到事件9演講者分別講述了耳機(jī)給人們帶來(lái)的三大嚴(yán)重的健康問(wèn)題：幻聽(tīng)(事件7)、壓縮音樂(lè)(事件8)、耳聾(事件9)。在構(gòu)建事件整體意義的時(shí)候，聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)相互結(jié)合，演講者運(yùn)用圖像詳細(xì)說(shuō)明了三大健康問(wèn)題，圖像模態(tài)和聲音模態(tài)相互配合、相互協(xié)調(diào)，共同體現(xiàn)交際意義。動(dòng)態(tài)演講視頻主題部分的多模態(tài)話語(yǔ)分析見(jiàn)表2。

表2 動(dòng)態(tài)演講視頻主題部分的多模態(tài)話語(yǔ)分析

表2續(xù)

動(dòng)態(tài)演講視頻多模態(tài)話語(yǔ)分析(主題部分)語(yǔ)篇意義聽(tīng)覺(jué)模態(tài)視覺(jué)模態(tài)其他模態(tài)前景化多模態(tài)特征事件8:壓縮音樂(lè)主模態(tài)互補(bǔ)非強(qiáng)化協(xié)調(diào)文字模態(tài)(非強(qiáng)化協(xié)調(diào))聽(tīng)覺(jué)模態(tài)視覺(jué)模態(tài)事件9:耳聾主模態(tài)互補(bǔ)非強(qiáng)化協(xié)調(diào)文字模態(tài)(非強(qiáng)化協(xié)調(diào))聽(tīng)覺(jué)模態(tài)視覺(jué)模態(tài)

3.動(dòng)態(tài)演講視頻高潮部分

在動(dòng)態(tài)演講視頻的高潮部分，Julian Treasure主要以提供信息型的模式介紹了保護(hù)聽(tīng)力的三種方法，耳朵的三個(gè)“好朋友”，八種可以改善聽(tīng)力健康的方法和七件改善聽(tīng)覺(jué)的方法，演講涉及的內(nèi)容非常豐富。動(dòng)態(tài)演講視頻高潮部分的多模態(tài)話語(yǔ)分析見(jiàn)表3。從表3來(lái)看，在動(dòng)態(tài)演講的高潮部分，聽(tīng)覺(jué)模態(tài)始終處于前景化位置，為主模態(tài)。在介紹保護(hù)聽(tīng)力的三種方法的時(shí)候，演講者運(yùn)用聽(tīng)覺(jué)模態(tài)的同時(shí)，使用圖像即視覺(jué)模態(tài)對(duì)聽(tīng)覺(jué)模態(tài)進(jìn)行補(bǔ)充說(shuō)明，聲音和圖像是構(gòu)建交際整體意義的重要部分，兩者相互協(xié)調(diào)共同起作用。在演講的高潮部分，演講者以語(yǔ)言模態(tài)為主要模態(tài)、圖像模態(tài)與觀眾聽(tīng)覺(jué)模態(tài)三者的互補(bǔ)非強(qiáng)化協(xié)調(diào)關(guān)系，三者的協(xié)調(diào)使用更能吸引觀眾的注意力，使演講在高潮部分推進(jìn)和深化主題，引人入勝。

表3 動(dòng)態(tài)演講視頻高潮部分的多模態(tài)話語(yǔ)分析

從事件12來(lái)看，觀眾通過(guò)視覺(jué)模態(tài)看到了三個(gè)字母“WWB”，接著演講者通過(guò)語(yǔ)言模態(tài)和圖像中的聲音模態(tài)對(duì)“WWB”進(jìn)行了解釋，即wind、water和bird，這三種大自然的聲音對(duì)健康十分有利。圖像作為背景出現(xiàn)的同時(shí)，風(fēng)、水和鳥的聲音處于前景化，從而使音樂(lè)模態(tài)在整個(gè)交際意義中突顯出來(lái)，因此音樂(lè)模態(tài)起強(qiáng)化突出的作用。從事件13和事件14來(lái)看，演講者頭部稍偏左，手握多媒體演示器，表情沉默，沒(méi)有發(fā)出任何聲音，此時(shí)演講者的視覺(jué)模態(tài)處于前景化的位置，表情模態(tài)和手勢(shì)模態(tài)起互補(bǔ)強(qiáng)化作用，突出了演講的高潮之一“保持沉默也是耳朵的好朋友”。從事件15來(lái)看，演講者運(yùn)用語(yǔ)言模態(tài)詳細(xì)講解了七件改善聽(tīng)覺(jué)健康的事情，本部分講解的速度比較快，所以演講者在運(yùn)用語(yǔ)言模態(tài)的同時(shí)，還運(yùn)用了帶有文字模態(tài)的圖像，演講者的語(yǔ)言模態(tài)、文字模態(tài)以及觀眾的聽(tīng)覺(jué)模態(tài)三者之間互補(bǔ)協(xié)調(diào)，表達(dá)了交際事件的整體意義，取得了最佳的交際效果。

4.動(dòng)態(tài)演講視頻結(jié)尾部分

在動(dòng)態(tài)演講視頻的結(jié)尾部分，演講者運(yùn)用語(yǔ)言模態(tài)表達(dá)了對(duì)觀眾的美好祝福，祝愿大家聽(tīng)力健康，同時(shí)伴隨著音樂(lè)模態(tài)即小鳥的歌聲結(jié)束了此次演講。從模態(tài)分布來(lái)看，聽(tīng)覺(jué)模態(tài)是主模態(tài)，處于前景化，圖像視覺(jué)模態(tài)以及音樂(lè)模態(tài)對(duì)聽(tīng)覺(jué)模態(tài)進(jìn)行補(bǔ)充形成非強(qiáng)化協(xié)調(diào)關(guān)系，使演講的結(jié)尾部分精煉、生動(dòng)，升華了演講的主題，格外具有啟發(fā)性和感染力。動(dòng)態(tài)演講視頻結(jié)尾部分的多模態(tài)話語(yǔ)分析見(jiàn)表4。

表4 動(dòng)態(tài)演講視頻結(jié)尾部分的多模態(tài)話語(yǔ)分析

四、結(jié) 語(yǔ)

本文通過(guò)動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架，從演講視頻的開(kāi)頭部分、主體部分、高潮部分和結(jié)尾部分對(duì)聲音專家Julian Treasure共7分鐘的演講視頻進(jìn)行了詳細(xì)的多模態(tài)話語(yǔ)分析，主要有以下三個(gè)方面的發(fā)現(xiàn)：

a)在演講的整個(gè)過(guò)程中，演講者的語(yǔ)言模態(tài)為主模態(tài)，始終處于前景化位置。

b)為了取得最佳的演講效果使演講更具感染力和啟發(fā)性，在演講的主題部分和高潮部分，演講者為實(shí)現(xiàn)交際事件的整體意義，還綜合運(yùn)用了音樂(lè)模態(tài)、文字模態(tài)、圖像模態(tài)、手勢(shì)模態(tài)對(duì)語(yǔ)言模態(tài)進(jìn)行互補(bǔ)或強(qiáng)化，語(yǔ)言主模態(tài)與其他不同模態(tài)之間主要屬于互補(bǔ)非強(qiáng)化協(xié)調(diào)關(guān)系。

c)為了使整個(gè)演講內(nèi)容更加深刻和富有條理，在演講的開(kāi)頭和結(jié)尾，演講者都使用了相同的音樂(lè)模態(tài)，首尾照應(yīng)；音樂(lè)模態(tài)作為語(yǔ)言模態(tài)的補(bǔ)充，兩者形成了非強(qiáng)化協(xié)調(diào)關(guān)系，加深了觀眾的印象。

動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)分析，對(duì)演講愛(ài)好者了解演講中不同的模態(tài)實(shí)現(xiàn)話語(yǔ)意義的方式以及提高演講水平具有指導(dǎo)作用。本文的研究拓展了多模態(tài)話語(yǔ)分析理論的研究范圍，在后續(xù)的研究中將通過(guò)不斷地實(shí)踐來(lái)驗(yàn)證和發(fā)展該理論，推動(dòng)多模態(tài)話語(yǔ)研究的發(fā)展。

[1] O’ TOOLE M. The Language of Displayed Art [M]. London: Leicester University Press,1994.

[2] KRESS G, VAN LEEUWEN T. Reading Images: The Grammar of Visual Design [M].2nd ed. London: Routledge, 2006.

[3] BALDRY A, THIBAUL P J. Multimodal Transcription and Text Analysis: A Multimedia Toolkit and Course Book with Associated Online Course[M]. London: Equinox,2006.

[4] KNOX J. Visual-verbal communication on online newspaper home pages [J].Visual Communication,2007(6):19-53.

[5] MARTINEC R, VAN LEEUWEN T. The Language of New Media Design: Theory and Practice [M].London: Routledge,2007.

[6] 張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ)，2009，6(1)：24-30.

[7] RENDLE-SHORT J. Managing the transitions between talk and silence in the academic monologue [J]. Research on Language and Social Interaction,2005,38(2):179-218.

[8] MORTON J. Genre and disciplinary competence: A case study of contextualization in an academic speech genre[J]. English for Specific Purposes,2009,28(4):217-229.

[9] 徐珊.虛假語(yǔ)用預(yù)設(shè)視角下的TED演講言語(yǔ)幽默的生成機(jī)制解析[J].西南科技大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)，2014,31(6)：78-89.

[10] 曹井香，王麗莉，張婉云.TED模式大學(xué)生英語(yǔ)演講課程任務(wù)設(shè)計(jì)與實(shí)踐[J].外語(yǔ)教育研究，2015，3(4)：14-17.

[11] LIM F V. Developing an integrative multi-semiotic model [C]// L. O’Halloran (Ed.). Multimodal Discourse Analysis: Systemic-Functional Perspectives. London: Continuum,2004:220-246.

[12] 張德祿，袁艷艷.動(dòng)態(tài)多模態(tài)話語(yǔ)的模態(tài)協(xié)同研究：以電視天氣預(yù)報(bào)多模態(tài)語(yǔ)篇為例[J].山東外語(yǔ)教學(xué)，2011,32(5)：9-16.

[13] 張德祿.多模態(tài)外語(yǔ)教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探[J].中國(guó)外語(yǔ)，2010,7(3)：48-53.

[14] 陽(yáng)卓勝.談?wù)務(wù)Z境在翻譯中的作用[J].英語(yǔ)廣場(chǎng)(學(xué)術(shù)研究)，2014(7)：52-53.

[15] 武宏偉.演講、朗誦與講故事[J].語(yǔ)文建設(shè)，2011(9)：75-77.

(責(zé)任編輯： 任中峰)

Multimodal Discourse Analysis of Dynamic Speech Video

GUANYue

(1.International School, Nanfang College of Sun Yat-Sen University, Guangzhou 510970, China;2.School of English Studies, Guangdong University of Foreign Studies, Guangzhou 510420, China)

Based on Lim’s comprehensive multi-semiotic framework and Zhang Delu’s dynamic multimodal discourse analysis framework, this paper analyzes the multimodal discourse of dynamic speech video. It is found that the modes of language, voice, facial expressions, gestures, posture and movement are important resources for construing the meaning of speech. In the dynamic multimodal speech discourse, the speaker’s language mode is the main mode. In order to construct the whole meaning of the communicative event, it is necessary to coordinate and complement other modes. This study will help speech enthusiasts to understand how to achieve the discourse meaning with different modes and improve speech skills.

TED speech video; multi-modal discourse; modes

10.3969/j.issn.1673-3851.2017.02.004

2016-10-19 網(wǎng)絡(luò)出版日期：2017-01-03

廣東高校重大項(xiàng)目：青年創(chuàng)新人才類項(xiàng)目(社科類)(2015WQNCX190) ；廣州市哲學(xué)社會(huì)科學(xué)發(fā)展“十二五”規(guī)劃課題(15G76)；廣東省哲學(xué)社會(huì)科學(xué)“十三五”規(guī)劃“外語(yǔ)學(xué)科專項(xiàng)”重點(diǎn)項(xiàng)目(GD16WXZ33)

管 樂(lè)(1980-)，湖南湘潭人，講師，碩士，2016-2017年廣東外語(yǔ)外貿(mào)大學(xué)訪問(wèn)學(xué)者，主要從事外國(guó)語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)方面的研究。

H03

A

1673- 3851 (2017) 01- 0025- 08