基于ELAN的演講視頻多模態(tài)互動機制研究

〔關(guān)鍵詞〕 Ted 教育類演講視頻;多模態(tài)互動;交流模態(tài);ELAN

隨著現(xiàn)代傳播技術(shù)的發(fā)展，多模態(tài)話語沖擊了傳統(tǒng)上文字在交際領(lǐng)域中的中心地位。在許多情況下，語言與其它符號模態(tài)資源一起構(gòu)建意義，共同為交際服務。Kress & van Leeuwen 指出多模態(tài)語篇是任何一類通過一種以上符號編碼實現(xiàn)意義的語篇[1]。與Kress & van Leeuwen 的研究不同，Norris 的多模態(tài)互動分析側(cè)重于動態(tài)的多模態(tài)話語，認為互動是通過言語（spoken language）、空間距離（proxemics）、身體姿勢（posture）、手勢（gesture）、頭部動作（head movement）、眼神（gaze）、場景布局（layout）、音樂（music）及印刷品（print）交流模態(tài)的相互協(xié)同使用而完成的[2]24。作為一種有準備的、即席性的話語類型，演講視頻不僅包括了言語模態(tài)的使用，還綜合了演講者音韻、手勢、頭部動作、眼神、臉部表情等模態(tài)協(xié)作的特點，是典型的動態(tài)多模態(tài)語篇。本文結(jié)合Norris 提出的模態(tài)密度前景?背景連續(xù)統(tǒng)一體（modal density foregroundbackgroundcontinuum）的分析框架[2]128，探究一則TED 教育類動態(tài)多模態(tài)演講視頻在演講問題導入、問題提出、問題分析和問題解決這四個部分中各交流模態(tài)的分布特征以及各模態(tài)使用的強度和密度。同時，根據(jù)各交流模態(tài)使用的強度和密度以及交際主體對交際模態(tài)的注意或意識程度進行切分，并統(tǒng)計各個模態(tài)在互動協(xié)調(diào)關(guān)系中所占的比例，分析在整個演講視頻中演講者言語、音韻、手勢、頭部動作、眼神等交流模態(tài)在構(gòu)建演講信息中所起的作用以及這些交流模態(tài)之間的互動機制。

一、研究背景

（一） 多模態(tài)話語分析的新發(fā)展

隨著多模態(tài)話語研究的深入，多模態(tài)話語分析初步形成了以下三種理論方法[3]：第一種是以Gun-ther Kress & van Leeuwen 為代表的系統(tǒng)功能多模態(tài)話語分析（systemic functional-multimodal discourseanalysis）[4];第二種是以Norris 為代表的多模態(tài)互動分析（ multimodal interactional analysis）[2]; 第三種是Gu 提出的語料庫語言學多模態(tài)話語分析[5]，其中系統(tǒng)功能語言學視角的多模態(tài)話語分析取得了很多豐碩的成果，如O Halloran[6]、Baldry & Thibault[7]、李戰(zhàn)子[8?9]、胡壯麟[10]、張德祿[11?13]、梁兵和蔣平[14]、國防[15]、管樂[16] 等。同時，多模態(tài)語料庫也受到了研究者的重視。Baldry & Thibault 建立的在線多模態(tài)檢索器Multimodal Corpus Authoring （MCA） 等多模態(tài)分析軟件的開發(fā)和使用為多模態(tài)語料庫的建立和分析奠定了基礎(chǔ)。但是， 以Norris 為代表的多模態(tài)互動分析的應用尚未得到重視。

（二） 關(guān)于演講的研究綜述

TED 是技術(shù)（ technology）、娛樂（ entertainment）和設計（design）三個英語單詞的縮寫。近幾年來，以“互聯(lián)網(wǎng)+演講”的TED 演講掀起了演講傳播的熱潮。演講者通過TED 演講平臺傳遞新思想、新信息、新觀點。作為TED 主題之一的教育類演講一直是最受關(guān)注的演講話題之一。從目前對演講的研究來看，Rendle-short[17] 對演講中肢體語言和語言使用進行了研究，并發(fā)現(xiàn)了兩者之間的復雜關(guān)系，Morton[18] 對演講體裁進行了分析，Tardy[19] 對演講中使用的PPT 與演講內(nèi)容之間的關(guān)系進行了探討。從國內(nèi)來看，學者們主要是從外語教學和語用學的角度來研究演講的，如趙燕飛[20]、李穎[21]、劉森和吳鴻皓[22]、林巖[23] 等。但是從Norris 多模態(tài)互動理論的視角，并運用定性和定量相結(jié)合的研究方法來分析演講者在整個演講視頻中如何使用各種交流模態(tài)來構(gòu)建演講信息以及各交流模態(tài)之間是如何構(gòu)建多模態(tài)互動意義的研究非常少。

二、多模態(tài)互動分析理論

以Norris 為代表的多模態(tài)互動分析吸收了互動社會學、中介話語分析、聯(lián)結(jié)分析（nexus analysis）、多模態(tài)話語等方面的研究成果。Norris 指出多模態(tài)互動的基本分析單位為“行動”（action），行動總共分為三個部分，即低一級行動（low-level action）、高一級行動（high-level action）和冰凍行動（frozen action）[2]26。人類互動被看作是一個交際事件，整個交際事件可以分成若干個階段，各階段都由一系列高一級行動構(gòu)成，而每一個高一級行動由一系列低一級行動構(gòu)成，低一級行動和高一級行動在互動中被連貫地建構(gòu)起來;冰凍行動屬于高一級行動，屬于未出現(xiàn)的行為動作的模態(tài)。

（一） 交流模態(tài)（communicative modes）

Norris 指出人際互動包括九種交流模態(tài)：言語、空間距離、身體姿勢、手勢、頭部動作、眼神、場景布局、音樂和印刷品。交流模態(tài)是具有規(guī)律和規(guī)則的意義表達體系或符號體系[24]81，以上九種交流模態(tài)在人際互動中起著重要作用。Norris 將場景布局、音樂和印刷品三種交流模態(tài)稱為非實體（disembodied）模態(tài)[2]12。由于在本文選取的語料中這三種交流模態(tài)的體現(xiàn)不明顯，因此這三種交流模態(tài)在此不再贅述。

1.言語

言語交流模態(tài)是指交流者在互動過程中使用的話語。其中，語調(diào)單位是語言模態(tài)的基本單位，也是構(gòu)成多模態(tài)互動的“低一級行動”，言語模態(tài)被認為是交流者表達思想和傳遞信息的主要模態(tài)，在交流中交際主體和參與者的聲音所表現(xiàn)出的不同語調(diào)都具有互動意義[2]17。

2.空間距離

空間距離交流模態(tài)是指個人與其他人以及物體之間的空間距離[2]19。在交流過程中，由于文化背景和個人喜好不同，個人與其他人以及物體之間保持的空間距離也有所不同。Hall 把空間距離分為親密距離、個人距離、社會距離和公眾距離，可通過調(diào)查保持的距離來分析互動中參與者體現(xiàn)的親密度和正式程度[2]20。一般情況下，近距離表示親近，遠距離表示正式。

3.身體姿勢

身體姿勢交流模態(tài)是指在特定的交際過程中，參與者保持的身體姿勢[2]24。身體姿勢主要包括兩個方面，一是身體的位置，根據(jù)身體位置的方向可分為開放式（open）或封閉式（closed）姿勢，如果張開雙臂，體現(xiàn)的是一種開放式姿勢，如果雙臂交叉，雙腿交叉體現(xiàn)的是一種封閉式姿勢;二是個人身體朝向他人的方向，各種姿勢都各自表達不同的信息和互動意義。

4.手勢

手勢交流模態(tài)分為四種類型[2]28。圖畫型手勢（iconic gestures）是指模仿口頭表達的內(nèi)容或描述特定的物體或事件，使其更加生動。隱喻型手勢（metaphoricgestures）是指體現(xiàn)那些“看不見”的東西，屬于抽象的觀點或范疇，通過手勢運動描述比喻性物體的形態(tài)和形狀。指示性手勢（deictic gestures）是指向物質(zhì)世界中的人或物體，也可以指過去或?qū)戆l(fā)生的事件或真實存在的概念和觀點。節(jié)奏型手勢（beatgestures）像音樂中的節(jié)拍一樣，指手上下或來回打的節(jié)拍。手勢是一種綜合性的模態(tài)，伴隨言語發(fā)生的手勢通常起強調(diào)作用或使描述事物更加客觀化和形象化。

5.頭部動作

頭部動作交流模態(tài)是指在交流中頭部的移動，簡單的頭部動作包括點頭、搖頭或側(cè)面運動。根據(jù)在交際中的不同意義，Norris 把頭部動作分為四種類型[2]45，即方向轉(zhuǎn)變（directional shift）、有節(jié)奏地點頭（head beats）、姿勢移動（postural shifts）和眼神移動（gaze shift）。

6.眼神

眼神交流模態(tài)是指目光的組織、方向和強度，在交流中，根據(jù)人們參與活動情況，參與者的眼神交流可以起著重要或次要的作用[2]49。

Norris 認為以上交流模態(tài)并不是完全孤立存在的，每一個交流模態(tài)與其他模態(tài)聯(lián)系在一起，彼此之間相互依存、相互作用。交流模態(tài)包含的意義潛勢（ meaning potential）主要由互動情境或環(huán)境所決定[2]52。

（二） 模態(tài)布局和模態(tài)密度

關(guān)于模態(tài)之間的互動，Norris 提出了“模態(tài)布局”（modal configuration）和“模態(tài)密度”（modal density）兩個重要概念[2]125。模態(tài)布局是指在構(gòu)建高一層行動中起作用的各個模態(tài)間的層級關(guān)系或重要程度。模態(tài)密度是多模態(tài)互動研究的關(guān)鍵內(nèi)容，指的是高一層級行為通過模態(tài)強度（modal intensity）和模態(tài)復雜性（modal complexity）得以實現(xiàn)[24]82。模態(tài)強度是指某個或某些模態(tài)在構(gòu)建一個行為中的重要性，模態(tài)強度與社會行為者的“注意”（attention）和“意識”（awareness）之間有密切關(guān)系， 如高模態(tài)強度相當于互動注意或意識（interactional attention/awareness）的高一級行動。根據(jù)在構(gòu)建“高一級行動”中所起的作用，模態(tài)強度包括高模態(tài)強度（highmodal intensity）、中模態(tài)強度（medium modal intensity）和低模態(tài)強度（low modal intensity）三個部分，任何模態(tài)都能體現(xiàn)高模態(tài)強度，有時多種模態(tài)相結(jié)合也能體現(xiàn)高模態(tài)強度，模態(tài)強度越高，模態(tài)密度就越大。在構(gòu)建交際活動中，“社會行動者”（social actor） 所進行的高層活動可能多于三種，因此Norris 指出多種同時進行的高層活動可運用“模態(tài)密度前景?背景連續(xù)統(tǒng)一體”來描述[25]，高層活動的模態(tài)密度與行動者對活動的注意（attention）程度呈正態(tài)分布。使用模態(tài)密度高，最受行動者注意的是前景化行動;反之使用模態(tài)密度低，最不受行動者注意的是背景化行動;處于中間的是中景化行動。交際活動中模態(tài)復雜性是指“社會行動者” 構(gòu)建行為時所使用的模態(tài)數(shù)量，如果共同完成一種交際活動所涉及的模態(tài)數(shù)量越多，那么這種交際活動的模態(tài)復雜性就越強[26]，屬于高復雜度的高層活動。

三、研究方法

（一） 語料

本文的語料選自心理學家Angela Lee Duckworth在TED 大會上一次題為“毅力是激情和堅持的力量”的演講，其主題屬于教育類演講。根據(jù)TED 官網(wǎng)的統(tǒng)計，該視頻截至2021 年4 月3 日，其點擊率超過了2 300 萬次①，整個演講持續(xù)的時間雖然只有5 分39 秒，但是演講主題突出、邏輯清晰、內(nèi)容新穎，深受觀眾的喜愛。Duckworth 指出她和她的研究團隊通過大量的研究發(fā)現(xiàn)I.Q.的高低并不是獲得成功的秘密，毅力才是取得成功、實現(xiàn)目標和發(fā)揮激情的力量。最后她告訴觀眾培養(yǎng)毅力最好的方法是培養(yǎng)成長性思維模式。Norris 指出人類互動具有目的性，而目的的實現(xiàn)存在階段性[2]110，因此根據(jù)演講體裁的階段性和張德祿[11]28 提出的動態(tài)多模態(tài)語篇切分的三個標準，筆者將此演講語料分為演講問題導入、問題提出、問題分析和問題解決共四個部分，語料特征見表1。

（二） 語料處理

根據(jù)Norris 提出的交流模態(tài)[2]，運用多模態(tài)話語標注軟件ELAN 進行標注。為了方便標注，筆者參照王立非、文艷[27] 的附碼體系指定附碼表（見表2）。一共分為八個層面（圖1）：體裁結(jié)構(gòu)、言語、手勢、頭部動作、臉部表情、眼神、身體姿勢和音韻。圖1 是使用ELAN 對整個演講視頻進行標注截屏，視圖的左邊是分層區(qū)，右邊可以對演講者的言語進行轉(zhuǎn)寫并對各個不同層級（交流模態(tài)）進行標注。具體附碼如下：

音韻交流模態(tài)包括語調(diào)下降[PIF]、語調(diào)上升[PIR]、語調(diào)先升調(diào)再降調(diào)[PIRF] 以及語調(diào)為重讀[PIS];手勢交流模態(tài)包括圖畫型手勢[HNI]、隱喻型手勢[HNM]、指示性手勢[HNDe] 和節(jié)奏型手勢[HNB];頭部動作包括頭部向上仰[HDU]、低頭[HDD]、點頭[HDN] 和頭左右移動[HDMA];面部表情分為面部微笑[FFS] 和面部嚴肅[FFSe];眼神包括直視觀眾的眼神[EGA] 和環(huán)視四周[EGAr];身體姿勢主要包括開放式姿勢[POO] 和封閉式姿勢[POC]。

（三） 研究問題

（1）在該演講視頻的問題導入、問題提出、問題分析和問題解決這四個部分中，言語、手勢、頭部動作、臉部表情、眼神、身體姿勢和音韻這七種交流模態(tài)在構(gòu)建演講交際活動中所起的作用以及這些交流模態(tài)之間是如何互動的？

（2）在該演講視頻的問題導入、問題提出、問題分析和問題解決這四個部分中，各交流模態(tài)使用的強度和密度的差異是什么？

四、語料分析

根據(jù)表3 的數(shù)據(jù)，在整個動態(tài)演講視頻中，音韻交流模態(tài)持續(xù)的標注時長最長，所占標注時長百分比最多，達到85.27%，其次是身體姿勢交流模態(tài)，占標注時長百分比達75.63%，眼神交流模態(tài)占標注時長百分比達71.2%，可見在演講中，演講者的音韻、身體姿勢和眼神交流模態(tài)在演講中起著重要作用。下面根據(jù)ELAN 對該演講視頻四個部分標注的數(shù)據(jù)（表4），分別對演講視頻四個部分中各交流模態(tài)之間的互動關(guān)系以及模態(tài)使用強度和密度進行分析。

（一） 演講視頻的問題導入部分交流模態(tài)之間的互動關(guān)系

演講視頻的問題導入部分持續(xù)時長1 min 4 s，演講者主要構(gòu)建了兩個“高一級行動”：一是闡述了自己的職業(yè)身份;二是導入演講問題即指出智商并不是最好和最差的學生之間的差異。在這兩個高一級的行動中，演講的問題導入一直是演講者和觀眾關(guān)注的焦點，所運用的模態(tài)數(shù)量最多，模態(tài)密度最大，模態(tài)復雜性最強，屬于前景化高層行動。

通過ELAN 多模態(tài)軟件的標注（表4），在演講的問題導入部分，眼神交流模態(tài)和音韻交流模態(tài)的標注時長百分比分別為56% 和55.8%，可見在構(gòu)建問題導入部分的兩個“高一級行動”中，眼神交流模態(tài)和音韻交流模態(tài)體現(xiàn)了高模態(tài)強度，臉部表情的標注時長百分比最少（31.1%），屬于低模態(tài)強度。以下是演講的問題導入部分言語模態(tài)與其他交流模態(tài)的例證（見表5）。

在演講視頻的開頭，首先演講者面帶微笑的表情[FFS] 和開放式身體姿勢[POO] 在演講的一開始就營造出了一種和諧的氛圍，拉近了與觀眾的距離，增進了親近感。同時，演講者使用了降調(diào)[PIF] 和重讀[PIS] 的音韻交流模態(tài)強化突出了她的職業(yè)身份“teaching”，并使用環(huán)視四周的眼神模態(tài)[EGAr]和點頭的交流模態(tài)[HDN] 非常自信地講述了她選擇了一份“more demanding”的工作，即教學工作?？梢?，言語模態(tài)、環(huán)視四周的眼神交流模態(tài)和重讀的音韻交流模態(tài)對前景化高層行動即演講者職業(yè)身份的闡述起突出和強調(diào)作用。

然后演講者在運用言語模態(tài)的同時，其面部表情表現(xiàn)得比較嚴肅[FFSe]，從表4 的數(shù)據(jù)來看，這一部分持續(xù)的時間最長，長達23 s，占標注時長的22.4%，同時還使用了節(jié)奏型手勢（HNB）和重讀[PIS] 的音韻交流模態(tài)來強調(diào)她在教學中發(fā)現(xiàn)的令人震驚的問題：I.Q. was not the only difference betweenmy best and my worst students。此時演講者的姿勢由開放式變?yōu)榉忾]式姿勢[POC]，兩手交叉放在胸前，體現(xiàn)出該問題的嚴肅性和客觀性，面部嚴肅的表情和節(jié)奏型手勢以及封閉式姿勢的使用加強了言語表達的意義，強化并突出了演講導入的問題，吸引了觀眾的注意。與此同時，演講者還使用了環(huán)視四周的眼神模態(tài)[EGAr] 和頭左右移動的交流模態(tài)[HDMA] 環(huán)顧在場的觀眾，提出了I.Q.的高低并不是最好的和最差的學生之間唯一的差別，這個問題很快誘發(fā)了在場觀眾的思考和關(guān)注。

最后，在演講視頻的問題導入部分，演講者運用圖畫型手勢[HNI] 和封閉性身體姿勢[POC] 配合言語表達了“I was firmly convinced that every one ofmy students could learn the material if they workedhard and long enough”，并通過嚴肅的面部表情[FFSe]和重讀[PIS] 的音韻交流模態(tài) “I was firmly convinced”強調(diào)了演講者作為教師對每一位學生都可以學會教材內(nèi)容充滿了信心。與此同時，演講者環(huán)視四周的眼神模態(tài)轉(zhuǎn)變?yōu)橹币曈^眾的眼神交流模態(tài)[EGA]，對觀眾的注意力起組織引導作用?？梢?，在演講視頻的問題導入部分，高模態(tài)強度的言語和音韻和眼神交流模態(tài)與手勢、頭部動作、臉部表情、身體姿勢交流模態(tài)呈強化關(guān)系，突出了演講者的職業(yè)身份，強化了她在教學中發(fā)現(xiàn)的令人震驚的問題，強調(diào)了教師對每一位學生充滿信心的重要性，為后面問題的發(fā)現(xiàn)部分奠定了基礎(chǔ)。

（二） 演講視頻的問題提出部分交流模態(tài)之間的互動關(guān)系

演講視頻的問題提出部分持續(xù)時長1 min 27 s。從多模態(tài)軟件ELAN 的標注來看，演講者主要構(gòu)建了一個“高一級行動”，即“誰是成功者？為什么他們會成功”的研究問題。該高一級行動使用的模態(tài)數(shù)量最多，模態(tài)密度最大，最受觀眾注意，屬于前景化行動，該部分演講者使用的句式整齊，以排比句為主，使演講的言語表達更富有感召力和表現(xiàn)力。下面就演講問題提出部分所使用的各交流模態(tài)之間的互動關(guān)系進行分析。

通過ELAN 多模態(tài)軟件的標注（表4），在演講的問題提出部分，音韻交流模態(tài)標注時長的百分比最多，達到83.45%，體現(xiàn)了高模態(tài)強度。以下是演講的問題提出部分言語模態(tài)與其他交流模態(tài)的例證（見表6）。

在演講視頻的問題提出部分，首先演講者面部嚴肅地[FFSe] 運用言語模態(tài)總結(jié)了經(jīng)過幾年教學之后所得出的一個結(jié)論，“What we need in education isa much better understanding of students and learningfrom a motivational perspective， from a psychologicalperspective”，其音韻以降調(diào)為主[PIF]。同時演講者將右手做成圖畫型手勢[HNI] 在胸前來回移動，加之點頭的交流模態(tài)[[HDN] 生動詳細地描述了學習動力和心理學角度的抽象意義，為了保證所有的觀眾都能參與到問題中來，演講者還同時使用了環(huán)視四周的眼神模態(tài)[EGAr]，眼睛掃視全場，抓住了觀眾的注意力和吸引力。

接著，演講者面帶微笑地[FFS] 通過言語模態(tài)提出了她和她的團隊所研究的問題：“ I startedstudying kids and adults in all kinds of super challengingsettings， and in every study my question was whois successful here and why.”在敘述經(jīng)歷的時候，大部分句子以第一人稱“we”開頭，使用的句式整齊，以排比句為主，同時指示性手勢[HNDe] 和頭左右移動的交流模態(tài)[HDMA] 更能體現(xiàn)演講者和她的團隊調(diào)研的真實性，更具有說服力。與此同時，演講者直視觀眾的眼神交流模態(tài)[EGA] 和開放式姿勢[POO] 使演講更富有感召力和表現(xiàn)力。

在演講視頻的問題提出部分，演講者還重點運用言語模態(tài)和一連串的指示性手勢模態(tài)[HNDe] 描述了她和研究團隊在“West Point Military Academy”，“National Spelling Bee”以及對“rookie teachers”和“private companies”調(diào)研的真實經(jīng)歷和過程，描述十分形象具體，同時在談到所研究的關(guān)鍵問題即“ rookie teachers working in really tough neighborhoods，asking which teachers are still going to be herein teaching by the end of the school year”， 以及“whichof these salespeople is going to keep their jobs inprivate companies”的時候，演講者將左手和右手握拳（封閉式姿勢），眼神環(huán)視四周，面部表情由微笑轉(zhuǎn)為嚴肅，突出了該調(diào)研過程中的嚴肅性，引起了觀眾的注意與思考。從ELAN 多模態(tài)分析軟件的統(tǒng)計數(shù)據(jù)來看（表4），演講問題的提出部分，演講者的音韻模態(tài)主要以敘述內(nèi)容的降調(diào)為主，長達67 s，占標注時長的66.6%，降調(diào)音韻的使用使觀眾更容易地接受新信息?？梢姡谘葜v視頻的問題提出部分，高強度的言語和音韻交流模態(tài)與手勢、頭部動作、臉部表情、眼神、身體姿勢交流模態(tài)相互協(xié)同，呈現(xiàn)互補關(guān)系，共同完成了演講者和她的團隊研究問題以及調(diào)研的意義構(gòu)建，為交際服務。

（三） 演講視頻的問題分析部分交流模態(tài)之間的互動關(guān)系

演講視頻的問題分析部分持續(xù)時長1 min 31 s。演講者指出預示成功的特征不是很高的I.Q.而是毅力。在構(gòu)建“問題分析”這一“高一級行動”中，演講者使用的模態(tài)數(shù)量最多，模態(tài)密度最大，屬于前景化高層行動，該部分中演講者的大部分句子以簡單句為主，論證充實，說服力強。下面我們就演講問題分析部分所使用的各交流模態(tài)之間的互動關(guān)系進行分析。

通過ELAN 多模態(tài)軟件的標注（表4），在演講的問題分析部分，音韻和臉部表情交流模態(tài)標注時長的百分比均超過了60%，模態(tài)強度高。以下是演講的問題分析部分言語模態(tài)與其他交流模態(tài)的例證（見表7）。

在演講視頻的問題分析部分，首先演講者眼睛環(huán)顧四周，面部表情嚴肅，頭部稍低，運用帶有降調(diào)的音韻言語模態(tài)分析了研究問題的答案，即“Grit is a significant predictor of success”。演講者指出毅力是對長遠目標的激情和堅持，毅力把生活當成一場馬拉松而不是一場短跑，肯定了毅力在成功的道路上起的重要作用。同時演講者的兩只手放在胸前，該圖畫型手勢[HNI] 和封閉式姿勢[POC] 配合言語模態(tài)將“grit”的內(nèi)涵描述得生動具體，感染力強。

接著，演講者的面部表情從嚴肅轉(zhuǎn)為微笑，面帶微笑地通過言語模態(tài)闡述了針對上千名初中生毅力情況的問卷調(diào)查結(jié)果，體現(xiàn)了對該調(diào)查結(jié)果十分滿意。在配合言語模態(tài)“grittier kids were significantlymore likely to graduate”的同時，演講者還使用了降調(diào)音韻模態(tài)[PIF] 讓觀眾更容易接受調(diào)查的新信息。再者，演講者雙手自然放在胸前，使用了開放性的姿勢[POO]， 并運用指示性手勢[HNDe] 客觀地描述了有毅力的學生更容易畢業(yè)的情況，該手勢模態(tài)增添了意義表達的真實性和客觀性。

在演講視頻的問題分析部分，演講者在講到“ the most shocking thing about grit is how little weknow， how little science knows about building it”的時候，演講者的眼睛環(huán)顧四周[EGAr]，指出了在培養(yǎng)毅力上，科學對毅力的理解和認識是非常貧乏的，希望通過眼神的力量能引起觀眾和科學界對毅力的重視。同時，演講者此時的姿勢由開放式變?yōu)榉忾]式[POC]，演講者的左手抓住右手，這個姿勢傳遞出的信息是希望觀眾重視毅力對成功的重要作用。從ELAN 的標注來看，演講者先升調(diào)再降調(diào)[PIRF]的標注分別達到2 次，其中演講者先升調(diào)再降調(diào)的標注持續(xù)時間最長，其標注時長百分比為24.6%。在談到“the most shocking thing about grit”的時候演講者用了升調(diào)，后面“how little we know， how littlescience knows about building it”使用了降調(diào)，先升調(diào)再降調(diào)的音韻模態(tài)突出了我們在培養(yǎng)毅力上知之甚少這一最讓演講者震驚的問題，引人深思?？梢?，演講視頻的問題分析部分，高強度的言語、音韻、臉部表情交流模態(tài)和其他非言語模態(tài)互補協(xié)調(diào)，相互補充，演講者分析了研究問題的答案即毅力才是成功的秘訣，取得了最佳的交際效果，共同體現(xiàn)交際意義。

（四） 演講視頻的問題解決部分交流模態(tài)之間的互動關(guān)系

演講視頻的問題解決部分持續(xù)時長1 min 46 s，演講者主要構(gòu)建了問題解決這一“高一級行動”，即提出了培養(yǎng)毅力最有效的方法是“growth mindset”。該“高一級行動”所運用的模態(tài)數(shù)量最多，模態(tài)密度最大，是觀眾注意的焦點，屬于前景化行動。下面我們就演講問題解決部分所使用的各交流模態(tài)之間的互動關(guān)系進行分析。

通過ELAN 多模態(tài)軟件的標注（表4），在演講視頻的問題解決部分，手勢模態(tài)、頭部動作、臉部表情、眼神、身體姿勢和音韻交流模態(tài)的標注時長的百分比均超過了75%，這六種交流模態(tài)相結(jié)合共同體現(xiàn)了高模態(tài)強度。以下是演講的問題解決部分言語模態(tài)與其他交流模態(tài)的例證（ 見表8）。

在演講視頻的問題解決部分，演講者在講述每天都有家長和老師來問她怎樣做才能培養(yǎng)孩子的毅力的時候，雙手手指張開，放在胸前，即使用了指示性手勢模態(tài)[HNDe] 和開放性的姿勢[POO]，表示“I dont know”，該手勢模態(tài)與言語模態(tài)表達的意義重復，同時演講者面帶微笑地說出了“ I don'tknow”這三個字，全場觀眾也都笑了起來，各交流模態(tài)的運用調(diào)動了全場的氣氛，增添了演講幽默詼諧的氣氛。與此同時，演講者在描述家長和老師提出的問題：“How do I build grit in kids？ What do I doto teach kids a solid work ethic， how do I keep themmotivated for the long run？”的時候使用了升調(diào)，“Idont know” 使用了降調(diào)，其音韻模態(tài)主要以先升調(diào)再降調(diào)[PIRF] 為主，描述生動，讓觀眾對如何才能培養(yǎng)孩子毅力的這個問題更加感到好奇，為后面演講問題的解決做了鋪墊。

然后演講者大拇指和食指合并，運用圖畫型手勢[HNI] 配合言語描述了“ There are many talentedindividuals who simply do not follow through on theircommitments.”，同時面部表情由微笑轉(zhuǎn)為嚴肅[FFSe]，其實有許多才華橫溢的人都無法堅持兌現(xiàn)自己的承諾，面部表情的轉(zhuǎn)變體現(xiàn)了演講者構(gòu)建的不同互動意義。接著演講者眼睛環(huán)顧四周[EGAr]，伴隨頭左右移動[HDMA] 和身體開放性姿勢[POO]，闡述了“ Grit is usually unrelated， or even inversely relatedto measure of talent”，同時“unrelated”使用了升調(diào)和重讀，“measure of talent”使用了降調(diào)，讓在場的觀眾更容易接受調(diào)查數(shù)據(jù)的結(jié)果。

在演講的最后，演講者面部嚴肅，并抬起右手運用指示性手勢模態(tài)[HNDe] 說明了“Growth mindsetis a great idea for building grit”，即成長型思維模式對培養(yǎng)毅力大有裨益。接著，演講者運用升降調(diào)和重讀音韻模態(tài)說出了帶有三個“need to”的排比句，強有力地說明了我們應該如何做才能培養(yǎng)毅力，豐富了演講的言語表達，深化了演講主題。同時頭左右移動[HDMA] 的交流模態(tài)更能增強演講者與觀眾之間的互動。最后，演講者運用點頭的交流模態(tài)[HDN] 和雙手交叉放在胸前的封閉式姿勢[POC] 闡述了培養(yǎng)成長型思維模式的方法是“we need to begritty about getting our kids grittier”，即我們只有自己變得更加有毅力才能讓我們的孩子變得更有毅力才是培養(yǎng)“成長型思維模式”的最好方法，增強了觀眾對培養(yǎng)成長型思維模式的信心，啟發(fā)性強。最后，演講者點頭的交流模態(tài)[HDN] 轉(zhuǎn)變?yōu)轭^左右移動的交流模態(tài)[HDMA]，向在座的觀眾表示感謝，結(jié)束了自己的演講?？梢姡谘葜v視頻的問題解決部分，演講者提出了培養(yǎng)毅力最有效的方法，言語模態(tài)與與其他交流模態(tài)相結(jié)合，模態(tài)強度高，呈現(xiàn)并列關(guān)系，使表達意義更加具體生動。

五、研究結(jié)果

通過以上分析，研究發(fā)現(xiàn)演講屬于高復雜度的高層活動，言語交流模態(tài)和音韻交流模態(tài)始終處于高模態(tài)強度。在整個演講的過程中，演講者使用了言語、音韻、手勢、頭部動作、臉部表情、眼神、身體姿勢這七種交流模態(tài)。為了取得最佳的演講效果，各交流模態(tài)之間存在互動關(guān)系，相互配合，相互協(xié)同，成功達到了演講的交際目的，共同構(gòu)建了多模態(tài)互動意義。

通過以上分析，在演講視頻的四個部分中各交流模態(tài)使用的強度和密度存在差異。在演講視頻的問題導入部分，演講者身份介紹和問題導入屬于高模態(tài)密度活動，處于高模態(tài)強度的言語、音韻和眼神交流模態(tài)與手勢、頭部動作、臉部表情、身體姿勢交流模態(tài)呈強化關(guān)系，強化了演講的主題，有效地構(gòu)建了演講的導入信息。

在演講視頻的問題提出部分和問題分析部分，演講者的問題提出和問題分析過程屬于高模態(tài)密度活動，高模態(tài)強度的言語和音韻交流模態(tài)與手勢、頭部動作、臉部表情、眼神、身體姿勢交流模態(tài)相互協(xié)同，相互補充，相互依賴，呈現(xiàn)互補關(guān)系，使演講更具有啟發(fā)性和感染力，取得了最佳的交際效果，體現(xiàn)了交際意義。

在演講視頻的問題解決部分，演講的問題解決屬于高模態(tài)密度活動，所使用的音韻、眼神、頭部動作、身體姿勢、手勢和臉部表情交流模態(tài)的標注時長百分比都在75% 以上，言語、音韻交流模態(tài)和手勢、頭部動作、臉部表情、眼神、身體姿勢交流模態(tài)相結(jié)合共同體現(xiàn)了高模態(tài)強度，呈現(xiàn)并列關(guān)系，實現(xiàn)了演講者所要表達的意義和目的，加深了觀眾對演講的印象。

六、結(jié)語

文章運用Norris 多模態(tài)互動分析理論，采用“模態(tài)密度前景?背景連續(xù)統(tǒng)一體（modal density foreground-background continuum）”的分析框架，運用多模態(tài)分析軟件ELAN 對一則TED 教育類演講視頻進行了多層級同步標注，分析了交際主體即演講者在演講的問題導入、問題提出、問題分析和問題解決四個階段所表現(xiàn)出來的各種交流模態(tài)，并對各交流模態(tài)的分布特征和各模態(tài)之間的互動機制進行了分析。通過綜合運用各種交流模態(tài)，演講者在這則TED 教育類演講中，突出了教育中的最新問題，有效地傳播了最新的教育理念，并提出了解決教育問題的方法。多模態(tài)互動分析不僅在理論和應用上豐富和發(fā)展了多模態(tài)話語分析，還為動態(tài)多模態(tài)話語分析的研究提供了新的視角[28] ，希望在以后的研究中能更多地運用Norris 多模態(tài)互動分析理論來研究多模態(tài)語篇，以拓展多模態(tài)互動分析理論的研究范圍，并通過不斷的實踐來驗證該理論的可行性和可發(fā)展性，同時運用多模態(tài)標注軟件ELAN 對TED的其他類型的演講進行研究，這些都是今后需要進一步研究的課題。