多模態(tài)話語分析的新發(fā)展
——《多模態(tài)互動分析》述評

管 樂

(中山大學(xué)南方學(xué)院，廣東 廣州 )

多模態(tài)話語分析的新發(fā)展
——《多模態(tài)互動分析》述評

管 樂

(中山大學(xué)南方學(xué)院，廣東 廣州 )

隨著多模態(tài)話語分析的發(fā)展，著名語言學(xué)家Norris在吸收了互動社會學(xué)、中介話語分析和聯(lián)結(jié)分析以及多模態(tài)話語等方面的研究成果的基礎(chǔ)上，撰寫了著作《多模態(tài)互動分析》。該書以定性分析為主要研究方法，以動態(tài)視頻錄像為研究對象，對交際主體如何通過“言語”、“空間距離”、“身體姿勢”、“手部動作”、“頭部動作”、“眼神”、“音樂”、“印刷物”、“場景布局”這九種主要交流模態(tài)進(jìn)行了詳細(xì)的分析，初步構(gòu)建了多模態(tài)互動分析的基本框架。該書不僅在理論和應(yīng)用上豐富和發(fā)展了多模態(tài)話語分析研究，還為動態(tài)語篇的多模態(tài)話語分析研究提供了新的視角，也拓展了多模態(tài)互動分析理論研究的范圍。

多模態(tài)話語分析；多模態(tài)；互動

1．引言

隨著現(xiàn)代技術(shù)的發(fā)展，多模態(tài)話語沖擊了傳統(tǒng)上文字在交際領(lǐng)域中的中心地位。在許多情況下，語言與其它符號模態(tài)資源一起構(gòu)建意義，共同為交際服務(wù)。隨著多模態(tài)話語研究的深入，Jewitt (2009)認(rèn)為多模態(tài)話語分析初步形成了以下三種理論方法：即以Gunther Kress和van Leeuwen 為代表的系統(tǒng)功能多模態(tài)話語分析(systemic functional-multimodal discourse analysis)或系統(tǒng)功能符號學(xué)(systematic functional semiotics)、以Norris 為代表的多模態(tài)互動分析(multimodal interactional analysis)以及Gu提出的語料庫語言學(xué)多模態(tài)話語分析。

《多模態(tài)互動分析》(Analyzing Multimodal Interaction)一書是由著名語言學(xué)家Norris于2004年撰寫的，該書吸收了互動社會學(xué)、中介話語分析和聯(lián)結(jié)分析(nexus analysis)以及多模態(tài)話語等方面的研究成果，其中包括從互動社會學(xué)中吸收的“實時”(real time)互動和 “使用中的語言”(language in use)概念、中介話語中強調(diào)的“中介行為”以及從多模態(tài)研究中吸收的重視音樂、顏色和手勢等其他符號的觀點。Norris認(rèn)為人類所有互動都是多模態(tài)的。此書以定性分析為主要研究方法，以動態(tài)視頻錄像為研究對象，對交際主體如何通過多種模態(tài)進(jìn)行互動交流進(jìn)行了詳細(xì)的分析，強調(diào)人們在行動中所體現(xiàn)的所有模態(tài)。同時Norris還提出了模態(tài)密度前景——背景連續(xù)體(modal density foreground-background continuum)的分析框架，此框架對分析復(fù)雜的人際互動有重要的指導(dǎo)作用。該書初步構(gòu)建了多模態(tài)互動分析的理論，但國內(nèi)尚未見到對此書的評述，只有少數(shù)評介多模態(tài)話語分析的文章提到了此書，本文在介紹該書內(nèi)容的基礎(chǔ)上，對該書進(jìn)行詳細(xì)的評述并指出其不足之處。

2．主要內(nèi)容

該書共八章。在每一章的開頭，作者用方框單獨列出了該章提到的重點術(shù)語及概念，有利于讀者更快地了解本部分介紹的重點內(nèi)容和概念。在介紹完重點內(nèi)容后，作者還給讀者布置了思考題，目的是讓讀者從多模態(tài)的角度去分析互動是怎樣產(chǎn)生的。該書語言通俗易懂，運用了大量的實例來驗證多模態(tài)互動框架的可行性，是多模態(tài)話語研究者的必讀書籍。

第一章 ，主要指出了多模態(tài)互動具有普遍性，即人類的互動都具有多模態(tài)特征。作者認(rèn)為人類互動是通過各種模態(tài)的中介作用而開展的社會行動。言語模態(tài)和非言語模態(tài)(包括手勢、姿勢、距離、眼神等)在人際交流中都能體現(xiàn)互動意義( interactional meaning)，每種模態(tài)都是一套符號系統(tǒng)。言語模態(tài)和非言語模態(tài)在不同的互動背景中作用不一樣，比如言語模態(tài)并不是在所有互動中都起主導(dǎo)作用。在本章中作者還提出了多模態(tài)互動分析的三個重要觀點：第一個觀點是在多模態(tài)互動分析中，語言、手勢、姿勢、眼神和物體等不同交流模態(tài)是通過不同方式構(gòu)建的；第二個觀點是在多模態(tài)互動分析中，不同交流模態(tài)具有不同的物質(zhì)性(materiality)，比如言語既看不見又具有不持久性，但是具有可聽的物質(zhì)性；第三個觀點是在多模態(tài)互動分析中，需要把互動分析與個人的意識(awareness)分析結(jié)合起來。人類互動的多模態(tài)分析要考慮到交際主體及參與者的意識或注意的程度，因此作者提出了互動意識(interactional awareness)和注意(attention)這兩個術(shù)語。在多模態(tài)互動分析中需要關(guān)注的問題是交際主體及參與者表達(dá)的感情、思想和看法以及在互動中傳遞什么信息、參與者在特定的互動過程中是如何反應(yīng)的。在此章中作者還運用警察在學(xué)校十字路口指揮交通的例子說明了在人類互動中人的認(rèn)知能力(注意或意識)的不同表現(xiàn)，最后作者介紹了本書的結(jié)構(gòu)。

第二章，作者首先指出多模態(tài)互動的基本分析單位“行動”(action)，行動總共分為三個部分，即低一級行動(low-level action)、高一級行動(high-level action)和冰凍行動(frozen action)。人類互動被看作是一個交際事件，整個交際事件可以分成若干個階段，各階段都由一系列高一級行動構(gòu)成，每一個高一級行動由一系列低一級行動構(gòu)成，低一級行動和高一級行動在互動中被連貫地建構(gòu)起來；冰凍行動屬于高一級行動，包括交際事件發(fā)生的環(huán)境和環(huán)境中存在的物體。然后作者介紹了多模態(tài)互動框架中的九種交流模態(tài)(communicative modes)。交流模態(tài)是帶有規(guī)律和規(guī)則的意義表達(dá)體系或符號體系(Norris，2009: 79)。這九種模態(tài)分別是語言模態(tài)(spoken language)、空間距離(proxemics)、身體姿勢(posture)、手部動作(gesture)、頭部動作(head movement)、眼神(gaze)、音樂(music)、印刷物(print)和場景布局(layout)。作者認(rèn)為互動是通過這些交流模態(tài)的協(xié)同使用而完成的。作者在介紹每一個交流模態(tài)的同時都分別用實例分析說明了以上九種交流模態(tài)的特點以及在互動中所起的重要作用。

第三章 ，作者探討了該書的研究方法即多模態(tài)轉(zhuǎn)錄和視頻分析的方法，并指導(dǎo)讀者如何完成整個交際過程的轉(zhuǎn)錄。其過程首先是完成單個交流模態(tài)的轉(zhuǎn)錄，然后把出現(xiàn)的兩個或多個交流模態(tài)的轉(zhuǎn)錄過程整合起來，最后把所有交流模態(tài)的轉(zhuǎn)錄內(nèi)容結(jié)合起來完成整個部分的轉(zhuǎn)錄。在本章中作者還結(jié)合大量實例對第二章介紹的九種交流模態(tài)進(jìn)行分析，作者發(fā)現(xiàn)在轉(zhuǎn)錄的視頻中多種交流模態(tài)在圖像中重復(fù)出現(xiàn)，說明了互動過程的復(fù)雜性。

第四章，是該書的重點。在本章中，作者提出了“模態(tài)密度”(modal density)和“模態(tài)結(jié)構(gòu)”(modal configuration)兩個重要概念。模態(tài)密度是多模態(tài)互動研究的關(guān)鍵內(nèi)容(Norris，2009：80)，指的是高一層級行為構(gòu)建時的模態(tài)強度或模態(tài)復(fù)雜性。模態(tài)密度通過模態(tài)強度(modal intensity)和模態(tài)復(fù)雜性(modal complexity)實現(xiàn)。模態(tài)強度是指通過高強度地使用某個或某些模態(tài)來構(gòu)建一個行為，根據(jù)在構(gòu)建“高一級行動”中所起的作用，模態(tài)強度包括高模態(tài)強度(high modal intensity)、中模態(tài)強度(mediummodal intensity)和低模態(tài)強度(lowmodal intensity)三個部分，任何模態(tài)都能體現(xiàn)高模態(tài)強度，有時多種模態(tài)結(jié)合起來也能體現(xiàn)高模態(tài)強度，模態(tài)強度越高，模態(tài)密度就越大。模態(tài)復(fù)雜性是指“社會行動者”(social actor) 構(gòu)建行為時所使用的模態(tài)數(shù)量，模態(tài)數(shù)量越多，模態(tài)復(fù)雜性就越強，比如媽媽邊看電視邊織毛衣時體現(xiàn)的眼神、手勢、姿勢等各種模態(tài)都能體現(xiàn)意義，模態(tài)的復(fù)雜性強(Norris，2007：61)。Kress和van Leeuwen(2001)指出每一種模態(tài)都具有交際功能，模態(tài)之間總是不斷地相互聯(lián)系和相互影響的。Norris(2004)提出了另外一個重要概念是模態(tài)結(jié)構(gòu)。模態(tài)結(jié)構(gòu)是指在構(gòu)建高一層行動中各模態(tài)之間所體現(xiàn)的平等或者上下級的關(guān)系，比如以上媽媽邊看電視邊織毛衣的例子，眼神手勢和姿勢的地位高于聽覺模態(tài)。Norris還指出模態(tài)強度還與社會行為者的交際情景和環(huán)境有關(guān)，比如音樂對于舞蹈演員來說屬于高模態(tài)強度，但是對于交流的其他社會活動者來說，音樂就不屬于高模態(tài)強度。在本章的最后，作者還提出了模態(tài)強度與社會行為者的“注意”(attention)和“意識”(awareness)之間的關(guān)系，如高模態(tài)強度相當(dāng)于互動注意或意識(interac-tional attention/awareness)的高一級行動。

第五章，作者用實例說明了在交際中如何判斷參與者的“注意”和“意識”的不同程度。在“高一級行動”中，根據(jù)交際主體對模態(tài)的注意和意識程度的不同，Norris提出了前景化(foreground)、中景化(mid-ground)和背景化(background)三個概念。使用模態(tài)密度高，最受行動者注意的“高一級行動”是前景化行動；使用模態(tài)密度低，最不受行動者注意的“高一級行動”是背景化行動或中景化行動。前景化、中景化和背景化區(qū)別了人們在交際中體現(xiàn)的注意/意識的程度。Norris(2004：97)指出根據(jù)事件發(fā)生的不同階段和個人意識表現(xiàn)的不同程度，人類互動被看作是一系列高一級行動的構(gòu)建。前景化、中景化和背景化這三個階段不是孤立存在的，因此作者提出了模態(tài)密度前景—背景連續(xù)體分析框架，這一框架為研究在交際中某一特定時刻同時發(fā)生的高一級行動提供了理論基礎(chǔ)?；谠摽蚣茏髡哒撟C了六種同時發(fā)生的前景化高一級行動的實例。最后，為了更清楚地描述建構(gòu)高一級行動時行動者運用的交流模態(tài)，Norris提出了模態(tài)密度圈(modal density circles)這一概念。在模態(tài)密度圈中，各交流模態(tài)都使用點狀間斷式的圓圈來表示，點狀間斷式圓圈表明模態(tài)是沒有界限的單位。在具體交際事件中如果以一種模態(tài)為主，這種模態(tài)越重要，其模態(tài)密度圈越大，反之越小。模態(tài)密度圈有利于人們更清楚地了解社會行為者在構(gòu)建高一級行動時所運用的各種交流模態(tài)及其重要性。

第六章，作者提出了交流語義學(xué)(communicative semantics)和交流語用學(xué)(communicative pragmatics)兩個重要概念。交流語義學(xué)是指同時發(fā)生或按序建構(gòu)的復(fù)雜互動意義的系統(tǒng)組織，目的是指出在一系列高一級行動中人們表現(xiàn)出的注意或意識程度(Norris，2004：114)。交流語義結(jié)構(gòu)主要是由凸顯的(pronounced)一系列低一級行動組成的，作者把凸顯的一系列低一級行動稱為手段(means)，手段起著組織和銜接前景化行動的作用。參與者運用一系列不同的低一級行動來建構(gòu)高一級行動的前景化，由此可以體現(xiàn)出參與者的注意或意識程度。交流語用學(xué)是指在實時(real-time)交際中，參與者是如何使用一系列低一級行動來完成交際活動的(Norris，2004：114)。最后作者還運用了實例來說明高一級行動前景化過程中所體現(xiàn)的語義和語用功能。

第七章，作者指出模態(tài)密度前景——背景連續(xù)體理論能將互動與意識有效地聯(lián)系起來，認(rèn)為交際主體能將同時發(fā)生或有序發(fā)生的一系列高一級行動構(gòu)建起來，這一框架為參與者在交際中運用多種模態(tài)進(jìn)行定性分析提供了有力的理論支撐(Norris，2004：128)。本章的重點是運用模態(tài)密度前景——背景連續(xù)體理論框架分析復(fù)雜多模態(tài)互動的整個過程，并描述多種共時進(jìn)行的高一級行動，其中包括各種交流模態(tài)的體現(xiàn)、模態(tài)密度的分析、交際主體注意和意識程度的切分以及高一級行動的前景化過程中所體現(xiàn)的語義和語用功能。作者還結(jié)合具體實例驗證了該理論框架的可行性。研究發(fā)現(xiàn)在復(fù)雜的多模態(tài)互動過程中，各種交流模態(tài)之間存在相互依賴(interdependence)的關(guān)系，而不是相互獨立的(independence)；交際主體高一級行動的轉(zhuǎn)變會引起其他參與者高一級行動的變化；交際主體參與高一級行動的同時也建構(gòu)了社會世界(social world)(Norris，2009：137)。

第八章，是該書的總結(jié)部分。在本章中，作者再次總結(jié)了該書出現(xiàn)的重要術(shù)語和概念，包括互動的概念、模態(tài)密度、前景背景連續(xù)體，并指出了模態(tài)密度前景——背景連續(xù)體理論分析框架的可行性和局限性。同時從不同的分析領(lǐng)域?qū)Ρ緯芯康姆较蛱岢隽诵碌南敕?。從?yīng)用語言學(xué)的角度，作者指出在互動中需要對語言所起的作用以及交際中使用的模態(tài)進(jìn)行分析；從教育的角度，在學(xué)習(xí)過程中對學(xué)生使用哪種模態(tài)更加有效進(jìn)行了研究；從社會學(xué)的角度，提出了高一級行動和交際主體兩者之間的關(guān)系；從人類學(xué)的角度，在不同的文化背景下，交際主體互動的差異是什么？從兒童發(fā)展的角度，不同注意或意識程度對兒童習(xí)得的交際能力有什么影響？從心理學(xué)的角度，互動可以把人的意識、認(rèn)知與心智結(jié)合起來研究。最后，作者對如何構(gòu)建人物身份和人物關(guān)系提出了自己的構(gòu)想。

3．影響

該書出版十余年來，在學(xué)術(shù)界產(chǎn)生了深遠(yuǎn)影響：(1)豐富和拓展了多模態(tài)話語分析理論研究的對象，為動態(tài)語篇的多模態(tài)話語研究奠定了理論基礎(chǔ)。O’ Toole (1994)、Kress和van Leeuwen (1996, 2001) 主要是從圖像社會符號學(xué)分析的角度來研究靜態(tài)的視覺平面圖像，Norris(2004)多模態(tài)互動分析的研究對象側(cè)重于動態(tài)的多模態(tài)話語即動態(tài)的視頻錄像。模態(tài)密度前景—背景連續(xù)體理論分析框架為分析動態(tài)語篇的多模態(tài)互動研究提供了堅實的理論基礎(chǔ)，通過該理論框架可以更有效地探究動態(tài)語篇中交際事件的不同階段及其模態(tài)選擇和各模態(tài)使用的強度和密度的差異，同時該框架也有助于分析在交際過程中交際主體和參與者是如何將單獨的片段信息(separate message)整合構(gòu)建起來表達(dá)完整的信息的?；诙嗄B(tài)互動分析理論，張佐成等(2015)分析了商務(wù)會議、電視訪談、學(xué)術(shù)演講、商務(wù)談判等不同類型的多模態(tài)即席話語，研究發(fā)現(xiàn)多模態(tài)即席話語模態(tài)之間存在互補、反向互補、非互補三種互動機制，比如商務(wù)會議和商務(wù)談判中音韻特征和手部動作對語言模態(tài)表達(dá)意義所起的強調(diào)作用以及在學(xué)術(shù)演講中語言模態(tài)表達(dá)的負(fù)面信息。(2)借助該理論框架，我們還可以清楚地了解到交際主體是如何構(gòu)建一系列高一級行動的，這一系列高一級行動是怎樣列入前景——背景連續(xù)體與其他行動產(chǎn)生聯(lián)系的。張德祿和王正(2016)在Norris多模態(tài)互動理論的基礎(chǔ)上，提出了多層次多模態(tài)互動分析的綜合理論框架，并將該理論框架運用到一堂大學(xué)英語課的多模態(tài)互動分析中，研究發(fā)現(xiàn)教學(xué)活動是師生注意的焦點，屬于高一級行動，教師的口語模態(tài)是占據(jù)統(tǒng)治地位的模態(tài)，注視、手勢和身體姿勢與口語模態(tài)為協(xié)同關(guān)系，教師宣布活動指示和教師的檢查活動效果階段屬于高模態(tài)密度活動。(3)多模態(tài)互動課堂教學(xué)模式研究成為了課堂教學(xué)研究的熱點。劉秀麗等(2013)結(jié)合Norris多模態(tài)互動理論，探討了外語教師多模態(tài)話語與學(xué)生學(xué)習(xí)積極性的關(guān)系，研究發(fā)現(xiàn)在師生交流時，教師在教學(xué)中會運用多種手段(means)將學(xué)生的注意力從一個高一級行動轉(zhuǎn)為另一個高一級行動，研究結(jié)果證明多模態(tài)互動分析理論有利于幫助發(fā)現(xiàn)課堂教學(xué)中出現(xiàn)的問題，對增強教學(xué)效果有重要的指導(dǎo)作用?？傊?，該書不僅在理論和應(yīng)用上豐富和發(fā)展了多模態(tài)話語分析研究，還為動態(tài)語篇的多模態(tài)話語分析的研究提供了新的視角，也拓展了多模態(tài)互動分析理論研究的范圍。因此，該書對多模態(tài)話語分析理論的完善和發(fā)展具有重要意義。

4．啟示

Norris(2004)提出的多模態(tài)互動分析理論受到Scollon(1998，2001)關(guān)于中介話語分析和聯(lián)結(jié)分析的影響，Ron Scollon 認(rèn)為人類行動(human action)包括三個方面的原則，即社會行動(social action)、交流(communication)和歷史(history)，由此Norris提出了行動(action)為多模態(tài)互動研究的基本單位，這為了解整個交際事件的發(fā)展過程奠定了堅實基礎(chǔ)。Norris認(rèn)為，人類互動是人類以各種形式的模態(tài)作為“中介的行動”(mediated action)，在整個交際事件中都可以辨認(rèn)出其體現(xiàn)的“行動”過程和階段，通過對模態(tài)的注意或意識程度的切分，人類互動的過程是能夠辨認(rèn)出階段來的，“高一級行動”描述了整個交際事件的主要內(nèi)容及其所處的階段，“低一級行動”是構(gòu)成高一級行動的重要部分，在整個交際事件發(fā)展的各個階段正是由各種模態(tài)協(xié)同執(zhí)行的一系列前景化高一級行動構(gòu)成的，同一交際事件的其他高一級行動仍然存在于社會行動者的意識或注意里，只是被“背景化”或“中景化”了。該書中作者不僅介紹了交際事件中模態(tài)的構(gòu)成，還通過模態(tài)密度區(qū)分了交際主體參與的一系列高一級行動與其體現(xiàn)的意識或注意程度，交際主體的意識或注意對構(gòu)建其他高一級行動具有結(jié)構(gòu)作用，一旦確定了高一級行動，就可以根據(jù)交際主體意識或注意的變化，進(jìn)一步研究一個高一級行動是如何影響另一個高一級行動的。在整個交際事件中，各個階段之間的變化存在過渡，這一部分可使用言語或其他模態(tài)來實現(xiàn)。

近20年來，在人際互動中，話語分析已經(jīng)從單純的語言研究擴展到包括語言在內(nèi)的多種模態(tài)使用的研究，即多模態(tài)話語分析。Norris多模態(tài)互動研究與Kress 與van Leeuwen(2001)的研究不同，認(rèn)為互動是通過“言語”，“空間距離”、“身體姿勢”、“手部動作”、“頭部動作”、“眼神”、“音樂”、“印刷物”和“場景布局”這九種主要交流模態(tài)的協(xié)同使用進(jìn)行的，這九種主要交流模態(tài)是多模態(tài)互動分析的核心，Norris把這九種交流模態(tài)分為表征模態(tài)(embodied mode)和非表征模態(tài)(disembodied mode)。表征模態(tài)是交際主體在交流過程中表現(xiàn)出的模態(tài)，如語言、姿勢、眼神等。非表征模態(tài)是交際主體在交流過程中沒有表現(xiàn)出的模態(tài)或互動交際中的物質(zhì)世界，如場景布局、背景音樂等。這兩種模態(tài)類型的分類體現(xiàn)了在人際互動中交際主體和參與者運用的各種模態(tài)類型以及這些模態(tài)在構(gòu)建人際互動中所起的不同作用。

Norris在書中指出人類的所有互動都具有多模態(tài)特征，人類互動作為一種社會行為包括語言使用和其他模態(tài)的使用，同時需要借助各種模態(tài)作為中介來進(jìn)行，人類互動還是一個連續(xù)的動態(tài)過程，每一種模態(tài)都是一套符號系統(tǒng)，表達(dá)其特定意義和潛在意義。在人際互動過程中，根據(jù)模態(tài)使用的程度，Norris還提出了“模態(tài)密度”，“模態(tài)強度”和“模態(tài)復(fù)雜性”等重要概念，這些概念的提出對多模態(tài)話語研究者了解人際互動中模態(tài)的重要性以及模態(tài)之間的關(guān)系有重要意義。Norris認(rèn)為在人類互動中言語模態(tài)并不是總起主導(dǎo)作用，人際互動體現(xiàn)了辨認(rèn)的類型，每個類型都有可辨認(rèn)的過程，過程的實現(xiàn)可以通過模態(tài)的使用來觀察。同時每個模態(tài)都有其起點、持續(xù)階段和結(jié)束階段的發(fā)展過程，這對研究互動過程中模態(tài)發(fā)展的整個過程有重要的指導(dǎo)意義。從理論上來看Norris(2004)多模態(tài)互動理論拓展了人類互動的內(nèi)涵，豐富和發(fā)展了多模態(tài)話語分析理論。

5．不足之處

首先，該書提出了模態(tài)間自下而上即從低一級行動到人際互動事件的分析層次，從模態(tài)密度和模態(tài)復(fù)雜性的角度對模態(tài)的重要性和模態(tài)使用的主次方面進(jìn)行了分析，但是沒有對各交流模態(tài)在使用過程中產(chǎn)生的意義進(jìn)行分類。其次該書只涉及到交際主體與參與者在交際事件中各模態(tài)之間的互動關(guān)系，沒有考慮到視頻圖像中交際主體與觀看者之間的互動關(guān)系。該書選取的研究對象即視頻錄像涉及的范圍比較窄，主要是圍繞生活中朋友之間、師生之間以及醫(yī)生和患者之間的多模態(tài)話語，沒有對不同文體風(fēng)格的動態(tài)語篇進(jìn)行多模態(tài)互動分析，如現(xiàn)場商務(wù)談判和現(xiàn)場演講視頻等，如果能增加不同風(fēng)格的多模態(tài)語篇的分析，論證的主體部分將更具說服力。

其次，該書指出了在交際事件中各交流模態(tài)之間相互依賴的關(guān)系，但是沒有明確指出其他的互動關(guān)系如強化、弱化等。該書只關(guān)注交際主體在互動中產(chǎn)生的情感、觀點和想法，沒有重視各交流模態(tài)的運用對構(gòu)建交際事件所起的社會意義，同時還忽視了在互動中交流主體所體現(xiàn)的社會身份。Norris的分析方法主要關(guān)注的是“內(nèi)容層”(content layer)，即攝像機采集到的人際互動的視頻圖像，沒有提出一套詳盡的對多模態(tài)話語進(jìn)行切分處理的方法。

此外，話語分析往往把語境作為言語發(fā)生的背景，借用語境因素來解釋各種言語的特點。在多模態(tài)話語研究中，模態(tài)只有通過根據(jù)所處的語境以及所代表的對象(實體、過程、概念等)才能實現(xiàn)意義(張佐成，2015：200)。在該書中，Norris雖然談到了語境是語言以外的一切事物(Norris，2009:149)，即語言之外的模態(tài)被當(dāng)作語境，語境和語言模態(tài)共同作用作為表達(dá)意義的資源，背景化的高一級行動實際上是前景化行動的語境，有時候前景化的行動會轉(zhuǎn)變?yōu)橹芯盎捅尘盎男袆?，成為新的前景化行動的語境，但是卻沒有把語境單獨列為一個分析層次來進(jìn)行研究，沒有突出語境在整個人際互動中所起的重要作用。從研究方法上來看，該書主要是以定性研究的方法分析多模態(tài)互動，Norris認(rèn)為模態(tài)具有不可數(shù)性，這是值得推敲的問題。隨著科技的發(fā)展，ELAN等多模態(tài)分析軟件工具的開發(fā)和使用可以用來分析交際主體所表現(xiàn)出來的各種交流模態(tài)，還可以對視頻文件進(jìn)行多層級同步標(biāo)注，在以后的研究中我們可以運用定性和定量分析相結(jié)合的研究方法，對多模態(tài)互動中的各交流模態(tài)的關(guān)系進(jìn)行更加詳細(xì)和精確的研究分析。

6．結(jié)語

《多模態(tài)互動分析》一書語言通俗易懂、結(jié)構(gòu)清晰、內(nèi)容充實、論證合理。該書是一本研究人際互動中多模態(tài)話語分析的實用指南，同時對語言學(xué)，社會學(xué)、教育學(xué)、人類學(xué)和心理學(xué)等其他學(xué)科在這方面的研究具有重要的指導(dǎo)作用。喬治城大學(xué)Ron Scollon教授在序言中評價該書將成為研究人類多模態(tài)互動的一本重要的參考書。該書中提出的模態(tài)密度前景——背景連續(xù)體多模態(tài)互動分析框架為多模態(tài)話語分析提供了新的視角，對研究多模態(tài)話語分析提供了新的啟示，特別是對動態(tài)語篇的多模態(tài)互動研究提供了堅實的理論基礎(chǔ)。在國內(nèi)，以Gunther Kress和Van Leeuwen為代表的系統(tǒng)功能多模態(tài)話語分析取得了很多成果，但是以Norris 為代表的多模態(tài)互動分析理論的應(yīng)用尚未得到應(yīng)有的重視，筆者希望在以后的研究中能更多地運用該理論來研究多模態(tài)話語和多模態(tài)語篇，以拓展了多模態(tài)互動分析理論的研究范圍，并通過不斷的實踐來驗證該理論可行性和可發(fā)展性，推動多模態(tài)話語研究的發(fā)展。

[1] Jewitt,C.2009.The Routledge Handbook of Multimodal Analysis[M].London and NewYork: Routledge.

[2] Kress, G &T.Van Leeuwen.1996.Reading Images: The Grammar of Visual Design[M] .London: Routledge.

[3] Kress,G &T.Van Leeuwen.2001.Multimodal Discourse: The Modes and Media of Contemporary Communication[M].London: Arnold.

[4]Norris,S.2004.Analyzing Multimodal Interaction: A Methodological Framework[M].NewYork: Routledge.

[5]Norris, S.2007.The micropolitics of personal and ethnicity identity [J].Discourse and Society, (5): 653-674.

[6]Norris,S.2009.Modal density and modal configurations: Multimodal action[A].In C.Jewitt (ed.).The Routledge Handbook of MultimodalAnalysis[C].London: Routledge.

[7] O’Toole, M.1994.The language of Displayed Art[M].London: Leicester University Press.

[8] Scollon, R.1998.Mediated Discourse as Social Interaction[M].London: Longman.

[9] Scollon, R.2001.Mediated Discourse: The Nexus of Practice[M].London: Routledge.

[10] 劉秀麗 張德祿 張宜波.2013.外語教師多模態(tài)話語與學(xué)生學(xué)習(xí)積極性的關(guān)系研究[J].外語電化教學(xué),(5):3-9.

[11] 張佐成等.2015.多模態(tài)即席話語研究[M].世界圖書出版公司.

[12] 張德祿 王正.2016.多模態(tài)互動分析框架探索[J].中國外語,(2):54-61.

A NewDevelopment of Multimodal Discourse Analysis—A Reviewon Multimodal Interaction Analysis

With the development of multimodal discourse analysis,the famous linguist Norris wroteMultimodal Interaction Analysisbased on interactional sociolinguistics,mediated discourse and nexus analysis and multimodality.This book applies a qualitative analysis as the main research method and the dynamic video as the research object.By the detailed analysis of the nine communicative modes,namely spoken language,proxemics,posture,gesture,head movement,gaze,music,print and layout,it builds the basic framework of multimodal interaction analysis.This book not only enriches and develops the multimodal discourse analysis theory both theoretically and practically,but also provides a newperspective for the study of dynamic multimodal discourse analysis and expands the scope of the study of multimodal interaction analysis theory.

multimodal discourse analysis;multimodal;interaction

H0

A

2095-4891(2017)01-0085-06

本文系2015年廣州市哲學(xué)社會科學(xué)發(fā)展“十二五”規(guī)劃課題“基于多模態(tài)話語分析理論的大學(xué)英語微課教學(xué)研究與實踐(項目編號：15G76)；2015年廣東高校重大項目：青年創(chuàng)新人才類項目(社科類)課題“基于動態(tài)演講視頻的多模態(tài)互動機制研究”(項目編號：2015WQNCX190) 的階段性研究成果。

管樂，講師，碩士；研究方向：外國語言學(xué)及應(yīng)用語言學(xué)

通訊地址：510970廣州從化溫泉鎮(zhèn)中山大學(xué)南方學(xué)院國際學(xué)院