多模態(tài)語篇分析綜觀

高亞男

（中國海洋大學 外國語學院，山東 青島　266100）

多模態(tài)語篇分析綜觀

高亞男

（中國海洋大學 外國語學院，山東 青島266100）

多模態(tài)語篇分析關注語言、圖片、肢體語言等多種符號系統(tǒng)的意義構成，突破傳統(tǒng)僅以語言為核心的單模態(tài)分析法的局限，是語篇分析的新視角。本文從多模態(tài)及多模態(tài)語篇分析的產(chǎn)生、理論基礎、重要人物及其研究成果、多模態(tài)研究的不同視角及研究對象的擴展，以及科學技術，尤其是數(shù)字技術在多模態(tài)語篇分析中的應用等方面進行了綜述性介紹。

多模態(tài)語篇分析社會符號學系統(tǒng)功能語言學多模態(tài)隱喻多模態(tài)語料庫

一、引言

隨著研究的不斷深入發(fā)展，國內(nèi)外語篇分析學家逐漸認識到語言僅是意義生成的手段之一，人們交談過程中的手勢、肢體動作、夸張的表情，書本材料中的繪圖、排版，戲劇中的舞蹈、妝容、服裝等，都屬于生成意義的符號手段。因此，對社會行為和意義表征的解讀應包括非語言符號等所有表意資源（Jewitt2009）。此外，隨著科技的發(fā)展，人類生活和交際模式更多模態(tài)化和多媒體化。多模態(tài)語篇分析的出現(xiàn)為語篇分析提供了新視角，極大地豐富了語篇分析的研究手段。

二十世紀九十年代以來，為描寫數(shù)學符號、視覺圖像、手勢等符號模態(tài)，社會符號學家以Halliday的系統(tǒng)功能語法為基礎建立了語法語義系統(tǒng)。然而，隨著對多模態(tài)現(xiàn)象認識的逐漸加深，研究者發(fā)現(xiàn)當前研究仍存在許多問題。目前，研究者在分析更多社會符號的同時，開始注重不同學科視角的融合。在研究方法上，他們開始運用數(shù)字技術對復雜的多模態(tài)語篇進行注解、模擬，并建立多模態(tài)語料庫，開發(fā)多模態(tài)檢索軟件。此外，利用調査問卷、腦成像技術、眼動實驗等考查讀者對多模態(tài)語篇認知的實證研究逐漸興起（孟艷麗，2011）。

二、多模態(tài)語篇分析產(chǎn)生的背景

根據(jù)St?ckl，多模態(tài)指多種符號系統(tǒng)即模態(tài)相結合的交際產(chǎn)物或交際過程。Jewitt指出，多模態(tài)語篇分析是把所有交際模態(tài)看做意義生成資源進行研究的一種語篇分析視角。該視角指出意義是通過多種模態(tài)實現(xiàn)的，所有模態(tài)都經(jīng)過社會使用變成了符號資源，而所有語篇都是多模態(tài)的（Kress&vanLeeuwen2001；Levine&Scollon2004）。在多模態(tài)語篇分析中，每種模態(tài)都屬于一種獨立的意義生成資源，因此，我們能夠為每種模態(tài)制定相關語法，以總結概括其作為意義生成資源共有的規(guī)律。此外，多種模態(tài)結合表達的意義要大于單個模態(tài)表達的意義之和，即整體功能大于各部分功能之和，而并非各個部分功能的簡單相加。

多模態(tài)語篇分析的產(chǎn)生有著深刻的技術背景和理論背景。

1.多模態(tài)語篇分析產(chǎn)生的技術背景

在技術方面，科學技術，尤其是數(shù)字技術的發(fā)展，如數(shù)碼多媒體數(shù)據(jù)的保存及提取技術的發(fā)展、數(shù)碼攝像機的廣泛使用等，使得交際的多角度研究成為可能，而不僅僅局限于語言。此外，由于因特網(wǎng)和多媒體技術的廣泛運用，語篇本身內(nèi)容更加豐富，形式更加多樣，如在計算機介入性語篇中，多種模態(tài)往往有機結合在一起表達一種嶄新的意義。傳統(tǒng)的僅以語言為核心的單模態(tài)分析法顯然局限眾多。因而建構一種針對多模態(tài)語篇的分析理論不僅在技術上成為可能而且非常必要。

2.多模態(tài)語篇分析產(chǎn)生的理論背景

在理論上，多模態(tài)語篇分析是語篇分析經(jīng)過長時間發(fā)展，吸收各學科成果，逐漸擴大研究領域、豐富研究視角的結果。

R.Barthes最早對多模態(tài)語篇進行系統(tǒng)性分析，他總結了多模態(tài)語篇中圖文關系的三種模式，即錨定、說明和接遞。Barthes從一個符號學家的視角對圖文關系做出結構性分析，因而多模態(tài)語篇分析從起初就具有濃重的符號學的印記。二十世紀末以來，一些系統(tǒng)功能符號學家一直活躍于多模態(tài)語篇分析領域，他們以功能語法為理論基礎，以社會符號學為視角，指出非語言模態(tài)在交際中具備同樣的功能價值，同樣作為符號資源參與意義的建構。因此，研究者認為非語言模態(tài)應與語言模態(tài)置于同等的平臺，且可以使用針對語言模態(tài)的理論與方法分析非語言模態(tài)，因而有了“視覺語法”的建立及各學者對體態(tài)語模態(tài)、聲音模態(tài)及空間設計進行的相關研究。

李戰(zhàn)子的“多模式話語的社會符號學分析”，對Kress和vanLeeuwen的“視覺語法”進行了相關介紹，這是國內(nèi)學者對多模態(tài)語篇分析關注的開始。

總之，多模態(tài)語篇分析的產(chǎn)生有其技術和理論的雙重背景，且隨著研究的深入，多模態(tài)語篇分析將不斷取得新的進展。

三、多模態(tài)語篇分析的理論基礎

Halliday創(chuàng)立的系統(tǒng)功能語言學是多模態(tài)語篇分析的主要理論基礎。朱永生指出，多模態(tài)語篇分析吸收系統(tǒng)功能語言學的成果，支持語言是社會符號和意義潛勢的觀點，認為語言之外的其他符號系統(tǒng)同樣是意義的來源；贊同純理功能假說，認為多模態(tài)話語與只包含語言符號的話語一樣，具有多功能性，即同時具有概念、人際、語篇三大功能；吸收系統(tǒng)理論，認為多模態(tài)語篇本身有系統(tǒng)性；接受語域理論，認為語境與多模態(tài)話語的意義解讀之間有密切聯(lián)系。

四、多模態(tài)語篇分析的主要人物及其研究成果

1.韓禮德學派的多模態(tài)語篇分析家

Halliday的系統(tǒng)功能語法對多模態(tài)語篇分析具有重要影響。目前多模態(tài)語篇分析學家的主要代表人物有Kress和vanLeeuwen。二人在系統(tǒng)功能語法理論的基礎上發(fā)展建構自己的多模態(tài)語篇分析理論，并實際利用該理論進行多模態(tài)分析，為該領域作出了重要貢獻。

為研究視覺形象表達的交際意義，Kress和vanLeeuwen為視覺語篇建立了一個分析框架。對應功能語法的三個元功能，即概念、人際、語篇，該框架包含三方面，即再現(xiàn)、互動、構圖。再現(xiàn)類似功能語法的概念功能，包括敘事、概念兩類。互動由接觸、社會距離、態(tài)度三個子系統(tǒng)構成。對照功能語法的語篇意義，二人提出視覺語法的構圖意義，并分析了該意義的三種資源，即信息價值、突出度、分格。

隨著研究的發(fā)展，Kress和vanLeeuwen逐漸意識到單獨地討論某一種模態(tài)的語法還遠遠不夠，應構建一個交際理論，使其可以應用于所有模態(tài)。為構建交際的分析框架，二人從語篇、設計、生成、傳送四個方面著手。胥國紅、曲航對此分別進行了概括總結，二人認為語篇是關于現(xiàn)實（或現(xiàn)實的某些方面）的社會建構的知識。相對獨立于體裁、模態(tài)、設計，僅能由符號模態(tài)實現(xiàn)。設計指各種模態(tài)中符號資源的運用。生成即符號事件或符號產(chǎn)品的具體產(chǎn)生過程。傳送是為了記錄或傳送而對符號產(chǎn)品進行的技術性“再編碼”。其中語篇和設計是內(nèi)容層面，生成和傳送是表達層面。通過此分析框架，我們可以從內(nèi)容、表達兩方面回答“人們是如何運用各種符號資源在具體社會背景中制造符號的”（Kress&van Leeuwen2001）。

O’Halloran、Jewitt、Ventola等，同樣是韓禮德學派的多模態(tài)語篇分析學家，他們構成了多模態(tài)語篇分析的中堅力量（胥國紅，曲航，2009）。

2.以行為理論為基礎的多模態(tài)語篇分析家

Scollon的介入性語篇理論和顧曰國的實時語篇分析以行為理論為基礎，為多模態(tài)語篇分析提供了不同的理論分析框架。

Scollon吸收融合各相關學科的理論，如語言人類學、交際社會語言學、社會文化心理學、跨文化交際等，提出新的語篇分析理論，即介入性語篇理論。以往的語篇分析理論往往忽視行為而社會學理論則忽視語篇，為彌補此不足，Scollon的介入性語篇理論試圖把人們的社會行為和語篇有機結合起來進行研究。因此，與傳統(tǒng)語篇分析把話語或篇章作為分析單位不同，介入性語篇理論把介入性行為作為分析單位。

以Scollon的介入性語篇理論為基礎，Norris（2002， 2004，2006）同樣構建了多模態(tài)分析框架。接受了介入性語篇理論把介入性行為作為分析單位的觀點，并進一步把介入性行為細分為低水平行為和高水平行為。如一句話和一段交談分別屬于低水平行為和高水平行為。同時，Norris用模態(tài)密度描述構成某一具體高水平行為的模態(tài)的強度和復雜性。如在一段相聲表演中，口頭語言占很高的模態(tài)密度，但在舞蹈表演中，語言的模態(tài)密度就很低。此外，為描繪社會行動者對不同高水平行動給予的不同程度的關注，Norris進一步提出了前景-背景連貫體的概念。

國內(nèi)學者顧曰國受Scollon的影響構建的多模態(tài)語篇分析模式，從內(nèi)容層和媒介層對多模態(tài)語篇進行分析。不同于以往理論，顧曰國從社會語境入手，采取“從上至下”的方法，將多模態(tài)語篇分為社會心理層和個人行為層。他運用該理論框架對多模態(tài)語篇進行分析并獲得了許多有價值的發(fā)現(xiàn)。

3.重視多模態(tài)語篇分析方法的話語學家

在《多模態(tài)轉寫和語篇分析》中，Baldry和Thibault具體介紹了多種多模態(tài)語篇的轉寫和分析方法。

Norris提出了多模態(tài)轉寫方法。胥國紅、曲航對其轉寫方法進行了總結：Norris主張在實現(xiàn)對各個模態(tài)的分別轉寫后，再以時間為標記，將同一時間內(nèi)所有對交際產(chǎn)生重要影響的模態(tài)（如語言、動作等）集中在一張圖片上表現(xiàn)出來，給人留下完整的印象。

五、多模態(tài)研究的多種視角和研究對象的不斷擴展

對于多模態(tài)研究的視角，Jewitt進行了詳細區(qū)分：社會符號學分析、系統(tǒng)功能語法分析、社會互動分析。然而，Bateman和Schmidt認為三個視角雖略有不同，卻同屬于“社會功能分析”。此外，Jewitt同時忽視了另外兩個重要視角：以Lakoff和Johnson的認知隱喻理論為基礎的多模態(tài)隱喻研究和語料庫語言學視角的多模態(tài)文本分析。

社會功能分析的研究對象的擴展主要指從傳統(tǒng)的圖文語篇分析到對復雜的動態(tài)多模態(tài)語篇和新媒體語篇的符號學闡釋。具體地說，隨著研究的不斷發(fā)展，國內(nèi)外學者將社會符號學等理論運用于更多模態(tài)的系統(tǒng)分析，如副語言特征、三維空間、現(xiàn)場即席話語等。課堂教學分析、多模態(tài)教材在理論及研究方法上越來越系統(tǒng)深入，如Chen、顧曰國、張德祿等。多模態(tài)電影分析和新媒體分析從無到有的發(fā)展則最具開拓性。

認知視角的多模態(tài)隱喻理論的發(fā)展是近年多模態(tài)研究的重要成果。多模態(tài)隱喻理論的研究范圍廣泛，不但涵蓋了靜態(tài)媒體，如政治漫畫、平面廣告等，還涉及了動態(tài)媒體語篇，如電影、電視廣告等，以及其他符號資源，如音樂、手勢語等。國內(nèi)多模態(tài)隱喻研究逐漸發(fā)展，如李毅、石磊初步探討了在教學中多模態(tài)隱喻的運用；趙秀鳳全面評介了《多模態(tài)隱喻》并詳細介紹了多模態(tài)隱喻理論的前沿與進展；馮德正則基于系統(tǒng)功能語法系統(tǒng)闡釋了多模態(tài)隱喻的構建與類型。

簡言之，當前社會功能及認知隱喻視角的多模態(tài)研究分別取得了重要進展。然而，二者之間真正的融合尚未引起研究者的足夠重視，而這也是多模態(tài)語篇分析今后的重要發(fā)展方向。

六、科學技術在多模態(tài)語篇分析中的運用

由于科技的發(fā)展，無論在規(guī)模還是復雜性上，多模態(tài)語篇都遠遠超過了語言語篇，使用傳統(tǒng)分析方法已難以外理。正如顧曰國所言，如何把多模態(tài)文本記錄的信息提取出來并進行結構化外理，是目前語言信息工程中面臨的一個難題。因此，多模態(tài)語篇的外理必須充分借助科學技術。當前，在多模態(tài)語篇分析中，科技運用主要包括：多模態(tài)語篇注解與語料庫建設、多模態(tài)語篇心理實證研究（馮德正、張德祿、Kay O’Halloran2014）。

1.多模態(tài)語篇注解與語料庫建設

目前，在多模態(tài)語篇分析方面，研究者在使用ELAN等注解軟件的同時，正開發(fā)專門的注解軟件。當前研發(fā)的最新成果是Semiomix。Semiomix具備動態(tài)轉錄與縮放功能，實現(xiàn)了轉錄單位的靈活性。同時，可以實現(xiàn)多模態(tài)語篇特征與意義發(fā)展的動態(tài)分析，而且具備搜索、臉部識別、鏡頭識別等功能。

軟件的應用促進了多模態(tài)語料庫的建立。在多模態(tài)研究領域，Baldry建立了在線多模態(tài)檢索器，可以對多模態(tài)數(shù)據(jù)搜索、注解、定量分析等。國內(nèi)學者顧曰國在該方面建立的現(xiàn)場即席話語語料庫及其提出的基于角色的建模語言，是當前語料庫視角多模態(tài)研究的最顯著進展。語料庫分析能夠為系統(tǒng)闡釋多模態(tài)語篇的特征及多模態(tài)意義的社會建構提供實證理據(jù)，是解決多模態(tài)分析主觀性等問題的重要方法（馮德正、張德祿、KayO’Halloran2014）。

此外，近年來研究者開始運用可視化軟件模擬動態(tài)語篇的語義規(guī)律及各模態(tài)之間的復雜關系。目前研究中，不僅自然科學與社會科學中的可視化軟件被運用于動態(tài)多模態(tài)語篇分析，而且研究者們正努力研發(fā)用于多模態(tài)分析的可視化軟件。

2.多模態(tài)語篇心理實證研究

近年來，認知心理學視角的實證研究逐漸興起。利用眼動實驗考察讀者對多模態(tài)視覺語篇的認知是該領域最新的研究成果。Boeriis和Holsanova利用眼動實驗考察了讀者外理視覺圖像的認知機制；Gidl?f等通過調查問卷、訪談、眼動實驗探討了多模態(tài)網(wǎng)絡廣告對瑞典青少年的影響；Bucher和Niemann通過眼動實驗、訪談、知識測試分析了觀眾對幻燈片演講的注意力分配和理解與模態(tài)之間的關系。國內(nèi)學者開始采用眼動實驗、調査問卷等進行多模態(tài)分析。實證研究的發(fā)展具有重要意義，不但可以加深我們對多模態(tài)語篇解讀的認識，而且為進一步探討多模態(tài)語篇的意義構建提供客觀依據(jù)。

七、結語

近二十年來，多模態(tài)語篇分析進一步發(fā)展。多模態(tài)研究的理論體系逐漸完善并被應用于闡釋更復雜的多模態(tài)語篇；多模態(tài)研究采取多學科視角，其研究對象幾乎包括人類所有交際媒介和符號形式；以科學技術為基礎的多模態(tài)注解、可視化模擬及實證研究逐漸興起并不斷發(fā)展。總之，展望未來發(fā)展，多模態(tài)語篇分析的研究會更廣泛全面深入。

［1］Baldry，A.P.andP.J.Thibault.MultimodalTranscription andTextAnalysis［M］.London：Equinox，2006.

［2］Barthes，R.Rhetoricoftheimage［A］.Image·Music·Text［C］.London：Fontana，1977.

［3］Bateman，J.A.andK.H.Schmidt.MultimodalFilmAnalysis［M］.London：Routledge，2012.

［4］Boeriis，M.andJ.Holsanova.Trackingvisualsegmentation［J］.Visual.Communication，2012，11，3：259-81.

［5］Bucher，H.andP.Niemann.Visualizingscience：ThereceptionofPowerPointpresentations［J］.VisualCommunication，2012，11，3：283-306.

［6］Chen，Y.Exploringdialogicengagementwithreaders inmultimodalEFLtextbooksinChina［J］.VisualCommunication，2010，9，4：485-506.

［7］Gidl?f，K.，N.Holmberg，andH.Sandberg.Theuseofeyetrackingandretrospectiveinterviewstostudyteenagers，exposuretoonlineadvertising［J］.VisualCommunication，2012，11，3：329-45.

［8］Halliday，M.A.K.AnIntroductiontoFunctionalGrammar［M］.London：Arnold，1994.

［9］Jewitt，C.Technology.LiteracyandLearning：AMultimodalApproach［M］.LondonandNewYork：Routledge，2006.

［10］Jewitt，C.，ed.HandbookofMultimodalAnalysis［M］. London：Routledge，2009.

［11］Kress，G.andvanLeeuwen，T.ReadingImages：The GrammarofVisualDesign.London：Routledge，1996.

［12］Kress，G.andvanLeeuwen，T.MultimodalDiscourse—TheModesandMediaofContemporaryCommunication［M］. London：Arnold，2001.

［13］Levine，P.andScollon，R.（eds.）.DiscourseandTechnology：MultimodalDiscourseAnalysis［C］.Washington，D.C：GeorgetownUniversityPress，2004.

［14］Norris，S.ATheoreticalFrameworkforMultimodal DiscourseAnalysisPresentedviatheAnalysisofIdentityConstructionofTwoWomenLivinginGermany［M］.PhDdissertation，GeorgetownUniversity，UMI，2002.

［15］Norris，S.AnalyzingMultimodalInteraction：AMethodo logicalFramework［M］.London：Routledge，2004.

［16］Norris，S.Multipartyinteraction：Amultimodalperspectiveonrelevance［J］.DiscourseStudies，2006，8（3）：401-421.

［17］Scollon，R.MediatedDiscourse：TheNexusofPractice［M］.London：Routledge，2001.

［18］St?ckl，H.Inbetweenmodes：Languageandimagein printedmedia［A］.InE.Ventolaet.al.（eds.）.Perspectiveson Multimodality［C］.Amsterdam：JohnBenjamins，2004：9-30.

［19］馮德正.多模態(tài)隱喻的構建與分類一系統(tǒng)功能視角［J］.外語研究，2011（1）：24-29.

［20］馮德正，張德祿.KayO’Halloran.多模態(tài)語篇分析的進展與前沿［J］.當代語言學，2014（1）：88-89.

［21］顧曰國.基于角色的建模語言.第十二屆CODATA國際學術大會，2006.［22］顧曰國.多媒體、多模態(tài)學習剖析［J］.外語電化教學，2007（4）：3-12.

［23］李毅，石磊.教學中的多模態(tài)隱喻［J］.外語電化教學，2010（4）：47-9.

［24］李戰(zhàn)子.多模式話語的社會符號學分析［J］.外語研究，2003（5）：1-8.

［25］孟艷麗.中國英語學習廣告中的連貫構建：多模態(tài)視角［D］.北京大學，2011.

［26］胥國紅，曲航.多模態(tài)語篇分析—信息時代的新視角［J］.山東外語教學，2009（2）：3-7.

［27］張德祿.多模態(tài)外語教學的設計與模態(tài)調用初探［J］.中國外語，2010（6）：48-53.

［28］趙秀鳳.概念隱喻研究的新發(fā)展—多模態(tài)隱喻研究［J］.外語研究，2011（6）：1-10.

［29］朱永生.多模態(tài)話語分析的理論基礎與研究方法［J］.外語學刊，2007（5）：82-86.