《多模態(tài)入門》述評

江南大學(xué)

俞越聰 李健雪

?

《多模態(tài)入門》述評

江南大學(xué)

俞越聰 李健雪

《多模態(tài)入門》由Carey Jewitt、Jeff Bezemer和Kay O’Halloran合著，勞特利奇出版社于2016年出版。通過系統(tǒng)的理論對比和大量的實(shí)例論證，該書從多模態(tài)研究的概念、緣由、主要方法和研究設(shè)計等方面入手，對多模態(tài)研究進(jìn)行了全局性剖析解讀，是從事多模態(tài)、符號學(xué)、話語分析、媒體與交際等研究的入門經(jīng)典。

多模態(tài)；話語分析；理論對比；設(shè)計

21世紀(jì)以來，“多模態(tài)”逐漸成為語言學(xué)研究的熱點(diǎn)話題之一。然而，由于研究視角多樣，尚未形成系統(tǒng)。2016年，Carey Jewitt、Jeff Bezemer和Kay O’ Halloran合著出版了《多模態(tài)入門》。該書統(tǒng)籌了多模態(tài)研究的各個視角，從“多元化領(lǐng)域概覽”“為什么進(jìn)行多模態(tài)研究”“系統(tǒng)功能語言學(xué)”“社會符號學(xué)”“會話分析”“多模態(tài)研究的其他5種方法”“多模態(tài)研究設(shè)計”等7個方面進(jìn)行剖析，為多模態(tài)研究做出了全局性理論闡釋和方法論啟示。

1.主要內(nèi)容

全書共七章。

第一章“多元化領(lǐng)域概覽”從“什么是多模態(tài)”入手，指出“多模態(tài)”一詞的使用強(qiáng)調(diào)了兩個“認(rèn)可”：對研究各種意義構(gòu)建方式如何相結(jié)合構(gòu)成多模態(tài)整體的需要性的認(rèn)可；對每種模態(tài)在意義構(gòu)建時都具有各自獨(dú)特的可能性和局限性的認(rèn)可。作者提出多模態(tài)研究的3個前提：1)意義通過各種符號資源被構(gòu)建，每種符號資源都有自身獨(dú)特的潛勢與局限；2)意義構(gòu)建是多模態(tài)整體的產(chǎn)出；3)研究意義必須關(guān)注用于構(gòu)建意義整體的所有符號資源。針對“什么是多模態(tài)研究”，作者區(qū)分了“做多模態(tài)研究”與“引用多模態(tài)概念”。前者中，“多模態(tài)”在研究目的、理論方法等方面處于中心地位；后者僅在研究設(shè)計時選擇性地使用多模態(tài)的相關(guān)概念。其中，“做多模態(tài)研究”主要有3種方法：系統(tǒng)功能語言學(xué)法、社會符號學(xué)法和會話分析法。

第二章“為什么進(jìn)行多模態(tài)研究”反駁了最有爭議的兩個語言觀點(diǎn)：1)語言是資源最豐富、最重要、最被廣泛使用的模態(tài)；2)語言可被單獨(dú)研究。針對第一點(diǎn)，作者認(rèn)為：首先，對語言的用途下普遍性定論須考慮對象與語境。將語言作為了解社會實(shí)踐的途徑會忽視該實(shí)踐的其他方面。而多模態(tài)會對各資源的重要性做出正確判定，有助于認(rèn)識語言地位與功能的重要變化。其次，對其他模態(tài)的研究尚未達(dá)到語言研究的細(xì)致特征化階段，因此不能否定這些模態(tài)資源的豐富性，且許多“語言”原則實(shí)際是普遍的符號學(xué)原則。最后，作者反駁Katz(1972：19)的“可表達(dá)原則”，認(rèn)為其他模態(tài)在不喪失準(zhǔn)確性的前提下不可轉(zhuǎn)寫為語言。語言具有自身的局限性，較其他模態(tài)而言僅是資源和意義潛勢不同，而非資源更豐富或更具潛勢。因此，多模態(tài)研究的目的是確定各模態(tài)的特性和共性。針對第二點(diǎn)作者指出，人類所產(chǎn)出的意義單元幾乎都是多模態(tài)的，語言是意義整體中的一部分，與其他符號元素相互修飾；因此只有分析語篇中的多種模態(tài)，才可以集合資源更可靠地證明、解釋所發(fā)生的交際行為。

第三章是“系統(tǒng)功能語言學(xué)”。作者指出，系統(tǒng)功能理論對多模態(tài)研究的適用性在于其基本前提“符號資源是意義構(gòu)建的工具”(Jewittetal.2016：33)。系統(tǒng)功能語言學(xué)指導(dǎo)下的多模態(tài)語篇分析(SF-MDA)關(guān)注各符號資源的語法、功能與符號資源在多模態(tài)現(xiàn)象中結(jié)合產(chǎn)生的意義。功能上，多模態(tài)符號可把不同的元功能意義構(gòu)建能力進(jìn)行整合以構(gòu)建無法靠單一資源來構(gòu)建的意義。系統(tǒng)上，每種符號都具有自己獨(dú)特的意義系統(tǒng)、分析單位和結(jié)構(gòu)。多模態(tài)增加了可用的意義潛勢，但又由情景語境和文化語境決定實(shí)際上出現(xiàn)于社會實(shí)踐中的選擇結(jié)合。作者認(rèn)為，多模態(tài)現(xiàn)象中各模態(tài)的結(jié)合需要聯(lián)系現(xiàn)有的社會實(shí)踐來解讀，多模態(tài)模式的建立具有文化性，任何多模態(tài)符號實(shí)例均由先前的選擇構(gòu)型所決定。因而，SF-MDA旨在探究符號資源如何被組織構(gòu)建意義，以及特定實(shí)例中意義構(gòu)建的實(shí)際選擇方式，其目的在于將符號資源的意義潛勢建模為一系列相互關(guān)聯(lián)的系統(tǒng)，并根據(jù)語境分析多模態(tài)過程和語篇中符號間互動所產(chǎn)生的意義。作者總結(jié)了以下研究方法：1)根據(jù)元功能組織、建立系統(tǒng)；2)根據(jù)所選系統(tǒng)確定分析語篇；3)根據(jù)語域、語類解讀選擇的結(jié)合。

第四章是“社會符號學(xué)”。作者回顧了社會符號學(xué)的目的、基本假設(shè)、早期發(fā)展及其多模態(tài)轉(zhuǎn)向，并勾勒了各時期社會符號學(xué)視角下多模態(tài)研究的發(fā)展進(jìn)程。作者重申了許多語言學(xué)原則的普遍性，指出“符號學(xué)原則”一詞應(yīng)指代適用于所有模態(tài)的意義構(gòu)建原則與特征，并論述了“符號構(gòu)建者”“興趣”“動因符號”“符號資源”“模態(tài)”“模態(tài)動允性”“轉(zhuǎn)移”及“轉(zhuǎn)化”和“設(shè)計”等核心原則和概念在多模態(tài)意義構(gòu)建中的重要作用。(Jewittetal.2016：67-73)社會符號學(xué)旨在分析人工產(chǎn)物中所呈現(xiàn)出來的社會世界。其方法論特征體現(xiàn)在：1)語料涵蓋日常、通俗的以及顯著、規(guī)范的人工產(chǎn)物；2)對模態(tài)特征的微觀觀察；3)對作品進(jìn)行對比分析；4)探究人工產(chǎn)品的所有符號學(xué)方面；5)假設(shè)符號構(gòu)建者已采用最合適的符號資源來表達(dá)意義；6)強(qiáng)調(diào)社會語境和意義構(gòu)建的資源；7)關(guān)注人工產(chǎn)物中所有元素以期了解符號構(gòu)建者的興趣。作者總結(jié)了以下基本研究思路：對人工產(chǎn)物進(jìn)行概括描述，在交際和再現(xiàn)世界中對其進(jìn)行定位；確定并描述所使用的模態(tài)，對每個模態(tài)的符號資源進(jìn)行細(xì)致分析，包括構(gòu)建它們所采用的原則與慣例、所采用的模態(tài)動允性；關(guān)注所用模態(tài)之間的組織、主導(dǎo)關(guān)系和連貫等。作者強(qiáng)調(diào)，要避免因系統(tǒng)程序化的方法而錯失研究語料的特性；社會符號學(xué)的解釋不是純粹的描述和特征之間的映射，它結(jié)合了概念和實(shí)證，要求分析者高度響應(yīng)研究語料。

第五章是“會話分析”。作者介紹了會話分析研究的起源和對注視、手勢及其他互動資源的研究轉(zhuǎn)向，并指出該方法高度受數(shù)據(jù)驅(qū)使，分析須遵守兩個核心原則：不斷靠近所選語料，所得相關(guān)結(jié)論必須嚴(yán)格依據(jù)對互動的觀察；關(guān)注細(xì)節(jié)，同一互動片段慢速、多次觀察。作者論述了4個核心概念：1)相互闡述的符號資源：會話分析基于人們采用不同的符號資源來構(gòu)建行為的觀點(diǎn)，認(rèn)為不同資源具有不同屬性，且自身都是部分的、不完全的，在相互闡述的過程中構(gòu)建成一個意義整體；2)行為的連續(xù)組織：意義不僅存在于行為的形式中，也存在于該行為在序列結(jié)構(gòu)中的位置；3)行為的協(xié)調(diào)：強(qiáng)調(diào)會話者在環(huán)境中的定位，互動發(fā)生的地點(diǎn)環(huán)境也構(gòu)成互動資源，影響行為的協(xié)調(diào)性；4)多活動：關(guān)注不同的行為如何相互連接，構(gòu)成并存的行為進(jìn)程。作者強(qiáng)調(diào)多模態(tài)轉(zhuǎn)寫的重要性，并介紹了兩種轉(zhuǎn)寫模式：基于言語轉(zhuǎn)寫，在與之相關(guān)處進(jìn)行其他模態(tài)的轉(zhuǎn)寫；依據(jù)普遍轉(zhuǎn)寫慣例，對各模態(tài)都進(jìn)行轉(zhuǎn)寫，以體現(xiàn)互動的順序展開和各模態(tài)的同時性。作者給出兩種語料片段的選擇方式：通過整體分析確定主要的“主題”和“類型”及其頻率，從中選擇一個進(jìn)行細(xì)致化研究；選擇任何一個包含有趣現(xiàn)象的片段，從獨(dú)特中歸納普遍性。

第六章是“多模態(tài)研究的其他5種方法”。作者介紹了地理符號學(xué)、多模態(tài)互動分析、多模態(tài)人種志學(xué)、基于語料庫的多模態(tài)分析和多模態(tài)接受分析這5種混合型方法，包括各種方法的領(lǐng)域淵源、核心概念、研究范圍與目的、主要研究問題、數(shù)據(jù)收集方法和分析步驟等，并總結(jié)了它們對多模態(tài)研究發(fā)展的貢獻(xiàn)。作者強(qiáng)調(diào)，將前文論述的3種主要理論的概念與方法和其他研究范式相整合構(gòu)建新框架時，須反思它們在意義的理論化、研究目的、實(shí)證焦點(diǎn)等方面的“兼容性”，其中明確界定了多模態(tài)在研究中至關(guān)重要的地位。

第七章是“多模態(tài)研究設(shè)計”。作者提出了8個步驟，即選擇理論方式、確定研究內(nèi)容、形成研究問題、確定研究材料、收集研究材料、處理研究材料、轉(zhuǎn)寫研究材料和處理道德倫理問題。首先，對意義構(gòu)建有明確的理論概念是研究的基礎(chǔ)，選擇研究方法即是確立了針對意義的理論立場。作者強(qiáng)調(diào)，理論方法指向相應(yīng)的研究領(lǐng)域和內(nèi)容，從而確定相應(yīng)的研究問題。其次，研究材料應(yīng)：1)根據(jù)研究方法和研究問題來確定材料范圍；2)在自然環(huán)境下收集，減少干預(yù)；3)收集的細(xì)致化程度應(yīng)涵蓋材料的總體多模態(tài)特征，且滿足對各模態(tài)、模態(tài)間意義的探究；4)體現(xiàn)社會文化情景下的意義構(gòu)建。再次，有效處理數(shù)據(jù)的方法包括：1)建立標(biāo)記編碼對材料進(jìn)行系統(tǒng)記錄；2)即時回顧以確保記錄所有細(xì)節(jié)；3)在回顧時對每個類型進(jìn)行“數(shù)據(jù)日記”。同時，對材料進(jìn)行多模態(tài)轉(zhuǎn)寫，通過實(shí)踐發(fā)現(xiàn)不同轉(zhuǎn)寫方式的潛能和局限。作者最后提出，應(yīng)考慮研究材料的使用授權(quán)，并闡釋如何恰當(dāng)?shù)卣鞯檬褂檬跈?quán)和采取機(jī)密性措施。

2.簡評

該書的主要貢獻(xiàn)如下：

第一，實(shí)現(xiàn)了對多模態(tài)研究的全局把握，確立了其獨(dú)立、完整的研究領(lǐng)域地位。全書從多模態(tài)的理解、多模態(tài)研究的淵源，到多模態(tài)研究的理論方法、多模態(tài)研究設(shè)計等，涵蓋了從事多模態(tài)研究的各個重要方面。尤其在理論方法上涵蓋了多種主流視角，并對每種方法的淵源、核心原則與概念、分析手段、適用領(lǐng)域、主要研究問題、數(shù)據(jù)收集方法、現(xiàn)有不足與發(fā)展方向等做出了詳細(xì)的論述，首次實(shí)現(xiàn)了對多模態(tài)各理論方法的梳理、對比與反思。通過對多模態(tài)研究的宏觀審視，該書體現(xiàn)了當(dāng)下多模態(tài)研究視角的廣度，指出了其發(fā)展?jié)撃?，樹立了多模態(tài)研究的學(xué)術(shù)地位。

第二，深化了對“模態(tài)”和“多模態(tài)”的理解?！岸嗄B(tài)”是個復(fù)雜的概念，不同理論方法對其理解、界定不同，表達(dá)方式也不同。如在會話分析中，“模態(tài)”一詞較少使用，而“多模態(tài)”體現(xiàn)行為的多樣性與“同時性”。該書統(tǒng)一保留“模態(tài)”一詞，不僅保證了全書術(shù)語的一貫性，也強(qiáng)調(diào)了將一個作為意義整體的互動事件分解開來分析的難度性。該書雖未對“模態(tài)”和“多模態(tài)”給出明確定義，但對它們的解讀超出了其外在呈現(xiàn)方式，突破了以往人們對“符號系統(tǒng)”和“感官系統(tǒng)”的論述(朱永生 2007：83； 韋琴紅 2009：55； 張德祿 2009：24)。模態(tài)可以是任何一種物理元素的呈現(xiàn)類型，包括環(huán)境因素；且無論以何種表層形式呈現(xiàn)，多模態(tài)認(rèn)可每種參與意義構(gòu)建的資源，且關(guān)注它們所構(gòu)成的意義整體；否認(rèn)語言模態(tài)的先進(jìn)性，強(qiáng)調(diào)各模態(tài)的地位平等，且均具有獨(dú)特的潛勢和局限性。

第三，反思了多模態(tài)研究理論方法中的爭議問題。首先，作者認(rèn)為系統(tǒng)功能語法不該作為系統(tǒng)選擇下意義構(gòu)建的唯一模型，應(yīng)避免語言學(xué)概念強(qiáng)加于其他符號系統(tǒng)的現(xiàn)象；不可局限于對多模態(tài)語篇建立系統(tǒng)性描述，而導(dǎo)致強(qiáng)調(diào)文本、脫離語境的后果。其次，社會符號學(xué)方法一直被批判在“動允性”命題上過于決斷，圖文過于二分。這種苛責(zé)實(shí)際是將韓禮德“意義是選擇”的社會符號學(xué)釋義簡化為“二選一”，且沒有正確認(rèn)識到資源雖具有內(nèi)在的、社會性的動允性，但也能突破其慣用方式而創(chuàng)新使用。此外，作者指出，社會符號學(xué)傾向于過度線性地描述符號交際的發(fā)展，而了解符號的變化應(yīng)從社會、文化、技術(shù)變化相聯(lián)系的歷史角度進(jìn)行，不能模糊技術(shù)與模態(tài)的復(fù)雜性和重合性；同時，要將社會符號學(xué)和社會學(xué)理論相結(jié)合，根據(jù)研究問題和研究重點(diǎn)確定所需的語境信息，確保結(jié)論反映文本與使用語境的緊密聯(lián)系。會話分析中，研究者們傾向于只關(guān)注互動中能體現(xiàn)出與交際者相關(guān)的社會類別與人工產(chǎn)物，而忽視了后人對互動進(jìn)行重語境化時與之相關(guān)的其他方面。作者認(rèn)為，從交際者身上獲得的背景信息在分析中十分有用，但卻不能根據(jù)其在互動中的機(jī)構(gòu)角色形成高度推斷或假設(shè)；核心文本和相關(guān)語境的區(qū)分要以交際參與者為導(dǎo)向。

第四，豐富了多模態(tài)研究的實(shí)證方法。該書對“做多模態(tài)研究”和“引用多模態(tài)概念”的區(qū)分，是對多模態(tài)研究本質(zhì)做出的明確界定。同時對研究語料的確定和收集給出了操作性建議，對分析步驟、研究階段做出了具體的劃分，使整個多模態(tài)研究過程更加清晰、規(guī)范，為開展多模態(tài)研究提供了重要指導(dǎo)。該書強(qiáng)調(diào)理論與方法論立場在多模態(tài)研究中的重要性、理論方法與研究問題之間的相適性，指出各理論方法具有其自身所側(cè)重的研究領(lǐng)域和研究目的，多模態(tài)研究要保持整個理論框架和研究實(shí)踐的一貫性。通過援引大量最新的優(yōu)秀研究實(shí)例，該書不僅為多模態(tài)實(shí)證研究提供了多元化范例，揭示了多模態(tài)的前沿近況，也為理論的發(fā)展提供了實(shí)證依據(jù)。該書提出的倫理道德問題，特別是對在公開場合流通的信息的正確使用，是當(dāng)下國內(nèi)研究實(shí)踐中易忽視的問題之一。書中提出的合理申請語料使用的授權(quán)、采取機(jī)密性措施、預(yù)備解決措施等建議具有重要啟示意義。

當(dāng)然，該書也存在不足之處。首先，書中援引的實(shí)例側(cè)重定性研究，多為舉個別例子進(jìn)行思辨性分析，未見大型統(tǒng)計論證。其次，多模態(tài)互動分析和多模態(tài)認(rèn)知研究普遍被視為是多模態(tài)研究的主要方法之一(Djonov & Zhao 2014； Pinar Sanz 2015)，該書并沒有將其獨(dú)立成章進(jìn)行系統(tǒng)詳細(xì)的對比論述，可謂略有遺憾。

總體來說，該書言必有物，綱舉目張，善用圖表，富于對比，且文后附有術(shù)語表和自學(xué)指導(dǎo)，可幫助學(xué)習(xí)者梳理重要概念并進(jìn)行自學(xué)自測，是從事多模態(tài)、符號學(xué)、話語分析、媒體與交際等研究時不可多得的必讀經(jīng)典。

Djonov,E.& S.Zhao.2014.FromMultimodaltoCriticalMultimodalStudies[C].London: Routledge.

Jewitt,C.etal.2016.IntroducingMultimodality[M].London: Routledge.

Katz,J.J.1972.SemanticTheory[M].New York: Harper & Row.

Pinar Sanz,M.J.2015.MultimodalityandCognitiveLinguistics[C].Amsterdam/Philadelphia: John Benjamins Publishing Company.

韋琴紅.2009.論多模態(tài)話語中的模態(tài)、媒介與情態(tài) [J].外語教學(xué) (4): 54-57.

張德祿.2009.多模態(tài)話語分析綜合理論框架探索 [J].中國外語 (1): 24-30.

朱永生.2007.多模態(tài)話語分析的理論基礎(chǔ)與研究方法 [J].外語學(xué)刊 (5): 82-86.

(責(zé)任編輯 馬應(yīng)聰)

通訊地址：214122 江蘇省無錫市 江南大學(xué)外國語學(xué)院

H0-06

A

2095-5723(2017)02-0096-04

2017-03-01