《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語分析中的研究方法》述評

青島科技大學(xué) 劉 靖 陳露露

1. 引言

《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語分析中的研究方法》(SystematicallyWorkingwithMultimodalData:ResearchMethodsinMultimodalDiscourseAnalysis)是多模態(tài)話語互動分析研究的代表人物Sigrid Norris于2019年由Wiley-Blackwell出版公司出版的最新成果。多模態(tài)互動分析作為一種新的多模態(tài)話語分析方法，吸收了互動社會語言學(xué)、中介話語理論和多模態(tài)領(lǐng)域的研究成果，在多模態(tài)話語研究領(lǐng)域的作用日益凸顯。Jewitt (2009：28-39)認為多模態(tài)互動分析、社會符號學(xué)分析、系統(tǒng)功能語言學(xué)的多模態(tài)話語分析共同組成多模態(tài)話語的3種主要研究方法。該書通過介紹具體的多模態(tài)數(shù)據(jù)收集和處理步驟，論述了系統(tǒng)化處理多模態(tài)數(shù)據(jù)對于多模態(tài)研究的重要意義。信息技術(shù)的發(fā)展使數(shù)據(jù)的收集和處理日益便捷，但多模態(tài)話語的跨學(xué)科性，增加了其研究的復(fù)雜性，因此研究在多模態(tài)話語分析過程中如何對數(shù)據(jù)進行科學(xué)、系統(tǒng)的收集與處理就顯得尤為必要。

2. 內(nèi)容概述

第一章概述了整書的主要內(nèi)容及適用人群，區(qū)分了不同層次學(xué)習(xí)者適用的章節(jié)，對該書的使用方法做了說明。該章后半部分介紹了與多模態(tài)話語分析相關(guān)的理論和框架體系，引用相關(guān)文獻,闡述了多模態(tài)話語研究的跨學(xué)科屬性,該書的構(gòu)建框架和相關(guān)理論支撐，以及對多模態(tài)話語研究者的啟發(fā)意義。

第二章主要關(guān)注多模態(tài)話語分析中涉及的基本理論和概念，作者從多模態(tài)話語的哲學(xué)基礎(chǔ)出發(fā)，論述了社會行為等相關(guān)理論，以及多模態(tài)話語分析的經(jīng)驗框架，著重探究了Scollon的多模態(tài)中介理論是如何為該書提供哲學(xué)和理論支撐的。作者梳理了多模態(tài)話語分析中兩個重要的哲學(xué)概念：感知(perception)和體驗(embodiment)，介紹了社會行為的原則和交際的兩個次原則。此外，該章還討論了Scollon多模態(tài)中介理論溯源及形成過程，指出Scollon的思想是多模態(tài)話語互動分析的理論基礎(chǔ)。

第三章詳細闡述了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第一階段：數(shù)據(jù)收集。多模態(tài)話語分析的特點決定了影像數(shù)據(jù)收集的重要性和復(fù)雜性。該章以影像數(shù)據(jù)收集為例，介紹了小數(shù)據(jù)集、中數(shù)據(jù)集和大數(shù)據(jù)集的收集方法，整體上可分為10個步驟：確認研究主題或話題，提出研究問題，錄像記錄和鏡頭設(shè)置，進行現(xiàn)場錄制和采訪參與者，制作數(shù)據(jù)收集表格，確定數(shù)據(jù)采集現(xiàn)場布局，以及整理數(shù)據(jù)并進行時間標注。第三章還提及了錄像記錄的局限性，包括數(shù)據(jù)收集的完整度以及Labov曾提及的觀察者悖論。要求研究者基于自己的研究目的和研究問題，選擇最佳的數(shù)據(jù)收集方案。

第四章是多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第二階段：數(shù)據(jù)描述。該章詳細討論了在進行數(shù)據(jù)轉(zhuǎn)寫之前對數(shù)據(jù)進行描述的重要性，并以YouTube視頻等為例介紹了對不同類型的數(shù)據(jù)集如何進行描寫。這個階段主要包括5個步驟：確定目標數(shù)據(jù)集；借助分析工具(介入點)以圖解形式確定研究者在數(shù)據(jù)集中的位置；確定具體某一個數(shù)據(jù)塊；借助分析工具(介入點)以圖解形式確定研究者在數(shù)據(jù)塊中的位置；圍繞數(shù)據(jù)提出完善研究問題。作者結(jié)合視頻的民族志研究詳細闡述了如何將這5個步驟應(yīng)用于不同大小的數(shù)據(jù)描寫。

第五章闡述了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第三階段：微觀分析數(shù)據(jù)塊篩選。和Hasko曾提及的大量數(shù)據(jù)庫分析相類似，該章旨在進一步處理所收集的數(shù)據(jù)，以一種更加系統(tǒng)化的方式為各類微觀分析區(qū)分和挑選數(shù)據(jù)，闡明其研究的適用性。多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第三階段分為4個步驟：借助中介行為的概念對研究問題進行剖析，確定參與者、動作和中介工具；界定區(qū)分高層中介行為，該過程可借助表格記錄和時間標記法；借助表格等對已界定的高層中介行為進行分類整合，以期在進一步研究中提高效率；具體細化介入點，即圍繞中心問題為進一步的微觀分析挑選數(shù)據(jù)塊，確定具體研究點。

第六章論述了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第四階段：按多模態(tài)轉(zhuǎn)寫慣例轉(zhuǎn)寫數(shù)據(jù)。多模態(tài)轉(zhuǎn)寫慣例要求以一種更加系統(tǒng)、全面、精細的方式對數(shù)據(jù)進行轉(zhuǎn)寫，在一定程度上可以說多模態(tài)轉(zhuǎn)寫就是分析。在人類互動中言語模態(tài)并不總是起主導(dǎo)作用，每個模態(tài)的使用都有自己可觀察到的過程，例如起點、持續(xù)和結(jié)束，因此可以分別進行描述(張佐成、陳瑜敏 2011： 4)。作者結(jié)合多模態(tài)實例介紹了幾種模態(tài)的轉(zhuǎn)寫過程，比如布局、空間距離、身體姿態(tài)、手勢、注視等，最后一步是整理形成揭示互動本質(zhì)的多種模態(tài)轉(zhuǎn)寫。

第七章討論了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第五階段：分析工具的使用。該章可大致分為3個部分，首先是為微觀挑選合適的分析工具，這是關(guān)鍵的一步，分析工具關(guān)系研究角度及研究的可行性。作者介紹了7種分析工具，包括底層中介行為、高層中介行為、凝固中介行為、模態(tài)密度、模態(tài)結(jié)構(gòu)配置等。其次，作者結(jié)合實例介紹了這些分析工具的特點及適用范圍，研究者需要根據(jù)已轉(zhuǎn)寫的數(shù)據(jù)選擇最合適的分析工具。作者最后介紹了中級和宏觀分析所需的分析工具，補充了3種分析工具：行為范圍、介入點/實踐和語篇、時間輪和節(jié)奏。

第八章對全書的內(nèi)容進行了概括和總結(jié)，闡述了該書為多模態(tài)話語分析領(lǐng)域的研究者提供的收集和分析多模態(tài)數(shù)據(jù)的系統(tǒng)方法，并區(qū)分了每個章節(jié)的側(cè)重點和適用范圍，為該書的使用者提供了建議。

3. 簡評

3.1 啟示

該書圍繞多模態(tài)話語分析中涉及的數(shù)據(jù)處理問題，在多模態(tài)互動分析框架及中介行為理論的基礎(chǔ)上，借助現(xiàn)代信息技術(shù)手段，向讀者提供了一種較為系統(tǒng)、科學(xué)的多模態(tài)數(shù)據(jù)處理范式，具有較強的啟示意義?？v觀全書，該書有以下三大特色值得推介。

第一，較為完善的理論基礎(chǔ)和跨學(xué)科分析范式。社會互動語言學(xué)、人類學(xué)、心理學(xué)以及社會學(xué)等眾多學(xué)科對多模態(tài)研究的興趣日漸增加，不同的研究方法會導(dǎo)致不同的數(shù)據(jù)、研究問題和焦點(李華兵 2013： 22)，因此，多模態(tài)數(shù)據(jù)收集與轉(zhuǎn)寫的重要性日益凸顯。該書作者Norris順應(yīng)該研究趨勢，傳承發(fā)展了Scollon的介入理論，提出了多模態(tài)話語分析模式。Norris的基本理念是，社會交互是多模態(tài)的，在特定情景下，不同的交際模式以不同的程度參與交互(辛志英2008： 209)，并在這個過程中豐富發(fā)展了感知和體驗的內(nèi)涵。與傳統(tǒng)的以語言為中心的話語分析不同，多模態(tài)互動分析屬于整體分析，以中介活動為基本分析單位，認為語言只是在實際交流過程中起作用的一種模態(tài)(張德祿、王正 2016： 54)。Norris在此基礎(chǔ)上將中介活動細分為更加具體化的高層中介行為、低層中介行為以及凝固中介行為，聚焦于人的行為和互動。正是由于全新分析視角的理論化，學(xué)界才得以將研究者同社會、文化、心理和物質(zhì)環(huán)境相結(jié)合，這為對不同類型大小的數(shù)據(jù)進行系統(tǒng)化分析提供了可能。

第二，較強的可操作性及批判性思維。作為一本工具書，該書具有較強的實踐指導(dǎo)價值。首先，該書從理論層面著手，以淺顯易懂的語言對Scollon的多模態(tài)話語分析理論進行了詳細闡述，指出了其局限性，Norris認為多模態(tài)話語分析理論是一個動態(tài)發(fā)展的過程，多模態(tài)話語研究者不能固步自封，要時刻保持批判性。基于此，Norris賦予了多模態(tài)話語分析理論新的內(nèi)涵，創(chuàng)造性地提出了多模態(tài)互動分析理論(Multimodal Interaction Analysis)，并將其應(yīng)用到多模態(tài)數(shù)據(jù)的收集和轉(zhuǎn)寫上。同時，Norris的批判性思維也貫徹全書，比如在數(shù)據(jù)收集階段，作者指出研究者必須辯證地看待收集到的影像數(shù)據(jù)，即使是完整的影像資料也無法完全記錄如參與者的感受、放松的程度等心理活動。研究者必須正視而非拿大量數(shù)據(jù)去遮蓋這個局限，并盡最大努力地去彌補這個不足，比如進行現(xiàn)場采訪并進行現(xiàn)場記錄。

第三，較廣的適用性和啟示意義。首先，該書的開始和最后都詳細劃分了受眾層次和對應(yīng)重點章節(jié)。對入門研究者、較高層次的研究者或經(jīng)驗豐富的研究團隊來說，均是一本具有啟示意義的參考書籍，有利于多模態(tài)研究中的橫向?qū)W習(xí)及拓展。其次，人類互動作為一個連續(xù)動態(tài)的過程，話語分析者如何把其進行切分是一個難題(張佐成、陳瑜敏2011： 5)。但在該書中Norris顯然給予了研究者啟示，作者認為高層行為是由一系列低層行為構(gòu)成，而每個高層行為的產(chǎn)生總是伴隨著一系列的低層行為，研究者可以根據(jù)對相關(guān)高層行為的注意度(awareness or attention)進行切分，根據(jù)研究者的興趣點對首先觀察到的高層行為進行記錄，這些行為通常伴隨著多種模態(tài)作為中介，而模態(tài)的使用是可以辨別分析的，這就為研究者進一步分析人類的互動過程提供了切入點。

值得一提的是，作者認為，無論是在數(shù)據(jù)收集還是數(shù)據(jù)分析中，倫理道德因素都是成功進行實證研究不可或缺的一部分。因此受試的許可及其隱私權(quán)、知情權(quán)必須得到尊重。要熟悉相關(guān)視頻資源的使用規(guī)則，做到正當、合理、合法使用。有關(guān)倫理道德的研究在國內(nèi)的實證研究過程中一直未得到足夠的重視，該書對此所做的詳細闡述，有益于國內(nèi)相關(guān)研究的進一步完善和發(fā)展。

綜上所述，《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語分析中的研究方法》 一書有助于研究者的多模態(tài)數(shù)據(jù)處理能力及批判性思維發(fā)展，加深其對多模態(tài)話語分析這一交叉學(xué)科的認識，培養(yǎng)跨學(xué)科意識和發(fā)展性眼光。

3.2 問題與反思

多模態(tài)話語的跨學(xué)科發(fā)展及應(yīng)用已成學(xué)界共識，如Wieselmannetal.(2020) 從跨學(xué)科視角分析了STEM教育模式下課堂小組的互動行為，以微觀民族志的方法進行多模態(tài)批判話語分析?！抖嗄B(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語分析中的研究方法》一書順應(yīng)學(xué)科發(fā)展趨勢，具有一定的學(xué)術(shù)參考價值，但該書也存在一些值得商榷的地方。

由于多模態(tài)互動分析方法仍處在發(fā)展階段，目前仍存在不足，比如沒有考慮或重視社會文化和情景語境對社會活動選擇動機的影響(張德祿、王正 2016： 57) 。書中采用的影像資料均來自于國外網(wǎng)站，參與者國籍較為單一，一定程度上使實驗的分析和演示存在一定的偏頗性。比如由于文化差異或者是視頻軟件的使用差異，可能會導(dǎo)致相關(guān)研究方法在實際操作中存在差異，因此參與者及語料的選用覆蓋面有待進一步完善。其次，人類互動在本質(zhì)上是多模態(tài)的，但不同民族文化背景下對于模態(tài)轉(zhuǎn)寫的方式也存在差異(劉玉梅、周思邑 2020： 106)，因此基于印歐語系的多模態(tài)互動轉(zhuǎn)寫系統(tǒng)是否適合漢語多模態(tài)數(shù)據(jù)的轉(zhuǎn)寫有待進一步驗證。這就涉及到學(xué)界常說的研究方法本土化的問題，尤其是漢語的多模態(tài)互動研究尚處于起步階段，在此背景下，該書對文化差異方面的關(guān)注不夠充分。

此外,這本書在多模態(tài)分析工具使用方面未形成系統(tǒng)化的理論框架。作者在書的后半部分詳細介紹了幾種多模態(tài)分析工具，但只是較為孤立地介紹了各自的定義和適用范圍，忽視了其相互之間的聯(lián)系。Norris(2004)指出，各模態(tài)有合作表達意義的情況，例如講話時語言、手部動作等不同類型的模態(tài)都在對進行的說話動作有貢獻，同時不同的模態(tài)還在完成其他的高一級行動。這樣可能會出現(xiàn)利用多種分析工具對某一具體高層活動進行分析的情況，這就需要考慮不同分析工具間的相互聯(lián)系，即如何共同發(fā)揮作用。

各種模態(tài)之間的互動關(guān)系和互補作用難以確定。多模態(tài)話語往往由多種系統(tǒng)構(gòu)成，而每個系統(tǒng)中又有很多單個成分。這些成分當中，哪些對解讀有價值，哪些沒有價值，也是不容易確定的因素(朱永生 2007： 85)。僅僅圍繞所研究問題進行取舍是不全面的，這個過程也會受到研究者個人的文化背景或是知識儲備的影響，這個方面需要在實證中得到進一步完善。其次，書中對大、中和小數(shù)據(jù)集的劃分也并未給出明確的標準，存在較強的主觀性，一定程度上可能會影響相關(guān)研究方法的使用。最后，作為一本工具書，該書步驟詳細，語言通俗易懂，但簡潔不足，一定程度上影響了可讀性及可操作性。

4. 結(jié)語

總體來看，《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語分析中的研究方法》一書雖存在不足，但瑕不掩瑜，仍具有重要的理論價值和實踐意義。多模態(tài)話語分析已經(jīng)呈現(xiàn)跨學(xué)科發(fā)展趨勢，如何把現(xiàn)代智能科技手段和多模態(tài)話語結(jié)合起來進行分析解讀是多模態(tài)話語分析將要解決的問題，這決定了數(shù)據(jù)收集必須逐漸科學(xué)化、系統(tǒng)化。相信該書可以很好地幫助讀者科學(xué)地處理多模態(tài)數(shù)據(jù)，進一步推動多模態(tài)話語分析研究方法的發(fā)展。