司法話語多模態(tài)研究的現(xiàn)狀與未來

李 文 王振華

(上海交通大學外國語學院，上海 200240)

一、引 言

作為一種社會實踐，司法話語主要關(guān)注的是司法活動中參與者之間如何通過交際行為進行意義交換。社會符號學家認為，對社會行為與意義表征的解讀應(yīng)包括語言和非語言符號在內(nèi)的所有表意資源，(1)Carey Jewitt， eds. The Routledge Handbook of Multimodal Analysis (2nd)[M]. London： Routledge， 2016： 1.即“模態(tài)”。模態(tài)是“物質(zhì)媒介經(jīng)過社會長時間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源。”(2)Gunther Kress, Theo van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication[M]. London; New York： Arnold， 2001： 4.在司法話語中，不僅語言起著重要作用(例如司法文書僅由語言構(gòu)成)，其他表意資源，如圖像、聲音、身勢語(body language)等，也常常被司法活動參與者用于論證觀點、實現(xiàn)目的。因此，司法話語往往涉及多種模態(tài)，具有多模態(tài)屬性。近年來遠程庭審、司法動畫模擬、3D及VR證據(jù)展示等數(shù)字技術(shù)在司法話語中的應(yīng)用也極大地改變了以往司法話語中以語言為主的單一交際模式，引起了法學、語言學等不同學科的關(guān)注。(3)Phil Rose. Technical Forensic Speaker Recognition： Evaluation， Types and Testing of Evidence[J]. Computer Speech & Language， 2006， 20(2-3)： 159-191.(4)Jessica Findley, Bruce Sales. The Science of Attorney Advocacy： How Courtroom Behavior Affects Jury Decision Making[M]. Washington， D. C： American Psychological Association， 2012.《勞特里奇法律語言學手冊》(TheRoutledgeHandbookofForensicLinguistics)一書還將多模態(tài)研究列入法律語言學的重點研究方向之一。(5)Malcolm Coulthard and Alison Johnson， eds. The Routledge Handbook of Forensic Linguistics[M]. New York： Routledge， 2010.作為司法話語研究的一個重要分支，司法話語多模態(tài)研究把司法話語中的語言與非語言符號納入統(tǒng)一分析范疇，將司法活動參與者的表情、手勢、聲音和相關(guān)證物等非語言模態(tài)視為與語言同樣重要的表意資源。采用多模態(tài)分析視角能夠克服以往司法話語研究中以語言為中心的局限性，呈現(xiàn)不同模態(tài)各自所實現(xiàn)的意義與模態(tài)互動中的意義，有助于更加綜合、客觀地解釋司法話語的使用、意義及其生成機制和規(guī)律。應(yīng)用到司法實踐中，司法多模態(tài)研究能夠更加全面地揭示司法話語對規(guī)范人們行為、調(diào)解主體關(guān)系等的影響，展現(xiàn)司法活動的全景，厘清法律與政治、經(jīng)濟、文化等社會問題之間的關(guān)系，因而對實現(xiàn)司法公正、構(gòu)建和諧社會有著重要的推動作用和現(xiàn)實意義。

近年來，司法話語多模態(tài)研究在國際上已經(jīng)取得了較豐碩的成果，而在我國尚處于初步探索階段。為了更好地了解司法話語多模態(tài)研究的發(fā)展狀況和前沿動向，本文嘗試梳理現(xiàn)階段司法話語多模態(tài)的研究現(xiàn)狀，歸納該領(lǐng)域的研究議題與研究方法，剖析現(xiàn)階段存在問題，并在此基礎(chǔ)上展望其未來發(fā)展。對司法話語多模態(tài)研究的回顧和評述不僅有助于從整體上描繪該領(lǐng)域研究的發(fā)展路徑，還能通過分析、比較與反思不同研究視角、方法和觀點，推動和豐富司法話語多模態(tài)研究在我國的本土化研究，同時也能為新時代的中國司法實踐提供一定的借鑒和啟示。

二、司法話語多模態(tài)研究的主要議題

司法話語多模態(tài)研究涉及法學、語言學、多模態(tài)分析等多個領(lǐng)域，其研究內(nèi)容具有廣泛性與多樣性的特點。本節(jié)根據(jù)現(xiàn)階段該領(lǐng)域研究內(nèi)容的側(cè)重點，歸納出三類主要議題： 司法話語多模態(tài)的功能研究、司法話語多模態(tài)的互動研究和司法話語多模態(tài)的批評性研究。

(一) 司法話語多模態(tài)功能研究

司法話語多模態(tài)功能研究將司法話語中的不同模態(tài)資源作為研究對象，重點關(guān)注不同模態(tài)在司法話語中的使用特征及其所實現(xiàn)的功能。該類研究最先關(guān)注司法話語中的聲音模態(tài)，主要包括聲紋鑒定(涉案人與嫌疑人聲紋特征對比)(6)Harry Hollien. The Acoustics of Crime： The New Science of Forensic Phonetics[M]. New York： Plenum Press， 1990.和聲音模態(tài)的語用功能。(7)Bronwen Innes. “Everything Happened So Quickly?” HRT intonation in New Zealand courtrooms[J]. Research on Language and Social Interaction， 2007， 40(2-3)： 227-254.(8)馬澤軍，劉佳，陳海慶.庭審話語中情態(tài)動詞的韻律特征及其人際功能實現(xiàn)[J].當代修辭學，2017(06)： 33-41.近年來，學者對手勢模態(tài)(gesture)也有關(guān)注，如迪布(Deeb)(2013)以加州最高法院聽證會為語料，分析了檢察官如何將手勢和聲音模態(tài)作為元語用資源，用于論證觀點。(9)Hadi Deeb. Boiling Down to the M-Word at the California Supreme Court[J]. Journal of Linguistic Anthropology， 2013， 23(1)： 41-64.隨著多模態(tài)研究理論的逐步發(fā)展，越來越多的模態(tài)被納入司法話語多模態(tài)研究的范疇，例如法庭著裝、(10)Shaeda Isani. Visual Semiotics of Court Dress in England and Wales： Failed or Successful Vector of Professional Identity?[M]//William Pencak， ed. Images in Law. London： Routledge， 2016： 61-80.法庭空間布局(11)Umali Saidi, Pfukwa Charles. Silence in Court： Non-verbal Communication in a Zimbabwean Court of Law[J]. Imbizo， 2011(1)： 136-148.(12)Victor Khachan. Courtroom Proverbial Murals in Lebanon： A Semiotic Reconstruction of Justice[J]. Social Semiotics， 2012， 22(3)： 333-347.等。科技的進步也不斷將新的模態(tài)引入司法活動。例如，達爾伯格(Dahlberg)(2013)通過民族志方法分析了瑞典上訴法庭中視頻證詞的廣泛使用對庭審交流及法庭布局的影響；(13)Leif Dahlberg. A Modern Trial： A Study of the Use of Video-Recorded Testimonies in the Swedish Court of Appeal[M]//Austin Sarat， eds. Studies in Law， Politics， and Society. Emerald Group Publishing Limited， 2013： 81-135.迪穆蘭(Dumoulin)和利科普(Licoppe)(2016)研究了遠程視頻技術(shù)對法國庭審組織方式以及司法實踐模式的影響。(14)Laurence Dumoulin, Christian Licoppe. Videoconferencing， New Public Management， and Organizational Reform in the Judiciary[J]. Policy & Internet， 2016， 8(3)： 313-333.

總體而言，司法話語模態(tài)資源的功能研究側(cè)重描述和總結(jié)不同模態(tài)資源在司法話語中的功能，關(guān)注以往司法話語研究中被忽略的模態(tài)以及科技發(fā)展引入的新模態(tài)。但是，這類研究將司法話語的模態(tài)資源視為靜態(tài)的研究對象。

(二) 司法話語多模態(tài)互動研究

相較于靜態(tài)司法話語多模態(tài)功能研究，司法話語多模態(tài)的互動研究側(cè)重于對司法話語中的模態(tài)資源進行動態(tài)研究。該類研究將司法話語視為動態(tài)的互動過程，強調(diào)具體情景和語境對模態(tài)資源使用的影響，著重分析司法活動參與者如何利用不同模態(tài)資源表達特定的會話結(jié)構(gòu)并完成互動，以及特定模態(tài)資源及其使用模式所產(chǎn)生的不同會話結(jié)構(gòu)與互動類型。司法話語多模態(tài)互動研究重點關(guān)注司法活動參與者所使用的模態(tài)資源之間的互動，尤其是語言與其他模態(tài)資源之間的互動，如圖像、聲音、注視(gaze)和身勢語(body language)之間的互動。如斯托科(Stokoe)關(guān)注了英國警察訊問犯罪嫌疑人的錄音過程，分析了該過程如何利用聲音模態(tài)展現(xiàn)具身行為(embodied conduct)，從而為不在場的遠程接受者(陪審團、法官等)重現(xiàn)訊問過程中的時空和具身行為特征。(15)Elizabeth Stokoe. “For the benefit of the tape”： Formulating Embodied Conduct in Designedly Uni-modal Recorded Police-suspect Interrogations[J]. Journal of Pragmatics， 2009， 41(10)： 1887-1904.梁(Leung)借助及物性系統(tǒng)和評價系統(tǒng)揭示出司法活動參與者如何通過語言與手勢之間的配合實現(xiàn)概念功能與人際功能。(16)Tsz Leung. Multimodal Analysis of Gestures： A Case Study on Delivery of Legal Speeches on Courtroom[D]. The Hong Kong Polytechnic University， 2014.馬德森(Matoesian)和吉爾伯特(Gilbert)基于會話分析方法，分析了在美國刑事庭審中律師如何通過語言、手勢和聲音模態(tài)之間的互動幫助陪審團更好地理解案發(fā)時的場景，以達到說服陪審團的目的。(17)Gregory Matoesian, Kristin Gilbert. Let the Fingers Do the Talking： Language， Gesture and Power in Closing Argument [M]//Janny Leung and Alan Durant， eds. Meaning and Power in the Language of Law. Cambridge： Cambridge University Press， 2018： 137-163.該類研究也同樣關(guān)注不同司法活動參與者之間的模態(tài)資源互動，如弗蘭齊恩(Franzén)和阿隆森(Aronsson)采用民族志研究方法，分析了瑞典未成年犯管教所中教官與未成年犯之間互動，重點關(guān)注了互動中語言和多模態(tài)互動過程中的序列模式。(18)Anna Gradin Franzén, Karin Aronsson. Teasing， Laughing and Disciplinary Humor： Staff-youth Interaction in Detention Home Treatment[J]. Discourse studies， 2013， 15(2)： 167-183.弗朗切斯基(Franceschi)以南非奧斯卡·皮斯托瑞斯案審判為例，對比了庭審互動中多模態(tài)資源運用的不同方式，展現(xiàn)了雙方律師的不同風格。(19)Daniele Franceschi. A Multimodal Analysis of Discourse in the South African Courtroom： The Oscar Pistorius Case[M]//Veronica Bonsignori and Belinda Camiciottoli， eds. Multimodality Across Communicative Settings， Discourse Domains and Genres. Cambridge： Cambridge Scholars Publishing， 2017： 212-235.

綜上，司法話語多模態(tài)的互動研究強調(diào)模態(tài)意義通過司法話語互動產(chǎn)生，并隨著互動的發(fā)展不斷變化，是不同模態(tài)資源之間相互作用和參與者之間共同協(xié)商的結(jié)果，因此側(cè)重從情景化、語境化的角度闡釋模態(tài)資源在司法話語互動中的作用。

(三) 司法話語多模態(tài)批評性研究

司法話語多模態(tài)的批評性研究旨在結(jié)合批評話語分析，考察多模態(tài)資源在司法話語中的權(quán)利關(guān)系構(gòu)建中的作用。該類研究認為，司法話語中的意識形態(tài)、態(tài)度和權(quán)力操控不僅可以通過語言構(gòu)建，還可以通過空間布局、手勢和聲音等模態(tài)形式實現(xiàn)。例如，馬德森(Matoesian)和吉爾伯特(Gilbert)通過個案分析，論述了律師在庭審結(jié)案陳詞中如何運用手勢、視線和證物等其他模態(tài)來配合語言，共同對庭審中不平等的權(quán)利關(guān)系進行協(xié)商。(20)Gregory Matoesian， Kristin Gilbert. Multifunctionality of Hand Gestures and Material Conduct during Closing Argument[J]. Gesture， 2016， 15(1)： 79-114.杜碧玉(Du)通過田野調(diào)查分析了中國法庭如何被符號性地構(gòu)建為一個法律場景舞臺，揭示了法庭布局如何折射出中國司法體系中的意識形態(tài)以及權(quán)力關(guān)系。(21)Biyu Du. Staging Justice： Courtroom Semiotics and the Judicial Ideology in China[J]. International Journal for the Semiotics of Law-Revue internationale de Sémiotique juridique， 2016， 29(3)： 595-614.扎帕維尼亞(Zappavigna)和馬丁(Martin)研究發(fā)現(xiàn)，在澳大利亞青少年司法調(diào)解協(xié)商會中，當事人通過身勢語和語言共同構(gòu)建的身份并非是他們主動和自愿選擇的身份，而是為了順應(yīng)機構(gòu)權(quán)力者的期望所建構(gòu)的身份。(22)Michele Zappavigna， J. R. Martin. Discourse and Diversionary Justice： An Analysis of Youth Justice Conferencing[M]. Cham： Palgrave Macmillan， 2017.

對近年來司法話語多模態(tài)研究中的主要議題進行梳理后，可以發(fā)現(xiàn)司法話語多模態(tài)功能研究與互動研究分別側(cè)重于對模態(tài)資源進行靜態(tài)與動態(tài)的微觀描述；而司法話語多模態(tài)批評性研究則將司法話語中的模態(tài)資源置于宏觀的社會、文化語境中進行闡釋。三類研究議題針對司法話語的不同內(nèi)容與層面，互有所補。通過對主要議題的審視，可以看出目前的司法話語多模態(tài)研究具有以下特征： ① 研究議題多元化： 從最初對多模態(tài)資源本身的研究，擴展到多模態(tài)資源的互動研究，并嘗試進一步將司法話語多模態(tài)研究與不同的情景、社會和文化因素聯(lián)系，使得研究議題更加多元化。② 研究對象細分化： 體現(xiàn)在對研究所涉及的模態(tài)資源和所關(guān)注的司法活動參與者類型的劃分越來越細致、明確。③ 研究方法多樣化： 不僅運用了系統(tǒng)功能語言學、會話分析、民族志研究、批評性話語分析等理論方法，而且結(jié)合了靜態(tài)和動態(tài)、微觀和宏觀等不同分析層面。

三、司法話語多模態(tài)研究路徑

當下的司法話語多模態(tài)研究主要有兩種研究路徑： 一種基于會話分析(Conversational Analysis， 簡稱CA)，以馬德森等人基于美國刑事庭審的研究為代表。該路徑通過對庭審中多模態(tài)資源的定性研究，考察司法話語多模態(tài)的會話組織結(jié)構(gòu)及其背后的社會秩序和組織結(jié)構(gòu)。另一種則基于系統(tǒng)功能語言學(Systemic Functional Linguistics， 簡稱SFL)，以馬丁及其團隊為代表。他們借鑒SFL的理論框架和研究方法，選取了澳大利亞恢復(fù)性司法(restorative justice)的一種重要形式——青少年司法協(xié)商會議作為研究對象，(23)王振華.詹姆斯·R·馬丁的司法語言研究及其啟示[J].當代外語研究，2012(01)： 19-24.將對語言的研究延伸至用于構(gòu)建意義的其他模態(tài)。下面我們將分別對兩種研究路徑進行簡要介紹和分析。

(一) 基于CA的研究路徑

基于CA的司法話語多模態(tài)研究強調(diào)模態(tài)資源與社會組織結(jié)構(gòu)之間的緊密聯(lián)系，認為身勢語、聲音、視覺模態(tài)，以及庭審證物(如音頻、視頻、照片等)在司法話語中的使用都是司法活動參與者用于實現(xiàn)交際目的的互動資源，具有穩(wěn)定的、重復(fù)出現(xiàn)的特征。例如，馬德森等(2016)通過對一起美國刑事庭審的個案分析，指出檢察官在運用語言資源進行辯論的同時，借助手勢和視線等模態(tài)將不同證人對被告的指證相互關(guān)聯(lián)，進而將被告的行為納入已有判例范疇，以實現(xiàn)對被告定罪的目的。(24)Gregory Matoesian， Christopher Roy， Elizabeth Mertz. Translating Token Instances of “This” into Type Patterns of “That”[M]//Elizabeth Mertz， William K. Ford， and Gregory Matoesian， eds. Translating the Social World for Law： Linguistic Tools for a New Legal Realism.NY： Oxford University Press， 2016： 55-84.該類方法認為，模態(tài)意義是意向性行為的產(chǎn)物，存在于司法活動參與者在社會、文化和物質(zhì)語境下的實踐和具身行為中， 并最終通過司法話語中的多模態(tài)資源得以顯化。正如馬喬里·古德溫(Marjorie Goodwin)和查爾斯·古德溫(Charles Goodwin)在研究手勢意義時所指出：“通過研究特定事件中的手勢，不僅能詳細了解事件參與者如何理解該手勢意義，而且能了解他們?nèi)绾螌⑦@種意義看作事件所處的社會結(jié)構(gòu)的構(gòu)成特征”。(25)Marjorie H. Goodwin and Charles Goodwin， Gesture and Co-participation in the Activity of Searching for a Word[J]. Semiotica， 1986(1)： 51-76.

因此，該類方法側(cè)重分析司法活動參與者利用多模態(tài)資源在司法話語所實施的行為(action)，并據(jù)此考察不同模態(tài)資源在司法活動中共同構(gòu)成的話語組織結(jié)構(gòu)，以揭示其背后的社會結(jié)構(gòu)特征。例如，馬德森(Matoesian)研究了庭審交叉詢問階段中辯方律師用于控制對方證人的話輪設(shè)計，以及這種控制如何通過語言與手勢、聲音等其他模態(tài)共同構(gòu)建的序列結(jié)構(gòu)來實現(xiàn)，并揭示了該類序列組織所體現(xiàn)的權(quán)力差異。(26)Gregory Matoesian. Nailing Down an Answer： Participations of Power in Trial Talk[J]. Discourse Studies， 2005， 7(6)： 733-759.

基于CA的司法話語多模態(tài)研究繼承并發(fā)展了CA研究方法。該研究路徑遵守了CA研究中的語料驅(qū)動原則，將司法話語多模態(tài)視為一種社會行為，沿用了CA研究的核心觀念，即“社會行為的方方面面都會表現(xiàn)出具有組織性的模式，而且這些模式具有穩(wěn)定的、重復(fù)出現(xiàn)的結(jié)構(gòu)特征，”(27)于國棟，李楓.會話分析： 尊重語言事實的社會學研究方法[J].科學技術(shù)哲學研究，2009，26(2)： 14-17.并借助話輪設(shè)計、序列組織等核心概念切入研究。例如，洛倫佐-杜斯(Lorenzo-Dus)(2008)通過研究庭審電視節(jié)目語料，發(fā)現(xiàn)庭審互動中的沖突序列遠多于非沖突序列，證明了庭審互動以沖突為主。(28)Nuria Lorenzo-Dus. Real Disorder in the Court： An Investigation of Conflict Talk in US Television Courtroom Shows[J]. Media， Culture & Society， 2008(1)： 81-107.馬德森(Matoesian)(2018)研究了包含律師反對行為的庭審問答序列組織，通過分析多模態(tài)資源在其中所起的作用，指出了該類序列組織與一般庭審問答序列組織的差異。(29)Gregory Matoesian. This is Not a Course in Trial Practice： Multimodal Participation in Objections[J]. Journal of Pragmatics， 2018(129)： 199-219.

基于CA的司法話語多模態(tài)研究也推動了CA研究理論與實踐的發(fā)展： ① 將研究對象從日常生活中的言語互動(talk-in-interaction)擴展到司法話語中的言身互動(talk-and-body-in-interaction)。② 跨學科視角的拓展： CA作為社會學的一個分支，本身與語言學、心理學、人類學(尤其是民族志方法)等學科存在交叉?；贑A的司法話語多模態(tài)研究又進一步結(jié)合了法學、犯罪學和符號學中的相關(guān)理論和概念，對庭審中的模態(tài)資源進行了研究。③ 與傳統(tǒng)CA研究只關(guān)注語言序列結(jié)構(gòu)所構(gòu)成的內(nèi)部語境不同，基于CA的司法話語多模態(tài)研究同樣關(guān)注由物質(zhì)、文化、社會和心理等因素所構(gòu)成的外部語境，并強調(diào)模態(tài)資源在被語境塑造的同時，也會對語境產(chǎn)生影響。例如，馬德森(Matoesian)和吉爾伯特(Gilbert)分析了在美國刑事庭審中律師如何通過語言、手勢和聲音模態(tài)之間的互動將案件重新語境化，以達到說服陪審團的目的。(30)Gregory Matoesian, Kristin Gilbert. Let the Fingers Do the Talking： Language， Gesture and Power in Closing Argument [M]//Janny Leung and Alan Durant， eds. Meaning and Power in the Language of Law. Cambridge： Cambridge University Press， 2018： 137-163.

(二) 基于SFL的研究路徑

基于SFL的司法話語多模態(tài)研究以SFL為理論框架，旨在將語言的組織原則運用于描述其他模態(tài)系統(tǒng)，并通過解釋模態(tài)資源之間的協(xié)作以揭示司法話語多模態(tài)意義的構(gòu)建和實現(xiàn)過程。該研究路徑借助SFL中的元功能、實例化和語篇語義等核心概念和范疇分析多模態(tài)所構(gòu)建的意義。例如，扎帕維尼亞(Zappavigna)等在SFL理論框架下分析了青少年司法協(xié)商會議中參與者的身勢語與聲音互動的三種模式及其作用；(31)Michele Zappavigna， et al. The Coupling of Gesture and Phonology[M]//Monika Bednarek and J.R. Martin， eds. New Discourse on Language： Functional Perspectives on Multimodality， Identity， and Affiliation. Bloomsbury Publishing， 2010： 219-236.羅伊斯(Royce)應(yīng)用SFL分析框架分析了法律漫畫中圖像和語言模態(tài)之間的互動，并指出雖然現(xiàn)有理論框架一定程度上能夠用于分析不同的模態(tài)資源，但仍需進一步拓展以處理更多層次和更為復(fù)雜的意義表征。(32)Terry D. Royce. Intersemiotic Complementarity in Legal Cartoons： An Ideational Multimodal Analysis[J]. International Journal for the Semiotics of Law， 2015， 28(4)： 719-744.

此外，基于SFL的司法話語多模態(tài)研究還結(jié)合了社會學、拓撲學等其他學科視角，將司法話語中的不同模態(tài)資源和司法語境有機地結(jié)合起來，探究不同模態(tài)資源的功能和組織形式，以及不同模態(tài)資源之間的相互作用。例如，扎帕維尼亞等借助耦合(coupling)思想，分析了參與者如何通過身勢語和語言的互動將評價意義與概念意義耦合，從而達到情感協(xié)商的目的。(33)Michele Zappavigna， Paul Dwyer， J.R. Martin. Syndromes of Meaning： Exploring Patterned Coupling in an NSW Youth Justice Conference[M]//Ahmar Mahboob and Naomi Knight， eds. Questioning Linguistics. Cambridge： Cambridge Scholars Publishing， 2009： 165-187.馬丁(Martin)總結(jié)了澳大利亞青少年司法協(xié)商會議中不同參與者利用多模態(tài)資源所實現(xiàn)的意義模式，并借助社會學中的合法化語碼理論(Legitimation Code Theory)，根據(jù)不同意義模式劃分出了青少年當事人所實現(xiàn)的不同身份類型。

基于SFL的司法話語多模態(tài)研究重點關(guān)注不同模態(tài)在司法語境中所實現(xiàn)的意義。一方面，該研究路徑認為語言之外的模態(tài)與語言類似，是一個基于聚合關(guān)系的多層級選擇網(wǎng)絡(luò)。在司法活動中，參與者從不同選擇網(wǎng)絡(luò)中作出選擇，并最終通過具象化過程(instantiation)表現(xiàn)為不同的模態(tài)，以實現(xiàn)特定的元功能和意義。例如扎帕維尼亞(Zappavigna)和馬丁(Martin)構(gòu)建了一個以元功能為導(dǎo)向的身勢語系統(tǒng)框架，并利用該框架分析了青少年司法協(xié)商會議中參與者利用身勢語與語言共同構(gòu)建的意義。(34)Michele Zappavigna， J. R. Martin. Discourse and Diversionary Justice： An Analysis of Youth Justice Conferencing[M]. Cham： Palgrave Macmillan， 2017.另一方面，該研究路徑強調(diào)司法語境的重要性，認為模態(tài)意義產(chǎn)生于語境，是模態(tài)系統(tǒng)與司法語境之間的關(guān)聯(lián)產(chǎn)物。簡言之，基于SFL的司法話語多模態(tài)研究認為模態(tài)的意義來源于使用者在司法語境中的選擇，并通過不同模態(tài)的特定組織方式得以實現(xiàn)。

(三) 討論

綜上所述，基于CA的司法話語多模態(tài)研究強調(diào)從司法交際活動本身出發(fā)，側(cè)重于在微觀層面上分析司法話語多模態(tài)現(xiàn)象中不易被察覺，或者人們習以為常的細節(jié)，以揭示這些司法話語中的交際細節(jié)背后所隱藏的互動秩序，從而有效地描寫和解釋司法活動中的社會組織性。而基于SFL的司法話語多模態(tài)研究則更注重研究司法語境與司法話語多模態(tài)資源之間的互動，強調(diào)從宏觀層面分析社會文化因素對司法話語中多模態(tài)資源使用的影響，解讀多模態(tài)資源所具有的超越語篇層面的社會功能。盡管兩種研究路徑的側(cè)重點有所不同，但都圍繞著司法話語多模態(tài)、司法活動參與者以及司法話語所處的社會語境展開，都屬于社會功能視角下的研究；兩者相互聯(lián)系、互為補充，為司法話語多模態(tài)研究提供了重要的方法和參照。

目前司法話語多模態(tài)研究主要基于上述兩種研究路徑絕非偶然，這既源于該研究領(lǐng)域的內(nèi)在特性，又與這兩種研究路徑共同的優(yōu)勢密切相關(guān)。首先，兩種研究路徑所強調(diào)的跨學科視角符合該領(lǐng)域研究的內(nèi)在要求。司法話語作為一種多模態(tài)話語，涉及手勢、聲音、視頻和圖像等不同模態(tài)之間的相互作用，表意機制十分復(fù)雜，其研究涉及多個學科領(lǐng)域。因此單一學科視角下的研究難以充分理解司法話語多模態(tài)交際的全過程。同時，司法話語多模態(tài)研究又是法律語言學研究的一個分支?！胺烧Z言學的應(yīng)用性、綜合性、開放性的特點也促使其需要借鑒其他學科的方法與技術(shù)”。(35)杜金榜.法律語言學[M].上海： 上海外語教育出版社，2004： 27.上述兩種研究路徑提供的跨學科視角不僅豐富了研究的理論依據(jù)，而且能夠擴大司法話語研究視野，提出新問題，從而得到不同于以往的答案。這些都有助于在該領(lǐng)域研究中逐步形成非線性的、多元的、整合的思維方式。

其次，兩種研究路徑都強調(diào)司法語境對于多模態(tài)資源運用的影響，這有利于應(yīng)對司法話語多模態(tài)的機構(gòu)話語特性： 有明確的機構(gòu)任務(wù)或目標；具有話語權(quán)力的不對稱性、職業(yè)活動程序的制約性、話語選擇的策略性和話語推理的特殊性等。(36)呂殊佳，黃萍.語用目的原則與機構(gòu)性話語研究[J].外語學刊，2015(3)： 62-65.司法語境的特殊性決定了司法活動中交際各方之間溝通的形式和內(nèi)容。因此，只有在充分理解司法語境如何影響司法話語中的模態(tài)資源運用方式的前提下，才有可能更全面地解讀司法活動參與者如何使用模態(tài)資源來構(gòu)建、協(xié)商意義。另外，值得注意的是，隨著研究范圍從單一語言模態(tài)擴展到多種模態(tài)研究，“語境”概念需要全新的詮釋。因此，這兩種研究路徑都將“語境”看作是“多種符號模式交錯組成的連貫統(tǒng)一體”，(37)Gunther Kress, Theo van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication[M]. London; New York： Arnold， 2001： 80.取代了原本 “指向語篇之外”的語境概念，從而打破了以往司法話語研究中對于語篇和語境的分割，將以往很多傳統(tǒng)話語理論所界定的“語境”列入話語分析范圍之內(nèi)，如法庭布局、證物等。

四、司法話語多模態(tài)研究問題與展望

毋庸置疑，司法話語多模態(tài)研究已經(jīng)取得了顯著的成績。但是，該研究中仍然存在著一定的局限性。本節(jié)首先簡要概括現(xiàn)階段該研究存在的問題，然后在此基礎(chǔ)上作出展望。

(一) 當下司法話語多模態(tài)研究中的問題

首先，在理論方面，雖然現(xiàn)階段的司法話語多模態(tài)研究都強調(diào)結(jié)合不同的學科、理論視角，但在實際分析中仍主要基于語言學理論，與其他學科、理論之間的融合和互動不夠充分。在具體分析過程中，體現(xiàn)為語言學分析和其他學科理論視角下的分析往往各自獨立，各司其職，未能形成合力，因而得出的研究結(jié)論很難對不同模態(tài)所屬學科的理論有所貢獻。此外，該領(lǐng)域的研究對于一些共同的核心概念仍然存在不同的理解。以“模態(tài)”這一重要概念為例，基于CA的司法話語多模態(tài)研究并沒有對模態(tài)給出明確的定義，而是從感官出發(fā)，將聽覺模態(tài)(聲音)、視覺模態(tài)(手勢、照片、花瓶等證物)等都視為研究對象?；赟FL的司法話語多模態(tài)研究只將作為表意資源的符號系統(tǒng)視為模態(tài)，因此將證物等非符號系統(tǒng)排除在研究范圍之外。模態(tài)的界定對于準確描述多模態(tài)資源以及不同模態(tài)之間的關(guān)系至關(guān)重要。正如約翰·貝特曼(John Bateman)所強調(diào)的，模態(tài)的定義必須要精確和嚴謹，否則無助于方法論的發(fā)展和可重復(fù)性分析的實現(xiàn)。(38)John Bateman. Text and Image： A Critical Introduction to the Visual/Verbal Divide[M]. London： Routledge， 2014.但是，模態(tài)作為不同學科中的共同研究對象，應(yīng)該如何被概念化，選擇什么樣的術(shù)語對其進行闡釋？針對這一問題，“不同的研究路徑之間仍存在分歧，且現(xiàn)階段難以判定哪一種更具權(quán)威性”。(39)Charles Forceville. Relevance Theory as Model for Analysing Visual and Multimodal Communication[M]//David Machin， eds. Visual Communication. Berlin： Mouton de Gruyter， 2014： 51-70.

其次，在研究方法方面，當下的司法話語多模態(tài)研究仍然以基于個案的定性研究為主，缺乏實證性的定量研究。個案研究的優(yōu)勢在于通過細致、綜合的分析發(fā)現(xiàn)個案的語篇特征。但其所依據(jù)的語料往往缺乏代表性，難以全面揭示司法話語中多模態(tài)資源的運用規(guī)律，以及不同模態(tài)資源的共現(xiàn)模式。再者，因為缺乏實證性定量研究的驗證，個案研究的結(jié)論不僅很難真正被概括到普遍性的層面上，還使得司法話語多模態(tài)研究分析過程顯得相當?shù)碾S意和主觀。(40)Carey Jewitt， eds. The Routledge Handbook of Multimodal Analysis (2nd)[M]. London： Routledge， 2016： 26.造成這種現(xiàn)狀的原因之一是因為真實司法話語語料的收集具有一定難度。馬丁(Martin)及其團隊的研究主要圍繞著青少年司法協(xié)商會議進行的，屬于非正式的司法話語研究；馬德森(Matoesian)進行的一系列研究都是借助少量有影響力的美國刑事案件庭審錄像，缺乏規(guī)模。另一個原因則是因為司法話語多模態(tài)研究中涉及的多模態(tài)資源種類繁多，因此大規(guī)模的定量統(tǒng)計分析需要大量的人力和時間成本，增加了定量研究的難度。雖然很多專門用于多模態(tài)分析的軟件(如MMAV、ELAN等)已經(jīng)被應(yīng)用到了實踐中，(41)Bradley A. Smith， et al. Analysing Multimodality in an Interactive Digital Environment： Software as a Metasemiotic Tool[J]. Social Semiotics， 2011， 21(3)： 359-380.(42)Victor Lim Fei， et al. Teaching Visual Texts with the Multimodal Analysis Software[J]. Educational Technology Research and Development， 2015， 63(6)： 915-935.(43)Kay L. O’Halloran， et al. A Digital Mixed Methods Research Design： Integrating Multimodal Analysis With Data Mining and Information Visualization for Big Data Analytics[J]. Journal of Mixed Methods Research， 2018， 12(1)： 11-30.但這些分析軟件并不具備自動標注功能，凡是涉及語義分析的工作仍需依靠人工標注。

最后，在分析角度方面，現(xiàn)階段司法話語多模態(tài)研究仍局限于語篇創(chuàng)造者角度下的研究，重點關(guān)注模態(tài)間的互動，以及模態(tài)對于意義的貢獻。語篇創(chuàng)造者角度下的研究缺陷在于預(yù)設(shè)了每個多模態(tài)語篇都具有創(chuàng)造者試圖表達的意義，并且所有接受者都會按照創(chuàng)造者的意圖來理解。因此，司法話語多模態(tài)研究也有必要同時結(jié)合語篇接受者角度下的分析，關(guān)注受眾選擇和處理模態(tài)資源的能力；并結(jié)合心理現(xiàn)實性證據(jù)，從多模態(tài)語篇的吸引力和復(fù)雜性等維度考察受眾對多模態(tài)語篇的接受情況。(44)Jana Holsanova. New Methods for Studying Visual Communication and Multimodal Integration[J]. Visual Communication， 2012， 11(3)： 251-257.之所以缺乏語篇接受者角度下的研究，首先是因為受制于司法活動嚴格的程序規(guī)定，司法活動參與者很多情況下無法對對方的話語作出即時回應(yīng)，所以接受者的即時反應(yīng)往往很難直接獲取。另外，司法話語中涉及多種模態(tài)資源，現(xiàn)階段司法話語多模態(tài)研究只能選取有限的模態(tài)進行研究。但接受者無法對不同模態(tài)作出獨立反應(yīng)，只能對整個多模態(tài)話語作出整體反應(yīng)。因此從接受者角度下的分析很難分辨出特定模態(tài)的作用，以及特定模態(tài)之間的互動機制。

綜上所述，當下的司法話語多模態(tài)研究不可避免地存在一些不足，這也表明司法話語多模態(tài)研究“仍然是一個新興領(lǐng)域，還有很多方法論發(fā)展的空間和需求”。(45)Anders Bjorkvall. Multimodality[M]//Janola Ostman and Jef Verschueren， eds. Handbook of Pragmatics. Amsterdam： John Benjamins， 2012： 1-20.

(二) 未來司法話語多模態(tài)研究展望

基于前文歸納出的現(xiàn)階段司法話語多模態(tài)研究中的不足，結(jié)合當今數(shù)字技術(shù)的發(fā)展及其在司法活動中的應(yīng)用情況，可以對該領(lǐng)域未來發(fā)展趨勢作出如下展望：

首先，司法話語多模態(tài)研究還處于起步階段，下一階段研究仍將聚焦于理論的探索和創(chuàng)新，主要包括兩個方面： 一是促進不同學科(如法學、語言學、社會學、認知科學和心理學等)之間的進一步融合，以解決當下研究以語言學研究為主而與其他學科互動不夠充分的問題；同時也能更好地協(xié)調(diào)不同學科中的關(guān)鍵概念，從而厘清該領(lǐng)域中一些原本模糊的概念，比如對模態(tài)的定義。二是關(guān)注如何將更多的理論視角應(yīng)用到該領(lǐng)域研究中。例如，隨著近年來多模態(tài)認知隱喻研究(46)Charles Forceville. Visual and Multimodal Metaphor in Advertising： Cultural Perspectives[J]. Styles of Communication， 2017(2)： 26-41.的迅猛發(fā)展，如何將認知視角應(yīng)用到司法話語多模態(tài)分析中，與當下以社會功能視角為主的研究形成對話與融合，將會是未來該領(lǐng)域理論探討的一個熱點。

其次，司法話語多模態(tài)實證研究將得到有力推進，以應(yīng)對現(xiàn)階段研究中最突出的問題： 缺乏基于大量真實語料的實證分析。(47)John Bateman. Text and Image： A Critical Introduction to the Visual/Verbal Divide[M]. London： Routledge. 2014.實證研究發(fā)展的重要方向之一是開展基于語料庫的司法話語多模態(tài)研究，打破個案分析的局限，更客觀地分析司法話語中多模態(tài)運用特征，并驗證司法話語多模態(tài)理論模型。司法話語多模態(tài)語料庫還能應(yīng)用于司法話語記錄、司法話語翻譯等司法實踐活動中。實證研究發(fā)展的方向之二是結(jié)合更多的實證研究角度。例如，在關(guān)注語篇創(chuàng)造者角度下研究的同時，結(jié)合從語篇接受者角度出發(fā)的司法話語多模態(tài)實證研究，利用問卷調(diào)查、訪談、測試等傳統(tǒng)方法，以及借助眼動儀、事件相關(guān)電位(ERP)等實驗設(shè)備和機器學習的方法，考察司法活動參與者對司法話語多模態(tài)的認知和接受。例如，最新針對審訊場景設(shè)計的多模態(tài)情緒分析系統(tǒng)通過深度學習，可以進行人臉圖像分類和微表情識別，并在此基礎(chǔ)上通過其核心算法系統(tǒng)分別對生理信號、文本語義、人體姿態(tài)、語音聲紋、面部表情等多模態(tài)語義進行分析和關(guān)聯(lián)，將語義信息對情緒變化的反映程度進行融合、對應(yīng)，從而更加精確地推理出語篇接受者的情緒心理狀態(tài)?！皬牟煌嵌瘸霭l(fā)的實證研究不僅有助于驗證對多模態(tài)話語解讀的認識，還能為進一步探討多模態(tài)話語的意義構(gòu)建提供客觀理據(jù)”。(48)馮德正，張德祿，Kay O’Halloran.多模態(tài)語篇分析的進展與前沿[J].當代語言學，2014(1)： 88-99.實證研究發(fā)展的方向之三是在司法話語多模態(tài)共性研究的基礎(chǔ)上，關(guān)注司法話語中的多模態(tài)資源在特定法律體系與文化中的使用特征。在全球化背景下，司法活動參與者往往具有不同的文化背景。通過對比司法話語中的多模態(tài)資源在不同法系、文化中的使用和理解模式之間的差異，有助于消除司法話語中因文化差異而引起的誤解，確保司法活動的效率和質(zhì)量。

最后，數(shù)字技術(shù)的發(fā)展對司法話語方式和過程的影響愈發(fā)明顯，司法話語的復(fù)雜性也隨之加劇，如何應(yīng)對科技發(fā)展給司法話語多模態(tài)研究帶來的挑戰(zhàn)將會成為該領(lǐng)域的重要議題。新技術(shù)在司法話語中的應(yīng)用不僅會為司法話語引入新模態(tài)，也會改變傳統(tǒng)模態(tài)的使用方式，新的模態(tài)關(guān)系也隨之產(chǎn)生，從而使得研究對象更為復(fù)雜。另外，科技的發(fā)展還會影響司法話語中模態(tài)的意義潛勢。因為“媒體不僅僅展現(xiàn)語篇的意義，也會增加語篇的意義”。(49)Gunther Kress, Theo van Leeuwen. Multimodal Discourse： The Modes and Media of Contemporary Communication[M]. London; New York： Arnold， 2001： 54.科技的發(fā)展還可能會改變當下司法活動的程序及組織形式，導(dǎo)致新的司法話語語類的產(chǎn)生。這些科技發(fā)展所帶來的潛在影響都對司法話語多模態(tài)研究理論的發(fā)展和方法的改進提出了挑戰(zhàn)。

五、結(jié) 語

司法話語多模態(tài)研究將語言之外的模態(tài)納入研究范圍，為司法話語研究提供了新的理論和分析視角。為了更好地了解該領(lǐng)域的研究現(xiàn)狀，本文對該領(lǐng)域現(xiàn)有研究進行了反思，歸納了現(xiàn)階段司法話語多模態(tài)研究中三類主要議題；總結(jié)出了當下兩種主要研究路徑： 基于CA和基于SFL的研究；并基于現(xiàn)階段該領(lǐng)域研究中存在的問題，對其未來的發(fā)展方向進行了展望。正如馬德森(Matoesian)所指出，“單獨研究司法話語的語言很難看到司法話語中意義構(gòu)建與交際的全貌”。(50)Gregory Matoesian. Multimodality and Forensic Linguistics： Multimodal Aspects of Victim’s Narrative in Direct Examination[M]//Malcolm Coulthard and Alison Johnson， eds. The Routledge Handbook of Forensic Linguistics. New York： Routledge， 2010： 541-557.通過對研究現(xiàn)狀的反思可以發(fā)現(xiàn)，司法話語多模態(tài)研究不僅為司法話語研究提供了新的理論視角，也能在司法語境中驗證多模態(tài)理論的適用性，推進法律語言學和多模態(tài)研究的理論發(fā)展，加深跨學科間的交流。另一方面，司法話語多模態(tài)實證研究能為不同司法場景中的實踐活動提供借鑒，為提高司法效率提效賦能。因此，未來司法話語多模態(tài)研究的蓬勃發(fā)展將更好地實現(xiàn)法律語言學探究司法話語本質(zhì)的學術(shù)使命，和助力司法實踐、實現(xiàn)司法公平正義的社會價值。