會(huì)話沉默的意義：基于體認(rèn)語(yǔ)言觀的多模態(tài)解析*

黃萍 蔡可陽(yáng)

（黑龍江大學(xué)西語(yǔ)學(xué)院，哈爾濱 150080）

提 要：對(duì)會(huì)話沉默意義的研究在語(yǔ)言學(xué)領(lǐng)域中經(jīng)歷會(huì)話分析、經(jīng)典語(yǔ)用學(xué)、認(rèn)知語(yǔ)用學(xué)等多維視角。 體認(rèn)語(yǔ)言學(xué)及其哲學(xué)觀的轉(zhuǎn)向可以為會(huì)話沉默提供新的研究思路。 體認(rèn)語(yǔ)言學(xué)以后現(xiàn)代哲學(xué)和體驗(yàn)哲學(xué)為基礎(chǔ)，秉持唯物主義語(yǔ)言觀和人本加工觀，強(qiáng)調(diào)人類語(yǔ)言的“互動(dòng)體驗(yàn)”和“認(rèn)知加工”屬性。 體認(rèn)語(yǔ)言觀決定會(huì)話沉默意義的多模態(tài)研究視角。 多模態(tài)互動(dòng)體驗(yàn)是會(huì)話沉默意義識(shí)解的前提，認(rèn)知加工是重要環(huán)節(jié)。 多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)的研究方法可以為研究沉默的意義乃至人類其它交際行為和話語(yǔ)活動(dòng)提供互動(dòng)體驗(yàn)和認(rèn)知加工的多模態(tài)數(shù)據(jù)，確保體認(rèn)語(yǔ)言觀從哲學(xué)層面到實(shí)證層面的實(shí)現(xiàn)。

1 引言

會(huì)話沉默是人類社會(huì)交往行為中普遍存在的一種交際現(xiàn)象，有學(xué)者認(rèn)為它屬于非言語(yǔ)交際行為（Robbins et al. 1978：38 -46）；有學(xué)者認(rèn)為它屬于副語(yǔ)言特征（Crystal， Davy 1969； Taylor，Taylor 1990）；有學(xué)者認(rèn)為它就是一種特殊的言語(yǔ)行為（Kurzon 2007：1673 -1688），是位于臨界位置的言語(yǔ)形式（Jaworski 1993：95），即一種字面意義完全缺省卻具有話語(yǔ)意義的間接言語(yǔ)行為；還有學(xué)者認(rèn)為要做靈活處理，有些沉默屬于非言語(yǔ)交際形式，有些沉默屬于言語(yǔ)交際形式（Saville-Troike 1982：227）。 無(wú)論從哪個(gè)角度看待該現(xiàn)象，會(huì)話沉默具有意義，發(fā)揮著重要的交際功能是達(dá)成共識(shí)的。 對(duì)會(huì)話沉默意義的研究具有多元理論視角，涵蓋運(yùn)用會(huì)話分析、合作原則、禮貌原則的語(yǔ)用視角解讀以及運(yùn)用關(guān)聯(lián)理論的認(rèn)知語(yǔ)用視角解讀，等等。 然而，隨著后現(xiàn)代哲學(xué)和認(rèn)知語(yǔ)言學(xué)兩種學(xué)術(shù)思潮的發(fā)展與融合，體認(rèn)語(yǔ)言學(xué)得以建構(gòu)（王寅2015：2 -11），突破索喬二氏的語(yǔ)言觀，融合辯證唯物論和人本觀，形成體認(rèn)語(yǔ)言觀。 基于后現(xiàn)代思潮影響下的體認(rèn)語(yǔ)言觀，對(duì)會(huì)話沉默的意義進(jìn)行再解讀尤為必要。

2 會(huì)話沉默的界定

2.1 什么是會(huì)話沉默

會(huì)話沉默，即在會(huì)話過程中“不發(fā)聲”（the absence of vocalization）或“不說話”（period of nonspeech）（Levinson 1983：299，326）。 但是，是誰(shuí)不說話， 是在什么時(shí)候不說話？ Формановская（1998）認(rèn)為沉默可以分為“聽話人的沉默”和“說話人的沉默”。 “聽話人沉默是聽話人的角色義務(wù)和禮貌合作行為，并且發(fā)出自己參與交際的言語(yǔ)和非言語(yǔ)信號(hào)……以此來(lái)確認(rèn)自己對(duì)于交際的關(guān)注與理解。 說話人沉默則屬于說話人的角色，當(dāng)聽話人等待他的話語(yǔ)反應(yīng)時(shí)，他卻一言不發(fā)，其語(yǔ)言符號(hào)呈零位狀態(tài)?！保ɡ铠P琴2010：56 -59）。本文所指的會(huì)話沉默是說話人角色的沉默，可以分為不同類型。

說話人角色的沉默指在什么時(shí)候不說話呢。會(huì)話由話輪（turn）組成，話輪是會(huì)話的基本構(gòu)成單位。 自然會(huì)話中，參與者根據(jù)話輪轉(zhuǎn)換規(guī)則（turn-taking rules）輪番說話，也正是“話輪轉(zhuǎn)換規(guī)則本身賦予給會(huì)話沉默以不同的值”（Value），“沉默所處的結(jié)構(gòu)位置”（structural location）決定帶有不同意義的沉默類型（Levinson 1983：326）。左巖（1996） 綜合 Fasold （1990：108）、 Tannen（1984：30）以及Levinson（1983：326）等人的界定，將會(huì)話沉默分類為：（1）話輪內(nèi)沉默又稱停頓，發(fā)生于話輪之內(nèi)；（2）話輪間，發(fā)生在兩個(gè)相鄰話輪之間，分為“空隔”（gap）和“間斷”（lapse）；（3）話輪沉默又稱意義或可歸屬沉默（attributable silence）（Schegloff， Sacks 1973），是指單獨(dú)充當(dāng)一個(gè)話輪的沉默，該沉默屬于被選定的下一個(gè)說話人，有主可歸，具有豐富的意義，故曰“意義沉默”。 （左巖1996：13 -21）會(huì)話沉默依存于話語(yǔ)，是伴隨著話語(yǔ)而產(chǎn)生的一種交際行為。 沉默發(fā)生于會(huì)話中不同的結(jié)構(gòu)位置，可以通過話輪、話輪轉(zhuǎn)換規(guī)則等概念從形式上進(jìn)行清晰地界定。

2.2 會(huì)話沉默的意義

目前人類交際理論廣泛接受的假設(shè)之一是“人不能不交流”（a person cannot not communicate）（Watzlawick et al. 1967：48 -49）。 沉默也是一種交流，無(wú)論做出沉默的人是否愿意，聽者或者觀察者都會(huì)假定沉默時(shí)思維過程正在發(fā)生并賦予沉默以意義。 Johannesen（1974）據(jù)此將沉默可能被賦予的意義歸納概括為如下20 點(diǎn)：（1）此人缺乏足夠的信息來(lái)談?wù)撨@個(gè)話題。 （2）此人對(duì)說話沒有任何緊迫感。 （3）此人正在仔細(xì)考慮接下來(lái)該說什么。 （4）此沉默可能只是反映了此人的正常思維速度。 （5）此人出于恐懼而避免討論一個(gè)有爭(zhēng)議的或敏感的問題。 （6）此沉默表示同意。 （7）此沉默表示不同意。 （8）此人心懷疑慮或優(yōu)柔寡斷。 （9）此人很無(wú)聊。 （10）此人不確定他人的意思。 （11）此人心懷敬畏，全神貫注，或情緒上克制。 （12）此人很傲慢或無(wú)禮。 （13）此人的沉默是一種懲罰他人的手段，通過將他人排除在語(yǔ)言交流之外，從而象征性地消滅他人。（14）此人的沉默標(biāo)志著一種典型的人格障礙。（15）盡管此人渴望溝通，但他還是感覺難以表達(dá)；也許主題更適合于直觀的感知，而不是口頭討論。 （16）此人的沉默反映了他不想說任何話來(lái)傷害他人的善意。 （17）此人在做白日夢(mèng)或?qū)Ｗ⒂谄渌虑椤?（18）此人利用沉默來(lái)增強(qiáng)自己的孤立、獨(dú)立和自我獨(dú)特感。 （19）此沉默標(biāo)志著憤怒。 （20）此人的沉默反映了共情的交流，是一種分享情緒或洞見的陪伴。

然而，上述關(guān)于沉默的意義又是怎么生成和理解的呢；說話人在會(huì)話過程中做出的沉默，聽者是如何感知和識(shí)解的呢；不同的理論視角有不同的認(rèn)識(shí)和解析。

3 會(huì)話沉默意義已有研究的理論視角

會(huì)話沉默作為日常會(huì)話中普遍存在的交際現(xiàn)象，以一種語(yǔ)音形式缺省的方式出現(xiàn)在會(huì)話中，帶著說話人的意圖，具有豐富的會(huì)話含義。 對(duì)會(huì)話沉默意義的研究呈現(xiàn)出多元理論視角，涵蓋運(yùn)用會(huì)話分析、合作原則、禮貌原則等經(jīng)典語(yǔ)用視角解讀以及運(yùn)用關(guān)聯(lián)理論的認(rèn)知語(yǔ)用視角解讀等。

3.1 關(guān)于會(huì)話沉默意義的語(yǔ)用解讀

會(huì)話沉默是一種會(huì)話現(xiàn)象，自然就成為會(huì)話分析者關(guān)注的對(duì)象。 會(huì)話分析是研究如何通過互動(dòng)對(duì)話（talk-in-interaction）來(lái)完成社會(huì)行動(dòng)的方法（Schegloff 1996：161 - 261）。 薩克斯（Harvey Sacks 1974）、謝格洛夫（Emanuel Schegloff 1974）、杰斐遜（Gail Jefferson 1974）、萊文森（Levinson 1974）等會(huì)話分析者主要從序列結(jié)構(gòu)（sequence organization）和偏好結(jié)構(gòu)（preference organization）維度研究會(huì)話沉默。 根據(jù)話輪轉(zhuǎn)換規(guī)則，沉默在會(huì)話序列結(jié)構(gòu)中出現(xiàn)的位置決定了沉默的類型，正如前文（2. 1 小節(jié)）對(duì)沉默的分類。 Levinson（1983）認(rèn)為，相鄰對(duì)的前輪與后輪之間，存在很強(qiáng)的過渡關(guān)聯(lián)（transition relevance），該“過渡關(guān)聯(lián)”賦予相鄰語(yǔ)對(duì)的后輪部分很高的“結(jié)構(gòu)期望值”，從而使位于其處的沉默由于“關(guān)聯(lián)缺省”（relevant absence）而含義豐富（左巖1996：13 -21）。

對(duì)于這種由沉默產(chǎn)生的“關(guān)聯(lián)缺省”，如果從經(jīng)典語(yǔ)用學(xué)的“會(huì)話含義理論”視角來(lái)看，則被視為是對(duì)“合作原則”（Cooperative Principle）的“量準(zhǔn)則”（Quantity）或者“關(guān)聯(lián)準(zhǔn)則”（Relevance）的違反（Ephratt 2012：62 -79），由此產(chǎn)生會(huì)話含義。而作為表層意義完全缺失的會(huì)話沉默，是如何在深層上表達(dá)意義，而聽話人又是如何成功而準(zhǔn)確地解讀會(huì)話沉默的含義，單從違反合作原則的各個(gè)準(zhǔn)則方面來(lái)解析，似乎并不能充分說明問題，需要聽話人根據(jù)語(yǔ)境、共有知識(shí)、背景信息、沉默人的反應(yīng)等諸多要素去推導(dǎo)沉默者的意圖，即會(huì)話沉默的意義。

會(huì)話沉默還被看作是禮貌的一個(gè)重要特征，引起諸多學(xué)者的關(guān)注（Salille-Troike 1985：3 -18）。 Sifianou（1997）認(rèn)為沉默可以被用來(lái)實(shí)現(xiàn)Brown 和Levinson（1987）所指出的禮貌策略。 他從積極面子、消極面子以及積極禮貌和消極禮貌等維度闡述沉默在日常交際中發(fā)揮的交際功能，作為維護(hù)面子的策略手段， 規(guī)避言語(yǔ)交際形式可能帶給對(duì)方的壓迫和尷尬。 會(huì)話沉默作為表達(dá)禮貌意義的方式之一， 常以其間接性和含蓄性來(lái)維持交際雙方的和諧關(guān)系， 實(shí)現(xiàn)人際的禮貌互動(dòng)。當(dāng)然，會(huì)話沉默具有文化差異。 在某一特定文化背景下，沉默被賦予敬意、同意、謙讓、友好的語(yǔ)用含義，而在另外一個(gè)文化背景下，沉默卻可以就被理解為無(wú)禮、冒犯、漠不關(guān)心等不禮貌的含義。 運(yùn)用禮貌原則，可以從語(yǔ)用策略和人際意義的角度解析會(huì)話沉默的含義，但是在文化視野中，無(wú)法做出普適性的解釋，具有一定的局限。

總之，會(huì)話分析從語(yǔ)言形式的角度將會(huì)話沉默放置在會(huì)話結(jié)構(gòu)的框架內(nèi)進(jìn)行分析，對(duì)于識(shí)別沉默和區(qū)分沉默類型具有重要的操作價(jià)值，合作原則、禮貌原則等語(yǔ)用學(xué)相關(guān)原則可以用來(lái)推導(dǎo)沉默的意義，但是除了社會(huì)和文化因素，沉默意義的理解是一個(gè)開放系統(tǒng)，具有多元推導(dǎo)的性質(zhì)，是一個(gè)推理認(rèn)知的過程。

3.2 關(guān)于會(huì)話沉默意義的認(rèn)知語(yǔ)用解讀

會(huì)話沉默意義的解讀涉及推理認(rèn)知過程，而關(guān)聯(lián)理論不同于會(huì)話含義理論、禮貌原則等經(jīng)典語(yǔ)用學(xué)之處就在于它更為關(guān)注交際中的認(rèn)知加工。 因此運(yùn)用關(guān)聯(lián)理論，從認(rèn)知語(yǔ)用學(xué)視角解析會(huì)話沉默的意義似乎更為合適。

斯波伯（D. Sperber）和威爾遜（D. Wilson）的關(guān)聯(lián)理論認(rèn)為交際就是個(gè)明示—推理的過程（ostensive-inferential communication），認(rèn)為交際是否成功不在于聽話人能否分辨出話語(yǔ)的語(yǔ)義之時(shí)，即識(shí)解出說話人的信息意圖，而在于能否從話語(yǔ)中推斷出說話人意義，即交際意圖（Sperber，Wilson 1986：23）。 會(huì)話沉默盡管以“非言語(yǔ)化”（non-verbalization）的形式出現(xiàn)在交際中，但卻是符號(hào)化的（rather than non-symbolization）（Johannesen 1974：25 -35），因此并不影響交際對(duì)方對(duì)其所傳達(dá)的交際意圖的識(shí)別和解讀。 “人類的認(rèn)知本質(zhì)上是關(guān)聯(lián)導(dǎo)向” （relevance-oriented） 的（Perkins 2007：20），當(dāng)說話人選擇沉默，沉默在那一刻就是交際者的“明示交際行為”，被認(rèn)為具有關(guān)聯(lián)性，該關(guān)聯(lián)系保證值得聽者付出努力的語(yǔ)境效果，同時(shí)聽者不用付出為實(shí)現(xiàn)該語(yǔ)境效果的不當(dāng)努力。 “信息推導(dǎo)實(shí)際上就是聽話人對(duì)認(rèn)知語(yǔ)境內(nèi)容自覺或不自覺的搜索或找尋過程?！保ㄐ軐W(xué)亮1999：101） 因此，對(duì)會(huì)話沉默含義的推導(dǎo)過程就是聽話人對(duì)相應(yīng)認(rèn)知語(yǔ)境的搜索過程。

然而，這樣的認(rèn)知加工過程實(shí)際上是以加工主體與會(huì)話對(duì)方的互動(dòng)乃至整個(gè)語(yǔ)境的互動(dòng)為前提的。 對(duì)于會(huì)話沉默這種較為特殊的交際行為的意義理解，則更加依賴于會(huì)話雙方的“互動(dòng)體驗(yàn)”的過程。

4 會(huì)話沉默意義的體認(rèn)語(yǔ)言觀解讀

4.1 體認(rèn)語(yǔ)言觀的哲學(xué)基礎(chǔ)

“體認(rèn)語(yǔ)言學(xué)”（Embodied-Cognitive Linguistics）是對(duì)國(guó)內(nèi)外主流語(yǔ)言研究學(xué)派“認(rèn)知語(yǔ)言學(xué)”的修補(bǔ)。 這不僅僅是命名問題，而是語(yǔ)言研究立場(chǎng)的轉(zhuǎn)變，是哲學(xué)觀的轉(zhuǎn)變。 體認(rèn)語(yǔ)言觀不同于結(jié)構(gòu)主義、轉(zhuǎn)換生成語(yǔ)法和社會(huì)功能主義等經(jīng)典語(yǔ)言觀。

以索緒爾為代表的結(jié)構(gòu)主義語(yǔ)言學(xué)的哲學(xué)基礎(chǔ)為“分析哲學(xué)”，他深受理想語(yǔ)言學(xué)派的影響，專注于分析理想化、抽象化的“語(yǔ)言系統(tǒng)”，且將其定位于語(yǔ)言內(nèi)部的形式關(guān)系”（王寅2001：7）。喬姆斯基于上個(gè)世紀(jì)50 年代發(fā)起一場(chǎng)針對(duì)結(jié)構(gòu)主義語(yǔ)言學(xué)的革命，創(chuàng)建“轉(zhuǎn)換生成語(yǔ)言學(xué)（TG Linguistics）”。 根據(jù)王寅（2015）的梳理和分析，TG 學(xué)派的哲學(xué)基礎(chǔ)主要受到笛卡爾（Descartes）的天賦論和二元觀的影響以及流行于美國(guó)的邏輯實(shí)證論、科學(xué)主義等的影響。 社會(huì)功能主義語(yǔ)言學(xué)派的發(fā)展，從Malinowski，到Firth，再到Halliday建立系統(tǒng)功能語(yǔ)言學(xué)，其語(yǔ)言觀蘊(yùn)含著語(yǔ)境論、結(jié)構(gòu)功能觀、系統(tǒng)觀。 這些觀點(diǎn)分別受到Frege 的“語(yǔ)境論”、 Durkheim 的“社會(huì)環(huán)境”和Wittgenstein 的“用法論”的影響，并且同時(shí)受到索緒爾的語(yǔ)言系統(tǒng)論影響。

不同于結(jié)構(gòu)主義語(yǔ)言學(xué)和轉(zhuǎn)換生成語(yǔ)言學(xué)的哲學(xué)觀，體認(rèn)語(yǔ)言觀以后現(xiàn)代哲學(xué)和體驗(yàn)哲學(xué)為基礎(chǔ)，大力倡導(dǎo)唯物主義語(yǔ)言觀，認(rèn)為語(yǔ)言既不具有先驗(yàn)性，也不具有天賦性，認(rèn)同Chomsky 的“語(yǔ)言是認(rèn)知加工結(jié)果”的觀點(diǎn)，但更強(qiáng)調(diào)“互動(dòng)體驗(yàn)”這一基本要素，當(dāng)循物質(zhì)決定精神的唯物史觀。 體認(rèn)語(yǔ)言學(xué)提出的核心原則主要含3 個(gè)要素“現(xiàn)實(shí)—認(rèn)知—語(yǔ)言”，解讀為語(yǔ)言是人們?cè)趯?duì)客觀世界進(jìn)行互動(dòng)體驗(yàn)（體）和認(rèn)知加工（認(rèn)）的基礎(chǔ)上形成的。 （王寅2014：61 -67， 2017：1 -6）所謂的“體”指“體驗(yàn)（embodied experience）”，指人的身體（主要是感官系統(tǒng)）與世界互動(dòng)獲得的直接經(jīng)驗(yàn)；“認(rèn)”是“具身認(rèn)知（embodied cognition）”，指人類通過認(rèn)知系統(tǒng)（包括神經(jīng)系統(tǒng)和大腦）形成的概念結(jié)構(gòu)，以體驗(yàn)為基礎(chǔ)并受其限制。（林正軍唐瑋2019：462 -474） 正是這種“互動(dòng)體驗(yàn)（Interactive Embodiment）” 和“認(rèn)知加工（Cognitive Processing）”的高度融合，人之所以為人，有別于其它動(dòng)物，體現(xiàn)出“人本加工觀”。

學(xué)界也有人倡導(dǎo)將“現(xiàn)實(shí)—認(rèn)知—語(yǔ)言”原則修補(bǔ)為“現(xiàn)實(shí)?體認(rèn)者?語(yǔ)言”，認(rèn)為“把‘體’補(bǔ)充包括進(jìn)來(lái)，就和原有的‘認(rèn)知’構(gòu)成體認(rèn)；其次，把進(jìn)行‘體’和‘認(rèn)’的‘人’也包括進(jìn)來(lái)，就有‘體認(rèn)者’；最后，再把其中的橫線改為雙向箭頭，就可揭示現(xiàn)實(shí)、體認(rèn)者和語(yǔ)言三者的互動(dòng)性”（張克定，2019）。 當(dāng)然，無(wú)論核心原則的表現(xiàn)形式如何，體認(rèn)語(yǔ)言觀堅(jiān)持后現(xiàn)代思潮，“體”強(qiáng)調(diào)語(yǔ)言的客觀性，倡導(dǎo)回歸“生活世界”，反映唯物主義語(yǔ)言觀，糾正了唯理論語(yǔ)言研究方向；“認(rèn)”承認(rèn)語(yǔ)言在很大程度上具有主觀性、差異性，基于不同的“識(shí)解”，產(chǎn)生語(yǔ)言使用的差異，突顯“社會(huì)體驗(yàn)性、認(rèn)知功能性、人本加工觀”（王寅2014：61 -67）。 人類通過“體認(rèn)”感知世界和使用語(yǔ)言。（林正軍張宇2020：261 -272）

4.2 會(huì)話沉默意義的“體認(rèn)”：多模態(tài)解析

體認(rèn)語(yǔ)言觀的形成為會(huì)話沉默的意義研究帶來(lái)重要的指導(dǎo)作用。 綜觀以往對(duì)會(huì)話沉默意義的研究，無(wú)論是基于經(jīng)典語(yǔ)用原則的推導(dǎo)，還是基于認(rèn)知語(yǔ)用原則的解析，都聚焦于對(duì)沉默意義的“認(rèn)知加工”過程，卻忽視“互動(dòng)體驗(yàn)”過程。 而理解會(huì)話沉默這種缺失語(yǔ)音形式的交際行為更需要調(diào)動(dòng)聽話人的視覺感官以及其它感官，與對(duì)方互動(dòng)，與語(yǔ)境互動(dòng)，通過“互動(dòng)體驗(yàn)”，捕捉與沉默協(xié)同發(fā)生的視覺以及其它模態(tài)信息還有語(yǔ)境信息，然后進(jìn)行認(rèn)知加工，進(jìn)而理解沉默所表達(dá)的意義。

4.21 體認(rèn)語(yǔ)言觀與多模態(tài)研究

體認(rèn)的人本觀決定體認(rèn)的多模態(tài)本質(zhì)。 體認(rèn)的主體是人，“互動(dòng)體驗(yàn)”是人與世界的多模態(tài)互動(dòng)，無(wú)論是物質(zhì)世界、社會(huì)世界還是心理世界。 這里所說的“多模態(tài)”是指人的多個(gè)感覺器官加上處理各自信號(hào)的神經(jīng)系統(tǒng)。 視覺、聽覺、觸覺、嗅覺和味覺統(tǒng)稱為“多模態(tài)感官系統(tǒng)”①（顧曰國(guó)2015：448 -469）。 “多模態(tài)感官系統(tǒng)”和“認(rèn)知系統(tǒng)”正是“體”與“認(rèn)”的物質(zhì)基礎(chǔ)。 體認(rèn)語(yǔ)言觀所倡導(dǎo)的“體認(rèn)”是基于“多模態(tài)感官系統(tǒng)”和“認(rèn)知系統(tǒng)”的“體認(rèn)”。 語(yǔ)言的產(chǎn)生和使用是基于“多模態(tài)感官系統(tǒng)”的“互動(dòng)體驗(yàn)”與基于“認(rèn)知系統(tǒng)”的“認(rèn)知加工”進(jìn)行互動(dòng)的結(jié)果。

“人類在正常情況下跟外部世界（包括人際之間）的互動(dòng)都是多模態(tài)的?！保櫾粐?guó)2013：1 -19） 會(huì)話作為人類最為普遍的交際互動(dòng)行為，其本質(zhì)也是多模態(tài)的，即會(huì)話雙方不是通過語(yǔ)音一種模態(tài)傳遞信息，進(jìn)行互動(dòng)，而是協(xié)同多種模態(tài)，調(diào)動(dòng)多感官在其共同作用下進(jìn)行交際。 因此，從多模態(tài)的視角進(jìn)行語(yǔ)言研究是體認(rèn)語(yǔ)言學(xué)人本觀得以實(shí)現(xiàn)的必要途徑。

4.22 多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)的貼真建模

語(yǔ)言的多模態(tài)研究有幾種范式，其中多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)是多模態(tài)研究的重要路徑。 多模態(tài)語(yǔ)料庫(kù)是指“把文字語(yǔ)料、音頻語(yǔ)料和靜、動(dòng)態(tài)圖像語(yǔ)料進(jìn)行集成處理，用戶可以通過多模態(tài)方式進(jìn)行檢索、統(tǒng)計(jì)等操作的語(yǔ)料庫(kù)”（顧曰國(guó)2013：1 -19）。這種集成處理為研究人類交際活動(dòng)的一系列詞匯、韻律和手勢(shì)的對(duì)話特征提供了有效的平臺(tái)，以便探究這些特征在真實(shí)的日常交往中的相互作用方式（Knight 2009：15）。

多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)的研究方法是貼真建模（simulative modeling），即通過建模來(lái)貼近人類多模態(tài)話語(yǔ)活動(dòng)的充盈意義狀態(tài)。 簡(jiǎn)要地說，貼真建模是面向?qū)ο蟮慕７椒?，在操作上? 個(gè)階段：概念建模、數(shù)據(jù)建模和實(shí)際操作與評(píng)估。 在概念建模階段，建模者根據(jù)對(duì)建模對(duì)象的認(rèn)識(shí)制定概念模型，就是在理論上勾畫出建模者對(duì)建模對(duì)象的認(rèn)識(shí)與把握。 這一階段是多模態(tài)語(yǔ)料庫(kù)建設(shè)的基礎(chǔ)理論階段，沒有概念模型，也就沒有理論視角，后續(xù)的數(shù)據(jù)模型無(wú)從建構(gòu)，因?yàn)橥耆N真是做不到的，能做到的就是建模者從特定視角對(duì)建模對(duì)象的認(rèn)識(shí)和把握。 數(shù)據(jù)建模是針對(duì)概念模型建立相應(yīng)的數(shù)據(jù)類型。 數(shù)據(jù)類型可以是豐富多樣的，完全取決于研究問題以及概念模型。 最后是實(shí)際操作與評(píng)估階段，是利用先進(jìn)的數(shù)字化技術(shù)根據(jù)數(shù)據(jù)模型對(duì)建模對(duì)象進(jìn)行模擬操作。 這3 個(gè)階段對(duì)建設(shè)多模態(tài)語(yǔ)料庫(kù)的實(shí)際操作過程具有重要的指導(dǎo)意義。

運(yùn)用多模態(tài)語(yǔ)料庫(kù)貼真建模的方法考察語(yǔ)言的使用，需要通過各種技術(shù)盡可能地對(duì)會(huì)話相關(guān)信息進(jìn)行記錄，使用多媒體介質(zhì)承載會(huì)話中交際者的多模態(tài)內(nèi)容，即“充盈體驗(yàn)下的充盈意義”（Gu 2009：433 -466），從而為研究者呈現(xiàn)他們多模態(tài)互動(dòng)過程。

4.23 會(huì)話沉默意義的多模態(tài)解析

對(duì)于會(huì)話沉默的意義解讀，如果運(yùn)用多模態(tài)語(yǔ)料庫(kù)貼真建模的方法，以說話人為對(duì)象進(jìn)行建模，然后提取多模態(tài)數(shù)據(jù)進(jìn)行多模態(tài)解析，可以從根本上闡釋沉默意義的“體認(rèn)”。 下面的兩個(gè)關(guān)于會(huì)話沉默的例子來(lái)自筆者建設(shè)的偵查訊問多模態(tài)語(yǔ)料庫(kù)（MCPSI）②。

①偵查員：什么時(shí)候關(guān)押的？

嫌疑人：五月十六號(hào)。

偵查員：因?yàn)槭裁矗?/p>

嫌疑人：【沉默】

偵查員：嗯？說啊！

嫌疑人：因?yàn)闅⑷恕?/p>

②T1 偵查員：你反省的怎么樣了？王**

T2 嫌疑人：【沉默】

T3 偵查員：??？

T4 嫌疑人：【沉默】

T5 偵查員：?jiǎn)柲隳兀?/p>

T6 嫌疑人：【沉默】

T7 偵查員：反省的怎么樣？

T8 嫌疑人：啊

T9 偵查員：“啊”是啥呀？

T10 嫌疑人：就-是-是

T11 偵查員：想好沒想好？

T12 嫌疑人：想好了。

上述兩例中，如果只看轉(zhuǎn)寫文字的話，研究者很難通過會(huì)話序列的上下文闡釋話輪沉默意味著什么，以及兩個(gè)序列中的沉默所意有何差別。 但是以多模態(tài)語(yǔ)料庫(kù)貼真建模的方法對(duì)會(huì)話人進(jìn)行建模，貼真模擬會(huì)話人鮮活的多模態(tài)活動(dòng)狀況，在“充盈體驗(yàn)”下闡釋“充盈意義”就更為可行。MCPSI 運(yùn)用多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)貼真建模的方法，采用層次范疇化取樣方法，采集我國(guó)真實(shí)的偵查訊問錄音錄像文件，以多模態(tài)文本分析框架（同上2006：127 -167）、言語(yǔ)行為八位組模型（同上2013：309 -358）和言思情貌整一原則（顧曰國(guó)2013：1 -19）為理論基礎(chǔ)構(gòu)建MCPSI 概念模型。以此為基礎(chǔ)進(jìn)行數(shù)據(jù)建模，制定MCPSI 標(biāo)注體系，包括言己、思己、情己、貌己4 個(gè)維度的12 個(gè)層次的標(biāo)簽集。 然后根據(jù)已經(jīng)確定的標(biāo)注體系和標(biāo)簽集以音視頻轉(zhuǎn)寫和標(biāo)注工具Elan 和Praat 對(duì)語(yǔ)料進(jìn)行深度加工③。 正是基于這樣的多模態(tài)深加工，才能確保研究者捕捉會(huì)話者互動(dòng)體驗(yàn)的過程，多維度地推導(dǎo)（認(rèn)知加工）言語(yǔ)亦或其它交際行為的意義。

兩段偵查員與嫌疑人互動(dòng)的會(huì)話序列中都出現(xiàn)話輪沉默。 構(gòu)成話輪的沉默是有意義的。 如何解析沉默的意義？ 根據(jù)概念模型中的“言思情貌”4 個(gè)維度，從說話人說出話語(yǔ)產(chǎn)生意義的驅(qū)動(dòng)鏈角度來(lái)說，應(yīng)為思→情→言→貌，即從實(shí)內(nèi)到形外；對(duì)于聽話人而言，研究模型則為言→貌→情→思，即從形外追溯到實(shí)內(nèi)。 （顧曰國(guó)2013）據(jù)此，對(duì)話輪沉默意義的解析則需要按照言→貌→情→思的思維過程，通過多模態(tài)互動(dòng)體驗(yàn)捕捉多模態(tài)信息，進(jìn)行認(rèn)知加工，方可追溯到實(shí)內(nèi)，理解沉默的意義。

例①中，根據(jù)多模態(tài)語(yǔ)料庫(kù)中的標(biāo)注（參見圖1），嫌疑人沉默時(shí)“言己_話語(yǔ)”自然是“沉默”，語(yǔ)音形式缺省。 與此同時(shí)，他的“貌己_臉部表情”層所標(biāo)注的是“哭泣”，其“情己_基本情感狀態(tài)”層標(biāo)注的是“悲傷”，“情己_體況情感狀態(tài)”是“負(fù)面”的，“情己_社會(huì)情感狀態(tài)”是“對(duì)自己的負(fù)面情感—懊悔”，聽話人即偵查員（包括研究者）通過由“貌”及“情”的多模態(tài)互動(dòng)體驗(yàn)，可以推導(dǎo)（認(rèn)知加工）出嫌疑人此刻的沉默是由于強(qiáng)烈的情感引發(fā)哭泣而說不出話語(yǔ)。 結(jié)合該案件的背景信息：嫌疑人是初犯，行車過程中與街邊擺攤商販因剮蹭發(fā)生爭(zhēng)吵，操刀傷人，搶救無(wú)效死亡。 所以當(dāng)被問及“為什么（被關(guān)押）？”的時(shí)候，說話人沉默了，哭泣了，該沉默表達(dá)了因?yàn)閭酥氯怂劳龆y以附加的懊悔之意以及面對(duì)公安機(jī)關(guān)偵查人員和即將發(fā)生的法律制裁而產(chǎn)生的恐懼之意。 此種意義類似于前文（2.2 小節(jié)）Johannesen（1974）所歸納的20 種沉默意義的第（5）種“此人出于恐懼（這里除了恐懼還有懊悔）而避免討論一個(gè)有爭(zhēng)議的或敏感的問題”。 當(dāng)然迫于偵查員的追問“嗯？說??！”，嫌疑人不再沉默，回答了問題，給出答案“因?yàn)闅⑷恕薄?/p>

圖1

例②中，根據(jù)多模態(tài)語(yǔ)料庫(kù)中的標(biāo)注（參見圖2），伴隨著嫌疑人沉默時(shí)的“貌己_臉部表情”層是“傲慢”，其“情己_基本情感狀態(tài)”層標(biāo)注的是“抵觸”，“情己_體況情感狀態(tài)”是“負(fù)面”的，“情己_社會(huì)情感狀態(tài)”是“對(duì)他人的負(fù)面情感—抵觸”，由此可以推導(dǎo)（認(rèn)知加工）出嫌疑人此刻的沉默所表征的“思己”層的意圖是不愿說，不想說。 結(jié)合該案件的背景信息：嫌疑人是販毒慣犯，已經(jīng)是第三次因涉嫌販毒被逮捕關(guān)押。 此序列中連續(xù)3 個(gè)沉默（見話輪T2、T4、T6）以及零信息的“啊”（見話輪T8）和“就-是-是”（見話輪T10）表達(dá)出嫌疑人對(duì)偵查員的抵觸和抗拒之意，屬于Johannesen（1974）所歸納的20 種沉默意義的第（12）種“此人很傲慢或無(wú)禮”。 會(huì)話序列中偵查員利用6 個(gè)話輪，變換6 種問話方式（見話輪T1、T3、T5、T7、T9、T11），才得到嫌疑人的正面回答“想好了”。 這從會(huì)話形式上也說明沉默者的無(wú)禮程度之高以及抗拒意義之強(qiáng)。

圖2

上述兩例中沉默的意義差距很大。 從會(huì)話參與者的視角看，偵查員在嫌疑人做出沉默之時(shí)，如果不觀察嫌疑人的臉部表情，不通過表情和體態(tài)判斷其情感狀態(tài)就無(wú)法識(shí)解嫌疑人做出沉默的意圖，而無(wú)法理解沉默的意義。 從研究者的視角來(lái)看，如若沒有多模態(tài)語(yǔ)料庫(kù)提供的多模態(tài)數(shù)據(jù)，單憑會(huì)話序列的形式和內(nèi)容同樣無(wú)法準(zhǔn)確識(shí)解其中沉默的意義。 由此可見，現(xiàn)有的理論視角和研究方法存在一定程度的局限。 多模態(tài)互動(dòng)體驗(yàn)是會(huì)話沉默意義識(shí)解的前提條件，多模態(tài)認(rèn)知加工是會(huì)話沉默意義理解的重要環(huán)節(jié)，多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)的貼真建模研究方法則是實(shí)現(xiàn)多模態(tài)體認(rèn)的有效途徑。

5 結(jié)束語(yǔ)

對(duì)于會(huì)話沉默的研究經(jīng)歷會(huì)話分析、經(jīng)典語(yǔ)用學(xué)、認(rèn)知語(yǔ)用學(xué)等多維視角。 但是體認(rèn)語(yǔ)言學(xué)的提出及其哲學(xué)觀轉(zhuǎn)向?yàn)闀?huì)話沉默提供突破性研究思路。 體認(rèn)語(yǔ)言學(xué)的人本觀決定會(huì)話沉默意義研究的多模態(tài)本質(zhì)，多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)的研究方法為研究沉默的意義乃至人類其它的交際行為和話語(yǔ)活動(dòng)提供互動(dòng)體驗(yàn)和認(rèn)知加工的多模態(tài)數(shù)據(jù)，確保體認(rèn)語(yǔ)言觀從哲學(xué)層面到實(shí)證層面的實(shí)施。 當(dāng)然基于體認(rèn)語(yǔ)言觀對(duì)人類交際行為的多模態(tài)識(shí)解還需要進(jìn)一步細(xì)化，形成理論框架，以提高其適用性和可操作性。

注釋

①其實(shí)“感官模態(tài)”除視覺、聽覺、嗅覺、觸覺、味覺這“五覺”，還包括體覺、痛覺、癢覺、溫覺、內(nèi)臟覺、前庭覺等，詳見顧曰國(guó)（2019）“多模態(tài)感官系統(tǒng)：天官、仿人機(jī)器人、‘修辭即做人’新釋”一文。

②筆者自建的“偵查訊問話語(yǔ)多模態(tài)語(yǔ)料庫(kù)”（MCPSI）是中國(guó)博士后科學(xué)基金第57 批面上資助項(xiàng)目（2015 M571213）的研究成果。

③關(guān)于“偵查訊問多模態(tài)語(yǔ)料庫(kù)”（MCPSI）的建設(shè)將另文撰述。