現(xiàn)場(chǎng)即席話語(yǔ)與多模態(tài)研究：意義、理論與方法

〔摘要〕現(xiàn)場(chǎng)即席話語(yǔ)出現(xiàn)于人類(lèi)文字發(fā)明以前，存在于鮮活整人的親歷過(guò)程中，具有多模態(tài)性質(zhì)，與人類(lèi)當(dāng)下認(rèn)知密切相關(guān)。對(duì)它的研究應(yīng)以多模態(tài)感官為基點(diǎn)、以人類(lèi)當(dāng)下認(rèn)知為理論框架、以多模態(tài)充盈親歷及多模態(tài)充盈信息為切入點(diǎn)、以貼真建模為基本思路，盡量貼近人類(lèi)在現(xiàn)場(chǎng)即席會(huì)話中進(jìn)行多模態(tài)互動(dòng)的充盈親歷過(guò)程。在這樣的研究思路下，多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)方法成為現(xiàn)場(chǎng)即席話語(yǔ)研究的具體操作手段。多模態(tài)現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料庫(kù)帶來(lái)的研究選題包括：站在普通行為理論高度開(kāi)展的語(yǔ)言研究、傳統(tǒng)語(yǔ)用課題的重新考察、特殊人群的語(yǔ)言研究、瀕危語(yǔ)言或方言保護(hù)及多模態(tài)修辭現(xiàn)象研究等?，F(xiàn)場(chǎng)即席話語(yǔ)研究及對(duì)應(yīng)的多模態(tài)研究方法，連接著認(rèn)知科學(xué)和人類(lèi)語(yǔ)言能力發(fā)展的理論內(nèi)涵，拓展了語(yǔ)言研究的視野，具有深刻的理論意義和廣闊的應(yīng)用價(jià)值，是未來(lái)語(yǔ)言研究的新興領(lǐng)域之一。

〔關(guān)鍵詞〕現(xiàn)場(chǎng)即席話語(yǔ)；多模態(tài)；語(yǔ)料庫(kù)；親歷；當(dāng)下認(rèn)知

〔中圖分類(lèi)號(hào)〕H0〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-2689（2016）05-0029-08

引 言

在目前的語(yǔ)言學(xué)研究中，如何考察由一個(gè)個(gè)言真意切、聲情并茂、體貌豐富的語(yǔ)言使用者產(chǎn)生的話語(yǔ)成為一個(gè)重要課題。本文從分析現(xiàn)場(chǎng)即席話語(yǔ)的本質(zhì)及其多模態(tài)特征入手，介紹多模態(tài)語(yǔ)言研究的概念及其背后認(rèn)知內(nèi)涵，指出現(xiàn)場(chǎng)即席話語(yǔ)是多模態(tài)語(yǔ)言研究的一個(gè)新興熱點(diǎn)，并對(duì)可以基于多模態(tài)語(yǔ)料庫(kù)開(kāi)展的各類(lèi)課題進(jìn)行展望。

一、 什么是現(xiàn)場(chǎng)即席話語(yǔ)？

現(xiàn)場(chǎng)即席話語(yǔ)（Situated Discourse）是指某語(yǔ)言的某（些）使用者在某時(shí)某刻某地說(shuō)出來(lái)（或?qū)懴聛?lái)）的話語(yǔ)[1]?！罢f(shuō)出來(lái)”的話語(yǔ)是最古老的語(yǔ)言形式，它在人類(lèi)各種文字發(fā)明之前就業(yè)已存在。因此，現(xiàn)場(chǎng)即席話語(yǔ)是人類(lèi)語(yǔ)言發(fā)展的起點(diǎn)，是人類(lèi)言語(yǔ)活動(dòng)的根本形式，對(duì)它的研究具有重要意義①。有些民族的語(yǔ)言只有口語(yǔ)，沒(méi)有文字②；兒童沒(méi)有學(xué)習(xí)文字之前的母語(yǔ)習(xí)得也正是從這里開(kāi)始；文盲因沒(méi)有受過(guò)書(shū)面教育，因此其大部分語(yǔ)言活動(dòng)都屬于說(shuō)出來(lái)的現(xiàn)場(chǎng)即席話語(yǔ)。

需要注意的是，現(xiàn)場(chǎng)即席話語(yǔ)不同于我們?nèi)粘ＫQ(chēng)的“口語(yǔ)”。口語(yǔ)的范疇更廣，從說(shuō)話人角度而言，口語(yǔ)可以是單人的自言自語(yǔ)，而現(xiàn)場(chǎng)即席會(huì)話通常是兩人或兩人以上的說(shuō)話人參與；從說(shuō)話內(nèi)容是否經(jīng)過(guò)說(shuō)話人事先準(zhǔn)備的角度來(lái)說(shuō)，如果說(shuō)話人事先經(jīng)過(guò)準(zhǔn)備（或書(shū)面或口頭），如書(shū)面講話或話劇、小品及相聲表演等，這些話語(yǔ)就不屬于現(xiàn)場(chǎng)即席話語(yǔ)，但卻在口語(yǔ)范疇中。從這個(gè)意義上說(shuō)，語(yǔ)言學(xué)傳統(tǒng)意義上的口語(yǔ)研究與本文所說(shuō)的“現(xiàn)場(chǎng)即席話語(yǔ)研究”并非完全等同。顧曰國(guó)[2]（490）曾對(duì)現(xiàn)場(chǎng)即席話語(yǔ)的本質(zhì)特征做過(guò)概括：

1） 根植于某一時(shí)空間；

2） 是動(dòng)態(tài)、按時(shí)空間展開(kāi)的一個(gè)人際間的互動(dòng)過(guò)程；

3） 屬于談話人；

4） 是現(xiàn)場(chǎng)社會(huì)活動(dòng)的一部分；

5） 受談話人當(dāng)時(shí)的動(dòng)機(jī)和目的的驅(qū)使；

6） 受談話人當(dāng)時(shí)的大腦認(rèn)知狀態(tài)、情感等心理因素的支配和制約；

7） 生成一個(gè)人際間主觀世界。

科學(xué)研究需要直面和關(guān)注客觀現(xiàn)象和事實(shí)，語(yǔ)言學(xué)也必須研究上述自然話語(yǔ)。相應(yīng)地，研究者所設(shè)計(jì)的研究模型或框架均要面向或符合這樣的語(yǔ)言事實(shí)。

從學(xué)科發(fā)展史上看，在Chomsky、Saussure、Hymes、Halliday、Bloomfield、Austin、Searl等諸家理論以及話語(yǔ)分析（Discourse Analysis）、會(huì)話分析（Conversation Analysis）等語(yǔ)言學(xué)研究范式中，現(xiàn)場(chǎng)即席話語(yǔ)具有不同的研究地位和處理方式[1]。

隨著互動(dòng)語(yǔ)言學(xué)（Interactional Linguistics）的興起，日常言語(yǔ)活動(dòng)日益受到關(guān)注，學(xué)者們以此為語(yǔ)料，對(duì)語(yǔ)言結(jié)構(gòu)、話輪順序、韻律特征、句法語(yǔ)義功能等課題進(jìn)行了研究[3]（96-97）?；?dòng)語(yǔ)言學(xué)在方法學(xué)上受到會(huì)話分析的重要影響，后者最早由社會(huì)學(xué)家承擔(dān)，代表人物包括Sacks、Schegloff、Heritage等。起初的會(huì)話分析研究主要描述日常社會(huì)活動(dòng)結(jié)構(gòu)[4]；之后則將范圍拓展至機(jī)構(gòu)語(yǔ)境（institutional contexts）中的社會(huì)交互[5]（59），目前會(huì)話分析還將研究視野拓展至言語(yǔ)行為[6]（4）。會(huì)話分析研究者關(guān)注了許多以往語(yǔ)言學(xué)者不感興趣的現(xiàn)象，如話輪、話輪轉(zhuǎn)換規(guī)則、話輪轉(zhuǎn)接點(diǎn)、即席修正、應(yīng)急填語(yǔ)、打斷、停頓、插話等。當(dāng)然，他們的研究目的并非揭示語(yǔ)言規(guī)律，而是要解釋會(huì)話背后的社會(huì)現(xiàn)象，如以Garfinkel等為代表的“常人方法學(xué)派”（Ethnomethodology）對(duì)日?！吧鐣?huì)互動(dòng)”（social interaction）進(jìn)行了深入探索（參考Garfinkel[7]、Sacks[8]及Schegloff[9][10]等）。

無(wú)論是社會(huì)學(xué)研究的“常人方法學(xué)派”、會(huì)話分析，還是后來(lái)的互動(dòng)語(yǔ)言學(xué)，從方法論上說(shuō)，它們都關(guān)注人們?cè)谌粘?shí)踐中產(chǎn)生的真實(shí)信息，在此基礎(chǔ)上分析各類(lèi)社會(huì)學(xué)、語(yǔ)言學(xué)問(wèn)題。

以互動(dòng)語(yǔ)言學(xué)的觀點(diǎn)來(lái)看，人們互動(dòng)交際中的話語(yǔ)是根植于一定時(shí)空間的[3]（97-98），因此研究者對(duì)語(yǔ)言現(xiàn)象的研究不應(yīng)當(dāng)是孤立的，而是要聯(lián)系起前后語(yǔ)境及說(shuō)話人表現(xiàn)行為，采集數(shù)據(jù)時(shí)要用視頻或音頻錄制日?；顒?dòng)中真實(shí)的、鮮活的話語(yǔ)。

二、 什么是面向現(xiàn)場(chǎng)即席話語(yǔ)的多模態(tài)研究？

（一） 多模態(tài)及相關(guān)研究的內(nèi)涵

與現(xiàn)場(chǎng)即席話語(yǔ)緊密相關(guān)的一個(gè)概念便是“多模態(tài)”?！岸嗄B(tài)”一詞已成為橫跨自然科學(xué)、工程領(lǐng)域及人文社會(huì)科學(xué)研究的熱門(mén)詞，涉及語(yǔ)言學(xué)、認(rèn)知科學(xué)、哲學(xué)、腦科學(xué)、臨床醫(yī)學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域[11]448。在不同領(lǐng)域，“多模態(tài)”具有各不相同的含義，且研究范式也各異。對(duì)此，筆者將另外撰文討論，此處僅以簡(jiǎn)述。語(yǔ)言研究及相關(guān)領(lǐng)域中“多模態(tài)”的概念可以歸結(jié)為三個(gè)：一是沿用腦科學(xué)或生理學(xué)對(duì)“模態(tài)”的定義，將其視為感官及其相應(yīng)的神經(jīng)系統(tǒng)，多模態(tài)是人類(lèi)通過(guò)感官跟外部環(huán)境之間的一種互動(dòng)方式[11]；二是從符號(hào)學(xué)出發(fā)，將“模態(tài)”視為在社會(huì)文化中形成的創(chuàng)造意義的符號(hào)資源，多模態(tài)話語(yǔ)是由多種表意符號(hào)資源形成的。在該范式中，張德祿[12]等學(xué)者對(duì)各模態(tài)資源之間的協(xié)同關(guān)系進(jìn)行了分析框架的構(gòu)建，并運(yùn)用于外語(yǔ)教學(xué)，頗具啟發(fā)性；三是將“模態(tài)”定義為人機(jī)交互中的信息呈現(xiàn)方式，多模態(tài)人機(jī)交互就是人們使用多種感官模態(tài)，通過(guò)多種物理媒介，與計(jì)算機(jī)等進(jìn)行信息交互[13]。語(yǔ)言研究及相關(guān)領(lǐng)域的多模態(tài)研究范式大致包括：符號(hào)學(xué)屬性的“多模態(tài)”研究范式、多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)范式以及神經(jīng)語(yǔ)言學(xué)、人機(jī)交互及學(xué)習(xí)研究中的多模態(tài)范式。

雖然各類(lèi)研究對(duì)“模態(tài)”的定義不同，研究范式各異，但總的研究目標(biāo)可以歸結(jié)為：探究人類(lèi)與外界的多模態(tài)交互現(xiàn)象，利用多模態(tài)交互規(guī)律進(jìn)行技術(shù)開(kāi)發(fā)、服務(wù)人類(lèi)發(fā)展。

本文所指的“多模態(tài)”發(fā)展于腦神經(jīng)科學(xué)?，F(xiàn)代腦科學(xué)研究喜用“模態(tài)”（modality）一詞通指感官及其相應(yīng)神經(jīng)系統(tǒng)[14]（135）。從該視角出發(fā)，“模態(tài)”被定義為人類(lèi)通過(guò)感官系統(tǒng)（如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等）跟外部環(huán)境（如人、機(jī)器、物件、動(dòng)物等）之間的互動(dòng)方式。感知模態(tài)（perception modality）和產(chǎn)出模態(tài)（production modality）同時(shí)作用才能順利實(shí)現(xiàn)完整的言語(yǔ)交際[15]（351）。例如，說(shuō)話人通過(guò)發(fā)聲模態(tài)說(shuō)出話語(yǔ)（包括韻律特征等），聽(tīng)話人則通過(guò)聽(tīng)覺(jué)模態(tài)接受這些信息；如果加上體貌表現(xiàn)（包括表情、手勢(shì)或身姿等），則又涉及視覺(jué)、觸覺(jué)、體感等多種模態(tài)。從整體上說(shuō)，身心健康的人在正常情況下與外部世界（包括人際之間）的互動(dòng)是多模態(tài)的（至少是雙模態(tài)），面對(duì)面的現(xiàn)場(chǎng)即席會(huì)話更是如此。例如，中醫(yī)采用“望聞問(wèn)切”的方法對(duì)病人進(jìn)行診療，就涉及視覺(jué)、聽(tīng)覺(jué)、味覺(jué)、發(fā)聲和觸覺(jué)等多種模態(tài)。

現(xiàn)場(chǎng)即席會(huì)話是一種多模態(tài)互動(dòng)，就是一個(gè)人們調(diào)用多模態(tài)感官系統(tǒng)對(duì)外界進(jìn)行意義構(gòu)建與識(shí)解的行為過(guò)程。這一點(diǎn)能夠找到神經(jīng)學(xué)證據(jù)。研究者運(yùn)用fMRI（功能性核磁共振成像）、ERP（事件相關(guān)電位）、PET（正電子發(fā)射計(jì)算機(jī)斷層掃描）、EEG（腦電圖）等技術(shù)已經(jīng)證明：話語(yǔ)活動(dòng)中的不同信息處理是由不同大腦功能區(qū)負(fù)責(zé)，例如：句子及其以上層面的情感韻律加工呈右側(cè)化[16]，主要定位于額下回、顳上回以及頂枕區(qū)；也有腦成像研究顯示進(jìn)行語(yǔ)音、韻律加工時(shí)大腦左右半球均會(huì)激活：右半球在情感韻律識(shí)解中占主導(dǎo)，負(fù)責(zé)言語(yǔ)交際中情感線索的產(chǎn)出與識(shí)解[17]（225）[18]（213），而左半球則主要負(fù)責(zé)語(yǔ)音加工（也有學(xué)者對(duì)此區(qū)分抱有懷疑態(tài)度[19]）；身體動(dòng)作涉及的運(yùn)動(dòng)區(qū)位于大腦前半部[18]（211）；大腦左半球前區(qū)負(fù)責(zé)積極情感及積極介入或向前靠近的行為，右半球前區(qū)則與消極情感及避讓行為相關(guān)。這些運(yùn)用現(xiàn)代腦成像技術(shù)開(kāi)展的研究告訴我們：說(shuō)話人進(jìn)行現(xiàn)場(chǎng)即席會(huì)話時(shí)，多個(gè)大腦區(qū)域及相應(yīng)的信息處理系統(tǒng)同時(shí)工作，大腦處理區(qū)域互相補(bǔ)償、支持和勾連，從而使人們與外界互動(dòng)時(shí)進(jìn)行多模態(tài)處理。諸多現(xiàn)代神經(jīng)醫(yī)學(xué)和胚胎學(xué)的研究成果使得不少學(xué)者開(kāi)始以“多模態(tài)感官為基點(diǎn)”構(gòu)建語(yǔ)言學(xué)理論，即在構(gòu)建語(yǔ)言學(xué)理論時(shí)默認(rèn)一個(gè)前提：語(yǔ)言的發(fā)生與發(fā)展需要多模態(tài)感官系統(tǒng)的支撐[11]（456）（但同時(shí)，人類(lèi)的語(yǔ)言具有“無(wú)模態(tài)性”（amodal），見(jiàn)下文介紹及顧曰國(guó)[20]的論述）。

需要指出的是，在與外界的互動(dòng)中，由于人腦在處理由多符號(hào)系統(tǒng)構(gòu)成的文本時(shí)，需要調(diào)用多模態(tài)感官系統(tǒng)多模態(tài)感官系統(tǒng)至少包括：皮膚、視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、味覺(jué)、本體感受器等[20]。，從而使得多模態(tài)話語(yǔ)分析與多模態(tài)感官系統(tǒng)產(chǎn)生重要的內(nèi)在聯(lián)系[11]（449）。

（二） 現(xiàn)場(chǎng)即席話語(yǔ)與當(dāng)下親歷、當(dāng)下認(rèn)知及多模態(tài)數(shù)據(jù)要區(qū)分“信息”與“數(shù)據(jù)”：信息是客觀存在的、充盈的，研究者一次不可能處理所有信息；從若干角度提取一定量信息成為研究分析的對(duì)象，此時(shí)便成為研究數(shù)據(jù)。

我們?cè)購(gòu)倪^(guò)程視角分析現(xiàn)場(chǎng)即席話語(yǔ)的多模態(tài)性質(zhì)。現(xiàn)場(chǎng)即席會(huì)話的主體是一個(gè)個(gè)言真意切、聲情并茂、體貌豐富的鮮活的、完整的人。顧曰國(guó)[21]將其稱(chēng)為“鮮活整人”（the whole person）這種思想可追溯至Firth[22]（19）。他提出，應(yīng)當(dāng)停止心靈與身體（mind and body）、思想與話語(yǔ)（thought and word）的二元對(duì)立，要把會(huì)話人視為與他人相聯(lián)系、思維與行動(dòng)形成整體的一個(gè)整人（the whole man）。語(yǔ)言學(xué)研究應(yīng)當(dāng)基于整人的生活形態(tài)（pattern of living）開(kāi)展。顧曰國(guó)[21]從言思情貌四個(gè)視角對(duì)“鮮活整人”進(jìn)行建模，也是基于上述思想的。。這些“鮮活整人”在現(xiàn)場(chǎng)即席會(huì)話中是一個(gè)個(gè)親歷者（the experiencer），他們的親歷（experiencing）與其當(dāng)下認(rèn)知（situated cognition）顧曰國(guó)[20]認(rèn)為，嚴(yán)格來(lái)說(shuō)，英語(yǔ)situated應(yīng)當(dāng)由“實(shí)景”、“當(dāng)下”兩個(gè)漢語(yǔ)詞匯合起來(lái)才能較為完整地傳達(dá)其意義。另外，顧曰國(guó)[21]（18）也將situated discourse稱(chēng)為“鮮活話語(yǔ)”，本文仍沿用最初的叫法“現(xiàn)場(chǎng)即席話語(yǔ)”。密切相關(guān)。所謂當(dāng)下認(rèn)知，是指認(rèn)知主體在某個(gè)具體的、真實(shí)的、特定的時(shí)空間里通過(guò)多模態(tài)感官系統(tǒng)與外部進(jìn)行互動(dòng)的認(rèn)知活動(dòng)[20]。從這個(gè)角度看，語(yǔ)言隨著說(shuō)話人發(fā)聲而產(chǎn)生，又隨著說(shuō)話人結(jié)束說(shuō)話而消失。在文化口耳相傳的民族、沒(méi)有學(xué)習(xí)文字的幼兒或文盲的言語(yǔ)交際中，語(yǔ)言就存在于他們的鮮活親歷過(guò)程中，這種親歷最常見(jiàn)的形式就是現(xiàn)場(chǎng)即席會(huì)話。不難理解，“鮮活整人”在現(xiàn)場(chǎng)即席會(huì)話中的語(yǔ)言親歷是一種多模態(tài)充盈親歷（total saturated experience），多個(gè)感官同時(shí)參與言語(yǔ)交際過(guò)程，在此基礎(chǔ)上形成多模態(tài)充盈意義（total saturated signification）[23]（435-437）。顧曰國(guó)[20]將此稱(chēng)為“多模態(tài)充盈原則”（Principle of Multimodality and Saturatedness）。從日常行為角度來(lái)看，現(xiàn)場(chǎng)即席話語(yǔ)是先于書(shū)寫(xiě)等任何其它媒介而最基本的意義表現(xiàn)形式，是人們?cè)诔溆男袨榕c概念環(huán)境中產(chǎn)生的[24]（91-92）。

我們可將當(dāng)下認(rèn)知視為給說(shuō)話人的鮮活親歷不斷填充信息的過(guò)程：親歷者就好比一個(gè)大數(shù)據(jù)存放與集成庫(kù)，親歷過(guò)程就是在不斷往該數(shù)據(jù)庫(kù)填寫(xiě)數(shù)據(jù)，親歷者主觀掌握的數(shù)據(jù)成為體驗(yàn)。由此，顧曰國(guó)[20][25]提出了研究語(yǔ)言親歷的“3E模型”（Experiencer， Experiencing， Experiences）。

當(dāng)然，人類(lèi)能夠超越當(dāng)下時(shí)空間的束縛。人類(lèi)通過(guò)多模態(tài)感官處理信息，產(chǎn)生多模態(tài)記憶，這種記憶不需要通過(guò)語(yǔ)言符號(hào)，而是通過(guò)“印記”（image）[26]（9）來(lái)存儲(chǔ)。之后，人類(lèi)又可以通過(guò)語(yǔ)言進(jìn)行再次編碼，將體驗(yàn)說(shuō)出來(lái)，而這種說(shuō)出來(lái)的語(yǔ)言則具有“無(wú)模態(tài)”（amodal）的特征，即“說(shuō)語(yǔ)言不依附于任何一個(gè)感官系統(tǒng)”，正是語(yǔ)言的“無(wú)模態(tài)性”才使得語(yǔ)言可以用來(lái)表達(dá)任何一種模態(tài)的數(shù)據(jù)。從人類(lèi)的多模態(tài)感官，到多模態(tài)記憶及編碼系統(tǒng)，再到現(xiàn)場(chǎng)即席話語(yǔ)的多模態(tài)充盈意義，最后到語(yǔ)言的無(wú)模態(tài)性，是對(duì)人類(lèi)語(yǔ)言、認(rèn)知及交際之間關(guān)系的新認(rèn)識(shí)。該結(jié)論與喬姆斯基觀點(diǎn)一致，有興趣的讀者可參考顧曰國(guó)[20]的論述。

語(yǔ)言親歷（experiencing）在不同的語(yǔ)言學(xué)理論中有著不同的位置。例如，Saussure結(jié)構(gòu)主義語(yǔ)言學(xué)將親歷過(guò)濾掉，因?yàn)樗鞔_指出抽象后的語(yǔ)言才是語(yǔ)言學(xué)需要關(guān)注的對(duì)象，被稱(chēng)為言語(yǔ)（parole）的會(huì)話人親歷話語(yǔ)并非研究對(duì)象；Halliday等系統(tǒng)功能語(yǔ)言學(xué)家則認(rèn)為語(yǔ)言編碼了語(yǔ)言親歷；Lakoff-Johnson的認(rèn)知學(xué)派則認(rèn)為語(yǔ)言親歷是“身構(gòu)”（embodiment）和“隱喻化”（metaphorization）；Chomsky的形式主義語(yǔ)言學(xué)認(rèn)為語(yǔ)言親歷在兒童語(yǔ)言發(fā)展過(guò)程中起激發(fā)作用（triggering）。

研究現(xiàn)場(chǎng)即席話語(yǔ)，就要盡可能地記錄下說(shuō)話人的多模態(tài)充盈信息。目前，可通過(guò)現(xiàn)代影像技術(shù)將現(xiàn)場(chǎng)即席話語(yǔ)轉(zhuǎn)為計(jì)算機(jī)可處理的音視頻流，形成供研究使用的“多模態(tài)語(yǔ)料”。但嚴(yán)格來(lái)講，這種記錄永遠(yuǎn)不具有數(shù)據(jù)本來(lái)的充盈性和豐富性。一旦現(xiàn)場(chǎng)即席話語(yǔ)被會(huì)話人“親歷”過(guò)后，它們便殘存在會(huì)話人的記憶中，影像記錄、音頻記錄和文字記錄只是不同的記錄手段，這些記錄數(shù)據(jù)均已失去了當(dāng)時(shí)的意義充盈態(tài)。通過(guò)影像手段記錄的“多模態(tài)語(yǔ)料”是“鮮活整人”（即親歷者the experiencer）已經(jīng)“親歷”過(guò)的“現(xiàn)場(chǎng)即席話語(yǔ)”，是一種體驗(yàn)（experiences）。因此，通過(guò)現(xiàn)代影像手段記錄形成的多模態(tài)語(yǔ)料并不完全等同于鮮活整人的“現(xiàn)場(chǎng)即席話語(yǔ)”。

總之，研究現(xiàn)場(chǎng)即席話語(yǔ)要以多模態(tài)感官為基點(diǎn)、以人類(lèi)當(dāng)下認(rèn)知為理論框架、以多模態(tài)充盈親歷及多模態(tài)充盈信息為切入點(diǎn)，盡量貼近人類(lèi)在現(xiàn)場(chǎng)即席話語(yǔ)中進(jìn)行多模態(tài)互動(dòng)的充盈親歷過(guò)程，采集多模態(tài)數(shù)據(jù)，進(jìn)行綜合性、混合式分析。當(dāng)然，多模態(tài)數(shù)據(jù)的范圍很廣，除了音視頻數(shù)據(jù)，還可從多個(gè)維度對(duì)說(shuō)話人言語(yǔ)交際時(shí)的各種類(lèi)型數(shù)據(jù)進(jìn)行采集，如利用眼動(dòng)儀、高速數(shù)字成像系統(tǒng)、肌電圖、fMRI、ERP、EEG等多種技術(shù)采集說(shuō)話人產(chǎn)生現(xiàn)場(chǎng)即席話語(yǔ)時(shí)的實(shí)時(shí)聲學(xué)、生理數(shù)據(jù)，形成大數(shù)據(jù)集合，從包括眼動(dòng)、舌位、聲帶、聲道、氣息、情感、激活腦區(qū)等多方面入手研究。從大數(shù)據(jù)的角度而言，只要符合研究目的、技術(shù)條件允許，這些信息都可成為語(yǔ)言研究的數(shù)據(jù)來(lái)源。

三、 如何開(kāi)展相關(guān)研究？

（一） 貼真建模：現(xiàn)場(chǎng)即席話語(yǔ)研究的基本思路

貼真建模是多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)采用的研究方法。顧曰國(guó)[21]（4）、黃立鶴[27]（49-50）[28]（2）對(duì)其基本內(nèi)涵及在語(yǔ)言學(xué)研究中的應(yīng)用進(jìn)行了闡述。

現(xiàn)場(chǎng)即席話語(yǔ)是十分復(fù)雜的研究對(duì)象。研究者無(wú)法完全客觀、完整地對(duì)現(xiàn)場(chǎng)即席話語(yǔ)中的多模態(tài)充盈意義進(jìn)行復(fù)現(xiàn)，很難在一個(gè)研究中對(duì)現(xiàn)場(chǎng)即席話語(yǔ)的全部信息進(jìn)行考察。一般而言，每次研究只能選擇若干視角對(duì)某些方面進(jìn)行研究。貼真建模為研究者提供了重要的參考思路。

顧曰國(guó)[21]（6）借用“化整為零”這一成語(yǔ)解釋對(duì)“鮮活整人”的貼真建模過(guò)程：“整”即“鮮活整人”，“零”是指建模的各個(gè)角度。單個(gè)角度看到的整人就是該人的某個(gè)方面，即“化整為零”；將各個(gè)角度集合起來(lái)，又得到了一個(gè)整人，即“合零為整”，該過(guò)程在建模上叫做數(shù)據(jù)集成[23]。當(dāng)然，在實(shí)際觀察和研究中，受到技術(shù)、方法甚至必要性的限制，研究者不可能完全還原現(xiàn)場(chǎng)即席話語(yǔ)原本的所有充盈數(shù)據(jù)。同樣地，在面向現(xiàn)場(chǎng)即席話語(yǔ)的多模態(tài)研究中，“鮮活整人”產(chǎn)生的“現(xiàn)場(chǎng)即席話語(yǔ)”就是研究者建模的對(duì)象，研究者從多個(gè)視角對(duì)研究對(duì)象進(jìn)行建模，見(jiàn)下圖：

在對(duì)現(xiàn)場(chǎng)即席話語(yǔ)進(jìn)行多視角建模后，需要進(jìn)行各種數(shù)據(jù)的提取。目前最為常見(jiàn)的操作方法就是進(jìn)行視頻和音頻的錄制，構(gòu)建多模態(tài)語(yǔ)料庫(kù)。

（二） 多模態(tài)語(yǔ)料庫(kù)：現(xiàn)場(chǎng)即席話語(yǔ)研究的操作手段

隨著現(xiàn)代計(jì)算機(jī)多媒體技術(shù)、存儲(chǔ)技術(shù)的發(fā)展，以及人們對(duì)言語(yǔ)活動(dòng)本質(zhì)認(rèn)識(shí)的提升，原來(lái)單模態(tài)語(yǔ)料庫(kù)逐步向多模態(tài)語(yǔ)料庫(kù)發(fā)展。多模態(tài)語(yǔ)料庫(kù)是指音頻、視頻和文字語(yǔ)料等多種信息集成，研究者可以通過(guò)多模態(tài)方式加工、檢索和統(tǒng)計(jì)進(jìn)行相關(guān)研究的語(yǔ)料庫(kù)[21]（3）[29]（V-VI），堪稱(chēng)“語(yǔ)料庫(kù)40”[28]。其中，“多模態(tài)”是指調(diào)用多模態(tài)進(jìn)行語(yǔ)料處理（如視覺(jué)、聽(tīng)覺(jué)等），以及檢索方式的多模態(tài)（如觸覺(jué)、視覺(jué)、聽(tīng)覺(jué)等）[21]（3）。多模態(tài)語(yǔ)料庫(kù)的構(gòu)建通常面向現(xiàn)場(chǎng)即席話語(yǔ)，它既是后續(xù)研究的基礎(chǔ)，自身建設(shè)也反映著對(duì)現(xiàn)場(chǎng)即席話語(yǔ)本質(zhì)的認(rèn)識(shí)。

顧曰國(guó)（Gu）的系列研究[23][30][31][32]從現(xiàn)場(chǎng)即席話語(yǔ)的本質(zhì)出發(fā)，構(gòu)建了一個(gè)解決多模態(tài)文本（視頻流數(shù)據(jù)）處理、建庫(kù)、文本內(nèi)容分析及相關(guān)數(shù)據(jù)建模的理論框架。該框架具有橫跨語(yǔ)料庫(kù)語(yǔ)言學(xué)、語(yǔ)用學(xué)和話語(yǔ)分析等語(yǔ)言學(xué)分支的交叉性，為采集、加工、標(biāo)注和分析現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料，進(jìn)行多模態(tài)語(yǔ)料庫(kù)建設(shè)提供了重要的理論指導(dǎo)。

語(yǔ)料庫(kù)語(yǔ)言學(xué)具有一整套研究思路和方法，包括：建立語(yǔ)料庫(kù)、語(yǔ)料轉(zhuǎn)寫(xiě)、語(yǔ)料標(biāo)注、語(yǔ)料加工軟件以及在此基礎(chǔ)上的語(yǔ)言研究。多模態(tài)語(yǔ)料庫(kù)的建設(shè)既有語(yǔ)料采集、加工、標(biāo)注和建庫(kù)等一系列語(yǔ)料庫(kù)建設(shè)的共性問(wèn)題，也有基于多模態(tài)語(yǔ)料特點(diǎn)而產(chǎn)生的分層、定義、切分、標(biāo)注和檢索的特有問(wèn)題，具體可參考筆者對(duì)多模態(tài)語(yǔ)料庫(kù)建設(shè)理論和實(shí)踐問(wèn)題的相關(guān)介紹[28]。

面向現(xiàn)場(chǎng)即席話語(yǔ)的多模態(tài)語(yǔ)料庫(kù)建設(shè)，需要采用各種技術(shù)對(duì)現(xiàn)場(chǎng)實(shí)際發(fā)生的原始信息進(jìn)行記錄。過(guò)去因?yàn)榧夹g(shù)手段的限制，對(duì)多模態(tài)信息的采集和標(biāo)注均有困難。隨著現(xiàn)代影像技術(shù)的發(fā)展，一般的研究可以使用數(shù)碼攝像機(jī)和錄音筆，客觀、連續(xù)地記錄包括聲音、動(dòng)作、場(chǎng)景和空間關(guān)系等一系列信息[28]，是目前多模態(tài)語(yǔ)料采集所能夠使用的較為理想的工具。但需要強(qiáng)調(diào)的是，到目前為止，沒(méi)有任何一種技術(shù)能夠?qū)崿F(xiàn)多模態(tài)充盈信息的完全復(fù)現(xiàn)，攝像機(jī)采錄的多模態(tài)語(yǔ)料仍然丟失了諸多原始信息[23]（439-440）。

在語(yǔ)料采集之后，研究者要使用文字（單模態(tài)）對(duì)現(xiàn)場(chǎng)即席話語(yǔ)進(jìn)行轉(zhuǎn)寫(xiě)。當(dāng)然，轉(zhuǎn)寫(xiě)過(guò)程丟失了原本由多模態(tài)語(yǔ)料承載的信息，如身體動(dòng)作、臉部表情等研究數(shù)據(jù)。轉(zhuǎn)寫(xiě)信息的多寡可以根據(jù)項(xiàng)目性質(zhì)和研究需要決定。

這樣，就構(gòu)成了最原始的現(xiàn)場(chǎng)即席話語(yǔ)“資源庫(kù)”。接下來(lái)，要對(duì)其中的語(yǔ)料進(jìn)行加工，在資源庫(kù)的基礎(chǔ)上將其建設(shè)成“語(yǔ)料庫(kù)”。多模態(tài)語(yǔ)料庫(kù)的加工就是根據(jù)研究目的所構(gòu)建的研究模型或分析框架，對(duì)其中的部分信息進(jìn)行切分、標(biāo)注。首先是研究者根據(jù)研究需要對(duì)多模態(tài)內(nèi)容的多層信息進(jìn)行定義、確定切分標(biāo)準(zhǔn)和方法；隨后使用多模態(tài)語(yǔ)料處理軟件（如Elan，Anvil等）對(duì)其中的信息進(jìn)行標(biāo)注，并根據(jù)研究需要按照一定單位對(duì)標(biāo)注加工后的語(yǔ)料進(jìn)行儲(chǔ)存，從而形成一定規(guī)模的多模態(tài)語(yǔ)料庫(kù)。

目前，對(duì)多模態(tài)語(yǔ)料加工技術(shù)的相關(guān)研發(fā)逐漸豐碩，并在理論依據(jù)、語(yǔ)料采集、加工標(biāo)注以及分析框架上有了系列研究。國(guó)外多模態(tài)語(yǔ)言研究的標(biāo)注工具開(kāi)發(fā)日益成熟和多樣，國(guó)內(nèi)也有學(xué)者在建設(shè)漢語(yǔ)現(xiàn)場(chǎng)即席多模態(tài)語(yǔ)料庫(kù)的基礎(chǔ)上，研究開(kāi)發(fā)新的多模態(tài)數(shù)據(jù)標(biāo)注、切分軟件以及數(shù)據(jù)集成工具，這無(wú)疑對(duì)我國(guó)學(xué)者站在國(guó)際多模態(tài)語(yǔ)言研究前沿具有重要意義。

四、 多模態(tài)現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料庫(kù)可帶來(lái)哪些選題？

對(duì)新的研究材料或數(shù)據(jù)的關(guān)注往往會(huì)促使研究視角的轉(zhuǎn)換、研究領(lǐng)域的拓展及研究方法的革新，最終帶來(lái)新的研究發(fā)現(xiàn)。如果我們將現(xiàn)場(chǎng)即席話語(yǔ)作為研究的出發(fā)點(diǎn)和關(guān)注點(diǎn)，將相應(yīng)的多模態(tài)語(yǔ)料庫(kù)方法作為主要研究手段，就能帶來(lái)一些新的選題方向：

一是認(rèn)識(shí)到現(xiàn)場(chǎng)即席話語(yǔ)是與人們?nèi)粘Ｐ袨榫o密結(jié)合在一起的，站在普通行為理論高度開(kāi)展相關(guān)語(yǔ)言研究。Gu[33][34]借鑒了時(shí)間地理學(xué)的研究方法（參考Hagerstrand[35]、Thrift[36]），以及人文地理學(xué)關(guān)于時(shí)空間、特別是社會(huì)時(shí)空間的理論，解決了現(xiàn)場(chǎng)即席話語(yǔ)跟物理時(shí)空間和社會(huì)時(shí)空間之間的扎根問(wèn)題等，探討個(gè)人動(dòng)態(tài)的日常行為與其話語(yǔ)之間的關(guān)系，構(gòu)建了工作現(xiàn)場(chǎng)話語(yǔ)地理關(guān)系（workplace discourse geography），并設(shè)計(jì)了相應(yīng)的分析方法。這樣，時(shí)間地理學(xué)就為考察現(xiàn)場(chǎng)即席話語(yǔ)提供了一種分析途徑。另外，還可聯(lián)系知識(shí)本體基礎(chǔ)理論及相關(guān)技術(shù)，站在人類(lèi)普通行為的高度對(duì)現(xiàn)場(chǎng)即席話語(yǔ)中的言語(yǔ)行為進(jìn)行建庫(kù)、研究，這對(duì)人工智能等領(lǐng)域具有較強(qiáng)的工程意義[37]。

二是利用多模態(tài)現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料，重新考察傳統(tǒng)語(yǔ)用學(xué)領(lǐng)域的經(jīng)典課題。經(jīng)典語(yǔ)用學(xué)承襲西方哲學(xué)和邏輯學(xué)等傳統(tǒng)，是基于單模態(tài)（文字載體的視覺(jué)感官或音頻載體的聽(tīng)覺(jué)感官）的信息交流分析上發(fā)展而來(lái)的語(yǔ)言使用規(guī)律考察。但是，忽略其他模態(tài)所蘊(yùn)含和傳遞的意義而構(gòu)建的語(yǔ)用學(xué)理論及原則是不充分的，因而只有在分析全方位充盈體驗(yàn)（Total Saturated Experience）式的言語(yǔ)交際過(guò)程基礎(chǔ)上才能歸納出真正符合實(shí)際的語(yǔ)用規(guī)律和原則。另外，言語(yǔ)交際發(fā)生的不同空間、時(shí)間和方式均會(huì)影響到經(jīng)典語(yǔ)用學(xué)原理的適用性。通過(guò)多模態(tài)語(yǔ)言研究方法，聯(lián)手會(huì)話分析等學(xué)科分支，使語(yǔ)言使用研究回歸至“以言行事”的、與社會(huì)活動(dòng)交織的言語(yǔ)交際情境中加以探究，可以重新考察包括禮貌原則、合作原則、指示、言語(yǔ)行為等若干經(jīng)典語(yǔ)用學(xué)課題，對(duì)它們進(jìn)行驗(yàn)證、修補(bǔ)和發(fā)展。

三是利用多模態(tài)現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料庫(kù)開(kāi)展對(duì)特殊人群的語(yǔ)言研究，包括文盲話語(yǔ)、老年人（含阿爾茲海默癥老年癡呆患者）語(yǔ)言衰老、嬰幼兒語(yǔ)言發(fā)展等。例如，文盲大腦中沒(méi)有文字表征，他們的語(yǔ)言活動(dòng)僅限于現(xiàn)場(chǎng)即席會(huì)話。對(duì)文盲話語(yǔ)的研究有助于理解人類(lèi)最初的語(yǔ)用交際本質(zhì)，進(jìn)一步理解文盲在語(yǔ)言信息加工過(guò)程中的各種問(wèn)題[38]；老年人語(yǔ)言衰老表現(xiàn)在現(xiàn)場(chǎng)即席會(huì)話中呈現(xiàn)各種語(yǔ)言特點(diǎn)及語(yǔ)用特征，多模態(tài)語(yǔ)料能為研究者提供單模態(tài)語(yǔ)料（如音頻）所不能及的信息[39]；另外，嬰幼兒當(dāng)下親歷與認(rèn)知、多模態(tài)意義模塊中的模態(tài)協(xié)同及演化等也是人類(lèi)語(yǔ)言發(fā)展研究中的重要問(wèn)題。

四是通過(guò)多模態(tài)現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料庫(kù)建設(shè)開(kāi)展瀕危語(yǔ)言或方言保護(hù)。多模態(tài)語(yǔ)料庫(kù)除能記錄瀕危語(yǔ)言或方言的語(yǔ)音特征外，還能有效捕捉說(shuō)話人在現(xiàn)場(chǎng)交際中的多種信息，如該語(yǔ)言或方言所承載的各種文化風(fēng)俗、交際習(xí)慣等，從整體上相對(duì)完整地記錄社會(huì)文化實(shí)踐中的語(yǔ)言活動(dòng)[40]（262-263），對(duì)瀕危語(yǔ)言研究和方言傳承保護(hù)具有重要意義[40][41][42]。境內(nèi)外已有不少研究機(jī)構(gòu)都建立了瀕危語(yǔ)言或方言的多模態(tài)數(shù)字檔案庫(kù)。

五是基于多模態(tài)語(yǔ)料庫(kù)對(duì)多模態(tài)修辭（Multimodal Rhetoric）現(xiàn)象進(jìn)行研究。從人類(lèi)行為的多模態(tài)交際本質(zhì)來(lái)看，鮮活整人在交際中形成了鮮活修辭行為。研究者可以基于多模態(tài)數(shù)據(jù)考察鮮活的、完整的人如何在各個(gè)時(shí)空間、通過(guò)各種載體、調(diào)用多種模態(tài)手段，為提升交際有效性而進(jìn)行的修辭行為。當(dāng)然，多模態(tài)修辭不僅限于現(xiàn)場(chǎng)即席話語(yǔ)，在非現(xiàn)場(chǎng)即席話語(yǔ)中也有多模態(tài)修辭行為，如多模態(tài)隱喻就可以出現(xiàn)在非現(xiàn)場(chǎng)即席話語(yǔ)中[43]。通過(guò)多模態(tài)語(yǔ)料庫(kù)，還可對(duì)不同語(yǔ)言之間的修辭現(xiàn)象進(jìn)行對(duì)比分析、規(guī)律總結(jié)。

多模態(tài)語(yǔ)料庫(kù)在一定程度上還能為人文社會(huì)科學(xué)研究范式的創(chuàng)新做出貢獻(xiàn)。目前，已有一些人文社會(huì)學(xué)者利用大規(guī)模文字（單模態(tài)）語(yǔ)料庫(kù)進(jìn)行歷史文化、社會(huì)政治等相關(guān)課題的研究，國(guó)外還出現(xiàn)了digital humanities及esocial science的研究領(lǐng)域。在多模態(tài)語(yǔ)料內(nèi)容的建模方法和檢索技術(shù)有效建立后如何為多模態(tài)語(yǔ)料進(jìn)行建模并設(shè)計(jì)檢索語(yǔ)言，以及如何處理語(yǔ)料規(guī)模和時(shí)間跨度等問(wèn)題，是一項(xiàng)復(fù)雜艱巨但具有重要意義的研究。，較單模態(tài)語(yǔ)料庫(kù)而言，能為學(xué)者提供更多信息，有利于面向客觀事實(shí)進(jìn)行相關(guān)的人文社會(huì)研究，將定性與定量研究有效結(jié)合起來(lái)。

當(dāng)然，需要指出的是，雖然在目前階段，多模態(tài)語(yǔ)料庫(kù)在研究理念、數(shù)據(jù)類(lèi)型等方面是相對(duì)先進(jìn)的語(yǔ)料庫(kù)類(lèi)型，但語(yǔ)料庫(kù)的研發(fā)絕不會(huì)停步于此。人們對(duì)大腦及語(yǔ)言認(rèn)識(shí)的持續(xù)深入將帶來(lái)新的語(yǔ)言研究模型，并從而促使研究者不斷突破技術(shù)限制、拓展數(shù)據(jù)類(lèi)型、精細(xì)建模顆粒度，開(kāi)始構(gòu)建大數(shù)據(jù)、復(fù)合型的語(yǔ)料庫(kù)，為探究語(yǔ)言交際本質(zhì)及其認(rèn)知機(jī)制提供更加充分的證據(jù)。在這一方面，顧曰國(guó)[20]已做了較為詳盡的論述。

五、 結(jié) 語(yǔ)

現(xiàn)場(chǎng)即席話語(yǔ)研究背后聯(lián)系著人類(lèi)親歷與體驗(yàn)的理論問(wèn)題，在認(rèn)識(shí)人類(lèi)出生以后的體驗(yàn)對(duì)語(yǔ)言能力發(fā)展的作用等方面具有重要意義，從而對(duì)喬姆斯基的語(yǔ)言學(xué)理論形成補(bǔ)充性研究。天賦的語(yǔ)言器官和后天的體驗(yàn)分別在多大程度上對(duì)語(yǔ)言能力的發(fā)展起到作用？人類(lèi)的多模態(tài)感官系統(tǒng)、編碼系統(tǒng)和記憶等如何與語(yǔ)言能力發(fā)展相互交織？這些理論性的問(wèn)題都起始于對(duì)現(xiàn)場(chǎng)即席話語(yǔ)的深入探究（可參考顧曰國(guó)[20][44]的相關(guān)論述）。

語(yǔ)言學(xué)研究對(duì)現(xiàn)場(chǎng)即席話語(yǔ)和多模態(tài)研究手段的關(guān)注，與相關(guān)的科技進(jìn)步關(guān)系密切：科技進(jìn)步為人們有效觀察、深入研究過(guò)去未加注意或不能捕捉的語(yǔ)言現(xiàn)象提供了更多途徑，從而豐富、拓展了考察界面和研究范疇；另一方面，相關(guān)的語(yǔ)言研究成果必將促進(jìn)相關(guān)科技的發(fā)展，如能為人機(jī)對(duì)話、人工智能系統(tǒng)的研發(fā)做好語(yǔ)言學(xué)準(zhǔn)備；在研究中產(chǎn)生的思想、方法或路徑還能為其他相關(guān)人文社會(huì)領(lǐng)域的研究提供啟示。總之，現(xiàn)場(chǎng)即席話語(yǔ)研究及對(duì)應(yīng)的多模態(tài)研究方法，拓展了語(yǔ)言研究的視野，具有深刻的理論意義和廣闊的應(yīng)用價(jià)值，應(yīng)當(dāng)成為未來(lái)語(yǔ)言研究的新興領(lǐng)域之一。

〔參考文獻(xiàn)〕

[1]顧曰國(guó). 使用者話語(yǔ)的語(yǔ)言學(xué)地位綜述[J]. 當(dāng)代語(yǔ)言學(xué)，1999， （3）： 3-14。

[2]顧曰國(guó). 北京地區(qū)現(xiàn)場(chǎng)即席話語(yǔ)語(yǔ)料庫(kù)取樣與代表性問(wèn)題[A]. 中國(guó)社會(huì)科學(xué)院世界經(jīng)濟(jì)研究中心編. 全球化與21世紀(jì)[C]. 北京：社會(huì)科學(xué)文獻(xiàn)出版社， 2002： 484-500.

[3]Lindstrm， J. Interactional linguistics[A]. In DHondt， S.， stman， J. & Verschueren， J. （eds.）. The Pragmatics of Interaction[C]. John Benjamins Publishing Company， 2009： 96-103.

[4]Sacks， H.， Schegloff， E. and Jefferson， G.. A simplest systematics for the organization of turntaking for conversation[J]. Language. 1974， 50 （4）： 696-735.

[5]GonzálezLloret， M. Conversation analysis and speech act performance[A]. In MartínerFlor， A. and UsóJuan， E. （eds.）. Speech Act Performance： Theoretical， Empirical and Methodological Issues[C]. Amsterdam/Philadelphia： John Benjamins Publishing Company， 2010： 57-74.

[6]Drew， P. Conversation analysis and social action[J]. 外國(guó)語(yǔ)， 2013， （3）： 2-19.

[7]Garfinkel， H. Studies in Ethnomethodology [M]. Englewood Cliffs， New Jersey： PrenticeHall Inc.， 1967.

[8]Sacks， H. Notes on methodology[A]. In Atkinson， J. M. and Heritage， J. （eds.）. Structures of Social Action： Studies in Conversation Analysis[C]. Cambridge： Cambridge University Press， 1984： 21-27.

[9]Schegloff， E. A. On some questions and ambiguities in conversation[A]. In Atkinson， M. J. and Heritage， J. （eds.）. Structures of Social Action： Studies in Conversation Analysis[C]. Cambridge： Cambridge University Press， 1984： 28-52.

[10]Schegloff， E. A. Sequence Organization in Interaction： A Primer in Conversation Analysis I [M]. Cambridge： Cambridge University Press， 2007.

[11]顧曰國(guó). 多模態(tài)感官系統(tǒng)與語(yǔ)言研究[J]. 當(dāng)代語(yǔ)言學(xué)，2015， （4）： 448-469.

[12]張德祿. 多模態(tài)話語(yǔ)分析理論與外語(yǔ)教學(xué)[M]. 北京：高等教育出版社， 2015.

[13]陶建華，楊明浩，李雅，潘詩(shī)峰，穆凱輝. 多模態(tài)融合的人際對(duì)話系統(tǒng)[J]. 中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2011， （11）： 30-39.

[14]Kolb， B. & Whishaw， I. Q. Fundamentals of Human Neuropsychology[M]. New York： Worth Publishers， 2005.

[15]McBurney， S. L. Pronominal reference in signed and spoken language： are grammatical categories modalitydependent？[A]. In Meier， R. P. et al. （eds.）. Modality and Structure in Signed and Spoken Languages[C]. 2002： 329-369.

[16]Robin， D. A.， Tranel， D. and Damasio， H. Auditory perception of temporal and spectral events in patients with focal left and right cerebral lesions[J]. Brain and Language. 1990， （39）： 539-555.

[17]Whitaker， H. A. Concise Encyclopedia of Brain and Language[Z]. Elsevier Ltd.， 2010.

[18]Ireland， K. A. & Tenenbaum， D. J. Visualizing Human Biology[M]. NJ： John Wiley & Sons， Inc. 2008.

[19]Seddoh， S. How discrete or independent are ‘a(chǎn)ffective prosody and ‘linguistic prosody？[J] Aphasiology， 2002， （16）： 683-692.

[20]顧曰國(guó). 當(dāng)下親歷與認(rèn)知、多模態(tài)感官系統(tǒng)與大數(shù)據(jù)研究模型—以新生嬰兒親歷為例[J]. 當(dāng)代語(yǔ)言學(xué)， 2016， （4）（即出）.

[21]顧曰國(guó). 論言思情貌整一原則與鮮活話語(yǔ)研究[J]. 當(dāng)代修辭學(xué)， 2013， （6）： 1-19.

[22]Firth， J. R. Papers in Linguistics， 1934-1951[M]. Oxford： Oxford University Press， 1957.

[23]Gu， Y. G. From reallife situated discourse to videostream datamining[J].International Journal of Corpus Linguistics， 2009， 14 （4）： 433-466.

[24]Giddens， A. Social Theory and Modern Sociology[M]. Stanford， California： Stanford University Press， 1987.

[25]顧曰國(guó). 多模態(tài)語(yǔ)料庫(kù)的設(shè)計(jì)與研發(fā)系列講座[R]. 上海交通大學(xué)，2012年7月9至10日.

[26]Damasio， A. The Feeling of What Happens： Body and Emotion in the Making of Consciousness[M]. London： William Heinemann， 1999.

[27]黃立鶴. 言語(yǔ)行為研究的另一個(gè)界面：現(xiàn)場(chǎng)即席話語(yǔ)視角[J]. 浙江外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2014， （3）： 45-53.

[28]黃立鶴. 語(yǔ)料庫(kù)4.0：多模態(tài)語(yǔ)料庫(kù)建設(shè)及其應(yīng)用[J]. 解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2015， （3）： 1-7，48.

[29]Kipp， M.， Martin， J.， Paggio， P. and Heylen， D. （eds.）. Multimodal Corpora： From Models of Natural Interaction to Systems and Applications[C]. SpringerVerlag Berlin Heidelberg， 2009.

[30]Gu， Y. G. Towards a model of situated discourse[A]. In Turner， K. （ed.）. The Semantics and Pragmatics Interface[C]. Elsevier Science Publisher， 1999： 149-178.

[31]Gu， Y. G. Towards an understanding of workplace discourse[A]. In Candlin， C. （ed.）. Research and Practice in Professional Discourse[C]. Hong Kong： The City University of Hong Kong Press， 2002： 137-185.

[32]Gu， Y. G. Multimodal text analysis—a corpus linguistic approach to situated discourse[J]. Text and Talk， 2006， 26 （2）： 127-167.

[33]Gu， Y. G. Fourborne discourses： towards language as a multidimensional city of history[A]. In Li， W. and Cook， V. （eds.）. Contemporary Applied Linguistics Volume 2： Linguistics in the Real World[C]. London： Centinuum， 2009： 98-121.

[34]Gu， Y. G. Discourse geography[A]. In Gee， J. and Hanford， M. （eds.）. Handbook of Discourse Analysis[C]. London： Routledge， 2012： 541-557.

[35]Hagerstrand， T. Space， time and human conditions[A]. In Karlqvist， A.， Lundqvist， L. and Snickars， F. （eds.）. Dynamic allocation of urban space[C]. Farnborough： Saxon House， 1975： 3-12.

[36]Thrift， N. Concepts and Techniques in Modern Geography No. 13 [M]. Nordwich： GeoAbstracts Limited， 1977.

[37]顧曰國(guó). OntologySupported Special Corpus of Illocution， Emotion and Prosody [R]. 第十八屆“口語(yǔ)語(yǔ)音資料庫(kù)協(xié)調(diào)暨標(biāo)準(zhǔn)化國(guó)際研討會(huì)東方分會(huì)”和“亞太口語(yǔ)語(yǔ)言研究和評(píng)價(jià)會(huì)議”（Oriental COCOSDA/CASLRE 2015）主旨報(bào)告，上海交通大學(xué)，2015年10月28至30日.

[38]黃立鶴. 文盲的語(yǔ)言研究：綜述、意義與后續(xù)考察[J]. 南榮學(xué)報(bào)，2014， （17）： A3-1-A3-13.

[39]黃立鶴. 近十年老年人語(yǔ)言衰老現(xiàn)象研究：回顧與前瞻[J]. 北京第二外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2015， （10）： 17-24.

[40]黃成龍，李云兵，王峰. 記錄語(yǔ)言學(xué)：一門(mén)新興交叉學(xué)科[J]. 語(yǔ)言科學(xué)，2011， （3）： 259-268.

[41]徐世璇. 論瀕危語(yǔ)言的文獻(xiàn)記錄[J]. 當(dāng)代語(yǔ)言學(xué)，2007， （1）： 44-51.

[42]張霄軍. 多模態(tài)語(yǔ)料庫(kù)：搶救瀕危語(yǔ)言的有效途徑[A]. 民族語(yǔ)言文字信息技術(shù)研究——第十一屆全國(guó)民族語(yǔ)言文字信息學(xué)術(shù)研討會(huì)論文集[C]. 中國(guó)云南西雙版納傣族自治州（2007年2月）， 2007： 35-41.

[43]黃立鶴. 通感、隱喻與多模態(tài)隱喻[J]. 語(yǔ)文與國(guó)際研究，2015， （13）： 1-13.

[44]顧曰國(guó). 當(dāng)代語(yǔ)言學(xué)的波形發(fā)展主題二：語(yǔ)言、人腦與心智[J]. 當(dāng)代語(yǔ)言學(xué)， 2010， （4）： 289-311.

（責(zé)任編輯：高生文）

Abstract： Reallife situated discourse is the most fundamental form of human interaction and it is constructed in the experiencing process of the Experiencer with the help of human multimodal sensory organs. In this reallife situated discourse， the Experiencers Total Saturated Experience and Situated Cognition are closely related. For a more profound understanding on situated discourse， we suggest taking Simulative Modeling and Multimodal Corpus Linguistics as the methodology and Situated Cognition as the theoretical framework， which enables the study to approach the Total Saturated Signification in situated discourse. This paper presents an introduction to multimodal studies on situated discourse， and offers the agenda for future research， including： language and human action， revisit to classic issues in Pragmatics， linguistic phenomena in special groups of people， protection of endangered languages and multimodal rhetoric analysis， etc.. All these issues are believed to be relevant to human cognition and linguistic competence， and thus extend the scope of language study and will grow into a promising research field with good theoretical and applied significance.

Key words： situated discourse； multimodality； corpus； experiencing； situated cognition