模態(tài)與在線交際話語
——基于即時通訊多模態(tài)語用框架的分析

張曉燕

(集美大學(xué) 誠毅學(xué)院， 福建 廈門 361021)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，基于網(wǎng)絡(luò)新媒體的交際平臺蓬勃興起，內(nèi)容更豐富、聯(lián)系性及操作性更強(qiáng)的Web2.0互聯(lián)網(wǎng)模式業(yè)已成為當(dāng)今互聯(lián)網(wǎng)發(fā)展的新趨勢。互聯(lián)網(wǎng)中介交際(Computer-mediated communication，CMC)給語言使用創(chuàng)造更多空間。學(xué)者們對CMC的研究也從不同研究界面著手討論，如網(wǎng)絡(luò)聊天室非語言交際研究[1]；從功能語言學(xué)和符號學(xué)角度對CMC中語言符號的分析[2]；對網(wǎng)絡(luò)交際中表情符號的分析[3]；用社會語言學(xué)中語言變體和言語社區(qū)理論對網(wǎng)絡(luò)用語的語音、詞匯、句法和語用等方面進(jìn)行分析。[4]而Yus也最早于2001年提出“網(wǎng)絡(luò)語用學(xué)”(Cyberpragmatics) 用于互聯(lián)網(wǎng)中介交際(Computer-mediated communication，CMC)的認(rèn)知語用學(xué)研究，并將興趣關(guān)注于分析網(wǎng)絡(luò)環(huán)境下信息的生成和解釋以及用戶獲取語境信息的方式。[5]此后從語用學(xué)視角探討網(wǎng)絡(luò)交際互動(如參與方式)與人際語用關(guān)系的研究層出不窮，如冒犯的語用研究[6]、 網(wǎng)絡(luò)話語的禮貌現(xiàn)象。[7-10]而隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)線上交際方式從初期的論壇、聊天室變成以QQ、Wechat、MSN等代表的即時通訊軟件(Instant Messenger，簡稱IM)，形成大眾網(wǎng)絡(luò)交際的主要方式。

即時聊天受種種技術(shù)限制，呈現(xiàn)出網(wǎng)絡(luò)交際的新形態(tài)和社交關(guān)系。學(xué)界對網(wǎng)絡(luò)在線交際互動形式也著重探討話輪特點(diǎn)或話輪的轉(zhuǎn)換或會話中隱喻的生成[11]；也有探討話輪特點(diǎn)并分析話輪轉(zhuǎn)換規(guī)律及連貫的實(shí)現(xiàn)方式[12]；還有通過從傳介方式角度考察網(wǎng)絡(luò)聊天示情手段以及介入方式對不同語體示情手段的制約作用[13]，但較少從多模態(tài)角度探討網(wǎng)絡(luò)中介交際的話語語用問題，較少探析交際中話語在多種模態(tài)的協(xié)同作用下的生成。冉永平等指出，未來網(wǎng)絡(luò)交際研究(如禮貌現(xiàn)象)出現(xiàn)與多模態(tài)交接趨勢，后者為其帶來多路徑和多維度的研究方法。[14]陳新仁、錢永紅也認(rèn)為基于現(xiàn)有語用學(xué)理論框架的分析關(guān)注的都只是語言本體對交際的影響，而缺乏考慮其他符號信息特別是非語言因素對意義構(gòu)建的影響。[15]語用學(xué)有必要引進(jìn)多模態(tài)分析法，可以此來豐富語用分析特別是關(guān)于語言使用的客觀描寫，可以更加清晰地揭示非語言符號信息在意義建構(gòu)和理解中的作用。[15]筆者借鑒系統(tǒng)功能語言學(xué)理論框架，從即時交際出發(fā)，嘗試構(gòu)建適用于網(wǎng)絡(luò)語用學(xué)分析的即時通訊的多模態(tài)語用分析框架，并探討模態(tài)與在線交際話語的語用關(guān)系。

一、 即時通訊多模態(tài)話語分析理論基礎(chǔ)與語用分析框架

正如上述所言，得益于科學(xué)技術(shù)和現(xiàn)代交流媒介的發(fā)展和廣泛使用，多模態(tài)話語越來越多地得到關(guān)注。多模態(tài)話語/語篇(multimodal discourse)是一種融合了多種交流模態(tài)(如文字、聲音、形象等)來傳遞信息的語篇。[16]20多模態(tài)話語分析始于20世紀(jì)90年代，其理論的代表人物Kress &Leeuwen曾指出：“多模態(tài)就是運(yùn)用幾種符號學(xué)模態(tài)(semiotic modes)，或綜合使用幾種符號學(xué)模態(tài)來增強(qiáng)同種意義的表達(dá)，或行使補(bǔ)充功能，或進(jìn)行有層次排序?！盵3]7其判斷標(biāo)準(zhǔn)主要有兩種：(1)看話語關(guān)涉的模態(tài)種類有多少。僅使用一種模態(tài)的話語叫做單模態(tài)話語，而同時使用兩種及以上模態(tài)的話語叫做多模態(tài)話語。(2)看涉及的符號系統(tǒng)有多少。有些話語雖然僅涉及一種模態(tài)，但包含兩個或兩個以上的符號系統(tǒng)，如繪本雖然只涉及視覺模態(tài)，但既有文字又有圖畫。還有手勢語、面部表情和身勢語等副語言(paralanguage)，我們也可以把它當(dāng)做一種模態(tài)。[17]

在互聯(lián)網(wǎng)中介交際中，即時通訊也具有多模態(tài)話語特性，即時通訊話語中常有兩個及以上符號系統(tǒng)，其中包含文字、多種圖畫符號或輸入語音音流、嵌入超級鏈接，而手勢語、面部微表情和身勢語之類的副語言(paralanguage)則是具象化為一種表情符號融入文本語言交流中。在日常面對面交流中，發(fā)話者經(jīng)常通過副語言(paralanguage)因素(如音調(diào)、語速、沉默等)或非語言因素(表情、動作等)來進(jìn)行明示，聽話者則可以從對方的明示信息來對話語進(jìn)行衍推和理解。而在網(wǎng)絡(luò)p-c-p(person-computer-person，人-電腦-人)交際中，交際者可以借由具象化的副語言(各種情感符號等)來取代肢體語言進(jìn)而傳遞語言信號。通過構(gòu)建不同的語境，經(jīng)由不同的模態(tài)來促成話語的意義。在多模態(tài)文本中，接收者需調(diào)動多重感官汲取多種模態(tài)形式的外部符號，同時通過這些不同感官模式獲得的信息，彼此之間也會進(jìn)行(有效的)互動，或者形成某種形象作為文字文本的部分，或者文字文本形式生成形象文本形式等。[18]盡管多種模態(tài)取代單一模態(tài)，使得原本話語分析更為復(fù)雜，然而不同模態(tài)的話語卻是相互聯(lián)系、相輔相成的。

隨著交流渠道與媒介的多樣性和語言的多元性發(fā)展，語篇在表征和交流上更是呈現(xiàn)出多語式(multi-modal)特征。因此，理解多語式話語無疑已成為一種不可或缺的能力?；趶埖碌摰亩嗄B(tài)話語分析性框架以及陳新仁的多模態(tài)語用分析框架，我們提出了即時通訊多模態(tài)語用分析框架(見圖1)。

圖1 即時通訊多模態(tài)語用分析框架

筆者對即時通訊交際進(jìn)行多模態(tài)話語分析并探討多模態(tài)因素在交際中與語言層面的關(guān)系。試回答如下問題：

1.多模態(tài)因素是如何協(xié)同參與即時通訊交際的？ 各模態(tài)呈現(xiàn)什么特點(diǎn)？

2.模態(tài)與話語之間有何關(guān)系？

二、 研究設(shè)計(jì)

(一) 語料搜集

本研究提取五個活躍度高、代表性強(qiáng)的QQ群或微信群，除私密群外，其余群人數(shù)皆為300人以上，分別為社區(qū)交流群、教師資源分享交流群、學(xué)生學(xué)習(xí)交流群、工作交流群、密友交流群。從交際內(nèi)容看，語料來自學(xué)習(xí)、工作、社區(qū)生活、個人生活和信息的分享交流等五方面的交際。我們從中隨機(jī)采集共計(jì)2 802條聊天記錄。 每個群提取純文字部分另建文檔，進(jìn)行統(tǒng)計(jì)(見表1)。

表1 即時通訊群數(shù)據(jù)統(tǒng)計(jì)表

(二) 研究方法

我們采用了語料分析法，作了兩方面處理。首先利用同步助手軟件(v3.4.7_32bit版本)將微信和QQ群的聊天記錄導(dǎo)出到相應(yīng)的EXCEl文本中，并清理個別空白對話，然后根據(jù)原聊天記錄和媒介因素在類型上進(jìn)行識別性標(biāo)注(類型分為網(wǎng)頁、視頻、照片壁紙、文本、名片、表情、動畫表情、公告、文件、音頻，其中網(wǎng)頁即超鏈接，照片壁紙即圖片，名片和公告屬于超鏈接)。最后根據(jù)互補(bǔ)(強(qiáng)化q、凸顯t、說明s、表態(tài)b)和非互補(bǔ)關(guān)系(類比l、沖突c、交互j)，觀察分析模態(tài)間的互動關(guān)系并利用EXCEL表格進(jìn)行統(tǒng)計(jì)(這里主要研究文字模態(tài)外的其他模態(tài)與文字模態(tài)關(guān)系)。比如某話語為照片壁紙類型，它在交際中屬于說明關(guān)系，那就標(biāo)記為“照片壁紙s”。

(三) 語料統(tǒng)計(jì)與對比分析

對語料統(tǒng)計(jì)觀察后發(fā)現(xiàn)如下特點(diǎn)：五個聊天群中，QQ群和微信群都是文字模態(tài)最多，其次為表情符。模態(tài)的使用與聊天內(nèi)容和交際者身份有著較大的關(guān)系。除了文字模態(tài)，生活群里以表情符模態(tài)最多。而在資源分享群里由于建群的意義在于資源的分享與討論，所以超鏈接的輸出最為顯著。密友群里則是表情和圖片居多，也有出現(xiàn)音頻模態(tài)，說明語音的輸出跟成員的親近關(guān)系有一定關(guān)系。在學(xué)生群和工作群中，字號字體和色彩的模態(tài)輸出尤為顯著，這與QQ聊天工具有改變字體字號和色彩的功能有關(guān)，也反映學(xué)生群里交際者樂于使用不同的色彩和字號字體表現(xiàn)個性，抒發(fā)情感(見表2)。

表2 各模態(tài)的呈現(xiàn)數(shù)量與占比

三、 討論與分析

(一)順應(yīng)論

使用語言就是選擇語言。語言的使用，說到底是“一個不斷選擇語言的過程，不管這種選擇是有意識的還是無意識的，也不管它處于語言內(nèi)部的還是出于語言外部的原因”。[19]55-56所以語言選擇產(chǎn)生于語言結(jié)構(gòu)的任何層面，從語音、語調(diào)到詞匯或語法結(jié)構(gòu)的選擇，從語碼到話語、篇章、模態(tài)的選擇。選擇的過程具備三個特性：變異性、商討性、順應(yīng)性。語言交際中的多種模態(tài)取代以往的單一模態(tài)，說明語言在發(fā)展中特別是在網(wǎng)絡(luò)交際中隨著技術(shù)的發(fā)展呈現(xiàn)出的變化。語言的變異性是商討性的基礎(chǔ)。語言的選擇并非總是嚴(yán)格遵循形式-功能關(guān)系，而是具備高度靈活性和不確定性的。[19]59同一個表情符號在不同的語境中具有不同的含義。順應(yīng)性指可以使語言交際者從各種可能的變體中做出商討性選擇，從而滿足交際的需要，并且交際都是發(fā)生于具體的語境中，所以話語的選擇需要順應(yīng)語境。即時通訊中多種模態(tài)的使用正是互聯(lián)網(wǎng)Web2.0時代技術(shù)給予交際者更多模態(tài)選擇的體現(xiàn)。模態(tài)的選擇和使用正是順應(yīng)的表現(xiàn)。

(二)典型模態(tài)具體分析

1.文字模態(tài)的使用始終還是處于主體地位，占56%以上。語言文字基本能達(dá)到表意和交際的功能。從句子長度看，不同群體的使用還是有區(qū)別的。從表1可以看到各個群的平均句長為13.4，而學(xué)習(xí)QQ群句長最短，為6.7字。生活微信群句長最長，為19.4字。說明學(xué)生群體或關(guān)系比較近的群體在即時通訊交際中不太在意句式結(jié)構(gòu)，比較喜歡使用簡短甚至不完整句式。如：

L1：有人找暑假工嗎？帶帶我

L2：找啊 缺人ing

會不會拍照

L1：會

L2：攝影的？

上面實(shí)例中，L2說“缺人ing”，在漢語文字中加了英文語碼，表示“正缺人”來代替完整句子“我們正缺人”。甚至回應(yīng)也是簡潔回應(yīng)，有時連逗號和句號都省略，僅用間隔號或間隔行來表示。學(xué)生群體交際者喜歡用單詞、短語、較短句子等簡化的句子或獨(dú)詞句正是順應(yīng)其交際語境的表現(xiàn)，因?yàn)閷W(xué)生群體思想活潑、富有創(chuàng)造力，更傾向方便快捷地溝通。而在社區(qū)交流群和工作群中交際者更愿意使用較長句子來完整表達(dá)意思，較完整句子的表達(dá)正是為了順應(yīng)交際語境，即涉及社區(qū)生活問題和工作問題等比較嚴(yán)肅內(nèi)容話題時交際者仍會完整充分地表達(dá)意思。可見學(xué)生群體和社區(qū)交流群與工作群中對句長的選擇正是語言順應(yīng)性的表現(xiàn)。

3.信息分享群里超鏈接模態(tài)使用較多，超鏈接(hyperlink)和節(jié)點(diǎn)(node)組成超文本。超文本是一種結(jié)構(gòu)文本，具有多語式和視覺化(visualisation)，是網(wǎng)絡(luò)話語的代名詞。[20]可見超文本也是交際隨著網(wǎng)絡(luò)技術(shù)發(fā)展在語言上進(jìn)行的變異和順應(yīng)。Kress 等認(rèn)為超文本語篇或多語式語篇在交流中需要滿足三個條件：(1)表征和交際與參與者社會關(guān)系相關(guān)。(2)所交際和表征的必須為交際者希望交際的時間、事態(tài)和知覺。(3)信息的生成必須具有粘聯(lián)性，語篇需有自身內(nèi)部粘聯(lián)，而且與語境之間有粘聯(lián)性。[21]261而在資源分享群里超鏈接的輸出最為顯著。然而有些超鏈接文本在交際中與語境粘聯(lián)性較小，無法引起更為有效的交際互動。比如圖2的交際實(shí)例(話語用L+數(shù)字順序體現(xiàn))。

圖2 部分對話截圖

在此交際中，交流呈現(xiàn)L1文本—L2 視頻—L3超鏈接—L4文本—L5文本—L6超鏈接—L7文本—L8文本的模式，其中L2視頻(關(guān)于環(huán)保的ted演講片段)和L3超鏈接因?yàn)榕c整個交際語境不符，因此沒有引起有效互動，但是在網(wǎng)絡(luò)上沒有話語的回應(yīng)并非就是沒有交際的參與，可能還是有交際者參與了超鏈接文本的閱讀，如此，那么這個超鏈接文本還是有意義的。在即時通訊多模態(tài)語用交際中我們將其歸為交互關(guān)系，即參與新語境的創(chuàng)建。交際者多用超鏈接獨(dú)立話語建立新的語境，其用途主要在于介紹或傳播咨詢。而L6超鏈接則起到對L1的解釋說明作用。以上出現(xiàn)的視覺模態(tài)、超鏈接模態(tài)都是交際過程中順應(yīng)語境即時出現(xiàn)的變換形式，交際雙方也都需要根據(jù)交際意圖以及雙方的反饋隨時進(jìn)行靈活的選擇。

(三) 模態(tài)間的相互關(guān)系分析

上文所述即時通訊交際中模態(tài)與語言層面主要包括互補(bǔ)和非互補(bǔ)關(guān)系。其中互補(bǔ)關(guān)系包括強(qiáng)化、凸顯、說明關(guān)系；非互補(bǔ)關(guān)系包括類比、沖突、交互關(guān)系。將語料中的各個模態(tài)進(jìn)行分類統(tǒng)計(jì)如下(見表3)。

表3 模態(tài)間的關(guān)系數(shù)量

在即時通訊中，各個模態(tài)之間的關(guān)系主要以表態(tài)、凸顯等互補(bǔ)關(guān)系為主，非互補(bǔ)關(guān)系則以交互為主。表態(tài)關(guān)系多以文字模態(tài)+表情符的形式為主。在交際中，各種表情符起著傳情表意的功能。例如：

表態(tài)關(guān)系的呈現(xiàn)能有效地表達(dá)交際者的情感，可以起到補(bǔ)充語境的作用。比如上述對話，L1中的齜牙笑表情符起到表達(dá)交際者的開心情感。結(jié)合話語“今天運(yùn)氣好嗎”可以推出此句并非一般問句，其實(shí)已經(jīng)設(shè)定了問題的答案。而“強(qiáng)”的手勢重復(fù)使用兩次有強(qiáng)化作用，此處不僅有表態(tài)關(guān)系還有強(qiáng)化關(guān)系。凸顯在交際中的方式多以字體字號和色彩的顯示方式為主。在語料中多出現(xiàn)在qq交際中，交際者在選擇字體、字號、字色或背景色的時候，在即時通訊獨(dú)特的閱讀交際界面上呈現(xiàn)了凸顯的關(guān)系。而非互補(bǔ)關(guān)系中的交互關(guān)系多由超鏈接呈現(xiàn)而來。如圖2，L3的超鏈接與上文的關(guān)系即是非互補(bǔ)關(guān)系。超鏈接在對話中起到引入新的語境、解釋介紹的作用。

四、 結(jié) 語

互聯(lián)網(wǎng)中介交際的多模態(tài)性順應(yīng)了互聯(lián)網(wǎng)時代的交際語境，使得語言的產(chǎn)出更為有趣和個性化的同時也讓理解變得更加復(fù)雜。筆者構(gòu)建了即時通訊多模態(tài)語用分析框架，為在線交際話語提供了很好的分析框架。在即時通訊交際中，文字模態(tài)的使用最多，其次為表情符。模態(tài)的使用與聊天內(nèi)容和交際者身份有著較大的關(guān)系。模態(tài)間相互作用，主要有互補(bǔ)和非互補(bǔ)關(guān)系。其中主要以表態(tài)、凸顯和交互關(guān)系為主。多種模態(tài)的使用在補(bǔ)充語境方面發(fā)揮著重要的作用。在網(wǎng)絡(luò)多模態(tài)會話中，人們利用抽象符號或標(biāo)點(diǎn)符號組合而成大量形象直觀、生動活潑、富有創(chuàng)意的網(wǎng)絡(luò)語言。正是這些或靜態(tài)或動態(tài)，具有仿真效果的類文字、表情、身姿、體動的副語言符號，彌補(bǔ)了純文字交流的枯燥和網(wǎng)絡(luò)非現(xiàn)場交流情感失缺的不足，有效提高了溝通效率，開啟了網(wǎng)絡(luò)多模態(tài)聊天方式。然而豐富的語境信息和多樣化的文本輸入形式使得會話者勢必需要根據(jù)多模態(tài)語境因素的輔助作用，借助交際策略對說話者的交際意義和意圖進(jìn)行推導(dǎo)。由于有了多方模態(tài)的參與，增加即時交際語言的使用和理解的難度，并且在這極具口語化的網(wǎng)絡(luò)交際中，交際的物理語境決定了話語者進(jìn)行適切交際的不易。因此網(wǎng)絡(luò)交際者應(yīng)在多模態(tài)語境下把握語言的順應(yīng)，分析模態(tài)間的關(guān)系，對豐富的語言現(xiàn)象進(jìn)行分析解釋，提高網(wǎng)絡(luò)即時交際的效果。