多模態(tài)互動分析視角下中國英語學(xué)習(xí)者直接抱怨行為研究

趙繼鴻

（大連外國語大學(xué) 英語學(xué)院，遼寧 大連 116044）

一、研究背景

語用能力是交際能力的重要組成部分，指交際者在具體交際情景下合適、得體使用和理解話語的能力［1］。目前，大多數(shù)相關(guān)研究僅從語言層面分析，缺乏非語言層面的考察，對語用能力這一概念的描述不夠全面。在交際過程中，語言能夠傳遞信息和表達(dá)情感，其他模態(tài)如手勢、面部表情、眼神等都可能會發(fā)揮信息傳遞的作用。近年來，語用能力的多模態(tài)研究逐漸被學(xué)者關(guān)注，如貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅·朱利安（Querol-Julián）［2］、裴曉宇等［3］，但僅為初步探索，相關(guān)理論和方法并不成熟，需要進(jìn)一步探討。

抱怨行為是生活中較為常見且值得研究的言語行為，是語用學(xué)研究的重要課題［4］。抱怨是指說話人對過去或正在進(jìn)行的對自身不利的行為表達(dá)的不滿或煩惱［5］。根據(jù)聽話人是否對自身不當(dāng)行為負(fù)責(zé)，抱怨語可分為直接抱怨語和間接抱怨語［6］。合理有效地實(shí)施抱怨可視為語用能力的體現(xiàn)之一，既可以達(dá)到交際目的，又可以減少對雙方關(guān)系的負(fù)面影響。近年來，國際上有個別學(xué)者從多模態(tài)視角研究學(xué)習(xí)者抱怨語產(chǎn)出，但研究數(shù)量較少。國內(nèi)相關(guān)研究依舊聚焦于語言層面的探討，鮮少有研究從語言和非語言層面考察學(xué)習(xí)者抱怨語使用的全貌。鑒于此，本研究以抱怨行為作為主要研究對象，采用多模態(tài)互動分析法［7］79-94分析國內(nèi)英語學(xué)習(xí)者直接抱怨行為的多模態(tài)特征，以期彌補(bǔ)二語語用研究單模態(tài)分析的不足，為二語語用多模態(tài)實(shí)證研究和二語語用教學(xué)提供參考。

二、語用能力與多模態(tài)話語分析

多模態(tài)話語分析作為一個新興領(lǐng)域，在國內(nèi)外都處于起步階段，有很大的研究空間。而且，多模態(tài)分析用于語用學(xué)的研究更為匱乏。近些年，僅有國外少數(shù)研究用多模態(tài)話語分析方法考察學(xué)習(xí)者的語用能力，如肯頓（Kendon）［8］、貝爾特蘭-帕蘭克斯（Beltrán-Palanques）［9］15-30、貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅·朱利安（Querol-Julián）［2］等。在國內(nèi)，陳新仁、錢永紅探討了多模態(tài)分析法應(yīng)用于語用學(xué)分析與研究中的必要性與可行性，構(gòu)建出一個適用于語用闡釋的多模態(tài)分析框［10］。黃立鶴指出，運(yùn)用多模態(tài)方法研究語用問題，可在研究方法上對語用學(xué)研究進(jìn)行升級，從而對相關(guān)語用學(xué)理論進(jìn)行拓展、修正［11］。但這些研究只停留在理論層面，至今國內(nèi)多模態(tài)視角下語用學(xué)相關(guān)的實(shí)證研究剛剛起步。裴曉宇等通過角色扮演任務(wù)，對2 名中國英語學(xué)習(xí)者與2 名津巴布韋英語學(xué)習(xí)者的道歉行為進(jìn)行了多模態(tài)互動分析。研究發(fā)現(xiàn)：4 名研究對象凝視模態(tài)強(qiáng)度普遍較高［3］。相比之下，中國英語學(xué)習(xí)者模態(tài)復(fù)雜度略低，但仍使用言語與非言語模態(tài)共建會話。

綜合以上研究發(fā)現(xiàn)，二語語用能力的研究被國內(nèi)外學(xué)者廣泛關(guān)注，但更多研究局限于語言這一單一模態(tài)的思考，缺少多模態(tài)的綜合考察。近年來，多模態(tài)視角也被一些學(xué)者發(fā)掘，但僅為初步的探索。因此，本研究通過多模態(tài)的視角，利用角色扮演收集數(shù)據(jù)，考察我國高水平英語學(xué)習(xí)者在使用英語和漢語抱怨時(shí)表現(xiàn)出的語用能力，以期進(jìn)一步探究多模態(tài)與語用研究結(jié)合的可行性，為后續(xù)相關(guān)研究提供參考。

三、研究設(shè)計(jì)

（一）研究問題

1.中國英語學(xué)習(xí)者在使用英語和漢語抱怨時(shí)各模態(tài)密度是否有差異？如果有，表現(xiàn)在哪些方面？2.中國英語學(xué)習(xí)者如何使用不同的模態(tài)抱怨？

（二）研究對象

本研究的研究對象為國內(nèi)某外國語高校的研三學(xué)生，女，25 歲，擁有17 年英語學(xué)習(xí)經(jīng)歷，通過了英語專業(yè)八級測試，無出國留學(xué)經(jīng)歷，可被認(rèn)定為高水平英語學(xué)習(xí)者，能夠順利進(jìn)行英語交流。為進(jìn)行角色扮演任務(wù)，在同校隨機(jī)選取一名研三學(xué)生，女，27 歲，擁有18 年英語學(xué)習(xí)經(jīng)歷，通過了英語專業(yè)八級測試，且分?jǐn)?shù)與研究對象相近，無出國留學(xué)經(jīng)歷，可被認(rèn)定為與研究對象二語水平相近。雙方現(xiàn)實(shí)關(guān)系為普通同學(xué)。

（三）研究工具

本研究使用開放式角色扮演收集數(shù)據(jù)，設(shè)定了兩個場景，場景1 交流語言為漢語，場景2 為英語。

場景1：你（抱怨者）和同學(xué)被安排為一組完成期末小組作業(yè)。你想約她出來討論，但她一直以沒有時(shí)間為由拒絕。臨近期末，她突然主動聯(lián)系你，說要一起討論期末作業(yè)。你如期到達(dá)約定地點(diǎn)，但是她卻沒有來，等了近40 分鐘后，你打算回圖書館繼續(xù)學(xué)習(xí)，剛要離開，她走了進(jìn)來。

場景2：你（抱怨者）和同學(xué)被安排到一組完成期末小組作業(yè)。你們分工后，各自完成自己負(fù)責(zé)的部分。最終你看到這門課的成績不合格，你詢問老師后得知，是同伴所做的那份小組作業(yè)太差，導(dǎo)致你們的分?jǐn)?shù)不及格。你找到她質(zhì)問為什么做得那么差，她說忘記最后的截止日期，當(dāng)天晚上匆忙趕出來的。

這些場景與大學(xué)生活有關(guān)，在后續(xù)的訪談中，研究對象表示自身經(jīng)歷過或可以輕易想象出這些場景。同時(shí)，她們認(rèn)為自己在實(shí)際的生活中也會表現(xiàn)得和角色扮演基本一致。在角色扮演中，研究對象首先進(jìn)行熱身性質(zhì)的角色扮演任務(wù)來熟悉任務(wù)類型。在隨后的正式任務(wù)中，研究對象被要求表現(xiàn)自然，盡可能和現(xiàn)實(shí)情景的表現(xiàn)一致。角色扮演無時(shí)間限制，她們自行選擇飾演的角色和決定哪一方開始談話，兩個場景的抱怨者均為同一位研究對象。當(dāng)雙方認(rèn)為準(zhǔn)備好后，即可進(jìn)行對話。本研究在征得研究對象同意的基礎(chǔ)上對她們的談話進(jìn)行了錄像。

（四）數(shù)據(jù)分析

本研究根據(jù)貝爾特蘭-帕蘭克斯（Beltrán-Palanques）的編碼方案［9］125-126，對抱怨語步進(jìn)行編碼劃分。其中，將抱怨過程分為三步：

抱怨前步（pre-complaint moves）：抱怨者提出抱怨話題，被抱怨者對此作出回應(yīng)。

話題協(xié)商（topic negotiation）：雙方就抱怨話題施展話語功能，如責(zé)備、解釋等。

抱怨后步（pre-complaint moves）：雙方試圖修復(fù)局面。

本研究使用ELAN 軟件，對抱怨者的口語、副語言（本研究主要考察語速和音量變化）、面部表情、手勢動作、頭部動作和凝視進(jìn)行標(biāo)注和時(shí)間測量。模態(tài)密度可由模態(tài)強(qiáng)度和模態(tài)復(fù)雜度兩種形式體現(xiàn)。模態(tài)強(qiáng)度是指一種模態(tài)在互動過程中的重要性或權(quán)重。模態(tài)復(fù)雜度是指多種模態(tài)相互作用共同完成活動［12］。一種模態(tài)承載的強(qiáng)度越大，模態(tài)密度就越高，多個模態(tài)交織越復(fù)雜，模態(tài)密度就越高［7］79。本研究通過計(jì)算參與者在交互過程中選擇每個模式的時(shí)間（以秒為單位）來測量模態(tài)強(qiáng)度。

四、結(jié)果與討論

（一）多模態(tài)特征

本研究在用ELAN 軟件得出數(shù)據(jù)后，繪制成雷達(dá)圖，圖中數(shù)據(jù)以秒為單位（見圖1）。其中，模態(tài)復(fù)雜度是話語構(gòu)建中使用的模態(tài)數(shù)量；模態(tài)強(qiáng)度體現(xiàn)為每個單獨(dú)軸從中心開始到外環(huán)結(jié)束所代表的時(shí)間長度；模態(tài)密度則表現(xiàn)為軸上各個點(diǎn)相連呈現(xiàn)出的圖形面積。

圖1 各語步中的模態(tài)密度

在抱怨前步中，抱怨者提出抱怨話題并得到對方的回應(yīng)。研究對象在使用漢語抱怨時(shí)，話題展開更快，而用英語交流時(shí)展開較慢，經(jīng)歷了從隱性到顯性的過程。從圖1 可以看出，抱怨者在使用英語交流時(shí)的模態(tài)密度大于用漢語交流（虛線相連呈現(xiàn)的面積大于實(shí)線），主要表現(xiàn)在模態(tài)復(fù)雜度（模態(tài)使用數(shù)量）和模態(tài)強(qiáng)度（模態(tài)使用的時(shí)間長度）均高于漢語，同時(shí)伴有手勢語、頭部動作和面部表情。在用兩種語言交流時(shí)，凝視都為高強(qiáng)度模態(tài)。

話題協(xié)商是抱怨的核心部分，恰當(dāng)?shù)恼勁幸蟊г拐呔哂休^高的語用能力。在話題協(xié)商階段，抱怨雙方就抱怨內(nèi)容施展話語功能，如表達(dá)不滿、解釋原因等。從圖1 可以看出，研究對象在用英語協(xié)商時(shí)，模態(tài)密度比漢語高。這其中模態(tài)復(fù)雜度具有一致性，造成密度差異的原因主要是模態(tài)強(qiáng)度不同。在用英語實(shí)施抱怨時(shí)，研究對象各模態(tài)的強(qiáng)度都高于漢語，凝視、口語、手勢模態(tài)強(qiáng)度差異顯著。與抱怨前步一致，凝視在漢英場景中都占據(jù)較高的模態(tài)強(qiáng)度。

在抱怨后步中，抱怨雙方試圖修復(fù)局面。從圖1 可以看出，研究對象在用英語、漢語修復(fù)局面時(shí)的模態(tài)復(fù)雜度非常接近，主要差異依舊表現(xiàn)在英語交流時(shí)的各模態(tài)強(qiáng)度比漢語高?？谡Z和凝視作為主要的模態(tài)在抱怨后步中構(gòu)建話語，而副語言、手勢、頭部移動和面部表情則出于較低的模態(tài)強(qiáng)度。

綜上所述，研究對象在抱怨的過程中利用豐富的多模態(tài)資源一起構(gòu)建抱怨話語，尤其在話題協(xié)商部分，抱怨者呈現(xiàn)出比其他語步更為豐富的模態(tài)密度。整體來說，凝視和口語作為主要的符號資源在其中發(fā)揮作用。交流語言對研究對象抱怨時(shí)呈現(xiàn)的模態(tài)強(qiáng)度影響較大，對模態(tài)復(fù)雜度影響較小。

（二）討論

研究發(fā)現(xiàn)，交流語言會影響學(xué)習(xí)者在各語步中的模態(tài)密度，主要體現(xiàn)在對模態(tài)強(qiáng)度的影響，即研究對象在使用英語與漢語抱怨時(shí)，各語步中的模態(tài)復(fù)雜度大致相同，而各模態(tài)強(qiáng)度相差較大。這可能由于交流語言不同，對語言模態(tài)造成影響，從而進(jìn)一步影響其他模態(tài)的表現(xiàn)，如副語言和非語言模態(tài)。

本研究發(fā)現(xiàn)，交流語言對語言模態(tài)的影響主要表現(xiàn)在研究對象提出抱怨的過程在英漢場景中存在一定差異，漢語抱怨過程更直接。相比之下，研究對象在運(yùn)用英語抱怨前會交代抱怨背景，給出抱怨理由，以此作為暗示，誘導(dǎo)聽話者主動承認(rèn)錯誤或承擔(dān)責(zé)任。凝視作為高強(qiáng)度的模態(tài)參與抱怨行為的實(shí)施過程，這與裴曉宇等的結(jié)果相似［3］。他們的研究中發(fā)現(xiàn)，中國英語學(xué)習(xí)者在用英語道歉時(shí)，凝視的模態(tài)強(qiáng)度較高。與他們的研究相似，本文研究對象的凝視方向在傾聽及話語產(chǎn)出過程中大多直指聽話者，這具有關(guān)注、勸說功能。在凝視這一非言語模態(tài)與言語模態(tài)的交互關(guān)系中，關(guān)注及勸說功能體現(xiàn)了凝視對言語模態(tài)的強(qiáng)化作用，即凝視在一定程度上協(xié)助了言語模態(tài)的意義生成［13］146-147。

本研究發(fā)現(xiàn)，手勢語及頭部動作等非語言模態(tài)也在抱怨過程中受到語言模態(tài)的影響。研究對象的手勢差異表現(xiàn)為在二語中手勢的模態(tài)強(qiáng)度高于母語場景。作為英語學(xué)習(xí)者，研究對象在用英語表達(dá)時(shí)，會借助手勢來彌補(bǔ)語言上的不足。說話人也會通過節(jié)奏手勢調(diào)節(jié)英語表達(dá)時(shí)的節(jié)奏和韻律，從而保證表達(dá)的流利度［14］。研究發(fā)現(xiàn)，用英語抱怨時(shí)，研究對象情緒激動便會更加頻繁地使用手勢動作。這與貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅-朱利安（Querol-Julián）的結(jié)果吻合［2］，反映出手勢在語言表達(dá)過程中起到了強(qiáng)調(diào)和表達(dá)不滿情緒的語用功能。綜上討論表明，學(xué)習(xí)者用英語實(shí)施抱怨言語行為時(shí)，會因個人情緒影響手勢的使用，同時(shí)會通過手勢彌補(bǔ)、輔助和強(qiáng)調(diào)語言表達(dá)和外化個人情感。研究對象在英語情景中的頭部移動頻率更高，模態(tài)強(qiáng)度也更高。這可能由于研究對象用英語交流時(shí)，有時(shí)無法清楚表達(dá)意義，從而會用頭部動作來彌補(bǔ)，這與哈達(dá)爾（Hadar）等人的研究結(jié)果一致［15］，他們也觀察到研究對象因語言不流暢而作出的頭部運(yùn)動往往頻率和速度都更大。研究對象用英語提出抱怨內(nèi)容和協(xié)商受阻時(shí)，會用表示否定的搖頭強(qiáng)化自己的表達(dá)，而頻繁搖頭也可能是她氣憤的外顯，這呼應(yīng)了麥克拉夫（McClave）的觀點(diǎn)，即頭部移動會涉及人物心理意象和情緒狀態(tài)的表達(dá)［16］。

在日常交際過程中，直接抱怨語的產(chǎn)出具有多模態(tài)共現(xiàn)特征。當(dāng)一種模態(tài)不足以清楚地表達(dá)交際意圖時(shí)，交際者會利用其他模態(tài)來進(jìn)行強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到充分表達(dá)意義，讓聽話者理解話語的目的［17］。研究對象利用語言和非語言中的多種模態(tài)完成抱怨過程，如在提出抱怨時(shí)會加快語速，提高音量，頻繁移動頭部和出現(xiàn)皺眉表情。在話題協(xié)商時(shí)，會用頭部動作和手勢強(qiáng)化或補(bǔ)充表達(dá)。

結(jié)語

本研究考察了1 名英語專業(yè)研究生直接抱怨語語用能力的多模態(tài)表現(xiàn)。研究結(jié)果表明，研究對象在用英語抱怨時(shí)各模態(tài)強(qiáng)度都高于漢語，這可能是因?yàn)檎Z言模態(tài)的改變會影響非語言模態(tài)的使用。抱怨過程中，凝視和口語作為高強(qiáng)度的模態(tài)參與抱怨話語的構(gòu)建。抱怨行為是各個模態(tài)共同作用的，即多個模態(tài)相互協(xié)作完成抱怨。同時(shí)，個別模態(tài)會對意義和情緒表達(dá)起到補(bǔ)充和強(qiáng)化作用，這在一定程度上彌補(bǔ)了學(xué)習(xí)者語用能力的不足。

本研究僅對1 名英語學(xué)習(xí)者進(jìn)行分析，數(shù)據(jù)和結(jié)論具有一定片面性，今后的研究可增加研究對象數(shù)量，并從更多模態(tài)如音調(diào)、軀干等入手，提高研究的全面性和可信度。另外，可以嘗試從其他言語行為入手，進(jìn)一步探索多模態(tài)話語分析與語用學(xué)研究結(jié)合的可行性。