多模態(tài)視角的大學(xué)生英語口語非言語交際能力研究

紀(jì)燕

摘 要：本項研究從多模態(tài)視角關(guān)注外語學(xué)習(xí)者的非言語交際能力，注重外語學(xué)習(xí)者在實際外語輸出過程中的目光、表情、語音語調(diào)、手勢等非言語交際特征，以期拓展對口語交際能力的建構(gòu)以及優(yōu)化大學(xué)英語口語教學(xué)。

關(guān)鍵詞：言語交際能力；非言語交際能力；多模態(tài)

中圖分類號：G640 文獻(xiàn)標(biāo)志碼：A 文章編號：2096-000X（2018）14-0075-03

Abstract： From the multimodality perspective， this study focuses on nonverbal communication competence of English learners， especially their sights， expressions， pronunciation and intonation， gesture and other nonverbal communication characteristics， with the aim of expanding competence construction of oral English communication and optimizing college oral English teaching.

Keywords： verbal communication competence； nonverbal communication competence； multimodality

國內(nèi)外諸多研究關(guān)注教學(xué)領(lǐng)域的多模態(tài)應(yīng)用，尤其多模態(tài)視角下語言學(xué)習(xí)者口語交際能力的研究，關(guān)于分析多模態(tài)信息渠道的多元化促進(jìn)學(xué)習(xí)者接收教學(xué)相關(guān)信息，關(guān)于這種多元化很大程度上為學(xué)習(xí)者創(chuàng)造了多層面地學(xué)習(xí)知識、提升學(xué)習(xí)效率的優(yōu)勢研究居多，然而多模態(tài)視角下折射學(xué)習(xí)者本身語言產(chǎn)出性特征的功能研究往往被忽視，具有一定的局限性?！洞髮W(xué)英語課程要求》提出大學(xué)英語教學(xué)要使學(xué)生具備以英語為工具進(jìn)行社會交流和開展工作的能力，“說”的能力應(yīng)當(dāng)成為大學(xué)英語教學(xué)的重中之重。然而，以我國現(xiàn)有的各類英語口語測試為例，大學(xué)英語四、六級口試、英語專業(yè)四、八級口試的評分量表分別為“語言準(zhǔn)確性和范圍、話語的長短和連貫性、語言靈活性和適切性”和“語音語調(diào)、語法與詞匯、有條理、靈活自如”為重點(diǎn)。[1-3]這樣的評分方式側(cè)重以流利程度、內(nèi)容、語法和發(fā)音等言語因素的考察，以主觀判斷為依據(jù)而缺乏客觀性考量標(biāo)準(zhǔn)，忽視了非言語交際的能力而缺乏全面性。誠然，非語言交際能力被忽視的重要原因是非言語交際的內(nèi)容很難定性、定量。但是，中國大學(xué)生缺乏非言語交際能力的事實不容忽視。

非語言交際是人類交際的重要組成部分，交流環(huán)節(jié)的一個重要因素，在交際中起著語言交際無法替代的作用。多模態(tài)視角下發(fā)掘?qū)W習(xí)者在接受信息時其本身的反應(yīng)及具體運(yùn)用這些信息的能力特征，一方面能豐富交際語言能力的內(nèi)涵與外延，另一方面也能提升培養(yǎng)非語言交際能力在外語教學(xué)中的重要性。多模態(tài)視角的大學(xué)生英語口語非言語交際能力研究旨在協(xié)助學(xué)生直觀地了解自己口語產(chǎn)出所呈現(xiàn)的特征，促進(jìn)教師改進(jìn)課堂話語，以期促進(jìn)解決目前大學(xué)生英語口語學(xué)習(xí)內(nèi)在動機(jī)不足、自主學(xué)習(xí)能力差和學(xué)習(xí)費(fèi)時低效，以及大學(xué)英語口語教學(xué)中未能充分地考慮學(xué)習(xí)者與各模態(tài)之間互動需要等問題，為從真正意義上實現(xiàn)《課程要求》中的內(nèi)容發(fā)揮重要作用，優(yōu)化大學(xué)英語口語教學(xué)效果。

一﹑多模態(tài)應(yīng)用于教育領(lǐng)域的研究

國內(nèi)教育界受到多模態(tài)視角研究的直接影響，越來越多的研究人員開展了語言及語言教學(xué)相關(guān)研究領(lǐng)域的研究，研究內(nèi)容基于多模態(tài)話語分析所呈現(xiàn)形式的多樣性展開，大致可以被概括為以下四個方面：第一，側(cè)重從多元讀寫的含義和多元讀寫研究的發(fā)端出發(fā)，結(jié)合多模態(tài)與多元識讀之間的關(guān)聯(lián)，將文字表達(dá)的意義與視覺、聽覺、手勢等其他表意方式相結(jié)合的研究。第二，強(qiáng)調(diào)以語言和圖像之間互動的多模態(tài)方式對具體技能教學(xué)或整體課堂教學(xué)的影響，以多元化信息渠道為英語學(xué)習(xí)者提供更多語境信息從而優(yōu)化教學(xué)效果。第三，運(yùn)用多模態(tài)符號資源優(yōu)化語言教材的評估，以及協(xié)助解決語言教材編寫和使用中的某些具體問題。第四，以多模態(tài)例如原版英文電影輔助教學(xué)的研究，強(qiáng)調(diào)情境在英語口語學(xué)習(xí)中的重要性，認(rèn)為原版英語電影的真實性和多模態(tài)性能有效地激發(fā)學(xué)生的語言學(xué)習(xí)興趣，刺激學(xué)生的聽覺和視覺等多重感官。然而，以上的研究大多是從語言輸入方面展開關(guān)于多模態(tài)在教學(xué)中給學(xué)習(xí)者在感官上大量和多樣的刺激，很少從學(xué)生的語言產(chǎn)出角度來做多模態(tài)的分析。多模態(tài)視角至今還未應(yīng)用于研究英語口語特征當(dāng)中。國際上，已經(jīng)有研究人員開始從學(xué)習(xí)者語言產(chǎn)出的角度展開，基于學(xué)習(xí)者語言產(chǎn)出的各種特征建立話語語料庫，嘗試從多模態(tài)角度對學(xué)習(xí)者的語言產(chǎn)出特征進(jìn)行量化并加以解釋。然而，國內(nèi)相關(guān)研究仍為數(shù)甚少，少量的研究曾聚焦學(xué)習(xí)者的非言語行為發(fā)現(xiàn)在多模態(tài)環(huán)境下我國大學(xué)生的非言語交際能力確實普遍存在不充分、不自然的現(xiàn)象。[4]38

二﹑多模態(tài)話語分析理論框架

多模態(tài)話語分析（multimodal discourse analysis）于20世紀(jì)90年代在西方興起，是對多模態(tài)符號學(xué)研究發(fā)展而來的。語言只是意義生成的手段之一，傳統(tǒng)意義上只以語言為核心的單模態(tài)分析法已無法全面地解釋意義的生成和交際。在社會交流中人們的手勢、面部表情、身體語言等也都是生成意義的符號模態(tài)，產(chǎn)生意義的源泉，在交際中有著同樣的價值功能。人們往往借助多種符號資源諸如聲音、圖像和顏色等其他符號在社會語境中完成意義的建構(gòu)。傳統(tǒng)的話語分析理論和方法只注重言語系統(tǒng)和機(jī)構(gòu)及其與社會文化和心理認(rèn)知的關(guān)系等，對于言語以外的模態(tài)表現(xiàn)形式及意義缺乏應(yīng)有的關(guān)注。源于系統(tǒng)功能語言學(xué)理論的多模態(tài)話語分析為語言分析提供了新的視角。眾多學(xué)者認(rèn)為多模態(tài)話語分析是對話語分析的一個理論補(bǔ)充。他們指出多模態(tài)話語分析除了研究語言系統(tǒng)和語義結(jié)構(gòu)本身，還應(yīng)包含語言以外的其他符號系統(tǒng)。面部表情與語音綜合、面部表情與語音識別、言語與手勢等多種模態(tài)的互補(bǔ)研究對于定性、定量研究非言語交際能力更加客觀、全面、有效。多模態(tài)話語分析能有效彌補(bǔ)單模態(tài)話語分析的不足，多種模態(tài)的互補(bǔ)研究已經(jīng)成為多模態(tài)話語分析研究的一大發(fā)展趨勢。作為系統(tǒng)功能語言學(xué)的代表之一，張德祿指出話語意義中的一大部分是由非語言因素“如伴語言特征：音響度、聲調(diào)、語調(diào)、音速等，身體特征：手勢、身勢、面部表情、動作等體現(xiàn)的，并基于意義、文化、語境、形式和媒體即系統(tǒng)功能語言學(xué)的五大層面提出了多模態(tài)話語分析的綜合理論框架。

三、多模態(tài)視角下非言語交際能力的主要元素

以張德祿（2009）所提出的多模態(tài)話語分析理論框架為基礎(chǔ)，結(jié)合中國大學(xué)生英語口語分析性評估體系，非言語交際能力包含“基于身體”（即說話人在言語過程中通過其肢體各個部分的移動或變化所發(fā)生的情況）和“基于環(huán)境”（ 即指說話人在言語過程中周圍的客觀物理環(huán)境）兩個層面的標(biāo)注體系。[5]劉芹、潘鳴威（2010）從不同身體部分所呈現(xiàn)的不同形式及其功能上將這一維度又進(jìn)行了更為細(xì)致的劃分：聲調(diào)、目光交流、手勢、表情、頭部活動和表述自然性。[4]40

（一）伴語言

受到認(rèn)知科學(xué)的發(fā)展的影響，語言學(xué)研究經(jīng)歷了從“說話人意義”（speaker meaning）到“話語的意義”（utterance interpretation）的轉(zhuǎn)向，強(qiáng)調(diào)含義（implication）在會話交際中的重要性。會話含義是體現(xiàn)講話者交際意圖的主要特征，對于聽話者而言，對會話含義的理解是一個依據(jù)語境推斷出說話者的目的或隱含意義的復(fù)雜認(rèn)知過程。在語言交際中人們說話時語流的輕重、高低、升調(diào)降調(diào)等變化的模式即語音語調(diào)，言語表達(dá)的方式如韻律、音量、嗓音、喘息等即音質(zhì)，均能表達(dá)說話者的態(tài)度、意圖或感情，起到言語的伴隨作用，是非常重要的副語言形式。比如，在英語口語中以降調(diào)產(chǎn)出某個英文單詞或是句子是普通陳述，而以升調(diào)產(chǎn)出雖然不會改變基本意思，但有可能附帶了“驚奇”或“懷疑”等額外的意思，不同的語調(diào)產(chǎn)出相同的語言信息單位可能產(chǎn)生不同的會話含義。此外，音質(zhì)也包含社交信息，反映交際者的心理狀況，比如傲慢、得意、嘲弄、謙卑、熱情等不同的口吻往往以不同的音質(zhì)體現(xiàn)出來。也就是說，不同的語調(diào)和音質(zhì)等伴語言形式均表達(dá)不同的態(tài)度或情感，傳遞不同信息和話語意義，有著重要的交際功能。因此在英語口語教學(xué)活動中引導(dǎo)學(xué)生重視語音語調(diào)在語言交際中的重要性，幫助學(xué)生正確運(yùn)用語音語調(diào)的話語功能，推斷話語的含義顯得尤為重要。

（二）體勢語

體勢語與語言共同參與、完成交際過程，是由表情和姿態(tài)傳遞信息的非語言符號，比如人們談話時伴隨的手勢、身體動作、目光、面部表情等。目光交流是一種直接且強(qiáng)有力的非言語交際方式。比如，長久地盯著對方是一種不禮貌的表現(xiàn)，直視往往給對方留下坦率真誠的印象，說話者的內(nèi)心活動往往有意或無意地由眼睛表露出來，這也正是“眼睛是心靈的窗戶”這一俗語的體現(xiàn)。據(jù)研究，在一個完整的交際活動中雙方的目光接觸往往占據(jù)交際過程的50%～70%，目光對于塑造一個良好的交際形象起著非常重要的作用。此外，交際雙方目光的接觸時間長度與頻率往往因交際雙方的性別、熟悉程度、職位、地位、親密程度和對交際內(nèi)容興趣高低等不同因素而產(chǎn)生差異，比如陌生人之間的交流較之親密朋友之間的交流彼此目光的接觸與頻率將會更長、更高，在公務(wù)交流中的時長與頻率將會比下級目視上級更長、更高。手勢是人們看到最多但了解最少的非言語行為，人們說話時伴隨的比如捋捋頭發(fā)、推推眼鏡等身體語言，雖然與言語內(nèi)容無關(guān)，但有助于說話者更清楚、更形象地表達(dá)意義。坐、臥、立等姿勢也能在交際過程中傳遞信息，比如手腳擺放的位置和身體的正式程度與松弛程度等能表現(xiàn)出交際者焦急、懼怕、緊張、內(nèi)疚或者是自信、得意等心理狀況。再者，面部表情也對信息交流起著至關(guān)重要的作用。人們內(nèi)心豐富的情感往往由各種相應(yīng)的表情呈現(xiàn)出來，即“情動之于心、形之于外、傳之于聲”，觀察對方的面部表情則是解碼交際內(nèi)容的重要方式。值得一提的是，雖然基于共同的生理基礎(chǔ)和相似的生活方式不同民族文化的體勢語多有共同之處，但是手勢、表情等非言語行為仍具有一定的文化差異性，而且正是這種差異性往往導(dǎo)致不同文化背景講不同語言人交際活動中的誤解。比如，中國人往往以點(diǎn)頭表示贊同或己領(lǐng)會對方的意思，以搖頭表示不同意、不滿意或不理解。然而印度人卻以搖頭表示贊許，英國人還往往以點(diǎn)頭來提示對方接話時機(jī)。不同的文化也賦予手勢不同的意義，比如拇指、食指圍成圓，另二指往上翹的手勢在美國表示OK，而在法國則可能表示“一文不值”。 交際雙方對彼此的手勢、表情等非言語行為所表達(dá)的意義雖然有共識，但基于文化的差異性對其意義的解讀需視具體情況而定，在交際活動中有一定的難度。

四﹑非言語交際能力的研究

國外諸多學(xué)者進(jìn)行了多模態(tài)視角下非言語交際能力研究，Neu（2000）曾以對話分析的方法對英語學(xué)習(xí)者的非言語行為進(jìn)行定性研究。[6]Nambiar和Goon（1993）的研究發(fā)現(xiàn)口語考試中考生評分高低與非言語特征豐富與否往往正相關(guān)。此外，Jungheim（1995）的研究將非言語交際能力作為語言交際能力的一大范疇并提出了非言語能力量表（Nonverbal Ability Scales），將目光交流、頭部活動、表情以及手勢四個維度納入其中。[7] Harrison（1965）、Mehrabian&Sus

an（1967）聚焦于量化言語方式與非言語方式在信息傳遞過程中的作用，其研究成果共同論證了在面對面的交談中非言語方式如聲調(diào)和手勢等對話語信息的傳遞達(dá)65%，說話人，言語、聲調(diào)以及面部表情對表達(dá)的貢獻(xiàn)率分別為7%，38%和55%。[8]Argyle（1970）研究發(fā)現(xiàn)在傳達(dá)意義的過程中非言語交際起到的作用是言語線索功能的4.3倍。[9]可以看出，非言語交際能力的重要性已經(jīng)引起諸多學(xué)者的重視，但是一個能夠?qū)⒀哉Z和非言語維度結(jié)合進(jìn)行研究研究的視角仍在探索中。

語言能力通常被分為聽、說、讀、寫四種能力。雖然這四種語言處理的方式被Bachman的交際能力模式和神經(jīng)生理學(xué)的研究證實了在語言交際中的相對獨(dú)立性，但是在實際語言運(yùn)用中這四項技能彼此關(guān)聯(lián)并相互促進(jìn)。聽和讀-接受性解碼技能（receptive decoding skill），是言語的感應(yīng)過程；說和寫-運(yùn)用性編碼技能（productive encoding skill），是言語的生成過程，這四項語言技能是一個統(tǒng)一的整體。然而，“聽說能力”與“讀寫能力”孰為中心的爭論在我國大學(xué)英語口語教學(xué)中卻一直存在。“許多學(xué)生聽力和口語能力提高不大，聽不懂、說不出，即人們常說的“聾子英語”、“啞巴英語”的現(xiàn)象隨之出現(xiàn)?！癧10]有許多學(xué)者肯定“聽說”的重要性，指出“聽說為本、讀寫并重”。董亞芬先生提出“閱讀原著始終是教學(xué)的重要環(huán)節(jié)，”聽說領(lǐng)先“只是曇花一現(xiàn)。因為經(jīng)驗很快告訴你，輕視讀與寫，聽、說（尤其是說）只能淪為無源之水、無本之木。”[11]綜上，將多模態(tài)應(yīng)用到口語輸出研究中具有必要性、合理性和緊迫性。非言語交際能力和語言能力應(yīng)當(dāng)在交際活動中互為依托、相得益彰。建構(gòu)真實的語境來培養(yǎng)學(xué)生綜合運(yùn)用英語的能力一直是大學(xué)英語教學(xué)改革探討的中心之一。非言語交際信息具有一定的無意識性，依靠語境進(jìn)行判斷，并建立良好的推斷框架。相應(yīng)地，口語交際能力的培養(yǎng)應(yīng)該建立在包含顯性語境和隱性語境的真實語言環(huán)境中，讓學(xué)習(xí)者充分意識到非言語交際信息重要的語義功能，并形成在信息交流過程中依據(jù)語用含義和語用效果進(jìn)行推理判斷的能力。此外，大學(xué)英語口語教學(xué)任務(wù)和教學(xué)材料也應(yīng)該重視信息交流的語境和學(xué)習(xí)者心理認(rèn)知特點(diǎn)，從而最大限度地發(fā)揮語言使用的功能意義。[12]總之，交際能力研究要求研究者關(guān)照具體語境和交際主體心理認(rèn)知特點(diǎn)的前提下，關(guān)注非言語交際能力和語言能力的協(xié)同發(fā)展，以此優(yōu)化大學(xué)英語口語教學(xué)，更好地促進(jìn)具有一定語言表達(dá)能力跨學(xué)科人才培養(yǎng)目標(biāo)的實現(xiàn)。

五、結(jié)束語

在應(yīng)用語言學(xué)的研究中，非言語交際一直以來是一個受到冷落的研究領(lǐng)域。將多模態(tài)視角植入到口語交際能力的研究中去，關(guān)注學(xué)習(xí)者在實際語言輸出過程中所運(yùn)用的伴語言特征和體勢語等非言語行為特征，不僅可以對以往交際能力的界定有更深意義的挖掘，也可研究在言語以外，特別是在非言語中生成的意義，彌補(bǔ)以往口語研究的不足。設(shè)計包含句子聲調(diào)、目光交流、手勢、表情、頭部活動和表述自然性的動態(tài)評分量表，特別是將“非言語特征”的維度納入到區(qū)分高水平學(xué)生英語口語水平的評分量表中的探索有待大量的后續(xù)研究對學(xué)習(xí)者的口語輸出深人分析，并驗證、完善，以期為大學(xué)英語口語教學(xué)和評估提供反饋信息，對英語口語教學(xué)、教材編寫以及口語測試與評估等形成借鑒意義。

參考文獻(xiàn)：

[1]全國大學(xué)英語四、六級考試委員會.大學(xué)英語四、六級考試口語考試大綱及樣題[M].上海：海外語教育出版社，1999：4.

[2]高校英語專業(yè)四級口試大綱編寫小組.高校英語專業(yè)四級口試大綱[M].上海：上海外語教育出版社，2005：4.

[3]高校英語專業(yè)八級口試大綱編寫小組.高校英語專業(yè)八級口試大綱[M].上海：上海外語教育出版社，2005：5.

[4]劉芹，潘鳴威.多模態(tài)環(huán)境下中國大學(xué)生英語口語非言語交際能力研究初探[J].外語電化教學(xué)，2010（3）.

[5]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009（1）：25.

[6]Nunn， R. Designing rating scales for small-group interaction[J].ELT Journal，2000：169-178.

[7]Jungheim， N. O. Assessing the unsaid： The development of tests of nonverbal ability[J].Language Testing in Japan， 1995：149-165.

[8]Mehrabian，A.& Susan R. F. Inference of attitudes from nonverbal communication in two channels[J].Journal of Consulting Psycho

logy，1967， 31（3）：248-252.

[9]Argyle，M. Bodily Communication[M].Boston International Universities Press，1970：222-311.

[10]劉潤清.吳一安，等.高校英語教學(xué)改革筆談[J].外語教學(xué)與研究，2002（6）：401.

[11]董亞芬.我國英語教學(xué)應(yīng)始終以讀寫為本[J].外語界，2003（1）：5.

[12]吳春紅.口語交際能力的非言語特征研究[J].鹽城師范學(xué)院學(xué)報，2005（4）：63.