基于多模態(tài)互動(dòng)分析的英語教師手勢語研究

劉靖 張鑫娜 陳露露

[摘 要]教師與學(xué)習(xí)者之間面對(duì)面的交流是多模態(tài)的。為了調(diào)查大學(xué)英語教學(xué)中教師手勢語的使用特征，以多模態(tài)互動(dòng)分析為理論基礎(chǔ)，構(gòu)建多模態(tài)英語課堂話語分析框架，并應(yīng)用標(biāo)注軟件ELAN 5.9對(duì)所選樣本中的四名大學(xué)英語教師的課堂教學(xué)實(shí)錄視頻進(jìn)行逐幀編碼、轉(zhuǎn)錄和分析。結(jié)果顯示：四名大學(xué)英語教師使用頻率最高的手勢類型均為節(jié)拍性手勢，然后依次是隱喻性手勢、指示性手勢和象似性手勢，不同類型的手勢承擔(dān)著不同的認(rèn)知功能。其中，教師在教學(xué)呈現(xiàn)環(huán)節(jié)使用的手勢頻率明顯高于導(dǎo)入環(huán)節(jié)。教師通過使用指示性手勢實(shí)現(xiàn)前景高層活動(dòng)的轉(zhuǎn)換，引導(dǎo)學(xué)習(xí)者在不同教學(xué)環(huán)節(jié)的注意度，表明多模態(tài)英語課堂話語分析框架對(duì)教師共言手勢研究具有適用性。

[關(guān)鍵詞]共言手勢；多模態(tài)互動(dòng)分析；大學(xué)英語教學(xué)

[中圖分類號(hào)]H319 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1671-8372（2023）02-0081-07

Research on the co-speech gestures of college English lecturers based on multimodal

interaction analysis

LIU Jing， ZHANG Xin-na， CHEN Lu-lu

（School of Foreign Languages， Qingdao University of Science and Technology， Qingdao 266061， China）

Abstract：Face-to-face communication between teachers and learners is multimodal. To investigate the characteristics of gestures among college ESL lecturers， a multimodal English classroom discourse analysis framework was constructed on the theoretical basis of multimodal interaction analysis. The metadiscourse and co-speech gestures in classroom teaching videos of four college English teachers were transcribed and coded by frame-by-frame analysis of digital video in the annotation software ELAN 5.9. The results showed that the most frequently used gestures in English teaching were beats， followed by metaphorics， deictics， and iconics， and different types of gestures assume different cognitive functions. In addition， the frequency of gestures used by teachers in teaching presentation was significantly higher than that in lead-in procedure. By using deictic gestures， teachers can realize the transformation of higher-level foreground actions and guide students attention in different teaching procedures， which indicates the feasibility of multimodal English classroom discourse analysis framework for co-speech gestures research.

Key words：co-speech gestures; multimodal interaction analysis; college English teaching

共言手勢作為英語教師話語的一部分內(nèi)容，是伴隨教師口語的自發(fā)手勢而展現(xiàn)教師思維過程的顯性窗口。麥克尼爾（McNeill）和鄧肯（Duncan）認(rèn)為是手勢和語言共同作用構(gòu)建了思維和交際意義[1]。然而，近十年，我國英語課堂教師話語研究多集中在教師元話語功能、師生互動(dòng)話語、教師語碼轉(zhuǎn)換、教師話語語用失誤等語言模態(tài)層面[2]，對(duì)于英語教師話語研究的新范式多模態(tài)教師話語的研究，主要涉及課堂話語多模態(tài)協(xié)同與配合以及多模態(tài)課堂話語效應(yīng)[2]，對(duì)作為重要表意符號(hào)資源的教師手勢語研究尚不深入。因此對(duì)教師話語中的共言手勢進(jìn)行系統(tǒng)分析，不僅會(huì)深化英語教師對(duì)課堂元話語中多種模態(tài)意義潛勢的認(rèn)知，也會(huì)有助于拓展二語習(xí)得的研究視角。

一、文獻(xiàn)述評(píng)

與其他非語言模態(tài)相比，手勢語一直頗受學(xué)界青睞。國內(nèi)外學(xué)者從不同視角對(duì)手勢語的分類、認(rèn)知作用和語用特征進(jìn)行了探討，取得了豐碩成果。

（一）國外手勢語研究

縱觀國外手勢語的研究，熊（Xiong）、卡爾布里斯（Calbris）和麥克尼爾發(fā)現(xiàn)的隱喻手勢伴隨言語的現(xiàn)象[3-4]，為希恩凱（Cienki）對(duì)隱喻手勢與言語關(guān)聯(lián)方式的研究奠定了基礎(chǔ)。在當(dāng)代隱喻理論的指導(dǎo)下，希恩凱和穆勒（Müller）詳述了隱喻、手勢和思維之間的關(guān)系[5]，認(rèn)為不應(yīng)落于隱喻特定模態(tài)的思維窠臼，而應(yīng)從本質(zhì)上把隱喻視為多模態(tài)的認(rèn)知方式。

學(xué)者們的研究表明，手勢在交際中的作用一直是諸多手勢語研究的主題?；羲固┨兀℉ostetter）認(rèn)為手勢具有交際價(jià)值，能加強(qiáng)聽者對(duì)信息的理解[6]。這表明，在包括教育在內(nèi)的各種現(xiàn)實(shí)環(huán)境中，手勢是一種強(qiáng)大的工具。在手勢-言語的整合（GSI）過程中，視覺和聽覺信息的整合對(duì)于成功的社會(huì)交際至關(guān)重要[1]。凱利（Kelly）等人的研究表明，語言和手勢的互動(dòng)對(duì)話語理解具有重要的作用，驗(yàn)證了語言和手勢之間的語義關(guān)系能影響語言理解的準(zhǔn)確性和速度[7]。

功能磁共振成像（fMRI）技術(shù)的發(fā)展使手勢語的研究逐漸深入。迪克（Dick）等人對(duì)象似性手勢的研究表明，聽者大腦額葉和顳葉區(qū)域?qū)φf話者的象似性手勢敏感[8]；斯特勞貝（Straube）等人對(duì)隱喻性手勢的研究，表明隱喻性手勢的抽象水平普遍高于象似性和指示性手勢，左后顳葉和額葉下腦區(qū)分別參與象似性和隱喻性手勢的整合[9]；霍斯泰特（Hostetter）和波特霍夫（Potthoff）的研究認(rèn)為，人們在手勢的頻率和顯著性上可能存在很大差異，且可能與認(rèn)知技能、個(gè)性等個(gè)體差異有關(guān)[10]。

在二語教學(xué)方面，學(xué)者們對(duì)手勢和言語的研究主要集中在教師手勢語的教學(xué)功能上。艾倫（Allen）發(fā)現(xiàn)，共言手勢可以為學(xué)習(xí)者提供更多的可理解性輸入，提高學(xué)習(xí)者對(duì)教師言語的理解[11]。此外，學(xué)者們的研究還表明，手勢作為教師語言解釋的自然組成部分，能夠增強(qiáng)課堂交流的深度和有效性[12]。費(fèi)耶雷森（Feyereisen）的研究也進(jìn)一步驗(yàn)證了學(xué)習(xí)者更容易回憶起有指稱性的手勢[13]。

（二）國內(nèi)手勢語研究

國內(nèi)關(guān)于手勢語的研究尚不深入，但關(guān)于手勢語在教學(xué)語境中的作用研究值得關(guān)注。譬如，王容花發(fā)現(xiàn)手勢語可以幫助學(xué)習(xí)者克服英語表達(dá)的困難[14]；李恒等的研究表明，情感隱喻可以通過手勢語表達(dá)為概念隱喻的心理現(xiàn)實(shí)性提供證據(jù)[15]；彭圓認(rèn)為手勢語在教學(xué)語境中具有重要的交際功能，且手勢語類型受說話者交際意圖和交際能力的影響[16]；孫鑫等、馬賽等通過實(shí)證研究表明，說話者語言水平越高，越善于使用手勢語表達(dá)附加意義，也就越能提高語言輸出的準(zhǔn)確性，使產(chǎn)出的二語口語語速更快、平均停頓長度更短、詞形數(shù)更多[17-18]。

近年來，學(xué)者們開始研究教師手勢語與元話語的協(xié)作方式。譬如，彭圓等的研究表明，教師的手勢語會(huì)對(duì)腳手架的效果產(chǎn)生積極影響[19]；郭紅偉等通過分析一位大學(xué)英語教師手勢語的使用特點(diǎn)，探討了教師元話語的意義是如何通過手勢語而得以體現(xiàn)[20]。

綜上所述，國外學(xué)者對(duì)手勢語與二語習(xí)得的關(guān)系進(jìn)行了較為深入的研究，對(duì)手勢語和言語的關(guān)系提供了新的認(rèn)識(shí)，并對(duì)語言學(xué)、認(rèn)知心理學(xué)和二語習(xí)得產(chǎn)生深遠(yuǎn)影響；而國內(nèi)的相關(guān)研究仍處于起步階段，研究的范圍、內(nèi)容和方法相對(duì)有限。尤其是將大學(xué)課堂教學(xué)實(shí)錄作為對(duì)象進(jìn)行分析的研究并不多見。有鑒于此，本文擬從多模態(tài)互動(dòng)分析視角，對(duì)大學(xué)英語課堂的教師手勢語類型以及教學(xué)環(huán)節(jié)手勢語的使用進(jìn)行量化分析，以期為大學(xué)英語教師課堂共言手勢的使用和教學(xué)策略的優(yōu)化提供借鑒。

二、研究設(shè)計(jì)

（一）理論框架

目前，多模態(tài)應(yīng)用研究的問題是“對(duì)多模態(tài)話語分析理論框架不做任何調(diào)整和改變，也較少考慮具體的語類特征，直接應(yīng)用于分析對(duì)象，從而導(dǎo)致多模態(tài)話語的‘重新描述而不是分析”[21]。諾里斯（Norris）在分析交際主體如何通過多種模態(tài)進(jìn)行互動(dòng)交流的基礎(chǔ)上，提出模態(tài)密度前景-背景連續(xù)體分析框架，構(gòu)建了多模態(tài)互動(dòng)分析理論[22]。本研究在整合諾里斯多模態(tài)互動(dòng)分析理論的基礎(chǔ)上，構(gòu)建了多模態(tài)英語課堂話語分析框架（見圖1）。

如圖1所示，此框架從語境、互動(dòng)話語和模態(tài)三個(gè)層面對(duì)大學(xué)英語課堂中的多模態(tài)話語進(jìn)行了綜合分析。語境分為社會(huì)文化語境和情景語境，是話語分析的基礎(chǔ)和前提。互動(dòng)話語的分析以“活動(dòng)”為單位，分為高層活動(dòng)、低層活動(dòng)和凝固活動(dòng)。低層活動(dòng)通過一種交際方式來完成；高層活動(dòng)由一系列低層活動(dòng)組成；凝固動(dòng)作是指動(dòng)作發(fā)生的環(huán)境和環(huán)境中的物體。而模態(tài)則是互動(dòng)話語的具體實(shí)現(xiàn)形式。在話語互動(dòng)過程中，參與者可以同時(shí)構(gòu)建多個(gè)更高層次的行為，但只能專注于一個(gè)高層活動(dòng)。模態(tài)密度與參與者對(duì)高層活動(dòng)的注意度呈正相關(guān)。如果高層動(dòng)作的模態(tài)密度很高，那么參與者的注意度就處于前景中，且隨著高層動(dòng)作的模態(tài)密度的降低，參與者的注意度也隨之降低。

作為互動(dòng)話語的一種交際方式，手勢語模態(tài)屬于低層活動(dòng)，并涉及參與者對(duì)活動(dòng)的注意程度。基于這一分析框架，本研究采用自上而下的方法探討手勢語模態(tài)在大學(xué)英語教學(xué)中的運(yùn)用，以及教師手勢語對(duì)學(xué)習(xí)者注意度的影響方式。

（二）研究對(duì)象

本研究的分析語料來自高等教育課程資源共享平臺(tái)“愛課程”，其教學(xué)視頻既可以體現(xiàn)我國大學(xué)英語教師的教學(xué)模式，還包含師生的真實(shí)互動(dòng)。此外，其主講教師授課經(jīng)驗(yàn)豐富，講課條理清晰流利，易于轉(zhuǎn)錄。因此在綜合考慮大學(xué)英語的課程類型和主講教師的職稱和學(xué)校層次的基礎(chǔ)上，隨機(jī)選取了“愛課程”平臺(tái)上四名教師的課堂實(shí)錄作為分析語料，構(gòu)建多模態(tài)課堂語料庫，并提取4段視頻用于手勢語分析（合計(jì)約162分鐘），詳見表1。

（三）研究問題

本研究主要探討三個(gè)問題：

1.在導(dǎo)入環(huán)節(jié)和呈現(xiàn)環(huán)節(jié)中，四名大學(xué)英語教師使用不同類型的手勢語有哪些特征？

2.四名大學(xué)英語教師是如何通過手勢語來調(diào)節(jié)學(xué)習(xí)者的注意度？

3.多模態(tài)英語課堂話語分析框架是否適用于英語教師手勢語的研究？

（四）研究過程

本研究涉及教師元話語和手勢語，分為五步。其一，將視頻轉(zhuǎn)換為WAV音頻格式，提取波形圖；其二，將視頻和音頻波形圖導(dǎo)入標(biāo)注軟件ELAN，識(shí)別教師話語的開始和結(jié)束節(jié)點(diǎn)；其三，通過ELAN軟件對(duì)教師話語、教師手勢語和學(xué)習(xí)者活動(dòng)進(jìn)行分層標(biāo)注；其四，將教學(xué)環(huán)節(jié)分為導(dǎo)入和呈現(xiàn)，計(jì)算各環(huán)節(jié)共言手勢的使用頻數(shù)，并進(jìn)行統(tǒng)計(jì)對(duì)比；其五，對(duì)結(jié)果進(jìn)行分析和討論。

本研究對(duì)手勢語的分類借鑒了學(xué)界普遍認(rèn)同的麥克尼爾的分類方法，共分為四種類型。其一，象似性手勢（Iconic Gesture，IG），用來描述物體的形態(tài)或動(dòng)作；其二，隱喻手勢（Metaphoric Gesture，MG），用來表達(dá)抽象概念的手勢；其三，節(jié)拍性手勢（Beat Gesture，BG），指有節(jié)奏地打節(jié)拍以強(qiáng)調(diào)字詞或短語的手勢，經(jīng)常表現(xiàn)為方向上的移動(dòng)，通常伴隨言語焦點(diǎn)信息；其四，指示性手勢（Deictic Gesture，DG），是指向某具體事物、位置的手勢，根據(jù)被指事物是否在場，具體分為實(shí)指和虛指。

事實(shí)上，由于不同類型手勢語的界限并不非常清晰，增加了編碼的難度。為保證研究的客觀性和有效性，首先由兩名標(biāo)注人員（標(biāo)注者A和標(biāo)注者B）獨(dú)立識(shí)別手勢語類型。然后，將標(biāo)注結(jié)果進(jìn)行對(duì)比，若內(nèi)部分析信度低于90%，則對(duì)分歧進(jìn)行商討并重新標(biāo)注①。

三、實(shí)證結(jié)果及分析

（一）手勢語類型標(biāo)注信度

本研究的兩位標(biāo)注人員對(duì)所構(gòu)建的語料庫樣本中的教師手勢語類型進(jìn)行兩次標(biāo)注（間隔6個(gè)月），使用Cohens Kappa系數(shù)（κ）對(duì)評(píng)分者間信度（IRR）和評(píng)分者內(nèi)信度（ITR）進(jìn)行評(píng)分，以驗(yàn)證標(biāo)注結(jié)果的一致性（見表2、表3）。IRR是表示不同標(biāo)注人員之間的一致程度，而ITR則是指同一名標(biāo)注人員在不同時(shí)刻標(biāo)注結(jié)果的一致程度[23]。在解釋kappa系數(shù)時(shí)，本文使用蘭第斯（Landis）和科赫（Koch）關(guān)于判斷一致性強(qiáng)度的標(biāo)準(zhǔn)[24]：差（κ<0.0），極低（0.0≤κ≤0.2），一般（0.2<κ≤0.4），中等（0.4<κ≤0.6），高度（0.6<κ≤0.8）和幾乎完全一致（0.8<κ≤1）。

IRR的結(jié)果如表2所示，兩名標(biāo)注者所標(biāo)注的結(jié)果為“高度”和“幾乎完全一致”。對(duì)于標(biāo)注者A，κ的范圍從樣本1的0.79到樣本2的0.88；對(duì)于標(biāo)注者B，κ的范圍從樣本4的0.83到樣本3的0.88。標(biāo)注者B的平均kappa值（0.85）略高于標(biāo)注者A（0.83）。

ITR的結(jié)果如表3所示，此結(jié)果也顯示出兩輪標(biāo)注的結(jié)果為“高度”和“幾乎完全一致”。從表3可以看出，標(biāo)注者A在第二輪標(biāo)注的κ值略高于第一輪。

四名教師手勢語的ITR和IRR都顯示“幾乎完全一致”或“高度”，表明此標(biāo)注結(jié)果是可靠的。而后對(duì)有分歧的結(jié)果進(jìn)行重新標(biāo)注，在確保所有樣本的κ值達(dá)到0.9后，再計(jì)算共言手勢的總數(shù)和不同類型手勢語的數(shù)量，以及教師話語和手勢語的總持續(xù)時(shí)間；并將標(biāo)注者A對(duì)手勢語類型的標(biāo)注結(jié)果用于數(shù)據(jù)分析。

（二）教學(xué)環(huán)節(jié)的手勢語使用

對(duì)教學(xué)過程導(dǎo)入和呈現(xiàn)兩個(gè)環(huán)節(jié)的共言手勢的持續(xù)時(shí)間及其在各教學(xué)環(huán)節(jié)話語時(shí)長的占比進(jìn)行了統(tǒng)計(jì)（見圖2）。

從圖2可以看出，四位教師在不同環(huán)節(jié)的手勢語使用頻率存在個(gè)體差異，教師1的手勢語使用最頻繁，教師1、教師3和教師4在呈現(xiàn)環(huán)節(jié)使用手勢語的頻率均高于導(dǎo)入環(huán)節(jié)。交際手勢的認(rèn)知負(fù)荷降低假說認(rèn)為手勢語會(huì)降低語言認(rèn)知加工對(duì)認(rèn)知資源的需求[25]。相比導(dǎo)入環(huán)節(jié)，教師在呈現(xiàn)環(huán)節(jié)的語言表達(dá)難度提高，導(dǎo)致學(xué)習(xí)者認(rèn)知負(fù)荷增加。因此教師在教學(xué)過程中需借助手勢語來減輕認(rèn)知負(fù)荷，增加話語的流利度。因而在呈現(xiàn)環(huán)節(jié)，隨著言語表達(dá)難度的增加，教師的手勢語使用頻率明顯高于導(dǎo)入環(huán)節(jié)。這說明在教師言語表達(dá)出現(xiàn)困難時(shí)，手勢語對(duì)其語言的概念化和語法構(gòu)建起到了功能性作用，有助于教師的思維活動(dòng)。同時(shí)，手勢語的使用使交際者有更為豐富和充足的資源來管理交際認(rèn)知努力，而節(jié)省的認(rèn)知努力投入到交際的其余方面，有助于交際認(rèn)知的深入發(fā)展[26-28]。英語教師授課時(shí)的共言手勢能降低師生交際認(rèn)知負(fù)荷，把節(jié)省的認(rèn)知努力投入到知識(shí)講解、提問等課堂活動(dòng)上，有益于課堂的順利進(jìn)行和師生互動(dòng)。從圖2還可以看出，教師2在兩個(gè)教學(xué)環(huán)節(jié)的手勢語使用頻率呈遞減趨勢，主要原因可能在于教師2為助教，授課時(shí)手勢語使用的熟練度低于其他三位教師。

繼而對(duì)四位教師在兩個(gè)環(huán)節(jié)中的四種類型手勢語的使用情況進(jìn)行了統(tǒng)計(jì)（見圖3）。

1.象似性手勢。如圖3所示，四位教師的象似性手勢的使用頻率明顯低于其他手勢語。教師4使用的象似性手勢明顯高于其他三名教師。例如，在講解詞匯“drag”和“hide”時(shí)，教師4就是使用象似性手勢來幫助學(xué)習(xí)者理解詞匯的意義的。

2.節(jié)拍性手勢。四位教師節(jié)拍性手勢的使用占比均較高，節(jié)拍性手勢的手部動(dòng)作比畫的高峰有明顯的落點(diǎn)，這些落點(diǎn)正好體現(xiàn)了言語的焦點(diǎn)信息，因而當(dāng)口頭表達(dá)出現(xiàn)間斷時(shí)，節(jié)拍性手勢也會(huì)中斷。為進(jìn)一步說明節(jié)拍性手勢與言語信息焦點(diǎn)的關(guān)系，分別選取了四位教師只包含節(jié)拍性手勢的語言片段進(jìn)行話語分析。

（1）教師1語言片段：In the following，we will

[1]

watch a lot of vivid pictures.

[2]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [3]

[1]右手微舉，向右下方落下

[2]右手上下微微移動(dòng)

[3]同[2]

（2）教師2語言片段：The writer suggests us

to a learn to manage our work and time.

[1]? ? ? ? ? ? [2]

[1]右手手心向身體一側(cè)，緩慢抬起

[2]右手手心向上打開，停在身前

（3）教師3語言片段：…and I encourage you to

[1]

try to make the best use of the structures.

[2]? ? ? ? ? ? ? ? ? ? ? ?[3]

[1]右手食指向下點(diǎn)擊

[2]同[1]

[3]同[1]

（4）教師4語言片段：… and she wants her father

[1]? ? ? ? ? ? ?[2]

to listen to the music // along with her.

[3]? ? ? ? ? ? ? ? [4]? ? ? ? ?[5]? ? ? ? ? ? [6]

[1]左手食指指向前方，左手上下微微移動(dòng)

[2]-[6]同[1]

在以上4個(gè)語言片段中，數(shù)字標(biāo)注的是節(jié)拍性手勢比畫的高峰。節(jié)拍性手勢對(duì)應(yīng)的詞幾乎都為實(shí)義詞，是信息的焦點(diǎn)，這說明節(jié)拍性手勢和說話人認(rèn)知的焦點(diǎn)信息密切相關(guān)。在教師4的片段中可知，當(dāng)教師的表達(dá)短暫停頓時(shí)（由“// ”表示），手勢也會(huì)出現(xiàn)停頓；當(dāng)新信息“along”出現(xiàn)時(shí)，手勢恢復(fù)。由此可見，教師的節(jié)拍性手勢可以反映其思維中的焦點(diǎn)信息，并在韻律上與言語具有合作關(guān)系[29]。

3.指示性手勢。教師的指示性手勢一般分為實(shí)指和虛指兩種，其使用頻率略低于節(jié)拍性手勢。實(shí)指的指示性手勢一般以學(xué)習(xí)者為對(duì)象，多數(shù)與代詞（如you）和名詞性稱謂（如that lady）同步，在課堂互動(dòng)中常被教師用來示意學(xué)習(xí)者發(fā)言。但教師有時(shí)也會(huì)使用實(shí)指手勢指向自己和教學(xué)課件，以吸引學(xué)習(xí)者注意力。虛指的指示性手勢通常用于指某個(gè)著名人物、場所等，如教師2在使用虛指的指示性手勢時(shí)，就伴隨著話語“Zuckerberg”“Cambridge University”等。

4.隱喻性手勢。從圖3可以看出，四位教師在語言的呈現(xiàn)環(huán)節(jié)使用的隱喻性手勢頻率略高于導(dǎo)入環(huán)節(jié)。這是因?yàn)樵谡Z言的呈現(xiàn)環(huán)節(jié)，詞匯和語言使用的豐富度高于導(dǎo)入環(huán)節(jié)，而教師在介紹概念時(shí)因使用大量抽象詞匯，所以隱喻性手勢有所增多。隱喻性手勢的使用能夠驗(yàn)證詞匯性手勢的生成模型，此模型強(qiáng)調(diào)的是手勢語能夠激活和促進(jìn)語言的抽象性表征，使交際認(rèn)知從抽象性表征向具體化表征轉(zhuǎn)變[30]。譬如，當(dāng)教師3使用語言表達(dá)“outside the class”時(shí)，其左手從靠向身體的一側(cè)慢慢向左遠(yuǎn)離身體，這不僅能激活學(xué)習(xí)者感知運(yùn)動(dòng)的表征，獲取相關(guān)經(jīng)驗(yàn)，也易化了其授課語言講解的流暢性、便利性和理解性。

（三）教學(xué)環(huán)節(jié)的模態(tài)使用

基于多模態(tài)英語課堂話語分析框架，選取教學(xué)環(huán)節(jié)中時(shí)長約9分鐘的課文理解活動(dòng)進(jìn)行模態(tài)標(biāo)注，旨在分析教師在實(shí)際教學(xué)活動(dòng)中的模態(tài)選擇是否有利于教學(xué)目標(biāo)的實(shí)現(xiàn)。課文理解屬于高層活動(dòng)，包括發(fā)布指令、監(jiān)控活動(dòng)過程和檢查活動(dòng)效果。對(duì)于不同的高層活動(dòng)，模態(tài)結(jié)構(gòu)配置會(huì)有所不同。在教師發(fā)布指令和檢查活動(dòng)效果時(shí)，其口語模態(tài)是主導(dǎo)模態(tài)，其手勢、頭部運(yùn)動(dòng)、面部表情和凝視是協(xié)同模態(tài)，須與其他模態(tài)同時(shí)使用。監(jiān)控活動(dòng)的模態(tài)主要包括具身模態(tài)（如凝視、身體姿勢）和非具身模態(tài)（如PPT），這二者的關(guān)系是平等的，不存在絕對(duì)主導(dǎo)模態(tài)。本研究參照王立非和文艷的附碼體系[31]，使用ELAN對(duì)發(fā)布指令、監(jiān)控活動(dòng)過程和檢查活動(dòng)效果三個(gè)高層活動(dòng)從教師的手勢、頭部動(dòng)作、表情和眼神層面進(jìn)行標(biāo)注。

2.B代表節(jié)拍性手勢，D代表指示性手勢，M代表隱喻性手勢，HDD代表低頭，HDU代表抬頭，HDMA代表轉(zhuǎn)頭，HDN代表點(diǎn)頭，F(xiàn)FS代表微笑，F(xiàn)FSe代表嚴(yán)肅，EGA代表注視觀眾，EGAr代表環(huán)視四周。

從表4可以看出，在宣布指令活動(dòng)中共言手勢的使用頻率為0，表明在此活動(dòng)中，教師的語言模態(tài)占主導(dǎo)地位，學(xué)習(xí)者的注意力可以集中在教師話語的內(nèi)容上，而教師手勢語的使用可能會(huì)分散學(xué)習(xí)者的注意力。在監(jiān)控學(xué)習(xí)者的閱讀任務(wù)的過程中，教師發(fā)現(xiàn)學(xué)習(xí)者的閱讀習(xí)慣需要糾正，因而引導(dǎo)學(xué)習(xí)者使用正確的閱讀方法。此活動(dòng)共使用了5種共言手勢。

在檢查活動(dòng)結(jié)果的活動(dòng)中，教師使用手勢語的頻率最高（18次）。其中指示性手勢使用頻率最高（7次）。作為一種引導(dǎo)活動(dòng)，教師的指示手勢可以有效引導(dǎo)學(xué)習(xí)者將注意力分配到教學(xué)內(nèi)容或PPT上。此外，教師還使用了指示性手勢向特定學(xué)習(xí)者發(fā)出回答問題的信號(hào)，此時(shí)其他學(xué)習(xí)者的注意力將轉(zhuǎn)移到此學(xué)習(xí)者的話語上。當(dāng)教師講解關(guān)鍵內(nèi)容時(shí)，會(huì)有一個(gè)或多個(gè)節(jié)拍性手勢來強(qiáng)調(diào)關(guān)鍵詞。在講解概念和詞匯時(shí)，教師共使用5次隱喻手勢。從表4可以看出，有三個(gè)活動(dòng)沒有出現(xiàn)象似性手勢。

四、研究結(jié)論與啟示

（一）研究結(jié)論

其一，英語教師手勢語在課堂話語交際中具有重要的認(rèn)知導(dǎo)向功能。從社會(huì)認(rèn)知的角度來看，英語教師的手勢模態(tài)可以在學(xué)習(xí)者無意識(shí)的條件下引導(dǎo)其注意力[32]。主要體現(xiàn)在兩個(gè)方面：一是教師的指示性手勢作為一種引導(dǎo)行為，能夠有效引導(dǎo)學(xué)習(xí)者將注意力分配于教學(xué)內(nèi)容或任務(wù)展示區(qū)域；二是當(dāng)教師講到重點(diǎn)內(nèi)容時(shí)，會(huì)伴隨出現(xiàn)一個(gè)或多個(gè)節(jié)拍性手勢以強(qiáng)調(diào)重點(diǎn)詞匯。因此，當(dāng)英語教師使用隱喻性手勢、指示性手勢和象似性手勢時(shí)，學(xué)習(xí)者給予此前景高層活動(dòng)的注意度會(huì)變高；當(dāng)英語教師使用節(jié)拍手勢時(shí)，學(xué)習(xí)者對(duì)此高層活動(dòng)的注意度會(huì)降低。

其二，英語教師手勢語可以有效減少或增加學(xué)習(xí)者的認(rèn)知負(fù)荷，并對(duì)學(xué)習(xí)者理解能力產(chǎn)生影響。進(jìn)入21世紀(jì)后，認(rèn)知語言學(xué)領(lǐng)域的相關(guān)研究進(jìn)一步證實(shí)了認(rèn)知與手勢語之間的密切關(guān)系[33]。有研究表明，手勢語在特殊情況下可以發(fā)揮語言的作用，即語言代償[34]。根據(jù)認(rèn)知負(fù)荷理論，外在認(rèn)知負(fù)荷主要與學(xué)習(xí)材料的組織和呈現(xiàn)有關(guān)。本研究也驗(yàn)證了教師的指示性手勢能將學(xué)習(xí)者的注意度分配于教學(xué)內(nèi)容的呈現(xiàn)區(qū)域，從而減少學(xué)習(xí)者用于同步搜索學(xué)習(xí)內(nèi)容所消耗的認(rèn)知資源，降低學(xué)習(xí)者的認(rèn)知負(fù)荷。但學(xué)習(xí)者因此而需要觀察隨著授課內(nèi)容不斷變化的隱喻性手勢，加大了注意資源的投入，這就可能會(huì)分散他們的注意力。因此，隱喻性手勢的存在會(huì)導(dǎo)致外在認(rèn)知負(fù)荷的增加，從而占用工作記憶容量。

其三，多模態(tài)英語課堂話語分析框架對(duì)英語教師手勢語的研究具有適用性。首先，作為英語教師互動(dòng)話語的一種交際模態(tài)，手勢語處在特定的社會(huì)文化語境中，并受具體情景語境的驅(qū)動(dòng)，這是英語教師手勢語研究的前提與基礎(chǔ)。其次，作為英語教師互動(dòng)話語的一種低層活動(dòng)，英語教師手勢語可以影響學(xué)習(xí)者對(duì)教學(xué)活動(dòng)的注意和理解程度，并通過與語言、頭部運(yùn)動(dòng)、面部表情、注視等不同密度的模態(tài)配置與協(xié)同，實(shí)現(xiàn)由中景低層活動(dòng)到前景高層活動(dòng)的動(dòng)態(tài)轉(zhuǎn)換，促進(jìn)學(xué)習(xí)者認(rèn)知活動(dòng)的不斷發(fā)展。

（二）啟示

本研究不僅有助于學(xué)界深化對(duì)英語教師手勢語認(rèn)知潛勢的認(rèn)識(shí)，還能給多模態(tài)課堂話語設(shè)計(jì)提供一定的建設(shè)性參考。

其一，在英語教學(xué)實(shí)踐中，當(dāng)教師的言語與課件的呈現(xiàn)內(nèi)容一致時(shí)，應(yīng)使用指示性手勢進(jìn)行引導(dǎo)，在呈現(xiàn)環(huán)節(jié)要適量減少隱喻性手勢的使用，以降低學(xué)習(xí)者的認(rèn)知負(fù)荷。

其二，在設(shè)計(jì)教學(xué)活動(dòng)時(shí)，應(yīng)盡量保持一個(gè)模態(tài)處于主導(dǎo)地位，以突出主要模態(tài)的高強(qiáng)度使用。如果模態(tài)的配置相互協(xié)同，就可以避免學(xué)習(xí)者注意度的分散。

其三，教師應(yīng)避免頻繁改變教學(xué)活動(dòng)，以減少學(xué)習(xí)者注意度在教師與課件和課本之間的無效轉(zhuǎn)換。

總之，英語教師在設(shè)計(jì)課堂話語時(shí)，指示性手勢的認(rèn)知導(dǎo)向、隱喻性手勢的適度調(diào)整，以及模態(tài)結(jié)構(gòu)配置及密度的相互協(xié)同，會(huì)有效降低學(xué)習(xí)者的認(rèn)知負(fù)荷，提升學(xué)習(xí)者的學(xué)習(xí)績效。英語教師手勢語的研究方興未艾，從認(rèn)知語言學(xué)視角考察英語教師及學(xué)習(xí)者的共言手勢，探究語言與顯性思維的關(guān)系，將是二語習(xí)得領(lǐng)域的又一研究熱點(diǎn)。

［參考文獻(xiàn)］

McNEILL D，DUNCAN S D.? Grammar，gesture，and meaning in American sign language[J]. Sign Language Studies，2005（4）：506-523.

萬 般 ，肖良元. 近十年來國內(nèi)英語課堂教師話語研究述評(píng)[J].? 外文研究，2022（3）：48-55.

XIONG Q，CALBRIS G.? The gesture and Chinese writing，an interplay between mirrors[J]. Semiotica ，1990（28）：502-505.

McNEILL D.? Hand and mind：what gestures reveal about thought[J]. Language，1994（2）：345-350.

CIENKI A，M?LLER C. Metaphor，Gesture and Thought[M]. Cambridge：Cambridge University Press，2008.

HOSTETTER A B. When do gestures communicate？A meta-analysis[J]. Psychological Bulletin，2011（2）：297-315.

KELLEY S D，OZYUREK A，MARIS E. Two sides of the same coin：speech and gesture mutually interact to enhance comprehension[J]. Psychological Science，2010（2）：260-267.

DICK A S，MOK E H，BEHARELLE A R，et al.? Frontal and temporal contributions to understanding the iconic co-speech gestures that accompany speech[J]. Human Brain Mapping，2014，35（3）：900-917.

STRAUBE B，GREEN A，BROMBERGER B，et al. The differentiation of iconic and metaphoric gestures：common and unique integration processes[J]. Human Brain Mapping，2011，32（4）：520-533.

HOSTETTER A B，POTTHOFF A L. Effects of personality and social situation on representational gesture production[J]. Gesture，2012（1）：62-83.

ALLEN L Q. The effects of emblematic gestures on the development and access of mental representations of French expressions[J]. Modern Language Journal，1995（4）：521-529.

LAZARATON A. Gesture and speech in the vocabulary explanations of one ESL teacher：a microanalytic inquiry[J]. Language Learning，2004（1）：79-117.

FEYEREISEN P. Further investigation of the mnemonic effect of gestures：their meaning matters[J]. European Journal of Cognitive Psychology，2006（2）：185-205.

王容花. 中國英語學(xué)習(xí)者二語進(jìn)行體的多模態(tài)表征[J]. 現(xiàn)代外語，2019（3）：351-362.

李恒，江桂英. 漢語情感效價(jià)空間隱喻的手勢表達(dá)[J].? 外國語（上海外國語大學(xué)學(xué)報(bào)），2018（2）：86-93.

彭圓.? 多模態(tài)視角下教學(xué)手勢語交際功能研究：以大學(xué)EFL課堂為例[J].? 中國外語教育，2015（4）：46-53.

孫鑫，張丹. 不同英語水平的中國學(xué)習(xí)者手勢使用實(shí)證研究[J].? 現(xiàn)代外語，2018（6）：829-839.

馬賽，靳光灑，孫培健.手勢與工作記憶視角下的二語口語表現(xiàn)研究[J]. 現(xiàn)代外語，2022（2）：232-244.

彭圓，何安平. 教學(xué)語伴手勢與話語因素的協(xié)同模式研究[J].? 外語與外語教學(xué)，2017（2）：70-80.

郭紅偉，楊雪燕. 多模態(tài)視閾下教師元話語與手勢語的符際關(guān)系研究[J].? 外語教學(xué)，2020（4）：52-57.

潘艷艷. 多模態(tài)視閾下的國家安全話語分析：以中美警察形象宣傳片的對(duì)比分析為例[J].? 外國語文，2019（1）：78-87.

NORRIS S. Identity in（inter）Action Introducing Multimodal （inter）Action Analysis[M]. New York：Mouton de Gruyter，2011.

MOUDI A，IRAVANI M，NAJAFIAN M，et al. Obstetric triage systems：a systematic review of measurement properties （Clinometric）[J]. BMC Pregnancy Childbirth，2020（1）：275.

LANDIS J R，KOCH G G. The measurement of observer agreement for categorical data[J]. Biometrics，1977，33：159–174.

GOLDIN-MEADOW S，NUSBAUM H，KELLY S D，et al. Explaining math：gesturing lightens the load[J]. Psychological Science，2010（6）：516-522.

HU F T，GINNS P，BOBIS J.? Getting the point：tracing worked examples enhances learning[J]. Learning & Instruction，2015（35）：85-93.

NOVACK M A，GOLDIN-MEADOW S，WOODWARD A L. Learning from gesture：how early does it happen？[J]. Cognition，2015（142）：138-147.

PING R M，GOLDIN-MEADOW S，BEILOCK S L.? Understanding gesture ：is the listeners motor system involved？[J]. Journal of Experimental Psychology：General，2014（1）：195-204.

FEYERISEN P. The competition between gesture and speech production in dual-task paradigms[J]. Journal of Memory & Language，1997（1）：13-33.

張恒超. 交流手勢認(rèn)知理論[J].? 心理科學(xué)進(jìn)展，2019（3）：499-507.

王立非，文艷. 應(yīng)用語言學(xué)研究的多模態(tài)分析方法[J].? 外語電化教學(xué)，2008（03）：8-12.

OUWHAND，KIM，GOG V，et al. Designing effective video-based modeling examples using gaze and desture cues[J]. Journal of Educational Technology & Society，2015（18）：78-88.

吳素偉，童瑤. 認(rèn)知語言學(xué)視野下的手勢研究綜述[J]. 解放軍外國語學(xué)院學(xué)報(bào)，2022（1）：79-87.

鐘曉云，崔剛. 從失語癥患者的手勢看手勢和語言的關(guān)系[J]. 當(dāng)代語言學(xué)，2022（1）：107-121.

［責(zé)任編輯 祁麗華]