英語多媒體學(xué)習(xí)中言語關(guān)聯(lián)手勢對認(rèn)知負(fù)荷的影響*

孫崇勇

（1吉林師范大學(xué)教育科學(xué)學(xué)院，四平　136099）?。?吉林師范大學(xué)心理研究所，四平　136099）

英語多媒體學(xué)習(xí)中言語關(guān)聯(lián)手勢對認(rèn)知負(fù)荷的影響*

孫崇勇1，2

（1吉林師范大學(xué)教育科學(xué)學(xué)院，四平136099）（2吉林師范大學(xué)心理研究所，四平136099）

為了探討英語多媒體學(xué)習(xí)中言語關(guān)聯(lián)手勢對認(rèn)知負(fù)荷及學(xué)習(xí)成績的影響，采用2×2被試間實驗設(shè)計。結(jié)果發(fā)現(xiàn)：該手勢對認(rèn)知負(fù)荷影響的主效應(yīng)不顯著，但與英語語言技能水平之間存在交互作用，當(dāng)學(xué)生語言技能水平低時，手勢增加了認(rèn)知負(fù)荷，反之，則降低認(rèn)知負(fù)荷；該手勢對句子轉(zhuǎn)換的成績沒有明顯影響，但在學(xué)生語言技能高時能提升理解能力的成績。本研究結(jié)果提示，言語關(guān)聯(lián)手勢的運用有明顯作用，它能提高或降低認(rèn)知負(fù)荷，并對理解能力的成績產(chǎn)生影響，但其大小和方向依賴于學(xué)生英語語言技能水平。

言語關(guān)聯(lián)手勢，認(rèn)知負(fù)荷，多媒體學(xué)習(xí)，教學(xué)設(shè)計。

1　引言

目前，多媒體的技術(shù)與設(shè)備在教學(xué)中得到了廣泛的運用，但它們對于學(xué)習(xí)者來說并不總是有效的，因為教學(xué)信息的呈現(xiàn)帶有很多的不確定性。多媒體技術(shù)的運用必然帶來教學(xué)信息與材料的豐富性，教學(xué)中一些信息呈現(xiàn)了，然后又消失了，學(xué)習(xí)者要充分理解后面的信息必須把剛剛呈現(xiàn)的信息保存在工作記憶中，而人的工作記憶容量是有限的。根據(jù)認(rèn)知負(fù)荷理論，這必然會產(chǎn)生比較高的認(rèn)知負(fù)荷（Sweller，1988；Sweller，Van Merrienboer，&Paas，1998）。在學(xué)習(xí)中，學(xué)習(xí)者至少會產(chǎn)生三種認(rèn)知負(fù)荷：（1）內(nèi)在認(rèn)知負(fù)荷，主要受學(xué)習(xí)者以往知識經(jīng)驗和學(xué)習(xí)材料難度的影響；（2）外在認(rèn)知負(fù)荷，也稱無效的認(rèn)知負(fù)荷，主要與教學(xué)設(shè)計中學(xué)習(xí)材料的呈現(xiàn)與組織方式有關(guān)；（3）相關(guān)認(rèn)知負(fù)荷，也稱有效的認(rèn)知負(fù)荷，即學(xué)習(xí)者在完成某一任務(wù)過程中，把剩余的心理資源用到與學(xué)習(xí)直接相關(guān)的認(rèn)知加工活動時產(chǎn)生的認(rèn)知負(fù)荷 （Sweller，1994；Paas，Renkl，&Sweller，2003）。三種認(rèn)知負(fù)荷相加就是認(rèn)知負(fù)荷總量，即總的認(rèn)知負(fù)荷。如果教學(xué)設(shè)計得當(dāng)，學(xué)習(xí)者的剩余認(rèn)知資源多，就會產(chǎn)生更多的相關(guān)認(rèn)知負(fù)荷?？梢?，相關(guān)認(rèn)知負(fù)荷也可以由教學(xué)設(shè)計引起，但它對學(xué)習(xí)是有利的。有研究表明，在多媒體動畫學(xué)習(xí)中，通過給予不同方式的提示就可以抵消動畫呈現(xiàn)時間過短帶來的負(fù)面影響，從而使學(xué)習(xí)者對動畫的學(xué)習(xí)更為有效 （De Koning，Tabbers，Rikers，& Pass，2009，2010a）。Spanjers等人 （2012）的研究也發(fā)現(xiàn)，動畫的分塊呈現(xiàn)而不是連續(xù)呈現(xiàn)，會給予學(xué)習(xí)者額外的時間來進(jìn)行必要的認(rèn)知加工，因而對初學(xué)者的學(xué)習(xí)和認(rèn)知負(fù)荷帶來有利的影響。段朝輝等人 （2013）認(rèn)為，當(dāng)動畫呈現(xiàn)速度較慢時，單位信息量分配的加工資源更多，學(xué)習(xí)者的認(rèn)知負(fù)荷更低，知識的加工程度更深，對知識的理解更好。與單一的形式相比，多媒體雖然能提供豐富多樣的信息呈現(xiàn)方式，但這同時也會占用更多的認(rèn)知資源，因此就有可能造成認(rèn)知超負(fù)荷，最終對學(xué)習(xí)效果產(chǎn)生負(fù)面影響 （趙立影，2011）。由此看來，外在認(rèn)知負(fù)荷和相關(guān)認(rèn)知負(fù)荷的高低都可以由教學(xué)設(shè)計的不同而改變，依賴于教學(xué)設(shè)計所采用的形式。

言語關(guān)聯(lián)手勢 （speech-associated gestures）是伴隨著語言而發(fā)出的手勢 （本研究中的手勢均指言語關(guān)聯(lián)手勢），它是人類交流的普遍特征之一。通過日常觀察我們可以發(fā)現(xiàn)，教師在教學(xué)中會有意識或無意識頻繁地使用手勢。Goldin-Meadow等人（1993）發(fā)現(xiàn)，教師在向?qū)W生講授問題解決的有關(guān)策略時，手勢語大概占了40%。Flevares和Perry（2001）的研究表明，數(shù)學(xué)教師平均每10秒鐘使用1次手勢，在1分鐘之內(nèi)大約使用5～7個手勢。白學(xué)軍等人 （2009）對青年教師在教學(xué)中手勢使用的調(diào)查表明，優(yōu)秀教師使用手勢的頻率高于一般教師或獲獎等級更低的教師。手勢對信息交流與教學(xué)發(fā)揮著重要的作用，聽話者可以直接從動作行為中獲取有用的交流信息，說話者可以減輕言語傳遞信息的負(fù)擔(dān)，彌補(bǔ)言語表達(dá)的不足。所以，手勢傳遞的動作信息可以使交流的雙方都為之獲益。朱明泉和張智君 （2007）曾回顧了手部運動與言語的關(guān)系研究，認(rèn)為伴隨著言語產(chǎn)生的有意義手勢可促進(jìn)詞匯的提取及其言語的加工。Ping和Goldin-Meadow（2008）的研究發(fā)現(xiàn)，在學(xué)習(xí)皮亞杰的守恒任務(wù)時，那些可以觀察到導(dǎo)航手勢的學(xué)生比那些沒有觀察到手勢的學(xué)生成績更高。Skipper等人 （2007）的研究表明，手勢呈現(xiàn)了豐富的視覺信息，從而減少了人們對聽覺信息的提取與語義的選擇，更加有利于雙方的信息交流。多媒體學(xué)習(xí)材料的呈現(xiàn)方式是影響認(rèn)知負(fù)荷的重要因素之一，它決定了學(xué)習(xí)材料的外部認(rèn)知負(fù)荷，會極大地影響學(xué)習(xí)者的學(xué)習(xí)效果 （段朝輝等，2013）。手勢作為學(xué)習(xí)材料呈現(xiàn)的要素之一，必然會對認(rèn)知負(fù)荷與學(xué)習(xí)效果造成影響。李智曄 （2013）認(rèn)為，現(xiàn)代多媒體學(xué)習(xí)過程中的信息加工逐漸呈現(xiàn)多通道加工的趨勢，即在雙通道 （聽覺通道與視覺通道）的基礎(chǔ)上還應(yīng)增加交互通道，也就是通過手勢、觸摸、表情、眼神等交互行為獲得信息的通道。這三個通道雖然相對獨立，在傳遞信息時如果能形成有機(jī)的整體，則能賦予學(xué)習(xí)者認(rèn)知過程中的主觀能動性，減輕其內(nèi)部工作記憶中的認(rèn)知負(fù)荷。在有關(guān)的數(shù)學(xué)問題解決研究中，手勢還能有效降低認(rèn)知負(fù)荷，從而促進(jìn)數(shù)學(xué)的學(xué)習(xí) （Goldin-Meadow，Nusbaum，Kelly，&Wagner，2001）。而在Goldin-Meadow和Butcher（2003）的另一項研究中發(fā)現(xiàn)，手勢的運用會給學(xué)習(xí)者帶來處理與計劃的負(fù)荷，任務(wù)越難，手勢越多，學(xué)習(xí)者的認(rèn)知負(fù)荷則越高。根據(jù)認(rèn)知負(fù)荷理論，任務(wù)的難度和認(rèn)知負(fù)荷關(guān)系密切，它會直接影響學(xué)習(xí)者的內(nèi)在認(rèn)知負(fù)荷。Yoshioka和Kellerman（2006）曾研究過不同語言水平的瑞典語、法語和荷蘭語的學(xué)習(xí)者，發(fā)現(xiàn)手勢在不同語言文化背景下對認(rèn)知負(fù)荷的影響是有差異的。手勢的發(fā)展可能不是線性的，而是如同語言發(fā)展一樣是復(fù)雜多層的 （楊曉瓊，2011）。另外，Barbieri等人 （2009）的系列實驗研究表明，手勢和言語共享同一個交流系統(tǒng)，其相互作用的基礎(chǔ)是語義一致性。有了這個基礎(chǔ)，手勢就能作為言語表達(dá)的輔助及補(bǔ)償工具，激活詞匯通道，幫助詞匯提取。在這個問題上也有不同的觀點，如陳樺等 （2013）認(rèn)為，手勢與言語雖然共享同一個認(rèn)知源，但手勢并非總是附屬和補(bǔ)償于言語?？梢姡謩輰W(xué)習(xí)者的影響是比較復(fù)雜的，可能因人而異，也可能和學(xué)習(xí)材料的復(fù)雜性和類別有關(guān)。

目前在國外，關(guān)于教學(xué)動畫的研究主要集中于以下領(lǐng)域：生物學(xué)研究，如心臟是怎樣工作的 （De Koning，Tabbers，Rikers，&Pass，2010b）；自然學(xué)，如閃電是怎樣形成的 （Mayer&Moreno，1998）；機(jī)械工程學(xué)，如鋼琴是怎樣工作的 （Boucheix&Lowe，2010）；運動人體學(xué)，如折紙手工 （Wong，Marcus，&Ayres，et al.，2009）；問題解決程序，如概率計算（Spanjers，Van Gog，&Wouters et al.，2012）。上述這些研究主要是運用第一語言獲取教學(xué)動畫信息，而很少有研究考慮運用第二語言及手勢的輔助作用來獲取教學(xué)動畫中的抽象概念等信息，如語法規(guī)則。通過對以往相關(guān)文獻(xiàn)的回顧與梳理，我們認(rèn)為手勢能激發(fā)運動系統(tǒng)，降低無效的認(rèn)知負(fù)荷，提高語法動畫學(xué)習(xí)的有效性。但是，我們還注意到，手勢的這種積極影響并不一定是針對所有的處于不同語言技能水平的學(xué)生。至少有這樣兩種可能性存在，即教學(xué)動畫中手勢的運用也許對語言技能水平低的學(xué)生更為有效，或也許對語言技能水平高的學(xué)生更為有效。因為目前在這個領(lǐng)域還沒有先前的研究，我們很難對語言技能水平的影響方向與大小做出判斷，但有一點是明確的，即語言技能水平在未來的研究中應(yīng)該作為一個重要的變量進(jìn)行考察。

綜上所述，本研究將在英語多媒體學(xué)習(xí)中探討手勢的運用對認(rèn)知負(fù)荷與學(xué)習(xí)成績的影響，以多媒體呈現(xiàn)條件 （有無手勢呈現(xiàn)）和英語語言技能水平為自變量，以認(rèn)知負(fù)荷和學(xué)習(xí)成績?yōu)橐蜃兞?，研究假設(shè)如下： （1）手勢的運用會降低認(rèn)知負(fù)荷，提高學(xué)習(xí)成績；（2）手勢的運用效果與學(xué)生的英語語言技能水平之間產(chǎn)生交互作用，即手勢的運用對于英語語言技能水平不同的學(xué)生來說，效果有所不同。

2　研究方法

2.1被試

選取吉林某中學(xué)初三兩個平行班共120人，按近三次英語期末考試的平均成績由低到高排列，分別選擇排在前27%和后27%的學(xué)生作為語言技能低水平組 （n=32）和語言技能高水平組 （n=32），兩組成績差異顯著 （t=12.47，df=62，p＜0.01）。分別把語言技能高水平組、低水平組隨機(jī)分成兩半，再把兩組的一半合為實驗組即手勢組 （n=32），另一半合為控制組即非手勢組 （n=32）。根據(jù)被試所在的組別給每名被試隨機(jī)編號。實驗組男生15名，女生17名，控制組男生14，女生18名。卡方檢驗的結(jié)果表明，各組之間性別分布的差異不顯著 （χ2（3）=0.63，p＞0.05）。被試年齡均在14～16歲之間，平均年齡為（15.23±0.75）歲。所有被試視力 （或矯正視力）正常，均為右利手，且均為自愿參加。

2.2實驗材料

實驗材料包括學(xué)習(xí)材料與測試材料兩類。

2.2.1學(xué)習(xí)材料

學(xué)習(xí)材料為英語語法學(xué)習(xí)中主動語態(tài)與被動語態(tài)互相轉(zhuǎn)換，時態(tài)包括一般現(xiàn)在時與現(xiàn)在進(jìn)行時。

2.2.2測試材料

測試材料包括前測與后測試題、認(rèn)知負(fù)荷測量量表。

前測的目的主要是考察可能影響被試學(xué)習(xí)主動語態(tài)與被動語態(tài)句子互相轉(zhuǎn)換中認(rèn)知負(fù)荷及學(xué)習(xí)成績的因素情況，包括被試的興趣、求知欲、自信心及對其有用性、難度、理解性的自我評估等6個方面。測試的題目均為陳述句，采用7點量表的形式，讓被試根據(jù)自己的實際情況選擇1～7中的一個數(shù)，其中，1—最小程度，4—中等程度，7—最大程度。比如 “你對英語中主動語態(tài)與被動語態(tài)句子互相轉(zhuǎn)換的興趣是________”。

認(rèn)知負(fù)荷測量量表采用Paas等人編制的心理努力自我評定量表（Paas&Van Merrienboer，1993）。量表實行9級評分制，從 “1—最少努力”到 “9—最大努力”，心理努力的程度依次遞增，目的是測量被試學(xué)習(xí)過程中認(rèn)知負(fù)荷的大小。該量表的信度較高，內(nèi)部一致性信度系數(shù)α=0.74。

后測試題主要考察被試的主、被動語態(tài)句子轉(zhuǎn)換與理解能力。句子轉(zhuǎn)化的測試題主要包括把主動語態(tài)的語句變成被動語態(tài)和把被動語態(tài)的句子變成主動語態(tài)。如“Many students study English”，“He is often asked a question by the teacher”，“They are holding a sports meeting now”，“The room is being painted by some workers now”等。理解能力主要測試被試對句子結(jié)構(gòu)、轉(zhuǎn)換邏輯程序的理解，如 “這個句子的主語是什么”， “當(dāng)你把主動語態(tài)句子轉(zhuǎn)換成被動語態(tài)時，應(yīng)該怎么做”，“當(dāng)一個句子變?yōu)楸粍诱Z態(tài)后，原句子的主語則變成了新句子的什么成分”等。句子轉(zhuǎn)換與理解能力測試題均為10小題，每小題1分，最后取平均成績作為被試句子轉(zhuǎn)換與理解能力的成績。

2.3實驗設(shè)計

采用2×2的被試間實驗設(shè)計。自變量有兩個，第一個是英語語言技能水平，包括高與低兩個水平；第二個是多媒體呈現(xiàn)條件，包括有手勢呈現(xiàn)與無手勢呈現(xiàn)兩個水平。兩個自變量均為被試間因素。因變量是測量的各項指標(biāo)，包括前測成績、認(rèn)知負(fù)荷測量指標(biāo)與后測成績。

實驗在該校的微機(jī)室進(jìn)行，每名被試隨機(jī)選擇一臺電腦，輸入自己的編號進(jìn)入實驗程序。實驗開始前，主試向被試介紹注意事項，要求被試按照指導(dǎo)語完成實驗。指導(dǎo)語在電腦上呈現(xiàn)，被試在完全理解指導(dǎo)語后按Enter鍵開始實驗。實驗共分三個階段，第一階段為前測，第二階段為材料學(xué)習(xí)與認(rèn)知負(fù)荷測量，第三階段為后測。前測試題利用E-prime 2.0心理實驗專用軟件呈現(xiàn)，各小題的呈現(xiàn)順序隨機(jī)，呈現(xiàn)時間均為30秒，被試根據(jù)自己的實際情況按1～7鍵中的某個鍵。前測完畢后，休息30秒后進(jìn)入第二階段。

學(xué)習(xí)材料采用PPT幻燈片的形式呈現(xiàn)，一共有4張幻燈片，每張呈現(xiàn)時間為90秒。其中，前面兩張呈現(xiàn)英語教學(xué)中一個陳述句怎樣由主動語態(tài)變成被動語態(tài)，后面兩張則呈現(xiàn)怎樣由被動語態(tài)變成主動語態(tài)。每張幻燈片都伴有轉(zhuǎn)換步驟的語音解說。在手勢組，幻燈片中都可以看見一只手。手的位置是動態(tài)的，隨解說的內(nèi)容變化而做相應(yīng)的移動。在非手勢組，除了不顯示手勢之外，其他條件和手勢組一樣。兩個組分別有一半的被試先呈現(xiàn)前面兩張幻燈片，再呈現(xiàn)后面兩張；另一半的被試呈現(xiàn)順序則相反。在每張幻燈片呈現(xiàn)后，要求被試做認(rèn)知負(fù)荷測量，量表為紙質(zhì)材料，指導(dǎo)語為 “在剛剛的幻燈片學(xué)習(xí)過程中，你投入了多少心理努力？”。被試一共做4次測量，其平均成績作為認(rèn)知負(fù)荷測量指標(biāo)。該階段測試完畢后，休息60秒，進(jìn)入第三階段。

后測試題也由E-prime 2.0軟件呈現(xiàn)，順序也是隨機(jī)的，每小題的呈現(xiàn)時間均為60秒。題目呈現(xiàn)后，要求被試把答案寫在事先準(zhǔn)備的空白紙上。整個實驗過程大約30分鐘。全部測試完成后，被試將獲得一份小禮品。

3　結(jié)果

3.1前測結(jié)果

對前測中手勢組與非手勢組的影響因素進(jìn)行分析，描述性結(jié)果如表1所示。

以多媒體呈現(xiàn)條件與英語語言技能水平為自變量，分別以各影響因素為因變量，作二因素方差分析。結(jié)果顯示，多媒體呈現(xiàn)條件與英語語言技能水平 （難度除外）的主效應(yīng)及其交互效應(yīng)均不顯著 （p＞0.05）。

3.2認(rèn)知負(fù)荷與學(xué)習(xí)成績測量結(jié)果

對各組被試的認(rèn)知負(fù)荷與學(xué)習(xí)成績進(jìn)行分析，描述性結(jié)果如表2所示。

表2　各組認(rèn)知負(fù)荷與學(xué)習(xí)成績測量的描述性結(jié)果 （M±SD）

以英語語言技能水平和多媒體呈現(xiàn)條件為自變量，以認(rèn)知負(fù)荷為因變量，進(jìn)行二因素方差分析（表3）。結(jié)果顯示，英語語言技能水平的主效應(yīng)顯著，F(xiàn)（1，60）=104.07，p＜0.001，η2=0.63；多媒體呈現(xiàn)條件的主效應(yīng)不顯著 （p＞0.05）；兩者的交互效應(yīng)顯著，F(xiàn)（1，60）=16.08，p＜0.001，η2=0.21。

表3　認(rèn)知負(fù)荷的二因素方差分析結(jié)果

二因素交互效應(yīng)分析的結(jié)果表明 （表4），多媒體呈現(xiàn)條件的處理效應(yīng)在英語語言技能兩個水平上的差異均顯著，F(xiàn)低（1，30）=8.60，p＜0.01，η2=0.22，手勢組 （4.15±0.62）顯著高于非手勢組 （3.56±0.51）；F高（1，30）=7.49，p＜0.05，η2=0.20，手勢組 （2.26± 0.45）顯著低于非手勢組 （2.74±0.55）。

表4　多媒體呈現(xiàn)條件在英語語言技能兩個水平上的認(rèn)知負(fù)荷簡單效應(yīng)檢驗

以英語語言技能水平和多媒體呈現(xiàn)條件為自變量，分別以句子轉(zhuǎn)換和理解能力的成績?yōu)橐蜃兞浚M(jìn)行二因素方差分析。結(jié)果表明，在句子轉(zhuǎn)換成績上，英語語言技能水平的主效應(yīng)顯著，F(xiàn)（1，60）= 32.59，p＜0.001，η2=0.35，高水平組 （7.84±1.08）顯著高于低水平組 （6.31±1.06）；多媒體呈現(xiàn)條件的主效應(yīng)與交互效應(yīng)均不顯著 （p＞0.05）。在理解能力成績上，英語語言技能水平的主效應(yīng)顯著，F(xiàn)（1，60）=17.55，p＜0.001，η2=0.23；多媒體呈現(xiàn)條件的主效應(yīng)不顯著 （p＞0.05）；兩者的交互效應(yīng)顯著，F(xiàn)（1，60）=7.35，p＜0.01，η2=0.11。簡單效應(yīng)檢驗的結(jié)果表明，多媒體呈現(xiàn)條件的處理效應(yīng)只在高水平組有顯著差異，F(xiàn)高（1，30）=4.85，η2=0.12，p＜0.05，手勢組 （7.94±1.18）顯著高于非手勢組（7.06± 1.06）；在低水平組上的差異不顯著（p＞0.05）。

4　討論

4.1言語關(guān)聯(lián)手勢對認(rèn)知負(fù)荷的影響分析

本項研究考察了在英語多媒體學(xué)習(xí)環(huán)境下言語關(guān)聯(lián)手勢對學(xué)生認(rèn)知負(fù)荷及其學(xué)習(xí)效果的影響，從前測的結(jié)果來看，英語語言技能水平高低兩組因為技能水平本身的差異，在難度估計上相應(yīng)地也表現(xiàn)出差異，但與多媒體呈現(xiàn)條件之間并沒有產(chǎn)生交互效應(yīng)?？偟膩碚f，手勢組與非手勢組的認(rèn)知負(fù)荷與學(xué)習(xí)結(jié)果沒有受到學(xué)生的興趣、求知欲等因素的影響，或?qū)蓚€組的影響趨于相等。從認(rèn)知負(fù)荷的測量結(jié)果來看，手勢對認(rèn)知負(fù)荷影響的主效應(yīng)不顯著，但這并不意味著手勢對認(rèn)知負(fù)荷就一定沒有影響。根據(jù)統(tǒng)計學(xué)原理，當(dāng)某個自變量的主效應(yīng)不顯著時，有可能是受到了交互效應(yīng)的影響，交互效應(yīng)可能會掩蓋或歪曲該自變量的效應(yīng)。果不其然，手勢與英語語言技能水平之間的確存在交互作用。進(jìn)一步的簡單效應(yīng)檢驗發(fā)現(xiàn)，當(dāng)學(xué)生英語語言技能水平低時，手勢增加了認(rèn)知負(fù)荷；當(dāng)學(xué)生英語語言技能水平高時，手勢降低了認(rèn)知負(fù)荷。從這一點看，只是部分地驗證了前面的研究假設(shè)。

在英語多媒體學(xué)習(xí)中，學(xué)生往往是在聽著聲音解說的同時，還要看著幻燈片中的內(nèi)容。本研究中，手勢組的學(xué)生除了要觀看句子轉(zhuǎn)換的文本內(nèi)容外，還得觀察隨著解說與文本內(nèi)容而不斷變化的手勢，這可能使他們投入了更多的注意資源，但也可能分散他們的注意力。根據(jù)認(rèn)知負(fù)荷理論，外在認(rèn)知負(fù)荷主要與學(xué)習(xí)材料的組織與呈現(xiàn)有關(guān)。所以，幻燈片中手勢的出現(xiàn)會導(dǎo)致外在認(rèn)知負(fù)荷的增加。增加的外在認(rèn)知負(fù)荷需要占據(jù)人的工作記憶容量，但對于英語語言技能水平高的學(xué)生而言，他們可能有著相對充足的工作記憶容量，單位信息量分配的加工資源更多，能夠用于對知識的加工與理解，使之在一定程度上降低了問題的難度，認(rèn)知負(fù)荷也就隨之減少。另外，本研究中的手勢包含著一些語法規(guī)則的程序信息，能夠幫助學(xué)習(xí)者加工處理問題，這與Goldin-Meadow等人 （2001）關(guān)于數(shù)學(xué)問題解決研究的結(jié)果是一致的。有研究還發(fā)現(xiàn)，多媒體動畫通過呈現(xiàn)手勢或讓學(xué)習(xí)者做出各種手勢能激活人的鏡像神經(jīng)元 （mirror neurons），從而促進(jìn)學(xué)習(xí)，即使是對非動作任務(wù)，如數(shù)學(xué)或語法任務(wù)也是這樣的 （De Koning&Tabbers，2011）。鏡像神經(jīng)元于20世紀(jì)末才被發(fā)現(xiàn)，一般認(rèn)為人腦中存在的鏡像神經(jīng)元具有直覺和視覺思維的本質(zhì)特征，它的功能與人類的認(rèn)知能力、模仿能力密切相關(guān)。那些語言技能水平高的學(xué)生學(xué)習(xí)語法技能時，他們有足夠的認(rèn)知資源用于手勢與言語之間的交流，并能有效激活鏡像神經(jīng)元，從而在一定程度上會降低學(xué)習(xí)材料的難度與復(fù)雜性，這就降低了內(nèi)在認(rèn)知負(fù)荷，也就降低了總的認(rèn)知負(fù)荷。而目前的測量技術(shù)還很難把三種認(rèn)知負(fù)荷區(qū)分開來，一般認(rèn)為PAAS自評量表測量的結(jié)果是總的認(rèn)知負(fù)荷。但對于英語語言技能水平低的學(xué)生而言，他們的工作記憶容量相對較少，則容易產(chǎn)生 “冗余效應(yīng)”。一方面，對手勢的加工提取需要心理努力和占據(jù)著他們相對較少的認(rèn)知資源，這會干擾新圖式的構(gòu)建與強(qiáng)化，引發(fā)額外的認(rèn)知負(fù)荷；另一方面，手勢運用者很難保證每一個單獨的手勢都是有意義的，這樣則容易造成視覺通道的資源競爭，因此產(chǎn)生較高的認(rèn)知負(fù)荷。

4.2言語關(guān)聯(lián)手勢對學(xué)習(xí)成績的影響分析

從英語多媒體學(xué)習(xí)效果的測量結(jié)果來看，手勢對句子轉(zhuǎn)換的成績沒有顯著影響。這與本研究最初的假設(shè)不相符，也與以往研究有所不同。Kelly等人 （2008）從認(rèn)知神經(jīng)科學(xué)、發(fā)展心理學(xué)與教育學(xué)的多維視角分析，認(rèn)為手勢對于語言學(xué)習(xí)很有益處，可以幫助學(xué)生理解抽象概念的含義，評估學(xué)生所掌握的知識；手勢對語法教學(xué)亦有顯著效果（Churchill et al.，2010）。本研究中，句子轉(zhuǎn)換的測試題內(nèi)容雖然不能直接從學(xué)習(xí)材料中找到現(xiàn)成的答案，即使學(xué)習(xí)者有個別地方不太懂，但他們完全可以通過模仿而獲知答案，它們不需要學(xué)習(xí)者進(jìn)行深層次的認(rèn)知加工。據(jù)此做出推測，手勢可能只對需要深層次加工的知識起作用，而對表層知識并沒有太大的幫助。所以，手勢對句子轉(zhuǎn)換的成績沒有顯著影響，但對學(xué)習(xí)者需要掌握原理性內(nèi)容的理解能力成績有一定的影響。

在對理解能力成績的影響上，手勢與英語語言技能存在交互作用，當(dāng)英語語言技能高時手勢能提高理解能力的成績，但在英語語言技能低時影響不明顯，這和前面的研究假設(shè)基本相符。對于英語語言技能水平高的學(xué)生而言，手勢的運用降低了認(rèn)知負(fù)荷，使他們有足夠的認(rèn)知資源用于手勢與言語之間的交流以及詞匯的提??；同時，他們還能充分發(fā)揮自己的主觀能動性，把當(dāng)前的學(xué)習(xí)內(nèi)容與已有的認(rèn)知結(jié)構(gòu)或圖式相結(jié)合，從而提高了學(xué)習(xí)者的英語語法理解能力的成績。本研究中，英語語法理解能力主要是測試被試對句子結(jié)構(gòu)、轉(zhuǎn)換邏輯程序的理解，基于理解能力，學(xué)習(xí)者還可以觸類旁通、舉一反三，發(fā)生學(xué)習(xí)的遷移功效，因此學(xué)生理解能力的成績與遷移成績是密切相關(guān)的。Deleeuw和Mayer（2008）認(rèn)為，遷移成績的高低可以作為相關(guān)認(rèn)知負(fù)荷的指標(biāo)。另外，由于手勢對語言技能水平高的學(xué)生來說降低了認(rèn)知負(fù)荷，從而使他們有可能對學(xué)習(xí)本身的內(nèi)容投入更多的注意力。Cierniak等人（2009）和Kalyuaga（2011）都強(qiáng)調(diào)，注意力水平的高低也是與相關(guān)認(rèn)知負(fù)荷密切相關(guān)的?？梢姡捎谧陨砭邆淞溯^為豐富的先前知識經(jīng)驗以及手勢的輔助作用，語言技能水平高的學(xué)生內(nèi)在認(rèn)知負(fù)荷與外在認(rèn)知相對較低，相關(guān)認(rèn)知負(fù)荷則相對較高。而根據(jù)認(rèn)知負(fù)荷理論，相關(guān)認(rèn)知負(fù)荷是有效的認(rèn)知負(fù)荷，是對學(xué)習(xí)有利的。對語言技能水平低的學(xué)生來說，手勢的運用增加了他們的認(rèn)知負(fù)荷，從理論上來說這會損害他們的學(xué)習(xí)。但在本研究中，手勢對英語語言技能水平低的學(xué)生理解能力成績的影響不明顯，這可能是由于理解能力測試的題目對于他們來說還不太難，增加的認(rèn)知負(fù)荷還沒有造成他們的較高負(fù)荷或超負(fù)荷，也就是說，雖然手勢提高了他們的認(rèn)知負(fù)荷，但還沒有達(dá)到影響他們理解能力成績的程度。

當(dāng)然，關(guān)于手勢對句子轉(zhuǎn)換與理解能力成績影響不一致的原因除了以上分析的因素之外，還可能受到了學(xué)習(xí)材料的類型影響，如前人有研究發(fā)現(xiàn)，動畫材料的不同會影響學(xué)習(xí)者的知覺模式 （Morrison，Tversky，&Betrancourt，2000）；或者還有其他的原因，這些都需要進(jìn)一步的研究證實。

5　結(jié)論

本研究探討了言語關(guān)聯(lián)手勢對英語多媒體學(xué)習(xí)環(huán)境中的認(rèn)知負(fù)荷與學(xué)習(xí)效果的影響，在本實驗條件下得出以下結(jié)論：該手勢的運用有明顯作用，它能提高或降低認(rèn)知負(fù)荷，并對理解能力的成績產(chǎn)生影響，但這些影響的大小和方向依賴于學(xué)生英語語言技能的不同水平。

白學(xué)軍，梁菲菲，張濤，田麗娟，文宇翔，陳宗陽.（2009）.不同獲獎等級青年教師手勢語的量化研究.寧波大學(xué)學(xué)報（教育科學(xué)版），31（4），48-53.

陳樺，顧琰，左瀚.（2013）.手勢與言語的關(guān)系論.外國語，36（5），50-58.

段朝輝，顏志強(qiáng)，王福興，周宗奎.（2013）.動畫呈現(xiàn)速度對多媒體學(xué)習(xí)效果影響的眼動研究.心理發(fā)展與教育，29（1），46-53.

李智曄.（2013）.多媒體學(xué)習(xí)的認(rèn)知—傳播模型及其基本特征.教育研究，35（8），112-116.

楊曉瓊.（2011）.國外手勢與二語習(xí)得研究的進(jìn)展.外國語文，27（3），89-93.

趙立影.（2011）.基于工作記憶的多媒體學(xué)習(xí)設(shè)計.電化教育研究，32（8），98-102.

朱明泉，張智君.（2007）.言語與手部運動關(guān)系的研究回顧.心理科學(xué)進(jìn)展，15（1），88-93.

Barbieri，F(xiàn).，Buonocore，A.，Volta，R.D.，&Gentilucci，M.（2009）. How symbolic gestures and words interact with each other. Brain and Language，110（1），1-11.

Boucheix，S.C.，&Lowe，R.K.（2010）.An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations.Learning and Instruction，20（2），123-135.

Churchill，E.，Okada，H.，Nishino，T.，&Atkinson，D.（2010）. Symbiotic gesture and the sociocognitive visibility of grammar in second language acquisition.The Modern Language Journal，94（2），234-253.

Cierniak，G.，Scheiter，K.，&Gerjiets，P.（2009）.Explaining the split-attention effect：Is the reduction of extraneous cognitive load accompanied by an increase in germane cognitive load？. Computers in Human Behavior，25（2），315-324.

De Koning，B.B.，&Tabbers，H.K.（2011）.Facilitating understanding of movements in dynamic visualizations：An embodied perspective.Educational Psychology Review，23（4），501-521.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F(xiàn).（2009）.Towards a framework for attention cueing in instructional animations：Guidelines for research and design.Educational Psychology Review，21（2），113-140.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F(xiàn).（2010a）.Learning by generating vs.Receiving instructional explanations：Two approaches to enhance attention cueing in animations.Computers&Education，55（2），681-691.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F(xiàn).（2010b）.Attention guidance in learning from a complex animation：Seeing is understanding？.Learning and instruction，20（2），111-122.

DeLeeuw，K.E.，&Mayer，R.E.（2008）.A comparison of three measures of cognitive load，evidence for separable measures of intrinsic，extraneous，and germane load.Journal of Educational Psychology，100（1），223-234.

Flevares，L.M.，&Perry，M.（2001）.How many do you see？The use of nonspoken representations in first grade mathematics lessons.Journal of Educational Psychology，93（2），330–345.

Goldin-Meadow，S.，&Butcher，C.（2003）.Pointing:Where language，culture，and cognition meet.In S.Kita，Pointing toward two word speech in young children（pp.85-107）.Hillsdale，NJ：Lawrence Erlbaum Associates.

Goldin-Meadow，S.，Nusbaum，H.，Garber，P.，&Church，R.B.（1993）.Transitions in learning：Evidence for simultaneously activated strategies.Journal of Experimental Psychology:Human Perception and Performance，19（1），91-107.

Goldin-Meadow，S.，Nusbaum，H.，Kelly，S.D.，&Wagner，S.（2001）.Explaining math：Gesturing lightens the load.Psychological Science，12（6），516-522.

Kalyuaga，S.（2011）.Cognitive load theory：How many types of load does it really need？.Educational Psychology Review，23（1），1-19.

Kelly，S.D.，Manning，S.M.，&Rodak，S.（2008）.Gesture gives a handtolanguageandlearning，Perspectivesfromcognitive neuroscience，developmentalpsychologyandeducation.Language and Linguistics Compass，2（4），569-588.

Mayer，R.E.，&Moreno，R.（1998）.A split-attention effect in multimedia learning：Evidence for dual processing systems in working memory.Journal of Educational Psychology，90（2），312-330.

Morrison，J.B.，Tversky，B.，&Betrancourt，M.（2000）.Animation: Does it facilitate learning.Paper presented at the 2000 AAAI Spring Symposia，Palo Alto，California.

Paas，F(xiàn).，&Van Merrienboer，J.J.G.（1993）.The efficiency of instructional conditions：An approach to combine mental effort and performance measures.Human Factors，35（4），737-743.

Paas，F(xiàn).，Renkl，A.，&Sweller，J.（2003）.Cognitive load theory andinstructionaldesign：Recentdevelopments.Educational Psychologist，38（1），1-4.

Ping，R.M.，&Goldin-Meadow，S.（2008）.Hands in the air：Using ungrounded iconic gestures to teach children conservation of quantity.Development Psychology，44（5），1277-1287.

Skipper，J.I.，Goldin-Meadow，S.，Nusbaum，H.C.，&Small，S.L.（2007）.Speech-associated gestures，Broca′s area，and the human mirror system.Brain and Language，101（3），260-277.

Spanjers，I.A.E.，Van Gog，T.，Wouters，P.，&Van Merrienboer，J.J.G.（2012）.Explaining the segmentation effect in learning from animations：The role of pausing and temporal cueing. Computer&Education，59（2），274-280.

Sweller，J.（1994）.Cognitive load theory，learning difficulty，an instructional design.Learning and Instruction，4（4），295-312.

Sweller，J.（1988）.Cognitive load during problem solving，effects on learning.Cognitive Science，12（2），257-285.

Sweller，J.，Van Merrienboer，J.J.G.，&Paas，F(xiàn).（1998）.Cognitive architecture and instructional design.Educational Psychology Review，10（3），251-296.

Wong，A.，Marcus，N.，Ayres，P.，Smith，L.，Copper，G.A.，&Paas，F(xiàn).，et al.（2009）.Instruction animations can be superior to statics when learning human motor skills.Computers in Human Behavior，25（2），339-347.

Yoshioka，K.，&Kellerman，E.（2006）.Gesture Introduction of Ground Reference in L2 Narrative Discourse.International Review of Applied Linguistics，44（2），171-193.

To explore the influence of speech-associated gestures on cognitive load and performance in English multimedia learning，the research used a 2×2 design with two between-subjects factors being level of English language skills and multimedia presentation of language learning material.The results showed that：1）there was no main effect of speech-associated gestures on cognitive load，but there was interaction effect between the gestures and the level of English language skills.When the level of English language skills was high，the gestures decreased cognitive load；otherwise，they increased it.2）The speech-associated gestures had no significant influence on the performance of sentence transformation，but they could increase that of comprehension ability when the level of English language skills was high.The findings suggest that the utilization of speech-associated gestures has an obvious effect in English multimedia learning，which can increase or decrease cognitive load of learners，and has an influence on their performance of comprehension ability.However，degree and direction of the effect depend on the level of learners′English language skills.

The Influence of Speech-Associated Gestures on Cognitive Load in English Multimedia Learning

Sun Chongyong1，2
（1 School of Educational Sciences，JiLin Normal University，Siping136099；2 Institute of Psychology，JiLin Normal University，Siping136099）

speech-associated gesture，cognitive load，multimedia learning，instructional design.

B842

2015-1-1

教育部人文社會科學(xué)研究規(guī)劃基金項目 （15YJA880056）。

孫崇勇，E-mail：scyjlnu@aliyun.com。