輸入模態(tài)對認知負荷及聽力成績的影響

朱建斌，張雙華

（忻州師范學(xué)院，忻州 034000）

輸入模態(tài)對認知負荷及聽力成績的影響

朱建斌，張雙華

（忻州師范學(xué)院，忻州 034000）

探討了輸入模態(tài)對學(xué)生認知負荷和聽力理解的影響。90名來自兩個平行班的大學(xué)英語學(xué)生被平均分為三個小組參加實驗：文本輸入組，聲音輸入組，文本和聲音輸入組。文本組的聽力題目用文本呈現(xiàn)，聲音組的聽力題目僅用聲音呈現(xiàn)，文本和聲音組的題目則是采用文本和聲音雙重模態(tài)呈現(xiàn)。認知負荷量表結(jié)果和聽力測試結(jié)果顯示不同模態(tài)的聽力輸入形式對聽力成績有顯著影響：文本組學(xué)生的成績最高，其次是文本加音頻組，音頻輸入組的成績最低。認知負荷量表結(jié)果顯示文本組的認知負荷最低，然后是文本加音頻組，音頻輸入組的認知負荷最高。認知負荷與聽力成績的相關(guān)分析顯示負荷程度與聽力成績呈負相關(guān)。研究結(jié)果對聽力教學(xué)有較好的借鑒作用。

輸入模態(tài);認知負荷;聽力成績;負相關(guān)

英語聽力是培養(yǎng)學(xué)生聽說能力和綜合語言應(yīng)用能力的重要途徑，在大學(xué)英語教學(xué)中有著重要地位。但是英語聽力一直以來都被認為是聽、說、讀、寫四種基本技能中最難的技能。聽力對于老師來講難教，對于學(xué)生而言則難學(xué)［1－2］。多年來一直沿用的“聽錄音—對答案”的教學(xué)模式也因為不能適應(yīng)新的課程教學(xué)要求，學(xué)生的學(xué)習(xí)積極性也不高而逐漸被新的教學(xué)方法和模式所取代。多元識讀（multiliteracy）就是在這樣的背景下應(yīng)運而生的新理念［3］。

隨著科技的發(fā)展，特別是信息技術(shù)的飛速發(fā)展，信息傳遞的方式也從以語言文字為主逐漸發(fā)展成為以文字、圖像、聲音、色彩等資源協(xié)同傳遞信息的多模態(tài)模式。多模態(tài)研究的興起引發(fā)了語言教學(xué)的革命性變革，新倫敦學(xué)派（New London Group）于1996年在《哈佛教育評論》提出了多元識讀的概念，引起廣泛關(guān)注。人們普遍認為多種模態(tài)的綜合使用能有效地促進意義的表達和語言的學(xué)習(xí)［4－6］，國內(nèi)部分研究也對多模態(tài)在語言教學(xué)中的應(yīng)用展開了探討［7－8］。但是目前的研究并未取得一致結(jié)果，且多數(shù)研究都只探討了實行多模態(tài)教學(xué)的可行性，對于模態(tài)形式及其組合方式對語言學(xué)習(xí)，特別是對輸入型學(xué)習(xí)（聽力和閱讀）的影響還缺乏實證研究。

一、理論背景

認知負荷指處理信息時一次性增加于工作記憶中的腦力活動總量（Cooper＆Sweller，1987）。認知負荷理論（cognitive load theory）則是澳大利亞心理學(xué)家John Sweller在20世紀80年代基于資源有限理論和圖式理論所提出的一種認知心理學(xué)理論。該理論的基本原理認為有效的學(xué)習(xí)是指工作記憶積極理解和處理學(xué)習(xí)內(nèi)容并把獲得的信息進行編碼然后儲存到長時記憶中的過程。工作記憶容量是有限的，如果待加工的信息需要的認知資源總量超過了工作記憶容量，就會造成認知負荷過載，從而使信息加工受阻，導(dǎo)致學(xué)習(xí)效果不理想。

根據(jù)圖式間元素的相互關(guān)系，認知負荷被分為外在認知負荷、內(nèi)在認知負荷和相關(guān)認知負荷。內(nèi)在認知負荷與學(xué)習(xí)材料有關(guān)，取決于材料本身復(fù)雜程度與學(xué)習(xí)者的知識經(jīng)驗水平的交互。越復(fù)雜的內(nèi)容在信息加工時需要在工作記憶中處理的信息越多，所以對于同一個學(xué)習(xí)者而言越是復(fù)雜的材料產(chǎn)生的認知負荷越高。所以內(nèi)在認知負荷往往與學(xué)習(xí)材料的設(shè)計有關(guān)［9］。外在認知負荷主要是由教學(xué)設(shè)計和教學(xué)內(nèi)容的組織呈現(xiàn)方式引起的。相同的信息，采取不同的方式呈現(xiàn)，所占用的認知資源并不相同。也就是說同時使用文本和聲音來呈現(xiàn)學(xué)習(xí)內(nèi)容要比僅用文本或聲音占用學(xué)習(xí)者更多地認知資源，即產(chǎn)生更高的認知負荷。相關(guān)認知負荷是指信息加工過程中促進圖式構(gòu)建和圖式自動化過程相關(guān)的負荷。相關(guān)認知負荷對學(xué)習(xí)有促進作用，它越高則對學(xué)習(xí)越有利。在三種認知負荷中，外在認知負荷最具變化且可控性較強，所以外在認知負荷研究對教師教學(xué)活動具有較強的指導(dǎo)意義。

二、研究方法

本研究旨在探討聽力教學(xué)中輸入模態(tài)對學(xué)生的認知負荷和聽力成績的影響，具體而言，本研究希望回答以下問題：

1）在文本、文本+音頻和音頻三種輸入模態(tài)的條件下，學(xué)生的聽力成績有什么變化?

2）三種輸入方式下，學(xué)生的認知負荷有無顯著差異?

3）學(xué)生的認知負荷水平與其聽力成績之間有什么樣的關(guān)系?

研究人員邀請了90名大學(xué)英語一年級學(xué)生參加實驗。我們對這90名來自兩個平行的自然班的學(xué)生進行了編組，并對三個小組進行了一次前測來確保小組的學(xué)生成績總體相當。三個小組根據(jù)其接受的輸入模態(tài)形式分別被命名為文本組（TG）、文本音頻組（TAG）和音頻組（AG）。三個小組在不同的輸入模態(tài)條件下同時接受同一份英語聽力試題的測驗，試題選取自2010年大學(xué)英語四級聽力考試的對話部分，共選用了15道題：文本組實驗對象閱讀聽力音頻的文字材料并完成以文本方式呈現(xiàn)的5個問題（類似閱讀理解）;文本音頻組的實驗對象在聽音的同時也獲得了音頻內(nèi)容的錄音文本;音頻組的實驗對象接受聽力內(nèi)容和聽力問題的音頻輸入，聽完內(nèi)容后直接聽問題及其備選答案，然后選定答案選項并寫在紙上上交。測驗完成后所有的實驗對象都需要完成一個改編自 Wagner［10］的認知負荷量表，以衡量其在測試期間的認知負荷水平。量表包含5個選擇題，每個選擇題5個供選項，采用里克特五級量表賦值，從完全不同意到完全同意分別賦值為1—5，量表得分越高表明認知負荷越大。測試和調(diào)查表的數(shù)據(jù)收集完成后，作者使用SPSS16對數(shù)據(jù)進行了分析。

三、結(jié)果與討論

（一）輸入模態(tài)對聽力成績的影響

為了弄清不同輸入模態(tài)是否導(dǎo)致了聽力成績的顯著差異，作者對三組學(xué)生的聽力成績進行了單因素方差分析（one-way ANOVA），分析結(jié)果如下表所示。

表1 聽力成績方差分析結(jié)果

表1結(jié)果顯示文本組的實驗對象的得分（M=9．23，SD=1．607）高于音頻組（M=7．49，SD=1.742）和文本音頻組的得分（M=9．09，SD=1.707），音頻組得分最低。事后多重比較檢驗結(jié)果顯示三個小組的得分之間存在顯著性差異。如表所示文本組和音頻組的得分平均值差異概率為Sig．=．001，達到了顯著水平。而文本組和文本音頻組的平均分從數(shù)值上看比較接近，差異顯著性為Sig．=.955，遠大于．05的顯著水平，所以這兩組的得分沒有顯著性差異。音頻組和文本音頻組的均分差異概率為Sig．=.003，也小于．05的顯著值，達到了顯著水平。同時，95%置信區(qū)間結(jié)果顯示文本組與文本音頻組以及文本音頻組與音頻組差異的置信區(qū)間都不包括0，也說明它們之間的差異具有顯著性。而文本組和文本音頻組的差異值的置信區(qū)間包含了0，這也說明兩個平均數(shù)之間沒有顯著性差異。

（二）輸入模態(tài)對認知負荷的影響

為了弄清不同輸入模態(tài)是否會導(dǎo)致實驗對象認知負荷水平的差異，作者對三組學(xué)生的認知負荷量表結(jié)果進行了單因素方差分析（one-way ANOVA）， 分析結(jié)果如下表所示：

表2 認知負荷方差分析結(jié)果

表2結(jié)果顯示音頻組的認知負荷（M=7．41，SD=1．347）高于文本組（M=5．06，SD=1．463）和文本音頻組（M=5．87，SD=1．731），文本組的認知負荷最低。事后多重比較檢驗結(jié)果顯示三個小組的認知負荷水平存在顯著性差異。如表2所示文本組和音頻組的認知負荷平均值差異概率為Sig．=．000，達到了顯著水平。而文本組和文本音頻組的認知負荷水平從數(shù)值上看比較接近，差異顯著性為Sig．=．112，大于．05的顯著水平，所以這兩組的認知負荷水平?jīng)]有顯著差異。音頻組和文本音頻組的認知負荷差異概率為 Sig．=．002，也小于．05的顯著值，達到了顯著水平。同時，95%置信區(qū)間結(jié)果顯示文本組與音頻組、音頻組與文本音頻組認知負荷差異的置信區(qū)間都不包括0，也說明它們之間的差異具有顯著性。而文本組和文本音頻組的差異值的置信區(qū)間包含了0，這也說明兩個平均數(shù)之間沒有顯著性差異。

（三）認知負荷與聽力成績的關(guān)系

表1顯示接受三種輸入模態(tài)的三組實驗對象的聽力成績之間存在顯著差異，表2顯示三種輸入模態(tài)引起的認知負荷水平也顯著不同，因此我們可以認為不同的輸入模態(tài)會導(dǎo)致聽力成績的差異，也會引起不同水平的認知負荷。有鑒于此，弄清認知負荷與聽力成績的關(guān)系就顯得很有必要。下表顯示了對兩者相關(guān)關(guān)系的分析結(jié)果：

表3 相關(guān)分析結(jié)果

表3顯示了三個小組的認知負荷水平與聽力成績之間的關(guān)系。如表所示，文本組、音頻和文本音頻組的認知負荷水平與聽力成績在．01水平上均呈顯著負相關(guān)關(guān)系，相關(guān)系數(shù)分別達到 －．583＊＊、－．953＊＊和－．964＊＊。因此，統(tǒng)計分析結(jié)果顯示認知負荷水平越低的實驗對象在聽力測試中表現(xiàn)越好，而認知負荷越高則聽力得分越低。

（四）討論

以上數(shù)據(jù)結(jié)果顯示，不同的輸入模態(tài)對學(xué)生的聽力成績有著不同程度的影響。文本組得分最高，其次是文本加音頻組，音頻組得分最低，方差分析顯示音頻組與文本加音頻組存在顯著差異。這表明配合音頻的文本輸入有助于聽力理解，即多模態(tài)輸入有助于學(xué)生的聽力學(xué)習(xí)（Chang et al．，2011;Chen，2010;Wagner，2010）。根據(jù) Paivio（1986）的雙編碼理論和Baddeley［11］的工作記憶理論所提出的的雙通道假設(shè)認為學(xué)習(xí)者動用聽覺通道和視覺通道對材料進行認知加工，可以擴大工作記憶的信息處理容量并增強工作記憶效率，所以視聽雙通道方式輸入信息更具優(yōu)越性［12］。

聽力理解是一個復(fù)雜的心理過程，該過程會產(chǎn)生較高的認知負荷。表2的結(jié)果顯示，文本組學(xué)生的認知負荷水平最低，音頻輸入組的最高，而且文本組和音頻組之間、音頻組和文本加音頻組之間的認知負荷均有顯著性差異。這表明多種模態(tài)的配合使用會對實驗對象的認知負荷水平產(chǎn)生影響。但是我們也可以看到文本加音頻的輸入方式會比文本輸入產(chǎn)生更高的認知負荷。因此，在聽力教學(xué)過程中我們要注意模態(tài)的合理搭配使用，避免導(dǎo)致認知負荷過載的現(xiàn)象發(fā)生［13］。

分析結(jié)果顯示認知負荷和聽力成績之間呈顯著負相關(guān)關(guān)系，所以要提高聽力理解，就必須減少聽力過程中認知負荷的產(chǎn)生。通過上面對研究結(jié)果的討論得出，將聽力題目呈現(xiàn)為文本模式更有利于聽力理解，因此在聽力測試中應(yīng)將聽力題目呈現(xiàn)為文本模式，而不是文本加音頻模式。

四、結(jié)論及啟示

本研究采用定量分析的方法研究了不同輸入模態(tài)對受試的認知負荷以及聽力成績的影響。結(jié)果表明，在英語聽力中，輸入模態(tài)會對學(xué)生的聽力成績產(chǎn)生顯著影響，因為不同的輸入模態(tài)會引起不同水平的認知負荷，而認知負荷水平與聽力成績呈顯著負相關(guān)關(guān)系。由于測試對象樣本量和測試題的影響，本次實驗還存在一定的局限性，但還是給多模態(tài)聽力教學(xué)提供了一定的借鑒，即如何最優(yōu)化組合多重模態(tài)的搭配使用，使其能在增加信息輸入效率的同時又有效避免認知負荷過載，從而最大限度提高學(xué)生的聽力成績，這是英語教育工作者今后需要思考的問題。

［1］ Vandergrift，L．Listening to learn or learning to listen［J］．Annual Review of Applied Linguistics，2004（24）：3 －25．

［2］ Field，J．Listening in the language classroom［M］．Cambridge University Press，2008．

［3］ New London Group．A Pedagogy of Multiliteracies：Designing Social Futures［J］．Harvard Educational Review，1996，66（1）：60 －92．

［4］ Cole，D．R．＆ Pullen，D．L．Multiliteracies in motion：Current theory and practice［M］．London：Routledge，2010．

［5］ Mills，Kathy A．The Multiliteracies Classroom［M］．Bristol，UK：Multilingual Matters，2011．

［6］ Unsworth，L．Teaching multiliteracies across the curriculum：Changing contexts of text and image in classroom practice［M］．Buckingham，2001．

［7］ 顧曰國．多媒體、多模態(tài)學(xué)習(xí)剖析［J］．外語電化教學(xué)，2007（2）：3－12．

［8］ 朱永生．多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］．外語學(xué)刊，2007（5）：82－86．

［9］ 張雙華，朱建斌．認知負荷理論與英語聽力練習(xí)材料的設(shè)計［J］．忻州師范學(xué)院學(xué)報，2006（5）：106－108．

［10］ Wagner，E．Test-takers'interaction with an L2 video listening test［J］．System，2010（2）：280 － 291．

［11］ Baddeley，A．Working memory［J］．Science，1992（255）：556－559．

［12］ Mousavi，S．Y．，Low，R．＆ Sweller，J．Reducing cognitive load by mixing auditory and visual presentation modes［J］．Journal of Educational Psychology，1995，87（2）：319－334．

［13］ 季月，石玲．關(guān)于外語多媒體教學(xué)信息呈現(xiàn)中視聽干擾問題的探討［J］．外語電化教學(xué)，2013（2）：41－46．

［14］ Cooper，G．Research into Cognitive Load Theory and Instructional Design at UNSW［J］．Journal of Educational Psychology，1998，79（4）：347 －362．

［15］ Paivio，A．Mental Rrepresentations：A Dual Coding Approach［M］．Oxford：Oxford University Press，1986．

The effect of input modality on students'cognitive load and listening comprehension

ZHU Jian － bin，et al．
（Xinzhou Teachers'University，Xinzhou034000，China）

This study explores how the input modality can affect students'cognitive load and their listening comprehension．Altogether 90 college students participated in the experiment，and they are divided into three groups：text group which receive only text input and finish a test;audio group which receive only audio input and finish the same test;and text plus audio group who get both text and audio input in the experiment．Results from Cognitive Load Scale and listening comprehension test indicate that text group get the highest score in test and have the lowest level of cognitive load，audio group has the lowest test score but the highest cognitive load．Analysis of the correlation between cognitive load and listening comprehension reveals that there exists significant negative correlation between them．These results may be insightful for future listening teaching．

input modality;cognitive load;listening scores;negative correlation

H319．3

A

1009-8976（2014）02-0142-04

10．3969/j．issn．1009-8976．2014．02．044

2014－03－05

2013年忻州師范學(xué)院院級基金資助項目

朱建斌（1978—），男（漢），四川遂寧，碩士，講師主要研究系統(tǒng)功能語言學(xué)和語篇分析。