多模態(tài)教學(xué)對英語聽力理解影響的實(shí)驗(yàn)性研究

吳愛

摘要：為了驗(yàn)證多模態(tài)教學(xué)對英語聽力理解的影響，文章選取了三明學(xué)院國際學(xué)院學(xué)生為研究對象，在新的教學(xué)模式下，展開了為期一年的教學(xué)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，多模態(tài)聽力教學(xué)能有效提高學(xué)生的聽力水平;視覺模態(tài)比聽覺模態(tài)在提高學(xué)生聽力理解能力上效果更為明顯;且視覺模態(tài)對英語水平較低的學(xué)習(xí)者積極作用更加明顯。

關(guān)鍵詞：多模態(tài);聽力;視覺模態(tài);聽覺模態(tài)

一、引言

英語聽力作為一項(xiàng)基本的語言基礎(chǔ)課，也是一門傳統(tǒng)技能課，在整個(gè)英語的教學(xué)中占據(jù)著重要的地位。在國際交流越來越緊密的今天，很多學(xué)校都走上了國際化辦學(xué)的道路，國內(nèi)外學(xué)習(xí)相結(jié)合的國際項(xiàng)目的展開也要求學(xué)生具備一定的聽說能力。因此，強(qiáng)化學(xué)生的聽說能力，培養(yǎng)學(xué)生的交際技能，讓他們在修完國內(nèi)的學(xué)分之后，能夠順利的進(jìn)入到國外的學(xué)習(xí)中。不但聽得懂，學(xué)得會(huì)，而且能夠融入國外的環(huán)境，這也是培養(yǎng)優(yōu)秀國際化人才的時(shí)代需要。由此，更應(yīng)該把聽說能力放在英語教學(xué)中的首要地位。

隨著現(xiàn)代科技的發(fā)展，傳統(tǒng)的聽力教學(xué)模式逐漸被計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)所取代。錄音機(jī)、磁帶等教學(xué)工具已經(jīng)轉(zhuǎn)化為音頻、視頻。計(jì)算機(jī)、手機(jī)已經(jīng)在教學(xué)中發(fā)揮了一定的作用。然而因?yàn)檎n堂時(shí)間有限，教學(xué)任務(wù)繁重，學(xué)習(xí)主動(dòng)學(xué)習(xí)能力不強(qiáng)，老師放音，學(xué)生做練習(xí)，老師講解，學(xué)生被動(dòng)學(xué)習(xí)仍然是現(xiàn)今英語聽力教學(xué)的主導(dǎo)模式。語言知識的灌輸，對于聽力能力的培養(yǎng)，效果不佳。

在真實(shí)的交際過程中，大部分的語言的發(fā)生均處在多模態(tài)環(huán)境中，它伴隨了說話人的表情、動(dòng)作以及所處語境。所以多模態(tài)教學(xué)的手段，視頻，情景對話等其他多模態(tài)信息的加人對學(xué)生聽力教學(xué)非常有必要，與一般聽力課相比具有更強(qiáng)的實(shí)踐性和時(shí)代性。然而多模態(tài)聽力教學(xué)是否對學(xué)生有積極影響;不同模態(tài)信息對學(xué)生聽力理解的影響是否相同;不同模態(tài)信息對不同英語水平的學(xué)生聽力理解的影響是否相同，所做的研究較少，也需要具體的實(shí)證分析。本研究以三明學(xué)院國際學(xué)院體育教育專業(yè)學(xué)生為研究對象，對多模態(tài)教學(xué)手段對聽力理解的影響做出實(shí)驗(yàn)性研究，希望能為國際學(xué)院聽力教學(xué)改革提供借鑒意義。

二、多模態(tài)理論基礎(chǔ)與模型建構(gòu)

（一）多模態(tài)理論基礎(chǔ)

Halliday（1985）認(rèn)為在交際過程中，人們意義構(gòu)建是用各種各樣的符號資源來完成的，各種不同的符號資源就構(gòu)成了多模態(tài)（multimodality）[1]。Levine& Scollon（2004）認(rèn)為多模態(tài)指交際時(shí)所采用的多種模式，如言語、色彩、味道、圖像等[2]。顧曰國（2007）認(rèn)為模態(tài)是指人通過感官（視覺、聽覺、嗅覺）和外界（人、動(dòng)物、物品）的互動(dòng)方式[3]。單模態(tài)指單個(gè)感官與外界的互動(dòng)，多模態(tài)指多個(gè)感官與外界的互動(dòng)。在多模態(tài)教學(xué)中，利用現(xiàn)代化的媒介，把多種模態(tài)引入教學(xué)，激發(fā)了學(xué)生學(xué)習(xí)語言的興趣，實(shí)現(xiàn)教與學(xué)的互動(dòng)，達(dá)到了外語教學(xué)中注重視聽說寫練相結(jié)合的一大特點(diǎn)。

（二）多模態(tài)聽力學(xué)習(xí)模型的建構(gòu)

隨著教學(xué)改革的不斷深化，教材建設(shè)也與時(shí)俱進(jìn)，不斷適合教學(xué)發(fā)展的需要。隨著磁帶時(shí)代的終結(jié)，現(xiàn)在高校使用的各種英語聽力教材均配有大容量的CD，內(nèi)包含音頻、視頻、圖片甚至整個(gè)教學(xué)課件。豐富的多模態(tài)資源已經(jīng)觸手可及，然而由于課堂時(shí)間有限，教學(xué)任務(wù)繁重，學(xué)生自主學(xué)習(xí)意識不強(qiáng)，教師上課的時(shí)候僅僅使用計(jì)算機(jī)播放音頻或者視頻代替以前磁帶的播放，學(xué)生根據(jù)聽覺模態(tài)或者視覺模態(tài)完成聽力練習(xí)，教師矯正答案或者再次播放聽力資源完成教學(xué)任務(wù)。有多媒體參與下的新型教學(xué)模式并不能跳脫以前傳統(tǒng)教學(xué)模式的侄桔，多模態(tài)的教學(xué)模式?jīng)]有調(diào)動(dòng)起來，聽力的提高收效甚微。

多模態(tài)環(huán)境下的英語聽力課堂建設(shè)應(yīng)該充分利用電腦多媒體資源，強(qiáng)調(diào)語言、圖片、聲音與外界信息的資源互換與信息建構(gòu);并充分調(diào)動(dòng)各個(gè)模態(tài)之間的協(xié)同和配合，如視覺與聽覺，聽覺與語言，語言與動(dòng)作。根據(jù)張德祿的多模態(tài)教學(xué)設(shè)計(jì)，我們建構(gòu)了如下的英語聽力教學(xué)模式：

該教學(xué)模式分為聽前、聽中和聽后三個(gè)階段。聽前分為課前與聽力資料播放前，在課前可以通過各種網(wǎng)絡(luò)媒體如QQ、微信、郵箱布置主題相關(guān)內(nèi)容，也可以通過作業(yè)的形式讓學(xué)生了解相關(guān)背景知識，這樣聽前和聽后形成一個(gè)正態(tài)循環(huán)。作業(yè)的點(diǎn)評與主題的描述也可以在這個(gè)大主題下交叉融合，協(xié)同發(fā)展。另外，學(xué)生分組的時(shí)候要注意小組成員水平的等級化，即每個(gè)小組都分配有語言水平強(qiáng)、中、弱的成員，讓每個(gè)成員都能平等的參與表現(xiàn)。聽中聽力資源的重復(fù)播放和講解環(huán)節(jié)應(yīng)當(dāng)就視頻或者音頻的難易程度進(jìn)行省略。聽后分為聽力資制播放結(jié)束后和課后，在聽完聽力材料后，教師組織小組活動(dòng)驗(yàn)收學(xué)生學(xué)習(xí)效果，培養(yǎng)學(xué)生語言輸出能力，表現(xiàn)力;課后作業(yè)，借助于現(xiàn)代媒體技術(shù)，使用微信群功能，讓學(xué)生把聽力作業(yè)轉(zhuǎn)化為口語復(fù)述提交到群里，實(shí)現(xiàn)模態(tài)之間的轉(zhuǎn)化，加深工作記憶。

三、研究設(shè)計(jì)

（一）研究問題

本研究旨在討論多模態(tài)英語聽力教學(xué)環(huán)境下的以下三個(gè)問題：（1）多模態(tài)英語教學(xué)是否有助于學(xué)生的英語聽力水平的提高;（2）不同的模態(tài)信息對學(xué)生聽力理解的影響是否相同;（3）同一模態(tài)信息對不同英語水平的學(xué)生聽力理解的影響是否相同。

（二）研究對象

本實(shí)驗(yàn)以三明學(xué)院國際學(xué)院體育教育專業(yè)2015級1、2班的聽力教學(xué)為例，其中1班為實(shí)驗(yàn)組（22人），采用多模態(tài)聽力教學(xué)模式，2班為控制組（23人），采用常規(guī)聽力教學(xué)模式。兩個(gè)班性別比例基本一致。單由于專業(yè)特殊性，雖然對英語需求度較高，但英語整體水平不高。實(shí)驗(yàn)為期1年，實(shí)驗(yàn)前，對兩組同學(xué)的聽力水平進(jìn)行了測試，檢測結(jié)果表明兩個(gè)班學(xué)生成績無顯著差異。

（三）研究過程

按照實(shí)驗(yàn)預(yù)先設(shè)定，在實(shí)驗(yàn)活動(dòng)開始之前，我們把實(shí)驗(yàn)組和對照組成員進(jìn)行分組，每組均有5-6名成員，均包括不同水平英語學(xué)習(xí)者。在實(shí)驗(yàn)過程中，實(shí)驗(yàn)組按照預(yù)先構(gòu)建的多模態(tài)聽力學(xué)習(xí)模型進(jìn)行學(xué)習(xí)（具體見表1），對照組按照常規(guī)的聽力教學(xué)模式學(xué)習(xí)，即老師播放音頻或者視頻——學(xué)生作練習(xí)——老師對答案——老師針對性再次播放或者習(xí)題講解。由同一名老師擔(dān)任此次試驗(yàn)的兩個(gè)組的教學(xué)授課，所用教材均為《新視野大學(xué)英語視聽說教程》（第二版）。實(shí)驗(yàn)為期1年，從2016年9月到2017年9月。

實(shí)驗(yàn)后，制定了與實(shí)驗(yàn)前難度水平一致的相關(guān)聽力材料測驗(yàn)學(xué)習(xí)成果。由于國際學(xué)院的學(xué)生以后要通過雅思進(jìn)入國外的學(xué)習(xí)，所以本次測試的聽力材料的內(nèi)容與題型也以雅思聽力為基礎(chǔ)。分別選取新聞報(bào)道為題材的音頻材料3篇，視頻材料3篇;文化背景為題材的音頻材料3篇，視頻材料3篇;學(xué)術(shù)背景為題材的音頻材料3篇，視頻材料3篇。聽力題型分為選擇題、填空題、匹配題，主要考察細(xì)節(jié)、詞類轉(zhuǎn)換、同義詞、語義推理和主旨信息。

為了了解視頻信息對學(xué)生聽力理解產(chǎn)生的作用，在每篇視頻聽力試卷下方預(yù)留3分鐘時(shí)間讓學(xué)生勾選李克特量表（Liken scale）。量表設(shè)計(jì)為5個(gè)等級：1非常有幫助作用，2比較有幫助作用，3既無干擾也無幫助作用，4比較有干擾作用，5代表非常有干擾作用。所有數(shù)據(jù)均采用 SPSS19.0進(jìn)行分析。

（四）結(jié)果與討論

1.多模態(tài)英語教學(xué)是否有助于提高學(xué)生的英語聽力水平

經(jīng)過為期1年的教學(xué)活動(dòng)，把實(shí)驗(yàn)組和對照組在實(shí)驗(yàn)前后的測驗(yàn)成績輸入SPSS19.0后，得到以下數(shù)據(jù)，實(shí)驗(yàn)組在實(shí)驗(yàn)前后聽力水平均值由69.23保留小數(shù)點(diǎn)后兩位）提高到了75.73;而對照組在實(shí)驗(yàn)前后的聽力水平均值僅由72.68提高到了74.27?？梢姡瑢?shí)驗(yàn)組的成績提高較為顯著（見表2）。

同樣，在表3的獨(dú)立樣本檢驗(yàn)中，實(shí)驗(yàn)組sig.值為0.569>0.05，說明實(shí)驗(yàn)前方差相等，而試驗(yàn)sig.（雙側(cè)）為0.048<0.05，且差分的95%置信區(qū)間從-12.95——-0.54，中間不包含0，說明實(shí)驗(yàn)結(jié)果有顯著性差異，即通過實(shí)驗(yàn)教學(xué)活動(dòng)，學(xué)生聽力水平提高顯著。而對照組sig.值為0.877>0.05，說明實(shí)驗(yàn)前方差相等，而試驗(yàn)Sig.（雙側(cè)）為0.638>0.05，且差分的95%置信區(qū)間從-8.36——-5.18，中間包含。，說明實(shí)驗(yàn)結(jié)果無顯著性差異，即一年的常規(guī)英語聽力教學(xué)活動(dòng)，學(xué)生聽力水平提高不顯著。

2.不同的模態(tài)信息對學(xué)生聽力理解的影響是否相同

在考察視覺模態(tài)和聽覺模態(tài)對學(xué)生聽力理解的影響時(shí)，根據(jù)學(xué)生所答對的視頻材料和音頻材料題目的成績來判定學(xué)生對該聽力的理解能力。其中填空題型的判定是只要學(xué)生寫對和聽力材料內(nèi)容相關(guān)的語義內(nèi)容，不管語法結(jié)構(gòu)，拼寫是否正確，我們均認(rèn)為學(xué)生能夠理解此篇聽力材料，可以得分。視頻題目和音頻題目均占試卷總分的50分。在聽力材料的語義選取和劃分上，我們選定2位有十年以上英語教學(xué)經(jīng)驗(yàn)的老師和一名外教完成，并由承擔(dān)實(shí)驗(yàn)教學(xué)工作的老師完成試卷的批改工作。

按照實(shí)驗(yàn)結(jié)果，我們把實(shí)驗(yàn)班和對照班的視頻和音頻的得分情況輸入SPSS 19.0，得到以下數(shù)據(jù)分析。兩個(gè)班的視頻成績均高出音頻成績（見表4），實(shí)驗(yàn)班和對照班Sig.（雙側(cè)）即P值均為0.0000<0.01（見表5），說明在兩個(gè)班的視頻和音頻輸入差異均非常顯著。

根據(jù)對視頻聽力試卷下方的李克特量表的統(tǒng)計(jì)，認(rèn)為視頻材料對聽力理解非常有干擾作用的人占1%，認(rèn)為比較有干擾作的人用占7%，認(rèn)為既無干擾也無幫助作用的人占17%，認(rèn)為比較有幫助作用的人占60%，認(rèn)為非常有幫助作用的人占5%。與數(shù)據(jù)分析結(jié)果表現(xiàn)一致，視覺模態(tài)信息對于學(xué)生聽力理解水平的提高非常有幫助。

3.同一模態(tài)信息對不同英語水平的學(xué)生聽力理解的影響是否相同

為了了解對同一模態(tài)信息對不同英語水平的學(xué)生的影響，我們把實(shí)驗(yàn)組學(xué)生根據(jù)他們的實(shí)驗(yàn)后成績分成兩組。以75分為分段標(biāo)準(zhǔn)，即75分以上為高分組，75分以下（包括75分）為低分組。分別把他們的視頻和音頻成績輸入SPSS19.0，得到以下數(shù)據(jù)分析。低分組音頻均值低于視頻均值12.33分，而高分組音頻均值僅低于視頻均值4.2分（見表6），同樣在對比T檢驗(yàn)中，低分組視頻和音頻之間的P值為0.000，而高分組視頻和音頻之間的P值為P值均為0.001，可見，視頻與音頻在低分組之間的差異更加顯著（見表7），即表明視頻模態(tài)對低分者的影響較高分者更為顯著。

在根據(jù)實(shí)驗(yàn)組高低分段學(xué)生的李克特量表，低分組12人中，認(rèn)為視頻材料對聽力理解非常有干擾作用的人為。人，認(rèn)為比較有干擾作的人為1人，認(rèn)為既無干擾也無幫助作用的人占3人，認(rèn)為比較有幫助作用的人有5人，認(rèn)為非常有幫助作用的人占3人。

（五）啟示

1.加強(qiáng)視覺模態(tài)對工作記憶的有效影響

通過實(shí)驗(yàn)表明，當(dāng)視覺與聽覺模態(tài)共同協(xié)作時(shí)，學(xué)生聽力水平提高明顯，說明視聽模態(tài)能有效延長工作記憶時(shí)間，擴(kuò)大工作記憶容量。而且視覺模態(tài)對于低分組的積極影響要高于高分組。這是由于視頻圖像較音頻信息更容易激活學(xué)習(xí)者對已知背景信息的認(rèn)知反應(yīng)，創(chuàng)造有效關(guān)聯(lián)，并和情景語境積極互動(dòng)，加速對聽力材料的解碼。而相對于高分者而言，圖像信息的輸入有時(shí)候會(huì)分散學(xué)生的注意力，把對聽覺模態(tài)的專注度分散到聽和看兩個(gè)方面，從而干擾信息處理的速度，特別是當(dāng)視頻信息和音頻信息不對應(yīng)時(shí)，負(fù)作用更加明顯。因此，多模態(tài)聽力教學(xué)要增強(qiáng)各模態(tài)之間的互補(bǔ)，提升學(xué)生對信息的有效加工。

2.培養(yǎng)學(xué)生的跨文化意識

根據(jù)實(shí)驗(yàn)表明，學(xué)生在遇到有關(guān)西方文化以及人名地名，尤其是發(fā)言帶有口音的音頻時(shí)，所需要的信息解碼時(shí)間較長且難度較大，而且母語負(fù)遷移對語音、詞匯、語法層面的影響也影響學(xué)生對聽力材料的加工與輸出[4]。教師在教學(xué)過程中要拓展學(xué)生的跨文化意識，在練習(xí)聽說技能的同時(shí)，還需掌握詞匯的語言使用環(huán)境，背景，以及文化內(nèi)涵;了解東西方習(xí)俗上的差異，增強(qiáng)不同文化的認(rèn)同感和包容性，培養(yǎng)跨文化交流能力。以閱讀帶動(dòng)多元文化的了解與吸收，以豐富的實(shí)踐，如會(huì)話、看電影、聽音樂促進(jìn)對英語口音的識讀能力。當(dāng)聽力信息與學(xué)生現(xiàn)有的知識結(jié)構(gòu)、愛好、能力相一致時(shí)，對音頻信息的解碼輸出就會(huì)變得快速容易。

3.增強(qiáng)學(xué)生的自主學(xué)習(xí)能力

多模態(tài)聽力教學(xué)要區(qū)別于現(xiàn)在占主導(dǎo)地位的視聽說模式，真正實(shí)現(xiàn)學(xué)生的主體地位，培養(yǎng)自主學(xué)習(xí)能力。在課程設(shè)計(jì)中，加入了聽前的主題搜索與聽后的課堂活動(dòng)環(huán)節(jié)。在主題搜索中，學(xué)生搜集和主題相關(guān)的話題，累積相關(guān)背景和詞匯;在聽后的課堂活動(dòng)環(huán)節(jié)，學(xué)生可以根據(jù)課堂內(nèi)容自行設(shè)計(jì)游戲環(huán)節(jié)，例如快問快答、詞匯搶答、表演、配音等充滿想象力創(chuàng)造力的活動(dòng)，調(diào)動(dòng)多個(gè)模態(tài)配合工作記憶的加強(qiáng)，既增加學(xué)生的學(xué)習(xí)趣味、鞏固所學(xué)知識，而且學(xué)生的意義協(xié)商和感情交流也得到了加強(qiáng)[5]。課后作業(yè)的借助新媒體技術(shù)，要求聽完音頻作業(yè)聽完之后口頭復(fù)述到微信群里提交，把聽覺模態(tài)轉(zhuǎn)換為語言模態(tài)，充分調(diào)動(dòng)感官系統(tǒng)與外部環(huán)境的互動(dòng)，各模態(tài)直接的協(xié)同。經(jīng)過實(shí)驗(yàn)表明，實(shí)驗(yàn)班學(xué)習(xí)動(dòng)力更強(qiáng)，且聽說效果的提高更為明顯。

4.提升教師的主導(dǎo)教學(xué)能力

多模態(tài)聽力教學(xué)對教師的主導(dǎo)作用提出了新的挑戰(zhàn)。計(jì)算機(jī)，手機(jī)等新的媒介的使用，多種模態(tài)的輸入，不但沒有弱化教師的作用，相反要求教師能夠協(xié)同各種模態(tài)信息，使其互相補(bǔ)充，強(qiáng)化，促進(jìn)教學(xué)質(zhì)量的進(jìn)步和學(xué)生聽力水平的提高。在多模態(tài)聽力教學(xué)的過程中，各種信息的輸入有時(shí)候會(huì)對學(xué)生的信息加工，解碼和輸出產(chǎn)生干擾作用。雖然視頻信息是音頻信息的有益補(bǔ)充，但是在視頻與音頻不符，或者音頻與其它模態(tài)信息不符時(shí)，就會(huì)造成負(fù)影響。教師的作用就是要教學(xué)生如何通過各種模態(tài)獲取信息以及進(jìn)行信息的加工，增加工作記憶與信息處理能力，這是挑戰(zhàn)之一;其次，多模態(tài)聽力教學(xué)更加側(cè)重各種模態(tài)信息之間的轉(zhuǎn)化，例如把視覺、聽覺模態(tài)轉(zhuǎn)化為語言、動(dòng)作。這反應(yīng)在教師對課堂活動(dòng)以及課后作業(yè)的點(diǎn)評與總結(jié)上。在課堂活動(dòng)結(jié)束之后，教師必須對學(xué)生的發(fā)言或者表演或者其他表現(xiàn)形式給予語言層面和思想層面的點(diǎn)評，提出獨(dú)到見解。這就要求教師必須縱深了解相關(guān)主題，當(dāng)前流行話題、以及實(shí)時(shí)熱點(diǎn)，不斷提高自身素質(zhì)與能力。

四、總結(jié)

本研究結(jié)果表明，多模態(tài)聽力教學(xué)能有效提高學(xué)生的聽力水平;視覺模態(tài)較聽覺模態(tài)對學(xué)生的聽力理解的積極作用更為明顯;且視覺模態(tài)對低分者聽力水平的提高輔助作用更大。

本研究的局限在于參與實(shí)驗(yàn)的學(xué)生人數(shù)較少，而且屬于體育教育專業(yè)，總體英語水平相對較低;對于不同模態(tài)信息的對比尚未涉及到除視覺和聽覺的其他方面。對于以后的研究可以針對英語水平更好的學(xué)生展開，并加深各模態(tài)之間深層次的對比，并把多模態(tài)的教學(xué)的影響擴(kuò)大到閱讀和寫作等其他方面。

參考文獻(xiàn)：

[1]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Edward Arnold，1985.

[2]Levine，Philip&Ron Scollon.Discourse and Technology：Multimodal Discourse Analysis [M].Washington DC：GeorgetownUniversity Press，2004.

[3]顧曰國，多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)，2007，（2）：：3-12.

[4]胡永近，張德祿.英語專業(yè)聽力教學(xué)中多模態(tài)功能的實(shí)驗(yàn)研究[J].外語界，2013，（5）：20-25.

[5]Gonzaley-loret，M.designning task-based Call to promoteinteraction：En busca de Esmeraldas[J].language learning&Technology，2003，（7）：98-102.