多媒體環(huán)境下的英語專業(yè)聽力教學(xué)
——多模態(tài)組合的效能研究

胡永近

多媒體環(huán)境下的英語專業(yè)聽力教學(xué)
——多模態(tài)組合的效能研究

胡永近

通過16周的實(shí)驗(yàn)研究，調(diào)查多媒體環(huán)境下不同模態(tài)組合對(duì)學(xué)生聽力能力的影響，探討多模態(tài)優(yōu)化組合的制約因素。結(jié)果表明：合理利用多模態(tài)組合可以顯著提高學(xué)生聽力能力；多模態(tài)組合的選擇受情景語境的支配；視覺模態(tài)和聽覺模態(tài)之間形成互補(bǔ)關(guān)系時(shí)，才能發(fā)揮正效應(yīng)；英語字幕比漢語字幕更有利于促進(jìn)學(xué)生對(duì)聽力語料的理解，因?yàn)楹笳邥?huì)引起更多的詞匯干擾。

多模態(tài)；英語聽力；多模態(tài)功能；效能

一、多模態(tài)環(huán)境下英語聽力教學(xué)研究

多模態(tài)話語指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象［1］。在教學(xué)中合理運(yùn)用多模態(tài)組合，可以使學(xué)生在學(xué)習(xí)過程中調(diào)動(dòng)各種感官參與學(xué)習(xí)，在發(fā)揮正效應(yīng)條件下，有利于信息的加工和記憶，產(chǎn)生良好的學(xué)習(xí)效果。然而多模態(tài)學(xué)習(xí)也是一把雙刃劍，處理不好會(huì)分散學(xué)習(xí)者的注意力，發(fā)生對(duì)知識(shí)點(diǎn)記憶的干擾，導(dǎo)致瞬間“熱鬧”而事后“空空”之感［2］。

國內(nèi)外學(xué)者對(duì)多模態(tài)在聽力教學(xué)中的應(yīng)用進(jìn)行了頗有建樹的研究。Baltova［3］針對(duì)加拿大非法語專業(yè)學(xué)生的實(shí)驗(yàn)表明：視頻中的二語字幕最有利于幫助學(xué)生回憶起聽力資料的單詞和內(nèi)容。Guichon和Mclornan［4］通過實(shí)驗(yàn)證明了多模態(tài)有助于學(xué)生對(duì)聽力資料的理解而且二語字幕比母語字幕對(duì)學(xué)生聽力學(xué)習(xí)更有利。Lambert［5］通過實(shí)驗(yàn)發(fā)現(xiàn)使用母語配音——二語字幕的被試組對(duì)聽力材料的理解得分最高，使用二語配音——二語字幕的被試組次之，二語配音——母語字幕模式無助于被試的聽力理解，被試的成績(jī)和二語配音——無字幕、無配音——二語字幕無統(tǒng)計(jì)性顯著差異。龍宇飛和趙璞［6］通過實(shí)驗(yàn)研究了元認(rèn)知策略與多模態(tài)交互作用對(duì)聽力能力的影響。

本研究選擇母語為漢語、二語為英語的中國英語專業(yè)學(xué)生為研究對(duì)象，嘗試探討多模態(tài)對(duì)聽力水平的影響以及模態(tài)組合的利弊，目的在于探討如何優(yōu)化多模態(tài)組合來促進(jìn)英語聽力教學(xué)。

二、研究方法

（一）研究設(shè)計(jì)

本項(xiàng)研究中，無關(guān)樣本自變量是聽力材料的播放形式，包括：音頻、音頻和視頻無字幕、音頻和視頻配漢語字幕以及音頻和視頻配英語字幕四種形式；相關(guān)樣本自變量是學(xué)生所掌握的多模態(tài)話語分析理論及其技巧的能力。主要因變量是被試在聽力資料播放完畢后根據(jù)筆記完成的英語概要中所包含的語義單位。

（二）研究被試

研究被試為作者所在學(xué)校英語專業(yè)大三4個(gè)平行班的學(xué)生。每班隨機(jī)抽取30位學(xué)生，以班級(jí)為單位分組，對(duì)四組學(xué)生大二下學(xué)期期中考試和期末考試成績(jī)進(jìn)行單因素方差分析，結(jié)果顯示四組成績(jī)沒有顯著性差異（期中：F=0.036，P= 0.991＞0.05；期末：F=0.080，P=0.971＞0.05）。教學(xué)過程中對(duì)每組受試者采取不同方式播放聽力材料：第一組為音頻；第二組為音頻和視頻；第三組為音頻、視頻配漢語字幕；第四組為音頻、視頻配英語字幕。

（三）研究語料、工具與步驟

四位擁有五年之上英語專業(yè)聽力教學(xué)經(jīng)驗(yàn)的中國教師和兩名美國外教共同制定研究語料，共有16篇長(zhǎng)度為4-6分鐘不等的VOA新聞，內(nèi)容涉及到政治、經(jīng)濟(jì)、文化、科技和外交等不同題材，既保證了聽力內(nèi)容的豐富性，又涉及到英語學(xué)習(xí)的各個(gè)方面。所有視頻根據(jù)研究要求都經(jīng)過技術(shù)處理。研究工具為對(duì)學(xué)生英語概要中語義單位的統(tǒng)計(jì)分析以及就學(xué)生具體表現(xiàn)所做的個(gè)別訪談。由于學(xué)生接受多模態(tài)理論并掌握多模態(tài)聽力教學(xué)下的學(xué)習(xí)方式需要一個(gè)適應(yīng)過程，研究每隔一個(gè)月選擇一次上課的學(xué)生概要進(jìn)行對(duì)比分析，分別在第四周、第八周、第十二周、第十六周進(jìn)行測(cè)試。

測(cè)試在不同的四個(gè)多媒體教室進(jìn)行。調(diào)查過程中，教師以不同方式向四組被試播放聽力材料。所有測(cè)試都在同一時(shí)間進(jìn)行且每組嚴(yán)格遵守測(cè)試步驟：教師向?qū)W生解釋測(cè)試步驟、目標(biāo)和注意事項(xiàng)；向?qū)W生播放聽力材料，學(xué)生可以用漢語或英語做筆記；播放完畢后，留五分鐘的暫停時(shí)間，學(xué)生獨(dú)立檢查自己筆記；第二次播放聽力材料，學(xué)生做筆記并進(jìn)行檢查；播放完成，留20分鐘的暫停時(shí)間，學(xué)生用英語寫出盡可能完整的概要。

研究小組中的六位老師對(duì)每篇原文材料多次討論，確定語義單位。所有語義單位對(duì)于原文的理解不可或缺，包括新聞主題、時(shí)間、地點(diǎn)、人物、事件等基本信息。本項(xiàng)研究選擇分析學(xué)生對(duì)聽力材料的概要，這種方法更利于研究學(xué)生對(duì)聽力資料的理解程度。

（四）數(shù)據(jù)收集和分析

研究數(shù)據(jù)根據(jù)計(jì)算學(xué)生所寫的4次英語概要所包含的語義單位數(shù)量而得。如果學(xué)生概要只是寫出和語義單位有關(guān)的單詞、短語或者句子，即使語法不準(zhǔn)確，也被定義為已經(jīng)理解該句信息，列入統(tǒng)計(jì)范疇。鑒于本校平時(shí)考試的英語短文聽寫為30分，研究組決定每次統(tǒng)計(jì)成績(jī)按滿分30分計(jì)算。采用單因素方差分析和Post Hoc事后多重檢驗(yàn)方法，借助SPSS16.0對(duì)所有數(shù)據(jù)進(jìn)行分析和處理，并結(jié)合對(duì)實(shí)驗(yàn)組學(xué)生的訪談結(jié)果進(jìn)行討論。統(tǒng)計(jì)分析的顯著性水平設(shè)定為а=0.05。

三、分析與討論

（一）多模態(tài)方式對(duì)聽力能力的影響

對(duì)一學(xué)期中的4次測(cè)試結(jié)果采用單因素方差分析對(duì)數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)合理利用多模態(tài)組合可以有效促進(jìn)學(xué)生聽力能力的提高。具體結(jié)果如下：

第一次的測(cè)試結(jié)果拒絕方差齊性，表明此次統(tǒng)計(jì)時(shí)各模式對(duì)聽力水平的影響不具備顯著性。說明第一個(gè)月的聽力教學(xué)中，學(xué)生對(duì)多模態(tài)聽力技巧掌握不夠，還無法充分發(fā)揮多模態(tài)優(yōu)勢(shì)來提高聽力能力。而第二個(gè)月的檢測(cè)就顯示出多模態(tài)的優(yōu)勢(shì)。

表1 第二次測(cè)試的單因素方差分析

表1結(jié)果表明，多模態(tài)環(huán)境下聽力資料的播放方式對(duì)學(xué)生聽力水平的影響存在顯著性差異（F =26.055，P=0.000＜0.05）。整體來看，多模態(tài)中音頻和視頻內(nèi)容配上英語字幕最能促進(jìn)學(xué)生對(duì)聽力內(nèi)容的理解；音頻和視頻內(nèi)容配上漢語字幕次之；音頻和視頻無字幕再次之；單獨(dú)的音頻作用最小。為了檢驗(yàn)具體差異，用Post Hoc進(jìn)行事后多重檢驗(yàn)，結(jié)果見表2：

表2 第二次測(cè)試的Post Hoc事后多重分析

表2顯示了四個(gè)被試組之間的差異：實(shí)驗(yàn)組3分值顯著高于其他各組（P=0.000＜0.05）；實(shí)驗(yàn)組2和實(shí)驗(yàn)組1差異并不明顯（P=0.337＞0.05），和對(duì)照組具有很大差異（P=0.034＜0. 05）；實(shí)驗(yàn)組1和對(duì)照組之間差異不明顯（P=0. 239＞0.05）。進(jìn)一步說明了沒有字幕條件下，學(xué)生還不能充分利用視覺模態(tài)，且不能充分利用漢語字幕來提高聽力訓(xùn)練。經(jīng)過另一個(gè)月的訓(xùn)練，學(xué)生對(duì)于多模態(tài)理論與技巧掌握更加熟練，多模態(tài)組合對(duì)聽力的影響更加突出：

表3 第三次測(cè)試的單因素方差分析

表3數(shù)據(jù)表明各種方式的影響存在顯著性差異（F=169.758，P=0.000＜0.05）。為了檢驗(yàn)具體差異，用Post Hoc進(jìn)行事后多重檢驗(yàn)，結(jié)果見表4。

表4 第三次測(cè)試的Post Hoc事后多重分析

表4表明各組之間存在顯著性差異（P=0.000＜0.05），從而說明學(xué)生在經(jīng)過一段時(shí)間的訓(xùn)練之后，掌握了多模態(tài)的優(yōu)勢(shì)，可以利用多模態(tài)理論與技巧來提高聽力能力，而合理的多模態(tài)組合可以顯著提高聽力教學(xué)效果。第四次的檢測(cè)結(jié)果也證明了這一結(jié)論：

表5 第四次測(cè)試的單因素方差分析

Post Hoc事后多重檢驗(yàn)結(jié)果見表6.

表6 第四次測(cè)試的Post Hoc事后多重分析

（二）多模態(tài)優(yōu)化組合的影響因素

首先，同一多模態(tài)組合中，不同話語范圍的語料對(duì)學(xué)生聽力能力影響不同。實(shí)際研究中前六次檢測(cè)成績(jī)呈現(xiàn)反復(fù)狀態(tài)，例如第四次選擇的語料為一段關(guān)于美國西部歷史的VOA新聞，第五次檢測(cè)時(shí)選擇的語料為VOA報(bào)導(dǎo)的美軍在阿富汗國內(nèi)的軍事行動(dòng)。根據(jù)統(tǒng)計(jì)，第五次學(xué)生分?jǐn)?shù)普遍低于第四次。根據(jù)對(duì)學(xué)生的單獨(dú)訪談，發(fā)現(xiàn)外語專業(yè)學(xué)生中女生所占比例過高，且不太關(guān)心政治問題，對(duì)阿富汗戰(zhàn)爭(zhēng)不了解。而對(duì)美國西部歷史卻非常熟悉，接觸過大量的相關(guān)資料，很容易理解聽力資料內(nèi)容。另外通過前六次統(tǒng)計(jì)和學(xué)生訪談，還發(fā)現(xiàn)學(xué)生對(duì)科技語料的聽力理解最差，其次是政治經(jīng)濟(jì)和軍事，最容易的是歐美文化和文學(xué)。

其次，教師是制約多模態(tài)聽力教學(xué)效果的重要因素。多模態(tài)教學(xué)環(huán)境下，教師需要根據(jù)課程內(nèi)容和學(xué)生實(shí)際選擇合適的模態(tài)組合，把多模態(tài)理論與方法貫徹到實(shí)際教學(xué)中，培養(yǎng)學(xué)生利用多模態(tài)接收、加工并輸出有效信息的能力。學(xué)生訪談?dòng)涗涳@示，聽力教學(xué)中教師適當(dāng)?shù)恼{(diào)控和引導(dǎo)，會(huì)幫助學(xué)生有效利用多模態(tài)渠道理解聽力資料內(nèi)容。

再次，學(xué)生是多模態(tài)聽力教學(xué)的關(guān)鍵因素。學(xué)生的學(xué)習(xí)目標(biāo)、學(xué)習(xí)能力和學(xué)習(xí)動(dòng)力決定了學(xué)生是否能夠掌握多模態(tài)聽力技巧，以及是否能充分發(fā)揮多模態(tài)優(yōu)勢(shì)。此項(xiàng)研究主要分析多模態(tài)對(duì)學(xué)生整體聽力能力的影響，但是針對(duì)學(xué)生單獨(dú)因素的分析表明，如果學(xué)生不能掌握多模態(tài)話語分析理論及聽力技巧，對(duì)小組能力促進(jìn)效果最好的多模態(tài)組合不能確保對(duì)每個(gè)學(xué)生都是最佳的。

（三）不同模態(tài)方式在聽力教學(xué)中的利弊

聽覺（音頻）模態(tài)作為聽力課程的主要手段，一直被廣泛的應(yīng)用于聽力課堂，對(duì)于學(xué)生聽力能力的訓(xùn)練有一定程度的幫助。但是研究結(jié)果表明，單獨(dú)運(yùn)用聽覺模態(tài)的效果不如綜合運(yùn)用多種模態(tài)的效果更好。多種感官同時(shí)使用，信息可以經(jīng)過多渠道傳到大腦，經(jīng)過后者的整合作用，形成感覺統(tǒng)合，更容易促進(jìn)人們對(duì)于信息的理解與認(rèn)知［7］。

視覺模態(tài)和聽覺模態(tài)形成互補(bǔ)關(guān)系時(shí)，才能促進(jìn)聽力能力提高，否則冗余信息會(huì)阻礙學(xué)生對(duì)視覺信息的接收、加工和輸出，從而延緩聽力過程。例如第一次統(tǒng)計(jì)測(cè)試中（以下例子除特別指出，均來自于同一語料）語義單位的第10、11兩條提到羅斯?？偨y(tǒng)以前住在北達(dá)科他州，但是第二組學(xué)生概要中語義單位不如第一組多。根據(jù)對(duì)學(xué)生的個(gè)別訪談發(fā)現(xiàn)，其原因是這一語義信息是畫廊工作人員以轉(zhuǎn)述方式提到，視頻中并沒有關(guān)于北達(dá)科他州的畫面，只有工作人員和記者。視覺模態(tài)和聽覺模態(tài)形成非互補(bǔ)關(guān)系，這時(shí)視覺信息對(duì)聽覺信息幫助不明顯，或者說并沒有幫助。

字幕對(duì)一些信息的理解，尤其是在理清原文中的歧義方面，具有決定性作用。第19項(xiàng)的牛仔褲（waist overall）一詞，雖然所有學(xué)生都知道“overall”，但是前兩組學(xué)生英語概要中很少使用該詞。而視頻加上字幕，學(xué)生的理解顯著提高，尤其是實(shí)驗(yàn)組3，有22位學(xué)生寫出該語義單位。另外，在涉及到專有名詞時(shí)，字幕的作用尤為顯著，尤其是英語字幕，對(duì)學(xué)生的理解能力和寫作概要影響最大。此時(shí)，學(xué)生接受信息的渠道越多，對(duì)聽力材料的理解越透徹（第3，8，10，11，24等各項(xiàng)）。

在聽力材料相同且被測(cè)試者知識(shí)水平大致相同情況下，英語字幕比漢語字幕更容易促進(jìn)學(xué)生對(duì)聽力材料的理解。顯然，把英文材料翻譯成漢語字幕會(huì)導(dǎo)致一些理解問題，例如第19項(xiàng)中的“waist overall”在漢語字幕里是“牛仔褲”，在實(shí)驗(yàn)組2寫出該語義單位的學(xué)生中，無一例外用了“Jeans”一詞。顯然，漢語在很大程度上干涉了學(xué)生對(duì)于英語詞匯的理解，學(xué)生往往把注意力集中在漢語字幕而不是英語聽力材料上，母語負(fù)遷移影響學(xué)生聽力輸出水平。

四、啟示

首先，多媒體環(huán)境下的多模態(tài)外語教學(xué)，尤其是聽力教學(xué)已成為外語專業(yè)教學(xué)改革重要的一個(gè)環(huán)節(jié)，外語專業(yè)應(yīng)該借助計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)，為教師和學(xué)生提供聽力教學(xué)的必要設(shè)備、技術(shù)指導(dǎo)與服務(wù)。

其次，多模態(tài)組合的設(shè)計(jì)是多模態(tài)教學(xué)中最重要環(huán)節(jié)。在設(shè)計(jì)英語聽力教學(xué)方案中，教師選擇模態(tài)要充分考慮教學(xué)內(nèi)容所涉及的領(lǐng)域（話語范圍），充分了解學(xué)生的情況，以及學(xué)生與教師的關(guān)系（話語基調(diào)），以及教學(xué)的條件和場(chǎng)所等（話語方式）。此外，教師必須學(xué)會(huì)如何利用各模態(tài)之間協(xié)同、強(qiáng)化或互補(bǔ)關(guān)系來提高教學(xué)質(zhì)量。如果不同模態(tài)產(chǎn)生矛盾、相互抵消、相互無關(guān)、互不銜接等現(xiàn)象，還可能降低教學(xué)效果。從這個(gè)意義上講，模態(tài)的選擇要以增加正效應(yīng)為原則［8］。

再次，外語專業(yè)需要加強(qiáng)師資培訓(xùn)。教師不僅要掌握所教課程的相關(guān)知識(shí)，還需要掌握多媒體應(yīng)用于網(wǎng)絡(luò)技術(shù)，能夠充分發(fā)揮網(wǎng)絡(luò)資源，擴(kuò)展學(xué)生知識(shí)信息量，改革聽力教學(xué)內(nèi)容。多模態(tài)話語分析理論應(yīng)該成為外語教師必備的素質(zhì)之一，多模態(tài)對(duì)于外語教學(xué)的促進(jìn)作用已被國內(nèi)外學(xué)者研究所證明。外語教師應(yīng)學(xué)會(huì)根據(jù)各種制約因素來確定多模態(tài)的最佳模式。另外，教師在教學(xué)的各個(gè)環(huán)節(jié)調(diào)整自己角色，當(dāng)好多媒體操作者、多模態(tài)教學(xué)設(shè)計(jì)者、知識(shí)的領(lǐng)航者和學(xué)習(xí)促進(jìn)者，必須擁有靈活開放的思維和參與精神、快速應(yīng)變能力、組織能力。

學(xué)生是多模態(tài)聽力教學(xué)的主要受益者，應(yīng)該充分發(fā)揮自己的創(chuàng)造性和思維能力，掌握多模態(tài)理論與聽力技巧來提高聽力能力。由于學(xué)生聽力水平存在差異以及對(duì)不同模態(tài)的接受能力不同，聽力教學(xué)應(yīng)以學(xué)生實(shí)際能力來分班上課，不應(yīng)以原來班級(jí)為單位接受同一教學(xué)模式。另外，對(duì)于學(xué)生聽力成績(jī)的評(píng)價(jià)應(yīng)采用多元評(píng)估方式，改變過去傳統(tǒng)的根據(jù)聽力考試成績(jī)判斷學(xué)生聽力能力的單一模式。

［1］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009a，（1）：24-30.

［2］顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語電化教學(xué)，2007（2）：3-12.

［3］Baltova，I.Multisensory Language Teaching in a Multidimensional Curriculum：The Use of Authentic Bimodal Video in Core French［J］.Canadian Modern Language Review，1999，56（1），32-48.

［4］Guichon，N.&McLornan，S.The effects of multimodality on L2learners：Implications for CALL resource design［J］.System，2008（1）：85-93.

［5］Lambert，et.al.Choosing the Languages of Subtitles and Spoken Dialogues for Media Presentations：Implications for Second Language Education［J］.Applied Psycholinguistics，1981（2）：133-144.

［6］龍宇飛，趙 璞.大學(xué)英語聽力教學(xué)中元認(rèn)知策略與多模態(tài)交互研究［J］.外語電化教學(xué)（128）：58-62.

［7］Ayres.A.Jean.Sensory Integration and the Child［J］.Los Angeles：Western Psychological Service，1980.

［8］張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用［J］.外語教學(xué)，2009b，（4）：15-20.

Teaching English-listening via Multimedia——a study on the efficiency of multimodality

Hu Yongjin

This paper presents results of a pilot study investigating the effects of multimodality upon second language comprehension.The results indicate that comprehension improves when learners are exposed to a text via reasonable multimodality.What's more，the modality of vision can show positive function when it corresponds to the auditory information.In addition，L2subtitling is more beneficial than L1because it causes less lexical interference.

multimedia；multimodality；English-listening；efficiency

李應(yīng)青

H319.9

A

1673-1794（2014）03-0114-04

胡永近，宿州學(xué)院外國語學(xué)院講師，博士生，研究方向：外語教學(xué)（安徽宿州234000）。

安徽省高等學(xué)校優(yōu)秀青年人才基金項(xiàng)目（2010SQRW146）

2013-11-15