主次模態(tài)協(xié)同性實證分析
——以英語聽力教學(xué)為例

惠兆陽，王麗恒，林意新，趙莉莉

(1.哈爾濱理工大學(xué)榮成學(xué)院，山東榮成 264300;2.哈爾濱理工大學(xué)外國語學(xué)院，黑龍江哈爾濱150086)

主次模態(tài)協(xié)同性實證分析
——以英語聽力教學(xué)為例

惠兆陽1，王麗恒1，林意新2，趙莉莉1

(1.哈爾濱理工大學(xué)榮成學(xué)院，山東榮成 264300;2.哈爾濱理工大學(xué)外國語學(xué)院，黑龍江哈爾濱150086)

本文選取英語專業(yè)一、二、三年級學(xué)生為研究對象，采用定性和定量研究方法，探究聽覺模態(tài)和視覺模態(tài)在不同聽力任務(wù)和不同聽力教學(xué)階段中的協(xié)同關(guān)系。研究表明，第一，在語音測試任務(wù)中，視覺模態(tài)和聽覺模態(tài)在不同的聽力階段形成的關(guān)系不同:在聽力初級階段，視覺模態(tài)妨礙了聽覺模態(tài)的信息吸收，對聽覺模態(tài)形成了干擾;在聽力的中、高級階段，視覺模態(tài)對語音能力的提高效果不顯著，對聽覺模態(tài)影響甚微，形成非互補關(guān)系;第二，在聽力理解任務(wù)中，視覺模態(tài)和聽覺模態(tài)形成互補關(guān)系，并且一直貫穿聽力的初、中、高級階段。在這一關(guān)系中，聽覺模態(tài)為主模態(tài)，視覺模態(tài)發(fā)揮補充、強(qiáng)化作用。本研究通過多模態(tài)協(xié)同性在聽力教學(xué)中的具體應(yīng)用研究，厘清了聽覺模態(tài)與視覺模態(tài)在聽力教學(xué)不同階段、不同任務(wù)情況下的相互關(guān)系，是對多模態(tài)關(guān)系研究文獻(xiàn)的重要補充，為外語聽力多模態(tài)教學(xué)模式設(shè)計提供思路和參考。

視覺模態(tài);聽覺模態(tài);模態(tài)協(xié)同;模態(tài)干擾

1.0 理論基礎(chǔ)

進(jìn)入21世紀(jì)，多元文化的相互滲透以及信息技術(shù)的發(fā)展變化，使交流與傳播領(lǐng)域正發(fā)生著一場革命。這次革命的結(jié)果就是在公共交流中，語言的中心地位被移動，一種全新的多模態(tài)(multimodal)表達(dá)形式已經(jīng)深入到人們生活的方方面面(Kress，2001)。多模態(tài)就是“綜合語言、視覺圖像、其他符號資源，構(gòu)建紙質(zhì)、數(shù)字媒體和日常生活文本、事物、事件的理論分析與實踐”(O’Halloran，2004:231)。

1.1 多模態(tài)與教學(xué)

在多模態(tài)教學(xué)中，學(xué)習(xí)者調(diào)動多重感官吸收多種模態(tài)形式的外部符號，這些不同感官模式獲取的信息之間會進(jìn)行(有效的)互動，或者生成某種形象(image)作為文字文本的一部分，或者文字文本形式生成形象文本形式等 (Kress，2001:7)。簡而言之，在多模態(tài)教學(xué)中，人類通過一種以上感官(如視覺、聽覺等)跟外部環(huán)境進(jìn)行互動 (顧曰國，2007)。1996年“新倫敦小組”(New London Group)提出了“多模態(tài)教學(xué)”概念，開辟了多模態(tài)應(yīng)用于語言教學(xué)的先河。此后，有關(guān)多模態(tài)與語言教學(xué)的研究成果不斷增多，例如Mills(2006)通過觀察18天的課堂教學(xué)和與師生半結(jié)構(gòu)性訪談的方式探討了課程設(shè)計的具體方案，研究發(fā)現(xiàn)當(dāng)習(xí)得與學(xué)習(xí)相脫離時，學(xué)習(xí)者在接觸全新的、多模態(tài)、數(shù)字化的涵義設(shè)計模式時會遇到困難，最后闡明將習(xí)得與學(xué)習(xí)相結(jié)合的觀點。在課堂上應(yīng)用PPT演示的研究也受到很多學(xué)者的關(guān)注。例如Fisher(2003)探討了演示文稿在英語教學(xué)中的意義、在課堂上的應(yīng)用、如何從其它來源獲取PPT以及制作時應(yīng)注意的問題。這些研究大部分集中于多模態(tài)作為一個整體應(yīng)用于教學(xué)，而對模態(tài)之間的內(nèi)部關(guān)系以及協(xié)同性研究較少。模態(tài)之間的關(guān)系研究始于20世紀(jì)90年代系統(tǒng)功能符號學(xué)者(Lemke，1998;Baldry＆Thibault，2006)對多模態(tài)話語中模態(tài)間的關(guān)系和語法整合問題的關(guān)注，但是主要集中在多模態(tài)話語領(lǐng)域，而不是教學(xué)領(lǐng)域。而在教學(xué)領(lǐng)域僅有Royce(2002)和張德祿(2010a)對多模態(tài)協(xié)同做過相關(guān)研究。Royce(2002)研究了不同符號在多模態(tài)話語中的互補性以及在第二語言課堂教學(xué)中多模態(tài)的協(xié)同性等。而張德祿(2010a)提出了多模態(tài)話語協(xié)同性以及在外語課程中的體現(xiàn)。這些研究體現(xiàn)的是整體的課堂教學(xué)，沒有具體到教學(xué)的某一個領(lǐng)域進(jìn)行深入研究。多模態(tài)已經(jīng)廣泛應(yīng)用于聽力教學(xué)，但是對聽力教學(xué)中多模態(tài)的協(xié)同以及體現(xiàn)卻缺乏研究。而聽力教學(xué)中模態(tài)之間的關(guān)系以及配合影響著聽力教學(xué)的效果。如果模態(tài)之間形成互相補充、互相作用的關(guān)系，聽力教學(xué)效率就會提高。但是如果一種模態(tài)對另一種模態(tài)形成干擾，妨礙了另一種模態(tài)的作用，那么就會降低聽力效果。因此，本文試圖探索多模態(tài)在聽力教學(xué)中不同階段不同任務(wù)中的協(xié)同關(guān)系，以實現(xiàn)更理想的教學(xué)效果，為不同聽力階段有效開展課堂教學(xué)以及提高學(xué)生語音、聽力水平提供方法和保障。

1.2 多模態(tài)協(xié)同與聽力教學(xué)

多模態(tài)之所以用于聽力教學(xué)，原因在于一系列研究表明，當(dāng)學(xué)習(xí)者同時得到視覺和聽覺的刺激后能顯著地提高對目標(biāo)語內(nèi)容的理解 (Baltova，1994;Weyers，1999)。國內(nèi)學(xué)者(周光磊、楊世登，2004;王萌、謝小苑，2008;顧琦一、蔵傳云，2011)從視頻輔助、輸入模態(tài)、視聽材料各個角度證明多模態(tài)是有利于聽力學(xué)習(xí)的，可以應(yīng)用于聽力教學(xué)的。但是多模態(tài)是否一定有利于聽力能力的提高?模態(tài)和模態(tài)之間的相互作用是什么?模態(tài)在什么情況下會相互作用或者相互干擾?張德祿(2010a)在多模態(tài)話語中闡述了模態(tài)和模態(tài)之間的關(guān)系。他指出模態(tài)之間有兩種基本關(guān)系:互補關(guān)系和非互補關(guān)系。在互補關(guān)系中，各模態(tài)的地位和作用是不同的，通常一種模態(tài)為默認(rèn)模態(tài)或者基本模態(tài)，起基本的和基礎(chǔ)的作用，處于主導(dǎo)地位;其他的則起補充作用。在互補關(guān)系中，又有強(qiáng)化與非強(qiáng)化之分。非互補關(guān)系中，其他的模態(tài)對基本模態(tài)在意義的構(gòu)建及體現(xiàn)上作用不大。也就是說，多模態(tài)并不是在任何時候都能發(fā)揮作用，只有模態(tài)之間相互協(xié)調(diào)、相互配合才能達(dá)到好的效果。在傳統(tǒng)聽力教學(xué)模式下，學(xué)習(xí)者通過聽覺獲得信息，使用的是單一的聽覺模態(tài)，而在聽力過程中引入視頻，聽前加入口頭背景介紹，聽后加入口頭復(fù)述以及課堂討論等內(nèi)容，這時就先后呈現(xiàn)出多種模態(tài)，包括視覺模態(tài)、運動模態(tài)和書寫模態(tài)。在聽力教學(xué)中，多模態(tài)間的關(guān)系如何以及如何作用，需要遵循一系列的使用原則。

1.3 多模態(tài)協(xié)同在教學(xué)中的原則

張德祿(2010b)在課堂設(shè)計中提出了三個模態(tài)使用原則:有效原則、適配原則和經(jīng)濟(jì)原則。有效原則表示選擇任何一個模態(tài)都要以取得更好的教學(xué)效果為前提，避免無效使用某個模態(tài)，或者其所產(chǎn)生的負(fù)效應(yīng)等于或者大于正效應(yīng)。適配原則表示選擇不同的模態(tài)，要考慮不同模態(tài)之間的相互配合，以獲得最佳搭配為標(biāo)準(zhǔn)。從經(jīng)濟(jì)的角度看，模態(tài)的選擇是越簡單越好。由此可見，模態(tài)并不是一成不變的，聽力任務(wù)和聽力階段的不同會影響模態(tài)的使用以及協(xié)同關(guān)系。因此，本文依據(jù)三個原則，從經(jīng)濟(jì)的角度選擇了視覺模態(tài)和聽覺模態(tài)兩種模態(tài)進(jìn)行實驗，通過檢驗其在聽力中的效果來確定不同的聽力任務(wù)在不同的聽力階段模態(tài)之間的相互關(guān)系和協(xié)同性，以確定符合適配原則，達(dá)到最理想的效果。

2.0 研究設(shè)計

2.1 實驗?zāi)康?/p>

本研究探討的是視覺模態(tài)和聽覺模態(tài)在不同聽力任務(wù)和不同聽力教學(xué)階段中的相互協(xié)同關(guān)系，以及如何有效地利用模態(tài)之間的協(xié)同性提高聽力教學(xué)效果，為大學(xué)英語聽力教學(xué)提供依據(jù)。實驗擬回答以下問題:1)視覺模態(tài)和聽覺模態(tài)在語音測試任務(wù)中以及不同的聽力階段的協(xié)同關(guān)系;2)視覺模態(tài)和聽覺模態(tài)在聽力理解任務(wù)中以及不同的聽力階段的協(xié)同關(guān)系。

2.2 實驗對象

本研究的受試群體為哈爾濱理工大學(xué)英語專業(yè)一、二、三年級在校學(xué)生，年齡在19-23歲之間。鑒于便利原則，本文采取整群抽樣，以自然班為單位選取被試對象。一年級實驗組61人，控制組63人;二年級實驗組62人，控制組60人;三年級實驗組62人，控制組61人。實驗組和控制組學(xué)生的年齡、生活閱歷和教育背景等因素基本相同，本校三個年級的聽力教學(xué)模式都是以聽覺模態(tài)為主，視覺模態(tài)補充強(qiáng)化，因此教學(xué)模式相同。教學(xué)實驗開始前的水平測試表明他們的英語聽力水平?jīng)]有顯著性差異(表1)，在各指標(biāo)上具有可比性。

表1 三個年級學(xué)生實驗前水平測試結(jié)果

2.3 測量工具

本文采取定性和定量的研究方法，主要用試題和訪談作為測試工具。

2.3.1 測試試題

本實驗依據(jù)聽力測試原則和《高等學(xué)校英語專業(yè)英語教學(xué)大綱》中對聽力的要求，結(jié)合本實驗?zāi)康?，設(shè)計了九套聽力測試試題。這些試題都經(jīng)過了預(yù)測試，調(diào)整并刪除了不達(dá)要求的項目，信度均達(dá)到0.7以上，可以用來作為實驗工具。語音是外語教學(xué)的基石，對聽力起著重要的作用，在聽力的各個階段，都應(yīng)該測試訓(xùn)練語音能力。因此我們共設(shè)計了兩個聽力任務(wù):語音測試和聽力理解。語音測試形式為20個填空題(20%)，內(nèi)容為含有多種語音現(xiàn)象的短語，例如連讀、強(qiáng)化、弱化、失去爆破等現(xiàn)象的短語，主要考察學(xué)生聽音辨音的能力。聽力理解任務(wù)包括聽力選擇和聽寫測試。聽力選擇為10個選擇題(20%)，每個選擇題有四個選項，主要測試學(xué)生對聽力材料內(nèi)容的理解。聽寫測試主要形式為段落聽寫，旨在考察學(xué)生整合聽力信息和理解的能力，這一部分只要受試者表達(dá)出大意即可得分。測試材料均選自視頻教材并隨著年級增長逐步增加難度。一年級的語音測試材料選自教學(xué)片《走遍美國》中的Act III，該選段發(fā)音清晰，語速適中，情節(jié)性較強(qiáng)，契合本實驗的研究目的。聽力理解和聽寫測試材料均選自《新視野聽說教材》，難度適中。二年級、三年級的試題在難度上逐步增大，所選聽力材料的原則與一年級的試題一致，選段發(fā)音清晰，語速適中，情節(jié)性較強(qiáng)。

2.3.2 訪談

在三次實驗結(jié)束之后，作者從三個年級的實驗組分別抽出10名受試者進(jìn)行訪談。作者首先制定了訪談大綱，大綱內(nèi)容主要是了解學(xué)生對視覺模態(tài)和聽覺模態(tài)的認(rèn)識以及聽力理解的效果。內(nèi)容包括:視覺模態(tài)和聽覺模態(tài)對語音測試產(chǎn)生了哪些影響?視覺模態(tài)和聽覺模態(tài)對聽力理解產(chǎn)生了哪些影響?產(chǎn)生影響的原因是什么?視覺模態(tài)和聽覺模態(tài)的結(jié)合對聽力理解是否一直產(chǎn)生良好效果?訪談主要在課后進(jìn)行，為了讓學(xué)生暢所欲言，沒有緊張氣氛，作者沒有進(jìn)行錄音，對訪談內(nèi)容做了文字記錄。每個訪談?wù)叩脑L談時間為20分鐘，訪談結(jié)束后作者對訪談內(nèi)容進(jìn)行了總結(jié)。

2.4 實驗步驟

控制組的實驗步驟如下:聽力測試試題選自三個不同的聽力材料，每個材料聽三遍，第一個材料聽三遍完成語音測試題，第二個材料聽三遍完成聽力選擇題，第三個材料聽三遍完成聽寫測試題。每個材料之間相隔2分鐘，讓學(xué)生檢查填寫答案，以免影響下一個材料的測試。聽寫測試在5分鐘時間內(nèi)完成，然后由筆者將試卷全部回收。實驗組遵循完全相同的步驟，但是實驗材料是與音頻內(nèi)容相同的視聽材料。每個年級進(jìn)行了三次實驗，均按照以上步驟進(jìn)行。

2.5 結(jié)果與討論2.5.1測試結(jié)果

本研究運用統(tǒng)計軟件SPSS 16.0對三次階段性測試成績的平均值進(jìn)行了統(tǒng)計分析。經(jīng)過檢驗，數(shù)據(jù)符合正態(tài)分布，于是我們通過使用一系列獨立樣本t檢驗對三個年級的實驗組與控制組分別進(jìn)行了比較。對樣本進(jìn)行雙尾檢驗統(tǒng)計結(jié)果如下表所示。

表2 三個年級語音測試結(jié)果

表3 三個年級聽力理解測試結(jié)果

表4 三個年級聽寫測試結(jié)果

表5 三個年級聽力總分結(jié)果

語音測試成績分析，三個年級的實驗組和控制組的成績均未達(dá)到統(tǒng)計學(xué)上的顯著性差異(0.078＞0.05，0.0858＞0.05，0.051＞0.05)，但是，大一實驗組的平均分遠(yuǎn)遠(yuǎn)低于控制組，而大二大三實驗組的平均分略高于控制組。這說明在大一聽力初級階段，視覺模態(tài)的加入不但沒有幫助學(xué)生提高語音辨別能力，反而干擾了學(xué)生獲取語音信息的能力。這符合認(rèn)知負(fù)荷理論中的注意分散效應(yīng)和冗余信息效應(yīng)，即如果學(xué)習(xí)者被迫去加工多余的信息，認(rèn)知負(fù)荷就會加大，學(xué)習(xí)就會減少。這個研究結(jié)果與MacWilliam(1986)的發(fā)現(xiàn)一致，他認(rèn)為“對低語言水平的學(xué)習(xí)者來說，在同時利用音頻和視頻模式理解信息時存在著沖突”。對低水平的學(xué)習(xí)者來說，受語言水平的限制注意力資源有限，在處理畫面、聽力內(nèi)容和語音方面產(chǎn)生了沖突，導(dǎo)致語音測試成績的下降。這說明在聽力的初級階段，學(xué)生的語言水平越低，越容易出現(xiàn)認(rèn)知負(fù)荷現(xiàn)象，視覺模態(tài)更容易與聽覺模態(tài)產(chǎn)生沖突并對聽覺模態(tài)形成干擾。而到了中高級階段，學(xué)生聽力水平提高，聽音辨音能力提高，對信息處理能力增強(qiáng)，視覺模態(tài)對聽覺模態(tài)沒有產(chǎn)生顯著的影響。綜上所述，在語音測試任務(wù)中，視覺模態(tài)與聽覺模態(tài)的關(guān)系在不同的聽力階段表現(xiàn)不相同。聽力的初級階段，視覺模態(tài)在語音測試中產(chǎn)生的負(fù)效應(yīng)大于正效應(yīng)，對聽覺模態(tài)形成干擾;而在聽力中高級階段，視覺模態(tài)在語音測試中并沒有顯著促進(jìn)聽覺這一主模態(tài)，兩者形成非互補關(guān)系。

聽力理解的任務(wù)包括聽力選擇和聽寫測試，三個年級實驗組的平均分都高于控制組，并且成績在統(tǒng)計學(xué)上達(dá)到顯著性差異(見表3、表4 sig＜0.05)。由此可見，在聽力理解任務(wù)方面，視覺模態(tài)和聽覺模態(tài)相互作用強(qiáng)化發(fā)揮了正效應(yīng)，對學(xué)生的聽力理解能力起到了極大的促進(jìn)作用。正如Van Patten＆Sanz(1995)提出，聽覺模態(tài)和視覺模態(tài)的同時呈現(xiàn)能促進(jìn)學(xué)習(xí)者對輸入最大可能的關(guān)注。這樣的模態(tài)呈現(xiàn)能夠使受試者關(guān)注材料信息，最大程度地吸收聽力所要表達(dá)的意義，進(jìn)而提高其聽力理解能力。周光磊、楊世登 (2004)的研究也認(rèn)為，視頻輔助材料對不同程度的學(xué)習(xí)者的聽力理解能力都有促進(jìn)作用。聽力總分成績也表明三個年級實驗組的成績在視覺模態(tài)和聽覺模態(tài)相互作用的模式下遠(yuǎn)遠(yuǎn)高于控制組，并且成績在統(tǒng)計學(xué)上達(dá)到顯著性差異(0.034＜0.05，0.000＜0.05，0.005＜0.05)，說明視覺模態(tài)在總體聽力效果方面對聽覺模態(tài)同樣起著補充強(qiáng)化的作用。由此可見，在聽力的初、中、高級階段，視覺模態(tài)在聽力理解任務(wù)中對聽覺模態(tài)這一主模態(tài)起補充、強(qiáng)化的作用，兩者形成互補關(guān)系。2.5.2訪談結(jié)果分析

通過訪談，我們獲得了以下信息:第一，在語音測試方面，在大一階段大部分受訪者反映視覺模態(tài)并沒有對聽覺模態(tài)產(chǎn)生很大的作用，分散了學(xué)生的注意力，使學(xué)生無法集中于語音辨音。8名大一受訪者表達(dá)了視頻對語音的干擾作用，“我光顧著看視頻，顧不上聽語音了”，“看視頻感覺更分不出語音來了”，“看視頻精力沒法集中在語音上”。另外2名同學(xué)沒有感覺出有無作用，“視頻挺豐富的，就是原來聽不出來的音還是聽不出來”。大二大三的受訪者14名學(xué)生認(rèn)為視覺模態(tài)并沒有對聽覺模態(tài)產(chǎn)生影響，“有視頻和沒有視頻一個樣，語音還是聽不出來”，其它6名同學(xué)認(rèn)為語音是有干擾作用的。第二，在聽力理解方面，受試者傾向于視覺模態(tài)和聽覺模態(tài)相互補充、相互作用的展現(xiàn)模式。三個年級的學(xué)生中有26名受訪者表示“我喜歡看視頻，覺得看視頻更容易理解對話”，“看視頻很有趣，課堂氣氛也活躍，也增加了注意力”，“視頻幫助我理解信息，本來聽不懂的單詞通過看視頻可以理解說話的人想要表達(dá)的意思”。其它4名受訪者認(rèn)為視頻對他們理解聽力內(nèi)容有作用，但是作用不大。第三，視覺模態(tài)和聽覺模態(tài)的適配非常重要，過多的視覺模態(tài)并不一定促進(jìn)聽力的提高。16名受訪者表達(dá)出過多的視頻展示會對注意力和聽力理解產(chǎn)生影響?！坝袝r候看視頻是為了熱鬧，只看畫面不聽聽力就能理解內(nèi)容，看完了聽不懂說的是什么”;“如果不集中注意力聽聽力，雖然了解了視頻內(nèi)容，還是聽不懂”。這說明在課堂上視覺模態(tài)和聽覺模態(tài)的適配原則影響學(xué)生的聽力效果，過多的視覺模態(tài)也會讓學(xué)生出現(xiàn)信息冗余現(xiàn)象，不利于聽力能力的提高。

3.0 結(jié)語

綜上所述，我們得到了以下結(jié)論:不同的聽力任務(wù)在不同的聽力階段主次模態(tài)協(xié)同表現(xiàn)不同。第一，在語音測試任務(wù)中，視覺模態(tài)和聽覺模態(tài)在不同的聽力階段形成的關(guān)系不同:在聽力初級階段，視覺模態(tài)妨礙了聽覺模態(tài)的信息吸收，對聽覺模態(tài)形成了干擾;在聽力的中高級階段，視覺模態(tài)對語音能力的提高沒有多大效果，對聽覺模態(tài)沒有形成較大影響，形成非互補關(guān)系;第二，視覺模態(tài)和聽覺模態(tài)在聽力理解任務(wù)中形成互補關(guān)系，并且一直貫穿聽力的初、中、高級階段。在這一關(guān)系中，聽覺模態(tài)為主模態(tài)，視覺模態(tài)發(fā)揮補充、強(qiáng)化作用。這對我們教學(xué)的啟示是:第一，聽力的初級階段，視覺模態(tài)在語音測試中產(chǎn)生的負(fù)效應(yīng)大于正效應(yīng)，對聽覺模態(tài)形成干擾。根據(jù)張德祿(2010b)的有效原則，如果單一的聽覺模態(tài)可以對學(xué)生的語音能力提高發(fā)揮有效的作用，就可以作為主模態(tài)或者是語音教學(xué)中唯一的模態(tài);第二，聽力理解方面，在聽覺模態(tài)為主模態(tài)的基礎(chǔ)上加入視覺模態(tài)，并且隨著年級的增長加大視覺模態(tài)的比重，使其與聽覺模態(tài)互相補充，互相作用，發(fā)揮最大的教學(xué)效果。本研究的主要貢獻(xiàn)是通過多模態(tài)協(xié)同性在聽力教學(xué)中的具體應(yīng)用研究，厘清了聽覺模態(tài)與視覺模態(tài)在聽力教學(xué)不階段、不同任務(wù)情況下的相互關(guān)系，是對多模態(tài)關(guān)系研究文獻(xiàn)的重要補充，為外語聽力多模態(tài)教學(xué)模式設(shè)計提供思路和參考。本研究的不足之處是，只對聽覺和視覺模態(tài)的協(xié)同性進(jìn)行了研究，沒有涉及其它模態(tài)，同時，在聽力教學(xué)中，聽覺與視覺模態(tài)的使用比例沒有進(jìn)行定量，需要以后的研究者在研究中進(jìn)一步探討。

參考文獻(xiàn)

［1］Baldry，A.＆P.J.Thibault.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Course book［M］.London:Equinox，2006.

［2］Baltova，I.The impact of video on the comprehension skills of core French students［J］.Canadian Modern Language Review，1994，50(3):507-531.

［3］Fisher，D.L.Using PowerPoint for ESL teaching［J］.The Internet TESL Journal，2003，(4):31-48.

［4］Kress，G.Multimodality:challenges to thinking about language［J］.TESOL Quarterly，2001，(34):337-340.

［5］Lemke，J.L.Multiplying meaning:Visual and verbal semiotics in scientific text［A］.In J.R.Martin＆R.Veel (eds.).Reading Science:Critical and Functional Perspectives on Discourse of Science［C］.London:Routledge，1998.87-133.

［6］MacWilliam，L.Video and language comprehension［J］.ELT Journal，1986，40(2):131-135.

［7］Mills，K.Discovering design possibilities through a pedagogy of multiliteracies［J］.Journal of Learning Design，2006，1(3):61-72.

［8］New London Group.A pedagogy of multiliteracies:designing social futures［J］.Harvard Educational Review，1996，66(1):60-92.

［9］O’Halloran，K.L.Multimodal Discourse Analysis:Systemic Functional Perspectives［M］.London:Continuum， 2004.

［10］Royce，T.Multimodality in the TESOL classroom:exploring visual-verbal synergy［J］.TESOL Quartertly，2002，36(2):191-205.

［11］Van Pattern.B.＆C.Sanz.From input to output:Processing instruction and communicative tasks［A］.In F.Eckman，D.Highland，P.Lee，J.Mileham＆R.Weber (eds.).Second Language Acquisiton Theory and Pedagogy［C］.Mahwah，NJ:Erlbaum，1995.169-185.

［12］Weyers，J.R.The effect of authentic video on communicative competence［J］.The Modern Language Journal，1999，83(3):339-349.

［13］顧琦一，蔵傳云.輸入模態(tài)對第二語言理解和附帶詞匯習(xí)得的影響［J］.解放軍外國語學(xué)院學(xué)報，2011，(3):55-59.

［14］顧曰國.多媒體，多模態(tài)學(xué)習(xí)剖析［J］.外語電化教學(xué)，2007，(2):3-12.

［15］王萌，謝小苑.視聽材料對聽力理解和詞匯習(xí)得的影響［J］.外語電化教學(xué)，2008，(2):69-74.

［16］張德祿.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)［J］.外語學(xué)刊，2010a，(2):97-102.

［17］張德祿.多模態(tài)外語教學(xué)的設(shè)計與模態(tài)調(diào)用初探［J］.中國外語，2010b，(3):48-53.

［18］周光磊，楊世登.視頻輔助功能對英語專業(yè)學(xué)生聽力理解的影響［J］.解放軍外國語學(xué)院學(xué)報，2004，(3): 58-62.

An Empirical Study of Primary and Secondary Modality Coordination—A Case Study of English Listening Teaching

HUI Zhao-yang1，WANG Li-heng1，LIN Yi-xin2，ZHAO Li-li1
(1.Harbin University of Science and Technology at Rongcheng，Rongcheng 264300，China; 2.School of Foreign Languages，Harbin University of Science and Technology，Harbin 150086，China)

The paper aims to explore the coordination of auditive modality and visual modality in different listening tasks and different stages of listening teaching with qualitative and quantitative methods，based on experiment of English majors from grade 1 to grade 3.The findings are as follows.Firstly，in phonetic test task，auditive modality and visual modality form different coordination relationship in different stages of listening teaching:in the primary stage，visual modality obstructs the absorption of information and disturbs the realization of function of auditive modality;in the secondary and advanced stage，visual modality fails to play a great role in phonetic ability and forms a non-complementary relationship with auditive modality.Secondly，auditive modality and visual modality form a complementary relationship in listening comprehension task in the primary，secondary and advanced stages of listening teaching.In the relationship，auditive modality takes priority and visual modality supplies it as complementation and reinforcement.This research explores the relationship between auditive modality and visual modality in different teaching phases and tasks according to the detailed and practical application in listening teaching，supplements the theories in this field and provides new ideas for multimodal teaching.

visual modality;auditive modality;modality coordination;modality disturbance

H319

A

1002-2643(2013)03-0077-05

2013-03-30

本文為黑龍江省哲學(xué)社會科學(xué)研究規(guī)劃項目“主次模態(tài)的協(xié)同性及應(yīng)用研究”(項目編號:11E101)部分成果。

惠兆陽(1972-)，男，滿族，黑龍江望奎人，副教授。研究方向:語言學(xué)和網(wǎng)絡(luò)教學(xué)。

王麗恒(1985-)，女，滿族，遼寧錦州人，助教。研究方向:英語聽力教學(xué)和英美文學(xué)。

林意新(1969-)，女，漢族，黑龍江哈爾濱，碩導(dǎo)，教授。研究方向:英語教學(xué)和美國文學(xué)。

趙莉莉(1984-)，女，漢族，山東省榮成市，講師。研究方向:教學(xué)法。