多媒體環(huán)境下多模態(tài)輸入對閱讀的效果探討

徐志敏，陳計(jì)莊

（南京人口管理干部學(xué)院 外語系，江蘇 南京210042）

引言

國內(nèi)學(xué)者對閱讀理解研究的文章很多，但大部分只是停留在閱讀技巧和策略上。隨著多模態(tài)技術(shù)的出現(xiàn)和其在英語聽力方面的應(yīng)用，其在英語閱讀中應(yīng)用的重要作用值得我們關(guān)注。多模態(tài)是指在一個交流成品或交流活動中不同符號模態(tài)的混合體（Van Leeuwen，2005：281），同時也可以表示不同的符號資源被調(diào)動起來，在一個特定的文本中共同構(gòu)建意義的各種方式（Baldry&Thibault，2006：21）。 本文旨在討論多模態(tài)環(huán)境下的學(xué)生在與音視頻中人、物和場景的互動中對閱讀文章產(chǎn)生的效果。

Krashen（1985，1989）在二語習(xí)得理論中提到，最有效的教學(xué)涉及到多種形式的可理解的語言輸入比一種形式的輸入更有利于語言習(xí)得。 Duquette and Painchaud（1996：144）在研究視覺媒體對學(xué)習(xí)影響的基礎(chǔ)上提出，當(dāng)語篇中包含語境線索以及讀者先前知識被激活時，這樣會更有利于學(xué)習(xí)單詞，進(jìn)一步理解文章。他們認(rèn)為，先前知識包括母語和二語之間的關(guān)系以及學(xué)習(xí)者對話題的熟悉程度，而視覺和聽覺線索將會有效幫助學(xué)習(xí)者學(xué)習(xí)新詞和理解文章，其中，視覺線索帶來的幫助會更多,非語言因素的研究也表明聽覺信息和視覺信息密不可分。

Neuman and Koskinen（1992：78）發(fā)現(xiàn)語篇和視覺圖像結(jié)合會達(dá)到最強(qiáng)的聽力效果。Pearman and Lefever-Davis（2006：262）探究了課堂計(jì)算機(jī)的使用，指出視覺手段不僅提供圖像，而且還提供了地道的語言，即沒有經(jīng)過簡化，正常語速表達(dá)的語言。同時，多媒體也提供了語境化的信息，包括非語言線索和非詞匯線索，例如重音和節(jié)奏。但那些希望在教室中完全利用電子和數(shù)字技術(shù)的老師也面臨著挑戰(zhàn)和選擇，Herron，York，Corrie，and Cole（2006：295）對比了兩個外語班：一個使用套裝課程，課程中包括了視頻成分作為教授新內(nèi)容的主要手段；另外一個班依靠傳統(tǒng)的課本，稍微帶點(diǎn)多媒體的材料。結(jié)果發(fā)現(xiàn)第一個班的在聽力理解和語法的掌握方面都受益匪淺。

國內(nèi)不少學(xué)者也提到網(wǎng)絡(luò)和多媒體的結(jié)合對英語各科教學(xué)的效果，王守仁和趙文書（2003：25-28）在討論網(wǎng)絡(luò)環(huán)境下的英國文學(xué)教學(xué)時，曾指出在文本材料之外，增加相關(guān)的視頻、音頻和圖像等媒體材料，使知識的呈現(xiàn)方式豐富多彩，提高學(xué)生的學(xué)習(xí)興趣。顧佩婭（2007）對蘇州大學(xué)英語課堂進(jìn)行的調(diào)查研究證明了網(wǎng)絡(luò)和多媒體手段的介入優(yōu)化了該校的語言教學(xué)環(huán)境，并取得良好的效果。另外最近幾年，國內(nèi)在教材的編輯上也非常注重視頻和音頻的相結(jié)合了，如：《新世紀(jì)大學(xué)英語視聽說教程》（上海外語教育出版社，2007），《新視野大學(xué)英語視聽說教程》（外語教學(xué)與研究出版社，2005），《新要求大學(xué)英語（視聽說）》（上海外語教育出版社，2005）等教材都采用了視聽說同步的教學(xué)模式。大學(xué)生在學(xué)習(xí)大學(xué)英語時對這種模式也不陌生。

國內(nèi)外現(xiàn)有的研究確認(rèn)了可理解信息的重復(fù)和不同的表達(dá)形式，尤其是視頻，與可衡量的學(xué)習(xí)和理解有很大的關(guān)聯(lián)。然而，到目前為止還沒有專門研究針對同一文本采用音頻輸入和視頻二種不同輸入的方式在閱讀理解效果上會帶來怎樣的差異。下面我們嘗試對此進(jìn)行探討。

一、研究方法

為了研究的真實(shí)性，我們沒有選用課本中的文章，而是以著名的短篇小說《摸彩》作為測試文本，力求結(jié)果的客觀性。正如當(dāng)代外語教學(xué)理論所主張的采用真實(shí)的閱讀材料才可以使學(xué)生接觸到地道的英語，從而更有利于調(diào)動學(xué)生的學(xué)習(xí)積極性。

這篇中的詞匯基本在大學(xué)英語參考詞匯表所列之內(nèi)，另外我們把超綱生詞提前打印出來，解釋清楚，不影響學(xué)生閱讀文本的主要內(nèi)容。研究的參加者，我們選取了大學(xué)二年級上學(xué)期的學(xué)生，他們已經(jīng)在校學(xué)習(xí)了一年大學(xué)英語課程，了解大學(xué)英語的基本構(gòu)成，特別對大學(xué)英語聽力有全面的了解，而參加實(shí)驗(yàn)的教師對這些學(xué)生也相當(dāng)熟悉。

參加實(shí)驗(yàn)的所有學(xué)生已完成大學(xué)英語課程所規(guī)定的課時，且沒有接受額外的英語聽力訓(xùn)練。 經(jīng)過一年大學(xué)英語聽力學(xué)習(xí)，參與實(shí)驗(yàn)的學(xué)生閱讀了一些與實(shí)驗(yàn)相同類型的文章。實(shí)驗(yàn)前一年，聽力課選擇了由東南大學(xué)李霄翔教授主編的《英語視聽閱讀教程》，本教程材料來自于美國國家地理頻道所收集的文章，題材廣泛，適合于我國大學(xué)生的社會生活經(jīng)歷和知識結(jié)構(gòu)，主題涉及到中外文化、天文地理、歷史名勝、科技探索、自然生態(tài)、風(fēng)土人情、生活常識和名人軼事等各個方面的內(nèi)容。本實(shí)驗(yàn)之所以選擇了雪萊·杰克遜的小說《摸彩》，也是因?yàn)楸径唐≌f曾三次被拍成電影，其中1969年導(dǎo)演Larry Yust把它拍成一個短劇。選擇這篇小說除了小說本身引人入勝外，還有另外兩個原因：一方面，這個故事有吻合小說內(nèi)容的較為專業(yè)的音頻和視頻版本；另一方面，小說情節(jié)跌宕起伏，結(jié)尾沒有明示主人公泰西是否死亡，這便激發(fā)了讀者或聽者對小說內(nèi)容產(chǎn)生不同理解，讀者或聽者可以根據(jù)所讀或所聽的某個線索進(jìn)行發(fā)揮，可供討論的空間比較充足。

如利用課堂時間讓學(xué)生去閱讀這個故事是不實(shí)際的，所以實(shí)驗(yàn)時，讓學(xué)生在聽之前一周自己閱讀這篇故事。也沒有給他們?nèi)魏伍喿x活動或其他支持，告訴他們不要向他人尋求幫助，也沒必要和其他同學(xué)進(jìn)行談?wù)?。自己?dú)自閱讀，理解故事的大概內(nèi)容。除了回答我們設(shè)計(jì)的和文章相關(guān)的十個多項(xiàng)選擇題以外，作為測驗(yàn)他們的第一次理解，我們還給學(xué)生設(shè)計(jì)了七個開放性的題目，在下次上課之前來回答。問題1～3是事實(shí)性知識：

1.What is the story about？

2.What happens at the end of the story？

3.Describe the ritual of the lottery in your own words.問題4～7測驗(yàn)學(xué)生轉(zhuǎn)換和評估文本知識的能力：

4.What is your opinion of what you read？

5.Do you think the story is believable？Try and explain your answer.

6.The townspeople live in their town even though they,or someone in their family might win the lottery.Why do you think they stay in this town？

7.What point is Jackson attempting to make？What is the message of this story？

我們?nèi)嬖u估學(xué)生的閱讀能力，問題1～3是詢問學(xué)生對故事的事實(shí)性知識，問題4～7是測試學(xué)生高層次的閱讀能力，如分析能力、應(yīng)用能力和綜合能力。學(xué)生低層次的理解能力意味著學(xué)生對故事事實(shí)性知識是否能夠提供足夠的證據(jù)或理解是否到位，基本的理解能力意味著能夠回答事實(shí)性問題1～3，而高層次理解能力則需要回答問題4～7。評估標(biāo)準(zhǔn)容許學(xué)生有各種各樣的可行性的回答，但這個可行性的標(biāo)準(zhǔn)在于學(xué)生的回答是否包含以下的一些信息。我們沒有利用常見多項(xiàng)選擇的閱讀題型來考察學(xué)生對文本的了解，因?yàn)閾?dān)心學(xué)生可能在不理解文本的基礎(chǔ)上進(jìn)行猜測或不假思索隨機(jī)選擇一個答案，這樣會達(dá)不到實(shí)驗(yàn)的真實(shí)結(jié)果。

既然要求參與者不需要任何外來幫助獨(dú)立完成閱讀和所布置的相關(guān)問題，我們認(rèn)為學(xué)生的回答反映了他們現(xiàn)有的英語語言知識能力。然而，閱讀是在課外時間完成的，所以也存在有些學(xué)生從他人那里得到幫助。參加實(shí)驗(yàn)的三個班級在人數(shù)、以往的英語成績以及對這個故事測前的回答差不多的前提下，我們把三個班分為閱讀討論組、視頻閱讀組和音頻閱讀組。

閱讀討論組包括36位名學(xué)生，他們閱讀后就所規(guī)定的話題進(jìn)行討論；音頻加閱讀組有36位學(xué)生，他們先閱讀課文，然后就規(guī)定的話題進(jìn)行討論，再聽故事的錄音。視頻組有39名學(xué)生，先閱讀，然后談?wù)撓嗤脑掝}，再看故事的視頻。每個實(shí)驗(yàn)班分成幾個小組，每個小組的前測成績都有個高低的變化。至少有成員的測后回答表明對文章有很好的理解，為了讓學(xué)生更好地理解文本，要求每個小組用同伴的家庭作業(yè)回答作為他們討論的話題。學(xué)生們會努力通過同伴們之間的討論來達(dá)到對課文的更好的理解，而不是改正他們的答案。各個小組都花31分鐘的時間去討論課文，因?yàn)楦鶕?jù)大學(xué)英語教學(xué)大綱中較高要求對閱讀理解能力的標(biāo)準(zhǔn)，要求學(xué)生以較快速度閱讀篇幅較長，難度適中的文章，每分鐘120詞，學(xué)生們能夠理解中心大意，抓住主要事實(shí)和有關(guān)細(xì)節(jié)。參加實(shí)驗(yàn)的學(xué)生都很熟悉這種閱讀后小組討論的活動，我們以前一直在使用這個教學(xué)模式。討論后，要求學(xué)生們交上他們的家庭作業(yè)，每個小組成員的名字都寫在上面，也作為他們的平時成績。

二、結(jié)果和討論

從調(diào)查的結(jié)果可以看出，大部分學(xué)生反映小組討論非常有用，盡管有些同學(xué)反映就具體或?qū)嵸|(zhì)性的話題，討論也許對他們理解文章幫助不是太大，但可以從小組討論中有機(jī)會聽到同伴們的從不同角度帶來的不同觀點(diǎn)，并且有機(jī)會不緊張地用英語表達(dá)自己。在比較音頻組和視頻組的第二輪回答時，我們發(fā)現(xiàn)再聽一遍文章后，只對音頻組中的一部分學(xué)生有所幫助，因?yàn)榇蟛糠謱W(xué)生沒有改變測后的對文章理解回答。這個發(fā)現(xiàn)有點(diǎn)驚訝，因?yàn)樵黾拥目衫斫庑暂斎氩]有帶來相應(yīng)的很大回報價值。同時這也符合我們當(dāng)前大學(xué)英語教學(xué)的現(xiàn)狀，大部分學(xué)生都懼怕聽力，也給我們帶來思考，怎樣進(jìn)一步提高學(xué)生的聽力課堂效果。音頻組的小收獲可和討論組的結(jié)果相比較，討論組沒有機(jī)會再來閱讀文章，但通過同伴之間的討論所取得的效果要好于音頻組。

另外一方面，視頻組的同學(xué)們的確得到非常明顯的效果，特別對英語差的學(xué)生更明顯。在外部介入后，視頻組的所有學(xué)生對文章都有一個事實(shí)的理解。英語學(xué)習(xí)差的學(xué)生也能夠積極的專心閱讀故事，這一發(fā)現(xiàn)也和以前一些科研結(jié)果有點(diǎn)不同，Baltova（1994）和 Smidt&Hegelheimer（2004）曾提到學(xué)習(xí)差的學(xué)生在正式地道的視頻中，更容易會受到多種線索的干擾。但從我們的結(jié)果發(fā)現(xiàn)，視頻和語篇相結(jié)合在閱讀時更有利于學(xué)生的理解。

下面我們隨機(jī)和幾個學(xué)生訪談的錄音結(jié)果：

學(xué)生A說在觀看視頻時，原以為市民們呆在那里希望他們將來也能贏得彩票，“First time I did not get it.I was confused because of the name of it.‘Lottery’ I thought it would be something that is prise （應(yīng)為 prize），winner will be happy.I think they stay because it is their town,it is the tradition they are scared to live（應(yīng)為 leave） their town.”視頻的有效性進(jìn)一步支持了我們的看法，這種特殊的可理解的輸入方式能夠幫助學(xué)生在閱讀時增加對文章的理解。讀完文章，再從屏幕上看故事，理解故事的進(jìn)展會糾正他們先前對文章的內(nèi)容和某些細(xì)節(jié)的誤解，同時也強(qiáng)化和升華了對文章的理解和同伴們的觀點(diǎn)，視頻也有助于各個層次閱讀能力的學(xué)生。

現(xiàn)在各種輸入帶來的效果已經(jīng)得到肯定的回答，而且不管是視頻還是音頻在情感上幾乎都能吸引所有參加各個組實(shí)驗(yàn)的學(xué)生。特別讓人感興趣的是音頻在文章理解方面不會產(chǎn)生可比較的收益。學(xué)生B，來自視頻組，他的話能代表不少音頻組和視頻組的同學(xué)，他這樣寫道： “It was a more great experience because first it take more further my imagination,second my feelings are more strong about the story,and third it makes me understand every specific detail.”在讀完和討論完故事文章后，不管是聽了故事還是看了故事，學(xué)生們在情感方面都帶來很強(qiáng)的沖擊力。

從最后學(xué)生對文章后面問題的回答，我們也清楚地看到視頻從另一個角度吸引著學(xué)生們的注意力。當(dāng)問到學(xué)生們，在回憶故事中那個部分最生動，幾乎所有的參加實(shí)驗(yàn)的學(xué)生，不管是音頻組，還是討論組的，都認(rèn)為是故事的結(jié)尾部分：泰西被石頭砸死的場面。然而，視頻組的學(xué)生都說是視頻的倒數(shù)第二幕，文中是這樣寫的：“The children had stones already,and someone gave Davy Hutchinson a few pebbles”.在電影中，學(xué)生通過自己的眼睛清楚地看到了故事的文字再現(xiàn)。學(xué)生C的回答具有代表性：“The most vivid image was when a woman give （應(yīng)為 gave）a little boy a rock to throw it on his mother,basically they wanted him to kill his mother.”通過這種方式，一個細(xì)致而嚴(yán)謹(jǐn)?shù)漠嬅骢r活地展現(xiàn)在學(xué)生面前，而普通的讀者可能只會通過自己的想象力來猜測當(dāng)時的場景，視頻能讓故事在展開的過程中顯得栩栩如生，更多地吸引學(xué)生的課堂注意力，能激發(fā)學(xué)生積極地參與閱讀之中，另一方面也加強(qiáng)學(xué)生隱性學(xué)習(xí)能力的培養(yǎng)。

三、結(jié)論

盡管我們的實(shí)驗(yàn)有不完善之處，但也表明大學(xué)非英語專業(yè)學(xué)生在閱讀包括閱讀課本文章和集體討論時，這些文章的各種多媒體版本形式都會給閱讀帶來有效地幫助。音頻和視頻對讀者都具有吸引力。雖然音頻不會在很大程度上增加理解，但是視頻能幫助學(xué)生進(jìn)一步理解閱讀文章，特別是那些英語不好的學(xué)生，視頻輸入充分利用了學(xué)生的聽和說的優(yōu)勢，學(xué)生們天生就喜歡看故事情節(jié)，愿意在那些讓他們產(chǎn)生巨大興趣并具有很多語境線索中尋找對文本的理解。

音頻輸入盡管不會明顯地幫助讀者理解文章，但確實(shí)能吸引讀者。視頻不僅引起讀者的情感反應(yīng)，而且影響讀者們對文本的理解。這些發(fā)現(xiàn)表明任何形式的可理解性多媒體輸入都是有利于學(xué)生閱讀理解的。隨著現(xiàn)代技術(shù)，像DVDs、CDs，特別是互聯(lián)網(wǎng)資源的迅速發(fā)展，很多和我們大學(xué)精讀課文相關(guān)的故事都可以在課堂上真實(shí)的展現(xiàn)。視頻呈現(xiàn)信息的方式更接近真實(shí)交際。另外，隨著技術(shù)的完善，在大規(guī)模閱讀教材中使用視頻已經(jīng)成為現(xiàn)實(shí)。跟文章緊密相關(guān)的多媒體各種形式輸入會加深學(xué)生對整個文本的欣賞和理解，但同時這種教學(xué)方式也對老師提出很高的要求，老師要在課前做好大量的備課，選擇適當(dāng)?shù)姆虾驼n文相關(guān)的音頻和視頻資料，幫助學(xué)生理解文本，這樣也適應(yīng)了新四級機(jī)考的形式，真正提高學(xué)生語言的綜合運(yùn)用能力，也培養(yǎng)了學(xué)生們的文化思辨意識。

[1]Brett，P.A comparative study of the effects of the use of multimedia on listening comprehension[J].System，1997，25（1）：39-53.

[2]Coniam，D.The Use of Audio or Video Comprehension as an Assessment Instrument in the Certification of English Language Teachers：A Case Study[J].System，2000.

[3]Duquette，L.，Painchaud，G.A comparison of vocabulary acquisition in audio and video contexts[J].Canadian Modern Language Review，1996.53，143-72.

[4]王守仁.趙文書網(wǎng)絡(luò)環(huán)境下的英國文學(xué)教學(xué)[J].外語界，2003，（1）.

[5]顧佩婭.多媒體項(xiàng)目教學(xué)法的理論與實(shí)踐[J].外語界，2007，（2）.

[6]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)，2007.114.