認知心理學(xué)框架下多模態(tài)英語電影教學(xué)探索性研究

李天頤

（廣州醫(yī)學(xué)科大學(xué)基礎(chǔ)學(xué)院英語教研室，廣東廣州510182）

一、研究背景

電影的出現(xiàn)使得語言模態(tài)——文本不再是獲取信息的唯一手段，話語世界日益呈現(xiàn)多樣化。同時國際電影業(yè)的飛速發(fā)展讓中國英語學(xué)習(xí)者有了更多接觸到英文電影的機會。電影中不僅包含語言模態(tài)——文本，而且包含非語言模態(tài)如圖片、音樂、視頻等能表意義、傳遞信息的豐富符號資源。一些學(xué)者已證明看電影能產(chǎn)生附帶詞匯習(xí)得。Krashen（2000）指出，“以多感官的方式頻繁地接觸目標語讓詞匯習(xí)得變得更加有效。”在Vanderplank（1988）的研究中，帶字幕的電影能向二語習(xí)得者提供地道、真實的一手語言資源，從而提高他們的語言能力。二語習(xí)得者喜歡通過看電影來學(xué)習(xí)目標語，因為在英語作為第二語言的環(huán)境中，電影是一種非常有價值的二語輸入材料（Chapelle 1998）。從跨文化交際的角度看，語言和文化密不可分，非語言交際在交際領(lǐng)域中的作用設(shè)置大于言語交際。Saussure(2001)認為，“語言是由能夠傳達意義的符號組成的，我們可以通過符號研究語言。但是，動態(tài)語境主要是通過圖像符號與聲響符號來傳遞信息的，這種非言語性語境同樣具有很強的語用功能，任務(wù)的面部表情、動作、服飾、室內(nèi)的擺設(shè)、室外的景物、光線的變化、語音語調(diào)的變化等都是可以傳情達意的。”從語境的角度看，電影能通過創(chuàng)設(shè)真實生動的情景進行語境化教學(xué)；從認知心理學(xué)的角度看，電影圖、文、聲、情并茂，能全面刺激學(xué)生的多個感官系統(tǒng)，增強記憶，激發(fā)學(xué)生的學(xué)習(xí)熱情，提高學(xué)習(xí)效率。學(xué)生既能通過字幕習(xí)得語言文字，又可通過電影圖像習(xí)得非語言交際（non-verbal communication），是語言教學(xué)與非語言教學(xué)的結(jié)合典范。

二、模態(tài)與電影的多模態(tài)特征

模態(tài)在文本里指人類通過感官（如視覺、聽覺等）跟外部環(huán)境（如人、機器、物件、動物等）之間的互動方式。用單個的感官進行互動叫單模態(tài)，用兩個的叫雙模態(tài)，三個或以上的叫多模態(tài)，正常人之間的互動都是多模態(tài)的（顧曰國2007）。朱永生（2007）指出，“五種感知通道（視覺通道、聽覺通道、觸覺通道、嗅覺通道、味覺通道）的獲得分別導(dǎo)致以下五種交際模態(tài)的產(chǎn)生：視覺模態(tài)（visual modality）、聽覺模態(tài)（auditive modality）、觸覺模態(tài)（tactile modality）、嗅覺模態(tài)（olfactory modality）和味覺模態(tài)（gustatory modality）。 ”“多模態(tài)文本”則指裝載多模態(tài)活動的、經(jīng)過數(shù)字化后計算機可以處理的含音頻的視頻流。一個多模態(tài)文本就是一段關(guān)于某項多模態(tài)活動的含音頻的視頻流（袁傳有2012）。

人類對事物的感知歷來是多模態(tài)的，電影蘊含的動態(tài)語境，它的多模態(tài)性符合人類的認知習(xí)慣。在觀影過程中，觀影者啟用了視覺和聽覺雙模態(tài)，然后通過音頻流、視頻流和字幕與電影的多模態(tài)內(nèi)容互動。符號資源是人們在生產(chǎn)和闡釋圖像和其他信息時用來創(chuàng)造意義的認知資源。交際和再現(xiàn)意義經(jīng)常需要多種符號編碼，即多模式，如圖像、手勢、身體語言等，語言只是眾多交際模式中的一種，多模態(tài)語篇指的是除了文本，還帶有圖像、圖表等的復(fù)合話語，或者說任何由一種以上符號編碼實現(xiàn)意義的文本。電影就是一種利用多種符號資源構(gòu)建意義、傳遞信息的多模態(tài)語篇（徐畔2012）。

三、認知心理學(xué)基本理論

認知心理學(xué)是關(guān)于人們?nèi)绾潍@得、儲存、轉(zhuǎn)換、運用信息的過程，這個過程涉及人們心理生活的各個方面：感知、注意、記憶、思維、推理、決策和問題解決認知心理學(xué)以信息加工的范式探討人的認知機能方面的問題，如那些信息加工方法與程序能取得更大效率；聯(lián)結(jié)主義涉及構(gòu)成人的認知基礎(chǔ)的“硬件”，即運用心理模型描述整個認知加工過程是如何在人腦中執(zhí)行的，它們試圖解釋人的認知系統(tǒng)或機能如何在現(xiàn)實環(huán)境中運行運作并受到周圍環(huán)境的影響（梁寧建2009）。

1.雙重編碼理論。大腦中存在兩個功能獨立卻又相互聯(lián)系的認知系統(tǒng)，即言語系統(tǒng)和非言語系統(tǒng)。言語刺激經(jīng)過感知系統(tǒng)，以字符為基本單位表征、編碼儲存在言語系統(tǒng)中；非言語刺激經(jīng)過感知系統(tǒng)，以圖像為基本單位表征、儲存在非言語系統(tǒng)中。言語系統(tǒng)和非言語系統(tǒng)內(nèi)部分別存在一種連接，使系統(tǒng)內(nèi)部形成關(guān)聯(lián)結(jié)構(gòu)。非言語系統(tǒng)中，一副圖像同樣也會引發(fā)其他相關(guān)圖像加入編碼。言語表征和非言語表征之間還相互連接，形成一個復(fù)雜的關(guān)聯(lián)網(wǎng)絡(luò)，即參照連接（referential connections）。雙重編碼理論強調(diào)了非言語信息加工的同等重要性，有力地支持了多媒體學(xué)習(xí)有關(guān)“人們從詞語和畫面中學(xué)習(xí)比僅僅從詞語中學(xué)習(xí)更為深入”的重要假設(shè)（Mayer 2005）。

2.圖爾文（E.Tulving）總結(jié)了已有的有關(guān)記憶的研究，對情節(jié)記憶（episodic memory）和語義記憶（semantic memory）作了區(qū)分。這種區(qū)分現(xiàn)已為大多數(shù)心理學(xué)家所接受。情節(jié)記憶是指個體記憶以往經(jīng)歷過的某些特定事件方面的信息，主要用以儲存人生中印象比較深刻的事情。情節(jié)記憶中的信息是在現(xiàn)象學(xué)層次上的，是用一種視覺映像或其他映像形式存儲起來的，因而是一種事件知識存儲。語義記憶則是保持從經(jīng)驗中抽象出來的，或是從自己經(jīng)驗中所獲得的信息的概括，是一種概念存儲（梁寧建2009）。以上關(guān)于多模態(tài)和認知領(lǐng)域的研究成果為本研究提供了堅實的理論依據(jù)和可行的方法指導(dǎo)，如下討論優(yōu)化教學(xué)模式的構(gòu)建及應(yīng)用。

四、實證研究

1.研究對象及分組

研究對象為廣州醫(yī)學(xué)院2011級大學(xué)一年級第一學(xué)期的臨床系新生，共3個班96人，每班32人。實驗中各班英文水平一致，理由：1）大一入學(xué)按考生英語高考成績分班，以高分至低分排序，分別依次編入各自然班，故各班學(xué)生英語基礎(chǔ)接近。2)開學(xué)首次英語課，即對各班進行摸底考試（采用2009年CET4真題），結(jié)果各班之間成績比較無統(tǒng)計學(xué)差異（用SPSS15.0統(tǒng)計軟件做單因素方差分析，P>0.05）。本研究以自然班進行分組，具體如下：

表1 各班教學(xué)采用的不同字幕電影類型

2.觀看材料：

選定的三部英文電影：《結(jié)婚大作戰(zhàn)》，《大學(xué)之路》，《飛屋環(huán)游記》。理由：Krashen(1981)認為最佳語言輸入有以下幾個特點：1）語言習(xí)得者必須對傳遞的語言信息感興趣，從詞匯習(xí)得的角度出發(fā)，這種興趣能產(chǎn)生去理解信息中未知單詞的愿望。認知心理學(xué)家指出，要提高學(xué)生的注意力，必須讓學(xué)生在所學(xué)的科目和內(nèi)容上產(chǎn)生一定的興趣。2）信息中必須有一些語言習(xí)得者未能掌握的詞匯。大量的研究結(jié)果表明，一個人對中等復(fù)雜程度的刺激信息或相關(guān)事務(wù)最具興趣，也最能保持注意。如果刺激信息對個體的智力和知識經(jīng)驗過于簡單，沒有新的信息成分，就會引起學(xué)習(xí)者的厭煩情緒。如果刺激信息過于復(fù)雜，個體受自身智力或知識經(jīng)驗的限制，不能從中發(fā)現(xiàn)任何新信息，也不會長時間保持對這些信息的注意。因此，只有一個人面臨的刺激信息的難度稍微超過他的能力或知識經(jīng)驗，但又不會超過太多時，才能引起他的最大興趣和注意，從而有利于提高學(xué)習(xí)和記憶效率。3）所傳遞的語言信息必須是可理解的。

在其它班級進行的觀影預(yù)實驗結(jié)果顯示：學(xué)生認為這三部電影內(nèi)容風(fēng)趣詼諧且貼近生活，電影大意能夠理解但部分詞句的具體含義不甚清楚。

3.測試工具

詞匯水平測試（Vocabulary level test；VLT）

接受性詞匯測試，測試題后經(jīng)Laufer（1998）的修改成型，已被證明有很高的信度和效度(Nation1990)。

兩套測試題均由2千、3千、學(xué)術(shù)詞匯、5千和1萬共5個詞頻等級測試組成，每一級詞頻測試有30題，每題 1 分，共 30 分。 詞匯水平計算為：Vocabulary size=a/30×2000+b/30×1000+c/30×2000+e/30×5000。 （a、b、c、d、e分別為2千、3千、5千和1萬詞頻級測試得）(Laufer1998)。

4.實驗步驟和統(tǒng)計學(xué)處理

本實驗從第一周開始至十八周結(jié)束，3個班均由同一位英語老師教學(xué)，每次英語課 （兩節(jié)連堂共80分鐘）除傳統(tǒng)教學(xué)時間外均安排20分鐘左右的英文電影放映，按實驗分組的不同采用不同教學(xué)方法。所有同學(xué)均用同一VLT測試題進行了兩次測試，一次在實驗開始前（前測），另一次在實驗結(jié)束時（后測），每部電影連續(xù)播放兩次。根據(jù)前、后測成績的變化比較來探討不同教學(xué)方法的優(yōu)劣。所有數(shù)據(jù)使用SPSS15.0統(tǒng)計軟件，分析前對所有計量資料進行正態(tài)性檢驗，均服從正態(tài)分布，數(shù)據(jù)以均數(shù)±標準差表示，三種教學(xué)模式下學(xué)生詞匯量提高程度的比較用重復(fù)測量方差分析法，如有差異要進一步兩兩比較用LSD-t檢驗，以P﹤0.05認為差異有統(tǒng)計學(xué)意義。5.結(jié)果與討論

表2 學(xué)生在不同教學(xué)模式下詞匯量水平的比較（均數(shù)±標準差）

學(xué)生的后測成績均較前測成績提高（F=539.317，P<0.001），三種教學(xué)模式對學(xué)生詞匯量提高幅度之間的差異有統(tǒng)計學(xué)意義（F=15.175，P<0.001），其中“傳統(tǒng)教學(xué)法+觀影”要優(yōu)于“傳統(tǒng)教學(xué)法”（P=0.01），“傳統(tǒng)教學(xué)法+觀影+附加任務(wù)”又優(yōu)于“傳統(tǒng)教學(xué)法+觀影”（P=0.035）。

“傳統(tǒng)教學(xué)法+觀影”要優(yōu)于“傳統(tǒng)教學(xué)法”可解釋如下：記憶研究一致認為，心理映像是把信息引入記憶的基本途徑之一。日益增加的研究表明，圖片記憶比文字記憶容易。視覺映像與文字意義和聯(lián)想到文字的數(shù)量之間存在著高度相關(guān)。圖畫比句子更容易用來進行信息編碼。動態(tài)語境與靜態(tài)語境（我們把所有的文字語篇，包括電影里的字幕都納入靜態(tài)語境范疇）往往是同時作用于人的認知的，然而兩者具有互補性，只有把它們結(jié)合起來，才能正確地把握語境的語義。根據(jù)Sweller&Chandler(1990)的分離-注意理論(split-attention theory)和Baddeley的工作記憶模型（working memory model）,視覺工作記憶區(qū)域、聽覺工作記憶區(qū)域是相對獨立的，所以在語言習(xí)得過程中，不同類型的符號指向同一學(xué)習(xí)內(nèi)容時，可以充分調(diào)動人們的視聽兩個感知通道的注意力。同時，理想的效果應(yīng)是：在視覺工作區(qū)加工所形成的視覺意象與在聽覺工作區(qū)加工所形成的相關(guān)的聽覺意象互相一致，也就是我們常說的，看到的與聽到的一樣，如此才能引起聲畫信息（即視聽信息）疊加聯(lián)想，加大感知深度，產(chǎn)生“1+1>2的教學(xué)效果(Baddeley 1992)。這是外語影視教學(xué)的目的，也是傳統(tǒng)教學(xué)與英文電影優(yōu)化組合的出發(fā)點。

對于“傳統(tǒng)教學(xué)法+觀影+附加任務(wù)”優(yōu)于“傳統(tǒng)教學(xué)法+觀影”這個結(jié)果，我們可以將之解釋為對信息的不同加工程度不同而造成的，也就是說對詞匯的拼寫、意義等知識的注意程度不同造成的，而深層的編碼會產(chǎn)生更好的學(xué)習(xí)與記憶效果。按照Schmidt(1990)解釋，有無任務(wù)使單詞的凸顯性不一樣，從而使學(xué)習(xí)效果不一樣。

六、結(jié)語

單一的文本模式很難滿足當(dāng)前多媒體日益發(fā)展的趨勢，人的信息獲得離不開經(jīng)驗的情境，并且受到情境中各種特征的影響。以語言符號為主、非語言符號為輔的原則，它們同時作用于學(xué)習(xí)者的認知活動中（曾方本2010）。電影的信息傳播過程主要依靠畫面，即以非語言符號為主，電影的目的在于提供一種有效的語言教學(xué)或語言學(xué)習(xí)工具。歸根到底，外語多媒體所蘊含的動態(tài)文本才是學(xué)習(xí)者的習(xí)得內(nèi)容，其信息載體主要體現(xiàn)在語言符號中，而不是音樂、圖像等非語言符號中。因此，必須建立以語言符號為主、非語言符號為輔的外語多媒體符號表征體系，非語言符號雖然能引起學(xué)習(xí)者的興趣，但過多使用非語言符號會使英文電影的融入成為一種單純的娛樂，從而分散學(xué)習(xí)者的注意力。

電影教學(xué)要使學(xué)習(xí)者能夠真正成為學(xué)習(xí)任務(wù)的參與者。圍繞著交際目的而產(chǎn)生的互動才是有價值的，交際任務(wù)越具體越好。這意味著，任務(wù)必須注重使學(xué)習(xí)者在使用語言的過程中將注意力放到交際目標上，而不是僅僅去解決語言形式上的問題。學(xué)習(xí)者需要機會輸出目的語，應(yīng)積極參與二語活動，盡量多地獲取交流機會，電影教育應(yīng)有利于語言交際能力的培養(yǎng)，電影內(nèi)容的選擇要重視語境的構(gòu)建，并且要體現(xiàn)以語言信息為中心，要注意發(fā)揮包括字幕、聲音、圖像在內(nèi)的符號作用，重視學(xué)習(xí)者的語言認知規(guī)律，運用多模態(tài)觀察、分析、表述各類語篇信息，并在課堂呈現(xiàn)和交流，支持學(xué)習(xí)者完成二語學(xué)習(xí)任務(wù)和交際目標。

總之，以研究多模態(tài)英語電影教學(xué)的命題，涵蓋的研究因素較多，本實驗僅對此做了有益的初步探討，實驗?zāi)Ｊ揭言谖倚嶋H教學(xué)工作中推廣試行，至今效果良好。

Baddeley,T.(1992).Computer-assisted language learning:An introduciton[A].In S.Fotos(ed.)Multimedia Language Teaching[M].Logos International.

Chapelle,C.(1998).A multimedia CALL:Lesson to be learned from research on instructed SLA[J].Language Learning&Technology，2(1).

Krashen,S.D.(2000).What does it take to acquire language?[J].ElSMagazine，3(3).

Krashen,S.D.(1981).Second Language Acquisition and Second Language Learning[M].New York:Prentice-Hall.

Laufer,B.(1998).The development of passive and active vocabulary in a second language：Same or different?[J].Applied Linguistics，19(2).

Mayer，R.E.(2005).Cognition Theory of Multimedia Learning [A].In R.E.Mayer (ed.).The Cambridge Handbook of Multimedia Learning[M].New York:Cambridge University Press.

Nation,I.S.P.(1990).Teaching and Learning Vocabulary[M].New York:Newbury House.

Saussure(2001).Course in General Linguistics[M].Beijing:Foreign Language Teaching and Reasearch Press.

Schmidt,R.W.(1990).The role of consciousness in second language learning[J].Applied Linguistics(2).

Sweller&Chandler(1990).An Introduction to Cognitive Linguistics[M].London:Longman.

Vanderplank,R.(1988).The value of teletext sub-titles in language learning[J].ELT Journal,42(4).

顧曰國 （2007）.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)(4)。

梁寧建 （2009）.應(yīng)用認知心理學(xué)[M].上海：上海教育出版社。

徐畔 （2012）.多模態(tài)視角下的高校英美文學(xué)專業(yè)課構(gòu)建——基于電影的多模態(tài)特征及在英美文學(xué)教學(xué)中的應(yīng)用[J].黑龍江高教研究(1)。

袁傳有 （2012）.“多模態(tài)信息認知教—學(xué)模式”初探[J].山東外語教學(xué) (4)。

曾方本 （2010）.現(xiàn)代語言學(xué)理論與外語多媒體教學(xué)[M].廣州：暨南大學(xué)出版社。

朱永生(2007).多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊(5)。