多模態(tài)話語理論下多媒體技術(shù)在外語教學(xué)中的理性運(yùn)用

●李麗娟 任 春

一、引言

人的認(rèn)知學(xué)習(xí)過程首先從感知開始，而語言學(xué)習(xí)中涉及最多的感知便是聽覺和視覺。視覺與聽覺在信息輸入過程中，在腦神經(jīng)里采用的是兩種不同的系統(tǒng)，日常學(xué)習(xí)中不難發(fā)現(xiàn)一旦有視覺的介入聽覺就會(huì)受到影響。最明顯的體現(xiàn)就是在聽力練習(xí)過程中一旦有文字呈現(xiàn)，我們更傾向于接受文字即視覺的輸入，而聽覺的信息輸入就會(huì)減弱甚至消失。另一方面，近年來由于手機(jī)軟件的不斷開發(fā)，許多同學(xué)喜歡使用有圖片輔助的單詞記憶軟件來記憶單詞，如扇貝、百詞斬等，同學(xué)們普遍反映這些軟件在幫助記憶單詞方面有一定作用，但是在運(yùn)用方面卻頻頻出錯(cuò)。這說明這些單詞軟件并未能讓同學(xué)們真正學(xué)習(xí)到單詞的內(nèi)涵及其運(yùn)用，這其中圖片信息的輸入雖起到了記憶的輔助作用，但在理解上卻會(huì)造成干擾。同樣，在教學(xué)過程中PPT 的過度使用也遇到此類問題，在外語教學(xué)過程中教師們或多或少都會(huì)使用制作精美的PPT，配有音樂或圖片的教學(xué)課件在教學(xué)時(shí)非常具有吸引力，能引起同學(xué)們的關(guān)注，短時(shí)間看來在教學(xué)效果非常明顯。但從長時(shí)記憶和理解上來看，效果卻并不理想，由于圖片信息輸入產(chǎn)生的固定模式甚至還會(huì)使理解產(chǎn)生偏差。為什么會(huì)產(chǎn)生這些現(xiàn)象，在教學(xué)過程中該如何正確有效地利用圖片或其它多媒體信息來輔助大學(xué)生的外語學(xué)習(xí)呢？

二、多模態(tài)學(xué)習(xí)機(jī)制

模態(tài)在本文指人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機(jī)器、物件、動(dòng)物等)之間的互動(dòng)方式。用單個(gè)感官進(jìn)行互動(dòng)的叫單模態(tài), 用兩個(gè)或以上感官互動(dòng)的叫多模態(tài)。用這個(gè)定義看,正常人之間的互動(dòng)都是多模態(tài)的[1]。正常人的認(rèn)知過程（信息輸入、理解、記憶、隱喻、概念整合等）均呈多模態(tài)特征，外語的教學(xué)活動(dòng)既涉及聽覺也涉及視覺，是多模態(tài)互動(dòng)的,因此，從多模態(tài)理論角度出發(fā)，研究在教學(xué)過程中視覺信息輸入與聽覺信息輸入之間的關(guān)系及其對(duì)于外語學(xué)習(xí)的影響是首要研究內(nèi)容。

語言學(xué)習(xí)是信息和行為循環(huán)整合的復(fù)雜且微妙的過程。來自不同感官的信息（視覺、聽覺、觸覺、嗅覺等）經(jīng)過各自感覺皮層的分別處理，再匯集到多模態(tài)聯(lián)合皮層進(jìn)行整合，在記憶里留下痕跡，存貯以備后期工作和發(fā)出行為指令。整合后的信息經(jīng)由大腦皮層一路下行，發(fā)出行為指令，引起相關(guān)運(yùn)動(dòng)行為。這些行為繼而又衍生出新的感覺信息，周而復(fù)始，使得大腦不斷整合信息、更新信息儲(chǔ)備，產(chǎn)生新的意識(shí)、概念和行為。

多模態(tài)感知學(xué)習(xí)是人類學(xué)習(xí)最初也是最常見的模式。不同通道的感覺刺激，雖在屬性上千差萬別，身處信息豐富環(huán)境下的人類對(duì)這些感覺的協(xié)調(diào)能力依然出眾，多模態(tài)的感知能力為我們提供了強(qiáng)大的生存和行為優(yōu)勢(shì)[2]。比如，視覺刺激中的顏色信息和聽覺刺激下的語音信息，在神經(jīng)系統(tǒng)交互整合下能進(jìn)行轉(zhuǎn)換，這也就產(chǎn)生了閱讀時(shí)文字“聲音”在腦海中的回旋，也能在聽到動(dòng)物叫聲時(shí)構(gòu)建出動(dòng)物的畫面。然而除了具備有針對(duì)性地、交替地使用這些感覺信息的能力外，在多模態(tài)感知學(xué)習(xí)下，若當(dāng)某一種感覺信息輸入減弱，我們?nèi)员３至藢?duì)該事物進(jìn)行識(shí)別的能力。多模態(tài)模式的信息處理和知識(shí)學(xué)習(xí)在現(xiàn)代多媒體條件不斷發(fā)展的情況下更加明顯也愈發(fā)重要，外語學(xué)習(xí)中感知學(xué)習(xí)決定了聽覺、視覺信息的獲取，因此，研究聽覺信息、視覺信息的輸入、處理和交互作用對(duì)于外語教學(xué)尤為重要。

三、多模態(tài)轉(zhuǎn)換的外語學(xué)習(xí)及其教學(xué)啟示

學(xué)習(xí)實(shí)質(zhì)上是學(xué)習(xí)者建構(gòu)個(gè)體知識(shí)的過程[3]。不同階段、不同性別、不同背景的學(xué)習(xí)者往往有不同的學(xué)習(xí)風(fēng)格，它的形成受多種外部因素的影響。包括家庭背景、學(xué)習(xí)環(huán)境、社會(huì)條件等。但是學(xué)習(xí)風(fēng)格形成的主要原因可能還是內(nèi)在的，包括性格、觀念、認(rèn)知特點(diǎn)、語言水平等。一般認(rèn)為學(xué)習(xí)者有四種基本的學(xué)習(xí)感知模式：視覺學(xué)習(xí)模式（visual learning）、 聽 覺 學(xué) 習(xí) 模 式（auditory learning）、體驗(yàn)學(xué)習(xí)模式（kinesthetic learning） 和動(dòng)手操作學(xué)習(xí)模式（tactile learning）。體驗(yàn)學(xué)習(xí)模式和動(dòng)手操作學(xué)習(xí)模式合稱為“觸覺學(xué)習(xí)模式”（haptic learning）。學(xué)習(xí)者往往在某一種學(xué)習(xí)模式方面表現(xiàn)最為突出，通過視覺方式學(xué)習(xí)最有效的學(xué)習(xí)者可稱之為“視覺型學(xué)習(xí)者”；同理以聽覺為最為有效學(xué)習(xí)方式的學(xué)習(xí)者可以稱之“聽覺學(xué)習(xí)者”；“觸覺型學(xué)習(xí)者”則通過動(dòng)手和親自體驗(yàn)才能獲得最佳的學(xué)習(xí)成果。根據(jù)對(duì)幼兒學(xué)習(xí)的觀察，通過具有直觀性和體驗(yàn)性的視覺跟視頻流進(jìn)行互動(dòng)，其學(xué)習(xí)成本與效果之間的比例比起其他模態(tài)來說,學(xué)習(xí)效果最好。直觀體驗(yàn)性學(xué)習(xí)往往是“暗學(xué)習(xí)”(implicit leaning),不知不覺地就會(huì)了, 兒童習(xí)得母語口語大部分都是通過暗學(xué)習(xí)方式習(xí)得的。然而，事實(shí)上在大學(xué)生的外語學(xué)習(xí)中，首要的感官信息獲取方式則與母語學(xué)習(xí)大不相同。筆者通過對(duì)在校學(xué)生學(xué)習(xí)方式進(jìn)行觀察，發(fā)現(xiàn)絕大多數(shù)大學(xué)生在外語學(xué)習(xí)過程中主要通過視覺來獲取信息，相應(yīng)的聽覺信息有缺失或有誤。這與兒童主要通過聽覺學(xué)習(xí)的方式有所不同，這也是兒童時(shí)期語音模仿能力更強(qiáng)的主要原因。

目前，盡管信息技術(shù)和媒體的不斷發(fā)展，外語學(xué)習(xí)仍然缺乏足夠的語音輸入環(huán)境，多數(shù)時(shí)候仍以書面語料為基本學(xué)習(xí)語源（由于書面語料的確定性），外語學(xué)習(xí)的基本模式依然是：（書寫語符+ 語義）→聲音語符，與母語習(xí)得（聲音語符+ 語義）→書寫語符模式相比較，依然是逆向的。外語過程中，學(xué)習(xí)者的視覺和聽覺要同時(shí)關(guān)注目的語的語音和文字兩類表征（每個(gè)詞的書寫符號(hào)都同時(shí)具有其語音形象，無聲的詞是不存在的）[4]。當(dāng)語音信息和視覺信息同時(shí)呈現(xiàn)時(shí)，注意力會(huì)偏向一個(gè)對(duì)象，對(duì)其加工，建立記憶。隨著年齡的增加、知識(shí)儲(chǔ)備增加、以及認(rèn)知方式的不同，成年外語學(xué)習(xí)者對(duì)視覺信息更敏感，這類學(xué)習(xí)者注意力會(huì)習(xí)慣性地選擇關(guān)注視覺符號(hào)。播放有字幕的視頻流時(shí)，在遇到陌生的語音信息時(shí)，成年外語學(xué)習(xí)者普遍會(huì)關(guān)注字幕，同時(shí)語音信息的接收也會(huì)減弱。對(duì)于以象形文字漢語為母語的外語學(xué)習(xí)者而言，對(duì)文字的依賴更明顯，若沒有文字作為支持，難以記住詞的語音信息。

基于目前普遍存在的成人外語學(xué)習(xí)注意力不能集中在語音信息或聽覺信息上的情況，外語教學(xué)也要實(shí)時(shí)做出相應(yīng)調(diào)整。語言學(xué)習(xí)其實(shí)是非常依賴于語音信息的輸入，只是在二外學(xué)習(xí)的語境下缺乏相應(yīng)的客觀條件，而研究表明，無論是拼音文字還是象形文字，其書寫符號(hào)的提取都依賴于其聲音信號(hào)[5-6]。教學(xué)過程中要解決的問題是如何引導(dǎo)成人外語學(xué)習(xí)者將注意力倚重于語音信息上，充分運(yùn)用語言聲音信號(hào)和語音話語第一性的語言基本原理。

首先，從課堂而言，教師外語教學(xué)過程中要避免過度依賴多媒體。筆者曾在課堂上多次試驗(yàn)，在沒有多媒體文字的輔助下，學(xué)生們會(huì)更容易將注意力集中在語音信息獲取上，而一旦有文字的輔助，學(xué)生們則更關(guān)注文字，語音信息的獲取會(huì)減弱甚至?xí)帘握Z音信息，完全關(guān)注文字信息。這與成年人習(xí)慣于視覺高效獲取信息的習(xí)慣密切相關(guān)。外語教學(xué)既要保障學(xué)生有足量的語音信息攝入，同時(shí)也要借助文字、圖片的輔助作用，二者的關(guān)系應(yīng)是語音為主要，文字或圖片為輔。而如今的外語教學(xué)則有過度依賴多媒體的現(xiàn)象，文字、圖片、視頻信息較多，純語音輸入環(huán)境較少。

其次，隨著現(xiàn)代多媒體技術(shù)的發(fā)展和新媒體傳播的無孔不入，學(xué)生們課堂外的自主學(xué)習(xí)素材中，視頻信息占主流。視頻對(duì)于外語學(xué)習(xí)的影響:一是會(huì)干擾聽覺信息的攝入，減少語言學(xué)習(xí)者必要的聽力練習(xí)；二是視頻學(xué)習(xí)減少了學(xué)習(xí)者對(duì)信息的加工，長期以往形成不良的學(xué)習(xí)習(xí)慣；三是視頻學(xué)習(xí)亦會(huì)分散學(xué)生注意力，易受其他娛樂節(jié)目的影響?；诙嗝襟w信息已經(jīng)普遍存在的前提，學(xué)生們更應(yīng)鼓勵(lì)多接受單模態(tài)的語音信息輸入，遵循語言學(xué)習(xí)規(guī)律，增加聽覺學(xué)習(xí)時(shí)間。具體而言，學(xué)生要增加語音信息的輸入，尤其是自身的語音信息輸入，這可以通過朗讀來實(shí)現(xiàn)。在朗讀時(shí)可刻意讓視覺離開文字，專注地感知詞的語音信號(hào)和聲音話語；鼓勵(lì)學(xué)生在朗讀完后增加對(duì)文章內(nèi)容進(jìn)行復(fù)述的步驟?，F(xiàn)在學(xué)生朗讀只是為了熟悉閱讀素材，都是無意識(shí)地進(jìn)行語音練習(xí)。有意識(shí)地原文進(jìn)行復(fù)述，是提高外語學(xué)習(xí)能力的關(guān)鍵步驟。復(fù)述的過程是學(xué)習(xí)者對(duì)素材認(rèn)知加工的過程，也是模態(tài)轉(zhuǎn)換的過程，原有的知識(shí)儲(chǔ)備、多模態(tài)通道間的互動(dòng)參與信息加工，使得學(xué)習(xí)者的話語能力得到順利發(fā)展。這也是在缺乏語言環(huán)境的條件下，外語學(xué)習(xí)者通過書面語言材料學(xué)習(xí)外語的科學(xué)彌補(bǔ)方法。

四、總結(jié)

利用多媒體技術(shù)輔助多模態(tài)學(xué)習(xí)是把雙刃劍。處理好可以把學(xué)習(xí)者的注意力真正集中在知識(shí)點(diǎn)上, 以達(dá)到強(qiáng)化記憶力的作用,從而提高學(xué)習(xí)效果;處理不好相反會(huì)分散學(xué)習(xí)者的注意力, 發(fā)生對(duì)知識(shí)點(diǎn)記憶力的干擾, 導(dǎo)致瞬間熱鬧而事后空空之感。就整體學(xué)習(xí)而言，通過視覺跟視頻流進(jìn)行互動(dòng)的直觀、體驗(yàn)性學(xué)習(xí)是技能類學(xué)習(xí)的有效學(xué)習(xí)方式。而通過視覺跟文字互動(dòng)去學(xué)習(xí)語言則是付出大而收獲小的學(xué)習(xí)方式。鑒于此，我們有必要根據(jù)大學(xué)生的認(rèn)知能力和學(xué)習(xí)內(nèi)容，探索出高效的教學(xué)模式，合理利用多媒體技術(shù)、調(diào)動(dòng)多模態(tài)互動(dòng)轉(zhuǎn)換、減少從輸入到產(chǎn)出之間的障礙，提高認(rèn)知效果。把語言文本信息以數(shù)字化方式放到計(jì)算機(jī)上讓學(xué)習(xí)者學(xué)外語是對(duì)計(jì)算機(jī)硬件資源的最低級(jí)使用。通過視覺型學(xué)習(xí)方式去學(xué)口語涉及到模態(tài)的轉(zhuǎn)換, 在缺乏外語學(xué)習(xí)環(huán)境的情況下，作為初始學(xué)習(xí)資源是不科學(xué)的,是一種費(fèi)時(shí)費(fèi)事且收效甚微的方式，也是腦力資源和硬件資源的浪費(fèi)。同樣,用視頻流材料僅僅為了增加趣味性是對(duì)高級(jí)多模態(tài)資源的低級(jí)使用，表面上看似引起了注意，實(shí)則會(huì)分散學(xué)習(xí)者工作記憶注意力，減少必要的信息加工程序，最終造成事后空空之感。恰當(dāng)?shù)靥幚砗枚嗝襟w資源與多模態(tài)的輸入與產(chǎn)出之間的關(guān)系就是外語教學(xué)的目標(biāo)。雖然是多模態(tài)教學(xué)，并不是指過度依賴多媒體，而是要合理利用多媒體制作課件，平衡感知與記憶之間的關(guān)系，使得外語教學(xué)內(nèi)容能進(jìn)入學(xué)生中長期記憶，形成持久的行為潛勢(shì)。