多模態(tài)理論視角下多媒體課件應(yīng)用研究
——以2014年全國多媒體課件大賽獲獎?wù)n件為例

莫川川

（廣州番禺職業(yè)技術(shù)學(xué)院外語外貿(mào)學(xué)院，廣東廣州511400）

新媒體技術(shù)的發(fā)展為教學(xué)提供了現(xiàn)代化教學(xué)手段，豐富了教學(xué)材料，使得學(xué)習(xí)環(huán)境呈多模態(tài)化，培養(yǎng)學(xué)生的多元識讀能力（Multiliteracy）成為教育界的共識.多元識讀是長期致力于語言讀寫能力研究的新倫敦團(tuán)體（New London Group)于1996年首次提出［1］.多元識讀理論有兩個重要原則，一是讀寫教育要考慮文化和語言的多樣性；二是文本的構(gòu)成不應(yīng)僅限于書面的文字，也要考慮信息與多媒體技術(shù).除了文字模之外，意義系統(tǒng)還應(yīng)包括非語言模態(tài)，如聲音、圖像、空間位置、手勢和視頻信號等信息.多元識讀理論一經(jīng)提出，即得到語言學(xué)研究者和語言教師的認(rèn)同，與之配套的相關(guān)理論研究和實(shí)證研究也層出不窮，產(chǎn)生了豐富的研究成果.但多元識讀理論的發(fā)展也存在短板——缺乏詳實(shí)的課堂研究［2］.研究基于多模態(tài)下的圖像語法和認(rèn)知心理學(xué)分層加工理論，以2014年第十四屆全國多媒體課件大賽英語課獲獎?wù)n件為例，對優(yōu)質(zhì)課件中文字與圖像的呈現(xiàn)特點(diǎn)和交互作用展開分析，希望為廣大英語教學(xué)與研究者提供指導(dǎo)和借鑒.

1 多模態(tài)下的圖像語法與分層加工

1.1 圖像語法

模態(tài)意義構(gòu)建意識是多元識讀能力發(fā)展的前提［3］.最具代表性的就是Kress G和Van L T提出的圖像語法.將韓禮德的功能語法理論用來分析圖像，建立以“再現(xiàn)意義”、“互動意義”和“構(gòu)圖意義”為中心的圖像語法理論框架.口語語法是建立在對句法、動詞和名詞的固定使用上；而圖像語法則產(chǎn)生于構(gòu)圖角度、空間維度和視角的使用習(xí)慣［4］.此理論適用于多模態(tài)文本的分析，網(wǎng)絡(luò)傳媒和紙質(zhì)傳媒均使用，如學(xué)校的教材、網(wǎng)頁和雜志等，多媒體課件就是圖像語法應(yīng)用的典型.

傳統(tǒng)語法研究是語言單位（如單詞、短語或分句等）的使用模式.圖像也是一種意義符號，它們的使用模式就是圖像語法［5］.圖像語法以圖像的“再現(xiàn)意義”、“互動意義”和“構(gòu)圖意義”為分析對象，解釋一定社會文化背景下，人們建構(gòu)圖像意義背后的心理機(jī)制.“再現(xiàn)意義”是圖像在現(xiàn)實(shí)世界中的映射，如紅十字標(biāo)志在現(xiàn)實(shí)世界中對應(yīng)人道主義援助；“互動意義”是指作者希望借由圖像對其與觀眾之間的人際關(guān)系進(jìn)行主動調(diào)節(jié)，即作者希望通過圖像建立積極的人際關(guān)系.“構(gòu)圖意義”指整體圖像上的不同位置體現(xiàn)不同的信息值和顯著性.研究表明，新信息和公認(rèn)信息的信息值高；舊信息和有爭議的信息值低.信息的顯著性則可通過多種途徑實(shí)現(xiàn)，如位置（居中為顯著信息）、大小、顏色、重合來表現(xiàn).為了判斷圖像成分的信息價值的輕重，Kress和Leeuwen認(rèn)為，根據(jù)從左到右和從上到下的閱讀習(xí)慣，把頁面分為4個象限（見圖1）［4］.上下的區(qū)分是與本體判斷相關(guān)（理想與現(xiàn)實(shí)之間的區(qū)別），左右之分則是與信息的狀態(tài)相聯(lián)系.圖像語法是基于大量西方繪畫作品分析得出的對人類集體無意識呈現(xiàn)畫面信息布局的規(guī)律，依據(jù)人們普遍的審美和認(rèn)知加工習(xí)慣而展開，符合語法的圖像，觀眾看起來更舒服，容易識記且符合人們的主觀期望，在一定社會文化條件下具有科學(xué)性和普適性.

1.2 分層加工理論

傳統(tǒng)語法教學(xué)中，英語詞匯的學(xué)習(xí)主要通過機(jī)械復(fù)述方式實(shí)現(xiàn)，學(xué)生的記憶效果差，效率低下，實(shí)踐證明詞匯直接教學(xué)法的教學(xué)效果有缺陷.分層加工理論認(rèn)為記憶的保持不在于復(fù)述時間的長短，而在于加工方式的差異.加工層次越深，記憶效果越好［6］.詞匯的加工有兩層，第一層是形式加工，即單詞的拼寫和讀音；第二層是語義加工，即單詞的橫組合關(guān)系和縱聚合關(guān)系.橫組合關(guān)系即詞的搭配，如目標(biāo)詞為名詞，則要找出與之形成搭配關(guān)系的動詞或形容詞.縱聚合關(guān)系有3種，即同義關(guān)系、上下義關(guān)系和語義場關(guān)系.同義關(guān)系指近同義詞；上下義關(guān)系為詞義內(nèi)包關(guān)系，被包含的詞是“下義詞”，相對意義較概括的詞為“上義詞”，如apple是fruit的下義詞.語義場關(guān)系表示某一事物或某一部分生活經(jīng)驗(yàn)的詞聚合，如pink，yellow，white，orange，blue等一起構(gòu)成顏色語義場.形式加工是淺層次加工；語義加工是深層次加工.學(xué)習(xí)者對新單詞加工層次越深，保持效果越好.對于語義的加工最好是產(chǎn)出性加工，即要使學(xué)習(xí)者自己產(chǎn)出含有目標(biāo)詞的句子，這樣比教師給出含有目標(biāo)詞的句子對長期記憶更有幫助.學(xué)習(xí)要善于激活和利用已有知識對新信息進(jìn)行主動建構(gòu)，才會記憶深刻［7］.滿足認(rèn)知加工要求的詞匯呈現(xiàn)至少應(yīng)該包含4個層面：拼寫、讀音、搭配詞和近義詞，其他的語法范疇和語境意義也可以幫助豐富單詞呈現(xiàn)的面貌.

圖1 圖像語法的頁面象限圖

2 案例分析

以2014年第十四屆全國多媒體課件大賽高中英語獲獎?wù)n件Unit 5 Feeling Excited中的兩類典型為例，分析它在多模態(tài)單詞呈現(xiàn)形式和多層認(rèn)識加工設(shè)計方面的特點(diǎn)，以透析圖像和文字的交互作用.

2.1 幻燈片1

（1）圖像語法層面.圖2的再現(xiàn)意義準(zhǔn)確—女孩的表情準(zhǔn)確再現(xiàn)了目標(biāo)單詞shy的意義；互動意義也很生動，迎合中學(xué)生興趣品味的動漫人物形象，能成功吸引學(xué)生的注意力，激發(fā)他們的學(xué)習(xí)興趣，但在構(gòu)圖意義上則出現(xiàn)了兩個失誤.首先，看圖猜詞練習(xí)的工作程序是先看圖后猜詞，且人們的閱讀習(xí)慣也是先上后下，圖片和文字的呈現(xiàn)順序應(yīng)以圖在上，字在下為妥.其次，淺色（作者原圖為紅色）為亮色，用來突顯新信息或重要信息；深色（作者原圖為黑色）為默認(rèn)色，是已知信息的常用顏色.在圖中目標(biāo)詞shy應(yīng)該以淺色顯示為佳，因?yàn)樗菍W(xué)生學(xué)習(xí)活動所要尋找的新信息；而句子本身應(yīng)以深色呈現(xiàn)，以襯托目標(biāo)單詞的重要性，其他同樣的方式呈現(xiàn)的6個情感形容詞（angry，sad，frightened，lonely，nervous和 disappointed） 均可采取同樣的修改方式，依據(jù)圖像語法的要求對幻燈片一進(jìn)行修改后的頁面見圖3.

圖2 幻燈片一

（2）分層加工層面.以形容詞系列幻燈片組成的詞匯直接教學(xué)設(shè)計較好的呈現(xiàn)了深層次加工要求的詞匯橫組合和縱聚合知識.在此例中，詞匯橫組合知識是指在水平方向上作為形容詞的shy可以和系動詞（be動詞，感觀動詞）組成系表結(jié)構(gòu)，充當(dāng)句子的謂語成分（藍(lán)色部分）.縱聚合知識是指在垂直方向上除了shy之外，可以充當(dāng)補(bǔ)語的其它常見情感形容詞還有 frightened，sad，angry，lonely，nervous，disappointed 等.橫組合知識在一張幻燈片上呈現(xiàn)，而縱聚合知識是通過連續(xù)多張同類幻燈片呈現(xiàn)，示例見圖4.

圖3 幻燈片一的修改建議

圖4 常見情感形容詞

圖5 猜詞練習(xí)

盡管這部分練習(xí)在詞匯深層知識層面的呈現(xiàn)效果不錯，但在詞匯淺層知識的呈現(xiàn)方面有所欠缺.圖4的7個單詞都是學(xué)生們已經(jīng)習(xí)得的舊單詞，在針對它們進(jìn)行詞匯練習(xí)前，也應(yīng)當(dāng)對舊知識進(jìn)行適當(dāng)?shù)募せ?，這有助于學(xué)生完成新舊知識的交替轉(zhuǎn)換.反之，如果7個目標(biāo)詞匯為本單元要學(xué)習(xí)的新單詞，這樣不遵守由淺入深的學(xué)習(xí)規(guī)律，無異于凌空建高樓，不利于獲得最佳的教學(xué)效果.根據(jù)學(xué)習(xí)的心理認(rèn)知規(guī)律，建議該教師進(jìn)行猜詞練習(xí)前，先向?qū)W生呈現(xiàn)目標(biāo)單詞的淺層知識，如一個詞形和詞義的連線練習(xí)（見圖5），以調(diào)動學(xué)生的詞形和詞義知識，在向老師匯報練習(xí)結(jié)果時，又可以調(diào)動詞匯的語音知識.加入這樣的組合，該猜詞練習(xí)才能成功呈現(xiàn)四層詞匯基本認(rèn)知加工層次.

2.2 幻燈片二

（1）圖像語法層面.此幻燈片位于知識講授部分.頁面上各部分內(nèi)容的播放順序以中文數(shù)字標(biāo)注，它的主圖位于頁面右下角（見圖6），以年輕的女學(xué)生做演講關(guān)聯(lián)目標(biāo)單詞speech和nervous的學(xué)習(xí)，再現(xiàn)和互動意義明顯.（如果這里換上名人演講的照片則不妥，因?yàn)槊搜葜v不會讓人產(chǎn)生“緊張”的聯(lián)想）.圖片的女孩與學(xué)生們年齡相仿，容易使大家產(chǎn)生共鳴，展開聯(lián)想.需要學(xué)生進(jìn)行認(rèn)知加工的圖片屬于新信息，位于右邊；天使圖像的信息New words屬于舊信息，位于頁面的左邊，整個頁面圖像布局清晰，符合圖像語法的要求.

圖6 幻燈片二

圖7 幻燈片二修改

（2）詞匯分層加工層面.幻燈片二與一不同，它進(jìn)行了明確的詞匯淺層知識呈現(xiàn)—目標(biāo)單詞speech和nervous的拼寫和音標(biāo)都在頁面顯著位置標(biāo)出，而且speech的詞義也做了注釋.在詞匯深層知識方面，該幻燈片呈現(xiàn)了目標(biāo)單詞的橫組合知識：“giving a speech”，并用紅色凸顯這一慣用搭配的習(xí)得價值.同樣，另一目標(biāo)單詞nervous只呈現(xiàn)了橫組合知識“be feeling nervous”的常用法.然而兩個單詞的縱聚合知識都沒有得到呈現(xiàn).當(dāng)然，這種在一個頁面上同時呈現(xiàn)兩個目標(biāo)單詞的做法本身就值得商榷，一個頁面聚焦一個單詞的教學(xué)比較理想.如前文所說，對縱聚合知識的呈現(xiàn)一般從同義關(guān)系、上下義關(guān)系和語義場關(guān)系著手.幻燈片一中的縱聚合呈現(xiàn)的是同屬于“情緒語義場”的7個單詞.在幻燈片二中，筆者建議可以考慮從同義關(guān)系入手，增加speech一詞的縱聚合知識呈現(xiàn)形式.對幻燈片進(jìn)行修改（見圖7）：刪除問題how is she feeling now及其回答，取代之以選擇填空題—“從下列單詞中選擇合適的詞替代上句中的“speech”.要正確回答這一問題，學(xué)生們需要對speech的詞義、使用語境和語法要求有充分認(rèn)識，這樣才能準(zhǔn)確找出speech語境下的近義詞“l(fā)ecture”.

2.3 幻燈片1和2共性

學(xué)者Lessing聚焦文字與圖像間的交互作用，指出文字是一種時間的延伸；而圖像是空間的擴(kuò)展.也有學(xué)者強(qiáng)調(diào)兩者的相似處以模糊兩者的區(qū)別［8］.他們認(rèn)為文字和圖像是相互交織在一起，各以使用符號和象征手法表現(xiàn)人類經(jīng)驗(yàn)的獨(dú)特方式［9］.多模態(tài)意義建構(gòu)角度下的圖像和文字以不同的交互作用方式對學(xué)習(xí)者的理解產(chǎn)生重大影響.Holtzman將文字與圖像的關(guān)系總結(jié)如下：一是鏡像關(guān)系，如圣經(jīng)故事與根據(jù)該故事繪制的畫作［10］.兩者描述相同的故事內(nèi)容，但由不同作者在不同的時間完成；二是類比關(guān)系，如用向上的箭頭和向上生長的樹木代表數(shù)量的上升；三是補(bǔ)充說明關(guān)系，如兒童繪本中的故事與插圖.鏡像關(guān)系中，圖像內(nèi)容忠實(shí)體現(xiàn)文字內(nèi)容，信息不多不少，也不延伸文字的意義邊緣.這類圖像的理解最簡單，對觀眾的常識水平和背景知識不作要求.相比之下，類比關(guān)系和補(bǔ)充說明關(guān)系中的圖像理解比較復(fù)雜.前者要觀眾具備一定的常識，能快速判斷圖像和文字中的相似成分而定，以理解類比關(guān)系的形成；而后者要求觀眾對文字表述的內(nèi)容具備一定背景知識，以了解圖像信息是如何對文字信息進(jìn)行補(bǔ)充和說明.在選例中，教師全部選擇了與文字內(nèi)容呈鏡像關(guān)系的圖片來輔助文字信息的呈現(xiàn)，突顯學(xué)習(xí)目標(biāo)，這充分說明了鏡像圖片在教學(xué)中的首選地位.正因?yàn)樗睦斫庾顬楹唵?、直觀，不需要復(fù)雜的認(rèn)知加工過程，使學(xué)習(xí)者可以將注意力和時間集中于文字內(nèi)容的理解上.通常，只有在教學(xué)對象的意義過于抽象，很難找到對應(yīng)的鏡像圖像的情況下，才會考慮選擇類比圖像，以便抽象概念的具體化.

3 結(jié)語

多媒體課件是具有多模態(tài)意義表述的產(chǎn)品，它的制作除了貼切的教學(xué)內(nèi)容選擇外，尤為重要的是對內(nèi)容的呈現(xiàn)方式要符合人們的多模態(tài)意義構(gòu)建習(xí)慣和認(rèn)知加工規(guī)律.忽視科學(xué)規(guī)律，將會使教學(xué)內(nèi)容的呈現(xiàn)變成雜亂無序的材料的堆積，造成學(xué)習(xí)者邏輯的混亂.以英語單詞直接教學(xué)為例，新單詞在多媒體教學(xué)課件中的呈現(xiàn)需要進(jìn)行形式和內(nèi)容兩方面的加工.在形式加工層面，可以按照圖像語法的要求，選擇合適的圖片，并對圖片在整個頁面中的布局進(jìn)行相應(yīng)的設(shè)計.在內(nèi)容加工層面，應(yīng)該遵循認(rèn)知心理學(xué)分層加工理論，對詞匯和淺層知識（拼寫、讀音和意義）和深層知識（橫組合與縱聚合）都應(yīng)有適當(dāng)?shù)某尸F(xiàn).當(dāng)然這種多模態(tài)、多層次的單詞呈現(xiàn)方式的使用要遵從課程標(biāo)準(zhǔn)的要求.一般來說只適合于高中以上的學(xué)生.對初級英語水平的學(xué)生過多的呈現(xiàn)單詞的深層知識可能會造成學(xué)生很大的理解和記憶負(fù)擔(dān)，引發(fā)他們對詞匯學(xué)習(xí)的反感［11］.

［1］Group N L.A Pedagogy of Multiliteracies：Designing Social Futures[J].Harvard Educational Review，1996，15（6）:61-83.

［2］PrainV.Mult(national)literacies and globalising discourses[J].Discourse:Studiesin theculturalpolitics of education，1997，18(3):453-467.

［3］韋琴紅.視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究[M].北京:北京科學(xué)出版社，2009.

［4］Kress G，Van L T.Reading Images:the Grammar of Visual Design[M].London:Routledge，1996.

［5］Jewitt C.Technology，Literacy and Learning——A Multimodal Approach[M].London:Routledge，2006.

［6］Craik F I M，Tulving E.Depth of Processing and the Retention of Words in Episodic Memory[J].Journal of Experimental Psychology，1975，3（104）:268-294.

［7］張宗慶，吳喜燕.認(rèn)知加工層次與外語詞匯學(xué)——詞匯認(rèn)知直接學(xué)習(xí)法[J].現(xiàn)代外語，2002，10（2）:176-186.

［8］Lessing G H.Laocoon[M].London:Oxford University Press，1965.

［9］Bal M.Reading Rembrandt:Beyond the word-image opposition[M].Cambridge:Cambridge University Press，1991.

［10］Holtzman A.Literature and the Visual Arts[M].Tel Aviv:Hakibbutz Hameuchad，1997.

［11］鄭煥華.例談高中英語詞匯教學(xué)中的問題及對策[J].中小學(xué)外語教學(xué)（中學(xué)篇），2013，12（4）:56-58.