多媒體語境大學(xué)生視覺素養(yǎng)認(rèn)知建構(gòu)研究

□陳風(fēng)華

[香港理工大學(xué) 香港 999077]

多媒體語境大學(xué)生視覺素養(yǎng)認(rèn)知建構(gòu)研究

□陳風(fēng)華

[香港理工大學(xué) 香港 999077]

多媒體語境大學(xué)生視覺素養(yǎng)的認(rèn)知建構(gòu)是信息社會(huì)知識(shí)快速發(fā)展的時(shí)代訴求。研究結(jié)合多媒體認(rèn)知理論、視覺語法框架、概念隱喻理論和《新視野大學(xué)英語視聽說教程》（以下簡(jiǎn)稱《教程》）考察大學(xué)生視覺素養(yǎng)的概念隱喻認(rèn)知建構(gòu)過程及范式。主要發(fā)現(xiàn)：首先，《教程》設(shè)計(jì)目的是通過圖像幫助大學(xué)生全面和準(zhǔn)確理解圖文之間的內(nèi)在聯(lián)系，進(jìn)而夯實(shí)其視覺素養(yǎng)建構(gòu)的認(rèn)知水平；其次，《教程》通過知識(shí)視覺化和圖文關(guān)系建構(gòu)概念隱喻認(rèn)知模型，有助于大學(xué)生看懂和聽懂圖文內(nèi)容，從而顯著提高其視覺素養(yǎng)及聽說能力。為多媒體教學(xué)環(huán)境中如何有效提高大學(xué)英語教學(xué)效果提供了新的探索視角。

多媒體語境；視覺語法框架；大學(xué)生視覺素養(yǎng)；認(rèn)知建構(gòu)；概念隱喻理論

引言

現(xiàn)代社會(huì)數(shù)字信息的飛速發(fā)展使得視覺圖像越來越普遍地出現(xiàn)在多媒體教材中。視覺學(xué)習(xí)通過視覺整合方式進(jìn)行[1]，涉及圖像素養(yǎng)等技能[2]，是教與學(xué)發(fā)展的必由之路。眾所周知，高效視覺學(xué)習(xí)離不開科學(xué)的策略進(jìn)行指導(dǎo)[3]，如批判性解讀和系統(tǒng)性思維等符號(hào)分析技能越來越廣泛地被使用在各類語言環(huán)境中[4]。相關(guān)研究發(fā)現(xiàn)，《新視野大學(xué)英語視聽說教程》的圖像、動(dòng)畫和視頻等視覺符號(hào)能建構(gòu)語境，提高大學(xué)生聽力認(rèn)知能力[5]。同時(shí)，外語課程教與學(xué)信息化處理都是開始和結(jié)束于聽覺與視覺符號(hào)[6]。當(dāng)前多媒體教學(xué)語境中的大學(xué)生英語學(xué)習(xí)方法和策略均呈現(xiàn)不適應(yīng)特征，其主要原因是缺乏元認(rèn)知學(xué)習(xí)技能，如闡釋能力、思考能力與批判能力[7]。國(guó)內(nèi)有研究證明，目前大學(xué)生上述視覺素養(yǎng)認(rèn)知能力均呈現(xiàn)不充分狀態(tài)[8]，國(guó)外也有研究證實(shí)，很多學(xué)生能觀看和閱讀圖像的表層內(nèi)容，但是不能解釋和加工圖像的內(nèi)部特征[9]。

當(dāng)前學(xué)界對(duì)多媒體學(xué)習(xí)認(rèn)知領(lǐng)域研究窠臼于抽象的理論思辨和狹隘的經(jīng)驗(yàn)總結(jié)，缺少實(shí)用和有效的實(shí)證理據(jù)支撐，對(duì)《新視野大學(xué)英語視聽說教程》[10]（以下簡(jiǎn)稱《教程》）視覺素養(yǎng)視閾的深入探討更是寥寥無幾，凸顯《教程》圖像與文本建構(gòu)的概念隱喻領(lǐng)域存在廣闊的探索空間和研究潛力?！缎乱曇按髮W(xué)英語》作為全國(guó)首批教育部推薦使用的，聚多媒體、多渠道和全方位等特色于一體的新時(shí)代英語教材，具備第五代立體化教材的鮮明特色，其新穎、實(shí)用的精美插圖編排和按主題組織單元設(shè)計(jì)一經(jīng)問世便贏得社會(huì)各界贊譽(yù)一片。鑒于此，對(duì)其開展多維度、多層次探索和研究的重大意義不言而喻。本研究在多媒體學(xué)習(xí)理論、概念隱喻理論和視覺語法理論框架等理論基礎(chǔ)上系統(tǒng)考察《教程》插圖語料的語類及功能，以期探索圖像隱喻認(rèn)知建構(gòu)的基本范式，從而為我國(guó)多媒體語境如何有效提高大學(xué)英語聽說教學(xué)效果提供一定的參考價(jià)值。

一、多媒體語境視覺素養(yǎng)研究綜述

（一）多媒體語境

Mayer[11]提出5個(gè)認(rèn)知過程、3類認(rèn)知假設(shè)和3種概念隱喻，分別是選擇文本過程、選擇圖像過程、組織文本過程、組織圖像過程和圖文整合過程；“視覺+聽覺”雙通道假設(shè)、工作記憶有限能力假設(shè)與積極加工假設(shè)；多媒體學(xué)習(xí)是反應(yīng)強(qiáng)化、多媒體學(xué)習(xí)是信息獲取及多媒體學(xué)習(xí)是知識(shí)構(gòu)建。Veronikaset al.認(rèn)為多媒體語境包括3個(gè)描述維度：傳送教學(xué)信息電腦投影等設(shè)備、呈現(xiàn)教學(xué)信息圖文等資源以及接受教學(xué)信息聽覺、視覺等感官，并總結(jié)出22項(xiàng)多媒體語境學(xué)習(xí)認(rèn)知基本原理，其中與視覺素養(yǎng)密切相關(guān)有如下5項(xiàng)：（1）多媒體原理：圖文互補(bǔ)比純粹文字呈現(xiàn)方式更能提高學(xué)習(xí)質(zhì)量；（2）分散注意力原理：圖文空間位置與時(shí)間呈現(xiàn)相鄰能避免分散注意力；（3）提示原理：對(duì)教材內(nèi)容給予圖文信息提示能提升學(xué)習(xí)成效；（4）時(shí)空鄰近原理：空間鄰近指圖-文在書本或多媒體屏幕之間空間距離近時(shí)比距離遠(yuǎn)時(shí)學(xué)習(xí)效果要好，時(shí)間鄰近指圖文同時(shí)出現(xiàn)時(shí)學(xué)習(xí)效果超過交替出現(xiàn)時(shí)學(xué)習(xí)效果；（5）人性化原理：多媒體圖文呈現(xiàn)對(duì)話優(yōu)于正式、規(guī)則性呈現(xiàn)對(duì)話[12]。

國(guó)內(nèi)學(xué)者對(duì)多媒體語境也進(jìn)行了深入研究。孫燕青[13]認(rèn)為多媒體語境具有情境性、動(dòng)態(tài)性和交互性等優(yōu)勢(shì)，能給學(xué)習(xí)者提供生動(dòng)、自然和真實(shí)的語言信息，使學(xué)習(xí)更具趣味性和靈活性。陳一希[14]歸納大學(xué)英語多媒體教材的4個(gè)語境建構(gòu)特色：（1）語境標(biāo)志性語言元素?cái)?shù)量眾多、密度集中；（2）直觀語境紛紛建立，心理圖式加速重構(gòu)；（3）聲形并茂語境使學(xué)習(xí)者如同身臨其境，有助于提高其文化和語用能力；（4）言辭語境和非言辭語境元素的分布符合語義能力培養(yǎng)的教學(xué)目的。曾方本[15]提出外語多媒體情景即為視聽動(dòng)態(tài)語境，其信息載體包括聲音符號(hào)、聲響符號(hào)和圖像符號(hào)，符號(hào)表征體系的構(gòu)建要遵循視覺意象與聽覺意象相互一致的原則，這樣才能使視聽信息疊加聯(lián)系、增加感知深度，從而獲得理想的認(rèn)知效果。姜占好[16]總結(jié)多媒體語境的3個(gè)基本特征：（1）突出學(xué)習(xí)者本體地位；（2）提供語用能力發(fā)展語境；（3）提供語用能力發(fā)展互動(dòng)。

（二）概念隱喻

隱喻能力是外語學(xué)習(xí)者必備的認(rèn)知能力，它有助于增強(qiáng)學(xué)習(xí)者語法能力、語篇能力和策略能力。外語習(xí)得過程要求學(xué)習(xí)者像本族語者一樣能夠使用隱喻思維反映概念并對(duì)概念進(jìn)行解碼[17]。教師在外語教學(xué)過程中要通過讓學(xué)習(xí)者閱讀原版教材、觀看圖像/影視作品等方式創(chuàng)造、設(shè)計(jì)真實(shí)語境，提高學(xué)習(xí)者準(zhǔn)確理解和熟悉使用隱喻概念的能力[18]。

概念隱喻能力指理解、解碼和運(yùn)用語言概念系統(tǒng)的能力，包括發(fā)現(xiàn)隱喻、理解隱喻、提取隱喻和生產(chǎn)隱喻等方面。Lakoff & Johnson[19]提出概念隱喻理論，認(rèn)為隱喻是兩個(gè)概念域之間的映射形式和人類賴以生存的思維方式，人們使用具體的概念（源域）去認(rèn)知、建構(gòu)和表達(dá)另一個(gè)抽象的概念（目標(biāo)域），通過域際映射和意象圖式解讀源域與目標(biāo)域建構(gòu)的跨認(rèn)知域隱喻系統(tǒng)，概念隱喻包括方位隱喻、實(shí)體隱喻和結(jié)構(gòu)隱喻三個(gè)類型。Condon[20]認(rèn)為概念隱喻的系統(tǒng)性和重復(fù)性能夠顯著提高學(xué)習(xí)者對(duì)語言結(jié)構(gòu)和比喻表達(dá)的認(rèn)知能力。任紹曾[21]指出概念隱喻的體現(xiàn)形式為詞語、短語和句型。Forceville等學(xué)者自20世紀(jì)90年代起把語言學(xué)領(lǐng)域的概念隱喻研究拓展到聲音、色彩、圖像和空間布局等多模態(tài)領(lǐng)域。關(guān)注圖像等符號(hào)的多模態(tài)隱喻研究廣泛涉及各類模態(tài)的文體表達(dá)、動(dòng)態(tài)建構(gòu)和文化語境等多維視角，充分融合認(rèn)知語言學(xué)和符號(hào)學(xué)、傳媒學(xué)等多模態(tài)語篇等學(xué)科，如教材插圖、電影圖像和廣告圖畫，是一種新興的研究范式。

（三）視覺素養(yǎng)

Eppler和Burkard[22]創(chuàng)立知識(shí)可視化概念，認(rèn)為其優(yōu)勢(shì)表現(xiàn)在社會(huì)、情感和認(rèn)知，主要表征是其圖像解讀方式：圖文符號(hào)形成不同的認(rèn)知“圖形”，如概念圖、語義圖和思維圖等幫助學(xué)習(xí)者獲取信息，以及建構(gòu)和傳播知識(shí)。嚴(yán)曉蓉[23]指出，知識(shí)可視化是從圖文等視覺資源獲取知識(shí)的視覺學(xué)習(xí)重要方式，具備直觀性、趣味性、隱喻性和交互性，手語與書面語等視覺言語符號(hào)以及圖像與動(dòng)畫等非言語符號(hào)的有機(jī)結(jié)合使其成為讀圖時(shí)代的新型學(xué)習(xí)認(rèn)知范式。張舒予[24]認(rèn)為多媒體語境圖像的觀看特征需要擴(kuò)大認(rèn)知，圖像的文化內(nèi)容需要增加闡釋，媒介的傳播本質(zhì)需要深入揭示。在實(shí)證研究領(lǐng)域，中外學(xué)者如Seculeset al.[25]，李連生[26]和趙婷[27]研究證明，圖像和視頻等可視材料能顯著提高學(xué)習(xí)者聽力認(rèn)知水平。美國(guó)哈佛大學(xué)、耶魯大學(xué)等高校紛紛提供形如MOOCs集圖像、文本、視頻等于一體視覺學(xué)習(xí)大數(shù)據(jù)網(wǎng)絡(luò)資源。英國(guó)伯明翰大學(xué)專門建立視覺學(xué)習(xí)研究實(shí)驗(yàn)中心，大力提倡“案例研究(Case Studies)”觀念，我國(guó)南京師范大學(xué)開發(fā)建設(shè)視覺文化專題網(wǎng)站，始終倡導(dǎo)“從共享到共生”理念。

Debes[28]首次將視覺素養(yǎng)定義如下：通過觀察方式擁有及整合感覺經(jīng)驗(yàn)來建立視覺的能力，他提出決定視覺素養(yǎng)地位的4個(gè)學(xué)習(xí)經(jīng)驗(yàn)特征：（1）能讓學(xué)習(xí)者與圖像實(shí)現(xiàn)有意義交流；（2）能使學(xué)習(xí)者從自身所處環(huán)境出發(fā)選擇特定視覺現(xiàn)象；（3）能促使學(xué)習(xí)者擁有作出有意義視覺觀點(diǎn)機(jī)會(huì)；（4）能激發(fā)學(xué)習(xí)者在視覺上鍛煉想法，以及培養(yǎng)視覺素養(yǎng)的5個(gè)基本步驟：觀察、學(xué)習(xí)、交流、闡釋和理解。Kimberly[29]認(rèn)為視覺素養(yǎng)是區(qū)分和解釋視覺符號(hào)來獲取意義的能力。美國(guó)大學(xué)與研究圖書館協(xié)會(huì)(ACRL)發(fā)布的《高等教育視覺素養(yǎng)能力標(biāo)準(zhǔn)》指出，視覺素養(yǎng)是一系列使個(gè)體有效尋找、解釋、評(píng)估、使用和創(chuàng)造圖像與視覺的媒體能力；視覺素養(yǎng)技能為學(xué)習(xí)者裝備理解及分析視覺材料生產(chǎn)與使用過程中涉及語境、文化、道德、美術(shù)、知識(shí)及技巧的能力；具備視覺素養(yǎng)的個(gè)體既是對(duì)視覺媒體懷有批判眼光的消費(fèi)者，也是對(duì)公共知識(shí)及文化富有競(jìng)爭(zhēng)力的貢獻(xiàn)者；視覺素養(yǎng)包含下列7類評(píng)估標(biāo)準(zhǔn)：（1）識(shí)別視覺材料的類型與層次。（2）有效并迅速發(fā)現(xiàn)和獲得所需圖像和視覺媒體。（3）解釋并分析圖像和視覺的媒體意義。（4）評(píng)估圖像及其來源；（5）有效使用圖像和視覺媒體。（6）設(shè)計(jì)并創(chuàng)造意義深遠(yuǎn)的圖像和視覺媒體。（7）通曉圍繞在圖像與視覺媒體創(chuàng)造和使用周圍的道德、法律、社會(huì)及經(jīng)濟(jì)問題，并能在道德上使用這些材料。Beatty[30]提出，視覺素養(yǎng)是幫助人們批判性思考視覺信息的技能。國(guó)內(nèi)學(xué)界對(duì)圖像視覺素養(yǎng)領(lǐng)域研究尚處于初步階段：張舒予[31]認(rèn)為視覺文化包括所有通過視覺和知覺直接獲得信息進(jìn)而解讀其含義的文化樣式。何高大[3]把視覺素養(yǎng)概括為讀圖、解圖和譯圖認(rèn)知能力。

二、大學(xué)生視覺素養(yǎng)建構(gòu)考察

（一）《教程》插圖功能分類

插圖是《教程》的重要組成部分。Bryant[32]認(rèn)為幽默插圖能增加大學(xué)教材的吸引力。Levinet al.[33]指出，教材課文越難插圖越有幫助，插圖能提供文本所需的上下文語境來實(shí)現(xiàn)教材敘事的可視化，便于學(xué)習(xí)者理解和接受。Carney和Levin[34]證實(shí)插圖能提高學(xué)習(xí)者成績(jī)。中外代表學(xué)者分別對(duì)教材插圖的功能進(jìn)行了分類（參見表1）。高水紅[35]歸納教材插圖的3個(gè)特征：（1）再現(xiàn)與表現(xiàn)；（2）整體與整合；（3）感覺與感悟。宋振韶[36]從組織形式角度把教材插圖分為獨(dú)立圖（單幅圖像表達(dá)完整意義）、發(fā)散圖（多幅圖像表達(dá)共同主題）、序列圖（一組獨(dú)立圖像共同表達(dá)主題）和多層圖（由獨(dú)立圖像展開深入表達(dá)主題）。結(jié)合上述中外學(xué)者教材插圖功能研究成果及《教程》插圖位置分布與功能呈現(xiàn)客觀實(shí)際，我們提煉出如下的插圖類型：裝飾功能，表征功能和組織功能（參見圖1和圖2）。

圖1 《教程》插圖功能數(shù)量

圖2 《教程》各模塊插圖數(shù)量

從插圖的功能視閾考察（參見圖1），《教程》Unit 1-Unit 10每個(gè)單元都分為引導(dǎo)(Lead-in)、聽力(Listening-skills)和口語(Speaking-out)模塊。教育部頒布的《大學(xué)英語課程教學(xué)要求》要求：“大學(xué)英語教學(xué)目標(biāo)是培養(yǎng)學(xué)生的英語綜合應(yīng)用能力，特別是聽說能力”，“大學(xué)英語課程設(shè)計(jì)應(yīng)充分考慮聽說能力的培養(yǎng)要求，并給予足夠?qū)W時(shí)和學(xué)分”。一方面，就引導(dǎo)模塊而言，6個(gè)單元分別配有1幅插圖，4個(gè)單元分別擁有6到9幅插圖，出現(xiàn)這些差別的原因我們認(rèn)為是后4個(gè)單元的主題較為廣泛和抽象，使用多幅插圖更能激發(fā)學(xué)生的多樣認(rèn)知潛能。Pantaleo[37]證實(shí)，關(guān)注圖像的視覺設(shè)計(jì)和組成規(guī)則能提高學(xué)習(xí)者了解、闡釋、分析及創(chuàng)造圖像的能力。如主題為“Do You Work Out”的Unit 2配有8幅多樣戶外鍛煉插圖，創(chuàng)造出“Work Out”（鍛煉）現(xiàn)實(shí)語境，因而建構(gòu)了“鍛煉是戶外運(yùn)動(dòng)”隱喻模型。同樣地，語場(chǎng)為“How’s the Weather Today”的Unit 4配有6幅不同天氣插圖，建立“天氣是起霧、下雪、海嘯、下雨和打雷”隱喻。主題為“What’s Your Favorite Food”的Unit 5配有9幅中西食物插圖，營(yíng)造“食物是中餐和西餐”隱喻。主題為“Have a Nice Holiday” 的Unit 10配有7幅食物標(biāo)識(shí)、親人團(tuán)聚和鮮花禮品等插圖，制造“節(jié)日是和親人團(tuán)聚、品嘗佳肴和張燈結(jié)彩”隱喻。另一方面，就聽力模塊而言，每個(gè)單元的插圖數(shù)量比引導(dǎo)模塊增加明顯，尤其是第4和第5單元的插圖數(shù)量顯著增加為8幅和5幅，凸顯《教程》通過設(shè)計(jì)更多插圖來建構(gòu)多種真實(shí)語境，以提高學(xué)生在聽力語境中對(duì)天氣和食物話題的認(rèn)知理解水平。除此之外，就口語模塊而言，《教程》有7個(gè)單元的插圖數(shù)量超過聽力模塊數(shù)量，彰顯《教程》更注重提高學(xué)生在口語語境中的認(rèn)知水平。

從插圖功能在各單元所占的數(shù)量視野探索（參見圖2），首先，Unit 1-Unit 4的裝飾功能插圖數(shù)量對(duì)比表征功能和組織功能的數(shù)量而言相差懸殊，但Unit 5-Unit 10表明其數(shù)量增加值得關(guān)注。分析個(gè)中緣由，我們不難發(fā)現(xiàn)后6個(gè)單元的話題（Food，Health，Price，Housing-rent，Surfing-net，Holiday）比前4個(gè)單元的話題（College-life，Work-out，F(xiàn)riends，Weather）更富含實(shí)用性、知識(shí)性和趣味性，以及更貼近學(xué)生的日常學(xué)習(xí)和生活，因此也更容易引起學(xué)生的認(rèn)知興趣和學(xué)習(xí)動(dòng)力。其次，Unit 2、Unit 4和Unit 10的表征功能插圖數(shù)量相比其它7個(gè)單元數(shù)量增加顯著。探尋其中原因，我們不難判定：Unit 2描述Work-out主旨的插圖有8幅之多，隱喻該主題在聽說語境中的重要性；同樣，Unit 4的12幅插圖有6幅描寫抽象話題Weather，另外6幅闡述具體話題Weather of Forecasting。Unit 10的12幅插圖分別由描述具體話題Nice Holiday和Unforgettable Holiday的6幅插圖組成。最后，Unit 1-Unit 10組織功能插圖數(shù)量沒有出現(xiàn)跌宕起伏嬗變，其總量超過裝飾功能和標(biāo)志功能插圖，我們認(rèn)為其原因是《教程》在圖像視覺素養(yǎng)層面關(guān)照學(xué)生聽說語境中對(duì)插圖數(shù)量的認(rèn)知訴求，在概念隱喻建構(gòu)層面注重規(guī)避過難或過易的插圖認(rèn)知維度。

（二）《教程》插圖認(rèn)知構(gòu)建

Kress和van Leeuwen[38]提出視覺語法理論，把Halliday的三大語言元功能即概念功能、人際功能和語篇功能發(fā)展為再現(xiàn)功能、互動(dòng)功能和構(gòu)圖功能，主張圖像可以再現(xiàn)客觀世界。馮德正[39]認(rèn)為視覺語法的互動(dòng)功能構(gòu)建“圖像-觀眾關(guān)系是拍攝位置”隱喻，如“社會(huì)距離是權(quán)勢(shì)距離”、“權(quán)勢(shì)關(guān)系是垂直拍攝角度”，“觀眾參與是水平拍攝角度”等子隱喻，具體包括“近距離是短焦拍攝”與“遠(yuǎn)距離是長(zhǎng)焦拍攝”，“圖像權(quán)勢(shì)是低角度拍攝”、“平等是眼睛平視拍攝”與“觀眾權(quán)勢(shì)是高角度拍攝”，“觀眾參與是正面拍攝”與“觀眾疏遠(yuǎn)是背面拍攝”等隱喻構(gòu)式。由此可知，圖像個(gè)人距離的正面角度或稍側(cè)面平視是將讀者視作圖像的一部分，從而建立圖像參與者與讀者之間的互動(dòng)親密關(guān)系。如果讀者需要通過俯視方式來觀察圖像參與者，此時(shí)讀者與圖像參與者之間關(guān)系為參與者享受權(quán)勢(shì)，如（3a）設(shè)計(jì)為個(gè)人距離的稍側(cè)面平視角度，隱喻歡迎讀者參與到插圖中的活動(dòng)。總的來看，《教程》平視角度設(shè)計(jì)的插圖數(shù)量遠(yuǎn)遠(yuǎn)超過俯視數(shù)量（參見圖4），預(yù)示《教程》期望學(xué)生積極參與圖像設(shè)計(jì)的聽說語境，也隱喻聽說語境認(rèn)知中學(xué)習(xí)個(gè)性化和自主性等未來發(fā)展方向。如（3b）設(shè)計(jì)角度為俯視，暗示讀者享有權(quán)勢(shì)地位，意味讀者要使用批評(píng)或批判眼光看待插圖內(nèi)容?？疾煸摬鍒D主題“Problem of Meeting People”, 其聽力語境是學(xué)生抱怨與他人交往遇到不少麻煩，此時(shí)學(xué)生就能夠在上述認(rèn)知基礎(chǔ)上獨(dú)立判斷，該插圖設(shè)計(jì)目的是隱喻人際交往中不能一味抱怨，這樣就為后續(xù)的圖文概念隱喻建構(gòu)認(rèn)知奠定堅(jiān)實(shí)的理論基礎(chǔ)。

從插圖的構(gòu)圖功能視域分析，《教程》艷麗紛呈的圖像元素給學(xué)生的視覺享受帶來饕餮盛宴。Heinichet al.[40]研究表明，彩色圖像的應(yīng)用效果優(yōu)于黑白圖片。Teng & Sun[41]研究發(fā)現(xiàn)，水平軸排列的圖像呈現(xiàn)明喻特征，垂直軸擺放的圖像表現(xiàn)對(duì)比表征，曲線則展現(xiàn)目標(biāo)域的永不停歇特點(diǎn)。據(jù)此可知（參見圖3），（3c）水平軸排列插圖描述的都是相同類型的戶外運(yùn)動(dòng)，而上下軸分布插圖則描寫對(duì)比類型戶外活動(dòng)：如“1”與“6”展現(xiàn)男性和女性性別對(duì)比，“2”與“4”展示籃球與羽毛球大小對(duì)比，“5”與“6”呈現(xiàn)陸地與水上方式對(duì)比。這樣一來，學(xué)生就會(huì)建構(gòu)如下插圖認(rèn)知：運(yùn)動(dòng)不分男女；運(yùn)動(dòng)不分體育器材大?。贿\(yùn)動(dòng)不分陸地水上，進(jìn)而在此認(rèn)知經(jīng)驗(yàn)上建構(gòu)下列運(yùn)動(dòng)概念隱喻：“運(yùn)動(dòng)是男人和女人鍛煉”；“運(yùn)動(dòng)是打籃球和羽毛球”；“運(yùn)動(dòng)是陸地和水上鍛煉”。從插圖語類方面探究（參見圖5），《教程》的漫畫數(shù)量中有8個(gè)單元都是配備1幅，除了Unit 1的2幅，Unit 9的3幅，各單元其它插圖都是真實(shí)語境相片，這印證了《教程》“旨在通過真實(shí)場(chǎng)景全面提高學(xué)生英語聽說能力”的編寫理念。

從插圖認(rèn)知隱喻建構(gòu)的層面考察，Barthes[42]提出，圖像的語言訊息包含標(biāo)題、解說詞、電影對(duì)白和漫畫文字等元素，能“錨定”和“接力”圖像。O’Neil[43]認(rèn)為圖畫教科書的圖文存在增強(qiáng)、描述、互惠和密切聯(lián)系的關(guān)系?！督坛獭访繂卧谡Z模塊視頻文字右邊的插圖都設(shè)計(jì)有一句英文，表明視頻文字用來“接力”插圖訊息。反過來，學(xué)生在口語語境認(rèn)知學(xué)習(xí)中也能夠通過插圖的圖文信息來“錨定”視頻文字。Felten[44]指出看圖不是被動(dòng)的認(rèn)知刺激接受過程，而是積極的意義建構(gòu)。束定芳[45]提出隱喻的認(rèn)知過程包括辨認(rèn)隱喻及推斷含義，學(xué)生一旦發(fā)現(xiàn)本體和喻體之間的相似性，就能在聽說訓(xùn)練中直接進(jìn)入意義推斷過程，精準(zhǔn)理解本體特征（參見表2，每單元隨機(jī)選取1個(gè)例子，我們把口語模塊視頻文字視為源域，插圖配備文字視為目標(biāo)域）。

圖3 《教程》插圖設(shè)計(jì)角度和排列示例

圖4 《教程》插圖設(shè)計(jì)角度和排列位置

圖5 《教程》漫畫插圖各模塊分布

表2 《教程》概念隱喻認(rèn)知模型范例

三、結(jié)語

Mitchell[46]指出21世紀(jì)問題是圖像問題。束定芳[47]認(rèn)為隱喻理論對(duì)語言認(rèn)知的教與學(xué)具有積極的指導(dǎo)作用和應(yīng)用價(jià)值。朱建新[48]提出大學(xué)英語教學(xué)中提高學(xué)生隱喻認(rèn)知思維能力的3種策略：一詞多義認(rèn)知分析、英漢隱喻對(duì)比分析和隱喻表達(dá)認(rèn)知分析?！洞髮W(xué)英語課程教學(xué)要求》要求，“各高等學(xué)校應(yīng)根據(jù)本校條件和學(xué)生英語水平探索、建立網(wǎng)絡(luò)環(huán)境下聽說教學(xué)模式”。因此，對(duì)多媒體語境大學(xué)英語視聽說教材的深入研究迎合了當(dāng)代大學(xué)生亟需提高視覺素養(yǎng)認(rèn)知隱喻能力的現(xiàn)實(shí)訴求。視覺素養(yǎng)有助于快速培養(yǎng)大學(xué)生視覺感官經(jīng)驗(yàn), 切實(shí)提高其認(rèn)知素養(yǎng)和言語素養(yǎng)，從而使其逐步成為全面發(fā)展復(fù)合型人才。

圖6 《教程》圖像素養(yǎng)認(rèn)知隱喻建構(gòu)框架

當(dāng)前學(xué)界對(duì)隱喻領(lǐng)域研究局限于語篇、語法和詞匯層面，對(duì)視覺素養(yǎng)認(rèn)知隱喻的理論和理據(jù)層面系統(tǒng)研究尚不多見。本研究以多媒體認(rèn)知學(xué)習(xí)理論和視覺語法設(shè)計(jì)框架為研究依據(jù)，以《教程》插圖的功能、語類及數(shù)量等語料為考察對(duì)象，系統(tǒng)探索了多媒體語境《教程》視覺素養(yǎng)認(rèn)知隱喻的建構(gòu)框架（參見圖6）。研究發(fā)現(xiàn)：首先，77幅口語模塊、36幅引導(dǎo)模塊和36幅聽力模塊插圖說明《教程》重視聽說語境學(xué)生認(rèn)知水平，更強(qiáng)調(diào)通過圖像素養(yǎng)提高學(xué)生隱喻建構(gòu)能力；其次，73幅組織功能、35幅裝飾功能和31幅表征功能插圖表明《教程》聽力和口語模塊圖文的設(shè)計(jì)目的是通過圖像可視化幫助學(xué)生全面和準(zhǔn)確理解圖像內(nèi)容的內(nèi)在聯(lián)系，從而為建構(gòu)其隱喻認(rèn)知能力提供堅(jiān)實(shí)基礎(chǔ)；第三，數(shù)量很少的漫畫插圖證明，其在《教程》中主要充當(dāng)裝飾功能，絕對(duì)數(shù)量?jī)?yōu)勢(shì)的相片插圖則證實(shí)，《教程》努力為學(xué)生營(yíng)造真實(shí)的語言場(chǎng)景來學(xué)習(xí)地道語言；最后，《教程》通過圖像可視化和圖文關(guān)系建構(gòu)概念隱喻模型，這樣能夠幫助學(xué)生精確看懂和聽懂圖文內(nèi)容，顯著提高其聽說語境認(rèn)知能力。毋庸諱言，限于《教程》插圖數(shù)量等語料限制，本研究存在一定局限性。展望未來研究，我們堅(jiān)信后續(xù)研究在更龐大和詳實(shí)語料基礎(chǔ)上會(huì)加以進(jìn)一步改進(jìn)和完善我們現(xiàn)有的研究發(fā)現(xiàn)。

[1] KLEINMAN E, DWYER F. Analysis of computerized visual skills： relationships to intellectual skills and achievement[J]. International Journal of Instructional Media, 1999(1)： 53-69.

[2] LEITE W, SVINICKI, SHI Y. Attempted validation of the scores of the VARK//Learning styles inventory with multitrait - multimethod confirmatory factor analysis models[C]. SAGE Publications, 2009.

[3] 何高大. 二語習(xí)得視覺化研究的幾個(gè)關(guān)鍵問題[J]. 外語電化教學(xué), 2014(1)： 27-32.

[4] 何蓮珍, 林曉. 高等教育環(huán)境下外語交際能力的培養(yǎng)—現(xiàn)實(shí)困頓和解決途徑[J]. 現(xiàn)代外語, 2015(1)： 83-92.

[5] 張小彩, 劉陳艷. 多模態(tài)語篇分析視角下的視聽說教程[J]. 內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)： 社會(huì)科學(xué)版, 2011(2)： 113-115.

[6] 胡加圣, 陳堅(jiān)林. 外語教育技術(shù)學(xué)論綱[J]. 外語電化教學(xué), 2013(2)： 3-12.

[7] 何高大, 鐘志英. 大學(xué)生對(duì)多媒體技術(shù)輔助大學(xué)英語教學(xué)的適應(yīng)性研究[J]. 外語電化教學(xué), 2006(2)： 41-48.

[8] 武文穎, 浦曉露. 大學(xué)生視覺素養(yǎng)認(rèn)知能力調(diào)查[J].當(dāng)代傳播, 2009(5)： 41-44.

[9] METROS S E. Educator's role in preparing visually literate learners[J]. Theory into Practice, 2008(2)： 102-109.

[10] 徐鐘. 新視野大學(xué)英語視聽說教程1[M]. 第二版. 北京：外語教學(xué)與研究出版社, 2013.

[11] MAYER R E. The cambridge handbook of multimedia learning[M]. Cambridge： Cambridge University Press, 2005.

[12] VERONIKAS S, SHAUGHNSSY M, 盛群力. 教育心理學(xué)與教育技術(shù)學(xué)聯(lián)盟：促進(jìn)學(xué)習(xí)者認(rèn)知變化—與理查德梅耶教授訪談[J]. 遠(yuǎn)程教育雜志, 2008(1)： 21-26.

[13] 孫燕青, 董奇. 多媒體語境條件下的第二語言詞匯學(xué)習(xí)[J]. 心理科學(xué)進(jìn)展, 2003(2)： 147-152.

[14] 陳一希. 紙質(zhì)教材和多媒體教材的語境比較及案例分析[J]. 外語電化教學(xué), 2006(1)： 66-70.

[15] 曾方本. 外語多媒體設(shè)計(jì)的符號(hào)學(xué)思考[J]. 外語教學(xué), 2006(6)： 59-61.

[16] 姜占好. 多媒體外語教學(xué)語境下學(xué)習(xí)者語用能力的發(fā)展探討[J]. 外語電化教學(xué), 2009(3)： 28-32.

[17] 陳朗. 二語教學(xué)中的隱喻能力培養(yǎng)[J]. 外語學(xué)刊,2010(5)： 47-49.

[18] 蔣敏, 王榮明. 二語概念隱喻能力培養(yǎng)研究述評(píng)[J].外語界, 2015(4)： 51-57.

[19] LAKOFF G, JOHNSON M. Metaphors we live by[M]. Chicago： University of Chicago Press, 1980.

[20] Condon N. How cognitive linguistic motivations influence the learning of phrasal verbs[C]//BOERS F,LINDSTROMBERG S. Cognitive linguistic approaches to teaching vocabulary and phraseology. Berlin： Mouton de Gruyter, 2008： 133-158.

[21] 任紹曾. 概念隱喻及其語篇體現(xiàn)—對(duì)體現(xiàn)概念隱喻的語篇的多維分析[J]. 外語與外語教學(xué), 2006(10)： 17-21.

[22] EPPLER M J, BURKARD R A. Knowledge visualization： towards a new discipline and its fields of application[C]// SCHWARTZ D G. Encyclopedia of knowledge management. Hershey： Idea Group Publishing, 2004.

[23] 嚴(yán)曉蓉, 何高大. 視覺學(xué)習(xí)視角下的語言可視化表征與教學(xué)應(yīng)用[J]. 遠(yuǎn)程教育雜志, 2015(2)： 46-54.

[24] 張舒予. “視覺文化與媒介素養(yǎng)”課程核心理念與教學(xué)設(shè)計(jì)[J]. 現(xiàn)代遠(yuǎn)程教育研究, 2012(2)： 38-43.

[25] SECULES T S C, HERRON, TOMASELLO M. The effect of video context on foreign language learning[J]. Modern Language Journal, 1992(4)： 480-490.

[26] 李連生, 沈虹穎. 搞好視聽教學(xué)推進(jìn)英語教育[J]. 外語電化教學(xué), 2001(1)： 43-46.

[27] 趙婷, 張法科. 影響聽力理解的一個(gè)超語言因素—可視材料[J]. 外語電化教學(xué), 2005(6)： 51-54.

[28] DEBES J L. Some foundations for visual literacy[J].Audiovisual Instruction, 1968(13)： 961-964.

[29] KIMBERLY B M. Visual literacy and visual learning：integrating visual imagery into the early childhood classroom[EB/OL]. (2002-08-26). http：//teacher.scholastic.com/polaroid.

[30] BEATTY N A. Cognitive visual literacy： from theories and competencies to pedagogy[J]. Art Communication, 2013(1)：33-43.

[31] 張舒予. 視覺文化概論[M]. 南京：江蘇人民出版社,2003.

[32] BRYANT J D, BROWN A, SILBERBERG S E.Effects of humorous Illustrations in college textbooks[J].Human Communication Research, 1981(1)： 43-57.

[33] LEVIN J, ANGLIN G, CARNEY R. on Empirically Validating Functions of Pictures in Prose[C]//HOUGHTON H,WILLOWS D. the Psychology of Illustration. New York：Springer Verlag, 1987.

[34] CARNEY R, LEVIN J. Pictorial illustrations still improve students’ learning from text[J]. Educational Psychology Review, 2002(1)： 5-26.

[35] 高水紅. 教材插圖初探[J]. 教育研究與實(shí)驗(yàn),2000(3)： 36-40.

[36] 宋振韶. 教科書插圖的認(rèn)知心理學(xué)研究[J]. 北京師范大學(xué)學(xué)報(bào)： 社會(huì)科學(xué)版, 2005(6)： 22-26.

[37] PANTALEO S. Language, literacy and visual texts[J].English in Education, 2015(2)： 113-129.

[38] KRESS G, LEEUWEN V. Reading images： the grammar of visual design[M]. London & New York： Routledge,1996.

[39] 馮德正. 多模態(tài)隱喻的構(gòu)建與分類—系統(tǒng)功能視角[J]. 外語研究, 2011(1)： 24-29.

[40] HEINICH R, MOLENDA M, RUSSELL J D,SMALDINO S E. Instructional media and technologies for learning[M]. New Jersey： Prentice Hall, 1999.

[41] TENG N Y, SUN S. Grouping, simile, and oxymoron in pictures： A design-based cognitive approach[J]. Metaphor and Symbol, 2002(4)： 295-316.

[42] BARTHES R. The Photographic Message, Image-Music-Text[C]. London： Fontana, 1961.

[43] O’NEIL K E. Reading pictures： developing visual literacy for greater comprehension[J]. Reading Teacher,2011(3)： 214-223.

[44] FELTEN P. Visual literacy[J]. Resource Review,2008(6)： 60-64.

[45] 束定芳. 論隱喻與明喻的結(jié)構(gòu)及認(rèn)知特點(diǎn)[J]. 外語教學(xué)與研究, 2003(2)： 102-107.

[46] MITCHELL W J. Picture theory： essays on verbal and visual representation[M]. Chicago： University of Chicago Press,1995.

[47] 束定芳, 湯本慶. 隱喻研究中若干問題和研究課題[J]. 外語研究, 2002(2)： 1-6.

[48] 朱建新. 概念隱喻與外語教學(xué)[J]. 外國(guó)語文,2009(6)： 121-126.

Exploration on College Students’ Cognitive Construction of Visual Literacy in Multimedia Context

CHEN Feng-hua
(The Hong Kong Polytechnic University HongKong 999077 China)

The cognitive construction of college students' visual literacy in the multimedia context is the era call from the rapid development of the knowledge information. This research combines multimedia cognition theory, visual grammar framework, and the textbook of New Horizon College English： Viewing, Listening,Speaking to explore the process and paradigm of concept metaphor's cognitive construction by college students. It is found out that： first, the design intention of the textbook is to help college students both entirely and accurately understand the interior image-text connections through the illustrations, and further enhance the cognitive level constructed by their visual literacy; second, the textbook constructs the cognitive model of concept metaphor through knowledge visualization and image-text relation, which helps college students see clearly and listen well the image-text content, so that their visual literacy as well as listening and speaking capability are significantly facilitated. The research is believed to be capable of offering innovative exploration perspective on how to effectively improve college English's pedagogy quality.

multimedia context; visual grammar framework; college students' visual literacy; cognitive construction; conceptual metaphor theory

H0-05

A

10.14071/j.1008-8105(2017)04-0090-07

編 輯 鄧婧

2016 - 07 - 12

陳風(fēng)華（1975- ）男，香港理工大學(xué)人文學(xué)院應(yīng)用語言科學(xué)2014級(jí)博士研究生.