詞典多模態(tài)釋義對英語二語詞匯學(xué)習(xí)影響的實(shí)證研究

陳賢德

（北京語言大學(xué) 教師教育學(xué)院，北京，100083）

釋義是詞典學(xué)研究的核心問題，著眼于2000 多年的辭書發(fā)展史,辭書的釋義方法大體經(jīng)歷了隨文釋義、同義詞釋義、“屬+種差”釋義、整句釋義、模板釋義五個階段[1]。但這五個發(fā)展階段均都未突破紙媒的界限，詞典釋義研究也仍局限于對釋義文本的“精雕細(xì)琢”，“循環(huán)釋義”“內(nèi)涵不彰”“以難釋易”等釋義問題仍舊顯著。受限于信息媒介的限制，傳統(tǒng)紙質(zhì)詞典并不能有效地解決上述問題，也因此紙質(zhì)詞典的“進(jìn)化”變得越來越困難，“牛津”“朗文”等系列學(xué)習(xí)詞典雖然還在不斷修訂，但在釋義上已難以有較大的提升[2]。

在二語教學(xué)界，新倫敦團(tuán)體（NEW London－Group 1996）認(rèn)為傳播媒介的飛速發(fā)展已經(jīng)促使了人們讀寫方式的深刻改變，人們不再局限于通過紙質(zhì)文本去獲取知識，還要借助聲音、圖片、視頻等進(jìn)行多元識讀[3]。因此，讀寫認(rèn)知能力也該向更多符號系統(tǒng)組成的媒介轉(zhuǎn)換（transmediation）朝多元識讀方向發(fā)展，即從傳統(tǒng)的讀寫能力（literacy）轉(zhuǎn)向能通過語言、視覺、聽覺等多模態(tài)形式批判性地識讀和理解多媒介信息的多元識讀能力(multiliteracies)[4]。為促進(jìn)二語被試多元識讀能力的提升，多元識讀法也順勢而生，相關(guān)研究也已證明，多元識讀法是一種有效的二語學(xué)習(xí)方法。[5-7]為順應(yīng)二語教學(xué)的深刻變化，在辭書研究領(lǐng)域，Lew（2010）在《多模態(tài)詞典學(xué)：電子詞典的意義呈現(xiàn)方式》一文中最早提出“多模態(tài)詞典學(xué)（Multimodal Lexicography）這一概念”[8]。國內(nèi)研究方面，黨軍則率先指出雙語詞典應(yīng)實(shí)現(xiàn)多模態(tài)化，并以詞典交際論為理論框架,引入多模態(tài)語篇理論,指出了詞典的多模態(tài)化的諸多優(yōu)勢[9]。但正如章宜華所言，他們的研究混淆了“媒體”與“模態(tài)”的概念，把復(fù)雜的模態(tài)簡化為了媒體[2]，同時也忽視了各種模態(tài)的有效融合在詞典中發(fā)揮的作用。

基于此，章宜華[10]、李宇明[11]、亢世勇[12]等人提出了“融媒體辭書”編纂概念。從辭書表征的視角講，融媒體辭書融合的對象是詞典的多模態(tài)表征。詞典釋義方式也應(yīng)由單模態(tài)釋義向多模態(tài)釋義轉(zhuǎn)變，釋義不應(yīng)只局限于語言文字模態(tài)釋義,還應(yīng)包含其他不同類型的非語言模態(tài)釋義形式,應(yīng)涵蓋視覺、聲音及觸感模態(tài)釋義等。目前的研究多已證實(shí)多模態(tài)釋義效果要優(yōu)于文字單模態(tài)釋義，如武衛(wèi)、許洪通過實(shí)證研究表明圖文釋義比只有文字的釋義更加有利于詞匯附帶學(xué)習(xí)，“漢語+圖畫”的組合注釋對詞匯附帶學(xué)習(xí)最有效[13]。李紅、李于南（2007）的研究也證實(shí)，“圖文”雙模態(tài)釋義更有助于英語新詞詞義的學(xué)習(xí)和長時記憶[14]。

然而，國內(nèi)的“多模態(tài)釋義”或“多模態(tài)詞典”研究，雖名為“多模態(tài)”，但實(shí)為“圖文雙模態(tài)”研究，如羅永勝《多模態(tài)英語學(xué)習(xí)詞典圖文釋義模式探究》[15]、田晶晶《高階英語學(xué)習(xí)詞典的多模態(tài)釋義研究》[16]、陳思一葉《高階英語電子詞典圖文關(guān)系的多模態(tài)研究》[17]等，多只局限于探討詞典中的圖文配置關(guān)系、圖片類型等，對于其他模態(tài)元素尤其是視頻、音頻在詞典釋義中發(fā)揮的作用探討較少，多模態(tài)釋義的實(shí)證研究也鮮見。

基于以上研究背景，本文以英語水平較弱和較高的的初中學(xué)生為被試，考察在刻意詞匯學(xué)習(xí)條件下詞典多模態(tài)釋義是否比文字單模態(tài)釋義更有助于漢語二語詞匯學(xué)習(xí)。具體來說，我們要回答以下三個問題：（1）多模態(tài)釋義下的詞匯學(xué)習(xí)是否要顯著優(yōu)于文字單模態(tài)釋義下的詞匯學(xué)習(xí)？（2）相較于文字單模態(tài)釋義，多模態(tài)釋義是否在具體詞和抽象詞中的學(xué)習(xí)中均表現(xiàn)出促進(jìn)優(yōu)勢？（3）相較于文字單模態(tài)釋義，多模態(tài)釋義是否在不同水平的初中英語學(xué)習(xí)中均具有優(yōu)勢？

一、研究方法

（一）被試

被試為就讀于重慶某校的12～15 歲的80名初中學(xué)生。取被試期中成績與期末成績的平均值，并將平均值劃分為四個分段：100～90 分為A 段，89～75 分為B 段，74～60 分為C 段，59 分及其以下為D 段。其中A、B 分段的學(xué)生代表了英語水平較高的被試，C、D 分段的學(xué)生代表了英語水平相對較弱的被試。A、B、C、D 四個分段各20 人，共80 人。

（二）實(shí)驗(yàn)材料

目標(biāo)詞的確立總共分三個步驟：（1）詞類選擇上主要選擇開放性的詞類如名詞、動詞、形容詞和副詞。確定了所要測試的詞類后，為了保障所選詞語被試從未接觸過，從雅思、托福等有較高難度的英語測試中選擇詞語，所選詞語均在人教版初中英語詞匯表外。為降低詞長因素對記憶的干擾，所選詞語詞長控制為8 到10 個字母間。為防止被試通過所學(xué)詞根推理出詞義，構(gòu)詞中的詞根被試均未學(xué)習(xí)過，如“Arrogantly”中的“Arrogant”。（2）請與被試組語言水平相當(dāng)?shù)粎⒓诱綔y試的其他同學(xué)先行測試，并同時請被試的英語老師進(jìn)行核對，以確保目標(biāo)詞被試從未學(xué)習(xí)過，如不達(dá)標(biāo)則進(jìn)行替換，替換詞語要求與被替換詞語詞長、詞性一致。（3）張萍根據(jù)認(rèn)知語言學(xué)理論，從空間概念和感官體驗(yàn)兩個角度對具體詞和抽象詞進(jìn)行了劃分。具體詞即指那些通過感覺器官可以在現(xiàn)實(shí)世界被感知的物理實(shí)體如DOG [n]、被實(shí)踐的行為動作如SMILE[v]、被體驗(yàn)的感覺特征如SOFT[adj.]。抽象詞則指不能被五官直接感知的概念如INDIVIDUALISM [n]、肉眼難見的心理活動如SUPPOSE[v]、各類事物的特征屬性如UNIQUE[adj.][18]。基于張萍的論述，實(shí)驗(yàn)中的具體詞由15 個五官可以直接感知的名詞、動詞構(gòu)成，抽象詞由15 個五官不易直接感知的形容詞、副詞構(gòu)成，共計30個詞語：

具體詞：Pentagon 五邊形，Popsicle 冰糕，Gardenia 梔子花，Camellia 山 茶 花，Hibiscus 木 槿，Dromedary 單峰駝，Partridge 山鶉，Cardigan 開襟毛衣，Recliner 可調(diào)式躺椅，Hibernate 冬眠，Germinate 發(fā)芽，Pollinate 授粉，Excavate 挖掘，Meander 蜿蜒而流，Strangle 絞死。

抽象詞：Periodic 周期的，Statutory 法定的，Soporific 催眠的，Deprived 貧困的，Ossified 僵化的，Inimical 有害的，Notorious 臭名昭著的，F(xiàn)rivolous輕浮的，Wantonly 惡意地，Brashly 盛氣凌人地，Arrogantly 自 大 地，Strikingly 驚 人 地，Succinctly簡潔地，Rigorously 嚴(yán)厲地，Scornfully 輕蔑地。

確定了目標(biāo)詞后，我們開始制作單模態(tài)釋義與多模態(tài)釋義的實(shí)驗(yàn)材料。單模態(tài)釋義組只提供文字文本，文本內(nèi)容根據(jù)《牛津高階英漢雙解詞典》詞語信息收錄情況依次排列目標(biāo)詞詞形、音標(biāo)、詞性、中英文釋義和例句，其中例句在《牛津高階英漢雙解詞典》例句的基礎(chǔ)上進(jìn)行簡化以符合被試目前認(rèn)知水平，如：

Gardenia n./a bush with shiny leaves and large white or yellow flowers with a sweet smell,also called gardenias 梔子花/Gardenias are white and beautiful.梔子花潔白而美麗。

根據(jù)章宜華對詞典多模態(tài)元素的劃分為每個詞語制作多模態(tài)釋義視頻[2]，視頻中的模態(tài)元素包括:（1）音頻，中英文朗讀目標(biāo)詞讀音、釋義與例證。（2）圖片，展示與目標(biāo)詞相關(guān)的動態(tài)圖片或靜態(tài)圖片。（3）短視頻，播放與目標(biāo)詞相關(guān)的釋義短視頻，如“Wantonly”一詞所配備的短視頻是一個人在惡意地破壞環(huán)境，“Soporific”則是一個人在上課時昏昏欲睡。釋義模態(tài)呈現(xiàn)順序?yàn)橄扔梦淖帜B(tài)展示目標(biāo)詞詞性、詞形與釋義，在展示的同時朗讀上述目標(biāo)詞信息。隨后，播放釋義短視頻，每個詞語的釋義短視頻時長控制在1 分半左右。最后，同時呈現(xiàn)目標(biāo)詞詞形、詞性、釋義、例證與圖片，在展示的同時朗讀上述目標(biāo)詞文字信息（如圖1 所示）。此外，多模態(tài)釋義組所使用文本的內(nèi)容在文字釋義文本的基礎(chǔ)上增加了圖片，以體現(xiàn)模態(tài)的交融性。為抵消詞語呈現(xiàn)的先后順序?qū)τ洃浀挠绊懀覀儗⒃~語呈現(xiàn)的順序打亂為幾個不同的版本。

圖1 釋義視頻中模態(tài)元素展示順序

（三）測量工具

實(shí)驗(yàn)的測量工具為兩套結(jié)構(gòu)和內(nèi)容相同的測試題，分別用于即時測和延后測，題型為詞匯理解測試與詞匯產(chǎn)出測試。詞匯理解測試有兩類題型：

一是給出目標(biāo)詞詞形，讓被試者用漢語寫出釋義。如：

Arrogantly：____________Cardigan：____________

二是選詞填空，如：

①Germinate ②Rigorously

③Periodic ④Ossified

Duanwu Festival is a traditional and____________holiday originating in China.

詞匯產(chǎn)出測試共兩類題型：

一是漢翻英，如：

梔子花潔白而美麗。

_______________________________________________

二是用所給目標(biāo)詞造句，如用“Periodic”造出完整的句子。詞匯理解型題目共計30 道，每題1 分，共計30 分，題型一中單詞含義書寫正確得1 分，字形錯誤如多筆劃、少筆劃等但不影響理解或用拼音代替漢字同樣得分；題型二中正確寫出單詞所對應(yīng)序號或直接寫出正確詞形得1 分。詞匯產(chǎn)出型題目共計30 道，每題1 分，共計30 分，題型一中句子語法正確、單詞書寫正確且表意清晰，得1 分。語法錯誤、單詞書寫錯誤，出現(xiàn)一處扣0.5 分，扣完為止，目標(biāo)詞書寫錯誤不得分，句子表意不明不得分。題型二與題型一評分標(biāo)準(zhǔn)一致。

（四）實(shí)驗(yàn)程序

實(shí)驗(yàn)程序包括：前測、目標(biāo)詞學(xué)習(xí)、即時測、延后測、問卷調(diào)查。

（1）前測。對未參加測試但與被試者語言水平相當(dāng)?shù)膶W(xué)生進(jìn)行目標(biāo)詞測試，同時將目標(biāo)詞給被試的任課教師進(jìn)行審核，以確保被試從未學(xué)過目標(biāo)詞。

（2）目標(biāo)詞學(xué)習(xí)。被試分別對30 個目標(biāo)詞進(jìn)行學(xué)習(xí)。30 個目標(biāo)詞分為四類，多模態(tài)釋義—具體詞，多模態(tài)釋義—抽象詞，文字釋義—具體詞，文字釋義—抽象詞。實(shí)驗(yàn)時，A、B、C、D 四個分段的80 個被試平均分為A1、A2、B1、B2、C1、C2、D1、D2 八個組，每組10 個被試，其中A1、B1、C1、D1 四組被試參加單模態(tài)實(shí)驗(yàn)，A2、B2、C2、D2 四組被試參加多模態(tài)實(shí)驗(yàn)。單模態(tài)組的被試耗費(fèi)30 分鐘運(yùn)用單模態(tài)紙質(zhì)文本自行理解、記憶詞語。多模態(tài)組的被試則是先耗費(fèi)10分鐘瀏覽圖文雙模態(tài)文本，再觀看時長約為20分鐘釋義視頻。

（3）被試完成目標(biāo)詞學(xué)習(xí)后進(jìn)行及時測。

（4）24 小時后被試完成延后測。

（5）對參與多模態(tài)實(shí)驗(yàn)的被試進(jìn)行問卷調(diào)查，主要考察對多模態(tài)釋義方式的感受和所喜愛的模態(tài)元素組合。

三、實(shí)驗(yàn)結(jié)果

（一）CD組實(shí)驗(yàn)結(jié)果

1.CD 分段被試的詞匯理解成績

分別統(tǒng)計每名被試在多模態(tài)釋義－具體詞、多模態(tài)釋義－抽象詞、文字釋義－具體詞、文字釋義－抽象詞四種條件下的答題得分率（各條件下被試實(shí)際得分值／各條件下的滿分值），并計算所有被試的平均得分率，結(jié)果如表1 所示。使用SPSS24.0 對統(tǒng)計結(jié)果進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測試時間）的重復(fù)測量方差分析。結(jié)果顯示：釋義模態(tài)的主效應(yīng)顯著，多模態(tài)釋義下CD分段的被試的詞匯理解得分率（28.764%）顯著高于文字單模態(tài)釋義下的理解得分率（12.050%），F(xiàn)（1，40）＝105.737，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞的理解得分率（30.50%）顯著高于抽象詞的理解得分率（11.315%），F(xiàn)（1，40）＝201.411，p＝0.000。測試時間的主效應(yīng)也顯著，即時測的理解得分率（25.601%）顯著高于延后測的理解得分率（16.214%），F(xiàn)（1，40）＝54.830，p＝0.000。釋義模態(tài)與詞匯屬性的交互效應(yīng)也顯著，F(xiàn)（1，40）＝74.376，p＝0.000，說明對于不同屬性的詞語，釋義時是否提供多模態(tài)的理解效果可能不同。釋義模態(tài)與測量時間的交互效應(yīng)也顯著，F(xiàn)（1，40）＝22.054，p＝0.000，說明對于不同釋義模態(tài)的詞語，隨著時間的波動變化不一樣。三因素交互效應(yīng)也是顯著，F(xiàn)（1，40）＝6.732，p＝0.013。

2.CD 分段被試的詞匯產(chǎn)出成績

同樣分別統(tǒng)計每名被試在多模態(tài)釋義－具體詞、多模態(tài)釋義－抽象詞、文字釋義－具體詞、文字釋義－抽象詞四種條件下的產(chǎn)出得分率（各條件下被試實(shí)際得分值／各條件下的滿分值），并計算所有被試的平均得分率，結(jié)果如表2 所示。

表2 CD 分段被試詞匯理解的即時測和延后測得分率（%）

對產(chǎn)出成績進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測試時間）的重復(fù)測量方差分析。結(jié)果顯示：釋義模態(tài)的主效應(yīng)邊緣顯著。多模態(tài)釋義下水平較弱被試詞匯產(chǎn)出得分率（22.038%）顯著高于文字單模態(tài)釋義下的產(chǎn)出得分率（10.886%），F(xiàn)（1，40）＝66.689，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞產(chǎn)出的得分率（20.282%）顯著高于抽象詞的得分率（12.642%），F(xiàn)（1，40）＝31.642，p＜0.001。測試時間的主效應(yīng)也顯著，即時測的得分率（17.729%）高于延后測的得分率（15.195%），F(xiàn)（1，40）＝5.621，p＝0.019。釋義模態(tài)與詞匯屬性的交互效應(yīng)也顯著，F(xiàn)（1，40）＝37.608，p＝0.000，說明對于不同屬性的詞語，釋義時是否提供多模態(tài)的理解效果可能不同。詞匯屬性與測量時間的交互效應(yīng)也顯著，F(xiàn)（1，40）＝5.274，p＝0.027，說明對于不同詞匯屬性的詞語，隨著時間的波動變化不一樣。三因素交互效應(yīng)也是顯著的，F(xiàn)（1，40）=16.518，p＝0.000。

（二）AB 組實(shí)驗(yàn)結(jié)果

1.AB 分段被試詞匯理解

對數(shù)據(jù)（表3）進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測試時間）的重復(fù)測量方差分析。結(jié)果表明：釋義模態(tài)的主效應(yīng)顯著，多模態(tài)釋義條件下AB 分段被試的詞匯理解得分率（51.552%）顯著高于文字單模態(tài)釋義條件下詞匯理解的得分率（28.062%），F(xiàn)（1，31）＝67.094，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞的理解得分率（47.067%）顯著高于抽象詞的得分率（32.546%），F(xiàn)（1，31）＝74.553，p＜0.000。測試時間的主效應(yīng)不顯著，即時測的理解得分率（39.242%）不顯著低于延后測的得分率（40.372%），F(xiàn)（1，31）＝0.711，p=0.406>0.05。詞匯屬性與測量時間的交互效應(yīng)也顯著，F(xiàn)（1，31）＝7.956，p＝0.008，說明對于不同詞匯屬性的詞語，隨著時間的波動變化不一樣。三因素交互效應(yīng)不顯著，F(xiàn)（1，31）＝1.842，p＝0.056。

表3 AB 分段被試詞匯理解的即時測和延后測得分率（%）

2.AB 分段被試的詞匯產(chǎn)出成績

對AB 分段被試的詞匯產(chǎn)出成績（見表4）進(jìn)行2（釋義模態(tài)）×2（詞匯屬性）×2（測試時間）的重復(fù)測量方差分析。結(jié)果顯示：釋義模態(tài)的主效應(yīng)顯著，多模態(tài)釋義下AB 分段被試的詞匯產(chǎn)出得分率（55.112%）顯著高于文字單模態(tài)釋義下的產(chǎn)出得分率（25.997%），F(xiàn)（1，31）=133.843，p＝0.000。詞匯屬性的主效應(yīng)顯著，具體詞的產(chǎn)出得分率（44.034%）高于抽象詞的產(chǎn)出得分率（37.076%），F(xiàn)（1，31）＝10.186，p=0.003。測試時間的主效應(yīng)不顯著，即時測的產(chǎn)出得分率（40.701%）與延后測的得分率（40.409%）無顯著差異，F(xiàn)（1，31）＜1，p＝0.835。以上三因素的兩兩交互效應(yīng)均不顯著（ps＞0.05）。三因素交互效應(yīng)不顯著，F(xiàn)（1，31）＜1，p＝0.190。

表4 AB 分段被試詞匯產(chǎn)出的即時測和延后測得分率（%）

三、問卷調(diào)查結(jié)果

問卷以問卷星的形式發(fā)放給40 名參與了多模態(tài)釋義實(shí)驗(yàn)的被試，其中參與多模態(tài)釋義實(shí)驗(yàn)的AB 分段被試回收18 份，回收率為90%；參與多模態(tài)釋義實(shí)驗(yàn)的CD 分段被試回收20 份，回收率為100%。所回收的問卷均為有效問卷。問卷首先調(diào)查了多模態(tài)釋義在詞匯理解和產(chǎn)出兩方面能力的輔助程度。問卷調(diào)查結(jié)果如表5 所示，77.71%的AB 分段的被試和85%的CD 分段的被試認(rèn)為多模態(tài)釋義有利于生詞的理解，55.55%的AB 分段的被試和70%CD 分段的被試認(rèn)為多模態(tài)釋義有利于生詞的記憶，這說明多數(shù)被試認(rèn)可多模態(tài)釋義在英語詞匯習(xí)得過程中所發(fā)揮的積極作用，但CD 分段選擇“幫助較大”和“幫助非常大”的被試要顯著大于AB 分段，這說明英語水平較弱的被試更認(rèn)可這種積極作用。

表5 被試對多模態(tài)釋義的評判結(jié)果

此外，我們還調(diào)查了被試所喜愛的模態(tài)元素組合。根據(jù)表6 的數(shù)據(jù)顯示，被試最喜愛的模態(tài)元素組合是“短視頻+動圖+音頻”，其次是“短視頻+動圖”，其中“短視頻”選中率為100%，可見被試比較偏愛于能夠進(jìn)行動態(tài)展示的模態(tài)元素。

表6 被試喜愛的模態(tài)元素組合

四、分析與討論

（一）討論一

實(shí)驗(yàn)結(jié)果表明，對于各階段的被試而言，多模態(tài)釋義下的詞匯理解和產(chǎn)出成績均顯著優(yōu)于文字單模態(tài)釋義下的成績。此外，多數(shù)被試主觀上認(rèn)同多模態(tài)在詞匯學(xué)習(xí)中的積極作用?？梢?，整體而言，多模態(tài)釋義比文字單模態(tài)釋義更有助于英語二語者的詞匯學(xué)習(xí)。

實(shí)際上，人類語言交際本身就是多模態(tài)化的，當(dāng)幼兒還未發(fā)展出識讀能力時，就是依靠多模態(tài)元素來感知世界從而習(xí)得概念，研究顯示，幼兒最先發(fā)展起的中文詞匯多是與其能直接所觀、所聽、所觸的名詞、動詞為主[19]。同樣，在二語習(xí)得中，多模態(tài)釋義也可幫助被試建立起詞形與概念之間聯(lián)系，簡化或消除“目的語—母語”的翻譯過程，從而弱化母語負(fù)遷移的影響。

焦慮是影響二語習(xí)得的重要情感變量之一，語言焦慮與語言課程成績以及教師對被試成就的評定呈負(fù)相關(guān)。劉會霞、燕浩等人的研究顯示焦慮情緒會削弱大腦的執(zhí)行控制能力，進(jìn)而降低工作記憶的加工效率，最終對語言學(xué)習(xí)產(chǎn)生負(fù)面影響[20]。相反，愉悅情緒對語言學(xué)習(xí)有促進(jìn)作用，李成陳、韓曄發(fā)現(xiàn)愉悅對英語考試成績及自評網(wǎng)課學(xué)習(xí)成效有顯著正向預(yù)測作用[21]。在進(jìn)行詞匯學(xué)習(xí)前，教師明確告知被試學(xué)習(xí)完成后要進(jìn)行測試，這在一定程度上引起了被試的焦慮。然而，多模態(tài)呈現(xiàn)方式能夠調(diào)動被試多感官的參與并激發(fā)他們的學(xué)習(xí)興趣，從而有效削減被試的學(xué)習(xí)焦慮，尤其是在播放視頻模態(tài)時，能夠明顯感覺被試的狀態(tài)要放松許多。鄭群、徐瑩的研究也證實(shí)多模態(tài)呈現(xiàn)方式有助于降低被試詞匯學(xué)習(xí)的交際焦慮[22]。

認(rèn)知負(fù)荷理論認(rèn)為由于人的工作記憶容量是有限的，當(dāng)被試所學(xué)內(nèi)容或所接受內(nèi)容超過工作記憶的處理極限時，就會導(dǎo)致認(rèn)知超載，教學(xué)設(shè)計的核心原則就是要降低內(nèi)在和外在認(rèn)知負(fù)荷，而促進(jìn)有效認(rèn)知負(fù)荷[23]。傅曉玲指出人們在視覺、聽覺的雙通道同時進(jìn)行信息加工時，需要在兩種通道之間建立關(guān)聯(lián)，即將有關(guān)聯(lián)的聽覺表象和視覺表象進(jìn)行轉(zhuǎn)換。也只有這樣，人的大腦視覺、聽覺認(rèn)知資源才能得到充分地利用[24]。多模態(tài)釋義圍繞釋詞的形、音、義將視覺、聽覺兩個通道聯(lián)通并建立起有效關(guān)聯(lián)，將文字表征轉(zhuǎn)換成被試更容易感知的視頻模態(tài)、圖片模態(tài)和音頻模態(tài)等，并利用同步呈現(xiàn)“圖像和文本”信息相近的原則，增加視覺、聽覺表證認(rèn)知加工，從而有效降低了被試的認(rèn)知負(fù)荷，促進(jìn)了被試長時記憶的提升。

（二）討論二

此外，實(shí)驗(yàn)結(jié)果還表明，詞語屬性和語言水平兩個變量共同調(diào)節(jié)圖文雙模態(tài)釋義的效果。具體而言，對于各個階段的被試而言，無論是學(xué)習(xí)抽象詞還是具體詞，多模態(tài)釋義下的詞語學(xué)習(xí)成績均顯著好于文字單模態(tài)釋義下的詞語學(xué)習(xí)成績。但相比之下，具體詞的理解和產(chǎn)出程度要好于抽象詞。雙重編碼理論認(rèn)為，具體詞在進(jìn)行心理加工時較抽象詞有優(yōu)勢。具體詞能在以言語為基礎(chǔ)和以意象為基礎(chǔ)的兩個系統(tǒng)中同時被加工,而抽象詞則主要是在言語系統(tǒng)中被加工。具體詞的呈現(xiàn)比抽象詞更經(jīng)常地喚起意象表征,言語和意象表征的喚起使具體詞具有了加工優(yōu)勢[25]。雖然，多模態(tài)釋義使得抽象詞的呈現(xiàn)方式較之單模態(tài)釋義更為具體，但無論如何抽象詞構(gòu)成義素的模糊性使其難以通過多模態(tài)語境實(shí)質(zhì)地喚起意象表征，也因此抽象詞的多模態(tài)釋義是一種間接釋義方式，加工優(yōu)勢較之具體詞并不顯著。如對具體詞“Gardenia”的多模態(tài)釋義可以通過展示茉莉花的圖片被試直接建立起與概念的聯(lián)系，而抽象詞“Periodic”的多模態(tài)釋義實(shí)則是通過多模態(tài)元素的互動對“Periodic”的例證語境進(jìn)行再現(xiàn)，而并不是對“Periodic”的語義進(jìn)行直接解釋。

五、對詞典編纂的啟示

綜上所述，模態(tài)元素之間互動、互補(bǔ)比單一的文字更有助于用戶解讀語義，多模態(tài)釋義能有效促進(jìn)英語詞匯的學(xué)習(xí)。同時，從此次實(shí)驗(yàn)中我們也獲得了一些啟示。

首先，在進(jìn)行多模態(tài)釋義之前，應(yīng)對被釋詞的語義進(jìn)行分析，根據(jù)語義特征設(shè)置不同的模態(tài)元素進(jìn)行釋義。具體詞可以直接用圖片，但抽象詞如“Notorious”“Frivolous”用圖片進(jìn)行釋義其效果并不一定顯著。怎樣才能使得抽象詞的多模態(tài)釋義效果實(shí)現(xiàn)最大化，我們認(rèn)為需要做到以下兩點(diǎn)：（1）構(gòu)建真實(shí)生活語境，圖式具體化過程中語境首先起著刺激作用，能激活處于休眠狀態(tài)的圖式，同時語境能成為圖式解釋、預(yù)判和推理的對象，從而有助于理解。詞典中構(gòu)建的多模態(tài)語境應(yīng)是用戶所經(jīng)歷、體驗(yàn)過的真實(shí)生活語境，如若缺乏這樣的語境則無助于圖式的具體化[26]。如詞典用戶為學(xué)生群體，我們可以圍繞“Periodic Examination”來為“Periodic”構(gòu)建多模態(tài)語境。（2）調(diào)動詞典用戶積極情緒，郭晶晶、王敏帆等人的實(shí)驗(yàn)結(jié)論顯示，當(dāng)被試在憤怒韻律背景下學(xué)習(xí)抽象詞時加工的正確率更低、反應(yīng)時更長[27]。因此，在進(jìn)行多模態(tài)釋義時，我們可以嘗試從色彩搭配、人物形象塑造、背景音樂配置等方面來調(diào)動詞典用戶的積極情緒。

其次，我們注意到視頻模態(tài)受到了被試的廣泛喜愛，被試在收看視頻時的專注度也要比觀看圖片時更高。但同時部分被試在收看視頻時容易被釋義視頻中的人物表情、服飾、外貌等次要元素所帶偏而忽視了釋義的核心內(nèi)容。釋義視頻的內(nèi)容、時長、場景等都需要根據(jù)詞典用戶的喜歡仔細(xì)研究。

最后，在進(jìn)行多模態(tài)釋義時，各個模態(tài)元素之間應(yīng)是互融、互動和互補(bǔ)的，而不是孤立地對詞語進(jìn)行釋義。這需要我們理清各個模態(tài)的釋義優(yōu)勢，從而實(shí)現(xiàn)釋義效果的最大化。