數(shù)字化環(huán)境下多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究綜述

□ 虞天蕓，黃新輝，王志軍

數(shù)字化、信息化已成為人類(lèi)生產(chǎn)生活的主導(dǎo)方式，教育數(shù)字化轉(zhuǎn)型成為教育改革實(shí)踐的主要方向，受到社會(huì)各界的廣泛關(guān)注。[1]隨著我國(guó)教育數(shù)字化轉(zhuǎn)型的深入推進(jìn)，信息技術(shù)在教育領(lǐng)域的應(yīng)用從融合走向創(chuàng)新發(fā)展，數(shù)字化學(xué)習(xí)環(huán)境與資源呈現(xiàn)出日益復(fù)雜、多場(chǎng)景交融的趨勢(shì)。[2]多媒體學(xué)習(xí)是這些場(chǎng)景中的基本學(xué)習(xí)形態(tài)。由于學(xué)習(xí)者的認(rèn)知容量有限[3]，為了保證認(rèn)知資源得到有效利用，提高學(xué)習(xí)效率和效果，對(duì)這些場(chǎng)景中認(rèn)知負(fù)荷的研究成為國(guó)際社會(huì)日益關(guān)心的話(huà)題，并開(kāi)展了大量實(shí)證研究。為系統(tǒng)把握國(guó)內(nèi)外多媒體學(xué)習(xí)認(rèn)知負(fù)荷的研究現(xiàn)狀與發(fā)展趨勢(shì)，推動(dòng)數(shù)字化學(xué)習(xí)與認(rèn)知規(guī)律研究的進(jìn)一步深化，本研究采用系統(tǒng)性文獻(xiàn)綜述法，對(duì)多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究展開(kāi)分析與比較。

一、研究過(guò)程與方法

1.文獻(xiàn)獲取

本文選取Web of Science、Scopus和EBSCO三大數(shù)據(jù)庫(kù)，以“multimedia”和“cognitive load”為檢索詞，對(duì) 2015年1月至2022年6月的英文期刊文獻(xiàn)展開(kāi)檢索。初步去重后獲得文獻(xiàn)861篇。同時(shí)，選擇中國(guó)知網(wǎng)、萬(wàn)方數(shù)據(jù)知識(shí)服務(wù)平臺(tái)和維普中文期刊服務(wù)平臺(tái)三大數(shù)據(jù)庫(kù)，以“多媒體”和“認(rèn)知負(fù)荷”為檢索詞，對(duì)同一時(shí)間跨度的期刊文獻(xiàn)進(jìn)行檢索。由于所獲文獻(xiàn)較少，于是將檢索范圍擴(kuò)大到碩博學(xué)位論文，初步去重后獲得中文文獻(xiàn)369篇。隨后按照全文可獲取、主題相關(guān)、實(shí)證研究、測(cè)量認(rèn)知負(fù)荷4個(gè)標(biāo)準(zhǔn)進(jìn)一步篩選文獻(xiàn)，獲得文獻(xiàn)309篇(中文109篇，英文200篇)。根據(jù)第一作者國(guó)籍歸屬和研究實(shí)施地區(qū)進(jìn)行劃分，最終確定國(guó)內(nèi)研究者的文獻(xiàn)161篇，國(guó)外148篇。

文獻(xiàn)檢索過(guò)程中發(fā)現(xiàn)，國(guó)內(nèi)外年度發(fā)文量整體呈上升趨勢(shì)，國(guó)內(nèi)增長(zhǎng)幅度較大。文獻(xiàn)來(lái)源期刊多樣，所屬學(xué)科以教育技術(shù)學(xué)和心理學(xué)為主，發(fā)文量較多的期刊有Computers&Education(n=16)、JournalofComputerAssistedLearning(n=16)、FrontiersinPsychology(n=11)、EducationalTechnologyResearch&Development(n=10)。此外，計(jì)算機(jī)科學(xué)與技術(shù)、醫(yī)學(xué)等學(xué)科對(duì)該領(lǐng)域也有所關(guān)注。研究呈現(xiàn)出較強(qiáng)的地域和團(tuán)隊(duì)聚集性，國(guó)內(nèi)研究多源自華中師范大學(xué)和天津師范大學(xué)研究團(tuán)隊(duì)。國(guó)際上，德國(guó)和美國(guó)是該領(lǐng)域研究成果的重要產(chǎn)出國(guó)，主要研究團(tuán)隊(duì)來(lái)自德國(guó)薩爾大學(xué)、德國(guó)開(kāi)姆尼茨工業(yè)大學(xué)、美國(guó)加利福尼亞大學(xué)圣塔芭芭拉分校等。

2.分析維度的確立

為了系統(tǒng)、準(zhǔn)確地抽取出文獻(xiàn)中的重要數(shù)據(jù)，本研究參考系統(tǒng)性文獻(xiàn)綜述法的“文獻(xiàn)基本信息數(shù)據(jù)抽取單”和“九維文獻(xiàn)內(nèi)涵數(shù)據(jù)抽取單”[4]，建立了如表1所示的比較與分析框架。

表1 文獻(xiàn)比較與分析框架

二、數(shù)據(jù)分析與比較發(fā)現(xiàn)

1.研究基本信息

(1)學(xué)習(xí)環(huán)境。國(guó)內(nèi)外研究關(guān)注的多媒體學(xué)習(xí)環(huán)境以基于多種計(jì)算機(jī)軟件環(huán)境的教學(xué)課件(國(guó)內(nèi)37.9%，國(guó)外32.4%)和教學(xué)視頻(國(guó)內(nèi)39.8%，國(guó)外23.0%)為主。分析發(fā)現(xiàn)，傳統(tǒng)多媒體課件的設(shè)計(jì)如何影響學(xué)習(xí)者的認(rèn)知負(fù)荷仍是相關(guān)研究的關(guān)注重點(diǎn)，具體包括電子文檔、電子教材、幻燈片等。隨著融媒體制作技術(shù)的發(fā)展，視頻類(lèi)學(xué)習(xí)資源在教育領(lǐng)域的應(yīng)用日益廣泛，錄屏式、動(dòng)畫(huà)式、畫(huà)中畫(huà)式等多種形式的教學(xué)視頻成為多媒體學(xué)習(xí)認(rèn)知負(fù)荷研究的另一個(gè)主要方向。同時(shí)，增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、模擬仿真、體感游戲等新型技術(shù)支持下復(fù)雜融合化的學(xué)習(xí)環(huán)境逐漸成為多媒體學(xué)習(xí)認(rèn)知負(fù)荷研究的重要議題。

多項(xiàng)研究將學(xué)習(xí)環(huán)境類(lèi)型作為自變量，探究不同學(xué)習(xí)環(huán)境對(duì)認(rèn)知負(fù)荷和學(xué)習(xí)效果的影響。相比于傳統(tǒng)的學(xué)習(xí)環(huán)境，新型多媒體學(xué)習(xí)環(huán)境一定條件下能夠降低認(rèn)知負(fù)荷并提高學(xué)習(xí)績(jī)效。例如，Henssen等研究發(fā)現(xiàn)相比傳統(tǒng)的學(xué)習(xí)環(huán)境，大學(xué)生利用增強(qiáng)現(xiàn)實(shí)移動(dòng)應(yīng)用學(xué)習(xí)神經(jīng)解剖學(xué)知識(shí)能夠降低認(rèn)知負(fù)荷。[5]Makransky等研究得出了不同的結(jié)論，發(fā)現(xiàn)學(xué)習(xí)者在虛擬現(xiàn)實(shí)技術(shù)支持的生物實(shí)驗(yàn)室中獲得了更高的學(xué)習(xí)沉浸感，但導(dǎo)致了更高的認(rèn)知負(fù)荷。[6]Parong等通過(guò)研究證實(shí)沉浸化虛擬現(xiàn)實(shí)學(xué)習(xí)環(huán)境能夠激發(fā)學(xué)習(xí)者的高喚醒情緒，但產(chǎn)生更高水平的認(rèn)知負(fù)荷。[7]

(2)研究對(duì)象。大學(xué)生群體(國(guó)內(nèi)70.8%，國(guó)外75.0%)是多媒體學(xué)習(xí)認(rèn)知負(fù)荷的主要研究對(duì)象。究其原因，該領(lǐng)域研究力量集中于高校研究團(tuán)隊(duì)，因此大學(xué)生資源容易獲取，且開(kāi)展研究較為方便。小學(xué)、中學(xué)等其他學(xué)段國(guó)內(nèi)外研究均有所涉及，但相對(duì)較少。除在校學(xué)生外，國(guó)外部分研究還關(guān)注到了學(xué)齡前兒童，以及在職員工、運(yùn)動(dòng)員等多元背景的學(xué)習(xí)者，并通過(guò)網(wǎng)絡(luò)公開(kāi)招募的方式拓寬研究對(duì)象獲取渠道。個(gè)別研究以年齡或年級(jí)作為自變量，同時(shí)選擇小學(xué)、中學(xué)、大學(xué)或老年大學(xué)等多學(xué)段學(xué)習(xí)者，探究多媒體學(xué)習(xí)環(huán)境中個(gè)體差異對(duì)認(rèn)知負(fù)荷的影響。例如，吳向文通過(guò)實(shí)驗(yàn)探究了學(xué)習(xí)者交互控制、學(xué)習(xí)內(nèi)容呈現(xiàn)方式，以及反饋設(shè)計(jì)對(duì)于小學(xué)生、中學(xué)生和大學(xué)生3個(gè)年齡段學(xué)習(xí)者多媒體學(xué)習(xí)效果和認(rèn)知負(fù)荷的影響。[8]

(3)研究材料。多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究涉及的學(xué)習(xí)材料所屬學(xué)科較為豐富，其中氣象學(xué)、生物學(xué)、醫(yī)學(xué)、物理學(xué)等數(shù)理生學(xué)科是該領(lǐng)域研究重點(diǎn)關(guān)注的學(xué)科。部分研究基于經(jīng)典學(xué)習(xí)材料，根據(jù)具體的研究問(wèn)題進(jìn)行二次設(shè)計(jì)與開(kāi)發(fā)，以驗(yàn)證研究假設(shè)或相關(guān)多媒體學(xué)習(xí)原則。例如，氣象學(xué)《閃電的形成過(guò)程與原理》學(xué)習(xí)材料多源自梅耶的經(jīng)典實(shí)驗(yàn)材料。[9]文史哲學(xué)科多媒體學(xué)習(xí)材料的設(shè)計(jì)和研究相對(duì)較少，但逐漸受到關(guān)注，例如，Parong等人探究了沉浸式虛擬現(xiàn)實(shí)技術(shù)對(duì)歷史學(xué)習(xí)結(jié)果和認(rèn)知負(fù)荷的影響[10]，Wang等人探究了古詩(shī)詞動(dòng)畫(huà)中的情緒設(shè)計(jì)對(duì)學(xué)習(xí)者古詩(shī)詞鑒賞和認(rèn)知負(fù)荷的影響[11]。除學(xué)科知識(shí)外，研究中的學(xué)習(xí)內(nèi)容還涉及形狀感知、科普性知識(shí)、體育訓(xùn)練、STEM課程、基于多媒體技術(shù)的探究式學(xué)習(xí)、企業(yè)培訓(xùn)等。此外，國(guó)內(nèi)對(duì)數(shù)字媒體軟件、辦公軟件等計(jì)算機(jī)操作類(lèi)知識(shí)關(guān)注較多。究其原因，國(guó)內(nèi)相關(guān)研究者主要來(lái)自教育技術(shù)學(xué)領(lǐng)域，對(duì)此類(lèi)知識(shí)比較熟悉，選擇這類(lèi)內(nèi)容能夠在一定程度上降低材料設(shè)計(jì)制作及研究實(shí)施的難度。

(4)研究主題。多媒體學(xué)習(xí)材料設(shè)計(jì)與多媒體學(xué)習(xí)環(huán)境類(lèi)型是相關(guān)研究一直以來(lái)關(guān)注的重點(diǎn)。國(guó)內(nèi)外研究探究了信息呈現(xiàn)方式、提示、動(dòng)畫(huà)教學(xué)代理、教師形象、標(biāo)題字幕、音頻配音等多種要素設(shè)計(jì)對(duì)認(rèn)知負(fù)荷的影響。認(rèn)知負(fù)荷理論作為教與學(xué)領(lǐng)域最具代表性的理論框架[12]，比較不同多媒體學(xué)習(xí)環(huán)境中學(xué)習(xí)者的認(rèn)知負(fù)荷是驗(yàn)證該學(xué)習(xí)環(huán)境有效性的重要方式。此外，部分研究關(guān)注多媒體學(xué)習(xí)過(guò)程中融入不同的教學(xué)或?qū)W習(xí)策略對(duì)學(xué)習(xí)效果的影響，例如學(xué)習(xí)反饋、練習(xí)測(cè)試、自我解釋等。

從時(shí)間分布上來(lái)看，個(gè)體差異、情緒設(shè)計(jì)和認(rèn)知負(fù)荷測(cè)量是多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究的新方向。不同學(xué)習(xí)者在相同的多媒體學(xué)習(xí)環(huán)境中的學(xué)習(xí)效果和認(rèn)知負(fù)荷水平是否有差異是基本出發(fā)點(diǎn)，對(duì)個(gè)體差異的研究突顯了個(gè)性化學(xué)習(xí)趨勢(shì)，多項(xiàng)研究基于認(rèn)知負(fù)荷理論探究了學(xué)習(xí)者的先驗(yàn)知識(shí)、工作記憶容量、學(xué)習(xí)風(fēng)格、文化背景等因素對(duì)多媒體學(xué)習(xí)效果的影響。例如，Arslan-Ari研究發(fā)現(xiàn)教學(xué)動(dòng)畫(huà)中的線(xiàn)索設(shè)計(jì)對(duì)學(xué)習(xí)結(jié)果的影響與學(xué)習(xí)者的先驗(yàn)知識(shí)水平有關(guān)，但對(duì)認(rèn)知負(fù)荷的影響與先驗(yàn)知識(shí)水平無(wú)關(guān)；[13]李文靜等研究發(fā)現(xiàn)加入學(xué)習(xí)者偏好的教學(xué)代理能夠降低學(xué)習(xí)者的認(rèn)知負(fù)荷，促進(jìn)學(xué)習(xí)。[14]情緒設(shè)計(jì)旨在通過(guò)一系列設(shè)計(jì)影響學(xué)習(xí)者的學(xué)習(xí)情緒以提高學(xué)習(xí)能力[15]，是多媒體學(xué)習(xí)環(huán)境設(shè)計(jì)的重要環(huán)節(jié)。情緒設(shè)計(jì)相關(guān)研究可分為外部情緒誘導(dǎo)和學(xué)習(xí)材料內(nèi)部情緒設(shè)計(jì)兩大類(lèi)。相關(guān)研究主要采用了視頻素材誘導(dǎo)、主動(dòng)回憶誘導(dǎo)等外部情緒誘導(dǎo)方法；學(xué)習(xí)材料內(nèi)部情緒設(shè)計(jì)包括對(duì)界面灰度、元素?cái)M人化、旁白語(yǔ)音語(yǔ)調(diào)、教學(xué)代理表情和手勢(shì)等元素的設(shè)計(jì)。例如，龔少英等研究發(fā)現(xiàn)，擬人化和彩色相結(jié)合的內(nèi)部情緒設(shè)計(jì)能夠誘發(fā)學(xué)習(xí)者的積極情緒，彩色設(shè)計(jì)能夠降低學(xué)習(xí)者對(duì)于學(xué)習(xí)材料的感知難度。[16]認(rèn)知負(fù)荷的測(cè)量作為學(xué)術(shù)界公認(rèn)的難點(diǎn)，新型測(cè)量工具的開(kāi)發(fā)以及不同測(cè)量方法間信效度的比較在國(guó)際上得到關(guān)注，Mwambe等人在自適應(yīng)教育超媒體學(xué)習(xí)環(huán)節(jié)中驗(yàn)證了內(nèi)源性眨眼率、瞳孔大小等眼動(dòng)指標(biāo)對(duì)測(cè)量認(rèn)知負(fù)荷水平的有效性；[17]Longo等人對(duì)NASA任務(wù)負(fù)荷指數(shù)(NASA-TLX)、心理努力評(píng)價(jià)量表(RSME)和Workload Profile(WP)量表三種自我報(bào)告式測(cè)量工具的效度和敏感性進(jìn)行了比較分析，研究發(fā)現(xiàn)這三種工具均具有較高的效度，WP量表具有更高的敏感性。[18]

2.研究?jī)?nèi)容

(1)認(rèn)知負(fù)荷維度。認(rèn)知負(fù)荷分為內(nèi)在、外在和相關(guān)認(rèn)知負(fù)荷三類(lèi)，總認(rèn)知負(fù)荷是三類(lèi)相加之和，總認(rèn)知負(fù)荷若超出工作記憶的容量，就會(huì)對(duì)有效學(xué)習(xí)產(chǎn)生影響。[19]因此需要通過(guò)有效的教學(xué)設(shè)計(jì)來(lái)協(xié)調(diào)三種認(rèn)知負(fù)荷，使學(xué)習(xí)者在學(xué)習(xí)過(guò)程中產(chǎn)生的認(rèn)知負(fù)荷維持在能夠促進(jìn)學(xué)習(xí)的狀態(tài)。[20]大部分研究對(duì)多媒體學(xué)習(xí)中學(xué)習(xí)者的總認(rèn)知負(fù)荷水平進(jìn)行了測(cè)量(國(guó)內(nèi)81.4%，國(guó)外64.9%)；少部分研究具體關(guān)注內(nèi)在、外在和相關(guān)三類(lèi)認(rèn)知負(fù)荷，探究多媒體學(xué)習(xí)過(guò)程中不同類(lèi)型認(rèn)知負(fù)荷的變化機(jī)制，僅有4.2%的研究同時(shí)對(duì)總認(rèn)知負(fù)荷水平和不同類(lèi)型的認(rèn)知負(fù)荷進(jìn)行測(cè)量和分析。該結(jié)果與認(rèn)知負(fù)荷測(cè)量工具的選擇有關(guān)，同時(shí)也表明實(shí)證研究與理論基礎(chǔ)之間的聯(lián)系還有待進(jìn)一步深入。

(2)多媒體學(xué)習(xí)原則。多媒體學(xué)習(xí)理論提供了具有實(shí)踐指導(dǎo)意義的多媒體教學(xué)設(shè)計(jì)原則，如何設(shè)計(jì)多媒體信息的組合和呈現(xiàn)方式，以促進(jìn)學(xué)習(xí)者的理解與認(rèn)知是相關(guān)研究的主要方向之一。有效教學(xué)設(shè)計(jì)需要盡可能減少學(xué)習(xí)者的外在認(rèn)知加工、管理必要認(rèn)知加工和促進(jìn)生成認(rèn)知加工。梅耶及其團(tuán)隊(duì)基于多年的實(shí)證研究提出了實(shí)現(xiàn)上述三種認(rèn)知加工調(diào)節(jié)方式的14條原則。其中，多媒體原則是最核心且最重要的原則，即相比于僅呈現(xiàn)文本的學(xué)習(xí)材料，人們使用圖文結(jié)合學(xué)習(xí)材料的學(xué)習(xí)效果更好。減少外在認(rèn)知加工的原則包括一致性、信號(hào)、冗余、空間接近和時(shí)間接近原則；管理必要認(rèn)知加工的原則包括分段、前訓(xùn)和通道原則；促進(jìn)生成認(rèn)知加工的原則包括人性化、原音呈現(xiàn)、形象在屏、具身和生成性活動(dòng)原則。[21]李文昊基于梅耶的研究對(duì)多媒體教學(xué)設(shè)計(jì)原則做了進(jìn)一步補(bǔ)充，新增了指導(dǎo)發(fā)現(xiàn)、工作例子、自解釋、生成性繪畫(huà)、反饋、多重表征、學(xué)習(xí)者控制、動(dòng)畫(huà)、合作、專(zhuān)業(yè)知識(shí)反轉(zhuǎn)、工作記憶容量個(gè)體差異共11條高級(jí)原則。[22]

分析發(fā)現(xiàn)，多項(xiàng)研究遵循多媒體學(xué)習(xí)原則進(jìn)行學(xué)習(xí)材料的設(shè)計(jì)與開(kāi)發(fā)，或通過(guò)實(shí)證研究驗(yàn)證在教學(xué)情境中不同學(xué)習(xí)環(huán)境下多媒體學(xué)習(xí)原則的適用性。對(duì)于上述三類(lèi)原則，國(guó)內(nèi)外研究對(duì)減少外在認(rèn)知加工的原則關(guān)注度較高，如信號(hào)原則和冗余原則，國(guó)外研究對(duì)一致性原則和時(shí)間空間接近原則有更深入的討論；對(duì)管理必要認(rèn)知加工的原則，研究較多的是通道原則和分段原則；對(duì)促進(jìn)生成認(rèn)知加工的原則，國(guó)外研究關(guān)注個(gè)性化原則較多，國(guó)內(nèi)研究則對(duì)形象在屏、具身原則等與教師元素設(shè)計(jì)相關(guān)原則討論較多。此外，多項(xiàng)研究對(duì)上文提到的自解釋、生成性繪畫(huà)、反饋、多重表征、學(xué)習(xí)者控制、動(dòng)畫(huà)、專(zhuān)業(yè)知識(shí)反轉(zhuǎn)、工作記憶容量個(gè)體差異等高級(jí)原則在不同多媒體學(xué)習(xí)環(huán)境中進(jìn)行了檢驗(yàn)。花邊效應(yīng)也是相關(guān)研究的關(guān)注重點(diǎn)。一定程度上可以說(shuō)明上述原則和效應(yīng)是多媒體學(xué)習(xí)材料設(shè)計(jì)研究的熱點(diǎn)。

3.研究設(shè)計(jì)

(1)實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)場(chǎng)景。當(dāng)前多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究多采用定量研究方法(國(guó)內(nèi)93.8%，國(guó)外93.2%)，并以實(shí)驗(yàn)研究法為主，僅有4項(xiàng)研究采用定性定量結(jié)合的混合式研究設(shè)計(jì)。從實(shí)驗(yàn)場(chǎng)景來(lái)看，大多數(shù)研究采用隨機(jī)抽樣真實(shí)驗(yàn)設(shè)計(jì)，具體實(shí)驗(yàn)設(shè)計(jì)方案被試間實(shí)驗(yàn)設(shè)計(jì)應(yīng)用最為廣泛，包括單因素和雙因素被試間實(shí)驗(yàn)設(shè)計(jì)，而被試內(nèi)和混合實(shí)驗(yàn)設(shè)計(jì)則較少。從實(shí)驗(yàn)程序來(lái)看，大部分研究采用多組前后測(cè)實(shí)驗(yàn)設(shè)計(jì)，國(guó)內(nèi)1項(xiàng)研究采用輪組先后處理設(shè)計(jì)。此外，少部分研究采用準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)，具體實(shí)驗(yàn)設(shè)計(jì)方案以非對(duì)等對(duì)照組前后測(cè)設(shè)計(jì)為主，個(gè)別研究采用單組時(shí)間序列設(shè)計(jì)。

(2)變量與因子。國(guó)內(nèi)外研究中的變量主要包括材料類(lèi)型、個(gè)體差異、教學(xué)策略和學(xué)習(xí)策略。材料類(lèi)型(國(guó)內(nèi)92.5%，國(guó)外87.8%)是多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究中涉及最多的變量，具體指多媒體學(xué)習(xí)材料中各元素的設(shè)計(jì)和呈現(xiàn)方式，其中信息呈現(xiàn)方式、媒體類(lèi)型、提示設(shè)計(jì)、情緒設(shè)計(jì)、教師形象設(shè)計(jì)、字幕設(shè)計(jì)、花邊信息呈現(xiàn)、反饋設(shè)計(jì)、學(xué)習(xí)者控制等變量是相關(guān)研究關(guān)注的重點(diǎn)。個(gè)體差異包括學(xué)習(xí)者的先驗(yàn)知識(shí)、學(xué)習(xí)風(fēng)格、工作記憶容量、年齡、社會(huì)文化背景等變量。此外，部分研究以教學(xué)和學(xué)習(xí)策略作為變量，探究不同任務(wù)類(lèi)型、任務(wù)難度、學(xué)習(xí)者自解釋等對(duì)認(rèn)知負(fù)荷和學(xué)習(xí)效果的影響。

認(rèn)知負(fù)荷和學(xué)習(xí)結(jié)果是相關(guān)研究最主要的因子，其次是學(xué)習(xí)體驗(yàn)及其他因子。由于采用不同的測(cè)量方法，研究中認(rèn)知負(fù)荷的子變量有所不同。上文提到大部分研究關(guān)注于學(xué)習(xí)者總認(rèn)知負(fù)荷的變化，因而將內(nèi)在、外在和相關(guān)三類(lèi)認(rèn)知負(fù)荷作為因子的研究較少。部分采用主觀測(cè)量法的研究，多將感知難度和心理努力作為認(rèn)知負(fù)荷的評(píng)價(jià)指標(biāo)。國(guó)外研究采用的客觀測(cè)量法較為多樣，因此部分研究將眼動(dòng)、心電活動(dòng)、腦電活動(dòng)、皮電反應(yīng)等生理指標(biāo)作為認(rèn)知負(fù)荷的客觀測(cè)量指標(biāo)。學(xué)習(xí)結(jié)果方面，大部分研究將學(xué)習(xí)成績(jī)作為因子，或根據(jù)學(xué)習(xí)目標(biāo)的分類(lèi)，學(xué)習(xí)結(jié)果具體從遷移、保持、記憶、再認(rèn)、理解、回憶、匹配、辨認(rèn)等多個(gè)子項(xiàng)目中體現(xiàn)出來(lái)，其中保持和遷移成績(jī)是國(guó)內(nèi)外研究中涉及較多的學(xué)習(xí)結(jié)果子變量。學(xué)習(xí)體驗(yàn)方面，國(guó)內(nèi)更重視這一因子的研究，滿(mǎn)意度、學(xué)業(yè)情緒、內(nèi)部動(dòng)機(jī)和學(xué)習(xí)興趣是國(guó)內(nèi)外研究者關(guān)注較多的變量，部分研究還關(guān)注社會(huì)存在感、專(zhuān)注度、成就感、學(xué)習(xí)態(tài)度、焦慮感、具身感、學(xué)習(xí)投入、自我效能感、感知有用性等因子。其他因子包括完成任務(wù)時(shí)間、交互行為、教學(xué)效率等也得到了關(guān)注。

(3)數(shù)據(jù)測(cè)量方法與工具。當(dāng)前多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究中認(rèn)知負(fù)荷主觀測(cè)量法(國(guó)內(nèi)94.4%，國(guó)外88.5%)應(yīng)用廣泛，客觀測(cè)量法相對(duì)應(yīng)用較少，個(gè)別研究采用主客觀混合式的測(cè)量方法。分析發(fā)現(xiàn)，雖然客觀方法能夠得到更有效可靠的研究結(jié)果，但主觀測(cè)量法依然是國(guó)內(nèi)外大多數(shù)研究者首選的認(rèn)知負(fù)荷測(cè)量法，其原因在于主觀測(cè)量法使用歷史久遠(yuǎn)，且具有操作方便、器材簡(jiǎn)單、數(shù)據(jù)易分析、對(duì)學(xué)習(xí)過(guò)程干擾小等優(yōu)勢(shì)。[23]10-12

主觀測(cè)量法以量表和問(wèn)卷為主要的測(cè)量工具，研究中多種量表得到應(yīng)用，其中Paas編制的經(jīng)典認(rèn)知負(fù)荷自我評(píng)定量表(國(guó)內(nèi)48.4%，國(guó)外31.4%)使用最為廣泛，該量表包括感知任務(wù)難度和心理努力等2個(gè)維度，采用李克特9點(diǎn)評(píng)級(jí)測(cè)量學(xué)習(xí)者的認(rèn)知負(fù)荷。[24]國(guó)內(nèi)部分研究者在Paas自評(píng)量表的基礎(chǔ)上，依據(jù)不同的研究目標(biāo)設(shè)置不同的評(píng)級(jí)點(diǎn)數(shù)，例如5點(diǎn)、7點(diǎn)、8點(diǎn)、10點(diǎn)量表等。其次是由Paas和Van Merriёnboer編制的認(rèn)知負(fù)荷量表、Leppink等編制的主觀量表、Klepsch等編制的主觀量表、NASA-TLX量表、WP量表等。其中Leppink和Klepsch等編制的主觀量表針對(duì)內(nèi)在、外在和相關(guān)三種認(rèn)知負(fù)荷編制了不同的題項(xiàng)，支持對(duì)三種認(rèn)知負(fù)荷進(jìn)行分別測(cè)量。

隨著測(cè)量技術(shù)研究和實(shí)踐的發(fā)展，客觀測(cè)量法獲得了研究者的關(guān)注。如表2所示，國(guó)內(nèi)研究主要采用了雙任務(wù)范式、眼動(dòng)測(cè)量、心率測(cè)量和腦電測(cè)量等4種客觀測(cè)量法。其中，雙任務(wù)范式和腦電測(cè)量屬于直接測(cè)量法，眼動(dòng)和心率測(cè)量屬于間接的生理測(cè)量法。從年份分布來(lái)看，發(fā)表于2015年的2項(xiàng)研究采用雙任務(wù)范式，而眼動(dòng)、心率和腦電測(cè)量法在國(guó)內(nèi)研究中應(yīng)用的時(shí)間較晚。

表2 國(guó)內(nèi)研究客觀認(rèn)知負(fù)荷測(cè)量方法

如表3所示，國(guó)外采用客觀方法的研究數(shù)量略多于國(guó)內(nèi)，眼動(dòng)測(cè)量應(yīng)用最多，其次腦電測(cè)量、雙任務(wù)范式和皮膚電測(cè)試也被多次采用。此外，個(gè)別研究采用了心率測(cè)量和fNIRS(功能性近紅外光譜技術(shù))腦功能成像和心電測(cè)量法。其中，腦電測(cè)量、雙任務(wù)范式和fNIRS腦功能成像屬于直接測(cè)量法，眼動(dòng)、心電、心率和皮膚電活動(dòng)屬于間接的生理測(cè)量法。從時(shí)間分布來(lái)看，雙任務(wù)范式和fNIRS在國(guó)外研究中應(yīng)用較早，近期研究更關(guān)注眼動(dòng)、腦電、皮膚電、心率和心電等客觀測(cè)量法。

表3 國(guó)外研究客觀認(rèn)知負(fù)荷測(cè)量方法

(4)數(shù)據(jù)統(tǒng)計(jì)與分析方法。由于大部分研究采用量化研究設(shè)計(jì)，多種統(tǒng)計(jì)學(xué)數(shù)據(jù)分析方法得到了應(yīng)用，包括描述性統(tǒng)計(jì)、推斷性統(tǒng)計(jì)分析和基于結(jié)構(gòu)方程模型的中介效應(yīng)分析等。其中，推斷性統(tǒng)計(jì)分析應(yīng)用最為廣泛，結(jié)合不同的研究目標(biāo)和研究設(shè)計(jì),各研究選擇了方差分析、相關(guān)分析和回歸分析等統(tǒng)計(jì)方法進(jìn)行數(shù)據(jù)分析。此外，部分混合式研究設(shè)計(jì)采用了內(nèi)容分析、視頻交互行為分析、滯后序列分析等方法；部分采集生理指標(biāo)的研究除了使用統(tǒng)計(jì)學(xué)方法進(jìn)行數(shù)據(jù)分析，還采用了如腦電頻譜分析、眼動(dòng)聚類(lèi)分析等對(duì)應(yīng)的數(shù)據(jù)分析方法。

三、研究共性分析

從上述分析可以看出，隨著技術(shù)的發(fā)展，國(guó)內(nèi)外對(duì)多媒體學(xué)習(xí)認(rèn)知負(fù)荷的總體關(guān)注度在逐年提升，相關(guān)研究都獲得了長(zhǎng)足的發(fā)展，研究呈現(xiàn)出以下共性特征。

1.新型多媒體技術(shù)環(huán)境得到關(guān)注，研究視閾更寬并呈現(xiàn)新的方向

學(xué)習(xí)環(huán)境以多媒體課件、視頻等傳統(tǒng)多媒體學(xué)習(xí)環(huán)境為主，增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、模擬仿真、體感游戲等新型技術(shù)支持下的多媒體學(xué)習(xí)環(huán)境成為新的研究趨勢(shì)。多媒體學(xué)習(xí)認(rèn)知負(fù)荷研究對(duì)象以大學(xué)生為主，國(guó)內(nèi)研究主體為在校學(xué)生且學(xué)段跨度廣，國(guó)外研究對(duì)象類(lèi)型更多元。學(xué)習(xí)材料方面，數(shù)理生學(xué)科內(nèi)容知識(shí)為主要研究材料，語(yǔ)言、歷史等文史哲學(xué)科逐漸受到研究者的關(guān)注，國(guó)內(nèi)尤其注重?cái)?shù)字媒體軟件、辦公軟件等操作類(lèi)知識(shí)。研究主題多樣，多媒體設(shè)計(jì)和多媒體學(xué)習(xí)環(huán)境類(lèi)型為領(lǐng)域內(nèi)一直以來(lái)的共同關(guān)注點(diǎn)，個(gè)體差異、情緒設(shè)計(jì)和認(rèn)知負(fù)荷測(cè)量成為研究新方向。

2.以認(rèn)知負(fù)荷測(cè)量為基礎(chǔ)，在多種環(huán)境中驗(yàn)證多媒體學(xué)習(xí)原則

認(rèn)知負(fù)荷的研究維度方面，國(guó)內(nèi)外大部分研究對(duì)多媒體學(xué)習(xí)環(huán)境中學(xué)習(xí)者的總認(rèn)知負(fù)荷水平進(jìn)行了測(cè)量和分析，少有研究單獨(dú)測(cè)量?jī)?nèi)在、外在和相關(guān)三類(lèi)認(rèn)知負(fù)荷的變化和相互作用機(jī)制。多媒體教學(xué)原則是多媒體學(xué)習(xí)認(rèn)知負(fù)荷相關(guān)研究重要的成果，具有實(shí)踐指導(dǎo)作用。多項(xiàng)研究遵循多媒體學(xué)習(xí)原則進(jìn)行學(xué)習(xí)材料的設(shè)計(jì)與開(kāi)發(fā)，并對(duì)不同原則在交互式課件、視頻、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、模擬仿真、教育游戲等多種學(xué)習(xí)環(huán)境中的效度加以驗(yàn)證。研究關(guān)注較多的原則主要有提示原則、通道原則、冗余原則、時(shí)間接近原則、空間接近原則、一致性原則、人性化原則、分段呈現(xiàn)原則等，以及自解釋、生成性繪畫(huà)、反饋、多重表征、學(xué)習(xí)者控制、動(dòng)畫(huà)、專(zhuān)業(yè)知識(shí)反轉(zhuǎn)、工作記憶容量個(gè)體差異等高級(jí)原則。

3.定量真實(shí)驗(yàn)依然是主流，變量因子和測(cè)量分析方法多元

研究以定量真實(shí)驗(yàn)設(shè)計(jì)為主，部分采用準(zhǔn)實(shí)驗(yàn)和非實(shí)驗(yàn)設(shè)計(jì)。研究涉及的變量因子類(lèi)型豐富，覆蓋面廣，變量以材料類(lèi)型、個(gè)體差異、教學(xué)策略和學(xué)習(xí)策略為主，其中材料類(lèi)型的關(guān)注度最高。因子以認(rèn)知負(fù)荷、學(xué)習(xí)結(jié)果和學(xué)習(xí)體驗(yàn)為主，且國(guó)內(nèi)對(duì)學(xué)習(xí)體驗(yàn)因子的研究較為深入。主觀測(cè)量法是國(guó)內(nèi)外研究采用最為廣泛的認(rèn)知負(fù)荷測(cè)量方法，測(cè)量工具以主觀量表和問(wèn)卷為主且選擇多樣，其中Paas于1992年編制的認(rèn)知負(fù)荷自我評(píng)定量表的應(yīng)用最為廣泛。眼動(dòng)、腦電測(cè)量、皮膚電活動(dòng)等客觀或主客觀結(jié)合的測(cè)量方法逐漸得到應(yīng)用。數(shù)據(jù)統(tǒng)計(jì)與分析方法呈現(xiàn)多種統(tǒng)計(jì)學(xué)分析方法并重，文本視頻分析、生理指標(biāo)分析等分析技術(shù)補(bǔ)充的趨勢(shì)。

四、未來(lái)研究展望

通過(guò)國(guó)內(nèi)外多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究的比較分析，對(duì)國(guó)內(nèi)未來(lái)多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究的進(jìn)一步發(fā)展做出以下展望。

1.關(guān)注新型多媒體技術(shù)環(huán)境，創(chuàng)新認(rèn)知負(fù)荷研究的理論與實(shí)踐

教育數(shù)字化轉(zhuǎn)型背景下，技術(shù)與教育實(shí)現(xiàn)了初步融合，互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等技術(shù)賦能教育，使得學(xué)習(xí)方式和學(xué)習(xí)環(huán)境發(fā)生了巨大的變革，亟須探究符合時(shí)代背景、面向新型學(xué)習(xí)環(huán)境的教學(xué)理論的創(chuàng)新，以應(yīng)對(duì)新型技術(shù)支持的學(xué)習(xí)環(huán)境設(shè)計(jì)。[25]分析發(fā)現(xiàn)，現(xiàn)有研究將多媒體學(xué)習(xí)原則應(yīng)用于創(chuàng)新型學(xué)習(xí)材料和學(xué)習(xí)環(huán)境的開(kāi)發(fā)，或在增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、模擬仿真等新型學(xué)習(xí)環(huán)境中加以檢驗(yàn)，而少有研究基于某一特定學(xué)習(xí)環(huán)境的特點(diǎn)提出相應(yīng)的原則，缺乏對(duì)新環(huán)境新原則的探索。當(dāng)前多媒體學(xué)習(xí)認(rèn)知負(fù)荷相關(guān)研究一定程度上受限于雙重通道假設(shè)，已有原則多基于視覺(jué)和聽(tīng)覺(jué)通道提出，而復(fù)雜、融合、沉浸式的新型學(xué)習(xí)環(huán)境中的認(rèn)知負(fù)荷存在更特殊的新規(guī)律，將調(diào)動(dòng)學(xué)習(xí)者的更多通道，例如味覺(jué)、嗅覺(jué)、觸覺(jué)、情境感知等通道都將在學(xué)習(xí)過(guò)程中接收大量的信息。如何在實(shí)踐中進(jìn)一步調(diào)控學(xué)習(xí)者的認(rèn)知負(fù)荷需要更豐富的多媒體學(xué)習(xí)原則加以指導(dǎo)。因而，研究者應(yīng)當(dāng)突破傳統(tǒng)的思維和思路局限，實(shí)現(xiàn)理論上的不斷創(chuàng)新與突破。

2.結(jié)合新興技術(shù)開(kāi)發(fā)測(cè)量工具，主客觀結(jié)合拓展與優(yōu)化測(cè)量方法

依據(jù)認(rèn)知負(fù)荷理論，教師和學(xué)習(xí)材料設(shè)計(jì)開(kāi)發(fā)者需要清楚地了解學(xué)習(xí)者如何處理學(xué)習(xí)材料，這些學(xué)習(xí)材料給學(xué)習(xí)者帶來(lái)了多少認(rèn)知負(fù)荷，以及是否有效促進(jìn)了學(xué)習(xí)者的認(rèn)知過(guò)程。因此，認(rèn)知負(fù)荷的測(cè)量一直以來(lái)都是研究者關(guān)注的重點(diǎn)。由于認(rèn)知負(fù)荷具有主觀性、內(nèi)隱性和變化性三大特征[23]25，如何科學(xué)測(cè)量認(rèn)知負(fù)荷也是學(xué)術(shù)界公認(rèn)的難點(diǎn)。隨著認(rèn)知負(fù)荷理論研究的深入及測(cè)量科學(xué)、測(cè)量技術(shù)的發(fā)展進(jìn)步，一方面研究者不斷嘗試和探索新的測(cè)量方法與工具，另一方面對(duì)不同測(cè)量方法的效度和適用性進(jìn)行比較。主觀測(cè)量法已較為成熟，不同測(cè)量工具特色各異。近年來(lái)眼動(dòng)追蹤、EEG、fMRI等客觀認(rèn)知負(fù)荷測(cè)量方法逐漸受到研究者的關(guān)注，相關(guān)研究也在不斷深入推進(jìn)，但客觀測(cè)量方法大都只能進(jìn)行整體認(rèn)知負(fù)荷的測(cè)量，較難對(duì)內(nèi)在、外在和相關(guān)三種認(rèn)知負(fù)荷進(jìn)行分別測(cè)量。無(wú)論是主觀法還是客觀法都有其優(yōu)勢(shì)和不足，為了保證研究的信度和效度，在分別探究更科學(xué)的主觀或客觀測(cè)量方法的同時(shí)，未來(lái)可加強(qiáng)如何更好地結(jié)合主客觀測(cè)量方法的研究，從而優(yōu)化其在實(shí)證研究中的應(yīng)用。

3.拓展學(xué)科范圍與研究群體，促進(jìn)學(xué)科發(fā)展和結(jié)論的適應(yīng)性

目前研究最為廣泛的是數(shù)理生學(xué)科，未來(lái)研究可以多選用文史哲學(xué)科作為學(xué)習(xí)材料內(nèi)容的來(lái)源，以拓展學(xué)科范圍。同時(shí)，國(guó)內(nèi)研究者多來(lái)自教育技術(shù)學(xué)領(lǐng)域，教育技術(shù)研究者應(yīng)當(dāng)與其他學(xué)科進(jìn)行深度結(jié)合，促進(jìn)更多學(xué)科教學(xué)實(shí)踐的發(fā)展，為學(xué)與教過(guò)程中存在的真問(wèn)題提供具有科學(xué)性的理論指引和解決方案。研究對(duì)象方面，有必要拓展研究群體的學(xué)段范圍和類(lèi)型，以提升結(jié)論的適應(yīng)性。不僅需要關(guān)注中學(xué)生、大學(xué)生等青少年群體，還要加強(qiáng)學(xué)前、小學(xué)等少兒群體的相關(guān)研究。此外，除接受正規(guī)教育的在校學(xué)生外，可將在職學(xué)習(xí)者作為研究對(duì)象，探索多媒體在企業(yè)培訓(xùn)及績(jī)效提升中的作用。隨著終身教育、終身學(xué)習(xí)等理念的廣泛滲透與傳播，老年教育的理論研究及實(shí)踐探索逐漸得到全球?qū)W者的關(guān)注。[26]多媒體學(xué)習(xí)及相關(guān)理論可以為老年教育的研究提供新的視角，例如鄧毅以老年大學(xué)的學(xué)習(xí)者為研究對(duì)象，開(kāi)展了裝飾圖片和知識(shí)背景對(duì)老年人學(xué)習(xí)效果的研究[27]，未來(lái)可以對(duì)老年群體開(kāi)展更深入的探究。

4.加強(qiáng)結(jié)論在實(shí)踐中的檢驗(yàn)與應(yīng)用，結(jié)合真實(shí)情境開(kāi)展更多元的研究

教育是一門(mén)強(qiáng)調(diào)應(yīng)用性和實(shí)踐性的學(xué)科，理論研究需要在實(shí)踐中尋找定位價(jià)值。[28]當(dāng)前實(shí)驗(yàn)研究范式是多媒體學(xué)習(xí)認(rèn)知負(fù)荷研究的主要范式，而具有小樣本、特定語(yǔ)境、低維度變量等特征的實(shí)驗(yàn)研究難以保證得出結(jié)果的外部有效性，也難以避免被試偏差及情境效應(yīng)。[29]未來(lái)研究需要加強(qiáng)研究結(jié)論在實(shí)踐中的檢驗(yàn)與應(yīng)用，提高結(jié)論的適用性。從可控的實(shí)驗(yàn)室環(huán)境走向真實(shí)的教育教學(xué)情境，走進(jìn)學(xué)校課堂。研究團(tuán)隊(duì)需要與一線(xiàn)教師開(kāi)展深度合作，打破研究設(shè)計(jì)者不參與教育實(shí)驗(yàn)過(guò)程，參與教育實(shí)驗(yàn)的教師不參與實(shí)驗(yàn)設(shè)計(jì)過(guò)程的現(xiàn)象。走進(jìn)基于新型多媒體技術(shù)的創(chuàng)新型教育實(shí)踐，走進(jìn)突破時(shí)空限制的線(xiàn)上線(xiàn)下混合的學(xué)習(xí)空間，結(jié)合真實(shí)的教育教學(xué)情境開(kāi)展深度的質(zhì)性研究和混合研究，開(kāi)展更加豐富多元的多媒體學(xué)習(xí)認(rèn)知負(fù)荷實(shí)證研究。