教學(xué)視頻中視聽覺情緒設(shè)計的作用機(jī)制與優(yōu)化策略研究*

王 雪 韓美琪 高澤紅 王志軍

（天津師范大學(xué) 教育學(xué)部，天津 300387）

一、引言

隨著媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，教學(xué)視頻因其形象直觀、圖文聲像并茂、學(xué)習(xí)體驗感好等特征，逐漸成為在線學(xué)習(xí)資源的主要形式[1]。特別是2020年初受新冠疫情影響，各級各類的學(xué)校教學(xué)活動紛紛轉(zhuǎn)移到線上開展，僅在高等教育領(lǐng)域，截至2020年2月5日，教育部就組織了免費開放的2.4 萬余門在線課程資源，覆蓋了本科12 個學(xué)科門類、?？聘呗?8 個專業(yè)大類，以保證“停課不停教、停課不停學(xué)”[2]。教學(xué)視頻更是成為在線課程資源中教學(xué)內(nèi)容的最重要載體，其質(zhì)量將直接影響在線學(xué)習(xí)的成效。因此，教學(xué)視頻的有效設(shè)計和應(yīng)用，受到越來越多研究者和教學(xué)實踐者的關(guān)注。

以往有關(guān)教學(xué)視頻設(shè)計的研究，主要集中于視頻中的認(rèn)知因素上，例如，字幕[3-4]、線索[5-6]、教師引導(dǎo)[7-8]、教師形象呈現(xiàn)方式[9-10]、播放速度[11-12]、交互方式[13]等，即通過對認(rèn)知因素的有效設(shè)計，促進(jìn)學(xué)習(xí)者選擇信息、組織信息和整合信息的認(rèn)知加工過程[14]，從中總結(jié)出促進(jìn)視頻學(xué)習(xí)績效的設(shè)計方法。然而，教學(xué)視頻的設(shè)計除了要考慮認(rèn)知因素以外，情緒因素的重要作用同樣不容忽視。情緒可以調(diào)節(jié)認(rèn)知的加工過程和行為，影響學(xué)習(xí)者對信息的選擇、組織和整合。積極的情緒在認(rèn)知過程中起協(xié)調(diào)、促進(jìn)作用，此時學(xué)習(xí)效率就會比較高；而消極的情緒起破壞、阻斷的作用，此時學(xué)習(xí)效率就會比較低[15]。近年來，一些研究開始關(guān)注情緒設(shè)計對多媒體情境下學(xué)習(xí)的影響[16-19]，但鮮有學(xué)者直接針對教學(xué)視頻中的視覺和聽覺情緒設(shè)計開展深入研究，且對情緒設(shè)計如何影響學(xué)習(xí)的作用機(jī)制尚不清晰。

綜上，本研究旨在借助眼動跟蹤技術(shù)和腦波記錄技術(shù)，深入探究教學(xué)視頻中的視覺和聽覺情緒設(shè)計對認(rèn)知加工的作用機(jī)制、對情緒的誘導(dǎo)作用、對認(rèn)知負(fù)荷的控制以及對學(xué)習(xí)效果的交互影響，從中總結(jié)出視覺和聽覺情緒設(shè)計的優(yōu)化策略，為教學(xué)視頻的優(yōu)化設(shè)計、在線學(xué)習(xí)情緒的改善和學(xué)習(xí)績效的提高，提供參考與借鑒。

二、情緒與多媒體學(xué)習(xí)

（一）多媒體學(xué)習(xí)認(rèn)知情感理論與情緒設(shè)計

多媒體學(xué)習(xí)研究之父梅耶（R.E.Mayer）教授創(chuàng)立了 “多媒體學(xué)習(xí)認(rèn)知理論”（Cognitive Theory of Multimedia Learning，CTML），認(rèn)為多媒體學(xué)習(xí)是一個生成性的學(xué)習(xí)過程，包括三個不同的認(rèn)知加工階段：選擇、組織和整合。具體來說：（1）在認(rèn)知的選擇階段，學(xué)習(xí)者通過眼睛和耳朵注意到學(xué)習(xí)材料中的關(guān)鍵信息，例如圖像和解說等，這一過程發(fā)生于感覺記憶當(dāng)中；（2）在認(rèn)知的組織階段，學(xué)習(xí)者組織圖像、解說等信息，并在其內(nèi)部建立聯(lián)系，形成圖像或言語模型，這一過程發(fā)生于工作記憶當(dāng)中；（3）在認(rèn)知的整合階段，學(xué)習(xí)者將工作記憶中的圖像或言語模型，與長時記憶中的相關(guān)先前知識建立聯(lián)結(jié)并整合[20]。可見，多媒體學(xué)習(xí)認(rèn)知理論側(cè)重于學(xué)習(xí)中的認(rèn)知因素，但忽略了動機(jī)和元認(rèn)知因素對多媒體學(xué)習(xí)的潛在影響。

莫里納（R.Moreno）將動機(jī)和元認(rèn)知因素整合到多媒體學(xué)習(xí)認(rèn)知加工過程當(dāng)中，進(jìn)一步提出了“多媒體學(xué)習(xí)認(rèn)知情感理論”（Cognitive Affective Theory of Learning with Media，CATLM）[21]。該理論認(rèn)為，學(xué)習(xí)者的動機(jī)和元認(rèn)知因素將啟動、維持或控制認(rèn)知的選擇、組織和整合過程，進(jìn)而影響認(rèn)知投入和學(xué)習(xí)績效。梅耶在此基礎(chǔ)上進(jìn)一步明確了“情緒設(shè)計”（Emotional Design）的基本概念，即對多媒體學(xué)習(xí)材料中所呈現(xiàn)教學(xué)內(nèi)容的關(guān)鍵元素，進(jìn)行再設(shè)計和修飾。其中，對圖形等視覺元素增加擬人化的特征、采用暖色等被稱作視覺情緒設(shè)計；調(diào)整解說的音高及音色、添加符合教學(xué)需求的背景音樂等，則被稱作聽覺情緒設(shè)計，目的在于增強(qiáng)學(xué)習(xí)材料的吸引力，進(jìn)而提升學(xué)習(xí)者的學(xué)習(xí)動機(jī)，引發(fā)學(xué)習(xí)者的積極情緒[22]。

基于動機(jī)和情緒對多媒體學(xué)習(xí)的調(diào)節(jié)作用，“多媒體學(xué)習(xí)認(rèn)知情感理論” 還提出了情緒設(shè)計對學(xué)習(xí)影響的基本假設(shè)：多媒體學(xué)習(xí)材料中關(guān)鍵因素的情緒設(shè)計，可以引導(dǎo)學(xué)習(xí)者的注意力集中到關(guān)鍵信息，從而促進(jìn)認(rèn)知的選擇過程；同時，還可以幫助學(xué)習(xí)者更好地理解多媒體學(xué)習(xí)材料中的關(guān)鍵信息，從而促進(jìn)認(rèn)知的組織和整合過程（如圖1所示）。為此，本研究“在多媒體學(xué)習(xí)認(rèn)知情感理論”框架的基礎(chǔ)上，對教學(xué)視頻中表達(dá)關(guān)鍵信息的圖形以及解說，分別進(jìn)行不同的視覺和聽覺情緒設(shè)計，深入探究這些不同的情緒設(shè)計對多媒體學(xué)習(xí)的認(rèn)知過程、認(rèn)知效果、認(rèn)知負(fù)荷和情緒的綜合交互影響，據(jù)此總結(jié)出教學(xué)視頻中情緒設(shè)計的優(yōu)化策略。

圖1 多媒體學(xué)習(xí)認(rèn)知情感理論框架

（二）相關(guān)研究綜述

近年來，諸多研究關(guān)注了多媒體學(xué)習(xí)材料中的視覺情緒設(shè)計對學(xué)習(xí)者的情緒與學(xué)習(xí)效果的影響。一些研究發(fā)現(xiàn)，學(xué)習(xí)材料中視覺元素的情緒設(shè)計，能夠誘發(fā)學(xué)習(xí)者的積極情緒，促進(jìn)學(xué)習(xí)效果的提升。例如烏姆（E.R.Um）等人對“人體的免疫過程”動畫中的視覺元素進(jìn)行了情緒設(shè)計，發(fā)現(xiàn)暖色和圓形可以激發(fā)學(xué)習(xí)者的積極情緒，降低感知難度，并提高閱讀理解和遷移測試成績[23]；普拉斯（J.L.Plass）等人重復(fù)了烏姆的實驗，進(jìn)一步發(fā)現(xiàn)，暖色本身不能激發(fā)積極情緒，將暖色和圓形結(jié)合才能激發(fā)學(xué)習(xí)者的積極情緒，提高保持成績，但對遷移成績沒有影響[24]；梅耶等人的研究以使用“病毒如何引起感冒”的教學(xué)PPT 為實驗材料，對關(guān)鍵元素進(jìn)行了視覺情緒設(shè)計，發(fā)現(xiàn)彩色和擬人特征能夠顯著提升學(xué)習(xí)者的保持測試成績，但對遷移測試成績沒有顯著影響，且視覺情緒設(shè)計能顯著提升學(xué)習(xí)者的心理努力程度，使學(xué)習(xí)者能更積極投入到學(xué)習(xí)任務(wù)當(dāng)中[25]；楊紅云等人通過對國內(nèi)外31 項相關(guān)實證研究展開的元分析發(fā)現(xiàn)，視覺情緒設(shè)計對學(xué)習(xí)者的保持成績和理解成績，有中等程度的促進(jìn)作用[26]；布羅姆（C.Brom）等人的元分析研究也發(fā)現(xiàn)，視覺情緒設(shè)計對學(xué)習(xí)者的保持成績、理解成績和遷移成績，均有中等程度的促進(jìn)作用[27]。

然而，還有一些研究發(fā)現(xiàn)，多媒體學(xué)習(xí)材料中關(guān)鍵元素的視覺情緒設(shè)計，不能誘發(fā)學(xué)習(xí)者的積極情緒，也不能改善學(xué)習(xí)效果。例如，薛野等人以“人體的免疫過程”動畫作為實驗材料，對比了“橙黃紅+娃娃臉擬人”與“黑白灰+圓形”兩種視覺情緒設(shè)計對多媒體學(xué)習(xí)的影響。研究發(fā)現(xiàn)，暖色和擬人僅提高了學(xué)習(xí)者的內(nèi)在動機(jī)，但沒有誘發(fā)積極情緒，也沒有提升學(xué)習(xí)成績，且其情緒水平在學(xué)習(xí)后有所下降[28]。再如帕克（B.Park）等人對“人體的免疫過程”動畫中視覺元素的形狀進(jìn)行了擬人化情緒設(shè)計，他們借助眼動儀記錄了學(xué)習(xí)者的視覺認(rèn)知過程，發(fā)現(xiàn)形狀的擬人化不能誘發(fā)積極情緒，對學(xué)習(xí)者的理解成績和遷移成績也沒有顯著影響，但能有效引導(dǎo)學(xué)習(xí)者的視覺注意力集中到情緒設(shè)計區(qū)域[29]。

除了上述視覺情緒設(shè)計的研究之外，近年來也有少數(shù)研究關(guān)注了聽覺情緒設(shè)計對多媒體學(xué)習(xí)的影響。例如高苗苗以大學(xué)生為被試，以“人體的免疫過程”教學(xué)動畫作為實驗材料，對動畫中的解說聲音進(jìn)行了情緒設(shè)計，分為高音、中音和低音三組。研究發(fā)現(xiàn)，低音解說能夠誘發(fā)學(xué)習(xí)者的積極情緒，促進(jìn)相關(guān)認(rèn)知負(fù)荷，顯著提升保持測試與遷移測試成績[30]。再如烏祖納（A.M.Uzun）等人的研究結(jié)果也表明，在形狀的擬人化設(shè)計基礎(chǔ)上添加有趣的聲音效果，會誘發(fā)學(xué)習(xí)者產(chǎn)生積極情緒，但不能提升學(xué)習(xí)者的心理努力程度、保持測試成績和遷移測試成績[31]。

綜上所述，大多數(shù)研究集中于視覺情緒設(shè)計因素對多媒體學(xué)習(xí)的影響，且已有研究的結(jié)論仍不統(tǒng)一，視覺情緒設(shè)計效果的穩(wěn)健性仍需探究。少量研究關(guān)注了聽覺情緒設(shè)計因素，但缺乏對目前常用的人工智能合成音的關(guān)注，且視覺和聽覺因素的雙通道情緒設(shè)計的交互作用方式尚不清晰。已有研究大多采用積極情緒、消極情緒、認(rèn)知負(fù)荷的自我報告和學(xué)習(xí)效果測試的方式，考量情緒設(shè)計因素對多媒體學(xué)習(xí)的影響，對視聽覺情緒設(shè)計的作用機(jī)制，例如，對眼動加工機(jī)制和腦電生理機(jī)制尚缺乏深入的探究。除此之外，教學(xué)視頻具有多種信息同時呈現(xiàn)（圖片、文字、聲音、動畫、影像等）、動態(tài)性、復(fù)雜性和轉(zhuǎn)瞬即逝等特點。學(xué)習(xí)者不僅要加工當(dāng)前信息，同時還要記憶并整合之前播放過的信息，這容易使學(xué)習(xí)者產(chǎn)生過大的認(rèn)知負(fù)擔(dān)[32]。因此，有必要深入探究教學(xué)視頻中情緒因素的有效設(shè)計方法，誘發(fā)學(xué)習(xí)者在視頻學(xué)習(xí)時產(chǎn)生積極情緒和動機(jī)，調(diào)動高水平的學(xué)習(xí)投入，促進(jìn)深層次的認(rèn)知加工，進(jìn)而提升視頻學(xué)習(xí)效果。

三、研究問題

在分析多媒體學(xué)習(xí)認(rèn)知情感理論、相關(guān)研究和教學(xué)視頻情緒設(shè)計實際需求的基礎(chǔ)上，本研究采用實驗研究方法，綜合考慮教學(xué)視頻中的視聽覺因素的雙通道情緒設(shè)計，使用眼動儀和腦波儀跟蹤記錄學(xué)習(xí)者學(xué)習(xí)不同的視聽覺情緒設(shè)計教學(xué)視頻時，視覺和大腦的認(rèn)知加工過程[33]；并在學(xué)習(xí)結(jié)束之后，通過問卷測量學(xué)習(xí)者的情緒狀態(tài)、認(rèn)知負(fù)荷和學(xué)習(xí)效果，從認(rèn)知過程、學(xué)習(xí)體驗與效果多個視角深入探究教學(xué)視頻中的視覺和聽覺情緒設(shè)計，對視頻學(xué)習(xí)的影響。主要解決以下幾個研究問題：

問題1：教學(xué)視頻中的視覺和聽覺情緒設(shè)計，對學(xué)習(xí)者的情緒有何影響？

問題2：教學(xué)視頻中的視覺和聽覺情緒設(shè)計，對學(xué)習(xí)效果和認(rèn)知負(fù)荷有何影響？

問題3：教學(xué)視頻中的視覺和聽覺情緒設(shè)計，對認(rèn)知加工過程的作用機(jī)制是什么？

問題4：學(xué)習(xí)者的情緒與學(xué)習(xí)效果、認(rèn)知負(fù)荷和認(rèn)知過程有何關(guān)聯(lián)？

問題5：如何通過視聽覺情緒的優(yōu)化設(shè)計，改善視頻學(xué)習(xí)成效？

四、研究方法

（一）實驗設(shè)計與被試

研究采用2（視覺情緒設(shè)計）×3（聽覺情緒設(shè)計）兩因素完全隨機(jī)實驗設(shè)計，共包括六個實驗分組。視覺情緒設(shè)計因素包括“彩色+擬人”“黑白色+無擬人”兩個水平，聽覺情緒設(shè)計包括“智能合成音”“真人低音”和“真人高音”三個水平。

從天津師范大學(xué)招募被試180 人，去除先前知識測試成績高的和眼動采樣率低的被試，最終保留有效被試156 人，其中男生58 人，女生98 人，年齡在18-26 歲。全部被試的母語為中文，且視力或矯正視力正常。為了保證每組性別比例的均衡，58 名男生和98 名女生被分別隨機(jī)分配到六個實驗組，每組被試26 人（男生大約10 人，女生大約16 人）。

（二）視頻學(xué)習(xí)材料

視頻學(xué)習(xí)材料取材于梅耶的經(jīng)典實驗材料“閃電的形成過程與原理”[34]。在“多媒體學(xué)習(xí)認(rèn)知情感理論”和先前研究的基礎(chǔ)上，對視頻中表達(dá)關(guān)鍵信息的圖形顏色和形狀進(jìn)行視覺情緒設(shè)計，即將視頻中出現(xiàn)的水滴、冰晶、正電荷、負(fù)電荷等圖形，設(shè)計為“彩色+擬人”和“黑白色+無擬人”兩種形式。其中“彩色+擬人”中的顏色使用人們熟知的色彩，例如將水滴和冰晶處理為藍(lán)色，形狀使用擬人化的特征（為水滴添加表情等）；“黑白色+無擬人” 中的顏色僅使用黑白兩色，且不添加擬人化的形狀特征。圖2展示了部分視覺情緒設(shè)計樣例。

圖2 視覺情緒設(shè)計樣例

在聽覺情緒設(shè)計上，設(shè)計三個版本的解說聲音，即“智能合成音”“真人低音”和“真人高音”?？紤]到當(dāng)前人工智能應(yīng)用的普遍性，實驗選取人工智能合成音作為聲音情緒設(shè)計的一種形式，對比其與真人聲音對情緒、認(rèn)知過程、認(rèn)知負(fù)荷和學(xué)習(xí)效果的影響?！爸悄芎铣梢簟睘槟新?，由科大訊飛平臺在線語音智能合成服務(wù)自動生成。在已有相關(guān)研究的基礎(chǔ)上，聲音的另外兩種情緒設(shè)計也分為高音和低音兩種，均由男性真人錄制而成。區(qū)分低音和高音的方法如下：邀請播音主持專業(yè)的兩位聲音明亮和兩位聲音低沉的男學(xué)生進(jìn)行解說錄音，語速正常，音量適中。解說聲音錄制后，由播音主持專業(yè)的兩位教師和二十位研究生對四種解說錄音進(jìn)行音調(diào)高低評判，選定四種解說中音調(diào)最高和最低的解說聲音，進(jìn)一步用Protools 軟件對兩種解說音調(diào)進(jìn)行觀測，如圖3所示，高音調(diào)（明亮）男聲高頻更為飽滿，低音調(diào)（低沉）男聲低頻更為飽滿。

根據(jù)本研究的實驗設(shè)計，將視頻學(xué)習(xí)材料中的視覺情緒設(shè)計和聽覺情緒設(shè)計進(jìn)行組合搭配，制作成六個版本，即“彩色+擬人+智能合成音”“彩色+擬人+真人低音”“彩色+擬人+真人高音”“黑白色+無擬人+智能合成音”“黑白色+無擬人+真人低音”和“黑白色+無擬人+真人高音”，供六個實驗組進(jìn)行視頻自主學(xué)習(xí)。

圖3 “真人低音”與“真人高音”頻率對比

（三）主要儀器

眼動儀一臺：采用Tobii X120 型眼動儀，采樣率為120 Hz，完成被試的眼動定標(biāo)和眼動數(shù)據(jù)采集；同時配合使用Tobii Studio 3.2 軟件進(jìn)行眼動數(shù)據(jù)的處理、導(dǎo)出以及簡單分析。腦波儀一臺：采用CUBand腦電儀，型號為CUB1-RS，采集被試的專注度、放松度等腦認(rèn)知加工指標(biāo)，配套軟件為邁思睿認(rèn)知能力訓(xùn)練與腦電分析系統(tǒng)，存儲并輸出被試的專注度和放松度等腦波數(shù)據(jù)。

（四）測量變量及工具

1.被試基本信息問卷

用于收集被試的性別、年齡、專業(yè)、年級等基礎(chǔ)信息[35]。

2.先前知識問卷

由4 道題組成，涵蓋了視頻學(xué)習(xí)材料中講解的知識主題，被試從非常不熟悉（0 分）到非常熟悉（4分）評估自己對學(xué)習(xí)材料的熟悉程度，總分值介于0-16 分之間。綜合全部被試的先前知識測試結(jié)果，本研究將分值處于0-11 分（包括0 和11）的被試視為低知識經(jīng)驗水平；高于11 分的被試視為高知識經(jīng)驗水平。為了避免先前知識水平對實驗結(jié)果產(chǎn)生干擾，高知識經(jīng)驗水平的被試會被剔除掉。單因素方差分析結(jié)果表明：六個實驗組間的先前知識水平?jīng)]有顯著差異（F=.685，p=.635>.05）。

3.情緒量表

用于測量被試學(xué)習(xí)完成之后的情緒狀態(tài)，掌握視頻學(xué)習(xí)材料中的視聽覺情緒設(shè)計對情緒的誘導(dǎo)作用。采用的是沃森（D.Watson）等編制的[36]，由邱林等人修訂的“積極—消極情緒量表”[37]。量表共18 題，由積極情緒分量表（9 題，Cronbach’s α=.883）和消極情緒分量表（9 題，Cronbach’s α=.901）構(gòu)成，被試從1（完全不符合，計1 分）到5（完全符合，計5 分）這五個級別，評估自己的情緒狀態(tài)。積極情緒和消極情緒的測量結(jié)果，均介于1-45 分之間。

4.學(xué)習(xí)效果和認(rèn)知負(fù)荷

（1）保持測試：測量被試記住了多少視頻學(xué)習(xí)材料中的知識，以反映學(xué)習(xí)的數(shù)量[38]。保持測試包括7道選擇題（Cronbach’s α=.827），全部來源于視頻學(xué)習(xí)材料中講解的內(nèi)容，每題5 分，共35 分。

（2）遷移測試：測量被試對知識的理解和應(yīng)用能力，以反映學(xué)習(xí)的質(zhì)量[39]。遷移測試包括3 道簡答題（Cronbach’s α=.807），不直接源于視頻學(xué)習(xí)材料，但可利用視頻講解的內(nèi)容進(jìn)行解答，每題10 分，共30 分。

（3）認(rèn)知負(fù)荷量表：測量被試學(xué)習(xí)實驗材料時的認(rèn)知負(fù)荷。采用帕斯（F.G.Paas）編制的認(rèn)知負(fù)荷量表[40]（2 題，Cronbach’s α=.74），測量心理努力程度和材料難度，使用9 級自評量表，1 表示最少的努力和非常容易（計1 分），9 表示最大的努力和非常困難（計9 分）。心理努力程度和材料難度的測量結(jié)果，均介于1-9 分之間。

5.認(rèn)知過程

（1）眼動指標(biāo)。本實驗導(dǎo)出視覺情緒設(shè)計興趣區(qū)的三類眼動指標(biāo)，包括總注視次數(shù)、總注視時間和平均注視時間，分析被試學(xué)習(xí)不同視頻材料時對關(guān)鍵信息的視覺認(rèn)知加工情況?？傋⒁暣螖?shù)：被試在一個興趣區(qū)或一組興趣區(qū)的注視點總數(shù)，反映學(xué)習(xí)者對學(xué)習(xí)材料的注意程度；總注視時間：被試在一個興趣區(qū)或一組興趣區(qū)的全部注視點持續(xù)時間的總和，反映學(xué)習(xí)者對學(xué)習(xí)材料的認(rèn)知加工程度；平均注視時間：被試在一個興趣區(qū)或一組興趣區(qū)注視點的平均持續(xù)時間，反映學(xué)習(xí)者對學(xué)習(xí)材料的認(rèn)知負(fù)荷[41]。

（2）腦波指標(biāo)。通過腦波儀的監(jiān)測，采集學(xué)習(xí)者的腦波數(shù)據(jù)，包括專注度和放松度，分析被試學(xué)習(xí)不同的視頻材料時的大腦認(rèn)知加工情況。專注度：反映學(xué)習(xí)者注意力的集中程度，專注度越高就越能促進(jìn)完成學(xué)習(xí)任務(wù)的效率，且越能關(guān)注學(xué)習(xí)材料的細(xì)節(jié)；放松度：反映學(xué)習(xí)者的平靜或放松的腦狀態(tài)，與學(xué)習(xí)者的情緒狀態(tài)有關(guān)[42]，放松度適宜時能夠改善負(fù)面情緒[43]，但是過高的大腦放松度則不利于學(xué)習(xí)。

（五）實驗流程

本實驗在眼動實驗室開展，每位被試逐一進(jìn)行測試，時間約為45 分鐘，具體流程如圖4所示。

1.準(zhǔn)備

主試引導(dǎo)被試進(jìn)入實驗室，并向被試簡單介紹實驗流程，讓被試聽1 分鐘預(yù)先選定好的柔和輕音樂，以舒緩情緒。

2.前測

被試填寫基本信息問卷和先前知識水平測試問卷。

3.視頻學(xué)習(xí)+眼動和腦波跟蹤

首先，主試引導(dǎo)被試坐到眼動儀前的椅子上，并向其說明實驗過程和注意事項；其次，主試為被試佩戴耳機(jī)和腦波儀，并根據(jù)被試實際情況調(diào)整座椅的距離和高度，眼動定標(biāo)完成后呈現(xiàn)實驗指導(dǎo)語；最后，被試學(xué)習(xí)實驗視頻材料，并在學(xué)習(xí)完成后按空格鍵結(jié)束學(xué)習(xí)。

4.情緒測量

被試填寫積極和消極情緒量表。

5.學(xué)習(xí)效果和認(rèn)知負(fù)荷測量

被試完成保持、遷移測試并填寫認(rèn)知負(fù)荷量表。

（六）實驗數(shù)據(jù)分析

根據(jù)量表測試數(shù)據(jù)以及眼動儀、腦波儀記錄的數(shù)據(jù)，分別計算六組被試學(xué)習(xí)不同的視聽覺情緒設(shè)計教學(xué)視頻時的積極情緒、消極情緒、保持測試成績、遷移測試成績、感知材料難度、心理努力程度、總注視次數(shù)、總注視時間、平均注視時間、專注度和放松度的平均值（M）和標(biāo)準(zhǔn)差（SD），如表1所示，并使用IBM SPSS Statistics 25 對相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計分析。

1.對學(xué)習(xí)者情緒影響的數(shù)據(jù)分析

（1）積極情緒：視覺情緒設(shè)計的主效應(yīng)顯著（F=4.394，p=.038＜.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=1.895，p=.154＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=1.048，p=.353＞.05）。

圖4 實驗流程圖

表1 實驗數(shù)據(jù)描述性分析（M±SD）

獨立樣本T 檢驗表明：相對于 “黑白色+無擬人”，“彩色+擬人”能顯著提升學(xué)習(xí)者的積極情緒（t=2.083，p=.039＜.05）。對于“智能合成音”因素下的兩個不同的視覺情緒設(shè)計組來說，“彩色+擬人”組的積極情緒顯著高于“黑白色+無擬人”組（t=2.150，p=.036＜.05）；對于“真人低音”因素和“真人高音”因素來說，不同的視覺情緒設(shè)計對學(xué)習(xí)者的積極情緒影響均不顯著。這表明，使用“智能合成音”解說時，“彩色+擬人”的視覺情緒設(shè)計更能誘發(fā)學(xué)習(xí)者的積極情緒。

（2）消極情緒：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.001，p=.978＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=.988，p=.375＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=1.000，p=.370＞.05）。

2.對學(xué)習(xí)效果和認(rèn)知負(fù)荷影響的數(shù)據(jù)分析

（1）保持測試成績：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.000，p=1.000＞.05），聽覺情緒設(shè)計的主效應(yīng)顯著（F=3.832，p=.024＜.05），視聽覺情緒設(shè)計的交互作用不顯著（F=1.043，p=.355＞.05）。

聽覺情緒設(shè)計類型的事后多重比較表明：在保持測試成績上，“真人低音”組顯著高于“真人高音”組（p=.006＜.01）；“真人低音”組高于“智能合成音”組，差異不顯著；“智能合成音”組高于“真人高音”組，差異也不顯著。這表明“真人低音”比“智能合成音”和“真人高音”更容易促進(jìn)學(xué)習(xí)者對知識的記憶。

（2）遷移測試成績：視覺情緒設(shè)計的主效應(yīng)顯著（F=5.331，p=.022＜.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=.305，p=.738＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=1.291，p=.278＞.05）。

獨立樣本T 檢驗表明：相對于 “黑白色+無擬人”，“彩色+擬人” 的視覺情緒設(shè)計能顯著提升學(xué)習(xí)者的遷移測試成績（t=2.315，p=.022＜.05）。這表明“彩色+擬人” 的視覺情緒設(shè)計更能促進(jìn)對知識的理解和應(yīng)用，可促進(jìn)有意義學(xué)習(xí)的發(fā)生。

（3）材料難度：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.666，p=.416＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=2.258，p=.108＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=1.072，p=.345＞.05）。

（4）心理努力程度：視覺情緒設(shè)計的主效應(yīng)不顯著（F=1.119，p=.292＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=.112，p=.895＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=.756，p=.471＞.05）。

3.對認(rèn)知加工過程（眼動、腦波）影響的數(shù)據(jù)分析

（1）總注視次數(shù)：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.069，p=.793＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=.457，p=.634＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=.372，p=.690＞.05）。

（2）總注視時間：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.272，p=.603＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=.514，p=.599＞.05），視聽覺情緒設(shè)計的交互作用顯著（F=3.313，p=.039＜.05）。

通過進(jìn)一步的簡單效應(yīng)分析，我們發(fā)現(xiàn)：對于“彩色+擬人”因素下的三個不同的聲音設(shè)計組來說，總注視時間組間差異邊緣顯著（F=2.633，p=.079＜.10）。進(jìn)一步的事后多重比較表明：“智能合成音” 組的總注視時間顯著高于“真人低音”組（p=.025＜.05），其余聲音組間無顯著性差異。對于“黑白色+無擬人”因素下的三個不同的聲音設(shè)計組來說，總注視時間組間差異不顯著（F=1.364，p=.262＞.05）。這表明在“彩色+擬人”視覺情緒設(shè)計下，“智能合成音”組比“真人低音” 組吸引了學(xué)習(xí)者更多的視覺注意力到視覺情緒設(shè)計區(qū)域。

對于“智能合成音”因素下的兩個不同的視覺情緒設(shè)計組來說，“彩色+擬人”組的總注視時間顯著高于“黑白色+無擬人”組（t=2.034，p=.047＜.05）；對于“真人低音”因素和“真人高音”因素來說，視覺情緒設(shè)計對學(xué)習(xí)者的總注視時間影響都不顯著。這表明在“智能合成音”下，“彩色+擬人”更能吸引學(xué)習(xí)者更多的視覺注意力到視覺情緒設(shè)計區(qū)域。

（3）平均注視時間：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.041，p=.839＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=.212，p=.809＞.05），視聽覺情緒設(shè)計的交互作用不顯著（F=1.137，p=.324＞.05）。

（4）專注度：視覺情緒設(shè)計的主效應(yīng)顯著（F=4.489，p=.036＜.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=1.226，p=.296＞.05），視聽覺情緒設(shè)計的交互作用顯著（F=3.411，p=.036＜.05）。

獨立樣本T 檢驗表明：相對于“彩色+擬人”，“黑白色+無擬人”能顯著提升學(xué)習(xí)者的專注度（t=2.083，p=.039＜.05）。

通過進(jìn)一步的簡單效應(yīng)分析，我們發(fā)現(xiàn)：對于“彩色+擬人”因素下的三個不同的聲音設(shè)計組來說，專注度組間差異顯著（F=3.761，p=.028＜.05）。進(jìn)一步的事后多重比較表明，“智能合成音” 組（p=.013＜.05）和“真人低音”組（p=.034＜.05）的專注度顯著高于“真人高音”組，“智能合成音”組和“真人低音”組間無顯著性差異；對于“黑白色+無擬人”因素下的三個不同的聲音設(shè)計組來說，專注度組間差異不顯著（F=.397，p=.673＞.05）。這表明當(dāng)被試在視覺上具有情緒設(shè)計時，即“彩色+擬人”“智能合成音”組和“真人低音”組的學(xué)習(xí)專注度更高。

對于“真人高音”因素下的兩個不同的視覺情緒設(shè)計組來說，“彩色+擬人”組的專注度顯著低于“黑白色+無擬人”組（t=-3.436，p=.001＜.01）；對于“智能合成音”因素和“真人低音”因素來說，視覺情緒設(shè)計對學(xué)習(xí)者的學(xué)習(xí)專注度影響都不顯著。這表明在“真人高音”的解說之下，“黑白色+無擬人”更能提高學(xué)習(xí)者的學(xué)習(xí)專注度。

（5）放松度：視覺情緒設(shè)計的主效應(yīng)不顯著（F=.065，p=.799＞.05），聽覺情緒設(shè)計的主效應(yīng)不顯著（F=2.193，p=.115＞.05），視聽覺情緒設(shè)計的交互作用顯著（F=3.358，p=.037＜.05）。

進(jìn)一步的簡單效應(yīng)分析表明：對于“彩色+擬人”因素下的三個不同的聲音設(shè)計組來說，放松度組間差異不顯著（F=.165，p=.848＞.05）；對于“黑白色+無擬人”因素下的三個不同的聲音設(shè)計組來說，放松度組間差異顯著（F=5.609，p=.005＜.01）。進(jìn)一步的事后多重比較表明，“智能合成音”組的放松度顯著高于“真人低音”組（p=.004＜.01）和“真人高音”組（p=.005＜.01），“真人低音”組和“真人高音”組間無顯著性差異。這表明在“黑白色+無擬人”的視覺情緒設(shè)計之下，“智能合成音”組的學(xué)習(xí)放松度顯著更高。

對于“智能合成音”因素下的兩個不同的視覺情緒設(shè)計組來說，“彩色+擬人” 組的放松度顯著低于“黑白色+無擬人”組（t=-2.941，p=.005＜.01）；對于“真人低音”因素和“真人高音”因素來說，視覺情緒設(shè)計對學(xué)習(xí)者的放松度影響都不顯著。這表明在“智能合成音”的解說之下，“黑白色+無擬人”的視覺情緒設(shè)計能顯著提高學(xué)習(xí)者的放松度。

4.情緒與學(xué)習(xí)效果、認(rèn)知負(fù)荷和認(rèn)知過程之間的相關(guān)性分析

對于情緒與學(xué)習(xí)效果、認(rèn)知負(fù)荷和認(rèn)知過程之間的相關(guān)性分析，如表2所示。

表2 相關(guān)性分析結(jié)果

（1）視覺認(rèn)知過程與學(xué)習(xí)效果之間的相關(guān)性：總注視次數(shù)與保持測試成績顯著正相關(guān)（p=.034＜.05）。

（2）視覺認(rèn)知過程與大腦認(rèn)知過程之間的相關(guān)性：總注視次數(shù)與總注視時間顯著正相關(guān)（p=.007＜.01），總注視次數(shù)與平均注視時間顯著負(fù)相關(guān)（p＜.000＜.01），平均注視時間與放松度顯著負(fù)相關(guān)（p=.045＜.05）。

（3）情緒與學(xué)習(xí)效果及認(rèn)知負(fù)荷之間的相關(guān)性：積極情緒與保持測試成績顯著正相關(guān)（p=.020＜.05），與材料難度顯著負(fù)相關(guān)（p=.022＜.05），與心理努力程度顯著正相關(guān)（p=.026＜.05）；消極情緒與材料難度顯著正相關(guān)（p=.026＜.05），與心理努力程度顯著負(fù)相關(guān)（p=.017＜.05）。

五、討論與分析

本研究綜合探究了教學(xué)視頻中視覺和聽覺的情緒設(shè)計，對學(xué)習(xí)者的情緒、學(xué)習(xí)效果、認(rèn)知負(fù)荷、認(rèn)知過程的交互影響作用。從整體上來看，研究結(jié)論支持“多媒體學(xué)習(xí)認(rèn)知情感理論”，即學(xué)習(xí)材料中關(guān)鍵元素的情緒設(shè)計能夠激發(fā)學(xué)習(xí)者的學(xué)習(xí)動機(jī)，誘發(fā)學(xué)習(xí)者的積極情緒，調(diào)動學(xué)習(xí)者更高水平的學(xué)習(xí)投入，從而促進(jìn)學(xué)習(xí)效果的提升。除此之外，研究結(jié)論在一定程度上能夠直接體現(xiàn)教學(xué)視頻中的視聽覺情緒設(shè)計，對學(xué)習(xí)者的認(rèn)知過程、體驗和結(jié)果的作用機(jī)制。

（一）教學(xué)視頻中視覺和聽覺情緒設(shè)計對學(xué)習(xí)者情緒的誘發(fā)作用

學(xué)習(xí)者的情緒狀態(tài)測量結(jié)果表明，教學(xué)視頻中的視聽覺情緒設(shè)計，僅對學(xué)習(xí)者的積極情緒有顯著影響，對消極情緒無顯著影響。視覺情緒設(shè)計能增強(qiáng)教學(xué)視頻的吸引力，顯著誘發(fā)學(xué)習(xí)者的積極情緒，“彩色+擬人”的視覺情緒設(shè)計顯著優(yōu)于“黑白色+無擬人”，這與烏姆[44]、普拉斯[45]和梅耶[46]等人的研究發(fā)現(xiàn)一致。教學(xué)視頻中解說的聲音情緒設(shè)計，對學(xué)習(xí)者的情緒狀態(tài)沒有顯著影響，這可能是因為本研究僅對比了聲音的音高，音高對學(xué)習(xí)者情緒的作用可能比較有限，音色、語速等其他聲音設(shè)計因素對情緒的影響仍需深入探究[47]。值得關(guān)注的是，視覺情緒設(shè)計對積極情緒的誘導(dǎo)作用，在不同的聽覺情緒設(shè)計條件下也有所不同：當(dāng)解說為“智能合成音”時，“彩色+擬人”更能顯著誘發(fā)學(xué)習(xí)者的積極情緒；而當(dāng)解說為真人聲音時，無論是高音還是低音，“彩色+擬人”并不能顯著誘發(fā)學(xué)習(xí)者的積極情緒。這或許是因為“智能合成音”由人工智能生成，這種聲音與真人聲音相比情緒成分較少，是一種偏中性的聲音情緒設(shè)計，此時聲音對學(xué)習(xí)者情緒的影響可以忽略不計。因此，視覺情緒設(shè)計的情緒誘發(fā)作用發(fā)揮得更為顯著。

（二）教學(xué)視頻中視覺和聽覺情緒設(shè)計對學(xué)習(xí)效果和認(rèn)知負(fù)荷的影響

學(xué)習(xí)者的學(xué)習(xí)效果測試結(jié)果表明，教學(xué)視頻中的視覺和聽覺情緒設(shè)計，對保持測試成績和遷移測試成績不存在交互作用。教學(xué)視頻的聽覺情緒設(shè)計對學(xué)習(xí)者的保持測試成績影響顯著，“真人低音”解說能夠顯著促進(jìn)保持測試成績的提升，更容易促進(jìn)學(xué)習(xí)者對于知識內(nèi)容的記憶，這與高苗苗的研究發(fā)現(xiàn)一致[48]。教學(xué)視頻的視覺情緒設(shè)計對學(xué)習(xí)者的遷移測試成績影響顯著，“彩色+擬人”的視覺情緒設(shè)計能顯著提升學(xué)習(xí)者的遷移測試成績，更能加深學(xué)習(xí)者對知識的理解和應(yīng)用，從而促進(jìn)有意義學(xué)習(xí)的發(fā)生。以往研究大多沒有發(fā)現(xiàn)彩色和擬人化特征對遷移測試成績的促進(jìn)作用[49-51]，本研究的發(fā)現(xiàn)進(jìn)一步拓展了已有的研究成果，并且更加有力地證實了“多媒體學(xué)習(xí)認(rèn)知情感理論”的基本假設(shè)，對學(xué)習(xí)材料中關(guān)鍵元素進(jìn)行視覺情緒設(shè)計，能夠有效促進(jìn)認(rèn)知的組織和整合過程的發(fā)生，從而幫助學(xué)習(xí)者更好地理解關(guān)鍵教學(xué)內(nèi)容，取得更好的學(xué)習(xí)質(zhì)量[52]。

學(xué)習(xí)者的認(rèn)知負(fù)荷測量結(jié)果表明，在心理努力程度和學(xué)習(xí)材料感知難度上，視覺和聽覺情緒設(shè)計主效應(yīng)和交互作用均不顯著。這或許是因為本研究的視頻學(xué)習(xí)材料難度一般，且學(xué)習(xí)者對自身的認(rèn)知負(fù)荷不夠敏感，后續(xù)研究應(yīng)采取更為靈敏的測量方法。

（三）教學(xué)視頻的視聽覺情緒設(shè)計對學(xué)習(xí)者認(rèn)知加工過程的作用機(jī)制

本研究較以往研究的重要創(chuàng)新之處在于：使用眼動儀和腦波儀直接跟蹤學(xué)習(xí)者在使用不同的視聽覺情緒設(shè)計視頻學(xué)習(xí)時的視線變化和腦波變化情況，并深入探究了學(xué)習(xí)者的視覺認(rèn)知機(jī)制和腦電加工機(jī)制。根據(jù)蘭格（J.Lange）的情緒理論，情緒狀態(tài)的變化主要是生理變化導(dǎo)致的結(jié)果。因此，學(xué)習(xí)者的視覺認(rèn)知和大腦認(rèn)知的變化情況，也可從另一方面體現(xiàn)出其情緒狀態(tài)的變化[53]。

眼動數(shù)據(jù)表明，教學(xué)視頻中的視覺和聽覺情緒設(shè)計，對設(shè)計區(qū)的總注視時間具有顯著的交互作用，但對設(shè)計區(qū)的總注視次數(shù)和平均注視點持續(xù)時間沒有顯著影響。當(dāng)視頻的解說為“智能合成音”時，“彩色+擬人”的視覺情緒設(shè)計，更能引導(dǎo)學(xué)習(xí)者的視覺注意力集中到視覺情緒設(shè)計區(qū)域，與帕克等人的研究發(fā)現(xiàn)一致[54]。原因可能是“智能合成音”的情緒導(dǎo)向作用相對最弱，此時視覺上的情緒設(shè)計，即“彩色+擬人”特征，更容易引導(dǎo)學(xué)習(xí)者的注意力集中到教學(xué)視頻中的關(guān)鍵信息，這與對學(xué)習(xí)者積極情緒的作用機(jī)制類似。此項研究結(jié)果，直接證明了視覺情緒設(shè)計能夠促進(jìn)認(rèn)知選擇過程的發(fā)生，這是對“多媒體學(xué)習(xí)認(rèn)知情感理論”中視覺認(rèn)知加工機(jī)制的有力補(bǔ)充。另外，研究者還意外地發(fā)現(xiàn)，當(dāng)視覺情緒設(shè)計為“彩色+擬人”時，“智能合成音”比“真人低音”吸引了學(xué)習(xí)者更多的視線到視覺設(shè)計區(qū)域。這或許是因為，只有在解說聲音的情緒設(shè)計成分較弱時，視覺情緒設(shè)計才能發(fā)揮對學(xué)習(xí)者視覺注意力的引導(dǎo)作用。由此可見，當(dāng)多媒體學(xué)習(xí)材料中的情緒設(shè)計因素過多時，學(xué)習(xí)者的視覺注意力有可能受到干擾。

腦波數(shù)據(jù)表明，教學(xué)視頻中的視覺情緒設(shè)計對學(xué)習(xí)者的專注度影響顯著，且視覺和聽覺情緒設(shè)計對學(xué)習(xí)者的專注度存在顯著的交互作用。然而與預(yù)期不一致的是，“黑白色+無擬人”更能提升學(xué)習(xí)者的學(xué)習(xí)專注度，且當(dāng)視頻中的解說為“真人高音”時，“黑白色+無擬人” 更能顯著地提升學(xué)習(xí)者的學(xué)習(xí)專注度，這或許與學(xué)習(xí)材料的內(nèi)容和學(xué)習(xí)者自身學(xué)習(xí)風(fēng)格有關(guān)[55]，后續(xù)仍需深入探究。視覺和聽覺情緒設(shè)計對學(xué)習(xí)者的放松度存在顯著的交互作用：當(dāng)視覺情緒設(shè)計為黑白色和無擬人時，“智能合成音” 組的學(xué)習(xí)放松度顯著高于其他兩種聲音組，這表明視覺和聽覺設(shè)計的情緒引導(dǎo)傾向越小，學(xué)習(xí)者的學(xué)習(xí)越容易放松。并且當(dāng)解說為“智能合成音”時，此時，解說聲音的情緒導(dǎo)向作用最弱，“黑白色+無擬人”更能顯著提高學(xué)習(xí)者的放松度，但對學(xué)習(xí)效果有阻礙作用。具體表現(xiàn)為，學(xué)習(xí)者在學(xué)習(xí)“黑白色+無擬人+智能合成音”的視頻時，大腦處于過度放松的狀態(tài)，從而導(dǎo)致注意力分散，不能集中精力投入學(xué)習(xí)任務(wù)。由此可見，過于放松的狀態(tài)會阻礙學(xué)習(xí)效果的提升[56]。

（四）學(xué)習(xí)者的情緒、認(rèn)知過程、學(xué)習(xí)效果、認(rèn)知負(fù)荷的關(guān)聯(lián)機(jī)制

參考烏祖納等人[57]、烏姆等人[58]和王雪等人[59]的相關(guān)研究中對情緒、認(rèn)知過程、認(rèn)知負(fù)荷和學(xué)習(xí)效果之間關(guān)聯(lián)機(jī)制的分析方法，本研究也對這幾項數(shù)據(jù)進(jìn)行了相關(guān)性分析，深入探討情緒與認(rèn)知過程、認(rèn)知負(fù)荷及認(rèn)知效果之間的關(guān)聯(lián)。相關(guān)性分析結(jié)果表明，學(xué)習(xí)者學(xué)習(xí)不同的視聽覺情緒設(shè)計教學(xué)視頻的各項指標(biāo)之間存在關(guān)聯(lián)，圖5-8 顯示了各實驗分組的各項指標(biāo)的變化趨勢。

學(xué)習(xí)者的積極情緒與保持測試成績、心理努力程度顯著正相關(guān)，與材料難度顯著負(fù)相關(guān)；而消極情緒與材料難度顯著正相關(guān)，與心理努力程度顯著負(fù)相關(guān)。這表明：由教學(xué)視頻中的情緒設(shè)計誘發(fā)的積極情緒能夠促進(jìn)學(xué)習(xí)者更高水平的學(xué)習(xí)投入，降低對學(xué)習(xí)材料的感知難度，促進(jìn)對知識的記憶，取得更多的學(xué)習(xí)數(shù)量。而當(dāng)學(xué)習(xí)者認(rèn)為材料難度過高時則會引發(fā)消極情緒，降低學(xué)習(xí)投入水平。與此同時，學(xué)習(xí)者對設(shè)計區(qū)的總注視次數(shù)與保持測試成績，也呈顯著正相關(guān)，這進(jìn)一步佐證了學(xué)習(xí)者分配了更多的視覺注意力到關(guān)鍵區(qū)域，具有較高水平的學(xué)習(xí)投入。

圖5 情緒組間變化趨勢圖

圖6 認(rèn)知過程組間變化趨勢圖

圖7 學(xué)習(xí)效果組間變化趨勢圖

圖8 認(rèn)知負(fù)荷組間變化趨勢圖

此外，本研究還發(fā)現(xiàn)了學(xué)習(xí)者的視覺認(rèn)知加工與大腦認(rèn)知加工間的關(guān)聯(lián)，學(xué)習(xí)者的平均注視時間與放松度顯著負(fù)相關(guān)。平均注視時間是指學(xué)習(xí)者的視線停留在注視點上平均時間，這反映了學(xué)習(xí)者對學(xué)習(xí)內(nèi)容的加工程度和認(rèn)知負(fù)荷，平均注視點持續(xù)時間越長，則加工程度越高、認(rèn)知負(fù)荷越大[60]。因此，平均注視時間較長代表了學(xué)習(xí)者投入了更多的認(rèn)知加工資源，此時，大腦的放松度就會降低。上述分析進(jìn)一步證明了，情感和動機(jī)因素會通過增加或減少認(rèn)知投入來影響認(rèn)知過程、學(xué)習(xí)效果和認(rèn)知負(fù)荷。需要說明的是，部分相關(guān)系數(shù)屬于弱相關(guān)水平，有可能由不同的偶發(fā)性因素引起，后續(xù)仍需大量的重復(fù)實驗，進(jìn)一步證實本研究關(guān)聯(lián)機(jī)制的穩(wěn)健性。

（五）教學(xué)視頻中視聽覺情緒優(yōu)化設(shè)計的策略

基于以上對相關(guān)測量結(jié)果的綜合分析與討論，我們從中總結(jié)出教學(xué)視頻中視覺和聽覺情緒設(shè)計的具有可操作性的幾條優(yōu)化策略，供教學(xué)視頻的設(shè)計者和使用者參考借鑒。

第一，當(dāng)教學(xué)視頻設(shè)計者單獨對教學(xué)視頻中的視覺或聽覺進(jìn)行情緒設(shè)計時，首先，我們建議對教學(xué)視頻中表達(dá)關(guān)鍵信息的圖形進(jìn)行視覺情緒設(shè)計，即同時使用彩色和擬人化特征，能夠促進(jìn)學(xué)習(xí)者積極情緒的產(chǎn)生，引導(dǎo)視覺注意力分配，促進(jìn)更高水平的學(xué)習(xí)投入，從而提升學(xué)習(xí)質(zhì)量；其次，建議對教學(xué)視頻中的解說音高進(jìn)行聽覺情緒設(shè)計，“真人低音”的解說，雖對學(xué)習(xí)者的情緒無影響，但能促進(jìn)知識的記憶，提升學(xué)習(xí)數(shù)量，同時，應(yīng)避免“真人高音”的解說。

需要強(qiáng)調(diào)的是，無論是視覺情緒設(shè)計還是聽覺情緒設(shè)計，都要符合相關(guān)性原則（Coherence Principle），即要將設(shè)計集中于視頻中表達(dá)的關(guān)鍵教學(xué)內(nèi)容元素上，對必要且關(guān)鍵的視聽覺元素進(jìn)行再設(shè)計（例如，增強(qiáng)趣味性或吸引力），不能增添額外的無關(guān)元素，避免對視頻學(xué)習(xí)產(chǎn)生干擾。

第二，當(dāng)綜合對教學(xué)視頻中的視覺和聽覺進(jìn)行情緒設(shè)計時，視覺上的“彩色+擬人”情緒設(shè)計與“智能合成音”的解說是最佳組合，此時，學(xué)習(xí)者更容易產(chǎn)生積極的情緒，分配更多的視覺注意力到關(guān)鍵區(qū)域，調(diào)動更多的認(rèn)知投入，進(jìn)而促進(jìn)整體學(xué)習(xí)效果的提升。這主要是因為視覺是學(xué)習(xí)者獲取信息的最主要來源[61]，當(dāng)聽覺通道上的情緒設(shè)計因素過多時，則會對視覺通道的情緒設(shè)計效果產(chǎn)生干擾，阻礙積極情緒的產(chǎn)生、視覺注意力的合理分配，甚至是大腦的專注度與放松度。因此，“彩色+擬人”的視覺情緒設(shè)計與“智能合成音”的解說，是最佳的視聽覺情緒設(shè)計組合方式。

六、結(jié)論與展望

教學(xué)視頻作為在線學(xué)習(xí)中教學(xué)內(nèi)容的最重要載體，是學(xué)習(xí)者使用最為頻繁的一種教學(xué)資源，其設(shè)計和應(yīng)用能否有效調(diào)動學(xué)習(xí)者的積極情緒，將直接影響在線學(xué)習(xí)的成效。尤其在后疫情時代，在線學(xué)習(xí)將步入常態(tài)化階段，通過對教學(xué)視頻中的情緒因素所做的有效設(shè)計，能夠改善學(xué)習(xí)者的學(xué)業(yè)情緒，維持學(xué)習(xí)動機(jī)，緩解學(xué)業(yè)壓力，是重要且必要的。本研究在以往研究和“多媒體學(xué)習(xí)認(rèn)知情感理論”的基礎(chǔ)上，創(chuàng)新性地借助眼動儀和腦波儀記錄了學(xué)習(xí)者學(xué)習(xí)不同視聽覺情緒設(shè)計教學(xué)視頻的視覺認(rèn)知過程和大腦認(rèn)知加工過程，采用問卷方式測量了學(xué)習(xí)者的情緒、認(rèn)知負(fù)荷和學(xué)習(xí)效果，深入探究了教學(xué)視頻中的視覺和聽覺情緒設(shè)計對情緒、認(rèn)知過程、學(xué)習(xí)效果、認(rèn)知負(fù)荷的影響和作用機(jī)制。在此基礎(chǔ)上，進(jìn)一步凝練出教學(xué)視頻中視聽覺情緒設(shè)計的三條優(yōu)化策略，以期為教學(xué)視頻的優(yōu)化設(shè)計、改善在線學(xué)習(xí)情緒、提升在線學(xué)習(xí)績效，提供參考和借鑒。

需要說明的是，受人力、物力和實驗周期所限，本研究中的被試群體主要是大學(xué)生，實驗材料屬于物理科學(xué)范疇，后續(xù)研究將選取更豐富的被試類型和實驗材料類型，并且在真實的教學(xué)環(huán)境中進(jìn)行實驗結(jié)論應(yīng)用效果的檢驗，以提高研究結(jié)論的穩(wěn)健性和可推廣性。另外，后續(xù)研究仍需探索學(xué)習(xí)者的情緒和認(rèn)知負(fù)荷的直接測量方式，避免自我報告量表測量結(jié)果的不準(zhǔn)確性。