學(xué)習(xí)投入測評新發(fā)展：從單維分析到多模態(tài)融合

李新 李艷燕 包昊罡 程露

[摘? ?要] 學(xué)習(xí)投入與學(xué)生的學(xué)習(xí)持續(xù)性、學(xué)業(yè)滿意度、學(xué)習(xí)績效以及學(xué)業(yè)完成情況高度相關(guān)，對其進(jìn)行有效測評能夠準(zhǔn)確預(yù)測和干預(yù)學(xué)生的學(xué)習(xí)結(jié)果和學(xué)習(xí)行為。為了提升學(xué)習(xí)投入測評的有效性和準(zhǔn)確性，首先，對現(xiàn)有六種學(xué)習(xí)投入測評方法進(jìn)行了比較分析，即自我報告、編碼分析、日志分析、觀察評價、智能測量以及生理測量;然后，提出了多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評框架，包括數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)融合以及數(shù)據(jù)應(yīng)用四個關(guān)鍵步驟;最后，選取參與同伴互動活動的兩名不同成就學(xué)習(xí)者的多模態(tài)數(shù)據(jù)，依托該框架進(jìn)行探索性案例分析，從多維時空尺度揭示學(xué)習(xí)投入的深層機(jī)制。研究發(fā)現(xiàn)，多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評有望突破傳統(tǒng)測評方法中單一數(shù)據(jù)源難以實(shí)現(xiàn)的邏輯整合問題，揭示學(xué)習(xí)投入的動態(tài)演變規(guī)律，為課程設(shè)計、學(xué)習(xí)活動或教學(xué)工具的質(zhì)量提升提供有價值的參考依據(jù)，提升教師幫助學(xué)生和改善教學(xué)的能力，推動數(shù)據(jù)驅(qū)動的研究范式發(fā)展以及教與學(xué)規(guī)律的研究。

[關(guān)鍵詞] 多模態(tài); 學(xué)習(xí)投入; 測評方法; 概念框架; 多模態(tài)學(xué)習(xí)分析; 發(fā)展趨勢

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 李新（1993—），男，山東日照人。博士研究生，主要從事計算機(jī)支持的協(xié)作學(xué)習(xí)、學(xué)習(xí)投入測評、教師數(shù)據(jù)素養(yǎng)研究。E-mail：lixin_407@163.com。李艷燕為通訊作者，E-mail：liyy@bnu.edu.cn。

一、引? ?言

學(xué)習(xí)投入越來越受到研究者、實(shí)踐者和政策制定者的關(guān)注[1]。研究表明，學(xué)習(xí)投入與學(xué)生的學(xué)習(xí)持續(xù)性、學(xué)業(yè)滿意度、學(xué)習(xí)績效以及學(xué)業(yè)完成情況高度相關(guān)[2]，當(dāng)學(xué)生學(xué)習(xí)更加投入時，其學(xué)業(yè)表現(xiàn)也相對較好。因此，對學(xué)生的學(xué)習(xí)投入進(jìn)行有效測評，能夠有效預(yù)測和干預(yù)學(xué)生的學(xué)習(xí)結(jié)果和學(xué)習(xí)行為[3]。但是，研究者針對學(xué)習(xí)投入已有測評方法的有效性與準(zhǔn)確性存在很多爭議[4]，一方面，因為學(xué)習(xí)投入多維、連續(xù)、動態(tài)的結(jié)構(gòu)特征和難以直接測評的特征屬性[5]，另一方面，因為測評方法可能會受到主觀因素的影響[6]。因此，有研究者指出，傳統(tǒng)的學(xué)習(xí)投入測評方法阻礙著我們對學(xué)習(xí)投入的理解[7]，同時呼吁一種本質(zhì)上與已有測評方法完全不同的方式來監(jiān)測學(xué)生的學(xué)習(xí)投入?；诖?，本研究嘗試在分析學(xué)習(xí)投入多元復(fù)雜結(jié)構(gòu)的基礎(chǔ)上，梳理已有學(xué)習(xí)投入的主要測評方法，并對其優(yōu)勢和局限性進(jìn)行比較分析，在此基礎(chǔ)上提出多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評框架，隨后選取參與同伴互評活動的兩名高、低成就學(xué)習(xí)者的多模態(tài)數(shù)據(jù)，依據(jù)該框架進(jìn)行探索性案例分析，從多維時空尺度揭示學(xué)習(xí)投入的深層機(jī)制，突破傳統(tǒng)單維度分析方式的局限，更加深入地揭示學(xué)生學(xué)習(xí)投入的本質(zhì)特征與演變規(guī)律，幫助教師更好地診斷和了解學(xué)生的學(xué)習(xí)狀態(tài)。

二、學(xué)習(xí)投入的基本內(nèi)涵

盡管對學(xué)習(xí)投入缺乏統(tǒng)一的概念界定，但是學(xué)界對于學(xué)習(xí)投入的研究日益流行。Astin提出，學(xué)習(xí)投入是學(xué)生在學(xué)業(yè)上身體和心理的雙重投入[8]。Martin將學(xué)習(xí)投入界定為包括行為投入和認(rèn)知投入的二維框架[9]。Fredricks等則將學(xué)習(xí)投入定義為學(xué)生在學(xué)習(xí)過程中的參與程度和努力程度，包括行為投入、認(rèn)知投入、情感投入[10]。

（一）行為投入

行為投入是已有研究關(guān)注最多的維度，主要原因在于行為投入的測評相對直接。行為投入主要包括三個層面的定義：首先是學(xué)校層面，包括積極參加學(xué)校的各種課外活動，如體育運(yùn)動、社團(tuán)活動等[11];其次是課堂層面，指學(xué)生在課堂上的積極行為，如遵守課堂秩序與規(guī)則，同時沒有破壞性行為，如逃課、隨意講話等[12];最后是學(xué)習(xí)過程層面，指學(xué)生在學(xué)習(xí)和學(xué)術(shù)任務(wù)中的參與和行為，如堅持、專注、提問、完成作業(yè)等[13]。

（二）認(rèn)知投入

認(rèn)知投入相對來說更加難以定義和測評，主要原因在于研究者對于學(xué)生認(rèn)知投入的內(nèi)在機(jī)制缺乏共識。目前，關(guān)于認(rèn)知投入的研究主要來自學(xué)校投入和學(xué)習(xí)指導(dǎo)兩個方面，一種觀點(diǎn)將認(rèn)知投入界定為心理投入[10]，比如，學(xué)生以高于任務(wù)要求的標(biāo)準(zhǔn)來完成學(xué)習(xí)任務(wù)，或者是期望接受更大的學(xué)習(xí)任務(wù)挑戰(zhàn);另一種觀點(diǎn)將認(rèn)知投入界定為自我調(diào)節(jié)以及學(xué)習(xí)策略，有策略的學(xué)生在完成任務(wù)時會使用元認(rèn)知策略來計劃、監(jiān)控和評價自身的認(rèn)知過程[14]。

（三）情感投入

情感投入是指學(xué)生對學(xué)術(shù)內(nèi)容和學(xué)習(xí)環(huán)境的情感反應(yīng)。前者指學(xué)生對學(xué)術(shù)活動的興趣、享受、快樂、無聊或焦慮等情感反應(yīng)[15]，后者則包括學(xué)生對同伴、教師以及學(xué)校環(huán)境的歸屬感和認(rèn)同感。從理論上講，積極情緒和消極情緒都可以激活學(xué)生的注意力或投入狀態(tài)，但是已有研究表明，積極情緒在促進(jìn)學(xué)生投入方面比消極情感更有優(yōu)勢[16]。

三、學(xué)習(xí)投入測評的發(fā)展現(xiàn)狀

如何對學(xué)習(xí)投入進(jìn)行有效測評，一直以來都是研究者關(guān)注的研究領(lǐng)域。梳理學(xué)習(xí)投入測評的研究脈絡(luò)可以發(fā)現(xiàn)，目前，學(xué)習(xí)投入測評的方法主要包括自我報告、編碼分析、日志分析、觀察評價、智能測量以及生理測量，如圖1所示。

（一）自我報告

自我報告是學(xué)習(xí)投入測評的重要方式，是學(xué)生主動報告自己注意力、認(rèn)知狀態(tài)、情感反應(yīng)的一種問卷調(diào)查方法，主要通過向?qū)W生發(fā)放量表或問卷的方式來獲取學(xué)生的情感體驗、認(rèn)知狀態(tài)等信息，進(jìn)而推斷其投入狀態(tài)。自我報告的優(yōu)勢在于適用場景較廣，易于開展，但是其局限性在于獲取的數(shù)據(jù)都是結(jié)果型數(shù)據(jù)，很難獲得學(xué)生的即時數(shù)據(jù)和過程性數(shù)據(jù)，并且容易受到學(xué)生的主觀因素影響，導(dǎo)致最后的數(shù)據(jù)無法代表學(xué)生的真實(shí)投入狀態(tài)。

（二）編碼分析

編碼分析是學(xué)生學(xué)習(xí)投入測評的第二個常用方法，這類方法主要是指采用既定的框架或編碼表對視頻錄像、生生對話等進(jìn)行定性分析，既可以分析學(xué)生個體的學(xué)習(xí)投入，也可以分析小組整體的學(xué)習(xí)投入。比如，Sinha等從行為、社交、認(rèn)知以及“概念—結(jié)果”四個維度開發(fā)了協(xié)作學(xué)習(xí)情境中小組學(xué)習(xí)投入編碼表，針對每個維度設(shè)計了低、中、高的打分依據(jù)[17]。編碼分析的優(yōu)勢在于可以在不中斷學(xué)生學(xué)習(xí)的情況下獲取學(xué)生的過程性數(shù)據(jù)，但是其挑戰(zhàn)在于難以規(guī)模化應(yīng)用，這在一定程度上限制了研究對象的數(shù)量。

（三）日志分析

日志分析也是學(xué)習(xí)投入測評常用方法之一，這類方法主要是針對學(xué)習(xí)平臺采集到的學(xué)生學(xué)習(xí)日志進(jìn)行分析，包括學(xué)生的登錄次數(shù)、在線時長、答題正確率等指標(biāo)，以客觀評價學(xué)生的學(xué)習(xí)投入。比如，Soffer等通過分析學(xué)習(xí)管理系統(tǒng)日志文件來評價學(xué)生的學(xué)習(xí)投入，包括在線作業(yè)、同伴交互、學(xué)習(xí)活動等指標(biāo)[18]。日志分析的優(yōu)勢在于可以自動獲取學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，通過平臺以客觀可視化的形式表征學(xué)生的學(xué)習(xí)狀態(tài)，但是其不足在于對學(xué)習(xí)投入的評價過于片面化，主要表征學(xué)生的行為特征，缺少對認(rèn)知投入和情感投入的深層次挖掘。

（四）觀察評價

觀察評價是指教師等外部觀察者通過填寫評測問卷的方式來評價學(xué)生的學(xué)習(xí)投入。這些問卷可能會詢問教師對學(xué)生投入程度的主觀看法，也可能包含客觀測量的量表，通過這些量表來表征學(xué)生是否參與或投入。比如，在Lietaert等的研究中，教師利用量表對學(xué)生課堂中的行為投入進(jìn)行打分，1～9分表示完全不投入到高度投入[19]。觀察評價的優(yōu)勢在于可以實(shí)時對學(xué)生的學(xué)習(xí)投入進(jìn)行測評，效率較高，但是其局限性在于對觀察員的專業(yè)素養(yǎng)要求較高，很難找到大量具有專業(yè)素養(yǎng)的觀察員。

（五）智能測量

智能測量主要是指利用人工智能、計算機(jī)視覺等技術(shù)對學(xué)生的學(xué)習(xí)投入進(jìn)行實(shí)時分析，是未來學(xué)習(xí)投入測評發(fā)展的重要方向。學(xué)習(xí)投入的智能測量主要包括兩種類型：一是利用智能導(dǎo)師系統(tǒng)、Model學(xué)習(xí)平臺等實(shí)現(xiàn)對學(xué)生學(xué)習(xí)投入的自動、實(shí)時分析;二是利用計算機(jī)視覺技術(shù)，在不干擾學(xué)生的情況下對其面部表情、身體姿勢以及手部動作等進(jìn)行實(shí)時分析[20]，進(jìn)而判斷學(xué)習(xí)者的學(xué)習(xí)投入。智能測量的優(yōu)勢在于可以不中斷學(xué)生的學(xué)習(xí)過程，但是其局限性在于技術(shù)的準(zhǔn)確性和有效性仍需提升，難以在短時間內(nèi)大規(guī)模應(yīng)用。

（六）生理測量

隨著可穿戴設(shè)備的不斷發(fā)展，通過生理傳感器來監(jiān)測學(xué)生學(xué)習(xí)過程中的身體反應(yīng)逐漸成為學(xué)習(xí)投入測評的一種重要方式。生理測量采用的設(shè)備一般包括手環(huán)、腦電儀、眼動儀等，收集的數(shù)據(jù)類型包括心率（HR）、心率變異性（HRV）、腦電圖（EEG）、心電圖（ECG）、電流皮膚反應(yīng)（GSR）、皮膚電活動（EDA）等。生理測量的優(yōu)勢在于能夠挖掘?qū)W生的認(rèn)知、情感等方面的特征，在一定程度上加深我們對學(xué)習(xí)投入的理解，但是該方法的難點(diǎn)在于技術(shù)相對復(fù)雜、設(shè)備成本較高，以及生理測量指標(biāo)的可解釋性和科學(xué)性有待挖掘和驗證。

（七）比較分析

學(xué)習(xí)投入多元復(fù)雜的結(jié)構(gòu)特征導(dǎo)致研究者對學(xué)習(xí)投入測評方式的有效性與準(zhǔn)確性存在很多爭議。本研究從適用場景、可靠性、難易程度、測量成本、入侵程度以及優(yōu)勢和局限等維度對六種學(xué)習(xí)投入測評方法進(jìn)行了比較分析（見表1）。整體來看，任何一種測評方法都存在優(yōu)勢和不足，研究者只能基于不同的研究場景和研究對象選擇合適的學(xué)習(xí)投入測評方法，最大限度地規(guī)避單一測評方法的局限。

四、多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評

到目前為止，學(xué)習(xí)投入測評方法上的進(jìn)步也僅限于對傳統(tǒng)測評方法的組合或迭代，對于深入揭示學(xué)生認(rèn)知、情感等方面的特征存在不足。隨著人工智能、大數(shù)據(jù)等信息技術(shù)的發(fā)展，多模態(tài)學(xué)習(xí)分析在捕捉和測量學(xué)生學(xué)習(xí)投入和學(xué)習(xí)行為時具有重要潛能，能夠幫助我們更好地理解復(fù)雜的學(xué)習(xí)現(xiàn)象[21]，提升學(xué)習(xí)投入測評結(jié)果的一致性和準(zhǔn)確性。

（一）多模態(tài)數(shù)據(jù)的概念

多模態(tài)數(shù)據(jù)分為主觀數(shù)據(jù)和客觀數(shù)據(jù)，主觀數(shù)據(jù)說明學(xué)習(xí)者對于特定學(xué)習(xí)活動的看法或?qū)W(xué)習(xí)過程中心理狀態(tài)的描述[22]，如自我報告問卷、學(xué)習(xí)日志、反映學(xué)習(xí)者心理活動的音視頻編碼等;客觀數(shù)據(jù)能夠捕捉學(xué)習(xí)者在學(xué)習(xí)過程中的認(rèn)知或情感狀態(tài)[23]，如學(xué)生的心率、皮膚電、眼動、腦電波等生理數(shù)據(jù)。

（二）多模態(tài)數(shù)據(jù)的價值潛能

多模態(tài)數(shù)據(jù)和高級計算分析學(xué)的融合使我們能夠更好地認(rèn)識和理解復(fù)雜的學(xué)習(xí)現(xiàn)象[24]。例如，學(xué)習(xí)日志數(shù)據(jù)可以解釋學(xué)生的在線學(xué)習(xí)行為，視頻數(shù)據(jù)可以解釋學(xué)生的身體姿勢和交流互動情況，眼動追蹤數(shù)據(jù)可以發(fā)現(xiàn)學(xué)生的瞳孔反應(yīng)，腦電波數(shù)據(jù)可以提取與認(rèn)知負(fù)荷等深層心理過程相關(guān)的元數(shù)據(jù)。多模態(tài)數(shù)據(jù)的價值一方面體現(xiàn)在以生理數(shù)據(jù)為代表的多源數(shù)據(jù)能夠更加全面、深入地揭示學(xué)生認(rèn)知和情感方面的特征與規(guī)律，彌補(bǔ)傳統(tǒng)單一數(shù)據(jù)源對學(xué)生認(rèn)知和情感維度關(guān)注不足的缺陷;另一方面體現(xiàn)在數(shù)據(jù)間的三角互證，即通過收集不同來源的數(shù)據(jù)來解釋同一教育現(xiàn)象，獲得更多有價值的結(jié)論。

（三）多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評框架

學(xué)生與技術(shù)之間的互動為利用不同方式收集豐富的多模態(tài)數(shù)據(jù)提供了機(jī)會。多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評將生理測量方式與傳統(tǒng)主觀測量方式相結(jié)合，獲取學(xué)習(xí)者豐富的行為、認(rèn)知以及情感等方面的信息，再通過語義融合和數(shù)據(jù)對齊等方式刻畫全面、立體的學(xué)習(xí)圖景，從而幫助我們更好地理解學(xué)習(xí)投入的作用機(jī)制。牟智佳構(gòu)建了多通道的多模態(tài)學(xué)習(xí)分析流程，包括數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)標(biāo)注、數(shù)據(jù)處理以及數(shù)據(jù)開采五個流程[25];汪維富等設(shè)計了多模態(tài)學(xué)習(xí)分析的DVC過程模型，包括數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)融合、數(shù)據(jù)利用的“三大步七小步”處理流程[26]?？梢园l(fā)現(xiàn)，多模態(tài)數(shù)據(jù)分析的一般流程可以歸納為數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)融合以及數(shù)據(jù)應(yīng)用。因此，本研究構(gòu)建了包括如上流程的多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評框架，如圖2所示。

1. 數(shù)據(jù)收集

學(xué)習(xí)投入是學(xué)生行為投入、認(rèn)知投入以及情感投入的綜合表征，需要大量、多維的數(shù)據(jù)指標(biāo)才能對其進(jìn)行準(zhǔn)確、全面的刻畫。量表、視頻、音頻、學(xué)習(xí)平臺以及生理傳感器等多模態(tài)數(shù)據(jù)獲取方式能夠?qū)W(xué)生的學(xué)習(xí)行為、心理測量以及生理體征等進(jìn)行表征。其中，量表主要獲取學(xué)生的自我調(diào)節(jié)、學(xué)習(xí)動機(jī)等數(shù)據(jù);視頻主要獲取學(xué)生的身體姿態(tài)、面部表情等數(shù)據(jù);音頻主要獲取學(xué)生的對話信息;學(xué)習(xí)平臺主要獲取登錄時長、登錄次數(shù)、答題正確率等數(shù)據(jù);生理傳感器主要用來收集學(xué)生的生理數(shù)據(jù)，包括皮膚電、心率、腦電波等數(shù)據(jù)。

2. 數(shù)據(jù)處理

數(shù)據(jù)處理主要是將收集到的多模態(tài)數(shù)據(jù)進(jìn)行清洗、降噪、降維以及標(biāo)注。數(shù)據(jù)清洗和降噪的主要目的是檢查多模態(tài)數(shù)據(jù)的一致性，以及處理無效值和缺失值等;數(shù)據(jù)降維的目的是提高多模態(tài)數(shù)據(jù)建模時的魯棒性和泛化性，包括線性降維、非線性降維、流形降維等方法;數(shù)據(jù)標(biāo)注則是指通過人工或自動化的方式對清洗后的多模態(tài)數(shù)據(jù)進(jìn)行整理和標(biāo)注，為數(shù)據(jù)融合做好準(zhǔn)備，常見的數(shù)據(jù)標(biāo)注方法包括分類標(biāo)注、標(biāo)框標(biāo)注、區(qū)域標(biāo)注、描點(diǎn)標(biāo)注等。

3. 數(shù)據(jù)融合

數(shù)據(jù)融合是將處理后的多模態(tài)數(shù)據(jù)進(jìn)行整合分析，是多模態(tài)學(xué)習(xí)分析的難點(diǎn)。數(shù)據(jù)融合可以分別從空間維度和時間維度進(jìn)行，即語義融合和數(shù)據(jù)對齊兩種方式，通過建立融合模型實(shí)現(xiàn)多模態(tài)數(shù)據(jù)間的三角互證。與傳統(tǒng)單一模態(tài)數(shù)據(jù)相比，數(shù)據(jù)融合的價值主要體現(xiàn)在通過多源數(shù)據(jù)的三角互證提高測量結(jié)果的準(zhǔn)確性和信息的全面性，進(jìn)而獲得更有價值的結(jié)論，這也是多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評的關(guān)鍵。

4. 數(shù)據(jù)應(yīng)用

多模態(tài)學(xué)習(xí)分析為挖掘新的學(xué)習(xí)理論、洞察新的教育規(guī)律提供了可能，數(shù)據(jù)應(yīng)用是釋放多模態(tài)學(xué)習(xí)分析巨大潛能的根本。數(shù)據(jù)融合結(jié)果可以說明學(xué)生的學(xué)習(xí)投入狀態(tài)，比如，通過量表獲取的學(xué)習(xí)動機(jī)、通過視頻獲取的面部表情、通過音頻獲取的生生對話以及通過傳感器獲取的皮膚電、心率等數(shù)據(jù)，可以共同表征學(xué)生的情感投入。進(jìn)而，情感投入、認(rèn)知投入以及行為投入的狀態(tài)能夠共同表征學(xué)生的學(xué)習(xí)投入。可以發(fā)現(xiàn)，數(shù)據(jù)應(yīng)用中的數(shù)據(jù)指標(biāo)與教育指標(biāo)之間是“多對一”的映射關(guān)系，在提升結(jié)果可信度的同時，有效規(guī)避了傳統(tǒng)測評方法的局限。

五、多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評應(yīng)用案例

本研究基于多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評框架，圍繞同伴互評活動中學(xué)習(xí)者學(xué)習(xí)投入的動態(tài)測評開展了探索性研究，揭示同伴互評活動中學(xué)習(xí)者的學(xué)習(xí)投入演變規(guī)律，同時期望能夠從實(shí)踐層面為多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評提供借鑒。

（一）案例介紹

本研究依托某高校面向教育技術(shù)學(xué)本科生開設(shè)的人工智能課程，組織學(xué)生針對完成的期末作業(yè)開展同伴互評活動，活動流程如圖3所示?；谠摶顒樱狙芯渴占瘜W(xué)習(xí)者的多模態(tài)數(shù)據(jù)來表征其學(xué)習(xí)投入狀態(tài)，監(jiān)測學(xué)習(xí)者在同伴互評活動中的學(xué)習(xí)投入變化趨勢。

（二）數(shù)據(jù)收集

本研究利用攝像機(jī)、錄音筆、計算機(jī)以及生理傳感器等設(shè)備來收集學(xué)習(xí)者的多模態(tài)數(shù)據(jù)。其中，有3臺攝像機(jī)獲取學(xué)生的視頻數(shù)據(jù)，提取學(xué)習(xí)者的面部表情特征、頭部姿勢特征以及手部動作特征;4支錄音筆獲取學(xué)生的音頻數(shù)據(jù)，包括同伴互評活動時討論數(shù)據(jù)以及活動結(jié)束后的訪談數(shù)據(jù);1臺計算機(jī)獲取學(xué)生的在線評論數(shù)量、內(nèi)容以及學(xué)生對同伴評論內(nèi)容的情感反應(yīng);4條心率帶捕捉學(xué)習(xí)者的心率變化情況，見表2。

（三）數(shù)據(jù)處理與融合

雙向?qū)υ挱h(huán)節(jié)為學(xué)生提供了圍繞評論內(nèi)容進(jìn)行交流討論的機(jī)會，學(xué)生對該環(huán)節(jié)的認(rèn)同感最強(qiáng)，因此，本研究以雙向?qū)υ挱h(huán)節(jié)中學(xué)習(xí)者的學(xué)習(xí)投入為例進(jìn)行測評與分析。針對視頻數(shù)據(jù)，本研究利用NVivo軟件將10秒的視頻片段作為一個分析單元，對學(xué)習(xí)者的面部表情、頭部姿勢以及手部動作進(jìn)行編碼分析;針對心率數(shù)據(jù)，本研究利用Excel軟件中的Visual Basic編輯器對心率的原始數(shù)據(jù)進(jìn)行處理，最后生成心率變化曲線。

本研究組織學(xué)生在同伴互評活動前、后分別從切題性、知識性、正確性、創(chuàng)新性、總體性等維度對同伴的期末作品進(jìn)行評分（1～5分），對比學(xué)生的前后測得分差異，將前后測得分均低于15分的學(xué)生視為低成就學(xué)習(xí)者，將前后測得分均高于15分的學(xué)生視為高成就學(xué)習(xí)者。隨后，本研究通過時間軸對齊匹配的方式對學(xué)生的心率、面部表情、頭部姿勢、手部動作等數(shù)據(jù)進(jìn)行對齊和融合，共同表征學(xué)生的學(xué)習(xí)投入狀態(tài)。

（四）結(jié)果與討論

本研究以雙向?qū)υ挱h(huán)節(jié)為例，分別選取了1名高成就學(xué)習(xí)者和1名低成就學(xué)習(xí)者的多模態(tài)數(shù)據(jù)進(jìn)行探索性案例分析，如圖4、圖5所示。案例分析發(fā)現(xiàn)，雙向?qū)υ挱h(huán)節(jié)的開始階段是閱讀同伴的評論內(nèi)容，因此，兩名學(xué)習(xí)者的頭部動作主要是低頭閱讀評論內(nèi)容，手部動作以操作計算機(jī)為主，情緒相對穩(wěn)定，但是心率波動較為明顯，兩名學(xué)習(xí)者在學(xué)習(xí)投入上并無顯著性差異。但是在討論交流中，可以發(fā)現(xiàn)高成就學(xué)習(xí)者以開心為主的情感體驗明顯增多，頭部姿態(tài)也在抬頭、轉(zhuǎn)頭以及低頭間切換，手部動作則主要是與同伴交流時的輔助性動作，心率波動較小。但是，低成就學(xué)習(xí)者的情緒體驗出現(xiàn)了一些厭惡的表情，頭部姿勢主要在抬頭和轉(zhuǎn)頭間切換，很少低頭閱讀自己的作品和評論內(nèi)容，而且?guī)缀鯖]有與學(xué)習(xí)投入有關(guān)的手部動作，其心率變化也呈現(xiàn)出先升高、后下降的變化趨勢。通過比較分析高、低成就學(xué)習(xí)者的學(xué)習(xí)投入狀態(tài)圖可以發(fā)現(xiàn)，高、低成就學(xué)習(xí)者在時間投入、面部表情、頭部姿勢、手部動作以及心率等方面均存在著較大的不同，這也能說明二者在學(xué)習(xí)投入上的差異，進(jìn)而在一定程度上解釋了兩名學(xué)習(xí)者學(xué)習(xí)成績差異的原因。該研究結(jié)果與已有相關(guān)研究發(fā)現(xiàn)相似，Heflin等發(fā)現(xiàn)，學(xué)習(xí)投入的學(xué)生在主動發(fā)言、眼神交互、手部動作以及頭部姿勢和情感反應(yīng)等方面明顯好于學(xué)習(xí)脫離的學(xué)生[27]。此外，雖然Darnell等研究發(fā)現(xiàn)心率與學(xué)生的學(xué)習(xí)投入高度相關(guān)，與本研究高成就小組學(xué)生的心率表現(xiàn)一致，但是，心率和學(xué)習(xí)投入之間的內(nèi)在關(guān)系仍需要進(jìn)一步挖掘和探討[6]。

本研究雖然對表征學(xué)生學(xué)習(xí)投入的數(shù)據(jù)指標(biāo)進(jìn)行了融合處理，按照時間維度將學(xué)習(xí)者的多模態(tài)數(shù)據(jù)進(jìn)行融合分析，共同表征其學(xué)習(xí)投入狀態(tài)。但是各指標(biāo)之間的語義融合以及數(shù)據(jù)指標(biāo)與教育意蘊(yùn)的映射關(guān)系仍需進(jìn)一步探索。但是整體來看，多模態(tài)數(shù)據(jù)為表征和分析學(xué)習(xí)者學(xué)習(xí)投入的變化規(guī)律提供了可能，同時在一定程度上規(guī)避了傳統(tǒng)測評方式的局限，為教師改善學(xué)生的學(xué)習(xí)投入提供了過程性數(shù)據(jù)支持，將成為未來學(xué)習(xí)投入測評的重要方式。

六、結(jié)? ?語

多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評有望突破傳統(tǒng)測評方法中單一數(shù)據(jù)源難以實(shí)現(xiàn)的邏輯整合問題，通過對其進(jìn)行深入挖掘應(yīng)用，有助于推動數(shù)據(jù)驅(qū)動的研究范式發(fā)展以及教與學(xué)規(guī)律的研究。通過對學(xué)生的學(xué)習(xí)投入進(jìn)行有效測評，對于提升課程設(shè)計、學(xué)習(xí)活動或教學(xué)工具的質(zhì)量以及教師幫助學(xué)生和改善教學(xué)活動提供有價值的證據(jù)。但是多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入測評在數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)融合、數(shù)據(jù)解釋以及倫理道德等方面仍面臨一些現(xiàn)實(shí)難題。未來，基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入測評建議重點(diǎn)加強(qiáng)三個方面的研究：一是建立心率、皮膚電、腦電波、血壓等生理數(shù)據(jù)與認(rèn)知投入和情感投入之間的教育映射關(guān)系，挖掘生理數(shù)據(jù)的教育意蘊(yùn);二是重點(diǎn)分析面部表情、身體姿勢、手勢以及坐姿等與學(xué)生情感投入之間的關(guān)系，加強(qiáng)身體數(shù)據(jù)與教育指標(biāo)間的關(guān)聯(lián);三是聚焦學(xué)習(xí)投入的動態(tài)波動屬性，利用多模態(tài)數(shù)據(jù)監(jiān)測學(xué)習(xí)投入的變化規(guī)律，揭示學(xué)生行為、認(rèn)知、情感的本質(zhì)特征與影響因素，對于提升學(xué)生的學(xué)習(xí)績效、提高教師的教學(xué)能力具有重要意義。

[參考文獻(xiàn)]

[1] BOND M， BUNTINS K， BEDENLIER S， et al. Mapping research in student engagement and educational technology in higher education： a systematic evidence map[J]. International journal of educational technology in higher education， 2020， 17（1）：1-30.

[2] 李新，李艷燕.基于系統(tǒng)性文獻(xiàn)綜述的國外學(xué)習(xí)投入實(shí)證研究分析[J].現(xiàn)代遠(yuǎn)程教育研究，2021，33（2）：73-83，95.

[3] PALOS R， MARICUTOIU L P， COSTEA I. Relations between academic performance， student engagement and student burnout： a cross-lagged analysis of a two-wave study[J]. Studies in educational evaluation， 2019， 60（1）：199-204.

[4] SINATRA， GALE M， BENJAMIN C， et al. The challenges of defining and measuring student engagement in science[J]. Educational psychologist， 2015， 50（1）：1-13.

[5] APPLETON J J， SANDRA L C， DONGJIN K， et al. Measuring cognitive and psychological engagement： validation of the student engagement instrument [J]. Journal of school psychology， 2006， 44（5）：427-445.

[6] DARNELL D K， KRIEG P A. Student engagement， assessed using heart rate， shows no reset following active learning sessions in lectures[J]. PLOS ONE， 2019， 14（12）：1-13.

[7] D'MELLO， SIDNEY， DIETERLE， et al. Advanced， Analytic， Automated （AAA） measurement of engagement during learning[J]. Educational psychologist， 2017， 52（2）： 104-123.

[8] ASTIN A W. Student involvement： a developmental theory for higher education[J]. Journal of college student development， 1984（25）：297-308.

[9] MARTIN A. Enhancing student motivation and engagement： the effects of a multidimensional intervention[J]. Contemporary educational psychology， 2008， 33（2）：239-269.

[10] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[11] FINN J D， PANNOZZO G M， VOELKL K E. Disruptive and inattentive-withdrawn behavior and achievement among fourth graders[J]. Elementary school journal， 1995， 95（5）：421-454.

[12] FINN J D， ROCK D A. Academic success among students at risk for school failure[J]. Journal of applied psychology， 1997， 82（2）：221-234.

[13] SKINNER E A， BELMONT M J. Motivation in the classroom： reciprocal effect of teacher behavior and student engagement across the school year[J]. Journal of educational psychology， 1993， 85（4）：571-581.

[14] ZIMMERMAN B J. Self-regulated learning and academic achievement： an overview[J]. Educational psychologist， 1990， 25（1）：3-17.

[15] KAHU E R， NELSON K. Student engagement in the educational interface： understanding the mechanisms of student success[J]. Higher education research & development， 2018， 37（1）：58-71.

[16] HEDDY B C， SINATRA G M. Transforming misconceptions： using transformative experience to promote positive affect and conceptual change in students learning about biological evolution[J]. Science education， 2013， 97（5）：725-744.

[17] SINHA S， ROGET K， ADAMS R， et al. Collaborative group engagement in a computer-supported inquiry learning environment[J]. International journal of computer-supported collaborative learning， 2015， 10（3）：273-307.

[18] SOFFER T， COHEN A. Students' engagement characteristics predict success and completion of online courses[J]. Journal of computer assisted learning， 2019， 35（3）：378-389.

[19] LIETAERT S， ROORDA D， LAEVERS F， et al. The gender gap in student engagement： the role of teachers' autonomy support， structure， and involvement[J]. British journal of educational psychology， 2015， 85（4）：498-518.

[20] D'MELLO， GRAESSER A. Multimodal semi-automated affect detection from conversational cues， gross body language， and facial features[J]. User model and user-adapted interaction， 2010， 20（2）：147-187.

[21] 張琪，王紅梅.學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究，2019，40（12）：21-28.

[22] KHALIFEH G， NOROOZI O， FARROKHNIA M. Higher education students' perceived readiness for computer-supported collaborative learning[J]. Multimodal technologies and interaction， 2020， 4（2）：11.

[23] WINNE P H. Improving measurements of self-regulated learning[J]. Educational psychologist， 2010， 45（4）：267-276.

[24] BLIKSTEIN P， WORSLEY M. Multimodal learning analytics and education data mining： using computational technologies to measure complex learning tasks[J]. Journal of learning analytics， 2016， 3（2）：220-238.

[25] 牟智佳.多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長點(diǎn)[J].電化教育研究，2020，41（5）：27-32，51.

[26] 汪維富，毛美娟.多模態(tài)學(xué)習(xí)分析：理解與評價真實(shí)學(xué)習(xí)的新路向[J].電化教育研究， 2021，42（2）：25-32.

[27] HEFLIN H， SHEWMAKER J， NGUYEN J. Impact of mobile technology on student attitudes， engagement， and learning[J]. Computers & education， 2017， 107（4）：91-99.