全景透視多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方法

穆肅 崔萌 黃曉地

摘要：多模態(tài)學(xué)習(xí)分析被認(rèn)為是學(xué)習(xí)分析研究的新生長(zhǎng)點(diǎn)，其中，多模態(tài)數(shù)據(jù)如何整合是推進(jìn)學(xué)習(xí)分析研究的難點(diǎn)。利用系統(tǒng)文獻(xiàn)綜述及元分析方法，有助于為研究和實(shí)踐領(lǐng)域提供全景式的關(guān)于多模態(tài)數(shù)據(jù)整合的方法與策略指導(dǎo)。通過(guò)對(duì)國(guó)內(nèi)外363篇相關(guān)文獻(xiàn)的系統(tǒng)分析發(fā)現(xiàn)：（1）多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類(lèi)型主要包含數(shù)字空間數(shù)據(jù)、物理空間數(shù)據(jù)、生理體征數(shù)據(jù)、心理測(cè)量數(shù)據(jù)和環(huán)境場(chǎng)景數(shù)據(jù)等5類(lèi)。在技術(shù)支持的教與學(xué)環(huán)境中，高頻、精細(xì)、微觀的多模態(tài)學(xué)習(xí)數(shù)據(jù)變得可得、易得、準(zhǔn)確。（2）多模態(tài)學(xué)習(xí)分析中的學(xué)習(xí)指標(biāo)主要有行為、注意、認(rèn)知、元認(rèn)知、情感、協(xié)作、交互、投入、學(xué)習(xí)績(jī)效和技能等。隨著技術(shù)的發(fā)展和人們對(duì)學(xué)習(xí)過(guò)程的深刻洞察，學(xué)習(xí)指標(biāo)也會(huì)變得更加精細(xì)化。（3）數(shù)據(jù)與指標(biāo)之間展現(xiàn)出“一對(duì)一”“一對(duì)多”和“多對(duì)一”三種對(duì)應(yīng)關(guān)系。把握數(shù)據(jù)與指標(biāo)之間的復(fù)雜關(guān)系是數(shù)據(jù)整合的前提，測(cè)量學(xué)習(xí)指標(biāo)時(shí)既要考慮最適合的數(shù)據(jù)，也要考慮其他模態(tài)數(shù)據(jù)的補(bǔ)充。（4）多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合方式主要有“多對(duì)一”“多對(duì)多”和“三角互證”三種，旨在提高測(cè)量的準(zhǔn)確性、信息的全面性和整合的科學(xué)性?？傊嗄B(tài)數(shù)據(jù)整合具有數(shù)據(jù)的多模態(tài)、指標(biāo)的多維度和方法的多樣性等三維特性。將多模態(tài)數(shù)據(jù)時(shí)間線對(duì)齊是實(shí)現(xiàn)數(shù)據(jù)整合的關(guān)鍵環(huán)節(jié)，綜合考慮三維特性提高分析結(jié)果的準(zhǔn)確性是多模態(tài)數(shù)據(jù)整合未來(lái)研究的方向。

關(guān)鍵詞：多模態(tài)學(xué)習(xí)分析;數(shù)據(jù)類(lèi)型;學(xué)習(xí)指標(biāo);數(shù)據(jù)整合;系統(tǒng)文獻(xiàn)綜述

中圖分類(lèi)號(hào)：G434? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1009-5195（2021）01-0026-13? doi10.3969/j.issn.1009-5195.2021.01.003

基金項(xiàng)目：2018年度國(guó)家社科基金重大項(xiàng)目“信息化促進(jìn)新時(shí)代基礎(chǔ)教育公平的研究”（18ZDA334）子課題“面向基礎(chǔ)教育精準(zhǔn)幫扶的無(wú)縫學(xué)習(xí)體系研究”。

作者簡(jiǎn)介：穆肅，教授，博士生導(dǎo)師，華南師范大學(xué)教育信息技術(shù)學(xué)院（廣東廣州 510631）;崔萌（通訊作者），博士研究生，華南師范大學(xué)教育信息技術(shù)學(xué)院（廣東廣州 510631）;黃曉地，副教授，澳大利亞查爾斯特大學(xué)計(jì)算機(jī)與數(shù)學(xué)學(xué)院（澳大利亞新南威爾士州奧爾伯里 2640）。

一、研究背景與問(wèn)題

傳統(tǒng)的學(xué)習(xí)分析數(shù)據(jù)源通常是單維或單一模態(tài)的（Schwendimann et al.，2017），例如學(xué)習(xí)管理平臺(tái)（Learning Management System，LMS）記錄的學(xué)生日志數(shù)據(jù)。但是，并不是所有的學(xué)習(xí)過(guò)程都發(fā)生在LMS中，數(shù)據(jù)也不都是字符或數(shù)字，因而很多LMS之外的學(xué)習(xí)情況并沒(méi)有被記錄，但它們對(duì)于了解學(xué)習(xí)過(guò)程卻非常重要。同時(shí)，由于單維或單一模態(tài)數(shù)據(jù)僅能提供部分學(xué)習(xí)過(guò)程信息（Eradze et al.，2017），容易產(chǎn)生“路燈效應(yīng)”，有可能會(huì)降低分析結(jié)果的準(zhǔn)確性。而真實(shí)的學(xué)習(xí)過(guò)程往往是復(fù)雜多維的（Di Mitri et al.，2018），有可能是多平臺(tái)、多場(chǎng)所、多方式的混合。因此，為了更全面準(zhǔn)確地了解學(xué)習(xí)過(guò)程，研究者必須盡可能收集學(xué)習(xí)過(guò)程中的聲音、視頻、表情、生理等多模態(tài)數(shù)據(jù)（牟智佳，2020）。

在此背景之下，多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics，MMLA）成為學(xué)習(xí)分析領(lǐng)域新的研究分支（Blikstein，2013;Di Mitri et al.，2018）。多模態(tài)學(xué)習(xí)分析以學(xué)習(xí)機(jī)理為核心，利用多種分析技術(shù)對(duì)復(fù)雜學(xué)習(xí)過(guò)程中的多模態(tài)數(shù)據(jù)進(jìn)行同步采集和整合處理，旨在全面準(zhǔn)確地對(duì)學(xué)習(xí)特點(diǎn)和規(guī)律建模，為教與學(xué)提供支持（Worsley，2018）。多模態(tài)學(xué)習(xí)分析是典型的交叉學(xué)科研究，涉及教育技術(shù)、計(jì)算機(jī)科學(xué)、學(xué)習(xí)科學(xué)等多個(gè)學(xué)科領(lǐng)域（Di Mitri et al.，2018）。數(shù)據(jù)整合是多模態(tài)學(xué)習(xí)分析的重難點(diǎn)所在（張琪等，2020;Samuelsen et al.，2019），系統(tǒng)地理清數(shù)據(jù)整合的研究現(xiàn)狀具有重要意義。為此，本研究聚焦多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合問(wèn)題，用系統(tǒng)文獻(xiàn)綜述方法進(jìn)行相關(guān)文獻(xiàn)綜述，聚焦如下三個(gè)研究問(wèn)題：

第一，多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類(lèi)型有哪些？學(xué)習(xí)指標(biāo)有哪些？第二，數(shù)據(jù)與指標(biāo)之間的對(duì)應(yīng)關(guān)系如何？第三，多模態(tài)學(xué)習(xí)分析中數(shù)據(jù)整合的主要方式、關(guān)鍵環(huán)節(jié)以及主要特征有哪些？

二、研究設(shè)計(jì)與過(guò)程

本研究遵循系統(tǒng)文獻(xiàn)綜述及元分析方法（Preferred Reporting Items for Systematic Reviews and Meta-Analyses，PRISMA）的研究理路進(jìn)行文獻(xiàn)綜述。該方法是國(guó)際上常用的基于文獻(xiàn)證據(jù)的系統(tǒng)性綜述方法（Moher et al.，2009），其有標(biāo)準(zhǔn)化的文獻(xiàn)綜述流程和詳細(xì)的過(guò)程審查列表。根據(jù)PRISMA的流程和審核要求，本研究制定了如圖1所示的文獻(xiàn)分析流程。

文獻(xiàn)分析過(guò)程包括5個(gè)階段。第一是文獻(xiàn)檢索階段，即檢索與多模態(tài)學(xué)習(xí)分析相關(guān)的中英文文獻(xiàn)。第二是內(nèi)容相關(guān)度評(píng)分階段，即運(yùn)用制定的評(píng)分策略對(duì)文獻(xiàn)進(jìn)行評(píng)分，將與多模態(tài)學(xué)習(xí)分析不相關(guān)文獻(xiàn)賦分為0～2分，將相關(guān)文獻(xiàn)賦分為3～6分。第三是初步分類(lèi)階段，該階段將相關(guān)文獻(xiàn)分成三類(lèi)：（1）提及多模態(tài)學(xué)習(xí)分析，（2）多模態(tài)學(xué)習(xí)分析的理論探討，（3）多模態(tài)學(xué)習(xí)分析的實(shí)證研究。第四是實(shí)證類(lèi)研究分析階段，即通過(guò)對(duì)實(shí)證研究論文的分析找出多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類(lèi)型和學(xué)習(xí)指標(biāo)，同時(shí)辨別出進(jìn)行數(shù)據(jù)整合的論文。第五是數(shù)據(jù)整合情況的綜合分析階段，即聚焦數(shù)據(jù)整合的實(shí)證研究論文，整理其數(shù)據(jù)整合的方法和方案。

多模態(tài)學(xué)習(xí)分析整體研究現(xiàn)狀如圖2所示。圖中數(shù)據(jù)顯示，中文文獻(xiàn)（不限年份且相關(guān)度≥3的文獻(xiàn)有51篇）遠(yuǎn)少于英文文獻(xiàn)（限定年份2017年之后且相關(guān)度≥3的文獻(xiàn)有312篇）。在“提及多模態(tài)學(xué)習(xí)分析”“多模態(tài)學(xué)習(xí)分析的理論研究”“多模態(tài)學(xué)習(xí)分析的實(shí)證研究”三類(lèi)文獻(xiàn)的數(shù)量分布上，中文文獻(xiàn)分別有29篇、18篇和4篇，英文文獻(xiàn)分別有13篇、110篇和189篇。這表明國(guó)內(nèi)多模態(tài)學(xué)習(xí)分析的研究更關(guān)注引介和理論探討;而國(guó)外對(duì)多模態(tài)學(xué)習(xí)分析的理論探討和實(shí)證研究都很重視。在研究?jī)?nèi)容方面，多模態(tài)學(xué)習(xí)分析的實(shí)證研究涉及“數(shù)據(jù)整合”與“非數(shù)據(jù)整合”的數(shù)量分別為：中文1篇與3篇、英文112篇與77篇，可見(jiàn)當(dāng)前國(guó)際研究更加關(guān)注多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合。從檢索到的文獻(xiàn)來(lái)看，目前不論國(guó)內(nèi)還是國(guó)外都沒(méi)有關(guān)于多模態(tài)數(shù)據(jù)整合分析的綜述文章，為此，為了給正在進(jìn)行或有興趣開(kāi)展這一領(lǐng)域研究的同行提供一個(gè)全面、有深度的全景分析，本研究對(duì)多模態(tài)數(shù)據(jù)整合分析的文獻(xiàn)進(jìn)行系統(tǒng)分析并形成了元分析報(bào)告。

三、多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類(lèi)型、學(xué)習(xí)指 標(biāo)及其對(duì)應(yīng)關(guān)系

1.多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類(lèi)型

現(xiàn)有的多模態(tài)學(xué)習(xí)分析研究大都關(guān)注到“多模態(tài)數(shù)據(jù)類(lèi)型”，但數(shù)據(jù)分類(lèi)不盡相同。比較典型的數(shù)據(jù)分類(lèi)有：（1）行為數(shù)據(jù)（如運(yùn)動(dòng)模態(tài)、生理模態(tài)）和情景數(shù)據(jù)（Di Mitri et al.，2018）;（2）學(xué)習(xí)體征數(shù)據(jù)、人機(jī)交互數(shù)據(jù)、學(xué)習(xí)資源數(shù)據(jù)和學(xué)習(xí)情境數(shù)據(jù)（牟智佳，2020）;（3）外顯數(shù)據(jù)、心理數(shù)據(jù)、生理數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)（陳凱泉等，2019）;（4）生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)和基本信息數(shù)據(jù)（鐘薇等，2018）?，F(xiàn)有的數(shù)據(jù)分類(lèi)結(jié)果各有優(yōu)劣，大多數(shù)屬于理論總結(jié)。本研究嘗試從現(xiàn)有的實(shí)證研究中總結(jié)數(shù)據(jù)類(lèi)型，并結(jié)合理論上的分類(lèi)總結(jié)最終形成了如圖3所示的多模態(tài)數(shù)據(jù)分類(lèi)框架。同時(shí)，本研究也列出了多模態(tài)數(shù)據(jù)分類(lèi)編碼及其對(duì)應(yīng)的實(shí)證研究文獻(xiàn)支撐（見(jiàn)表1）。為便于編碼分析，本研究除使用各類(lèi)數(shù)據(jù)名稱(chēng)常規(guī)的英文縮寫(xiě)外，對(duì)沒(méi)有常規(guī)縮寫(xiě)的數(shù)據(jù)名稱(chēng)采用英文單詞首字母縮寫(xiě)方式。例如，Electroencephalogram的常規(guī)縮寫(xiě)為EEG，Body Language沒(méi)有常規(guī)縮寫(xiě)，故將其縮寫(xiě)為BL。

該分類(lèi)框架根據(jù)數(shù)據(jù)產(chǎn)生的場(chǎng)域?qū)⒍嗄B(tài)數(shù)據(jù)分為數(shù)字空間數(shù)據(jù)（Di Mitri et al.，2018）、物理空間數(shù)據(jù)（Martinez-Maldonado et al.，2018）、生理體征數(shù)據(jù)（Yin et al.，2017）、心理測(cè)量數(shù)據(jù)、環(huán)境場(chǎng)景數(shù)據(jù)（Di Mitri et al.，2019）5類(lèi)。其中，（1）數(shù)字空間數(shù)據(jù)是指由技術(shù)平臺(tái)記錄的、在學(xué)習(xí)中產(chǎn)生的各類(lèi)數(shù)字痕跡，如在線學(xué)習(xí)平臺(tái)（Monkaresi et al.，2017）、虛擬實(shí)驗(yàn)平臺(tái)（Liu et al.，2019）、STEAM教育軟件（Spikol et al.，2018）平臺(tái)上學(xué)生進(jìn)行操作的行為數(shù)據(jù)。（2）物理空間數(shù)據(jù)是指由各類(lèi)傳感器獲得的、與人的外在可見(jiàn)行為表現(xiàn)相關(guān)的數(shù)據(jù)，如身體各部分在物理空間中的運(yùn)動(dòng)變化和位置等。伴隨傳感器技術(shù)的發(fā)展，能夠獲得且被應(yīng)用到學(xué)習(xí)分析中的身體數(shù)據(jù)越來(lái)越細(xì)化，如頭部移動(dòng)的角度（Cukurova et al.，2020）和手指在平板電腦上的移動(dòng)數(shù)據(jù)等（Duijzer et al.，2017）。物理空間數(shù)據(jù)感知與分析對(duì)學(xué)習(xí)過(guò)程的解讀具有重要意義（劉智等，2018;Martinez-Maldonado et al.，2018），現(xiàn)已形成重要的研究分支，如具身認(rèn)知理論與行為研究（Ibrahim-Didi et al.，2017）。（3）生理體征數(shù)據(jù)是指反映人的內(nèi)在生理體征的數(shù)據(jù)，包括眼動(dòng)、腦電、皮電、心電等，能夠更加客觀地反映在線學(xué)習(xí)的狀態(tài)（Yin et al.，2017）。（4）心理測(cè)量數(shù)據(jù)是指各類(lèi)自我報(bào)告數(shù)據(jù)，能夠主觀反映學(xué)習(xí)者的心理狀態(tài)，是比較傳統(tǒng)的學(xué)習(xí)狀態(tài)數(shù)據(jù)來(lái)源。（5）環(huán)境場(chǎng)景數(shù)據(jù)是指學(xué)習(xí)者所處學(xué)習(xí)場(chǎng)景的環(huán)境數(shù)據(jù)，如溫度、天氣等。已有研究表明，學(xué)習(xí)環(huán)境對(duì)學(xué)習(xí)有不同程度的影響（Di Mitri et al.，2018），增加環(huán)境數(shù)據(jù)分析是多模態(tài)學(xué)習(xí)分析的趨勢(shì)之一。因此，如何獲取以上類(lèi)型的多模態(tài)數(shù)據(jù)、合理利用這些數(shù)據(jù)、解釋描述學(xué)習(xí)狀態(tài)、根據(jù)分析結(jié)果為學(xué)習(xí)者提供相應(yīng)學(xué)習(xí)服務(wù)已成為研究者面臨的現(xiàn)實(shí)問(wèn)題（劉智等，2018）。

得益于物聯(lián)網(wǎng)、傳感器、可穿戴設(shè)備、云存儲(chǔ)以及大數(shù)據(jù)高性能計(jì)算等的發(fā)展，分布在每個(gè)空間里的各類(lèi)高頻、精細(xì)、微觀的學(xué)習(xí)過(guò)程數(shù)據(jù)將得以準(zhǔn)確獲取。由于多模態(tài)數(shù)據(jù)更能反映學(xué)生真實(shí)的學(xué)習(xí)狀態(tài)（Di Mitri et al.，2018），因此在進(jìn)行多模態(tài)數(shù)據(jù)分析時(shí)，更應(yīng)考慮多空間或單個(gè)空間里的多種模態(tài)數(shù)據(jù)，尤其在一些實(shí)踐性強(qiáng)的課程中更是如此。例如在教學(xué)過(guò)程中，學(xué)生通過(guò)表情、語(yǔ)言、肢體動(dòng)作等多種方式與教學(xué)內(nèi)容、學(xué)習(xí)同伴、教師和媒體平臺(tái)等進(jìn)行交互，各類(lèi)交互的數(shù)據(jù)對(duì)學(xué)習(xí)過(guò)程分析至關(guān)重要，需要全方位的有效獲取并整合。

各種類(lèi)型數(shù)據(jù)可以實(shí)現(xiàn)互補(bǔ)、驗(yàn)證、整合和轉(zhuǎn)化。數(shù)據(jù)互補(bǔ)性是多模態(tài)數(shù)據(jù)很重要的一個(gè)特性。任何一種模態(tài)的數(shù)據(jù)都能提供關(guān)于某一現(xiàn)象或過(guò)程的部分解釋?zhuān)@些解釋從其他模態(tài)的數(shù)據(jù)中可能無(wú)法獲得（鐘薇等，2018）。數(shù)據(jù)互補(bǔ)可通過(guò)不同數(shù)據(jù)來(lái)說(shuō)明、描述或解釋同一研究對(duì)象和內(nèi)容，有利于交互證實(shí)所得出的結(jié)果（Di Mitri et al.，2018）。除此之外，多模態(tài)數(shù)據(jù)整合可以充分利用各類(lèi)數(shù)據(jù)的特點(diǎn)對(duì)學(xué)習(xí)過(guò)程或?qū)W習(xí)狀態(tài)進(jìn)行更加全面而準(zhǔn)確的分析，如將身體的移動(dòng)、手勢(shì)等物理空間里的數(shù)據(jù)與數(shù)字平臺(tái)中的日志數(shù)據(jù)進(jìn)行同步存儲(chǔ)，以便用于對(duì)學(xué)習(xí)過(guò)程的分析（Di Mitri et al.，2018）。數(shù)據(jù)轉(zhuǎn)化是指將一種空間中的數(shù)據(jù)轉(zhuǎn)化為另一空間的數(shù)據(jù)，如將物理空間數(shù)據(jù)轉(zhuǎn)化為數(shù)字空間數(shù)據(jù)（牟智佳，2020）。典型的研究有通過(guò)智能書(shū)寫(xiě)筆技術(shù)將學(xué)生真實(shí)的書(shū)寫(xiě)過(guò)程數(shù)字化，通過(guò)動(dòng)態(tài)書(shū)寫(xiě)特征數(shù)據(jù)預(yù)測(cè)學(xué)習(xí)績(jī)效（Oviatt et al.，2018）;還有研究將學(xué)生復(fù)習(xí)紙質(zhì)試卷的過(guò)程數(shù)字化，形成數(shù)字痕跡和數(shù)字腳注，以便用于分析真實(shí)的復(fù)習(xí)行為（Paredes et al.，2018）。這類(lèi)研究的優(yōu)勢(shì)在于能夠?qū)W(xué)生學(xué)習(xí)最為真實(shí)的行為和狀態(tài)數(shù)據(jù)進(jìn)行技術(shù)化處理，從而幫助人們更加深入地認(rèn)識(shí)復(fù)雜的學(xué)習(xí)過(guò)程。

2.多模態(tài)學(xué)習(xí)分析中的學(xué)習(xí)指標(biāo)

研究發(fā)現(xiàn)，多模態(tài)學(xué)習(xí)分析中所應(yīng)用的學(xué)習(xí)指標(biāo)主要包括行為、注意、認(rèn)知、元認(rèn)知、情感、協(xié)作（Cukurova et al.，2017）、交互（Schneider et al.，2018）、投入（張琪等，2019）、學(xué)習(xí)績(jī)效和技能等。部分學(xué)習(xí)指標(biāo)還可進(jìn)一步細(xì)化分類(lèi)。例如，行為指標(biāo)可分為在線學(xué)習(xí)行為（Oviatt et al.，2018;Paredes et al.，2018）、課堂學(xué)習(xí)行為（Watanabe et al.，2018）、具身學(xué)習(xí)行為（Gorham et al.，2019）、教師教學(xué)行為（Watanabe et al.，2018）等。注意指標(biāo)可分為個(gè)人注意（Mudrick et al.，2019）和聯(lián)合注意（Sharma et al.，2019）。情感指標(biāo)可分為自主學(xué)習(xí)中的情感（Munshi et al.，2019）和協(xié)作學(xué)習(xí)中的情感（Martin et al.，2019）。協(xié)作指標(biāo)可分為面對(duì)面協(xié)作（Ding et al.，2017）和遠(yuǎn)程協(xié)作（Andrade et al.，2019）。投入指標(biāo)可分為在線自主學(xué)習(xí)投入（Monkaresi et al.，2017）和課堂學(xué)習(xí)投入（Aslan et al.，2019）。學(xué)習(xí)績(jī)效指標(biāo)可分為結(jié)果性績(jī)效和過(guò)程性績(jī)效，既可涉及考試成績(jī)（Sriramulu et al.，2019;Dindar et al.，2020）、游戲得分（Giannakos et al.，2019）等較為簡(jiǎn)單的數(shù)據(jù)，還可涉及協(xié)作學(xué)習(xí)質(zhì)量、任務(wù)得分和學(xué)習(xí)效果（Dich et al.，2018）等復(fù)雜多元的數(shù)據(jù)。

從已有研究對(duì)學(xué)習(xí)指標(biāo)的分析可知，學(xué)習(xí)指標(biāo)的種類(lèi)繁多證實(shí)了學(xué)習(xí)過(guò)程的復(fù)雜性。部分學(xué)習(xí)指標(biāo)之間含義重疊交叉，如既可單獨(dú)分析協(xié)作（Reilly et al.，2018）和投入（Monkaresi et al.，2017），也可分析協(xié)作學(xué)習(xí)中的投入（Kim et al.，2020）。值得注意的是，學(xué)習(xí)指標(biāo)的選擇也有一些規(guī)律可循，如協(xié)作學(xué)習(xí)的指標(biāo)多關(guān)注協(xié)作特征（Cukurova et al.，2020）和協(xié)作交互（Malmberg et al.，2019），而自主學(xué)習(xí)指標(biāo)則多關(guān)注注意、認(rèn)知（Abdelrahman et al.，2017）和投入（Fwa et al.，2018）;面對(duì)面協(xié)作的指標(biāo)較多（Ding et al.，2017），而遠(yuǎn)程協(xié)作的指標(biāo)相對(duì)較少（DAngelo et al.，2017）。隨著學(xué)習(xí)過(guò)程洞察研究愈加深入，學(xué)習(xí)指標(biāo)也會(huì)更加細(xì)致。例如針對(duì)在線學(xué)習(xí)，有研究者深入到微觀角度，利用眼動(dòng)數(shù)據(jù)關(guān)注學(xué)習(xí)者在每個(gè)學(xué)習(xí)頁(yè)面中的學(xué)習(xí)路徑（Mu et al.，2019）。

3.多模態(tài)數(shù)據(jù)與學(xué)習(xí)指標(biāo)的對(duì)應(yīng)關(guān)系

多模態(tài)數(shù)據(jù)指向復(fù)雜的學(xué)習(xí)過(guò)程，能夠揭示數(shù)據(jù)和指標(biāo)之間的復(fù)雜關(guān)系（Oviatt，2018）。從前文分析可知，數(shù)據(jù)與指標(biāo)之間存在三種對(duì)應(yīng)關(guān)系：一對(duì)一、多對(duì)一和一對(duì)多?！耙粚?duì)一”是指一類(lèi)數(shù)據(jù)只適合度量一個(gè)學(xué)習(xí)指標(biāo)，此類(lèi)對(duì)應(yīng)最為簡(jiǎn)單且應(yīng)用較為普遍。隨著研究的深入和技術(shù)的發(fā)展，數(shù)據(jù)分析的細(xì)粒度逐步增加（張琪等，2020），每一類(lèi)數(shù)據(jù)的測(cè)量潛力被逐步挖掘，一對(duì)一的情況將越來(lái)越少。例如，傳統(tǒng)的認(rèn)知過(guò)程測(cè)量方法是訪談和量表，而當(dāng)生理測(cè)量技術(shù)發(fā)展起來(lái)之后，生理數(shù)據(jù)如腦電也被用于認(rèn)知測(cè)量（Mills et al.，2017），由此便產(chǎn)生了第二類(lèi)對(duì)應(yīng)關(guān)系?！岸鄬?duì)一”是指多個(gè)數(shù)據(jù)均可度量同一指標(biāo)。例如，眼動(dòng)、腦電和皮電都可用于測(cè)量學(xué)習(xí)投入（Sharmaet al.，2019）?！耙粚?duì)多”是指一類(lèi)數(shù)據(jù)可度量多個(gè)學(xué)習(xí)指標(biāo)。例如，眼動(dòng)可以測(cè)量注意、認(rèn)知（Sommer et al.，2017）、情感（Zheng et al.，2019）、協(xié)作和投入（Thomas，2018）等。

在數(shù)據(jù)和指標(biāo)的對(duì)應(yīng)關(guān)系中，一對(duì)多和多對(duì)一的情況已較為普遍。數(shù)據(jù)與指標(biāo)之間對(duì)應(yīng)關(guān)系多樣化的本質(zhì)原因在于，在技術(shù)條件和相關(guān)理論的支持下，數(shù)據(jù)的測(cè)量范圍、測(cè)量準(zhǔn)確性和對(duì)指標(biāo)的表征能力有所差別。例如，眼動(dòng)數(shù)據(jù)用于學(xué)習(xí)內(nèi)容關(guān)注焦點(diǎn)的挖掘效果較好（Mu et al.，2018），在量化學(xué)習(xí)者認(rèn)知狀態(tài)、注意力水平、信息加工過(guò)程（Minematsu et al.，2019）等方面具有優(yōu)勢(shì)。表情數(shù)據(jù)對(duì)情感（Tzirakis et al.，2017）和投入（Thomas，2018）的測(cè)量效果較好，它對(duì)強(qiáng)烈的情感（如“喜悅”和“生氣”）有較好的測(cè)量效果。生理數(shù)據(jù)對(duì)微妙情感有較好的測(cè)量效果（Pham et al.，2018）。已有研究明確指出，一個(gè)學(xué)習(xí)指標(biāo)既可用單一數(shù)據(jù)測(cè)量，也可用多模態(tài)數(shù)據(jù)測(cè)量（張琪等，2020;Pham et al.，2018）。因此，學(xué)習(xí)指標(biāo)測(cè)量既要考慮到最優(yōu)數(shù)據(jù)，也要考慮到其他數(shù)據(jù)的補(bǔ)充，這正是數(shù)據(jù)整合的意義所在。

四、多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合

為了進(jìn)一步挖掘?qū)W習(xí)分析層面的數(shù)據(jù)融合情況，本研究從數(shù)據(jù)整合方式、數(shù)據(jù)類(lèi)型、學(xué)習(xí)指標(biāo)三方面對(duì)多模態(tài)數(shù)據(jù)整合分析的研究文獻(xiàn)進(jìn)行了歸納。由表2可知，已有文獻(xiàn)中的數(shù)據(jù)整合方式既有跨類(lèi)型的多模態(tài)數(shù)據(jù)整合，例如跨越數(shù)字空間數(shù)據(jù)和物理空間數(shù)據(jù)整合（Alyuz et al.，2017），跨越心理測(cè)量數(shù)據(jù)和生理體征數(shù)據(jù)整合（Dindar et al.，2020）;也有非跨類(lèi)型的多模態(tài)數(shù)據(jù)整合，例如生理體征數(shù)據(jù)類(lèi)型中對(duì)具體數(shù)據(jù)的整合（Yin et al.，2017）。對(duì)于學(xué)習(xí)指標(biāo)，數(shù)據(jù)整合既有關(guān)注單一指標(biāo)的，如學(xué)習(xí)投入度（Thomas，2018）;也有同時(shí)關(guān)注多個(gè)指標(biāo)的，如同時(shí)關(guān)注協(xié)作、投入和學(xué)習(xí)績(jī)效（Worsley et al.，2018）?，F(xiàn)有的數(shù)據(jù)整合方式主要有三類(lèi)（見(jiàn)圖4）：（1）多對(duì)一，即用多維度、多模態(tài)數(shù)據(jù)測(cè)量一個(gè)學(xué)習(xí)指標(biāo)，以提高測(cè)量的準(zhǔn)確性;（2）多對(duì)多，即用多維度、多模態(tài)數(shù)據(jù)測(cè)量多個(gè)學(xué)習(xí)指標(biāo)，以提高信息的全面性;（3）三角互證，即通過(guò)多方數(shù)據(jù)互相印證來(lái)提高對(duì)某一問(wèn)題闡釋的合理性，是進(jìn)行整合研究的實(shí)證基礎(chǔ)。對(duì)比三類(lèi)整合研究可發(fā)現(xiàn)，與單模態(tài)數(shù)據(jù)相比，數(shù)據(jù)整合的價(jià)值體現(xiàn)在整合能夠提高測(cè)量的準(zhǔn)確性和信息的全面性，并帶來(lái)更有意義的研究結(jié)論，從而起到“1+1>2”的效果。只有做到“多對(duì)一”分析才算真正走向了數(shù)據(jù)整合。

1. “多對(duì)一”：提高測(cè)量的準(zhǔn)確性

此類(lèi)數(shù)據(jù)整合主要有兩大特點(diǎn)：一是有明確的數(shù)據(jù)整合算法模型，多模態(tài)數(shù)據(jù)（兩類(lèi)以上）是模型輸入，學(xué)習(xí)指標(biāo)（通常只有一個(gè)）是模型輸出。二是數(shù)據(jù)整合有助于提高學(xué)習(xí)指標(biāo)測(cè)量的準(zhǔn)確性。例如，聲音數(shù)據(jù)可以測(cè)情感（Cukurova et al.，2019），表情數(shù)據(jù)也可以測(cè)情感（Martin et al.，2019）。有研究用深度神經(jīng)網(wǎng)絡(luò)算法將兩類(lèi)數(shù)據(jù)進(jìn)行整合，用以提高情感測(cè)量的準(zhǔn)確性（Ez-zaouia et al.，2017）。

此類(lèi)研究中，數(shù)據(jù)模態(tài)的增加、數(shù)據(jù)特征的選擇、數(shù)據(jù)整合比例劃分以及算法模型的選擇都會(huì)影響測(cè)量的準(zhǔn)確性。有研究對(duì)比了單模態(tài)數(shù)據(jù)和多模態(tài)數(shù)據(jù)的研究效果，結(jié)果證明多模態(tài)數(shù)據(jù)的研究準(zhǔn)確性較高（Cukurova et al.，2019）。在選擇用于分析的數(shù)據(jù)方面，有研究者直接選用原始數(shù)據(jù)進(jìn)行分析（Tzirakis et al.，2017），也有研究者通過(guò)在原始數(shù)據(jù)基礎(chǔ)上篩選（Thomas et al.，2018）或構(gòu)造與學(xué)習(xí)相關(guān)的數(shù)據(jù)進(jìn)行分析，以期增加分析結(jié)果的教學(xué)可解釋性。值得注意的是，不同數(shù)據(jù)對(duì)同一學(xué)習(xí)指標(biāo)測(cè)量的準(zhǔn)確性有可能存在差異，例如有研究者證實(shí)了眼動(dòng)和腦電數(shù)據(jù)在預(yù)測(cè)情感的準(zhǔn)確性上就存在差異（Zheng et al.，2019）。總之，當(dāng)采用“多對(duì)一”方式進(jìn)行數(shù)據(jù)整合時(shí)，不是簡(jiǎn)單的1：1整合，而是要根據(jù)各類(lèi)數(shù)據(jù)的測(cè)量準(zhǔn)確性、數(shù)據(jù)與學(xué)習(xí)指標(biāo)的相關(guān)性等因素綜合采用數(shù)據(jù)和算法。高效的算法模型是此類(lèi)研究的關(guān)注點(diǎn)（Tzirakis et al.，2017），大部分研究通常會(huì)對(duì)比幾種不同算法模型的應(yīng)用效果，從而確定最優(yōu)的算法模型。

2. “多對(duì)多”：提高信息的全面性

此類(lèi)數(shù)據(jù)整合具有如下特點(diǎn)：一是包括多維度學(xué)習(xí)指標(biāo)（兩個(gè)以上），二是數(shù)據(jù)與學(xué)習(xí)指標(biāo)一一對(duì)應(yīng)，三是沒(méi)有數(shù)據(jù)整合算法，四是數(shù)據(jù)整合能提高信息的全面性。例如，有研究者同時(shí)用眼動(dòng)數(shù)據(jù)來(lái)測(cè)注意，用腦電數(shù)據(jù)來(lái)測(cè)認(rèn)知（Tamura et al.，2019）。

多對(duì)多的數(shù)據(jù)整合分析需要多個(gè)學(xué)習(xí)指標(biāo)，同時(shí)利用多方面的多模態(tài)數(shù)據(jù)進(jìn)行整合分析，以期全面、準(zhǔn)確地反映學(xué)習(xí)過(guò)程。當(dāng)前能夠支持?jǐn)?shù)據(jù)整合的分析系統(tǒng)有演講訓(xùn)練系統(tǒng)（Schneider et al.，2019）、書(shū)寫(xiě)訓(xùn)練系統(tǒng)（Limbu et al.，2019）、醫(yī)學(xué)訓(xùn)練系統(tǒng)（Di Mitri et al.，2019）、自然情景下的學(xué)習(xí)分析系統(tǒng)（Okada et al.，2020）、課堂監(jiān)控整合系統(tǒng)（Anh et al.，2019）、跳舞訓(xùn)練系統(tǒng)（Romano et al.，2019）等?，F(xiàn)有研究中有不少是用一種數(shù)據(jù)來(lái)測(cè)量和分析多個(gè)學(xué)習(xí)指標(biāo)，如用眼動(dòng)數(shù)據(jù)來(lái)測(cè)量注意、期望和疲倦三個(gè)指標(biāo)，用腦電數(shù)據(jù)來(lái)測(cè)量認(rèn)知負(fù)荷、心理負(fù)荷和記憶負(fù)荷三個(gè)指標(biāo)（Sharmaet al.，2019）。顯然，只用一種數(shù)據(jù)來(lái)同時(shí)測(cè)量多個(gè)指標(biāo)會(huì)過(guò)于夸大單一數(shù)據(jù)的作用，在一定程度上也會(huì)降低結(jié)果解釋的準(zhǔn)確性。因此，在條件允許的情況下，應(yīng)盡量為每一個(gè)學(xué)習(xí)指標(biāo)選擇最適合的數(shù)據(jù)。

3.三角互證：提高整合的科學(xué)性

數(shù)據(jù)整合的三角互證研究旨在通過(guò)多模態(tài)數(shù)據(jù)之間的互證分析來(lái)獲得更多有價(jià)值的結(jié)論。在已有研究中，對(duì)各種數(shù)據(jù)的分析是單獨(dú)和平行的，即用不同數(shù)據(jù)同時(shí)測(cè)量同一指標(biāo)，通過(guò)對(duì)比分析不同數(shù)據(jù)對(duì)同一學(xué)習(xí)指標(biāo)的測(cè)量效能，為“多對(duì)一”和“多對(duì)多”的數(shù)據(jù)整合研究提供實(shí)證依據(jù)。例如，有研究者收集了多模態(tài)數(shù)據(jù)進(jìn)行協(xié)作學(xué)習(xí)分析（Starr et al.，2018），單獨(dú)分析了每一類(lèi)數(shù)據(jù)對(duì)協(xié)作的測(cè)量情況，包括語(yǔ)言數(shù)據(jù)如何反應(yīng)協(xié)作情況（Reilly et al.，2019），人體姿態(tài)中哪些數(shù)據(jù)能夠體現(xiàn)協(xié)作（Reilly et al.，2018），眼動(dòng)數(shù)據(jù)如何測(cè)量協(xié)作（Schneider et al.，2019），生理數(shù)據(jù)如何反應(yīng)協(xié)作時(shí)的狀態(tài)變化（Schneider et al.，2020）。也有研究者單獨(dú)分析了自我報(bào)告數(shù)據(jù)和眼動(dòng)數(shù)據(jù)對(duì)學(xué)習(xí)投入的測(cè)量情況（Limbu et al.，2019）。還有研究者注重分析各類(lèi)數(shù)據(jù)之間的互證關(guān)系（J?rvel? et al.，2019），如有研究重點(diǎn)分析生理數(shù)據(jù)和表情數(shù)據(jù)之間的互證關(guān)系;還有研究關(guān)注協(xié)作學(xué)習(xí)中生理數(shù)據(jù)與情緒數(shù)據(jù)之間的互證關(guān)系，即當(dāng)由生理數(shù)據(jù)得到的覺(jué)醒發(fā)生時(shí)，學(xué)生情緒（通過(guò)表情數(shù)據(jù)測(cè)量得到）是如何變化的（Malmberg et al.，2019）。

4.整合方式的補(bǔ)充

以上是目前已開(kāi)展的多模態(tài)數(shù)據(jù)整合的主要方式，隨著研究的深入和技術(shù)的發(fā)展，未來(lái)數(shù)據(jù)整合的方式將會(huì)更加豐富多樣。例如，在對(duì)學(xué)習(xí)過(guò)程進(jìn)行分析時(shí)，可以根據(jù)不同的學(xué)習(xí)環(huán)境、階段和學(xué)習(xí)內(nèi)容，選擇不同維度和類(lèi)型的數(shù)據(jù)進(jìn)行分析，然后整合形成完整的學(xué)習(xí)過(guò)程分析，這也是一種數(shù)據(jù)整合分析的思路（Mu et al.，2018）。在對(duì)在線學(xué)習(xí)過(guò)程進(jìn)行分析時(shí)，有研究者先用日志數(shù)據(jù)對(duì)整體學(xué)習(xí)軌跡的時(shí)間線進(jìn)行分析，根據(jù)具體學(xué)習(xí)階段確定需要深入分析的焦點(diǎn)時(shí)刻，然后用學(xué)習(xí)過(guò)程的錄屏視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)對(duì)焦點(diǎn)時(shí)刻進(jìn)行詳細(xì)分析（Liu et al.，2019）。再如，有研究者先用日志數(shù)據(jù)對(duì)整體學(xué)習(xí)路徑進(jìn)行描述，然后用眼動(dòng)數(shù)據(jù)和記錄學(xué)習(xí)過(guò)程的視頻數(shù)據(jù)對(duì)學(xué)習(xí)者觀看教學(xué)視頻和在線練習(xí)兩個(gè)關(guān)鍵學(xué)習(xí)環(huán)節(jié)進(jìn)行微觀分析，從而實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)過(guò)程的細(xì)致畫(huà)像（Mu et al.，2019）。

需要說(shuō)明的是，同步采集不同時(shí)間和不同粒度的多模態(tài)數(shù)據(jù)是有效開(kāi)展數(shù)據(jù)整合的前提，這就需要通過(guò)部署數(shù)據(jù)同步采集系統(tǒng)來(lái)實(shí)現(xiàn)。數(shù)據(jù)整合系統(tǒng)通常包含表情分析模塊（Thomas，2018）、VR模塊（Schneider et al.，2019）、人體姿態(tài)模塊（Zaletelj et al.，2017）和自我報(bào)告模塊等。如果在采集數(shù)據(jù)時(shí)沒(méi)能實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的同步采集，則需要在數(shù)據(jù)清理時(shí)以時(shí)間為基線對(duì)各類(lèi)數(shù)據(jù)進(jìn)行時(shí)間線對(duì)齊處理。例如，STREAMS系統(tǒng)可將符合格式要求的日志數(shù)據(jù)與其他多模態(tài)數(shù)據(jù)進(jìn)行整合處理（Liu et al.，2019）?？梢?jiàn)，“時(shí)間線對(duì)齊”是數(shù)據(jù)整合的關(guān)鍵環(huán)節(jié)之一，也是數(shù)據(jù)清洗和整理的重點(diǎn)。

總之，數(shù)據(jù)整合分析既是多模態(tài)學(xué)習(xí)分析的核心，也是難點(diǎn)。多模態(tài)數(shù)據(jù)獲取相對(duì)容易，但真正整合起來(lái)進(jìn)行分析則存在較多困難，而且費(fèi)時(shí)費(fèi)力（Liu et al.，2019）。另外，數(shù)據(jù)的整合采集也并不意味著一定存在整合分析，有些研究雖然利用了數(shù)據(jù)整合采集系統(tǒng)，如演講訓(xùn)練系統(tǒng)（Schneider et al.，2019），但在具體分析中也只選擇了單一維度的數(shù)據(jù)進(jìn)行分析，而并未做到基于多模態(tài)數(shù)據(jù)的整合分析。

五、總結(jié)與展望

多模態(tài)數(shù)據(jù)整合分析研究的特點(diǎn)可歸納為三點(diǎn)：數(shù)據(jù)的多模態(tài)、指標(biāo)的多維度和方法的多樣性，如圖5所示。數(shù)據(jù)的多模態(tài)是最直觀的外在表現(xiàn)（X軸），指標(biāo)的多維度體現(xiàn)了學(xué)習(xí)過(guò)程的復(fù)雜性（Y軸），方法的多樣性體現(xiàn)了分析技術(shù)的特點(diǎn)（Z軸）。現(xiàn)有的數(shù)據(jù)整合研究或考慮數(shù)據(jù)的準(zhǔn)確性（A點(diǎn)），或考慮信息的全面性（B點(diǎn)），但最理想的應(yīng)是準(zhǔn)確性、全面性和多樣性共同作用下的分析，即C點(diǎn)。本研究認(rèn)為，未來(lái)的數(shù)據(jù)整合需要不斷提高測(cè)量準(zhǔn)確性和信息全面性，不斷建立有效的分析方法，以更智能、高效、準(zhǔn)確、全面地反映學(xué)習(xí)者的學(xué)習(xí)過(guò)程，呈現(xiàn)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和規(guī)律，進(jìn)而改進(jìn)教與學(xué)的效果。例如，可以用眼動(dòng)和行為數(shù)據(jù)共同測(cè)量認(rèn)知，用表情數(shù)據(jù)且通過(guò)人工判斷和機(jī)器識(shí)別兩種方法整合測(cè)量情感，用訪談獲取元認(rèn)知自省數(shù)據(jù)和用自我報(bào)告測(cè)量動(dòng)機(jī)水平（Munshi et al.，2019）。

總體而言，多模態(tài)學(xué)習(xí)分析不僅關(guān)注收集各種類(lèi)型的數(shù)據(jù)，而且注重對(duì)各類(lèi)數(shù)據(jù)的整合分析，以期更準(zhǔn)確、全面地體現(xiàn)學(xué)習(xí)過(guò)程的復(fù)雜性（鐘薇等，2018）。各類(lèi)感知設(shè)備和技術(shù)將在無(wú)感情況下，獲取更多學(xué)習(xí)數(shù)據(jù)，豐富數(shù)據(jù)類(lèi)型;對(duì)學(xué)習(xí)發(fā)生機(jī)理、腦科學(xué)和學(xué)習(xí)科學(xué)最新研究進(jìn)展的教育追問(wèn)將促進(jìn)學(xué)習(xí)指標(biāo)的持續(xù)更新;同時(shí)隨著指向?qū)W習(xí)指標(biāo)的多模態(tài)數(shù)據(jù)整合分析技術(shù)的不斷發(fā)展，人工智能技術(shù)將為數(shù)據(jù)分析提供技術(shù)支撐（牟智佳，2020），并不斷提升數(shù)據(jù)整合分析的能力。因此，未來(lái)多模態(tài)學(xué)習(xí)分析如能緊緊把握數(shù)據(jù)整合這一難點(diǎn)問(wèn)題并不斷嘗試新的解決方法和技術(shù)，將能凸顯數(shù)據(jù)多維整體、真實(shí)境脈、實(shí)時(shí)連續(xù)的優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)教學(xué)過(guò)程和教學(xué)效果更加即時(shí)、多維、直觀、全面的分析。

參考文獻(xiàn)：

[1]陳凱泉，張春雪，吳玥玥等（2019）. 教育人工智能（EAI）中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J]. 遠(yuǎn)程教育雜志， 37（5）：24-34.

[2]劉智，劉三，康令云（2018）. 物理空間中的智能學(xué)伴系統(tǒng)：感知數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)分析技術(shù)——訪柏林洪堡大學(xué)教育技術(shù)專(zhuān)家Niels Pinkwart教授[J]. 中國(guó)電化教育， （7）：67-72.

[3]牟智佳（2020）. 多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長(zhǎng)點(diǎn)[J]. 電化教育研究， 41（5）：27-32，51.

[4]張琪，王紅梅（2019）. 學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J]. 電化教育研究， 40（12）：21-28.

[5]張琪，武法提，許文靜（2020）. 多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入評(píng)測(cè)：現(xiàn)狀、啟示與研究趨向[J]. 遠(yuǎn)程教育雜志， 38（1）：76-86.

[6]鐘薇，李若晨，馬曉玲等（2018）. 學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]. 中國(guó)遠(yuǎn)程教育， （11）：41-49，79-80.

[7]Abdelrahman， Y.， Velloso， E.， & Dingler， T. et al. （2017）. Cognitive Heat： Exploring the Usage of Thermal Imaging to Unobtrusively Estimate Cognitive Load[J]. Proceedings of the ACM on Interactive， Mobile， Wearable and Ubiquitous Technologies， 1（3）：1-20.

[8]Ahonen， L.， Cowley， B. U.， & Hellas， A. et al. （2018）. Biosignals Reflect Pair-Dynamics in Collaborative Work： EDA and ECG Study of Pair-Programming in a Classroom Environment[J]. Scientific Reports， 8（1）：1-16.

[9]Alyuz， N.， Okur， E.， & Genc， U. et al. （2017）. An Unobtrusive and Multimodal Approach for Behavioral Engagement Detection of Students[C]// Proceedings of the 1st ACM SIGCHI International Workshop on Multimodal Interaction for Education. UK， Glasgow：26-32.

[10]An， P.， Bakker， S.， & Ordanovski， S. et al. （2020）. Dandelion Diagram： Aggregating Positioning and Orientation Data in the Visualization of Classroom Proxemics[C]// Proceedings of the Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems. Honolulu， HI：1-8.

[11]Andrade， A.， Maddox， B.， & Edwards， D. et al. （2019）. Quantitative Multimodal Interaction Analysis for the Assessment of Problem-Solving Skills in a Collaborative Online Game[C]// Eagan， B.， Misfeldt， M.， & Siebert-Evenstone， A. （Eds.）. Proceedings of the Advances in Quantitative Ethnography. Madison， WI：281-290.

[12]Anh， B. N.， Son， N. T.， & Lam， P. T. et al. （2019）. A Computer-Vision Based Application for Student Behavior Monitoring in Classroom[J]. Applied Sciences， 9（22）：4729.

[13]Aslan， S.， Alyuz， N.， & Tanriover， C. et al. （2019）. Investigating the Impact of a Real-time， Multimodal Student Engagement Analytics Technology in Authentic Classrooms[C]// Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems（CHI19）. UK， Glasgow：1-12.

[14]Asadipour， A.， Debattista， K.， & Chalmers， A. （2017）. Visuohaptic Augmented Feedback for Enhancing Motor Skills Acquisition[J]. The Visual Computer， 33（4）：401-411.

[15]Blikstein， P. （2013）. Multimodal Learning Analytics[C]// Proceedings of the Third International Conference on Learning Analytics and Knowledge. Leuven， Belgium：102-106.

[16]Burnik， U.， Zaletelj， J.， & Ko?ir， A. （2018）. Video-Based Learners Observed Attention Estimates for Lecture Learning Gain Evaluation[J]. Multimedia Tools and Applications， 77（13）：16903-16926.

[17]Cukurova， M.， Kent， C.， & Luckin， R. （2019）. Artificial Intelligence and Multimodal Data in the Service of Human Decision-Making： A Case Study in Debate Tutoring[J]. British Journal of Educational Technology， 50（6）：3032-3046.

[18]Cukurova， M.， Luckin， R.， & Millán， E. et al. （2017）. The NISPI Framework： Analysing Collaborative Problem-Solving from Students Physical Interactions[J]. Computers & Education， 116：93-109.

[19]Cukurova， M.， Zhou， Q.， & Spikol， D. et al. （2020）. Modelling Collaborative Problem-Solving Competence with Transparent Learning Analytics： Is Video Data Enough？[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge.Germany，F(xiàn)rankfurt：270-275.

[20]DAngelo， S.， & Begel， A. （2017）. Improving Communication Between Pair Programmers Using Shared Gaze Awareness[C]// Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. Denver， CO：6245-6290.

[21]Davidsen， J.， & Ryberg， T. （2017）. “This Is the Size of One Meter”： Childrens Bodily-Material Collaboration[J]. International Journal of Computer-Supported Collaborative Learning， 12：65-90.

[22]Di Mitri， D.， Schneider， J.， & Specht， M. et al. （2018）. From Signals to Knowledge： A Conceptual Model for Multimodal Learning Analytics[J]. Journal of Computer Assisted Learning， 34（4）：338-349.

[23]Di Mitri， D.， Schneider， J.， & Specht， M. et al. （2019）. Detecting Mistakes in CPR Training with Multimodal Data and Neural Networks[J]. Sensors， 19（14）：3099.

[24]Dich， Y.， Reilly， J.， & Schneider， B. （2018）. Using Physiological Synchrony as an Indicator of Collaboration Quality， Task Performance and Learning[M]// Penstein-Rosé C. et al. （Eds.）. Artificial Intelligence in Education. Switzerland，Cham， Springer International Publishing. 10947：98-110

[25]Dindar， M.， Malmberg， J.， & J?rvel?， S. et al. （2020）. Matching Self-Reports with Electrodermal Activity Data： Investigating Temporal Changes in Self-Regulated Learning[J]. Education and Information Technologies， 25（3）：1785-1802.

[26]Ding， Y.， Zhang， Y.， & Xiao， M. et al. （2017）. A Multifaceted Study on Eye Contact Based Speaker Identification in Three-party Conversations[C]// Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. Denver， CO：3011-3021.

[27]Duijzer， C. A. C. G.， Shayan， S.， & Bakker， A. et al. （2017）. Touchscreen Tablets： Coordinating Action and Perception for Mathematical Cognition[J]. Frontiers in Psychology， 8：144.

[28]Edwards， A. A.， Massicci， A.， & Sridharan， S. et al. （2017）. Sensor-Based Methodological Observations for Studying Online Learning[C]// Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol， Cyprus：25-30.

[29]Eradze， M.， & Laanpere， M. （2017）. Lesson Observation Data in Learning Analytics Datasets： Observata[C]// Proceedings of the 12th European Conference on Technology-Enhanced Learning （EC-TEL 2017）. Tallinn， Estonia：504-508.

[30]Ez-zaouia， M.， & Lavoué， E. （2017）. EMODA： A Tutor Oriented Multimodal and Contextual Emotional Dashboard[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference （LAK17）. Canada， Vancouver：429-438.

[31]Fwa， H. L.， & Marshall， L. （2018）. Modeling Engagement of Programming Students Using Unsupervised Machine Learning Technique[J]. GSTF Journal on Computing， 6（1）：1-6.

[32]Gan， T.， Li， J.， & Wong， Y. et al. （2019）. A Multi-sensor Framework for Personal Presentation Analytics[J]. ACM Transactions on Multimedia Computing， Communications， and Applications， 15（2）：1-21.

[33]Giannakos， M. N.， Sharma， K.， & Pappas， I. O. et al. （2019）. Multimodal Data as a Means to Understand the Learning Experience[J]. International Journal of Information Management， 48：108-119.

[34]Gorham， T.， Jubaed， S.， & Sanyal， T. et al. （2019）. Assessing the Efficacy of VR for Foreign Language Learning Using Multimodal Learning Analytics[M]// Giannikas， C. N.， Kakoulli-Constantinou， E.， & Papadima-Sophocleous， S. （Eds.）. Professional Development in CALL： ASelection of Papers. France， Voillans： Research-publishing.Net：101-116.

[35]Hassib， M.， Khamis， M.， & Friedl， S. et al. （2017）. Brainatwork： Logging Cognitive Engagement and Tasks in the Workplace Using Electroencephalography[C]// Proceedings of the 16th International Conference on Mobile and Ubiquitous Multimedia. Germany， Stuttgart：305-310.

[36]Healion， D.， Russell， S.， & Cukurova， M. et al. （2017）. Tracing Physical Movement During Practice-Based Learning Through Multimodal Learning Analytics[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference （LAK17）. Vancouver， BC：588-589.

[37]Henrie， C. R.， Bodily， R.， & Larsen， R. et al. （2018）. Exploring the Potential of LMS Log Data as a Proxy Measure of Student Engagement[J]. Journal of Computing in Higher Education， 30：344-362.

[38]J?rvel?， S.， Malmberg， J.， & Haataja， E. et al. （2019）. What Multimodal Data Can Tell Us about the Students Regulation of Their Learning Process？[J]. Learning and Instruction， 101203.

[39]Junokas， M. J.， Lindgren， R.， & Kang， J. et al. （2018）. Enhancing Multimodal Learning Through Personalized Gesture Recognition[J]. Journal of Computer Assisted Learning， 34（4）：350-357.

[40]Kim， Y.， Butail， S.， & Tscholl， M. et al. （2020）. An Exploratory Approach to Measuring Collaborative Engagement in Child Robot Interaction[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. Germany， Frankfurt：209-217.

[41]Larmuseau， C.， Vanneste， P.， & Cornelis， J. et al. （2019）. Combining Physiological Data and Subjective Measurements to Investigate Cognitive Load During Complex Learning[J]. Frontline Learning Research， 7（2）：57-74.

[42]Ibrahim-Didi， K.， Hackling， M. W.， & Ramseger， J. et al. （2017）. Embodied Strategies in the Teaching and Learning of Science[M]// Hackling， M. W.， Ramseger， J.， & Chen， H.-L.S. （Eds.）. Quality Teaching in Primary Science Education： Cross-Cultural Perspectives.Cham， Switzerland，Springer International Publishing：181-221.

[43]Limbu， B. H.， Jarodzka， H.， & Klemke， R. et al. （2019）. Can You Ink While You Blink？ Assessing Mental Effort in a Sensor-Based Calligraphy Trainer[J]. Sensors， 19（14）：3244.

[44]Liu， R.， Stamper， J.， & Davenport， J. et al. （2019）. Learning Linkages： Integrating Data Streams of Multiple Modalities and Timescales[J]. Journal of Computer Assisted Learning， 35（1）：99-109.

[45]Loup-Escande， E.， Frenoy， R.， & Poplimont， G. et al. （2017）. Contributions of Mixed Reality in a Calligraphy Learning Task： Effects of Supplementary Visual Feedback and Expertise on Cognitive Load， User Experience and Gestural Performance[J]. Computers in Human Behavior， 75：42-49.

[46]Malmberg， J.， J?rvel?， S.， & Holappa， J. et al. （2019）. Going Beyond What Is Visible： What Multichannel Data Can Reveal about Interaction in the Context of Collaborative Learning？[J]. Computers in Human Behavior， 96：235-245.

[47]Martin， K.， Wang， E. Q.， & Bain， C. et al. （2019）. Computationally Augmented Ethnography： Emotion Tracking and Learning in Museum Games[C]// Eagan， B.， Misfeldt， M.， & Siebert-Evenstone， A. （Eds.）. Proceedings of the Advances in Quantitative Ethnography. Madison， WI： Springer International Publishing：141-153.

[48]Martinez-Maldonado， R.， Echeverria， V.， & Fernandez Nieto， G. et al. （2020）. From Data to Insights： A Layered Storytelling Approach for Multimodal Learning Analytics[C]// Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. Honolulu， HI：1-15.

[49]Martinez-Maldonado， R.， Echeverria， V.， & Santos， O. C. et al. （2018）. Physical Learning Analytics： A Multimodal Perspective[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge （LAK18）. Australia， Sydney：375-379.

[50]Mills， C.， Fridman， I.， & Soussou， W. et al. （2017）. Put Your Thinking Cap on： Detecting Cognitive Load Using EEG During Learning[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference （LAK17）. Vancouver， BC：80-89.

[51]Minematsu， T.， Tamura， K.， & Shimada， A. et al. （2019）. Analytics of Reading Patterns Based on Eye Movements in an e-Learning System[C]// Proceedings of the Society for Information Technology & Teacher Education International Conference.Waynesville，NC：1054-1059.

[52]Moher， D.， Liberati， A.， & Tetzlaff， J. et al. （2009）. Preferred Reporting Items for Systematic Reviews and Meta-Analyses： The PRISMA Statement[J]. Open Medicine，3（2）：123-130.

[53]Monkaresi， H.， Bosch， N.， & Calvo， R. A. et al. （2017）. Automated Detection of Engagement Using Video-Based Estimation of Facial Expressions and Heart Rate[J]. IEEE Transactions on Affective Computing， 8（1）：5-8.

[54]Mu， S.， Cui， M.， & Wang， X. J. et al. （2018）. Learners Attention Preferences and Learning Paths on Online Learning Content： An Empirical Study Based on Eye Movement[C]// Proceedings of the 2018 Seventh International Conference of Educational Innovation Through Technology （EITT）. New Zealand， Auckland：32-35.

[55]Mu， S.， Cui， M.， & Wang， X. J. et al. （2019）. Learners Attention Preferences of Information in Online Learning： An Empirical Study Based on Eye-Tracking[J]. Interactive Technology and Smart Education，16（3）：186-203.

[56]Munshi， A.， & Biswas， G. （2019）. Personalization in OELEs： Developing a Data-Driven Framework to Model and Scaffold SRL Processes[M]// Isotani， S.， Millán， E.， & Ogan， A. et al. （Eds.）. Artificial Intelligence in Education. Switzerland， Cham： Springer International Publishing：354-358.

[57]Noel， R.， Riquelme， F.， & Lean， R. M. et al. （2018）. Exploring Collaborative Writing of User Stories with Multimodal Learning Analytics： A Case Study on a Software Engineering Course[J]. IEEE Access.

[58]Okada， M.， Kuroki， Y.， & Tada， M. （2020）. Multimodal Analytics to Understand Self-regulation Process of Cognitive and Behavioral Strategies in Real-world Learning[J]. IEICE Transactions on Information and Systems， E103.D（5）：1039-1054.

[59]Ou， L.， Andrade， A.， & Alberto， R. et al. （2020）. Using a Cluster-Based Regime-Switching Dynamic Model to Understand Embodied Mathematical Learning[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. Germany， Frankfurt：496-501.

[60]Oviatt， S. （2018）. Ten Opportunities and Challenges for Advancing Student-Centered Multimodal Learning Analytics[C]// Proceedings of the 20th ACM International Conference on Multimodal Interaction. Boulder， CO：87-94.

[61]Oviatt， S.， Hang， K.， & Zhou， J. et al. （2018）. Dynamic Handwriting Signal Features Predict Domain Expertise[J]. ACM Transactions on Interactive Intelligent Systems， 8（3）：1-21.

[62]Paredes， Y. V.， Azcona， D.， & Hsiao， I.-H. et al. （2018）. Learning by Reviewing Paper-Based Programming Assessments[C]// Pammer-Schindler， V.， Pérez-Sanagustín， M.， & Drachsler， H. et al. （Eds.）. Proceedings of the Lifelong Technology-Enhanced Learning. Switzerland， Cham： Springer International Publishing：510-523.

[63]Pham， P.， & Wang， J. （2018）. Predicting Learners Emotions in Mobile MOOC Learning via a Multimodal Intelligent Tutor[C]// Nkambou， R.， Azevedo， R.， & Vassileva， J. （Eds.）. Proceedings of the Intelligent Tutoring Systems. Switzerland， Cham： Springer International Publishing：150-159.

[64]Pijeira-Díaz， H. J.， Drachsler， H.， & Kirschner， P. A. et al. （2018）. Profiling Sympathetic Arousal in a Physics Course： How Active Are Students？[J]. Journal of Computer Assisted Learning，34（4）：397-408.

[65]Paans， C.， Molenaar， I.， & Segers， E. et al. （2019）. Temporal Variation in Childrens Self-Regulated Hypermedia Learning[J]. Computers in Human Behavior， 96：246-258.

[66]Praharaj， S.， Scheffel， M.， & Drachsler， H. et al. （2019）. Group Coach for Co-located Collaboration[C]// Proceedings of the Transforming Learning with Meaningful Technologies. Netherlands， Delft：732-736.

[67]Prieto， L. P.， Sharma， K.， & Kidzinski， ?. et al. （2018）. Multimodal Teaching Analytics： Automated Extraction of Orchestration Graphs from Wearable Sensor Data[J]. Journal of Computer Assisted Learning，34（2）：193-203.

[68]Reilly， J. M.， & Schneider， B. （2019）. Predicting the Quality of Collaborative Problem Solving Through Linguistic Analysis of Discourse[C]// Proceedings of the 12th International Conference on Educational Data Mining （EDM 2019）. Montréal， QC：149-157.

[69]Reilly， J. M.， Ravenell， M.， & Schneider， B. （2018）. Exploring Collaboration Using Motion Sensors and Multi-Modal Learning Analytics[C]// Proceedings of the 11th International Conference on Educational Data Mining （EDM 2018）. Buffalo， NY.

[70]Romano， G.， Schneider， J.， & Drachsler， H. （2019）. Dancing Salsa with Machines-Filling the Gap of Dancing Learning Solutions[J]. Sensors， 19（17）：3661.

[71]Rosen， D.， Palatnik， A.， & Abrahamson， D. （2018）. A Better Story： An Embodied-Design Argument for Generic Manipulatives[M]// Calder， N.， Larkin， K.， & Sinclair， N. （Eds.）. Using Mobile Technologies in the Teaching and Learning of Mathematics. Switzerland， Cham： Springer International Publishing：189-211.

[72]Samuelsen， J.， Chen， W.， & Wasson， B. （2019）. Integrating Multiple Data Sources for Learning Analytics - Review of Literature[J]. Research and Practice in Technology Enhanced Learning， 14（1）：11.

[73]Schneider， B.， Dich， Y.， & Radu， I. （2020）. Unpacking the Relationship Between Existing and New Measures of Physiological Synchrony and Collaborative Learning： A Mixed Methods Study[J]. International Journal of Computer-Supported Collaborative Learning， 15（1）：89-113.

[74]Schneider， B.， Sharma， K.， & Cuendet， S. et al. （2018）. Leveraging Mobile Eye-Trackers to Capture Joint Visual Attention in Co-located Collaborative Learning Groups[J]. International Journal of Computer-Supported Collaborative Learning， 13（3）：241-261.

[75]Schneider， J.， Romano， G.， & Drachsler， H. （2019）. Beyond Reality - Extending a Presentation Trainer with an Immersive VR Module[J]. Sensors， 19（16）：3457.

[76]Schwendimann， B. A.， Rodríguez-Triana， M. J.， & Vozniuk， A. et al. （2017）. Perceiving Learning at a Glance： A Systematic Literature Review of Learning Dashboard Research[J]. IEEE Transactions on Learning Technologies， 10（1）：30-41.

[77]Sharma， K.， Papamitsiou， Z.， & Giannakos， M. （2019）. Building Pipelines for Educational Data Using AI and Multimodal Analytics： A “Grey-Box” Approach[J]. British Journal of Educational Technology， 50（6）：3004-3031.

[78]Sommer， S.， Hinojosa， L.， & Traut， H. et al. （2017）. Integrating Eye-Tracking Activities Into a Learning Environment to Promote Collaborative Meta-Semiotic Reflection and Discourse[C]// Proceedings of the 12th International Conference on Computer Supported Collaborative Learning. Philadelphia， PA：1-4.

[79]Spikol， D.， Ruffaldi， E.， & Dabisias， G. et al. （2018）. Supervised Machine Learning in Multimodal Learning Analytics for Estimating Success in Project-Based Learning[J]. Journal of Computer Assisted Learning， 34（4）：366-377.

[80]Sriramulu， A.， Lin， J.， & Oviatt， S. （2019）. Dynamic Adaptive Gesturing Predicts Domain Expertise in Mathematics[C]// Proceedings of the 2019 International Conference on Multimodal Interaction （ICMI19）. China， Suzhou：105-113.

[81]Montero， C. S.， & Suhonen， J. （2014）. Emotion Analysis Meets Learning Analytics： Online Learner Profiling Beyond Numerical Data[C]// Proceedings of the 14th Koli Calling International Conference on Computing Education Research. Koli， Finland：165-169.

[82]Tamura， K.， Lu， M.， & Konomi， S. et al. （2019）. Integrating Multimodal Learning Analytics and Inclusive Learning Support Systems for People of All Ages[C]// Proceedings of the Cross-Cultural Design. Orlando， FL： 469-481.

[83]Thomas， C. （2018）. Multimodal Teaching and Learning Analytics for Classroom and Online Educational Settings[C]// Proceedings of the 20th ACM International Conference on Multimodal Interaction. Boulder， CO：542-545.

[84]Tzirakis， P.， Trigeorgis， G.， & Nicolaou， M. A. et al. （2017）. End-to-End Multimodal Emotion Recognition Using Deep Neural Networks[J]. IEEE Journal of Selected Topics in Signal Processing，11（8）：1301-1309.

[85]Vrzakova， H.， Amon， M. J.， & Stewart， A. et al. （2020）. Focused or Stuck Together： Multimodal Patterns Reveal Triads Performance in Collaborative Problem Solving[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. Germany，F(xiàn)rankfurt：295-304.

[86]Watanabe， E.， Ozeki， T.， & Kohama， T. （2018）. Analysis of Interactions Between Lecturers and Students[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge （LAK18）. Australia， Sydney：370-374.

[87]Worsley， M. （2018）. Multimodal Learning Analytics Past， Present， and Potential Futures[C]// Proceedings of the 8th International Conference on Learning Analytics & Knowledge （LAK18）. Australia， Sydney.

[88]Worsley， M.， & Blikstein， P. （2018）. A Multimodal Analysis of Making[J]. International Journal of Artificial Intelligence in Education， 28（3）：385-419.

[89]Yin， Z.， Zhao， M.， & Wang， Y. et al. （2017）. Recognition of Emotions Using Multimodal Physiological Signals and an Ensemble Deep Learning Model[J]. Computer Methods & Programs in Biomedicine， 140：93-10.

[90]Zaletelj， J.， & Ko?ir， A. （2017）. Predicting Students Attention in the Classroom from Kinect Facial and Body Features[J]. EURASIP Journal on Image and Video Processing， 2017：80.

[91]Zheng， W. L.， Liu， W.， & Lu， Y. et al. （2019）. EmotionMeter： A Multimodal Framework for Recognizing Human Emotions[J]. IEEE Transactions on Cybernetics， 49（3）：1110-1122.

收稿日期 2020-11-20 責(zé)任編輯 劉選

Data Fusion Method in Multimodal Learning Analytics： From a Panoramic Perspective

MU Su， CUI Meng， HUANG Xiaodi

Abstract： Multimodal data analysis helps us to understand the learning processes accurately. This paper systematically surveyed 312 articles in English and 51 articles in Chinese on multimodal data analysis and the findings show as follows. The analysis stages are collecting multimodal data in the learning process， converting multimodal data into learning indicators， and applying learning indicators to teaching and learning. High-frequency， fine-grained and micro-level multidimensional data in the learning processes are available， convenient and accurate， including digital data， physical data， physiological data， psychometric data and environment data. The learning indicators include behavior， cognition， emotion， collaboration and so on. The corresponding relationships between learning data and learning indicators are classified into one-to-one， one-to-many， and many-to-one. The complex relationship between learning data and learning indicators is the premise of data fusion. When measuring a learning indicator， two issues need to be considered： which type of data is the most effective one in measuring the indicator and whether there are any other types of data that contribute to more accurate measurements. Aligning the timeline of multimodal data is the key to data integration. In a word， the main characteristics of multimodal data analysis are characterized as multimodality of learning data， multi-dimension of learning indicators and diversity of analysis methods. Comprehensive consideration of the three-dimensional characteristics to improve the accuracy of analysis results is the direction of future research on multimodal data integration.

Keywords： Multimodal Learning Analytics; Types of Data; Learning Indicators; Data Fusion; Systematic Review