多模態(tài)學(xué)習(xí)分析研究現(xiàn)狀與啟示
——基于學(xué)習(xí)分析與知識(shí)國際會(huì)議的調(diào)研

高 明 王小霞

（1.北京師范大學(xué) 教育學(xué)部，北京 100875；2.上饒師范學(xué)院 教育信息化研究中心，江西 上饒 334001）

一、引言

學(xué)習(xí)分析通過對(duì)學(xué)習(xí)者及其學(xué)習(xí)情境數(shù)據(jù)的測(cè)量、收集、分析與報(bào)告，在理解和優(yōu)化學(xué)習(xí)及學(xué)習(xí)情境，提升教與學(xué)的效果方面發(fā)揮著重要作用（顧小清，張進(jìn)良，蔡慧英，2012）。學(xué)習(xí)分析概念自提出以來，便引起了世界各國研究者的廣泛關(guān)注，掀起了開展學(xué)習(xí)分析研究的熱潮（李祎，2016）。在數(shù)據(jù)來源上，當(dāng)前學(xué)習(xí)分析研究以學(xué)習(xí)管理系統(tǒng)（LMS）、智能教學(xué)平臺(tái)（ITSs）或大規(guī)模在線開放課程（MOOCs）等自動(dòng)記錄的、以學(xué)習(xí)者日志數(shù)據(jù)為代表的外顯行為數(shù)據(jù)居多。然而，學(xué)習(xí)的過程通常是復(fù)雜多變的，學(xué)習(xí)的發(fā)生不僅僅體現(xiàn)在外顯行為上，也包含著學(xué)習(xí)者內(nèi)部心理與生理的一系列變化（顧小清 等，2012）。此外，隨著互聯(lián)網(wǎng)為代表的信息技術(shù)的飛速發(fā)展，學(xué)習(xí)發(fā)生的環(huán)境也變得更加多元和復(fù)雜，學(xué)習(xí)發(fā)生的場(chǎng)所已不再局限于單一的線下或線上環(huán)境，而呈現(xiàn)出線上線下學(xué)習(xí)空間交叉融合的趨勢(shì)。憑借單一模態(tài)或單一情境數(shù)據(jù)的分析難以呈現(xiàn)更為立體、精準(zhǔn)的學(xué)習(xí)者畫像，亟需開展多模態(tài)學(xué)習(xí)分析研究。

多模態(tài)學(xué)習(xí)分析（MultiModal Learning Analytics,MMLA），即基于人的多重感知模式，采用多種方式追蹤學(xué)習(xí)者的學(xué)習(xí)過程（潘青青，楊現(xiàn)民，陳世超，2019），獲取與分析學(xué)習(xí)者不同層面的數(shù)據(jù)，以更精準(zhǔn)、更全面地洞悉復(fù)雜的開放學(xué)習(xí)環(huán)境中學(xué)習(xí)者的學(xué)習(xí)過程（Blikstein & Worsley, 2016）。近年來，以智能硬件為核心的物聯(lián)網(wǎng)技術(shù)的發(fā)展與成熟，為多模態(tài)數(shù)據(jù)的獲取提供了新的契機(jī)（劉三，李卿，孫建文，劉智，2016）。無論是發(fā)生在傳統(tǒng)課堂上，還是游離于在線課程外的學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)；無論是以文本、圖像、音視頻、點(diǎn)擊流等為代表的外顯行為數(shù)據(jù)，還是以眼動(dòng)、面部表情、腦電信號(hào)等為代表的內(nèi)隱特征數(shù)據(jù)的采集與量化均變?yōu)榭赡?。?dāng)前，國內(nèi)教育技術(shù)領(lǐng)域已有學(xué)者就眼動(dòng)（張琪，武法提，2016）、皮膚電（韓穎，董玉琦，畢景剛，2018）、腦電（楊曉哲，任友群，2019）等多模態(tài)生理數(shù)據(jù)的表征進(jìn)行了總結(jié)與梳理（楊海茹，劉清堂，吳林靜，鄧偉，周姝言，2019），并對(duì)相關(guān)應(yīng)用場(chǎng)景進(jìn)行了展望。然而，多模態(tài)數(shù)據(jù)雖然為我們認(rèn)識(shí)與理解學(xué)習(xí)者的學(xué)習(xí)過程提供了新的契機(jī)，但在多模態(tài)學(xué)習(xí)分析研究實(shí)際的開展中也存在著數(shù)據(jù)收集（Data Collection）、數(shù)據(jù)存儲(chǔ)（Data Storing）、數(shù)據(jù)注釋（Data Annotation）、數(shù)據(jù)處理（Data Processing）以及數(shù)據(jù)開采（Data Exploitation）等諸多挑戰(zhàn)（Mitri,Schneider, Specht, & Drachsler, 2018）。本研究以在學(xué)習(xí)分析研究領(lǐng)域具有風(fēng)向標(biāo)作用的學(xué)習(xí)分析與知識(shí)國際會(huì)議（International Conference on Learning Analytics and Knowledge, LAK）于2017年至2021年期間多模態(tài)學(xué)習(xí)分析子主題收錄的論文為研究對(duì)象，從研究主題、研究情境、多模態(tài)數(shù)據(jù)的采集與分析三方面進(jìn)行梳理，分析當(dāng)前國際多模態(tài)學(xué)習(xí)分析研究的發(fā)展現(xiàn)狀以及最新動(dòng)態(tài)，以期為國內(nèi)多模態(tài)學(xué)習(xí)分析研究的開展提供參考借鑒。

二、研究方法與過程

（一）文獻(xiàn)來源與選擇

2017年LAK會(huì)議開始征集多模態(tài)學(xué)習(xí)分析研究論文，并為多模態(tài)學(xué)習(xí)分析設(shè)立了相應(yīng)的子主題（見表1）。本研究在文獻(xiàn)的篩選上，以2017年為起始時(shí)間，以LAK會(huì)議多模態(tài)學(xué)習(xí)分析子主題收錄的長、短篇論文為研究對(duì)象，對(duì)多模態(tài)學(xué)習(xí)分析研究的現(xiàn)狀進(jìn)行梳理與分析。

表1 近五年LAK會(huì)議的多模態(tài)學(xué)習(xí)分析子主題信息

受2020年COVID-19疫情的影響，2021年會(huì)議召開時(shí)大會(huì)主辦方并未對(duì)具體的子主題進(jìn)行劃分，因而未能直接從多模態(tài)學(xué)習(xí)分析子主題中獲取2021年的文獻(xiàn)。為此，本研究首先以“multi*”“modality”等為關(guān)鍵詞，對(duì)會(huì)議論文集進(jìn)行全文檢索查找相關(guān)文獻(xiàn)。隨后，經(jīng)閱讀文獻(xiàn)的標(biāo)題、摘要以及關(guān)鍵詞對(duì)文獻(xiàn)進(jìn)行篩選后，獲得了2021年多模態(tài)學(xué)習(xí)分析研究的文獻(xiàn)2篇。最終，本研究共獲取近五年來LAK會(huì)議收錄的與多模態(tài)學(xué)習(xí)分析相關(guān)的文獻(xiàn)16篇，不同年份收錄的文獻(xiàn)數(shù)量情況如圖1所示。

圖1 近五年LAK會(huì)議多模態(tài)學(xué)習(xí)分析主題文獻(xiàn)分布情況

（二）研究方法

本研究首先通過量化關(guān)鍵詞的方法，對(duì)2017年至2021年LAK會(huì)議多模態(tài)學(xué)習(xí)分析研究主題文獻(xiàn)進(jìn)行可視化，實(shí)現(xiàn)對(duì)已有研究的初步了解。隨后，精讀文獻(xiàn)，并基于內(nèi)容分析法對(duì)當(dāng)前研究關(guān)注的主題、研究開展的情境以及多數(shù)據(jù)的采集與分析方法進(jìn)行梳理總結(jié)。

三、研究發(fā)現(xiàn)

本研究首先基于所收集的2017年至2021年的LAK會(huì)議多模態(tài)學(xué)習(xí)分析研究文獻(xiàn)提供的關(guān)鍵詞，繪制了關(guān)鍵詞詞云圖（見下頁圖2）。通過詞云圖可以發(fā)現(xiàn)，當(dāng)前學(xué)者們已從多個(gè)維度、不同層面開展了多模態(tài)學(xué)習(xí)分析的研究。例如：關(guān)鍵詞sensing、wearables、app、toolkit、eye-tracking等呈現(xiàn)了多模態(tài)數(shù)據(jù)采集的途徑或方式；關(guān)鍵詞gesture、posture、visions、gaze positioning等呈現(xiàn)了數(shù)據(jù)的模態(tài)信息；關(guān)鍵詞reading, engineering、debugging、oral、tutoring、science等呈現(xiàn)了當(dāng)前研究所關(guān)注的學(xué)科科目信息；關(guān)鍵詞Internet、environment、face-to-face、classroom、virtual、online、physical、indoor等描述了學(xué)習(xí)發(fā)生的環(huán)境或場(chǎng)所；collaboration、solving、groupwork、embodiment等關(guān)鍵詞則是對(duì)學(xué)習(xí)方式的描述等等。在此基礎(chǔ)上，本研究通過精讀文獻(xiàn)，基于內(nèi)容分析法，從研究主題、研究情境、多模態(tài)數(shù)據(jù)的采集與分析三方面對(duì)已有研究進(jìn)行了梳理與總結(jié)。

圖2 多模態(tài)學(xué)習(xí)分析研究關(guān)鍵詞詞云圖

（一）研究主題

基于對(duì)文獻(xiàn)的研讀，我們將當(dāng)前研究關(guān)注的主題劃分為基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)過程理解、基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)、基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)支持與反饋以及多模態(tài)學(xué)習(xí)分析研究基礎(chǔ)問題的探討。

1. 基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)過程理解

作為學(xué)習(xí)分析研究領(lǐng)域的子領(lǐng)域，基于學(xué)習(xí)者的外顯行為、心理（如情緒變化）或生理（如腦電信號(hào)波動(dòng)的強(qiáng)度）等不同模態(tài)數(shù)據(jù)理解學(xué)習(xí)者的學(xué)習(xí)過程仍是當(dāng)前多模態(tài)學(xué)習(xí)分析研究的一個(gè)重要范疇。Mils等（2017）通過開展實(shí)驗(yàn)采集學(xué)習(xí)者在智能導(dǎo)師系統(tǒng)中學(xué)習(xí)的腦電數(shù)據(jù)（Electroencephalography，EEG），探究了不同教學(xué)階段、不同難度的學(xué)習(xí)材料對(duì)學(xué)生認(rèn)知負(fù)荷的影響。研究發(fā)現(xiàn)，學(xué)習(xí)過程中學(xué)習(xí)者的腦電數(shù)據(jù)能夠較好地反映學(xué)習(xí)者的認(rèn)知負(fù)荷。類似地，Larmuseau、Vanneste、Desmet和Depaepe（2019）通過手環(huán)采集了復(fù)雜問題解決過程中學(xué)習(xí)者的皮膚電反應(yīng)數(shù)據(jù)（Galvanic Skin Response，GSR）、皮膚溫度（Skin Temperature，ST）、與系統(tǒng)交互的行為數(shù)據(jù)等，對(duì)學(xué)習(xí)者的認(rèn)知負(fù)荷進(jìn)行了測(cè)量。Watanabe、Ozeki和 Kohama（2018）從課堂教學(xué)的動(dòng)態(tài)圖像中提取了教師和學(xué)生的面部特征數(shù)據(jù)，并利用多層神經(jīng)網(wǎng)絡(luò)對(duì)教師的板書書寫和解釋行為與學(xué)生的記筆記和聽課行為之間的交互作用展開了建模。Chen（2021）通過應(yīng)用程序采集了家庭環(huán)境下一對(duì)一數(shù)學(xué)問題解決輔導(dǎo)（One-on-one Math Problem Solving Coaching）過程中的父母與孩子的語音數(shù)據(jù)以及孩子的身體移動(dòng)（Body Movement）、面部表情（Facial Expression）數(shù)據(jù)，對(duì)父母給予孩子幫助的決策過程進(jìn)行了建模與分析。

具身認(rèn)知理論認(rèn)為，認(rèn)知、思維、記憶、學(xué)習(xí)、情感和態(tài)度等是身體作用于環(huán)境的活動(dòng)塑造出來的，挑戰(zhàn)了身心二元論所秉持的學(xué)習(xí)不需要身體參與的觀點(diǎn)，強(qiáng)調(diào)了身體活動(dòng)在認(rèn)知過程中的作用（葉浩生，2015）?；谶@一認(rèn)識(shí)，在當(dāng)前的研究中，學(xué)者們也開始通過多模態(tài)數(shù)據(jù)來探討在技術(shù)支持的情境交互中，身體參與是如何促進(jìn)學(xué)習(xí)、幫助學(xué)習(xí)者進(jìn)行理解的。例如：Andrade（2017）通過采集具身交互學(xué)習(xí)環(huán)境中學(xué)生的雙手移動(dòng)（Hands Movement）數(shù)據(jù)以及眼睛注視（Gaze）數(shù)據(jù)，對(duì)身體移動(dòng)如何幫助學(xué)生實(shí)現(xiàn)反饋循環(huán)概念的理解開展了分析，研究發(fā)現(xiàn)學(xué)生雙手移動(dòng)序列與其概念理解和學(xué)習(xí)獲得水平密切相關(guān)。類似地，Ou、Andrade、Alberto、Helden和Bakker（2020）從視頻錄像中提取了學(xué)生的雙手移動(dòng)數(shù)據(jù)、眼動(dòng)數(shù)據(jù)以及聲音數(shù)據(jù)，探究了學(xué)生通過身體參與理解與認(rèn)識(shí)比例概念的過程。Martinez-Maldonado等（2017）通過學(xué)習(xí)者的空間位置、聲音等不同模態(tài)數(shù)據(jù)分析了不同小組學(xué)生在護(hù)理模擬訓(xùn)練過程中的學(xué)習(xí)模式。

2. 基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)

基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)，發(fā)揮了信息技術(shù)在提高評(píng)價(jià)的科學(xué)性、專業(yè)性和客觀性方面的優(yōu)勢(shì)，開始由傳統(tǒng)的以紙筆考試為主的基于結(jié)果的評(píng)價(jià)走向貫穿學(xué)習(xí)活動(dòng)始終的伴隨式評(píng)價(jià)。Klebanove等（2020）通過口語閱讀應(yīng)用程序采集了學(xué)生閱讀過程中的語音數(shù)據(jù)，并在對(duì)原始語音數(shù)據(jù)處理的基礎(chǔ)上對(duì)學(xué)生口語閱讀流利度開展了過程性的評(píng)價(jià)。研究發(fā)現(xiàn)，基于過程性語音數(shù)據(jù)對(duì)學(xué)生口語閱讀流利度提升的測(cè)評(píng)結(jié)果與同類型權(quán)威測(cè)試提供的結(jié)果具有較高的一致性。Sharma、Papamitsiou、Olsen和Giannakos（2020）通過開展實(shí)驗(yàn)采集了自適應(yīng)測(cè)評(píng)過程中學(xué)習(xí)者的學(xué)習(xí)日志、自我評(píng)價(jià)、眼動(dòng)、腦電、心率、體溫、血壓等多種模態(tài)的數(shù)據(jù)，并聯(lián)合這些多模態(tài)數(shù)據(jù)對(duì)學(xué)習(xí)者的努力情況進(jìn)行了評(píng)估。Worsley（2018）從視頻錄像中提取了學(xué)習(xí)者學(xué)習(xí)過程中的手勢(shì)移動(dòng)數(shù)據(jù)，并在對(duì)學(xué)習(xí)者學(xué)習(xí)活動(dòng)編碼的基礎(chǔ)上，對(duì)學(xué)生的學(xué)習(xí)參與以及學(xué)習(xí)收獲展開了分析與測(cè)評(píng)。

3. 基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)支持與反饋

學(xué)習(xí)過程中的支持與反饋被視為是鼓勵(lì)學(xué)習(xí)者積極探索與激發(fā)學(xué)習(xí)動(dòng)力的重要助推器（Zhang, Gao,Holmes, Mavrikis, & Ma, 2021）。當(dāng)前基于多模態(tài)數(shù)據(jù)開展的相關(guān)研究主要致力于為支持與反饋工具提供的時(shí)機(jī)、形式以及頻率提供支撐證據(jù)，從而驗(yàn)證支持與反饋工具的有效性。Mangaroska、Sharma、Giannakos、Tr?tteberg和Dillenbourg（2018）通過采集問題解決過程中學(xué)習(xí)者的眼動(dòng)數(shù)據(jù)和日志數(shù)據(jù)，分析了練習(xí)視圖（Exercise View）工具是如何支持學(xué)習(xí)者的問題解決過程的。研究發(fā)現(xiàn)，練習(xí)視圖工具在學(xué)習(xí)中發(fā)揮著引起注意與增強(qiáng)反思的作用，且研究通過對(duì)比分析發(fā)現(xiàn)，利用了練習(xí)視圖工具的學(xué)生比那些沒利用練習(xí)視圖工具的學(xué)生取得了更好的表現(xiàn)。Ochoa等（2018）開發(fā)了一個(gè)在演講訓(xùn)練過程中自動(dòng)采集與分析學(xué)生身體姿勢(shì)、眼部注視以及聲音大小等多種模態(tài)數(shù)據(jù)的系統(tǒng)，并驗(yàn)證了該系統(tǒng)在學(xué)生口頭演講技能訓(xùn)練中提供反饋的有效性。

4. 多模態(tài)學(xué)習(xí)分析研究基礎(chǔ)問題的探討

多模態(tài)數(shù)據(jù)雖然為我們認(rèn)識(shí)與理解學(xué)習(xí)者的學(xué)習(xí)過程提供了新的契機(jī)，然而在目前的研究中也存在著數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)注釋、數(shù)據(jù)處理以及數(shù)據(jù)開采等諸多挑戰(zhàn)（Mitri et al., 2018）。在開展多模態(tài)學(xué)習(xí)分析的實(shí)證研究之外，也有研究從更為宏觀的角度對(duì)多模態(tài)學(xué)習(xí)分析研究所面臨的一些基礎(chǔ)問題展開了探索。鑒于當(dāng)前的多模態(tài)學(xué)習(xí)分析研究大多更關(guān)注通過更豐富的數(shù)據(jù)指標(biāo)（如眼動(dòng)、腦電、心率等）來刻畫學(xué)習(xí)者的行為，并對(duì)行為展開建模，而較少關(guān)注不同學(xué)習(xí)發(fā)生場(chǎng)景的連接以及真實(shí)（非實(shí)驗(yàn)）學(xué)習(xí)場(chǎng)景數(shù)據(jù)收集的問題，Martinez-Maldonado、Echeverria、Santos、Pereira和Yacef（2018）基于分布式認(rèn)知理論（Distributed Cognition Theory）與多模態(tài)的視角提出了一個(gè)將學(xué)習(xí)分析融入物理學(xué)習(xí)空間的理論視角，并通過三個(gè)案例從學(xué)習(xí)環(huán)境（Learning Setting）、物聯(lián)網(wǎng)傳感器（IoT）、情境分析（Learning Scenario）三方面進(jìn)行了簡要介紹。與此相類似，針對(duì)當(dāng)前學(xué)習(xí)情境多樣化的問題，Mangaroska、Vesin和Giannakos（2019）設(shè)計(jì)了一個(gè)集數(shù)據(jù)層、業(yè)務(wù)層、應(yīng)用層和展示層為一體的架構(gòu)來整合和利用多平臺(tái)數(shù)據(jù)為學(xué)生的個(gè)性化學(xué)習(xí)并自適應(yīng)學(xué)習(xí)提供幫助，并通過一門課程的實(shí)踐對(duì)其效果進(jìn)行了驗(yàn)證。針對(duì)現(xiàn)有多模態(tài)學(xué)習(xí)分析的解決方案大都是基于特定的學(xué)習(xí)任務(wù)和傳感器提出，缺乏普適性的問題，Mitri、Schneider、Klemke、Specht和Drachsler（2019）對(duì)多模態(tài)學(xué)習(xí)分析在數(shù)據(jù)注釋、數(shù)據(jù)處理與利用方面面臨的問題進(jìn)行了探討，并介紹了一款用以支持研究人員進(jìn)行多模態(tài)數(shù)據(jù)注釋、采集以及處理的可視化檢測(cè)工具。該工具可支持研究人員使用視頻記錄的方式對(duì)多模態(tài)數(shù)據(jù)進(jìn)行三角定位、對(duì)多模態(tài)數(shù)據(jù)進(jìn)行分割與注釋并可下載帶注釋的數(shù)據(jù)集開展分析。多模態(tài)學(xué)習(xí)分析雖然為我們認(rèn)識(shí)與理解學(xué)習(xí)過程中學(xué)習(xí)者的認(rèn)知、行為和情感等提供了精細(xì)化的方式，但當(dāng)前多模態(tài)數(shù)據(jù)，尤其是學(xué)習(xí)者的腦電、眼動(dòng)等生理層數(shù)據(jù)的采集大多依賴于特定的感知設(shè)備。這些設(shè)備的價(jià)格一般比較高昂，超出了一般研究者的承受范圍。為解決多模態(tài)數(shù)據(jù)獲取的這一難題，哈佛大學(xué)的學(xué)習(xí)、創(chuàng)新與技術(shù)實(shí)驗(yàn)室（Learning, Innovation and Technology Lab）開發(fā)了一款能夠運(yùn)行在任何瀏覽器上的多模態(tài)數(shù)據(jù)采集的工具包（Hassan, Leong, & Schneider, 2021）。

（二）研究情境

為了解多模態(tài)學(xué)習(xí)分析研究開展的情境，本研究選擇從參與對(duì)象、參與時(shí)間、學(xué)科類別以及學(xué)習(xí)場(chǎng)所（見下頁表2）四個(gè)方面對(duì)其中的實(shí)證研究展開了分析。

表2 研究情境及數(shù)據(jù)模態(tài)

1. 參與對(duì)象

在參與對(duì)象涉及的學(xué)段方面，8篇文章明確指出研究對(duì)象為大學(xué)生，1篇文章指出研究對(duì)象為高中生，還有4篇文章指出研究對(duì)象為小學(xué)生。由此可見，多模態(tài)學(xué)習(xí)分析研究者在高等教育領(lǐng)域開展的研究與實(shí)踐居多。在參與對(duì)象的數(shù)量方面，30人及以下的小樣本研究有6項(xiàng)，30人以上100人以下的研究有7項(xiàng)，尚未涉及100人以上的研究。總體而言，研究所招募參與者的規(guī)模不是很大，這可能是因?yàn)?，即使參與的學(xué)生人數(shù)較少，但由于涉及到了多種不同模態(tài)的數(shù)據(jù)，在總體的數(shù)據(jù)量上仍為可觀。另外，也有可能是因?yàn)樘幚砼c分析不同模態(tài)數(shù)據(jù)存在較大難度，因而在當(dāng)前研究中所用的樣本數(shù)量普遍較小。

2. 參與時(shí)間

在參與時(shí)間方面，分析發(fā)現(xiàn)單次參與時(shí)間較短的為35分鐘，單次參與時(shí)間較長為3個(gè)小時(shí)（醫(yī)療模擬訓(xùn)練）。大多數(shù)研究選擇以一次課堂學(xué)習(xí)或?qū)嶒?yàn)為時(shí)間長度進(jìn)行研究，僅有極少數(shù)的研究采集了一段較長時(shí)間內(nèi)的數(shù)據(jù)，例如：Mangaroska、Vesin和Giannakos（2019）采集學(xué)生在同一課程學(xué)習(xí)期間（兩個(gè)半月）分別在不同平臺(tái)上學(xué)習(xí)的數(shù)據(jù)進(jìn)行分析，Klebanov等（2020）采集了學(xué)生19周的口語閱讀語音數(shù)據(jù)。究其原因，與平臺(tái)或系統(tǒng)后臺(tái)自動(dòng)記錄的結(jié)構(gòu)化的日志數(shù)據(jù)不同，一方面腦電、皮膚電等生理層數(shù)據(jù)需要基于特定設(shè)備進(jìn)行采集，而且長時(shí)間持續(xù)采集的難度較大；另一方面，生理層數(shù)據(jù)采集的時(shí)間間隔單位通常更短，在相同時(shí)間長度內(nèi)采集的數(shù)據(jù)量通常更大，導(dǎo)致分析的難度也更大。

3. 學(xué)科領(lǐng)域

在對(duì)研究所涉及學(xué)科領(lǐng)域的識(shí)別與劃分上，文獻(xiàn)有明確指出的直接摘錄；文獻(xiàn)未明確指出的，則基于學(xué)習(xí)材料或內(nèi)容進(jìn)行學(xué)科領(lǐng)域的劃分?；谏鲜鲈瓌t，我們發(fā)現(xiàn)當(dāng)前基于數(shù)學(xué)學(xué)科和計(jì)算機(jī)科學(xué)學(xué)科開展的研究各占3項(xiàng)，基于生物和工程學(xué)科開展的研究各占2項(xiàng)，基于醫(yī)學(xué)、地理以及語言學(xué)科開展的研究各占1項(xiàng)。由此我們可以發(fā)現(xiàn)，當(dāng)前研究涉及的學(xué)科基本涵蓋科學(xué)、技術(shù)、工程和數(shù)學(xué)（STEM）學(xué)科范疇。換言之，當(dāng)前多模態(tài)學(xué)習(xí)分析領(lǐng)域的研究致力于對(duì)學(xué)生在科學(xué)、技術(shù)、工程和數(shù)學(xué)（STEM）學(xué)科的學(xué)習(xí)過程提供更為全面的分析與理解，以為學(xué)生創(chuàng)新精神與實(shí)踐能力的培養(yǎng)提供反饋與支持。

4. 學(xué)習(xí)場(chǎng)所

與傳統(tǒng)學(xué)習(xí)分析領(lǐng)域重視線上學(xué)習(xí)過程不同，多模態(tài)學(xué)習(xí)分析研究同時(shí)也關(guān)注那些更為普遍、更為廣泛的場(chǎng)所內(nèi)學(xué)習(xí)發(fā)生的過程（汪維富，毛美娟，2021）。例如：當(dāng)前多模態(tài)學(xué)習(xí)分析研究關(guān)注的學(xué)習(xí)場(chǎng)所既有線上學(xué)習(xí)環(huán)境，也有實(shí)驗(yàn)室內(nèi)的學(xué)習(xí)，還有真實(shí)課堂、家庭環(huán)境下的學(xué)習(xí)。但是，當(dāng)前研究在學(xué)習(xí)場(chǎng)所的選擇上通常與其所要獲取的數(shù)據(jù)的模態(tài)有關(guān)。例如：涉及腦電、皮膚電等生理層數(shù)據(jù)采集的研究大多是在實(shí)驗(yàn)室內(nèi)開展，而涉及手勢(shì)移動(dòng)數(shù)據(jù)、學(xué)習(xí)者位置移動(dòng)等行為層數(shù)據(jù)采集的研究，由于可通過視音頻設(shè)備進(jìn)行采集，這些研究則大多是在常規(guī)教學(xué)或?qū)W習(xí)環(huán)境進(jìn)行的，如課堂、家庭中。

（三）多模態(tài)數(shù)據(jù)的采集與分析

1. 多模態(tài)數(shù)據(jù)的類型及采集方式

多模態(tài)數(shù)據(jù)即包含兩種或兩種以上的不同模態(tài)的數(shù)據(jù)，但關(guān)于模態(tài)一詞，當(dāng)前存在著多種不同的表述，如“符號(hào)系統(tǒng)說” “交互方式說”等。根據(jù)對(duì)模態(tài)定義的不同理解，學(xué)者們對(duì)多模態(tài)數(shù)據(jù)的劃分也存在著不同。Blikstein 和 Worsley（2016）將多模態(tài)學(xué)習(xí)分析總結(jié)為文本分析、話語分析、筆跡分析等九大類。陳凱泉、張春雪、吳玥玥與劉璐（2019）在對(duì)Blikstein 和Worsley（2016）研究的基礎(chǔ)上，將多模態(tài)數(shù)據(jù)劃分為外顯數(shù)據(jù)、心理數(shù)據(jù)、生理數(shù)據(jù)以及基礎(chǔ)數(shù)據(jù)四類。鐘薇、李若晨、馬曉玲與吳永和（2018）基于數(shù)據(jù)所攜帶特性，將其劃分為生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)以及基本信息數(shù)據(jù)四類。牟智佳（2020）基于多模態(tài)學(xué)習(xí)分析的空間結(jié)構(gòu)，將多模態(tài)數(shù)據(jù)的來源劃分為學(xué)習(xí)體征數(shù)據(jù)、人機(jī)交互數(shù)據(jù)、學(xué)習(xí)資源數(shù)據(jù)和學(xué)習(xí)情境數(shù)據(jù)四類；穆肅、崔萌與黃曉地（2021）將現(xiàn)有多模態(tài)學(xué)習(xí)分析實(shí)證研究中的多模態(tài)數(shù)據(jù)總結(jié)為數(shù)字空間數(shù)據(jù)、物理空間數(shù)據(jù)、生理體征數(shù)據(jù)、心理測(cè)量數(shù)據(jù)以及環(huán)境場(chǎng)景數(shù)據(jù)五類。

無論學(xué)習(xí)場(chǎng)景如何變化，多模態(tài)學(xué)習(xí)分析始終是以學(xué)習(xí)者為中心。鑒于此，本研究在對(duì)當(dāng)前研究所采集的多模態(tài)數(shù)據(jù)類型分析的基礎(chǔ)上，參照了鐘薇等（2018）提出的多模態(tài)數(shù)據(jù)分類，即依據(jù)數(shù)據(jù)所攜帶的信息屬性，將多模態(tài)數(shù)據(jù)分為生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)以及基本信息數(shù)據(jù)四大類，并對(duì)研究所采集的數(shù)據(jù)進(jìn)行了梳理（見上頁表2）。

在對(duì)生理層數(shù)據(jù)的采集上，當(dāng)前大部分研究主要是借助特定的設(shè)備，如眼動(dòng)儀、腦電頭盔、手環(huán)等（見圖3）實(shí)現(xiàn)數(shù)據(jù)的采集。另外，也有研究基于一些軟件（如OpenFace），從視頻中提取學(xué)習(xí)者的眼動(dòng)類生理層數(shù)據(jù)（Andrade，2017）。對(duì)行為層數(shù)據(jù)，如手勢(shì)移動(dòng)、身體位置或姿勢(shì)等數(shù)據(jù)的采集則大多應(yīng)用有關(guān)算法從視頻中提取。行為層數(shù)據(jù)中的學(xué)習(xí)日志數(shù)據(jù)則基本通過在平臺(tái)或系統(tǒng)中埋點(diǎn)實(shí)現(xiàn)自動(dòng)采集。對(duì)心理層數(shù)據(jù)，如學(xué)習(xí)者情緒的采集上，當(dāng)前基本是從學(xué)習(xí)者的語音或視頻數(shù)據(jù)中進(jìn)行提取。針對(duì)多模態(tài)數(shù)據(jù)的采集，哈佛大學(xué)的學(xué)習(xí)、創(chuàng)新與技術(shù)實(shí)驗(yàn)室基于網(wǎng)絡(luò)攝像頭和機(jī)器學(xué)習(xí)算法開發(fā)出一個(gè)包含有采集生理層以及心理層多種模態(tài)數(shù)據(jù)采集的工具包，該工具包可以在任何瀏覽器上運(yùn)行，且不需要特殊的硬件或編程經(jīng)驗(yàn)，大大地降低了多模態(tài)數(shù)據(jù)采集的難度，為研究者開展多模態(tài)學(xué)習(xí)分析研究提供了便利。當(dāng)前該工具包支持采集的數(shù)據(jù)模態(tài)如圖4所示，更多詳細(xì)信息參見該實(shí)驗(yàn)室網(wǎng)址①。

圖3 常見生理層數(shù)據(jù)（眼動(dòng)、腦電波、體溫/心率）采集設(shè)備②

圖4 多模態(tài)數(shù)據(jù)采集工具包（Hassan et al., 2021）

2. 多模態(tài)數(shù)據(jù)的分析

多模態(tài)學(xué)習(xí)分析發(fā)揮作用的關(guān)鍵，不僅僅是通過一種新的模態(tài)的數(shù)據(jù)來重新認(rèn)識(shí)學(xué)習(xí)者的學(xué)習(xí)，更重要的是通過多種模態(tài)數(shù)據(jù)的整合分析實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)過程的全面透析。從現(xiàn)有研究來看，借助多種不同模態(tài)數(shù)據(jù)從不同側(cè)面來探究某一問題或分析某一現(xiàn)象的研究居多，如通過腦電數(shù)據(jù)來認(rèn)識(shí)學(xué)習(xí)者的認(rèn)知負(fù)荷（Mills et al. , 2017），將多種模態(tài)數(shù)據(jù)彼此進(jìn)行關(guān)聯(lián)，綜合分析某一問題的研究較少。此外，我們通過對(duì)目前已開展的有關(guān)多模態(tài)數(shù)據(jù)關(guān)聯(lián)與整合分析的研究進(jìn)行分析發(fā)現(xiàn)，其關(guān)聯(lián)與整合方式大致可分為兩類。一是在一種數(shù)據(jù)模態(tài)分析的基礎(chǔ)上再結(jié)合另一模態(tài)數(shù)據(jù)進(jìn)行分析。例如：在生物學(xué)科反饋循環(huán)概念的學(xué)習(xí)中，Andrade（2017）通過讓學(xué)習(xí)者上下移動(dòng)雙手來觀察與探究計(jì)算機(jī)界面中捕食者（狐貍）和被捕食者（兔子）數(shù)量變化的情況。在該研究中，他們首先基于不同時(shí)刻學(xué)習(xí)者的圖像數(shù)據(jù)，創(chuàng)建了雙手移動(dòng)的向量表示；接著，基于同一時(shí)刻雙手移動(dòng)的向量表示，應(yīng)用隱馬爾可夫方法確定了雙手運(yùn)動(dòng)的五種潛在狀態(tài)；隨后，基于整個(gè)學(xué)習(xí)過程中學(xué)習(xí)者的雙手移動(dòng)狀態(tài)變化挖掘到了五種不同的雙手移動(dòng)序列模式（見表3），例如：Cluster 1以狀態(tài)a（左手靜止，右手上移）和狀態(tài)d（左手下移，右手上移）為主，Cluster 5則由狀態(tài)e（左右手均靜止）主導(dǎo)；最后比較了不同雙手移動(dòng)序列模式下學(xué)習(xí)者之間在注視模式上的差異（見圖5）。研究發(fā)現(xiàn)那些表現(xiàn)不佳的學(xué)生（Cluster 1和Cluster 2）在屏幕上凝視的范圍往往比較有限，相反那些表現(xiàn)較好的學(xué)生（Cluster 4和Cluster 5）似乎有著更廣泛的關(guān)注范圍。另外那些經(jīng)常停頓的學(xué)生（Cluster 3和Cluster 5）也比其他學(xué)生有著更廣泛的凝視范圍。兩種模態(tài)數(shù)據(jù)的結(jié)合，能夠幫助我們較好地理解學(xué)生的學(xué)習(xí)模式。例如：Cluster 4所體現(xiàn)出來的大范圍的凝視可能表明學(xué)生能夠更好地識(shí)別來自模擬的信息，以便有效地將其映射到他們的移動(dòng)上；Cluster 5中更為平滑的凝視模式揭示了模擬過程中非常頻繁的停頓，這可能表明了該群體將視覺和動(dòng)作信息整合在一起所付出的努力，群體最后的成績也驗(yàn)證了這一模式取得了良好的學(xué)習(xí)效果。

圖5 雙手運(yùn)動(dòng)數(shù)據(jù)與眼動(dòng)數(shù)據(jù)的整合分析案例（Andrade, 2017）

表3 不同群體雙手運(yùn)動(dòng)狀態(tài)的典型特征（Andrade, 2017）

第二類對(duì)多模態(tài)數(shù)據(jù)進(jìn)行關(guān)聯(lián)與整合的方式是將多種模態(tài)的數(shù)據(jù)同時(shí)納入分析，用以識(shí)別特定的模式。圖6是Martinez-Maldinado等（2017）提供的小組護(hù)理模擬學(xué)習(xí)中一個(gè)整合學(xué)習(xí)者位置數(shù)據(jù)與學(xué)習(xí)者之間彼此交流的聲音數(shù)據(jù)的案例。圖中虛線邊框標(biāo)注的方形區(qū)域是通過Kinect深度傳感器（Kinect Depth Sensor）所捕獲的學(xué)習(xí)小組在學(xué)習(xí)過程中的位置信息，扇形陰影區(qū)域是通過麥克風(fēng)列陣（Microphone Array）的6個(gè)通道捕獲的學(xué)習(xí)成員之間交流的聲音數(shù)據(jù)（區(qū)域及持續(xù)時(shí)間）。通過整合音頻數(shù)據(jù)和位置移動(dòng)數(shù)據(jù)，我們就可以將Group A（左）和Group B（右）進(jìn)行對(duì)比分析。圖6顯示，Group A成員之間的對(duì)話大部分發(fā)生在遠(yuǎn)離人體模型的時(shí)候（如左圖12分、13分10秒和6分40秒的扇形區(qū)域），而Group B成員之間的對(duì)話則主要發(fā)生在人體模型的兩側(cè)（如右圖17分50秒和14分45秒的扇形區(qū)域）。

圖6 學(xué)習(xí)者位置數(shù)據(jù)與聲音數(shù)據(jù)的整合分析案例（Martinez-Maldonado et al., 2017）

四、總結(jié)與啟示

多模態(tài)學(xué)習(xí)分析研究的開展為全面、準(zhǔn)確地了解學(xué)習(xí)者及其學(xué)習(xí)環(huán)境提供了可能。雖然當(dāng)前多模態(tài)學(xué)習(xí)分析研究發(fā)展的時(shí)間相對(duì)較短，相關(guān)實(shí)證研究在研究樣本數(shù)量、研究持續(xù)開展時(shí)間以及不同模態(tài)數(shù)據(jù)的融合分析等方面還存在著一些不足，但不可否認(rèn)這些實(shí)踐仍為我們開展多模態(tài)學(xué)習(xí)分析研究提供了諸多啟示。

（一）基于學(xué)習(xí)終端及智慧學(xué)習(xí)環(huán)境的多模態(tài)數(shù)據(jù)采集

在四大類多模態(tài)數(shù)據(jù)中（生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)以及基本信息數(shù)據(jù)），基本信息數(shù)據(jù)的大規(guī)模采集較為容易，可通過學(xué)習(xí)者自行報(bào)告或填寫解決；行為層、心理層數(shù)據(jù)次之，如可通過學(xué)習(xí)平臺(tái)后臺(tái)進(jìn)行自動(dòng)采集或從學(xué)習(xí)者評(píng)論等文本數(shù)據(jù)提取情感數(shù)據(jù)等；生理層數(shù)據(jù)的采集一般需要通過特定的設(shè)備進(jìn)行采集，如腦電頭盔、眼動(dòng)儀等等。已有研究與實(shí)踐表明，隨著教育信息化的開展與深入應(yīng)用，借助學(xué)習(xí)終端及智慧學(xué)習(xí)環(huán)境可在一定程度上通過無侵入式的方式采集所需要的不同模態(tài)的數(shù)據(jù)，滿足研究對(duì)多模態(tài)數(shù)據(jù)的需求。部分行為層數(shù)據(jù)或情感等心理層數(shù)據(jù)可通過學(xué)習(xí)系統(tǒng)或平臺(tái)實(shí)現(xiàn)自動(dòng)采集，如點(diǎn)擊流數(shù)據(jù)、文本數(shù)據(jù)等。另外，我們也可借助相關(guān)技術(shù)或工具從智慧學(xué)習(xí)環(huán)境的音視頻設(shè)備收集的材料中提取粗力度的心理層、生理層數(shù)據(jù)。例如：Andrade（2017）利用OpenFace軟件實(shí)現(xiàn)了從視頻數(shù)據(jù)中提取學(xué)生的眼睛注視數(shù)據(jù)，并實(shí)現(xiàn)了對(duì)學(xué)生注視模式的分析。孫波、劉永娜、陳玖冰、羅繼鴻與張迪（2015）基于學(xué)習(xí)過程中的學(xué)習(xí)者面部圖像數(shù)據(jù)實(shí)現(xiàn)了對(duì)學(xué)習(xí)者情感的識(shí)別。在Hassan等（2021）開發(fā)的多模態(tài)數(shù)據(jù)采集工具包中也嵌入了基于語音以及圖像的情感檢測(cè)模塊。

（二）融合智能技術(shù)開展多模態(tài)數(shù)據(jù)的特征提取與整合分析

多模態(tài)數(shù)據(jù)特征的提取與組合是實(shí)現(xiàn)多模態(tài)數(shù)據(jù)整合的關(guān)鍵。以往，我們更傾向于基于已有經(jīng)驗(yàn)進(jìn)行不同來源數(shù)據(jù)特征的提取與整合，或者先假設(shè)再進(jìn)行驗(yàn)證?？傮w而言，這些都屬于自上而下的多模態(tài)數(shù)據(jù)整合策略。然而，由于人的局限性以及多模態(tài)數(shù)據(jù)特征的豐富性，這種策略存在的弊端也日益凸顯。智能技術(shù)的發(fā)展，尤其是計(jì)算機(jī)領(lǐng)域深度學(xué)習(xí)技術(shù)的發(fā)展則為我們自下而上地對(duì)多模態(tài)數(shù)據(jù)特征提取與整合的實(shí)現(xiàn)提供了可能。類似于運(yùn)用深度學(xué)習(xí)技術(shù)從圖像中識(shí)別貓并提取貓的特征，我們可借鑒Worsley（2014）提出的三級(jí)數(shù)據(jù)整合方法（不同模態(tài)數(shù)據(jù)特征的簡單組合、基于時(shí)間關(guān)聯(lián)的多模態(tài)數(shù)據(jù)組合、基于時(shí)間關(guān)聯(lián)和數(shù)據(jù)語義的組合），將采到的多模態(tài)數(shù)據(jù)“喂”給機(jī)器，再利用深度學(xué)習(xí)技術(shù)提取與整合不同模態(tài)數(shù)據(jù)的特征。另外，我們也可在深度學(xué)習(xí)技術(shù)所提取與組合特征的基礎(chǔ)上，反思不同模態(tài)數(shù)據(jù)形成的組合特征所呈現(xiàn)的語義信息，以進(jìn)一步指導(dǎo)后續(xù)研究數(shù)據(jù)的采集與處理工作。

（三）加強(qiáng)多模態(tài)學(xué)習(xí)分析研究的跨學(xué)科交叉合作

跨學(xué)科交叉合作是科學(xué)創(chuàng)新的源泉，也是應(yīng)對(duì)人類共同挑戰(zhàn)、促進(jìn)社會(huì)發(fā)展的必然之舉（劉仲林，趙曉春，2005；郝鳳霞，張春美，2001）。在通過多模態(tài)數(shù)據(jù)理解與評(píng)價(jià)人類真實(shí)的學(xué)習(xí)中，更需要不同學(xué)科之間的交叉合作。雖然（多模態(tài)）學(xué)習(xí)分析領(lǐng)域本身是一個(gè)跨學(xué)科領(lǐng)域，集合了教育學(xué)、心理學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等不同學(xué)科領(lǐng)域的研究者，但是加強(qiáng)不同學(xué)科領(lǐng)域之間的交叉合作，彌補(bǔ)單一學(xué)科所暴露出的不足，才是理解與評(píng)價(jià)人類真實(shí)學(xué)習(xí)、破解教育領(lǐng)域科學(xué)問題的關(guān)鍵。加強(qiáng)跨學(xué)科交叉合作的重要性體現(xiàn)在多模態(tài)數(shù)據(jù)的采集、分析等諸多方面。例如：在探究某一教學(xué)設(shè)計(jì)對(duì)學(xué)習(xí)的促進(jìn)作用時(shí)，我們?cè)诮柚鷤鞲性O(shè)備采集多模態(tài)數(shù)據(jù)，尤其是腦活動(dòng)數(shù)據(jù)時(shí)，就需要深入了解不同腦區(qū)在知識(shí)表征、視覺注意、數(shù)字或文字加工上的差別，這就需要我們加強(qiáng)教育學(xué)與心理學(xué)或腦科學(xué)研究者之間的合作，以實(shí)現(xiàn)數(shù)據(jù)采集時(shí)對(duì)腦區(qū)的精準(zhǔn)覆蓋以及在數(shù)據(jù)分析時(shí)合理解釋學(xué)習(xí)發(fā)生的機(jī)理。又如，雖然當(dāng)前已有研究探索了如何借助一些常規(guī)設(shè)備采集粗粒度的生理層面或心理層面的數(shù)據(jù)，但是在提取這些模態(tài)的數(shù)據(jù)時(shí)，如基于視頻的眼動(dòng)數(shù)據(jù)提取，則需要我們具備一定的技術(shù)知識(shí)。另外，在真實(shí)學(xué)習(xí)過程中采集的數(shù)據(jù)通常具有較大的噪聲，在數(shù)據(jù)的降噪以及不同模態(tài)數(shù)據(jù)的整合方面（例如：不同模態(tài)數(shù)據(jù)的對(duì)齊），也需要我們加強(qiáng)與計(jì)算機(jī)學(xué)科等其他學(xué)科的合作。

（四）關(guān)注多模態(tài)數(shù)據(jù)采集與應(yīng)用的倫理與隱私保護(hù)問題

倫理與隱私問題一直也是學(xué)習(xí)分析研究中討論的焦點(diǎn)（陳伯棟，黃天慧，2017）。技術(shù)發(fā)展的目的理應(yīng)是讓人類生活變得更加美好，而不應(yīng)是為“惡”賦能，比如不應(yīng)淪為“大數(shù)據(jù)殺熟”的重要幫手。同樣，多模態(tài)數(shù)據(jù)的采集與分析理應(yīng)是為學(xué)習(xí)與教學(xué)賦能。在以智能硬件為核心的物聯(lián)網(wǎng)技術(shù)以及便攜、無侵入式傳感設(shè)備的應(yīng)用下，多模態(tài)數(shù)據(jù)的采集與存儲(chǔ)變得更加便捷高效。與單一模態(tài)數(shù)據(jù)相比，立體、精準(zhǔn)的多模態(tài)數(shù)據(jù)同時(shí)也有可能會(huì)帶來更加復(fù)雜的倫理與隱私問題，建立數(shù)據(jù)采集與應(yīng)用的理論與隱私保護(hù)制度，確保多模態(tài)數(shù)據(jù)得到合理的應(yīng)用尤為必要。鑒于此，未來在開展多模態(tài)學(xué)習(xí)分析研究時(shí)，首先在多模態(tài)數(shù)據(jù)采集的過程中應(yīng)保障學(xué)生的知情權(quán)，告知學(xué)生數(shù)據(jù)的用途，在取得學(xué)生同意的情況下進(jìn)行數(shù)據(jù)的采集與分析工作；其次，在數(shù)據(jù)應(yīng)用時(shí)，應(yīng)關(guān)注數(shù)據(jù)的透明化、匿名化，充分降低數(shù)據(jù)泄漏可能給學(xué)生帶來的負(fù)面影響；第三，在隱私保護(hù)方面，應(yīng)積極探索隱私保護(hù)的工具與方法，以識(shí)別隱私等級(jí)并提供相應(yīng)的解決方案（Ferguson, Hoel, Scheffel, & Drachsler,2016）；最后，在多模態(tài)學(xué)習(xí)分析研究開展中應(yīng)建立相關(guān)利益者責(zé)任制度，明確不同利益者需遵守的角色責(zé)任（王楠，茍江鳳，2019）。

注釋

① 實(shí)驗(yàn)室網(wǎng)址：https://lit.gse.harvard.edu/ez-mmla-toolkit。

② 圖片均來源于互聯(lián)網(wǎng)：

圖（a）眼動(dòng)儀：http://www.xc-digital.com/text/?p=762；

圖（b）腦電頭盔：http://www.quasarusa.com/products_dsi.htm；

圖（c）腕帶：https://www.empatica.com/en-int/research/e4/）。