多模態(tài)學(xué)習(xí)分析：走向計(jì)算教育時(shí)代的學(xué)習(xí)分析學(xué)

張琪 李福華 孫基男

摘要：利用跨數(shù)據(jù)源分析教與學(xué)規(guī)律的研究已成為教育技術(shù)學(xué)演進(jìn)的重要力量?；趯?duì)多模態(tài)學(xué)習(xí)分析本質(zhì)的理解，構(gòu)建冰山隱喻分析模型，以闡釋多模態(tài)數(shù)據(jù)流、數(shù)據(jù)建模與學(xué)習(xí)狀態(tài)輸出之間的關(guān)系，進(jìn)而構(gòu)造循環(huán)推理框架。該框架以環(huán)狀流動(dòng)表征了多模態(tài)學(xué)習(xí)分析的流程，流程起始于涵蓋學(xué)習(xí)行為的輸入空間，通過數(shù)據(jù)空間的分配標(biāo)注，并在同步空間進(jìn)行時(shí)空匹配使數(shù)據(jù)得以對(duì)齊，進(jìn)而在融合空間中實(shí)現(xiàn)對(duì)“數(shù)字一推理”區(qū)域的構(gòu)造，最終實(shí)現(xiàn)反饋輸出以及對(duì)學(xué)習(xí)行為進(jìn)行引導(dǎo)與千預(yù)的目的。多模態(tài)學(xué)習(xí)分析的研究需要繼續(xù)加強(qiáng)復(fù)雜計(jì)算模型構(gòu)建，建立學(xué)術(shù)研究共同體與開源生物數(shù)據(jù)庫(kù)，擴(kuò)展當(dāng)前的互操作性標(biāo)準(zhǔn)，加強(qiáng)共同學(xué)習(xí)的模態(tài)互補(bǔ)研究，并將倫理價(jià)值和準(zhǔn)則內(nèi)嵌于框架設(shè)計(jì)之中，從而支撐計(jì)算教育學(xué)的建立與下一代互聯(lián)網(wǎng)教育創(chuàng)新。

關(guān)鍵詞：多模態(tài);學(xué)習(xí)分析;計(jì)算教育學(xué);數(shù)據(jù)映射;研究框架

中圖分類號(hào)：G434

文獻(xiàn)標(biāo)識(shí)碼：A

一、引言

計(jì)算教育時(shí)代，復(fù)雜學(xué)習(xí)問題的數(shù)據(jù)分析需求日益增加，由此產(chǎn)生的“數(shù)據(jù)驅(qū)動(dòng)”研究范式，超越了從“基本原理視角構(gòu)建模型”的一般方法，相關(guān)研究陸續(xù)涌現(xiàn)已成為不爭(zhēng)的事實(shí)?；诳鐚W(xué)科視角分析多種情境中的有效學(xué)習(xí)是教育技術(shù)學(xué)演進(jìn)的重要力量。在學(xué)習(xí)分析領(lǐng)域，對(duì)學(xué)習(xí)者全維數(shù)據(jù)的需求不斷增長(zhǎng)，結(jié)合來自多個(gè)來源的數(shù)據(jù)已經(jīng)成為教育研究的必要條件。2020年地平線報(bào)告歸納了學(xué)習(xí)分析領(lǐng)域的實(shí)踐，認(rèn)為當(dāng)前教育機(jī)構(gòu)評(píng)價(jià)與細(xì)粒度數(shù)據(jù)的補(bǔ)充支撐了對(duì)學(xué)習(xí)者成功的分析（AnalyticsforStudentSuccess），強(qiáng)調(diào)學(xué)習(xí)分析的跨功能數(shù)據(jù)聯(lián)合與協(xié)調(diào)應(yīng)用趨勢(shì)B。多模態(tài)學(xué)習(xí)分析（MultimodalLearningAnalytics，MLA）為立體化地理解“互聯(lián)網(wǎng)+教學(xué)”的規(guī)律奠定了基礎(chǔ)。在多模態(tài)學(xué)習(xí)分析領(lǐng)域，教育的跨模態(tài)數(shù)據(jù)是研究的對(duì)象與起點(diǎn)，數(shù)據(jù)的分析與建模是主要研究方法，建筑在信息科學(xué)基礎(chǔ)上的教與學(xué)問題研究賦予該領(lǐng)域獨(dú)有的印記，其結(jié)果是建立解決復(fù)雜教育問題的數(shù)據(jù)模型與解釋模型，指向智能教育的創(chuàng)新實(shí)踐，為構(gòu)筑新時(shí)代中國(guó)氣派的教育學(xué)理論體系提供了支撐。

二、多模態(tài)與多模態(tài)學(xué)習(xí)分析

多模態(tài)（Multimodal）屬于被廣泛應(yīng)用的概念，已在很多領(lǐng)域尤其在傳播學(xué)與功能語言學(xué)領(lǐng)域得到了深人的應(yīng)用。在傳播學(xué)領(lǐng)域，多模態(tài)是指信息交流依賴的渠道和媒介，不同符號(hào)以交互方式傳遞信息與意義，每種模態(tài)可以通過一種或多種媒體進(jìn)行表征。例如，言語可以被數(shù)字化記錄在計(jì)算機(jī)中，也可以被編碼為韻律指數(shù)或者震動(dòng)產(chǎn)生壓力所導(dǎo)致的分貝值變化。在功能語言學(xué)領(lǐng)域，從20世紀(jì)90年代開始，研究人員認(rèn)識(shí)到話語分析除了言語之外，表情、手勢(shì)、肢體語言等也是意義生成的有效模態(tài)，開辟了多模態(tài)話語分析的新領(lǐng)域。

學(xué)習(xí)者伴隨時(shí)間分辨率的情感和認(rèn)知狀態(tài)與積極的學(xué)習(xí)成果有關(guān)。多模態(tài)術(shù)語指的是使用先進(jìn)的傳感器技術(shù)和機(jī)器學(xué)習(xí)建立和處理過程性學(xué)習(xí)數(shù)據(jù)的信息模型8），以研究復(fù)雜情景中的學(xué)習(xí)，在學(xué)習(xí)行為和學(xué)習(xí)理論之間建立橋梁！。多模態(tài)學(xué)習(xí)分析的萌芽是對(duì)“麥格克效應(yīng)”（McGurkEffect）的闡釋，結(jié)果產(chǎn)生了視聽語音識(shí)別領(lǐng)域（AVSR）;其成熟源于機(jī)器學(xué)習(xí)模型精度的改進(jìn)，即納入更多的數(shù)據(jù)特征維度并提升算法的表現(xiàn)。進(jìn)人21世紀(jì)以來，表情識(shí)別、語義分析、情感計(jì)算、人因工程等領(lǐng)域的蓬勃發(fā)展，極大釋放了多模態(tài)學(xué)習(xí)分析的潛能，多種模態(tài)建模會(huì)改善大部分研究的模型精度已成為學(xué)術(shù)界的共識(shí)。

從早期的語音識(shí)別（VR）研究到近期對(duì)自然語言處理（NLP）與視覺模型（VFM）的關(guān)注，多模態(tài)學(xué)習(xí)分析已成為一個(gè)充滿朝氣的研究領(lǐng)域。下一代的教育服務(wù)，將是多感官的"，多模態(tài)學(xué)習(xí)分析專注于學(xué)習(xí)過程中各相關(guān)模態(tài)相互作用的痕跡，將真實(shí)的教育問題置于數(shù)據(jù)驅(qū)動(dòng)范式中重新審視，可以為學(xué)習(xí)空間創(chuàng)設(shè)和任務(wù)設(shè)計(jì)提供新思路。此外，在人工智能領(lǐng)域，實(shí)現(xiàn)計(jì)算機(jī)對(duì)真實(shí)世界的理解、解釋和推理！"2依然是一個(gè)巨大挑戰(zhàn)?，F(xiàn)有人工智能還不存在類似人腦多通道協(xié)同運(yùn)作的體系。多模態(tài)學(xué)習(xí)分析的跨模態(tài)感知與推理有助于建立語義空間的聯(lián)結(jié)，納入結(jié)構(gòu)化知識(shí)來幫助計(jì)算機(jī)深度認(rèn)知，由此產(chǎn)生的“多模態(tài)智能”將成為人工智能未來的發(fā)展方向。

三、數(shù)據(jù)映射“冰山”模型

多模態(tài)學(xué)習(xí)分析研究是一種數(shù)據(jù)驅(qū)動(dòng)型科學(xué)，計(jì)算教育學(xué)是一門“教育數(shù)據(jù)地質(zhì)學(xué)”，兩者具備共同的研究趨向。多模態(tài)學(xué)習(xí)分析給研究者帶來了一些獨(dú)特的挑戰(zhàn)，這些挑戰(zhàn)是由多模態(tài)數(shù)據(jù)的復(fù)雜和多種形式所造成的，其中關(guān)鍵的問題在于模態(tài)數(shù)據(jù)與學(xué)習(xí)狀態(tài)對(duì)應(yīng)關(guān)系的合理解讀。盡管傳感器提供了對(duì)肢體動(dòng)作、面部表情、眼球運(yùn)動(dòng)等模態(tài)信號(hào)的記錄與測(cè)量，但學(xué)習(xí)者潛在的特征很難進(jìn)行界定。尤其當(dāng)大量有意義的變量被納人于研究者視線范圍之內(nèi)，如何處理好教育與信息兩個(gè)層面價(jià)值的關(guān)系，建立模態(tài)數(shù)據(jù)與學(xué)習(xí)過程之間的映射關(guān)系至關(guān)重要。

為了清晰地說明多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)流程，研究構(gòu)建了數(shù)據(jù)映射分析模型，如圖1所示。從最初可以被觀測(cè)和記錄的數(shù)模轉(zhuǎn)換開始，即采集學(xué)習(xí)者的行為和學(xué)習(xí)情景數(shù)據(jù)，由傳感器自動(dòng)捕獲形成多模態(tài)數(shù)據(jù)流，經(jīng)歷“數(shù)據(jù)建?！?，生成學(xué)習(xí)狀態(tài)的輸出標(biāo)簽。在圖1中，“觀察一數(shù)字”線以下是不可觀測(cè)區(qū)域，包括“觀察一數(shù)字”至“數(shù)字一推理”之間的建模區(qū)域，以及“數(shù)字一推理”以下的表征區(qū)域。利用“冰山”隱喻可以明確地說明可見與不可見區(qū)域之間的關(guān)系：多模態(tài)數(shù)據(jù)流、數(shù)據(jù)建模與學(xué)習(xí)狀態(tài)屬于同一冰山的不同方面，水平面以上的屬性是顯性的，容易被記錄與存儲(chǔ);“水平面之下”部分需要多層次的解釋，越往下的部分越難以描述，解釋程度取決于水平面之下的深度。

具體來看，“數(shù)據(jù)建?！敝惺滓氖嵌x表征學(xué)習(xí)狀態(tài)的組件，這取決于多模態(tài)數(shù)據(jù)的類型、算法選擇以及需要輸出的學(xué)習(xí)結(jié)果。其次需要對(duì)多模態(tài)數(shù)據(jù)流進(jìn)行預(yù)處理，包括結(jié)構(gòu)化、數(shù)據(jù)清洗，之后基于特征描述建立機(jī)器學(xué)習(xí)模型。常用的特征描述包括視覺目標(biāo)檢測(cè)的梯度方向直方圖（HOG），以此來計(jì)算局部圖像梯度的方向信息的統(tǒng)計(jì)值，描述人體的姿態(tài)運(yùn)動(dòng)數(shù)據(jù)的歐拉角（EAs），描述音頻言語特征的梅爾頻率倒譜系數(shù)（MFCC）。這些低階特征數(shù)據(jù)被動(dòng)態(tài)建模，利用聯(lián)合隱藏條件隨機(jī)場(chǎng)（JHCRF）、支持向量機(jī)（SVM）、隱馬爾可夫模型（HMM）等算法實(shí)現(xiàn)中階數(shù)據(jù)的訓(xùn)練和識(shí)別。

學(xué)習(xí)狀態(tài)區(qū)域?qū)?yīng)投入度、情感、認(rèn)知、注意力等表征學(xué)習(xí)水平的“指標(biāo)”。在這個(gè)層面，應(yīng)用最成熟的是情緒識(shí)別。情緒被認(rèn)為是生理變化的重要指數(shù)，在學(xué)習(xí)中起著重要作用”4。根據(jù)“體細(xì)胞標(biāo)記假說”，前額葉在決策及情緒加工中的重要作用，尤其是顳上溝和杏仁核決策情緒的表達(dá)，以面部狀態(tài)的變化表現(xiàn)出來1，因此，對(duì)面部特征的提取以及前額葉控制的眼動(dòng)指標(biāo)被廣泛應(yīng)用在情緒的建模。從更廣的視角，生物系統(tǒng)學(xué)認(rèn)為內(nèi)環(huán)境的穩(wěn)態(tài)（自穩(wěn)態(tài)）是人體維系正常生理功能的必要條件，其中一個(gè)重要的指標(biāo)是喚醒度。作為引起學(xué)習(xí)者生理反應(yīng)程度的指標(biāo)，高喚醒表明積極或反應(yīng)模式支持學(xué)習(xí)。“神經(jīng)內(nèi)臟整合模型”（NeurovisceralIntegrationModel）進(jìn)一步揭示了人體如何作為一個(gè)復(fù)雜的互聯(lián)系統(tǒng)協(xié)調(diào)工作。根據(jù)該理論，中樞自主網(wǎng)絡(luò)（CAN）調(diào)控內(nèi)臟活動(dòng)、神經(jīng)內(nèi)分泌與行為反應(yīng)間的關(guān)系叨，學(xué)習(xí)狀態(tài)是學(xué)習(xí)者根據(jù)所接受的刺激和意圖調(diào)整其功能，為目標(biāo)定向準(zhǔn)備充分的能源，以適應(yīng)不斷變化的外部環(huán)境需求而做的反應(yīng)。

學(xué)習(xí)狀態(tài)的“指標(biāo)”數(shù)量和類型取決于三個(gè)方面。一是研究者的整體設(shè)計(jì)方案，包括被試樣本數(shù)、傳感器選擇、時(shí)間與精力投入、技術(shù)權(quán)衡等。二是學(xué)習(xí)指標(biāo)是否有充分的教與學(xué)理論做支撐，能否有效干預(yù)。尤其是數(shù)據(jù)作為輸出使用時(shí)，該指標(biāo)必須讓學(xué)習(xí)者明確如何才能提升該水平，具備一定的可操作性。此外，“偏差一方差權(quán)衡”（Bias-VarianceTradeof）思想對(duì)于判讀學(xué)習(xí)狀態(tài)的表征輸出至關(guān)重要。偏差是指機(jī)器學(xué)習(xí)希望輸出值與真實(shí)結(jié)果的偏離程度，是算法擬合能力的表征;方差是指度量訓(xùn)練數(shù)據(jù)集的波動(dòng)引起的錯(cuò)誤，即相同樣本數(shù)訓(xùn)練集的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化。在機(jī)器學(xué)習(xí)領(lǐng)域，增大偏差會(huì)導(dǎo)致方差減小，增大方差將減小偏差。根據(jù)該思想，表征學(xué)習(xí)狀態(tài)指標(biāo)的數(shù)量與其描述能力成正比，但它與其泛化性成反比。例如，支持向量機(jī)（SVM）算法通常擁有低偏差和高方差，但通過調(diào)整高斯核（GaussianKermel）參數(shù)Gamma值可以影響訓(xùn)練數(shù)據(jù)中允許違反邊界的點(diǎn)的數(shù)目，會(huì)使偏差增大、方差減小。

通過上述建模輸出，向?qū)W習(xí)者提供干預(yù)或提示反饋，激發(fā)學(xué)習(xí)者對(duì)狀態(tài)的反思，以支持“學(xué)會(huì)學(xué)習(xí)”的能力，從而形成一個(gè)閉環(huán)控制系統(tǒng)。多模態(tài)學(xué)習(xí)分析的意義在于建立新的感覺運(yùn)動(dòng)環(huán)路，即以目標(biāo)定向、學(xué)習(xí)責(zé)任和元認(rèn)知水平調(diào)整為導(dǎo)向，借助反饋機(jī)制促使學(xué)習(xí)過程上升至良性發(fā)展的狀態(tài)。

四、循環(huán)推理框架

基于上述分析，構(gòu)造循環(huán)推理框架，以更為細(xì)致地解析多模態(tài)數(shù)據(jù)映射關(guān)系，并討論分層分析的思想。如圖2所示，粗實(shí)線與虛線分別為“觀察一數(shù)字”分割線以及“數(shù)字一推理”分割線，循環(huán)推理框架以環(huán)狀流動(dòng)為運(yùn)作形式，起始于涵蓋學(xué)習(xí)行為的輸入空間，在數(shù)據(jù)空間進(jìn)行分配標(biāo)注實(shí)現(xiàn)數(shù)據(jù)表征，在同步空間中進(jìn)行時(shí)空匹配使數(shù)據(jù)得以對(duì)齊融合，進(jìn)而在融合空間中將各模型映射到同一個(gè)向量維度，實(shí)現(xiàn)對(duì)“數(shù)字一推理”區(qū)域的構(gòu)造。最終對(duì)模型進(jìn)行調(diào)參以及反饋輸出，實(shí)現(xiàn)對(duì)學(xué)習(xí)行為的引導(dǎo)與干預(yù)，如此往復(fù)，進(jìn)人下一輪循環(huán)。

（一）輸入空間

動(dòng)態(tài)、持續(xù)多模態(tài)數(shù)據(jù)源的匯聚是是科學(xué)量化教育問題的起點(diǎn)。輸入空間是研究者定義的“觀察一數(shù)字”線以上的區(qū)域。學(xué)習(xí)者在完成學(xué)習(xí)任務(wù)時(shí)，很自然地整合了各感覺器官的信息。根據(jù)“認(rèn)知頻譜”（BandsofCognition）的界定，生物頻帶集中在微秒的時(shí)間尺度上，該范疇行為由自主神經(jīng)系統(tǒng)通過交感神經(jīng)和副交感神經(jīng)的相互協(xié)調(diào)，共同調(diào)節(jié)四肢、面部、心跳、內(nèi)臟、腺體和血管壁壓力，這種行為屬于無意識(shí)的、非理性事件，從數(shù)據(jù)獲取的角度位于連續(xù)區(qū)間。而由軀體神經(jīng)系統(tǒng)控制的行為受學(xué)習(xí)者主觀意識(shí)支配，可被視為理性事件，該類行為狀態(tài)不具備連續(xù)性?！罢J(rèn)知頻譜”框架還闡釋了“分解理論”（DecompositionThesis）與“關(guān)聯(lián)理論”（RelevanceThesis）的概念?；谠摾碚摚邆涠虝r(shí)間、連續(xù)事件特征的非理性行為對(duì)于表征認(rèn)知過程具有重要價(jià)值，是多模態(tài)數(shù)據(jù)的重要來源。

誠(chéng)然，連續(xù)行為與非連續(xù)行為事件并非如此邊界分明，應(yīng)以更廣的視角看待微觀成分。當(dāng)融合不同的數(shù)據(jù)流時(shí)，重要的考慮因素是正在使用以及所呈現(xiàn)結(jié)果的時(shí)間尺度。當(dāng)前，輸入空間還鮮有區(qū)分情景的研究。不同的學(xué)習(xí)場(chǎng)景，例如教師指導(dǎo)下的學(xué)習(xí)、自我報(bào)告、協(xié)作學(xué)習(xí)在行為與生理模式方面有著較大的差異。在面對(duì)面交流和社交互動(dòng)中，非言語表達(dá)被認(rèn)為占到九成以上的表達(dá)意義叫。根據(jù)具身認(rèn)知理論，肢體語言和肢體的運(yùn)動(dòng)學(xué)被認(rèn)為在學(xué)習(xí)期間具有重要作用，學(xué)習(xí)者經(jīng)常通過整合動(dòng)作實(shí)現(xiàn)對(duì)事物的理解以及強(qiáng)化詞語的含義2。因此，教育場(chǎng)景計(jì)算應(yīng)面向不同場(chǎng)景“時(shí)間分辨率”中人與人、人與內(nèi)容、人與情景的交互行為，建立全維感知能力與情景要素匹配的策略，研究場(chǎng)景解析模型與分析模型，進(jìn)而實(shí)現(xiàn)場(chǎng)景計(jì)算的智能化。

根據(jù)學(xué)習(xí)行為的生理模式、運(yùn)動(dòng)方式，結(jié)合教育領(lǐng)域的常用傳感器，從文本、語言、姿態(tài)、面部表情、眼動(dòng)與生理標(biāo)志物6個(gè)方面介紹常用的多模態(tài)數(shù)據(jù)源。

1.文本

文本數(shù)據(jù)在自然語言處理領(lǐng)域的應(yīng)用已有數(shù)十年的歷史?！盎ヂ?lián)網(wǎng)+”時(shí)代，文本信息可以輕松地從論壇、文檔、測(cè)試、考試等途徑收集，是極有價(jià)值的分析方式，其實(shí)踐有可能會(huì)加速話語分析的研究。在學(xué)習(xí)科學(xué)領(lǐng)域，包含大量文本分析的研究，包括對(duì)文本內(nèi)容的分類與編碼分析，或者利用主題建模和聚類技術(shù)研究學(xué)習(xí)者的思維與直覺。文本的另一種形式是手寫與勾勒，這種自然交互方式可以利用數(shù)字筆捕獲，以量化不同表面上完成的筆劃的位置、持續(xù)時(shí)間和壓力。結(jié)合計(jì)算機(jī)視覺、多個(gè)攝像頭可以分析寫作速度、節(jié)奏和壓力水平，區(qū)分不同寫作模式從而量化學(xué)習(xí)者的知識(shí)貢獻(xiàn)，識(shí)別群體中的專家。

2.語音

跟文本分析類似，語音數(shù)據(jù)允許學(xué)生在更自然的環(huán)境中流暢的表達(dá)，開辟了轉(zhuǎn)錄話語的可能性。在多模態(tài)學(xué)習(xí)分析領(lǐng)域，語音分析包括兩個(gè)方面，一是語音識(shí)別，指提取語音的實(shí)際內(nèi)容。分析的結(jié)果可以進(jìn)一步利用自然語言處理工具分析轉(zhuǎn)錄本，以確定主題與談?wù)摰膬?nèi)容。二是韻律特征分析，通過提取語音、語調(diào)、副語言等尋找更深層次的語義意義，以分析學(xué)習(xí)者的問題解決能力4、師生互動(dòng)水平以及學(xué)習(xí)動(dòng)機(jī)。

3.姿態(tài)

軀干位移、手勢(shì)以及上肢動(dòng)作是多模態(tài)學(xué)習(xí)分析的常用數(shù)據(jù)源。例如，教師指白板的姿態(tài)，學(xué)生面對(duì)困難的問題時(shí)抬起肩膀、頭部的傾斜以及手腕的運(yùn)動(dòng)。這種連續(xù)行為通常是無意識(shí)的結(jié)果，揭示了學(xué)習(xí)者的內(nèi)在狀態(tài)。此類數(shù)據(jù)可以由攝像頭獲取，或由Kinect為每個(gè)捕獲幀建深度圖像與人體骨骼點(diǎn)。也有研究使用肌電傳感器（EMG）獲取該類數(shù)據(jù)，以提供低成本的替代方案。Ochoa等根據(jù)PPT授課中演講者姿態(tài)評(píng)估演講技巧，圖3給出了Kinect數(shù)據(jù)中捕獲的23種姿態(tài)，被聚類為放下手臂、合掌（解釋）、單手（指點(diǎn)）、雙臂分開（解釋）、單臂向上（解釋）、雙臂（指點(diǎn)）6種類型（以不同的顏色和形狀標(biāo)識(shí)），研究發(fā)現(xiàn)手臂移動(dòng)的平滑度對(duì)預(yù)測(cè)演講技能具有重要價(jià)值。

4.面部表情

與肢體語言高度相關(guān)的是面部表情數(shù)據(jù)的采集。人臉可以通過相對(duì)簡(jiǎn)單的動(dòng)作傳達(dá)復(fù)雜的心理狀態(tài)，對(duì)面部表情的分析在計(jì)算機(jī)視覺領(lǐng)域、情感計(jì)算中得到了充分的研究，并已廣泛用于多模態(tài)人機(jī)交互實(shí)驗(yàn)。教育領(lǐng)域的面部識(shí)別研究表明，學(xué)習(xí)過程中的情感更多的集中在迷惑、無聊、中性、好奇、喜悅、焦慮和沮喪，困惑的表達(dá)是學(xué)習(xí)過程成功的一個(gè)很好的指標(biāo)，情感識(shí)別可以持續(xù)進(jìn)行以探索影響學(xué)習(xí)者理解的因素。

5.眼動(dòng)

嚴(yán)格來講，眼動(dòng)是面部信息的一部分。鑒于注意力是學(xué)習(xí)的前提，學(xué)習(xí)者注視方向是注意力的重要指標(biāo)”，眼動(dòng)數(shù)據(jù)成為多模態(tài)學(xué)習(xí)分析的常用數(shù)據(jù)源。其獲取通常采用攝像機(jī)或眼動(dòng)儀，后者可以提供更為精細(xì)的眼動(dòng)指標(biāo)。對(duì)眼跳路徑、眼跳次數(shù)的整合分析可以從一定程度表征學(xué)習(xí)者信息整合能力，被應(yīng)用在量化認(rèn)知過程和學(xué)習(xí)結(jié)果之間的關(guān)系。在小組學(xué)習(xí)場(chǎng)景中，學(xué)習(xí)者共同的理解依賴于彼此認(rèn)知上的努力（合作伙伴建模）。在過去的二十年里，研究者開始利用眼動(dòng)儀獲取聯(lián)合視覺注意（JVA）數(shù)據(jù)，分析交叉遞歸圖（Cross-recurrenceGraphs），以判斷協(xié)作質(zhì)量的水平。聯(lián)合視覺注意是指學(xué)習(xí)伙伴傾向集中于共同的參考點(diǎn)，使得個(gè)體同時(shí)聚焦同一事物的趨勢(shì)，該現(xiàn)象已在計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)和學(xué)習(xí)科學(xué)領(lǐng)域進(jìn)行了廣泛的研究，成為表征協(xié)作問題解決能力的重要指標(biāo)。

6.生理標(biāo)志物

來自大腦、皮膚與心臟的信息是生理標(biāo)志物的重要來源，對(duì)應(yīng)腦電圖（EEG）、心電圖（ECG）、心率變異性（HRV）、電流皮膚反應(yīng)（GSR）、皮膚電活動(dòng)（EDA）、血容量脈搏（BVP）等。此外，心率與皮膚電指標(biāo)因獲取方便，且已經(jīng)證明與情緒、幸福感、心流體驗(yàn)、生理喚醒程度6相關(guān)，從而得到廣泛關(guān)注。近年來高精度便攜式腦電系統(tǒng)以及神經(jīng)影像學(xué)技術(shù)增加了對(duì)研究者大腦機(jī)制的理解，這類超微解析大腦的模態(tài)數(shù)據(jù)有助于學(xué)習(xí)者內(nèi)隱狀態(tài)的精準(zhǔn)化計(jì)算，更為深人地揭示人機(jī)協(xié)同環(huán)境中的學(xué)習(xí)機(jī)制與學(xué)習(xí)者成長(zhǎng)規(guī)律。

（二）數(shù)據(jù)空間

機(jī)器學(xué)習(xí)中“特征”（Feature）和“表征”（Representation）具有相似的含義，前者強(qiáng)調(diào)實(shí)體的向量或張量表示（VectororTensor），后者多指算法模型的確立。深度學(xué)習(xí)出現(xiàn)之前，數(shù)據(jù)的特征提取是建模的基礎(chǔ)。隨著深度學(xué)習(xí)的應(yīng)用，上述特征處理大都被數(shù)據(jù)驅(qū)動(dòng)的描述方式所取代。例如，卷積神經(jīng)網(wǎng)絡(luò)（CNN）以及深度置信網(wǎng)絡(luò)（DBN）組成的神經(jīng)架構(gòu)，深度自動(dòng)編碼器（DAE）、深度神經(jīng)網(wǎng)絡(luò)（DNN）和用于語言分析的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）等。上述深度結(jié)構(gòu)網(wǎng)絡(luò)模型可以將人工規(guī)則轉(zhuǎn)變?yōu)閷?duì)特征的學(xué)習(xí)，能夠更加有效地揭示數(shù)據(jù)之間隱藏的復(fù)雜內(nèi)部結(jié)構(gòu)，獲得更為符合的特征。

數(shù)據(jù)表征通過特定時(shí)間間隔的標(biāo)注完成。標(biāo)注的本質(zhì)是將學(xué)習(xí)指標(biāo)重復(fù)分配給多模態(tài)數(shù)據(jù)的不同區(qū)間，一般時(shí)間間隔以秒為單位，采用專家或?qū)W習(xí)者提供數(shù)值評(píng)判來完成，以訓(xùn)練學(xué)習(xí)模型并測(cè)試獲得值與真值之間的符合程度。標(biāo)注的數(shù)量取決于學(xué)習(xí)指標(biāo)的數(shù)量、細(xì)粒程度以及算法模型的適配性。對(duì)學(xué)習(xí)指標(biāo)的描述，輸出值可以為多元分類變量。例如，高投入、中投入與低投入;也可以作為離散變量呈現(xiàn)，即交流、困惑與中性等分布特征。標(biāo)注一般會(huì)伴隨巨大的工作量，也有研究采用半自動(dòng)標(biāo)志技術(shù)以及遷移學(xué)習(xí)技術(shù)，以最大限度地減少標(biāo)簽的問題。數(shù)據(jù)空間還包括數(shù)據(jù)預(yù)處理和選擇模型。如何組合來自異構(gòu)來源的數(shù)據(jù)，處理不同程度的噪音以及處理缺失的數(shù)據(jù)對(duì)于建立良好表征能力的機(jī)器學(xué)習(xí)模型至關(guān)重要。

（三）同步空間

數(shù)據(jù)同步的意義在于建立統(tǒng)同一實(shí)例在不同模態(tài)信息中組建的對(duì)應(yīng)關(guān)系。這個(gè)關(guān)系既可以是時(shí)間維度，例如姿態(tài)與眼動(dòng)的對(duì)齊，也可以是是空間維度，例如圖像的語義分割。早期的研究多以無監(jiān)督的方式對(duì)齊多模態(tài)序列。其方法源于測(cè)量不同模態(tài)中組件的相似性，這些相似性可以利用手動(dòng)定義或者模版伸縮方式實(shí)現(xiàn)。其中，動(dòng)態(tài)時(shí)間規(guī)整（DTW）屬于無監(jiān)督對(duì)齊方式，該方法基于對(duì)兩個(gè)序列之間相似性的測(cè)量，并通過時(shí)間扭曲（插入幀）找到它們之間的最佳匹配，已被廣泛用于對(duì)齊多視圖時(shí)間序列。與無監(jiān)督方法不同，基于深度學(xué)習(xí)的方法屬于顯式對(duì)齊，此類模型沒有明確的對(duì)齊數(shù)據(jù)，也不依賴于有監(jiān)督的對(duì)齊示例，而是通過數(shù)據(jù)訓(xùn)練潛在的對(duì)齊數(shù)據(jù)。例如，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)關(guān)鍵點(diǎn)提取和輸出，基于對(duì)齊矩陣將多數(shù)據(jù)源對(duì)齊至同一角度和方向。近年來的研究集中在注意機(jī)制的“編碼一解碼”模型，以此實(shí)現(xiàn)跨模態(tài)的對(duì)齊，并在段落文本、圖像與視頻的跨模態(tài)檢索中獲得了更好的性能。

（四）融合空間

融合是整合各模態(tài)模型以帶來更穩(wěn)健預(yù)測(cè)的方法。融合最直接的方法是將不同規(guī)則提取的特征向量拼接為高維特征向量，采用降維操作將原始高維組合特征向量投射至低維空間，進(jìn)而得到新的低維數(shù)據(jù)表達(dá)。為充分利用各模態(tài)的數(shù)據(jù)信息，基于多核學(xué)習(xí)的融合方法也被相繼提出。多核學(xué)習(xí)方法為每一種不同的信息模態(tài)分配不同的核，對(duì)應(yīng)相應(yīng)的核函數(shù)，通過對(duì)每種核函數(shù)權(quán)值的組合提取出的相應(yīng)的特征表達(dá)，使其能夠兼顧各模型內(nèi)部的特征。

多模態(tài)數(shù)據(jù)的特征與決策級(jí)融合均屬多核融合方法，前者屬于早期融合方式，即提取后立即對(duì)特征進(jìn)行整合。相比之下，決策級(jí)融合利用貝葉斯準(zhǔn)則、模糊集理論、神經(jīng)網(wǎng)絡(luò)、卡爾曼濾波法等方式，對(duì)單模態(tài)模型進(jìn)行后期的平均、加權(quán)、投票、方差等，從而提供更大的靈活性。在這方面，團(tuán)隊(duì)聯(lián)合“數(shù)字學(xué)習(xí)與教育公共服務(wù)教育部工程研究中心”做了一些探索，建立了生物數(shù)據(jù)信號(hào)與面部視覺情感表現(xiàn)序列映射的多模態(tài)學(xué)習(xí)分析圖譜，如圖4所示。多模態(tài)分析圖譜基于面部SIFT特征、腦電EEG信號(hào)的近似熵、能量與偏度特征以及心跳各峰值之間的時(shí)間差（心電Q、R、P、S、T等間隔提?。?、心跳變異率的數(shù)據(jù)特征，通過隱馬爾可夫模型（HMM）時(shí)間歸一化進(jìn)行配準(zhǔn)，采用多核學(xué)習(xí)和交叉驗(yàn)證方法，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），針對(duì)不同模態(tài)特征選擇核函數(shù)和最優(yōu)權(quán)值參數(shù)。未來的研究目標(biāo)是構(gòu)建高級(jí)融合框架，即嘗試從原始低級(jí)數(shù)據(jù)中提取語義信息，將看似相似的模態(tài)正確的分類，使模型能更真實(shí)的表征全局特征。

（五）調(diào)節(jié)空間

多模態(tài)學(xué)習(xí)分析的最終階段是建立穩(wěn)連續(xù)的數(shù)據(jù)輸出。其中，調(diào)參的作用在于避免模型訓(xùn)練錯(cuò)誤以及提高訓(xùn)練準(zhǔn)確度。利用學(xué)習(xí)曲線、網(wǎng)格搜索與隨機(jī)搜索等方法，結(jié)合研究者的經(jīng)驗(yàn)以及對(duì)評(píng)估指標(biāo)的理解，可以探索到調(diào)參邊緣。對(duì)于非常復(fù)雜計(jì)算模型，貝葉斯超參優(yōu)化是常用的調(diào)參方式，由于充分考慮了先前的參數(shù)信息，該方法在進(jìn)行高迭代次數(shù)建模時(shí)能起到較好的效果。

數(shù)據(jù)輸出的目的一方面是為教育研究者提供個(gè)性化指導(dǎo)的參考，提醒教師及時(shí)干預(yù)與監(jiān)控。另一方面則是將反饋的數(shù)據(jù)提供給學(xué)習(xí)者，增強(qiáng)自我調(diào)節(jié)的能力與意識(shí)，引導(dǎo)學(xué)習(xí)者設(shè)定更為合理的學(xué)習(xí)路徑。從閉環(huán)控制的角度看，輸出的數(shù)據(jù)是否能夠影響學(xué)習(xí)者行為變化取決于學(xué)習(xí)者對(duì)數(shù)據(jù)意義的理解。當(dāng)反饋數(shù)據(jù)能真實(shí)反映學(xué)習(xí)過程的狀態(tài)，并與學(xué)習(xí)相關(guān)目標(biāo)和記錄的過程相聯(lián)系時(shí)，有意義的環(huán)路得以被創(chuàng)建，有效的反饋需要通過精心迭代設(shè)計(jì)來完成。

五、討論

智能時(shí)代，為了在變化的虛實(shí)融合世界中取得成功，學(xué)習(xí)者不僅要在科學(xué)、數(shù)學(xué)、閱讀等領(lǐng)域擁有良好的能力，而且還必須精熟21世紀(jì)技能、設(shè)計(jì)思維、計(jì)算思維，具備較好的心理韌性與自主學(xué)習(xí)能力。這些能力已被證明可以改善學(xué)習(xí)投人，并被迅速納入各類智能分析系統(tǒng)。多空間融合的學(xué)習(xí)環(huán)境正成為上述能力培養(yǎng)的重要場(chǎng)域陰，分析這些維度不僅需要跟蹤認(rèn)知過程，還需要跟蹤各類非認(rèn)知行為。多模態(tài)學(xué)習(xí)分析提供了讓學(xué)生接觸真實(shí)任務(wù)的機(jī)會(huì)，并允許他們?cè)谧匀磺闆r下與學(xué)習(xí)內(nèi)容進(jìn)行互動(dòng)。聯(lián)合特征學(xué)習(xí)和跨模態(tài)關(guān)系建模，可以有效地利用不同模態(tài)內(nèi)容的相關(guān)性，為學(xué)習(xí)者提供更具適應(yīng)性的反饋模型，并促使其更為積極的行為改變。

多模態(tài)學(xué)習(xí)分析是位于教育學(xué)、學(xué)習(xí)科學(xué)、機(jī)器學(xué)習(xí)、信息科學(xué)等不同學(xué)科交叉點(diǎn)的領(lǐng)域，上述的分析框架可以作為推斷復(fù)雜結(jié)構(gòu)的一般流程。從實(shí)現(xiàn)角度，這是一個(gè)頗有難度的挑戰(zhàn)。一方面，多模態(tài)數(shù)據(jù)的原始時(shí)間序列通常沒有直接的語義含義，并且可能無法被解讀。如前所述，多模態(tài)數(shù)據(jù)可能由日志文件、音頻、視覺數(shù)據(jù)組成，如果沒有復(fù)雜的計(jì)算模型，則無法分析有意義的信息，當(dāng)前的分層數(shù)據(jù)推理方法還不能有效彌合原始低級(jí)數(shù)據(jù)與高級(jí)構(gòu)造測(cè)量之間的差距。從數(shù)據(jù)建模的角度，對(duì)來自多個(gè)噪聲數(shù)據(jù)源的信息進(jìn)行融合是一個(gè)重要的技術(shù)挑戰(zhàn)。另一方面，構(gòu)建用于檢測(cè)和識(shí)別原始數(shù)據(jù)中序列和組合模式的識(shí)別方法不容易獲得的足夠的訓(xùn)練數(shù)據(jù)。不同模態(tài)的意義解釋可能包含不同級(jí)別的語義含義，這些信息可能很難在評(píng)分模型中組合。評(píng)測(cè)指標(biāo)與教育場(chǎng)景的結(jié)合度不夠，會(huì)導(dǎo)致建模的教育學(xué)意義不明。此外，雖然多模態(tài)學(xué)習(xí)分析的干預(yù)措施與單模態(tài)分析類似，但前者的實(shí)施會(huì)帶來額外的復(fù)雜性。在實(shí)際應(yīng)用中，基于LMS行為數(shù)據(jù)的儀表盤比教室配備攝像頭等外設(shè)系統(tǒng)更容易被師生接受。

多模態(tài)學(xué)習(xí)分析的實(shí)踐需要對(duì)行為的時(shí)間序列進(jìn)行歸類，結(jié)合隨機(jī)事件以及學(xué)習(xí)者特征、群體水平之間進(jìn)行仔細(xì)權(quán)衡。亟待建立學(xué)術(shù)研究共同體、開源生物數(shù)據(jù)庫(kù)，分析不同學(xué)習(xí)情境與數(shù)據(jù)分析規(guī)則的映射關(guān)系，以精準(zhǔn)量化學(xué)習(xí)者經(jīng)歷不同學(xué)習(xí)時(shí)空的學(xué)習(xí)狀態(tài)。需要擴(kuò)展當(dāng)前操作性的標(biāo)準(zhǔn)（如xApi、LMS與NGDLE），建立統(tǒng)一聚合和存儲(chǔ)標(biāo)準(zhǔn)，以防止淺表層重復(fù)勞動(dòng)。從而盡快形成跨學(xué)科深度融合，涵蓋支撐理論突破、關(guān)鍵技術(shù)攻關(guān)與常態(tài)化應(yīng)用的協(xié)同創(chuàng)新體系。使用多數(shù)據(jù)源的意義在于對(duì)學(xué)習(xí)過程提供更有價(jià)值的見解以及產(chǎn)生更多積極的影響，但是當(dāng)前還鮮有涉及多模態(tài)分析模型如何用于提供可操作性反饋與或干預(yù)的研究。需要更多的研究者聚焦該領(lǐng)域，鼓勵(lì)學(xué)術(shù)界與人因工程、神經(jīng)科學(xué)、行為學(xué)專家進(jìn)一步合作，不僅從行為學(xué)的角度探索反饋的方式、速度、動(dòng)機(jī)關(guān)聯(lián)性以及可量性等，更從神經(jīng)科學(xué)的視角，圍繞多巴胺對(duì)個(gè)體行為的促進(jìn)反饋機(jī)制展開，關(guān)注學(xué)習(xí)者信息觸發(fā)的生理指標(biāo)，深人探尋何種反饋對(duì)學(xué)習(xí)者有價(jià)值，以及是否能夠達(dá)成良性循環(huán)，建立延遲反饋、循環(huán)遞進(jìn)、多維映射的有效干預(yù)機(jī)制。在真實(shí)教學(xué)場(chǎng)景中，某個(gè)模態(tài)數(shù)據(jù)缺失、噪音因素以及注釋數(shù)量不足或不可靠均屬于常態(tài)因素，如何互補(bǔ)其他模態(tài)的信息以實(shí)現(xiàn)共同學(xué)習(xí)至關(guān)重要，該類的研究還相當(dāng)稀少。人工智能頂級(jí)國(guó)際期刊（IEEETPAMI）提出了并行、非并行和混合的共同學(xué)習(xí)概念以解決此類問題。其中，并行學(xué)習(xí)的模態(tài)來自同一數(shù)據(jù)集，實(shí)例之間存在直接對(duì)應(yīng)關(guān)系;非平行學(xué)習(xí)模態(tài)來自異種數(shù)據(jù)集，期間沒有重疊的實(shí)例;混合學(xué)習(xí)模態(tài)數(shù)據(jù)由第三模態(tài)或數(shù)據(jù)集橋接，這些數(shù)據(jù)保持原先的狀態(tài)，利用樞軸模態(tài)以及神經(jīng)網(wǎng)絡(luò)橋接相關(guān)的數(shù)據(jù)集，實(shí)現(xiàn)信息的協(xié)調(diào)交換。共同學(xué)習(xí)是多模態(tài)學(xué)習(xí)分析領(lǐng)域極具潛力的發(fā)展方向。

計(jì)算教育時(shí)代，基于數(shù)據(jù)密集型研究范式分析復(fù)雜教育問題已成為新教育生態(tài)構(gòu)建的重要支撐。多模態(tài)學(xué)習(xí)分析學(xué)習(xí)過程的全維表征為研究取向，綜合采集學(xué)習(xí)情景數(shù)據(jù)、行為數(shù)據(jù)、時(shí)序數(shù)據(jù)以及模態(tài)傳感器事件，將其映射到大數(shù)據(jù)，結(jié)合數(shù)據(jù)驅(qū)動(dòng)范式的需求，形成一整套理論體系與教學(xué)方法，從而實(shí)現(xiàn)賦能學(xué)習(xí)者深度理解與個(gè)性化供給服務(wù)的智能教育新形態(tài)。從建模方法上看，改善不同時(shí)間尺度上的建模表現(xiàn)，提升“學(xué)生畫像”的精準(zhǔn)度是多模態(tài)學(xué)習(xí)分析的追求目標(biāo)，其實(shí)現(xiàn)源于對(duì)“機(jī)制分析一數(shù)據(jù)建模一范式建構(gòu)”的邏輯遞進(jìn)關(guān)系展開深入研究。多模態(tài)學(xué)習(xí)分析從跨領(lǐng)域視角，評(píng)估教育教學(xué)問題中不同層級(jí)的變量對(duì)學(xué)習(xí)績(jī)效的直接和間接效應(yīng)，以揭示教育技術(shù)本身蘊(yùn)含的“常量”，回應(yīng)“學(xué)科原理性問題缺乏有效數(shù)據(jù)模型支撐”這一追問，孕育了教育技術(shù)學(xué)科的新生長(zhǎng)點(diǎn)。

從未來發(fā)展的視角，多模態(tài)學(xué)習(xí)分析無論是廣度還是深度方面都體現(xiàn)出兼容開放的成長(zhǎng)態(tài)勢(shì)。但作為技術(shù)之于教育的研究領(lǐng)域，其實(shí)踐必然遵循一定的倫理規(guī)范。如今算法種類是如此之多，確定其潛在和實(shí)際的倫理影響極其困難，數(shù)據(jù)之間的統(tǒng)計(jì)學(xué)關(guān)聯(lián)可能隱藏著人類的過失、偏見和歧視，這些情況構(gòu)成了“責(zé)任鴻溝”4。識(shí)別人類主觀性在算法設(shè)計(jì)和配置中的影響，需要長(zhǎng)期與多用戶的設(shè)計(jì)研究。在相當(dāng)長(zhǎng)的一段時(shí)期內(nèi)，應(yīng)將模型的可解釋、可千預(yù)、可信任作為多模態(tài)學(xué)習(xí)分析的首要任務(wù)，必須將育人價(jià)值作為模型價(jià)值判斷的金標(biāo)準(zhǔn)。從系統(tǒng)設(shè)計(jì)的角度，需要通過嵌入設(shè)計(jì)，將倫理價(jià)值和準(zhǔn)則整合到分析框架設(shè)計(jì)之中，以確?！坝幸饬x地人類控制”（MeaningfulHumanControl，MH）f2），需要將教育領(lǐng)域的公正、多元、包容等標(biāo)準(zhǔn)，還原為標(biāo)記歧視、隱私保護(hù)、數(shù)據(jù)審查、可追溯架構(gòu)等技術(shù)要求，以詮釋技術(shù)“向善”。

六、結(jié)語

近年來，“多模態(tài)分析”在國(guó)家自然科學(xué)基金委員會(huì)（NSFC）“教育信息科學(xué)與技術(shù)”方向以及各級(jí)別人文社會(huì)科學(xué)研究教育學(xué)立項(xiàng)中頻頻出現(xiàn)，掌握“數(shù)據(jù)標(biāo)注、特征提煉、方案設(shè)計(jì)、調(diào)參分析”的技術(shù)人才被納入人工智能訓(xùn)練師新職業(yè)范疇43），國(guó)內(nèi)也相繼成立了相關(guān)國(guó)家級(jí)、區(qū)域級(jí)研究機(jī)構(gòu)，多模態(tài)學(xué)習(xí)分析已被定位為理解和優(yōu)化學(xué)習(xí)過程和學(xué)習(xí)情境，支撐教育智能與下一代互聯(lián)網(wǎng)教育創(chuàng)新的重要領(lǐng)域。多模態(tài)學(xué)習(xí)分析既確認(rèn)了計(jì)算教育學(xué)的研究邊界，又體現(xiàn)學(xué)科的“特殊性”，同時(shí)也清楚地展現(xiàn)出獨(dú)有研究視角與價(jià)值。正如前述的“冰山隱喻”，不斷演進(jìn)的學(xué)習(xí)分析學(xué)正像一座冰山，隱藏在水面之下的才是關(guān)鍵的部分，包括對(duì)學(xué)習(xí)過程的假設(shè)，倫理、技術(shù)與人文關(guān)系的平衡，多領(lǐng)域的合作，數(shù)據(jù)標(biāo)注共享等，清晰地認(rèn)識(shí)和闡釋上述關(guān)系是我國(guó)新時(shí)代教育技術(shù)研究應(yīng)對(duì)挑戰(zhàn)的必然選擇。

參考文獻(xiàn)：

【1】王晶瑩，楊伊等.從大數(shù)據(jù)到計(jì)算教育學(xué)：概念、動(dòng)因和出路【J】.中國(guó)電化教育，2020，（1）：85-92.

【2】任友群，顧小清.教育技術(shù)學(xué)：學(xué)科發(fā)展之問與答【J】.教育研究，2019，40（1）：141-152.

[3] Malcolm B.2020 EDUCAUSE Horizon ReportM TeachingandLearningEdition[DB/0l_.https：//library.educause.edu/resources/2020/3/2020-educause-horizon-report-teaching-and-learning-edition，2020-03-02.

【4】張琪，王紅梅.學(xué)習(xí)投人的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)【】.電化教育研究，2019，40（12）：21-28.

【5】張琪，武法提等.多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投人評(píng)測(cè)：現(xiàn)狀、啟示與研究趨向【】.遠(yuǎn)程教育雜志，2020，38（1）：76-86.

[6] Kress G，van Leeuwen TReading and writing with images：a reviewof four texts.Reading Images：The Grammar of Visual Design [J].Computers and Composition，2001，1（18）：85-87.

[7] Whitehill J， Serpell Z，Lin Y C，etal.The faces of engagement：Automaticrecognition of student engagement from facial expressions [J.IEEETransactions on Affective Computing，2014，5（1）：86-98.

[8] Amer M R，Siddiquie B，Khan S，et alMultimodal fusion using dynamichybrid models [A].IEEE Winter Conference on Applications ofComputer Vision [C]Spring：IEEE Computer Society，2014.556-563.[9] Ochoa X，Worsley M，Weibel Net al.Multimodal learming analyticsdata challenges [A].Dragan Gasevie，Grace LProceedings of the SixthIntermational Conference on Leaning Anlytics & Knowledge [C].NewYork：Association for Computing Machinery，2016.498-499.

[10] Worsley M，Blikstein P.Deciphering the practices and affordancesof different reasoning strategies through multimodal learninganalytics [A].0choa X，MLA'14：Worsley M，Proceedings of the2014 ACM workshop on Multimodal Learning Analytics Workshopand Grand Challenge [C].New York：Association for ComputingMachinery，2014.21-27.

[11] Kukulska-Hulme A，Beirne E，Conole G，et al.lnnovating Pedagogy2020：0pen University Innovation Report 8[R].Milton Keynes：Instituteof Educational Technology，The Open University，2020.

【12】李政濤，文娟.計(jì)算教育學(xué)：是否可能，如何可能？【J】.遠(yuǎn)程教育雜志，2019，37（6）：12-18.

【13】賈佳亞人工智能多模態(tài)的未來BEB：：- tp：//loud.tecent.com/developer/news/409943，2019-07-16.

[14] Boekaerts M.The crucial role of motivation and emotion in classroomlearning [M]-Paris：OECDPublishing，2010.91-111.

[15] Nummenmaa L，Calder A J.Neural mechanisms of social attention [J]-Trends in cognitive sciences，2009，13（3）：135-143.

[16] Pijeira-Diaz H J，Drachsler H，Jarvela s，et al.Sympatheticarousal commonalities and arousal contagion during collaborativelearning：How attuned are triad members？ [J].Computers in HumanBehavior，2019.92（3）：188-197.

[17]ThayerJFLane R D.Claude Berarar and heheat- brainconmectionFurtherelaboration of a model of neurovisceral integration [J.Neuroscience &Bioenhrioa ervs.20332-81-88

[18] Thayer J FHansen A LSaus-Rose E，et al.Heart rate variability，prefrontalneural function，and cognitive performance：the neurovisceral integrationperspective on self-regulation，adaptation，and health [J]-Annals ofBehavioral Medicine，2009，37（2）：141-153.

[19] Anderson J R.Spanning seven orders of magnitude：A challenge forcognitive modeling [J].Cognitive Science，2002，26（1）：85-112.

[20] Sinatra G M，Heddy B C，Lombardi D.The challenges of definingand measuring student engagement in science [J].EducationalPsychologist，2015，50（1）：1-13.

[21] Mehrabian，A.Nonverbal betrayal of feeling [J.Journal of ExperimentalResearchin Personality，1971，5（1）：64-73.

[22] Leong C W， Chen L，F(xiàn)eng G，et alUtilizing depth sensors for analyzingmutimodal presentations：Hardware，software and toolkits [A].Zhang ZCohen PProceedings of the 2015 ACM on International Conferenceon Multimodal Interaction [C].New York：Association for ComputingMachinery，2015.547-556.

[23] Zhou J，Hang K，Oviatt S，et al.Combining empirical and machinelearning techniques to predict math expertise using pen signalfeatures [A].Ochoa X，Worsley M，MLA‘14：Proceedings of the2014 ACM workshop on Multimodal Learming Analytics Workshopand Grand Challenge [C].New York：Association for ComputingMachinery，2014.29-36.

[24] Luzardo G，Guam6n，Bruno，Chiluiza K，et al.Estimation ofPresentations Skills Based on Slides and Audio Features [A].OchoaX，Worsley M，MLA 14：Proceedings of the 2014 ACM workshop onMultimodal Learning Analytics Workshop and Grand Challenge [C].New York：Association for Computing Machinery，2014.37-44

[25] Lubold N， Pon-Barry H，Walker E.Naturalness and rapport in a pitchadaptive learning companion [A].2015 EEE Workshop on AutomaticSpeech Recognition and Understanding （ASRU [C].Sottsdale：IEEESina PorossisgngSciety，2015103-110.

[26] Echeverria V，Avendaio A，Chiluiza K，et al.Presentation skillsestimation based on video and kinect data analysis [A].Ochoax，Worsley M，MLA'14：Proceedings of the 2014 ACM workshop onMultimodal Learning Analytics Workshop and Grand Challenge [C]New York：Association for Computing Machinery，2014.53-60.

[27] Kolog E A，Devine S N O，Ansong-Gyimah K，et al.Fine-grainedaffectdetection in learners'generated content using machine learning [J].Education and Information Tecnologies，2019，24（6）：3767-3783.[28] Kolog E A，Montero C S.Towards automated e-counselling systembased on counsellos emotion perception [JEducation and informationtenologiese2018.232）-911-933

[29] Worsley M，Blikstein PLeveraging multimodal learning analytics todifferentiate student learming strategies [A].Baron J，Lynch G，MaziarzN，LAK '15：Proceedings of the Fifth International Conference onLearning Analytics And Knowledge [C]-New York：Association forComputing Machinery，2015.360-367.

[30] Yun S，Choi J，Yoo Y，et alAction-driven visual object tracking withdeep reinforcement learning [J]-IEEE transactions on neural networksand learming systems，2018，29（6）：2239-2252.

[31] Frischen A，Bayliss A P，Tipper S P.Gaze cueing ofattention：visualattention，social cognition，and individual differences [J.Psychologicalbulletin，2007，133（4）：694-724

【32】張琪，楊玲玉.e-Learning環(huán)境學(xué)習(xí)測(cè)量研究進(jìn)展與趨勢(shì)一基于眼動(dòng)應(yīng)用視角【】中國(guó)電化教育，2016，（11）：68-73.

[33] Dillenbourg P，Lemaignan S，Sangin M，et al.The symmetry ofpartner modelling [J].Intermational Jounal of Computer-SupportedCollaborative Learning，2016，11（2）：227-253.

[34] Schneider B，Sharma K，Cuendet S，et al.Leveraging mobile eye-trackers to capture joint visual attention in co-located collaborativelearning groups [J].International Journal of Computer-SupportedCollaborative Leamning，2018，13（3）：241-261.

[35] Bandara D，Song S，Hirshfield L，Velipasalar.A More CompletePicture of Emotion Using Electrocardiogram and ElectrodermalActivity to Complement Cognitive Data [A]Schmorrow D，F(xiàn)idopiastisC.10th International Conference on Foundations of AugmentedCognition：Neuroergonomics and Operational Neuroscience [C].NewYork：Springer-Verlag，2016.287-298.

[36] Mitri D D，Scheffel M，Drachsler H，et al.Leaming pulse：a machinelearning approach for predicting performance in self-regulatedlearning using multimodal data [A].Wise A，Winne PH，LynchC.Proceedings of the Seventh Intermational Learning Analytics &Knowledge Conference（LAK'17） [C].New York：Association forComputing Machinery，2017.188-197.

[37] Xiong C，Merity S，Socher R.Dynamic memory networks for visual andtextual question answering [A]Langford JIntemational conference onmachine learning [C].New York：arXiv e-prints，2016.2397-2406.[38] Fukui A，Park D H，Yang D，et al.Multimodal compact bilinear poolingfor visual question answering and visual grounding [EBO-https：//arivor/pdf/1606.01847.2016-06-06.

【39】田陽(yáng)，萬青青等.多空間融合視域下學(xué)習(xí)環(huán)境及學(xué)習(xí)情境探究【J】.中國(guó)電化教育，2020，（3）：123-130.

[40] BaltruSaitis T，Ahuja C，Moreney L PMultimodal machine learning：Asurvey and taxonomy [J]-lEEE transactions on pattern analysis andmachine intelligence，2018，41（2）：423-443.

[41] Mathias A.The responsibility gap：Ascribing responsibilityfor the actions of learning automata [J].Ethics and informationtechnology，2004，6（3）：175-183.

【42】于雪，段偉文.人工智能的倫理建構(gòu)【J】.理論探索，2019，（6）：43-49.【43】中華人民共和國(guó)人力資源和社會(huì)生活保障部.人力資源社會(huì)保障部、市場(chǎng)監(jiān)管總局、國(guó)家統(tǒng)計(jì)局聯(lián)合發(fā)布智能制造工程技術(shù)人員等16個(gè)新職業(yè)[EB/OL】http：//www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/202003/t20200302_361093.html，2020-03-02.

作者簡(jiǎn)介：

張琪：副教授，博士，碩士生導(dǎo)師，研究方向?yàn)閷W(xué)習(xí)分析、教育智能（zqzqhata@sina.com）o

李福華：教授，博士，博士生導(dǎo)師，研究方向?yàn)榻處熃逃?、高等教育理論（fuhual@126.com）。

孫基男：研究員，博士，研究方向?yàn)榻逃悄?、教育大?shù)據(jù)（jn@pku.edu.cn）。

收稿日期：2020年3月31日

責(zé)任編輯：趙云建