多模態(tài)學習分析：學習分析研究新生長點

[摘? ?要] 多模態(tài)學習分析是多模態(tài)交互、學習科學、機器學習等領域交叉形成的一個新方向，它利用多模態(tài)數(shù)據(jù)對復雜環(huán)境下的學習行為進行分析以優(yōu)化學習體驗。在空間結構上，多模態(tài)學習分析以學習機理為核心，以多模態(tài)交互、多模態(tài)感知、多模態(tài)語義理解為技術支撐，形成跨模態(tài)、跨空間、跨數(shù)據(jù)、跨分析的獨特體系。在數(shù)據(jù)分類上，多模態(tài)學習分析涵蓋學習體征數(shù)據(jù)、人機交互數(shù)據(jù)、學習資源數(shù)據(jù)和學習情境數(shù)據(jù)，形成以學習者為中心的內外數(shù)據(jù)鏈相融合的數(shù)據(jù)生態(tài)。在分析模型上，以傳感器捕獲、語義解析、機器學習、反饋解釋為分析過程，以模式識別、學習分類、預測、行為變化為分析結果。未來多模態(tài)學習分析在自動化數(shù)據(jù)采集、跨空間分析建模、可擴展分析工具、學習計算、數(shù)據(jù)隱私保護等方面還有進一步的研究空間。

[關鍵詞] 多模態(tài)學習分析; 多模態(tài)交互; 學習科學; 復雜學習環(huán)境; 學習行為數(shù)據(jù)

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 牟智佳（1987—），男，山東棲霞人。副教授，博士，主要從事學習分析、個性化學習、信息技術與課程整合等方面的研究。E-mail：ambitionyt@163.com。

一、學習分析組織研究的新路向

學習分析概念自提出以來，得到全球范圍內研究者的廣泛關注和持續(xù)探索。從學習分析研究主題來看，學習分析研究已由初期關注學習者的行為、活動、互動、結果等外在表現(xiàn)，逐漸轉變到關注學習者的情感、認知、自我調控、復雜問題解決等內在學習機理問題。從數(shù)據(jù)采集來源來看，由初期的基于網(wǎng)絡平臺和視頻錄制技術采集的學習日志、互動文本、學習表現(xiàn)等單一模態(tài)數(shù)據(jù)，拓展為基于可穿戴設備采集的腦電波、心跳、皮電、移動位置等多模態(tài)數(shù)據(jù)。各類感知設備和學習生理數(shù)據(jù)的可獲取性作為外部因素推動了學習分析數(shù)據(jù)集的發(fā)展，而對學習發(fā)生的機理及學習心理變化的教育追問則作為內部因素推動學術群體的持續(xù)探索，此外數(shù)字化學習時代下學習數(shù)據(jù)的分布式特征決定了單一模態(tài)數(shù)據(jù)難以準確揭示學習規(guī)律，以上三方面的內外動力促使學習分析研究催生了新的研究方向：多模態(tài)學習分析。該方向通過采集和整合與學習者相關的多維數(shù)據(jù)，解釋和發(fā)現(xiàn)內在學習過程、特征與變化，有助于進一步改善學習體驗，這與學習分析的宗旨一脈相承。同時，基于高維數(shù)據(jù)集進行多模態(tài)學習分析，為發(fā)掘新的學習理論提供了可能性路徑，是學習科學和機器學習領域新的研究路向。

二、多模態(tài)學習分析的興起與發(fā)展

（一）多模態(tài)學習研究的興起及成因

多模態(tài)是多種感官的融合，近二十年來功能語言學、會話分析、社會符號學等學科領域都對其進行了研究探索，經過發(fā)展已演變?yōu)橐环N統(tǒng)籌化的理論[1]。人工智能和機器人技術的發(fā)展進一步催生了多模態(tài)交互，它是機器人與人之間通過文字、語音、動作等進行的一種交互方式。多模態(tài)交互研究主要探討不同的模態(tài)之間如何相互作用以及如何通過互補來傳遞和強化內容與意義。在學習情境中，使用多模態(tài)數(shù)據(jù)進行教育實驗的探索可以追溯到20世紀90年代初，Ambady和Rosenthal發(fā)現(xiàn)，通過觀察大學生交互的“薄片”可以預測學生的期末表現(xiàn)，即通過短的視頻片段分析他們的身體和非語言行為[2]。這些早期發(fā)現(xiàn)為一種新的研究假設鋪平了道路，即利用多種數(shù)據(jù)源和社交信號處理推斷認知和社交過程的可能性。

近年來，各類可穿戴傳感器技術、物聯(lián)網(wǎng)技術的發(fā)展和大數(shù)據(jù)計算能力的提升為多模態(tài)研究提供了必要的技術支撐。多模態(tài)學習研究的興起除了技術推動的作用之外，還起源于對教育發(fā)展規(guī)律的持續(xù)探索，多模態(tài)與教育分析有著天然的契合度：（1）多模態(tài)方法更符合人類交流的本性。人類交流過程中對多種形態(tài)的使用較為豐富，且這些形態(tài)形成互補[3]。在人類交流過程中，通常會使用多種形態(tài)來表達他們的意圖和情緒，例如面部表情、聲調、肢體動作等。而在教育傳播過程中，教師的授課以及師生之間的互動也是通過多種形態(tài)進行表達。（2）跨物理和數(shù)字世界的建模正成為一種日益增長的需求。將物理空間和數(shù)字化空間中的學習交互聯(lián)系起來，對于分析學習機理和意義創(chuàng)造具有重要價值?？纱┐髯粉櫰骺梢允占锢韺W習空間中學習者的言語、肢體行為和手勢等交互操作，這些數(shù)據(jù)可以與網(wǎng)絡學習中的日志數(shù)據(jù)、檔案信息數(shù)據(jù)相整合。學習活動與流程是分布式的，學習管理系統(tǒng)中發(fā)生的內容交互及數(shù)據(jù)只占學習活動中的一小部分，并不是整個學習過程。通過整合多模態(tài)數(shù)據(jù)可以使學習過程的追蹤和學習分析更完整。通過以上分析可以看出，時代的變遷、技術的深入發(fā)展以及研究者對教育求真的探索，促使多模態(tài)學習分析逐步形成獨特的學術共同體，推動教育研究從單模態(tài)走向多模態(tài)。

（二）多模態(tài)學習分析組織及其研究

1. 多模態(tài)學習分析概念與目標取向

多模態(tài)學習分析（Multimodal Learning Analytics）概念最早是由美國南加州大學創(chuàng)新技術學院的Stefan Scherer和Louis-Philippe Morency、西北大學的Marcelo Worsley等于2012年在第十四屆《多模態(tài)交互國際會議》上正式提出并發(fā)表[4]。它是三個概念的交叉點：多模態(tài)教學與學習、多模態(tài)數(shù)據(jù)、計算機支持的分析，本質上它利用非傳統(tǒng)和傳統(tǒng)數(shù)據(jù)形式在三個概念之間所形成的三角關系來描述或模擬復雜學習環(huán)境中的學生學習[5]。因此，多模態(tài)學習分析是一個橫跨學習科學和機器學習的研究領域，能夠為復雜學習行為和學習理論之間搭建橋梁。它利用多模數(shù)據(jù)捕獲和信號處理技術研究復雜學習環(huán)境中的學習[6]。多模態(tài)學習分析的目標是通過收集多種形式的數(shù)據(jù)，將復雜的學習行為與學習理論和學習策略聯(lián)系起來，以跟蹤學習體驗[7]。在研究取向上，多模態(tài)學習分析側重對情境學習活動中自然、豐富的交互進行分析，包括演講、寫作、對象操作、工具使用、制品搭建、非語言交互（手勢、面部表情、注視）等。

2. 歷屆多模態(tài)學習分析工作坊議題進展

Stefan Scherer等在2012年發(fā)起了第一屆多模態(tài)學習分析工作坊，并在“多模態(tài)交互國際會議”上連續(xù)舉辦四屆，之后依托其他國際會議繼續(xù)舉辦。首屆工作坊主要探討多模態(tài)學習分析的發(fā)展前景與應用價值。該研究領域將多模態(tài)分析技術與學習科學結合起來，并促使研究者能夠更好地理解學生的學習，以創(chuàng)造更自然、豐富的學習界面。第二屆工作坊目標，一是聚集既有豐富教學經驗又有嚴格技術要求的人員，開發(fā)和傳播分析多模態(tài)學習數(shù)據(jù)的新技術;二是開發(fā)新的學習分析技術以更好地適應智能手機、平板電腦等現(xiàn)代化計算設備的多模態(tài)接口。第三屆工作坊集結了計算機科學、學習科學、學習技術和數(shù)據(jù)科學等領域專家，包含一次研討會和兩項分會（數(shù)據(jù)驅動的巨大挑戰(zhàn)），其中研討會要求演講者集中討論學習信號的多模態(tài)分析過程中不同研究和技術方法的優(yōu)點和缺點，包含四項議題：不同形式多模數(shù)據(jù)融合的理論和概念思考、通過語音分析確定學習練習過程中的融洽程度、真實課堂中的視頻分析、復雜學習環(huán)境下的多模態(tài)分析作用。分會研究問題包括通過計算機自動預測哪些數(shù)學問題能夠被正確解決、如何利用多模態(tài)技術評估演講質量以及演講者行為等[8]。第四屆工作坊聚焦于通過新技術捕捉多模態(tài)學習數(shù)據(jù)，以及開發(fā)豐富的多模態(tài)學習應用。包含兩項議題：（1）學習環(huán)境的多維捕獲。該挑戰(zhàn)強調需要開發(fā)用于從非結構化環(huán)境中有效收集數(shù)據(jù)的多模態(tài)工具，雖然在實驗室環(huán)境中可以合理地對少數(shù)實驗學生完成多模態(tài)數(shù)據(jù)的采集，但在真實、日常學習環(huán)境中進行課堂范圍內的多模態(tài)數(shù)據(jù)采集和分析非常具有挑戰(zhàn)性。（2）整合人體運動的多模態(tài)學習應用。該挑戰(zhàn)包含尋求軟件和硬件的解決方案、應用類似Microsoft Kinect、Leap Motion等低成本運動傳感器進行分析、利用現(xiàn)有軟件應用程序進行改編以簡化軟件開發(fā)流程[9]。

通過對四屆工作坊議題內容分析可以看出，多模態(tài)學習分析為物理空間和數(shù)字世界中的人、設備、資源之間所產生的學習測量與評價分析提供了新的視角，應用多模態(tài)學習分析改善學習過程、優(yōu)化學習體驗已成為研究共識。在研究挑戰(zhàn)上，數(shù)據(jù)源類型、采集技術與工具、分析方法是需要持續(xù)解決的技術問題，如何從教育實驗環(huán)境下的個案分析走向真實教育場景下的全樣本分析是研究實踐所面臨的挑戰(zhàn)。

3. 學習分析研究協(xié)會下的多模態(tài)學習分析探討

Paulo Blikstein在第三屆“學習分析與知識國際會議”中提出多模態(tài)學習分析，拉開了該組織開始探討多模態(tài)學習分析的序幕。之后，Xavier Ochoa等在該組織下發(fā)起了首屆“多模態(tài)學習分析數(shù)據(jù)挑戰(zhàn)”工作坊，討論主題包括：易獲取的多模態(tài)數(shù)據(jù)、分享先進的分析方法和技術、描繪多模態(tài)學習分析研究現(xiàn)狀、確定新的數(shù)據(jù)集[10]。第二屆工作坊旨在創(chuàng)造共同的研究基礎，以便更好地了解當前的研究與實踐狀況。通過讓參與者提交個人數(shù)據(jù)集，進一步討論哪些是利用多模態(tài)數(shù)據(jù)進行設計和分析的優(yōu)秀實踐[11]。通過上述兩個組織的議題討論可以看出，圍繞同一主題，不同學科背景的研究者在不同學術組織中都進行了一定程度的探討，有共性也有差異，后面需要進一步破除學科壁壘，實現(xiàn)共同對話與磋商。

三、多模態(tài)學習分析的空間結構與數(shù)據(jù)分類

（一）多模態(tài)學習分析所形成的多維空間探索

學習分析領域早期關注的重點是分析學生使用某些數(shù)字化學習工具所產生的行為，這種基于計算機的學習環(huán)境來理解和優(yōu)化學習過程的方法存在一定的片面性，現(xiàn)實世界中還包括其他非計算機下的學習環(huán)境，包括課堂學習、校園學習、家庭學習等，在這些情境下可以通過物聯(lián)設備來盡可能追蹤學習痕跡以進行多模態(tài)分析。Sharon Oviatt提出多模態(tài)學習分析所能創(chuàng)造的多維探索空間[12]，如圖1所示。其中左邊表示模態(tài)的分類，包括講話、寫作、手勢、表達、注視、身體活動;上邊表示分析的層級，包括信號、活動、表征、元認知、交互;橫向和縱向雙箭頭交叉表示可以支持開展更加全面、系統(tǒng)、復雜的學習過程分析，而這有助于進一步生成新的學習理論。

（二）多模態(tài)學習分析的空間結構

多模態(tài)學習分析是在學習分析研究中為探索復雜的學習行為和過程，基于多維數(shù)據(jù)進行分析以進一步探索學習機理所形成的一個方向。以往學習分析研究側重搜集學生的學習行為數(shù)據(jù)，通過外在行為推測學習表現(xiàn)，以此得出的研究結論存在一定局限性，也很難揭示學習的內在原理及其變化。從對象結構要素來看，信息化時代下的學習是以學習者、各類學習終端、多樣化的學習資源為基礎要素所構成的一種學習方式，而多模態(tài)學習分析則是對這三類基礎要素之間的相互聯(lián)結所形成的一系列行為進行立體分析，由此形成一個空間結構，如圖2所示。其中，學習者與計算機之間形成多模態(tài)交互，包括文本交互、語音交互、界面交互等;學習者與學習資源之間通過視頻、圖片、動畫等形成多模態(tài)感知;計算機與學習資源之間通過數(shù)據(jù)語義、知識語義、自然語言等形成多模態(tài)語義理解。在學習空間上，由學習者、計算機和學習資源之間相互聯(lián)結形成物理空間、網(wǎng)絡空間和虛擬空間，這三種空間是信息化時代下支撐學習的主要空間形式。因此，多模態(tài)學習分析是以學習機理為核心，以多模態(tài)交互、多模態(tài)感知、多模態(tài)語義理解為技術支撐的結構關系，以跨學習空間為環(huán)境基礎，對圍繞學生所產生的學習體征數(shù)據(jù)和學習行為數(shù)據(jù)進行立體分析，以揭示學習變化機理及其規(guī)律。

（三）多模態(tài)學習分析的數(shù)據(jù)分類

可穿戴技術的發(fā)展與成熟使得對學習體征類數(shù)據(jù)的捕獲成為可能，也促使學習分析由關注學習顯性行為數(shù)據(jù)分析轉向整合學習心理數(shù)據(jù)和表現(xiàn)數(shù)據(jù)的分析與建模。學習數(shù)據(jù)的采集與分析是多模態(tài)學習分析的基礎與關鍵，對于揭示復雜環(huán)境下的學習行為和學習規(guī)律有直接影響作用?；诙嗄B(tài)學習分析的空間結構，從模塊分類視角對數(shù)據(jù)源進行分類，包括學習體征數(shù)據(jù)、人機交互數(shù)據(jù)、學習資源數(shù)據(jù)和學習情境數(shù)據(jù)，如圖3所示。中間層表示每一部分的數(shù)據(jù)分類，最外層表示數(shù)據(jù)采集的具體對象，從中間到外層表示數(shù)據(jù)逐步分類、學習行為表征的過程。其中，學習體征數(shù)據(jù)主要包括肢體行為、頭部行為、生理行為等;人機交互數(shù)據(jù)包括移動界面交互和多通道交互;學習情境數(shù)據(jù)包括物理空間、網(wǎng)絡空間、虛擬現(xiàn)實等環(huán)境類數(shù)據(jù);學習資源數(shù)據(jù)包括結構化資源與非結構化資源在應用過程中所產生的多感知和交互性數(shù)據(jù)。需要說明的是，該分類框架只是學習數(shù)據(jù)的基本分類，除此之外，還包括由學習結構要素之間相互整合所衍生形成的其他數(shù)據(jù)，如學習活動、學習評價等，這些數(shù)據(jù)最終將從學習內容、行為軌跡、學習表現(xiàn)等方面通過各類終端進行采集和規(guī)整。該基礎數(shù)據(jù)分類為開展多模態(tài)數(shù)據(jù)源搜集提供了參考，需要說明的是，多模態(tài)學習分析研究并非以所有數(shù)據(jù)為采集標準，而是以學習者及其所在情境為中心，對所關聯(lián)及其影響的數(shù)據(jù)進行搜集分析。

四、多模態(tài)學習分析模型與管道化的分析流程

（一）多模態(tài)學習分析模型

當前關于多模態(tài)學習分析研究較多集中在課堂學習分析、人機交互與協(xié)作分析、學習注意力、可視化等方面，關于多模態(tài)學習分析模型的探討較少，特別是在學習過程中如何應用多模態(tài)數(shù)據(jù)支持學習者，為其提供可操作的反饋和學習干預等方面缺乏相關研究。為進一步厘清學習行為、多模態(tài)數(shù)據(jù)、學習反饋等主要環(huán)節(jié)之間的關系，Daniele Mitri等提出了多模態(tài)學習分析模型[13]。

該模型包括四個環(huán)節(jié)轉換：（1）從傳感器捕獲到多模態(tài)數(shù)據(jù)：利用傳感器對學習者行為及其環(huán)境數(shù)據(jù)進行采集，并轉換為多種形式的數(shù)據(jù)流;（2）從注釋到學習標簽：該過程由專家或學習者主導對數(shù)據(jù)進行判斷和注釋，以豐富低語義多模態(tài)數(shù)據(jù);（3）從機器學習到預測：該過程利用監(jiān)視機器學習，從觀察到的多模態(tài)數(shù)據(jù)學習統(tǒng)計模型，并基于未觀察的數(shù)據(jù)構建生成預測;（4）從反饋解釋到行為改變：該過程是將分析結果進行反饋解釋以引導學習者做出一些新的學習行為。該理論模型對多模態(tài)學習分析的主要環(huán)節(jié)、教育價值轉化、注意問題等進行了描繪，形成了一個系統(tǒng)分析框架，這對于后面開展相關研究與設計具有一定的理論指導意義。

（二）面向多通道的多模態(tài)學習分析流程

通過多模態(tài)學習分析基礎數(shù)據(jù)的分類可以看出，雖然學習分析界在數(shù)據(jù)收集、分析、解釋、互操作等方面作了大量的探索，但這些努力并沒有達到多模態(tài)數(shù)據(jù)的要求。應用多模態(tài)交互方法的研究者面臨著多種挑戰(zhàn)，這些挑戰(zhàn)源于多模態(tài)數(shù)據(jù)的復雜性。有研究者從工作流視角提出數(shù)據(jù)分析流程，并稱之為多模態(tài)學習分析管道[14]，如圖4所示。從區(qū)域模塊來看，該管道包括學習任務模型建立、數(shù)據(jù)生產、研究等部分，其中數(shù)據(jù)生產是主要工作流程，通過儀表盤和智能導師進行輸出。從分析流程來看，包括數(shù)據(jù)收集、存儲、標注、處理、開采等五個步驟。管道中有多條路線，研究人員可以在不必每次都創(chuàng)建數(shù)據(jù)分析流程的情況下快速建立多模態(tài)學習分析實驗。該研究中提出四種開采策略，包括矯正反饋、預測、模式識別、歷史報告，針對不同類型的研究對象和目的并結合其他分析工具可以選擇不同的路線，例如對學習者言語和姿態(tài)分析可以選擇A路線;對學習結果進行預測分析可以選擇B路線。

五、多模態(tài)學習分析的未來研究趨向

多模態(tài)學習分析作為一個跨學科、跨模態(tài)、跨技術的新興研究方向，具有宏大的學術氣象。它具有自身獨特的研究體系和方法，是探索學習機理和發(fā)掘新興學習理論的可能性路徑，也是探索教育規(guī)律、優(yōu)化學習體驗的新的學術領域。在此，我們結合已有研究貢獻，從技術、理論、應用、隱私等方面對多模態(tài)學習分析的未來研究趨向進行闡述，勾勒其發(fā)展前景，以進一步繁榮該研究領域。

（一）開發(fā)面向多模態(tài)數(shù)據(jù)的自動化采集裝備與技術

在數(shù)據(jù)科學項目中，數(shù)據(jù)采集與規(guī)整占用了大量時間，既費時又耗力。而多模態(tài)學習分析所依仗的高維、多樣化數(shù)據(jù)使得數(shù)據(jù)采集工程變得更加復雜。以學習者為中心的多模數(shù)據(jù)不僅包括學習過程中同時捕獲的各類生理、運動類狀態(tài)等學習橫向數(shù)據(jù)，還包括整個學習過程所積累的軌跡化、序列化等流程類的學習縱向數(shù)據(jù)。當前，研究者可以通過體感交互設備、腦電設備等在實驗室環(huán)境下采集學習狀態(tài)數(shù)據(jù)并進行分析，這種非自然、試驗性、獨立個體的研究分析對于學習狀態(tài)的規(guī)律探索存在一定的研究局限。后面如何開發(fā)面向常態(tài)化學習環(huán)境、低成本、多感知的自動化采集設備，以及對數(shù)據(jù)進行分類、校驗評估、提取有效信號的處理技術，是數(shù)據(jù)采集與處理方向上所要解決的問題。

（二）跨物理空間和數(shù)字空間的多模態(tài)學習分析建模

模型是表征系統(tǒng)的典型表達形式，科學建模的方法只有在形成、評價、支持研究的情境中起作用。對建模來說，重要的是開發(fā)、修改、操作表征來解決問題、解釋事物，需要整合多種數(shù)學方法，而非簡單應用單一的解決方法。在復雜學習環(huán)境下，探索多維數(shù)據(jù)與學習之間更高階的關系映射，并進行類推以形成系統(tǒng)分析模型是開展多模態(tài)學習分析研究的理論基礎。當前學習空間、學習數(shù)據(jù)呈現(xiàn)分布式狀態(tài)，這使得學習方式和學習行為變得多樣化，需要整合物理和數(shù)字空間的學習表現(xiàn)進行分析，對跨空間學習過程中的認知、情緒、行為等關系進行立體建模，揭示產生有效學習的生理信號與行為變化。

（三）多模態(tài)學習分析工具的系統(tǒng)設計與教學應用

當前學習分析領域中所開發(fā)的學習分析工具和儀表盤主要集中在對學習活動行為、學習文本、學習社群、學習表現(xiàn)等單一模態(tài)數(shù)據(jù)的分析與可視化，這使得學習分析結果停留在對學習時間、資源使用、社交互動、學習測評等外顯行為的分析上，較少觸及學習認知、學習心理、學習規(guī)律等內部心理機制的分析。近年來，多模態(tài)交互、自然語言理解技術逐步成熟，機器學習和深度學習被廣泛應用在圖像、視音頻、文本等非結構化數(shù)據(jù)處理中，眾多應用程序被高度簡化，人工智能開放平臺技術能力日漸豐富。可以依托現(xiàn)有商業(yè)中的人工智能技術和成熟算法開發(fā)自動化和可擴展的多模態(tài)學習分析工具，并與當下課堂教學以及網(wǎng)絡同步課堂等教學場景相銜接，提升個性化學習感知與學習反饋，實現(xiàn)多模態(tài)學習分析到個性化教學的轉化。

（四）統(tǒng)一學習科學與機器學習領域探索學習機理

多模態(tài)學習分析是多模態(tài)交互、信號處理、學習科學、機器學習等學科交叉形成的方向，而學習科學與機器學習又是其主要學科基礎，這兩個學科領域都對多模態(tài)學習分析開展獨立的研究探索。但兩者之間對于“學習”的討論并不一致，一個是研究學習認知過程和社會化過程以產生最有效的學習，一個是研究計算機如何模擬和實現(xiàn)人的學習行為，從數(shù)據(jù)中學習規(guī)律并利用規(guī)律對未知數(shù)據(jù)進行預測。而對學習過程的分析既需要來自認知神經科學的測量，也需要基于多模態(tài)數(shù)據(jù)的機器學習分析，兩大學科領域需要建立統(tǒng)一的學術話語體系與共同體，共享學習分析成果，共同磋商與探索學習內在的機理與變化，為催生新型學習理論提供研究基礎。

（五）融合視覺、語音、情感、語義的多模態(tài)學習計算與學習狀態(tài)評估

學習計算是從數(shù)據(jù)分析的視角對學習過程和學習結果進行評估和測量的一種方式。而多模態(tài)學習計算則通過融合視覺、語音、情感、語義等與學習過程相關的感官信息進行機器學習與語義理解，提升計算機對學習過程及其行為的感知與認知，是教育人工智能發(fā)展的一個重要趨勢。當前多感知狀態(tài)分析主要包括頭部運動狀態(tài)和生理信號狀態(tài)，其中頭部狀態(tài)主要包括面部表情分析、眼動分析和言語分析;生理狀態(tài)主要包括大腦、心臟和皮膚等信號數(shù)據(jù)。在具體模態(tài)分析上，已有研究主要集中使用某一區(qū)域模態(tài)對學習者進行分析，后面需要依托多模態(tài)學習計算對學習狀態(tài)進行評估和預測，以提高學習評估精準度。

（六）整合多傳感系統(tǒng)分析提升個性化學習體驗

隨著交互界面及交互空間越來越多地應用于教室和其他教學環(huán)境中，學習活動方式和學習體驗也發(fā)生了很大變化。來自神經科學強有力的證據(jù)表明，學習的任何一個階段在很大程度上都是同步發(fā)生的，因此，需要對學習過程中的各種感官進行分析。例如，通過位置定位信息評估正式和非正式學習環(huán)境中的學習進度以及探究一種環(huán)境中的學習是否能夠類推應用到另一種情境中。在社群互動上，通過多傳感數(shù)據(jù)可以分析哪種類型的交互及其內部關系能夠產生最有效的學習。面向多模態(tài)的多傳感器能夠整合學生健康狀態(tài)、用戶位置、人機交互、社群互動等個人信息，幫助我們更好地理解學習發(fā)生的過程及其學習感受，進而改善交互空間與界面設計，對學習體驗進行重構，更加注重每個學習者的學習習慣與交互方式，最終提升個性化學習體驗。

（七）多模態(tài)學習分析數(shù)據(jù)的隱私保護

多模態(tài)學習分析，其中一個主要目標是通過搜集用戶信息來更好地理解學習和改善學習質量。在數(shù)據(jù)信息搜集過程中會涉及一些隱私和道德問題。多模態(tài)學習分析由于能夠搜集到用戶的生理、身體、認知等方面的隱私數(shù)據(jù)，隱私保護問題變得更加突出。哪些數(shù)據(jù)適宜采集、哪些人和機構是數(shù)據(jù)所有者與管理者、健康數(shù)據(jù)保護、原始隱私保護等問題是多模態(tài)學習分析研究群體所要解決的問題。

六、結? ?語

在教育研究范式轉型的大背景下，多模態(tài)學習分析所特有的跨模態(tài)、跨空間、跨數(shù)據(jù)、跨分析等獨特屬性，促使學習分析研究由單模態(tài)數(shù)據(jù)的學習行為分析走向多模態(tài)數(shù)據(jù)的學習機理分析，形成以學習者為中心的內外數(shù)據(jù)鏈相融合的數(shù)據(jù)生態(tài)。多模態(tài)學習分析在對復雜環(huán)境下學習特征的推理與揭示、對學習體驗的優(yōu)化以及促進學習者產生最有效學習等方面能夠產生新的研究潛力。多模態(tài)學習分析研究能夠促使人類對“學習是什么”這一永恒課題形成新的認識與理解，推動學習分析和學習科學向學習真理方向邁進一步。

[參考文獻]

[1] JEWITT C， BEZEMER J， HALLORAN K. Introducing multimodality[M]. London： Routledge， 2016.

[2] AMBADY N， ROSENTHAL R. Half a minute： predicting teacher evaluations from thin slices of nonverbal behavior and physical attractiveness[J]. Journal of personality and social psychology， 1993， 64（3）：431-441.

[3] CALVO R A， DMELLO S， GRATCH J， et al. The Oxford handbook of affective computing[M]. Oxford： Oxford University Press， 2015： 37-38.

[4] SCHERER S， WORSLEY M， MORENCY L P. 1st international workshop on multimodal learning analytics： extended abstract[C]// Proceedings of the 14th ACM international conference on multimodal interaction. New York： ACM， 2012：353-356.

[5] WORSLEY M， ABRAHAMSON D， BLIKSTEIN P， et al. Multimodal learning analytics[C]//The 12th international conference of the learning sciences. New York： ACM， 2016： 1346-1349.

[6] OCHOA X， WORSLEY M. Augmenting learning analytics with multimodal sensory data[J]. Journal of learning analytics， 2016， 3（2）： 213-219.

[7] WORSLEY M. Multimodal learning analytics as a tool for bridging learning theory and complex learning behaviors[C]// In proceedings of the 2014 ACM workshop on multimodal learning analytics workshop and grand challenge. ACM： New York， 2014：1-4.

[8] OCHOA X， WORSLEY M， CHILUIZA K， et al. MLA14： third multimodal learning analytics workshop and grand challenges[C]//Proceedings of the 16th international conference on multimodal interaction. New York： ACM， 2014：531-532.

[9] WORSLEY M， CHILUIZA K， GRAFSGAARD J F， et al. Multimodal learning and analytics grand challenge[C]//The fourth international conference on multimodal interaction. New York： ACM， 2015：525-529.

[10] OCHOA X， WORSLEY M， WEIBEL N， et al. Multimodal learning analytics data challenges[C]//The sixth international conference on learning analytics and knowledge. New York： ACM， 2016：498-499.

[11] SPIKOL D， PRIETO L P， RODRIGUE T， et al. Current and future multimodal learning analytics data challenges[C]// Proceedings of the seventh international learning analytics & knowledge conference. New York： ACM， 2017：518-519.

[12] OVIATT S. Ten opportunities and challenges for advancing student-centered multimodal learning analytics[C]//proceeding of the international conference on multimodal interaction （ICMI18）. New York： ACM， 2018：87-94.

[13] DANIELE D M， JAN S， MARCUS S， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）：338-349.

[14] MITRI D， SCHNEIDER J， KLEMAK R， etc. Read between the lines： an annotation tool for multimodal data for learning[C]// The ninth international conference on learning analytics and knowledge. New York： ACM， 2019：51-60.