學(xué)習(xí)中多模態(tài)大數(shù)據(jù)應(yīng)用的思考*

徐鳳婷 曹衛(wèi)真

（廣州大學(xué) 教育學(xué)院，廣東 廣州 510006）

一、引言

近年來，大數(shù)據(jù)、人工智能、腦科學(xué)、認(rèn)知科學(xué)等技術(shù)融入教育教學(xué)中，產(chǎn)生了海量的教育數(shù)據(jù)，推動(dòng)學(xué)習(xí)科學(xué)研究聚焦到學(xué)習(xí)個(gè)體的認(rèn)知、行為、情感等方面。教育數(shù)據(jù)來源不再局限于傳統(tǒng)的經(jīng)驗(yàn)與觀察的單一模態(tài)，逐步發(fā)展為多模態(tài)大數(shù)據(jù)?；诙嗄B(tài)大數(shù)據(jù)融合，考量學(xué)習(xí)者的行為、生理變化、情緒狀態(tài)和認(rèn)知心理，已然成為教育技術(shù)領(lǐng)域的研究課題。多模態(tài)大數(shù)據(jù)如何更好地服務(wù)于教育教學(xué)，是當(dāng)前研究者們重點(diǎn)關(guān)注的問題。學(xué)習(xí)是一個(gè)較為復(fù)雜的過程，包括學(xué)習(xí)行為、學(xué)習(xí)內(nèi)容、學(xué)習(xí)結(jié)果、學(xué)習(xí)反饋、學(xué)習(xí)體驗(yàn)等。學(xué)習(xí)過程的復(fù)雜性分析對(duì)于學(xué)習(xí)科學(xué)領(lǐng)域的研究而言，是一項(xiàng)重大的挑戰(zhàn)。以多模態(tài)為分析視角，進(jìn)而洞察學(xué)習(xí)者學(xué)習(xí)數(shù)據(jù)，能夠?yàn)榻逃ぷ髡咛峁├斫夂蛥^(qū)分不同層次學(xué)習(xí)過程的分析視角與新的研究思路。挖掘?qū)W習(xí)過程中的復(fù)雜性，試圖尋找學(xué)習(xí)要素的相關(guān)作用以及學(xué)習(xí)發(fā)展規(guī)律是多模態(tài)大數(shù)據(jù)賦能于教育教學(xué)的著力點(diǎn)。文章主要闡述多模態(tài)大數(shù)據(jù)內(nèi)涵、特征及在學(xué)習(xí)中的應(yīng)用等內(nèi)容，力求推進(jìn)多模態(tài)大數(shù)據(jù)在教育教學(xué)過程中的理論與實(shí)踐進(jìn)程。

二、學(xué)習(xí)中的多模態(tài)大數(shù)據(jù)及其特征

（一）學(xué)習(xí)中的多模態(tài)大數(shù)據(jù)

學(xué)習(xí)者在學(xué)習(xí)過程中所展現(xiàn)的數(shù)據(jù)通常是多模態(tài)的，同一狀態(tài)可通過不同方式收集到多種形態(tài)的數(shù)據(jù)。文本、圖像、視頻、平臺(tái)日志、生物傳感數(shù)據(jù)等是真實(shí)教育環(huán)境中常見的模態(tài)[1]?，F(xiàn)有研究表明，在多數(shù)學(xué)習(xí)情境下，單模態(tài)數(shù)據(jù)往往難以全面和客觀地解釋學(xué)習(xí)過程的特征與規(guī)律。多模態(tài)的分析效果比單模態(tài)更為理想，能夠更具體地展現(xiàn)與揭示學(xué)習(xí)過程的真實(shí)狀態(tài)，但具體需要分析哪些形態(tài)的數(shù)據(jù)則根據(jù)具體的教學(xué)場(chǎng)景進(jìn)行分析與篩選。通過同步處理學(xué)習(xí)者在學(xué)習(xí)過程中不同模態(tài)的數(shù)據(jù)，例如生理數(shù)據(jù)、心理數(shù)據(jù)、行為數(shù)據(jù)等，突破傳統(tǒng)的以單模態(tài)數(shù)據(jù)而難以進(jìn)行整體的邏輯關(guān)聯(lián)等問題，對(duì)學(xué)習(xí)環(huán)境中的相關(guān)數(shù)據(jù)進(jìn)行挖掘，把握學(xué)習(xí)規(guī)律，使學(xué)習(xí)的結(jié)果更為全面與客觀，進(jìn)而揭示學(xué)習(xí)者的認(rèn)知加工過程。多模態(tài)大數(shù)據(jù)能夠臨摹學(xué)習(xí)者更為精準(zhǔn)、全面、真實(shí)、客觀的學(xué)習(xí)路徑，突破以往的僅依靠觀察與經(jīng)驗(yàn)判斷的單一模態(tài)數(shù)據(jù)局限，利用數(shù)據(jù)進(jìn)行多維度、多形態(tài)地描繪學(xué)習(xí)者學(xué)習(xí)過程畫像，刻畫學(xué)習(xí)者學(xué)習(xí)細(xì)節(jié)，揭示學(xué)習(xí)者的學(xué)習(xí)機(jī)理與狀態(tài)，幫助其了解自身的認(rèn)知過程與心理狀態(tài)。多模態(tài)大數(shù)據(jù)指向復(fù)雜的教與學(xué)過程，能夠揭示數(shù)據(jù)與指標(biāo)之間的復(fù)雜關(guān)系[2]。只有正確地了解多模態(tài)大數(shù)據(jù)背后所蘊(yùn)含的深層次內(nèi)涵，才能準(zhǔn)確地把握學(xué)生的學(xué)習(xí)情況，客觀地提供給學(xué)習(xí)者有效的反饋。

（二）學(xué)習(xí)中多模態(tài)大數(shù)據(jù)的特征

大數(shù)據(jù)之“大”，并非在于其表象所呈現(xiàn)的“大容量”，而是在于分析數(shù)據(jù)的全面性與潛在的“大價(jià)值”[3]。大數(shù)據(jù)為多模態(tài)的選擇提供了可能，借助于多模態(tài)可以提高教學(xué)效率，提供多通道話語意義的表達(dá)方式[4]。多模態(tài)大數(shù)據(jù)是指采用兩種以上方式對(duì)學(xué)習(xí)過程中的同一對(duì)象數(shù)據(jù)或狀態(tài)數(shù)據(jù)進(jìn)行采集和獲取的數(shù)據(jù)集。多模態(tài)大數(shù)據(jù)作為大數(shù)據(jù)的一個(gè)子集，具有大數(shù)據(jù)的一般特征。一般認(rèn)為，大數(shù)據(jù)具有大容量（Volume）、強(qiáng)時(shí)效（Velocity）、多樣化（Variety）、高價(jià)值（Value）、可視化呈現(xiàn)（Visualization）的“5V”特性[5]。隨著學(xué)習(xí)技術(shù)與環(huán)境的創(chuàng)新，學(xué)習(xí)場(chǎng)景的多樣化使得教育數(shù)據(jù)變得更為復(fù)雜，海量的教育數(shù)據(jù)成為管理與決策的基礎(chǔ)，加之?dāng)?shù)據(jù)采集技術(shù)的迭代更新，多模態(tài)大數(shù)據(jù)凸顯出互補(bǔ)性、復(fù)雜性和多源性的特征。多模態(tài)大數(shù)據(jù)具有很強(qiáng)的互補(bǔ)性，即任一模態(tài)的數(shù)據(jù)均可以提供關(guān)于某一現(xiàn)象或過程的部分解釋，而從其他模態(tài)數(shù)據(jù)中則無法獲取這些信息[6]。多模態(tài)大數(shù)據(jù)的復(fù)雜性體現(xiàn)在現(xiàn)有的數(shù)據(jù)庫軟件工具難以處理這些數(shù)據(jù)，其復(fù)雜程度如同一張數(shù)據(jù)網(wǎng)絡(luò)，每一數(shù)據(jù)個(gè)體都可能呈現(xiàn)出不同的類型，加大了研究人員的數(shù)據(jù)分析難度。多模態(tài)大數(shù)據(jù)的多源性特征主要表現(xiàn)在不同模態(tài)的劃分原則不一致。從人的特征主體進(jìn)行劃分，人的嗅覺、視覺、聽覺、觸覺等構(gòu)成不同模態(tài)；從媒介表征形式進(jìn)行劃分，分為音頻、視頻、文本、圖像等不同模態(tài)；從數(shù)據(jù)采集機(jī)制進(jìn)行劃分，將多模態(tài)與多類傳感器進(jìn)行互通，每類傳感設(shè)備采集的數(shù)據(jù)被視為一種模態(tài)，如表情、手勢(shì)、皮膚電、心率、腦電圖等。每一種數(shù)據(jù)源和數(shù)據(jù)呈現(xiàn)形式不同，共同構(gòu)成多模態(tài)大數(shù)據(jù)集。對(duì)多模態(tài)大數(shù)據(jù)進(jìn)行整合分析能夠全面收集與分析關(guān)于學(xué)習(xí)者學(xué)習(xí)過程中的多方面信息，以便更為系統(tǒng)地做出判斷。

三、學(xué)習(xí)中多模態(tài)大數(shù)據(jù)的應(yīng)用

（一）支持多模態(tài)學(xué)習(xí)投入研究

學(xué)習(xí)投入是個(gè)體學(xué)習(xí)過程中能力、認(rèn)知深度、思維靈活性和情感體驗(yàn)的綜合表征，是學(xué)習(xí)者理解學(xué)習(xí)本質(zhì)并沉浸其中的體現(xiàn)[7]，用來衡量學(xué)習(xí)者在學(xué)習(xí)過程中為實(shí)現(xiàn)學(xué)習(xí)目標(biāo)而不斷努力的程度。主要是包含了學(xué)習(xí)行為投入、學(xué)習(xí)認(rèn)知投入以及學(xué)習(xí)情感投入三大維度[8]。以多模態(tài)大數(shù)據(jù)作為多模態(tài)學(xué)習(xí)投入的分析基礎(chǔ)，需要在有效理論模型建構(gòu)的基礎(chǔ)上對(duì)學(xué)習(xí)狀態(tài)進(jìn)行解析。部分研究通過線上方式采集即時(shí)性的數(shù)據(jù)，以選擇性抽樣等方式來獲取特定時(shí)間點(diǎn)的學(xué)習(xí)投入狀態(tài)。然而，這將容易忽視學(xué)習(xí)者投入的連續(xù)特征信息，且難以收集到認(rèn)知與情感方面的實(shí)時(shí)數(shù)據(jù)，一定程度上影響了對(duì)于整個(gè)學(xué)習(xí)過程的學(xué)習(xí)投入狀態(tài)的分析結(jié)果。需要注意的是，學(xué)習(xí)者學(xué)習(xí)過程的復(fù)雜性導(dǎo)致行為、認(rèn)知和情感等方面數(shù)據(jù)會(huì)隨著學(xué)習(xí)者所處的學(xué)習(xí)環(huán)境而不斷發(fā)生變化。因此，為了保證學(xué)習(xí)過程數(shù)據(jù)的完整性，須收集到連續(xù)性數(shù)據(jù)，即對(duì)于同一階段或同一事件內(nèi)的數(shù)據(jù)進(jìn)行收集，以有效分析出學(xué)習(xí)者隨學(xué)習(xí)情境或時(shí)間的變化趨勢(shì)、學(xué)習(xí)投入子維度之間的關(guān)系及相互影響因素[9]。

當(dāng)前融合多模態(tài)大數(shù)據(jù)的優(yōu)勢(shì)以支持多模態(tài)學(xué)習(xí)投入的發(fā)展，成為教育研究者探索的問題。對(duì)于多模態(tài)學(xué)習(xí)投入的研究與關(guān)注的目的是收集學(xué)習(xí)者在不同學(xué)習(xí)情境、學(xué)習(xí)活動(dòng)以及學(xué)習(xí)體驗(yàn)等過程數(shù)據(jù)，對(duì)其學(xué)習(xí)投入狀態(tài)進(jìn)行判斷，進(jìn)一步探索如何提高學(xué)習(xí)者的學(xué)習(xí)績(jī)效問題，以促進(jìn)個(gè)體的發(fā)展。借助于多模態(tài)大數(shù)據(jù)的基本融合、特征層的融合和決策層的融合，學(xué)習(xí)投入可以從生物數(shù)據(jù)（微秒）、認(rèn)知數(shù)據(jù)（秒）、理性思維數(shù)據(jù)（秒到分）、社會(huì)交往數(shù)據(jù)（小時(shí)到月）等方面進(jìn)行分析，學(xué)習(xí)投入水平的綜合表征為多模態(tài)學(xué)習(xí)投入建模提供了理論支持[10]。多模態(tài)學(xué)習(xí)投入以多模態(tài)投入數(shù)據(jù)為分析基礎(chǔ)，進(jìn)一步把握學(xué)習(xí)者在不同學(xué)習(xí)情境中的學(xué)習(xí)投入情況。

（二）融合多模態(tài)學(xué)習(xí)分析研究

學(xué)習(xí)分析伴隨著MOOCs 的發(fā)展而逐漸進(jìn)入教育領(lǐng)域。在教育大數(shù)據(jù)與人工智能等技術(shù)推動(dòng)下，學(xué)習(xí)分析得到快速發(fā)展。學(xué)習(xí)分析是通過測(cè)量、收集、分析與報(bào)告學(xué)生及其學(xué)習(xí)環(huán)境的數(shù)據(jù)，以理解和優(yōu)化學(xué)習(xí)及其產(chǎn)生的環(huán)境[11]。學(xué)習(xí)分析的主要對(duì)象是學(xué)生的學(xué)習(xí)，旨在通過挖掘與分析學(xué)生學(xué)習(xí)過程數(shù)據(jù)，理解學(xué)習(xí)者是如何學(xué)習(xí)的，發(fā)現(xiàn)潛在的問題，從技術(shù)、教學(xué)與社會(huì)等角度為學(xué)生提供適應(yīng)性的學(xué)習(xí)服務(wù)，從而優(yōu)化學(xué)生的學(xué)習(xí)路徑，提升學(xué)習(xí)績(jī)效。多模態(tài)大數(shù)據(jù)擴(kuò)展了學(xué)習(xí)分析的研究范疇，突破以往的單一數(shù)據(jù)難以實(shí)現(xiàn)整體分析的局限，加快了挖掘教育數(shù)據(jù)背后的學(xué)習(xí)規(guī)律進(jìn)程。多模態(tài)學(xué)習(xí)分析是橫跨多模態(tài)交互、機(jī)器學(xué)習(xí)、學(xué)習(xí)科學(xué)等領(lǐng)域所形成的新方向，它利用多模態(tài)數(shù)據(jù)分析復(fù)雜環(huán)境下的學(xué)習(xí)行為，以優(yōu)化學(xué)習(xí)體驗(yàn)[12]。

在國(guó)內(nèi)外研究中，普遍認(rèn)為教育數(shù)據(jù)挖掘是學(xué)習(xí)分析中的一大類，教育數(shù)據(jù)挖掘是利用特定的算法，通過學(xué)生與計(jì)算機(jī)網(wǎng)絡(luò)的交互和融合，自動(dòng)分析各種原始數(shù)據(jù)，找出學(xué)習(xí)活動(dòng)與學(xué)習(xí)結(jié)果之間的相關(guān)性，并自動(dòng)預(yù)測(cè)學(xué)生的學(xué)習(xí)情況的一種方法或技術(shù)[13]。學(xué)習(xí)分析中的數(shù)據(jù)挖掘，需要將多模態(tài)大數(shù)據(jù)融入到具體的教育情境中進(jìn)行分析與解讀。在智慧學(xué)習(xí)環(huán)境下，從知識(shí)結(jié)構(gòu)、能力結(jié)構(gòu)、情感態(tài)度、學(xué)伴關(guān)系以及學(xué)習(xí)行為五方面提煉出學(xué)習(xí)者在學(xué)習(xí)過程中產(chǎn)生的數(shù)據(jù)變量，進(jìn)一步提高數(shù)據(jù)采集、預(yù)處理、清理、分析和挖掘的效率和科學(xué)性，實(shí)現(xiàn)了知識(shí)能力的評(píng)估、學(xué)習(xí)問題的診斷、學(xué)習(xí)危機(jī)的預(yù)警和學(xué)習(xí)行為的預(yù)測(cè)[14]。此外，一些研究者也基于學(xué)習(xí)分析技術(shù)對(duì)學(xué)生的行為數(shù)據(jù)進(jìn)行監(jiān)控，構(gòu)建學(xué)習(xí)行為干預(yù)模型或系統(tǒng)，并將其應(yīng)用于學(xué)習(xí)實(shí)踐中，為學(xué)生提供學(xué)習(xí)干預(yù)或預(yù)警[15]，推動(dòng)教育管理動(dòng)態(tài)化，從事后干預(yù)轉(zhuǎn)向事前預(yù)防。教育大數(shù)據(jù)視角下學(xué)習(xí)分析應(yīng)用的共同點(diǎn)是對(duì)教育過程中的數(shù)據(jù)進(jìn)行分析，對(duì)學(xué)習(xí)進(jìn)行分析、預(yù)測(cè)和干預(yù)，精準(zhǔn)識(shí)別學(xué)習(xí)者的狀態(tài)，以建模的方式對(duì)學(xué)習(xí)者特征進(jìn)行描述，并對(duì)數(shù)據(jù)進(jìn)行收集、分析與預(yù)測(cè)，形成良性循環(huán)。然而，至今為止，受數(shù)據(jù)采集技術(shù)、研究方法等方面的限制，不少研究者對(duì)于能否捕捉與采集到完整的多模態(tài)大數(shù)據(jù)，以開展精準(zhǔn)的學(xué)習(xí)分析，從本質(zhì)上理解人是如何學(xué)習(xí)的等問題還有待深入探討。

（三）促進(jìn)自我學(xué)習(xí)的調(diào)節(jié)

自我調(diào)節(jié)學(xué)習(xí)是學(xué)習(xí)者自主驅(qū)動(dòng)學(xué)習(xí)、自主選擇學(xué)習(xí)內(nèi)容、自主調(diào)整學(xué)習(xí)策略、自主規(guī)劃學(xué)習(xí)時(shí)間、自主構(gòu)建學(xué)習(xí)環(huán)境、自主評(píng)價(jià)學(xué)習(xí)進(jìn)度的動(dòng)態(tài)學(xué)習(xí)過程[16]。其作為一種學(xué)習(xí)策略，要求學(xué)習(xí)者須具備一定的認(rèn)知、元認(rèn)知和資源管理策略，以對(duì)學(xué)習(xí)者的學(xué)習(xí)進(jìn)行計(jì)劃、監(jiān)控及反思[17]，這對(duì)于利用多模態(tài)大數(shù)據(jù)的采集類型提供一定參考，從學(xué)習(xí)個(gè)體的認(rèn)知、行為數(shù)據(jù)、動(dòng)機(jī)以及態(tài)度中反映學(xué)習(xí)者的自我調(diào)節(jié)策略。學(xué)習(xí)是一個(gè)自我調(diào)節(jié)和動(dòng)態(tài)發(fā)展的過程，是從外部反饋過渡到內(nèi)部反饋的過程。借助于學(xué)習(xí)分析技術(shù)對(duì)學(xué)習(xí)者學(xué)習(xí)過程數(shù)據(jù)的分析與結(jié)果反饋，充分關(guān)注了每一位學(xué)習(xí)者的個(gè)體特征與發(fā)展，動(dòng)態(tài)跟蹤學(xué)習(xí)進(jìn)度，并給學(xué)習(xí)者提供了一個(gè)觀察與反思自我學(xué)習(xí)路徑的機(jī)會(huì)。

在傳統(tǒng)教學(xué)中，因無法及時(shí)采集到每一學(xué)習(xí)者個(gè)體的知識(shí)結(jié)構(gòu)、學(xué)習(xí)能力、學(xué)習(xí)進(jìn)度、學(xué)習(xí)興趣以及學(xué)習(xí)困難等層面的動(dòng)態(tài)數(shù)據(jù)，教師主要是借助于主觀的經(jīng)驗(yàn)、觀察以及學(xué)習(xí)者群體的平均水平來設(shè)計(jì)教學(xué)方案和開展教學(xué)活動(dòng)，在一定程度上難以避免存在偏差，從而忽視學(xué)習(xí)個(gè)體的特點(diǎn)與差異。多模態(tài)大數(shù)據(jù)提供了多角度、全方位、精準(zhǔn)化的視角來獲取真實(shí)的學(xué)習(xí)情境數(shù)據(jù)，涵蓋了生理、心理、行為、情感等多種類型數(shù)據(jù)，進(jìn)一步映射學(xué)習(xí)者的學(xué)習(xí)情況。充分利用學(xué)習(xí)者的多模態(tài)大數(shù)據(jù)，基于認(rèn)知、行為及學(xué)習(xí)策略等方面的特點(diǎn)，通過個(gè)性化反饋或干預(yù)可以達(dá)到優(yōu)化自我調(diào)節(jié)學(xué)習(xí)的目的。未來的研究中，應(yīng)著眼于如何利用現(xiàn)有數(shù)據(jù)預(yù)測(cè)學(xué)習(xí)者后續(xù)的自我調(diào)節(jié)學(xué)習(xí)特征，或者利用實(shí)時(shí)數(shù)據(jù)獲取學(xué)習(xí)者即時(shí)的學(xué)習(xí)狀態(tài)，并在此基礎(chǔ)上提出適合學(xué)習(xí)者后續(xù)發(fā)展的學(xué)習(xí)策略，以幫助學(xué)習(xí)者最大限度地完成學(xué)習(xí)任務(wù)，培養(yǎng)自身的自我調(diào)節(jié)學(xué)習(xí)能力[18]。

（四）推動(dòng)學(xué)習(xí)績(jī)效分析與測(cè)評(píng)

傳統(tǒng)的學(xué)習(xí)績(jī)效評(píng)價(jià)往往因難以收集或只收集到碎片化的評(píng)價(jià)數(shù)據(jù)而忽略了數(shù)據(jù)在績(jī)效測(cè)評(píng)過程中的應(yīng)用，且因缺乏有效可靠的數(shù)據(jù)而過度依賴于主觀經(jīng)驗(yàn)的判斷與評(píng)價(jià)，進(jìn)而導(dǎo)致學(xué)習(xí)績(jī)效結(jié)果的科學(xué)性不足?；诖髷?shù)據(jù)的學(xué)習(xí)績(jī)效分析與評(píng)價(jià)，不再僅依賴于單一評(píng)價(jià)對(duì)象與單一的評(píng)價(jià)指標(biāo)，而應(yīng)盡可能將多模態(tài)大數(shù)據(jù)與具體教學(xué)情境相結(jié)合，滿足不同類型學(xué)習(xí)者的個(gè)性化需求，充分認(rèn)識(shí)教育大數(shù)據(jù)在學(xué)習(xí)績(jī)效分析與評(píng)估中的應(yīng)用價(jià)值，明確將數(shù)據(jù)作為學(xué)習(xí)者學(xué)習(xí)績(jī)效與成長(zhǎng)狀態(tài)的重要指標(biāo)。學(xué)習(xí)者是教育教學(xué)活動(dòng)開展的主體，教師在這一過程中作為主導(dǎo)者角色，從某種程度上看，為達(dá)到學(xué)習(xí)目標(biāo)，學(xué)習(xí)者必將有一定的學(xué)習(xí)參與與學(xué)習(xí)投入，這也意味著學(xué)習(xí)的參與投入指標(biāo)是學(xué)習(xí)績(jī)效分析與測(cè)評(píng)的重要部分，提高學(xué)生的學(xué)習(xí)投入與參與度，將能幫助其學(xué)習(xí)績(jī)效的提升。此外，學(xué)習(xí)成績(jī)數(shù)據(jù)作為學(xué)習(xí)者學(xué)習(xí)過程中的重要部分，具有一定的綜合性與客觀性，也是學(xué)習(xí)績(jī)效測(cè)評(píng)不可忽視的要素。

數(shù)據(jù)本身并非最重要，而應(yīng)重點(diǎn)關(guān)注數(shù)據(jù)背后蘊(yùn)含的問題以及可能的解決方案。此外，還須根據(jù)具體的情境來制定學(xué)習(xí)績(jī)效的評(píng)估指標(biāo)，將多模態(tài)大數(shù)據(jù)與評(píng)估指標(biāo)進(jìn)行對(duì)應(yīng)，切實(shí)發(fā)揮數(shù)據(jù)的價(jià)值。作為教育工作者（包括管理者與教師等群體），應(yīng)該要做多模態(tài)大數(shù)據(jù)的“數(shù)據(jù)脫盲者”[19]，不斷提高數(shù)據(jù)素養(yǎng)，需要知道如何通過數(shù)據(jù)作為根據(jù)來刻畫學(xué)生的學(xué)習(xí)路徑與進(jìn)步程度，需要明確如何通過分析數(shù)據(jù)的概率預(yù)測(cè)，明白這一數(shù)據(jù)結(jié)果對(duì)學(xué)生而言意味著什么，如何引導(dǎo)與啟發(fā)學(xué)生以某一具體方式進(jìn)行有效的改進(jìn)。對(duì)學(xué)習(xí)績(jī)效進(jìn)行分析與評(píng)估的目的是利用多模態(tài)大數(shù)據(jù)為學(xué)習(xí)者提供學(xué)習(xí)反饋服務(wù)，促進(jìn)學(xué)習(xí)者優(yōu)化學(xué)習(xí)進(jìn)程，以實(shí)現(xiàn)“提質(zhì)增效”。

四、多模態(tài)大數(shù)據(jù)的現(xiàn)實(shí)挑戰(zhàn)

（一）技術(shù)挑戰(zhàn)

當(dāng)前，多模態(tài)大數(shù)據(jù)融入于教育面臨多方面的技術(shù)挑戰(zhàn)，一是數(shù)據(jù)捕捉、采集、處理與分析技術(shù)的挑戰(zhàn)，受限于當(dāng)前軟硬件水平的發(fā)展以及學(xué)習(xí)過程數(shù)據(jù)的復(fù)雜性，離智能化、精準(zhǔn)化、系統(tǒng)化地操縱數(shù)據(jù)目標(biāo)還存在較大差距；二是數(shù)據(jù)冗余的問題，對(duì)于同一現(xiàn)象數(shù)據(jù)，多種采集方式的數(shù)據(jù)是否指向同一模態(tài)，是否過度收集多模態(tài)數(shù)據(jù)而影響結(jié)果的判斷等問題需要研究人員加以重視；三是目前大量數(shù)據(jù)庫還未實(shí)現(xiàn)互聯(lián)互通，大量與學(xué)習(xí)相關(guān)的數(shù)據(jù)，如學(xué)生基本信息、教師信息、資源數(shù)據(jù)、學(xué)習(xí)過程數(shù)據(jù)等分布在不同的系統(tǒng)中，增加了研究者的分析難度，分析結(jié)果的精準(zhǔn)性受到一定影響；且由于多模態(tài)大數(shù)據(jù)具有復(fù)雜性和多樣性，當(dāng)數(shù)據(jù)量很大時(shí)，研究者難以進(jìn)行系統(tǒng)的分析。

（二）倫理挑戰(zhàn)

各類終端設(shè)備逐步接入網(wǎng)絡(luò)，為收集即時(shí)性、動(dòng)態(tài)化的數(shù)據(jù)提供了可能，但這一過程也自然而然引發(fā)了倫理與道德問題。在獲取學(xué)習(xí)者學(xué)習(xí)過程的多模態(tài)大數(shù)據(jù)時(shí)，必然涉及到學(xué)習(xí)者的個(gè)人隱私數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行分析是否需要經(jīng)過學(xué)習(xí)者本人的同意；在開展研究之前是否擁有數(shù)據(jù)的使用權(quán)；對(duì)于獲取的數(shù)據(jù)是否進(jìn)行匿名化后再進(jìn)行分析；是否無節(jié)制地采集與使用數(shù)據(jù)；數(shù)據(jù)分析結(jié)果是否反饋給教育工作者以及學(xué)習(xí)者本人；分析結(jié)果不理想的學(xué)生是否會(huì)被貼標(biāo)簽進(jìn)行區(qū)別對(duì)待；數(shù)據(jù)存儲(chǔ)是否安全等問題需要重視。此外，并非關(guān)于學(xué)習(xí)者的所有數(shù)據(jù)都與學(xué)習(xí)活動(dòng)有關(guān)，如何在促進(jìn)教與學(xué)最大化程度下，減少大數(shù)據(jù)所帶來的倫理問題影響，這是研究者們正在面臨的且須不斷思考與解決的問題。

五、結(jié)語

多模態(tài)大數(shù)據(jù)為教育技術(shù)研究者提供了新的研究著力點(diǎn)，以更全面、客觀的視角去洞察不同學(xué)習(xí)情境下的學(xué)習(xí)過程。然而，多模態(tài)大數(shù)據(jù)的復(fù)雜性以及各模態(tài)數(shù)據(jù)與學(xué)習(xí)過程狀態(tài)之間對(duì)應(yīng)關(guān)系的解析是當(dāng)前基于多模態(tài)大數(shù)據(jù)探尋學(xué)習(xí)規(guī)律面臨的問題，研究者如何處理海量的數(shù)據(jù)與學(xué)習(xí)狀態(tài)兩者的關(guān)系，建立映射關(guān)系尤為關(guān)鍵。要突破這一問題還須借助于理論的支持，依據(jù)教育相關(guān)理論進(jìn)行識(shí)別與挖掘?qū)W習(xí)者的學(xué)習(xí)過程數(shù)據(jù)，以促進(jìn)對(duì)教與學(xué)質(zhì)量水平的評(píng)估與改善。