多模態(tài)數(shù)據(jù)賦彩學(xué)習(xí)投入測評新發(fā)展

張靖晗,許卓昕

(湖南科技大學(xué) 教育學(xué)院,湖南 湘潭 411201)

一、學(xué)習(xí)投入測評脈絡(luò)梳理

(一)學(xué)習(xí)投入概念演進(jìn)

“學(xué)習(xí)投入”一詞由“投入”演變而來,辭海將“投入”解釋為“置身其中,放進(jìn)去,全身心做一件事”[8],包含積極付出之意。1984年Alexander W.Astin在《高等教育學(xué)生學(xué)習(xí)參與的發(fā)展理論》一文中首次提出了“學(xué)習(xí)投入”這一概念,美國學(xué)者Kuh將此概念引入高等教育研究。

學(xué)習(xí)投入概念界定由最初單一維度逐漸向多維度拓展,實(shí)現(xiàn)由量到質(zhì)再到質(zhì)量并重的演變。學(xué)習(xí)投入的研究起源于學(xué)習(xí)者的學(xué)習(xí)時(shí)長對學(xué)習(xí)者學(xué)業(yè)成績的影響[9],20世紀(jì)30年代,Tyler提出“任務(wù)時(shí)間”概念,指出學(xué)習(xí)者投入與學(xué)業(yè)成果呈正比例關(guān)系[10],進(jìn)而開創(chuàng)了學(xué)習(xí)投入應(yīng)用于教育領(lǐng)域的先河,受其影響,早期對學(xué)習(xí)投入的研究僅考慮行為投入單一維度,重點(diǎn)關(guān)注學(xué)習(xí)者的學(xué)習(xí)時(shí)長、出勤率、回帖數(shù)量等能夠直接反映學(xué)習(xí)者學(xué)業(yè)成果的指標(biāo)。上世紀(jì)80年代后,學(xué)習(xí)投入逐漸成為教育工作者的重要研究議題,1989年Finn提出“參與—認(rèn)同模式”,將學(xué)習(xí)投入劃分為行為投入與情感投入兩個(gè)維度[11];Jimerson等同樣將學(xué)習(xí)投入模型認(rèn)定為行為與情感的組合[12],Martin從行為投入與認(rèn)知投入兩個(gè)層面構(gòu)建了學(xué)習(xí)投入二維框架[13]。隨著對學(xué)習(xí)投入理論的不斷挖掘與延伸,2004年Fredricks等在此基礎(chǔ)上提出三維概念框架[14],認(rèn)為學(xué)習(xí)投入除行為與情感層面的投入外,還包含認(rèn)知投入;2016年又將其拓展為行為、情感、認(rèn)知、社交四維度。學(xué)習(xí)投入是個(gè)復(fù)雜、多元概念,更多學(xué)者開始重視學(xué)習(xí)者的努力程度、自我需求等要素在學(xué)習(xí)投入中的重要作用,與努力、情感相關(guān)的心理投資是一種實(shí)質(zhì)性的投入,只有全身心投入學(xué)習(xí),才能充分體現(xiàn)學(xué)習(xí)投入的質(zhì)量。

(二)學(xué)習(xí)投入測評發(fā)展現(xiàn)狀

如何對學(xué)習(xí)者學(xué)習(xí)投入精準(zhǔn)測評是智能教育領(lǐng)域重點(diǎn)關(guān)注的研究議題,測評方法是學(xué)習(xí)者投入測評的重中之重,反映學(xué)習(xí)者學(xué)習(xí)狀態(tài),表征學(xué)習(xí)者參與情況。通過對國內(nèi)外主流測評方法進(jìn)行梳理與比較,可以發(fā)現(xiàn),目前測評方法包括自我報(bào)告、體驗(yàn)抽樣、文本分析、日志分析、生理測量等(如表1所示)。

表1 學(xué)習(xí)投入測評方法及弊端

1.自我報(bào)告

自我報(bào)告法,也稱量表測試法。典型的自我報(bào)告量表呈現(xiàn)出多個(gè)陳述,并給予不同程度的選項(xiàng),要求被試對自身情況進(jìn)行判定。在國外學(xué)習(xí)投入測評方法應(yīng)用最為廣泛,已形成多類成熟、具有影響力的自我報(bào)告量表,如美國印第安納大學(xué)設(shè)計(jì)的全美大學(xué)生學(xué)習(xí)性投入調(diào)查量表NSSE[15]、在工作投入量表UWES基礎(chǔ)上形成的UWES-S量表[16]等。該方法雖能在短時(shí)間內(nèi)獲取大量數(shù)據(jù),但極易受到其他因素干擾,如主觀性強(qiáng)、選項(xiàng)程度難以判定、回應(yīng)風(fēng)格不同等,導(dǎo)致學(xué)習(xí)者對自身狀態(tài)的評估與基于表現(xiàn)的證據(jù)并不相符。此外,存在即時(shí)性數(shù)據(jù)、過程性數(shù)據(jù)無法獲取的局限性,因此,補(bǔ)齊調(diào)查結(jié)果準(zhǔn)確度短板問題亟待解決。

2.體驗(yàn)抽樣

精益管理出佳績，2017年醫(yī)院能耗費(fèi)用較2015年下降260萬元，能耗強(qiáng)度（醫(yī)院萬元產(chǎn)值綜合能耗）下降了16.8%，超前完成了“十三五”節(jié)能降耗目標(biāo)。醫(yī)院6個(gè)項(xiàng)目獲得政府節(jié)能資金獎(jiǎng)勵(lì)，2個(gè)項(xiàng)目入選住房和城鄉(xiāng)建設(shè)部合同能源管理優(yōu)秀案例。

體驗(yàn)抽樣法源于心理學(xué)與社會(huì)學(xué)領(lǐng)域,也被稱為經(jīng)驗(yàn)取樣法,是指被試在自然情境下在隨機(jī)時(shí)間內(nèi)對同一問卷或量表進(jìn)行重復(fù)作答,作為高頻率跟蹤問卷調(diào)查的深度研究方法,旨在了解被試的實(shí)時(shí)體驗(yàn)。有助于描述被試情感、認(rèn)知等心理或?qū)W習(xí)狀態(tài)動(dòng)態(tài)變化過程,具備回憶偏差小、生態(tài)效度高等優(yōu)點(diǎn)。體驗(yàn)抽樣雖詳實(shí)記錄了相關(guān)變化,但不可避免地對被試正常學(xué)習(xí)生活帶來影響;受各方面條件限制,體驗(yàn)抽樣樣本量較少且花費(fèi)較大;同樣對于多密度數(shù)據(jù)的收集周期等問題需進(jìn)一步討論與完善。

3.文本分析

文本分析法是一種定量分析研究范式,源于信息處理領(lǐng)域。文本寓意具有可拆性,多數(shù)研究通過對被試發(fā)布的相關(guān)文本進(jìn)行關(guān)鍵詞提取,以充分呈現(xiàn)文本自身的內(nèi)涵與外延為根本目的[17],根據(jù)其詞意、詞頻、語境、情感、意象等相關(guān)要素,對文本進(jìn)行深度解讀,挖掘被試潛在特征數(shù)據(jù),區(qū)分其積極與消極、正面與負(fù)面態(tài)度,實(shí)現(xiàn)文本突破用以探討被試傳遞的態(tài)度信號對學(xué)習(xí)過程的影響。但也存在文本特征難提取、不同語義差距大、文本與文本間關(guān)聯(lián)關(guān)系不易判斷、規(guī)?；瘧?yīng)用實(shí)現(xiàn)困難等局限性。

4.日志分析

日志分析也是學(xué)習(xí)投入測評經(jīng)典方法之一。日志是一個(gè)廣泛概念,在計(jì)算機(jī)系統(tǒng)中任何程序都可能輸出日志,每條日志通常代表用戶的一次訪問行為。學(xué)習(xí)日志則是指被試在虛擬網(wǎng)絡(luò)學(xué)習(xí)空間中,頁面訪問量、訪問時(shí)間、停留時(shí)間等學(xué)習(xí)活動(dòng)輸出的數(shù)據(jù),空間平臺將其以可視化形式表征。日志格式與數(shù)據(jù)生成結(jié)果千變?nèi)f化,邏輯算法復(fù)雜,分析工作量大,技術(shù)分析準(zhǔn)確性待提升,且僅能表征學(xué)生外顯行為特征,對情感等深層次內(nèi)在表現(xiàn)關(guān)注較少。

5.生理測量

隨著認(rèn)知神經(jīng)科學(xué)領(lǐng)域的發(fā)展,借助生理傳感器對學(xué)習(xí)者學(xué)習(xí)狀態(tài)進(jìn)行采集逐漸成為學(xué)習(xí)投入測評方法新研究取向,多導(dǎo)生理記錄儀等可穿戴設(shè)備、非侵入傳感設(shè)備解析學(xué)習(xí)者生理活動(dòng)得到更具價(jià)值的洞見,如Stickel認(rèn)為個(gè)體的皮電水平在工作狀態(tài)下超出放松狀態(tài)一倍[18],以此為依據(jù)判斷學(xué)習(xí)者學(xué)習(xí)投入狀態(tài);Lisetti嘗試獲取學(xué)習(xí)者多種外周生理數(shù)據(jù)對其投入狀態(tài)與情緒特征進(jìn)行預(yù)測[19]。生理測量方法具有客觀性、準(zhǔn)確性等優(yōu)點(diǎn),信度較高,但目前仍處于探索階段,設(shè)備成本較高、測量需專業(yè)人員合作完成,操作技術(shù)較為復(fù)雜,且各項(xiàng)指標(biāo)的意義解釋差距較大,并未形成統(tǒng)一意見。

整體來看,目前學(xué)習(xí)投入測評仍以傳統(tǒng)方法為主,測評方法的進(jìn)步局限于對傳統(tǒng)方法的迭代,未能突破傳統(tǒng)測評方法的藩籬,亟需一種創(chuàng)新性測評方法為學(xué)習(xí)投入測評提供新思路。多模態(tài)數(shù)據(jù)更能幫助研究者突破當(dāng)前現(xiàn)實(shí)困境,捕捉學(xué)習(xí)者更多潛能,提升測評有效性,是學(xué)習(xí)投入測評重要發(fā)展趨向。

二、多模態(tài)數(shù)據(jù)賦彩學(xué)習(xí)投入測評運(yùn)行機(jī)制

雖然事物能夠以單一符號形式存在,但綜合文本、圖像等多種社會(huì)符號的事物能夠更大程度地表征其存在樣態(tài),人更是綜合視覺、聽覺、嗅覺等多感官通道實(shí)現(xiàn)與外界環(huán)境的交互,并在大腦中進(jìn)行神經(jīng)成像,最終實(shí)現(xiàn)對事物的完整感知。由于事物的存在方式、人的感知方式、人工智能學(xué)習(xí)的多模態(tài)特質(zhì),我們較難通過單一獲取方式感知理解某一事物完整特性,實(shí)現(xiàn)對事物全方位、多層次理解,因此要形成對事物的深度理解,僅獲取單一模態(tài)數(shù)據(jù)遠(yuǎn)遠(yuǎn)不夠,且易形成“路燈效應(yīng)”,降低對事物把握的準(zhǔn)確性,因此我們需結(jié)合多模態(tài)數(shù)據(jù)融合分析,以形成對事物完整的意義建構(gòu)[20]。多模態(tài)數(shù)據(jù)的獲取使得數(shù)據(jù)獲取方式由“快照式”轉(zhuǎn)向“航拍式”,由間歇性刻畫走向持續(xù)性刻畫[21],有利于改善單模態(tài)數(shù)據(jù)信息量不足、數(shù)據(jù)淺薄等問題,旨在精準(zhǔn)了解學(xué)習(xí)者學(xué)習(xí)全貌,支持教與學(xué)的開展,為學(xué)習(xí)投入測評帶來了新的發(fā)展機(jī)遇。多模態(tài)數(shù)據(jù)賦彩學(xué)習(xí)投入測評對提高測評分析精確度發(fā)揮重要支撐作用,其運(yùn)行路徑包括多模態(tài)數(shù)據(jù)信息采集、多模態(tài)數(shù)據(jù)關(guān)系挖掘、多模態(tài)數(shù)據(jù)融合應(yīng)用三部分(如圖1所示)。

圖1 多模態(tài)數(shù)據(jù)賦彩學(xué)習(xí)投入測評運(yùn)行機(jī)制

(一)借助教育場景導(dǎo)向,采集多模態(tài)數(shù)據(jù)信息

學(xué)習(xí)投入測評是對學(xué)習(xí)者學(xué)習(xí)狀態(tài)的洞察,其準(zhǔn)確性依賴于高質(zhì)量多模態(tài)數(shù)據(jù)采集,數(shù)據(jù)的多源互補(bǔ)性是驅(qū)動(dòng)學(xué)習(xí)投入精準(zhǔn)測評相關(guān)研究開展的重要前提條件。通過前述對傳統(tǒng)測評方法的分析,發(fā)現(xiàn)其分析“清晰度、分辨率”較低,近年來人工智能前沿領(lǐng)域技術(shù)的成熟,為挖掘教育過程潛在規(guī)律、解釋認(rèn)知加工機(jī)制等研究開展帶來海量數(shù)據(jù)支持,根據(jù)多模態(tài)學(xué)習(xí)數(shù)據(jù)全息性特征,數(shù)據(jù)采集必須反映學(xué)習(xí)者的全部學(xué)習(xí)信息,在操作層面上要求全面、全程采集數(shù)據(jù)。目前已有多項(xiàng)研究證實(shí)多模態(tài)數(shù)據(jù)采集對學(xué)習(xí)投入測評發(fā)揮重要作用。當(dāng)前學(xué)習(xí)過程中多模態(tài)數(shù)據(jù)來源環(huán)境復(fù)雜、數(shù)據(jù)結(jié)構(gòu)多樣,包含結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)等數(shù)據(jù)類型,蘊(yùn)含極大潛在價(jià)值。本研究從當(dāng)前研究現(xiàn)狀出發(fā),在穆肅教授提出的五類多模態(tài)數(shù)據(jù)——數(shù)字空間數(shù)據(jù)、物理空間數(shù)據(jù)、生理體征數(shù)據(jù)、心理測量數(shù)據(jù)、環(huán)境場景數(shù)據(jù)[22]的基礎(chǔ)上進(jìn)行概括分析,結(jié)合學(xué)習(xí)情境數(shù)據(jù),引入實(shí)時(shí)流數(shù)據(jù)采集器,從學(xué)習(xí)體征、學(xué)習(xí)情境以及數(shù)字空間層面獲取多模態(tài)數(shù)據(jù),滿足異構(gòu)數(shù)據(jù)互通,以提升模態(tài)數(shù)據(jù)的整體性與全面性。

1.學(xué)習(xí)體征數(shù)據(jù)

學(xué)習(xí)體征數(shù)據(jù)主要包括外顯行為數(shù)據(jù)以及內(nèi)隱生理數(shù)據(jù)兩個(gè)方面。外顯數(shù)據(jù)主要依賴學(xué)習(xí)者面部表情、音量、聲調(diào)、身體朝向、眼神接觸、肢體動(dòng)作等外顯行為序列。20世紀(jì)教育研究受到笛卡爾“身心二元論”的影響,陷入“重認(rèn)知輕情感”局面,但情感等內(nèi)隱生理活動(dòng)由植物性神經(jīng)系統(tǒng)控制,只有破除主觀意識壁壘,才能真實(shí)診斷學(xué)習(xí)者生理狀態(tài)、感知其學(xué)習(xí)狀態(tài)。神經(jīng)科學(xué)領(lǐng)域的發(fā)展使得內(nèi)隱生理數(shù)據(jù)獲取向生物學(xué)、認(rèn)知科學(xué)層面邁進(jìn),借助眼動(dòng)儀、多導(dǎo)生理儀對學(xué)習(xí)者的眼動(dòng)、腦電、皮電、心率、呼吸率、血氧、血流量、激素分泌等多種生理數(shù)據(jù)進(jìn)行獲取,構(gòu)成內(nèi)在心理數(shù)據(jù)。王雪將眼動(dòng)追蹤實(shí)驗(yàn)置于完整的教學(xué)系統(tǒng)中,借助眼動(dòng)軌跡分析學(xué)習(xí)者對視覺材料的加工程度,量化學(xué)習(xí)者的信息加工過程[23];Mauri通過皮膚電反應(yīng)、心率變異性有效測量對學(xué)習(xí)者的認(rèn)知努力、情緒喚醒狀態(tài)進(jìn)行分析與評估[24],學(xué)習(xí)體征數(shù)據(jù)的概念變得更加廣泛。

2.學(xué)習(xí)情境數(shù)據(jù)

學(xué)習(xí)情境是一個(gè)動(dòng)態(tài)調(diào)整的事件,是一個(gè)連接時(shí)間、地點(diǎn)、資源等要素的復(fù)雜網(wǎng)絡(luò)現(xiàn)象,具有一定可塑性[25],由人、物、環(huán)境、教育制度多方面構(gòu)成。對此教育研究者需針對不同的學(xué)習(xí)情境對相關(guān)數(shù)據(jù)進(jìn)行智能感知與分析,實(shí)現(xiàn)對教育情境的全息化描繪。學(xué)習(xí)情境數(shù)據(jù)包括教師的教學(xué)風(fēng)格、教學(xué)模式、教學(xué)資源、環(huán)境場景數(shù)據(jù)等,其中環(huán)境場景數(shù)據(jù)分析是多模態(tài)學(xué)習(xí)分析的前沿研究方向之一,主要對學(xué)習(xí)者所處學(xué)習(xí)環(huán)境數(shù)據(jù)進(jìn)行收集,已有相關(guān)研究表明學(xué)習(xí)環(huán)境與學(xué)習(xí)狀態(tài)息息相關(guān)[26],溫度、濕度、氣候等都能夠作為補(bǔ)充數(shù)據(jù)對學(xué)習(xí)者學(xué)習(xí)狀態(tài)進(jìn)行預(yù)測。

3.數(shù)字空間數(shù)據(jù)

人工智能與教育領(lǐng)域的深度融合,給學(xué)習(xí)者帶來全新的教學(xué)體驗(yàn)。得益于物聯(lián)網(wǎng)、云儲(chǔ)存、大數(shù)據(jù)等技術(shù)的發(fā)展,學(xué)習(xí)者在不同學(xué)習(xí)空間中的學(xué)習(xí)痕跡得以精準(zhǔn)獲取。數(shù)字空間數(shù)據(jù)主要來源于學(xué)習(xí)者在學(xué)習(xí)過程中,操作機(jī)器設(shè)備而產(chǎn)生的日志數(shù)據(jù)、點(diǎn)擊數(shù)據(jù)、文本數(shù)量、發(fā)言數(shù)量等。另外,鼠標(biāo)移動(dòng)數(shù)據(jù)也被作為度量學(xué)習(xí)投入的數(shù)據(jù)源使用[27],電子筆筆頭壓力同樣也是衡量學(xué)習(xí)者投入度的重要指標(biāo)之一[28]。隨著智能教育產(chǎn)品的成熟,人機(jī)協(xié)同教育將成為核心教學(xué)模式,數(shù)字空間數(shù)據(jù)的采集實(shí)現(xiàn)了對虛擬空間教學(xué)生態(tài)的有機(jī)分解,凸顯數(shù)據(jù)的實(shí)時(shí)連續(xù)、真實(shí)境脈優(yōu)勢,為學(xué)習(xí)投入測評提供適應(yīng)性支持。

在某種意義上,多模態(tài)數(shù)據(jù)就是學(xué)習(xí)者學(xué)習(xí)狀態(tài)的鏡像表征,若關(guān)鍵數(shù)據(jù)缺失,則難以保證測評結(jié)果的科學(xué)性。

(二)依托信號表征方式,挖掘多模態(tài)數(shù)據(jù)關(guān)系

利用相關(guān)技術(shù)與設(shè)備收集到的多為混合狀態(tài)原始模態(tài)數(shù)據(jù),如語音、文本、手勢等模態(tài)數(shù)據(jù),具有海量、異構(gòu)、分散等特性。針對多樣化的數(shù)據(jù)信息,需要對其去偽存真、定向降噪、降維與清洗,糾正錯(cuò)誤數(shù)據(jù)、剔除虛假數(shù)據(jù)及冗余信息,提取出有價(jià)值、關(guān)鍵特征值進(jìn)行在線優(yōu)化。隨著數(shù)據(jù)科學(xué)技術(shù)的興起,在數(shù)據(jù)密集型研究范式的指導(dǎo)下,對多通道模態(tài)數(shù)據(jù)進(jìn)行編碼,利用采樣技術(shù)解決數(shù)據(jù)不平衡問題。難以察覺的數(shù)據(jù)的獲取及關(guān)系挖掘是確保學(xué)習(xí)投入測評精準(zhǔn)度的關(guān)鍵所在,可借助統(tǒng)計(jì)學(xué)專業(yè)的方法,如描述性統(tǒng)計(jì)分析、相關(guān)性分析等分析方法,獲取各模態(tài)特征間的關(guān)聯(lián)性,歸因各模態(tài)特征之間的關(guān)系,進(jìn)而精準(zhǔn)聚焦學(xué)習(xí)者學(xué)習(xí)過程中難以察覺的學(xué)習(xí)規(guī)律及問題。將關(guān)系挖掘結(jié)果以可視化箱線圖、氣泡圖等動(dòng)態(tài)儀表盤呈現(xiàn)出來,以直觀簡要方式聚焦結(jié)果,為后續(xù)數(shù)據(jù)特征融合工作打下堅(jiān)實(shí)基礎(chǔ)(如圖2所示)。

圖2 多模態(tài)數(shù)據(jù)關(guān)系挖掘

首先,對多模態(tài)數(shù)據(jù)通過計(jì)算機(jī)處理等方式整理成為多模態(tài)數(shù)據(jù)流格式,按其模態(tài)相似性與結(jié)構(gòu)相關(guān)性分割成多個(gè)子空間,進(jìn)行合理、有效地重組,如學(xué)習(xí)體征數(shù)據(jù)可劃分為身體姿態(tài)數(shù)據(jù)、音量音調(diào)數(shù)據(jù)、腦電皮電數(shù)據(jù),提取學(xué)習(xí)者在行為參與、情感動(dòng)機(jī)、認(rèn)知能力、社會(huì)網(wǎng)絡(luò)關(guān)系等多維度投入特征值,對所得數(shù)據(jù)進(jìn)行細(xì)分得到子空間。其次對子空間內(nèi)數(shù)據(jù)進(jìn)行分類編碼,遵循“提取—轉(zhuǎn)化”的運(yùn)行機(jī)制,指向?qū)W習(xí)投入四維子投入模型,如學(xué)習(xí)者的專注度、持久度、努力程度、課堂配合度,學(xué)習(xí)者的歸屬感、自我效能感,對教學(xué)策略、元認(rèn)知策略使用度,在學(xué)習(xí)過程中的凝聚度、共享度、參與均度等。

(三)開放學(xué)習(xí)測評格局,融合多模態(tài)數(shù)據(jù)應(yīng)用

多模態(tài)數(shù)據(jù)能夠充分呈現(xiàn)數(shù)據(jù)與指標(biāo)間的復(fù)雜關(guān)系,包含一對一、一對多和多對一三類多樣化對應(yīng)關(guān)系,其中多對一指多個(gè)數(shù)據(jù)特征均可度量同一指標(biāo),此為數(shù)據(jù)融合的研究基礎(chǔ)。簡而言之,數(shù)據(jù)融合是將前期數(shù)據(jù)挖掘結(jié)果以可視化形式呈現(xiàn),其主要操作形式是探索多模態(tài)數(shù)據(jù)的共一性,多維度出發(fā)以描繪同一局部畫像,用局部展現(xiàn)全部特征,實(shí)現(xiàn)全息描繪,得到最優(yōu)數(shù)據(jù),最終形成穩(wěn)定、統(tǒng)一的集合體,以保證多模態(tài)數(shù)據(jù)特征的內(nèi)部流通與代表性,是學(xué)習(xí)投入測評的重點(diǎn)與難點(diǎn)。首先,針對前期已提取的不同模態(tài)數(shù)據(jù)特征,將其按照事件或時(shí)間序列進(jìn)行關(guān)聯(lián),并映射至高維空間轉(zhuǎn)化為高級特征表達(dá),選取適當(dāng)特征進(jìn)行融合分析,由相似向量表征相似語義,充分體現(xiàn)數(shù)據(jù)的多元互補(bǔ)性,且操作層面較為靈活,最后在此基礎(chǔ)上,進(jìn)一步探究學(xué)習(xí)者在情感投入、認(rèn)知投入、行為投入以及社會(huì)投入層面的表現(xiàn)規(guī)律。如Huang提出利用視覺特征與文本特征之間的內(nèi)在相關(guān)性進(jìn)行聯(lián)合情感分類,構(gòu)建深度多模態(tài)專注融合模型(DMAF)[29]。通過對數(shù)據(jù)多環(huán)節(jié)、多模態(tài)、多維度的采集分析,實(shí)現(xiàn)對學(xué)習(xí)者學(xué)習(xí)狀態(tài)的多元化表征,以此為依據(jù)對學(xué)習(xí)者的學(xué)習(xí)投入進(jìn)行全方位測評分析。

對多模態(tài)數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)投入測評過程進(jìn)行解釋,透視多模態(tài)數(shù)據(jù)教學(xué)色彩,改變依據(jù)主觀判斷學(xué)習(xí)者投入狀態(tài)的固化經(jīng)驗(yàn)思維,看到學(xué)習(xí)者的真實(shí)需求,對教學(xué)應(yīng)用的深入開展具有重要的導(dǎo)向作用。

三、多模態(tài)數(shù)據(jù)賦彩學(xué)習(xí)投入測評價(jià)值意蘊(yùn)

(一)推動(dòng)學(xué)習(xí)投入測評創(chuàng)新發(fā)展

學(xué)習(xí)投入是決定學(xué)習(xí)者取得學(xué)習(xí)成就的關(guān)鍵因素,學(xué)習(xí)投入測評是構(gòu)建教育評價(jià)系統(tǒng)的有機(jī)要素,教育信息化的推進(jìn)與學(xué)習(xí)方式的多元化為學(xué)習(xí)投入測評奠定了多模態(tài)數(shù)據(jù)基礎(chǔ),物聯(lián)網(wǎng)技術(shù)為多模態(tài)數(shù)據(jù)的感知提供技術(shù)支撐。多模態(tài)數(shù)據(jù)為選取學(xué)習(xí)投入測量指標(biāo)提供科學(xué)參考,由于其具有多源異構(gòu)性、實(shí)時(shí)動(dòng)態(tài)性、全息整體性等特征,使得數(shù)據(jù)能夠從多維度、多視角出發(fā),真實(shí)全面地反映學(xué)習(xí)者學(xué)習(xí)投入的現(xiàn)實(shí)情況從而實(shí)現(xiàn)有效測量。綜合性較強(qiáng)的多模態(tài)數(shù)據(jù)豐富了數(shù)據(jù)表征形態(tài),能夠有效避免學(xué)習(xí)投入測評因維度交疊重復(fù)造成的結(jié)果失真,增強(qiáng)測評結(jié)果的準(zhǔn)確性與可靠性。多模態(tài)數(shù)據(jù)幫助學(xué)習(xí)投入測評回歸學(xué)習(xí)者自身,使得測評內(nèi)容不僅限于學(xué)生外部表征,還進(jìn)一步深挖學(xué)習(xí)者內(nèi)部認(rèn)知和情感動(dòng)態(tài)走向,在最大程度上還原學(xué)習(xí)者的學(xué)習(xí)過程全貌,推動(dòng)學(xué)習(xí)投入測評向精準(zhǔn)化和智能化發(fā)展,為學(xué)習(xí)投入測評帶來了更高效益,推動(dòng)學(xué)習(xí)者評價(jià)體系的變革與創(chuàng)新。

(二)探究深層次學(xué)習(xí)投入測評邏輯機(jī)理

教育學(xué)領(lǐng)域中,多模態(tài)數(shù)據(jù)融合是一種感知和理解教學(xué)的新視角,也是智能教育應(yīng)用的出發(fā)點(diǎn)與落腳點(diǎn)。多模態(tài)數(shù)據(jù)對學(xué)習(xí)者認(rèn)知、情感等多種表征方式進(jìn)行實(shí)時(shí)追蹤捕捉的同時(shí),也進(jìn)行著對不同模態(tài)數(shù)據(jù)的測評結(jié)果全方位把握,整合不同學(xué)習(xí)投入相關(guān)影響因子數(shù)據(jù),為探索不同要素與學(xué)習(xí)投入關(guān)系、探究教育發(fā)展規(guī)律提供重要的實(shí)證數(shù)據(jù)基礎(chǔ)。對多模態(tài)數(shù)據(jù)賦彩下的學(xué)習(xí)投入測評結(jié)果進(jìn)而可以深度準(zhǔn)確反映學(xué)習(xí)者的課堂學(xué)習(xí)狀態(tài),管理系統(tǒng)可由此探索學(xué)習(xí)者的學(xué)習(xí)投入變化規(guī)律,根據(jù)其動(dòng)態(tài)學(xué)習(xí)狀態(tài)實(shí)現(xiàn)精準(zhǔn)建模。并經(jīng)過進(jìn)一步剖析學(xué)習(xí)者學(xué)習(xí)投入的實(shí)質(zhì)性影響因素與內(nèi)部教育教學(xué)規(guī)律,探索深層次的學(xué)習(xí)投入測評邏輯機(jī)理,助力解決學(xué)習(xí)投入測評的現(xiàn)實(shí)難題,同時(shí)對于培養(yǎng)學(xué)習(xí)者能力素養(yǎng)與提高教師教育教學(xué)能力產(chǎn)生深遠(yuǎn)影響。

多模態(tài)數(shù)據(jù)作為賦彩手段是實(shí)現(xiàn)學(xué)習(xí)投入測評創(chuàng)新發(fā)展的必然途徑,充分發(fā)揮多模態(tài)數(shù)據(jù)特性,實(shí)現(xiàn)學(xué)習(xí)投入精準(zhǔn)測評,推進(jìn)學(xué)習(xí)評價(jià)體高質(zhì)量發(fā)展。應(yīng)準(zhǔn)確把握多模態(tài)數(shù)據(jù)投入機(jī)制,緊跟數(shù)字時(shí)代發(fā)展方向,賦能學(xué)習(xí)投入測評精準(zhǔn)化發(fā)展,推動(dòng)學(xué)習(xí)測評理論與實(shí)踐探索新方向,助力學(xué)習(xí)者健康發(fā)展。