基于多模態(tài)數(shù)據(jù)的個(gè)性化學(xué)習(xí)精準(zhǔn)干預(yù)研究

關(guān)鍵詞：學(xué)習(xí)者畫像；多模態(tài)數(shù)據(jù)；個(gè)性化學(xué)習(xí)

0 引言

教育數(shù)據(jù)已成為教育領(lǐng)域的寶貴財(cái)富，教育數(shù)據(jù)挖掘分析為受教育者定制教育目標(biāo)、計(jì)劃、方案與資源。它遵循“因材施教”的原則，為個(gè)性化教學(xué)指明了方向。目前，個(gè)性化學(xué)習(xí)推薦系統(tǒng)框架、挖掘?qū)W習(xí)者個(gè)性化特征、多模態(tài)學(xué)習(xí)分析、學(xué)生畫像構(gòu)建、個(gè)性化學(xué)習(xí)路徑規(guī)劃、學(xué)習(xí)者情感識(shí)別等都是研究的熱點(diǎn)；學(xué)習(xí)分析、多模態(tài)融合、生物識(shí)別、語(yǔ)義分析等技術(shù)的交叉融合，使得多模態(tài)學(xué)習(xí)分析成為新的研究方向[1]。學(xué)習(xí)者生成的多種模態(tài)數(shù)據(jù)，為個(gè)性化學(xué)習(xí)的有效表征提供了有力支撐。本研究旨在教育大數(shù)據(jù)背景下，探索影響個(gè)性化學(xué)習(xí)的相關(guān)因素，建立基于學(xué)習(xí)者多模態(tài)數(shù)據(jù)的采集、個(gè)性化學(xué)習(xí)路徑規(guī)劃以及多模態(tài)情感分析的方法。因此，本研究將深入探討如何采集、提取、融合分析多模態(tài)信息，以描述學(xué)習(xí)者的個(gè)性化學(xué)習(xí)，旨在為個(gè)性化學(xué)習(xí)研究提供框架與方法指引。

1 相關(guān)研究

1.1 學(xué)習(xí)者畫像

近年來(lái)，關(guān)于學(xué)習(xí)者模型的研究一直是學(xué)術(shù)界關(guān)注的熱點(diǎn)。學(xué)習(xí)者模型依據(jù)學(xué)習(xí)者的特征進(jìn)行描述、分析和構(gòu)建數(shù)字化模型，其研究方向主要聚焦于學(xué)習(xí)者模型規(guī)范的制定、學(xué)習(xí)者建模方法的探索以及學(xué)習(xí)者建模的實(shí)際應(yīng)用。其中，學(xué)習(xí)者特征的選取和表示是這些研究開展的關(guān)鍵環(huán)節(jié)[2]?；诖?，國(guó)內(nèi)外學(xué)者從不同角度構(gòu)建學(xué)習(xí)者模型。武法提等人[3]提出一種基于場(chǎng)景感知的學(xué)習(xí)者建模方法，構(gòu)建一個(gè)具有場(chǎng)景特性的個(gè)性化學(xué)習(xí)者模型；鐘卓等人[4]利用人工智能技術(shù)，提出了能夠闡述智慧學(xué)習(xí)特征、要素及運(yùn)行機(jī)制的智慧學(xué)習(xí)模型，該模型由學(xué)習(xí)環(huán)境、教育知識(shí)圖譜、學(xué)習(xí)者畫像、學(xué)習(xí)路徑、學(xué)習(xí)評(píng)價(jià)、學(xué)習(xí)共同體六大核心要素和基礎(chǔ)層、支撐層、服務(wù)層、關(guān)鍵層、應(yīng)用層五個(gè)層面構(gòu)成。師亞飛等人[5]設(shè)計(jì)了一種基于學(xué)習(xí)畫像的精準(zhǔn)個(gè)性化學(xué)習(xí)路徑生成性推薦模型，模型根據(jù)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，采用個(gè)性化推薦策略向?qū)W習(xí)者推薦學(xué)習(xí)元列表，學(xué)習(xí)者主動(dòng)選擇其中最適合的一個(gè)學(xué)習(xí)元進(jìn)行學(xué)習(xí)。

1.2 多模態(tài)數(shù)據(jù)

多模態(tài)（Multimodality） 的概念起源于計(jì)算機(jī)人機(jī)交互領(lǐng)域信息表示方式的研究，其中，術(shù)語(yǔ)“模態(tài)” 一詞被定義為在特定物理媒介上信息的表示及交換方式[6]。2017 年第七屆學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議明確將融合生理數(shù)據(jù)的學(xué)習(xí)分析作為新的研究方向，多模態(tài)分析能夠提供更為精細(xì)的數(shù)字畫像，做出更為精準(zhǔn)的科學(xué)預(yù)測(cè)?？纱┐鱾鞲衅骷夹g(shù)、物聯(lián)網(wǎng)技術(shù)的發(fā)展和大數(shù)據(jù)計(jì)算能力的提升為多模態(tài)研究提供了必要的技術(shù)支撐多模態(tài)與教育分析有著天然的契合度[7]。通過(guò)可穿戴設(shè)備捕捉和測(cè)量學(xué)習(xí)者在不同場(chǎng)景下的多模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)融合的方法能夠取得比單模態(tài)數(shù)據(jù)更高的準(zhǔn)確度，通過(guò)融合進(jìn)行研究，可以揭示學(xué)習(xí)者內(nèi)在規(guī)律，精準(zhǔn)個(gè)性化學(xué)習(xí)路徑推薦、資源推薦、智能預(yù)警等。

多模態(tài)數(shù)據(jù)采集技術(shù)能夠利用感知與識(shí)別技術(shù)， 實(shí)時(shí)、持續(xù)地記錄學(xué)習(xí)過(guò)程中不同層次的信息，主要采集學(xué)習(xí)者在學(xué)習(xí)過(guò)程中產(chǎn)生的文本、面部表情、語(yǔ)言、生理信號(hào)等連續(xù)可表征的多模態(tài)符號(hào)信息，實(shí)施過(guò)程包括構(gòu)建數(shù)據(jù)化表征模型、形成可操作的測(cè)評(píng)指標(biāo)體系、采集多模態(tài)數(shù)據(jù)、分析特征水平等。

1.3 個(gè)性化學(xué)習(xí)路徑推薦

個(gè)性化學(xué)習(xí)推薦是智能學(xué)習(xí)的核心引擎，也是智慧教育核心研究領(lǐng)域之一，其目標(biāo)是在學(xué)習(xí)平臺(tái)上給特定學(xué)習(xí)者提供有效學(xué)習(xí)資源，從而提升學(xué)習(xí)積極性與學(xué)習(xí)效果[8]。學(xué)習(xí)路徑是實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的前提條件。個(gè)性化學(xué)習(xí)路徑推薦技術(shù)旨在為學(xué)習(xí)者量身定制一條符合教育學(xué)規(guī)律，能引導(dǎo)學(xué)習(xí)者達(dá)到學(xué)習(xí)目標(biāo)的學(xué)習(xí)路徑，同時(shí)提供優(yōu)質(zhì)、適切的學(xué)習(xí)支持和服務(wù)。本研究將在數(shù)據(jù)整合及維度劃分、數(shù)據(jù)與學(xué)習(xí)者進(jìn)行耦合以形成學(xué)習(xí)畫像、基于學(xué)習(xí)畫像實(shí)現(xiàn)個(gè)性化學(xué)習(xí)路徑的設(shè)計(jì)等方面進(jìn)行突破，形成一套學(xué)習(xí)資源個(gè)性化推薦系統(tǒng)。該系統(tǒng)具備多?；c智能化特點(diǎn)，通過(guò)資源推送和智能化系統(tǒng)引導(dǎo)，為學(xué)習(xí)者提供優(yōu)質(zhì)、適切的學(xué)習(xí)支持和服務(wù)。

2 基于多模態(tài)數(shù)據(jù)個(gè)性化學(xué)習(xí)模型邏輯框架

以學(xué)習(xí)者畫像和多模態(tài)數(shù)據(jù)采集為基礎(chǔ)，遵循“數(shù)據(jù)表征—數(shù)據(jù)轉(zhuǎn)換—數(shù)據(jù)融合—系統(tǒng)應(yīng)用”研究思路，本研究構(gòu)建學(xué)習(xí)者學(xué)習(xí)畫像特征模型、實(shí)現(xiàn)學(xué)習(xí)路徑的生成及推薦，形成最佳路徑（如圖1） ?？蚣馨瑤讉€(gè)模塊，多模態(tài)數(shù)據(jù)采集、分類與預(yù)處理模塊，多模態(tài)特征提取、多模態(tài)特征融合分析模塊、應(yīng)用模塊（個(gè)性化學(xué)習(xí)路徑推薦、個(gè)性化智能預(yù)警）等。

2.1 多模態(tài)信息采集

多模態(tài)數(shù)據(jù)是構(gòu)建學(xué)習(xí)者畫像的關(guān)鍵，也是個(gè)性化推薦的基礎(chǔ)。本研究采用了文本、生理、語(yǔ)音、心理、圖像五種模態(tài)的數(shù)據(jù)。文本數(shù)據(jù)不僅包含學(xué)習(xí)者的個(gè)人信息、學(xué)習(xí)風(fēng)格和學(xué)習(xí)基礎(chǔ)數(shù)據(jù)，還包括學(xué)習(xí)過(guò)程中產(chǎn)生的互動(dòng)文本，如平臺(tái)上的評(píng)論內(nèi)容以及學(xué)習(xí)中音視頻轉(zhuǎn)換成的文本。生理數(shù)據(jù)則記錄了學(xué)習(xí)者學(xué)習(xí)過(guò)程中的生理指標(biāo)，通過(guò)傳感器跟蹤學(xué)習(xí)者的心率、腦波信號(hào)、血壓、皮膚電流反應(yīng)、皮膚溫度、血容量脈沖等信息。大腦、心臟、皮膚、呼吸系統(tǒng)是能夠獲取生理信號(hào)的主要器官，生理數(shù)據(jù)能夠反映出學(xué)習(xí)者的喚醒狀態(tài)和調(diào)節(jié)水平，因此，生理數(shù)據(jù)也是學(xué)習(xí)者重要的多模態(tài)數(shù)據(jù)來(lái)源。語(yǔ)音數(shù)據(jù)是指通過(guò)采集的學(xué)習(xí)者課堂發(fā)言、課堂提問(wèn)以及使用錄音筆或課堂錄播設(shè)備記錄的學(xué)習(xí)者在課堂中的討論和會(huì)話語(yǔ)音[9]。通過(guò)分析語(yǔ)音中基音頻率的變化，可以分析學(xué)習(xí)者的情感變化。心理數(shù)據(jù)則是通過(guò)學(xué)習(xí)者自我報(bào)告的方式，反映他們?cè)诨貞浐头此歼^(guò)程中的元認(rèn)知策略和動(dòng)機(jī)等特征。視頻數(shù)據(jù)則記錄了學(xué)習(xí)者的面部表情、手勢(shì)動(dòng)作等行為。

2.2 多模態(tài)特征提取

原始信息通常以混合狀態(tài)呈現(xiàn)，包含多模態(tài)信息，如學(xué)習(xí)者情感投入中的生理數(shù)據(jù)、語(yǔ)言數(shù)據(jù)和文本數(shù)據(jù)等。特征提取是指對(duì)學(xué)生情感的多模態(tài)數(shù)據(jù)進(jìn)行特征值計(jì)算與提取[10]，通過(guò)機(jī)器學(xué)習(xí)算法對(duì)學(xué)習(xí)者的文本信號(hào)、生理信號(hào)、語(yǔ)音信號(hào)和圖像信號(hào)分別提取情感特征，以構(gòu)建算法模型。因此，本研究構(gòu)建了多模態(tài)表征框架，旨在提取出學(xué)習(xí)者在基礎(chǔ)數(shù)據(jù)維度、認(rèn)知維度、情感維度、社交維度、行為維度等五個(gè)維度的特征值。具體來(lái)說(shuō)，多模態(tài)特征提取主要是構(gòu)建面向個(gè)性化學(xué)習(xí)的多模態(tài)特征識(shí)別框架，通過(guò)監(jiān)測(cè)智慧學(xué)習(xí)環(huán)境下學(xué)習(xí)者的文本、語(yǔ)音、圖像與生理信息，采集多維數(shù)據(jù)并進(jìn)行融合，提取與學(xué)習(xí)者特征相關(guān)的信息，探究學(xué)習(xí)者表征和內(nèi)隱狀態(tài)之間的潛在作用關(guān)系，分析學(xué)習(xí)者的認(rèn)知、情感、交互發(fā)展?fàn)顩r，進(jìn)而構(gòu)建基于多層次數(shù)據(jù)表征的精準(zhǔn)化學(xué)習(xí)者模型[11]。

本文整合了文本、生理、語(yǔ)音、心理、視頻數(shù)據(jù)五方面的多模態(tài)數(shù)據(jù)，并分別進(jìn)行了特征提取。文本數(shù)據(jù)常用的技術(shù)包括詞袋模型、詞頻和逆向文檔頻率（TF-IDF） 、Word2Vec等，這些技術(shù)旨在將文本轉(zhuǎn)化為機(jī)器學(xué)習(xí)算法可以處理的數(shù)值特征，提取字?jǐn)?shù)、識(shí)記標(biāo)記數(shù)量等統(tǒng)計(jì)特征[12]；同時(shí)，使用嵌入技術(shù)生成語(yǔ)義特征的詞向量特征，例如使用詞級(jí)預(yù)訓(xùn)練Transformer提取文本語(yǔ)義特征生成隱層特征。卷積神經(jīng)網(wǎng)絡(luò)（CNN） 在文本特征提取中也得到了廣泛應(yīng)用，經(jīng)過(guò)CNN處理的文本特征通常被送入全連接層進(jìn)行分類。生理數(shù)據(jù)則可以通過(guò)統(tǒng)計(jì)得出時(shí)域特征，采用時(shí)頻分析法提取時(shí)域特征和空間特征；語(yǔ)音數(shù)據(jù)提取的特征分為局部特征和全局特征，一般采用時(shí)頻轉(zhuǎn)換技術(shù)如傅里葉變換等方法，提取基頻特征和能量特征；視頻數(shù)據(jù)常用的特征提取技術(shù)包括尺度不變特征變換、方向梯度直方圖、卷積神經(jīng)網(wǎng)絡(luò)（CNN） 等，其中CNN能夠自動(dòng)學(xué)習(xí)特征表示，準(zhǔn)確率高。心理數(shù)據(jù)則利用主成分分析、因子分析等方法進(jìn)行處理。

2.3 多模態(tài)特征融合分析

多模態(tài)學(xué)習(xí)分析成為學(xué)習(xí)分析領(lǐng)域新的研究分支。多模態(tài)數(shù)據(jù)是來(lái)自多個(gè)實(shí)體信息的數(shù)據(jù)表示，包含圖片、音視頻或生理數(shù)據(jù)的張量或向量表示[13]。多模態(tài)特征融合是多模態(tài)學(xué)習(xí)分析常用方法，引入神經(jīng)網(wǎng)絡(luò)技術(shù)、深度學(xué)習(xí)、注意力機(jī)制等技術(shù)對(duì)文本特征、視覺特征、音頻特征等特征進(jìn)行關(guān)聯(lián)挖掘。卷積神經(jīng)網(wǎng)絡(luò)（CNN） 在文本特征提取廣泛應(yīng)用；音視頻特征提取方法有CNN、長(zhǎng)短期記憶網(wǎng)絡(luò)（LITM） ；視覺特征提取方法有尺度不變特征變換、CNN、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)等。多模態(tài)交互信息的融合是群學(xué)習(xí)者特征刻畫的關(guān)鍵環(huán)節(jié)，模態(tài)融合策略從簡(jiǎn)單集成發(fā)展為深度學(xué)習(xí)應(yīng)用，多模態(tài)數(shù)據(jù)融合方法有很多，可分為：特征級(jí)融合方法、決策級(jí)融合、基于張量融合等。在特征級(jí)融合方法中，可以將多模態(tài)數(shù)據(jù)特征集成一個(gè)特征；決策級(jí)融合先訓(xùn)練各個(gè)特征，獨(dú)立提取和分類，得到局部決策結(jié)果之后，再融合各個(gè)決策結(jié)果決策向量以獲得最終決策；基于張量融合首先提取單模態(tài)數(shù)據(jù)的特征向量，擴(kuò)展為高階張量（張量可看作向量高階擴(kuò)展），融合多模態(tài)信息的張量數(shù)據(jù)（學(xué)習(xí)者個(gè)人信息、語(yǔ)言、手勢(shì)、面部表情等），張量捕捉多模態(tài)數(shù)據(jù)中的動(dòng)態(tài)特性和模態(tài)間的相互關(guān)系。

3 基于學(xué)習(xí)者畫像的干預(yù)模型構(gòu)建

3.1 個(gè)性化學(xué)習(xí)路徑推薦

個(gè)性化學(xué)習(xí)路徑推薦是實(shí)現(xiàn)個(gè)性化教育的重要驅(qū)動(dòng)。通過(guò)挖掘、分析以及應(yīng)用深度學(xué)習(xí)等先進(jìn)技術(shù)，探尋并理解學(xué)習(xí)者的潛在學(xué)習(xí)模式，是實(shí)現(xiàn)精準(zhǔn)個(gè)性化學(xué)習(xí)路徑推薦的關(guān)鍵所在。個(gè)性化學(xué)習(xí)路徑是研究每個(gè)學(xué)習(xí)者的學(xué)習(xí)結(jié)果分析，設(shè)計(jì)滿足其學(xué)習(xí)需求的學(xué)習(xí)目標(biāo)，并提供符合其學(xué)習(xí)方式、認(rèn)知特點(diǎn)的學(xué)習(xí)內(nèi)容和學(xué)習(xí)活動(dòng)[14]。采集學(xué)習(xí)者的行為數(shù)據(jù)，使用學(xué)習(xí)分析和數(shù)據(jù)挖掘等技術(shù)，分析學(xué)習(xí)者的多模態(tài)特征，設(shè)計(jì)個(gè)性化學(xué)習(xí)路徑，有助于為學(xué)習(xí)者規(guī)劃學(xué)習(xí)路徑、提供個(gè)性化學(xué)習(xí)服務(wù)，學(xué)習(xí)者能夠沿著該學(xué)習(xí)路徑以最快速度達(dá)到學(xué)習(xí)任務(wù)要實(shí)現(xiàn)的學(xué)習(xí)目標(biāo)。本模型從多模態(tài)數(shù)據(jù)采集、特征提?。ㄎ谋咎卣魈崛?、音頻特征提取、視覺特征提?。⒍嗄B(tài)特征融合等方面對(duì)個(gè)性化學(xué)習(xí)路徑推薦技術(shù)進(jìn)行改進(jìn)。首先數(shù)據(jù)建模從學(xué)習(xí)者與行為、社會(huì)網(wǎng)絡(luò)、認(rèn)知、情感等維度多模態(tài)采集數(shù)據(jù)，挖掘?qū)W習(xí)狀態(tài)、特征、變化等；然后是特征提取，特征提取是構(gòu)建多模態(tài)學(xué)習(xí)者畫像重要的關(guān)鍵步驟，一般包括提取文本特征提取、音頻特征提取、視覺特征提取等；再是關(guān)聯(lián)挖掘、融合計(jì)算。學(xué)習(xí)者畫像構(gòu)建是提供精準(zhǔn)個(gè)性化服務(wù)的核心，最后，通過(guò)學(xué)習(xí)者畫像的分析結(jié)果按照學(xué)習(xí)者的個(gè)人需求的不同，精準(zhǔn)刻畫學(xué)習(xí)者的學(xué)習(xí)意圖，給學(xué)習(xí)者推薦個(gè)性化學(xué)習(xí)路徑，智能干預(yù)學(xué)習(xí)者，有效地進(jìn)行個(gè)性化學(xué)習(xí)。

3.2 基于畫像的智能預(yù)警動(dòng)態(tài)干預(yù)

通過(guò)挖掘和分析學(xué)習(xí)者多模態(tài)數(shù)據(jù)，精準(zhǔn)識(shí)別學(xué)習(xí)情況，預(yù)測(cè)潛在危機(jī)，給識(shí)別學(xué)習(xí)者不好的狀態(tài)提供干預(yù)，關(guān)注學(xué)生的個(gè)體差異，提供個(gè)性化預(yù)警和預(yù)警反饋，幫助學(xué)習(xí)者發(fā)現(xiàn)問(wèn)題，做出調(diào)整，構(gòu)建反饋邏輯和干預(yù)機(jī)制。多模態(tài)學(xué)習(xí)情感計(jì)算通過(guò)采集學(xué)習(xí)者各種信息（文本、語(yǔ)音、生理信號(hào)、面部表情、手勢(shì)和身體姿態(tài)）來(lái)識(shí)別情感狀態(tài)與反饋情感狀態(tài)，為學(xué)習(xí)者提供個(gè)性化導(dǎo)學(xué)策略。計(jì)算學(xué)習(xí)者情感，給學(xué)習(xí)者個(gè)性化的反饋，提供智能個(gè)性化服務(wù)，是教育大數(shù)據(jù)研究熱點(diǎn)。計(jì)算學(xué)習(xí)者情感，識(shí)別和分析，在人機(jī)協(xié)同機(jī)制下，為學(xué)習(xí)者匹配科學(xué)預(yù)警策略。

4 結(jié)束語(yǔ)

多模態(tài)學(xué)習(xí)數(shù)據(jù)極大地豐富了學(xué)習(xí)畫像，本研究基于多模態(tài)數(shù)據(jù)和學(xué)習(xí)者畫像，構(gòu)建學(xué)習(xí)者個(gè)性化服務(wù)模型；特別強(qiáng)調(diào)了多模態(tài)數(shù)據(jù)采集、多模態(tài)數(shù)據(jù)融合方法，個(gè)性化學(xué)習(xí)路徑推薦，多模態(tài)學(xué)習(xí)情感計(jì)算的研究。個(gè)性化學(xué)習(xí)路徑推薦為實(shí)施個(gè)性化學(xué)習(xí)資源推薦提供了更精確的學(xué)習(xí)者認(rèn)知水平導(dǎo)航；多模態(tài)學(xué)習(xí)情感計(jì)算，可通過(guò)學(xué)習(xí)者識(shí)別情感狀態(tài)與反饋情感狀態(tài)提升學(xué)生學(xué)習(xí)興趣與保持積極學(xué)習(xí)態(tài)度。后續(xù)研究將基于收集真實(shí)協(xié)作場(chǎng)景中的多模態(tài)數(shù)據(jù)，結(jié)合內(nèi)部要素表征，進(jìn)行學(xué)習(xí)者學(xué)習(xí)行為的精準(zhǔn)分析，科學(xué)有效地融合多模態(tài)數(shù)據(jù)，以實(shí)現(xiàn)多維度、立體化、動(dòng)靜結(jié)合的個(gè)性化學(xué)習(xí)推薦，實(shí)現(xiàn)智能教育精準(zhǔn)決策。