智慧學習環(huán)境下基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)設計與分析

黃慶雙

摘? 要： 學習預警是提升混合學習效果的有效手段，如何在智慧學習環(huán)境下，應用大數(shù)據(jù)、人工智能等新興技術實現(xiàn)學習預警，是混合學習領域亟待解決的首要問題。文章在梳理已有研究成果的基礎上，提出來由核心目標層、工具層、內容層、技術層和結果層組成的“五位一體”的學習預警系統(tǒng)總體設計框架，并在總體設計框架基礎上，提出基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)模型和干預機制過程模型。最后，對智慧學習環(huán)境下學習預警系統(tǒng)的設計開發(fā)提出了建議，以期為搭建智慧學習環(huán)境下的學習預警系統(tǒng)提供理論參考，為教學者實現(xiàn)個性化指導和精準教學搭建技術平臺。

關鍵詞： 智慧學習環(huán)境;多模態(tài);學習預警;混合學習;Hadoop

【Abstract】： Learning early warning is an effective measure to improve the effect of blended learning. It is the primary problem to be solved urgently in the field of blended learning， how to apply emerging technologies such as big data and artificial intelligence to realize learning early warning in the intelligent learning environment. Based on the related results， this paper proposed the overall design framework of “five-in-one” learning early warning system， which is composed of core objective layer， tool layer， content layer， technology layer and result layer. Based on the framework， the learning early warning system model and intervention mechanism model based on multimodal data are proposed. Finally， suggestions are put forward on the design of the learning early warning system in the intelligent learning environment. It is expected to provide theoretical reference for building a learning warning system in an intelligent learning environment and build a technical platform for teachers to realize personalized guidance and precise teaching.

【Key words】： Intelligent learning environment; Multimodal; Learning early warning; Blended learning; Hadoop

0? 引言

隨著云計算、大數(shù)據(jù)、人工智能技術的不斷發(fā)展，有效利用新興技術手段促進“學習測量”的精準性，已成為教育領域關注的熱點話題。2018年，《教育信息化2.0行動計劃》中強調，將云計算、大數(shù)據(jù)和人工智能等新技術深入到教育的方方面面。這標志著，未來的教育教學環(huán)境將走向智能化、智慧化，混合式學習、泛在學習等新型教學模式將被廣泛應用。在智慧學習環(huán)境下，開展混合學習，將為更好的實施混合學習創(chuàng)造了條件。但對于開展混合學習來說，環(huán)境建設是基礎，提升學習質量才是關鍵。如何充分利用智慧學習環(huán)境，結合大數(shù)據(jù)和人工智能的方法對混合學習過程中，學生的學習

狀態(tài)（包括認知、行為、情感方面）進行測量，盡早發(fā)現(xiàn)問題并及時進行干預，將是提升混合學習效果的關鍵。因此，本研究試圖探索智慧學習環(huán)境下，通過采集多模態(tài)數(shù)據(jù)，結合大數(shù)據(jù)、人工智能方法設計學生學習預警系統(tǒng)，以期通過模型設計為系統(tǒng)開發(fā)提供理論參考，為教育者實施“精準教學”和“精準施策”搭建平臺，更為學校實施教育教學改革，提升人才培養(yǎng)質量提供有效手段。

1? 學習預警系統(tǒng)研究現(xiàn)狀

為了全面了解國內外學習預警系統(tǒng)的研究現(xiàn)狀，筆者通過國內外知名數(shù)據(jù)庫檢索了2009年-2019年十年間相關研究成果。分別以“學習預警”、“學業(yè)預警”、“學業(yè)危機”“Learning Warning”、“Warning System for learning”、“early intervention”為關鍵詞，在中國知網(wǎng)、萬方數(shù)據(jù)庫、SpringerLink、Web of Science中進行搜索。剔除不相關文獻后，剩余研究文獻28篇。從已有研究成果看，目前，國內外關于學習預警的研究成果相對較少，主要成果集中在近五年，特別是在線學習、大數(shù)據(jù)、學習分析技術發(fā)展后，關于在線學習環(huán)境的學習預警研究呈顯著增長趨勢。通過對文獻進一步梳理發(fā)現(xiàn)，關于在線學習預警系統(tǒng)設計研究的主要內容包括三個部分：一是預警系統(tǒng)的數(shù)據(jù)來源。由傳統(tǒng)的易采集和測量的結構化數(shù)據(jù)，逐步發(fā)展為不易量化的半結構化、非結構化數(shù)據(jù)與結構化數(shù)據(jù)相結合的混合數(shù)據(jù)類型。如美國的普渡大學開發(fā)的課程信號系統(tǒng)CS（Course signals），主要通過課程分數(shù)、學生排名、學習管理系統(tǒng)數(shù)據(jù)、前期學習成績以及學生個人信息等結構化數(shù)據(jù)預測學生輟學風險以及努力程度[1]。金義富等人通過收集課程（知識點、作業(yè)情況等與課程相關的顯性數(shù)據(jù)）、課堂（通過監(jiān)控識別設備獲取學生聽課狀態(tài)、討論參與度、精力集中度等表情數(shù)據(jù)）、課外（鼠標點擊、學習時長等在線學習平臺數(shù)據(jù)以及身體狀況和社會系統(tǒng)數(shù)據(jù)等）數(shù)據(jù)，使用離群數(shù)據(jù)挖掘與分析方法，構建了“三位一體”的學習預警系統(tǒng)模型，并建立了兩類六級的信號預警系統(tǒng)及反饋機制[2]。二是數(shù)據(jù)的分析方法。隨著學習分析、數(shù)據(jù)挖掘和機器學習方法的不斷發(fā)展，深入挖掘大數(shù)據(jù)背后潛藏的奧秘，為實現(xiàn)精準的教學測評提供了依據(jù)。由美國Desire2Learn機構開發(fā)的學生成功系統(tǒng)（Student Success System）通過分析影響學生學習的主要因素，使用語義分析、學習分析技術判斷學生的學習狀態(tài)，對處于學習危機的學生，提供干預措施[3]。Marbouti等人通過調查學生課堂測試、

小組活動、家庭作業(yè)等數(shù)據(jù)，綜合使用邏輯回歸、神經(jīng)網(wǎng)絡、支持下向量機、決策樹和樸素貝葉斯等方法對學生學習進行預警，效果良好[4]。王均霞等人通過收集學生在知識測評時產(chǎn)生的數(shù)據(jù)，使用貝葉斯網(wǎng)絡的分析方法，對學生知識點學習情況進行預警[5];三是預警信息的呈現(xiàn)方式。隨著個性化推薦和可視化技術的發(fā)展，學習預警信息的呈現(xiàn)方式由最初的分級信號燈提醒方式，逐步發(fā)展為學習結果的可視化報告。如，王林麗等人，在對比分析國外典型的學習預警系統(tǒng)基礎上，提出了使用電子郵件、紅綠燈和儀表盤進行系統(tǒng)自動干預與教師和管理者人工干預混合的干預策略[6]。牟智佳等人通過采集混合學習環(huán)境中學習者的學習行為數(shù)據(jù)，通過數(shù)據(jù)整合和分析技術實現(xiàn)對大數(shù)據(jù)的動態(tài)分析，以數(shù)字、圖表、儀表盤燈可視化形式進行預警[7]。

從已有研究成果看，大數(shù)據(jù)等新興技術的發(fā)展為學習預警系統(tǒng)注入了新的活力，通過采集大數(shù)據(jù)，并對其進行挖掘和分析，能夠提升學習預警的精準性。但是，學習預警是個復雜的系統(tǒng)，隨著教學環(huán)境和技術的不斷發(fā)展，學習預警系統(tǒng)的數(shù)據(jù)來源、采集方式、存儲方式以及分析方式也在不斷發(fā)生變化。本研究在已有研究基礎上，以智慧學習環(huán)境為背景，通過數(shù)據(jù)采集工具獲取反映學生學習狀態(tài)的多模態(tài)數(shù)據(jù)，基于Hadoop平臺開發(fā)框架對數(shù)據(jù)進行存儲，結合深度學習算法進行數(shù)據(jù)分析與處理，對預警學生采用人機混合的方式進行干預，形成智慧學習環(huán)境下基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)。

2? 智慧學習環(huán)境下學習預警系統(tǒng)的功能框架

智慧學習環(huán)境是數(shù)字化學習環(huán)境的高端形態(tài)，是未來課堂教學環(huán)境發(fā)展的主要趨勢。智慧學習環(huán)境通過攝像頭、傳感器等數(shù)據(jù)采集工具，能夠實時獲取學生學習行為、狀態(tài)和結果數(shù)據(jù)，對實現(xiàn)細粒度精準的學習測量提供了技術工具。有效利用技術手段及時監(jiān)控學生在學習過程中的學習狀態(tài)，并采取有效措施進行干預，有助于提升學生的學習質量和學習效果。因此，有必要構建一個能夠及時監(jiān)測學生學習狀態(tài)的預警系統(tǒng)。

在構建學習預警系統(tǒng)之前，需要先厘清學習預警系統(tǒng)構建的目的是什么，實現(xiàn)預警系統(tǒng)需要具備哪些條件，從哪些維度進行預警，如何實現(xiàn)智能預警，以及如何呈現(xiàn)預警結果。結合這五個問題，本研究構建了智慧學習環(huán)境下“五位一體”的學習預警系統(tǒng)總體設計框架，如圖1所示。

2.1? 核心目標

學習預警系統(tǒng)設計的核心目標是系統(tǒng)架構的出發(fā)點和落腳點，它為系統(tǒng)其他組成部分的建立和實施指明了方向，使其他組成部分明確所做的一切工作都要圍繞這個核心目標進行。根據(jù)系統(tǒng)設計的初衷，學習預警系統(tǒng)的核心目標是提升學生學習效果，實現(xiàn)個性化指導，促進教師精準教學，提高院校人才培養(yǎng)質量。

2.2? 工具層

工具層是實現(xiàn)學習預警系統(tǒng)之前所需要考慮的準備工作。主要包括實現(xiàn)學習預警系統(tǒng)全過程數(shù)據(jù)采集和存儲所需的工具。對于數(shù)據(jù)采集工作，主要圍繞所需的不同維度數(shù)據(jù)進行采集。如對于在線學習平臺中的日志數(shù)據(jù)、點擊操作數(shù)據(jù)以及測試結果等數(shù)據(jù)的采集，一方面可以通過平臺的后臺管理系統(tǒng)獲取數(shù)據(jù)，另一方面可以使用專門的網(wǎng)絡爬蟲工具抓取所需數(shù)據(jù)。對于課程學習過程中，學生的學習狀態(tài)、社會交互和學習結果等多種類、多形式、多模態(tài)數(shù)據(jù)的采集，可以通過智慧教室錄播系統(tǒng)、網(wǎng)絡攝像頭等技術采集相應數(shù)據(jù)。為了更加精準的對學生進行預警，需要實時采集大量的結構化和非結構化數(shù)據(jù)，這就對數(shù)據(jù)存儲技術提出了新的要求。目前對于大數(shù)據(jù)存儲技術，主要使用Hadoop平臺中分布式文件存儲技術（HDFS），它能夠提供高吞吐量的應用程序訪問，并以流的方式訪問文件系統(tǒng)中的數(shù)據(jù)，特別適合處理大數(shù)據(jù)的運算和存儲。

2.3? 內容層

進行學習預警系統(tǒng)構建之前，除了考慮數(shù)據(jù)采集所需的工具，還要考慮能夠全面反映學生學習狀態(tài)的數(shù)據(jù)，進而通過系統(tǒng)的數(shù)據(jù)采集、分析與處理之后根據(jù)學生實際的學習狀態(tài)判斷是否對其進行預警。內容層是數(shù)據(jù)采集的理論依據(jù)，是進行數(shù)據(jù)分析和處理的理論基礎。如果內容層面考慮不全面，系統(tǒng)分析結果可能存在一定的偏差或片面。根據(jù)反映學生學習狀態(tài)的維度，內容層面主要圍繞學生的認知、行為和情感三個方面考慮影響學生學習的因素，并從這三個方面出發(fā)，以細粒度的方式收集相關變量。

2.4? 技術層

技術層是學習預警系統(tǒng)構建的核心和關鍵。技術層主要完成對數(shù)據(jù)的清理、篩選、整理和分析計算工作。通過多種類型數(shù)據(jù)的整合、計算處理之后，形成預警模型。當工具層獲取新數(shù)據(jù)到系統(tǒng)后，通過與預警模型進行比較，分析新輸入數(shù)據(jù)是否需要預警，為結果層提供判斷依據(jù)。技術層主要使用數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘、學習分析和機器學習等的相關技術方法，實現(xiàn)數(shù)據(jù)的分析、計算和處理。具體方法的選擇根據(jù)數(shù)據(jù)的類型、運算的速度、預警結合需求的不同選擇不同的算法。

2.5? 結果層

結果層是系統(tǒng)的輸出部分，是在數(shù)據(jù)采集工具獲取數(shù)據(jù)后，經(jīng)過系統(tǒng)內部數(shù)據(jù)的分析處理而得到的可視化效果。一方面可以呈現(xiàn)每個學習者個體學習狀態(tài)變化情況的可視化報告，另一方面可以呈現(xiàn)班級全體學生在內容層面各個維度的狀態(tài)報告。根據(jù)學習者個體和整體的學習狀態(tài)，系統(tǒng)通過技術層的模型計算，分析是否需要預警。如果需要預警，系統(tǒng)將對學習者個人以系統(tǒng)自動干預與人工干預相結合的方式進行干預。對于班級全體學生的學習狀態(tài)，教師將根據(jù)可視化分析結果進行人工干預。

3? 基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)模型設計與分析

3.1? 學習預警系統(tǒng)模型設計

傳統(tǒng)的學習預警系統(tǒng)多以分析在線學習過程中學習者的學習行為數(shù)據(jù)為主，對學生在學習過程中的學習狀態(tài)進行預警。而對于傳統(tǒng)的課堂學習來說，由于學習者在學習過程中的認知、行為、情感方面的數(shù)據(jù)采集不便，并且缺乏有效的方法進行數(shù)據(jù)分析與處理，因此，忽視了傳統(tǒng)課堂學習過程中學習者學習預警系統(tǒng)研究。智慧學習環(huán)境的出現(xiàn)，為實現(xiàn)線上、線下融合的混合學習過程中大數(shù)據(jù)的采集搭建了技術平臺。同時，隨著人工智能技術在教育領域的應用，使用深度學習分析方法對融合了多模態(tài)數(shù)據(jù)的建模提供了高效的數(shù)據(jù)分析方法。因此，本研究圍繞“五位一體”的總體設計框架，提出在智慧學習環(huán)境下，構建基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)模型，對在未來智慧學習環(huán)境中的學習過程監(jiān)控提供理論框架。其系統(tǒng)模型設計如圖2所示。

3.2? 學習預警系統(tǒng)模型分析

（1）數(shù)據(jù)來源

基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)的基礎是能夠獲取多種類型的數(shù)據(jù)資源。結合智慧學習環(huán)境下開展混合學習的特點，數(shù)據(jù)來源包含學生參與在線學習云平臺的學習行為數(shù)據(jù)，學生在智慧教室環(huán)境中產(chǎn)生的課堂學習過程數(shù)據(jù)以及在學校綜合信息管理系統(tǒng)中能夠反映學習個體特征的信息。在線學習云平臺中的學習過程數(shù)據(jù)的采集，一方面可以通過在線學習云平臺的后臺數(shù)據(jù)庫獲取所需的數(shù)據(jù)，另一方面還可以使用Scrapy等爬蟲工具爬取相關數(shù)據(jù)，以便后期的處理和加工。智慧教室可以使用智能錄播系統(tǒng)或網(wǎng)絡攝像頭等錄制課堂教學視頻，從課堂教學視頻中分離課堂學生學習狀態(tài)、行為及面部表情數(shù)據(jù)，以便進一步分析。此外，在監(jiān)測學生學習狀態(tài)時，除了學生在學習過程中的行為表現(xiàn)、情感變化、測評結果等數(shù)據(jù)之外，學生當下學習課程的先修課程以及相關課程學習情況，學生的學習風格以及心理狀態(tài)等因素都可能會對學生在學習過程中的學習狀態(tài)和效果產(chǎn)生一定的影響。因此，需要從學校綜合信息系統(tǒng)中采集相關數(shù)據(jù)以實現(xiàn)對學生學習狀態(tài)的精準預警。

（2）數(shù)據(jù)采集模塊

數(shù)據(jù)采集模塊是后期進行數(shù)據(jù)分析與處理的基礎，是整個系統(tǒng)正常運轉和影響分析結果有效性的關鍵環(huán)節(jié)。數(shù)據(jù)采集模塊主要通過數(shù)據(jù)來源層抽取能夠有效反映學習者在混合學習過程中學習狀態(tài)的數(shù)據(jù)。其中通過在線學習平臺獲取的數(shù)據(jù)主要包括平臺操作數(shù)據(jù)（視頻點擊數(shù)、視頻回放次數(shù)、學習時長）、社會交互數(shù)據(jù)（發(fā)帖量、回帖量、參與討論貼量、訪問聊天室次數(shù)）、測試結果數(shù)據(jù)（提交任務時間、任務完成情況、回答正確率）。這些數(shù)據(jù)主要反映學生者在在線學習過程中的投入程度。在課堂學習過程中，主要采集的數(shù)據(jù)包括：課堂聽課狀態(tài)數(shù)據(jù)（抬頭聽課時間、記筆記時間、看手機次數(shù)）、課堂互動數(shù)據(jù)（回答問題的次數(shù)、小組討論中發(fā)言次數(shù)、關注課堂講授持續(xù)時間）、課堂任務/測試數(shù)據(jù)（課堂任務完成度、任務/測試完成正確率等）和面部表情數(shù)據(jù)（高興、疑惑）。系統(tǒng)通過與學校綜合信息管理系統(tǒng)中對接，獲取學生個人的基本數(shù)據(jù)（學生個人基本信息、學習風格等）和課程相關信息（排名、掛科課程數(shù)、掛科課程與本課程相關度）以及學生心理狀態(tài)數(shù)據(jù)。

（3）數(shù)據(jù)存儲模塊

數(shù)據(jù)存儲模塊主要工作是為系統(tǒng)提供數(shù)據(jù)資源存儲的大數(shù)據(jù)倉庫。這些數(shù)據(jù)是數(shù)據(jù)采集模塊中的數(shù)據(jù)經(jīng)過數(shù)據(jù)清洗、轉換后存儲到數(shù)據(jù)倉庫中。但由于數(shù)據(jù)來源的多樣性，存儲到數(shù)據(jù)倉庫中的數(shù)據(jù)包含了傳統(tǒng)數(shù)據(jù)庫中的TXT或EXCEL數(shù)據(jù)、關系型數(shù)據(jù)以及一些非結構化數(shù)據(jù)，這些數(shù)據(jù)需要存放到不同類型的數(shù)據(jù)庫中。為了提升數(shù)據(jù)存儲和處理速度，滿足不同類型數(shù)據(jù)的需要。數(shù)據(jù)存儲模塊主要采用Hadoop軟件中的HDFS和HBase分布式數(shù)據(jù)存儲技術，方便后期數(shù)據(jù)頻繁的讀寫和快速的加工處理。

（4）數(shù)據(jù)處理模塊

對于分布式計算，主要使用Hadoop中MapReduce分布計算框架，同時結合Mahout技術，實現(xiàn)基于多模態(tài)數(shù)據(jù)的深度學習模型的建立。為了持續(xù)不斷的優(yōu)化模型，系統(tǒng)采用Spark技術實現(xiàn)離線模型訓練。在數(shù)據(jù)處理模塊中，最為重要的就是基于多模態(tài)數(shù)據(jù)深度學習模型設計。多模態(tài)數(shù)據(jù)的深度學習模型是實現(xiàn)學習預警系統(tǒng)的核心技術，模型算法的選擇直接影響到分析結果的可信度和有效性。本研究根據(jù)學習預警的目標以及數(shù)據(jù)采集的類型，主要使用卷積神經(jīng)網(wǎng)絡（CNN）和長短期記憶網(wǎng)絡（LSTM）算法，結合混合型多模態(tài)數(shù)據(jù)融合策略，構建基于多模態(tài)數(shù)據(jù)的深度學習模型。

（5）可視化分析模塊

可視化分析模塊是為用戶端提供可視化分析結果所提供的服務。該模塊主要使用Echarts技術實現(xiàn)數(shù)據(jù)分析結果的可視化。呈現(xiàn)的內容包括學生個人學習狀態(tài)變化和學生整體學習狀態(tài)的變化。呈現(xiàn)的方式以圖表、儀表盤和雷達圖的形式呈現(xiàn)。系統(tǒng)除了對學生個體和群體的學習狀態(tài)進行可視化分析之外，還通過數(shù)據(jù)分析處理層對收集到的學生學習相關數(shù)據(jù)進行比對判斷，分析學習者個體當前學習狀態(tài)是否需要預警。如果需要預警，系統(tǒng)根據(jù)采集到的數(shù)據(jù)，通過歸因分析引擎分析影響學生學習狀態(tài)的主要原因，以發(fā)送提醒信息、推送個性化學習資源、鼓勵等的方式顯示在學生應用的客戶端上（平板、可穿戴設備等），實現(xiàn)的系統(tǒng)自動的個性化干預。若干預措施未發(fā)揮作用，學習者仍處于低投入的學習狀態(tài)。需要發(fā)揮教師提醒或其個別指導作用，使學生盡快調整學習狀態(tài)，投入到課堂學習過程中。若是班級學生整體學習狀態(tài)均低于模型標準，那么就需要教師及時調整教學進度和教學策略，激發(fā)學生學習熱情，調動學生學習積極性。具體干預模型如圖3所示。

4? 小結與反思

本研究主要參考Hadoop技術框架，設計了智慧學習環(huán)境下，基于多模態(tài)數(shù)據(jù)的學習預警系統(tǒng)。該系統(tǒng)的構建為未來智慧學習環(huán)境中，搭建混合學習預警系統(tǒng)提供了理論參考，為教學者及時了解學生個體及整體的學習狀態(tài)，實施個性化指導、精準教學提供技術工具。但是，系統(tǒng)模型的設計畢竟是處于理想狀態(tài)，若真正開發(fā)實現(xiàn)，一方面在數(shù)據(jù)采集方面需要進行更為精準和細粒度的劃分，另一方面在數(shù)據(jù)分析層，基于多模態(tài)的深度學習模型是核心技術，需要在系統(tǒng)開發(fā)之前，進行大量的前期實驗和模型訓練，以提升預警結果的有效性。

參考文獻

[1]Arnold K E， Pistilli M D. Course signals at Purdue： Using learning analytics to increase student success[C]// International Conference on Learning Analytics & Knowledge. 2012.

[2]金義富， 吳濤， 張子石， 等. 大數(shù)據(jù)環(huán)境下學業(yè)預警系統(tǒng)設計與分析[J]. 中國電化教育， 2016（2）： 69-73.

[3]Essa A， Ayad H. Improving student success using predictive models and data visualisations[J]. Research in Learning Technology， 2012， 20（sup1）： 19191.

[4]Marbouti F， Diefes-Dux H A. & Madhavan， K. （2016）. Models for ear?ly prediction of at-risk students in a course using standards-basedgrading[J]. Computers & Education， 103， 1-15.

[5]王均霞， 俞壯， 牟智佳， 等. 學習測評大數(shù)據(jù)支撐下面向知識點的學習預警建模與仿真[J]. 現(xiàn)代遠距離教育， 2019（04）： 28-37.

[6]王林麗， 葉洋， 楊現(xiàn)民. 基于大數(shù)據(jù)的在線學習預警模型設計——“教育大數(shù)據(jù)研究與實踐專欄”之學習預警篇[J]. 現(xiàn)代教育技術， 2016， 26（07）： 5-11.

[7]牟智佳， 李雨婷， 嚴大虎. 混合學習環(huán)境下基于學習行為數(shù)據(jù)的學習預警系統(tǒng)設計與實現(xiàn)[J]. 遠程教育雜志， 2018， 36（03）： 55-63.