基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價模型的研究

黃慧

（三江學(xué)院計算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210012）

1 引言

新冠疫情自2020年在全球范圍內(nèi)暴發(fā)以來，一種新的教學(xué)模式――基于MOOC的在線學(xué)習(xí)在高校中被拉開序幕。

基于MOOC，學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)被逐一記錄下來，因此，在新的教學(xué)模式下，對學(xué)習(xí)者的學(xué)習(xí)評價也發(fā)生了根本的轉(zhuǎn)變。傳統(tǒng)的教學(xué)評價中，學(xué)習(xí)者的學(xué)習(xí)效果評價往往僅依賴于期末成績，是一種結(jié)果性的評價，缺乏全面性。然而，基于MOOC的在線學(xué)習(xí)，全面記錄了學(xué)習(xí)者的各項學(xué)習(xí)行為和學(xué)習(xí)過程，并形成了可供分析的學(xué)習(xí)數(shù)據(jù)，若將這些學(xué)習(xí)數(shù)據(jù)進(jìn)行采集整理，同時利用算法對數(shù)據(jù)進(jìn)行分析，從而產(chǎn)生對學(xué)習(xí)者學(xué)習(xí)效果的評價及建議，可促進(jìn)學(xué)習(xí)者學(xué)習(xí)的積極性，挖掘?qū)W習(xí)者的自身特性，從而實現(xiàn)因材施教。

近年來，基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價，國外學(xué)者們展開了較為深入的研究。文獻(xiàn)[1]指出，學(xué)習(xí)者學(xué)習(xí)效果的評價不應(yīng)局限于終結(jié)性的評價，還應(yīng)納入學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，產(chǎn)生過程性評價。文獻(xiàn)[2]針對MOOC上學(xué)習(xí)者的滿意度和參與度兩項數(shù)據(jù)進(jìn)行分析，研究學(xué)習(xí)者的學(xué)習(xí)效果。為獲取更為客觀的學(xué)習(xí)效果評價，文獻(xiàn)[3]將視頻觀看情況、作業(yè)完成情況等納入評價體系。此外，其他學(xué)者也基于論壇、討論區(qū)等數(shù)據(jù)展開了學(xué)習(xí)效果評價的研究[4-6]。同時，基于MOOC的學(xué)習(xí)效果評價也是國內(nèi)學(xué)者關(guān)注的熱點問題，在該方面的研究取得了一定的成果，產(chǎn)生了深遠(yuǎn)的影響。文獻(xiàn)[7-8]分別從課程參與度、視頻觀看數(shù)據(jù)等分析學(xué)業(yè)成績與其相關(guān)的程度。文獻(xiàn)[9]針對學(xué)習(xí)者特征、學(xué)習(xí)動機(jī)等多維度進(jìn)行分析，給出與學(xué)業(yè)成績相關(guān)的因素。

然而，學(xué)者們在學(xué)習(xí)效果評價研究上大多基于MOOC學(xué)習(xí)行為的一種或某幾種行為數(shù)據(jù)，分析的結(jié)果往往具備一定的片面性。同時，對于每一項學(xué)習(xí)行為，其影響最終學(xué)業(yè)成績的多少以及權(quán)值如何，目前還缺乏一定的研究。

基于此，本文的工作主要包含兩方面：

（1）綜合分析學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)，通過分析不同類別的學(xué)習(xí)行為產(chǎn)生學(xué)習(xí)效果評價指標(biāo)權(quán)重，最終形成基于MOOC的學(xué)習(xí)效果評價模型；

（2）基于形成的MOOC學(xué)習(xí)效果評價模型，結(jié)合學(xué)生行為的主客觀數(shù)據(jù)，通過算法以及數(shù)據(jù)挖掘的手段，對學(xué)習(xí)者的學(xué)習(xí)過程進(jìn)行跟蹤分析，產(chǎn)生個性化、過程性評價及建議，從而實現(xiàn)因材施教。

2 研究過程

基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價模型，將記錄學(xué)習(xí)者學(xué)習(xí)過程中所有的學(xué)習(xí)行為數(shù)據(jù)并設(shè)置權(quán)重，再通過算法分析，階段性地為學(xué)業(yè)完成困難者提出預(yù)警，為其他學(xué)習(xí)者提出合理化建議。從而最終對學(xué)習(xí)者形成客觀可靠的綜合性評價，促進(jìn)學(xué)生個性化的發(fā)展。

2.1 研究內(nèi)容

（1）構(gòu)建適用于MOOC的學(xué)習(xí)效果評價模型。對學(xué)習(xí)者學(xué)習(xí)行為進(jìn)行分析歸類，產(chǎn)生相應(yīng)的指標(biāo)權(quán)重，最終形成評價模型。

（2）通過信息化手段，形成學(xué)習(xí)者發(fā)展性評價以及個性化學(xué)習(xí)建議。采用數(shù)據(jù)挖掘相關(guān)算法，對學(xué)習(xí)行為數(shù)據(jù)加以分析，形成可供教師和學(xué)習(xí)者參考的學(xué)習(xí)效果評價、建議及預(yù)警等，使得評價結(jié)果更具全面性和系統(tǒng)性。

（3）研究成果的應(yīng)用和評估。檢驗研究所形成的MOOC學(xué)習(xí)效果評價模型的可操作性，不斷完善模型參數(shù)，更加全面、客觀地展示學(xué)生的學(xué)習(xí)效果和情況，為學(xué)習(xí)者個性化學(xué)習(xí)奠定良好的基礎(chǔ)。

2.2 研究思路和方法

研究思路為：以MOOC學(xué)習(xí)者的學(xué)習(xí)行為為研究對象，通過調(diào)研對學(xué)生者學(xué)習(xí)行為進(jìn)行分類，并設(shè)定不同的指標(biāo)權(quán)重，構(gòu)建適用于MOOC的學(xué)習(xí)效果評價模型；依據(jù)數(shù)據(jù)挖掘技術(shù)，對學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析，形成學(xué)習(xí)者個性化、發(fā)展性的評價意見。具體研究方法包含數(shù)據(jù)準(zhǔn)備、模型建立、信息化分析以及應(yīng)用實踐，具體如下：

數(shù)據(jù)準(zhǔn)備：從中國大學(xué)MOOC平臺獲取學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，采用數(shù)據(jù)清理方式將數(shù)據(jù)轉(zhuǎn)換為樣本數(shù)據(jù)集。

模型建立：采用討論、調(diào)研、比較的方式確定不同的學(xué)習(xí)行為的指標(biāo)權(quán)重，在此基礎(chǔ)上構(gòu)建學(xué)校效果評價模型。

信息化分析：采用數(shù)據(jù)挖掘算法等信息手段，對學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析，產(chǎn)生過程性評價，及時給出學(xué)習(xí)者相關(guān)學(xué)習(xí)建議及預(yù)警，實現(xiàn)有針對性的因材施教。

應(yīng)用實踐：將評價模型應(yīng)用于多門學(xué)科的實踐教學(xué)中，并不斷優(yōu)化模型參數(shù)，最終形成一個準(zhǔn)確性較高性能較好的評價模型，用于MOOC學(xué)習(xí)者學(xué)習(xí)效果評價。

2.3 研究框架

研究目標(biāo)為基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價，在此基礎(chǔ)上，通過文獻(xiàn)研究和調(diào)研獲得基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價研究現(xiàn)狀，通過學(xué)習(xí)行為分類及指標(biāo)權(quán)重、數(shù)據(jù)挖掘、模型迭代三種技術(shù)獲得基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價模型，產(chǎn)生對學(xué)習(xí)者評價及建議的方法，再通過實踐教學(xué)，對模型進(jìn)行驗證，優(yōu)化參數(shù)，從而產(chǎn)生合理的、客觀的學(xué)習(xí)效果評價方法。具體框架如圖1所示。

3 方法實現(xiàn)

方法實現(xiàn)由2部分組成：獲取最終評分以及產(chǎn)生學(xué)習(xí)評價。

3.1 獲取最終評分

首先，本文采用文獻(xiàn)[10]提出的“專家排序法”為MOOC上的各項行為產(chǎn)生權(quán)重?！皩＜遗判蚍ā本邆湟子诓僮?、結(jié)果客觀可靠的特點在評價體系中被廣泛采用。專家排序法需先確定專家數(shù)P和評價的指標(biāo)個數(shù)I，然后由專家為每個指標(biāo)從1至I進(jìn)行排序，再根據(jù)公式（1）計算出每個指標(biāo)的權(quán)值：

其中，Wi為第i項指標(biāo)的權(quán)重值，sum(Sort)為該項權(quán)重排序值的總和。在MOOC中，學(xué)習(xí)行為指標(biāo)主要分為視頻觀看、作業(yè)、討論、測驗以及期末考試。按照專家排序法以及公式（1），計算得到了這四項指標(biāo)的權(quán)重值，如表1所示。

圖1 基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評價框架

表1 學(xué)習(xí)行為指標(biāo)的權(quán)重值

每項學(xué)習(xí)行為總分為100分，說明如下：

（1）視頻觀看

根據(jù)以往數(shù)據(jù)經(jīng)驗，視頻觀看時間長度與學(xué)習(xí)效果正相關(guān)。具體來說，若學(xué)習(xí)者未觀看視頻，得分為0分；剩下學(xué)習(xí)者以視頻原時間長度為基準(zhǔn)，觀看時長等于原視頻長度，得分為80分；觀看時長超過原長度25%以內(nèi)，得分為90分；觀看時長超過原長度25%以上，得分為100分；觀看時長低于原長度25%以內(nèi)，得分為60；觀看時長低于原長度25%以上，得分為40分。

（2）作業(yè)

作業(yè)分為教師批改和同伴互評兩種。通常，教師批改獲得的分值較為客觀；而同伴互評是指基于教師給定的評價標(biāo)準(zhǔn)，學(xué)習(xí)者的作業(yè)被分配至其他學(xué)習(xí)者進(jìn)行評價的一種方式。同伴互評具有一定的主觀性，為了獲得可靠的評分，本文采用文獻(xiàn)[11]中的基于訓(xùn)練的同伴互評推薦策略進(jìn)行評分，該策略中，先對數(shù)據(jù)進(jìn)行訓(xùn)練，通過算法對每位學(xué)習(xí)者評價特征進(jìn)行分類，并將同類型的學(xué)習(xí)者作為推薦列表，教師根據(jù)列表選擇評價者的方式將互評者劃分為組，從而獲得更為客觀的評分?jǐn)?shù)據(jù)。

（3）討論

此項獲取的分值主要依賴于學(xué)習(xí)者討論參與度的情況。如課程設(shè)置了40個討論，學(xué)習(xí)者參與了其中10個討論，則討論參與度為25%。若討論參與度大于等于80%，得分為100分；討論參與度在60%~80%之間，得分為80分；討論參與度在40%~60%之間，得分為60分；討論參與度在10%~40%之間，得分為40分；討論參與度在0%~10%之間，得分為20分；未參與討論的學(xué)習(xí)者，得分為0分。

（4）測驗

此項按照不同測驗的重要程度劃分二級權(quán)重值，但二級權(quán)重值的和必須為1，總分仍為100分。

（5）期末考試

在MOOC中，每門課程設(shè)置了題庫，由系統(tǒng)隨機(jī)生成試題，每份試題的滿分值為100，根據(jù)學(xué)習(xí)者實際的考試成績得分。

學(xué)習(xí)者最終的評分由公式（2）獲得。

其中，Gradei表示第i位學(xué)生的最終評分，Itemj表示第i位學(xué)生的第j項學(xué)習(xí)行為指標(biāo)的得分，Wj表示第j項學(xué)習(xí)行為指標(biāo)的權(quán)重值。

3.2 產(chǎn)生學(xué)習(xí)評價

本小節(jié)使用數(shù)據(jù)挖掘相關(guān)算法對數(shù)據(jù)進(jìn)行分析，通過設(shè)置學(xué)習(xí)周期，為學(xué)習(xí)者評估學(xué)習(xí)效果，學(xué)習(xí)效果的評估如算法1所示。

算法1：

輸入：課程名，班級，時間段

輸出：評分，評價信息

1. Read Stu_Data into Student_Info;

2. DataClean();

3. FOREACH Student IN Student_Info

4. BEGIN

6.Generate_Suggestion(Student,G radei);

7.END

算法1中的1~2行先將MOOC中的學(xué)生數(shù)據(jù)讀入表Student_Info，并清洗表中的錯誤以及冗余數(shù)據(jù)以備分析；算法的3~7行按照各項學(xué)習(xí)行為的權(quán)重設(shè)置，為每位學(xué)習(xí)者計算綜合得分，并產(chǎn)生個性化建議。

其中，Generate_Suggestion()算法基于數(shù)據(jù)挖掘中的回歸分析方法，找出學(xué)生得分與潛在因素如課程參與度、積極性、觀看視頻長短等的關(guān)聯(lián)度，從而挖掘?qū)W生學(xué)習(xí)的特征，找出學(xué)業(yè)不佳的潛在因素，并提出預(yù)警。

算法2：Generate_Suggestion(Student,G radei)：

輸入：第i位學(xué)生信息，第i位學(xué)生的綜合成績

輸出：評價及建議信息

1. IF SCORE>80

2. Type=“學(xué)習(xí)積極者”;

3. ELSE IF SCORE>=60 AND SCORE<80

4. Type=“學(xué)習(xí)搖擺者”;

5. ELSE

6. Type=“學(xué)習(xí)預(yù)警者”;

7. IF TYPE=“學(xué)習(xí)預(yù)警者”

8. FOREACH I IN評分標(biāo)準(zhǔn)

9. BEGIN

10.IF I

11.BEGIN

12.RegressionAnalysis()

13.GetAdvice(評分)

14.END

15.END

算法2中的1~6行根據(jù)計算獲取得分，為學(xué)習(xí)者進(jìn)行分類，主要分為三類：學(xué)習(xí)積極者、學(xué)習(xí)搖擺者以及學(xué)習(xí)預(yù)警者。當(dāng)學(xué)習(xí)者為學(xué)習(xí)預(yù)警者類別時，則調(diào)用12行中的回歸分析算法分析每一項學(xué)習(xí)數(shù)據(jù)，并由13行根據(jù)評分給出學(xué)生學(xué)習(xí)建議。

3.3 應(yīng)用

將本文所提出方法在計算機(jī)科學(xué)與技術(shù)專業(yè)2020級的數(shù)據(jù)庫原理與應(yīng)用課程進(jìn)行實驗驗證。該課程采用了混合式教學(xué)，16周課時，共有372人選課。該課程包含43個視頻共計336分鐘，設(shè)置測驗和作業(yè)分別為9次，發(fā)布討論9個，期末考試1次。

組織學(xué)習(xí)者對課程進(jìn)行學(xué)習(xí)，學(xué)習(xí)過程中，實驗中將學(xué)生按綜合成績分為A和B兩組，兩組同學(xué)成績相當(dāng)，A組學(xué)生采用2種方式進(jìn)行評價，方式1基于本文提出的學(xué)習(xí)效果評價模型進(jìn)行評價，以2周為一個周期，當(dāng)評價結(jié)果為學(xué)習(xí)預(yù)警者時，則及時反饋學(xué)習(xí)者近2周的學(xué)習(xí)評價以及給出算法生成的建議，同時對于學(xué)習(xí)積極者給出表彰。方式2采用傳統(tǒng)的方式即期末考試成績進(jìn)行評價。B組學(xué)生在學(xué)習(xí)過程中，不干預(yù)學(xué)生的學(xué)習(xí)行為，僅采用方式2進(jìn)行評價。為了驗證實驗效果，本文進(jìn)行了3次實驗。

實驗1：選取4~10周的學(xué)習(xí)行為數(shù)據(jù)，對學(xué)習(xí)者的學(xué)習(xí)效果進(jìn)行了分析，分析結(jié)果如表2所示。分析發(fā)現(xiàn)，對于A組學(xué)習(xí)者而言，隨著學(xué)習(xí)的深入，學(xué)習(xí)積極者呈現(xiàn)增長趨勢，而學(xué)習(xí)預(yù)警者則逐步減少；而B組的結(jié)果有些不同，其中學(xué)習(xí)積極者變化不大，但學(xué)習(xí)預(yù)警者的比例逐漸增多，也意味著越來越多的學(xué)習(xí)搖擺者加入到這一行列。

表2 學(xué)習(xí)者學(xué)習(xí)效果比較

實驗2：將A組學(xué)習(xí)者的兩種評價方式進(jìn)行比較，分析發(fā)現(xiàn)，兩種評價方式得到的評價結(jié)果存在一定的分值差，其中92%的學(xué)習(xí)者分值差集中在5~20分內(nèi)，少數(shù)學(xué)習(xí)者的分值差分布在兩端，比較結(jié)果如表3所示。

表3 A組學(xué)習(xí)者的兩種評價方式比較

實驗3：對A組學(xué)習(xí)者進(jìn)行了問卷調(diào)查，調(diào)查問題主要涉及兩種評價方式哪種更為客觀，更接近本人的真實水平？調(diào)查結(jié)果顯示，絕大部分學(xué)習(xí)者更認(rèn)可方式1的評價方法，問卷調(diào)查結(jié)果如表4所示。

表4 問卷調(diào)查

實踐表明，本文所用方法能有效提高學(xué)習(xí)者學(xué)習(xí)效果，客觀反映了學(xué)習(xí)者的學(xué)習(xí)情況，體現(xiàn)了個性化學(xué)習(xí)的特征，為人才培養(yǎng)提供了理論依據(jù)及實踐路徑。

4 結(jié)語

本文基于MOOC，采集學(xué)習(xí)者所有學(xué)習(xí)行為數(shù)據(jù)，并通過權(quán)值以及數(shù)據(jù)挖掘算法對相關(guān)數(shù)據(jù)進(jìn)行分析，并對學(xué)習(xí)者產(chǎn)生個性化、發(fā)展性建議。實踐表明，本文提出的方法能有效提高學(xué)習(xí)者學(xué)習(xí)成績，更為全面、客觀地評價學(xué)習(xí)者的學(xué)習(xí)效果。