基于增量學(xué)習(xí)算法的混合課程學(xué)生成績預(yù)測模型研究

羅楊洋　韓錫斌

[摘? ?要] 基于在線學(xué)習(xí)行為預(yù)測學(xué)生成績可以輔助教師動態(tài)掌握學(xué)情，制定差異化的教學(xué)策略，然而在混合課程中僅僅依據(jù)在線數(shù)據(jù)對學(xué)生成績進(jìn)行預(yù)測難度很大，尚處于探索中。文章選取某高校2018秋季學(xué)期和2020春季學(xué)期的“高活躍型混合課程”學(xué)生在線行為數(shù)據(jù)，采用增量學(xué)習(xí)的隨機(jī)森林算法構(gòu)建學(xué)生成績預(yù)測模型，研究發(fā)現(xiàn)：（1）增量學(xué)習(xí)隨機(jī)森林算法在混合課程樣本最多的數(shù)據(jù)集中，獲得預(yù)測結(jié)果準(zhǔn)確率最高（75.1%）;（2）相較于批量學(xué)習(xí)隨機(jī)森林算法，增量學(xué)習(xí)算法在數(shù)據(jù)樣本量較多的數(shù)據(jù)集中預(yù)測結(jié)果準(zhǔn)確率更高;（3）當(dāng)樣本數(shù)量達(dá)到一定規(guī)模后，預(yù)測結(jié)果準(zhǔn)確率波動減小、穩(wěn)定性增強(qiáng)。本研究采用增量學(xué)習(xí)隨機(jī)森林算法預(yù)測混合課程中的學(xué)生成績，不僅取得了較好的預(yù)測準(zhǔn)確率，而且解決了新增數(shù)據(jù)后模型的穩(wěn)定性問題，將有助于模型的迭代優(yōu)化，提高模型的通用性，以及可持續(xù)追蹤學(xué)生在不同學(xué)期的學(xué)習(xí)行為特征。

[關(guān)鍵詞] 學(xué)生成績預(yù)測; 混合課程; 增量學(xué)習(xí)算法; 隨機(jī)森林算法; 機(jī)器學(xué)習(xí)

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 羅楊洋（1989—），男，四川彭州人。博士研究生，主要從事高等教育和職業(yè)教育學(xué)習(xí)分析。E-mail：yy-luo17@mails.tsinghua.edu.cn。

一、引? ?言

結(jié)合了在線和面授教學(xué)優(yōu)勢的混合課程已成為高等教育機(jī)構(gòu)中廣為應(yīng)用的教學(xué)形式。使用網(wǎng)絡(luò)教學(xué)平臺中記錄的學(xué)生學(xué)習(xí)過程數(shù)據(jù)，預(yù)測學(xué)生學(xué)習(xí)成績，輔助教師分析學(xué)情，制定教學(xué)策略，預(yù)警學(xué)生學(xué)習(xí)狀態(tài)是近年來混合課程研究領(lǐng)域的熱點(diǎn)[1]。然而混合課程的交互機(jī)制導(dǎo)致對學(xué)生成績進(jìn)行預(yù)測是一項(xiàng)十分具有挑戰(zhàn)性的研究[2]。研究者在混合課程情境下構(gòu)建學(xué)生成績預(yù)測模型涉及預(yù)測變量選擇、預(yù)測變量預(yù)處理、機(jī)器學(xué)習(xí)算法選擇、訓(xùn)練樣本選擇等問題[3-4]。雖然已有研究通過收集一門混合課程中學(xué)生的在線學(xué)習(xí)數(shù)據(jù)，使用機(jī)器學(xué)習(xí)算法構(gòu)建學(xué)習(xí)成績預(yù)測模型，并取得了可接受的預(yù)測結(jié)果準(zhǔn)確率[5-7]，發(fā)現(xiàn)了對學(xué)習(xí)成績預(yù)測準(zhǔn)確率較高的預(yù)測變量、預(yù)處理方法及機(jī)器學(xué)習(xí)算法。然而這些研究沒有討論訓(xùn)練樣本的選擇問題。訓(xùn)練樣本的數(shù)量及特征對機(jī)器學(xué)習(xí)算法，特別是增量學(xué)習(xí)算法構(gòu)建的預(yù)測模型有顯著影響[8]。

另一方面，當(dāng)前學(xué)者們提出的混合課程中學(xué)習(xí)成績預(yù)測模型都基于批量學(xué)習(xí)方式構(gòu)建，這種方法有利于分析整個(gè)樣本中的整體特征，構(gòu)建樣本的特征變量與結(jié)果變量之間的關(guān)系，但是得到的模型無法再接受新數(shù)據(jù)，不利于將已構(gòu)建好的預(yù)測模型應(yīng)用到其他課程[9]。相對于批量學(xué)習(xí)，增量學(xué)習(xí)方式的機(jī)器學(xué)習(xí)算法有望解決上述問題，且在完全在線課程的學(xué)習(xí)成績預(yù)測研究中已有應(yīng)用[10]。本文旨在采用增量學(xué)習(xí)隨機(jī)森林算法，構(gòu)建混合課程中的學(xué)生成績預(yù)測模型，比較增量學(xué)習(xí)和批量學(xué)習(xí)方式分類算法預(yù)測結(jié)果準(zhǔn)確率的差異，分析混合課程中基于增量學(xué)習(xí)構(gòu)建模型預(yù)測結(jié)果的穩(wěn)定性。

二、文獻(xiàn)綜述

當(dāng)前在混合課程情境下對學(xué)生成績的預(yù)測研究大多在一門課程中采用批量學(xué)習(xí)方式的機(jī)器學(xué)習(xí)算法，分析學(xué)生學(xué)習(xí)的整個(gè)歷史過程數(shù)據(jù)，構(gòu)建學(xué)生成績預(yù)測模型[5-7]。在應(yīng)用到實(shí)踐教學(xué)中時(shí)，批量學(xué)習(xí)算法構(gòu)建的預(yù)測模型會因模型無法接收新數(shù)據(jù)而受到阻礙。雖有少量研究者嘗試使用增量學(xué)習(xí)方法構(gòu)建學(xué)生成績預(yù)測模型，但還局限在完全在線課程中[10-11]。增量學(xué)習(xí)方法在訓(xùn)練大量非平衡數(shù)據(jù)時(shí)會出現(xiàn)構(gòu)建的預(yù)測模型結(jié)果準(zhǔn)確率不穩(wěn)定的問題，雖然已有研究探索了提升增量學(xué)習(xí)方法訓(xùn)練非平衡樣本和大規(guī)模樣本（樣本數(shù)量大于1000）所獲預(yù)測模型結(jié)果穩(wěn)定性和準(zhǔn)確率的問題[8，12-13]，但數(shù)據(jù)樣本的特征及樣本的數(shù)量對增量方法構(gòu)建預(yù)測模型產(chǎn)生的影響仍不清楚。本文研究在使用最新的增量學(xué)習(xí)方式的機(jī)器學(xué)習(xí)算法基礎(chǔ)上，分析混合課程情境下，利用學(xué)生學(xué)習(xí)過程數(shù)據(jù)構(gòu)建學(xué)生成績預(yù)測模型時(shí)，學(xué)生樣本數(shù)量和樣本特征產(chǎn)生的影響。目前，使用增量學(xué)習(xí)方式的機(jī)器學(xué)習(xí)算法構(gòu)建混合課程中的學(xué)生成績預(yù)測模型主要涉及兩個(gè)方面：混合課程學(xué)生成績預(yù)測研究和增量學(xué)習(xí)方式的算法在學(xué)生成績預(yù)測研究中的應(yīng)用。

（一）混合課程學(xué)生成績預(yù)測研究進(jìn)展

當(dāng)前混合課程中預(yù)測學(xué)生的學(xué)習(xí)成績方法一般借鑒完全在線課程中的預(yù)測方法，即收集學(xué)生的歷史學(xué)習(xí)過程數(shù)據(jù)作為預(yù)測變量，收集學(xué)生的學(xué)習(xí)成績數(shù)據(jù)作為結(jié)果變量，通過機(jī)器學(xué)習(xí)的分類算法建立學(xué)習(xí)成績預(yù)測模型，進(jìn)而采用預(yù)測模型預(yù)測學(xué)生未來的學(xué)習(xí)成績[4]。許多學(xué)者在混合課程中大多都基于隨機(jī)森林算法，使用一門課程中學(xué)生的學(xué)習(xí)行為數(shù)據(jù)構(gòu)建學(xué)生成績預(yù)測模型[5-7]。然而這些研究中使用的機(jī)器學(xué)習(xí)算法以批量學(xué)習(xí)方式處理數(shù)據(jù)，批量學(xué)習(xí)是指在構(gòu)建模型時(shí)將所有樣本一次性全部輸入[14]。這種方法有利于分析整個(gè)樣本中的整體特征，預(yù)測結(jié)果準(zhǔn)確率較為穩(wěn)定，而且有大量已實(shí)現(xiàn)的機(jī)器學(xué)習(xí)算法使用批量學(xué)習(xí)的數(shù)據(jù)處理方式，便于教育研究者直接應(yīng)用，但是使用批量學(xué)習(xí)方式得到的預(yù)測模型無法再接收新數(shù)據(jù)[15]，從而影響模型的迭代優(yōu)化。另一方面，一次性輸入學(xué)生的所有歷史學(xué)習(xí)過程數(shù)據(jù)構(gòu)建學(xué)生成績預(yù)測模型的研究方式，也無法分析新增學(xué)生樣本對預(yù)測結(jié)果帶來的影響，不利于將已構(gòu)建好的預(yù)測模型應(yīng)用到其他課程，也不利于持續(xù)追蹤學(xué)生在不同學(xué)期的學(xué)習(xí)行為特征[9]。學(xué)習(xí)者在不同混合課程中并不會保持相同的學(xué)習(xí)行為特征，在本團(tuán)隊(duì)以往的研究中發(fā)現(xiàn)，學(xué)生在不同類型的混合課程中，其學(xué)習(xí)行為數(shù)據(jù)對學(xué)習(xí)成績的預(yù)測準(zhǔn)確率具有較大差異[16]。因此要發(fā)現(xiàn)一門混合課程中學(xué)生群體的個(gè)性化行為特征與學(xué)習(xí)成績的預(yù)測關(guān)系，需要使用該混合課程的數(shù)據(jù)不斷訓(xùn)練學(xué)習(xí)成績預(yù)測模型。為此，當(dāng)前亟須研究如何以增量學(xué)習(xí)數(shù)據(jù)處理方式的機(jī)器學(xué)習(xí)算法，在混合課程情境下構(gòu)建學(xué)習(xí)成績預(yù)測模型。增量學(xué)習(xí)是每當(dāng)有新的訓(xùn)練數(shù)據(jù)輸入時(shí)，機(jī)器學(xué)習(xí)算法便根據(jù)新數(shù)據(jù)調(diào)整已構(gòu)建模型的機(jī)器學(xué)習(xí)方法。與傳統(tǒng)學(xué)習(xí)方法最大的區(qū)別是增量學(xué)習(xí)方法不假設(shè)構(gòu)建模型前就具有完備的訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)會在算法運(yùn)行過程中隨時(shí)間推移不斷出現(xiàn)[17]。

批量學(xué)習(xí)與增量學(xué)習(xí)數(shù)據(jù)處理方式的機(jī)器學(xué)習(xí)算法構(gòu)建模型過程差異如圖1所示。

綜上所述，當(dāng)前在混合課程中基于學(xué)生在線行為預(yù)測學(xué)習(xí)成績的研究都是基于批量學(xué)習(xí)數(shù)據(jù)處理方式的機(jī)器學(xué)習(xí)算法構(gòu)建預(yù)測模型，這種方法便于實(shí)現(xiàn)，能獲得所有樣本的整體特征，預(yù)測結(jié)果準(zhǔn)確率較為穩(wěn)定。然而這種方法也存在模型無法接收新數(shù)據(jù)，不利于模型的迭代優(yōu)化，不利于將已構(gòu)建好的預(yù)測模型應(yīng)用到其他課程，也不利于持續(xù)追蹤學(xué)生在不同學(xué)期的學(xué)習(xí)行為特征的問題。相對于批量學(xué)習(xí)方式處理數(shù)據(jù)的機(jī)器學(xué)習(xí)算法，增量學(xué)習(xí)的方式有望解決上述問題，構(gòu)建可持續(xù)追蹤學(xué)生學(xué)習(xí)過程的成績預(yù)測模型。

（二）增量學(xué)習(xí)方式在學(xué)生成績預(yù)測研究中的應(yīng)用

增量學(xué)習(xí)方式的機(jī)器學(xué)習(xí)算法主要包含以下四種特征：（1） 可從新數(shù)據(jù)中提取知識;（2） 將數(shù)據(jù)加入到模型中學(xué)習(xí)時(shí)不需構(gòu)建原始模型的原始數(shù)據(jù);（3） 新數(shù)據(jù)中的知識不會覆蓋原始模型的知識;（4） 當(dāng)新數(shù)據(jù)中包含的知識與原始模型沖突或超出原始模型時(shí)仍可被學(xué)習(xí)到新模型中[18]。通過增量學(xué)習(xí)方式生成的模型可根據(jù)新加入的訓(xùn)練數(shù)據(jù)不斷擴(kuò)展，代表了動態(tài)學(xué)習(xí)的技術(shù)。有研究者指出，隨著學(xué)生在各種網(wǎng)絡(luò)教學(xué)平臺中產(chǎn)生的學(xué)習(xí)過程數(shù)據(jù)不斷增長，學(xué)習(xí)者的學(xué)習(xí)過程不會中斷，無法斷言在某一時(shí)刻收集的數(shù)據(jù)能覆蓋該學(xué)習(xí)者的所有特征。批量學(xué)習(xí)方式的成績預(yù)測模型構(gòu)建的是學(xué)習(xí)者在一段時(shí)間內(nèi)，學(xué)習(xí)過程與學(xué)習(xí)結(jié)果的預(yù)測關(guān)系。研究者通常難以判斷這種預(yù)測關(guān)系在未來多長時(shí)間內(nèi)有效，當(dāng)前最成熟學(xué)習(xí)成績預(yù)測模型應(yīng)用仍限于危機(jī)學(xué)生的分辨方面[19]。要充分發(fā)揮學(xué)生成績預(yù)測模型為師生教學(xué)決策帶來的輔助作用，構(gòu)建動態(tài)分析學(xué)習(xí)者學(xué)習(xí)過程并預(yù)測學(xué)習(xí)結(jié)果的模型必不可少。研究者應(yīng)用增量學(xué)習(xí)方式開展學(xué)生成績預(yù)測在少量完全在線教學(xué)案例中有過實(shí)踐，如Kulkarni & Ade的研究中對比了樸素貝葉斯、K星、IBK和K最鄰近算法，發(fā)現(xiàn)K最鄰近算法的預(yù)測結(jié)果準(zhǔn)確率最高[11]。然而該研究中只對比了增量學(xué)習(xí)算法之間的預(yù)測結(jié)果準(zhǔn)確率，增量算法與批量算法的預(yù)測結(jié)果準(zhǔn)確率差異沒有對比。在Ade & Deshmukh的研究中發(fā)現(xiàn)增量學(xué)習(xí)算法對學(xué)生成績進(jìn)行預(yù)測時(shí)結(jié)果準(zhǔn)確率隨樣本增加而波動，且不會收斂到固定值，因此分析學(xué)生樣本特征對增量學(xué)習(xí)算法建模預(yù)測結(jié)果的影響也是需要研究的重要問題[20]。還有Sanchez-Santillan等人分析了使用增量學(xué)習(xí)算法構(gòu)建了兩學(xué)期的學(xué)生成績的預(yù)測模型，在分別使用兩學(xué)期數(shù)據(jù)及兩學(xué)期數(shù)據(jù)合并三種數(shù)據(jù)集訓(xùn)練的預(yù)測模型后發(fā)現(xiàn)，當(dāng)其中一學(xué)期的預(yù)測結(jié)果準(zhǔn)確率下降時(shí)會導(dǎo)致數(shù)據(jù)合并后的預(yù)測結(jié)果準(zhǔn)確率下降[10]。

然而上述研究均在完全在線課程中開展，當(dāng)前尚未發(fā)現(xiàn)有使用增量學(xué)習(xí)方式算法，分析混合課程中學(xué)生學(xué)習(xí)過程數(shù)據(jù)，預(yù)測學(xué)習(xí)成績的研究。增量學(xué)習(xí)方式能夠滿足教學(xué)場景中對學(xué)生動態(tài)、持續(xù)建模的需求，但使用增量學(xué)習(xí)算法預(yù)測混合課程中的學(xué)生成績?nèi)悦媾R巨大挑戰(zhàn)。主要表現(xiàn)在兩個(gè)方面：（1）增量學(xué)習(xí)方式的算法面對非平衡數(shù)據(jù)時(shí)難以取得較好預(yù)測結(jié)果;（2）增量學(xué)習(xí)方式的算法存在預(yù)測結(jié)果準(zhǔn)確率不穩(wěn)定的問題，主要由新加入的數(shù)據(jù)特征沒有被算法識別引起[18]。該問題在近年來隨機(jī)森林算法的增量學(xué)習(xí)研究中取得了較大改善，為本研究奠定了基礎(chǔ)[8]。在混合課程使用中增量學(xué)習(xí)方式的算法構(gòu)建學(xué)生成績預(yù)測模型還需分析樣本特征對預(yù)測結(jié)果的影響。

三、研究問題及研究方法

綜合前述文獻(xiàn)分析結(jié)果，提出以下研究問題：

研究問題1：使用增量學(xué)習(xí)與批量學(xué)習(xí)方式的算法構(gòu)建的成績預(yù)測模型結(jié)果準(zhǔn)確率有何差異？

研究問題2：混合課程中的樣本特征對增量學(xué)習(xí)構(gòu)建的成績預(yù)測模型結(jié)果準(zhǔn)確率有何影響？

在本團(tuán)隊(duì)以往的研究中，收集了某大學(xué)2018年秋季學(xué)期的全部混合課程數(shù)據(jù)，依據(jù)學(xué)生行為聚類特征進(jìn)行了混合課程分類，發(fā)現(xiàn)只有在“高活躍型混合課程”中使用批量學(xué)習(xí)方式的算法才可以獲得可接受的預(yù)測結(jié)果準(zhǔn)確率[16]?！案呋钴S型混合課程”的特征是課程有50%以上學(xué)生的學(xué)習(xí)行為數(shù)據(jù)均值較高，標(biāo)準(zhǔn)差較大，線上學(xué)習(xí)的個(gè)性化水平較高，且每門課程所包含的學(xué)生數(shù)量大體相似。

本文在此基礎(chǔ)上進(jìn)一步收集了同一所大學(xué)2020年春季學(xué)期的全部混合課程數(shù)據(jù)，依照本團(tuán)隊(duì)以往研究的混合課程分類方法進(jìn)行分類，使用增量學(xué)習(xí)方式，比較在不同規(guī)模數(shù)據(jù)集時(shí)，構(gòu)建學(xué)習(xí)成績預(yù)測模型的結(jié)果，構(gòu)建過程中同樣只選擇“高活躍型混合課程”中的數(shù)據(jù)進(jìn)行比較。研究流程如圖2所示。

本文在構(gòu)建模型時(shí)采用具有較高預(yù)測結(jié)果準(zhǔn)確率的隨機(jī)森林算法，該算法批量學(xué)習(xí)方式的預(yù)測結(jié)果準(zhǔn)確率得到多項(xiàng)研究的驗(yàn)證[5-6，21-22]。為方便比較，同時(shí)采用了隨機(jī)森林的增量學(xué)習(xí)方式。據(jù)Genuer等人的研究，最新的隨機(jī)森林的增量學(xué)習(xí)方式OnRF包含了超參數(shù)，對非平衡數(shù)據(jù)可獲得較高的預(yù)測結(jié)果準(zhǔn)確率，并且在Python上已被實(shí)現(xiàn)，可以直接使用[12]。相較于其他算法的增量學(xué)習(xí)方式，OnRF隨機(jī)森林算法近年來經(jīng)過研究者們的不斷優(yōu)化，在算法魯棒性、接收數(shù)據(jù)的非平衡性等方面有了較大提升[23]。

（一）研究對象和場景

根據(jù)研究團(tuán)隊(duì)以往的數(shù)據(jù)采集和處理，某高校2018年秋季學(xué)期的“高活躍型混合課程中”有22門，包括2348名學(xué)生。所有學(xué)生采用優(yōu)慕課R“綜合教學(xué)平臺V9”網(wǎng)絡(luò)教學(xué)平臺開展混合學(xué)習(xí)的線上部分。學(xué)生在選課系統(tǒng)中選擇混合課程后會被告知注意事項(xiàng)，包括學(xué)生使用該平臺出現(xiàn)問題，平臺支持的混合學(xué)習(xí)活動形式，平臺會記錄學(xué)生在登錄系統(tǒng)后發(fā)生的所有操作等。學(xué)生在每門混合課程結(jié)束后，教師會根據(jù)學(xué)生的線上、線下學(xué)習(xí)參與及課程最終測試結(jié)果為學(xué)生評分。本研究將百分制的學(xué)生評分轉(zhuǎn)換成了5個(gè)等級，轉(zhuǎn)換規(guī)則為學(xué)生成績?yōu)?0～100分之間時(shí)將其劃分為A，學(xué)生成績?yōu)?0～89分之間時(shí)將其劃分為B，學(xué)生成績?yōu)?0～79分之間時(shí)將其劃分為C，學(xué)生成績?yōu)?0～69分之間時(shí)將其劃分為D，以及最后學(xué)生成績在60分以下時(shí)將其劃分為F。

本研究將學(xué)生在網(wǎng)絡(luò)教學(xué)平臺上的在線學(xué)習(xí)行為作為學(xué)習(xí)過程，學(xué)生的最終成績作為學(xué)習(xí)結(jié)果。進(jìn)而獲得用于構(gòu)建學(xué)生成績預(yù)測模型的各變量（見表1）。

（二）研究方法和步驟

為對比增量學(xué)習(xí)方式在不同規(guī)模數(shù)據(jù)中的預(yù)測成效，比較增量學(xué)習(xí)和批量學(xué)習(xí)方式的預(yù)測結(jié)果準(zhǔn)確率，本研究對收集的某高校2020年春季學(xué)期混合課程數(shù)據(jù)進(jìn)行了分類處理，沿用Luo 等人提出的方法[16]，獲得了51門“高活躍型混合課程”，包含4840名學(xué)生（分類方法流程圖如圖3所示）。

在對2020年春季學(xué)期混合課程分類后，本研究對2020年春季學(xué)期“高活躍型混合課程”中的學(xué)生在線行為數(shù)據(jù)和學(xué)習(xí)成績進(jìn)行了探索。通過學(xué)生在線行為數(shù)據(jù)預(yù)測學(xué)習(xí)成績的基礎(chǔ)是學(xué)生在線行為與學(xué)習(xí)成績具有相關(guān)關(guān)系。當(dāng)同一課程中存在不同類型學(xué)生，但學(xué)生成績沒有顯著差異時(shí)，說明該課程中學(xué)生在線行為數(shù)據(jù)與學(xué)習(xí)成績數(shù)據(jù)沒有相關(guān)關(guān)系。在預(yù)處理時(shí)刪除所有此類課程。另外，結(jié)果變量中各等級成績的分布也會影響預(yù)測模型的結(jié)果準(zhǔn)確率[24]。本文探索了兩學(xué)期“高活躍型混合課程”中各成績的學(xué)生人數(shù)占比（如圖4所示）。

從圖4中可知，2020年春季學(xué)期與2018年秋季學(xué)期相比，成績?yōu)锳和B的學(xué)生人數(shù)占比變動較大，其中成績?yōu)锳的學(xué)生占比上升了18.18%，成績?yōu)锽的學(xué)生占比下降了10.65%。另外成績?yōu)镃的學(xué)生占比下降了5.51%，成績?yōu)镈和F的學(xué)生占比變動并未超過5%。

根據(jù)圖2所示的研究步驟，本文分別使用批量學(xué)習(xí)方式的隨機(jī)森林算法和增量學(xué)習(xí)方式的隨機(jī)森林算法對2018年秋季學(xué)期、2020年春季學(xué)期以及兩學(xué)期合并后的“高活躍型混合課程”學(xué)生數(shù)據(jù)建立成績預(yù)測模型。在構(gòu)建預(yù)測模型過程中，采用超參數(shù)調(diào)試（Hyper-parameter Tuning）方法為隨機(jī)森林的兩種學(xué)習(xí)方法分別設(shè)定最優(yōu)參數(shù)。使用交叉驗(yàn)證方法分析隨機(jī)森林算法的兩種模型學(xué)習(xí)方法分別對三類數(shù)據(jù)集構(gòu)建的預(yù)測模型。本文所分析的學(xué)生成績是5級定類變量，是一個(gè)多分類預(yù)測問題。因此，本文采用了適用于多分類預(yù)測問題的評價(jià)指標(biāo)，采用指標(biāo)包括平均準(zhǔn)確率（Avg. Accuracy）、權(quán)重準(zhǔn)確率（Weighted Accuracy）、平均查全率（Avg. Recall）、權(quán)重查全率（Weighted Recall），宏F1值以及權(quán)重F1值為評價(jià)指標(biāo)[25]。另外，增量學(xué)習(xí)方式算法的預(yù)測準(zhǔn)確率隨樣本輸入變化，本文采用平均預(yù)測準(zhǔn)確率作為評價(jià)增量學(xué)習(xí)方式算法預(yù)測結(jié)果的指標(biāo)。預(yù)測結(jié)果評價(jià)的計(jì)算公式見表2。

在表2中，i表示學(xué)生成績分類，分別是A、B、C、D、F，當(dāng)i=A時(shí)，TPA表示預(yù)測結(jié)果為A，實(shí)際成績也為A的學(xué)生，TNA表示預(yù)測結(jié)果為非A時(shí)與真實(shí)結(jié)果也為非A的樣本數(shù)，F(xiàn)PA表示預(yù)測結(jié)果為A但真實(shí)結(jié)果為非A的樣本數(shù)，F(xiàn)NA表示預(yù)測結(jié)果為非A但真實(shí)結(jié)果為A的樣本數(shù)。最后使用三類數(shù)據(jù)集的測試集測試預(yù)測模型的預(yù)測結(jié)果準(zhǔn)確率。

四、研究結(jié)果與討論

（一）隨機(jī)森林增量學(xué)習(xí)與批量學(xué)習(xí)方式構(gòu)建的模型預(yù)測結(jié)果比較

為比較隨機(jī)森林的批量學(xué)習(xí)與增量學(xué)習(xí)方式在不同學(xué)期“高活躍型混合課程”中對學(xué)生成績的預(yù)測能力，本文記錄了兩種方式構(gòu)建預(yù)測模型的評價(jià)指標(biāo)和對測試集的預(yù)測結(jié)果準(zhǔn)確率（見表3）。

從表3可知，在2018秋季學(xué)期的“高活躍型混合課程”中，批量學(xué)習(xí)方式隨機(jī)森林算法構(gòu)建的學(xué)生成績預(yù)測模型結(jié)果獲得了較高準(zhǔn)確率（72.3%），但是在2020春季學(xué)期的“高活躍型混合課程”中，其預(yù)測結(jié)果準(zhǔn)確率（68.2%）并不如OnRF得到的預(yù)測結(jié)果的平均準(zhǔn)確率（69.1%）。在兩學(xué)期數(shù)據(jù)合并后，OnRF表現(xiàn)出更優(yōu)異的預(yù)測結(jié)果平均準(zhǔn)確率，達(dá)到了75.1%。批量學(xué)習(xí)方式隨機(jī)森林算法的預(yù)測結(jié)果準(zhǔn)確率則介于兩學(xué)期的預(yù)測結(jié)果準(zhǔn)確率之間（70.3%）?？梢姡琌nRF在學(xué)生樣本數(shù)量增加后構(gòu)建的學(xué)生成績預(yù)測模型結(jié)果更加準(zhǔn)確。

雖然本文中使用的OnRF方法預(yù)測結(jié)果準(zhǔn)確率落后于Kulkarni & Ade所用的四種增量方法的準(zhǔn)確率，但該研究中所用數(shù)據(jù)是完全在線課程數(shù)據(jù)，且其使用的數(shù)據(jù)特征包含學(xué)生的期中成績，因此該研究對學(xué)生成績的預(yù)測結(jié)果準(zhǔn)確率都達(dá)到了89%以上[11]。在兩學(xué)期數(shù)據(jù)合并后的較多樣本中，本研究的預(yù)測結(jié)果準(zhǔn)確率比Sanchez-Santillan等人的結(jié)果平均準(zhǔn)確率提高了2.28%[10]。

相比同樣在混合課程情境下，使用批量學(xué)習(xí)方式隨機(jī)森林算法構(gòu)建模型，預(yù)測學(xué)生成績的研究。本文選用的OnRF在使用單一學(xué)期的混合課程樣本數(shù)據(jù)構(gòu)建預(yù)測模型時(shí)，預(yù)測結(jié)果準(zhǔn)確率較低，但在樣本數(shù)據(jù)量增加后，預(yù)測結(jié)果準(zhǔn)確率高于武法提等人所得結(jié)果準(zhǔn)確率[5]。在模型應(yīng)用和優(yōu)化方面，本文使用的增量學(xué)習(xí)方式優(yōu)于武法提等、Wu等研究者采用的批量學(xué)習(xí)方式隨機(jī)森林算法[5-6]。當(dāng)不再有新數(shù)據(jù)出現(xiàn)時(shí)，增量學(xué)習(xí)方式可停止構(gòu)建模型，并使用當(dāng)前模型進(jìn)行預(yù)測。因此，相較于批量學(xué)習(xí)方式的算法，在院校層面，增量學(xué)習(xí)方式更適用于構(gòu)建過程性的學(xué)生學(xué)情監(jiān)測系統(tǒng)，隨時(shí)分析學(xué)生學(xué)習(xí)狀態(tài)。在教師層面，增量學(xué)習(xí)方式構(gòu)建的模型可幫助教師積累學(xué)生學(xué)習(xí)數(shù)據(jù)，為教師持續(xù)優(yōu)化教學(xué)設(shè)計(jì)、教學(xué)方法和教學(xué)策略。在學(xué)生層面，增量學(xué)習(xí)方式更適于實(shí)現(xiàn)精準(zhǔn)的過程性學(xué)生評價(jià)，分析學(xué)生在不同學(xué)習(xí)階段的特征，為學(xué)生變更學(xué)習(xí)策略、學(xué)習(xí)路徑持續(xù)提供幫助。

（二）樣本特征對增量學(xué)習(xí)方式構(gòu)建的成績預(yù)測模型結(jié)果準(zhǔn)確率影響

為分析在增量學(xué)習(xí)方式構(gòu)建模型過程中對樣本的預(yù)測準(zhǔn)確率變化，研究記錄了增量學(xué)習(xí)方式模型數(shù)據(jù)輸入后得到的預(yù)測結(jié)果準(zhǔn)確率變化（如圖5所示）。增量學(xué)習(xí)方式算法在使用2018秋季學(xué)期的22門課程中學(xué)生樣本構(gòu)建的預(yù)測模型得到的平均預(yù)測結(jié)果準(zhǔn)確率較低（參考表3和圖4的結(jié)果），且對每門課程的預(yù)測結(jié)果準(zhǔn)確率波動較大，直至22門課程的數(shù)據(jù)全部輸入也未能顯示出收斂的趨勢（預(yù)測準(zhǔn)確率標(biāo)準(zhǔn)差為0.104）（如圖5所示）。

增量學(xué)習(xí)方式對2020年春季學(xué)期混合課程構(gòu)建的預(yù)測模型不但平均準(zhǔn)確率略高于批量學(xué)習(xí)方式（參考表3和圖4的結(jié)果），且在第41門課程數(shù)據(jù)輸入后預(yù)測準(zhǔn)確率波動下降。經(jīng)統(tǒng)計(jì)，前40門課程增量學(xué)習(xí)方式預(yù)測結(jié)果準(zhǔn)確率標(biāo)準(zhǔn)差為0.077，最后11門課程預(yù)測結(jié)果準(zhǔn)確率標(biāo)準(zhǔn)差為0.025。

為進(jìn)一步分析增量學(xué)習(xí)方式輸入41門課程數(shù)據(jù)后預(yù)測結(jié)果準(zhǔn)確率的變化情況，記錄了兩學(xué)期數(shù)據(jù)合并后（73門課程）使用增量學(xué)習(xí)方式所得預(yù)測結(jié)果準(zhǔn)確率的變化（如圖5所示），結(jié)果發(fā)現(xiàn)前40門課程數(shù)據(jù)輸入時(shí)預(yù)測結(jié)果準(zhǔn)確率標(biāo)準(zhǔn)差為0.087，后33門課程數(shù)據(jù)輸入時(shí)預(yù)測結(jié)果準(zhǔn)確率標(biāo)準(zhǔn)差為0.018。可見在本文研究中，超過41門課程數(shù)據(jù)輸入后，可大幅降低增量學(xué)習(xí)方式的預(yù)測結(jié)果準(zhǔn)確率波動。

Kulkarni & Ade的研究中，雖然獲得了較高的平均預(yù)測結(jié)果準(zhǔn)確率，但是所有的增量學(xué)習(xí)方式的預(yù)測結(jié)果準(zhǔn)確率都會隨樣本數(shù)量增加而逐步降低[11]。本文所得結(jié)果發(fā)現(xiàn)，當(dāng)數(shù)據(jù)樣本量達(dá)到一定規(guī)模后，預(yù)測結(jié)果準(zhǔn)確率逐步上升。Ade & Deshmukh的研究發(fā)現(xiàn)增量學(xué)習(xí)方式的預(yù)測結(jié)果準(zhǔn)確率不會收斂到固定值[20]。本文結(jié)果同樣證實(shí)了該發(fā)現(xiàn)，且本文結(jié)果還發(fā)現(xiàn)在超過41門混合課程的數(shù)據(jù)后，預(yù)測結(jié)果準(zhǔn)確率的波動會大幅度減小。另外相比Sanchez-Santillan 等人的研究[10]，在本文分析的三類混合課程數(shù)據(jù)中，樣本數(shù)量最大的預(yù)測模型取得了最好的預(yù)測結(jié)果準(zhǔn)確率。

本文所用增量學(xué)習(xí)方式改進(jìn)了采用混合課程學(xué)生樣本構(gòu)建預(yù)測模型時(shí)，樣本數(shù)量增長引起預(yù)測結(jié)果不穩(wěn)定的問題，與在完全在線課程中的研究結(jié)果類似，即數(shù)據(jù)量越多，預(yù)測結(jié)果準(zhǔn)確率越高[8]。另外，本文中使用的三類數(shù)據(jù)集都是“高活躍型混合課程”，這類課程中學(xué)生的行為模式較為相似。Yang 等人指出，在增量學(xué)習(xí)過程中，局部數(shù)據(jù)集與整體數(shù)據(jù)集的相似性有助于增量學(xué)習(xí)方式的決策樹算法構(gòu)建更準(zhǔn)確的預(yù)測模型[26]。因此，可以認(rèn)為本團(tuán)隊(duì)以往對混合課程的提前分類使每門混合課程的學(xué)生行為數(shù)據(jù)特征都較為相似，提升了增量學(xué)習(xí)方式構(gòu)建預(yù)測模型所得結(jié)果的平均準(zhǔn)確率，減小了每次增加數(shù)據(jù)時(shí)所得預(yù)測結(jié)果準(zhǔn)確率的波動。

五、研究結(jié)論及局限性

在混合課程中，持續(xù)分析學(xué)生的學(xué)習(xí)過程，預(yù)測學(xué)生學(xué)習(xí)成績并在不同學(xué)習(xí)階段為學(xué)生提供精準(zhǔn)的個(gè)性化學(xué)習(xí)支持是混合教學(xué)研究中的重要問題。本文分析了在混合課程情境下，增量學(xué)習(xí)隨機(jī)森林算法與批量學(xué)習(xí)隨機(jī)森林算法在不同數(shù)量混合課程學(xué)生樣本中構(gòu)建的預(yù)測結(jié)果準(zhǔn)確率及預(yù)測結(jié)果準(zhǔn)確率變化。研究發(fā)現(xiàn)：（1）增量學(xué)習(xí)隨機(jī)森林算法在混合課程樣本最多的數(shù)據(jù)集中可獲得最高預(yù)測結(jié)果準(zhǔn)確率（75.1%）。（2）相較于批量學(xué)習(xí)隨機(jī)森林算法，增量學(xué)習(xí)隨機(jī)森林算法在數(shù)據(jù)樣本量較多的情況下預(yù)測結(jié)果準(zhǔn)確率高于批量學(xué)習(xí)算法。（3）當(dāng)樣本數(shù)量達(dá)到一定規(guī)模后，預(yù)測結(jié)果準(zhǔn)確率波動減小，且每門混合課程的學(xué)生行為數(shù)據(jù)較為相似，也為提升預(yù)測結(jié)果平均準(zhǔn)確率、減小預(yù)測結(jié)果準(zhǔn)確率波動提供了幫助。

本研究中使用增量學(xué)習(xí)隨機(jī)森林算法在不同學(xué)生樣本數(shù)量規(guī)模中構(gòu)建了學(xué)生成績預(yù)測模型，并且比較了增量學(xué)習(xí)與批量學(xué)習(xí)兩種方式構(gòu)建學(xué)生成績預(yù)測模型的結(jié)果準(zhǔn)確率。結(jié)果發(fā)現(xiàn)增量學(xué)習(xí)隨機(jī)森林算法在樣本數(shù)量較多時(shí)，預(yù)測結(jié)果準(zhǔn)確率高于批量學(xué)習(xí)的隨機(jī)森林算法，且該方法可隨時(shí)接收新數(shù)據(jù)，不斷迭代和優(yōu)化預(yù)測模型，相比批量學(xué)習(xí)方式在預(yù)測模型應(yīng)用和對教學(xué)過程的持續(xù)分析有更大優(yōu)勢。但是要使用增量學(xué)習(xí)方式構(gòu)建預(yù)測結(jié)果準(zhǔn)確率較穩(wěn)定的模型需要使用更多的數(shù)據(jù)進(jìn)行訓(xùn)練，且數(shù)據(jù)樣本的局部特征需要與整體特征相似。

本研究結(jié)論從隨機(jī)森林算法和一所學(xué)校的混合課程中獲得，是否還存在結(jié)果更優(yōu)的增量學(xué)習(xí)算法，更大數(shù)量規(guī)模的學(xué)生樣本中能否獲得收斂的預(yù)測結(jié)果準(zhǔn)確率還有待進(jìn)一步驗(yàn)證。

[參考文獻(xiàn)]

[1] 孫眾，宋潔，駱力明.混合課程動態(tài)設(shè)計(jì)研究[J].電化教育研究，2017，38（7）：85-90，116.

[2] 田陽，陳鵬，黃榮懷，曾海軍.面向混合學(xué)習(xí)的多模態(tài)交互分析機(jī)制及優(yōu)化策略[J].電化教育研究，2019，40（9）：67-74.

[3] BAKER R S. Challenges for the future of educational data mining： the baker learning analytics prizes[J]. Journal of educational data mining， 2019， 11（1）： 1-17.

[4] ROMERO C， VENTURA S. Educational data mining and learning analytics： an updated survey[J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2020， 10（3）： e1355.

[5] 武法提，田浩.挖掘有意義學(xué)習(xí)行為特征：學(xué)習(xí)結(jié)果預(yù)測框架[J].開放教育研究，2019，25（6）：75-82.

[6] WU M， ZHAO H， YAN X， et al. Student achievement analysis and prediction based on the whole learning process[C]// 2020 15th International Conference on Computer Science & Education （ICCSE）. Delft： IEEE， 2020： 123-128.

[7] VAN GOIDSENHOVEN S， BOGDANOVA D， DEEVA G， et al. Predicting student success in a blended learning environment[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. New York： ACM， 2020： 17-25.

[8] ZHONG Y， YANG H， ZHANG Y， et al. Online random forests regression with memories[J]. Knowledge-based systems， 2020（201）： 106058.

[9] KOTSIANTIS S， PATRIARCHEAS K， XENOS M. A combinational incremental ensemble of classifiers as a technique for predicting students' performance in distance education[J]. Knowledge-based systems， 2010， 23（6）： 529-535.

[10] SANCHEZ-SANTILLAN M， PAULE-RUIZ M P， CEREZO R， et al. Predicting students' performance： incremental interaction classifiers[C]// Proceedings of the Third （2016） ACM Conference on Learning@ Scale. New York： ACM， 2016： 217-220.

[11] KULKARNI P， ADE R. Prediction of student's performance based on incremental learning[J]. International journal of computer applications， 2014， 99（14）： 10-16.

[12] GENUER R， POGGI J M， TULEAU-MALOT C， et al. Random forests for big data[J]. Big data research， 2017， 9： 28-46.

[13] WU Y， CHEN Y， WANG L， et al. Large scale incremental learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 374-382.

[14] ZHENG S， LU J J， GHASEMZADEH N， et al. Effective information extraction framework for heterogeneous clinical reports using online machine learning and controlled vocabularies[J]. JMIR medical informatics， 2017， 5（2）： e12.

[15] BORN A. Predicting students' assignment performance to personalize blended learning[D].? Munich：Ludwig Maximilian University of Munich，2017.

[16] LUO Y， CHEN N， HAN X. Students' online behavior patterns impact on final grades prediction in blended courses[C]// 2020 Ninth International Conference of Educational Innovation through Technology （EITT）. Porto： IEEE， 2020： 154-158.

[17] GENG X， SMITH-MILES K. Incremental Learning[J]. Encylopedia of biometrics， 2009（1）： 730-737

[18] POLIKAR R， UPDA L， UPDA S S， et al. Learn++： an incremental learning algorithm for supervised neural networks[J]. IEEE transactions on systems， man， and cybernetics， part C （applications and reviews）， 2001， 31（4）： 497-508.

[19] ASIAH M， ZULKARNAEN K N， SAFAAI D， et al. A review on predictive modeling technique for student academic performance monitoring[C]// MATEC Web of Conferences. Sibiu： EDP Sciences， 2019， 255： 03004.

[20] ADE R， DESHMUKH P R. Instance-based vs batch-based incremental learning approach for students classification[J]. International journal of computer applications， 2014， 106（3）.

[21] SHAHIRI A M， HUSAIN W. A review on predicting student's performance using data mining techniques[J]. Procedia computer science， 2015（72）： 414-422.

[22] NESPEREIRA C G， ELHARIRI E， EL-BENDARY N， et al. Machine learning based classification approach for predicting students performance in blended learning[C]// The 1st International Conference on Advanced Intelligent System and Informatics （AISI2015）， November 28-30， 2015， Beni Suef： Springer， Cham， 2016： 47-56.

[23] JIAN Y， YE M， MIN Y， et al. FORF-S： a novel classification technique for class imbalance problem[J]. IEEE access， 2020（8）： 218720-218728.

[24] RASCHKA S. Model evaluation， model selection， and algorithm selection in machine learning[EB/OL].（2018-11-10）[2021-05-20].https：//sebastianraschka.com/blog/2018/model-evaluation-selection-part4.html.

[25] SHMUELI B. Multiclass metrics made simple， part I： precision and recall[EB/OL]. （2019-07-02）[2021-05-20]. https：//towardsdatascience.com/multi-class-metrics-made-simple-part-i-precision-and-recall-9250280bddc2.

[26] YANG Q， GU Y， WU D. Survey of incremental learning[C]// 2019 Chinese Control And Decision Conference （CCDC）. Nanchang： IEEE， 2019： 399-404.