WILS:面向?qū)W業(yè)預(yù)警的非均衡增量式學(xué)習(xí)方法*

盛曉光,王穎,張迎偉,2,項(xiàng)若曦,付紅萍

(1 中國(guó)科學(xué)院大學(xué)人工智能學(xué)院, 北京 100049; 2 中國(guó)科學(xué)院計(jì)算技術(shù)研究所, 北京 100190; 3 北京語(yǔ)言大學(xué)信息科學(xué)學(xué)院,北京 100083; 4 北京林業(yè)大學(xué)信息學(xué)院, 北京 100083; 5 國(guó)家林業(yè)和草原局林業(yè)智能信息處理工程技術(shù)研究中心, 北京 100083)

近年來(lái),學(xué)業(yè)預(yù)警逐漸成為教育領(lǐng)域的重要研究課題,越來(lái)越多相關(guān)研究者認(rèn)識(shí)到學(xué)業(yè)預(yù)警的重要性。學(xué)業(yè)預(yù)警能夠提前預(yù)知學(xué)生學(xué)業(yè)中的潛在問(wèn)題,并提供個(gè)性化干預(yù),在構(gòu)建健全的教育管理體系中發(fā)揮著重要作用。目前,教育工作者和相關(guān)研究人員嘗試使用多種數(shù)據(jù)分析手段實(shí)現(xiàn)有效的學(xué)業(yè)預(yù)警。例如,一些研究者試圖揭示學(xué)生學(xué)習(xí)成績(jī)與行為[1]、智力水平[2]、身體狀況[3]、社會(huì)經(jīng)濟(jì)狀況[4]、課程等級(jí)[5]等其他潛在影響因素的關(guān)聯(lián)關(guān)系。此外,隨著機(jī)器學(xué)習(xí)和大數(shù)據(jù)技術(shù)的進(jìn)步,很多計(jì)算方法在學(xué)業(yè)預(yù)警中取得了優(yōu)異的實(shí)驗(yàn)結(jié)果。Muthukrishnan等[6]總結(jié)了學(xué)業(yè)預(yù)警中的常用算法,并將相關(guān)算法分成4大類,包括決策樹、回歸模型、聚類和降維算法,其中邏輯斯蒂回歸、隨機(jī)森林、決策樹、支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)是學(xué)業(yè)預(yù)警中最常用的算法。近年來(lái),隨著計(jì)算性能的提升和通用數(shù)據(jù)規(guī)模的增加,深度學(xué)習(xí)逐漸在學(xué)業(yè)預(yù)警中嶄露頭角,取得了優(yōu)異的預(yù)警效果[7-10]。

然而,在現(xiàn)實(shí)實(shí)踐過(guò)程中,學(xué)業(yè)預(yù)警仍面臨諸多挑戰(zhàn),導(dǎo)致已有方法難以取得理想的預(yù)警效果。首先,在開放動(dòng)態(tài)的現(xiàn)實(shí)場(chǎng)景中,學(xué)生數(shù)據(jù)記錄在逐年增加的同時(shí),可獲取的高質(zhì)量教育數(shù)據(jù)類型也在不斷增加或不斷變化,學(xué)業(yè)預(yù)警的數(shù)據(jù)記錄以及相關(guān)影響因素(如課程設(shè)置、學(xué)生日常行為等)也會(huì)隨之變化。例如,教育者往往會(huì)調(diào)整課程設(shè)置以適應(yīng)不同年級(jí)學(xué)生的成長(zhǎng)和技術(shù)發(fā)展的需要,不同年級(jí)學(xué)生的課程數(shù)據(jù)也存在分布差異,已有模型較難適應(yīng)不同年級(jí)學(xué)生的數(shù)據(jù)特點(diǎn)。另外,相較于正常樣本(即沒(méi)有潛在預(yù)警風(fēng)險(xiǎn)的樣本),預(yù)警樣本(即有潛在預(yù)警風(fēng)險(xiǎn)的樣本)往往較少,學(xué)業(yè)預(yù)警數(shù)據(jù)集存在正負(fù)樣本數(shù)量不平衡的問(wèn)題,影響預(yù)警模型精度。

針對(duì)上述挑戰(zhàn),本文提出一種基于深度學(xué)習(xí)的學(xué)業(yè)預(yù)警方法,即非均衡增量式學(xué)習(xí)方法(weighted incremental leaning scheme, WILS)。WILS由增量學(xué)習(xí)機(jī)制和加權(quán)損失函數(shù)兩部分構(gòu)成:增量學(xué)習(xí)機(jī)制能夠同時(shí)實(shí)現(xiàn)數(shù)據(jù)增量和特征增量學(xué)習(xí);加權(quán)損失函數(shù)融合了先驗(yàn)知識(shí)和Focal損失函數(shù)[11],能夠?yàn)樯贁?shù)類樣本賦予較高的權(quán)重以提升該類別樣本的識(shí)別概率。為驗(yàn)證WILS的效果,在某高校2 275名本科生的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明,對(duì)比5種已有方法,WILS對(duì)預(yù)警樣本的識(shí)別效率顯著優(yōu)于已有方法。最后,還在包含1 000名學(xué)生的公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),進(jìn)一步驗(yàn)證了WILS方法的有效性。

本文創(chuàng)新點(diǎn)包括以下3個(gè)方面:1)提出一種基于深度學(xué)習(xí)的增量學(xué)習(xí)方法,該方法能夠同時(shí)支持?jǐn)?shù)據(jù)和特征增量;2)定義一種融合先驗(yàn)知識(shí)和Focal損失函數(shù)的加權(quán)損失函數(shù),該損失函數(shù)能夠?yàn)樯贁?shù)類賦予較高權(quán)重;3)定義一種五維成績(jī)相關(guān)特征,通過(guò)歸一化的處理方式,既表征了學(xué)生不同方面的學(xué)習(xí)能力,也消除了專業(yè)不同對(duì)預(yù)測(cè)模型帶來(lái)的影響,提高了預(yù)測(cè)模型的解釋性和泛化程度。

1 相關(guān)工作

1.1 學(xué)業(yè)預(yù)警

學(xué)業(yè)預(yù)警的研究目標(biāo)是提前預(yù)知學(xué)生學(xué)習(xí)中的潛在風(fēng)險(xiǎn),如學(xué)業(yè)成績(jī)欠佳、難以達(dá)到畢業(yè)要求等。學(xué)業(yè)預(yù)警通過(guò)跟蹤學(xué)生學(xué)習(xí)過(guò)程、分析學(xué)生學(xué)業(yè)成績(jī),預(yù)測(cè)學(xué)生未來(lái)可能的學(xué)習(xí)狀態(tài)[8]。在教育信息化背景下,學(xué)業(yè)預(yù)警相關(guān)研究在為學(xué)生提供個(gè)性化干預(yù)和有效指導(dǎo)方面具有重要作用。

很多研究者致力于尋找影響學(xué)業(yè)成績(jī)的潛在因素[12-16]。Gonzalez等[12]研究本科生群體中體育活動(dòng)與學(xué)業(yè)成績(jī)的關(guān)聯(lián)關(guān)系,通過(guò)問(wèn)卷調(diào)研,發(fā)現(xiàn)學(xué)業(yè)成績(jī)與體育活動(dòng)之間不存在顯著關(guān)聯(lián)。但Muoz-buln等[13]的研究得出了相反的結(jié)論,他們綜述現(xiàn)有關(guān)于學(xué)業(yè)成績(jī)和體育活動(dòng)關(guān)聯(lián)關(guān)系的研究,發(fā)現(xiàn)體育活動(dòng)不僅有利于學(xué)生的身心健康,而且對(duì)他們的學(xué)習(xí)成績(jī)產(chǎn)生了積極影響。Robbins等[14]通過(guò)元分析,研究109名本科生心理狀態(tài)、學(xué)習(xí)技能與學(xué)業(yè)成績(jī)的關(guān)聯(lián)關(guān)系,發(fā)現(xiàn)在各種學(xué)業(yè)成績(jī)影響因素中,自我效能感和學(xué)習(xí)動(dòng)機(jī)的影響最為顯著。Zeek等[15]對(duì)364名小學(xué)生進(jìn)行了為期3年的縱向追蹤(一至三年級(jí)學(xué)生),研究睡眠時(shí)間和學(xué)習(xí)成績(jī)之間的關(guān)聯(lián)關(guān)系,發(fā)現(xiàn)考試前充足的睡眠有利于提升課程成績(jī)。Laidra等[16]基于3 618名學(xué)生數(shù)據(jù),研究智力水平和五維人格特質(zhì)(包括神經(jīng)質(zhì)、外向型、開放型、親和型、盡責(zé)型)對(duì)學(xué)業(yè)成績(jī)的影響,發(fā)現(xiàn):智力水平會(huì)對(duì)學(xué)習(xí)成績(jī)產(chǎn)生積極影響;開放型、親和型和嚴(yán)謹(jǐn)型人格特質(zhì)會(huì)對(duì)學(xué)習(xí)成績(jī)產(chǎn)生積極影響,而神經(jīng)質(zhì)會(huì)對(duì)學(xué)習(xí)成績(jī)產(chǎn)生消極影響。上述研究主要關(guān)注于分析學(xué)業(yè)成績(jī)與各種影響因素之間的關(guān)聯(lián)關(guān)系,所采用的數(shù)據(jù)分析手段多為傳統(tǒng)統(tǒng)計(jì)方法。

隨著機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析技術(shù)的發(fā)展,越來(lái)越多的研究者開始致力于使用智能化分析手段預(yù)測(cè)學(xué)生的學(xué)習(xí)成績(jī)。例如,Zafra等[17]研究如何使用大規(guī)模樣本學(xué)習(xí)泛化能力更強(qiáng)的預(yù)測(cè)模型,實(shí)驗(yàn)結(jié)果表明該方法較傳統(tǒng)統(tǒng)計(jì)方法能夠取得更好的預(yù)測(cè)效果。Wang和Chen[18]利用非線性模型預(yù)測(cè)退學(xué)風(fēng)險(xiǎn),揭示不同時(shí)期數(shù)據(jù)之間的關(guān)聯(lián)性。Fei和Yeung[8]將退學(xué)預(yù)測(cè)看作序列分類問(wèn)題,分析了觀看視頻、參與論壇活動(dòng)等在線學(xué)習(xí)中的相關(guān)特征,并使用這2類特征預(yù)測(cè)學(xué)生是否會(huì)退學(xué),結(jié)果表明他們所提出的時(shí)間模型優(yōu)于其他對(duì)比方法。He等[19]研究大規(guī)模在線課程中學(xué)業(yè)成績(jī)的預(yù)測(cè)方法,并通過(guò)遷移學(xué)習(xí)消除不同預(yù)測(cè)模型之間的分布差異、提高模型預(yù)測(cè)精度。然而,現(xiàn)有的學(xué)業(yè)預(yù)警相關(guān)研究均僅面向封閉靜態(tài)環(huán)境預(yù)測(cè)學(xué)生的學(xué)業(yè)表現(xiàn),而本文則關(guān)注如何在開放動(dòng)態(tài)環(huán)境下預(yù)測(cè)學(xué)生學(xué)業(yè)表現(xiàn),這是本文與已有研究的主要區(qū)別。

1.2 增量學(xué)習(xí)

增量學(xué)習(xí)是區(qū)別于傳統(tǒng)機(jī)器學(xué)習(xí)的一種新的計(jì)算模式,能夠在不遺忘初始模型現(xiàn)有知識(shí)的情況下,使用新增數(shù)據(jù)或特征對(duì)初始模型進(jìn)行更新,以適應(yīng)新的學(xué)習(xí)任務(wù)。增量學(xué)習(xí)多應(yīng)用于訓(xùn)練數(shù)據(jù)隨時(shí)間的推移流式增加,或訓(xùn)練數(shù)據(jù)大小超出系統(tǒng)內(nèi)存限制的場(chǎng)景[20]。

通常,增量學(xué)習(xí)按照新、舊樣本的不同,可分為3類,包括數(shù)據(jù)增量學(xué)習(xí)、特征增量學(xué)習(xí)和類別增量學(xué)習(xí)[20]。其中,數(shù)據(jù)增量學(xué)習(xí)是最基礎(chǔ)的方法,關(guān)注數(shù)據(jù)分布的動(dòng)態(tài)變化性,目的是隨時(shí)序數(shù)據(jù)流的變化逐漸優(yōu)化目標(biāo)函數(shù)f:K→Y,其中Y?。特征增量學(xué)習(xí)的目的是保持模型現(xiàn)有知識(shí)的同時(shí),從新增特征中學(xué)習(xí)新知識(shí),可形式化為f:K+K′→Y。Hu等[21]提出一種面向特征增量學(xué)習(xí)的隨機(jī)森林方法,該方法可使現(xiàn)有模型適應(yīng)動(dòng)態(tài)環(huán)境中的新增特征。Hou和Zhou[22]提出一次遞增、遞減學(xué)習(xí)方法,以適應(yīng)流式數(shù)據(jù)樣本分布和特征分布的同時(shí)變化。類別增量學(xué)習(xí)旨在更新模型以動(dòng)態(tài)識(shí)別新增類別,可形式化定義為f:K→[Y;Y′],其中[Y;Y′]?。Liu等[23]提出一種新的Meta-Aggregation框架,以解決增量學(xué)習(xí)中模型穩(wěn)定性與模型可塑性之間的矛盾。Hu等[24]設(shè)計(jì)了一個(gè)基于分離軸定理的分裂策略來(lái)識(shí)別新增類別。

2 問(wèn)題形式化

3 非均衡增量式學(xué)業(yè)預(yù)警方法

本文提出一種面向?qū)W業(yè)預(yù)警的非均衡增量式學(xué)習(xí)方法,即WILS。如圖1所示,WILS由增量學(xué)習(xí)機(jī)制和加權(quán)損失函數(shù)兩部分構(gòu)成,下面分別介紹增量學(xué)習(xí)機(jī)制、加權(quán)損失函數(shù)和整體框架。

圖1 面向?qū)W業(yè)預(yù)警的非均衡增量式學(xué)習(xí)方法Fig.1 WILS for academic warning

3.1 增量學(xué)習(xí)機(jī)制

3.1.1 數(shù)據(jù)增量

圖2 深度學(xué)習(xí)的前向傳播和后向傳播過(guò)程Fig.2 Implementation details of deep neural network with forward-propagation and back-propagation

指定E(j)=loss(J(t)(j-1),Y(t)(j-1))為神經(jīng)網(wǎng)絡(luò)的誤差函數(shù),其中j表示訓(xùn)練輪次。J(t)(j-1)和Y(t)(j-1)分別是數(shù)據(jù)Xt(j)的估計(jì)值和標(biāo)記值,Xt(j)是訓(xùn)練數(shù)據(jù)集Xt的子集,用于在第j個(gè)輪次對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)。為計(jì)算反向傳播,可以將神經(jīng)網(wǎng)絡(luò)的輸出[26,28]定義為

(1)

(2)

(3)

(4)

1)調(diào)整隱藏輸出層Δw(2)的權(quán)重

(5)

(6)

2)調(diào)整隱藏輸出層Δw(1)的權(quán)重

(7)

(8)

其中:α(j)為學(xué)習(xí)率。深度模型完成訓(xùn)練后,可以用來(lái)預(yù)測(cè)數(shù)據(jù)集Dt的初始分布,該過(guò)程僅需要前向傳播。

3.1.2 特征增量

特征增量過(guò)程中,假設(shè)已有特征集合為Xt∈K,特征增量后的集合為K+K′。深度模型中參數(shù)W(1)的維度為K×H1,其中H1是模型第1個(gè)隱層中的神經(jīng)元數(shù)量。增量學(xué)習(xí)過(guò)程擴(kuò)展連接權(quán)重W(1)為的維度為(K+K′)×H1。第1個(gè)隱層的輸入為

(9)

(10)

3.2 加權(quán)損失函數(shù)

3.2.1 Focal損失函數(shù)

在分類學(xué)習(xí)問(wèn)題中,交叉熵?fù)p失是最常用的損失函數(shù):

(11)

其中:y∈{±1}是樣本標(biāo)簽,p∈[0,1]為正類的分類估計(jì)概率(即預(yù)測(cè)樣本標(biāo)簽y=1的概率)。然而,在現(xiàn)實(shí)場(chǎng)景中,許多分類任務(wù)都面臨數(shù)據(jù)分布不平衡的挑戰(zhàn)。解決類別分布不平衡的常用方法是引入一個(gè)權(quán)重因子,對(duì)正類(即y=1的類別)賦予權(quán)重因子α∈[0,1],對(duì)負(fù)類(即y=-1的類別)引入權(quán)因子1-α,定義α-平衡交叉熵?fù)p失函數(shù):

(12)

α-平衡交叉熵?fù)p失函數(shù)是傳統(tǒng)交叉熵?fù)p失函數(shù)的擴(kuò)展,傳統(tǒng)交叉熵?fù)p失函數(shù)使用可調(diào)參數(shù)α來(lái)衡量正、負(fù)樣本的重要性。然而,不同樣本往往分類困難程度不同,Focal損失函數(shù)[11]通過(guò)引入另一個(gè)可調(diào)節(jié)因子γ來(lái)區(qū)分不同類別樣本:

(13)

其中γ≥0為Focal損失函數(shù)中引入的調(diào)節(jié)因子,可以控制不同樣本的分類損失。對(duì)于學(xué)業(yè)預(yù)警問(wèn)題,正常學(xué)生數(shù)量一般遠(yuǎn)大于預(yù)警學(xué)生數(shù)量,預(yù)警樣本識(shí)別困難。因此,WILS使用Focal損失作為損失函數(shù)。

3.2.2 融合先驗(yàn)知識(shí)

(14)

FL(pfinal,y)=

(15)

3.3 整體框架

加權(quán)增量學(xué)習(xí)方法的總體方案如圖1所示。本小節(jié)介紹構(gòu)建初始學(xué)業(yè)預(yù)警模型、數(shù)據(jù)增量學(xué)習(xí)過(guò)程和特征增量學(xué)習(xí)過(guò)程的細(xì)節(jié)。初始的學(xué)業(yè)預(yù)警模型包含3個(gè)隱藏層,分別有512、256和64個(gè)神經(jīng)元,每層包含一個(gè)sigmoid激活函數(shù)。初始模型還集成了統(tǒng)計(jì)信息和先驗(yàn)信息,整體模型構(gòu)建過(guò)程如算法1所示。

算法1 加權(quán)增量學(xué)習(xí)方案(WILS)初始構(gòu)建過(guò)程輸入:初始數(shù)據(jù)集D1={X1,Y1},X1=[x11;x12;…;x1i;…;x1n],y1i∈Y1;連接權(quán)值W;統(tǒng)計(jì)信息和先驗(yàn)信息的平衡參數(shù)α1;輪次e輸出:連接權(quán)重W1:函數(shù)WILS(D1,W)2: 初始化連接權(quán)重W;3: 循環(huán)e-=1,2,…,e do4: 根據(jù)式(1)～式(4)計(jì)算p;5: 通過(guò)映射函數(shù)計(jì)算先驗(yàn)值: Q(x1i);6: 計(jì)算正類樣本的最終概率: pfinal=α1×p+(1-α1)×Q(x1i);7: 根據(jù)式(5)～式(8)更新連接矩陣權(quán)重W;8: 結(jié)束訓(xùn)練9: 返回W;10:結(jié)束函數(shù)

4 實(shí)驗(yàn)與結(jié)果

4.1 數(shù)據(jù)集與特征提取

評(píng)估數(shù)據(jù)集來(lái)自某大學(xué)2 275名本科生的119 699條課程成績(jī)相關(guān)數(shù)據(jù)和1 120條提交作業(yè)相關(guān)數(shù)據(jù),所有學(xué)生分布在6個(gè)不同年級(jí)(2014、2015、2016、2017、2018和2019級(jí))、12個(gè)不同專業(yè)(均已進(jìn)行脫敏處理)。從中提取了5大類特征。

最終,提取19維特征。在后續(xù)章節(jié),使用前18維特征構(gòu)建基本分類模型(4.3節(jié))和數(shù)據(jù)增量模型(4.4節(jié)),并使用最后一維特征作為4.5節(jié)的新增特征。

4.2 實(shí)驗(yàn)設(shè)置

對(duì)比WILS與其他6種已有方法,包括:

1)傳統(tǒng)深度學(xué)習(xí)模型(traditional neural network, TNN):TNN與WILS共享類似的網(wǎng)絡(luò)結(jié)構(gòu)。具體而言,TNN由3個(gè)隱藏層構(gòu)成,這3個(gè)隱藏層分別包含512、256和64個(gè)神經(jīng)元。

2)伯努利樸素貝葉斯(Bernoullli na?ve Bayes, BNB):樸素貝葉斯(na?ve Bayes, NB)是基于貝葉斯定理的一種有監(jiān)督機(jī)器學(xué)習(xí)方法,而BNB是NB的變體,BNB建立在特征分布服從伯努利分布的假設(shè)之上。

3)高斯樸素貝葉斯(Gaussian na?ve Bayes, GNB):GNB也是NB的變體,建立在特征服從正態(tài)分布的假設(shè)之上。

4)K近鄰(K-nearest neighbors, KNN):KNN是非參數(shù)的機(jī)器學(xué)習(xí)方法,可適用于分類和回歸任務(wù)。預(yù)測(cè)過(guò)程KNN根據(jù)預(yù)定義的度量距離查找k個(gè)距離最近的訓(xùn)練樣本,并根據(jù)這k個(gè)樣本的類別確定預(yù)測(cè)結(jié)果。

5)隨機(jī)森林(random forest, RF):RF是一種集成學(xué)習(xí)方法,也可適用于分類和回歸問(wèn)題。RF由多個(gè)個(gè)體分類器(即決策樹)構(gòu)成,RF的輸出是所有個(gè)體分類器的投票結(jié)果。

6)特征增量隨機(jī)森林(feature incremental random forest, FIRF):Hu等[21]提出一種面向特征增量的學(xué)習(xí)方法,主要由基于互信息模型評(píng)估策略和自適應(yīng)生長(zhǎng)機(jī)制兩部分構(gòu)成。

分別在基本場(chǎng)景(即無(wú)數(shù)據(jù)增量和特征增量的基本場(chǎng)景)、數(shù)據(jù)增量場(chǎng)景和特征增量場(chǎng)景下分別評(píng)估WILS的性能。在學(xué)業(yè)預(yù)警問(wèn)題中,更關(guān)注能否更加精準(zhǔn)地預(yù)測(cè)出異常學(xué)生。因此,本文使用準(zhǔn)確率和召回率作為WILS的評(píng)估指標(biāo)。

(16)

(17)

驗(yàn)證實(shí)驗(yàn)在聯(lián)想ThinkStation臺(tái)式機(jī)(Intel Core i7-6700 CPU @ 3.40 GHz/16 GB DDR3)上進(jìn)行,編程平臺(tái)為PyCharm 2020.2。WILS和TNN是深度學(xué)習(xí)方法,通過(guò)PyTorch框架實(shí)現(xiàn)計(jì)算過(guò)程。模型訓(xùn)練過(guò)程中,WILS和TNN的迭代次數(shù)均被設(shè)置為3 000,模型更新過(guò)程中的迭代次數(shù)(包括數(shù)據(jù)增量更新和特征增量更新)也被設(shè)置為3 000。此外,將統(tǒng)計(jì)信息和先驗(yàn)信息的平衡參數(shù)α1設(shè)為0.5。

4.3 基本場(chǎng)景下的實(shí)驗(yàn)結(jié)果

基本場(chǎng)景下的實(shí)驗(yàn)包含5個(gè)獨(dú)立的實(shí)驗(yàn):第1個(gè)實(shí)驗(yàn)({2014}→{2015}),使用2014級(jí)的數(shù)據(jù)構(gòu)建識(shí)別模型,并將該模型用于預(yù)警2015級(jí)的學(xué)生;第2個(gè)實(shí)驗(yàn)({2014, 2015}→{2016}),使用2個(gè)年級(jí)(即2014和2015級(jí))的數(shù)據(jù)構(gòu)建識(shí)別模型,并將該模型用于預(yù)警2016級(jí)的學(xué)生;其余實(shí)驗(yàn)依此類推。實(shí)驗(yàn)結(jié)果如圖3所示,從實(shí)驗(yàn)結(jié)果可知:

圖3 基本場(chǎng)景下的預(yù)測(cè)結(jié)果Fig.3 Experimental results in basic scenario

1)除GNB外,其他5種方法(包括TNN、BNB、KNN、RF和本文提出的WILS)均取得了較為優(yōu)異的識(shí)別精度。以上5種方法在5個(gè)獨(dú)立實(shí)驗(yàn)上的平均準(zhǔn)確率見表1。

2)在準(zhǔn)確率方面,WILS明顯優(yōu)于GNB;然而,相較于TNN、BNB、KNN和RF,WILS并未展示顯著優(yōu)勢(shì)或劣勢(shì)。

3)在召回率方面,相較于其他5種對(duì)比方法,WILS的結(jié)果具有顯著優(yōu)勢(shì)。具體結(jié)果見表1。

表1 基本場(chǎng)景下5個(gè)獨(dú)立實(shí)驗(yàn)的平均準(zhǔn)確率和召回率Table 1 Average precision and recall of 5 idependent experiments of several methods in basic scenario %

4)相較于準(zhǔn)確率指標(biāo),學(xué)業(yè)預(yù)警更關(guān)注召回率指標(biāo),原因主要有以下2個(gè)方面:1)此類預(yù)警問(wèn)題一般存在著嚴(yán)重的數(shù)據(jù)不均衡問(wèn)題,準(zhǔn)確率難以全面刻畫實(shí)驗(yàn)結(jié)果;2)相較于數(shù)據(jù)誤報(bào),數(shù)據(jù)漏報(bào)會(huì)產(chǎn)生更嚴(yán)重的后果,而召回率能夠很好地刻畫漏檢情況。

5)WILS和其他對(duì)比方法在前幾個(gè)學(xué)期預(yù)警過(guò)程中,均取得了較好的識(shí)別結(jié)果。然而,各種方法在最后幾個(gè)學(xué)期的實(shí)驗(yàn)結(jié)果卻不太理想。經(jīng)過(guò)調(diào)研,了解到該校大部分學(xué)生在后幾個(gè)學(xué)期需要出境訪學(xué)和科研實(shí)踐,學(xué)生課程總量很少且個(gè)體差異很大,最終導(dǎo)致以課程成績(jī)?yōu)橹饕卣鞯念A(yù)測(cè)模型在最后幾個(gè)學(xué)期的結(jié)果表現(xiàn)較差。

4.4 數(shù)據(jù)增量場(chǎng)景下的實(shí)驗(yàn)結(jié)果

數(shù)據(jù)增量過(guò)程包含4個(gè)獨(dú)立實(shí)驗(yàn):第1個(gè)實(shí)驗(yàn)({2014}→{2015}→{2016}),使用2014級(jí)的數(shù)據(jù)構(gòu)建初始模型、2015級(jí)的數(shù)據(jù)更新初始模型,并對(duì)2016級(jí)的學(xué)生進(jìn)行預(yù)警;第2個(gè)實(shí)驗(yàn)({2014,2015}→{2016}→{2017}),使用2014和2015級(jí)的數(shù)據(jù)構(gòu)建初始模型、2016級(jí)的數(shù)據(jù)更新初始模型,并對(duì)2017級(jí)的學(xué)生進(jìn)行預(yù)警;其余實(shí)驗(yàn)依此類推。實(shí)驗(yàn)結(jié)果如圖4所示,從實(shí)驗(yàn)結(jié)果可知:

1)所有4種方法(包括,TNN、BNB、FIRF和本文提出的WILS)在準(zhǔn)確率指標(biāo)上,均取得了令人滿意的結(jié)果。4種方法在4個(gè)獨(dú)立實(shí)驗(yàn)上的平均準(zhǔn)確率見表2。

圖4 數(shù)據(jù)增量場(chǎng)景下的預(yù)測(cè)結(jié)果Fig.4 Experimental results in data incremental scenario

表2 幾種方法在數(shù)據(jù)增量場(chǎng)景下4個(gè)獨(dú)立實(shí)驗(yàn)的平均準(zhǔn)確率和召回率Table 2 Average precision and recall of 4 independent experiments of several methods in data incremental scenario %

2)相較于3種對(duì)比方法(即,TNN、BNB和FIRF),WILS在準(zhǔn)確率指標(biāo)上并未展示顯著優(yōu)勢(shì)或劣勢(shì),但在召回率指標(biāo)上,WILS的結(jié)果明顯優(yōu)于對(duì)比方法。4種方法在4個(gè)獨(dú)立實(shí)驗(yàn)上的平均召回率見表2。

4.5 特征增量場(chǎng)景下的實(shí)驗(yàn)結(jié)果

特征增量過(guò)程包含4個(gè)獨(dú)立實(shí)驗(yàn):第1個(gè)實(shí)驗(yàn)({2014}→{2015}→{2016}),使用2014級(jí)成績(jī)相關(guān)數(shù)據(jù)構(gòu)建初始模型、2015級(jí)成績(jī)和提交作業(yè)相關(guān)特征更新初始模型,并對(duì)2016級(jí)學(xué)生進(jìn)行預(yù)警;第2個(gè)實(shí)驗(yàn)({2014,2015}→{2016}→{2017}),使用2014、2015級(jí)成績(jī)相關(guān)數(shù)據(jù)構(gòu)初始模型、2016級(jí)成績(jī)和提交作業(yè)相關(guān)特征更新初始模型,并對(duì)2017級(jí)學(xué)生進(jìn)行預(yù)警;其余實(shí)驗(yàn)依此類推。為對(duì)比引入增量特征后的效果,設(shè)計(jì)了WILS、TNN和FIRF的3種變體——WILS_w、TNN_w和FIRF_w,僅使用與成績(jī)相關(guān)的特征進(jìn)行訓(xùn)練、不包含特征增量過(guò)程。實(shí)驗(yàn)結(jié)果如圖5所示,從實(shí)驗(yàn)結(jié)果可知:

圖5 特征增量場(chǎng)景下的預(yù)測(cè)結(jié)果Fig.5 Experimental results in feature incremental scenario

1)所有6種方法(包括,TNN、WILS_w、TNN_w、FIRF、FIRF_w和本文提出的WILS)均取得了令人滿意的準(zhǔn)確率。6種方法在4個(gè)獨(dú)立實(shí)驗(yàn)上的平均準(zhǔn)確率見表3。

2)同樣地,相較于其他5種對(duì)比方法,WILS在準(zhǔn)確率方面并沒(méi)有展示顯著優(yōu)勢(shì)或劣勢(shì)。但在召回率指標(biāo)上,WILS顯著優(yōu)于其他對(duì)比方法。6種方法在4個(gè)獨(dú)立實(shí)驗(yàn)上的平均召回率見表3。

3)WILS的結(jié)果明顯優(yōu)于WILS_w,證明WILS可適用于特征增量場(chǎng)景,能夠通過(guò)增量特征學(xué)習(xí)判定知識(shí)。

4.6 5維特征對(duì)照分析結(jié)果

5維特征對(duì)照分析召回率如圖6(a)～6(c)所示。柱狀圖中的數(shù)據(jù)均為預(yù)測(cè)學(xué)習(xí)結(jié)果的均值,其中原始特征為未經(jīng)5維劃分的原始成績(jī)數(shù)據(jù)。從圖6(a)～6(c)可知,相較于使用傳統(tǒng)成績(jī)特征的預(yù)測(cè)結(jié)果,5維特征具有顯著優(yōu)勢(shì),能夠提升學(xué)業(yè)預(yù)警的召回率。

表3 幾種方法在特征增量場(chǎng)景下4個(gè)獨(dú)立實(shí)驗(yàn)的平均準(zhǔn)確率和召回率Table 3 Average precision and recall of 4 independent experiments of several methods in feature incremental scenario %

圖6 5維特征對(duì)照和公開數(shù)據(jù)集結(jié)果Fig.6 Experiment on different features and public available dataset

4.7 時(shí)間復(fù)雜度分析結(jié)果

WILS方法在不同場(chǎng)景和不同增量更新任務(wù)下的平均訓(xùn)練、更新和測(cè)試耗時(shí)如表4所示?？芍?WILS方法具有較高的時(shí)間效率,能夠滿足日常應(yīng)用需求。

表4 時(shí)間復(fù)雜度Table 4 Time complexity s

4.8 公開數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證

為深入分析WILS方法的有效性,在公開數(shù)據(jù)集上進(jìn)行了進(jìn)一步的驗(yàn)證。該公開數(shù)據(jù)集由美國(guó)圣母大學(xué)、南加利福尼亞大學(xué)和蒙哥馬利郡公立學(xué)校等多所學(xué)校合作構(gòu)建,縱向追蹤學(xué)生從6年級(jí)到高中的學(xué)術(shù)方面(如季度平均成績(jī)、標(biāo)準(zhǔn)化考試成績(jī))、行為方面(如缺席時(shí)間百分比、停學(xué)次數(shù)、遲到率)和入學(xué)相關(guān)(如流動(dòng)性、新到學(xué)區(qū)、新到美國(guó))等方面的表現(xiàn)。驗(yàn)證過(guò)程中,使用該項(xiàng)目構(gòu)建的包含1 000名學(xué)生、49維特征的模擬數(shù)據(jù)集[29]。使用其中50%數(shù)據(jù)構(gòu)建基準(zhǔn)模型、30%數(shù)據(jù)作為增量數(shù)據(jù)、剩余20%作為測(cè)試數(shù)據(jù);使用其中42維特征作為原始特征、剩余7維特征作為增量特征。實(shí)驗(yàn)結(jié)果如圖6(d)～6(f)所示。從圖6(d)～6(f)可知,相較于其他對(duì)比方法,WILS方法在基本場(chǎng)景、數(shù)據(jù)增量場(chǎng)景和特征增量場(chǎng)景下均取得了較好的召回率,實(shí)驗(yàn)結(jié)果具有顯著提升。

5 總結(jié)

本文提出一種適用于學(xué)業(yè)預(yù)警的非均衡增量式學(xué)習(xí)方法,即WILS。該方法定義了一種融合先驗(yàn)知識(shí)的加權(quán)損失函數(shù),該函數(shù)能夠賦予少數(shù)類別較高的關(guān)注權(quán)重。另外,WILS通過(guò)深度神經(jīng)網(wǎng)絡(luò)的前向傳播和后向傳播機(jī)制,支持?jǐn)?shù)據(jù)增量學(xué)習(xí)和特征增量學(xué)習(xí)。為評(píng)估WILS的性能,在基本場(chǎng)景、數(shù)據(jù)增量和特征增量3種場(chǎng)景下對(duì)比WILS的性能,并先后比較WILS在某高校數(shù)據(jù)集和公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。結(jié)果驗(yàn)證了WILS的優(yōu)越性。

然而,本文所提方法仍存在一定的局限性:1)現(xiàn)有的大部分工作和本文都將學(xué)業(yè)預(yù)警視為一個(gè)二分類問(wèn)題。未來(lái),本文將嘗試對(duì)預(yù)警嚴(yán)重性進(jìn)行更細(xì)粒度的劃分。2)盡管WILS在召回率上取得了顯著的優(yōu)勢(shì),但目前結(jié)果仍略有不足。未來(lái),計(jì)劃通過(guò)建立規(guī)模更大的評(píng)估數(shù)據(jù)集,提升學(xué)業(yè)預(yù)警模型的泛化能力。