利用學習向量化樣本分類的在線學習成績預測①

郎 波,樊一娜

(北京師范大學珠海分校,珠海 519087)

隨著信息技術的不斷發(fā)展,網絡教學已經成為一種重要的學習方式,根據文獻[1]統(tǒng)計的數據,截止到2016年年底,我國在線學習的用戶數已經超過了1.38億,和2015年相比增加了2750萬人,年增長率為25%.由于網絡學習本身的特點,從教師的角度出發(fā),存在無法及時有效掌控學習者的學習狀態(tài)和能力程度,從而無法做出有效的教學干預和調整.從學習者的角度出發(fā),對于自己的學習進展、能力提升、掌握程度缺乏精準的量化依據.由此可見,在網絡學習逐漸普及的今天,如何對在線學習用戶的成績進行分析預測,并根據預測結果對學習者提出相應的學業(yè)建議或學業(yè)預警,從而保證在線學習者的學習效率和質量,已經成為網絡教學平臺是否能夠繼續(xù)發(fā)展的關鍵問題.本文通過分析學習者在網絡教學平臺上的日常學習數據和最終學習成績的關系,采用學習向量化神經網絡(Learning Vevtor Quantization,LVQ)對不同類型的學習者數據樣本進行分類,同時采用遺傳算法(Genetic Algorithm,GA)作為 BP (Back Propagation)神經網絡的學習算法,建立基于遺傳算法GA的BP神經網絡的在線學習學業(yè)成績預測模型,并驗證其準確性和收斂速度.最后的實驗結果表明:與其他的方法相比,利用該方法建立的預測模型能夠有效提高在線學習者的學業(yè)成績預測精度,根據參數的調整還能顯著提高神經網絡的訓練速度和收斂性,為在線學習者是否進行學業(yè)預警和調整教學策略提供量化依據,具備一定的工程應用價值.

1 在線學習行為特性分析

1.1 目前研究現(xiàn)狀

Ohia等人提出了采集學業(yè)成績相關數據的六步模型-FAMOUS,注重實現(xiàn)六個關鍵步驟[2],文獻[3]從學習行為分析和學習結果分類設計了學業(yè)成績預測框架.文獻[4]提出將課程、課堂、課外三者進行綜合之后形成“三位一體”學業(yè)預警機制.Arsad等人使用人工神經網絡,利用學習績點作為輸入輸出的方法來預測工程學專業(yè)學生的學業(yè)成績[5];文獻[6]利用離群點檢測的學生學習狀態(tài)分析方法,對學生的歷史成績數據進行二次挖掘,以此判斷成績的變化.文獻[7]在數據挖掘的基礎上,以聚類分析為核心對網絡學習過程進行監(jiān)管,從數據的歷史變化中預測學生的學習效果.文獻[8]建立了一個三層神經網絡,包含17個輸入結點,7個隱藏結點,1個輸出結點,用來對學生的學業(yè)成績進行預測.文獻[9]提出了學習分析循環(huán)模型,包括學習過程的搜集、存儲、數據的清洗、整合、分析等部分,將學習的各個環(huán)節(jié)融為一個整體.文獻[10]通過分析學習過程及其學習者心態(tài)分析,提出了如何改善學習效率的模型,其中的信息處理模塊涵蓋了學生成績的整合及預測,通過知識應用模塊來對其進行進一步的分析和優(yōu)化.

通過文獻分析發(fā)現(xiàn)國內外研究者對于在線學習行為及其成績的分析預測已經做了不少的研究工作,但是經過歸類分析可以發(fā)現(xiàn):以上部分研究屬于工作模型,主要基于理論演繹推導和經驗預測,缺少以學習者的學習行為、成績分布、能力層次為核心分析對象的計算模型.大部分側重于對于數據的二次挖掘分析,缺少學習者其他相關關鍵特征數據的關聯(lián)分析.采取神經網絡進行預測的部分研究往往側重于單一的分類器模式,并沒有真正把神經網絡的學習機制應用到學業(yè)成績的分析預測.

1.2 在線學習成績特性分析

在線學習行為具有一定的隨機性和間歇性,其行為受到多方面情境的影響,通過歷史數據的分析比對,對于在線學習成績影響的因素比較多,但是最重要的影響因素主要有三類,分別是“學習特征”、“個人情感”、“學習環(huán)境”,對于不同層次和類型的學習者,這三類因素對學習的影響是比較大的,也是具有共性的,本文對以上三個因素又進行了進一步的細分,將一個主因素劃分成三個輔因素,如圖1所示,我們將這些影響學習者最終成績的因素稱之為“情境分類”.

圖1 在線學習學業(yè)成績情境分類

在實際應用中,每種情境對于學業(yè)成績的影響程度都是不一樣的,但是總體上呈現(xiàn)一定的規(guī)律,為了更好的衡量每一種情境對學業(yè)成績的影響,根據現(xiàn)有教學平臺的數據,本文對每一個影響因素對學業(yè)成績的影響做了統(tǒng)計分析(以12個月的數據為例),具體結果如圖2所示.

測試數據來源于我校全部學生使用的網絡教學平臺為主,參加測評的學生一共1000人,分別在網絡平臺注冊賬號完成課程的完整學習過程.從圖2可以看出,在“學習特征”部分,“學習方法”對于學業(yè)成績的影響高于“學習習慣”和“學習興趣”,這說明有效的學習方法能夠對最后成績的獲得達到事半功倍的效果.在“個人情感”部分,“學習態(tài)度”對學業(yè)成績有著決定性的作用,而“學習品德”和“學習情緒”對成績的影響微乎其微,這說明良好的學習態(tài)度對于網絡教學這種松散型的教學方式顯得尤為重要,而“學習品德”和“學習情緒”由于主觀成分較大,且在某些方面受制于“學習態(tài)度”,所以在測試結果中表現(xiàn)出來的影響值并不是那么強烈.在“學習環(huán)境”方面,可以看到有影響作用的是“評價方式”和“教學平臺”,這說明,“教學平臺”用戶體驗程度的優(yōu)劣、用戶界面的友好程度對于學習者最終的成績也是有一定的影響作用的,至于“評價方式”這種在傳統(tǒng)教學方式中顯得比較“雞肋”的功能,在在線學習中卻變得尤為重要,這可能取決于兩方面的因素,一是由于在線學習的特殊性,教師和學生很難做到日常的交流,所以學生對教師的授課方式或者講解的難易程度的要求只能以“在線評價”的方式給出,另外,在線學習的另外特點是“鐵打的平臺,流水的教師”,教師質量的把握很大一方面也是通過學生對其進行評價來衡量的,所以,“評價方式”的優(yōu)劣和設置是否科學對學生的成績也是有著很大的作用,這要求在線學習平臺設計者除了注重開設的課程科目之外,還要對在線學習平臺上的服務型資源加以重視,以期學生能夠在平臺上獲得更好的學習成績.

2 網絡教學學業(yè)成績預測模型設計

2.1 基于LVQ神經網絡預測模型

由1.2節(jié)的分析可以看出,不同的情境因素對學業(yè)成績有較大的影響,其中“學習方法”、“學習態(tài)度”和“評價方式”對學業(yè)成績的影響最為顯著,本文把這三個情境元素歸類為廣義的“能力層次”樣本,利用LVQ神經網絡對樣本進行分類,然后按照分類后的樣本進行訓練,最后利用遺傳算法在BP神經網絡的基礎上建立學業(yè)成績預測模型.具體實現(xiàn)方式如圖3所示,模型算法的核心在于利用LVQ神經網絡對樣本進行分類,模型對樣本按照學習行為、學習目標、學習活動參與度三方面來進行分類.

2.2 LVQ網絡結構

LVQ神經網絡在競爭網絡結構的基礎上提出的,它融合了競爭學習思想和有監(jiān)督學習算法的特點,對輸入樣本的分配類別進行規(guī)定,從而克服自組織網絡采用無監(jiān)督學習算法帶來的缺乏分類信息的弱點,其網絡結構如圖4所示,競爭層有m個神經元,輸入層有n個神經元,兩層之間完全連接.輸出層每個神經元只與競爭層中的一組神經元連接,連接權重固定為1,訓練過程中輸入層和競爭層之間的權值逐漸被調整為聚類中心.當一個樣本輸入到LVQ網絡時,競爭層的神經元通過“勝者為王學習規(guī)則”產生獲勝神經元,允許其輸出為1,其它神經元輸出為0.與獲勝神經元所在組相連的輸出神經元輸出為1,而其它輸出神經元為0,從而給出當前輸入樣本的模式類.將競爭層學習得到的類成為子類,而將輸出層學習得到的類成為目標類,以達到輸入樣本分類的目的.

圖2 各種情境因素對學業(yè)成績的影響

設輸入層的輸入向量定義為I=(i1,i2,···,in)T,競爭層的輸出向量定義為 C =(c1,c2,···,cm)T,輸出層的輸出向量定義為 O =(o1,o2,···,ol)T,期望輸出值定義為,輸入層到競爭層之間的權重矩陣表示為,其中列向量為隱含層第j個神經元對應的權值向量.競爭層到輸出層之間的權重矩陣表示為,其中列向量表示為輸出層第k個神經元對應的權值向量.

圖3 在線學習學業(yè)成績預測流程圖

圖4 LVQ 網絡結構圖

LVQ神經網絡訓練的步驟如圖5所示.

2.3 采用GA算法的BP神經網絡

BP神經網絡是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡.它的基本思想是梯度下降法,利用梯度搜索技術,以期使網絡的實際輸出值和期望輸出值的誤差均方差為最小,但是BP神經網絡容易陷入局部最小值.而遺傳算法的優(yōu)化搜索方法在計算時并不依賴于梯度信息,而只需要影響搜索方向的目標函數和相應的適應度函數,不依賴于問題的具體領域,在求解最優(yōu)解方面能夠彌補BP神經網絡容易陷入局部最小值的問題.本文的主要工作亮點利用在于利用LVQ神經網絡學習分類,然后將BP網絡和GA算法結合起來對在線學習行為的學業(yè)成績進行預測.之所以這么做的原因主要考慮兩方面因素:第一,如果只是單純的采用BP網絡,由于網絡本身的結構導致適應過程和全局逼近比較耗時,導致網絡的收斂速度會變慢.另外BP神經網絡算法本身屬于梯度下降,容易陷入局部最優(yōu)的錯誤模式.第二,GA 是一種自適應優(yōu)化方法,以樣本適應度函數為基礎,可以在全局解空間的多個區(qū)域內采用隨機方法尋求最優(yōu)解,這剛好彌補了BP神經網絡的缺陷.考慮到二者的特點,將他們結合起來是一種提高預測精準率的策略.其具體實現(xiàn)方式如圖6所示.

2.4 采用GA算法進行網絡優(yōu)化算法的過程

將GA與BP網絡進行結合,本質上是利用了種群搜索的方式對BP神經網絡的權值、閾值進行最優(yōu)化的配置,以尋找最容易獲得全局最優(yōu)的參數,目的是為了改變BP神經網絡過度依賴梯度信息的問題.其實現(xiàn)的關鍵過程如下所示.

(1)基因表述

這一步的主要工作是為了確定網絡的權值和閾值的編碼,將其作為一組有序染色體,用相應維數的實屬變量表示,完成編碼過程,提高運算效率,經過編碼后的基因可以如式(1)表示:

(2)個體適應度的表示

這一步的主要工作是為了完成對第一步中染色體的評價工作,根據個體所對應的神經網絡計算出BP神經網絡的誤差平方和,并采用誤差平方和的倒數來表示,如式 (2)表示:

圖5 LVQ 神經網絡訓練過程

圖6 基于 GA-BP 神經網絡的預測過程

(3)運用進化操作算子

假設兩個基因鏈為Yi和Yj,對應的染色體分別為yi和yj,定義中間變量如式(3)所示:

交叉后的新個體如式(4)表示[11]:

式(4)中的交叉運算保證了子代既可以在其父代所處的區(qū)域之間搜索,也可以在適應度更高的方向搜索更適合的區(qū)域,既保證搜索的多樣性,又提高搜索的效率.

3 預測實例及分析

以我校網絡教學平臺1000名學生在半年內的階段學習數據為研究對象,由于平臺上記錄的數據沒有規(guī)則,為了盡量提高學業(yè)成績預測的準確性,在采集數據的時候從這幾個方面作為學業(yè)成績預測的屬性因素,具體見圖7所示.

本文采用平均絕對誤差百分比MAPE和均方根誤差RMSE對在線學習學業(yè)成績預測進行評估,其中,MAPE用來衡量一個模型預測結果的好壞,RMSE用來反映預測的精準度,分別如式(5)(6)表示:

圖7 網絡教學平臺學習數據的影響因子

其中,y*和y分別代表預測值和實際值,n代表樣本數量.Xobs和Xmodel分別代表觀測值和實際值.

在實際測試中,以每天為單位對數據進行歸一化處理,學習者每天學習的情況受不同影響因子的作用,參看圖7.為了測試結果公平,我們統(tǒng)一將每天的影響因子歸結為五類,為了公平起見,選取影響因子的標準是盡可能的滿足所有狀態(tài)學習的變化,通過大量的實驗測試,我們選取作業(yè)分數、提問回答、登錄次數、學習時長、課程資源訪問頻率五個因素,具體的表現(xiàn)關系如圖8所示.

從圖8中可以看出,這五種影響因子的變化規(guī)律對每個學習者基本呈現(xiàn)相同的規(guī)律,可以用作統(tǒng)計參數使用.每天的實際影響因子表現(xiàn)為它們的不同組合.用前一日的學習數據按一定的權重比例加上當天的影響因子構成完整的數據作為訓練樣本,訓練目標以當日的數據為基本單位,用當日的測試數據及后一日的學習狀態(tài)影響因子來預測后一日的學習成績,依次迭代下去.以完成的任務學時作為窗口長度,對在線學習時間序列進行移位加窗分析,依次移動窗口,直至選定足夠多的訓練樣本和目標,在LVQ-GA-BP網絡中進行訓練,然后用此網絡模型依次學習數據進行預測,從而得到學業(yè)成績的總體預測.在實際訓練中,網絡的隱層節(jié)點為15,基因長度為426,種群規(guī)模為50,遺傳代數為150,學習速率設為0.1,最大迭代次數為1000次.為了驗證本文提出的方法在收斂速度和計算精度上的改進,采用了兩種模型與之對比,第一種是只采用遺傳算法的BP神經網絡,第二種是沒有采用遺傳算法的LVQ網絡與BP網絡相結合.圖9表示的是三種網絡結構的收斂速度,可以看到LVQ+GA+BP的收斂速度明顯快于其他兩種.

圖8 在線學習影響因子的變化狀態(tài)

圖9 三種模型運算收斂速度

為了驗證預測結果與真實成績走向之間的關系,我們分別選取了當年數據(2016年)和近4年的數據(2012-2016年),在本文設計的網絡中進行訓練學習,得到的結果如圖10和圖11所示、在圖10中,點狀虛線表示真實的成績變化走向,深色實線表示沒有采用LVQ的GA+BP神經網絡的訓練預測結果,淺色實線表示本文中提出的LVQ+GA+BP神經網絡訓練預測結果.圖11表示采用的是年度數據預測,虛線表示真實的成績分布趨向,實線表示利用本文方法得到的成績預測趨向.從兩圖的結果可以看出,無論是年度數據還是歷年數據,本文設計的網絡結構都能夠很好的符合真實成績的變化趨勢,在學業(yè)成績預測方面具有一定的可信度.利用式(5)和(6)分別計算三種模型的MAPE和RMSE值,結果如表1所示.

圖10 歷年學業(yè)成績變化趨勢圖

圖11 年度學業(yè)成績變化趨勢圖

表1 三種預測模型的結果評估 (單位:%)

從表1可以看出,采用LVQ的網絡進行樣本分類以后,MAPE和RMSE的值顯著下降,這表明LVQ前期樣本分類結果對于模型最后的結果預測有重要的影響作用,而采用GA算法以后,可以更進一步的優(yōu)化兩者的值,使得預測精度更加精確.

4 結論與展望

在互聯(lián)網極度發(fā)達的今天,網絡在線學習已經成為傳統(tǒng)教育的重要補充部分,利用學習者的特征數據進行學習分析并對其學習成績進行有效預測,可以及時發(fā)現(xiàn)學習過程中存在的問題和障礙,為進行適當的學習干預提供精準化的數據支持,這是傳統(tǒng)教育無法做到的一點.本文構建三者合一的神經網絡模型,利用現(xiàn)有數據對學生的學習成績做出預測,實驗結果表明,使用本文提出的網絡模型進行預測得到的成績與真實成績的分布基本一致,預測精度具有很高的可信度.在后期的研究中,我們將依據現(xiàn)有的模型和框架,利用可視化的方式對學生的學習活動和學業(yè)成績之間的關系進行呈現(xiàn),為更加有效的提供在線學習精準化分析提供科學依據.