基于遺傳神經(jīng)網(wǎng)絡(luò)的學(xué)生成績預(yù)測

劉 毓, 楊 柳, 劉 陸

(西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

為了提高教學(xué)質(zhì)量，制定合理化的人才培養(yǎng)方案，眾多學(xué)者開始關(guān)注數(shù)據(jù)挖掘技術(shù)在教育教學(xué)領(lǐng)域的應(yīng)用[1]。教育數(shù)據(jù)挖掘[2]是指用數(shù)據(jù)挖掘技術(shù)分析從大量教學(xué)數(shù)據(jù)中自動檢索并整理統(tǒng)計出相關(guān)信息的數(shù)據(jù)分析過程，發(fā)現(xiàn)教學(xué)數(shù)據(jù)中潛在的有效信息，以解決教學(xué)實踐中的問題，為教學(xué)管理者、教師、學(xué)生等教育領(lǐng)域相關(guān)人員提供教學(xué)建議和理論支持。學(xué)生成績預(yù)測是教育數(shù)據(jù)挖掘中的重要內(nèi)容。

目前，基于遺傳神經(jīng)網(wǎng)絡(luò)的成績預(yù)測的研究大致可分為如下幾類，徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)預(yù)測(radial basis function, RBF)、反向傳播神經(jīng)網(wǎng)絡(luò)預(yù)測(back propagation, BP)，以及成績修正模型預(yù)測等。文獻(xiàn)[3]提出了基于主成分分析法-徑向基函數(shù)(principal component analysis-radial basis function, PCA-RBF)神經(jīng)網(wǎng)絡(luò)的學(xué)生成績預(yù)測模型，使用主成分分析法(principal component analysis, PCA)進(jìn)行數(shù)據(jù)降維，利用RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)生成績預(yù)測，雖然提高了預(yù)測精度，但未得出學(xué)生成績的影響因子，使該模型的可理解性降低[4]。文獻(xiàn)[5]利用BP神經(jīng)網(wǎng)絡(luò)對學(xué)生成績進(jìn)行預(yù)測，但BP神經(jīng)網(wǎng)絡(luò)的預(yù)測精度較低[6]。文獻(xiàn)[7]提出了一個學(xué)生等級預(yù)測模型，利用基于特征選擇回歸和BP神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行等級預(yù)測，為學(xué)生成績分析提供了重要參考，但是該模型的預(yù)測精度不足[8]。文獻(xiàn)[9]提出了一種基于試卷難度系數(shù)變化的GM(1,1)修正模型，僅以試卷難度系數(shù)為標(biāo)準(zhǔn)，對學(xué)生考試成績進(jìn)行預(yù)測，模型實用性不足[10]。

為了提高學(xué)生成績預(yù)測的精度，本文擬提出一種基于遺傳神經(jīng)網(wǎng)絡(luò)的學(xué)生成績預(yù)測模型。該模型通過計算相關(guān)系數(shù)來簡化輸入項，引入遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型，實現(xiàn)對學(xué)生成績的預(yù)測。

1 BP神經(jīng)網(wǎng)絡(luò)學(xué)生成績預(yù)測

BP神經(jīng)網(wǎng)絡(luò)是多層前向網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層共3層，如圖1所示。輸入層主要負(fù)責(zé)接收信號，隱含層對信號進(jìn)行映射轉(zhuǎn)換，輸出層主要輸出BP神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果。

圖1 3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

其中，假設(shè)n是輸入層節(jié)點(diǎn)數(shù)，l是隱含層節(jié)點(diǎn)數(shù)，m是輸出層的節(jié)點(diǎn)數(shù)，{w11,w12,…,wnl}分別為連接輸入層節(jié)點(diǎn)與隱含層節(jié)點(diǎn)之間的權(quán)值，{a1,a2,…,al}分別為隱含層每一個節(jié)點(diǎn)上的閾值，{v11,v12,…,vlm}分別為連接隱含層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)之間的權(quán)值，{b1,b2,…,bm}分別為輸出層每一個節(jié)點(diǎn)上的閾值。BP神經(jīng)網(wǎng)絡(luò)主要采用誤差函數(shù)梯度下降法進(jìn)行學(xué)習(xí)，循環(huán)進(jìn)行輸入信號的前向傳播和誤差的逆向傳播這兩個過程，直到均方誤差值等于給定值或達(dá)到最大迭代次數(shù)為止[11]。

分別對BP神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)、隱含層節(jié)點(diǎn)數(shù)以及輸出層節(jié)點(diǎn)數(shù)進(jìn)行設(shè)置。輸入層的節(jié)點(diǎn)數(shù)為輸入的課程數(shù)目，輸出層的節(jié)點(diǎn)數(shù)取決于輸出的課程數(shù)目。隱含層節(jié)點(diǎn)數(shù)采用試湊法確定，根據(jù)實驗結(jié)果選擇最優(yōu)的隱含層節(jié)點(diǎn)數(shù)。利用試湊法[12]對隱含層的初始值確定式為

(1)

式中?是1～10之間的任意常數(shù)。建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型，輸入數(shù)據(jù)為某高校通信工程專業(yè)的學(xué)生基礎(chǔ)課程成績，輸出數(shù)據(jù)為學(xué)生的核心專業(yè)課程期末考試成績。

2 遺傳神經(jīng)網(wǎng)絡(luò)學(xué)生成績預(yù)測

為了克服BP神經(jīng)網(wǎng)絡(luò)建立預(yù)測模型預(yù)測精度低的缺點(diǎn)[13]，建立了一種基于遺傳神經(jīng)網(wǎng)絡(luò)的預(yù)測模型，如圖2所示。

圖2 遺傳神經(jīng)網(wǎng)絡(luò)預(yù)測模型

通過相關(guān)分析法[14]選擇與預(yù)測目標(biāo)課程成績高度關(guān)聯(lián)的基礎(chǔ)課程成績作為預(yù)測的輸入項，引入遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，選擇、交叉、變異為BP神經(jīng)網(wǎng)絡(luò)選擇最優(yōu)的初始權(quán)值和閾值。遺傳神經(jīng)網(wǎng)絡(luò)預(yù)測學(xué)生成績的具體流程，如圖3 所示。

圖3 遺傳神經(jīng)網(wǎng)絡(luò)成績預(yù)測流程

2.1 相關(guān)分析法

相關(guān)分析法[14]，是研究觀測值之間是否存在某種依存關(guān)系，并探討具有依存關(guān)系的變量之間相關(guān)方向、相關(guān)程度，分析隨機(jī)變量之間相關(guān)關(guān)系的一種統(tǒng)計方法。用相關(guān)分析法計算基礎(chǔ)課程成績與目標(biāo)課程成績的相關(guān)性，分析各門基礎(chǔ)課程成績對目標(biāo)課程成績的影響程度。

在相關(guān)分析法中，一般使用皮爾遜相關(guān)系數(shù)[14]ρ來研究相關(guān)度，其定義[14]為

(2)

2.2 遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

遺傳算法是基于自然群體遺傳進(jìn)化機(jī)制的自適應(yīng)全局優(yōu)化概率搜索算法，它模擬了生物進(jìn)化中的繁殖、雜交和突變現(xiàn)象[15]。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，主要利用BP神經(jīng)網(wǎng)絡(luò)中的初始權(quán)值和閾值作為遺傳算法中的染色體，生成初始種群，用遺傳算法的遺傳算子進(jìn)行選擇、交叉和變異操作，對種群個體進(jìn)行逐代擇優(yōu)，找到BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值的最優(yōu)解并進(jìn)行賦值，代入BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，得到全局最優(yōu)預(yù)測值，降低BP神經(jīng)網(wǎng)絡(luò)的預(yù)測誤差。

2.2.1 實數(shù)編碼

采用實數(shù)編碼的方式設(shè)計神經(jīng)網(wǎng)絡(luò)，將BP神經(jīng)網(wǎng)絡(luò)中的所有權(quán)值和閾值作為待編碼的參數(shù)，待編碼的參數(shù)為(n+1)×l+(l+1)×m，這些參數(shù)的排列順序為輸入層到隱含層的權(quán)值，隱含層到輸出層的權(quán)值，隱含層的閾值，輸出層的閾值。

2.2.2 適應(yīng)度函數(shù)

遺傳算法搜索目標(biāo)為獲取所有進(jìn)化代中使網(wǎng)絡(luò)的誤差平方和最小的網(wǎng)絡(luò)權(quán)值和閾值，遺傳算法朝著適應(yīng)度函數(shù)值增大的方向進(jìn)化[12]，適應(yīng)度函數(shù)f可以用每一個個體的訓(xùn)練誤差的倒數(shù)來表示

(3)

式中oi是通過BP神經(jīng)網(wǎng)絡(luò)預(yù)測輸出的學(xué)生的目標(biāo)課程成績數(shù)據(jù)。

2.2.3 選擇算子

采用輪盤賭法[12]的選擇方式，首先計算某代個體的適應(yīng)度值fc，然后計算此適應(yīng)度值在總適應(yīng)度值中所占的比例，用K表示種群個體的數(shù)目，c(c=1,2,..，K)為種群K中的一個個體，則該個體在選擇過程中被選擇的概率為Pc

(4)

2.2.4 交叉操作

從種群中選擇兩個個體，按照給定的概率交叉，得到新個體的操作稱為交叉操作[16]。采用實數(shù)交叉法進(jìn)行交叉操作，r是染色體，h、v是染色體的個數(shù)，s是染色體的位數(shù)，第h個染色體rh和第v個染色體rv在第s位的交叉操作[16]方法為

(5)

式中rhs是第h個染色體的s位，rvs是第v個染色體的第s位，β為[0,1]之間的隨機(jī)數(shù)。

2.2.5 變異操作

從種群中隨機(jī)選擇一個個體，按一定概率變異，得到新個體的過程叫做變異操作[16]。例如第h個染色體的第s位進(jìn)行變異，變異方法[16]為

rhs=rhs+Δx。

(6)

式中Δx為隨機(jī)數(shù)，設(shè)Δx的取值范圍[rmin-rhs,rmax-rhs]，rmax是基因rhs的上界，rmin是基因rhs的下界。

用遺傳神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)生成績預(yù)測，將學(xué)生課程成績分為學(xué)習(xí)樣本與測試樣本，學(xué)習(xí)樣本中的基礎(chǔ)課程成績設(shè)置為遺傳神經(jīng)網(wǎng)絡(luò)的輸入項，目標(biāo)課程成績設(shè)置為輸出項，用學(xué)習(xí)樣本訓(xùn)練遺傳神經(jīng)網(wǎng)絡(luò)模型，將測試樣本中的基礎(chǔ)課程成績代入訓(xùn)練好的模型中，即可預(yù)測得出的學(xué)生的目標(biāo)課程成績，實現(xiàn)對學(xué)生成績的預(yù)測。

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)采集

采集數(shù)據(jù)為某大學(xué)通信工程專業(yè)1601—1603的99名學(xué)生，在大學(xué)一年級和大學(xué)二年級兩年中的12門基礎(chǔ)課程成績，分別為高等數(shù)學(xué)AI、高等數(shù)學(xué)AII、大學(xué)物理AI、線性代數(shù)A、復(fù)變函數(shù)、大學(xué)物理實驗AI、電路分析基礎(chǔ)A、電路基礎(chǔ)實驗、大學(xué)英語I、大學(xué)英語II、思想道德修養(yǎng)與法律基礎(chǔ)、大學(xué)體育的成績，并采集這些學(xué)生的核心專業(yè)基礎(chǔ)課信號與系統(tǒng)的期末考試卷面成績。

針對采集的原始數(shù)據(jù)，做數(shù)據(jù)預(yù)處理，刪除在本次考試中缺考學(xué)生的所有數(shù)據(jù)，剩余80名學(xué)生數(shù)據(jù)，再將數(shù)據(jù)歸一化至[0～100]區(qū)間內(nèi)，得到最終的學(xué)生成績數(shù)據(jù)。

3.2 相關(guān)分析法數(shù)據(jù)處理

將信號與系統(tǒng)作為預(yù)測目標(biāo)課程，參照式(2)，可得到經(jīng)數(shù)據(jù)預(yù)處理后的通信工程專業(yè)80名學(xué)生的12門基礎(chǔ)課程成績，與目標(biāo)課程信號與系統(tǒng)成績之間的相關(guān)系數(shù)，見表1。

表1 基礎(chǔ)課程與目標(biāo)課程相關(guān)系數(shù)

表1中可以看出，高等數(shù)學(xué)AII、高等數(shù)學(xué)AI、以及復(fù)變函數(shù)等課程成績與目標(biāo)課程信號與系統(tǒng)成績的相關(guān)度較高，而大學(xué)體育、大學(xué)英語I、大學(xué)英語II等課程成績與目標(biāo)課程成績的相關(guān)度則相對較低。

3.3 學(xué)生成績預(yù)測實驗分析

選取matlabR2016a軟件作為仿真工具，分別采用BP神經(jīng)網(wǎng)絡(luò)模型和遺傳神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測。設(shè)置測試集和訓(xùn)練集，將所采集到的通信工程專業(yè)1601—1603班級中學(xué)號后10位的學(xué)生成績作為測試集，其余70名學(xué)生的成績數(shù)據(jù)作為訓(xùn)練集。

3.3.1 BP神經(jīng)網(wǎng)絡(luò)學(xué)生成績預(yù)測分析

使用BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行學(xué)生成績預(yù)測，初始的學(xué)生基礎(chǔ)課程成績共12門，將神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元設(shè)置為12，信號與系統(tǒng)的成績數(shù)據(jù)作為輸出，將輸出層神經(jīng)元設(shè)置為1，根據(jù)式(1)可求得，隱含層神經(jīng)元個數(shù)為4～14，由于隱含層的節(jié)點(diǎn)數(shù)目決定了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的非線性映射能力，為了使神經(jīng)網(wǎng)絡(luò)具有更好的預(yù)測性能，設(shè)隱含層神經(jīng)元為14，設(shè)循環(huán)次數(shù)為3 000，訓(xùn)練誤差為0.001。學(xué)習(xí)速率決定了訓(xùn)練過程中的權(quán)值變化，一般情況下選取較小的學(xué)習(xí)速率保證學(xué)習(xí)的穩(wěn)定性，因此這里取學(xué)習(xí)速率為0.2[5]，得到如圖4所示BP神經(jīng)網(wǎng)絡(luò)模型的實際值和預(yù)測值折線圖。

圖4 BP神經(jīng)網(wǎng)絡(luò)模型實際預(yù)測值折線

對BP神經(jīng)網(wǎng)絡(luò)模型得到的實際值和預(yù)測值進(jìn)行分析。學(xué)生1的信號與系統(tǒng)成績?yōu)?0分，預(yù)測得到68分；學(xué)生2的真實成績?yōu)?6分，預(yù)測得到56分；學(xué)生3的實際得分為80分，預(yù)測得到72分；學(xué)生4的真實成績?yōu)?4分，預(yù)測得到73分；學(xué)生5的真實成績?yōu)?2分，預(yù)測得到68分；學(xué)生6的真實成績?yōu)?5分，預(yù)測得到61分；學(xué)生7的真實成績?yōu)?8分，預(yù)測得到59分；學(xué)生8的真實成績?yōu)?6分，預(yù)測得到52分；學(xué)生9的真實成績?yōu)?8分，預(yù)測得到77分；學(xué)生10的真實成績?yōu)?2分，預(yù)測得到70分。由于部分輸入項與與輸出項的相關(guān)度低，隨機(jī)設(shè)置了BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，每個學(xué)生得到的預(yù)測成績和和真實成績都存在較大誤差，可以看出BP神經(jīng)網(wǎng)絡(luò)模型在學(xué)生成績預(yù)測中還存在不足之處。

3.3.2 遺傳神經(jīng)網(wǎng)絡(luò)學(xué)生成績預(yù)測分析

在遺傳神經(jīng)網(wǎng)絡(luò)的成績預(yù)測中，采用相關(guān)分析法選取相關(guān)系數(shù)大于0.35的高等數(shù)學(xué)AII、高等數(shù)學(xué)A、復(fù)變函數(shù)、電路分析基礎(chǔ)A、大學(xué)物理實驗AI、線性代數(shù)A，6門基礎(chǔ)課程成績作為輸入項，所以將神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元設(shè)置為6，將隱藏層神經(jīng)元設(shè)置為13，信號與系統(tǒng)的成績數(shù)據(jù)作為輸出項，將輸出層神經(jīng)元設(shè)置為1，用Matlab仿真工具實現(xiàn)遺傳算法的編解碼函數(shù)和適應(yīng)度函數(shù)，將神經(jīng)網(wǎng)絡(luò)部分的參數(shù)與BP神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置為相同值，同時對遺傳算法種群的初始化和基本參數(shù)進(jìn)行設(shè)置，遺傳算法中的種群規(guī)模一般設(shè)置范圍為10～200，若種群規(guī)模設(shè)置過大，導(dǎo)致結(jié)果收斂性能差，若種群規(guī)模過小，則會出現(xiàn)近親交配，產(chǎn)生病態(tài)基因，因此設(shè)置初始種群規(guī)模為100，最大遺傳代數(shù)為50，交叉概率設(shè)置范圍為0.3～0.9，若交配概率過大容易錯失最優(yōu)個體，交配概率過小則不能有效更新種群，設(shè)交叉概率為0.5，變異概率設(shè)置范圍為0.001～0.2，為了保證種群的多樣性同時不破壞現(xiàn)有的種群模式，設(shè)變異概率為0.01[11]，得到遺傳神經(jīng)網(wǎng)絡(luò)模型實際值和預(yù)測值折線圖，如圖5所示。

圖5 遺傳神經(jīng)網(wǎng)絡(luò)模型實際預(yù)測值折線

圖5中可以看出，學(xué)生1的信號與系統(tǒng)成績?yōu)?0分，預(yù)測得到65分；學(xué)生2的真實成績?yōu)?6分，預(yù)測得到65分；學(xué)生3的實際得分為80分，預(yù)測得到78分；學(xué)生4的真實成績?yōu)?4分，預(yù)測得到62分；學(xué)生5的真實成績?yōu)?2分，預(yù)測得到69分；學(xué)生6的真實成績?yōu)?5分，預(yù)測得到71分；學(xué)生7的真實成績?yōu)?8分，預(yù)測得到69分；學(xué)生8的真實成績?yōu)?6分，預(yù)測得到55分；學(xué)生9的真實成績?yōu)?4分，預(yù)測得到77分；學(xué)生10的真實成績?yōu)?2分，預(yù)測得到73分。遺傳神經(jīng)網(wǎng)絡(luò)模型預(yù)測得到的學(xué)生成績，與學(xué)生的實際成績更為接近。將BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果與遺傳神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果進(jìn)行對比，可以看出遺傳神經(jīng)網(wǎng)絡(luò)模型具有更小的預(yù)測誤差，兩種模型的預(yù)測值對比，見表2。

表2 兩種模型預(yù)測結(jié)果對比

根據(jù)表2中的兩種模型預(yù)測值和實際值分別求解兩種模型的均方根誤差e

(7)

式中Q為預(yù)測的學(xué)生人數(shù)，在本文中為10。

將表2中學(xué)生真實成績作為yi，分別將BP神經(jīng)網(wǎng)絡(luò)預(yù)測成績及遺傳神經(jīng)網(wǎng)絡(luò)預(yù)測成績作為oi，代入式(7)求解出BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測的均方根誤差為8.6，遺傳神經(jīng)網(wǎng)絡(luò)模型預(yù)測的均方根誤差為2.8。通過對均方根誤差的比較，可以看出，遺傳神經(jīng)網(wǎng)絡(luò)模型相較于BP神經(jīng)網(wǎng)絡(luò)模型，預(yù)測精度更高。更適合于進(jìn)行學(xué)生成績預(yù)測。

4 結(jié)語

針對遺傳神經(jīng)網(wǎng)絡(luò)的學(xué)生成績預(yù)測，在BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的基礎(chǔ)上，用相關(guān)分析法求解基礎(chǔ)課程成績與目標(biāo)課程成績的相關(guān)系數(shù)，去除與目標(biāo)課程成績相關(guān)程度低的基礎(chǔ)課程成績，設(shè)計遺傳算法的編碼方式、適應(yīng)度函數(shù)、遺傳算子，將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，得到BP神經(jīng)網(wǎng)絡(luò)的最優(yōu)初始權(quán)值與閾值，建立了遺傳神經(jīng)網(wǎng)絡(luò)學(xué)生成績預(yù)測模型。通過采集某大學(xué)通信工程專業(yè)1601—1603班級99名學(xué)生的實際基礎(chǔ)課程成績，代入遺傳神經(jīng)網(wǎng)絡(luò)學(xué)生成績預(yù)測模型，預(yù)測這些學(xué)生的核心專業(yè)基礎(chǔ)課程成績。實驗結(jié)果表明，該模型與BP神經(jīng)網(wǎng)絡(luò)模型相比，預(yù)測的均方根誤差由8.6降低為2.8，具有更高的預(yù)測精度，驗證了該模型的有效性。