基于人工智能LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)成績預(yù)測

未晛

（北京勞動保障職業(yè)學(xué)院，北京 100029）

一、引言

近年來，人工神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于教育、醫(yī)療衛(wèi)生、經(jīng)濟(jì)等諸多領(lǐng)域，并在疫情期間的社會生活中發(fā)揮了巨大作用[1][2]。在教育領(lǐng)域，教學(xué)成績是一項(xiàng)評價(jià)學(xué)校教學(xué)質(zhì)量的重要指標(biāo)，對于學(xué)生學(xué)業(yè)、教師教學(xué)能力及學(xué)校教學(xué)管理意義重大。利用人工神經(jīng)網(wǎng)絡(luò)對學(xué)習(xí)成績進(jìn)行預(yù)測，給學(xué)生課業(yè)學(xué)習(xí)提供風(fēng)險(xiǎn)提示，并對學(xué)生專業(yè)發(fā)展提供合理化建議；教師據(jù)此制定或調(diào)整更符合學(xué)生成長規(guī)律的教學(xué)策略，同時(shí)促進(jìn)自身教學(xué)水平的提高，進(jìn)而提升學(xué)校教學(xué)質(zhì)量；學(xué)校教務(wù)部門可預(yù)判各學(xué)科教學(xué)質(zhì)量，優(yōu)化教學(xué)管理進(jìn)而預(yù)防教學(xué)事故的發(fā)生。學(xué)習(xí)成績預(yù)測已成為人工神經(jīng)網(wǎng)絡(luò)在教育領(lǐng)域應(yīng)用研究的熱點(diǎn)與難點(diǎn)[3-6]。

目前，在學(xué)生成績預(yù)測實(shí)踐中常采用BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)，這類算法具有很好的非線性映射能力、泛化能力、容錯(cuò)能力，并在應(yīng)用中取得了一定效果。但人們在使用過程中發(fā)現(xiàn)，該類算法存在收斂速度慢、容易陷入局部極小值等缺陷[6]。同時(shí)，BP 神經(jīng)網(wǎng)絡(luò)只能單獨(dú)處理單獨(dú)的輸入，前一個(gè)輸入和后一個(gè)輸入是完全無關(guān)的。然而，學(xué)生的學(xué)習(xí)成績具有一定相關(guān)性，即前期課程基礎(chǔ)對后期課程成績有一定影響，此時(shí)BP 神經(jīng)網(wǎng)絡(luò)就產(chǎn)生了不適應(yīng)性[7-9]。這時(shí)，就常用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）模型。長短期記憶網(wǎng)絡(luò)（Long Short Term Memory networks,LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)的典型代表，該模型除具有常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)特征外，還能較好地解決原始循環(huán)神經(jīng)網(wǎng)絡(luò)的長距離依賴問題，已成為當(dāng)前最流行的循環(huán)神經(jīng)網(wǎng)絡(luò)，這也貼近學(xué)生成績的數(shù)據(jù)變化規(guī)律?；诖?，本文利用長短期記憶網(wǎng)絡(luò)，以北京勞動保障職業(yè)學(xué)院學(xué)生成績?yōu)槔?，進(jìn)行成績預(yù)測，并在此基礎(chǔ)上給出針對學(xué)生、教師及學(xué)校三類群體的合理化建議，以達(dá)到提高教學(xué)質(zhì)量的目的。

二、LSTM 概述

（一）LSTM 原理

LSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，由霍克賴特（Hochreiter）和施米德胡貝（Schmidhuber）提出，用于處理長時(shí)間序列數(shù)據(jù)。LSTM 采用特殊隱式單元，在繼承了大部分RNN 模型特性的同時(shí)，能夠解決長期依賴問題，避免梯度消失，模型準(zhǔn)確度高、訓(xùn)練速度快、并行處理能力強(qiáng)[10-12]。目前基本的LSTM 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 LSTM 結(jié)構(gòu)圖

LSTM 模型由遺忘門限、輸入門限、輸出門限和神經(jīng)單元狀態(tài)組成。遺忘門限決定哪些信息需要被丟棄，表達(dá)式為：

其中，ft為遺忘門限的激活向量；σ為sigmoid 函數(shù)；W為權(quán)重矩陣；ht為LSTM 神經(jīng)元的輸出向量；xt為LSTM 神經(jīng)元；bf為偏置項(xiàng)；下標(biāo)t表示不同時(shí)刻。

輸入門限決定哪些新信息被存放到單元狀態(tài)中，表達(dá)式為：

其中，it為輸入門限的激活向量；為當(dāng)前輸入的單元狀態(tài)。

LSTM 模型的關(guān)鍵是單元狀態(tài)，即貫穿圖1的水平線，單元狀態(tài)類似于傳送帶，貫穿整個(gè)鏈條，只有小的線性相互作用，使其容易以不變的方式向下流動，表達(dá)式為：

其中，Ct為神經(jīng)元細(xì)胞狀態(tài)向量。

輸出門限是來控制單元狀態(tài)有多少輸出到LSTM 模型的當(dāng)前值，表達(dá)式為：

其中，ot為輸出門限的激活向量。式（1）到式（6）就是LSTM 模型前向計(jì)算的全部公式。

（二）LSTM 模型訓(xùn)練算法框架

LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法采用反向傳播算法，包括以下幾個(gè)步驟：首先，按照公式（1）到公式（6）前向計(jì)算每個(gè)神經(jīng)元的輸出值，即ft、it、Ct、ot、ht五個(gè)向量的值。其次，反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)δ 值。像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣，誤差項(xiàng)向兩個(gè)方向進(jìn)行反向傳播：一個(gè)是沿時(shí)間的反向傳播；一個(gè)是將誤差項(xiàng)向上一層傳播。再次，根據(jù)誤差項(xiàng)，使用一定的優(yōu)化算法，通過計(jì)算每個(gè)權(quán)重的梯度來調(diào)整模型參數(shù)，使預(yù)測結(jié)果靠近優(yōu)化目標(biāo)。最后，通過上述迭代過程訓(xùn)練模型，直至訓(xùn)練得到符合要求的優(yōu)化目標(biāo)，從而建立滿足誤差要求的LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測模型。

三、成績預(yù)測的實(shí)現(xiàn)

（一）實(shí)驗(yàn)數(shù)據(jù)

本文進(jìn)行成績預(yù)測的數(shù)據(jù)均來自北京勞動保障職業(yè)學(xué)院學(xué)生的真實(shí)成績數(shù)據(jù)，數(shù)據(jù)格式為：姓名、性別、學(xué)號、學(xué)年、學(xué)期、課程名稱、成績等，具體如表1 所示。

表1 學(xué)生成績數(shù)據(jù)

由于存在部分考生請病假、事假，導(dǎo)致缺考等異常情況，需要對數(shù)據(jù)進(jìn)行預(yù)處理，包括去除空項(xiàng)、非正常數(shù)據(jù)等。同時(shí)，選擇相關(guān)度較好的基礎(chǔ)物理、基礎(chǔ)數(shù)學(xué)等課程，結(jié)合入學(xué)成績及各學(xué)年度的行圓成績（主要表征學(xué)生在考勤、自習(xí)課、宿舍衛(wèi)生、校園紀(jì)律等方面的表現(xiàn)）進(jìn)行成績預(yù)測，每位學(xué)生由4 項(xiàng)特征屬性進(jìn)行描述，并做出如下假設(shè)：

假設(shè)1：學(xué)生成績可以通過入學(xué)成績、各階段歷史成績和學(xué)生行圓成績來反映。

假設(shè)2：影響學(xué)生成績的因素比較穩(wěn)定，不會大起大落。

按照假設(shè)對數(shù)據(jù)進(jìn)一步處理（去除非必要項(xiàng)）得到表2 所示的結(jié)果。表2 第一項(xiàng)為序號，第二項(xiàng)到第四項(xiàng)為基礎(chǔ)數(shù)學(xué)成績、基礎(chǔ)物理成績、行圓成績和入學(xué)成績。

表2 學(xué)生成績預(yù)處理結(jié)果

（二）LSTM 模型預(yù)測框架

由于預(yù)測成績數(shù)據(jù)集由4 維特征向量構(gòu)成，所以，輸入層的節(jié)點(diǎn)數(shù)量為4，輸出層為LSTM模型的輸出結(jié)果，即目標(biāo)課程成績基礎(chǔ)數(shù)學(xué)和基礎(chǔ)物理，所以輸出節(jié)點(diǎn)數(shù)為2。根據(jù)構(gòu)建神經(jīng)網(wǎng)絡(luò)超參數(shù)的經(jīng)驗(yàn)，本文采用經(jīng)典的三層網(wǎng)絡(luò)模型，LSTM 循環(huán)層的節(jié)點(diǎn)數(shù)為20 個(gè)，如圖2 所示。優(yōu)化采用Adam 算法，使用Dropout 正則化方法來防止過擬合現(xiàn)象的發(fā)生。預(yù)測回歸類模型精度的評價(jià)方法很多，本文采用平均絕對值誤差來衡量模型預(yù)測結(jié)果的好壞。

圖2 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測框架

四、應(yīng)用效果分析及建議

首先，為保持?jǐn)?shù)據(jù)集的獨(dú)立性且不被窺探，在將數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前，先將數(shù)據(jù)分成訓(xùn)練集和測試集。數(shù)據(jù)集中共計(jì)7680 個(gè)4 維數(shù)據(jù)，6144 個(gè)數(shù)據(jù)集被用作訓(xùn)練數(shù)據(jù)，其余數(shù)據(jù)用于測試，然后將訓(xùn)練集和測試集分成輸入和輸出變量。最后，將輸入（X）重構(gòu)為LSTM 預(yù)期的3D 格式。

其次，對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)進(jìn)行歸一化處理。數(shù)據(jù)歸一化是很重要的環(huán)節(jié)，常用方法如下：

其中xi為樣本數(shù)據(jù)、xmin為最小值、xmax為最大值為歸一化后的數(shù)值。

最后，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，通常利用損失函數(shù)來衡量網(wǎng)絡(luò)模型對訓(xùn)練數(shù)據(jù)的擬合能力。神經(jīng)網(wǎng)絡(luò)算法通過多次的訓(xùn)練迭代來調(diào)整模型參數(shù)（即網(wǎng)絡(luò)的權(quán)重值），最終通過損失函數(shù)的下降趨勢來判斷算法是否已經(jīng)取得理想的深度神經(jīng)網(wǎng)絡(luò)模型。圖3 為訓(xùn)練數(shù)據(jù)集的損失函數(shù)，模型收斂較快。

圖3 訓(xùn)練和測試損失函數(shù)

為方便查看預(yù)測成績結(jié)果，采用兩種方式進(jìn)行顯示：一種是列表方式，另外一種是圖表方式。在匹配學(xué)生的姓名、學(xué)號、系統(tǒng)預(yù)測成績后可分別顯示出來，形式如表3 所示。另外，預(yù)測數(shù)據(jù)也可以呈圖表顯示，如圖4 所示。

表3 列表顯示學(xué)生成績預(yù)測

圖4 學(xué)生成績預(yù)測結(jié)果

從表3 和圖4 可以看出，基礎(chǔ)物理和基礎(chǔ)數(shù)學(xué)的預(yù)測成績和實(shí)際考試成績誤差較小，預(yù)測精度較為準(zhǔn)確。但個(gè)別學(xué)生（如學(xué)生5）的預(yù)測成績和實(shí)際成績誤差較大，后經(jīng)教務(wù)處證實(shí)，入學(xué)前約30 名學(xué)生并未選擇基礎(chǔ)物理學(xué)科，而其他學(xué)科則處于持續(xù)學(xué)習(xí)中，數(shù)據(jù)的相關(guān)性受到影響，學(xué)生5 為其中之一。同時(shí)，對課程的喜愛程度、回答問題次數(shù)等因素也影響學(xué)生的課程成績，這或許是導(dǎo)致預(yù)測成績精度稍差的原因之一?？傮w而言，模型預(yù)測成績和實(shí)際考試成績的趨勢一致，精度較為精確。

綜上，基于學(xué)生基礎(chǔ)物理、基礎(chǔ)數(shù)學(xué)、入學(xué)成績，以及各學(xué)年度行圓成績等數(shù)據(jù)，在假設(shè)條件下，利用LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行成績預(yù)測具有較好的實(shí)驗(yàn)效果，表明該方法具有效性和實(shí)用性。

學(xué)習(xí)成績預(yù)測是為教育教學(xué)服務(wù)的，探討預(yù)測成績數(shù)據(jù)，在不同維度上對提高教學(xué)效果具有重要意義。為充分利用預(yù)測數(shù)據(jù)，達(dá)到提高教學(xué)質(zhì)量的目的，成績預(yù)測有三項(xiàng)功能建議。

首先，對于學(xué)生而言，基于成績預(yù)測結(jié)果可以篩查出處于及格線以下及邊緣的課程，達(dá)到對學(xué)生課程學(xué)習(xí)進(jìn)行提醒與警示的目的，以便學(xué)生對薄弱科目進(jìn)行重點(diǎn)復(fù)習(xí)或突破，減少課程不及格的風(fēng)險(xiǎn)。學(xué)生可以通過專用接口查詢學(xué)業(yè)預(yù)警情況。例如，蔡同學(xué)從表4 中可以看到存在掛科風(fēng)險(xiǎn)的課程名稱為“基礎(chǔ)數(shù)學(xué)”，今后會更加注重該學(xué)科的學(xué)習(xí)。通過學(xué)生學(xué)業(yè)預(yù)警，能夠給學(xué)生更直觀的警醒或提示，使其能夠更加重視某學(xué)科的學(xué)習(xí)，及時(shí)解決學(xué)習(xí)中存在的問題，預(yù)防不能如期畢業(yè)情況的發(fā)生。同時(shí)，學(xué)生可以明確自己的優(yōu)勢學(xué)科，在進(jìn)行專業(yè)選擇、畢業(yè)設(shè)計(jì)時(shí)，倚靠優(yōu)勢學(xué)科，發(fā)揮特長，在畢業(yè)擇業(yè)時(shí)亦能做到“人盡其才”。

表4 學(xué)生學(xué)業(yè)預(yù)警

其次，對于教師而言，通過篩查授課科目的不及格率，定性或半定量了解學(xué)生的學(xué)習(xí)狀態(tài)，對處于及格線及其邊緣的同學(xué)重點(diǎn)關(guān)注，并主動提供學(xué)業(yè)幫助。表5 為根據(jù)預(yù)測數(shù)據(jù)篩查出的基礎(chǔ)數(shù)學(xué)某任課教師所教授學(xué)生中，存在掛科風(fēng)險(xiǎn)的學(xué)生姓名及其預(yù)測分?jǐn)?shù)。針對表5 中的學(xué)生，教師可以從學(xué)生的學(xué)習(xí)興趣、自我效能感、學(xué)習(xí)策略等方面切入，分層分類開展教學(xué)管理。對于這部分學(xué)生，教師可適當(dāng)?shù)亟档徒虒W(xué)目標(biāo)，增加成功激勵(lì)，提高其自我效能感，并加強(qiáng)薄弱環(huán)節(jié)的調(diào)節(jié)、鼓勵(lì)尋求幫助和進(jìn)行自我監(jiān)控能力的培養(yǎng)。

表5 某學(xué)科掛科風(fēng)險(xiǎn)學(xué)生列表

最為重要的是，教師不僅要關(guān)注學(xué)生成績數(shù)據(jù)本身，更應(yīng)思考數(shù)據(jù)背后是一個(gè)個(gè)有待教育、引導(dǎo)的鮮活個(gè)體。在關(guān)注學(xué)生學(xué)習(xí)成績的同時(shí)，更要關(guān)心學(xué)生身心健康的發(fā)展。同時(shí)，借助新的信息技術(shù)手段及時(shí)調(diào)整授課方式方法、改進(jìn)教學(xué)手段，促使教師不斷反思教學(xué)過程。特別是近年來，利用人工智能技術(shù)高效開展線上課程（釘釘直播課、學(xué)習(xí)通、雨課堂等），擴(kuò)展了教學(xué)方式，離散了教學(xué)過程的“時(shí)間—空間”（可回放、重復(fù)、非教室），進(jìn)一步豐富了教師的授課方式和教學(xué)手段，助力教師對學(xué)生（存在掛科風(fēng)險(xiǎn)）的課業(yè)輔導(dǎo)與教學(xué)。

最后，對于學(xué)校教務(wù)部門而言，可以系統(tǒng)地對教師的教學(xué)質(zhì)量做出預(yù)評估。如果某科目成績低的學(xué)生過多，則證明該課程存在發(fā)生教學(xué)事故的風(fēng)險(xiǎn)。這時(shí)需要提示相關(guān)教學(xué)部門及時(shí)介入干預(yù)，同時(shí)提醒相關(guān)教師更加注重教學(xué)效果，甚至可以采取更為嚴(yán)格的管理措施來防范教學(xué)事故的發(fā)生。對學(xué)校教務(wù)部門而言，通過對教學(xué)質(zhì)量的預(yù)警評估，能夠達(dá)到改善學(xué)生管理和預(yù)防教學(xué)事故的目的。

本研究可以在以下方面進(jìn)一步擴(kuò)展：①優(yōu)化基礎(chǔ)數(shù)據(jù)。學(xué)習(xí)成績是學(xué)習(xí)效果的直接體現(xiàn)，受到諸如學(xué)生情感、行為、原有基礎(chǔ)知識結(jié)構(gòu)等諸多因素的影響，越能準(zhǔn)確刻畫這些信息，并且恰當(dāng)?shù)厝谌氲筋A(yù)測模型中，越能提高模型的預(yù)測精度。例如，開展學(xué)生情感特征及目標(biāo)學(xué)科成績關(guān)聯(lián)性分析，并科學(xué)量化融入模型，無疑對提高模型預(yù)測精度大有裨益。所以，這些因素的科學(xué)量化及準(zhǔn)確表達(dá)是一個(gè)重要的研究方向。②探索教學(xué)過程時(shí)效性評價(jià)新途徑。在本文中，預(yù)測結(jié)果是依據(jù)歷史成績、入學(xué)成績，以及考勤、宿舍衛(wèi)生、校園紀(jì)律等行為特征進(jìn)行的階段性成績預(yù)測。實(shí)際上，隨著師生在教學(xué)過程中的互動，在學(xué)生更加注重自身學(xué)業(yè)、教師持續(xù)優(yōu)化教學(xué)設(shè)計(jì)并改善教學(xué)活動等因素的共同影響下，教學(xué)效果必然實(shí)時(shí)發(fā)生變化，導(dǎo)致模型預(yù)測結(jié)果亦發(fā)生變化。預(yù)測結(jié)果的變化量可作為教師教學(xué)效果過程性評價(jià)的一個(gè)重要參考。

五、結(jié)語

本文的實(shí)驗(yàn)結(jié)果表明，LSTM 模型能夠較準(zhǔn)確地預(yù)測學(xué)生的課程成績，具有一定的有效性和實(shí)用性。研究對預(yù)測數(shù)據(jù)所具有的豐富內(nèi)涵進(jìn)行了不同維度的挖掘，并提出預(yù)測成績的三項(xiàng)功能建議，具有一定的推廣及實(shí)用價(jià)值。