一種基于投票的ICT類課程學(xué)生在線學(xué)習(xí)成績預(yù)測模型

殷錫亮，張琳琳，羅 洋，楊興全，周德云

（1.哈爾濱職業(yè)技術(shù)學(xué)院 電子與信息工程學(xué)院，黑龍江 哈爾濱 150081；2.黑龍江交通職業(yè)技術(shù)學(xué)院 信息工程系，黑龍江 哈爾濱 150025；3.黑龍江職業(yè)學(xué)院 信息工程學(xué)院，黑龍江 哈爾濱 150070）

0 引言

2020 年初，各行各業(yè)因疫情受到不小影響。依據(jù)教育部“停課不停學(xué)”的指導(dǎo)意見，全國各高校普遍采用線上教學(xué)替代或補充線下教學(xué)的方式以開展教學(xué)活動，這一舉措為教學(xué)的順利開展提供了良好支撐。與線下教學(xué)相比，線上教學(xué)可獲得較好的教學(xué)效果［1-2］。然而，在線學(xué)習(xí)過程中，難免有學(xué)生因自律性差而導(dǎo)致學(xué)習(xí)效果不佳。針對這種情況，一種較好的途徑是利用在線教學(xué)平臺提供的學(xué)生學(xué)習(xí)過程數(shù)據(jù)，結(jié)合教學(xué)過程中進行的問答、測試等，設(shè)計學(xué)生學(xué)習(xí)預(yù)測模型。利用此模型，可以對預(yù)期學(xué)習(xí)效果不佳的學(xué)生進行提前預(yù)警，此外，還可對不同學(xué)生進行有的放矢地重點幫扶。

然而，近年來針對高等職業(yè)院校學(xué)生的在線學(xué)習(xí)預(yù)測模型研究少之又少。因此，本文通過對高職院校信息通訊技術(shù)（Information and Communication Technology，ICT）類課程的在線教學(xué)過程數(shù)據(jù)分析，提出了一種基于投票的學(xué)生在線學(xué)習(xí)成績預(yù)測模型，在學(xué)習(xí)過程的早期對學(xué)習(xí)效果不顯著的學(xué)生進行預(yù)警，從而幫助教師提高在線教學(xué)整體質(zhì)量和效果。

1 相關(guān)工作

在線教學(xué)效果評估方法是近年來在線教學(xué)研究領(lǐng)域的重要方向之一。研究方向大致分為兩類：一類是對理論模型的研究，另一類是采用機器學(xué)習(xí)模型針對在線教學(xué)或?qū)W生學(xué)習(xí)效果給出具體指標(biāo)。

廖卓凡等［3］提出一種雙循環(huán)互促的計算機專業(yè)課在線教學(xué)方法和評估設(shè)計框架。針對評估手段，采用高頻度低頻率作業(yè)與實驗配合自動化在線測試系統(tǒng)，隨之形成一個內(nèi)循環(huán)，從而及時反饋教學(xué)效果。Hu 等［4］針對編程類課程提出一種多元學(xué)習(xí)評價模型，學(xué)習(xí)行為由數(shù)據(jù)流評估。數(shù)據(jù)流分為4 類，包括學(xué)習(xí)指導(dǎo)、理解創(chuàng)新、互動分享和學(xué)習(xí)支持。使用各項指標(biāo)進行相關(guān)性分析，得到學(xué)習(xí)活動中生成的結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)流，并將其作為參數(shù)體現(xiàn)在多元學(xué)習(xí)評估模型中，進而將結(jié)果可視化給學(xué)習(xí)者。從評價主體、評價內(nèi)容和評價形式3 個維度對整個教學(xué)過程以及學(xué)生學(xué)習(xí)效果進行評價。根據(jù)在線教學(xué)平臺提供的數(shù)據(jù)，將學(xué)生分為3 種：①喜歡提問的學(xué)生；②喜歡回答問題的學(xué)生；③既不喜歡提問也不喜歡回答的學(xué)生。結(jié)合學(xué)生在線學(xué)習(xí)預(yù)測模型，建議教師或者教學(xué)管理者及時關(guān)注這類學(xué)生并進行必要干預(yù)。

郝翠萍［5］以“大學(xué)英語”為研究基礎(chǔ)，提出一種基于多元線性回歸的考試成績預(yù)測模型，分別以高考成績、平均成績、分級成績和期末卷面成績?yōu)樘卣髯宰兞?，以大學(xué)英語四級考試成績?yōu)槟繕?biāo)變量，利用顯著性校驗剔除對目標(biāo)變量影響較小的特征變量，最后利用3 個學(xué)期的期末考試成績對大學(xué)英語四級考試成績進行預(yù)測，獲得了較好效果。王濤濤等［6］使用“大學(xué)生就業(yè)指導(dǎo)”課程的在線學(xué)習(xí)數(shù)據(jù)，選擇討論區(qū)總帖子數(shù)量、總在線學(xué)習(xí)時間、同學(xué)評價、查看課程資源的次數(shù)、討論區(qū)回復(fù)帖子數(shù)量5 個特征作為自變量，使用二元邏輯回歸對學(xué)生該門課程的成績進行預(yù)測，準(zhǔn)確率達(dá)77.3%。王改花等［7］以“現(xiàn)代教育技術(shù)”在線開放課程為研究對象，以學(xué)習(xí)時間跨度、平均在線學(xué)習(xí)停留時長、重復(fù)學(xué)習(xí)率、討論交流、學(xué)習(xí)筆記、期末考試成績?yōu)樘卣髯兞?，并將該門課程總成績離散化為4 類，對學(xué)生該門課程的總成績進行分類預(yù)測。對比多種決策樹模型預(yù)測結(jié)果，對影響學(xué)生最終成績的因素進行分析。林青等［8］提出一種基于隨機森林的在線教學(xué)評估方法，使用其所在院校開設(shè)的《程序設(shè)計基礎(chǔ)》《大學(xué)計算機基礎(chǔ)》《線性代數(shù)》3 門課程的學(xué)生在線學(xué)習(xí)數(shù)據(jù)，選擇觀看網(wǎng)絡(luò)廣播視頻和PPT 時間、課堂問答、課后思考題、作業(yè)以及在線測試分?jǐn)?shù)為特征變量，對學(xué)生最終學(xué)習(xí)成績進行分類預(yù)測。

此外，有研究人員針對學(xué)生的在線學(xué)習(xí)行為利用深度學(xué)習(xí)、計算機視覺等技術(shù)進行了更為細(xì)致的分析。文獻［9］提出一種基于眼動信號、音頻信號和視頻圖像的多模態(tài)情感識別方法，其核心是兩種新型的特征，一種稱為眼動坐標(biāo)差特征，代表學(xué)習(xí)者的集中度，另一種稱為像素變化率序列，代表圖像切換速度。依據(jù)上述特征使用卷積神經(jīng)網(wǎng)絡(luò)模型將在線學(xué)習(xí)者的在線學(xué)習(xí)情緒分為感興趣、高興、困惑和無聊4 類。李磊［10］基于人臉檢測和識別、頭部姿態(tài)估計、表情識別等計算機視覺技術(shù)，搭建面向在線教學(xué)效果評估的頭部姿態(tài)及表情識別系統(tǒng)，分析在線學(xué)習(xí)者的行為和情緒，根據(jù)檢測結(jié)果給出本次課程學(xué)員狀態(tài)的綜合評估結(jié)果。從理論角度出發(fā)，上述科學(xué)研究結(jié)果可用于發(fā)掘預(yù)測模型中的新特征。

然而，以上針對在線學(xué)習(xí)成績預(yù)測模型的實現(xiàn)方法都以普通本科教學(xué)為研究對象，且選擇課程面較窄，本文使用多種機器學(xué)習(xí)模型，以高職教學(xué)為研究對象，選取多門課程數(shù)據(jù)進行比對，提出一種新的基于投票的學(xué)生在線學(xué)習(xí)成績預(yù)測模型。

2 高等職業(yè)院校ICT類課程

課程是承載教學(xué)的基本單元，課程改革是目前高等職業(yè)教育改革的核心。高等職業(yè)院校專業(yè)課程教學(xué)與教學(xué)效果評估過程與普通本科院校存在明顯差異，例如強調(diào)能力培養(yǎng)、普遍采用過程性考核方法等。結(jié)合中國特色高水平職業(yè)院校建設(shè)要求，課程一般包含PPT、微課、教學(xué)視頻、試題庫、虛擬實訓(xùn)平臺等多種教學(xué)資源。在教學(xué)過程中，教師會充分利用這些教學(xué)資源，提升教學(xué)效果。ICT 類課程開設(shè)于計算機、通信等專業(yè)，專業(yè)教師具備較高的信息技術(shù)素養(yǎng)，在利用多媒體等技術(shù)教學(xué)方面具有先天優(yōu)勢。因此，在線上教學(xué)中，ICT 類課程教師可以充分地將在線教學(xué)平臺融入到教學(xué)過程［11］。

為深入貫徹“深化產(chǎn)教融合、校企合作”的根本任務(wù)，對接區(qū)域戰(zhàn)略性新興產(chǎn)業(yè)人才需求，依據(jù)行業(yè)崗位知識、能力、素質(zhì)需求，對計算機、通信專業(yè)課程進行三維一體化的課程體系重構(gòu)。其中，三維指對ICT 類課程進行三個維度的分割，第一個維度從知識層面分為基礎(chǔ)課、核心課和綜合課；第二個維度從技能層面分為信息技術(shù)（Information Technology，IT）工程師課程和通信技術(shù)（Communication Technology，CT）工程師課程；第三個維度從素質(zhì)層面分為1+X 認(rèn)證、企業(yè)初級認(rèn)證和企業(yè)中級認(rèn)證。一體化指以計算機網(wǎng)絡(luò)技術(shù)和移動通信技術(shù)專業(yè)為支撐，輻射相關(guān)專業(yè)并用類似模式形成一體化的ICT 集群。課程性質(zhì)分為理論實踐結(jié)合和實踐課兩種。所有課程均配套相關(guān)的實訓(xùn)軟件或平臺。由于ICT 類課程具備一定的共性，因此基于該類課程研究在線教學(xué)中學(xué)生的學(xué)習(xí)成績預(yù)測模型。ICT類課程體系如圖1所示。

3 基于投票的預(yù)測模型

3.1 投票模型

機器學(xué)習(xí)模型通常在訓(xùn)練集上預(yù)測或者分類效果較好，而在測試集上效果較差，又或者在某一個數(shù)據(jù)集上效果較好，而更換另外一個數(shù)據(jù)集后性能變差。為了克服這種問題，集成學(xué)習(xí)應(yīng)運而生，其原理是將多個弱學(xué)習(xí)器集成為一個強學(xué)習(xí)器，投票是集成學(xué)習(xí)中的一種，在金融［12］、商業(yè)［13］、醫(yī)學(xué)［14］、生態(tài)環(huán)境［15］、計算機科學(xué)［16］等領(lǐng)域均有較好的預(yù)測效果。投票模型框架如圖2所示。

Fig.2 Frame of voting model圖2 投票模型框架

投票模型一般分為硬投票和軟投票兩類。對于硬投票，其原理是首先統(tǒng)計集成模型中弱學(xué)習(xí)器的結(jié)果，然后選取票數(shù)最多的結(jié)果為最終結(jié)果；而軟投票是將若干分類器的平均結(jié)果作為最終的結(jié)果輸出，其中平均可以是算數(shù)平均值也可以是加權(quán)平均值［17-18］。該過程類似學(xué)生的學(xué)習(xí)過程，比如一個學(xué)生的論文提交給審稿人審閱，學(xué)術(shù)委員會根據(jù)不同審稿人的意見對學(xué)生論文的成績給予最終評定。因此，從理論角度出發(fā)，基于投票的集成學(xué)習(xí)在評估學(xué)生在線學(xué)習(xí)效果時具有可解釋性。

3.2 ICT類課程在線學(xué)習(xí)預(yù)測模型

對于ICT 類課程中的考試課程，教師往往需要對學(xué)生考試成績給出具體分?jǐn)?shù)值，學(xué)習(xí)過程中，一般以學(xué)習(xí)進度（包括學(xué)生線上簽到、在線學(xué)習(xí)時長）、學(xué)習(xí)習(xí)慣（重復(fù)觀看視頻次數(shù)）、課堂互動（課堂問答）、平時成績（作業(yè)或任務(wù)完成情況）、項目測驗（階段性考核）等5 個方面衡量學(xué)生在線學(xué)習(xí)效果，記為特征向量x=［x1，x2，x3，x4，x5］。將最終考試成績記為y，因此可以建模為一個回歸問題。對于ICT類課程中的考查課程，只需要針對學(xué)生成績給出分級。在學(xué)習(xí)過程中，教師一般以出勤表現(xiàn)（學(xué)生線上簽到、在線學(xué)習(xí)時長）和課堂表現(xiàn)（課堂中任務(wù)完成情況、課后作業(yè)完成情況）衡量學(xué)生在線學(xué)習(xí)效果，記為特征向量xˉ=[x1，x2，x3，x4]。將最終考核成績記為yˉ∈[1，2，3，4，5]，與考試課程僅建模為回歸問題不同，考查課既可建立為回歸問題也可建立為分類問題。預(yù)測模型與回歸問題和分類問題無關(guān)，預(yù)測模型表達(dá)式為：

其中，n代表弱學(xué)習(xí)器的個數(shù)，wi代表第i個弱學(xué)習(xí)器的權(quán)重，fi代表第i個弱學(xué)習(xí)器的建模函數(shù)。當(dāng)課程為考試課并且y<60 時或者當(dāng)課程為考查課并且y=1 時，對學(xué)生進行學(xué)習(xí)預(yù)警。

4 應(yīng)用實驗

4.1 實驗環(huán)境

本文實驗環(huán)境如表1所示。

Table 1 Experiment environment表1 實驗環(huán)境

4.2 實驗數(shù)據(jù)集

本文選取網(wǎng)絡(luò)技術(shù)應(yīng)用、HCIA 進階2 門考試課，寬帶接入技術(shù)、Web 前端腳本技術(shù)、Python 程序設(shè)計3 門考查課程的在線教學(xué)過程數(shù)據(jù)為實驗數(shù)據(jù)集。其中，網(wǎng)絡(luò)技術(shù)應(yīng)用是精品在線課，其余課程為一般課程。這些課程分別由3 個院校的5 名教師講授。有效參與在線學(xué)習(xí)的學(xué)生人數(shù)共計541 人。網(wǎng)絡(luò)技術(shù)應(yīng)用與HCIA 進階課程較難，學(xué)生成績相對較差，不及格比例均超過20%。而另外3 門課程為考查課，學(xué)生成績相對較高，不及格學(xué)生占比低于0.5%。雖然考查課成績相對較高，預(yù)測模型對成績較差學(xué)生效果不顯著，但也可以作為教學(xué)過程中的輔助工具，引導(dǎo)學(xué)生取得更好的學(xué)習(xí)效果。5門課程的成績分布如圖3所示。

Fig.3 Distribution of the final academic achievements of different students in five courses圖3 5門課程的不同學(xué)生最終學(xué)習(xí)成績分布

4.3 實驗參數(shù)

對于回歸問題，分別使用線性回歸、決策樹、隨機森林、多層感知器、支持向量機回歸、K 近鄰、梯度提升、直方圖梯度提升等模型與投票模型進行比較。對于分類問題，分別使用邏輯回歸、決策樹、隨機森林、多層感知器、支持向量機、K 近鄰、梯度提升等模型與投票模型進行比較。投票由決策樹、隨機森林、梯度提升、支持向量機模型構(gòu)成，選擇軟投票方法，權(quán)重選擇均勻分布。

首先使用最大最小化方法對特征向量進行預(yù)處理，然后使用交叉驗證法和格子搜索法分別尋找每個模型的超參數(shù)最優(yōu)值，最后使用隨機抽樣法進行100 次實驗，取平均值作為每個模型的最終預(yù)測結(jié)果。實驗參數(shù)如表2所示。

Table 2 Experiment parameters表2 實驗參數(shù)

4.4 基于回歸模型的實驗結(jié)果

網(wǎng)絡(luò)技術(shù)課程有效在線學(xué)習(xí)學(xué)生人數(shù)為151 人，任課教師使用平時成績、學(xué)習(xí)進度、學(xué)習(xí)習(xí)慣、互動、章測試5個維度指標(biāo)評測學(xué)生的在線學(xué)習(xí)過程情況，最后使用期末考試的方法測驗學(xué)生學(xué)習(xí)效果。在網(wǎng)絡(luò)技術(shù)課程數(shù)據(jù)集上，基于投票的預(yù)測模型的均方根誤差、絕對誤差和中值誤差分別為13.31、9.13 和6.7 分，其中只有中值誤差略高于隨機森林、決策樹和支持向量機模型，均方根誤差和絕對誤差均比其他模型低。使用線性回歸、決策樹、隨機森林、多層感知器、支持向量機、梯度提升、K 近鄰、直方圖梯度提升和投票模型構(gòu)建的預(yù)測模型在網(wǎng)絡(luò)技術(shù)課程數(shù)據(jù)集上的誤差比較如圖4所示。

Fig.4 Comparison of prediction errors based on different machine learning model圖4 基于不同機器學(xué)習(xí)模型的預(yù)測誤差比較

此外，分別使用學(xué)習(xí)過程中的25%、50%、75%和100%進度數(shù)據(jù)對學(xué)生期末考試成績進行預(yù)測，得到基于投票的預(yù)測模型的誤差如表3所示。

Table 3 Prediction errors of prediction model based on voting under different learning rates表3 基于投票的預(yù)測模型在不同學(xué)習(xí)進度下的預(yù)測誤差

由表3 可知，基于投票的預(yù)測模型在不同學(xué)習(xí)進度條件下的誤差變化不大。使用網(wǎng)絡(luò)技術(shù)課程中的平時成績、學(xué)習(xí)進度、互動3 個特征維度進行最優(yōu)模型參數(shù)搜索，再將模型用于HCIA 進階與光纖技術(shù)2 門課程數(shù)據(jù)集上。這兩門課程都采用課件學(xué)習(xí)、課堂活動和作業(yè)以評估學(xué)生平時在線學(xué)習(xí)效果，而在期末采用考試方式考核學(xué)生綜合學(xué)習(xí)效果。兩門課程共計有64 名學(xué)生有效參與在線學(xué)習(xí)，鑒于學(xué)生人數(shù)較少且教師采用相同的指標(biāo)考核，將這兩門課合并進行預(yù)測?；谕镀钡念A(yù)測模型的均方根誤差在10 分、12 分、14 分、16 分、18 分、20 分以內(nèi)的概率分別為12%、29%、72%、86%、99%、100%。投票模型基于線性回歸、隨機森林、梯度提升3 種學(xué)習(xí)器集成，權(quán)重選擇均勻分布。各種預(yù)測模型的均方根誤差累積概率比較如圖5所示。

4.5 基于分類模型的實驗結(jié)果

對于Web 前端腳本技術(shù)，教師分別使用考勤、平時作業(yè)、答題、筆記和作品5 個維度衡量學(xué)生在線學(xué)習(xí)效果，對于Python 程序設(shè)計，教師分別使用出勤、作業(yè)、筆記、課堂表現(xiàn)4 個維度衡量學(xué)生在線學(xué)習(xí)效果。鑒于考勤中學(xué)生數(shù)據(jù)區(qū)分度較低，在本文實驗中將該維度特征剔除，使用剩余維度特征對學(xué)生期末成績給予分類預(yù)測。此外，由于學(xué)情因素，教師普遍采用鼓勵性的評估手段，在使用分類模型評估時會因為樣本不均衡導(dǎo)致性能下降。為了克服該因素，對此類課程均使用三分級制衡量學(xué)生最終成績。在進行模型訓(xùn)練時，仍然采用邏輯回歸、決策樹、隨機森林、多層感知器、支持向量機、K 近鄰、梯度提升和投票共計8 種經(jīng)典的分類模型進行比較。與上述回歸模型實驗方法類似，首先使用最大最小化方法對特征向量作預(yù)處理，然后使用交叉驗證法和格子搜索法分別尋找每個模型的超參數(shù)最優(yōu)值，最后使用隨機抽樣法進行100 次實驗，取平均值作為每個模型的最終評估結(jié)果。圖6 展示了隨機測試中使用基于投票的預(yù)測模型在Python 程序設(shè)計課程數(shù)據(jù)集上的分類混淆矩陣。

Fig.6 Confusion matrix of prediction based on voting圖6 基于投票的預(yù)測混淆矩陣

在評估分類模型性能時，本文選擇準(zhǔn)確率、加權(quán)平均召回率、加權(quán)平均精確率、加權(quán)平均F1 分?jǐn)?shù)以及馬修斯系數(shù)共計5 項評估指標(biāo)進行比較。在Web 前端腳本技術(shù)課程數(shù)據(jù)集的測試中，其測試集的各種分類評估指標(biāo)對比如表4所示。

Table 4 Comparison of prediction metrics for classification model表4 分類模型預(yù)測指標(biāo)對比表

通過分析表4 可知，Web 前端腳本技術(shù)和Python 程序設(shè)計兩門課程的成績分布相差較大，使用分類不均衡樣本構(gòu)建的分類模型在評估測試集時性能較差，這意味著在構(gòu)建考查課程的預(yù)測模型時需要預(yù)先進行數(shù)據(jù)清理，將類中的相近數(shù)據(jù)進行合并以使得數(shù)據(jù)分類更加均衡。此外，為了獲取更好的分類效果，教師應(yīng)深度挖掘評估指標(biāo)的內(nèi)在關(guān)聯(lián)，或加入新的評估指標(biāo)，如利用深度學(xué)習(xí)分析學(xué)生的學(xué)習(xí)態(tài)度或?qū)W習(xí)習(xí)慣。

綜上，基于投票的回歸預(yù)測模型在考試課及考查課上的預(yù)測結(jié)果優(yōu)于使用分類預(yù)測模型在考查課上取得的預(yù)測結(jié)果。鑒于此，可以針對不同的課程選擇不同的弱學(xué)習(xí)器進行集成，且靈活性相對較高。

5 結(jié)語

線上教學(xué)將成為教學(xué)過程中不可或缺的一個有機組成部分。在高職ICT 類課程學(xué)生在線學(xué)習(xí)評估過程中，大多數(shù)教師采用了“過程性考核+期末考核”的方法。線上教學(xué)過程中，學(xué)生的學(xué)習(xí)自主性和自律性較差，根據(jù)學(xué)生在線學(xué)習(xí)數(shù)據(jù)提前預(yù)警，將起到非常重要的作用。因此，本文在過程性考核評價體系的基礎(chǔ)上，結(jié)合投票集成學(xué)習(xí)提出了一種效果更優(yōu)的預(yù)測模型。通過對比仿真實驗可知，本文方法能夠獲得更低的預(yù)測誤差和相對較高的分類預(yù)測準(zhǔn)確度。

下一步研究方向是結(jié)合深度學(xué)習(xí)模型對學(xué)生線上聽課過程的視頻進行分析，利用異常檢驗技術(shù)發(fā)現(xiàn)網(wǎng)絡(luò)學(xué)習(xí)欺詐行為、利用時間序列分析發(fā)現(xiàn)學(xué)習(xí)者的效率隨時間變化而變化的規(guī)律等，使得該預(yù)測模型能夠獲得更準(zhǔn)確的預(yù)測結(jié)果。