線上教學(xué)智能學(xué)業(yè)預(yù)警和精準(zhǔn)干預(yù)研究

張 源

（安徽醫(yī)學(xué)高等?？茖W(xué)校教務(wù)處，合肥 230601）

1 研究背景和現(xiàn)狀

1.1 研究背景

目前關(guān)于線上教學(xué)的研究與實(shí)踐處在起步階段，也是現(xiàn)在高職教學(xué)改革的熱點(diǎn)項(xiàng)目.人工智能與線上教學(xué)的融合成了必然趨勢(shì)，授課方式的改變必然需要管理模式的更新.學(xué)業(yè)預(yù)警是一個(gè)新的詞匯，也是一種高等教育的管理模式，學(xué)業(yè)預(yù)警的一個(gè)核心組成部分就是課程考核成績(jī)預(yù)警.教學(xué)干預(yù)作為對(duì)學(xué)習(xí)者學(xué)習(xí)產(chǎn)生影響的介入手段，它能闡釋學(xué)習(xí)過(guò)程中多方面的要素和關(guān)系，能為改善學(xué)習(xí)績(jī)效提供新的思路和視角［1］.傳統(tǒng)課堂環(huán)境下的教學(xué)干預(yù)，常指教師發(fā)現(xiàn)問(wèn)題后直接為學(xué)習(xí)者提供方法上的建議、態(tài)度和心理上的疏導(dǎo)，而線上教學(xué)中課堂的干預(yù)信息獲取媒介更加豐富，手段更加智能化.融合“互聯(lián)網(wǎng)+”和“智能+”技術(shù)的在線學(xué)習(xí)將成為線上教學(xué)的重要發(fā)展趨勢(shì)，尤其是今年的疫情防控，在線教學(xué)規(guī)模大、范圍廣，在全球范圍如此規(guī)模實(shí)屬首次.因此，大力提升信息化服務(wù)管理能力，提升在線平臺(tái)管理水平，決策支持水平，以此在保障線上和線下教學(xué)質(zhì)量實(shí)質(zhì)等效的基礎(chǔ)上，充分發(fā)揮在線教育的優(yōu)勢(shì).

以我校為例，對(duì)比2018～2020 年在線教學(xué)平臺(tái)的教師參與數(shù)量和學(xué)生參與數(shù)量如表1 所示，截至目前我校有226 門在線課程，本年度3 個(gè)月學(xué)生人數(shù)是2018 年全年人數(shù)的112 倍多，學(xué)生學(xué)習(xí)人次比2018 年全年增加了1490 倍，教師參與數(shù)量也增加了23 倍，教師登錄次數(shù)增加了96 倍.主要原因：一是教育部2020 年1 月《利用網(wǎng)絡(luò)平臺(tái)，“停課不停學(xué)”》文件的通知要求，二是線上教學(xué)得到了廣泛認(rèn)可和普及.

表1 2018～2020年的教師和學(xué)生某平臺(tái)參與數(shù)量

表1 （續(xù)）

1.2 研究現(xiàn)狀

基于學(xué)業(yè)預(yù)警的預(yù)測(cè)模型是教育大數(shù)據(jù)、云計(jì)算等智能技術(shù)應(yīng)用的熱點(diǎn)，許多研究采用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)來(lái)預(yù)測(cè)成績(jī).Wookhee Min等［2］采用LSTM 網(wǎng)絡(luò)評(píng)估191 名中學(xué)生在智能游戲?qū)W習(xí)環(huán)境中的交互數(shù)據(jù)和干預(yù)學(xué)習(xí)措施.Sorour 等［3］采用數(shù)據(jù)挖掘技術(shù)分析學(xué)習(xí)者的評(píng)論數(shù)據(jù)，通過(guò)SVM 模型預(yù)測(cè)學(xué)生成績(jī).Huang &Fang［4］運(yùn)用了四種不同的方法來(lái)預(yù)測(cè)學(xué)生在神經(jīng)工程動(dòng)力學(xué)課程中的成績(jī)，這些方法使用了來(lái)自四個(gè)學(xué)期的323 名學(xué)生的數(shù)據(jù)，以三個(gè)期中考試成績(jī)作為學(xué)生本學(xué)期表現(xiàn)的指標(biāo)，以學(xué)生在四門必修及動(dòng)力相關(guān)課程的累積平均績(jī)點(diǎn)及成績(jī)作為學(xué)生修習(xí)前的表現(xiàn)指標(biāo).Le 等［5］利用遞歸神經(jīng)網(wǎng)絡(luò)分類方法，對(duì)20 門MOOC 的數(shù)據(jù)集進(jìn)行評(píng)估，形成專有數(shù)據(jù)庫(kù)，為教學(xué)團(tuán)隊(duì)提供個(gè)性化通信儀表板，并通過(guò)學(xué)習(xí)者投入度實(shí)時(shí)預(yù)測(cè)分析模型得出學(xué)習(xí)者獲得結(jié)課證書和離開課程的概率，為可能無(wú)法成功結(jié)課的學(xué)習(xí)者提供個(gè)性化學(xué)習(xí)支持服務(wù)，增強(qiáng)MOOC 平臺(tái)的精準(zhǔn)學(xué)習(xí)服務(wù)功能.

目前智能學(xué)業(yè)預(yù)警常見(jiàn)的問(wèn)題有以下幾個(gè)方面：

（1）通常使用一個(gè)通用的預(yù)測(cè)模型，不能解決所有課程的復(fù)雜性，模型只針對(duì)學(xué)生行為，而教師授課行為往往被忽略；

（2）通常只對(duì)結(jié)果進(jìn)行預(yù)測(cè)，而對(duì)影響結(jié)果的特征指標(biāo)沒(méi)有量化分析；

預(yù)警目的是提前發(fā)現(xiàn)學(xué)生或者教師行為的異常情況，并加以干預(yù)，盡可能防止學(xué)業(yè)危機(jī)的出現(xiàn)，因此需要制定精準(zhǔn)干預(yù)措施.

2 基于隨機(jī)森林智能預(yù)警模型

針對(duì)上述問(wèn)題，本研究構(gòu)建了基于隨機(jī)森林的預(yù)測(cè)模型分析教師和學(xué)生行為，通過(guò)計(jì)算特征行為的強(qiáng)弱指標(biāo)，制定精準(zhǔn)的干預(yù)措施，形成了智能預(yù)警、精準(zhǔn)干預(yù)措施、再智能預(yù)警的線上教學(xué)監(jiān)管閉環(huán)，如圖1 所示.

圖1 線上教學(xué)智能預(yù)警與干預(yù)體系閉環(huán)圖

2.1 預(yù)警模型構(gòu)建

隨機(jī)森林（Random Forest）是一種魯棒且實(shí)用的機(jī)器學(xué)習(xí)技術(shù)，結(jié)合隨機(jī)森林的特征原理進(jìn)行特征選擇，對(duì)特征進(jìn)行重要性排序，從而篩選出“強(qiáng)特征”.但是，該技術(shù)在處理非平衡數(shù)據(jù)的時(shí)候精確度大幅下降，尤其是在隨機(jī)抽取訓(xùn)練子集進(jìn)行訓(xùn)練時(shí)，存在抽取的子集均為“弱特征”子集，導(dǎo)致產(chǎn)生“弱決策樹”現(xiàn)象，因此傳統(tǒng)的隨機(jī)森林受到噪聲和冗余特征干擾，使得訓(xùn)練出現(xiàn)擬合且魯棒性大大降低的情況［6］.鑒于此，本研究先進(jìn)行一次主成分分析，初次過(guò)濾“弱特征”，避免出現(xiàn)隨機(jī)抽取特征產(chǎn)生的“弱決策樹”.在構(gòu)建訓(xùn)練子訓(xùn)練集中，存在部分沒(méi)有選擇的訓(xùn)練集，將這部分稱為袋外樣本（out-of-bag），通過(guò)計(jì)算袋外樣本的誤差來(lái)評(píng)估特征指標(biāo)的重要性.針對(duì)重要的“強(qiáng)特征”制定干預(yù)措施，分別對(duì)教師行為“強(qiáng)特征”和學(xué)生行為“強(qiáng)特征”采用精準(zhǔn)干預(yù)措施，構(gòu)建的模型框架如圖2 所示.

圖2 基于隨機(jī)森林智能預(yù)警和精準(zhǔn)干預(yù)模型框架圖

構(gòu)建的教師行為、學(xué)生行為和課程信息的指標(biāo)體系，首先輸入特征集合X，計(jì)算特征之間的相關(guān)系數(shù)矩陣W，輸出計(jì)算各指標(biāo)得分：

wij為指標(biāo)權(quán)重，Pij為第j個(gè)公共指標(biāo)，εij為偏置參數(shù).構(gòu)建一種K個(gè){c(X,θi),i=1,2,…,K} 分類器，θi為特征向量，i為模型中的子分類器數(shù)，最后通過(guò)多數(shù)投票原理確定樣本所屬類別，模型表達(dá)如下：

其中，C(x)為組合預(yù)測(cè)模型，hi為單個(gè)子分類單元，Y表示輸出變量，V(·)為投票函數(shù).首先，隨機(jī)產(chǎn)生K個(gè)訓(xùn)練集T1,T2,…,Tk；其次，選取K個(gè)樣本進(jìn)行訓(xùn)練，每個(gè)子分類單元與每個(gè)樣本對(duì)應(yīng)，得到K個(gè)分類器.假設(shè)每個(gè)樣本有N個(gè)屬性，0 ≤m≤N是整數(shù)，從N個(gè)屬性中選取m個(gè)最佳屬性作為子分類單元的屬性集，訓(xùn)練過(guò)程中，確保m不變.最后，根據(jù)產(chǎn)生的子分類單元，將分類結(jié)果定義為C1,C2,…,Ck，依次對(duì)每個(gè)分類單元進(jìn)行測(cè)試，將測(cè)試集樣本X對(duì)應(yīng)分類結(jié)果C1(X),C2(X),…,Ck(X)，通過(guò)多數(shù)投票法得到K個(gè)分類單元最終的輸出結(jié)果.

2.2 關(guān)鍵指標(biāo)重要性評(píng)估

最后得出所有特征的重要性得分.若Score大于0，說(shuō)明加入干擾數(shù)據(jù)后準(zhǔn)確率下降，該特征重要性較高，反之，Score小于0，說(shuō)明該特征重要性較低，由此得到特征體系中的重要性指標(biāo).

3 實(shí)驗(yàn)數(shù)據(jù)

本研究采用我校某在線教學(xué)平臺(tái)教學(xué)活動(dòng)和選課人數(shù)排名TOP10 的課程如表2 所示，設(shè)計(jì)了教師13 個(gè)在線教學(xué)活動(dòng)特征指標(biāo)集合X={x1,x2,x3,…,xn},n=13，具體特征指標(biāo)如表3 所示，學(xué)生11 個(gè)學(xué)習(xí)行為特征指標(biāo)集Y={y1,y2,y3,…,yn},n=11，具體指標(biāo)如表4所示.

表2 我校教學(xué)活動(dòng)和選課人數(shù)排名TOP10

表3 教師行為特征表

表4 學(xué)生行為特征表

將學(xué)生行為和教師行為數(shù)據(jù)分別與學(xué)生成績(jī)對(duì)應(yīng)生成訓(xùn)練數(shù)據(jù)，其中學(xué)生行為數(shù)據(jù)65500 條，教師行為數(shù)據(jù)5000 條，這些特征數(shù)據(jù)的取值范圍非常大，如果直接輸入到模型進(jìn)行訓(xùn)練和預(yù)測(cè)，會(huì)嚴(yán)重影響實(shí)驗(yàn)性能.特征值在分類器進(jìn)行訓(xùn)練時(shí)，為避免數(shù)值范圍屬性值影響實(shí)驗(yàn)結(jié)果，將特征值進(jìn)行歸一化處理，使求得的特征值標(biāo)準(zhǔn)化處理到［-1，1］區(qū)間或者［0，1］區(qū)間.本研究采用零均值歸一化方法：

其中，xmean為所有樣本值的平均值，xSD為均方差.

為保障數(shù)據(jù)的有效性，我們選擇出勤率和學(xué)習(xí)進(jìn)度均在10%以上的數(shù)據(jù)，分成三類z1={0,1,2}分別對(duì)應(yīng)優(yōu)秀、合格、不及格三個(gè)類別，其中85 分以上（含85 分）為優(yōu)秀，60～85 分（不含85 分）為合格，60 分以下（不含60 分）為不及格，部分?jǐn)?shù)據(jù)如表6所示.同時(shí)，將教師特征數(shù)據(jù)中x2不為空的特征數(shù)據(jù)對(duì)應(yīng)成績(jī)的三類，z2={0,1,2}分別對(duì)應(yīng)10%以上學(xué)業(yè)不及格類、10%以上學(xué)業(yè)合格類和10%以上學(xué)業(yè)優(yōu)秀類。部分?jǐn)?shù)據(jù)集如表5 所示.另外，收集了5000 條學(xué)生行為特征數(shù)據(jù)集和2000 條教師行為特征數(shù)據(jù)集，并經(jīng)過(guò)預(yù)處理用于驗(yàn)證模型性能.

表5 教師行為數(shù)據(jù)集

表6 學(xué)生行為訓(xùn)練數(shù)據(jù)集

4 實(shí)驗(yàn)結(jié)果分析

4.1 實(shí)驗(yàn)參數(shù)和實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)?zāi)Ｐ统瑓⒃O(shè)置涉及訓(xùn)練率、最小批尺寸、訓(xùn)練迭代次數(shù)等，依據(jù)經(jīng)驗(yàn)調(diào)試取值，采用5 折交叉驗(yàn)證算法更新參數(shù)，參數(shù)的初始化選擇隨機(jī)初始，學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)選擇12000 次，我們將教師和學(xué)生行為特征的訓(xùn)練樣本按照6∶4，7∶3的比例抽取樣本和袋外數(shù)據(jù)樣本，教師和學(xué)生行為的驗(yàn)證樣本按照8∶2 和9∶1 的比例抽取樣本和袋外數(shù)據(jù)樣本.

實(shí)驗(yàn)結(jié)果表明訓(xùn)練數(shù)據(jù)集在迭代10000 次以后達(dá)到96%以上，驗(yàn)證數(shù)據(jù)集的準(zhǔn)確率達(dá)到90%以上，該模型的性能符合預(yù)期.但是，由于訓(xùn)練數(shù)據(jù)集有限，同時(shí)特征指標(biāo)值的差異性變化趨勢(shì)反應(yīng)出隨著迭代次數(shù)增加到4000 以后，準(zhǔn)確率變化不明顯，后期會(huì)增加特征選擇和樣本數(shù)量.

圖3 在訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集上的模型性能表現(xiàn)

4.2 學(xué)生行為“強(qiáng)特征”

為了驗(yàn)證學(xué)生行為中特征重要性權(quán)重指標(biāo)，最佳屬性個(gè)數(shù)m設(shè)置為不超過(guò)的整數(shù)，故m≤3，計(jì)算袋外數(shù)據(jù)（out-of-bag）誤差值Score來(lái)評(píng)估學(xué)生行為關(guān)鍵指標(biāo)，特征權(quán)重值計(jì)算結(jié)果如圖4 所示.

圖4 學(xué)生行為關(guān)鍵指標(biāo)分析圖

實(shí)驗(yàn)表明學(xué)生行為中的y9、y6、y1、y10、y3、y2所占的權(quán)重比較大，其余4 個(gè)重要性指標(biāo)權(quán)重幾乎為0.經(jīng)過(guò)專家主觀分析，課堂問(wèn)答完成次數(shù)和課堂活動(dòng)參與數(shù)較多，反映學(xué)生對(duì)學(xué)習(xí)的積極性較高，因此，課程的參與度高，明顯對(duì)學(xué)生學(xué)業(yè)成績(jī)的提高起到重要作用.

4.3 教師行為“強(qiáng)特征”

為了計(jì)算教師行為中特征重要性權(quán)重指標(biāo)，我們將每門課程單獨(dú)歸一化處理，防止不同課程之間由于課時(shí)不同而產(chǎn)生的樣本分布不均衡.本研究的指標(biāo)體系設(shè)置為10 個(gè)，故m≤3，特征權(quán)重值計(jì)算結(jié)果如圖5 所示.

圖5 教師行為關(guān)鍵指標(biāo)分析圖

實(shí)驗(yàn)結(jié)果表明x2、x11、x9、x4、x12、x10和x1是影響學(xué)生成績(jī)的主要指標(biāo)，其余6 個(gè)指標(biāo)通過(guò)實(shí)驗(yàn)得出所占權(quán)重相對(duì)較低.專家主觀分析課堂教學(xué)次數(shù)較多和視頻資源豐富的教師對(duì)學(xué)生學(xué)業(yè)影響較大，教師采用線上教學(xué)是否頻繁且課程內(nèi)容準(zhǔn)備是否充分直接影響了學(xué)生學(xué)習(xí)的質(zhì)量，所以該兩項(xiàng)指標(biāo)對(duì)學(xué)業(yè)影響較大.

4.4 線上教學(xué)精準(zhǔn)干預(yù)

研究結(jié)果客觀地反映出線上教學(xué)是影響學(xué)業(yè)成績(jī)的主要因素，針對(duì)兩種角色分別在不同的時(shí)間節(jié)點(diǎn)，進(jìn)行分析預(yù)測(cè)（1 或者3 個(gè)月），然后對(duì)可能出現(xiàn)不及格的學(xué)生行為或者引起10%學(xué)生學(xué)業(yè)不及格的教師行為加以人工干預(yù)，當(dāng)重要性指標(biāo)低于相應(yīng)閾值，就觸發(fā)干預(yù)措施機(jī)制.具體指標(biāo)閾值如表7 所示.

表7 重要性指標(biāo)干預(yù)閾值表

對(duì)達(dá)到閾值的指標(biāo)采取干預(yù)措施，具體措施如下：

（1）學(xué)生行為干預(yù)

y9（問(wèn)答）：對(duì)學(xué)生進(jìn)行跟蹤，通過(guò)談話、問(wèn)卷形式，調(diào)查學(xué)生的情緒和狀態(tài)，激發(fā)學(xué)習(xí)積極性，督促其主動(dòng)學(xué)習(xí)；

y6（課堂活動(dòng)參與數(shù)）：授課教師主動(dòng)激發(fā)學(xué)生參與課堂活動(dòng)，循序漸進(jìn)地培養(yǎng)學(xué)生的課堂參與積極性；

y1（登錄次數(shù)）：通過(guò)談話和問(wèn)卷了解學(xué)生登錄次數(shù)較少的原因，并督促和鼓勵(lì)學(xué)生使用線上平臺(tái)進(jìn)行學(xué)習(xí)；

y10（筆記）：通過(guò)發(fā)布任務(wù)和談話，跟蹤學(xué)生學(xué)習(xí)進(jìn)度，并通過(guò)測(cè)驗(yàn)了解學(xué)生對(duì)知識(shí)的掌握程度；

y3（簽到數(shù)）：通過(guò)1 對(duì)1 溝通，了解學(xué)生沒(méi)有簽到的原因；

y2（學(xué)習(xí)進(jìn)度）：通過(guò)1 對(duì)1 交流，了解學(xué)生學(xué)習(xí)進(jìn)度慢的原因，并通過(guò)制定考試成績(jī)核算辦法來(lái)約束學(xué)生學(xué)習(xí)行為.

（2）教師行為干預(yù)

x2（課堂教學(xué)）：教學(xué)管理部門通過(guò)談話和通知，督促教師線上教學(xué)的頻次；

x11（視頻資源）：此項(xiàng)指標(biāo)反映該門課程視頻資源數(shù)量，分管部門提醒教師根據(jù)授課內(nèi)容適當(dāng)增加教學(xué)視頻資源；

x9（已批作業(yè)）：此項(xiàng)指標(biāo)反映該教師批改作業(yè)次數(shù)，分管部門提醒教師及時(shí)完成作業(yè)批改；

x4（題目）：此項(xiàng)指標(biāo)反映該教師相比同課程的題庫(kù)數(shù)量，分管部門提醒教師及時(shí)更新題庫(kù)；

x12（教學(xué)評(píng)價(jià)）：此項(xiàng)指標(biāo)反映該教師獲得學(xué)生的課堂教學(xué)評(píng)價(jià)等級(jí)，分管部門通過(guò)談話提醒教師，并加強(qiáng)對(duì)該課程的教師進(jìn)行聽課；

5 結(jié)論

本研究選擇10 門線上教學(xué)課程的學(xué)生行為數(shù)據(jù)65500 條，教師行為數(shù)據(jù)5000 條用于模型訓(xùn)練，同時(shí)生成了5000 條學(xué)生行為數(shù)據(jù)和2000 條教師行為數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)，設(shè)計(jì)了基于隨機(jī)森林智能預(yù)警模型，將教師和學(xué)生行為特征的訓(xùn)練樣本按照6∶4，7∶3 的比例抽取樣本和袋外數(shù)據(jù)樣本，教師和學(xué)生行為的驗(yàn)證樣本按照8∶2 和9∶1 的比例抽取樣本和袋外數(shù)據(jù)樣本，采用了關(guān)鍵指標(biāo)重要性評(píng)估方法計(jì)算教師行為和學(xué)生行為的“強(qiáng)特征”.實(shí)驗(yàn)結(jié)果表明訓(xùn)練模型的準(zhǔn)確率達(dá)到96%以上，在驗(yàn)證數(shù)據(jù)集的預(yù)測(cè)結(jié)果也達(dá)到了90%以上.通過(guò)計(jì)算袋外數(shù)據(jù)誤差值來(lái)評(píng)估特征權(quán)重，分析了關(guān)鍵指標(biāo)的重要性，實(shí)驗(yàn)結(jié)果表明學(xué)生行為中的問(wèn)答、課堂活動(dòng)參與數(shù)、登錄次數(shù)、筆記、簽到數(shù)、學(xué)習(xí)進(jìn)度等特征重要性權(quán)重高，教師行為中的課堂教學(xué)、視頻資源、已批作業(yè)、題目、課堂教學(xué)評(píng)價(jià)、已批考試試卷和登錄次數(shù)等特征重要性權(quán)重高.最后，針對(duì)學(xué)生行為和教師行為制定了精準(zhǔn)干預(yù)措施.本研究構(gòu)建的模型暫未考慮時(shí)間因素，未來(lái)會(huì)在模型中加入時(shí)間序列參數(shù)，計(jì)算不同時(shí)間序列條件下特征重要性權(quán)重，再實(shí)時(shí)采用干預(yù)措施.