基于Markov鏈的在線課程教學(xué)評(píng)價(jià)成效分析

沈 俁 王立彬

（南京林業(yè)大學(xué) 江蘇南京 210037）

引言

教學(xué)評(píng)價(jià)是研究教師教學(xué)效果和學(xué)生學(xué)習(xí)效果的價(jià)值過(guò)程，也是一個(gè)影響因素多、因變量多的非線性過(guò)程，起到了定向和調(diào)控、診斷和預(yù)測(cè)的功能。傳統(tǒng)課題的教學(xué)評(píng)價(jià)基于傳統(tǒng)的教學(xué)模式，根據(jù)學(xué)生考試期中或期末成績(jī)來(lái)評(píng)價(jià)教師的教學(xué)效果[1]。從2012年世界高等教育開(kāi)啟“慕課元年”伊始，課題教學(xué)的變革也帶動(dòng)著教學(xué)評(píng)價(jià)的變革。尤其2020年全球爆發(fā)的新型冠狀病毒疫情，基于“停課不停教、停課不停學(xué)”的原則，將在線課程推向了發(fā)展和普及的高潮。

如今隨著互聯(lián)網(wǎng)和移動(dòng)學(xué)習(xí)的迅速發(fā)展，越來(lái)越多的教學(xué)者、學(xué)習(xí)者開(kāi)始選擇在線教學(xué)平臺(tái)進(jìn)行課程學(xué)習(xí)，如國(guó)內(nèi)的中國(guó)大學(xué)慕課、網(wǎng)易云課堂，國(guó)外的Coursera 等。遠(yuǎn)程教育的優(yōu)點(diǎn)是隨時(shí)隨地的教學(xué)學(xué)習(xí)，但是缺點(diǎn)則在于教學(xué)者很難直觀地觀察到學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，且由于學(xué)生群體規(guī)模龐大，與教師素不相識(shí)，教學(xué)者課后也很難采集評(píng)價(jià)反饋數(shù)據(jù)。線上課程教學(xué)過(guò)程中，學(xué)生無(wú)法和教師面對(duì)面授課、教師無(wú)法實(shí)物教學(xué)、授課環(huán)境復(fù)雜等因素讓在線教學(xué)有了傳統(tǒng)課堂無(wú)法預(yù)測(cè)到的特殊性。而疫情過(guò)后，線上線下混合式教學(xué)已然成為今后課堂教學(xué)的發(fā)展趨勢(shì)，各自的研究中嘗試構(gòu)建了不同的在線課程質(zhì)量評(píng)價(jià)體系，但在研究方式上總體呈現(xiàn)“自上而下”主觀評(píng)價(jià)的研究特點(diǎn)，多以對(duì)學(xué)習(xí)者進(jìn)行問(wèn)卷調(diào)查/訪談、邀請(qǐng)專家打分、分析國(guó)內(nèi)/國(guó)外教育部發(fā)布的相關(guān)文件為主。因此，建立科學(xué)合理的評(píng)價(jià)體系，成為當(dāng)下教育教學(xué)工作者亟需解決的任務(wù)。本文將Markov模型應(yīng)用到在線課程教學(xué)評(píng)價(jià)中，采取學(xué)生成績(jī)“標(biāo)準(zhǔn)化”的方法排除學(xué)生基礎(chǔ)的差異以及試卷難易程度不同對(duì)評(píng)價(jià)結(jié)果的影響，客觀地評(píng)價(jià)教師的教學(xué)質(zhì)量，從而指導(dǎo)老師面臨新型的在線課程教學(xué)，應(yīng)該如何調(diào)整自己的上課方式、授課內(nèi)容以及教學(xué)行為[2]。

一、在線課程發(fā)展歷程和評(píng)價(jià)現(xiàn)狀

2001年，美國(guó)麻省理工學(xué)院?jiǎn)?dòng)了開(kāi)放式課件項(xiàng)目，自此，開(kāi)放教育資源正式開(kāi)啟并日益增長(zhǎng)。2012年，出現(xiàn)了edX、Coursera和Udacity三大社會(huì)公開(kāi)開(kāi)放的在線課程平臺(tái)，極大地推動(dòng)了MOOC的發(fā)展。MOOC的出現(xiàn)，像一個(gè)扳手一樣撬動(dòng)著大學(xué)校園的圍墻，為老師和學(xué)生們提供了全新的知識(shí)獲取方式。與此同時(shí)，哈佛大學(xué)、加州大學(xué)等高校也在嘗試一種更完善的課程類型——SPOC（SmallPrivateOnlineCouurse小規(guī)模限制性在線課程）。

為了順應(yīng)時(shí)代發(fā)展的需要，近年來(lái)，我國(guó)一批高水平大學(xué)也開(kāi)始進(jìn)行大規(guī)模在線開(kāi)發(fā)課程的建設(shè)與應(yīng)用，如上海交通大學(xué)的“好大學(xué)在線”、清華大學(xué)的“學(xué)堂在線”等等。這些平臺(tái)匯集了國(guó)內(nèi)外著名高校、著名學(xué)者的精品課程，課程內(nèi)容涉及多個(gè)領(lǐng)域、多種學(xué)科甚至是多種語(yǔ)言。

我國(guó)在線課程的建設(shè)經(jīng)歷了跨越式的變革。2003年，我國(guó)開(kāi)啟國(guó)家級(jí)精品課程項(xiàng)目，2010年教育部獲批了3910門國(guó)家精品課程；2011年開(kāi)啟中國(guó)大學(xué)視頻公開(kāi)課、精品資源共享課，截至2013年教育部公布了992門視頻公開(kāi)課，2884門資源共享課。2017年，國(guó)家對(duì)在線課程進(jìn)行了審查和評(píng)價(jià)，截至2020年，認(rèn)定3000余門國(guó)家精品在線開(kāi)放課程，其中不僅有經(jīng)過(guò)2個(gè)教學(xué)周期檢驗(yàn)的課程，而且還將在新冠肺炎期間開(kāi)展大規(guī)模在線教學(xué)中作出重要貢獻(xiàn)的原2017年和2018年的課程也納入了名單。在我國(guó)在線開(kāi)放課程建設(shè)與應(yīng)用取得一定成績(jī)的基礎(chǔ)上，教育部首次正式推出了490門“國(guó)家精品在線開(kāi)放課程”。2022年前啟動(dòng)“雙萬(wàn)計(jì)劃”，計(jì)劃建設(shè)1萬(wàn)門國(guó)家級(jí)和1萬(wàn)門省級(jí)線上線下混合式一流課程，建立MOOC學(xué)分認(rèn)定制度，推動(dòng)優(yōu)質(zhì)資源在全國(guó)乃至全球開(kāi)放共享。

在線課程的質(zhì)量高低直接決定在線學(xué)習(xí)效果，學(xué)習(xí)者的高效果評(píng)價(jià)依托于高質(zhì)量的在線課程。隨著“互聯(lián)網(wǎng)+”時(shí)代下大數(shù)據(jù)應(yīng)用和數(shù)據(jù)分析的逐步成熟，在線課程的活動(dòng)質(zhì)量測(cè)評(píng)變得越來(lái)越技術(shù)化與工具化。

在國(guó)外，可汗學(xué)院基于信息跟蹤技術(shù)研發(fā)的“數(shù)字化學(xué)習(xí)儀表盤”，可以對(duì)在線課程的學(xué)習(xí)過(guò)程進(jìn)行精密追蹤，記錄大量的學(xué)生學(xué)習(xí)信息和情境，最終以數(shù)字和圖標(biāo)的方式呈現(xiàn)，成了教育大數(shù)據(jù)的可視化工具；普渡大學(xué)研發(fā)的“課程信號(hào)系統(tǒng)”可以依據(jù)學(xué)生過(guò)程性的活動(dòng)信息對(duì)線上課程的學(xué)習(xí)結(jié)果進(jìn)行判斷并預(yù)警。

在國(guó)內(nèi)，一方面，在遴選在線課程時(shí)仍然習(xí)慣于以專家為主導(dǎo)、基于標(biāo)準(zhǔn)的分析方法，但專家評(píng)審從本質(zhì)上是專家通過(guò)以學(xué)生的身份來(lái)模擬上課，參與和體驗(yàn)線上課程的學(xué)習(xí)效果，某種程度上背離了學(xué)生的真實(shí)情況，存在一定的元認(rèn)知“失真”。由于學(xué)習(xí)者在課程偏好、學(xué)習(xí)習(xí)慣、學(xué)習(xí)目的等方面存在多樣性差異，因此通過(guò)這種方式遴選出來(lái)的課程存在“盲區(qū)”，無(wú)法精確反應(yīng)學(xué)生的學(xué)習(xí)效果。另一方面，則是基于學(xué)習(xí)者的調(diào)查分析，例如“MOOC學(xué)院”從學(xué)習(xí)者的知識(shí)點(diǎn)、教師參與、趣味性、課程設(shè)計(jì)和難度等多重感知視角設(shè)計(jì)了課程質(zhì)量分析方法。但這種方式得到的效果評(píng)價(jià)顆粒度比較大，多數(shù)以整個(gè)課程內(nèi)容為觀測(cè)點(diǎn)，缺乏針對(duì)性。

二、馬爾可夫模型的建立

1.基本理論

設(shè)隨機(jī)過(guò)程{Xn，n∈N}，如果對(duì)任意的n∈N及狀態(tài)i0，i1，…，in+1，有P{Xn+1=in+1|X0=i0，X1=i1，X2=i2，…，Xn=in}=P{Xn+1=in+1|Xn=in}，則稱{Xn，n∈N}為馬爾科夫鏈。

若馬爾科夫鏈的條件概率與當(dāng)前時(shí)刻n無(wú)關(guān)，則稱條件概率 P（n）=P{Xm+n=j|Xm=i}（i，j∈S，m≥0，n≥1）為馬爾科夫鏈的n步轉(zhuǎn)移概率，相應(yīng)的稱P（n）=（pij（n））=Pn為n步轉(zhuǎn)移概率矩陣。

當(dāng)n=1時(shí)，pij（1）=pij，P（1）=P.

n步轉(zhuǎn)移概率pij（n）指的是系統(tǒng)從狀態(tài)i出發(fā)經(jīng)過(guò)n步轉(zhuǎn)移到狀態(tài)j的概率，它對(duì)中間n－1步轉(zhuǎn)移經(jīng)過(guò)的狀態(tài)無(wú)要求。

2.模型建立

在線課程的教學(xué)是一個(gè)較長(zhǎng)的過(guò)程，一個(gè)學(xué)期的授課可以看成若干個(gè)課堂時(shí)段，每個(gè)課堂時(shí)段又可以分為若干個(gè)時(shí)間點(diǎn)[3]。學(xué)生在每個(gè)時(shí)間點(diǎn)的學(xué)習(xí)狀態(tài)和獲得的成就作為狀態(tài)空間的子集，每個(gè)狀態(tài)都是具有隨機(jī)性的，假設(shè)教師授課方式、節(jié)奏把控等不發(fā)生較大改變的前提下，前一個(gè)時(shí)間點(diǎn)的學(xué)生學(xué)習(xí)狀態(tài)到下一個(gè)時(shí)間點(diǎn)的學(xué)生學(xué)習(xí)狀態(tài)發(fā)生變化，反映了教師這段過(guò)程中的教學(xué)效果，學(xué)生的每次狀態(tài)轉(zhuǎn)移后的結(jié)果也只和當(dāng)前狀態(tài)有關(guān)，且學(xué)生在疫情之下也都是第一次全部經(jīng)歷線上教學(xué)，排除了學(xué)生的基礎(chǔ)差異性的影響。

本文以南京林業(yè)大學(xué)疫情期間開(kāi)設(shè)的高等數(shù)學(xué)在線課程為樣本，大二年級(jí)普通班隨機(jī)抽取不同老師授課的2個(gè)平行班級(jí)（1班和2班）共60人，將其期中考試和期末考試的高數(shù)成績(jī)作為統(tǒng)計(jì)數(shù)據(jù)，利用馬爾科夫鏈模型進(jìn)行量化處理。期中考試作為初始狀態(tài)，期末考試作為轉(zhuǎn)移后的狀態(tài)。同時(shí)，發(fā)布調(diào)查問(wèn)卷，針對(duì)線上課程的授課方式、影響因素等情況進(jìn)行分析，共回收有效問(wèn)卷60份。最終學(xué)生期末考試的成績(jī)進(jìn)行“標(biāo)準(zhǔn)化”處理，分為5個(gè)等級(jí)：一等（100-90分）、二等（89-80分）、三等（79-70分）、四等（69-60分）、五等（59-0分）。

計(jì)算1班、2班期末考試平均成績(jī)分別為76.85分和74.32分。單純由均分來(lái)評(píng)判1班教學(xué)效果大于2班是不公正的。按照現(xiàn)在的狀態(tài)，繼續(xù)教學(xué)后，比較未來(lái)發(fā)展的趨勢(shì)。計(jì)算1班、2班在期中考試和期末考試中由狀態(tài)i轉(zhuǎn)移到狀態(tài)j頻數(shù)，得到其頻數(shù)轉(zhuǎn)移矩陣和對(duì)應(yīng)的轉(zhuǎn)移概率矩陣[4]。

由一步轉(zhuǎn)移矩陣得到平穩(wěn)分布，將上述值P分別帶入平穩(wěn)方程：

用Matlab解得極限向量為：1π=（0.12，0.24，0.36，0.2，0.08），2π=（0.25，0.31，0.29，0.08，0.06）。分別選取95，85，75，65，55作為一等到五等的評(píng)價(jià)指標(biāo)，求得1班和2班的綜合指標(biāo)分別為：

M1=0.12×95+0.24×85+0.36×75+0.2×65+0.08×55=76.2

M2=0.25×95+0.31×85+0.29×75+0.08×65+0.06×55=80.35

由此可見(jiàn)，綜合水平M1＜M2，在考慮原有基礎(chǔ)差異情況下，2班教學(xué)質(zhì)量?jī)?yōu)于1班。

3.問(wèn)卷分析

為及時(shí)、系統(tǒng)地了解學(xué)生在線學(xué)習(xí)的情況以及教師線上授課的情況，本次研究設(shè)計(jì)了師生版調(diào)查問(wèn)卷?；趦蓚€(gè)班的調(diào)查情況，學(xué)生自身有一定的線上學(xué)習(xí)經(jīng)歷，表示接觸過(guò)線上課程的占比有75.51%。在學(xué)生的網(wǎng)絡(luò)自主學(xué)習(xí)中，觀看名校有關(guān)的課程視頻排在首位，完成相應(yīng)的課后作業(yè)排在末位。由此看出，線上自主學(xué)習(xí)如果沒(méi)有硬性作業(yè)完成度的要求，很難形成完整的閉環(huán)鏈[5]。

經(jīng)過(guò)疫情期間線上授課，學(xué)生們?cè)谔羁帐降膯?wèn)卷中互動(dòng)活躍，提出不少建設(shè)性意見(jiàn)，一班更多學(xué)生表達(dá)了希望教師多互動(dòng)的建議，例如“理科思辨要求較高的課程，老師直播授課語(yǔ)速快，學(xué)生記筆記跟不上”；“希望可以安排習(xí)題課講解”；“希望老師增加與學(xué)生連麥互動(dòng)的環(huán)節(jié)”；“下一堂課的重點(diǎn)難點(diǎn)提前告知學(xué)生，方便預(yù)習(xí)、復(fù)習(xí)”等實(shí)質(zhì)性的問(wèn)題。

4.獨(dú)立性檢驗(yàn)

由于1班和2班學(xué)生的成績(jī)數(shù)據(jù)是樣本數(shù)據(jù)，是整個(gè)學(xué)?？傮w學(xué)習(xí)高等數(shù)學(xué)的學(xué)生的代表，具有隨機(jī)性，故需要用獨(dú)立性檢驗(yàn)的方法確認(rèn)在考慮原有基礎(chǔ)差異情況下，2班教學(xué)質(zhì)量是否確實(shí)優(yōu)于1班。根據(jù)問(wèn)卷調(diào)查，1班教師互動(dòng)多于2班，則以1班數(shù)據(jù)為例，關(guān)于線上教學(xué)中教師與學(xué)生之間有所互動(dòng)，是否能提高學(xué)生對(duì)課堂內(nèi)容的投入，可得如下教師與學(xué)生互動(dòng)與學(xué)生投入之間的關(guān)系：教師互動(dòng)多，學(xué)生投入狀態(tài)好，關(guān)系值為35（a）；教師互動(dòng)多，學(xué)生投入狀態(tài)不好，關(guān)系值為3（b），總計(jì)關(guān)系值38（a+b）。教師不互動(dòng)多，學(xué)生投入狀態(tài)好，關(guān)系值為8（c），教師不互動(dòng)，學(xué)生投入狀態(tài)不好，關(guān)系值為13（d），總計(jì)關(guān)系值21（c+d）。學(xué)生投入狀態(tài)好時(shí)，教師狀態(tài)總值44（a+c），學(xué)生投入狀態(tài)不好時(shí)，教師狀態(tài)總值16（b+d）。教師與學(xué)生互動(dòng)與學(xué)生投入總計(jì)60（n=a+b+c+d）。

假設(shè)教師互動(dòng)和學(xué)生投入課堂效率沒(méi)有關(guān)系，相對(duì)獨(dú)立為H0，兩個(gè)分類變量相互有關(guān)為H1，越小，則教師互動(dòng)和學(xué)生投入的關(guān)系越弱。

上述表格中數(shù)據(jù)代入公式得，K2≈19.839，在H0成立的情況下，根據(jù)獨(dú)立性檢驗(yàn)的臨界值表得：P（K2≥10.828）＜0.001，即這個(gè)概率非常小只有0.1%，因此可以有99.9%的把握認(rèn)為1班的教學(xué)質(zhì)量?jī)?yōu)于2班是因?yàn)榻處熁?dòng)的多，與前面求得的綜合水平M1＜M2相呼應(yīng)。

三、結(jié)論

基于馬爾科夫鏈模型的教學(xué)效果評(píng)估方法，關(guān)注了評(píng)價(jià)依據(jù)的客觀化、多元化，不再只局限于學(xué)生最終的成績(jī)來(lái)評(píng)定一個(gè)老師上課的好壞[6]。同時(shí)，本文在測(cè)算模型的基礎(chǔ)上對(duì)獨(dú)立性進(jìn)行了檢驗(yàn)，將教師的“教”與學(xué)生的“學(xué)”相互結(jié)合，使得教學(xué)評(píng)價(jià)不再是單一的結(jié)果性評(píng)價(jià)，而是更關(guān)注教師的教學(xué)過(guò)程性評(píng)價(jià)；不僅僅是主體評(píng)價(jià)，也考慮到了客體分析。

和傳統(tǒng)課堂評(píng)價(jià)的主體分析不同的是，線上線下混合式教學(xué)的主體多了一個(gè)平臺(tái)大數(shù)據(jù)。在“互聯(lián)網(wǎng)+”的大數(shù)據(jù)時(shí)代，線上線下混合式教學(xué)是基于在線課程或SPOC，有20%-50%學(xué)生線上自主學(xué)習(xí)的教學(xué)模式。因此，混合式教學(xué)的課堂評(píng)價(jià)一部分依賴于平臺(tái)的大數(shù)據(jù)分析，一部分來(lái)自學(xué)生和督導(dǎo)教師的課堂評(píng)價(jià)。平臺(tái)大數(shù)據(jù)算法主要包括鏈接分析法、內(nèi)容分析法、日志分析法。利用大數(shù)據(jù)算法對(duì) 課程的教學(xué)績(jī)效和學(xué)習(xí)績(jī)效進(jìn)行分析。

四、措施

對(duì)比線上線下混合式教學(xué)的課程，傳統(tǒng)授課方式的課程建設(shè)與在線課程建設(shè)在課程設(shè)計(jì)上有共性也有區(qū)別。共同點(diǎn)在于師生需要有有效的互動(dòng)，線上課程授課時(shí)設(shè)計(jì)的線上互動(dòng)答疑、課堂小測(cè)驗(yàn)的答案統(tǒng)計(jì)排名等，如果熟練地運(yùn)用教學(xué)用具在課堂中的使用頻率，會(huì)讓課堂效果翻倍。線下課程授課時(shí)學(xué)生的分組討論、師生角色轉(zhuǎn)換等，可以凝聚課堂人心。但在實(shí)施過(guò)程中，因?yàn)閷W(xué)習(xí)主體和學(xué)習(xí)客體的不同，具有差異性，同時(shí)還要考慮線上課程平臺(tái)的實(shí)用性、技術(shù)支持以及技術(shù)人員的反饋時(shí)效等問(wèn)題。老師的教學(xué)設(shè)計(jì)不僅僅要考慮課程內(nèi)容，還需要考慮“互聯(lián)網(wǎng)+”時(shí)代下線上線下教學(xué)方法的改革、學(xué)生獲取知識(shí)能力和主動(dòng)性的差異等等；信息化時(shí)代帶給師生的不僅僅是信息獲取的便捷和課程內(nèi)容的豐富性，更重要的是要考慮在線課程的設(shè)計(jì)是否適合學(xué)生對(duì)知識(shí)點(diǎn)的掌握、線上與學(xué)生的教學(xué)互動(dòng)是否及時(shí)、視頻學(xué)習(xí)等內(nèi)容更新是否有階段性等等；對(duì)學(xué)習(xí)效果評(píng)價(jià)的設(shè)計(jì)主要包括在線考試、隨堂小測(cè)驗(yàn)、課后習(xí)題作業(yè)等指標(biāo)。本課題探索建設(shè)基于Markov鏈的數(shù)據(jù)化評(píng)價(jià)，并對(duì)在線課程建設(shè)和教學(xué)效果進(jìn)行系統(tǒng)性的評(píng)價(jià)，從而進(jìn)行了成效分析。