MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系的構(gòu)建與研究

謝賓 施秋萍 劉洋 劉晟藍(lán)

摘要：MOOC作為技術(shù)支持教育的一種，其本質(zhì)仍是“師生相對分離”的遠(yuǎn)程教育，教學(xué)過程中教師不能像傳統(tǒng)教學(xué)一樣實時監(jiān)控教學(xué)過程。構(gòu)建MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系能夠?qū)崿F(xiàn)教學(xué)過程的監(jiān)控和評價，使教師根據(jù)監(jiān)控數(shù)據(jù)和評價結(jié)果有針對性的、動態(tài)的調(diào)整教學(xué)。利用定量評價與質(zhì)性評價，結(jié)合基于學(xué)生學(xué)習(xí)行為大數(shù)據(jù)的學(xué)習(xí)分析技術(shù)，給予及時的評價結(jié)果，反饋教與學(xué)。

關(guān)鍵詞：MOOC；教學(xué)質(zhì)量；監(jiān)控；評價體系

中圖分類號：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-9324（2016）32-0242-04

一、MOOC質(zhì)量評價及教學(xué)評價的研究與應(yīng)用現(xiàn)狀

1.MOOC相關(guān)研究動態(tài)與研究內(nèi)容。本研究在中國知網(wǎng)中檢索篇名包含MOOC的文章，共計1524篇（截止2015年9月），并使用文獻(xiàn)題錄信息統(tǒng)計分析工具進(jìn)行分析，從關(guān)鍵詞詞頻分布上，MOOC、在線教育、高等教育以及教學(xué)模式關(guān)鍵詞詞頻出現(xiàn)較高。在國外研究中，MOOC的主要研究方向為MOOC概念、設(shè)計、學(xué)習(xí)理論、案例研究、商業(yè)模型、目標(biāo)群組以及評價等方面。其中研究多傾向于概念、設(shè)計、學(xué)習(xí)理論理論以及案例的研究，在MOOC商業(yè)模式、目標(biāo)群組以及評價方式等方面的研究相對較少，尤其是在慕課的評價（assessment）方面，相關(guān)研究也比較少。從以上國內(nèi)外的MOOC研究現(xiàn)狀可以看出，目前MOOC教學(xué)評價方面的研究比較缺乏。

2.MOOC質(zhì)量/教育質(zhì)量的評價研究。MOOC課程質(zhì)量以及其教育價值是決策者、研究者最為關(guān)注的問題，決定著MOOC是否具有真正實施到實際教學(xué)中的條件。在MOOC質(zhì)量評價方面，劉路等對歐洲遠(yuǎn)程教育大學(xué)聯(lián)合會的開放教育質(zhì)量標(biāo)簽、西班牙MOOC教育質(zhì)量綜合評價指標(biāo)體系以及德國MOOC設(shè)計質(zhì)量評價標(biāo)準(zhǔn)進(jìn)行了比較研究，認(rèn)為MOOC質(zhì)量評價應(yīng)按評價目的選擇局部或整體性評價標(biāo)準(zhǔn)，評價方式突出教師與學(xué)習(xí)者的評價主體地位，評價環(huán)節(jié)強(qiáng)化質(zhì)量控制。李青等在在線課程質(zhì)量量規(guī)的基礎(chǔ)上，結(jié)合MOOC的特殊性，構(gòu)建了MOOC質(zhì)量模型，包括媒體技術(shù)、課程內(nèi)容和課程管理三部分。馮雪松等人從量化因素與定性描述兩方面出發(fā)，圍繞課程內(nèi)容建設(shè)及實施、內(nèi)容組織、呈現(xiàn)、講授方法及課程執(zhí)行與推廣等六個方面構(gòu)建了MOOC質(zhì)量評價體系。Miguel對比了ADECUR和Standard UNE 66181：2012標(biāo)準(zhǔn)。Yousef A. M. F等總結(jié)cMOOC、xMOOC以及面對面教學(xué)方式的優(yōu)缺點，在綜合三種教學(xué)方式的基礎(chǔ)上構(gòu)建了Blended MOOC，并應(yīng)用包括開放性、質(zhì)量保證等12個維度評價量規(guī)進(jìn)行質(zhì)量評價。MOOC質(zhì)量評價是在整體層面對MOOC本身進(jìn)行的綜合性評估，關(guān)注的是MOOC平臺與課程的有用性與易用性，評價客體是MOOC課程。MOOC教學(xué)過程質(zhì)量監(jiān)控評價是對MOOC教學(xué)過程的評價，關(guān)注的是學(xué)生的學(xué)習(xí)和教師的教學(xué)，評價客體是MOOC教學(xué)的過程和效果。

3.MOOC教學(xué)評價研究。針對于MOOC教學(xué)過程和效果的評價，研究點主要集中在三個方面：同伴評價及其機(jī)制研究，自動測評系統(tǒng)、技術(shù)研究以及評價方法體系的構(gòu)建研究。在同伴評價研究中，鄭燕林等探索了同伴評價實施路徑的選擇；劉玲等以edX，Coursera和北京大學(xué)MOOC為例，研究為什么實施同伴評價，同伴評價如何實施，教師如何使用，以及在實施中碰到哪些問題，等等，包括定量評價與質(zhì)性評價；孫力等構(gòu)建了同伴互評概率模型來提高M(jìn)OOC評價系統(tǒng)中主觀試題評分的客觀性和準(zhǔn)確性；Hoi K. Suen指出，缺乏形成性評價和反饋，MOOCs就會變成信息垃圾或者節(jié)目廣播，不能發(fā)揮教育作用，可以通過綜合幾種方式提高同伴評價的準(zhǔn)確性和可用性。在構(gòu)建綜合評價方法體系方面，丁慧等從學(xué)習(xí)互動評價、過程性評價和終結(jié)性評價的基礎(chǔ)上構(gòu)建學(xué)習(xí)評價機(jī)制。馬桂花從電子學(xué)習(xí)檔案袋、教師記錄檔案袋和學(xué)習(xí)成效評價等方面構(gòu)建多維動態(tài)評價體系，并強(qiáng)調(diào)以過程性評價為核心。沈欣憶等針對BOOC學(xué)習(xí)，提煉了12種學(xué)習(xí)策略，其中，學(xué)習(xí)評價策略包括作業(yè)完整度的同伴評價、優(yōu)秀作業(yè)的同伴推薦、教師對學(xué)習(xí)者反思的評價以及電子徽章。裴小琴等人從知識、能力和態(tài)度三個層面出發(fā)，根據(jù)學(xué)習(xí)成績、自主學(xué)習(xí)、協(xié)作學(xué)習(xí)、信息處理以及參與水平五個指標(biāo)對混合式教學(xué)模式下MOOC教學(xué)效果進(jìn)行評價。Linda Briggs指出MOOC的幾種常用評價工具：同伴評價、自動作文評分、MOOC考試監(jiān)考。Amit Chauhan總結(jié)了幾種評估和評價方式，如學(xué)習(xí)分析技術(shù)，利用學(xué)生課程應(yīng)用狀態(tài)、學(xué)習(xí)者特點以及學(xué)生交互、論壇數(shù)據(jù)進(jìn)行分析評價，自適應(yīng)評價、自動測評、先前學(xué)習(xí)認(rèn)定等評價方式；指出可以通過花在任務(wù)上的時間、學(xué)生與課程交互、知識技能的認(rèn)證等方式進(jìn)行學(xué)習(xí)評價。María認(rèn)為MOOC教學(xué)評價方式主要圍繞兩種類型的MOOC，并列舉了除了測評、任務(wù)完成等其他評價方式，如同伴評價2.0（將同伴評價作為學(xué)習(xí)的一項任務(wù)）、基于網(wǎng)絡(luò)的評價、電子檔案袋、引入專家評價、語義網(wǎng)、學(xué)習(xí)分析等。

二、MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系原則

無論是cMOOC、xMOOC還是bMOOC，其評價方式目前都是從某一個或者部分角度出發(fā)進(jìn)行評價。MOOC能否取得有效的教學(xué)效果，除了科學(xué)有效的課程內(nèi)容設(shè)計、教學(xué)方法模式的創(chuàng)新應(yīng)用，有效機(jī)制的保障之外，教學(xué)過程質(zhì)量監(jiān)控評價體系也是極為重要的一環(huán)。通過實施教學(xué)過程質(zhì)量監(jiān)控和評價，教師可以在教學(xué)過程中做到及時調(diào)整教學(xué)內(nèi)容、方法和進(jìn)度等，優(yōu)化教學(xué)過程，從而提高M(jìn)OOC教學(xué)的有效性。

1.MOOC的教學(xué)應(yīng)用模式。SPOC（小型私有化在線課程）與MOOC相比最大的區(qū)別是可控的課程參與學(xué)生數(shù)，使SPOC教學(xué)的學(xué)習(xí)監(jiān)控、學(xué)習(xí)評價、個性化輔導(dǎo)、學(xué)生出勤率以及師生交互都優(yōu)于MOOC課程，能夠提供較深層次的在線學(xué)習(xí)體驗。將SPOC教學(xué)與面對面的教學(xué)結(jié)合起來，實現(xiàn)混合式學(xué)習(xí)，利用翻轉(zhuǎn)課堂方式采用線上學(xué)習(xí)與線下教學(xué)的教學(xué)應(yīng)用模式，如圖1所示，解決在線教育“最后40厘米”的關(guān)鍵問題。

2.MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系構(gòu)建原則。①評價目的清晰化：MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系的評價目的是對教學(xué)的全過程進(jìn)行及時的監(jiān)控，評價教與學(xué)效果，以便教師調(diào)整教學(xué)進(jìn)度、方法和過程。評價內(nèi)容包括教師的教學(xué)過程，學(xué)生的學(xué)習(xí)行為、學(xué)習(xí)結(jié)果，師生交互行為，并對教與學(xué)的狀態(tài)利用數(shù)據(jù)分析技術(shù)進(jìn)行監(jiān)控。②評價主體全面化：傳統(tǒng)的教學(xué)評價主體只有教師，而基于MOOC的教學(xué)過程監(jiān)控與評價需要多方聯(lián)動。建構(gòu)主義學(xué)習(xí)理論指出，學(xué)生是學(xué)習(xí)的主體、知識的建構(gòu)者，因此教學(xué)評價尤其需要注重學(xué)生的主體地位和作用，重視學(xué)生對學(xué)習(xí)過程的評價和自我反思。除教學(xué)參與者（教師和學(xué)生）之外，教學(xué)督導(dǎo)能夠以第三方的角度客觀的對教學(xué)過程進(jìn)行評價?；谄脚_的學(xué)生學(xué)習(xí)行為大數(shù)據(jù)能夠?qū)崟r的反映出學(xué)生的在線學(xué)習(xí)行為，對學(xué)習(xí)過程進(jìn)行監(jiān)控，為教學(xué)評價提供量化的數(shù)據(jù)。③評價方式多元化：MOOC教學(xué)是一個動態(tài)的、個性化的學(xué)習(xí)過程，需要與之相應(yīng)的多元化、動態(tài)化、過程性的評價方式，為學(xué)習(xí)者和教學(xué)者提供及時的評價結(jié)果。除了可量化的學(xué)生學(xué)習(xí)成績以外，教師評價、同伴評價、自我評價等質(zhì)性評價更能反映出學(xué)生學(xué)習(xí)過程中的狀態(tài)。

三、MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系

1.MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系要素。根據(jù)MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系的構(gòu)建原則，采取多元化的評價方式，基于在線教育網(wǎng)絡(luò)課程的評價要素，結(jié)合基于學(xué)習(xí)行為大數(shù)據(jù)的學(xué)習(xí)分析技術(shù)，本文將MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系的構(gòu)成要素分為兩種類型：質(zhì)性評價和定量評價，四個模塊：互動評價、在線學(xué)習(xí)行為、測評分析、線上與線下教學(xué)，如圖2所示。

互動評價?；釉u價主要包含四個方面的內(nèi)容：①教師評價：教師評價主要包括評價教學(xué)過程和評價學(xué)生表現(xiàn)兩方面。教師對學(xué)生的學(xué)習(xí)表現(xiàn)最具話語權(quán)，能夠全面、深層次的評價學(xué)生的整體學(xué)習(xí)效果，從教學(xué)的參與者與學(xué)生學(xué)習(xí)引導(dǎo)者的角度進(jìn)行主觀的評價，為教學(xué)質(zhì)量評價提供第一手的數(shù)據(jù)。②學(xué)生自評：學(xué)生是學(xué)習(xí)的主體、教學(xué)的對象，是知識的獲得者與建構(gòu)者。學(xué)生自評主要是進(jìn)行學(xué)習(xí)效果的自我評價、學(xué)習(xí)過程的自我感受等。③同伴評價：同伴評價是學(xué)生之間進(jìn)行作品、作業(yè)的相互評價，同伴互評不僅能夠提高學(xué)習(xí)者的參與熱情，而且學(xué)習(xí)者之間通過觀看彼此的作業(yè)，可以從中獲得新的啟發(fā)和靈感，進(jìn)而拓寬自己的視野，促進(jìn)相互學(xué)習(xí)。為了提高學(xué)生互評的可信度和有用性，將“同伴評價”作為一個學(xué)習(xí)任務(wù)，以任務(wù)的形式提高同伴評價的深度。④教學(xué)督導(dǎo)評價：教學(xué)督導(dǎo)一般為執(zhí)教經(jīng)驗比較豐富的老教師，能夠以第三方的角度對教學(xué)過程進(jìn)行客觀的評價，避免教師和學(xué)生作為教學(xué)的直接參與者，在評價過程中可能摻雜的一些影響評價的主觀因素。

在線學(xué)習(xí)行為。MOOC仍是“師生相對分離”的在線教育形式，其主要教學(xué)方式為學(xué)生的在線自主學(xué)習(xí)。對MOOC教學(xué)質(zhì)量進(jìn)行監(jiān)控評價，必須把握學(xué)生的在線學(xué)習(xí)行為，學(xué)生的在線學(xué)習(xí)行為反映的是學(xué)生在線學(xué)習(xí)的參與水平。通過MOOC平臺數(shù)據(jù)實時的監(jiān)控學(xué)生的學(xué)習(xí)過程，利用數(shù)據(jù)的收集、匯總、統(tǒng)計與分析，可視化的展現(xiàn)學(xué)生利用平臺的學(xué)習(xí)狀態(tài)。①課程平臺訪問次數(shù)：學(xué)生登陸課程平臺訪問課程的次數(shù)，訪問次數(shù)反映了學(xué)生學(xué)習(xí)的積極性。②課程平臺登陸在線時長：學(xué)生每次登陸課程平臺在線的時長。③學(xué)生登陸時間段：學(xué)生登陸時間段能夠反映出學(xué)生利用哪些時間進(jìn)行了MOOC學(xué)習(xí)，白天、晚上、深夜還是周末等，根據(jù)登陸時間結(jié)合在線時長，反映學(xué)生的學(xué)習(xí)狀態(tài)。④教學(xué)視頻觀看次數(shù)與時長：教學(xué)視頻是在線教育的核心資源，是學(xué)生在線學(xué)習(xí)的必學(xué)內(nèi)容。在學(xué)生認(rèn)真學(xué)習(xí)的前提下，反芻比（單個視頻中，學(xué)生觀看時長與視頻時長的比）反映了學(xué)生基于學(xué)習(xí)視頻的行為。⑤師生有效交互次數(shù)：有效交互是指教師對學(xué)生有效的答疑解惑及指導(dǎo)，學(xué)生有效的提問及教師、學(xué)生的相應(yīng)。師生有效交互反映師生之間教與學(xué)互動的狀態(tài)。⑥交互發(fā)帖數(shù)與回復(fù)數(shù)：發(fā)帖是在線學(xué)習(xí)中學(xué)生之間、師生之間進(jìn)行學(xué)習(xí)互動的主要交互形式，通過發(fā)帖與回帖，可以對學(xué)習(xí)內(nèi)容、學(xué)習(xí)問題進(jìn)行討論與解決。發(fā)帖數(shù)和回帖數(shù)表現(xiàn)了MOOC學(xué)習(xí)的活躍度，是評價MOOC學(xué)習(xí)的一個重要指標(biāo)。

測評分析。基于平臺數(shù)據(jù)的在線學(xué)習(xí)行為描述了學(xué)生的學(xué)習(xí)狀態(tài)，而通過測評分析，能夠真正的把握學(xué)生的學(xué)習(xí)效果，反饋學(xué)生學(xué)習(xí)效果。①學(xué)生階段測評統(tǒng)計分析：階段測評是學(xué)生學(xué)習(xí)過程中的階段性、過程性評價，反映學(xué)生每個學(xué)習(xí)單元/學(xué)習(xí)階段的知識水平，通過客觀測試，能夠較快的呈現(xiàn)學(xué)生知識掌握情況。②學(xué)生作業(yè)測評分析：主觀題目是對知識的綜合性考查，不僅考查知識點的識記、理解和應(yīng)用等初級認(rèn)知能力，更能通過綜合性的題目考查學(xué)生利用習(xí)得知識進(jìn)行分析、評價和創(chuàng)造的高級認(rèn)知能力。通過學(xué)生作業(yè)測評分析，能夠更準(zhǔn)確的衡量學(xué)生的知識習(xí)得效果。

線上與線下教學(xué)?；贛OOC線上與線下相結(jié)合的教學(xué)模式中，線下教學(xué)能夠解決在線學(xué)習(xí)中無法解決的問題，主要包括線上教學(xué)指導(dǎo)和線下問題解決兩個內(nèi)容。①線上教學(xué)指導(dǎo)：教師指導(dǎo)分為課程導(dǎo)學(xué)和個性化教學(xué)指導(dǎo)。課程導(dǎo)學(xué)是教師為學(xué)生提供的課程實施、知識教學(xué)方面的指導(dǎo)，是課程知識地圖的導(dǎo)航。個性化教學(xué)指導(dǎo)是教師根據(jù)學(xué)生表現(xiàn)提供的個性化學(xué)習(xí)建議。②線下問題解決：根據(jù)翻轉(zhuǎn)課堂設(shè)計，課堂教學(xué)過程主要是學(xué)生知識的內(nèi)化過程，教師在課堂教學(xué)中通過問題解決引導(dǎo)學(xué)生進(jìn)行知識體系構(gòu)建。線下教學(xué)通過考察出勤、任務(wù)解決、實驗操作、核心能力、項目設(shè)計等方式計算線下課堂總評成績，對學(xué)生學(xué)習(xí)效果進(jìn)行評價。

2.MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系構(gòu)建。根據(jù)MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系的構(gòu)建原則和構(gòu)成要素，本文擬定了四個維度的評價指標(biāo)項，分別是互動評價、在線學(xué)習(xí)行為、測評分析以及線上與線下教學(xué)。同時，基于評價的可操作性，本評價體系采用等級式評價，評價等級分“優(yōu)、良、中、差”四個等級。MOOC教學(xué)過程質(zhì)量監(jiān)控評價要素數(shù)據(jù)，如視頻觀看時長、師生有效交互次數(shù)等來源廣泛、復(fù)雜，在應(yīng)用要素數(shù)據(jù)需要教學(xué)質(zhì)量評價之前，需要進(jìn)行數(shù)據(jù)的篩選、統(tǒng)計、分析等優(yōu)化過程。對于互動評價，其評價主體不同，在實施教學(xué)質(zhì)量監(jiān)控評價時，需要給予一定的評價指導(dǎo)。MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系如表1所示。

四、結(jié)論

本文采取多元化評價方式，基于在線教育網(wǎng)絡(luò)課程的評價要素，結(jié)合基于學(xué)習(xí)行為數(shù)據(jù)的學(xué)習(xí)分析技術(shù)，從教學(xué)中的互動評價、測評分析、線上與線下教學(xué)以及在線學(xué)習(xí)行為等四個方面出發(fā)構(gòu)建了一個MOOC教學(xué)過程質(zhì)量監(jiān)控評價體系。本評價體系兼顧了教學(xué)過程監(jiān)控和教學(xué)效果的評價，能夠?qū)嵤㎝OOC教學(xué)評價提供一些指導(dǎo)與幫助。

參考文獻(xiàn)：

[1]劉路，劉志民，羅英姿.歐洲MOOC教育質(zhì)量評價方法及啟示[J].開放教育研究，2015，（05）：57-65.

[2]李青，劉娜.MOOC質(zhì)量保證體系研究[J].開放教育研究，2015，（05）：66-73.

[3]馮雪松，于青青，李曉明.在實踐中探索MOOC評價體系[J].中國大學(xué)教學(xué)，2015，（10）：72-81，85.

[4]鄭燕林，李盧一.超越大規(guī)模，追求大智慧：MOOC學(xué)習(xí)同伴評價的實施路徑選擇[J].電化教育研究，2015，（09）：42-8.

[5]劉玲.MOOC中同伴互評的功能與策略探究——以edX、Coursera平臺及北京大學(xué)的MOOC課程為例[J].工業(yè)和信息化教育，2014，（11）.

[6]孫力，鐘斯陶.MOOC評價系統(tǒng)中同伴互評概率模型研究[J].開放教育研究，2014，（05）：83-90.

[7]丁慧，王小剛.基于MOOC的混合教學(xué)模式中學(xué)習(xí)評價機(jī)制的研究[J].時代教育，2015，（09）.

[8]馬桂花.多元智能理論下大學(xué)英語慕課自主學(xué)習(xí)多維動態(tài)評價體系構(gòu)建[J].湖北函授大學(xué)學(xué)報，2015，（08）.

[9]沈欣憶，李爽，丹尼爾·希基，李營.如何提升MOOCs的學(xué)生參與度與學(xué)習(xí)效果——來自BOOC的經(jīng)驗[J].開放教育研究，2014，（03）：63-70.

[10]裴小琴，夏春明，杜龍兵.MOOC視角下混合式教學(xué)效果評價體系研究[J].未來與發(fā)展，2015，（11）：95-98.

[11]呂森林，邵銀娟，馮超，等.中國在線教育產(chǎn)業(yè)藍(lán)皮書（2014-2015版）[M].北京大學(xué)出版社，2015.

[12]何克抗.建構(gòu)主義──革新傳統(tǒng)教學(xué)的理論基礎(chǔ)（上）[J].電化教育研究，1997，（03）：3-9.