過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)設(shè)計(jì)

摘 要：“十四五”時(shí)期，關(guān)注學(xué)習(xí)過(guò)程，重視用戶體驗(yàn)，構(gòu)建與時(shí)代背景相適應(yīng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架與指標(biāo)，已成為推動(dòng)在線教育高質(zhì)量發(fā)展的重要命題。本研究從過(guò)程視角出發(fā)，以數(shù)據(jù)為導(dǎo)向，關(guān)注在線開(kāi)放課程實(shí)際使用情況，首先構(gòu)建了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架，該框架包含學(xué)習(xí)過(guò)程數(shù)據(jù)采集、學(xué)習(xí)過(guò)程數(shù)據(jù)映射、學(xué)習(xí)過(guò)程數(shù)據(jù)分析與課程質(zhì)量等級(jí)評(píng)價(jià)四個(gè)流程，以及數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)映射、數(shù)據(jù)分析、結(jié)果輸出、質(zhì)量計(jì)算、優(yōu)化策略七個(gè)評(píng)價(jià)環(huán)節(jié)；其次設(shè)計(jì)了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系；最后以“中小學(xué)教師數(shù)據(jù)素養(yǎng)”MOOC為例，基于第二期的學(xué)習(xí)過(guò)程數(shù)據(jù)開(kāi)展了評(píng)價(jià)實(shí)踐，分析了課程存在的實(shí)際問(wèn)題，并從課程內(nèi)容、學(xué)習(xí)過(guò)程、課程平臺(tái)環(huán)境、學(xué)習(xí)支持服務(wù)四個(gè)方面提出在線開(kāi)放課程質(zhì)量的優(yōu)化策略。

關(guān)鍵詞：學(xué)習(xí)過(guò)程數(shù)據(jù)；在線開(kāi)放課程；課程質(zhì)量評(píng)價(jià)；評(píng)價(jià)框架；評(píng)價(jià)指標(biāo)體系

一、問(wèn)題提出

近年來(lái)，在線教育理論體系與實(shí)踐過(guò)程相互滲透、融合發(fā)展（陳曉慧， 2020），在線學(xué)習(xí)已成為全球主要學(xué)習(xí)形式之一，以慕課（Massive Open Online Courses， MOOC）為代表的在線開(kāi)放課程成為學(xué)習(xí)者的主要學(xué)習(xí)資源。自2008年大規(guī)模開(kāi)放在線課程首次被戴夫·科米爾（Cormier， D.）提及以來(lái)，我國(guó)建設(shè)與規(guī)劃在線開(kāi)放課程已十余年，其中設(shè)計(jì)與開(kāi)發(fā)高質(zhì)量在線開(kāi)放課程一直是在線教育的重點(diǎn)工程。開(kāi)展在線開(kāi)放課程質(zhì)量評(píng)價(jià)是提升課程質(zhì)量的重要途徑。傳統(tǒng)的在線開(kāi)放課程質(zhì)量評(píng)定主要聚焦于課程內(nèi)容本身，評(píng)價(jià)維度主要涉及師資隊(duì)伍、課程資源、教學(xué)內(nèi)容、學(xué)習(xí)系統(tǒng)、平臺(tái)保障等（王璐 等， 2017）。大數(shù)據(jù)時(shí)代，越來(lái)越多的研究者意識(shí)到學(xué)習(xí)者學(xué)習(xí)在線開(kāi)放課程生成的海量學(xué)習(xí)過(guò)程數(shù)據(jù)價(jià)值巨大，這些數(shù)據(jù)被在線學(xué)習(xí)平臺(tái)記錄下來(lái)，體現(xiàn)了學(xué)習(xí)者學(xué)習(xí)課程的全過(guò)程，亟待深層分析與挖掘。

在“十四五”新發(fā)展階段，在線教育越來(lái)越關(guān)注在線開(kāi)放課程用戶的體驗(yàn)與感受，基于學(xué)習(xí)體驗(yàn)評(píng)價(jià)與改進(jìn)在線開(kāi)放課程成為推進(jìn)在線教育可持續(xù)發(fā)展的關(guān)鍵。過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)基于課程實(shí)際使用情況，關(guān)注學(xué)生“使用”與“消費(fèi)”課程的學(xué)習(xí)過(guò)程，提高課程用戶黏性，是推進(jìn)在線開(kāi)放課程可持續(xù)發(fā)展的重點(diǎn)任務(wù)（王娟 & 劉偉， 2022），然而相關(guān)研究卻不多。鑒于此，本研究從過(guò)程視角出發(fā)，以數(shù)據(jù)為導(dǎo)向，關(guān)注學(xué)習(xí)體驗(yàn)，開(kāi)展過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)研究，旨在厘清從哪些維度采集哪些學(xué)習(xí)過(guò)程數(shù)據(jù)才能保證在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系的構(gòu)建。

二、相關(guān)研究

（一）在線學(xué)習(xí)過(guò)程數(shù)據(jù)分析研究

進(jìn)入21世紀(jì)，在線學(xué)習(xí)已成為必然趨勢(shì)，更加強(qiáng)調(diào)以學(xué)生為中心、自主構(gòu)建知識(shí)體系以及有意義的學(xué)習(xí)（葛曉春， 2001），并產(chǎn)生了海量學(xué)習(xí)過(guò)程數(shù)據(jù)。劉革平等（2005）構(gòu)建了遠(yuǎn)程學(xué)習(xí)過(guò)程評(píng)價(jià)系統(tǒng)，運(yùn)用數(shù)據(jù)挖掘技術(shù)分析電子學(xué)檔，以達(dá)到自動(dòng)化評(píng)價(jià)學(xué)習(xí)過(guò)程數(shù)據(jù)的目的。隨著慕課的發(fā)展，在線開(kāi)放課程數(shù)量與規(guī)模迅速擴(kuò)大，學(xué)習(xí)分析、數(shù)據(jù)采集與挖掘等技術(shù)不斷發(fā)展，學(xué)習(xí)過(guò)程數(shù)據(jù)分析逐漸成為研究熱點(diǎn)。張艷霞等（2015）提出用數(shù)據(jù)表征在線學(xué)習(xí)過(guò)程，通過(guò)收集、分析學(xué)生學(xué)習(xí)行為和學(xué)習(xí)環(huán)境數(shù)據(jù)以優(yōu)化學(xué)習(xí)過(guò)程。上超望等（2018）設(shè)計(jì)了包含學(xué)習(xí)過(guò)程性活動(dòng)記錄、學(xué)習(xí)過(guò)程數(shù)據(jù)處理與存儲(chǔ)、學(xué)習(xí)過(guò)程數(shù)據(jù)融合、學(xué)習(xí)過(guò)程數(shù)據(jù)分析和在線學(xué)習(xí)過(guò)程性評(píng)價(jià)五個(gè)子系統(tǒng)的在線學(xué)習(xí)過(guò)程性評(píng)價(jià)模型。

分析學(xué)習(xí)過(guò)程數(shù)據(jù)最終目的是改進(jìn)教與學(xué)，提高教師教學(xué)效果與學(xué)生學(xué)習(xí)成績(jī)。文獻(xiàn)研究發(fā)現(xiàn)，近年來(lái)學(xué)習(xí)過(guò)程數(shù)據(jù)的研究主要聚焦于在線學(xué)習(xí)效果預(yù)測(cè)（Agudo-Peregrina et al.， 2014; 江波 等， 2018）、在線教學(xué)解釋與反思（魏順平 等， 2015; 何文濤 等， 2019）、在線學(xué)習(xí)投入分析（Dewan et al.， 2019; 馬志強(qiáng) & 岳蕓竹， 2020）、在線學(xué)習(xí)路徑規(guī)劃（崔萌 等， 2020），以及在線學(xué)習(xí)行為干預(yù)與預(yù)警（舒瑩 等， 2019; 楊豐玉 等， 2021）等方面。少數(shù)研究基于學(xué)習(xí)過(guò)程數(shù)據(jù)開(kāi)展了素養(yǎng)測(cè)評(píng)與學(xué)習(xí)者綜合評(píng)價(jià)。如李美娟等（2022）認(rèn)為計(jì)算心理測(cè)量理論結(jié)合自上而下的理論指導(dǎo)和自下而上的數(shù)據(jù)驅(qū)動(dòng)，以證據(jù)為中心設(shè)計(jì)測(cè)驗(yàn)，借助學(xué)生作答過(guò)程數(shù)據(jù)測(cè)評(píng)其合作問(wèn)題解決能力；吳斕等（2022）開(kāi)發(fā)了基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估系統(tǒng)，并驗(yàn)證了系統(tǒng)的有效性與可用性。張倍思等（2022）設(shè)計(jì)了多源過(guò)程性數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)者綜合評(píng)價(jià)模型，為實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)過(guò)程評(píng)價(jià)提供了參考。

總的來(lái)看，學(xué)習(xí)過(guò)程數(shù)據(jù)的分析主要通過(guò)系統(tǒng)地采集學(xué)生學(xué)習(xí)行為數(shù)據(jù)，如課程評(píng)語(yǔ)、學(xué)習(xí)活動(dòng)參與、交流互動(dòng)、學(xué)習(xí)成績(jī)等一切與學(xué)習(xí)過(guò)程、學(xué)習(xí)態(tài)度、學(xué)習(xí)效果等密切相關(guān)的數(shù)據(jù)，以全方位地分析評(píng)價(jià)學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)、學(xué)習(xí)投入與行為特征。雖已有研究基于學(xué)習(xí)過(guò)程數(shù)據(jù)進(jìn)行了教學(xué)反思、學(xué)習(xí)評(píng)估、素養(yǎng)測(cè)評(píng)等，但鮮有學(xué)者從學(xué)習(xí)過(guò)程視角關(guān)注在線開(kāi)放課程質(zhì)量評(píng)定與優(yōu)化問(wèn)題。

（二）在線開(kāi)放課程質(zhì)量評(píng)價(jià)研究

1999年，《面向21世紀(jì)教育振興行動(dòng)計(jì)劃》出臺(tái)，開(kāi)啟了我國(guó)在線課程建設(shè)之路?；厮菸覈?guó)20多年在線課程理論與實(shí)踐研究，基于專家、學(xué)習(xí)者、平臺(tái)建設(shè)者、課程設(shè)計(jì)與開(kāi)發(fā)者等視角，聚焦于質(zhì)量評(píng)價(jià)指標(biāo)、提升建議、評(píng)價(jià)方法等方面的質(zhì)量評(píng)價(jià)研究頗多。

質(zhì)量評(píng)價(jià)指標(biāo)是優(yōu)化在線開(kāi)放課程、推進(jìn)在線開(kāi)放課程可持續(xù)發(fā)展的研究重點(diǎn)。早在2002年就發(fā)布了CELTS-22，包含課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)和技術(shù)4個(gè)維度，課程說(shuō)明、資源擴(kuò)展、學(xué)習(xí)目標(biāo)等32條具體評(píng)價(jià)指標(biāo)。2007年，國(guó)家精品課程建設(shè)項(xiàng)目啟動(dòng)，從教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)條件、教學(xué)方法與手段、教學(xué)效果、特色政策支持等指標(biāo)對(duì)課程進(jìn)行評(píng)審。國(guó)內(nèi)外學(xué)者就在線開(kāi)放課程質(zhì)量評(píng)定指標(biāo)也開(kāi)展了系列研究。如Bigatel和Edel-Malizia（2018）將包含教學(xué)方法、教學(xué)、學(xué)習(xí)3個(gè)一級(jí)指標(biāo)，學(xué)習(xí)愿景、技術(shù)水平、教師角色、學(xué)生角色、學(xué)習(xí)環(huán)境等9個(gè)二級(jí)指標(biāo)的在線參與式學(xué)習(xí)指標(biāo)框架（IELO）作為評(píng)估課程的指南；楊曉宏等（2019）認(rèn)為課程資源質(zhì)量、課程實(shí)施效果和學(xué)習(xí)平臺(tái)保障是評(píng)估課程質(zhì)量的關(guān)鍵指標(biāo)。

在線開(kāi)放課程質(zhì)量提升與保障研究有利于解決課程低完成率、高輟學(xué)率問(wèn)題。如詹澤慧等（2009）從資源、過(guò)程和人員三個(gè)方面提出了網(wǎng)絡(luò)課程感知質(zhì)量提升策略；王璐等（2017）從保障學(xué)習(xí)支持服務(wù)、增加系統(tǒng)管理和維護(hù)人員、優(yōu)化平臺(tái)程序、提高教學(xué)視頻質(zhì)量、重視教師隊(duì)伍的綜合素質(zhì)、提高學(xué)習(xí)者對(duì)教學(xué)內(nèi)容有用性的感知、提供高質(zhì)量輔助性資料等方面提出了質(zhì)量保障策略；李運(yùn)福等（2022）關(guān)注價(jià)值主體需求，提出了增強(qiáng)課程移情性和響應(yīng)性設(shè)計(jì)、優(yōu)化學(xué)習(xí)支持服務(wù)模型、強(qiáng)化課程有形性設(shè)計(jì)等課程動(dòng)態(tài)優(yōu)化方案。

常見(jiàn)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)方法主要有調(diào)查法與訪談法（楊曉宏 等， 2019）、文獻(xiàn)歸納法（李青 & 劉娜， 2015）、德?tīng)柗品ǎǘG 等， 2003）、扎根理論（王璐 等， 2017）、內(nèi)容分析法（謝幼如 等， 2003）、專家咨詢法與層析分析法（童小素 & 賈小軍， 2017），不少學(xué)者采用多種方法評(píng)估在線開(kāi)放課程質(zhì)量?？梢?jiàn)，在線開(kāi)放課程質(zhì)量評(píng)定受到研究者廣泛關(guān)注。但已有在線開(kāi)放課程質(zhì)量分析與評(píng)價(jià)研究對(duì)學(xué)習(xí)者真實(shí)使用課程的體驗(yàn)與感受關(guān)注較少，未將學(xué)習(xí)者的認(rèn)知發(fā)展、行為表現(xiàn)、情感態(tài)度三者同時(shí)納入在線開(kāi)放課程質(zhì)量評(píng)價(jià)因素。

三、質(zhì)量評(píng)價(jià)框架構(gòu)建

（一）構(gòu)建思路

本研究主要參考了用戶體驗(yàn)與證據(jù)中心設(shè)計(jì)理論，運(yùn)用文獻(xiàn)調(diào)研法確定了在線開(kāi)放課程質(zhì)量評(píng)價(jià)維度、學(xué)習(xí)過(guò)程數(shù)據(jù)運(yùn)行環(huán)節(jié)，設(shè)計(jì)了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架與指標(biāo)體系?；趯?duì)在線學(xué)習(xí)過(guò)程性評(píng)價(jià)理論與實(shí)踐研究的分析（上超望 等， 2018），本研究構(gòu)建的框架包含了設(shè)計(jì)評(píng)價(jià)關(guān)鍵環(huán)節(jié)和確定質(zhì)量評(píng)價(jià)維度兩個(gè)重點(diǎn)。

1. 設(shè)計(jì)評(píng)價(jià)關(guān)鍵環(huán)節(jié)

在線開(kāi)放課程質(zhì)量評(píng)價(jià)與反饋能夠在課程與學(xué)習(xí)者之間形成良性循環(huán)，以提升課程質(zhì)量，并促進(jìn)學(xué)習(xí)者未來(lái)更好地發(fā)展。結(jié)合在線學(xué)習(xí)過(guò)程數(shù)據(jù)分析相關(guān)研究，過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)關(guān)注學(xué)習(xí)體驗(yàn)，包含數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)映射、數(shù)據(jù)分析、結(jié)果輸出、質(zhì)量計(jì)算、優(yōu)化策略七個(gè)環(huán)節(jié)。在線開(kāi)放課程質(zhì)量評(píng)價(jià)關(guān)鍵環(huán)節(jié)也可視為學(xué)習(xí)過(guò)程數(shù)據(jù)運(yùn)行環(huán)節(jié)，各環(huán)節(jié)密不可分、相輔相成，共同形成課程質(zhì)量評(píng)價(jià)閉環(huán)（如圖1所示）。

2. 確定質(zhì)量評(píng)價(jià)維度

在線學(xué)習(xí)投入度測(cè)評(píng)、有效學(xué)習(xí)評(píng)估以及學(xué)習(xí)過(guò)程性評(píng)價(jià)等指標(biāo)體系研究為本研究構(gòu)建過(guò)程數(shù)據(jù)驅(qū)動(dòng)的課程質(zhì)量評(píng)價(jià)框架提供了參考。行為投入、認(rèn)知投入和情感投入是當(dāng)前獲得學(xué)術(shù)界普遍認(rèn)可的學(xué)習(xí)投入結(jié)構(gòu)。如弗雷德里克斯（Fredricks， J. A.）等（Fredricks et al.， 2004）以及傅鋼善和佟海靜（2016）借鑒布魯姆學(xué)習(xí)理論，認(rèn)為在線學(xué)習(xí)過(guò)程包括認(rèn)知參與、情感參與和行為參與；李爽等（2018）從認(rèn)知、行為和情感三個(gè)維度構(gòu)建遠(yuǎn)程學(xué)習(xí)投入測(cè)評(píng)量表，認(rèn)為認(rèn)知投入是影響學(xué)習(xí)最關(guān)鍵的因素，其次是行為投入與情感投入；王勇宏（2020）認(rèn)為在線學(xué)習(xí)行為投入可用平臺(tái)登錄次數(shù)、學(xué)習(xí)時(shí)長(zhǎng)、資源訪問(wèn)次數(shù)、作業(yè)完成次數(shù)與質(zhì)量、測(cè)試完成次數(shù)與質(zhì)量、交互次數(shù)與質(zhì)量等數(shù)據(jù)量化表征。

綜上，本研究認(rèn)為以數(shù)據(jù)為導(dǎo)向，關(guān)注在線開(kāi)放課程的實(shí)際使用狀況，將認(rèn)知、行為、情感三個(gè)評(píng)價(jià)維度與可采集的單元測(cè)試得分、單元作業(yè)得分、期末考試得分、視頻學(xué)習(xí)人數(shù)、課程論壇參與度、作業(yè)完成質(zhì)量、課程評(píng)價(jià)情感極性等多模態(tài)在線學(xué)習(xí)過(guò)程數(shù)據(jù)進(jìn)行“一對(duì)一”或“一對(duì)多”映射，以此評(píng)價(jià)在線開(kāi)放課程質(zhì)量，具有一定的可行性和前瞻性。

在確定評(píng)價(jià)維度和可獲取的過(guò)程數(shù)據(jù)后，初步擬定了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架與指標(biāo)體系。為保證評(píng)價(jià)指標(biāo)的科學(xué)性，本研究采用專家訪談法，通過(guò)電子郵件函詢和面對(duì)面訪談等形式對(duì)5位專家（包括4位高校教授和1位博士）就指標(biāo)的合理性與可操作性進(jìn)行了訪談，從訪談文本中提取了專家核心觀點(diǎn)，如“認(rèn)知、行為、情感三個(gè)維度能夠完整地用于評(píng)價(jià)在線開(kāi)放課程質(zhì)量，但認(rèn)知是一種復(fù)雜的意識(shí)活動(dòng)，在構(gòu)建指標(biāo)體系時(shí)，為與學(xué)習(xí)過(guò)程數(shù)據(jù)對(duì)應(yīng)，可考慮改為‘學(xué)業(yè)成就水平’”“建議將認(rèn)知、行為和情感具體化、詳細(xì)化，可將指標(biāo)體系改為‘學(xué)業(yè)成績(jī)、行為表現(xiàn)、情感態(tài)度’，以便與二級(jí)指標(biāo)和學(xué)習(xí)過(guò)程數(shù)據(jù)相關(guān)聯(lián)”。通過(guò)理解分析，本研究合理采納了相關(guān)觀點(diǎn)，最終將過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)的一級(jí)指標(biāo)確定為學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)和學(xué)習(xí)情感態(tài)度。

（二）評(píng)價(jià)框架

在吸納相關(guān)文獻(xiàn)調(diào)研內(nèi)容、借鑒用戶體驗(yàn)和證據(jù)中心設(shè)計(jì)理論主要觀點(diǎn)的基礎(chǔ)上，本研究采用封閉式循環(huán)的架構(gòu)組織過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架。該框架包含學(xué)習(xí)過(guò)程數(shù)據(jù)采集、學(xué)習(xí)過(guò)程數(shù)據(jù)映射、學(xué)習(xí)過(guò)程數(shù)據(jù)分析、在線開(kāi)放課程質(zhì)量等級(jí)評(píng)價(jià)四個(gè)流程，以及數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)映射等七個(gè)在線開(kāi)放課程質(zhì)量評(píng)價(jià)關(guān)鍵環(huán)節(jié)（如圖2所示）。四個(gè)流程相互貫通、缺一不可，構(gòu)成過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)的有機(jī)整體；七個(gè)過(guò)程數(shù)據(jù)運(yùn)行環(huán)節(jié)相互依存、環(huán)環(huán)相扣，系統(tǒng)展現(xiàn)了課程質(zhì)量評(píng)價(jià)的數(shù)據(jù)處理與分析過(guò)程。

1. 學(xué)習(xí)過(guò)程數(shù)據(jù)采集

多模態(tài)學(xué)習(xí)過(guò)程數(shù)據(jù)是基于循證理念評(píng)價(jià)在線開(kāi)放課程質(zhì)量的基礎(chǔ)與核心。課程管理后臺(tái)完整記錄了學(xué)習(xí)者學(xué)習(xí)課程過(guò)程中產(chǎn)生的視頻瀏覽次數(shù)與時(shí)長(zhǎng)、文檔閱讀次數(shù)與時(shí)長(zhǎng)、發(fā)帖數(shù)與回復(fù)數(shù)、單元測(cè)試成績(jī)、單元作業(yè)成績(jī)、課程評(píng)語(yǔ)、期末考試得分等多維數(shù)據(jù)，這些數(shù)據(jù)是學(xué)習(xí)者“使用”與“體驗(yàn)”在線開(kāi)放課程的“證據(jù)”。學(xué)習(xí)過(guò)程數(shù)據(jù)采集主要采用網(wǎng)絡(luò)爬蟲(chóng)、日志分析等技術(shù)獲取在線開(kāi)放課程管理平臺(tái)數(shù)據(jù)（邢蓓蓓 等，2016）。需要注意的是，運(yùn)用網(wǎng)絡(luò)爬蟲(chóng)等自動(dòng)化數(shù)據(jù)收集技術(shù)采集非結(jié)構(gòu)化數(shù)據(jù)，需要提前做好采集規(guī)劃，明確采集目的，制定好數(shù)據(jù)采集類型、采集粒度、采集量等計(jì)劃，采集過(guò)程中還需要注意數(shù)據(jù)隱私保護(hù)，不得惡意抓取侵害他人利益的數(shù)據(jù)，不得影響或妨礙網(wǎng)站正常運(yùn)行。

2. 學(xué)習(xí)過(guò)程數(shù)據(jù)映射

學(xué)習(xí)過(guò)程數(shù)據(jù)映射是指將所采集的數(shù)據(jù)與在線開(kāi)放課程質(zhì)量評(píng)價(jià)維度關(guān)聯(lián)起來(lái)，形成相互對(duì)應(yīng)的關(guān)系。本研究中三個(gè)評(píng)價(jià)維度與過(guò)程數(shù)據(jù)存在“一對(duì)一”或者“一對(duì)多”的映射關(guān)系。如在認(rèn)知維度，主要通過(guò)單元測(cè)試成績(jī)、單元作業(yè)成績(jī)、期末考試成績(jī)等過(guò)程數(shù)據(jù)了解學(xué)習(xí)者的學(xué)業(yè)成就水平；在行為維度，主要通過(guò)視頻瀏覽次數(shù)、文檔閱讀次數(shù)、單元作業(yè)完成次數(shù)、課堂論壇發(fā)帖數(shù)量等過(guò)程數(shù)據(jù)了解學(xué)習(xí)者的學(xué)習(xí)行為表現(xiàn)；在情感維度，主要通過(guò)課程評(píng)語(yǔ)了解學(xué)習(xí)者的學(xué)習(xí)情感態(tài)度。

3. 學(xué)習(xí)過(guò)程數(shù)據(jù)分析

學(xué)習(xí)過(guò)程數(shù)據(jù)分析主要通過(guò)運(yùn)用Python、Excel等工具，采用內(nèi)容分析、描述性統(tǒng)計(jì)分析、文本情感分析等方法進(jìn)行定量與定性分析，并將分析結(jié)果輸出。對(duì)于評(píng)語(yǔ)等非結(jié)構(gòu)化數(shù)據(jù)，主要運(yùn)用Python、UCINET等軟件總結(jié)歸納評(píng)論熱點(diǎn)話題、計(jì)算評(píng)語(yǔ)情感值（周德青 等， 2021）；對(duì)于視頻、文檔以及討論區(qū)交流互動(dòng)等結(jié)構(gòu)化數(shù)據(jù)，主要運(yùn)用Excel計(jì)算出視頻資源利用率、文檔資源利用率、隨堂討論資源利用率、測(cè)試參與度、作業(yè)參與度、隨堂討論參與度等。

4. 課程質(zhì)量等級(jí)評(píng)價(jià)

過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量等級(jí)評(píng)價(jià)是在學(xué)習(xí)過(guò)程數(shù)據(jù)分析結(jié)果的基礎(chǔ)上，設(shè)計(jì)了學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)以及學(xué)習(xí)情感態(tài)度各指標(biāo)的計(jì)算公式，計(jì)算出課程質(zhì)量的得分，并根據(jù)得分確定課程等級(jí)（優(yōu)秀、良好、合格、不合格）。在計(jì)算“學(xué)習(xí)情感態(tài)度”等非結(jié)構(gòu)數(shù)據(jù)時(shí)，需通過(guò)Python進(jìn)行自然語(yǔ)言處理分析，借助文本情感分析的函數(shù)、包與庫(kù)等，算出每句評(píng)語(yǔ)的情感值，再根據(jù)評(píng)語(yǔ)條數(shù)，算出課程評(píng)價(jià)的情感均值。

四、指標(biāo)體系與計(jì)算方法設(shè)計(jì)

在線開(kāi)放課程質(zhì)量計(jì)算是在過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架基礎(chǔ)上，設(shè)計(jì)過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系，并運(yùn)用層次分析法對(duì)指標(biāo)體系進(jìn)行賦權(quán)，再推理設(shè)計(jì)各級(jí)指標(biāo)的計(jì)算公式，最后結(jié)合過(guò)程數(shù)據(jù)計(jì)算課程質(zhì)量分值，判斷課程質(zhì)量等級(jí)。

（一）指標(biāo)體系初步設(shè)計(jì)

首先，通過(guò)梳理學(xué)習(xí)過(guò)程性評(píng)價(jià)、在線學(xué)習(xí)投入度測(cè)評(píng)、在線開(kāi)放課程質(zhì)量等國(guó)內(nèi)外評(píng)價(jià)指標(biāo)體系后，初步設(shè)計(jì)了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系（如表1所示）。學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)和學(xué)習(xí)情感態(tài)度三者構(gòu)成了既相對(duì)獨(dú)立又相互作用的課程質(zhì)量評(píng)價(jià)的有機(jī)整體，以期通過(guò)學(xué)習(xí)者學(xué)習(xí)課程的實(shí)際情況全面、系統(tǒng)地評(píng)判在線開(kāi)放課程的質(zhì)量層次。本研究將學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)和學(xué)習(xí)情感態(tài)度三個(gè)一級(jí)指標(biāo)進(jìn)行細(xì)化，設(shè)計(jì)了課程學(xué)習(xí)效果（Course Learning Effect， LE）、資源利用情況（Resource Utilization， RU）、學(xué)習(xí)積極性（Learning Positivity， LP）、學(xué)習(xí)專注度（Learning Concentration， LC）和學(xué)習(xí)情感傾向（Emotional Orientation， EO）五個(gè)二級(jí)指標(biāo)，再結(jié)合中國(guó)大學(xué)慕課MOOC平臺(tái)的學(xué)習(xí)者學(xué)習(xí)過(guò)程數(shù)據(jù)，將二級(jí)指標(biāo)量化，形成三級(jí)指標(biāo)。

1. 學(xué)業(yè)成就水平

在線學(xué)習(xí)者體驗(yàn)、學(xué)習(xí)、理解、領(lǐng)悟、反思課程的動(dòng)態(tài)過(guò)程將通過(guò)學(xué)生的學(xué)業(yè)成就水平高低呈現(xiàn)出來(lái)。在線學(xué)業(yè)成績(jī)受到學(xué)習(xí)者學(xué)習(xí)特征、個(gè)人學(xué)習(xí)情緒、網(wǎng)絡(luò)環(huán)境優(yōu)劣、平臺(tái)流暢度等影響，可運(yùn)用學(xué)習(xí)向量化方法實(shí)現(xiàn)在線學(xué)習(xí)過(guò)程數(shù)據(jù)融合與分類（郎波 & 樊一娜， 2019），并用作業(yè)成績(jī)、測(cè)試成績(jī)等過(guò)程數(shù)據(jù)表征課程學(xué)習(xí)效果，進(jìn)而反映學(xué)習(xí)者的學(xué)業(yè)成就水平。本研究認(rèn)為學(xué)業(yè)成就水平主要通過(guò)課程學(xué)習(xí)效果體現(xiàn)，其關(guān)聯(lián)量化指標(biāo)（過(guò)程數(shù)據(jù)）為單元測(cè)試得分、單元作業(yè)得分和期末考試得分。

2. 學(xué)習(xí)行為表現(xiàn)

在線開(kāi)放課程中學(xué)習(xí)者的學(xué)習(xí)行為與活動(dòng)構(gòu)成了學(xué)習(xí)者畫(huà)像，反映了學(xué)習(xí)者的在線學(xué)習(xí)軌跡。一門優(yōu)質(zhì)的在線開(kāi)放課程會(huì)引起學(xué)習(xí)者興趣，調(diào)動(dòng)學(xué)習(xí)者學(xué)習(xí)的積極性，其課程的視頻瀏覽量高、文檔閱讀量高、課程論壇參與者多，課程討論區(qū)的會(huì)話能形成多主題、多主體的豐富社會(huì)網(wǎng)絡(luò)關(guān)系圖。本研究認(rèn)為學(xué)習(xí)行為表現(xiàn)主要通過(guò)資源利用情況、學(xué)習(xí)積極性和學(xué)習(xí)專注度三者體現(xiàn)，其對(duì)應(yīng)的學(xué)習(xí)過(guò)程數(shù)據(jù)有視頻學(xué)習(xí)人數(shù)、文檔學(xué)習(xí)人數(shù)、論壇發(fā)帖數(shù)量、課程論壇參與度等。

3. 學(xué)習(xí)情感態(tài)度

在線開(kāi)放課程中學(xué)習(xí)者的情感參與可視為學(xué)習(xí)者在參與教與學(xué)活動(dòng)中所產(chǎn)生的態(tài)度、興趣與快樂(lè)（Patrick et al.， 1993）。課程學(xué)習(xí)過(guò)程中學(xué)習(xí)者的心理感受對(duì)其學(xué)習(xí)行為具有很大影響，學(xué)習(xí)者自身對(duì)課程的情緒將直接影響學(xué)習(xí)者學(xué)習(xí)課程的時(shí)長(zhǎng)、討論交流的次數(shù)與質(zhì)量、作業(yè)與測(cè)試的完成度以及是否做筆記等，從而反映出學(xué)習(xí)者的學(xué)習(xí)積極性和專注度。積極向上的學(xué)習(xí)情感能為學(xué)習(xí)者在線學(xué)習(xí)提供滿足感、快樂(lè)感和自我成就感，而消極抑郁的學(xué)習(xí)情感將導(dǎo)致學(xué)習(xí)者產(chǎn)生懈怠、焦慮和困惑，學(xué)習(xí)效果也將大打折扣。本研究認(rèn)為學(xué)習(xí)情感態(tài)度主要通過(guò)學(xué)習(xí)情感傾向體現(xiàn)，其關(guān)聯(lián)量化指標(biāo)為課程評(píng)價(jià)情感極性。

（二）指標(biāo)體系權(quán)重的確定

本研究采用層次分析法，運(yùn)用Yaahp軟件計(jì)算各級(jí)指標(biāo)權(quán)重，對(duì)過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)的三個(gè)一級(jí)指標(biāo)、五個(gè)二級(jí)指標(biāo)以及各二級(jí)指標(biāo)的關(guān)聯(lián)量化指標(biāo)進(jìn)行權(quán)重賦值。

1. 主要流程

指標(biāo)體系權(quán)重的確定主要采用層析分析法，包含初擬評(píng)價(jià)指標(biāo)體系、選擇專家、設(shè)計(jì)函詢問(wèn)卷、發(fā)放與回收專家咨詢問(wèn)卷、分析問(wèn)卷數(shù)據(jù)以及確定評(píng)價(jià)指標(biāo)權(quán)重六個(gè)步驟。

2. 專家選擇

本研究共邀請(qǐng)了13位在線開(kāi)放課程質(zhì)量、教育大數(shù)據(jù)與學(xué)習(xí)分析等相關(guān)領(lǐng)域的研究專家（包括11位教授、1位副教授和1位博士后），這些專家對(duì)在線開(kāi)放課程質(zhì)量評(píng)價(jià)均有較深刻的理解與研究經(jīng)驗(yàn)，既能保證過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)理論研究的專業(yè)性，又能確保本研究實(shí)踐意義的科學(xué)性和合理性。并且，咨詢多位專家意見(jiàn)既能避免專家由于研究經(jīng)歷、研究重點(diǎn)、研究背景等不同造成的相互影響，又能搭建起專家之間匿名溝通的橋梁。

3. 問(wèn)卷設(shè)計(jì)

根據(jù)在線開(kāi)放課程的特點(diǎn)，結(jié)合具體研究?jī)?nèi)容，本研究通過(guò)思考問(wèn)卷編寫(xiě)目的、內(nèi)容審核、專家意見(jiàn)咨詢、問(wèn)卷填寫(xiě)統(tǒng)計(jì)分析等流程，編寫(xiě)了《過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)權(quán)重設(shè)計(jì)專家咨詢問(wèn)卷》。問(wèn)卷包含兩個(gè)部分：第一部分是專家基本情況調(diào)查，主要考量專家對(duì)所咨詢內(nèi)容的研究深度與熟悉程度；第二部分包含指標(biāo)構(gòu)建說(shuō)明與專家評(píng)審表。專家評(píng)審表給出了Saaty相對(duì)重要性等級(jí)表（1～9標(biāo)度），專家根據(jù)等級(jí)表對(duì)一二三級(jí)指標(biāo)進(jìn)行打分。其中，需要專家填寫(xiě)的表共有6個(gè)：一級(jí)指標(biāo)重要程度對(duì)比矩陣、“學(xué)習(xí)行為表現(xiàn)”二級(jí)指標(biāo)重要程度對(duì)比矩陣、“課程學(xué)習(xí)效果”關(guān)聯(lián)量化指標(biāo)重要程度對(duì)比矩陣、“資源利用情況”關(guān)聯(lián)量化指標(biāo)重要程度對(duì)比矩陣、“學(xué)習(xí)積極性”關(guān)聯(lián)量化指標(biāo)重要程度對(duì)比矩陣，以及“學(xué)習(xí)專注度”關(guān)聯(lián)量化指標(biāo)重要程度對(duì)比矩陣。

4. 結(jié)果分析

本次調(diào)研進(jìn)行了一輪意見(jiàn)征詢，發(fā)出專家咨詢問(wèn)卷13份，回收有效問(wèn)卷13份，回收率達(dá)100%。問(wèn)卷分析結(jié)果分為兩部分。一部分是專家基本情況。統(tǒng)計(jì)發(fā)現(xiàn)，5位專家對(duì)所咨詢內(nèi)容的領(lǐng)域非常熟悉，4位專家對(duì)研究?jī)?nèi)容很熟悉，4位專家對(duì)所咨詢內(nèi)容的領(lǐng)域表示熟悉?？梢?jiàn)，過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系及本問(wèn)卷的設(shè)計(jì)具有一定的專業(yè)性，問(wèn)卷咨詢結(jié)果的可靠性和可信度較高。另一部分是專家對(duì)各級(jí)指標(biāo)權(quán)重打分的結(jié)果分析。在Yaahp軟件中算出學(xué)業(yè)成就水平的重要性均值為0.4472，學(xué)習(xí)行為表現(xiàn)的重要性均值為0.3646，學(xué)習(xí)情感態(tài)度的重要性均值為0.1881?？梢?jiàn)學(xué)業(yè)成就水平對(duì)評(píng)價(jià)在線開(kāi)放課程質(zhì)量占有較大比重，學(xué)習(xí)行為表現(xiàn)的重要性也凸顯了出來(lái)。為確定各級(jí)指標(biāo)權(quán)重，結(jié)合相關(guān)文獻(xiàn)研究，進(jìn)一步開(kāi)展專家咨詢，經(jīng)適當(dāng)調(diào)整，最終確定學(xué)業(yè)成就水平重要性均值為0.45、學(xué)習(xí)行為體現(xiàn)的重要性均值為0.35、學(xué)習(xí)情感態(tài)度的重要性均值為0.20，并依次確定了二、三級(jí)指標(biāo)的重要性均值。

（三）二級(jí)指標(biāo)計(jì)算公式

結(jié)合賦權(quán)后的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)結(jié)果，過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量QC={學(xué)業(yè)成就水平，學(xué)習(xí)行為表現(xiàn)，學(xué)習(xí)情感態(tài)度}={課程學(xué)習(xí)效果，資源利用情況，學(xué)習(xí)積極性，學(xué)習(xí)專注度，學(xué)習(xí)情感傾向}，即QC可用{LE，RU，LP，LC，EO}元組表示。

課程學(xué)習(xí)效果由學(xué)習(xí)人數(shù)n、單元測(cè)試總得分ut、單元作業(yè)總得分uw、期末考試總得分fe所決定，計(jì)算公式見(jiàn)（1）。式中為將課程滿分控制為1分，乘以0.01。資源利用情況與學(xué)習(xí)積極性計(jì)算公式與[LE]類似。

學(xué)習(xí)專注度與論壇發(fā)帖質(zhì)量FI、單元測(cè)試完成質(zhì)量TQ、單元作業(yè)完成質(zhì)量HQ有關(guān)，學(xué)習(xí)專注度LC的計(jì)算公式見(jiàn)（2）。

LC=0.03×FI+0.04×TQ+0.06×HQ （2）

學(xué)習(xí)情感傾向主要通過(guò)課程評(píng)價(jià)情感極性體現(xiàn)。本研究運(yùn)用Jupyter Notebook分析軟件，結(jié)合SnowNLP庫(kù)計(jì)算課程評(píng)語(yǔ)的情感分值，將情感極性分為消極、中性、積極三個(gè)等級(jí)，即EO={E1，E2，E3，E4，E5}，其中E1和E2表示消極情緒，E3表示中性情緒，E4和E5表示積極情緒，計(jì)算公式如（3）。

五、評(píng)價(jià)框架與指標(biāo)體系應(yīng)用

（一）評(píng)價(jià)對(duì)象

本研究選擇的評(píng)價(jià)對(duì)象為中國(guó)大學(xué)MOOC平臺(tái)上江蘇師范大學(xué)楊現(xiàn)民教授主持開(kāi)設(shè)的“中小學(xué)教師數(shù)據(jù)素養(yǎng)”在線開(kāi)放課程（簡(jiǎn)稱“案例課程”）。案例課程以教師數(shù)據(jù)素養(yǎng)模型為依據(jù)（劉雅馨 等， 2018），設(shè)計(jì)了六個(gè)專題的課程內(nèi)容，經(jīng)SPOC試點(diǎn)后，于2019年9月在中國(guó)大學(xué)MOOC平臺(tái)正式面向全球?qū)W習(xí)者推出。本研究以案例課程第二期學(xué)習(xí)過(guò)程數(shù)據(jù)作為在線開(kāi)放課程質(zhì)量的評(píng)價(jià)數(shù)據(jù)。案例課程第二期于2020年2月15日開(kāi)課，2020年5月15日結(jié)課，選課總?cè)藬?shù)為13，380人，其中有10，012位學(xué)習(xí)者在中國(guó)大學(xué)MOOC平臺(tái)上生成了學(xué)習(xí)過(guò)程數(shù)據(jù)（測(cè)試、作業(yè)、考試、課程評(píng)語(yǔ)、課堂交流帖子等），將這10，012位學(xué)習(xí)者視為本期課程的有效學(xué)習(xí)者，并以有效學(xué)習(xí)者所產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)作為數(shù)據(jù)源。

（二）數(shù)據(jù)采集與預(yù)處理

學(xué)業(yè)成就水平方面主要采集了第二期10，012位學(xué)習(xí)者5次單元測(cè)試得分、5次單元作業(yè)得分以及期末考試得分。資源利用情況方面采集了53個(gè)視頻的瀏覽人數(shù)、29個(gè)文檔的閱讀人數(shù)、19個(gè)隨堂討論的發(fā)帖數(shù)量。學(xué)習(xí)積極性方面采集了5次測(cè)試的答題人數(shù)和5次作業(yè)的完成人數(shù)。學(xué)習(xí)專注度主要通過(guò)每位學(xué)習(xí)者的論壇成績(jī)、作業(yè)得分成績(jī)、測(cè)試得分成績(jī)來(lái)判斷。學(xué)習(xí)情感傾向主要通過(guò)爬取第二期課程評(píng)價(jià)文本，計(jì)算情感得分實(shí)現(xiàn)。

結(jié)構(gòu)化數(shù)據(jù)預(yù)處理主要包含3個(gè)步驟：1）確定數(shù)據(jù)采集無(wú)重復(fù)、無(wú)效數(shù)據(jù)；2）將測(cè)試、作業(yè)、期末考試、論壇等成績(jī)得分為“null值”的數(shù)據(jù)改為“0”；3）修改數(shù)據(jù)格式，采集的測(cè)試、作業(yè)、期末考試等數(shù)據(jù)都是“常規(guī)”或“文本”格式，無(wú)法運(yùn)算，需轉(zhuǎn)換為“數(shù)值”格式。在轉(zhuǎn)換格式時(shí)，由于采集到的數(shù)據(jù)格式不一、屬性不定，需要注意有效學(xué)習(xí)者的數(shù)據(jù)是否全部進(jìn)行了格式轉(zhuǎn)換。課程評(píng)語(yǔ)采集后可直接生成.xls或.csv文件，通過(guò)以下步驟清洗數(shù)據(jù)：1）篩選出課程第二期的評(píng)語(yǔ)；2）去除與評(píng)價(jià)課程無(wú)關(guān)、表述不清的內(nèi)容，如“123”“badhgjk”等；3）刪除無(wú)法反映實(shí)際語(yǔ)義信息的內(nèi)容，如“***”“%￥%……”等；4）清除復(fù)制或轉(zhuǎn)發(fā)的資料文本（周德青 等， 2021）。清洗數(shù)據(jù)后得到的表格可直接進(jìn)行情感值計(jì)算。

（三）數(shù)據(jù)分析與質(zhì)量計(jì)算

學(xué)業(yè)成就水平層面，有效學(xué)習(xí)者測(cè)試人均分?jǐn)?shù)為88.99（滿分100），作業(yè)人均分?jǐn)?shù)為73.17，期末考試人均得分為79.45，根據(jù)計(jì)算公式，課程學(xué)習(xí)效果LE=（0.1×88.99+0.1×73.17+0.25×79.45）×0.01，最終課程學(xué)習(xí)效果的得分為0.36。

對(duì)于其他指標(biāo)，以資源利用情況為例說(shuō)明計(jì)算過(guò)程，平均每個(gè)視頻學(xué)習(xí)人數(shù)為8，598.21，平均每位學(xué)習(xí)者看了45.52個(gè)視頻，視頻資源利用率為85.88%。同樣得出文檔資源利用率為74.56%，隨堂討論資源利用率為69.63%，則RU=（0.04×85.88+0.02×74.56+0.04×69.63）×0.01，資源利用情況得分為0.08。另外計(jì)算可得，學(xué)習(xí)積極性得分為0.09，學(xué)習(xí)專注度得分為0.10，學(xué)習(xí)情感傾向得分為0.19。

綜上，結(jié)合學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)以及學(xué)習(xí)情感態(tài)度三個(gè)維度的分值，基于學(xué)習(xí)過(guò)程數(shù)據(jù)的在線開(kāi)放課程質(zhì)量QC=0.36+0.08+0.09+0.10+0.19，計(jì)算得分為0.82，則案例課程第二期所處的質(zhì)量等級(jí)為“良好”。

（四）課程質(zhì)量?jī)?yōu)化策略

本研究立足在線開(kāi)放課程“使用”情況，基于在線學(xué)習(xí)者真實(shí)學(xué)習(xí)體驗(yàn)，應(yīng)用了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架與指標(biāo)體系，驗(yàn)證了評(píng)價(jià)框架與指標(biāo)體系的科學(xué)性與可操作性，并發(fā)現(xiàn)了課程運(yùn)行中存在的實(shí)際問(wèn)題。基于此，本研究參考在線開(kāi)放課程質(zhì)量?jī)?yōu)化相關(guān)研究，基于學(xué)習(xí)過(guò)程數(shù)據(jù)分析結(jié)果，從課程內(nèi)容、學(xué)習(xí)過(guò)程、課程平臺(tái)環(huán)境和學(xué)習(xí)支持服務(wù)四個(gè)方面提出在線開(kāi)放課程質(zhì)量的優(yōu)化策略。

1. 課程內(nèi)容

課程內(nèi)容是評(píng)價(jià)課程質(zhì)量核心要素之一。分析發(fā)現(xiàn)：1）單元測(cè)試的平均分大于單元作業(yè)的平均分。這可能與單元測(cè)試難度較低、測(cè)試作答提醒服務(wù)較多、單元測(cè)試與課程內(nèi)容貼合度更高等原因相關(guān)。建議及時(shí)更新測(cè)試和作業(yè)內(nèi)容，并聯(lián)通兩者之間所考察的知識(shí)點(diǎn)，以鞏固和提高所學(xué)知識(shí)的。2）視頻2、3的學(xué)習(xí)人數(shù)最少。若該知識(shí)掌握人數(shù)較多，建議換成文檔的形式呈現(xiàn)，視頻作為比作業(yè)權(quán)重更好的課程資源，可選擇更重要的內(nèi)容加以放置。3）作業(yè)3、4完成率不高，且學(xué)生作業(yè)3、4的平均得分比1、2都低，建議更換或優(yōu)化作業(yè)3、4，設(shè)計(jì)更符合學(xué)生學(xué)情、調(diào)動(dòng)學(xué)習(xí)積極性、促進(jìn)深度學(xué)習(xí)的作業(yè)。

2. 學(xué)習(xí)過(guò)程

維持學(xué)習(xí)過(guò)程中的學(xué)習(xí)積極性與專注度有利于提高課程完成率，降低輟學(xué)率。分析發(fā)現(xiàn)：1）通過(guò)分析視頻、文檔、隨堂討論參與人數(shù)隨課程運(yùn)營(yíng)時(shí)間，整體均呈現(xiàn)緩慢下降趨勢(shì)，學(xué)習(xí)者可能產(chǎn)生了懈怠，建議在學(xué)習(xí)過(guò)程中融入一些“游戲化因素”，調(diào)動(dòng)學(xué)生學(xué)習(xí)興趣，激發(fā)學(xué)生的興奮感與參與度（Mat & Zin， 2021）；2）隨堂討論參與度不高，但越來(lái)越多的專家開(kāi)始關(guān)注學(xué)習(xí)交流與師生交互對(duì)在線開(kāi)放課程質(zhì)量的影響，建議采用一定的手段提高討論交流的積極性，如每月評(píng)選出前10名踴躍發(fā)言者，給予表?yè)P(yáng)和證書(shū)等。

3. 課程平臺(tái)環(huán)境

安全穩(wěn)定的課程平臺(tái)環(huán)境是提高學(xué)習(xí)參與度的基本條件。案例課程的開(kāi)課日期正處于新冠疫情時(shí)期，這暴露出了課程平臺(tái)容載量有待擴(kuò)展、信息技術(shù)保障不足等問(wèn)題。建議加強(qiáng)教育信息化頂層設(shè)計(jì)，優(yōu)化基礎(chǔ)硬件條件和網(wǎng)絡(luò)基礎(chǔ)設(shè)施。此外，分析發(fā)現(xiàn)，作業(yè)完成率不高，573位學(xué)習(xí)者作業(yè)提交次數(shù)為0，688位學(xué)習(xí)者分?jǐn)?shù)小于10，2534位學(xué)習(xí)者分?jǐn)?shù)低于60。這一現(xiàn)象可能與作業(yè)提交方式有關(guān)，中國(guó)大學(xué)MOOC平臺(tái)上只能通過(guò)電腦端提交作業(yè)，建議研發(fā)手機(jī)、平板等移動(dòng)設(shè)備提交作業(yè)的功能，豐富Windows、iOS等操作系統(tǒng)外提交作業(yè)的方式。

4. 學(xué)習(xí)支持服務(wù)

學(xué)習(xí)支持服務(wù)是保障在線學(xué)習(xí)者有效學(xué)習(xí)和高效學(xué)習(xí)的重要方式。課程開(kāi)展過(guò)程中，課程學(xué)習(xí)支持服務(wù)團(tuán)隊(duì)需要持續(xù)關(guān)注學(xué)習(xí)者求學(xué)意愿與動(dòng)機(jī)，動(dòng)態(tài)干預(yù)與預(yù)警，及時(shí)將“邊緣學(xué)習(xí)者”與“邊緣參與者”拉回。一方面，建議在課程評(píng)分標(biāo)準(zhǔn)中明確說(shuō)明期末考試、測(cè)試、作業(yè)的重要程度，向?qū)W習(xí)者明示課程總得分的參考與依據(jù)；另一方面，建議及時(shí)關(guān)注學(xué)習(xí)者的學(xué)習(xí)情緒、活躍時(shí)間、熱點(diǎn)話題，以便及時(shí)消除學(xué)習(xí)者消極情緒，確保學(xué)習(xí)者高參與度與高專注度，并為學(xué)習(xí)者推送更符合學(xué)習(xí)需求和個(gè)人偏好的課程資源。

六、結(jié)語(yǔ)

大數(shù)據(jù)和人工智能等技術(shù)的蓬勃發(fā)展不斷革新在線課程質(zhì)量評(píng)價(jià)的理念、形態(tài)、方法、框架和指標(biāo)?！笆奈濉睍r(shí)期，高質(zhì)量在線開(kāi)放課程是推進(jìn)教育均衡發(fā)展、實(shí)現(xiàn)教育公平的有力方式。關(guān)注用戶體驗(yàn)、基于證據(jù)開(kāi)展課程質(zhì)量評(píng)價(jià)逐漸成為在線開(kāi)放課程改革與高質(zhì)量建設(shè)的方向，受到政府、組織、學(xué)校等多方關(guān)注。針對(duì)如何運(yùn)用過(guò)程數(shù)據(jù)評(píng)價(jià)在線開(kāi)放課程這一核心議題，本研究以“課程使用”和“數(shù)據(jù)驅(qū)動(dòng)”為切入視角，構(gòu)建了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架，設(shè)計(jì)了過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系與指標(biāo)計(jì)算公式，并以一門在線開(kāi)放課程為對(duì)象進(jìn)行了質(zhì)量評(píng)價(jià)實(shí)踐，驗(yàn)證了評(píng)價(jià)框架、指標(biāo)體系與公式的可行性與可操作性。

本研究仍存在一些不足。一是由于時(shí)間有限，僅以一門教研類MOOC為例，開(kāi)展了一輪評(píng)價(jià)實(shí)踐，評(píng)價(jià)對(duì)象可能具有一定的特殊性；二是在線開(kāi)放課程可采集和可獲取的學(xué)習(xí)過(guò)程數(shù)據(jù)有限，指標(biāo)體系還需進(jìn)一步改進(jìn)和優(yōu)化。未來(lái)，本研究團(tuán)隊(duì)將選擇多門在線開(kāi)放課程的學(xué)習(xí)過(guò)程數(shù)據(jù)對(duì)課程質(zhì)量進(jìn)行多輪評(píng)價(jià)實(shí)踐，增加更多有效評(píng)價(jià)在線開(kāi)放課程質(zhì)量的學(xué)習(xí)過(guò)程數(shù)據(jù)類型，根據(jù)評(píng)價(jià)效果迭代優(yōu)化過(guò)程數(shù)據(jù)驅(qū)動(dòng)的在線開(kāi)放課程質(zhì)量評(píng)價(jià)框架與指標(biāo)體系，為數(shù)據(jù)驅(qū)動(dòng)在線開(kāi)放課程質(zhì)量評(píng)價(jià)提供參考與借鑒。

參考文獻(xiàn)

陳曉慧. （2020）. 建構(gòu)在線教育理論的時(shí)代呼喚. 中國(guó)電化教育 （8），22-26.

崔萌，穆肅，& 黃曉地. （2020）. 基于過(guò)程數(shù)據(jù)及分析的在線學(xué)習(xí)路徑研究：規(guī)律與規(guī)劃. 開(kāi)放教育研究（3），58-70.

董艷，黃榮懷，李曉明，& 申瑞民. （2003）. 《網(wǎng)絡(luò)課程課件質(zhì)量認(rèn)證標(biāo)準(zhǔn)》的研制與修訂. 電化教育研究（6），65-70.

傅鋼善，& 佟海靜. （2016）. 網(wǎng)絡(luò)環(huán)境下有效學(xué)習(xí)評(píng)價(jià)指標(biāo)體系構(gòu)建研究. 電化教育研究（8），23-30.

葛曉春. （2001）. 網(wǎng)絡(luò)時(shí)代的遠(yuǎn)程學(xué)習(xí)模式. 電化教育研究（11），14-17.

何文濤，黃立新，& 王良輝. （2019）. 教學(xué)過(guò)程數(shù)據(jù)驅(qū)動(dòng)下的教學(xué)解釋探究. 中國(guó)電化教育（7），38-45.

江波，高明，陳志翰，& 王小霞. （2018）. 基于行為序列的學(xué)習(xí)過(guò)程分析與學(xué)習(xí)效果預(yù)測(cè). 現(xiàn)代遠(yuǎn)程教育研究（2），103-112.

郎波，& 樊一娜. （2019）. 利用學(xué)習(xí)向量化樣本分類的在線學(xué)習(xí)成績(jī)預(yù)測(cè). 計(jì)算機(jī)系統(tǒng)應(yīng)用（3），215-222.

李美娟，劉紅云，& 張?jiān)伱? （2022）. 計(jì)算心理測(cè)量理論在核心素養(yǎng)測(cè)評(píng)中的應(yīng)用——以合作問(wèn)題解決測(cè)評(píng)為例. 教育研究（3），127-137.

李青，& 劉娜. （2015）. MOOC質(zhì)量保證體系研究. 開(kāi)放教育研究（5），66-73.

李爽，李榮芹，& 喻忱. （2018）. 基于LMS數(shù)據(jù)的遠(yuǎn)程學(xué)習(xí)者學(xué)習(xí)投入評(píng)測(cè)模型. 開(kāi)放教育研究（1），91-102.

李運(yùn)福，周效章，& 楊曉宏. （2022）. 面向主體需求的在線開(kāi)放課程優(yōu)化設(shè)計(jì). 現(xiàn)代教育技術(shù)（1），104-110.

劉革平，黃智興，& 邱玉輝. （2005）. 基于數(shù)據(jù)挖掘的遠(yuǎn)程學(xué)習(xí)過(guò)程評(píng)價(jià)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn). 電化教育研究（7），67-69.

劉雅馨，楊現(xiàn)民，李新，& 田雪松. （2018）. 大數(shù)據(jù)時(shí)代教師數(shù)據(jù)素養(yǎng)模型構(gòu)建. 電化教育研究（2），109-116.

馬志強(qiáng)，& 岳蕓竹. （2020）. 面向即時(shí)數(shù)據(jù)采集與分析的學(xué)習(xí)投入縱向研究——基于經(jīng)驗(yàn)取樣法與交叉滯后分析的綜合應(yīng)用. 電化教育研究（4），71-77.

上超望，韓夢(mèng)，& 劉清堂. （2018）. 大數(shù)據(jù)背景下在線學(xué)習(xí)過(guò)程性評(píng)價(jià)系統(tǒng)設(shè)計(jì)研究. 中國(guó)電化教育（5），90-95.

舒瑩，姜強(qiáng)，& 趙蔚. （2019）. 在線學(xué)習(xí)危機(jī)精準(zhǔn)預(yù)警及干預(yù)：模型與實(shí)證研究. 中國(guó)遠(yuǎn)程教育（8），27-34，58.

童小素，& 賈小軍. （2017）. MOOC質(zhì)量評(píng)價(jià)體系的構(gòu)建探究. 中國(guó)遠(yuǎn)程教育（5），63-71，80.

王娟，& 劉偉. （2022）. 在線課程用戶粘性行為的影響因素研究. 中國(guó)遠(yuǎn)程教育（3），61-67，75.

王璐，趙呈領(lǐng)，& 萬(wàn)力勇. （2017）. 基于扎根理論的在線開(kāi)放課程質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建研究——以國(guó)家精品資源共享課為例. 中國(guó)遠(yuǎn)程教育（11），70-76.

王勇宏. （2020）. 大學(xué)生在線學(xué)習(xí)投入度測(cè)評(píng)指標(biāo)體系構(gòu)建與應(yīng)用研究. 西北師范大學(xué).

魏順平，韓艷輝，& 王麗娜. （2015）. 基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘與分析的在線教學(xué)反思研究. 現(xiàn)代教育技術(shù)（6），89-95.

吳斕，余勝泉，駢揚(yáng)，&劉陽(yáng). （2022）. 面向?qū)W生過(guò)程表現(xiàn)的協(xié)作問(wèn)題解決能力評(píng)估研究. 中國(guó)電化教育（7），87-96.

謝幼如，劉鐵英，高瑞利，& 尹睿. （2003）. 網(wǎng)絡(luò)課程的內(nèi)容分析與評(píng)價(jià)研究. 電化教育研究（11），45-49.

邢蓓蓓，楊現(xiàn)民，& 李勤生. （2016）. 教育大數(shù)據(jù)的來(lái)源與采集技術(shù). 現(xiàn)代教育技術(shù)（8），14-21.

楊豐玉，陳雨安，聶偉，& 鄭巍，樊鑫. （2021）. 基于過(guò)程數(shù)據(jù)的學(xué)習(xí)預(yù)警模型設(shè)計(jì)與功能實(shí)現(xiàn). 現(xiàn)代教育技術(shù)（7），97-104.

楊曉宏，周海軍，周效章，& 郝照. （2019）. 國(guó)內(nèi)在線課程質(zhì)量認(rèn)定研究述評(píng). 電化教育研究（6），50-57.

詹澤慧，徐福蔭，& 梅虎. （2009）. 網(wǎng)絡(luò)課程質(zhì)量評(píng)價(jià)模型：感知維度的研究. 現(xiàn)代教育技術(shù)（3），86-90.

張倍思，陳燁，齊藝，& 董慶興. （2022）. 多源過(guò)程性數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)者綜合評(píng)價(jià)模型研究. 情報(bào)科學(xué)（5），104-110.

張艷霞，孫洪濤，李爽，& 陳麗. （2015）. 數(shù)據(jù)表征學(xué)習(xí)過(guò)程及其應(yīng)用——學(xué)習(xí)分析數(shù)據(jù)集國(guó)際研究綜述. 中國(guó)電化教育（9），85-93.

周德青，楊現(xiàn)民，& 李新. （2021）. 在線開(kāi)放課程的學(xué)習(xí)者評(píng)價(jià)數(shù)據(jù)分析框架研究——以“中小學(xué)教師數(shù)據(jù)素養(yǎng)”在線開(kāi)放課程為例. 現(xiàn)代教育技術(shù)（8），92-101.

Agudo-Peregrina， á. F.， Iglesias-Pradas， S.， Conde-González， M. á.， & Hernández-García， á. （2014）. Can we predict success from log data in VLEs？ Classification of interactions for learning analytics and their relation with performance in VLE-supported F2F and online learning. Computers in Human Behavior， 31（2）， 542-550.

Bigatel， P. M.， & Edel-Malizia， S. （2018）. Using the “Indicators of Engaged Learning Online” framework to evaluate online course quality. Tech Trends Washington DC， 62（1）， 58-70.

Dewan， M.， Murshed， M.， & Lin， F. （2019）. Engagement detection in online learning： A review. Smart Learning Environments， 6（1）， 16-35.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School engagement： Potential of the concept， state of the evidence. Review of Educational Research， 74（1）， 59-109.

Mat， R. C.， & Zin， S. M. （2021）. Gamification approach to enhance students’ engagement in online distance learning （ODL） classes. International Journal of E-Learning and Higher Education， 6， 4-21.

Patrick， B. C.， Skinner， E. A.， & Connell， J. P. （1993）. What motivates children’s behavior and emotion？ Joint effects of perceived control and autonomy in the academic domain. Journal of Personality & Social Psychology， 65（4）， 781-91.

Design of Online Open Courses Quality Assessment Driven by Process Data

Abstract： During the 14th “Five-Year Plan” period， the construction of online open course quality assessment framework and indicators adapted to the background of the times have become important propositions to promote the high-quality development of online education. From the perspective of process， this study was data-oriented and paid attention to the actual use of courses. Firstly， a process data driven framework of online open course quality assessment was constructed. The framework included four processes： learning process data collection， learning process data mapping， learning process data analysis， and evaluation of course quality level， and included seven evaluation elements： data generation， data collection， data mapping， data analysis， result output， quality calculation， and optimization strategy. Then an online open course quality assessment index system was designed based on process data. Finally， taking the “Data Literacy of Primary and Secondary School Teachers” MOOC as an example， the assessment practice was carried out based on the learning process data of the second phase by analyzing the existing problems of the course and putting forward the quality optimization strategy of online open courses.

Keywords： learning process data; online open courses; course quality assessment; assessment framework; assessment index system