在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式構(gòu)建與應(yīng)用研究

【摘 要】

2011年以來(lái)，在美國(guó)頂尖大學(xué)中迅速發(fā)展起來(lái)并廣泛影響世界的MOOCs（大規(guī)模開放在線課程）無(wú)疑給“在線學(xué)習(xí)”樹立了成功應(yīng)用的典范。不同于以往的開放教育資源運(yùn)動(dòng)，MOOCs既有優(yōu)質(zhì)資源的共享，更有學(xué)習(xí)支持服務(wù)的提供。這使開放在線課程提供者面臨一個(gè)嚴(yán)峻問(wèn)題，即日益增長(zhǎng)的學(xué)習(xí)者和有限的師資之間的矛盾。本文嘗試采用技術(shù)方法緩解這一矛盾，以在線學(xué)習(xí)的評(píng)價(jià)問(wèn)題為突破口，從輔導(dǎo)教師視角提出了“基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式”，并選取基于Moodle平臺(tái)開展的純?cè)诰€培訓(xùn)日志數(shù)據(jù)為樣本開展模式應(yīng)用，借鑒已有研究成果構(gòu)建在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，并設(shè)計(jì)了指標(biāo)評(píng)分算法，采用層次分析法確定評(píng)價(jià)指標(biāo)體系權(quán)重，并以新的評(píng)價(jià)指標(biāo)體系，基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘?yàn)槟痴n程學(xué)生自動(dòng)評(píng)分。結(jié)果表明，自動(dòng)計(jì)算得出的成績(jī)與課程輔導(dǎo)教師人工給出的成績(jī)有著較高的一致性，從而驗(yàn)證了在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式的有效性。

【關(guān)鍵詞】 MOOCs；在線學(xué)習(xí)；學(xué)習(xí)分析；自動(dòng)評(píng)價(jià)；層次分析法

【中圖分類號(hào)】 G40-057 【文獻(xiàn)標(biāo)識(shí)碼】 A 【文章編號(hào)】 1009—458x（2015）03—0038—08

引 言

2011年以來(lái)，在美國(guó)頂尖大學(xué)中迅速發(fā)展起來(lái)并廣泛影響世界的MOOCs（大規(guī)模開放在線課程）逐漸發(fā)展成為在線學(xué)習(xí)的成功應(yīng)用典范。MOOCs模式表明，只有當(dāng)教學(xué)各要素（包括課程資源、課堂教學(xué)、師生交流、學(xué)生練習(xí)等）系統(tǒng)、完整呈現(xiàn)，并由輔導(dǎo)教師提供各種學(xué)生支持服務(wù)時(shí)，在線學(xué)習(xí)才表現(xiàn)出一定的效果[1]。不同于以往的開放教育資源運(yùn)動(dòng)，MOOCs既有優(yōu)質(zhì)資源的共享，更有學(xué)習(xí)支持服務(wù)的提供。這就帶來(lái)一個(gè)矛盾，即全世界學(xué)習(xí)者選擇學(xué)習(xí)名校課程的需要與名校有限師資的矛盾。以MOOCs edX為例，它曾經(jīng)開設(shè)的“Circuits and Electronics” （6.002x）課程有155，000名學(xué)生注冊(cè)，教學(xué)團(tuán)隊(duì)僅有12名教師[2]，勢(shì)必要借助各種技術(shù)手段來(lái)自動(dòng)完成一些教學(xué)任務(wù)，如批改作業(yè)、答疑、學(xué)習(xí)提醒、評(píng)價(jià)學(xué)習(xí)成績(jī)等。本文將以在線學(xué)習(xí)的自動(dòng)評(píng)價(jià)模式和方法為對(duì)象展開研究。

在線學(xué)習(xí)情境下，輔導(dǎo)教師雖然不能像在面授教學(xué)中那樣親眼看到每位學(xué)生的學(xué)習(xí)表現(xiàn)，但是學(xué)習(xí)平臺(tái)卻能記下教師不能記下的學(xué)生做出的各種行為，包括登錄平臺(tái)、瀏覽資源、做作業(yè)、參與討論，等等?；谶@些數(shù)據(jù)記錄，輔導(dǎo)教師可以間接了解到每位學(xué)生的學(xué)習(xí)表現(xiàn)，并基于這些表現(xiàn)做出客觀的學(xué)習(xí)評(píng)價(jià)?？梢哉f(shuō)，通過(guò)在線學(xué)習(xí)平臺(tái)對(duì)學(xué)習(xí)過(guò)程的記錄，計(jì)算機(jī)對(duì)學(xué)生的在線學(xué)習(xí)表現(xiàn)做出自動(dòng)評(píng)價(jià)的做法不僅是可能的，而且對(duì)緩解“龐大的學(xué)習(xí)者群體與緊缺的教師資源”之間的矛盾也是必要的。

目前，分析利用教學(xué)與學(xué)習(xí)過(guò)程數(shù)據(jù)，逐漸成為一個(gè)新的研究方向，即“大數(shù)據(jù)與學(xué)習(xí)分析技術(shù)”。學(xué)習(xí)分析在許多方面指的是應(yīng)用于教育領(lǐng)域的“大數(shù)據(jù)”分析[3]。學(xué)習(xí)分析是一個(gè)新興的研究領(lǐng)域，旨在應(yīng)用數(shù)據(jù)分析為教育系統(tǒng)的各級(jí)決策提供參考。對(duì)教育工作者和研究人員而言，學(xué)習(xí)分析在剖析學(xué)生與在線文本、課件之間的互動(dòng)中發(fā)揮著至關(guān)重要的作用。學(xué)生也受益于學(xué)習(xí)分析的成果，通過(guò)開發(fā)用于分析學(xué)生具體數(shù)據(jù)的移動(dòng)軟件和在線平臺(tái)，為學(xué)生提供符合他們學(xué)習(xí)需求的支持服務(wù)系統(tǒng)。

從已有在線學(xué)習(xí)分析研究來(lái)看，國(guó)內(nèi)的研究主要處在引進(jìn)國(guó)外研究成果，綜述相關(guān)概念、工具、模式階段[4][5][6][7][8][9]，而將學(xué)習(xí)分析技術(shù)應(yīng)用于解決實(shí)際教學(xué)問(wèn)題的實(shí)證研究相對(duì)較少[10][11]，國(guó)外在實(shí)證研究方面則走得更快一些。2014年召開的學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議，專門設(shè)置分論壇對(duì)“教與學(xué)過(guò)程挖掘和評(píng)價(jià)”這一議題進(jìn)行討論，有研究者對(duì)當(dāng)前廣受關(guān)注的MOOCs課程學(xué)習(xí)過(guò)程展開研究。Coffrin等人采用可視化方法對(duì)比呈現(xiàn)學(xué)生學(xué)習(xí)兩門MOOCs課程的行為，結(jié)果發(fā)現(xiàn)兩門課程的區(qū)別很小，其共同特點(diǎn)是課程剛開始時(shí)學(xué)生的參與率很高但隨后卻迅速下降[12]。針對(duì)MOOCs課程學(xué)生參與程度低的問(wèn)題，Hickey等選擇若干大學(xué)的在線課程開展教學(xué)實(shí)驗(yàn)，提出了13條參與度改善策略，包括開展學(xué)生互評(píng)、教師頒發(fā)獎(jiǎng)?wù)碌然顒?dòng)來(lái)促進(jìn)彼此間的交流和互相幫助，為學(xué)生提供個(gè)性化學(xué)習(xí)建議，并提高學(xué)生參與度[13]。本文的重點(diǎn)是將學(xué)習(xí)分析技術(shù)應(yīng)用于在線學(xué)習(xí)評(píng)價(jià)。Leah P. Macfadyen等人嘗試采用回歸分析方法建立預(yù)測(cè)模型來(lái)預(yù)測(cè)學(xué)生學(xué)習(xí)成績(jī)，可以看作是一種應(yīng)用。Leah P. Macfadyen等人以基于BlackBoard平臺(tái)的在線生物課程學(xué)習(xí)過(guò)程數(shù)據(jù)為研究對(duì)象，選取118名學(xué)生為樣本，將平臺(tái)中發(fā)生的各類學(xué)習(xí)活動(dòng)量的統(tǒng)計(jì)值與最終的學(xué)習(xí)成績(jī)進(jìn)行回歸分析，發(fā)現(xiàn)了論壇參與度、郵件發(fā)送數(shù)量和考試完成數(shù)量等三個(gè)與學(xué)生學(xué)習(xí)成績(jī)顯著相關(guān)的關(guān)鍵變量，并建立回歸模型，以預(yù)測(cè)學(xué)生的學(xué)習(xí)成績(jī)[14]。實(shí)驗(yàn)表明，該模型預(yù)測(cè)某門課程不及格學(xué)習(xí)者的準(zhǔn)確率為81%。在國(guó)內(nèi)，馬杰等人做了類似的研究，他們對(duì)教育技術(shù)初級(jí)能力培訓(xùn)在線課程相關(guān)數(shù)據(jù)進(jìn)行分析，構(gòu)建了各教學(xué)模塊得分與課程總分之間的預(yù)測(cè)模型，發(fā)現(xiàn)了與學(xué)生課程總分呈顯著相關(guān)的教學(xué)模塊，由此教師和學(xué)生可以通過(guò)預(yù)測(cè)模塊快速定位重點(diǎn)模塊，從而提高教學(xué)效果[15]。可以說(shuō)，國(guó)內(nèi)在利用在線學(xué)習(xí)平臺(tái)開展學(xué)習(xí)分析技術(shù)實(shí)證研究方面還比較少，本文提出的基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)與構(gòu)建學(xué)生學(xué)習(xí)成績(jī)預(yù)測(cè)模型有所不同，后者的價(jià)值是提供了一個(gè)預(yù)警系統(tǒng)，幫助教師提前發(fā)現(xiàn)可能不及格的學(xué)生，而前者是為教師提供一個(gè)更為客觀且省力的評(píng)價(jià)方案。

來(lái)自英國(guó)開放大學(xué)教育技術(shù)研究所的研究表明，要讓教師和學(xué)生參與到學(xué)習(xí)分析過(guò)程中來(lái)，而不僅僅是利用他們產(chǎn)生的數(shù)據(jù)，他們的介入是解讀數(shù)據(jù)分析結(jié)果并使分析結(jié)論應(yīng)用于改進(jìn)教學(xué)和學(xué)習(xí)的關(guān)鍵[16]。因此，本文擬與某門課程的輔導(dǎo)教師合作，發(fā)掘用學(xué)習(xí)分析技術(shù)輔助教師開展在線學(xué)習(xí)自動(dòng)評(píng)價(jià)所用的方法和模式，通過(guò)了解輔導(dǎo)教師開展在線學(xué)習(xí)自動(dòng)評(píng)價(jià)的需求，提出“基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式”，然后獲取教學(xué)和學(xué)習(xí)過(guò)程數(shù)據(jù)進(jìn)行分析挖掘，并與輔導(dǎo)教師分享分析結(jié)論，讓輔導(dǎo)教師介入學(xué)習(xí)分析當(dāng)中，而不是僅作為研究對(duì)象或旁觀者。

一、基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的

在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式構(gòu)建

在線學(xué)習(xí)自動(dòng)評(píng)價(jià)是輔導(dǎo)教師按照一定的評(píng)價(jià)指標(biāo)體系對(duì)學(xué)習(xí)管理系統(tǒng)記錄的學(xué)生學(xué)習(xí)過(guò)程數(shù)據(jù)進(jìn)行自動(dòng)挖掘分析并自動(dòng)轉(zhuǎn)換匯總為學(xué)習(xí)成績(jī)的過(guò)程。利用平臺(tái)中存儲(chǔ)的學(xué)習(xí)過(guò)程數(shù)據(jù)進(jìn)行在線學(xué)習(xí)自動(dòng)評(píng)價(jià)也是學(xué)習(xí)分析技術(shù)的一類應(yīng)用形式，其流程與學(xué)習(xí)分析流程具有一致性，在線教學(xué)績(jī)效評(píng)估模式構(gòu)建可以在一般學(xué)習(xí)分析模式基礎(chǔ)上細(xì)化完成。

學(xué)習(xí)分析模式由“學(xué)習(xí)分析流程”、“工具與算法”以及“數(shù)據(jù)與信息”三要素構(gòu)成，“工具與算法”為“學(xué)習(xí)分析流程”提供支撐，并產(chǎn)生相應(yīng)的“數(shù)據(jù)與信息”，如圖1所示。

圖1 學(xué)習(xí)分析模式構(gòu)成要素

具體到本文提出的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式，“分析流程”的關(guān)鍵環(huán)節(jié)包括學(xué)生在線學(xué)習(xí)自動(dòng)評(píng)價(jià)指標(biāo)體系建立、各觀測(cè)點(diǎn)數(shù)據(jù)采集與轉(zhuǎn)換、評(píng)價(jià)成績(jī)生成與有效性檢驗(yàn)等，“工具與算法”包括數(shù)據(jù)庫(kù)查詢分析器以及“統(tǒng)計(jì)分析與可視化”方法、文本挖掘（用于處理討論區(qū)的帖子）、層次分析法等，所用到的“數(shù)據(jù)與信息”將主要有在線學(xué)習(xí)平臺(tái)日志數(shù)據(jù)表以及討論區(qū)數(shù)據(jù)表、作業(yè)數(shù)據(jù)表等。該模式的詳細(xì)情況如圖2所示。

該模式建立的關(guān)鍵之處是結(jié)合課程特點(diǎn)構(gòu)建在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，可根據(jù)在線學(xué)習(xí)平臺(tái)記錄的學(xué)習(xí)過(guò)程數(shù)據(jù)特點(diǎn)形成學(xué)習(xí)評(píng)價(jià)指標(biāo)集，如學(xué)習(xí)態(tài)度、協(xié)作與互動(dòng)表現(xiàn)以及作業(yè)成績(jī)等一級(jí)指標(biāo)以及若干二級(jí)指標(biāo)；并構(gòu)建學(xué)習(xí)評(píng)價(jià)層次模型，根據(jù)指標(biāo)體系的特點(diǎn)定義相應(yīng)的權(quán)值，結(jié)合數(shù)學(xué)領(lǐng)域的模糊理論和層次分析法，建立非量化與量化相結(jié)合的綜合評(píng)價(jià)體系。

二、研究樣本

本文的研究樣本來(lái)自“網(wǎng)絡(luò)教育從業(yè)人員培訓(xùn)”（由國(guó)家開放大學(xué)主辦）。網(wǎng)絡(luò)教育從業(yè)人員培訓(xùn)系列課程包括“在線學(xué)習(xí)輔導(dǎo)”“在線課程設(shè)計(jì)”“學(xué)生支持服務(wù)”“網(wǎng)絡(luò)教育英語(yǔ)”“新技術(shù)教育應(yīng)用”等10門課程。學(xué)生學(xué)習(xí)基于Moodle平臺(tái)（網(wǎng)址：http：//etutor.crtvu.cn）開展，并由輔導(dǎo)教師和教學(xué)管理人員提供各種學(xué)生支持服務(wù)。Moodle是目前世界范圍內(nèi)使用最為廣泛的開源學(xué)習(xí)管理系統(tǒng)之一，得到廣大師生的普遍認(rèn)可。Moodle平臺(tái)的日志功能較為完善，可較完整地記錄用戶在平臺(tái)各模塊包括討論（Forum）模塊、資源（Resource）模塊、作業(yè)（Assignment）模塊、Wiki模塊等發(fā)生的多種行為（瀏覽、寫入、修改、刪除等），并存儲(chǔ)在日志數(shù)據(jù)表（mdl_log）中。這些完善的日志為開展基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)帶來(lái)可能。

本文選擇“在線學(xué)習(xí)輔導(dǎo)”課程第N期培訓(xùn)班作為研究樣本。“在線學(xué)習(xí)輔導(dǎo)”第N期培訓(xùn)班有學(xué)員23名，輔導(dǎo)教師1名，培訓(xùn)時(shí)間從2011年5月3日至6月12日，學(xué)習(xí)時(shí)間為6周，這6周不包含1周的大論文的撰寫時(shí)間，實(shí)際培訓(xùn)時(shí)間為7周。培訓(xùn)數(shù)據(jù)采集時(shí)間范圍比培訓(xùn)時(shí)間要長(zhǎng)，從2011年3月1日至12月31日。

三、在線學(xué)習(xí)自動(dòng)

評(píng)價(jià)模式應(yīng)用

下面以網(wǎng)絡(luò)教育從業(yè)人員培訓(xùn)中的“在線學(xué)習(xí)輔導(dǎo)”課程學(xué)習(xí)評(píng)價(jià)為例，介紹在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式的應(yīng)用。

（一）已有評(píng)價(jià)指標(biāo)現(xiàn)狀

在未參考基于Moodle日志的統(tǒng)計(jì)數(shù)據(jù)的前提下，輔導(dǎo)教師與培訓(xùn)管理者制定了“在線學(xué)習(xí)輔導(dǎo)”課程評(píng)價(jià)指標(biāo)體系（如表1所示）。

表 1 原有課程評(píng)價(jià)指標(biāo)

[一級(jí)指標(biāo)＼&權(quán)重＼&打分依據(jù)＼&評(píng)價(jià)標(biāo)準(zhǔn)＼&Wiki＼&15%＼&WIKI 百科，學(xué)生分組利用WIKI 協(xié)作完成主題活動(dòng)，輔導(dǎo)教師根據(jù)參與度、完成情況等進(jìn)行評(píng)分，學(xué)生要至少參與一次WIKI 活動(dòng)＼&合格/不合格＼&論壇＼&15%＼&在線討論，輔導(dǎo)教師根據(jù)學(xué)生參與各單元的論壇討論情況，給予相應(yīng)分?jǐn)?shù)＼&合格/不合格＼&小論文＼&20%＼&提交一次至少 500 字的小論文＼&合格/不合格＼&大論文＼&50%＼&一篇終期大論文＼&合格/不合格＼&]

據(jù)該課程輔導(dǎo)教師反映，該評(píng)價(jià)指標(biāo)體系并不能完整反映學(xué)生的學(xué)習(xí)表現(xiàn)，更多的是關(guān)注學(xué)習(xí)的產(chǎn)出，而不考察學(xué)習(xí)的投入情況。由于只有一級(jí)指標(biāo)，打分單位過(guò)大，難以精確給分，往往只能模糊評(píng)分，如“合格”“不合格”兩種?？偟膩?lái)說(shuō)，輔導(dǎo)教師在使用評(píng)價(jià)指標(biāo)進(jìn)行評(píng)分時(shí)難以操作，除大論文外，難以獲得精確的評(píng)分依據(jù)，無(wú)法差異化地給出成績(jī)，導(dǎo)致了評(píng)價(jià)指標(biāo)難以發(fā)揮評(píng)價(jià)的引導(dǎo)、激勵(lì)作用。

（二）新在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系的初步構(gòu)建

對(duì)于在職人員培訓(xùn)而言，過(guò)程體驗(yàn)很重要，不僅關(guān)注學(xué)員的最終結(jié)果——學(xué)習(xí)產(chǎn)出，也應(yīng)關(guān)注平時(shí)表現(xiàn)。因此，借鑒胡藝齡等[17]、張生等[18]在在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系方面的研究成果，作者與輔導(dǎo)教師共同確定從“學(xué)習(xí)投入”“學(xué)習(xí)產(chǎn)出”兩大維度來(lái)評(píng)價(jià)本課程的學(xué)習(xí)，并初步擬定在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系（如表2所示）。其中，每項(xiàng)三級(jí)指標(biāo)（或二級(jí)指標(biāo)）均有一個(gè)評(píng)分算法，并通過(guò)編寫SQL查詢語(yǔ)句或其他計(jì)算機(jī)程序加以實(shí)現(xiàn)，所得分值均在0到1分范圍內(nèi)，這是實(shí)現(xiàn)自動(dòng)評(píng)分的關(guān)鍵。

接下來(lái)，將采用層次分析法來(lái)確定各級(jí)評(píng)價(jià)指標(biāo)的權(quán)重。

（三）利用層次分析法構(gòu)建在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系

1. 層次分析法概述

層次分析法（Analytic Hierarchy Process，簡(jiǎn)稱AHP）是美國(guó)運(yùn)籌學(xué)家、匹茲堡大學(xué)T. L. Saaty教授在20世紀(jì)70年代初期提出的，是對(duì)定性問(wèn)題進(jìn)行定量分析的一種簡(jiǎn)便、靈活而又實(shí)用的多準(zhǔn)則決策方 法[19]。它的特點(diǎn)是把復(fù)雜問(wèn)題中的各種因素通過(guò)劃分為相互聯(lián)系的有序?qū)哟?，使之條理化，根據(jù)對(duì)一定客觀現(xiàn)實(shí)的主觀判斷結(jié)構(gòu)（主要是兩兩比較）把專家意見和分析者的客觀判斷結(jié)果直接而有效地結(jié)合起來(lái)，將一層次元素兩兩比較的重要性進(jìn)行定量描述。而后，利用數(shù)學(xué)方法計(jì)算反映每一層次元素的相對(duì)重要性次序的權(quán)值，通過(guò)所有層次之間的總排序計(jì)算所有元素的相對(duì)權(quán)重并進(jìn)行排序。

層次分析法應(yīng)用的基本步驟包括確定系統(tǒng)總目標(biāo)、建立多層次遞階結(jié)構(gòu)、確定各層次元素間相對(duì)權(quán)值、確定各元素整體權(quán)重、分析計(jì)算結(jié)果并提供決策參考等五個(gè)環(huán)節(jié)[20]。

在本研究中，層次分析法主要用來(lái)確定各級(jí)指標(biāo)的相對(duì)權(quán)重和整體權(quán)重。我們先根據(jù)表2所示的層級(jí)評(píng)價(jià)指標(biāo)體系構(gòu)造判斷矩陣。

2. 構(gòu)造判斷矩陣并賦值

構(gòu)造判斷矩陣的方法是：每一個(gè)具有向下隸屬關(guān)系的元素如一級(jí)指標(biāo)（稱為準(zhǔn)則）作為判斷矩陣的第一個(gè)元素（位于左上角），隸屬于它的各個(gè)下一級(jí)指標(biāo)依次排列在其后的第一行和第一列。重要的是填寫判斷矩陣。填寫判斷矩陣的方法是：向填寫人（專家）反復(fù)詢問(wèn)，針對(duì)判斷矩陣的準(zhǔn)則，其中兩個(gè)元素兩兩比較哪個(gè)重要，重要多少，對(duì)重要性程度按1～9賦值（重要性標(biāo)度值見表3）[21]。

表 3 重要性標(biāo)度含義表

[重要性標(biāo)度＼&含 義＼&1＼&表示兩個(gè)元素相比，具有同等重要性＼&3＼&表示兩個(gè)元素相比，前者比后者稍重要＼&5＼&表示兩個(gè)元素相比，前者比后者明顯重要＼&7＼&表示兩個(gè)元素相比，前者比后者強(qiáng)烈重要＼&9＼&表示兩個(gè)元素相比，前者比后者極端重要＼&2，4，6，8＼&表示上述判斷的中間值＼&倒數(shù)＼&若元素i與元素j的重要性之比為aij， 則元素j與元素i的重要性之比為aji=1/aij＼&]

作者邀請(qǐng)參與網(wǎng)絡(luò)教育從業(yè)人員培訓(xùn)的輔導(dǎo)教師共計(jì)6人（涉及三門課程），分成兩組，每小組3人（涉及三門課程），按照上述方法，分別將兩兩比較結(jié)果在組內(nèi)進(jìn)行算術(shù)平均，取其與算術(shù)平均值最相近的“1～9”尺度值，得到的統(tǒng)計(jì)結(jié)果經(jīng)規(guī)整后如表4至表10所示。

表4 兩組教師對(duì)一級(jí)指標(biāo)兩兩比較的平均近似值表

[一級(jí)指標(biāo)＼&投入情況（A1）＼&產(chǎn)出情況（A2）＼&投入情況（A1）＼&組1＼&1＼&1＼&投入情況（A1）＼&組2＼&1＼&1/2＼&產(chǎn)出情況（A2）＼&組1＼&1＼&1＼&產(chǎn)出情況（A2）＼&組2＼&2＼&1＼&]

表5 兩組教師對(duì)二級(jí)指標(biāo)兩兩比較的平均近似值表（1）

[二級(jí)指標(biāo)＼&時(shí)間出勤率

（B1）＼&活動(dòng)參與率

（B2）＼&參與活動(dòng)及時(shí)性

（B3）＼&時(shí)間出勤率（B1）＼&組1＼&1＼&1/2＼&2＼&時(shí)間出勤率（B1）＼&組2＼&1＼&1/3＼&3＼&活動(dòng)參與率（B2）＼&組1＼&2＼&1＼&4＼&活動(dòng)參與率（B2）＼&組2＼&3＼&1＼&5＼&參與活動(dòng)及時(shí)性（B3）＼&組1＼&1/2＼&1/4＼&1＼&參與活動(dòng)及時(shí)性（B3）＼&組2＼&1/3＼&1/5＼&1＼&]

表6 兩組教師對(duì)二級(jí)指標(biāo)兩兩比較的平均近似值表（2）

[二級(jí)指標(biāo)＼&活動(dòng)頻次

（B4）＼&Wiki

（B5）＼&論壇發(fā)帖

（B6）＼&小論文

（B7）＼&大論文

（B8）＼&活動(dòng)頻次（B4）＼&組1＼&1＼&1/2＼&1/3＼&1/2＼&1/3＼&活動(dòng)頻次（B4）＼&組2＼&1＼&1/2＼&1/4＼&1/3＼&1/4＼&Wiki（B5）＼&組1＼&2＼&1＼&1/4＼&1/2＼&1/4＼&Wiki（B5）＼&組2＼&2＼&1＼&1/5＼&1/3＼&1/6＼&論壇發(fā)帖（B6）＼&組1＼&3＼&4＼&1＼&2＼&1＼&論壇發(fā)帖（B6）＼&組2＼&4＼&5＼&1＼&3＼&1/2＼&小論文（B7）＼&組1＼&2＼&2＼&1/2＼&1＼&1/4＼&小論文（B7）＼&組2＼&3＼&3＼&1/3＼&1＼&1/3＼&大論文（B8）＼&組1＼&3＼&4＼&1＼&4＼&1＼&大論文（B8）＼&組2＼&4＼&6＼&2＼&3＼&1＼&]

表7 兩組教師對(duì)三級(jí)指標(biāo)兩兩比較的平均近似值表（1）

[三級(jí)指標(biāo)＼&周出勤率

（C1）＼&天出勤率

（C2）＼&周平均學(xué)習(xí)

小時(shí)次數(shù)（C3）＼&周出勤率（C1）＼&組1＼&1＼&1/3＼&1/3＼&周出勤率（C1）＼&組2＼&1＼&1/4＼&1/4＼&天出勤率（C2）＼&組1＼&3＼&1＼&1＼&天出勤率（C2）＼&組2＼&4＼&1＼&1＼&周平均學(xué)習(xí)

小時(shí)次數(shù)（C3）＼&組1＼&3＼&1＼&1＼&周平均學(xué)習(xí)

小時(shí)次數(shù)（C3）＼&組2＼&4＼&1＼&1＼&]

表8 兩組教師對(duì)三級(jí)指標(biāo)兩兩比較的平均近似值表（2）

[三級(jí)指標(biāo)＼&參與單元

討論率（C4）＼&參與平時(shí)

作業(yè)率（C5）＼&資源

瀏覽率（C6）＼&參與單元討論率（C4）＼&組1＼&1＼&2＼&2＼&參與單元討論率（C4）＼&組2＼&1＼&3＼&3＼&參與平時(shí)作業(yè)率（C5）＼&組1＼&1/2＼&1＼&1＼&參與平時(shí)作業(yè)率（C5）＼&組2＼&1/3＼&1＼&1＼&資源瀏覽率（C6）＼&組1＼&1/2＼&1＼&1＼&資源瀏覽率（C6）＼&組2＼&1/3＼&1＼&1＼&]

表9 兩組教師對(duì)三級(jí)指標(biāo)兩兩比較的平均近似值表（3）

[三級(jí)指標(biāo)＼&參與單元討論

及時(shí)性（C7）＼&參與平時(shí)作業(yè)

及時(shí)性（C8）＼&參與單元討論及時(shí)性（C7）＼&組1＼&1＼&3＼&參與單元討論及時(shí)性（C7）＼&組2＼&1＼&5＼&參與平時(shí)作業(yè)及時(shí)性（C8）＼&組1＼&1/3＼&1＼&參與平時(shí)作業(yè)及時(shí)性（C8）＼&組2＼&1/5＼&1＼&]

表10 兩組教師對(duì)三級(jí)指標(biāo)兩兩比較的平均近似值表（4）

[三級(jí)指標(biāo)＼&帖子數(shù)（C9）＼&帖子字?jǐn)?shù)（C10）＼&有效術(shù)語(yǔ)數(shù)（C11）＼&帖子數(shù)（C9）＼&組1＼&1＼&2＼&3＼&帖子數(shù)（C9）＼&組2＼&1＼&1＼&2＼&帖子字?jǐn)?shù)（C10）＼&組1＼&1/2＼&1＼&2＼&帖子字?jǐn)?shù)（C10）＼&組2＼&1＼&1＼&1＼&有效術(shù)語(yǔ)數(shù)（C11）＼&組1＼&1/3＼&1/2＼&1＼&有效術(shù)語(yǔ)數(shù)（C11）＼&組2＼&1/2＼&1＼&1＼&]

3. 計(jì)算權(quán)向量與檢驗(yàn)

計(jì)算權(quán)向量的方法主要有和法、根法、冪法和特征根法，并要進(jìn)行一致性檢驗(yàn)，以判斷矩陣滿足一致性情況[22]。下面利用和法分別求取上述表4至表10所示矩陣的特征向量，從而得到各級(jí)指標(biāo)的相對(duì)權(quán)重。以表4為例，根據(jù)表4可分別建立兩組教師“一級(jí)指標(biāo)兩兩比較的平均近似值”組成的矩陣，如下所示。

[AG1=1 11 1]

[AG2=1 122 1]

經(jīng)一致性檢驗(yàn)，C.R.<0.1，利用和法求取這兩個(gè)矩陣的特征向量，結(jié)果如下：

[ωAG1=（0.5，0.5）T]

[ωAG2=（0.33，0.67）T]

通過(guò)上述兩組教師的權(quán)重列向量算數(shù)平均最終得出兩個(gè)一級(jí)指標(biāo)的權(quán)重向量為：

[ωA=（0.42 ，0.58）T]

采用同樣的方法，進(jìn)一步計(jì)算表5至表10所示矩陣的特征向量，從而得到二、三級(jí)指標(biāo)的權(quán)重向量。經(jīng)檢驗(yàn)，表5至表10所示的矩陣，其C.R.<0.1，可以認(rèn)為每個(gè)判斷矩陣的一致性都是可以接受的。

[ωB1B2B3=（0.29，0.59，0.12）TωB4B5B6B7B8=（0.06，0.10，0.31，0.17，0.36）TωC1C2C3=（0.13，0.44，0.44）TωC4C5C6=（0.55，0.23，0.23）TωC7C8=（0.79，0.21）TωC9C10C11=（0.48，0.31，0.21）T]

4. 組合權(quán)重表的確定

由于指標(biāo)體系級(jí)與級(jí)之間存在依存關(guān)系，經(jīng)對(duì)二級(jí)指標(biāo)和三級(jí)指標(biāo)的整體權(quán)重進(jìn)行計(jì)算，最終得到基于Moodle平臺(tái)的純?cè)诰€學(xué)習(xí)評(píng)價(jià)指標(biāo)體系一級(jí)指標(biāo)、二級(jí)指標(biāo)、三級(jí)指標(biāo)的組合權(quán)重體系（如表11所示）。

從指標(biāo)權(quán)重體系來(lái)看，“活動(dòng)參與率（B2）”“時(shí)間出勤率（B1）”“大論文（B8）”“論壇發(fā)帖（B6）”等二級(jí)指標(biāo)權(quán)重較高，是衡量學(xué)習(xí)成績(jī)好壞的重要指標(biāo)。

（四）新評(píng)價(jià)指標(biāo)體系的應(yīng)用

依照上述評(píng)價(jià)指標(biāo)體系的各項(xiàng)指標(biāo)，計(jì)算“在線學(xué)習(xí)輔導(dǎo)”課程第N期培訓(xùn)班23名學(xué)員各項(xiàng)指標(biāo)得分（統(tǒng)一采用1分制，即得分在0～1之間），然后根據(jù)權(quán)重計(jì)算總分，最后將總分轉(zhuǎn)換為百分制。最終成績(jī)?nèi)绫?2所示。

可見，基于Moodle日志和新評(píng)價(jià)指標(biāo)體系計(jì)算得出的成績(jī)與“在線學(xué)習(xí)輔導(dǎo)”課程第N期培訓(xùn)班輔導(dǎo)教師給出的成績(jī)有較高的一致性，驗(yàn)證了“基于Moodle平臺(tái)的純?cè)诰€學(xué)習(xí)評(píng)價(jià)指標(biāo)體系”的有效性。當(dāng)然，我們也發(fā)現(xiàn)了兩處不一致的地方，即學(xué)員406和433的得分并不算高，卻給了“優(yōu)秀”的成績(jī)。通過(guò)與“在線學(xué)習(xí)輔導(dǎo)”課程第N期培訓(xùn)班輔導(dǎo)教師交流，得知學(xué)員406在參與論壇討論方面非?；钴S，從上表中可看到學(xué)員406在“發(fā)帖數(shù)C9”“發(fā)帖字?jǐn)?shù)C10”“使用術(shù)語(yǔ)數(shù)C11”等三項(xiàng)指標(biāo)上得分均為1；但406學(xué)員在平時(shí)作業(yè)提交方面表現(xiàn)較差，這是輔導(dǎo)員不曾注意到的。學(xué)員433各項(xiàng)表現(xiàn)并非突出，輔導(dǎo)教師承認(rèn)將該學(xué)員評(píng)為“優(yōu)秀”是一種失誤，并表示這種基于數(shù)據(jù)的分析可以輔助輔導(dǎo)教師做出更為精確、省力的打分。

四、研究結(jié)論

MOOCs實(shí)踐證明，開放在線課程對(duì)于共享優(yōu)質(zhì)資源、提升學(xué)習(xí)者學(xué)習(xí)體驗(yàn)具有重大價(jià)值，但是在線學(xué)習(xí)產(chǎn)品與服務(wù)提供者必須面對(duì)日益增多的在線學(xué)習(xí)者與有限的在線教學(xué)輔導(dǎo)教師之間的矛盾，技術(shù)無(wú)疑是解決問(wèn)題的有效途徑。本研究從輔導(dǎo)教師視角提出了“基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式”，接著收集來(lái)自網(wǎng)絡(luò)教育從業(yè)人員培訓(xùn)課程“在線學(xué)習(xí)輔導(dǎo)”的教學(xué)與學(xué)習(xí)過(guò)程數(shù)據(jù)開展模式應(yīng)用，并請(qǐng)輔導(dǎo)教師參與評(píng)價(jià)指標(biāo)體系制定，最后與輔導(dǎo)教師分享分析結(jié)果，幫助他們反思教學(xué)中可能存在的問(wèn)題，真正讓輔導(dǎo)教師參與到學(xué)習(xí)分析中來(lái)。本研究的主要結(jié)論有：

（1）從輔導(dǎo)教師的角度定義了學(xué)習(xí)分析技術(shù)的應(yīng)用內(nèi)涵，提出了“在線學(xué)習(xí)自動(dòng)評(píng)價(jià)”這一概念。在線學(xué)習(xí)自動(dòng)評(píng)價(jià)是輔導(dǎo)教師按照一定的評(píng)價(jià)指標(biāo)體系對(duì)學(xué)習(xí)管理系統(tǒng)中的學(xué)生學(xué)習(xí)過(guò)程數(shù)據(jù)進(jìn)行挖掘分析并自動(dòng)轉(zhuǎn)換匯總為學(xué)習(xí)成績(jī)的過(guò)程。

（2）基于一般的學(xué)習(xí)分析模式，從輔導(dǎo)教師視角構(gòu)建了基于學(xué)習(xí)過(guò)程數(shù)據(jù)挖掘的在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式。該模式在“分析流程”方面的關(guān)鍵環(huán)節(jié)包括學(xué)生在線學(xué)習(xí)自動(dòng)評(píng)價(jià)指標(biāo)體系建立、各觀測(cè)點(diǎn)數(shù)據(jù)采集與轉(zhuǎn)換、評(píng)價(jià)成績(jī)生成與有效性檢驗(yàn)等，所用到的“工具與算法”主要有數(shù)據(jù)庫(kù)管理系統(tǒng)查詢分析器以及“統(tǒng)計(jì)分析與可視化”方法、文本挖掘（用于處理討論區(qū)的帖子）、層次分析法等，所用到的“數(shù)據(jù)與信息”主要有Moodle平臺(tái)日志數(shù)據(jù)表以及討論區(qū)數(shù)據(jù)表、作業(yè)數(shù)據(jù)表等。

（3）選取在Moodle平臺(tái)進(jìn)行的在線培訓(xùn)學(xué)習(xí)過(guò)程數(shù)據(jù)作為研究樣本，檢驗(yàn)了在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式的有效性。研究選取國(guó)家開放大學(xué)網(wǎng)絡(luò)教育從業(yè)人員培訓(xùn)課程“在線學(xué)習(xí)輔導(dǎo)”第N期培訓(xùn)班的培訓(xùn)過(guò)程記錄作為研究樣本，與課程輔導(dǎo)教師一起建立了新的“基于Moodle平臺(tái)的純?cè)诰€學(xué)習(xí)評(píng)價(jià)指標(biāo)體系”，采用層次分析法確定了各級(jí)評(píng)價(jià)指標(biāo)的權(quán)重，并采用新的評(píng)價(jià)指標(biāo)體系為學(xué)生自動(dòng)評(píng)分。結(jié)果表明，基于Moodle日志和新的評(píng)價(jià)指標(biāo)體系計(jì)算得出的成績(jī)與輔導(dǎo)教師給出的成績(jī)有較高的一致性，并糾正了輔導(dǎo)教師的某些評(píng)分失誤。

雖然本研究是以Moodle平臺(tái)為例檢驗(yàn)了在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式的有效性，但對(duì)于其他開源學(xué)習(xí)管理系統(tǒng)如Claroline、Atutor、Sakai等以及各類商用學(xué)習(xí)管理系統(tǒng)如Blackboard、網(wǎng)梯遠(yuǎn)程教育平臺(tái)等同樣適用，因?yàn)槿魏螌W(xué)習(xí)管理系統(tǒng)都會(huì)記錄在平臺(tái)上發(fā)生的各類活動(dòng)，并匯總成為網(wǎng)絡(luò)日志，這些日志即是開展在線學(xué)習(xí)自動(dòng)評(píng)價(jià)的基礎(chǔ)。當(dāng)然，不同課程會(huì)有不同的考核內(nèi)容和評(píng)價(jià)重點(diǎn)，其他課程在參考本研究制定的評(píng)價(jià)指標(biāo)體系時(shí)應(yīng)對(duì)評(píng)價(jià)指標(biāo)進(jìn)行增減并對(duì)指標(biāo)權(quán)重進(jìn)行重新分配，方可達(dá)到預(yù)期的效果。

[參考文獻(xiàn)]

[1] 李曼麗，張羽，黃振中. 大規(guī)模開放在線課程：正在醞釀高等教育革新[N]. 中國(guó)科學(xué)報(bào)，2013-5-30.

[2] Lori Breslow， David E. Pritchard， Jennifer DeBoer， Glenda S. Stump， Andrew D. Ho and Daniel T. Seaton. Studying Learning in the Worldwide Classroom Research into edX’s First MOOC. Research & Practice in Assessment， special summer 2013 issue.

[3] Johnson， L.， Adams Becker， S.， Estrada， V.， Freeman， A. （2014）. NMCHorizon Report： 2014 Higher Education Edition. Austin， Texas： The NewMedia Consortium.

[4] 魏順平. 學(xué)習(xí)分析技術(shù)：挖掘大數(shù)據(jù)時(shí)代下教育數(shù)據(jù)的價(jià)值[J]. 現(xiàn)代教育技術(shù)，2013，（02）：5-11.

[5] 顧小清，張進(jìn)良，蔡慧英. 學(xué)習(xí)分析：正在浮現(xiàn)中的數(shù)據(jù)技術(shù)[J]. 遠(yuǎn)程教育雜志，2012，（01）：18-25.

[6] 李青，王濤. 學(xué)習(xí)分析技術(shù)研究與應(yīng)用現(xiàn)狀述評(píng)[J]. 中國(guó)電化教育，2012，（08）：129-133.

[7] 張進(jìn)良，何高大. 學(xué)習(xí)分析：助推大數(shù)據(jù)時(shí)代高校教師在線專業(yè)發(fā)展[J]. 遠(yuǎn)程教育雜志，2014，（01）：56-62.

[8] 李艷燕，馬韶茜，黃榮懷. 學(xué)習(xí)分析技術(shù)：服務(wù)學(xué)習(xí)過(guò)程設(shè)計(jì)和優(yōu)化[J]. 開放教育研究，2012，（05）：18-24.

[9] 徐鵬，王以寧，劉艷華，張海. 大數(shù)據(jù)視角分析學(xué)習(xí)變革——美國(guó)《通過(guò)教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)》報(bào)告解讀及啟示[J]. 遠(yuǎn)程教育雜志，2013，（06）：11-17.

[10] 郁曉華，顧小清. 學(xué)習(xí)活動(dòng)流：一個(gè)學(xué)習(xí)分析的行為模型[J]. 遠(yuǎn)程教育雜志，2013，（04）：20-28.

[11] 魏順平. 在線教育管理者視角下的學(xué)習(xí)分析——在線教學(xué)績(jī)效評(píng)估模式構(gòu)建與應(yīng)用[J]. 現(xiàn)代教育技術(shù)，2014，（09）：79-85、93.

[12] Coffrin， C. ， Corrin， L. ， de Barba， P. ， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs[ A]. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge[C]. 83-92. ACM.

[13] Hickey， D. T. ， Kelley， T. A. ， & Shen， X. （2014）. Small to big before massive： scaling up participatory learning analytics[A]. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge[C]. 93-97. ACM.

[14] Macfayden， L. P.， and S. Dawson. 2010. “Mining LMS Data to Develop an ‘Early Warning’ System for Educators： A Proof of Concept.” Computers & Education 54 （2）： 588-599.

[15] 馬杰，趙蔚，張潔，趙艷. 基于學(xué)習(xí)分析技術(shù)的預(yù)測(cè)模型構(gòu)建與實(shí)證研究[J]. 現(xiàn)代教育技術(shù)，2014，（11）：30-38.

[16] Sharples， M.， McAndrew， P.， Weller， M.， Ferguson， R.， FitzGerald， E.， Hirst， T.， and Gaved， M. （2013）.Innovating Pedagogy 2013： Open University Innovation Report 2. Milton Keynes： The Open University.

[17] 魏順平. 學(xué)習(xí)分析技術(shù)：挖掘大數(shù)據(jù)時(shí)代下教育數(shù)據(jù)的價(jià)值[J]. 現(xiàn)代教育技術(shù)，2013，（02）：-11.

[18] 胡藝齡，顧小清. 基于sakai 平臺(tái)的在線學(xué)習(xí)行為評(píng)價(jià)模型設(shè)計(jì)研究[A]. 第十七屆全球華人計(jì)算機(jī)應(yīng)用大會(huì)論文集，2013：598-601.

[19] 張生，何克抗，韓駿. 中小學(xué)教師教育技術(shù)能力培訓(xùn)中的形成性評(píng)價(jià)指標(biāo)體系的構(gòu)建[J]. 中國(guó)電化教育，2007，（05）：11-14.

[20] 百度百科.層次分析法（AHP）[DB/OL]. http：//baike.baidu.com/link？url=BCivStdEd4RtPnHJe18-14kvoLMQ6703RykyMzdZgbCILvDBl7mcgybAe_bwFTSs.

[21][22] 百度文庫(kù). 層次分析法步驟[DB/OL]. http：//wenku.baidu.com/view/95fc165077232f60ddcca192.html.

收稿日期：2014-10-30

作者簡(jiǎn)介：魏順平，國(guó)家開放大學(xué)信息化部（工程中心） （100039）。

責(zé)任編輯 石 子

責(zé)任校對(duì) 日 新