基于德爾菲方法的在線開放課程質(zhì)量評(píng)價(jià)系統(tǒng)研究與實(shí)現(xiàn)

唐曉君 路瑩 劉娜 王海文 龔文心

摘 要：在線開放課程已經(jīng)成為現(xiàn)代教育的一種重要途徑，目前我國(guó)一些地區(qū)對(duì)在線開放課程質(zhì)量的評(píng)價(jià)還停留在以教育部和專家角度上考量的“自上而下”的評(píng)價(jià)方式上。本文探討一種從學(xué)習(xí)者角度考量的“自下而上”的評(píng)價(jià)指標(biāo)體系，通過德爾菲方法確定評(píng)價(jià)指標(biāo)和各指標(biāo)權(quán)重，并開發(fā)開放課程平臺(tái)動(dòng)態(tài)收集各項(xiàng)指標(biāo)，形成對(duì)課程的評(píng)價(jià)，為課程學(xué)習(xí)者選擇課程提供一個(gè)客觀的依據(jù)，同時(shí)也完善了在線開放課程的評(píng)價(jià)體系。

關(guān)鍵詞：開放課程；評(píng)價(jià)指標(biāo)；德爾菲方法；基于學(xué)習(xí)者

中圖分類號(hào)：G423.04 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2018）07-0093-04

引言

2001年4月麻省理工學(xué)院?jiǎn)?dòng) OCW（Open Course Ware，開放課程計(jì)劃）項(xiàng)目，網(wǎng)絡(luò)開放課程的序幕由此拉開。隨后，耶魯、哈佛、劍橋等世界名校陸續(xù)加入，網(wǎng)絡(luò)公開課開始席卷全球，高等教育發(fā)生了翻天覆地的變化。開放課程提供了潛在的更為廣泛的學(xué)習(xí)機(jī)會(huì)，讓更多的人有機(jī)會(huì)接受高等教育。[1]

2011年，我國(guó)開始啟動(dòng)精品視頻公開課的建設(shè)。兩年來共有186 門課程向社會(huì)免費(fèi)開放，截至 2012 年，“愛課程”網(wǎng)、中國(guó)網(wǎng)絡(luò)電視臺(tái)、網(wǎng)易3個(gè)網(wǎng)站“中國(guó)大學(xué)視頻公開課”首頁面訪問數(shù)量達(dá)到62億次，課程總訪問量3569.32 萬次。[2]2013年 6月 26 日，繼中國(guó)大學(xué)視頻公開課陸續(xù)上線之后，首批120門中國(guó)大學(xué)資源共享課正式通過“愛課程”網(wǎng)向社會(huì)大眾免費(fèi)開放。視頻公開課與資源共享課共同構(gòu)成了我國(guó)的精品開放課程。[3]

在線開放課程如一股狂潮席卷全球，但是耗費(fèi)了大量人力、物力、財(cái)力而建起來的這些開放課程是否能保證質(zhì)量，能否達(dá)到預(yù)期的教育目的，發(fā)揮教育價(jià)值，這需要進(jìn)行全面、綜合、客觀的評(píng)價(jià)。我國(guó)現(xiàn)有的精品開放課程質(zhì)量評(píng)價(jià)指標(biāo)主要關(guān)注教師的教，較少關(guān)注學(xué)生的學(xué)。而目前絕大部分研究也集中在對(duì)“自上而下”的國(guó)家評(píng)審指標(biāo)體系的探討，缺少從課程學(xué)習(xí)者角度的“自下而上”的評(píng)價(jià)機(jī)制。

本文主要探討一種基于課程學(xué)習(xí)者的“自下而上”的精品開放課程評(píng)價(jià)指標(biāo)體系的構(gòu)建方法，該方法通過德爾菲（Delphi）方法選取評(píng)價(jià)指標(biāo)，確定各指標(biāo)權(quán)重。[4]同時(shí)，為實(shí)現(xiàn)“自下而上”的開放課程質(zhì)量評(píng)價(jià)，設(shè)計(jì)出能動(dòng)態(tài)收集指標(biāo)值的開放課程平臺(tái)，并按開放課程質(zhì)量評(píng)價(jià)指標(biāo)體系實(shí)時(shí)計(jì)算出各課程的評(píng)價(jià)得分，為課程學(xué)習(xí)者選擇課程提供一個(gè)客觀的依據(jù)，也為精品開放課程考評(píng)體系的完善做出貢獻(xiàn)。[5]

一、研究設(shè)計(jì)

在線開放課程“自下而上”評(píng)價(jià)指標(biāo)體系的構(gòu)建基于德爾菲（Delphi）方法，德爾菲法由美國(guó)蘭德公司于20世紀(jì)50年代提出，德爾菲方法又稱為專家法，其特點(diǎn)在于集中專家的知識(shí)和經(jīng)驗(yàn)，確定評(píng)價(jià)指標(biāo)和各指標(biāo)的權(quán)重，并在不斷的反饋和修改中得到比較滿意的結(jié)果。[6]德爾菲（Delphi）方法既可以用來識(shí)別出基于精品開放課程學(xué)習(xí)者的重要評(píng)價(jià)指標(biāo)，同時(shí)也可以確定各指標(biāo)在指標(biāo)體系中所占的權(quán)重。采用該方法進(jìn)行研究具有一定的優(yōu)勢(shì)，首先，多名精品開放課程學(xué)習(xí)者對(duì)評(píng)價(jià)指標(biāo)及權(quán)重的集體意見比少數(shù)學(xué)習(xí)者的個(gè)人意見更客觀。其次，所選開放課程學(xué)習(xí)者來自不同地域和不同階層，意見相對(duì)獨(dú)立，且不受時(shí)間和地理位置限制。[7]

1.專家的選取

考慮到本評(píng)價(jià)指標(biāo)體系具有基于學(xué)習(xí)者的“自下而上”特點(diǎn)，選取30位在線開放課程學(xué)習(xí)者作為專家，其中包括來自于不同高校的20名開放課程學(xué)習(xí)者，以及來自不同城市的各種教育背景的10名開放課程學(xué)習(xí)者。通過電話與郵件的方式與每一位專家聯(lián)系，明確本次研究的內(nèi)容與目的，征得專家本人同意，確保每位專家能自始至終參與本次研究。

2.識(shí)別在線開放課程質(zhì)量評(píng)價(jià)指標(biāo)

以調(diào)查征詢的形式要求選定的專家給出精品開放課程的重要質(zhì)量評(píng)價(jià)指標(biāo)，同時(shí)要為其提出的每一個(gè)指標(biāo)給出一個(gè)簡(jiǎn)短描述，論述其合理性。匯總整理專家意見，每完成一次提問和回答的過程稱為一輪。將上輪咨詢所得意見的一致程度和各位專家的不同觀點(diǎn)等信息，匿名反饋給每一位專家，再次征詢意見。如此反復(fù)，直到意見趨于一致，確定在線開放課程“自下而上”評(píng)價(jià)指標(biāo)體系中的各項(xiàng)評(píng)價(jià)指標(biāo)。[8]

3.識(shí)別在線開放課程質(zhì)量評(píng)價(jià)指標(biāo)權(quán)重

對(duì)各項(xiàng)指標(biāo)權(quán)重的測(cè)定是本研究的關(guān)鍵環(huán)節(jié)。權(quán)重是根據(jù)不同指標(biāo)的地位和作用賦予的不同數(shù)值，它反映了各個(gè)指標(biāo)之間客觀存在的不平衡性，揭示了與其相應(yīng)的因素在指標(biāo)體系上的價(jià)值差異。[9]德爾菲（Delphi）方法確定指標(biāo)權(quán)重步驟如下：

（1）將待定權(quán)重的指標(biāo)和有關(guān)資料以及統(tǒng)一的確定權(quán)重的規(guī)則發(fā)給選定的各位專家，請(qǐng)他們獨(dú)立給出各指標(biāo)的權(quán)重值。

（2）回收結(jié)果并計(jì)算各指標(biāo)權(quán)重的概率分布。

（3）根據(jù)概率分布計(jì)算各指標(biāo)權(quán)重的期望值、方差和標(biāo)準(zhǔn)差。

（4）將計(jì)算的結(jié)果及補(bǔ)充資料返還給各位專家，要求所有專家在新的基礎(chǔ)上重新確定權(quán)重值。

（5）重復(fù)第（2）步和第（4）步，直至各指標(biāo)權(quán)重值與其均值的偏差不超過預(yù)先給定的標(biāo)準(zhǔn)為止，也就是各專家的意見基本趨于一致，以此時(shí)各指標(biāo)權(quán)數(shù)的均值作為該指標(biāo)的權(quán)重。[10]

二、主要研究結(jié)果

1.在線開放課程質(zhì)量評(píng)價(jià)指標(biāo)

2.在線開放課程質(zhì)量評(píng)價(jià)指標(biāo)權(quán)重

將表1中待定權(quán)重的指標(biāo)和相關(guān)規(guī)則通過郵件形式發(fā)給30位專家，各專家獨(dú)立給出每個(gè)指標(biāo)的權(quán)數(shù)值，（以主觀評(píng)價(jià)中的二級(jí)指標(biāo)“課程使用”為例）如表2所示。[12]對(duì)30位專家填寫的各種權(quán)重的相應(yīng)概率平均，得出權(quán)重的概率分布（以主觀評(píng)價(jià)中的二級(jí)指標(biāo)“課程使用”為例），如表3所示。

根據(jù)表3，計(jì)算出“課程使用”指標(biāo)權(quán)重的期望值，算式如下所示：

x=Pixi=13.7%×0.1+26.4%×0.2+20.5%×0.3+21.9%×0.4+17.5%×0.5=0.303

方差是描述變量偏離期望值大小的指標(biāo)，根據(jù)表3和權(quán)重期望值計(jì)算出“課程使用”指標(biāo)方差，如下所示：

S2=（xi-x）2Pi=13.7%×（0.1-0.303）2+26.4%×（0.2-0.303）2+20.5%×（0.3-0.303）2+21.9%×（0.4-0.303）2+17.5%×（0.5-0.303）2=0.0135

方差的平方根稱為標(biāo)準(zhǔn)差，“課程使用”指標(biāo)的標(biāo)準(zhǔn)差計(jì)算如下：

S==0.116

為了評(píng)價(jià)結(jié)果更準(zhǔn)確，可將權(quán)重在0.303左右重新設(shè)置，發(fā)給專家進(jìn)行第二輪征詢，如表4所示。[13]對(duì)30位專家第二輪填寫的各種權(quán)重的相應(yīng)概率進(jìn)行平均，得出權(quán)重的概率分布（以“課程使用”評(píng)價(jià)指標(biāo)為例），如表5所示。

根據(jù)表5，計(jì)算出“課程使用”指標(biāo)權(quán)重第二輪期望值，如下所示：

x==Pixi=20.1%×0.20+21.7%×0.25+22.5%×0.30+19.0%×0.35+16.7%×0.40=0.295

根據(jù)表5和權(quán)重期望值計(jì)算出主觀評(píng)價(jià)指標(biāo)第二輪方差，如下所示：

S2=（xi-x）2Pi=20.1%×（0.20-0.295）2+21.7%×（0.25-0.295）2+22.5%×（0.30-0.295）2+19.0%×（0.35-0.295）2+16.7%×（0.40-0.295）2=0.00468

第二輪“課程使用”指標(biāo)權(quán)重標(biāo)準(zhǔn)差，用如下公式計(jì)算：

S==0.068

同理可以計(jì)算出其它指標(biāo)的權(quán)重，計(jì)算出各因素權(quán)重之后，要按如下進(jìn)行歸一化處理。[14]

ai=

式中ai為歸一化后的權(quán)重期望值，n為評(píng)價(jià)指標(biāo)個(gè)數(shù)（一級(jí)指標(biāo)中n=2，二級(jí)指標(biāo)中n=5）。歸一化后計(jì)算出各指標(biāo)的權(quán)重，最后形成“自下而上”的精品開放課程質(zhì)量評(píng)價(jià)指標(biāo)體系，如表6所示。[15]

三、在線開放課程質(zhì)量評(píng)價(jià)平臺(tái)的實(shí)現(xiàn)

為實(shí)現(xiàn)開放課程質(zhì)量評(píng)價(jià)，需設(shè)計(jì)出能動(dòng)態(tài)收集指標(biāo)值的在線開放課程平臺(tái)，并按開放課程質(zhì)量評(píng)價(jià)指標(biāo)體系實(shí)時(shí)計(jì)算出各課程的評(píng)價(jià)得分。[16]

課程平臺(tái)采用PHP+MySQL開發(fā)，功能如圖1所示。[17]

四、結(jié)束語

評(píng)價(jià)指標(biāo)體系研究應(yīng)該成為在線開放課程所關(guān)注的重點(diǎn)，在教學(xué)理論及信息技術(shù)不斷更新的情況下，對(duì)在線開放課程評(píng)價(jià)指標(biāo)體系的內(nèi)容也需要不斷優(yōu)化，使該評(píng)價(jià)體系更加科學(xué)、完善和適用。[18]

參考文獻(xiàn)：

[1]Huijser， Henk and Bedford， Tas and Bull， David. Open Course Ware， global access and the right to education： real access or marketing ploy？[J].International Review of Research in Open and Distance Learning，2008（1）：1-13.

[2]教育部.教育信息化工作進(jìn)展情況[EB/OL]. http：//www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s7204/201302/148023.html.

[3]白盈盈，楊現(xiàn)民.精品開放課程高校教學(xué)應(yīng)用模式設(shè)計(jì)[J].現(xiàn)代教育技術(shù)，2014（5）：46-47.

[4]岳麗娜，聶懷勇.精品資源共享課交互環(huán)境評(píng)價(jià)指標(biāo)體系設(shè)計(jì)研究[J].上海教育評(píng)估研究， 2014（3）：13-14.

[5]化莉，金春霞.基于層次分析法的高校精品課程教學(xué)網(wǎng)站評(píng)價(jià)研究[J].產(chǎn)業(yè)與科技論壇，2011（15）：142-143.

[6]Dalkey， N. and Helmer， O. An experimental application of the Delphi method to the use of experts[J]. Management Science，1963，9（3）：458-67.

[7]Pierre Hadaya， Luc Cassivi and Chahinaze Chalabi. IT project management resources and capabilities： a Delphi study[J]. International Journal of Managing Projects in Business， 2012， 5（2）：216-229.

[8]邵立周，白春杰.系統(tǒng)綜合評(píng)價(jià)指標(biāo)體系構(gòu)建方法研究[J].海軍工程大學(xué)學(xué)報(bào)，2008（3）：48-52.

[9]孫傳遠(yuǎn)，孫少華.專家視野中的開放課程質(zhì)量評(píng)價(jià)指標(biāo)體系——基于德爾菲法的調(diào)查分析[J].職教論壇，2014（9）：40-45.

[10]Helen Sitlington，Alan Coetzer. Using the Delphi technique to support curriculum development[J]. Education + Training，2015，57（3）：306-321.

[11]Jennifer Banayan， Angela Blood， Yoon Soo Park. A modified Delphi method to create a scoring system for assessing team performance during maternal cardiopulmonary arrest[J]. Hypertension in Pregnancy，2015（34）：314-331.

[12]董艷，黃榮懷，李曉明，申瑞民.《網(wǎng)絡(luò)課程課件質(zhì)量認(rèn)證標(biāo)準(zhǔn)》的研制與修訂[J].電化教育研究，2003（6）：65-70.

[13]魏志慧，陳麗，希建華.網(wǎng)絡(luò)課程教學(xué)交互質(zhì)量評(píng)價(jià)指標(biāo)體系的研究[J].開放教育研究，2004（6）：34-39.

[14]戰(zhàn)銳，張學(xué)波.精品課程教學(xué)錄像質(zhì)量評(píng)價(jià)指標(biāo)體系研究[J].現(xiàn)代教育技術(shù)，2010（6）：35-39.

[15]劉呈軍，卓春英.精品資源共享課評(píng)價(jià)之初探——以人文數(shù)學(xué)課程為例[J].河南農(nóng)業(yè)，2014（14）：8-9.

[16]蔡敏.網(wǎng)絡(luò)教學(xué)的交互性及其評(píng)價(jià)指標(biāo)研究[J].電化教育研究，2007（11）：40-44.

[17]Okoli C， Pawlowski， S.D.The Delphi method as a research tool： an example， design considerations and applications[J]. Information & Management， 2004，42（1）：15-29.

[18]楊九民，郭曉梅，嚴(yán)莉.MOOC對(duì)我國(guó)高校精品開放課程建設(shè)的啟示[J].電化教育研究，2013（12）：44-49.

（編輯：王天鵬）