Wrapped MOOC質(zhì)量評價指標(biāo)體系及模型

，，

(大連海事大學(xué)，遼寧 大連 116026)

Wrapped MOOC質(zhì)量評價指標(biāo)體系及模型

楊艷冰*，李建敏，陳國艷

(大連海事大學(xué)，遼寧 大連 116026)

評估與考核是接受和推進(jìn)在線教育最有力的策略。利用比較分析法、層次分析法及德爾斐(Delphi)法，構(gòu)建了“Wrapped MOOC”質(zhì)量評價指標(biāo)層次；針對運(yùn)用層次分析法得到的正互反矩陣的一致性檢驗不合格影響排序的可靠性這一問題，提出一種改進(jìn)的模糊綜合評價法對正互反矩陣進(jìn)行微調(diào)，以使隨機(jī)一致性比率CR符合要求；計算得到各級指標(biāo)的評價矩陣的特征值及Wrapped MOOC質(zhì)量評價模型，并進(jìn)行數(shù)值測試。研究結(jié)果表明，準(zhǔn)則層C1的5要素單排序結(jié)果為：教學(xué)質(zhì)量、課堂組織、課程資源、課前設(shè)計、學(xué)習(xí)用戶。數(shù)值仿真驗證了該算法及模型的有效性。

Wrapped MOOC；指標(biāo)體系；質(zhì)量評價；AHP

一、引言

2015年4月，教育部出臺《關(guān)于加強(qiáng)高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見》(以下簡稱《意見》)，以發(fā)揮我國高等教育教學(xué)傳統(tǒng)優(yōu)勢，推動我國大規(guī)模在線開放課程的建設(shè)。 在此背景下，盡快制定在線課程的效果評價辦法及教學(xué)質(zhì)量認(rèn)定標(biāo)準(zhǔn)，便成為發(fā)展在線課程的當(dāng)務(wù)之急。

梳理國內(nèi)外已有的MOOC評價，其相關(guān)研究可以分為宏觀層面和微觀層面，即一般的MOOC教育質(zhì)量評價方法，以及對具體課程的評價。在宏觀層面，國外主要有三種MOOC教育質(zhì)量評價方法：歐盟推出的The OpenupEd qualitylabel(開放教育質(zhì)量標(biāo)簽,2013)，主要供自我評估使用[1]；西班牙的ADECUR(análisis didáctico de modelo y estrategias de ense anza de cursos universita rios，簡稱ADECUR,2015)，主要對MOOC的學(xué)習(xí)方法、學(xué)習(xí)成效等方面進(jìn)行質(zhì)量評價[2]；德國推出的設(shè)計質(zhì)量保障標(biāo)準(zhǔn)Criteria to Assure Design Quality of MOOCs[3]。微觀層面，相關(guān)研究關(guān)注的重點不同，主要涉及以內(nèi)容傳遞為主的xMOOC、以任務(wù)傳遞為主的sMOOC和以網(wǎng)絡(luò)建立為主的cMOOC這三種視角下的MOOC課程評價，還有一些大學(xué)發(fā)布了以學(xué)習(xí)者學(xué)習(xí)行為的數(shù)據(jù)為關(guān)注重點的MOOC課程總結(jié)報告。 此外，馮雪松[4]等基于北京大學(xué)MOOC實踐，探索了一種面向課程改進(jìn)的MOOC評價體系；孫力等[5]構(gòu)建了三種關(guān)聯(lián)復(fù)雜度不同的同伴互評概率模型來提升評價系統(tǒng)中主觀試題評分的客觀性和準(zhǔn)確性，并利用“人機(jī)交互”課程的相關(guān)數(shù)據(jù)組來評測各同伴互評概率模型的準(zhǔn)確度。后MOOC時代，通過對學(xué)習(xí)者來源的限制、增強(qiáng)本地導(dǎo)學(xué)教師輔導(dǎo)、組織線下活動和實施二次考試等，涌現(xiàn)出Wrapped MOOC、SPOC、SOOC等各種MOOC的衍生模式，尤其是“Wrapped MOOC”，結(jié)合了傳統(tǒng)教育教學(xué)和MOOC課程的雙重優(yōu)勢，最適宜在高校開展。

在上述研究中，無論是宏觀還是微觀層面，很少見到專門針對“Wrapped MOOC”的效果評價，還沒有一種科學(xué)適用的、易于操作的評價機(jī)制，來輔助國內(nèi)高校監(jiān)督評價Wrapped MOOC的教學(xué)質(zhì)量，遠(yuǎn)遠(yuǎn)不能滿足Wrapped MOOC快速發(fā)展的需要。在借鑒國內(nèi)外已有的MOOC評價的相關(guān)研究成果的基礎(chǔ)上，本文從Wrapped MOOC與MOOC的比較分析出發(fā)，擬設(shè)計一套基于層次分析法的適合我國國情且易于操作的科學(xué)的“Wrapped MOOC”模式教學(xué)質(zhì)量評價指標(biāo)體系，以便為高校發(fā)展在線課程提供有價值的參考。

二、影響因子分析

“Wrapped MOOC”，是指整合利用MOOC資源的私募、小型、限制性(或私有)課程。它與SPOC相似，教師將MOOC材料進(jìn)行改編，并與自己的教學(xué)內(nèi)容、活動、閱讀材料以及任務(wù)進(jìn)行整合。理論上，Wrapped MOOC這種混合式O2O的MOOC模式，整合線上優(yōu)質(zhì)教育資源，可以最大限度地利用傳統(tǒng)課堂教學(xué)和MOOC課程資源的優(yōu)勢，部分彌補(bǔ)了MOOC自身無法彌補(bǔ)的缺陷，更適宜在高校開展。

將 “Wrapped MOOC”與MOOC進(jìn)行比較分析見表1。

表1 Wrapped MOOC與MOOC的比較分析

1.評價的基本原則

在Wrapped MOOC與MOOC的比較分析的基礎(chǔ)上，根據(jù)“Wrapped MOOC”在建設(shè)、開發(fā)、應(yīng)用中的特點，有針對性地采取以下評價原則，構(gòu)建其評價指標(biāo)體系。

(1)完整性原則。選取評價指標(biāo)時要堅持完整性原則，不遺漏任何必需的指標(biāo)。只有從整體出發(fā)，才能使最終建立起的評價指標(biāo)體系有效地反映課程質(zhì)量效果。

(2)科學(xué)性原則。即選取最能充分反映Wrapped MOOC的本質(zhì)、特點、優(yōu)勢和規(guī)律的指標(biāo)。

(3)可行性原則。制定評價體系時要考慮到各方面的制約因素，一方面使用者易于接受，另一方面評價體系應(yīng)具有可操作性。

(4)獨立性原則。即同級別、同層次的各項指標(biāo)獨立，指標(biāo)之間不重疊。

2.因子分析

從表1可以看出，Wrapped MOOC的教學(xué)質(zhì)量與其整個教學(xué)過程中的多個因素相關(guān)。在以上分析的基礎(chǔ)上，根據(jù)層次分析法的要求，參考國內(nèi)外相關(guān)研究及專家的意見，將“Wrapped MOOC”的主要影響因素析出以下5個要素。

(1)課前設(shè)計，記為X1。包括：x11——教學(xué)視頻的剪輯、合成、設(shè)計與教學(xué)目標(biāo)及內(nèi)容一致，教學(xué)視頻效果好，時間長度適宜；x12——提供留言板，記錄學(xué)生的疑難問題，配套的作業(yè)、練習(xí)和測試安排合理；x13——提供網(wǎng)絡(luò)交流支持及互動。

(2)課程資源，記為X2。包括：x21——教學(xué)計劃安排合適，知識關(guān)聯(lián)清晰，內(nèi)容組織及結(jié)構(gòu)合理，邏輯性強(qiáng)；x22——所選取整合的MOOC資源重點、難點突出，易于激發(fā)學(xué)生的聯(lián)想方式和學(xué)習(xí)興趣，有利于發(fā)展學(xué)生的思維和能力培養(yǎng)；x23——提供課程拓展資源鏈接，支持相關(guān)學(xué)習(xí)資料查詢。

(3)課堂組織，記為X3。包括：x31——能夠確定學(xué)生疑難問題類型，根據(jù)學(xué)生情況區(qū)別對待；x32——組織學(xué)生獨立思考、分組討論，互動學(xué)習(xí)；x33——能夠適時提供解決問題的思路，引導(dǎo)學(xué)生；x34——組織學(xué)生對學(xué)習(xí)內(nèi)容進(jìn)行歸納整理，教師進(jìn)行補(bǔ)充、總結(jié)；x35——布置下一章節(jié)教學(xué)任務(wù)。

(4)學(xué)習(xí)用戶，記為X4。包括：x41——學(xué)生的作業(yè)、練習(xí)完成率高；課程拓展資源點擊率高；x42——學(xué)生反饋效果好，相較于純粹的傳統(tǒng)課程，更受學(xué)生喜愛；x43——課程通過率高。

(5)教學(xué)質(zhì)量，記為X5。包括：x51——教學(xué)態(tài)度端正，為人師表，關(guān)愛學(xué)生，遵守教學(xué)紀(jì)律；x52——基本概念原理講解清晰，重點難點處理得當(dāng)；x53——注重教學(xué)內(nèi)容的整體連貫性，講解的系統(tǒng)性、邏輯性，善于運(yùn)用啟發(fā)式教學(xué)，課堂氣氛活躍，教師口齒清晰，發(fā)音標(biāo)準(zhǔn)，板書清楚；x54——教學(xué)效果好，所選取整合的MOOC資源受學(xué)生喜愛，有助于學(xué)生擴(kuò)展思維、開闊視野，提高分析問題解決問題的能力。

三、層次分析法

層次分析法(AHP)是由美國運(yùn)籌學(xué)家T.L.Satty在20世紀(jì)70年代末提出的，其基本過程是把復(fù)雜問題分解成各個組成元素，按支配關(guān)系將這些元素分組、分層，形成有序的遞階層次結(jié)構(gòu)，在此基礎(chǔ)上通過兩兩比較方式判斷各層次中諸元素的重要性，然后綜合判斷計算單準(zhǔn)則排序和層次總排序，從而確定諸元素在決策層的權(quán)重。AHP將決策過程中的主觀意識進(jìn)行量化，具有系統(tǒng)、靈活、簡潔的優(yōu)點。其分析步驟如下：

第一，確立目標(biāo)，建立“Wrapped MOOC”質(zhì)量評價指標(biāo)體系的層次結(jié)構(gòu)。

第二，進(jìn)行專家咨詢，構(gòu)造判斷矩陣，計算權(quán)重向量。每位專家對每一層給出判斷矩陣， 利用特征向量法，求每個判斷矩陣的權(quán)重向量；再對每個判斷矩陣進(jìn)行一致性檢驗，決定其取舍。

第三，形成評價方案。

(1)

其中，M為“Wrapped MOOC”質(zhì)量效果評價分值，βi,αij分別對應(yīng)二、三級指標(biāo)的權(quán)重。

(2)

1.確立目標(biāo)層次

根據(jù)系統(tǒng)的結(jié)構(gòu)層次要求和專家的意見，充分考慮“Wrapped MOOC”的相關(guān)評價指標(biāo)，建立“Wrapped MOOC”評價指標(biāo)體系的層次結(jié)構(gòu)，做出層次結(jié)構(gòu)(如圖1)。

圖1 Wrapped MOOC質(zhì)量指標(biāo)評價值

上圖中，第一層為目標(biāo)層A，中間兩層為準(zhǔn)則層C1和C2，最后一層為措施層P。

四、修正的模糊綜合評價法

定義1 若判斷矩陣A=(aij)n×n

(1)aij, (2)aji=1/aij,(i,j=1,2,…,n)

則稱之為正互反矩陣。

在利用層次分析法的過程中發(fā)現(xiàn)層次分析法的傳統(tǒng)做法：每位專家對每一層給出判斷矩陣，利用特征向量法，求每個判斷矩陣的權(quán)重向量；再對每個判斷矩陣進(jìn)行一致性檢驗，決定其取舍；利用權(quán)重向量綜合法求多人單準(zhǔn)則下的判斷矩陣的權(quán)重向量；求合成權(quán)重向量。經(jīng)過這一過程后，綜合判斷矩陣已失去了其互反性，容易造成系統(tǒng)誤差。

為避免出現(xiàn)這樣的情況，設(shè)計的調(diào)查問卷綜合了模糊評價的要求和層次分析法的優(yōu)點。對上述結(jié)構(gòu)圖中的每層指標(biāo)之間的關(guān)系，先通過模糊評價調(diào)查表給出其分值，再通過對照表給出層次分析法的評價矩陣。比如，對第二層的5個指標(biāo)，我們設(shè)計了兩個調(diào)查表，分兩輪發(fā)放。第一輪，共發(fā)放問卷15份，收回有效問卷12份。將全部有效問卷結(jié)果的專家咨詢結(jié)果匯總，取其算術(shù)平均值，得到Wrapped MOOC質(zhì)量評價準(zhǔn)則層C1對應(yīng)的權(quán)重向量。第二輪，根據(jù)權(quán)重向量的結(jié)果及指標(biāo)的權(quán)重比矩陣，以得到AHP的評價矩陣，共發(fā)放問卷12份，收回有效問卷11份，其中9份統(tǒng)計表，即81.8 %的專家，同意表2的結(jié)果，另兩份基本同意，這說明由權(quán)重比矩陣構(gòu)造AHP的評價矩陣，得到專家的認(rèn)可。對此結(jié)果，本研究根據(jù)專家的意見及一致性檢驗的要求，做出微調(diào)標(biāo)準(zhǔn)：當(dāng)權(quán)重比與表2中的標(biāo)準(zhǔn)范圍相差小于0.02時，可將評價值調(diào)整±1，以滿足一致性檢驗的要求。

定義2 滿足關(guān)系式

的正互反矩陣，稱之為一致性矩陣。

(1)aij>0 , (2)aji=1/aij,(i,j=1,2,…,n)

判斷矩陣A的最大特征值對應(yīng)的特征向量，經(jīng)歸一化后即為同一層次某個因素相對于上一層次某因素的相對重要性的排序權(quán)值，這一過程稱為層次單排序。

表2 層次分析法賦值對照表

說明：

仍采用T.L.Satty教授提出的9檔標(biāo)度法，但將重要度賦予如表2所示的相應(yīng)數(shù)值。這里，兩元素同樣重要=1，稍重要=3，明顯重要=5，強(qiáng)烈重要=7，極端重要=9，稍不重要=1/3，明顯不重要=1/5，強(qiáng)烈不重要=1/7，極端不重要=1/9；2、4、6、8介于相鄰兩個數(shù)值代表的程度之間的重要性。

通過上述過程，得到了滿足一致性檢驗要求的表3，一個準(zhǔn)則(指標(biāo))層1對目標(biāo)層的5*5的判斷矩陣。

表3 準(zhǔn)則層C1的5要素的相對重要性

表3中，計算得到

(0.089,0.178,0.223,0.054,0.456)

即為準(zhǔn)則層C1對目標(biāo)層A的特征向量。經(jīng)Yaahp統(tǒng)計軟件檢驗，該矩陣一致性檢驗指標(biāo)CR=0.0177< 0.10，通過一致性檢驗要求。

重復(fù)上述做法，得到準(zhǔn)則層C2(子指標(biāo))對準(zhǔn)則層C1的判斷矩陣及特征向量，見表4～表8。

表4 課前設(shè)計

表4中，

CR=0.062 47< 0.10，通過。

表5 課程資源

W22=(α21,α22,α23)=(0.231,0.664,0.105)

CR=0.082 57< 0.10，通過。

表6 課堂組織

這里，特征向量

(0.200,0.200,0.200,0.200,0.200)

CR=0.000 07< 0.10，通過。

表7 學(xué)習(xí)用戶

CR=0.000 07< 0.10，通過。

表8 教學(xué)質(zhì)量

這里，W25=(α51,α52,α53,α54)=(0.048,0.165,0.394,0.394) CR=0.027 57< 0.10，通過。

至此，由公式(1)及表3～表8中的指標(biāo)權(quán)重值，只要給出評價對象的初始指標(biāo)打分值，就可以計算Wrapped MOOC模式課程的質(zhì)量效果綜合評價分值。

五、數(shù)值測試

上述結(jié)果表明，準(zhǔn)則層C1的5要素：課前設(shè)計、課程資源、課堂組織、學(xué)習(xí)用戶、教學(xué)質(zhì)量，其中權(quán)重值最大的是教學(xué)質(zhì)量，為0.456，最小的是學(xué)習(xí)用戶，權(quán)重值為0.054.層次單排序結(jié)果為：教學(xué)質(zhì)量，課堂組織，課程資源，課前設(shè)計，學(xué)習(xí)用戶。

利用該指標(biāo)體系和上述模型，選取了4門課程進(jìn)行了數(shù)值仿真，得到其質(zhì)量綜合評價分值分別為90.4，83.6，88.1，92.7。 根據(jù)每門課程的2、3級指標(biāo)的分值，可以對其教學(xué)效果進(jìn)行詳細(xì)分析；分值缺失項，可以提示該課程教師改進(jìn)相應(yīng)部分的質(zhì)量效果。 評價結(jié)果可以強(qiáng)化質(zhì)量控制，有助于提升相關(guān)課程的教學(xué)質(zhì)量和效果。此外，利用該評價體系時，還應(yīng)該注意的是，不同類型、不同專業(yè)的“Wrapped MOOC”課程，其偏重點也可能會產(chǎn)生細(xì)微的不同。此時，可以在本研究創(chuàng)建的指標(biāo)評價體系的基礎(chǔ)上，修正個別指標(biāo)設(shè)置及權(quán)重取值。隨著此類課程數(shù)目的增加，是否需要對公共基礎(chǔ)課、基礎(chǔ)課以及專業(yè)基礎(chǔ)課設(shè)定不同的指標(biāo)及權(quán)重，是有待進(jìn)一步研究的課題。

[1] ROSEWEL J，DARCO J. The OpenupEd quality label: benchmarks for MOOCs[J].The International Journal for Innovation and Quality in Learning，2014，2(3):88-100.

[3] YOUSEF AMF，et al. What drives a successful MOOC? An empirical examination of criteria to assure design quality of MOOCs[C]//.Advanced Learning Technologies(ICALT).IEEE 14th International Conference on IEEE，2014:44-48.

[4] 馮雪松，于青青，李曉明.在實踐中探索MOOC評價體系[J].中國大學(xué)教學(xué)，2015，10(10):72-85.

[5] 孫力，鐘斯陶. MOOC評價系統(tǒng)中同伴互評概率模型研究[J].開放教育研究，2014，20(5)：83-89.

2017-02-21

：大連海事大學(xué)資助教師發(fā)展專題立項“MOOC模式下教學(xué)質(zhì)量監(jiān)控與評價機(jī)制研究”(2016JFY07)

：1006-8724(2017)03-0093-05

G642.0

：A*