基于AHP慕課質(zhì)量評(píng)價(jià)模型及應(yīng)用

方申榮，韓建華，韋 偉

（安慶師范大學(xué) 教師教育學(xué)院，安徽 安慶246133）

一、引 言

自2012年，慕課在斯坦福大學(xué)、哈佛大學(xué)等國(guó)外名校掀起熱潮。面對(duì)慕課浪潮來(lái)襲，國(guó)內(nèi)專家呼吁：“中國(guó)大學(xué)應(yīng)以在線教育發(fā)展為契機(jī)，重新思考自身的使命與責(zé)任?！苯陙?lái)，國(guó)內(nèi)高校在慕課建設(shè)方面取得了很大成就，主要表現(xiàn)：第一，出現(xiàn)了一批優(yōu)秀的課程平臺(tái)，如“中國(guó)大學(xué)MOOC”“學(xué)堂在線”“華文慕課”等。第二，建設(shè)了一大批慕課，當(dāng)前在國(guó)內(nèi)主要平臺(tái)上線的慕課課程超過(guò)24 000門，根據(jù)高校個(gè)性化需求定制的SPOC有5 600多門。第三，學(xué)習(xí)者人數(shù)眾多，特別是受2020年初新冠疫情影響，為實(shí)現(xiàn)“停課不停教、停課不停學(xué)”，有2.65億在校生轉(zhuǎn)向線上課程，用戶需求得到充分釋放[1]。面對(duì)巨大的在線學(xué)習(xí)需求，慕課建設(shè)呈現(xiàn)爆發(fā)式增長(zhǎng)態(tài)勢(shì)，但慕課課程同質(zhì)化現(xiàn)象嚴(yán)重，水平參差不齊，如何幫助學(xué)習(xí)者選擇慕課資源？如何進(jìn)一步規(guī)范慕課建設(shè)？這都需要對(duì)慕課質(zhì)量進(jìn)行評(píng)價(jià)模型構(gòu)建研究。

隨著慕課的建設(shè)和發(fā)展，專家學(xué)者也積極關(guān)注慕課評(píng)價(jià)問(wèn)題，形成了不同角度的評(píng)價(jià)體系，大體可歸納為五個(gè)主題：（1）基于慕課平臺(tái)的評(píng)價(jià)研究，如①韓錫斌等[2]基于Edutools編制的網(wǎng)絡(luò)教學(xué)平臺(tái)評(píng)價(jià)標(biāo)準(zhǔn)，將MOOC平臺(tái)和國(guó)內(nèi)外典型網(wǎng)絡(luò)教學(xué)平臺(tái)進(jìn)行對(duì)比分析；②吳錦輝[3]以國(guó)內(nèi)三個(gè)平臺(tái)為例，從平臺(tái)基本情況、教學(xué)資源設(shè)計(jì)、課堂組織與互動(dòng)、成績(jī)?cè)u(píng)定和結(jié)業(yè)認(rèn)證方式等方面進(jìn)行了詳細(xì)對(duì)比，并提出建議。（2）基于慕課教學(xué)改革的評(píng)價(jià)研究，如①趙馨蕊等[4]通過(guò)對(duì)三門MOOC在課程內(nèi)容設(shè)計(jì)、在線討論、課程概述、教學(xué)目標(biāo)達(dá)成度、教學(xué)內(nèi)容適切性、評(píng)價(jià)與反饋貼切度等方面進(jìn)行問(wèn)卷調(diào)查，將調(diào)查數(shù)據(jù)代入模糊綜合評(píng)價(jià)模型進(jìn)行MOOC教學(xué)質(zhì)量評(píng)價(jià)；②張巖等[5]采用層次分析方法AHP，探討在新的教學(xué)模式下教學(xué)資源、教學(xué)效果和社會(huì)效益、學(xué)習(xí)活動(dòng)、系統(tǒng)技術(shù)和設(shè)計(jì)等方面對(duì)教學(xué)質(zhì)量的重要影響。（3）基于學(xué)習(xí)者角度的慕課評(píng)價(jià)研究，如①吳守蓉等[6]基于學(xué)習(xí)者的視角從選課動(dòng)機(jī)、學(xué)習(xí)行為、滿意度等方面，對(duì)MOOC教學(xué)效果進(jìn)行評(píng)價(jià)并提出改進(jìn)策略；②高建等[7]從評(píng)價(jià)主體、評(píng)價(jià)依據(jù)、考核方式、評(píng)價(jià)結(jié)果、成果認(rèn)證等方面以學(xué)習(xí)者身份對(duì)五大平臺(tái)學(xué)習(xí)者學(xué)習(xí)評(píng)價(jià)體系進(jìn)行比較分析。（4）基于在線課程評(píng)價(jià)規(guī)范標(biāo)準(zhǔn)的慕課研究，如①王剛等[8]通過(guò)調(diào)研以及使用層次分析法建立在線課程資源評(píng)價(jià)指標(biāo)體系，利用.NET技術(shù)在軟件工程方法的指導(dǎo)下建立基于Web在線課程資源評(píng)價(jià)系統(tǒng)；②黃璐等[9]從課程、互聯(lián)網(wǎng)、開(kāi)發(fā)三個(gè)維度理論，遴選出在線課程內(nèi)容質(zhì)量評(píng)價(jià)的關(guān)鍵指標(biāo)，構(gòu)建出包括專業(yè)度、稀缺度和規(guī)范度3個(gè)一級(jí)指標(biāo)，適切性、一致性、科學(xué)性等18個(gè)二級(jí)指標(biāo)在內(nèi)的在線課程內(nèi)容質(zhì)量評(píng)價(jià)體系。（5）基于MOOC質(zhì)量評(píng)價(jià)的研究，如①邱均平等[10]通過(guò)構(gòu)建包含慕課教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)效果、教學(xué)資源以及教學(xué)技術(shù)5個(gè)一級(jí)指標(biāo)和14個(gè)二級(jí)指標(biāo)的體系，并使用層次分析法軟件計(jì)算指標(biāo)體系的權(quán)重，創(chuàng)建慕課質(zhì)量模糊評(píng)價(jià)模型；②童小素等[11]以《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22）》為藍(lán)本，建立了課程內(nèi)容、教學(xué)設(shè)計(jì)、學(xué)習(xí)支持等三個(gè)一級(jí)指標(biāo)和26個(gè)二級(jí)指標(biāo)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系；③姚凱等[12]以“MOOC學(xué)院”社區(qū)論壇為數(shù)據(jù)源，使用文本挖掘技術(shù)獲取部分課程評(píng)價(jià)指標(biāo)，同時(shí)結(jié)合已有課程評(píng)價(jià)標(biāo)準(zhǔn)，建立了包括課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)、媒體技術(shù)、課程管理等5個(gè)一類指標(biāo)和25個(gè)二類指標(biāo)的MOOC評(píng)價(jià)指標(biāo)體系，并運(yùn)用基于Vague集的相似度量法建立了MOOC評(píng)價(jià)模型。從上述文獻(xiàn)分析中可以看出，已有不少學(xué)者對(duì)慕課進(jìn)行了評(píng)價(jià)研究，但研究關(guān)注的重點(diǎn)和角度各不相同，評(píng)價(jià)框架也很不一致，且截止目前尚未形成比較權(quán)威且系統(tǒng)的慕課質(zhì)量評(píng)價(jià)模型。本文以已有慕課評(píng)價(jià)文獻(xiàn)研究為基礎(chǔ)，結(jié)合大數(shù)據(jù)時(shí)代慕課的基本特征，邀請(qǐng)12位教育技術(shù)學(xué)專家對(duì)指標(biāo)進(jìn)行確定和評(píng)判，并采用層次分析法（AHP）構(gòu)建慕課質(zhì)量評(píng)價(jià)模型，以期對(duì)慕課高質(zhì)量的建設(shè)提供指導(dǎo)與參考。

二、慕課質(zhì)量評(píng)價(jià)模型構(gòu)建

（一）評(píng)價(jià)模型設(shè)計(jì)

本研究依據(jù)慕課的大規(guī)模、開(kāi)放性、網(wǎng)絡(luò)在線等特征，采用文獻(xiàn)研究和參考《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22）》[13]，并邀請(qǐng)江蘇師范大學(xué)、安徽師范大學(xué)、安慶師范大學(xué)的12位教育技術(shù)學(xué)專家對(duì)指標(biāo)進(jìn)行評(píng)判。專家的權(quán)威程度[14]通過(guò)參與專家自評(píng)的方式進(jìn)行調(diào)查，統(tǒng)計(jì)結(jié)果顯示，權(quán)威程度系數(shù)（CR）有5位專家0.8≤

表1 慕課質(zhì)量評(píng)價(jià)指標(biāo)模型

續(xù)表1

（二）指標(biāo)權(quán)重計(jì)算

層次分析法（Analytic Hierarchy Process，AHP）是將與決策總是有關(guān)的元素分解成目標(biāo)、準(zhǔn)則、方案等層次，再進(jìn)行定性和定量分析的決策方法。Yaahp是一款層次分析法（AHP）軟件，為使用層次分析法的決策過(guò)程提供模型構(gòu)造、錄入判斷矩陣、計(jì)算和分析等方面的幫助。

1.建立層次結(jié)構(gòu)模型。在Yaahp軟件中繪制如圖1所示層次結(jié)構(gòu)模型。

圖1 慕課質(zhì)量評(píng)價(jià)模型層次結(jié)構(gòu)模型

2.構(gòu)造兩兩比較判斷矩陣。依據(jù)12位專家對(duì)一級(jí)指標(biāo)和二級(jí)指標(biāo)相對(duì)重要性的綜合排名，在Yaahp軟件的判斷矩陣中輸入數(shù)據(jù)標(biāo)度，具體賦值如下：

3.計(jì)算權(quán)重。在Yaahp軟件中完成判斷矩陣創(chuàng)建后，點(diǎn)擊“計(jì)算結(jié)果”標(biāo)簽，得到所有指標(biāo)的權(quán)重和一致性檢測(cè)結(jié)果，再點(diǎn)擊“顯示詳細(xì)數(shù)據(jù)”標(biāo)簽，就可以得出各級(jí)指標(biāo)權(quán)重的數(shù)據(jù)，具體見(jiàn)表2所示。當(dāng)一致性檢測(cè)結(jié)果<0.1時(shí)，表明構(gòu)建的指標(biāo)矩陣有效。

表2 各級(jí)指標(biāo)判斷矩陣的計(jì)算結(jié)果

4.慕課質(zhì)量評(píng)價(jià)模型的確立。將Yaahp軟件分析的二級(jí)指標(biāo)權(quán)重乘以其上一級(jí)指標(biāo)的權(quán)重，即可得到各個(gè)指標(biāo)在整個(gè)指標(biāo)體系中的實(shí)際權(quán)重。

三、評(píng)價(jià)模型應(yīng)用

本研究在國(guó)內(nèi)不同MOOC平臺(tái)中選取“Python語(yǔ)言程序設(shè)計(jì)”“心理學(xué)概論”和“圖像處理與平面設(shè)計(jì)”三門課程作為慕課質(zhì)量評(píng)價(jià)的對(duì)象，邀請(qǐng)了30名教育技術(shù)學(xué)專業(yè)同學(xué)運(yùn)用本評(píng)價(jià)模型開(kāi)展實(shí)踐，按5、4、3、2、1五級(jí)制進(jìn)行評(píng)判。統(tǒng)計(jì)結(jié)果見(jiàn)表3。

表3 三門課程各項(xiàng)指標(biāo)平均分

從表3中數(shù)據(jù)分析可以發(fā)現(xiàn)，這三門課程在思想性科學(xué)性先進(jìn)性、資源拓展、講課方式方法、內(nèi)容交互性、交流與協(xié)作、課程管理團(tuán)隊(duì)、學(xué)習(xí)提醒服務(wù)、服務(wù)社會(huì)共享等8個(gè)二級(jí)指標(biāo)上的平均分存在有小于4.00（即“良好”等級(jí)）的情況。

思想性科學(xué)性先進(jìn)性指標(biāo)上“圖像處理與平面設(shè)計(jì)”課程得分只有2.70，原因是該課程教學(xué)內(nèi)容略顯陳舊，軟件版本和教材還是Photoshop CS4（2008年版），而當(dāng)前PS軟件已歷經(jīng)CS5、CS6、CC、CC2014至CC2020等9個(gè)版本的更新?lián)Q代，優(yōu)化和新增了很多新功能和應(yīng)用。

資源拓展指標(biāo)上“心理學(xué)概論”課程得分最低，只有3.17分，其次是“Python語(yǔ)言程序設(shè)計(jì)”課程得分為3.4，原因是“心理學(xué)概論”沒(méi)有提供與課程內(nèi)容有關(guān)的外部資源，“Python語(yǔ)言程序設(shè)計(jì)”課程僅提供了補(bǔ)充學(xué)習(xí)網(wǎng)站的鏈接網(wǎng)址，而“圖像處理與平面設(shè)計(jì)”課程不僅給出了課程的案例素材資源，還給出了案例演示動(dòng)畫資源，為學(xué)習(xí)者提供了豐富的拓展資源。

講課方式方法指標(biāo)上“圖像處理與平面設(shè)計(jì)”課程得分只有3.73，原因是該課程大多以案例中講解工具應(yīng)用為主，忽略了解決實(shí)際問(wèn)題時(shí)如何選擇工具的說(shuō)明，教學(xué)策略多以灌輸式的“是什么”，而忽略啟發(fā)式的“為什么”。

內(nèi)容交互性指標(biāo)上“Python語(yǔ)言程序設(shè)計(jì)”課程得分為3.87，原因是該課程主要以教師的講授為主，引發(fā)與學(xué)習(xí)者的交互機(jī)會(huì)較少。

交流與協(xié)作指標(biāo)上“心理學(xué)概論”課程得分3.4，原因是該課程沒(méi)有設(shè)計(jì)需要學(xué)生討論或協(xié)作解決的問(wèn)題及相應(yīng)的要求，討論主題不夠集中，缺乏必要的引導(dǎo)和指導(dǎo)。

課程管理團(tuán)隊(duì)指標(biāo)上“心理學(xué)概論”課程得分3.07，原因是該課程團(tuán)隊(duì)只有一位主講教師，沒(méi)有形成合理的團(tuán)隊(duì)管理，在后期運(yùn)行維護(hù)課程中面對(duì)眾多學(xué)習(xí)者時(shí)，課程管理力量不足。

學(xué)習(xí)提醒服務(wù)指標(biāo)上“圖像處理與平面設(shè)計(jì)”課程得分3.57，原因是該課程平臺(tái)暫僅能通過(guò)課程平臺(tái)內(nèi)的公告通知，不支持微信提醒服務(wù)，導(dǎo)致學(xué)習(xí)提醒不能及時(shí)有效傳達(dá)。

服務(wù)社會(huì)共享指標(biāo)上“圖像處理與平面設(shè)計(jì)”課程得分3.13，原因是該課程應(yīng)用推廣不夠，且網(wǎng)絡(luò)同類型課程較多，加之新穎性、先進(jìn)性不足，未能在社會(huì)應(yīng)用激烈競(jìng)爭(zhēng)中形成較大影響。

除上述8個(gè)二級(jí)指標(biāo)外，其他各項(xiàng)評(píng)價(jià)指標(biāo)的平均分都超過(guò)了4.00（即良好），表明三門課程其他指標(biāo)項(xiàng)建設(shè)均較規(guī)范，滿足了學(xué)習(xí)者的美好學(xué)習(xí)需求。

筆者再將每一個(gè)二級(jí)指標(biāo)的平均分乘以自身的權(quán)重，得到一級(jí)指標(biāo)的得分，將一級(jí)指標(biāo)的得分乘以自身的權(quán)重求得課程的總分，Python語(yǔ)言程序設(shè)計(jì)（4.820 3）、心理學(xué)概論（4.598 7）兩門課程的總分均在4.5分（即優(yōu)秀）以上，圖像處理與平面設(shè)計(jì)課程（4.184 6）總分在4.0分（即良好）以上，表明三門課程建設(shè)質(zhì)量總體評(píng)價(jià)優(yōu)良。截至2020年11月23日，網(wǎng)絡(luò)數(shù)據(jù)顯示，“Python語(yǔ)言程序設(shè)計(jì)”是國(guó)家級(jí)精品課，共已開(kāi)課13期，學(xué)習(xí)受眾累計(jì)2 846 848人，學(xué)員對(duì)課程評(píng)分為4.8；“心理學(xué)概論”是國(guó)家級(jí)精品課，共已開(kāi)課4期，學(xué)習(xí)受眾累計(jì)576 689人；“圖像處理與平面設(shè)計(jì)”是省級(jí)精品課，共已開(kāi)課5期，學(xué)習(xí)受眾累計(jì)6 402人。從網(wǎng)絡(luò)數(shù)據(jù)中可以發(fā)現(xiàn)，“Python語(yǔ)言程序設(shè)計(jì)”課程的學(xué)員評(píng)價(jià)與本模型評(píng)價(jià)結(jié)果一致，而“心理學(xué)概論”和“圖像處理與平面設(shè)計(jì)”課程暫無(wú)網(wǎng)絡(luò)評(píng)價(jià)分?jǐn)?shù)，但從學(xué)習(xí)人數(shù)也基本反映出該兩門慕課的建設(shè)質(zhì)量，這也從側(cè)面反映出與本模型評(píng)價(jià)結(jié)果的吻合性。

四、結(jié) 語(yǔ)

本研究采用文獻(xiàn)調(diào)研和專家評(píng)判，構(gòu)建了包含4個(gè)一級(jí)指標(biāo)、29個(gè)二級(jí)指標(biāo)的慕課質(zhì)量評(píng)價(jià)模型，通過(guò)層次分析法確定了各項(xiàng)指標(biāo)的權(quán)重，并通過(guò)國(guó)內(nèi)三個(gè)慕課平臺(tái)上各選取一門課程進(jìn)行評(píng)價(jià)實(shí)踐，從而檢驗(yàn)該模型的實(shí)用性、可操作性和有效性。該模型的建立有助于慕課平臺(tái)技術(shù)的改進(jìn)，有助于教師的課程設(shè)計(jì)與開(kāi)發(fā)，有助于慕課學(xué)習(xí)者的選課與學(xué)習(xí)，有助于慕課的管理與服務(wù)等。本研究獲得的啟發(fā)：一是內(nèi)容資源建設(shè)要具有高階性、創(chuàng)新性、挑戰(zhàn)度，還要體現(xiàn)時(shí)代性和拓展性；二是教學(xué)方法要注重啟發(fā)式、探究式、協(xié)作式；三是平臺(tái)應(yīng)加強(qiáng)學(xué)習(xí)者行為分析，通過(guò)大數(shù)據(jù)、可視化等方式呈現(xiàn)。本研究也存在以下局限：評(píng)價(jià)模型的信度和效度未做檢驗(yàn)，評(píng)價(jià)指標(biāo)的確立還可以進(jìn)一步細(xì)化和完善。在未來(lái)，慕課質(zhì)量的評(píng)價(jià)對(duì)象將更加多元，評(píng)價(jià)元素將更加多維，評(píng)價(jià)結(jié)果將更加精準(zhǔn)。