基于AHP的MOOC教學(xué)質(zhì)量評(píng)價(jià)研究

張 巖, 劉 冰

(沈陽(yáng)師范大學(xué) 計(jì)算機(jī)與數(shù)學(xué)基礎(chǔ)教學(xué)部, 沈陽(yáng) 110034)

0 引 言

MOOC的全面建設(shè)和推廣變革了教育教學(xué)的手段和模式,線上教學(xué)與線下教學(xué)相結(jié)合的混合型教學(xué)模式成為新型的教學(xué)模式。以往的傳統(tǒng)教學(xué)主要是以線下教學(xué)為主,網(wǎng)絡(luò)教學(xué)通常是作為學(xué)習(xí)資源的提供平臺(tái)而存在。MOOC打破了傳統(tǒng)教學(xué)的模式,以線上教學(xué)為主,提倡學(xué)生自主學(xué)習(xí)、探究性學(xué)習(xí)和研究性學(xué)習(xí),學(xué)習(xí)者的學(xué)習(xí)要求和需求發(fā)生了明顯的變化,學(xué)習(xí)者成為學(xué)習(xí)的主體。MOOC更加注重學(xué)習(xí)者的學(xué)習(xí)體驗(yàn),教學(xué)環(huán)境、教學(xué)資源、學(xué)習(xí)活動(dòng)、個(gè)性化服務(wù)等成為教育者必須考慮的問(wèn)題[1]。教育者主體地位的讓出使教育者發(fā)揮主導(dǎo)作用面臨著嚴(yán)峻的挑戰(zhàn),教育者必須進(jìn)行全面的梳理和深度的思考,并積極地進(jìn)行對(duì)策研究和實(shí)踐,從而把握教育教學(xué)的過(guò)程,引導(dǎo)和促進(jìn)教學(xué)的有效開(kāi)展,保障MOOC的教學(xué)質(zhì)量,進(jìn)一步推動(dòng)教育信息化的進(jìn)程。

層次分析法(analytic hierarchy process,AHP)是一種定性和定量相結(jié)合的分析方法。該方法將與決策相關(guān)的問(wèn)題進(jìn)行層次化。所謂層次化就是根據(jù)問(wèn)題要達(dá)到的目標(biāo),將問(wèn)題成不同的組成因素,并按照各因素之間的相互關(guān)系影響和隸屬關(guān)系將所有因素按若干層次聚集組合,形成一個(gè)包含目標(biāo)層、準(zhǔn)則層、指標(biāo)層和方案層等的多層次的分析結(jié)構(gòu)模型。AHP一般包括建立評(píng)價(jià)層次結(jié)構(gòu)模型、構(gòu)造判斷矩陣、層次單排序及其一致性檢驗(yàn)、層次總排序、層次總排序一致性檢驗(yàn)等步驟[2]。

1 建立MOOC教學(xué)質(zhì)量評(píng)價(jià)層次結(jié)構(gòu)模型

1.1 MOOC教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系的有關(guān)文獻(xiàn)綜述

2011年育部頒布了《教育部關(guān)于國(guó)家精品開(kāi)放課程建設(shè)的實(shí)施意見(jiàn)》(教高〔2011〕8號(hào)),2012年教育部頒布了《精品資源共享課建設(shè)工作實(shí)施辦法》(教高廳〔2012〕2號(hào))指出,中國(guó)大學(xué)資源共享課為高校師生和社會(huì)學(xué)習(xí)者提供運(yùn)用現(xiàn)代信息技術(shù)加工處理后的反映課程教與學(xué)活動(dòng)必需的基本資源,還應(yīng)有反映支持課程教學(xué)和學(xué)習(xí)過(guò)程的多樣性和交互性的輔助資源,并構(gòu)建適合進(jìn)行在線學(xué)習(xí)和交流的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境[3]。2013年《國(guó)家級(jí)精品資源共享課評(píng)審指標(biāo)體系》(本科)制定頒發(fā)。該指標(biāo)體系的評(píng)審對(duì)象為原國(guó)家精品課程且按照精品資源共享課要求完成轉(zhuǎn)型升級(jí)。在該指標(biāo)體系中,課程團(tuán)隊(duì)、課程定位和教學(xué)設(shè)計(jì)、基本資源、拓展資源、課程特色與效果等指標(biāo)可以應(yīng)用于MOOC的評(píng)價(jià)體系中。

根據(jù)《教育部關(guān)于普通高等學(xué)校本科教學(xué)評(píng)估工作的意見(jiàn)》(教高〔2011〕9號(hào))要求,教育部印發(fā)了《普通高等學(xué)校本科教學(xué)工作審核評(píng)估方案》,對(duì)普通高等學(xué)校人才培養(yǎng)目標(biāo)與培養(yǎng)效果的實(shí)現(xiàn)狀況進(jìn)行審核評(píng)估。該評(píng)估指標(biāo)體系具有權(quán)威性和指導(dǎo)性,從中可以提取出應(yīng)用于MOOC的指標(biāo),還有一些指標(biāo)是可以被MOOC借鑒的。如教育教學(xué)水平、課程與教學(xué)等

通過(guò)相關(guān)文獻(xiàn)資料的研究,MOOC教學(xué)質(zhì)量評(píng)價(jià)的指標(biāo)更加凸顯教學(xué)效果、學(xué)生學(xué)習(xí)、教師行為和系統(tǒng)技術(shù)等項(xiàng)目。如將學(xué)生的學(xué)習(xí)態(tài)度、協(xié)作精神等列入評(píng)價(jià)指標(biāo)體系[4];學(xué)習(xí)效果和教學(xué)效果被分開(kāi)并列成為2個(gè)一級(jí)指標(biāo)[5];教學(xué)效果設(shè)計(jì)為一級(jí)指標(biāo),設(shè)計(jì)學(xué)習(xí)者成績(jī)和教學(xué)評(píng)價(jià)等二級(jí)指標(biāo),其中學(xué)習(xí)者成績(jī)的主要觀測(cè)點(diǎn)是學(xué)習(xí)積極性、課程互動(dòng)、學(xué)習(xí)持續(xù)性等,教學(xué)評(píng)價(jià)的主要觀測(cè)點(diǎn)是教師評(píng)價(jià)、同行評(píng)價(jià)、學(xué)習(xí)者評(píng)價(jià)等[6];將學(xué)生學(xué)習(xí)和學(xué)習(xí)評(píng)價(jià)設(shè)計(jì)為一級(jí)指標(biāo),其中學(xué)生學(xué)習(xí)包含學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)策略、自我監(jiān)督、學(xué)習(xí)效果、學(xué)習(xí)收獲等二級(jí)指標(biāo)[7];將教學(xué)活動(dòng)設(shè)計(jì)為一級(jí)指標(biāo),包含教師活動(dòng)和學(xué)生活動(dòng)等二級(jí)指標(biāo),其中教師活動(dòng)的主要觀測(cè)點(diǎn)是知識(shí)講解、課堂組織、教學(xué)行為、問(wèn)答互動(dòng)等,學(xué)生活動(dòng)的主要觀測(cè)點(diǎn)是課程訪問(wèn)情況、課程學(xué)習(xí)情況、在線交互情況等[8];將教學(xué)技術(shù)設(shè)計(jì)為一級(jí)指標(biāo),其中設(shè)計(jì)用戶界面布局和視頻質(zhì)量等二級(jí)指標(biāo),其中用戶界面布局的主要觀測(cè)點(diǎn)是視頻的檢索、分類、控制、切換等性能是否科學(xué)合理等[6];將系統(tǒng)特性和視頻質(zhì)量設(shè)計(jì)為一級(jí)指標(biāo),其中系統(tǒng)特性包含穩(wěn)定性、響應(yīng)速度、兼容性等二級(jí)指標(biāo)[9]。為了降低定性分析,加強(qiáng)定量分析,大量文獻(xiàn)在Delphi(特爾斐)專家評(píng)價(jià)法基礎(chǔ)上,進(jìn)一步采用AHP法計(jì)算確定各種實(shí)際應(yīng)用的評(píng)價(jià)指標(biāo)體系的權(quán)重分配,提高了評(píng)價(jià)的科學(xué)性和權(quán)威性。

1.2 建立層次分析結(jié)構(gòu)模型

通過(guò)對(duì)主要觀測(cè)點(diǎn)的分析比較和分類,并與傳統(tǒng)的教學(xué)評(píng)價(jià)指標(biāo)體系相比,除了教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)設(shè)計(jì)、教學(xué)效果外,MOOC的評(píng)價(jià)指標(biāo)中應(yīng)該突出對(duì)課程資源(包括拓展資源)、學(xué)生及教師活動(dòng)(包括學(xué)生學(xué)習(xí)活動(dòng)和教師的教學(xué)指導(dǎo)和服務(wù)等)、系統(tǒng)性能和設(shè)計(jì)、社會(huì)效益(可以包括在教學(xué)效果中)等指標(biāo)的考量。根據(jù)AHP方法,以科學(xué)合理評(píng)價(jià)MOOC教學(xué)質(zhì)量為目標(biāo)層,以教師隊(duì)伍、課程定位與內(nèi)容、課程資源、教學(xué)設(shè)計(jì)、學(xué)習(xí)活動(dòng)與指導(dǎo)服務(wù)、教學(xué)效果與社會(huì)效益、系統(tǒng)技術(shù)與設(shè)計(jì)等7項(xiàng)為準(zhǔn)則層,以教師素養(yǎng)、學(xué)術(shù)水平、教學(xué)水平、課程目標(biāo)、教學(xué)內(nèi)容、教學(xué)計(jì)劃、教學(xué)組織、教學(xué)方法與手段、教學(xué)評(píng)價(jià)方式、教學(xué)視頻、基本資源、拓展資源、學(xué)習(xí)行為、學(xué)習(xí)氛圍、教師監(jiān)督與指導(dǎo)、個(gè)性化服務(wù)、同行評(píng)教、學(xué)習(xí)者評(píng)教、優(yōu)勢(shì)特色、推廣應(yīng)用、系統(tǒng)性能、媒體技術(shù)質(zhì)量、界面及交互設(shè)計(jì)等23項(xiàng)為指標(biāo)層,構(gòu)建如圖1所示的層次分析結(jié)構(gòu)模型。根據(jù)實(shí)際情況和需要,所用的AHP法沒(méi)有涉及通常AHP層次模型最低端的方案層,也就是不涉及方案的選擇和決策,只設(shè)計(jì)達(dá)成目標(biāo)的各個(gè)層級(jí)的指標(biāo)及其權(quán)重。

圖1 MOOC教學(xué)質(zhì)量的層次分析結(jié)構(gòu)模型Fig.1 analytical hierarchy model of MOOC teaching quality

2 建立MOOC教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系

2.1 構(gòu)造判斷矩陣

從文獻(xiàn)的研究看,一級(jí)指標(biāo)主要集中在教學(xué)內(nèi)容、教學(xué)資源和教學(xué)效果。但是對(duì)3個(gè)一級(jí)指標(biāo)的權(quán)重,文獻(xiàn)和專家的意見(jiàn)不是完全一致。本研究主要依據(jù)《國(guó)家級(jí)精品資源共享課評(píng)審指標(biāo)體系》(本科),協(xié)調(diào)專家意見(jiàn)。從準(zhǔn)則層看,教學(xué)資源、課程定位與內(nèi)容、教學(xué)效果與社會(huì)效益、教師隊(duì)伍、教學(xué)設(shè)計(jì)、教學(xué)活動(dòng)、系統(tǒng)技術(shù)與設(shè)計(jì)等依次表現(xiàn)重要程度,為判斷矩陣的構(gòu)建提供基本要求。

判斷矩陣表示相對(duì)上一層某一因素時(shí),本層次各個(gè)元素之間的兩兩相對(duì)的重要性程度。判斷矩陣的標(biāo)度Mij可以是1～9及其倒數(shù)。當(dāng)2個(gè)因素相比,1表示2個(gè)因素同樣重要,3表示一個(gè)元素比另一個(gè)元素稍微重要,5表示一個(gè)元素比另一個(gè)元素明顯重要,7表示一個(gè)元素比另一個(gè)元素強(qiáng)烈重要,9表示一個(gè)元素比另一個(gè)元素極端重要,2、4、6、8表示上述兩相鄰判斷的中間值,倒數(shù)表示相應(yīng)2個(gè)因素交換次序比較的重要性。根據(jù)文獻(xiàn)數(shù)據(jù)的研究和比較,結(jié)合專家咨詢的建議,構(gòu)建如圖2所示的判斷矩陣。

圖2各層次因素的判斷矩陣
Fig.2JudgmentmatrixofeachLevelfactors

2.2 利用matlab進(jìn)行層次排序和一致性檢驗(yàn)

層次分析法計(jì)算的根本問(wèn)題是求判斷矩陣的最大特征值和其對(duì)應(yīng)的特征向量,計(jì)算方法一般采用近似計(jì)算。當(dāng)n階矩陣A=(aij)n×n的最大特征值λ≈n時(shí),可以確定判斷矩陣具有一致性,則它對(duì)應(yīng)的特征向量W=(w1,w2,…,wn)能夠反映各個(gè)因素的比重。如果判斷矩陣不具有滿意的一致性,則需要調(diào)整判斷矩陣。下面以matlab為計(jì)算工具,利用eig()函數(shù)求矩陣的特征值和特征向量,進(jìn)而完成層次排序和一致性檢驗(yàn)。其中,CI=(λ-n)/(n-1)是一致性指標(biāo);RI是平均隨機(jī)一致性指標(biāo),對(duì)應(yīng)1～9階的矩陣,RI∈(0,0,0.58,0.90,1.12,1.24,1.32,1.41,1.45);CR=CI/RI是一致性比率,當(dāng)CR<0.1,可以認(rèn)為判斷矩陣具有滿意的一致性。根據(jù)圖2分別構(gòu)建名稱為A、B1、B2、B3、B4、B5、B6、B7的數(shù)組,并分別保存為同名的mat矩陣文件,以方便程序分別讀取、計(jì)算和調(diào)整。以A矩陣為例,矩陣的一致性檢驗(yàn)和權(quán)重向量的計(jì)算代碼如下[10]:

clc; %清除命令窗口的內(nèi)容

clear; %清除工作空間的內(nèi)容

loadA.mat;

[V,D]=eig(A); %求矩陣的全部特征值,構(gòu)成對(duì)角陣D;求A的特征向量構(gòu)成V的列向量

hmax=max(D); %求對(duì)角陣D中每一行的最大值

lmd=max(hmax); %求對(duì)角陣D中的最大值

[row,col]=find(D==lmd); %找到最大特征值所在行列位置

W=V(:,col); %獲得對(duì)應(yīng)特征向量

[m,n]=size(A); %獲取矩陣的規(guī)模

CI=(lmd-n)/(n-1); %計(jì)算一致性檢驗(yàn)指標(biāo)CI

RI=[0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45]; %1～9階平均隨機(jī)一致性指標(biāo)

CR=CI/RI(1,n); %計(jì)算一致性比率

ifCR<0.10

WW=zeros(n,1); %生成零矩陣

fori=1:n%特征向量歸一化

WW(i,1)=W(i,1)/sum(W(:,1));

end

WW%輸出權(quán)重向量

LMD%輸出最大特征值

CI%輸出一致性指標(biāo)

RI%輸出隨機(jī)平均一致性指標(biāo)

CR%輸出一致性比率

else

disp('判斷矩陣未通過(guò)一致性檢驗(yàn),需要調(diào)整');

end

2.3 指標(biāo)體系及其權(quán)重結(jié)果

經(jīng)過(guò)反復(fù)調(diào)整判斷矩陣,以及專家的咨詢確認(rèn),最后確定了如圖2所示的判斷矩陣。利用上面的matlab程序?qū)、B1、B2、B3、B4、B5、B6、B7等7個(gè)判斷矩陣進(jìn)行層次排序和一致性檢驗(yàn),結(jié)果如表1所示,其中W表示權(quán)重。

表1 各個(gè)判斷矩陣的層次排序和一致性檢驗(yàn)結(jié)果Table 1 Hierarchical ranking and consistency test results of each judgment matrix

續(xù)表1

WλCIRICRB4WC10WC11WC120.61440.26840.11723.07350.03680.58000.0634B5WC13WC14WC15WC160.56580.10380.28290.04744.00480.00160.90000.0018B6WC17WC18WC19WC200.13990.28230.04480.53314.22620.07540.90000.0838B7WC21WC22WC230.63700.25830.10473.03850.01930.58000.0332

從結(jié)果分析,CR均小于0.1,表明通過(guò)了一致性檢驗(yàn),該層次結(jié)構(gòu)模型和各個(gè)指標(biāo)的權(quán)重合理,可以作為MOOC教學(xué)質(zhì)量評(píng)價(jià)的指標(biāo)體系。假定評(píng)價(jià)采取百分制,在具體評(píng)價(jià)時(shí),自頂向下計(jì)算各個(gè)指標(biāo)的分值MCj=100*WBi*WCj,其中WBi表示第Bi個(gè)準(zhǔn)則的權(quán)重,WCj表示第Bi個(gè)準(zhǔn)則包含的第Cj個(gè)指標(biāo)的權(quán)重?？梢詾槊總€(gè)指標(biāo)制定評(píng)定等級(jí),即A、B、C、D、E,并分別給出對(duì)應(yīng)各個(gè)等級(jí)的系數(shù),即1.0、0.8、0.6、0.4、0.2,則評(píng)價(jià)總分計(jì)算公式為M=∑KiMCj,其中Ki是等級(jí)系數(shù),MCj是指標(biāo)的分值[11]。

3 結(jié) 論

本研究是在MOOC達(dá)到基本要求的假設(shè)和前提之下進(jìn)行的,即假設(shè)MOOC不存在某些明顯的缺陷,而導(dǎo)致課程無(wú)法正常開(kāi)展和傳播。所謂基本要求是指教學(xué)內(nèi)容符合本專業(yè)人才培養(yǎng)目標(biāo),能夠反映本學(xué)科專業(yè)發(fā)展的方向和經(jīng)濟(jì)社會(huì)發(fā)展需求,教學(xué)大綱規(guī)范完備;教師的教學(xué)水平、實(shí)踐指導(dǎo)總體上能夠滿足人才培養(yǎng)目標(biāo)的要求、教學(xué)效果較好、學(xué)生基本滿意;教學(xué)視頻、多媒體課件等設(shè)計(jì)和制作效果好,能有效利用網(wǎng)絡(luò)教學(xué)資源等[12]。采用AHP法構(gòu)建評(píng)價(jià)指標(biāo)體系的層次結(jié)構(gòu)模型,計(jì)算指標(biāo)的分配權(quán)重,利用matlab完成一致性檢驗(yàn),設(shè)計(jì)評(píng)價(jià)指標(biāo)體系實(shí)際應(yīng)用時(shí)評(píng)價(jià)總分的計(jì)算方法。下一步研究工作將是對(duì)評(píng)價(jià)模型的指標(biāo)體系進(jìn)行進(jìn)一步地細(xì)化,設(shè)定詳細(xì)的觀測(cè)點(diǎn),通過(guò)MOOC的廣泛開(kāi)展進(jìn)行實(shí)踐檢驗(yàn)、反饋及調(diào)整。