教師網(wǎng)絡(luò)培訓(xùn)課程評(píng)價(jià)指標(biāo)的設(shè)計(jì)和研究

周丹妮張懷浩

（上海市師資培訓(xùn)中心 上海 200233）

一、研究背景

教師作為教育改革與學(xué)校發(fā)展的第一資源，全面提高教師隊(duì)伍質(zhì)量、引領(lǐng)教師專業(yè)發(fā)展，是全面深化教育改革的必然要求。教師網(wǎng)絡(luò)培訓(xùn)課程的學(xué)習(xí)是教師進(jìn)行繼續(xù)教育的一種專業(yè)成長(zhǎng)路徑。教育部、財(cái)政部印發(fā)《關(guān)于實(shí)施中小學(xué)幼兒園教師國(guó)家級(jí)培訓(xùn)計(jì)劃（2021—2025年）》的通知，提出對(duì)教師培訓(xùn)要提質(zhì)增效，助力教師隊(duì)伍高質(zhì)量發(fā)展，從評(píng)價(jià)和管理方面都提出了新的要求。教師培訓(xùn)需要從課程質(zhì)量著手進(jìn)行改革，建設(shè)優(yōu)質(zhì)的培訓(xùn)課程資源，需要對(duì)其進(jìn)行有效的評(píng)價(jià)。

上海市有18萬名教師通過在線學(xué)習(xí)的方式進(jìn)行培訓(xùn)，網(wǎng)絡(luò)教師培訓(xùn)的課程數(shù)量已經(jīng)達(dá)到1500多門，且做到了中小幼學(xué)段課程資源的全覆蓋。然而我們通過調(diào)研也發(fā)現(xiàn)，部分的課程內(nèi)容不能滿足教師的根本需求，教師培訓(xùn)獲得感不強(qiáng)。這就需要對(duì)在庫課程優(yōu)勝劣汰，對(duì)課程質(zhì)量進(jìn)行評(píng)估。傳統(tǒng)的教師培訓(xùn)課程的評(píng)價(jià)方式主要以評(píng)審專家的視角為主，以個(gè)體經(jīng)驗(yàn)出發(fā)會(huì)帶有主觀色彩，且評(píng)審的過程中缺少學(xué)員的評(píng)價(jià)，這將使得課程的評(píng)價(jià)缺乏客觀性和針對(duì)性。本實(shí)踐研究主要通過課程評(píng)價(jià)指標(biāo)的設(shè)計(jì)和評(píng)價(jià)模型的建立，對(duì)教師培訓(xùn)課程進(jìn)行科學(xué)的評(píng)價(jià)，以此對(duì)課程資源進(jìn)行優(yōu)化和更新，進(jìn)而更好地為教師的專業(yè)發(fā)展助力。

二、相關(guān)概念及理論

武法提指出，“網(wǎng)絡(luò)課程是在課程論、學(xué)習(xí)論、教學(xué)論指導(dǎo)下通過網(wǎng)絡(luò)實(shí)施的以異步自主學(xué)習(xí)為主的課程，是為實(shí)現(xiàn)某學(xué)科領(lǐng)域的課程目標(biāo)而設(shè)計(jì)的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中學(xué)習(xí)內(nèi)容和教學(xué)活動(dòng)的總和”。［1］以上強(qiáng)調(diào)了課程實(shí)施的網(wǎng)絡(luò)環(huán)境，且網(wǎng)絡(luò)課程的學(xué)習(xí)是以自主學(xué)習(xí)為主。從這個(gè)概念的界定中會(huì)發(fā)現(xiàn)，網(wǎng)絡(luò)課程需要借助必要的網(wǎng)絡(luò)環(huán)境和工具才能得以實(shí)施。本文中的教師網(wǎng)絡(luò)培訓(xùn)課程是指在網(wǎng)絡(luò)學(xué)習(xí)環(huán)境下，為了實(shí)現(xiàn)培訓(xùn)的目標(biāo)，把學(xué)習(xí)目標(biāo)、計(jì)劃、內(nèi)容、評(píng)價(jià)等要素融為一體，教師借助軟件工具和學(xué)習(xí)平臺(tái)通過異步自主學(xué)習(xí)的方式，在線開展互動(dòng)討論、任務(wù)協(xié)作、資源共享和知識(shí)建構(gòu)等教學(xué)活動(dòng)，來達(dá)成對(duì)教學(xué)理論和知識(shí)技能的掌握，進(jìn)而提升教師教學(xué)素養(yǎng)和促進(jìn)教師專業(yè)的發(fā)展。

國(guó)內(nèi)外關(guān)于教師培訓(xùn)課程方面的研究主要聚焦于培訓(xùn)課程的認(rèn)證標(biāo)準(zhǔn)、培訓(xùn)課程的用戶體驗(yàn)、培訓(xùn)課程的設(shè)計(jì)與開發(fā)。關(guān)于網(wǎng)絡(luò)課程評(píng)價(jià)，王滿提出，“網(wǎng)絡(luò)課程評(píng)價(jià)是以網(wǎng)絡(luò)課程網(wǎng)站為評(píng)價(jià)對(duì)象，建立合理的指標(biāo)體系，采用正確的評(píng)價(jià)方法，計(jì)算出網(wǎng)絡(luò)課程網(wǎng)站的得分，判斷網(wǎng)絡(luò)課程網(wǎng)站是否符合學(xué)習(xí)者對(duì)該網(wǎng)站的預(yù)期，站內(nèi)資源是否得到充分有效的應(yīng)用，并對(duì)其設(shè)計(jì)、內(nèi)容等方面提出改進(jìn)意見或建議”。［2］劉紅提出，“評(píng)價(jià)是評(píng)定價(jià)值，網(wǎng)絡(luò)課程評(píng)價(jià)隸屬于課程評(píng)價(jià)的范疇，評(píng)價(jià)的目的是為了更好地設(shè)計(jì)、開發(fā)和應(yīng)用網(wǎng)絡(luò)課程。而課程評(píng)價(jià)是運(yùn)用一定的方法和手段，通過系統(tǒng)地收集、分析、整理信息和資料，考查課程目標(biāo)的達(dá)成度或?qū)φn程研制過程、課程計(jì)劃及課程效果做出的價(jià)值判斷”。［3］兩者從不同的角度進(jìn)行概念的界定，前者側(cè)重于學(xué)習(xí)的平臺(tái)即網(wǎng)站的體驗(yàn)度，后者側(cè)重于課程的內(nèi)容、課程目標(biāo)的達(dá)成度。我們綜合兩者的觀點(diǎn)，對(duì)教師網(wǎng)絡(luò)課程培訓(xùn)的課程評(píng)價(jià)界定為，以網(wǎng)絡(luò)教師培訓(xùn)課程為評(píng)價(jià)對(duì)象，通過數(shù)據(jù)采集和分析課程的選課及評(píng)價(jià)數(shù)據(jù)，依托課程評(píng)價(jià)指標(biāo)和模型體系，計(jì)算出教師網(wǎng)絡(luò)培訓(xùn)課程的得分，綜合判斷課程是否滿足教師的學(xué)習(xí)需求，且對(duì)課程的價(jià)值和培訓(xùn)效果做出判斷。課程評(píng)價(jià)指標(biāo)的建立對(duì)保障網(wǎng)絡(luò)課程的質(zhì)量有重要的意義，它以課程資源為中心，在對(duì)教師網(wǎng)絡(luò)課程的管理中，研制標(biāo)準(zhǔn)化的課程準(zhǔn)入、評(píng)價(jià)、淘汰管理機(jī)制，通過教師的學(xué)習(xí)數(shù)據(jù)和評(píng)價(jià)數(shù)據(jù)進(jìn)行評(píng)價(jià)模型的建構(gòu)，利用技術(shù)實(shí)現(xiàn)課程管理的自動(dòng)化，借助數(shù)字技術(shù)將評(píng)價(jià)模型部署在平臺(tái)中，實(shí)現(xiàn)評(píng)價(jià)的自動(dòng)預(yù)警，推動(dòng)教師培訓(xùn)課程質(zhì)量的提升，課程資源實(shí)現(xiàn)良性循環(huán)，賦能教師專業(yè)發(fā)展。

三、教師網(wǎng)絡(luò)培訓(xùn)課程評(píng)價(jià)指標(biāo)的構(gòu)建

層次分析法（Analytic Hierarchy Process，縮寫AHP）是美國(guó)運(yùn)籌學(xué)家賽惕（T.L.Saaty）在20世紀(jì)70年代提出的一種系統(tǒng)分析與決策的綜合評(píng)價(jià)方法。層次分析法是通過建立不同的層次結(jié)構(gòu)，將問題按照總目標(biāo)—子目標(biāo)—各指標(biāo)進(jìn)行因素的分解，然后進(jìn)行若干因素兩兩之間的重要程度比較，再構(gòu)造判斷矩陣，求得各個(gè)層次指標(biāo)的權(quán)重排序，最后加權(quán)求和算出最終的權(quán)重。層次分析法不僅適用于解決網(wǎng)絡(luò)課程評(píng)價(jià)中出現(xiàn)的復(fù)雜問題，也能夠充分融入各學(xué)科專家的集體智慧。［4］

我們通過問卷調(diào)查，收集課程評(píng)價(jià)結(jié)果的問卷數(shù)據(jù)和選課數(shù)據(jù)，利用統(tǒng)計(jì)工具進(jìn)行分析，結(jié)合因子分析法，研究網(wǎng)絡(luò)培訓(xùn)課程評(píng)價(jià)的影響因素，利用層次分析法確定各影響因素所占權(quán)重，以此構(gòu)建教師網(wǎng)絡(luò)培訓(xùn)課程評(píng)價(jià)指標(biāo)體系，為教師培訓(xùn)課程的建設(shè)提供有價(jià)值的參考，同時(shí)也為改革教師培訓(xùn)課程的評(píng)價(jià)方式提供實(shí)踐參考。

（一）問卷的設(shè)計(jì)及檢驗(yàn)

1.問卷的設(shè)計(jì)

為了從多個(gè)角度對(duì)課程的內(nèi)容進(jìn)行評(píng)價(jià)，教師每學(xué)完一門教師培訓(xùn)課程都要完成一次問卷調(diào)查，對(duì)課程進(jìn)行評(píng)價(jià)。課程評(píng)價(jià)問卷包含6個(gè)評(píng)價(jià)維度，分別為：課程體驗(yàn)、課程設(shè)計(jì)、組織管理、學(xué)習(xí)收獲、培訓(xùn)者能力和學(xué)習(xí)共同體，6個(gè)一級(jí)維度下又分別有36個(gè)二級(jí)維度的評(píng)價(jià)問題，具體設(shè)計(jì)見表1。

表1 課程評(píng)價(jià)的維度的問卷設(shè)計(jì)框架

根據(jù)網(wǎng)絡(luò)培訓(xùn)課程的特點(diǎn)，對(duì)教師的培訓(xùn)評(píng)價(jià)問卷從課程的內(nèi)容、學(xué)習(xí)體驗(yàn)、平臺(tái)的管理、主講教師、學(xué)習(xí)的交流等多方面進(jìn)行設(shè)計(jì)，目的是讓教師對(duì)網(wǎng)絡(luò)培訓(xùn)課程整體的情況有全面的評(píng)價(jià)。

2.問卷信效度檢驗(yàn)

本研究采用因子分析方法進(jìn)行信效度驗(yàn)證。由于問卷的數(shù)量比較多，因此選取了2017年秋季的一門課程進(jìn)行檢驗(yàn)，其中包含的問卷數(shù)量為2578份。

信度檢驗(yàn)分析結(jié)果（見表2）是，問卷設(shè)計(jì)的量表中6個(gè)維度的克隆巴赫Alpha系數(shù)都在0.95以上，說明此問卷設(shè)計(jì)的6個(gè)指標(biāo)都是有效的、可信的，問卷整體的信度滿足統(tǒng)計(jì)分析的需要。

表2 信度分析結(jié)果

采用因子分析法進(jìn)行效度檢驗(yàn)，由表3可以看出：KMO取量適切性量數(shù)為0.992，表示此份問卷中的量表非常適合因子分析。巴特利特球形度檢驗(yàn)結(jié)果為：近似卡方值為203724.640，數(shù)值非常大，所對(duì)應(yīng)的P值為0.000＜0.05，因此巴特利特球形度檢驗(yàn)有顯著意義，表明問卷通過效度檢驗(yàn)。

表3 信度分析結(jié)果

（二）評(píng)價(jià)指標(biāo)的設(shè)計(jì)

根據(jù)每年教師在學(xué)習(xí)平臺(tái)上的開課數(shù)據(jù)、選課數(shù)據(jù)和對(duì)課程培訓(xùn)結(jié)束后的評(píng)價(jià)數(shù)據(jù)，對(duì)同一門課程歷年選課的人數(shù)和評(píng)價(jià)問卷的每項(xiàng)結(jié)果，利用數(shù)據(jù)擬合的方式設(shè)計(jì)了教師網(wǎng)絡(luò)課程評(píng)價(jià)的3個(gè)二級(jí)指標(biāo)和6個(gè)三級(jí)指標(biāo)（見表4）。

表4 課程評(píng)價(jià)體系指標(biāo)模型

當(dāng)課程的某個(gè)指標(biāo)大于同課程指標(biāo)的80分位數(shù)時(shí)，我們認(rèn)為這門課程在這個(gè)指標(biāo)下表現(xiàn)十分優(yōu)秀，給予“優(yōu)秀”標(biāo)簽；當(dāng)課程的某個(gè)指標(biāo)小于同類課程指標(biāo)的80分位數(shù)、大于40分位數(shù)時(shí)，我們認(rèn)為這門課程在這個(gè)指標(biāo)的表現(xiàn)情況一般，給予“良好”標(biāo)簽；當(dāng)課程的某個(gè)指標(biāo)小于同類課程指標(biāo)的40分位數(shù)時(shí)，我們認(rèn)為這門課程在這個(gè)指標(biāo)的表現(xiàn)情況欠佳，給予“警告”標(biāo)簽。利用這樣的指標(biāo)模型對(duì)課程進(jìn)行整體的評(píng)估。

1.培訓(xùn)效果

課程總體的培訓(xùn)效果由學(xué)員（參訓(xùn)教師）對(duì)所學(xué)的課程全過程的評(píng)價(jià)、課程選擇人數(shù)、課程持續(xù)時(shí)長(zhǎng)來反映?；谶@三方面建立3個(gè)三級(jí)指標(biāo)：課程滿意度、滿座率和持續(xù)率。3個(gè)指標(biāo)分別采用的數(shù)據(jù)和計(jì)算方式如下：

（1）課程滿意度

培訓(xùn)結(jié)束后，向每一位學(xué)員發(fā)放調(diào)查問卷，收集學(xué)員在課程體驗(yàn)、課程設(shè)計(jì)、組織管理、培訓(xùn)收獲、培訓(xùn)者能力、學(xué)習(xí)共同體6個(gè)維度的評(píng)分。6個(gè)維度的加權(quán)平均分即為課程得分。

其中：

比如：課程體驗(yàn)我們共采集了三類數(shù)據(jù)，分別是問卷設(shè)計(jì)中的Q1：總觀感、Q2：是否愿意推薦給同事、Q3：整體學(xué)習(xí)體驗(yàn)，故：

所以：

（2）滿座率

課堂人數(shù)可以有效反映課程的優(yōu)質(zhì)程度，課程選課人數(shù)與期望選課人數(shù)的比值即為滿座率。

第k門課程在第j開課時(shí)段的學(xué)員總?cè)藬?shù)為mnk,j，與第k門課程同一培訓(xùn)方式的課程在第j開課時(shí)段的期望人數(shù)為mznk,j，則第k門課程在第j開課時(shí)段的課程滿座率為：則第k門課程整體課程滿座率為：

其中，MEANj(·)表示對(duì)下標(biāo)j求均值。

第k門課程在開課時(shí)段內(nèi)學(xué)科熱度的波動(dòng)率為：

其中，ONk為課程開課時(shí)段數(shù)為開課時(shí)段內(nèi)課程學(xué)科熱度的最大值，CMZk,j為其第j次開課時(shí)的課程學(xué)科熱度，故：

（3）持續(xù)率

課程持續(xù)學(xué)期長(zhǎng)短可以有效說明課程連續(xù)情況，開課次數(shù)占應(yīng)開次數(shù)的比值即為持續(xù)率。

第k門課程首開課時(shí)間為skk，應(yīng)開時(shí)段為ykk，則第k門課程的課程持續(xù)率為：

指標(biāo)CCXk值越大，表明課程的持續(xù)率越高，連續(xù)開課率越高，課程連續(xù)性越能得到很好的保證。

培訓(xùn)效果是教師網(wǎng)絡(luò)培訓(xùn)結(jié)束后，對(duì)課程的整體情況進(jìn)行的評(píng)價(jià)及指標(biāo)的設(shè)計(jì)，從教師對(duì)一門課程的問卷評(píng)價(jià)，到這門課程近幾年的開課情況是否連續(xù)，以及課程的選課人數(shù)的多少進(jìn)行標(biāo)準(zhǔn)化的計(jì)算，可以多維度地對(duì)課程進(jìn)行評(píng)價(jià)。

2.針對(duì)性

培訓(xùn)課程有通識(shí)類的課程和專業(yè)（學(xué)科）類的課程。為了評(píng)價(jià)所開設(shè)的課程是否受學(xué)科教師的歡迎、選課教師與課程類別的一致性，進(jìn)而設(shè)計(jì)課程“針對(duì)性”的指標(biāo)，目的是可以對(duì)課程進(jìn)行分層分類的評(píng)價(jià)。針對(duì)性包括課程設(shè)置針對(duì)性和學(xué)員選課針對(duì)性，故設(shè)計(jì)兩個(gè)三級(jí)指標(biāo)：匹配度和青睞度。

（1）匹配度

課程分為通識(shí)課和專業(yè)課（學(xué)科類），僅專業(yè)課（學(xué)科類）有匹配度這一三級(jí)指標(biāo)。在專業(yè)課中，與課程適用學(xué)科保持一致的學(xué)員占選課總?cè)藬?shù)的比例為匹配度。課程的匹配度越高，說明該課程更適用于該學(xué)科，專業(yè)性更強(qiáng)。

第k門課程在第j開課時(shí)段與課程適用學(xué)科保持一致的學(xué)員人數(shù)為snk,j，第k門課程在第j開課時(shí)段選課總?cè)藬?shù)為nk,j，則第k門課程在第j開課時(shí)段的課程匹配度為：

則第k門課程整體課程匹配度為：

其中，MEANj(·)表示對(duì)下標(biāo)j求均值。

第k門課程在開課時(shí)段內(nèi)有效輻射區(qū)的數(shù)量的波動(dòng)率為：

其中，ONk為課程開課時(shí)段數(shù)為開課時(shí)段內(nèi)課程匹配度的最大值，CPPk,j為其第j次開課時(shí)的課程匹配度，故：

（2）青睞度

在學(xué)員選課針對(duì)性方面，適用該學(xué)科的學(xué)員對(duì)該門課程的喜愛程度越高，同一適用學(xué)科范圍內(nèi)該門課程的選課的人數(shù)越多。故青睞度表示同一適用學(xué)科范圍內(nèi)，課程選課人數(shù)占該類學(xué)科學(xué)員總?cè)藬?shù)的比例。與第k門課程所屬同一適用學(xué)科的課程在第j開課時(shí)段的學(xué)員總?cè)藬?shù)為xknk,j，第k門課程在第j開課時(shí)段選課總?cè)藬?shù)為nk,j，則第k門課程在第j開課時(shí)段的課程青睞度為：

則第k門課程整體課程青睞度為：

其中，MEANj(·)表示對(duì)下標(biāo)j求均值。

第k門課程在開課時(shí)段內(nèi)青睞度的波動(dòng)率為：

其中，ONk為課程開課時(shí)段數(shù)為開課時(shí)段內(nèi)課程青睞度的最大值，CQLk,j為其第j次開課時(shí)的課程青睞度，故：

課程的匹配度和青睞度指標(biāo)的設(shè)計(jì)，是從課程的面到點(diǎn)的評(píng)價(jià)，具體會(huì)對(duì)每一門課程與選課教師之間的關(guān)系以及課程的熱度相關(guān)聯(lián)，對(duì)課程進(jìn)行分類的評(píng)價(jià)，獲取不同的評(píng)價(jià)數(shù)據(jù)，同時(shí)可以了解課程的開設(shè)情況與教師的學(xué)習(xí)情況，為以后的建設(shè)做參考依據(jù)。

3.覆蓋面

一門課程的影響力和產(chǎn)生的用戶黏性及吸引力，在一定程度上也能代表課程的質(zhì)量，因此課程能夠吸引多個(gè)區(qū)學(xué)員的選擇，則代表該課程對(duì)多個(gè)區(qū)達(dá)到了有效的覆蓋。在覆蓋面方面，設(shè)置了輻射廣度一個(gè)三級(jí)指標(biāo)，即課程有效輻射到區(qū)的數(shù)量，可以有效刻畫課程輻射到區(qū)的情況（傳播力）。好的課程應(yīng)該具有較強(qiáng)的傳播力，在多個(gè)地區(qū)都造成影響，且這種影響應(yīng)是持續(xù)的。因此，課程廣度越大，課程越優(yōu)質(zhì)。下面以上海市為例：

考慮到上海市共有16個(gè)區(qū)，則第k門課程在第j開課時(shí)段輻射到區(qū)的有效數(shù)量CRWk,j為：

其中，I(·)為示性函數(shù)，判斷第k門課程j開課時(shí)段在第i區(qū)教師人次數(shù)nk,j,i是否不低于10人次。則第k門課程整體有效輻射到區(qū)的數(shù)量為：

其中，MEANj(·)表示對(duì)下標(biāo)j求均值。

第k門課程在開課時(shí)段內(nèi)有效輻射區(qū)的數(shù)量的波動(dòng)率為：

其中，ONk為課程開課時(shí)段數(shù)，為開課時(shí)段內(nèi)有效輻射到區(qū)（在時(shí)段內(nèi)輻射到區(qū)的教師人數(shù)不低于10人為有效）的數(shù)量的最大值，CRWk,j為其第j次開課時(shí)有效輻射到區(qū)的數(shù)量。

與傳統(tǒng)的網(wǎng)絡(luò)課程評(píng)價(jià)的方式不同，這里設(shè)置了課程的覆蓋面的指標(biāo)，主要是考慮到課程的影響力與學(xué)員黏性之間的關(guān)系，網(wǎng)絡(luò)課程不同于線下的課程，不受時(shí)間和物理空間的限制，學(xué)員可以通過網(wǎng)絡(luò)自主選課，課程的覆蓋面與多種因素有關(guān)。作為一個(gè)評(píng)價(jià)指標(biāo)，可以通過數(shù)據(jù)分析和計(jì)算了解課程的情況，對(duì)后續(xù)同類課程建設(shè)決策和推廣有借鑒價(jià)值。

（三）評(píng)價(jià)指標(biāo)權(quán)重的確定

權(quán)重表示在評(píng)價(jià)過程中，是被評(píng)價(jià)對(duì)象的不同側(cè)面的重要程度定量分配，對(duì)各評(píng)價(jià)因子在總體評(píng)價(jià)中的作用區(qū)別對(duì)待。在課程的評(píng)價(jià)指標(biāo)設(shè)計(jì)之后需要對(duì)6個(gè)二級(jí)指標(biāo)進(jìn)行不同權(quán)重的配比。指標(biāo)權(quán)重的計(jì)算方法有很多，比如德爾菲法、專家平均法、ANP（網(wǎng)絡(luò)分析法）、熵值法。通過研究和對(duì)比，本次采用層次分析法進(jìn)行三級(jí)指標(biāo)權(quán)重的分配。

1.構(gòu)建層次結(jié)構(gòu)模型

利用層次分析法構(gòu)建層次結(jié)構(gòu)模型，模型分為目標(biāo)層、準(zhǔn)則層和方案層3個(gè)層次，分別對(duì)應(yīng)：師資培訓(xùn)課程評(píng)價(jià)；評(píng)價(jià)指標(biāo)的3個(gè)維度，即為二級(jí)指標(biāo)；三級(jí)指標(biāo)（見圖1）。

圖1 層次結(jié)構(gòu)模型

2.構(gòu)造判斷矩陣

設(shè)計(jì)專家問卷打分表，利用相對(duì)重要性等級(jí)表（見表5）評(píng)價(jià)層次結(jié)構(gòu)模型中三級(jí)指標(biāo)之間的重要程度。邀請(qǐng)10位專家填寫問卷打分表，根據(jù)評(píng)價(jià)指標(biāo)體系中各要素進(jìn)行兩兩打分，構(gòu)造三級(jí)指標(biāo)判斷矩陣。表6為某一專家的判斷矩陣。

表5 相對(duì)重要性等級(jí)表

表6 某一專家的判斷矩陣

3.一致性檢驗(yàn)

下面需要根據(jù)一致性比率CR對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)，當(dāng)判斷矩陣的一致性是在可接受的范圍內(nèi)，即各元素間的邏輯關(guān)系比較正確時(shí)，判斷矩陣可以用來計(jì)算指標(biāo)權(quán)重，否則需要對(duì)判斷矩陣進(jìn)行修正。

為衡量CI的大小，引入隨機(jī)一致性指標(biāo)RI：RI的值與判斷矩陣的階數(shù)有關(guān)，一般情況下，矩陣階數(shù)越大，則出現(xiàn)一致性隨機(jī)偏離的可能性也越大，其對(duì)應(yīng)關(guān)系如表7：

表7 平均隨機(jī)一致性指標(biāo)RI標(biāo)準(zhǔn)值

一般情況下，當(dāng)CR＜0.1時(shí)，則認(rèn)為該判斷矩陣 通過一致性檢驗(yàn)，否則就不具有滿意一致性，需要重新調(diào)整判斷矩陣。

4.確定評(píng)價(jià)指標(biāo)體系及權(quán)重

通過一致性檢驗(yàn)的判斷矩陣計(jì)算各指標(biāo)的權(quán)重。計(jì)算判斷矩陣的特征值和特征向量，將最大特征值對(duì)應(yīng)的特征向量進(jìn)行歸一化處理即為各指標(biāo)的重要性權(quán)重。通過4位專家為指標(biāo)體系進(jìn)行矩陣打分，最終取得指標(biāo)的權(quán)重配比：課程匹配度為12.87%，課程青睞度為3.46%，課程滿座率為25.17%，課程持續(xù)率為9.95%，課程輻射廣度為5.74%，課程滿意度為42.82%。最終課程評(píng)價(jià)得分為6個(gè)三級(jí)指標(biāo)的加權(quán)求和。

四、評(píng)價(jià)指標(biāo)的實(shí)證研究

（一）評(píng)價(jià)的對(duì)象和主體

1.評(píng)價(jià)對(duì)象

我們依托上海市教師教育管理平臺(tái)，將在庫的1500多門網(wǎng)絡(luò)培訓(xùn)課程作為研究對(duì)象，收集了2016年秋至2020年秋，共計(jì)9個(gè)學(xué)期、18萬條教師的選課數(shù)據(jù)及50余萬條評(píng)價(jià)數(shù)據(jù)，通過數(shù)據(jù)的清洗、分析和處理，利用上述評(píng)價(jià)指標(biāo)體系對(duì)課程進(jìn)行綜合評(píng)價(jià)。

2.評(píng)價(jià)主體

評(píng)價(jià)主體是在學(xué)習(xí)平臺(tái)中對(duì)所選的課程進(jìn)行評(píng)價(jià)的教師（學(xué)員），同時(shí)也包含評(píng)價(jià)體系的構(gòu)建者及學(xué)科專家，本研究選取了52位不同學(xué)科的專家和4位評(píng)價(jià)體系的構(gòu)建者作為評(píng)價(jià)的主體。

（二）評(píng)價(jià)的結(jié)果分析

1.評(píng)價(jià)課程篩選

平臺(tái)中由于課程的時(shí)間跨度大，開課情況較為復(fù)雜，如直接利用指標(biāo)體系模型進(jìn)行課程的評(píng)價(jià)，難以判斷課程的差異化，因此對(duì)1500多門的課程進(jìn)行了條件的設(shè)置，滿足以下幾類條件后可利用指標(biāo)模型進(jìn)行評(píng)價(jià)。

（1）平均選課人數(shù)要求：同一門課程的多次選課人數(shù)進(jìn)行平均，得到該課程的平均選課人數(shù)。

（2）開課次數(shù)要求：要求2016年秋至2020年秋之間，開課次數(shù)不少于2次。

（3）近期開課要求：早期課程，要求其至少需要在最近兩年內(nèi)有過開課記錄；對(duì)于新開課程，要求其至少在最近一年半內(nèi)有過開課記錄。

（4）課程總得分（問卷得分總計(jì)）：基于學(xué)科類別，根據(jù)課程得分對(duì)課程進(jìn)行分類篩選。要求同學(xué)科課程中，課程得分小于所有課程得分中位數(shù)。

（5）課程學(xué)習(xí)方式：課程的學(xué)習(xí)方式以網(wǎng)絡(luò)（在線）培訓(xùn)課程為主。

經(jīng)過課程的篩選，最后剩余236門課程。

2.分析結(jié)果

利用評(píng)價(jià)指標(biāo)的體系及算法模型，對(duì)符合我們?cè)u(píng)價(jià)條件的236門課程進(jìn)行評(píng)價(jià)，通過篩選后課程的表現(xiàn)情況相對(duì)較好（見表8），6個(gè)指標(biāo)大部分都處于良好及優(yōu)秀階段，處于警告階段的數(shù)目非常少，質(zhì)量相對(duì)較好。

表8 課程評(píng)價(jià)指標(biāo)分析結(jié)果

3.專家評(píng)價(jià)

使用層次分析法對(duì)課程指標(biāo)進(jìn)行權(quán)重的配比，需要對(duì)課程的權(quán)重配比及課程的情況和內(nèi)容通過專家的現(xiàn)場(chǎng)評(píng)價(jià)進(jìn)行驗(yàn)證，確保數(shù)據(jù)分析后的結(jié)果與專家的評(píng)價(jià)視角在一個(gè)維度上，然后對(duì)課程的整體情況進(jìn)行分解。因此每門課程最終的評(píng)價(jià)由3位專家通過背靠背的方式進(jìn)行評(píng)審，最終40門課程被評(píng)為優(yōu)質(zhì)課程。

五、研究的局限性與未來展望

評(píng)價(jià)指標(biāo)的設(shè)計(jì)可以判斷課程的基本情況，但是仍存在一些局限性。在評(píng)價(jià)過程中，因?yàn)樵姓n程信息不完整，需要對(duì)課程的學(xué)科設(shè)置進(jìn)行判斷和標(biāo)簽劃分，會(huì)存在主觀性。還有一些課程存在數(shù)據(jù)缺損的現(xiàn)象，如未提供最少人數(shù)學(xué)期所在的時(shí)間階段，無法判斷是處于前期還是后期，對(duì)課程的分析會(huì)產(chǎn)生一定程度的影響。同時(shí)評(píng)價(jià)的指標(biāo)需要經(jīng)過實(shí)踐積累不斷地驗(yàn)證，教師網(wǎng)絡(luò)培訓(xùn)課程的評(píng)價(jià)是一個(gè)比較復(fù)雜的工程，涉及大量的數(shù)據(jù)和指標(biāo)，同時(shí)需要與一線教師、課程設(shè)計(jì)者、平臺(tái)管理者、教育技術(shù)專家、學(xué)科專家等進(jìn)行多方咨詢和論證才能形成有效評(píng)價(jià)。

教師網(wǎng)絡(luò)培訓(xùn)課程評(píng)價(jià)的基本出發(fā)點(diǎn)是更好地促進(jìn)教師的專業(yè)發(fā)展，而評(píng)價(jià)所能起到的作用是明確教師的培訓(xùn)目標(biāo)、反思課程的結(jié)構(gòu)、調(diào)整課程的比重和結(jié)構(gòu)、將數(shù)據(jù)技術(shù)應(yīng)用于教師培訓(xùn)課程的評(píng)價(jià)，通過獲得更多原始基礎(chǔ)數(shù)據(jù)，挖掘更多的相關(guān)信息，印證和揭示更有價(jià)值的在線教師培訓(xùn)課程。未來可建立一套供上海市、區(qū)、校三級(jí)聯(lián)動(dòng)的課程管理機(jī)制，實(shí)現(xiàn)課程管理的體系化和規(guī)范科學(xué)性，建立課程的準(zhǔn)入、準(zhǔn)出、評(píng)優(yōu)標(biāo)準(zhǔn)，聯(lián)動(dòng)三級(jí)管理機(jī)構(gòu)進(jìn)行模塊化的管理。