網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)與實(shí)現(xiàn)

劉永福 李靜輝

【摘 要】

目前我國(guó)網(wǎng)絡(luò)課程的評(píng)價(jià)指標(biāo)體系的可操作性不強(qiáng)，因而限制了其進(jìn)一步的推廣和完善。針對(duì)這一情況，研究者借鑒國(guó)外在線課程評(píng)價(jià)標(biāo)準(zhǔn)的研制思路，結(jié)合國(guó)內(nèi)外學(xué)者的研究成果，在分析網(wǎng)絡(luò)課程特性的基礎(chǔ)上提出了新的網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系；運(yùn)用層次分析法確定了各級(jí)指標(biāo)的權(quán)重，通過(guò)驗(yàn)證、檢測(cè)形成了包含4個(gè)維度、26個(gè)二級(jí)指標(biāo)的在線評(píng)價(jià)指標(biāo)體系。實(shí)驗(yàn)結(jié)果表明，在線評(píng)價(jià)指標(biāo)體系的權(quán)重評(píng)判的一致性程度理想，評(píng)價(jià)體系具有很強(qiáng)的操作性和開(kāi)放性。

【關(guān)鍵詞】 網(wǎng)絡(luò)課程；評(píng)價(jià)體系；設(shè)計(jì)；實(shí)現(xiàn)

【中圖分類(lèi)號(hào)】 G40-057 【文獻(xiàn)標(biāo)識(shí)碼】 A 【文章編號(hào)】 1009—458x（2015）08—0057—07

一、引言

教育部提出了“實(shí)施現(xiàn)代遠(yuǎn)程教育工程，形成開(kāi)放式教育網(wǎng)絡(luò)，構(gòu)建終身學(xué)習(xí)體系” [1]，“建立和完善繼續(xù)教育制度，適應(yīng)終身學(xué)習(xí)和知識(shí)更新的需要。依托現(xiàn)代遠(yuǎn)程教育網(wǎng)絡(luò)開(kāi)設(shè)高質(zhì)量的網(wǎng)絡(luò)課程，實(shí)現(xiàn)跨越時(shí)空的教育資源共享”[2]等一系列有力舉措。這些政策極大地調(diào)動(dòng)了遠(yuǎn)程教育工作者建設(shè)網(wǎng)絡(luò)課程的積極性，掀起了我國(guó)網(wǎng)絡(luò)課程建設(shè)的高潮。2002年教育部信息化標(biāo)準(zhǔn)技術(shù)委員會(huì)發(fā)布了關(guān)于網(wǎng)絡(luò)課程評(píng)價(jià)的教育信息化技術(shù)標(biāo)準(zhǔn)——《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（標(biāo)準(zhǔn)草案征求意見(jiàn)稿）》，但這個(gè)規(guī)范在權(quán)重賦值等方面還不夠完善。一個(gè)科學(xué)的評(píng)價(jià)指標(biāo)體系，其構(gòu)建一般應(yīng)包括確定評(píng)價(jià)指標(biāo)、確定指標(biāo)權(quán)重、確定指標(biāo)標(biāo)準(zhǔn)三方面的內(nèi)容。[3]以往的網(wǎng)絡(luò)課程評(píng)價(jià)大多是對(duì)學(xué)習(xí)者學(xué)習(xí)成果的評(píng)價(jià)，本研究的側(cè)重點(diǎn)主要針對(duì)教學(xué)內(nèi)容、學(xué)習(xí)資源和寓于內(nèi)容之中的教學(xué)策略和學(xué)習(xí)策略的評(píng)價(jià)，從系統(tǒng)論的角度出發(fā)，對(duì)涉及學(xué)生、教師、學(xué)習(xí)資料、網(wǎng)絡(luò)教學(xué)支撐系統(tǒng)、學(xué)習(xí)支持與服務(wù)系統(tǒng)中的各個(gè)部分的關(guān)聯(lián)情況和綜合性能進(jìn)行評(píng) 價(jià)。[4]

研究者通過(guò)對(duì)大量文獻(xiàn)資料的查閱與分析，總結(jié)國(guó)外網(wǎng)絡(luò)課程評(píng)價(jià)標(biāo)準(zhǔn)具有以下幾個(gè)特點(diǎn)： ① 突出了交互的重要性。在網(wǎng)絡(luò)課程中，不僅師生之間在空間上是分離的，學(xué)習(xí)者之間也是分離的。② 重視對(duì)創(chuàng)設(shè)學(xué)習(xí)環(huán)境的情況的評(píng)價(jià)。網(wǎng)絡(luò)課程絕不是簡(jiǎn)單地把黑板、講臺(tái)、教材、圖書(shū)館搬到網(wǎng)上。網(wǎng)絡(luò)雖然是虛擬的，但人們卻可以通過(guò)這種虛擬把實(shí)質(zhì)存在的內(nèi)容乃至關(guān)系映射出來(lái)。③ 教學(xué)管理與支持的評(píng)價(jià)內(nèi)容占很大比重。我國(guó)的“全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)教育技術(shù)分技術(shù)委員會(huì)”制定了一系列與網(wǎng)絡(luò)教育密切相關(guān)的規(guī)范和標(biāo)準(zhǔn)，其中《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范》被放在“教育管理”一類(lèi)里，這說(shuō)明評(píng)價(jià)具有監(jiān)督與管理的功能。④ 技術(shù)方面的評(píng)價(jià)內(nèi)容比較少。國(guó)外標(biāo)準(zhǔn)與國(guó)內(nèi)構(gòu)建的評(píng)價(jià)標(biāo)準(zhǔn)明顯不同的一個(gè)特點(diǎn)就是在技術(shù)方面規(guī)定的評(píng)價(jià)內(nèi)容和權(quán)重比較少。這些標(biāo)準(zhǔn)主要的權(quán)重都集中在教學(xué)方面，重視網(wǎng)絡(luò)課程的可用性評(píng)價(jià)。⑤ 標(biāo)準(zhǔn)實(shí)施的商業(yè)化。這是國(guó)外標(biāo)準(zhǔn)最突出的特點(diǎn)。標(biāo)準(zhǔn)制定出來(lái)了，如果不能得到廣泛使用，也就沒(méi)有什么價(jià)值。國(guó)外一般的做法是成立認(rèn)證中心。E-Learning Courseware Certification（數(shù)字學(xué)習(xí)課件認(rèn)證）的制定者美國(guó)培訓(xùn)與發(fā)展協(xié)會(huì)（ASTD）作為國(guó)際化的培訓(xùn)協(xié)會(huì)，在網(wǎng)上建立了全套的網(wǎng)上認(rèn)證遞單系統(tǒng)，以“幫助用戶(hù)做購(gòu)買(mǎi)決策，幫助廠家增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力，全面提高E-Learning課程質(zhì)量”為口號(hào)，接收所有人的申請(qǐng)，提供價(jià)值不菲的課程評(píng)估，每門(mén)課程的評(píng)估費(fèi)用根據(jù)課程教學(xué)時(shí)間長(zhǎng)短而定。因?yàn)榫W(wǎng)上課程評(píng)估需要專(zhuān)家的參與，并不能完全成為生產(chǎn)線操作，所以成本會(huì)很高。而且，這些指標(biāo)是取得好的教學(xué)效果的必要條件，但不是充分條件，最好將其作為引導(dǎo)性的規(guī)范，而不是營(yíng)利性的產(chǎn)品。考察以上所介紹的網(wǎng)絡(luò)課程評(píng)價(jià)研究，研究者發(fā)現(xiàn)，國(guó)外的大部分網(wǎng)絡(luò)課程評(píng)價(jià)方案關(guān)注的是學(xué)習(xí)環(huán)境或網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)，并非對(duì)網(wǎng)絡(luò)課程本身的評(píng)價(jià)?！熬W(wǎng)絡(luò)課程”似乎是中國(guó)教育界特有的稱(chēng)謂，在國(guó)外相關(guān)的文獻(xiàn)資料中我們只能看到類(lèi)似的一些概念，如在線課程（online course）、基于網(wǎng)絡(luò)的課程（web-based course）等。所以對(duì)于網(wǎng)絡(luò)課程本身來(lái)說(shuō)，依舊缺乏標(biāo)準(zhǔn)或質(zhì)量認(rèn)證體系。同時(shí)，不能直接奉行“拿來(lái)主義”，中國(guó)有自己的國(guó)情和網(wǎng)絡(luò)教育發(fā)展的特點(diǎn)，在參考國(guó)外資料的同時(shí)，應(yīng)該進(jìn)行本土化的改造工作，融入具有中國(guó)教育特色的內(nèi)容和先進(jìn)的教育教學(xué)評(píng)價(jià)理論，使之更適合評(píng)價(jià)我們自己的網(wǎng)絡(luò)課程。

目前除評(píng)價(jià)標(biāo)準(zhǔn)、指標(biāo)體系的建立之外，評(píng)價(jià)實(shí)施的過(guò)程也存在一些問(wèn)題：一是評(píng)價(jià)者單一，一般都是在教育部門(mén)進(jìn)行統(tǒng)一評(píng)估時(shí)，參與者提交自己的課程，然后由組織者聘請(qǐng)遠(yuǎn)程教育專(zhuān)家采用商定的統(tǒng)一指標(biāo)體系進(jìn)行評(píng)價(jià)。這樣的方式忽略了使用網(wǎng)絡(luò)課程的學(xué)習(xí)者和教師的使用感受和意見(jiàn)，而課程的科學(xué)性也需要本學(xué)科的專(zhuān)家來(lái)鑒定，這種只采用遠(yuǎn)程教育專(zhuān)家評(píng)價(jià)的方式顯然不夠全面和公正。二是評(píng)價(jià)方法主要采用量化評(píng)價(jià)法，缺少定性評(píng)價(jià)和分析。由于考慮到可操作性和客觀性，大多采用指標(biāo)量表進(jìn)行評(píng)價(jià)，以避免主觀隨意性，但是這種量表不能反映出指標(biāo)體系之外的內(nèi)容，不能廣泛地收集意見(jiàn)和建議。如何協(xié)調(diào)好主觀和客觀的關(guān)系，明確定性分析和定量分析的比例，設(shè)計(jì)出既避免主觀隨意性又能收集廣泛意見(jiàn)的評(píng)價(jià)指標(biāo)體系，是目前網(wǎng)絡(luò)課程評(píng)價(jià)工作的重點(diǎn)和難點(diǎn)。

本研究的評(píng)價(jià)標(biāo)準(zhǔn)依據(jù)的是美國(guó)密歇根虛擬大學(xué)（Michigan Virtual University）制定的一套在線教學(xué)設(shè)計(jì)（online instruction design）評(píng)價(jià)標(biāo)準(zhǔn)，以下簡(jiǎn)稱(chēng)MVU-OID標(biāo)準(zhǔn)。[5]該標(biāo)準(zhǔn)認(rèn)為，在評(píng)價(jià)任何一門(mén)網(wǎng)絡(luò)課程以前，首先要確定這門(mén)網(wǎng)絡(luò)課程的開(kāi)放程度如何，不同的開(kāi)放程度將導(dǎo)致不同的課程呈現(xiàn)方式，因而也應(yīng)有不同的評(píng)價(jià)方式。除了理念之外，這套標(biāo)準(zhǔn)最大的特點(diǎn)就是具有很強(qiáng)的可操作性和實(shí)用性，開(kāi)發(fā)者把它做成Excel電子數(shù)據(jù)表，簡(jiǎn)便易用，評(píng)價(jià)者只需到相應(yīng)的網(wǎng)址注冊(cè)即可免費(fèi)獲得該評(píng)價(jià)工具。教學(xué)要素包含目標(biāo)、解釋、例證、實(shí)踐、反饋和評(píng)估；強(qiáng)調(diào)績(jī)效對(duì)于學(xué)習(xí)過(guò)程的重要性；開(kāi)發(fā)者把真實(shí)的學(xué)習(xí)看作可測(cè)量的而且必須被測(cè)量，所有在線教學(xué)活動(dòng)應(yīng)該能夠通過(guò)測(cè)試來(lái)發(fā)現(xiàn)它們是否有效。比如從“你是否喜歡這個(gè)課程”到“你在關(guān)于你是否學(xué)習(xí)了某些東西的評(píng)價(jià)方面得了多少分”的改變。需要指出的是，MVU-OID標(biāo)準(zhǔn)中的教學(xué)設(shè)計(jì)與通常所說(shuō)的教學(xué)設(shè)計(jì)有所不同。傳統(tǒng)意義上的教學(xué)設(shè)計(jì)一般是指教學(xué)需求分析、學(xué)習(xí)者分析、教學(xué)內(nèi)容分析、策略選擇、媒體選擇、評(píng)價(jià)工具制定、實(shí)行評(píng)價(jià)和修改等步驟和過(guò)程。但MVU-OID評(píng)價(jià)工具中的教學(xué)設(shè)計(jì)評(píng)價(jià)更多是從網(wǎng)絡(luò)課程在學(xué)生完成預(yù)期學(xué)習(xí)目標(biāo)上的輔助和指導(dǎo)作用出發(fā)的， 而且這些指標(biāo)與課程的目標(biāo)直接相關(guān)。[6]

二、MVU-OID標(biāo)準(zhǔn)分析

（一）維度和一級(jí)指標(biāo)

MVU-OID包含四個(gè)維度，即技術(shù)性（T）、可及性（A）、可用性（U）和教學(xué)設(shè)計(jì)（ID）。[7]每個(gè)維度下又包含若干一級(jí)指標(biāo)。技術(shù)性維度包含三個(gè)一級(jí)指標(biāo)，分別是T1（技術(shù)要求的確定）、T2（學(xué)習(xí)者技能的確定）、T3（技術(shù)的功能性）?？杉靶跃S度包含A1（基本內(nèi)容）、A2（表格和框架）、A3（媒體）三個(gè)一級(jí)指標(biāo)。可用性維度包含五個(gè)一級(jí)指標(biāo)，分別是U1（界面的一致性）、U2（學(xué)習(xí)者支持）、U3（導(dǎo)航的有效性和高效性）、U4（圖形和多媒體的功能）、U5（交流的整合）。教學(xué)設(shè)計(jì)維度包含十三個(gè)一級(jí)指標(biāo)，分別是F（回憶事實(shí)）、E（回憶元素）、C1（回憶概念）、C2（辨認(rèn)概念）、C3（應(yīng)用概念）、K1（回憶任務(wù)）、K2（辨認(rèn)任務(wù)）、K3（執(zhí)行任務(wù)）、P1（回憶原理）、P2（辨認(rèn)原理）、P3（應(yīng)用原理）、M（產(chǎn)生方法）、S（產(chǎn)生解決方案）。

（二）二級(jí)指標(biāo)

MVU-OID中的24個(gè)一級(jí)指標(biāo)又細(xì)分為107個(gè)二級(jí)指標(biāo)，幾乎考慮到了每個(gè)細(xì)節(jié)問(wèn)題。由于篇幅有限，研究者以技術(shù)性維度為例，展示其設(shè)計(jì)的二級(jí)指標(biāo)，如表1。二級(jí)指標(biāo)的評(píng)分采用5點(diǎn)評(píng)分，5分最高，3分居中，1分最差。

（三）關(guān)于權(quán)重

MVU-OID根據(jù)各個(gè)一級(jí)指標(biāo)在一門(mén)課程里發(fā)揮作用的重要性不同給出了不同的權(quán)重分配。權(quán)重分為三級(jí)：M（mild，輕微）、S（serious，重要）、F（fatal，相當(dāng)重要）。開(kāi)發(fā)者對(duì)其中一些一級(jí)指標(biāo)的權(quán)重有明確的規(guī)定：T2、T3、U2、U4以及全部的可及性一級(jí)指標(biāo)均無(wú)權(quán)重；U1的權(quán)重為輕微，U3的權(quán)重為重要。教學(xué)設(shè)計(jì)的全部一級(jí)指標(biāo)權(quán)重均為重要。另外，還有兩個(gè)一級(jí)指標(biāo)（T1和U5）的權(quán)重開(kāi)發(fā)者沒(méi)有規(guī)定，而是留待評(píng)價(jià)者自行規(guī)定。以T1.3為例，說(shuō)明是：“任何水平的聲卡和音箱都可以滿(mǎn)足要求，權(quán)重為輕微；要求高級(jí)的聲卡、音箱或要求附加的聲音設(shè)備，權(quán)重為重要?！?這里的權(quán)重給得是否準(zhǔn)確，在相當(dāng)程度上會(huì)影響到最終的評(píng)價(jià)結(jié)果的精確性，如表2。

三、網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)

體系的設(shè)計(jì)與實(shí)現(xiàn)

本研究希望借鑒MVU的研究思路，創(chuàng)建一套簡(jiǎn)便易行的網(wǎng)絡(luò)課程評(píng)價(jià)指標(biāo)體系。

（一）網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)

整個(gè)指標(biāo)體系的確立分為兩個(gè)階段。第一階段，利用文獻(xiàn)綜述法和內(nèi)容分析法充分調(diào)研國(guó)內(nèi)國(guó)外在不同時(shí)期構(gòu)建的較有代表性的評(píng)價(jià)標(biāo)準(zhǔn)，從中選取有借鑒意義的內(nèi)容，并綜合不同評(píng)價(jià)標(biāo)準(zhǔn)中共同強(qiáng)調(diào)的內(nèi)容，以此確定新指標(biāo)體系的基本維度。在此基礎(chǔ)上，再用理論推演法擬出二級(jí)指標(biāo)，形成初步完整的框架。在初步整理出指標(biāo)體系的原始框架后，對(duì)有關(guān)的文字表述進(jìn)行修正或厘清，以避免表達(dá)不清、有歧義或含義不全等問(wèn)題。然后，再反復(fù)與本專(zhuān)業(yè)的教師及研究生討論各項(xiàng)指標(biāo)的必要性及針對(duì)性，經(jīng)過(guò)多次討論，確定表3中呈現(xiàn)的評(píng)價(jià)指標(biāo)體系。

在各個(gè)具體指標(biāo)的評(píng)價(jià)上采取5級(jí)評(píng)分標(biāo)準(zhǔn)，完全符合標(biāo)準(zhǔn)為5分，完全不符合標(biāo)準(zhǔn)為1分，中間分?jǐn)?shù)代表符合標(biāo)準(zhǔn)的不同中間程度。這樣，整體評(píng)價(jià)結(jié)果的滿(mǎn)分為5分。我們將4.5分以上評(píng)定為“優(yōu)”，將4.0分以上評(píng)定為“良”，將3.0分以上評(píng)定為“中”，將3.0分以下評(píng)定為“差”。第二階段，采用問(wèn)卷調(diào)查法在較大范圍內(nèi)對(duì)指標(biāo)體系框架進(jìn)行多次討論和修改。討論的參與者包括部分專(zhuān)家教授、網(wǎng)絡(luò)課程授課教師以及使用網(wǎng)絡(luò)課程的學(xué)習(xí)者等各類(lèi)人員，他們從各自不同的角度來(lái)討論初步確定的指標(biāo)體系框架是否科學(xué)合理，是否需要修改，需要怎樣修改，等等。

（二）網(wǎng)絡(luò)課程在線評(píng)價(jià)指標(biāo)體系的實(shí)現(xiàn)

評(píng)價(jià)指標(biāo)體系確定以后，接下來(lái)就需要確定權(quán)重。權(quán)重也稱(chēng)權(quán)數(shù)，是指某一項(xiàng)指標(biāo)在整個(gè)指標(biāo)體系中的重要性程度。在本研究中，采用層次分析法，通過(guò)專(zhuān)家評(píng)判法確定權(quán)重。在小范圍內(nèi)請(qǐng)專(zhuān)家對(duì)各級(jí)指標(biāo)進(jìn)行重要性的比較，從而確定權(quán)重賦值的規(guī)則，如表4。

由歸一矩陣算得λmax=9.672，則CI=（λ-n）/（n-1）=0.084，查隨機(jī)一致性指標(biāo)，可知RI為1.45。故而CR=CI/RI=0.058<0.1，表明權(quán)重評(píng)判的一致性程度理想。最后，我們將上述權(quán)重的評(píng)定結(jié)果加以整理，形成本研究所得的網(wǎng)絡(luò)課程評(píng)價(jià)指標(biāo)體系，如表16。

四、檢測(cè)與評(píng)價(jià)

為了檢驗(yàn)開(kāi)發(fā)出來(lái)的評(píng)價(jià)指標(biāo)體系的有效性和適用性，本研究隨機(jī)選擇了10門(mén)網(wǎng)絡(luò)課程（10門(mén)課程依次命名為A、B、C、D、E、F、G、H、I、J）進(jìn)行評(píng)價(jià)。選擇方法是在百度搜索網(wǎng)頁(yè)中輸入“網(wǎng)絡(luò)課程”作為關(guān)鍵詞，在搜索結(jié)果中隨機(jī)打開(kāi)一些網(wǎng)絡(luò)課程，最終找到了以下10門(mén)網(wǎng)絡(luò)課程，它們均可以遠(yuǎn)程訪問(wèn)。然后，由兩位教育評(píng)價(jià)方面的專(zhuān)家使用本研究開(kāi)發(fā)的評(píng)價(jià)指標(biāo)體系獨(dú)立進(jìn)行評(píng)價(jià)，然后對(duì)比評(píng)價(jià)結(jié)果，以此來(lái)檢驗(yàn)本評(píng)價(jià)指標(biāo)體系的信度和效度。

A——“大學(xué)計(jì)算機(jī)基礎(chǔ)”、B——“計(jì)算機(jī)網(wǎng)絡(luò)”、C——“教育學(xué)”、D——“中國(guó)舞蹈”、E——“高中語(yǔ)文”、F——“大學(xué)體育”、G——“網(wǎng)站網(wǎng)頁(yè)初學(xué)”、H——“網(wǎng)站設(shè)計(jì)與網(wǎng)頁(yè)制作”、I——“電子政務(wù)”、J——“教育技術(shù)學(xué)導(dǎo)論”。

兩位評(píng)價(jià)者分別稱(chēng)之為評(píng)價(jià)者1和評(píng)價(jià)者2。其中，評(píng)價(jià)者1的評(píng)價(jià)結(jié)果如表17所示。

從評(píng)價(jià)者1的結(jié)果匯總表反映的情況來(lái)看，10門(mén)網(wǎng)絡(luò)課程的質(zhì)量參差不齊——2門(mén)課程評(píng)價(jià)結(jié)果為“差”（分別是“高中語(yǔ)文”“網(wǎng)站設(shè)計(jì)與網(wǎng)頁(yè)制作”），4門(mén)課程評(píng)價(jià)結(jié)果為“中”（分別是“大學(xué)計(jì)算機(jī)基礎(chǔ)”“教育學(xué)”“大學(xué)體育”和“網(wǎng)站網(wǎng)頁(yè)初學(xué)”），3門(mén)課程評(píng)價(jià)結(jié)果為“良”（分別是“計(jì)算機(jī)網(wǎng)絡(luò)”“中國(guó)舞蹈”和“電子政務(wù)”），1門(mén)課程評(píng)價(jià)結(jié)果為“優(yōu)”（“教育技術(shù)學(xué)導(dǎo)論”），而“教育技術(shù)學(xué)導(dǎo)論”也是這10門(mén)課程中唯一的一門(mén)國(guó)家級(jí)精品課程。

下面是評(píng)價(jià)者2對(duì)10門(mén)課程評(píng)價(jià)結(jié)果的匯總表。如表18。

從評(píng)價(jià)者2的結(jié)果匯總表反映的情況來(lái)看，10門(mén)網(wǎng)絡(luò)課程的質(zhì)量同樣參差不齊，但是具體情況與評(píng)價(jià)者1的結(jié)果略有出入——2門(mén)課程評(píng)價(jià)結(jié)果為“差”（分別是“高中語(yǔ)文”“網(wǎng)站設(shè)計(jì)與網(wǎng)頁(yè)制作”），4門(mén)課程評(píng)價(jià)結(jié)果為“中”（分別是“大學(xué)計(jì)算機(jī)基礎(chǔ)”“教育學(xué)”“大學(xué)體育”和“網(wǎng)站網(wǎng)頁(yè)初學(xué)”），2門(mén)課程評(píng)價(jià)結(jié)果為“良”（分別是“中國(guó)舞蹈”和“電子政務(wù)”），2門(mén)課程評(píng)價(jià)結(jié)果為“優(yōu)”（分別是“計(jì)算機(jī)網(wǎng)絡(luò)”和“教育技術(shù)學(xué)導(dǎo)論”）。

對(duì)照兩位評(píng)價(jià)者的評(píng)價(jià)結(jié)果，可以看到二者具有較高的一致性：從評(píng)價(jià)等級(jí)來(lái)看，有9門(mén)課程的評(píng)價(jià)等級(jí)相同，只有“計(jì)算機(jī)網(wǎng)絡(luò)”課程被評(píng)價(jià)者1評(píng)為“良”，被評(píng)價(jià)者2評(píng)為“優(yōu)”。具體到最終結(jié)果的分?jǐn)?shù)上，每門(mén)課程的得分其實(shí)也只有細(xì)微的差異。

這樣的結(jié)果表明：第一，評(píng)價(jià)體系中的每個(gè)指標(biāo)提供的評(píng)價(jià)標(biāo)準(zhǔn)是清晰具體的，便于評(píng)價(jià)者理解；第二，每個(gè)指標(biāo)提供的評(píng)價(jià)標(biāo)準(zhǔn)是客觀的，便于評(píng)價(jià)者操作。所以，這一步的檢測(cè)工作表明本研究研制的評(píng)價(jià)指標(biāo)體系具有較好的可操作性。

五、總結(jié)與展望

評(píng)價(jià)研究要想取得實(shí)質(zhì)性的突破，必須采用開(kāi)放研究的思路，采用理論與實(shí)證交互循環(huán)的思路。本研究正是遵循該研究思路，在總結(jié)有關(guān)前人研究的基礎(chǔ)上，采用文獻(xiàn)分析法和層次分析法設(shè)計(jì)出了較為完整的網(wǎng)絡(luò)課程評(píng)價(jià)指標(biāo)體系。該評(píng)價(jià)指標(biāo)體系具有較高的效度和信度，而且具有較強(qiáng)的實(shí)用性。但是，由于研究中受到主客觀因素的影響，在后續(xù)研究中本評(píng)價(jià)指標(biāo)體系還需要更多專(zhuān)家的評(píng)議，評(píng)價(jià)指標(biāo)體系中的相關(guān)檢驗(yàn)和因素分析還有待完善，評(píng)價(jià)指標(biāo)體系的應(yīng)用還需要進(jìn)一步推廣。

[參考文獻(xiàn)]

[1] 曾祥翊. 我國(guó)農(nóng)村中小學(xué)現(xiàn)代遠(yuǎn)程教育工程述評(píng)[J]. 中國(guó)電化教育，2011，1（10）：45.

[2] 徐朝軍. 網(wǎng)絡(luò)課程效能自動(dòng)評(píng)價(jià)研究[D]. 南京：南京師范大學(xué)教育技術(shù)學(xué)院，2012.

[3] 吳永和，祝智庭. 基礎(chǔ)教育信息化標(biāo)準(zhǔn)建設(shè)藍(lán)圖與實(shí)用導(dǎo)航[J]. 中國(guó)教育信息化，2013，2（12）：32.

[4] 張秀琦，程琳. 唐吉洪. 基于FAHP的網(wǎng)絡(luò)課程評(píng)價(jià)系統(tǒng)的開(kāi)發(fā)與應(yīng)用[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2011，11（3）：67.

[5] Quality on the Line： Benchmarks for Success in Internet Based Distance Education[M/OL]. [2013-7-23]. http：//www.ihep.com/quality.pdf.

[6] 彭剛，劉戎. 在職教育網(wǎng)絡(luò)課程教學(xué)質(zhì)量評(píng)價(jià)方法研究[J]. 繼續(xù)教育研究，2013，2（3）：37.

[7] 孫曉梅. AHP在網(wǎng)絡(luò)課程質(zhì)量評(píng)價(jià)中的應(yīng)用[EB/OL].[2013-6-19]. http：//www.etr.com.cn/2010/0128/1447.html.

收稿日期：2014-10-15

定稿日期：2015-06-01

作者簡(jiǎn)介：劉永福，講師，碩士，甘肅廣播電視大學(xué)直屬學(xué)院（730030）。

李靜輝，助教，碩士，甘肅廣播電視大學(xué)辦公室（730030）。

責(zé)任編輯 山 嶺