基于區(qū)間層次分析法和專家群決策的MOOC適切性評價

岳進 郭輝

[摘 要] 針對目前采用AHP對MOOC作適切性評價時所忽視的評價指標權重不確定性問題，通過以區(qū)間標度代替點值的方法，設計多層次的MOOC適切性評價指標體系，提出MOOC適切性評價等級和區(qū)間數(shù)等級，利用區(qū)間層次分析法確定MOOC適切性評價指標的區(qū)間數(shù)權重，結合區(qū)間數(shù)理論與群決策方法構建基于區(qū)間層次分析法和專家群決策的MOOC適切性評價模型。最后結合評價實例對某課程的適切性進行評價，并驗證了該綜合評價模型的合理性和有效性。

[關鍵詞] MOOC； 區(qū)間層次分析法； 評價； 專家群決策

[中圖分類號] G434 [文獻標志碼] A

[作者簡介] 岳進（1976—），女，河南臨潁人。副教授，碩士，主要從事英語教學法研究。E-mail：2368959000@qq.com。

一、問題的提出

大力發(fā)展具有我軍特色的軍事職業(yè)教育是新時代構建三位一體新型軍事人才培養(yǎng)體系的關鍵，全面推動基于網絡在線為主的多樣化方式的學習是軍事職業(yè)教育改革的重中之重。早在2015年5月于青島召開的國際教育信息化大會上，便舉行了以“有關包容性和適切性的終身學習”為主題的部長級圓桌會議[1]。由于MOOC可以為官兵提供優(yōu)質、便捷、高效的在線教育資源，因而目前全軍院校正如火如荼地開展各專業(yè)學科的MOOC建設。當下日益常態(tài)化的中外聯(lián)演聯(lián)訓、南海戰(zhàn)巡、東海警巡、繞島巡航，對航空英語提出了更高的要求，迫切需要開展“軍事航空英語”MOOC的開發(fā)建設，以切實提高航空兵部隊飛行員的英語水平。而為保證MOOC建設的質量效果，適切性評價的問題則亟須更深入的探究。

MOOC的適切性問題實際上是關于MOOC的評價問題，目前國內學者對MOOC的評價研究主要分為三類，即MOOC自身的質量評價、MOOC學習過程及學習結果的評價和MOOC滿意度的評價。部分學者對MOOC的適應性和可用性進行了研究，其中較有代表性的是刊發(fā)于2015 年4月《教育發(fā)展研究》的《MOOC本土化的適切性研究》和《教學對接MOOC的適切性策略》兩篇論文，針對MOOC的適切性研究進行了有益的探索。國外學者也對MOOC的適切性開展了廣泛而深入的研究，不僅對MOOC自身適切性問題進行了研究，并利用適切性的原則和結論進行教學設計開發(fā)。適切性是開展教學活動的基本原則和提高教學效果的重要前提。MOOC作為一種新型的教學形式或教學資源，同樣需要遵循適切性原則、開展適切性評價研究。

國內學者對于MOOC適切性或質量評價問題的研究方面，確定評價指標權重大多采用AHP、熵權法或改進的AHP來進行判斷。如邱均平等[2]采用層次分析法和模糊綜合評價法對MOOC質量的評價問題進行研究，姚凱等[3]基于 Vague集的相似度量方法建立 MOOC 評價模型，童小素等[4]依據(jù)《網絡課程評價規(guī)范（CELTS-22）》建立MOOC質量評價指標體系，李五洲等[5]基于模糊綜合評價法對MOOC的適切性評價問題進行探索。上述學者的評價模型中，都是通過剛性的點值來對不同權重和評價等級進行定性，這樣導致的結果就是無法兼顧不同評價專家知識結構、經驗閱歷和能力水平之間的差異，從而忽視了指標權重和指標值的不確定性因素。

基于上述學者的既有成果，本研究擬采用區(qū)間數(shù)理論和區(qū)間層次分析法（Interval-based AHP，IAHP）對MOOC的適切性評價問題進行改進，即通過區(qū)間標度來代替點值的柔性策略以充分考慮評價專家的經驗和偏好，有效彌補傳統(tǒng)的AHP在模糊決策上的缺陷，使專家群決策的機制具有更好的容錯性，確保評價模型的判斷更客觀、普適。

二、MOOC適切性評價指標體系構建

開展MOOC適切性評價的基礎和前提是構建科學、合理的MOOC適切性評價指標體系。影響MOOC適切性的因素是多方面的，既與授課內容、授課方法、教學組織、教學設計、媒體技術運用和教學資源等因素息息相關，又與評價主體、評價形式和課程管理等因素有關，需要構建多維多層次的評價指標體系。姚凱等在研究MOOC評價模型過程中，將課程內容、教學設計、界面設計、媒體技術和課程管理作為一級評價指標，下設23個二級評價指標[3]，二級指標數(shù)量偏多；童小素等構建的MOOC質量評價指標體系中，將課程內容、教學設計和學習支持作為一級評價指標，下設26個二級評價指標[4]，二級指標數(shù)量過多、計算復雜，且部分二級指標有相關性；邱均平等在研究MOOC質量評價中，將教學內容、教學資源、教學效果和教學技術作為一級評價指標，下設14個二級評價指標[2]；馮雪松等在研究MOOC評價體系中，將內容的組織、內容的呈現(xiàn)、講授方法和課程的執(zhí)行與推廣作為一級評價指標，下設18個二級評價指標[6]。綜上可知，不同的學者從不同的角度出發(fā)構建了不同的評價指標體系，但課程內容或教學內容始終是評價指標體系中的重要組成部分；通過MOOC建設實踐可知，教學方式和技術手段的合理運用是提高MOOC質量的重要前提，此外，評價方式是否科學合理直接影響學習的積極性、公平性和學習效果檢驗的有效性，進而影響MOOC建設質量，與課程管理和教學效果具有一致性。通過對比分析現(xiàn)有評價指標體系的優(yōu)缺點，并咨詢多位MOOC開發(fā)專家和學者的意見建議，本研究擬從教學內容、教學方式、評價方式和技術手段4個維度評價MOOC的適切性，最終構建如圖1所示的多層次的MOOC適切性評價指標體系。

進行MOOC適切性評價，需要確定適切性評價等級，本文將適切性優(yōu)劣劃分為5個等級，分別為：“好”“較好”“一般”“較差”和“差”，為了適于區(qū)間層次分析法評價MOOC適切性，需要采用區(qū)間數(shù)方法對適切性等級進行量化，“好”“較好”“一般”“較差”和“差”5個適切性等級對應的區(qū)間數(shù)分別為：[0.8，1.0]、[0.6，0.8]、 [0.4，0.6]、 [0.2，0.4]和[0，0.2]。

三、基于IAHP確定評價指標區(qū)間數(shù)權重