國外在線課程評價研究現(xiàn)狀及啟示

楊曉宏 ?李運福 ?周效章

摘 要：本研究采用CiteSpace對Web of Science核心文集數(shù)據(jù)庫收錄的2000—2017年的在線課程評價相關(guān)文獻進行了引文空間分析。研究發(fā)現(xiàn)：國外在線課程評價的研究主要涵蓋在線課程本體評價、繼續(xù)教育領(lǐng)域在線課程評價、高等教育領(lǐng)域在線課程評價、開放教育資源視角下在線課程評價、在線課程無障礙性評價、醫(yī)學教育領(lǐng)域在線課程評價、以個性化學習為導向的在線課程評價、關(guān)注學習者學習心理特征的在線課程評價等八個方面，且系統(tǒng)性強，形成了豐富的研究成果。對我國在線開放課程教學質(zhì)量標準的研制具有重要啟示。

關(guān)鍵詞：在線開放課程;評價;研究現(xiàn)狀;引文空間分析

中圖分類號：G434 文獻標志碼：A 文章編號：2096-0069（2019）01-0086-07

自《教育部關(guān)于加強在線開放課程建設運用與管理的意見》發(fā)布以來，在線開放課程教學質(zhì)量認定標準的研制已成為各高校通過引入在線開放課程推動課堂教學革命，促進高等教育內(nèi)涵式發(fā)展所面臨的現(xiàn)實問題，也是新時期繼續(xù)完善我國高等教育質(zhì)量保障體系的重大課題。國外在線課程評價研究起步相對較早，尤其是美國、英國等西方發(fā)達國家，積累了豐富的研究成果。在我國教育信息化邁入2.0時代的新背景下，運用定量與定性相結(jié)合的方法，對國外在線課程評價研究的現(xiàn)狀進行系統(tǒng)梳理與深度剖析，能夠為我國當下高校在線開放課教學質(zhì)量認定標準的研制提供重要啟示。

一、研究設計

（一）文獻檢索與描述

為增強研究樣本的代表性，本研究以Web of Science核心文集為檢索源，首先，采用高級檢索功能，分別將“基于網(wǎng)絡的課程”（“Web Based Course” OR“Web-based Course”）、“大規(guī)模在線開放課程”（“Massive Open Online Course”O(jiān)R“Open Online Course”）、“MOOC”、“在線課程”（“Online Course”O(jiān)R“On-line Course”）、“數(shù)字學習課程”（“Elearning Course”O(jiān)R“E-learning Course”）、“遠程課程”（“Distance Course”O(jiān)R“Distance Education Course”）、“虛擬課程”（“Virtual Course”）、“互聯(lián)網(wǎng)課程”（“Internet Course” OR“Network Course”）與“評價”（“Evaluation” OR“Evaluate”O(jiān)R“Assessment”O(jiān)R“Appraisal”）進行匹配，設定語種為“英語”且文獻類型為“論文”，開展主題檢索，分別生成檢索結(jié)果#1、#2、#3、#4、#5、#6、#7、#8;其次，采用邏輯“或”運算生成檢索結(jié)果#9，涉及文獻472篇，即#9=#8或#7或#6或#5或#4或#3或#2或#1;最后，剔除“國家/地區(qū)”值為“中國（PEOPLES R CHINA）”的14篇文獻和值為“臺灣（TAIWAN）”的21篇文獻，生成檢索結(jié)果#10，涉及文獻437篇，將其作為本研究引文空間分析的施引文獻。

通過對研究樣本進行基本的描述性分析，本研究發(fā)現(xiàn)：就刊載年度而言，自2007年至2016年，與在線課程評價相關(guān)的文獻數(shù)量呈逐年遞增的趨勢;就刊載期刊而言，共涉及235種期刊，最高頻次為18，其中《美國藥學教育雜志》（American Journal of Pharmaceutical Education）、《國際遠程開放教育研究述評》（International Review of Research in Open and Distance Learning）是對在線課程評價最為關(guān)注的兩個期刊，分別占研究樣本總量的4.12%、3.66%;就研究作者而言，研究樣本共涉及500位作者，最高頻次為5，最低頻次為1，其中累計頻次為5的高產(chǎn)作者主要有K.S.Khan、C.D.Kloos、R.Kulier、P.J.Munoz-Merino、A.L.Pittenger等5位;就國家和地區(qū)而言，研究樣本共涉及72個國家和地區(qū)，最高累計頻次為208，美國是關(guān)注在線課程評價最為集中的國家，占研究樣本總量的47.6%;就研究機構(gòu)而言，研究樣本共涉及500家研究機構(gòu)，最高頻次為12，英國開放大學是關(guān)注在線課程評價最集中的機構(gòu)，占研究樣本總量的2.75%。

（二）研究方法與思路

基于對CiteSpace引文分析學科基礎和技術(shù)基礎的分析和理解[1]，本研究著重采用以下思路對國外在線課程評價的研究熱點進行分析：第一，利用知識圖譜可視化分析軟件CiteSpace對研究樣本進行共被引聚類分析，形成共被引聚類圖譜、共被引時間線圖譜;第二，根據(jù)上述聚類分析的結(jié)果，探尋各類主題所涉及的高突現(xiàn)性文獻、高被引文獻、高中心性文獻以及各聚類所涉及的前沿文獻和經(jīng)典文獻;第三，通過對高突現(xiàn)性文獻、高被引文獻、高中心性文獻的分析，從宏觀層面了解國外在線課程評價研究的發(fā)展歷程;第四，分別對各聚類所涉及的高被引文獻、高引用頻次施引文獻進行查閱與分析，了解各聚類研究的知識基礎與前沿動態(tài);第五，對上述數(shù)據(jù)分析結(jié)果進行歸納和總結(jié)，形成研究結(jié)論，并結(jié)合我國實際，對當下我國高等教育領(lǐng)域開展在線開放課程教學質(zhì)量認定研究與實踐的啟示進行歸納和梳理。

二、數(shù)據(jù)分析與結(jié)果

參考文獻共被引是指兩篇參考文獻被同一篇文獻引用的現(xiàn)象，通過分析共被引網(wǎng)絡中的聚類及關(guān)鍵節(jié)點，可以揭示出某個研究領(lǐng)域的知識結(jié)構(gòu)[2]。本研究采用引文空間分析軟件CiteSpaceV，以“被引文獻”為節(jié)點，時間區(qū)段設置為1年，選擇“突現(xiàn)名詞”為突變術(shù)語類型，設置每片篩選百分比（top N% per sliced）值為10%，設置LRF=2、LBY=8、e=2.0，對437篇施引文獻進行分析，最終在12660篇參考文獻中篩選出196篇高被引文獻，通過聚類分析最終形成引文共現(xiàn)聚類圖譜與聚類結(jié)果（表1）。

通過聚類分析，196篇高被引文獻被劃分為32類，其中顯著聚類共8類，分別為：聯(lián)通主義（Connectivism）、癡呆（Dementia）、大學（University）、開放資源（Open Resource）、殘疾（Disability）、慕課（MOOC）、個性化學習（Personalized Learning）、學習者動機（Students Motivation）。其規(guī)模（Size）、輪廓值（Silhouette）、聚類標簽（LSI、LLR、MI）、引文的平均發(fā)表年份等信息統(tǒng)計如表1所示。

通過文獻共被引聚類分析既可以準確查找出某一聚類中能夠代表該類主題研究基礎的高被引文獻，同時也可精確定位該聚類中能夠代表該類主題研究前沿的高引用比例的施引文獻。被引頻次越高意味著該文獻對該主題研究的奠基作用越明顯，引用比例越高意味著該文獻對該主題研究前沿的代表性越強。因此，為進一步深度分析國外在線課程評價研究的現(xiàn)狀，本研究對各聚類中所涉及的高被引文獻與高引用頻次文獻進行了深度分析。

（一） 聯(lián)通主義（Connectivism）

該類研究的知識基礎主要包括：MOOC研究的元分析[3];基于數(shù)據(jù)挖掘MOOC應用統(tǒng)計與評估[4];MOOC中作文評價方法的比較分析[5];阻止在線評價中欺騙行為發(fā)生的MOOC學習評價框架研究[6];等等。此外，該類的研究前沿話題主要包括：教學與技術(shù)雙重視角下多類別MOOC實踐應用的比較研究;bMOOC在高等教育領(lǐng)域中有用性與有效性進行的評估研究;基于課程內(nèi)容與傳輸?shù)馁|(zhì)量評價、課程教學效果和影響評價兩個維度的MOOC在地理學教學中的應用評估研究;MOOC發(fā)展階段研究;基于引導性量規(guī)的MOOC同伴互評優(yōu)化策略研究。

（二） 癡呆（Dementia）

該類研究的知識基礎主要包括：MOOC研究趨勢分析[7];在線學習對在職、職前護士專業(yè)知識與技能提升的影響研究[8]; MOOC學習者教育水平與課程參與度的關(guān)系研究[9];MOOCs同伴互評有效性提升途徑研究[10]。此外，該類研究的前沿話題主要包括： MOOC與醫(yī)學教育的融合與評價研究;MOOC情境下學習者自我調(diào)節(jié)策略對個體學習行為、目標達成的預測效應研究;MOOC研究趨勢評估; MOOC監(jiān)測與評估策略研究。

（三） 大學（University）

該類研究的知識基礎主要包括：MOOC用戶特征分析[11];MOOC、引入及其發(fā)展趨勢分析;在線學習實證研究述評。此外，該類研究的前沿話題主要包括：不同傳遞模式下（傳統(tǒng)型、支持型）MOOC學習者參與度的比較研究; MOOC在考古學領(lǐng)域的應用研究;等等。

（四）開放資源（Open Resource）

該類研究的知識基礎主要包括：基于大數(shù)據(jù)分析技術(shù)開展的MOOC注冊與完成率的變化趨勢研究[12];xMOOC與cMOOC教學設計質(zhì)量評估研究[13];優(yōu)化MOOC學習體驗與改善MOOC質(zhì)量的學習設計框架研究[14];MOOC學習動機與學習群體特征分析[15]。此外，該類研究的前沿話題主要有MOOC情境下學生完成率研究[16]。

（五） 殘疾（Disability）

該類研究的知識基礎主要包括：英國開放大學發(fā)布的《創(chuàng)新教育2012》明確闡釋了MOOC的發(fā)展及其對未來教育教學產(chǎn)生影響的趨勢[17];MOOC發(fā)展趨勢分析[18];MOOC研究成果綜合性述評[19]。此外，該類研究的前沿話題主要包括： edX Studio的無障礙性評估;MOOC平臺的無障礙性評估;MOOC全球性學習潛能評估框架構(gòu)建;MOOC學習活動中，學習分析儀表盤的學習支持效果評估;MOOC教學分析評估。

（六）慕課（MOOC）

該類研究的知識基礎主要包括：醫(yī)學教育領(lǐng)域在線學習研究的綜合性述評[20];在線學習對醫(yī)學教育的影響研究[21];醫(yī)學教育領(lǐng)域?qū)嶒炑芯康姆此夹匝芯縖22];醫(yī)學繼續(xù)教育領(lǐng)域線上、線下教學效果的對比研究[23]。此外，該類研究的前沿話題主要集中體現(xiàn)在在線課程在醫(yī)學教育領(lǐng)域應用效果的評估。

（七）個性化學習（Personalized Learning）

該類研究的知識基礎主要包括：MOOC學習群體分類方法研究[24];MOOC低完成率的原因分析[25]。該類研究的前沿話題主要為基于移動的個性化課程平臺（MIIC）設計、實施與評估。

（八）學習者動機（Students Motivation）

該類研究的知識基礎主要包括：學習者的當前角色與專業(yè)背景對其MOOC學習行為的影響研究[26];嚴肅游戲與MOOC課程活動的融合研究;基于自然實驗評價法開展的MOOC課程內(nèi)容發(fā)布形式（階段性發(fā)布、一次性發(fā)布）對學習活動的影響研究;MOOC情境下學習者學習動機與學習者自我調(diào)節(jié)策略的關(guān)系研究[27];基于edX平臺開展的MOOC視頻制作對學生課程參與度的影響研究。此外，該類研究的前沿話題主要有學習分析工具的有用性與有效性評估研究以及MOOC學習環(huán)境下學習者態(tài)度性學習評估。

三、研究結(jié)論與啟示

（一）研究結(jié)論

通過對上述國外在線課程評價研究引文共現(xiàn)聚類分析中高頻被引文獻與高引用頻率施引文獻的分析，本研究得出以下五方面結(jié)論。

第一，聚類標簽需要重新調(diào)整與修訂。本研究參考LSI、MI法生成的聚類標簽，對LLR法生成的聚類標簽進行了適當調(diào)整。重新命名后的各類標簽名稱依次為慕課、繼續(xù)教育、高校、開放資源、障礙或缺陷、醫(yī)學教育、個性化學習、學習者動機，各類所集中反映的國外在線課程評價研究的主題依次為在線課程本體評價、繼續(xù)教育領(lǐng)域在線課程評價、高等教育領(lǐng)域在線課程評價、開放教育資源視角下在線課程評價、在線課程無障礙性評價、醫(yī)學教育領(lǐng)域在線課程評價、以個性化學習為導向的在線課程評價、關(guān)注學習者學習心理特征的在線課程評價。除醫(yī)學教育以外，其他各聚類中在線課程均以MOOC為主。

第二，國外在線課程評價研究系統(tǒng)性較強，各聚類研究前沿共性主題與個性主題并存。通過文獻，本研究發(fā)現(xiàn)：綜述性研究、權(quán)威機構(gòu)發(fā)布的研究報告是國外開展在線課程評價研究的重要知識基礎;在線課程有用性、有效性評估是高等教育、醫(yī)學教育、繼續(xù)教育等領(lǐng)域研究的共性主題，其評價對象由宏觀的課程逐步轉(zhuǎn)向微觀層面的課程構(gòu)成要素及其具體功能的有用性與有效性評價;多類型MOOC的教學質(zhì)量評估工具、學習活動評估工具等是國外在線課程評價研究的前沿主題;MOOC對全球性學習的支持研究是在線課程無障礙性評價的最新主題;基于移動學習的個性化在線課程的設計與評價、SPOC課程的改進與評價以及學習者自我調(diào)節(jié)能力評價是個性化學習取向下國外在線課程評價研究的前沿主題;學習情緒、態(tài)度性學習是國外在線課程學習者心理特征評價的新興主題。

第三，從在線課程評價的階段來看，國外在線課程評價主要包括兩個層面：本體層面的評價與應用層面的評價。在線課程本體層面的評價是在線教育發(fā)展早期在線課程評價研究的集中關(guān)注點，其評價取向主要是促進在線課程功能的不斷完善，推進在線課程的普及與應用;在線課程應用層面的評價是在線課程評價的最新發(fā)展，其評價取向主要是優(yōu)化學習者學習體驗，提高學習者課程參與度與課程完成率，更加注重在線學習活動中學習者學習心理研究與在線課程的學習支持性研究。

第四，從研究方法來看，質(zhì)性研究與量化研究相結(jié)合的混合研究法是國外開展在線課程評價研究的主要方法，其中個案研究是質(zhì)性研究的主要方法，基于量表的調(diào)查研究是量化研究的主要方法;元分析是國外在線課程綜合性述評研究的主要方法，實驗法是在線課程有用性與有效性評估研究的常用方法。

第五，從研究成果來看，國外在線課程評價研究形成了類別豐富的研究成果，除聚焦不同主題、界定不同時間區(qū)間的綜述性研究成果外，還包括：論證類成果，如iMOOC、bMOOC等多類型在線課程在醫(yī)學、考古學、地理學等不同領(lǐng)域或?qū)W科應用價值的論證;工具類成果，如教師教育類MOOC教學質(zhì)量評估指標、xMOOC評估標準等;關(guān)系類成果，如MOOC情境下學習者教育背景、課程內(nèi)容發(fā)布方式。

（二）研究啟示

對國外在線課程評價相關(guān)研究的梳理與分析，對我國當下高校在線開放課程教學質(zhì)量認定的研究與實踐主要有以下幾點啟示。

首先，以課程特性為基點，注重固有特性與賦予特性的雙重評估。通過對質(zhì)量概念的梳理，本研究發(fā)現(xiàn)產(chǎn)品特性和用戶需求是質(zhì)量的兩種屬性，是以產(chǎn)品為基礎的質(zhì)量觀和以用戶為基礎的質(zhì)量觀的融合。質(zhì)量既有客觀性，又有主觀性，因此質(zhì)量特性是固有特性與賦予特性的辯證統(tǒng)一。鑒于此，一個完整的在線開放課程教學質(zhì)量認定標準應該是在綜合統(tǒng)籌在線開放課程的固有特性與賦予特性基礎上的共性標準與個性標準的辯證統(tǒng)一。高校在線開放課程的共性標準，是指在線開放課程在本體層面的質(zhì)量認證標準或規(guī)范，側(cè)重在線開放課程的固有特性。明確在線開放課程的固有特性，有利于推動在線開放課程健康、科學發(fā)展。高校在線開放課程的個性標準，是指為最大程度滿足不同高校及高校管理者、教師、學生等多方利益相關(guān)者的個性化需求，在在線開放課程固有特性的基礎上，加入價值主體約束之后的在線開放課程應用層面的質(zhì)量認定標準或規(guī)范，側(cè)重在線開放課程固有特性與賦予特性的融合。突出在線開放課程賦予特性，有利于強化課程供給與需求之間的有效銜接。

其次，強化混合學習設計，注重課程特性與主體需求的有效銜接。在線開放課程應用模式是促進在線開放課程與高校人才培養(yǎng)活動深度融合的關(guān)鍵環(huán)節(jié)，是連接課程特性與價值主體需求的有效通道。過去五年新媒體聯(lián)盟《地平線報告》（高等教育版）關(guān)于“加速高等教育技術(shù)采用的趨勢”中，混合式學習設計位居榜首。通過引入在線開放課程開展混合式教學成為當下各高校推動課堂教學革命的重要舉措之一。混合學習視角下在線開放課程教學質(zhì)量的評估要突破以往單獨從教學視角或技術(shù)視角開展評估的局限，注重線下、線上的有效融合。此外，注重混合學習視角下在線開放課程教學質(zhì)量的評估既是強化教學過程評估的體現(xiàn)，也是適應在線開放課程應用趨勢，發(fā)揮評價導向作用，促進線下、線上深度融合的主要舉措。

再次，以深層學習為目標，注重學習空間與應用方式的合理匹配。受教育理念、教育資源、教育評價等因素的制約，深度學習在高等教育領(lǐng)域的實施仍處于一種薄弱狀態(tài)。在線開放課程的引入引發(fā)了高等教育生態(tài)系統(tǒng)的變革，促進了教育觀念、評價方式的轉(zhuǎn)變，豐富的學習資源，拓展了學生學習的時間和空間。這在一定程度上為深度學習創(chuàng)造了條件，促進了高等教育創(chuàng)新性人才培養(yǎng)目標的實現(xiàn)。然而，部分高?，F(xiàn)有的學習條件難以滿足深層學習移動性、靈活性、泛在性以及實踐性、協(xié)作性的需要，制約了在線開放課程應用方式的多樣性，進而制約了在線開放課程滿足教師、學生等價值主體需求的程度。因此，高校應將深層學習的實現(xiàn)、學習空間對在線開放課程應用方式的支持程度納入在線開放課程教學質(zhì)量認定標準的范疇。

最后，以混合研究為范式，注重質(zhì)性研究與量化研究的協(xié)同應用。近年來，混合研究法在國外教育研究領(lǐng)域中的應用得到了迅速發(fā)展，它是以實證主義和系統(tǒng)哲學為理論基礎，注重量化研究與質(zhì)性研究的協(xié)同應用與優(yōu)勢互補的新興研究范式或研究框架[28]。當下，在開展在線開放課程教學質(zhì)量認定標準的相關(guān)研究中，采用混合研究方法的必要性集中體現(xiàn)在以下三個層面。其一，“先建設應用、后評價認定”是我國當下開展國家精品在線課程認定工作的重要原則，這是先前在線課程投入教育教學應用前尚未具有的獨特特征，為現(xiàn)階段在線開放課程教學質(zhì)量認定標準的量化研究提供了大數(shù)據(jù)支撐。然而，為深度挖掘量化研究數(shù)據(jù)分析的深層次含義，就不得不借助訪談等質(zhì)性研究手段。其二，在線開放課程教學質(zhì)量認定標準是共性標準與個性標準的辯證統(tǒng)一，這就決定了基于個案的研究是提升在線開放課程教學質(zhì)量認定標準（個性標準）針對性與有效性的主要手段。其三，當下國內(nèi)制定在線開放課程教學質(zhì)量認定標準可供參考的已有研究成果較為罕見，混合研究法中的探索性研究設計分析能夠為新工具的設計與開發(fā)提供科學、嚴謹?shù)难芯靠蚣堋?/p>

參考文獻

[1][2]陳悅，陳超美，胡志剛，等.引文空間分析原理與應用[M].北京：科學出版社，2014：15-16，65.

[3]LIYANAGUNAWARDENA T R，ADAMS A A，WILLIAMS S A.MOOCs：A Systematic Study of the Published Literature 2008-2012[J].International Review of Research in Open & Distance Learning（S1492-3831），2014，14（3）：202-227.

[4]BRESLOW L，PRITCHARD D E，DEBOER J，et al.Studying Learning in the Worldwide Classroom Research into edX’s First MOOC[J].Research & Practice in Assessment（S2161-4210），2013，8：13-25.

[5]BALFOUR S P.Assessing Writing in MOOCs：Automated Essay Scoring and Calibrated Peer Review[J].Research & Practice in Assessment（S2161-4210），2013，8 （1）：40-48.

[6]MEYER J P，ZHU S.Fair and Equitable Measurement of Student Learning in MOOCS：An Introduction to Item Response Theory， Scale Linking，and Score Equating[J].Research & Practice in Assessment（S2161-4210），2013，8：26-39.

[7]REICH J.Rebooting MOOC Research[J].Science（S0036-8075），2015，347（6217）：34-35.

[8]MARI L，HELI H，MARITTA V.Impact of E-learning on Nurses’and Student Nurses knowledge，Skills， and Satisfaction： A Systematic Review and Meta-analysis[J].International Journal of Nursing Studies（S0020-7489），2014，51（1）：136-149.

[9]GOLDBERG L R，BELL E，KING C，et al.Relationship between Participants’Level of Education and Engagement in Their Completion of the Understanding Dementia Massive Open Online Course[J].BMC Medical Education（S1472-3831），2015，15 （1）：2-7.

[10]SUEN H K.Peer Assessment for Massive Open Online Courses （MOOCs）[J].International Review of Research in Open & Distance Learning（S1492-3831），2014，15（3）：312-327.

[11]EMANUEL E J.MOOCs Taken by Educated Few[J].Nature（S0028-0836），2013，503（7476）：342.

[12]JORDAN K.Initial Trends in Enrolment and Completion of Massive Open Online Courses[J].International Review of Research in Open & Distance（S1492-3831），2014，15（1）：133-160.

[13]MARGARYAN A，BIANCO M，LITTEJOHN A.Instructional Quality of Massive Open Online Courses （MOOCs）[J]. Computers & Education（S0360-1315），2015，80：77-83.

[14]CONOLE G.MOOCs as Disruptive Technologies：Strategies for Enhancing the Learner Experience and Quality of MOOCs[J].Red Revista De Educación A Distancia（S1578-7608），2013，39（50）：1.

[15]CHRISTENSEN G，STEINMETZ A，ALCORN B，et al.The MOOC Phenomenon：Who Takes Massive Open Online Courses and Why？[DB/OL].（2014-04-18）[2018-07-21]https：//papers.ssrn.com/sol3/papers.cfm？abstract_id=2350964.

[16]SINCLAIR J，KALVALA S.Student Engagement in Massive Open Online Courses[J].International Journal of Learning Technology（S1832-3892），2016，11（3）：218.

[17]SHAROLES M，MCANDREW P，WELLER M，et al.Innovating Pedagogy 2012：Open University Innovation Report[EB/OL].（2012-12-30）[2018-07-21].https：//www.researchgate.net/publication/236616273_Innovating_Pedagogy_2012_Open_University_Innovation_Report_1.

[18]SHAH D.MOOCs in 2014：Breaking Down the Numbers[EB/OL].（2014-12-26）[2018-07-21].https：//www.edsurge.com/news/2014_12_26_moocs_in_2014_breaking_down_the_numbers.

[19]HAVES S.MOOCs and Quality：A Review of the Recent Literature[J].French Forum（S0098-9353），2015，13（3）：261-276.

[20]COOK D A，ANTHONY J.Internet-Based Learning in the Health Professions：A Meta-analysis[J].JAMA（S0098-2446），2008，300：1181-1196.

[21]RUIZ J G，MINTZER M J，LEIPZIG R M.The Impact of E-Learning in Medical Education[J].Academic Medicine（S1040-2446），2006，3（81）：207-212.

[22]COOK D A，BECKMAN T J.Reflections on Experimental Research in Medical Education[J].Advances in Health Sciences Education（S1573-1677），2010，15（3）：455-464.

[23]FORDIS M，KING J E.Comparison of the Instructional Efficacy of Internet-based CME with Live Interactive CME Workshops：a Randomized Controlled Trial[J].JAMA（S0098-7484），2005，294 （9）：1043-1051.

[24]KIZILCEC R F，PIECH C，SCHNEIDER E.Deconstructing Disengagement：Analyzing Learner Subpopulations in Massive Open Online Courses[J].International Conference on Learning Analytics & Knowledge（S1007-2179），2013：170-179.

[25]CLOW D.MOOCs and the Funnel of Participation[J].International Conference on Learning Analytics & Knowledge（S1007-2179）.2013：185-189.

[26]HOOD N，LITTEJOHN A，MILLIGAN C.Context Counts： How Learners Contexts Influence Learning in a MOOC[J]. Computers & Education（S0360-1315），2015，（91）：83-91.

[27]LITTLEJOHN A，HOOD N，MILIGA C，et al.Learning in MOOCs：Motivations and Self-regulated Learning in MOOCs[J].Internet & Higher Education（S1096-7516），2016，（29）：40-48.

[28]張繪.混合研究方法的形成、研究設計與應用價值：對“第三種教育研究范式”的探析[J].復旦教育論壇，2012，10（5）：51-57.

Current Status and Implications of Foreign Online Course Evaluation Research

—Citation Space Analysis Based on WOS Journal Literature （2000-2017）

YANG Xiaohong1，LI Yunfu1， 2，ZHOU Xiaozhang1

（1.College of Education Technology，Northwest Normal University，Lanzhou，Gansu，China 730070;2. School of Education Science，Shaanxi Xueqian Normal University，Xi’an，Shaanxi，China 710100）

Abstract： In-depth understanding of the research results of online course evaluation abroad can provide reference for the development of online teaching quality certification standards for colleges and universities in China.This study uses CiteSpace to analyze the citation space of research articles on online course evaluation from Web of Science core collection database published from 2000 to 2017.The results show that the research on foreign online course evaluation mainly covers eight aspects，i.e.online course ontology evaluation，online course evaluation in the field of further education，online course evaluation in the field of higher education，online course evaluation from the perspective of open education resources，online course accessibility evaluation， online course evaluation in the field of medical education，individual-learning-oriented online course evaluation，and online course evaluation focusing on learners’learning psychological characteristics，and have important implications for the development of online course teaching quality cerification standards in China.

Key words： online open course;evaluation;research status;citation space analysis