我國在線課程評價研究熱點可視化分析與啟示

李運福 楊曉宏 周效章

【摘 要】

教高〔2015〕3號文件發(fā)布后，有關(guān)高校在線開放課程教學(xué)質(zhì)量認定標準的研究引起了國內(nèi)專家學(xué)者的廣泛關(guān)注，已成為在線課程評價研究的最新話題。本研究以中國知網(wǎng)收錄的核心期刊、CSSCI來源期刊及碩博士學(xué)位論文為數(shù)據(jù)來源，采用高頻關(guān)鍵詞共現(xiàn)分析法對我國在線課程評價研究的現(xiàn)狀進行了深度剖析。在此基礎(chǔ)上，對高等教育領(lǐng)域如何開展在線開放課程教學(xué)質(zhì)量認定提出了五點看法：樹立正確的價值取向、堅持融合的研究視角、重視數(shù)據(jù)價值的挖掘、注重標準的動態(tài)構(gòu)建、強化國際比較研究，以期對現(xiàn)階段高校在線開放課程教學(xué)質(zhì)量認定標準研究有所啟示。

【關(guān)鍵詞】 開放課程；在線課程；質(zhì)量評價；質(zhì)量認定；課程評價；評價研究

【中圖分類號】 G420 【文獻標識碼】 A 【文章編號】 1009-458x（2018）7-0070-9

一、引言

課程是教育教學(xué)活動的重要構(gòu)成要素，教學(xué)內(nèi)容與課程體系改革是我國教學(xué)改革的重要內(nèi)容。21世紀初期，為深入推進“新世紀高等教育教學(xué)改革工程”，教育部高等教育司實施了“新世紀網(wǎng)絡(luò)課程建設(shè)工程”，這是我國高等教育領(lǐng)域在線課程規(guī)模化建設(shè)與實施的起點。隨后，為持續(xù)推動高等教育教學(xué)改革、提升教育質(zhì)量，我國先后實施了“高等學(xué)校教學(xué)質(zhì)量與教學(xué)改革工程精品課程建設(shè)（簡稱“精品課程建設(shè)”）”（教高〔2003〕1號）、“國家精品開放課程建設(shè)”（教高〔2011〕8號）、“在線開放課程建設(shè)應(yīng)用與管理”（教高〔2015〕3號）、“國家精品在線開放課程認定”（教高廳函〔2017〕40號）等重大工程。無論在哪一發(fā)展階段，質(zhì)量永遠是在線課程的生命線，是其可持續(xù)發(fā)展的核心。

當下，在教育信息化深入推進的浪潮下，以MOOC為代表的多類別在線開放課程得到了諸多學(xué)者和各級各類教育教學(xué)與科研機構(gòu)的關(guān)注，尤其是高等教育領(lǐng)域，引入在線開放課程已成為推動高等教育教學(xué)改革，實現(xiàn)高等教育特色發(fā)展與內(nèi)涵式發(fā)展的最新選擇。為規(guī)范在線開放課程在高等教育領(lǐng)域的應(yīng)用，2015年教育部發(fā)布的《教育部關(guān)于加強高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見》（教高〔2015〕3號）明確要求：“鼓勵高校制訂在線開放課程教學(xué)質(zhì)量認定標準，將通過本校認定的在線課程納入培養(yǎng)方案和教學(xué)計劃，并制訂在線課程的教學(xué)效果評價辦法和學(xué)生修讀在線課程的學(xué)分認定辦法?！币虼?，開展在線開放課程教學(xué)質(zhì)量評價與認定已成為當下高校引入在線開放課程的必要環(huán)節(jié)，將對在線開放課程的建設(shè)與管理產(chǎn)生重要影響。在線開放課程作為我國在線課程建設(shè)、應(yīng)用與發(fā)展的最前沿代表，與其他時期的在線課程相比，既有共性特征也有其固有的個性特征。鑒于此，通過定性與計量的方式深度梳理、歸納我國在線課程評價研究現(xiàn)狀，不僅對當下在線開放課程教學(xué)質(zhì)量認定標準設(shè)計、開發(fā)與應(yīng)用具有重要實踐參考價值，也可為國家精品在線開放課程評審及管理提供參考。

二、數(shù)據(jù)來源與研究設(shè)計

（一）數(shù)據(jù)來源與分析

研究數(shù)據(jù)的全面性和代表性是研究價值的重要保障。為保證研究數(shù)據(jù)的全面性，本文的研究數(shù)據(jù)除包括期刊論文外，還包括碩博士學(xué)位論文；為保證研究數(shù)據(jù)的代表性，本研究將期刊文獻的檢索范圍限制在核心期刊與CSSCI來源期刊。各類研究數(shù)據(jù)的獲取過程及描述性統(tǒng)計結(jié)果如下所述。

本研究以中國知網(wǎng)為數(shù)據(jù)來源，分別對期刊數(shù)據(jù)庫和碩博士論文數(shù)據(jù)庫進行了檢索，具體檢索方法如下：在期刊論文檢索過程中，為保障檢索文獻質(zhì)量，本研究將期刊來源類別限制為核心期刊和CSSCI來源期刊，先以“在線|網(wǎng)絡(luò)|遠程|開放|精品”為篇名關(guān)鍵詞，精確檢索；再以“課程”為篇名關(guān)鍵詞在上述結(jié)果中精確檢索；之后再以“評價|評估|認定|認證”為篇名關(guān)鍵詞在上述檢索結(jié)果中精確檢索；最后通過篇名、摘要、作者等信息對檢索到的文獻進行過濾，剔除無作者文獻、重復(fù)文獻以及與研究主題不相關(guān)的文獻后，共保留有效研究樣本102篇。此外，為保證文獻檢索的全面性，又以“大規(guī)模在線開放課程 | 慕課 | MOOC | MOOCs | cMOOC | xMOOC”為篇名關(guān)鍵詞精確檢索，之后以“評價|評估|認定|認證”為篇名關(guān)鍵詞在上述檢索結(jié)果中精確檢索，經(jīng)剔除與研究主題無關(guān)的文獻，最終共保留有效研究樣本25篇。在碩博士學(xué)位論文數(shù)據(jù)庫檢索過程中，分別采用上述兩種方式進行檢索，經(jīng)篩選分別保留有效文獻48篇、7篇。

在初步確定研究樣本的基礎(chǔ)上，將研究數(shù)據(jù)（NoteFirst格式）導(dǎo)入書目共現(xiàn)分析系統(tǒng)BICOMB2對“標題”進行統(tǒng)計，發(fā)現(xiàn)5篇重復(fù)樣本，刪除后最終共保留有效研究樣本177篇。其中，期刊文獻124篇，碩博士學(xué)位論文53篇。期刊論文文獻刊載年度與刊載期刊的描述性統(tǒng)計結(jié)果分別如圖1、表1所示；碩博士學(xué)位論文文獻發(fā)表年度與單位的描述性統(tǒng)計結(jié)果分別如圖2、表2所示。

（二）研究設(shè)計

本研究試圖通過基于高頻關(guān)鍵詞共現(xiàn)矩陣分析技術(shù)和社會網(wǎng)絡(luò)分析技術(shù)對我國在線課程評價研究的熱點進行定性與計量分析，研究過程中用到的研究工具主要有書目共現(xiàn)分析系統(tǒng)（BICOMB2）、SPSS Statistics 19.0、Ucinet6、Netdraw等軟件。

參照BICOMB2共詞分析軟件的使用說明與建議（崔雷， 等， 2008），將本研究的具體操作過程歸納為以下幾步：第一，明確研究主題、數(shù)據(jù)源與檢索方法，將在中國知網(wǎng)中檢索到的數(shù)據(jù)以“NoteFirst”格式導(dǎo)出；第二，將研究數(shù)據(jù)導(dǎo)入BICOMB2軟件，進行關(guān)鍵詞清洗與詞頻統(tǒng)計，根據(jù)研究需要選擇合適的方法確定高頻關(guān)鍵詞；第三，通過BICOMB2軟件分別生成高頻關(guān)鍵詞詞篇矩陣和共現(xiàn)矩陣；第四，將高頻關(guān)鍵詞共現(xiàn)矩陣導(dǎo)入Ucinet6、Netdraw軟件進行社會網(wǎng)絡(luò)中心度分析，生成高頻關(guān)鍵詞社群圖；第五，將高頻關(guān)鍵詞詞篇矩陣導(dǎo)入SPSS19.0進行系統(tǒng)聚類分析，生成高頻關(guān)鍵詞相似矩陣和聚類樹圖譜；第六，綜合步驟四和步驟五的分析結(jié)果，梳理歸納、綜合反思我國在線課程評價研究的現(xiàn)狀；第七，在已有研究的基礎(chǔ)上為當下在線開放課程教學(xué)質(zhì)量認定標準研制提供思路。

三、高頻關(guān)鍵詞統(tǒng)計與分析

（一）高頻關(guān)鍵詞的確定

1. 關(guān)鍵詞清洗

經(jīng)初步統(tǒng)計，本研究177篇文獻中共包含709個關(guān)鍵詞（含重復(fù)關(guān)鍵詞）。關(guān)鍵詞清洗主要涉及同義詞合并與規(guī)范化、統(tǒng)一表述等操作。為提高關(guān)鍵詞清洗的準確性和效率，本研究在對關(guān)鍵詞進行“值”升序排列的基礎(chǔ)上對同義詞進行合并，如將“大規(guī)模在線開放課程”“MOOCs”“MOOC”“慕課”等統(tǒng)一更改為“MOOC”，將“AHP”“層次分析法”統(tǒng)一表述為“層次分析法”，等等。通過反復(fù)校對和修訂，最終共生成308個不同關(guān)鍵詞。

2. 高頻關(guān)鍵詞的確定

高頻關(guān)鍵詞的確定是科學(xué)構(gòu)建知識圖譜、精準把握某個領(lǐng)域研究熱點的關(guān)鍵環(huán)節(jié)。本研究在對基于高頻關(guān)鍵詞詞頻分析的相關(guān)文獻進行分析的基礎(chǔ)上，將確定高頻關(guān)鍵詞的方法歸納為以下五種：根據(jù)研究需要（郭文斌， 等， 2014）、普萊斯定律（王佑鎂， 等， 2014）、g指數(shù)算法（郭向飛， 2014）、齊夫第二定律（孫青蘭， 1992）以及低頻、高頻關(guān)鍵詞分解臨界值計算公式（孫青蘭， 1992）。

在明確上述確定高頻關(guān)鍵詞的基本原理與計算方法的基礎(chǔ)上，本研究分別根據(jù)普萊斯定律、g指數(shù)算法、齊夫第二定律以及低頻、高頻關(guān)鍵詞臨界值計算公式等方法的具體操作流程，對研究樣本的關(guān)鍵詞進行計算分析，結(jié)果顯示高頻關(guān)鍵詞的數(shù)量（閾值，累計詞頻百分比）分別為26個（8，47.12%）、18個（5，50.21%）、6個（22，32.58%）、6個（17，32.58%）。通過對上述各算法計算結(jié)果的比較分析，本研究認為上述方法確定高頻關(guān)鍵詞閾值過高、累計詞頻百分比過低，難以全面反映國內(nèi)網(wǎng)絡(luò)課程評價研究現(xiàn)狀。鑒于此，根據(jù)研究需要，本研究最終將高頻關(guān)鍵詞閾值設(shè)定為3，共涉及35個關(guān)鍵詞、累計詞頻百分比為58.25%，涉及文獻168篇，占研究樣本總量的94.92%。這意味著通過對前35位高頻關(guān)鍵詞的分析能夠在很大程度上反映我國在線課程評價的研究熱點。高頻關(guān)鍵詞如表3所示。

（二）高頻關(guān)鍵詞社群圖譜及分析

本研究采用BICOMB2對已確定的35個高頻關(guān)鍵詞進行共現(xiàn)分析，生成共現(xiàn)矩陣，如表4所示。

關(guān)鍵詞共現(xiàn)矩陣是一個無向?qū)ΨQ關(guān)系的矩陣，兩個關(guān)鍵詞在同一篇文獻中出現(xiàn)時，則表示這兩個關(guān)鍵詞間存在聯(lián)系，矩陣對角線數(shù)值表示該關(guān)鍵詞出現(xiàn)的總頻次。通過對高頻關(guān)鍵詞共現(xiàn)矩陣中對角線以外的數(shù)值進行比較分析，在高頻關(guān)鍵詞中存在較強聯(lián)系（頻次≥3）的關(guān)鍵詞組中，“網(wǎng)絡(luò)課程”與“評價指標體系”“評價”“評價標準”“權(quán)重”“模糊綜合評價法”“網(wǎng)絡(luò)課程評價”“層次分析法”“評價指標”“學(xué)習(xí)評價”“評價體系”“評價模型”“評價研究”“德爾菲法”“綜合評價”“教師教育”“網(wǎng)絡(luò)課件”的共現(xiàn)頻次依次為23、18、11、10、9、8、6、6、5、4、4、3、3、3、3、3。這表明在在線課程評價研究中，諸多學(xué)者最集中關(guān)注的是在線課程的評價指標體系或評價標準的研究，模糊綜合評價法是當前國內(nèi)開展網(wǎng)絡(luò)課程評價的主要方法，層次分析法、德爾菲法是在線課程評價指標體系研究中常用的權(quán)重計算方法，學(xué)習(xí)評價是在線課程評價的最新發(fā)展，教師教育類在線課程的評價逐漸引起業(yè)界學(xué)者的關(guān)注和重視。依此類推，通過對高頻關(guān)鍵詞共現(xiàn)矩陣的分析，本研究還發(fā)現(xiàn)：學(xué)習(xí)評價，尤其是同伴互評，是MOOC評價的熱點；網(wǎng)絡(luò)資源與課程質(zhì)量是“質(zhì)量工程”下精品課程評價的主要關(guān)注點，等等。

共詞網(wǎng)絡(luò)分析對于了解一個研究主題的成熟度、知識結(jié)構(gòu)、研究規(guī)模等狀況具有非常重要的意義（張松， 2014）。為更加精確地探尋上述高頻共現(xiàn)關(guān)鍵詞之間的內(nèi)在聯(lián)系，形象直觀地展現(xiàn)我國在線課程評價的研究熱點，本研究在利用BICOMB2生成高頻關(guān)鍵詞共現(xiàn)矩陣的基礎(chǔ)上，利用Ucinet6和NetDraw對高頻關(guān)鍵詞的共現(xiàn)矩陣進行社會網(wǎng)絡(luò)中心度分析，最終繪制了高頻關(guān)鍵詞的社群圖譜，如圖3所示。

在高頻關(guān)鍵詞社群圖譜中，每一個節(jié)點表示一個關(guān)鍵詞。圖3中35個高頻關(guān)鍵詞用方塊標記，方塊間的雙箭頭表示兩點之間存在共現(xiàn)關(guān)系，方塊越大表示其中心度越高。從圖3可以明顯看出：評價指標體系是在線課程評價研究的最主要內(nèi)容，評價模型、評價方法的研究相對較為薄弱；層次分析法是在線課程評價研究中應(yīng)用最為普遍的一種方法；在線課程評價的關(guān)注點正逐步由在線課程本身的質(zhì)量轉(zhuǎn)向?qū)W習(xí)者的學(xué)習(xí)情況；以MOOC為代表的新型在線課程的評價研究已初具規(guī)模，同伴互評是MOOC評價研究的最新趨勢；教師教育類、高職類在線課程的評價逐步引起研究者的關(guān)注，等等。

（三）高頻聚類圖譜及分析

對高頻關(guān)鍵詞進行聚類分析能夠進一步反映高頻關(guān)鍵詞之間的親疏關(guān)系，有利于深入分析我國在線課程的研究熱點。進行關(guān)鍵詞聚類分析時，先以最有影響的關(guān)鍵詞生成聚類，再由聚類中的種子關(guān)鍵詞及相鄰關(guān)鍵詞組成一個新的聚類。關(guān)鍵詞越相似，它們之間的距離越近；反之，則越遠（王敏， 等， 2011）。本研究采用BICOMB2軟件對已確定的高頻關(guān)鍵詞生成詞篇矩陣，然后導(dǎo)入SPSS19.0進行系統(tǒng)聚類分析。在分析過程中，聚類方法選擇組間連接，度量標準選擇二分類“Ochiai”，最終生成的高頻關(guān)鍵詞聚類樹圖譜如圖4所示。

根據(jù)高頻關(guān)鍵詞聚類分析結(jié)果的連線，本研究將我國在線課程評價的研究熱點分為六類，具體內(nèi)容如下所述。

研究熱點一：“質(zhì)量工程”背景下精品課程評價研究包括“評價研究”“內(nèi)容分析”“精品課程”“質(zhì)量工程”“網(wǎng)絡(luò)資源”五個關(guān)鍵詞。從研究內(nèi)容看，現(xiàn)有研究樣本中精品課程的評價研究以國家發(fā)布的精品課程評估指標體系的比較研究為主，既包括歷史發(fā)展視角下的歷年評估指標體系的自我比較，也包括與其他相關(guān)評估指標體系的國際比較，但以前者為主；精品課程網(wǎng)絡(luò)資源的評價研究主要涉及網(wǎng)絡(luò)資源的可及性評估、無障礙性評估、用戶滿意度評估以及評價指標體系與評價系統(tǒng)的設(shè)計與開發(fā)研究等；精品課程教學(xué)質(zhì)量評估指標體系研究主要包括師資水平、教學(xué)條件和教學(xué)方法、教學(xué)管理、反饋效果、教材教輔使用五個方面；基于內(nèi)容分析的精品課程評價研究現(xiàn)狀述評研究。此外，從研究視角來看，“績效”是我國開展精品課程評價的主要視角與導(dǎo)向。

研究熱點二：在線課程評價方法研究包括“評價方法”一個關(guān)鍵詞。通過對相關(guān)文獻的分析，已有研究樣本中專以“在線課程評價方法”為主題的研究較為罕見，主要是在在線課程評價指標體系的相關(guān)研究中將評價方法作為重要內(nèi)容進行闡釋和應(yīng)用。經(jīng)歸納，研究樣本中所涉及的在線課程評價方法主要有專家評價法、層次分析法、正交試驗法、模糊綜合評價法、Topsis法、網(wǎng)絡(luò)計量學(xué)方法以及社會網(wǎng)絡(luò)分析法等。此外，在線課程評價研究的理論基礎(chǔ)主要涉及灰色系統(tǒng)理論、首要教學(xué)原理、云模型理論、平衡計分卡理論、物元分析理論、建構(gòu)主義學(xué)習(xí)理論、社會文化理論以及“主體間性”理論等。

研究熱點三：在線課程學(xué)習(xí)評價研究。根據(jù)圖4中關(guān)鍵詞的連線關(guān)系，本研究將在線課程學(xué)習(xí)評價研究的熱點分為兩個層面：一是以“MOOC”“同伴互評”“學(xué)習(xí)評價”三個關(guān)鍵詞為代表的學(xué)習(xí)者視角下的MOOC評價研究，研究成果以評價指標體系為主，以網(wǎng)絡(luò)計量學(xué)、貝葉斯知識跟蹤模型、模糊綜合評價法為主要技術(shù)支撐，研究內(nèi)容主要聚焦在適切性評估、教學(xué)評估、學(xué)習(xí)動機保持質(zhì)量評價、學(xué)習(xí)成效評估、學(xué)習(xí)終端App評估、MOOC平臺使用滿意度評估以及同伴互評等方面，同伴互評是現(xiàn)階段MOOC學(xué)習(xí)評價研究的熱點主題；二是以“過程性評價”“學(xué)習(xí)績效”“發(fā)展性評價”三個關(guān)鍵詞為代表的以學(xué)習(xí)績效為導(dǎo)向的在線課程的發(fā)展性評價與過程性評價。

研究熱點四：在線課程質(zhì)量評價研究包括“教學(xué)設(shè)計”“網(wǎng)絡(luò)學(xué)習(xí)”“教育評價”“網(wǎng)絡(luò)課件”“網(wǎng)絡(luò)教育”“質(zhì)量評價”六個關(guān)鍵詞。該部分注重在線課程自身的質(zhì)量評價，研究成果以評價指標體系、評價模型或框架為主，研究主題主要涉及在線課件質(zhì)量認證、在線課程試行評價、遠程課程質(zhì)量認定、精品課程質(zhì)量評價、在線課程網(wǎng)站或平臺評價、在線課程無障礙性評價以及MOOC的教學(xué)設(shè)計質(zhì)量評估等，評價導(dǎo)向以專家評估與績效評估為主。此外，對美國、德國等國家權(quán)威機構(gòu)或高校頒布的在線課程質(zhì)量評價標準的介紹及實踐分析是我國開展在線課程質(zhì)量評價國際比較研究的主要內(nèi)容。

研究熱點五：在線課程評價指標體系研究包括“可用性”“教師教育”“評價指標”“評價體系”“高職”“層次分析法”“德爾菲法”“模糊綜合評價法”“綜合評價”“評價指標體系”“權(quán)重”“評價”“評價標準”“網(wǎng)絡(luò)課程”“網(wǎng)絡(luò)課程評價”15個關(guān)鍵詞。從在線課程應(yīng)用領(lǐng)域來看，以普通高校最為集中，高職院校與教師教育領(lǐng)域相對薄弱；從研究成果來看，以評價指標研究為主，評價模型、評價系統(tǒng)是評價指標體系研究的進一步拓展；從評價對象來看，主要涉及課程自身評價、課程教學(xué)質(zhì)量評價、學(xué)習(xí)評價以及網(wǎng)絡(luò)資源評價四個層面；從評價方法來看，德爾菲法、層次分析法以及模糊綜合評價法分別是確定評價指標、指標權(quán)重以及構(gòu)建評價模型的主要方法；從評價范疇看，已逐步由高校網(wǎng)絡(luò)教育學(xué)院的成人教育類在線課程擴展到以精品課程、MOOC為代表的大學(xué)生學(xué)習(xí)輔助類在線課程。

研究熱點六：在線課程評價模型研究包括“評價模型”“網(wǎng)絡(luò)教學(xué)”兩個關(guān)鍵詞。通過對相關(guān)文獻進行分析，本研究根據(jù)評價模型構(gòu)建指向的不同將研究樣本中在線課程評價模型分為在線課程質(zhì)量評價模型、在線課程資源評價模型和在線課程學(xué)習(xí)評價模型三大類。在線課程質(zhì)量評價模型是在線課程評價模型研究的主要內(nèi)容，根據(jù)模型構(gòu)建方法的不同可將模型分為模糊綜合評價模型、在線評價模型、物元評價模型、感知質(zhì)量評價模型等；在線課程資源評價模型主要包括綜合評價模型和滿意度評價模型兩類；在線課程學(xué)習(xí)評價模型是在線課程評價模型研究的最新熱點，主要包括學(xué)習(xí)質(zhì)量綜合評價模型、同伴互評概率模型等。

四、研究結(jié)論與啟示

（一）研究結(jié)論

在對高頻關(guān)鍵詞進行網(wǎng)絡(luò)中心度分析、系統(tǒng)聚類分析的基礎(chǔ)上，本研究從歷史發(fā)展的視角將我國在線課程評價研究現(xiàn)狀歸納為以下幾點：

其一，權(quán)威機構(gòu)發(fā)布的相關(guān)文件對在線課程評價研究的促進作用與制約作用并存。自現(xiàn)代遠程教育試點工程啟動以來，在線課程的質(zhì)量引起了國內(nèi)諸多專家學(xué)者的重視。鑒于國內(nèi)在線課程評價研究起步相對較晚，缺乏相關(guān)的經(jīng)驗借鑒，因此在在線課程評價早期主要以借鑒或參照國外權(quán)威機構(gòu)發(fā)布的相關(guān)研究成果為主。通過文獻梳理，對我國在線課程評價研究起重要參照作用的國外研究成果主要有美國的《在線學(xué)習(xí)認證標準》《在線學(xué)習(xí)質(zhì)量》《QM網(wǎng)絡(luò)高等教育課程認證標準》、英國的《虛擬學(xué)習(xí)環(huán)境的教育評價框架》、德國的《遠程教育課程評估》指標體系等。隨著實踐經(jīng)驗的積累，我國也陸續(xù)頒布了系列相關(guān)標準文件，為我國在線課程評價指標的確定提供了重要參考，如《現(xiàn)代遠程教育工程教育資源開發(fā)標準》《網(wǎng)絡(luò)課程評價規(guī)范》《國家精品課程評估指標》《國家級精品資源共享課評審指標體系》等。然而，上述標準文件在推動我國在線課程評價研究與實踐發(fā)展的同時，對其創(chuàng)新性發(fā)展也起到了一定制約作用，導(dǎo)致對國外相關(guān)標準缺乏持續(xù)深入的國際比較研究，網(wǎng)絡(luò)課程評價指標的確定基本以在線課程構(gòu)成要素為依據(jù)且共性特征顯著，等等。

其二，在線課程類別不斷豐富，評價理念不斷更新?？v觀我國網(wǎng)絡(luò)教育的發(fā)展歷程，從現(xiàn)代遠程教育試點到以MOOC為代表的在線開放課程，在線課程類別不斷豐富，由最初高校網(wǎng)絡(luò)教育學(xué)院或廣播電視大學(xué)等開設(shè)的滿足社會在職人員繼續(xù)教育需求的“學(xué)歷補償型”課程逐步擴展到高等教育領(lǐng)域輔助各學(xué)科面授教學(xué)的“效果增強型”課程，再擴展到面向全體社會成員的“全員普惠型”課程。在線課程的評價始終是各階段在線課程研究的重點。從對研究樣本的分析結(jié)果來看，我國在線課程的評價經(jīng)歷了由最初僅僅注重課程本身質(zhì)量的評價到注重課程教學(xué)質(zhì)量的評價，再到目前的在線課程學(xué)習(xí)評價這一發(fā)展歷程。評價對象的演變意味著我國在線課程評價理念的更新與發(fā)展，如逐漸凸顯學(xué)習(xí)者在在線課程評價中的主體地位、注重系統(tǒng)思維的應(yīng)用、在線課程評價的理論基礎(chǔ)呈多元化發(fā)展態(tài)勢，等等。

其三，評價主體呈多元化，且注重“系統(tǒng)”評價價值的挖掘。在在線課程評價早期，網(wǎng)絡(luò)課程的評定基本以“專家評估”為主，隨著對教育評價認知的不斷深入，評價主體逐步由“專家”擴展到包括教師、同事以及學(xué)生在內(nèi)的多元評價主體。此外，大數(shù)據(jù)、學(xué)習(xí)分析等新興信息技術(shù)在在線課程設(shè)計與開發(fā)階段的深度應(yīng)用促使在線課程平臺的智能化水平不斷提高，在線課程平臺或系統(tǒng)所具備的自動評價功能的價值逐步引起了專家學(xué)者的關(guān)注和挖掘，“系統(tǒng)”逐步成為參與在線課程評價的主體之一，同時推動了在線課程評價向量化、可視化和智能化方向發(fā)展。

其四，在線課程評價指標體系雖經(jīng)個案實踐檢驗，但其可推廣性有限。通過歸納，在線課程評價指標體系可推廣性受限的原因主要有：在線課程評價指標體系在設(shè)計、開發(fā)與實踐層面尚未充分考慮評價活動的背景特征，如在線課程的類型、學(xué)習(xí)群體的特征、學(xué)科特征等，對共性特征的考慮遠大于個性特征，制約了在線課程評價的針對性與真實性；在線課程評價的價值導(dǎo)向以等級評定為主，評定結(jié)果分為“優(yōu)、良、中、差”“合格、不合格”等，缺少對網(wǎng)絡(luò)課程改進或優(yōu)化價值的挖掘；評價指標的描述方式較為封閉，制約了評價數(shù)據(jù)收集的廣泛性。此外，英語文獻中“課程”有兩種表達方式，即course和curriculum。其中，“course”指單門課程，“curriculum”指課程體系。目前，國內(nèi)在線課程評價指標體系大多是從單門課程的視角著手建構(gòu)與實踐的，課程體系視角下的評價指標體系研究較為罕見。

其五，信息技術(shù)的發(fā)展與融入推動了在線課程評價指標確定路徑的變革。在研究的早期階段，確定評價指標的基本路徑是：綜合梳理、分析已有研究成果，根據(jù)研究需要對已有評價指標進行篩選、修訂和補充，初步確定評價指標后采用德爾菲法征求專家意見，最終確定評價指標。隨著大數(shù)據(jù)、學(xué)習(xí)分析以及數(shù)據(jù)挖掘技術(shù)的發(fā)展，研究者越來越注重在線課程平臺中的大數(shù)據(jù)對確定評價指標的重要價值，如基于在線課程平臺評論區(qū)文本數(shù)據(jù)的挖掘確定部分評價指標（姚凱， 等， 2017），將在線課程平臺記錄的相關(guān)數(shù)據(jù)作為確定課程量化評價指標的重要依據(jù)（馮雪松， 等， 2015）等。這在一定程度上推動了在線課程評價范式的轉(zhuǎn)變。

（二）對在線開放課程教學(xué)質(zhì)量認定的啟示

為強化研究的實踐指導(dǎo)價值，本研究在對國內(nèi)在線課程評價研究現(xiàn)狀進行分析的基礎(chǔ)上著重從以下五個層面對當下高校在線開放課程教學(xué)質(zhì)量認定標準的研制進行了嘗試性思考，期望能對該標準的研制與實踐提供些許指導(dǎo)和幫助。

其一，樹立正確的價值取向。當下，各類在線課程平臺的盛行及社會影響力的不斷提升，為更多高校適時引入在線開放課程、創(chuàng)新人才培養(yǎng)模式、提升人才培養(yǎng)質(zhì)量創(chuàng)造了良好的外部條件。根據(jù)《教育部關(guān)于加強高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見》（教高〔2015〕3號）對推進在線開放課程學(xué)分認定和學(xué)分管理制度創(chuàng)新的具體要求，在線開放課程教學(xué)質(zhì)量認定是各高校將其納入人才培養(yǎng)方案和教學(xué)計劃的前提，也是后續(xù)開展在線課程教學(xué)效果評價、學(xué)分認定與轉(zhuǎn)換工作的重要鋪墊。鑒于在線課程平臺在推出某門課程之前均會按照一定的標準對課程的質(zhì)量進行評估，評定結(jié)果分“合格、不合格”或“優(yōu)、良、中、差”等各類等級，并將其作為是否推出的重要依據(jù)。因此，高校在引入在線開放課程時的評估或認定工作的價值取向應(yīng)該由對課程質(zhì)量的等級評定轉(zhuǎn)向?qū)φn程固有特性滿足價值主體需求程度的評估，即在線開放課程的適切性評估，這與在線課程平臺（課程供給方）開展課程評定工作的價值取向截然不同。然而，隨著在線開放課程市場認證的不斷成熟以及在線教育機構(gòu)間的相互競爭，部分在線課程平臺嚴重弱化甚至忽略課程上線前的質(zhì)量評定環(huán)節(jié)。這在無形之中提高了高校在課程引入環(huán)節(jié)開展的評定工作的復(fù)雜程度。因此，適度強化和完善供給側(cè)課程評定機制是保障高校在線開放課程教學(xué)質(zhì)量認定工作有效實施的重要前提。此外，從供給側(cè)與需求側(cè)的相互作用關(guān)系來看，高校在課程引入環(huán)節(jié)開展教學(xué)質(zhì)量認定工作的另一價值取向在于能夠為在線開放課程的改進和市場推廣提供重要的反饋信息，有利于增強在線開放課程的普適性。因此，高校開展在線開放課程教學(xué)質(zhì)量認定工作具有雙重價值取向，既要滿足價值主體需求，又要促進在線開放課程的供給側(cè)改革。

其二，堅持融合的研究視角。研究視角即研究者觀察、分析研究對象的特定切入點，但并不需要全面反映研究對象的總體特征。因此，對同一現(xiàn)象或問題的觀察，選擇不同的視角往往會得到不同的認知，觸及被觀察對象本質(zhì)的程度也存在一定的差異。在教育研究中，研究視角的來源主要有問題提出的背景、教育現(xiàn)象的對比、問題的構(gòu)成要素、具體學(xué)科的觀點和方法論五種（汪旺根， 等， 2010）。目前，國內(nèi)開展在線課程評價的研究視角呈多樣化，較為全面地反映了在線課程評價的總體特征，但均未深層次觸及開展在線課程評價的關(guān)鍵，其緣由主要在于對開展在線課程評價的背景缺乏深層次的把握與分析。當下，開展在線開放課程教學(xué)質(zhì)量認定的宏觀背景是高校通過引入在線開放課程推動教育教學(xué)的信息化變革，提高人才培養(yǎng)質(zhì)量。我國開展教育信息化工作始終堅持的核心理念是促進信息技術(shù)與教育教學(xué)深度融合（教技〔2016〕2號文件）。高校在線開放課程教學(xué)質(zhì)量認定是我國當下高校教育信息化領(lǐng)域的重要課題，在研究與實踐領(lǐng)域堅持“融合”的研究視角，將更有益于深入推進在線開放課程在高等教育領(lǐng)域的創(chuàng)新應(yīng)用?！督逃哭k公廳關(guān)于開展2017年國家精品在線開放課程認定工作的通知》（教高廳函〔2017〕40號）對申報參加國家精品在線開放課程認定的課程在融合創(chuàng)新層面提出了明確的要求，如“在教學(xué)內(nèi)容與資源、教學(xué)設(shè)計與方法、教學(xué)活動與指導(dǎo)、團隊支持與服務(wù)、教學(xué)效果與影響等方面，堅持質(zhì)量為本、注重共享應(yīng)用、體現(xiàn)融合創(chuàng)新”。因此，相比其他視角，堅持在“融合”視角下開展高校在線開放課程教學(xué)質(zhì)量認定的研究與實踐，更有利于促進高校在線開放課程的可持續(xù)發(fā)展。

其三，重視數(shù)據(jù)價值的挖掘?！跋冉ㄔO(shè)應(yīng)用、后評價認定”是我國開展國家精品在線課程認定工作的重要原則，同時也反映了我國在線課程評價理念的轉(zhuǎn)變。自2012年“慕課元年”至今，以MOOC為代表的在線開放課程的發(fā)展初具規(guī)模，平臺功能不斷完善，課程類別不斷豐富，學(xué)習(xí)支持服務(wù)不斷優(yōu)化，注冊并參與課程學(xué)習(xí)的群體也在不斷擴大，等等。高校在引入在線開放課程之前，在線課程平臺已經(jīng)積累了較大規(guī)模的課程應(yīng)用數(shù)據(jù)，這是先前網(wǎng)絡(luò)課程投入教育教學(xué)使用前所沒有的獨特特征，也是現(xiàn)階段開展在線開放課程教學(xué)質(zhì)量認定的重要依據(jù)。本研究認為在線課程平臺積累的大量課程應(yīng)用數(shù)據(jù)的應(yīng)用價值主要體現(xiàn)在以下幾方面：對多個在線課程平臺的功能進行比較分析有利于明了各在線課程平臺的共性功能與個性功能，能強化高校對在線課程平臺及其課程固有教學(xué)特性的深度認知；挖掘、分析、比較某門在線開放課程中不同學(xué)習(xí)群體的系列數(shù)據(jù)有利于明了適應(yīng)該在線開放課程的學(xué)習(xí)群體的基本特征，為高校引入和應(yīng)用該課程提供參照；通過對在線課程平臺討論區(qū)或評論區(qū)所積累的文本數(shù)據(jù)進行深度挖掘與分析，可初步歸納不同類型的學(xué)習(xí)群體對課程特性的關(guān)注點，能為深度了解在線開放課程的價值主體需求提供參照，等等。

其四，注重指標的動態(tài)構(gòu)建?！禝SO9000-2015-質(zhì)量管理體系-基礎(chǔ)和術(shù)語》將“質(zhì)量”界定為“客體的一組固有特性滿足要求的程度”?！敖虒W(xué)質(zhì)量是過程質(zhì)量與結(jié)果質(zhì)量、產(chǎn)品質(zhì)量與服務(wù)質(zhì)量的有機統(tǒng)一。學(xué)生發(fā)展結(jié)果是產(chǎn)品質(zhì)量，教學(xué)運行是過程質(zhì)量，教學(xué)條件與管理是服務(wù)質(zhì)量。產(chǎn)品質(zhì)量與結(jié)果質(zhì)量規(guī)定過程質(zhì)量與服務(wù)質(zhì)量并以后者為條件，過程質(zhì)量與服務(wù)質(zhì)量服從于結(jié)果質(zhì)量與產(chǎn)品質(zhì)量并以后者為目的，提高產(chǎn)品質(zhì)量或提高學(xué)生素質(zhì)，必以提升服務(wù)質(zhì)量和過程質(zhì)量為前提和基礎(chǔ)?！保▌⒄裉?， 2012）以此為參照，本研究將“在線開放課程教學(xué)質(zhì)量”界定為“在線開放課程所固有的教學(xué)特性滿足價值主體需求的程度”。為實現(xiàn)對在線開放課程教學(xué)質(zhì)量的“總體評判”，結(jié)合教學(xué)質(zhì)量的內(nèi)涵及“融合”的研究視角，本研究從整體觀念出發(fā)，以過程質(zhì)量為核心，傾向于從教學(xué)條件、教學(xué)過程和教學(xué)結(jié)果三個方面全面把握在線開放課程固有的教學(xué)特性。價值主體包括個體和社會兩個方面，其中個體方面的價值主體主要包括教師、學(xué)生，社會方面的價值主體包括高等學(xué)校、用人單位乃至整個社會。

在上述邏輯推演下，本研究認為在線開放課程教學(xué)質(zhì)量認定就是評判在線開放課程固有的教學(xué)特性滿足價值主體需求程度的過程。“大學(xué)教育本質(zhì)上是一種按學(xué)科和專業(yè)進行的分科教育?！保ㄧ婂\文， 等， 2007）這意味著在線開放課程教學(xué)質(zhì)量具有多樣性特征。為增強課程教學(xué)質(zhì)量評價的真實性、針對性與有效性，包含學(xué)生特征、課程特征和教師特征等在內(nèi)的背景特征是開展在線開放課程教學(xué)質(zhì)量認定必須考慮的關(guān)鍵要素。因此，在考慮背景特征的基礎(chǔ)上，構(gòu)建一個模塊化或菜單式的在線開放課程教學(xué)質(zhì)量認定指標體系，由單一的基本構(gòu)件組成模塊或子菜單，使高校能夠根據(jù)實際需要任意組合模塊或菜單，形成所需要的評價指標體系，進而實現(xiàn)在線開放課程固有教學(xué)特性與價值主體需求之間的動態(tài)組合，二者組合指標的數(shù)量及匹配程度可作為評判課程適切性的重要依據(jù)。

其五，強化國際比較研究。社會各領(lǐng)域的發(fā)展是一個相互借鑒的過程。與美國、英國、德國等西方發(fā)達國家相比，我國在線教育事業(yè)的起步相對較晚，從現(xiàn)代遠程教育試點到MOOC，持續(xù)的國際比較研究對推進我國在線教育事業(yè)的跨越式發(fā)展起到了重要作用。對我國而言，開放教育資源是一種“舶來品”，該理念的引入促進了我國信息化資源建設(shè)與發(fā)展思維模式的轉(zhuǎn)變。以MOOC為代表的在線開放課程是開放教育資源發(fā)展的最前沿代表，強化我國與歐美等國MOOC評價領(lǐng)域理論與實踐的比較研究，對持續(xù)推進我國高校在線開放課程教學(xué)質(zhì)量認定更具借鑒價值。此外，歐美等其他國家間在線課程評價的比較研究也應(yīng)當作為今后國內(nèi)開展在線課程評價國際比較研究的關(guān)注點。

五、結(jié)語

現(xiàn)階段，以MOOC為代表的在線開放課程是在線課程發(fā)展的最新形態(tài)，是在線教育研究的熱點話題，受到了各級各類學(xué)校的高度關(guān)注，尤其是高等教育領(lǐng)域，將其作為推進高等教育教學(xué)模式變革、創(chuàng)新人才培養(yǎng)體系的利器。對在線課程的教學(xué)質(zhì)量進行認定是學(xué)校引入在線開放課程的前提，也是促進在線開放課程不斷優(yōu)化與強化市場認證的重要途徑。本研究以事物發(fā)展的否定之否定規(guī)律為宏觀指導(dǎo)，在對國內(nèi)在線課程評價研究現(xiàn)狀進行梳理與分析的基礎(chǔ)上，對如何開展在線開放課程教學(xué)質(zhì)量認定提出了自己的見解，希望對在線開放課程教學(xué)質(zhì)量認定的相關(guān)研究起到拋磚引玉的作用。

[參考文獻]

崔雷，劉偉，閆雷，張晗，侯躍芳，黃瑩娜，張浩. 2008. 文獻數(shù)據(jù)庫中書目信息共現(xiàn)挖掘系統(tǒng)的開發(fā)[J]. 現(xiàn)代圖書情報技術(shù)（8）：70-75.

馮雪松，于青青，李曉明. 2015. 在實踐中探索MOOC評價體系[J]. 中國大學(xué)教學(xué)（10）：72-81，85.

郭文斌，俞樹文. 2014. 我國遠程教育研究熱點知識圖譜：基于317篇碩士及博士學(xué)位論文的關(guān)鍵詞共詞分析[J]. 電化教育研究（2）：45-49，67.

郭向飛. 2014. 基于關(guān)鍵詞詞頻和G指數(shù)的新興研究熱點分析方法[J]. 大學(xué)圖書情報學(xué)刊（7）：94-95，119.

教育部. 教技〔2016〕2號文件. 教育部關(guān)于印發(fā)《教育信息化“十三五”規(guī)劃》的通知[Z].

劉振天. 2012. 《高等學(xué)校教學(xué)質(zhì)量報告》應(yīng)該報告什么[J]. 中國高等教育（3）：48-50.

孫青蘭. 1992. 高頻、低頻詞的界分及詞頻估計方法[J]. 情報科學(xué)（4）：28-32.

王敏，郭文斌. 2011. 我國近十年情緒調(diào)節(jié)研究熱點知識圖譜[J]. 心理研究（4）：56-59.

汪旺根，王小丁. 2010. 論教育研究中的問題與視角[J]. 西華師范大學(xué)學(xué)報：哲學(xué)社會科學(xué)版（1）：51-54.

王佑鎂，伍海燕. 2012. 中國高教研究領(lǐng)域高頻被引論文的學(xué)術(shù)特征分析[J]. 中國高教研究（1）：33-37.

姚凱，李思志，李艷紅，邱靜靜. 2017. MOOC評價模型研究[J]. 復(fù)旦教育論壇（3）：65-71.

鐘錦文，張曉盈. 2007. 美國高校課程教學(xué)質(zhì)量評價指標體系及其啟示[J]. 現(xiàn)代遠距離教育（2）：49-51.

張松. 2014. 我國教育技術(shù)學(xué)碩士學(xué)位論文的可視化研究：基于社會網(wǎng)絡(luò)分析視角[J]. 河北科技師范學(xué)院學(xué)報（2）：96-101.

收稿日期：2017-10-10

定稿日期：2018-01-19

作者簡介：李運福，博士研究生，助理研究員，陜西學(xué)前師范學(xué)院教育科學(xué)學(xué)院（710061）。

楊曉宏，教授，博士生導(dǎo)師；周效章，博士研究生，副教授。西北師范大學(xué)教育技術(shù)學(xué)院（730070）。

責(zé)任編輯 單 玲