基于學生體驗的高職在線課程評價指標體系研究

樊宇

摘 要：為了進一步豐富和完善教育主管部門原有在線課程評價指標體系，更好地指導高職教育教學改革，讓高職在線課程建設者能夠基于學習者學習能力、學習特點、學習目標和職業(yè)教育目的，不斷修正和完善已建在線課程，使高職在線課程能被更多的高職學生有效利用，提高課程資源的使用率，為高職學生選擇合適的在線課程提供充分指導。本文基于調(diào)研學生體驗的高職在線課程評價中遇到問題，綜合運用文獻對在線課程評價研究的主要相關(guān)論文進行可視化分析;建立在線課程質(zhì)量評價要素語料庫，對評價要素進行聚類、分層，構(gòu)建評價指標體系。

關(guān)鍵詞：學生體驗;在線課程;評價指標體系

中圖分類號：F27 文獻標識碼：Adoi：10.19311/j.cnki.1672-3198.2022.08.039

信息技術(shù)的飛速發(fā)展加快了在線教育資源建設步伐。世界各國在線課程不斷蓬勃發(fā)展與完善，一些發(fā)達國家對在線課程的研究領(lǐng)域更加全面，成果更加豐碩。在線課程的質(zhì)量標準體系建設，歐美國家研究更系統(tǒng)和成熟，相關(guān)研究既有定性研究也有定量研究，研究成果經(jīng)過了具體在線課程評價的實踐驗證，更關(guān)注學習者的在線課程學習體驗以及學習評價等方面的研究，這些研究成果對我國在線課程評價體系的構(gòu)建都有重要的啟示。

在教育部的引領(lǐng)下，國內(nèi)在線課程建設及質(zhì)量提升研究也進入了高速發(fā)展期。教育部于2018年3月推出的首批490門“國家精品在線開放課程”中占據(jù)高等教育半壁江山的高職精品課程僅有22門，2019年高職課程增至111門。高職生源與普通本科生源之間存在顯著的區(qū)別，學生的學習基礎(chǔ)、動機、習慣、方法、興趣差異顯著。而且，普通本科與高職教育的課程性質(zhì)、學習目標也有顯著不同，所以高職在線課程的建設不能按照普通高等教育在線課程的評價標準來評判。近年來，我國關(guān)于在線課程評價的研究呈上升趨勢，但多以理論為主，實踐研究還有待進一步提升。

2020年突發(fā)的新冠疫情，使各在線課程平臺用戶爆滿，在線課程建設者也使出渾身解數(shù)，為教師和學生提供各種在線課程資源及建設平臺，原本是用于輔助線上線下混合式教學的在線課程成了教與學的主戰(zhàn)場，高職院校教師與學生都有了一定在線教與學的體驗，積累了進一步對在線課程評價的條件。目前在線課程的建設與評價標準都是由教育教學機構(gòu)及其管理部門來設置，在線課程沒有充分從用戶視角與維度考慮課程的體驗性，沒能兼顧用戶心理上、官能上的體驗，不能很好地使學習者積極、持續(xù)地參與進去。在線課程的建設質(zhì)量及其評價標準應該從在線課程的學習者角度來設計，由他們通過自身體驗與應用來對其做出評判。

1 研究意義

本研究主要側(cè)重于高職學生學習過程和體驗，根據(jù)高職學生學習內(nèi)容、學習方法和學習路徑來確定評價指標，重點是增強為高職學生服務的意識，指導高職學生學習。基于客觀數(shù)據(jù)的搜集、科學的統(tǒng)計方法保障，進一步豐富、補充和完善在線課程評價指標體系理論研究，為高職在線課程建設評價，也為混合式教學研究提供數(shù)據(jù)支撐，同時進一步深化高職教育課程建設理論。

2 研究方法

（1）文獻分析法。通過研究和梳理文獻，學習和借鑒國內(nèi)外在線課程建設的評價方法、理論依據(jù)，分析其優(yōu)缺點。

（2）實證研究法。本研究始于高職院校教師和學生大量使用在線課程的體驗，研究數(shù)據(jù)來自于應用實踐，來自于一手的體驗、經(jīng)驗和問題，同時所得出的研究結(jié)果通過實踐進行驗證和完善。

（3）德爾菲法。以問卷的形式征求高職在線課程使用者對在線課程的體驗與評判，經(jīng)過多輪的意見征求與修訂，使專家的意見趨于一致，逐步分析出基于學生使用體驗的評價指標體系與要素。

（4）定性分析與定量分析相結(jié)合法。用成對比較法和1～9分標度構(gòu)造成對比較矩陣，基于調(diào)查數(shù)據(jù)，構(gòu)建在線課程評價指標體系，采用層次分析法（AHP）計算在線課程建設評價指標體系指標權(quán)重值和綜合評價值。

3 研究發(fā)現(xiàn)

3.1 在線課程評價研究特征與趨勢分析

2021年1月23日，在中國學術(shù)期刊網(wǎng)絡出版總庫（CNKI）以主題“在線課程”AND主題“評價”的限定條件進行數(shù)據(jù)高級檢索，檢索起止時間范圍限定為2003年1月到2021年1月，來源類別為CSSCI、CSCD、核心期刊。對檢索到的文獻進一步進行篩選整理，剔除無關(guān)鍵詞文獻，一共獲得183篇期刊論文和33篇碩博論文作為本文分析的樣本。利用CiteSpace5.7.R1的關(guān)鍵詞共現(xiàn)/聚類分析等功能，運用文獻計量、文獻統(tǒng)計分析對樣本進行可視化分析，宏觀把握研究態(tài)勢。

3.2 在線課程評價要素篩選

首先，課題組從183篇核心論文和33篇碩博士論文中提取在線課程評價體系的所有評價要素進行匯總，將匯總的指標要素中涉及教育主管部門和授課者角度的評價指標相關(guān)內(nèi)容剔除，確定指標的初選范圍。按照在線課程使用者高職學生視角進行分類形成語料庫。碩博論文在線課程評價體系指標要素匯集了1032條，高職在線課程質(zhì)量評價體系指標要素匯集了679條。

其次，運用Excel數(shù)據(jù)排序和分類功能，將文獻中搜集到的所有與在線課程相關(guān)評價要素分別進行篩選。通過數(shù)據(jù)篩選功能對所有要素進行降序排列之后，運用“數(shù)據(jù)”中“分類匯總”命令自動分級顯示列表，并計算同一要素出現(xiàn)頻次總數(shù)。

最后，結(jié)合當前在線課程開設資源和學生學習情況，課題組根據(jù)山東省高職院校開設在線課程情況調(diào)查結(jié)果，參照教育部2018年發(fā)布的《精品在線開放課程評價指標體系》以及《山東省高等學校在線開放課程建設實施方案》（魯教高字〔2017〕11號），結(jié)合文獻研究結(jié)果，依據(jù)高職在線課程評價的概念、指標選取原則和范圍，經(jīng)過反復的邏輯思辨，對評價體系指標進行經(jīng)驗選擇/篩選，剔除重復的指標。

3.3 評價體系的初步構(gòu)建

遵循主客觀相結(jié)合、宏微觀相結(jié)合、簡便易行和分類差別化的原則，將選取的評價指標及分層情況以信函形式發(fā)送給專家，經(jīng)過幾輪征詢，使小組專家的意見趨于一致，初步設計了基于學生體驗的高職在線課程評價指標體系，包含1個目標層指標，5個系統(tǒng)層指標，19個要素層指標，96個指標層要素。

3.4 對評價指標框架的進一步修改

為了使評價指標體系更加科學和有效，本研究采用專家意見法對各評價指標篩選和修改。根據(jù)初步制定好的評價指標體系，生成專家調(diào)查咨詢表，向邀請的專家寄送，請他們獨自填寫后再匿名寄回。通過專家意見的幾輪征詢，直至專家意見基本趨于一致為止，最終獲得具有高準確率的集體判斷結(jié)果。

大致的流程為：匿名征求專家意見、統(tǒng)計、歸納，再匿名反饋給各專家，再征求意見，整理、再反饋，若干輪后停止。通過對專家咨詢及指標修改意見進行處理總結(jié)歸納，最終發(fā)現(xiàn)評價指標體系還存在以下幾個問題：

（1）指標描述的規(guī)范性及全面性還有待于提高，專家指出，有些指標描述的角度并沒有從學生的視角出發(fā)，所確定的評價指標體系的落腳點應在學生體驗角度上。

（2）指標先后順序不合理，三級要素層指標和四級指標層指標在層內(nèi)的順序缺少邏輯性，沒有凸顯先后順序。

（3）四級指標缺失內(nèi)容需要補充。

3.5 評價指標選取及結(jié)構(gòu)層次確定，評價體系的初步構(gòu)建

3.5.1 確定核心指標要素

在遵循主客觀相結(jié)合、宏微觀相結(jié)合、簡便易行和分類差別化的原則上，聽取專家意見，最終形成初步的125條在線課程評價指標。

3.5.2 構(gòu)建判斷矩陣

本研究采用層次分析法（AHP）確定指標權(quán)重。層次分析法是將決策問題按總目標、各層子目標及評價準則分解為不同的層次結(jié)構(gòu)，然后用求解判斷矩陣特征向量的辦法，求得每一層次的各元素對上一層次某元素的所占比例最大值，最后再加權(quán)和的方法遞階歸并各備擇方案對總目標的最終權(quán)重，此最終權(quán)重最大者為最優(yōu)方案。

3.5.3 專家權(quán)重賦值

將24位專家（8位教師和16名學生）填寫的層次分析調(diào)查問卷進行匯總，去掉最低分和最高分取平均值，小數(shù)點后保留兩位。

3.5.4 層次分析、權(quán)重和一致性檢驗

運用統(tǒng)計軟件SPSSAU計算判斷矩陣的最大特征根，并進行一致性檢驗并確定相應的指標權(quán)重。

3.5.5 體系建構(gòu)完成及修正

統(tǒng)計結(jié)果表明，各判斷矩陣均通過一致性檢驗，根據(jù)統(tǒng)計所得各級評價指標權(quán)重，建立基于學生體驗的高職在線課程評價指標體系。

基于學生體驗的在線課程評價指標體系構(gòu)建完成后，研究團隊將根據(jù)評價指標體系，面向山東省高職院校在線課程學習的學生編制量表，進行調(diào)研，根據(jù)他們的反饋結(jié)果，對量表進行了修改，發(fā)布到問卷網(wǎng)，請部分在線學習的學生根據(jù)量表要求給各評價維度打分。搜集了一定數(shù)量的樣本之后，對本次試填寫的量表的信度和效度進行了檢驗。

4 研究預期

本研究所得出的基于使用者學生體驗的高職在線課程評價指標體系預期用于豐富和完善在線課程建設理論。進一步豐富和完善教育主管部門原有的評價指標體系，并進一步制定相應政策，更好地指導高職教育教學改革。也能夠指導高職在線課程建設者可以根據(jù)使用者的學能、特點、學習目標和職業(yè)教育的特點與目的，不斷修正和完善已建設的在線課程。使高職在線課程能被更多的高職學生有效利用，提高課程資源的使用率，為高職學生選擇合適的在線課程提供充分指導。

參考文獻

[1]童小素，賈小軍，宣軍英.基于德爾菲法的微課程評價指標的設計[J].中國教育信息化，2016，（24）：40-46.

[2]唐曉君，路瑩，劉娜，等.基于德爾菲方法的在線開放課程質(zhì)量評價系統(tǒng)研究與實現(xiàn)[J].中國教育信息化，2018，（07）：93-96.

[3]金賢.開放在線課程教學質(zhì)量評價指標體系研究[J].江蘇科技信息，2019，（04）：56-74.

[4]潘曉彥，蔣家瓊，莫蘭，等.美國“QM質(zhì)量標準”與我國“精品在線開放課程”評價指標體系比較研究[J].湖南師范大學教育科學學報，2019，（05）：105-110.

[5]陳然，張曉，唐榮.我國開放大學在線課程質(zhì)量評價研究[J].成人教育，2020，（02）：27-32.

[6]陳春芳.應用型本科院校在線課程質(zhì)量評價指標構(gòu)建研究[J].吉林工程技術(shù)師范學院學報，2020，（03）：40-43.

基金項目：本文系山東省教育科學“十三五”規(guī)劃2020年度課題項目“基于學生體驗的高職在線課程評價指標體系構(gòu)建”（2020ZC348）的階段性研究成果之一。

1643501705394