高校在線課程質(zhì)量評價指標體系構(gòu)建研究

顧云鋒，陸 慧，吳鐘鳴，管兆昶

(1.金陵科技學(xué)院教務(wù)處 江蘇 南京 211169；2.金陵科技學(xué)院人力資源處 江蘇 南京 211169)

課程是高校人才培養(yǎng)的核心要素。隨著“互聯(lián)網(wǎng)+教育”的發(fā)展，近幾年，我國積極探索在線課程建設(shè)，目前我國的在線課程數(shù)量和應(yīng)用規(guī)模已居世界第一，已逐漸成為世界慕課建設(shè)和應(yīng)用的領(lǐng)導(dǎo)者。在線課程因其資源多樣性、學(xué)習個性化、評價多元化廣受學(xué)習者歡迎，正變革傳統(tǒng)教與學(xué)的形態(tài)。然而，并非所有在線課程的質(zhì)量都是令人滿意的，很多課程建設(shè)和應(yīng)用效果堪憂。學(xué)習者作為在線課程的主要參與者和最大受益者，其評價是課程質(zhì)量最為直觀的反饋，具有重要的探索和研究價值。那么，何種在線課程能吸引并滿足學(xué)習者的學(xué)習需求？對學(xué)習者而言，在線課程的哪些環(huán)節(jié)相對更重要？教師應(yīng)采取何種措施提高在線課程的教學(xué)質(zhì)量？基于上述問題，本研究試圖從學(xué)習者學(xué)習體驗出發(fā)，基于因子分析法去構(gòu)建符合“互聯(lián)網(wǎng)+教育”時代要求的在線課程質(zhì)量評價指標體系，旨在為課程建設(shè)和質(zhì)量提升提供依據(jù)。

1 文獻綜述

通過文獻分析發(fā)現(xiàn)，國內(nèi)外關(guān)于在線課程質(zhì)量評價的相關(guān)研究不少。目前在已有的國內(nèi)外研究成果中有很多值得借鑒參考，如美國QM標準[1]、復(fù)旦大學(xué)研發(fā)的中國版FD-QM 課程質(zhì)量標準[2]、教育部“國家精品在線開放課程”的評價指標體系[3]、國家標準化管理委員會發(fā)布的《信息技術(shù)―學(xué)習、教育和培訓(xùn)―在線課程》標準[4]，等等。

總體來看，近年來關(guān)于在線課程質(zhì)量標準的研究是業(yè)內(nèi)關(guān)注的熱點問題之一，其中不僅有宏觀層面的定性探討，也有實證角度的定量分析，但還是存在不少不足：第一，現(xiàn)有研究更側(cè)重于“教”。第二，現(xiàn)有研究更多從應(yīng)用效果與影響去評價課程質(zhì)量，而忽視或者不夠重視學(xué)習者的直接學(xué)習體驗。第三，現(xiàn)有評價指標體系存在指標重復(fù)性較高、覆蓋不全面等問題。第四，實證研究不夠充分，很多研究形成的評價指標體系未能就其信度和效度進行檢驗，缺乏實證數(shù)據(jù)支持。

2 研究內(nèi)容

2.1 主要研究設(shè)計和研究方法

評價指標遴選與體系構(gòu)建是一個較為復(fù)雜、嚴謹且不斷完善的過程。本研究首先通過文獻調(diào)研、多輪專家訪談等方式，初步確定在線課程質(zhì)量評價初選指標，并進行問卷調(diào)查；然后對初選指標進行修正，確定從學(xué)習者體驗出發(fā)的在線課程質(zhì)量評價問卷；通過問卷調(diào)查對高校在校生和社會學(xué)習者進行數(shù)據(jù)收集；運用SPSS、AMOS 軟件，采用因子分析法和結(jié)構(gòu)方程模型[5]對問卷調(diào)查結(jié)果和評價指標進行實證分析。

在實證分析過程中，筆者首先對問卷調(diào)查數(shù)據(jù)進行信度和效度分析，保證問卷調(diào)查質(zhì)量。在此基礎(chǔ)上進行探索性因子分析和驗證性因子分析，再運用結(jié)構(gòu)方程模型對各項指標及模型擬合度、適配度、區(qū)分效度進行驗證。

2.2 初始問卷設(shè)計和數(shù)據(jù)收集

初步構(gòu)建在線課程質(zhì)量影響因素。通過對已有研究進行文獻梳理，并面向業(yè)內(nèi)專家收集意見，整理歸納出具有代表性的、覆蓋學(xué)習者學(xué)習全過程的51 個測量問題項。然后在一所大學(xué)本科生中開展小范圍預(yù)調(diào)查，每個測量問題項都讓受訪者從自身學(xué)習體驗出發(fā)，針對問題項的重要程度作答，回答項采用李克特五級量表計分法。初步調(diào)查采用問卷星開展，時間從2022 年11 月開始，最終回收有效問卷數(shù)116 份。

2.3 初步問卷調(diào)整和數(shù)據(jù)收集

初步分析問卷調(diào)查統(tǒng)計結(jié)果，發(fā)現(xiàn)Q4“課程負責人和團隊成員的介紹”、Q5“課程提供授課對象說明”、Q13“知識點視頻主講老師知名度高”和Q35“平臺提供筆記功能”等問題項上學(xué)習者選擇“不重要”或“非常不重要”頻率百分比較高，分別為8.6%、6%、6.9%、7.8%。分析原因，一是在Q4 和Q13 兩個問題項上，雖然在很多在線課程質(zhì)量認定中較看重該指標，但從學(xué)習者的角度來說，這些指標對課程的教學(xué)質(zhì)量可能并沒有太大影響，因此決定把兩個問題合為一個“課程在學(xué)生學(xué)習之前提供課程負責人和教學(xué)團隊的基本情況說明”；二是Q5 和Q6“課程明確說明了學(xué)習者應(yīng)具備的前期基本知識”兩個問題含義重復(fù)，舍去問題Q5，保留并調(diào)整Q6；三是舍去Q35 問題項。同時，對于部分表述不是特別準確的測量問題項進行修改，原則是從基于學(xué)習者的角度去描述，而不是基于教師、課程管理者或課程評價認定者的角度。最終形成正式測量問題項48 題。

正式問卷中包括受訪者基本信息的問題項3 題、測量問題項48 題（編號為Q1 至Q48）。調(diào)查使用問卷星線上開展，時間為2023 年4 月至5 月。回收問卷4362 份，去掉作答不完整以及所有回答完全重復(fù)的無效問卷1052 份，最終得到有效問卷3310 份，問卷有效率為75.9%。

3 研究數(shù)據(jù)實證分析

3.1 內(nèi)在信度分析

在SPSS 中對有效問卷結(jié)果進行內(nèi)在信度分析。結(jié)果表明，問卷數(shù)據(jù)的信度系數(shù)為0.979，大于0.9，說明問卷整體信度較好。

3.2 探索性因子分析

3.2.1 可行性分析（效度分析）

運用SPSS 進行KMO 和Bartlett 球形度檢驗分析，判斷問卷中問題項是否符合因子分析要求。經(jīng)過SPSS 分析，問卷數(shù)據(jù)的KMO 值為0.986，接近于1.0，KMO 值較好；同時，Bartlett 球形度檢驗給出的相伴概率為0.000，小于顯著性水平0.05。因此可以拒絕零假設(shè)，認為相關(guān)系數(shù)矩陣與單位矩陣有顯著差異，調(diào)查數(shù)據(jù)適合做因子分析。

3.2.2 因子提取

在攤鋪之前應(yīng)將攤鋪機清理干凈，防止原有瀝青的污染。常溫彩色鋪面的下承面應(yīng)清潔平整，攤鋪常溫彩色瀝青混合料前灑布淺色膠結(jié)料配制的稀釋油作為黏層油。

對問卷數(shù)據(jù)進行因子提取。通過累積方差解釋率和旋轉(zhuǎn)后每個因子方差解釋率的具體數(shù)值，來判斷因子提取信息量的程度。

SPSS 分析結(jié)果顯示，問卷數(shù)據(jù)可被提取出5 個公共因子，其累積方差解釋率為65.43%，各因子旋轉(zhuǎn)后方差解釋率分別是：15.84%、13.97%、12.45%、12.33%、10.84%。通過這幾個數(shù)值可知，提取出的5 個因子可代表研究問題項65%以上的信息量，且各因子提取的信息量較為均衡，綜合說明本次因子分析結(jié)果良好，解釋率較高。

3.2.3 確定公共因子與問題項的對應(yīng)關(guān)系

確定問題項的公共因子歸屬。采用最大方差正交旋轉(zhuǎn)法分析因子載荷系數(shù)和變量共同度，了解各具體問題項與每個因子的對應(yīng)關(guān)系。因子載荷系數(shù)是反映因子與問題項之間相關(guān)程度的重要指標，可通過系數(shù)絕對值判斷，數(shù)值越大表示相關(guān)度越高。公因子方差是體現(xiàn)全部公因子對具體變量的描述程度。SPSS 分析結(jié)果顯示，本研究數(shù)據(jù)中各問題項所對應(yīng)的因子載荷系數(shù)最大值為0.763，對應(yīng)選項Q47“提高學(xué)習者自身自信力”，最小值為0.435，對應(yīng)選項Q16“視頻提供字幕”。所有的問題項因子載荷系數(shù)絕對值大于0.4，全部保留。

同時，為進一步明確指標結(jié)構(gòu)，運用SPSS因子分析計算各問題項的變量共同度。根據(jù)各問題項的共同度結(jié)果，計算出各評價指標及各維度的權(quán)重比例。從統(tǒng)計結(jié)果可知，48 個問題項的共同度值分布在0.435―0.763 內(nèi)，均大于0.4，表示各因子可以有效提取問題項信息，問題項與因子之間存在較強關(guān)聯(lián)度，因子提取總體效果比較理想。

基于上述統(tǒng)計分析，結(jié)合因子與問題項的對應(yīng)關(guān)系，對5 個因子進行命名解釋：課程預(yù)置因子，主要包括課程說明、前期知識要求和技術(shù)準備等問題項；資源設(shè)計因子，主要包括學(xué)習資源和教學(xué)設(shè)計等問題項；互動支持因子，主要包括個性化學(xué)習支持和師生互動等問題項；平臺功能因子，主要包括支持移動學(xué)習和個人學(xué)習數(shù)據(jù)分析等問題項；效果評價因子，主要包括學(xué)習效果和學(xué)習期望問題項。

3.3 驗證性因子分析

3.3.1 模型構(gòu)建

經(jīng)探索性因子分析后，已明晰因子與問題項之間的對應(yīng)關(guān)系。因此本研究基于5 個因子構(gòu)建評價指標體系的一級維度，形成指標體系模型。這個模型在一定程度上解決了根據(jù)理論建立的模型存在某些可測指標劃分歸屬不清晰的問題。

在AMOS中實現(xiàn)該模型，將5 個因子定義為5 個潛在變量，48 個問題項定義為48 個觀測變量，并為每一個觀測變量添加誤差測量項，選擇最大似然估計進行模型運算，并對載荷系數(shù)進行標準化處理。

從AMOS模型運算結(jié)果看，5 個潛在變量間是相關(guān)的，使用斜交驗證性因子分析是適宜的?？ǚ阶杂啥戎禐?4.293，大于常用標準值3。由于本研究基于的樣本量達3310 個，屬于大樣本數(shù)據(jù)，因此卡方自由度值可僅作參考。同時RMSEA為0.063，小于0.08 這一標準，在標準范圍內(nèi)。但是增值適配度指數(shù)NFI、RFI、CFI 等指標小于0.9。綜合來看，模型構(gòu)建欠佳，需要進行模型修正。

3.3.2 模型修正

參考AMOS 中M I 分析結(jié)果，查看因子與觀察變量的回歸系數(shù)值，發(fā)現(xiàn)互動支持因子對Q22“對課程的操作使用方法提供明確易懂的指導(dǎo)說明”和Q23“在整個學(xué)習過程中能獲得適應(yīng)性的學(xué)習指導(dǎo)和幫助”的修正指數(shù)較大，分別為304.083、199.867，表明這兩個指標可能不屬于因子學(xué)習資源設(shè)計。因此，在模型中作相應(yīng)調(diào)整后，發(fā)現(xiàn)RMSEA值降低，CFI 等數(shù)值升高，模型得到優(yōu)化。

同時，在檢查模型修正指數(shù)中觀測變量和潛變量之間的協(xié)方差值后，發(fā)現(xiàn)Q33“平臺提供學(xué)習者個人學(xué)習空間”和Q34“平臺提供對學(xué)習行為的分析、個性化學(xué)習建議與規(guī)劃、學(xué)習進度跟蹤”兩個觀測變量的誤差項e25 和e26 之間的修正指數(shù)達1011.235。結(jié)合這兩個觀測變量，Q33 和Q34 問題項所測量的數(shù)據(jù)確實存在某種類同，將這兩個觀測變量的誤差項e25 和e26 設(shè)成有共變關(guān)系，理論上是合理的，因此在兩個殘差項中建立相關(guān)鏈接。以此類推，對模型進行修正。

模型修正之后，再次進行斜交驗證性因子分析，得到相應(yīng)的擬合結(jié)果。從擬合指數(shù)對比中可以看出，模型修正后整體擬合指數(shù)得到了提高，RMSEA 值為0.051，基本達到良好的標準，NFI、CFI 等指標都達到0.9 以上。

3.3.3 組合信度和效度檢驗

由于Cronbach's Alpha 系數(shù)可隨著問卷題數(shù)的增加而自然提高，因此本研究還借助結(jié)構(gòu)方程模型對指標體系進行進一步組合信度和平均方差抽取量檢驗。具體方法是通過AMOS 驗證分析，得到所有潛變量對觀測變量路徑的標準化后的因子載荷值，并根據(jù)標準化因子載荷和誤差計算出每一個因子的組合信度和平均方差抽取量。通過組合信度和平均方差抽取量這兩個指標來評價指標體系內(nèi)在質(zhì)量。

AMOS驗證分析結(jié)果表明，構(gòu)建的評價體系中各潛變量對觀測變量路徑的組合信度值均在0.9 以上（遠大于標準0.6），表明修正后的模型信度達到要求，模型的內(nèi)在質(zhì)量比較理想，具有較好的內(nèi)容效度。同時，計算得到的各潛變量平均方差抽取量在0.5 以上，表明模型的建構(gòu)效度較好。從48 個問題項對應(yīng)的觀察變量的標準化因子負荷值可知，所有參數(shù)的估計值都在0.45―0.95 內(nèi)，觀察變量在潛變量上的因子載荷都達到了顯著水平（p<0.001），無負的誤差變異數(shù)，表明模型基本符合擬合評價標準，構(gòu)建的評價指標體系具有良好的收斂效度。

3.3.4 區(qū)分效度檢驗

對評價指標體系中5 個一級指標進行區(qū)分效度檢驗。采用的區(qū)分效度檢驗方法是Fornell-Larcker 標準，其判定條件是：因子平均方差抽取量的平方根是否大于該因子與其他因子的相關(guān)系數(shù)。經(jīng)過計算，各因子的平方根值大于該因子與其他因子間的相關(guān)系數(shù)，說明構(gòu)建的在線課程質(zhì)量指標體系中5 個一級指標具有良好的區(qū)分效度。

3.4 在線課程質(zhì)量評價指標體系

通過上述實證分析，將測量問題項聚類、歸納為5 個因子并作為一級指標，48 個問題項作為二級指標，并計算出各指標的權(quán)重比例分布，最終構(gòu)建了在線課程質(zhì)量評價指標體系。

具體一級指標為課程預(yù)置、資源設(shè)計、互動支持、平臺功能和效果評價，權(quán)重分別為15%、20%、25%、20%、20%。

一級指標“課程預(yù)置”下，分為8 個二級指標，具體為：清晰明確的教學(xué)大綱、明確說明學(xué)習者應(yīng)具備的前期知識、介紹怎樣學(xué)習課程及如何獲得學(xué)習資料、說明參與學(xué)習的最低技術(shù)要求、提供明確的評價方式、提供課程負責人和教學(xué)團隊的基本情況說明、提供簡短的介紹視頻、提供課程教材和其他參考資料推薦，其權(quán)重從高到低依次為2.07%、1.96%、1.93%、1.91%、1.87%、1.84%、1.78%、1.63%。

一級指標“資源設(shè)計”下，分為10 個二級指標，具體為：學(xué)習任務(wù)分配適當、學(xué)習單元邏輯完整并符合認知規(guī)律、提供視頻的同步課件和電子文檔、提供擴展性學(xué)習資源、支持協(xié)作學(xué)習和探究性學(xué)習、課程內(nèi)容形式表現(xiàn)多樣、視頻制作質(zhì)量高、有明確的以及可測量的單元學(xué)習目標、時長設(shè)置合理、視頻提供字幕，其權(quán)重從高到低依次為2.30%、2.25%、2.11%、2.07%、2.03%、2.02%、2.01%、1.99%、1.83%、1.40%。

一級指標“互動支持”下，分為12 個二級指標，具體為：明確說明師生互動計劃和要求、提供適應(yīng)性的學(xué)習指導(dǎo)、方便互動交流和資源共享、提供不同層次的練習并反饋、及時和針對性響應(yīng)學(xué)習者問題、即時了解學(xué)習者掌握情況、提供學(xué)業(yè)成績分析和評價標準、提供使用指導(dǎo)說明、視頻中提供測試、根據(jù)需要及時更新視頻內(nèi)容、提供智能推送等自動化的學(xué)習者支持、定期召開視頻會議或線下見面會，其權(quán)重從高到低依次為2.20%、2.20%、2.18%、2.16%、2.14%、2.13%、2.09%、2.05%、2.03%、2.01%、1.96%、1.80%。

一級指標“平臺功能”下，分為9 個二級指標，具體為：運行穩(wěn)定、安全性較高、支持移動端學(xué)習、提供對學(xué)習行為的分析和個性化學(xué)習建議與規(guī)劃以及學(xué)習進度跟蹤、兼容性好、提供學(xué)習者個人學(xué)習空間、保護學(xué)習隱私信息、界面美觀協(xié)調(diào)、較完善的防作弊監(jiān)督機制，其權(quán)重從高到低依次為2.46%、2.45%、2.34%、2.31%、2.29%、2.18%、2.11%、2.00%、1.86%。

一級指標“效果評價”下，分為9 個二級指標，具體為：提高學(xué)習者自信力、幫助解決現(xiàn)實生活中遇到的問題、提升專業(yè)知識和技能、較大改變學(xué)習者的日常行為、滿足學(xué)習者之前對課程學(xué)習的期待、引發(fā)深層次的思考、吸引和激發(fā)學(xué)習興趣、獲得相應(yīng)的共享學(xué)分、獲得相應(yīng)的學(xué)習證書，其權(quán)重從高到低依次為2.39%、2.38%、2.32%、2.31%、2.30%、2.23%、2.19%、2.10%、1.79%。

4 總結(jié)

本研究主要探究從學(xué)習者體驗出發(fā)的在線課程質(zhì)量評價指標體系的構(gòu)建，以及對指標體系進行可操作性和有效性的實證檢驗。運用SPSS 探索性因子分析，將測量問題項聚類、歸納為5 個因子并作為一級指標，48 個問題項作為二級指標，并計算出各指標的權(quán)重比例分布，然后在AMOS 中運用驗證性因子分析和結(jié)構(gòu)方程模型對指標體系進行模型驗證和模型修正。最終形成的指標體系經(jīng)過模型驗證表明是可信、有效、內(nèi)在質(zhì)量理想，且與實際數(shù)據(jù)有較高契合度的。