李國剛 牛贊宇
摘要:使用在線平臺進行學習已經成為很多人獲取新知識的途徑,但是我國現階段的在線學習平臺質量的評價模型研究較為薄弱。如何評價并提高在線平臺的質量已經成為了一個非常值得關注的課題?;诂F有相關研究的支撐下,本文構建在線學習平臺質量評價指標體系,并通過使用德爾菲法的層次分析法和模糊數學綜合評價法建立兩種評價模型,通過分析評價模型的基本原理,收集專家意見、問卷調查結果確定指標權重并實際運用該兩種評價模型。這些對在線平臺資源的設計者、管理者以及用戶都有一定的參考價值。
Abstract: Online education has been a way that many people can obtain new knowledge, but today the evaluation model research of quality of online education is weak in China. How to evaluate and improve the quality of online education has been a significantly important problem. Based on pre-existing relevant research, this dissertation builds an evaluation index system, and establishes two evaluation models through the Analytic Hierarchy Process based on Delphi method and the Comprehensive Evaluation Method of Fuzzy Mathematics. By analyzing fundamentals of evaluation models and collecting experts' opinions and results of questionnaire survey, we confirm index weight and practice these two evaluation models. This research has a certain reference value for designers and managers of online evaluation resource and learners.
關鍵詞:評價指標體系;指標權重;評價模型;在線學習平臺質量
Key words: evaluation index system;index weight;evaluation model;quality of online education
中圖分類號:G434? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼:A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號:1006-4311(2020)10-0233-04
0? 引言
隨著計算機以及信息技術的迅速發(fā)展,互聯(lián)網已經深入每個人的工作以及日常生活。如今越來越多的教育機構提供網絡課堂平臺,讓網絡教學成為一種重要的教學工具和手段,同時也吸引了越來越多的用戶通過網絡在線學習的方式來獲取知識[1]。
但是現階段的在線教育平臺的質量保證體系不夠健全和完善,這對管理者和用戶來說都是一個非常嚴重的問題。教育機構的管理者無法通過一個相對完善的教育質量評價體系去清晰的認識到網站自身和網站提供的一系列課程的功能性是否完好,并且無法根據評定的結果去加以改正[2];而用戶面對這些不同的教育網站和網絡課程,他們很難去辨別這些良莠不齊的網絡課程內容,也沒有一個可以評判的依據,不清楚哪些網站的哪些課程才最適合。
因此,如何正確認識在線教育質量評價的科學性和復雜性,構建合理的在線教育質量評價模型,不僅可以提高現有在線教育的質量,并可以使得在線教育資源得到更大的拓展。鑒于在線教育分為自主學習型和講授課型課程,本文側重于研究基于用戶自主查詢并學習在線網站提供的相關課程的在線教育(以下簡稱為在線教育)。
1? 在線教育質量的評價模型
1.1 德爾菲法修正的層次分析法
在線教育質量評價指標體系中指標的權重是評價活動中的一個關鍵因素,選擇并確定指標后,就要考慮其在評價指標體系中的相對重要程度,也就是權重值的大小。指標權重值的差異,可能會給綜合評價結果帶來不同程度的差異。也就是說指標的權重值越大,則其評價數值的變化對評價的結果影響就越大,反之影響就越小。因此,不同的加權方法會計算出不同的指標權重,也就會導致不同的評價結果。如何科學、合理地確定各項指標權重值,是本文如何盡可能合理地對在線教育質量進行評價和分析的決定性要素。
單一地使用層次分析法或者德爾菲法分別來供應建在線教育質量評價模型都會產生一定的局限性與結果的不完整性[3]。因為層次分析法基于客觀性的,沒并有把專家的豐富經驗應用于指標權重的設置;而德爾菲法基于主觀性的,代表權重設置會帶有一定的主觀片面性[4]?;谶@兩者的特性,本文提出使用基于德爾菲法的層次分析法來構建在線教育質量評價模型并確定評價指標的權重,結合兩者優(yōu)勢,并且彌補兩者自身的不足之處。
1.1.1 基本原理
針對同一層(也就是同一級)的m個指標,建立兩兩判斷矩陣A={aij}m×m,其中aij表征指標i和j(i,j=1,2,…,m)的相對重要程度,且滿足aij= (如表1所示)。
根據德爾菲法“背對背決策”的思想,由評價活動的組織者挑選n位專家,再分別由該n位專家針對同一層的m個指標,形成n個相對獨立的判斷矩陣。設由第k位專家意見形成的判斷矩陣為A(k)={aij (k)}m×m,k=1,2,…,n。
對每一組i, j求取aij (k)的平均值
遍歷 k從1~n計算aij (k)的對應值,然后判斷aij (k)的值是否偏離平均值aij且偏離的數值是否超過了預定的閾值(一般設定為50%),若是則標記為A(k)。
遍歷i和j從1~m,若共有Δn個A(k)矩陣被標記,則去除該Δn個判斷矩陣,得到(n-Δn)個符合一致性要求的判斷矩陣,記為n'。
平均化處理上述n'個判斷矩陣,得 ,其中 為n'個矩陣中相應 的平均值,稱A'為一致性判斷矩陣。
按照基本的層次分析法計算步驟,求解一致性判斷矩陣A'的最大特征值λmax以及特征向量ω,對ω歸一化處理,就可以得到m個指標對應的權重值。最后使用隨機一致性指標(CR)來衡量A'的一致性程度,若不符合要求,則需要重新采集專家小組的意見并重復上述的計算過程,直到結果通過檢驗為止。
其中CR= ,CI為檢驗判斷一致性指標,CI= RI為修正值(如表2所示)。
1.1.2 評價模型應用
本文主要任務是構建在線教育質量評價指標體系,并提出相應模型。對于提出的評價模型采用列舉一定量的數據來展示此種方法的實際運用。
基于德爾菲法的層次分析法,本文列舉了5位專家意見,并運用上述的計算原理及過程確定了在線教育質量評價指標體系中各項指標的權重值(如表3所示)。
1.2 模糊數學綜合評價法
模糊數學綜合評價法依據模糊數學的“隸屬度”理論,把定性評價轉變成定量評價,由此對受到多種條件約束的對象進行總體的評價,其中“隸屬度”是指使用精準的數學語言來描述模糊性的事物,范圍為0~1的實數,即[0,1]。因為模糊數學綜合評價法具有系統(tǒng)性強,結果清晰的特點,所以可以運用該種方法評價那些難以運用數學原理進行計算的事件[6]。
1.2.1 基本原理
建立因素集:
因素集是指由那些能夠對評價對象造成一定影響的各個元素組成的元素集合[7]。把那些對評價造成不同程度影響的因素確定n個一級指標,構成集合U={u1,u2,…,un}。每個一級指標又可以細分成相應的m個二級指標。設第i個一級指標劃分的相應的二級指標構成集合Ui={ui1,ui2,…,uim}。
每個指標設有x個評級等級,構成集合T={t1,t2,…,tx}。
建立評價集:
評價集是指由不同的評價主體組成的元素集合。設有a個評價主體,構成評價集B={b1,b2,…,ba}。其中,評價集可以只包含一個元素,即一個評價主體,這類評價集被稱為單因素評價集;評價集也可以包含多個元素,即多個評價主體,這類就被稱為多因素評價集。
權重分配:
模糊數學綜合評價法中的權重分配有三類,分別為一級指標的權重分配、二級指標的權重分配以及不同評價主體的權重分配[8]。
一級指標權重:
設一級指標權重分配向量為Q={q1,q2,…,qn},對應一級指標集合U={u1,u2,…,un}。Q是U上的模糊子集,其中,qi≥0,∑ qi=1。
二級指標權重:
設第i個一級指標劃分的相應的二級指標權重分配向量為Qi={qi1,qi2,…,qim},對應二級指標集合Ui={ui1,ui2,…,uim},(i=1,2,…,n),Qi是Ui上的模糊子集,其中qij≥0,∑ qij=1。
評價主體權重:
設評價主體權重分配向量W=(w1,w2,…,w3),對應評價集合B=(b1,b2,…,ba),W是B上的模糊子集,其中,wi≥0,∑ wi=1。
建立在線教育質量評價模型:
建立每個一級指標ui關于x個評價等級的模糊關系矩陣,設為Si。通過問卷調查的方式收集對各個評價等級表示贊同的對應的人數,然后把贊成各個評價等級的人數換算成占被調查的總人數的百分比,這個百分比就是隸屬度。其中,
然后我們可以得到在線教育質量評價模型關于a個評價主體的模糊綜合評價模型,記為D,
根據最大隸屬度原則,在線教育質量評價的結果就是max D,也就是(d1,d2,…,dx)中的最大值對應的評價等級。
1.2.2 評價模型應用
為了保證評價結果的客觀性、完整性和科學性,在線教育質量評價可采用由多元評價主體共同參與的評價方式[9]??紤]到評價結果受到不同主體的影響程度,本文假設評價集由專家、在線教育網站的管理者以及用戶組成,各元素權重分別為專家(0.4)、管理者(0.2)、用戶(0.4)。實際運用中可按照一定的方法確定評價集以及相應的權重,比如經驗判斷法。確定各指標權重的方法也有很多,比如因子分析法和上文提到的基于德爾菲法的層次分析法,都能通過簡單易操作的運算得到權重的數值。本文為了方便計算和能夠清晰的展示運算過程,假設各一級指標權重、各二級指標權重和在線教育質量評價的專家組問卷調查的直接結果如表4所示。
根據表4,得出在線教育質量評價指標體系的3個關于二級指標的隸屬度矩陣,分別為
同時得出三個二級指標權重分配向量,分別為Q1=(0.3,0.4,0.3),Q2=(0.1,0.3,0.3,0.3),Q3=(0.3,0.3,0.3,0.1)。因此,我們可以得到3個一級指標關于4個評價等級的模糊關系矩陣,分別為