慕課課程下的高校學生綜合成績評價研究

黃衍，趙穎, 傅瑋韡

(福建農(nóng)林大學 a.經(jīng)濟管理學院；b.計算機與信息學院，福建 福州 350002)

慕課(MOOC)是一種大規(guī)模開放的在線課程，基于互聯(lián)網(wǎng)技術與全球學習者共享名校名師的教育資源，因其能滿足自由方便且個性化的學習需求而受到廣泛推廣[1]。2020年抗擊新冠肺炎疫情期間，慕課讓“停課不停學”的號召成了可能。據(jù)統(tǒng)計，疫情期間共開出課程1 719萬次，參加在線學習的學生達35億人次，是一場史無前例的大規(guī)模在線教育實踐，成功應對了疫情危機并改變了教育形態(tài)?，F(xiàn)今基于慕課的學生成績評價方式通常是將各門課程的平均分直接作為學生的最終成績，而每門課程的分數(shù)則由平時分和期末考試成績兩部分共同組成，這兩部分的分數(shù)均由教師給定。但這種成績評價體系的合理性還有待考量：第一，平均加權課程成績?nèi)狈陀^性。由于每門慕課在課程結構體系中的重要程度和難易程度不同，且慕課尚處于發(fā)展階段，與傳統(tǒng)課堂的教學方式大為不同，如何讓教師與學習者適應慕課教學是一種新的挑戰(zhàn)[2]。如果仍直接對每門慕課成績進行平均加權，則可能出現(xiàn)等分不等值的情況。第二，缺乏對軟性成果的評價。線上教學由于缺少面對面的接觸，教師難以關注到學生各項學習任務的完成過程，而且對教師收集平時分的評分依據(jù)存在一定的困難，有較大的人為主觀性，從而導致部分學生平時敷衍學習，只突擊期末考試就能獲得高分。因此，提出并推廣一套既能滿足現(xiàn)代慕課課程質量評價又能適當性改良學生成績的評價體系，有助于慕課課程質量和學生水平的提升。

隨著慕課課程數(shù)量的指數(shù)型增長，質量問題愈發(fā)突出，且慕課尚處在發(fā)展階段，國內(nèi)外還沒有建立起一套相對權威的網(wǎng)絡課程評價準則。在先進性、全面性等指導原則下，邱均平等[3]建立了教學隊伍等五個一級指標，慕課提供組織等十四個二級指標，以期提高慕課質量和促進學習者進一步內(nèi)化知識。王新軍等[4]從基本需求理論的三個方面建立了評價模型，用層次分析法對指標權重進行分析，發(fā)現(xiàn)自主需求的權重最大，勝任需求的權重最小。在對高?？冃гu估量化的方法研究進行歸納時，發(fā)現(xiàn)層次分析法最具代表性，但在研究現(xiàn)實問題時，檢驗判斷矩陣是否一致非常困難，且難以真正反應人類評價的模糊性[5]。因此，劉亞亞等[6]針對層次分析法中專家打分的不足，融合模糊數(shù)學的原理，建立數(shù)學模型，更加客觀地對教學質量進行評價。王淑芬等[7]從慕課平臺、教師和學習者三個方面建立評價體系，基于AHP確定指標權重，針對判斷矩陣一致性與人腦思維一致性存在的差異，引入模糊綜合評估模型，為慕課質量評估提供新視角。隨著模糊互補判斷矩陣理論的不斷完善，張智超[8]建立了課堂滿意度指標，得出個人因素對指標體系的影響最高，學校因素的影響最低，為決策提供更加科學合理的參考依據(jù)。

在慕課教學中，通常是以線上教學為主要模式，師生間缺乏面對面的互動，教師難以跟蹤學生的學習過程，這使得教師難以對學生給出合理的軟性評價。然而，學生之間由于線上交流的機會增多，作業(yè)形式的多樣化增加了有效互動，學生對彼此學習經(jīng)歷和學習行為有更為全面的了解，從而可以考慮從學生視角給出軟性評價，即在評價體系中引入同伴互評機制，以真實地反映學生的學習水平。同伴互評最早興起于寫作教學中，采用同伴互評方式替代教師批改，提高學生寫作自主性[9]，通過編制同伴互評感知量表，可以有效測量學生整體感知積極性[10]。隨著以學習者為主體的理念逐漸引起人們的重視，同伴互評結合傳統(tǒng)教學方式不斷向在線教育發(fā)展[11]，其充分利用了互聯(lián)網(wǎng)和教育的特點，在線上課程中組織同伴互評，更好地提升學習者的認知投入度，彌補了傳統(tǒng)教學法的不足[12]。有研究表明，學生對自己的評價往往高于同齡人對自己的評價[13]，在計算最終成績時可將自評分刪除[14]，或是建立模型解決評價效率低下等問題以提高排名公正度[15]。也有學者認為通過將同伴互評引入慕課體育教學中，采用分組評價，可以打造評價的權威性[16]。

綜上，本文在相關研究成果和實踐經(jīng)驗的基礎上，以福建農(nóng)林大學統(tǒng)計學專業(yè)的5門慕課為例，先基于模糊互補判斷矩陣分配課程權重，再引入同伴互評機制，建立一個具有交互性和實用性的學生成績評價體系，其評價結果有助于提高慕課課程質量和評價的公平性，充分調(diào)動學生的學習積極性，給予學生更大彈性的發(fā)展空間。

1 理論方法

本文采用模糊互補判斷矩陣重新確定了慕課權重，結合熵權法對同伴互評進行賦權，得到學生最終成績。

1.1 模糊互補判斷矩陣

在多屬性決策中，決策者對因素的偏好信息通常以判斷矩陣的形式給出，判斷矩陣分為正互反判斷矩陣和模糊互補判斷矩陣，模糊互補判斷矩陣更符合人類思維的模糊性，易于掌握和使用[17]。

定義1設矩陣A=(aij)n×n，若矩陣A中的元素滿足0≤aij≤1，?i,j∈{1,2,…,n}，則稱矩陣A是模糊矩陣。

定義2設矩陣A=(aij)n×n，若滿足以下條件則稱矩陣A是模糊互補判斷矩陣：

(1)aii=0.5，?i∈{1,2,…,n}

(2)aij+aji=1且0≤aij≤1，?i,j∈{1,2,…,n}

定義3設矩陣A=(aij)n×n為模糊互補判斷矩陣，若矩陣A中元素滿足aij=aik-ajk+0.5，?i,j∈{1,2,…,n}，則稱矩陣A為滿足加性傳遞性的模糊一致判斷矩陣。

定義4對于二元對比矩陣A=(aij)n×n，其元素的含義如下：

(1)aij=0.5表示Xi與Xj同樣重要，記為Xi～Xj；

(2)0≤aij≤0.5表示Xj比Xi更重要，記為Xj>Xi，若aij越小，則表明Xj比Xi越重要；

(3)0.5≤aij≤1表示Xi比Xj更重要，記為Xi>Xj，若aij越大，則表明Xi比Xj越重要。

具體情況可用表1表示。

表1 九標度

本文采用表1的0.1-0.9九標度法對兩個因素間的重要程度作出比較，評價的基本步驟如下：

步驟1 選取合適的指標因素，將復雜的問題分解成若干個部分，分析各指標之間的關系，建立一個多層次遞階結構模型。

步驟2 采用表1中0.1-0.9標度對體系中某層元素相對于上一層元素的相對重要程度進行描述，建立模糊互補判斷矩陣，即

其中aij表示第i個因素相對于第j個因素的模糊關系，且aij+aji=1。

(1)

稱得到的矩陣R=(rij)n×n為模糊一致判斷矩陣。

步驟4 對矩陣R=(rij)n×n按行求和歸一化法求得n個元素的相對重要排列順序值wi如公式(2)所示。

(2)

步驟5 將各層間的權重轉換為每個元素對于總目標的綜合權重，如公式(3)所示。

WA=Wi×Wj

(3)

步驟6 計算總體評價值并進行排序。

1.2 熵權法

熵權法是通過客觀地給指標分配權重來進行評價，基本評價步驟如下：

步驟1 假設有m個評價對象，n項評價指標，則rij表示第j項評價指標下第i個評價對象的原始評價分數(shù)，并由這些原始分數(shù)構成初始評價矩陣Rij=(rij)m×n：

步驟2 在多指標綜合評價中，為了更好地觀察，將原始數(shù)據(jù)變換到區(qū)間(0,1)上，用以消除量綱與數(shù)量級差異帶來的影響，可以采用以下兩種方法進行處理。

(1)標準化處理，公式如(4)所示。

(4)

(2)歸一化處理，公式如(5)所示。

(5)

步驟3 將初始評價矩陣Rij=(rij)m×n轉化為標準化矩陣Aij=(aij)m×n：

步驟4 將標準化矩陣Aij=(aij)m×n代入公式(6)，得到信息熵值Ej：

(6)

步驟5 根據(jù)公式(7)計算信息熵的差異系數(shù)Dj:

Dj=1-Ej

(7)

步驟6 計算權重Wj，公式如(8)所示。

(8)

步驟7 根據(jù)權重Wj，可以計算得到同伴互評的加權綜合評分Xi，公式如(9)所示。

(9)

2 學生成績評價體系

評價是學習過程中最重要的環(huán)節(jié)之一，對學生成績的評價主要來源于教師評價和同伴評價。但現(xiàn)今的學生成績評價機制通常是以教師為主的單向評價，難以全面、真實地反映學生在學習過程中的綜合學習能力。目前已有研究表明，科學合理的評價體系可以提升教學質量，促進學生能力的發(fā)展。因此，在構建評價體系時，不僅要考慮慕課課程教學質量現(xiàn)狀，以促進課程建設團隊對教學質量因素的關注，還要注意結合學生間同伴互評機制，以促進學生明確自身優(yōu)勢及不足，激發(fā)潛在能力，從而超越其“最近發(fā)展區(qū)”，提高對所學知識的理解和自身能力的提升。根據(jù)以上兩個維度，分別構建了慕課課程質量評價體系和同伴互評機制，結合教師視角和學生視角共同進行評價，更加科學、客觀地體現(xiàn)學生的學習水平，具體過程如圖1所示。

圖1 學生成績評價流程

2.1 慕課課程質量評價體系

慕課評價是以某一門慕課課程為研究對象，對教學目標及實現(xiàn)程度進行判定并作出改進的實踐活動。由于慕課尚處于發(fā)展階段，在課程體系上的設置還不夠成熟，如果僅考慮課程本身，而不考慮課程質量，則會出現(xiàn)等分不等值的情況。本文首先構建慕課課程質量評價體系，參考專家團隊的經(jīng)驗，按照表1的評價標準對每兩個指標元素的重要性進行比較，形成模糊互補判斷矩陣，通過一致性調(diào)整，得到各層次模糊一致判斷矩陣，并得到組合權重，如表2所示。

表2 慕課課程質量評價體系

通過模糊層次分析法得到了慕課課程質量評價體系中各元素的權重，要進一步得到每門慕課的綜合評定，首先要確定慕課課程考核的評價標準。由于指標涵蓋了多方面的評價且每位評分者的評價標準存在差異，評分具有模糊性。于是借用模糊數(shù)學的隸屬度原理，確定各指標的取值范圍，把定性分析轉化為定量分析。結合已有資料與相關專家的意見，現(xiàn)將慕課課程質量評價指標分為四個等級，分別是優(yōu)秀、良好、中等和待提高。為了便于之后的計算和排序，故將評語集轉換為數(shù)值集，如表3所示。

表3 慕課考核評語集

2.2 同伴互評機制

在維果斯基的“最近發(fā)展區(qū)”理論中，學習和發(fā)展被視為一種社會和合作活動。學習者的實際水平是由其能力決定的，而潛在的發(fā)展水平則由教師和同伴共同影響。教師的引導和同伴的反饋能夠促進學習者進步，從而超越其“最近發(fā)展區(qū)”。相對于教師評價，同伴互評的內(nèi)容更易于學習者接受，它的核心是組織學習者對其他學習者的學習過程和行為表現(xiàn)進行觀察和評價，取長補短，加強學習者對知識點的理解和自身能力的提升。同伴互評的形式多樣，主要側重于形成性評價，同時也是一種人際協(xié)作的實踐。

在課程中采用同伴互評的方式，有利于課堂從“教”向“學”轉化，避免“搭便車”情況的出現(xiàn)，即一些學習者的參與程度比較低，但卻獲得了與其他學習者差不多的成績?；谕榛ピu機制的軟性評價，其合理性體現(xiàn)在兩個方面：一是監(jiān)督機制的合理性。大家都是評價者，同時也都是被評價者。通過增加同伴互評機制，學習者可以不斷觀摩他人的學習方式及學習成果來反思自己的學習行為，激發(fā)學習動力，及時鞏固教學內(nèi)容中掌握不足的地方，提高自己各方面的能力，相互起到一個正向的促進作用。二是多元化評價的合理性。在傳統(tǒng)的評價中，通常是以教師為主的單向評價。但在學習生活中，教師難以注意到每位學習者的情況，也難以追蹤學習過程中的關鍵點，往往只能根據(jù)最終的成績進行評分，相對來說并不公平。在增加了同伴互評機制后，教師可以在學習者評價的基礎上再對學生的綜合成績進行評分，在一定程度上降低了信息差，更加公平和合理。

當評價者由專家老師轉變?yōu)橐黄饘W習的同學，其評價標準則由考試成績轉變?yōu)閷W習能力評分。為了更加真實地反映被評價學生的能力，現(xiàn)綜合以下幾個方面構建評價標準：(1)表達能力。學習不能只重視輸入，有效的輸出才是學習的真正目的。只有將所學知識充分消化吸收，重新整理后再以自己的見解表達出來時，才能真正將知識內(nèi)化。(2)團結互助。在很多時候，集體的力量都是大于個人力量的，也許有些同學可以依靠自身實力獨自解決問題，但不可否認的是，如果大家相互幫助，迎難而上，問題可以更快更有效地得到解決。(3)創(chuàng)新能力。創(chuàng)新是將認識作用于實踐，充分發(fā)揮人的主觀能動性的表現(xiàn)。積極思考，開展“頭腦風暴”，開辟新的解題思路，將所學知識融會貫通，學以致用，而不只是照本宣科。(4)實踐能力。學習不能拘泥于課堂上的教學內(nèi)容，還應將理論聯(lián)系實際，化抽象為具體。(5)學習能力。學習能力不單指接受新事物的能力，還包括了各種能力的綜合表現(xiàn)。它要求學生明確自身不足，找到自己的學習風格，不局限于課堂教學，能夠結合學習過程和學習成果進行反思。(6)學習態(tài)度。態(tài)度決定一切，端正的學習態(tài)度不僅僅是課堂上的良好表現(xiàn)，更重要的是在課后也要有自主和正確的動機去學習，腳踏實地地走好每一步?；谕榛ピu與自評的評價指標如圖2所示。

圖2 同伴互評標準

由于同伴互評標準綜合考慮了六個方面的評價，并且每位評分者的評價標準存在不同，因此評分具有模糊性。于是借用模糊數(shù)學的隸屬度原理，確定評分的取值范圍，把定性分析轉化為定量分析。結合已有資料與相關專家的意見，現(xiàn)將同伴互評的評價標準劃分為五個等級。為了便于之后的計算和排序，特將評語集轉換為數(shù)值集，如表4所示。

表4 同伴互評評語集

3 實證研究

依據(jù)圖2的流程，以福建農(nóng)林大學統(tǒng)計學專業(yè)的五門課程為研究對象，邀請20名慕課學習者根據(jù)表2的慕課課程質量評價體系進行評分，對評分數(shù)據(jù)進行算數(shù)平均得出每門課程的二級指標得分，并計算5門課程的總評分和相應權重，如表5所示。

表5 5門課程總評分及權重

根據(jù)教師對學生課程成績的評分，利用所求慕課權重進行加權平均，得到每位學生的課程綜合成績，如表6所示。

在此基礎上，引入同伴互評機制，邀請上述20名學習者根據(jù)圖2的同伴互評評價標準和表4的同伴互評評語集，分別對自己和其他19位同學進行評價。通過收集自評和互評分數(shù)，形成初始評價矩陣。由于每位同學的評價標準不一致，同伴互評具有主觀性，不能簡單地直接將每位同學的得分作為評價結果。為反映評價過程中評價信息的缺失程度，本文對評價值進行歸一化處理，利用熵權法對每位學生進行賦權，并根據(jù)賦權結果對同伴互評矩陣進行集結，計算得出每位同學的同伴互評成績，最后的評價結果如表6所示。

由于本文將評價體系分為兩大部分，由教師組和同伴組分別對這20位同學進行評價，按照評價體系和評分標準進行打分，分別得到課程綜合成績和同伴互評成績，對這兩部分的分數(shù)進行加權平均，其中教師組的權重為60%，同伴組的權重為40%，得到20位同學的最終成績，如表6所示。按照傳統(tǒng)評價方式將5門慕課成績平均加權，計算得到20位同學的成績，同樣列入表6便于比較。

表6 學生成績

根據(jù)表4的評分標準，可以看到在新評價體系得分中，10號和14號學生的最終成績在90分以上，屬于等級“優(yōu)秀”，2號、4號等8位學生屬于等級“良好”，1號、3號等10位學生屬于等級“一般”。結合課程綜合成績和同伴互評成績來看，新評價體系更能體現(xiàn)學生的綜合水平。例如，2號學生的課程得分為86.19，按照傳統(tǒng)評價體系計算，他的最終成績?yōu)?6.30分，雖然分數(shù)較為接近，但只能表示“結果性評價”，未能體現(xiàn)該學生的學習過程。在引入同伴互評后，同伴對他的評價只有75.90分，經(jīng)加權后，最終成績下降為82.07分，該分數(shù)不僅包括了教師對他期末成績、作業(yè)測驗的“結果性評價”，還包括了同伴對他學習過程中綜合能力、學習行為的“過程性評價”，更能體現(xiàn)2號學生在學業(yè)方面的綜合能力。對比表6中的分數(shù)，可以觀察到這個現(xiàn)象普遍存在于學生中，表明只有當課程綜合成績和同伴互評成績均取得比較良好的成績時，才能獲得較好的綜合成績。

通過對表6中兩種評價體系進行描述統(tǒng)計，結果如表7所示。

表7 描述統(tǒng)計結果

在兩個評價體系中，新評價體系在均值與中值方面略高于傳統(tǒng)評價體系；從標準差來看，新評價體系的標準差為6.66，明顯小于傳統(tǒng)評價體系的7.10，說明前者中大部分數(shù)據(jù)分布較集中，波動較小，且與其均值間的差異更小，代表性也更好；從平均差來看，新評價體系的平均差為5.70，傳統(tǒng)評價體系為6.04，表明前者的標志變動度趨勢更??；相比于正態(tài)分布，二者均為左偏分布，且波形更平坦，但新評價體系更接近于正態(tài)分布；從極值來看，新評價體系的極小值高于傳統(tǒng)評價體系，而極大值低于傳統(tǒng)評價體系，則表明其全距比傳統(tǒng)評價體系更小，數(shù)據(jù)分布更為集中。描述統(tǒng)計的結果顯示，新評價體系在各方面均優(yōu)于傳統(tǒng)評價體系。

為了進一步驗證本文研究的學生成績評價體系比傳統(tǒng)評價體系更能區(qū)分學生的能力和水平，采用層次聚類分析法檢驗上述兩種評價體系對學習者成績的分類情況。

從圖3可以看出，新評價體系很好地將學生的成績水平分成了四類，第一類學生有6名，占樣本總數(shù)的30%；第二類學生有4名，占樣本總數(shù)的20%；第三類和第四類的學生均為5名，各占樣本總數(shù)的25%。結合學生的成績來看，第一類學生的成績處于75～80分之間，第二類學生的成績處于70～75分之間，按表5的評分標準基本都屬于等級“一般”，在學生整體中處于靠后位置；第三類學生的成績均在90分左右，基本都屬于等級“優(yōu)秀”，在學生整體中處于靠前的位置；第四類學生的成績在80～90分之間，屬于等級“良好”，在學生整體中處于中間的位置。

圖3 新評價體系聚類分析樹狀圖

從圖4可以看出，傳統(tǒng)評價體系將學生的成績水平分成了三類，第一類學生有8名，占樣本總數(shù)的40%；第二類學生有5名，占樣本總數(shù)的25%；第三類學生有7名，占樣本總數(shù)的35%。結合學生的成績來看，第一類學生的成績在85分以上，在學生整體中處于靠前的位置；第二類學生的成績均為75分以下，在學生整體中處于靠后位置；第三類學生的成績處于75～85分之間，在學生整體中處于中間的位置。

圖4 傳統(tǒng)評價體系聚類分析樹狀圖

根據(jù)描述統(tǒng)計和聚類分析的結果，可以看出新評價體系從多維度出發(fā)，拓寬考查面，綜合地對學生進行評價，所以效果相較于傳統(tǒng)評價體系來說更理想。

4 結論

本文結合國內(nèi)外慕課課程評價及同伴互評的研究現(xiàn)狀，以學習者為主體，建立了一套新的學生成績評價體系。首先，通過模糊互補判斷矩陣確定慕課課程權重，對課程質量進行綜合評定，指出課程的優(yōu)勢及不足之處，為慕課課程的設計者和授課教師提供更加清晰明確的改進方向。其次，通過引入同伴互評機制，改變由教師以學生成績?yōu)闃藴实膯蜗蛟u價，更加注重學習的形成性過程，真正提高學生的主體地位；同時，學生在互評過程中，不僅可以促進學習過程中的有效互動，拓寬了學生發(fā)展的彈性空間，還可以加深學習者對學習方面綜合能力的認識，起到自省的作用，促進學習者共同進步。該評價體系在一定程度上消除了不同慕課在專業(yè)課程評價體系中的重要程度和難易程度的差異，減少等分不等值情況的出現(xiàn)，并根據(jù)模糊數(shù)學的原理，在一定程度上降低了不同評價主體不同評價標準帶來的差異，使評價更具科學性和客觀性。

本文提出的新評價體系不僅可以明確慕課課程教學質量現(xiàn)狀，促進課程建設團隊對教學質量因素的關注，還可以對學生的成績進行更詳細的分類，更加有效地體現(xiàn)學生的能力及在學習群體中的所處位置，便于因材施教的實施。根據(jù)實證分析結果，給學生成績評價帶來諸多思考：

第一，督促慕課制作團隊不斷進行思考和探索，優(yōu)勝劣汰。慕課在促進高等教育快速發(fā)展的同時，也逐漸顯現(xiàn)出了存在的問題。一方面，慕課的數(shù)量及學習者正以指數(shù)型遞增，但課程質量良莠不齊，缺少創(chuàng)新和優(yōu)質內(nèi)容；另一方面，慕課對傳統(tǒng)的課堂學習產(chǎn)生了巨大影響，教師與學生適應慕課教學模式是一種新的挑戰(zhàn)。因此，慕課課程制作團隊應充分利用互聯(lián)網(wǎng)的優(yōu)勢，設計更適合網(wǎng)絡學習的教學模式，與時俱進開發(fā)內(nèi)容新穎的課程，合理安排教學內(nèi)容，使教學過程更明朗，在不斷進行自我革新的過程中優(yōu)化教學效果。同時，注重加強教師與學生之間的聯(lián)系，提高有效互動，全程跟蹤學生的學習過程，進一步降低未能實現(xiàn)面對面教學帶來的影響，從而更多地關注學生的動態(tài)，為學生的差異化需求提供合理的幫助。

第二，多元評價學生成績，加強學生評價的能力和積極性。對學生成績的評價不能局限于總結性評價，而應更多地關注過程性評價。而且，在學生剛接觸同伴互評時，可能會出現(xiàn)如標準不清晰、擔心人際關系等各種問題。為了減少這些狀況的出現(xiàn)，提高同伴互評的公平性，教師應制定合理的評價準則，在全局上把握評價過程，確保學生清晰評價標準，并能針對其他學生的具體情況進行客觀評價。同時，為學生提供觀察和評價的條件，加強對學生的引導和培訓，鼓勵學生進行真實表達，提高學生評價的熱情和積極性。

第三，培養(yǎng)學生正視自身水平，合理激發(fā)潛在能力。問題往往被隱藏在不易察覺的地方，學生間的相處經(jīng)歷與有效互動更多，在進行評價時，給出的評價更加全面和具有針對性，也更容易被同伴接受。通過建立評價標準，拓寬考查面，綜合地對學生學習過程中的行為表現(xiàn)進行評價，提供學生自主學習的機會，明確學習方向，進一步構建屬于自己的知識體系，提升學習的深度和廣度。在評價過程中，促進學生批判性思維的發(fā)展，注重學習能力和實踐技能方面的提升，引導學生不斷正視自身能力，尋找差距，完善自身優(yōu)勢，改進不足之處，在自我提升中促進相互合作、相互進步的學習氛圍，從而超越其“最近發(fā)展區(qū)”。