多視角教學(xué)質(zhì)量評價的一致性分析與應(yīng)對策略

郭克華，朱翡虹，金一粟，奎曉燕，余肖勇

（1.中南大學(xué)計算機學(xué)院；2.中南大學(xué)本科生院，湖南長沙 410083）

0 引言

“雙一流”學(xué)科建設(shè)是一項重大國家戰(zhàn)略，其目標是打造中國高等教育領(lǐng)域的尖端學(xué)科，為提升國家綜合實力和國際競爭力培養(yǎng)一流人才。2015 年8 月，國務(wù)院印發(fā)《統(tǒng)籌推進世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》［1］，推進了新時代高等教育建設(shè)改革?！半p一流”教學(xué)質(zhì)量是影響高等教育發(fā)展的重要因素，教學(xué)質(zhì)量評價在高校教學(xué)改革中起著關(guān)鍵的決策作用［2］。目前，高校教學(xué)質(zhì)量評價已形成一套成熟的體系，由教學(xué)專家、教學(xué)同行和學(xué)生評價以及教師自評的多視角評價方式構(gòu)成［3］，其中教學(xué)專家評教和學(xué)生評教是多數(shù)高校普遍采用的評教方式。教學(xué)專家是從專業(yè)、客觀的角度進行評價，具有規(guī)范性和形式性，學(xué)生評教是從主觀角度進行評價，具有真實性［4］。不同視角下評教方式所反映的教學(xué)質(zhì)量評價結(jié)果之間有何聯(lián)系，對高校教學(xué)改革有何啟示，值得深入探究。本文針對多視角教學(xué)質(zhì)量評價的一致性進行分析，揭示內(nèi)在的現(xiàn)象特征，就存在的問題提出應(yīng)對策略，以推動高校教學(xué)改革，優(yōu)化“評”與“教”的關(guān)系，提高教學(xué)質(zhì)量。

1 相關(guān)研究

為深化高校教育改革，提高辦校辦學(xué)水平，完善并評估高校教育的教學(xué)質(zhì)量評價具有實際應(yīng)用價值。從20 世紀90 年代改革開發(fā)以來，我國教育管理體系就形成以“學(xué)生為中心，立足于育人”的教學(xué)理念［5-6］。在這種教學(xué)理念的指導(dǎo)下，高等教育逐漸偏向以學(xué)生評教的方式對教學(xué)質(zhì)量進行評價為教學(xué)改革的重要反饋。

許多學(xué)者從學(xué)生或督導(dǎo)評教方面出發(fā)，對教學(xué)改革進行研究并提出相關(guān)建議。廖明等［7］基于學(xué)生視角，構(gòu)建多元線性回歸模型研究課程知識的實用性、教師授課方式和教科書的質(zhì)量對教師授課效果的影響；朱征軍等［8］則指出思政課程是高校立體化育人的核心，采用一致性原則，從思政目標的引領(lǐng)性、反饋評估的一致性及育才育德的結(jié)合性三方面出發(fā)，改進思政課程教學(xué)；李磊等［9］探索“教師—學(xué)生”雙主體互動教學(xué)模式，結(jié)合任務(wù)驅(qū)動型與案例教學(xué)方式，有效地鍛煉了學(xué)習(xí)發(fā)現(xiàn)、分析及解決問題的邏輯推理能力，同時避免了以單一主體確定教學(xué)質(zhì)量，有利于教學(xué)客觀反饋；Shen 等［10］運用模糊綜合評價方法對護理情景教學(xué)質(zhì)量進行評價，制定相應(yīng)評價體系，利用層次分析法確定各指標權(quán)重，以指導(dǎo)更高質(zhì)量的實踐教學(xué)；Ali 等［11］提出加權(quán)區(qū)間值雙主模糊集（WIVDHFS），它是一種以區(qū)間形式描述決策因子及非決策因子的關(guān)系，為影響力大的區(qū)間分配不同權(quán)重并提供關(guān)于決策結(jié)果更多信息的方法［12］，幫助決策者在決策問題上獲得準確合理的結(jié)果，并驗證了WIVDHFS 在教學(xué)質(zhì)量評估中的應(yīng)用；謝淮北［13］使用層次分析法對實驗教學(xué)質(zhì)量進行綜合評價，構(gòu)造指標層的判斷矩陣；張祥瑛等［14］運用多組有序變量的秩和檢驗構(gòu)建多主體的課堂教學(xué)評價體系，分別從各自角度解決了單一評價方案會導(dǎo)致教學(xué)評教可信度低的問題；吳培群［3］指出專家與學(xué)生評教存在一定差異，專家評分過于依賴顯見性因素，學(xué)生評價依賴“就讀經(jīng)驗”。

隨后，學(xué)者們引入統(tǒng)計學(xué)方法，研究督導(dǎo)評價與學(xué)生評價的一致性、差異性，提出評教方式優(yōu)化和教育質(zhì)量改革。趙玉［15］采用統(tǒng)計學(xué)上的多面RASCH 模型從學(xué)生、教師、評教指標3 個側(cè)面分析教師教學(xué)能力，消除不同側(cè)面評分的差異性，使評教指標客觀化，提高多視角評教一致性；高巍等［16］使用Jaccard 系數(shù)和Kappa 統(tǒng)計量的一致性檢驗，論證了國外科學(xué)工程專業(yè)相關(guān)指標體系（COPUS）可以作為教學(xué)質(zhì)量評價的參考，但他們也指出了中外教育觀的差異，引入國外的COPUS 教學(xué)評價量規(guī)具有一定困難；秦昳等［17］針對單一的教學(xué)評價方法導(dǎo)致人才培養(yǎng)目標與社會產(chǎn)生脫節(jié)的問題，提出建立云模型評價體系，借助云模型對概念和數(shù)值之間的轉(zhuǎn)換能力，解決教學(xué)質(zhì)量影響因素的量化問題。

在不同教改背景下，現(xiàn)有研究工作針對的對象、采用的方法大同小異?！半p一流”大學(xué)是我國“國之重器”，其教學(xué)質(zhì)量、教學(xué)評價直接體現(xiàn)了我國高等教育的最高水平?！半p一流”學(xué)科建設(shè)改革研究成果相對缺乏，在《統(tǒng)籌推進世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》階段性完成之際，本文基于多視角并應(yīng)用網(wǎng)絡(luò)評教系統(tǒng)，研究某“雙一流”高校的本科評教體系，對不同視角的評教數(shù)據(jù)進行差異性分析，全面優(yōu)化評教體系，實行科學(xué)評教管理。

2 研究對象與研究方法

2.1 研究對象

本文以某所典型“雙一流”高校2016 級本科生為研究對象，從高校網(wǎng)絡(luò)評教系統(tǒng)中提取本科生4 年的培養(yǎng)數(shù)據(jù)，數(shù)據(jù)具體包括8 468 名學(xué)生基本信息、5 595 門課程及其期末考試成績、3 328 位教師課程評教情況。該高校的評教方式為督導(dǎo)評教和學(xué)生評教兩種視角，評教數(shù)據(jù)包括學(xué)生評教數(shù)據(jù)3 萬余條，督導(dǎo)評教數(shù)據(jù)2 808 條。其中，督導(dǎo)評教是從教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)準備及教學(xué)效果等指標對課程進行評估；學(xué)生評教是完成課程學(xué)習(xí)后，在期末統(tǒng)一對所有課程的教師進行評教，以總分形式給出。本文借助評教數(shù)據(jù)，從督導(dǎo)、學(xué)生的角度，對某類課程教學(xué)質(zhì)量評價結(jié)果的一致性進行分析。

2.2 研究方法

本文主要采用t 檢驗和相關(guān)性分析相結(jié)合的方法分析不同視角教學(xué)質(zhì)量評價的一致性。為了保證評教數(shù)據(jù)的準確性，本研究對異常數(shù)據(jù)作了處理。首先，對數(shù)據(jù)進行描述性統(tǒng)計，了解督導(dǎo)評教與學(xué)生評教的特點；其次，采用獨立樣本的t 檢驗法對督導(dǎo)和學(xué)生的評教分數(shù)進行差異性分析［21-22］，并根據(jù)檢驗結(jié)果作更進一步分析，如果檢驗結(jié)果存在差異，則對差異情況進行特征分析；最后，運用統(tǒng)計學(xué)上的Pearson 相關(guān)系數(shù)刻畫督導(dǎo)和學(xué)生評教之間的關(guān)系，揭示不同視角教學(xué)質(zhì)量評教的內(nèi)在聯(lián)系，從而找出影響教學(xué)質(zhì)量的因素，更好地指導(dǎo)高校教學(xué)質(zhì)量改革。本文統(tǒng)計分析結(jié)果在SPSS 24.0 軟件中完成，無特殊注釋情況下，顯著性水平一般取0.05（α=0.05）。

3 多視角教學(xué)質(zhì)量評價一致性分析

3.1 多視角教學(xué)質(zhì)量評級情況

本文對某“雙一流”高校2016 級學(xué)生（包括少數(shù)重修學(xué)生）的課程評教數(shù)據(jù)進行統(tǒng)計分析。在3 萬條學(xué)生評教數(shù)據(jù)中，清洗了無效數(shù)據(jù)（極高、極低分），得到同時有學(xué)生和督導(dǎo)對教師課程評教的有效數(shù)據(jù)合計1 590 條，這些課程包含的課程覆蓋了全校26 個學(xué)院，其開課時間集中分布在2018-2020 年4 個春、秋季學(xué)期，描述性統(tǒng)計結(jié)果如表1 所示。

Table 1 Descriptive statistics of teaching evaluation scores of supervisors and students表1 督導(dǎo)評分和學(xué)生評分描述性統(tǒng)計

從表1 可知，督導(dǎo)評教平均分為86.12，學(xué)生評教平均分為90.68，督導(dǎo)的評教分數(shù)整體比學(xué)生低4.56 分，標準差比學(xué)生評分低1.03 分；從變異系數(shù)看，督導(dǎo)和學(xué)生的評分組內(nèi)個體間離散程度較小，說明督導(dǎo)和學(xué)生評教分數(shù)在平均值附近較為集中。根據(jù)上述統(tǒng)計結(jié)果發(fā)現(xiàn)，督導(dǎo)評分普遍低于學(xué)生評分，兩者存在一定差異性。

為驗證督導(dǎo)評分和學(xué)生評分是否存在顯著性差異，先對1 590 條有效的評教數(shù)據(jù)進行正態(tài)性檢驗。

有多少人當初把武俠書放進桌下偷看，一抬頭竟忘了今夕是何夕；有多少人披個床單，拿根木棍就幻想自己是大俠；還有每年暑假不斷檔的電視劇。

從圖1 可知，督導(dǎo)和學(xué)生評教分數(shù)的直方圖中心趨勢線呈鐘形，可認為督導(dǎo)和學(xué)生評教分數(shù)的分布基本符合正態(tài)分布規(guī)律，說明評分數(shù)據(jù)合理。因此，可采用t 檢驗方法對數(shù)據(jù)進行差異性分析。

Fig.1 Normality test of supervisory and student evaluation of teaching scores圖1 督導(dǎo)和學(xué)生評教分數(shù)的正態(tài)性檢驗

根據(jù)兩個獨立樣本的檢驗結(jié)果表2 可知，對于督導(dǎo)和學(xué)生對課程評教的分數(shù)，F(xiàn) 值為2.498，其Sig=0.114＞0.05，可認為督導(dǎo)和學(xué)生的評教分數(shù)方差相等；在方差齊時，t 統(tǒng)計量的Sig=0.000＜0.05，故拒絕原假設(shè)，認為督導(dǎo)和學(xué)生在教學(xué)課程上評分存在差異，該差異具有統(tǒng)計學(xué)意義。

Table 2 Independent sample T-test表2 獨立樣本t 檢驗

3.2 教學(xué)質(zhì)量評價差異性量化

上文已經(jīng)得出督導(dǎo)和學(xué)生的教學(xué)質(zhì)量評價結(jié)果不完全一致。為考察存在顯著差異的課程情況，進一步地對教學(xué)質(zhì)量評價的差異性進行分析。教學(xué)質(zhì)量評價的總體情況有3 種，即督導(dǎo)和學(xué)生同時評分高、督導(dǎo)和學(xué)生同時評分低，以及督導(dǎo)和學(xué)生評分存在不同級別的等級差。本文設(shè)定前兩種情況為一致性評教，第三種情況視為差異性評教。

為了找出評教一致和差異相對應(yīng)的課程特征，進一步對課程差異性進行量化，將督導(dǎo)和學(xué)生的評教分數(shù)轉(zhuǎn)換為5 個評教等級，即分數(shù)≥95 分設(shè)為優(yōu)秀，95 分＜分數(shù)≤85 分為良好，85 分＜分數(shù)≤75 分為一般，75 分＜分數(shù)≤60 分為合格，分數(shù)＜60 分為不合格，并按等級從高到低分別量化為5、4、3、2、1。將督導(dǎo)和學(xué)生的評教分數(shù)轉(zhuǎn)換為等級制后，能明顯看出兩者區(qū)別，督導(dǎo)評教的結(jié)果主要集中于“良好”和“一般”兩個等級，而學(xué)生評教結(jié)果集中在“優(yōu)秀”和“良好”兩個等級，具體如圖2 所示。

Fig.2 The distribution of supervisory and student evaluation levels圖2 督導(dǎo)和學(xué)生評教等級分布

本文將督導(dǎo)和學(xué)生評教等級差在兩個等級及以上的視作顯著性差異，將評教等級差在一個等級以內(nèi)的視為一致性評教。經(jīng)篩選，在1 590 條有效評教數(shù)據(jù)中，得出165條為具有顯著差異的數(shù)據(jù)，即約10.3%的數(shù)據(jù)顯示學(xué)生和督導(dǎo)評教存在顯著性差異；89.7%課程的評教具有一致性。其中，一致評價差（評教分數(shù)小于75 分）的課程僅有21 門，約占1.47%，一致評價好的情況占大概率，這說明該高校的評教體系是合理的?？傮w課程差異情況結(jié)果如圖3 所示。

Fig.3 Differences in the overall curriculum圖3 總體課程差異情況

3.3 具有差異與一致評價差的課程特征分析

在以上分析中，已經(jīng)了解到督導(dǎo)和學(xué)生的評教結(jié)果有89.7%的概率趨于一致，該結(jié)果符合客觀事實。為課程改革方案提供指導(dǎo)性幫助，對評教具有差異性的課程以及被督導(dǎo)和學(xué)生一致評價差的課程進行特征分析，具體如圖4—圖7 所示。

從圖4 可以看出，顯著差異課程學(xué)生成績平均分為75.68，一致評價差的課程學(xué)生成績平均分為69.42，可得知這兩類課程對學(xué)生而言難度都較大，學(xué)生成績整體不高。根據(jù)圖5—圖7 可得出以下兩個結(jié)論：

Fig.4 The relationship between course performance and teaching evaluation圖4 課程成績與教學(xué)評價關(guān)系

Fig.5 The relationship between curriculum attributes and teaching evaluation圖5 課程屬性與教學(xué)評價關(guān)系

Fig.6 The relationship between the distribution of the course opening semester and the teaching evaluation圖6 課程開課學(xué)期分布與教學(xué)評價關(guān)系

Fig.7 The relationship between curriculum scale and teaching evaluation圖7 課程規(guī)模與教學(xué)評價關(guān)系

（1）顯著差異課程主要是必修課，由某工科學(xué)院承擔，屬于工科類課程。具有顯著差異的課程開課時間與所有課程分布一致。根據(jù)該類課程規(guī)模顯示，上課人數(shù)在11～100 人以內(nèi)，可以得出該類課程主要為專業(yè)類課程。

（2）一致評價差的課程主要是選修課，且主要由理工類學(xué)院承擔。課程開課時間主要集中在2018-2019 秋季學(xué)期內(nèi)，2016 級學(xué)生正處于大三下學(xué)年階段，課程人數(shù)在100人以內(nèi)，由此推斷出該類課程屬于基礎(chǔ)公共課程。

綜上，可總結(jié)得出差異和評價差的課程都具有規(guī)模小、開課學(xué)期集中度高、學(xué)生成績偏低的一致特征。

3.4 督導(dǎo)與學(xué)生評教相關(guān)性

在高校中，督導(dǎo)對教學(xué)質(zhì)量評價是依據(jù)一套指標體系完成，該指標體系能客觀準確地反映教學(xué)基本情況，涵蓋教師的思想態(tài)度、授課形式、儀容儀表、教案設(shè)計、課堂氛圍等方面。本文所選取大學(xué)的課程評教體系包括一級指標和二級指標，具體如表3 所示。

Table 3 Standards for supervision and evaluation表3 督導(dǎo)評教標準

為了進一步找出差異課程的內(nèi)在原因，考察督導(dǎo)評教的指標體系與學(xué)生評教之間的聯(lián)系，采用統(tǒng)計學(xué)上的相關(guān)性進行刻畫，包括所有課程上學(xué)生綜合評分與督導(dǎo)評教各項指標的相關(guān)分析、督導(dǎo)和學(xué)生評分與課程特征的相關(guān)性分析，從而揭示多視角評價的內(nèi)在標準，找出差異存在的影響因素。

由表4 可得，學(xué)生評教與督導(dǎo)的評教指標x5、x8呈現(xiàn)出0.05 水平的顯著性，以及與x4、x7、x9和x10在0.01 水平上也呈現(xiàn)顯著相關(guān)性。特別地，x7和x10指標的相關(guān)系數(shù)大。具體表現(xiàn)在學(xué)生注重教師在教學(xué)課程上的目標和任務(wù)是否清晰明確，以及教學(xué)信息技術(shù)、傳統(tǒng)教學(xué)手段、教學(xué)資源等應(yīng)用是否合理這兩方面。同時也看重教師備課情況，反映在教師上課時是否能透徹闡述課程內(nèi)容，還有教師的普通話水平對評教也會產(chǎn)生一定影響。x9和x10都屬于學(xué)生上課的狀態(tài)，是督導(dǎo)評分標準里分值最高的兩項，也是與學(xué)生評教產(chǎn)生0.01 顯著相關(guān)，說明學(xué)生上課狀態(tài)是督導(dǎo)和學(xué)生同時比較關(guān)注的點。

Table 4 Relevance of supervision of evaluation indicators and student evaluation表4 督導(dǎo)評教指標與學(xué)生評教相關(guān)性

由表5 可知，督導(dǎo)和學(xué)生評教都與課程屬性、開課學(xué)期及課程規(guī)模顯著相關(guān)。具體表現(xiàn)為必修課的評價分數(shù)高于選修，選修分數(shù)高于任選，這種現(xiàn)象在督導(dǎo)評分中尤為明顯。開課學(xué)期越往后、規(guī)模越小的課程，評價就越高。對于全校性的公共課，比如體育課、思政課等，督導(dǎo)和學(xué)生對其教學(xué)評價比專業(yè)類課程低。此外，學(xué)生評教還與授課教師具有正相關(guān)聯(lián)系，入職時間排在靠后的教師，學(xué)生對其教學(xué)質(zhì)量評價就越高，說明學(xué)生更偏向于新來的教師。

Table 5 Relevance of supervision and student evaluation of teaching and course Features表5 督導(dǎo)和學(xué)生評教與課程特征的相關(guān)性

4 總結(jié)與建議

4.1 總結(jié)

本文以某所“雙一流”高校2016 級本科生4 年培養(yǎng)過程的相關(guān)數(shù)據(jù)為研究對象進行多視角教學(xué)質(zhì)量評價結(jié)果的一致性分析，挖掘不同角度教學(xué)質(zhì)量評價結(jié)果之間的聯(lián)系，為學(xué)生個性化培養(yǎng)、培養(yǎng)方案優(yōu)化、教學(xué)質(zhì)量改革提供量化參考。根據(jù)對評教結(jié)果的定量分析，高校應(yīng)將評教結(jié)果及時反饋至學(xué)院和教師，并在課程設(shè)置和課程教學(xué)上作出相應(yīng)調(diào)整，一定程度上幫助教師改進教學(xué)，促進教師在教學(xué)過程中與學(xué)生形成良好關(guān)系。由以上統(tǒng)計分析，可以得出如下結(jié)論：

（1）督導(dǎo)評教和學(xué)生評教結(jié)果大體趨于一致。督導(dǎo)評教和學(xué)生評教僅有10%的數(shù)據(jù)存在差異性、督導(dǎo)的評教分數(shù)普遍比學(xué)生低、督導(dǎo)評分的區(qū)分度比學(xué)生大、督導(dǎo)評教的準則比學(xué)生評教標準。

（2）存在差異性的課程主要為選修課。這些課程主要由某工科學(xué)院承擔開課任務(wù)，其呈現(xiàn)出學(xué)生考試成績低、課程規(guī)模小、開課時間集中在大三上學(xué)期的特征。同樣地，督導(dǎo)和學(xué)生一致評價差的課程主要是必修課，屬于基礎(chǔ)公共課程，課程特征和差異課程相同。

（3）督導(dǎo)和學(xué)生評教之間存在顯著相關(guān)。他們著重關(guān)注學(xué)生上課的具體表現(xiàn)，其次關(guān)注教師教學(xué)情況。對于學(xué)生而言，教師備課是否充分，上課時是否能清晰表達課本內(nèi)容，影響學(xué)生在課堂上的表現(xiàn)，從而影響學(xué)生對該課程和教師的評價。

（4）課程特征對督導(dǎo)和學(xué)生評教情況產(chǎn)生影響。必修課的評教分數(shù)比選修課高，任選最低；開課學(xué)期越往后、規(guī)模越小的課程，評價就越高。對于全校性的公共課而言，比如體育課、思政課等，督導(dǎo)和學(xué)生對其教學(xué)質(zhì)量的評價分數(shù)較其他課程低。

4.2 建議

根據(jù)對差異課程特征的分析結(jié)果，督導(dǎo)和學(xué)生對教師教學(xué)評價存在差異，本文給出幾點建議：

（1）量化指標，完善學(xué)生評教體系。目前，高校采用總分制的學(xué)生評教形式過于簡單，無法從學(xué)生評教數(shù)據(jù)中獲取學(xué)生對課程的反饋和對教師的建議。本文建議進一步改善學(xué)生評教方式，可采取給予學(xué)生對教師教學(xué)情況的量化指標，比如教師對課本知識的熟練程度、教師對學(xué)生的答疑情況、教師是否注重培養(yǎng)實踐和創(chuàng)新能力及課程考核方式是否合理等，學(xué)生可根據(jù)自身情況給出分數(shù)。

（2）學(xué)生導(dǎo)向，更新課堂教學(xué)模式。課程存在差異的課程主要是專業(yè)課，學(xué)生看重的是教師教學(xué)狀態(tài)和課堂氛圍。對于專業(yè)類課程，其授課方式不應(yīng)該與公共課一致，授課教師可設(shè)計多樣化的教學(xué)方式，如采取小組討論、課堂互動等形式，激發(fā)學(xué)生學(xué)習(xí)興趣，通過問題引導(dǎo)、實驗解說等方式拓展學(xué)生思考和探究問題的空間。

（3）全面發(fā)展，優(yōu)化課程結(jié)構(gòu)設(shè)置。學(xué)生在大學(xué)中的課程體系是由其所在專業(yè)的培養(yǎng)方案決定。專業(yè)類課程一般安排在大三階段，學(xué)生在大三整年都主修專業(yè)課程，這樣安排會對學(xué)生造成較大的學(xué)業(yè)壓力。高?？稍诨A(chǔ)教育課程上，制訂若干組“專業(yè)課組合”，由學(xué)生自由選擇，每個專業(yè)課組合需要有對應(yīng)的教學(xué)計劃；或在修讀專業(yè)課的同時，多開設(shè)通識課，以學(xué)科交叉方式拓寬學(xué)生知識面。

5 結(jié)語

“雙一流”建設(shè)是中國新時代在高等教育發(fā)展的重大戰(zhàn)略部署，本文研究的某“雙一流”高校的本科教育質(zhì)量評價體系具有較高的成熟度，多視角的評教分析結(jié)果大部分趨于一致，表現(xiàn)了“雙一流”高校學(xué)科建設(shè)的優(yōu)越性，充分體現(xiàn)了中國建設(shè)世界一流大學(xué)和一流學(xué)科所取得的成績，其評教體系值得推廣至普通高等院校的教育改革中。在學(xué)科建設(shè)發(fā)展形勢表現(xiàn)出較好趨勢時，也應(yīng)持續(xù)重視高等教育本科教學(xué)質(zhì)量，進一步發(fā)展本科教育中差異性大的選修課程評教體系，讓中國教育普適和差異并存，為今后的教學(xué)管理工作指明方向。