大學(xué)生評價課堂教學(xué)內(nèi)容能力的實證研究

張光進 卓成剛

摘 要：學(xué)生評教是監(jiān)控和提高教學(xué)質(zhì)量的重要機制，但學(xué)生對教學(xué)內(nèi)容進行評價受到不少質(zhì)疑。本文主要通過實地研究和準實驗研究回答疑慮是否屬實。結(jié)果表明，樣本學(xué)校的評教表具有內(nèi)容效度，學(xué)生對教學(xué)內(nèi)容的評教項目能夠跟對教學(xué)態(tài)度、教學(xué)效果、教學(xué)方法的評價項目一樣給出較一致的評分，學(xué)生評教結(jié)果和教師同行的評教結(jié)果具有等效的區(qū)分度，學(xué)生能夠?qū)Σ煌n件給出較一致的評價排序，基本可以替代教師同行對教學(xué)內(nèi)容進行評價。文章最后根據(jù)研究結(jié)論提出了學(xué)生評教的建議。

關(guān)鍵詞：學(xué)生評教；教學(xué)內(nèi)容評價；評教有效性

一、引言

教學(xué)質(zhì)量是教育的生命線，但當(dāng)前社會上偏重科研的評價導(dǎo)向使得不少教師忽視本科教學(xué)工作，本科教育質(zhì)量令人擔(dān)憂。2016年5月《人民日報》刊文《沒有一流本科，很難成為一流大學(xué)》就是對改變目前狀況的強烈呼吁[1]。

為了保證和提高教學(xué)質(zhì)量，許多高校開展了學(xué)生評教工作，并將學(xué)生評教結(jié)果跟教師的年終考核、績效工資、崗位競聘等掛鉤，試圖通過這種機制促使教師在教學(xué)上下功夫。筆者對所在城市的8所部委屬高校的調(diào)查表明，這些高校每學(xué)期都開展學(xué)生網(wǎng)上評教，并將本科評教結(jié)果不同程度運用于教師管理。

盡管學(xué)生評教被廣大高校所采用，但有關(guān)爭議卻始終存在，并且當(dāng)這種評教結(jié)果和教師利益掛鉤時，來自教師的質(zhì)疑就更加強烈[2-7]。其中有一個質(zhì)疑經(jīng)常被提及卻很少有實證分析，即由于教學(xué)內(nèi)容安排是衡量教學(xué)質(zhì)量的重要方面，幾乎所有高校的學(xué)生評教表都包含學(xué)生對教學(xué)內(nèi)容的評價，但有研究者和教師對本科生是否有能力對教學(xué)內(nèi)容進行評價表示疑慮[8-9]。對于這個問題的回答是有價值的。如果證明學(xué)生有能力評價教學(xué)內(nèi)容，那么教師以此為借口質(zhì)不接受學(xué)生評教結(jié)果就站不住腳，評教管理部門對這樣的評教表應(yīng)該有信心，可以更充分地運用評教結(jié)果。如果證明這個疑慮屬實，那么評教管理部門應(yīng)該調(diào)整完善評教表，避免因?qū)W生無能力評價教學(xué)內(nèi)容導(dǎo)致評教結(jié)果失真，偏離學(xué)生評教的初衷。

目前學(xué)者們對本科生是否有能力對教學(xué)內(nèi)容進行評價這個問題的回答大多是演繹推理或者定性分析[10-11]，從某種程度上說，還需要尋找有說服力的實際證據(jù)。本文正是基于這個現(xiàn)狀，采用實證分析為主的方法嘗試獲取明確的答案，以期為學(xué)生評教實踐提供參考。

二、研究設(shè)計

本文主要通過對實地收集的學(xué)生評教數(shù)據(jù)和一個準實驗數(shù)據(jù)的分析，試圖回答本科生是否有能力評價教學(xué)內(nèi)容。

本研究從三個方面進行分析：一是分析樣本學(xué)校學(xué)生評教表的評價項目是否反映了要評價的內(nèi)容，即評教表的內(nèi)容效度如何；二是分析學(xué)生在教學(xué)內(nèi)容方面的評教數(shù)據(jù)是否和在其他方面（如教學(xué)態(tài)度、教學(xué)方法、教學(xué)效果）的評教數(shù)據(jù)一樣，具備良好的結(jié)構(gòu)效度和信度；三是以同行教師對教學(xué)內(nèi)容的評價結(jié)果為參照系，分析學(xué)生對同一教學(xué)內(nèi)容的評價結(jié)果是否和教師一樣有效。

（1）學(xué)生評教表的內(nèi)容效度分析構(gòu)想。筆者邀請了5位專業(yè)人士，對樣本學(xué)校的評教表的每個評價項目是否反映了所屬的評教維度進行獨立判斷，通過統(tǒng)計持肯定觀點的比例來判斷評價項目是否具備內(nèi)容效度。

（2）學(xué)生評教表結(jié)構(gòu)效度和信度分析的思路。通常情況下，學(xué)生評教表包括4個方面，分別是教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法和教學(xué)效果。一般而言，除了教學(xué)內(nèi)容外，學(xué)生對其他三個方面的評價能力是沒有疑問的。因此，從理論上來說，如果學(xué)生對教學(xué)內(nèi)容的評價能和對其他三個方面的評價一樣有效，那么評教數(shù)據(jù)將支持學(xué)生評教表的四維結(jié)構(gòu)，評教表四個維度的內(nèi)部一致性信度應(yīng)該都可以達到可接受的水平，學(xué)生在四個維度上評教數(shù)據(jù)的標(biāo)準差應(yīng)該沒有顯著差異。

（3）教師同行和學(xué)生評教數(shù)據(jù)有無差異的分析設(shè)計。筆者進行了一項準實驗研究，在該實驗中，我們準備了外校教師的5份不同課程的公共管理類課件，邀請了10位公共管理學(xué)科教師和10位公共管理學(xué)科本科生，分別請他們對這5份課件的教學(xué)內(nèi)容獨立做出評價，并對這5份課件從最好到最差排序。對于收集到的實驗數(shù)據(jù)，筆者做了三個方面的分析：一是按照教師同行的評價分數(shù)把5份課件分為3個不同的優(yōu)劣級別[12]，檢驗學(xué)生的評教分數(shù)在這3個不同級別的課件上是否也有明顯差異。二是對于每一份課件的教學(xué)內(nèi)容，學(xué)生的評價結(jié)果和同行教師的評價結(jié)果是否沒有明顯的差異。三是學(xué)生是否能夠?qū)@5份課件的優(yōu)劣做出一致性排序。

為了完成上述分析，筆者向5位專業(yè)人士發(fā)放了教學(xué)評價項目是否適當(dāng)?shù)恼{(diào)查表收集專家的意見，通過實地研究向?qū)W生發(fā)放評教表收集評教數(shù)據(jù)。同時開展了一個準實驗研究，分發(fā)了5份課件和教學(xué)內(nèi)容評價表收集數(shù)據(jù)。對于收集上來的數(shù)據(jù)通過比率統(tǒng)計、因子分析、內(nèi)部一致性信度分析、均值比較、肯德爾和諧系數(shù)計算等，回答學(xué)生是否有能力評價教學(xué)內(nèi)容。

5位專業(yè)人士對教學(xué)評價項目是否適當(dāng)做了獨立的評判，并將調(diào)查表反饋給筆者，樣本學(xué)校評教表的評教項目見后文。

在實地研究中，隨機選擇了一些以講授為主的管理類課程的課堂教學(xué)，在任課教師允許的情況下，請上課學(xué)生按照評教表的項目表述從完全符合到完全不符合作出五級評價。評教數(shù)據(jù)僅限于研究使用，請學(xué)生無記名真實填答。共收到有效評教表213份，評教表的具體內(nèi)容見后文。

準實驗研究中，每位教師同行和學(xué)生都發(fā)放一份教學(xué)內(nèi)容評教表和5個不同的PPT課件（評價項目來自學(xué)生評教表教學(xué)內(nèi)容評價指標(biāo)，由于是PPT課件不涉及講授表現(xiàn)，故評教表中編號為“8”的評價項目予以舍棄），最終每個課件共收到教師和學(xué)生各10份教學(xué)內(nèi)容評價數(shù)據(jù)。

三、數(shù)據(jù)分析結(jié)果

在按照研究設(shè)計收集到有關(guān)數(shù)據(jù)后，筆者遵循研究思路對相關(guān)數(shù)據(jù)進行了以下3個方面的統(tǒng)計分析。

1.學(xué)生評教表內(nèi)容效度分析

本文首先統(tǒng)計了五位專業(yè)人士關(guān)于評教項目是否反映評教維度的看法，結(jié)果見評教表第三列的數(shù)據(jù)。從評教表第三列數(shù)據(jù)可以看出，20個評價項目中，有12個項目5位專業(yè)人士一致認為反映了所屬的評價內(nèi)容，有6個項目4位專業(yè)人士認為符合所屬的評價內(nèi)容，有2個項目認可度最低，但也超過了半數(shù)。由此可以認為該份學(xué)生評教表的評價項目較好地反映了要評價的內(nèi)容。

2.學(xué)生對教學(xué)內(nèi)容項目評價的一致性分析

上述結(jié)論是基于專業(yè)人士的主觀判斷，為了進一步觀察評教表內(nèi)容是否如管理者理論上構(gòu)思的那樣分為4個方面，我們對213份學(xué)生評教數(shù)據(jù)進行了因子分析，因子分析的條件檢驗及結(jié)果見表1和表2。

表1顯示，學(xué)生評教表的KMO值為0.950，超過了0.9，表明樣本非常充足。巴特立特球型檢驗的顯著水平小于0.001，表明變量之間具有共享因素的可能，適合做因子分析。

在原評教表中，編號1至4項為教學(xué)態(tài)度評價，5至10項為教學(xué)內(nèi)容評價，11至15項為教學(xué)方法評價，16至20項為教學(xué)效果評價。從表2可以看出，20個項目自動負荷在4個因子上，根據(jù)因子載荷系數(shù)判斷題項的歸屬，F(xiàn)1因子包含的就是教學(xué)內(nèi)容的題項，F(xiàn)2是教學(xué)態(tài)度的題項，F(xiàn)3是教學(xué)效果的項目，F(xiàn)4是教學(xué)方法的題項。由于普遍認為學(xué)生有能力評價教學(xué)態(tài)度、教學(xué)方法和教學(xué)效果，所以表2中F2、F3、F4因子包含的題項與原評教表一致是符合預(yù)期的。表2中的數(shù)據(jù)顯示F1因子僅僅包括了教學(xué)內(nèi)容的題項，這說明學(xué)生對教學(xué)內(nèi)容各題項評價結(jié)果的正相關(guān)度是很高的。否則，原表中的5至10題項不可能清晰地聚集在一個因子上。從這個角度來說，學(xué)生有能力對課堂教學(xué)內(nèi)容評價項目做出一致性評價。

在對學(xué)生評教數(shù)據(jù)進行因子分析的基礎(chǔ)上，接著對評教表的內(nèi)部一致性信度作了分析，結(jié)果見表3。

從表3可以看出，4個維度的克朗巴哈系數(shù)均超過0.8，其中信度相對較低的是教學(xué)方法而不是教學(xué)內(nèi)容，但都達到可以接受的水平[13]。一個合理的推論是，如果學(xué)生在教學(xué)內(nèi)容評價項目上不能給出較一致的評價結(jié)果，其克朗巴哈系數(shù)不會高達0.924，這說明學(xué)生能夠跟對其他三個方面的評價一樣，對教學(xué)內(nèi)容方面做出較一致的評價。

本文進一步比較了學(xué)生評價數(shù)據(jù)在評教4個維度上標(biāo)準差的差異，結(jié)果見表4。

一個合理的假設(shè)是，如果學(xué)生能夠?qū)虒W(xué)效果、教學(xué)態(tài)度和教學(xué)方法每個方面的項目做出一致性評價，而對教學(xué)內(nèi)容的評價項目得分凌亂，那么教學(xué)內(nèi)容方面評教數(shù)據(jù)的標(biāo)準差將會是較大的，明顯大于其他三個方面。但從表4可以看出，4個評教維度數(shù)據(jù)的標(biāo)準差沒有顯著差異，說明在教學(xué)內(nèi)容維度的評價項目上，學(xué)生評教數(shù)據(jù)跟在其他三個方面一樣，具有一致性。

3.學(xué)生對不同課件評價的區(qū)分效應(yīng)分析

按照常用的五級評分三分法，本文依據(jù)教師同行對課件內(nèi)容的評價得分，將5份課件分為3個類別[12]。其中平均得分低于2.33的為Ⅰ類，有一份課件。超過2.33且小于3.67的為Ⅱ類，有兩份課件。等于或者高于3.67的為Ⅲ類，也有兩份課件。然后比較學(xué)生對這3類課件內(nèi)容評價得分的均值，結(jié)果見表5。

從表5可以看出，對于教師同行認定的3類課件，學(xué)生評價數(shù)據(jù)也表明每兩類課件之間得分有明顯的差異。其中第Ⅰ類課件得分最低，第Ⅱ類居中，第Ⅲ類最高。學(xué)生對教學(xué)內(nèi)容的評價和教師具備等同的區(qū)分效應(yīng)。

為了更精細地分析學(xué)生對教學(xué)內(nèi)容的評價是否跟教師同行一樣，沒有明顯的差異，筆者對5份課件的教師評分和學(xué)生評分進行了比較，結(jié)果見表6。

從表6可以看出，除了第一份課件之外，教師對其余課件的評分都比學(xué)生低一些，但從統(tǒng)計意義上而言并沒有顯著性差異。根據(jù)前述三分法的得分區(qū)間劃分，以教師評分所屬類別為依據(jù)，也可以看出學(xué)生對每份課件的評分沒有出現(xiàn)類別錯劃問題。換言之，對于同一份課

件，即使讓教師同行來評價，也不會跟學(xué)生評價結(jié)果有明顯差別。

教師同行的專業(yè)性使人們相信他們可以對教學(xué)內(nèi)容做出準確的評價，表現(xiàn)在對評價對象的優(yōu)劣排序上，他們對多個對象的評價排序一致。本文借鑒這一思路利用肯德爾系數(shù)分析了學(xué)生對5份課件的排序數(shù)據(jù)，結(jié)果見表7。

從表7可以看出，肯德爾系數(shù)為0.882，顯著性水平小于0.001，表明10位學(xué)生對5份課件的排序具有高度一致性。

四、結(jié)論及建議

我們的研究結(jié)論是：

（1）設(shè)計一份科學(xué)合理的學(xué)生評教表是可能的。參考一些高校的學(xué)生評教表，總體而言，從教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法和教學(xué)效果4個方面衡量課堂教學(xué)質(zhì)量是比較適宜的。而教學(xué)內(nèi)容方面的評價，可以從課程的基本概念與理論是否準確清楚、重點難點是否突出、教學(xué)內(nèi)容是否充實、內(nèi)容講授是否嫻熟、教學(xué)內(nèi)容是否理論聯(lián)系實際、是否聯(lián)系學(xué)術(shù)動態(tài)來考察。

（2）學(xué)生對教學(xué)內(nèi)容評價項目能夠給出較一致的評分。評教數(shù)據(jù)的因子分析、內(nèi)部一致性信度分析以及4個維度標(biāo)準差的比較分析表明，跟對教學(xué)態(tài)度、教學(xué)效果以及教學(xué)方法的評價一樣，學(xué)生在教學(xué)內(nèi)容各項目評價上沒有出現(xiàn)評分凌亂的情況，甚至對教學(xué)內(nèi)容評價的一致性超過教學(xué)方法方面。

（3）學(xué)生能夠?qū)φn件的教學(xué)內(nèi)容做出優(yōu)劣評判。準實驗研究中教師同行認定的優(yōu)劣不等的課件，學(xué)生評價數(shù)據(jù)在這些課件上同樣具有區(qū)分度，且等級判別與教師同行的結(jié)果一致。

（4）學(xué)生對教學(xué)內(nèi)容的評價結(jié)果跟教師同行的評價結(jié)果沒有明顯差異。準實驗研究中，雖然教師同行對課程教學(xué)內(nèi)容的評價較之學(xué)生略低，但差異并不顯著。從這個角度來說，學(xué)生基本可以代替教師同行對課程的教學(xué)內(nèi)容進行評價。

（5）學(xué)生對課件內(nèi)容的優(yōu)劣排序具有較高的一致性。準實驗研究中，10位學(xué)生對5份課件的優(yōu)劣排序數(shù)據(jù)表明，他們對課件內(nèi)容相對優(yōu)劣的判斷具有較高程度的共識，從統(tǒng)計學(xué)意義看，一致性達到很高的顯著水平。

我們對學(xué)生評教提出如下幾個建議：

（1）管理者要提供一份科學(xué)的學(xué)生評教表。只有評教表科學(xué)合理，才能夠準確評測教師的課堂教學(xué)質(zhì)量。一般來說，課堂教學(xué)評價可以從教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法和教學(xué)效果4個方面進行，本文所示的各個方面的評價項目僅是一種代表性觀測點，現(xiàn)實中各高校在設(shè)計和修訂評價表時可以參考借鑒。

（2）加強學(xué)生評教的溝通工作。一方面，要對以往的學(xué)生評教數(shù)據(jù)進行系統(tǒng)分析，拿出學(xué)生有能力進行評教的實際證據(jù)，讓老師們認識學(xué)生評教，認可評教結(jié)果。另一方面，要在學(xué)生中廣泛宣傳解釋學(xué)生評教制度，促使他們以認真負責(zé)的態(tài)度參與到此項工作中，這項工作尤為必要。以筆者的初步了解來看，不少學(xué)生認為他們的評教只是走過場，故不少都是應(yīng)付性打分。在這樣的態(tài)度和行為方式下，評教表即使科學(xué)合理，評教結(jié)果也將失真。

（3）有步驟地運用評教結(jié)果。在教師對學(xué)生評教還沒有充分認識的情形下，學(xué)校可以先將評教結(jié)果運用于教師發(fā)展。比如將評教結(jié)果（絕對分數(shù)和相對排名）用書面形式反饋給教師并由教師填寫教學(xué)改進計劃后再提交給教務(wù)管理部門，促使教師關(guān)注學(xué)生的評教意見，避免選擇性忽視教學(xué)工作。經(jīng)過一定時間的發(fā)展性學(xué)生評教后，在學(xué)生和教師都有較深入認識的情形下，可以將評教結(jié)果進一步運用到年終考核、績效工資和崗位評聘上。

（4）重視影響評教結(jié)果的其他因素。除了學(xué)生評教表的科學(xué)性、學(xué)生的評教態(tài)度之外，還可能有一些其他因素影響評教結(jié)果的可比性。比如老師承諾給學(xué)生高分以博取學(xué)生高評，不同的大類學(xué)科趣味性不同導(dǎo)致評教結(jié)果有明顯差異，老師因嚴格要求導(dǎo)致個別學(xué)生打低分報復(fù)等。這些可能的因素需要進一步研究驗證，并對教學(xué)管理和評教制度進行完善，例如規(guī)范教師課堂言行、在學(xué)生知曉自己的成績前安排評教以免教師遭報復(fù)、對不同大類學(xué)科評教結(jié)果分類排名等。

本文嘗試用實證數(shù)據(jù)回答學(xué)生能否評價教學(xué)內(nèi)容的問題，并得到了比較明確的答案。這不同于以往理論分析的研究范式。但研究結(jié)論的應(yīng)用仍需保持謹慎。本次實地研究中學(xué)生評教的課程是講授為主的社會科學(xué)類課程，不能簡單推論學(xué)生同樣能對理工類課程、藝術(shù)類課程的課堂教學(xué)內(nèi)容做出較準確的評價。這需要進一步的研究。此外，在準實驗研究中，對教學(xué)內(nèi)容的評價是以對PPT課件的評價代替教師現(xiàn)場教學(xué)內(nèi)容，這與現(xiàn)實教學(xué)還是有一定的差異。在此情形下，本研究用師生評價文本課件的數(shù)據(jù)進行分析得出的結(jié)論，需要在以后的研究中，用現(xiàn)實課堂教學(xué)內(nèi)容評教數(shù)據(jù)做進一步驗證。

參考文獻：

[1] 董洪亮. 沒有一流本科，很難成為一流大學(xué)[N]. 人民日報，2016-05-12.

[2] 倪超美，付東升.對學(xué)生評教實踐的反思[J].江蘇高教，2009（1）：74-77.

[3] 付八軍， 馮曉玲.大學(xué)生評教客觀度的調(diào)查研究[J].大學(xué)教育科學(xué)，2011（1）：35-40.

[4] 楊秀芹.學(xué)生評教制度締結(jié)的行動邏輯——學(xué)生的道德風(fēng)險與教師的行為選擇[J].教育科學(xué)，2009（5）：61-65.

[5] Pieter Spooren and Francis V. Loon，. Who participates （not）？ A non-response analysis on studentsevaluations of teaching[J].Social and Behavioral Sciences，2012（69）：990- 996.

[6] 吳莎，李沖.高校學(xué)生評教影響因素研究綜述[J].科教文匯，2012（9）：32-33.

[7] Shu-Hui Liaw Kim-Leng Goh， Evidence and control of biases in student evaluations of teaching[J].International Journal of Educational Management， 2003（1）：37-43.

[8] 雷敏.論提高高校學(xué)生評教質(zhì)量的方法和策略[J].高教探索2005（1）：50-52.

[9] 楊麗萍，張彥通.是什么影響了高校學(xué)生評教的信度和效度[J].中國大學(xué)教學(xué)，2009（3）：72-74.

[10] 馬秀麟，衷克定，張 倩.學(xué)生評教偏差分析與控制模型研究[J].現(xiàn)代教育技術(shù)，2011（2）：40-44.

[11] 張光進，張士菊，楊朝琦.高校學(xué)生評教存在的問題及對策探討[J].高等理科教育，2012（2）：40-41.

[12] 張光進，廖建橋. R&D;人員績效特征及考評方法權(quán)變選擇研究[J].科學(xué)學(xué)研究，2014（9）：1355-1357.

[13] T. R. Hinkin，. A brief tutorial on the development of measures in survey questionnaires [J]. Organizational Research Methods，1998（1）：104-121.

[責(zé)任編輯：陳立民]