高職學(xué)生評教影響因素的分層線性分析

蔡經(jīng)漢

(黎明職業(yè)大學(xué)教務(wù)處，福建泉州 362000)

隨著高校教育評估工作開展的日益深入和數(shù)字化校園的日益普遍，網(wǎng)絡(luò)評教手段使得學(xué)生評教(Student Evaluation of Teaching，簡稱 SET)成為一項低成本高效率的教學(xué)管理手段。高校學(xué)生評教活動開展得越來越普遍。學(xué)生評教的目的主要是作為形成性評估向教師反饋學(xué)生意見以改進教學(xué)質(zhì)量和作為總結(jié)性評估為職稱評定、晉升、各類評選或績效考核等提供相應(yīng)的定量數(shù)據(jù)。作為評教體系的主要組成部分，學(xué)生評教結(jié)果的準(zhǔn)確度關(guān)系重大。

但是，作為一種主觀測量的結(jié)果，評教分數(shù)必定存在一定的誤差。在評教分數(shù)的誤差來源中，來自課程以及學(xué)生個人的非系統(tǒng)性誤差嚴(yán)重影響了評教的合理性及公平性。學(xué)生、教師、課程特征等因素都會影響到學(xué)生所作的評價，但這些因素卻與所謂能夠促進學(xué)習(xí)的良好教學(xué)的評判標(biāo)準(zhǔn)無關(guān)。如果學(xué)校管理層將學(xué)生評教數(shù)據(jù)作為績效考核或人事決定的依據(jù)，那么評教中存在的誤差就必須加以注意并設(shè)法消除其影響。

一、文獻綜述與研究目標(biāo)

(一)文獻綜述

SET真正要測量的是教師在課堂內(nèi)的表現(xiàn)，不應(yīng)該受到外部因素的影響，因而絕大多數(shù)的研究都試圖回答教學(xué)以外的學(xué)生、教師、課程等因素是否產(chǎn)生SET偏差。在其中，有兩個因素受到了學(xué)界的特別重視:一為性別因素，一為成績因素。

1.性別因素

性別差異問題在教育領(lǐng)域中歷來都受到特別重視，這也包括了性別作為評教影響因素。學(xué)生的性別、教師的性別以及兩者的交互關(guān)系，可能極大地影響學(xué)生對教師的評價，因而在國外研究中受到相當(dāng)大的關(guān)注。這些研究中，有些僅涉及學(xué)生或教師單方面的性別因素，如部分研究發(fā)現(xiàn)，女性學(xué)生平均給分較高，而女性教師獲得的評價也一般優(yōu)于男性教師［1］;而大多則同時考慮學(xué)生和教師兩者性別的互動關(guān)系，如部分研究發(fā)現(xiàn)，在學(xué)生與教師的所有四種性別組合中，女性學(xué)生給男性教師所打的評價分數(shù)是最低的［2］。一些研究提出了所謂的“性別認同假說”，認為學(xué)生與教師性別相同時，會傾向于給出更高的評價分數(shù)［3］。但另一些研究則認為性別認同假說僅是部分成立，發(fā)現(xiàn)女性學(xué)生在給女性教師打分時要高于男性學(xué)生所打分數(shù)，但卻未能發(fā)現(xiàn)男性學(xué)生對于男性教師給出比女性教師更高的評價［4］。綜合這些研究成果，可以認為性別因素確實影響到教師的評教表現(xiàn)，但性別組合的影響作用還需要更多的經(jīng)驗證據(jù)和進一步的分析。

2.學(xué)生成績因素

學(xué)生成績對于學(xué)生評教分數(shù)也可能產(chǎn)生相當(dāng)大的影響。在這方面，國外實證研究較多，得到的結(jié)論也較為一致，即學(xué)習(xí)成績與評教分數(shù)之間存在著較為顯著的正相關(guān)關(guān)系［5－8］。但是，學(xué)生成績?nèi)绾斡绊懫湓u教打分?在這一問題的成因上意見卻不統(tǒng)一。一種的觀點認為，學(xué)生成績與評教分數(shù)的正相關(guān)現(xiàn)象是學(xué)生評教合理性的證明。如果評教分數(shù)確實反映了教學(xué)質(zhì)量，那么更高的評教分數(shù)就意味著更高的教學(xué)質(zhì)量，而接受更高質(zhì)量教學(xué)的學(xué)生理應(yīng)在考試中有更好的表現(xiàn)。但另一種的觀點則認為，評教分數(shù)與成績之間的正相關(guān)關(guān)系僅僅是一種偽相關(guān)。第三方因素同時驅(qū)動了學(xué)生的評教分數(shù)與學(xué)習(xí)成績。例如動機，學(xué)習(xí)動機強烈的學(xué)生更專注聽講，對教師的表現(xiàn)也有更高的評價，同時，他們在考試中也有更好的表現(xiàn)。而僅從實證研究中的評教分數(shù)與成績之間的相關(guān)度來看，不同研究估算出來的結(jié)果雖然較為一致地支持正相關(guān)，但估算結(jié)果在數(shù)量值上仍存在較大的波動幅度。因此，本文對這一因素的考察將有助于在這個問題上提供更多的經(jīng)驗證據(jù)。

在國內(nèi)外研究中還考慮了其他一些影響學(xué)生評教分數(shù)的因素，如教師年齡［8－9］、教師學(xué)位［9］、上課班級規(guī)模［10］、上課時間［11］、高低年級差異、文理學(xué)科差異以及專業(yè)課和公共課的差異［12］，以及學(xué)生是否第一次接觸評教［13］等。關(guān)于這些因素的研究結(jié)論也存在一定的差異，有必要加以考慮。

(二)研究目標(biāo)

通過對以上文獻的回顧，本文將研究以下幾種變量對學(xué)生評教分數(shù)所產(chǎn)生的影響:

(1)是否存在性別差異，性別交互效應(yīng)如何?特別地，性別認同假說是否成立?

(2)是否存在成績與評教分數(shù)的正相關(guān)關(guān)系，影響力度如何?這一影響力是否會由于班級群組效應(yīng)的存在而發(fā)生波動?

(3)其他各種個體水平或班級水平因素對于評教分數(shù)的影響如何?

二、方法與數(shù)據(jù)

(一)分層線性模型在評教影響因素問題中的適用性

一些實證研究只是簡單地比較不同課程評教分數(shù)的均值差異的統(tǒng)計顯著性［12］，而一些也僅使用了普通的方差分析方法［14］。這些簡單的統(tǒng)計方法無法區(qū)分多個因素可能產(chǎn)生的混合作用。對此，一些研究轉(zhuǎn)而采用多元回歸分析方法。多元回歸分析相對于方差分析來說是一種改進，但仍存在不足。普通多元回歸分析僅使用單一層面數(shù)據(jù)，或者僅使用個體層面的數(shù)據(jù)，或者僅使用班級層面的匯總數(shù)據(jù)。但是在實際上，由于學(xué)生上課必然是在一個班級的結(jié)構(gòu)下，因此就產(chǎn)生了多水平的分層數(shù)據(jù)，必須考慮班級的固定效應(yīng)與任課教師的特征。從這個角度來看，如果僅將學(xué)生個體的數(shù)據(jù)作為分析的單元的話，普通回歸分析所依賴的獨立性假設(shè)則不能成立，此時回歸系數(shù)的標(biāo)準(zhǔn)誤通常會被低估，從而使檢驗的p值過低，錯誤地接受原本并不存在的“真實”效應(yīng)。而如果使用班級層面匯總數(shù)據(jù)，則會出現(xiàn)聚合偏誤，采用班級水平均值而非學(xué)生水平的個體數(shù)據(jù)進行分析可能會掩蓋住由同一班級內(nèi)學(xué)生個體差異而導(dǎo)致的評教分數(shù)差異［15］。而分層線性模型最大的優(yōu)點就是使研究者可以調(diào)查組水平特征或情境變量對個體作用的效果。因此，在解決這個問題時，有必要使用同時利用學(xué)生層面數(shù)據(jù)與班級層面數(shù)據(jù)的兩水平分層線性回歸模型加以研究。

具有隨機截距與隨機斜率項的兩水平分層線性回歸模型可以用以下公式表述:

其中，M個解釋變量xmij具有隨機斜率，而N個解釋變量znij具有固定斜率。模型的隨機效應(yīng)體現(xiàn)在隨機截距u0j與隨機斜率umj上，其中u0j～N(0)以及 umj～N(0)，?m=1，…，M 是服從正態(tài)分布的組水平隨機變量。eij～N(0，)為個體水平誤差項。

(二)變量選擇和數(shù)據(jù)說明

在文獻回顧的基礎(chǔ)，本文將研究以下幾種變量對學(xué)生評教分數(shù)所產(chǎn)生的影響，這些變量包括:學(xué)生個體層次因素，如學(xué)生性別、學(xué)生成績以及學(xué)生是否具有評教經(jīng)驗;由上課班級構(gòu)成的群組層次因素，如包括教師性別、教師年齡和是否具有碩士以上學(xué)位等的教師因素以及包括課程類型、上課班級規(guī)模和上課時間在內(nèi)的課程因素。在樣本上，本文選取黎明職業(yè)大學(xué)2011—2012學(xué)年第一學(xué)期的學(xué)生評教數(shù)據(jù)，共33688個數(shù)據(jù)。之所以選取這一學(xué)期的數(shù)據(jù)，是由于在這一學(xué)期2011級的學(xué)生是第一次參加學(xué)生評教，因此他們并不具備評教經(jīng)驗，從而能夠與已具有評教經(jīng)驗的高年級學(xué)生形成對比。

表1 研究中所用變量

三、模型設(shè)置、估計結(jié)果與討論

(一)群組效應(yīng)檢驗

本文采用兩水平分層線性回歸模型，水平1為學(xué)生，水平2即為班級，學(xué)生被嵌套于班級之中。在進行分層線性模型估計之前，應(yīng)首先對群組效應(yīng)進行檢驗和確認。為此，需要先估計一個“空模型”，即不納入任何水平解釋變量，僅考慮群組效應(yīng)的最簡單的分層線性模型。只有在空模型檢測到數(shù)據(jù)存在顯著的組內(nèi)相關(guān)性時，才有必要繼續(xù)構(gòu)造更詳細的分層模型加以進一步研究。適用于本研究的空模型方程如下:

表2 “空模型”參數(shù)估計與檢驗結(jié)果

(二)模型設(shè)置

通過模型預(yù)估計，發(fā)現(xiàn)在隨機效應(yīng)部分，三個可能存在隨機斜率的水平1變量中，僅“學(xué)生成績”這一因素顯著，而學(xué)生性別與是否有評教經(jīng)驗這兩個因素都不顯著。因此，在接下來的模型中僅設(shè)置在“學(xué)生成績”這一變量上具有隨機斜率。

模型1:只考慮教師與學(xué)生各自的性別，沒有考慮其交互項

模型2:不僅考慮教師與學(xué)生各自性別，還考慮其交互項

模型3:使用“是否相同性別”變量

(三)估計結(jié)果和討論

如表3，不管是從對數(shù)似然值還是從Wald χ2值來看，模型2都是三個模型中的最優(yōu)模型。此外在師生性別交互效應(yīng)的解釋力上模型2也是三個模型中最優(yōu)的，因此，本文隨后的分析都將基于模型2的結(jié)果。

表3 各模型參數(shù)估計結(jié)果

1.師生性別交互效應(yīng)

在模型1中，僅學(xué)生性別對于評教分數(shù)有顯著影響，男性學(xué)生打分顯著高于女性學(xué)生。而教師性別的影響則無顯著差異。而在模型3中，是否相同性別這一因素也造成顯著影響。相同性別的情況下比不同性別的情況平均打分要高出0.255分。但通過對模型2的結(jié)果分析，可以看出，模型1與模型3的結(jié)果都蘊含在模型2中。無論從統(tǒng)計意義上還是從解釋力上來說，模型2顯然優(yōu)于另外兩個模型。

由表4，首先，男學(xué)生打分水平顯著高于女性學(xué)生，這一點包含了模型1。其次可看出，女學(xué)生給女教師打分高于男教師，而男學(xué)生給男教師打分高于女教師。這一結(jié)果包含了模型3。雖然包含了模型1和3，但模型2的結(jié)果顯然更加豐富。從模型2估計結(jié)果中我們還可觀察到:模型1未能區(qū)分開教師性別的影響，而模型2可以。模型3雖然確認相同性別組合評教得分較高，但只是估計了男－男和女－女兩種情況的平均效果。模型2則使我們知道同性打分高于異性的現(xiàn)象主要應(yīng)歸因于男性學(xué)生給男性教師以較高的分數(shù)。

2.學(xué)生成績

本研究證實，平均來說學(xué)生成績與評教分數(shù)之間確實存在正相關(guān)關(guān)系。在排除由班級群組效應(yīng)而產(chǎn)生的隨機斜率的影響之后，可以看到兩者之間的偏相關(guān)系數(shù)為正的0.0205，并且在統(tǒng)計意義上顯著。但這種正相關(guān)關(guān)系受到班級群組效應(yīng)的影響，其95%置信區(qū)間位于0.0205±1.96×0.0176之間，即－0.014至0.055之間。大多數(shù)班級存在學(xué)生成績與評教分數(shù)之間的正相關(guān)關(guān)系，但有部分班級為負相關(guān)關(guān)系。

表4 學(xué)生與教師性別交互效應(yīng)

3.學(xué)生評教經(jīng)驗

學(xué)生具有評教經(jīng)驗者打分較低，并且從數(shù)值上看較大。這提醒我們，部分開設(shè)兩個或以上的學(xué)期課程，如果出現(xiàn)評教分數(shù)下降的情況，不能簡單地歸因于教師教學(xué)質(zhì)量的下降，而可能是源于學(xué)生總體的一種傾向。

4.教師年齡、職稱和學(xué)歷

在年齡的影響方面的結(jié)論是，教師的年齡越大，評教分數(shù)越低。在模型選擇過程中，曾試圖加入年齡平方項，但該項系數(shù)不顯著。其他條件相同的情況下，如老師性別職稱學(xué)歷等相同的情況下，可以理解為越年輕的教師越有活力，與學(xué)生之間的溝通更多更有效，越受學(xué)生的歡迎。相反，隨著年齡的上升，教齡越長越容易出現(xiàn)職業(yè)倦怠問題。而在職稱方面，教師的職稱等級越高，評教分數(shù)越高。這一點與預(yù)想相符。其他條件相同的情況下，研究生學(xué)歷或?qū)W位者反而獲得更低的評教分數(shù)。這與通常的預(yù)想相反，但與 Cochran等(2003)的結(jié)論相類似［9］。借鑒Cochran的分析，我們推測是由于目前高職院校教師的研究生學(xué)位大都是在職期間獲得的，其在職學(xué)習(xí)行為在一定程度上影響了其教學(xué)上的精力和時間投入。

5.課程類型和課程安排

從估計結(jié)果來看，在其他條件相同的情況下，必修課或公共課的評教得分都較高。從數(shù)量上看，公共必修課與專業(yè)限選課相比，平均得分要高出0.617分。在上課班級規(guī)模方面的結(jié)論則是人數(shù)越多，評教分數(shù)越低。以平均一個班級50人計，合班上課與分班上課的平均得分可相差0.6分。這一結(jié)論也與通常的看法相符，即大班上課師生互動不足，教學(xué)效果差，應(yīng)盡量安排小班上課。

關(guān)于課程時間安排方面的結(jié)論則是下午上課的課程得分較低。這一結(jié)論與表2中相應(yīng)分組均值檢驗結(jié)論相反，說明在控制了其他因素情況下下午上課的真正效果是比較差的。這也說明簡單的進行分組統(tǒng)計不能區(qū)分不同因素的影響。例如，安排在下午上課的公共課較多，老師年紀(jì)可能偏輕，這些因素混合后，使得下午的課程與其他時間對比起來似乎學(xué)生的滿意度會更高，但真實情況卻正好相反。

四、結(jié)論與展望

(一)研究結(jié)論

通過應(yīng)用能夠控制班級群組效應(yīng)的分層線性模型來研究學(xué)生網(wǎng)上評教結(jié)果的影響因素，研究發(fā)現(xiàn)，教師與學(xué)生性別交互效應(yīng)造成偏誤，學(xué)生成績與其評教分數(shù)之間存在正相關(guān)關(guān)系。此外還發(fā)現(xiàn)，在其他條件相同的情況下，年齡低、職稱高、沒有獲得研究生以上學(xué)歷的教師獲得的評教分數(shù)較高;而沒有評教經(jīng)驗的學(xué)生對于評教分數(shù)則較為慷慨;必修課或公共課的得分較高;課程安排于上午或晚上上課的教授獲得的評教得分較高;上課班級人數(shù)較少的教師獲得的評教分數(shù)也較高。

(二)研究的不足與展望

網(wǎng)上評教手段的應(yīng)用在帶來極大便利的同時，也帶來了學(xué)生敷衍對付的問題，這必然對研究的可信度造成一定的影響。因此，在進一步的研究中有必要對數(shù)據(jù)進行甄別，剔除可信度不高的數(shù)據(jù)，再對新的數(shù)據(jù)樣本進行分析。此外，本文的研究僅限于一些較為客觀的因素。教師職業(yè)倦怠、學(xué)生的學(xué)習(xí)動機、自我效能等等主觀心理因素對于評教的影響也是值得研究的。

［1］Tatro C N.Gender Effects on Student Evaluations of Faculty［J］.Journal of Research and Development in Education，1995，28(3):169 －73.

［2］Rowden G V，Carlson R E.Gender Issues and Students’Perceptions of Instructors’Immediacy and Evaluation of Teaching and Course［J］.Psychological Report，1996，78:835－839.

［3］Lueck T L，Endres K L，Caplan R E.The Interaction effects of Gender on Teaching Evaluations［J］.Journalism Educator，1993，48(3):46 －54.

［4］Bachen C M，McLoughlin M M，Garcia S S.Assessing the Role of Gender in College Students’Evaluations of Faculty［J］.Communication Education，1999，448(3):193－210.

［5］Greenwald A G，Gilmore G M.Grading Leniency Is A Removable Contaminant of Student Ratings［J］.American Psychologist，1997，52(11):1209 －1217.

［6］Langbein L.The Validity of Student Evaluations of Teaching［J］.Political Science and Politics，1994，27(3):545－553.

［7］Krautmann A C，Sander W.Grades and Student Evaluations of Teachers［J］.Economics of Education Review，1999，18:59 －63.

［8］McPherson M A.Determinants of How Students Evaluate Teachers［J］.Journal of Economic Education，2006，37:3－20.

［9］Cochran H H，Jr.，Hodgin G L，Zietz J.Student Evaluations of Teaching:Does Pedagogy Matter?［J］.Journal for Economic Educators，2003，4(1):6 －18.

［10］Liaw S H，Goh K L.Evidence and Control of Biases in Student Evaluations of Teaching［J］.The International Journal of Educational Management，2003，17(1):37－43.

［11］Badri M A，Abdulla M，Kamali M A，et al.Identifying Potential Biasing Variables in Student Evaluation of Teaching in a Newly Accredited Business Program in the UAE［J］.International Journal of Educational Management，2006，20(1):43 －59.

［12］閆志明，張光旭，張立新.影響高校學(xué)生網(wǎng)上評教的因素研究［J］.中國電化教育，2007(3):45－47.

［13］沈毅俊，孫林，劉慧敏.高校學(xué)生評教客觀性的影響因素研究［J］.中國高等教育評估，2008(2):54－57.

［14］韓明，陳啟山，王鵬輝.教師與課程特征對高校學(xué)生評教分數(shù)的影響［J］.華南師范大學(xué)學(xué)報:社會科學(xué)版，2010(4):44－48.

［15］Griffin B W.Grading Leniency，Grade Discrepancy，and Student Ratings of Instruction［J］.Contemporary Educational Psychology，2004，29:410－425.