基于Kappa統(tǒng)計量的督導評教與學生評教一致性分析

周柏林

摘 要 督導評教與學生評教是高校加強教學質(zhì)量監(jiān)控，對教師教學工作和教學效果進行評價的重要手段，兩者的一致性程度如何將直接影響評價的有效性。選取某高校2012-2013學年第二學期學生和督導對100名教師的評價結果為樣本，采用Kappa統(tǒng)計量分析督導評價和學生評教的一致性，并就提高督導評教與學生評教一致性進行了探討。

關鍵詞 Kappa統(tǒng)計量 督導評教 學生評教 一致性

中圖分類號：G640 文獻標識碼：A

Kappa Statistic-based Identity Analysis of Teaching Quality Assessments by Teaching Supervisors and College Students

ZHOU Bolin

（Teaching Evaluation Department， Hu'nan University of Technology， Zhuzhou， Hu'nan 412008）

Abstract Quality assessments both by teaching supervisors and college students are important means to monitor and improve the teaching quality of a university， while the extent of identity of their results will decide the effect of overall teaching quality assessment. Choosing as reference the results of both types of assessments at a university during the second half year of 2012， the paper intends to apply Kappa Statistic to the identity analysis of these two assessments and aims at providing several methods to improve such a indicator.

Key words Kappa statistic； assessment by teaching supervisor； assessment by college student； identity

0 引言

目前，我國高校對教師教學業(yè)績進行考核評價時，普遍從教學工作量、教學效果、教學研究與改革、師德師風等四個方面進行，其中對教學效果的評價是重點和難點。

為對教師教學效果進行有效監(jiān)控與評價，許多高校都聘請教學經(jīng)驗豐富的離退休老教師組成教學督導團，開展評課、巡教、專項檢查等工作；同時，為充分發(fā)揮學生在教學質(zhì)量評價過程中的主體地位，賦予學生問責教學質(zhì)量的權利，大部分高校都開展了學生網(wǎng)上評教活動。鑒于教師教學效果評價的特殊性，在實踐中，許多高校都把督導評教和學生評教作為教學效果評價的主要依據(jù)，以“督導評教成績€紫嚶θㄖ？學生評教成績€紫嚶θㄖ亍弊魑鈧粘杉ń屑品鄭源碩越淌萄Ч卸科蘭?。?/p>

那么，學生對教師教學的評價與督導的評價是否一致，能否真實、客觀反映教師的教學水平？本文以某高校2012-2013學年第二學期教學督導評教結果和學生網(wǎng)上評教結果為依據(jù)，用Kappa統(tǒng)計量對督導評教與學生評教一致性進行分析，以期進一步改進和完善督導評教和學生評教工作，更好地發(fā)揮其在教學質(zhì)量監(jiān)控與評價中的積極作用。

1 Kappa統(tǒng)計量

1960年Cohen等提出用Kappa值作為評價判定一致性程度的指標。實踐證實，它是一個判斷一致性和信度評價的有效指標。

Kappa統(tǒng)計量是比較兩個或多個觀測者對同一事物，或者觀測者對同一事物的兩次或多次觀測結果是否一致，以由于機遇機會造成的一致性和實際觀測的一致性之間的差別大小作為評價基礎的統(tǒng)計指標。①其判斷結果常以C€證列聯(lián)表的形式表示，見表1。

表1 C€證列聯(lián)表

表3 等級標準

Kappa系數(shù)的計算公式為，Kappa=（Po-Pe）/（1-Pe），其中，Po為實際觀察到的一致率，即實際觀察一致數(shù)與總檢查人數(shù)的比值，用公式表示Po=（€%LAii）/N；Pe為期望一致率，即兩次檢查結果由于偶然機會造成的一致率，簡稱期望率，用公式表示，Pe=€%Laibi，ai=Ai/N，bi=Bi/N；Aii為C€證列聯(lián)表中主對角線上的實際值；N為總例數(shù)。Kappa值應當在0～1之間，若Kappa值等于1，說明兩次判斷的結果完全一致；若Kappa值等于0，說明兩次判斷的結果完全是由于機遇造成的?？梢妅appa值越大，說明一致程度越好。一般來說，若Kappa值大于0.75，說明已經(jīng)取得了相當滿意的一致程度，若kappa值小于0.4，說明一致程度不夠理想，②見表2。

2 數(shù)據(jù)分析

2012-2013學年第二學期，該校督導團聽課評教教師1210人，平均得分85.5分，最低分70分；最高分95分；學生網(wǎng)上評教教師1244人，平均得分96.3分，最低分79分，最高分99分。根據(jù)該校2012-2013學年第二學期教學督導評教和學生網(wǎng)上評教分數(shù)的總體頻數(shù)分布，對“優(yōu)、良、中、差”四個等級的分值規(guī)定如此，見表3。

從督導評教結果和學生評教結果中隨機抽取100名教師的兩項得分，見表4。

根據(jù)上述“優(yōu)、良、中、差”評定標準，對100名教師的教學質(zhì)量評分結果如下，見表5。

表5 100名教師教學質(zhì)量評分結果endprint

對數(shù)據(jù)統(tǒng)計得知，督導、學生對100名教師的教學質(zhì)量評價結果一致的人數(shù)：優(yōu)秀4人，良好21人，中等17人，總計42人。觀察一致率Po=（€%LAii）/N=0.42；期望一致率Pe=€%Laibi=0.3528；Kappa=（Po-Pe）/（1-Pe）=0.1038，小于0.2，說明督導評教與學生評教的一致程度不夠理想（表6）。

3 結果分析

同樣是對教師教學效果的評價，盡管存在評價主體、評教角度、評價內(nèi)容、評價方法等諸多方面的差異，但理論上只要評價活動客觀、公正、合理，督導評教和學生評教的結果應當具有較大程度的一致性。也只有具有較高的一致性，對教師教學效果的評價才能更趨完整和準確。本研究中，督導評教與學生評教的結果一致程度不高，甚至出現(xiàn)督導評教成績很好而學生評教成績不太理想的情況，究其原因有以下幾點。

表6 督導、學生對100名教師教學質(zhì)量評價的一致性程度

3.1 督導評教數(shù)據(jù)缺乏全面性

教學督導員本身就是具有豐富教學經(jīng)驗和教學管理經(jīng)驗的資深專家，他們通過隨機聽課的方式對教師教學進行評價。這種評價具有客觀性、公正性、專業(yè)性。但由于教學督導人數(shù)較少，一個學期內(nèi)不可能重復多次聽評某位老師的課，這樣，在實際操作上，往往是通過一到二次聽課即對某位教師進行了評價，這種評價結果僅僅只能反映某一次課的授課質(zhì)量，而作為整體評價就有失偏頗。另外，由于教學督導員對教學內(nèi)容的不熟悉與自身專業(yè)的限制等，使教學督導員多從教學規(guī)范、教學方法、課堂氛圍、學生專注程度上對教學情況加以評價，使督導評課結果也存在一定的局限性。當然，由于教育教學觀念、知識結構、教學方法與手段等方面的制約，也影響到督導評教的準確性。

3.2 學生評教存在的問題

高校學生評教在西方已有幾十年的歷史，幾乎所有的大學都建立了學生評教制度，評價的信息也得到了廣泛應用。我國從20世紀80年代開始，陸續(xù)在大學中實踐“學生評教”制度，并逐漸受到各高校的重視，學生評教已成為高校教學質(zhì)量監(jiān)控與評價的重要手段之一。目前，隨著網(wǎng)絡技術的普及，學生評教主要以“網(wǎng)上評教”的方式完成。從本研究樣本來看，學生網(wǎng)上評教的平均分高達96.3分，評價結果的信度令人質(zhì)疑。分析原因，主要有以下幾點：

一是學生認識偏差。由于對學生評教的作用和重要性認識不到位，導致部分學生對網(wǎng)上評教重視不夠，認為評教與自己無關，是走過場，從而在評教過程中參與率不高，或者隨意性很大，或者請人代評，不能客觀、公正、實事求是地對教師教學進行評價。2009年5月，廣州大學在一、二、三年級學生中開展“參與課堂教學質(zhì)量網(wǎng)上評價狀況調(diào)查”，隨機發(fā)放調(diào)查問卷540份，有效問卷322份。③調(diào)查表示：“關于網(wǎng)上評教的必要性”，有36%的學生認為課堂教學質(zhì)量評價“無所謂”或“沒有必要”；對自己在網(wǎng)評時的表現(xiàn)，有12%的學生選擇“隨意勾選，管它三七二十一，只要完成網(wǎng)評任務就行”；而選擇“每位老師都給最高分，誰也不得罪或因為評價門次多，對網(wǎng)評感到很煩”的占11%。

二是學生心存顧慮。訪談中了解到，部分學生擔心評教信息被教師獲悉，從而影響教師對其學業(yè)成績的評定或者受到不公正的對待，而有較大心理負擔，不敢表達真實想法，最終做“好好先生”，一律給教師打高分。這種心理和行為的存在，一定程度上影響了學生評教的客觀、公正和真實。

三是學生自身制約。大學生自小學、中學就習慣于灌輸式教學與應試教育的學習方式，往往要求教師多講、細講、劃重點，甚至反復講解等，并且以此作為評價教學效果的標準。反之，對討論式、啟發(fā)教育式、學術講演式方法不太適應，難以對教師講授內(nèi)容的科學性和學術水平的高低作出準確的判斷。

當然，影響學生評教有效性的深層次因素還有評價指標體系、評價方法、評價結果利用、評價時機的選擇等，需要在制度設計上予以重點考慮。如一些高校在重構學生評教指標體系，學生主要通過對自身學習成效的評價來間接評價教師的教學效果。這種由直接評價向間接評價轉變的評價思路與評價效果很值得期待。

4 提高督導評教與學生評教一致程度的建議

4.1 將督導評教活動與學生評教活動有機結合

由于督導評教與學生評教的角度不盡相同，因此在評教指標體系的設計上可以互相補充、各有側重，充分反映評價主體的特點；同時督導在日常聽課評教活動中，可以參考學生網(wǎng)上評教結果，對學生網(wǎng)上評教表現(xiàn)特別優(yōu)秀和特別差的教師，可以重點聽課，全面了解教師授課效果，以修正評價結果。

4.2 進一步優(yōu)化督導評教工作

一是科學把握評教內(nèi)容。督導雖然是教學與管理經(jīng)驗豐富的專家，但畢竟隔行如隔山，因此在評教內(nèi)容上宜宏觀，評教重點應集中于教師教學設計與組織、教學精力投入、教學方法與手段、學生反映等方面。二是注重點面結合。對初次聽課授課效果不佳的教師，要盡量進行多次采樣，整合多次聽課情況進行綜合評價，盡量減少評價的偏差。三是提升督導評教能力。實踐中，部分教師由于擔心督導員觀念、知識老化而對其評教結果的心存質(zhì)疑。因此，提升督導評教能力尤顯重要，要引導督導隊伍加強學習，不斷更新教育教學觀念，跟上教育教學改革的步伐。

4.3 切實提高學生評教的有效性

一是加強對學生評教工作的宣傳，使學生端正認識，消除顧慮。通過各種形式的宣講會，向?qū)W生講清楚評教的目的、意義、做法，讓他們充分認識到開展學生評教是維護學生利益，客觀評價教師工作，提高教學質(zhì)量的重要手段；在評教工作開展前，要求班級召開專題班會，讓學生從內(nèi)心認可參與評價對自己是有意義的，明確這不是一項份外的和可有可無的工作，是對自己和學校負責的表現(xiàn)，從而提高參與評教的積極性和主動性。

二是完善學生評教指標體系，準確反映教師教學狀況。④評教指標要具有可操作性，內(nèi)涵不能太寬，也不能太窄，要考慮到與學生理解和評價能力相匹配，要根據(jù)不同的學科和不同類型、特色的課程，設計出有針對性的評價指標體系。同時，指標體系要注重教師的專業(yè)發(fā)展，力圖準確反映教師教學狀況。美英兩國教師評價的實踐表明，不注重教師專業(yè)發(fā)展的評價，注定得不到教師的歡迎，在實踐中也會受到教師的反對。因此，我們必須重視這個問題，它關系到教師對評教參與和對評教結果的接受程度，關系到學生評教工作的成敗。endprint

三是對評教數(shù)據(jù)進行技術處理。進行技術處理的目的是為了盡量減少學生評教的偏差。在具體操作上，要特別注重參與率與兩端數(shù)據(jù)。如參與率達不到一定比例的課程，不予評價；在統(tǒng)計某門課程的評教分數(shù)時，可以考慮去掉前后各5%的評教分數(shù)，再計算平均分。通過這樣的技術處理，盡量使評教分數(shù)接近真實狀態(tài)，反映真實情況。

四是正確運用評教結果。美國著名的教育評估專家斯坦費爾比姆曾說過：“評價最重要的意圖不是為了證明，而是為了診斷和改進”。⑤因此在評教結果的運用上，應將著眼點落在促進教師專業(yè)發(fā)展中。一方面要肯定優(yōu)秀教師的工作，推廣優(yōu)秀教師的教學經(jīng)驗；另一方面對于評教分數(shù)較低的教師，應組織專家進行鑒定性聽課，確實是教學效果不佳的教師，應采取針對性幫扶措施，幫助其提高教學水平。而在將其作為教師教學業(yè)績考核和人事管理依據(jù)時，則要科學設計其權重，綜合予以考慮。

總之，盡管存在不足與缺陷，在高校管理實踐中，督導評教與學生評教已經(jīng)成為教學質(zhì)量監(jiān)控與評價的重要手段和方法，發(fā)揮了重要的作用。追求兩者評教結果的高一致性是一種理想狀態(tài)，或者難以實現(xiàn)。但堅持多種評價方法并用、多種評價信息互證補充，堅持教學評價以教學效果為核心，給予教師客觀、公正的評價，引導教師把主要精力投入到教學上，著力提高業(yè)務水平與教學能力，應該是我們一以貫之的努力方向。

€L鼙疚南？012年度湖南省哲學社會科學基金項目“地方高校教師教學業(yè)績考核機制研究”（項目編號：12YBB081）、2011年度湖南工業(yè)大學教育教學改革研究重點項目“湖南工業(yè)大學教師教學業(yè)績考核研究”（項目編號：2011B20）的階段性成果

注釋

① 孫彩云，翟建軍.論Kappa統(tǒng)計量評價指導小組、同行專家及學生評教的一致性[J].黑龍江高教研究，2009（3）：41-43.

② 胡昆，孫愛峰.Kappa分析在成績一致性評價中的應用[J].中國科技教育，2007（8）：106.

③ 韓磊磊.學生評教制度的價值取向與模式選擇[C].全國高等教育質(zhì)量保障與評估機構協(xié)作會學術研討會論文集.北京，2010：579-585.

④ 包镕.高校學生評教有效性分析及改進措施[J].浙江海洋學院學報（人文科學版），2008（4）：121-124.

⑤ 倪超美，付東升.對學生評教實踐的反思[J].江蘇高教，2009（1）：76.endprint

三是對評教數(shù)據(jù)進行技術處理。進行技術處理的目的是為了盡量減少學生評教的偏差。在具體操作上，要特別注重參與率與兩端數(shù)據(jù)。如參與率達不到一定比例的課程，不予評價；在統(tǒng)計某門課程的評教分數(shù)時，可以考慮去掉前后各5%的評教分數(shù)，再計算平均分。通過這樣的技術處理，盡量使評教分數(shù)接近真實狀態(tài)，反映真實情況。

四是正確運用評教結果。美國著名的教育評估專家斯坦費爾比姆曾說過：“評價最重要的意圖不是為了證明，而是為了診斷和改進”。⑤因此在評教結果的運用上，應將著眼點落在促進教師專業(yè)發(fā)展中。一方面要肯定優(yōu)秀教師的工作，推廣優(yōu)秀教師的教學經(jīng)驗；另一方面對于評教分數(shù)較低的教師，應組織專家進行鑒定性聽課，確實是教學效果不佳的教師，應采取針對性幫扶措施，幫助其提高教學水平。而在將其作為教師教學業(yè)績考核和人事管理依據(jù)時，則要科學設計其權重，綜合予以考慮。

總之，盡管存在不足與缺陷，在高校管理實踐中，督導評教與學生評教已經(jīng)成為教學質(zhì)量監(jiān)控與評價的重要手段和方法，發(fā)揮了重要的作用。追求兩者評教結果的高一致性是一種理想狀態(tài)，或者難以實現(xiàn)。但堅持多種評價方法并用、多種評價信息互證補充，堅持教學評價以教學效果為核心，給予教師客觀、公正的評價，引導教師把主要精力投入到教學上，著力提高業(yè)務水平與教學能力，應該是我們一以貫之的努力方向。

€L鼙疚南？012年度湖南省哲學社會科學基金項目“地方高校教師教學業(yè)績考核機制研究”（項目編號：12YBB081）、2011年度湖南工業(yè)大學教育教學改革研究重點項目“湖南工業(yè)大學教師教學業(yè)績考核研究”（項目編號：2011B20）的階段性成果

注釋

① 孫彩云，翟建軍.論Kappa統(tǒng)計量評價指導小組、同行專家及學生評教的一致性[J].黑龍江高教研究，2009（3）：41-43.

② 胡昆，孫愛峰.Kappa分析在成績一致性評價中的應用[J].中國科技教育，2007（8）：106.

③ 韓磊磊.學生評教制度的價值取向與模式選擇[C].全國高等教育質(zhì)量保障與評估機構協(xié)作會學術研討會論文集.北京，2010：579-585.

④ 包镕.高校學生評教有效性分析及改進措施[J].浙江海洋學院學報（人文科學版），2008（4）：121-124.

⑤ 倪超美，付東升.對學生評教實踐的反思[J].江蘇高教，2009（1）：76.endprint

三是對評教數(shù)據(jù)進行技術處理。進行技術處理的目的是為了盡量減少學生評教的偏差。在具體操作上，要特別注重參與率與兩端數(shù)據(jù)。如參與率達不到一定比例的課程，不予評價；在統(tǒng)計某門課程的評教分數(shù)時，可以考慮去掉前后各5%的評教分數(shù)，再計算平均分。通過這樣的技術處理，盡量使評教分數(shù)接近真實狀態(tài)，反映真實情況。

四是正確運用評教結果。美國著名的教育評估專家斯坦費爾比姆曾說過：“評價最重要的意圖不是為了證明，而是為了診斷和改進”。⑤因此在評教結果的運用上，應將著眼點落在促進教師專業(yè)發(fā)展中。一方面要肯定優(yōu)秀教師的工作，推廣優(yōu)秀教師的教學經(jīng)驗；另一方面對于評教分數(shù)較低的教師，應組織專家進行鑒定性聽課，確實是教學效果不佳的教師，應采取針對性幫扶措施，幫助其提高教學水平。而在將其作為教師教學業(yè)績考核和人事管理依據(jù)時，則要科學設計其權重，綜合予以考慮。

總之，盡管存在不足與缺陷，在高校管理實踐中，督導評教與學生評教已經(jīng)成為教學質(zhì)量監(jiān)控與評價的重要手段和方法，發(fā)揮了重要的作用。追求兩者評教結果的高一致性是一種理想狀態(tài)，或者難以實現(xiàn)。但堅持多種評價方法并用、多種評價信息互證補充，堅持教學評價以教學效果為核心，給予教師客觀、公正的評價，引導教師把主要精力投入到教學上，著力提高業(yè)務水平與教學能力，應該是我們一以貫之的努力方向。

€L鼙疚南？012年度湖南省哲學社會科學基金項目“地方高校教師教學業(yè)績考核機制研究”（項目編號：12YBB081）、2011年度湖南工業(yè)大學教育教學改革研究重點項目“湖南工業(yè)大學教師教學業(yè)績考核研究”（項目編號：2011B20）的階段性成果

注釋

① 孫彩云，翟建軍.論Kappa統(tǒng)計量評價指導小組、同行專家及學生評教的一致性[J].黑龍江高教研究，2009（3）：41-43.

② 胡昆，孫愛峰.Kappa分析在成績一致性評價中的應用[J].中國科技教育，2007（8）：106.

③ 韓磊磊.學生評教制度的價值取向與模式選擇[C].全國高等教育質(zhì)量保障與評估機構協(xié)作會學術研討會論文集.北京，2010：579-585.

④ 包镕.高校學生評教有效性分析及改進措施[J].浙江海洋學院學報（人文科學版），2008（4）：121-124.

⑤ 倪超美，付東升.對學生評教實踐的反思[J].江蘇高教，2009（1）：76.endprint