教師課程教學(xué)質(zhì)量評價排序問題的實(shí)證研究

未培++康震群

摘 要：本文通過實(shí)例分析，以測評對象在排序中的位置為依據(jù)，討論教學(xué)質(zhì)量學(xué)生測評結(jié)果排序選優(yōu)在評價主體細(xì)致分類下的均衡性及不同學(xué)期下的時間穩(wěn)定性。在學(xué)生測評為基礎(chǔ)、評價主體多元的條件下，通過定義次序關(guān)系和排序變換，提出判斷某一評價主體對排序影響程度的一種算法。從排序選優(yōu)的角度，為評估和改進(jìn)課程教學(xué)質(zhì)量評價方案提供了依據(jù)。

關(guān)鍵詞：教學(xué)質(zhì)量 綜合評價 排序

中圖分類號：G718.5 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2014）01（a）-0155-04

教師課程教學(xué)質(zhì)量評價（以后簡稱質(zhì)量評價或評價）反映教師教學(xué)的質(zhì)量和水平，監(jiān)督管理是其功能之一，監(jiān)督著教師的教學(xué)勞動，也在一定程度上為績效考核、人事決策提供依據(jù)。實(shí)現(xiàn)管理功能要求對評價對象能夠依據(jù)綜合評價結(jié)果排序。隨著勞動人事制度改革的深入進(jìn)行，教學(xué)質(zhì)量評價結(jié)果的排序問題受到關(guān)注。根據(jù)實(shí)例，兩元評價主體（全體學(xué)生或同行）已經(jīng)依據(jù)某種綜合評價方法，對所有評價對象（任課教師）的教學(xué)質(zhì)量做出評價，評價結(jié)果以測評分，即價值函數(shù)值的方式體現(xiàn)。根據(jù)評分可以區(qū)分優(yōu)劣。全體對象按測評分降序排列稱為該測評下的“排序”，任一對象的測評結(jié)果名次，即該對象的在排序中的位置。依據(jù)排序，將全體教師按課程教學(xué)質(zhì)量分為A、B、C、D共4組，名次在前25%的屬于A（優(yōu)秀），25%～50%屬于B，50%～75%屬于C，75%以后屬于D組。在以后的討論中，全院承擔(dān)課程教學(xué)任務(wù)教師（測評對象）全體的集合為樣本全集，為學(xué)期，=1，2，3，4，5，6分別對應(yīng)2012-13-2，2012-13-1，2011-12-2，2011-12-1，2010-11-2，2010-11-1學(xué)期。

教師姓名，即樣本集中的元素用序號替代。

1 學(xué)生測評排序分析

對測評對象依據(jù)系部或教師學(xué)科背景的分類，實(shí)際是對作為評價主體的學(xué)生的細(xì)致分類。在一個相當(dāng)長的時期中，學(xué)生是實(shí)例中唯一的評價主體，在主體多元的情況下，學(xué)生也是其中最重要的評價主體。因此，學(xué)生測評排序選優(yōu)在主體細(xì)致分類下的均衡性和不同學(xué)期下的時間穩(wěn)定性，在一定程度上反映了教學(xué)質(zhì)量評價的效度和信度。

1.1 排序的相對位置函數(shù)

為某系承擔(dān)教學(xué)任務(wù)教師全體的集合；是的一個子集，的容量記為。

由于中的樣本數(shù)不是常數(shù)，為了能夠?qū)Σ煌瑢W(xué)期的排序進(jìn)行比較，定義“相對位置函數(shù)”：

（1）

式中，為樣本i在樣本全集中的測評結(jié)果排序名次；為的容量。容易理解有如下性質(zhì)：（1）對于任意，有；（2）設(shè)，則必有；（3）對于任意i1，i2，有

（2）

當(dāng)時，有

（3）

由（3）可以得到Tj中各元素的位置函數(shù)值（表1）。表中序號與教師姓名對應(yīng)，無函數(shù)值表示該教師在該學(xué)期沒有承擔(dān)教學(xué)任務(wù)。

1.2 學(xué)生測評排序的均衡性

由位置函數(shù)的性質(zhì)可知，函數(shù)值即樣本i在中的排序位置。則分組A、B、C、D對應(yīng)的位置函數(shù)值分別為：0.000～ 0.250、0.250～0.500、0.500～0.750、0.750～ 1.00。因此，從表1可以看出中測評結(jié)果為A（）的樣本數(shù)NAj，并計算出在中的比例（表2）。

從表2中可以看出，學(xué)期1和學(xué)期3屬于A組的比例接近25%外，其余4個學(xué)期均大于25%，且相差較大。這說明依據(jù)學(xué)生測評結(jié)果，屬于A組的比例在全院各系的分布是不均勻的。

依據(jù)教師的學(xué)科背景，系教師共有3類，記為集合TA、TB、TC：

TA={1，7，8，9，10，13，14，15，17，18，19，22，25，28，32，33，34，35，36，38，44，48，49，34，55，56，57，58}；

TB={2，3，6，12，16，20，21，24，26，27，30，31，37，40，42，43，45，47，50，51，52，53}；

TC={4，5，11，23，29，39，41，47，59}。

根據(jù)集合TA、TB、TC及表1、表2可得屬于A組（位置函數(shù)值<0.25）的比例按教師學(xué)科背景的分布（表3）。

從表3可以看出在細(xì)致分類的條件下，屬于A組的比例差異進(jìn)一步擴(kuò)大。

1.3 學(xué)生測評的穩(wěn)定性

表2、表3中的數(shù)據(jù)各個學(xué)期有明顯的差異。為分析學(xué)生測評結(jié)果的時間穩(wěn)定性，從表3中去除僅有2個數(shù)據(jù)的樣本后，對每一樣本計算位置函數(shù)值的最大差距，得到表4。

依據(jù)表4統(tǒng)計后得到，在54個樣本中偏差值小于組距0.25的有9個樣本，比例為16.7%；偏差值放寬到小于0.50時，樣本數(shù)為37，比例為68.7%。這個結(jié)果表明，學(xué)生測評下位置函數(shù)的時間序列值，只有不到20%可以認(rèn)為是比較穩(wěn)定的（最大差距不超過組距）；超過30%很不穩(wěn)定（最大差距超過2倍組距）。

2 同行評價對排序的影響

實(shí)例中的“同行評價”是以系（部）為區(qū)分的評價主體，對屬于本系部的評價對象進(jìn)行測評，依據(jù)某種綜合評價方法得到評分，然后按加權(quán)平均（學(xué)生評價權(quán)重w同行評價權(quán)重1-w）計算綜合評分。

2.1 次序關(guān)系

現(xiàn)設(shè)i、j為某學(xué)期某樣本集中任意兩個評價對象，學(xué)生評分、同行評分分別記為、和、，對象i、j的綜合評分為：，令 ，的符號可以定義對象i、j之間的一個“次序關(guān)系”（簡稱關(guān)系）：（1）當(dāng)時，稱i優(yōu)于j；（2）當(dāng)時，稱i劣于j；（3）當(dāng)時，稱i等同于j。

稱為綜合評分下的次序關(guān)系或最終次序關(guān)系，全體關(guān)系的集合記為Z。同樣可以定義學(xué)生、同行測評下的次序關(guān)系和關(guān)系集X、Y。顯然，關(guān)系集與排序之間是一一對應(yīng)的，因此我們可以用同一字母表示對應(yīng)的關(guān)系集和排序。顯然，N個對象之間關(guān)系總共有個。endprint

表5是某系2012-13-2學(xué)期兩個評價對象：i=5、j=24的評價情況。

表6給出了某系2012-13-2學(xué)期部分評價對象的次序關(guān)系。其中對象17的綜合評分排名比該對象的學(xué)生、同行測評結(jié)果兩者都要低，且學(xué)生評價都不劣于表中其它對象，但最終次序關(guān)系卻劣于表中任何其它對象。

觀察表5，對于對象5，綜合評分名次、學(xué)生測評名次均為1，這意味對象5和其它對象i（i=1，2，3，4，6，…，N）之間的綜合評分次序關(guān)系，完全取決于學(xué)生測評下的關(guān)系，同行測評結(jié)果對此沒有影響。

由表6，觀察對象17與對象i（i=13，15，22，35，41，46，52）的關(guān)系，在學(xué)生測評下，對象17“優(yōu)于”或“等同于”對象i；但在綜合評分排序中，這7個次序關(guān)系全部成為“劣于”，這當(dāng)然是同行評價產(chǎn)生了“作用”，我們稱為同行測評“有效”影響了這些對象間的次序關(guān)系。

表5、表6的數(shù)據(jù)全部來自T1，即以某系2012-13-2學(xué)期測評數(shù)據(jù)為依據(jù)，同行是以系部為區(qū)分的非單一主體，2012-13-2學(xué)期8個教學(xué)系部同行測評分的幾個統(tǒng)計數(shù)據(jù)見表7。

根據(jù)表7，不同評價主體之間評分差距很大，如D7的最低分相當(dāng)于D1的最高分，顯然，分屬不同系部的對象之間不能直接進(jìn)行比較。

D7的中位數(shù)與最高分僅有0.02的差距，最低分與最高分也只是0.2分的差距，而對D7中對象，學(xué)生測評分最大差距是 1.44?？梢耘袛郉7同行測評結(jié)果對最終排序沒有什么影響。

D1的最低分與最高分差距較大，超過學(xué)生測評分的差距（最高分9.50，最低分 7.67），但這并不意味著其同行測評有效影響一定很大，對某一次序關(guān)系同行測評與學(xué)生測評判斷相反時，同行測評才有可能“有效”。

2.2 排序變換與同行評價對排序的影響

為能夠定量計算加入同行測評后排序的變化程度，引入“逆序數(shù)”的概念：

設(shè)對N個數(shù)碼1，2，3，…，N的一個排序： （4）

如果有較大數(shù)排在較小數(shù)之前，而這種大小顛倒安置的情形一共出現(xiàn)了k次，則說排序（4）有k個逆序，或稱（4）的逆序數(shù)為k。

從上述定義可知若（4）是升序排序，其逆序數(shù)為最小值0；若（4）是降序排序，則逆序數(shù)達(dá)到最大值： （5）

現(xiàn)設(shè)排序 （6）

的逆序數(shù)為k，交換、的位置后得到 （7）

容易理解，若，則排序（9）的逆序數(shù)為k+1；反之，排序（9）的逆序數(shù)為k-1。

排序中任意相鄰兩個對象交換位置（簡稱為換置），相當(dāng)于改變它們的次序關(guān)系，由排序（6）中優(yōu)于，變換成排序（7）的劣于，由于排序中其它對象的位置未變，排序（6）逆序數(shù)是排序（7）逆序數(shù)加1或減1。

對于一般情況，設(shè)一樣本集中N個對象已按學(xué)生測評分排序，不失一般性，假定學(xué)生測評分都是各不相同的，因此，不妨以名次作為對象的標(biāo)識符（即對象的學(xué)生測評名次為）。顯然這個排序是：

（8）

其逆序數(shù)為0。X稱之為“基準(zhǔn)排序”，若以表示對象，下標(biāo)表示該對象在排序中的位置，則對于任意有。

對每一對象依據(jù)學(xué)生測評分、同行測評分以及綜合測評方法計算出綜合評分，依據(jù)綜合評分降序排序得到一個綜合評價下的名次排序：

（9）

可以通過對排序X施以一系列換置變換得到排序Z：（1）令i=1；X1=X；（2）在Xi中找到，若轉(zhuǎn)（4）；（3）對施以次換置，使到達(dá)位置i；（4）令，為變換后的排列；（5）若，結(jié)束變換，，否則轉(zhuǎn)（2）。

上述過程中的每一個換置都是對象位置前移1位，從而使得逆序數(shù)加1，同時也意味著同行評價對該關(guān)系有效，由此即證明了排序Z的逆序數(shù)等于同行測評的有效次數(shù)M，因此可用比值度量加入同行測評后對排序的改變程度。

用上述方法對D7同行測評結(jié)果對排序的改變程度進(jìn)行分析，可以得到排序：

Z 7={1，2，5，6，3，4，7，8，9，11，11，13，14，15，16，17，18，19，20}

該排序的逆序數(shù)M=4，改變度 。表明由于D7的同行評價結(jié)果取值過于集中，因此對排序的改變很小。

同樣，可以計算出D1同行測評對排序的改變度為0.18，遠(yuǎn)大于D7。

說明：（1）實(shí)際計算評價主體的貢獻(xiàn)時，不需要對排序逐步變換。只要依次完成3個步驟：按學(xué)生測評排序、用名次作為對象的標(biāo)識符、按綜合結(jié)果重新排序即可得到綜合排序Z。（2）設(shè)學(xué)生測評有k（k2）個對象的測評分相同，名次并列為i，但其中部分對象綜合測評分不再相等，即同行測評將部分等同關(guān)系有效地改成非等同關(guān)系，因此按綜合測評分降序排列后，應(yīng)將這k個對象的標(biāo)識符由i依次改為i+k-1，…，i，（綜合測評分相同的對象仍用相同的符號以保持逆序數(shù)不變）。（3）上述方法可以推廣到評價主體為N（N3）元的情況：任意i（i1）個主體對排序的改變度，等于以其它N-i元主體的綜合評價結(jié)果為基準(zhǔn)排序的條件下，最終排序的逆序數(shù)與的比值。

3 結(jié)語

學(xué)生測評結(jié)果排序的特點(diǎn)是：優(yōu)秀類比例按系（部）和按教師學(xué)科背景的分布都是不均勻的；對于絕大多數(shù)對象，位置函數(shù)值時間序列分布相當(dāng)分散。學(xué)生實(shí)際上是以班級為區(qū)分的非單一評價主體。高職院校學(xué)生來源多樣，不同專業(yè)、不同年級的班級與班級之間也存在價值上的偏好差異，通過聚類分析的方法，對學(xué)生班級適當(dāng)分類，并建立相適應(yīng)的指標(biāo)體系，可能減少主體的差異性對測評結(jié)果的影響，但分類的結(jié)果可能大大降低結(jié)果的可比性。同行是按系部區(qū)分的非單一主體，大多數(shù)系部評分值分布過于集中，以致對排序影響有限。不同系部之間的評價平均值相差很大，完全無法比較。比較性差，排序的意義就不大。從排序選優(yōu)考慮，應(yīng)盡可能對全體教師進(jìn)行同樣的檢查和評定，為此，評價指標(biāo)的設(shè)置及描述，應(yīng)選擇可以觀察到的教學(xué)事實(shí)作為評價內(nèi)容，不應(yīng)對教師的具體教學(xué)行為進(jìn)行必然性的描述。課程教學(xué)質(zhì)量評價，無論如何設(shè)計，都有很強(qiáng)的主觀性和模糊性，評價結(jié)果受到評價主體的價值觀念、認(rèn)知水平、掌握的信息量等因素的影響。正確認(rèn)識評價排序的作用及其局限性，才能從排序中得出正確合理的結(jié)論。

參考文獻(xiàn)

[1] 秦壽康.綜合評價原理與應(yīng)用[M].北京：電子工業(yè)出版社，2003：35-40.

[2] 黃秋明.高職課程質(zhì)量保證體系研究[M].上海：上海交通大學(xué)出版社，2010：73-79.

[3] 朱德全，宋乃慶.教育統(tǒng)計與測評技術(shù)[M].重慶：西南師范大學(xué)出版社，2007：102-107.

[4] 張芳，蘇永福.教師課堂教學(xué)質(zhì)量的多元統(tǒng)計分析[J].數(shù)學(xué)的實(shí)踐與認(rèn)識，2007（17）：15-18.endprint