領(lǐng)導(dǎo)干部競(jìng)爭(zhēng)性選拔中考官評(píng)分者信度研究

● 谷向東 李 錚

■責(zé)編 韓樹(shù)杰 Tel:010-68345891 E-mail：hrdhsj@126.com

一、研究?jī)?nèi)容

(一)研究架構(gòu)與研究目的

1.同一考場(chǎng)內(nèi)考官評(píng)分者信度。過(guò)去有關(guān)面試評(píng)分信度的研究集中于對(duì)結(jié)構(gòu)化面試的研究，目前使用較多的半結(jié)構(gòu)化面試則增加了自由追問(wèn)的互動(dòng)環(huán)節(jié)，評(píng)分難度加大；無(wú)領(lǐng)導(dǎo)小組討論對(duì)考官的評(píng)分技能要求更高，評(píng)分難度更大。因此，開(kāi)展對(duì)半結(jié)構(gòu)化面試和無(wú)領(lǐng)導(dǎo)小組討論的相關(guān)研究很有必要，本文擬對(duì)考官評(píng)分做考場(chǎng)內(nèi)一致性分析，從而為提高考場(chǎng)內(nèi)評(píng)分一致性提供建議。

2.不同類考官間的評(píng)分相關(guān)性分析。在面試中，評(píng)價(jià)者因年齡、性別、主觀評(píng)分標(biāo)準(zhǔn)、知識(shí)素養(yǎng)與經(jīng)驗(yàn)、教育背景等的不同，會(huì)對(duì)評(píng)分內(nèi)部一致性產(chǎn)生影響。國(guó)外研究發(fā)現(xiàn)在面試與無(wú)領(lǐng)導(dǎo)小組討論測(cè)評(píng)中，不同評(píng)價(jià)者對(duì)評(píng)價(jià)結(jié)果差異較大。本研究將探索在半結(jié)構(gòu)化面試和無(wú)領(lǐng)導(dǎo)小組討論中各類考官的評(píng)分相關(guān)性情況，探索不同類考官的評(píng)分差異。

3.各類考官在不同測(cè)評(píng)要素上出現(xiàn)極端分情況的比較分析。由于考官的背景不同，他們對(duì)于不同測(cè)評(píng)要素的理解不同，特別是對(duì)于考生面試行為的解讀有一定的差異，影響評(píng)分的信度，因此，本研究擬對(duì)各類考官在不同要素上出現(xiàn)極端評(píng)分的情況進(jìn)行統(tǒng)計(jì)分析，分析各類考官的評(píng)分特點(diǎn)，從而為考官的選擇和培訓(xùn)提供建議。

4.半結(jié)構(gòu)化面試考生入場(chǎng)順序與考生成績(jī)關(guān)系的統(tǒng)計(jì)分析。胡黎（2008）發(fā)現(xiàn)中間偏后進(jìn)入考場(chǎng)的考生的結(jié)構(gòu)化面試成績(jī)比前面進(jìn)入考場(chǎng)的考生高4.5分，隨著面試時(shí)間延長(zhǎng)，考官的各要素評(píng)分有所偏高。對(duì)此，本研究對(duì)半結(jié)構(gòu)化面試中的考生入場(chǎng)順序與考生成績(jī)排名進(jìn)行分析，研究入場(chǎng)順序會(huì)對(duì)考生成績(jī)產(chǎn)生怎樣的影響，從而為提高考官評(píng)分技能提供建議。

（二）研究對(duì)象與方法

研究對(duì)象為參加2010-2011年北京市副局級(jí)領(lǐng)導(dǎo)干部競(jìng)爭(zhēng)性選拔的面試考官，根據(jù)考官來(lái)源，將考官分為四類：用人單位考官、上級(jí)考官、同級(jí)考官、專家考官。

本研究中半結(jié)構(gòu)化面試總計(jì)共有23個(gè)考場(chǎng)，每個(gè)考場(chǎng)有9名考官，共207名考官，但5名因故未到場(chǎng)，因此最后有202名考官計(jì)入統(tǒng)計(jì)；無(wú)領(lǐng)導(dǎo)小組討論先后總計(jì)共有15個(gè)考場(chǎng)，每個(gè)考場(chǎng)有5-9名考官，共有130名考官。

但是，拉克斯的細(xì)胞生長(zhǎng)趨勢(shì)卻讓整個(gè)研究室大呼意外，因?yàn)樗麄凅@奇地發(fā)現(xiàn)，從拉克斯身體里取出的癌細(xì)胞具有不可思議的復(fù)制速度，無(wú)論給海拉細(xì)胞多大的空間，它都能迅速填滿，它看起來(lái)能永無(wú)止境地生長(zhǎng)下去。

本次研究采用統(tǒng)計(jì)軟件SPSS對(duì)面試結(jié)果進(jìn)行了數(shù)據(jù)整理、錄入和分析。

二、研究結(jié)果與分析

(一)同一考場(chǎng)內(nèi)考官評(píng)分者信度

本研究采用非參數(shù)檢驗(yàn)中K Related Samples對(duì)各個(gè)考場(chǎng)內(nèi)的評(píng)分一致性進(jìn)行了檢驗(yàn)，具體結(jié)果如下：

1.半結(jié)構(gòu)化面試

在23個(gè)考場(chǎng)中，有18個(gè)考場(chǎng)的內(nèi)部的評(píng)分者信度系數(shù)顯著高于0.4，說(shuō)明整體上半結(jié)構(gòu)化面試考場(chǎng)內(nèi)考官的評(píng)分達(dá)到了較好的一致性，不同考官對(duì)評(píng)分標(biāo)準(zhǔn)的把握較為一致。雖然不同考場(chǎng)的考官結(jié)構(gòu)有所區(qū)別，但他們對(duì)測(cè)評(píng)要素和考生表現(xiàn)做出較為一致的解讀和判斷。仍有個(gè)別考場(chǎng)內(nèi)考官評(píng)分一致性不太理想，這說(shuō)明應(yīng)當(dāng)嚴(yán)格把關(guān)考官的選擇和配置，規(guī)范考官評(píng)分，培訓(xùn)考官能力，從而提高每個(gè)考場(chǎng)的面試的信度。

2.無(wú)領(lǐng)導(dǎo)小組討論

在15個(gè)考場(chǎng)中，有7個(gè)考場(chǎng)的內(nèi)部的評(píng)分者信度系數(shù)顯著高于0.4，有多個(gè)考場(chǎng)內(nèi)考官評(píng)分一致性不太理想。這主要是因?yàn)闊o(wú)領(lǐng)導(dǎo)小組討論測(cè)評(píng)的評(píng)分難度大，專業(yè)化要求高，考官需要更加深入的培訓(xùn)和足夠的實(shí)踐經(jīng)驗(yàn)，而目前半天的培訓(xùn)難以使考官熟練地掌握此技能。另外，無(wú)領(lǐng)導(dǎo)小組討論中考生人數(shù)多，行為表現(xiàn)豐富，需要觀察的信息量較大，而不同的考官對(duì)這些行為表現(xiàn)會(huì)有不同的理解和解讀，因此考官評(píng)分一致性不夠高。

(二)各類考官的評(píng)分的相關(guān)性分析

將四類考官之間的評(píng)分作相關(guān)分析，以考察不同類型考官之間的評(píng)分一致性。具體結(jié)果如下：

1.半結(jié)構(gòu)化面試

表1顯示，在半結(jié)構(gòu)化面試中，除了專家考官與上級(jí)考官、同級(jí)考官之間評(píng)分的相關(guān)性不顯著，其他類型考官之間的評(píng)分呈顯著的相關(guān)性（0.255—0.495），這說(shuō)明不同考官類別之間的評(píng)分者信度達(dá)到中等水平。具體來(lái)說(shuō)，與用人單位考官評(píng)分相關(guān)性由強(qiáng)到弱的考官類型依次是上級(jí)考官、同級(jí)考官、專家考官。專家考官與其他考官的相關(guān)性較弱或不相關(guān)，這可能有以下原因：一方面，專家考官大部分是具有專業(yè)背景的高校教師，他們屬于“圈子外”人士，受其他考官群體的約束力較小，評(píng)分獨(dú)立性強(qiáng)；另一方面，專家考官對(duì)目標(biāo)崗位職位最不熟悉，專業(yè)、經(jīng)驗(yàn)、背景與其他考官不同，與來(lái)自黨政部門(mén)的其他考官評(píng)價(jià)視角不同，也可能導(dǎo)致他們的評(píng)分與其他類型的考官相關(guān)性較弱。

2.無(wú)領(lǐng)導(dǎo)小組討論

表2顯示，用人單位考官、上級(jí)考官與同級(jí)考官之間在評(píng)分上呈現(xiàn)弱相關(guān)，專家考官與其他考官評(píng)分之間均無(wú)顯著相關(guān)。這可能有兩方面原因：一方面，無(wú)領(lǐng)導(dǎo)小組討論對(duì)考官的評(píng)分技術(shù)要求較高，考官需要在一定時(shí)間內(nèi)對(duì)小組中6名考生進(jìn)行3-4個(gè)測(cè)評(píng)要素的評(píng)分，考官對(duì)測(cè)評(píng)知識(shí)和技能的掌握成為挑戰(zhàn)考官的重要因素；另一方面，進(jìn)一步的細(xì)化統(tǒng)計(jì)分析與訪談發(fā)現(xiàn)，專家考官與黨政機(jī)關(guān)領(lǐng)導(dǎo)對(duì)人評(píng)價(jià)的內(nèi)隱標(biāo)準(zhǔn)有所不同，前者相對(duì)更加關(guān)注個(gè)體的影響力和感染力、思想的開(kāi)放性、思維邏輯水平的高低等，而后者則相對(duì)更加關(guān)注考生品德水平是否低調(diào)穩(wěn)重、政策理論水平、解決問(wèn)題客觀性和現(xiàn)實(shí)性等。所以加強(qiáng)考官的評(píng)分技能訓(xùn)練，統(tǒng)一標(biāo)準(zhǔn)還是十分必要的。

由于本研究未實(shí)現(xiàn)對(duì)四類考官評(píng)分的預(yù)測(cè)效度進(jìn)行統(tǒng)計(jì)，因此，究竟哪類考官更能有效選出優(yōu)秀人才，有待進(jìn)一步研究。

表1 半結(jié)構(gòu)化面試各類考官評(píng)分相關(guān)分析

表2 無(wú)領(lǐng)導(dǎo)小組討論各類考官評(píng)分相關(guān)分析

(三)各類考官在不同測(cè)評(píng)要素上出現(xiàn)極端分情況的比較分析

為了研究不同考官類型間評(píng)分差異，我們采用極端分比例的統(tǒng)計(jì)方法，所謂極端分是指將考官標(biāo)準(zhǔn)分的絕對(duì)值大于2的考官評(píng)分。某考官的評(píng)分為極端分，說(shuō)明該考官打分與考官群體的評(píng)分相比處于邊緣狀態(tài)，偏高或者偏低。

具體統(tǒng)計(jì)方法為：將每類考官評(píng)分極端分在考場(chǎng)中的出現(xiàn)次數(shù)作為分子，每類考官的評(píng)分次數(shù)作為分母，從而計(jì)算出不同類型考官評(píng)分出現(xiàn)極端分的比例，公式如下：

每類考官出現(xiàn)極端分的比例=極端分在考場(chǎng)中出現(xiàn)次數(shù)/（該類考官總?cè)藬?shù)*6）

上述公式的統(tǒng)計(jì)方法基于以下考慮：每類考官的人數(shù)不一樣，采用出現(xiàn)率的方法可避免出現(xiàn)人數(shù)多的考官類型出現(xiàn)極端分概率高的情況。數(shù)據(jù)分析結(jié)果如下：

1.半結(jié)構(gòu)化面試

表3顯示，在半結(jié)構(gòu)化面試中，上級(jí)考官、專家考官在總分的極端分出現(xiàn)率都較高，上級(jí)考官在宏觀思維能力、統(tǒng)籌思維能力、分析解決問(wèn)題能力的評(píng)分中極端分的出現(xiàn)率較高，專家考官在統(tǒng)籌思維能力、分析解決問(wèn)題能力、客觀認(rèn)知能力、語(yǔ)言表達(dá)能力要素、的評(píng)分中極端分的出現(xiàn)率較高，這可能是上級(jí)考官、專家考官的觀察視角與眾不同，而且在自己評(píng)價(jià)與多數(shù)人不一致時(shí)，能獨(dú)立作出自己的評(píng)價(jià)決策，同時(shí)對(duì)自己評(píng)分結(jié)果是否合理更少顧慮，所以分?jǐn)?shù)偏離整個(gè)考官群體大。

2.無(wú)領(lǐng)導(dǎo)小組討論

表4顯示，在無(wú)領(lǐng)導(dǎo)小組討論中，上級(jí)考官、專家考官所評(píng)總分的極端分的出現(xiàn)率較高，并在邏輯思維能力、溝通影響能力、合作共事能力的要素評(píng)分中極端分的出現(xiàn)率較高，此外，其他類型的考官主要在邏輯思維能力出現(xiàn)較高比例的極端分。分析各類考官的心理狀態(tài)應(yīng)該可以推論：用人單位考官和同級(jí)考官在評(píng)分時(shí)較為謹(jǐn)慎，上級(jí)考官和專家考官評(píng)分獨(dú)立性強(qiáng)，對(duì)評(píng)分尺度的把握更自由，更敢于拉開(kāi)考生之間的分?jǐn)?shù)差距。

進(jìn)一步的統(tǒng)計(jì)分析表明，打出極端分的考官其評(píng)分的離散程度也更高，因而對(duì)于候選人的排名結(jié)果影響更大。由于上級(jí)考官和專家考官在評(píng)分時(shí)極端值的出現(xiàn)率高，而且離散程度也更高，因此這兩類考官對(duì)考生排名的影響更大，這點(diǎn)在選擇、培訓(xùn)考官的時(shí)候應(yīng)該引起注意。

(四)半結(jié)構(gòu)化面試入場(chǎng)順序與考生成績(jī)關(guān)系統(tǒng)計(jì)分析

為了研究考生的入場(chǎng)順序?qū)τ谠u(píng)分結(jié)果是否有影響，我們對(duì)不同入場(chǎng)順序的考生的名次進(jìn)行統(tǒng)計(jì)分析。表5顯示，中間兩位入場(chǎng)的考生的在面試中得第1名的人數(shù)比其他考生多；最后一位入場(chǎng)的考生，在面試中得第1和第6的人數(shù)均為0，但得第2、3、4名的人數(shù)最多。采用SPSS進(jìn)行數(shù)據(jù)分析后發(fā)現(xiàn)，第3位進(jìn)入考場(chǎng)的考生成績(jī)差異檢驗(yàn)顯著（χ2=11.5,p<0.05），他們更容易獲得更好的名次。這可能是抽到前兩名入場(chǎng)的考生會(huì)產(chǎn)生更大的心理壓力，影響了考場(chǎng)發(fā)揮，考官也因?yàn)橐婚_(kāi)始不熟悉崗位要求等，更容易給出“中庸”的分?jǐn)?shù)。因此，本研究證明人們通常所公認(rèn)的第一位入場(chǎng)的考生處于不利位置的想法是有根據(jù)，但由于樣本數(shù)的限制，這一問(wèn)題仍需進(jìn)一步證實(shí)和探討。

表3 半結(jié)構(gòu)化面試不同考官類型在各個(gè)要素上評(píng)分統(tǒng)計(jì)（單位：%）

表4 無(wú)領(lǐng)導(dǎo)小組討論不同考官類型在各個(gè)要素上評(píng)分統(tǒng)計(jì)（單位：%）

三、研究總結(jié)與建議

對(duì)副局級(jí)領(lǐng)導(dǎo)干部競(jìng)爭(zhēng)性選拔的半結(jié)構(gòu)化面試和無(wú)領(lǐng)導(dǎo)小組討論的考官評(píng)分?jǐn)?shù)據(jù)分析結(jié)果表明，按照測(cè)量學(xué)的標(biāo)準(zhǔn)，考官評(píng)分的信度系數(shù)還不夠理想，有一定的提升空間，為此，本研究提出以下建議與措施：

1.加強(qiáng)對(duì)考官的培訓(xùn)。一是開(kāi)展評(píng)分者參考框架的培訓(xùn)（frame-of-reference training），使不同的考官對(duì)測(cè)評(píng)的維度和打分的水平保持一致的認(rèn)識(shí)和理解，使得每位考官的評(píng)分保持在一個(gè)統(tǒng)一的尺度和標(biāo)準(zhǔn)上，從而達(dá)到考官評(píng)分的標(biāo)準(zhǔn)化，實(shí)現(xiàn)評(píng)分的結(jié)構(gòu)化、規(guī)范化；二是提高主考官測(cè)評(píng)能力，包括提高主考官控制半結(jié)構(gòu)化面試進(jìn)程的能力、合理發(fā)問(wèn)和追問(wèn)的能力；三是提高考官的觀察判斷能力。在面試中尤其在無(wú)領(lǐng)導(dǎo)小組討論中，能正確地把握目標(biāo)崗位的各個(gè)能力要素的具體操作化行為定義，對(duì)考生的動(dòng)作、語(yǔ)言、情緒狀態(tài)等所反映的有關(guān)能力要素進(jìn)行迅速、科學(xué)的判斷、歸類，并進(jìn)行量化評(píng)分；四是鼓勵(lì)督促考官盡量對(duì)考生的行為表現(xiàn)中的關(guān)鍵點(diǎn)進(jìn)行記錄，使得最后評(píng)分更有參照依據(jù)和更加準(zhǔn)確，這點(diǎn)在小組討論中尤其重要，小組討論的信息量很大，按照人類的記憶規(guī)律，在最后評(píng)分階段考官能夠有效回憶的內(nèi)容并不多了，因此，考官能否在觀察的同時(shí)記錄下考生的表現(xiàn)，實(shí)現(xiàn)對(duì)關(guān)鍵行為的記錄，對(duì)評(píng)分的信效度有比較大的影響。

表5 不同入場(chǎng)順序與考生半結(jié)構(gòu)化成績(jī)排名（單位：人數(shù)）

2.考官在正式面試前最好進(jìn)行“預(yù)評(píng)分練習(xí)”。鑒于在半結(jié)構(gòu)化面試中考官的評(píng)分可能受到考生入場(chǎng)順序的影響，建議在第一位考生入場(chǎng)接受測(cè)試前，創(chuàng)造條件進(jìn)行一場(chǎng)模擬面試練習(xí)，可以讓工作人員扮演 “第一位被試”接受測(cè)試，考官進(jìn)行評(píng)分演練與討論，也可以讓考官們對(duì)照“錄像中的被試”進(jìn)行評(píng)分演練與討論。總之，讓考官盡快熟悉測(cè)試的題目和評(píng)分過(guò)程，建立評(píng)分的參照標(biāo)準(zhǔn)，這樣，在正式評(píng)分時(shí)就可以很好進(jìn)入狀態(tài)。

3.極端分不計(jì)入成績(jī)。本研究表明，考官評(píng)分的信度和效度仍有進(jìn)一步提升的空間，鑒于極端分對(duì)測(cè)試結(jié)果的影響較大，因而在對(duì)考生面試成績(jī)進(jìn)行計(jì)算時(shí)，建議去掉考官評(píng)分最高分與最低分，從而在一定程度上大大提高面試信度?，F(xiàn)在計(jì)算機(jī)技術(shù)日益普及，建議開(kāi)發(fā)一些簡(jiǎn)單的專門(mén)統(tǒng)計(jì)軟件，實(shí)現(xiàn)采用標(biāo)準(zhǔn)分進(jìn)行分?jǐn)?shù)的統(tǒng)計(jì)，可以非常有效地降低不同考官評(píng)分尺度不一致的不良影響。

4.挑選合適的考官，優(yōu)化考官結(jié)構(gòu)。目前在競(jìng)爭(zhēng)性選拔面試中任考官的基本是 “臨時(shí)考官”，多為領(lǐng)導(dǎo)干部，部分考官雖從事人事工作，但并不掌握現(xiàn)代測(cè)評(píng)所需的知識(shí)、技能與經(jīng)驗(yàn)，因此，在這種情況下應(yīng)多挑選具有以下特點(diǎn)的領(lǐng)導(dǎo)與專家做考官：熟悉競(jìng)爭(zhēng)性選拔的目標(biāo)崗位、對(duì)這項(xiàng)工作高度重視與負(fù)責(zé)、有一定測(cè)評(píng)專業(yè)水準(zhǔn)。當(dāng)然，加強(qiáng)考官隊(duì)伍的專業(yè)化建設(shè)才是最根本的遠(yuǎn)期解決途徑。

5.謹(jǐn)慎引入新的測(cè)評(píng)方式。測(cè)評(píng)對(duì)于考官的知識(shí)和技能要求是很高的，一些新的測(cè)評(píng)方式對(duì)于非專門(mén)從事測(cè)評(píng)的人來(lái)說(shuō)尤為困難，因此，在競(jìng)爭(zhēng)性選拔時(shí)，應(yīng)當(dāng)謹(jǐn)慎采用新的測(cè)評(píng)方式，以確保信效度水平。在引入新的測(cè)評(píng)方式前，務(wù)必加強(qiáng)考官的培訓(xùn)工作，保證考官的評(píng)分能力達(dá)到一定水準(zhǔn)再使用。

1.谷向東：《中西方人才測(cè)評(píng)考官評(píng)分模式的對(duì)比分析》，載《中國(guó)人力資源開(kāi)發(fā)》，2011年第8期。

2.胡月星，趙郝銳：《公開(kāi)選拔副廳級(jí)黨政領(lǐng)導(dǎo)干部結(jié)構(gòu)化面試評(píng)估報(bào)告》，載《中國(guó)浦東干部學(xué)院學(xué)報(bào)》，2009年第4期。

3.胡黎：《公務(wù)員結(jié)構(gòu)化面試測(cè)評(píng)信效度實(shí)證研究》，重慶大學(xué)碩士論文，2008年。

4.Schmidt, F. L., & Zimmerman, R. D. A counterintuitive hypothesis about employment interview validity and some supporting evidence.Journal of Applied Psychology,2004,89:553-561.