元評(píng)估在學(xué)術(shù)類(lèi)社團(tuán)評(píng)估中的探索性研究

裘麗　張劍

[摘要]我國(guó)從2011年就開(kāi)始了對(duì)學(xué)術(shù)類(lèi)社團(tuán)的評(píng)估工作，旨在“以評(píng)促建”?？陀^來(lái)看，評(píng)估會(huì)產(chǎn)生偏差，評(píng)估效果的良好與否就在于評(píng)估偏差是否被控制在合理的范圍內(nèi)。當(dāng)前，我國(guó)學(xué)術(shù)類(lèi)社團(tuán)評(píng)估效果尚無(wú)有效的衡量手段，評(píng)估工作的成效得不到檢驗(yàn)。通常而言，元評(píng)估就是對(duì)評(píng)估本身的評(píng)估，它是在先有的評(píng)估工作結(jié)束后以該評(píng)估作為客體而進(jìn)行的評(píng)估。國(guó)外的研究已經(jīng)證明，元評(píng)估在控制評(píng)估偏差、提高評(píng)估質(zhì)量、提升評(píng)估水平以及提高評(píng)估結(jié)果為依據(jù)而作出的決策科學(xué)水平方面具有重要的作用。本文認(rèn)為，鑒于國(guó)外對(duì)元評(píng)估已有的研究成果和國(guó)內(nèi)的實(shí)踐和研究經(jīng)驗(yàn)，將元評(píng)估納入學(xué)術(shù)類(lèi)社團(tuán)評(píng)估工作中具有重要的理論和實(shí)踐價(jià)值。

[關(guān)鍵詞]評(píng)估 學(xué)術(shù)類(lèi)社團(tuán) 元評(píng)估

一、引言

學(xué)術(shù)類(lèi)社團(tuán)是社會(huì)團(tuán)體的重要構(gòu)成部分，也是我國(guó)現(xiàn)代社會(huì)治理的重要參與主體。在當(dāng)前我國(guó)構(gòu)建“小政府、大社會(huì)”的環(huán)境下，學(xué)術(shù)類(lèi)社團(tuán)因其在優(yōu)化資源、促進(jìn)科技發(fā)展、提供技術(shù)服務(wù)、普及科學(xué)知識(shí)方面具有獨(dú)特的優(yōu)勢(shì)，在現(xiàn)代社會(huì)治理中扮演著越來(lái)越重要的角色。通常意義上的學(xué)術(shù)類(lèi)社團(tuán)評(píng)估是社會(huì)組織登記管理機(jī)關(guān)，即民政部門(mén)在遵循《社會(huì)組織評(píng)估管理辦法》的條件下，依據(jù)相關(guān)規(guī)則對(duì)學(xué)術(shù)類(lèi)社團(tuán)進(jìn)行的評(píng)估，目的在于“以評(píng)促建”。學(xué)術(shù)類(lèi)社團(tuán)評(píng)估是社會(huì)組織評(píng)估的重要部分，我國(guó)的學(xué)術(shù)類(lèi)社團(tuán)評(píng)估工作開(kāi)始于2011年，至今不足5年，由于評(píng)估開(kāi)展的時(shí)間短，存在發(fā)展不足的問(wèn)題。

評(píng)估是一項(xiàng)由多環(huán)節(jié)組成的系統(tǒng)性工作，盡管評(píng)估作為一項(xiàng)科學(xué)的研究方法被運(yùn)用于社會(huì)組織中，但是基于評(píng)估自身而言，它在實(shí)際操作中也會(huì)因諸多因素，如評(píng)估主體、評(píng)估客體、評(píng)估方法、評(píng)估過(guò)程等的影響而產(chǎn)生偏差。就我國(guó)的社會(huì)組織評(píng)估而言，鄧國(guó)勝認(rèn)為，我國(guó)的社會(huì)組織發(fā)展存在著理論和實(shí)踐的兩大不足問(wèn)題田。理論上，社會(huì)組織發(fā)展存在著動(dòng)力不足、壓力不足和能力不足的情況；實(shí)踐上，社會(huì)組織的內(nèi)部管理與政府的外部管理均存在不足。社會(huì)組織發(fā)展中存在的不足帶來(lái)了評(píng)估的必要性，而評(píng)估則存在大小不一的偏差。為有效了解評(píng)估結(jié)果中存在的偏差與不足，研究這些偏差和不足對(duì)評(píng)估結(jié)論的影響并加以引導(dǎo)和反饋，這就涉及“元評(píng)估”的概念。正如Stuftlebeam的觀點(diǎn)，引導(dǎo)和反饋評(píng)估中優(yōu)點(diǎn)與缺陷是元評(píng)估的基本目的。學(xué)術(shù)類(lèi)社團(tuán)評(píng)估是社會(huì)組織評(píng)估中的一項(xiàng)重要內(nèi)容，為保證學(xué)術(shù)類(lèi)社團(tuán)評(píng)估工作的規(guī)范化與科學(xué)化，對(duì)其開(kāi)展元評(píng)估就顯得意義重大。

二、關(guān)于元評(píng)估

（一）元評(píng)估的基本概念

元評(píng)估最早產(chǎn)生并發(fā)展于美國(guó)。1969年，Scriven在《教育產(chǎn)品報(bào)止》中正式提出了“元評(píng)估”（meta-evaluation），這被認(rèn)為是元評(píng)估最早的概念化。1974年，Stufflebeam給予元評(píng)估以具體的概念化，他指出，“元評(píng)估是為獲取和運(yùn)用那些評(píng)估的效用性、可行性、合理性和準(zhǔn)確性，以及其系統(tǒng)本質(zhì)、行為能力、誠(chéng)信度、受尊重程度和社會(huì)責(zé)任感方面的描述性和評(píng)估性信息來(lái)引導(dǎo)并向公眾報(bào)告該評(píng)估的價(jià)值與缺陷的過(guò)程”。1975年，Scriven提出了評(píng)估與控制偏差的兩條原則，第一，建立評(píng)估者與被評(píng)估對(duì)象之間的獨(dú)立性；第二，定期更換評(píng)估者，因?yàn)楣袒陌才艜?huì)產(chǎn)生副作用。Cook和Gruder從過(guò)程性元評(píng)估和結(jié)論性元評(píng)估的差異性出發(fā)，將元評(píng)估分為形成性元評(píng)估和總結(jié)性元評(píng)估。

（二）元評(píng)估在國(guó)外的發(fā)展

元評(píng)估的發(fā)展中存在著支持與懷疑兩種聲音。持支持態(tài)度的學(xué)者主要有Stufflebeam、Scriven、Cook、Monica等，他們的依據(jù)有三：第一，評(píng)估有失敗的可能性，失敗的評(píng)估會(huì)產(chǎn)生副作用，而形成性元評(píng)估可以保證評(píng)估工作的公平與高效；第二，總結(jié)性評(píng)估可以公開(kāi)揭示已完成評(píng)估的優(yōu)點(diǎn)和缺陷，從而相關(guān)人員避免因使用錯(cuò)誤的結(jié)論與建議而導(dǎo)致利益受損；第三，相對(duì)于初始評(píng)估。元評(píng)估具有成本上的效益，因?yàn)樗h(yuǎn)比初始的評(píng)估省錢(qián)。而以Brickell、Sroufe、Gene Glass等學(xué)者為代表的反對(duì)派，則認(rèn)為元評(píng)估跟評(píng)估一樣有缺陷，主要依據(jù)為：第一，參與評(píng)估工作的評(píng)估者容易受到政治力量的制約，從而影響評(píng)估的公正性。元評(píng)估同屬于評(píng)估，也會(huì)受到影響。第二，評(píng)估是一個(gè)追求卓越的過(guò)程，但是評(píng)估中存在的威脅、中斷以及消極的反饋往往制約了卓越成就的實(shí)現(xiàn)。第三，評(píng)估經(jīng)常會(huì)被上層領(lǐng)導(dǎo)者所利用，以指揮下級(jí)從事超出現(xiàn)有能力范疇的工作。第四，邏輯陷阱的存在。元評(píng)估作為對(duì)原評(píng)估的評(píng)估，被視為第二次評(píng)估，那么，對(duì)元評(píng)估又該如何檢驗(yàn)，對(duì)元評(píng)估的評(píng)估又該如何檢驗(yàn)……如此循環(huán)下去就形成了一種邏輯陷阱。

盡管學(xué)界對(duì)元評(píng)估存在著爭(zhēng)論，但是元評(píng)估作為一種評(píng)估原評(píng)估的手段依然受到重視并不斷發(fā)展和完善。Stufflebeam（1978）對(duì)元評(píng)估的意義作了充分的解釋?zhuān)J(rèn)為，對(duì)元評(píng)估的褒貶與否，都有著幾方面無(wú)可置疑的合理性。首先，元評(píng)估對(duì)原評(píng)估進(jìn)行評(píng)估而產(chǎn)生的反對(duì)觀點(diǎn)有助于公眾對(duì)初始評(píng)估做出一個(gè)真實(shí)評(píng)價(jià)；其次，元評(píng)估可以幫助原評(píng)估的評(píng)估者反思自己的評(píng)估計(jì)劃、做法與結(jié)論；第三，原評(píng)估即將完成且被利用起來(lái)，元評(píng)估可以幫助原評(píng)估者和公眾謹(jǐn)慎地考量原評(píng)估的充分性問(wèn)題。

元評(píng)估的研究標(biāo)準(zhǔn)眾多，但最權(quán)威的評(píng)估標(biāo)準(zhǔn)是美國(guó)教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)（JCSEE）發(fā)布的1994年版《方案評(píng)估標(biāo)準(zhǔn)》。1989年，美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì)對(duì)教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)的程序進(jìn)行了論證并給予通過(guò)，JCSEE標(biāo)準(zhǔn)也因此獲得了國(guó)家標(biāo)準(zhǔn)的資質(zhì)，成為美國(guó)的國(guó)家標(biāo)準(zhǔn)。因而，JCSEE標(biāo)準(zhǔn)在元評(píng)估領(lǐng)域有著特殊的地位，這也是本文著重研究JCSEE標(biāo)準(zhǔn)的緣由所在。

（三）元評(píng)估在我國(guó)的發(fā)展

總體而言，我國(guó)的元評(píng)估研究存在著三大主要特征：一是研究開(kāi)展時(shí)間相對(duì)短。國(guó)內(nèi)學(xué)界對(duì)元評(píng)估的研究主要開(kāi)始于20世紀(jì)80年代末，朱鏡人在他的文章《保證教育評(píng)價(jià)質(zhì)量的探索——美國(guó)（評(píng)價(jià)之評(píng)價(jià)）Metaevaluation理論》中，較早地對(duì)元評(píng)估進(jìn)行了研究。二是研究?jī)?nèi)容偏于集中。國(guó)內(nèi)對(duì)元評(píng)估的研究?jī)?nèi)容受?chē)?guó)外影響較大。國(guó)外的元評(píng)估興起并發(fā)展于教育領(lǐng)域，國(guó)內(nèi)對(duì)元評(píng)估的研究遵循元評(píng)估研究的教育起點(diǎn)，并長(zhǎng)期以教育元評(píng)估為研究核心。三是國(guó)內(nèi)的元評(píng)估研究還存在著實(shí)踐不足的問(wèn)題。國(guó)內(nèi)學(xué)者對(duì)元評(píng)估的研究偏重于理論，加上缺乏開(kāi)展元評(píng)估工作的物質(zhì)支持，以致目前元評(píng)估實(shí)踐案例較少。

（四）元評(píng)估之于學(xué)術(shù)類(lèi)社團(tuán)評(píng)估

盡管我國(guó)在學(xué)術(shù)類(lèi)社團(tuán)評(píng)估工作中尚未引入元評(píng)估機(jī)制，但是在學(xué)術(shù)類(lèi)社團(tuán)評(píng)估工作中開(kāi)展元評(píng)估是十分必要的。主要依據(jù)有：第一，學(xué)術(shù)類(lèi)社團(tuán)在保障學(xué)術(shù)自由、推動(dòng)學(xué)術(shù)交流、促進(jìn)科技進(jìn)步等方面有著重要作用，對(duì)學(xué)術(shù)類(lèi)社團(tuán)開(kāi)展評(píng)估有著重要作用，元評(píng)估作為對(duì)原評(píng)估的檢驗(yàn)，可以有效控制評(píng)估偏差。第二，國(guó)外學(xué)者的研究成果已經(jīng)證明，元評(píng)估適用于廣泛的評(píng)估，而非僅僅適用于教育等某一個(gè)領(lǐng)域。就非營(yíng)利組織領(lǐng)域而言，Monica利用Henry和Mark的評(píng)估影響分類(lèi)方法，在個(gè)人、人際交往以及集體三大分類(lèi)條件下對(duì)國(guó)際救助貧困組織（cARE）的評(píng)估影響力進(jìn)行了元評(píng)估的案例研究，證明元評(píng)估作為檢驗(yàn)評(píng)估影響力工具的有效性，同時(shí)這也是元評(píng)估在非營(yíng)利組織研究中的一次有效運(yùn)用。第三，遵照Cook和Gruder的觀點(diǎn)，原評(píng)估要得到認(rèn)可就必須進(jìn)行元評(píng)估。

三、開(kāi)展學(xué)術(shù)類(lèi)社團(tuán)元評(píng)估的積極作用

（一）有利于評(píng)估偏差的控制

評(píng)估中會(huì)因?yàn)橹骺陀^因素導(dǎo)致偏差的發(fā)生，評(píng)估偏差貫穿于評(píng)估的整個(gè)生命周期。同所有的評(píng)估工作一樣，學(xué)術(shù)類(lèi)社團(tuán)評(píng)估中產(chǎn)生偏差也是一種客觀存在。評(píng)估的環(huán)節(jié)眾多，包括評(píng)估主體的選擇、評(píng)估客體的確定、評(píng)估方法的選擇、評(píng)估指標(biāo)的設(shè)立、評(píng)估的進(jìn)行過(guò)程等都存在產(chǎn)生偏差的可能。評(píng)估偏差容易使所得評(píng)估數(shù)據(jù)出現(xiàn)信息失真，而未糾正的評(píng)估偏差會(huì)對(duì)評(píng)估結(jié)果產(chǎn)生一些負(fù)面影響，嚴(yán)重的評(píng)估偏差將會(huì)導(dǎo)致評(píng)估結(jié)果偏離預(yù)期，甚至使整個(gè)評(píng)估項(xiàng)目的產(chǎn)生失敗。評(píng)估偏差的存在，會(huì)使評(píng)估工作的科學(xué)性、權(quán)威性以及公正性遭受質(zhì)疑。通過(guò)元評(píng)估的開(kāi)展，可以有效控制評(píng)估偏差。其一，元評(píng)估對(duì)評(píng)估的各個(gè)環(huán)節(jié)進(jìn)行檢驗(yàn)，可以對(duì)原評(píng)估的偏差進(jìn)行識(shí)別，并分析出其中的原因，以利于后續(xù)改進(jìn)；其二，元評(píng)估可以幫助其委托人解釋和使用元評(píng)估的發(fā)現(xiàn)，以提高原評(píng)估結(jié)果的利用，進(jìn)而使元評(píng)估和原評(píng)估之間產(chǎn)生良性循環(huán)。

（二）擴(kuò)大學(xué)術(shù)類(lèi)社團(tuán)評(píng)估的影響力

我國(guó)學(xué)術(shù)類(lèi)社團(tuán)參與評(píng)估途徑遵從社會(huì)組織評(píng)估普遍采用的依申請(qǐng)?jiān)u估機(jī)制，社會(huì)組織的總體參評(píng)率不高，評(píng)估的影響力有限。以2012年民政部主導(dǎo)的全國(guó)性學(xué)術(shù)類(lèi)社團(tuán)評(píng)估為例，參與民政部評(píng)估的中國(guó)科協(xié)所屬學(xué)術(shù)類(lèi)社團(tuán)有包括中國(guó)農(nóng)學(xué)會(huì)、中國(guó)糧油學(xué)會(huì)等在內(nèi)的40家，而同期中國(guó)科協(xié)所屬的全國(guó)性學(xué)術(shù)類(lèi)社團(tuán)共有198家，占我國(guó)科技類(lèi)社團(tuán)總量的70%以上，而參評(píng)率僅為20.2%。究其原因：一方面，學(xué)術(shù)類(lèi)社團(tuán)評(píng)估工作剛剛起步，發(fā)展還不夠完善。另一方面，評(píng)估對(duì)學(xué)術(shù)類(lèi)社團(tuán)帶來(lái)的吸引力有限，學(xué)術(shù)類(lèi)社團(tuán)參與評(píng)估的積極性不高。而通過(guò)開(kāi)展元評(píng)估，既可以完善學(xué)術(shù)類(lèi)社團(tuán)評(píng)估機(jī)制，夯實(shí)現(xiàn)有的學(xué)術(shù)類(lèi)社團(tuán)評(píng)估成果，還可以提高評(píng)估的權(quán)威性與公正性，吸引更多的學(xué)術(shù)類(lèi)社團(tuán)參與評(píng)估。

（三）增強(qiáng)學(xué)術(shù)類(lèi)社團(tuán)的社會(huì)公信力

我國(guó)的社會(huì)組織普遍存在公信力不足的問(wèn)題，而公信力又是社會(huì)組織發(fā)展良好與否的生命線。姚銳敏認(rèn)為，“公信力不足是制約我國(guó)社會(huì)組織健康發(fā)展的根本原因”圈。學(xué)術(shù)類(lèi)社團(tuán)發(fā)展也存在著公信力不足的問(wèn)題。究其原因，從內(nèi)部上看，我國(guó)的學(xué)術(shù)類(lèi)社團(tuán)有著獨(dú)特的官辦NGO特色，在發(fā)展中受政府部門(mén)的影響較大，在公共部門(mén)公信力普遍下降的社會(huì)背景下，學(xué)術(shù)類(lèi)社團(tuán)的社會(huì)公信力也會(huì)受到影響；從外部上看，社會(huì)公眾對(duì)社會(huì)組織的普遍信任感較低是宏觀原因。元評(píng)估可以有效增強(qiáng)初始評(píng)估的權(quán)威性，促使學(xué)術(shù)類(lèi)社團(tuán)改善工作中的不足，增加公眾的認(rèn)可度，進(jìn)而塑造良好的組織公信力。

（四）有助于政府職能的精確轉(zhuǎn)移

職能轉(zhuǎn)移是現(xiàn)代政府發(fā)展的大趨勢(shì)，學(xué)術(shù)類(lèi)社團(tuán)在承接科技成果評(píng)價(jià)、人才評(píng)價(jià)、科技項(xiàng)目評(píng)價(jià)等政府職能過(guò)程中，因其獨(dú)立的社團(tuán)法人身份、客觀公正的地位、專(zhuān)業(yè)性和權(quán)威性、雄厚的人才力量以及組織結(jié)構(gòu)優(yōu)勢(shì)而具有獨(dú)特的優(yōu)勢(shì)。作為政府職能轉(zhuǎn)移的載體之一，學(xué)術(shù)類(lèi)社團(tuán)評(píng)估為公共部門(mén)向其轉(zhuǎn)移職能提供了基本依據(jù)。元評(píng)估可以驗(yàn)證初始評(píng)估的科學(xué)性與準(zhǔn)確性，為政府得到對(duì)參評(píng)學(xué)術(shù)類(lèi)社團(tuán)的準(zhǔn)確狀況提供了科學(xué)依據(jù)。政府可以依據(jù)元評(píng)估結(jié)論，將部分職能優(yōu)先轉(zhuǎn)移給評(píng)估中表現(xiàn)優(yōu)良的學(xué)術(shù)類(lèi)社團(tuán)，一方面，提高了職能轉(zhuǎn)移對(duì)象選擇的準(zhǔn)確性，降低職能轉(zhuǎn)移后產(chǎn)生政策失敗等負(fù)效應(yīng)的風(fēng)險(xiǎn)；另一方面，政府擇優(yōu)選擇學(xué)術(shù)類(lèi)社團(tuán)承接職能，有利于促進(jìn)公共資源使用效率的提高。同時(shí)，對(duì)評(píng)估等級(jí)不佳的學(xué)術(shù)類(lèi)社團(tuán)也起到了“榜樣效應(yīng)”。

四、學(xué)術(shù)類(lèi)社團(tuán)評(píng)估的元評(píng)估開(kāi)展

（一）元評(píng)估的評(píng)估流程

Stufflebeam提出了11步元評(píng)估流程。他認(rèn)為，在形成性元評(píng)估和總結(jié)性元評(píng)估中可能不一定會(huì)應(yīng)用到所有的11步流程，有時(shí)還需要補(bǔ)充一些其他的元評(píng)估步驟，以滿足不同案例的元評(píng)估規(guī)劃與實(shí)踐需求。Stufflebeam的元評(píng)估具體流程見(jiàn)表1。

（二）元評(píng)估的運(yùn)用

元評(píng)估的核心在于建立科學(xué)的元評(píng)估標(biāo)準(zhǔn)，本文著重借鑒美國(guó)教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)（JCSEE）的“方案評(píng)估標(biāo)準(zhǔn)”?！胺桨冈u(píng)估標(biāo)準(zhǔn)”分為效用性、可行性、合理性以及準(zhǔn)確性四大維度。四大維度作為一級(jí)指標(biāo)，分別對(duì)應(yīng)衍生出7個(gè)、3個(gè)、8個(gè)、12個(gè)二級(jí)指標(biāo)，總計(jì)30個(gè)，最后由每個(gè)二級(jí)指標(biāo)演化出10個(gè)三級(jí)指標(biāo)，共計(jì)300個(gè)具體指標(biāo)。JCSEE的元評(píng)估標(biāo)準(zhǔn)，通過(guò)對(duì)各級(jí)指標(biāo)得分進(jìn)行逆向的分層計(jì)算，從三級(jí)指標(biāo)開(kāi)始計(jì)算分值，逐步匯總到一級(jí)指標(biāo)，直至得到總的元評(píng)估分值與分值所達(dá)到的良好水平。

第一步，從三級(jí)指標(biāo)開(kāi)始。評(píng)估者對(duì)各個(gè)二級(jí)指標(biāo)下的三級(jí)指標(biāo)分別進(jìn)行勾選，并根據(jù)勾選到的三級(jí)指標(biāo)數(shù)量得出該三級(jí)指標(biāo)所屬（表2）的二級(jí)指標(biāo)狀態(tài)。