王 艷
(中國科學(xué)技術(shù)信息研究所,北京 100038)
國外研究實驗基地的績效考核
王 艷
(中國科學(xué)技術(shù)信息研究所,北京 100038)
目前對研究實驗基地績效考核的研究主要在考核程序與過程等方面,有關(guān)對考核結(jié)果的得出及使用的研究較少。研究發(fā)達(dá)國家對研究實驗基地績效的考核以及在監(jiān)督、管理、決策等方面的分析應(yīng)用,對我國科研實驗基地的績效評估具有參考借鑒作用。
研究實驗基地;實驗室管理;績效考核;考核結(jié)果形成;考核結(jié)果應(yīng)用;公眾監(jiān)督;內(nèi)部管理;資助決策
國內(nèi)外學(xué)者對科研績效評估的研究一般都是以發(fā)達(dá)國家科研績效考核機制為對象,主要包括科研績效考核的依據(jù)、績效考核專家的選取、績效考核的程序和過程。文獻(xiàn)[1]-文獻(xiàn)[5]對美國、德國、英國和法國等發(fā)達(dá)國家的科技評估體制進(jìn)行了研究。 這些研究主要是對科研機構(gòu)或先進(jìn)研究實驗基地的績效評估體制進(jìn)行了分析,卻沒有系統(tǒng)地對績效考核結(jié)果的得出及其使用進(jìn)行討論。
研究實驗基地的績效評估是其管理周期中的一個反饋環(huán)節(jié),它能夠為決策者們預(yù)測未來提供依據(jù)。因此,要加強研究實驗基地的績效評估,真正發(fā)揮評估的作用。在完成研究實驗基地的績效評估報告后,應(yīng)將績效評估結(jié)果向公眾公開,然后將公眾的反饋意見反饋到研究實驗基地的經(jīng)營管理及決策中去。雖然各國研究實驗基地對不同的績效評估其特定目標(biāo)有所不同,但總體來講,在績效評估過程中被評估的研究實驗基地主要提供的信息及相關(guān)證據(jù)都基本相同。主要有以下幾方面的內(nèi)容。
(1)客觀的、公眾所關(guān)心的研究實驗基地的科研活動狀況。研究實驗基地要根據(jù)其使命與目標(biāo),適當(dāng)?shù)叵蚬姽_部分研究成果,滿足公眾對公共財政投入的問責(zé)。
(2)研究實驗基地的經(jīng)營管理狀況。在對研究實驗基地進(jìn)行績效評估時,其經(jīng)營管理狀況是非常重要的一個內(nèi)容。
(3)向合作者及股東提供研究實驗基地的整體和詳細(xì)的科學(xué)成果及運營管理信息。
因此,根據(jù)上述績效考核過程中提供的信息,研究實驗基地績效評估結(jié)果的使用一般包括以下3個方面。
(1)監(jiān)督。先進(jìn)研究實驗基地將其績效評估報告及相關(guān)的財政評估報告等信息,在每個財年評估結(jié)束后向相關(guān)資助部門提交,同時在相關(guān)網(wǎng)站上公開發(fā)布,以便公眾對其進(jìn)行監(jiān)督。
(2)管理。研究實驗基地的經(jīng)營管理狀況是績效評估的一項重要內(nèi)容。在評估結(jié)束后,評估小組要將評估結(jié)果進(jìn)行反饋,指出研究實驗基地經(jīng)營管理中的不足和問題,以便提高研究實驗基地的管理水平。
(3)決策。研究實驗基地績效評估的結(jié)果,是相關(guān)資助部門對其進(jìn)行資助,即下一個績效考核周期經(jīng)費撥付的依據(jù)。
針對目前對績效考核后結(jié)果的得出、使用及分析等系統(tǒng)研究較少的情況,本文主要從績效考核結(jié)果的得出及其使用方面進(jìn)行論述和分析。從研究實驗基地績效評估結(jié)果的表現(xiàn)形式及評估打分的離散度和集中度方面,對績效評估結(jié)果的得出進(jìn)行詳細(xì)描述,并在此基礎(chǔ)上,以一些具體的研究實驗基地為實例,分析了不同國家在上述績效評估結(jié)果使用的3個方面即監(jiān)督、管理、決策的具體實施方式。筆者希望通過本文的介紹及分析,學(xué)習(xí)和借鑒發(fā)達(dá)國家的成功經(jīng)驗,改革和完善我國國家研究實驗基地的績效考核結(jié)果使用的方式方法。
一般情況,對研究實驗基地績效評估結(jié)束后,應(yīng)根據(jù)同行專家評估結(jié)果、結(jié)合定量評估結(jié)果的分析做出最終的研究實驗基地績效評估結(jié)果。最終評估結(jié)果的得出要充分考慮到同行專家的現(xiàn)場評估與綜合評估的一致性,同時還要兼顧定性評估與定量評估的一致性,并在此基礎(chǔ)上,對專家的評分進(jìn)行分析,最后綜合評估結(jié)果,得到研究實驗基地的最終績效評價結(jié)果。
2.1 評估結(jié)果的表現(xiàn)形式
研究實驗基地績效評估的結(jié)果有不同的表現(xiàn)形式,常用的有排序和分級兩種方法。其中排序是根據(jù)同行專家評估、現(xiàn)場評估及綜合評估等結(jié)果,對被評估的某個學(xué)科領(lǐng)域的研究實驗基地按照某個次序進(jìn)行排序;分級是根據(jù)評估情況將被評估的研究實驗基地分為優(yōu)秀、良好、合格、不合格或A、B、C、D等不同的級別。相對于以上兩種評估結(jié)果的表現(xiàn)形式,發(fā)達(dá)國家先進(jìn)研究實驗基地往往更傾向于后者。
但是,當(dāng)評估對象較多時,按照績效評估進(jìn)行排序則比較困難。因為根據(jù)心理學(xué)的研究結(jié)果表明,人類對9個及以上事物進(jìn)行兩兩比較時,很難恰如其分地對其進(jìn)行排序。此外,在對研究實驗基地進(jìn)行績效評估的過程中,影響評估工作準(zhǔn)確性的因素很多,除評估專家的主觀因素外,由于各研究實驗基地的差異,而呈現(xiàn)在專家面前的研究實驗基地基本情況并不能充分地反映研究實驗基地的真實狀態(tài)。同時,評估指標(biāo)體系的不甚完善,現(xiàn)場評估工作中各個環(huán)節(jié)的把握不能整齊劃一,難以將研究實驗基地評估結(jié)果的處理與實際情況相對應(yīng)。因此,大多數(shù)國家對評估結(jié)果往往不進(jìn)行排序,而是進(jìn)行分類,將研究實驗基地的績效評估賦予不同等級。
根據(jù)績效評估結(jié)果對研究實驗基地進(jìn)行分類,其優(yōu)點是可以有效地減少由于種種偏差對研究實驗基地評估結(jié)果的影響,即使存在誤差,也只可能發(fā)生在兩個類別的邊界上,其余的研究實驗基地不應(yīng)該由于偏差的存在而改變類別的性質(zhì)。這樣的分類不足之處是,在同一個類別中,對于較好的研究實驗基地與較差的研究實驗基地不能區(qū)別對待。
為了減少上述偏差的影響,一是應(yīng)該統(tǒng)計分析處于邊界的研究實驗基地的專家綜合評估評分情況,二是掌握這些研究實驗基地的實際工作狀況。根據(jù)統(tǒng)計分析和掌握的實際情況,確定處于邊界的研究實驗基地的類別性質(zhì),必要時可以進(jìn)行適當(dāng)?shù)恼{(diào)整。比如說,個別研究實驗基地由于只有少數(shù)專家打分偏高而位置靠前,可以對這樣的研究實驗基地適當(dāng)調(diào)整到較后面的位置。此外,還可以在資源分配上進(jìn)行調(diào)節(jié),即:同一類別的研究實驗基地得到的資助大體相當(dāng)?shù)兴鶇^(qū)別,排名靠前的研究實驗基地得到的資助經(jīng)費略多于排名靠后的研究實驗基地,或者說,在分配有關(guān)經(jīng)費時,對同一類別的研究實驗基地考慮其在評估結(jié)果中的排序即可。
美國能源部國家實驗室績效評估采用的就是類似方式,用評估等級來表示評估結(jié)果,評估頂層是8項績效目標(biāo),每項績效目標(biāo)又分解為若干績效分目標(biāo)(表1)。
每項績效分目標(biāo)都有一個分?jǐn)?shù)。該分?jǐn)?shù)由負(fù)責(zé)評估該分目標(biāo)的有關(guān)部門給出,數(shù)值在0 ~ 4.3。所得分?jǐn)?shù)表示實驗室承包商在實現(xiàn)分目標(biāo)方面的優(yōu)秀程度。分目標(biāo)下的績效指標(biāo)和因子是評估該分目標(biāo)實現(xiàn)程度的基本參數(shù)。如果績效指標(biāo)和因子的測評表明達(dá)到了預(yù)期的結(jié)果,那么該分目標(biāo)的評估結(jié)果等級就是B+。然后,用每項分目標(biāo)的分?jǐn)?shù)根據(jù)該分目標(biāo)的權(quán)重計算出其權(quán)重分?jǐn)?shù),再將各項分目標(biāo)的權(quán)重分?jǐn)?shù)相加,再按4舍5入的原則保留小數(shù)點后一位,就得到相應(yīng)績效目標(biāo)的分?jǐn)?shù)。最后根據(jù)前述表l得到該項績效目標(biāo)對應(yīng)的評估等級??冃繕?biāo)的評估結(jié)果最終表現(xiàn)形式是用字母等級表示,從A+到F共有11級,如表2所示。
2.2 評分集中性和離散性分析
績效綜合評估后,往往需要對評估結(jié)果進(jìn)行分析,以確保其客觀性。研究實驗基地績效評估往往采用同行專家評議的方式。所以,可從專家評分的集中性和離散性對一些具有統(tǒng)計意義的指標(biāo)進(jìn)行分析。
集中性分析得出專家對哪些研究實驗基地的評分相對集中,哪些研究實驗基地的評分相對不夠集中,從而為確定評估分類界限時提供重要的依據(jù)。離散性分析可以了解專家對研究實驗基地之間的相對差異的大小。通常專家對于評估結(jié)果中比較好的研究實驗基地的共識程度要遠(yuǎn)遠(yuǎn)高于比較差的研究實驗基地,但是剔除最高分和最低分或剔除最高分、次高分和最低分、次低分后,專家群體的評分則較為集中。由此可見,偏離專家群體主流意見的專家是少數(shù),因此可以在統(tǒng)計同行評議專家對研究實驗基地進(jìn)行定性評估結(jié)果時剔除若干個最高分和最低分。
3.1 公眾監(jiān)督
通過對研究實驗基地績效評估,國家和公眾就可以了解整個國家科學(xué)研究事業(yè)發(fā)展的狀況和水平,從某種程度上,還可以滿足人們對研究實驗基地所耗費公共經(jīng)費道義問責(zé)的訴求。因此,在對研究實驗基地績效評估工作結(jié)束后,評估小組要將結(jié)果整理成一份報告遞交給科研資助機構(gòu),有關(guān)部門選取合適的內(nèi)容向科學(xué)界和公眾公開績效評估的內(nèi)容。同時,針對評估結(jié)果,及時收集評估對象、科學(xué)界和社會公眾的反饋意見。
例如,美國能源部科學(xué)辦公室下轄10個國家實驗室,每年能源部都要對其進(jìn)行績效評估,一般評估結(jié)果在每年的9月30日發(fā)布,包括綜合評估報告、各實驗室的該財年的財政報告以及實驗室的科研活動及經(jīng)營管理評估報告。公眾通過科學(xué)辦公室和各實驗室的網(wǎng)站可以隨時瀏覽監(jiān)督,提出意見和建議。有關(guān)部門將科學(xué)界和公眾的反饋意見及時進(jìn)行收集,整理成反饋意見報告,送達(dá)各被評估的實驗室。
表1 美國能源部國家實驗室績效目標(biāo)及分目標(biāo)構(gòu)成
3.2 內(nèi)部管理
通過績效評估可及時總結(jié)與發(fā)現(xiàn)研究實驗基地科研活動及經(jīng)營管理中存在的問題,了解科研動態(tài),提高科研投入的使用效益與效率,從而提高內(nèi)部管理水平。先進(jìn)研究實驗基地往往把實驗室績效評估過程作為一個績效管理過程,評估的目的不僅僅是對實驗室的科研活動做出績效評價,在很多情況下,是對研究實驗基地的科研管理進(jìn)行評估,科研管理的效果如何,主要體現(xiàn)在該研究實驗基地的績效評估結(jié)果上。因此對先進(jìn)研究實驗基地的績效評估,往往是設(shè)身處地的、從多個視角幫助研究實驗基地查找問題,為實驗室提出有益可行的建議,使實驗室有針對性地提升科研績效。
例如,2007年,美國能源部科學(xué)辦公室下轄的斯坦福直線加速器中心(SLAC)由于基礎(chǔ)能源科學(xué)項目未能通過LUSI(LCLS Ultrafast Science Instruments)第二次概念設(shè)計審核、高能物理項目FFTB遷移到SouthArc的計劃沒有通過審核且EXO-200項目進(jìn)展緩慢、高能物理項目的B工廠因真空管爆炸未能完成實現(xiàn)飛巴恩截面數(shù)據(jù)量等原因,致使年度科技績效目標(biāo)績效分?jǐn)?shù)為3.1分。在管理運營方面,由于全局管理不夠且缺乏與科學(xué)辦公室的定期溝通、全年不可接受的事故高限和傷害率分別為績效目標(biāo)的2.3倍和4倍、實驗室部分領(lǐng)導(dǎo)職位長期空缺、PII數(shù)據(jù)被臨時實驗室雇員盜竊后既未上報關(guān)于敏感信息保護的整改建議也未就保密系統(tǒng)中的個人信息保護進(jìn)行正式評估等原因,致使其管理運營績效目標(biāo)績效分?jǐn)?shù)為2.6分。所以,2007年度斯坦福直線加速器中心的科技績效考核剛剛合格(B+對應(yīng)分?jǐn)?shù)為3.4 ~ 3.1),但其運營管理績效考核均不合格(B-對應(yīng)分?jǐn)?shù)為2.7 ~ 2.5)[6]。針對上述研究實驗基地管理中的不足,經(jīng)過整改后,SLAC的2008年年度績效考核就有所改觀[6],無論科研活動績效考核還是運營管理績效考核均已合格,而其2011年年度的績效考核結(jié)果令人滿意[6]。
3.3 資助決策
大多數(shù)國家支持先進(jìn)研究實驗基地的有關(guān)經(jīng)費與其績效評估結(jié)果適當(dāng)掛鉤,有關(guān)國家主管部門與國家各項目資助部門協(xié)調(diào),優(yōu)先資助優(yōu)秀的研究實驗基地的研究工作。國家有關(guān)部門也可以對優(yōu)秀基礎(chǔ)研究國家實驗室實行一個評估周期的預(yù)算撥款制,實驗室根據(jù)研究工作的實際需要向國家科技主管部門提出5年內(nèi)研究工作所需要的經(jīng)費預(yù)算,國家有關(guān)部門經(jīng)專家評估后按照實際需求下達(dá)研究項目經(jīng)費,使得這些實驗室不再為研究經(jīng)費而耗時費力。對于應(yīng)用基礎(chǔ)研究類優(yōu)秀國家實驗室可以以下達(dá)項目的形式進(jìn)行經(jīng)費支持,如國家需要完成某類涉及國家經(jīng)濟、社會或國家安全的重大攻關(guān)任務(wù),可以將項目直接下達(dá)至優(yōu)秀的相關(guān)實驗室。
美國政府對研究實驗基地的績效評估也并非只是一種形式,而是與績效撥款掛鉤的。例如,前面所述能源部科學(xué)辦公室所轄的國家實驗室能夠?qū)嶋H拿到的績效撥款就是根據(jù)其評估后的績效評分來計算,如表3所示。實驗室在科研活動以及管理運作方面的績效評分(0~4.3之間),對應(yīng)其所獲得的科學(xué)技術(shù)績效撥款的百分比以及管理運作績效撥款的乘數(shù)。表達(dá)式為:實驗室最后所獲得的總績效撥款=科研活動績效撥款的百分比×管理運作績效撥款。
德國馬普學(xué)會對所轄的研究所進(jìn)行評價,主要在于確保研究所高水平的科學(xué)研究質(zhì)量,探討研究所的發(fā)展戰(zhàn)略與研究領(lǐng)域,改進(jìn)管理工作,合理分配資源。評價結(jié)果還可以用于調(diào)整研究所研究方向甚至關(guān)閉研究所。另外,評價結(jié)果還影響對研究所的資源分配,評價結(jié)果不好的研究所將減少25%的資源分配。
發(fā)達(dá)國家研究實驗基地的績效考核結(jié)果的表現(xiàn)形式、集中性和離散性分析以及績效考核結(jié)果在公眾監(jiān)督、內(nèi)部管理和資助決策等方面的應(yīng)用經(jīng)驗,對于我國科研實驗基地績效評估具有重要的借鑒作用。
[1] 劉瑩,張大群,李曉軒.美國聯(lián)邦科研機構(gòu)的績效評估制度及其啟示[J].中國科技論壇,2007(9):140-144.
[2] 李強,李曉軒.美國能源部聯(lián)邦實驗室的績效管理與啟示[J].中國科學(xué)院院刊,2008,23(5):431-437.
[3] 劉紅玉,劉冬,葉彩鳳,等.英德國家科研實驗室機構(gòu)的體制機制比較分析及借鑒[J].實驗室研究與探索, 2007,16(7):112-116.
[4] 顧海兵,李慧.英國科技成果評估體系研究與借鑒[J].科學(xué)中國人,2005(2):37-39.
[5] 顧海兵,姜楊.法國科技評估體制的研究與借鑒[J].科學(xué)中國人,2005(5):30-33.
[6] 斯坦福直線加速器中心2007、2008、2011財年年度績效評估報告[EB/OL].[2013-06-28].http://wwwgroup.slac.stanford.edu/oa/selfassessment.htm.
Performance Appraisal for Overseas Research & Experiment Bases
Wang Yan
(Institute of Scientif c and Technical Information of China, Beijing 100038)
performance appraisal for research & experiment bases are researched mostly in aspects of programme and process etc. but rarely in educe and use of results. The aspects of performance appraisal and its supervise, management and decision-making, of research & experiment bases in development countries are explored, to have use for reference for these aspects of our country
research and experiment base, laboratory management, performance appraisal, formation of evaluation results, application of evaluation results, public supervision, internal management, funding decision
G31
:ADOI:10.3772/j.issn.1674-1544.2013.04.007
王艷(1975- ),女,副教授,研究方向:科研管理、指標(biāo)體系構(gòu)建、多目標(biāo)優(yōu)化等。
2013年7月10日。