吳 勇,朱衛(wèi)東,張 晨
(合肥工業(yè)大學(xué)管理學(xué)院,安徽 合肥 230009)
科學(xué)基金績效評估中的風險識別與分類問題研究
吳 勇,朱衛(wèi)東,張 晨
(合肥工業(yè)大學(xué)管理學(xué)院,安徽 合肥 230009)
文章對科學(xué)基金績效評估風險的本質(zhì)內(nèi)涵進行了界定,建立了風險因素的識別框架,從績效評估的組織設(shè)計、評估目標和內(nèi)容的確定、評估指標體系的構(gòu)建、評估方法的選擇以及評估結(jié)果的使用五個維度,對科學(xué)基金績效評估全過程的各類風險因素進行合理的分類,為后續(xù)的風險評估和風險控制奠定基礎(chǔ)。
科學(xué)基金;績效評估;風險識別;風險分類
國家自然科學(xué)科學(xué)基金委員會(以下簡稱“基金委”)成立于1986年,20多年來,國家自然科學(xué)基金(以下簡稱“科學(xué)基金”)工作立足國情和科技發(fā)展實際,創(chuàng)造性地學(xué)習(xí)和借鑒西方發(fā)達國家的成功經(jīng)驗,不斷發(fā)展和完善中國特色科學(xué)基金制,為推進科技體制改革和增強國家自主創(chuàng)新能力進行了不懈的探索與實踐。科學(xué)基金作為我國科技創(chuàng)新體系中的重要組成部分,對我國自主創(chuàng)新能力的提高,對加強高層次科技人才的培養(yǎng),對解決國民經(jīng)濟、社會發(fā)展和國防安全重要科學(xué)問題的基礎(chǔ)支撐地位日益突出。當前我國基礎(chǔ)研究正處于整體水平由量的擴展向質(zhì)的跨越這一重要階段,科學(xué)基金經(jīng)費從創(chuàng)立之初的3000萬元增長到2008年的63億多元。今天的科學(xué)基金具有比以往更大的規(guī)模、很強的導(dǎo)向性。
科學(xué)基金資助與管理績效評估是一項復(fù)雜的系統(tǒng)過程,涉及評估主體、評估對象、評估內(nèi)容、評估方法、評估支撐材料和評價結(jié)果等多個層次諸多環(huán)節(jié),在這一復(fù)雜的過程中蘊含了很多不確定性問題,使得科學(xué)基金績效評估工作面臨著諸多風險與挑戰(zhàn)。目前,美國國家科學(xué)基金會(National Science Foundation,NSF)、日本學(xué)術(shù)振興會(Japan Society for the Promotion of Science,JSPS)、英國研究理事會(Research Councils UK,RCUK)、德意志研究聯(lián)合會(Deutsche Forschungs Gemeinschaft,DFG)、澳大利亞研究理事會(Australian Research Council,ARC)和加拿大自然科學(xué)與工程研究委員會(Natural Sciences and Engineering Research Council of Canada,NSERC)等都系統(tǒng)地開展了科學(xué)基金的績效評估。隨著科學(xué)基金績效評估在世界各國的推廣,國內(nèi)外學(xué)者對科學(xué)基金績效評估中存在的風險進行了研究,通過對相關(guān)文獻資料的研讀梳理,科學(xué)基金績效評估中的風險主要表現(xiàn)為:
①各參與主體目標差異的風險??茖W(xué)基金管理機構(gòu)屬于政府公共財政管理部門,公共管理領(lǐng)域同經(jīng)濟領(lǐng)域一樣,個人行為的出發(fā)點是基于“自利”,績效評估是對科學(xué)基金資助與管理效果的測量,必然要涉及到部門不合理的利益的制止、是非得失的評判、權(quán)力利益的分配等。這種要求與自利人的行為動機相悖,從而決定部門及其工作人員不可避免地有抵制或消極對待績效評估的動機問題[1-2],這種阻擾力量的大小往往是評估成敗的關(guān)鍵所在。
②績效評估選擇指標的風險。科學(xué)基金支持基礎(chǔ)研究的特點,決定了科學(xué)基金的績效必須用綜合指標來衡量,如經(jīng)濟性、效益性(經(jīng)濟效益、社會效益、環(huán)境效益)、效果性、公平性等指標,這種多元化的指標體系形成了績效管理技術(shù)上的困難[3]。同時,衡量科學(xué)基金績效的量化指標在很大程度上僅僅是績效的一種關(guān)聯(lián)因子,而非真正的績效[4]。此外,科學(xué)基金績效評估的指標具有較強的政策導(dǎo)向性,評估指標選擇不當,將會對對科學(xué)家的行為產(chǎn)生影響,甚至誘發(fā)學(xué)術(shù)不端行為的風險[5-7]。在各國政府推行的科研績效評估中,受到批評最多的當屬英國的研究水平評估(Research Assessment Exercise,RAE)。Elton[8](2000)指出 RAE 造成了科技界競爭、敵對的氣氛,對科技長期發(fā)展存在潛在的危害。Talib[9](2000)的研究表明:自推行RAE以來,將同一研究成果拆分發(fā)表或以稍微不同的形式發(fā)表在多個雜志上的現(xiàn)象愈發(fā)普遍。Klas[10](2004)指出被評者傾向于努力提高績效評估指標所考察的方面,而對評估指標未涉及的領(lǐng)域?qū)]有完善的動機。面對績效評估的壓力,科技工作者傾向于將研究轉(zhuǎn)向能夠在短時間內(nèi)獲得成果的方向,然而創(chuàng)新性的成果往往難以在短期內(nèi)獲得認可。
③績效評估方法的技術(shù)風險??茖W(xué)基金績效評估存在很多定性問題需要依靠同行專家作出判斷,Brook[11](2002)認為外部專家難以在短時間內(nèi)全面了解科研組織的情況,其評估的可靠性難以保證,評估結(jié)論難以得到認可。另一方面,對科學(xué)基金產(chǎn)出成果的評估普遍會使用一些定量指標,而一些研究證明即使是常用的定量指標也難以保證客觀性。例如:Magnus[12](2008)分別采用影響因子、論著總數(shù)、論著被SSCI的引用數(shù)量等7個定量指標對瑞典國內(nèi)全部經(jīng)濟學(xué)教授進行績效評估,結(jié)果顯示使用不同定量指標產(chǎn)生的排名差異非常大。
規(guī)避績效評估風險的措施。吳建南[13](2009)指出發(fā)達國家應(yīng)對績效評估中的各類風險挑戰(zhàn)的主要做法包括:積極開展對績效評估的科學(xué)研究、增強績效評估機構(gòu)的獨立性以及進一步關(guān)注有關(guān)績效評估的國際交流與合作等。美國NSF在開展績效評估之前,充分征求利益相關(guān)者的意見,就評估目標、評估原則、評估內(nèi)容等達成廣泛共識的基礎(chǔ)上,再啟動績效評估工作,這樣能很好的減少評估主體目標不一致的風險,而且也能降低績效評估執(zhí)行過程中的風險。同時,績效評估過程中,為避免利益相關(guān)者對評估結(jié)果質(zhì)疑的風險,由第三方認證機構(gòu)(IBM咨詢服務(wù)公司)負責對數(shù)據(jù)信息資料的采集機制進行鑒證,以提高評估結(jié)果的公信力。另外,建立了明確的反饋結(jié)果回應(yīng)機制,以應(yīng)對評估專家提出的改進績效的意見,從而避免了績效評估流于形式的風險。日本JSPS在績效評估過程中建立了公開、透明的信息披露機制,從而使得評估的結(jié)果更容易得到外部利益相關(guān)者的認可,避免績效評估暗箱操作的風險,進而提高了評估結(jié)果的可信力。
為保障科學(xué)基金資助與管理績效評估能夠順利開展,取得預(yù)期效果,在進行評估總體方案設(shè)計的時候,應(yīng)充分考慮各種風險因素及其產(chǎn)生原因,并提出風險防范措施。
績效評估是對特定對象的行為表現(xiàn)和系統(tǒng)運行狀態(tài)的價值判斷,是評估主體對評估對象進行主觀分析,采用科學(xué)合理的評估指標和方法,采集必要的數(shù)據(jù)信息資料,給出客觀、公正的主觀評價結(jié)果的過程?;鹞鳛榭茖W(xué)基金的管理機構(gòu),負責資助與管理工作。借鑒美國NSF的經(jīng)驗,可以將科學(xué)基金績效評估工作分為四個層面的評估:項目層面、科學(xué)部層面、資助計劃層面以及基金管理機構(gòu)整體績效。因為考慮到本次評估的目的之一是全面總結(jié)科學(xué)基金20多年來的實踐經(jīng)驗,評估對象是過去23年來科學(xué)基金資助與管理的整體活動的績效狀況,也即評估基金管理機構(gòu)23年來整體的資助與管理績效,這屬于對公共管理組織的績效評估。目前公共管理組織績效評估的模式有二種:①投入-產(chǎn)出-結(jié)果;②目標-過程-結(jié)果模式。前者主要從投入/產(chǎn)出的效率維度測評績效。后者主要從預(yù)定目標的實現(xiàn)過程及實施效果的維度來分析績效情況??茖W(xué)基金具有產(chǎn)出不確定、成果滯后、社會效益難于衡量等特點,決定了不適合使用第一種模式,此外,科學(xué)基金的戰(zhàn)略目標明確,管理與組織實施過程科學(xué)、規(guī)范,因而采用第二種模式較為科學(xué)合理。
對于每一個評估對象,從理論上講,均有一個理想客觀值,主觀的評估結(jié)果和評估對象的客觀實際值之間會存在某種程度的不一致(即“測不準”),這是進行績效評估的一種重要風險。產(chǎn)生不一致的主要原因在于績效評估對象的復(fù)雜性以及績效評估過程中存在信息不對稱和多重委托-代理關(guān)系。
依據(jù)風險是事件未來可能結(jié)果的不確定性的一般定義,科學(xué)基金績效評估風險是指在評估過程中,由于各利益相關(guān)者之間的目標不一致、信息不對稱,科學(xué)基金績效評估存在的諸多不確定因素以及績效信息數(shù)據(jù)缺失等,導(dǎo)致評估結(jié)果失真、無法實現(xiàn)預(yù)期評估目標以及評估結(jié)果不恰當使用的可能性。為了保證完成績效評估的預(yù)期目標,在績效評估過程中,要及時識別、科學(xué)分析和評價影響績效評估目標實現(xiàn)的各種風險因素,按照一定的分析框架,對各種風險因素進行科學(xué)合理的分類,闡釋各類風險產(chǎn)生的原因,并采取應(yīng)對策略。
科學(xué)基金資助與管理績效評估的風險分類可以有多種維度,諸如評估主體風險和客體風險維度,評估的內(nèi)部風險和外部風險維度。本文基于科學(xué)基金績效評估“戰(zhàn)略→管理與組織→結(jié)果”的整體架構(gòu),從科學(xué)基金績效評估的全過程維度(見圖1),對評估風險進行分類,即從評估組織設(shè)計、評估目標的確定、評估指標和方法的選擇、評估的執(zhí)行和操作、評估結(jié)果的使用五個方面,研究科學(xué)基金資助與管理績效評估中的各類風險問題,并分析風險原因,以便于制定風險控制措施。
科學(xué)基金績效評估中涉及的利益相關(guān)主體包括:評估主體(基金管理機構(gòu),委托人),評估專家(評估執(zhí)行者,代理人)、評估對象(評估對象的績效信息主要由基金管理機構(gòu)相關(guān)部門提供),評估過程中存在多重委托-代理,委托人和各參與主體之間存在目標不一致、信息不對稱、權(quán)責不對等和激勵不相容等現(xiàn)象,是評估組織設(shè)計中的一個重要風險因素。他們之間的目標不一致主要表現(xiàn)在:
①委托人(評估組織者、基金管理機構(gòu))。可能是追求本部門和本人的利益(主要是權(quán)力)最大化,根據(jù)對本部門和本人的利益綜合考慮來決定其行為模式,評估方案、評估結(jié)果的形成可能是不同利益集團之間利益矛盾博弈、折衷、平衡的結(jié)果。這給績效評估工作帶來的風險是:在確定評估目標、評估方案設(shè)計、選擇評估組織和評估專家方面,評估主體擁有完全的主導(dǎo)權(quán),有可能會導(dǎo)致在評估專家的知識、能力、公信力與選擇對自己有利的專家之間權(quán)衡。
②代理人(評估專家)。評估專家按照委托方的要求,在委托方提供必要的數(shù)據(jù)支撐的條件下,根據(jù)自己的知識、經(jīng)驗等,獨立地對各類評估對象進行科學(xué)、公正的評價。但評估專家有其自身的利益,而這些利益可能違背評估組織者的最初意愿,背離評估的預(yù)定目標。一方面,為使得評審結(jié)論更加科學(xué)合理,要有部分評審專家對科學(xué)基金項目非常熟悉,最好參與過科學(xué)基金項目,但如果評審專家與委托人關(guān)系過于緊密,其評價結(jié)論的中肯性如何保證;另外,為了在國際視角下體現(xiàn)科學(xué)基金的績效,需要有國外專家參與,不同國家的專家有著不同的文化、制度背景,如何保證其在短時間內(nèi)能夠熟悉評估材料,并其對評估標準的把握一致,也是一個重要的風險因素。
③評估對象。雖然是對科學(xué)基金23年來整體的資助與管理績效評估,但是支撐評估對象績效的數(shù)據(jù)信息,來源于基金委相關(guān)部門,這時各部門員工出于自身和部門利益的考慮,在數(shù)據(jù)提供方面可能會采取一些策略性的行為(如“避重就輕”、“充分展示成績、過少暴露問題”等),特別是基金管理機構(gòu)的工作人員因為主觀失誤導(dǎo)致績效不高而要承擔責任時,會千方百計地抵制評估(如借口評估干擾正常工作秩序、阻擾評估人員接近關(guān)鍵資料、以種種理由拒絕接受和貶低評估結(jié)論等)。從而與評估組織者的目標不一致,這也是組織設(shè)計中的一個重要風險因素。
(1)績效評估目標確定的風險。
績效評估必須回答三個基本問題:評估的目標是什么?評估組織與程序如何設(shè)計?評估內(nèi)容與方法如何確定?評估目標統(tǒng)領(lǐng)整個評估活動。不同的目標,決定了所采用的評估模式、組織體系、程序、內(nèi)容、指標、標準等不同。
美國NSF的評估目標是:業(yè)績評價結(jié)果給NSF的利益相關(guān)者和美國納稅人提供了NSF投資回報方面的關(guān)鍵信息;評估報告反映本年度NSF的財務(wù)狀況以及工作運行狀況,反映NSF實現(xiàn)既定戰(zhàn)略目標和計劃的績效。日本JSPS于2002年開展的國際評估的目標是:在充分借鑒發(fā)達國家的同行經(jīng)驗,對已有的資助計劃及其運行等方面進行評估,展望變革后的JSPS在國家科學(xué)體制中的地位與作用,并根據(jù)評估結(jié)果,針對新型體制下自身組織管理提出意見與建議。我國科學(xué)績效評估的目標是:在回顧過去、總結(jié)經(jīng)驗的基礎(chǔ)上,提升科學(xué)基金的管理水平,提高科學(xué)基金的使用效率,增強政府和公眾對科學(xué)基金工作的了解與信任。
在確定評估目標時,會存在如下的風險:①評估目標是否與國內(nèi)外形勢相符,是否與現(xiàn)行的法律法規(guī)、政策和相關(guān)管理部門權(quán)限相符;②是否有利于改善科學(xué)基金管理與決策;③評估目的是否明確、公開、一致,除了明確表達出來的核心目的外,是否還有其他次要或隱含的目的,這些次要或隱含目的是否會影響核心目的;④各參與主體在認識評估目標和使用評估結(jié)果時,是否存在差異。
(2)績效評估內(nèi)容分層的風險。
日本JSPS評估內(nèi)容包括管理、科研基金、人才、國際交流與合作四個方面,重點是評估科研基金資助情況。在確定我國科學(xué)基金績效評估內(nèi)容時,一個重要的風險因素就是,科學(xué)基金績效評估的內(nèi)容分層能否全面真實地反映評估對象的績效管理工作,實現(xiàn)績效評估的預(yù)期目標。此外,針對科學(xué)基金的管理績效如何評估(如同行評議制度、基金管理機構(gòu)日常管理、財務(wù)管理等),是將管理績效分散到各類資助計劃中進行評估,還是像美國、日本一樣,單獨進行評估。
(1)績效評估指標選擇的風險。
評估對象是基金委23年來的整體績效,基礎(chǔ)研究具有長期性、積累性、不確定性、滯后性、價值難于衡量性等特點,重大突破產(chǎn)生的時機和發(fā)展方向是無法預(yù)測的,研究成果中最重要的方面也難以僅僅用定量的指標來衡量。決定了在績效評估中,必須要綜合使用一組指標,來衡量整體的績效,同時績效評估指標體系不僅要關(guān)注科學(xué)研究的直接產(chǎn)出,還要關(guān)注科學(xué)研究的成效,進而關(guān)注科學(xué)研究更廣泛的社會影響?;A(chǔ)研究的上述特點,給科學(xué)基金績效評估指標的選擇帶來了內(nèi)生性技術(shù)風險。具體表現(xiàn)為:
①由于評估范圍廣、時間跨度大,不同階段科學(xué)基金發(fā)展戰(zhàn)略目標和社會經(jīng)濟、政治條件、科技資源條件均有較大差異,同時科學(xué)基金的資助體系和管理模式、方法也發(fā)生了較大變化,如何應(yīng)用一組關(guān)鍵的事實或指標來表達其目標任務(wù)并測度其效果,是個極其關(guān)鍵的問題,同時如何確定各個階段的評估標準,并保持評估標準的可比性,也是一個重要的問題,由此導(dǎo)致了較大的評估風險。
②由于評估指標具有很強的導(dǎo)向性,對科技工作者的行為將產(chǎn)生深遠的影響。評估指標一旦確定,可能會引導(dǎo)或迫使科學(xué)家片面追求完成指標,更多地關(guān)注短期結(jié)果而趨于保守,或者會使科學(xué)家的科學(xué)活動受到來自外部的不必要的干擾。后續(xù)的科研工作者也將在很大程度上圍繞這個評估指標來展開研究工作,如果評估指標選擇不合理,將會帶來非常深遠的影響,這將是一個很大的風險因素。因此評估指標的構(gòu)建中,要考慮可能產(chǎn)生的長遠影響?;A(chǔ)研究激勵創(chuàng)新的特點,決定了必須有寬松的研究環(huán)境和寬容研究失敗的機制,在指標體系構(gòu)建中,如何在寬松的研究環(huán)境和適度的績效評估之間找到均衡點,如何考慮在研究失敗風險很高的情況下,穩(wěn)定支持一批具有濃厚的研究興趣的學(xué)者潛心開展創(chuàng)新性研究。此外,衡量科研人員的績效應(yīng)綜合考慮投入與產(chǎn)出的質(zhì)量和數(shù)量,如何在產(chǎn)出型指標與投入型指標間進行合理的均衡,也是一個風險因素。
③借鑒日本JSPS和美國NSF的經(jīng)驗,科學(xué)基金整體績效評估應(yīng)以定性指標為主,定量指標為輔,通過評估支持材料和亮點成果展示的方法,表明科學(xué)基金的績效,此時,風險因素表現(xiàn)為:選取評估材料(指標)的依據(jù)是什么?這些評估材料(指標)是否充分考慮我國科學(xué)基金工作的特點,能否真正反映科學(xué)基金的整體績效?
(2)績效評估方法選擇的風險。
績效評估的基本方法可以分為兩類:定量指標評估方法和專家定性判斷方法。按照美國科學(xué)、工程與公共政策委員會(COSEPUP)的觀點,其中定量評估方法包括:科學(xué)計量法(文獻計量法、經(jīng)濟計量法)、經(jīng)濟回報率測算等,而定性評估方法包括:同行評議、案例研究、回溯分析、文本分析等。由于科學(xué)研究的“質(zhì)量”概念非常復(fù)雜,計量指標只能表達其可見的某些方面,因此,評估時如何綜合使用上述方法也是一個重要的風險因素。
評估執(zhí)行操作是科學(xué)基金績效評估真正落實的基礎(chǔ),該過程中主要存在如下風險因素:
①績效評估的執(zhí)行制度不完善的風險??茖W(xué)的評估體系重要,但更重要的是如何確??冃гu估能夠執(zhí)行下去(執(zhí)行風險)。評估體系不僅包括指標體系,還應(yīng)該包括其他配套體系。至少包括以下五個方面:績效評估理念體系、績效評估指標體系、績效評估方式體系、績效評估組織體系(實施的機構(gòu)、體制、評估主體、評估方案、評估程序等)、績效評估制度體系(人事管理制度、財務(wù)管理制度、數(shù)據(jù)收集與統(tǒng)計制度、信息披露與公開制度,、評估結(jié)果的反饋與回應(yīng)制度等),所以績效評估是一個技術(shù)問題,更是一個制度體制問題,是一項復(fù)雜的系統(tǒng)工程。目前實施科學(xué)基金績效評估,我們的相關(guān)配套制度是否適應(yīng)要求,也即目前我們實施績效評估制度的執(zhí)行土壤是否合適,存在那些主要問題;相關(guān)主體是否就績效評估的理念、方案等達成廣泛一致的共識,從而減小執(zhí)行的阻力,這是一個重要的風險因素。
②績效信息收集處理機制的風險??冃гu估的執(zhí)行操作過程,很大程度上就是績效信息的采集、處理、報告的過程。由于評估主體、評估專家和評估對象之間存在目標和動機的差異,在對績效信息進行提供、加工、接受和理解過程中,這種目標和動機的差異會導(dǎo)致對績效信息數(shù)據(jù)處理的結(jié)果不能真實反映評估對象的績效狀況,或者偏離了評估組織者績效評估的原則和目標,從而給評估組織者在發(fā)展戰(zhàn)略的制定中提供了不科學(xué)的決策依據(jù)。
③績效信息缺失的風險。分析美國、日本、德國、加拿大、澳大利亞、英國等國家科學(xué)基金績效評估的信息,對比目前我國科學(xué)基金績效評估各戰(zhàn)略目標下所需要的數(shù)據(jù)信息和目前可用的信息,可以發(fā)現(xiàn)現(xiàn)有的績效數(shù)據(jù)信息尚不能完成各戰(zhàn)略目標下的部分績效評估。同時,因為本次評估對象是科學(xué)基金23年來的整體績效,時間跨度大,早期數(shù)據(jù)的缺失程度可能較為嚴重,在這種情況下,如何保證評估結(jié)論的客觀、真實、公允,也是一個較大的風險因素。
科學(xué)基金績效評估的目的在于總結(jié)歷史經(jīng)驗,客觀了解科學(xué)基金現(xiàn)在的運行狀況、存在的問題、未來的發(fā)展機遇等,為提升科學(xué)基金的績效提供好的意見和建議。評估結(jié)果及其使用的風險主要表現(xiàn)為:一是評估結(jié)果沒有達到預(yù)定的評估目標;二是評估結(jié)果失真,不能客觀反映評估對象的實際績效狀況;三是評估結(jié)果不恰當使用。
①評估結(jié)果沒有達到預(yù)定的目標。科學(xué)基金績效評估作為一種管理制度,其實施應(yīng)該對基金管理模式產(chǎn)生有益的影響,這種影響應(yīng)該體現(xiàn)在基金管理機構(gòu)工作人員的觀念和行為的改變,資助、管理制度與程序的改變,以及外部行為主體對科學(xué)基金認知的改變等方面。由于績效目標由上級或者評估組織者確定,績效評估方案則由評估組織者和評估專家共同設(shè)計,指標體系則根據(jù)評估專家的要求和評估對象的實際情況設(shè)計,數(shù)據(jù)的收集主要由評估對象自身完成,往往容易產(chǎn)生評估結(jié)果偏離目標,或者出現(xiàn)評估流于形式(評與不評一樣),使得評估結(jié)果缺乏廣泛的公信力,這是一個重要的風險因素。
②評估結(jié)果產(chǎn)生評估負效應(yīng)。為了提高評估結(jié)果的公信力,評估專家中有大部分是具有豐富評估經(jīng)驗,并且參與本國科學(xué)基金績效評估的國際專家。但是國際專家在制度、文化上存在差異,并且對我國科學(xué)基金制的特點缺乏了解,可能導(dǎo)致最終的評估結(jié)果不能準確反映評估對象的實際績效狀況,從而可能會產(chǎn)生評估負效應(yīng),使得評估結(jié)果產(chǎn)生一定的評估風險。
③評估結(jié)果不恰當使用的風險?;鹞鳛楣藏斦С龅墓芾聿块T,實施整體的大規(guī)模績效評估,在我國基礎(chǔ)研究領(lǐng)域尚屬首次,這種行為可能會給其他公共管理部門帶來很大的壓力,他們有可能會不恰當?shù)氖褂帽敬卧u估的結(jié)論,這將是一種潛在的風險。此外,績效評估的過程和結(jié)果必須在一定程度公開,否則這一過程本身公信力就會受到質(zhì)疑,如何建立完善的信息披露機制也是一個潛在的風險因素。同時對績效評估的結(jié)果需要有明確的、可操作的回應(yīng)機制,否則將使評估流于形式,并挫傷科學(xué)基金的公信力。
科學(xué)基金績效評估能否順利開展并達到預(yù)期目標,取決于是否建立了一個旨在保證評估的權(quán)威性和嚴肅性的績效評估委員會[14],而科學(xué)基金績效評估涉及眾多利益相關(guān)者,而各行為主體的目標存在差異,因而評估委員會中的評估主體多元化是保證績效評估有效性的一個基本原則,該委員會中的評估主體除了包括基金委的高層決策者和評估專家之外,還要有上級管理者、委內(nèi)工作人員、科技工作者及普通公眾代表等,利用多元化評估主體之間的制約與制衡機制,避免風險的產(chǎn)生。此外,為了消除各主體之間的目標差異,在全面啟動績效評估工作之前,應(yīng)在基金委內(nèi)進行廣泛深入的宣傳和教育,明確績效評估工作的意義,使得全體工作人員對績效評估的理念、程序、方法等達成廣泛共識,避免抵觸行為的發(fā)生,為績效評估工作順利開展提供環(huán)境保障,從而減少績效評估執(zhí)行過程的阻力。
科學(xué)基金績效評估是一項復(fù)雜的系統(tǒng)工程,既是一個技術(shù)問題,更是一個體制機制的問題,無論是評估過程的方案設(shè)計和組織實施,還是評估結(jié)果的有效使用都必須遵循一定的制度規(guī)范。美國NSF的績效評估是在《政府績效與結(jié)果法案》(GPRA)、總統(tǒng)管理議程(PMA)和計劃評估等級工具(PART)等法律法規(guī)框架內(nèi)進行的,而我國目前對科學(xué)基金績效評估的制度化建設(shè)尚處于探索階段,因此學(xué)術(shù)界、政府部門、科學(xué)基金管理機構(gòu)的部門及其工作人員,應(yīng)抓緊研究制定《科學(xué)基金績效評估準則》、《科學(xué)基金績效評估方法選擇及工作程序》、《科學(xué)基金績效評估標準選擇及指標設(shè)置原則》和《科學(xué)基金績效評估結(jié)果應(yīng)用》等一系列統(tǒng)一連貫的制度規(guī)范,明確整個科學(xué)基金績效評估規(guī)則、程序、組織方式和結(jié)果應(yīng)用等,使科學(xué)基金績效評估逐步規(guī)范化和制度化。
績效評估過程是一個信息的收集、篩選、加工、輸出、反饋的過程。因此,全面占有評估信息是任何組織實施績效評估的現(xiàn)實基礎(chǔ)??茖W(xué)基金績效評估過程中,由于各主體在所獲取的信息資料以及所擁有的知識、經(jīng)驗等方面存在較大的差異,這種信息的高度不對稱是影響績效評估結(jié)果客觀公正的一個重要的影響因素,由此可見,建立完善的科學(xué)基金績效評估數(shù)據(jù)信息與知識的交流與共享平臺,是實施準確、科學(xué)、高效評估的必然要求。同時,為增強評估過程的透明度,要建立開放的績效評估制度,實施適時的信息披露機制,從而減少信息不對稱。如《日本政府R&D評價指南》強調(diào):“評價方法要透明、清晰,以讓外界理解評價標準和程序。”美國GPRA不僅被作為計劃和管理的更好的工具,也被作為改善項目參與者、國會和公眾之間交流、理解的重要手段。此外,借鑒NSF的經(jīng)驗,在評估報告公布之前,應(yīng)由獨立的第三方,對評估數(shù)據(jù)信息的可靠性以及評估過程的公正性進行鑒證,并且要充分保證績效評估執(zhí)行過程的獨立性,從而增強評估結(jié)果的公信力。
科學(xué)基金績效評估本身是重視結(jié)果的,因為績效本身就意味著科學(xué)基金管理機構(gòu)資助與管理工作的最后結(jié)果,但是科學(xué)基金績效的提高必須通過工作的改進來保障,從某種意義上說,績效評估也是為了促進科學(xué)基金的資助與管理工作。因此,為了使得績效評估達到預(yù)期的效果,避免績效評估流于形式,應(yīng)對評估結(jié)果有明確的、可操作的回應(yīng)機制,針對評估專家提出的意見和建議,采取切實可行的應(yīng)對措施。同時,通過績效評估彌補基金委一些管理體制方面的缺陷,改進激勵機制、競爭機制、監(jiān)督機制、責任機制,進而優(yōu)化整個基金委的管理運行機制。
科學(xué)基金資助與管理績效評估是一項復(fù)雜的系統(tǒng)過程,涉及評估主體、評估對象、評估內(nèi)容、評估方法、評估支撐材料和評價結(jié)果等多個層次諸多環(huán)節(jié),成功實施科學(xué)基金績效評估,需要在獲得績效評估各利益相關(guān)主體理解和支持的基礎(chǔ)上,綜合考慮、嚴格論證、審慎設(shè)計評估方案,多方求證評估細節(jié),精心設(shè)計評估組織與程序,科學(xué)選擇評估對象、評估內(nèi)容、評估指標與方法,確保評估數(shù)據(jù)的質(zhì)量和評估結(jié)果的客觀公正,合理利用評估結(jié)果。這一復(fù)雜的過程中隱藏了諸多的風險因素。
為了確??茖W(xué)基金績效評估工作取得預(yù)期的成果,在評估總體方案設(shè)計過程中,就必須預(yù)先考慮各種風險因素及其產(chǎn)生的原因,從而規(guī)避風險,避免評估失敗。本文將科學(xué)基金績效評估的過程劃分為評估組織設(shè)計、評估目標及內(nèi)容確定、評估指標及方法選擇、評估過程的執(zhí)行與操作以及評估結(jié)果的使用五個階段,在充分借鑒美國NSF、日本JSPS等國實施科學(xué)基金績效評估經(jīng)驗的基礎(chǔ)上,在委托-代理關(guān)系的分析框架內(nèi),運用新制度經(jīng)濟學(xué)的研究成果,系統(tǒng)地分析了每個階段可能出現(xiàn)的風險及其產(chǎn)生的原因,解決了科學(xué)基金績效評估中風險的識別與分類問題,從而為后續(xù)的風險防范措施的制定奠定了基礎(chǔ)。
[1]倪星.反思中國政府績效評估實踐[J].中山大學(xué)學(xué)報(社會科學(xué)版),2008,(3):431-439.
[2]桑助來著.中國政府績效評估報告[M].北京:中共中央黨校出版社,2009.2.
[3]方宏偉,朱慧.公共部門引入績效管理相關(guān)問題分析[J].南華大學(xué)學(xué)報(社會科學(xué)版),2008,(8):03-07.
[4]閆召軍.論公共部門績效評估的局限性[J].管理科學(xué)文摘,2007,(7):91-93.
[5]龔旭,趙學(xué)文,李曉軒等.關(guān)于國家自然科學(xué)基金績效評估的思考[J].科研管理,2004,(4):1-6.
[6]王任飛,鄭永和,劉云等.關(guān)于我國科學(xué)基金績效評估的若干思考[J].中國基礎(chǔ)科學(xué),2007,(6):52-55.
[7]周建中,李曉軒.國外科研資助機構(gòu)的學(xué)科評估及其啟示[J].科研管理,2005,(9):121-126.
[8]Elton L.The UK research assessment exercise:unintended consequences [J].Higher Education Quarterly,2000,(3):274-283.
[9]Talib A.The RAE and publications:a review of journal editors [J].Higher Education Review,2000,(1):32-46.
[10]Klas Eric Soderquist,Armelle Godener.Performance measurement in R&D and new product development:setting the scene [J].International Journal of Business Performance Management,Jun 2004:107-109.
[11]Brook R.The role of evaluation as a tool for innovation in research [C].Proc.2000 Max Planck Forum 5,Innovative Structures in Basic Decision Research.Ringberg Symposium,Munich,2002:173-179.
[12]Magnus H,Daniel W.How should research performance be measured?Evidence from ranking of academic economists.SSE/EFI Working Paper Series in Economics and Finance.March,2008.
[13]吳建南.科技計劃(基金)績效評估的國際實踐—參加八國集團研究評估年會議的報告[J].中國科學(xué)基金,2009,(4):240-243.
[14]汪玉凱,黎映桃.公共部門績效評估——從標準、指標和制度視角的分析[J].中國行政管理,2006,(12):16-18.
(責任編輯 張九慶)
Research on the Risk Identification and Classification of the Science Foundation Performance Evaluation
Wu Yong,Zhu Weidong,Zhang Chen
(School of Management,Hefei University of Technology,Hefei 230009,China)
Based on the defination of essential connotation elabrated at the beginning,this paper establishes an identification framework of risk factors.Subsequently,in accordance with the time dimension,there are five steps in the whole process of performance evaluation,including the designment of organization,the identification of evaluation objectives and content,the establishment of index system,the choice of evaluation methods,and the use of the evaluation results.In this paper,we analyzes various risk factors in each step,then makes a reasonable classification of them.We hope that the classification could be a foundation of the subsequent research of risk assessment and risk control.
science fund;performance evaluation;risk identification;risk classification
C93
A
國家自然科學(xué)基金項目“科學(xué)基金資助與管理績效評估中的風險控制問題研究”(項目編號:J0910017),國家自然科學(xué)基金項目“國家自然科學(xué)基金面上項目及重點項目全過程管理的科學(xué)化與規(guī)范化研究”(J0824104)。
2009-08-18
吳勇(1979-),男,安徽廬江人,管理學(xué)碩士,合肥工業(yè)大學(xué)管理學(xué)院講師;研究方向:新制度經(jīng)濟學(xué),科技政策管理。