張成偉
(華中科技大學(xué)公共管理學(xué)院, 湖北武漢 430074)
國家科技獎勵是我國科技獎勵體系最重要的組成部分,具有激勵自主創(chuàng)新、激發(fā)人才活力、營造良好創(chuàng)新環(huán)境的導(dǎo)向作用,對規(guī)范國家科技發(fā)展方向,推進(jìn)科技創(chuàng)新,發(fā)揮科技的社會功能,促進(jìn)社會進(jìn)步具有重要價值。國家科技獎勵工作質(zhì)量高低、績效如何,體現(xiàn)著國家的權(quán)威性和公信力,直接影響著廣大科技工作者創(chuàng)新創(chuàng)造熱情,乃至創(chuàng)新型國家和世界科技強(qiáng)國建設(shè)目標(biāo)的達(dá)成。國家科技獎勵工作肩負(fù)著科技領(lǐng)域最高水平認(rèn)定“看守者”的角色,但誰來評估、如何評估“看守者”的工作,就需要預(yù)先設(shè)計一整套成熟的評估體系。“沒有評估,就不能管理”[1],國家《關(guān)于深化科技獎勵制度改革的方案》明確提出“建立國家科技獎勵工作后評估制度,每年國家科學(xué)技術(shù)獎勵大會后,委托第三方機(jī)構(gòu)對年度獎勵工作進(jìn)行評估,促進(jìn)科技獎勵工作不斷完善”[2]。
國家科技獎勵工作后評估是項目后評估技術(shù)在國家科技獎勵領(lǐng)域的具體應(yīng)用,具體是指在國家科技獎勵工作完成后的一段時間內(nèi),由獨(dú)立的專業(yè)化咨詢服務(wù)機(jī)構(gòu)或與科技獎勵行政部門相對獨(dú)立的后評估專門機(jī)構(gòu),按照有關(guān)規(guī)定和規(guī)范化要求,依據(jù)工作的實(shí)際數(shù)據(jù)和必要的預(yù)測數(shù)據(jù),對工作目標(biāo)、執(zhí)行過程、效益作用和影響等進(jìn)行系統(tǒng)、客觀的再評估[3]。從后評估技術(shù)的角度講,開展國家科技獎勵工作后評估,必須建立一套完整的后評估體系。這套體系可以再細(xì)分為:技術(shù)體系(主要指評估指標(biāo))、組織體系(主要指評估主體)、制度體系(主要指相關(guān)制度保障)、信息體系(主要指數(shù)據(jù)收集和處理系統(tǒng)),見圖1。其中,由評估指標(biāo)、指標(biāo)權(quán)重、指標(biāo)釋義和評分標(biāo)準(zhǔn)等組成的后評估指標(biāo)體系是最為關(guān)鍵的內(nèi)容,直接決定著后評估結(jié)果的科學(xué)性。
圖1 國家科技獎勵工作后評估體系
目前,學(xué)術(shù)界關(guān)于“科技獎勵績效評估”的研究成果很少,僅有的十余篇文獻(xiàn)主要集中在兩個方面:一是科技獎勵獲獎項目的績效評價。王福濤[4]對2000—2003 年度的國家科技獎勵獲獎項目的轉(zhuǎn)化應(yīng)用情況進(jìn)行了統(tǒng)計分析,認(rèn)為國家科技獎勵對科技成果的轉(zhuǎn)化應(yīng)用起到了較大的推動作用。危懷安[5]在分析獲獎項目后續(xù)發(fā)展相關(guān)數(shù)據(jù)的基礎(chǔ)上,提出應(yīng)加快構(gòu)建國家科技獎勵與國家科技計劃的交互作用機(jī)制。楊蘭蓉[6]分析了國家科技獎勵獲獎項目的后續(xù)開發(fā)需求,建議加強(qiáng)對獲獎項目的跟蹤與服務(wù)。陳銀花[7]從科技價值、經(jīng)濟(jì)效益、后續(xù)發(fā)展等方面構(gòu)建了一套獲獎項目后評價指標(biāo)體系并進(jìn)行了實(shí)證分析。中國建筑材料聯(lián)合會對建材行業(yè)系統(tǒng)獲獎項目的后續(xù)發(fā)展?fàn)顩r進(jìn)行了跟蹤調(diào)查[8],提出了建立獎后跟蹤與服務(wù)機(jī)制的政策建議。二是科技獎勵制度運(yùn)行績效評價。滕躍[9]將IS09000 標(biāo)準(zhǔn)質(zhì)量管理體系與科技獎勵評價相結(jié)合,構(gòu)建了一套科技獎勵質(zhì)量標(biāo)準(zhǔn)評價體系。熊小剛[10-14]運(yùn)用因子分析、群組決策分析、融合層次分析等多種方法,從人力、資金、設(shè)備等獎勵投入和獲獎數(shù)量、獲獎人員、獎勵效應(yīng)等獎勵產(chǎn)出的對比中分析了國家科技獎勵制度的運(yùn)行績效。
綜觀現(xiàn)有的研究成果,學(xué)者們已經(jīng)從管理工具、制度建設(shè)、獲獎項目后續(xù)發(fā)展情況等不同側(cè)面對科技獎勵績效進(jìn)行了一定的研究,但是仍然存在較大的改進(jìn)空間:一是獲獎項目的績效評價不能涵蓋科技獎勵績效的全部內(nèi)涵。二是已經(jīng)付諸實(shí)踐的國家科技獎勵質(zhì)量管理體系實(shí)質(zhì)上是一種內(nèi)部評價,難以擺脫“自說自話”的窠臼。三是從獎勵投入和產(chǎn)出關(guān)系出發(fā)而設(shè)計的績效評價系統(tǒng),雖然邏輯可行、易于操作,但是人力資本、資金投入、設(shè)備投入等指標(biāo)設(shè)計,顯然沒有觸及評審指標(biāo)、評審分組、評委安排、評審流程等影響科技獎勵績效的核心要素。有鑒于此,本文將遵循評估指標(biāo)設(shè)計的自然邏輯,從基本概念的操作化著手,全面梳理國家科技獎勵工作的核心績效信息,嘗試構(gòu)建一套能夠在實(shí)務(wù)中可供操作的國家科技獎勵工作后評估指標(biāo)體系并進(jìn)行實(shí)證檢驗,以期為國家科技獎勵工作后評估工作探索一條可行的技術(shù)路徑。
國家科技獎勵工作后評估指標(biāo)體系的理論構(gòu)建本質(zhì)上就是“國家科技獎勵工作”概念的操作化過程,大致呈現(xiàn)“概念的操作化定義——后評估維度的確定與解構(gòu)——后評估指標(biāo)的篩選與賦權(quán)——指標(biāo)釋義與評分標(biāo)準(zhǔn)的確定”的邏輯理路。
后評估是一項嚴(yán)密的技術(shù)程式,必須將后評估對象的“實(shí)質(zhì)定義”轉(zhuǎn)變?yōu)椤安僮鞫x”,才能保證后評估具有現(xiàn)實(shí)可能性。所謂“操作定義”是“將我們無法得到的社會結(jié)構(gòu)、制度及有關(guān)人們行為、思想和特征的內(nèi)在事實(shí),用代表它們的外在事實(shí)代替,并通過后者研究和評價前者的操作化過程。這種操作化過程是溝通抽象的理論概念與具體的經(jīng)驗事實(shí)的一座橋梁”[15]。國家科技獎勵工作概念的操作化,就是把這一工作切割成若干個獨(dú)立可測評的工作環(huán)節(jié)或構(gòu)成要素。從官方發(fā)布的國家科技獎勵質(zhì)量管理體系可知[16],國家科技獎勵工作流程大致可以劃分為三個階段:一是獎前準(zhǔn)備工作,包括提名、受理、形式審查等環(huán)節(jié);二是獎勵評審工作,包括網(wǎng)絡(luò)初評、會議初評、考察、異議處理、評審、審定、報批、頒獎等環(huán)節(jié);三是獎后服務(wù)工作,包括獎勵宣傳、轉(zhuǎn)化、跟蹤等環(huán)節(jié)。三個工作階段及各個工作環(huán)節(jié)環(huán)環(huán)相扣,構(gòu)成了完整的工作流程(見圖2)。
圖2 國家科技獎勵工作流程圖
但是,僅依靠上述信息,顯然無法完成國家科技獎勵工作概念操作化,有必要借助更多現(xiàn)實(shí)材料佐證。作為隸屬于國家科技部的直屬事業(yè)單位,國家科技獎勵工作辦公室肩負(fù)著貫徹執(zhí)行國家科學(xué)技術(shù)獎勵政策和法規(guī),承擔(dān)國家科技獎勵工作,對地方、部門系統(tǒng)的科技獎勵工作進(jìn)行業(yè)務(wù)指導(dǎo)的職責(zé),具有豐富的實(shí)務(wù)經(jīng)驗。我們接著對國家科技獎勵工作辦公室官網(wǎng)2019 年度所有工作信息進(jìn)行深度梳理,并與相關(guān)工作人員進(jìn)行了3 次深度訪談,對其相關(guān)工作安排、考核信息及條例規(guī)章等做了梳理,基本涵蓋了國家級科技獎勵的主要工作。如表1 所示,從提名到頒獎,再到獎后服務(wù)整個過程,國家科技獎勵工作每個環(huán)節(jié)都有相應(yīng)政策文件、執(zhí)行機(jī)構(gòu)支撐,都涉及一定的人財物投入,也都會產(chǎn)生某種形式的績效數(shù)據(jù)。對國家科技獎勵工作進(jìn)行后評估,需要結(jié)合政策文件相關(guān)規(guī)定,分解每一個工作環(huán)節(jié)的核心績效信息,通過持續(xù)的概念深度操作化,為后續(xù)評估指標(biāo)制定提供更多可選項。
表1 2019 年度國家科技獎勵工作信息及支撐文件
確定后評估維度是建立后評估指標(biāo)的前置條件。國家科技獎勵工作的后評估維度,是指國家科技獎勵工作實(shí)施的過程及結(jié)果中體現(xiàn)在制度或價值層面的若干具體面向。后評估維度的解構(gòu),就是分析并聚焦國家科技獎勵工作在制度或價值層面若干面向的范圍限制,找到細(xì)微具體的觀測點(diǎn),使后評估維度指向更明確,使“國家科技獎勵工作”概念從“抽象”到“具體”的操作更加清晰?;谝陨蠈Α皣铱萍吉剟罟ぷ鳌备拍畈僮骰姆治?,后評估維度的淵源主要包括“國家科技獎勵相關(guān)政策法規(guī)文件”“國家科技獎勵工作辦公室官網(wǎng)的工作信息”“學(xué)術(shù)界關(guān)于科技獎勵績效評估已有的研究成果”“國內(nèi)外相關(guān)的績效評估實(shí)踐經(jīng)驗”等。參考既有理論研究文獻(xiàn),受財政部財政支出績效評價指標(biāo)框架及國家自然科學(xué)基金績效評價指標(biāo)框架的啟發(fā)[17-18],我們嘗試將國家科技獎勵工作的后評估維度劃分為工作目標(biāo)、工作過程和工作效果。每一評估維度又劃分為若干子維度,每個子維度之下都存在大量各種形式的數(shù)據(jù)資訊和績效信息(見表2)。結(jié)合概念操作化視角,有必要從這些子維度所蘊(yùn)含的績效信息中選擇最為重要和突出的觀測點(diǎn),以此作出維度范圍上的清晰界定,化繁為簡,為下一步后評估指標(biāo)操作化奠定基礎(chǔ)。
表2 國家科技獎勵工作后評估維度的觀測范圍
(1)工作目標(biāo)維度解構(gòu)?!肮ぷ髂繕?biāo)”下設(shè)兩個子維度:“工作目標(biāo)科學(xué)性”和“工作目標(biāo)實(shí)現(xiàn)度”?!肮ぷ髂繕?biāo)科學(xué)性”旨在考察工作的合法性、合理性和可行性問題。“合法性”即國家科技獎勵工作目標(biāo)設(shè)定的法規(guī)政策依據(jù)是否充分;“合理性”即國家科技獎勵工作的目標(biāo)定位與國家科技創(chuàng)新、經(jīng)濟(jì)社會發(fā)展以及國家安全需要是否適應(yīng);“可行性”即國家科技獎勵工作目標(biāo)是否分解為具體工作任務(wù)、是否能夠通過清晰、可衡量的指標(biāo)值予以體現(xiàn)?!肮ぷ髂繕?biāo)實(shí)現(xiàn)度”的觀測范圍主要是專家學(xué)者及科技獎勵部門自身對工作目標(biāo)實(shí)現(xiàn)程度的評估。
(2)工作過程維度解構(gòu)?!肮ぷ鬟^程”下設(shè)三個子維度:“規(guī)章制度健全性”“制度執(zhí)行有效性”和“評獎質(zhì)量可控性”?!耙?guī)章制度健全性”重點(diǎn)關(guān)注獎勵種類、獎勵等級、獎勵數(shù)量、獎金標(biāo)準(zhǔn)的設(shè)置是否合理;各個獎種的評價指標(biāo)體系是否科學(xué)合理、客觀可行;評審流程設(shè)計是否科學(xué)嚴(yán)密、便于操作;從提名到頒獎?wù)麄€過程中相關(guān)評審管理制度是否完善;“制度執(zhí)行有效性”觀測范圍為受理過程是否規(guī)范有序;網(wǎng)評評審單元劃分、會評評審單元劃分是否科學(xué)合理;網(wǎng)評專家遴選規(guī)則、會評專家遴選規(guī)則是否科學(xué)合理;行業(yè)咨詢、項目考察工作是否真實(shí)有效;“評獎質(zhì)量可控性”對應(yīng)的觀測范圍為,各個需要公示的環(huán)節(jié)是否執(zhí)行到位;異議處理、保密及評審監(jiān)督工作是否及時有效;各類工作文檔記錄是否完備并及時存檔。
(3)工作效果維度解構(gòu)?!肮ぷ餍Ч毕略O(shè)三個子維度:“獎勵工作滿意度”“評獎結(jié)果公信力”和“獎勵效應(yīng)持續(xù)性”?!蔼剟罟ぷ鳚M意度”是指評審專家、科技工作者(獲獎和未獲獎兩類)、社會公眾等對科技獎勵工作滿意度?!霸u獎結(jié)果公信力”體現(xiàn)著專家學(xué)者和社會公眾對評獎結(jié)果的認(rèn)同度。“獎勵效應(yīng)持續(xù)性”重點(diǎn)關(guān)注五方面效益:科技效益,即獎后高質(zhì)量論文、專著、專利等科技產(chǎn)出的增加率;經(jīng)濟(jì)效益,即獎后科技成果應(yīng)用后直接、間接經(jīng)濟(jì)效益的增加率;社會效益,即獎后科技成果應(yīng)用對改善民生、社會治理、學(xué)科發(fā)展、人才成長的促進(jìn)作用;生態(tài)效益,即獎后科技成果應(yīng)用在減少污染、節(jié)約資源、修復(fù)生態(tài)等方面的作用和效果;文化效益,即獎后在弘揚(yáng)科學(xué)家精神、增強(qiáng)公民科學(xué)素質(zhì)方面的作用和效果。
后評估指標(biāo)設(shè)計遵循“實(shí)驗性預(yù)選——專家咨詢——篩選與確定——專家賦權(quán)”的技術(shù)路徑,在上述后評估維度解構(gòu)的基礎(chǔ)上,結(jié)合各個維度的觀測范圍,通過頭腦風(fēng)暴分析,我們對國家科技獎勵工作后評估指標(biāo)進(jìn)行了實(shí)驗性預(yù)選,得到工作目標(biāo)、工作過程和工作效果3 個一級指標(biāo)、8 個二級指標(biāo)和33 個三級指標(biāo)(見表3)。
表3 國家科技獎勵工作后評估實(shí)驗性預(yù)選指標(biāo)
為體現(xiàn)指標(biāo)的典型性和代表性,進(jìn)一步簡化指標(biāo)體系的構(gòu)成,根據(jù)預(yù)選指標(biāo),我們設(shè)計了《國家科技獎勵后評估指標(biāo)專家咨詢問卷》,采用德爾菲法對35 位專家進(jìn)行了兩輪咨詢。第一輪問卷回收后,根據(jù)科學(xué)性、關(guān)鍵性和操作性的原則,對后評估指標(biāo)進(jìn)行了修改完善。對80%以上專家“非常贊成”和“比較贊成”的13 個指標(biāo)予以保留。對80%以上的專家“不贊成”的6 個指標(biāo):C46 宣傳工作有效性、C51 質(zhì)量管理有效性、C55 旁聽人員滿意率、C52 獎勵規(guī)則通曉率、C81 個人科技產(chǎn)出增加率、C87 人才培養(yǎng)貢獻(xiàn)度,直接予以刪除。對專家建議修改的其他14 個指標(biāo)進(jìn)行了整合、擴(kuò)展或修改。在對指標(biāo)進(jìn)行整合時,將C41 提名過程規(guī)范性和C42形審過程規(guī)范性整合為“受理過程規(guī)范性”;C44行業(yè)咨詢有效性和C45 項目考察有效性,整合為“咨詢考察覆蓋率”;C61 提名者滿意度和C62 被提名者滿意度,整合為“科技人員滿意度”。擴(kuò)展的指標(biāo)包括,C32 評審規(guī)則健全性擴(kuò)展為“獎種設(shè)置合理性”“評審指標(biāo)科學(xué)性”和“評審流程科學(xué)性”;C43 評審過程科學(xué)性擴(kuò)展為“評審分組合理性”和“評委安排科學(xué)性”。修改的指標(biāo)為,B5 評獎質(zhì)量可控性之下增加1 個三級指標(biāo)“過程監(jiān)督覆蓋率”;B8獎勵效應(yīng)持續(xù)性所屬的三級指標(biāo)修改為“科技產(chǎn)出增加率”“經(jīng)濟(jì)效益增加率”“社會效益貢獻(xiàn)度”“生態(tài)效益增加率”和“文化效益貢獻(xiàn)度”。之后,就修改后的指標(biāo)體系對上述35 位專家再次咨詢,專家們對國家科技獎勵工作后評估指標(biāo)的認(rèn)識基本趨于一致,無需第三輪咨詢。至此,國家科技獎勵工作后評估指標(biāo)體系基本確立,包括3 個一級指標(biāo)、8個二級指標(biāo)和28 個三級指標(biāo)(見表4)。
表4 國家科技獎勵工作后評估指標(biāo)體系
指標(biāo)體系確立之后,我們設(shè)計了《國家科技獎勵績效評價指標(biāo)權(quán)重專家咨詢問卷》,邀請了23 位專家學(xué)者對各層次內(nèi)指標(biāo)的相對重要程度進(jìn)行了兩兩比較,然后根據(jù)專家的賦權(quán)數(shù)據(jù)構(gòu)造了兩兩比較判斷矩陣,最后整理匯總所有專家的數(shù)據(jù),計算得出各指標(biāo)的綜合權(quán)重。
步驟一:構(gòu)造兩兩比較判斷矩陣
以專家1 對三個一級指標(biāo)的賦權(quán)數(shù)據(jù)為例,構(gòu)建兩兩比較的判斷矩陣(見表5)。
表5 一級指標(biāo)兩兩比較判斷矩陣結(jié)果
步驟二:計算指標(biāo)權(quán)重
其余類同,每列經(jīng)歸一化后的判斷矩陣為:
④各層指標(biāo)經(jīng)構(gòu)建兩兩比較判斷矩陣,計算專家1 的賦權(quán)結(jié)果。
步驟三:對判斷矩陣進(jìn)行一致性檢驗
步驟四:計算綜合權(quán)重
將各個層次指標(biāo)的相對權(quán)重系數(shù)相乘,求出各三級指標(biāo)相對于一級指標(biāo)的最終權(quán)重。經(jīng)過對23 位專家數(shù)據(jù)的加權(quán)平均,最終得出各個指標(biāo)的綜合權(quán)重(見表6)。
表6 國家科技獎勵工作后評估指標(biāo)綜合權(quán)重
指標(biāo)體系及權(quán)重確定之后,還需要進(jìn)一步明確指標(biāo)釋義和評分標(biāo)準(zhǔn)。結(jié)合“國家科技獎勵工作”操作化定義和后評估維度觀測范圍,可將三級指標(biāo)(終端指標(biāo))具體釋義見表7。
表7 國家科技獎勵工作后評估指標(biāo)釋義及數(shù)據(jù)來源
指標(biāo)體系明確后,如何對其進(jìn)行賦值,體現(xiàn)區(qū)分度,是接下來的重點(diǎn)工作。在實(shí)際操作中,評分標(biāo)準(zhǔn)主要有量表評分法、分檔評分法、直接計算評分法、改良計算評分法、直接扣分法等多種形式。結(jié)合國家科技獎勵工作后評估終端指標(biāo)具體釋義,我們首先對較為特殊指標(biāo)的評分方法進(jìn)行了針對性設(shè)計。其中,C44 咨詢考察覆蓋率、C52 信訪異議辦結(jié)率、C81 科技產(chǎn)出增加率、C82 經(jīng)濟(jì)效益增加率、C84 生態(tài)效益增加率等5 個客觀指標(biāo)適合采用改良計算評分法,即先計算相應(yīng)的比率,再將比率區(qū)分出若干檔次給出評分區(qū)間;C13 工作目標(biāo)可行性、C51公示環(huán)節(jié)執(zhí)行率、C53 保密工作有效性、C54 過程監(jiān)督覆蓋率和C55 檔案記錄完整性等5 個客觀指標(biāo),因無法嚴(yán)格計算比率而采用直接扣分法,即按照出現(xiàn)負(fù)面情況的嚴(yán)重程度進(jìn)行扣分(見表8)。其他主觀指標(biāo)采用李克特五級量表測量,即非常滿意計5 分、比較滿意計4 分、基本滿意計3 分、不太滿意計2 分、非常不滿意計1 分。以C61 評審服務(wù)滿意度為例,其評分計算公式為: C61 評審服務(wù)滿意度得分(百分制)=(非常滿意票數(shù)×5+比較滿意票數(shù)×4+基本滿意票數(shù)×3+不太滿意票數(shù)×2+非常不滿意票數(shù)×1)÷評議專家人數(shù)÷5×100。假如有8 位專家參與評議評審服務(wù),2 人非常滿意,4 人比較滿意,1 人基本滿意,1 人非常不滿意,則該指標(biāo)得分=(2×5+4×4+1×3+1×1)÷8÷5×100,即該指標(biāo)得75 分。
表8 國家科技獎勵工作后評估客觀指標(biāo)評分標(biāo)準(zhǔn)
表8 (續(xù))
為了進(jìn)一步驗證《國家科技獎勵工作后評估指標(biāo)體系》的科學(xué)性與操作性,需要在一定范圍內(nèi)開展試評估。根據(jù)《國家科技獎勵工作后評估指標(biāo)釋義及數(shù)據(jù)來源》,我們通過以下四種途徑獲取評估數(shù)據(jù):一是專家評議。設(shè)計《國家科技獎勵工作后評估專家評議問卷》,組織3 場專家座談會,43 位國家科技獎勵評審專家、研究專家、管理專家,結(jié)合部分后評估指標(biāo)對國家科技獎勵工作進(jìn)行評議打分。二是實(shí)地調(diào)研。設(shè)計《國家科技獎勵獲獎項目后評估調(diào)查問卷》,采集40 個2016 年度獲獎項目數(shù)據(jù),從科技產(chǎn)出、經(jīng)濟(jì)效益、社會效益、生態(tài)效益和文化效益等方面,實(shí)地了解項目的績效情況。三是問卷調(diào)查。設(shè)計《國家科技獎勵工作社會公眾滿意度調(diào)查問卷》,1 248 人參與了網(wǎng)絡(luò)問卷調(diào)查。四是深度訪談。設(shè)計了《國家科技獎勵工作后評估訪談提綱》對國家科技獎勵工作辦公室的相關(guān)工作人員進(jìn)行了深度訪談,對相關(guān)檔案材料進(jìn)行了查驗。綜合分析上述四類調(diào)研數(shù)據(jù),根據(jù)相應(yīng)的評分標(biāo)準(zhǔn),計算得出國家科技獎勵工作后評估的得分(見表9)。
表9 國家科技獎勵工作后評估得分表
試評估結(jié)果顯示,國家科技獎勵工作績效總體良好,綜合得分83.69,尤其是C52 信訪異議辦結(jié)率等7 個三級指標(biāo)均為滿分,此外,包括C41 受理過程規(guī)范性等8 個三級指標(biāo)的得分80 以上,充分說明自《關(guān)于深化科技獎勵制度改革的方案》頒布以來,國家科技獎勵工作在改進(jìn)提名方式、加強(qiáng)專家?guī)旖ㄔO(shè)、規(guī)范評審機(jī)制、簡化公示內(nèi)容、完善異議處理辦法、健全監(jiān)督機(jī)制等方面的改革效果;但仍有13 個三級指標(biāo)的得分低于80,說明國家科技獎勵工作中仍然存在一些薄弱環(huán)節(jié),比較突出的有,C43 評委安排科學(xué)性的得分最低,為69.6,專家們意見主要集中在“小同行評審覆蓋率偏低”“評審專家入庫標(biāo)準(zhǔn)不高”等。C31 獎種設(shè)置合理性得分70.200,意見主要集中在“國家科技獎勵數(shù)量偏少”“成果獎偏多、人物獎偏少”“缺少專門的青年獎”等。C63 獎后服務(wù)滿意度的得分72,意見主要集中在“重獎前申報、輕獎后服務(wù)”“部分獲獎項目后續(xù)發(fā)展缺乏支持”等。針對以上問題,提出如下改革措施:
一是全面實(shí)行小同行評審制。小同行評審制是國內(nèi)外科技評價中通行的做法,是評價結(jié)果權(quán)威性和公信力的重要保證。國家科技獎勵評審是一種特殊的科技評價工作,也應(yīng)采用小同行評審制。要及時總結(jié)國家自然科學(xué)獎領(lǐng)域小同行評審的工作經(jīng)驗,在此基礎(chǔ)上,在其他獎種評審中全面推開。為此,建議提前做好兩項工作:其一,大力加強(qiáng)專家?guī)旖ㄔO(shè),及時補(bǔ)充相關(guān)學(xué)科或領(lǐng)域的專家數(shù)量,為小同行專家遴選提供基礎(chǔ)條件。其二,細(xì)化優(yōu)化評審單元設(shè)置,建立評審單元與小同行專家動態(tài)匹配機(jī)制。
二是增設(shè)國家青年科技獎。雖然近年來國家科技獎勵第一完成人平均年齡呈現(xiàn)不斷下降趨勢,但是40 歲以下第一完成人的比例依然很小。同時,國家科技獎勵工作“減數(shù)提質(zhì)”改革,更是讓眾多優(yōu)秀的青年科技工作者對國家科技獎勵“望塵莫及”。因此,建議增設(shè)國家青年科技獎(40 歲以下),一方面可以大大激發(fā)廣大青年科技工作者的創(chuàng)新動力和熱情,另一方面有助于改變國家科技獎勵“成果獎偏多、人物獎偏少”的獎種結(jié)構(gòu)。
三是建立獎后跟蹤與服務(wù)長效機(jī)制。“重獎前、輕獎后”是中國科技成果管理領(lǐng)域的普遍現(xiàn)象。長期以來,中國科技成果管理鏈條上缺少了重要一環(huán)——獲獎成果獎后跟蹤與服務(wù),難以充分發(fā)揮國家科技獎勵對獲獎成果獎后轉(zhuǎn)化應(yīng)用的推動作用。為此,應(yīng)從跟蹤對象、跟蹤主體、服務(wù)平臺、制度保障等方面,積極探索構(gòu)建一套適合中國國情、能夠讓絕大多數(shù)科技工作者滿意的獎后跟蹤與服務(wù)長效機(jī)制。比如,可考慮對獲獎成果建立后續(xù)管理檔案并定期公布、實(shí)行獲獎項目年度報告制,同時落實(shí)各級后跟蹤服務(wù)機(jī)構(gòu)的工作責(zé)任制。
本文在對概念操作化的基礎(chǔ)上,明確了國家科技獎勵工作的后評估維度及觀測范圍,進(jìn)而運(yùn)用德爾菲法和層次分析法進(jìn)行后評估指標(biāo)篩選與賦權(quán),構(gòu)建了相對完整的國家科技獎勵工作后評估指標(biāo)體系,并在一定范圍內(nèi)進(jìn)行了實(shí)證檢驗,致力于為國家科技獎勵工作后評估的實(shí)施提供技術(shù)路徑。同時,研究還就試評估發(fā)現(xiàn)的評委安排、獎種設(shè)置、獎后服務(wù)等方面的突出問題,提出了全面實(shí)行小同行評審制、增設(shè)國家青年科技獎、建立獎后跟蹤與服務(wù)長效機(jī)制等具體的政策建議。需要指出的是,國家科技獎勵工作后評估是一項全新課題,也是一項復(fù)雜的系統(tǒng)工作。一個完整的后評估體系,除了評估指標(biāo)這個技術(shù)體系之外,還應(yīng)包括組織體系、制度體系、信息體系等多項內(nèi)容,本文做了一些相對初步的研究和探討,對于提出的評價指標(biāo)體系,仍需結(jié)合國家科技獎勵工作推進(jìn),持續(xù)改進(jìn)、完善。國家科技獎勵工作后評估體系從理論構(gòu)建到全面付諸實(shí)踐,需要有更多研究成果支撐。