競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估方法的創(chuàng)新與應(yīng)用

工業(yè)和信息化部裝備工業(yè)司 國(guó)防科工局軍工項(xiàng)目審核中心

競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估方法的創(chuàng)新與應(yīng)用

工業(yè)和信息化部裝備工業(yè)司 國(guó)防科工局軍工項(xiàng)目審核中心

專家會(huì)議文本評(píng)估方法對(duì)更好開展第三方評(píng)估，形成穩(wěn)定支持和競(jìng)爭(zhēng)性支持相協(xié)調(diào)的機(jī)制，公平公正地進(jìn)行競(jìng)爭(zhēng)，把科研項(xiàng)目安排在最具優(yōu)勢(shì)的研究單位，最大限度地激發(fā)科技第一生產(chǎn)力，都具有重要意義。

“十二五”期間，工業(yè)和信息化部裝備工業(yè)司委托國(guó)防科工局軍工項(xiàng)目審核中心作為第三方咨詢?cè)u(píng)估機(jī)構(gòu)，開展有關(guān)科研項(xiàng)目的評(píng)估。面對(duì)競(jìng)爭(zhēng)性科研項(xiàng)目出現(xiàn)的新情況、新特點(diǎn)，裝備司借鑒歐盟有關(guān)科研項(xiàng)目評(píng)估方法，結(jié)合我國(guó)科技體制和科技計(jì)劃的具體情況，與審核中心研究提出了專家會(huì)議文本評(píng)估方法。該方法的突出特點(diǎn)是：申報(bào)單位將項(xiàng)目建議書文本提交委托方，不到會(huì)議現(xiàn)場(chǎng)答辯；設(shè)立現(xiàn)場(chǎng)觀察員全程監(jiān)督評(píng)估過程；評(píng)估專家需當(dāng)眾宣布自己的評(píng)分并陳述理由；評(píng)估結(jié)論當(dāng)場(chǎng)公布并經(jīng)全體專家和觀察員簽字確認(rèn)。這種評(píng)估方法在實(shí)際應(yīng)用中卓有成效，得到競(jìng)爭(zhēng)性科研項(xiàng)目申報(bào)單位的高度認(rèn)可。

創(chuàng)新競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估方法的形勢(shì)與需求

采用一種新的評(píng)估方法評(píng)估競(jìng)爭(zhēng)性科研項(xiàng)目，是在深入分析競(jìng)爭(zhēng)性科研項(xiàng)目的新特點(diǎn)和常用評(píng)估方法不足后提出的。

競(jìng)爭(zhēng)性科研項(xiàng)目的新特點(diǎn)需要評(píng)估方法創(chuàng)新

最近幾年，隨著我國(guó)經(jīng)濟(jì)發(fā)展和技術(shù)進(jìn)步，競(jìng)爭(zhēng)性科研項(xiàng)目的申報(bào)單位范圍和數(shù)量都出現(xiàn)一些新的特點(diǎn)。一是申報(bào)單位的范圍不斷擴(kuò)大。近年來，隨著國(guó)有企業(yè)研究開發(fā)能力的提升和民營(yíng)企業(yè)經(jīng)濟(jì)技術(shù)實(shí)力的壯大，申報(bào)科研項(xiàng)目的單位不僅限于研究院所和高校，一些以生產(chǎn)制造為主的國(guó)有企業(yè)，改制、新建的民營(yíng)企業(yè)，都積極參與研究開發(fā)。二是同一項(xiàng)目的申報(bào)單位數(shù)量呈上升趨勢(shì)。一些新技術(shù)、新工藝、新產(chǎn)品開發(fā)，特別是具有一定市場(chǎng)前景的民用技術(shù)、軍民兩用技術(shù)的研究開發(fā)和新產(chǎn)品的研制項(xiàng)目，國(guó)內(nèi)往往有多家研究機(jī)構(gòu)、高校和企業(yè)具有相應(yīng)研究基礎(chǔ)和技術(shù)積累，具備承擔(dān)科研項(xiàng)目的資格。近年來，多家單位申報(bào)同一科研項(xiàng)目的情況呈上升趨勢(shì)，競(jìng)爭(zhēng)越來越激烈。

常用評(píng)估方法存在不足需要評(píng)估方法創(chuàng)新

長(zhǎng)期以來，科研項(xiàng)目的評(píng)估主要采取評(píng)估機(jī)構(gòu)組織專家和申報(bào)單位到會(huì)議現(xiàn)場(chǎng)答辯的方式進(jìn)行。采用這種方式進(jìn)行競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估擇優(yōu)，評(píng)估專家可當(dāng)場(chǎng)與申報(bào)單位進(jìn)行討論溝通，有助于準(zhǔn)確把握各參與競(jìng)爭(zhēng)單位的優(yōu)勢(shì)和弱項(xiàng)。但以會(huì)議現(xiàn)場(chǎng)答辯方式進(jìn)行競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估存在一些難以避免的問題。一是難以有效避免競(jìng)爭(zhēng)中的人為干擾因素。項(xiàng)目評(píng)估前或評(píng)估中，有的申報(bào)單位給熟悉的評(píng)估專家打招呼請(qǐng)予關(guān)照，影響專家評(píng)估工作。二是不利于專家客觀公正發(fā)表評(píng)估意見。鑒于一些技術(shù)領(lǐng)域研究機(jī)構(gòu)的有限性，很多項(xiàng)目不得不聘請(qǐng)與申報(bào)單位同一集團(tuán)的專家參與評(píng)估；會(huì)議現(xiàn)場(chǎng)答辯時(shí)，評(píng)估專家面對(duì)所屬集團(tuán)相關(guān)領(lǐng)導(dǎo)和兄弟廠所負(fù)責(zé)人，難以完全客觀公正發(fā)表意見。三是一些申報(bào)單位對(duì)項(xiàng)目論證和建議書編寫不夠深入。有的申報(bào)單位認(rèn)為現(xiàn)場(chǎng)答辯時(shí)講清問題即可，研究方案等核心內(nèi)容論述過于簡(jiǎn)略，主要依靠到場(chǎng)答辯時(shí)口頭解說項(xiàng)目技術(shù)方案。由于存在上述問題，出現(xiàn)過落選單位不認(rèn)同評(píng)估結(jié)論，到委托方申述并要求重新評(píng)估等情況。

面對(duì)競(jìng)爭(zhēng)性科研項(xiàng)目出現(xiàn)的新情況、新特點(diǎn)，為規(guī)避會(huì)議現(xiàn)場(chǎng)答辯評(píng)估中出現(xiàn)的問題，自2011年以來，裝備司和審核中心研究提出了競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估新方法——專家會(huì)議文本評(píng)估方法。

競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估新方法的主要制度創(chuàng)新

專家會(huì)議文本評(píng)估方法要求申報(bào)單位將項(xiàng)目建議書文本提交委托方，申報(bào)單位不到會(huì)議現(xiàn)場(chǎng)答辯，在觀察員全程監(jiān)督下，評(píng)估機(jī)構(gòu)組織專家按照既定程序開展評(píng)估工作。評(píng)估程序主要包括：評(píng)估機(jī)構(gòu)向?qū)＜液陀^察員介紹評(píng)估流程、有關(guān)原則和紀(jì)律要求；評(píng)估專家閱覽項(xiàng)目建議書，對(duì)參與項(xiàng)目競(jìng)爭(zhēng)的每份項(xiàng)目建議書進(jìn)行獨(dú)立評(píng)分（不得相互討論），按照規(guī)定時(shí)間在會(huì)議現(xiàn)場(chǎng)上交評(píng)分表；所有專家宣布自己對(duì)每份項(xiàng)目建議書的評(píng)分情況并詳細(xì)陳述理由；專家組集體討論，共同決定對(duì)每份項(xiàng)目建議書的得分是否進(jìn)行調(diào)整、如何調(diào)整，按照討論確定的分?jǐn)?shù)作為最終得分，對(duì)最終得分第一的項(xiàng)目建議書推薦立項(xiàng)；最后對(duì)推薦立項(xiàng)項(xiàng)目建議書的研究方案進(jìn)行詳細(xì)評(píng)估。與會(huì)議現(xiàn)場(chǎng)答辯評(píng)估相比較，專家會(huì)議文本評(píng)估方法主要在以下幾方面進(jìn)行了評(píng)估制度創(chuàng)新：

評(píng)估專家不與申報(bào)單位人員見面

所有參與該項(xiàng)目競(jìng)爭(zhēng)的申報(bào)單位只提供科研項(xiàng)目建議書和相關(guān)資料，均不到評(píng)估會(huì)議現(xiàn)場(chǎng)。評(píng)估專家所看到的只是項(xiàng)目建議書和相關(guān)資料，不與參與競(jìng)爭(zhēng)的申報(bào)單位人員見面。

設(shè)立現(xiàn)場(chǎng)觀察員全程參與評(píng)估過程

觀察員由參與競(jìng)爭(zhēng)單位的上級(jí)主管部門、集團(tuán)派出，其作用相當(dāng)于現(xiàn)場(chǎng)公證員。有關(guān)部門、集團(tuán)派出觀察員，要在會(huì)前報(bào)告委托方并經(jīng)委托方同意。觀察員全程參加相關(guān)項(xiàng)目的評(píng)估，可查閱參與相關(guān)項(xiàng)目競(jìng)爭(zhēng)的全部項(xiàng)目建議書，負(fù)責(zé)監(jiān)督評(píng)估會(huì)議程序的合規(guī)性、評(píng)估專家選取的合理性；對(duì)發(fā)現(xiàn)有違公平、公正的問題及時(shí)向委托方報(bào)告，但不得對(duì)項(xiàng)目的研究方案等發(fā)表意見?，F(xiàn)場(chǎng)觀察員制度的設(shè)立，使評(píng)估機(jī)構(gòu)和專家受到有效的監(jiān)督和約束，對(duì)保證整個(gè)項(xiàng)目評(píng)估過程的公開、公平和公正起到重要作用。

實(shí)行兩輪評(píng)分并去掉最高分和最低分

專家看完項(xiàng)目建議書后，按照定量評(píng)估評(píng)分表中的各個(gè)細(xì)項(xiàng)要求，獨(dú)立填寫對(duì)每份項(xiàng)目建議書的評(píng)分。專家在此階段不得相互討論，并按照規(guī)定時(shí)間在會(huì)議現(xiàn)場(chǎng)上交評(píng)分表。評(píng)估機(jī)構(gòu)按照去掉最高分和最低分等既定統(tǒng)計(jì)方法，計(jì)算出每份項(xiàng)目建議書的得分，做出第一輪得分統(tǒng)計(jì)表并張貼公布。第一輪評(píng)分結(jié)束后，經(jīng)評(píng)估專家組充分討論，決定對(duì)每份項(xiàng)目建議書的第一輪得分是否進(jìn)行調(diào)整、如何調(diào)整，按照討論確定的分?jǐn)?shù)作為第二輪得分；如果專家組不能達(dá)成一致意見，則按照少數(shù)服從多數(shù)的原則表決推薦立項(xiàng)的項(xiàng)目建議書。

評(píng)估專家當(dāng)眾宣布自己的評(píng)分結(jié)果并陳述評(píng)分理由

按照評(píng)估程序，每位專家需宣布自己獨(dú)立評(píng)分的評(píng)分結(jié)果，并詳細(xì)陳述評(píng)分理由。評(píng)估專家在評(píng)估機(jī)構(gòu)人員、觀察員、所有專家面前當(dāng)眾陳述評(píng)分理由，其評(píng)分結(jié)果的公正性受到嚴(yán)峻考驗(yàn)，有利于提高專家評(píng)分的客觀公正性。

評(píng)估結(jié)論當(dāng)場(chǎng)公布并經(jīng)全體專家和觀察員簽字確認(rèn)

第二輪排名第一的項(xiàng)目建議書推薦立項(xiàng)，第二輪得分統(tǒng)計(jì)表需由評(píng)估專家、觀察員現(xiàn)場(chǎng)簽字確認(rèn)；對(duì)推薦立項(xiàng)的項(xiàng)目建議書，評(píng)估專家組要對(duì)其研究?jī)?nèi)容、關(guān)鍵技術(shù)等研究方案進(jìn)行詳細(xì)評(píng)估，形成評(píng)估意見，并由全體專家當(dāng)場(chǎng)簽字確認(rèn)。其間，有不同意見的專家可寫出保留意見及理由。

競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估新方法的優(yōu)勢(shì)

近幾年在裝備司主管的某專項(xiàng)科研項(xiàng)目評(píng)估中，審核中心一直應(yīng)用專家會(huì)議文本評(píng)估方法，確保了競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估過程和結(jié)論的公平公正，數(shù)百個(gè)科研項(xiàng)目的評(píng)估均取得良好成效。與專家會(huì)議答辯評(píng)估方法相比，其具有明顯的優(yōu)勢(shì)。

有效提高了申報(bào)單位對(duì)項(xiàng)目論證和建議書的重視程度

由于評(píng)估專家看到的只是項(xiàng)目建議書，項(xiàng)目的論證深度、建議書編寫的質(zhì)量成為競(jìng)爭(zhēng)成敗的重要因素，申報(bào)單位對(duì)項(xiàng)目論證和建議書的編寫質(zhì)量更加重視，對(duì)研究?jī)?nèi)容、關(guān)鍵技術(shù)、技術(shù)指標(biāo)等核心內(nèi)容力圖論證充分，提交的項(xiàng)目建議書翔實(shí)程度日益提高。

有效降低了競(jìng)爭(zhēng)中的人為干擾因素

由于申報(bào)單位不到現(xiàn)場(chǎng)答辯，既不知道評(píng)估專家組成，也沒有機(jī)會(huì)與評(píng)估專家見面，基本避免了申報(bào)單位給熟悉的評(píng)估專家打招呼請(qǐng)予關(guān)照等情況，有效降低了競(jìng)爭(zhēng)中的人為干擾因素。評(píng)估現(xiàn)場(chǎng)對(duì)評(píng)估結(jié)果當(dāng)場(chǎng)簽字確認(rèn)，也避免了競(jìng)爭(zhēng)失敗的申報(bào)單位在會(huì)后托人情、找關(guān)系，試圖改變競(jìng)爭(zhēng)結(jié)果等情況。

有利于評(píng)估結(jié)論更加客觀公正

由于評(píng)估會(huì)議現(xiàn)場(chǎng)既沒有所謂“熟人”，又有觀察員在現(xiàn)場(chǎng)監(jiān)督（觀察員有權(quán)查閱參與競(jìng)爭(zhēng)的每一份項(xiàng)目建議書），評(píng)估專家還需當(dāng)眾宣布自己的評(píng)分結(jié)果并詳細(xì)陳述理由，評(píng)估意見的客觀性受到強(qiáng)有力的監(jiān)督。通過每位專家詳細(xì)陳述評(píng)分理由，也可使所有專家更全面地了解項(xiàng)目情況。所有專家在觀察員的監(jiān)督下經(jīng)充分討論集體推薦承研單位，評(píng)估結(jié)論相對(duì)更加客觀公正。近幾年在某專項(xiàng)的數(shù)百個(gè)競(jìng)爭(zhēng)性科研項(xiàng)目評(píng)估中，沒有出現(xiàn)申報(bào)單位對(duì)評(píng)估結(jié)論公正性有異議的情況，評(píng)估結(jié)論得到申報(bào)單位高度認(rèn)可。

《深化科技體制改革實(shí)施方案》中提出，要“制定監(jiān)督評(píng)估通則和標(biāo)準(zhǔn)規(guī)范，強(qiáng)化科技計(jì)劃實(shí)施和經(jīng)費(fèi)監(jiān)督檢查，開展第三方評(píng)估”“完善穩(wěn)定支持和競(jìng)爭(zhēng)性支持相協(xié)調(diào)的機(jī)制”。通過總結(jié)分析競(jìng)爭(zhēng)性科研項(xiàng)目的評(píng)估，可以看出，專家會(huì)議文本評(píng)估方法對(duì)更好開展第三方評(píng)估，形成穩(wěn)定支持和競(jìng)爭(zhēng)性支持相協(xié)調(diào)的機(jī)制，公平公正，把科研項(xiàng)目安排在最具優(yōu)勢(shì)的研究單位，最大限度地激發(fā)科技第一生產(chǎn)力，都具有重要意義。