科技評(píng)估 DIIS 方法

潘教峰 楊國(guó)梁 劉慧暉

中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院 北京 100190

科技評(píng)估作為科技管理的重要手段和工具，在促進(jìn)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展、科技進(jìn)步中發(fā)揮著重要作用。隨著新一輪科技革命和產(chǎn)業(yè)變革的加速演進(jìn)，科技活動(dòng)的復(fù)雜性和不確定性加大，對(duì)科技評(píng)估提出更高的要求。黨的十八大作出實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的重大部署，十八屆三中全會(huì)對(duì)科技體制改革提出新要求，黨中央、國(guó)務(wù)院相關(guān)文件提出要完善創(chuàng)新評(píng)價(jià)制度，加強(qiáng)對(duì)創(chuàng)新政策和科技改革任務(wù)的督察評(píng)估，定期對(duì)政策落實(shí)情況進(jìn)行跟蹤分析，并及時(shí)調(diào)整完善。因此，科技評(píng)估已成為新一輪科技體制改革的重要任務(wù)。

科技評(píng)估也已成為科技智庫任務(wù)的戰(zhàn)略重點(diǎn)。2017 年 2 月，中央深改組第三十二次會(huì)議審議通過了《國(guó)家科技決策咨詢制度建設(shè)方案》，強(qiáng)調(diào)建設(shè)國(guó)家科技決策咨詢制度，建立科技決策最高智庫；2016 年 5 月，習(xí)近平總書記在《為建設(shè)世界科技強(qiáng)國(guó)而奮斗》的重要講話中強(qiáng)調(diào)“要加快建立科技咨詢支撐行政決策的科技決策機(jī)制，加強(qiáng)科技決策咨詢系統(tǒng)，建設(shè)高水平科技智庫”。由是觀之，科技評(píng)估在智庫研究中扮演著雙重角色：一方面，科技評(píng)估是智庫研究的重要任務(wù)，無論是研判科技發(fā)展大勢(shì)和方向，還是從科技作用和影響的角度研究改革發(fā)展中的重大問題，科技智庫都要開展科技評(píng)估，為提出科學(xué)建議提供基礎(chǔ)；另一方面，科技評(píng)估是智庫研究質(zhì)量的重要保障，例如，在實(shí)踐中世界知名智庫都有對(duì)自身研究工作進(jìn)行評(píng)估的程序和制度安排，以此確保智庫研究成果質(zhì)量。因此，如何建設(shè)完善科學(xué)合理的科技評(píng)估方法體系，開展科學(xué)評(píng)估，為我國(guó)創(chuàng)新發(fā)展提供有力決策支撐，是我國(guó)科技決策咨詢體系和智庫建設(shè)中需要考慮的重要問題。然而，從現(xiàn)有科技評(píng)估方法來看，其通常作用于評(píng)估問題的局部，缺少?gòu)霓q證法及系統(tǒng)論角度對(duì)科技評(píng)估全過程方法體系的思考與認(rèn)知，需要發(fā)展系統(tǒng)、科學(xué)的新方法、新工具來加以解決。

中科院科技戰(zhàn)略咨詢研究院院長(zhǎng)潘教峰研究員[1]指出：科技智庫研究的對(duì)象往往是復(fù)雜、綜合的戰(zhàn)略和政策問題，不僅僅涉及科技問題，而且涉及經(jīng)濟(jì)、社會(huì)、環(huán)境、管理等諸多方面的問題，僅就科技問題而言，也往往是跨領(lǐng)域、跨學(xué)科、綜合交叉的。為此，潘教峰等[2]在分析國(guó)內(nèi)外智庫研究現(xiàn)狀基礎(chǔ)上，對(duì)智庫問題的一般性研究思路進(jìn)行系統(tǒng)歸納，從智庫問題研究的全過程，即“收集數(shù)據(jù)（Data）—揭示信息（Information）—綜合研判（Intelligence）—形成方案（Solution）”（DIIS），對(duì)智庫研究方法論進(jìn)行再思考，提出問題導(dǎo)向、證據(jù)導(dǎo)向、科學(xué)導(dǎo)向下的智庫研究 DIIS 理論方法。

智庫 DIIS 理論方法起源于對(duì)智庫研究全過程的思考與概括，系統(tǒng)歸納了智庫問題的一般研究規(guī)律，對(duì)智庫問題具有很好的適用性，同樣適用于科技評(píng)估。有鑒于此，本文利用智庫 DIIS 理論方法對(duì)科技評(píng)估全過程進(jìn)行再思考：首先，分析科技評(píng)估的內(nèi)涵及其發(fā)展面臨的新要求；其次，對(duì)智庫 DIIS 理論方法體系進(jìn)行簡(jiǎn)述；進(jìn)而，基于評(píng)估規(guī)律形成科技評(píng)估 DIIS 方法，并從 DIIS 視角對(duì)科技評(píng)估在科技決策咨詢中的作用進(jìn)行界定；最后，以機(jī)構(gòu)評(píng)估、項(xiàng)目評(píng)估、政策評(píng)估和研究質(zhì)量評(píng)估為例，分析科技評(píng)估 DIIS 方法的實(shí)踐應(yīng)用。

1 當(dāng)前科技評(píng)估面臨的問題

科技評(píng)估既是構(gòu)建科技競(jìng)爭(zhēng)發(fā)展環(huán)境的重要基礎(chǔ)，也是科技智庫進(jìn)行科技戰(zhàn)略管理和績(jī)效管理的重要工具。本節(jié)通過分析科技評(píng)估的內(nèi)涵，結(jié)合科技評(píng)估發(fā)展面臨的新要求，梳理現(xiàn)有科技評(píng)估方法體系中存在的問題。

1.1 科技評(píng)估的內(nèi)涵

科技評(píng)估根據(jù)科技決策者、資助者及相關(guān)利益群體的需求，確定價(jià)值標(biāo)準(zhǔn)，用科學(xué)的方法收集和處理評(píng)估對(duì)象的相關(guān)信息，是判斷價(jià)值實(shí)現(xiàn)程度的過程，體現(xiàn)了評(píng)估者的價(jià)值理念和價(jià)值追求。除遵循評(píng)估活動(dòng)的一般規(guī)律外，科技評(píng)估又由于科技活動(dòng)的性質(zhì)而具有特殊性：① 科學(xué)研究活動(dòng)的結(jié)果難以預(yù)測(cè)；② 科學(xué)研究活動(dòng)的成果難以定量評(píng)估；③ 科學(xué)研究成果所產(chǎn)生的作用和影響難以定量評(píng)估。

隨著科技在經(jīng)濟(jì)社會(huì)發(fā)展中的作用日益增強(qiáng)，科技評(píng)估的目的、對(duì)象、內(nèi)容等不斷延伸，成為科技戰(zhàn)略管理的重要工具和公眾理解科技的重要渠道。同時(shí)，科技評(píng)估的要素從不同的角度來看也不盡相同（表 1）。

表 1 科技評(píng)估基本要素

1.2 科技評(píng)估發(fā)展的新要求

在科技成為引領(lǐng)經(jīng)濟(jì)社會(huì)發(fā)展主導(dǎo)力量的今天，科技評(píng)估在科技活動(dòng)管理中的作用更加突出，豐富多樣、發(fā)展變化的科技活動(dòng)也對(duì)科技評(píng)估提出新的要求。

（1）科技評(píng)估需關(guān)注科技活動(dòng)的全過程?？萍荚u(píng)估的內(nèi)涵已從傳統(tǒng)單一產(chǎn)出環(huán)節(jié)的評(píng)估，拓展到科技規(guī)劃、科技投入、組織實(shí)施、科技產(chǎn)出及其影響效果等科技活動(dòng)各個(gè)環(huán)節(jié)的評(píng)估，需要采用目標(biāo)、過程、結(jié)果三者相結(jié)合的新模式對(duì)科技活動(dòng)進(jìn)行全過程的評(píng)估，以適應(yīng)科技活動(dòng)的發(fā)展變化。

（2）科技評(píng)估需充分發(fā)揮診斷分析的作用。隨著科技活動(dòng)的規(guī)模日益增大，科技管理決策所面臨的問題越來越復(fù)雜，科技評(píng)估應(yīng)更加注重對(duì)科學(xué)研究過程的診斷、分析和改進(jìn)，從而確定科學(xué)研究過程中存在的薄弱環(huán)節(jié)，提出相應(yīng)的改進(jìn)措施和方法。

（3）科技評(píng)估需注重定量評(píng)估與定性評(píng)估的有機(jī)結(jié)合。隨著政府和公眾對(duì)科技評(píng)估客觀性的要求日益增強(qiáng)，基于科學(xué)工具與方法的定量評(píng)估在科技評(píng)估中占有日益重要的位置。因此，開展科技評(píng)估活動(dòng)時(shí)應(yīng)注重在定量評(píng)估的基礎(chǔ)上進(jìn)行定性評(píng)估，或在定性評(píng)估基礎(chǔ)上進(jìn)行定量處理，結(jié)合客觀信息和專家經(jīng)驗(yàn)形成多角度全方位的綜合評(píng)估結(jié)果。

（4）科技評(píng)估需注重科學(xué)性和高質(zhì)量。目前許多科技評(píng)估報(bào)告的審核缺乏專業(yè)性，評(píng)估結(jié)果的可靠性和科學(xué)性有待商榷。因此，開展科技評(píng)估時(shí)應(yīng)從客觀事實(shí)和數(shù)據(jù)出發(fā)，形成可以循環(huán)論證的評(píng)估結(jié)果，確保評(píng)估結(jié)果的高質(zhì)量。

總體來看，隨著國(guó)家治理體系和治理能力現(xiàn)代化的深入發(fā)展，科技評(píng)估在我國(guó)政策實(shí)施情況評(píng)估、政策方案制定的前期論證中也發(fā)揮著重要的作用；同時(shí)，這也對(duì)我國(guó)科技評(píng)估工作的科學(xué)性和系統(tǒng)性提出了更高的要求。然而，從現(xiàn)有科技評(píng)估方法來看，通常作用于評(píng)估問題的局部，存在分散化和系統(tǒng)性缺乏的問題，缺少?gòu)霓q證法及系統(tǒng)論角度對(duì)科技評(píng)估全過程方法體系的思考與認(rèn)知，評(píng)估結(jié)果的科學(xué)性有待進(jìn)一步論證。

2 智庫 DIIS 理論方法

系統(tǒng)性方法體系缺乏的問題，并不僅僅存在于科技評(píng)估領(lǐng)域，而是在智庫咨詢研究中普遍存在。因此，需要先對(duì)智庫研究的理論方法體系進(jìn)行歸納，形成科學(xué)合理的研究方法，從而保證智庫研究成果的高質(zhì)量和客觀性。為此，本節(jié)簡(jiǎn)述潘教峰等[2]提出的系統(tǒng)性研究方法體系——智庫 DIIS 理論方法。

結(jié)合長(zhǎng)期從事科技戰(zhàn)略研究和重大規(guī)劃的經(jīng)驗(yàn)，潘教峰[1]總結(jié)提煉智庫研究問題的一般性思路，并將智庫問題的研究過程歸納為智庫 DIIS 理論方法：首先，圍繞所研究的問題全面收集各類相關(guān)數(shù)據(jù)和相關(guān)現(xiàn)象（Data）；其次，進(jìn)行專業(yè)化的挖掘、整理和分析，形成客觀的認(rèn)知（Information）；進(jìn)而，引入專家智慧對(duì)這些認(rèn)知進(jìn)行研判（Intelligence），得到新認(rèn)識(shí)和新思路；最后，在問題導(dǎo)向下提出解決方案或政策建議（Solution），最終為宏觀決策提供高質(zhì)量和有建設(shè)性的智庫研究報(bào)告。由上可知，DIIS 理論方法可以概括為“收集數(shù)據(jù)（Data）—揭示信息（Information）—綜合研判（Intelligence）—形成方案（Solution）”。

智庫 DIIS 理論方法針對(duì)現(xiàn)行智庫研究方法體系的系統(tǒng)性缺乏問題，歸納了智庫研究問題的一般性思路。具體地，在開展智庫研究時(shí)應(yīng)從問題導(dǎo)向、證據(jù)導(dǎo)向和科學(xué)導(dǎo)向出發(fā)[2,3]，基于 DIIS 理論方法對(duì)智庫問題進(jìn)行研究（圖 1）：?jiǎn)栴}導(dǎo)向是指智庫研究需要結(jié)合問題的特征進(jìn)行綜合研究，以問題為導(dǎo)向的 DIIS 研究遵循“凝練問題—分析問題—綜合問題—解決問題”4個(gè)階段的流程；證據(jù)導(dǎo)向是指智庫研究過程要有理有據(jù)，以證據(jù)為導(dǎo)向的 DIIS 研究從 DIIS 的 4 個(gè)階段出發(fā)保證智庫研究的高質(zhì)量；科學(xué)導(dǎo)向是指智庫研究要利用科學(xué)的研究方法和工具對(duì)問題進(jìn)行系統(tǒng)性研究，以科學(xué)為導(dǎo)向的 DIIS 研究從 DIIS 的 4 個(gè)階段出發(fā)保證智庫研究的科學(xué)性。

圖1 問題導(dǎo)向、證據(jù)導(dǎo)向和科學(xué)導(dǎo)向下的智庫DIIS理論方法

智庫 DIIS 理論方法遵循智庫研究問題的一般性思路，不僅適用于科技問題研究，而且可以應(yīng)用于社會(huì)、經(jīng)濟(jì)、生態(tài)等領(lǐng)域戰(zhàn)略和政策問題的研究。此外，在 DIIS 研究的 4 個(gè)環(huán)節(jié)及其全過程，應(yīng)始終堅(jiān)持方法創(chuàng)新，堅(jiān)持基于專業(yè)知識(shí)和科學(xué)證據(jù)的科學(xué)精神，用好技術(shù)預(yù)見、路線圖等有效的研究方法和工具，運(yùn)用信息技術(shù)、大數(shù)據(jù)技術(shù)、管理決策技術(shù)、融合匯聚技術(shù)、人工智能和運(yùn)籌學(xué)、系統(tǒng)工程、復(fù)雜科學(xué)等研究的最新成果，創(chuàng)新發(fā)展科技戰(zhàn)略咨詢研究的新方法、新模型、新工具，如科學(xué)結(jié)構(gòu)地圖、虛擬現(xiàn)實(shí)工具、政策模擬工具、可視化決策支持平臺(tái)等，發(fā)展形成有特色的智庫 DIIS 理論方法，不斷提高戰(zhàn)略咨詢研究工作的科學(xué)性，為國(guó)家宏觀決策提供科學(xué)咨詢建議和系統(tǒng)解決方案。

3 科技評(píng)估的 DIIS 方法與功能

智庫 DIIS 理論方法起源于對(duì)智庫研究工作的思考與概括，對(duì)智庫問題具有很好的適用性。本節(jié)擬在 DIIS 視角下分析科技評(píng)估的研究流程，形成科技評(píng)估 DIIS 方法，并從 DIIS 視角對(duì)科技評(píng)估在科技決策咨詢中的作用進(jìn)行界定。

從科技評(píng)估問題出發(fā)，基于 DIIS 理論方法，結(jié)合評(píng)估問題特征，在問題導(dǎo)向、證據(jù)導(dǎo)向和科學(xué)導(dǎo)向下進(jìn)行跨學(xué)科和多領(lǐng)域的研究，科技評(píng)估 DIIS 方法的流程具體如下：① 凝練評(píng)估問題階段，圍繞科技評(píng)估問題收集相關(guān)數(shù)據(jù)，綜合各學(xué)科知識(shí)對(duì)問題進(jìn)行關(guān)聯(lián)性分析，明確科技評(píng)估問題的特征，并將其分解為多個(gè)子問題，此階段對(duì)應(yīng) DIIS 的 Data（收集數(shù)據(jù)）；② 分析評(píng)估問題階段，對(duì)問題的相關(guān)數(shù)據(jù)進(jìn)行整理分析，對(duì)分解后的子問題進(jìn)行深入研究，形成客觀認(rèn)知和初步意見，此階段對(duì)應(yīng) DIIS 的 Information（揭示信息）；③ 綜合評(píng)估問題階段，系統(tǒng)整合集成各子問題的客觀認(rèn)知信息和初步意見，綜合專家意見進(jìn)行研判，此階段對(duì)應(yīng) DIIS 的Intelligence（綜合研判）；④ 解決評(píng)估問題階段，依據(jù)專家的綜合研判結(jié)果，給出評(píng)估結(jié)論和不同約束條件下的評(píng)估報(bào)告，此階段對(duì)應(yīng) DIIS 的 Solution（形成方案）。

基于上述 4 個(gè)階段的分析，將凝練評(píng)估問題、分析評(píng)估問題、綜合評(píng)估問題和解決評(píng)估問題 4 個(gè)階段凝練為 14 個(gè)步驟（圖 2），其中 3 項(xiàng)檢驗(yàn)步驟（步驟 3、10 和 13）可確?？萍荚u(píng)估問題研究的全面性和科學(xué)性，各步驟具體內(nèi)容如下。

3.1 凝練評(píng)估問題階段—Data

步驟 1：界定評(píng)估問題。界定科技評(píng)估問題的特征，注重各學(xué)科之間的聯(lián)系，對(duì)問題進(jìn)行跨學(xué)科與多領(lǐng)域的研究。

步驟 2：分解問題。將科技評(píng)估問題分解為多個(gè)子問題，并發(fā)掘關(guān)鍵的問題。

步驟 3：檢驗(yàn)問題。檢驗(yàn)步驟 2 中問題分解的全面性，若已分解全面，則進(jìn)入步驟 4；若尚未完全分解，則返回步驟 2 對(duì)問題補(bǔ)充數(shù)據(jù)重新分解。

步驟 4：確定問題及技術(shù)路線。確定需深入研究的子問題，并依據(jù)研究目標(biāo)、對(duì)象、資源約束及具體需求形成解決問題的技術(shù)路線。

3.2 分析評(píng)估問題階段—Information

步驟 5：數(shù)據(jù)收集。收集各項(xiàng)子問題的相關(guān)數(shù)據(jù)。

步驟 6：研究子問題。整理分析各子問題的相關(guān)數(shù)據(jù)，初步形成客觀認(rèn)知。

步驟 7：綜合研判子問題。綜合相關(guān)領(lǐng)域?qū)＜业囊庖妼?duì)各子問題進(jìn)行綜合研判。

步驟 8：形成初步方案。依據(jù)綜合研判的結(jié)果，初步形成各子問題的解決方案。

3.3 綜合評(píng)估問題階段—Intelligence

步驟 9：集成研究問題。綜合各子問題的研究結(jié)果，集成得到問題的研究結(jié)果。

步驟 10：檢驗(yàn)研究。檢驗(yàn)步驟 9 的集成結(jié)果是否全面解決問題，若已全面，則進(jìn)入步驟 11；若未全面解決問題，則返回步驟 4 循環(huán)論證研究過程。

步驟11：綜合研判。利用不確定性分析與博弈論等方法進(jìn)行利益相關(guān)者分析，綜合專家意見對(duì)問題進(jìn)行綜合研判。

3.4 解決評(píng)估問題階段—Solution

步驟 12：形成多情景方案?；趯＜业木C合研判結(jié)果，構(gòu)建條件問題，給出不同條件約束下的方案集，形成初步報(bào)告。

步驟 13：檢驗(yàn)報(bào)告。依據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)報(bào)告進(jìn)行檢驗(yàn)，若達(dá)到標(biāo)準(zhǔn)，則進(jìn)入步驟 14，即生成科技評(píng)估報(bào)告；若未達(dá)到標(biāo)準(zhǔn)，則返回步驟 1 循環(huán)論證研究過程。

步驟 14：生成評(píng)估報(bào)告。依據(jù)規(guī)范化格式生成最終達(dá)標(biāo)的科技評(píng)估報(bào)告。

圖2 科技評(píng)估 DIIS 方法

結(jié)合上述研究流程，從 DIIS 視角出發(fā)可將科技評(píng)估在科技決策咨詢中的作用界定為六大功能：證據(jù)形成功能、衡量比較功能、診斷分析功能、前瞻預(yù)測(cè)功能、價(jià)值導(dǎo)向與判斷功能和質(zhì)量控制功能（表 2）。

4 科技評(píng)估實(shí)踐的再認(rèn)識(shí)

科技評(píng)估作為科技智庫研究的重要課題，廣泛應(yīng)用于國(guó)內(nèi)外智庫的研究中。本節(jié)以德國(guó)馬普學(xué)會(huì)、美國(guó)國(guó)家科學(xué)基金會(huì)、國(guó)務(wù)院重大水利工程政策和英國(guó)高等教育機(jī)構(gòu)科研水平的科技評(píng)估為例，分析科技評(píng)估 DIIS 方法在機(jī)構(gòu)評(píng)估、項(xiàng)目評(píng)估、政策評(píng)估和研究質(zhì)量評(píng)估中的應(yīng)用。

4.1 德國(guó)馬普學(xué)會(huì)研究所評(píng)估實(shí)踐

德國(guó)馬普學(xué)會(huì)主要開展德國(guó)大學(xué)和其他科研機(jī)構(gòu)難以承擔(dān)的自然科學(xué)、社會(huì)科學(xué)與人文藝術(shù)領(lǐng)域的基礎(chǔ)研究，同時(shí)為馬普學(xué)會(huì)以外的科研人員提供儀器設(shè)備、文獻(xiàn)資源等。該學(xué)會(huì)在評(píng)估時(shí)聚焦于基礎(chǔ)前沿研究，注重研究成果的質(zhì)量，并充分重視研究人員的選擇，給予研究人員充分的自由。對(duì)馬普學(xué)會(huì)研究所評(píng)估實(shí)踐可參見文獻(xiàn)[4]。

分析馬普學(xué)會(huì)的評(píng)估過程，可以發(fā)現(xiàn)，其基本遵循了科技評(píng)估 DIIS 的研究思路，具體歸納分析如下：① 收集數(shù)據(jù)——Data。收集各個(gè)學(xué)科的相關(guān)數(shù)據(jù)，包括產(chǎn)出和影響方面，為各領(lǐng)域分類評(píng)估提供基礎(chǔ)性數(shù)據(jù)支撐。② 揭示信息——Information。通過文獻(xiàn)計(jì)量數(shù)據(jù)分析，從學(xué)術(shù)產(chǎn)出質(zhì)量和影響的維度揭示研究所各領(lǐng)域科學(xué)前沿和產(chǎn)出影響，揭示不同領(lǐng)域科研活動(dòng)若干關(guān)鍵點(diǎn)和關(guān)鍵環(huán)節(jié)上的重要信息。③ 綜合研判——Intelligence。將數(shù)據(jù)分析與各領(lǐng)域權(quán)威專家的知識(shí)和研判結(jié)合，重在分析研究所在國(guó)內(nèi)外的地位以及對(duì)青年科學(xué)家的支持，提出研究所各領(lǐng)域診斷評(píng)估意見。④ 形成方案——Solution。面向馬普研究所的未來發(fā)展需求，在評(píng)估結(jié)果的基礎(chǔ)上形成對(duì)研究所未來發(fā)展和努力方向的建議。

表 2 DIIS 視角下科技評(píng)估的功能

4.2 美國(guó)國(guó)家科學(xué)基金會(huì)研究成果評(píng)估實(shí)踐

美國(guó)國(guó)家科學(xué)基金會(huì)（簡(jiǎn)稱 NSF）是最具代表性和影響力的國(guó)家級(jí)政府科學(xué)基金資助機(jī)構(gòu)之一，主要面向科學(xué)和工程學(xué)的基礎(chǔ)研究項(xiàng)目和教育研究項(xiàng)目，旨在推動(dòng)科學(xué)進(jìn)步，促進(jìn)國(guó)民健康和繁榮，保障國(guó)防安全。NSF 每年都要從其資助項(xiàng)目的研究成果中遴選出最有顯示度的亮點(diǎn)成果，作為績(jī)效評(píng)估報(bào)告的重要部分報(bào)送國(guó)會(huì)，同時(shí)通過亮點(diǎn)成果向社會(huì)公眾展示其資助成效。美國(guó) NSF 績(jī)效評(píng)估實(shí)踐可參見文獻(xiàn)[5]。

分析 NSF 研究成果的評(píng)估過程，可以發(fā)現(xiàn)，其基本遵循了科技評(píng)估 DIIS 的研究思路，具體歸納分析如下：① 收集數(shù)據(jù)——Data。收集 NSF 各研究項(xiàng)目的相關(guān)數(shù)據(jù)，包括項(xiàng)目的研究?jī)r(jià)值、潛在的影響和意義、產(chǎn)生的突破性研究成果以及社會(huì)經(jīng)濟(jì)效益等，為研究成果評(píng)估提供基礎(chǔ)性數(shù)據(jù)支撐。② 揭示信息——Information。通過對(duì)成果信息的綜合分析，找出與 NSF 戰(zhàn)略目標(biāo)最相關(guān)且最重要的研究成果。③ 綜合研判——Intelligence。在科學(xué)處、科學(xué)局、機(jī)構(gòu) 3 個(gè)層面，將數(shù)據(jù)分析與不同外部專家的知識(shí)相結(jié)合，對(duì)照 NSF 的戰(zhàn)略目標(biāo)研判項(xiàng)目成果的突破性程度。④ 形成方案——Solution。根據(jù)研判結(jié)果，篩選最有顯示度的亮點(diǎn)成果，納入 NSF 年度績(jī)效報(bào)告，并對(duì)外公布亮點(diǎn)成果，向社會(huì)公眾展示其資助成效。

4.3 國(guó)務(wù)院重大水利工程政策第三方評(píng)估實(shí)踐

根據(jù)國(guó)務(wù)院部署（國(guó)發(fā)明電〔2014〕1 號(hào)），中科院作為第三方評(píng)估機(jī)構(gòu)對(duì)“加快重大水利工程建設(shè)，今年（2014 年）再解決 6 000 萬農(nóng)村人口飲水安全問題的政策措施落實(shí)情況”開展評(píng)估。中科院由院領(lǐng)導(dǎo)牽頭，成立評(píng)估領(lǐng)導(dǎo)小組、專家組和咨詢組，組織重大水利工程組和農(nóng)村人口飲水安全組分別開展部委、地方政府和利益相關(guān)方訪談，通過項(xiàng)目實(shí)地調(diào)研評(píng)估政策措施的落實(shí)情況。

總結(jié)重大水利工程政策的第三方評(píng)估過程，可以發(fā)現(xiàn)，其基本遵循了科技評(píng)估 DIIS 的研究思路，具體歸納分析如下：① 收集數(shù)據(jù)——Data。通過資料調(diào)研、座談訪談與實(shí)地考察相結(jié)合等方式，收集重大水利工程建設(shè)和農(nóng)村飲水安全相關(guān)規(guī)劃和項(xiàng)目數(shù)據(jù)，為政策第三方評(píng)估提供基礎(chǔ)性數(shù)據(jù)支撐。② 揭示信息——Information。通過定性分析文獻(xiàn)資料、定量分析數(shù)據(jù)統(tǒng)計(jì)資料、統(tǒng)計(jì)分析批量研究調(diào)查問卷，對(duì)數(shù)據(jù)進(jìn)行處理分析。③ 綜合研判——Intelligence。組織專家組多次召開集中研討會(huì)議，將數(shù)據(jù)分析與專家長(zhǎng)期研究經(jīng)驗(yàn)相結(jié)合，對(duì)政策實(shí)施情況的主要評(píng)估指標(biāo)進(jìn)行打分。④ 形成方案——Solution。根據(jù)研判結(jié)果，從體制機(jī)制和政策方面提出建議，形成第三方評(píng)估報(bào)告，報(bào)送國(guó)務(wù)院常務(wù)會(huì)議。

4.4 英國(guó)高等教育機(jī)構(gòu)科研水平評(píng)估（REF）實(shí)踐

英國(guó)四大高等教育基金委員會(huì)（HEFCE，SHEFC，HEFCW 和 DEL）從 1986 年開始，在全英國(guó)范圍內(nèi)推行科研評(píng)估制度（簡(jiǎn)稱 RAE），為英國(guó) 350 余所大學(xué)和高等學(xué)院政府下?lián)艿幕A(chǔ)性研究經(jīng)費(fèi)提供決策依據(jù)。由于 RAE 評(píng)估耗資巨大，同時(shí)需要耗費(fèi)大量評(píng)審專家的時(shí)間，英國(guó)社會(huì)各界對(duì) RAE 評(píng)估頗有微詞。因此，英國(guó)政府 2008 年對(duì) RAE 評(píng)估進(jìn)行了改革，提出了新的卓越研究評(píng)估框架 REF，并于 2014 年在英國(guó)推行①參見：http://www.ref.ac.uk/。REF 評(píng)估實(shí)踐可以參見文獻(xiàn)[6]。

REF 采用專家評(píng)議方式開展針對(duì)高?？蒲腥藛T研究質(zhì)量的評(píng)估，并為高等教育基金委員會(huì)的撥款提供依據(jù)，成為英國(guó)政府監(jiān)控和提高高?？蒲匈|(zhì)量的手段，有利于促使大學(xué)形成良好的內(nèi)部競(jìng)爭(zhēng)機(jī)制。分析 REF 研究質(zhì)量評(píng)估過程，可以發(fā)現(xiàn)，其基本遵循了科技評(píng)估 DIIS 的研究思路，具體歸納分析如下：① 收集數(shù)據(jù)——Data。收集待評(píng)估人員的科研活動(dòng)詳細(xì)信息和科研成果，形成評(píng)估材料，為科研人員評(píng)估提供基礎(chǔ)性數(shù)據(jù)支撐。② 揭示信息——Information。通過對(duì)評(píng)估材料的綜合分析，形成科研人員的初步評(píng)估結(jié)果。③ 綜合研判——Intelligence。評(píng)估組（包括子評(píng)估組、跨組顧問、觀察員、外籍專家等）運(yùn)用各自的學(xué)科專長(zhǎng)，根據(jù)評(píng)分等級(jí)形成每份材料的總體看法。④ 形成方案——Solution。根據(jù)研判結(jié)果，形成參加評(píng)估的高校得到年度政府經(jīng)費(fèi)撥款的重要決策依據(jù)。

4.5 對(duì)科技評(píng)估實(shí)踐的分析

通過機(jī)構(gòu)評(píng)估、項(xiàng)目評(píng)估、政策評(píng)估和研究質(zhì)量評(píng)估的實(shí)踐案例分析表明，其整體評(píng)估過程基本都遵循了科技評(píng)估 DIIS 的研究思路，但由于目標(biāo)對(duì)象的差異性，科技評(píng)估在 DIIS 各個(gè)環(huán)節(jié)的側(cè)重有所不同。例如，以 Intelligence 環(huán)節(jié)為例，在德國(guó)馬普學(xué)會(huì)開展的機(jī)構(gòu)評(píng)估中，該環(huán)節(jié)側(cè)重于其研究所各領(lǐng)域的科學(xué)前沿和產(chǎn)出影響；在美國(guó) NSF 開展的項(xiàng)目評(píng)估中，該環(huán)節(jié)側(cè)重于對(duì)項(xiàng)目成果的突破性程度進(jìn)行研判；在中科院開展的國(guó)務(wù)院重大水利工程政策評(píng)估中，該環(huán)節(jié)側(cè)重于對(duì)政策實(shí)施情況的分析；在英國(guó)REF評(píng)估中，該環(huán)節(jié)側(cè)重于對(duì)參評(píng)人員的科研活動(dòng)質(zhì)量進(jìn)行評(píng)估?？梢钥闯?，科技評(píng)估對(duì)象和目的的不同直接導(dǎo)致了評(píng)估價(jià)值導(dǎo)向的差異，并且貫穿于 DIIS 的 4 個(gè)環(huán)節(jié)中。

5 結(jié)論

隨著科學(xué)技術(shù)的飛速發(fā)展，如何抓住新一輪科技革命和產(chǎn)業(yè)革命交匯期的歷史機(jī)遇以掌握競(jìng)爭(zhēng)發(fā)展的主動(dòng)權(quán)，是我國(guó)推進(jìn)創(chuàng)新驅(qū)動(dòng)發(fā)展、建設(shè)世界科技強(qiáng)國(guó)需要考慮的重要課題，需要科技智庫通過科學(xué)合理的科技評(píng)估體系洞悉未來科技發(fā)展趨勢(shì)、準(zhǔn)確研判發(fā)展方向和戰(zhàn)略重點(diǎn)，為提出前瞻咨詢建議和系統(tǒng)解決方案奠定研究分析基礎(chǔ)。因此，科技評(píng)估不僅是智庫研究的重要任務(wù)，而且是智庫研究質(zhì)量的重要保障。本文將智庫 DIIS 理論方法運(yùn)用于科技評(píng)估，形成了凝練評(píng)估問題、分析評(píng)估問題、綜合評(píng)估問題和解決評(píng)估問題 4 個(gè)階段的科技評(píng)估 DIIS 方法，并從 DIIS 視角重新揭示了科技評(píng)估在科技決策咨詢中的 6 個(gè)作用，彌補(bǔ)了現(xiàn)有科技評(píng)估研究中存在的不足；此外，通過典型案例分析了科技評(píng)估 DIIS 方法的實(shí)踐應(yīng)用，為我國(guó)科技評(píng)估實(shí)踐提供一種方法指引與支撐。

1 潘教峰. 科技智庫研究的 DIIS 理論方法. 中國(guó)科學(xué)報(bào), 2017-01-09(7).

2 潘教峰, 楊國(guó)梁, 劉慧暉. 智庫 DIIS 理論方法. 中國(guó)管理科學(xué),2017, 25(Special Issue): 1-14.

3 潘教峰. 加強(qiáng)智庫建設(shè) 推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化——潘教峰研究員訪談. 中國(guó)科學(xué)院院刊, 2017, 32(3): 297-302.

4 中國(guó)科學(xué)院科技評(píng)價(jià)研究組. 關(guān)于我院科技評(píng)價(jià)工作的若干思考. 中國(guó)科學(xué)院院刊，2007, 22(2): 104-114.

5 鄭永和, 劉云, 何鳴鴻. 科學(xué)基金績(jī)效評(píng)估方案設(shè)計(jì)中的若干問題研究. 中國(guó)基礎(chǔ)科學(xué), 2008, (2): 41-44.

6 劉莉. 英國(guó)大學(xué)科研評(píng)價(jià)改革：從RAE到REF. 科學(xué)學(xué)與科學(xué)技術(shù)管理. 2014, 35(2): 39-45.