國際社會對科研基礎(chǔ)設(shè)施影響的評估及其對我國的啟示

劉 婭

（中國科學(xué)技術(shù)信息研究所，北京 100038）

0 引言

科研基礎(chǔ)設(shè)施在歐美等國家被稱為研究基礎(chǔ)設(shè)施（Research Infrastructure，RI），指在不同領(lǐng)域用于研究開發(fā)和促進(jìn)創(chuàng)新的設(shè)施、資源和服務(wù)，包括各類科學(xué)設(shè)備或儀器和以知識為基礎(chǔ)的資源（如館藏、檔案和科學(xué)數(shù)據(jù)、電子基礎(chǔ)設(shè)施等），以及為實(shí)現(xiàn)卓越的研究和創(chuàng)新所必需的任何其他工具[1]?？蒲谢A(chǔ)設(shè)施對于促進(jìn)和發(fā)展諸多科學(xué)領(lǐng)域的研究開發(fā)必不可少，雖然其旨在支持研發(fā)需求，但影響卻遠(yuǎn)超出了科學(xué)成果和知識生產(chǎn)，對社會經(jīng)濟(jì)發(fā)展具有突出的貢獻(xiàn)。

隨著各國對科研基礎(chǔ)設(shè)施的投入不斷增大，科研基礎(chǔ)設(shè)施建設(shè)所產(chǎn)生的影響備受社會關(guān)注。政府管理部門、資助機(jī)構(gòu)和設(shè)施運(yùn)行機(jī)構(gòu)越來越期望采用系統(tǒng)和透明的程序來客觀評價(jià)這些影響，從而針對科研基礎(chǔ)設(shè)施的新項(xiàng)目實(shí)施或?qū)ΜF(xiàn)有項(xiàng)目再投入做出客觀和正確的決策。經(jīng)濟(jì)合作與發(fā)展組織（OECD）、歐盟委員會等國際組織以及部分歐洲國家基于不同視角，對此進(jìn)行了研究并開展了相關(guān)的實(shí)踐活動。本文將總結(jié)研究評估科研基礎(chǔ)設(shè)施影響的國際經(jīng)驗(yàn)，并對開展我國科研基礎(chǔ)設(shè)施建設(shè)工作的評估提出相應(yīng)的建議。

1 OECD對科研基礎(chǔ)設(shè)施影響的評估

OECD對RI產(chǎn)生影響的評價(jià)工作非常重視。近年來，經(jīng)濟(jì)合作與發(fā)展組織全球科學(xué)論壇（OECD Global Science Forum，GSF）不斷發(fā)起相關(guān)討論和研究工作。2014年基于歐洲核研究組織案例，分析了大型RI對經(jīng)濟(jì)創(chuàng)新和社會的影響[2]；2017年通過開展“加強(qiáng)國際RI的有效性和可持續(xù)性”研究，討論了RI資助者、管理者和運(yùn)營商在設(shè)施生命周期的不同階段所面臨的挑戰(zhàn)[3]；2019年在經(jīng)過2年多的研究后，發(fā)布了“RI科學(xué)和社會經(jīng)濟(jì)影響的評估參考框架”，為各國開展相關(guān)評估和研究工作提供了較為全面和權(quán)威的工作指南[4]。該框架是由2016年GSF組建的來自成員國和相關(guān)國際組織的25人專家組，通過針對全球21家大型RI的系統(tǒng)性調(diào)查和研究后形成的政策文件，旨在根據(jù)當(dāng)前實(shí)踐，以相對理想化方式評測RI實(shí)現(xiàn)科學(xué)和社會經(jīng)濟(jì)目標(biāo)的水平。

1.1 OECD評估參考框架的基本指標(biāo)

OECD評估參考框架針對RI所產(chǎn)生影響的評估設(shè)計(jì)較為靈活，可以適應(yīng)不同類型RI（分布式、單站點(diǎn)、虛擬等）和RI生命周期的不同階段（準(zhǔn)備、構(gòu)建、運(yùn)行等）的需要。該框架設(shè)定了以下7大評估目標(biāo)：目標(biāo)1是國家領(lǐng)先或國際領(lǐng)先的RI或支撐科研工作的賦能設(shè)施；目標(biāo)2是支撐創(chuàng)新的賦能設(shè)施；目標(biāo)3是融入?yún)^(qū)域集群/區(qū)域戰(zhàn)略或成為促進(jìn)區(qū)域合作的樞紐；目標(biāo)4是促進(jìn)教育延展和知識擴(kuò)散；目標(biāo)5是為公共政策提供科學(xué)支持；目標(biāo)6是提供高質(zhì)量的科學(xué)數(shù)據(jù)和相關(guān)服務(wù)；目標(biāo)7是承擔(dān)社會責(zé)任。

圍繞上述目標(biāo)，GSF認(rèn)為應(yīng)當(dāng)通過5個維度（S為科學(xué)影響，T為技術(shù)影響，E為經(jīng)濟(jì)影響，H為培訓(xùn)和教育影響，O為社會影響）來反映RI產(chǎn)生的影響，由此設(shè)計(jì)的參考框架標(biāo)準(zhǔn)指標(biāo)共有58個。這些指標(biāo)服務(wù)于不同目標(biāo)的評價(jià)工作。其中，用于目標(biāo)1的指標(biāo)11個，用于目標(biāo)2的指標(biāo)10個，用于目標(biāo)3的指標(biāo)12個，用于目標(biāo)4的指標(biāo)11個，用于目標(biāo)5的指標(biāo)3個，用于目標(biāo)6的指標(biāo)7個，用于目標(biāo)7的指標(biāo)4個。

科學(xué)影響類指標(biāo)共14個（表1），主要涉及論文發(fā)表及引用情況、項(xiàng)目資助、科學(xué)界使用情況、數(shù)據(jù)開放等方面。

表1 OECD的科學(xué)影響指標(biāo)

技術(shù)影響類指標(biāo)共15個（表2），主要涉及項(xiàng)目、產(chǎn)業(yè)合作項(xiàng)目、專利、企業(yè)使用情況、數(shù)據(jù)開放與服務(wù)等方面。

表2 OECD的技術(shù)影響指標(biāo)

經(jīng)濟(jì)影響類指標(biāo)共8個（表3），主要涉及支出、公共采購、人力資源、新建企業(yè)等方面。

表3 OECD的經(jīng)濟(jì)影響指標(biāo)

培訓(xùn)和教育影響類指標(biāo)共8個（表4），主要涉及培訓(xùn)對象規(guī)模與分布、培訓(xùn)項(xiàng)目、支持資源等方面。

表4 OECD的培訓(xùn)和教育影響指標(biāo)

社會影響類指標(biāo)共13個（表5），主要涉及公共政策、公共顯示度、信息共享、資源使用等方面。

表5 OECD的社會影響指標(biāo)

1.2 OECD評估參考框架的核心指標(biāo)

為了更好地應(yīng)用該指標(biāo)體系，GSF在58個指標(biāo)中篩選出25個指標(biāo)作為核心影響指標(biāo)（Core Impact Indicators，CII），如表6所示。GSF認(rèn)為，CII指標(biāo)是最具代表性的指標(biāo)，可以較為簡便但全面地反映特定時間內(nèi)RI的科學(xué)、社會、經(jīng)濟(jì)影響的總體狀況。同時，CII指標(biāo)的有用性和相關(guān)性會因RI的生命周期和業(yè)務(wù)類型的不同而不同。因此，為了幫助管理者和利益相關(guān)者對CII指標(biāo)進(jìn)行恰當(dāng)?shù)倪x取，GSF將RI劃分為執(zhí)行研究類RI、設(shè)備提供類RI、數(shù)據(jù)/樣本資源類RI三類。

（1）執(zhí)行研究類RI。見表6 RI類型中的類型1。此類RI主要是由RI科研人員或外部用戶利用RI的儀器設(shè)備所產(chǎn)生的數(shù)據(jù)資料進(jìn)行研究，并細(xì)分為實(shí)驗(yàn)設(shè)施（如粒子加速器、分析設(shè)施、生物醫(yī)學(xué)設(shè)施等）和觀測平臺（如望遠(yuǎn)鏡、環(huán)境觀測站等）兩類。

（2）設(shè)備提供類RI。見表6 RI類型中的類型2。此類RI提供技術(shù)/測試/儀器/ICT資源和服務(wù)（如支持技術(shù)開發(fā)、創(chuàng)新、展示、原型制作等）。

（3）數(shù)據(jù)/樣本資源類RI。見表6 RI類型中的類型3。此類RI通過連接到分布式節(jié)點(diǎn)的中央門戶向用戶提供對數(shù)據(jù)或樣本集的訪問，并細(xì)分為面向數(shù)據(jù)的基礎(chǔ)設(shè)施和標(biāo)本收集（生物庫、生物檔案）兩類。

上述三類RI不是相互排斥關(guān)系，一些大型國際科研基礎(chǔ)設(shè)施可能同屬于這三類。GSF根據(jù)RI類型按照不同生命周期階段對CII指標(biāo)相關(guān)性進(jìn)行了標(biāo)識，評估工作可以根據(jù)需要按照表6標(biāo)識進(jìn)行對應(yīng)性選取。

表6 OECD的CII指標(biāo)及適用范圍

需要注意的是，GSF設(shè)計(jì)的指標(biāo)大多是根據(jù)現(xiàn)有實(shí)踐提煉的，因此在某些情況下還不能適應(yīng)RI的發(fā)展。如科學(xué)界和政策界對使用引文數(shù)據(jù)（S2）作為影響衡量指標(biāo)存在不少質(zhì)疑。類似地，數(shù)據(jù)訪問收費(fèi)（T28）可能有悖于促進(jìn)加強(qiáng)對研究數(shù)據(jù)訪問的政策導(dǎo)向。因此，GSF提出框架的指標(biāo)會被不斷修訂，同時也建議評估活動要根據(jù)具體評估對象的實(shí)際需求參考使用框架的指標(biāo)。

續(xù)表

續(xù)表

2 歐洲對科研基礎(chǔ)設(shè)施影響的評估

RI建設(shè)是21世紀(jì)歐洲科技政策議程的核心議題之一。2002年，歐盟委員會組建了歐洲科研基礎(chǔ)設(shè)施戰(zhàn)略論壇（The European Strategy Forum on Research Infrastructures，ESFRI）。其任務(wù)是對歐洲RI政策制定采取協(xié)調(diào)一致和以戰(zhàn)略為主導(dǎo)的方法，以保證在歐盟層級上更好地建設(shè)和使用RI。2006年，ESFRI發(fā)布?xì)W洲第一個RI路線圖；2016年，發(fā)布新的路線圖并于2018年更新，提出了確保歐洲在所有科學(xué)和創(chuàng)新領(lǐng)域擁有卓越RI的戰(zhàn)略愿景[5]。同時，歐盟在其研究與創(chuàng)新框架計(jì)劃如“地平線2020計(jì)劃”（2014—2020年）和“地平線歐洲計(jì)劃”（2021—2027年）中均對RI建設(shè)進(jìn)行積極部署，分別設(shè)定了25億歐元和24億歐元的預(yù)算[6]。2014—2020年，歐盟區(qū)域發(fā)展基金共投入66億歐元用于支持RI建設(shè)。歐洲國家每年相應(yīng)的投入規(guī)模也達(dá)到100億歐元左右[7]。

歐盟高度關(guān)注RI評估。2017年，ESFRI提出需要構(gòu)建一個評估框架模型，以指導(dǎo)對不同類型IR進(jìn)行比較，由此把握不同科學(xué)領(lǐng)域的差異，以及它們能給社會和不同國家?guī)淼膹V泛影響[8]，并開展了相關(guān)的研究工作。歐盟及其成員國自身也進(jìn)行了不同規(guī)模的評估探索，其中包括對影響的評測。雖然部分評價(jià)的具體指標(biāo)并未公布，但根據(jù)歐盟公開的結(jié)果報(bào)告可以大致把握對RI影響評估的基本考量。

2.1 ESFRI的RI績效評價(jià)指導(dǎo)萬案

2019年12月，ESFRI工作組發(fā)布了用于評價(jià)RI績效的通用方案，用以定期監(jiān)測不同領(lǐng)域RI的投入和成果。該方案確定了9個評價(jià)目標(biāo)，并設(shè)計(jì)了21個定量評價(jià)指標(biāo)。同時，工作組也建議在評價(jià)中應(yīng)根據(jù)需要使用一些定性指標(biāo)，以更全面地展示目標(biāo)的實(shí)施進(jìn)展（表7）。在這些指標(biāo)中，大部分指標(biāo)反映了RI產(chǎn)生的各類影響。

表7 ESFRI的RI績效評價(jià)萬案

ESFRI指出，雖然該方案的指標(biāo)可用于大多數(shù)RI評估，但鑒于RI的多樣性，某些指標(biāo)可能并不適用于所有RI，因此RI需要根據(jù)自身的特點(diǎn)進(jìn)行相應(yīng)調(diào)整。ESFRI建議原則上可每5年開展一次評估，并計(jì)劃最早于2021年開始[9]。

2.2 歐盟對科研基礎(chǔ)設(shè)施在實(shí)施和長期可持續(xù)性萬面進(jìn)展的評估

自2016年以后，長期可持續(xù)發(fā)展在歐盟范圍內(nèi)得到越來越廣泛的關(guān)注。2019年1月，歐盟委員會成立高級別專家組，以評估ESFRI路線圖設(shè)定的設(shè)施和其他世界級RI在實(shí)施長期可持續(xù)性方面的進(jìn)展。工作目標(biāo)之一是評估RI長期可持續(xù)性，從而確定泛歐區(qū)域內(nèi)（或全球）RI的未來前景與其科學(xué)目標(biāo)及其生命周期的相關(guān)性，厘清主要瓶頸和可能采取的措施。2019年1月—2020年1月，在“第7框架計(jì)劃”和“地平線2020計(jì)劃”與RI建設(shè)有關(guān)的大量文件支撐下，專家組對57家泛歐區(qū)域（或全球）級別RI進(jìn)行了廣泛調(diào)查，并抽取其中43家RI進(jìn)行了個案調(diào)研[10]。

專家組根據(jù)技術(shù)成熟度理論，構(gòu)建了RI的成熟度模型（Readiness Levels，RL），并根據(jù)RI的生命周期階段，將RL劃分為6類，如表8所示。

表8 RI的成熟度分類

本次評估設(shè)計(jì)了7個長期可持續(xù)性要素，這些要素在RL3階段均應(yīng)包含在RI的準(zhǔn)備計(jì)劃中，在RL4階段均應(yīng)體現(xiàn)在建設(shè)施工中，在RL5階段則均應(yīng)全部實(shí)施和正常運(yùn)行。最終專家組報(bào)告給出了指導(dǎo)性評價(jià)指標(biāo)，如表9所示。這些指標(biāo)可應(yīng)用于處于RL3—RL5階段的RI評估。

表9 歐盟對RI長期可持續(xù)性影響評估的指導(dǎo)性指標(biāo)

2.3 歐盟對“第7框架計(jì)劃”RI活動影響的評估

2013年，歐盟委員會組織第三方專家組開展了針對“第7框架計(jì)劃”（2007—2013）313個RI相關(guān)項(xiàng)目的整體性評估工作[11]。工作目的之一是分析RI活動對科學(xué)界、研究政策、創(chuàng)新和社會的影響。影響共涉及8個方面，主要評測內(nèi)容如表10所示。

表10 歐盟對“第7框架計(jì)劃”RI工作影響評估的主要內(nèi)容

2.4 部分歐洲國家的評估活動

除歐盟對RI形成影響所開展的整體評估以外，英國、芬蘭、瑞典等歐洲國家也開展了相關(guān)的工作[12-15]，其中英國的工作較其他國家更為領(lǐng)先。這些評估基本是政府管理部門委托第三方機(jī)構(gòu)進(jìn)行的個案評估，而不是對大批項(xiàng)目的整體性評估，同時也沒有固定的評估周期。評估涉及的指標(biāo)大致可以歸納為科學(xué)、經(jīng)濟(jì)和社會3個維度，如表11所示。

表11 部分歐洲國家對RI影響的評估指標(biāo)

3 結(jié)論與啟示

從上述國際經(jīng)驗(yàn)來看，總體而言由于科研基礎(chǔ)設(shè)施建設(shè)的規(guī)模、投入和運(yùn)行方面的特殊性，目前國際社會對于科研基礎(chǔ)設(shè)施影響評價(jià)尚處于不斷加深認(rèn)識和實(shí)踐探索的階段，并未形成一套非常完備的理論及可用于定量和定性評價(jià)的完整工具包，但不同國家已經(jīng)取得了對科研基礎(chǔ)設(shè)施所產(chǎn)生影響的一些基本共識。我國當(dāng)前正在大力開展科技創(chuàng)新，科研基礎(chǔ)設(shè)施建設(shè)是其中重要的內(nèi)容，需要大量的公共財(cái)政投入，并涉及各種復(fù)雜的科學(xué)和管理問題，包括效果評估。因此，在我國科研基礎(chǔ)設(shè)施建設(shè)工作中可以參考和借鑒國際社會的相關(guān)經(jīng)驗(yàn)。

（1）對科研基礎(chǔ)設(shè)施的評估應(yīng)加強(qiáng)影響評估。對OECD、歐盟以及部分國家的研究顯示，國際社會對科技基礎(chǔ)設(shè)施評估通常包括事前評估和事后評估，目前對科研基礎(chǔ)設(shè)施的事后評估更加強(qiáng)調(diào)影響評估，而非績效評估?？冃гu估和影響評估并不完全相同：績效評估更多強(qiáng)調(diào)的是對資源有效利用的評估，而影響評估則更多關(guān)注的是資源轉(zhuǎn)化效應(yīng)的評估，包括直接效應(yīng)和間接效應(yīng)，因此影響評估所涉及的范圍更廣?？蒲谢A(chǔ)設(shè)施尤其是大型科研設(shè)施主要由公共財(cái)政提供資金支持，因此把握這些設(shè)施的運(yùn)行效果可以有效支持公共決策。參考國際社會經(jīng)驗(yàn)，我國科研基礎(chǔ)設(shè)施評估應(yīng)當(dāng)將設(shè)施建設(shè)所產(chǎn)生的影響納入評估。影響評估要與其建設(shè)規(guī)模、技術(shù)復(fù)雜程度、投入成本高昂、運(yùn)行周期長、應(yīng)用面廣泛聯(lián)系。當(dāng)然，績效評估和影響評估不是對立的，二者在某些方面可以互相聯(lián)系。一些衡量影響的指標(biāo)也可以被用來評估科研基礎(chǔ)設(shè)施的績效，如論文產(chǎn)出數(shù)量與質(zhì)量、用戶數(shù)量以及成本效益等。

（2）對科研基礎(chǔ)設(shè)施影響的評估要反映科學(xué)、技術(shù)、經(jīng)濟(jì)和社會4個方面內(nèi)容。根據(jù)國際社會當(dāng)前共識，從評估維度及其指標(biāo)的操作性來看，我國對科研基礎(chǔ)設(shè)施影響的評估要充分反映科學(xué)、技術(shù)、經(jīng)濟(jì)和社會4個方面的內(nèi)容。由于長期可持續(xù)發(fā)展目前在全球范圍內(nèi)越來越得到廣泛關(guān)注，非市場化影響在評估中也越來越被國際社會所強(qiáng)調(diào)。其中，最受重視的維度是科學(xué)影響，其次是社會影響。但需要引起注意的是，盡管同行評議期刊論文數(shù)量、期刊影響指數(shù)、領(lǐng)域標(biāo)準(zhǔn)引用率等一些反映科學(xué)影響的指標(biāo)已經(jīng)取得國際社會的認(rèn)可，但對于評估社會影響而言，如何設(shè)計(jì)類似標(biāo)準(zhǔn)化指標(biāo)并獲得相關(guān)支撐證據(jù)卻較為困難。同時，由于相似類型的科研基礎(chǔ)設(shè)施可能會有不同的戰(zhàn)略目標(biāo)和任務(wù)，評價(jià)指標(biāo)體系要保證科研基礎(chǔ)設(shè)施戰(zhàn)略目標(biāo)和影響評價(jià)指標(biāo)之間建立有效關(guān)聯(lián)。此外，管理部門需要在科研基礎(chǔ)設(shè)施生命周期的早期階段，就定義其影響評估架構(gòu)及其未來用途，并確定對特定指標(biāo)數(shù)據(jù)的需求，以及在決策過程中的使用。

（3）評估工作應(yīng)委托第三方人員或機(jī)構(gòu)來完成。國際實(shí)踐案例中基本采用同行評議方法，通過第三方人員或機(jī)構(gòu)來完成評估工作。建議我國科研基礎(chǔ)設(shè)施評估也采用類似方法。一是科研設(shè)施的政府主管部門或資助機(jī)構(gòu)引進(jìn)外部專家來組建評估專家組。這是國際社會開展科研基礎(chǔ)設(shè)施評估的一種主流做法，特別是對大型設(shè)施的評估。二是將評估工作外包給外部的專業(yè)科技政策與管理相關(guān)的咨詢公司或評估公司，通過評估專業(yè)人士深厚的專業(yè)知識來判斷科研基礎(chǔ)設(shè)施的機(jī)構(gòu)領(lǐng)導(dǎo)能力、研究質(zhì)量、技能發(fā)展等。在大多數(shù)情況下，同行評議過程需要全面的背景材料（包括產(chǎn)出和財(cái)務(wù)指標(biāo)）進(jìn)行支撐，但專家們也需要參加定性評估活動，通過聆聽設(shè)施管理人員報(bào)告、實(shí)地考察、對關(guān)鍵人員訪談等，來直接收集更為詳盡和相關(guān)的評估佐證材料。

（4）評估影響的指標(biāo)、方法和過程需要不斷完善。研究顯示，目前各國評估指標(biāo)體系中通用性指標(biāo)設(shè)計(jì)大多以定量指標(biāo)為主，定性指標(biāo)為輔。由于科研基礎(chǔ)設(shè)施非常多樣化，可以是單站點(diǎn)的、分布式的或虛擬的，且每個設(shè)施有著自己的目標(biāo)和業(yè)務(wù)活動范疇，故都可以產(chǎn)生非常廣泛的直接影響和間接影響。這些影響本身會隨著設(shè)施的生命周期而變化，因此還需深入探討以量化測度為主對設(shè)施不同影響進(jìn)行評估的科學(xué)性。因此，我國科研基礎(chǔ)設(shè)施管理部門要積極跟蹤國際社會的發(fā)展，根據(jù)對影響認(rèn)識的不斷深入、設(shè)施建設(shè)需求以及社會發(fā)展趨勢等，對評價(jià)指標(biāo)體系和評價(jià)方法等進(jìn)行適應(yīng)性修正和擴(kuò)展。如社會經(jīng)濟(jì)影響很難完全用成本效益分析或計(jì)算設(shè)施的凈現(xiàn)值等常規(guī)方法進(jìn)行度量，因此不能僅僅關(guān)注科學(xué)活動產(chǎn)出或投資財(cái)務(wù)回報(bào)等，還需要進(jìn)一步探索如何采用更多指標(biāo)和描述進(jìn)行補(bǔ)充說明，包括通過案例研究進(jìn)行縱向反向追蹤，從而有選擇地說明用戶使用設(shè)施所產(chǎn)生的經(jīng)濟(jì)效益，或是在宏觀經(jīng)濟(jì)模型和深入的定性化回溯案例研究之間探索中間解決方案，或是參考OECD參考框架經(jīng)驗(yàn)，借助于咨詢項(xiàng)目數(shù)量、訪客人數(shù)以及媒體出現(xiàn)數(shù)量等替代性評價(jià)指標(biāo)，對社會的影響進(jìn)行多維度的衡量。再如，鑒于科研基礎(chǔ)設(shè)施的高度特殊性及其可能產(chǎn)生的長期性和擴(kuò)散性影響，如何有效利用現(xiàn)代技術(shù)來管理評估所需支撐的數(shù)據(jù)，使其保持一致性和完整性，并在此基礎(chǔ)上如何通過數(shù)據(jù)挖掘技術(shù)、視覺化技術(shù)等來更加清楚地呈現(xiàn)和說明科研基礎(chǔ)設(shè)施產(chǎn)生影響的多樣性等，也是未來努力的方向。