國際科研評價改革實踐與啟示
——以DORA為代表的探索

徐 芳，晉新新，呂雯潔，李曉軒

(1.中國科學院 科技戰(zhàn)略咨詢研究院，北京 100090；2.中國科學院大學 公共政策與管理學院，北京 100090)

當前，我國科技評價改革正處于新的關鍵點上，破“四唯”之后怎么立新標成為社會普遍關注的問題，迫切需要在科技評價上有新的思路和新的方法。本文聚焦科技評價的國際實踐，介紹《關于科研評價的舊金山宣言》(The San Francisco Declaration on Research Assessment,DORA)(以下簡稱“舊金山宣言”)以及受其影響，國際學術組織、資助機構、高校等在科技評價改革方面的實踐與探索，旨在為我國深化科技評價改革提供參考與借鑒。

一、“舊金山宣言”及其組織

引文分析法是科學計量學的基礎方法，也是定量評價的主流方法。從起源看，Schoenbach等提出利用參考文獻追蹤科學進展的引文分析方法。美國ISI信息研究所在1963年開始通過引文分析篩選期刊，形成SCI期刊庫，為引文分析法的發(fā)展奠定基礎和條件，促進引文分析法在科研評價的應用。引文分析法的引入，一方面促進科研工作，帶來通過引文分析了解科學進展的積極作用；另一方面，引文分析法的不當使用，特別是在評價上的不當使用，如過度注重文章被引頻次及高影響因子刊物上的文章，也產(chǎn)生日益增大的負面影響。在科研評價中如何避免引文分析法(在名稱使用上，現(xiàn)在更多地用“文獻計量學”取代)的不當使用成為國際學術界越來越關注的一個重要問題?！芭f金山宣言”及其推進組織“DORA科研評價聯(lián)盟”就是在這個背景上出現(xiàn)的。

1.“舊金山宣言”

2012年，在舊金山召開的美國細胞生物學學會(ASCB)年會期間，時任美國細胞生物學學會總裁斯蒂芬·貝爾圖齊和期刊前執(zhí)行董事馬克·帕特森、前主編蘭迪·舍克曼、主編大衛(wèi)·德魯賓、雜志前主編布魯斯·阿爾伯茨等學術期刊負責人，討論期刊影響因子在科研評價中不當使用的弊端，形成對此發(fā)表聯(lián)合聲明的共識，并由馬克·帕特森執(zhí)筆起草著名的《關于科研評價的舊金山宣言》初稿?！芭f金山宣言”初稿以后經(jīng)過修改在美國細胞生物學學會網(wǎng)站發(fā)布，很快得到來自全球的幾乎所有科研領域的研究機構、資助者、政策制定者、文獻計量學家和許多不同資歷的科學家的認可與簽名。經(jīng)過近十年的努力，自發(fā)布以來，該宣言已經(jīng)得到2 444家機構和18 540名個人的簽署支持，包括、等國際知名期刊以及Taylor & Francis出版商等。中國科學院副院長張亞平最早以中國學者身份簽署宣言。事實上，“舊金山宣言”的簽名是一直開放的，只要認同宣言內容，所有科研相關機構或個人都可以在網(wǎng)上隨時簽名。

“舊金山宣言”指出，科學研究的產(chǎn)出形式多種多樣，基金資助機構、科研單位以及科學家自身都有對他們的科研產(chǎn)出質量和影響進行評估的愿望和需求，對科研產(chǎn)出進行準確地測度、明智地評估、經(jīng)過思考的應用已勢在必行。該宣言倡導科研評價要回歸到科研工作本身的價值中去，而不是基于論文發(fā)表的期刊或影響因子。從內容上看，“舊金山宣言”從科研評價關鍵利益主體角度出發(fā)，就資助機構、研究機構、出版機構、指標提供機構以及科研人員等如何恰當使用論文、出版物、期刊影響因子，開展負責任評價等提出倡導性建議和禁止性清單。該宣言已被翻譯成26種語言在全球范圍內廣泛流傳。表1列出“舊金山宣言”的部分內容。

表1 “舊金山宣言”部分內容摘錄

2.DORA 科研評價聯(lián)盟

為持續(xù)宣傳和實踐“舊金山宣言”，不斷優(yōu)化科研評價方法， 2016—2017年間，DORA科研評價聯(lián)盟在美國細胞生物學學會的支持下正式成立。DORA科研評價聯(lián)盟的目標包括四個方面：提高認識，即提請注意科研評估中的新工具和流程以及負責任地使用符合核心學術價值觀的指標，并促進決策的一致性和透明度；促進執(zhí)行，即幫助制定招聘、晉升和資金決策的新政策和做法；推動變化，即通過跨學科和全球合作，廣泛推廣科研評估改革；改善公平，即在設計直接解決學術界結構性不平等問題的科研評估實踐中有更廣泛代表性的研究人員的參與。來自全球高校、科研院所等27名科學家和科研評價領域專業(yè)人員組成的執(zhí)行委員會負責DORA科研評價聯(lián)盟重要事務的決策，來自中國科學院評估中心的李曉軒主任是執(zhí)行委員之一。

根據(jù)DORA科研評價聯(lián)盟2018年制定的最新路線圖，其近年來活動主要聚焦于三個方面：一是提高對開發(fā)可靠的評估方案的認識，以避免在研究評估中不適當?shù)厥褂昧炕笜?；二是研究和推廣促進科研評估最佳實踐的工具和流程；三是在學術領域和相關領域中擴大“舊金山宣言”的影響力。2020年啟動的“促進研究評估工具”項目作為DORA科研評價聯(lián)盟近年來的重點活動，研究重點之一是跟蹤學術機構在全球范圍內用于人員招聘、晉升和任期決策的方法和標準，并遴選好的實踐案例，為科研評估改革提供資源和實踐指導。當前DORA科研評價聯(lián)盟已經(jīng)面向全球收集完成大量實踐案例，正在計劃開展用戶反饋和大規(guī)模的問卷調查活動。

二、國際科研管理學會聯(lián)盟等學術組織共同行動

受到“舊金山宣言”的影響，國際科研管理學會聯(lián)盟于2018年成立科研評價工作小組。該小組致力于更好地理解和發(fā)展負責任評價的最佳做法，目的是為從業(yè)者和高級領導人提供有效和負責任評價所需的工具。當前，該研究小組的重點包括兩個方面：一是開發(fā)對全球大學排名進行評級的方法，試圖引起人們關注并考慮如何使大學排名更公平和更負責任；二是提出負責任評價的SCOPE評估框架，如表2所示，指導大學高層領導者和相關人員采用和實踐負責任評價。SCOPE評估框架得到了等知名期刊的認同與重視，并已被翻譯成中文、丹麥語、冰島語、挪威語、葡萄牙語等多種語言在相關領域內多個國際學術會議中進行宣傳與交流。

表2 國際科研管理學會聯(lián)盟科研評價工作小組提出的SCOPE評估框架[3]

事實上，除國際科研管理學會聯(lián)盟外，許多國際學術組織也積極投身推動科研評價改革。例如，全球研究理事會在2021年發(fā)布負責任評價的全球倡議，旨在動員資助機構在所在國家或區(qū)域內實現(xiàn)其負責任評價目標，制定有效的科研影響力評估框架。2021年，由全球青年學院、國際科學院組織和國際科學理事會聯(lián)合發(fā)起一項全球科研評價改革調研，旨在為改進現(xiàn)有科研評價方法提供咨詢意見。據(jù)悉，近期這三個國際學術組織將聯(lián)合發(fā)布一項有關科研評價改革的倡議。

三、科學基金資助機構的項目評審改革

“二戰(zhàn)”之后，同行評議作為科研資助經(jīng)費的核心分配機制在科學基金資助機構得到普遍應用，形成由評議主體及其行為規(guī)范、評議程序、評議準則等所構成的相對成熟的同行評議系統(tǒng)，從而實現(xiàn)控制科研質量的目標?！芭f金山宣言”對資助機構開展以同行評議為主的項目評審活動提出兩條建議：“關于評價的標準，在評價項目申請者(特別是職業(yè)生涯早期研究人員)科研產(chǎn)出能力方面，要明確學術論文的科學內涵比出版物的計量指標或期刊等級重要得多；為了評價科學研究，除了發(fā)表的研究成果外，應考慮數(shù)據(jù)集和軟件等所有研究產(chǎn)出的價值和影響，還應該考慮采用更廣泛的影響測量指標，如對政策和實踐的影響。 ”

“舊金山宣言”提出的倡議得到國際上許多基金資助機構的認同，推動了資助機構的項目評審改革。美國國家科學基金會率先修改科研基金申請指南，將指南中“出版物(publications)”一節(jié)的名稱變更為“產(chǎn)品(products)”，寓意科學研究的產(chǎn)出不僅僅是論文和著作等出版物。同時，從形式和要求上對項目申請書作出改動，包括降低成果數(shù)量要求，即申請者最多提交5項與項目密切相關的成果清單以及不超過5項的其他重要成果(不限于是否與申請項目相關)。

愛爾蘭衛(wèi)生研究委員會在其資助計劃中明確認可各種類型的研究成果，如同行評議文章、研究數(shù)據(jù)、研究材料、數(shù)據(jù)庫、音頻/視頻產(chǎn)品、國家和/或國際報告、專利等。愛爾蘭衛(wèi)生研究委員會在2017年簽署“舊金山宣言”后，推出一系列政策，旨在通過提高認識、員工培訓和為評審專家制定額外指南來減少決策中的無意識偏見。例如，評審專家在評估研究方案的內容、質量和影響的同時，要考慮科研人員職業(yè)中斷、靈活的工作安排以及研究領域變化等因素。愛爾蘭衛(wèi)生研究委員會還承諾，資助機構將采用開放研究指標和負責任的指標進行評估，并且獎勵各種產(chǎn)出和具有更廣泛社會影響的科研活動。

英國癌癥研究所重視并獎勵所有類型的研究成果，除出版物外，還包括預印本、培訓、對聯(lián)盟的貢獻、專利和關鍵數(shù)據(jù)集的共享、軟件、新的檢測和試劑。英國癌癥研究所研究制定同行評議的評審指南，以期引導專家在評審中加強對研究方式和科學貢獻的重視。其中明確指出，專家在進行評審時，除去評估申請人的研究成果記錄、主要研究成果及其是否支持所申請的研究時，還要重視研究成果的價值和影響?；菘祷饡娬{要考慮因學科不同產(chǎn)生的各種可能的研究成果，包括研究文章、數(shù)據(jù)、試劑、軟件、知識產(chǎn)權和政策變化，同時在其修改后的項目申請表中，不再刻意要求研究人員的論文引用次數(shù)，而是要求研究人員列出具體成果。

我國基礎研究的最大資助機構——國家自然科學基金委員會在2018 年提出“負責任、講信譽、計貢獻”的項目評審機制，探索對專家評審的結果和行為進行記錄和分析，以此規(guī)范專家評審行為并引導專家負責任地開展評審。這既符合我國當前發(fā)展需要，也與“舊金山宣言”的精神相契合。

四、高校的科研人才評價改革

在大數(shù)據(jù)時代，基于數(shù)據(jù)和指標等證據(jù)的決策制定方式促使科研管理人員更加關注對科研活動和發(fā)展趨勢的跟蹤與分析。量化評價模式因簡單好操作，在一定程度上能夠有效降低管理成本、減輕管理壓力，因此，全球范圍內一度形成了“指標潮”，科研人員面臨“不出版就淘汰”的壓力也越來越大。國際上一些高校紛紛開始尋求新的科研人員評價模式，并逐漸形成成熟的案例庫。

受到“舊金山宣言”的影響，挪威大學協(xié)會構建了一個靈活的、結構化的國家級職業(yè)評估框架，它是評估一般學術活動(結果和能力)的框架，主要目標之一是比已有實踐更加系統(tǒng)地評估多個專業(yè)領域。該評估框架可根據(jù)不同目的和需要進行組合，其評估方法更透明、更廣泛和更全面，而非片面使用指標。這種擴大的評估方法旨在激勵和獎勵更廣泛的學術活動，并最終改善學術文化和研究質量。該評估框架的構建參考了歐洲委員會針對開放科學職業(yè)評估模型的六大類內容：研究成果、研究過程、教育能力、影響力和創(chuàng)新性、領導力以及其他經(jīng)驗，如表3所示。在此基礎上，增設三個縱向要素，即結果和能力指標、標準文件資料及客觀證據(jù)、具有反思性的自我定性估。挪威國家級職業(yè)評估框架已經(jīng)根據(jù)自身國情進行調整，在挪威高校內推廣開來并發(fā)展成為通用框架。

表 3 挪威國家級職業(yè)評估框架

與挪威相似，倫敦大學學院在簽署“舊金山宣言”后，也受其影響并在科研人才評價方面作出新的探索，提出科教人員學術職業(yè)框架，通過從第7級(最低級)到第10級(最高級)科教人員在科學研究、教育、企業(yè)和外部聯(lián)系以及機構參與度等方面的活動和影響力指標范例的描述，為科教人員規(guī)劃職業(yè)生涯提供參考。該框架旨在支持選擇不同類型科教人員職業(yè)生涯的發(fā)展，并以多種方式供員工和管理人員使用，比如可用于建立推廣案例、評估晉升案例、討論職業(yè)軌跡、考慮獎勵和表彰情況等。

五、結論與啟示

總體上，科研評價是國際學術界關注的熱點問題，國際學術界正在多方面采取措施，形成豐富多彩的實踐案例。具體來說，第一， “舊金山宣言”是近年來針對在科研評價中如何避免引文分析法的不當使用問題的一個有重要影響的倡議，得到包括中國在內的國際學術共同體的廣泛響應，越來越多的科研相關單位和科學家簽署該宣言。第二，為落實“舊金山宣言”，國際學術界成立以DORA 命名的專門的科研評價聯(lián)盟，我國也是該聯(lián)盟的執(zhí)行委員之一。國際科研管理學會聯(lián)盟等國際學術組織也將改進科研評價方法作為一項重要工作，發(fā)揮各自優(yōu)勢開展改革科研評價的研究以及推廣好的實踐經(jīng)驗。第三，受“舊金山宣言”的影響，許多資助機構和科研單位(高校)正在積極對照該宣言精神改進科研評價工作，并探索形成一些好的科研評價方法。分別而言，科學基金資助機構以改進評審資助標準以及同行評議機制為著力點，高校機構將以人為本、更加綜合全面的人才評價作為改革的主流方向。

多年來，改革科技評價一直是我國的一項重要任務，也是一塊難啃的“硬骨頭”。2018年以來，我國密集出臺“三評”改革、“破四唯”等一系列政策，一些明顯不合理的評價方法得到糾正。但是，“破”之后“立”什么的問題還遠沒有解決。結合以“舊金山宣言”為代表的國際科研評價改革實踐來看，有如下幾點啟示：

第一，科技評價的問題不僅我國有，世界其他國家包括發(fā)達國家都有。就其本質而言，既是科學投入與科研隊伍大規(guī)模發(fā)展帶來的管理復雜化的體現(xiàn)，也是科學研究從個人興趣發(fā)展到滿足國家需求的趨勢帶來的適應性問題的體現(xiàn)。但是，我國因為科研起點低，近四十多年來發(fā)展快，科技評價方面的問題相比科技先進國家更多一些。為此，改革科技評價需要有打持久戰(zhàn)的準備。

第二，科技評價改革需要有一個清晰的理念框架指導并有專業(yè)組織持續(xù)推進落實。比如“舊金山宣言”就是一個好的理念框架， DORA科研評價聯(lián)盟就是持續(xù)推進宣言落地的組織。我國在科技評價改革方面雖然投入很大，但是清晰的理念框架和推進的專業(yè)機構尚不明確，需要進一步做好頂層設計。

第三，科技評價改革不能僅靠政府出臺各種政策文件或者運動式整改，而是更加需要由科研單位探索形成各自的科技評價方法。比如，國際上許多學術組織、資助機構與高校都在根據(jù)“舊金山宣言”精神分頭行動，完善各自的評價方法，而這些好的方法的交流推廣則能推動整體科技評價的進步。為此，要進一步深化“放管服”改革，給科研單位下放足夠的自主權，調動其積極性，讓各單位結合自己的特點和需求不斷探索好的評價方法，這是解決科技評價“硬骨頭”問題的一條根本出路。