改革科研評(píng)價(jià)的全球性運(yùn)動(dòng)正逐漸獲得支持和認(rèn)同

編譯 高地雪

一場(chǎng)全球性運(yùn)動(dòng)正日益壯大。它致力于采用整體方法來(lái)對(duì)研究人員和科研內(nèi)容進(jìn)行評(píng)估，其目的是對(duì)更廣泛的貢獻(xiàn)予以認(rèn)可，而不僅僅是關(guān)注機(jī)構(gòu)聲譽(yù)以及量化指標(biāo)（比如在高影響力期刊上發(fā)表的出版物數(shù)量、被引次數(shù)和撥款數(shù)額等）。有許多貢獻(xiàn)幾乎很少得到嘉獎(jiǎng)，這包括委員會(huì)服務(wù)、面向公眾和政策制定者的外展工作、社會(huì)影響力和創(chuàng)業(yè)精神等。

該運(yùn)動(dòng)的早期推動(dòng)力之一是2013年的《關(guān)于科研評(píng)價(jià)的舊金山宣言》（DORA）?！杜f金山宣言》已經(jīng)發(fā)展為一個(gè)全球性的倡議，其中，減少對(duì)期刊影響因子的重視已成為“老生常談的主題”。項(xiàng)目總監(jiān)贊 ? 福爾克斯（Zen Faulkes）表示：“但我們正在擴(kuò)大我們?cè)谠u(píng)價(jià)改革方面的努力?！苯刂?023年9月，已有164個(gè)國(guó)家的2萬(wàn)多個(gè)人和約3 000個(gè)組織簽署了《舊金山宣言》。

推進(jìn)科研評(píng)價(jià)聯(lián)盟指導(dǎo)委員會(huì)的副主席卡倫 ? 施特羅班茨（Karen Stroobants，圖中屏幕）正在出席于瑞典烏普薩拉舉行的2023年歐洲博士生和初級(jí)研究人員理事會(huì)年會(huì)。該理事會(huì)的主席塞巴斯蒂安 ? 達(dá)勒坐于左起第三位。其他小組成員為支持科研評(píng)價(jià)改革的其他組織代表

普遍認(rèn)為，由歐盟委員會(huì)、科學(xué)歐洲（SE）和歐洲科學(xué)協(xié)會(huì)（Science Europe）牽頭的一項(xiàng)相關(guān)行動(dòng)產(chǎn)生了最大的影響力。歐洲科學(xué)協(xié)會(huì)是一個(gè)由資助機(jī)構(gòu)組成的協(xié)會(huì)，每年的支出超過(guò)220億歐元。2022年7月，他們制定了改革的指導(dǎo)原則，2022年12月，成立了推進(jìn)科研評(píng)價(jià)聯(lián)盟（CoARA）。截至2023年8月下旬，已有600多所大學(xué)、資助機(jī)構(gòu)、學(xué)術(shù)團(tuán)體和其他組織（絕大多數(shù)位于歐洲）簽署加入。簽署方承諾在一年內(nèi)審查其科研評(píng)價(jià)程序，并在五年內(nèi)嘗試和報(bào)告替代方案。

斯洛文尼亞盧布爾雅那大學(xué)是CoARA的簽署方之一，該校的物理學(xué)家塞巴斯蒂安 ? 達(dá)勒（Sebastian Dahle）表示，CoARA與早先的評(píng)價(jià)改革聲明有所不同?！霸诤炇鸺尤牒?，簽署組織必須制定行動(dòng)計(jì)劃。該協(xié)議能夠推動(dòng)現(xiàn)狀發(fā)展。它不具有法律約束力，但能使人們保持參與?！?/p>

改革科研評(píng)價(jià)的動(dòng)機(jī)在很大程度上源于對(duì)近幾十年來(lái)形成的“不發(fā)表就滅亡”文化的失望，這場(chǎng)運(yùn)動(dòng)的目標(biāo)代表著早期規(guī)范的回歸。CoARA指導(dǎo)委員會(huì)的副主席伊麗莎白 ? 加德（Elizabeth Gadd）表示，“幾乎完全”基于研究者的出版物數(shù)量和被引次數(shù)來(lái)評(píng)估研究者“產(chǎn)生了不良的激勵(lì)機(jī)制”。她說(shuō)，這會(huì)導(dǎo)致學(xué)者們拆分文章以增加出版物數(shù)量、出售作者資格，以及學(xué)術(shù)欺詐或不當(dāng)行為。她補(bǔ)充說(shuō)，出版物在對(duì)研究人員的評(píng)估中比重過(guò)大，這是“非常有問(wèn)題的”。

在維也納大學(xué)從事低維材料研究的托馬 ? 蘇西（Toma Susi）表示，在歐洲，“人們普遍認(rèn)為，學(xué)術(shù)界在評(píng)價(jià)研究人員和機(jī)構(gòu)方面已經(jīng)失去了自主權(quán)”。他說(shuō)，無(wú)處不在的影響因子是商業(yè)性的，并以“不透明”的方式產(chǎn)生。

佐治亞理工學(xué)院公共政策學(xué)院院長(zhǎng)卡茜迪 ? 杉本（Cassidy Sugimoto）研究科學(xué)計(jì)量學(xué)和科學(xué)工作者中的不平等現(xiàn)象。她表示，發(fā)表論文的壓力對(duì)學(xué)者的心理健康造成了負(fù)擔(dān)。她說(shuō)，整個(gè)科研界都受到影響，但女性和有色人種感到的負(fù)擔(dān)往往更重，部分原因在于，平均而言，他們獲得的研究經(jīng)費(fèi)更少，論文被引用的次數(shù)也更少。她問(wèn)道，如果當(dāng)前的評(píng)估體系會(huì)導(dǎo)致科研人員的心理健康狀況惡化（以及更多的人員流失），這是否符合科學(xué)家的目標(biāo)？這是對(duì)科學(xué)界最好的做法嗎？

影響心理健康的另一個(gè)壓力源，同時(shí)也是科研評(píng)價(jià)改革的另一個(gè)動(dòng)機(jī)，在于評(píng)估的頻率。在評(píng)估、終身任期、晉升、獎(jiǎng)勵(lì)和資助申請(qǐng)的間隙，“研究人員被從左到右、從頭到腳地評(píng)估，”英國(guó)拉夫堡大學(xué)科研評(píng)估、學(xué)術(shù)交流和研究文化方面的專家加德表示，“為研究人員提供最佳的科研環(huán)境，是我個(gè)人的工作動(dòng)力之一。”

改革之承諾

CoARA提出了四項(xiàng)指導(dǎo)科研評(píng)價(jià)改革的核心承諾：承認(rèn)科研貢獻(xiàn)和科研職業(yè)道路中的多樣性；科研評(píng)價(jià)應(yīng)主要基于定性評(píng)估開(kāi)展，其中以同行評(píng)議為核心，輔以定量指標(biāo)；放棄在科研評(píng)價(jià)中不當(dāng)?shù)厥褂靡云诳统霭嫖餅榛A(chǔ)的指標(biāo)，特別是期刊影響因子和H指數(shù)；避免在科研評(píng)價(jià)中使用科研機(jī)構(gòu)的排名。

其他的支持性承諾還包括同意分配資源、提高改革意識(shí)和分享改革試驗(yàn)的結(jié)果。

CoARA旨在提供指導(dǎo)，而非規(guī)定行動(dòng)。簽署方簽署了這些原則，但還必須找到適用于自身特定環(huán)境的應(yīng)用方法。研究文化和研究需求因?qū)W科、機(jī)構(gòu)和國(guó)家而異。

2023年夏天，CoARA成立了10個(gè)工作組，探討與科研評(píng)價(jià)相關(guān)的問(wèn)題。例如，歐洲博士生和初級(jí)研究人員理事會(huì)主席達(dá)勒主持了一個(gè)有關(guān)初級(jí)科研人員的工作組。魯里克主持的工作組負(fù)責(zé)研究如何對(duì)同行評(píng)議予以認(rèn)可和獎(jiǎng)勵(lì)。另一個(gè)工作組則關(guān)注科研評(píng)價(jià)中的多語(yǔ)制和語(yǔ)言偏見(jiàn)。

歐洲核子研究中心（CERN）是CoARA的早期簽署者。該中心的科學(xué)信息服務(wù)小組負(fù)責(zé)人亞歷山大 ? 科爾斯（Alexander Kohls）表示，CERN的實(shí)踐和文化已經(jīng)與CoARA的原則達(dá)成了一致。他說(shuō)：“如果你和CERN的一位理論學(xué)者交談，你會(huì)發(fā)現(xiàn)，不管論文是發(fā)表在arXiv上還是頂級(jí)期刊上都無(wú)關(guān)緊要。我們重視的是內(nèi)容，出版渠道則不那么重要?！钡?，他補(bǔ)充說(shuō)，CERN的部分合作者也表示，“我不想公開(kāi)我的研究成果。我更傾向于為自己的利益而保護(hù)它”?？茽査狗Q，核子研究中心希望“推進(jìn)科研評(píng)價(jià)改革”，以鼓勵(lì)其他機(jī)構(gòu)“追隨”CERN長(zhǎng)期以來(lái)的行事精神。

波蘭科學(xué)部顧問(wèn)、波茲南密茨凱維奇大學(xué)的學(xué)術(shù)交流研究小組負(fù)責(zé)人伊曼紐爾 ? 庫(kù)爾奇基（Emanuel Kulczycki）表示，歷史上，在波蘭和其他東歐國(guó)家，資金和工作崗位并非基于能力取得，而是基于人脈和政治分配。他說(shuō)，歷史遺留下來(lái)的問(wèn)題之一在于，大學(xué)仍然處于政府的控制之下，因此學(xué)術(shù)界“渴望依賴定量指標(biāo)”。與此同時(shí)，他補(bǔ)充道，將研究的社會(huì)影響納入考量在那里并非新鮮事。

庫(kù)爾奇基表示，在科研組織和體系類似波蘭的國(guó)家，改革必須得到政府的首肯，“但是科研評(píng)價(jià)的黑匣子應(yīng)該由學(xué)術(shù)界來(lái)設(shè)計(jì)”。他補(bǔ)充說(shuō)，在挖掘想法和找尋實(shí)施這些想法的步驟上，CoARA可能會(huì)有所幫助。他指出，在他的國(guó)家，承認(rèn)多語(yǔ)制至關(guān)重要。“使用你自己的語(yǔ)言在普及科學(xué)和吸引學(xué)生方面起著重要的作用?！彼硎?。

一些人認(rèn)為，美國(guó)在科研評(píng)價(jià)改革方面較為落后。杉本表示，這種明顯的滯后要部分歸結(jié)于大學(xué)系統(tǒng)的分散和資金來(lái)源的多樣。她指出，盡管某些國(guó)家明確要求，比如說(shuō)，某人必須要發(fā)表一定數(shù)量的頂刊文章才能獲得晉升，但在美國(guó)，這種要求通常不會(huì)是明文規(guī)定的?！懊绹?guó)的許多做法更為隱晦。這讓它們更加難以對(duì)抗?！?/p>

全球所有領(lǐng)域的出版物數(shù)量都在激增，反映了學(xué)術(shù)界盛行的“不發(fā)表就滅亡”的文化。扭轉(zhuǎn)這種文化是推動(dòng)科研評(píng)價(jià)改革運(yùn)動(dòng)的動(dòng)力之一

歐洲科學(xué)基金會(huì)的尼古拉斯 ? 沃爾特（Nicolas Walter）預(yù)計(jì)，這一運(yùn)動(dòng)將在美國(guó)和更廣泛的地區(qū)獲得支持。他指出，CoARA成立還不到一年?！拔覀儸F(xiàn)在正處于需要在歐洲以外開(kāi)展工作的階段?！?/p>

它是催化劑， 不是萬(wàn)靈藥

近年來(lái)，部分資助機(jī)構(gòu)、學(xué)術(shù)機(jī)構(gòu)和國(guó)家已經(jīng)開(kāi)始嘗試科研評(píng)價(jià)改革。一些資助機(jī)構(gòu)正在使用彩票的方式發(fā)放經(jīng)費(fèi)，另一些則對(duì)給定調(diào)查人員可獲得的資助經(jīng)費(fèi)數(shù)額設(shè)置了上限。盧森堡國(guó)家研究基金會(huì)（FNR）正在擴(kuò)大其頒發(fā)獎(jiǎng)勵(lì)金的范圍。例如，F(xiàn)NR的項(xiàng)目經(jīng)理肖恩 ? 沙普卡柳（Sean Sapcariu）提到了兩個(gè)獎(jiǎng)項(xiàng)，一個(gè)是用于表彰杰出導(dǎo)師的新獎(jiǎng)項(xiàng)，另一個(gè)則從此前的提名最佳出版物轉(zhuǎn)變?yōu)楠?jiǎng)勵(lì)杰出的研究成果。他說(shuō)，資金可以成為“塑造行為的利器”。

在全歐洲，許多研究所和資助機(jī)構(gòu)已經(jīng)開(kāi)始在崗位和資助經(jīng)費(fèi)申請(qǐng)中引入敘述式簡(jiǎn)歷；荷蘭、挪威和英國(guó)是其中的先驅(qū)。敘述式簡(jiǎn)歷要求學(xué)者將列出的出版物數(shù)量限制約在5到10篇，并討論它們（與申請(qǐng)）的相關(guān)性。研究人員還被邀請(qǐng)寫(xiě)下其他的相關(guān)貢獻(xiàn)，并解釋為什么他們是擬議項(xiàng)目或崗位的合適候選人。“這些舉措的主要目標(biāo)是為候選人提供空間，讓他們展示那些可能不適合傳統(tǒng)簡(jiǎn)歷的貢獻(xiàn)，”荷蘭研究理事會(huì)的認(rèn)可與獎(jiǎng)勵(lì)項(xiàng)目負(fù)責(zé)人羅伯特 ? 胡格斯特拉特（Robbert Hoogstraat）表示，“也許他們參加過(guò)一場(chǎng)開(kāi)放科學(xué)活動(dòng)，或是曾為某家報(bào)紙寫(xiě)過(guò)一篇觀點(diǎn)文章?！?/p>

盧森堡國(guó)家研究基金會(huì)既在使用敘述式簡(jiǎn)歷，也在研究這類簡(jiǎn)歷的效力和接受度。該基金會(huì)要求科學(xué)家們提供一份兩頁(yè)的簡(jiǎn)歷，包括三個(gè)部分：與他們申請(qǐng)資助的研究有關(guān)的個(gè)人陳述，關(guān)于他們職業(yè)道路的描述，以及對(duì)于相關(guān)成果和產(chǎn)出的討論。沙普卡柳表示，截至目前，調(diào)查結(jié)果顯示70%的審稿人和幾乎同樣多的研究人員都對(duì)敘述式簡(jiǎn)歷持積極態(tài)度。從明年開(kāi)始，歐洲研究理事會(huì)將允許申請(qǐng)人在簡(jiǎn)歷中添加敘述性描述，并將更加重視項(xiàng)目提案，而非過(guò)往成就。

支持者表示，對(duì)簡(jiǎn)歷中列出的論文數(shù)量設(shè)置上限，有助于在職業(yè)階段、性別和地域方面平衡競(jìng)爭(zhēng)。敘述式簡(jiǎn)歷還可以讓你更容易獲得跨學(xué)科研究領(lǐng)域的資助，也更容易轉(zhuǎn)換研究領(lǐng)域?！皵⑹鍪胶?jiǎn)歷并非萬(wàn)靈藥，”法國(guó)國(guó)立橋路學(xué)校的研究員弗蕾德莉克 ? 博迪尼翁（Frédérique Bordignon）表示，她研究文獻(xiàn)計(jì)量學(xué)和研究誠(chéng)信問(wèn)題，“但它可以成為一種催化劑，促使我們找到更好的方法來(lái)評(píng)估科研人員”。

皮尤慈善信托基金的安吉拉 ? 貝德納雷克（Angela Bednarek）稱，盡管資助者具有足以推動(dòng)變革的獨(dú)特地位，但他們也有可能碰壁。她領(lǐng)導(dǎo)著“轉(zhuǎn)變證據(jù)資助者網(wǎng)絡(luò)”（TEFN），這是一個(gè)由70個(gè)私人和公共資助者組成的團(tuán)體，旨在增加他們的科研投資所帶來(lái)的社會(huì)影響。作為對(duì)項(xiàng)目呼吁的回應(yīng)，貝德納雷克指出，部分初級(jí)科研人員表示，“你是在要求我投入時(shí)間去做一些不能讓我獲得終身教職所需要的出版物的事情”。

例如，貝德納雷克說(shuō)，某個(gè)項(xiàng)目“可能會(huì)綜合現(xiàn)有數(shù)據(jù)供決策者使用”，而不涉及開(kāi)創(chuàng)性的研究。她舉的例子是利用有關(guān)海洋物理?xiàng)l件的數(shù)據(jù)來(lái)設(shè)定捕撈限額，以應(yīng)對(duì)氣候變化?！百Y助者需要考慮如何獎(jiǎng)勵(lì)和激勵(lì)研究，這樣他們就能夠支持相關(guān)、及時(shí)的研究，”她說(shuō)，“我們不稱之為評(píng)價(jià)改革，但它就是同一回事”。

指標(biāo)的挑戰(zhàn)

對(duì)CoARA的一個(gè)常見(jiàn)誤解是認(rèn)為支持者旨在廢除定量指標(biāo)。博迪尼翁說(shuō)，負(fù)責(zé)任的指標(biāo)使用應(yīng)該提供相應(yīng)的背景。她表示，諸如“我在過(guò)去10年里發(fā)表了5篇文章，并在此期間指導(dǎo)了10名博士生”之類的陳述，減輕了用單一數(shù)字描述某人工作所帶來(lái)的影響。由于H指數(shù)隨發(fā)表數(shù)量的增加而增加，寫(xiě)明學(xué)術(shù)年齡可以解釋初級(jí)科研人員和經(jīng)驗(yàn)豐富的研究者之間H指數(shù)的差異。此外，綜合使用的指標(biāo)可能有助于比較大型機(jī)構(gòu)或國(guó)家之間的產(chǎn)出。

對(duì)于科研評(píng)價(jià)改革的擔(dān)憂之一在于，定性評(píng)估可能比依賴定量指標(biāo)更費(fèi)時(shí)，也更主觀。支持者們承認(rèn)，這確實(shí)更加困難，尤其是在申請(qǐng)人和評(píng)估人員熟悉新程序的過(guò)渡期。但是，他們指出，進(jìn)行定性評(píng)估所需的額外時(shí)間可以通過(guò)減少評(píng)估的總次數(shù)來(lái)抵消。

《舊金山宣言》項(xiàng)目的福爾克斯說(shuō)，他理解人們的擔(dān)憂，即“如果你去掉了定量的數(shù)字，就只剩下幕后交易和贊助了”。但他也表示：“我們并不是說(shuō)要完全放棄定量指標(biāo)?！倍遥柨怂寡a(bǔ)充說(shuō)，《舊金山宣言》正在加入“對(duì)研究做研究”的群體，以協(xié)助理解敘述式簡(jiǎn)歷和其他定性同行評(píng)議實(shí)踐的使用。

化學(xué)教授林恩 ? 卡梅林（Lynn Kamerlin）于2022年轉(zhuǎn)入佐治亞理工學(xué)院，在此之前，她曾參與歐洲的科學(xué)政策制定，她表示：“即便是‘鐵面無(wú)私’的定量指標(biāo)也并非沒(méi)有偏見(jiàn)。”有限的崗位和資助是一種“零和”游戲，她說(shuō)，“除非超級(jí)競(jìng)爭(zhēng)的根本問(wèn)題得到解決，否則其他一切都只是權(quán)宜之計(jì)”。

資料來(lái)源PhysicsToday