以論文為導(dǎo)向科研評價體系的影響及啟示
——以意大利改革實踐為例

●馬宗文 任 梅

我國科研評價體系過去一段時期存在重論文數(shù)量和影響因子、輕論文質(zhì)量等問題，特別是“唯論文”“SCI至上”等不良導(dǎo)向給科研生態(tài)造成嚴(yán)重不良影響。[1]“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎項”的“五唯”現(xiàn)象，其根子在“唯論文”，因為論文是帽子、職稱、學(xué)歷、獎項的重要基礎(chǔ)，因此“破五唯”的關(guān)鍵在于破除“唯論文”導(dǎo)向。[2]如何才能“破得深”“立得準(zhǔn)”“放得活”落實破除“唯論文”導(dǎo)向的科研評價政策改革，需借鑒國內(nèi)外的有益經(jīng)驗。意大利于2010年啟動了科研評價體系的改革，改革的主要方向是加強了論文指標(biāo)的權(quán)重。該項政策實施以來，對提高論文產(chǎn)出效率、提高論文的引用率等發(fā)揮了積極作用。本文通過對該項政策實施效果的利弊分析，提出相關(guān)建議，以期為國科技評價改革提供參考。

一、意大利科研評價體系改革的相關(guān)做法

意大利于2010年通過第240號法令，成立獨立運行的國家大學(xué)與科研機構(gòu)評估署(ANVUR)。ANVUR成立之初即開始對科研評價體系進(jìn)行改革，其中對高校教師錄用和職稱評審的評價指標(biāo)加強了論文導(dǎo)向，對高校和科研機構(gòu)評估重視代表性論文的質(zhì)量。

(一)對教師錄用和職稱晉升的改革辦法中體現(xiàn)論文導(dǎo)向

該法令對高校教師錄用與晉升體系進(jìn)行了改革，主要采用文獻(xiàn)計量學(xué)的指標(biāo)，對自然科學(xué)和社會科學(xué)分別進(jìn)行評價，各設(shè)置3項指標(biāo)：對于硬科學(xué)(一般指數(shù)學(xué)、物理學(xué)、化學(xué)、天文學(xué)等自然科學(xué))、生命科學(xué)和工程學(xué)，考察的指標(biāo)是：①發(fā)表的期刊論文數(shù)量，②被引用次數(shù)，③H指數(shù)(“高引用次數(shù)”指數(shù))；對于社會科學(xué)和人文科學(xué)，考察的指標(biāo)是：①研究成果產(chǎn)出的數(shù)量，②專著的數(shù)量，③在“A類”期刊(通過ANVUR評估認(rèn)定)上發(fā)表的論文數(shù)量。ANVUR規(guī)定了取得參評資格的最低文獻(xiàn)計量學(xué)要求：參評人必須滿足2/3以上的指標(biāo)達(dá)到最低要求才有資格參評(也稱“2/3原則”)。在執(zhí)行該法令的初期，每項指標(biāo)的最低限設(shè)定在已獲得該級別職稱(教授或副教授)人員的文獻(xiàn)計量指標(biāo)的中位數(shù)數(shù)值。如，為了獲得教授的評選資格，候選人必須在3項指標(biāo)中的2項，超過現(xiàn)任所有教授的對應(yīng)2項指標(biāo)的中位數(shù)數(shù)值。取得資格后，再由5名專家組成的評審委員會對達(dá)到最低要求的候選人進(jìn)行評估，并最終確定入選者。同樣的，評審委員會人員也必須達(dá)到“2/3原則”這一最低標(biāo)準(zhǔn)。該評價方式從2011年起在意大利全國實施，基于文獻(xiàn)計量學(xué)的指標(biāo)在國家科研體系評估和整個招聘程序中發(fā)揮著中心作用。

(二)對高校和科研機構(gòu)評估改革重視論文指標(biāo)

意大利建立了國家科研質(zhì)量評估(VQR)體系，ANVUR分別于2013年、2016年和2020年啟動了3期國家科研質(zhì)量綜合評估。[3]最新一期評估報告于2022年7月面向社會發(fā)布。

評估按照學(xué)科領(lǐng)域進(jìn)行，每個領(lǐng)域成立評估專家組，評估專家組采用同行評議和文獻(xiàn)計量學(xué)相結(jié)合的方法，開展獨立評估工作，其中對理工科的評估主要采用文獻(xiàn)計量法，對人文和社會科學(xué)的評估以同行評議為主。文獻(xiàn)計量法的統(tǒng)計來源是Web of Science、Elsevier's Scopus和MathSciNet三個數(shù)據(jù)庫，主要指標(biāo)是文章的被引用率和發(fā)文期刊的影響因子。同行評議的主要標(biāo)準(zhǔn)是原創(chuàng)性、方法的嚴(yán)謹(jǐn)性和潛在影響力等。

評估對象是意大利全國的96所高校、14家公立科研機構(gòu)和22所公私合辦科研機構(gòu)，這些高校和科研機構(gòu)須在指定日期前提交本單位的教授、副教授、研究員、副研究員、助理研究員、技術(shù)人員、科研經(jīng)理人等的成果或作品，包括科研論文、專著或?qū)Ｖ鹿?jié)、會議論文、科學(xué)評論、著作翻譯、專利、軟件、數(shù)據(jù)庫等。從近兩期的評估看，參評機構(gòu)提交的代表作主要是科研論文。評審專家對提交作品進(jìn)行評價，并按照不同等級分別進(jìn)行賦分，計算科研成果的質(zhì)量。

最后，按照總體評價結(jié)果的得分情況，對高校和科研院所分別進(jìn)行排名。VQR評估結(jié)果是意大利大學(xué)與科研部分配國家一般性財政基金(FFO)的重要參考依據(jù)。根據(jù)2013年第98號部令，2014、2015和2016年FFO總額的16%、18%和20%將根據(jù)VQR評估結(jié)果分配，而且以后逐年增加，2018年已經(jīng)達(dá)到約25%(約15億歐元)，最終目標(biāo)是達(dá)到FFO總額的30%。

二、以論文為導(dǎo)向評價體系的成效

意大利將論文指標(biāo)與教師錄用、職稱晉升掛鉤，以及在機構(gòu)評估中重視論文指標(biāo)的做法對提升論文的整體影響力發(fā)揮了非常重要的作用。相關(guān)統(tǒng)計顯示，2010年以來意大利學(xué)者發(fā)表的論文增速與全球增速基本保持一致，占全球比重基本穩(wěn)定，高被引論文數(shù)量明顯增多，這種情況與歐洲其他國家形成巨大反差，說明意大利的改革初見成效。

(一)提高論文產(chǎn)出效率

近20年來，歐洲傳統(tǒng)科技強國的論文產(chǎn)出增速下降，占全球的比重降幅明顯。根據(jù)歐盟科研與創(chuàng)新總司統(tǒng)計(見表1)[4]，2000～2020年，英國從7.2%下降到3.8%，下降了47%；德國從6.5%下降到3.7%，下降了43%；法國從4.7%下降到2.2%，下降了53%；而同期意大利學(xué)者發(fā)表論文總量在全球所占的比重基本穩(wěn)定在3.0%左右。從科研投入來看，2000～2020年，英國增長了50%，德國增長了58%，法國增長了33%，意大利增長了45%。[5]從科研投入與產(chǎn)出的效率看，意大利與其他歐洲國家形成鮮明對比，以科技論文表征的科研產(chǎn)出效率呈現(xiàn)逆勢增長。

表1 科技論文總量在全球所占比重 (單位：%)

(二)提升論文和科研影響力

從論文被引用情況看，在歐洲論文被引用率總體下降的情況下，意大利10%和1%高被引論文所占比重出現(xiàn)逆勢增長。

2000～2020年意大利學(xué)者發(fā)表的全球10%高被引論文數(shù)量占全球總量的比重上升，從2000～2002年的2.6%提高2014～2016年的3.1%，再到2018～2020年提高到3.2%，而同期英、德、法三國所占比重均出現(xiàn)明顯下降(見表2)。意大利學(xué)者發(fā)表論文的整體質(zhì)量也在提升，10%高被引論文數(shù)量占本國發(fā)表論文總數(shù)比例在2000～2002年、2007～2009年和2014～2016年三個統(tǒng)計期內(nèi)，分別為8.3%、9.1%和10.1%，從增速看，2010年后的時間段快于前者，這也說明改革發(fā)揮了作用。

表2 10%高被引論文數(shù)量在全球所占比重 (單位：%)

2000～2020年，意大利學(xué)者發(fā)表的全球1%高被引論文數(shù)量占全球總量的比重也上升，從2000～2002年的2.2%提高2014～2016年的2.9%，再到2018～2020年出現(xiàn)波動，略微下降到2.6%，而同期英、德、法三國所占比重均出現(xiàn)明顯下降(見表3)。1%高被引論文數(shù)量占本國發(fā)表論文總數(shù)比例，在2000～2002年、2007～2009年和2014～2016年三個統(tǒng)計期內(nèi)分別為0.70%、0.77%和0.92%，也體現(xiàn)出高水平論文數(shù)量的快速提升，而且后一個時間段明顯快于前一個時間段，同樣說明了改革的成效。

表3 1%高被引論文數(shù)量在全球所占比重 (單位：%)

從論文被引用率反映出的科研國際影響力來看，意大利在改革后整體水平上升明顯?？蒲姓撐牡谋灰侍岣咴蚴嵌喾矫娴?，但在意大利整體科研投入強度在歐洲一直處在中等偏下的位次(研發(fā)投入經(jīng)費占GDP的比重近年來徘徊在1.2～1.3%之間，低于歐盟平均水平)，而且多年來研發(fā)投入總量沒有大幅增長的情況下，科研評估體系改革無疑對提升論文產(chǎn)出數(shù)量和引用率發(fā)揮了重要助推作用。

三、過度重視論文指標(biāo)和引用率的負(fù)面影響

(一)過度重視論文指標(biāo)的負(fù)面影響

論文導(dǎo)向是把“雙刃劍”，過度重視論文指標(biāo)的科研評價體系容易導(dǎo)致一些不良后果，包括：一是目標(biāo)錯位，為了發(fā)表高影響因子論文的目標(biāo)而不擇手段，甚至違反科研倫理；二是規(guī)避風(fēng)險，減少進(jìn)行跨學(xué)科、非主流、高創(chuàng)新性的研究，而是更多地開展傳統(tǒng)領(lǐng)域的較易出成果的穩(wěn)妥研究；三是顧此失彼，學(xué)者將減少不作為激勵導(dǎo)向的教學(xué)工作和公共活動(如科學(xué)傳播)，而只專注于可發(fā)表論文的學(xué)術(shù)研究。

(二)過度重視引用率的負(fù)面影響

2010年意大利的科研評價改革法，對理工科設(shè)立的3項指標(biāo)中有2項與引用率有關(guān)(被引次數(shù)和H指數(shù))。研究發(fā)現(xiàn)過度依賴引用率指標(biāo)給意大利科研生態(tài)造成以下負(fù)面影響：

第一，破壞科研環(huán)境。采用的評價指標(biāo)中引用率包括自引文獻(xiàn)，也就是研究人員可以通過自我引用來增加其指標(biāo)值，一些科研人員為了提升引用率，甚至成立了一些“引文圈子(citation club)”，其成員通過內(nèi)部交換各自的論文并互相引用，以提高成員的論文引用率，這嚴(yán)重破壞了科研環(huán)境。2019年《科學(xué)》雜志發(fā)表了多國科學(xué)家對意大利“引文圈子”文化的關(guān)注，并提出批評。[6]

第二，造成國際孤立。2019年《自然》雜志發(fā)表了對意大利學(xué)者2000年以來發(fā)表的論文分析結(jié)果顯示，自2010年評估改革之后，雖然意大利國際合作發(fā)表的論文保持相對穩(wěn)定且較低水平，但引用率特別是自引率與其他國家相比出現(xiàn)反常規(guī)的上升，即意大利學(xué)者參與撰寫的論文越來越多地引用本國學(xué)者的文獻(xiàn)，這讓意大利的研究在國際上變得越來越“孤立”。[7]

第三，有損公平競爭。意大利的經(jīng)驗表明，即便是“負(fù)責(zé)任地使用”引用率指標(biāo)也不足以阻止采取不當(dāng)手段提升指標(biāo)的現(xiàn)象，破壞了科研的公平競爭和科研生態(tài)?！叭R頓宣言”[8]關(guān)于科研指標(biāo)建議使用一組指標(biāo)而非單個指標(biāo)以防止博弈和目標(biāo)偏移。意大利的案例并不支持多個指標(biāo)以避免不良現(xiàn)象發(fā)生。

第四，弱化專家評審。意大利的評價體系采用定量指標(biāo)和專家評審相結(jié)合的方式并由專家做出最后評審，但在實際操作中，僅僅是文獻(xiàn)計量指標(biāo)就足以從根本上影響專家的判斷和最終結(jié)論，從而促進(jìn)“機會主義”策略，因而從總體看基于指標(biāo)的影響超過了專家評審的意見。[9]

四、討論與建議

近年來，我國對科技評價體系中偏重論文指標(biāo)的改革持續(xù)開展，2020 年科技部出臺《關(guān)于破除科技評價中“唯論文”不良導(dǎo)向的若干措施(試行)》，并聯(lián)合教育部針對規(guī)范SCI論文指標(biāo)的使用出臺了《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用樹立正確評價導(dǎo)向的若干意見》。2021年國務(wù)院辦公廳出臺《關(guān)于完善科技成果評價機制的指導(dǎo)意見》，要求評價成果不僅僅停留于刊物上發(fā)表的論文，更要看成果的創(chuàng)新水平、轉(zhuǎn)化應(yīng)用績效和對經(jīng)濟(jì)社會發(fā)展的實際貢獻(xiàn)。

當(dāng)前科技評價中過度重視論文指標(biāo)的做法還未從根本上扭轉(zhuǎn)，科技評價改革尚未從根本上實現(xiàn)引導(dǎo)科研人員追求卓越的價值導(dǎo)向。[10]在工程技術(shù)領(lǐng)域也要求SCI論文，嚴(yán)重影響了對一線科技人員解決我國關(guān)鍵技術(shù)問題的知識供給[11]，特別是在醫(yī)學(xué)領(lǐng)域的職稱評審、項目資助過程中過度看重論文而輕醫(yī)學(xué)實踐，不僅違背了學(xué)科特點和規(guī)律，也造成過去一段時期醫(yī)學(xué)領(lǐng)域?qū)W術(shù)不端行為頻發(fā)。唯論文的科研導(dǎo)向還導(dǎo)致科研成果評價與激勵的偏差，產(chǎn)生價值追求扭曲和急功近利等問題。[12]目前工作重點在破舊規(guī)，新標(biāo)還沒有完全建立。定量評價和定性評價還沒有很好結(jié)合，基于指標(biāo)的定量評價方法僵化、泛化，基于同行評議的定性評價方法流于形式。[13]

我國科學(xué)家發(fā)表的SCI論文總量從2008年起已連續(xù)十多年穩(wěn)居全球第2位，而且高被引論文數(shù)量也快速增長?！?022年中國科技論文統(tǒng)計報告》顯示，2011～2021年中國學(xué)者發(fā)表的被引用次數(shù)處于世界前1%的各學(xué)科論文占全球總數(shù)的27.3%，世界排名已連續(xù)4年保持在第2位。[14]從論文總量和引用率看，我國已成為論文大國。論文高產(chǎn)出和高引用率的原因是多方面的，除了科研人員的主觀能動性和創(chuàng)造性外，客觀上，一方面離不開近些年來對科技的高強度投入；另一方面，從意大利的經(jīng)驗看，以論文為導(dǎo)向甚至“唯論文”的評價體系同樣是重要原因。如何深入落實國家科技評價改革政策，破除當(dāng)前論文評價中仍然存在的問題，建立更加合理的評價體系，結(jié)合對意大利改革實踐的利弊分析，提出如下建議。

(一)加強頂層設(shè)計，進(jìn)一步優(yōu)化科研評價制度環(huán)境

長期以來，我國政府主導(dǎo)著科研評估工作，評估對相關(guān)利益和資源的分配具有重要影響，直接關(guān)系到大學(xué)和科研人員的生存和發(fā)展空間，這一過程會受到行政權(quán)威的控制，從而可能會使評估產(chǎn)生價值扭曲。[15]建議以當(dāng)前科技評價改革為契機，進(jìn)一步簡政放權(quán)，充分發(fā)揮高校、科研機構(gòu)、管理部門等各方主體的內(nèi)在動力和創(chuàng)新活力，推動科技管理向協(xié)同治理轉(zhuǎn)變，減少學(xué)術(shù)評價的頻次，延長考核周期，扭轉(zhuǎn)科技評價中過度看重論文指標(biāo)的不良做法，為科研評價營造良好的制度環(huán)境。

(二)在量化評價指標(biāo)的基礎(chǔ)上，重視發(fā)揮同行評議作用

科學(xué)研究具有高度專業(yè)性，了解某項研究價值的本領(lǐng)域權(quán)威專家最有發(fā)言權(quán)，同行評議尤其是“小同行”評審能發(fā)揮至關(guān)重要的作用。意大利的高校和科研院所不僅重視論文指標(biāo)，而且重視評審委員會的同行評議意見，由評審委員會決定最終評價結(jié)果。關(guān)于科研指標(biāo)的“萊頓宣言”也提出量化評估應(yīng)當(dāng)支撐而非替代質(zhì)化的專家評估，即基于同行專家評價的質(zhì)性評估是主導(dǎo)性的，基于指標(biāo)的量化評估是輔助性的。建議更好發(fā)揮學(xué)術(shù)共同體及專家同行評議作用，健全同行評議機制。

(三)不能將文獻(xiàn)計量指標(biāo)簡單用于對論文質(zhì)量的評價

文獻(xiàn)計量指標(biāo)是對大量文獻(xiàn)的統(tǒng)計分析結(jié)果，在宏觀上具有參考意義，可以用來分析一個國家、某個學(xué)科領(lǐng)域的科技發(fā)展情況，指導(dǎo)科技管理政策制定，但文獻(xiàn)計量指標(biāo)受不同學(xué)科領(lǐng)域和數(shù)據(jù)庫等的影響大，對某位學(xué)者學(xué)術(shù)水平或單篇文章學(xué)術(shù)價值評價時，簡單采用文獻(xiàn)計量指標(biāo)，難免會產(chǎn)生偏差，而且容易助長急功近利的短視行為，不利于科技發(fā)展。關(guān)于科研評價的“舊金山宣言”(DORA)[16]同樣提出，不應(yīng)使用基于期刊的計量指標(biāo)去評價單篇文章的質(zhì)量、單個科學(xué)家的貢獻(xiàn)。建議在微觀層面的評價中，正確看待和使用文獻(xiàn)計量指標(biāo)。

(四)對論文代表作的評價中，合理使用引用率指標(biāo)

意大利的做法顯示，將論文指標(biāo)與教師錄用和職稱晉升掛鉤形成了強大的激勵機制，特別是“2/3原則”中2項指標(biāo)都與引用率有關(guān)，極大促進(jìn)了研究被引用率的增加?？茖W(xué)家對政策激勵的反應(yīng)靈敏，所以制定任何科技政策必須十分謹(jǐn)慎，特別是像被引用率這樣的非中性評價指標(biāo)，被評價人可以通過積極互動從而提升指標(biāo)值。建議對論文評價實行代表作制度，合理確定代表作數(shù)量，對代表作質(zhì)量的評價在考慮引用率指標(biāo)時，建議排除自引的情況。

(五)回歸理性，加快構(gòu)建符合科研規(guī)律的評價體系

意大利的實踐證明正確引導(dǎo)和合理使用論文指標(biāo)可以極大地調(diào)動科研人員積極性。建議根據(jù)基礎(chǔ)研究、應(yīng)用研究和技術(shù)開發(fā)等不同類型科研活動，建立符合學(xué)科特點和發(fā)展規(guī)律的評價標(biāo)準(zhǔn)和指標(biāo)體系，將學(xué)術(shù)貢獻(xiàn)和創(chuàng)新價值作為核心評價導(dǎo)向，引導(dǎo)科研人員解決真正的科學(xué)問題。在破除“唯論文”導(dǎo)向的改革中，應(yīng)避免矯枉過正，破的是“唯”的極端性和絕對性，而不是拋棄論文評價本身，對于基礎(chǔ)研究而言，論文尤其高質(zhì)量的論文應(yīng)該是主要指標(biāo)，要注重評價新發(fā)現(xiàn)、新觀點、新原理、新機制等標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響。