基于代表作制度的科研成果定量分析評價初探

溫 暖

（東北大學圖書館，遼寧 沈陽 110819）

1 代表作制度

1.1 代表作制度及研究現(xiàn)狀

代表作，意指最能體現(xiàn)作者思想水平和藝術(shù)風格的作品[1]。在高校和科研機構(gòu)，代表作狹義上可以理解為代表性的學術(shù)論文著作，通常是在人才遴選、職稱晉升、學術(shù)評獎、項目評定等評價活動中，由被評價者所提供的最能代表其自身學術(shù)水平的若干代表性研究成果。在英國REF（Research Excellence Framework，科研卓越框架）[2]高?？蒲性u估體系中， “科研產(chǎn)出” 模塊賦予了研究成果更寬泛的定義，即除印刷學術(shù)著作外，研究成果可包括但不限于：新材料、裝置、圖像、手工藝品、產(chǎn)品和建筑物；鑒定報告或技術(shù)報告；知識產(chǎn)權(quán)（專利或其他形式）；表演、展覽或活動；在非印刷媒體上發(fā)表的作品。REF的一個基本原則是，所有形式的研究成果都將在公平和平等的基礎(chǔ)上進行評估，評估委員會不會將任何特定形式的輸出視為質(zhì)量高于或低于另一種形式。

高校承擔著科學研究的重要職能，是國家創(chuàng)新體系的重要組成部分，也是我國科研產(chǎn)出的重要力量。切實提升研究質(zhì)量和水平，形成一批有分量、有影響、能發(fā)揮作用的高質(zhì)量創(chuàng)新成果，是高校的責任和使命?？茖W、客觀、公平的科研評價體系的構(gòu)建，對于提升學術(shù)成果質(zhì)量、端正學術(shù)風氣、營造良好的學術(shù)環(huán)境起著積極的作用。筆者試從代表作角度出發(fā)，探討定量分析方法在代表作篩選評定中應用的可行性，圍繞科研評估中的產(chǎn)出和影響力部分以及科學計量學的基本準則，擬構(gòu)建多維度的代表作遴選框架。

代表作制度最早在媒體上公開提出見于2003年12月5日《中國青年報》的報道： “為了解決當前學術(shù)成果評定機制中‘重數(shù)量輕質(zhì)量’的問題，南開大學將在今后的學術(shù)成果評定和職務晉升評審中實行‘代表作’制度”[3]。在學術(shù)論文中的相關(guān)報道最早見于2006年，北京大學在中文系等院系試點實行論文代表作制度[4]。在中國知網(wǎng)的專業(yè)檢索界面，運用如下檢索式：TKA=（（′代表作/NEAR 2評價′）+（′代表作 /NEAR 2制度′）），進行跨庫檢索，得到211篇論文，去除與科研評價和評估無關(guān)主題論文后剩余105篇，發(fā)文量趨勢如圖1所示。總體來看研究的體量并不大，相關(guān)研究始于2006年，即北大中文系試點實行代表作制度，年發(fā)文量在2012年出現(xiàn)過一次高峰，研究內(nèi)容主要集中在對代表作制度施行與否的探討，而后回落呈波動下降趨勢，直至2021年達到新的峰值，研究內(nèi)容轉(zhuǎn)向了對科研評價和職稱制度的深化改革以及代表作制度的實行和推進，研究層次更深入，觀點更加明確。探究出現(xiàn)這兩次研究熱潮的主要原因，一是國內(nèi)一些高校推行 “代表作制度” 所引發(fā)的業(yè)內(nèi)熱議，二是國家有關(guān)部門出臺相關(guān)政策從而引起國內(nèi)科研機構(gòu)的響應。

圖1 代表作制度相關(guān)研究發(fā)文量總體趨勢

文獻內(nèi)容采用定量分析進行代表作遴選的數(shù)量并不多。劉雪立等[5]提出了利用論文被引頻次基準線遴選學者代表作的方法，提出了論文PR8分值指標；張學梅[6]以代表作制度為基礎(chǔ)，使用h指數(shù)核心法和representative方法選取學者代表作，對Prathap提出的z指數(shù)原理進行改進；姜春林等[7-8]探討了科學計量方法輔助代表作評價，探討了代表性論文評價指標的選取，包括傳統(tǒng)科學計量指標、引用位置指標、社會網(wǎng)絡(luò)指標、替代計量學指標等，并構(gòu)建了人文社會科學代表性論文評價指標體系；朱軍文等[9]針對高?？蒲性u價定量方法中的質(zhì)量屬性進行了細致的研究。

相較于國內(nèi)的推行進度以及研究現(xiàn)狀，代表作制度在國外已推行多年，成為評價學者學術(shù)水平的慣常手段。如，2005年由美國加利福尼亞大學圣地亞哥分校的物理學家喬治·希爾施（Jorge E.Hirsch）提出的h指數(shù)[10]以及Egghe提出的基于學者以往貢獻的g指數(shù)[11]，從內(nèi)在邏輯上都可以歸結(jié)為代表作制度。放眼全球，國際學術(shù)界的慣例以采用同行評議來更加客觀地考評科研人員的成果。2012年12月16日，在美國加州舊金山舉辦的全美細胞生物學學會年會上，部分學術(shù)期刊的編輯和出版商提出了一系列改善學術(shù)評價的建議，這些建議后來被稱為《舊金山科研評價宣言》（San Francisco Declaration on Research Assessmen，簡稱DORA），其中強調(diào)研究人員工作的價值取決于論文的內(nèi)容，而不取決于論文發(fā)表在何種刊物上[12]；DORA對資助機構(gòu)、科研機構(gòu)、出版機構(gòu)、計量指標提供方和研究人員分別給出了建議。目前，已有來自全球143個國家和地區(qū)的18832名科研人員及機構(gòu)簽署了DORA，共同推動著學術(shù)評價向更科學的方向進化。

綜上，在我國，代表作制度的進一步完善和推進還依賴于更可靠的政策保障，存在著諸多的可能性，同時也有更多的研究視角和切入點等待科研評價工作者進行深入探索。

1.2 代表作制度與分類評價

如前所述，代表作制度引發(fā)的熱議大多伴隨著國家有關(guān)部門出臺的職稱評定和科技評價的相關(guān)政策。早在2018年，中共中央辦公廳、國務院辦公廳印發(fā)了《關(guān)于深化項目評審、人才評價、機構(gòu)評估改革的意見》[13]（以下簡稱《意見》）以及《關(guān)于分類推進人才評價機制改革的指導意見》[14]（以下簡稱《指導意見》）?！兑庖姟分赋觯菩写碜髟u價制度，注重標志性成果的質(zhì)量、貢獻、影響，提出建立科學的人才分類評價體系和機制，堅持分類評價的原則，針對自然科學、哲學社會科學、軍事科學等不同學科門類特點，建立分類評價指標體系和評價程序規(guī)范。分類評價的內(nèi)涵，即圍繞不同研究層次所側(cè)重的研究目的以及研究成果不同，選擇不同的評價主體，采用不同的評價標準。例如對于基礎(chǔ)研究，側(cè)重于探索未知，其研究的成果產(chǎn)出主要是科技論文，因此選擇將論文的創(chuàng)新性作為主要評價維度；對于應用研究，其主要目的是為了解決技術(shù)難題以及對內(nèi)在機制等的探究，研究活動主要圍繞技術(shù)原理和方法等開展，因此應當圍繞應用性前景展開科學評價；對于試驗發(fā)展研究，主要是為了解決現(xiàn)實生產(chǎn)中遇到的難題而進行技術(shù)改進，那么應以解決的實際問題為主要評價維度。為貫徹落實上述《意見》和《指導意見》，近年來科技部在深化科技評價制度改革中，已在國家科技獎勵，如自然科學獎評審、科技人才評價等領(lǐng)域?qū)嵭辛苏撐拇碜髦贫龋〉昧朔e極成效。

2020年2月17日，科技部印發(fā)《關(guān)于破除科技評價中 “唯論文” 不良導向的若干措施（試行）》[15]（以下簡稱《若干措施》），根據(jù)不同科技活動特點分類，提出了評價重點和量化指標，提出對于基礎(chǔ)研究類科技活動、基礎(chǔ)研究類項目（課題）、國家實驗室、國家重點實驗室等科學與工程研究類基地、基礎(chǔ)研究類機構(gòu)、自然科學獎、中青年科技創(chuàng)新領(lǐng)軍人才、重點領(lǐng)域創(chuàng)新團隊，對論文評價實行代表作制度。其中對于基礎(chǔ)研究類科技活動，強化代表作同行評議，實行定量評價與定性評價相結(jié)合，重點評價學術(shù)價值及影響、與當次科技評價的相關(guān)性以及相關(guān)人員的貢獻等。2020年11月3日，教育部學位與研究生教育發(fā)展中心公布了《第五輪學科評估工作方案》[16]，評估的基本原則是強化分類評價，強化 “代表作” 和 “典型案例” 評價，評價科研水平不唯論文和獎項，設(shè)置 “代表性學術(shù)著作” “專利轉(zhuǎn)化” “新藥研發(fā)” 等指標，進行多維度科研成效評價。本輪學科評估的總體改革思路也進一步強化分類特色評價，評價學術(shù)論文是否聚焦標志性學術(shù)成果，采用 “計量評價與專家評價相結(jié)合” “中國期刊與國外期刊相結(jié)合” 的 “代表作評價” 方法，充分運用基于定量數(shù)據(jù)和客觀證據(jù)的專家融合評價方法，堅持代表性成果專家評價與高水平成果定量評價相結(jié)合。

綜上，近年來國家有關(guān)部門陸續(xù)出臺了各項政策措施，以分類評價為基本原則實行代表作制度，明確了將科技評價的重點從看數(shù)量轉(zhuǎn)到評質(zhì)量上來。而如何科學合理地制定代表作的遴選標準，把握代表性成果專家評價以及高水平成果定量評價的平衡，需要科研評價和決策部門結(jié)合本單位科研工作的現(xiàn)狀進行深入探討，同時也需要結(jié)合長期的評價成效和學者反饋不斷作出完善調(diào)整。

2 定量分析方法輔助代表作篩選

2.1 運用定量分析方法篩選代表作的原則

回歸代表作制度的核心問題，一是代表作代表什么，二是代表作如何選擇。《若干措施》里的闡述可以帶給上述兩個問題的啟示是，要依據(jù)分類評價的思想，代表作的代表性體現(xiàn)在其所在的研究領(lǐng)域和方向，還要能夠充分反映它的價值與影響，包括質(zhì)量、成效、特色、貢獻等。而對于代表性成果的選擇，《若干措施》中指出要堅持定量與定性相結(jié)合，同時對國內(nèi)外論文給出了明確的比例要求，以便更合理地確定代表作的數(shù)量。借助科研評估的邏輯模型也能夠幫助評估人員定義如何評價一個項目是否成功以及一項有效的評估所需要獲取的數(shù)據(jù)。一個邏輯模型通常由投入（Inputs）、產(chǎn)出（Outputs）與成果（Outcomes）3部分組成，其中成果部分也包含了科研產(chǎn)出的影響力，包括學術(shù)影響力、經(jīng)濟效益和社會效益等。普賴斯獎得主、荷蘭著名科學計量學家Henk F.Moed在關(guān)于科研評價的最新論文[17]中提出了一種多維度輸出和影響力模型（見表1），從科學-學術(shù)、教育、經(jīng)濟和技術(shù)、社會和文化4個方面概述不同類型的研究成果和影響力，反映了科研績效評價的多維性。

表1 多維度輸出和影響力模型

REF也同樣注重科研成果對經(jīng)濟、社會、文化的影響，將 “科研影響力” 納入其評價指標體系[2]（見表2），更加注重跨學科和合作研究，實行以同行評議為主、文獻計量為輔的評價方式。因此在科研評價的過程中，應注重多維度的科研產(chǎn)出和影響力，這也是制定代表作篩選定量指標時應該充分考量的重要因素。

表2 REF評價指標體系

Henk F.Moed也給出了科研評估中的文獻計量和信息計量指標，其中不僅包括引文和其他文獻計量指標，還包括專利、使用、研究數(shù)據(jù)、聲譽、網(wǎng)絡(luò)和基礎(chǔ)設(shè)施指標，以及Altmetrics和經(jīng)濟計量、網(wǎng)絡(luò)計量指標[17]。引文數(shù)量是進行學術(shù)影響力的定量評估時最常用的指標。引文是科學對話的一種方法，是作者認為對自己的研究 “有用” 的資料，這同時也體現(xiàn)了引文含義的復雜性，它是作者的 “主觀” 判斷，但有多個作者有這樣的 “主觀” 判斷，其引文的 “數(shù)據(jù)” 則是 “客觀” 的，因此它既是定性的，又是定量的[18]。引文的數(shù)量并不能夠完全體現(xiàn)論文的質(zhì)量，它代表的是論文的有用性或可用性，更多反映的是學術(shù)論文的影響力及表現(xiàn)。

綜上，通過科學計量指標如基于引文的指標進行代表性研究成果的篩選和評定時，應遵循科學性和價值性的原則，必須將多維度的影響力作為指導思想，采用的評價方法應該直接并易于解釋，以便其他人能夠理解并進行核查，即公開、客觀地呈現(xiàn)評估結(jié)果，這也是運用科學計量學的最高準則。要強調(diào)的是，基于引文分析的定量方法并不能取代專家評議的定性分析，正如比利時著名科學計量學家魯索（Ronald Rousseau）所說，運用文獻計量學指標是為了能夠?qū)ρ芯抗ぷ鬟M行觀察和評論，從而使專家掌握足夠的信息，形成根據(jù)更充分的意見，并在更高的信息集成水平上更具權(quán)威性。REF2021采用定性與定量結(jié)合的綜合評價方法，評估小組需要在正式評價階段向各專家組提供高校提交的科研成果的引用數(shù)等定量數(shù)據(jù)，作為同行評議的參考。

2.2 定量指標的確定

通過詳細解讀《若干措施》中關(guān)于對論文評價實行代表作制度的具體評價要求，可以得出如下結(jié)論，即對于代表性論文的評價和篩選，應當充分體現(xiàn)創(chuàng)新性和前沿性，并始終圍繞著科研成果的影響力而展開，包括學術(shù)影響和經(jīng)濟社會影響。其中創(chuàng)新思想是科研評價的核心指標，學術(shù)影響力和社會影響力是科研評價的重要指標，同時也要考慮學者在團隊中的參與度和貢獻度。結(jié)合東北大學訂購的科研分析評價平臺和工具，筆者擬從創(chuàng)新性、國際前沿性、國際學術(shù)影響力、經(jīng)濟社會影響力以及合著中的主導性5個維度來選取代表性論文的定量評價指標。

（1）創(chuàng)新性

衡量科技論文的創(chuàng)新性，使用頻率最高的是傳統(tǒng)科學計量指標中的引文數(shù)量，即論文自發(fā)表以來統(tǒng)計當年被引用的次數(shù)，通常直接用被引頻次來表示。通常情況下，如果一篇論文被引頻次越高，說明該論文被同行重視的程度越高，其學術(shù)影響力也就越大，國際上已廣泛接受將其作為一種對論文質(zhì)量進行后期評估的主要方式和重要的綜合評價定量指標。借助科學引文索引（SCI），通過引文網(wǎng)絡(luò)分析，可以從一篇高質(zhì)量的論文出發(fā)，深入了解一項科學研究的來龍去脈，同時發(fā)現(xiàn)科研脈絡(luò)中的開拓性、新領(lǐng)域和新的研究分支。除被引頻次外，也可以參考與引用論文數(shù)量相關(guān)的其他指標，如h指數(shù)、平均被引用數(shù)量和論文被引百分比等進行輔助評價。

（2）國際前沿性

掌握科研的動態(tài)和進展尤其是跟蹤新興專業(yè)領(lǐng)域?qū)τ趧?chuàng)新科研工作來說具有重要意義。由前述的引文思想可知，通過持續(xù)跟蹤全球重要的科研動態(tài)和學術(shù)論文，研究分析論文被引用的模式和聚類，特別是成簇的高被引論文頻繁地共同被引用的情況，可以發(fā)現(xiàn)研究前沿。在ESI（Essential Science Indicators，基本科學指標）數(shù)據(jù)庫中，通過聚類分析方法測度高被引論文之間的共被引關(guān)系而形成高被引論文的聚類，再通過對聚類中論文題目的分析形成了相應的研究前沿（Research Fronts）[19]。研究前沿是一組高被引論文，是通過聚類分析確定的核心論文。通過查看和對比學者及其所在團隊的學術(shù)論文在研究前沿中的命中數(shù)量，可以了解其科研產(chǎn)出與相關(guān)的國際前沿是否具有主題上的關(guān)聯(lián)性，如，哪篇論文奠定了課題基礎(chǔ)，哪篇論文為最新研究成果，哪篇論文開創(chuàng)了新的研究分支等，以掌握科研成果在研究前沿中的參與度。

（3）國際學術(shù)影響力

由于引文數(shù)據(jù)會受到學科、發(fā)表年份和文獻類型等影響，進行國際學術(shù)影響力評價要特別注意遴選指標的標準化。常用的規(guī)范化的指標包括CNCI（Category Normalized Citation Impact，學科規(guī)范化引文影響力）、百分位等。CNCI是通過計算單篇論文的實際被引次數(shù)除以同文獻類型、同出版年、同學科領(lǐng)域的期望被引次數(shù)而獲得的[20]，如果一篇文獻被劃歸至多于一個學科領(lǐng)域時，那么就采用它的使用實際被引次數(shù)與期望被引次數(shù)比值的平均值。由于CNCI是一個排除了出版年、學科領(lǐng)域與文獻類型作用的無偏差影響力指標，因此極具權(quán)威性、客觀性，可直接反映高校、科研機構(gòu)及研究院所的科研成果產(chǎn)出能力的大小。2019年1月，中國農(nóng)業(yè)科學院利用論文的CNCI指標，評選出了20篇2014—2018年中長期代表作論文[21]。百分位是基于同行比較，依據(jù)在同行中所處的位置來衡量論文引用的活躍度。

除考慮論文的影響力之外，期刊的影響力級別也是衡量代表作的重要指標。對于期刊級別的規(guī)定，《若干措施》中明確指出要鼓勵發(fā)表高質(zhì)量論文，包括發(fā)表在具有國際影響力的國內(nèi)科技期刊、業(yè)界公認的國際頂級或重要科技期刊的論文以及在國內(nèi)外頂級學術(shù)會議上進行報告的論文[15]，即 “三高論文” ，對于上述期刊的界定標準都有著各自明確的規(guī)定。同時，對于期刊水平和影響力的評定，可以參考JIF期刊影響因子和分區(qū)、JNCI（Journal Normalized Citation Impact）期刊規(guī)范化的引文影響力等行業(yè)內(nèi)公認、客觀的定量指標。

另外，同樣也可以從引文影響力的角度即發(fā)散的角度，通過對核心論文的施引文獻進行分析，進一步了解核心論文的國際影響力。查看施引文獻是否為高被引或熱點論文，有多少篇高被引或熱點論文，反映施引文獻的影響力；查看施引作者的學術(shù)成就、研究領(lǐng)域，是否每年都有新的學者引用了核心論文等，反映研究的水平和熱度增長態(tài)勢；也可以通過查看施引期刊的分區(qū)分布、施引機構(gòu)分布、施引論文的學科交叉與分布等情況，反映論文的學術(shù)影響力和水平。

（4）經(jīng)濟社會影響力

從定量的角度衡量學術(shù)論文的經(jīng)濟社會影響，可以采用論文的專利引用情況、藥物研發(fā)應用情況、橫向合作情況以及企業(yè)基金資助情況等經(jīng)濟和社會化指標。

（5）合著中的主導性

通過作者在論文署名當中的排序情況（如第一作者、通訊作者）和單位署名情況，可以較為客觀地反映其在合著中的主導性，從側(cè)面反映出其參與成果產(chǎn)出的貢獻度。

將上述的相關(guān)指標總結(jié)如圖2所示，初步形成了基于定量指標的代表性研究成果遴選框架。其中各個評價指標體系的權(quán)重分配因科研機構(gòu)及學科領(lǐng)域不同存在著較大的差異性，最終應結(jié)合實際情況，通過咨詢專家來確定。

圖2 基于定量指標的代表性研究成果遴選框架

3 結(jié)語

筆者概述了代表作制度在國內(nèi)外科研評價領(lǐng)域的研究現(xiàn)狀和推廣情況，明確了代表作制度應以分類評價作為基本準則。探討了運用定量分析方法篩選代表作應遵循的原則，圍繞多維度的影響力試選取了代表性論文的部分定量指標。筆者堅持高水平成果定量評價與代表性成果專家評價相結(jié)合，即定量分析與同行評議結(jié)合的方法。在同行評議的基礎(chǔ)上，結(jié)合科學計量學的深入分析，目的是為評估人員和科研決策者提供更加客觀、準確的信息。

高校圖書館是高校信息服務的重要陣地，承擔著為學校教學科研提供資源保障和智力支持的重要職責。研究型大學圖書館應當充分利用自身的資源優(yōu)勢、學科館員的專業(yè)優(yōu)勢以及獨立于管理決策層和科學研究層的第三方優(yōu)勢，利用文獻計量學定量評估的手段，積極主動地參與到高?？蒲锌冃Ч芾砼c評估的工作中去，促進高?？茖W研究、學科建設(shè)和人才培養(yǎng)。

人才評價由于涉及到多方面的因素，是一項十分復雜的工作。代表作制度的推廣和實踐，有賴于長期的探索和修正，科研評價應當始終堅持以創(chuàng)新質(zhì)量和學術(shù)貢獻度、影響力為核心的評價導向，充分參考和借鑒國外先進的科研評價體系和模式，不斷探索建立更加符合本機構(gòu)科研實際的論文評價指標，推動傳統(tǒng) “以刊論文” 與 “唯影響因子” 式評價向?qū)φ撐谋旧碣|(zhì)量的評價轉(zhuǎn)變。