溫 暖
(東北大學(xué)圖書館,遼寧 沈陽(yáng) 110819)
代表作,意指最能體現(xiàn)作者思想水平和藝術(shù)風(fēng)格的作品[1]。在高校和科研機(jī)構(gòu),代表作狹義上可以理解為代表性的學(xué)術(shù)論文著作,通常是在人才遴選、職稱晉升、學(xué)術(shù)評(píng)獎(jiǎng)、項(xiàng)目評(píng)定等評(píng)價(jià)活動(dòng)中,由被評(píng)價(jià)者所提供的最能代表其自身學(xué)術(shù)水平的若干代表性研究成果。在英國(guó)REF(Research Excellence Framework,科研卓越框架)[2]高??蒲性u(píng)估體系中, “科研產(chǎn)出” 模塊賦予了研究成果更寬泛的定義,即除印刷學(xué)術(shù)著作外,研究成果可包括但不限于:新材料、裝置、圖像、手工藝品、產(chǎn)品和建筑物;鑒定報(bào)告或技術(shù)報(bào)告;知識(shí)產(chǎn)權(quán)(專利或其他形式);表演、展覽或活動(dòng);在非印刷媒體上發(fā)表的作品。REF的一個(gè)基本原則是,所有形式的研究成果都將在公平和平等的基礎(chǔ)上進(jìn)行評(píng)估,評(píng)估委員會(huì)不會(huì)將任何特定形式的輸出視為質(zhì)量高于或低于另一種形式。
高校承擔(dān)著科學(xué)研究的重要職能,是國(guó)家創(chuàng)新體系的重要組成部分,也是我國(guó)科研產(chǎn)出的重要力量。切實(shí)提升研究質(zhì)量和水平,形成一批有分量、有影響、能發(fā)揮作用的高質(zhì)量創(chuàng)新成果,是高校的責(zé)任和使命??茖W(xué)、客觀、公平的科研評(píng)價(jià)體系的構(gòu)建,對(duì)于提升學(xué)術(shù)成果質(zhì)量、端正學(xué)術(shù)風(fēng)氣、營(yíng)造良好的學(xué)術(shù)環(huán)境起著積極的作用。筆者試從代表作角度出發(fā),探討定量分析方法在代表作篩選評(píng)定中應(yīng)用的可行性,圍繞科研評(píng)估中的產(chǎn)出和影響力部分以及科學(xué)計(jì)量學(xué)的基本準(zhǔn)則,擬構(gòu)建多維度的代表作遴選框架。
代表作制度最早在媒體上公開(kāi)提出見(jiàn)于2003年12月5日《中國(guó)青年報(bào)》的報(bào)道: “為了解決當(dāng)前學(xué)術(shù)成果評(píng)定機(jī)制中‘重?cái)?shù)量輕質(zhì)量’的問(wèn)題,南開(kāi)大學(xué)將在今后的學(xué)術(shù)成果評(píng)定和職務(wù)晉升評(píng)審中實(shí)行‘代表作’制度”[3]。在學(xué)術(shù)論文中的相關(guān)報(bào)道最早見(jiàn)于2006年,北京大學(xué)在中文系等院系試點(diǎn)實(shí)行論文代表作制度[4]。在中國(guó)知網(wǎng)的專業(yè)檢索界面,運(yùn)用如下檢索式:TKA=((′代表作/NEAR 2評(píng)價(jià)′)+(′代表作 /NEAR 2制度′)),進(jìn)行跨庫(kù)檢索,得到211篇論文,去除與科研評(píng)價(jià)和評(píng)估無(wú)關(guān)主題論文后剩余105篇,發(fā)文量趨勢(shì)如圖1所示??傮w來(lái)看研究的體量并不大,相關(guān)研究始于2006年,即北大中文系試點(diǎn)實(shí)行代表作制度,年發(fā)文量在2012年出現(xiàn)過(guò)一次高峰,研究?jī)?nèi)容主要集中在對(duì)代表作制度施行與否的探討,而后回落呈波動(dòng)下降趨勢(shì),直至2021年達(dá)到新的峰值,研究?jī)?nèi)容轉(zhuǎn)向了對(duì)科研評(píng)價(jià)和職稱制度的深化改革以及代表作制度的實(shí)行和推進(jìn),研究層次更深入,觀點(diǎn)更加明確。探究出現(xiàn)這兩次研究熱潮的主要原因,一是國(guó)內(nèi)一些高校推行 “代表作制度” 所引發(fā)的業(yè)內(nèi)熱議,二是國(guó)家有關(guān)部門出臺(tái)相關(guān)政策從而引起國(guó)內(nèi)科研機(jī)構(gòu)的響應(yīng)。
圖1 代表作制度相關(guān)研究發(fā)文量總體趨勢(shì)
文獻(xiàn)內(nèi)容采用定量分析進(jìn)行代表作遴選的數(shù)量并不多。劉雪立等[5]提出了利用論文被引頻次基準(zhǔn)線遴選學(xué)者代表作的方法,提出了論文PR8分值指標(biāo);張學(xué)梅[6]以代表作制度為基礎(chǔ),使用h指數(shù)核心法和representative方法選取學(xué)者代表作,對(duì)Prathap提出的z指數(shù)原理進(jìn)行改進(jìn);姜春林等[7-8]探討了科學(xué)計(jì)量方法輔助代表作評(píng)價(jià),探討了代表性論文評(píng)價(jià)指標(biāo)的選取,包括傳統(tǒng)科學(xué)計(jì)量指標(biāo)、引用位置指標(biāo)、社會(huì)網(wǎng)絡(luò)指標(biāo)、替代計(jì)量學(xué)指標(biāo)等,并構(gòu)建了人文社會(huì)科學(xué)代表性論文評(píng)價(jià)指標(biāo)體系;朱軍文等[9]針對(duì)高校科研評(píng)價(jià)定量方法中的質(zhì)量屬性進(jìn)行了細(xì)致的研究。
相較于國(guó)內(nèi)的推行進(jìn)度以及研究現(xiàn)狀,代表作制度在國(guó)外已推行多年,成為評(píng)價(jià)學(xué)者學(xué)術(shù)水平的慣常手段。如,2005年由美國(guó)加利福尼亞大學(xué)圣地亞哥分校的物理學(xué)家喬治·希爾施(Jorge E.Hirsch)提出的h指數(shù)[10]以及Egghe提出的基于學(xué)者以往貢獻(xiàn)的g指數(shù)[11],從內(nèi)在邏輯上都可以歸結(jié)為代表作制度。放眼全球,國(guó)際學(xué)術(shù)界的慣例以采用同行評(píng)議來(lái)更加客觀地考評(píng)科研人員的成果。2012年12月16日,在美國(guó)加州舊金山舉辦的全美細(xì)胞生物學(xué)學(xué)會(huì)年會(huì)上,部分學(xué)術(shù)期刊的編輯和出版商提出了一系列改善學(xué)術(shù)評(píng)價(jià)的建議,這些建議后來(lái)被稱為《舊金山科研評(píng)價(jià)宣言》(San Francisco Declaration on Research Assessmen,簡(jiǎn)稱DORA),其中強(qiáng)調(diào)研究人員工作的價(jià)值取決于論文的內(nèi)容,而不取決于論文發(fā)表在何種刊物上[12];DORA對(duì)資助機(jī)構(gòu)、科研機(jī)構(gòu)、出版機(jī)構(gòu)、計(jì)量指標(biāo)提供方和研究人員分別給出了建議。目前,已有來(lái)自全球143個(gè)國(guó)家和地區(qū)的18832名科研人員及機(jī)構(gòu)簽署了DORA,共同推動(dòng)著學(xué)術(shù)評(píng)價(jià)向更科學(xué)的方向進(jìn)化。
綜上,在我國(guó),代表作制度的進(jìn)一步完善和推進(jìn)還依賴于更可靠的政策保障,存在著諸多的可能性,同時(shí)也有更多的研究視角和切入點(diǎn)等待科研評(píng)價(jià)工作者進(jìn)行深入探索。
如前所述,代表作制度引發(fā)的熱議大多伴隨著國(guó)家有關(guān)部門出臺(tái)的職稱評(píng)定和科技評(píng)價(jià)的相關(guān)政策。早在2018年,中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見(jiàn)》[13](以下簡(jiǎn)稱《意見(jiàn)》)以及《關(guān)于分類推進(jìn)人才評(píng)價(jià)機(jī)制改革的指導(dǎo)意見(jiàn)》[14](以下簡(jiǎn)稱《指導(dǎo)意見(jiàn)》)?!兑庖?jiàn)》指出,推行代表作評(píng)價(jià)制度,注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)、影響,提出建立科學(xué)的人才分類評(píng)價(jià)體系和機(jī)制,堅(jiān)持分類評(píng)價(jià)的原則,針對(duì)自然科學(xué)、哲學(xué)社會(huì)科學(xué)、軍事科學(xué)等不同學(xué)科門類特點(diǎn),建立分類評(píng)價(jià)指標(biāo)體系和評(píng)價(jià)程序規(guī)范。分類評(píng)價(jià)的內(nèi)涵,即圍繞不同研究層次所側(cè)重的研究目的以及研究成果不同,選擇不同的評(píng)價(jià)主體,采用不同的評(píng)價(jià)標(biāo)準(zhǔn)。例如對(duì)于基礎(chǔ)研究,側(cè)重于探索未知,其研究的成果產(chǎn)出主要是科技論文,因此選擇將論文的創(chuàng)新性作為主要評(píng)價(jià)維度;對(duì)于應(yīng)用研究,其主要目的是為了解決技術(shù)難題以及對(duì)內(nèi)在機(jī)制等的探究,研究活動(dòng)主要圍繞技術(shù)原理和方法等開(kāi)展,因此應(yīng)當(dāng)圍繞應(yīng)用性前景展開(kāi)科學(xué)評(píng)價(jià);對(duì)于試驗(yàn)發(fā)展研究,主要是為了解決現(xiàn)實(shí)生產(chǎn)中遇到的難題而進(jìn)行技術(shù)改進(jìn),那么應(yīng)以解決的實(shí)際問(wèn)題為主要評(píng)價(jià)維度。為貫徹落實(shí)上述《意見(jiàn)》和《指導(dǎo)意見(jiàn)》,近年來(lái)科技部在深化科技評(píng)價(jià)制度改革中,已在國(guó)家科技獎(jiǎng)勵(lì),如自然科學(xué)獎(jiǎng)評(píng)審、科技人才評(píng)價(jià)等領(lǐng)域?qū)嵭辛苏撐拇碜髦贫龋〉昧朔e極成效。
2020年2月17日,科技部印發(fā)《關(guān)于破除科技評(píng)價(jià)中 “唯論文” 不良導(dǎo)向的若干措施(試行)》[15](以下簡(jiǎn)稱《若干措施》),根據(jù)不同科技活動(dòng)特點(diǎn)分類,提出了評(píng)價(jià)重點(diǎn)和量化指標(biāo),提出對(duì)于基礎(chǔ)研究類科技活動(dòng)、基礎(chǔ)研究類項(xiàng)目(課題)、國(guó)家實(shí)驗(yàn)室、國(guó)家重點(diǎn)實(shí)驗(yàn)室等科學(xué)與工程研究類基地、基礎(chǔ)研究類機(jī)構(gòu)、自然科學(xué)獎(jiǎng)、中青年科技創(chuàng)新領(lǐng)軍人才、重點(diǎn)領(lǐng)域創(chuàng)新團(tuán)隊(duì),對(duì)論文評(píng)價(jià)實(shí)行代表作制度。其中對(duì)于基礎(chǔ)研究類科技活動(dòng),強(qiáng)化代表作同行評(píng)議,實(shí)行定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合,重點(diǎn)評(píng)價(jià)學(xué)術(shù)價(jià)值及影響、與當(dāng)次科技評(píng)價(jià)的相關(guān)性以及相關(guān)人員的貢獻(xiàn)等。2020年11月3日,教育部學(xué)位與研究生教育發(fā)展中心公布了《第五輪學(xué)科評(píng)估工作方案》[16],評(píng)估的基本原則是強(qiáng)化分類評(píng)價(jià),強(qiáng)化 “代表作” 和 “典型案例” 評(píng)價(jià),評(píng)價(jià)科研水平不唯論文和獎(jiǎng)項(xiàng),設(shè)置 “代表性學(xué)術(shù)著作” “專利轉(zhuǎn)化” “新藥研發(fā)” 等指標(biāo),進(jìn)行多維度科研成效評(píng)價(jià)。本輪學(xué)科評(píng)估的總體改革思路也進(jìn)一步強(qiáng)化分類特色評(píng)價(jià),評(píng)價(jià)學(xué)術(shù)論文是否聚焦標(biāo)志性學(xué)術(shù)成果,采用 “計(jì)量評(píng)價(jià)與專家評(píng)價(jià)相結(jié)合” “中國(guó)期刊與國(guó)外期刊相結(jié)合” 的 “代表作評(píng)價(jià)” 方法,充分運(yùn)用基于定量數(shù)據(jù)和客觀證據(jù)的專家融合評(píng)價(jià)方法,堅(jiān)持代表性成果專家評(píng)價(jià)與高水平成果定量評(píng)價(jià)相結(jié)合。
綜上,近年來(lái)國(guó)家有關(guān)部門陸續(xù)出臺(tái)了各項(xiàng)政策措施,以分類評(píng)價(jià)為基本原則實(shí)行代表作制度,明確了將科技評(píng)價(jià)的重點(diǎn)從看數(shù)量轉(zhuǎn)到評(píng)質(zhì)量上來(lái)。而如何科學(xué)合理地制定代表作的遴選標(biāo)準(zhǔn),把握代表性成果專家評(píng)價(jià)以及高水平成果定量評(píng)價(jià)的平衡,需要科研評(píng)價(jià)和決策部門結(jié)合本單位科研工作的現(xiàn)狀進(jìn)行深入探討,同時(shí)也需要結(jié)合長(zhǎng)期的評(píng)價(jià)成效和學(xué)者反饋不斷作出完善調(diào)整。
回歸代表作制度的核心問(wèn)題,一是代表作代表什么,二是代表作如何選擇。《若干措施》里的闡述可以帶給上述兩個(gè)問(wèn)題的啟示是,要依據(jù)分類評(píng)價(jià)的思想,代表作的代表性體現(xiàn)在其所在的研究領(lǐng)域和方向,還要能夠充分反映它的價(jià)值與影響,包括質(zhì)量、成效、特色、貢獻(xiàn)等。而對(duì)于代表性成果的選擇,《若干措施》中指出要堅(jiān)持定量與定性相結(jié)合,同時(shí)對(duì)國(guó)內(nèi)外論文給出了明確的比例要求,以便更合理地確定代表作的數(shù)量。借助科研評(píng)估的邏輯模型也能夠幫助評(píng)估人員定義如何評(píng)價(jià)一個(gè)項(xiàng)目是否成功以及一項(xiàng)有效的評(píng)估所需要獲取的數(shù)據(jù)。一個(gè)邏輯模型通常由投入(Inputs)、產(chǎn)出(Outputs)與成果(Outcomes)3部分組成,其中成果部分也包含了科研產(chǎn)出的影響力,包括學(xué)術(shù)影響力、經(jīng)濟(jì)效益和社會(huì)效益等。普賴斯獎(jiǎng)得主、荷蘭著名科學(xué)計(jì)量學(xué)家Henk F.Moed在關(guān)于科研評(píng)價(jià)的最新論文[17]中提出了一種多維度輸出和影響力模型(見(jiàn)表1),從科學(xué)-學(xué)術(shù)、教育、經(jīng)濟(jì)和技術(shù)、社會(huì)和文化4個(gè)方面概述不同類型的研究成果和影響力,反映了科研績(jī)效評(píng)價(jià)的多維性。
表1 多維度輸出和影響力模型
REF也同樣注重科研成果對(duì)經(jīng)濟(jì)、社會(huì)、文化的影響,將 “科研影響力” 納入其評(píng)價(jià)指標(biāo)體系[2](見(jiàn)表2),更加注重跨學(xué)科和合作研究,實(shí)行以同行評(píng)議為主、文獻(xiàn)計(jì)量為輔的評(píng)價(jià)方式。因此在科研評(píng)價(jià)的過(guò)程中,應(yīng)注重多維度的科研產(chǎn)出和影響力,這也是制定代表作篩選定量指標(biāo)時(shí)應(yīng)該充分考量的重要因素。
表2 REF評(píng)價(jià)指標(biāo)體系
Henk F.Moed也給出了科研評(píng)估中的文獻(xiàn)計(jì)量和信息計(jì)量指標(biāo),其中不僅包括引文和其他文獻(xiàn)計(jì)量指標(biāo),還包括專利、使用、研究數(shù)據(jù)、聲譽(yù)、網(wǎng)絡(luò)和基礎(chǔ)設(shè)施指標(biāo),以及Altmetrics和經(jīng)濟(jì)計(jì)量、網(wǎng)絡(luò)計(jì)量指標(biāo)[17]。引文數(shù)量是進(jìn)行學(xué)術(shù)影響力的定量評(píng)估時(shí)最常用的指標(biāo)。引文是科學(xué)對(duì)話的一種方法,是作者認(rèn)為對(duì)自己的研究 “有用” 的資料,這同時(shí)也體現(xiàn)了引文含義的復(fù)雜性,它是作者的 “主觀” 判斷,但有多個(gè)作者有這樣的 “主觀” 判斷,其引文的 “數(shù)據(jù)” 則是 “客觀” 的,因此它既是定性的,又是定量的[18]。引文的數(shù)量并不能夠完全體現(xiàn)論文的質(zhì)量,它代表的是論文的有用性或可用性,更多反映的是學(xué)術(shù)論文的影響力及表現(xiàn)。
綜上,通過(guò)科學(xué)計(jì)量指標(biāo)如基于引文的指標(biāo)進(jìn)行代表性研究成果的篩選和評(píng)定時(shí),應(yīng)遵循科學(xué)性和價(jià)值性的原則,必須將多維度的影響力作為指導(dǎo)思想,采用的評(píng)價(jià)方法應(yīng)該直接并易于解釋,以便其他人能夠理解并進(jìn)行核查,即公開(kāi)、客觀地呈現(xiàn)評(píng)估結(jié)果,這也是運(yùn)用科學(xué)計(jì)量學(xué)的最高準(zhǔn)則。要強(qiáng)調(diào)的是,基于引文分析的定量方法并不能取代專家評(píng)議的定性分析,正如比利時(shí)著名科學(xué)計(jì)量學(xué)家魯索(Ronald Rousseau)所說(shuō),運(yùn)用文獻(xiàn)計(jì)量學(xué)指標(biāo)是為了能夠?qū)ρ芯抗ぷ鬟M(jìn)行觀察和評(píng)論,從而使專家掌握足夠的信息,形成根據(jù)更充分的意見(jiàn),并在更高的信息集成水平上更具權(quán)威性。REF2021采用定性與定量結(jié)合的綜合評(píng)價(jià)方法,評(píng)估小組需要在正式評(píng)價(jià)階段向各專家組提供高校提交的科研成果的引用數(shù)等定量數(shù)據(jù),作為同行評(píng)議的參考。
通過(guò)詳細(xì)解讀《若干措施》中關(guān)于對(duì)論文評(píng)價(jià)實(shí)行代表作制度的具體評(píng)價(jià)要求,可以得出如下結(jié)論,即對(duì)于代表性論文的評(píng)價(jià)和篩選,應(yīng)當(dāng)充分體現(xiàn)創(chuàng)新性和前沿性,并始終圍繞著科研成果的影響力而展開(kāi),包括學(xué)術(shù)影響和經(jīng)濟(jì)社會(huì)影響。其中創(chuàng)新思想是科研評(píng)價(jià)的核心指標(biāo),學(xué)術(shù)影響力和社會(huì)影響力是科研評(píng)價(jià)的重要指標(biāo),同時(shí)也要考慮學(xué)者在團(tuán)隊(duì)中的參與度和貢獻(xiàn)度。結(jié)合東北大學(xué)訂購(gòu)的科研分析評(píng)價(jià)平臺(tái)和工具,筆者擬從創(chuàng)新性、國(guó)際前沿性、國(guó)際學(xué)術(shù)影響力、經(jīng)濟(jì)社會(huì)影響力以及合著中的主導(dǎo)性5個(gè)維度來(lái)選取代表性論文的定量評(píng)價(jià)指標(biāo)。
(1)創(chuàng)新性
衡量科技論文的創(chuàng)新性,使用頻率最高的是傳統(tǒng)科學(xué)計(jì)量指標(biāo)中的引文數(shù)量,即論文自發(fā)表以來(lái)統(tǒng)計(jì)當(dāng)年被引用的次數(shù),通常直接用被引頻次來(lái)表示。通常情況下,如果一篇論文被引頻次越高,說(shuō)明該論文被同行重視的程度越高,其學(xué)術(shù)影響力也就越大,國(guó)際上已廣泛接受將其作為一種對(duì)論文質(zhì)量進(jìn)行后期評(píng)估的主要方式和重要的綜合評(píng)價(jià)定量指標(biāo)。借助科學(xué)引文索引(SCI),通過(guò)引文網(wǎng)絡(luò)分析,可以從一篇高質(zhì)量的論文出發(fā),深入了解一項(xiàng)科學(xué)研究的來(lái)龍去脈,同時(shí)發(fā)現(xiàn)科研脈絡(luò)中的開(kāi)拓性、新領(lǐng)域和新的研究分支。除被引頻次外,也可以參考與引用論文數(shù)量相關(guān)的其他指標(biāo),如h指數(shù)、平均被引用數(shù)量和論文被引百分比等進(jìn)行輔助評(píng)價(jià)。
(2)國(guó)際前沿性
掌握科研的動(dòng)態(tài)和進(jìn)展尤其是跟蹤新興專業(yè)領(lǐng)域?qū)τ趧?chuàng)新科研工作來(lái)說(shuō)具有重要意義。由前述的引文思想可知,通過(guò)持續(xù)跟蹤全球重要的科研動(dòng)態(tài)和學(xué)術(shù)論文,研究分析論文被引用的模式和聚類,特別是成簇的高被引論文頻繁地共同被引用的情況,可以發(fā)現(xiàn)研究前沿。在ESI(Essential Science Indicators,基本科學(xué)指標(biāo))數(shù)據(jù)庫(kù)中,通過(guò)聚類分析方法測(cè)度高被引論文之間的共被引關(guān)系而形成高被引論文的聚類,再通過(guò)對(duì)聚類中論文題目的分析形成了相應(yīng)的研究前沿(Research Fronts)[19]。研究前沿是一組高被引論文,是通過(guò)聚類分析確定的核心論文。通過(guò)查看和對(duì)比學(xué)者及其所在團(tuán)隊(duì)的學(xué)術(shù)論文在研究前沿中的命中數(shù)量,可以了解其科研產(chǎn)出與相關(guān)的國(guó)際前沿是否具有主題上的關(guān)聯(lián)性,如,哪篇論文奠定了課題基礎(chǔ),哪篇論文為最新研究成果,哪篇論文開(kāi)創(chuàng)了新的研究分支等,以掌握科研成果在研究前沿中的參與度。
(3)國(guó)際學(xué)術(shù)影響力
由于引文數(shù)據(jù)會(huì)受到學(xué)科、發(fā)表年份和文獻(xiàn)類型等影響,進(jìn)行國(guó)際學(xué)術(shù)影響力評(píng)價(jià)要特別注意遴選指標(biāo)的標(biāo)準(zhǔn)化。常用的規(guī)范化的指標(biāo)包括CNCI(Category Normalized Citation Impact,學(xué)科規(guī)范化引文影響力)、百分位等。CNCI是通過(guò)計(jì)算單篇論文的實(shí)際被引次數(shù)除以同文獻(xiàn)類型、同出版年、同學(xué)科領(lǐng)域的期望被引次數(shù)而獲得的[20],如果一篇文獻(xiàn)被劃歸至多于一個(gè)學(xué)科領(lǐng)域時(shí),那么就采用它的使用實(shí)際被引次數(shù)與期望被引次數(shù)比值的平均值。由于CNCI是一個(gè)排除了出版年、學(xué)科領(lǐng)域與文獻(xiàn)類型作用的無(wú)偏差影響力指標(biāo),因此極具權(quán)威性、客觀性,可直接反映高校、科研機(jī)構(gòu)及研究院所的科研成果產(chǎn)出能力的大小。2019年1月,中國(guó)農(nóng)業(yè)科學(xué)院利用論文的CNCI指標(biāo),評(píng)選出了20篇2014—2018年中長(zhǎng)期代表作論文[21]。百分位是基于同行比較,依據(jù)在同行中所處的位置來(lái)衡量論文引用的活躍度。
除考慮論文的影響力之外,期刊的影響力級(jí)別也是衡量代表作的重要指標(biāo)。對(duì)于期刊級(jí)別的規(guī)定,《若干措施》中明確指出要鼓勵(lì)發(fā)表高質(zhì)量論文,包括發(fā)表在具有國(guó)際影響力的國(guó)內(nèi)科技期刊、業(yè)界公認(rèn)的國(guó)際頂級(jí)或重要科技期刊的論文以及在國(guó)內(nèi)外頂級(jí)學(xué)術(shù)會(huì)議上進(jìn)行報(bào)告的論文[15],即 “三高論文” ,對(duì)于上述期刊的界定標(biāo)準(zhǔn)都有著各自明確的規(guī)定。同時(shí),對(duì)于期刊水平和影響力的評(píng)定,可以參考JIF期刊影響因子和分區(qū)、JNCI(Journal Normalized Citation Impact)期刊規(guī)范化的引文影響力等行業(yè)內(nèi)公認(rèn)、客觀的定量指標(biāo)。
另外,同樣也可以從引文影響力的角度即發(fā)散的角度,通過(guò)對(duì)核心論文的施引文獻(xiàn)進(jìn)行分析,進(jìn)一步了解核心論文的國(guó)際影響力。查看施引文獻(xiàn)是否為高被引或熱點(diǎn)論文,有多少篇高被引或熱點(diǎn)論文,反映施引文獻(xiàn)的影響力;查看施引作者的學(xué)術(shù)成就、研究領(lǐng)域,是否每年都有新的學(xué)者引用了核心論文等,反映研究的水平和熱度增長(zhǎng)態(tài)勢(shì);也可以通過(guò)查看施引期刊的分區(qū)分布、施引機(jī)構(gòu)分布、施引論文的學(xué)科交叉與分布等情況,反映論文的學(xué)術(shù)影響力和水平。
(4)經(jīng)濟(jì)社會(huì)影響力
從定量的角度衡量學(xué)術(shù)論文的經(jīng)濟(jì)社會(huì)影響,可以采用論文的專利引用情況、藥物研發(fā)應(yīng)用情況、橫向合作情況以及企業(yè)基金資助情況等經(jīng)濟(jì)和社會(huì)化指標(biāo)。
(5)合著中的主導(dǎo)性
通過(guò)作者在論文署名當(dāng)中的排序情況(如第一作者、通訊作者)和單位署名情況,可以較為客觀地反映其在合著中的主導(dǎo)性,從側(cè)面反映出其參與成果產(chǎn)出的貢獻(xiàn)度。
將上述的相關(guān)指標(biāo)總結(jié)如圖2所示,初步形成了基于定量指標(biāo)的代表性研究成果遴選框架。其中各個(gè)評(píng)價(jià)指標(biāo)體系的權(quán)重分配因科研機(jī)構(gòu)及學(xué)科領(lǐng)域不同存在著較大的差異性,最終應(yīng)結(jié)合實(shí)際情況,通過(guò)咨詢專家來(lái)確定。
圖2 基于定量指標(biāo)的代表性研究成果遴選框架
筆者概述了代表作制度在國(guó)內(nèi)外科研評(píng)價(jià)領(lǐng)域的研究現(xiàn)狀和推廣情況,明確了代表作制度應(yīng)以分類評(píng)價(jià)作為基本準(zhǔn)則。探討了運(yùn)用定量分析方法篩選代表作應(yīng)遵循的原則,圍繞多維度的影響力試選取了代表性論文的部分定量指標(biāo)。筆者堅(jiān)持高水平成果定量評(píng)價(jià)與代表性成果專家評(píng)價(jià)相結(jié)合,即定量分析與同行評(píng)議結(jié)合的方法。在同行評(píng)議的基礎(chǔ)上,結(jié)合科學(xué)計(jì)量學(xué)的深入分析,目的是為評(píng)估人員和科研決策者提供更加客觀、準(zhǔn)確的信息。
高校圖書館是高校信息服務(wù)的重要陣地,承擔(dān)著為學(xué)校教學(xué)科研提供資源保障和智力支持的重要職責(zé)。研究型大學(xué)圖書館應(yīng)當(dāng)充分利用自身的資源優(yōu)勢(shì)、學(xué)科館員的專業(yè)優(yōu)勢(shì)以及獨(dú)立于管理決策層和科學(xué)研究層的第三方優(yōu)勢(shì),利用文獻(xiàn)計(jì)量學(xué)定量評(píng)估的手段,積極主動(dòng)地參與到高??蒲锌?jī)效管理與評(píng)估的工作中去,促進(jìn)高??茖W(xué)研究、學(xué)科建設(shè)和人才培養(yǎng)。
人才評(píng)價(jià)由于涉及到多方面的因素,是一項(xiàng)十分復(fù)雜的工作。代表作制度的推廣和實(shí)踐,有賴于長(zhǎng)期的探索和修正,科研評(píng)價(jià)應(yīng)當(dāng)始終堅(jiān)持以創(chuàng)新質(zhì)量和學(xué)術(shù)貢獻(xiàn)度、影響力為核心的評(píng)價(jià)導(dǎo)向,充分參考和借鑒國(guó)外先進(jìn)的科研評(píng)價(jià)體系和模式,不斷探索建立更加符合本機(jī)構(gòu)科研實(shí)際的論文評(píng)價(jià)指標(biāo),推動(dòng)傳統(tǒng) “以刊論文” 與 “唯影響因子” 式評(píng)價(jià)向?qū)φ撐谋旧碣|(zhì)量的評(píng)價(jià)轉(zhuǎn)變。