圖書館利用SCI和JCR開展科研績效評估研究
——以河北工程大學(xué)科研影響力評估為例

孫秀菊

?

圖書館利用SCI和JCR開展科研績效評估研究——以河北工程大學(xué)科研影響力評估為例

孫秀菊

（河北工程大學(xué) 圖書館，河北 邯鄲 056038）

科研績效評估是圖書館深化科研信息服務(wù)的一項(xiàng)重要內(nèi)容。以2013年河北工程大學(xué)發(fā)表的SCI論文為研究對象，以SCI和JCR數(shù)據(jù)庫為基礎(chǔ)，運(yùn)用文獻(xiàn)計(jì)量學(xué)的方法，分別對其論文在2014年的影響力進(jìn)行評估，旨在嘗試?yán)眠@種方法對學(xué)?？蒲锌冃ё鲆怀醪教接懀瑑H供有關(guān)決策者、管理者和科研人員參考。

科研評估；文獻(xiàn)計(jì)量；科研影響力

一、研究背景

縱觀我國科研績效評估的理論研究和實(shí)踐應(yīng)用，大致經(jīng)歷了三個階段：

一是同行評議法。是一種由某學(xué)科或研究領(lǐng)域的專家通過現(xiàn)場鑒定或書面信函的方式判斷該學(xué)科或研究領(lǐng)域科研成果質(zhì)量的方法。該方法起源于17世紀(jì)的英國，它的本質(zhì)在于由熟悉該學(xué)科領(lǐng)域的專家群體對科研成果價值進(jìn)行比較客觀的評估，這也是近些年來我國仍將該法用于各類項(xiàng)目評審、成果驗(yàn)收和鑒定以及科研影響力評估等方面的根本原因。但該方法在實(shí)際操作過程中有許多不足之處，如個人主觀感情色彩較濃、經(jīng)費(fèi)成本較高等。

二是專家加權(quán)法。為克服同行評議法的缺陷，科技領(lǐng)域于20世紀(jì)80年代引入了德爾菲法與加權(quán)法，它是一種采用定性與定量分析相結(jié)合判定科研成果影響力的評估方法。該方法使科研評估的理論和實(shí)踐更加深入了一層。然而也存在一些問題，如行政級別高的權(quán)威被當(dāng)作專家、受專家經(jīng)驗(yàn)影響較多而科學(xué)理論支撐不足等?；诖朔椒ǖ目蒲谐晒u估，也難免失去公允，不能保證其成果評定的準(zhǔn)確性。

三是文獻(xiàn)計(jì)量學(xué)。它是運(yùn)用一系列的數(shù)學(xué)方法對各種科研成果特別是期刊論文和引文數(shù)量、作者數(shù)量以及關(guān)鍵詞數(shù)量（或主題詞數(shù)量）等進(jìn)行綜合定量分析的一門科學(xué)。[1]134-135以文獻(xiàn)計(jì)量方法為基礎(chǔ)的評估是一種“數(shù)值化”的結(jié)果，具有比較直觀、客觀等優(yōu)點(diǎn)，可以對期刊質(zhì)量、論文數(shù)量以及自身的影響力等一系列指標(biāo)做出比較準(zhǔn)確的判斷。

因此，基于文獻(xiàn)計(jì)量的評估是目前被廣泛應(yīng)用的一種重要科研評估方法。目前國內(nèi)外比較權(quán)威并常用的文獻(xiàn)計(jì)量評價工具主要有SCI、EI、ISTP以及JCR等數(shù)據(jù)庫（或稱檢索平臺）。它們通過發(fā)表在收錄核心期刊上科研論文的數(shù)量和期刊質(zhì)量衡量某一國家或地區(qū)（或機(jī)構(gòu)）研究成果的影響力。[2]52

科研論文是科研成果的一種直接體現(xiàn)和重要載體，在很大程度上體現(xiàn)著學(xué)校的科研影響力和競爭力。本文擬以2013年河北工程大學(xué)發(fā)表的SCI論文(Ⅱ區(qū)且為第一作者，以下同)為研究對象，以SCI（英文全稱Science Citation Index）和JCR（英文全稱Journal Citation Reports）數(shù)據(jù)庫為數(shù)據(jù)來源，運(yùn)用文獻(xiàn)計(jì)量學(xué)的方法，分別對其論文在2014年的影響力進(jìn)行評估，旨在嘗試?yán)眠@種方法對學(xué)?？蒲锌冃ё鲆怀醪教接?，僅供有關(guān)決策者、管理者和科研人員參考。

二、評估方案具體設(shè)計(jì)

（一）評估指標(biāo)的確立

一方面，科研論文質(zhì)量和影響力的高低主要是由兩個因素決定的。其一是發(fā)表論文所在的期刊檔次（可以用期刊影響因子進(jìn)行區(qū)分）。從很大程度上來講，期刊檔次反映著論文的水平和檔次，刊登在較高檔次期刊上的科研論文其質(zhì)量也就較高，反之則較低。如對于一般科研人員來說，發(fā)表一篇《Science》或《Nature》期刊論文比較困難，但如果其研究水平能夠獲得該期刊評委的一致肯定，這本身就是比較權(quán)威的“質(zhì)”的評估，因此，刊登在較高檔次期刊上的論文潛在的影響力較大。其二是發(fā)表論文的被引用情況。論文的被引用情況也是決定論文質(zhì)量的一個重要因素。論文被引用次數(shù)越多就表明其質(zhì)量和水平越高，影響力也較大，反之也亦然。[3]13-14當(dāng)然，假如發(fā)表的論文沒有被任何一篇論文引用過，即便期刊檔次再高也是蒼白無力，不能發(fā)揮多大的作用。

另一方面，我們知道，不同學(xué)科之間具有很大的差異，這種差異不僅表現(xiàn)在SCI收錄的每個學(xué)科期刊數(shù)量不同，還表現(xiàn)在每個學(xué)科自身的性質(zhì)和特點(diǎn)不同，如自然科學(xué)與社會科學(xué)不同、成熟學(xué)科與新興學(xué)科不同、科研群體人數(shù)不同等。如果要使科研績效評估結(jié)果在各個不同學(xué)科之間具有可比性，就需要消除這個差異，即對不同學(xué)科期刊影響因子和不同學(xué)科論文被引用次數(shù)進(jìn)行標(biāo)準(zhǔn)化處理，得到期刊影響因子和論文被引用次數(shù)的相對值，具體處理方法為：將發(fā)文期刊的影響因子除以該學(xué)科期刊影響因子的平均值，論文被引用次數(shù)除以該學(xué)科論文被引用次數(shù)的平均值。只有這樣，不同學(xué)科的科研績效評估結(jié)果進(jìn)行對比才有意義。[4]525再者，期刊影響因子只是考慮兩年內(nèi)的論文數(shù)量和被引用情況，是一種具有時效性的、動態(tài)的績效評估。這不僅能夠使不同學(xué)科之間進(jìn)行比較，同時也解決了評估的時效性問題。

通過以上分析確立科研績效評估的四個指標(biāo)：期刊影響因子、論文被引用次數(shù)、學(xué)科期刊的平均影響因子、學(xué)科論文的平均被引用次數(shù)（后面兩個指標(biāo)主要為考慮不同學(xué)科設(shè)立）。

（二）評估指標(biāo)的計(jì)算方法

按照以上評估指標(biāo)確立的基本思路，利用論文質(zhì)量指數(shù)(Paper Qualiy tIndex，簡稱PQI)概念代表某年的科研績效評估的結(jié)果。通過認(rèn)真分析和研究各個指標(biāo)之間的關(guān)系，確定數(shù)學(xué)計(jì)算公式為：

三、評估方案的實(shí)施與結(jié)果分析

（一）科研論文的選取

本研究以河北工程大學(xué)科學(xué)技術(shù)研究院網(wǎng)站《成果專利》欄目列表中的《河北工程大學(xué)2013年科研計(jì)劃及成果匯編》為依據(jù)，檢索和提取2013年發(fā)表的SCI論文，結(jié)果顯示：2013年河北工程大學(xué)發(fā)表Ⅱ區(qū)且為第一作者SCI論文共計(jì)17篇，去掉6篇2014年零被引論文，應(yīng)為11篇。（見表1）

表1 2013年發(fā)表的11篇SCI論文(Ⅱ區(qū)且為第一作者)

（二）2013年SCI論文(Ⅱ區(qū))在2014年影響力評估

以SCI和JCR數(shù)據(jù)庫為檢索源，制定有效的、切實(shí)可行的檢索策略，確定檢索途徑，獲取有關(guān)數(shù)據(jù)。具體操作按照以下步驟進(jìn)行：首先，在JCR數(shù)據(jù)庫中，檢索和查找論文登載期刊的學(xué)科歸屬。如果論文登載的期刊屬于多個學(xué)科，就要把它歸到最適合、最恰當(dāng)?shù)膶W(xué)科，這樣更能夠準(zhǔn)確評估科研論文的質(zhì)量和影響力。其次，在SCI和JCR數(shù)據(jù)庫中分別提取2013年發(fā)表的SCI論文在2014年的被引次數(shù)、所在學(xué)科期刊論文平均被引次數(shù)、期刊影響因子和所在學(xué)科期刊平均影響因子等數(shù)據(jù)。再次，根據(jù)以上數(shù)學(xué)計(jì)算公式，分別計(jì)算出11篇論文質(zhì)量指數(shù)，得出如下結(jié)果。（見圖1）

圖1 2013年SCI論文(Ⅱ區(qū))在2014年影響力評估

由圖1可以看出，11篇論文中其中有8篇屬于材料科學(xué)、綜合（MATERIALS SCIENCE，MULTIDISCIPLINARY）學(xué)科，這表明材料科學(xué)是該校的優(yōu)勢學(xué)科，并具有較高層次的科研人員和較多的研究成果。從被引次數(shù)來看，在8篇材料科學(xué)的論文中，其中1篇論文在2014年被引次數(shù)最高，是8次，而所屬學(xué)科的論文該年平均被引次數(shù)是27.665，平均被引次數(shù)大約是該論文被引次數(shù)的3.46倍；還有2篇論文在2014年被引次數(shù)是6，平均被引次數(shù)大約分別是這兩篇論文被引次數(shù)的4.61倍；被引次數(shù)最少的是1。而另外3篇分別屬于能源與燃料（ENERGY & FUELS）、水資源（WATER RESOURCES）以及物理學(xué)、綜合（PHYSICS，MULTIDISCIPLINARY）學(xué)科的論文被引次數(shù)都是1。從論文質(zhì)量指數(shù)來看，在8篇材料科學(xué)的論文中，在2014年最高的論文質(zhì)量指數(shù)是0.280，最低的論文質(zhì)量指數(shù)是0.021，平均論文質(zhì)量指數(shù)僅為0.121。而其余3篇分別屬于不同學(xué)科的論文質(zhì)量指數(shù)為0.054、0.066和0.021。

通過數(shù)據(jù)分析和研究得出，首先，河北工程大學(xué)科研成果不僅數(shù)量較少，論文質(zhì)量指數(shù)也普遍較小，處于較低的水平，優(yōu)秀科研成果比較缺乏，難以形成較強(qiáng)的科研影響力，這與該校龐大的教學(xué)科研隊(duì)伍（專任教師1472人，其中具有博士學(xué)位的教師327人）是很不相稱的。如果按照公式計(jì)算，在期刊影響因子、學(xué)科期刊平均影響因子和論文平均被引次數(shù)基本不變或相對變化較小的情況下，只有提高自身的論文質(zhì)量，增加被引次數(shù)，才能提高論文質(zhì)量指數(shù)水平。其次，從科研論文的合作情況來看，11篇論文中，其中3篇與燕山大學(xué)合著，其余分別與特拉華大學(xué)（美國）、中國礦業(yè)大學(xué)、復(fù)旦大學(xué)、天津大學(xué)、河北師范大學(xué)等高校合著，這表明科研人員具有較好的國內(nèi)橫向科研合作能力，但缺乏與國內(nèi)外世界一流高校和科研院所的合作。因此，仍需進(jìn)一步加強(qiáng)與國內(nèi)外頂尖科研機(jī)構(gòu)的交流與合作。

四、利用SCI和JCR開展科研評估的積極意義和局限性

（一）積極意義

首先，為科研規(guī)劃和學(xué)科建設(shè)提供參考。利用SCI和JCR開展科研評估，能夠根據(jù)特定時間內(nèi)SCI收錄論文的數(shù)量和JCR學(xué)科分布情況研究本單位科研現(xiàn)狀和發(fā)展趨勢，分析學(xué)科研究的特點(diǎn)和熱點(diǎn)，確立學(xué)科培育與發(fā)展重心，以制定系統(tǒng)、科學(xué)的科研發(fā)展規(guī)劃和學(xué)科建設(shè)策略。[5]89-90也可對某段時間內(nèi)某學(xué)科載文量相對集中的期刊定向跟蹤研究，以便發(fā)現(xiàn)更有影響力的期刊或確定核心期刊群。

其次，選拔和評價科研人才。科研論文的數(shù)量和質(zhì)量不僅體現(xiàn)著科研人員在所屬研究領(lǐng)域的地位與作用，也是衡量科研人才的一個重要標(biāo)準(zhǔn)和尺度。從SCI論文數(shù)量和被引用次數(shù)可以發(fā)現(xiàn)、培育、選拔以及評價科研人才，確立科研骨干和學(xué)科帶頭人，并據(jù)此建立與本單位相適應(yīng)的科研創(chuàng)新激勵機(jī)制和評價機(jī)制。

再次，分析和研究科研合作情況?？蒲泻献魇强茖W(xué)研究的一個重要方面，也是科研產(chǎn)生的必要條件?？蓮恼撐暮献骺蒲袡C(jī)構(gòu)的層次和多少來判斷作者的科研合作能力。一般來說，論文合作科研機(jī)構(gòu)涉及的國家或地區(qū)愈多，科研機(jī)構(gòu)層次越高，則表明其作者科研合作能力較強(qiáng)，反之則較弱。

（二）局限性

首先，評估數(shù)據(jù)的來源具有局限性。一是本次評估只對2013年河北工程大學(xué)發(fā)表的SCI論文(Ⅱ區(qū)且為第一作者)在2014年影響力進(jìn)行評估，沒有涉及論文未來幾年的評估，但如針對某一特定人員發(fā)表論文的評價，可根據(jù)實(shí)際情況需要，按照某年單篇（或多篇累加）計(jì)算其論文在某年的質(zhì)量指數(shù)（或質(zhì)量指數(shù)總和），或者用同樣的方法計(jì)算某幾年論文質(zhì)量指數(shù)總和。[3]13-14二是只對有限的科研論文進(jìn)行了評估，而沒有涉及其他的成果形式。而對高等學(xué)校來說，科學(xué)研究的學(xué)科門類很多（目前我國高?，F(xiàn)行的13個學(xué)科門類），研究成果的表現(xiàn)形式不一，除科研論文之外，還有專著、專利、科研報告以及文學(xué)作品等，它們代表著不同學(xué)科的成果特點(diǎn)。[6]97假如需要比較全面、系統(tǒng)地研究高校的科研產(chǎn)出能力和學(xué)術(shù)影響力，就應(yīng)針對不同的科研類型（如自然科學(xué)、社會科學(xué)、基礎(chǔ)研究、應(yīng)用研究等）和成果形式，制定一系列相應(yīng)的學(xué)科評價指標(biāo)體系，逐項(xiàng)整理出科研成果統(tǒng)計(jì)數(shù)據(jù)，從而實(shí)現(xiàn)科研成果的全面分析和評估。

其次，缺乏深層次的內(nèi)容評估。本評估主要采用文獻(xiàn)計(jì)量學(xué)的方法，從“數(shù)量”上對科研產(chǎn)出和影響力進(jìn)行統(tǒng)計(jì)分析，如論文被引次數(shù)、學(xué)科論文平均被引次數(shù)、期刊影響因子、學(xué)科期刊平均影響因子以及最后的評估結(jié)果——論文質(zhì)量指數(shù)等，而缺乏對科研論文深層次內(nèi)容的評估。高校的有關(guān)部門和人員只能從宏觀上掌握各學(xué)科領(lǐng)域論文各個數(shù)量指標(biāo)的研究現(xiàn)狀與趨勢。[7]26但大多數(shù)科研人員更需要通過對科研論文深層次的研究和分析，找出自己所屬學(xué)科研究的內(nèi)在規(guī)律，能夠?yàn)槲磥磉M(jìn)一步深入研究提供有意義的借鑒與幫助。

五、結(jié)語

科研績效評估是高?？茖W(xué)研究和學(xué)科建設(shè)的重要組成部分，是高?？蒲袥Q策和管理的重要基礎(chǔ)。隨著高校圖書館科研信息服務(wù)的進(jìn)一步深入和加強(qiáng)，許多圖書館開展了科研評價服務(wù)。基于SCI和JCR開展科研評估是圖書館不斷研究和探索的結(jié)果，它具有較強(qiáng)的引導(dǎo)性和實(shí)用性。通過對科研人員研究成果的競爭力和影響力進(jìn)行比較科學(xué)、系統(tǒng)、客觀的綜合評估，能夠比較準(zhǔn)確地了解和把握高校的科研優(yōu)勢與不足，并為制定未來科研發(fā)展規(guī)劃、重點(diǎn)學(xué)科研究方向、人力資源管理決策（如晉升、選拔和獎懲等）以及經(jīng)費(fèi)分配方案等提供重要的參考依據(jù)。

[1]萬昊，譚宗穎，朱相麗. 同行評議與文獻(xiàn)計(jì)量在科研評價中的作用分析比較[J]. 圖書情報工作，2017(1).

[2]彭博文，何濤.高校科研績效評估的現(xiàn)狀、矛盾及解決原則[J]. 中國高?？萍寂c產(chǎn)業(yè)化，2010(4).

[3]邱均平，馬瑞敏，程妮.利用SCI進(jìn)行科研工作者成果評價的新探索[J]. 中國圖書館學(xué)報，2007(4).

[4]賈志云. 期刊影響因子的學(xué)科差異、領(lǐng)域差異以及績效考核[J]. 中國科學(xué)院院刊，2009(5).

[5]彭奇志.基于SCI的科研機(jī)構(gòu)學(xué)術(shù)成果評估與實(shí)證分析[J]. 情報雜志，2008(9).

[6]趙飛，艾春艷，游越，劉素清.基于文獻(xiàn)計(jì)量開展高?？蒲性u估的探索與思考——以北京大學(xué)科研競爭力評估為例[J]. 大學(xué)圖書館學(xué)報，2014(1).

[7]王颯.“985”高校圖書館科研評價服務(wù)實(shí)踐調(diào)研與分析[J]. 圖書情報工作，2016(1).

（責(zé)任編輯：蘇紅霞 校對：朱艷紅）

Study on Scientific Research Performance Evaluation Based on SCI and JCR in Libraries——Taking the evaluation of scientific research influence of Hebei University of Engineering as an example

SUN Xiu-ju

(Library of Hebei University of Engineering, Handan 056038,China)

Scientific research Performance evaluation is an important content to deepen information service for library.In 2013 SCI thesis published by Hebei University of Engineering as the research object, based on SCI and JCR databases, using the method of bibliometrics, the paper evaluates the impact of the papers in the 2014, and try to use this method to make a preliminary study to the University scientific research performance, only In order to provide reference for decision makers, managers and researchers.

scientific research evaluation; bibliometrics; scientific research influence

G350

A

1673-2030(2017)04-0121-05

2017-09-10

孫秀菊（1966—），女，河北滄州人，河北工程大學(xué)圖書館信息咨詢部主任，副研究館員，碩士。