科學(xué)文獻(xiàn)評價的新探索

姜瑩瑩 陳萬寅 李睿華

科學(xué)文獻(xiàn)評價的新探索

姜瑩瑩 陳萬寅 李睿華

論文從優(yōu)勝論文衍生出方法和理論，探討科學(xué)文獻(xiàn)的評價指標(biāo)，然后選取4種期刊，即Monatshefte fur Chemie，Monatshefte für Mathematik，Journal of Neural Transmission，Chemical Reviews和單個科研人員（MK）作為研究對象進(jìn)行分析說明，采用的數(shù)據(jù)來源于web of science。對參考文獻(xiàn)數(shù)、被引次數(shù)、優(yōu)勝論文數(shù)等進(jìn)行研究，其目的在于對研究對象做詳細(xì)的多方面描述，反映科學(xué)文獻(xiàn)的價值所在。

優(yōu)勝論文文獻(xiàn)計量文獻(xiàn)評價

一篇科學(xué)文獻(xiàn)的價值通常通過被引次數(shù)來衡量。被引次數(shù)與某一特定數(shù)值的關(guān)系用以評價科學(xué)文獻(xiàn)的價值，而這些科學(xué)文獻(xiàn)數(shù)量的多寡就被用以評價科研人員的科研成就。H指數(shù)就是一項旨在評價科學(xué)家個人績效的指標(biāo)，科學(xué)家發(fā)表論文的數(shù)量和論文被引的頻次本身包含了很多有用的信息[1]。但是，基于H指數(shù)的科研評價存在一定的問題，比如科研成果形態(tài)的差異也使其不能全面地反映科研狀態(tài)[2]。

一篇論文中參考文獻(xiàn)的數(shù)量（number of references，NR）和其被引用數(shù)量（number of citations，TC）是相關(guān)的。擁有高參考文獻(xiàn)數(shù)量的論文可以更好地接受評審人的積極推薦，并最終被出版物所接受。被引文獻(xiàn)數(shù)和引用文獻(xiàn)數(shù)的關(guān)系在期刊、主題分類以及學(xué)科層面已經(jīng)得到了廣泛的研究。

1 問題的提出

2011年，盧布林工業(yè)大學(xué)的Marek Kosmulski提出：如果一篇論文被引數(shù)量比引用文獻(xiàn)的數(shù)量多，就被視為優(yōu)勝論文（successful paper，簡稱SP）[3]。即：

例如，如果一篇論文被8篇論文引用過，有6篇參考文獻(xiàn)，那這篇論文就是優(yōu)勝論文，但是如果一篇論文被120篇論文引用過，有100篇參考文獻(xiàn)，那這篇論文就不是優(yōu)勝論文。當(dāng)然優(yōu)勝論文的定義與某一特定的時間點有關(guān)。一篇新發(fā)表的論文肯定就不是一篇優(yōu)勝論文。因為成為優(yōu)勝論文需要經(jīng)過某段時間，然而它一旦成為優(yōu)勝論文，就永遠(yuǎn)成為一篇優(yōu)勝論文。

優(yōu)勝論文的數(shù)量可以有效地作為科研人員、期刊、科研機(jī)構(gòu)等科研成就的評價指標(biāo)。

被引文獻(xiàn)數(shù)的SP評價方法的優(yōu)勢是由TC和NR的比例決定的。

（1）TC和NR的篇平均值在不同的學(xué)科中是不同的。比如在科學(xué)的某一分支領(lǐng)域，TC和NR都很高，并且有眾多活躍的科學(xué)家和高質(zhì)量的期刊，而在科學(xué)稍冷門的分支領(lǐng)域，數(shù)量相對就很少。在不同科學(xué)分支領(lǐng)域的引用行為雖受到一些因素的影響，但不受活躍的科學(xué)家數(shù)量和高質(zhì)量期刊的數(shù)量影響。基于SP的評價方法減少了他們的固有優(yōu)勢。

（2）TC和NR的篇均平均值在不同的國家是不同的。在大而富饒的國家，TC和NR都很高，而在小而貧窮的國家都較低。大而富饒的國家的科研人員有內(nèi)在的優(yōu)勢，他們有更多的機(jī)會得到更多的引用?；赟P的評價方法減少了他們的固有優(yōu)勢。

（3）綜述比原創(chuàng)論文的TC和NR的篇均平均值都要高，這就使撰寫綜述論文的作者具有內(nèi)在的優(yōu)勢，他們有更多的機(jī)會得到更多的引用。基于SP的評價方法減少了他們的固有優(yōu)勢。

（4）基于SP的評價方法校正了過度自引的現(xiàn)象。自引的人就意味著要比其他科研人員具有更高的TC數(shù)超過他的論文的NC數(shù)，才能使他自己的論文成為優(yōu)勝論文。

當(dāng)然，在一個數(shù)據(jù)庫中的所有科學(xué)論文的NR總和高于其TC的總和，因為不管是非科學(xué)的出版物還是科學(xué)出版物的參考文獻(xiàn)并不是全部被這個數(shù)據(jù)庫所涵蓋（如博士論文就不被Web of Science收錄）。因此，一篇TC=NR的論文其TC值高于平均水平，并且目前對優(yōu)勝論文的定義是有點武斷的。一個更一般的定義，例如，score=1當(dāng)TC＞X×NR（其中X是一個正數(shù)，并且X因不同的學(xué)科有所不同），但目前這個研究僅限于X=1的定義。

2 優(yōu)勝論文的判定

一個例子可以很容易地證明基于SP的評價有悖常理。例如，有一篇參考文獻(xiàn)的論文在過去的20年被引用2次，就是一篇SP。然而有120篇參考文獻(xiàn)的論文被引用了100次就不是一篇SP。按照同樣的思路，我們就可以批駁另外一個引用指標(biāo)。例如，一個作者有2篇學(xué)術(shù)文章，分別被引用了2次，他的H指數(shù)是2。而另外一個作者只有1篇學(xué)術(shù)文章，但被引用了100次，他的H指數(shù)是1。TC只是稍高于NR的SP和TC比NR高很多的SP是沒有區(qū)別的。H指數(shù)雖然給予高被引文獻(xiàn)更多的關(guān)注,并且2008年6月，中國科學(xué)技術(shù)大學(xué)吳強(qiáng)博士也提出了H指數(shù)的另外一個變種——W指數(shù)，更強(qiáng)調(diào)關(guān)注高被引文獻(xiàn)，但是對高被引文獻(xiàn)中的最高被引文獻(xiàn)卻沒有引起足夠的重視[4]。TC＞＞H的文章的得分和TC=H的文章的得分是一樣的?？梢允褂孟旅娴姆椒▉碓u估高被引論文。

一個人所有高被引論文的得分總數(shù)（NSPhc）可以通過公式（1）計算得到，即NSPhc=∑（Scorei），hc為高被引的縮寫。

按常規(guī)定義，對于多作者的論文合作者的NSP得分就稍高一些。因此，對于有2個及2個以上作者的文章，可以使用下面的方法予以修正，NA為合作者總數(shù)的縮寫。

一個人所有高被引論文的得分總數(shù)（NSPma）可以通過公式（2）計算得到，即NSPma=∑（Scorei），ma為多作者合作的縮寫。

NSP把老作者作為一個固有的優(yōu)勢。這是大多數(shù)基于引用的文獻(xiàn)計量學(xué)指標(biāo)的一個屬性，因為TC通常會隨著時間的增長而增加，即使作者并不活躍了[5]。下面的方法可以被用來修正論文的時間。

AY是現(xiàn)年，PY為出版年。在公式（3）中用（AY +1），而不是現(xiàn)年，是為了避免除數(shù)為0。某一作者所有文章的得分總數(shù)（NSPPY）的計算公式通過公式（3）得到（PY為出版年的縮寫）。如果兩個科學(xué)家擁有相同數(shù)量的NSP，那么發(fā)表較新論文的作者得到的NSPPY就較高。

3 研究對象和研究方法

3.1 研究對象

選取4種期刊Monatshefte fur Chemie、Monatshefte für Mathematik、Journal of Neural Transmission、Chemical Reviews作為研究對象。Monatshefte fur Chemie（MC）被選為化學(xué)的代表。Monatshefte für Mathematik（MM）被選為數(shù)學(xué)的代表。Journal of Neural Transmission（NT）被選為神經(jīng)科學(xué)的代表。這3種期刊出版地都是奧地利，它們主要刊登原創(chuàng)文章（MM僅刊登原創(chuàng)文章），而非評論性文章。這三種期刊每種每年收錄論文約100篇，它們都在2000年以前創(chuàng)刊。而第四種雜志Chemical Reviews化學(xué)評論（CR）是在美國出版，并發(fā)表評論性文章。為了避免社論材料（前言，修改）的干擾，NR=0的文章我們故意忽略。

選取單個人（MK，化學(xué)家）在上述四種期刊發(fā)表的論文作為研究對象，研究單個科研人員SP的產(chǎn)出情況。

3.2 研究方法

3.2.1 期刊評價

利用Web of Science數(shù)據(jù)庫分析上述4種期刊在2000年發(fā)表的文章。數(shù)據(jù)庫訪問時間：2013年08月18日。本節(jié)中研究的論文是同一年發(fā)表的，這就消除了文章發(fā)表時間因素對TC和NSP的影響。

選擇發(fā)表至今10年的文獻(xiàn)是比較典型的時間跨度，因為考慮到科學(xué)家科學(xué)文獻(xiàn)產(chǎn)出評價在項目申請和職稱評定中的作用?；究茖W(xué)指標(biāo)（ESI）表明，文章發(fā)表10年后被引率很低，也就是說，10年前發(fā)表的論文的平均TC比9年前發(fā)表的略高，相差很少。這些期刊與SP相關(guān)的文獻(xiàn)計量學(xué)指標(biāo)見表1。

表1 四種期刊與SP相關(guān)的文獻(xiàn)計量學(xué)指標(biāo)

表1給出了第1部分討論的關(guān)于順序的問題：神經(jīng)科學(xué)＞化學(xué)＞數(shù)學(xué)（評論性文章）＞原創(chuàng)性文章，“＞”表示更多的參考文獻(xiàn)量和更多的被引次數(shù)。所選期刊中平均TC的比例與在第2節(jié)中討論的所有學(xué)科類似。MM和NT被引率分別稍低于數(shù)學(xué)和神經(jīng)科學(xué)的平均被引率。MC的被引率遠(yuǎn)低于化學(xué)學(xué)科的平均被引率，CR的被引率遠(yuǎn)高于化學(xué)學(xué)科的平均被引率，但CR是一種特殊的雜志，僅發(fā)表評論性文章，并且在化學(xué)領(lǐng)域是具有高影響因子的期刊之一。

因為神經(jīng)科學(xué)＞化學(xué)＞數(shù)學(xué)（評論性文章）＞原創(chuàng)性文章，神經(jīng)科學(xué)的期刊和評論性的期刊本身具有更多的參考文獻(xiàn)和被引次數(shù)，從表1可以看出MM和MC的平均TC/平均NR就比較低。因此換句話說平均TC/平均NR依賴于期刊本身的性質(zhì)，即屬于哪種學(xué)科的期刊，發(fā)表的是評論性文章較多還是原創(chuàng)性文章較多。CR比其他3種期刊的平均TC和其他TC＞100的論文數(shù)量高很多。盡管這4種期刊平均TC有很大的區(qū)別，CR仍然比其他3種期刊有更多的SP。MM中所有成功論文的NR處于MM所有論文的NR平均數(shù)，TC值比MM所有論文的NR平均數(shù)要高很多。MM的所有SP的NR值均比其所有論文的平均NR值稍低，并且所有SP的TC值均比其所有論文的的平均TC值高很多（這3篇SP的NR、TC分別為11/5、56/11、8/10）。

MC中所有SP的論文都是原創(chuàng)論文。MC中最佳評論性文章NR為170，TC為74，相比之下，一篇原創(chuàng)TC僅為5，而NR為4，那么這篇原創(chuàng)性文章就稱為優(yōu)勝論文。NT中所有SP的論文也都是原創(chuàng)論文。NT中最佳評論性文章NR為170，TC為28，相比之下，一篇原創(chuàng)論文的TC僅為8，NR為7，那么這篇原創(chuàng)性文章就稱為優(yōu)勝論文。CR中一些TC值最高的論文（例如TC值為664，而NR高達(dá)967）都不是優(yōu)勝論文，而一些TC值最低的論文（例如TC值為13，NR僅為1）卻是優(yōu)勝論文。

3.2.2 科研人員評價

利用Web of Science數(shù)據(jù)庫分析MK發(fā)表論文的情況。理論上，MK發(fā)表論文的數(shù)量和他們的平均值和在第四節(jié)討論的數(shù)值應(yīng)該是一致的。MK發(fā)表的SP和非SP見表2。

表2 MK的論文與SP相關(guān)的文獻(xiàn)計量學(xué)指標(biāo)

從表2可以看出，MK所有論文的的NR平均值與MC的NR平均值差不多。這意味著，MK的引用行為和發(fā)表在MC上文章的所有作者的引用行為是相似的。MK的TC平均值大大高于MC論文的平均TC，但低于2000年化學(xué)的平均TC（ESI），大大低于CR的平均TC。毫無疑問，MK的SP平均年紀(jì)比他的非SP要大。從表2還可以發(fā)現(xiàn)，MK的SP不僅平均TC比非SP更高，而且平均NR更低。

考慮到高被引、多作者、出版時間以及自引等因素對NSP值的影響，運用公式（1）-（4）消除這些因素的影響，計算MK的NSP值，見表3。

表3 消除高被引、多作者、出版時間以及自引等因素影響的NSP值

由表3可見，MK的NSPhc大于NSP說明TC遠(yuǎn)遠(yuǎn)大于NR值，NSPma略低于NSP，說明MK的SP論文都是獨自撰寫的論文或者與他人合作的論文很少。NSPpy的值低于NSP的值，此結(jié)果反映了SP的平均年齡。NSPsc的值比NSP低12，表明MK的引用中有很多自引。

4 結(jié)語

基于SP的指標(biāo)對作者、期刊或者科研機(jī)構(gòu)的跨學(xué)科領(lǐng)域的科學(xué)產(chǎn)出是有用的。單個科研人員的NSP可以很容易避免多作者、自引以及論文出版時間的影響。

基于SP的指標(biāo)比較有爭議的一點就是某一作者，某種期刊或某一科研機(jī)構(gòu)優(yōu)勝與否的閾值由一定數(shù)量的引用次數(shù)決定，而沒有考慮到過量被引的問題[6]。因此，基于SP的指標(biāo)雖簡單易操作，但也有其缺陷，在以后的研究中會作進(jìn)一步的探討。

[1]邱均平，繆雯停.文獻(xiàn)計量學(xué)在人才評價中應(yīng)用的新探索：以“h指數(shù)”為方法[J].評價與管理，2007，5（2）：1-5.

[2]宋振世，周健，吳士蓉.h指數(shù)科研評價實踐中的應(yīng)用研究[J]圖書情報工作，2013，57（1）：117-121，135.

[3]Marek Kosmulski.Successful papers：A new idea in evaluation of scientific output[J].Journal of Informetrics，2011（5）：481-485.

[4]聶超，朱國.h指數(shù)在科研評價中的缺陷及其對策[J].情報理論與實踐，2009，32（11）：1-2，7.

[5]Kosmulski M.New seniority-independent Hirsch-type index[J].Journal of Informetrics，2009，3（3）：341-347.

[6]Franceschini F，Maisano D.The citation triad：Anoverview of a scientist’s publication output based on Ferrers diagrams[J].Journal of Informetrics，2010，4（4）：503-511.

姜瑩瑩南京航空航天大學(xué)圖書館助理館員。江蘇南京，210016。

陳萬寅南京航空航天大學(xué)金城學(xué)院圖書館館長、研究館員。江蘇南京，211156。

李睿華南京航空航天大學(xué)圖書館館員。江蘇南京，210016。

The New Research on the Application of Bibliometrics in Scientific Output

Jiang Yingying，Chen Wanyin，Li Ruihua

Using the methods and theories derived from the successful paper,this paper discusses the evaluation indexes of scienti?c output,and then conducts an empirical analysis of 4 journals and one scientist,that is,Monatshefte fur Chemie,Monatshefte für Mathematik,Journal of Neural Transmission,Chemical Reviews and MK.The adopted data come from the web of science.It studies a number of references,citations and successful papers,which purpose is to make a more detailed and multi-aspect description of the journals and the scientist,and reflect the value of scienti?c output.

Successful paper.Bibliometrics.Document evaluation.

G255.51

2013-11-04編校：方瑋）