論文被引率在科技期刊評(píng)價(jià)中的地位和作用
——基于36種SCI眼科學(xué)期刊問卷調(diào)查的實(shí)證研究*

蓋雙雙 張?jiān)姌?劉雪立 劉睿遠(yuǎn)

1）新鄉(xiāng)醫(yī)學(xué)院管理學(xué)院，453003 新鄉(xiāng)市金穗大道601號(hào)，E-mail：gss0402@126.com

2）河南省科技期刊研究中心，453003 新鄉(xiāng)市新鄉(xiāng)醫(yī)學(xué)院

3）新鄉(xiāng)醫(yī)學(xué)院期刊社，453003 新鄉(xiāng)市金穗大道601號(hào)，E-mail：liueditor@163.com

科技期刊被譽(yù)為“整個(gè)科學(xué)史上最成功、無處不在的科學(xué)情報(bào)載體”，期刊評(píng)價(jià)是文獻(xiàn)計(jì)量學(xué)研究的重要組成部分，它通過一系列文獻(xiàn)計(jì)量學(xué)指標(biāo)進(jìn)行量化分析，揭示科技文獻(xiàn)在期刊中的分布規(guī)律，為提高學(xué)術(shù)期刊的內(nèi)在質(zhì)量、優(yōu)化學(xué)術(shù)期刊的使用提供重要參考［1-2］。運(yùn)用文獻(xiàn)計(jì)量學(xué)指標(biāo)準(zhǔn)確、合理地評(píng)價(jià)科技期刊學(xué)術(shù)質(zhì)量日益受到編輯出版、圖書情報(bào)和科研管理部門的重視［3］。但近年來，隨著科研環(huán)境日漸復(fù)雜及科研工作者對(duì)傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的深入研究，各指標(biāo)的弊端日漸凸顯。例如，一直備受青睞的影響因子，自1975年JCR發(fā)布即成為關(guān)注焦點(diǎn)，并逐漸演化成國際通行證和期刊評(píng)價(jià)的核心內(nèi)容［4］。但Vanclay［5］卻指出人們其實(shí)高估了其重要性，中國人民解放軍醫(yī)學(xué)圖書館資源建設(shè)部劉鵬年［6］也指出，影響因子對(duì)期刊的評(píng)價(jià)遠(yuǎn)非完美，理論上和實(shí)踐上都需要更為準(zhǔn)確的評(píng)價(jià)指標(biāo)。因此，尋找新的期刊評(píng)價(jià)指標(biāo)成為國內(nèi)外研究的焦點(diǎn)。

美國學(xué)者M(jìn)arkusov［7］和Smart等［8］分別在1973年和1981年提出“被引率”這一概念，并對(duì)其進(jìn)行了初步探討，之后學(xué)者們陸續(xù)提出論文被引率與期刊質(zhì)量的關(guān)系，開始考慮將論文被引率作為期刊質(zhì)量評(píng)價(jià)的標(biāo)準(zhǔn)之一，并對(duì)其進(jìn)行了更深入的研究。Smolinsky等［9］研究指出被引率隨著學(xué)科不同而變化。Vanclay［5］分析了影響因子、作者h(yuǎn)指數(shù)等與被引率之間的關(guān)系，并指出被引率僅僅是科研評(píng)價(jià)的一個(gè)方面，將其作為期刊評(píng)價(jià)指標(biāo)還需進(jìn)一步考證。Weale等［10］和劉雪立等［11］研究了零被引率與影響因子之間的關(guān)系，證實(shí)了零被引率作為期刊反向評(píng)價(jià)指標(biāo)的合理性。Guthrie等［12］也指出期刊被引率作為期刊質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)是合理有效的。Ohmer等［13］認(rèn)為，論文被引率與論文發(fā)表時(shí)間和論文發(fā)表期刊的影響因子均顯著相關(guān)，建議同時(shí)使用被引率和影響因子兩個(gè)指標(biāo)進(jìn)行科研績效評(píng)價(jià)。另外，Van Campenhout［14］指出論文被引率與同行公認(rèn)的其它指標(biāo)高度相關(guān)，也支持被引率作為有效的科研績效標(biāo)準(zhǔn)。美國湯森路透科技信息集團(tuán)在其2011年新創(chuàng)建的InCites數(shù)據(jù)庫中，把論文被引率（% documents cited）作為機(jī)構(gòu)評(píng)價(jià)的重要文獻(xiàn)計(jì)量學(xué)指標(biāo)之一［15］。綜合國內(nèi)外研究現(xiàn)狀，目前有關(guān)論文被引率作為期刊評(píng)價(jià)指標(biāo)是否合理均是通過與目前通用評(píng)價(jià)指標(biāo)比較而確定的。但是任何一個(gè)期刊評(píng)價(jià)指標(biāo)都存在一定的局限性，因此用一個(gè)指標(biāo)來驗(yàn)證另一指標(biāo)的有效性都是不科學(xué)的。本文通過對(duì)36種SCI眼科學(xué)期刊的問卷調(diào)查，試圖建立一個(gè)期刊評(píng)價(jià)的金標(biāo)準(zhǔn)，進(jìn)而探討論文被引率在科技期刊評(píng)價(jià)中的地位和作用。

1 研究對(duì)象與方法

1.1 研究對(duì)象

本文選擇SCI數(shù)據(jù)庫2012年收錄的56種眼科學(xué)期刊，考慮到過度自引對(duì)期刊影響因子等指標(biāo)有明顯影響［16-19］，參考Liu等［20］提出的中國醫(yī)學(xué)期刊過度自引的標(biāo)準(zhǔn)，排除自引率≥0.3以及IF自引率≥0.3者。由于要計(jì)算期刊的10年論文被引率，排除2003年未被SCI數(shù)據(jù)庫收錄者，同時(shí)排除被SCI數(shù)據(jù)庫收錄但未參與問卷調(diào)查者，最終確定36種眼科學(xué)期刊為研究對(duì)象。

1.2 論文被引率的概念和計(jì)算方法

期刊論文被引率是指某期刊在某一年發(fā)表的論文中，在一定時(shí)期內(nèi)被引用的論文所占的百分率，主要反映期刊發(fā)表高質(zhì)量論文的多少。由于論文被引用情況與論文發(fā)表后時(shí)間長短有密切關(guān)系，所以計(jì)算期刊被引率必須考慮論文發(fā)表的時(shí)間。本文主要研究科技期刊的2年、3年、5年、8年和10年被引率［11］。

某期刊的2年論文被引率是指該期刊在某一年發(fā)表的論文到次年末被引用的論文數(shù)占該刊在某一年發(fā)表論文總數(shù)的百分比，具體到本文，其計(jì)算公式如下：

其他年限的論文被引率以此類推。

1.3 指標(biāo)來源

各期刊影響因子、5年影響因子、即年指標(biāo)和特征因子均來源于Web of Knowledge數(shù)據(jù)平臺(tái)的2012版JCR數(shù)據(jù)庫。

1.4 問卷調(diào)查數(shù)據(jù)來源

本文所用的問卷調(diào)查數(shù)據(jù)來源于我們前期對(duì)全球8525個(gè)眼科醫(yī)生所做的問卷調(diào)查的總結(jié)，數(shù)據(jù)處理方法和結(jié)果見文獻(xiàn)［21］。

1.5 統(tǒng)計(jì)分析方法

統(tǒng)計(jì)分析工具為SPSS 21.0，期刊論文被引率與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)及問卷調(diào)查得分排序的關(guān)系采用Spearman秩相關(guān)檢驗(yàn)進(jìn)行分析，檢驗(yàn)水準(zhǔn)：α=0.05。繪圖使用Excel2003。

2 結(jié)果與分析

2.1 期刊論文被引率、傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)及問卷調(diào)查得分情況

36種眼科學(xué)期刊的2年、3年、5年、8年和10年論文被引率與傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)（影響因子、5年影響因子、即年指標(biāo)和特征因子）及問卷調(diào)查得分結(jié)果見表1。36種期刊2年、3年、5年、8年和 10年的平均被引率分別為0.580、0.789、0.907、0.948和0.958。

由表1可以看出，隨著出版時(shí)間的延長，各眼科學(xué)期刊的論文被引率均逐漸升高，無一例外。論文發(fā)表5年后，多數(shù)期刊被引率達(dá)90%及以上，之后逐漸趨向穩(wěn)定，變化不大，即各期刊被引逐漸趨于一致。這說明，論文被引用多集中在發(fā)表后5年內(nèi)，如果5年內(nèi)沒有被引用，今后被引用的概率也不大。

在全球眼科醫(yī)生心目中，排在前5位的期刊依次為InvestOphthVisSci、AmJOphthalmol、Ophthalmology、Arch Ophthalmol-Chic和BritJOphthalmol。這些期刊的2年、3年、5年、8年和10年被引率、各傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)值以及問卷調(diào)查得分均明顯高于其他期刊，可見這些期刊在眼科學(xué)領(lǐng)域確實(shí)具有較高的學(xué)術(shù)地位和影響力。各眼科學(xué)期刊得分的顯著差異，反映了各期刊在眼科醫(yī)生心目中的實(shí)際影響力明顯不同。

2.2 論文被引率與其他文獻(xiàn)計(jì)量學(xué)指標(biāo)的關(guān)系

目前，全球公認(rèn)的文獻(xiàn)計(jì)量學(xué)指標(biāo)主要有影響因子、5年影響因子、即年指標(biāo)及特征因子，探討被引率同這4個(gè)指標(biāo)之間的相關(guān)關(guān)系，可以間接說明期刊論文被引率用于期刊評(píng)價(jià)的合理性。為了直觀反映不同年限期刊被引率與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的關(guān)系，本文利用Excel 2003制作了36種眼科學(xué)期刊2年論文被引率與各傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)關(guān)系的散點(diǎn)圖（圖1），Spearman雙變量相關(guān)性檢驗(yàn)結(jié)果見表2。

由圖1和表2可知，36種眼科學(xué)期刊的2年和3年被引率與各傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)均顯著相關(guān)。5年被引率與影響因子、5年影響因子和特征因子顯著相關(guān)。8年被引率與影響因子和5年影響因子相關(guān)，10年被引率只與影響因子相關(guān)。2年、3年和5年被引率與影響因子、5年影響因子及特征因子都顯著相關(guān)。以上數(shù)據(jù)說明被引率作為科技期刊評(píng)價(jià)指標(biāo)具有一定的科學(xué)性和合理性。但隨著論文發(fā)表時(shí)間的延長，被引率與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)相關(guān)性下降，表明短期被引率指標(biāo)用于科技期刊評(píng)價(jià)優(yōu)于長期被引率指標(biāo)。

2.3 論文被引率、傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)與問卷調(diào)查結(jié)果的比較

利用SPSS統(tǒng)計(jì)軟件，將期刊的問卷調(diào)查得分排序與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)及論文被引率排序進(jìn)行等級(jí)相關(guān)檢驗(yàn)，結(jié)果如下：36種眼科學(xué)期刊問卷調(diào)查排序與影響因子、5年影響因子、即年指標(biāo)和特征因子排序的相關(guān)系數(shù)分別為0.749（P=0.000）、0.723（P=0.000）、0.602（P=0.000）和0.838（P=0.000）。問卷調(diào)查排序與特征因子相關(guān)系數(shù)最大，與影響因子的相關(guān)系數(shù)大于其與5年影響因子的相關(guān)系數(shù)。36種眼科學(xué)期刊問卷調(diào)查排序與2年、3年、5年、8年和10年被引率排序的相關(guān)系數(shù)分別為0.544（P=0.001）、0.354（P=0.034）、0.230（P=0.178）、0.095（P=0.581）和0.075（P=0.662），其與2年被引率的相關(guān)系數(shù)最大，與5年、8年和10年被引率無相關(guān)性。為更直觀反映不同年限論文被引率與問卷調(diào)查得分情況的關(guān)系，本文利用Excel 2003制作了36種眼科學(xué)期刊問卷調(diào)查得分與2年、3年、5年和8年論文被引率關(guān)系的散點(diǎn)圖（圖2）。

表1 36種眼科學(xué)期刊論文被引率、傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)及問卷調(diào)查得分

表2 期刊論文被引率與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的相關(guān)性

圖1 36種眼科學(xué)期刊2年論文被引率與傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)的關(guān)系

圖2 36種眼科學(xué)期刊問卷調(diào)查得分與不同年限論文被引率的關(guān)系

3 結(jié)論

3.1 問卷調(diào)查的目的和意義

考慮到任何一個(gè)文獻(xiàn)計(jì)量學(xué)指標(biāo)都存在其自身無法克服的局限性甚至偏差，因此，用其評(píng)價(jià)另外一個(gè)指標(biāo)的有效性是不嚴(yán)謹(jǐn)?shù)?。基于這一缺陷，我們對(duì)全球8525個(gè)眼科醫(yī)生發(fā)放E-mail問卷調(diào)查表，由眼科醫(yī)生自己填答問卷，對(duì)每個(gè)SCI眼科學(xué)期刊打分、排序，并以此作為眼科學(xué)期刊影響力評(píng)價(jià)的金標(biāo)準(zhǔn)來研究被引率。問卷調(diào)查排序之所以能夠作為金標(biāo)準(zhǔn)，理由是：

（1）問卷調(diào)查能夠突破時(shí)空限制，對(duì)眾多調(diào)查對(duì)象同時(shí)進(jìn)行調(diào)查，準(zhǔn)確反映出36種眼科學(xué)期刊在全球眼科醫(yī)生心目中的真實(shí)地位和實(shí)際影響力，且結(jié)果便于統(tǒng)計(jì)和分析；

（2）以問卷調(diào)查排序?yàn)榻饦?biāo)準(zhǔn)，將其與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)及被引率排序進(jìn)行等級(jí)相關(guān)檢驗(yàn)，能夠進(jìn)一步確定目前傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)中的最優(yōu)指標(biāo)，判斷被引率作為期刊評(píng)價(jià)指標(biāo)的科學(xué)性及合理性；

（3）由于隨著論文發(fā)表后時(shí)間的延續(xù)，被引機(jī)會(huì)或被引頻率均增加，因此，期刊出版后經(jīng)歷的時(shí)間長短不同，其論文被引率也不同。確定了論文被引率在期刊評(píng)價(jià)中的作用后，還必須考慮究竟幾年論文被引率用于期刊評(píng)價(jià)效果更好。

通過問卷調(diào)查排序與2年、3年、5年、8年和10年被引率排序的等級(jí)相關(guān)性檢驗(yàn)，能夠較好地解決這一問題。

3.2 被引率在科技期刊評(píng)價(jià)中的應(yīng)用

通過分析被引率與各傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)之間的相關(guān)關(guān)系，我們認(rèn)為被引率用于期刊評(píng)價(jià)具有一定的科學(xué)性和合理性。進(jìn)一步研究問卷調(diào)查排序與被引率排序之間的關(guān)系，結(jié)果提示，問卷調(diào)查排序與2年和3年被引率顯著相關(guān)，而與5年、8年和10年被引率不相關(guān)。說明只有2年和3年被引率指標(biāo)可以用于科技期刊評(píng)價(jià)，且2年被引率優(yōu)于3年被引率。

3.3 傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的期刊評(píng)價(jià)效能

問卷調(diào)查排序與各傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)排序的等級(jí)相關(guān)檢驗(yàn)結(jié)果表明，特征因子排序與期刊實(shí)際影響力排序的關(guān)系最密切，相比較之下，能夠更好地反映期刊的真實(shí)影響力，這與特征因子的提出背景及其計(jì)算原理相吻合，即基于“期刊越多地被高影響力期刊所引用，則其影響力也越高”這一基本假設(shè)［22］，針對(duì)期刊影響因子的種種“漏洞”提出的新改進(jìn)，其計(jì)算不包括自引，論文被引年限從2年延長到5年，以期刊影響力為權(quán)，同時(shí)測(cè)量引文的數(shù)量和“質(zhì)量”，實(shí)現(xiàn)引文數(shù)量與價(jià)值的綜合評(píng)價(jià)。影響因子與5年影響因子比較，前者優(yōu)于后者。5年影響因子是湯森路透科技信息集團(tuán)于2007年版JCR中增加的新評(píng)價(jià)指標(biāo)［23］，是基于期刊前5年發(fā)表論文的被引頻次計(jì)算而來的。本文中期刊問卷調(diào)查得分與影響因子相關(guān)性大于其與5年影響因子相關(guān)性的原因可能在于：（1）部分眼科醫(yī)生在對(duì)某些期刊不是十分了解的情況下，根據(jù)各期刊影響因子的大小對(duì)其進(jìn)行打分，導(dǎo)致本文中影響因子用于科技期刊評(píng)價(jià)優(yōu)于5年影響因子的結(jié)果；（2）醫(yī)學(xué)屬于熱門學(xué)科，醫(yī)學(xué)期刊發(fā)表論文多在2年內(nèi)達(dá)到被引高峰，因此2年影響因子能夠較客觀地反映期刊的學(xué)術(shù)影響力，使得5年影響因子用于醫(yī)學(xué)期刊評(píng)價(jià)并不像當(dāng)初設(shè)計(jì)的那樣理想。確切原因尚有待于進(jìn)一步研究。

綜上所述，2年和3年論文被引率用于科技期刊評(píng)價(jià)是合理有效的，其中，2年被引率優(yōu)于3年被引率，5年以上論文被引率完全喪失了期刊評(píng)價(jià)作用。各傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)相比較，特征因子的評(píng)價(jià)效能明顯優(yōu)于其他指標(biāo)。本文研究結(jié)果顯示，在眼科學(xué)期刊的評(píng)價(jià)中，5年影響因子并不比2年影響因子理想。當(dāng)然，不同學(xué)科有其特殊性，在科技期刊評(píng)價(jià)的實(shí)踐中，建議采用多個(gè)文獻(xiàn)計(jì)量學(xué)指標(biāo)（包括論文被引率）對(duì)期刊進(jìn)行全面綜合的評(píng)價(jià)。

1 俞立平，潘云濤，武夷山.學(xué)術(shù)期刊評(píng)價(jià)指標(biāo)選取若干問題的思考.情報(bào)雜志，2009，28（3）：75-77

2 俞立平，潘云濤，武夷山.基于因子分析的學(xué)術(shù)期刊評(píng)價(jià)指標(biāo)分類研究.圖書情報(bào)工作，2009，53（8）：146-149

3 吳月紅.文獻(xiàn)計(jì)量指標(biāo)與科技期刊評(píng)價(jià).淮南工業(yè)學(xué)院學(xué)報(bào)：社會(huì)科學(xué)版，2002，4（3）：99-101

4 宋麗萍，王建芳.期刊評(píng)價(jià)指標(biāo)實(shí)證研究.圖書情報(bào)知識(shí)，2013，（03）：74-80

5 Vanclay JK.Factors affecting citation rates in environmental science.JournalofInformetrics，2013，7（2）：265-271

6 劉鵬年.期刊引文評(píng)價(jià)新指標(biāo)Eigenfactor.科技信息，2009，（35）：1215

7 Markusov VA.Comparative study of citation rates of Soviet scientific and technical publications.Nauchno-Tekhnicheskaya Informatsiya Seriya，1973，（1）：27-31

8 Smart JC，Elton CF.Structural Characteristics and Citation Rates of Education Journals.AmericanEducationalResearchJournal，1981，18（4）：399-413

9 Smolinsky L，Lercher A.Citation rates in mathematics：a study of variation by subdiscipline.Scientometrics，2012，91（3）：911-924

10 Weale AR，Bailey M，Lear PA.The level of non-citation of articles within a journal as ameasure of quality：a comparison to the impact factor.BMCMedicalResearchMethodology，2004，4：14-21

11 劉雪立，方紅玲，周志新等.科技期刊反向評(píng)價(jià)指標(biāo)——零被引論文率及其與其他文獻(xiàn)計(jì)量學(xué)指標(biāo)的關(guān)系.中國科技期刊研究，2011，22（4）：525-528

12 Guthrie JT，Seifert M L.Mosberg.Research synthesis in reading：Topics，audiences，and citation rates.ReadingResearchQuarterly，1983，19（1）：16-27

13 Ohmer ME，Bishop PJ.Citation rate and perceived subjectbias in the amphibian-decline literature.ConservBiol，2011，25（1）：195-199

14 Van Campenhout G，Van Caneghem T.Article contribution and subsequent citation rates：evidence from European accounting review.EuropeanAccountingReview，2010，19（4）：837-855

15 劉雪立.一個(gè)新的引文分析工具——InCites數(shù)據(jù)庫及其文獻(xiàn)計(jì)量學(xué)指標(biāo)的應(yīng)用.中國科技期刊研究，2013，24（2）：277-281

16 Biglu M H.Tendency to the self-citation among journals in Iran and Turkey［EB/OL］.［2010-06-23］.http：//M www.zevep.com/ php/artikeldetail_x.php？typ=oa&i id=122736

17 Cam panario JM，Gonzalez L.Journal self-citations that con-tribute to the impactfactor：Documents labeled“editorial material”in journals covered by the Science Citation Index.Scientometrics，2006，69（2）：365-386

18 Zhivotovsky L A，Krutovsky K V.Self-citation can in flate hindex.Scientometrics，2008，77（2）：373-375

19 劉雪立，方紅玲，周志新等.我國自引率不同的科技期刊文獻(xiàn)計(jì)量學(xué)特征的對(duì)照研究.編輯學(xué)報(bào)，2011，23（1）：25-28

20 Liu X L，Wang M Y.Self-citation in Chinese biomedical journals.LearnedPublishing，2010，23（2）：93-100

21 劉睿遠(yuǎn)，劉雪立，王璞等.基金論文比作為科技期刊評(píng)價(jià)指標(biāo)的合理性——基于SCI數(shù)據(jù)庫中眼科學(xué)期刊的實(shí)證研究.中國科技期刊研究，2013，24（3）：472-476

22 王琳.特征因子與影響因子及總被引頻次的指標(biāo)特性比較——基于TOP期刊群樣本的實(shí)例分析.編輯學(xué)報(bào)，2013，25（2）：200-204

23 趙星.JCR五年期影響因子探析.中國圖書館學(xué)報(bào)，2010，36（3）：120-126