總被引頻次用于科技評價的誤區(qū)研究*
——兼談科技評價的時間特性

■俞立平 孫建紅

寧波大學(xué)商學(xué)院管理工程系，寧波市江北區(qū)風華路818 315211，E-mail：yuliping@nbu.edu.cn

1 引言

科技評價包括科研機構(gòu)評價、科研人員評價、科技政策評價、學(xué)術(shù)期刊評價等諸多方面。在科技評價中，學(xué)術(shù)期刊評價是其中非常重要的一個環(huán)節(jié)，基于學(xué)術(shù)論文影響力的總被引頻次指標在其中得到了非常廣泛的應(yīng)用。自影響因子從1972年起成為期刊評價指標以來，總被引頻次幾乎與之同時出現(xiàn)[1]。在迄今大多數(shù)科技評價中，總被引頻次指標成為選取頻度最高、權(quán)重較大的重要指標之一。

總被引頻次是期刊自創(chuàng)刊以來所登載的全部論文在統(tǒng)計當年被引用的總次數(shù)，當然從評價機構(gòu)或?qū)W者的角度，總被引頻次也可以借用，但主要應(yīng)用在期刊評價中。從總被引頻次的概念可以看出，在同等情況下，創(chuàng)刊早的期刊，由于其發(fā)表論文較多，總被引頻次值一般也較高，而新創(chuàng)刊的期刊，其影響力的提高也需要讀者和學(xué)術(shù)界一個認識的過程，即使學(xué)術(shù)質(zhì)量較高，但總被引頻次可能也處于相對不利的地位?？偙灰l次的這個問題，本質(zhì)上是期刊評價時的時間特性問題，必須深入分析這個問題，并提出相應(yīng)的解決思路，以提高科技評價的科學(xué)性與可信度。

關(guān)于總被引頻次的特點與局限研究，李曉紅、于善清[2]認為，總被引頻次的大小與期刊的創(chuàng)刊年限有直接關(guān)系，創(chuàng)刊早的期刊，其總被引頻次一定比創(chuàng)刊晚的期刊要高，因此在使用總被引頻次評價期刊時一定要考慮這一因素，不能一概用總被引頻次的大小來評價期刊的學(xué)術(shù)水平。李曉萍、姜瑾秋等[3]認為總被引頻次主要反映科技期刊包括近期狀況在內(nèi)的歷史狀況，彌補了因載文量過多而導(dǎo)致影響因子偏低的問題。胡興戎、王晴[4]發(fā)現(xiàn)在2009年累計總被引頻次居前10位的口腔醫(yī)學(xué)期刊中，既有影響因子居前10位的期刊（4種），也有影響因子排位較低的期刊。王群英、林耀明[5]選取資源、生態(tài)、地理三個相近學(xué)科的8個期刊，通過分析它們的影響因子、總被引頻次與載文量之間的關(guān)系發(fā)現(xiàn)，發(fā)現(xiàn)載文量與各刊影響因子的相關(guān)程度不一，而與總被引頻次有較強相關(guān)。

總被引頻次由于界定比較清楚，對其優(yōu)點與不足學(xué)術(shù)界并沒有太多的爭論。總被引頻次用于科技評價，既可以作為單個指標使用，即直接比較不同評價對象總被引頻次的大小，也可以在多屬性評價時作為評價指標選用，但在期刊評價中究竟應(yīng)該如何利用總被引頻次指標并沒有公認的結(jié)論，甚至對此進行的深度研究也不多。本文以湯森·路透JCR2011為基礎(chǔ)，選取光學(xué)、土壤、化學(xué)三個學(xué)科，對總被引頻次的特點及與影響因子的關(guān)系進行深入分析，然后對總被引頻次用于期刊評價的范圍進行系統(tǒng)總結(jié)。

2 總被引頻次與科技評價時間特性的關(guān)系

所謂科技評價的時間特性，就是科技評價的周期或頻率，以及流量評價或存量評價的特點?？萍荚u價的時間特性隱含的科技評價中，并沒有引起足夠的關(guān)注。

任何評價都有一定的周期或頻率。有的評價具有一定的周期性，比如CSSCI核心期刊的遴選，每年做一次；有的周期長一些，比如北京大學(xué)《中文核心期刊要目總覽》，已于 1992、1996、2000、2004 年、2008年、2011年出版過六版，基本上以3-4年為一個周期。有的評價不具有周期性，可能是政府部門或相關(guān)機構(gòu)不定期做一些評價。

評價周期和評價目的與評價的管理功能是緊密關(guān)聯(lián)的。比如優(yōu)選100名科技人員沖刺諾貝爾獎，重點對其較長時間的成果做評價，雖然最重要的也許是最近3-5年的成果，但評價是長周期的，甚至是累計水平的評價。再如國家社科基金資助期刊遴選，則是每年一次。一些評價機構(gòu)之所以會相隔3-4年做一次評價，有一個潛在的前提條件就是，本次評價的是自上次評價結(jié)束到本次評價之間的情況，盡管可能以評價當年的數(shù)據(jù)為主，根本原因可能是周期過短的評價沒有太大的意義，因為太短周期的評價由于指標數(shù)據(jù)波動較大，導(dǎo)致每次評價結(jié)果相差較大，其實是沒有意義的。如果想進行定期管理的話，太長周期的評價也失去了穩(wěn)定的管理功能。

從評價指標角度，必須注意流量指標與存量指標的區(qū)別。所謂流量指標，就是當年數(shù)據(jù)的統(tǒng)計指標，所謂存量指標，就是累計數(shù)據(jù)的統(tǒng)計指標。從評價本身來說，科技評價同樣也有流量評價和存量評價，遴選100名科技人才沖刺諾貝爾獎，這是對科研人員的存量加以評價，而年度CSSCI期刊遴選，則是典型的流量評價。在科技評價中，存量評價其實是不多的，更多的是進行流量評價。

對于流量評價應(yīng)該采用流量指標，對于存量評價應(yīng)該采取存量指標，否則就不具備可比性。在科技評價中，更多是流量評價，所選取的一些評價指標，比如影響因子、即年指標、學(xué)科影響指標、特征因子、H指數(shù)、被引半衰期等等都是流量指標，只有總被引頻次是存量指標，這明顯是不合適的，最終會導(dǎo)致辦刊歷史比較悠久的期刊在評價中得分偏高?？偙灰l次作為每年公布的存量指標，按道理只能用在存量評價中，根本就不能應(yīng)用在流量評價中，然而實際情況是，目前國內(nèi)的主流期刊評價，均將總被引頻次這個存量指標作為重要指標引入，學(xué)術(shù)界對這種情況熟視無睹，實在是一件非常奇怪的現(xiàn)象。

那么，是不是在存量評價中，總被引頻次就可以無條件引入呢？其實也并非如此，以遴選百名科技人員沖刺諾貝爾獎為例，學(xué)者A年齡較大，從1971年開始發(fā)表論文，學(xué)者B年輕一些，從1985年開始發(fā)表論文，2012年A的總被引頻次為800次，B的總被引頻次為600次，很明顯這是不可比的，因為不同學(xué)者、不同學(xué)科創(chuàng)新的最佳年齡是不同的。對于期刊評價，不同年度創(chuàng)刊的期刊，總被引頻次一般也不可比，或者說由于時間跨度的不可比導(dǎo)致總被引頻次不可比。本質(zhì)上，這里存在一個歷史唯物主義的認識問題，要做到可比，也必須對總被引頻次進行一定的轉(zhuǎn)換處理。

是不是總被引頻次就一無是處，沒有利用價值呢？也不能這樣講，只要時間相差不大，還是有一定的應(yīng)用價值的。比如對于一些辦刊歷史比較悠久的期刊之間的比較，X期刊辦刊90年，Y期刊辦刊80年，雖然相差10年，但總體上這種差別可以忽略。

另外一個問題是，能否將總被引頻次這個指標通過某種方法折算成可比性指標呢？比如目前應(yīng)用較多的地區(qū)固定資產(chǎn)存量，可以通過一定的方法折算到某年存量，然后再進行比較或?qū)嵶C研究，這樣能做到同一年度的存量可比，但總被引頻次并不具備這種特性，比如M期刊1980年創(chuàng)刊，10年后1990年的總被引頻次是1500次，N期刊2002年創(chuàng)刊，同樣10年后2012年的總被引頻次是1300次，能否說M期刊優(yōu)于N期刊呢？也不能，因為引用只有在同年相比才具有可比性，不同年度的學(xué)術(shù)熱點不同，所以不同年度的總被引頻次相比就沒有任何意義。

當然，創(chuàng)刊歷史越長的期刊總被引頻次越高只是一種平均現(xiàn)象，即對同等水平的期刊而言是如此，總被引頻次受期刊的學(xué)術(shù)影響力、發(fā)文量、文獻老化因素等影響，但這些并不影響總被引頻次是存量指標的本質(zhì)。

3 總被引頻次與期刊影響力關(guān)系的實證研究

3.1 總被引頻次與期刊影響力關(guān)系分析的原理

在科技評價中，學(xué)術(shù)成果影響力評價是其中非常重要的一個環(huán)節(jié)，關(guān)于影響力評價的指標，比較重要的幾個是：總被引頻次、影響因子、5年影響因子、即年指標、特征因子等，要分析總被引頻次的內(nèi)涵特征，必須將其與其他反映期刊影響力的指標進行對比分析，思路如下：

第一，總被引頻次與期刊影響力指標的排序分析。比較總被引頻次的排序與其他期刊影響力指標的排序情況，檢驗他們是否具有某種一致性，這是典型的非參數(shù)檢驗，因為期刊文獻計量學(xué)指標一般不服從正態(tài)分布。

Friedman檢驗是1937年Friedman提出的檢驗方法，也稱為Friedman卡方檢驗，是檢驗K個總體的分布中心是否有差異的一種方法。其統(tǒng)計量計算公式如下：

公式（1）中，n為評價對象數(shù)，k為評價方法序號，R為秩序。

第二，總被引頻次與期刊影響力指標的回歸分析。分析總被引頻次與其他期刊影響力指標的相關(guān)情況，比較擬合優(yōu)度大小。

通過上述比較，如果發(fā)現(xiàn)其與某個指標具有較高的一致性，那么總被引頻次的性質(zhì)可以和該指標歸于一類，否則的話，結(jié)合總被引頻次的定義，對其應(yīng)用范圍要進行深入討論。

3.2 總被引頻次與期刊影響力指標的非參數(shù)檢驗

本文采用湯森路透JCR 2011年光學(xué)、土壤學(xué)、有機化學(xué)三個學(xué)科期刊評價數(shù)據(jù)為例來進行研究，這樣可以提高研究的穩(wěn)健性。增強版JCR從2007年開始公布，公布的期刊影響力指標共有6個，分別是：總被引頻次（Total Cites，X1）、影響因子（Impact Factor，X2）、5 年影響因子（5-Year Impact Factor，X3）、即年指標（Immediacy Index，X4）、特征因子分值（Eigenfactor Score，X5）、論文影響分值（Article Influence Score，X6）。JCR公布的2011年光學(xué)期刊77種、土壤學(xué)種33種、有機化學(xué)56種，由于部分期刊部分指標數(shù)據(jù)為0，比如有些期刊辦刊歷史不長，還沒有5年影響因子數(shù)據(jù)，將這些帶有缺失數(shù)據(jù)的期刊刪除，最終光學(xué)期刊剩下66種，土壤學(xué)期刊30種，有機化學(xué)期刊54種。

表1 總被引頻次的非參數(shù)檢驗

分別對總被引頻次排序與影響因子、5年影響因子、即年指標、特征因子分值、論文影響分值的排序進行Friedman檢驗，其結(jié)果如表1所示。

除了光學(xué)期刊總被引頻次與即年指標在10%的水平上通過了統(tǒng)計檢驗外，其他都沒有通過統(tǒng)計檢驗，總體上不能拒絕總被引頻次與期刊影響力指標排序沒有顯著不同的原假設(shè)，說明總被引頻次指標在反映期刊影響力水平上與其他文獻計量指標有某種程度的一致性。

總體上，非參數(shù)檢驗是一種相對粗糙的檢驗，以光學(xué)學(xué)科總被引頻次排名前20的期刊為例（見表2），總被引排名第一的期刊，影響因子和5年影響因子排名第8；總被引頻次排名第20的期刊，影響因子排名第4；影響因子、5年影響因子、即年指標、論文影響分值均為第1的期刊，總被引頻次排名為11?？傮w上，從排序的非參數(shù)檢驗來分析總被引頻次與期刊影響力的關(guān)系特點比較粗糙，需要進一步進行深入分析。

3.3 總被引頻次與期刊影響力指標的回歸分析

對三類學(xué)科的期刊，分別以總被引頻次作為因變量，影響因子、5年影響因子、即年指標、特征因子、論文影響分值作為自變量進行回歸，擬合優(yōu)度如表3所示。對光學(xué)期刊而言，總被引頻次除了和特征因子相關(guān)系數(shù)較高外（0.872），和其他期刊影響力指標相關(guān)系數(shù)均不高，擬合優(yōu)度都在0.5以下；土壤學(xué)期刊類似，除了和特征因子相關(guān)系數(shù)較高外（0.814），其他擬合優(yōu)度均在0.5以下；化學(xué)期刊總被引頻次和其他影響力指標的擬合優(yōu)度均在0.5以下。

從平均值看，光學(xué)期刊的擬合優(yōu)度均值為0.193，土壤學(xué)期刊的擬合優(yōu)度為0.446，化學(xué)期刊的擬合優(yōu)度為0.088，均在0.5以下，可見總被引頻次與其他期刊影響力指標之間從數(shù)據(jù)關(guān)系的角度也不具備較高的相關(guān)性，難以作為期刊影響力指標。

表2 總被引頻次前20種光學(xué)期刊

表3 總被引頻次與期刊影響力指標的擬合優(yōu)度

4 結(jié)論

4.1 總被引頻次不能很好地反映年度期刊影響力

總被引頻次指標構(gòu)成總體比較簡單，而且還沒有除去自引因素。通過JCR2011光學(xué)、土壤學(xué)、化學(xué)學(xué)科期刊的實證研究表明，總被引頻次與期刊其他影響力指標的相關(guān)性很弱，并沒有反映出期刊影響力的某種獨特的規(guī)律或新的內(nèi)涵。如果將總被引頻次中有限的期刊影響力因素去除，那么總被引頻次還能代表什么呢？可能只剩下反映期刊辦刊歷史的某種因素，問題是如果對期刊辦刊歷史進行某種考察，直接根據(jù)辦刊時間判斷即可，也用不到總被引頻次指標。

4.2 總被引頻次難以和科技評價的時間同步

在科技評價中，一般都是流量評價，很少用到存量評價。在存量評價中，應(yīng)該采用存量指標，同樣在流量評價中，也應(yīng)該采用流量指標?？偙灰l次作為存量指標，被廣泛應(yīng)用在流量評價中，從邏輯上是存在問題的，在時間上不能做到同步，因此本質(zhì)上是不可比的。

4.3 總被引頻次的適用范圍較窄

在單指標評價中，對于一些辦刊歷史相近的期刊，或者從事科研工作時間差不多的學(xué)者，總被引頻次是有一定意義的，可以大致反映期刊或?qū)W者的影響力。在指標體系綜合評價中，總被引頻次只有在以存量為目的的評價中才具有意義，當然存量評價必須以存量指標作為基礎(chǔ)，比如專利數(shù)必須是累計專利數(shù)，研發(fā)經(jīng)費投入必須是累計研發(fā)經(jīng)費投入，從目前的實踐看，這方面的評價并不多。

1 Rousseau R，Yang L，Yue T.A discussion of Prathap’s h2-index for institutional evaluation with an application in the field of HIV infection and therapy.Journal of Informetrics，2010，4（2）：175-184

2 李曉紅，于善清.慎重使用“影響因子”評價科技期刊.情報科學(xué)，2005，（1）：75-77

3 李曉萍，姜瑾秋，邢寶山等.影響因子和總被引頻次在期刊評價中的作用.深圳中西醫(yī)結(jié)合雜志，2006，（4）：270-272

4 胡興戎，王晴.SCI-E收錄口腔醫(yī)學(xué)類期刊情況及引文評價參數(shù)分析.中國科技期刊研究，2010，21（4）：545-548

5 王群英，林耀明.影響因子、總被引頻次與期刊載文量的關(guān)系研究——以資源、生態(tài)、地理方面的8個期刊為例.中國科技期刊研究，2012，23（1）：76-79