百分位數(shù)指標的修正及評價分析

王彩虹　張立彬

〔摘 要〕針對相對影響和百分位數(shù)指標的局限，提出修正百分位數(shù)指標。從引文量分布特征、同區(qū)引文量差異、引文量與發(fā)文時長關聯(lián)性等方面，對相對影響和百分位數(shù)指標進行了對比分析。在此基礎上，將相對影響和百分位數(shù)指標融合并引入時效性參數(shù)，構建了修正百分位數(shù)指標并以圖書情報類核心期刊及高校圖書館作為測評對象進行了案例分析。結果表明，修正百分位數(shù)指標可將位于同一百分位區(qū)間但發(fā)文時長及引文量不同的論文納入到同一尺度下進行對比評價，測評結果對于引文數(shù)量特征和內在規(guī)律性的反映更為客觀。

〔關鍵詞〕相對影響；百分位數(shù)；時效性；指標；期刊；機構；圖書館；學術影響力；評價

DOI：10.3969/j.issn.1008-0821.2018.08.009

〔中圖分類號〕G250.252 〔文獻標識碼〕A 〔文章編號〕1008-0821（2018）08-0067-06

〔Abstract〕For the more reasonable in the evaluation of academic influences，the author designed a revised percentile rank scores index.The relative impact indicator and percentile rank scores were analyzed based on the distribution characteristics of the citations，internal diversity of the papers at the same percentile rank and the correlation between citations and publication time.On this foundation，a revised percentile rank scores index which introducing heterogeneity and timelines parameters was designed.Taking the core periodicals of library and information and the university library as the evaluation objects，the empirical investigation of the revised percentile rank scores index was conducted.It was clarified by the empirical results that compared with percentile rank scores index，the model proposed had a higher discrimination and sensitivity.The revised percentile rank scores was an effective and comprehensive evaluation index of quality factor and quantity factor and it had the ability to identify differences between papers at small scale.

〔Key words〕relative impact；percentile rank scores；timelines；index；periodicals；institution；library；acdemic impact；evaluation

引文是科研交流的方法，是論文成果被同行論文的引用情況，它客觀反映了論文內在價值的被認可程度[1-2]。原始引文數(shù)量是學術評價的基礎性指標，其數(shù)值大小多用于表征影響力水平，但由于文獻出版及傳遞時空局限、學科背景差異、出版物類型等因素的影響，原始引文數(shù)量直接用于學術影響力評價的客觀性并不充分，而以其為基礎數(shù)據(jù)的標準化處理業(yè)已成為文獻計量領域的共識[3]。作為兩種最具代表性的標準化方法，相對影響指標（RII，Relative Impact Indicator）和百分位數(shù)指標（PRS，Percentile Rank Scores）在實際評價工作中更多被采用[4-5]。前者是以測評對象引文數(shù)量與參考集合引文數(shù)量平均值之比作為標準尺度；后者則以參考集合百分位等級為依據(jù)，對測評對象論文進行等級劃分進而線性加權求和。從評價的客觀性角度看，引文數(shù)量標準化既是對同質總體特征的反映，又是對異質個體差異的概括，二者的有機結合是最佳秩序建立的關鍵。作為單因素指標，RII和PRS從引文相對數(shù)量和相對等級尺度相互區(qū)別，二者各有所長，但均未對發(fā)文時長有所反映。本文從引文量分布特征、同區(qū)引文量差異、引文量與發(fā)文時長關聯(lián)性等幾個方面對RII和PRS指標進行了對比分析，提出了指標融合并納入時間因素的思路，以PRS為基本模型，提出了將同區(qū)引文量差異和時效性作為評價參數(shù)的修正百分位指標（RPRS，Revised Percentile Rank Scores）并進行了案例分析，以期供同行交流與評鑒。

1 RII和PRS指標分析

1.1 RII指標

RII是當前文獻計量領域最常用的標準化方法，以測評對象引文量與參考集引文量期望值之比作為度量尺度是其主要特征，期望值一般為參考集引文數(shù)量的平均數(shù)。在實際應用中，RII又可分為“引文和之比”與“引文篇之比”兩種類型?！耙暮椭取笔菍y評對象引文量總和除以論文總數(shù)量得到引文平均值，之后與參考集期望值相比，此類代表有CPP/JCSm、NMCR等多種指標[6-7]；“引文篇之比”則是先計算單篇論文引文量與參考集期望值之比，之后累計求和后再求平均值，如MNCS[8]、RPCR[9]等指標?？梢钥闯觯耙暮椭取笔菍y評對象所有論文視作共同體，即以總體平均值作為代表，而“引文篇之比”則是將每篇測評論文區(qū)別對待，是以個體之比的平均值作為代表。有學者認為“引文和之比”的方式更適宜于學術影響力的測評，而“引文篇之比”的方式則存在低水平期刊高引論文導致整體值偏離實際的可能；亦有學者認為“引文和之比”的方式忽略了論文間的價值差異，“引文篇之比”的方式則更為合理。盡管類似爭論仍在繼續(xù)，但二者度量的基本原理是一致的，即都是以引文平均值之比作為度量尺度，相互區(qū)別之處僅在于平均值的計算方式[10]?？紤]到多數(shù)情況下，評價多以學科或專業(yè)分類進行，而參考集也多為本學科或本專業(yè)領域廣泛認可的論文集合，故可認為兩者并無“質”的差異。

1.2 PRS指標

百分位數(shù)即百分位分數(shù)（Percentile），是一種相對等級量數(shù)，若干百分位數(shù)有序結合，可描述變量分布的總體特征。PRS指標的基本做法是將待評價論文按引文數(shù)量依次排序，劃分百分位區(qū)間段，每段區(qū)間賦予不同權重因子，之后對各區(qū)間論文按其所占比例線性加權并累積求和，計算式如下：

PRS=∑ni=1xi·p（xi）（1）

式中i表示第i個百分位區(qū)間；xi表示第i個百分位區(qū)間的權重因子；p（xi）表示第i個百分位區(qū)間的論文數(shù)量占比。

美國NSF將PRS指標用于學術評價并獲得廣泛認可，采取的做法是將論文集合按引文數(shù)量排序后劃分為6個百分位區(qū)間段，依次為Top1%、95th～99th、90th～75th、75th～50th、0～50th，各區(qū)間對應的權重因子分別為6、5、4、3、2、1，待評價對象按其在各區(qū)間論文占比計算累積和，之后與期望值相比得到評價值，若比值>1，則認為機構學術影響力大于平均水平。

1.3 RII與PRS指標分析

RII指標和PRS指標的相同之處在于二者均需對參考集合及測評對象的引文進行標準化處理，之后通過公式計算得到指標值。顯然，引文的標準化處理過程是獲取客觀評價結論的關鍵，這就要求標準化方法能夠合理地反映出參考集合及測評對象引文量的變化規(guī)律[11]。為對此問題有所認識，從CNKI數(shù)據(jù)庫中提取2011-2015年度圖書情報類17種核心期刊（北大2014版）論文作為參考集及測評對象進行分析，引文量統(tǒng)計截止期為2018年2月3日。集合論文共計25 322篇，符合大樣本數(shù)據(jù)要求，可認為數(shù)據(jù)分析結果具有代表性。

1.3.1 RII指標與引文量分布特征的相符性

RII類指標的主要特征是以引文量平均值作為評價依據(jù)，這克服了原始引文數(shù)量直接對比存在的固有缺陷，但以均值相比進行數(shù)據(jù)標準化處理應滿足相應的邏輯原理。統(tǒng)計學中，數(shù)學期望值（均值）的位置決定于呈正態(tài)分布的概率密度函數(shù)，這就要求變量（即引文量）的分布規(guī)律符合正態(tài)或近正態(tài)的分布特征。

圖1給出了參考集合引文量的分布頻率，可以看出，集合引文量分布范圍在0～259次，4次（含）及以下引文量的論文累計百分比為55.6%，4～16次（含）引文量的論文累計百分比為34.9%，引文量16次及以上的論文累計占比僅為9.5%。集合中引文量的平均數(shù)（均值）為7.14，而7次以上引文量的論文實際占比僅為32.6%；此外，集合引文中位數(shù)為4.00，眾數(shù)為1，兩者與均值7.14差異顯著，而引文分布相應的偏度系數(shù)為6.982，峰度系數(shù)為82.029，這說明集合引文分布呈現(xiàn)極顯著的偏態(tài)特征。

進一步的分析結果顯示，集合中任一期刊（可視作測評對象）內的引文分布均呈現(xiàn)偏態(tài)特征，無明顯集中趨勢，見圖2（以《情報雜志》為例）。據(jù)此可知，以引文均值化為特征的RII類指標與偏態(tài)型的引文分布規(guī)律并不相符。此外，集中趨勢（平均值或中位數(shù)）與離散趨勢（偏差）均為隨機變量的分布特征參數(shù)，二者疊加才可描述變量（引文）分布的完整性，而RII類指標僅以平均值作為評價依據(jù)，顯然有所缺失。

1.3.2 相同百分位區(qū)間內的引文量差異

對集合內所有論文按其引文量排序并劃分為相應6個百分位區(qū)間，各區(qū)間論文數(shù)依次為263篇、1 070篇、1 328篇、4 430篇、6 171篇、12 060篇，各區(qū)間引文量界限值、篇均引文量、篇均發(fā)文時長及權重因子見表1。

從表1可知，同一百分位區(qū)間內，引文量仍存在較大差異，如Top1%區(qū)，最高引文量為259次，最低引文量為56次，前者是后者4.6倍，而其余各區(qū)高、低引文量也大體相差1倍。按百分位數(shù)指標的計權方式，各區(qū)不同引文量的論文對應的權重因子相同，即區(qū)內所有論文視作“等價”，這顯然忽視了論文間的“價值差異”，百分位數(shù)指標也因此并不完美[12]。但對比集合引文分布（見圖1）亦可知，百分位區(qū)間的劃分使得各區(qū)引文量跨度范圍減小，區(qū)間內引文量平均值已在很大程度上趨近于中位數(shù)，這意味著區(qū)間內引文分布的偏態(tài)狀已在很大程度上被弱化。

1.3.3 引文量與發(fā)文時長的關聯(lián)

分別以集合內所有論文的引文量及其對應的發(fā)文時長作為變量，采用Spearman、Kendall、Pearson 3種模型進行雙變量相關性檢驗，結果見表2。

由表2可知，無論采用哪一種模型，引文量與發(fā)文時長均在0.01水平顯著（雙尾）相關，即無論假定變量是否是正態(tài)分布或離散分布以及變量是否是連續(xù)變量或分類變量，兩變量之間的相關性均不能被忽略。

將論文集合按發(fā)文時長劃分為5個年度組進行ANOVA單因素方差分析，結果顯示分組因素對引文量有顯著影響，各組之間平均值差異顯著（p<0.05），見表3。據(jù)此可推斷，在以引文量作為關鍵因素的評價指標中，若作為時效因子的發(fā)文時長未被納入，則評價結論的客觀性有所缺失[13]。

2 修正百分位數(shù)指標的提出

相對影響指標和百分位數(shù)指標均屬于單參數(shù)指標，兩者分別從引文相對數(shù)量和相對等級尺度進行評價，故只能反映整體的部分或局部信息，用于評價時難免存在不足?？赡艿慕鉀Q方案是將這兩種指標進行融合并引入時間變量以反映更多維度的信息，即融合指標應納入相對引文數(shù)量和發(fā)文時長作為變量，同時避免或弱化均值標準化對引文正態(tài)分布的特定要求?；谶@一設想，本文提出修正百分位數(shù)指標（RPRS），如下式：

RPRS=∑ni=1xα·βi·p（xi）（2）

式中xα·βi即百分位修正權重因子；參數(shù)α即引文修正系數(shù)，表示同區(qū)論文異質性，其值為Ci/C*i，即第i篇測評論文引文量（Ci）與同區(qū)間論文集合平均引文量（C*i）之比；參數(shù)β即時間修正系數(shù)，表示論文時效性，其值為t*i/ti，即第i篇論文所在百分位區(qū)間論文集合的平均發(fā)表時長（t*i）與該論文發(fā)表時長（ti）之比。

PRS指標用于評價時，論文所在百分位區(qū)間的x值是固定數(shù)值，即同區(qū)間論文的權重因子默認相同；RPRS指標用于評級時，同區(qū)間論文的權重因子則因論文的相對引文量及發(fā)表時長的不同而變化。可以看出，若待評價論文引文量大于同區(qū)間論文平均引文量，則α>1，反之，α<1；若待評價論文發(fā)表時長小于同區(qū)間論文平均發(fā)表時長，則β>1，反之，β<1?？芍?，RPRS指標通過參數(shù)α、β進一步識別了同區(qū)間論文差異進而對權重因子進行雙維度調整，由此可將位于同一百分位區(qū)間但發(fā)表時長及引文量不同的論文納入到同一尺度下進行更加合理地測評。

3 RPRS指標案例分析

3.1 期刊學術影響力評價

3.1.1 數(shù)據(jù)統(tǒng)計與參數(shù)分析

百分位數(shù)區(qū)間劃分參見表1，任選4種圖書情報類核心期刊作為測評對象，統(tǒng)計各期刊在各區(qū)間的論文數(shù)量、引文數(shù)量及發(fā)文時長，之后分別計算出各區(qū)間論文占比及相應的參數(shù)值α和β，結果列于表4、表5。

從表4可以看出，Top1%區(qū)、95th～99th區(qū)最大百分比分別為《圖書情報知識》、《情報雜志》所對應，說明該兩種期刊的高引用論文占比相對更大；而50th～75th區(qū)、0～50th區(qū)最大值分別對應《情報科學》、《情報資料工作》，說明該兩種期刊低引用論文比例相對較多?？傮w看，4種期刊在各區(qū)間排序存在交替變化現(xiàn)象，由表4數(shù)據(jù)并不能直接比較期刊整體影響力的大小，這也說明進一步計算百分位數(shù)指標的必要性。

由表5可知，同一百分位區(qū)間，不同期刊對應的α、β值不同，同一期刊在不同百分位區(qū)間對應的α、β值也不同。如在Top1%區(qū)，《情報雜志》的α值為0.958、β值為0.931，《情報資料工作》的α值為0.823、β值為1.052，說明前者在該區(qū)的篇均引文量相對值大于后者，但前者的篇均發(fā)文時長相對值（1/β）也大于后者，說明后者發(fā)文的時效性更佳，其引文量在后期增加的可能性也因此更大。α和β數(shù)值的變化，反映出這兩個參數(shù)對同區(qū)論文異質性和時效性差異的識別，將兩參數(shù)納入評價指標，顯然對于獲取更加合理的評價結論是有利的。

3.1.2 RPRS與PRS指標的計算與對比

按照公式（1）和（2），分別計算4種期刊的PRS和RPRS指標值，相關數(shù)據(jù)及參數(shù)值取自表4、表5，計算結果列于表6。

從表6可以看出，《圖書情報知識》及《情報資料工作》的RPRS值大于其對應的PRS值，而《情報雜志》、《情報科學》兩種期刊的RPRS值小于其對應的PRS值。PRS指標中各百分位區(qū)間的權重因子是固定數(shù)值，而RPRS指標中相應的權重因子是動態(tài)變化值，即前者權重因子為x，而后者為xα*β。由于各期刊在各百分位區(qū)間對應的參數(shù)α和β不同，由此使得權重因子變化繼而導致指標值改變。

從表6還可看出，RPRS值相較PRS值的變化直接導致了期刊排序的改變，《情報雜志》、《圖書情報知識》、《情報資料工作》3種期刊在PRS指標下的排序為1、2、3，而在RPRS指標下的排序為3、1、2。結合表4可知，盡管《圖書情報知識》在Top1區(qū)的論文占比大于《情報雜志》，但其在95th～99th區(qū)和90th～95th區(qū)的論文占比明顯小于后者，PRS分區(qū)計權求和的結果使得后者的排序超過前者。根據(jù)表5則可進一步分析出3種期刊在各區(qū)的差異，除Top1區(qū)α值外，《情報雜志》在Top1區(qū)的α值及在95th～99th區(qū)和90th～95th區(qū)的α和β值均小于《圖書情報知識》和《情報資料工作》的相應值，這說明《情報雜志》在3個區(qū)的相對發(fā)文時長更長且在95th～99th區(qū)和90th～95th區(qū)的相對引文量小于后兩種期刊，而RPRS指標賦予了相對引文量大、發(fā)文時長短的論文以更大的區(qū)間權重因子，由此使得期刊排序發(fā)生改變。指標值的差異反映了RPRS與PRS對同區(qū)論文區(qū)分維度的不同。

3.2 機構學術影響力評價

學術期刊是科研論文宏觀層面的“集結地”，而研究機構則是科研論文微觀尺度的“產生源”，二者的性質、規(guī)模不同，故有必要對RPRS指標用于機構學術影響力的評價進一步探究。選擇南京大學、東南大學、浙江大學、南開大學、上海交通大學5所高校圖書館作為機構代表，進行評價分析。為表述簡便，各機構均采用簡稱，見表7。與前述一致，分別統(tǒng)計各機構在2011-2015年度發(fā)表的圖書情報類核心期刊論文，依次計算各百分位區(qū)間的論文比例、參數(shù)α和β、PRS及RPRS指標，結果見表7、表8和表9。

從表7可以看出，各機構在0～50th區(qū)的論文占比均≤50%，說明各機構論文引用水平整體較高。其中，上交館在Top1%區(qū)、95th～99th區(qū)占比最大，而南開館在90th～95th區(qū)占比最大。依據(jù)高引區(qū)相對更大的權重因子，上交館、東大館、南大館的PRS指標值更高，各自相應排序分列1、2、3，但在RPRS指標下三者排序則變?yōu)?、1、4，東大館超越上交館，而南大館則降至浙大館之后，見表8。

通過分析表9數(shù)據(jù)可知，盡管上交館在Top1、95th～99th、90th～95th、75th～90th等4個區(qū)的占比領先于東大館，但其在這4個區(qū)的α值均小于后者（即相對引用量偏低），同時，上交館在Top1區(qū)、95th～99th區(qū)、0～50th 3個區(qū)的β值也小于后者（即相對發(fā)文時長更長），因此，東大館在相應區(qū)的修正權重因子增大而使得其RPRS指標值高于上交館。而南大館較浙大館在90th～95th區(qū)占比顯著領先，且在Top1區(qū)占比也高于后者，故其PRS指標值高于后者；但除Top1區(qū)外，南大館在其余各區(qū)的修正權重因子均小于浙大館，各區(qū)加權計和的結果使得其RPRS指標值小于后者。

從機構的學術影響力評價結果可以看出，RPRS指標同樣顯示了與PRS指標不一樣的判別結果。借助同區(qū)異質參數(shù)α和時效性參數(shù)的雙維度調節(jié)，RPRS指標對論文差異的區(qū)分度也較PRS指標更進一步。

4 結 論

學術影響力評價是根據(jù)既定目標來測評對象的學術屬性（即影響力），并將這種學術屬性轉變?yōu)榭陀^定量的分值或主觀效用的行為，而評價指標則是實現(xiàn)這種行為的工具和手段。引文量作為學術影響力評價的核心關切點，不應被視為孤立的單一因素，而是具有多屬性的“體系結構”。雖然RII、PRS、RPRS均以引文量作為影響力評價的關鍵因素，但三者對于引文量的屬性描述相互不同。RII類指標測評的是引文量的相對數(shù)值，PRS指標測評的是引文量的等級分布，而RPRS指標是在測評引文量等級分布的基礎上加測引文量的相對數(shù)值和發(fā)文時長，是對前兩者的融合和改進。可以認為，RPRS指標的評價過程，實現(xiàn)了引文相對數(shù)量、等級分布、時效性等要素之間的信息交換、流動和組合，對于引文數(shù)量特征和內在規(guī)律性的揭示更加全面，因此更有利于獲取相對客觀的評價結論。

研究中僅針對RPRS指標進行了圖書情報類期刊及研究機構的案例分析，從指標應用領域看，RPRS指標同樣可應用于不同學科期刊或研究實體的對比評價。同RII及PRS指標類似，合理的選擇RPRS指標的參照標準可為引文數(shù)量的標準化奠定基礎，繼而支持不同學科背景論文的影響力對比評價，而參照標準的選擇將主要圍繞JCR（Journal Citation Report）主題類展開，針對不同主題及其組合成的不同學科分類進行RPRS指標的應用研究將是后續(xù)研究重點。

參考文獻

[1]蔣海龍，陳丹丹.國內鏈接分析期刊論文的引文分析[J].現(xiàn)代情報，2012，32（2）：165-169.

[2]楊瑞仙，秦渴.基于引文的科研關系組織及其服務的研究現(xiàn)狀與發(fā)展趨勢[J].圖書館，2015，（12）：82-85.

[3]Suzy Ramanana-Rahary，Michel Zitt and Ronald Rousseau.Aggregation Properties of Relative Impact and Other Classical Indicators：Convexity Issues and the Yule-Simpson Paradox[J].Scientometrics，2009，79（2）：311-327.

[4]Ronald Rousseau.Basic Properties of Both Percentile Rank Scores and the I3 Indicator[J].Journal of the Association for Information Science & Technology，2012，63（2）：416-420.

[5]Michael Schreiber.Empirical Evidence for the Relevance of Fractional Scoring in the Calculation of Percentile Rank Scores[J].Journal of the American Society for Information Science & Technology，2013，64（4）：861-867.

[6]Ludo W.Towards a New Crown Indicator：Some Theoretical Considerations[J].Journal of Informetrics，2011，5（1）：37-47.

[7]Juan A C.The Effect on Citation Inequality of Differences in Citation Practices at the Web of Science Subject Category Level[J].Journal of the American Society for Information Science &Technology;，2014，65（6）：1244-1256.

[8]Loet L.Remaining Problems with the“New Crown Indicator”（MNCS）of the CWTS[J].Journal of Informetrics，2011，5（1）：224-225.

[9]Ludo W.Field-normalized Citation Impact Indicators and the Choice of an Appropriate Counting Method[J].Journal of Informetrics，2015，9（4）：872-894.

[10]Ludo W.A Review of the Literature on Citation Impact Indicators[J].Journal of Informetrics，2016，10（2）：365-391.

[11]Vinkler P.Application of the Distribution of Citations Among Publications in Scientometric Evaluations[J].Journal of the American Society for Information Science & Technology，2011，62（10）：1963-1978.

[12]Lutz B.The Problem of Percentile Rank Scores Used with Small Reference Sets[J].Journal of the Association for Information Science & Technology，2013，64（3）：650-655.

[13]舒予，張黎俐.時序動態(tài)視角下的學術影響力評價方法及實證研究[J].現(xiàn)代情報，2017，37（11）：74-80.

（責任編輯：陳 媛）