基于動態(tài)權(quán)重的百分位數(shù)指標(biāo)在期刊評價(jià)實(shí)踐中的應(yīng)用研究

■舒 予 胡 靜 魏麗敏 張雅晴 張黎俐

四川大學(xué)圖書館，四川省成都市一環(huán)路南一段24號 610065

期刊學(xué)術(shù)影響力的評價(jià)問題在國內(nèi)外科研績效評價(jià)工作中占據(jù)了重要的地位，Garfield[1]提出的影響因子是評價(jià)期刊的一個重要的指標(biāo)。但是在科研評獎、職稱評定、學(xué)科資源優(yōu)化配置等工作中，均涉及對不同學(xué)科的學(xué)術(shù)成果進(jìn)行橫向比較的問題，由于不同學(xué)科的發(fā)文數(shù)量和引用規(guī)律存在明顯的區(qū)別，因此單純依靠影響因子并不能將屬于不同學(xué)科的期刊學(xué)術(shù)績效納入到同一個尺度進(jìn)行橫向比較。例如《期刊引證報(bào)告》(JournalCitationReport，JCR)數(shù)據(jù)庫中土木工程學(xué)科排名第1的期刊的影響因子為5.475，但具有相同影響因子的期刊在細(xì)胞生物學(xué)學(xué)科中只能排在第45位。因此，跨學(xué)科的期刊評價(jià)成為期刊評價(jià)研究領(lǐng)域的一個重要課題。跨學(xué)科期刊評價(jià)的目標(biāo)是構(gòu)建學(xué)科標(biāo)準(zhǔn)化的期刊評價(jià)指標(biāo)來消除期刊間的學(xué)科差異，目前基于學(xué)科標(biāo)準(zhǔn)化指標(biāo)的方法已經(jīng)有大量研究成果，并且已被廣泛應(yīng)用于期刊的評價(jià)之中，例如以Scopus數(shù)據(jù)庫的來源標(biāo)準(zhǔn)化篇均影響力(Source Normalized Impact per Paper，SNIP)指標(biāo)為代表的基準(zhǔn)值方法[2-7]，這類方法以數(shù)值評價(jià)期刊，引入期刊所在學(xué)科所有論文的引文期望值作為相對基準(zhǔn)值，用期刊的實(shí)際引文數(shù)值除以該基準(zhǔn)值，從而校正由于學(xué)科不同帶來的引文差異，這種處理方式十分類似于Opthof等[8]提出的MNCS指標(biāo)以及InCites的CNCI指標(biāo)。但是由于論文集合的被引頻次往往呈現(xiàn)偏態(tài)分布，因此部分學(xué)者認(rèn)為不能使用期望值進(jìn)行跨學(xué)科比較[9]，于是在跨學(xué)科期刊評價(jià)中也常以排序作為比較期刊影響力的依據(jù)，例如JCR數(shù)據(jù)庫提供的期刊分區(qū)和影響因子百分位等指標(biāo)均取決于期刊的影響因子在學(xué)科內(nèi)的排序。此外，許多學(xué)者借鑒Bornmann等[10]提出的百分位數(shù)(Percentiles Rank Scores，PRS)來評測期刊的學(xué)術(shù)影響力；Leydesdorff[11]設(shè)計(jì)了I3指標(biāo)，將各百分位論文的數(shù)量和百分位等級結(jié)合起來，兼顧了論文的質(zhì)量和數(shù)量;Vinkler[12]采用被引頻次百分位數(shù)位置(Percentage Rank Position,PRP)指數(shù)來比較期刊的影響力；汪莉[13]設(shè)計(jì)基于文獻(xiàn)密度分布的載文數(shù)量權(quán)重，利用PRS建立基于被引頻次分布的PRC指標(biāo)；劉雪立等[14]選取8個百分位等級，按照論文被引頻次所處的PRS等級進(jìn)行賦值，建立期刊PR8指數(shù)。舒予等[15]提出了一種基于動態(tài)權(quán)重的PRS指標(biāo)，該指標(biāo)同時(shí)利用論文被引頻次和論文被引頻次分布兩個因素，從“量”和“序”兩個角度對論文的學(xué)術(shù)影響力進(jìn)行綜合評價(jià)，從而提高評價(jià)結(jié)果的準(zhǔn)確性和區(qū)分度。本研究將PRS指標(biāo)用于跨學(xué)科期刊學(xué)術(shù)影響力的評價(jià)，希望能夠?yàn)槠诳u價(jià)提供一種新的思路。

1 基于動態(tài)權(quán)重的PRS計(jì)算方法

引入相對基準(zhǔn)值來消除學(xué)科引用差異：

(1)

式中C為研究實(shí)體(即一組特定的論文集合，可以是機(jī)構(gòu)、學(xué)科、學(xué)者或者期刊的論文集合)的實(shí)際篇均被引頻次，在此基礎(chǔ)上引入一個參考論文集合，e為該參考論文集合的篇均被引頻次，通過將e作為參考基準(zhǔn)值平衡不同學(xué)科的引文差異。

相對基準(zhǔn)值的方法受到了Bornmann等[10]的質(zhì)疑，他們認(rèn)為由于參考集合中論文的被引頻次呈非正態(tài)分布，因此應(yīng)當(dāng)使用被引頻次分布對論文的學(xué)術(shù)影響力進(jìn)行度量。他們提出將論文按照被引頻次分為若干百分位區(qū)間，再對各百分位區(qū)間的論文比例進(jìn)行線性加權(quán)，其PRS可表示為

(2)

式中p(xi)為進(jìn)入第i個百分位區(qū)間的論文比例，xi為各百分位區(qū)間對應(yīng)的系數(shù)，K為設(shè)定的百分位區(qū)間的個數(shù)。PRS本質(zhì)上是一種線性加權(quán)的概率密度算子，基于高被引論文的價(jià)值高于低被引論文這一認(rèn)識，PRS對高百分位區(qū)間賦予了相對更高的權(quán)重。

顯然，上述2種方法的目的均是設(shè)計(jì)一種標(biāo)準(zhǔn)化指標(biāo)計(jì)算框架來消除學(xué)科不同帶來的引文差異性，但是解決的思路有所不同。相對基準(zhǔn)值的方法是引入修正系數(shù)來消除學(xué)科差異性，該修正系數(shù)取決于選取的參考論文集合，但是由于參考論文集合中論文被引頻次呈偏態(tài)分布，因此該方法不能完全體現(xiàn)論文集合學(xué)術(shù)影響力的真實(shí)情況。例如在2010年發(fā)表的分別來自化學(xué)學(xué)科和數(shù)學(xué)學(xué)科的2篇論文，按照相對基準(zhǔn)值計(jì)算方法修正后的篇均被引頻次均為2.1，但是前者的PRS約為85%(即排在化學(xué)學(xué)科85%的論文之前)，后者的PRS約為89%，二者的PRS存在一定的差異。而PRS是以排序評價(jià)對象，是論文集合被引頻次排序的體現(xiàn)，不受被引頻次具體數(shù)值的影響，但是PRS認(rèn)為同處于一個百分位區(qū)間的論文價(jià)值相同，忽略了實(shí)際上同一個百分位區(qū)間的論文在學(xué)術(shù)影響力上依然存在差異。例如2010年發(fā)表的2篇臨床醫(yī)學(xué)論文，一篇被引頻次為1396，另一篇為546，這2篇論文同屬于臨床醫(yī)學(xué)前1%的百分位區(qū)間，但是顯然兩者的學(xué)術(shù)影響力不相同。在提出基于動態(tài)權(quán)重的PRS時(shí)，一個基本的想法是在PRS的計(jì)算框架基礎(chǔ)上，對各百分位區(qū)間對應(yīng)的權(quán)重系數(shù)進(jìn)行動態(tài)調(diào)整，使得權(quán)重系數(shù)不僅反映各百分位區(qū)間的價(jià)值，還與在此百分位區(qū)間內(nèi)的論文與參考論文集合的平均水平有關(guān)。定義動態(tài)權(quán)重的百分位數(shù)(Dynamic Weight Percentile Rank Score，DPRS)為

(3)

(4)

式中ci為待評價(jià)的論文集合在第i個百分位區(qū)間中的篇均被引頻次，ei為參考論文集合在第i個百分位區(qū)間的篇均被引頻次。

與PRS相比，DPRS的權(quán)重系數(shù)根據(jù)各百分位區(qū)間中的論文實(shí)際表現(xiàn)進(jìn)行了動態(tài)調(diào)整，作出這一調(diào)整的依據(jù)是：當(dāng)待評價(jià)論文集合在某一百分位區(qū)間的表現(xiàn)高于該百分位區(qū)間的期望值(即參考論文集合在該百分位區(qū)間中的篇均被引頻次)時(shí)，原有的權(quán)重應(yīng)該適當(dāng)提高，用以“獎勵”該區(qū)間表現(xiàn)出色的論文，反之權(quán)重系數(shù)應(yīng)當(dāng)下降，以此“懲罰”該區(qū)間表現(xiàn)不佳的論文。例如，某一百分位區(qū)間對應(yīng)的權(quán)重系數(shù)為3，而當(dāng)待評價(jià)論文集合在該百分位區(qū)間的論文平均被引頻次與期望值之比為1.5時(shí)，顯然待評價(jià)論文集合在該百分位區(qū)間的表現(xiàn)優(yōu)于期望值，于是可以認(rèn)為論文集合在這一百分位區(qū)間的良好表現(xiàn)使得這一部分的論文對論文集合的整體學(xué)術(shù)影響力的貢獻(xiàn)應(yīng)當(dāng)高于預(yù)先設(shè)置的權(quán)重系數(shù)3，于是將權(quán)重系數(shù)調(diào)整為31.5，即5.20。

2 數(shù)據(jù)獲取與處理方法

2.1 評價(jià)對象的選擇

在JCR數(shù)據(jù)庫公布的2017年版期刊目錄中，按照Web of Science的學(xué)科分類方法，分別選取來自Astronomy & Astrophysics、Cell Biology、Energy & Fuels、Nanoscience & Nanotechnology和Telecommunications共5個學(xué)科的期刊。從學(xué)科被引用的情況分析，2012—2016年這5個學(xué)科全球范圍內(nèi)論文的篇均被引頻次最大值為19.3，最小值為8.28，說明5個學(xué)科在引用習(xí)慣上存在明顯差別。因此有必要對這5個學(xué)科進(jìn)行跨學(xué)科期刊評價(jià)的實(shí)證研究。在這5個學(xué)科的期刊中排除缺少5年影響因子和SNIP指標(biāo)的期刊，選取共計(jì)397種期刊作為評價(jià)對象。

2.2 數(shù)據(jù)獲取

在JCR數(shù)據(jù)庫中獲取397種期刊在2017年的5年影響因子、期刊平均百分位；在Scopus數(shù)據(jù)庫中獲取397種期刊的SNIP；在InCites數(shù)據(jù)庫的期刊模塊限定年份2012—2016年，獲取397種期刊在這5年內(nèi)的論文數(shù)量、論文被引頻次、被引率和篇均被引頻次。

在InCites數(shù)據(jù)庫的研究方向模塊，分別選擇Astronomy & Astrophysics、Cell Biology、Energy & Fuels、Nanoscience & Nanotechnology和Telecommunications 5個學(xué)科，限定年份為2012—2016年，限定文獻(xiàn)類型為Article和Review，下載這5個學(xué)科的全部論文列表，列表中包含論文的標(biāo)題、來源出版物、被引頻次等信息，這樣便得到了PRS和DPRS計(jì)算時(shí)所需的參考論文集合以及集合中每一篇論文的被引頻次，再通過Python編程將各學(xué)科的論文分配到各期刊下，獲得每種期刊下的所有論文列表，得到各評價(jià)對象(即各期刊)的論文集合以及集合中每一篇論文的被引頻次。

2.3 PRS和DPRS的計(jì)算

以Cell Biology下的CellReports為例，對PRS和DPRS進(jìn)行計(jì)算。2012—2016年Cell Biology學(xué)科共計(jì)發(fā)表154914篇論文，設(shè)定top1%、95%～99%、90%～<95%、75%～<90%、50%～<75%和50%以下共6個百分位區(qū)間，該學(xué)科的論文進(jìn)入到各百分位區(qū)間需要滿足的被引頻次條件見表1。

表1 2012—2016年Cell Biology學(xué)科論文進(jìn)入各百分位區(qū)間時(shí)被引頻次需要滿足的條件

接下來分別計(jì)算CellReports的PRS和DPRS。

(1)CellReports在2012—2016年共計(jì)發(fā)表3252篇論文，根據(jù)表1提供的百分位區(qū)間閾值，可以得到CellReports進(jìn)入到top1%、95%～99%、90%～<95%、75%～<90%、50%～<75%和50%以下6個百分位區(qū)間的論文數(shù)量分別為21、180、305、787、1000和959篇，于是各百分位區(qū)間的論文比例分別為0.65%、5.54%、9.38%、24.20%、30.75%和29.49%。

PRS是對各百分位區(qū)間的論文比例進(jìn)行線性加權(quán)，因此CellReports的PRS為fPRSCR=6×0.0065+5×0.0554+4×0.0938+3×0.2420+2×0.3075+1×0.2949=2.32。

(2) 由第1節(jié)關(guān)于DPRS的介紹可知，DPRS指標(biāo)的計(jì)算需要評價(jià)對象論文集合和參考論文集合在各百分位區(qū)間的篇均被引頻次的比值。期刊CellReports和Cell Biology學(xué)科所有論文在各百分位區(qū)間的篇均被引頻次見表2。

表2 Cell Reports和Cell Biology學(xué)科所有論文在各百分位區(qū)間的篇均被引頻次

根據(jù)(4)式可以計(jì)算CellReports的論文在各百分位區(qū)間調(diào)整后的權(quán)重系數(shù)，分別為

因此CellReports的DPRS為

fDPRSCR=3.78×0.0065+4.77×0.0544+3.95×

0.0938+3×0.2420+2.02×0.3075+1×0.2949=2.30。

按照上述方法可以得到397種期刊的PRS和DPRS指標(biāo)值。

3 結(jié)果分析

3.1 各指標(biāo)相關(guān)性分析

首先利用SPSS軟件對比PRS、DPRS、5年影響因子、平均百分位等指標(biāo)之間的相關(guān)性，統(tǒng)計(jì)結(jié)果見表3，由于篇幅限制，沒有給出所有的統(tǒng)計(jì)結(jié)果，僅展示各指標(biāo)之間的相關(guān)性系數(shù)。

表3 期刊在各指標(biāo)上的相關(guān)性分析

注：**表示在0.01水平(雙側(cè))上顯著相關(guān)，*表示在0.05水平(雙側(cè))上顯著相關(guān)。

(1) 由表3可知，PRS和DPRS 2個指標(biāo)與篇均被引頻次相關(guān)性較強(qiáng)，相關(guān)性系數(shù)分別為0.892和0.928，但是與論文數(shù)量、被引頻次、被引率這3個指標(biāo)相關(guān)性較弱，表明PRS和DPRS主要側(cè)重從期刊的學(xué)術(shù)質(zhì)量這一單一維度評價(jià)期刊，并不能反映期刊在研究規(guī)模、學(xué)術(shù)傳播度，以及研究成果的利用率等方面的情況，與h指數(shù)、g指數(shù)、p指數(shù)等可以從多個角度同時(shí)描述期刊學(xué)術(shù)水平的綜合性指標(biāo)有所不同。此外，除了5年影響因子指標(biāo)之外，與篇均被引頻次這一指標(biāo)相關(guān)性最高的指標(biāo)為PRS和DPRS，表明PRS和DPRS相比其他指標(biāo)能夠更好地描述期刊在“質(zhì)量”這一維度的特征。

(2) PRS和DPRS 2個指標(biāo)均與5年影響因子高度相關(guān)，相關(guān)性系數(shù)分別為0.889和0.925，表明PRS和DPRS與5年影響因子具有高度一致的內(nèi)涵，在期刊評價(jià)的實(shí)踐中可以與5年影響因子這一指標(biāo)結(jié)合使用，互為補(bǔ)充。

(3) 在上述指標(biāo)中，SNIP和平均百分位是2個相對指標(biāo)，SNIP是通過基準(zhǔn)值設(shè)計(jì)的標(biāo)準(zhǔn)化指標(biāo)，平均百分位是依據(jù)期刊影響因子在本學(xué)科期刊中的排序設(shè)計(jì)的標(biāo)準(zhǔn)化指標(biāo)。由表3可知，PRS、DPRS 2個指標(biāo)與SNIP、平均百分位2個指標(biāo)也高度相關(guān)，PRS與SNIP、平均百分位指標(biāo)的相關(guān)性系數(shù)分別為0.823和0.795，DPRS與SNIP、平均百分位指標(biāo)的相關(guān)性系數(shù)分別為0.858和0.751。這一結(jié)果表明PRS和DPRS 2個指標(biāo)確實(shí)具有和SNIP、平均百分位相類似的性質(zhì)，即它們是相對性指標(biāo)，消除了不同學(xué)科之間由于引用習(xí)慣不同帶來的引文差異性，可以用于跨學(xué)科期刊的評價(jià)。

3.2 DPRS指標(biāo)性質(zhì)的進(jìn)一步分析

為進(jìn)一步分析DPRS的性質(zhì)，表4給出了Cell Biology學(xué)科中部分期刊的PRS、DPRS、5年影響因子和篇均被引頻次指標(biāo)值，并且按照DPRS指標(biāo)的大小從高到低進(jìn)行排序。

表4 Cell Biology學(xué)科中13種期刊的4個指標(biāo)值

3.2.1 DPRS能夠更好地描述期刊整體層面的學(xué)術(shù)影響力

由表4可知，PlantCell和Genes&Development2種期刊在DPRS和PRS 2個指標(biāo)上的排序關(guān)系均為前者高于后者，但是篇均被引頻次的排序關(guān)系卻相反。從2種期刊的論文在各百分位區(qū)間的比例分布可知(表5)，Genes&Development論文在top1%和50%以下2個百分位區(qū)間的論文比例高于PlantCell，而其余4個百分位區(qū)間的比例都低于PlantCell，即高、低被引頻次2個區(qū)域的論文比例高而中等被引頻次的論文比例低的“兩頭大、中間小”，顯然Genes&Development由于高被引論文比例較高，因此使得其篇均被引頻次高于高被引論文比例較低的PlantCell，這同時(shí)也說明期刊的篇均被引頻次容易受到高被引論文集合的影響，而PRS和DPRS卻能夠綜合期刊論文在各個百分位區(qū)間的分布情況，從整體層面反映期刊的學(xué)術(shù)影響力。

表5 Plant Cell和Genes & Development的論文在各百分位區(qū)間的比例分布

3.2.2 DPRS可以揭示成果成熟、處于穩(wěn)定發(fā)展?fàn)顟B(tài)的期刊

由表4可知，MolecularCell和ScienceTranslationalMedicine的PRS、DPRS和篇均被引頻次3個指標(biāo)的排序關(guān)系均為前者高于后者，但是2種期刊5年影響因子指標(biāo)值的排序關(guān)系相反。從2種期刊2012—2016年的篇均引文數(shù)量(圖1)不難發(fā)現(xiàn)，ScienceTranslationalMedicine從2015年開始，篇均引文數(shù)量的增長率明顯加快，并且2016年的篇均引文數(shù)量高于MolecularCell。由5年影響因子的計(jì)算方式可知，ScienceTranslationalMedicine的5年影響因子高于MolecularCell，而從2012—2017年的累積引文數(shù)量分析，MolecularCell則高于ScienceTranslationalMedicine。這說明，PRS、DPRS更側(cè)重從期刊論文在一個時(shí)間段累積的關(guān)注度方面描述期刊，可以用于評價(jià)刊載研究成果較為成熟、處于穩(wěn)定發(fā)展?fàn)顟B(tài)的期刊，而5年影響因子(包括影響因子)更側(cè)重從期刊在近期的受關(guān)注度方面描述期刊，可用于評價(jià)刊載新興研究成果、處于快速成長狀態(tài)的期刊。

圖1 Molecular Cell和Science Translational Medicine在2012—2016年的篇均引文數(shù)量

需要說明的是，造成PRS、DPRS、篇均被引頻次這3個指標(biāo)與5年影響因子(或影響因子)差異較大的根本原因并非指標(biāo)在計(jì)算機(jī)制上的不同，而在于數(shù)據(jù)集選取的差異，計(jì)算PRS、DPRS、篇均被引頻次3個指標(biāo)所需要的是2012年至今的累積引文數(shù)量，而計(jì)算5年影響因子(或影響因子)所需要的是論文在2017年的引文數(shù)量，如果在計(jì)算PRS、DPRS、篇均被引頻次時(shí)選取的引文集也限制在2017年，那么得到的結(jié)果與5年影響因子(或影響因子)至少在內(nèi)涵上可以保持一致。

3.2.3 DPRS能夠有效綜合期刊在各百分位區(qū)間的“量”與“質(zhì)”的信息

表6 Journal of Cell Biology和Trends in Molecular Medicine在各百分位區(qū)間的表現(xiàn)

再以Genes&Development和CellResearch2種期刊為例進(jìn)一步對比DPRS和PRS。2種期刊在各百分位區(qū)間的表現(xiàn)見表7。雖然CellResearch的PRS高于Genes&Development，但是Genes&Development在top1%、95%～99%、75%～<90%、50%～<75%這4個百分位區(qū)間上的篇均被引頻次表現(xiàn)都高于CellResearch，根據(jù)DPRS指標(biāo)的計(jì)算方式，Genes&Development的論文在這4個百分位區(qū)間對應(yīng)的權(quán)重系數(shù)都高于CellResearch。于是在論文比例較低的top1%、75%～<90%、50%～<75%這3個區(qū)間，Genes&Development可以憑借較高的權(quán)重系數(shù)“彌補(bǔ)”在相應(yīng)區(qū)間論文比例偏低的劣勢，而在論文比例較高的95%～99%這一區(qū)間，Genes&Development更是可以憑借較高的權(quán)重系數(shù)“擴(kuò)大”論文比例的優(yōu)勢，從而使得DPRS高于CellResearch。從上述分析還可以發(fā)現(xiàn)，與PRS相比，DPRS能夠?qū)⑵诳撐募显诟靼俜治粎^(qū)間上的“相對數(shù)量”和“相對質(zhì)量”結(jié)合起來，從而更加充分地展現(xiàn)期刊學(xué)術(shù)影響力的細(xì)節(jié)，具有更高的精準(zhǔn)度和區(qū)分度。

表7 Genes & Development和Cell Research在各百分位區(qū)間的表現(xiàn)

4 結(jié)論

DPRS是在PRS計(jì)算框架上進(jìn)行的擴(kuò)展，根據(jù)期刊論文集合在各百分位區(qū)間上的實(shí)際表現(xiàn)與預(yù)期表現(xiàn)的比較結(jié)果，對權(quán)重系數(shù)進(jìn)行動態(tài)調(diào)整，將“相對數(shù)量”和“相對質(zhì)量”兩方面的信息有效綜合起來。將DPRS用于期刊學(xué)術(shù)影響力的評價(jià)，實(shí)證研究結(jié)果表明DPRS能夠?qū)崿F(xiàn)跨學(xué)科期刊的評價(jià)，與現(xiàn)有的標(biāo)準(zhǔn)化指標(biāo)相比，可以更精準(zhǔn)地揭示期刊學(xué)術(shù)影響力的細(xì)節(jié)。

同時(shí)也需要注意，DPRS的計(jì)算需要期刊論文所屬學(xué)科在各百分位區(qū)間的篇均被引頻次，這就要求獲取到該學(xué)科中每一篇論文的被引頻次，因此數(shù)據(jù)獲取存在一定的難度，同時(shí)指標(biāo)計(jì)算也較為復(fù)雜。在后續(xù)的工作中，須在保證指標(biāo)區(qū)分度和精準(zhǔn)度的前提下尋求簡化計(jì)算量的方法。