數(shù)字出版時代的科學(xué)論文綜合評價研究*

■王賢文 劉 趁 毛文莉

大連理工大學(xué)公共管理與法學(xué)學(xué)院WISE實(shí)驗(yàn)室大連 116085，E-mail：xianwenwang@dlut.edu.cn

1 引言

隨著數(shù)字圖書館的出現(xiàn)和網(wǎng)絡(luò)化水平的不斷提高，科學(xué)文獻(xiàn)評價逐漸從整本期刊轉(zhuǎn)變?yōu)楦雨P(guān)注單篇論文的評價。自從科學(xué)計(jì)量學(xué)誕生以來，研究者們就意識到了利用被引次數(shù)進(jìn)行評價的科學(xué)性、可靠性和可操作性。長久以來，引用評價就一直是科學(xué)計(jì)量學(xué)評價的一個傳統(tǒng)指標(biāo)。然而，將被引次數(shù)作為評價的單一指標(biāo)并不全面，科學(xué)成果影響力體現(xiàn)在許多方面。對于有些學(xué)科，尤其是社會科學(xué)的論文來說，成果所產(chǎn)生的社會影響力不容忽視，甚至比被引次數(shù)還重要。對于新發(fā)表論文來說，由于需要2-3年才能達(dá)到引用峰值。因此，無法基于被引次數(shù)對新發(fā)表論文開展評價，這也部分導(dǎo)致人們轉(zhuǎn)而尋求基于文章所發(fā)表的期刊影響因子來對論文進(jìn)行評價。但是，論文在其發(fā)表后的很短時間內(nèi)，其在網(wǎng)絡(luò)環(huán)境下所產(chǎn)生的社會影響力可以很快體現(xiàn)出來。例如，論文發(fā)表后2-3周內(nèi)的被下載次數(shù)存在很大區(qū)別，并且，這種短期的下載次數(shù)與長期的被引次數(shù)存在顯著的正相關(guān)關(guān)系。因此，多樣化的評價指標(biāo)探索就顯得十分必要，尤其是需要對新發(fā)表論文進(jìn)行評價的時候，例如人事晉升中的考核評價、科學(xué)基金項(xiàng)目評審等都涉及到對作者近年新發(fā)表論文的評價。如何建立一種將論文的短期影響力（社會影響）和長期影響力（被引次數(shù)）的調(diào)和機(jī)制，這是本文試圖解決的問題。

對于期刊的定性評價方面，采用五星分級評價，但受到諸如人力、時間等很多因素的限制[1]。對期刊的定量評價方面，影響因子方法已經(jīng)成為主流[2]，通過計(jì)算所在期刊的影響因子來評價單篇論文，但是同一刊物上論文的質(zhì)量并不相同，所以使用影響因子的方法不宜作為具體論文內(nèi)在價值的判斷標(biāo)準(zhǔn)[3，4]。在論文的評價方面，主要集中在對引用次數(shù)的研究[5]，一些學(xué)者在提高引用質(zhì)量上做了很多研究，例如Kosmulski Marek將一篇論文的被引用次數(shù)超過該文章參考文獻(xiàn)的數(shù)量的論文稱為“成功論文”[6]，也就是影響較大的論文；研究者們進(jìn)一步將期刊的影響因子和發(fā)表的時間按照一定的權(quán)重加入到引用中[7-10]，后又有人提出論文的發(fā)表時間距第一次引用的時間長短作為評價的指標(biāo)[11，12]。

網(wǎng)絡(luò)環(huán)境下，評價論文的指標(biāo)得到了一定擴(kuò)展，絕大部分的科研工作者都會使用網(wǎng)絡(luò)作為他們?yōu)g覽論文、討論和交流的工具，北卡大學(xué)教堂山分校在讀博士生Priem等人提出了使用Altmetrics來即時對論文進(jìn)行評價[13]，隨即引發(fā)科學(xué)計(jì)量學(xué)領(lǐng)域近年來的最大研究熱點(diǎn)。國內(nèi)也有一些文獻(xiàn)對Altmetrics進(jìn)行了介紹[12，14，15]。 但 Altmetrics主要體現(xiàn)論文的社會影響力，一篇在社交媒體上廣泛傳播的論文，有可能僅僅是因?yàn)樗男路f性、趣味性和話題性，與其學(xué)術(shù)價值并無直接關(guān)系。那么，在被引次數(shù)、Altmetrics得分以及能夠反映論文影響力的其他指標(biāo)中究竟選取哪些指標(biāo)來評價一篇論文才是最全面，最準(zhǔn)確的呢？這些指標(biāo)之間的權(quán)重該怎么設(shè)置？這也是本研究試圖解決的一個問題。

PLOSONE主編Peter Binfield在2009年12月召開的一次科學(xué)計(jì)量學(xué)會議上，就網(wǎng)絡(luò)環(huán)境下論文質(zhì)量評價可以考慮的因素做了分析，并提出了相關(guān)的指標(biāo)，包括使用數(shù)據(jù)、瀏覽量、從 Scopus和CrossRef獲得的引用量、社會網(wǎng)絡(luò)鏈接、相關(guān)新聞報道、評論和讀者評級等[16]，這些因素綜合了論文的引用、社交媒體以及瀏覽和下載等各方面，能為更全面的對一篇論文做出評價。但僅只是提出了一個概念，也未曾去將這些指標(biāo)以及它們之間的關(guān)系具體化。2012年，何星星、武夷山使用PLOS Biology的數(shù)據(jù)對基于文獻(xiàn)利用數(shù)據(jù)來評價論文的方法做了實(shí)證研究[17]，但并沒有考慮到現(xiàn)在逐漸發(fā)展的社交媒體指標(biāo)。目前越來越多的出版商提供論文的瀏覽、下載和討論的數(shù)據(jù)等用戶數(shù)據(jù)，一些學(xué)者也使用了該數(shù)據(jù)進(jìn)行研究[18]。因此，基于上述調(diào)查，本文試圖通過運(yùn)用多指標(biāo)對科研論文進(jìn)行評價。

2 數(shù)據(jù)和方法

2.1 數(shù)據(jù)來源

公共科學(xué)圖書館（Public Library of Science，PLOS）是一個由科學(xué)家和醫(yī)生組成的非營利機(jī)構(gòu)，致力于全球科學(xué)和醫(yī)學(xué)文獻(xiàn)的開放獲取服務(wù)。PLOS對其出版的每一篇論文均提供了比較全面的計(jì)量數(shù)據(jù)，如圖1所示。包括論文的使用數(shù)據(jù)和瀏覽數(shù)據(jù)（包括 HTML page views， PDF downloads，XML downloads三種格式），在多種數(shù)據(jù)庫中論文的引用數(shù)據(jù)（包括Scopus和CrossRef等），在社交媒體中的收藏（Mendely）和討論（Twitter和Facebook等）的次數(shù)。為了消除時間對于引用的影響，所以本論文選取的是2010年發(fā)表在PLOS出版的系列期刊，類型是Research article的所有論文，共9247篇。

圖1 PLOS中提供的M etrics數(shù)據(jù)

在PLOS提供的四種數(shù)據(jù)中選取9種指標(biāo)：在Viewed類中，XML格式的論文是以代碼展現(xiàn)的，下載XML格式的用戶多是以該論文作為研究對象的文獻(xiàn)計(jì)量學(xué)或科學(xué)計(jì)量學(xué)的研究者們，所以本文刪除XML Downloads這項(xiàng)指標(biāo)。在Cited和Discussed類中，大多數(shù)文章在一些數(shù)據(jù)庫中被引的次數(shù)和討論的次數(shù)都為0，為保證結(jié)果具有現(xiàn)實(shí)意義，所以只保留了影響力較大的CrossRef和Scopus被引次數(shù)。社交媒體方面使用了Twitter和Facebook以及綜合多種社交媒體計(jì)算得出的Altmetrics score，同時保留了Saved中的Mendeley和CiteULike讀者數(shù)。最后一共選擇了4個方面的9種指標(biāo)，如表1所示。

表1 論文評價指標(biāo)

2.2 方法介紹

在論文用戶數(shù)據(jù)中，每一種指標(biāo)對于論文的影響是不同的，例如，引用要比社交媒體更能說明問題，因此每個指標(biāo)的系數(shù)都是不同的，為了將多指標(biāo)問題轉(zhuǎn)化為較少的綜合指標(biāo)，而且能給出較為客觀的權(quán)重，所以本文使用了主成分分析的方法對指標(biāo)進(jìn)行降維處理。主成分分析法是通過考察變量間的相關(guān)性，找到少數(shù)幾個主成分來代表原來的多個變量，同時使它們盡可能保留原始變量的信息。本文首先下載了PLOS系列期刊2010年的9247篇文獻(xiàn)的Metrics數(shù)據(jù)，使用編程語言和文本處理工具將上述9種指標(biāo)逐一提出，導(dǎo)入SQL Server數(shù)據(jù)庫，對所有的數(shù)據(jù)進(jìn)行清洗和預(yù)處理，再對其進(jìn)行主成分分析，得到能夠替代9個指標(biāo)的主成分。

3 分析和結(jié)果

3.1 相關(guān)性分析

對原始數(shù)據(jù)進(jìn)行無量綱化處理，得到標(biāo)準(zhǔn)化的數(shù)據(jù)后，利用SPSS 19.0軟件的因子分析功能進(jìn)行分析，表2為9個指標(biāo)之間的相關(guān)性，從中我們可以看出，瀏覽、引用、收藏和討論這四個方面，每一個指標(biāo)都與類別內(nèi)部的指標(biāo)具有極強(qiáng)的相關(guān)性，遠(yuǎn)遠(yuǎn)超過了與其他類別指標(biāo)的相關(guān)性。Scopus和CrossRef的相關(guān)性達(dá)到了 95.1%，Altmetrics和Twitter的相關(guān)性達(dá)到了78.1%，說明類別內(nèi)部的信息重復(fù)率很高。如表2所示，類別之間的指標(biāo)也有一定的相關(guān)性，PDF下載和Mendeley讀者數(shù)量的相關(guān)性達(dá)到了71.5%，雖然較類別內(nèi)部的相關(guān)性較低，但依然說明存在信息覆蓋現(xiàn)象，所以需要進(jìn)行指標(biāo)之間的替代。

表2 9個指標(biāo)之間的相關(guān)系數(shù)矩陣

計(jì)算標(biāo)準(zhǔn)化數(shù)據(jù)的特征根和特征向量、方差貢獻(xiàn)率、主成分負(fù)載，選擇比較少的成分能夠代表絕大部分信息，得到表3。表3是獲得主成分的累積貢獻(xiàn)率，其中第一個主成分的貢獻(xiàn)率為37.358%，第二個主成分的貢獻(xiàn)率為32.283%，累積貢獻(xiàn)率大約達(dá)到了70%，說明其綜合各指標(biāo)的信息程度約達(dá)到70%，能夠表征原來9個指標(biāo)反映的大部分信息量。于是取前兩個主成分作為綜合變量，計(jì)算出主成分載荷矩陣，進(jìn)一步分別求出特征向量后，將得到的特征向量與標(biāo)準(zhǔn)化后的數(shù)據(jù)相乘，然后就可以得出主成分表達(dá)式。以每個主成分所對應(yīng)的特征值占所提取主成分總的特征值之和比例作為權(quán)重計(jì)算主成分的綜合模型。

3.2 指標(biāo)貢獻(xiàn)程度縱向分析

表4為使用Kaiser標(biāo)準(zhǔn)化的正交旋轉(zhuǎn)法旋轉(zhuǎn)后的成分矩陣，從中我們可以看出在第一個主成分中，PDF下載、CrossRef、Scopus和 Mendeley的貢獻(xiàn)率比較大，分別為81.7%、90.2%、90.0%、79.8%。而在第二類主成分中占主要的指標(biāo)是Twitter、Facebook和Altmetrics，分別為 85.2%、81.9%、89.2%。

表3 主成分分析中主成分的方差貢獻(xiàn)率

表4 旋轉(zhuǎn)后的成分矩陣

第一類主成分貢獻(xiàn)率最高的CrossRef和Scopus，是在數(shù)據(jù)庫中的引用信息，其中Mendeley是開源的文獻(xiàn)管理社區(qū)和軟件，CiteULike是個人學(xué)術(shù)資料庫，這二者的使用對象一般為科研人員，可以視為從學(xué)術(shù)的角度對論文進(jìn)行的一種評價。PDF下載是下載的PDF格式的論文數(shù)量，用戶將論文存儲在電腦上，除一小部分留做以后閱讀外，很大程度上是因?yàn)檫@篇論文有參考價值，對以后的研究有幫助，所以綜合對第一主成分中指標(biāo)的分析，本文將第一個主成分命名為學(xué)術(shù)影響。在第二個主成分中，Altmetrics的貢獻(xiàn)率最大。Altmetrics是近幾年剛剛提出的能夠及時對論文做出評價指標(biāo)，這種指標(biāo)把各種社交媒體按照一定的權(quán)重計(jì)算得分，Twitter和Facebook也是大眾化的社交媒體工具，對象不僅是科研人員，他們對論文的討論可能和論文本身的學(xué)科和研究內(nèi)容的趣味性相關(guān)，所以反應(yīng)的是論文在非學(xué)術(shù)方面的影響，本文稱之為社會影響。兩個主成分的確定恰好也符合科學(xué)計(jì)量學(xué)界對于論文影響的看法，綜合了論文的引用情況評價和用戶數(shù)據(jù)的評價。

3.3 指標(biāo)貢獻(xiàn)程度橫向分析

每一個因素在每個主成分中所貢獻(xiàn)的力量都是不同的，從圖4中我們可以看到，瀏覽在學(xué)術(shù)影響和社會影響中占有的比例相差不多，在社會影響中起的作用稍大于學(xué)術(shù)影響。人們檢索到論文時，一般會先對文章進(jìn)行網(wǎng)頁形式瀏覽，對于文章的瀏覽只能代表在一定程度上對文章的研究內(nèi)容感興趣，如果認(rèn)為該篇文章對自己的研究有幫助，或是有很大的借鑒意義，就會下載PDF儲存在電腦中。這就說明了文章瀏覽既體現(xiàn)了學(xué)術(shù)影響力，又體現(xiàn)了社會影響力。相比較于瀏覽，PDF格式的下載對于學(xué)術(shù)影響的貢獻(xiàn)率要更高一些。對于Scopus，CrossRef和CiteULike，幾乎完全是對學(xué)術(shù)影響力的反應(yīng)，Twitter和Facebook正好相反，反應(yīng)的是社會影響。雖然Mendeley在學(xué)術(shù)影響的系數(shù)為79.8%，在社會影響上的系數(shù)為21.5%，Altmetrics正好與之相反，說明了這兩個指標(biāo)在兩個方面都有影響，但各有針對。CiteUlike在學(xué)術(shù)中的影響力顯然要高于社會影響，但是系數(shù)為0.480，說明在學(xué)術(shù)領(lǐng)域，CiteUlike的使用和影響程度并沒有 mendeley、scopus和CrossRef高。

3.4 綜合得分和引用評價的比較

在這兩個主成分中，學(xué)術(shù)影響的系數(shù)約為70%，社會影響的系數(shù)為30%，根據(jù)兩個主成分系數(shù)，計(jì)算出每一篇論文的綜合得分。Scopus是由世界上最大的學(xué)術(shù)期刊出版商荷蘭Elsevier出版公司于2004年11月推出的，是目前全球規(guī)模最大的文摘和引文數(shù)據(jù)庫。因此在傳統(tǒng)方法引用的指標(biāo)中選取Scopus和綜合得分進(jìn)行比較，計(jì)算出他們的相關(guān)性為0.791，散點(diǎn)圖如圖2所示，能夠發(fā)現(xiàn)綜合得分隨著Scopus被引次數(shù)的增加而逐漸升高。圓圈標(biāo)出的3個點(diǎn)雖然引用次數(shù)很低但是卻有較高的綜合得分，是因?yàn)檫@幾個點(diǎn)的社會影響很高且遠(yuǎn)遠(yuǎn)大于學(xué)術(shù)影響，從而導(dǎo)致較高的綜合得分。其他點(diǎn)隨著被引次數(shù)的增加綜合得分基本上處于明顯增長趨勢。以上分析說明本文提出的評價方法基本涵蓋傳統(tǒng)被引的指標(biāo)，并在其基礎(chǔ)上加入了社會影響這一因素，使論文的評價更為全面。

圖2 Scopus和綜合得分的散點(diǎn)圖

表5展示了綜合得分最高的10篇論文的學(xué)術(shù)、社會以及它們的綜合得分。這10篇論文中，有6篇論文學(xué)術(shù)方面的影響力遠(yuǎn)遠(yuǎn)高于社會因素，4篇論文的社會影響得分要高于學(xué)術(shù)影響得分。對于這3篇論文，它們被下載的次數(shù)，在社交媒體中討論的次數(shù)或網(wǎng)頁瀏覽的次數(shù)都非常之多，說明該論文所研究的主題或內(nèi)容非常吸引讀者，它們巨大的社會影響力大幅提升了綜合得分。從這篇論文的內(nèi)容分析，該論文主要是通過三組對比試驗(yàn)得出：可愛（Kawaii）的東西，例如小動物，能夠使人產(chǎn)生積極的情緒，并提出了或許可以將可愛的物體作為誘導(dǎo)謹(jǐn)慎行為的激發(fā)因子應(yīng)用于一些需要專注作業(yè)的的場合（如：駕駛等）[19]。這篇論文的實(shí)驗(yàn)對象為可愛的小動物，并且得出了新穎有趣的結(jié)論，從而引起了人們在社交媒體的大量討論。相對于這篇論文在社交媒體中的超高人氣，截止2014年9月其被引次數(shù)還不到10次，學(xué)術(shù)影響并不高，導(dǎo)致學(xué)術(shù)影響得分在所有樣本的平均水平以下。而綜合排名第8的論文為：“FastTree 2-Approximately Maximum-Likelihood Trees for Large Alignments”，學(xué)術(shù)影響為24.42，而社會影響為-5.96，學(xué)術(shù)影響遠(yuǎn)高于社會影響。FastTree是一款從成千上萬條，甚至更多的蛋白質(zhì)序列或者核苷酸序列中快速推斷近似最大似然的系統(tǒng)發(fā)生樹的軟件，該文章是對FastTree軟件的完善，主要是提出在不犧牲軟件擴(kuò)展性的基礎(chǔ)上提升軟件準(zhǔn)確性的方法[20]。這篇文章的專業(yè)性較強(qiáng)，只有少數(shù)處于該領(lǐng)域的學(xué)術(shù)同行才會對這篇論文感興趣。因此，該論文的學(xué)術(shù)影響較高，而社會影響很低。

表5 綜合得分最高的10篇論文兩個主成分得分及綜合得分

4 結(jié)論

在傳統(tǒng)引文評價指標(biāo)的基礎(chǔ)上，結(jié)合近年來迅猛發(fā)展的Altmetrics指標(biāo)、用戶數(shù)據(jù)指標(biāo)等其他影響力指標(biāo)，本文提出一種對科技論文進(jìn)行綜合評價的方法，該綜合評價方法同時考慮了論文的學(xué)術(shù)影響力和社會影響力。相比較于單一的引文學(xué)術(shù)評價或者Altmetrics社會影響評價方法，本論文中的方法同時考慮了學(xué)術(shù)影響與社會影響，是對單篇論文更為全面客觀的方法。同時考慮學(xué)術(shù)影響力和社會影響力的綜合評價方法不僅適用于對單篇文獻(xiàn)的評價，也可以應(yīng)用對文獻(xiàn)集合體的評價，包括期刊評價、科學(xué)家評價等等。

作為一項(xiàng)探索性的初步研究，本文還存在一些不足之處，包括所選擇指標(biāo)的覆蓋性、分析對象的多元化、分學(xué)科的比較、不同年代發(fā)表文獻(xiàn)的比較、學(xué)術(shù)影響力和社會影響力的協(xié)同演化等等。尤其是，在社會影響力評價方面存在這樣一種現(xiàn)象：比起嚴(yán)肅、循規(guī)蹈矩的論文來說，具有話題性、娛樂性的科學(xué)論文更容易在社交網(wǎng)絡(luò)上被公眾接受和廣泛傳播，產(chǎn)生社會影響力，但是這樣的熱轉(zhuǎn)、熱議有時會對評議結(jié)果扭曲化。這也是目前Altmetrics發(fā)展存在的一個主要問題。這些都是在未來研究中值得進(jìn)一步思考和需要解決的問題。未來在對本研究的單篇論文評價進(jìn)一步完善的基礎(chǔ)上，希望對我國的期刊評價能夠提供一些有益的啟示。

1 Shotton D.The five stars of online journal articles-a framework for article evaluation.D-Lib Magazine， 2012，18（1/2）， http：//www.dlib.org/dlib/january12/shotton/01shotton.html

2 Garfield E.The history and meaning of the journal impact factor.Jama， 2006，295（1）： 90-93

3 Amin M，Mabe M.Impact factors： use and abuse.Perspectives in publishing， 2000，1（2）： 1-6

4 教育部.關(guān)于改進(jìn)科學(xué)技術(shù)評價工作的決定.中國科技期刊研究，2003，14（5）：482-484

5 張靜.引文，引文分析與學(xué)術(shù)論文評價.社會科學(xué)管理與評論，2008，（1）： 33-38

6 Kosmulski M.Successful papers：A new idea in evaluation of scientific output.Journal of Informetrics， 2011，5（3）： 481-485

7 王巖，劉雅娟.運(yùn)用引文分析進(jìn)行論文評價的方法初探——引文分析中期刊影響因子的運(yùn)用.科研管理，2001，22（1）：133-138

8 Walker D，Xie H，Yan K K，et al.Ranking scientific publications using a model of network traffic.Journal of Statistical Mechanics：Theory and Experiment， 2007，2007（06）： P06010

9 Su C， Pan Y， Zhen Y， et al.PrestigeRank： A new evaluation method for papers and journals.Journal of Informetrics， 2011，5（1）： 1-13

10 Yan E， Ding Y.Weighted citation： An indicator of an article′s prestige.Journal of the American Society for Information Scienceand Technology， 2010，61（8）： 1635-1643

11 Bornmann L， Daniel H D.The citation speed index： A useful bibliometric indicator to add to the＜i＞h＜/i＞index.Journal of Informetrics， 2010，4（3）： 444-446

12 劉春麗.Web2.0環(huán)境下的科學(xué)計(jì)量學(xué)：選擇性計(jì)量學(xué).圖書情報工作，2012，56（14）：52-56，92

13 Priem J，Taraborelli D， Groth P等.Altmetrics： A manifesto[EB/OL].http：//altmetrics.org/manifesto/.2010

14 顧立平.開放數(shù)據(jù)計(jì)量研究綜述：計(jì)算網(wǎng)絡(luò)用戶行為和科學(xué)社群影響力的 Altmetrics計(jì)量.現(xiàn)代圖書情報技術(shù)，2013，234（6）：1-8

15 邱均平，余厚強(qiáng).替代計(jì)量學(xué)的提出過程與研究進(jìn)展.圖書情報工作，2013，57（19）：5-12

16 Kwok R.Research impact： Altmetrics make their mark.Nature，2013，500（7463）： 491-493

17 何星星，武夷山.基于文獻(xiàn)利用數(shù)據(jù)的期刊論文定量評價研究.情報雜志，2012，31（8）：98-102

18 彭希珺，張曉林.國際學(xué)術(shù)期刊的數(shù)字化發(fā)展趨勢.中國科技期刊研究，2013，24（6）：1033-1038

19 Nittono H， Fukushima M， Yano A， et al.The power of kawaii：Viewing cute images promotes a careful behavior and narrows attentional focus.PloS one， 2012， 7（9）： e46362

20 Price M N， Dehal P S， Arkin A P.FastTree 2-approximately maximum-likelihood trees for large alignments.PloS one， 2010， 5（3）：e9490