F1000與傳統(tǒng)文獻計量學指標的相關性研究

■檀 旦

武漢大學中南醫(yī)院醫(yī)學新知雜志編輯部，武漢市武昌區(qū)東湖路169號 430071

對文獻進行及時、恰當?shù)脑u估是學術評價的前提。目前，國內(nèi)外常用的評價體系[1-3]都是基于論文發(fā)表的期刊及某一數(shù)據(jù)庫中該論文出版后的總被引次數(shù)，缺乏對論文本身的評價。同行評議是遴選論文、維護和提高學術質(zhì)量的重要途徑之一[4]?；ヂ?lián)網(wǎng)時代對同行評議前景的看好以及對居于主導地位的影響因子的詬病亟需新的評價科學質(zhì)量的方式。

F1000(Faculty of 1000)是一個基于同行評議的文獻評估系統(tǒng)，其名稱來源于 Science Navigation Group機構(gòu)計劃籌建一個由全球頂級科學家組成的千人學院，請生物醫(yī)學專家從每年發(fā)布的生物醫(yī)學論文中評選出一小部分(不足千分之二)賦予F1000論文稱號，推薦給全世界的生物學和醫(yī)學工作者[5-6]。

全世界卓越的科學家和臨床醫(yī)生通過F1000推薦生物學和醫(yī)學領域的重要文章，并且評價文章和闡述文章的重要性，提供生物學及醫(yī)學論文的重要信息及研究成果。F1000從2002年開始推薦文章，至今已有14年。F1000在全世界擁有超過5000名專家，推薦了超過100000篇頂級生物學和醫(yī)學文章，覆蓋超過3500種同行評議期刊，并且每天更新。F1000成員平均每個月推薦超過1500篇文章。F1000成員及其推薦的文章分布超過40個學科，并進一步細分為超過300個亞學科。

F1000從兩年前開始改變計算方式，不再使用F1000因子來表示文章的重要性[7-10]，而是改用“星”來表示。F1000成員推薦文章時需簡短闡述文章的重要性，而后將文章劃分為好、很好、杰出3個等級(相當于1星、2星、3星的分數(shù))。F1000根據(jù)每位推薦者單獨的評分來計算文章的總分，并且根據(jù)總分對文章排序。一篇文章得到的總評論數(shù)和總星數(shù)越多，排名就越靠前。

國內(nèi)學者宋麗萍選取F1000和Web of Science數(shù)據(jù)庫，以免疫學和生物信息學為研究對象，檢索并統(tǒng)計2005—2011年的數(shù)據(jù)，分析F1000因子與文章被引頻次的相關性，結(jié)果表明傳統(tǒng)文獻計量指標與同行評議結(jié)果具有正相關性[11]。Wardle D A研究7種生態(tài)學核心期刊共1530篇文獻在F1000中的被推薦情況與論文出版5年后的被引頻次比較，結(jié)果發(fā)現(xiàn)F1000分數(shù)并不能預測其被引頻次，也不能預測被引數(shù)百次的高影響力文章[12]。此外，Allen L[13]、Li X[14]、劉春麗[15]、Mohammadi E[16]、Waltman L[4]等也就同行評議指標和替代計量學指標做過類似的研究。以上研究廣泛討論了F1000因子與 Web of Science、Google Scholar、Scopus以及被引次數(shù)的相關性。然而，仍有以下不足：①F1000因子是兩年前F1000評價文章的指標，如今已改用F1000總分來表示；②統(tǒng)計文章被引頻次的時間不夠長，可能造成誤差。本文采用新的檢索方式，在新的F1000總分計算方式下，以醫(yī)學信息學和糖尿病為主題，檢索2010年發(fā)表文獻的F1000總分以及文章發(fā)表至今的總被引頻次和所在期刊的影響因子(IF)，分析F1000總分與總被引頻次、F1000總分與期刊IF的相關性，探索F1000和傳統(tǒng)文獻計量指標在科學評價中的有效性與相關性，以期為數(shù)字出版時代文獻及期刊評價提供借鑒。

1 資料與方法

1.1 檢索方法

選擇2010年為檢索年份，得到文獻發(fā)表至今(5年)的總被引頻次和文章累計被推薦情況，避免造成偏倚。

通過閱讀文獻、與F1000工作人員溝通和自身實踐，發(fā)現(xiàn)可在 PubMed中檢索 F1000文獻，并且PubMed檢索優(yōu)于F1000自帶的檢索功能，兩種檢索方法如下：①使用loprovf1000[Filter]進行字段限定。在 PubMed檢索框中分別直接輸入((loprovf1000[Filter]OR loprovf1000m[Filter]))AND“Medical Informatics”[Mesh]和((loprovf1000[Filter]OR loprovf1000m[Filter]))AND“Diabetes Mellitus”[Mesh]進行檢索[17]；②在 PubMed 的 My NCBI的filter中選擇類別為LinkOut，檢索框中輸入“Faculty of 1000”，然后檢索，選擇“Faculty of 1000 Ltd”，而后在PubMed中直接檢索就可以顯示F1000推薦的結(jié)果。均去掉印刷出版日期在2010年之前的文獻，以及出版日期在2010年之后的文獻。提取每篇文章的PMID、題目、第一作者、刊名、F1000總分等信息，并繪制Excel表格。利用Web of Science數(shù)據(jù)庫檢索每篇文章的總被引頻次，在JCR中檢索期刊在2010年的影響因子，并將文章的總被引頻次和期刊IF加入之前繪制的表格。

1.2 統(tǒng)計學處理

使用SPSS20.0軟件進行分析，運用Spearman檢驗分析F1000總分與文章總被引頻次、F1000總分與期刊IF的相關性。P＜0.01為差異有統(tǒng)計學意義。

2 結(jié)果

2.1 文獻檢索結(jié)果

2.1.1 醫(yī)學信息學主題檢索結(jié)果

2010年發(fā)表并被F1000推薦的醫(yī)學信息學主題的文獻共259篇。

F1000總分為8分的文獻有2篇，分別發(fā)表在JAMA和Science Translational Medicine上，總被引頻次為208次和122次，2種期刊2010年的IF分別為30.011和3.292?？偡譃?分的文章有2篇，5分的文章1篇，4分的文章6篇，3分的文章18篇，2分的文章78篇，其余為1分的文章。

總被引頻次最高的文章被引464次，F(xiàn)1000總分為2分，刊名為PLoSBiology，IF為12.472?？偙灰l次最低的文章被引1次，F(xiàn)1000總分為1分，刊名為 Anaesthesia，IF為0.729。

IF最高的期刊為The New England Journal of Medicine，IF為53.486，被推薦文章3篇，F(xiàn)1000總分均為1分，總被引頻次分別為132次、86次和76次。IF最低的期刊為 Biomedical Papers of the Medical Faculty of the University Palacky， Olomouc，Czechoslovakia，IF為0.716，被推薦文章 1篇，F(xiàn)1000總分為1分，總被引頻次為5次。

在JCR中未查詢到3種期刊2010年的IF數(shù)據(jù)，分 別 為 Database-The Journal of Biological Databases and Curation、Biotechnology Journal和Journal of Anxiety Disorders。

2.1.2 糖尿病主題檢索結(jié)果

2010年發(fā)表并被F1000推薦的糖尿病主題的文獻共169篇。

F1000總分為14分的文獻有3篇，其中2篇發(fā)表在Nature上，1篇發(fā)表在The New England Journal of Medicine上，總被引頻次分別為285次、80次和885次，2種期刊2010年的IF分別為36.104和53.486?？偡譃?3分的文章有1篇，5～9分的文章9篇，3～4分的文章26篇，其余為1分和2分的文章。

總被引頻次最高的文章被引885次，F(xiàn)1000總分為 14分，刊名為 The New England Journal of Medicine，IF為53.486?？偙灰l次最低的文章被引0次，F(xiàn)1000總分為2分，刊名為European Heart Journal，IF為 10.052。

IF最高的期刊為The New England Journal of Medicine，IF為53.486，被推薦文章8篇，F(xiàn)1000總分最高為14分，最低為1分，總被引頻次最高885次，最低49次。IF最低的期刊為Australian Journal of Primary Health，IF為0.408，被推薦文章1篇，F(xiàn)1000總分為1分，總被引頻次為26次。

2種期刊未在JCR中查詢到2010年的IF數(shù)據(jù)，分別為 Preventing Chronic Disease和 Endocrine Practice。

2.2 相關性分析結(jié)果

2.2.1 醫(yī)學信息學主題相關性分析結(jié)果

（1）醫(yī)學信息學主題F1000總分與總被引頻次的相關性

將Excel中的數(shù)據(jù)導入到SPSS20.0軟件，由于兩個變量不滿足線性相關分析的適用條件，因此進行Spearman秩相關分析，結(jié)果見表1。相關系數(shù)r表示兩變量間的直線相關程度，r值的范圍為-1～1。r為正表示兩變量之間為正相關，反之為負相關。r接近于0表示兩變量間關系不密切，r的絕對值接近1表示2變量間關系較密切[18]。由表1可知，r=0.223，F(xiàn)1000總分與總被引頻次呈低度正相關(P＜0.01)。

表1 醫(yī)學信息學主題F1000總分與總被引頻次的相關性分析結(jié)果

（2）醫(yī)學信息學主題F1000總分與期刊IF的相關性

剔除3種在JCR中查詢不到IF數(shù)據(jù)的期刊及其相關數(shù)據(jù)，而后進行Spearman檢驗，結(jié)果見表2。由表2可知，r=0.165，F(xiàn)1000總分與期刊IF呈低度正相關(P＜0.01)。

表2 醫(yī)學信息學主題F1000總分與期刊IF的相關性分析結(jié)果

2.2.2 糖尿病主題相關性分析結(jié)果

（1）糖尿病主題F1000總分與總被引頻次的相關性

將Excel中的數(shù)據(jù)導入到SPSS20.0軟件，由于兩個變量不滿足線性相關分析的適用條件，因此進行Spearman秩相關分析，結(jié)果見表3。由表3可知，r=0.390，F(xiàn)1000總分與總被引頻次呈低度正相關(P＜0.01)。

表3 糖尿病主題F1000總分與總被引頻次的相關性分析結(jié)果

（2）糖尿病主題F1000總分與期刊IF的相關性

剔除兩種在JCR中查詢不到IF數(shù)據(jù)的期刊及其相關數(shù)據(jù)，而后進行Spearman檢驗，結(jié)果見表4。由表4可知，r=0.335，F(xiàn)1000總分與期刊IF呈低度正相關(P＜0.01)。

表4 糖尿病主題F1000總分與期刊IF的相關性分析結(jié)果

3 討論

F1000關注研究的特異性和評價的主觀性，是基于同行評議的定性評價，與文獻計量學方法定量表示的IF和被引頻次有一定區(qū)別，但是二者的初衷都是為了向科研工作者提供重要信息及研究成果。然而，F(xiàn)1000總分最高的文章不一定是總被引頻次和期刊IF最高的，兩種方式得到的結(jié)果有一定的差異。

本研究結(jié)果表明，醫(yī)學信息學和糖尿病兩個主題文獻的F1000總分與總被引頻次，F(xiàn)1000總分與期刊IF均呈正相關(P＜0.01)，這與 Allen L[13]、Li X[14]、 宋 麗 萍[11，19]、 劉 春 麗[15]、 Mohammadi E[16]、Waltman L[4]等的研究結(jié)果類似，說明雖然F1000與傳統(tǒng)引用及影響計量指標從不同維度描述論文的學術影響力，但是兩者具有一定程度的正相關性，表明上述指標在科學評價中的有效性和可行性。兩個主題文獻的F1000總分與總被引頻次的相關性均大于F1000總分與期刊IF的相關性，這是因為F1000總分與被引頻次都更關注單篇論文的質(zhì)量，而IF關注整本期刊的質(zhì)量。

兩個主題文獻的F1000總分與總被引頻次和IF的相關性均不高，可能有以下原因：

（1）F1000的時效性優(yōu)于傳統(tǒng)的計量指標。

文章一經(jīng)發(fā)表或者還未發(fā)表就可被F1000推薦，Waltman L對F1000推薦的超過13萬篇論文的研究顯示，80%的論文在正式出版前2個月至出版后4個月即得到推薦，只有不到10%的文獻在出版6個月以后被推薦[4，20]，而傳統(tǒng)文獻計量學指標的統(tǒng)計往往在文獻發(fā)表若干年后。雖然本研究統(tǒng)計文獻發(fā)表5年后的總被引頻次，但是文章的被引頻次隨著時間推移會逐漸增加，而且不排除某些被引頻次不高的文獻發(fā)表5年后被引頻次突然增加的情況。

（2）F1000與傳統(tǒng)計量學指標評價文章的角度不同。

F1000從專家的角度反映文章質(zhì)量，而被引從作者的角度反映文章質(zhì)量，因此一些低被引，甚至零被引論文受到專家的推薦，而高被引論文反而沒有被專家推薦。

（3）F1000推薦文章的側(cè)重點與傳統(tǒng)計量學指標不同。

F1000的專家推薦文章時會根據(jù)研究內(nèi)容給論文賦予一個或多個標簽，如新發(fā)現(xiàn)、能夠改變臨床實踐、新藥靶點、技術進步等。已有研究表明，“新發(fā)現(xiàn)”更容易高被引，但是“能夠改變臨床實踐”類的文章專家推薦力度更高，而后者的被引次數(shù)往往不高，通過專家推薦能更好的識別醫(yī)學研究成果對臨床實踐的適用性。此外，在醫(yī)學領域，臨床研究類論文被引頻次低于基礎研究和非干預性研究，引文分析會嚴重低估臨床研究的影響力[20-21]。因此，結(jié)合F1000專家對論文的評價以及論文的標簽特征可以幫助揭示論文的價值。

（4）F1000推薦存在自身的局限性。

既然F1000是基于同行評議的定性評價，專家推薦文章的動機和因素、遴選專家是否有傾向性或偏倚、專家是否相互推薦或者地域性因素等可能導致不客觀的結(jié)果[12]，而基于定量評價的文獻計量學指標可以盡可能地避免這些情況。

綜上，由于F1000與傳統(tǒng)文獻計量學指標評價文章的時效性、角度和側(cè)重點不同，且兩者均有自身的優(yōu)點和局限性，應當將兩者結(jié)合起來對文獻進行相對全面的評價。

4 結(jié)語

(1)從統(tǒng)計學角度看，F(xiàn)1000與傳統(tǒng)文獻計量學指標具有正相關性，這在一定程度上說明了定性評價與定量評價的一致性，也表明上述指標在科學評價中的有效性和可行性。通過對F1000推薦文獻的統(tǒng)計分析，可以進一步對所收錄期刊的價值作出相應評價；

(2)F1000與文獻計量學指標從不同維度描述了論文層面的學術影響力，分別反映了科學評價的一個側(cè)面，都有自身的局限性，應將兩者相結(jié)合進行多維度的評價分析。

[1]Reinstein A，Hasselback JR，Riley M E，etal.Pitfallsof using citation indices for making academic accounting promotion，tenure， teaching load， and merit pay decisions[J].Issues in Accounting Education， 2011，26(1)：99-131.

[2]Psmeyers P，Burbules N C.How to improve your impact factor：Questioning the quantification of academic quality[J].J Philos Educ， 2011，45(1)：1-17.

[3]楊遠芬.科技論文評價方法實證比較研究[J].科技管理研究， 2008，28(8)：57-59.

[4]Waltman L，Costas R.F1000 recommendations as a potential new data source for research evaluation：a comparison with citations[J].JAm Soc Inf Sci Technol， 2014，65(3)：433-445.

[5]謝巖巖，孫繼林.F1000的文獻評價功能淺議[J].圖書館雜志，2011，30(4)：38-42.

[6]Bommann L，Daniel H D.Selecting scientific excellence through comm ittee peer review-a citation analysis of publications previously published to approval or rejection of post-doctoral research fellowship applicants[J].Scientometrics， 2006， 68(12)：427-440.

[7]何星星，武夷山.基于文獻利用數(shù)據(jù)的期刊論文定量評價研究[J].情報雜志，2012，31(8)：98-102.

[8]陳美倫.一種新的醫(yī)學論文學術評價系統(tǒng)——醫(yī)學 F1000[J].中華醫(yī)學圖書情報雜志，2008，17(2)：70-72.

[9]廖星，謝雁鳴.F1000：新興醫(yī)學論文評價和檢索系統(tǒng)[J].中國中西醫(yī)結(jié)合雜志，2012，32(5)：701-703.

[10]劉春麗.基于軟同行評議的科學論文影響力評價方法——F1000 因子[J].中國科技期刊研究，2012，23(3)：383-386.

[11]宋麗萍，王建芳.基于F1000與WoS的同行評議與文獻計量相關性研究[J].中國圖書館學報，2012，38(198)：62-69.

[12]Wardle D A.Do “Faculty of 1000”(F1000)ratings of ecological publications serve as reasonable predictors of their future impact[J].Ideas in Ecology and Evolution，2010，3(3)：11-15.

[13]Allen L，Jones C，Dolby K，et al.Looking for landmarks：the role of expert review and bibliometric analysis in evaluating scientific publication outputs[J].PLoS One， 2009， 4(6)：e5910.

[14]Li X， Thelwall M.F1000， mendeley and traditional bibliometric indicators[C]//Archambault E， Gingras Y，Lariviere V.The 17th International Conference on Science and Technology Indicators， Montreal， Canada， 2012：541-551.

[15]劉春麗，何欽成.不同類型選擇計量指標評價論文相關性研究——基于 Mendeley、F1000和 Google Scholar三種學術社交網(wǎng)絡工具[J].情報學報，2013，32(2)：206-212.

[16]Mohammadi E，Thelwall W.Assessing non-standard article impact using F1000 labels[J].Scientometrics， 2013，97(2)：383-395.

[17]夏武青，葛芬，唐輝.醫(yī)學F1000推薦文獻的來源期刊分布[J].中華醫(yī)學圖書情報雜志，2011，20(11)：59-62.

[18]張文彤，閆潔.SPSS統(tǒng)計分析基礎教程[M].北京：高等教育出版社，2004：325-347.

[19]宋麗萍，王建芳，王樹義.科學評價視角下F1000、Mendeley與傳統(tǒng)文獻計量指標的比較[J].中國圖書館學報，2014，40(212)：48-54.

[20]杜建，武夷山.文獻引文軌跡：分類及測度[J].情報理論與實踐， 2015，38(7)：52-58.

[21]Van Eck N J， Waktman L， Van Raan A F J， et al.Citation analysis may severely underestimate the impact of clinical research as compared to basic research[J].PLoSOne， 2013，8(4)：e62395.