外文學術電子圖書評價研究

匡登輝

〔摘要〕外文學術圖書，對于高校的教學、科研活動有較高的學術指導價值。對外文學術電子圖書進行評價能夠全面反映其影響力。本文綜合運用Altmetrics和傳統(tǒng)的引文評價，利用Bookmetrix工具，明確對不同學科（以化學、社會科學為例）的學術電子圖書進行探索性研究，對文獻計量指標（引文）與Altmetrics指標（Mendeley讀者數(shù)和下載量）的相關性與一致性進行定量分析，并對引文量、讀者數(shù)、下載量是否有顯著性差異進行了非參數(shù)檢驗。研究發(fā)現(xiàn)：Citations、Mendeley Readers、Downloads具有較高的覆蓋率，經(jīng)Mann-Whitney非參數(shù)檢驗，化學和社會科學的外文學術電子圖書的被引量、讀者數(shù)沒有顯著差異，但是二者的下載量有顯著差異?；瘜W圖書的被引量與Mendeley讀者數(shù)的相關性明顯高于社會科學圖書的被引量與Mendeley讀者數(shù)的相關性。

〔關鍵詞〕外文；學術電子圖書；Bookmetrix；實證分析

DOI：10.3969/j.issn.1008-0821.2018.05.017

〔中圖分類號〕G25575〔文獻標識碼〕A〔文章編號〕1008-0821（2018）05-0110-07

〔Abstract〕The academic books of foreign languages have higher academic value for the teaching and scientific research activities of universities.The evaluation of the foreign language scholarly electronic books can fully reflect its influence.This paper utilized Altmetrics and traditional citation evaluation model synthetically，with Bookmetrix，definitely to explore the performance of different disciplines of academic electronic books（taking Chemistry and Social sciences as examples），the correlation and consistency of bibliometric indicator（Citation）and Altmetric indicators（Mendeley Readers and Cownloads）were quantitatively analyzed，and nonparametric tests were carried out on the difference of citation，reader counts and download.It found that：citation，Mendeley readers，downloads with higher coverage rate，by Mann-whitney nonparametric test，chemistry and social sciences of foreign language scholarly electronic books were not significantly different from the number of readers，but the downloads of the two had significant differences.The correlation between the citation of and the number of Mendeley readers of chemistry books was significantly higher than that of the social science books.

〔Key words〕foreign language；academic e-book；Bookmetrix；empirical analysis

外文學術圖書，對于高校的教學、科研活動有較高的學術指導價值。對于外文學術圖書的評價，目前可分為以同行評議為主要內(nèi)容的定性評價和以客觀數(shù)據(jù)為基礎的定量評價。定性評價方式主要有書評、專家評價等。書評體例廣泛，包括書評匯編，書評集、期刊刊載的零星書評論文、書評索引，出版社、圖書館的新書推薦，讀書論壇書評等。專家評價由學科專家根據(jù)自己的背景知識和經(jīng)驗，對圖書的價值做出主觀判斷。這些書評或?qū)＜以u價方法簡單，有一定的權威性，往往也會囿于專家個人的學識、偏好等因素，帶有較強的主觀性、隨意性。

在以客觀數(shù)據(jù)為依據(jù)的外文圖書評價研究方面，湯森路透2012年推出了以英文為主的圖書引文索引[1]（Book Citation Index，BKCI），作為WOS（Web of Science）核心收錄數(shù)據(jù)庫，BKCI為研究人員快速識別、訪問與科研最相關的書籍，實現(xiàn)文獻與圖書館館藏圖書、電子書集成商之間的無縫連接。BKCI還是基于引文思想，對學術圖書進行引用頻次分析，增加了對圖書的揭示功能，但是，BKCI只是圖書引用評價系統(tǒng)，從圖書的出版時滯及引文的時滯來說，其出版周期較長，但體系成熟、內(nèi)容完整，引用數(shù)據(jù)可能需要3～5年甚至更長時間才能體現(xiàn)。因此，學術圖書無法簡單地通過被引頻次、影響因子進行評價。而且，隨著社交網(wǎng)絡的流行，科研環(huán)境發(fā)生了很大變化，單靠引文等指標已不能有效衡量學術交流在各種新層面的拓展：如讀者在線評論研究成果及與科研人員之間在社交網(wǎng)絡互動交流等。

對于外文學術圖書，現(xiàn)行的訂購模式下，往往印刷版本與電子版本并存，不同學科間圖書的影響力該如何評價，以及不同學科間的同一評價指標差異是否顯著？對于不同學科的學術圖書來說，下載量，讀者數(shù)與引文之間相關性如何，怎樣理解這些差異？顯然，現(xiàn)有的評價方式不能解決。本文為嘗試解決利用新的方法和工具，對這些問題進行探索。

1相關文獻回顧

孫勇中等采用數(shù)據(jù)分析與挖掘方法，篩選學術圖書的核心作者、核心出版社、核心機構等評價指標，通過特爾非法確定并分配相應的權重，構建了外文學術圖書模糊綜合評價模型與采訪模型[2]；熊霞等對比分析了BKCI、Scopus Article Metrics、Bookmetrix 3種外文電子圖書學術影響力評價工具，并進行了實例對比[3]；林曉華設計了一套基于Altmetrics的電子圖書學術影響力評價指標體系，并選取了Springer電子圖書進行實例分析，發(fā)現(xiàn)Altmetrics在電子圖書評價方面優(yōu)勢明顯[4]；雷淑義等對學術圖書Altmetrics影響力分析評價的研究現(xiàn)狀進行綜述，對比幾款典型的學術圖書Altmetrics影響力分析評價工具，分析了我國人文社會科學學術圖書Altmetrics評價面臨的挑戰(zhàn)[5-6]。上述國內(nèi)研究，其方法停留在對下載量的簡單統(tǒng)計及傳統(tǒng)定性評價，如出版社、作者、學科分布、平臺易用性等簡單對比，雖有Altmetrics用于學術圖書評價的綜述及構建的體系，但缺乏對社交網(wǎng)絡環(huán)境下，新的計量工具的應用及對不同學科電子圖書指標差異性的實證分析。

Hammarfelt B[7]分析了2012年瑞典大學出版的以人文科學為主的文章和圖書的Altmetric指標覆蓋率和影響，最高覆蓋率的指標是Mendeley（61%），其次是Twitter（21%），很少的出版物在博客或Facebook等社交媒體上提及；Zuccala A[8]從Scopus數(shù)據(jù)庫2007-2011年收錄的604種歷史期刊中出現(xiàn)的論文參考文獻列表中提取書名，對圖書的Altmetric指標進行實證研究，發(fā)現(xiàn)圖書引文量與閱讀評級呈弱相關（0212），Goodreads的讀者評級有助于優(yōu)化館藏；Kousha K、Thelwall M[9-11]認為非標準的學術產(chǎn)出難以采用傳統(tǒng)的引文評價方法對其影響力進行評價，采用Web影響力指標評價其影響力勢在必行，許多評價期刊論文的Altmetric指標可用于評價圖書，如：Google Book citations（谷歌圖書引文）、Libcitations（館藏）、Online Reviews（在線書評）、Publisher Prestige（出版者聲望）等，總結了這些指標的影響力類型及優(yōu)缺點，基于2011年橫跨人文科學、社會科學和科學的451本書評，進行實證研究，發(fā)現(xiàn)選擇等級與引文間的相關性；Torres-Salinas D等[12]使用的PlumX計量西班牙大學的學術圖書，測量Altmetrics、閱讀、下載或引用、圖書館館藏等18項指標，對圖書的分析采取多維角度，理解不同指標之間的互補性水平，并還比較了這些指標的特點；Snijder R[13]利用引文數(shù)據(jù)、推文數(shù)據(jù)，驗證開放獲取能否增強圖書的學術影響力，發(fā)現(xiàn)2014年學術圖書引文量、推文量與開放獲取有微弱的正相關，不同的主題、語種，相關關系不同，Twitter的使用與學術圖書的被引用很難重疊；Zhou QQ等[14]抓取和處理Amzon.com作為樣本的學術圖書的在線評論，對評論數(shù)據(jù)進行多粒度挖掘，確定評論的極性和情感值，利用熵值法，綜合評價、情感值、星級等，計算圖書學術影響分數(shù)。不同的學科領域差異顯著，但網(wǎng)絡書評反映了圖書的總體學術影響力。國外的研究很好地引入了Altmetrics，但是僅就部分學科進行分析，仍具有較大的片面性、主觀隨意性，缺乏對不同學科（如人文學科、理工學科等）電子圖書影響力的評價指標的對比分析及對相關指標顯著性檢驗。

本文綜合了Altmetrics和傳統(tǒng)的引文評價，利用Bookmetrix工具，明確對不同學科的學術電子圖書進行研究，對文獻計量指標（引文）與Altmetrics指標（Mendeley讀者數(shù)和下載量）的相關性與一致性進行定量分析，并對引文量、讀者數(shù)、下載量是否有顯著性差異進行了非參數(shù)檢驗。

2數(shù)據(jù)與方法

21基礎數(shù)據(jù)集

2015年4月14日，Springer和Altmetric.com發(fā)布圖書影響力平臺Bookmetrix，榮獲學術與專業(yè)協(xié)會出版商協(xié)會（The Association of Learned and Professional Society Publishers，ALPSP）2015年出版大獎。該平臺提供基于單本圖書和章節(jié)級別的圖書評價，展示在線環(huán)境下每本圖書或章節(jié)被提及、分享、評論和閱讀的頻率。為作者、編輯和讀者提供有關圖書或章節(jié)的影響力的準確信息。Bookmetrix是學術圖書出版的重要補充，第一次用簡單的方法，獲取一本書現(xiàn)成的使用量化數(shù)據(jù)。它可以為讀者推薦好書，出版商提升出版質(zhì)量、采購方科學采購訂閱學術資源等提供決策依據(jù)。

作為一家學術出版商，施普林格·自然集團旗下匯聚了一系列深得信賴的品牌，包括施普林格、自然科研、BMC、帕爾格雷夫·麥克米倫等，產(chǎn)品包括期刊、圖書等知識內(nèi)容。應南開大學科學評價研究組的研究需求，Springer Nature提供了相關學科包的電子圖書的Bookmetrix數(shù)據(jù)?；A數(shù)據(jù)集主要包括電子圖書的出版年（Publication Year）、書名（Title）、電子圖書唯一標識碼（DOI）、電子圖書的Bookmetrix URL鏈接（Bookmetrix Detail Page URL）、引文（Total Number of Citations）、在線提及（Total Number of Online Mentions）、讀者（Total Number of Mendeley Readers）、評論（Total Number of Reviews）、下載量（Total Number of Downloads）、學科（Disciplines Level）等，共1 393條數(shù)據(jù)，數(shù)據(jù)采集時間為2017-04-18。

其中，引文數(shù)據(jù)來自CrossRef對圖書和章節(jié)的引用，數(shù)據(jù)每周更新；在線提及數(shù)據(jù)基于Altmetric的數(shù)據(jù)，在線提及標簽中展示圖書/章節(jié)在線資源（包括公共政策文檔、主流新聞媒體、博客及各種社交網(wǎng)絡）中被討論、提及或分享的情況，數(shù)據(jù)實時更新；讀者數(shù)據(jù)采集自Mendeley讀者數(shù)據(jù)，即將圖書、章節(jié)保存在Mendeley中的用戶數(shù)量，數(shù)據(jù)每周更新；評論數(shù)據(jù)來自Springer的圖書評論摘錄；下載數(shù)據(jù)則根據(jù)Springer Link中的記錄，每本書每月以及整體的下載量，數(shù)據(jù)每月更新。

22學科主題的清理

逐一判斷電子圖書所述學科。盡管存在電子圖書學科主題跨學科的情況，盡可能降低人工研判的偏差，研究者逐一獲取電子圖書的“Discipline”，將跨學科的電子圖書取其中之一，比如“Bayesian Analysis of Failure Time Data Using P-Splines”，原始學科分類為“Biomedical Sciences，Mathematics，Life Sciences”，這里基于電子圖書書名，傾向于選擇“Mathematics”。

SPSS可以高效地呈現(xiàn)數(shù)據(jù)分析結果，自動輸出很多描述性統(tǒng)計圖，呈現(xiàn)各種變量之間的內(nèi)在關系。因此，本研究的數(shù)據(jù)統(tǒng)計分析、作圖均使用IBM SPSS 25。

3研究結果

31學科主題分布分析

通過對學術電子圖書的學科特點分析，可以更加有效地了解學術圖書的主題分類和學科分布情況。

對數(shù)據(jù)包中的電子圖書，進行學科頻數(shù)統(tǒng)計，圖1顯示：1 393本學術電子圖書，Business & Management（經(jīng)管類）圖書占202%（828本），Chemistry（化學）和Social Sciences（社會科學）圖書各占118%（165本），Education（教育）圖書占103%（144本），其余的學科電子圖書數(shù)量較少。為保證研究的全面和代表性，選擇化學、社會科學作為理工學科、人文學科代表，使用兩個學科的學術電子圖書為分析對象。

32不同學科指標描述性統(tǒng)計

覆蓋率是測試有效性的一個度量，一般用于可靠性、穩(wěn)定性以及性能的評測。在本項研究中，覆蓋率是某指標非零值的文獻數(shù)量占總文獻量的比例，在一定程度上反映該指標在文獻評價中的可利用價值。表1顯示，學術電子圖書下載量（Downloads）的覆蓋率最高，達999%，即999%的外文電子圖書至少有1次下載，其次，讀者數(shù)（Mendeley Readers）的覆蓋率為897%，也就是897%的外文電子圖書至少有1個讀者，引文（Citations）的覆蓋率為581%，在線提及指標的覆蓋率為386%，書評的覆蓋率最低，僅為131%，這說明，下載量、讀者數(shù)和引文量指標數(shù)據(jù)可靠，穩(wěn)定性高，為學術電子圖書評價的有效性指標，因此，本研究選擇citations、Mendeley Readers、Downloads指標來對學術電子圖書進行分析。

33數(shù)據(jù)的正態(tài)分布檢驗

為選擇適宜的統(tǒng)計檢驗方法，需要對數(shù)據(jù)進行正態(tài)性檢驗。常用的檢驗方法有單樣本Kolmogorov-Smirnov檢驗（定量）和偏度值分析（定性），本文選用后者，從表1的偏度值可以看出，各指標數(shù)據(jù)的偏度值均大于0，說明數(shù)據(jù)分布為正偏態(tài)，即Bookmetrix各指標數(shù)據(jù)不符合正態(tài)分布，選擇斯皮爾曼相關分析[15]，依據(jù)結果進行總體分析、對比分析。

34不同學科電子學術圖書被引量、讀者數(shù)與下載量差異比較對化學、社會科學學術圖書的被引量、讀者量、下載量作圖，進行對比（見圖2）。

從圖2（a）宏觀上可以看出，化學電子圖書的被引量與社會科學的被引量數(shù)據(jù)，高低起伏，但被引量的峰值均為化學類的電子圖書，統(tǒng)計數(shù)據(jù)顯示，化學電子圖書的最高引用量為65次，而社會科學圖書的最高被引量為41次。

但從圖2（b）、（c）看出，讀者量、下載量的峰值為社會科學類圖書，結合統(tǒng)計數(shù)據(jù)，化學電子圖書的最高讀者數(shù)為143，而社會科學圖書最高的讀者數(shù)為265，化學電子圖書的最高下載量為63 354次，社會科學電子圖書的最高下載量71 710。

35不同學科電子書的被引頻次、讀者數(shù)量與下載量的非參數(shù)檢驗

兩獨立樣本的非參數(shù)檢驗是在樣本所屬總體不服從正態(tài)分布且分布情況未知時，通過對樣本的分析，判斷相應的總體分布是否存在顯著差異性的方法。對于數(shù)據(jù)不符合正態(tài)分布的樣本，SPSS提供了4種獨立樣本的非參數(shù)檢驗方法，包括Mann-Whitney U檢驗，Kolmogorov-Smirnov Z檢驗，Wald-Wolfowitz Runs檢驗以及Moses Extreme Reactions檢驗，本研究采用Mann-Whitney U檢驗，用于判別兩個獨立樣本所屬的總體是否有相同的分布，注重對兩樣本分布的中心位置（平均水平）做檢驗。

以化學、社會科學的電子圖書作為兩個獨立樣本，以被引量為例，進行Mann-Whitney非參數(shù)檢驗。

相關系數(shù)r是用來衡量兩個變量之間線性相關關系的參數(shù)，一般按數(shù)值大小劃分：0

4結論

第一，本研究中與Hammarfelt B的研究結果接近，電子圖書Mendeley讀者數(shù)的覆蓋率較高，達897%，電子圖書在線提及量較低，僅386%。根據(jù)Bookmetrix數(shù)據(jù)，電子圖書的在線提及和評論次數(shù)普遍很少，這與圖書的內(nèi)容、出版特點有很大關系。Bookmetrix中的圖書評論主要來自專業(yè)學術期刊、正式媒體評論，而未對商業(yè)圖書網(wǎng)站（如Amazon.com）中的用戶評論進行收集，而且很少的學術電子圖書在社交網(wǎng)站上被提及。眾所周知，學術圖書知識系統(tǒng)性強，體系縝密，出版周期長，這與社交網(wǎng)站的實時性、便捷性的特點相悖，在一定程度上制約了圖書在社交媒體的傳播。

第二，無論是理工科（如化學）還是社會學科（如社會科學），電子圖書的被引量與下載量均屬低度相關。結果說明被引量與下載量在變動方向上趨于一致。作為一款基于DOI（Digital Object Identifier，數(shù)字對象標識符）實現(xiàn)文獻引文跨出版社服務平臺鏈接的參考鏈接服務，CrossRef推出的圖書被引用鏈接，只能在CrossRef成員內(nèi)部之間實現(xiàn)，包括Springer Nature、Elsevier、Wiley、Emerald等出版商和學術機構，因此限制了引文范圍。

第三，化學電子書的被引量與讀者數(shù)的顯著相關，說明在一定程度上Mendeley讀者數(shù)可以預測圖書后期引用的情況。學術圖書或其章節(jié)在Mendeley、CiteUlike等系統(tǒng)中被收藏、閱讀、標注等，使圖書獨立于載體之外，彰顯了學術圖書的影響力。有研究證實被引峰值與利用峰值出現(xiàn)在成果發(fā)布后不同的時段[17]。這也充分證明Mendeley讀者數(shù)可以作為科學評價的一個維度指標反映成果的學術影響力。

第四，化學圖書的被引量與Mendeley讀者數(shù)的相關性明顯高于社會科學圖書的被引量與Mendeley讀者數(shù)，反映出不同學科在科學評價中評價方法或評價策略有所不同。這是由于自然科學與人文社會科學的研究對象與研究范式不同，另外，科研成果的呈現(xiàn)方式各異，如理工科較多地以期刊論文，而社會科學則偏重于學術著作，因此，對于科學成果的評價，應區(qū)分學科，區(qū)別對待，社會科學不能完全套用自然科學的評價標準[18]。

第五，通過Mann-Whitney非參數(shù)檢驗非參數(shù)檢驗，發(fā)現(xiàn)：化學和社會科學電子圖書被引量、讀者數(shù)沒有顯著差異，化學和社會科學電子圖書的下載量有顯著差異（p=005），但從化學圖書的被引量與下載量的相關系數(shù)略高于社會科學圖書的被引量與下載量的相關系數(shù)，這反映出讀者對電子圖書利用有學科差異，需要進一步挖掘數(shù)據(jù)，結合考慮語義，分析其下載動機、引用動機以及兩者的影響因素。

5不足之處

同時，本文也存在一些不足：①本研究是對現(xiàn)有圖書自身的評價，沒有考慮作者和出版社因素；②本研究中的數(shù)據(jù)源是有限的，目前，Bookmetrix平臺僅有Springer的電子圖書，讀者數(shù)據(jù)是有限的，如僅有Mendeley的用戶。在倫敦書展上，一些出版商已經(jīng)表示有興趣增加其在線書籍目錄的Bookmetrix，這些未來將是極大數(shù)據(jù)源和用戶群；③數(shù)據(jù)采集源多，造成數(shù)據(jù)不對等，這些都影響了指標的有效性，如下載次數(shù)較多，有些計數(shù)是按章節(jié)計，因此，有的圖書如果章節(jié)下載量較多，對其他圖書的下載次數(shù)“顯失公平”。此外，數(shù)據(jù)更新不同步，有的是周更新，有的是月更新，有的是實時更新。④評價存在滯后性，且對Bookmetrix的利用只考慮了評論數(shù)量，并未從內(nèi)容上進行深入地文本挖掘分析，因此結論可能相對淺表。

6結語

由于科學研究活動是一種復雜的人類社會活動，單純的定量、定性指標很難對個性化的科研結果，特別是科研成果的學術質(zhì)量做出合理、全面的評價。實證研究作為理論檢驗與拓展的研究方法，推進研究進程作用顯著?；贐ookmetrix的電子圖書評價結果，主要展示了其受關注程度和網(wǎng)絡傳播的社會影響力，并不能用于評判圖書的全部價值，綜合考量學術電子圖書的學術影響力和社會影響力，應該針對學科的不同，成果的不同形式，構建同行評議、文獻計量與傳播影響力相結合的多維科學評價方法，使科學影響力的評價更趨合理。

參考文獻

[1]Book Citation Index[EB/OL].http：//wokinfo.com/products_tools/multidisciplinary/bookcitationindex/，2017-08-12.

[2]孫勇中，袁曦臨，錢鵬.外文核心學術圖書模糊綜合評價體系的建立[J].圖書情報工作，2007，51（6）：134-138.

[3]熊霞，高凡，郭麗君.外文電子圖書學術影響力評價方法探討——基于BKCI、Scopus Article Metrics、Bookmetrix的實例比較[J].現(xiàn)代情報，2016，36（10）：118-122.

[4]林曉華.基于Altmetrics工具的電子圖書學術影響力評價體系構建——以Springer電子圖書為例[J].出版發(fā)行研究，2016，（4）：85-89.

[5]雷淑義，呂先競.Altmetrics視角下的學術圖書影響力評價研究[J].西南民族大學學報：人文社科版，2017，38（6），225-231.

[6]雷淑義，呂先競.我國人文社會科學學術圖書Altmetrics評價：挑戰(zhàn)及應用[J].圖書情報工作，2017，61（11），133-139.

[7]Hammarfelt，B.Using Altmetrics for Assessing Research Impact in the Humanities[J].Scientometrics，2014，101（2）：1419-1430.

[8]Zuccala A A，Verleysen F T，Cornacchia R，et al.Altmetrics for the Humanities：Comparing Goodreads Reader Ratings with Citations to History Books[J].Aslib Journal of Information Management，2015，67（3）：320-336.

[9]Kousha K，Thelwall M.Web Indicators for Research Evaluation.Part 3：Books and Non-Standard Outputs[J].El Profesional De La Información，2015，24（6）：724-736.

[10]Thelwall M，Kousha K.Web Indicators for Research Evaluation：Part 2：Social Media Metrics[J].El Profesional De La Información，2015，24（5）：607-620.

[11]Kousha K，Thelwall M.Alternative Metrics for Book Impact Assessment：Can Choice Reviews be a Useful Source？[C].Proceedings of the 15th International Conference On Scientometrics and Informetrics，2015：59-70.

[12]Torres-Salinas D，Robinson-Garcia N，Gorraiz J.Filling the Citation Gap：Measuring the Multidimensional Impact of the Academic Book at Institutional Level with PlumX[J].Scientometrics，2017，113（3）：1371-1384.

[13]Snijder R.Revisiting an Open Access Monograph Experiment：Measuring Citations and Tweets 5 Years Later[J].Scientometrics，2016，109（3）：1855-1875.

[14]Zhou QQ，Zhang，CZ，Zhao，SX et al.Measuring Book Impact Based on the Multi-Granularity Online Review Mining[J].Scientometrics，2016，107（3）：1435-1455.

[15]邁克·塞沃爾.鏈接分析：信息科學的研究方法[M].孫建軍，譯.南京：東南大學出版社，2009：34.

[16]盧冶飛，孫忠寶.應用統(tǒng)計學（第2 版）[M].北京：清華大學出版社，2015：36-48.

[17]Yan K K，Gerstein M.The Spread of Scientific Information：Insights from the Web Usage Statistics in PLOS Article-Level Metrics[J].PLOS ONE，2011，6（5）：e19917.

[18]Li X，Thelwall M.F1000，Mendeley and Traditional Bibliometric Indicators[C].Proceedings of the 17th International Conference on Science and Technology Indicators，2012，（2）：451-551.

（責任編輯：郭沫含）