Altmetrics在學(xué)術(shù)論文評(píng)價(jià)中的特征與優(yōu)勢(shì)分析
——以醫(yī)學(xué)健康領(lǐng)域?yàn)槔?/h1>
2021-05-19 08:44:10陳華芳向菲
數(shù)字圖書館論壇 2021年2期
陳華芳 向菲
（華中科技大學(xué)醫(yī)藥衛(wèi)生管理學(xué)院，武漢 430030）
隨著社交網(wǎng)絡(luò)的普及，學(xué)術(shù)成果的傳播渠道發(fā)生改變，過去必須借助紙質(zhì)的圖書、期刊進(jìn)行傳播，現(xiàn)在可以直接在社交軟件上發(fā)布、轉(zhuǎn)發(fā)、收藏等。在社交網(wǎng)絡(luò)平臺(tái)上的傳播、互動(dòng)提升了學(xué)術(shù)成果的影響力范圍，影響力的體現(xiàn)方式不再局限于傳統(tǒng)的被引頻次，還包括分享、收藏、評(píng)論、點(diǎn)贊等[1]。傳統(tǒng)計(jì)量指標(biāo)如被引頻次、H指數(shù)、影響因子等在使用中逐漸暴露出時(shí)滯期長、影響力不足、引用動(dòng)機(jī)復(fù)雜等問題[2]，在這種情況下，Priem于2010年提出Altmetrics指標(biāo)。2012年國內(nèi)學(xué)者劉春麗[3]首次引入Altmetrics指標(biāo)，并將其譯為選擇性計(jì)量學(xué)；2013年，邱均平等[2]將其譯為替代計(jì)量學(xué)，由慶斌等[4]譯為補(bǔ)充計(jì)量學(xué)等。Altmetrics在國內(nèi)的研究開始逐漸趨熱，但研究主要集中在Altmetrics指標(biāo)與引文指標(biāo)關(guān)系的探究[5-8]，而對(duì)Altmetrics指標(biāo)與其他層面指標(biāo)關(guān)系的研究較少。本文將探究Altmetrics與論文、作者、期刊3個(gè)層面的傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的關(guān)系，分析Altmetrics在學(xué)術(shù)論文評(píng)價(jià)中的特征與優(yōu)勢(shì)，為Altmetrics的應(yīng)用提供參考建議。
1 研究背景
1.1 Altmetrics在醫(yī)學(xué)健康領(lǐng)域的應(yīng)用價(jià)值
醫(yī)學(xué)健康領(lǐng)域存在嚴(yán)重的知識(shí)壁壘，醫(yī)患雙方的信息不對(duì)稱是導(dǎo)致醫(yī)患關(guān)系緊張的一個(gè)重要原因[9]?！丁敖】抵袊?030”規(guī)劃綱要》指出可以通過新媒體拓展健康教育，提高全民健康素養(yǎng)[10]。隨著社交網(wǎng)絡(luò)或在線社區(qū)的興起，期刊文獻(xiàn)開始通過互聯(lián)網(wǎng)傳播，人們可以通過新媒體輕松獲取海量信息，但如何甄別文獻(xiàn)價(jià)值成了新的難題。傳統(tǒng)的引文評(píng)價(jià)方式由于需要時(shí)間積累已經(jīng)無法滿足公眾對(duì)于最新研究成果進(jìn)行及時(shí)評(píng)價(jià)的需求。如2020年新冠肺炎疫情期間，大眾對(duì)新的治療藥物、治療方案進(jìn)行及時(shí)評(píng)價(jià)的需求達(dá)到前所未有的高度，迫切需要即時(shí)、有效的新指標(biāo)來幫助大眾進(jìn)行分辨。Altmetrics的即時(shí)性可以反映最新成果的影響力，但對(duì)于Altmetrics的有效性和科學(xué)性需要進(jìn)一步探究。目前已有部分學(xué)者對(duì)單一學(xué)科的Altmetrics與傳統(tǒng)計(jì)量指標(biāo)關(guān)系進(jìn)行探究，如航空航天醫(yī)學(xué)[11]、糖尿病[12]、臨床醫(yī)學(xué)[5]等，但對(duì)于整個(gè)醫(yī)學(xué)健康領(lǐng)域來說，Altmetrics的應(yīng)用方式還需要進(jìn)一步探究。
1.2 Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)的關(guān)系變化
目前已有許多學(xué)者對(duì)于Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)進(jìn)行研究，但結(jié)果不一致，兩者之間的關(guān)系仍然不明確。Mendeley讀者數(shù)是目前Altmetrics中文獻(xiàn)覆蓋率最高的指標(biāo)，被引頻次是傳統(tǒng)計(jì)量中最基礎(chǔ)的指標(biāo)。以討論最多的Mendeley讀者數(shù)與被引頻次關(guān)系來看，它們的相關(guān)系數(shù)由于數(shù)據(jù)源的學(xué)科和時(shí)間不同一直在變化。研究的主要引文數(shù)據(jù)源來自Scopus、Web of Science和Google Scholar，Schl?gl等[13]以信息系統(tǒng)學(xué)的期刊文章為研究對(duì)象，得到相關(guān)系數(shù)為0.510和0.590；匡登輝[14]發(fā)現(xiàn)引用次數(shù)≥100的PLoS期刊論文中兩者相關(guān)系數(shù)為0.376；Li等[15]研究Nature、Science的文章得到的相關(guān)系數(shù)為0.559和0.540；Syamili等[16]以“Ebola disease”為主題獲取的文章中，兩者相關(guān)系數(shù)為0.678；圖書館和信息科學(xué)領(lǐng)域的期刊文章中兩者相關(guān)系數(shù)為0.559[17]；生物科學(xué)學(xué)科的期刊論文中兩者相關(guān)系數(shù)為0.450[18]；漢語言文學(xué)學(xué)科文獻(xiàn)中兩者相關(guān)系數(shù)為0.601[19]；以“Altmetrics”為主題的文獻(xiàn)中兩者相關(guān)系數(shù)為0.687[20]；“基因編輯”文獻(xiàn)中兩者相關(guān)系數(shù)為0.747[21]；在PLoS One期刊的研究論文中兩者相關(guān)系數(shù)為0.520[22]；余厚強(qiáng)[23]以2012年1月、2013年1月和2014年1月在Altmetric.com發(fā)表的所有論文為研究對(duì)象，兩者相關(guān)系數(shù)為0.614。根據(jù)各文章中實(shí)驗(yàn)數(shù)據(jù)的最早年限為橫坐標(biāo)，相關(guān)系數(shù)為縱坐標(biāo)，繪制圖1。從Mendeley讀者數(shù)與被引頻次可以看出，Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)的關(guān)系可能會(huì)因?yàn)閷W(xué)科和時(shí)間的改變而發(fā)生改變。
Syamili等[16]學(xué)者對(duì)于2010—2015年數(shù)據(jù)源的研究表明，Altmetrics的覆蓋率很低，只有15%～24%的出版物呈現(xiàn)一些Altmetrics指標(biāo)數(shù)據(jù)，不過隨著時(shí)間推移Altmetrics的使用頻率逐漸增加。由圖1也可以看出，隨著時(shí)間的推移，Altmetrics與傳統(tǒng)計(jì)量指標(biāo)的關(guān)系可能發(fā)生變化，需要繼續(xù)對(duì)其進(jìn)行探究。
圖1 Mendeley與被引頻次的相關(guān)系數(shù)
2 數(shù)據(jù)來源與方法
2.1 數(shù)據(jù)來源
（1）Altmetrics指標(biāo)獲取。Altmetric.com作為目前社交媒體數(shù)據(jù)的重要平臺(tái)之一，其數(shù)據(jù)來源可靠，引入了其他平臺(tái)所沒有的傳統(tǒng)新聞與政策媒體提及和新型社交媒體指標(biāo)，指標(biāo)覆蓋范圍廣。同時(shí)考慮到論文必須有一定的被引積累時(shí)間，故選取2016年發(fā)表的醫(yī)學(xué)健康領(lǐng)域最受關(guān)注的前100篇文章作為研究對(duì)象，數(shù)據(jù)搜集時(shí)間為2020年4月29日。Altmetric.com平臺(tái)限定檢索主題為“Medical and Health Sciences”，學(xué)術(shù)成果類型為“Articles”，出版時(shí)間為2016年1月1日—2016年12月31日。根據(jù)Altmetric Attention Score（Altmetric.com所設(shè)定的指標(biāo)權(quán)重計(jì)算的總分）進(jìn)行排序，采集排名前100的文章Altmetrics指標(biāo)數(shù)據(jù)，主要包括新聞、政策文件、Wikipedia、視頻、Twitter、Facebook、博客、Google+、Mendeley讀者數(shù)等。
（2）傳統(tǒng)計(jì)量指標(biāo)獲取。通過文章DOI在Web of Science數(shù)據(jù)庫查詢文章的關(guān)鍵詞數(shù)、是否被收錄為ESI高被引論文。期刊評(píng)價(jià)指標(biāo)來源于JCR，包括期刊等級(jí)、2015年期刊影響因子、即年指數(shù)、論文影響分值、標(biāo)準(zhǔn)化特征因子、期刊影響因子百分位。在Scopus數(shù)據(jù)庫獲取文章的參考文獻(xiàn)數(shù)量、參考文獻(xiàn)質(zhì)量、施引文獻(xiàn)數(shù)量、施引文獻(xiàn)質(zhì)量、作者數(shù)量、科學(xué)年齡等指標(biāo)。
2.2 指標(biāo)分類
Altmetrics指標(biāo)的形式豐富且一直在擴(kuò)充，要對(duì)其加以利用，首先需要根據(jù)這些指標(biāo)的屬性內(nèi)涵進(jìn)行分類，以最大化發(fā)揮其優(yōu)勢(shì)[24]。有學(xué)者從社會(huì)關(guān)注度的3種不同來源途徑對(duì)指標(biāo)進(jìn)行分類，即社會(huì)媒體關(guān)注度、自媒體關(guān)注度、在線文獻(xiàn)管理軟件用戶關(guān)注度[25]。但其中包含的指標(biāo)數(shù)量較少，忽視了部分新指標(biāo)。也有學(xué)者將Altmetrics指標(biāo)分為4類，即大眾傳媒、社交活動(dòng)、學(xué)術(shù)使用、學(xué)術(shù)評(píng)論[26-27]。綜合上述觀點(diǎn)，剔除100篇文章對(duì)應(yīng)的微博等4個(gè)空指標(biāo)，本文將Altmetric.com的14個(gè)指標(biāo)分為4類。①大眾媒體，指論文在大眾媒體平臺(tái)被提及的次數(shù)，特征是自上而下的傳播機(jī)制，包括新聞、政策文件、Wikipedia和視頻；②社交活動(dòng)，指論文在社交媒體平臺(tái)上引發(fā)的一般公眾反應(yīng)熱度，特征是參與速度快、內(nèi)容簡(jiǎn)短、受眾面積廣，包括Twitter、Facebook、博客、Google+和Reddit；③學(xué)術(shù)使用，指論文被學(xué)術(shù)科研人員獲取使用的次數(shù)，包括Mendeley讀者數(shù)和專利；④學(xué)術(shù)評(píng)論，指論文在學(xué)術(shù)平臺(tái)引發(fā)的在線學(xué)術(shù)討論的次數(shù)，包括F1000、同行評(píng)議和Q&A（stack overflow）。
根據(jù)傳統(tǒng)計(jì)量指標(biāo)的所屬層級(jí)不同分為3個(gè)層面：①論文層面指標(biāo)包括關(guān)鍵詞數(shù)量、參考文獻(xiàn)數(shù)量、施引文獻(xiàn)數(shù)量、參考文獻(xiàn)H指數(shù)、施引文獻(xiàn)H指數(shù)、參考文獻(xiàn)平均被引頻次、施引文獻(xiàn)平均被引頻次；②作者層面指標(biāo)包括作者數(shù)量、第一作者科學(xué)年齡、通信作者科學(xué)年齡、作者平均科學(xué)年齡、作者最大H指數(shù)、第一作者H指數(shù)、通信作者H指數(shù)；③期刊層面指標(biāo)包括期刊等級(jí)、期刊影響因子、即年指數(shù)、論文影響分值、標(biāo)準(zhǔn)化特征因子、期刊影響因子百分位。
2.3 方法
常用的相關(guān)性檢驗(yàn)方法為Spearman法和Pearson法。本文首先采用非參數(shù)Kolmogorov-Smirnov單樣本正態(tài)性檢驗(yàn)法對(duì)樣本數(shù)據(jù)進(jìn)行檢驗(yàn)，根據(jù)正態(tài)性檢驗(yàn)結(jié)果選擇相關(guān)性檢驗(yàn)方法，數(shù)據(jù)服從正態(tài)性分布則采用Pearson法，不服從則采用Spearman法，檢驗(yàn)結(jié)果p<0.05時(shí)具有統(tǒng)計(jì)學(xué)意義。
ROC曲線又稱為受試者工作特征曲線（Receiver Operating Characteristic Curve），可用于檢測(cè)指標(biāo)的二分類識(shí)別效果。?；鶊D（Sankey Diagram）通過圖中的分支粗細(xì)可以直觀反映不同階段數(shù)據(jù)的流動(dòng)，揭示數(shù)據(jù)的復(fù)雜變化趨勢(shì)。線性回歸可以分析多個(gè)指標(biāo)之間的關(guān)系。根據(jù)相關(guān)性檢驗(yàn)結(jié)果選用上述方法對(duì)指標(biāo)關(guān)系進(jìn)一步分析。
3 研究結(jié)果分析
正態(tài)性檢驗(yàn)結(jié)果顯示，絕大多數(shù)指標(biāo)不服從正態(tài)分布，因此采用Spearman相關(guān)性檢驗(yàn)法對(duì)各層面?zhèn)鹘y(tǒng)計(jì)量指標(biāo)與Altmetrics指標(biāo)的相關(guān)性進(jìn)行檢驗(yàn)。
3.1 論文層面
如表1所示，根據(jù)Altmetrics指標(biāo)與論文層面的傳統(tǒng)計(jì)量指標(biāo)相關(guān)結(jié)果大致可以分為兩類，與論文層面的指標(biāo)不相關(guān)的大眾媒體和社交活動(dòng)為一類，與指標(biāo)較強(qiáng)相關(guān)的學(xué)術(shù)使用和學(xué)術(shù)評(píng)論為一類。其中，學(xué)術(shù)使用與論文層面的指標(biāo)均顯著相關(guān)，與施引文獻(xiàn)數(shù)量、施引文獻(xiàn)H指數(shù)呈極強(qiáng)相關(guān)。學(xué)術(shù)評(píng)論與關(guān)鍵詞數(shù)量、參考文獻(xiàn)指標(biāo)不相關(guān)，與施引文獻(xiàn)相關(guān)指標(biāo)呈中相關(guān)。
表1 論文層面指標(biāo)與Altmetrics指標(biāo)的相關(guān)系數(shù)
學(xué)術(shù)使用與施引文獻(xiàn)數(shù)量相關(guān)系數(shù)高達(dá)0.867，認(rèn)為學(xué)術(shù)使用可以識(shí)別高被引文獻(xiàn)，采用ROC曲線進(jìn)一步分析。根據(jù)文章是否被ESI高被引論文收錄將文章分為ESI高被引論文和非ESI高被引論文。學(xué)術(shù)使用識(shí)別ESI高被引論文的ROC曲線圖AUC面積為0.929，可見學(xué)術(shù)使用對(duì)ESI高被引論文有較好的識(shí)別能力。
3.2 作者層面
以作者的科學(xué)年齡和H指數(shù)表示作者的學(xué)術(shù)成熟度，由表2可知，大眾媒體、社交活動(dòng)與作者指標(biāo)均不相關(guān)，學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與作者數(shù)量呈中相關(guān)，與作者科學(xué)年齡的相關(guān)性不顯著，與作者最大H指數(shù)和通信作者H指數(shù)弱相關(guān)?？梢?，大眾媒體、社交活動(dòng)與作者學(xué)術(shù)成熟度無關(guān)，學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與作者學(xué)術(shù)成熟度弱相關(guān)。
表2 作者層面指標(biāo)與Altmetrics指標(biāo)的相關(guān)系數(shù)
3.3 期刊層面
期刊等級(jí)、期刊影響因子、即年指數(shù)等指標(biāo)均表示期刊質(zhì)量。由表3可知，大眾媒體與期刊影響因子百分位弱相關(guān)，與其他期刊質(zhì)量指標(biāo)不相關(guān)。社交活動(dòng)與標(biāo)準(zhǔn)化特征因子無顯著相關(guān)，與其他期刊質(zhì)量指標(biāo)有顯著弱相關(guān)。學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與期刊等級(jí)無顯著相關(guān)，與其他期刊質(zhì)量指標(biāo)有顯著相關(guān)，但相關(guān)系數(shù)均小于0.450。
表3 期刊層面指標(biāo)與Altmetrics指標(biāo)的相關(guān)系數(shù)
3.4 計(jì)量指標(biāo)間的數(shù)據(jù)流動(dòng)
根據(jù)相關(guān)性檢驗(yàn)結(jié)果，選取關(guān)鍵詞數(shù)量、參考文獻(xiàn)數(shù)量、作者數(shù)量、學(xué)術(shù)使用、學(xué)術(shù)評(píng)論、ESI高被引，反映文章的使用路徑，體現(xiàn)文章學(xué)術(shù)影響力的作用過程。關(guān)鍵詞數(shù)量、參考文獻(xiàn)數(shù)量、作者數(shù)量、學(xué)術(shù)使用4個(gè)指標(biāo)根據(jù)中位數(shù)劃分多少；學(xué)術(shù)評(píng)論由于大部分值為0，因此根據(jù)值是否為0劃分有無；根據(jù)文章是否被ESI高被引論文收錄，將文章劃分為ESI高被引論文與非ESI高被引論文。根據(jù)論文在不同階段的流動(dòng)情況制作桑基圖如圖2所示。
由圖2可以看出，關(guān)鍵詞數(shù)量多、參考文獻(xiàn)數(shù)量多、作者數(shù)量多的文章在學(xué)術(shù)平臺(tái)上被使用的概率更大，學(xué)術(shù)使用多的文章更可能是ESI高被引論文，學(xué)術(shù)使用少的文章更可能是非ESI高被引論文?？傮w來看，能夠引發(fā)在線學(xué)術(shù)討論的文章較少，學(xué)術(shù)評(píng)論的有無與作者數(shù)量有關(guān)，有學(xué)術(shù)評(píng)論的文章更可能成為ESI高被引論文。
3.5 被引頻次的預(yù)測(cè)模型
由表1可知，學(xué)術(shù)使用和學(xué)術(shù)評(píng)論與施引文獻(xiàn)數(shù)量中強(qiáng)相關(guān)，且經(jīng)過驗(yàn)證學(xué)術(shù)使用可以識(shí)別高被引文獻(xiàn)，推測(cè)學(xué)術(shù)使用與學(xué)術(shù)評(píng)論可以預(yù)測(cè)論文的被引頻次，通過線性回歸對(duì)預(yù)測(cè)進(jìn)行驗(yàn)證。考慮到這兩個(gè)預(yù)測(cè)變量對(duì)于施引文獻(xiàn)數(shù)量的作用可能互相影響，在回歸模型中加入交互項(xiàng)。被引頻次的預(yù)測(cè)模型見公式（1）。
圖2 計(jì)量指標(biāo)間的數(shù)據(jù)流動(dòng)圖
學(xué)術(shù)使用、學(xué)術(shù)評(píng)論p值均小于0.05，證明被引頻次與學(xué)術(shù)使用、學(xué)術(shù)評(píng)論有顯著線性關(guān)系，回歸模型具有顯著性。模型R2值為0.874，調(diào)整R2值為0.870，擬合效果較好。交互項(xiàng)p值小于0.05，表明兩個(gè)預(yù)測(cè)變量的交互項(xiàng)顯著，推測(cè)學(xué)術(shù)評(píng)論、學(xué)術(shù)使用中至少有一個(gè)預(yù)測(cè)變量與被引頻次的關(guān)系會(huì)受到另一個(gè)預(yù)測(cè)變量影響。
4 討論
4.1 Altmetrics在論文評(píng)價(jià)中的特征分析
學(xué)術(shù)成果的影響力由學(xué)術(shù)影響力和社會(huì)影響力構(gòu)成[24]，主要區(qū)別在于二者的受眾不同，學(xué)術(shù)影響力指的是對(duì)學(xué)術(shù)界的人（學(xué)術(shù)同行、專家群體等）產(chǎn)生的影響，社會(huì)影響力表現(xiàn)在社會(huì)大眾對(duì)學(xué)術(shù)論文的反應(yīng)熱度。
4.1.1 大眾媒體、社交活動(dòng)與引文代表的受眾不同
學(xué)術(shù)研究的成果不能只是空中樓閣，必須要作用于社會(huì)，服務(wù)于大眾，最終得到社會(huì)的認(rèn)可[24]。數(shù)字媒體的發(fā)展拉近了學(xué)術(shù)與社會(huì)大眾的距離，大眾可以在各種社交網(wǎng)絡(luò)或者信息平臺(tái)近乎零成本地獲取論文。大眾媒體、社交活動(dòng)表現(xiàn)的是媒體平臺(tái)上學(xué)術(shù)成果受到的關(guān)注，即論文的社會(huì)影響力。大眾媒體、社交活動(dòng)與論文層面的指標(biāo)均不相關(guān)，與其他學(xué)者研究結(jié)果一致[8,16,28]，由此可見，社會(huì)影響與學(xué)術(shù)影響并不相關(guān)，社會(huì)影響的受眾與傳統(tǒng)的學(xué)術(shù)界并沒有大幅度重合。傳統(tǒng)的引文評(píng)價(jià)指標(biāo)主要反映的是學(xué)術(shù)界對(duì)于學(xué)術(shù)成果的利用，產(chǎn)生這種行為的是“引用作者”。數(shù)字媒體帶來新的傳播途徑后，學(xué)術(shù)成果的影響力范圍拓展到學(xué)術(shù)界以外的人群，大眾媒體、社交活動(dòng)可以作為傳統(tǒng)引文評(píng)價(jià)體系的補(bǔ)充，拓展學(xué)術(shù)成果影響力的計(jì)量范圍。
4.1.2 學(xué)術(shù)使用、學(xué)術(shù)評(píng)論可以表征高質(zhì)量的文章
一篇文章在期刊上發(fā)表需要經(jīng)過同行評(píng)議，期刊質(zhì)量高，評(píng)審對(duì)于稿件質(zhì)量的要求也高，嚴(yán)謹(jǐn)?shù)膶徃暹^程是稿件質(zhì)量的重要保障[29]。期刊的質(zhì)量指標(biāo)體現(xiàn)了經(jīng)過同行評(píng)議的文章價(jià)值，學(xué)術(shù)使用和學(xué)術(shù)評(píng)論的產(chǎn)生者多是相關(guān)領(lǐng)域的研究人員，對(duì)于文章的認(rèn)可在一定程度上可以體現(xiàn)文章的潛在質(zhì)量（價(jià)值）。學(xué)術(shù)使用和學(xué)術(shù)評(píng)論與期刊質(zhì)量指標(biāo)（除期刊等級(jí)外）均相關(guān)，學(xué)術(shù)使用對(duì)于高被引文獻(xiàn)具有一定的識(shí)別能力，且學(xué)術(shù)使用和學(xué)術(shù)評(píng)論可以預(yù)測(cè)被引頻次，證實(shí)學(xué)術(shù)使用和學(xué)術(shù)評(píng)論能夠在一定程度上表征高質(zhì)量的文章。
4.1.3 Altmetrics與傳統(tǒng)計(jì)量指標(biāo)相互“引流”
關(guān)鍵詞數(shù)量表示文章被檢索獲取的入口，是學(xué)術(shù)活動(dòng)開始的起點(diǎn)，關(guān)鍵詞數(shù)量越多，學(xué)術(shù)使用越活躍。學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與作者數(shù)量顯著相關(guān)，與關(guān)鍵詞數(shù)一樣，讀者可能通過查閱作者的已發(fā)表文獻(xiàn)進(jìn)入，作者數(shù)量越多，入口更多。有學(xué)術(shù)評(píng)論的文章多為作者數(shù)量多的文章，作者數(shù)量越多，在文章發(fā)表的初始會(huì)帶來更多的學(xué)術(shù)使用和學(xué)術(shù)評(píng)論，如作者間的交流、作者的學(xué)生學(xué)習(xí)或者合作作者的閱讀交流，類似于引用中的自引。
學(xué)術(shù)使用與參考文獻(xiàn)數(shù)量呈中相關(guān)、與施引文獻(xiàn)數(shù)量呈極強(qiáng)相關(guān)，可以體現(xiàn)讀者對(duì)于文章參考文獻(xiàn)的跟蹤行為和施引文獻(xiàn)的追溯行為，參考文獻(xiàn)的讀者會(huì)跟蹤其被引用情況，施引文獻(xiàn)的讀者會(huì)追本溯源探究其參考的根源。
學(xué)術(shù)評(píng)論一般是圍繞文章內(nèi)容展開，評(píng)論的產(chǎn)生者多是同領(lǐng)域研究學(xué)者。學(xué)術(shù)評(píng)論與施引文獻(xiàn)數(shù)量、施引文獻(xiàn)質(zhì)量呈中相關(guān)，且有學(xué)術(shù)評(píng)論的文章多轉(zhuǎn)化為高被引文章，可以認(rèn)為學(xué)術(shù)評(píng)論為被引頻次帶來“流量”，反映學(xué)者的研究興趣、思維碰撞和互相啟發(fā)。
4.2 Altmetrics在論文評(píng)價(jià)中的優(yōu)勢(shì)
4.2.1 Altmetrics指標(biāo)可以發(fā)現(xiàn)年輕的優(yōu)秀學(xué)者
傳統(tǒng)的個(gè)人學(xué)術(shù)影響力定量評(píng)價(jià)方法包括論文總數(shù)、引文總數(shù)、篇均被引數(shù)、H指數(shù)、社會(huì)網(wǎng)絡(luò)分析法等[30]。其中H指數(shù)因?yàn)榧骖櫿撐牡臄?shù)量與質(zhì)量，得到廣泛使用。然而，H指數(shù)在很大程度上依賴于學(xué)者的學(xué)術(shù)生涯時(shí)間，年輕學(xué)者沒有足夠的時(shí)間積累引文量。Altmetrics指標(biāo)的積累時(shí)間短，可以做出快速反應(yīng)，有學(xué)者參考H指數(shù)的定義提出Hmen指數(shù)（以Mendeley讀者數(shù)為基礎(chǔ)），驗(yàn)證發(fā)現(xiàn)Hmen指數(shù)可以發(fā)現(xiàn)年輕的杰出學(xué)者[31]。實(shí)驗(yàn)結(jié)果中，Altmetrics指標(biāo)與作者的科學(xué)年齡均不相關(guān)、與文章的作者H指數(shù)不相關(guān)或者弱相關(guān)，表明Altmetrics指標(biāo)不受年齡和聲望的桎梏，對(duì)于年輕學(xué)者很友好。
4.2.2 學(xué)術(shù)使用、學(xué)術(shù)評(píng)論反映學(xué)術(shù)影響力更早更廣
學(xué)術(shù)使用的主要數(shù)據(jù)來源是Mendeley讀者數(shù)，Mendeley是在線學(xué)術(shù)社交網(wǎng)絡(luò)平臺(tái)，用戶多為科研人員，他們利用Mendeley進(jìn)行文獻(xiàn)的閱讀與標(biāo)注以及參考文獻(xiàn)的管理和學(xué)術(shù)交流[32]。學(xué)術(shù)論文的發(fā)表過程需要經(jīng)過選題、文獻(xiàn)閱讀與分析、制定和執(zhí)行實(shí)驗(yàn)方案、數(shù)據(jù)分析和處理、論文撰寫和投稿、外審意見修改等眾多環(huán)節(jié)，從功能上看，Mendeley參與了學(xué)術(shù)論文的寫作發(fā)表過程，學(xué)術(shù)使用是學(xué)術(shù)論文發(fā)表前的文章引用體現(xiàn)[33]。學(xué)術(shù)評(píng)論的產(chǎn)生者多是同領(lǐng)域研究學(xué)者，反映早期學(xué)者對(duì)于文章的看法。學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與被引頻次的關(guān)系也證實(shí)這一點(diǎn)，學(xué)術(shù)使用、學(xué)術(shù)評(píng)論反映了用戶的預(yù)引用動(dòng)機(jī)，有效緩解被引頻次的時(shí)滯性問題。
在被引頻次的預(yù)測(cè)模型中學(xué)術(shù)使用的系數(shù)為0.472，可見并非所有的學(xué)術(shù)使用都會(huì)轉(zhuǎn)化為引用，很多學(xué)者在閱讀文章時(shí)得到隱性知識(shí)但并未引用。被引頻次統(tǒng)計(jì)的范圍是“引用作者”，學(xué)術(shù)使用統(tǒng)計(jì)的是“使用用戶”，相比之下學(xué)術(shù)使用反映的學(xué)術(shù)影響力范圍更廣。
4.2.3 社交活動(dòng)可以發(fā)現(xiàn)“寶藏”文獻(xiàn)
很多文章得到同行認(rèn)可能夠在期刊上發(fā)表，但在發(fā)表后不能及時(shí)得到關(guān)注和引用，加上“馬太效應(yīng)”的存在，被引更多的文獻(xiàn)引用的高被引文獻(xiàn)占比越高，高水平學(xué)者也更偏向引用高被引文獻(xiàn)，學(xué)術(shù)新秀往往得不到與自身學(xué)術(shù)水平相匹配的重視[34]，這也是“睡美人文獻(xiàn)”產(chǎn)生的重要原因。社交活動(dòng)與期刊質(zhì)量指標(biāo)相關(guān)，但與作者年齡、作者H指數(shù)均不相關(guān)，通過社交活動(dòng)可以不受作者聲望的影響發(fā)現(xiàn)優(yōu)秀的文章。此外，社交活動(dòng)與關(guān)鍵詞數(shù)、施引文獻(xiàn)數(shù)量、參考文獻(xiàn)數(shù)量、作者數(shù)量等不相關(guān)，這些指標(biāo)都是讀者的檢索入口。綜上所述，社交活動(dòng)可以發(fā)現(xiàn)聲望較低、檢索入口較少的“寶藏”文獻(xiàn)。
5 結(jié)語
Web2.0時(shí)代信息傳播更便利的同時(shí)也拓寬了學(xué)術(shù)成果的傳播渠道，學(xué)術(shù)成果的受眾也從原來的相關(guān)領(lǐng)域?qū)W者拓展到公眾，對(duì)于學(xué)術(shù)成果的評(píng)價(jià)也應(yīng)進(jìn)一步拓展。Altmetrics指標(biāo)中，大眾媒體、社交活動(dòng)可以對(duì)傳統(tǒng)引文評(píng)價(jià)體系進(jìn)行補(bǔ)充，拓展學(xué)術(shù)成果影響力的計(jì)量范圍；學(xué)術(shù)使用、學(xué)術(shù)評(píng)論表征的仍然是學(xué)術(shù)影響力，但相較于引文指標(biāo)的范圍集中于“引用作者”，二者的覆蓋范圍更廣，而且及時(shí)性更好，可以更早反映用戶的預(yù)引用動(dòng)機(jī)并有效緩解被引頻次的時(shí)滯性問題。可見，Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)并不是涇渭分明的，它們相互補(bǔ)充、相互“引流”。Altmetrics指標(biāo)的及時(shí)性為其應(yīng)用帶來了優(yōu)勢(shì)，可以打破年齡和聲望的桎梏，發(fā)現(xiàn)年輕的優(yōu)秀學(xué)者和檢索入口少、聲望低的“寶藏”文獻(xiàn)。
當(dāng)前在互聯(lián)網(wǎng)上傳播的文章數(shù)量較少，Altmetrics的覆蓋率仍然很低，大多數(shù)文章的Altmetrics指標(biāo)值為0，可用于分析的文章數(shù)量有限。學(xué)術(shù)使用與學(xué)術(shù)評(píng)論預(yù)測(cè)被引頻次的交互項(xiàng)顯著，兩者間的作用關(guān)系還需要進(jìn)一步明確。引文評(píng)價(jià)中存在的動(dòng)機(jī)問題在Altmetrics中依然存在，Altmetrics指標(biāo)與期刊質(zhì)量指標(biāo)多為弱相關(guān)，部分甚至負(fù)相關(guān)，可以認(rèn)為Altmetrics指標(biāo)對(duì)于高質(zhì)量的文章是有一定的發(fā)掘能力的，未來Altmetrics的具體應(yīng)用方式還需要進(jìn)一步探索。
猜你喜歡
社交新氣象睿士(2023年3期)2023-03-22 08:35:38 如何理解“Curator”：一個(gè)由翻譯引發(fā)的學(xué)術(shù)思考中國博物館(2019年2期)2019-12-07 05:40:44 試探網(wǎng)絡(luò)流行語在大學(xué)生社交活動(dòng)中的語用價(jià)值四川省干部函授學(xué)院學(xué)報(bào)(2019年2期)2019-08-27 01:20:26 統(tǒng)一數(shù)量再比較小學(xué)生學(xué)習(xí)指導(dǎo)(低年級(jí))(2019年3期)2019-04-22 03:34:42 對(duì)學(xué)術(shù)造假重拳出擊商周刊(2019年2期)2019-02-20 01:14:22 牛津大學(xué)《Cherwell》大學(xué)生(2017年3期)2017-03-21 15:15:42 頭發(fā)的數(shù)量小獼猴智力畫刊(2016年6期)2016-05-14 21:40:48 我國博物館數(shù)量達(dá)4510家現(xiàn)代企業(yè)(2015年5期)2015-02-28 18:51:08 學(xué)術(shù)時(shí)代人物(新教育家)(2013年3期)2013-08-21 13:25:30 創(chuàng)新需要學(xué)術(shù)爭(zhēng)鳴軍事歷史(2003年5期)2003-08-21 06:36:40
陳華芳 向菲
（華中科技大學(xué)醫(yī)藥衛(wèi)生管理學(xué)院，武漢 430030）
隨著社交網(wǎng)絡(luò)的普及，學(xué)術(shù)成果的傳播渠道發(fā)生改變，過去必須借助紙質(zhì)的圖書、期刊進(jìn)行傳播，現(xiàn)在可以直接在社交軟件上發(fā)布、轉(zhuǎn)發(fā)、收藏等。在社交網(wǎng)絡(luò)平臺(tái)上的傳播、互動(dòng)提升了學(xué)術(shù)成果的影響力范圍，影響力的體現(xiàn)方式不再局限于傳統(tǒng)的被引頻次，還包括分享、收藏、評(píng)論、點(diǎn)贊等[1]。傳統(tǒng)計(jì)量指標(biāo)如被引頻次、H指數(shù)、影響因子等在使用中逐漸暴露出時(shí)滯期長、影響力不足、引用動(dòng)機(jī)復(fù)雜等問題[2]，在這種情況下，Priem于2010年提出Altmetrics指標(biāo)。2012年國內(nèi)學(xué)者劉春麗[3]首次引入Altmetrics指標(biāo)，并將其譯為選擇性計(jì)量學(xué)；2013年，邱均平等[2]將其譯為替代計(jì)量學(xué)，由慶斌等[4]譯為補(bǔ)充計(jì)量學(xué)等。Altmetrics在國內(nèi)的研究開始逐漸趨熱，但研究主要集中在Altmetrics指標(biāo)與引文指標(biāo)關(guān)系的探究[5-8]，而對(duì)Altmetrics指標(biāo)與其他層面指標(biāo)關(guān)系的研究較少。本文將探究Altmetrics與論文、作者、期刊3個(gè)層面的傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的關(guān)系，分析Altmetrics在學(xué)術(shù)論文評(píng)價(jià)中的特征與優(yōu)勢(shì)，為Altmetrics的應(yīng)用提供參考建議。
1 研究背景
1.1 Altmetrics在醫(yī)學(xué)健康領(lǐng)域的應(yīng)用價(jià)值
醫(yī)學(xué)健康領(lǐng)域存在嚴(yán)重的知識(shí)壁壘，醫(yī)患雙方的信息不對(duì)稱是導(dǎo)致醫(yī)患關(guān)系緊張的一個(gè)重要原因[9]?！丁敖】抵袊?030”規(guī)劃綱要》指出可以通過新媒體拓展健康教育，提高全民健康素養(yǎng)[10]。隨著社交網(wǎng)絡(luò)或在線社區(qū)的興起，期刊文獻(xiàn)開始通過互聯(lián)網(wǎng)傳播，人們可以通過新媒體輕松獲取海量信息，但如何甄別文獻(xiàn)價(jià)值成了新的難題。傳統(tǒng)的引文評(píng)價(jià)方式由于需要時(shí)間積累已經(jīng)無法滿足公眾對(duì)于最新研究成果進(jìn)行及時(shí)評(píng)價(jià)的需求。如2020年新冠肺炎疫情期間，大眾對(duì)新的治療藥物、治療方案進(jìn)行及時(shí)評(píng)價(jià)的需求達(dá)到前所未有的高度，迫切需要即時(shí)、有效的新指標(biāo)來幫助大眾進(jìn)行分辨。Altmetrics的即時(shí)性可以反映最新成果的影響力，但對(duì)于Altmetrics的有效性和科學(xué)性需要進(jìn)一步探究。目前已有部分學(xué)者對(duì)單一學(xué)科的Altmetrics與傳統(tǒng)計(jì)量指標(biāo)關(guān)系進(jìn)行探究，如航空航天醫(yī)學(xué)[11]、糖尿病[12]、臨床醫(yī)學(xué)[5]等，但對(duì)于整個(gè)醫(yī)學(xué)健康領(lǐng)域來說，Altmetrics的應(yīng)用方式還需要進(jìn)一步探究。
1.2 Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)的關(guān)系變化
目前已有許多學(xué)者對(duì)于Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)進(jìn)行研究，但結(jié)果不一致，兩者之間的關(guān)系仍然不明確。Mendeley讀者數(shù)是目前Altmetrics中文獻(xiàn)覆蓋率最高的指標(biāo)，被引頻次是傳統(tǒng)計(jì)量中最基礎(chǔ)的指標(biāo)。以討論最多的Mendeley讀者數(shù)與被引頻次關(guān)系來看，它們的相關(guān)系數(shù)由于數(shù)據(jù)源的學(xué)科和時(shí)間不同一直在變化。研究的主要引文數(shù)據(jù)源來自Scopus、Web of Science和Google Scholar，Schl?gl等[13]以信息系統(tǒng)學(xué)的期刊文章為研究對(duì)象，得到相關(guān)系數(shù)為0.510和0.590；匡登輝[14]發(fā)現(xiàn)引用次數(shù)≥100的PLoS期刊論文中兩者相關(guān)系數(shù)為0.376；Li等[15]研究Nature、Science的文章得到的相關(guān)系數(shù)為0.559和0.540；Syamili等[16]以“Ebola disease”為主題獲取的文章中，兩者相關(guān)系數(shù)為0.678；圖書館和信息科學(xué)領(lǐng)域的期刊文章中兩者相關(guān)系數(shù)為0.559[17]；生物科學(xué)學(xué)科的期刊論文中兩者相關(guān)系數(shù)為0.450[18]；漢語言文學(xué)學(xué)科文獻(xiàn)中兩者相關(guān)系數(shù)為0.601[19]；以“Altmetrics”為主題的文獻(xiàn)中兩者相關(guān)系數(shù)為0.687[20]；“基因編輯”文獻(xiàn)中兩者相關(guān)系數(shù)為0.747[21]；在PLoS One期刊的研究論文中兩者相關(guān)系數(shù)為0.520[22]；余厚強(qiáng)[23]以2012年1月、2013年1月和2014年1月在Altmetric.com發(fā)表的所有論文為研究對(duì)象，兩者相關(guān)系數(shù)為0.614。根據(jù)各文章中實(shí)驗(yàn)數(shù)據(jù)的最早年限為橫坐標(biāo)，相關(guān)系數(shù)為縱坐標(biāo)，繪制圖1。從Mendeley讀者數(shù)與被引頻次可以看出，Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)的關(guān)系可能會(huì)因?yàn)閷W(xué)科和時(shí)間的改變而發(fā)生改變。
Syamili等[16]學(xué)者對(duì)于2010—2015年數(shù)據(jù)源的研究表明，Altmetrics的覆蓋率很低，只有15%～24%的出版物呈現(xiàn)一些Altmetrics指標(biāo)數(shù)據(jù)，不過隨著時(shí)間推移Altmetrics的使用頻率逐漸增加。由圖1也可以看出，隨著時(shí)間的推移，Altmetrics與傳統(tǒng)計(jì)量指標(biāo)的關(guān)系可能發(fā)生變化，需要繼續(xù)對(duì)其進(jìn)行探究。
圖1 Mendeley與被引頻次的相關(guān)系數(shù)
2 數(shù)據(jù)來源與方法
2.1 數(shù)據(jù)來源
（1）Altmetrics指標(biāo)獲取。Altmetric.com作為目前社交媒體數(shù)據(jù)的重要平臺(tái)之一，其數(shù)據(jù)來源可靠，引入了其他平臺(tái)所沒有的傳統(tǒng)新聞與政策媒體提及和新型社交媒體指標(biāo)，指標(biāo)覆蓋范圍廣。同時(shí)考慮到論文必須有一定的被引積累時(shí)間，故選取2016年發(fā)表的醫(yī)學(xué)健康領(lǐng)域最受關(guān)注的前100篇文章作為研究對(duì)象，數(shù)據(jù)搜集時(shí)間為2020年4月29日。Altmetric.com平臺(tái)限定檢索主題為“Medical and Health Sciences”，學(xué)術(shù)成果類型為“Articles”，出版時(shí)間為2016年1月1日—2016年12月31日。根據(jù)Altmetric Attention Score（Altmetric.com所設(shè)定的指標(biāo)權(quán)重計(jì)算的總分）進(jìn)行排序，采集排名前100的文章Altmetrics指標(biāo)數(shù)據(jù)，主要包括新聞、政策文件、Wikipedia、視頻、Twitter、Facebook、博客、Google+、Mendeley讀者數(shù)等。
（2）傳統(tǒng)計(jì)量指標(biāo)獲取。通過文章DOI在Web of Science數(shù)據(jù)庫查詢文章的關(guān)鍵詞數(shù)、是否被收錄為ESI高被引論文。期刊評(píng)價(jià)指標(biāo)來源于JCR，包括期刊等級(jí)、2015年期刊影響因子、即年指數(shù)、論文影響分值、標(biāo)準(zhǔn)化特征因子、期刊影響因子百分位。在Scopus數(shù)據(jù)庫獲取文章的參考文獻(xiàn)數(shù)量、參考文獻(xiàn)質(zhì)量、施引文獻(xiàn)數(shù)量、施引文獻(xiàn)質(zhì)量、作者數(shù)量、科學(xué)年齡等指標(biāo)。
2.2 指標(biāo)分類
Altmetrics指標(biāo)的形式豐富且一直在擴(kuò)充，要對(duì)其加以利用，首先需要根據(jù)這些指標(biāo)的屬性內(nèi)涵進(jìn)行分類，以最大化發(fā)揮其優(yōu)勢(shì)[24]。有學(xué)者從社會(huì)關(guān)注度的3種不同來源途徑對(duì)指標(biāo)進(jìn)行分類，即社會(huì)媒體關(guān)注度、自媒體關(guān)注度、在線文獻(xiàn)管理軟件用戶關(guān)注度[25]。但其中包含的指標(biāo)數(shù)量較少，忽視了部分新指標(biāo)。也有學(xué)者將Altmetrics指標(biāo)分為4類，即大眾傳媒、社交活動(dòng)、學(xué)術(shù)使用、學(xué)術(shù)評(píng)論[26-27]。綜合上述觀點(diǎn)，剔除100篇文章對(duì)應(yīng)的微博等4個(gè)空指標(biāo)，本文將Altmetric.com的14個(gè)指標(biāo)分為4類。①大眾媒體，指論文在大眾媒體平臺(tái)被提及的次數(shù)，特征是自上而下的傳播機(jī)制，包括新聞、政策文件、Wikipedia和視頻；②社交活動(dòng)，指論文在社交媒體平臺(tái)上引發(fā)的一般公眾反應(yīng)熱度，特征是參與速度快、內(nèi)容簡(jiǎn)短、受眾面積廣，包括Twitter、Facebook、博客、Google+和Reddit；③學(xué)術(shù)使用，指論文被學(xué)術(shù)科研人員獲取使用的次數(shù)，包括Mendeley讀者數(shù)和專利；④學(xué)術(shù)評(píng)論，指論文在學(xué)術(shù)平臺(tái)引發(fā)的在線學(xué)術(shù)討論的次數(shù)，包括F1000、同行評(píng)議和Q&A（stack overflow）。
根據(jù)傳統(tǒng)計(jì)量指標(biāo)的所屬層級(jí)不同分為3個(gè)層面：①論文層面指標(biāo)包括關(guān)鍵詞數(shù)量、參考文獻(xiàn)數(shù)量、施引文獻(xiàn)數(shù)量、參考文獻(xiàn)H指數(shù)、施引文獻(xiàn)H指數(shù)、參考文獻(xiàn)平均被引頻次、施引文獻(xiàn)平均被引頻次；②作者層面指標(biāo)包括作者數(shù)量、第一作者科學(xué)年齡、通信作者科學(xué)年齡、作者平均科學(xué)年齡、作者最大H指數(shù)、第一作者H指數(shù)、通信作者H指數(shù)；③期刊層面指標(biāo)包括期刊等級(jí)、期刊影響因子、即年指數(shù)、論文影響分值、標(biāo)準(zhǔn)化特征因子、期刊影響因子百分位。
2.3 方法
常用的相關(guān)性檢驗(yàn)方法為Spearman法和Pearson法。本文首先采用非參數(shù)Kolmogorov-Smirnov單樣本正態(tài)性檢驗(yàn)法對(duì)樣本數(shù)據(jù)進(jìn)行檢驗(yàn)，根據(jù)正態(tài)性檢驗(yàn)結(jié)果選擇相關(guān)性檢驗(yàn)方法，數(shù)據(jù)服從正態(tài)性分布則采用Pearson法，不服從則采用Spearman法，檢驗(yàn)結(jié)果p<0.05時(shí)具有統(tǒng)計(jì)學(xué)意義。
ROC曲線又稱為受試者工作特征曲線（Receiver Operating Characteristic Curve），可用于檢測(cè)指標(biāo)的二分類識(shí)別效果。?；鶊D（Sankey Diagram）通過圖中的分支粗細(xì)可以直觀反映不同階段數(shù)據(jù)的流動(dòng)，揭示數(shù)據(jù)的復(fù)雜變化趨勢(shì)。線性回歸可以分析多個(gè)指標(biāo)之間的關(guān)系。根據(jù)相關(guān)性檢驗(yàn)結(jié)果選用上述方法對(duì)指標(biāo)關(guān)系進(jìn)一步分析。
3 研究結(jié)果分析
正態(tài)性檢驗(yàn)結(jié)果顯示，絕大多數(shù)指標(biāo)不服從正態(tài)分布，因此采用Spearman相關(guān)性檢驗(yàn)法對(duì)各層面?zhèn)鹘y(tǒng)計(jì)量指標(biāo)與Altmetrics指標(biāo)的相關(guān)性進(jìn)行檢驗(yàn)。
3.1 論文層面
如表1所示，根據(jù)Altmetrics指標(biāo)與論文層面的傳統(tǒng)計(jì)量指標(biāo)相關(guān)結(jié)果大致可以分為兩類，與論文層面的指標(biāo)不相關(guān)的大眾媒體和社交活動(dòng)為一類，與指標(biāo)較強(qiáng)相關(guān)的學(xué)術(shù)使用和學(xué)術(shù)評(píng)論為一類。其中，學(xué)術(shù)使用與論文層面的指標(biāo)均顯著相關(guān)，與施引文獻(xiàn)數(shù)量、施引文獻(xiàn)H指數(shù)呈極強(qiáng)相關(guān)。學(xué)術(shù)評(píng)論與關(guān)鍵詞數(shù)量、參考文獻(xiàn)指標(biāo)不相關(guān)，與施引文獻(xiàn)相關(guān)指標(biāo)呈中相關(guān)。
表1 論文層面指標(biāo)與Altmetrics指標(biāo)的相關(guān)系數(shù)
學(xué)術(shù)使用與施引文獻(xiàn)數(shù)量相關(guān)系數(shù)高達(dá)0.867，認(rèn)為學(xué)術(shù)使用可以識(shí)別高被引文獻(xiàn)，采用ROC曲線進(jìn)一步分析。根據(jù)文章是否被ESI高被引論文收錄將文章分為ESI高被引論文和非ESI高被引論文。學(xué)術(shù)使用識(shí)別ESI高被引論文的ROC曲線圖AUC面積為0.929，可見學(xué)術(shù)使用對(duì)ESI高被引論文有較好的識(shí)別能力。
3.2 作者層面
以作者的科學(xué)年齡和H指數(shù)表示作者的學(xué)術(shù)成熟度，由表2可知，大眾媒體、社交活動(dòng)與作者指標(biāo)均不相關(guān)，學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與作者數(shù)量呈中相關(guān)，與作者科學(xué)年齡的相關(guān)性不顯著，與作者最大H指數(shù)和通信作者H指數(shù)弱相關(guān)?？梢?，大眾媒體、社交活動(dòng)與作者學(xué)術(shù)成熟度無關(guān)，學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與作者學(xué)術(shù)成熟度弱相關(guān)。
表2 作者層面指標(biāo)與Altmetrics指標(biāo)的相關(guān)系數(shù)
3.3 期刊層面
期刊等級(jí)、期刊影響因子、即年指數(shù)等指標(biāo)均表示期刊質(zhì)量。由表3可知，大眾媒體與期刊影響因子百分位弱相關(guān)，與其他期刊質(zhì)量指標(biāo)不相關(guān)。社交活動(dòng)與標(biāo)準(zhǔn)化特征因子無顯著相關(guān)，與其他期刊質(zhì)量指標(biāo)有顯著弱相關(guān)。學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與期刊等級(jí)無顯著相關(guān)，與其他期刊質(zhì)量指標(biāo)有顯著相關(guān)，但相關(guān)系數(shù)均小于0.450。
表3 期刊層面指標(biāo)與Altmetrics指標(biāo)的相關(guān)系數(shù)
3.4 計(jì)量指標(biāo)間的數(shù)據(jù)流動(dòng)
根據(jù)相關(guān)性檢驗(yàn)結(jié)果，選取關(guān)鍵詞數(shù)量、參考文獻(xiàn)數(shù)量、作者數(shù)量、學(xué)術(shù)使用、學(xué)術(shù)評(píng)論、ESI高被引，反映文章的使用路徑，體現(xiàn)文章學(xué)術(shù)影響力的作用過程。關(guān)鍵詞數(shù)量、參考文獻(xiàn)數(shù)量、作者數(shù)量、學(xué)術(shù)使用4個(gè)指標(biāo)根據(jù)中位數(shù)劃分多少；學(xué)術(shù)評(píng)論由于大部分值為0，因此根據(jù)值是否為0劃分有無；根據(jù)文章是否被ESI高被引論文收錄，將文章劃分為ESI高被引論文與非ESI高被引論文。根據(jù)論文在不同階段的流動(dòng)情況制作桑基圖如圖2所示。
由圖2可以看出，關(guān)鍵詞數(shù)量多、參考文獻(xiàn)數(shù)量多、作者數(shù)量多的文章在學(xué)術(shù)平臺(tái)上被使用的概率更大，學(xué)術(shù)使用多的文章更可能是ESI高被引論文，學(xué)術(shù)使用少的文章更可能是非ESI高被引論文?？傮w來看，能夠引發(fā)在線學(xué)術(shù)討論的文章較少，學(xué)術(shù)評(píng)論的有無與作者數(shù)量有關(guān)，有學(xué)術(shù)評(píng)論的文章更可能成為ESI高被引論文。
3.5 被引頻次的預(yù)測(cè)模型
由表1可知，學(xué)術(shù)使用和學(xué)術(shù)評(píng)論與施引文獻(xiàn)數(shù)量中強(qiáng)相關(guān)，且經(jīng)過驗(yàn)證學(xué)術(shù)使用可以識(shí)別高被引文獻(xiàn)，推測(cè)學(xué)術(shù)使用與學(xué)術(shù)評(píng)論可以預(yù)測(cè)論文的被引頻次，通過線性回歸對(duì)預(yù)測(cè)進(jìn)行驗(yàn)證。考慮到這兩個(gè)預(yù)測(cè)變量對(duì)于施引文獻(xiàn)數(shù)量的作用可能互相影響，在回歸模型中加入交互項(xiàng)。被引頻次的預(yù)測(cè)模型見公式（1）。
圖2 計(jì)量指標(biāo)間的數(shù)據(jù)流動(dòng)圖
學(xué)術(shù)使用、學(xué)術(shù)評(píng)論p值均小于0.05，證明被引頻次與學(xué)術(shù)使用、學(xué)術(shù)評(píng)論有顯著線性關(guān)系，回歸模型具有顯著性。模型R2值為0.874，調(diào)整R2值為0.870，擬合效果較好。交互項(xiàng)p值小于0.05，表明兩個(gè)預(yù)測(cè)變量的交互項(xiàng)顯著，推測(cè)學(xué)術(shù)評(píng)論、學(xué)術(shù)使用中至少有一個(gè)預(yù)測(cè)變量與被引頻次的關(guān)系會(huì)受到另一個(gè)預(yù)測(cè)變量影響。
4 討論
4.1 Altmetrics在論文評(píng)價(jià)中的特征分析
學(xué)術(shù)成果的影響力由學(xué)術(shù)影響力和社會(huì)影響力構(gòu)成[24]，主要區(qū)別在于二者的受眾不同，學(xué)術(shù)影響力指的是對(duì)學(xué)術(shù)界的人（學(xué)術(shù)同行、專家群體等）產(chǎn)生的影響，社會(huì)影響力表現(xiàn)在社會(huì)大眾對(duì)學(xué)術(shù)論文的反應(yīng)熱度。
4.1.1 大眾媒體、社交活動(dòng)與引文代表的受眾不同
學(xué)術(shù)研究的成果不能只是空中樓閣，必須要作用于社會(huì)，服務(wù)于大眾，最終得到社會(huì)的認(rèn)可[24]。數(shù)字媒體的發(fā)展拉近了學(xué)術(shù)與社會(huì)大眾的距離，大眾可以在各種社交網(wǎng)絡(luò)或者信息平臺(tái)近乎零成本地獲取論文。大眾媒體、社交活動(dòng)表現(xiàn)的是媒體平臺(tái)上學(xué)術(shù)成果受到的關(guān)注，即論文的社會(huì)影響力。大眾媒體、社交活動(dòng)與論文層面的指標(biāo)均不相關(guān)，與其他學(xué)者研究結(jié)果一致[8,16,28]，由此可見，社會(huì)影響與學(xué)術(shù)影響并不相關(guān)，社會(huì)影響的受眾與傳統(tǒng)的學(xué)術(shù)界并沒有大幅度重合。傳統(tǒng)的引文評(píng)價(jià)指標(biāo)主要反映的是學(xué)術(shù)界對(duì)于學(xué)術(shù)成果的利用，產(chǎn)生這種行為的是“引用作者”。數(shù)字媒體帶來新的傳播途徑后，學(xué)術(shù)成果的影響力范圍拓展到學(xué)術(shù)界以外的人群，大眾媒體、社交活動(dòng)可以作為傳統(tǒng)引文評(píng)價(jià)體系的補(bǔ)充，拓展學(xué)術(shù)成果影響力的計(jì)量范圍。
4.1.2 學(xué)術(shù)使用、學(xué)術(shù)評(píng)論可以表征高質(zhì)量的文章
一篇文章在期刊上發(fā)表需要經(jīng)過同行評(píng)議，期刊質(zhì)量高，評(píng)審對(duì)于稿件質(zhì)量的要求也高，嚴(yán)謹(jǐn)?shù)膶徃暹^程是稿件質(zhì)量的重要保障[29]。期刊的質(zhì)量指標(biāo)體現(xiàn)了經(jīng)過同行評(píng)議的文章價(jià)值，學(xué)術(shù)使用和學(xué)術(shù)評(píng)論的產(chǎn)生者多是相關(guān)領(lǐng)域的研究人員，對(duì)于文章的認(rèn)可在一定程度上可以體現(xiàn)文章的潛在質(zhì)量（價(jià)值）。學(xué)術(shù)使用和學(xué)術(shù)評(píng)論與期刊質(zhì)量指標(biāo)（除期刊等級(jí)外）均相關(guān)，學(xué)術(shù)使用對(duì)于高被引文獻(xiàn)具有一定的識(shí)別能力，且學(xué)術(shù)使用和學(xué)術(shù)評(píng)論可以預(yù)測(cè)被引頻次，證實(shí)學(xué)術(shù)使用和學(xué)術(shù)評(píng)論能夠在一定程度上表征高質(zhì)量的文章。
4.1.3 Altmetrics與傳統(tǒng)計(jì)量指標(biāo)相互“引流”
關(guān)鍵詞數(shù)量表示文章被檢索獲取的入口，是學(xué)術(shù)活動(dòng)開始的起點(diǎn)，關(guān)鍵詞數(shù)量越多，學(xué)術(shù)使用越活躍。學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與作者數(shù)量顯著相關(guān)，與關(guān)鍵詞數(shù)一樣，讀者可能通過查閱作者的已發(fā)表文獻(xiàn)進(jìn)入，作者數(shù)量越多，入口更多。有學(xué)術(shù)評(píng)論的文章多為作者數(shù)量多的文章，作者數(shù)量越多，在文章發(fā)表的初始會(huì)帶來更多的學(xué)術(shù)使用和學(xué)術(shù)評(píng)論，如作者間的交流、作者的學(xué)生學(xué)習(xí)或者合作作者的閱讀交流，類似于引用中的自引。
學(xué)術(shù)使用與參考文獻(xiàn)數(shù)量呈中相關(guān)、與施引文獻(xiàn)數(shù)量呈極強(qiáng)相關(guān)，可以體現(xiàn)讀者對(duì)于文章參考文獻(xiàn)的跟蹤行為和施引文獻(xiàn)的追溯行為，參考文獻(xiàn)的讀者會(huì)跟蹤其被引用情況，施引文獻(xiàn)的讀者會(huì)追本溯源探究其參考的根源。
學(xué)術(shù)評(píng)論一般是圍繞文章內(nèi)容展開，評(píng)論的產(chǎn)生者多是同領(lǐng)域研究學(xué)者。學(xué)術(shù)評(píng)論與施引文獻(xiàn)數(shù)量、施引文獻(xiàn)質(zhì)量呈中相關(guān)，且有學(xué)術(shù)評(píng)論的文章多轉(zhuǎn)化為高被引文章，可以認(rèn)為學(xué)術(shù)評(píng)論為被引頻次帶來“流量”，反映學(xué)者的研究興趣、思維碰撞和互相啟發(fā)。
4.2 Altmetrics在論文評(píng)價(jià)中的優(yōu)勢(shì)
4.2.1 Altmetrics指標(biāo)可以發(fā)現(xiàn)年輕的優(yōu)秀學(xué)者
傳統(tǒng)的個(gè)人學(xué)術(shù)影響力定量評(píng)價(jià)方法包括論文總數(shù)、引文總數(shù)、篇均被引數(shù)、H指數(shù)、社會(huì)網(wǎng)絡(luò)分析法等[30]。其中H指數(shù)因?yàn)榧骖櫿撐牡臄?shù)量與質(zhì)量，得到廣泛使用。然而，H指數(shù)在很大程度上依賴于學(xué)者的學(xué)術(shù)生涯時(shí)間，年輕學(xué)者沒有足夠的時(shí)間積累引文量。Altmetrics指標(biāo)的積累時(shí)間短，可以做出快速反應(yīng)，有學(xué)者參考H指數(shù)的定義提出Hmen指數(shù)（以Mendeley讀者數(shù)為基礎(chǔ)），驗(yàn)證發(fā)現(xiàn)Hmen指數(shù)可以發(fā)現(xiàn)年輕的杰出學(xué)者[31]。實(shí)驗(yàn)結(jié)果中，Altmetrics指標(biāo)與作者的科學(xué)年齡均不相關(guān)、與文章的作者H指數(shù)不相關(guān)或者弱相關(guān)，表明Altmetrics指標(biāo)不受年齡和聲望的桎梏，對(duì)于年輕學(xué)者很友好。
4.2.2 學(xué)術(shù)使用、學(xué)術(shù)評(píng)論反映學(xué)術(shù)影響力更早更廣
學(xué)術(shù)使用的主要數(shù)據(jù)來源是Mendeley讀者數(shù)，Mendeley是在線學(xué)術(shù)社交網(wǎng)絡(luò)平臺(tái)，用戶多為科研人員，他們利用Mendeley進(jìn)行文獻(xiàn)的閱讀與標(biāo)注以及參考文獻(xiàn)的管理和學(xué)術(shù)交流[32]。學(xué)術(shù)論文的發(fā)表過程需要經(jīng)過選題、文獻(xiàn)閱讀與分析、制定和執(zhí)行實(shí)驗(yàn)方案、數(shù)據(jù)分析和處理、論文撰寫和投稿、外審意見修改等眾多環(huán)節(jié)，從功能上看，Mendeley參與了學(xué)術(shù)論文的寫作發(fā)表過程，學(xué)術(shù)使用是學(xué)術(shù)論文發(fā)表前的文章引用體現(xiàn)[33]。學(xué)術(shù)評(píng)論的產(chǎn)生者多是同領(lǐng)域研究學(xué)者，反映早期學(xué)者對(duì)于文章的看法。學(xué)術(shù)使用、學(xué)術(shù)評(píng)論與被引頻次的關(guān)系也證實(shí)這一點(diǎn)，學(xué)術(shù)使用、學(xué)術(shù)評(píng)論反映了用戶的預(yù)引用動(dòng)機(jī)，有效緩解被引頻次的時(shí)滯性問題。
在被引頻次的預(yù)測(cè)模型中學(xué)術(shù)使用的系數(shù)為0.472，可見并非所有的學(xué)術(shù)使用都會(huì)轉(zhuǎn)化為引用，很多學(xué)者在閱讀文章時(shí)得到隱性知識(shí)但并未引用。被引頻次統(tǒng)計(jì)的范圍是“引用作者”，學(xué)術(shù)使用統(tǒng)計(jì)的是“使用用戶”，相比之下學(xué)術(shù)使用反映的學(xué)術(shù)影響力范圍更廣。
4.2.3 社交活動(dòng)可以發(fā)現(xiàn)“寶藏”文獻(xiàn)
很多文章得到同行認(rèn)可能夠在期刊上發(fā)表，但在發(fā)表后不能及時(shí)得到關(guān)注和引用，加上“馬太效應(yīng)”的存在，被引更多的文獻(xiàn)引用的高被引文獻(xiàn)占比越高，高水平學(xué)者也更偏向引用高被引文獻(xiàn)，學(xué)術(shù)新秀往往得不到與自身學(xué)術(shù)水平相匹配的重視[34]，這也是“睡美人文獻(xiàn)”產(chǎn)生的重要原因。社交活動(dòng)與期刊質(zhì)量指標(biāo)相關(guān)，但與作者年齡、作者H指數(shù)均不相關(guān)，通過社交活動(dòng)可以不受作者聲望的影響發(fā)現(xiàn)優(yōu)秀的文章。此外，社交活動(dòng)與關(guān)鍵詞數(shù)、施引文獻(xiàn)數(shù)量、參考文獻(xiàn)數(shù)量、作者數(shù)量等不相關(guān)，這些指標(biāo)都是讀者的檢索入口。綜上所述，社交活動(dòng)可以發(fā)現(xiàn)聲望較低、檢索入口較少的“寶藏”文獻(xiàn)。
5 結(jié)語
Web2.0時(shí)代信息傳播更便利的同時(shí)也拓寬了學(xué)術(shù)成果的傳播渠道，學(xué)術(shù)成果的受眾也從原來的相關(guān)領(lǐng)域?qū)W者拓展到公眾，對(duì)于學(xué)術(shù)成果的評(píng)價(jià)也應(yīng)進(jìn)一步拓展。Altmetrics指標(biāo)中，大眾媒體、社交活動(dòng)可以對(duì)傳統(tǒng)引文評(píng)價(jià)體系進(jìn)行補(bǔ)充，拓展學(xué)術(shù)成果影響力的計(jì)量范圍；學(xué)術(shù)使用、學(xué)術(shù)評(píng)論表征的仍然是學(xué)術(shù)影響力，但相較于引文指標(biāo)的范圍集中于“引用作者”，二者的覆蓋范圍更廣，而且及時(shí)性更好，可以更早反映用戶的預(yù)引用動(dòng)機(jī)并有效緩解被引頻次的時(shí)滯性問題。可見，Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)并不是涇渭分明的，它們相互補(bǔ)充、相互“引流”。Altmetrics指標(biāo)的及時(shí)性為其應(yīng)用帶來了優(yōu)勢(shì)，可以打破年齡和聲望的桎梏，發(fā)現(xiàn)年輕的優(yōu)秀學(xué)者和檢索入口少、聲望低的“寶藏”文獻(xiàn)。
當(dāng)前在互聯(lián)網(wǎng)上傳播的文章數(shù)量較少，Altmetrics的覆蓋率仍然很低，大多數(shù)文章的Altmetrics指標(biāo)值為0，可用于分析的文章數(shù)量有限。學(xué)術(shù)使用與學(xué)術(shù)評(píng)論預(yù)測(cè)被引頻次的交互項(xiàng)顯著，兩者間的作用關(guān)系還需要進(jìn)一步明確。引文評(píng)價(jià)中存在的動(dòng)機(jī)問題在Altmetrics中依然存在，Altmetrics指標(biāo)與期刊質(zhì)量指標(biāo)多為弱相關(guān)，部分甚至負(fù)相關(guān)，可以認(rèn)為Altmetrics指標(biāo)對(duì)于高質(zhì)量的文章是有一定的發(fā)掘能力的，未來Altmetrics的具體應(yīng)用方式還需要進(jìn)一步探索。
猜你喜歡
睿士(2023年3期)2023-03-22 08:35:38
中國博物館(2019年2期)2019-12-07 05:40:44
四川省干部函授學(xué)院學(xué)報(bào)(2019年2期)2019-08-27 01:20:26
小學(xué)生學(xué)習(xí)指導(dǎo)(低年級(jí))(2019年3期)2019-04-22 03:34:42
商周刊(2019年2期)2019-02-20 01:14:22
大學(xué)生(2017年3期)2017-03-21 15:15:42
小獼猴智力畫刊(2016年6期)2016-05-14 21:40:48
現(xiàn)代企業(yè)(2015年5期)2015-02-28 18:51:08
時(shí)代人物(新教育家)(2013年3期)2013-08-21 13:25:30
軍事歷史(2003年5期)2003-08-21 06:36:40
