Altmetrics視角下的科研院校學(xué)術(shù)影響力綜合評價研究

王菲菲 李佳慧 黃雅雯 王雨薇

摘 要：[目的/意義]伴隨著網(wǎng)絡(luò)化的科學(xué)交流，新的計(jì)量指標(biāo)的提出，科研院校評價方法也隨之改變。本文旨在探討Altmetrics視角下科研院校學(xué)術(shù)影響力綜合評價的可行途徑，并以醫(yī)學(xué)信息學(xué)領(lǐng)域?yàn)槔M(jìn)行實(shí)證研究，進(jìn)而為院校影響力的全面綜合判定提供參考。[方法/過程]融合Altmetric.com和Web of Science兩類數(shù)據(jù)源，編程并篩選獲取627個院校的Altmetrics數(shù)據(jù)和引文數(shù)據(jù)，選取7個計(jì)量指標(biāo)進(jìn)行相關(guān)性分析。再使用熵權(quán)法和層次分析法給指標(biāo)賦權(quán)，并在此基礎(chǔ)上，用TOPSIS方法分別計(jì)算出主觀和客觀的院校得分，并與QS排名作對比。[結(jié)果/結(jié)論]指標(biāo)之間存在中強(qiáng)相關(guān)性，主觀和客觀賦權(quán)方法所得的院校綜合排名QS醫(yī)學(xué)與生命科學(xué)排名，三者具有較強(qiáng)一致性，進(jìn)而驗(yàn)證了Altmetrics指標(biāo)在院校影響力評價中的有效性。又分別把層次分析-TOPSIS和熵權(quán)-TOPSIS與QS進(jìn)行了相關(guān)性檢驗(yàn)，就整體角度來講，熵權(quán)-TOPSIS的評價結(jié)果更好。此外，根據(jù)兩個評價方法和QS前30院校之間的交集，篩選出了各方面綜合表現(xiàn)俱佳的10所院校，美國院校占絕大多數(shù)。且根據(jù)與QS交集個數(shù)，在高水平院校中，層次分析-TOPSIS評價效果更好。

關(guān)鍵詞：學(xué)術(shù)影響力評價;Altmetrics;醫(yī)學(xué)信息學(xué);熵權(quán)法;層析分析法;TOPSIS

DOI：10.3969/j.issn.1008-0821.2020.02.015

〔中圖分類號〕G304 〔文獻(xiàn)標(biāo)識碼〕A 〔文章編號〕1008-0821（2020）02-0132-09

Research on Comprehensive Evaluation of Academic Influence of

Scientific Research Institutions from the Perspective of Altmetrics

Wang Feifei Li Jiahui Huang Yawen Wang Yuwei

（School of Economics and Management，Beijing University of Technology，Beijing 100124，China）

Abstract：[Purpose/Meaning]With the scientific exchange of networking and the introduction of new measurement indicators，the evaluation methods of scientific institutions have also changed.This paper aimed to explore the feasible ways to comprehensively evaluate the academic influence of scientific research institutions from the perspective of Altmetrics，and to conduct empirical research in the field of medical informatics，and to provide reference for the comprehensive judgment of institutional influence.[Method/Process]Combining Altmetric.com and Web of Science data sources，we programed and filtered the Altmetrics data and citation data of 627 institutions，and selected 7 metrology indicators for correlation analysis.Then the entropy weight method and the analytic hierarchy process were used to assign weights to the indicators.On this basis，the subjective and objective institutional scores were calculated by the methods of TOPSIS，and compared with the QS rankings.[Results/Conclusions]There was a strong correlation between the indicators.The subjective and objective weighting methods had a comprehensive ranking of QS medical and life sciences rankings.The three had strong consistency，which further validated the Altmetrics indicators in institutional impact evaluation.The correlation analysis between analytic hierarchy-TOPSIS and entropy weight-TOPSIS and QS was carried out.On the whole，the evaluation result of entropy weight-TOPSIS was better.Furthermore，basing the intersection of two models，this paper selected 10 excellent institutions and most of them were from America.And based on the number of intersections with QS，the analytic hierarchy-TOPSIS evaluation was better when evaluating high-level institutions.

Key words：scholarly impact evaluations;Altmetrics;medical informatics;entropy weight method;AHP;TOPSIS

大學(xué)與研究院校是幫助社會進(jìn)步，提高國家綜合實(shí)力和國際地位的關(guān)鍵因素之一。對于科研院校的學(xué)術(shù)影響力進(jìn)行科學(xué)評價也是科技管理部門和學(xué)術(shù)界廣泛關(guān)注的議題。在其中的定量評價環(huán)節(jié)，傳統(tǒng)研究主要以文獻(xiàn)計(jì)量類指標(biāo)應(yīng)用居多，但是由于網(wǎng)絡(luò)環(huán)境快速發(fā)展創(chuàng)造了新的科學(xué)交流與評價環(huán)境，面向科學(xué)進(jìn)步與決策的科研院校影響力評價也迫切需要引入更具及時性和綜合性的量化指標(biāo)，Altmetrics理論的提出和數(shù)據(jù)平臺的涌現(xiàn)恰好為此提供了一個很好的切入視角。邱均平等[1]于2015年明確提出傳統(tǒng)計(jì)量評價指標(biāo)可以與Altmetrics指標(biāo)互相補(bǔ)充，并且在院校知識庫的應(yīng)用中具有良好的發(fā)展前景。另外，也有大量的實(shí)證研究揭示出Altmetrics類指標(biāo)與傳統(tǒng)文獻(xiàn)計(jì)量類指標(biāo)之間的相關(guān)性，可以在一定程度上作為學(xué)術(shù)影響力前瞻性評價的有效補(bǔ)充。因此，融合社會網(wǎng)絡(luò)媒體時效性和傳統(tǒng)學(xué)術(shù)交流利用價值性的綜合評價指標(biāo)應(yīng)用，可以得到科研院校學(xué)術(shù)影響力情況的全方位解讀。這也是本文選題的主要契機(jī)和出發(fā)點(diǎn)所在。

1 相關(guān)研究述評

1.1 關(guān)于Altmetrics評價指標(biāo)的研究

伴隨著數(shù)字化、網(wǎng)絡(luò)化、開放化環(huán)境中的Web2.0用戶的社群影響力增強(qiáng)[2]，Priem J等提出“Altmetrics”概念[3]，旨在為計(jì)量學(xué)術(shù)影響力提供新的指標(biāo)來源[4]，通過捕捉多網(wǎng)絡(luò)平臺上的學(xué)術(shù)軌跡，試圖揭示學(xué)者的研究行為，提供更好的評價體系，進(jìn)而更好地促進(jìn)科學(xué)交流[5]、科學(xué)評價和文獻(xiàn)發(fā)現(xiàn)[6]。并且前人在基因編輯[7]、漢語言文學(xué)[8]、文獻(xiàn)計(jì)量學(xué)[9]等領(lǐng)域的實(shí)證研究證實(shí)了Altmetrics這個新的指標(biāo)來源是可以作為傳統(tǒng)計(jì)量的補(bǔ)充說明的，因?yàn)閮烧呔哂邢嚓P(guān)性。在Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)引文量的相關(guān)性分析中，Mendeley與引文量呈顯著強(qiáng)相關(guān)，政策文件10與引文量成強(qiáng)相關(guān)，博客、新聞、Twitter和Facebook與引文量呈弱相關(guān)性[11]。但是在不同領(lǐng)域，Altmetrics各個指標(biāo)關(guān)注度可能有所不同，所以Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)相關(guān)性強(qiáng)弱也不盡相同。其中，大眾對生物醫(yī)療研究的普遍關(guān)注高[12]，所以Altmetric指標(biāo)論文主要集中于醫(yī)療和健康、生物科學(xué)領(lǐng)域。由此看來，醫(yī)學(xué)領(lǐng)域下的可替代計(jì)量指標(biāo)更具有充分?jǐn)?shù)據(jù)資源和研究價值。孟偉花等的研究也證實(shí)替代計(jì)量學(xué)指標(biāo)在醫(yī)學(xué)領(lǐng)域表現(xiàn)突出[13]。這為本文研究對象的選定提供了一定的參考依據(jù)。

1.2 關(guān)于院校學(xué)術(shù)影響力綜合評價的研究

最初，學(xué)術(shù)影響力評價采用定性的傳統(tǒng)文獻(xiàn)計(jì)量法進(jìn)行探究，如文獻(xiàn)綜述法、引文分析法，但是發(fā)現(xiàn)單純的定性存在主觀隨意性、低效性等問題。隨后，學(xué)者把目光轉(zhuǎn)移到定量評價，但是定量評價存在結(jié)論簡單、公正性不足的缺點(diǎn)[14]。由此，學(xué)者們提出定性與定量評價相結(jié)合的研究角度。在院校學(xué)術(shù)影響力的指標(biāo)選取研究中，Li J根據(jù)傳統(tǒng)計(jì)量定性的方法[15]選取17個適用于信息管理領(lǐng)域院校的指標(biāo)，用定量的方法全方位（從數(shù)量和質(zhì)量兩個角度）探究指標(biāo)的適用性與一致性。研究角度確定之后，選取恰當(dāng)?shù)倪m用于多指標(biāo)模型至關(guān)重要，熵權(quán)-TOPSIS的院校影響力評價模型已被證實(shí)適用于評價院校[16]。沒有權(quán)威性研究數(shù)據(jù)來源，再好的角度和模型也成為空談。所以，學(xué)者多采用多數(shù)據(jù)源，其均來自權(quán)威的數(shù)據(jù)庫，例如Web of Science[17]、Google、Scholar、Springer、CNKI[18]。

但傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)存在時滯性，指標(biāo)冗余復(fù)雜，評估成果類型單一，指標(biāo)異化與過分關(guān)注而使價值導(dǎo)向偏頗等問題[19]，所以采用Altmetrics指標(biāo)能有效避免上述問題。Altmetrics視角的院校學(xué)術(shù)影響力研究集中于Altmetrics指標(biāo)之間的相關(guān)性研究[20]和Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)的相關(guān)性研究[21]。然而，將Altmetrics指標(biāo)與傳統(tǒng)引文指標(biāo)融合應(yīng)用于科研院校學(xué)術(shù)影響力綜合評價的可行途徑探討和實(shí)證案例研究還較為鮮見，本文將致力在該方面做出一定的嘗試。

基于此，提出本文的研究思路：在引入Altmetrics的視角下，以醫(yī)學(xué)信息領(lǐng)域科研院校為基本研究對象，綜合Web of Science和Altmetrics.com兩大數(shù)據(jù)庫平臺上獲取的引文類和社媒類兩大類型指標(biāo)，進(jìn)行科研院校學(xué)術(shù)影響力綜合評價的探索研究。具體地，從主客觀分別賦權(quán)評價的角度出發(fā)，使用熵權(quán)TOPSIS和層次分析TOPSIS方法，構(gòu)建多維指標(biāo)融合下的院校影響力評價模型，進(jìn)一步與被譽(yù)為“世界三大具有影響力的全球性大學(xué)排名”之一的QS世界大學(xué)學(xué)科排名進(jìn)行對照分析，輔證本文構(gòu)建的評價模型的有效性，揭示主客觀賦權(quán)方法對院校整體影響力的影響以及證明替代計(jì)量指標(biāo)可以作為院校影響力評價的輔助材料。

2 研究方法與工具

為了探討Altmetrics視角下的醫(yī)學(xué)信息領(lǐng)域機(jī)構(gòu)影響力評價，本文選用TOPSIS綜合評價法計(jì)算在各指標(biāo)下每個機(jī)構(gòu)的得分，TOPSIS為一種逼近理想解的排序方法，利用加權(quán)后的決策矩陣，廣泛用于多指標(biāo)的決策。本文從兩個角度，使用操作性和客觀性強(qiáng)的熵權(quán)法對各指標(biāo)進(jìn)行客觀賦權(quán)，增強(qiáng)指標(biāo)的分辨意義和差異性;使用層次分析法對各指標(biāo)進(jìn)行主觀賦權(quán)，將復(fù)雜的多目標(biāo)問題轉(zhuǎn)化為多層次單目標(biāo)的問題。再對熵權(quán)法-TOPSIS和層次分析法-TOPSIS所得結(jié)果進(jìn)行解讀，并進(jìn)一步與QS排名用肯德爾和諧系數(shù)進(jìn)行一致性分析，以衡量3種評價結(jié)果的一致性程度。本文又分別把層次分析-TOPSIS和熵權(quán)-TOPSIS與QS進(jìn)行了相關(guān)性檢驗(yàn)，以評價哪種方法表現(xiàn)更好。

2.1 指標(biāo)賦權(quán)

2.1.1 客觀賦權(quán)——熵權(quán)法

在客觀賦權(quán)方面本文選用的是熵權(quán)法，是在客觀條件下，由評價指標(biāo)值來確定指標(biāo)權(quán)重的一種方法。按照信息論基本原理的解釋，信息是系統(tǒng)有序程度的一個度量，熵是系統(tǒng)無序程度的一個度量;如果指標(biāo)的信息熵越小，該指標(biāo)提供的信息量越大，在綜合評價中所起作用理當(dāng)越大，權(quán)重就應(yīng)該越高。因此，可利用信息熵這個工具，客觀地計(jì)算出各項(xiàng)指標(biāo)的權(quán)重，為多指標(biāo)綜合評價提供依據(jù)。熵權(quán)法具有操作性和客觀性強(qiáng)的特點(diǎn)，能夠反映數(shù)據(jù)隱含的信息，增強(qiáng)指標(biāo)的分辨意義和差異性，以避免因選用指標(biāo)的差異過小造成的分析困難，全面反映各類信息[22]。

2.1.2 主觀賦權(quán)——層次分析

層次分析法是一種將定性與定量分析方法相結(jié)合的方法，常常用于多目標(biāo)決策分析。這種方法將復(fù)雜且無法全部量化的多目標(biāo)問題轉(zhuǎn)化為多層次單目標(biāo)的問題，將復(fù)雜問題分解，為最佳方案的選擇提供科學(xué)依據(jù)，為決策層作出正確的決策提供理論參考[23]。層次分析法根據(jù)問題的性質(zhì)以及目標(biāo)，將復(fù)雜問題分解為若干層次和若干因素，并按照因素間的關(guān)系將其按不同層次聚集組合，形成一個多層次的分析結(jié)構(gòu)模型，將原本復(fù)雜的問題轉(zhuǎn)化為不同決策方案對于目標(biāo)的相對重要程度的排定。步驟如下：

1）建立層次結(jié)構(gòu)模型。

2）構(gòu)造判斷矩陣。對兩兩指標(biāo)之間的重要程度作出比較判斷，建立判斷矩陣。

3）計(jì)算重要性排序。計(jì)算特征根、特征向量。并對特征向量進(jìn)行歸一化處理。

4）一致性檢驗(yàn)。

2.2 綜合評價

TOPSIS法為逼近理想解的排序方法，相對客觀真實(shí)地反映各指標(biāo)之間的差異，廣泛用于多指標(biāo)決策[24]。TOPSIS法利用決策矩陣的信息，客觀地賦以各指標(biāo)權(quán)重系數(shù)，卻只以離理想點(diǎn)最近作為最后判據(jù)，未考慮到負(fù)理想點(diǎn)。余雁等[25]利用雙基點(diǎn)法的基本思想，對TOPSIS法進(jìn)一步完善。在多指標(biāo)決策方案的優(yōu)選上，改進(jìn)的TOPSIS法更具合理性、現(xiàn)實(shí)性與通用性，因此本文使用改進(jìn)的TOPSIS法進(jìn)行綜合評價。改進(jìn)的TOPSIS法以歐幾里得范數(shù)作為距離測度，即各方案點(diǎn)到理想點(diǎn)距離以及負(fù)理想點(diǎn)距離的加權(quán)平方和的平方根作為綜合評價的判據(jù)，同時引入另一種測度，即相對貼近度Ci，以衡量各方案目標(biāo)值靠近理想解和遠(yuǎn)離負(fù)理想解的程度。相對貼近度Ci定義為：

D+：指標(biāo)與理想解的距離。D-：指標(biāo)與負(fù)理想解的距離。

2.3 變量關(guān)系度量方法

2.3.1 肯德爾等級相關(guān)系數(shù)（The Kendalls Tau Rank Correlation Coefficient（τ））

肯德爾τ等級相關(guān)系數(shù)是一種非參數(shù)系數(shù)，用來測量每一對指標(biāo)之間相關(guān)性，適用于有偏態(tài)分布的數(shù)據(jù)，且適用于數(shù)據(jù)量是多個相關(guān)的量化值[27]，可被應(yīng)用于多個文獻(xiàn)計(jì)量指標(biāo)之間的比較?？系聽枽酉禂?shù)定義為：

系數(shù)的范圍是-1≤τ≤1，n為一個指標(biāo)的觀察值的個數(shù)。若兩個指標(biāo)之間。如果兩個指標(biāo)的排序是相同的，則系數(shù)為1;如果兩個指標(biāo)的排序是不同的，則系數(shù)為-1;如果兩個指標(biāo)的排名是獨(dú)立的，則期望系數(shù)近似為0。

2.3.2 肯德爾和諧系數(shù)（Kendalls Coefficient of Concordance）

這種檢驗(yàn)是非參數(shù)檢驗(yàn)，是通過各評價方法對評價對象的評價等級及其差異大小，來衡量各種評價結(jié)果的一致性程度一種方法[28]。其基本原理是由b個評判員對k個觀察指標(biāo)進(jìn)行評分，然后檢驗(yàn)b個評判員的評價結(jié)果是否具有一致性。檢驗(yàn)步驟如下：

1）建立假設(shè)檢驗(yàn)

H0：3種評價方法對各院校的評分沒有一致性;

H1：3種評價方法對各院校的評分有一致性。

2）計(jì)算檢驗(yàn)統(tǒng)計(jì)量

其中，b為評價方法個數(shù)，k為院校個數(shù)，Rj是b種評價方法對第j個院校所給評價等級的總和。

3）確定P值，推斷結(jié)論

若p<0.05，則拒絕原假設(shè)，說明該數(shù)據(jù)有統(tǒng)計(jì)學(xué)意義。在拒絕原假設(shè)的條件下，當(dāng)各評價方法接近一致時，W值較大，傾向于1。

3 數(shù)據(jù)獲取與指標(biāo)分析

3.1 獲取數(shù)據(jù)

筆者首先選定2016年JCR所收錄的醫(yī)學(xué)信息領(lǐng)域（Medical Informatics）內(nèi)的29種期刊，然后使用ISSN號在Altmetric.com平臺上獲取發(fā)文時間在2006-2016年間所有文獻(xiàn)的Altmetric數(shù)據(jù)指標(biāo)，共計(jì)21 245條數(shù)據(jù)，獲取時間為2017年12月15日。同時在Web of Science核心合集中以“WC=（Medical Informatics） and PY=（2006-2016）”為檢索式，獲得該領(lǐng)域所有期刊文獻(xiàn)的全部題錄信息（含被引頻次等數(shù)據(jù)），共計(jì)44 585條。通過Vba編程進(jìn)行DOI匹配，篩選出共計(jì)14 499條有效數(shù)據(jù)。繼而識別出每個院校的信息，然后根據(jù)院校名稱進(jìn)行分類，并把每個院校下對應(yīng)的文獻(xiàn)各指標(biāo)進(jìn)行加和匯總，得到9 641個院校。篩選出院校的發(fā)文數(shù)量大于等于10的院校，共計(jì)728條，手工合并同院校不同名字的院校，整合最后共計(jì)627個科研院校，這便構(gòu)成了本文的主要研究對象。

進(jìn)一步獲取這些院校所著32 904篇次文獻(xiàn)（含重復(fù)計(jì)數(shù)）的各類計(jì)量指標(biāo)。首先，匯總院校文獻(xiàn)被引頻次，作為傳統(tǒng)學(xué)術(shù)影響力評價的基本指標(biāo)。隨后針對Altmetric類指標(biāo)進(jìn)行處理?？紤]到Altmetric.com采集數(shù)據(jù)來源平臺對各文獻(xiàn)覆蓋率的不同，統(tǒng)一刪除指標(biāo)覆蓋率最低（即0變量占80%以上）的指標(biāo)：Peer Review，Weibo Mentions，Wikipedia，Google+ Mention，LinkedIn Mention，Reddit Mention，F(xiàn)1000，Q&A Mention，Video Mention。最終選用評價科研院校學(xué)術(shù)影響力的7個指標(biāo)為：總被引頻次，Blog Mentions，Policy Mentions，News Mentions，Twitter Mentions，F(xiàn)acebook Mentions，Number of Mendeley。把7個指標(biāo)單獨(dú)排序，按照被引頻次排名取前10名的院校，結(jié)果如表1，可以看出指標(biāo)改變對于院校的排名影響很大。但是在Twitter Mentions排名，F(xiàn)acebook Mentions排名，Number of Mendeley排名中改變指標(biāo)，排名結(jié)果不變。

3.2 指標(biāo)的描述統(tǒng)計(jì)

本文首先對7個指標(biāo)進(jìn)行描述性分析，如表2所示，展示了指標(biāo)的數(shù)量極大值、極小值、均值和方差。從結(jié)果中可以看出，被引頻次，Twitter Mentions，Number of Mendeley的標(biāo)準(zhǔn)差很大，說明數(shù)據(jù)很不穩(wěn)定。

3.3 指標(biāo)的相關(guān)性分析

在探究完指標(biāo)的整體情況，本文對指標(biāo)進(jìn)行了相關(guān)性，探究指標(biāo)之間的關(guān)系。因?yàn)橹笜?biāo)變化對于結(jié)果影響大，本文使用Kendall Rank Correlation Coefficient去計(jì)算指標(biāo)之間的相關(guān)性，如表3所示。從結(jié)果中可以看出，文章的被引用頻次與Mendeley被提及數(shù)量具有強(qiáng)相關(guān)性，兩個指標(biāo)非常密切相關(guān)。此外，被引頻次與替代計(jì)量指標(biāo)的相關(guān)性系數(shù)都大于0.4，說明其余的指標(biāo)均與被引頻次呈中強(qiáng)相關(guān)性。Twitter Mentions，Mendeley被提及數(shù)量與Facebook Mentions之間的相關(guān)數(shù)均大于0.6，也表現(xiàn)了強(qiáng)相關(guān)性，聯(lián)系緊密。

由于在整體分析的時候發(fā)現(xiàn)指標(biāo)很不穩(wěn)定，所以本文對其相關(guān)性系數(shù)做了魯棒性分析，以驗(yàn)證數(shù)據(jù)波動對于相關(guān)性系數(shù)的影響。本文在對全部院校求的相關(guān)性（τfull）的基礎(chǔ)上，又對前100和前200的院校求它們的Kendall相關(guān)性系數(shù)，把兩者的相關(guān)性系數(shù)分別表示為τT100和τT200。為了了解三者的相關(guān)系數(shù)的絕對差異，本文又對其兩兩之間求相關(guān)系數(shù)的絕對差值，結(jié)果如圖1所示。相對差異較小，這說明即使數(shù)據(jù)不穩(wěn)定，對于相關(guān)性分析的影響也甚小。

4 結(jié) 果

4.1 權(quán)重計(jì)算結(jié)果

本文使用層次分析法對本文的7個指標(biāo)進(jìn)行賦權(quán)。根據(jù)前人關(guān)于Altmetrics指標(biāo)相對重要性的研究[29]和Altmetric.com上的得分的計(jì)算方法[30]，并結(jié)合相關(guān)領(lǐng)域?qū)＜业囊庖?，在層次分析法中將各指?biāo)的重要性排序?yàn)椋阂妙l次>Mendeley>News Mentions>Blog Mentions>Policy Nentions>Twitter Mentions>Facebook Mentions。客觀賦權(quán)方法為熵權(quán)法。主客觀賦權(quán)的結(jié)果如表4，從表中可以得到，主觀權(quán)重最高的是被引頻次，次之的是Mendeley?？陀^賦權(quán)權(quán)重最高的是News Mentions，次之是Blog Mentions。

兩個相比較客觀賦權(quán)與主觀賦權(quán)的側(cè)重點(diǎn)不一樣，主觀賦權(quán)側(cè)重于學(xué)術(shù)維度。而熵權(quán)則側(cè)重于媒體維度。且熵權(quán)法權(quán)重賦權(quán)比較均勻，都在0.1～0.2之間。

4.2 綜合評價結(jié)果

得到權(quán)重的結(jié)果之后，分別把主客觀賦權(quán)的結(jié)果帶入TOPSIS中，得到層次分析-TOPSIS和熵權(quán)-TOPSIS的結(jié)果，如表5所示。可以看出主客觀賦權(quán)的加TOPSIS方法排名最高的都是Harvard University。Stanford University只入圍了熵權(quán)-TOPSIS的排名的前10，其他的大學(xué)均入圍兩表。

4.3 結(jié)果比較

QS排名是迄今為止唯一被“國際排名專家組”認(rèn)定的排名，學(xué)術(shù)同行評議是其重點(diǎn)。并且數(shù)據(jù)來源豐富，包含交互式的網(wǎng)絡(luò)平臺[31]，與本文的兩種院校學(xué)術(shù)影響力評價方法的數(shù)據(jù)來源有很大可能相同。在比較方法上，使用肯德爾和諧系數(shù)檢驗(yàn)兩種分?jǐn)?shù)計(jì)算方法與QS醫(yī)學(xué)與生命科學(xué)排名3種不同評價方法之間的一致性。結(jié)果如圖2和圖3所示，圖2說明結(jié)果有統(tǒng)計(jì)學(xué)意義，圖3可以看出一致性系數(shù)為0.731，具有較強(qiáng)一致性?？梢詡?cè)面印證本文使用層次分析-TOPSIS和熵權(quán)分析-TOPSIS兩種方法去計(jì)算排名是有意義的。QS官網(wǎng)的計(jì)算得分指標(biāo)有4個：學(xué)術(shù)聲望（25%），雇主聲望（25%），文章被引用（25%）和h-index引用（學(xué)者個人的寫h篇文章至少被引用h次）（25%）。QS與本文的評價方法共同的指標(biāo)就是文章被引。雖然只有一個指標(biāo)是相同的，但是因?yàn)槿叩囊恢滦院芨?，可能的原因是本文的Altmetrics指標(biāo)與除了文章被引用以外的其他QS評價指標(biāo)是有一致性的。

本文又分別把層次分析-TOPSIS和熵權(quán)-TOPSIS與QS進(jìn)行了相關(guān)性檢驗(yàn)，熵權(quán)-TOPSIS與QS的皮爾遜相關(guān)性系數(shù)為0.438，而層次分析-TOPSISQS的皮爾遜相關(guān)性系數(shù)為0.396。就整體角度來講，熵權(quán)-TOPSIS的評價結(jié)果更好。

進(jìn)一步，對兩種評價模型前30名的院校進(jìn)行更詳細(xì)的分析，圖4為兩種評價方法前30名和QS前30名之間的集合關(guān)系圖，可以看出層次分析-TOPSIS法與QS的交集最多，說明高水平的院校評價上，層次分析-TOPSIS的結(jié)果更好。其中，在本文兩種評價方法與QS上都上榜的院校有10個，見圖4中箭頭所指。3種排名都包含這些院校為各方面綜合表現(xiàn)俱佳的院校，他們絕大多數(shù)都來自于美國。實(shí)際上，在3種排名的Top30的結(jié)果中，美國院校數(shù)量最多，在醫(yī)學(xué)信息領(lǐng)域的實(shí)力，可見一斑。

5 結(jié) 論

本文綜合使用熵權(quán)法、層次分析法、TOPSIS等方法，構(gòu)建了在Altmetrics視角下關(guān)于醫(yī)學(xué)信息學(xué)領(lǐng)域多維度的主觀和客觀的院校影響力評價模型。

本文首先展示7個指標(biāo)的整體情況，進(jìn)行描述統(tǒng)計(jì)分析和相關(guān)性分析，發(fā)現(xiàn)指標(biāo)均與被引頻次呈中強(qiáng)相關(guān)性，可以說明這些替代計(jì)量指標(biāo)可以作為院校評價的補(bǔ)充指標(biāo)。被引頻次與Mendeley Mentions是強(qiáng)相關(guān)，兩者都是較直接學(xué)術(shù)相關(guān)的指標(biāo)。Twitter Mentions與Facebook Mentions之間的相關(guān)數(shù)很高，說明二者相似程度較高，兩者都是大眾媒體的評價指標(biāo)。在News Mentions中，Blog Mentions是與其最相關(guān)的，兩者可以歸為一類指標(biāo)，兩者重點(diǎn)關(guān)注創(chuàng)新性內(nèi)容。所以指標(biāo)之間還可以再歸成不同的類。由于指標(biāo)的標(biāo)準(zhǔn)差相差過大，為了消除指標(biāo)之間一致性的影響，對數(shù)據(jù)進(jìn)行魯棒性分析后，發(fā)現(xiàn)數(shù)據(jù)不穩(wěn)定對一致性分析結(jié)果影響可忽略。

再者，本文通過主觀和客觀兩種賦權(quán)方式用TOPSIS對院校進(jìn)行評價，并分別用熵權(quán)-TOPSIS（客觀）和層次分析-TOPSIS（主觀）的方法計(jì)算出排名前十的院校。兩種院校排名計(jì)算方法都排名第一Harvard University是世界一流的私立研究型大學(xué)，也是世界最頂尖的高等教育院校之一，在醫(yī)學(xué)方面擁有崇高的學(xué)術(shù)地位及廣泛的影響力。數(shù)據(jù)上也充分地體現(xiàn)出其優(yōu)勢地位。在計(jì)算排名中貢獻(xiàn)最大的Policy和News Mentions上，Harvard University的數(shù)據(jù)均位列第一，并且與其他院校有較大懸殊，與University of California Berkeley相較，Harvard University在Policy和News上的提及量近似第二名的兩倍。同時，Harvard University在科學(xué)交流網(wǎng)站Mendeley上的數(shù)據(jù)也一騎絕塵，與其他平臺相較，該平臺上的學(xué)者觀眾較多，因此，在Mendeley上很高的數(shù)據(jù)也體現(xiàn)了Harvard University在醫(yī)學(xué)類院校中頂尖的地位。Stanford University只入圍了熵權(quán)-TOPSIS，原因是它的News Mentions和Blog Mentions排名很高，而熵權(quán)最關(guān)注的兩個指標(biāo)恰好是這兩個?？傮w來講每個大學(xué)被受到的關(guān)注平臺不盡相同，各有側(cè)重。從國家的角度來說，在綜合兩種評價方法和QS來看，美國大學(xué)在醫(yī)學(xué)信息領(lǐng)域具有壓倒性優(yōu)勢。

為了檢驗(yàn)?zāi)Ｐ偷臏?zhǔn)確性，本文使用熵權(quán)-TOPSIS和層次分析-TOPSIS的方法計(jì)算出的排名與醫(yī)學(xué)與生命科學(xué)QS排名三者進(jìn)行一致性檢驗(yàn)。發(fā)現(xiàn)主觀與客觀賦權(quán)對評價結(jié)果影響不大，且兩者與QS高度相關(guān)，可以說明該層次分析-TOPSIS模型與熵權(quán)法-TOPSIS模型合理性高，且此方法可以作為院校影響力評價的補(bǔ)充參考。本文又把兩個模型分別與QS進(jìn)行相關(guān)性檢驗(yàn)，熵權(quán)-TOPSIS的結(jié)果更高。所以從整體上來看，熵權(quán)法-TOPSIS模型評價效果更好。針對于高水平院校，根據(jù)與QS的交集個數(shù)可以判斷層次分析-TOPSIS模型評價效果更好。

而替代計(jì)量的數(shù)據(jù)來源替代計(jì)量指標(biāo)來自于不同的網(wǎng)絡(luò)平臺，可以實(shí)時獲取，所以相比較于傳統(tǒng)計(jì)量指標(biāo)，具有很高的時效性，不僅可以評價院校現(xiàn)在的影響力，還可以作為預(yù)測院校未來影響力的重要指標(biāo)，具有很大的研究前景。

但本文的研究仍有遺憾之處，由于醫(yī)學(xué)院校的數(shù)據(jù)覆蓋率較低，數(shù)據(jù)量相對來講較少，未來可以用更大的數(shù)據(jù)集進(jìn)行研究，并且可以對院校學(xué)術(shù)影響力進(jìn)行預(yù)測分析。此外，Altmetric.com的數(shù)據(jù)來源和精準(zhǔn)度還有待進(jìn)一步的考證。

參考文獻(xiàn)

[1]邱均平，張心源，董克.Altmetrics指標(biāo)在院校知識庫中的應(yīng)用研究[J].圖書情報(bào)工作，2015，59（2）：100-105.

[2]顧立平.論文級別計(jì)量研究：應(yīng)用案例分析[J].現(xiàn)代圖書情報(bào)技術(shù)，2013，（11）：17.

[3]Priem J，Taraborelli D，Groth P，et al.Altmetrics：Amanifesto[EB/OL].http：//altmetrics.org/manifesto/，2019-03-09.

[4]張立偉.社交網(wǎng)絡(luò)平臺非正式科學(xué)交流的探討———基于Evolutionary Biology學(xué)科Altmetrics數(shù)據(jù)計(jì)量[J].科學(xué)學(xué)研究，2018，36（6）：1008-1016.

[5]Thelwall M.Using Altmetrics to Support Research Evaluation[M].Altmetrics for Research Outputs Measurement and Scholarly Information Management，2018.

[6]舒非，StefanieHaustein，全薇.推特（Twitter）對中國論文的國際關(guān)注度影響研究[J].圖書館論壇，2017，（6）：55-60.

[7]王菲菲，賈晨冉，王筱涵.多維計(jì)量指標(biāo)融合下的學(xué)者綜合影響力評價研究——以基因編輯領(lǐng)域?yàn)槔齕J].科研管理，2019，40（1）：178-190.

[8]趙蓉英，郭鳳嬌，譚潔.基于Altmetrics的學(xué)術(shù)論文影響力評價研究——以漢語言文學(xué)學(xué)科為例[J].中國圖書館學(xué)報(bào)，2016，42（1）：96-108.

[9]任全娥，耿海英.2017年國外文獻(xiàn)計(jì)量學(xué)研究的學(xué)科動態(tài)與研究熱點(diǎn)[J].國外社會科學(xué)，2018，（4）：147-152.

[10]王菲菲，賈晨冉，韓文菲，等.政策文件替代計(jì)量視角下的學(xué)術(shù)成果利用效率分布態(tài)勢剖析[J].北京工業(yè)大學(xué)學(xué)報(bào)：社會科學(xué)版，2018，94（4）：59-70.

[11]余厚強(qiáng).替代計(jì)量指標(biāo)與引文量相關(guān)性的大規(guī)?？鐚W(xué)科研究——數(shù)值類型、指標(biāo)種類與用戶類別的影響[J].情報(bào)學(xué)報(bào)，2017，（6）：74-85.

[12]郝若揚(yáng).高Altmetrics指標(biāo)論文的特征分析及影響力分析[J].圖書情報(bào)工作，2018，62（8）：107-114.

[13]孟偉花，向菲.替代計(jì)量學(xué)在醫(yī)學(xué)領(lǐng)域的實(shí)證與應(yīng)用研究分析[J].醫(yī)學(xué)與社會，2016，29（11）：8-10，14.

[14]蘇新寧.學(xué)術(shù)評價與學(xué)術(shù)考核獎勵機(jī)制的辯證觀[J].西南民族大學(xué)學(xué)報(bào)：人文社科版，2017，38（9）：1-5.

[15]Li J.A Comparison of 17 Article-level Bibliometric Indicators of Institutional Research Productivity：Evidence from the Information Management Literature of China[J].Information Processing and Management，2017，53：1156-70.

[16]趙雅馨，楊志萍.研究熱點(diǎn)探測的替代計(jì)量學(xué)方法和應(yīng)用——以信息與計(jì)算科學(xué)為例[J].情報(bào)雜志，2016，35（11）：39-44.

[17]杜靜玲，夏蕓，周波.中美日韓印五國國立核科研院校學(xué)術(shù)影響力比較研究[J].情報(bào)探索，2018，（6）：64-68.

[18]蔣世銀，李春旺.基于關(guān)聯(lián)數(shù)據(jù)科研院校綜合評價模型研究[J].情報(bào)理論與實(shí)踐，2015，38（11）：71-75，114.

[19]王菲菲.論文層面計(jì)量視角下的核心文獻(xiàn)價值測度與識別研究———以人工智能領(lǐng)域?yàn)槔齕J].情報(bào)理論與實(shí)踐，2017，40（6）：91-98.

[20]楊柳，陳貢.Altmetrics視角下科研院校影響力評價指標(biāo)的相關(guān)性研究[J].圖書情報(bào)工作，2015，59（15）：106-114，132.

[21]何文.Altmetrics與引文分析法在期刊影響力評價上的相關(guān)性研究[D].南京：南京大學(xué)，2015.

[22]周文華，王如松.基于熵權(quán)的北京城市生態(tài)系統(tǒng)健康模糊綜合評價[J].生態(tài)學(xué)報(bào)，2005，25（12）：3244-3251.

[23]郭金玉，張忠彬，孫慶云.層次分析法的研究與應(yīng)用[J].中國安全科學(xué)學(xué)報(bào)，2008，（5）：148-153.

[24]管鶯鶯.基于替代計(jì)量和改進(jìn)TOPSIS的科研績效評價研究[D].上海：東華大學(xué)，2016.

[25]余雁，梁樑.多指標(biāo)決策TOPSIS方法的進(jìn)一步探討[J].系統(tǒng)工程，2003，（2）：98-101.

[26]Sidiropoulos A，Gogoglou A，Katsaros D，et al.Gazing at the Skyline for Star Scientists[J].Journal of Informetrics，2016，（10）：789-813.

[27]孫銀山，張文濤，張一茗，等.基于肯德爾相關(guān)系數(shù)的高壓開關(guān)設(shè)備機(jī)械狀態(tài)評估方法研究[J].電氣自動化，2014，（3）：86-88，100.

[28]許萍，張立軍，陳菲菲.TOPSlS評價模型的穩(wěn)健性分析及參數(shù)選擇[J].統(tǒng)計(jì)與決策，2013，（17）：20-23.

[29]王賢文，方志超，王虹茵.連續(xù)、動態(tài)和復(fù)合的單篇論文評價體系構(gòu)建研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2015，36（8）：37-48.

[30]How is the Altmetric Attention Score Calculated？[EB/OL].https：//help.altmetric.com/support/solutions/articles/6000060969-how-is-the-altmetric-score-calculated-，2019-03-09.

[31]施艷萍，袁曦臨，宋歌.基于ARWU的世界大學(xué)排名體系比較及實(shí)證研究[J].圖書情報(bào)工作，2017，61（15）：95-103.

（責(zé)任編輯：陳 媛）