基于ESI的大學(xué)和學(xué)科評價(jià)的局限性*

劉雪立 郭佳 申藍(lán)

（1.新鄉(xiāng)醫(yī)學(xué)院期刊社，新鄉(xiāng) 453003；2.新鄉(xiāng)醫(yī)學(xué)院管理學(xué)院，新鄉(xiāng) 453003）

2015年10月，國務(wù)院發(fā)布《統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》（以下簡稱《“雙一流”建設(shè)總體方案》），明確提出“到2020年若干所大學(xué)和一批學(xué)科進(jìn)入世界一流行列，若干學(xué)科進(jìn)入世界一流學(xué)科前列”等系列建設(shè)目標(biāo)。自此，創(chuàng)建世界一流大學(xué)上升為國家高等教育發(fā)展戰(zhàn)略，成為我國建設(shè)科技強(qiáng)國的一個(gè)重要目標(biāo)[1]?！半p一流”建設(shè)受到各省、直轄市和自治區(qū)政府和高校的高度重視，并相繼出臺了“雙一流”建設(shè)方案。但是，迄今為止，對于“雙一流”的具體評價(jià)標(biāo)準(zhǔn)尚無精確界定，國內(nèi)主要利用湯姆森路透（現(xiàn)科睿唯安）的基本科學(xué)指標(biāo)（Essential Science Indicators，ESI）數(shù)據(jù)庫統(tǒng)計(jì)指標(biāo)對國內(nèi)高校和學(xué)科與國際高校和學(xué)科進(jìn)行比較。在31個(gè)省級行政區(qū)中，有10個(gè)行政區(qū)（江蘇、浙江、福建、山東、河南、湖北、湖南、廣西、海南和甘肅）公布的“雙一流”建設(shè)方案明確提出入選ESI前1%或前0.1%學(xué)科數(shù)量的目標(biāo)。ESI數(shù)據(jù)庫是美國科技信息研究所2001年推出的用來衡量科研績效、跟蹤科學(xué)發(fā)展趨勢的分析工具，是當(dāng)前世界范圍公認(rèn)比較權(quán)威的學(xué)科績效評估工具[2-3]，收錄近十年加統(tǒng)計(jì)當(dāng)年前幾個(gè)月的論文數(shù)據(jù)。依據(jù)學(xué)科分類（22個(gè)）和論文被引頻次對不同研究者、機(jī)構(gòu)（大學(xué)）、國家/地區(qū)和學(xué)術(shù)期刊進(jìn)行績效評價(jià)[4]。十年間被引頻次位列全球前1%的研究者和機(jī)構(gòu)，以及全球前50%的國家/地區(qū)和期刊才能入選ESI。該數(shù)據(jù)庫每2個(gè)月（每月10日左右）更新一次[5-6]，每次更新國內(nèi)各媒體都會進(jìn)行大量的報(bào)道，揭示我國高校ESI國內(nèi)和全球排名，以及入選ESI前1%甚至前0.1%學(xué)科的變化情況，尤其是在國務(wù)院發(fā)布“雙一流”建設(shè)總體方案后，從側(cè)面反映了ESI應(yīng)用于大學(xué)和學(xué)科評價(jià)在國內(nèi)受關(guān)注的程度。

近年來，ESI應(yīng)用于大學(xué)和學(xué)科評價(jià)的研究非常普遍。Cova等[2]認(rèn)為，ESI數(shù)據(jù)庫是全球研究者、大學(xué)、學(xué)術(shù)機(jī)構(gòu)和國家學(xué)術(shù)影響力評價(jià)的一個(gè)重要工具。Chuang等[7]認(rèn)為，ESI學(xué)科排名為定量評估大學(xué)研究績效提供了一個(gè)非常有價(jià)值的標(biāo)準(zhǔn)。目前，國內(nèi)外研究多集中于ESI在大學(xué)和學(xué)科建設(shè)評價(jià)中的應(yīng)用。在大學(xué)評價(jià)方面，Ghane等[8]應(yīng)用ESI對伊朗14所高校排名進(jìn)行研究，Cova等[2]對利比里亞高校ESI排名的特征進(jìn)行研究；在學(xué)科評價(jià)方面，Zhang等[9]探討了經(jīng)濟(jì)學(xué)與商學(xué)領(lǐng)域高被引論文的作者分布，并基于高被引論文對不同國家和高校的研究績效進(jìn)行評價(jià)。國內(nèi)期刊發(fā)表的有關(guān)大學(xué)評價(jià)[10-11]和學(xué)科評價(jià)[12]的論文更多。當(dāng)然，關(guān)于ESI數(shù)據(jù)庫指標(biāo)的研究也較多[13-16]?？傮w來講，關(guān)于ESI應(yīng)用于大學(xué)和學(xué)科評價(jià)，國內(nèi)研究十分活躍，國外研究很少?！半p一流”建設(shè)總體方案出臺后，應(yīng)用ESI數(shù)據(jù)庫文獻(xiàn)計(jì)量學(xué)指標(biāo)進(jìn)行大學(xué)研究績效和學(xué)科建設(shè)評價(jià)的研究不斷涌現(xiàn)，但關(guān)于其局限性研究較少。筆者在長期應(yīng)用ESI和InCites數(shù)據(jù)庫進(jìn)行研究績效評價(jià)過程中發(fā)現(xiàn)，ESI應(yīng)用于大學(xué)和學(xué)科評價(jià)存在很多局限性。

1 不同學(xué)科入選閾值差異巨大，入選難度極不均衡

ESI每2個(gè)月更新一次，滾動統(tǒng)計(jì)分析前十年加當(dāng)年前幾個(gè)月論文及其被引頻次。它將自然科學(xué)和社會科學(xué)劃分為22個(gè)學(xué)科領(lǐng)域（見表1），入選的標(biāo)準(zhǔn)是某學(xué)科領(lǐng)域被引頻次前1%的作者和機(jī)構(gòu)、前50%的期刊和國家/地區(qū)。符合入選標(biāo)準(zhǔn)的最后一位的被引頻次即各學(xué)科領(lǐng)域作者、機(jī)構(gòu)、期刊和國家/地區(qū)的入選閾值。如表1所示，農(nóng)業(yè)科學(xué)領(lǐng)域作者入選ESI的閾值是507次（更新日期：2020年1月9日），即評價(jià)時(shí)間窗口內(nèi)作者農(nóng)業(yè)科學(xué)論文被引頻次總和達(dá)到507次則自動入選ESI高被引作者。同樣，農(nóng)業(yè)科學(xué)領(lǐng)域機(jī)構(gòu)入選閾值為2 431次，表示大學(xué)農(nóng)業(yè)科學(xué)最近十年論文的被引頻次必須達(dá)到2 431次才能入選ESI。某高校某學(xué)科入選ESI就意味該學(xué)校該學(xué)科論文影響力躋身全球前1%，領(lǐng)先于全球99%的機(jī)構(gòu)。因此，入選ESI成為許多國家/地區(qū)和高校衡量學(xué)科建設(shè)和發(fā)展水平的重要參考，也受到越來越多高校的重視。

可以看出，22個(gè)學(xué)科領(lǐng)域機(jī)構(gòu)入選閾值差異巨大，空間科學(xué)入選閾值達(dá)到40 428次，排在第一位；其次是物理學(xué)（21 021）、分子生物學(xué)與遺傳（14 716）；閾值偏低的學(xué)科分別為綜合性社會科學(xué)（1 570）、農(nóng)業(yè)科學(xué)（24 31）和工程（2 738），另外，臨床醫(yī)學(xué)（3 329）的閾值也較小。學(xué)科入選閾值大小主要由2個(gè)因素決定。①學(xué)科活躍度。如社會科學(xué)相對于自然科學(xué)是極不活躍的學(xué)科，多數(shù)社會科學(xué)學(xué)科被引半衰期較長，論文被引頻次普遍較低。這是導(dǎo)致綜合性社會科學(xué)學(xué)科入選ESI閾值偏低的主要原因。②學(xué)科覆蓋廣度（擁有該學(xué)科的機(jī)構(gòu)總量）。如臨床醫(yī)學(xué)是極其活躍的學(xué)科，論文產(chǎn)出規(guī)模巨大，被引頻次和篇均被引頻次都很高。然而，臨床醫(yī)學(xué)學(xué)科入選ESI的閾值較低，主要原因是全球醫(yī)療機(jī)構(gòu)數(shù)量龐大，前1%的機(jī)構(gòu)數(shù)量（入選名額）非?？捎^，達(dá)到了4 488個(gè)，是ESI中入選機(jī)構(gòu)數(shù)最多的學(xué)科。目前，ESI入選的機(jī)構(gòu)總數(shù)為6 415個(gè)（檢索日期：2020年1月11日），也就是這6 415個(gè)機(jī)構(gòu)中有4 488個(gè)機(jī)構(gòu)的臨床醫(yī)學(xué)學(xué)科入選ESI。

由于入選閾值的巨大差異，導(dǎo)致不同學(xué)科入選ESI難度極不均衡，空間科學(xué)入選難度是最大的，也是北京大學(xué)唯一未入選ESI的學(xué)科。目前，北京大學(xué)空間科學(xué)近十年論文被引頻次為37 429（數(shù)據(jù)來源于InCites，更新日期：2020年1月11日），是入選閾值的92.6%?？梢?，空間科學(xué)的入選難度極大，全球僅有167個(gè)機(jī)構(gòu)入選ESI，也就是能夠擁有空間科學(xué)的機(jī)構(gòu)非常少，能夠在空間科學(xué)領(lǐng)域發(fā)表論文的機(jī)構(gòu)全球有16 700個(gè)左右。相比之下，臨床醫(yī)學(xué)是非常活躍的學(xué)科，入選名額又相當(dāng)多，因此，臨床醫(yī)學(xué)入選ESI的難度是最小的。近期，許多綜合性大學(xué)紛紛合并或重新組建醫(yī)學(xué)院，可見醫(yī)學(xué)學(xué)科的巨大發(fā)展?jié)摿Α?/p>

表1 ESI的入選閾值及不同學(xué)科入選機(jī)構(gòu)數(shù)量

針對這一局限性，筆者建議在確定各學(xué)科機(jī)構(gòu)基數(shù)時(shí)僅計(jì)入高校數(shù)量，研究機(jī)構(gòu)和醫(yī)院均不計(jì)入機(jī)構(gòu)總數(shù)，目的是使各學(xué)科涉及的機(jī)構(gòu)數(shù)大體相當(dāng)，各學(xué)科入選ESI的機(jī)構(gòu)數(shù)（前1%）不至于太懸殊，從而在一定程度上平衡不同學(xué)科入選ESI的難度。

2 大學(xué)和學(xué)科排名完全依賴論文被引頻次

作者、機(jī)構(gòu)、期刊和國家/地區(qū)能否入選ESI，完全取決于論文被引頻次，基本不考慮論文產(chǎn)出能力，導(dǎo)致一些機(jī)構(gòu)（大學(xué)）憑借極少的論文甚至一篇異常高被引論文就能夠入選ESI。如日本急救醫(yī)學(xué)會（Japanese Assoc Acute Med）僅憑一篇被引3 990次（臨床醫(yī)學(xué)機(jī)構(gòu)入選閾值是3 329）的論文就把該機(jī)構(gòu)的臨床醫(yī)學(xué)學(xué)科推入ESI（見圖1）。這一現(xiàn)象在臨床醫(yī)學(xué)領(lǐng)域并不罕見，如當(dāng)前臨床醫(yī)學(xué)學(xué)科中有25個(gè)機(jī)構(gòu)是僅憑1篇高被引論文入選ESI的。每一個(gè)學(xué)科都有異常高被引論文，理論上這些高被引論文都可能推動一個(gè)大學(xué)的相應(yīng)學(xué)科入選ESI。圖2展示了工程學(xué)科2009—2019年論文被引頻次。由于工程學(xué)科的入選閾值為2 738，圖2中顯示的6篇論文的被引頻次都大于該閾值，所以這6篇論文都可以將各自所在機(jī)構(gòu)的工程學(xué)科推進(jìn)ESI。一個(gè)大學(xué)的某個(gè)學(xué)科，只有1篇文章就能躋身全球前1%，說明ESI用于大學(xué)學(xué)科評價(jià)存在明顯局限性。

對于研究者和機(jī)構(gòu)來講，科研論文產(chǎn)出量反映其科研產(chǎn)出能力，論文被引頻次反映其學(xué)術(shù)影響力，二者在研究者和大學(xué)評價(jià)中同等重要。田文燦等[17]和劉雪立等[18]在進(jìn)行機(jī)構(gòu)和個(gè)人研究績效評價(jià)時(shí)均同時(shí)采用發(fā)文量和被引頻次。因此，筆者建議要合理使用ESI提供的數(shù)據(jù)，采用發(fā)文量和被引量同等權(quán)重構(gòu)建復(fù)合指標(biāo)進(jìn)行大學(xué)和學(xué)科評價(jià)。

圖1 ESI數(shù)據(jù)庫中日本急救醫(yī)學(xué)會臨床醫(yī)學(xué)論文數(shù)及其被引頻次

圖2 InCites數(shù)據(jù)庫中工程學(xué)科2009—2019年論文及其被引頻次

3 被引頻次的“共享式”計(jì)數(shù)可能導(dǎo)致評價(jià)失真

目前，學(xué)科既高度分化又高度融合，學(xué)科之間互相交叉、滲透，作者之間、機(jī)構(gòu)之間、國家/地區(qū)之間合作與跨學(xué)科綜合研究已成常態(tài)。但是，通常情況下不同作者、不同機(jī)構(gòu)、不同國家/地區(qū)在一項(xiàng)研究中的貢獻(xiàn)不可能是相同的。然而，ESI對合作論文被引頻次的計(jì)數(shù)采用“共享”方式，即假設(shè)一篇論文被引頻次為1 000，那么所有參與的機(jī)構(gòu)（無論署名的機(jī)構(gòu)數(shù)量）均計(jì)入1 000的被引頻次。論文被引頻次在機(jī)構(gòu)之間共享的計(jì)數(shù)方式，導(dǎo)致許多大學(xué)被過度高估，評價(jià)結(jié)果嚴(yán)重失真。為了說明這一問題，筆者專門對海南醫(yī)學(xué)院臨床醫(yī)學(xué)學(xué)科論文產(chǎn)出、機(jī)構(gòu)合作、被引頻次等進(jìn)行統(tǒng)計(jì)分析。2009年1月1日—2018年12月31日，海南醫(yī)學(xué)院共有臨床醫(yī)學(xué)論文421篇，被引頻次在10以上的有88篇，其中署名第一機(jī)構(gòu)的僅22篇（占比25%）。88篇論文的被引頻次為3 032，而署名第一機(jī)構(gòu)的22篇論文被引頻次僅為377，占比12.4%。被引頻次最高的一篇論文[19]是和伯明翰婦女醫(yī)院合作完成的，海南醫(yī)學(xué)院在這篇文章中的署名排序?yàn)榈?24名，ESI中其被引頻次為1 436，意味該篇文章為海南醫(yī)學(xué)院的臨床醫(yī)學(xué)學(xué)科貢獻(xiàn)了1 436被引頻次（當(dāng)時(shí)入選閾值的58.2%）。我國共有36個(gè)機(jī)構(gòu)在該文中署名，大部分是高校的附屬醫(yī)院（見圖3）。2019年3月14日更新的ESI數(shù)據(jù)庫中，海南醫(yī)學(xué)院臨床醫(yī)學(xué)學(xué)科的被引頻次為4 206，按照12.4%計(jì)算，該校署名第一機(jī)構(gòu)的臨床醫(yī)學(xué)論文的被引頻次僅為522次。

部分綜合性大學(xué)專業(yè)設(shè)置中沒有醫(yī)學(xué)學(xué)科，其臨床醫(yī)學(xué)竟然也入選了ESI，如南開大學(xué)、寧波大學(xué)、江南大學(xué)、華東師范大學(xué)、哈爾濱工業(yè)大學(xué)、北京師范大學(xué)、重慶大學(xué)等，甚至還有教育部的臨床醫(yī)學(xué)也入選了ESI。這些機(jī)構(gòu)的臨床醫(yī)學(xué)入選ESI，正是ESI這一局限性導(dǎo)致的。

目前，學(xué)術(shù)界越來越關(guān)注跨學(xué)科研究[20-21]，一些研究人員認(rèn)為，跨學(xué)科研究在科學(xué)研究中發(fā)揮著關(guān)鍵作用，并產(chǎn)生了許多開創(chuàng)性的科學(xué)發(fā)現(xiàn)[22-23]。在大學(xué)和研究機(jī)構(gòu)，科研合作是很常見的事情[24]。但是，由于“雙一流”建設(shè)的驅(qū)動，各高校對入選ESI都十分重視，迫使某些水平一般的高校鼓勵(lì)和支持本校科研人員通過各種渠道尋求與國內(nèi)外機(jī)構(gòu)的“合作”，共享合作論文的被引頻次，這將導(dǎo)致急功近利的“科研合作”（實(shí)際上是機(jī)構(gòu)亂署名）乃至“不當(dāng)機(jī)構(gòu)自引”，并可能誘發(fā)新的學(xué)術(shù)不端行為。

圖3 一篇臨床醫(yī)學(xué)高被引論文的中國機(jī)構(gòu)署名情況（部分）

對此，筆者建議在重要的學(xué)術(shù)評價(jià)活動中，論文的產(chǎn)出及其被引頻次只計(jì)入第一研究機(jī)構(gòu)。當(dāng)然，這可能會低估合作機(jī)構(gòu)的貢獻(xiàn)。關(guān)于合作者（機(jī)構(gòu)和學(xué)者）貢獻(xiàn)分配問題非常復(fù)雜[25]，但是只計(jì)數(shù)第一作者或通信作者有其合理性，畢竟第一作者或通信作者被認(rèn)為在科研項(xiàng)目完成和論文發(fā)表中的作用是決定性的和最重要的[26]。第一機(jī)構(gòu)和合作機(jī)構(gòu)的關(guān)系也是一樣，第一機(jī)構(gòu)主導(dǎo)了科研方向，在科學(xué)研究全過程發(fā)揮著決定性作用。

4 辦學(xué)規(guī)模和學(xué)科設(shè)置對ESI大學(xué)排名影響巨大

（1）辦學(xué)規(guī)模問題。大多數(shù)綜合性大學(xué)學(xué)科設(shè)置齊全，能全覆蓋ESI數(shù)據(jù)庫的22個(gè)學(xué)科，而且規(guī)模龐大，如浙江大學(xué)、上海交通大學(xué)、北京大學(xué)、清華大學(xué)等。ESI的機(jī)構(gòu)排名默認(rèn)按機(jī)構(gòu)（大學(xué)）全部論文的被引頻次排名，所以機(jī)構(gòu)（大學(xué)）辦學(xué)規(guī)模越大、學(xué)科設(shè)置越齊全越容易獲得理想的排名。專業(yè)性大學(xué)與綜合性大學(xué)相比，專業(yè)性大學(xué)將會被低估。

（2）學(xué)科設(shè)置問題。論文被引頻次受學(xué)科屬性、學(xué)科規(guī)模、發(fā)展階段、學(xué)者引證習(xí)慣等影響較大，因此，不同學(xué)科論文被引頻次差異巨大。如劉雪立等[27]對2015年版JCR進(jìn)行統(tǒng)計(jì)，納米和納米技術(shù)領(lǐng)域33 805篇論文共被引用1 128 562次，篇均被引頻次達(dá)33.4次；政治學(xué)領(lǐng)域5 982篇論文共被引用138 957次，篇均被引頻次23.2次；而歷史學(xué)領(lǐng)域2 235篇論文共被引用20 662次，篇均被引頻次僅9.2次。因此，不同學(xué)科論文產(chǎn)出潛力和被引潛力差異巨大，不同高校專業(yè)設(shè)置、特色學(xué)科、優(yōu)勢學(xué)科差異巨大，特色和優(yōu)勢學(xué)科與高被引學(xué)科一致，機(jī)構(gòu)會被高估，否則將會被低估。

因此，采用ESI數(shù)據(jù)庫不加區(qū)分地把不同規(guī)模、不同類別高?；煸谝黄鹋琶菢O不合理的。建議對論文產(chǎn)出量和論文被引頻次進(jìn)行學(xué)科標(biāo)準(zhǔn)化處理，但更重要的是根據(jù)評價(jià)目的和評價(jià)結(jié)果的應(yīng)用對高校進(jìn)行分類評價(jià)。

5 學(xué)科設(shè)置過度偏向自然科學(xué)

ESI的統(tǒng)計(jì)數(shù)據(jù)來源不包括A＆HCI，僅以SCI和SSCI作為統(tǒng)計(jì)數(shù)據(jù)來源，統(tǒng)計(jì)范圍以理工科期刊為主。從ESI數(shù)據(jù)庫劃分的22個(gè)學(xué)科可以看出，有20個(gè)屬于自然科學(xué)或以自然科學(xué)為主，屬于社會科學(xué)的僅有2個(gè)（經(jīng)濟(jì)學(xué)與商學(xué)、綜合性社會科學(xué)[9]），因此對于人文社科類成果的反映程度極其有限，對于人文社科類學(xué)科專業(yè)的評價(jià)嚴(yán)重不足，以社會科學(xué)為主的高校入選ESI的學(xué)科數(shù)自然不會太多。另外，我國高校社會科學(xué)國際化程度不高，論文數(shù)量和被引頻次都無法與自然科學(xué)相比。以入選ESI學(xué)科數(shù)量和論文被引頻次進(jìn)行大學(xué)評價(jià)，對以社會科學(xué)為主的高校是極不合理的。所以，在以SCI和SSCI為主導(dǎo)的大學(xué)評價(jià)和學(xué)科評價(jià)中，中國人民大學(xué)等社會科學(xué)強(qiáng)校都是被極度低估的。

ESI的這一弊端導(dǎo)致全世界的非理工科院校在ESI排名中具有明顯的劣勢，那些以文科見長的院校真實(shí)水平被嚴(yán)重低估。另外，不建議以ESI為標(biāo)準(zhǔn)對人文社科類學(xué)科專業(yè)進(jìn)行評價(jià)。

針對這一局限性，建議在我國的大學(xué)和學(xué)科評價(jià)中慎重使用基于ESI的22個(gè)學(xué)科進(jìn)行高校研究績效評價(jià)，積極探索適合我國國情的學(xué)科評價(jià)體系。但是，ESI學(xué)科分類體系實(shí)際上是建立在期刊分類的基礎(chǔ)上，與我國教育部學(xué)科分類體系有較大差別，無法進(jìn)行直接對照。依據(jù)ESI學(xué)科分類對SCI和SSCI期刊進(jìn)行分類，按照一對一的方式劃分到22個(gè)學(xué)科中，另外有60多種被認(rèn)為跨學(xué)科領(lǐng)域的期刊，則按照單篇文獻(xiàn)進(jìn)行歸類。ESI數(shù)據(jù)庫各學(xué)科涵蓋的內(nèi)容寬泛，而我國高校的學(xué)科分類參照《學(xué)位授予和人才培養(yǎng)學(xué)科目錄》進(jìn)行劃分，有13個(gè)門類110個(gè)一級學(xué)科，這110個(gè)學(xué)科在InCites數(shù)據(jù)庫中只能對應(yīng)上77個(gè)。如何克服這一局限性尚待進(jìn)一步研究。