全面畫像，而非簡(jiǎn)單指標(biāo)
——利用可視化手段全面揭示單點(diǎn)指標(biāo)的蘊(yùn)含信息

何 薇 王 琳

（科睿唯安學(xué)術(shù)研究事業(yè)部，北京100086）

1964年，科學(xué)引文索引（Science Citation Index，SCI）的推出為全球科研人員提供了一種新的論文檢索方法——引文檢索［1］。其提出者加菲爾德博士在后續(xù)研究中發(fā)現(xiàn)，引文數(shù)據(jù)除了可用于論文檢索外，還可以揭示科學(xué)活動(dòng)本身，包括科學(xué)的結(jié)構(gòu)、科學(xué)隨時(shí)間的變遷以及文獻(xiàn)作者之間的聯(lián)系［2-4］。在此基礎(chǔ)上，無論是科學(xué)計(jì)量學(xué)界的學(xué)者還是政府或研究機(jī)構(gòu)的科研管理人員對(duì)該領(lǐng)域作了進(jìn)一步探索性研究，而且不同程度上將定量分析結(jié)果與定性評(píng)估相結(jié)合［5-7］?？蒲挟a(chǎn)出的影響力是多方面的，如學(xué)術(shù)影響力、技術(shù)影響力、經(jīng)濟(jì)影響力及社會(huì)影響力等?；谝牡奈墨I(xiàn)計(jì)量學(xué)指標(biāo)在合理應(yīng)用前提下可以揭示其學(xué)術(shù)影響力［8］。使用引文數(shù)據(jù)進(jìn)行定量分析的優(yōu)勢(shì)在于：通過提供全面、客觀的數(shù)據(jù)，能有效避免主觀判斷的片面性，有助于使用者做出更符合科學(xué)實(shí)際的決策。因此，全球很多國(guó)家和地區(qū)都在應(yīng)用文獻(xiàn)計(jì)量學(xué)對(duì)科研活動(dòng)進(jìn)行定量分析，其中包括美國(guó)國(guó)家科學(xué)基金會(huì)（National Science Foundation）［9］、歐盟委員會(huì)（European Commission）［10］以及日本文部科學(xué)?。∕inistry of Education，Culture，Sports，Science and Technology）［11］等。

盡管定量分析為科研評(píng)估提供了重要的參考，其作為同行評(píng)議的一種補(bǔ)充［12］，無法凌駕或替代后者。另一方面，隨著科學(xué)研究的規(guī)模、專業(yè)細(xì)分度和學(xué)科交叉程度與日俱增，簡(jiǎn)單使用已有定量數(shù)據(jù)指標(biāo)對(duì)科學(xué)活動(dòng)和科研機(jī)構(gòu)進(jìn)行評(píng)價(jià)往往有失偏頗。事實(shí)上，當(dāng)代科學(xué)研究并非一維性事物，其過程日趨復(fù)雜。另外，需要考慮到研究機(jī)構(gòu)通常需兼顧教學(xué)、科研雙重任務(wù)，且科研任務(wù)跨越多個(gè)學(xué)科。因此，使用定量數(shù)據(jù)對(duì)科研人員、科研機(jī)構(gòu)進(jìn)行分析和評(píng)價(jià)時(shí)，簡(jiǎn)單地將數(shù)據(jù)壓縮成若干單一指標(biāo)或排名將導(dǎo)致信息嚴(yán)重丟失。近幾年，國(guó)際學(xué)術(shù)界提出“萊頓宣言”［13］和“舊金山宣言”［14］，以此來糾偏“量化至上”和現(xiàn)有定量分析方法的不當(dāng)之處。D.Pendlebury在《如何運(yùn)用文獻(xiàn)計(jì)量學(xué)分析工具進(jìn)行科研績(jī)效評(píng)價(jià)》［15］白皮書中也提出十大實(shí)用準(zhǔn)則來探究如何更恰當(dāng)?shù)厥褂枚糠治?。因此，如何正確合理地使用定量數(shù)據(jù)進(jìn)行科研績(jī)效分析成為了一個(gè)廣受關(guān)注的重要問題。

針對(duì)該問題，2019年科睿唯安旗下科學(xué)信息研究所發(fā)表了一系列全球研究報(bào)告。該系列的第一篇報(bào)告——《全面畫像，而非簡(jiǎn)單指標(biāo)》［16］指出：盡管受到資深分析專家的反對(duì)，通過簡(jiǎn)單分析來評(píng)估論文、科研人員和機(jī)構(gòu)表現(xiàn)的研究仍然存在，單點(diǎn)指標(biāo)和線性排名等簡(jiǎn)單分析手段仍被廣泛采用。實(shí)際上，單點(diǎn)指標(biāo)雖然在某些類型的科研績(jī)效比較中具有價(jià)值，但如果用單點(diǎn)指標(biāo)替代全面的科研管理，例如在缺乏補(bǔ)充信息的情況下進(jìn)行學(xué)術(shù)評(píng)估，甚至將單點(diǎn)指標(biāo)視為招聘標(biāo)準(zhǔn)，那么，這類信息就具有局限性。此外，單個(gè)（或孤立）指標(biāo)可能會(huì)被誤用，進(jìn)一步導(dǎo)致分析錯(cuò)誤。報(bào)告還指出，每一個(gè)被過度簡(jiǎn)化或誤用的指標(biāo)，可以尋求更優(yōu)的信息表達(dá)方式。其中一種方式是基于詳盡準(zhǔn)確的數(shù)據(jù)，以多個(gè)維度互補(bǔ)的圖表形式進(jìn)行數(shù)據(jù)可視化，同時(shí)通過展開數(shù)據(jù)，將指標(biāo)置于具體案例背景下，通過挖掘新的特征來展示更全面的科研績(jī)效信息。

本文基于《全面畫像，而非簡(jiǎn)單指標(biāo)》提出的理念，從科研管理最常見的三種分析對(duì)象——機(jī)構(gòu)、學(xué)科和個(gè)人展開分析并結(jié)合案例進(jìn)行詳細(xì)說明。第一節(jié)將介紹如何利用影響力全貌分析研究機(jī)構(gòu)的整體科研績(jī)效，第二節(jié)通過優(yōu)劣勢(shì)的分析方法來綜合分析某個(gè)機(jī)構(gòu)的學(xué)科發(fā)展態(tài)勢(shì)，第三節(jié)將介紹如何利用射束圖來分析科研人員產(chǎn)出的影響力。

1 研究機(jī)構(gòu)：篇均引文影響力與影響力全貌

利用單點(diǎn)指標(biāo)對(duì)研究團(tuán)隊(duì)或機(jī)構(gòu)進(jìn)行分析時(shí)，其局限性尤為突出。ISI的報(bào)告中列舉了兩所從事生物醫(yī)學(xué)研究的機(jī)構(gòu)過去5年的學(xué)術(shù)產(chǎn)出，其中A機(jī)構(gòu)發(fā)表論文845篇，B機(jī)構(gòu)發(fā)表論文403篇。將論文的被引次數(shù)針對(duì)學(xué)科、出版年份、文獻(xiàn)類型的世界平均值進(jìn)行“規(guī)范化”，可得出每篇論文的“學(xué)科規(guī)范化引文影響力”（Category Normalized Citation Index，CNCI）值。若 CNCI值大于1，說明這篇論文的被引頻次超過了全球同類論文的平均引用水平，若CNCI小于1，說明這篇論文的被引頻次不及全球同類論文的平均引用水平。A機(jī)構(gòu)所有論文的平均CNCI為1.86，B機(jī)構(gòu)則為2.55。雖然這兩個(gè)平均后的CNCI值不具有統(tǒng)計(jì)功效，但在管理實(shí)踐中通?？梢浴凹僭O(shè)”體量小的B機(jī)構(gòu)具有更高的“影響力”。

機(jī)構(gòu)的CNCI平均值是由數(shù)篇文章各自的CNCI通過簡(jiǎn)單算數(shù)平均計(jì)算得到。然而，該平均影響力指標(biāo)可能具有一定的欺騙性。其原因在于被引次數(shù)一般都具有偏斜分布的特性，即樣本集擁有眾多低值和若干高值［17］，而非正態(tài)分布的數(shù)據(jù)不適合用平均數(shù)來描述數(shù)據(jù)集。為避免該問題，報(bào)告以CNCI的全球平均值為基準(zhǔn)，對(duì)被引次數(shù)進(jìn)行分類，以顯示高被引和低被引論文的真實(shí)分布［18］。據(jù)此，可以發(fā)現(xiàn)上述兩個(gè)機(jī)構(gòu)的影響力全貌并沒有實(shí)質(zhì)性差異。而導(dǎo)致B機(jī)構(gòu)CNCI值高的原因，通過回顧原始數(shù)據(jù)可知B機(jī)構(gòu)曾發(fā)表一篇綜述性論文，被權(quán)威期刊高頻引用，最終拉升了該機(jī)構(gòu)整體的平均影響力。

上述方法所生成的研究機(jī)構(gòu)科研畫像提供了遠(yuǎn)比單點(diǎn)指標(biāo)CNCI總平均值更加豐富的信息，本文稱之為影響力全貌（Impact Profile）。它可以“定位”每個(gè)機(jī)構(gòu)的整體平均值，并檢查其科研產(chǎn)出高出或低于該平均值的比例。影響力全貌除用于機(jī)構(gòu)對(duì)標(biāo)分析，亦可應(yīng)用于機(jī)構(gòu)國(guó)際合作論文、影響力隨時(shí)間進(jìn)展、小規(guī)模機(jī)構(gòu)影響力全貌揭示等分析角度。本節(jié)將就這三個(gè)方面展開闡述。

1.1 基于Impact Profile的機(jī)構(gòu)國(guó)際合作論文影響力分析

一般而言，國(guó)際合作論文比國(guó)內(nèi)合作論文更容易獲得較高的引用次數(shù)［19，20］。利用影響力全貌能夠全面揭示國(guó)際合作對(duì)機(jī)構(gòu)科研產(chǎn)出的學(xué)術(shù)影響力帶來的促進(jìn)作用。圖1通過平滑曲線的方式，列舉了A、B兩所高校過去10年化學(xué)學(xué)科通過國(guó)內(nèi)合作（或單獨(dú)發(fā)表）及國(guó)際合作論文的產(chǎn)出影響力全貌。其中，A高校來自中國(guó)，該學(xué)科國(guó)際合作論文百分比為14.7%。B高校來自美國(guó)，該學(xué)科國(guó)際合作論文百分比為41.1%?？梢钥吹?，A高校國(guó)際合作論文零被引論文百分比遠(yuǎn)低于國(guó)內(nèi)合作（或單獨(dú)發(fā)表）的論文，即更多的國(guó)際合作論文獲得了其他學(xué)者的引用。同時(shí)國(guó)際合作論文在CNCI位于0.5到1的區(qū)間范圍內(nèi)其百分比高于國(guó)內(nèi)合作（或單獨(dú)發(fā)表）的論文，且在CNCI大于1的其它區(qū)間內(nèi)，論文占比也均高于國(guó)內(nèi)合作（或單獨(dú)發(fā)表）的論文。這表明：國(guó)際合作論文在高影響力區(qū)間中占比更高，國(guó)際合作整體提升了A高校論文的引文影響力水平。反觀B高校，其國(guó)際合作論文與國(guó)內(nèi)合作論文的影響力全貌分布則十分接近。A和B兩所高校的影響力全貌對(duì)比分析表明，美國(guó)高校B在該學(xué)科國(guó)際合作論文占比較高（41.1%），國(guó)際合作論文和國(guó)內(nèi)發(fā)表論文影響力表現(xiàn)較為均衡一致，但我國(guó)高校A在該學(xué)科的國(guó)際合作論文占比相對(duì)偏低，但高影響力的合作成果更多來自國(guó)際合作。

1.2 基于Impact Profile的機(jī)構(gòu)影響力時(shí)間進(jìn)展分析

追蹤機(jī)構(gòu)科研產(chǎn)出與影響力隨時(shí)間的進(jìn)展是科研管理人員十分關(guān)注的分析內(nèi)容之一。通過分時(shí)間段影響力全貌的比較能夠反映機(jī)構(gòu)影響力表現(xiàn)的發(fā)展與變化。圖2展示了某高校在過去10年間，每五年影響力全貌的對(duì)比。如圖所示，該校在2014—2018年期間，在CNCI大于1的若干區(qū)間的論文占比均高于2009—2013年時(shí)間段，表明該機(jī)構(gòu)在最近五年內(nèi)論文影響力有一定程度的提升。此外，在2014—2018年時(shí)間段內(nèi)，該校零被引論文的占比更高，其原因在于近期發(fā)表的論文與2009—2013年發(fā)表的論文相比，其累計(jì)獲得引用的時(shí)間更短，因此零被引論文的占比相對(duì)較高。

圖1 兩所高校2009—2018年ESI化學(xué)學(xué)科科研產(chǎn)出影響力全貌圖Fig.1 The Impact Profile of Two Universities in the ESIChemistry Field in 2009-2018

1.3 小規(guī)模機(jī)構(gòu)影響力全貌分析

數(shù)據(jù)分析表明：我國(guó)若干小規(guī)模高校在部分學(xué)科中具有較高的平均影響力。例如，某高校過去十年（2009—2018）僅發(fā)表319篇工程學(xué)學(xué)科研究論文，但其平均CNCI高達(dá)3.38，而相同數(shù)據(jù)檢索條件下，美國(guó)麻省理工學(xué)院在十年期間共發(fā)表6142篇工程學(xué)論文，平均CNCI為1.70。由于該中國(guó)高校在工程學(xué)學(xué)科論文產(chǎn)出數(shù)量較少，其高影響力表現(xiàn)可能原因有：1）若干篇高CNCI值論文導(dǎo)致平均CNCI值較高；2）論文總體影響力較高。具體原因，則可以通過圖3的影響力全貌來深入分析。如圖3所示，在零被引論文占比上，麻省理工學(xué)院表現(xiàn)略優(yōu)于該中國(guó)高校，后者有11.6%的論文在發(fā)表后未獲得引用。兩所高校論文占比最高的區(qū)間均出現(xiàn)在CNCI大于1小于2的范圍內(nèi)，且麻省理工學(xué)院在該區(qū)間的論文占比略高于該中國(guó)高校。但在CNCI大于8的區(qū)間內(nèi)，該中國(guó)高校的論文占比（14.7%）遠(yuǎn)高于麻省理工學(xué)院（2.3%）。通過影響力全貌分析，可以看到該中國(guó)高校在極高影響力區(qū)間范圍內(nèi)發(fā)表了相當(dāng)占比的論文。進(jìn)一步分析則顯示該中國(guó)高校在工程學(xué)學(xué)科的高CNCI值很大程度上由三位高被引科學(xué)家發(fā)表的大量高影響力文章所導(dǎo)致。本案例說明，在分析機(jī)構(gòu)影響力表現(xiàn)的實(shí)踐中，不能只考慮機(jī)構(gòu)的CNCI均值，而是要結(jié)合產(chǎn)出和深入的影響力全貌分析才能揭示出數(shù)字背后的真實(shí)涵義。

圖2 某機(jī)構(gòu)2009—2013年時(shí)間段及2014—2018年時(shí)間段科研產(chǎn)出影響力全貌對(duì)比圖Fig.2 The Comparison of Impact Profile of an Exemplar University during 2009-2013 and 2014-2018

圖3 某中國(guó)高校與美國(guó)麻省理工學(xué)院2009—2018年ESI工程學(xué)學(xué)科科研產(chǎn)出影響力全貌對(duì)比圖Fig.3 The Comparison of Impact Profile between a Chinese University and MIT in ESI Engineering Field in 2009-2018

影響力全貌這一分析方法，試圖回答科研管理人員諸如本機(jī)構(gòu)在哪一影響力區(qū)間的論文最多、機(jī)構(gòu)科研影響力的分布如何、影響力水平高于全球均值的產(chǎn)出占比如何、較高影響力的科研產(chǎn)出占比如何等問題。通過以上舉例，可以看到運(yùn)用這一分析方法，能夠更加全面、清晰地展現(xiàn)高?；蛘呖蒲袡C(jī)構(gòu)論文影響力分布情況。在科研管理工作中，通過對(duì)標(biāo)分析、國(guó)際合作分析、時(shí)間趨勢(shì)等多種維度，結(jié)合這一分析方法可以為全面把握本機(jī)構(gòu)的科研成果表現(xiàn)提供更為詳細(xì)的數(shù)據(jù)支撐。

2 研究足跡而非大學(xué)排名

大學(xué)排名以單一位次來反映高校多種多樣的校園活動(dòng)，其壓縮損失的信息量遠(yuǎn)遠(yuǎn)超過大多數(shù)分析指標(biāo)。相比較而言，研究足跡（Research Footprint）按學(xué)科或多個(gè)不同指標(biāo)顯示績(jī)效表現(xiàn)，可用于比較兩個(gè)機(jī)構(gòu)或國(guó)家的教學(xué)科研水平，也可將一系列的目標(biāo)機(jī)構(gòu)與相應(yīng)的基準(zhǔn)進(jìn)行對(duì)標(biāo)，因此比大學(xué)排名蘊(yùn)含更詳盡的信息。值得注意的是，研究足跡證明，僅僅通過一個(gè)數(shù)值對(duì)兩個(gè)復(fù)雜研究體系進(jìn)行比較是不科學(xué)的。

以兩所英國(guó)大學(xué)，即帝國(guó)理工大學(xué)和倫敦政治經(jīng)濟(jì)學(xué)院為例，其在2018年泰晤士世界大學(xué)排名中位次分別為第9名和第26名。然而，17個(gè)位次的排名差距是否反映出這兩所高校的實(shí)際水平？ISI的報(bào)告通過與其同類高校進(jìn)行研究足跡分析（主要從不同學(xué)科領(lǐng)域所獲得的研究資助金額進(jìn)行比較），意外地發(fā)現(xiàn)倫敦政治經(jīng)濟(jì)學(xué)院與同類高校（即英國(guó)非理工類學(xué)院及研究所）相比，其在自然科學(xué)尤其是醫(yī)藥生命健康相關(guān)的領(lǐng)域中獲得的資助表現(xiàn)相對(duì)較好。其主要原因在于該校參與了眾多以自然科學(xué)為基礎(chǔ)的項(xiàng)目，特別是政策和社會(huì)背景領(lǐng)域的研究。通過這個(gè)例子，可以看到對(duì)科研機(jī)構(gòu)進(jìn)行績(jī)效比較時(shí)，單個(gè)指標(biāo)很難全面反映真實(shí)情況。而研究足跡則是相對(duì)全面的一種方法，其通過若干圖表從不同的視角展示某個(gè)機(jī)構(gòu)和同類機(jī)構(gòu)相比的真實(shí)情況。如果希望進(jìn)一步對(duì)機(jī)構(gòu)的學(xué)科優(yōu)劣勢(shì)分析，則還需要考慮不同學(xué)科之間的差異，例如醫(yī)學(xué)類論文的引用次數(shù)相對(duì)來說普遍比工程類的要高，因此需要利用基準(zhǔn)值來分析機(jī)構(gòu)的“研究足跡”。我們可以采用優(yōu)劣勢(shì)分析法（Strengths Weaknesses Opportunities Threats，SWOT）來對(duì)某一個(gè)機(jī)構(gòu)的學(xué)科發(fā)展情況進(jìn)行綜合分析，并與基準(zhǔn)值進(jìn)行比較。

本節(jié)將結(jié)合實(shí)際例子，從基于SWOT的機(jī)構(gòu)學(xué)科分析和機(jī)構(gòu)學(xué)科隨時(shí)間變化動(dòng)態(tài)趨勢(shì)分析這兩個(gè)方面來詳細(xì)展示SWOT的應(yīng)用場(chǎng)景。

2.1 基于SWOT的機(jī)構(gòu)學(xué)科優(yōu)劣勢(shì)分析

高校進(jìn)行學(xué)科規(guī)劃和學(xué)科分析時(shí)首先需要了解本校學(xué)科的現(xiàn)有布局，識(shí)別優(yōu)勢(shì)學(xué)科和潛力學(xué)科等。圖4展示了某學(xué)校的22個(gè)ESI學(xué)科的SWOT分析：即每個(gè)學(xué)科相對(duì)于全球的優(yōu)勢(shì)、劣勢(shì)、機(jī)會(huì)和威脅分析。如圖所示，圖中橫坐標(biāo)為特定學(xué)科占本機(jī)構(gòu)所有論文的占比除以全球該學(xué)科占全球所有學(xué)科論文的比例，該比例大于1，說明對(duì)于相應(yīng)學(xué)科，本機(jī)構(gòu)在產(chǎn)出規(guī)模上超過全球平均水平；縱坐標(biāo)為CNCI值，該值大于1，說明對(duì)于相應(yīng)學(xué)科，本機(jī)構(gòu)的引文影響力超過全球平均水平。在四個(gè)象限中，第一象限為優(yōu)勢(shì)學(xué)科，即學(xué)科的論文產(chǎn)出占比和引文影響力表現(xiàn)均優(yōu)于全球平均水平。因此，農(nóng)業(yè)科學(xué)、藥理學(xué)與毒理學(xué)、植物學(xué)與動(dòng)物學(xué)這三個(gè)學(xué)科是該學(xué)校的優(yōu)勢(shì)學(xué)科。第二象限代表機(jī)會(huì)學(xué)科，其中引文影響力最高的學(xué)科是精神病學(xué)與心理學(xué)，其引文影響力超過全球平均水平的8倍，但是由于該學(xué)科產(chǎn)出絕對(duì)數(shù)量少，僅有2篇，且為高被引論文，導(dǎo)致該學(xué)科CNCI值較高，因此其分布結(jié)果僅供參考。第三象限代表劣勢(shì)學(xué)科，該區(qū)域的學(xué)科論文的產(chǎn)出和引文影響力相對(duì)較低。通常對(duì)于這個(gè)區(qū)域的學(xué)科，學(xué)校需要進(jìn)一步分析出現(xiàn)這種情況背后的原因，再結(jié)合專家意見規(guī)劃未來的發(fā)展方向。例如工程學(xué)雖然位于該區(qū)域，但CNCI值為0.96，非常接近1，相對(duì)來說成為機(jī)會(huì)學(xué)科的可能性較大。第四象限代表威脅學(xué)科，該區(qū)域的學(xué)科文獻(xiàn)產(chǎn)量占比較高，但引文影響力較低。地球科學(xué)、微生物學(xué)、化學(xué)、生物學(xué)與生物化學(xué)、分子生物學(xué)與遺傳學(xué)和環(huán)境與生態(tài)學(xué)這6個(gè)學(xué)科位于威脅區(qū)域，說明這些學(xué)科在產(chǎn)出占比超過了全球平均水平，但引文影響力還不及全球平均水平，需要引起學(xué)校的關(guān)注和重視。

需要特別注意的是，圖4對(duì)學(xué)科的判定僅基于文獻(xiàn)產(chǎn)量占比和CNCI值這兩個(gè)指標(biāo)。高校在依據(jù)SWOT分析結(jié)果具體規(guī)劃時(shí)還應(yīng)著眼于本校實(shí)際情況和發(fā)展目標(biāo)來制定科學(xué)的發(fā)展策略。

2.2 基于SWOT的學(xué)科動(dòng)態(tài)趨勢(shì)變化分析

高校學(xué)科的發(fā)展是動(dòng)態(tài)變化的，因此需要定期地對(duì)學(xué)科的表現(xiàn)進(jìn)行跟蹤和監(jiān)測(cè)，來了解學(xué)科的發(fā)展變化，并基于客觀數(shù)據(jù)來進(jìn)行學(xué)科規(guī)劃。圖5展示了某中國(guó)高校的ESI學(xué)科在2016—2018年期間的表現(xiàn)變化分析。圖中的橫縱坐標(biāo)的含義與2.1節(jié)的圖4一致，橫坐標(biāo)為特定學(xué)科占本機(jī)構(gòu)所有論文的占比除以全球該學(xué)科占全球所有學(xué)科論文的比例，縱坐標(biāo)為CNCI值。

通過圖5觀察得知，在學(xué)科發(fā)展表現(xiàn)上，該校經(jīng)濟(jì)與商學(xué)、計(jì)算機(jī)科學(xué)、工程學(xué)和社會(huì)科學(xué)4個(gè)學(xué)科連續(xù)3年保持在優(yōu)勢(shì)學(xué)科區(qū)域，其產(chǎn)出和引文影響力的表現(xiàn)超過全球的平均水平；材料科學(xué)在2016年位于機(jī)會(huì)學(xué)科，2017年體量有所提升但影響力相對(duì)低，進(jìn)入威脅學(xué)科區(qū)域，2018年無論體量還是引文影響力均超過全球平均水平，提升至優(yōu)勢(shì)學(xué)科區(qū)域，圖5完整展現(xiàn)材料科學(xué)每一年的發(fā)展與變化。從學(xué)科的引文影響力變化來看，該校的物理學(xué)從2016年的劣勢(shì)學(xué)科到2017年接近機(jī)會(huì)學(xué)科區(qū)域到2018年提升至機(jī)會(huì)學(xué)科，環(huán)境與生態(tài)學(xué)從2016年的機(jī)會(huì)學(xué)科到2017年提升至優(yōu)勢(shì)學(xué)科并且2018年穩(wěn)定在優(yōu)勢(shì)學(xué)科，顯示該校在這兩個(gè)學(xué)科上科研產(chǎn)出的引文影響力有所提升。

圖4 某高校ESI學(xué)科相對(duì)于全球的優(yōu)勢(shì)、劣勢(shì)、機(jī)會(huì)和威脅分析圖Fig.4 Analysis of Strengths，Weaknesses，Opportunities and Threats by ESICategories，Relative toWorld Average Output and Performance of One Exemplar University

綜上所述，基于SWOT的分析方法可以更加科學(xué)合理地分析學(xué)科的優(yōu)劣勢(shì)。在科研管理工作中，結(jié)合時(shí)間趨勢(shì)和對(duì)標(biāo)分析等多種維度進(jìn)行SWOT分析，可為回答本機(jī)構(gòu)的學(xué)科表現(xiàn)和如何發(fā)展提供更為詳細(xì)的數(shù)據(jù)支撐。

3 科研人員績(jī)效分析：h指數(shù)v.s.射束圖

h指數(shù)是一種廣泛應(yīng)用于刻畫科研人員論文和引文影響力的指標(biāo)，其由物理學(xué)家Jorge Hirsch于2005年提出［21］。它通過如下方式將科研人員的論文及其被引次數(shù)縮減為單個(gè)數(shù)值：一個(gè)具有指數(shù)h的研究人員至少已發(fā)表了h篇論文，并且每篇論文至少已被引用了h次。h指數(shù)與科研人員的科研生涯和所屬學(xué)科非常相關(guān)。因?yàn)椴煌目蒲猩?，不同的研究領(lǐng)域，其被引次數(shù)的積累速度差異較大。因此，h指數(shù)不適用于對(duì)科研人員進(jìn)行精確的比較。此外，h指數(shù)通常不涵蓋非期刊出版物，且從數(shù)學(xué)的角度看也不具有一致性［22］。為解決 h指數(shù)的缺陷，德國(guó)馬普學(xué)會(huì)的Lutz Bornmann和Robin Haunschild提出了另一種衡量方法［23］。具體來說，該方法將每篇論文的被引次數(shù)按與其具有相同學(xué)科和出版年份的期刊的平均值進(jìn)行“規(guī)范化”，并將該值轉(zhuǎn)換為百分位數(shù)，利用射束圖這一可視化方式來展現(xiàn)。例如，百分位數(shù)為90意味著該論文位于引用率較高的前10%之列，另外90%則是引文影響力低于它的論文。相比于平均值，這種方法因?yàn)橐梅植计倍群艽?，從而能更?zhǔn)確地衡量集中趨勢(shì)。射束圖可用于開展公平的、有意義的評(píng)估，比h指數(shù)表征的信息更加全面。

圖5 某高校2016—2018年ESI學(xué)科SWOT動(dòng)態(tài)趨勢(shì)分析圖Fig.5 Dynamic SWOT Analysis during the Period of 2016-2018

射束圖是顯示研究人員發(fā)文量和影響力的“畫像”，可顯示研究人員的發(fā)文量和引文影響力隨時(shí)間的動(dòng)態(tài)變化。其同時(shí)考慮論文所屬學(xué)科以及論文發(fā)表時(shí)間，并使用百分位數(shù)，因此其反映的引文影響力是高度偏斜分布的［24］。將射束圖與h指數(shù)同時(shí)使用，能較為全面而正確地進(jìn)行科研分析。本節(jié)將通過兩個(gè)具體的案例，展示射束圖在分析單個(gè)和多個(gè)科研人員的績(jī)效中的應(yīng)用。

3.1 基于射束圖的科研人員引進(jìn)前后產(chǎn)出對(duì)比分析

在高?！半p一流”建設(shè)中，人才引進(jìn)起著十分重要的作用。一般而言，高校管理人員希望可以定期地跟蹤引進(jìn)人才的科研產(chǎn)出和學(xué)術(shù)影響力表現(xiàn)，來客觀呈現(xiàn)人才的引進(jìn)對(duì)學(xué)科建設(shè)所起到的實(shí)際作用。射束圖可以對(duì)人才引進(jìn)前后的學(xué)術(shù)影響力對(duì)比提供可靠的數(shù)據(jù)支撐。

圖6展示了某科研人員在2009—2019年近十年期間論文產(chǎn)出的射束圖。如圖所示，射束圖將每篇文章與對(duì)應(yīng)年份和學(xué)科的基準(zhǔn)值進(jìn)行了比較，并用百分位來呈現(xiàn)。圖中的紫色點(diǎn)代表每篇論文的百分位，綠色點(diǎn)代表該年度論文的中位數(shù)，中間的縱向虛線則代表該研究人員所有論文的百分位平均值（請(qǐng)注意此處的百分位計(jì)算方式是將同出版年、同學(xué)科和同文獻(xiàn)類型的所有論文的被引頻次降序排列后得到的，如果一篇文章的百分位值為1，說明全球與這篇文章同學(xué)科、同出版年、同文獻(xiàn)類型的論文中99%的論文的引文數(shù)都低于該論文，與《全面畫像，而非簡(jiǎn)單指標(biāo)》白皮書中的定義相反）。通過射束圖，可以更深入地了解該科研人員的科研表現(xiàn)以及引入前后的產(chǎn)出變化。具體地，該科研人員于2014年被引進(jìn)到國(guó)內(nèi)某高校。觀察可知，2014年后尤其是2015、2016和2017年，該科研人員發(fā)表的論文被引表現(xiàn)非常出色，引用排名在前10%的論文數(shù)量，超過了引進(jìn)前（2014年）的表現(xiàn)。這表明其在被引進(jìn)后仍然保持著高影響力的科研產(chǎn)出。從產(chǎn)出的論文數(shù)量來看，其在2014年之后也保持著穩(wěn)步增長(zhǎng)的態(tài)勢(shì)，說明在引進(jìn)之后該科研人員仍保持著活躍的科研產(chǎn)出。

圖6 某科研人員在2009—2019年期間發(fā)表論文的射束圖Fig.6 A Beam-plot of a Research's Publications in the Period of 2009-2019

3.2 多個(gè)科研人員的射束圖比較分析

科研人員分析場(chǎng)景通常由多個(gè)科研人員或者多個(gè)團(tuán)隊(duì)的比較分析構(gòu)成。本節(jié)將選擇某高校不同院系3位科研人員作為范例來分析其科研影響力表現(xiàn)。圖7展示了3位科研人員論文成果的射束圖。從首次發(fā)表時(shí)間來看，科研人員3的職業(yè)生涯開始最早，于2005年發(fā)表第一篇論文?？蒲腥藛T2職業(yè)生涯開始最晚，其第一篇論文發(fā)表于2009年。從科研產(chǎn)出量的年度趨勢(shì)來看，科研人員2每年的發(fā)文量高于其他兩位學(xué)者?？蒲腥藛T3的發(fā)文量高峰集中在2014和2015年，之后的發(fā)文量相對(duì)較少。科研人員1雖然發(fā)文數(shù)量不及科研人員2，但整體呈現(xiàn)出上升趨勢(shì)。從2018年這一年發(fā)表的論文表現(xiàn)來看，相比科研人員3，科研人員1和2發(fā)表的論文量相對(duì)較多。從百分位的分布來看，科研人員1有2篇論文百分位值低，說明這2篇論文的引文影響力排名靠前受到了同行的廣泛關(guān)注，而科研人員3發(fā)表的論文百分位值相對(duì)來說比較高，說明其引文影響力相對(duì)1和2來說比較低。

圖7 某院系3位科研人員的科研成果射束圖表現(xiàn)Fig.7 Beam Plots of Three Researchers'Publications

通過射束圖科研管理人員可以更加清晰地了解科研人員的成果表現(xiàn)，全面地把握該學(xué)者的學(xué)術(shù)產(chǎn)出發(fā)展態(tài)勢(shì)，為后續(xù)的人員績(jī)效分析提供更為充實(shí)的信息和強(qiáng)有力的支撐。

綜上所述，射束圖的分析方法可以提供與科研人員的科研成果相關(guān)的豐富信息，包括科研生涯中的首次發(fā)表時(shí)間、科研成果發(fā)表的連續(xù)性和發(fā)展趨勢(shì)、引文影響力在同學(xué)科的相對(duì)位置等，為科研管理活動(dòng)引進(jìn)人才和績(jī)效分析的工作提供詳實(shí)的數(shù)據(jù)支撐，可為同行專家的評(píng)估作為參考。

4 思考

同行評(píng)議仍然是在分配科學(xué)資源時(shí)進(jìn)行研究項(xiàng)目評(píng)估和決策的標(biāo)準(zhǔn)方式。然而，隨著科學(xué)問題越來越復(fù)雜，如何合理調(diào)配有限的資源就成為一個(gè)非常棘手的問題。因此，政策制定者、研究資金的提供者和高校的科研管理人員等開始對(duì)科學(xué)研究進(jìn)行定量分析，結(jié)合同行評(píng)議以期能夠做出更優(yōu)的決策。

利用文獻(xiàn)計(jì)量學(xué)對(duì)科研績(jī)效進(jìn)行分析的目標(biāo)是為了更好、更清晰地揭示科學(xué)研究的進(jìn)展。在同行專家意見的基礎(chǔ)上，輔助文獻(xiàn)計(jì)量學(xué)的深入分析，才可以更好地對(duì)科研績(jī)效評(píng)估提供更客觀、更全面的信息［25，26］。但是需要清楚地認(rèn)識(shí)是，如果不能準(zhǔn)確地了解定量分析能提供什么以及不能提供什么，或者僅僅依靠統(tǒng)計(jì)數(shù)字的話，就違背了定量分析的真正目的。例如，期刊影響因子的初衷是為了幫助圖書館評(píng)估和遴選訂購何種期刊［17］，但是現(xiàn)在影響因子卻被誤用為評(píng)價(jià)個(gè)人和研究機(jī)構(gòu)的水平和貢獻(xiàn)。正如科學(xué)信息研究所報(bào)告［16］及本文中所討論的，單點(diǎn)指標(biāo)（如h指數(shù)、期刊影響因子、篇均引文影響力等）和大學(xué)排名都能提供一定信息，但都存在被普遍誤解和誤用的現(xiàn)象。因此，需要對(duì)教學(xué)科研活動(dòng)進(jìn)行“全面畫像”，也即可視化這種直觀的分析手段來替代簡(jiǎn)單指標(biāo)。

本文針對(duì)科研管理活動(dòng)中普遍關(guān)注的三類問題，機(jī)構(gòu)的科研成果表現(xiàn)，學(xué)科發(fā)展的優(yōu)劣勢(shì)和科研人員的績(jī)效表現(xiàn)，基于“全面畫像”的可視化分析方法，通過多個(gè)案例來詳細(xì)展開說明。具體來說，第一節(jié)在對(duì)機(jī)構(gòu)整體進(jìn)行科研成果的表現(xiàn)分析時(shí)，通過影響力全貌的分析方法，可以全面展現(xiàn)在不同的論文引用基線的分布情況，幫助科研管理人員更加明晰機(jī)構(gòu)在哪個(gè)區(qū)間的論文表現(xiàn)更為出色，哪些地方還存在不足，在出現(xiàn)奇異值的地方，需要進(jìn)一步通過分析數(shù)據(jù)背后論文的實(shí)際情況來做更為深入的研究，從而為科研決策的制定提供更為豐富的數(shù)據(jù)支撐。第二節(jié)通過SWOT的優(yōu)劣勢(shì)分析方法可以從論文產(chǎn)出相對(duì)占比和引文影響力兩方面呈現(xiàn)某個(gè)機(jī)構(gòu)的學(xué)科發(fā)展態(tài)勢(shì)，輔助學(xué)科分析人員把握哪些學(xué)科處于優(yōu)勢(shì)的區(qū)間，哪些是機(jī)會(huì)學(xué)科。再結(jié)合時(shí)間趨勢(shì)的分析，可以發(fā)現(xiàn)哪些學(xué)科的國(guó)際引文影響力有所提升，哪些學(xué)科的產(chǎn)出規(guī)模有所變化。當(dāng)然需要特別注意，SWOT的優(yōu)劣勢(shì)僅是根據(jù)指標(biāo)來定義的，學(xué)校在制定學(xué)科發(fā)展計(jì)劃時(shí)，需要結(jié)合本校未來的發(fā)展目標(biāo)和專家的意見。第三節(jié)利用射束圖來分析科研人員產(chǎn)出論文的引文影響力，來多角度展現(xiàn)科研活動(dòng)的狀態(tài)。射束圖可以告訴大家一個(gè)科研人員科研生涯中的首次發(fā)表時(shí)間、科研成果發(fā)表的連續(xù)性和發(fā)展趨勢(shì)、引文影響力在同學(xué)科的相對(duì)位置等，為機(jī)構(gòu)在人才引進(jìn)和人才評(píng)估的工作提供更加詳實(shí)的信息，作為同行專家評(píng)估的參考資料。相比機(jī)構(gòu)和學(xué)科，人員的顆粒度更小，所以在進(jìn)行數(shù)據(jù)分析時(shí)需要特別小心，如何完整和準(zhǔn)確的檢索每位科研人員的論文成果是非常重要的，因?yàn)橛械臅r(shí)候遺漏或者誤判一篇文章會(huì)影響到數(shù)據(jù)的分析結(jié)果，進(jìn)而影響科研人員的表現(xiàn)?？傮w來說，相比于單一指標(biāo)，全面畫像制作相對(duì)簡(jiǎn)單，可展示更多有價(jià)值的信息，能有力支撐科學(xué)的科研管理，但在具體操作時(shí)，需要注意數(shù)據(jù)的準(zhǔn)確性和方法的合理性?？茖W(xué)合理的數(shù)據(jù)結(jié)果才能為專家提供有價(jià)值和有意義的參考。

致謝本文成文過程中，科睿唯安岳衛(wèi)平老師提供了寶貴的意見，尤其在背景介紹、案例解讀和文末的思考章節(jié)給予了指導(dǎo)，在此表示衷心的感謝！