科學(xué)研究的顛覆性創(chuàng)新測(cè)度
——相對(duì)顛覆性指數(shù)

楊杰，鄧三鴻，王昊

（1. 南京大學(xué)信息管理學(xué)院，南京 210023；2. 江蘇省數(shù)據(jù)工程與知識(shí)服務(wù)重點(diǎn)實(shí)驗(yàn)室，南京 210023）

0 引 言

科學(xué)并不是像一次函數(shù)一樣平滑地發(fā)展，開(kāi)創(chuàng)性的科學(xué)研究才是推動(dòng)社會(huì)進(jìn)步的最大助力[1]，開(kāi)創(chuàng)性的研究通常具備高度的顛覆性（disruption）[2]。近年來(lái)，學(xué)者們通過(guò)《萊頓宣言》[3]和《舊金山宣言》[4]對(duì)傳統(tǒng)計(jì)量指標(biāo)提出批判，并呼吁創(chuàng)新測(cè)度的相關(guān)指標(biāo)。2020年，教育部、科技部等在《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹(shù)立正確評(píng)價(jià)導(dǎo)向的若干意見(jiàn)》[5]中指出，在科研評(píng)價(jià)中，要突出創(chuàng)新的質(zhì)量和貢獻(xiàn)。對(duì)科學(xué)研究的創(chuàng)新性進(jìn)行準(zhǔn)確的測(cè)度是新時(shí)代下情報(bào)學(xué)和科學(xué)計(jì)量學(xué)的一項(xiàng)重要任務(wù)[6]。

科學(xué)和技術(shù)可以被描述為一種動(dòng)態(tài)發(fā)展的復(fù)雜網(wǎng)絡(luò)[7]，顛覆性創(chuàng)新的研究則體現(xiàn)為科學(xué)或技術(shù)網(wǎng)絡(luò)結(jié)構(gòu)中對(duì)既有范式的破壞[8]。顛覆性指數(shù)（dis‐ruption index，DI）是Funk等[9]于2017年提出的新指標(biāo)，基于專(zhuān)利技術(shù)的深層網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算其創(chuàng)新性，具體表現(xiàn)為專(zhuān)利的顛覆性影響分布，即該專(zhuān)利是否較大程度地影響了所在領(lǐng)域的技術(shù)范式。2019年，Wu等[10]將顛覆性指數(shù)拓展至文獻(xiàn)計(jì)量領(lǐng)域，并基于大樣本的實(shí)證研究證明了顛覆性指數(shù)的有效性和可靠性，如諾貝爾獎(jiǎng)得主代表性成果的顛覆性指數(shù)具有較高的正值，而鞏固性研究的顛覆性指數(shù)往往為較低的正值甚至是負(fù)值。2023年，Park等[2]基于顛覆性指數(shù)的測(cè)度，發(fā)現(xiàn)當(dāng)代科學(xué)似乎正在陷入“顛覆性停滯”的陷阱，即科學(xué)和技術(shù)的平均顛覆性正在逐漸下降。近年來(lái)，顛覆性指數(shù)在文獻(xiàn)計(jì)量學(xué)[11]、信息科學(xué)[12]和網(wǎng)絡(luò)科學(xué)[13]等多個(gè)領(lǐng)域得到了廣泛應(yīng)用，而其局限性主要在于缺乏測(cè)度一致性和區(qū)分度[14-15]。Leydesdorff等[16]學(xué)者基于實(shí)證提出了DI*、DI5等一系列改進(jìn)指標(biāo)，以緩解DI測(cè)度不一致、分布不均勻等問(wèn)題[14]，但這些指標(biāo)依然存在較大的改進(jìn)空間。

本文在顛覆性指數(shù)最新研究的基礎(chǔ)上進(jìn)行總結(jié)和改進(jìn)，深入剖析了顛覆性指數(shù)測(cè)度不一致的表現(xiàn)及因素，并提出一種全新的計(jì)量指標(biāo)——相對(duì)顛覆性指數(shù)（relative disruptive index，RDI），最后基于Web of Science（WoS）數(shù)據(jù)庫(kù)的引文數(shù)據(jù)進(jìn)行實(shí)證檢驗(yàn)，將顛覆性指數(shù)與相對(duì)顛覆性指數(shù)的結(jié)果進(jìn)行對(duì)比分析。研究結(jié)果表明，顛覆性指數(shù)的局限性體現(xiàn)在對(duì)不同參考文獻(xiàn)數(shù)量的論文測(cè)度時(shí)出現(xiàn)異質(zhì)性，原因體現(xiàn)在參數(shù)量級(jí)不一致，相對(duì)顛覆性指數(shù)在一定程度上解決了這些問(wèn)題，能夠更好地測(cè)度科學(xué)研究的顛覆性創(chuàng)新程度。

1 相關(guān)研究

1.1 科學(xué)研究的創(chuàng)新性

科學(xué)進(jìn)步的創(chuàng)新驅(qū)動(dòng)因素一般是復(fù)雜且罕見(jiàn)的，因此，科學(xué)研究創(chuàng)新性的測(cè)度存在著較大的障礙[17]?，F(xiàn)有的創(chuàng)新性測(cè)量方式一般是基于Koestler提出的“新穎的概念或方法結(jié)合”思路[18]，F(xiàn)lem‐ing[19]、Boudreau等[20]以及Packalen等[21]分別基于這種思路研究了期刊、專(zhuān)利和論文的創(chuàng)新性，Uzzi等[22]提出了基于參考文獻(xiàn)的期刊組合罕見(jiàn)程度（atypical）的創(chuàng)新性計(jì)算方法，Boyack等[23]基于標(biāo)準(zhǔn)偏差（standard deviation，Std Dev）對(duì)該方法進(jìn)行改進(jìn)并驗(yàn)證了其有效性；Wang等[24]利用類(lèi)似的方法，但是僅選取期刊的首次組合作為創(chuàng)新性評(píng)判依據(jù)；Uddin等[25]基于關(guān)鍵詞的組合罕見(jiàn)程度來(lái)衡量研究的創(chuàng)新性；Fontana等[26]基于論文的參考文獻(xiàn)學(xué)科分類(lèi)的新穎性組合或跨學(xué)科程度來(lái)測(cè)度其創(chuàng)新性；Azoulay等[27]基于出版物的MeSH（medical subject headings）主題詞重組比例來(lái)衡量其創(chuàng)新性；羅卓然等[28]將組合創(chuàng)新應(yīng)用到學(xué)術(shù)詞匯文本，提出基于語(yǔ)義相似度的創(chuàng)新性指標(biāo)。Shi等[29]將論文主題映射為多層嵌入網(wǎng)絡(luò)，并以此計(jì)算論文主題的不常見(jiàn)組合模式來(lái)表征其創(chuàng)新性。盡管創(chuàng)新性的研究在同行評(píng)議的過(guò)程中會(huì)面臨較大阻礙[20]，但是其往往能夠取得更大的長(zhǎng)期影響力[26]。

從理論基礎(chǔ)來(lái)看，現(xiàn)有的創(chuàng)新性測(cè)度指標(biāo)主要是基于論文主題新穎的或者不常見(jiàn)的組合模式，屬于事前測(cè)度（ex ante）指標(biāo)，雖然其不同于論文被引量[30]、擴(kuò)散速度[31]、影響廣度[32]等事后測(cè)度（ex post）指標(biāo)，但均屬于單一維度的評(píng)價(jià)指標(biāo)。除創(chuàng)新性外，傳統(tǒng)的引文指標(biāo)主要包括數(shù)量、合作、主題和影響，其測(cè)度維度也較為單一[33]；而對(duì)于科學(xué)創(chuàng)新性這一復(fù)雜要素，則應(yīng)當(dāng)基于引文網(wǎng)絡(luò)中的多維度深層次關(guān)系進(jìn)行測(cè)度[31]。

1.2 顛覆性指數(shù)

1.2.1 DI

顛覆性指數(shù)的理論基礎(chǔ)源自Popper的科學(xué)發(fā)展理論[34]和Kuhn的范式變革理論[35]，即常規(guī)科學(xué)會(huì)在當(dāng)前范式下解決未知的問(wèn)題，而顛覆性科學(xué)不同于常規(guī)科學(xué)，顛覆性科學(xué)會(huì)在一定程度上突破既有范式的局限，產(chǎn)生新的范式、學(xué)科或領(lǐng)域。在引文網(wǎng)絡(luò)的視角下，可以將論文節(jié)點(diǎn)的前向引用節(jié)點(diǎn)視作其知識(shí)基礎(chǔ)，而將后向被引節(jié)點(diǎn)視作知識(shí)流動(dòng)和影響[36]，那么對(duì)于具備顛覆性創(chuàng)新特征的論文，其后繼節(jié)點(diǎn)會(huì)較小程度地依賴(lài)于該論文本身的知識(shí)基礎(chǔ)，而直接建立在該論文創(chuàng)立的“新范式”下，由此，顛覆性的概念可以定量地反映為引文網(wǎng)絡(luò)中論文被引模式的一種分布[13,37]。Funk等[9]基于專(zhuān)利引用網(wǎng)絡(luò)提出了顛覆性指數(shù)指標(biāo)，用于衡量某一專(zhuān)利是發(fā)展還是顛覆了現(xiàn)有的技術(shù)趨勢(shì)。Wu等[10]進(jìn)一步提出了引文網(wǎng)絡(luò)中的顛覆性指數(shù)，在引文網(wǎng)絡(luò)中，某一核心論文（focal paper，F(xiàn)P）的顛覆性指數(shù)定義為

其中，NB代表引用了FP，并且引用了FP參考文獻(xiàn)至少一次的論文數(shù)量；NF代表引用了FP，但沒(méi)有引用FP參考文獻(xiàn)的論文數(shù)量；NR代表沒(méi)有引用FP，但引用了FP參考文獻(xiàn)至少一次的論文數(shù)量。

Azoulay[38]對(duì)顛覆性指數(shù)有一直觀的解釋?zhuān)簩?duì)于某一核心文章FP而言，如果許多引用FP的論文也同時(shí)引用了FP的大部分參考文獻(xiàn)，那么FP可以被視為鞏固了其學(xué)科范式；反之，如果FP的未來(lái)引文并不承認(rèn)FP的參考文獻(xiàn)，那么其可以視為顛覆了其學(xué)科領(lǐng)域的研究范式，甚至開(kāi)創(chuàng)了新的領(lǐng)域。

1.2.2 DIn

Bornmann等[39]認(rèn)為僅引用了FP的一篇參考文獻(xiàn)可能是一些特殊引用行為導(dǎo)致的，為了更準(zhǔn)確地評(píng)估FP的引文文獻(xiàn)與被引文獻(xiàn)之間的緊密關(guān)系，給參數(shù)NB增加了引文數(shù)量的最低門(mén)檻n：

顯然，DI1完全等價(jià)于DI。在n值較大時(shí)，可以看作提高了NB的引文門(mén)檻，Bornmann等[39]認(rèn)為這樣可以在一定程度上減少無(wú)目的性引用的影響，并通過(guò)實(shí)證檢驗(yàn)出DI5具有較好的檢驗(yàn)結(jié)果。

1.2.3 其他拓展及局限

Leydesdorff等[16]對(duì)顛覆性指數(shù)進(jìn)行了改進(jìn)，提出了兩個(gè)新指標(biāo)DI*和DI#，并認(rèn)為DI*可以更為直接地測(cè)度FP對(duì)原有學(xué)科范式的顛覆程度，而DI#則更偏向于測(cè)度FP在多大程度上繼承或發(fā)展了之前的研究，從而能以更細(xì)的粒度評(píng)價(jià)文章的創(chuàng)新性和鞏固性。Zhou等[40]將顛覆性指數(shù)和PageRank算法相結(jié)合，提出了DPRank模型，并基于美國(guó)物理學(xué)會(huì)（American Physical Society，APS）數(shù)據(jù)驗(yàn)證了其測(cè)度有效性。Liu等[41]結(jié)合多維索引系統(tǒng)，對(duì)涵蓋多學(xué)科的多源數(shù)據(jù)進(jìn)行了融合式顛覆性技術(shù)挖掘。Wang等[12]在顛覆性指數(shù)的基礎(chǔ)上，結(jié)合MeSH主題表提出了知識(shí)實(shí)體層次的創(chuàng)新性測(cè)度方法。Yang等[13]將顛覆性指數(shù)拓展為復(fù)雜網(wǎng)絡(luò)的重要節(jié)點(diǎn)測(cè)度指標(biāo)，發(fā)現(xiàn)顛覆性指數(shù)識(shí)別出的關(guān)鍵節(jié)點(diǎn)與傳統(tǒng)指標(biāo)的結(jié)果差異顯著。

顛覆性指數(shù)的主要局限性在于測(cè)度的缺乏有效性[15]、一致性[14]和區(qū)分度[16]，現(xiàn)有研究主要是對(duì)顛覆性指數(shù)進(jìn)行拓展，而顛覆性指數(shù)的測(cè)度不一致性和不均勻性問(wèn)題一直沒(méi)有得到有效的解決，較大程度上限制了該指標(biāo)的應(yīng)用范圍。顛覆性指數(shù)局限性的一個(gè)體現(xiàn)是，衡量參考文獻(xiàn)數(shù)量不同的論文時(shí)缺乏一致性[14]。本文的創(chuàng)新之處在于，發(fā)現(xiàn)并深入分析了顛覆性指數(shù)的局限性，提出新的指標(biāo)以有效測(cè)度科學(xué)研究的顛覆性創(chuàng)新。

2 方法論

2.1 相對(duì)顛覆性指數(shù)

顛覆性指數(shù)最早于2017年被Funk等[9]提出，2019年Wu等[10]的研究結(jié)果在Nature發(fā)布之后，引發(fā)了科學(xué)計(jì)量學(xué)界的廣泛討論。新的計(jì)量指標(biāo)往往存在許多待完善之處，作為衡量論文顛覆性創(chuàng)新程度的計(jì)量指標(biāo)，DI和DIn均存在較大的局限性：①可能受到不規(guī)范引用或無(wú)目的性引用的影響[42]。例如，F(xiàn)P的被引文獻(xiàn)A和B，A引用了FP參考文獻(xiàn)1篇，B引用了FP參考文獻(xiàn)10篇，A可能是無(wú)目的性引用，但A和B均被計(jì)算進(jìn)了顛覆性指數(shù)的分子中。②DI和DIn在計(jì)算NB等指標(biāo)時(shí)均使用引文的絕對(duì)數(shù)量，如在DI5的公式中，代表引用了論文FP，并且引用了FP參考文獻(xiàn)至少5次的論文數(shù)量；參考文獻(xiàn)較少的論文的DIn可能較大，而參考文獻(xiàn)較多的論文的DIn往往很小，不同的參考文獻(xiàn)數(shù)量在一定程度上會(huì)降低DIn結(jié)果的一致性[43]。同時(shí)，由于DI5采用自然數(shù)5作為閾值，在計(jì)算參考文獻(xiàn)數(shù)量少于5篇的文章時(shí)，DI5的參數(shù)無(wú)實(shí)際意義。③DI和DIn均存在參數(shù)量級(jí)不一致的問(wèn)題（詳見(jiàn)3.3節(jié)）。

目前對(duì)顛覆性指數(shù)的改進(jìn)中，均沒(méi)有涉及NR值，而NR本身會(huì)導(dǎo)致諸多問(wèn)題：①在實(shí)際計(jì)算顛覆性指數(shù)的過(guò)程中，NR的值往往較大，甚至出現(xiàn)顛覆性指數(shù)參數(shù)量級(jí)不一致的問(wèn)題（詳見(jiàn)3.3節(jié)），從而導(dǎo)致其分布非常密集（多數(shù)文章的顛覆性指數(shù)都非常接近0），不利于比較不同文章的創(chuàng)新性。②當(dāng)一篇論文引用了多篇高被引文章時(shí)，其“參考文獻(xiàn)總被引”很大，由于NR的影響，其顛覆性指數(shù)會(huì)非常接近0（詳見(jiàn)3.3節(jié)）。③NR受FP參考文獻(xiàn)數(shù)量的影響較大，不同論文的參考文獻(xiàn)數(shù)量不一致，也會(huì)降低顛覆性指數(shù)計(jì)算結(jié)果的一致性。

為解決以上問(wèn)題，借鑒Bornmann等[44]對(duì)參數(shù)NB的改進(jìn)思路。與其不同的是，本文同時(shí)對(duì)NB和NR設(shè)定門(mén)檻，并且采用百分比值的方法設(shè)定門(mén)檻值，用于消除FP參考文獻(xiàn)數(shù)量對(duì)結(jié)果的影響。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)關(guān)系

在引文網(wǎng)絡(luò)中，論文節(jié)點(diǎn)存在著前向引用鏈接和后向被引鏈接，分別表示其知識(shí)基礎(chǔ)和知識(shí)流動(dòng)。將引文網(wǎng)絡(luò)一篇核心節(jié)點(diǎn)論文FP的引用、被引用以及更深層的引用網(wǎng)絡(luò)關(guān)系描繪出來(lái)，如圖1所示。

圖1 DI和RDI的引文網(wǎng)絡(luò)結(jié)構(gòu)關(guān)系

圖1a展示了顛覆性指數(shù)DI的引文網(wǎng)絡(luò)關(guān)系，中間節(jié)點(diǎn)代表該網(wǎng)絡(luò)中的核心論文FP，右側(cè)節(jié)點(diǎn)（a～h）代表FP的被引文獻(xiàn)，左側(cè)節(jié)點(diǎn)（i～l）代表FP的參考文獻(xiàn)；FP與其參考文獻(xiàn)的引用關(guān)系、FP與其被引文獻(xiàn)的引用關(guān)系均以有向?qū)嵕€表示，F(xiàn)P的參考文獻(xiàn)與FP的被引文獻(xiàn)之間的引用關(guān)系以有向虛線表示，將FP的被引文獻(xiàn)劃分為三大類(lèi)別：NB、NF和NR，以此計(jì)算DI。當(dāng)實(shí)際運(yùn)用此指標(biāo)時(shí)，NB中僅引用了FP的一篇參考文獻(xiàn)可能是一些特殊引用行為導(dǎo)致的，修正指數(shù)DIn通過(guò)設(shè)定一個(gè)引用量閾值來(lái)解決這個(gè)問(wèn)題。與DIn方法類(lèi)似，RDI也是設(shè)定了引用量閾值，不同之處在于RDI采用了相對(duì)值而非絕對(duì)值。鑒于不同文章的參考文獻(xiàn)數(shù)量差異可能較大，采用相對(duì)值可以有效地拓展測(cè)度范圍，并保持測(cè)度一致性。

圖1b展示了相對(duì)顛覆性指數(shù)RDI的引文網(wǎng)絡(luò)關(guān)系，假設(shè)某FP有20篇參考文獻(xiàn)，若設(shè)定閾值為10%，則只有引用了FP至少2篇參考文獻(xiàn)的論文才被算入相關(guān)參數(shù)。論文a和論文b均沒(méi)有引用論文FP，論文a引用了FP的2篇參考文獻(xiàn)i和j，論文b只引用了FP的1篇參考文獻(xiàn)i，則論文a被計(jì)算入而論文b不被計(jì)算入同理，在同樣閾值下，論文d被計(jì)算入而論文c和論文e不被計(jì)算入NF的計(jì)算與DI、DIn的計(jì)算方法完全相同。

3 實(shí)證檢視

3.1 數(shù)據(jù)搜集與處理

對(duì)于引文網(wǎng)絡(luò)中某一核心節(jié)點(diǎn)論文FP，選擇Web of Science核心合集數(shù)據(jù)庫(kù)，通過(guò)標(biāo)題或DOI（digital object unique identifier）進(jìn)行檢索，基于以下操作可以獲取NF、NB、的值，根據(jù)式(1)～式(7)計(jì)算出DI、DI5、RDI等指標(biāo)。

（1）以純文本文件格式導(dǎo)出論文FP的全記錄與引用的參考文獻(xiàn)，并記錄下該論文的DOI。

（2）進(jìn)入論文FP的被引文獻(xiàn)頁(yè)面，選擇全部文獻(xiàn)并按照相同格式導(dǎo)出。

（3）進(jìn)入論文FP的參考文獻(xiàn)頁(yè)面，對(duì)于每一篇參考文獻(xiàn)Cn均進(jìn)入其被引文獻(xiàn)頁(yè)面，選擇全部文獻(xiàn)并按照相同格式導(dǎo)出。

（4）基于Python-3.9.2自定程序，計(jì)算出相應(yīng)指標(biāo)。

實(shí)證部分聚焦于Scientometrics期刊的被引量最高的101篇論文，魯棒性檢驗(yàn)（3.5節(jié)）則對(duì)發(fā)表于Scientometrics期刊上的全部研究論文進(jìn)行分析。此外，為了保證足夠的引文窗口，本文僅對(duì)發(fā)表于2010年（含）之前的研究論文進(jìn)行分析。

3.2 閾值與引文窗口

相對(duì)顛覆性指數(shù)的一個(gè)重要參數(shù)是閾值，不同的閾值選擇下論文的相對(duì)顛覆性指數(shù)RDI分布如圖2a所示。其中，當(dāng)閾值為1%時(shí)，相對(duì)顛覆性指數(shù)分布可以近似地看作顛覆性指數(shù)DI的分布（絕大部分論文的參考文獻(xiàn)數(shù)量少于100）；當(dāng)閾值大于5%時(shí)，不同類(lèi)型論文的相對(duì)顛覆性指數(shù)分布出現(xiàn)明顯變化。本文選取13%為閾值，這是因?yàn)樵谠撻撝迪虏煌瑓⒖嘉墨I(xiàn)數(shù)量的論文有著較為接近的分布，從而可以認(rèn)為該閾值下顛覆性指數(shù)的分布受參考文獻(xiàn)數(shù)量的影響較小。

圖2 閾值與引文窗口（彩圖請(qǐng)見(jiàn)https://qbxb.istic.ac.cn）

引文窗口是科學(xué)計(jì)量指標(biāo)的重要內(nèi)容[30]。Born‐mann等[45]對(duì)顛覆性指數(shù)的引文窗口進(jìn)行了初步探索，得出顛覆性指數(shù)需要5年以上的引文窗口。本文以高被引論文為視角，對(duì)DI、DI5、RDI的引文窗口做進(jìn)一步探討，圖2b展示了數(shù)據(jù)中被引量最高的9篇論文在不同引文窗口下DI、DI5、RDI的值。其中，DI在5年的引文窗口后趨于穩(wěn)定，這與現(xiàn)有研究結(jié)論保持一致[45]，但是DI5和RDI可能需要8年以上的引文窗口才會(huì)趨于穩(wěn)定，綜合考慮本文的樣本數(shù)據(jù)，選取10年為引文窗口，即在計(jì)算某論文FP的相關(guān)指標(biāo)時(shí)，僅考慮FP發(fā)表10年之內(nèi)（包含F(xiàn)P發(fā)表前）的論文。

表1 高被引論文顛覆性指數(shù)統(tǒng)計(jì)分布

值得注意的是，盡管本文選取了出現(xiàn)明顯差異的分界點(diǎn)作為閾值（13%）和引文窗口（10年），但是更高的閾值和更長(zhǎng)的引文窗口并非不合適，不同的閾值和引文窗口導(dǎo)致相對(duì)顛覆性指數(shù)呈現(xiàn)的差異有待未來(lái)進(jìn)一步探索。

3.3 統(tǒng)計(jì)與分布

DI、DI5與RDI的總體統(tǒng)計(jì)如表1所示，這3種指標(biāo)的值域均是[-1,1]。已有研究表明[10]，當(dāng)一篇文章顛覆性指數(shù)為較高的正值時(shí)，通常代表這是一篇?jiǎng)?chuàng)新性的文章，顛覆性指數(shù)的值越接近1，說(shuō)明它對(duì)原有學(xué)科范式的顛覆程度越高，如獲得諾貝爾獎(jiǎng)研究的顛覆性指數(shù)位于所有樣本前2%的水平；反之，若一篇文章顛覆性指數(shù)接近0甚至為負(fù)值，說(shuō)明它可能是一篇鞏固性研究或者綜述類(lèi)文章。

從總體分布來(lái)看，大部分樣本論文的顛覆性指數(shù)平均值非常接近0，而相對(duì)顛覆性指數(shù)有著明顯更高的平均值（0.191）。相對(duì)顛覆性指數(shù)的標(biāo)準(zhǔn)差（0.221）比顛覆性指數(shù)的標(biāo)準(zhǔn)差（0.117）更大，對(duì)于值域相同的指標(biāo)，較大的方差會(huì)為其帶來(lái)更好的區(qū)分度。因3個(gè)指標(biāo)的偏度均是正值，故其分布相對(duì)于正態(tài)分布右偏，DI的偏度（4.779）和DI5的偏度（4.107）均較大，呈現(xiàn)明顯右偏；RDI的偏度（1.123）較小，偏移幅度不大。結(jié)合峰度指標(biāo)和百分位數(shù)，樣本論文的DI集中在區(qū)間[-0.02,0.12]，分布很不均勻且異常陡峭（峰度為28.062）；DI5集中在區(qū)間[0,0.06]，分布不均勻且陡峭（峰度為20.416）；RDI集中在區(qū)間[-0.05,0.30]，分布均勻且平緩（峰度為0.864）。

結(jié)合顛覆性指數(shù)和相對(duì)顛覆性指數(shù)的公式，表1反映出顛覆性指數(shù)的一個(gè)重要問(wèn)題：參數(shù)量級(jí)的不一致性。NR（均值6192，標(biāo)準(zhǔn)差24376，范圍[7,218315]）的量級(jí)遠(yuǎn)遠(yuǎn)大于NB（均值66，標(biāo)準(zhǔn)差86，范圍[1,530]）和NF（均值55，標(biāo)準(zhǔn)差141，范圍[0,1277]），參數(shù)量級(jí)不一致性是導(dǎo)致顛覆性指數(shù)測(cè)度不一致和不均勻的主要原因之一。相對(duì)顛覆性指數(shù)中的則與公式中的其他參數(shù)處于同一量級(jí)，這在一定程度上證明了相對(duì)顛覆性指數(shù)解決了參數(shù)量級(jí)不一致性的問(wèn)題。

DI、DI5與RDI的分布與相關(guān)關(guān)系如圖3所示，根據(jù)FP論文的參考文獻(xiàn)數(shù)量劃分出4個(gè)類(lèi)型。從分布來(lái)看（位于對(duì)角線的3個(gè)子圖），DI和DI5的分布呈現(xiàn)明顯的異質(zhì)性，無(wú)論是鞏固性最強(qiáng)的論文（顛覆性指數(shù)最低，位于分布圖最左側(cè)）還是顛覆性最高的論文（顛覆性指數(shù)最高，位于分布圖最右側(cè)），都僅包含了參考文獻(xiàn)數(shù)量小于20的論文，而其他類(lèi)型的論文則集中分布在0附近，非常不利于其顛覆性的測(cè)度與比較，這很可能是源自公式本身的缺陷。在相對(duì)顛覆性指數(shù)RDI下，4種類(lèi)型論文均呈現(xiàn)了接近正態(tài)的分布，因此，可以認(rèn)為，相對(duì)顛覆性指數(shù)能夠從不同參考文獻(xiàn)數(shù)量的論文中測(cè)度出高鞏固性論文和高顛覆性論文。

圖3 論文的DI、DI5與RDI相關(guān)性及分布（彩圖請(qǐng)見(jiàn)https://qbxb.istic.ac.cn）

從3個(gè)指標(biāo)的相關(guān)關(guān)系來(lái)看，DI、DI5與RDI之間的皮爾遜相關(guān)系數(shù)均非常顯著，因此，其都能有效衡量論文的顛覆性，但是不同于DI和DI5之間的高度線性相關(guān)關(guān)系（0.9233），RDI與DI之間的線性相關(guān)系數(shù)僅為0.5151，說(shuō)明它是一個(gè)相對(duì)較為獨(dú)立的指標(biāo)。

顛覆性指數(shù)及相對(duì)顛覆性指數(shù)分布的散點(diǎn)圖和箱線圖如圖4所示，分別統(tǒng)計(jì)不同參考文獻(xiàn)數(shù)量的4種論文集合的DI、DI5與RDI分布。

圖4 論文的DI、DI5、RDI與被引量及參考文獻(xiàn)數(shù)量分布

從散點(diǎn)圖（圖4a、圖4c和圖4e）可以看出，不同參考文獻(xiàn)數(shù)量論文集合的顛覆性指數(shù)的分布呈現(xiàn)明顯差異，而不同參考文獻(xiàn)數(shù)量論文集合的相對(duì)顛覆性指數(shù)分布更為均勻和一致。尤其是對(duì)于參考文獻(xiàn)數(shù)量較多的論文，DI和DI5分布非常集中且接近0，而RDI的分布仍然較為均勻。

從箱線圖（圖4b、圖4d和圖4f）可以看出，隨著FP參考文獻(xiàn)數(shù)量的增加，顛覆性指數(shù)的分布愈加集中且接近0，這是因?yàn)樗谟?jì)算參數(shù)NB和NR時(shí)均以1為閾值，對(duì)參考文獻(xiàn)數(shù)量大于20的論文進(jìn)行計(jì)算時(shí)，顛覆性指數(shù)的分布會(huì)過(guò)于集中，難以進(jìn)行有區(qū)分度的測(cè)度，并且對(duì)于不同參考文獻(xiàn)數(shù)量的論文存在著測(cè)度不一致的問(wèn)題。DI5通過(guò)設(shè)定固定閾值為5，在一定范圍內(nèi)緩解了這個(gè)問(wèn)題，參考文獻(xiàn)數(shù)量處于21～40區(qū)間論文的DI5取得了與0～20區(qū)間論文較為一致的分布。但是DI5依然存在一定的問(wèn)題：一方面，DI5無(wú)法對(duì)文獻(xiàn)數(shù)量小于5的FP進(jìn)行有實(shí)際意義的指標(biāo)計(jì)算與測(cè)度；另一方面，在參考文獻(xiàn)數(shù)量大于40的時(shí)候，依然會(huì)出現(xiàn)指標(biāo)值的分布過(guò)于集中、缺乏區(qū)分度、測(cè)度不一致等問(wèn)題。

RDI在4個(gè)區(qū)間的參考文獻(xiàn)數(shù)量上均有著較為均勻和一致的分布，尤其對(duì)于參考文獻(xiàn)數(shù)量很大的論文（大于40）也能進(jìn)行相應(yīng)的指標(biāo)計(jì)算與測(cè)度。從RDI散點(diǎn)圖可以看出，參考文獻(xiàn)數(shù)量處于41～60區(qū)間的論文中有2篇相對(duì)顛覆性指數(shù)大于0.4，參考文獻(xiàn)數(shù)量處于61及以上區(qū)間的論文中有2篇相對(duì)顛覆性指數(shù)大于0.2，因此，相對(duì)顛覆性指數(shù)能實(shí)現(xiàn)從參考文獻(xiàn)數(shù)量較大的論文集中識(shí)別出顛覆性高的論文，且其在不同參考文獻(xiàn)數(shù)量論文集合上的測(cè)度效應(yīng)具備高度一致性。

綜上所示，相對(duì)顛覆性指數(shù)具有以下優(yōu)勢(shì)：①受論文參考文獻(xiàn)數(shù)量的影響小，不同參考文獻(xiàn)數(shù)量的論文有較為一致的RDI值分布。②相對(duì)顛覆性指數(shù)的標(biāo)準(zhǔn)差更大，且偏度絕對(duì)值更小，分布更為均勻，能夠?qū)Σ煌撐牡念嵏残赃M(jìn)行有區(qū)分度的測(cè)度。③相對(duì)顛覆性指數(shù)可以從參考文獻(xiàn)數(shù)量較大的論文集中識(shí)別出顛覆性高的論文。④相對(duì)顛覆性指數(shù)與顛覆性指數(shù)的皮爾遜相關(guān)性非常顯著，可以有效地衡量文章的顛覆性。⑤相對(duì)顛覆性指數(shù)與顛覆性指數(shù)的線性相關(guān)系數(shù)不是很高，可以視作一個(gè)獨(dú)立的指標(biāo)。

3.4 收斂有效性

為探討相對(duì)顛覆性指數(shù)是否能夠?qū)ρ芯康念嵏残詣?chuàng)新程度做出真實(shí)測(cè)度，需要做進(jìn)一步的研究。指標(biāo)的收斂有效性（convergent validity）屬于結(jié)構(gòu)效度（construct validity）的一種，通常體現(xiàn)為指標(biāo)在理論與實(shí)證的相關(guān)程度，而科學(xué)計(jì)量學(xué)相關(guān)指標(biāo)的收斂有效性一般會(huì)基于人工檢視（manual inspec‐tion）進(jìn)行[39]。為證明相對(duì)顛覆性指數(shù)能夠識(shí)別出高度顛覆性或高度鞏固性的論文，本文對(duì)相對(duì)顛覆性指數(shù)排在前10名、后10名的論文依次進(jìn)行人工檢視。

由表2可知，相對(duì)顛覆性指數(shù)排名最高的10篇論文具有較高的創(chuàng)新性，有多篇論文是本領(lǐng)域的開(kāi)創(chuàng)性研究論文，這些論文的作者均是科學(xué)計(jì)量學(xué)領(lǐng)域的泰斗級(jí)學(xué)者，其中多位榮膺“普賴(lài)斯獎(jiǎng)”。具體如下：van Eck等[46]發(fā)明了科學(xué)計(jì)量學(xué)分析與可視化的重要工具VOSviewer，是科學(xué)計(jì)量學(xué)領(lǐng)域的一篇重要開(kāi)創(chuàng)性論文；Larsen等[47]發(fā)現(xiàn)SCI（Sci‐ence Citation Index）和SSCI（Social Science Citation Index）的文獻(xiàn)在計(jì)算機(jī)科學(xué)和工程科學(xué)等前沿領(lǐng)域的覆蓋率非常低，并指出基于SCI和SSCI的評(píng)價(jià)指標(biāo)問(wèn)題，研究結(jié)論具備較高的創(chuàng)新價(jià)值和顛覆性；Narin等[48]是研究國(guó)際合作的一篇早期重要論文，對(duì)未來(lái)的國(guó)際合作研究產(chǎn)生了深遠(yuǎn)影響；Moed等[49]創(chuàng)立了全新數(shù)據(jù)庫(kù)以整合荷蘭的全部論文，屬于地域性的創(chuàng)新性研究。Schubert等[50]首次以文獻(xiàn)計(jì)量學(xué)的視角深入研究了國(guó)際合作，是科學(xué)計(jì)量學(xué)領(lǐng)域早期的一篇開(kāi)創(chuàng)性論文；Weingart[51]深入探討了文獻(xiàn)計(jì)量指標(biāo)對(duì)科學(xué)系統(tǒng)的影響，為后續(xù)計(jì)量指標(biāo)的作用機(jī)制研究奠定了重要基礎(chǔ)；Gl?nzel等[52]首次較大規(guī)模地研究了巴西的引文模式概況、發(fā)展趨勢(shì)以及國(guó)際合作情況，屬于地域性創(chuàng)新性研究。Gl?nzel等[53]創(chuàng)新性地提出了自然科學(xué)與社會(huì)科學(xué)之間的層次結(jié)構(gòu)，是主題分類(lèi)領(lǐng)域的一篇重要開(kāi)創(chuàng)性論文；van Raan[54]分析了文獻(xiàn)計(jì)量學(xué)方法在評(píng)估科學(xué)研究和監(jiān)測(cè)科學(xué)發(fā)展方面的潛力和局限性，是文獻(xiàn)計(jì)量學(xué)領(lǐng)域早期的一篇開(kāi)創(chuàng)性論文；Katz等[55]創(chuàng)新性地提出了引文與科學(xué)合作中的一種非常重要的標(biāo)定模型；van Raan[56]深入探討了科學(xué)計(jì)量與機(jī)構(gòu)評(píng)價(jià)，創(chuàng)新性地提出了技術(shù)和方法問(wèn)題及解決方案，是科學(xué)計(jì)量學(xué)領(lǐng)域的一篇重要?jiǎng)?chuàng)新性論文。

表2 相對(duì)顛覆性指數(shù)排名前10篇論文

總體而言，相對(duì)顛覆性指數(shù)最高的10篇論文均具備較高的顛覆性和開(kāi)創(chuàng)性。然而，這種開(kāi)創(chuàng)性可能局限于某一細(xì)分領(lǐng)域或地域（國(guó)家或地區(qū)），因此，未來(lái)需進(jìn)一步分析、處理，才能篩選出最具開(kāi)創(chuàng)性的論文。

除此以外，由表2可以發(fā)現(xiàn)，限制顛覆性指數(shù)DI測(cè)度有效性的一個(gè)重要因素——“參考文獻(xiàn)總被引”會(huì)顯著影響顛覆性指數(shù)DI。以相對(duì)顛覆性指數(shù)RDI排名第一和第二的論文為例，兩者的參考文獻(xiàn)總被引分別高達(dá)8912和10139，導(dǎo)致DI指標(biāo)分母非常大，從而得出接近0的顛覆性指數(shù)DI；而對(duì)于參考文獻(xiàn)數(shù)量總被引少于100的論文，顛覆性指數(shù)DI與相對(duì)顛覆性指數(shù)RDI高度一致，這也從一個(gè)方面證明了相對(duì)顛覆性指數(shù)RDI的優(yōu)勢(shì)。

樣本中相對(duì)顛覆性指數(shù)排名最低的10篇論文具備較低的創(chuàng)新性，通常表現(xiàn)為典型的鞏固性研究、發(fā)展性研究或非原創(chuàng)性研究（derivative research），如表3所示。相對(duì)顛覆性指數(shù)排名后10位的論文中有8篇是基于h-index的繼承研究：Egghe[57]的研究在h-index的基礎(chǔ)上提出了g-index，van Raan[58]的研究是基于h-index的實(shí)證，Batista等[59]的研究提出了互補(bǔ)指數(shù)h(t)，Gl?nzel[60]的研究初步闡述了h-index的數(shù)學(xué)內(nèi)涵，Egghe等[61]的研究是將h-index拓展為信息學(xué)的一般框架，Iglesias等[62]的研究是將不同領(lǐng)域?qū)W者的h-index納入同一個(gè)量表比較，Braun等[63]的研究是闡釋h-index在期刊評(píng)價(jià)領(lǐng)域的應(yīng)用以及小規(guī)模實(shí)證，Sidiropoulos等[64]的研究指出了h-index的部分缺點(diǎn)并做了改進(jìn)。這8篇論文是對(duì)h-index的進(jìn)一步闡釋、改進(jìn)和實(shí)證，屬于典型的鞏固性研究，相對(duì)顛覆性指數(shù)均為負(fù)值。而h-index論文本身的相對(duì)顛覆性指數(shù)為0.694，處于研究樣本前10%的水平，具有極高的開(kāi)創(chuàng)性。

表3 相對(duì)顛覆性指數(shù)排名后10篇論文

在剩下的2篇研究中，Beaver[65]在Katz等[66]的研究基礎(chǔ)上，進(jìn)一步總結(jié)了科研合作的發(fā)展、現(xiàn)狀和未來(lái)展望，屬于鞏固性較強(qiáng)的綜述研究；Meyer等[67]對(duì)Braun等[68]的研究進(jìn)行了數(shù)據(jù)的拓展和改進(jìn)，屬于非常典型的鞏固性研究。

值得注意的是，在鞏固性論文的測(cè)度中，顛覆性指數(shù)DI與相對(duì)顛覆性指數(shù)RDI呈現(xiàn)較高的一致性，表3中全部論文的顛覆性指數(shù)DI也位居樣本的后10%，說(shuō)明相對(duì)顛覆性指數(shù)RDI的相對(duì)優(yōu)勢(shì)并不能在測(cè)度鞏固性論文中得到體現(xiàn)。

基于收斂有效性分析，可以認(rèn)為相對(duì)顛覆性指數(shù)能夠?qū)φ撐牡念嵏残詣?chuàng)新水平進(jìn)行有效的直接測(cè)度。一般而言，顛覆性創(chuàng)新水平較高的論文相對(duì)顛覆性指數(shù)為較大的正值，開(kāi)創(chuàng)性論文的相對(duì)顛覆性指數(shù)接近1；創(chuàng)新性水平較低的論文相對(duì)顛覆性指數(shù)為接近0甚至為負(fù)值，鞏固性研究論文的相對(duì)顛覆性指數(shù)往往會(huì)很低。此外，還發(fā)現(xiàn)顛覆性指數(shù)DI無(wú)法有效地測(cè)度一些“參考文獻(xiàn)被引量”較高的開(kāi)創(chuàng)性論文，相對(duì)顛覆性指數(shù)RDI在一定程度上解決了這個(gè)問(wèn)題。

3.5 魯棒性檢驗(yàn)

高被引論文僅占據(jù)了全部論文的小部分，為進(jìn)一步分析相對(duì)顛覆性指數(shù)的測(cè)度有效性，對(duì)發(fā)表于Scientometrics期刊上的全部研究論文（文章類(lèi)型為article，為保證足夠的引文窗口，論文發(fā)表時(shí)間設(shè)定為2010年之前，共檢索到2957篇）的DI、DI5與RDI進(jìn)行計(jì)算。3種指標(biāo)的核密度（kernel density）分布如圖5所示，對(duì)于參考文獻(xiàn)數(shù)量不同的論文，DI、DI5的分布呈現(xiàn)明顯的異質(zhì)性（圖5a、圖5b），參考文獻(xiàn)數(shù)量處于1～20的論文與其他類(lèi)別的分布完全不一致，而不同論文的RDI則都形成了較為一致的近似正態(tài)分布（圖5c）。魯棒性檢驗(yàn)補(bǔ)充證明了上文的結(jié)論，即DI、DI5的測(cè)度不一致效應(yīng)，以及RDI在測(cè)度不同類(lèi)型論文的有效性。

圖5 Scientometrics期刊全部論文的DI、DI5與RDI核密度分布(彩圖請(qǐng)見(jiàn)https://qbxb.istic.ac.cn)

4 總結(jié)與展望

近年來(lái)，論文數(shù)量和被引量的大幅增長(zhǎng)并未帶來(lái)核心領(lǐng)域的創(chuàng)新突破[69]，具備高度顛覆性的開(kāi)創(chuàng)研究才是科技發(fā)展的第一動(dòng)力。本文梳理了科學(xué)研究創(chuàng)新性測(cè)度的顛覆性指數(shù)，深入剖析了其局限性，并提出了相對(duì)顛覆性指數(shù)。實(shí)證研究表明，相對(duì)顛覆性指數(shù)可以視為一種相對(duì)獨(dú)立的新指標(biāo)，它比原始指標(biāo)具備更好的區(qū)分度和一致性，能從參考文獻(xiàn)數(shù)量較大的論文集中識(shí)別出顛覆性論文。但是該指標(biāo)依然存在著一定的不足之處：①因公式本身及數(shù)據(jù)庫(kù)的局限性，部分參考文獻(xiàn)數(shù)量較少的論文可能會(huì)計(jì)算出較高的“誤差值”。②基于相對(duì)顛覆性指數(shù)識(shí)別出來(lái)的高度顛覆性論文可能是局限于某細(xì)分領(lǐng)域或地域的開(kāi)創(chuàng)性研究，需要做進(jìn)一步分析才能篩選出開(kāi)創(chuàng)性的研究。③相對(duì)顛覆性指數(shù)僅僅是對(duì)研究顛覆性創(chuàng)新水平的測(cè)度，并不能反映論文的影響力。

事實(shí)上，相對(duì)顛覆性指數(shù)不僅適用于論文的顛覆性創(chuàng)新測(cè)度，已有研究基于專(zhuān)利數(shù)據(jù)庫(kù)引用網(wǎng)絡(luò)、Github引用網(wǎng)絡(luò)數(shù)據(jù)等研究了技術(shù)和軟件的顛覆性[10]。相對(duì)顛覆性指數(shù)較高的研究往往具有較高的創(chuàng)新性，其中部分研究代表了領(lǐng)域的關(guān)鍵性突破和開(kāi)創(chuàng)性成果；相對(duì)顛覆性指數(shù)較低的論文通常是對(duì)既有研究的鞏固性研究，但其影響力和價(jià)值也不可忽略。

本文受限于Scientometrics期刊所屬學(xué)科，且收斂有效性部分主觀性較強(qiáng)。未來(lái)的研究可以考慮更大樣本的實(shí)證，對(duì)比不同學(xué)科下相對(duì)顛覆性指數(shù)的差異，并將數(shù)據(jù)來(lái)源拓展至中文期刊數(shù)據(jù)庫(kù)、專(zhuān)利數(shù)據(jù)庫(kù)、社交媒體數(shù)據(jù)等。在指標(biāo)的收斂有效性驗(yàn)證部分，可與現(xiàn)有同行評(píng)議數(shù)據(jù)庫(kù)作比較，如醫(yī)學(xué)的F1000 Prime數(shù)據(jù)庫(kù)（現(xiàn)已更名為Faculty Opinions）。此外，鑒于相對(duì)顛覆性指數(shù)的局限性，有必要進(jìn)一步探索如何處理參考文獻(xiàn)數(shù)量較少的論文，以及從創(chuàng)新性研究論文中識(shí)別出開(kāi)創(chuàng)性論文的可行方法。

相對(duì)顛覆性指數(shù)為科學(xué)計(jì)量提供的潛在價(jià)值在于其能夠直觀地測(cè)度論文的創(chuàng)新性，可以與傳統(tǒng)指標(biāo)相結(jié)合，以多維度的視角進(jìn)行測(cè)度和評(píng)價(jià)，這也是未來(lái)的探索方向之一。此外，作為一種定量指標(biāo)，相對(duì)顛覆性指數(shù)不應(yīng)僅局限于論文層面的測(cè)度，后續(xù)研究可考慮將其拓展至對(duì)學(xué)者、機(jī)構(gòu)、地區(qū)的顛覆性創(chuàng)新研究水平的測(cè)度。由于相對(duì)顛覆性指數(shù)較高的論文往往善于打破學(xué)科原有范式，也可探索相對(duì)顛覆性指數(shù)與引文睡美人現(xiàn)象[70]的關(guān)系。