基于引文全文本的醫(yī)學(xué)領(lǐng)域突破性文獻(xiàn)識(shí)別研究*

王 雪 楊雪梅 林紫洛 關(guān)陟昊 唐小利

(北京協(xié)和醫(yī)學(xué)院/中國(guó)醫(yī)學(xué)科學(xué)院 醫(yī)學(xué)信息研究所 北京 100005)

Research on Identification of Medical Breakthrough Articles Based on Citing Sentences

Wang Xue Yang Xuemei Lin Ziluo Guan Zhihao Tang Xiaoli

(Peking Union Medical College/Chinese Academy of Medical Sciences, Beijing 100005)

Abstract：[Purpose/Significance]From the citing perspective of the academic community, based on the citing sentences, and word frequency statistics, deep learning, etc., the paper explores the text features that represent breakthrough evaluations in the citing sentences and builds an automatic recognition model to identify potential breakthrough articles. [Method/Process] The authors selected the key publications of the Nobel Prize winners in Physiology or Medicine and the representative articles of Science Breakthrough of the Year as the gold standard breakthrough articles collection and obtained their citation sentences. Word frequency statistics combined with manual screening were carried out to obtain common words that characterize breakthrough evaluation. The authors manually labeled the citing sentences and used BERT and BIOBERT models for training to form automatic recognition models, and finally selected the cancer field for empirical analysis. [Result/Conclusion] The results show that there is obvious textual characteristics when evaluating literatures with great breakthrough value. Compared with the BERT model, the recognition ability of BIOBERT model was improved, with F1 value of 0.84. The automatic recognition model based on citing sentences can accurately identify the literature with important academic value and realize early recognition and early evaluation to a certain extent.

Keywords：citing sentences;deep learning;breakthrough articles;automatic identification;text classification;textual characteristics

科學(xué)的重大進(jìn)展在很大程度上取決于突破性的科學(xué)發(fā)現(xiàn)[1]。目前，世界各國(guó)政府和科研資助機(jī)構(gòu)已對(duì)優(yōu)先發(fā)展主題領(lǐng)域或前沿領(lǐng)域投入大量資源和資金支持，特別是突破性研究和變革性研究，以期促進(jìn)科學(xué)發(fā)展。早在2007年，美國(guó)國(guó)家科學(xué)委員會(huì)就提議加強(qiáng)對(duì)變革性研究的支持[2]。近年來，美國(guó)國(guó)立衛(wèi)生研究院專門為變革性研究設(shè)立資金資助(Transformative Research Award)，旨在支持“具有創(chuàng)造或推翻基本范式潛力的異常創(chuàng)新和/或非常規(guī)研究項(xiàng)目”[3]。我國(guó)在十九大報(bào)告中提出加快建設(shè)創(chuàng)新型國(guó)家，指出要瞄準(zhǔn)世界科技前沿，強(qiáng)化基礎(chǔ)研究，實(shí)現(xiàn)前瞻性基礎(chǔ)研究、引領(lǐng)性原創(chuàng)成果重大突破，其中一個(gè)重要方面就是加快推進(jìn)基礎(chǔ)研究領(lǐng)域突破性、顛覆性創(chuàng)新的遴選和培育[4]。盡管各國(guó)都已逐步建立資助政策和研究基礎(chǔ)設(shè)施以激勵(lì)和促進(jìn)突破性研究的發(fā)展，但最初選擇和資助的提案是否最終會(huì)成為一項(xiàng)突破性研究仍然是一個(gè)重要且不可避免的挑戰(zhàn)。

本研究嘗試從科學(xué)共同體的定性描述出發(fā)，結(jié)合深度學(xué)習(xí)等方法，實(shí)現(xiàn)從海量文獻(xiàn)中自動(dòng)識(shí)別潛在突破性文獻(xiàn)。潛在突破性文獻(xiàn)的識(shí)別，可以為科研人員的研究方向以及資助機(jī)構(gòu)的重點(diǎn)資助方向提供參考，促進(jìn)潛在突破點(diǎn)、突破性技術(shù)的大力發(fā)展，同時(shí)幫助科研人員準(zhǔn)確鎖定研究領(lǐng)域中的突破性進(jìn)展；引用語句體現(xiàn)著學(xué)術(shù)共同體在引用原始文獻(xiàn)時(shí)的評(píng)價(jià)態(tài)度，基于引用語句識(shí)別潛在突破性文獻(xiàn)，豐富了傳統(tǒng)學(xué)術(shù)評(píng)價(jià)的內(nèi)容，為基于引用語句實(shí)現(xiàn)論文評(píng)價(jià)提供了新的運(yùn)用實(shí)踐。

1 相關(guān)研究

1.1突破性文獻(xiàn)識(shí)別目前，國(guó)內(nèi)外已有關(guān)于突破性文獻(xiàn)識(shí)別的相關(guān)研究成果，研究方法各有不同，主要包括以下兩個(gè)方面：一是基于學(xué)術(shù)共同體的定性識(shí)別，通過定性評(píng)價(jià)以確定該文獻(xiàn)是否為突破性文獻(xiàn)，另一種是基于科學(xué)計(jì)量學(xué)定量識(shí)別潛在突破性文獻(xiàn)[5]。

同行評(píng)審仍是識(shí)別突破性文獻(xiàn)的有效精準(zhǔn)方式之一，例如諾貝爾獎(jiǎng)、Science十大科學(xué)突破、MIT十大科技突破。此方法可以全面地考察每一篇論文，識(shí)別結(jié)果較為精準(zhǔn)，但是具有費(fèi)時(shí)費(fèi)力、主觀性強(qiáng)的缺點(diǎn)，并且同行評(píng)議一般只能在少數(shù)幾個(gè)同行專家中展開，得出的結(jié)論容易具有片面性[6]。

另一種是基于科學(xué)計(jì)量學(xué)的定量識(shí)別。目前有研究人員探索突破性文獻(xiàn)是否有特異性指標(biāo)。例如Ponomarev等[1]使用單一指標(biāo)——引文速度，來預(yù)測(cè)潛在突破性論文，而Wolcott等人[7]使用時(shí)間依賴性和非依賴性的多維組合指標(biāo)以區(qū)分金標(biāo)準(zhǔn)突破性文獻(xiàn)集以及對(duì)照組文獻(xiàn)集。引用網(wǎng)絡(luò)建立在文獻(xiàn)引用關(guān)系的基礎(chǔ)上，是知識(shí)傳承和流動(dòng)的體現(xiàn)，突破性研究的出現(xiàn)常常表現(xiàn)為引發(fā)傳統(tǒng)研究范式下引文鏈的改變或“破裂”，故Huang等[8-9]提出用引文鏈的“破裂分?jǐn)?shù)”來識(shí)別突破性研究。Schneider等[10]提出3種基于引用分析的方法從高被引論文中檢測(cè)潛在的突破性研究。常規(guī)科學(xué)中的漸進(jìn)性研究累積到一定臨界點(diǎn)時(shí)，科學(xué)突破導(dǎo)致范式轉(zhuǎn)變，進(jìn)入一種新的研究范式下的常規(guī)科學(xué)，繼而循環(huán)往復(fù)。對(duì)于突破性研究的識(shí)別是對(duì)這些臨界點(diǎn)的預(yù)警信號(hào)的研究。因此荷蘭萊頓大學(xué)學(xué)者提出了突破檢測(cè)算法，基于科學(xué)結(jié)構(gòu)本身的變化，早期檢測(cè)對(duì)科學(xué)發(fā)展有重要影響的新發(fā)現(xiàn)[11]。隨著引文全文本的可獲得，目前研究人員在外部特征分析的基礎(chǔ)上結(jié)合文本內(nèi)容特征以識(shí)別科學(xué)發(fā)現(xiàn)。例如郭倩影[12]等基于引用強(qiáng)度、引文網(wǎng)絡(luò)、引用時(shí)長(zhǎng)和引用內(nèi)容四個(gè)維度識(shí)別構(gòu)成學(xué)術(shù)傳承中的關(guān)鍵文獻(xiàn)，其中在內(nèi)容分析中選擇以“first*”“breakthrough”“l(fā)andmark”“originally”“classical”等詞作為標(biāo)志性評(píng)價(jià)詞匯作為判斷標(biāo)識(shí)；Small等[13]提取帶有提示詞“*discover *”的“發(fā)現(xiàn)引用語句”及其參考文獻(xiàn)，并篩選出具有一定數(shù)量“發(fā)現(xiàn)引用語句”的文章，將含有20個(gè)以上“發(fā)現(xiàn)引用語句”的文獻(xiàn)進(jìn)行人工篩選識(shí)別出表征科學(xué)發(fā)現(xiàn)的文章。上述文獻(xiàn)有效證明了可以利用引用語句來識(shí)別被引文獻(xiàn)的內(nèi)在價(jià)值，同時(shí)也證明文本特征在從大量出版物中快速識(shí)別關(guān)鍵文獻(xiàn)的重要作用。

論文的被引需要時(shí)間的積累，因此無論是基于引文指標(biāo)的識(shí)別，還是基于引文網(wǎng)絡(luò)的識(shí)別抑或引用內(nèi)容分析識(shí)別都存在滯后性。但相較于需要較多時(shí)間來形成特定的引文模式，文本特征出現(xiàn)得更快也更加明顯，因此基于引用內(nèi)容的識(shí)別可以相對(duì)較早地識(shí)別潛在突破性研究。

1.2基于引用語句的文本分類引文全文本，即引用語句，是指文獻(xiàn)全文中包含一個(gè)或多個(gè)參考文獻(xiàn)標(biāo)識(shí)符且引用參考文獻(xiàn)部分內(nèi)容或?qū)⒖嘉墨I(xiàn)進(jìn)行評(píng)論性描述的語句。基于引用語句可以實(shí)現(xiàn)論文影響力評(píng)價(jià)、揭示研究貢獻(xiàn)點(diǎn)等。傳統(tǒng)引文指標(biāo)在評(píng)價(jià)論文時(shí)忽略作者在引用參考文獻(xiàn)時(shí)的情感因素(如負(fù)面引用)，導(dǎo)致傳統(tǒng)指標(biāo)無法真正反應(yīng)論文的影響力[14]。因此有學(xué)者通過對(duì)引用語句的引用極性進(jìn)行分類，從中識(shí)別表達(dá)正向情感的引用語句，以此彌補(bǔ)單純依賴傳統(tǒng)引用指標(biāo)來評(píng)價(jià)文獻(xiàn)學(xué)術(shù)影響力的不足[15-16]；或?qū)σ霉δ苓M(jìn)行分類，揭示不同的引用動(dòng)機(jī)從而反映引用價(jià)值[17]；或從中識(shí)別有意義且重要的引用語句，揭示原始文獻(xiàn)的貢獻(xiàn)點(diǎn)所在[18-19]。

與標(biāo)題、摘要和關(guān)鍵詞等文獻(xiàn)信息不同，引用語句記錄了知識(shí)流動(dòng)的細(xì)節(jié)，而被引用的信息和創(chuàng)新點(diǎn)也是被同行學(xué)者普遍認(rèn)為重要的，因此有價(jià)值的引用語句可以真正體現(xiàn)論文對(duì)科學(xué)發(fā)展的重要意義。引用內(nèi)容的特殊意義為突破性文獻(xiàn)的識(shí)別提供新的思考和方向。

1.3引用語句獲取關(guān)于引用語句的獲取，有部分研究者通過人工閱讀原始研究的施引文獻(xiàn)并手工提取對(duì)應(yīng)的引用語句[20]，或者利用自然語言處理技術(shù)從全文中抽取引用內(nèi)容進(jìn)行分析[21-23]。上述研究得到的引用語料都是根據(jù)特定研究需要而“定制”，只適用于特定場(chǎng)景的分析。除此之外，計(jì)算語言協(xié)會(huì) (Association for Computational Linguistics，ACL)提供的網(wǎng)絡(luò)語料庫選集ACL Anthology Network (AAN)[24]包括引用語句，可供計(jì)算語言學(xué)和自然語言處理領(lǐng)域的研究人員不同研究需求。同時(shí)，國(guó)外已有研究人員對(duì)如何提取引用語句進(jìn)行探索并開發(fā)相應(yīng)的數(shù)據(jù)庫供科研人員使用，例如Colil[25]、Semantic Scholar[26]、SciRide Finder[27]。相較于傳統(tǒng)搜索引擎如PubMed、Web of Science、Google Scholar等，其顯著區(qū)別是通過數(shù)據(jù)庫檢索可以獲取后續(xù)發(fā)表研究對(duì)原始研究的評(píng)論性描述。Colil是基于PMC OA文獻(xiàn)集構(gòu)建的生物醫(yī)學(xué)領(lǐng)域的引用語句文本庫，可通過文章的PMID號(hào)獲取對(duì)應(yīng)文獻(xiàn)的引用語句。本研究擬選擇Colil實(shí)現(xiàn)引用語句的批量獲取。

2 數(shù)據(jù)來源與方法

本研究提出一種基于引用語句結(jié)合深度學(xué)習(xí)算法識(shí)別醫(yī)學(xué)領(lǐng)域潛在突破性文獻(xiàn)的方法，并構(gòu)建自動(dòng)識(shí)別模型和對(duì)模型領(lǐng)域進(jìn)行實(shí)證研究。方法路徑如圖1所示。

圖1 醫(yī)學(xué)領(lǐng)域潛在突破性文獻(xiàn)自動(dòng)識(shí)別模型構(gòu)建及實(shí)證研究方法路徑

2.1金標(biāo)準(zhǔn)突破性文獻(xiàn)集的確定識(shí)別潛在突破性文獻(xiàn)的首要任務(wù)是確定一組核心出版物作為金標(biāo)準(zhǔn)集，并基于施引作者在引用這些文獻(xiàn)做出的描述性評(píng)論語句來探索突破性評(píng)價(jià)情感及語言學(xué)特征。然而由于目前生物醫(yī)學(xué)領(lǐng)域論文數(shù)據(jù)爆發(fā)式的增長(zhǎng)，個(gè)人難以從大量的文獻(xiàn)中確定標(biāo)準(zhǔn)集且個(gè)人的篩選存在偏倚。因此，本研究借鑒已有的學(xué)術(shù)共同體對(duì)論文的評(píng)審結(jié)果，納入諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)獲得者的關(guān)鍵文獻(xiàn)(1981-2019年)以及Science 10大科學(xué)突破主題的代表文獻(xiàn)(醫(yī)學(xué)領(lǐng)域，1996-2019年)作為突破性文獻(xiàn)的金標(biāo)準(zhǔn)文獻(xiàn)集。共計(jì)644篇文獻(xiàn)。通過Colil數(shù)據(jù)庫獲取644篇的引用語句，約16萬條。

以PMID為12 466 850的一條引用語句為例，如例1，其施引文獻(xiàn)是PMID為19 468 303的文獻(xiàn)。其中>> <<表示目標(biāo)文獻(xiàn)，即PMID為12 466 850的文獻(xiàn)，該篇文獻(xiàn)在施引文獻(xiàn)(PMID:19 468 303)中為第11篇參考文獻(xiàn)。

例1：In late 2002, we published a draft mouse genome assembly, referred to as the MGSCv3, of a single, inbred strain (C57BL/6J, or “B6”) [>>11<<]. This publication marked a watershed in mammalian genetics and genomics, as it allowed the first genomic comparisons between mouse and human.

2.2突破性評(píng)價(jià)文本特征的提取為探索學(xué)術(shù)共同體在引用突破性文獻(xiàn)時(shí)是否存在語言學(xué)特征，本研究利用Standford CoreNLP工具對(duì)上述644篇突破性文獻(xiàn)的引用語句進(jìn)行分詞及詞頻統(tǒng)計(jì)，明確是否存在表征突破性評(píng)價(jià)的特征詞。為降低特殊字符對(duì)分詞造成的影響，進(jìn)行分詞之前對(duì)每條引用語句進(jìn)行預(yù)處理，刪除每條語句中的特殊符號(hào)(如= - * : " ' — ! ～ & √等)及數(shù)字(0,1,2,3,4,5,6,7,8,9)。從具有一定詞頻的候選特征詞中篩選出常被施引作者用來評(píng)價(jià)突破性文獻(xiàn)的精準(zhǔn)特征詞。由于英文單詞存在一詞多義的特點(diǎn)，因此提取出包含上述任一候選特征詞的引用語句進(jìn)行人工標(biāo)注，表征突破性意義的標(biāo)為1，無突破性意義的引用語句標(biāo)為0。標(biāo)注規(guī)則如表1。將標(biāo)注結(jié)果按以下公式作比，比值越高，表明該詞表征突破性評(píng)價(jià)意義的概率越大。將比值≥50%的詞作為突破性評(píng)價(jià)精準(zhǔn)特征詞。

比值=

2.3醫(yī)學(xué)領(lǐng)域突破性文獻(xiàn)識(shí)別模型的訓(xùn)練從金標(biāo)準(zhǔn)突破性文獻(xiàn)的全部引用語句中隨機(jī)抽取20%的數(shù)據(jù)進(jìn)行人工標(biāo)注并構(gòu)建自動(dòng)識(shí)別模型。在人工標(biāo)注過程中，按照表1中的規(guī)則進(jìn)行標(biāo)注，將表征突破性意義的標(biāo)為1，無突破性意義的引用語句標(biāo)為0。利用通用領(lǐng)域模型BERT[28]以及生物醫(yī)學(xué)領(lǐng)域特異性模型BIOBERT[29]自動(dòng)學(xué)習(xí)其語義特征與人工標(biāo)注標(biāo)簽之間的關(guān)系。

2.4癌癥領(lǐng)域潛在突破性文獻(xiàn)識(shí)別與評(píng)價(jià)癌癥是當(dāng)前危害全球人類健康的重大疾病之一。近年來，癌癥領(lǐng)域的基礎(chǔ)研究與臨床轉(zhuǎn)化均取得顯著進(jìn)展，例如癌癥靶向藥物、疫苗研發(fā)、AI應(yīng)用等。本研究以近5年發(fā)表的癌癥領(lǐng)域相關(guān)文獻(xiàn)為例開展實(shí)證分析。分別通過PubMed數(shù)據(jù)庫(檢索策略："Neoplasms"[Mesh]，F(xiàn)ilters applied: Journal Article, from 2015/1/1 - 2019/12/31)、Colil數(shù)據(jù)庫獲取得到約58萬篇文獻(xiàn)題錄、200萬條引用語句。選擇最優(yōu)模型進(jìn)行實(shí)證分析并選取兩個(gè)指標(biāo)——F1000數(shù)據(jù)庫以及美國(guó)臨床腫瘤學(xué)會(huì)發(fā)布的年度進(jìn)展報(bào)告(Clinical Cancer Advances: ASCO’s Annual Report on Progress Against Cancer)對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)。F1000數(shù)據(jù)庫是全球頂尖基礎(chǔ)研究學(xué)者與臨床專家甄選生物學(xué)與醫(yī)學(xué)領(lǐng)域中最重要的論文及動(dòng)向的數(shù)據(jù)庫，并對(duì)其進(jìn)行分類及評(píng)估。美國(guó)臨床腫瘤學(xué)會(huì)每年發(fā)布的癌癥臨床進(jìn)展報(bào)告強(qiáng)調(diào)了過去一年癌癥領(lǐng)域中最具影響力的研究進(jìn)展，并確定了癌癥領(lǐng)域的未來優(yōu)先發(fā)展事項(xiàng)。如果模型識(shí)別出的文獻(xiàn)被F1000數(shù)據(jù)庫或癌癥臨床進(jìn)展報(bào)告收錄則證明該模型可以識(shí)別出具有重要價(jià)值的文獻(xiàn)?；谏鲜鲋笜?biāo)對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)。

表1 引用語句標(biāo)注規(guī)則

3 結(jié) 果

3.1突破性評(píng)價(jià)文本特征通過對(duì)金標(biāo)準(zhǔn)突破性文獻(xiàn)集的約16萬條引用語句進(jìn)行分詞及詞頻分析，從中提取出88 166個(gè)詞。其中冠詞“the”的詞頻最高，詞頻為353 596。詞頻大于等于1 000的共有940個(gè)詞，僅占總詞數(shù)的1.07%；詞頻在1-5之間的詞數(shù)最多，高達(dá)71.80%(見圖2)。

圖2 不同詞頻范圍的詞個(gè)數(shù)占比統(tǒng)計(jì)

通過對(duì)特征詞的篩選可以發(fā)現(xiàn)學(xué)術(shù)共同體在評(píng)價(jià)高價(jià)值文獻(xiàn)時(shí)常用的詞匯。為保證特征詞篩選的概率意義，本研究從詞頻大于等于100 的詞(共4 642個(gè)詞，占比5.27%)中最終確定46個(gè)候選突破性評(píng)價(jià)特征詞。含候選特征詞的引用語句共有54 890條，占全部引用語句的33.57%，涉及522篇金標(biāo)準(zhǔn)文獻(xiàn)。對(duì)包含候選特征詞的引用語句按照標(biāo)注規(guī)則進(jìn)行人工標(biāo)注，其作比結(jié)果如圖3所示。含有“pioneering”的引用語句中有88.10%被標(biāo)注為“1”，反映含有該詞的引用語句具有88.10%的可能性被認(rèn)為具有突破性評(píng)價(jià)意義。當(dāng)某一候選特征詞的比值大于等于50%，則表明含有該詞的引用語句至少具有50%的可能性被評(píng)為突破性評(píng)價(jià)引用句，如“pioneering”“revolutionize”等。比值為50%以上的特征詞元及還原前的詞如表2所示，這些詞可以被認(rèn)為是常用來評(píng)價(jià)潛在突破性文獻(xiàn)的精準(zhǔn)特征詞。

圖3 候選特征詞被判別為具有突破性評(píng)價(jià)意義的概率

表2 突破性評(píng)價(jià)文本特征詞元及原詞

3.2突破性文獻(xiàn)自動(dòng)識(shí)別模型從16萬條引用語句中隨機(jī)抽取20%的數(shù)據(jù)構(gòu)建自動(dòng)識(shí)別模型，其中標(biāo)簽為“1”的引用語句共有1 994條，標(biāo)簽為“0”的共有30 708條，比值為1∶15。模型訓(xùn)練結(jié)果如表3所示。由于訓(xùn)練集中正負(fù)樣本數(shù)量差距懸殊，BERT以及BIOBERT模型對(duì)負(fù)樣本識(shí)別能力優(yōu)于對(duì)正樣本的識(shí)別，但BIOBERT模型對(duì)正樣本的識(shí)別能力相較于BERT有明顯提高(F1=0.70)?？傮w而言，生物醫(yī)學(xué)語言表示模型BIOBERT魯棒性較好，對(duì)正負(fù)樣本的識(shí)別能力均有所提高，總體F1值為0.84。

表3 BERT、BIOBERT模型訓(xùn)練結(jié)果對(duì)比

3.3癌癥領(lǐng)域識(shí)別結(jié)果分析與評(píng)價(jià)利用基于BIOBERT的引用語句模型進(jìn)行預(yù)測(cè)，共15596條引用語句被預(yù)測(cè)標(biāo)注為“1”，即被認(rèn)為具有突破性評(píng)價(jià)意義，對(duì)應(yīng)10986篇原始文獻(xiàn)。預(yù)測(cè)標(biāo)注為“1”的引用語句數(shù)量最多的文獻(xiàn)(67條)是2015年發(fā)表的題為“The future of immune checkpoint therapy”的綜述，該篇綜述總結(jié)了目前癌癥免疫治療的重大進(jìn)展。然而綜述、評(píng)論、指南、系統(tǒng)綜述、meta分析的特點(diǎn)是對(duì)先前研究進(jìn)行評(píng)論和系統(tǒng)評(píng)估，并不代表原創(chuàng)性的創(chuàng)新研究或重大突破。因此，后續(xù)將不對(duì)上述文獻(xiàn)類型進(jìn)行分析。同時(shí)由于深度學(xué)習(xí)模型識(shí)別結(jié)果存在誤差性以及施引作者在引用參考文獻(xiàn)時(shí)存在主觀偏倚性，設(shè)置突破性評(píng)價(jià)引用語句的數(shù)量可在一定程度上彌補(bǔ)此缺陷。將具有2條及以上突破性評(píng)價(jià)引用語句的文獻(xiàn)作為潛在突破性文獻(xiàn)并對(duì)此進(jìn)行分析。

2015年發(fā)表的潛在突破性文獻(xiàn)最多，共有477篇，2019年發(fā)表的最少僅8篇(見圖4)。對(duì)各年發(fā)表的具有突破性評(píng)價(jià)語句最多的TOP5文獻(xiàn)基于指標(biāo)進(jìn)行評(píng)價(jià)，其結(jié)果如表4所示。每年發(fā)表的具有突破性評(píng)價(jià)語句最多的TOP5文獻(xiàn)均被F1000數(shù)據(jù)庫收錄或被提名收錄，多數(shù)被推薦為“New Finding”，表明是創(chuàng)新性的研究；其中有13篇被ASCO癌癥臨床進(jìn)展報(bào)告收錄。從評(píng)價(jià)結(jié)果可以看出，模型識(shí)別出的2015年、2016發(fā)表的文獻(xiàn)幾乎均同時(shí)被F1000數(shù)據(jù)庫及ASCO癌癥臨床進(jìn)展報(bào)告收錄，而2017-2019年發(fā)表的文獻(xiàn)只有少數(shù)同時(shí)滿足兩個(gè)指標(biāo)，這表明發(fā)表較早的文獻(xiàn)其識(shí)別結(jié)果更加精準(zhǔn)。但該模型在一定程度上仍可以實(shí)現(xiàn)早期識(shí)別(例如PMID30665869、PMID30645973)。

圖4 癌癥領(lǐng)域潛在突破性文獻(xiàn)年度分布

表4 2015-2019年每年發(fā)表的具有突破性評(píng)價(jià)語句最多的TOP5文獻(xiàn)基于指標(biāo)的評(píng)價(jià)結(jié)果

續(xù)表4 2015-2019年每年發(fā)表的具有突破性評(píng)價(jià)語句最多的TOP5文獻(xiàn)基于指標(biāo)的評(píng)價(jià)結(jié)果

4 總結(jié)與展望

本文以醫(yī)學(xué)領(lǐng)域?yàn)槔x取諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)獲得者的關(guān)鍵文獻(xiàn)以及Science十大科學(xué)突破主題的代表文獻(xiàn)(醫(yī)學(xué)領(lǐng)域)作為金標(biāo)準(zhǔn)突破性文獻(xiàn)集，探析學(xué)術(shù)共同體在引用具有重大突破價(jià)值的文獻(xiàn)時(shí)是否存在顯著的文本特征，同時(shí)基于引用語句的評(píng)價(jià)情感結(jié)合深度學(xué)習(xí)的文本分類功能，實(shí)現(xiàn)對(duì)潛在突破性文獻(xiàn)的自動(dòng)識(shí)別。

在研究中發(fā)現(xiàn)，學(xué)術(shù)共同體在評(píng)價(jià)具有重大突破價(jià)值的文獻(xiàn)時(shí)具有明顯的文本特征，“pioneering”“revolutionize”“breakthrough”“seminal”“milestone”等是施引作者常用來評(píng)價(jià)高價(jià)值文獻(xiàn)的精準(zhǔn)特征詞，共有322篇金標(biāo)準(zhǔn)文獻(xiàn)的引用語句含有上述特征詞。同時(shí)在模型訓(xùn)練的標(biāo)注語料中，27.5%被標(biāo)注為“1”的引用語句含有精準(zhǔn)特征詞，86%的引用語句含有候選特征詞，反映具有突破性評(píng)價(jià)意義的語句中具有明顯的文本特征，因此在后續(xù)研究中可以在模型訓(xùn)練過程中提升特征詞的權(quán)重，優(yōu)化模型的識(shí)別能力。本研究識(shí)別出的精準(zhǔn)特征詞可用于構(gòu)建檢索式發(fā)現(xiàn)潛在突破性文獻(xiàn)，并為檢索詞的選取提供了依據(jù)，特別是在引用語句檢索中具有較大應(yīng)用價(jià)值。本研究基于引用語句的評(píng)價(jià)情感結(jié)合深度學(xué)習(xí)模型以實(shí)現(xiàn)潛在突破性文獻(xiàn)的自動(dòng)識(shí)別，為識(shí)別突破性文獻(xiàn)、文獻(xiàn)評(píng)價(jià)提供了新的例證、方法和思路。對(duì)BERT、BIOBERT模型的訓(xùn)練結(jié)果進(jìn)行對(duì)比分析發(fā)現(xiàn)，BIOBERT對(duì)潛在突破性文獻(xiàn)的識(shí)別能力(F1=0.84)優(yōu)于BERT的識(shí)別能力(F1=0.82)，證明基于PubMed摘要和PMC全文文章訓(xùn)練得到的BIOBERT模型在處理生物醫(yī)學(xué)文本分類任務(wù)中優(yōu)于通用領(lǐng)域BERT模型，為后續(xù)開展生物醫(yī)學(xué)文本分類任務(wù)提供了參考和例證。

在模型實(shí)證分析中，選擇癌癥領(lǐng)域作為實(shí)證領(lǐng)域，利用BIOBERTT模型識(shí)別該領(lǐng)域的潛在突破性文獻(xiàn)并基于是否被F1000數(shù)據(jù)庫收錄、被ASCO癌癥臨床進(jìn)展報(bào)告收錄作為指標(biāo)對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)。其結(jié)果表明，基于引用語句的自動(dòng)識(shí)別模型能夠識(shí)別具有重大突破性價(jià)值的文獻(xiàn)，但識(shí)別效果在很大程度上仍依賴于文獻(xiàn)發(fā)表時(shí)間或者是引用語句的數(shù)量，引用語句越多，其積累的突破性評(píng)價(jià)語句越多，用以區(qū)分非突破性文獻(xiàn)的特征就越明顯，則被判別為潛在突破性文獻(xiàn)的概率越大。同時(shí)實(shí)證研究也驗(yàn)證基于引用語句的自動(dòng)識(shí)別模型具有早期識(shí)別的能力。例如表4中于2019年發(fā)表的文獻(xiàn)，盡管其只有少量的引用語句，但是該模型仍能從具有有限引文次數(shù)的文獻(xiàn)中識(shí)別出具有重要價(jià)值的文獻(xiàn)，證明基于引用語句的識(shí)別方法可以實(shí)現(xiàn)重要文獻(xiàn)的早期識(shí)別和文獻(xiàn)早期評(píng)價(jià)。

本研究是識(shí)別潛在突破性文獻(xiàn)的有效嘗試但仍有局限性。首先本研究提取的突破性評(píng)價(jià)特征詞僅為單個(gè)詞，忽略表征突破性評(píng)價(jià)的短語如“first discovery”“breakthrough research”。相較于單個(gè)特征詞的多意性，短語詞組更加精準(zhǔn)。后續(xù)可開展突破性評(píng)價(jià)特征詞組的識(shí)別。此外，針對(duì)模型的實(shí)證分析，本研究?jī)H選擇癌癥領(lǐng)域開展研究。雖然證明該識(shí)別模型在癌癥領(lǐng)域中的適用性，但模型在其他領(lǐng)域的遷移能力有待驗(yàn)證。最后，引用語句的來源存在局限性。Colil數(shù)據(jù)庫是日本國(guó)家生命科學(xué)數(shù)據(jù)庫中心基于PMC OA文獻(xiàn)集開發(fā)的，而PMC-OAS文獻(xiàn)集[30]僅約占PubMed數(shù)據(jù)庫[31]中所有出版物的9.2%。因此通過Colil數(shù)據(jù)庫獲取得到引用語句數(shù)量十分有限。引用語句數(shù)據(jù)不全會(huì)對(duì)實(shí)證研究結(jié)果造成影響。