科技文獻(xiàn)內(nèi)容語義識別研究綜述

黃 紅，陳 翀，張婧瑩

（北京師范大學(xué)政府管理學(xué)院，北京 100875）

1 引 言

科技文獻(xiàn)是科學(xué)研究成果的書面呈現(xiàn)形式，而科學(xué)研究是提出問題、解決問題的過程。科技文獻(xiàn)中包含科學(xué)研究的目的、研究問題、研究方法、研究結(jié)論、創(chuàng)新貢獻(xiàn)等一系列要素。這些要素在科技文獻(xiàn)中通過詞、句、段落、章節(jié)等文本單元表達(dá)。令P代表文本單元集合，S代表科研要素的類型集合，科技文獻(xiàn)內(nèi)容語義識別就是在文獻(xiàn)中找到表示特定科研要素的文本單元，其定義為：通過某種映射方法f，為P中元素找到對應(yīng)的S中元素，記做f:p→s，其中p∈P,s∈S，p是識別對象，s是其語義。

P按粒度可以分為篇章、段落、句子或詞匯的集合。S中元素的定義有多種觀點[1-2]，例如，Nasar等[3]曾將科技文獻(xiàn)內(nèi)容語義歸納為文獻(xiàn)所提出的問題、研究的領(lǐng)域、解決問題的方法、實驗數(shù)據(jù)、實驗工具、評價方法、研究成果、研究局限、未來擴(kuò)展9 種類型。f與實體、事件、關(guān)系的信息抽取任務(wù)[4]，以及文檔中實體的語義標(biāo)注任務(wù)[5]均存在共性。

Nasar 等[3]從句子級和詞匯級總結(jié)了在科技文獻(xiàn)中提取出重要見解（key-insights）的相關(guān)研究，發(fā)現(xiàn)當(dāng)時的研究專注于一般性見解的提取，而對特定領(lǐng)域見解及相關(guān)的處理技術(shù)研究不足。這里的重要見解是指蘊含在文章內(nèi)對研究有貢獻(xiàn)的信息。但由于其綜述時間較早，由此形成的觀點有局限性。目前，開放獲取資源日漸豐富，深度神經(jīng)網(wǎng)絡(luò)模型大大提升了對文本語義的理解能力，在數(shù)據(jù)、方法、應(yīng)用上都形成了大量科技文獻(xiàn)內(nèi)容語義識別的新成果。本文梳理了近年來的文獻(xiàn)，進(jìn)行更為全面深入的總結(jié)。

科技文獻(xiàn)內(nèi)容語義識別能改進(jìn)對文獻(xiàn)中所蘊含知識的挖掘與利用。以往對文獻(xiàn)的檢索、計量等應(yīng)用都是以篇為單位，隨著科技文獻(xiàn)數(shù)量的急劇增長，這種方式暴露出準(zhǔn)確查找難、知識利用效率低、計量不精細(xì)等弊端?？蒲腥藛T為獲取特定信息需要花費大量的搜索和閱讀成本。一項關(guān)于科研人員文獻(xiàn)閱讀行為與目的的調(diào)查發(fā)現(xiàn)，多數(shù)時候人們不是對一篇文獻(xiàn)的所有內(nèi)容感興趣，而是根據(jù)不同的任務(wù)關(guān)注文獻(xiàn)特定部分內(nèi)容[6]。故而，從更細(xì)粒度、更深層次對科技文獻(xiàn)的內(nèi)容進(jìn)行組織和揭示對現(xiàn)實應(yīng)用有重要意義。近兩年國家級科研基金與此相關(guān)的立項有文獻(xiàn)論證結(jié)構(gòu)抽取、學(xué)術(shù)觀點庫構(gòu)建、學(xué)術(shù)全文本知識圖譜構(gòu)建等。科技文獻(xiàn)內(nèi)容語義識別對知識組織[7]、策略性閱讀[8]、語義出版[9]、知識實體層面的計量[10-11]等方面的研究具有基礎(chǔ)性作用，因而成為研究熱點。

本文將科技文獻(xiàn)內(nèi)容語義識別的相關(guān)研究歸納為以下幾個方面的問題：①人們關(guān)注文獻(xiàn)內(nèi)容中哪些語義類型；②選取什么粒度的文本單元作為識別對象；③識別方法分為哪些類型；④如何評測識別結(jié)果；⑤語義識別有哪些典型應(yīng)用；⑥語義類型識別的現(xiàn)存問題及未來發(fā)展展望。對這些問題的研究歸納分別對應(yīng)本文第2～7 節(jié)。

本文對科技文本挖掘、知識組織等方向的發(fā)展主要貢獻(xiàn)如下：

（1）從理論、方法、應(yīng)用三個層面概述科技文獻(xiàn)內(nèi)容語義相關(guān)研究；

（2）圍繞章節(jié)、句子、詞匯三種粒度的識別對象，重點梳理各類方法，概括科技文獻(xiàn)內(nèi)容語義識別研究的發(fā)展過程；

（3）歸納科技文獻(xiàn)內(nèi)容語義識別的基本問題、識別方法和評測方式，為后續(xù)研究提供參考基礎(chǔ)。

2 語義類型的定義

本節(jié)在理論層面上探討科技文獻(xiàn)內(nèi)容語義的構(gòu)成，概括現(xiàn)有研究所提出的文獻(xiàn)內(nèi)容本體或結(jié)構(gòu)描述模型。

科技文獻(xiàn)的本質(zhì)功能是作者闡述問題、觀點，并證明和總結(jié)，因此行文中需要嚴(yán)密的邏輯和論證結(jié)構(gòu)。為了標(biāo)記科技文獻(xiàn)中最核心的內(nèi)容，研究者提出了多種語義標(biāo)注模型。第一類是基于論證要素的論證模型本體 （argument model ontology，AMO）[1]。論證是在文獻(xiàn)中用論據(jù)來證明觀點，AMO 本體以Toulmin 提出的論證模型[12]為基礎(chǔ)，將科技文獻(xiàn)的論證結(jié)構(gòu)表示為斷言（claim）、證據(jù)（evidence）、正當(dāng)理由（warrant）、限定詞 （qualifier）、反駁（rebuttal）、支援（backing） 六個組成部分，并用OWL （ontology web language） 來表述。第二類是基于修辭結(jié)構(gòu)的修辭塊本體（ontology of rhetorical blocks，ORB）[2]。這里所說的“修辭”與語文中的修辭有所不同。西方修辭學(xué)側(cè)重于表達(dá)邏輯，古希臘時代，修辭是演講中用于說服聽眾的手段。亞里士多德在他的《修辭學(xué)》中指出，修辭術(shù)是對應(yīng)論辯術(shù)的，它們均采用三段論論證方式，但修辭術(shù)和論辯術(shù)分別是敘述式和問答式的敘述方法[13]。在科技文獻(xiàn)中，修辭是用于說服或同化讀者的手段，所有語句、文章結(jié)構(gòu)的安排皆是修辭[14]。1988 年，Mann 等[15]提出修辭結(jié)構(gòu)理論（rhetorical structure theory，RST），揭示不同粒度的語篇單元（textual units）如何連接成文章并承擔(dān)某種功能角色，其中定義的修辭關(guān)系包括背景（background）、動機（motivation）、實現(xiàn) （enablement）、總結(jié) （summary）等。這與科技文獻(xiàn)中的科研要素，如研究的背景、目標(biāo)、方法、結(jié)論等形成對應(yīng)，因此基于修辭結(jié)構(gòu)的模型通常被作為文獻(xiàn)科研要素的定義依據(jù)。第三類是從論文實驗的記錄和分析這一功能出發(fā)，提出基于科學(xué)實驗過程的實驗本體（experiment ontology，EXPO）[16]。其他種類還包括從實際應(yīng)用角度出發(fā)，基于科學(xué)家查找、閱讀文獻(xiàn)需求而提出的SciAnnotDoc 模型[6]，基于語義出版需求的語義出版與引用本體（semantic publishing and referencing ontologies，SPAR）[17]，納米出版物模型[18]等。

為了檢驗現(xiàn)有模型的實用性，宋寧遠(yuǎn)等[19]從語義增強概念入手，通過對科技文獻(xiàn)語義增強路徑的分析，歸納了現(xiàn)有語義標(biāo)注模型的特點，對科技論文語義增強未來工作提出了多維多源數(shù)據(jù)融合、富語義內(nèi)容數(shù)據(jù)可視化等發(fā)展趨勢研判。于改紅等[20]從構(gòu)建思想、應(yīng)用場景、語篇元素類別、建立方法、應(yīng)用項目、實際標(biāo)注效果六個方面對比分析了幾個具有代表性的科技文獻(xiàn)內(nèi)容語義標(biāo)注模型，指出這些標(biāo)注模型普遍存在的問題，如語義類別含義難定義、人工標(biāo)注煩瑣等。總體上，在模型定義上的研究正逐漸豐富，并開始與應(yīng)用結(jié)合，這將對實踐研究起到推動作用。

3 識別對象的粒度

依據(jù)識別對象的粒度，現(xiàn)有研究可劃分為章節(jié)級、句子級和詞匯級。從它們與文獻(xiàn)語義類型或結(jié)構(gòu)描述模型研究的關(guān)聯(lián)性上看，對章節(jié)的語義識別也被稱為科技文獻(xiàn)的結(jié)構(gòu)功能識別，通常以IMRaD（introduction, methods, results and discussion）結(jié)構(gòu)模型[21]為語義劃分依據(jù)。IMRaD 將科技文獻(xiàn)視為由引言、方法、結(jié)果和討論四個部分組成，也是對文獻(xiàn)中科研要素的粗略歸納?？萍嘉墨I(xiàn)結(jié)構(gòu)功能識別的結(jié)果就是將文中章節(jié)歸并到IMRaD 幾類標(biāo)簽上。句子層級的語義識別主要從修辭角度[22]分析科技文獻(xiàn)的語篇結(jié)構(gòu)，從中提取出一類或多類具有特定語義功能的句子。詞匯層級的語義識別任務(wù)類似于識別命名實體類型，旨在用詞匯、詞組概括科技文獻(xiàn)中的知識實體，如理論、方法、數(shù)據(jù)集等。

3.1 章節(jié)級語義識別

自17 世紀(jì)科技期刊出現(xiàn)以后，科學(xué)文本的內(nèi)容組織在兩個世紀(jì)里沒有固定形式。為了提高科學(xué)論文的可讀性，加速審閱及評估，學(xué)術(shù)界開始規(guī)范科學(xué)文本的組織結(jié)構(gòu)，在20 世紀(jì)70 年代提出了IMRaD 結(jié)構(gòu)模型，其迅速成為大多數(shù)科技期刊研究論文的主要格式[23]。然而還有很多文獻(xiàn)的章節(jié)結(jié)構(gòu)與IMRaD 模型不完全對應(yīng)[24]。為此，人們研究科技文獻(xiàn)的結(jié)構(gòu)功能識別，將文獻(xiàn)章節(jié)劃分到以IMRaD 模型為基礎(chǔ)的幾個語義功能中，厘清文章內(nèi)容的組織結(jié)構(gòu)。清晰的論文結(jié)構(gòu)不僅能夠減輕讀者的閱讀負(fù)擔(dān)，還有利于對內(nèi)容的深入研究，如研究引文[25-27]、參考文獻(xiàn)[28]在不同章節(jié)結(jié)構(gòu)中的分布特征。

科技文獻(xiàn)的結(jié)構(gòu)功能識別中用到的信息主要來自四類文本，即有章節(jié)的標(biāo)題[29-31]、全文內(nèi)容[32-34]、段落[35]，以及章節(jié)標(biāo)題與全文內(nèi)容的混合文本[36-39]?；跇?biāo)題識別章節(jié)的語義一般利用標(biāo)題的模式[29]直接匹配到IMRaD 的語義標(biāo)簽。該方式僅適用于具有規(guī)范標(biāo)題的文獻(xiàn)；對于規(guī)范性差的標(biāo)題，由于標(biāo)題文本長度所限，可利用信息少，識別難度大。陸偉等[30]利用 CRF （conditional random field）模型對科技文本的章節(jié)標(biāo)題進(jìn)行序列標(biāo)注以識別文章的結(jié)構(gòu)功能，Luong 等[31]使用標(biāo)題的位置、標(biāo)題的前兩個字、整個標(biāo)題三個特征訓(xùn)練分類算法識別章節(jié)結(jié)構(gòu)。這些比直接匹配具有更高的適用性，但標(biāo)題中的未登錄詞會對結(jié)果有較大影響?；谌膬?nèi)容識別章節(jié)的語義一般采用分類方法，構(gòu)建分類特征、訓(xùn)練分類器來判斷章節(jié)的語義類型。章節(jié)內(nèi)容豐富，可利用的分類特征多，如關(guān)鍵詞詞頻和詞匯類別[32]、句子數(shù)目[33]、引文分布特征[34]、圖表分布[37]等。基于段落識別章節(jié)的語義一般用于無結(jié)構(gòu)文獻(xiàn)，它們沒有明顯的章節(jié)特征，所用到的文本不如標(biāo)題那么簡單明了，只能從段落中獲取信息[36]，因此有一定的難度。

為了充分利用文獻(xiàn)信息，Ma 等[39]整合章節(jié)標(biāo)題和章節(jié)內(nèi)容的特征，通過實驗表明這有效提高了文獻(xiàn)結(jié)構(gòu)功能識別模型的性能。Li 等[38]指出文獻(xiàn)標(biāo)題可分為指示性標(biāo)題和描述性標(biāo)題兩類，指示性標(biāo)題包含明顯的章節(jié)結(jié)構(gòu)功能詞，如引言、總結(jié)等；描述性標(biāo)題僅解釋章節(jié)的部分內(nèi)容，較難直接從標(biāo)題區(qū)分章節(jié)的結(jié)構(gòu)功能。為了彌補描述性標(biāo)題信息不足的問題，Li 等[38]同樣引入章節(jié)內(nèi)容，利用GRU（gate recurrent unit）生成章節(jié)標(biāo)題的嵌入表示，用BERT（bidirectional encoder representation from trans-formers）生成章節(jié)內(nèi)容的嵌入表示，并且設(shè)置激活函數(shù)控制章節(jié)標(biāo)題和章節(jié)內(nèi)容對語義類型識別的影響程度，最終提升了語義識別方法的性能。王佳敏等[40]綜合了章節(jié)的標(biāo)題、內(nèi)容、段落三個方面信息，基于集成學(xué)習(xí)思想組合多個神經(jīng)網(wǎng)絡(luò)模型識別文獻(xiàn)的結(jié)構(gòu)功能，使模型最終的章節(jié)標(biāo)題識別效果好于單一模型。

3.2 句子級語義識別

章節(jié)級的語義識別只能將科技文獻(xiàn)的內(nèi)容按照科研過程做粗粒度劃分，對于查找或提取特定內(nèi)容來說還不夠，因為同一個章節(jié)包含多種語義類型的信息片段[41]。語步概念最早由Swales[42]提出，指文章中具有完整交流功能的修辭單元，通常由一個句子或幾個句子構(gòu)成。語步被認(rèn)為是表達(dá)一個完整語義要素的最小文本單位，識別語步的語義類型是更細(xì)粒度的、句子級文獻(xiàn)內(nèi)容語義劃分。句子級的研究分為兩類，一是將科技文獻(xiàn)的摘要結(jié)構(gòu)化[43-48]，二是將識別范圍推廣到科技文獻(xiàn)全文，提取一類或幾類具有特定語義類型的句子[49-54]。

摘要是文獻(xiàn)內(nèi)容的濃縮。隨著科學(xué)寫作越來越規(guī)范，不少期刊要求科技文獻(xiàn)的摘要明確標(biāo)出目的、方法、結(jié)論、貢獻(xiàn)等要素，這就是結(jié)構(gòu)化摘要，研究表明，它比非結(jié)構(gòu)化摘要可讀性強[55]。不少研究仍以IMRaD 結(jié)構(gòu)作為依據(jù)，采用分類或序列標(biāo)注的方式將摘要中的句子映射到IMRaD 的語義標(biāo)簽[43,45,48]。Ribeiro 等[44]的研究中也采用了 IMRaD 結(jié)構(gòu)，但只關(guān)注Results 部分，將剩下的Introduction、Methods、Discussion 歸為一類，比較樸素貝葉斯、邏輯回歸等多種分類模型的分類效果。另外，也有研究以IMRaD 為基礎(chǔ)擴(kuò)展更多的語義類型進(jìn)行識別，如 Background、Objective 等[46-47]。

開放獲取、網(wǎng)絡(luò)出版、在線發(fā)表等模式的推廣使全文文獻(xiàn)資源更易于獲取，為學(xué)者在全文范圍內(nèi)開展特定語步識別提供了條件?，F(xiàn)有研究著重關(guān)注研究的問題、方法、貢獻(xiàn)等語義類型句子的提取。Agarwal 等[49]在生物醫(yī)學(xué)文獻(xiàn)全文中識別描述引言、方法、結(jié)果、結(jié)論幾類語義功能的句子，使用無監(jiān)督的規(guī)則匹配加迭代方法和有監(jiān)督的分類方法，發(fā)現(xiàn)有監(jiān)督方法的識別準(zhǔn)確性更高。王末等[54]基于遷移學(xué)習(xí)思想，使用SciBERT 將全文中的句子劃分為結(jié)論、結(jié)果、目標(biāo)、方法、對象、實驗、觀察、假設(shè)、動機、背景、模型11 種類型。識別多類型語步任務(wù)最大的挑戰(zhàn)是需要大量的標(biāo)注數(shù)據(jù)，具有一定難度。更實用的做法是針對所關(guān)心的語義類型進(jìn)行識別。Heffernan 等[50]在計算機領(lǐng)域文獻(xiàn)中探索了問題句的識別方法，通過試驗不同的分類特征，發(fā)現(xiàn)句子所在的修辭語境信息是影響問題句準(zhǔn)確識別的重要因素。張穎怡等[51]使用深度學(xué)習(xí)模型識別科技文獻(xiàn)全文中的研究方法句，搭建兩層分類模型判斷其是引用方法句還是使用方法句。2021 年語義評測大賽發(fā)布的Task 11 則提出了從科技文獻(xiàn)中提取研究貢獻(xiàn)句的任務(wù)，用于建立開放的學(xué)術(shù)貢獻(xiàn)知識圖譜[53]。

3.3 詞匯級語義識別

詞匯級的語義識別旨在判斷科技文獻(xiàn)中用詞匯概括的知識實體的類型，它與通用領(lǐng)域的命名實體識別等任務(wù)相比，涉及對文獻(xiàn)核心內(nèi)容的理解與概括，識別難度更大。從科技文獻(xiàn)中發(fā)掘知識實體的任務(wù)受到知識圖譜、實體計量[10]等領(lǐng)域發(fā)展的推動，成為人們關(guān)注的焦點。2017 年語義評測大賽發(fā)布ScienceIE 任務(wù)[56]，要求從科技文獻(xiàn)中提取出Task（任務(wù)）、Process（過程）和Material（材料）類型的實體，這極大地推動了詞匯級的語義識別研究的發(fā)展。

詞匯級語義識別的范圍從文獻(xiàn)標(biāo)題[57-58]、摘要[59-64]逐漸擴(kuò)展到全文[65-70]。文獻(xiàn)標(biāo)題短小精煉，但涵蓋信息少，包含的語義主要是研究方法、研究問題兩類。早期研究受限于技術(shù)與語料，研究人員主要利用結(jié)構(gòu)性好的標(biāo)題文本。Taniguchi 等[57]基于特征詞和規(guī)則模板從文獻(xiàn)標(biāo)題中識別方法詞用于整理英日圖書的書目信息。Kondo 等[58]為了分析特定領(lǐng)域的技術(shù)發(fā)展趨勢，采用了序列標(biāo)注方法從文獻(xiàn)的標(biāo)題中自動抽取對應(yīng)研究主題、技術(shù)、目標(biāo)的詞匯。

為了利用更豐富的信息識別出更多語義類型的詞匯，研究者將范圍擴(kuò)展到摘要。Gupta 等[60]和Tsai 等[61]均采用基于語法規(guī)則迭代的方式從摘要中自動抽取出表示技術(shù)、應(yīng)用領(lǐng)域等類型的詞匯。兩者不同點在于Gupta 等[60]先用種子模板匹配詞匯，利用獲得的詞匯迭代生成更多模板；Tsai 等[61]從種子詞開始迭代，分析詞的特征以匹配更多的詞，進(jìn)而獲取更多特征。這兩種做法都很經(jīng)典，常被當(dāng)作基線方法。目前常用的還有深度學(xué)習(xí)方法。Ammar等[62]將摘要轉(zhuǎn)化成字符級向量與token 級向量的組合作為模型輸入，利用BiLSTM（bi-directional long short-term memory） -CRF 模型進(jìn)行端到端的任務(wù)、過程等類型實體的提取。對于缺少標(biāo)注語料的問題，Luan 等[63]和 Augenstein 等[64]分別提出了利用圖標(biāo)簽傳播來估計未標(biāo)記數(shù)據(jù)的后驗概率的半監(jiān)督標(biāo)記方法，以及利用隱藏層參數(shù)共享的多任務(wù)學(xué)習(xí)方法，在ScienceIE[56]提供的有限的帶標(biāo)記摘要數(shù)據(jù)上取得了比ScienceIE 最佳模型更好的抽取效果。

隨著文本挖掘技術(shù)的成熟及全文文獻(xiàn)資源的增多，在全文中識別詞匯語義的研究越來越豐富。Heffernan 等[66]使用特征詞在全文中自動抽取描述科學(xué)問題或解決方案的候選短語，然后利用它們的詞性、情態(tài)、極性、與最近章節(jié)標(biāo)題的距離等特征訓(xùn)練分類算法，識別短語的語義類型。Jain 等[70]開發(fā)了一個基于全文的實體及關(guān)系識別的數(shù)據(jù)集，并使用SciBERT 和BiLSTM 抽取其標(biāo)注的數(shù)據(jù)集、方法、任務(wù)等實體?？萍嘉墨I(xiàn)全文篇幅長，信息冗雜，從中提取特定語義類型的詞語并非易事。然而，通過分析不同語義的章節(jié)內(nèi)容，不難發(fā)現(xiàn)特定語義類型的詞匯往往較為集中地分布在特定的章節(jié)中，例如，在介紹研究方法的章節(jié)中出現(xiàn)方法實體和數(shù)據(jù)集實體的可能性較大。因此，不少研究從科技文獻(xiàn)全文中選特定章節(jié)或文本片段來提取特定語義類型詞匯。例如，Hou 等[68]在科技文獻(xiàn)的實驗部分提取方法實體和數(shù)據(jù)集實體；Singh 等[65]選取Method 部分的引文描述片段提取方法詞；章成志等[67]從全文識別研究方法句，并用序列標(biāo)注從研究方法句中提取了方法詞，還對比了不同標(biāo)注粒度、詞向量和標(biāo)注模型所得到的識別效果。

4 語義識別的方法

4.1 基于匹配的方法

這類方法主要用文本的語言學(xué)特征構(gòu)造模板，將匹配的內(nèi)容單元標(biāo)為對應(yīng)的語義類別，匹配的關(guān)鍵在于如何設(shè)計規(guī)則模板，僅適用于規(guī)范性好的科技文獻(xiàn)內(nèi)容。判斷章節(jié)的語義類型時，由于章節(jié)標(biāo)題用詞較為簡潔且規(guī)范性好，一般通過建立常用詞典進(jìn)行字面匹配來識別語義類型，例如，標(biāo)題若包含methods、framework、approaches 等詞，可判斷其章節(jié)的語義對應(yīng)“方法”類型[24]。判斷句子的語義類型時采用類似方式，例如，認(rèn)為句中包含“首創(chuàng)”“開創(chuàng)”等特征詞或符合“首次…提出…”模式的句子屬于“創(chuàng)新評價”句[52]。判斷詞匯語義類型時，通常結(jié)合特征詞與詞性、句式結(jié)構(gòu)來構(gòu)造匹配模板，例如，認(rèn)為using、apply、extend 等詞后出現(xiàn)的名詞性短語很可能是一個“研究方法”詞[60-61]。

4.2 基于分類的方法

這類方法分為兩個階段。首先確定文本中特定的內(nèi)容單元，然后通過分類模型將內(nèi)容單元映射為預(yù)定的語義類別。主要步驟包括內(nèi)容單元劃分、訓(xùn)練樣本標(biāo)注、分類特征選擇、分類模型訓(xùn)練、分類模型測試。這類方法的靈活度高，適用性較強，其性能取決于分類特征及模型的選擇。

（1）內(nèi)容單元劃分。劃分出科技文獻(xiàn)的內(nèi)容單元是識別語義類型的前提，但準(zhǔn)確識別單元的邊界并不容易。相當(dāng)一部分研究為了簡化問題，會選擇已經(jīng)劃分好的內(nèi)容單元，或用簡單的啟發(fā)式方法劃分，如在章節(jié)層級以章節(jié)標(biāo)題作為單元邊界，在句子層級以句號、點號作為單元邊界，在詞匯層級采用模板匹配獲取候選詞匯單元[66]。

（2）訓(xùn)練樣本標(biāo)注。分類模型需要基于標(biāo)注數(shù)據(jù)訓(xùn)練，即事先標(biāo)注每個內(nèi)容單元的語義類型。公開的標(biāo)注數(shù)據(jù)集很少，且數(shù)據(jù)規(guī)模有限，大部分研究需要自行標(biāo)注訓(xùn)練樣本。章節(jié)的語義類型可以從章節(jié)標(biāo)題中識別，標(biāo)注相對簡單[71]。但句子級和詞匯級標(biāo)注通常使用純手工或者模式匹配加人工核對的方式[72]，一般流程包括制定標(biāo)注規(guī)則、招募與培訓(xùn)標(biāo)注人員、正式標(biāo)注、檢驗標(biāo)注一致性等。

（3）分類特征選擇。分類特征選擇是語義識別至關(guān)重要的一環(huán)，不同識別對象和分類模型所使用的特征存在差異。識別對象主要包括文獻(xiàn)標(biāo)題、摘要、全文三類。標(biāo)題的特征有限，主要是詞性、是否含特征詞[58]等。摘要的特征包括詞頻[44]、詞匯類型[32]、位置特征[43]等。全文的特征有引文分布[34]、圖表分布[37]、語境特征[39]等。從分類模型看，傳統(tǒng)機器學(xué)習(xí)分類模型主要使用詞匯特征、分布特征等人工構(gòu)建的特征集合，而深度學(xué)習(xí)分類模型具備自動提取分類特征的能力，僅需要輸入文本序列。當(dāng)然，將語言學(xué)特征等附加信息主動輸入給深度學(xué)習(xí)模型，將更有效改善模型的識別性能[73]。表1 將語義識別的常用特征歸納為四類。其中，詞匯特征和語義特征是最常使用的分類特征。詞匯特征中的“特征詞”一般依經(jīng)驗選取，如“研究方法”類的詞匯通常會與“提出”“采用”“利用”等特征詞搭配。語義特征是指文本表示中包含的語義信息。一般而言，文本表示向量有兩種產(chǎn)生方式，詞袋模型生成的one-hot 向量和使用預(yù)訓(xùn)練語言模型生成嵌入表示[62-63]。one-hot 向量的維度就是整個詞典的大小，每個維度對應(yīng)一個詞匯，其值基于TF-IDF（term frequency-inverse document frequency）、卡方、信息增益等方法計算[36]。嵌入表示是將詞匯所在的上下文考慮在內(nèi)，通過神經(jīng)網(wǎng)絡(luò)生成表達(dá)詞匯語義信息的低維稠密向量。預(yù)訓(xùn)練模型是在目標(biāo)任務(wù)之前就通過大量語料預(yù)先訓(xùn)練得到初始模型。被廣泛用來生成詞向量的預(yù)訓(xùn)練語言模型有word2vec、GloVe（global vectors）、ELMo（embedding from language models）、GTP （generative pre-trained transformer）、BERT 等。

表1 語義識別相關(guān)特征

（4）分類模型訓(xùn)練。常用的分類模型包括傳統(tǒng)機器學(xué)習(xí)方法和深度學(xué)習(xí)方法，前者以支持向量機（support vector machine，SVM）[29,32,39]為代表，后者多數(shù)以雙向長短時記憶（BiLSTM）[33,40]為基礎(chǔ)搭建分類網(wǎng)絡(luò)。傳統(tǒng)機器學(xué)習(xí)方法較依賴人工構(gòu)建的特征集合，一般應(yīng)用于文獻(xiàn)標(biāo)題、摘要等短文本對象。研究顯示，SVM 分類性能優(yōu)于樸素貝葉斯（naive Bayesian，NB）、邏輯回歸（logistics regression，LR）[66]、線性分類器方法[43]。深度學(xué)習(xí)方法由于其強大的信息挖掘能力，常被應(yīng)用于較長的文本對象，但訓(xùn)練代價大，對設(shè)備性能、花費時間、訓(xùn)練的數(shù)據(jù)量均有較高要求。BiLSTM 因具有雙向的信息提取能力，能夠長距離記憶信息，因而在對長文本進(jìn)行語義識別時比卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、長短時記憶（long short term memory，LSTM）、門循環(huán)單元（GRU）等網(wǎng)絡(luò)模型用得廣泛。

4.3 基于序列標(biāo)注的方法

用序列標(biāo)注模型在識別文本序列中內(nèi)容單元邊界的同時，將識別出它們對應(yīng)的語義類型。主要步驟包括訓(xùn)練樣本標(biāo)注，文本嵌入、序列標(biāo)注模型訓(xùn)練及序列標(biāo)注模型評測。關(guān)鍵點在于文本序列的嵌入表示方法及序列標(biāo)注模型的選擇。

（1）訓(xùn)練樣本標(biāo)注。用4.2 節(jié)所述的分類方法時，一個待識別的文本單元標(biāo)注一個語義類別；但在基于序列標(biāo)注方法中，標(biāo)注方式和粒度與之不同。例如，在識別句子語義類型時以詞匯或單字為標(biāo)注對象。標(biāo)簽常采用BIO-X 的方式構(gòu)成，B 代表詞匯開頭，I 代表詞匯的中間部分，O 代表特定詞匯之外的其余部分，X 代表語義類別，如希望從下列文本標(biāo)出方法類詞匯，“樸素貝葉斯實現(xiàn)了文本分類。”的標(biāo)注結(jié)果是“B-methodI-methodI-methodI-methodI-methodOOOOOOOO”。 對 于正文等較長的文本通常采用句子、段落為一個標(biāo)注對象[33]，而像標(biāo)題這樣的短文本，則是以詞匯或單字（對應(yīng)英文文獻(xiàn)為token 或單個字符） 為標(biāo)注單元。

（2）文本嵌入。即將文本表示為一組向量或者一組特征序列。序列標(biāo)注模型不能直接處理文本信息，必須將文本轉(zhuǎn)化為數(shù)學(xué)表示，該過程類似于分類方法中的分類特征選擇，對模型最終的識別效果影響很大。文本嵌入方式主要有兩種，一種是使用如表1 所示的詞匯、分布及統(tǒng)計特征，將它們用數(shù)字編碼后形成one-hot 向量；另一種是利用訓(xùn)練好的語言模型將文本序列表示成融合上下文信息的分布式向量。傳統(tǒng)的標(biāo)注模型如條件隨機場（CRF）一般使用文本外部特征構(gòu)成的one-hot 向量[36,58]，深度學(xué)習(xí)標(biāo)注模型最常使用預(yù)訓(xùn)練語言模型生成分布式向量。研究中也會將兩種嵌入方式組合使用，如在字符分布式表示后拼接基于外部特征生成的one-hot向量[68]。還有的做法是用不同粒度的文本表示向量進(jìn)行堆疊，如字符級與token 級的向量表示拼接[62]。這些方式增加了模型的輸入特征。

（3）序列標(biāo)注模型訓(xùn)練。早期，CRF 是使用最多且性能最優(yōu)的序列標(biāo)注模型[31,58]。CRF 綜合全局信息選擇最優(yōu)序列，能夠解決標(biāo)簽偏置問題，具有較強的序列預(yù)測能力。目前，更多地采用一個端到端的編碼-解碼框架。該框架包括三個部分：輸入的文本嵌入、上下文編碼器和標(biāo)簽解碼器。上下文編碼器主要是利用一些神經(jīng)網(wǎng)絡(luò)模型，從文本嵌入中提取用于序列預(yù)測的深層特征。其中常用的神經(jīng)網(wǎng)絡(luò) 模型包 括 BiLSTM[70]、CNN[68]、GRU[38]、 LSTM[40]、Transformer[46]等，有的研究還會加入注意力機制[48]強調(diào)重要信息。標(biāo)簽解碼器是框架的最后階段，用來將編碼器提取出的信息解碼成語義標(biāo)簽的概率，從而得到最終的序列預(yù)測結(jié)果。常用的標(biāo)簽解碼器有線性層、CRF、RNN（recurrent neural network）等。

5 識別效果的評測

評測是實驗研究的重要方面，一般分為直接評測和間接評測。直接評測是將自動識別結(jié)果與標(biāo)準(zhǔn)結(jié)果比較，用準(zhǔn)確率、召回率等指標(biāo)來度量；間接評測是將識別結(jié)果應(yīng)用于某個下游任務(wù)，通過評價任務(wù)的效果來間接度量識別效果。直接評測依賴于一定規(guī)模的標(biāo)準(zhǔn)數(shù)據(jù)集，然而現(xiàn)實中這種數(shù)據(jù)集極難獲取，構(gòu)建的成本很高。間接評測方式對標(biāo)準(zhǔn)數(shù)據(jù)集的依賴性較弱，但需要對下游任務(wù)進(jìn)行可靠性評價，且需要很好地控制評價影響因素，以便證明任務(wù)效果的提升源自識別效果。

5.1 直接評測

直接評測所需的標(biāo)準(zhǔn)數(shù)據(jù)集多數(shù)是研究者自建的標(biāo)注數(shù)據(jù)集，現(xiàn)有的公開標(biāo)注數(shù)據(jù)集數(shù)量和規(guī)模都相當(dāng)有限，總結(jié)如表2 所示。

表2 公開的標(biāo)注數(shù)據(jù)集

直接評價經(jīng)常采用與分類評測類似的做法，將預(yù)測值與真實值比較產(chǎn)生如表3 所示的四種狀態(tài)，即真陽性（true positive，TP）、假陽性（false positive，F(xiàn)P）、真陰性 （true negative，TN）、假陰性（false negative，F(xiàn)N），計算準(zhǔn)確率、召回率、F值、正確率。其中準(zhǔn)確率TP/(TP+FP)和正確率(TP+TN)/(TP+FN+FP+TN)均用于衡量語義識別的準(zhǔn)確性，所不同的是前者基于預(yù)測結(jié)果集，后者基于整個樣本集合，一般來說準(zhǔn)確率更加貼合評測目標(biāo)。召回率TP/(TP+FN)衡量語義識別的全面性。F值是一個兼顧準(zhǔn)確性和全面性的綜合性能考察指標(biāo)，其中F1指標(biāo)即準(zhǔn)確率和召回率的調(diào)和平均數(shù)使用廣泛。由于文獻(xiàn)內(nèi)容語義識別研究通常涉及對多種語義類型的識別，也常用宏平均的方式來評測模型識別的整體性能，即取多類別指標(biāo)的平均值。

表3 混淆矩陣

5.2 間接評測

直接評測所需的標(biāo)注語料有限，人工構(gòu)建成本高，主觀性強，所以部分研究會結(jié)合間接評測。秦成磊等[71]在評測其章節(jié)語義功能識別模型的效果時，假定參考文獻(xiàn)和use、suggest、perform 等體現(xiàn)章節(jié)特色的動詞在Introduction（I）、Method（M）、Result（R）、Discussion（D）章節(jié)中分布不同，而在同類型章節(jié)中相似，通過評測識別為類型si（si為IMRaD 之一）的章節(jié)與實際類型為si的章節(jié)在參考文獻(xiàn)及特征動詞的分布上的相似度來證明語義類型識別模型的效果。這一做法為相關(guān)研究提供了有價值的參考，但不足的是其建立在一個啟發(fā)式的強假設(shè)上，限于某些領(lǐng)域或?qū)懽鞅磉_(dá)形式，如果實際章節(jié)內(nèi)容包含多種語義，模型識別的準(zhǔn)確性將受影響；而且該方法缺少糾錯能力，如果模型給出了錯誤的識別結(jié)果，并不能通過該評測得知哪些結(jié)果是錯的。程齊凱等[72]在評價詞匯的語義類型時，生成研究方法和研究問題兩種類型的詞匯，將其合成標(biāo)題，與具有“基于××方法××問題研究”型的原始標(biāo)題進(jìn)行相似度比較，借鑒了BLEU （the bilingual evaluation understudy）和圖靈測試的思想，若人類評判者覺得標(biāo)題合理或難以判斷生成標(biāo)題和原始標(biāo)題，則說明基于語義功能詞匯識別有效。

6 語義識別的典型應(yīng)用

6.1 面向用戶服務(wù)

從提升用戶服務(wù)質(zhì)量視角看，挖掘科技文獻(xiàn)中的細(xì)粒度語義單元可用于改進(jìn)現(xiàn)有文獻(xiàn)查找、閱讀、分析方式，幫助用戶應(yīng)對快速增加的海量文獻(xiàn)。在文獻(xiàn)查找方面，科技文獻(xiàn)的章節(jié)結(jié)構(gòu)被用于改進(jìn)論文推薦算法和學(xué)術(shù)搜索系統(tǒng)，實現(xiàn)目標(biāo)文獻(xiàn)精準(zhǔn)、快速的定位。傳統(tǒng)論文推薦算法主要參考書目耦合強度，認(rèn)為耦合強度越高的論文之間相似度越大。Habib 等[34]分析引文在文獻(xiàn)邏輯結(jié)構(gòu)中的特點時認(rèn)為作者在標(biāo)引文獻(xiàn)時遵循一套標(biāo)準(zhǔn)，如科技文獻(xiàn)方法和結(jié)果部分引用的文獻(xiàn)與施引文獻(xiàn)更相關(guān)；由此，其將文獻(xiàn)的章節(jié)結(jié)構(gòu)特征融入其中，對不同章節(jié)的引文賦予不同的權(quán)重，以改善傳統(tǒng)文獻(xiàn)耦合強度的計算方式，實現(xiàn)科技文獻(xiàn)的更優(yōu)推薦。在優(yōu)化學(xué)術(shù)搜索系統(tǒng)時，科技文獻(xiàn)的章節(jié)結(jié)構(gòu)可提供更為精確的檢索服務(wù)。如Europe PMC[76]在識別文獻(xiàn)各章節(jié)的基礎(chǔ)上支持用戶選擇檢索范圍，如選擇在方法章節(jié)檢索特定的方法實體，提升文獻(xiàn)查找的精度和效率。de Ribaupierre 等[6]以 SciAnnotDoc 模型細(xì)分文獻(xiàn)內(nèi)容，據(jù)此提供分面檢索點，開展用戶實驗與傳統(tǒng)關(guān)鍵詞檢索比較，通過調(diào)查用戶和分析檢索日志，發(fā)現(xiàn)分面檢索的性能優(yōu)于關(guān)鍵詞檢索，證明細(xì)化文獻(xiàn)內(nèi)容可改進(jìn)學(xué)術(shù)搜索系統(tǒng)。在文獻(xiàn)閱讀方面，從科技文獻(xiàn)中識別細(xì)粒度語義單元有助于策略性閱讀和語義出版等文獻(xiàn)閱讀、出版新形式的落地與發(fā)展，以減輕用戶在海量文獻(xiàn)背景下的閱讀負(fù)擔(dān)。策略性閱讀能根據(jù)用戶的需求去重組和定制文獻(xiàn)內(nèi)容，語義出版則是使用可視化技術(shù)直觀呈現(xiàn)文獻(xiàn)的核心內(nèi)容與邏輯結(jié)構(gòu)[81]，兩者都需要細(xì)粒度的語義內(nèi)容單元作為底層的數(shù)據(jù)支撐。在文獻(xiàn)分析方面，科技文獻(xiàn)內(nèi)容的細(xì)粒度語義挖掘推動以題錄數(shù)據(jù)和引文數(shù)據(jù)為基礎(chǔ)的傳統(tǒng)文獻(xiàn)計量向?qū)嶓w級全文本計量發(fā)展，也促進(jìn)學(xué)術(shù)評價、熱點話題發(fā)現(xiàn)等經(jīng)典計量應(yīng)用領(lǐng)域的全新發(fā)展[82]，為情報分析工作提供了新思路、新方法。

6.2 面向知識體系構(gòu)建

從構(gòu)建知識體系視角看，識別科技文獻(xiàn)中的細(xì)粒度語義單元有利于挖掘文獻(xiàn)深層次、細(xì)粒度的知識單元，如獲取文獻(xiàn)關(guān)鍵詞、主題詞等。方龍等[78]先后將科技文獻(xiàn)的結(jié)構(gòu)功能特征和詞匯功能特征融入關(guān)鍵詞抽取任務(wù)以改善抽取算法的性能，其先將科技文獻(xiàn)劃分成5 個結(jié)構(gòu)功能域，將候選詞在每個結(jié)構(gòu)功能域出現(xiàn)的TF-IDF 值和首次出現(xiàn)位置作為分類特征，使最終的關(guān)鍵詞抽取效果優(yōu)于不區(qū)分結(jié)構(gòu)功能域的基線分類特征，由此驗證了文獻(xiàn)結(jié)構(gòu)功能特征對關(guān)鍵詞自動抽取任務(wù)的重要性。后續(xù)研究還發(fā)現(xiàn)約67.99%的作者關(guān)鍵詞是研究問題詞或研究方法詞，故將詞匯功能信息融入關(guān)鍵詞抽取算法，使關(guān)鍵詞抽取準(zhǔn)確率較基線方法提升24.63%[79]。另外，識別科技文獻(xiàn)中的細(xì)粒度語義單元可直接利用獲取的細(xì)粒度語義單元搭建領(lǐng)域術(shù)語庫、學(xué)術(shù)知識圖譜等展示領(lǐng)域知識體系的基礎(chǔ)知識產(chǎn)品，使領(lǐng)域知識能更好地被上層應(yīng)用所利用。2021 年語義評測大賽發(fā)布的Task 11，從科技文獻(xiàn)中提取研究貢獻(xiàn)句，再從研究貢獻(xiàn)句中提取科學(xué)實體與關(guān)系，建立實體關(guān)系三元組，以此為基礎(chǔ)構(gòu)建全面、開放的學(xué)術(shù)貢獻(xiàn)知識圖譜，用于及時同步各學(xué)科領(lǐng)域的最新研究進(jìn)展[53]。

7 現(xiàn)存問題與研究展望

7.1 現(xiàn)存的主要問題

1）語義類型標(biāo)準(zhǔn)不一

主要體現(xiàn)在兩個方面。其一，對文獻(xiàn)結(jié)構(gòu)按照不同角度建模，造成語義類型劃分依據(jù)不統(tǒng)一。目前提出的語義標(biāo)注模型為文獻(xiàn)內(nèi)容語義識別提供了一定的理論基礎(chǔ)，但它們有的依據(jù)論斷結(jié)構(gòu)，有的建立研究過程本體，這導(dǎo)致劃分的語義類型存在交叉、重疊和沖突。其二，不同研究者對語義類型存在不同的理解，造成其名稱、范圍、特征的不統(tǒng)一。無法準(zhǔn)確描述語義類型的所指，會影響識別方法對特征信息的利用，限制方法的通用性?？茖W(xué)研究是一項復(fù)雜的工作，文獻(xiàn)作為科學(xué)研究的描述與論證，勢必會包含多種語義類型的內(nèi)容單元。相對統(tǒng)一的語義類型標(biāo)準(zhǔn)是實現(xiàn)科技文獻(xiàn)內(nèi)容語義自動識別的基礎(chǔ)。

2）優(yōu)質(zhì)數(shù)據(jù)集欠缺

雖然微軟學(xué)術(shù)圖譜、AMiner 等為廣大學(xué)者開放了億級的文獻(xiàn)數(shù)據(jù)，但文獻(xiàn)挖掘研究仍面臨著開放數(shù)據(jù)規(guī)范性差、領(lǐng)域分布不均衡、全文數(shù)據(jù)不足、標(biāo)注數(shù)據(jù)短缺等問題。例如，AMiner 提供的文獻(xiàn)數(shù)據(jù)沒有標(biāo)識文獻(xiàn)的所屬領(lǐng)域。大多數(shù)公開的文獻(xiàn)數(shù)據(jù)集都只有文獻(xiàn)標(biāo)題、摘要、關(guān)鍵詞等題錄數(shù)據(jù)，全文數(shù)據(jù)資源有限，難以進(jìn)行全文范圍的語義識別研究。無論是對識別方法的開發(fā)還是評測，現(xiàn)實可用的標(biāo)注語料集以計算機和生物醫(yī)學(xué)文獻(xiàn)為主，數(shù)量和規(guī)模都不能滿足研究需要?？萍嘉墨I(xiàn)內(nèi)容語義識別的標(biāo)注任務(wù)并不容易，其涉及對領(lǐng)域文獻(xiàn)內(nèi)容的理解，不同標(biāo)注者的知識背景和對學(xué)術(shù)文獻(xiàn)的理解水平的差異會造成人工標(biāo)注的不一致，因此標(biāo)注成本高，缺少標(biāo)注標(biāo)準(zhǔn)，標(biāo)注結(jié)果難以進(jìn)行權(quán)威性驗證，這導(dǎo)致公開標(biāo)注集很少。此外，已有研究中使用的標(biāo)注數(shù)據(jù)也沒有得到很好地融合和積累，無法在其他相關(guān)研究中進(jìn)行利用、比較和檢驗。標(biāo)注數(shù)據(jù)集的短缺對科技文獻(xiàn)內(nèi)容語義識別研究的進(jìn)一步發(fā)展造成了極大的困擾。

3）研究關(guān)注點不平衡

為此，國際社會應(yīng)當(dāng)在網(wǎng)絡(luò)反恐的國際立法上加強溝通和交流，積極推動聯(lián)合國層面出臺網(wǎng)絡(luò)反恐國際合作的決議或宣言，為其他組織和區(qū)域性網(wǎng)絡(luò)反恐合作提供指導(dǎo)。區(qū)域性組織的國家之間因為地緣、利益等相近因素，可以最大限度的在反恐問題上達(dá)成共識，也可以考慮先行在其框架內(nèi)建立網(wǎng)絡(luò)反恐合作的法律機制。如，可以將上合組織網(wǎng)絡(luò)反恐合作演習(xí)的實踐以法律形式固定下來，形成成員國之間開展網(wǎng)絡(luò)反恐合作的固有機制，切實增強網(wǎng)絡(luò)反恐合作的實效。

目前關(guān)于研究方法、研究問題的識別較多，對其他語義類型涉及較少。近幾年，隨著科學(xué)評價倡導(dǎo)新的思維和方式，利用文獻(xiàn)中蘊含的創(chuàng)新點、貢獻(xiàn)、局限等語義類型的信息有廣泛的應(yīng)用空間，可用于領(lǐng)域進(jìn)展分析、學(xué)術(shù)成果評價或人才評價等，但目前這類語義識別的研究工作還不是太多。另外，目前的研究主要使用文獻(xiàn)標(biāo)題、摘要這類短文本對象，包含的語義信息和干擾信息不多，其識別難度相對較小；章節(jié)或全文中蘊含著更全面豐富的語義信息，同時也夾雜大量無關(guān)內(nèi)容，識別難度較高，需要更多研究關(guān)注。

4）識別方法存在局限

由于公開標(biāo)注數(shù)據(jù)集短缺，自建數(shù)據(jù)集數(shù)據(jù)規(guī)模有限，且數(shù)據(jù)標(biāo)注結(jié)果缺少公認(rèn)，現(xiàn)有的語義識別方法缺乏普適性驗證。此外，作為當(dāng)前主流的方法，深度學(xué)習(xí)方法對數(shù)據(jù)、設(shè)備、時間的要求高，使用場合受限。目前的識別方法在性能、適用性等方面還遠(yuǎn)不能滿足大規(guī)模現(xiàn)實應(yīng)用的需要。

7.2 研究展望

1）探索科技文獻(xiàn)內(nèi)容特征

科技文獻(xiàn)內(nèi)容的特征對其語義的自動識別至關(guān)重要?；诙说蕉松窠?jīng)網(wǎng)絡(luò)模型的語義識別將自動挖掘的特征信息掩蓋于“黑盒”之中，無法將這些特征信息推廣到其他語義類型的識別。早期研究者探索了科技文獻(xiàn)的引文分布特征[25-27]、參考文獻(xiàn)分布特征[28]、圖表分布特征等，這些特征被用于語義識別模型的改進(jìn)[49]和評價[71]，促進(jìn)了語義識別研究的發(fā)展。未來研究應(yīng)該著眼于挖掘更多的文本內(nèi)容特征，歸納適于不同粒度和語義類型的文本特征，為語義識別方法提供可靠的理論支撐。此外，語義類型間的關(guān)系也非常值得關(guān)注，其包括不同粒度的對象間的關(guān)系，例如，研究方法章節(jié)包含較多方法實體，在引言和總結(jié)部分可以找到描述研究貢獻(xiàn)的句子等，以及同一粒度的對象間不同語義間的關(guān)系，如引言、方法、結(jié)果、討論章節(jié)的組織順序等。厘清這些關(guān)系，并將其運用于語義識別方法的開發(fā)中，會極大促進(jìn)科技文獻(xiàn)內(nèi)容語義組織及知識利用。

2）解決數(shù)據(jù)資源短缺問題

優(yōu)質(zhì)數(shù)據(jù)資源和標(biāo)注數(shù)據(jù)的短缺已經(jīng)嚴(yán)重制約了語義識別研究的發(fā)展。未來研究可從“開源”和“節(jié)流”兩個方向解決數(shù)據(jù)資源短缺的問題。在“開源”上，一方面，充分利用現(xiàn)有開放數(shù)據(jù)集，加強數(shù)據(jù)清洗相關(guān)研究工作，如PDF 文本解析、文獻(xiàn)所屬領(lǐng)域識別等，將規(guī)范性差的數(shù)據(jù)資源轉(zhuǎn)化為研究可用的優(yōu)質(zhì)資源；另一方面，眾包式、規(guī)范化開發(fā)大規(guī)模標(biāo)注語料數(shù)據(jù)集，參考TREC（Text Retrieval Conference）[83]、ImageNet[84]中評測數(shù)據(jù)的構(gòu)建，制定標(biāo)注規(guī)范，充分融合現(xiàn)有標(biāo)注集合，形成領(lǐng)域語料或領(lǐng)域詞典，減少后續(xù)重復(fù)投入標(biāo)注人力。大規(guī)模的標(biāo)注語料可以極大地推動語義識別方法的發(fā)展，領(lǐng)域詞典的積累也能為知識增強型的方法提供支撐，它們方便研究者訓(xùn)練模型或檢驗所提方法的先進(jìn)性。在“節(jié)流”上，未來研究應(yīng)該著力研制對數(shù)據(jù)資源包容度更大的語義識別方法，降低對大規(guī)模優(yōu)質(zhì)數(shù)據(jù)的依賴性。這個方面可借鑒關(guān)鍵詞提取、命名實體識別任務(wù)中提出的弱監(jiān)督算法，如增量迭代、主動學(xué)習(xí)、遷移學(xué)習(xí)、自訓(xùn)練等。同時，未來研究還需要增強語義識別方法的健壯性，提高識別方法在不規(guī)范數(shù)據(jù)集中的適用性。

3）增強語義識別的應(yīng)用價值

科技文獻(xiàn)內(nèi)容語義識別在提升知識查找與利用服務(wù)，以及創(chuàng)新學(xué)術(shù)評價等方面具有極大的應(yīng)用價值。未來，語義識別研究應(yīng)該與實際應(yīng)用緊密聯(lián)系，一方面加強對細(xì)粒度語義單元應(yīng)用價值的探索，充分利用識別出的語義單元改進(jìn)現(xiàn)有學(xué)術(shù)檢索、推薦等服務(wù)的精準(zhǔn)性；另一方面要利用科技文獻(xiàn)的細(xì)粒度語義單元在舊問題中開拓新方向，如基于細(xì)粒度語義單元開展科學(xué)情報分析[11]、學(xué)術(shù)評價等工作。

4）擴(kuò)展語義識別的思路

目前，深度學(xué)習(xí)方法是語義識別的主流方法。其信息提取能力強，模板化程度高，使研究者習(xí)慣于直接套用常見的深度學(xué)習(xí)框架設(shè)計語義識別方法，缺乏對使用特征及模型框架的深入思考，限制了語義識別方法的發(fā)展。未來研究需要擴(kuò)展語義識別思路，例如，借助已有知識詞典和標(biāo)注集研制知識增強型的識別模型，或借助頁面布局、圖表等文本之外的特征研制多模態(tài)的識別模型。當(dāng)然，利用深度神經(jīng)網(wǎng)絡(luò)模型需要解決外部特征向量與內(nèi)容特征向量維度差異大所導(dǎo)致的特征融入問題[39]。