注入圖情領(lǐng)域知識(shí)的命名實(shí)體識(shí)別模型*

王 娟，王志紅，曹樹(shù)金

0 引言

人工智能正逐漸走向數(shù)據(jù)和知識(shí)雙驅(qū)動(dòng)的認(rèn)知智能[1]。命名實(shí)體作為基本信息元素，是正確理解文本的基礎(chǔ)，也是實(shí)現(xiàn)認(rèn)知智能的知識(shí)引擎[2]。此外，隨著通用領(lǐng)域和特定領(lǐng)域網(wǎng)絡(luò)信息資源的豐富，從海量、非結(jié)構(gòu)化的文本中識(shí)別出相應(yīng)的命名實(shí)體，對(duì)網(wǎng)絡(luò)信息資源的序化和有效利用具有重要價(jià)值。相比于通用命名實(shí)體，領(lǐng)域命名實(shí)體的數(shù)據(jù)來(lái)源更偏向于垂直領(lǐng)域，語(yǔ)料的構(gòu)建也更加嚴(yán)密，這為實(shí)體識(shí)別帶來(lái)兩個(gè)挑戰(zhàn)。首先，領(lǐng)域命名實(shí)體的名稱、指代內(nèi)容及對(duì)應(yīng)的類別等會(huì)隨著技術(shù)的快速更新而不斷變化，很難快速有效地根據(jù)特定領(lǐng)域或任務(wù)場(chǎng)景設(shè)計(jì)相應(yīng)特征；其次，面向垂直領(lǐng)域的實(shí)體識(shí)別需要具有一定領(lǐng)域知識(shí)的人員進(jìn)行語(yǔ)料標(biāo)注，增加了語(yǔ)料構(gòu)建的難度和成本。圖情領(lǐng)域具有高度跨學(xué)科性[3]，面向圖情領(lǐng)域的實(shí)體識(shí)別具有較好的代表性以及較大的難度。因此，為滿足在領(lǐng)域數(shù)據(jù)量小、人工標(biāo)注成本高的情況下提升實(shí)體識(shí)別效果的要求，本文提出基于ERNIE(Enhanced Representation through Knowledge Integration，知識(shí)增強(qiáng)的語(yǔ)義表示)[4]的LISERNIE模型，以及面向命名實(shí)體識(shí)別的LISERNIE+BiGRU(Bi-directional Gated Recurrent Unit，雙向門(mén)控循環(huán)單元)+CRF(Conditional Random Fields，條件隨機(jī)場(chǎng))模型。提出的LISERNIE 模型通過(guò)在ERNIE預(yù)訓(xùn)練階段注入圖情領(lǐng)域知識(shí)，增強(qiáng)模型對(duì)領(lǐng)域文本的語(yǔ)義理解能力，從而解決通用預(yù)訓(xùn)練模型因缺乏下游特定領(lǐng)域知識(shí)而效果不佳的問(wèn)題[5]。在命名實(shí)體識(shí)別和開(kāi)放域關(guān)系抽取對(duì)比實(shí)驗(yàn)中，本文提出的LISERNIE+BiGRU+CRF模型的實(shí)驗(yàn)性能均優(yōu)于對(duì)比模型，驗(yàn)證了該模型的有效性和可行性，也為下游任務(wù)如知識(shí)圖譜構(gòu)建、語(yǔ)義檢索、問(wèn)答系統(tǒng)等提供可借鑒的思路。

1 相關(guān)研究

不同研究對(duì)實(shí)體的定義不同，主要體現(xiàn)在實(shí)體類型的粒度上，如醫(yī)療領(lǐng)域?qū)膊?、藥品、治療方法等的識(shí)別[6-7]，軍事領(lǐng)域?qū)娐氒娿?、軍事裝備、軍用物資等的識(shí)別[8-9]。在圖情領(lǐng)域，現(xiàn)有研究[10-13]主要針對(duì)可公開(kāi)獲取的文摘或論文全文數(shù)據(jù)集上的情報(bào)分析方法和情報(bào)學(xué)研究方法等單一類別實(shí)體的識(shí)別；也有文獻(xiàn)[14-15]面向中文古籍構(gòu)建歷史事件實(shí)體的識(shí)別任務(wù)。實(shí)際上，圖情領(lǐng)域?qū)嶓w復(fù)雜多樣，圖書(shū)館、情報(bào)機(jī)構(gòu)配置或使用的設(shè)備、不同角色的人才組成、各種會(huì)議等都是很有價(jià)值的實(shí)體類別。因此，根據(jù)圖情領(lǐng)域的特點(diǎn)，合理劃分命名實(shí)體的類別，并基于開(kāi)源數(shù)據(jù)構(gòu)建標(biāo)注語(yǔ)料，是實(shí)現(xiàn)圖情領(lǐng)域命名實(shí)體識(shí)別的關(guān)鍵步驟，也為進(jìn)一步構(gòu)建知識(shí)圖譜等提供數(shù)據(jù)支撐。

由于中文命名實(shí)體結(jié)構(gòu)復(fù)雜、形式多樣，有效的實(shí)體識(shí)別方法仍然非常重要且具有挑戰(zhàn)性。隨著深度學(xué)習(xí)的興起，無(wú)需復(fù)雜特征工程的深度學(xué)習(xí)方法成為命名實(shí)體識(shí)別研究的主流。Huang等[16]提出將人工設(shè)計(jì)的拼寫(xiě)特征和BiLSTM(Bidirectional Long Short-Term Memory，雙向長(zhǎng)短期記憶網(wǎng)絡(luò))與CRF 融合起來(lái)進(jìn)行實(shí)體識(shí)別；李麗雙等[17]利用CNN(Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò))訓(xùn)練得到字符級(jí)向量，并輸入到BiLSTM+CRF 模型中進(jìn)行生物醫(yī)學(xué)命名實(shí)體識(shí)別；楊培等[18]結(jié)合注意力機(jī)制、BiLSTM 和CRF 來(lái)識(shí)別化學(xué)藥物命名實(shí)體。然而，這些方法主要采用傳統(tǒng)的Word2Vec[19-20]靜態(tài)詞向量來(lái)表示模型，對(duì)不同語(yǔ)境的適應(yīng)能力較差。2018 年Google 推出BERT 模型(Bidirectional Encoder Representations from Transformer，基于Transformer的雙向編碼器表示)，隨后出現(xiàn)越來(lái)越多的動(dòng)態(tài)預(yù)訓(xùn)練語(yǔ)言模型(Pretrained Language Models，PLM)，并逐漸得到廣泛應(yīng)用。這種動(dòng)態(tài)PLM利用大規(guī)模無(wú)標(biāo)注的文本語(yǔ)料進(jìn)行預(yù)訓(xùn)練以獲得通用特征表示，再通過(guò)微調(diào)將學(xué)習(xí)到的語(yǔ)義關(guān)系傳遞到下游任務(wù)中。但由于學(xué)習(xí)到的通用特征表示太泛化，導(dǎo)致模型往往在垂直領(lǐng)域表現(xiàn)不佳，尤其當(dāng)訓(xùn)練的源任務(wù)領(lǐng)域文本和目標(biāo)任務(wù)領(lǐng)域文本所對(duì)應(yīng)的領(lǐng)域不同時(shí)，模型效果下降非常明顯[21]。為增強(qiáng)PLM在垂直領(lǐng)域的應(yīng)用效果，研究人員開(kāi)始對(duì)如何使用領(lǐng)域知識(shí)來(lái)增強(qiáng)PLM進(jìn)行探索[22-25]。結(jié)果表明，這種在預(yù)訓(xùn)練階段注入知識(shí)來(lái)提升PLM性能的方法具有有效性。

目前圖情領(lǐng)域語(yǔ)料還十分稀少，因此如何為PLM注入領(lǐng)域知識(shí)，增強(qiáng)模型在垂直領(lǐng)域的應(yīng)用效果是本文的研究重點(diǎn)。本文將根據(jù)圖情領(lǐng)域特征，對(duì)其實(shí)體分類、識(shí)別和應(yīng)用展開(kāi)一些基礎(chǔ)性研究，旨在通過(guò)同時(shí)利用知識(shí)、數(shù)據(jù)、算法和算力4個(gè)要素來(lái)構(gòu)造更強(qiáng)大的人工智能[26]。

2 圖情領(lǐng)域?qū)嶓w分類

不同領(lǐng)域文本具有不同的文本特征。為比較圖情領(lǐng)域文本和其他領(lǐng)域文本的差異性，本文選取3個(gè)特定領(lǐng)域語(yǔ)料庫(kù)，分別是醫(yī)療、司法和金融領(lǐng)域的預(yù)訓(xùn)練數(shù)據(jù)集，如表1所示。圖情領(lǐng)域數(shù)據(jù)集是通過(guò)自主采集圖情領(lǐng)域相關(guān)的百科、新聞網(wǎng)、高校網(wǎng)、協(xié)會(huì)網(wǎng)以及博客整理得到的，其他3個(gè)領(lǐng)域的數(shù)據(jù)集均為網(wǎng)上公開(kāi)的實(shí)體識(shí)別數(shù)據(jù)集。

表1 4個(gè)特定領(lǐng)域文本數(shù)據(jù)集說(shuō)明

本文對(duì)這4個(gè)領(lǐng)域做了詞匯重疊度分析[21]：隨機(jī)抽取4個(gè)領(lǐng)域各1，000條數(shù)據(jù)，使用Python的jieba庫(kù)對(duì)數(shù)據(jù)進(jìn)行分詞處理，并過(guò)濾掉停用詞，對(duì)各領(lǐng)域剩下的詞統(tǒng)計(jì)前500個(gè)高頻詞，然后進(jìn)行重合比對(duì)分析。從圖1可看出，圖情領(lǐng)域文本和其他3個(gè)領(lǐng)域的文本重合度不高，與醫(yī)療文本的領(lǐng)域相似度最低，只有0.033，與金融領(lǐng)域相似度稍高，達(dá)到0.26，這主要是因?yàn)閳D情和金融領(lǐng)域文本中都有一些比較通用的詞匯，如“公司”“傳統(tǒng)”“共同”“保障”。不同領(lǐng)域詞分布的不同會(huì)導(dǎo)致語(yǔ)言模型在相應(yīng)領(lǐng)域語(yǔ)料中獲取到的語(yǔ)言表征不同，因此，針對(duì)不同領(lǐng)域特點(diǎn)需要設(shè)計(jì)不同的命名實(shí)體分類和識(shí)別方法。

圖1 不同領(lǐng)域間的詞匯重疊度

領(lǐng)域命名實(shí)體的分類一般是利用標(biāo)注數(shù)據(jù)集中實(shí)體內(nèi)部的結(jié)構(gòu)特征[27]或者知識(shí)庫(kù)定義來(lái)描述類別[28-29]。對(duì)第一種方法，有學(xué)者[30]認(rèn)為實(shí)體的類別往往會(huì)以短詞的方式直接出現(xiàn)在實(shí)體的末尾，但本文通過(guò)統(tǒng)計(jì)清華大學(xué)推出的通用知識(shí)圖譜XLORE[31]中出現(xiàn)的圖情領(lǐng)域相關(guān)實(shí)體，發(fā)現(xiàn)這種依靠實(shí)體結(jié)構(gòu)特征來(lái)獲取實(shí)體類別的方法并不可行。如表2所示，在1，602個(gè)實(shí)體中，只有17.8%的實(shí)體內(nèi)部包含類別指示詞。據(jù)此，本文采用第二種方法，即基于知識(shí)圖譜定義的類別描述方法。具體而言，利用XLORE中高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)來(lái)擴(kuò)展圖情領(lǐng)域的命名實(shí)體類別。通過(guò)解析XLORE發(fā)現(xiàn)，其層級(jí)結(jié)構(gòu)關(guān)系中主要包含實(shí)體和類目?jī)深惞?jié)點(diǎn)，以及類目之間的上下位關(guān)系subclass-of 和實(shí)體、類目之間的從屬關(guān)系instance-of。由于一個(gè)節(jié)點(diǎn)可以包含多個(gè)上位節(jié)點(diǎn)和下位節(jié)點(diǎn)，使得這個(gè)類別層級(jí)結(jié)構(gòu)不是嚴(yán)格意義的樹(shù)形結(jié)構(gòu)。為了把XLORE中圖情領(lǐng)域相關(guān)的實(shí)體節(jié)點(diǎn)及其對(duì)應(yīng)的類目節(jié)點(diǎn)一一聯(lián)系起來(lái)，本文借鑒廣度優(yōu)先遍歷算法(Breadth First Search，BFS)的思想，指定類目節(jié)點(diǎn)“圖書(shū)資訊科學(xué)”作為類別路徑[32]的起始位置，并標(biāo)記為已訪問(wèn)；然后從該節(jié)點(diǎn)出發(fā)，沿著subclass-of和instance-of 這兩類關(guān)系，訪問(wèn)下位節(jié)點(diǎn)c1，c2，……和實(shí)體節(jié)點(diǎn)e1，e2，……，并均標(biāo)記為已訪問(wèn)；再按c1，c2，……的次序，訪問(wèn)這些類目節(jié)點(diǎn)的所有未被訪問(wèn)的下位節(jié)點(diǎn)和實(shí)例節(jié)點(diǎn)；如此循環(huán)，直到所有與(其他)節(jié)點(diǎn)有路徑相通的節(jié)點(diǎn)均被訪問(wèn)為止。至此，一個(gè)沒(méi)有多余路徑和回路的類別層級(jí)結(jié)構(gòu)形成。該層級(jí)結(jié)構(gòu)共10層，包含75 個(gè)類目節(jié)點(diǎn)和1，584 個(gè)實(shí)體節(jié)點(diǎn)，部分示例見(jiàn)圖2[1]。

圖2 類別路徑示例（部分）

表2 樣本數(shù)據(jù)中類別指示詞的統(tǒng)計(jì)結(jié)果

在類別路徑構(gòu)建過(guò)程中，筆者發(fā)現(xiàn)部分實(shí)體和其上位詞的語(yǔ)義關(guān)系較弱。比如，實(shí)體“圖書(shū)館員”“儲(chǔ)存裝置”“博物館資訊交換聯(lián)盟”的上位詞是“圖書(shū)資訊科學(xué)”，“國(guó)際博物館日”的上位詞是“博物館學(xué)”，這些實(shí)體和其上位詞之間都沒(méi)有遵從嚴(yán)格的上下位語(yǔ)義關(guān)系，無(wú)法從中獲得實(shí)體所屬類別的有效信息。為了彌補(bǔ)在構(gòu)建嚴(yán)格意義的類別層級(jí)結(jié)構(gòu)時(shí)可能誤刪掉的與實(shí)體節(jié)點(diǎn)更相關(guān)的類目節(jié)點(diǎn)，對(duì)類別路徑上的1，584個(gè)實(shí)體找出其在XLORE中所有的直接上位詞，共計(jì)3，005個(gè)。部分實(shí)體及其所有直接上位詞如表3所示。分析表3發(fā)現(xiàn)，相對(duì)于類目“圖書(shū)資訊科學(xué)”和“博物館學(xué)”，類目“職業(yè)”與實(shí)體“圖書(shū)館員”、類目“國(guó)際紀(jì)念活動(dòng)”與實(shí)體“國(guó)際博物館日”更具有語(yǔ)義相關(guān)性。這樣，通過(guò)對(duì)3，005個(gè)類目進(jìn)行人工修改無(wú)效類目、合并相似類目，最終形成9大類圖情領(lǐng)域命名實(shí)體，分別是：人(Person，Per)、組織(Organization，Org)、圖書(shū)館(Library，Lib)、技術(shù)(Technology，Tec)、設(shè)備(Device，Dev)、文檔(Document，Doc)、職位(Job)、事件(Event，Eve)以及地點(diǎn)(Location，Loc)。這些實(shí)體類別在本文LISNER數(shù)據(jù)集的標(biāo)注如圖3所示。

圖3 圖情領(lǐng)域命名實(shí)體類別示例

表3 實(shí)體節(jié)點(diǎn)及其直接上位詞(部分)

3 基于LISERNIE的命名實(shí)體識(shí)別模型

動(dòng)態(tài)PLM一般被劃分為兩階段：第一階段的預(yù)訓(xùn)練過(guò)程主要包含遮蔽語(yǔ)言建模(Masked Language Modeling，MLM)和下一句預(yù)測(cè)(Next Sentence Prediction，NSP)兩個(gè)基本任務(wù)；第二階段使用微調(diào)處理下游任務(wù)。ERNIE預(yù)訓(xùn)練的語(yǔ)料集主要來(lái)自中文百科類網(wǎng)站，這種基于通用語(yǔ)料上的預(yù)訓(xùn)練并不能很好地適配特定領(lǐng)域的NLP任務(wù)。為此，本文提出基于LISERNIE的命名實(shí)體識(shí)別模型，通過(guò)在ERNIE預(yù)訓(xùn)練階段注入圖情領(lǐng)域知識(shí)，來(lái)提升ERNIE對(duì)圖情領(lǐng)域文本的語(yǔ)義理解能力。

3.1 LISERNIE預(yù)訓(xùn)練模型

總結(jié)已有模型在知識(shí)注入時(shí)所用策略，發(fā)現(xiàn)大部分模型或多或少修改了傳統(tǒng)PLM 的結(jié)構(gòu)。例如，K-BERT[22]在BERT 嵌入層增加可視層；ERNIE-THU[26]使用K-Encoder 模塊將字嵌入和來(lái)自知識(shí)圖譜的實(shí)體嵌入進(jìn)行融合。與上述模型不同，本文提出的LISERNIE模型不需要改變ERNIE原有結(jié)構(gòu)，僅在預(yù)訓(xùn)練和微調(diào)之間引入一個(gè)中間階段，以便使用領(lǐng)域知識(shí)對(duì)ERNIE進(jìn)行繼續(xù)預(yù)訓(xùn)練。如圖4所示，PLM“預(yù)訓(xùn)練+微調(diào)”兩階段被調(diào)整為“基于通用語(yǔ)料的預(yù)訓(xùn)練+基于圖情領(lǐng)域知識(shí)的預(yù)訓(xùn)練+在命名實(shí)體識(shí)別任務(wù)上的微調(diào)”三階段。第一階段使用大量無(wú)標(biāo)注的通用文本語(yǔ)料進(jìn)行預(yù)訓(xùn)練，訓(xùn)練任務(wù)為MLM和NSP。第二階段直接加載第一階段預(yù)訓(xùn)練好的模型，基于圖情領(lǐng)域知識(shí)進(jìn)行無(wú)監(jiān)督訓(xùn)練，訓(xùn)練任務(wù)仍為MLM和NSP。第三階段利用自建的小規(guī)模標(biāo)注領(lǐng)域文本集，針對(duì)命名實(shí)體識(shí)別任務(wù)進(jìn)行微調(diào)。兩階段流程被調(diào)整為三階段流程，需要消耗一定的預(yù)訓(xùn)練資源，但獲得的知識(shí)是全局性的[33]，能讓預(yù)訓(xùn)練模型更好地應(yīng)用于語(yǔ)義理解任務(wù)。

圖4 基于LISERNIE的命名實(shí)體識(shí)別模型

預(yù)訓(xùn)練模型主要從非結(jié)構(gòu)化的文本信息中獲取知識(shí)，然而目前主流的知識(shí)注入方法是將知識(shí)圖譜信息注入PLM中。相對(duì)于非結(jié)構(gòu)化的文本信息，形如三元組或有向圖的知識(shí)圖譜所蘊(yùn)含的是結(jié)構(gòu)化的信息，需要對(duì)其進(jìn)行轉(zhuǎn)換以融入預(yù)訓(xùn)練模型中。如果無(wú)法進(jìn)行良好的融合，所融入的知識(shí)圖譜信息不僅不會(huì)提升性能，反而會(huì)降低預(yù)訓(xùn)練模型的效果?；诖?，本文選擇從CNKI下載圖情相關(guān)的期刊論文作為第二階段使用的圖情領(lǐng)域知識(shí)來(lái)源。學(xué)術(shù)期刊是科學(xué)知識(shí)的主要載體之一，蘊(yùn)含著大量專業(yè)知識(shí)且比較新穎，將特定領(lǐng)域文獻(xiàn)作為語(yǔ)料引入到預(yù)訓(xùn)練過(guò)程中也是最近的一個(gè)研究方向。SCIBERT的預(yù)訓(xùn)練語(yǔ)料來(lái)自Semantic Scholar上的110萬(wàn)篇文章[34]，BioBERT則在PubMed摘要和PubMed Central全文文章上進(jìn)行預(yù)訓(xùn)練[5]。因此，本文使用易獲取的圖情相關(guān)文獻(xiàn)來(lái)進(jìn)行后續(xù)預(yù)訓(xùn)練。首先，在CNKI中檢索2007-2021年與“圖書(shū)情報(bào)”主題相關(guān)的中文期刊論文，并對(duì)結(jié)果中含有“HTML閱讀”的7，329篇論文的文本內(nèi)容進(jìn)行采集。然后，將作者、摘要、關(guān)鍵詞、參考文獻(xiàn)等信息剔除，只保留題名和全文文本內(nèi)容?？紤]到訓(xùn)練代價(jià)大，本文僅隨機(jī)選取1，000篇進(jìn)行分句處理，共切分出114，513個(gè)句子組成二次預(yù)訓(xùn)練的數(shù)據(jù)集。由于注入的是與ERNIE訓(xùn)練數(shù)據(jù)形式相同的同構(gòu)知識(shí)，不需要考慮外部知識(shí)與原有的非結(jié)構(gòu)化文本信息融合的問(wèn)題，使用起來(lái)比較便捷。

3.2 面向命名實(shí)體識(shí)別任務(wù)的三層模型

本文將實(shí)體識(shí)別作為一個(gè)序列標(biāo)注任務(wù)，模型輸入字序列X={x1，x2…xn}，其中n代表句子中包含的字?jǐn)?shù)，xn表示第n個(gè)字，輸出為對(duì)應(yīng)的實(shí)體標(biāo)簽序列Y={y1，y2…yn}。整個(gè)命名實(shí)體識(shí)別模型由輸入表示層、上下文編碼層和輸出解碼層3 個(gè)模塊組成。字序列的輸入向量如圖5 所示，由字嵌入、句嵌入和位置嵌入3部分求和而成。

圖5 模型輸入示例

將相加后得到的嵌入表示E={e1，e2…en}輸入到LISERNIE層。LISERNIE層中最重要的結(jié)構(gòu)單元就是Transformer(Trm)編碼器。通過(guò)Trm編碼器計(jì)算得到的字的表征，既蘊(yùn)含字本身的含義，也蘊(yùn)含該字與其他字的關(guān)系，更具全局表達(dá)能力。為了進(jìn)一步提取文本的語(yǔ)義特征，可以在LISERNIE 層后接入RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò))或者LSTM(Long Short-Term Memory，長(zhǎng)短期記憶網(wǎng)絡(luò))、GRU(Gated Recurrent Unit，門(mén)控循環(huán)單元)等RNN改進(jìn)模型。與LSTM相比，GRU具有更低的模型復(fù)雜度和更高的訓(xùn)練效率。因此，本文采用由前向和后向GRU組合得到的BiGRU獲取范圍更廣的上下文依賴特征。

對(duì)于序列標(biāo)注問(wèn)題，需要在獲取文本特征后預(yù)測(cè)當(dāng)前輸入序列的標(biāo)簽。雖然BiGRU層也能預(yù)測(cè)當(dāng)前序列的標(biāo)簽，但它只考慮字詞自身特征，忽略了標(biāo)簽之間的約束關(guān)系。因此，本文在BiGRU的輸出后面接入CRF層，以有效約束預(yù)測(cè)標(biāo)簽之間的依賴關(guān)系，對(duì)標(biāo)簽序列進(jìn)行建模，從而獲取全局最優(yōu)序列。

4 實(shí)驗(yàn)和結(jié)果分析

4.1 小規(guī)模標(biāo)注數(shù)據(jù)集

本文標(biāo)注數(shù)據(jù)來(lái)自自建的LISNER數(shù)據(jù)集中的228篇文檔，共7，537個(gè)句子。采用半自動(dòng)化標(biāo)注方法，首先通過(guò)文本標(biāo)注工具BRAT進(jìn)行標(biāo)注。由于本文采用BIO標(biāo)記法，對(duì)于每個(gè)實(shí)體，首個(gè)字標(biāo)記為“B-實(shí)體類別”，中間字或結(jié)尾字標(biāo)記為“I-實(shí)體類別”，其他非實(shí)體標(biāo)記為“O”，所以預(yù)處理標(biāo)注后的數(shù)據(jù)就被分成9 類實(shí)體19 種標(biāo)簽。然后，通過(guò)人工審查并修正標(biāo)注結(jié)果，生成實(shí)驗(yàn)用的小規(guī)模標(biāo)注數(shù)據(jù)集，部分?jǐn)?shù)據(jù)展示見(jiàn)表4。將數(shù)據(jù)集按“6∶2∶2”拆分成訓(xùn)練集、測(cè)試集和驗(yàn)證集，這些實(shí)體在評(píng)測(cè)數(shù)據(jù)上的分布見(jiàn)表5。

表4 圖情領(lǐng)域的小規(guī)模標(biāo)注數(shù)據(jù)集

表5 實(shí)體在評(píng)測(cè)數(shù)據(jù)中的分布

4.2 模型搭建和參數(shù)設(shè)置

實(shí)驗(yàn)采用Tesla V100 的GPU，32GB 的Video Mem，實(shí)驗(yàn)語(yǔ)言為Python3.7，實(shí)驗(yàn)?zāi)Ｐ筒捎肞addlePaddle2.1.2搭建。預(yù)訓(xùn)練階段，模型超參設(shè)置如下：LISERNIE隱藏層維度為768維，batch size為64，學(xué)習(xí)率采用自定義算法，范圍為[1×10-5，1×10-4]，dropout設(shè)置為0.1，優(yōu)化算法使用AdamW[35]。微調(diào)階段，BiGRU隱藏層維度為256維，模型由15個(gè)Epoch進(jìn)行訓(xùn)練，學(xué)習(xí)率范圍設(shè)置為[6×10-5，1×10-4]，其余參數(shù)的設(shè)置與預(yù)訓(xùn)練階段保持一致。

4.3 評(píng)價(jià)指標(biāo)

本文使用實(shí)體級(jí)別的準(zhǔn)確率(Precision，P)、召回率(Recall，R)及其調(diào)和平均數(shù)F1來(lái)評(píng)價(jià)模型效果，具體計(jì)算公式如下：

4.4 實(shí)驗(yàn)設(shè)計(jì)與分析

為了驗(yàn)證基于LISERNIE的圖情領(lǐng)域命名實(shí)體識(shí)別模型的有效性，本文設(shè)計(jì)了4組實(shí)驗(yàn)。第一組為使用不同PLM 的實(shí)體識(shí)別效果對(duì)比實(shí)驗(yàn)，用來(lái)檢驗(yàn)注入領(lǐng)域知識(shí)的PLM相比其他PLM 是否取得更好的性能；第二組為不同類別的實(shí)體在不同規(guī)模數(shù)據(jù)集上的識(shí)別效果對(duì)比實(shí)驗(yàn)，用來(lái)檢驗(yàn)本文模型在小規(guī)模標(biāo)注數(shù)據(jù)集上的性能是否穩(wěn)定；第三組為消融實(shí)驗(yàn)，用來(lái)驗(yàn)證本文模型中各個(gè)模塊的有效性；第四組實(shí)驗(yàn)將模型應(yīng)用到實(shí)體關(guān)系抽取中，以驗(yàn)證模型的可行性。

(1)不同PLM的對(duì)比實(shí)驗(yàn)。分別使用Word2Vec、BERT[36]、ERNIE、RoBERTa[37]、ALBERT[38]及本文的LISERNIE等PLM得到句子的語(yǔ)義表示向量，再接入BiGRU和CRF兩層，實(shí)體識(shí)別結(jié)果見(jiàn)表6。本文提出的基于LISERNIE的識(shí)別模型效果最好，F(xiàn)1 值達(dá)到75.46%，相較于基于ERNIE的模型，提高了1.08%，表明為預(yù)訓(xùn)練模型注入領(lǐng)域知識(shí)能夠提升實(shí)體識(shí)別效果。而ERNIE的F1值又略高于BERT，這是由于在預(yù)訓(xùn)練語(yǔ)料方面，ERNIE不僅使用百科類語(yǔ)料，還使用新聞資訊類、論壇對(duì)話類語(yǔ)料來(lái)訓(xùn)練模型；相比于BERT僅使用百科類語(yǔ)料，ERNIE可獲得更好的語(yǔ)言表征，也進(jìn)一步驗(yàn)證了注入外部知識(shí)有利于提高模型的語(yǔ)義表示能力?；趥鹘y(tǒng)Word2Vec 的效果最差，可見(jiàn)“預(yù)訓(xùn)練+微調(diào)”的動(dòng)態(tài)PLM比靜態(tài)PLM具有更大優(yōu)勢(shì)。此外，從運(yùn)行時(shí)間來(lái)看，各個(gè)模型相差不大，對(duì)于可以離線計(jì)算的任務(wù)而言是可接受的。

表6 不同PLM的識(shí)別效果對(duì)比

(2)不同類別的實(shí)體在不同規(guī)模語(yǔ)料(數(shù)據(jù)集)上的對(duì)比實(shí)驗(yàn)。將數(shù)據(jù)集規(guī)模劃分為四分之一、三分之一、二分之一、三分之二、四分之三和全部數(shù)據(jù)集，基于LISERNIE+BiGRU+CRF的命名實(shí)體識(shí)別模型在不同規(guī)模數(shù)據(jù)集上的識(shí)別效果如圖6所示?？梢钥吹剑粋€(gè)模型對(duì)不同類別實(shí)體的識(shí)別效果也有一定的差距，但總體上，實(shí)體的F1值和數(shù)據(jù)集的規(guī)模呈現(xiàn)一定的正相關(guān)。隨著語(yǔ)料規(guī)模的減少，實(shí)體的識(shí)別效果下降較為平緩，說(shuō)明本文模型在小規(guī)模數(shù)據(jù)集上的性能比較穩(wěn)定。Person實(shí)體的F1值基本在85%以上，主要原因是對(duì)于Person這類通用命名實(shí)體，預(yù)訓(xùn)練階段已經(jīng)取得很好的效果，即使在標(biāo)注數(shù)據(jù)很少的情況下，識(shí)別性能也不會(huì)受到很大影響。但占比較少的Document、Device、Technology和Event這4類實(shí)體識(shí)別效果都出現(xiàn)急劇下降情況，說(shuō)明測(cè)試數(shù)據(jù)太少還是會(huì)導(dǎo)致深度學(xué)習(xí)模型難以有效學(xué)習(xí)，識(shí)別效果大打折扣。

圖6 不同類別實(shí)體在不同規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

(3)消融實(shí)驗(yàn)。為更好地分析模型各個(gè)部分的作用，本文還進(jìn)行了模型消融實(shí)驗(yàn)，即在原始模型基礎(chǔ)上分別去掉BiGRU層、CRF層，以及同時(shí)去掉這兩層。另外，為了檢驗(yàn)BiGRU層的效果，還采用BiLSTM作為替換模型進(jìn)行了實(shí)驗(yàn)。觀察表7 可以看到，模型各個(gè)部分都起到了作用，模型1、2、3 的F1 值分別比本文模型低2.1%、1.19%和1.09%，說(shuō)明去掉BiGRU層和CRF層的任何一層都會(huì)造成性能下降，并且同時(shí)去掉BiGRU層和CRF層，比單獨(dú)去掉其中一層效果下降更加明顯。比較模型2和4以及本文模型和模型5，發(fā)現(xiàn)用BiGRU替換BiLSTM后的效果和運(yùn)行速度均有所提升?？梢?jiàn)，相對(duì)BiLSTM模型，BiGRU 模型參數(shù)更少、網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單，使得整個(gè)模型計(jì)算速度更快，在小數(shù)據(jù)集上的泛化效果也更好。

表7 不同模型的識(shí)別效果對(duì)比

(4)基于LISERNIE的實(shí)體關(guān)系抽取實(shí)驗(yàn)。面向開(kāi)放域的關(guān)系抽取可以掙脫預(yù)定義關(guān)系的束縛，識(shí)別句子中實(shí)體與實(shí)體之間的關(guān)系，抽取出實(shí)體關(guān)系三元組。為分析LISERNIE模型對(duì)其他NLP 下游任務(wù)性能提升起到的積極作用，從LISNER數(shù)據(jù)集中隨機(jī)取出166個(gè)句子，將基于LISERNIE實(shí)現(xiàn)的關(guān)系抽取方法和現(xiàn)有的CORE(Chinese Open Relation Extraction，中文開(kāi)放關(guān)系抽取)[39]系統(tǒng)進(jìn)行對(duì)比。CORE系統(tǒng)共抽取出22個(gè)句子中的38個(gè)三元組，經(jīng)人工校對(duì)，3個(gè)正確，準(zhǔn)確率為7.89%。本文方法共抽取出134個(gè)句子中的277個(gè)三元組，85個(gè)正確，準(zhǔn)確率為30.69%，部分抽取結(jié)果如表8所示。

表8 抽取結(jié)果對(duì)比（部分）

CORE系統(tǒng)采用基于依存句法分析的關(guān)系抽取方法，只抽取由動(dòng)詞或名詞引導(dǎo)的介導(dǎo)關(guān)系，大量有用的關(guān)系實(shí)例被過(guò)濾掉，導(dǎo)致準(zhǔn)確率大大降低。本文采用流水線方法，首先基于LISERNIE+BiGRU+CRF模型對(duì)句子中的實(shí)體進(jìn)行識(shí)別，接著過(guò)濾掉句中“實(shí)體數(shù)＜2”的句子，最后抽取句子中實(shí)體對(duì)之間的文本作為關(guān)系。例如，句子“國(guó)家古籍保護(hù)中心在組織開(kāi)展古籍?dāng)?shù)字資源發(fā)布的同時(shí)，全國(guó)古籍‘摸家底’工作也取得重要進(jìn)展?！苯?jīng)過(guò)模型識(shí)別出一個(gè)Org實(shí)體“國(guó)家古籍保護(hù)中心”，但因?yàn)榫渥又械摹皩?shí)體數(shù)＜2”，該句被過(guò)濾掉。又如，表8中的句子1經(jīng)過(guò)本文模型識(shí)別出Eve實(shí)體“中華古籍保護(hù)計(jì)劃”、Tec實(shí)體“中華古籍資源庫(kù)”和“全國(guó)古籍普查登記基本數(shù)據(jù)庫(kù)”以及Lib實(shí)體“國(guó)家圖書(shū)館”，所以實(shí)體“中華古籍保護(hù)計(jì)劃”和實(shí)體“中華古籍資源庫(kù)”之間的文本被抽取出來(lái)，形成三元組["中華古籍保護(hù)計(jì)劃"，"重要階段成果"，"中華古籍資源庫(kù)"]。這種抽取處理簡(jiǎn)單，不受限于限定模式，準(zhǔn)確率較CORE系統(tǒng)有較大的提高。

當(dāng)然，本實(shí)驗(yàn)主要是為了驗(yàn)證LISERNIE+BiGRU+CRF模型在關(guān)系抽取中的可行性。實(shí)現(xiàn)方法僅是在Riedel等[40]假設(shè)的基礎(chǔ)上放松抽取限制，認(rèn)為如果實(shí)體對(duì)存在某種關(guān)系，那么存在該實(shí)體對(duì)的句子反映了該關(guān)系，并針對(duì)每一個(gè)實(shí)體對(duì)進(jìn)行關(guān)系抽取，這樣會(huì)造成大量信息冗余，降低準(zhǔn)確率。但本文方法無(wú)需預(yù)先定義實(shí)體關(guān)系類型，只需少量標(biāo)注實(shí)體的預(yù)訓(xùn)練語(yǔ)料，對(duì)于后續(xù)開(kāi)展開(kāi)放域的實(shí)體關(guān)系抽取研究具有一定的借鑒意義。

5 結(jié)語(yǔ)

針對(duì)圖情領(lǐng)域內(nèi)標(biāo)注數(shù)據(jù)少、相關(guān)知識(shí)庫(kù)缺失等問(wèn)題，本文利用知識(shí)圖譜中的實(shí)體節(jié)點(diǎn)及其類別層級(jí)結(jié)構(gòu)，科學(xué)確定了圖情領(lǐng)域的實(shí)體類別，并構(gòu)建了一個(gè)基于領(lǐng)域知識(shí)注入的預(yù)訓(xùn)練語(yǔ)言模型LISERNIE。在隨后開(kāi)展的命名實(shí)體識(shí)別實(shí)驗(yàn)和開(kāi)放域關(guān)系抽取實(shí)驗(yàn)中，相比于基線模型，本文提出的基于LISERNIE+BiGRU+CRF的命名實(shí)體識(shí)別模型能更有效地識(shí)別出實(shí)體及其關(guān)系，可以更好地支撐后續(xù)諸如知識(shí)圖譜構(gòu)建、問(wèn)答系統(tǒng)、機(jī)器閱讀等自然語(yǔ)言應(yīng)用的開(kāi)展。未來(lái)可關(guān)注：一是在預(yù)訓(xùn)練階段，過(guò)多的知識(shí)注入可能帶來(lái)噪聲，造成模型損失，但注入的知識(shí)不足則對(duì)于提高模型對(duì)文本的語(yǔ)義理解力幫助不大，后續(xù)研究可探討把什么樣的知識(shí)以什么樣的方式注入預(yù)訓(xùn)練模型中，使模型在下游任務(wù)上有更好的表現(xiàn)；二是采用流水線方法進(jìn)行開(kāi)放域關(guān)系抽取會(huì)產(chǎn)生大量冗余信息，今后可以嘗試結(jié)合語(yǔ)義、語(yǔ)法信息實(shí)現(xiàn)實(shí)體關(guān)系的有效抽取；三是將知識(shí)驅(qū)動(dòng)的人工智能和數(shù)據(jù)驅(qū)動(dòng)的人工智能兩種范式結(jié)合起來(lái)，是人工智能發(fā)展的必經(jīng)之路[26]，后續(xù)研究可以思考如何將數(shù)據(jù)和知識(shí)融合，以實(shí)現(xiàn)更好的效果。