基于指針級聯(lián)標(biāo)注的中文實體關(guān)系聯(lián)合抽取模型

王澤儒，柳先輝

同濟大學(xué)電子與信息工程學(xué)院，上海201800

0 引言

知識圖譜[1（]knowledge graph,KG）是由Google公司在2012年提出的一個新概念。知識圖譜能夠更好地組織、管理和理解海量信息[2]，并以“實體-關(guān)系-實體”的方式表達客觀世界中的概念、實體及其相互間的語義關(guān)系，從而構(gòu)成龐大的知識庫，有助于知識的共享和重用。知識圖譜通常是由許多實體關(guān)系構(gòu)成的關(guān)系圖，因此在構(gòu)建知識圖譜的過程中，如何從非結(jié)構(gòu)化文本中抽取實體關(guān)系成為一項至關(guān)重要的任務(wù)。

實體關(guān)系抽取通常包含命名實體識別(named entity recognition,NER)和關(guān)系抽取(relation extraction,RE)兩項子任務(wù)。早期實體關(guān)系抽取方法主要是通過人工構(gòu)造語法和語義規(guī)則，基于規(guī)則模板的方式抽取實體關(guān)系，之后發(fā)展為以傳統(tǒng)機器學(xué)習(xí)方法為主的實體關(guān)系抽取算法，包括無監(jiān)督[3,4]、半監(jiān)督[5]與有監(jiān)督[6]的算法。近年來，為避免繁瑣的人工特征抽取，基于深度學(xué)習(xí)的實體關(guān)系抽取算法已成為目前實體關(guān)系抽取領(lǐng)域的主要研究方向?；谏疃葘W(xué)習(xí)的實體關(guān)系抽取算法主要分為流水線學(xué)習(xí)(pipeline)[7～10]和聯(lián)合學(xué)習(xí)(joint)[11～13]兩種。流水線學(xué)習(xí)是指在已完成實體識別的基礎(chǔ)上對每個實體對進行關(guān)系分類的學(xué)習(xí)方式。聯(lián)合學(xué)習(xí)是指在進行命名實體識別和關(guān)系抽取兩個子任務(wù)時共享編碼層的參數(shù)，經(jīng)過優(yōu)化后得到全局最佳參數(shù)。相較而言，聯(lián)合學(xué)習(xí)有效地改善了流水線方法中存在的錯誤累積傳播問題以及忽視實體識別與關(guān)系抽取這兩個子任務(wù)間聯(lián)系的問題，提高了模型的魯棒性。

然而現(xiàn)階段的聯(lián)合實體關(guān)系抽取算法難以解決如下問題：關(guān)系重疊、實體嵌套以及抽取三元組的同時判別實體類型。關(guān)系重疊是指句子中包含多個相互重疊的三元組，具體表現(xiàn)為一個實體同另一個實體之間存在多種關(guān)系(entity pair overlap,EPO)及一個實體與其他不同實體之間存在多種關(guān)系(single entity overlap,SEO)這兩種關(guān)系重疊類型。傳統(tǒng)的關(guān)系抽取模型通常將識別出的實體與原始文本組合為實體元組向量作為輸入，模型難以從單一實體元組向量識別出多種關(guān)系，因此無法解決關(guān)系重疊問題。實體嵌套(nested entity,NE)是指一個實體包含或部分包含另一個實體，例如句子“[[[上海]中芯國際]芯片晶圓生產(chǎn)線]”是三層嵌套實體，其中地名被嵌入到企業(yè)名中。實體嵌套問題同樣為聯(lián)合實體關(guān)系抽取算法帶來挑戰(zhàn)，原因在于現(xiàn)有的方法通常將命名實體識別子任務(wù)看作一個序列標(biāo)注問題，假定每個字符只能屬于一種實體類型。目前知識圖譜主要的存儲媒介從早期的RDF三元組逐漸轉(zhuǎn)變?yōu)閳D數(shù)據(jù)庫如Neo4j[14]，圖數(shù)據(jù)庫在存儲知識時不但要求實體的名稱，還必須指定實體的類型。然而現(xiàn)階段的聯(lián)合實體關(guān)系抽取算法通常以識別實體在句子中的位置為目標(biāo)，而不對實體的具體類型做出判斷，無法順利地將抽取出的實體關(guān)系導(dǎo)入圖數(shù)據(jù)庫。因此，需要一種可以解決上述問題的聯(lián)合實體關(guān)系抽取算法。

CasRel(cascade binary tagging framework)[11]模型的出現(xiàn)為解決關(guān)系重疊問題提供了一個思路。傳統(tǒng)的實體關(guān)系抽取算法可以抽象為主體和客體映射為關(guān)系的函數(shù)f(s,o)→r，Wei等[11]改變了這一傳統(tǒng)思想，將問題抽象為以關(guān)系作為條件通過主體映射客體的函數(shù)fr(s)→o，避免了主體、客體只能映射為單一關(guān)系的局限性，并通過一種級聯(lián)二進制標(biāo)記框架加以實現(xiàn)。本文采用CasRel模型的思想，提出了一個新型的指針級聯(lián)標(biāo)注策略，與BERT(bidirectional encoder representation from transformers)[15]預(yù)訓(xùn)練模型結(jié)合，可以有效解決實體嵌套與關(guān)系重疊問題，并且可以在抽取三元組的同時判別實體類型。

1 本文模型

模型主要由文本預(yù)處理、BERT編碼器、頭實體解碼器、字向量融合、尾實體解碼器5個模塊構(gòu)成，如圖1所示。對于數(shù)據(jù)集中的文本，只需要根據(jù)預(yù)先定義的句子最大字符長度做[PAD]填充即可，并轉(zhuǎn)化為矩陣向量；其次利用預(yù)訓(xùn)練的BERT編碼器對文本矩陣向量處理，獲取包含語義信息的字向量；接著將字向量輸入頭實體解碼器預(yù)測頭實體類型與位置索引；再根據(jù)頭實體預(yù)測的結(jié)果與字向量融合；最后將融合字向量輸入尾實體解碼器預(yù)測尾實體類型、關(guān)系類型與位置索引。

圖1 模型框架圖Fig.1 Overview of the model

1.1 BERT編碼器

在處理自然語言的過程中，構(gòu)建詞庫并根據(jù)詞庫將文本分詞結(jié)果嵌入詞向量是必不可少的步驟，相較于英文詞語間有間隔作為標(biāo)記，中文詞庫在構(gòu)建時往往受制于分詞工具的影響，且文本的分詞結(jié)果對之后詞向量的生成影響頗深。因此，本文不使用分詞工具對文本進行處理，選擇直接將文本分字后構(gòu)建字向量。在字向量的生成中，采用BERT模型作為編碼器訓(xùn)練字向量，不同于以往的靜態(tài)字向量，前者能夠在不同的語境下表征不同的語義，因此這樣的字向量更加體現(xiàn)出強大的語義表征能力。對輸入的每個字符進行向量空間的嵌入表示，每個字符向量E計算如下

其中，Ec為該字符串的字符向量表示，ES為該字符的句子分類向量，EP為該字符的序列位置向量。

將E經(jīng)過多層雙向Transformer編碼器訓(xùn)練得到文本的字向量。第i個字符的向量表示Ti的計算過程如下所示

其中，Trans代表每一個Transformer塊的運算過程，N為字向量的最大長度，單個字的向量表示的維度為BERT隱藏層輸出的維度，默認(rèn)為768。

1.2 頭實體解碼器

針對頭實體中可能存在的實體嵌套問題以及關(guān)系重疊問題，本文提出了一種全新的指針級聯(lián)標(biāo)注策略(novel pointer tagging cascade strategy，NPCTS)，包含頭實體與尾實體標(biāo)注兩部分。在頭實體標(biāo)注部分，如圖2所示，采用指針標(biāo)注的思想，將頭實體的標(biāo)簽分為起始標(biāo)簽與終止標(biāo)簽。為了在預(yù)測頭實體位置的同時，識別出實體的類型，將起始標(biāo)簽與終止標(biāo)簽設(shè)計成為矩陣形式，不同行代表在不同實體類型上可能存在實體的位置。由于實體嵌套問題多發(fā)生在不同類型的實體間相互嵌套，極少出現(xiàn)同一實體類型嵌套的現(xiàn)象，因此NPCTS按照實體類型作為區(qū)分指針級聯(lián)標(biāo)注策略可以很好地應(yīng)對實體嵌套問題。在頭實體的起始標(biāo)簽中，“1”代表頭實體在句子中的起始位置；同樣地，“1”在終止標(biāo)簽中代表頭實體在句子中的結(jié)束位置。

圖2 NPCTS實體關(guān)系抽取模型Fig.2 NPCTS entity relation extraction model

頭實體解碼器被用來解析句子中所有可能出現(xiàn)的頭實體。將經(jīng)過BERT編碼器編碼后的字向量Ti輸入全連接層并通過sigmoid函數(shù)激活，得到解碼后的輸出，具體運算過程如下

因為頭實體采用二值化的標(biāo)簽，所以在訓(xùn)練過程中損失函數(shù)采用的是二值交叉熵?fù)p失函數(shù)，具體可由以下兩式表示

1.3 尾實體解碼器

尾實體標(biāo)注用于標(biāo)記尾實體的索引位置、實體類型以及頭實體與其對應(yīng)的關(guān)系類別。NPCTS采用尾實體關(guān)系矩陣與尾實體類型矩陣標(biāo)記這些信息，這兩種矩陣的標(biāo)注方式與頭實體標(biāo)注方式類似，不同點在于尾實體關(guān)系矩陣每行代表不同的關(guān)系類型。為了將頭實體信息與句子特征相融合，本文采取將字向量中頭實體存在范圍內(nèi)的字向量表示取平均，并與字向量相加，以此達到融合頭實體信息的目的。具體計算過程如下，

尾實體解碼器被用來解析給定頭實體后尾實體存在的范圍與實體類型。為了從融合后的字向量中更好地獲取上下文信息，本文采用雙向LSTM(long short-term memory)層對融合后的字向量做進一步特征提取。雙向LSTM前向傳遞層可以獲取輸入序列的上文信息，后向傳遞層可以獲取輸入序列的下文信息。將一個句子的各個字的字向量序列作為雙向LSTM各個時間步的輸入，再將正LSTM輸出的隱狀態(tài)序列與反向LSTM輸出的隱藏層狀態(tài)序列拼接，得到完整的隱藏層狀態(tài)序列。本文首先將融合字向量輸入兩個不同的雙向LSTM層，分別進行尾實體的關(guān)系預(yù)測與類別預(yù)測，最后再分別輸入全連接層得到解碼后的輸出。具體運算過程可以由公式（10）～（13）表示

2 實驗

2.1 數(shù)據(jù)集與評價指標(biāo)

本文選用DuIE1.0和CMeIE(Chinese Medical Information Extraction Dataset)作為實驗數(shù)據(jù)集。DuIE1.0中的句子來自百度百科、百度貼吧和百度信息流文本，是規(guī)模較大的基于schema的中文關(guān)系抽取數(shù)據(jù)集，包含超過43萬三元組數(shù)據(jù)、21萬中文句子及50個預(yù)定義的關(guān)系類型。CMeIE是醫(yī)療領(lǐng)域的常用數(shù)據(jù)集，其中兒科語料來源于518種兒科疾病，常見病語料來源于109種常見病。數(shù)據(jù)集包含近75 000個三元組、28 000個疾病句子和53個圖式，將14 339條數(shù)據(jù)用作訓(xùn)練集，3 585條數(shù)據(jù)用作測試集，4 482條數(shù)據(jù)用作驗證集。為了驗證本模型在應(yīng)對關(guān)系重疊與實體嵌套問題時有更好的表現(xiàn)，本文將數(shù)據(jù)集劃分為三個部分，并分別命名為實體對重疊(EPO)、單實體重疊(SEO)與實體嵌套(nested entity)。兩種數(shù)據(jù)集的劃分情況如表1所示（Train為訓(xùn)練集，Dev為測試集）。

表1 數(shù)據(jù)集信息Table 1 Information of datasets

本文使用準(zhǔn)確率(P)，召回率(R)和F1值評估模型效果。其中

F1值是一種較為均衡的評估方法，計算公式如下

本文分別從字符級別上的SPO(Subject-Predict-Object)三元組抽取與命名實體識別兩個任務(wù)層面對模型進行評估。

2.2 實驗環(huán)境及參數(shù)設(shè)置

算法的實驗環(huán)境：操作系統(tǒng)是Ubuntu20.04，使用的語言是python3.7，BERT中文預(yù)訓(xùn)練語言模型使用Chinese_L-12_H-768_A-12，深度學(xué)習(xí)框架pytorch1.7.1。句子最大長度設(shè)定為180，訓(xùn)練時的Batch_size為8，分類概率閾值為0.5，學(xué)習(xí)率（Learning rate)為1E-5，多頭注意力有12層，多頭數(shù)量有12個。模型優(yōu)化器選擇Adam，epochs設(shè)置為120。

2.3 實驗結(jié)果評估與分析

為了評估NPCTS模型與不同結(jié)構(gòu)搭配的效果，本文設(shè)計了一系列的消融實驗作為對照。NPCTS模型建立在預(yù)先訓(xùn)練的BERT模型之上，直接將字向量輸入全連接層作為頭實體與尾實體解碼器。NPCTSembedding表示使用嵌入層生成字向量而非BERT預(yù)訓(xùn)練模型。NPCTSBi-LSTM表示在獲取字向量后，輸入Bi-LSTM層進一步提取特征。消融實驗的結(jié)果如表2所示，NPCTSembedding模型在兩個數(shù)據(jù)集上表現(xiàn)較差，說明了BERT預(yù)訓(xùn)練模型生成的字向量對后續(xù)任務(wù)的提升作用明顯。NPCTSBi-LSTM與NPCTS相比有較小提升，說明Bi-LSTM模型在處理語義特征方面相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)表現(xiàn)更佳，可能是由于Bi-LSTM結(jié)構(gòu)可以更好地提取字向量的上下文信息。

NPCTS模型是針對中文文本的實體關(guān)系抽取任務(wù)，比較難找到統(tǒng)一對比的數(shù)據(jù)集與經(jīng)典的算法。為了進一步驗證模型性能，體現(xiàn)本文方法在準(zhǔn)確率和穩(wěn)定性上的優(yōu)勢，將NPCTS模型及其變種與Bert+Bi-LSTM、Bert+Bi-LSTM+CRF、和CalRel[11]四種模型在不同語料庫上進行實驗對比。Bert+Bi-LSTM為流水線學(xué)習(xí)的實體關(guān)系抽取模型，可以完成命名實體識別任務(wù)，并在此基礎(chǔ)上判別實體對的關(guān)系類型；Bert+Bi-LSTM+CRF（conditional random field）是使用較為普遍的命名實體識別模型，采用CRF分類器識別實體類型。CopyRRL[16]與CasRel[11]模型在英文數(shù)據(jù)集NYT與WebNLG上都取得了不錯的結(jié)果，但無法在提取三元組的同時判別頭實體與尾實體的類型。本文使用上述模型在中文數(shù)據(jù)集上復(fù)現(xiàn)，實驗結(jié)果如表2所示，表中“-”代表該模型無法完成該項任務(wù)。

表2 不同模型在Du IE1.0與CMeIE數(shù)據(jù)集上的實驗結(jié)果Table 2 Results of different methods on Du IE1.0 and CMeIE datasets

從表2中可以看出所有模型在DuIE1.0數(shù)據(jù)集上的表現(xiàn)均優(yōu)于CMeIE，原因在于CMeIE醫(yī)療數(shù)據(jù)集涉及多種醫(yī)療領(lǐng)域?qū)Ｓ忻~且分布不均衡，導(dǎo)致模型學(xué)習(xí)不充分。Bert+Bi-LSTM作為經(jīng)典的流水線式實體關(guān)系抽取模型可以完成三元組抽取與實體識別兩項任務(wù)，但在整體效果上差強人意，說明在使用傳統(tǒng)序列標(biāo)注方式以及假定實體間只能存在一種關(guān)系的條件下，模型無法應(yīng)對實體嵌套與關(guān)系重疊問題。Bert+Bi-LSTM+CRF模型增加了條件隨機場判別實體類型，在兩個數(shù)據(jù)集上均有較大提升。CopyRRL與CasRel模型均試圖解決關(guān)系重疊問題，并在模型上做出改進，在整體效果上有著不錯的表現(xiàn)。在三元組抽取任務(wù)上，NPCTSBi-LSTM模型的F1與CasRel模型相比分別有2.5%與0.3%的微提升，表明NPCTSBi-LSTM模型在三元組抽取任務(wù)中有不輸于領(lǐng)域內(nèi)效果最好的模型CasRel的表現(xiàn)，而且NPCTSBi-LSTM模型還能夠額外完成實體識別任務(wù)，并且在實體識別任務(wù)上與Bert+Bi-LSTM+CRF模型相比提升了近10%。

針對本文所描述的實體關(guān)系抽取領(lǐng)域遇到的實體嵌套和關(guān)系重疊等問題，為進一步體現(xiàn)NPCTS模型在應(yīng)對此問題的有效性，本文使用在完整數(shù)據(jù)集上訓(xùn)練后的模型在不同類型的測試數(shù)據(jù)集上做驗證，并與Bert+Bi-LSTM、CopyRRL和CasRel模型進行性能對比，實驗結(jié)果分別如表3和表4所示。在應(yīng)對數(shù)據(jù)集中兩種關(guān)系重疊樣式以及實體嵌套的文本時，Bert+Bi-LSTM模型的表現(xiàn)相較于在整體數(shù)據(jù)集上的表現(xiàn)下降尤為明顯，然而其他三種模型由于存在應(yīng)對關(guān)系重疊問題的結(jié)構(gòu)或策略，在SEO與EPO類型的文本上的表現(xiàn)與整體數(shù)據(jù)集上的表現(xiàn)差距并不大。與CasRel[11]模型在處理實體嵌套文本時與整體表現(xiàn)差距明顯，其原因在于這兩種模型在進行實體標(biāo)注時均采用了傳統(tǒng)的指針標(biāo)注策略，沒有在實體類型上加以區(qū)分，導(dǎo)致其無法解決實體嵌套問題。本文提出的NPCTSBi-LSTM模型則在這三種類型文本上的表現(xiàn)較為一致，這是由于NPCTS模型采用了以實體類型與關(guān)系類型作為區(qū)分的指針級聯(lián)標(biāo)注方式，可以有效應(yīng)對實體嵌套問題，并識別出實體類型；NPCTS模型將關(guān)系模型作為函數(shù)，將句子中的頭實體映射到尾實體，解決了重疊問題。實驗結(jié)果也印證了該模型在應(yīng)對關(guān)系重疊和實體嵌套問題上的優(yōu)越性。

表3 在Du IE1.0數(shù)據(jù)集上從不同模式的句子中抽取三元組的實驗結(jié)果Table 3 Results of extracting relational triples fr om sentences with different patterns on Du IE1.0 dataset

表4 在CMeIE數(shù)據(jù)集上從不同模式的句子中抽取三元組的實驗結(jié)果Table 4 Results of extracting relational triples from sentences with different patterns on CMeIE dataset

3 結(jié)語

針對實體關(guān)系抽取中實體嵌套和關(guān)系重疊問題，本文提出了一種基于指針級聯(lián)標(biāo)注策略的中文實體關(guān)系聯(lián)合抽取模型。該模型采用聯(lián)合學(xué)習(xí)的方式，將實體關(guān)系抽取任務(wù)抽象為以關(guān)系作為條件通過主體映射客體的函數(shù)fr(s)→o，可以同時從句子中提取多個實體關(guān)系元組，并通過一種新型的級聯(lián)二進制標(biāo)記策略加以實現(xiàn)。這種標(biāo)記策略使得模型可以在識別嵌套主體的同時判斷主體的實體類型，在識別客體的同時也能對實體類型和關(guān)系類型做出判斷。在兩個不同領(lǐng)域的中文數(shù)據(jù)集上的實驗結(jié)果表明，此模型可以有效提升實體關(guān)系抽取的F1值，在應(yīng)對實體嵌套和關(guān)系重疊問題上表現(xiàn)尤為突出。