融合外部知識的生成式實體關(guān)系聯(lián)合抽取方法

祝振赫,武 虹,高 潔,周 玉

(1.中國科學(xué)院大學(xué) 人工智能學(xué)院,北京 100049;2.中國科協(xié)創(chuàng)新戰(zhàn)略研究院,北京 100038;3.中國科學(xué)院自動化研究所 模式識別國家重點實驗室,北京 100190;4.北京中科凡語科技有限公司 凡語AI研究院,北京 100190)

0 引 言

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)和知識圖譜等技術(shù)的發(fā)展,各行各業(yè)都在構(gòu)建自己的知識庫,以便為下游的問答、摘要等應(yīng)用提供知識的支持。文本作為重要的信息載體,包含了大量豐富的知識,如百科介紹、醫(yī)院病例、企業(yè)標(biāo)書等,都包含了豐富的內(nèi)容,具有重要的應(yīng)用價值。但由于沒有統(tǒng)一規(guī)范化的寫作標(biāo)準(zhǔn),導(dǎo)致內(nèi)容形式多種多樣且多為非結(jié)構(gòu)化或半結(jié)構(gòu)化文本,為整理統(tǒng)計的工作帶來很大的挑戰(zhàn),并難以直接應(yīng)用于下游任務(wù)中。如何從這類非結(jié)構(gòu)化文本中獲取蘊含的知識成為了一項重要的研究課題。信息抽取(Information Extraction,IE)是自然語言處理領(lǐng)域中一個非常重要的任務(wù)。該任務(wù)主要是從非結(jié)構(gòu)化或半結(jié)構(gòu)化文本中抽取出用戶所需要的信息,如命名實體、實體關(guān)系及事件等,并以結(jié)構(gòu)化的形式輸出,以便于支持下游任務(wù)的應(yīng)用[1]。

關(guān)系抽取(Relation Extraction,RE)作為信息抽取的主要子任務(wù)之一,主要目標(biāo)是從非結(jié)構(gòu)化文本中抽取出有關(guān)的兩個實體及實體間的關(guān)系,構(gòu)成關(guān)系三元組的結(jié)構(gòu)化形式。通常形式化描述為,其中e1、e2為實體,r為兩實體間所具有的關(guān)系,例如句子“古龍的本名是熊耀華”,其中實體“古龍”和實體“熊耀華”具有“本名”的關(guān)系[2]。為了區(qū)分兩個實體,稱e1為頭實體,e2為尾實體。關(guān)系抽取是構(gòu)建知識庫的重要基礎(chǔ)任務(wù)之一,一直受到研究者們的重視。

基于傳統(tǒng)的機器學(xué)習(xí)的關(guān)系抽取方法主要通過領(lǐng)域?qū)＜抑贫▽嶓w關(guān)系范式,通過統(tǒng)計和規(guī)則等方法進(jìn)行抽取。Miller等人[3]通過訓(xùn)練增強解析樹來表示句子的語義信息,再對不同關(guān)系類型設(shè)計模式匹配規(guī)則來進(jìn)行抽取。Zelenko等人[4]用核函數(shù)及支持向量機的方法進(jìn)行關(guān)系抽取。傳統(tǒng)的關(guān)系抽取方法具有準(zhǔn)確率高的優(yōu)點,當(dāng)文本滿足規(guī)則條件后,就能夠抽取出想要的信息。但傳統(tǒng)的關(guān)系抽取方法依賴人工設(shè)計特征和抽取規(guī)則,需要大量成本,并難以覆蓋所有情況,因此該方法的泛化能力較差。

隨著深度學(xué)習(xí)的興起,大量的深度學(xué)習(xí)方法被應(yīng)用到了關(guān)系抽取中。許多經(jīng)典的關(guān)系抽取方法都是使用監(jiān)督學(xué)習(xí)來獲得較好的性能表現(xiàn),因為監(jiān)督學(xué)習(xí)能夠更有效地讓模型抽取到特征,從而提高準(zhǔn)確率和召回率。但是在一些特定領(lǐng)域,由于難以獲取大規(guī)模標(biāo)注數(shù)據(jù),導(dǎo)致監(jiān)督學(xué)習(xí)的成本大大增加,在應(yīng)用中通常使用基于啟發(fā)式規(guī)則的無監(jiān)督方法和遠(yuǎn)程監(jiān)督等半監(jiān)督方法。

網(wǎng)絡(luò)中的文本形式多樣,許多的半結(jié)構(gòu)化文本都包含著一定的實體和關(guān)系的知識。如百科類網(wǎng)頁大多都詳細(xì)介紹了一個實體的信息,通常都包含關(guān)于該實體的一段描述及其基本信息表?；拘畔⒈硪话惚环Q為Infobox,其中包含了許多和該實體有關(guān)的屬性和其他實體。這種半結(jié)構(gòu)化文本也經(jīng)常作為構(gòu)建知識圖譜和遠(yuǎn)程監(jiān)督實體關(guān)系抽取數(shù)據(jù)集的直接數(shù)據(jù)來源[5]。許多基于遠(yuǎn)程監(jiān)督的實體關(guān)系抽取方法都通過Infobox構(gòu)建的知識圖譜來實現(xiàn)。如百度百科“戰(zhàn)狼”頁面的基本信息中的句子“《戰(zhàn)狼》是由吳京執(zhí)導(dǎo)的現(xiàn)代軍事戰(zhàn)爭片,該片由吳京、余男、倪大紅、斯科特·阿金斯、周曉鷗等主演”,可以和Infobox中的“導(dǎo)演:吳京”條目構(gòu)成一個實體關(guān)系抽取任務(wù)的標(biāo)簽數(shù)據(jù),原句的一個實體關(guān)系元組為<戰(zhàn)狼,導(dǎo)演,吳京>。像這種從表格文本以及通過句法規(guī)則獲取的實體關(guān)系三元組都包含了一定的內(nèi)在知識,如何利用這些內(nèi)在知識對于實體關(guān)系聯(lián)合抽取十分重要。

該文提出一種基于深度學(xué)習(xí)的融合外部知識的生成式實體關(guān)系聯(lián)合抽取方法,對于一些難以獲取大規(guī)模標(biāo)注數(shù)據(jù)的特定領(lǐng)域,通過在訓(xùn)練時引入一些典型規(guī)則所抽取的結(jié)果作為額外知識幫助模型從文本中抽取到更準(zhǔn)確全面的信息。模型采用多編碼器框架,采用知識自注意力機制對外部知識進(jìn)行編碼。在解碼過程中,采用跨知識注意力方法,融合知識編碼器的隱層向量得到解碼隱層狀態(tài),進(jìn)而生成實體和關(guān)系序列。實驗結(jié)果表明,所提方法能夠通過融合外部知識,提升實體關(guān)系三元組的準(zhǔn)確率,尤其提升模型在標(biāo)注數(shù)據(jù)稀缺場景下的抽取準(zhǔn)確率。

1 相關(guān)工作

關(guān)系抽取任務(wù)從領(lǐng)域上可分為限定域關(guān)系抽取和開放域關(guān)系抽取,其區(qū)別在于是否對關(guān)系類別進(jìn)行制定。限定域關(guān)系抽取需要事先確定關(guān)系類別,而開放域關(guān)系抽取的關(guān)系直接從原文本中抽取獲得。限定域關(guān)系抽取的優(yōu)勢是所抽取的關(guān)系明確,但是無法抽取到所制定關(guān)系類別以外的關(guān)系。開放域關(guān)系抽取能夠抽取到更多的關(guān)系類別,但經(jīng)常會抽取到不準(zhǔn)確或無意義的關(guān)系。

基于深度學(xué)習(xí)的關(guān)系抽取方法主要分為流水線(Pipeline)式抽取方法和聯(lián)合(Joint)式抽取方法兩種。流水線式方法一般是先對文本進(jìn)行命名實體識別,找出文本中所有的命名實體,然后再將這些命名實體兩兩配對進(jìn)行關(guān)系分類。這種流水線抽取方法通常用于限定域關(guān)系抽取,其關(guān)系預(yù)測階段是一個多分類任務(wù),所以無法抽取到定義好的關(guān)系以外的其他關(guān)系。并且由于分成了兩個任務(wù),在實體識別時往往會依賴其他自然語言處理工具,從而導(dǎo)致誤差傳播的問題,對模型性能會造成一定的影響。當(dāng)時普遍認(rèn)為流水線抽取方法不如聯(lián)合抽取方法好,但Zhong等人[6]在流水線模型的基礎(chǔ)上使用了一種簡單的方法就達(dá)到了當(dāng)時的最好性能。他們在實體識別結(jié)束后對原句進(jìn)行重構(gòu),將抽取到的頭尾實體及其類別信息加入到句子當(dāng)中,然后進(jìn)行關(guān)系分類的判別?？梢娫陉P(guān)系抽取時引入額外信息有助于模型的學(xué)習(xí)。聯(lián)合抽取方法是同時完成實體和實體間關(guān)系的抽取任務(wù),通過利用實體和關(guān)系的關(guān)聯(lián)信息來提高模型性能[7]。Wei等人[8]用多任務(wù)學(xué)習(xí)的方式,讓實體和關(guān)系共享一個編碼器(Encoder),再由兩個解碼器(Decoder)分別解碼得到實體和關(guān)系。Zheng等人[9]將實體關(guān)系聯(lián)合抽取任務(wù)轉(zhuǎn)換為序列標(biāo)注任務(wù),使用BIO(B-begin,I-inside,O-outside)序列標(biāo)注的方法對三元組進(jìn)行整體建模,通過端到端模型對句子進(jìn)行編碼后預(yù)測每個單詞所屬標(biāo)簽類別,將臨近的頭尾實體及關(guān)系合并為需要抽取的三元組,取得了不錯效果。但這種序列標(biāo)注的方法無法處理實體嵌套的問題。Li等人[10]則是將聯(lián)合關(guān)系抽取任務(wù)轉(zhuǎn)換成多輪問答任務(wù),通過在輸入中加入問題來引入實體關(guān)系信息,再由模型預(yù)測出答案,即文本中能夠作為答案片段的起始結(jié)束位置。Cui等人[11]采用序列到序列(Sequence-to-Sequence,Seq2Seq)模型,將實體關(guān)系標(biāo)記作為單詞加入詞典,通過編碼器對文本進(jìn)行編碼,再由解碼器直接解碼輸出帶有實體關(guān)系標(biāo)記的三元組文本序列。

該文提出一種基于Seq2Seq的融合知識的多源關(guān)系抽取方法,通過引入規(guī)則抽取的三元組作為額外提示信息,幫助模型從文本中抽取出更準(zhǔn)確全面的實體關(guān)系三元組。該方法能夠有效利用規(guī)則知識,對于領(lǐng)域的遷移性較強,對于缺乏標(biāo)注數(shù)據(jù)的領(lǐng)域,只需要利用簡單的領(lǐng)域知識來制定一些典型規(guī)則進(jìn)行抽取,抽取結(jié)果即可作為額外知識輔助模型,從而達(dá)到比直接使用Seq2Seq模型和單靠規(guī)則抽取都要好的效果,減少了人工定制復(fù)雜規(guī)則的成本。

2 關(guān)系抽取方法

2.1 問題描述

采用類似Cui等人[11]的方法,輸入為一段文本和使用規(guī)則抽取出的關(guān)系元組文本,關(guān)系元組通過表示實體和關(guān)系的特殊字符進(jìn)行標(biāo)記后拼接成字符串,比如“ ”。模型通過對文本和關(guān)系元組信息進(jìn)行預(yù)測得到的所有可能三元組,并以相同方式將所有預(yù)測關(guān)系三元組進(jìn)行拼接作為一個字符串輸出。

2.2 整體架構(gòu)

該文所面對的從網(wǎng)頁文本中抽取所有可能實體關(guān)系這一任務(wù)的整體架構(gòu)如圖1所示。輸入為來自網(wǎng)頁的原始文本,通過預(yù)處理操作去除非正文等噪聲信息,得到純文本后使用基于領(lǐng)域知識制定的簡單規(guī)則對文本進(jìn)行關(guān)系抽取,得到后續(xù)作為提示信息的三元組,并用特殊字符標(biāo)識拼接為字符序列。然后用編碼器-解碼器模型對文本和根據(jù)規(guī)則抽取得到的三元組字符串進(jìn)行預(yù)測,輸出所有可能關(guān)系元組構(gòu)成的字符序列。

圖1 多源關(guān)系抽取方法整體架構(gòu)

2.3 外部知識抽取

對于百科類的文本使用Infobox等結(jié)構(gòu)化文本匹配和基于依存句法分析的模式匹配規(guī)則進(jìn)行抽取。利用哈工大語言技術(shù)平臺(Language Technology Platform,LTP)對文本進(jìn)行依存句法分析,然后選取Jia等人[12]提出的依存語義范式進(jìn)行關(guān)系抽取。對于類似企業(yè)標(biāo)書等特殊文體的文本,則依據(jù)領(lǐng)域知識采用正則表達(dá)式、關(guān)鍵字匹配以及表格解析等方法進(jìn)行抽取。將得到的實體對及實體間關(guān)系用特殊字符標(biāo)記后組成一個形如“ ”的字符串。其中“”中間的為頭實體,“”中間的是尾實體,“”之間的是頭尾實體間關(guān)系。

該文將上述方法抽取得到的實體關(guān)系元組信息作為每個句子的局部知識,利用知識編碼器學(xué)習(xí)背后的模式、規(guī)則等全局知識來指導(dǎo)模型抽取,從而提高實體關(guān)系聯(lián)合抽取的準(zhǔn)確率。

2.4 模型結(jié)構(gòu)

基礎(chǔ)模型選用的是經(jīng)典的Seq2Seq模型Transformer[13],在其原有架構(gòu)上進(jìn)行改動,以引入額外知識。在其原有編碼器的基礎(chǔ)上再增加一個知識編碼器,同樣使用自注意力機制對引入的知識進(jìn)行編碼,從而獲得文本中的局部知識信息。將文本編碼和知識編碼一同送入解碼器中。在解碼器增加一個解碼知識的注意力層,用于解碼出更類似引入知識的三元組,從而達(dá)到對知識的學(xué)習(xí)。模型結(jié)構(gòu)如圖2所示。

圖2 多源關(guān)系抽取模型結(jié)構(gòu)

2.4.1 知識提取器

面對特定領(lǐng)域的具體任務(wù),首先利用相關(guān)領(lǐng)域知識構(gòu)建一個知識提取器,作為該領(lǐng)域全局知識。知識提取器通過使用規(guī)則從文本中抽取實體關(guān)系元組以及根據(jù)表格信息匹配對應(yīng)句子等方法獲取和該句子有關(guān)的局部知識,作為輸入模型的額外知識信息。

2.4.2 文本編碼器

輸入為句子X=(x1,x2,…,xn),通過詞嵌入和位置編碼操作后得到句子嵌入EX=(ex1,ex2,…,exn)。輸入文本編碼器后得到輸入句子的上下文向量HX=(hx1,hx2,…,hxn)

HX=TextEncoder(EX)

(1)

2.4.3 知識編碼器

對知識提取器得到的和句子相關(guān)的知識進(jìn)行特殊標(biāo)記處理拼接后形成知識序列K=(k1,k2,…,km),通過詞嵌入和位置編碼操作得到知識嵌入EK=(ek1,ek2,…,ekm)。輸入知識編碼器后得到知識的上下文向量HK=(hk1,hk2,…,hkm)

HK=KnowledgeEncoder(EK)

(2)

2.4.4 解碼器

在解碼階段首先將目標(biāo)三元組序列T=(t1,t2,…,ts)作為解碼器的輸入,同樣經(jīng)過詞嵌入和位置編碼后得到目標(biāo)元組序列嵌入ET=(et1,et2,…,ets)。在注意力層將ET經(jīng)過自注意力機制得到的目標(biāo)序列隱層狀態(tài)HT先后與HX和HK計算交叉注意力,得到融合知識后的解碼器輸出的隱層狀態(tài)HO。

HT=SelfAttention(ET)

(3)

HTX=CrossAttention(HT,HX)

(4)

HO=CrossAttention(HK,HTX)

(5)

其中,HTX為解碼器輸入的上下文向量和編碼器輸入的三元組上下文向量做交叉注意力所得到的包含目標(biāo)三元組和輸入三元組注意力的上下文向量。

將HO經(jīng)過線形層和softmax計算得到輸出單詞的概率P:

P=softmax(WlHO)

(6)

其中,Wl為線性層的權(quán)重矩陣。

最后根據(jù)詞表輸出生成的序列Y=(y1,y2,…,yn)。

2.5 訓(xùn)練方式

首先使用純文本和所有抽取出的實體關(guān)系三元組作為編碼器和解碼器的輸入單獨訓(xùn)練一個Transformer模型并在訓(xùn)練好之后將各層參數(shù)固定。再用純文本和部分抽取實體作為模型編碼器輸入,所有實體關(guān)系三元組作為解碼器輸入進(jìn)行訓(xùn)練,訓(xùn)練過程中僅更新知識編碼器以及目標(biāo)三元組和知識交叉注意力模塊的參數(shù)。

2.6 目標(biāo)函數(shù)

目標(biāo)函數(shù)如公式(7)所示,根據(jù)給定輸入句子X、外部知識K以及用標(biāo)注數(shù)據(jù)訓(xùn)練得到的Transformer參數(shù)θX來生成目標(biāo)序列Y,采用最大似然估計,提升真實樣本Y的似然概率。

(7)

其中,θK為知識編碼器和知識交叉注意力層的參數(shù)。θx為其余參數(shù),D={(X,Y)}表示監(jiān)督數(shù)據(jù)集,其中X為句子序列,Y為實體-關(guān)系序列,K為全局知識圖譜,Kx為與句子相關(guān)的局部知識圖譜。M為實體-關(guān)系序列Y的字符個數(shù)。y

3 實驗部分

3.1 數(shù)據(jù)集

Seq2Seq模型的一個優(yōu)點是比較靈活,能夠通過對生成序列進(jìn)行特殊構(gòu)造來完成多種不同的任務(wù)。因此,該文分別在開放域和限定域兩個數(shù)據(jù)集上進(jìn)行實驗。

實驗所使用的兩個數(shù)據(jù)集,一個是通用百科領(lǐng)域的數(shù)據(jù)集SpanSAOKE,由Lyu等[14]制作,處理后包含26 481個中文句子以及53 774個實體關(guān)系三元組。其數(shù)據(jù)來源為百度發(fā)布的符號輔助開放知識表達(dá)(Symbolic Aided Open Knowledge Expression,SAOKE)[15]數(shù)據(jù)集。該數(shù)據(jù)集是中文開放域信息抽取的大規(guī)模句子級數(shù)據(jù)集,其中每個句子都是人工標(biāo)記的,并采用統(tǒng)一的知識表示格式來表達(dá)句子中所包含的事實。

另一個是采招網(wǎng)(https://www.bidcenter.com.cn/)上的標(biāo)書網(wǎng)頁文本共獲取了20 951篇,經(jīng)過去除HTML標(biāo)簽、JavaScript、CSS等代碼文本以及特殊符號等數(shù)據(jù)清洗處理后得到僅包含正文的標(biāo)書文本。根據(jù)需求及對標(biāo)書格式的認(rèn)知制定一系列規(guī)則對標(biāo)書內(nèi)容進(jìn)行抽取,實體類別包括招標(biāo)方名稱、供應(yīng)商名稱、招標(biāo)代理機構(gòu)名稱、預(yù)算金額、產(chǎn)品名稱等24種類別。按模型設(shè)定的256最大文本長度進(jìn)行切分后得到總計71 695份原文本和事實元組的句對。將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集,見表1。

表1 數(shù)據(jù)集統(tǒng)計信息

其中,SpanSAOKE為開放域關(guān)系抽取數(shù)據(jù)集,不限制關(guān)系類別,關(guān)系均從原文中抽取得到。Bid-Docs為爬取的標(biāo)書文本數(shù)據(jù)集。訓(xùn)練集和驗證集為通過復(fù)雜的網(wǎng)頁爬取規(guī)則進(jìn)行自動化標(biāo)注,測試集為自動標(biāo)注后進(jìn)行人工校驗得到。由于該數(shù)據(jù)集比較特殊,以標(biāo)書本身為頭實體,只抽取關(guān)系和對應(yīng)尾實體,因此標(biāo)注時使用特殊字符“”標(biāo)注關(guān)系,“”標(biāo)注尾實體。

3.2 評價指標(biāo)

實驗使用F1值作為評價指標(biāo)并采用涂飛明等人[16]在實驗中所用的兩種計算方式,一個是完全匹配(Exact Match,EM),對于抽取出的關(guān)系三元組,只有當(dāng)預(yù)測的頭實體、尾實體及實體間關(guān)系完全和標(biāo)準(zhǔn)答案相同時才算是一個正確的抽取結(jié)果。另一個是最長公共子串(Longest Common Substring,LCS),下面為具體計算方法:

考慮到模型生成多個三元組的數(shù)量和順序不固定,因此先對答案和預(yù)測結(jié)果的三元組序列按三元組拆分后進(jìn)行排序。對于答案中的每一個三元組,使用LCS長度在預(yù)測結(jié)果中找到其關(guān)聯(lián)性最高的三元組,找到的所有三元組按答案順序拼接,預(yù)測中多余的三元組直接按原順序拼接在后面,形成和答案最相近的序列。然后以新得到的序列和標(biāo)準(zhǔn)答案三元組序列求出二者的最長公共子串LCS,然后用LCS的長度作為預(yù)測正確的序列長度,分別與預(yù)測結(jié)果序列長度和標(biāo)準(zhǔn)答案序列長度計算精確率P和召回率R,最后利用公式(8)計算F1值。這兩種計算方法分別反映了模型預(yù)測結(jié)果的精確匹配度和模糊匹配度。在計算LCS時去掉了“_{”等用于表示頭尾實體及關(guān)系的特殊符號。}

(8)

使用EM指標(biāo)時的精確率P和召回率R的計算公式分別為:

(9)

(10)

其中,TC為預(yù)測正確的三元組數(shù)量,TP為預(yù)測三元組總數(shù)量,TG為標(biāo)準(zhǔn)答案三元組總數(shù)量。

使用LCS指標(biāo)時的精確率P和召回率R的計算公式分別為:

(11)

(12)

其中,LLCS為預(yù)測結(jié)果序列和標(biāo)準(zhǔn)答案序列的LCS的長度,LP為預(yù)測序列長度,LG為標(biāo)準(zhǔn)答案序列長度。

3.3 實驗環(huán)境及參數(shù)設(shè)置

操作系統(tǒng)是Ubuntu16.04.7,編程語言為Python3.7,深度學(xué)習(xí)框架為Pytorch1.8.1,句子最大長度設(shè)定為256,知識編碼器以及知識交叉注意力層和Transformer的編碼器及解碼器一樣為6層,多頭注意力的頭數(shù)為8個。

3.4 實驗結(jié)果

融合知識的關(guān)系抽取方法在SpanSAOKE和從網(wǎng)頁獲取的標(biāo)書文本兩個數(shù)據(jù)集上的實驗結(jié)果分別如表2和表3所示,其中Transformer為基于注意力機制的Seq2Seq模型,使用自注意力機制的編碼器對輸入文本進(jìn)行編碼,再通過自回歸的解碼器解碼出目標(biāo)序列。MGD-GNN[14]是一個基于字符級的流水線式開放域關(guān)系抽取模型,通過構(gòu)建單詞和字符之間的依賴關(guān)系圖來引入依存句法信息以及分詞信息,利用圖神經(jīng)網(wǎng)絡(luò)對其進(jìn)行編碼得到最終每個字符的表示,然后分別預(yù)測每個連續(xù)字符子序列為關(guān)系的概率,最后為每個得到的關(guān)系預(yù)測其對應(yīng)的頭尾實體。KGMS為文中模型。由于標(biāo)書數(shù)據(jù)集比較特殊,只抽取關(guān)系和尾實體的二元組,因此現(xiàn)有關(guān)系抽取方法不太適用,故只和未融合知識的Transformer進(jìn)行比較。

表2 SpanSAOKE實驗結(jié)果

表3 標(biāo)書文本實驗結(jié)果

在SpanSAOKE數(shù)據(jù)集上,相比之下MGD-GNN因為是對句子的每個連續(xù)字符子序列進(jìn)行預(yù)測,所以抽取到了最多的關(guān)系元組,具有最高的召回率。但其預(yù)測正確的元組數(shù)量沒有KGMS所抽取的多,并且對于沒有完全匹配的關(guān)系元組,KGMS也得到了更接近答案的結(jié)果。由此可見,KGMS在抽取時參考了輸入元組所包含的規(guī)則信息,使得抽取更具有針對性,從而提高了完全匹配的精確率和召回率。

在標(biāo)書文本上,KGMS在引入知識信息后性能有所提升,但整體表現(xiàn)都不好,分析可能是因為網(wǎng)頁標(biāo)書格式比較多樣,且有一些表格,導(dǎo)致爬取后的數(shù)據(jù)十分雜亂,且難以通過預(yù)處理進(jìn)行修整。由于標(biāo)書文本形式比較特殊,默認(rèn)將標(biāo)書題目作為所有要抽取的關(guān)系元組的頭實體,在抽取時僅抽取定義的關(guān)系及對應(yīng)尾實體。很多時候定義的關(guān)系并未出現(xiàn)在原文中,需要模型根據(jù)上下文來判斷實體所屬類型,而上下文信息又往往比較零碎,嚴(yán)重影響了模型的特征提取。

3.5 實例分析

Text:網(wǎng)游公司的地推人員通常分為兩類:一類是正式招聘,多為大學(xué)生;

Gold:<地推人員,分為,兩類><一類,是,正式招聘><地推人員,多為,大學(xué)生>

Pattern Matching:<地推人員,多為,大學(xué)生><網(wǎng)游公司地推人員,分為,兩類>

Transformer:<網(wǎng)游公司的地推人員,通常分為,兩類><一類,是,正式招聘><多,為,大學(xué)生>

MGD-GNN:<網(wǎng)游公司的地推人員,通常分為,兩類><一類,是,正式招聘><網(wǎng)游公司的地推人員,多為,大學(xué)生>

KGMS:<地推人員,多為,大學(xué)生><地推人員,分為,兩類><網(wǎng)游公司推司,分為,兩類>

如上所示,相比之下Transformer和MGD-GNN所抽取的實體都包含了修飾語,而從標(biāo)準(zhǔn)答案來看顯然是不希望修飾語出現(xiàn)的。Pattern Matching為通過規(guī)則獲取的作為額外知識的三元組。其中包含了有修飾語和無修飾語的實體,使得KGMS在引入知識后嘗試將兩種類型都抽取出來。但由于Pattern Matching沒有關(guān)于“一類是正式招聘”,從而導(dǎo)致KGMS忽略了這部分。由此可說明引入的知識對實體關(guān)系抽取有比較大的影響,可以通過對額外知識的設(shè)計,引入更多更符合需求的知識來對模型的抽取行為進(jìn)行引導(dǎo),從而提升模型的性能。

4 結(jié)束語

該文提出了一種融合外部知識的實體關(guān)系聯(lián)合抽取方法,采用多編碼和知識注意力機制,將句法結(jié)構(gòu)和結(jié)構(gòu)化信息等外部知識融入編碼解碼框架的模型來生成實體和關(guān)系序列,從而提高模型的準(zhǔn)確率。實驗結(jié)果顯示,在開放域和限定域的數(shù)據(jù)集上的表現(xiàn)均有所提升,可以提升抽取準(zhǔn)確率。對于一些標(biāo)注數(shù)據(jù)稀缺場景是有效的提升方法,同時規(guī)則的制定可以讓模型更好地具有領(lǐng)域適應(yīng)性。在今后的工作中將使用預(yù)訓(xùn)練模型作為基礎(chǔ)模型,并構(gòu)建更完善的數(shù)據(jù)集來探究該方法。