PATB:一種面向聯(lián)合實(shí)體和關(guān)系抽取的信息聚合器

張 亮,盧 玲,王愛(ài)娟,楊 武

(重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,重慶 400050)

1 引 言

自動(dòng)問(wèn)答系統(tǒng)、對(duì)話(huà)生成等自然語(yǔ)言處理(Natural Language Processing,NLP)領(lǐng)域研究及應(yīng)用的發(fā)展,令知識(shí)圖譜[1]及其相關(guān)技術(shù)的研究一直備受關(guān)注.知識(shí)圖譜是一種圖數(shù)據(jù)結(jié)構(gòu),其最小單元是兩個(gè)結(jié)點(diǎn)及其關(guān)系構(gòu)成的三元組.自然語(yǔ)言文本中包含大量由主體、客體及主客體之間關(guān)系構(gòu)成的(subject,relation,object)[2]關(guān)系三元組,它們呈現(xiàn)了文本中的基本關(guān)系事實(shí),是構(gòu)成知識(shí)圖譜的基本單位.通過(guò)關(guān)系三元組,可進(jìn)一步進(jìn)行知識(shí)推理等任務(wù),因此,抽取關(guān)系三元組是構(gòu)建大規(guī)模知識(shí)圖譜的一項(xiàng)重要而關(guān)鍵的基礎(chǔ)任務(wù).

早期的關(guān)系三元組抽取多為流水線(xiàn)方法[3,4],將抽取分為實(shí)體識(shí)別和關(guān)系分類(lèi)兩階段.首先識(shí)別實(shí)體對(duì)(subject,object),再進(jìn)行關(guān)系分類(lèi),由于兩階段任務(wù)分離,因此實(shí)體識(shí)別的誤差將傳播至關(guān)系分類(lèi)階段.后續(xù)研究提出了旨在同時(shí)提取實(shí)體和關(guān)系的聯(lián)合方法,但現(xiàn)有聯(lián)合方法普遍采用分離解碼和參數(shù)共享方法,較少著眼于實(shí)體抽取和關(guān)系抽取兩個(gè)任務(wù)的相關(guān)性進(jìn)行研究.2020年,Wei等[5]提出了一種級(jí)聯(lián)式聯(lián)合抽取模型,先抽取主體,再聯(lián)合抽取關(guān)系及客體.該方法在較好地解決實(shí)體重疊[6]問(wèn)題的同時(shí),還將主體信息引入到客體和關(guān)系抽取階段,通過(guò)主體識(shí)別和關(guān)系及客體識(shí)別兩個(gè)任務(wù)交互,改善了三元組抽取的性能.但該方法僅將主體與原文信息簡(jiǎn)單相加,對(duì)兩個(gè)子任務(wù)的交互形式單一.

總體來(lái)看,流水線(xiàn)方法難以避免誤差傳播問(wèn)題,其后的級(jí)聯(lián)式聯(lián)合模型既較好地解決了實(shí)體重疊問(wèn)題,也表明令級(jí)聯(lián)模型的主體識(shí)別和關(guān)系及客體識(shí)別兩個(gè)任務(wù)進(jìn)行交互,可以提升關(guān)系三元組抽取的性能,由此啟發(fā)了本文方法的提出.本文認(rèn)為,級(jí)聯(lián)式聯(lián)合抽取模型中的主體抽取、客體及關(guān)系抽取兩個(gè)任務(wù)存在相關(guān)性,可基于主體進(jìn)行信息融合,以提升關(guān)系三元組抽取的性能.這種融合含兩個(gè)層面,一是在主體中融入其位置信息以增強(qiáng)主體的表示,二是在文本中融入主體的信息以增強(qiáng)文本的表示.由此,提出了一種基于主體位置及注意力的信息聚合器(Position and Attention based Booster,PATB)用于關(guān)系三元組抽取任務(wù).本文的主要工作如下:

1)提出了融合位置信息的主體表示方法,將主體的編碼與其頭尾詞的位置編碼融合,更新主體表示;

2)引入注意力機(jī)制,計(jì)算抽取的主體對(duì)文本中各詞的注意力,由此將主體編碼融入文本中,更新文本表示.將更新后的主體及文本表示進(jìn)行融合,用于后續(xù)的客體及關(guān)系抽取;

3)分別在NYT和WebNLG兩個(gè)公共數(shù)據(jù)集上取得了優(yōu)于基線(xiàn)的實(shí)驗(yàn)結(jié)果.

2 相關(guān)工作

關(guān)系三元組抽取主要分流水線(xiàn)方法[7]和聯(lián)合抽取方法.流水線(xiàn)方法將三元組提取分為實(shí)體識(shí)別和關(guān)系提取兩階段,首先提取實(shí)體對(duì)(subject,object),再對(duì)其進(jìn)行關(guān)系分類(lèi).由于流水線(xiàn)方法的關(guān)系分類(lèi)訓(xùn)練使用帶標(biāo)簽的實(shí)體對(duì),但預(yù)測(cè)使用識(shí)別的實(shí)體對(duì),因此難以避免由實(shí)體識(shí)別誤差引起的關(guān)系分類(lèi)誤差.另外,流水線(xiàn)方法將實(shí)體和關(guān)系提取視為兩個(gè)獨(dú)立的子任務(wù),忽視了兩個(gè)任務(wù)的關(guān)聯(lián)性.后續(xù)研究提出了旨在同時(shí)提取實(shí)體和關(guān)系的聯(lián)合模型.Yu等[8]提出了一個(gè)基于無(wú)向、有條件訓(xùn)練的概率圖模型進(jìn)行實(shí)體和關(guān)系聯(lián)合抽取.Makoto Miwa等[9]用BIO(Begin,Inside,Outside)方法標(biāo)記句子中的詞項(xiàng),建立實(shí)體和關(guān)系表以獲得句子表示,將實(shí)體和關(guān)系抽取視為表格填充問(wèn)題.前述聯(lián)合模型雖能緩解流水線(xiàn)方法的誤差傳播問(wèn)題,但其實(shí)施需進(jìn)行復(fù)雜的特征工程.深度神經(jīng)網(wǎng)絡(luò)為聯(lián)合方法[10]提供了更廣泛的思路.Pankaj Gupta等[11]提出了一種多任務(wù)循環(huán)神經(jīng)網(wǎng)絡(luò)(Table Filling Multi-Task Recurrent Neural Network,TF-MTRNN),將句子序列送入循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)以獲得詞對(duì)間的候選依賴(lài)關(guān)系,再將候選依賴(lài)關(guān)系填入建模的表中,提升了實(shí)體識(shí)別及關(guān)系分類(lèi)的性能.Makoto Miwa等[12]提出了一種帶注意力的多層雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory,BiLSTM)進(jìn)行句子序列編碼,改進(jìn)了關(guān)系識(shí)別的性能.Zheng等[13]提出了一種序列標(biāo)記方法,為每個(gè)詞分配一個(gè)帶實(shí)體和關(guān)系類(lèi)型信息的標(biāo)簽,將實(shí)體關(guān)系抽取視為序列標(biāo)記問(wèn)題,但該方法只考慮一個(gè)實(shí)體屬于一個(gè)三元組的情況,未考慮實(shí)體重疊問(wèn)題.

為提升關(guān)系三元組抽取性能,解決實(shí)體重疊問(wèn)題也被研究者普遍關(guān)注.Zeng等[14]提出了一種序列到序列(Sequence-to-Sequence,Seq2Seq)的聯(lián)合模型,用端到端(End-to-End,End2End)的復(fù)制機(jī)制解決實(shí)體重疊問(wèn)題,其F1值較基線(xiàn)提升30%以上.Zeng等[2]將生成三元組視為強(qiáng)化學(xué)習(xí)過(guò)程,通過(guò)獎(jiǎng)勵(lì)策略令模型按照正確的事實(shí)生成三元組.T.Fu.等[15]提出了一種基于圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)的聯(lián)合抽取模型,通過(guò)BiLSTM和GCN依賴(lài)樹(shù),將句子的線(xiàn)性結(jié)構(gòu)和依賴(lài)結(jié)構(gòu)融入詞的表示中,在公共數(shù)據(jù)集NYT和WebNLG上獲得了優(yōu)于其基線(xiàn)的F1值.總體來(lái)看,基于深度神經(jīng)網(wǎng)絡(luò)的聯(lián)合抽取方法通過(guò)避免誤差傳播和解決實(shí)體重疊而提升了三元組提取的性能,但其研究多是用分離解碼和參數(shù)共享方法,對(duì)實(shí)體與關(guān)系間的內(nèi)在關(guān)系較少關(guān)注和應(yīng)用.

文獻(xiàn)[5]提出了一種級(jí)聯(lián)式抽取框架CasRel(Cascade Relation Extraction).CasRel將關(guān)系視為從主體映射到客體的函數(shù),先以半指針標(biāo)注形式提取主體,再用提取的主體和特定關(guān)系的標(biāo)記器來(lái)聯(lián)合提取客體及關(guān)系.CasRel較好地解決了實(shí)體重疊問(wèn)題,同時(shí),它通過(guò)簡(jiǎn)單相加的方式將主體信息引入關(guān)系及客體抽取階段,雖然其方式單一,但其思路仍對(duì)后續(xù)研究有啟發(fā)意義.與該思路同類(lèi)的研究還有Wang等[16]用雙編碼器融合詞序列信息和基于表格的特征信息進(jìn)行關(guān)系提取,Sui等[17]將多頭自注意力融入句子信息對(duì)關(guān)系三元組進(jìn)行集合預(yù)測(cè)等.這些研究表明,對(duì)聯(lián)合抽取模型,以某種方式將前一階段的信息融入下一階段,有助于提升關(guān)系三元組抽取的性能.

總體來(lái)看,聯(lián)合模型可以解決流水線(xiàn)方法的誤差傳播問(wèn)題,基于深度學(xué)習(xí)的聯(lián)合方法已被廣泛用于關(guān)系三元組抽取任務(wù).其中,文獻(xiàn)[5]的級(jí)聯(lián)式聯(lián)合抽取模型將主體信息簡(jiǎn)單引入客體及關(guān)系抽取階段,為級(jí)聯(lián)模型中兩階段任務(wù)的交互提供了思路,啟發(fā)了本文提出基于主體位置及注意力的PATB信息聚合器,用于級(jí)聯(lián)式關(guān)系三元組聯(lián)合抽取.

3 信息融合方法分析

文獻(xiàn)[5]的研究表明,對(duì)抽取主體與抽取客體及關(guān)系這兩級(jí)任務(wù)的相關(guān)性加以利用,可提升關(guān)系三元組抽取的性能,這啟發(fā)了本文提出融合主體的信息聚合器PATB.PATB的工作主要有二:1)在主體中融入其位置信息以增強(qiáng)主體的表示;2) 在文本中融入主體信息以增強(qiáng)文本的表示.以下3.1及3.2小節(jié)闡述了主體的位置及主體信息對(duì)關(guān)系三元組抽取的影響.

3.1 主體的位置分析

在自然語(yǔ)言文本中,主體與客體的相對(duì)位置可能隨關(guān)系不同呈不同分布.例如,對(duì)表1的關(guān)系“family”,其句子S1的主體“Almond”與客體“Rosaceae”的詞距為4,句子S2的主體“Celery”與客體“Apiaceae”的詞距為5,主客體的位置距離均較近.對(duì)關(guān)系“club”,其句子S3中主體“Marcolini”與客體“Verona”的詞距為22,句子S4的主體“Panucci”與客體“Roma”的詞距為15.可見(jiàn),對(duì)關(guān)系“family”和“club”,前者的主客體詞距總體大于后者,表明主體的位置與客體及關(guān)系存在顯著相關(guān)性.

為進(jìn)一步觀(guān)察主體位置與關(guān)系及客體的相關(guān)性,本文分析了NYT數(shù)據(jù)集中主體s與客體o的相對(duì)位置.令pos(s)、pos(o)分別表示s與o在文本中的絕對(duì)位置,so表示s與o的位置關(guān)系,so描述如式(1)所示:

(1)

表1 主客體位置詞距示例Table 1 Example of subject object position word spacing

其中,pos1、pos2和pos3分別表示s與o在句中絕對(duì)位置的詞距為小于10、10～20及20詞以上.對(duì)NYT數(shù)據(jù)集中預(yù)定義的24種關(guān)系中的s與o按式(1)進(jìn)行統(tǒng)計(jì),結(jié)果如圖1所示.可見(jiàn),各關(guān)系中主客體的位置均以pos1居多,其詞距為10詞以?xún)?nèi),但總體詞距分布并不一致.例如關(guān)系r1中距離為pos3的主客體對(duì)比例顯著低于關(guān)系r13.

圖1 NYT數(shù)據(jù)集各關(guān)系中的主客體的詞距分布Fig.1 Word spacing distribution of subject and object in each relationship of NYT dataset

進(jìn)一步觀(guān)察關(guān)系r1、r14、r24的so分布情況如圖2所示.可見(jiàn)關(guān)系r1中,主客體的詞距在10詞內(nèi)的為10～20詞的7.4倍,而關(guān)系r14中僅為1.1倍.關(guān)系r1和r14的詞距為10～20詞的是20詞以上的1.3和2.6倍,但關(guān)系r24僅為0.77倍.顯然,對(duì)任意一種關(guān)系r,存在條件概率P(so|r),因此根據(jù)貝葉斯法則P(r|so)-P(so|r)P(r),在已知主體時(shí),可根據(jù)其位置進(jìn)一步推斷關(guān)系r.主體的位置對(duì)識(shí)別客體也有同樣的影響.由此,本文提出在識(shí)別出主體后,在主體的表示中融入其位置信息,得到融合位置信息的主體表示,進(jìn)一步用于客體和關(guān)系提取.

圖2 NYT數(shù)據(jù)集中關(guān)系r1、r14和r24的主客體詞距分布Fig.2 Word spacing distribution of subject and object of relationshipr1,r14 and r24 in NYT dataset

3.2 主體與文本的注意力關(guān)系分析

文本中的同一對(duì)主體和客體在不同的上下文語(yǔ)境下可能存在不同關(guān)系,如表2所示.

表2 同一對(duì)主客體間的不同關(guān)系示例Table 2 Examples of same subject and object under different relationships

表2中,句子S1和S2的主體均為“The Great Wall”,客體均為“China”,但二者在S1中的關(guān)系是“l(fā)ocated in”,在S2中的關(guān)系是“belongs to”.分析其原因,在S1中,“The Great Wall”和“China”的關(guān)系較多受詞“l(fā)ocated”影響,而在S2中則較多受“of”的影響.這表明,對(duì)同一個(gè)主體,如果關(guān)注文本中不同的詞,可能捕獲該主體在不同關(guān)系下所對(duì)應(yīng)的不同客體.因此,在提取到主體后,建立主體與文本中各詞的注意力關(guān)系,通過(guò)注意力將主體信息融入文本的表示中,有利于捕獲同一主體在不同關(guān)系下的客體,這為解決實(shí)體關(guān)系重疊問(wèn)題提供了思路.

綜上,關(guān)系三元組中的主體在文本中的位置,以及主體與文本中各詞的注意力,對(duì)進(jìn)一步提取關(guān)系和客體有顯著影響.由此,本文基于Wei等的級(jí)聯(lián)式抽取框架,構(gòu)建了一個(gè)融合主體信息的信息聚合器PATB.PATB在抽取到主體后,一是通過(guò)位置增強(qiáng)主體的表示,二是通過(guò)計(jì)算主體與文本詞的注意力增強(qiáng)文本的表示,由此加強(qiáng)級(jí)聯(lián)模型兩階段的交互,提升關(guān)系三元組抽取的性能.

4 PATB實(shí)體關(guān)系聯(lián)合抽取模型

基于PATB的實(shí)體關(guān)系了聯(lián)合抽取模型如圖3所示,它是級(jí)聯(lián)式聯(lián)合抽取模型,含主體抽取器(Subject Extracter)、信息聚合器PATB及關(guān)系—客體抽取器(Relation-Object Extracter)三層結(jié)構(gòu).主體抽取器從文本中抽取主體,PATB對(duì)主體及文本表示進(jìn)行更新,將更新后的主體及文本表示送入關(guān)系—客體抽取器進(jìn)行客體和關(guān)系聯(lián)合抽取,得到完整的三元組.主體抽取器(Subject Extracter)檢測(cè)候選主體,將其開(kāi)始和結(jié)束位置分別標(biāo)為1.圖3中示例共有3個(gè)主體,Subject Extracter用3種不同灰度的方塊分別標(biāo)識(shí)主體A.Elliott Meisel,Washington和United States of American的起始和結(jié)束位置,每一個(gè)主體迭代地輸入PATB中.

模型訓(xùn)練目標(biāo)為最小化抽取關(guān)系三元組的真實(shí)概率和模型抽取三元組的實(shí)際概率間的差異,損失函數(shù)如式(2)所示:

(2)

其中,s、o和r分別表示主體、客體及主客體之間的特定關(guān)系,x表示文本,θ為訓(xùn)練參數(shù)集合,pθ為模型抽取關(guān)系三元組的概率,KL(p|pθ)表示真實(shí)概率p和pθ的KL散度.根據(jù)級(jí)聯(lián)式抽取思想,將式(2)建模為式(3):

(3)

其中,pθ(s|x)表示從文本中抽取主體的概率,pθ(o|s,x)表示根據(jù)已抽取的主體和原文本抽取客體的概率,pθ(o?|s,x)則表示根據(jù)已抽取的主體和原文本抽取客體為空的概率.

圖3 基于PATB的實(shí)體和關(guān)系聯(lián)合抽取級(jí)聯(lián)模型Fig.3 Cascade entity relationship extraction model based on PATB

4.1 BERT Encoder

預(yù)訓(xùn)練模型BERT[18]可通過(guò)學(xué)習(xí)詞的上下文語(yǔ)義獲得文本語(yǔ)義的深層表示,在許多深度學(xué)習(xí)任務(wù)中[19]有優(yōu)秀表現(xiàn),也被廣泛應(yīng)用于實(shí)體關(guān)系抽取任務(wù)[20].本文用BERT對(duì)文本進(jìn)行編碼,為加速收斂,防止梯度消失或爆炸,將BERT編碼器的輸出送入歸一化層(Layer Normalization),如式(4)所示:

H=LN(BERT(X))

(4)

其中,X={x1,x2,x3,…,xn}表示文本的詞序列,n為文本的詞數(shù),LN表示歸一化層,H表示經(jīng)過(guò)BERT編碼和歸一化后的文本表示,H={h1,h2,h3,…,hn},H∈b×l×d,b表示訓(xùn)練批次,l表示文本長(zhǎng)度,d表示BERT最后一層隱藏層的維度.

4.2 主體抽取器

主體抽取器用于從BERT編碼器產(chǎn)生的向量編碼中抽取出主體.它將識(shí)別主體的起始、結(jié)束位置分別視為二分類(lèi)問(wèn)題,用兩個(gè)相同的二進(jìn)制分類(lèi)器,分別識(shí)別主體的起始和結(jié)束位置.如果詞xi所處位置i被識(shí)別為主體起始或結(jié)束位置,則將該位置標(biāo)為1,否則標(biāo)為0,如式(5)、式(6)所示:

(5)

(6)

(7)

4.3 PATB信息聚合器

PATB信息聚合器對(duì)抽取的主體及文本的表示進(jìn)行重編碼,用于進(jìn)行下一階段的關(guān)系及客體抽取.

4.3.1 主體-文本注意力機(jī)制

為捕獲主體與文本的詞在不同關(guān)系下的語(yǔ)義相關(guān)性,本文引入了注意力機(jī)制.對(duì)抽取的主體,建立主體與文本各詞的注意力關(guān)系,通過(guò)不同程度地融入主體與文本在特定關(guān)系下的潛在客體的語(yǔ)義,增強(qiáng)文本的信息表示.

為進(jìn)行注意力計(jì)算,首先對(duì)主體表示S進(jìn)行維度變換.分別對(duì)其起始和結(jié)束位置的詞向量進(jìn)行維度轉(zhuǎn)換和拼接,如式(8)所示:

S′=CAT[EX(hsta),EX(hend)]

(8)

其中,hsta和hend分別為S′的起始和結(jié)束位置的詞向量表示,EX表示將hsta和hend擴(kuò)充成與文本向量H相同維度,CAT表示向量拼接.經(jīng)過(guò)式(8),得到與文本表示H維度相同的主體表示S′∈b×l×d,對(duì)S′與H進(jìn)行注意力計(jì)算如式(9)～式(11)所示:

Att(S′,H)=HS′T

(9)

(10)

(11)

其中,Att為S′與H的點(diǎn)積注意力,α是經(jīng)softmax函數(shù)后的注意力分布.首先計(jì)算S′對(duì)文本每個(gè)詞的點(diǎn)積注意力,再經(jīng)softmax得到S′對(duì)文本中每個(gè)詞的注意力分布α,最后將α與S′的點(diǎn)積結(jié)果與H相加,得到新的文本表示H′.該過(guò)程將主體信息以注意力的形式加權(quán)到文本信息中,在主體與潛在的客體間建立關(guān)聯(lián),實(shí)現(xiàn)了主體信息與文本信息的融合.

4.3.2 Conditional Layer Normalization

受圖像處理中的多信息融合結(jié)構(gòu)(Conditional Batch Normalization,CBN)啟發(fā),Zhang等[21]提出了一種條件層歸一化方法(Conditional Layer Normalization,CLN),其結(jié)構(gòu)如圖4所示.

圖4 CLN結(jié)構(gòu)Fig.4 CLN structure

對(duì)輸入的文本特征x,CLN對(duì)歸一化結(jié)構(gòu)層中偏置項(xiàng)γ和權(quán)重項(xiàng)β增加一個(gè)條件函數(shù)c.將條件函數(shù)c通過(guò)不同的線(xiàn)性映射,分別轉(zhuǎn)換為與LN中權(quán)重項(xiàng)γ和偏置項(xiàng)β相同維度,以此體現(xiàn)條件信息,控制模型輸出方向,得到新的x的表示.CLN的計(jì)算如式(12)所示:

(12)

其中,x為待歸一化的文本,E[x]和Var[x]分別為x的均值和方差.為防止分母為0出現(xiàn)計(jì)算錯(cuò)誤,ε表示一個(gè)大于0的極小常數(shù),cγ和cβ分別為添加在權(quán)重項(xiàng)γ和偏置項(xiàng)β上的條件.本文將CLN引入PATB,以文本表示H′為輸入,以主體表示S′為條件.需要注意的是,cγ和cβ均為主體表示S′,引導(dǎo)模型以主體的表示為輸出方向,得到新的文本表示,如式(13)所示:

H″=CLN(H′,S′)

(13)

其中,H″為通過(guò)CLN模塊融合主體表示S′后的新的文本表示.

4.3.3 位置信息增強(qiáng)

如前文3.1小節(jié)所述,主體的位置與客體及關(guān)系密切相關(guān),為此,提出了融合位置信息的主體表示方法.計(jì)算主體起始詞和結(jié)束詞的位置向量,將位置向量與主體表示S′拼接,再輸入BiLSTM[22],得到融合位置信息的新的主體表示,計(jì)算過(guò)程如式(14)所示:

S″=BiLSTM([S′:psta:pend])

(14)

其中,S″表示經(jīng)位置信息重編碼后的主體表示,psta和pend分別表示主體的起始詞和結(jié)束詞的位置向量.

將融合主體信息的文本表示H″和融合位置信息的主體的表示S″相加,得到新的文本表示HS,如式(15)所示:

HS=add(H″,S″)

(15)

其中,HS∈b*l*d,將HS輸入關(guān)系—客體抽取器(Relation-Object Extracter)用于關(guān)系和客體的聯(lián)合抽取.

4.4 關(guān)系—客體抽取器

為解決實(shí)體重疊問(wèn)題,Wei等提出了一種關(guān)系—客體聯(lián)合抽取方法,它由一組特定于關(guān)系的客體標(biāo)記器組成.對(duì)主體抽取器提取的主體s,客體標(biāo)記器對(duì)每一種關(guān)系r,分別識(shí)別s在關(guān)系r下可能的客體的起始位置和結(jié)束位置,將起始位置標(biāo)為1,否則標(biāo)為0,最后將起始和結(jié)束位置間的文本片段識(shí)別為客體.顯然,由于是對(duì)每一類(lèi)關(guān)系r分別識(shí)別s可能的客體,因此,客體與關(guān)系是聯(lián)合確定的,標(biāo)識(shí)了s的客體,也就同時(shí)確定了s與客體的關(guān)系r.客體起始、結(jié)束位置判別方法如式(16)、式(17)所示:

(16)

(17)

(18)

4.5 損失函數(shù)

基于PATB的抽取模型是二級(jí)級(jí)聯(lián)結(jié)構(gòu),模型首先抽取主體,再在所有關(guān)系中分別抽取主體所對(duì)應(yīng)的客體,由此聯(lián)合確定客體和關(guān)系.因此,模型以聯(lián)合方式進(jìn)行訓(xùn)練,其損失函數(shù)如式(19)所示:

(19)

其中,pθ(s|x)表示抽取主體的概率,pθ(o|s,x)表示根據(jù)抽取的主體和原文本抽取客體的概率.

5 實(shí)驗(yàn)結(jié)果及分析

5.1 數(shù)據(jù)集

本文實(shí)驗(yàn)在NYT和WebNLG兩個(gè)公共數(shù)據(jù)集上進(jìn)行.數(shù)據(jù)集的構(gòu)成如表3所示.

表3 NYT與WebNLG數(shù)據(jù)統(tǒng)計(jì)Table 3 Statistics of NYT and WebNLG

NYT最初用于遠(yuǎn)程關(guān)系抽取任務(wù),其數(shù)據(jù)集含24種關(guān)系類(lèi)型.其中,訓(xùn)練集的文本數(shù)為56195,測(cè)試集文本數(shù)為5000,驗(yàn)證集文本數(shù)為5000.WebNLG最初用于自然語(yǔ)言生成任務(wù),含246種關(guān)系類(lèi)型,其中,訓(xùn)練集句子數(shù)為5019,測(cè)試集句子數(shù)為703,驗(yàn)證集為500.兩個(gè)數(shù)據(jù)集都有重疊的關(guān)系三元組,有3類(lèi)不同的關(guān)系模式,分別是正常的關(guān)系三元組(Normal)、實(shí)體對(duì)重疊(Entity Pair Overlap,EPO)和單一實(shí)體重疊(Single Entity Overlap,SPO),由此將句子分為#Normal、#EPO、#SEO 3類(lèi).需要注意的是,一個(gè)文本可能同時(shí)包含EPO和SEO兩類(lèi)重疊關(guān)系.

5.2 實(shí)驗(yàn)設(shè)置

對(duì)本文實(shí)驗(yàn)的參數(shù),BERT編碼器用keras版本的BERTbase(cased)作為預(yù)訓(xùn)練模型,主體抽取器和關(guān)系—客體抽取器的閾值σ和τ均設(shè)置為0.5.對(duì)PATB信息聚合器,其BiLSTM的隱層維度設(shè)置為768.訓(xùn)練使用Adam優(yōu)化器,學(xué)習(xí)率和批量大小分別設(shè)置為1e-5和6,設(shè)置dropout為0.25,所有超參數(shù)都在驗(yàn)證集上進(jìn)行了調(diào)整.實(shí)驗(yàn)在顯卡設(shè)備N(xiāo)VIDIA GeForce RTX 3090 Ti上進(jìn)行.實(shí)驗(yàn)用精確率(Pre.)、召回率(Re.)和F1值來(lái)評(píng)價(jià)方法性能.

(20)

(21)

(22)

其中,T表示預(yù)測(cè)正確的三元組數(shù),P表示預(yù)測(cè)到的三元組數(shù),G表示目標(biāo)三元組數(shù).對(duì)精確率指標(biāo)Pre.,僅當(dāng)提取的三元組(s,r,o)在其關(guān)系及主體和客體的最后一個(gè)單詞正確時(shí)才被視為正確.

5.3 實(shí)驗(yàn)結(jié)果與分析

5.3.1 PATB與現(xiàn)有方法比較

為評(píng)估PATB的效果,本文選擇以下有代表性的模型進(jìn)行比較:

CopyR:Zeng等[14]提出的利用復(fù)制機(jī)制的End2End關(guān)系抽取模型.

GraphRel:Tsu-Jui Fu等[15]提出的基于關(guān)系圖結(jié)構(gòu)的關(guān)系抽取模型.

CopyRRL:Zeng等[2]提出的將強(qiáng)化學(xué)習(xí)用于關(guān)系三元組生成的End2End模型.

CasRel:Wei等[5]提出的二進(jìn)制標(biāo)記級(jí)聯(lián)模型.

DualDec:Ma等[23]于2021年在CasRel基礎(chǔ)上進(jìn)行改進(jìn),提出一種改變關(guān)系三元組抽取順序的聯(lián)合抽取模型.

以上模型與PATB在NYT和WebNLG數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表4所示.

表4 NYT和WebNLG數(shù)據(jù)集上不同方法的實(shí)驗(yàn)結(jié)果Table 4 Experimental results(%)of different methods on NYT and WebNLG data sets

從表4可見(jiàn),PATB在NYT和WebNLG數(shù)據(jù)集上取得了優(yōu)于其他基線(xiàn)的結(jié)果.對(duì)NYT數(shù)據(jù)集,本文方法的精確率為90.3%、召回率為91.5%,F1值為90.9%,F1值較CasRel提高1.3%,較DualDec方法提高0.4%.本文方法在WebNLG數(shù)據(jù)集上的精確率為93.6%,召回率為91.4%,F1值為92.5%,其F1值較CasRel提高0.7%,較DualDec方法提高2.5%.實(shí)驗(yàn)結(jié)果表明,本文提出的PATB信息聚合器對(duì)提升關(guān)系抽取的整體性能有積極影響.

5.3.2 消融實(shí)驗(yàn)

為評(píng)價(jià)融合主體位置信息及融合主體與上下文的注意力信息對(duì)PATB方法性能的影響,本文在數(shù)據(jù)集WebNLG上進(jìn)行消融實(shí)驗(yàn),結(jié)果如表5所示.其中,PATBPos表示僅融合主體的位置信息,PATBAtt表示僅融合主體與上下文的注意力信息.

表5 PATB在數(shù)據(jù)集WebNLG中的消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experimental results(%)of PATB in WebNLG

從表5可見(jiàn),PATB在僅融合主體的位置信息和僅融合主體與上下文的注意力信息時(shí),多數(shù)評(píng)價(jià)指標(biāo)都有不同程度的下降,但是與表4中基線(xiàn)模型CasRel相比,F1值仍然獲得了提升,表明PATB所提出的兩種信息增強(qiáng)方法均能夠提高模型性能.PATB在僅融合主體位置信息時(shí),精確率、召回率和F1值分別為93.0%,91.1%和92.1%,精確率和召回率都略有下降,但精確率仍然保持93%左右.PATB在僅融合主體與上下文的注意力信息時(shí),精確率、召回率和F1值分別為92.1%,91.7%和91.9%,精確率下降明顯,而召回率不降反升.實(shí)驗(yàn)結(jié)果表明,僅融合主體位置信息時(shí),上下文中添加了主體位置,由前文3.1分析的主客體位置關(guān)系對(duì)于抽取關(guān)系三元組的影響,且上下文中未添加其他語(yǔ)義信息,故對(duì)于精確率影響和召回率的均較小.僅融合上下文的注意力信息時(shí),上下文中融入了主體,包含了額外的語(yǔ)義信息,故可能影響抽取的精確率.從實(shí)驗(yàn)結(jié)果總體來(lái)看,兩種信息融合方法相互影響,故而從整體上提升了PATB方法提取關(guān)系三元組的性能.

5.3.3 信息聚合對(duì)單一元素的影響

為進(jìn)一步分析PATB信息聚合器對(duì)提取關(guān)系三元組中各元素性能的影響,本文分別對(duì)比了PATB與CasRel在NYT和WebNLG數(shù)據(jù)集上進(jìn)行單一元素抽取的性能,實(shí)驗(yàn)結(jié)果如表6所示,其中,(s,o)表示僅評(píng)測(cè)抽取主體及客體,不考慮關(guān)系;(r)表示僅評(píng)測(cè)關(guān)系,不考慮主體與客體;(s,r,o)表示評(píng)測(cè)整個(gè)關(guān)系三元組.

表6 分別抽取關(guān)系三元組中不同元素的F1值Table 6 F1 scores of extracting each element of the triples

從表6可見(jiàn),PATB與CasRel在NYT和WebNLG兩個(gè)數(shù)據(jù)集上的對(duì)比無(wú)論對(duì)單獨(dú)抽取主客體(s,o),還是單獨(dú)抽取關(guān)系(r),其F1值都提高近0.5%.從抽取整個(gè)三元組(s,r,o)的效果看,本文方法分別較CasRel提高1.3%和0.7%.實(shí)驗(yàn)表明,利用PATB進(jìn)行信息重編碼,增強(qiáng)了主體及原文編碼的表示能力,能夠提升抽取客體的召回率及精確率,F1獲得提高,且PATB捕獲了關(guān)系三元組中各個(gè)不同元素之間的語(yǔ)義聯(lián)系,利用注意力機(jī)制將主體信息融入上下文中,加強(qiáng)了主客體之間的關(guān)聯(lián),有利于在重編碼的文本表示中識(shí)別出客體.

5.3.4 信息聚合對(duì)實(shí)體重疊問(wèn)題的影響

為觀(guān)察添加PATB信息聚合器后,是否影響模型提取重疊關(guān)系三元組的能力,本文分別在NYT和WebNLG數(shù)據(jù)集上,對(duì)包含Normal、EPO和SEO 3種不同關(guān)系模式的測(cè)試數(shù)據(jù)進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖5所示.可見(jiàn),由于Normal、EPO和SEO對(duì)應(yīng)的重疊模式越來(lái)越復(fù)雜,除CasRel方法外,其余基線(xiàn)方法在3種重疊關(guān)系上的F1值均逐漸下降,但PATB方法在3種模式的測(cè)試數(shù)據(jù)上都取得了穩(wěn)定的F1值,且在EPO和SPO情況下,F1值多數(shù)在90%以上,比無(wú)實(shí)體重疊Normal時(shí)效果更好.可見(jiàn),在存在實(shí)體關(guān)系重疊的復(fù)雜語(yǔ)境中,PATB反而進(jìn)一步提升了三元組抽取的性能.分析其原因,由于PATB建立了同一對(duì)主體、客體在不同關(guān)系下的注意力,由此對(duì)各類(lèi)關(guān)系下的潛在客體進(jìn)行不同程度地信息融合,提升了原文對(duì)主體、客體在不同關(guān)系下的語(yǔ)義表示,令PATB在各類(lèi)重疊情況下仍能保持穩(wěn)定的提取性能.

圖5 對(duì)重疊程度不同的句子提取三元組的F1值情況Fig.5 Extracts the F1 score of triples from sentences with different degrees of overlap

5.3.5 信息聚合對(duì)提取多個(gè)三元組的影響

為觀(guān)察PATB方法在復(fù)雜語(yǔ)境下的抽取性能,本文驗(yàn)證了PATB在每一個(gè)包含不同關(guān)系三元組數(shù)量的文本中的抽取性能.實(shí)驗(yàn)將測(cè)試數(shù)據(jù)分為5類(lèi),分別是每個(gè)文本中含1～5個(gè)三元組的情況,實(shí)驗(yàn)結(jié)果如圖6所示.

圖6 對(duì)含不同關(guān)系三元組個(gè)數(shù)的文本提取的F1值Fig.6 Extracts F1 scores of triples from sentences with different numbers of triples

從對(duì)比結(jié)果可見(jiàn),隨著文本中三元組個(gè)數(shù)增加,大部分基線(xiàn)模型的F1值呈下降趨勢(shì),但PATB方法未受到明顯影響,F1值依然高于基線(xiàn)方法.尤其是,當(dāng)文本中含5個(gè)及以上的關(guān)系三元組時(shí),PATB在兩個(gè)數(shù)據(jù)集上的F1值仍能分別達(dá)到88.9%和92.7%,相較基線(xiàn)方法分別高出5.2%和1.8%.實(shí)驗(yàn)結(jié)果表明,由于PATB通過(guò)主體位置、主體與原文的詞注意力,增強(qiáng)了主體及原文的信息表示,令抽取客體時(shí)的文本序列中包含更加豐富的三元組關(guān)聯(lián)信息,因此,即使文本中關(guān)系三元組數(shù)量逐漸增加,模型仍然可以維持不錯(cuò)的效果.可見(jiàn),在復(fù)雜語(yǔ)言結(jié)構(gòu)的語(yǔ)境下,PATB方法仍可發(fā)揮良好的關(guān)系三元組提取性能.

6 總 結(jié)

在關(guān)系三元組抽取任務(wù)中,文本及詞的編碼信息的豐富性和完善程度,對(duì)任務(wù)的最終性能影響至關(guān)重要.現(xiàn)有實(shí)體關(guān)系抽取研究雖已取得豐富成果,但在級(jí)聯(lián)式三元組抽取中,對(duì)實(shí)體抽取與客體及關(guān)系抽取兩階段任務(wù)的交互存在不足,對(duì)實(shí)體的位置及上下文語(yǔ)義信息的運(yùn)用尚不充分,為此,提出了一種融合主體位置和上下文注意力的信息聚合器PATB,用于改善主體和文本的表示,由此構(gòu)建了級(jí)聯(lián)式實(shí)體關(guān)系聯(lián)合抽取模型.首先抽取主體,再以PATB分別融合主體的位置、融合主體與上下文的注意力信息,對(duì)主體和文本的表示進(jìn)行增強(qiáng),進(jìn)一步進(jìn)行客體及關(guān)系的聯(lián)合抽取.實(shí)驗(yàn)表明,基于PATB的級(jí)聯(lián)式實(shí)體關(guān)系抽取方法在NYT和WebNLG數(shù)據(jù)集上均取得了優(yōu)于基線(xiàn)方法的F1值,在Normal、EPO和SEO這3類(lèi)重疊模式上的F1值也優(yōu)于基線(xiàn)方法,且在包含多三元組文本的抽取任務(wù)中的抽取性能較基線(xiàn)方法更為穩(wěn)定.在下一步工作中,在抽取主體時(shí),考慮不僅抽取主體的起始和結(jié)束詞作為主體的表示,而是抽取完整的主體用于后續(xù)的信息融合;并嘗試將PATB用于其他結(jié)構(gòu)復(fù)雜的文本中,如文檔級(jí)等需考慮上文語(yǔ)義關(guān)系的實(shí)體關(guān)系抽取任務(wù)中.