基于實(shí)體圖路徑聚合的多實(shí)體關(guān)系抽取

喬晶晶，溫 政，段利國(guó)+，王 莉

(1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 太原 030024；2.太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 太原 030024)

0 引 言

實(shí)體關(guān)系抽取是自然語(yǔ)言處理(NLP)領(lǐng)域中信息抽取的一個(gè)重要子任務(wù)，其目的是抽取命名實(shí)體之間的語(yǔ)義關(guān)系，廣泛應(yīng)用于知識(shí)庫(kù)構(gòu)建、語(yǔ)義搜索、智能問(wèn)答等領(lǐng)域，受到了研究者的廣泛關(guān)注。關(guān)系類(lèi)型確定的關(guān)系抽取通過(guò)給實(shí)體對(duì)劃分一個(gè)預(yù)先定義好的關(guān)系類(lèi)型完成關(guān)系抽取任務(wù)。已有的研究大多在僅包含一個(gè)標(biāo)注實(shí)體對(duì)的句子中進(jìn)行關(guān)系抽取，這種情況過(guò)于理想化，現(xiàn)實(shí)句子中往往包含多個(gè)實(shí)體。多實(shí)體關(guān)系抽取的相關(guān)研究仍處于起步階段，其研究對(duì)構(gòu)建商業(yè)應(yīng)用并落地具有重要的意義。

本文針對(duì)多實(shí)體關(guān)系抽取進(jìn)行研究，主要貢獻(xiàn)如下：① 提出一種基于神經(jīng)網(wǎng)絡(luò)的多實(shí)體關(guān)系抽取模型。②在基于實(shí)體圖的多實(shí)體關(guān)系抽取時(shí)提出一種具有良好解釋性的路徑聚合算法。③在ACE 2005英文數(shù)據(jù)集的關(guān)系抽取任務(wù)上取得了很好的效果。

1 相關(guān)工作

單一實(shí)體對(duì)關(guān)系抽取的研究方法主要分為基于知識(shí)工程和基于機(jī)器學(xué)習(xí)兩種?；谥R(shí)工程的方法高度依賴專(zhuān)家構(gòu)建的規(guī)則庫(kù)，通過(guò)與規(guī)則的匹配進(jìn)行關(guān)系抽取。這種方法的優(yōu)點(diǎn)是在限定領(lǐng)域表現(xiàn)卓越，缺點(diǎn)是構(gòu)建規(guī)則過(guò)度依賴專(zhuān)家知識(shí)和經(jīng)驗(yàn)，因此工作量巨大，而且領(lǐng)域界限明顯，通用性不足。

越來(lái)越多的研究者將機(jī)器學(xué)習(xí)的方法應(yīng)用于關(guān)系抽取。一種方法是基于特征的方法，結(jié)合啟發(fā)式方法提取詞匯、句法、語(yǔ)義等特征，對(duì)特征向量化，利用機(jī)器學(xué)習(xí)算法完成關(guān)系抽取。實(shí)體詞義、詞性、相鄰實(shí)體信息等詞匯特征，語(yǔ)塊、句法樹(shù)等句法特征，實(shí)體類(lèi)型、語(yǔ)義角色等語(yǔ)義特征被關(guān)系抽取研究者廣泛采用，特別是多特征融合對(duì)關(guān)系抽取性能的提升效果明顯?；诤撕瘮?shù)的方法通過(guò)核函數(shù)比較語(yǔ)料之間的句法結(jié)構(gòu)相似性進(jìn)行關(guān)系分類(lèi)，節(jié)省了基于特征工程的方法構(gòu)建高維復(fù)雜特征工程的工作。常用的核函數(shù)有卷積核函數(shù)、實(shí)體對(duì)間最小公共子樹(shù)核函數(shù)、實(shí)體對(duì)間最短依存路徑核函數(shù)等。結(jié)構(gòu)信息的隱形特征中可能存在的噪聲、語(yǔ)義多樣性產(chǎn)生不同句法結(jié)構(gòu)樹(shù)、長(zhǎng)短語(yǔ)料處理能力不同等都影響該方法的性能。

近年來(lái)，基于深度學(xué)習(xí)的關(guān)系抽取方法成為主流。相關(guān)研究如下：文獻(xiàn)[1]從特定的標(biāo)記數(shù)據(jù)中學(xué)習(xí)到重要的特征，利用注意力機(jī)制計(jì)算句子中每個(gè)詞對(duì)于實(shí)體關(guān)系類(lèi)別的重要程度，將詞嵌入、詞性嵌入、位置嵌入作為卷積神經(jīng)網(wǎng)絡(luò)的輸入實(shí)現(xiàn)語(yǔ)義關(guān)系抽取。文獻(xiàn)[2]將關(guān)系抽取擴(kuò)展到了多種語(yǔ)言，考慮到多語(yǔ)言文本中信息的一致性和完整性，使用跨語(yǔ)言注意力機(jī)制，提出多語(yǔ)言神經(jīng)網(wǎng)絡(luò)關(guān)系抽取模型。由于遠(yuǎn)程監(jiān)督方法構(gòu)造的數(shù)據(jù)集中存在大量的噪聲，文獻(xiàn)[3]用生成式對(duì)抗網(wǎng)絡(luò)(GAN)來(lái)過(guò)濾數(shù)據(jù)，將生成器生成的正樣本視為負(fù)樣本，用以訓(xùn)練判別器，選擇判別器的判別能力達(dá)到最低時(shí)的生成器作為最優(yōu)的生成器，然后用這個(gè)生成器來(lái)過(guò)濾掉假陽(yáng)性句子，最終生成低噪聲的關(guān)系抽取數(shù)據(jù)集。針對(duì)傳統(tǒng)方法未考慮深度學(xué)習(xí)模型輸入與輸出之間相關(guān)性這一問(wèn)題，文獻(xiàn)[4]在長(zhǎng)短期記憶網(wǎng)絡(luò)模型中加入注意力機(jī)制，提取了更有效的文本特征，提高了關(guān)系抽取的準(zhǔn)確率。文獻(xiàn)[5]提出基于全局優(yōu)化的端到端關(guān)系抽取模型，充分考慮上下文的作用，通過(guò)雙仿射關(guān)注解析器的長(zhǎng)短期記憶網(wǎng)絡(luò)學(xué)習(xí)并獲取輸入句子的特征。孫紫陽(yáng)等[6]首先使用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)學(xué)習(xí)最短依存路徑的表示信息，然后用卷積神經(jīng)網(wǎng)絡(luò)在長(zhǎng)短期記憶網(wǎng)絡(luò)的輸出上訓(xùn)練分類(lèi)模型。文獻(xiàn)[7]提出一種基于最短依存路徑的雙通道深度學(xué)習(xí)模型，將使用Word2vec表示的句子最短依存路徑作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，將使用GloVe表示的句子最短依存路徑作為雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的輸入，拼接兩個(gè)網(wǎng)絡(luò)學(xué)習(xí)的特征，通過(guò)softmax分類(lèi)器得出所屬關(guān)系的類(lèi)型。實(shí)驗(yàn)結(jié)果表明結(jié)合順序記憶和卷積學(xué)習(xí)會(huì)有更好的效果。

多實(shí)體對(duì)的研究由于數(shù)據(jù)集匱乏、難度高，目前相關(guān)研究比較少，是關(guān)系抽取研究的新趨勢(shì)。已有的研究有：文獻(xiàn)[8]提出了采用復(fù)制機(jī)制的端到端模型，在New York Times(NYT)數(shù)據(jù)集和WebNLG數(shù)據(jù)集的多實(shí)體關(guān)系抽取上均取得不錯(cuò)的效果。常規(guī)的關(guān)系抽取都是先進(jìn)行命名實(shí)體識(shí)別，然后確定實(shí)體間的關(guān)系類(lèi)型。文獻(xiàn)[9]提供了新思路，在命名實(shí)體識(shí)別和關(guān)系抽取的聯(lián)合學(xué)習(xí)中，先進(jìn)行關(guān)系檢測(cè)，然后識(shí)別該關(guān)系的兩個(gè)實(shí)體；將任務(wù)分為關(guān)系指示符識(shí)別和關(guān)系中實(shí)體提取兩個(gè)分層強(qiáng)化學(xué)習(xí)過(guò)程，解決了關(guān)系抽取中一個(gè)句子存在多個(gè)關(guān)系和關(guān)系重疊的問(wèn)題。文獻(xiàn)[10]考慮了句子中不同實(shí)體之間的關(guān)聯(lián)，構(gòu)建有向圖并迭代的更新實(shí)體對(duì)之間邊的表示，為多實(shí)體關(guān)系抽取提供了新的啟發(fā)，文中提出的路徑聚合算法雖然取得了不錯(cuò)的效果，但缺乏可解釋性，不符合節(jié)點(diǎn)間路徑的定義。

本文基于以上研究，在實(shí)體間路徑聚合時(shí)提出一種方法，同時(shí)考慮實(shí)體間不同長(zhǎng)度的路徑，將相同長(zhǎng)度的路徑通過(guò)注意力機(jī)制表示成單一向量，不同長(zhǎng)度路徑的單一向量表示拼接，作為特征，進(jìn)行關(guān)系抽取。

2 關(guān)系抽取模型

本文研究多實(shí)體關(guān)系抽取，針對(duì)文獻(xiàn)[10]的路徑聚合算法可解釋性不足，不符合對(duì)路徑直觀理解這一情況，提出一種路徑聚合算法。在路徑聚合時(shí)將實(shí)體間不同長(zhǎng)度的路徑通過(guò)注意力機(jī)制聚合為單一向量，然后進(jìn)行關(guān)系抽取。圖1為多實(shí)體關(guān)系抽取的模型結(jié)構(gòu)，包含向量層、雙向LSTM層、實(shí)體對(duì)及實(shí)體對(duì)上下文提取層、邊表示層、路徑聚合層和分類(lèi)層。

2.1 向量層

向量層由兩部分組成：分別為詞向量和詞相對(duì)目標(biāo)實(shí)體對(duì)位置的位置向量。詞向量技術(shù)將詞語(yǔ)轉(zhuǎn)換成一個(gè)包含豐富語(yǔ)義信息的低維實(shí)值向量，語(yǔ)義相似的詞會(huì)有相似的詞向量，是基于深度學(xué)習(xí)的自然語(yǔ)言處理領(lǐng)域取得重大突破的關(guān)鍵技術(shù)。Word2vec是谷歌開(kāi)發(fā)的目前最為通用的詞向量預(yù)訓(xùn)練模型。由于本文實(shí)驗(yàn)數(shù)據(jù)集規(guī)模較小，在數(shù)據(jù)集上訓(xùn)練的詞向量不夠充分，語(yǔ)義表示能力差，因此本文使用Mikolov等用Word2Vec在Google News語(yǔ)料上訓(xùn)練得到的詞向量對(duì)語(yǔ)句鏡像向量化表示。詞相對(duì)目標(biāo)實(shí)體對(duì)位置的位置向量定義為文檔中的詞與兩個(gè)實(shí)體詞之間距離的向量化表示，對(duì)判別兩個(gè)實(shí)體之間的語(yǔ)義信息有所幫助。

2.2 BLSTM層

長(zhǎng)短期記憶網(wǎng)絡(luò)是一種特殊的RNN結(jié)構(gòu)，通過(guò)自適應(yīng)門(mén)控機(jī)制決定記憶單元保留上一級(jí)記憶狀態(tài)和提取當(dāng)前輸入特征的程度，可以處理RNN面臨的長(zhǎng)期依賴問(wèn)題。長(zhǎng)短期記憶網(wǎng)絡(luò)由遺忘門(mén)、輸入門(mén)、輸出門(mén)和記憶單元組成。雙向長(zhǎng)短期記憶網(wǎng)絡(luò)同時(shí)考慮前向和后向的詞信息，能夠捕捉雙向語(yǔ)義信息。本文將文檔中每個(gè)詞的詞向量表示輸入雙向長(zhǎng)短期記憶網(wǎng)絡(luò)，為每個(gè)詞編碼上下文信息，BLSTM網(wǎng)絡(luò)的輸出為考慮了詞序列信息的新的詞級(jí)別的向量表示。對(duì)于每個(gè)詞w，將LSTM網(wǎng)絡(luò)從左到右和從右到左的輸出進(jìn)行拼接，作為該詞的BLSTM表示，如式(1)所示

圖1 基于實(shí)體圖路徑聚合的多實(shí)體關(guān)系抽取模型

(1)

2.3 邊表示層

利用實(shí)體對(duì)及實(shí)體對(duì)上下文提取層得到的實(shí)體對(duì)及實(shí)體對(duì)上下文表示實(shí)體對(duì)之間的邊。假設(shè)實(shí)體對(duì)包含實(shí)體ei和ej，如果一個(gè)實(shí)體由多個(gè)詞組成，將這些詞的BLSTM表示的平均作為該實(shí)體的BLSTM表示，如式(2)所示，其中in為實(shí)體ei包含詞的個(gè)數(shù)，bik為實(shí)體ei的第k個(gè)詞的BLSTM向量表示

(2)

實(shí)體ei的向量表示由其BLSTM表示bi、實(shí)體類(lèi)型表示ti及其與實(shí)體ej相對(duì)位置的位置向量pij拼接而成。同理，表示ej時(shí)，使用其與ei的相對(duì)位置的位置向量pji。式(3)、式(4)所示為實(shí)體ei和實(shí)體ej的向量表示

vi=[bi;ti;pij]

(3)

vj=[bj;tj;pji]

(4)

實(shí)體對(duì)ei和ej的上下文詞wz由其BLSTM表示bz及相對(duì)實(shí)體ei和ej位置的位置向量pzi和pzj拼接而成，如式(5)所示

vijz=[bz;pzi;pzj]

(5)

將實(shí)體對(duì)不同上下文詞的表示通過(guò)注意力機(jī)制轉(zhuǎn)化為單一表示。過(guò)程為先計(jì)算每個(gè)上下文詞的權(quán)重，然后將其加權(quán)平均。如式(6)、式(7)、式(8)、式(9)所示

(6)

u=qTtanh(Cij)

(7)

α=softmax(u)

(8)

cij=CijαT

(9)

其中，m是上下文詞的個(gè)數(shù)，q是一個(gè)可訓(xùn)練的注意力向量，維數(shù)為dc，dc=db+2dp，db是上下文詞BLSTM表示的維數(shù)，dp是位置向量的維數(shù)。α是權(quán)重向量，cij為經(jīng)過(guò)加權(quán)平均的實(shí)體對(duì)上下文表示。

最后，拼接實(shí)體和實(shí)體對(duì)上下文的表示，作為節(jié)點(diǎn)i到節(jié)點(diǎn)j有向邊的向量表示，如式(10)所示

edgeij=[vi;vj;cij]

(10)

2.4 路徑聚合層

路徑聚合的目的是將實(shí)體對(duì)間不同長(zhǎng)度的路徑整合為單一表示，因此本文把文檔表示為有向圖，圖中的節(jié)點(diǎn)為文檔中的實(shí)體。當(dāng)實(shí)體個(gè)數(shù)為n時(shí)，兩個(gè)實(shí)體間的路徑長(zhǎng)度可以為1,2,3,…,n-1，選取路徑長(zhǎng)度為1,2,…,m(m

(11)

u=Wp·tanh(Pathj)

(12)

α=softmax(u)

(13)

pathj=PathjαT

(14)

圖2 路徑長(zhǎng)度為2時(shí)的路徑

當(dāng)某種路徑長(zhǎng)度的路徑不存在時(shí)，用零向量作為該路徑長(zhǎng)度的表示。最后，將不同路徑長(zhǎng)度的向量表示拼接，作為實(shí)體對(duì)間關(guān)系的表示，如式(15)所示

R=[path1,path2,…,pathl]

(15)

2.5 分類(lèi)層

將上一節(jié)考慮實(shí)體對(duì)、實(shí)體類(lèi)別、實(shí)體位置、實(shí)體上下文的實(shí)體對(duì)間關(guān)系的表示輸入到帶softmax分類(lèi)函數(shù)的全連接層，完成關(guān)系抽取，如式(16)所示。

y=softmax(Wr(R°r)+br)

(16)

其中，Wr∈Rnr×nb，nr表示關(guān)系類(lèi)型總數(shù)，nb表示路徑聚合后向量的維度，br是偏差向量，符號(hào)°表示逐元素相乘，r∈Rnr是服從概率為ρ的零一分布的遮掩向量。

模型的優(yōu)化目標(biāo)是最小化預(yù)測(cè)關(guān)系類(lèi)型與實(shí)際關(guān)系類(lèi)型之間的交叉熵?fù)p失函數(shù)。損失函數(shù)如式(17)所示

(17)

其中，Θ表示模型的超參數(shù)，S表示訓(xùn)練集中所有的實(shí)體對(duì)集合，yi取值為1或0，表示實(shí)體對(duì)s與關(guān)系類(lèi)別i對(duì)應(yīng)或不對(duì)應(yīng)。

模型使用dropout避免過(guò)擬合，使用反向傳播計(jì)算梯度，采用Adam優(yōu)化器進(jìn)行優(yōu)化。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文使用標(biāo)準(zhǔn)數(shù)據(jù)集ACE 2005評(píng)測(cè)基于實(shí)體圖路徑聚合的多實(shí)體關(guān)系抽取模型，該數(shù)據(jù)集包含來(lái)自博客、新聞稿、廣播等不同來(lái)源的599篇文檔，7種關(guān)系類(lèi)型，其中METONYMY、PER-SOC和PHYS是對(duì)稱的、沒(méi)有方向的，其余4種ART、GEN-AFF、ORG-AFF、PART-WHOLE是有方向的，加上Other類(lèi)型，共12種關(guān)系類(lèi)型。使用精確率、召回率和F1值作為評(píng)價(jià)標(biāo)準(zhǔn)。

3.2 超參數(shù)設(shè)置

本文從訓(xùn)練集中隨機(jī)劃分出1/10的數(shù)據(jù)作為驗(yàn)證集，在驗(yàn)證集上得出模型的超參數(shù)取值，見(jiàn)表1。

表1 模型超參數(shù)及取值

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 不同模型的結(jié)果分析

為充分驗(yàn)證基于實(shí)體圖路徑聚合的多實(shí)體關(guān)系抽取模型的性能，本文選擇近年來(lái)在ACE 2005數(shù)據(jù)集上進(jìn)行實(shí)體關(guān)系抽取取得較好成績(jī)的方法進(jìn)行比較。

Meishan Zhang等[5]提出全局優(yōu)化的關(guān)系抽取模型Global Optimization，該方法通過(guò)背景知識(shí)獲取語(yǔ)義信息，并且將其用于全局優(yōu)化。Miwa和Bansal[11]提出SPTree system，該方法在詞序列和依存樹(shù)結(jié)構(gòu)上堆疊雙向LSTM，在實(shí)體識(shí)別和關(guān)系抽取時(shí)共享權(quán)重參數(shù)。Fenian Christopoulou和Makoto Miwa[10]提出基于路徑聚合的方法Walk Aggregation，該方法在實(shí)體圖路徑聚合時(shí)采用線性變換，然后迭代地更新路徑。

表2為不同方法的實(shí)驗(yàn)結(jié)果對(duì)比。由表可知，隨著采用路徑長(zhǎng)度的增加，關(guān)系抽取的F1值會(huì)提高，在路徑長(zhǎng)度為4時(shí)，F(xiàn)1值最高，達(dá)到66.1，比Global Optimization方法高8.6，比SPTREE方法高0.8，比原始路徑聚合方法Walk Aggregation最高的F1值高1.9。表明本文提出的路徑聚合算法能夠有效抽取多實(shí)體關(guān)系。當(dāng)路徑長(zhǎng)度繼續(xù)增加時(shí)，F(xiàn)1值緩慢下降，經(jīng)過(guò)分析，可能原因如下：一方面，數(shù)據(jù)集中半數(shù)樣本包含5個(gè)及以下實(shí)體，這部分樣本路徑長(zhǎng)度小于等于4。若繼續(xù)增加對(duì)這部分樣本的路徑，反而會(huì)增加模型參數(shù)的數(shù)量，增大過(guò)擬合的風(fēng)險(xiǎn)，使模型在測(cè)試集上表現(xiàn)變差。另一方面，實(shí)體之間較短的路徑會(huì)蘊(yùn)含關(guān)系類(lèi)型信息，而過(guò)長(zhǎng)的路徑由于相隔距離遠(yuǎn)，可能不再包含關(guān)系類(lèi)型信息。

表2 不同算法實(shí)驗(yàn)結(jié)果對(duì)比

3.3.2 不同實(shí)體數(shù)目的結(jié)果分析

為探究本文方法在實(shí)體數(shù)目不同時(shí)的表現(xiàn)，本部分對(duì)實(shí)體數(shù)目不同時(shí)的F1值進(jìn)行分析，結(jié)果見(jiàn)表3。由表3，隨著句子中包含實(shí)體對(duì)數(shù)的增多，模型抽取效果下降，該結(jié)果符合常識(shí)，因?yàn)閷?shí)體對(duì)數(shù)多的句子中，不同實(shí)體錯(cuò)綜復(fù)雜，對(duì)關(guān)系抽取造成干擾。

圖3為實(shí)體數(shù)為4～6、6～12、12～23時(shí)的實(shí)驗(yàn)結(jié)果。由圖可知，路徑長(zhǎng)度從2增加到4時(shí)，F(xiàn)1值均有所提升，表明對(duì)于包含實(shí)體數(shù)目較多的文檔，當(dāng)路徑長(zhǎng)度增加時(shí)，由于本文方法充分考慮了實(shí)體間不同長(zhǎng)度路徑蘊(yùn)含的語(yǔ)義信息，能夠更好表示實(shí)體間的關(guān)系，抽取效果有所提升。

圖3 路徑長(zhǎng)度對(duì)結(jié)果的影響

3.3.3 不同關(guān)系類(lèi)型結(jié)果分析

為探究本文方法在不同關(guān)系類(lèi)別上的表現(xiàn)，本部分對(duì)除other類(lèi)之外的11種關(guān)系類(lèi)型的F1值進(jìn)行分析，實(shí)驗(yàn)結(jié)果如圖4所示，橫坐標(biāo)中大寫(xiě)字母為關(guān)系類(lèi)型首字母的縮寫(xiě)。

圖4 不同關(guān)系類(lèi)別上的實(shí)驗(yàn)結(jié)果

由圖4可知，由于關(guān)系類(lèi)型METONYMY和PHYS是對(duì)稱的，不需要考慮方向，比需要考慮方向的關(guān)系類(lèi)型容易判斷，所以其F1值最高。PER-SOC結(jié)果最差，經(jīng)過(guò)分析發(fā)現(xiàn)數(shù)據(jù)集中該關(guān)系類(lèi)型的樣本較少，導(dǎo)致學(xué)習(xí)不充分。

4 結(jié)束語(yǔ)

本文提出一種改進(jìn)的基于實(shí)體圖路徑聚合的多實(shí)體關(guān)系抽取模型，在基于實(shí)體圖的多實(shí)體關(guān)系抽取時(shí)，同時(shí)考慮實(shí)體間不同長(zhǎng)度的路徑，采用注意力機(jī)制聚合長(zhǎng)度相同的不同路徑，綜合不同路徑蘊(yùn)含的語(yǔ)義信息。實(shí)驗(yàn)結(jié)果表明，在ACE 2005數(shù)據(jù)集上，本文方法性能優(yōu)于當(dāng)前已有的方法。

與RNN相比，transformer有更強(qiáng)的捕獲長(zhǎng)距離特征的能力，并且訓(xùn)練速度更快。下一步，我們將嘗試使用transformer特征抽取器或者多層自注意力代替LSTM，用抽取的結(jié)果表示實(shí)體圖中的邊，以期進(jìn)一步提高多實(shí)體關(guān)系抽取效果。