基于BiLSTM-EPEA模型的實(shí)體關(guān)系分類

蔣麗媛 吳亞?wèn)| 張巍瀚 王書(shū)航

摘? 要： 提出一種基于實(shí)體注意力相加機(jī)制的關(guān)系抽取模型BiLSTM-EPEA。即通過(guò)BiLSTM（雙向的長(zhǎng)短期記憶網(wǎng)絡(luò)）對(duì)Glove表示的文本向量進(jìn)行特征提取，通過(guò)EPEA模塊分別計(jì)算每個(gè)字相對(duì)于第一個(gè)實(shí)體和第二個(gè)實(shí)體的注意力值，并將兩個(gè)有權(quán)重的語(yǔ)句序列逐位相加，最后利用Softmax函數(shù)劃分實(shí)體關(guān)系類別。通過(guò)實(shí)驗(yàn)證明，BiLSTM-EPEA相比于BiLSTM-ATT模型和RBERT模型，F(xiàn)1值分別提升了0.42%、1.47%，驗(yàn)證了模型的有效性。

關(guān)鍵詞： 關(guān)系類別劃分； BiLSTM-EPEA； 實(shí)體注意力相加機(jī)制； 長(zhǎng)短期記憶網(wǎng)絡(luò)

中圖分類號(hào)：TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）05-46-05

Entity relationship classification based on BiLSTM-EPEA model

Jiang Liyuan， Wu Yadong， Zhang Weihan， Wang Shuhang

（Sichuan University of Science & Engineering， Yibin， Sichuan 644002， China）

Abstract： In this paper， a relationship extraction model BiLSTM-EPEA based on entity attention summation mechanism is proposed. The text vector represented by Glove is extracted by BiLSTM， the attention value of each word relative to the first entity and the second entity is calculated separately by EPEA module， the two obtained sequences of weighted utterances are summed bit by bit， and finally the Softmax function is used to classify the entity relationship categories. It is demonstrated experimentally that the F1 value of BiLSTM-EPEA is improved by 0.42% and 1.47% compared with the BiLSTM-ATT model and RBERT model， respectively. The effectiveness of the model is verified.

Key words： relational category delineation; BiLSTM-EPEA; entity attention summation mechanism; LSTM

0 引言

關(guān)系抽取是知識(shí)圖譜構(gòu)建過(guò)程中一個(gè)重要環(huán)節(jié)，旨在從包含兩個(gè)實(shí)體的文本中，提取出兩個(gè)實(shí)體間存在的關(guān)系。通過(guò)構(gòu)成的三元組（實(shí)體1，實(shí)體2，關(guān)系）對(duì)文本進(jìn)行結(jié)構(gòu)化的表達(dá)。根據(jù)訓(xùn)練方式的不同，關(guān)系抽取可分為兩類：①遠(yuǎn)程監(jiān)督關(guān)系抽取；②全監(jiān)督關(guān)系抽取。遠(yuǎn)程監(jiān)督的方法，通過(guò)對(duì)外部知識(shí)庫(kù)對(duì)實(shí)體對(duì)之間的關(guān)系進(jìn)行實(shí)體對(duì)齊，其強(qiáng)假設(shè)造成了數(shù)據(jù)標(biāo)注錯(cuò)誤的問(wèn)題。在減少人力標(biāo)注的同時(shí)，也使得數(shù)據(jù)中的噪聲較大。全監(jiān)督關(guān)系抽取，實(shí)體已經(jīng)被標(biāo)注，關(guān)系抽取任務(wù)被視為一種多分類任務(wù)。重點(diǎn)在于如何提取文本中的特征以幫助關(guān)系類別的劃分。早期的關(guān)系分類是直接訓(xùn)練語(yǔ)句，從文本中提取特征進(jìn)行關(guān)系的分類。其文本多通過(guò)Skip-gram[1]和詞袋模型等[2-3]進(jìn)行表示，只利用了固定窗口內(nèi)的語(yǔ)料，而沒(méi)有充分利用所有的語(yǔ)料，并且忽視文本中的一些字對(duì)實(shí)體之間關(guān)系的表達(dá)有著重要作用。

為了能夠充分的利用到全局的字的信息并對(duì)表達(dá)實(shí)體關(guān)系的詞進(jìn)行強(qiáng)調(diào)，本文構(gòu)建了BiLSTM-EPEA模型。本文的主要貢獻(xiàn)在于：一是構(gòu)建了BiLSTM-EPEA模型，并將該模型應(yīng)用與實(shí)體關(guān)系類別劃分中，有效的提高了模型的運(yùn)行效率和效果；二是提出了實(shí)體注意力相加機(jī)制EPEA（Attention mechanism of entity1 plus entity2），通過(guò)計(jì)算每個(gè)字分別相對(duì)于實(shí)體1和實(shí)體2的注意力值，并將兩個(gè)注意力值相加，對(duì)實(shí)體1和實(shí)體2之間表達(dá)關(guān)系的字進(jìn)行強(qiáng)調(diào)；三是在公開(kāi)數(shù)據(jù)集SemEval 2010 Task8上進(jìn)行實(shí)驗(yàn)，并對(duì)模型進(jìn)行了消融實(shí)驗(yàn)，證明了模型的有效性。

1 相關(guān)工作

有監(jiān)督的關(guān)系抽取的效果提升主要有兩種方式。一是使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)文本向量進(jìn)行特征提取并加入特征；二是使用注意力機(jī)制對(duì)文本中的重要信息進(jìn)行強(qiáng)調(diào)。

1.1 對(duì)文本向量進(jìn)行特征提取并加入特征

2014年，Zeng[4]等人提出一個(gè)最大池化卷積神經(jīng)網(wǎng)絡(luò)來(lái)提供句子級(jí)表示并自動(dòng)提取句子級(jí)特征。Zhou[5]等人用BiLSTM來(lái)提取上下文的特征。隨著B(niǎo)ERT[6]模型的提出，Wu[7]等人采用BERT模型對(duì)句子進(jìn)行編碼，通過(guò)插入不同特殊的字符，將句子分成三部分，并對(duì)三部分的信息進(jìn)行編碼。

除了通過(guò)BiLSTM、CNN和RNN對(duì)文本特征進(jìn)行提取，許多學(xué)者還通過(guò)加入外部特征的方式來(lái)提高效率。如XU等人[8]加入了實(shí)體之間的最短路徑信息。但其忽略掉了最短路徑是一種特殊的結(jié)構(gòu)，每?jī)蓚€(gè)相鄰的詞都由依賴關(guān)系分隔，每個(gè)單詞設(shè)置上位詞的方式，不能學(xué)習(xí)到充足的依賴關(guān)系特征。Cai等人[9]則通過(guò)BiLSTM＋CNN的結(jié)構(gòu)，從前后兩個(gè)方向沿著最短路徑學(xué)習(xí)每個(gè)兩個(gè)相鄰單詞的局部特征。但其未考慮到文本中的一些字對(duì)實(shí)體之間關(guān)系的表達(dá)有著重要作用。

1.2 注意力機(jī)制的使用

除了加入特征，一些學(xué)者通過(guò)加入不同的注意力機(jī)制來(lái)提高分類效率。Wang等人[10]和Zhu等人[11]都采用了注意力機(jī)制去關(guān)注句子的關(guān)鍵部分。但其都沒(méi)有充分利用到實(shí)體的信息。

Ji等人[12]提出了句子級(jí)別的注意力機(jī)制用于選取有用的遠(yuǎn)程抽取實(shí)例并從Freebase和維基百科上抽取了實(shí)體描述信息，構(gòu)成（實(shí)體，實(shí)體描述）對(duì)。Jat等人[13]通過(guò)將每個(gè)詞的詞嵌入和每句話的第一個(gè)實(shí)體嵌入和第二個(gè)實(shí)體嵌入分別拼接，通過(guò)線性計(jì)算得到每個(gè)詞與實(shí)體的相關(guān)程度得分，實(shí)現(xiàn)實(shí)體注意力機(jī)制。但其是基于遠(yuǎn)程監(jiān)督關(guān)系抽取實(shí)現(xiàn)的。趙丹丹等人[14]加入了自注意力機(jī)制[15]用以計(jì)算句子中的每個(gè)字對(duì)于關(guān)系分類的重要程度。但其忽略了字對(duì)于實(shí)體關(guān)系類別劃分的作用。潘理虎等人[16]通過(guò)用TransE對(duì)實(shí)體進(jìn)行向量表示用以突出實(shí)體的信息。但TransE不適用于解決一對(duì)多的關(guān)系抽取問(wèn)題。Lee等人[17]通過(guò)對(duì)實(shí)體的潛在類型進(jìn)行預(yù)測(cè)，對(duì)實(shí)體信息進(jìn)行利用，實(shí)現(xiàn)模型的端到端訓(xùn)練。

2 方法

本節(jié)主要介紹如何使用BiLSTM對(duì)Glove表示的字向量進(jìn)行特征提取和實(shí)體注意相加機(jī)制的實(shí)現(xiàn)。BiLSTM-EPEA模型如圖1所示，模型輸入層、嵌入層、實(shí)體注意力相加機(jī)制層（EPEA）和輸出層組成。

輸入層：給定一個(gè)句子[S=[w1，…，wi，…，wj，…，wk，]

[…，wm，…，wn]]，其中[n]為句子的最大長(zhǎng)度。[wi…，wj]為實(shí)體1所在的位置，[wk，…，wm]為實(shí)體2所在的位置。[w1，…，wn]為每個(gè)字經(jīng)過(guò)Glove訓(xùn)練后得到的字嵌入，每個(gè)字嵌入的維度為100維。

特征提取層：使用雙向的LSTM來(lái)提取每個(gè)字在其上下文的語(yǔ)義表達(dá)向量。得到輸出序列為[x1，…，xi…，xj，…xk，…，xm…，xn]。

其具體步驟如下：

⑴ 計(jì)算遺忘門的值，，選擇要遺忘的信息[ft]。其中[xt]當(dāng)前時(shí)刻的輸入詞，[ht-1]為上一時(shí)刻的隱藏層狀態(tài)。

[ft=σwf?ht-1，xt+bf]? ⑴

⑵ 計(jì)算記憶門的值，選擇要記憶的信息。

[it=σwiht-1，xt+bi]? ⑵

[Ct=tanh （wcht-1，xi+bc）]? ⑶

⑶ 計(jì)算當(dāng)前的細(xì)胞狀態(tài)。

[Ct=ft?Ct-1+it?Ct]? ⑷

⑷ 計(jì)算當(dāng)前時(shí)刻隱藏層狀態(tài)和輸出門。

[ot=σ（wo[ht-1，xt]+bo]? ⑸

[ht=ot?tanh （Ct）]? ⑹

然后得到兩個(gè)隱藏層狀態(tài)序列，將兩者進(jìn)行結(jié)合，最終得到BiLSTM模塊的輸出序列[h1，h2，h3...，hn-1，hn]。通過(guò)BiLSTM模塊的輸出，得到每個(gè)字的特征序列、頭實(shí)體的特征序列及尾實(shí)體的特征序列。

實(shí)體注意力相加機(jī)制層：EPEA層用于分別計(jì)算每個(gè)字相對(duì)于第一個(gè)實(shí)體的注意力值和第二個(gè)實(shí)體的注意力值。其具體實(shí)現(xiàn)過(guò)程如下：

假設(shè)[si;i∈1…N]（N為batch數(shù)）和實(shí)體對(duì)[epm，m∈1，2]，一個(gè)句子有j個(gè)字[xij，j∈1…M]，[xij]是每個(gè)字的嵌入表示，每個(gè)字相對(duì)于實(shí)體1和實(shí)體2的注意力計(jì)算值表示如下：

[ui，j，qk=xij×Ak×Ek]? ⑺

其中，[xij]為BiLSTM模型輸出的每個(gè)字的特征表示，[Ak]和[rk]是學(xué)習(xí)到的參數(shù)，[Ak]確定每個(gè)字和實(shí)體嵌入向量[Ek]的相關(guān)性。然后對(duì)[ui，j，qk]歸一化，得到注意力值。即每個(gè)字相對(duì)于實(shí)體1和實(shí)體2的注意力分?jǐn)?shù)值[ae1ij]、[ae2ij]，然后，注意力分?jǐn)?shù)值和BiLSTM模型輸出的特征表示向量相乘，得到有權(quán)重的語(yǔ)句序列。

[ae1ij=expuijl=1Mexpuij]? ⑻

[xe1mbij=aij×wij]? ⑼

[xembij=xe1mbij+xe2mbij]? ⑽

[xemb=[xembi，…，xembj，…，xembn]]? ⑾

全連接層：將EPEA模塊輸出的帶有權(quán)重的序列[xemb]、實(shí)體1的嵌入表示[eemb1]和實(shí)體2的嵌入表示[eemb2]進(jìn)行拼接，即全連接層的輸入為[I=eemb1，eemb2，xemb]，使用激活函數(shù)對(duì)[I]進(jìn)行激活后，輸入全連接層。

[h'=w1eemb1，eemb2，xemb）+b1]? ⑿

其中，[w∈RL×3d]，L為關(guān)系類別數(shù)，[b1]為偏置向量。

通過(guò)[Softmax]函數(shù)得到每一個(gè)句子相對(duì)于19類關(guān)系的概率值。取出其中的最大概率即為所分類的關(guān)系類別。

[p=softmaxh']? ⒀

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集及其評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)的數(shù)據(jù)集為SemEval-Task8。其中共有19種關(guān)系。其關(guān)系類別和數(shù)量如表1所示。

本文實(shí)驗(yàn)的效果評(píng)價(jià)指標(biāo)為召回率F1值。數(shù)據(jù)集的數(shù)據(jù)總共有10717條，采用8：2的比例對(duì)實(shí)驗(yàn)集和測(cè)試集進(jìn)行劃分。實(shí)驗(yàn)中的參數(shù)設(shè)置如表2所示。

3.2 實(shí)驗(yàn)結(jié)果分析

本文從兩個(gè)角度對(duì)模型進(jìn)行分析。一是用Glove表示訓(xùn)練字向量和BERT預(yù)訓(xùn)練模型訓(xùn)練的字向量對(duì)于關(guān)系類別的劃分的影響；二是實(shí)體注意機(jī)制是否有效。本文的對(duì)比模型主要有：

RBRET[7]：通過(guò)BERT提取文本特征，通過(guò)加入特殊字符，用于標(biāo)注實(shí)體的位置。其最終用于分類的輸入為[contact（CLSemb，eemb1，eemb2）]。一是句首[CLS]的表示，二是實(shí)體1的向量表示，三是實(shí)體2的向量表示。

BiGRU-EA[13]：通過(guò)BiGRU提取文本特征，通過(guò)實(shí)體注意力關(guān)注文本中的與關(guān)系有關(guān)的詞。其輸入為[aijhfij，hbij]。其中[aij]為注意力值的大小。

BiLSTM-EA[13]：通過(guò)BiLSTM提取文本特征，通過(guò)實(shí)體注意力關(guān)注文本中的與關(guān)系有關(guān)的詞。其輸入為[aijhfij，hbij]。

BERT-GRU-ATT[14]：通過(guò)BERT得到每個(gè)字的向量表示，將向量表示通過(guò)BiGRU層提取特征。將BiGRU層的輸出通過(guò)注意力層得到關(guān)系類別的劃分。其輸入為[aijxij]。

從表3可知，BiLSTM-EPEA取得了較好的效果，相比于RBERT模型，F(xiàn)1值提升了1.47%，其原因在于BiLSTM中加入了文本的特征向量表示，并且對(duì)關(guān)系劃分有重要關(guān)系的詞增加了權(quán)重。相比于BiLSTM-Attention模型提升了0.42%，其原因在于BiLSTM-EPEA加入了實(shí)體的特征表示。相比于BiGRU-Attention提升了1.52%，其原因在于BiLSTM性能優(yōu)于BiGRU。本文將EA層加入了RBERT模型中，發(fā)現(xiàn)其分類效果不如BiLSTM- EPEA。其原因在于，RBERT中有大量的線性層，使得模型結(jié)構(gòu)復(fù)雜，分類效果下降。RBERT-EPEA模型的效果優(yōu)于BERT-EPEA模型的原因在于，RBERT-EPEA模型中加入了實(shí)體1和實(shí)體2嵌入。

3.3 消融實(shí)驗(yàn)

實(shí)驗(yàn)主要從兩個(gè)方面展開(kāi)，一是實(shí)體1和實(shí)體2的注意力對(duì)于關(guān)系分類的影響。二是BiLSTM-EPEA中的輸入是否應(yīng)該拼接實(shí)體的信息，即輸入為[contactxemb，eemb1，eemb2]對(duì)關(guān)系分類效果的影響。

由于每句話都有兩個(gè)實(shí)體，因此計(jì)算每個(gè)字相對(duì)于實(shí)體對(duì)的注意力值，會(huì)產(chǎn)生兩個(gè)權(quán)重序列。本文對(duì)這兩個(gè)權(quán)重序列進(jìn)行了評(píng)估。EA1表示計(jì)算每個(gè)詞對(duì)實(shí)體1的注意力的得分，從而得到的權(quán)重序列。同理可得實(shí)體2的注意力權(quán)重序列EA2。EA1+EA2則表示將兩個(gè)權(quán)重加在一起所得的權(quán)重序列。

由圖2（a）可知，通過(guò)計(jì)算每個(gè)字對(duì)于實(shí)體2的注意力值所取得的分類效果相比于計(jì)算每個(gè)字對(duì)于頭實(shí)體的注意力值的分類效果。其原因在于關(guān)系的方向性。通過(guò)統(tǒng)計(jì)測(cè)試集的數(shù)據(jù)發(fā)現(xiàn)，由實(shí)體1指向?qū)嶓w2的關(guān)系共有1318條，由實(shí)體2指向?qū)嶓w1的關(guān)系共937條。其他的是Other關(guān)系類別。通過(guò)實(shí)體注意力相加機(jī)制可以發(fā)現(xiàn)實(shí)體2對(duì)于關(guān)系類別的影響大于實(shí)體1對(duì)于關(guān)系類別的影響。

由圖2（b）可知，通過(guò)對(duì)兩個(gè)實(shí)體的注意力值進(jìn)行逐位相加的關(guān)系分類效果更好一些。其原因在于，同一個(gè)句子對(duì)于關(guān)系類別有重要作用的字通過(guò)逐位相加之后會(huì)得到更高的注意力值，從而提高了關(guān)系分類的效果。通過(guò)導(dǎo)出每個(gè)詞的注意力值，本文通過(guò)注意力值的大小來(lái)決定每個(gè)字的顏色深淺，直觀的表示每個(gè)字對(duì)關(guān)系的影響。由圖可知句子為“The company fabricates plastic chairs .”。通過(guò)EPEA模塊得到每個(gè)字的注意力值，可發(fā)現(xiàn)“fabricates”對(duì)于實(shí)體關(guān)系類別“Product-Producer（e2，e1）”的劃分有著重要作用。

本文通過(guò)實(shí)現(xiàn)發(fā)現(xiàn)，RBERT-EPEA模型和BERT-EPEA模型帶來(lái)的效果不同，對(duì)是否加入實(shí)體1和實(shí)體2的嵌入進(jìn)行了實(shí)驗(yàn)。通過(guò)實(shí)驗(yàn)可知，加入了頭實(shí)體和尾實(shí)體的嵌入的效果更好。

4 結(jié)束語(yǔ)

本文通過(guò)使用Glove訓(xùn)練字向量，將訓(xùn)練好的字向量放入BiLSTM模型中進(jìn)行特征提取，通過(guò)EPEA模塊計(jì)算每個(gè)字相對(duì)于頭實(shí)體和尾實(shí)體的注意力值，得到兩個(gè)權(quán)重序列，將兩個(gè)權(quán)重序列逐位相加，得到特征向量表示。然后將特征向量、實(shí)體1和實(shí)體2的嵌入表示三者進(jìn)行拼接，通過(guò)線性層輸出關(guān)系類別的概率，從而進(jìn)行關(guān)系類別的劃分。通過(guò)實(shí)驗(yàn)表明，加入實(shí)體注意力相加機(jī)制和實(shí)體對(duì)的嵌入有助于關(guān)系類別的劃分。由于中文的語(yǔ)句表達(dá)和英文的語(yǔ)句表達(dá)有區(qū)別，下一步還應(yīng)考慮BiLSTM-EPEA模型在中文數(shù)據(jù)集上的效果。

參考文獻(xiàn)（References）：

[1] Mikolov T， Sutskever I， Chen K， et al. Distributed

representations of words and phrases and their compositionality[J]. Advances in neural information processing systems，2013，26

[2] Mikolov T， Chen K， Corrado G， et al. Efficient estimation

of word representations in vector space[J]. arXiv preprint arXiv：1301.3781，2013

[3] Pennington J， Socher R， Manning C D. Glove： Global

vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing （EMNLP），2014：1532-1543

[4] Zeng D， Liu K， Lai S， et al. Relation classification via

convolutional deep neural network[C]//Proceedings of COLING 2014， the 25th international conference on computational linguistics： technical papers，2014：2335-2344

[5] Zhou P， Shi W， Tian J， et al. Attention-based bidirectional

long short-term memory networks for relation classification[C]//Proceedings of the 54th annual meeting of the association for computational linguistics （volume 2： Short papers），2016：207-212

[6] Devlin J， Chang M W， Lee K， et al. Bert： Pre-training of

deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv：1810.04805，2018

[7] Wu S， He Y. Enriching pre-trained language model with

entity information for relation classification[C]//Proceedings of the 28th ACM international conference on information and knowledge management，2019：2361-2364

[8] Xu Y， Mou L， Li G， et al. Classifying relations via long short

term memory networks along shortest dependency paths[C]//Proceedings of the 2015 conference on empirical methods in natural language processing，2015：1785-1794

[9] Cai R， Zhang X， Wang H. Bidirectional recurrent

convolutional neural network for relation classification[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers），2016：756-765

[10] Wang L， Cao Z， De Melo G， et al. Relation classification

via multi-level attention cnns[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers），2016：1298-1307

[11] Zhu J， Qiao J， Dai X， et al. Relation classification via

target-concentrated attention cnns[C]//International Conference on Neural Information Processing. Springer，Cham，2017：137-146

[12] Ji G， Liu K， He S， et al. Distant supervision for relation

extraction with sentence-level attention and entity descriptions[C]//Proceedings of the AAAI conference on artificial intelligence，2017，31（1）

[13] Jat S， Khandelwal S， Talukdar P. Improving distantly

supervised relation extraction using word and entity based attention[J]. arXiv preprint arXiv：1804.06987，2018

[14] 趙丹丹，黃德根，孟佳娜，等.基于BERT-GRU-ATT模型的中文實(shí)體關(guān)系分類[J].計(jì)算機(jī)科學(xué)，2022，49（6）：319-325

[15] Vaswani A， Shazeer N， Parmar N， et al. Attention is all

you need[J].Advances in neural information processing systems，2017，30

[16] 潘理虎，陳亭亭，閆慧敏，等.基于滑動(dòng)窗口注意力網(wǎng)絡(luò)的關(guān)系分類模型[J].計(jì)算機(jī)技術(shù)與發(fā)展，2022，32（6）：21-27，33

[17] Lee J， Seo S， Choi Y S. Semantic relation classification

via bidirectional lstm networks with entity-aware attention using latent entity typing[J]. Symmetry，2019，11（6）：785