融合多層注意力機制與雙向LSTM的語義關(guān)系抽取

周文燁 劉亮亮 張再躍

1. 江蘇科技大學 計算機科學與工程學院，江蘇 鎮(zhèn)江 212003;

2. 上海對外經(jīng)貿(mào)大學 統(tǒng)計與信息學院，上海 201620）

摘 要：關(guān)系抽取是構(gòu)建如知識圖譜等上層自然語言處理應(yīng)用的基礎(chǔ)。針對目前大多數(shù)關(guān)系抽取模型中忽略部分文本局部特征的問題，設(shè)計一種結(jié)合實體位置特征與多層注意力機制的雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)。首先根據(jù)位置特征擴充字向量特征，并將文本信息向量化，然后將文本向量化信息輸入雙向LSTM模型，通過多層注意力機制，提高LSTM模型輸入與輸出之間的相關(guān)性，最后通過分類器輸出關(guān)系獲取結(jié)果。使用人工標注的百科類語料進行語義關(guān)系獲取實驗，結(jié)果表明，改進方法優(yōu)于傳統(tǒng)基于模式匹配的關(guān)系獲取方法。

關(guān)鍵詞：位置特征;多層注意力機制;雙向LSTM;關(guān)系抽取

DOI：10. 11907/rjdk. 182763 開放科學（資源服務(wù)）標識碼（OSID）：

中圖分類號：TP301文獻標識碼：A 文章編號：1672-7800（2019）007-0010-05

Multi-level Attention-based Bidirectional Long Short-Term

Memory Networks for Relation Extract

ZHOU Wen-ye1，LIU Liang-liang2，ZHANG Zai-yue1

（1. College of Computer， Jiangsu University of Science and Technology， Zhenjiang 212003，China;

2. School of Statistics and Information， Shanghai University of International Business and Economics， Shanghai 201620， China）

Abstract：Relational extraction is the basis for constructing upper natural language processing applications such as knowledge graph. Because most of state-of-the-art systems ignore the importance of the local feature， in this paper， we design a bidirectional LSTM network structure which combines position eigenvector and multi-level attention mechanism. Firstly， the model embedded the text information by extending word vector feature which was based on positional features. Secondly， the information was introduced into the bidirectional LSTM model， and multi-level attention was used to improve the probability between the input and output of LSTM model. Finally， it obtained the result by classifier. The proposed method in this paper achieves an better result than the tradition method.

Key Words： position feature; multi-level attention mechanism; bidirectional LSTM; relation extraction

基金項目：國家自然科學基金項目（61371114，611170165）;江蘇高校高技術(shù)船舶協(xié)同創(chuàng)新中心/江蘇科技大學海洋裝備研究院項目（1174871701-9）

作者簡介：周文燁（1995-），女，江蘇科技大學計算機科學與工程學院碩士研究生，研究方向為軟件工程、模式識別與圖像處理;劉亮亮（1979-），男，博士，上海對外經(jīng)貿(mào)大學統(tǒng)計與信息學院講師，研究方向為自然語言理解、知識工程與知識獲取;張再躍（1961-），男，江蘇科技大學計算機科學與工程學院教授，研究方向為數(shù)理邏輯與應(yīng)用邏輯、知識表示與推理、智能信息處理。本文通訊作者：張再躍。

0 引言

在信息量快速增長的今天，如何利用信息抽取技術(shù)快速、有效地獲取準確信息，一直是自然語言處理領(lǐng)域的重要研究課題，受到了學術(shù)界與工業(yè)界的廣泛關(guān)注[1]。信息抽取包括概念抽取與關(guān)系抽取兩方面，關(guān)系抽取[2-3]的目標是自動識別相關(guān)三元組，該三元組由一對概念及其之間的關(guān)系構(gòu)成。傳統(tǒng)關(guān)系抽取方法[4-5]通常采用基于手工標注語料的模式匹配方法，該方法在提取句子特征時依賴于命名實體識別的NLP系統(tǒng)，容易導致計算成本和額外傳播錯誤增加;另外，手工標記特征非常耗時，而且由于不同訓練數(shù)據(jù)集的覆蓋率較低，因而導致通用性較差[6]。近年來，基于深度學習框架的神經(jīng)網(wǎng)絡(luò)模型成為實體關(guān)系抽取的新方法。深度學習是機器學習研究中的一個新領(lǐng)域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)模型可自動學習句子特征，而無需復雜的特征工程[7-8]。研究過程中，Socher等[9]提出使用矩陣—遞歸神經(jīng)網(wǎng)絡(luò)模型MV-RNN完成關(guān)系抽取任務(wù)。該方法能夠有效考慮句子的句法結(jié)構(gòu)信息，但無法很好地考慮兩個實體在句子中的位置和句義信息，且方法運用準確率往往受限于句法分析準確率;Liu等[10]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）引入關(guān)系抽取任務(wù)，用于自動學習句子特征，但由于卷積神經(jīng)網(wǎng)絡(luò)無法對較長的句子進行建模，因而存在兩個實體的遠距離依賴問題。另外，RNN 和CNN 都未充分利用局部特征以及全局特征，使得關(guān)系抽取準確性較差[11]。

LSTM（Long Short Term Memory）網(wǎng)絡(luò)是由Hochreiter & Schmidhuber[12]在1997年提出的一種RNN改進模型，其通過構(gòu)造專門的記憶單元存儲歷史信息，能夠有效解決兩實體之間的長距離依賴問題。Xu等[13]以LSTM為基礎(chǔ)，利用詞向量、詞性標注、句法依存等方法對實體之間的最短依存路徑信息進行學習;劉燊等[14-15]則提出使用SDP-LSTM模型實現(xiàn)開放域?qū)嶓w關(guān)系抽取，可以分別處理句子可能出現(xiàn)的多個依存路徑。以上方法使用LSTM進行關(guān)系抽取，然而LSTM無法對局部特征與全局特征加以充分利用。

注意力機制是Treisman & Gelade[16]提出的一種模擬人腦的模型，通過計算概率分布，突出關(guān)鍵輸入信息對模型輸出的影響以優(yōu)化模型。Bahdanau等[17]將注意力機制應(yīng)用在自然語言處理任務(wù)中，以提升機器翻譯的準確性。注意力機制可以充分利用句子的局部特征及全局特征，通過賦予重要特征更高權(quán)重，從而減少噪聲，提高關(guān)系抽取的準確性。因此，本文提出一種基于實體位置特征與多層注意力機制的LSTM實體語義關(guān)系獲取方法，運用兩層注意力機制，分別對字和句子增加注意力。實驗結(jié)果表明，該方法有利于提升實體語義關(guān)系獲取效果。

1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

Long Short Term Memory（LSTM）網(wǎng)絡(luò)是一種RNN的特殊類型，可以對長期依賴信息進行學習[18]。LSTM模型在文本處理領(lǐng)域的很多問題上都取得了很大成功，并得到了廣泛應(yīng)用。

LSTM通過特殊設(shè)計以避免長期依賴問題。LSTM與RNN一樣，具有一種重復神經(jīng)網(wǎng)絡(luò)模塊的鏈式結(jié)構(gòu)，但LSTM重復的模塊擁有不同結(jié)構(gòu)。在[t]時刻，LSTM有3個輸入：當前時刻網(wǎng)絡(luò)輸入值、上一時刻LSTM輸出值與上一時刻單元狀態(tài)，以及2個輸出：當前時刻LSTM輸出值與當前時刻單元狀態(tài)。LSTM使用3個控制開關(guān)即3個門進行控制，分別是遺忘門、輸入門和輸出門。LSTM通過遺忘門決定從細胞狀態(tài)丟棄什么信息，通過輸入門決定將什么新信息存放在細胞狀態(tài)中，并通過輸出門決定輸出什么值。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

其中，公式（1）用于計算輸入門，[ht-1]表示上一狀態(tài)輸出值，[xt]表示當前狀態(tài)輸入值，公式（2）用于計算遺忘門，公式（3）用于計算輸出門。[W]表示權(quán)值矩陣，[b]表示偏置量，激活函數(shù)采用sigmoid函數(shù)，[Ct]表示單元狀態(tài)。

LSTM模型的工作機制是將當前記憶與長期記憶進行組合，其最終輸出由輸出門和單元狀態(tài)共同確定。由于將長短期記憶進行了有機關(guān)聯(lián)，LSTM模型解決了關(guān)系抽取過程中的長期依賴問題，但缺乏對句子中局部特征與全局特征加以利用的環(huán)節(jié)。為此，本文引入多層注意力機制，對于相關(guān)字與句子分別賦予相關(guān)權(quán)重，并減少噪聲，以提高關(guān)系獲取的準確性。

2 改進的關(guān)系抽取模型

本文結(jié)合實體位置特征與多層注意力機制的雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建關(guān)系抽取模型，采用位置嵌入、字嵌入相結(jié)合的字向量表示方法，增加語義相關(guān)度，采用LSTM模型以避免傳統(tǒng)深度學習方法的長距離依賴問題，同時采用多層注意力機制，充分利用句子的局部特征以及全局特征。該模型框架主要包括以下兩部分：①融合特征的字向量生成。對語料庫中的文本信息進行向量化處理，提取文本的實體特征與位置特征，然后將這些特征轉(zhuǎn)換為字向量，得到句子融合特征的字向量表示;②關(guān)系抽取模型構(gòu)建。將文本的字向量表示導入雙向LSTM模型中，采用多層注意力增強文本的局部特征與全局特征，將增強后的特征導入分類器進行分類，輸出分類結(jié)果。模型框架如圖2所示。

2.1 融合特征的字向量表示

向量化表示是一種分布式表示，一般使用字向量表示作為神經(jīng)網(wǎng)絡(luò)的輸入，本文將每個輸入字轉(zhuǎn)換為向量。考慮到在關(guān)系抽取任務(wù)中，越靠近實體的字通常越能表示句子中兩個實體的關(guān)系，因此本文融合位置信息以擴充字向量維度，改進后的字向量稱為融合特征的字向量。

（1）字向量：構(gòu)建字向量是將文本信息轉(zhuǎn)換為向量形式。將每個句子轉(zhuǎn)換成一個多維矩陣，給定一個由[T]個字組成的句子[S=x1，x2，？，xi，？，xT]，對于句子[S]的每個字，使用word2vec[19]將每個字[xi]映射到一個低維實值向量空間中，通過公式（6）對句子進行字向量處理。

其中，[ei]是字[xi]的字向量表示，[vi]是輸入字的one-hot形式，[Wword∈Rdωm]，其中[m]是固定長度的詞典，[dω]表示字向量維度，[Rdωm]是一個向量空間，由此得到句子中每個字的向量化表示[e=e1，e2，？，eT]。

（2）位置向量：在關(guān)系抽取任務(wù)中，越靠近目標實體的字通常更能表示句子中兩個實體的關(guān)系。本模型使用位置向量標記實體對，可以幫助LSTM判斷句中每個字與實體對的位置，將句子中第[i]字分別到[e1]和[e2]相對距離的組合定義為位置向量。句子實例如圖3所示。

圖3 句子實例

其中，“千金”是指“關(guān)系”，其關(guān)聯(lián)實體是“盧恬兒”（用[e1]表示）和”盧潤森”（用[e2]表示）。假設(shè)在句子向量化過程中，字向量維度為[dw]，位置向量維度為[dp]，則將字向量與位置向量組合在一起，將句子表示成一個向量[w=][ω1，ω2，？，ωT]，其中[ωi∈Rd（d=dw+dp×2）]。

在圖3實例中，該句子從關(guān)系“千金”到實體[e1]“盧恬兒”的距離[s1]為19，從關(guān)系“千金”到實體[e2] “盧潤森”的相對距離[s2]為5，則“千金”的向量化表示如圖4所示。

圖4 融合特征字向量表示

2.2 注意力機制

注意力機制的思想來自于模仿人們在讀取句子信息時注意力的行為。因為中文信息對關(guān)系抽取的影響可能來源于某個關(guān)鍵字，所以類似關(guān)鍵字這種局部特征具有重要影響力，本文使用注意力機制增強局部特征與全局特征。

（1）字級注意力機制： 將句子向量[w=ω1，ω2，？，ωT]輸入LSTM模型中，獲得句子初步訓練結(jié)果[ht]，并使用公式（7）進行處理。

在實際場景中，并非所有字都對句子含義的表示具有同等作用，在訓練過程中隨機初始化并共同學習字上下文向量[uω]。因此，引入字級注意機制衡量字與關(guān)系的相關(guān)程度，并匯總信息字的表示以形成句子向量。字級注意力機制具體公式如下：

在使用字級注意力機制時，[αt]為該字[ut]與單字上下文向量[uω]的歸一化表示，[s]為兩者加權(quán)和。

（2）句級注意力機制：將通過字級注意力機制得到的[s]組成的句子輸入LSTM模型得到輸出[hi]。與字級注意力機制相似，在訓練過程中隨機初始化并共同學習句子上下文向量[us，v]是所有句子的向量集合，具體公式如下：

2.3 結(jié)果分類

將實驗得到的結(jié)果通過分類器進行關(guān)系分類，輸出分類結(jié)果[S（x）]。

其中，[Wm]表示分類器權(quán)值矩陣，[bm]表示分類器偏置，[s]表示分類器選擇，本文選擇Softmax作為分類器。Softmax一般用于多分類過程中，其將多個神經(jīng)元的輸出映射到（0，1）區(qū)間內(nèi)。本模型輸出[S（x）={p1，p2，，p3，？，pi，？，][p12}]是12維向量，第[i]維表示屬于第[i]類的概率[pi]。

2.4 基于多層注意力機制的雙向LSTM關(guān)系獲取模型

基于多層注意力機制的LSTM關(guān)系獲取模型構(gòu)建主要包括LSTM構(gòu)建、注意力機制引入與分類3部分，其模型如圖5所示。

圖5 基于多層注意力機制的LSTM關(guān)系獲取模型

本模型采用雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)與雙向LSTM模型，其網(wǎng)絡(luò)包含左右序列上下文的兩個子網(wǎng)絡(luò)，分別是前向與后向傳遞。將上一節(jié)得到的句子向量化表示作為輸入，以第[i]個字為例，其輸出為：

綜上所述，基于多層注意力機制的雙向LSTM關(guān)系獲取模型由兩層LSTM神經(jīng)網(wǎng)絡(luò)與兩層注意力機制組成。為了對句子局部與全局特征加以充分利用，本文選擇LSTM輸出層加入注意力機制，步驟如下：①輸入語料中的句子，對句子進行向量化處理，得到句子的融合特征向量化表示;②將向量化表示后的句子輸入LSTM網(wǎng)絡(luò)中進行初步學習，然后對其結(jié)果增加字級注意力機制，對句子局部特征增加權(quán)重;③將步驟②得到的結(jié)果輸入LSTM網(wǎng)絡(luò)中進行學習，然后對其結(jié)果增加句級注意力機制，并對全局特征增加權(quán)重;④將步驟③輸出結(jié)果輸入分類器中，得到輸入句子的實體關(guān)系類別，完成模型訓練。

3 實驗

為了驗證具有實體位置關(guān)系與注意力機制的雙向LSTM關(guān)系獲取模型可以使關(guān)系獲取準確率更高，使用本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)進行實驗。首先介紹實驗中使用的數(shù)據(jù)集與評估指標，并使用交叉驗證確定模型參數(shù);然后評估多層注意力的影響，并在不同大小的數(shù)據(jù)上顯示其性能;最后，將設(shè)計的模型與幾種關(guān)系抽取方法在同一數(shù)據(jù)集上進行實驗比較。

3.1 實驗數(shù)據(jù)

實驗采用的數(shù)據(jù)集是以百度百科、互動百科等中文類百科的語料為基礎(chǔ)，進行人工標注后整理生成的。該數(shù)據(jù)集包括18 636個訓練樣本與2 453個測試樣本，共包含12種關(guān)系。樣本關(guān)系如表1所示，樣本示例如表2所示。

表1 樣本關(guān)系

表2 數(shù)據(jù)集示例

3.2 實驗指標評價

本文采用準確率（[precision]）、召回率（[recall]）和[F1]值作為模型性能評價指標，指標計算公式如下：

[precision=right_outall_out] （15）

[recall=right_outthis_all] （16）

[F1=2？recall？precisionrecall+precision] （17）

[right_out]表示輸出的判斷正確的個數(shù)，[all_out]表示輸出的所有關(guān)系個數(shù)，[this_all]表示測試集中所有此類關(guān)系的個數(shù)。

3.3 參數(shù)設(shè)置

本次實驗?zāi)Ｐ图せ詈瘮?shù)選用sigmoid函數(shù)，并采用Softmax作為分類器。為了避免模型在計算過程中出現(xiàn)過擬合現(xiàn)象，采用L2正則化方法對網(wǎng)絡(luò)參數(shù)進行約束。訓練過程引入dropout策略，采用批量的Adadelta優(yōu)化方法用于模型訓練，并采用交叉驗證方式進行驗證，具體參數(shù)設(shè)置如表3所示。

表3 參數(shù)設(shè)置

3.4 實驗結(jié)果分析

將3.1節(jié)語料庫的訓練樣本作為訓練集進行模型訓練，采用測試樣本對訓練后的模型進行測試。實驗抽取12類關(guān)系的評價指標如表4所示。

表4 12類關(guān)系評價指標

由表4可以看出，對類似于“父母”、“祖孫”等表達較為簡單、容易辨別的語義關(guān)系，本模型抽取結(jié)果要比“情侶”、“朋友”等表達更為復雜，且容易混淆的語義關(guān)系抽取效果更好。這是由于復雜的語義關(guān)系在進行關(guān)系抽取時對上下文語境要求更為嚴格，抽取難度較高，而簡單的語義關(guān)系更容易被模型所學習，抽取難度較低。

3.5 對比試驗分析

為了體現(xiàn)本文模型在關(guān)系抽取的準確度和穩(wěn)定性上存在一定優(yōu)勢，將本模型與傳統(tǒng)基于模式匹配[20-21]的關(guān)系抽取方法進行比較。同時，為了突顯本文模型的優(yōu)勢，實驗設(shè)定了3個模型：一是只采用LSTM結(jié)合的模型，二是只采用句級注意力機制的模型，三是本文提出的模型，實驗結(jié)果如表5所示。

表5 實驗對比結(jié)果

由表5可以看出：

（1）LSTM方法相比于傳統(tǒng)基于模式匹配的關(guān)系提取方法，具有更高的召回率，且減少了手工標注的繁瑣過程，提取準確率更高。

（2）LSTM+句級注意力機制方法相比于單純的LSTM方法，對LSTM模型輸入句子與輸出句子之間的相關(guān)行進行權(quán)重計算，提高了LSTM模型的準確率，[F1]值更高，性能更好。

（3）本文設(shè)計的模型對局部特征進行處理，增加了句子中字的位置向量特征與字級注意力機制，提高了重要字的權(quán)重，增加了局部特征。相比于LSTM+句級注意力機制，該模型在召回范圍內(nèi)精度較高，準確率也有所提升，表明本文提出的模型是有效的。

4 結(jié)語

本文提出一種新的端對端神經(jīng)網(wǎng)絡(luò)模型用于實體關(guān)系獲取，該模型不僅保留了LSTM可避免長距離依賴問題的優(yōu)勢，還利用整個句子的序列信息，增加了位置向量特征與多層注意力機制，并充分利用了局部特征與全局特征，提高了關(guān)系抽取準確率。但該方法只能抽取預(yù)先設(shè)定好的關(guān)系集合，而對于開放領(lǐng)域的自動關(guān)系獲取方面仍有待進一步研究。

參考文獻：

[1] 郭喜躍，何婷婷. 信息抽取研究綜述[J]. 計算機科學，2015，42（2）：14-17，38.

[2] 郭喜躍，何婷婷，胡小華，等. 基于句法語義特征的中文實體關(guān)系抽取[J]. 中文信息學報，2014，28（6）：183-189.

[3] 臺麗婷. 基于半監(jiān)督機器學習的實體關(guān)系抽取算法研究[D]. 北京：北京郵電大學， 2018.

[4] 陳立瑋，馮巖松，趙東巖. 基于弱監(jiān)督學習的海量網(wǎng)絡(luò)數(shù)據(jù)關(guān)系抽取[J]. 計算機研究與發(fā)展，2013，50（9）：1825-1835.

[5] 賈真， 何大可， 楊燕，等. 基于弱監(jiān)督學習的中文網(wǎng)絡(luò)百科關(guān)系抽取[J]. 智能系統(tǒng)學報， 2015（1）：113-119.

[6] 徐健，張智雄，吳振新. 實體關(guān)系抽取的技術(shù)方法綜述[J]. 現(xiàn)代圖書情報技術(shù)，2008（8）：18-23.

[7] 李楓林，柯佳. 基于深度學習框架的實體關(guān)系抽取研究進展[J]. 情報科學，2018，36（3）：169-176.

[8] 劉紹毓， 李弼程， 郭志剛，等.? 實體關(guān)系抽取研究綜述[J].? 信息工程大學學報， 2016， 17（5）：541-547.

[9] 郭麗，劉磊. 基于關(guān)系相似度計算的實體關(guān)系分類研究[J]. 軟件導刊，2013，12（4）：130-131.

[10] SOCHER R，HUVAL B， MANNING C D， et al. Semantic compositionality through recursive matrix-vector spaces[C]. Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning，2012：1201-1211.

[11] LIU C Y， SUN W B， CHAO W H， et al. Convolution neural network for relation extraction[C]. International Conference on Advanced Data Mining and Applications，2013：231-242.

[12] SUNDERMEYER M，SCHLüTER R，NEY H. LSTM neural networks for language modeling[EB/OL]. http：//www-i6.informatik.rwth- aachen.de/publications/download/820/Sundermeyer-2012.pdf.

[13] GERS F A，SCHMIDHUBER J，CUMMINS F. Learning to forget： continual prediction with LSTM[J]. Neural Computation， 2014， 12（10）：2451-2471.

[14] YAN X，MOU L，LI G， et al. Classifying relations via long short term memory networks along shortest dependency path[J].? Computer Science， 2015， 42（1）：56-61.

[15] 劉燊. 面向《大詞林》的中文實體關(guān)系挖掘[D]. 哈爾濱： 哈爾濱工業(yè)大學，2016.

[16] TREISMAN A，SYKES M，GELADE G. Selective attention and stimulus integration[J]. Attention and performance VI，1977，333：97-110.

[17] BAHDANAU D，CHO K，BENGIO Y. Neural machine translation by jointly learning to align and translate[J]. Computer Science， 2014.

[18] HOCHREITER S. The vanishing gradient problem during learning recurrent neural nets and problem solutions[J]. International Journal of Uncertainty， Fuzziness and Knowledge-Based， Systems， 1998， 6（2）：107-116.

[19] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc， 2013：3111-3119.

[20] BRIN S. Extracting patterns and relations from the World Wide Web[M]. Berlin：Springer Berlin Heidelberg，1998.

[21] 李夢瑤，向卓元. 基于語音識別技術(shù)的移動全能秘書平臺設(shè)計[J].? 軟件導刊，2015，14（8）：127-129.

（責任編輯：黃 健）