基于閱讀理解與圖神經(jīng)網(wǎng)絡(luò)的篇章級(jí)事件抽取

張亞君,譚紅葉,2

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,山西 太原 030006;2. 山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室,山西 太原 030006)

0 引言

事件抽取(Event Extraction)任務(wù)是從文本中檢測(cè)事件類型以及識(shí)別對(duì)應(yīng)的事件論元。事件抽取可以提供有價(jià)值的結(jié)構(gòu)化信息,不僅能夠應(yīng)用到知識(shí)庫(kù)構(gòu)建、機(jī)器自動(dòng)問(wèn)答、文本摘要與生成等任務(wù)中,而且能夠?yàn)榻鹑凇⒎?、醫(yī)療等領(lǐng)域提供輔助智能。因此,事件抽取受到眾多學(xué)者的關(guān)注。

事件抽取分為句子和篇章兩種級(jí)別的任務(wù)。以前的方法大多關(guān)注句子級(jí)別的事件抽取[1-6],即從單個(gè)句子中抽取事件及其論元。然而現(xiàn)實(shí)中的文本通常是由多句子構(gòu)成的篇章,事件的論元分散在不同句子中,句子級(jí)別的模型不能對(duì)其進(jìn)行建模。

如表1給出了篇章級(jí)事件抽取的實(shí)例。該實(shí)例是由多個(gè)句子組成的股份回購(gòu)事件,該事件中的論元角色回購(gòu)方 “恒逸石化”出現(xiàn)在第1句和第2句中,論元角色交易金額 “上限10億元”和論元角色每股交易價(jià)格“上限15元/股”出現(xiàn)在第2句及第3句中。如果不考慮事件元素間的相互關(guān)系,將不能很好地針對(duì)該事件進(jìn)行信息抽取。

表1 篇章級(jí)事件抽取實(shí)例

因此,許多學(xué)者開(kāi)始面向篇章級(jí)的事件抽取方法進(jìn)行研究[7-13]。對(duì)于事件元素候選識(shí)別,大多數(shù)模型將其當(dāng)作序列標(biāo)注任務(wù)來(lái)解決,如Zheng等人[8]、Xu等人[9]利用Transformer[14]對(duì)句子編碼,使用條件隨機(jī)場(chǎng)(CRF)進(jìn)行序列標(biāo)注,但是這類方法沒(méi)有利用論元角色本身的先驗(yàn)信息,忽略了論元角色語(yǔ)義信息和論元間的重要聯(lián)系。對(duì)于論元分散問(wèn)題,研究者嘗試?yán)貌煌椒ㄕ峡缇湫畔?。如Yang等人[7]對(duì)關(guān)鍵句子識(shí)別事件類型及其對(duì)應(yīng)論元,再?gòu)泥徑渲袑ふ沂录嚓P(guān)的論元;Zheng等人[8]將句子位置信息和事件元素信息融合,得到實(shí)體篇章級(jí)表示;Xu等人[9]通過(guò)圖神經(jīng)網(wǎng)絡(luò)對(duì)句子和事件元素間的關(guān)系建模,但是上述方法仍然缺少對(duì)句內(nèi)事件元素間的句法依存信息建模,對(duì)篇章級(jí)事件元素間關(guān)系建模不夠全面。

為了解決上述問(wèn)題,本文提出了一種基于閱讀理解和圖神經(jīng)網(wǎng)絡(luò)的篇章級(jí)事件抽取方法。該方法首先通過(guò)構(gòu)建包含角色釋義信息的問(wèn)題融入先驗(yàn)信息,把事件元素候選識(shí)別當(dāng)作閱讀理解任務(wù)來(lái)解決;然后基于圖神經(jīng)網(wǎng)絡(luò)對(duì)事件元素的句內(nèi)直接依存關(guān)系或間接依存關(guān)系和句間相同元素關(guān)系建模,獲取聚合篇章的表示;最終進(jìn)行事件類型和論元分配。在百度金融數(shù)據(jù)集(DuEE-fin)上驗(yàn)證了本文所提方法有效性,與最好基線相比F1值提升了3.8%,取得顯著效果,在中國(guó)金融數(shù)據(jù)集(ChinFinAnn)上的實(shí)驗(yàn)也取得了最好效果。

1 相關(guān)工作

事件抽取是自然語(yǔ)言處理領(lǐng)域的一項(xiàng)基本任務(wù),一直受到研究者的關(guān)注。

之前大多學(xué)者關(guān)注的是句子級(jí)別的事件抽取。例如,基于深度學(xué)習(xí)方法,Chen等人[1]使用卷積神經(jīng)網(wǎng)絡(luò)流水線模型,分別進(jìn)行觸發(fā)詞識(shí)別和論元識(shí)別;Nguyen等人[2]使用循環(huán)神經(jīng)網(wǎng)絡(luò)聯(lián)合模型同時(shí)提取觸發(fā)詞和論元;Xiao等人[3]通過(guò)圖卷積網(wǎng)絡(luò)來(lái)對(duì)圖信息進(jìn)行建模,從而聯(lián)合抽取多個(gè)事件觸發(fā)詞和論元;Du等人[5]以問(wèn)答的方式端到端地提取事件。但上述方法都是針對(duì)單句進(jìn)行事件抽取,很難滿足篇章級(jí)事件抽取的需求。

近期篇章級(jí)事件抽取成為研究熱點(diǎn)。該任務(wù)主要面臨兩個(gè)挑戰(zhàn): ①事件論元分散在不同的句子中; ②一個(gè)篇章中可能包含多個(gè)事件。針對(duì)這兩個(gè)挑戰(zhàn),Yang等人[7]從中心句識(shí)別事件類型及其論元,并從相鄰句中分別找到事件的其他論元填充到事件記錄表中;Zheng等人[8]提出的端到端DOC2EDAG模型,使用Transformer來(lái)融合句子和事件元素的表示,生成有向無(wú)環(huán)圖實(shí)現(xiàn)事件抽取。Xu等人[9]提出GIT模型,通過(guò)卷積神經(jīng)網(wǎng)絡(luò),對(duì)句子和事件元素間的關(guān)系進(jìn)行建模,生成帶有追蹤器的有向無(wú)環(huán)圖進(jìn)行事件抽取。Yang等人[10]提出的DE-PPN模型,通過(guò)限制記錄查詢的數(shù)量來(lái)并行生成事件記錄。Huang等人[11]提出的SCDEE模型基于圖注意力網(wǎng)絡(luò),利用事件元素關(guān)聯(lián)和句子關(guān)聯(lián)構(gòu)建圖表示。Huang等人[12]使用深度價(jià)值網(wǎng)絡(luò)(DVN)捕捉跨事件依賴,同時(shí)進(jìn)行事件元素抽取、事件共指和事件元素共指。最近Zhu等人[13]提出的基于剪枝完全圖的端到端PTPCG模型,以非自回歸的方式加速對(duì)事件記錄的解碼,取得了有競(jìng)爭(zhēng)力的效果。但上述方法仍存在篇章級(jí)事件元素間關(guān)系建模不全面的問(wèn)題,因此本文通過(guò)句法依存信息有效對(duì)篇章級(jí)事件元素關(guān)系進(jìn)一步建模。

機(jī)器閱讀理解作為一種通用方法[15],成為處理不同問(wèn)題的范式。許多自然語(yǔ)言處理任務(wù)的基本技術(shù),如關(guān)系抽取[16]、命名實(shí)體識(shí)別[17]、事件抽取[5-6]、指代消解[18]等,都可以通過(guò)使用閱讀理解方法取得很好的效果。但是Du等人[5]和Liu等人[6]提出的閱讀理解模型針對(duì)的是句子級(jí)別的事件抽取,因此本文通過(guò)構(gòu)建問(wèn)題,使用BERT編碼[19]基于序列標(biāo)注方式來(lái)回答句子中的事件元素答案,有效利用角色先驗(yàn)信息,同時(shí)提取篇章級(jí)文檔中論元角色的所有事件元素。

2 模型與方法

本文模型結(jié)構(gòu)如圖1所示,主要包含: 事件識(shí)別、事件元素候選識(shí)別、圖結(jié)構(gòu)、論元分配等4個(gè)模塊。各模塊的主要功能如下:

圖1 本文所提模型框架示意圖

(1) 事件識(shí)別模塊: 通過(guò)BERT得到句子編碼,并進(jìn)行多標(biāo)簽分類以識(shí)別事件類型。

(2) 事件元素候選識(shí)別模塊: 通過(guò)結(jié)合事件對(duì)應(yīng)的論元角色信息,根據(jù)不同模板構(gòu)建問(wèn)題,基于閱讀理解方法預(yù)測(cè)出篇章中的事件元素片段。

(3) 圖結(jié)構(gòu)模塊: 使用圖神經(jīng)網(wǎng)絡(luò)對(duì)篇章級(jí)事件元素間的關(guān)系建模,得到事件元素的特征表示。

(4) 論元分配模塊: 通過(guò)特征相似度構(gòu)建事件元素組合,對(duì)組合分配事件類型,對(duì)論元角色分配事件元素。

2.1 事件識(shí)別

由于一個(gè)篇章可以有多個(gè)不同類型的事件,所以我們把事件識(shí)別作為多標(biāo)簽分類任務(wù),利用整個(gè)篇章的表示來(lái)進(jìn)行事件分類。

u=BERT(s)

(1)

其中事件查詢向量Q∈T×dm和W*∈2×dm是可訓(xùn)練參數(shù),T表示事件類型的數(shù)目,P為篇章表示,R為事件類型的概率分布。

通過(guò)argmax函數(shù)取R中的每行最大值索引位置形成事件識(shí)別的最終結(jié)果列表Otype,計(jì)算如式(4)所示。

事件類型檢測(cè)的損失函數(shù)如式(5)所示。

2.2 事件元素候選識(shí)別

該模塊通過(guò)閱讀理解的方式來(lái)進(jìn)行事件元素候選識(shí)別。輸入是事件類型識(shí)別結(jié)果Otype,輸出是實(shí)體集合E。

對(duì)于識(shí)別到的事件oi,(oi∈Otype),利用該事件類型已知的角色信息(事件類型及其對(duì)應(yīng)論元角色示例如表2所示),具體使用以下3個(gè)模板構(gòu)建問(wèn)題。

表2 事件類型及其論元示例

模板1直接使用論元角色作為問(wèn)題,如披露時(shí)間、發(fā)行價(jià)格。

模板2基于論元角色及其所屬的類型(時(shí)間、地點(diǎn)、數(shù)量和其他)形成疑問(wèn)句作為問(wèn)題。

模板3利用論元角色的詳細(xì)語(yǔ)義信息形成問(wèn)題。

具體示例如表3所示。

根據(jù)不同模板構(gòu)建問(wèn)題q后,分別結(jié)合篇章D中的每一句話s作為預(yù)訓(xùn)練模型BERT的輸入。具體輸入形式如式(6)所示。

input=[CLS]+q+[SEP]+s+[SEP]

(6)

對(duì)輸入input通過(guò)預(yù)訓(xùn)練模型BERT得到對(duì)問(wèn)題和文本的表示,計(jì)算如式(7)～式(8)所示。

其中,U∈n×d,n為整個(gè)輸入的長(zhǎng)度,d為向量的維度。

由于一個(gè)論元角色可能對(duì)應(yīng)多個(gè)不同的論元(如高管變動(dòng)事件中,高管姓名角色通常對(duì)應(yīng)多個(gè)不同的論元),因此,不同于計(jì)算答案開(kāi)始和結(jié)束位置的閱讀理解任務(wù)(即抽取類閱讀理解任務(wù)),得到句子序列表示s′后,利用條件隨機(jī)場(chǎng)(CRF)對(duì)每個(gè)字符進(jìn)行BIO序列標(biāo)注,來(lái)預(yù)測(cè)句子的標(biāo)簽。

使用論元對(duì)應(yīng)的角色作為標(biāo)簽,結(jié)合CRF來(lái)得到損失Lner,具體計(jì)算如式(9)所示。

其中,ys是篇章D中句子s的黃金標(biāo)簽。在解碼階段,我們使用維特比算法使用最大化概率解碼預(yù)測(cè)序列得到事件元素標(biāo)注結(jié)果,從而識(shí)別出對(duì)應(yīng)位置的片段,構(gòu)成事件元素集合E。

2.3 圖結(jié)構(gòu)

我們通過(guò)圖神經(jīng)網(wǎng)絡(luò)對(duì)篇章D中的事件元素構(gòu)建異構(gòu)圖G,建模篇章級(jí)表示。

為了獲取事件元素間的關(guān)系,我們構(gòu)建了兩種邊:

(1)句內(nèi)關(guān)系邊如果一個(gè)句子中兩個(gè)事件元素存在直接或者間接的依存句法關(guān)系時(shí),則在兩個(gè)事件元素間構(gòu)建連邊。這是因?yàn)槿绻录亻g存在直接的依存關(guān)系,或者存在多跳的間接依存關(guān)系,則這些事件元素很可能屬于同一事件。

(2)句間事件元素邊如果同一個(gè)事件元素出現(xiàn)在多個(gè)句子中,則在該事件元素間構(gòu)建連邊。構(gòu)建句間事件元素邊有助于從全局角度對(duì)長(zhǎng)距離論元進(jìn)行建模。

構(gòu)建異構(gòu)圖G之后,使用多層圖卷積網(wǎng)絡(luò)來(lái)建模事件元素間的交互。具體運(yùn)算如式(10)所示。

2.4 論元分配

該模塊對(duì)得到的事件元素進(jìn)行組合,并對(duì)這些組合匹配事件類型,對(duì)組合中的事件元素分配論元角色。我們使用與Zhu等人[13]類似的論元角色分配方法,具體包含兩個(gè)步驟:

(11)

(2) 對(duì)組合匹配對(duì)應(yīng)的事件類型,對(duì)組合中事件元素分配論元角色。將識(shí)別到的事件類型oi,(oi∈Otype)與組合集C執(zhí)行笛卡爾積,得到所有的事件類型組合對(duì){,(ck∈C)}。對(duì)組合對(duì)中ck的所有候選事件元素,通過(guò)事件相關(guān)的前饋網(wǎng)絡(luò)作為分類器得到可能的論元角色。

訓(xùn)練損失計(jì)算如式(12)所示。

(12)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文采用的是百度發(fā)布的金融領(lǐng)域篇章級(jí)事件抽取數(shù)據(jù)集DuEE-fin[20]和中國(guó)金融數(shù)據(jù)集ChinFinAnn[8]。DuEE-fin數(shù)據(jù)集包含11 900個(gè)篇章,事件類型包括股東減持、股東增持、企業(yè)收購(gòu)、企業(yè)融資、股份回購(gòu)等13種事件類型。其中測(cè)試集是在線評(píng)估的(1)https://aistudio.baidu.com/aistudio/competition/detail/46/0/task-definition。ChinFinAnn數(shù)據(jù)集包括32 040個(gè)篇章,涉及股份凍結(jié)(EF)、股份回購(gòu)(ER)、股份減持(EU)、股份增持(EO)、股份質(zhì)押(EP)等5類金融領(lǐng)域股權(quán)活動(dòng)事件。實(shí)驗(yàn)中訓(xùn)練集、驗(yàn)證集、測(cè)試集的比例為8∶1∶1。

預(yù)處理使用斯坦福發(fā)布的自然語(yǔ)言處理工具Stanza對(duì)數(shù)據(jù)分詞、依存句法分析等進(jìn)行預(yù)處理。

實(shí)驗(yàn)設(shè)置使用BERT-base-Chinese預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行事件檢測(cè)和事件元素候選識(shí)別,使用與Zhu等人[13]相同的詞匯表。使用Adam優(yōu)化器,學(xué)習(xí)速度為5e-4,最小批次大小為64,進(jìn)行100個(gè)epoch的訓(xùn)練,并在驗(yàn)證集上選擇F1得分最高的檢查點(diǎn)在測(cè)試集上進(jìn)行預(yù)測(cè),其中DuEE-fin在線評(píng)測(cè)得出測(cè)試集分?jǐn)?shù)。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)中,選取的基線模型主要有:

DCFEE[7]包含兩個(gè)模型。DCFEE-O只從一個(gè)文檔中提取一條記錄,而DCFEE-M在單句抽取的基礎(chǔ)上得到包含大多數(shù)事件及其論元,再?gòu)闹行木涞泥徑渲羞M(jìn)行論元補(bǔ)全。其事件元素候選識(shí)別使用BiLSTM+CRF進(jìn)行。

Doc2EDAG[8]將記錄構(gòu)造為論元鏈(DAG),并使用自回歸方法提取最終結(jié)果。其事件元素候選識(shí)別通過(guò)Transformer+CRF進(jìn)行。

GIT[9]是Doc2EDAG的變體,利用GCN圖神經(jīng)網(wǎng)絡(luò)進(jìn)一步對(duì)事件元素進(jìn)行編碼,并在DAG生成中添加更多特征。

PTPCG[13]是Doc2EDAG的快速輕量級(jí)改進(jìn)模型。在事件元素候選識(shí)別階段,該方法通過(guò)正則表達(dá)式來(lái)匹配更多的金額、日期、比率實(shí)體來(lái)增強(qiáng)識(shí)別效果,使用BiLSTM+CRF進(jìn)行序列標(biāo)注實(shí)現(xiàn)識(shí)別。

實(shí)驗(yàn)采用具體評(píng)價(jià)指標(biāo)為: 準(zhǔn)確率P(Precision)、召回率R(Recall)和F1值。

事件抽取整體結(jié)果如表4和表5所示(結(jié)果使用模板3來(lái)構(gòu)建問(wèn)題)。

表4 ChinFinAnn事件抽取整體實(shí)驗(yàn)結(jié)果 (單位: %)

表5 DuEE-fin事件抽取整體實(shí)驗(yàn)結(jié)果 (單位: %)

從整體實(shí)驗(yàn)結(jié)果可以看出,本文模型在DuEE-fin數(shù)據(jù)集上召回率R和F1值均取得了最好的分?jǐn)?shù),在線測(cè)試中,比次優(yōu)模型PTPCG的召回率和F1值分別提高4.5%和3.8%,說(shuō)明利用論元角色的先驗(yàn)信息和篇章級(jí)事件元素間關(guān)系對(duì)系統(tǒng)性能提升有明顯作用。盡管準(zhǔn)確率略P低于GIT模型,但是取得了和其他模型性能具有競(jìng)爭(zhēng)力的效果。模型在ChinFinAnn數(shù)據(jù)集上整體性能上(Overall)效果最好,并且在4類事件中取得了最高值。

事件元素候選識(shí)別結(jié)果如表6和表7所示。在DuEE-fin數(shù)據(jù)集上除了與基線模型比較,Our-model-mrc將預(yù)訓(xùn)練語(yǔ)言模型BERT作為編碼器進(jìn)行序列標(biāo)注,不使用閱讀理解框架效果就得到了明顯的提升,說(shuō)明預(yù)訓(xùn)練語(yǔ)言模型的有效性,Our-model在此上基礎(chǔ)上使用閱讀理解方式,通過(guò)引入論元角色的先驗(yàn)信息,使得模型更加聚焦文本中的事件元素,取得了最好的效果。在ChinFinAnn數(shù)據(jù)集上。本文提出模型也取得了最好的效果。

表6 DuEE-fin事件元素候選識(shí)別結(jié)果 (單位: %)

表7 ChinFinAnn事件元素候選識(shí)別結(jié)果 (單位: %)

3.2.2 消融實(shí)驗(yàn)

我們?cè)贒uEE-fin數(shù)據(jù)集上深入分析不同問(wèn)題模板、圖神經(jīng)模塊及其不同邊對(duì)性能的影響。

不同問(wèn)題模板對(duì)性能的影響在驗(yàn)證集上的實(shí)驗(yàn)結(jié)果如表8所示。模板1的問(wèn)題生成策略只考慮了論元本身的語(yǔ)義信息,但是不同事件中相同的論元角色的語(yǔ)義可能有著很大的區(qū)別。模板2對(duì)論元角色的類型進(jìn)行進(jìn)一步描述,使得模型能夠聚焦文本中事件元素的類型。模板3使用自然語(yǔ)言的形式對(duì)不同事件類型中的論元角色語(yǔ)義進(jìn)行描述,使得模型更準(zhǔn)確地聚焦與問(wèn)題相關(guān)的事件元素,實(shí)驗(yàn)結(jié)果表明模板3的效果更好。

表8 不同問(wèn)題模板對(duì)性能影響 (單位: %)

圖神經(jīng)模塊及其不同關(guān)系邊對(duì)系統(tǒng)性能的影響在驗(yàn)證集上的實(shí)驗(yàn)結(jié)果如表9所示。結(jié)果表明圖模塊有著重要作用,完全去除圖模塊降低1.6%的性能,表明圖模塊能夠聚合篇章級(jí)信息表示。去除句內(nèi)依存關(guān)系邊,系統(tǒng)性能降低1%;去除句間事件元素關(guān)系邊,系統(tǒng)性能降低0.8%。說(shuō)明了兩種關(guān)系邊對(duì)篇章級(jí)事件抽取的有效性。

表9 圖神經(jīng)模塊對(duì)性能影響 (單位: %)

3.2.3 案例分析

為了進(jìn)一步說(shuō)明本文所提方法的效果,表10中的實(shí)例展示了兩個(gè)股票減持事件,其中論元角色包括減持方、交易完成時(shí)間、披露時(shí)間等。基于LSTM+CRF的PTPCG模型沒(méi)有識(shí)別出股票代碼(“430630”“1019370”)和股票簡(jiǎn)稱(“福萊轉(zhuǎn)債”),而本文模型能正確識(shí)別是因?yàn)橥ㄟ^(guò)閱讀理解模型加入了論元角色的先驗(yàn)信息。PTPCG模型沒(méi)有正確識(shí)別出減持方“阮澤云”對(duì)應(yīng)事件中的披露時(shí)間“7月13日晚間”,而本文模型對(duì)句子2進(jìn)行依存關(guān)系連邊如圖2(灰色部分為候選事件元素識(shí)別結(jié)果)所示,其中“7月13日晚間”通過(guò)(“7月13日晚間”“稱”“占”“收到”“通知”“女士”“女士”“阮澤云”)多跳有向依存關(guān)系與“阮澤云”建立連邊,有效建模屬于同一事件的事件元素。PTPCG模型沒(méi)有正確識(shí)別減持方“阮澤云”對(duì)應(yīng)事件中減持部分占總股份比例,而本文通過(guò)圖結(jié)構(gòu)的句間候選元素邊,有效建?！叭顫稍啤迸c“1019370”“7.03%”的長(zhǎng)距離關(guān)系。

圖2 實(shí)例句內(nèi)依存信息

表10 實(shí)例分析

4 結(jié)束語(yǔ)

為了在篇章級(jí)事件抽取中有效利用論元角色的先驗(yàn)信息,獲得篇章級(jí)的事件元素表示,本文嘗試使用閱讀理解框架來(lái)進(jìn)行事件元素候選識(shí)別,通過(guò)不同的問(wèn)題構(gòu)建模板形成問(wèn)答,從而引入論元角色的先驗(yàn)信息,在上下文中回答相應(yīng)的問(wèn)題抽取事件元素;然后通過(guò)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行篇章級(jí)聚合表示,在句內(nèi)利用句法直接依存關(guān)系或者間接依存關(guān)系、句間事件元素聯(lián)系構(gòu)邊。實(shí)驗(yàn)結(jié)果證明了方法的有效性。

雖然閱讀理解方式做篇章級(jí)事件元素抽取有著更好的效果,但由于對(duì)每個(gè)事件論元角色構(gòu)建問(wèn)答,導(dǎo)致樣本數(shù)量擴(kuò)充,使得運(yùn)行效率低下。樣本構(gòu)建、運(yùn)行效率和將閱讀理解作為統(tǒng)一框架將是下一步的研究方向。