融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)模型

嚴(yán)海寧，余正濤*，黃于欣，宋燃，楊溪

（1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南 昆明 650504；2.昆明理工大學(xué)云南省人工智能重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650504）

0 引言

事件檢測(cè)（ED）是事件抽取的關(guān)鍵步驟，目標(biāo)是在給定句子中識(shí)別事件觸發(fā)詞并將其分類為預(yù)定義的事件類型。觸發(fā)詞是最能清楚表達(dá)事件核心含義的詞，通常是一個(gè)名詞或者動(dòng)詞［1］。事件檢測(cè)作為自然語(yǔ)言處理領(lǐng)域的一項(xiàng)重要任務(wù)，被廣泛應(yīng)用于知識(shí)圖譜［2］、自動(dòng)內(nèi)容抽?。?］等下游任務(wù)。

事件檢測(cè)任務(wù)依賴于識(shí)別出的觸發(fā)詞進(jìn)行事件類型分類［4-5］?，F(xiàn)有多數(shù)數(shù)據(jù)中觸發(fā)詞的標(biāo)注嚴(yán)重不平衡，使模型過(guò)度擬合密集標(biāo)注的觸發(fā)詞數(shù)據(jù)，而稀疏標(biāo)記的觸發(fā)詞數(shù)據(jù)往往得不到有效訓(xùn)練，導(dǎo)致觸發(fā)詞為稀疏標(biāo)記或未出現(xiàn)過(guò)的詞時(shí)模型性能不佳。

在以下句子S1、S2 中有下劃線的詞語(yǔ)表示觸發(fā)詞：

S1：EU will release 20 million euros in emergency humanitarian aid to Iraq.

S2：EU will disburse 20 million euros in emergency humanitarian aid to Iraq.

可以看出，在句子S1 中，密集標(biāo)注觸發(fā)詞數(shù)據(jù)“release”被模型正確識(shí)別后，句子被分類為正確的事件類型“Transaction：Transfer-Money”，而在將句子S2 中密集標(biāo)注觸發(fā)詞“release”替換為稀疏標(biāo)記的同義觸發(fā)詞“disburse”后，不改變句子原本表達(dá)的含義，模型卻不能識(shí)別出正確的事件類型。

針對(duì)以上問(wèn)題，現(xiàn)有研究認(rèn)為生成更多的訓(xùn)練實(shí)例是一種解決方案。一些方法通過(guò)引導(dǎo)擴(kuò)展出更多的訓(xùn)練實(shí)例［6-8］，另一些方法使用更多數(shù)據(jù)進(jìn)行遠(yuǎn)程監(jiān)督［9-11］。但是這些方法要么生成同質(zhì)的語(yǔ)料庫(kù)，要么受制于低覆蓋率的知識(shí)庫(kù)，導(dǎo)致數(shù)據(jù)本身分布不均，訓(xùn)練的模型存在內(nèi)置偏差［12］，且在稀疏標(biāo)記數(shù)據(jù)上性能仍然較差。筆者認(rèn)為主要原因?yàn)橄∈铇?biāo)注數(shù)據(jù)的觸發(fā)詞難以識(shí)別，導(dǎo)致其事件類型不能被正確分類。為此，需要對(duì)詞粒度擴(kuò)展信息進(jìn)行探索，在不增加訓(xùn)練實(shí)例的條件下，縮小候選觸發(fā)詞的范圍，并對(duì)候選觸發(fā)詞進(jìn)行語(yǔ)義擴(kuò)展，從而提升觸發(fā)詞識(shí)別能力。同時(shí)，融合不同粒度的語(yǔ)義信息，增強(qiáng)語(yǔ)義表征的魯棒性，以緩解標(biāo)記數(shù)據(jù)稀疏的情況。

本文提出一種融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)模型（FESPOS-ED）。首先，通過(guò)詞性篩選模塊尋找特定詞性的詞，確定候選觸發(fā)詞的位置。無(wú)論是稀疏標(biāo)記還是未見(jiàn)過(guò)的觸發(fā)詞，都會(huì)以極大概率包含在特定詞性中，因此能更好地識(shí)別候選觸發(fā)詞且不受觸發(fā)詞樣本數(shù)量的限制。然后，對(duì)候選觸發(fā)詞位置進(jìn)行語(yǔ)義擴(kuò)展，挖掘候選觸發(fā)詞上下文豐富的詞粒度語(yǔ)義信息。最后，融合句子粒度語(yǔ)義信息，增強(qiáng)語(yǔ)義表征的魯棒性，進(jìn)一步提升事件檢測(cè)準(zhǔn)確性。

本文主要貢獻(xiàn)如下：

1）建立一種融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)模型，結(jié)合詞粒度語(yǔ)義擴(kuò)展信息及句子粒度語(yǔ)義信息，提升語(yǔ)義表征的魯棒性，從而緩解稀疏標(biāo)記數(shù)據(jù)帶來(lái)的不良影響。

2）利用詞性語(yǔ)義擴(kuò)展方法，在縮小候選觸發(fā)詞范圍的同時(shí)擴(kuò)展候選觸發(fā)詞在當(dāng)前語(yǔ)境下的語(yǔ)義信息，能更好地識(shí)別候選觸發(fā)詞且不受觸發(fā)詞樣本數(shù)量的限制。

3）在實(shí)驗(yàn)數(shù)據(jù)集上的F1 值相較于基線模型有明顯的提升。

1 相關(guān)工作

在早期研究中，事件檢測(cè)任務(wù)被視作基于觸發(fā)詞的分類問(wèn)題，重點(diǎn)在于收集全局統(tǒng)計(jì)特征作為知識(shí)來(lái)源或決策基礎(chǔ)［13-14］。隨著深度學(xué)習(xí)的發(fā)展，許多研究利用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)輸入序列的上下文表征信息。在將文本上下文信息嵌入低維空間后，再利用這些特征識(shí)別觸發(fā)詞和事件類型。根據(jù)上下文信息的不同，可以分為結(jié)構(gòu)化上下文信息和非結(jié)構(gòu)化上下文信息。引入結(jié)構(gòu)化上下文信息通常是指引入事件參數(shù)信息［15-16］，利用結(jié)構(gòu)化文本描述事件信息。引入非結(jié)構(gòu)化上下文信息通常是使用卷積 神經(jīng)網(wǎng) 絡(luò)（CNN）［17-18］、圖卷積 神經(jīng)網(wǎng) 絡(luò)（GCN）［19-21］、預(yù)訓(xùn)練語(yǔ)言模型［10，22-23］等方法捕捉事件信息。

在針對(duì)不平衡數(shù)據(jù)標(biāo)注的研究中，通常主要有兩類平衡思路：一類是從數(shù)據(jù)方面進(jìn)行平衡；另一類是從分類損失上進(jìn)行平衡。在數(shù)據(jù)方面的平衡策略中，研究者們利用半監(jiān)督或弱監(jiān)督的方法自動(dòng)擴(kuò)充訓(xùn)練實(shí)例。文獻(xiàn)［6］依靠復(fù)雜的預(yù)定義規(guī)則從并行的新聞流中引導(dǎo)產(chǎn)生更多訓(xùn)練實(shí)例。文獻(xiàn)［7］采用WordNet 和基于規(guī)則的方法來(lái)生成沒(méi)有事件類型標(biāo)簽的開(kāi)放域數(shù)據(jù)。文獻(xiàn)［10］利用遠(yuǎn)程監(jiān)督方法，基于觸發(fā)器的潛在實(shí)例發(fā)現(xiàn)策略和對(duì)抗性訓(xùn)練方法來(lái)協(xié)同獲得更加多樣化和準(zhǔn)確的訓(xùn)練數(shù)據(jù)。文獻(xiàn)［11］利用遠(yuǎn)程監(jiān)督從知識(shí)庫(kù)中現(xiàn)有的結(jié)構(gòu)化事件知識(shí)中生成大規(guī)模數(shù)據(jù)。在分類損失方面的平衡策略中，研究者們也進(jìn)行了大量研究。文獻(xiàn)［21］提出一個(gè)帶有解耦分類重新平衡機(jī)制的語(yǔ)法增強(qiáng)型GCN 框架，根據(jù)樣本數(shù)量模擬負(fù)冪律分布重新調(diào)整分類器權(quán)重。文獻(xiàn)［24］提出的損失通過(guò)鼓勵(lì)少數(shù)類別擁有更大的邊際來(lái)擴(kuò)展現(xiàn)有的軟邊際損失。文獻(xiàn)［25］利用貝葉斯不確定性估計(jì)計(jì)算樣本和類別的不確定性來(lái)度量最大邊距，以緩解類別不平衡造成的影響。

2 融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)模型

針對(duì)標(biāo)記數(shù)據(jù)不平衡導(dǎo)致稀疏標(biāo)記數(shù)據(jù)不能得到有效訓(xùn)練的問(wèn)題，構(gòu)建一種融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)模型，結(jié)構(gòu)如圖1 所示（彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版），主要分為句子粒度語(yǔ)義編碼、詞粒度語(yǔ)義擴(kuò)展、詞粒度-句子粒度語(yǔ)義融合3 個(gè)模塊。

圖1 融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)框架Fig.1 Framework of event detection integrating part of speech semantic extension information

2.1 句子粒度語(yǔ)義編碼

首先，利用Word Price Model 標(biāo)記化獲得輸入文本序列中token 和位置嵌入的總和，這一做法可以確保為任意字符序列生成確定性的切分，具體計(jì)算過(guò)程如下：

其中：Sw表示輸入文本序列；m表示文本序列中包含的單詞數(shù)量；St表示輸入序列中token 序列；n表示序列中包含的token 數(shù)量。

然后，將文本序列Sw輸入BERT，進(jìn)一步編碼得到隱藏狀態(tài)，具體表示如下：

其中：ht=(h1,h2,…,hn-1,hn)表示文本序列中每個(gè)token 對(duì)應(yīng)的隱狀態(tài)；表示BERT 中的可學(xué)習(xí)參數(shù)。

接著，分別提取每個(gè)token 對(duì)應(yīng)隱藏狀態(tài)左右兩端的上下文特征信息，并利用動(dòng)態(tài)多池化保留每個(gè)token 左右兩部分的最大值。與傳統(tǒng)的最大池化相比，動(dòng)態(tài)多池化可以在不丟失最大池化值的情況下保留更多有價(jià)值的信息［9］，具體計(jì)算過(guò)程如下：

其中：[；]表示拼接 操作；max(?)表示最大池化操 作；E1表示第j個(gè)token 左邊部分上下文信息特征；E2表示第j個(gè)token 右邊部分上下文信息特征；Es表示句子粒度語(yǔ)義特征。

2.2 詞粒度語(yǔ)義擴(kuò)展

2.2.1 詞性篩選

利用詞性標(biāo)注工具Stanford CoreNLP 對(duì)輸入序列進(jìn)行篩選，得到滿足詞性的詞語(yǔ)位置，具體表示如下：

其中：SSet,p表示詞性集，具體包括動(dòng)詞詞性和名詞詞性；表示第i個(gè)單詞 的詞性；LLoc,i為0 表示該 位置的詞語(yǔ)不滿足詞性；LLoc,i為1 表示該位置的詞語(yǔ)滿足詞性，即候選觸發(fā)詞位置。

2.2.2 語(yǔ)義擴(kuò)展

在得到候選觸發(fā)詞位置后，為了擴(kuò)展候選觸發(fā)詞在當(dāng)前語(yǔ)境下的語(yǔ)義信息，受到完形填空任務(wù)［26］的啟發(fā)，使用掩碼預(yù)訓(xùn)練語(yǔ)言模型對(duì)每個(gè)候選觸發(fā)詞位置進(jìn)行覆蓋。

首先，在輸入文本序列中加入占位符，每次只對(duì)一個(gè)滿足詞性的候選觸發(fā)詞位置進(jìn)行覆蓋，具體計(jì)算過(guò)程如下：

然后，利用掩碼預(yù)訓(xùn)練語(yǔ)言模型對(duì)帶有占位符[MASK]的文本序列Smask進(jìn)行預(yù)測(cè)，具體表示如下：

其中：Hmask表示帶有占位符的文本序列Smask的隱藏狀態(tài)；Pmask表示預(yù)測(cè)單詞的概率分布。這里模型得到的預(yù)測(cè)單詞表征是固定的，不會(huì)跟隨模型一起進(jìn)行訓(xùn)練。如果預(yù)測(cè)單詞表征是動(dòng)態(tài)的，那么每一次訓(xùn)練得到的詞粒度語(yǔ)義特征都會(huì)出現(xiàn)變化，當(dāng)遇到一些未被訓(xùn)練的輸入序列時(shí)仍會(huì)使用之前產(chǎn)生的表征，這樣可能會(huì)導(dǎo)致錯(cuò)誤的識(shí)別。

最后，取Top-k預(yù)測(cè)單詞的表征作為詞粒度語(yǔ)義擴(kuò)展特征，具體表示如下：

其中：Largestk(?)返回候選詞中最大的k個(gè)元素，k是超參數(shù)；K=(Κ1,K2,…,Kk)表示Top-k預(yù)測(cè)單詞的表征；Ew表示詞粒度語(yǔ)義擴(kuò)展特征。

2.3 詞粒度-句子粒度語(yǔ)義融合

在得到句子粒度語(yǔ)義特征Es和詞粒度語(yǔ)義特征Ew后將其進(jìn)行融合，得到最終魯棒的語(yǔ)義表征，具體計(jì)算過(guò)程如下：

其中：[；]表示拼 接操作；MLP(?)表示多 層感知 機(jī)；代表多層感知機(jī)中的可學(xué)習(xí)參數(shù)；E表示最終魯棒的語(yǔ)義表征。

將最終的融合語(yǔ)義特征經(jīng)過(guò)Softmax 操作得到最終的事件類型概率分布，并根據(jù)分布概率判斷輸入序列的事件類型，具體計(jì)算過(guò)程如下：

其中：P表示預(yù)測(cè)事件類型概率分布；L 表示損失函數(shù)；qi是真實(shí)標(biāo)簽的One-hot 編碼。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

在實(shí)驗(yàn)中采用ACE2005［1］和KBP2015［27］語(yǔ)料庫(kù)作為數(shù)據(jù)集來(lái)評(píng)估所提模型。ACE2005 數(shù)據(jù)集是事件檢測(cè)任務(wù)廣泛使用的一個(gè)基準(zhǔn)數(shù)據(jù)集，其中包括來(lái)自不同領(lǐng)域的文檔集合，例如文本新聞、廣播對(duì)話、博客等。該數(shù)據(jù)集包含599 個(gè)文檔并定義了34 種事件類型，同時(shí)提供對(duì)應(yīng)的事件觸發(fā)詞、事件參數(shù)和事件類型注釋。為避免數(shù)據(jù)預(yù)處理對(duì)模型性能產(chǎn)生較大影響，采用與已有研究［17，22，28］相同的方式分割數(shù)據(jù)，訓(xùn)練集、驗(yàn)證集和測(cè)試集的文件數(shù)量分別為529、30 和40。KBP2015 數(shù)據(jù)集 是來(lái)自2015 年文本分析會(huì)議（TAC）的Nugget 事件檢測(cè)的評(píng)估數(shù)據(jù)。該數(shù)據(jù)集包含360 個(gè)文檔，定義了39 種事件類型。采用與官方［27］相同的數(shù)據(jù)分割方式，訓(xùn)練集和測(cè)試集分別包括158 個(gè)文檔和202 個(gè)文檔，并將訓(xùn)練集的一個(gè)子集作為驗(yàn)證集，約占訓(xùn)練集的20%。

以ACE2005 數(shù)據(jù)集為例，該數(shù)據(jù)集中數(shù)據(jù)標(biāo)注情況存在不平衡現(xiàn)象，統(tǒng)計(jì)情況具體如圖2 所示。位于頭部的“Conflict：Attack”事件類型的觸發(fā)詞數(shù)量遠(yuǎn)大于位于尾部的事件類型總和，其中尤為顯著的是數(shù)量排名最后5 類事件類型中的觸發(fā)詞數(shù)量?jī)H為個(gè)位數(shù)。

圖2 ACE2005 中事件類型樣本大小分布Fig.2 Sample size distribution of event type in the ACE2005 dataset

觸發(fā)詞是句子中最能清楚表達(dá)事件核心含義的詞，通常是一個(gè)名詞或動(dòng)詞［1］。以ACE2005 數(shù)據(jù)集為例，對(duì)數(shù)據(jù)集中的觸發(fā)詞詞性進(jìn)行統(tǒng)計(jì)，具體結(jié)果如圖3 所示，主要包括單數(shù)名詞形式（NN）、復(fù)數(shù)名詞形式（NNS）等名詞詞性，過(guò)去分詞（VBN）、動(dòng)詞過(guò)去式（VBD）、動(dòng)詞基本形式（VB）、動(dòng)名詞和現(xiàn)在分詞（VBG）等動(dòng)詞詞性以及形容詞（JJ）詞性。由統(tǒng)計(jì)結(jié)果可以看出，觸發(fā)詞中名詞和動(dòng)詞約占總數(shù)的92%。因此，對(duì)動(dòng)詞或名詞詞性的特定位置進(jìn)行語(yǔ)義擴(kuò)展可以縮小候選觸發(fā)詞范圍，并且不受數(shù)據(jù)集中樣本數(shù)量的影響。

圖3 ACE2005 數(shù)據(jù)集觸發(fā)詞詞性統(tǒng)計(jì)Fig.3 Statistics of ACE2005 dataset trigger part of speech

3.2 參數(shù)設(shè)置

所提模型實(shí)現(xiàn)基于PyTorch 框架，利用兩個(gè)NVIDIA 3080Ti-12 GB GPU 進(jìn)行訓(xùn)練。在實(shí)驗(yàn)中采用Adam 作為優(yōu)化器，參數(shù)設(shè)置如表1 所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置Table 1 Experimental parameter setting

如上文所述，所提模型分為句子粒度語(yǔ)義編碼、詞粒度語(yǔ)義擴(kuò)展、詞粒度-句子粒度語(yǔ)義融合3 個(gè)模塊，只有詞粒度語(yǔ)義擴(kuò)展模塊中的參數(shù)不參與更新，不具有梯度，其余模塊參數(shù)均具有梯度。詞粒度語(yǔ)義擴(kuò)展模塊參數(shù)不具有梯度的原因?yàn)椋涸~粒度語(yǔ)義擴(kuò)展信息旨在擴(kuò)展符合當(dāng)前輸入序列上下文語(yǔ)義信息的詞粒度信息表征，而不能受到其他輸入序列表征的干擾，否則會(huì)與當(dāng)前語(yǔ)境產(chǎn)生偏差，導(dǎo)致錯(cuò)誤的識(shí)別。

3.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)選取事件檢測(cè)研究中常用的3 個(gè)評(píng)價(jià)指標(biāo)：

1）準(zhǔn)確率（P）表示正確預(yù)測(cè)的事件在總預(yù)測(cè)的事件中的比例。

2）召回率（R）表示正確預(yù)測(cè)的事件在所有事件中的比例。

3）F1 值（F1）根據(jù)準(zhǔn)確率和召回率計(jì)算得來(lái)，計(jì)算公式為F1=2RP/(R+P)。

3.4 基線模型

為了充分驗(yàn)證所提模型的性能，選取上述3 種評(píng)價(jià)指標(biāo)將近年來(lái)主流的事件檢測(cè)模型與FESPOSED 進(jìn)行比較。對(duì)比模型具體如下：

1）DMCNN［17］模型：在事件檢測(cè)任務(wù)中引入動(dòng)態(tài)多池化層作為特征提取器，該特征提取器更加關(guān)注事件觸發(fā)詞與事件要素信息，從而保留更重要的信息。

2）JRNN［29］模型：為了避免管道模型中的誤差傳播問(wèn)題，采用雙向RNN 來(lái)學(xué)習(xí)更加豐富的句子表示，同時(shí)也考慮了事件觸發(fā)詞與事件要素信息之間的聯(lián)系。

3）dbRNN［30］模型：在使用RNN 方法的同時(shí)應(yīng)用樹(shù)結(jié)構(gòu)與序列結(jié)構(gòu)來(lái)提高事件檢測(cè)模型的性能，豐富了每個(gè)token 的信息表示。

4）GCN-ED［31］模型：采用基于依賴樹(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)改進(jìn)事件檢測(cè)，并且提出一種新穎的基于實(shí)體提及的卷積向量聚合方法。

5）JMEE［19］模型：引入依存句法樹(shù)方法并使用基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖信息進(jìn)行建模，從而解決事件觸發(fā)詞歧義的問(wèn)題并提升事件檢測(cè)效果。

6）EE-GCN［32］模型：通過(guò)融 合句法 結(jié)構(gòu)和類型依賴標(biāo)簽并且以上下文相關(guān)的方式更新關(guān)系表示來(lái)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型。

7）GatedGCN［20］模型：采 用BERT 進(jìn)行編碼，并利用門(mén)控機(jī)制根據(jù)候選觸發(fā)詞的信息過(guò)濾圖卷積神經(jīng)網(wǎng)絡(luò)模型中的噪聲信息。

8）Adv-DMBERT［10］模型：采用一種對(duì)抗訓(xùn)練機(jī)制，不僅可以從候選集中提取實(shí)例信息，而且可以提高事件檢測(cè)模型在嘈雜環(huán)境中的性能。

9）EKD［12］模型：引入開(kāi)放域觸發(fā)知識(shí)，為未見(jiàn)過(guò)/稀疏標(biāo)記的觸發(fā)詞提供額外的語(yǔ)義支持，并改進(jìn)觸發(fā)識(shí)別性能。

10）SEGCN-DCR［21］模型：采用一種帶有解耦分類重新平衡機(jī)制的語(yǔ)法增強(qiáng)型卷積神經(jīng)網(wǎng)絡(luò)，提升在數(shù)據(jù)分布不均衡的情況下事件檢測(cè)模型的性能。

3.5 對(duì)比實(shí)驗(yàn)

為了充分驗(yàn)證所提模型的性能，利用上述基線在相同的實(shí)驗(yàn)條件下進(jìn)行對(duì)比。在ACE2005 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示，其中：★表示擴(kuò)充訓(xùn)練實(shí)例的模型；▼表示基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型；△表示基于圖神經(jīng)網(wǎng)絡(luò)的模型；※表示引入動(dòng)態(tài)多池化層的模型；加粗?jǐn)?shù)據(jù)表示最優(yōu)指標(biāo)值，下同。

表2 ACE2005 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results on the ACE2005 dataset %

在ACE2005 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提模型在觸發(fā)詞識(shí)別任務(wù)中的性能有明顯提升，且在事件檢測(cè)任務(wù)上的性能優(yōu)于其他對(duì)比模型，召回率和F1 值都有所提升，尤其是對(duì)比先進(jìn)的SEGCNDCR［24］模型，召回率和F1 值分別提升了2.2 和1.2 個(gè)百分點(diǎn)。這充分說(shuō)明了所提模型在事件檢測(cè)任務(wù)上的有效性和先進(jìn)性。在ACE2005 數(shù)據(jù)集上，EKD［12］模型的觸發(fā)詞分類準(zhǔn)確率最高，這是因?yàn)槠湟肓素S富的開(kāi)放域觸發(fā)詞知識(shí)并利用師生模型減少注釋中的內(nèi)在偏差，但召回率較低。由表2 實(shí)驗(yàn)結(jié)果可以看出：

1）與擴(kuò)充 訓(xùn)練實(shí) 例的模 型Adv-DMBERT［10］和EKD［12］相比，所提模型在F1 值上均有所提升，分別提升了4.9 和0.9 個(gè)百分點(diǎn)。這可能是因?yàn)樗鼈兩傻恼Z(yǔ)料庫(kù)都是同質(zhì)的，仍然存在內(nèi)置偏差，并且在一定程度上受限于知識(shí)庫(kù)的低覆蓋情況，而所提模型不擴(kuò)充句子級(jí)訓(xùn)練實(shí)例，在詞粒度上進(jìn)行語(yǔ)義擴(kuò)展，避免了引入噪聲干擾模型訓(xùn)練，且可以挖掘候選觸發(fā)詞上下文中的豐富語(yǔ)義。

2）與基于 循環(huán)神 經(jīng)網(wǎng)絡(luò) 的模型JRNN［29］、dbRNN［30］相比，所提模型性能更加優(yōu)越，在F1 值上分別提升了10.2 和7.6 個(gè)百分點(diǎn)。這可能是因?yàn)檠h(huán)神經(jīng)網(wǎng)絡(luò)無(wú)法解決句子長(zhǎng)距離依賴問(wèn)題，而所提模型同時(shí)利用詞粒度和句子粒度語(yǔ)義信息有效地避免了此問(wèn)題。

3）與基于 圖神經(jīng) 網(wǎng)絡(luò)的模型GCN-ED［31］、JMEE［19］、EE-GCN［32］、GatedGCN［20］、SEGCN-DCR［21］相比，所提模型性能均有所提升，在F1 值上分別提高了6.4、5.8、1.9、1.9、1.2 個(gè)百分點(diǎn)。這可能是因?yàn)镚CN 在卷積時(shí)對(duì)所有鄰居賦予同等的重要性，不能根據(jù)節(jié)點(diǎn)重要性分配不同的權(quán)重，并且GCN 將特征編碼為高階向量，會(huì)引入過(guò)多額外參數(shù)，而所提模型著重對(duì)符合觸發(fā)詞詞性的候選觸發(fā)詞進(jìn)行語(yǔ)義擴(kuò)展，關(guān)注特定位置符合語(yǔ)境的上下文信息預(yù)測(cè)，且沒(méi)有引入過(guò)多參數(shù)。

4）與引入 動(dòng)態(tài)多 池化層 的模型DMCNN［17］和Adv-DMBERT［10］相比，所提模型在F1 值上分別提升了10.4 和4.9 個(gè)百分點(diǎn)。這可能是因?yàn)橐雱?dòng)態(tài)多池化層的模型僅關(guān)注句子粒度語(yǔ)義信息，沒(méi)有重視與觸發(fā)詞相關(guān)的詞粒度語(yǔ)義擴(kuò)展信息。

綜上所述，所提模型僅在詞粒度上進(jìn)行語(yǔ)義擴(kuò)展，利用詞性篩選縮小候選觸發(fā)詞范圍并擴(kuò)展特定位置的語(yǔ)義信息，不僅考慮了候選觸發(fā)詞信息，而且還充分考慮了候選觸發(fā)詞與當(dāng)前語(yǔ)境的關(guān)聯(lián)關(guān)系，同時(shí)融合詞粒度語(yǔ)義擴(kuò)展信息和句子粒度語(yǔ)義信息增強(qiáng)了分類能力，因此性能優(yōu)于對(duì)比模型。

為了進(jìn)一步驗(yàn)證所提模型的有效性，在KBP2015數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3 所示。在KBP2015 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提模型在觸發(fā)詞識(shí)別與觸發(fā)詞分類任務(wù)上的性能都有不同程度的提升，其中在觸發(fā)詞識(shí)別任務(wù)上，準(zhǔn)確率、召回率和F1 值分別達(dá)到了83.5%、65.3%和73.3%，在觸發(fā)詞分類任務(wù)上準(zhǔn)確率、召回率和F1 值分別達(dá)到了77.8%、59.6% 和67.5%。TAC Top［27］是在TAC KBP2015 事件檢測(cè)中獲得排名第1 的結(jié)果，與之相比，所提模型也表現(xiàn)出優(yōu)異的性能。

表3 KBP2015 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Table 3 Experimental results on the KBP2015 dataset %

3.6 稀疏標(biāo)記數(shù)據(jù)實(shí)驗(yàn)

當(dāng)數(shù)據(jù)標(biāo)記不平衡時(shí)，模型在稀疏標(biāo)記數(shù)據(jù)上的表現(xiàn)無(wú)法通過(guò)整體性能進(jìn)行衡量。在實(shí)驗(yàn)中根據(jù)訓(xùn)練數(shù)據(jù)的分布拆分測(cè)試集，對(duì)ACE2005 數(shù)據(jù)集中數(shù)量小于10 條數(shù)據(jù)的類別進(jìn)行測(cè)試，并與對(duì)比模型在相同實(shí)驗(yàn)條件下進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表4 所示。

表4 稀疏標(biāo)記數(shù)據(jù)實(shí)驗(yàn)結(jié)果Table 4 Experimental results of sparse labeled data %

由表4 可知，隨著實(shí)驗(yàn)數(shù)據(jù)的減少，所提模型的性能會(huì)顯著下降，但是在稀疏標(biāo)記數(shù)據(jù)上所提模型在各項(xiàng)指標(biāo)上均有所改善，與擴(kuò)充訓(xùn)練實(shí)例的模型Adv-DMBERT［10］和在分類損失上進(jìn)行平衡的模型SEGCN-DCR［21］相比，在3 個(gè)指標(biāo)上均有不同程度的提升，在F1 值上分別提高了3.4 和15.2 個(gè)百分點(diǎn)。所提模型在召回率上的改善最為顯著的可能原因?yàn)樵~性篩選機(jī)制可以縮小候選觸發(fā)詞范圍，在這些候選觸發(fā)詞中極大概率包含真正的觸發(fā)詞，從而使更多稀疏標(biāo)記的觸發(fā)詞被模型識(shí)別，并且擴(kuò)充候選觸發(fā)詞語(yǔ)義信息，挖掘觸發(fā)詞上下文中蘊(yùn)含的豐富語(yǔ)義信息進(jìn)行訓(xùn)練，進(jìn)而提升事件類型的分類性能。實(shí)驗(yàn)結(jié)果表明，所提模型能夠緩解稀疏標(biāo)記數(shù)據(jù)得不到有效訓(xùn)練對(duì)模型性能造成的不良影響。

3.7 消融實(shí)驗(yàn)

為了進(jìn)一步探究模型中各個(gè)子網(wǎng)絡(luò)的具體作用及其對(duì)最終結(jié)果的影響，進(jìn)行消融實(shí)驗(yàn)。在實(shí)驗(yàn)中使用ACE2005 數(shù)據(jù)集，具體結(jié)果如表5 所示。

表5 ACE2005 數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experimental results on the ACE2005 dataset %

1）對(duì)詞性篩選模塊的消融

（-）詞性篩選模塊（所有詞）表示消除詞性篩選模塊，對(duì)輸入序列的每個(gè)詞進(jìn)行語(yǔ)義擴(kuò)展；（-）詞性篩選模塊（隨機(jī)詞）表示消除詞性篩選模塊，對(duì)輸入序列進(jìn)行隨機(jī)語(yǔ)義擴(kuò)展。

實(shí)驗(yàn)結(jié)果表明，在消除詞性篩選模塊后，模型性能受到影響，原因?yàn)闊o(wú)論是對(duì)整個(gè)輸入序列進(jìn)行語(yǔ)義擴(kuò)展，還是對(duì)輸入序列進(jìn)行隨機(jī)語(yǔ)義擴(kuò)展，均有可能引入與觸發(fā)詞無(wú)關(guān)的噪聲，從而降低模型性能。

2）對(duì)語(yǔ)義信息模塊的消融

（-）詞粒度語(yǔ)義擴(kuò)展信息表示消除詞粒度語(yǔ)義擴(kuò)展信息模塊，僅使用句子粒度語(yǔ)義信息進(jìn)行事件檢測(cè)；（-）句子粒度語(yǔ)義信息表示消除句子粒度語(yǔ)義信息，僅使用詞粒度語(yǔ)義擴(kuò)展信息進(jìn)行事件檢測(cè)。

實(shí)驗(yàn)結(jié)果表明，所提模型在F1 值上有不同程度的下降，分別降低了3.7 和38.6 個(gè)百分點(diǎn)，這表明在所提模型中句子粒度語(yǔ)義信息和詞粒度語(yǔ)義擴(kuò)展信息都是不可或缺的。詞粒度語(yǔ)義擴(kuò)展信息能夠提供候選觸發(fā)詞的語(yǔ)義擴(kuò)展信息，句子粒度語(yǔ)義信息能夠提供輸入序列的上下文信息，兩種粒度的語(yǔ)義信息融合生成魯棒的語(yǔ)義表征對(duì)事件檢測(cè)更加有效。

3）對(duì)融合模塊的消融

（-）融合模塊表示消除融合模塊，僅將詞粒度語(yǔ)義擴(kuò)展信息和句子粒度語(yǔ)義信息進(jìn)行拼接。

實(shí)驗(yàn)結(jié)果表明，拼接操作缺少句子粒度語(yǔ)義信息和詞粒度語(yǔ)義擴(kuò)展信息的交互過(guò)程，不能有效融合兩種語(yǔ)義信息。

3.8 實(shí)例分析

為了更好地驗(yàn)證所提模型性能，本節(jié)從ACE2005 數(shù)據(jù)集中挑選了若干條數(shù)據(jù)。在第1 組數(shù)據(jù)中，為了驗(yàn)證所提模型的魯棒性，將2 條數(shù)據(jù)中的觸發(fā)詞換為同義的未見(jiàn)過(guò)的觸發(fā)詞進(jìn)行測(cè)試。第2 組數(shù)據(jù)來(lái)源于ACE2005 數(shù)據(jù)集中的稀疏標(biāo)記數(shù)據(jù)，為了驗(yàn)證所提模型的有效性，對(duì)2 條稀疏標(biāo)記數(shù)據(jù)進(jìn)行測(cè)試。由表6 可以看出：

表6 ACE2005 數(shù)據(jù)集實(shí)例分析Table 6 Case analysis of the ACE2005 dataset

在第1 組數(shù)據(jù)中，a 句的原始觸發(fā)詞是“Bankrupt”，將其替換為數(shù)據(jù)集中未見(jiàn)過(guò)的同義詞“Insolvent”；b 句的原始觸發(fā)詞是“fallen”，將其替換為未見(jiàn)過(guò)的同義詞“deceased”。由于觸發(fā)詞在極大概率上是動(dòng)詞或名詞，所提模型利用詞性篩選縮小候選觸發(fā)詞范圍，在未見(jiàn)過(guò)的觸發(fā)詞識(shí)別及分類上有天然的優(yōu)勢(shì)，并且無(wú)論是什么觸發(fā)詞都有極大概率包括在特定詞性內(nèi)，因此在未見(jiàn)過(guò)的樣本測(cè)試中依舊能夠正確識(shí)別，說(shuō)明了所提模型具有良好的泛化性。

在第2 組數(shù)據(jù)中，c 句對(duì)應(yīng)的觸發(fā)詞是“fined”，事件類型為“Justice：Fine”，該類型在數(shù)據(jù)集中僅有5 條樣本；d 句對(duì)應(yīng)的觸發(fā)詞是“amnesty”，事件類型為“Justice：Pardon”，該類型在數(shù)據(jù)集中僅有1 條樣本，所提模型能夠正確識(shí)別觸發(fā)詞和事件類型。實(shí)驗(yàn)結(jié)果表明，所提模型在稀疏標(biāo)記數(shù)據(jù)中不僅能夠利用特定詞性的詞粒度語(yǔ)義擴(kuò)展信息正確識(shí)別觸發(fā)詞，而且能有效利用輸入序列的詞粒度-句子粒度語(yǔ)義信息正確識(shí)別事件類型，充分說(shuō)明了所提模型的有效性和先進(jìn)性。

4 結(jié)束語(yǔ)

針對(duì)數(shù)據(jù)標(biāo)注不平衡導(dǎo)致稀疏標(biāo)記數(shù)據(jù)得不到有效訓(xùn)練的問(wèn)題，本文提出融合詞性語(yǔ)義擴(kuò)展信息的事件檢測(cè)模型。通過(guò)詞性語(yǔ)義擴(kuò)展，縮小候選觸發(fā)詞范圍的同時(shí)挖掘候選觸發(fā)詞的上下文中的豐富語(yǔ)義，并融合句子粒度語(yǔ)義信息進(jìn)行識(shí)別和分類，避免訓(xùn)練受到樣本數(shù)量的限制，緩解了稀疏標(biāo)記數(shù)據(jù)帶來(lái)的影響。實(shí)驗(yàn)結(jié)果表明，所提模型在ACE2005和KBP2015 數(shù)據(jù)集上均具有良好性能，在稀疏標(biāo)記數(shù)據(jù)上也取得了具有競(jìng)爭(zhēng)性的結(jié)果。在未來(lái)工作中，將對(duì)無(wú)觸發(fā)詞的事件檢測(cè)任務(wù)進(jìn)行探索和研究。