基于槽位語義增強提示學(xué)習(xí)的篇章級事件抽取方法

李鴻鵬，馬 博，楊雅婷，王 磊，王 震，李 曉

（1.中國科學(xué)院新疆理化技術(shù)研究所，烏魯木齊 830011；2.中國科學(xué)院大學(xué)，北京 100049；3.新疆民族語音語言信息處理實驗室，烏魯木齊 830011）

0 概述

事件抽取的目標(biāo)是對非結(jié)構(gòu)化文本中的重要事件信息以結(jié)構(gòu)化形式進行識別提?。?］。在事件抽取中，最能代表事件發(fā)生以及事件類型的詞稱為觸發(fā)詞，圍繞著觸發(fā)詞的相關(guān)人物、時間、地點等實體稱為事件論元，事件論元在事件中扮演的角色稱為論元角色［2］。篇章級事件抽取任務(wù)要求從篇章層面對分布在不同句子內(nèi)的事件要素同時進行抽取。早期的事件抽取方法的抽取范圍局限于單個句子，其假定目標(biāo)事件位于單句內(nèi)，通過圖對問題進行簡化，與現(xiàn)實情況不符，且早期研究將事件抽取任務(wù)看作實體分類任務(wù)，多采用管道式實體識別與事件論元分類方式進行實現(xiàn)，在模型訓(xùn)練過程中需要大規(guī)模標(biāo)注數(shù)據(jù)，該類方法在低資源領(lǐng)域表現(xiàn)不佳，抽取過程中容易產(chǎn)生累積誤差問題［3］。

隨著預(yù)訓(xùn)練語言模型的出現(xiàn)，基于提示學(xué)習(xí)的序列生成式方法在篇章級事件抽取任務(wù)中得到應(yīng)用。通過對預(yù)訓(xùn)練語言模型添加不同的提示（Prompt），能夠在模型參數(shù)不變的情況下對包含不同事件類型的篇章文本實現(xiàn)事件要素的判別與分類。提示學(xué)習(xí)方法基于預(yù)訓(xùn)練語言模型的自然語言理解能力，通過注意力機制計算篇章文本的全局特征，從而實現(xiàn)篇章級文本的端到端表征學(xué)習(xí)，相比傳統(tǒng)方法具有更高的泛化能力與訓(xùn)練效率。然而，現(xiàn)有的提示學(xué)習(xí)方法多數(shù)基于自然語言描述與事件論元槽位構(gòu)造提示模板，模型對提示模板中的槽位進行答案生成與填空，在槽位值預(yù)測過程中存在論元角色分類錯誤的問題，無法對預(yù)訓(xùn)練模型的預(yù)測答案空間起到很好的約束作用。

針對上述問題，本文提出一種基于槽位語義增強提示學(xué)習(xí)的篇章級事件抽取方法。在提示學(xué)習(xí)方法的基礎(chǔ)上對傳統(tǒng)事件抽取任務(wù)進行重構(gòu)，將傳統(tǒng)事件抽取范式的事件論元角色作為語義信息融入提示模板槽位中，對提示模板形成槽位語義提示，對模型的生成答案空間進行約束，從而提高篇章級事件抽取的論元角色分類準(zhǔn)確率。本文模型屬于端到端的編碼解碼器模型，利用序列生成式預(yù)訓(xùn)練語言模型對輸入篇章添加對應(yīng)的提示模板，對篇章文本進行編碼表示。模型根據(jù)輸入篇章及提示模板對論元槽位生成對應(yīng)的填空預(yù)測，實現(xiàn)事件論元抽取。在中英文篇章級事件抽取公開數(shù)據(jù)集上進行實驗，在不同訓(xùn)練數(shù)據(jù)規(guī)模下驗證模型的自適應(yīng)能力，同時在篇章級事件抽取任務(wù)中應(yīng)用知識遷移機制驗證模型的遷移學(xué)習(xí)能力。

1 相關(guān)工作

1.1 篇章級事件抽取

篇章級事件抽取需要同時考慮句子與篇章的文本特征，涉及更多的事件類型和論元角色，是事件抽取領(lǐng)域的難點問題。如圖1 所示，與觸發(fā)詞“約談”相關(guān)的事件論元同時存在于句子S1 與S2 中，且論元角色“約談機構(gòu)”和“公司名稱”在篇章中存在多個對應(yīng)論元。

圖1 篇章級事件抽取示例Fig.1 Example of document-level event extraction

JI 等［4］較早將論元時態(tài)信息作為篇章級特征應(yīng)用到事件 抽取中。YANG 等［5］將卷積 神經(jīng)網(wǎng) 絡(luò)（Convolutional Neural Network，CNN）與雙向長短時記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)相結(jié)合，利用CNN 進行觸發(fā)詞識別，使用Bi-LSTM完成句子的論元抽取，通過上下句論元補齊方式實現(xiàn)篇章級事件抽取。陳斌等［6］提出一種基于長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的觸發(fā)詞抽取方法，利用上下文信息提高抽取準(zhǔn)確率。

近年來，具有更強表征學(xué)習(xí)能力的Transformer以及大規(guī)模預(yù)訓(xùn)練語言模型得到研究與應(yīng)用［7］。ZHENG 等［8］利 用Transformer 進行篇 章實體 抽取和事件類型判別，基于有向無環(huán)圖對事件進行建模，通過圖路徑拓展方式實現(xiàn)中文篇章級事件抽取。仲偉峰等［9］提出一個基于聯(lián)合標(biāo)注和全局推理的篇章級事件抽取模型，該模型結(jié)合注意力機制與多層感知機實現(xiàn)篇章級事件抽取。

在中文篇章級事件抽取公開數(shù)據(jù)集方面：百度提出了中文金融領(lǐng)域的篇章級事件抽取數(shù)據(jù)集Duee-fin；YANG 等［5］提出一個中文金融篇章級事件抽取數(shù)據(jù)集，ZHENG 等［8］在此基礎(chǔ)上利用遠(yuǎn)程監(jiān)督擴充得到數(shù)據(jù)規(guī)模較大的中文事件抽取數(shù)據(jù)集。在英文篇章級事件抽取公開數(shù)據(jù)集方面：EBNER 等［10］提出一個新聞領(lǐng)域篇章級事件抽取數(shù)據(jù)集RAMS；LI 等［11］提出一個新聞篇章級事件抽取數(shù)據(jù)集WikiEvent，并利用生成式預(yù)訓(xùn)練語言模型實現(xiàn)了英文篇章級事件抽取。

1.2 提示學(xué)習(xí)

以GPT-3 為代表的序列生成式預(yù)訓(xùn)練語言模型在各項自然語言處理（Natural Language Processing，NLP）任務(wù)中具有優(yōu)秀的閱讀理解能力，通過對下游任務(wù)添加提示，能夠以問答或填空形式進行回答［12］。受到此類工作的啟發(fā)，將傳統(tǒng)下游任務(wù)重構(gòu)為語言生成任務(wù)的研究開始出現(xiàn)，以解決目標(biāo)領(lǐng)域的低資源問題。

LEVY 等［13］提出一個基于機器問答（Question Answering，QA）的關(guān)系抽取模型，實現(xiàn)了英文的關(guān)系判別與抽取。PETRONI 等［14］通過將關(guān)系抽取任務(wù)修改為填空式三元組補齊問題，在不修改預(yù)訓(xùn)練語言模型的情形下得到了比知識庫更好的關(guān)系抽取效果。SHIN等［15］將提示學(xué)習(xí)應(yīng)用于關(guān)系抽取任務(wù)，基于梯度搜索得到優(yōu)質(zhì)提示模板，提升了模型的關(guān)系分類能力。LI等［16］將提示學(xué)習(xí)方法應(yīng)用于命名實體識別任務(wù)，通過機器閱讀理解形式實現(xiàn)命名實體識別。

在事件抽取領(lǐng)域，DU 等［17］利用問答提示形式提出一個基于BERT 的問答式事件抽取模型，在英文數(shù)據(jù)集上實現(xiàn)了句子級事件抽取。李珂等［18］提出一個基于RoBERTa 的實體抽取模型，以解決新聞文本的時間線挖掘問題。LIU 等［19］在QA 問答形式的基礎(chǔ)上對篇章級事件抽取任務(wù)設(shè)計多輪問答和問答模板生成方法，實現(xiàn)了英文的篇章級事件抽取。

傳統(tǒng)QA 方法的不足之處在于只能單次對單個目標(biāo)論元進行抽取，當(dāng)事件論元數(shù)量較多時，會產(chǎn)生效率下降與累積誤差的問題。LI 等［11］將事件抽取任務(wù)轉(zhuǎn)化為基于提示模板的條件生成式任務(wù)，但是其未充分考慮模型對模板槽位答案空間的準(zhǔn)確約束，提示模板的數(shù)量和形式有限，也缺乏在中英文低資源領(lǐng)域和跨領(lǐng)域知識遷移上的應(yīng)用。

2 模型結(jié)構(gòu)

對篇章級事件抽取任務(wù)進行如下定義：設(shè)篇章文檔D包含事件論元集合E，事件類型對應(yīng)事件觸發(fā)詞trge和論元角色集Re。對于論元角色集中的論元角色r?Re，事件抽取需要在文檔D中識別出屬于論元角色r的事件論元α?E，抽取出論元角色與事件論元的關(guān)系對(r,α)。

以圖1 文本“河北日報7 月19 日消息。近日，石家莊市文明辦會同該市市場監(jiān)管局召集美團、餓了么兩大網(wǎng)絡(luò)訂餐平臺運營商進行了行政約談會議?！睘槔?，傳統(tǒng)事件抽取方法通過預(yù)定義的抽取范式，輸出抽取結(jié)果為：（披露日期：7 月19 日）（約談時間：近日）（約談機構(gòu)：石家莊市文明辦，市場監(jiān)管局）（公司名稱：美團，餓了么）。

本文將傳統(tǒng)事件抽取任務(wù)的輸入部分重構(gòu)為篇章文本與提示模板的組合，如圖2 中的編號2 模塊所示，以[s]與[sep]分別作為起始標(biāo)識符與分隔標(biāo)識符。

圖2 事件抽取模型結(jié)構(gòu)Fig.2 The structure of event extraction model

給定篇章D，模型通過提示模板知識庫B對輸入篇章匹配對應(yīng)的提示模板tin?B，其中，tin是一種對事件的精簡自然語言描述，模板構(gòu)成如式（1）所示：

其中：wi表示組成自然語言描述的單詞；argj表示論元角色集Re中第j個事件論元在提示模板中的槽位；n代表模板單詞長度。模型目標(biāo)在于給定篇章和提示模板(D,tin)，對tin的論元槽位arg 進行預(yù)測，輸出填空后的生成模板tout，如式（2）所示：

其中：αj代表模型對槽位argj所填充的預(yù)測論元。若存在預(yù)測結(jié)果，則αj?D；若不存在預(yù)測結(jié)果，則模型對槽位不進行填充，αj=argj。

以圖1 文本為例，通過與提示模板“日期［arg］的報告稱［arg］在［arg］約談了［arg］”進行拼接，模型根據(jù)篇章內(nèi)容輸出槽位arg 的預(yù)測填空。新任務(wù)目標(biāo)如式（3）所示：

其中：(D,tin)代表模型輸入的篇章與提示模板；w?E代表篇章D的對應(yīng)事件論元。模型的目標(biāo)轉(zhuǎn)化為預(yù)測提示模板槽位的對應(yīng)正確論元，最大化事件論元集合E的條件概率。

文獻［12］闡明經(jīng)過提示學(xué)習(xí)重構(gòu)下游任務(wù)，能夠提高預(yù)訓(xùn)練語言模型下游任務(wù)的一致性，更好地挖掘模型的潛在模式與先驗知識，從而獲得更優(yōu)的少樣本性能表現(xiàn)。

2.1 模板槽位語義增強層

傳統(tǒng)提示模板方法由自然語言描述與論元槽位組合構(gòu)成，槽位使用相同的編碼值參與模型訓(xùn)練，在模型填空預(yù)測中無法起到足夠的類型提示作用。文獻［15］在關(guān)系抽取任務(wù)中驗證了對模板添加提示的有效性。如式（4）所示，通過在提示模板槽位[M]前添加觸發(fā)向量[T]，構(gòu)造新的模板，可以使得模型在關(guān)系抽取中獲得更高的準(zhǔn)確率。

本文將傳統(tǒng)事件抽取范式中的論元角色作為外部知識，與提示模板槽位標(biāo)簽argi以及論元角色向量rrolei進行拼接，經(jīng)過詞嵌入層進行編碼表示，構(gòu)成增強后的槽位表示向量，將其輸入模型編碼層，如圖3所示。模型解碼層采用單向自回歸式文本生成方法，對論元槽位進行類型約束，從而有效提高預(yù)測準(zhǔn)確率。

圖3 模板槽位語義增強過程Fig.3 Template slot semantic enhancement process

為實現(xiàn)提示模板槽位語義增強，本文以事件觸發(fā)詞作為關(guān)鍵值構(gòu)建提示模板知識庫?；诒疚膶嶒灁?shù)據(jù)集的194 類事件類型構(gòu)造提示模板庫，基于216 類論元角色構(gòu)建事件論元角色庫，匹配流程如圖4 所示。

圖4 提示模板知識庫Fig.4 Knowledge base of prompt template

以圖1 文本為例，通過事件觸發(fā)詞“約談”，知識庫以鍵值匹配的方式，從事件論元角色庫內(nèi)匹配與“約談”事件相關(guān)的論元角色“披露日期”“約談時間”“約談機構(gòu)”“公司名稱”作為論元角色語義信息，輸入到模板槽位語義增強模塊；從提示模板庫匹配預(yù)定義提示模板“［arg］的報告稱［arg］在［arg］約談了［arg］”，輸入到模板槽位語義增強模塊。

2.2 雙向詞嵌入編碼層

給定篇章D={w1,w2,…,wn}及對應(yīng)的提示模板tin，其中，wi??d表示篇 章詞語。將D與tin進行拼接，作為重構(gòu)后的輸入提供給模型。編碼層結(jié)構(gòu)如圖5 所示，經(jīng)過詞嵌入層對(D,tin)進行嵌入表示。模型編碼層與解碼層共享詞嵌入層的參數(shù)。

圖5 模型編碼層結(jié)構(gòu)Fig.5 Model encoding layer structure

編碼層通過多頭自注意力機制計算得到編碼向量，學(xué)習(xí)篇章與提示模板的表征關(guān)系［7］。如式（5）～式（7）所示，構(gòu)造Q、K、V作為注意力權(quán)重矩陣，將多組編碼器的注意力頭進行拼接與線性變換，得到的輸出作為(D,tin)編碼后的向量表示。通過編碼層輸出詞編碼表示向量Ei與最末隱含向量提供給自回歸解碼層。

2.3 自回歸解碼層

解碼層接收來自雙向編碼層的詞編碼向量和隱含向量，輸入與輸出間通過右移進行自回歸式序列生成，生成填空后的提示模板tout。每層解碼器接收前一個生成向量Ei-1以及編碼層隱含向量作為輸入，利用跨注意力機制進行計算，獲得文本全局特征表示，輸出預(yù)測詞向量［20］。模型通過式（8）進行自回歸式序列生成：

其中：c代表輸入文本；xi代表對模板第i位詞的生成預(yù)測。

為防止模型在預(yù)測過程中生成不屬于篇章內(nèi)的預(yù)測詞，設(shè)計模型生成答案約束機制，如式（9）所示。若預(yù)測詞w??d在篇章詞表Vc??d×|D|內(nèi)，輸出解碼層向量與預(yù)測詞嵌入向量的點積，經(jīng)過Softmax函數(shù)得到生成概率；若預(yù)測詞不在篇章詞表內(nèi)，輸出概率為0，從而將解碼層的生成結(jié)果約束在篇章范圍內(nèi)，約束模型的生成答案空間，提升預(yù)測的準(zhǔn)確率。

2.4 論元生成與槽位映射

在模型的事件論元生成階段，對于代表特定論元角色的槽位argi，若篇章中存在復(fù)數(shù)事件論元與其對應(yīng)，則在英文中使用“and”、在中文中使用“和”來對論元進行合并。在生成預(yù)測環(huán)節(jié)，使用top-k采樣法進行預(yù)測采樣，輸出填空后的提示模板tout［21］。對預(yù)測結(jié)果為空的論元槽位進行槽位還原，輸出“arg”表示空值，模型根據(jù)式（10）進行論元槽位填空生成：

模型的訓(xùn)練使用最大似然估計作為損失函數(shù)，如式（11）所示，遍歷篇章D中的所有事件，對給定篇章文本ci條件下的生成序列xi，計算其預(yù)測值與真實標(biāo)簽的最大似然估計值。

在論元槽位映射層中，依據(jù)各個槽位在提示模板中對應(yīng)的角色，對槽位預(yù)測值進行論元類型分類與論元抽取，得到結(jié)構(gòu)化事件信息，如圖2 模塊1 中的模板槽位結(jié)果映射層所示。

2.5 跨領(lǐng)域預(yù)訓(xùn)練與知識遷移

知識遷移指模型在任務(wù)形式相似的源任務(wù)上進行學(xué)習(xí)，以獲取有效的領(lǐng)域知識，再將其遷移到目標(biāo)任務(wù)上進行訓(xùn)練［22］。LIU 等［12］驗證了提示學(xué)習(xí)方法在知識遷移上具有較高的自適應(yīng)性以及較小的遷移成本。本文在中文數(shù)據(jù)集上進行跨領(lǐng)域知識遷移實驗，由如下2 個部分組成：

1）跨領(lǐng)域預(yù)訓(xùn)練。在對目標(biāo)任務(wù)進行訓(xùn)練前，使用領(lǐng)域相似任務(wù)T對模型進行跨任務(wù)預(yù)訓(xùn)練，訓(xùn)練目標(biāo)如式（12）所示：

其中：T代表預(yù) 訓(xùn)練任 務(wù)；代表任 務(wù)中的訓(xùn)練樣本表示給 定輸入條件下預(yù)測 結(jié)果的最大似然估計。訓(xùn)練過程中針對整體損失Lcross進行學(xué)習(xí)。

2）目標(biāo)任務(wù)訓(xùn)練。對獲得領(lǐng)域知識的模型進行目標(biāo)任務(wù)訓(xùn)練，訓(xùn)練目標(biāo)如式（13）所示：

其中：D為目標(biāo)任務(wù)輸入篇章；e代表D中的單個事件；(r,α)代表事件e中的事件論元與論元角色對。

通過提示學(xué)習(xí)的任務(wù)重構(gòu)，本文方法保持了預(yù)訓(xùn)練語言模型上下游任務(wù)的一致性，對目標(biāo)損失值Lin進行學(xué)習(xí)，能夠利用模型預(yù)訓(xùn)練階段的領(lǐng)域知識提高目標(biāo)領(lǐng)域內(nèi)的收斂效果與自適應(yīng)能力。

3 實驗驗證

本文在英文篇章級事件抽取數(shù)據(jù)集WikiEvent與RAMS 上進行實驗，并選擇RAMS 數(shù)據(jù)集驗證模型在100%、50%與25%數(shù)據(jù)規(guī)模下的性能表現(xiàn)。在中文事件抽取任務(wù)上，使用包含大規(guī)模數(shù)據(jù)量的中文篇章級事件抽取數(shù)據(jù)集ChFinAnn 進行跨領(lǐng)域預(yù)訓(xùn)練，該數(shù)據(jù)集包含5 種金融主題的事件類型和35 種論元角色，共有約3 萬條篇章［8］。當(dāng)模型收斂后，在百度金融篇章級數(shù)據(jù)集Duee-fin 上進行目標(biāo)任務(wù)訓(xùn)練，并與基線模型的結(jié)果進行比較。在消融實驗環(huán)節(jié)，分別去除模型的提示模板槽位語義增強機制、將提示模板更換為傳統(tǒng)事件抽取范式，對比模型性能變化。在跨領(lǐng)域知識遷移實驗中，分析模型在不同數(shù)據(jù)規(guī)模下的性能表現(xiàn)。

3.1 實驗設(shè)置

3.1.1 數(shù)據(jù)集

WikiEvent 來源于英文維基百科新聞篇章，事件類型的定義依據(jù)語言數(shù)據(jù)協(xié)會的KAIROS 事件抽取范式，包含31 種事件類型與59 種論元角色。RAMS數(shù)據(jù)集的事件類型定義依據(jù)語言數(shù)據(jù)協(xié)會的AIDA 范式，包含150 種事件類型與65 種論元角色。Duee-fin來源于金融財經(jīng)領(lǐng)域的新聞篇章，包含13 種金融事件類型和92 種論元角色。數(shù)據(jù)集的詳細(xì)信息如表1所示。

表1 實驗數(shù)據(jù)集信息Table 1 Experimental datasets information

3.1.2 超參數(shù)設(shè)置

實驗環(huán)境為Ubuntu 18.04，GPU Tesla V100×4，采用Python3.7，PyTorch1.6.0。訓(xùn)練批次大小為8，學(xué)習(xí)率為0.000 5，迭代次數(shù)為10 次，使用Adam 作為優(yōu)化器，優(yōu)化器權(quán)值衰減為0.000 1。

3.1.3 評價指標(biāo)

使用精確率（P）、召回率（R）與F1作為評價指標(biāo)。在論元識別（Arg Identify）環(huán)節(jié)，模型抽取出正確事件論元視為正例，反之視為負(fù)例；在論元分類（Arg Classify）環(huán)節(jié)，模型對論元角色進行正確分類視為正例，反之視為負(fù)例，以論元分類指標(biāo)作為最終評估指標(biāo)。由于WikiEvent 數(shù)據(jù)集在標(biāo)注過程中遵循頭實體（Head Entity）標(biāo)注法，并且額外標(biāo)注了事件論元的指代關(guān)系，因此分別使用HeadF1與CorefF1進行評估。

3.1.4 對比模型

本文在英文篇章級事件抽取實驗中，使用WikiEvent 與RAMS 數(shù)據(jù)集上的Sota 模型作為對比基線模型，包括：

1）BERT_QA，基于預(yù)訓(xùn)練模型機器閱讀理解機制實現(xiàn)的英文事件抽取模型［17］。

2）BERT-CRF，基于BERT 和條件隨機場實現(xiàn)的序列標(biāo)注式事件抽取模型［23］。

3）DocMRC，在BERT_QA 基礎(chǔ)上實現(xiàn)問答模板生成的英文篇章級事件抽取模型［19］。

4）BartGen，基于手工設(shè)計提示學(xué)習(xí)模板的生成式英文篇章級事件抽取模型［11］。

在中文篇章級事件抽取實驗中，使用Duee-fin數(shù)據(jù)集上的Sota 模型作為對比基線，包括：

1）Doc2EDAG，基于Transformer 篇章實體標(biāo)注與圖路徑拓展的篇章級中文事件抽取模型［8］。

2）GIT，利用圖神經(jīng)網(wǎng)絡(luò)對實體進行編碼的中文事件抽取模型［24］。

3）PTPCG，基于偽觸發(fā)詞完全修剪圖的中文篇章級事件抽取模型［25］。

3.2 實驗結(jié)果分析

3.2.1 英文事件抽取實驗

在WikiEvent 數(shù)據(jù)集上進行實驗，結(jié)果如表2 所示，其中，Arg Identify 評估模型對論元的識別能力，Arg Classify 評估模型對識別論元進行正確分類的能力，最優(yōu)數(shù)據(jù)加粗標(biāo)注。從表2 可以看出：傳統(tǒng)事件抽取方法在低資源數(shù)據(jù)上無法獲得理想的性能表現(xiàn)，在2 個指標(biāo)上表現(xiàn)均較差，論元識別指標(biāo)F1均小于60%，論元分類指標(biāo)F1均小于50%；基線BartGen采用傳統(tǒng)提示學(xué)習(xí)方法，本文方法引入了槽位語義增強機制，有效提高了論元分類準(zhǔn)確率，在論元分類指標(biāo)F1上提高2.6 個百分點，在論元識別指標(biāo)F1上提高2.2 個百分點，表明本文方法能夠提高模型的論元抽取準(zhǔn)確率。

表2 WikiEvent 數(shù)據(jù)集上的實驗結(jié)果 Table 2 Experimental results on the WikiEvent dataset

在RAMS 數(shù)據(jù)集上進行不同數(shù)據(jù)規(guī)模的實驗。RAMS 數(shù)據(jù)集包含150 種事件類型與65 類論元角色，對模型的泛化性能具有較高要求。從表3 可以看出：傳統(tǒng)方法在面對多分類任務(wù)與低資源場景時，表現(xiàn)出較低的F1與較多的性能折損；基線DocMRC與BartGen 在訓(xùn)練數(shù)據(jù)規(guī)模從100%降低至25%后，F(xiàn)1分別下降4.0 與6.0 個百分點；由于采用了更優(yōu)的提示學(xué)習(xí)方法，本文模型相較基線模型在精確率等指標(biāo)上均得到提高，獲得了49.8%的F1，并在低資源場景下保持了3.9 個百分點的性能損失率，表現(xiàn)出更好的泛化能力。

表3 RAMS 數(shù)據(jù)集上的實驗結(jié)果 Table 3 Experimental results on the RAMS dataset %

3.2.2 知識遷移實驗

利用ChFinAnn 數(shù)據(jù)集作為跨領(lǐng)域預(yù)訓(xùn)練數(shù)據(jù)進行模型預(yù)訓(xùn)練。為得到更大的訓(xùn)練數(shù)據(jù)規(guī)模，提高模型的自然語言理解能力，在訓(xùn)練集中引入不同類型的隨機噪聲，提高模型在下游任務(wù)中的泛化能力。本文在訓(xùn)練過程中以同等概率隨機對數(shù)據(jù)集的輸入篇章做如下處理：

1）對篇章字符進行15%掩碼操作。

2）對篇章字符進行15%刪除操作。

3）替換篇章中15%的字符位置。

4）保持不變。

通過20 輪迭代使模型達(dá)到收斂。在目標(biāo)任務(wù)Duee-fin 數(shù)據(jù)集上進行下游訓(xùn)練，選擇遷移后的模型參數(shù)作為初始化參數(shù)并迭代收斂。從表4 可以看出，本文模型對比傳統(tǒng)基線模型在召回率與F1上取得了較大提升。傳統(tǒng)數(shù)據(jù)驅(qū)動型模型在面對復(fù)數(shù)事件論元時性能表現(xiàn)不佳，取得了較低的召回率。本文模型通過跨領(lǐng)域預(yù)訓(xùn)練與知識遷移并引入隨機噪聲，獲得了更高的魯棒性與較好的自適應(yīng)能力，相較于次優(yōu)基線模型在召回率上取得了6.7 個百分點的提升，在F1上取得了2.9 個百分點的提升，驗證了跨領(lǐng)域知識遷移機制在事件抽取中的有效性。

表4 Duee-fin 數(shù)據(jù)集上的實驗結(jié)果 Table 4 Experimental results on the Duee-fin dataset %

利用領(lǐng)域相近的大規(guī)模語料訓(xùn)練模型在復(fù)雜文本上的機器閱讀理解能力，在不同的數(shù)據(jù)規(guī)模下，驗證模型相較未經(jīng)知識遷移時能否獲得更好的性能表現(xiàn)。在Duee-fin 數(shù)據(jù)集不同訓(xùn)練數(shù)據(jù)規(guī)模下進行模型遷移前后的性能對比，結(jié)果如圖6 所示。從圖6 可以看出，經(jīng)過知識遷移的模型只需10%的訓(xùn)練數(shù)據(jù)便能達(dá)到60%以上的F1，在低資源情況下具有更好的性能表現(xiàn)。

圖6 不同數(shù)據(jù)規(guī)模下的知識遷移效果Fig.6 Knowledge transfer effects under different data scales

3.2.3 消融實驗

本文在Duee-fin 數(shù)據(jù)集上進行如下消融實驗：

1）去除提示模板的槽位語義增強機制，將其命名為PlainTemp。

2）將自然語言描述的提示模板更改為非自然語言描述的傳統(tǒng)抽取范式，將其命名為SchemaTemp。

3）不進行跨領(lǐng)域知識遷移的預(yù)訓(xùn)練，將其命名為NonTransfer。

從表5 可以看出：消融項PlainTemp 去除提示模板知識庫以及槽位語義增強機制，槽位預(yù)測答案空間增大，導(dǎo)致F1出現(xiàn)1.8 個百分點的下降；消融項SchemaTemp 使用結(jié)構(gòu)化語言作為提示模板，由于模型預(yù)訓(xùn)練階段無法理解非自然語言描述的結(jié)構(gòu)語義，因此降低了上下游任務(wù)的一致性，導(dǎo)致F1下降5.3 個百分點；NonTransfer 消融項去除知識遷移機制后模型也表現(xiàn)出一定的性能下降，在大規(guī)模樣本上F1降低了0.8 個百分點。此外，圖6 結(jié)果表明，知識遷移機制在低資源情形下也能得到較好的性能提升。

表5 消融實驗結(jié)果 Table 5 Results of ablation experiment %

3.3 錯誤分析

以RAMS 測試集篇章為例，對比本文模型與基線模型DocMRC、BartGen 在同一例子上的預(yù)測結(jié)果。表6 所示為篇章原文和各模型的事件抽取結(jié)果，其中，括號內(nèi)“T”代表抽取結(jié)果正確，“F”代表抽取結(jié)果錯誤，原文下劃線片段對應(yīng)事件論元正確答案。篇章包含的事件類型為“poison/attack”，論元角色包括“attacker”“target”“instrument”“place”。原文為：

表6 案例分析結(jié)果 Table 6 Case analysis results

Read more：The stealthy，nefarious way an ex-KGB officer was murdered in London.Full report：Russian President Vladimir Putin implicated in fatal poisoning of former KGB operative.Russian tycoon found dead in Britain after falling out with Putin.The ancient art of poisoning.

從表6 可知：本文模型能夠正確識別篇章中的事件論元，并根據(jù)論元槽位分類到正確的論元角色；BartGen 的模板設(shè)計并未考慮槽位語義增強機制，導(dǎo)致預(yù)測槽位時無法抽取準(zhǔn)確的論元角色“place”；DocMRC 使用問答形式對每個論元角色設(shè)計問題，模型輸出答案，但是同樣出現(xiàn)了答案錯誤的情況，對“target”角色的論元抽取出了多余結(jié)果，對“attacker”論元角色無法抽取答案，輸出了空值。由此表明，在篇章級事件抽取中，本文模型相比傳統(tǒng)模型具有更好的抽取效率和準(zhǔn)確率。

4 結(jié)束語

本文提出一種基于槽位語義增強提示學(xué)習(xí)的篇章級事件抽取方法。將基于提示學(xué)習(xí)的提示模板填空生成機制應(yīng)用到篇章級事件抽取任務(wù)中，并將傳統(tǒng)事件抽取范式以外部知識形式融入提示模板構(gòu)造中。通過對傳統(tǒng)事件抽取任務(wù)進行重構(gòu)，更好地利用預(yù)訓(xùn)練模型的自然語言理解能力，在一定程度上緩解不同任務(wù)間范式不統(tǒng)一、難以遷移的問題。實驗結(jié)果表明，該方法可以在低資源場景下取得較好的性能表現(xiàn)，能以較低的成本進行知識遷移，具有較好的泛化能力。下一步將探索更好的提示模板形式和知識遷移方式，提高模型在零樣本和跨領(lǐng)域方面的性能表現(xiàn)。