Event relation classification based on Tri-Training

DING Si-yuan,HONG Yu,ZHU Shan-shan,YAO Jian-min,ZHU Qiao-ming

(Provincial Key Laboratory of Computer Information Processing Technology,Soochow University,Suzhou 215006,China)

?

Event relation classification based on Tri-Training

DING Si-yuan,HONG Yu,ZHU Shan-shan,YAO Jian-min,ZHU Qiao-ming

(Provincial Key Laboratory of Computer Information Processing Technology,Soochow University,Suzhou 215006,China)

Abstract:As one of natural language processing techniques, event relation detection aims at exploring logical relationship between pairwise events. To solve the problem of lacking enough training data in event relation detection tasks, we propose a novel approach based on Tri-Training to augment the training corpus. We firstly use labeled training data to learn three different classifiers, and then exploit majority voting method to expand training corpus with higher confidence samples, iteratively optimize the model and eventually improve the performance of event relation classification. Experimental results show that compared to other methods, the Tri-Training based method achieves 64.3% F1-score over four general semantic relations.

Key words:event relation;frame;semi-supervised learning;Tri-Training

1引言

事件關(guān)系是指事件與事件之間相互依存和關(guān)聯(lián)，且具有客觀性和規(guī)律性的邏輯形式。事件關(guān)系檢測以事件為主體元素，通過分析事件文本的結(jié)構(gòu)信息及語義特征，挖掘事件之間深層的邏輯關(guān)系，進(jìn)而輔助事件的衍生、發(fā)展以及信息的推理與預(yù)測。事件關(guān)系檢測包含事件關(guān)系識別和事件關(guān)系判定兩個部分。本文只研究事件關(guān)系判定任務(wù)，將事件關(guān)系判定看作分類問題。

Figure 1　Structure of event relations圖1　事件關(guān)系體系結(jié)構(gòu)圖

目前，針對事件關(guān)系分類的研究相對較少，仍缺乏完善的事件關(guān)系體系定義。而與事件關(guān)系較為類似的篇章關(guān)系研究已然獲得更多關(guān)注，相關(guān)任務(wù)定義和研究方法也得到一定程度的驗(yàn)證和實(shí)踐?；诖?，楊雪蓉等[1]通過分析事件關(guān)系檢測與篇章關(guān)系檢測的異同點(diǎn)，建立一套基于篇章關(guān)系分析的事件關(guān)系體系。本文延續(xù)楊雪蓉等[1]提出的事件關(guān)系檢測研究方法，以篇章關(guān)系為橋梁，借助篇章關(guān)系的任務(wù)定義，輔助指導(dǎo)事件關(guān)系分類。事件關(guān)系類型分成兩層(如圖1所示)：第一層包含四種主要關(guān)系：Expansion(擴(kuò)展關(guān)系)、Contingency(偶然關(guān)系)、Comparison(對比關(guān)系)和Temporal(時序關(guān)系)；第二層關(guān)系針對第一層的事件關(guān)系進(jìn)行細(xì)分，共包含10種關(guān)系。本文主要研究第一層的四種主要事件關(guān)系。圖2為包含四種事件關(guān)系類型的文本實(shí)例，其中E1~E4為四個相關(guān)的事件片段(EventArg)。

Figure 2　Instances of four top event relations圖2　四種事件關(guān)系實(shí)例圖

此外，事件關(guān)系研究尚缺乏權(quán)威的標(biāo)注語言學(xué)資源，為解決該問題，楊雪蓉等[1]標(biāo)注了部分事件關(guān)系樣例，然而該樣例的數(shù)量仍不足以解決事件關(guān)系研究中語料不足的問題。針對該問題，本文提出一種基于Tri-Training的事件關(guān)系分類方法，該方法旨在利用少量的已標(biāo)注事件關(guān)系樣本訓(xùn)練三個不同的分類器，通過分類器之間的協(xié)同合作，從大規(guī)模未標(biāo)注數(shù)據(jù)資源中挖掘錯誤率較小的未標(biāo)注數(shù)據(jù)，進(jìn)而擴(kuò)充訓(xùn)練樣本，以提高分類器的分類性能。具體實(shí)現(xiàn)過程中，本文首先從大規(guī)模語言學(xué)資源GIGAWORD紐約時報(bào)新聞?wù)Z料(LDC2003T05)中挖掘包含Golden連接詞(Golden連接詞：指向某一事件關(guān)系概率大于96%的連接詞，如連接詞“now”指向時序關(guān)系的概率為100%。)的“事件對”，借助框架語義知識庫(FrameNet)[2]過濾不具備事件特征的樣本，然后將Golden連接詞所對應(yīng)的事件關(guān)系作為未標(biāo)注事件對的先驗(yàn)關(guān)系類別，以此構(gòu)造未標(biāo)記事件關(guān)系數(shù)據(jù)集。其次，基于Tri-Training方法在小規(guī)模人工標(biāo)注事件關(guān)系數(shù)據(jù)集上訓(xùn)練三個不同的分類器，在協(xié)同訓(xùn)練過程中，每個分類器新增的訓(xùn)練樣本均由其余兩個分類器協(xié)作投票提供，以此對少量人工標(biāo)注的事件關(guān)系數(shù)據(jù)集進(jìn)行擴(kuò)充，最終達(dá)到提高事件關(guān)系分類性能的目的。圖3為事件關(guān)系分類任務(wù)框架，輸入為待測事件關(guān)系片段對EventArg1和EventArg2，輸出則為具體的事件關(guān)系類型。

Figure 3　Task framework of event relation classification 圖3　事件關(guān)系分類任務(wù)框架

本文的組織結(jié)構(gòu)如下：第2節(jié)介紹相關(guān)工作；第3節(jié)介紹框架語義知識庫及未標(biāo)注樣本數(shù)據(jù)的獲??；第4節(jié)給出基于Tri-Training的事件關(guān)系樣本擴(kuò)展方法；第5節(jié)給出實(shí)驗(yàn)結(jié)果與分析；最后總結(jié)全文并展望未來工作。

2相關(guān)工作

由于事件關(guān)系檢測的研究剛剛起步，仍缺少權(quán)威的事件關(guān)系體系，相關(guān)研究工作主要集中于某種特定事件關(guān)系類型的判定[3~5]，主流的研究方法大致可以分為模板匹配法和元素分析法。

(1)模版匹配法。事件關(guān)系檢測的主要方法之一是借助事件特征的模式匹配法。例如，利用事件觸發(fā)詞(Trigger)的關(guān)系模式匹配，根據(jù)人工定義的模板，對文本中符合模板的事件關(guān)系進(jìn)行抽取。 Chklovski T等[4]首先定義六種時序關(guān)系：“similarity”(“相似”關(guān)系)，“strength”(“加強(qiáng)”關(guān)系)，“antonymy”(“相反”關(guān)系)，“enablement”(“支持”關(guān)系)，“happens”(“發(fā)生”關(guān)系)和“before”(“前”關(guān)系)，再利用人工收集的詞-句匹配模板LSP(Lexcial-Syntactic Pattern)抽取包含這六種時序關(guān)系的“事件對”,并將抽取的結(jié)果形成稱為“VerbOcean”的知識庫。人工定義的事件關(guān)系模板往往受數(shù)量限制，造成關(guān)系檢測的低召回率問題。Pantel P[5]提出利用Espresso算法進(jìn)行自動模板的構(gòu)建，該算法根據(jù)給定的少量關(guān)系實(shí)例，通過機(jī)器學(xué)習(xí)方法對現(xiàn)有模板進(jìn)行迭代擴(kuò)展，在一定程度上提高了模板匹配方法的召回率。

(2)元素分析法。以事件元素為線索的研究大都繼承了Harris[6]的分布假設(shè)。Harris分布假設(shè)指出，處在同一上下文環(huán)境中的詞語往往具有相同或相似的含義。Lin D[7]提出了一種結(jié)合Harris分布假設(shè)和建立依存樹思想的無監(jiān)督方法，稱為DIRT算法。該算法將所有事件構(gòu)造成依存樹形式，樹中的每條路徑表示一個事件，路徑的節(jié)點(diǎn)表示事件中的詞語，若兩條路徑的詞語完全相同，則這兩條路徑所表示的事件相同或者相似。

Figure 4　Same frame semantic meanings between Event 1&2 圖4　Event1與Event2中相同的框架語義

(3)其它。楊雪蓉等[1]在2014年的工作中，通過分析事件關(guān)系檢測與篇章關(guān)系檢測的異同點(diǎn)，建立了一套基于篇章關(guān)系分析的事件關(guān)系檢測體系，同時提出了基于跨場景推理的事件關(guān)系檢測方法。該方法通過構(gòu)建事件場景向量，計(jì)算待測事件對與已挖掘到的包含連接詞的事件對之間的事件場景向量相似度，將最相似的事件對所指派的事件關(guān)系作為該待測事件對的最終關(guān)系類別。但是，這種通過計(jì)算相似度的方法，不僅要求語料規(guī)模足夠大，而且，僅僅根據(jù)Golden連接詞的映射獲取事件關(guān)系的方法很難保證準(zhǔn)確性。

針對事件關(guān)系分類中語料不足的問題，本文提出一種基于Tri-Training事件關(guān)系分類方法。該方法根據(jù)已有的少量人工標(biāo)注的事件關(guān)系數(shù)據(jù)集，利用Tri-Training方法，從挖掘到的大量未標(biāo)注數(shù)據(jù)集中選擇高置信度的樣本擴(kuò)充訓(xùn)練語料，繼而提高事件關(guān)系分類性能。

3框架語義知識庫及未標(biāo)注樣本數(shù)據(jù)獲取

3.1　框架語義知識庫

框架語義知識庫(FrameNet)是由美國加州大學(xué)伯克利分校構(gòu)建的基于框架語義學(xué) (Frame Semantics)的詞匯資源，知識庫通過框架(即詞語背后隱藏的概念結(jié)構(gòu)和語義等信息)描述單詞的釋義，對詞語意義和句法結(jié)構(gòu)研究提供一種理論框架。該語言學(xué)資源共標(biāo)注1 028個框架語義，其中能夠觸發(fā)事件屬性的框架語義共540個。

在框架語義知識庫中，對句子的框架語義標(biāo)注是一種類似于“謂詞-論元”結(jié)構(gòu)的“目標(biāo)詞-框架語義(Target-Frame)”結(jié)構(gòu)。每個句子可能包含一個或多個“目標(biāo)詞-框架語義”結(jié)構(gòu)。從圖4中可以看出，在兩個事件實(shí)例Event1和Event2中，Amy和lady對應(yīng)的框架語義為Person，code與password對應(yīng)Message框架語義，而anesthetic和wine對應(yīng)Drag框架語義。雖然兩個事件具有不同的語義描述，但卻存在相同的框架語義。這就說明，通過框架語義，能夠有效地挖掘語義相近的事件，輔助事件關(guān)系推理。

3.2　未標(biāo)注樣本集合數(shù)據(jù)獲取

本文使用的外部數(shù)據(jù)資源為GIGAWORD紐約時報(bào)新聞?wù)Z料(LDC2003T05)，共包含4 111 240篇文本。本文從該語料中抽取符合下述要求的未標(biāo)注事件關(guān)系樣例：

條件1切分后的文本由事件片段1(EventArg1)和事件片段2(EventArg2)組成；

條件2事件片段2中包含Golden連接詞，借此將Golden連接詞對應(yīng)的事件關(guān)系作為未標(biāo)注事件片段對的先驗(yàn)知識，通過后續(xù)方法進(jìn)一步提高標(biāo)注準(zhǔn)確率；

條件3事件片段對中須包含能觸發(fā)事件的框架語義，從而保證挖掘到的未標(biāo)注樣本是一個事件樣本。

例1EventArg1:ThisisagreatawardhereinSweden,

EventArg2:[so]wewillrememberitallourlives.

例1為符合挖掘規(guī)則的未標(biāo)注事件關(guān)系樣例，該樣例為一個事件關(guān)系對，且包含兩個具有獨(dú)立語義信息的文字片段，兩者之間通過連接詞“so”進(jìn)行關(guān)聯(lián)。圖5給出挖掘到的以Golden連接詞為關(guān)系類別先驗(yàn)知識的各事件關(guān)系類型樣本分布比例。從圖5中可以看出，四種事件關(guān)系類型中，Expansion與Comparison關(guān)系類型分布比例較大，而Temporal關(guān)系的分布比例較小。

Figure 5　Distribution of four relations using Golden connections as prior knowledge圖5　以Golden連接詞對應(yīng)的關(guān)系作為先驗(yàn)知識的各關(guān)系類型樣本分布

4基于Tri-Training的事件關(guān)系樣本擴(kuò)展方法

圖6給出了本文基于Tri-Training的事件關(guān)系分類方法流程圖。該方法以GIGAWORD語言學(xué)資源(LDC2003T05)作為外部數(shù)據(jù)資源，從中挖掘包含Golden連接詞的事件關(guān)系對，將Golden連接詞對應(yīng)的關(guān)系類別作為先驗(yàn)知識。在此基礎(chǔ)上，抽取框架語義、事件觸發(fā)詞、觸發(fā)詞詞性和事件類別四種特征生成未標(biāo)注事件關(guān)系數(shù)據(jù)集。在對少量人工標(biāo)注的事件關(guān)系數(shù)據(jù)集抽取相同的特征后生成已標(biāo)注集。本文將其中一半的已標(biāo)注集作為訓(xùn)練集，另一半作為測試集。然后，利用Tri-Training的方法從未標(biāo)注集中選取較高置信度的事件對加入到訓(xùn)練集中，不斷迭代訓(xùn)練模型，直到未標(biāo)注集為空或未標(biāo)注集大小不再變化為止。最后，根據(jù)學(xué)習(xí)好的模型對測試集進(jìn)行分類，生成最終的分類結(jié)果。

Figure 6　Flow chart of event relation classification based on the Tri-Training圖6　基于Tri-Training的事件關(guān)系分類方法流程圖

Tri-Training算法旨在對少量已標(biāo)注數(shù)據(jù)集進(jìn)行重復(fù)采樣，訓(xùn)練三個不同的分類器X，Y，Z，通過三個分類器之間的一致性判斷，對大量未標(biāo)注樣本數(shù)據(jù)進(jìn)行分類標(biāo)注。詳細(xì)而言，在訓(xùn)練過程中，任意一個分類器(例如分類器X)所獲得的新標(biāo)記樣本由另外兩個分類器(分類器Y和分類器Z)協(xié)作判定，如果兩個分類器對同一個未標(biāo)記樣本x給出相同的分類標(biāo)簽L，Y(x) = Z(x)，那么就將該未標(biāo)記樣本加入當(dāng)前分類器X中。該方法的主要優(yōu)點(diǎn)是無需使用不同的分類方法，就可以實(shí)現(xiàn)大量未標(biāo)注樣本的標(biāo)注任務(wù)[8]。由于本文的已標(biāo)注事件關(guān)系集很小，可重復(fù)采樣效果并不是很好。因此，本文將GoldmanS和ZhouY[9]的Co-Training思想應(yīng)用到Tri-Training方法上，即在同一份已標(biāo)注集上，使用三種不同算法訓(xùn)練三個不同類型的分類器。以下是基于Tri-Training的事件關(guān)系樣本擴(kuò)展流程：

初始化:

準(zhǔn)備實(shí)驗(yàn)數(shù)據(jù)，將已標(biāo)注的數(shù)據(jù)集按照一定比例分為訓(xùn)練集L和測試集T，對于未標(biāo)注數(shù)據(jù)，根據(jù)連接詞標(biāo)上先驗(yàn)關(guān)系，記作U。

訓(xùn)練：

(1)根據(jù)訓(xùn)練集L分別訓(xùn)練三個分類器C1、C2和C3;

(2)分別用分類器C1、C2和C3對未標(biāo)注數(shù)據(jù)集U進(jìn)行預(yù)測，得到預(yù)測結(jié)果R1、R2和R3；

(3)對R1、R2和R3采取多數(shù)投票的方式得到帶有標(biāo)記的樣本，若該樣本類別與先驗(yàn)關(guān)系類別一致，則將其加入到第三個分類器的訓(xùn)練集中；

(4)重復(fù)(1)~(3)操作，直到U為空，或者U的大小不再變化訓(xùn)練停止。

值得注意的是，在第(3)步中，對于一個未標(biāo)注事件關(guān)系對，在兩個分類器給出的分類結(jié)果相同的情況下，還需滿足與先驗(yàn)關(guān)系類別相同的條件，該事件對才會被加入到第三個分類器的訓(xùn)練集中。例如，某未標(biāo)注事件對先驗(yàn)關(guān)系類別為Expansion，而分類器C1與C2給出的類別均為Expansion，那么該事件對就會被加入到已標(biāo)注集合L中，并且將類別標(biāo)記為Expansion，否則就不加入L中。

5實(shí)驗(yàn)與分析

5.1　實(shí)驗(yàn)數(shù)據(jù)集

本文選取楊雪蓉等[1]在2014年標(biāo)注的事件關(guān)系語料作為已標(biāo)注數(shù)據(jù)集，該語料是以FrameNet-1.5中的新聞?wù)Z料作為標(biāo)注集，由兩名具有一定領(lǐng)域知識的標(biāo)注人員，對每篇新聞中描述的事件以及事件關(guān)系類型進(jìn)行標(biāo)注，標(biāo)注結(jié)果的Kappa值為0.78。該語料共包含968個事件對，各關(guān)系分布情況如表1所示。本文主要研究第一層四種關(guān)系類型，包括Comparison(Com)、Contingency(Con)、Expansion(Exp)和Temporal(Tem)。其中，本文將468個關(guān)系樣例作為訓(xùn)練集，剩余的500個樣例作為測試集，具體實(shí)驗(yàn)數(shù)據(jù)分布情況如表2所示。

本文并未將挖掘到的全部外部資源作為實(shí)驗(yàn)的未標(biāo)注集，而是根據(jù)四種關(guān)系的分布比例，從各關(guān)系中隨機(jī)等分布地選取一定數(shù)目的事件對，作為最終的未標(biāo)注集。未標(biāo)注集中各關(guān)系的分布如表2所示。所采用的評價(jià)方法是標(biāo)準(zhǔn)的準(zhǔn)確率(Precision)、召回率(Recall)和F1值。

Table 1　Distribution of annotated relations

Table 2　Distribution of training sets and test sets

5.2　分類特征

本文選用框架語義(Frame)、事件觸發(fā)詞(Trigger)、觸發(fā)詞詞性(Trigger POS)和事件類別(Event Type)作為分類特征。下面分別對這四種特征予以介紹。

(1)框架語義(Frame)：即本文在3.1節(jié)中介紹的框架語義，其中具有事件屬性的框架語義共540個。本文選擇具有事件屬性的框架語義作為特征之一。

(2)事件觸發(fā)詞(Trigger)：事件觸發(fā)詞直接引發(fā)事件的產(chǎn)生，是決定事件類別的一個重要特征。根據(jù)ACE(Automatic Content Extraction)2005[10]中對觸發(fā)詞的定義，本文選擇觸發(fā)詞作為分類特征之一。

(3)觸發(fā)詞詞性(Trigger POS)：根據(jù)事件觸發(fā)詞抽取對應(yīng)的詞性(POS)，并且將其作為分類特征。

(4)事件類別(Event Type)：ACE2005定義了8種事件類別以及33種子類別。本文將事件類別與事件子類別統(tǒng)稱為事件類別，并將此作為一種分類特征。

本文通過SEMAFOR(http://www.ark.cs.cmu.edu/SEMAFOR)工具抽取框架語義特征，根據(jù)Li Q等[11]提出的基于結(jié)構(gòu)化感知機(jī)制的聯(lián)合事件抽取方法分析一個事件的觸發(fā)詞、觸發(fā)詞詞性及事件類別。例如，對于事件片段EventArg:Fifteen people died in the traffic accident.所抽取的各特征如表3所示。

Table 3　Extracted features of EventArg

5.3　實(shí)驗(yàn)系統(tǒng)

為了驗(yàn)證本文所提方法的有效性，本文設(shè)計(jì)如下6個實(shí)驗(yàn)系統(tǒng)。詳細(xì)介紹如下，

(1)Baseline1：不使用Golden連接詞所對應(yīng)的事件關(guān)系作為先驗(yàn)知識，按比例隨機(jī)從未標(biāo)注集中抽取事件對作為最終的擴(kuò)充樣本，訓(xùn)練LIBSVM(http://www.csie.ntu.edu.tw/~cjlin/libsvm)分類器對測試集進(jìn)行預(yù)測。實(shí)驗(yàn)共進(jìn)行10次，最終性能取平均值。

(2)Baseline2：以標(biāo)有先驗(yàn)事件關(guān)系類別的未標(biāo)注集作為訓(xùn)練語料，不使用本文提出的基于Tri-Training的事件關(guān)系分類方法，訓(xùn)練四個二元LIBSVM分類器，對測試集進(jìn)行預(yù)測。

(3)YangSystem：重現(xiàn)楊雪蓉[1]的方法，即利用“框架語義對”構(gòu)建事件場景，然后計(jì)算待測事件對與已挖掘到的事件對之間的事件場景相似度，將擁有最大相似度的事件對中連接詞所對應(yīng)的事件關(guān)系作為待測事件對的最終事件關(guān)系。

(4)SelfTraining：基于Self-Training[12]方法的對比實(shí)驗(yàn)。在實(shí)驗(yàn)過程中，本文通過融合Golden連接詞對應(yīng)的先驗(yàn)關(guān)系類別與分類器預(yù)測結(jié)果，對待標(biāo)記樣本的事件關(guān)系類型進(jìn)行標(biāo)記，進(jìn)而擴(kuò)充訓(xùn)練集。例如，在使用Self-Training方法從未標(biāo)注集中選擇擴(kuò)充樣本時，若分類器對某事件對預(yù)測的類別為Expansion，那么只有該事件對的先驗(yàn)關(guān)系類別為Expansion時，該事件對才會被加入到已標(biāo)注集中。實(shí)驗(yàn)選擇的分類器為LIBSVM。

(5)CoTraining：基于Co-Training[9]的半監(jiān)督學(xué)習(xí)方法的對比實(shí)驗(yàn)。同樣地，在實(shí)驗(yàn)過程中，本文通過融合Golden連接詞對應(yīng)的先驗(yàn)關(guān)系類別與分類器預(yù)測結(jié)果，對用以擴(kuò)充訓(xùn)練集的待標(biāo)記樣本的事件關(guān)系類型進(jìn)行標(biāo)記。例如，在使用Co-Training方法的過程中，對于某一待標(biāo)記樣本，當(dāng)且僅當(dāng)兩個分類器給出的預(yù)測結(jié)果與先驗(yàn)事件關(guān)系類別均相同時，該樣本才會被加入對方的已標(biāo)注集中。實(shí)驗(yàn)選擇的分類器為LIBSVM和MaxEnt(http://github.com/lzhang10/maxent)。

(6)TriTraining：本文所提出的基于Tri-Training的事件關(guān)系分類方法實(shí)驗(yàn)系統(tǒng)。分類器選擇為LIBSVM、MaxEnt與NaiveBayes(http://mallet.cs.umass.edu/)。

5.4　實(shí)驗(yàn)結(jié)果與分析

表4給出各系統(tǒng)分別在四種事件關(guān)系上的分類性能。從表4中可以看出，采用隨機(jī)采樣的Baseline1系統(tǒng)在四類關(guān)系上的分類性能均在50%左右，這與理論的情況也基本吻合。而Baseline2相較于Baseline1，在四大事件關(guān)系類別分類性能上都有著明顯的提升，這一現(xiàn)象說明，利用連接詞所指向的關(guān)系類別作為未標(biāo)注語料的先驗(yàn)事件關(guān)系，有利于提高各關(guān)系的分類性能。因此，本文在使用Self-Training、Co-Training和Tri-Training三種半監(jiān)督學(xué)習(xí)方法的實(shí)驗(yàn)中，均以Golden連接詞對應(yīng)的事件關(guān)系作為該事件對的先驗(yàn)關(guān)系類別。

實(shí)驗(yàn)結(jié)果表明，楊雪蓉等[1]所提出的方法在Expansion關(guān)系上達(dá)到較好的性能(60.74%)，然而在其他三種事件關(guān)系上的結(jié)果都不是很理想。原因在于，楊雪蓉等[1]所采用的方法是通過計(jì)算事件場景的相似度，找出包含連接詞的未標(biāo)注樣本中與待測事件對最相似的事件對，以該事件對中連接詞所屬的關(guān)系類別作為該待測事件對的事件關(guān)系類別。但是，這種通過計(jì)算相似度的方法，不僅要求語料規(guī)模足夠大，而且，直接將Golden連接詞所對應(yīng)的事件關(guān)系作為最終的關(guān)系類別很難保證準(zhǔn)確性。

本文采用Self-Training和Co-Training方法的兩個對比實(shí)驗(yàn)在事件關(guān)系的分類任務(wù)上相比于Baseline2都有著很好的分類性能提升，說明將半監(jiān)督學(xué)習(xí)方法運(yùn)用到事件關(guān)系分類任務(wù)中，對提升分類性能有著明顯的作用。本文提出的基于Tri-Training的事件關(guān)系分類方法，在四大類事件關(guān)系上均獲得了不同程度的性能提升。圖7顯示了Tri-Training方法在各事件關(guān)系上的學(xué)習(xí)曲線，可以發(fā)現(xiàn)隨著迭代次數(shù)的增加，F(xiàn)1值呈總體上升趨勢，并最終達(dá)到穩(wěn)定。由于迭代過程中會引入噪音，因此F1值有一定的波動。

Figure 7　Learning curves of Tri-Training in four relations圖7　Tri-Training方法在四種事件關(guān)系上的學(xué)習(xí)曲線

對比Baseline2，TriTraining系統(tǒng)在這四種事件關(guān)系分類性能上分別提高了16.08%、6.12%、0.74%和5.07%，而且相比于SelfTraining與CoTraining，該系統(tǒng)在Comparison、Contingency和Temporal三個關(guān)系的分類性能上分別提高了12.33%、5.17%和1.56%，與7.84%、4.73%和4.17%，均達(dá)到最高的F1值。從表5也可以看出，Tri-Training方法在四種關(guān)系上的綜合分類性能也是最高的，F(xiàn)1值為64.36%。這充分說明了本文將Tri-Training方法與Golden連接詞所對應(yīng)的先驗(yàn)關(guān)系類別相結(jié)合來輔助事件關(guān)系分類的合理性與有效性。

Table 4　Classification performance of each method in four relations

Table 5　Comprehensive performance of each method

6結(jié)束語

本文主要研究基于Tri-Training的半監(jiān)督學(xué)習(xí)方法在事件關(guān)系分類任務(wù)中的應(yīng)用。該方法針對事件關(guān)系分類任務(wù)中訓(xùn)練語料不足的現(xiàn)象，利用Tri-Training方法在少量已有人工標(biāo)注的事件關(guān)系數(shù)據(jù)集上訓(xùn)練三個不同的分類器，然后從挖掘到的包含Golden連接詞的大量未標(biāo)注數(shù)據(jù)集中，通過簡單投票的方式對訓(xùn)練語料進(jìn)行擴(kuò)充，繼而提高事件關(guān)系分類性能。由實(shí)驗(yàn)結(jié)果可以看出，相比于其他幾種方法，基于Tri-Training的事件關(guān)系分類方法，在各事件關(guān)系分類性能上均有不同程度的提高。該方法在四種關(guān)系上的綜合分類性能也達(dá)到了最高的F1值，為64.36%。這就說明，在事件關(guān)系標(biāo)注語料很少的情況下，使用基于Tri-Training的半監(jiān)督學(xué)習(xí)的方法擴(kuò)充事件關(guān)系訓(xùn)練語料能夠有效地提高事件關(guān)系分類的性能。在下一步工作中，我們將嘗試使用更多的分類特征，如事件上下文和詞典信息等特征，以此進(jìn)一步提高事件關(guān)系分類性能。

參考文獻(xiàn):附中文

[1]Yang X R, Hong Y, Chen Y D, et al.Detecting event relation through cross-scenario Inference [J].Journal of Chinese information Processing,2014,28(5):206-214.(in Chinese)

[2]Fillmore C J,Johnson C R,Petruck M R L.Background to framenet[J].International Journal of Lexicography,2003,16(3):235-250.

[3]Hashimoto C,Torisawa K,Kloetzer J,et al.Toward future scenario generation:Extracting event causality exploiting semantic relation,context,and association features[C]∥Proc of the 52nd Annual Meeting of the Association for Computational Linguistics,Association for Computational Linguistics,2014:1.

[4]Chklovski T,Pantel P.Global path-based refinement of noisy graphs applied to verb semantics[C]∥Natural Language Processing-IJCNLP 2005,2005:792-803.

[5]Pantel P,Pennacchiotti M.Espresso:Leveraging generic patterns for automatically harvesting semantic relations[C]∥Proc of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics.Association for Computational Linguistics,2006:113-120.

[6]Harris Z S.Mathematical structures of language[M].New York:Interscience Publishers John Wiley & Sons,1968.

[7]Lin D,Pantel P.DIRT@ SBT@ discovery of inference rules from text[C]∥Proc of the 7th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2001:323-328.

[8]Zhou Z H,Li M.Tri-training:Exploiting unlabeled data using three classifiers[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(11):1529-1541.

[9]Goldman S,Zhou Y.Enhancing supervised learning with unlabeled data[C]∥Proc of ICML,2000:327-334.

[10]Linguistic Data Consortium.ACE (Automatic Content Extraction) Chinese annotation guidelines for events[EB/OL].[2009-09-08].http://www.ldc.upenn.edu/Projects/ACE.

[11]Li Q,Ji H,Huang L.Joint event extraction via structured prediction with global features[C]∥Proc of the 51st Annual Meeting of the Association for Computational Linguistics,2013:73-82.

[12]Zhu X.Semi-supervised learning literature survey[R].Technical Report 1530. Madison:Computer Sciences, Univerity of Wisconsinnadison,2005.

[1]楊雪蓉,洪宇,陳亞東,等.基于跨場景推理的事件關(guān)系檢測方法[J].中文信息學(xué)報(bào),2014,28(5):206-214.

丁思遠(yuǎn)(1992-),男,江蘇濱海人，碩士生，CCF會員(E200040583G)，研究方向?yàn)槭录槿『褪录P(guān)系分類。E-mail:dsy_ever@hotmail.com

DING Si-yuan,born in 1992,MS candidate,CCF member(E200040583G)，his research interests include event extraction， and event relation classification.

洪宇(1978-),男,黑龍江哈爾濱人，博士，副教授，CCF會員(E200011434M)，研究方向?yàn)樾畔z索、話題檢測與跟蹤和篇章分析。E-mail:tianxianer@gmail.com

HONG Yu,born in 1978,PhD,associate professor,CCF member(E200011434M)，his research interests include personal information retrieval,topic detection and tracking, and discourse analysis.

作者簡介: