中文事件相關性語料庫構建及識別方法*

?

中文事件相關性語料庫構建及識別方法*

通信地址：215006 江蘇省蘇州市蘇州大學計算機科學與技術學院Address:School of Computer Science and Technology,Soochow University,Suzhou 215006,Jiangsu,P.R.China

黃一龍，李培峰，朱巧明

(1.蘇州大學計算機科學與技術學院，江蘇 蘇州 215006；

2.江蘇省計算機信息處理技術重點實驗室，江蘇 蘇州 215006)

摘要：事件往往圍繞主題展開，相互間存在相關性。在大數(shù)據時代，從海量信息中篩選出和某個主題相關的事件，有助于信息抽取、文本摘要、文本生成等自然語言處理任務。首先提出一種相關事件的標注方法，并標注了一個中文事件相關性語料庫。然后，初步提出了一個基于多種特征的相關性事件識別方法。在標注語料上的實驗表明，性能在基準系統(tǒng)上F1值提高了4.08%。

關鍵詞：相關事件語料庫；標注；相關性；事件關系

1引言

如今，互聯(lián)網已成為人們交流信息和獲取資料的主要平臺，在其為人們生活提供便利的同時，每天還會產生海量數(shù)據，這些數(shù)據中有大部分以文本形式存儲，記錄了大量事件，而其中有許多事件相互關聯(lián)。當人們使用搜索引擎查找某個特定事件時，不但希望獲取所關心的事件，還希望能夠獲得與之相關的事件。

事件是描述特定目標在某個時間、地點的某種狀態(tài)。ACE(ACE Guidelines 5.5.1, http:∥www.ldc.upenn.edu/Projects/ACE/)對事件作如下定義：事件是包含參與者的具體發(fā)生的事情，常被用來描述狀態(tài)的改變。在事件之間的多種關系中，時序關系、因果關系等方面的研究相對較多，而在相關關系方面的研究較少。舍恩伯格在《大數(shù)據時代》中認為，建立在相關關系分析法上面的預測是大數(shù)據的核心，只有在完成了對相關性分析后，才有可能研究更深層次的因果關系，找出背后的為什么。而且，由于因果關系較為復雜，對它的定義理論學界還存在爭議，標注一個因果關系的語料庫存在很大困難。為此，本文從事件的相關性入手研究事件關系。

在一篇文章中，事件圍繞主題為中心展開，文章內容由其所包含的各個事件進行描述，因此這些圍繞一個特定主題的事件在一定程度上具有關聯(lián)性。其中關聯(lián)性大的事件稱為相關事件。一般情況，一篇文章可看成由幾個話題組成，話題中的事件往往是相關的。

例1國民黨副主席吳伯雄最近訪問(E1)了中國大陸，并且會見(E2)了中國高層領導人。

(——VOM20001129.0700.2200)

例2以色列士兵7號在以色列和黎巴嫩的邊界對一群扔(E1)石頭的巴勒斯坦示威者開火(E2)，結果造成兩名巴勒斯坦人喪生(E3)和10多人受傷(E4)。

(——CBS20001008.1000.0742)

在例1中，“訪問”和“會見”具有順序性，并且后者是前者的目的。在例2中，“開火”是“喪生”和“受傷”的原因。容易看出，相關事件往往有相同或相似的論元，而且事件類型也較固定。例如，在ACE2005中文語料庫中，“Start-Position”(任職)類型事件與“Be-Born”(出生)、“Marry”(結婚)等類型的事件無關。

本文提出一種中文事件相關性語料庫構建方法，并提出基于多種特征的事件相關性識別方法。正確識別兩個事件的相關關系，可以更好地表示文章主題，將事件中的時間、地點、角色、類型等語義信息相關聯(lián)。這有助于人們獲取更多與該事件相關的信息。同時，信息抽取、文本摘要、文檔生成、自動問答等任務也能夠根據其相關事件，提取到更多有價值的信息。

本文組織結構如下：第2節(jié)介紹相關工作；第3節(jié)介紹相關性語料庫構建及標注結果；第4節(jié)介紹針對識別事件相關性提出的特征；第5節(jié)為事件相關性識別的實驗結果；最后一節(jié)對本文工作進行總結，并展望將來的工作。

2相關工作

馬彬[1]對相同話題收集多篇文章，使用依存關系構建依存線索集。根據線索集計算事件依存強度，以判斷標題事件相關性。楊雪蓉[2]在馬彬的語料上，提出利用核心詞、依存實體、共現(xiàn)實體關聯(lián)因子，構造事件關聯(lián)因子，通過事件關聯(lián)因子的大小判斷標題事件對是否相關。

Zou H[3]提出一種中文事件模式標注方法，他們定義了7種事件關系，分別為：因果關系(Causality)、同指關系(Co-reference)、順序關系(Sequential)、目的關系(Purpose)、部分-整體關系(Part-while)、并列關系(Juxtaposition)、對比關系(Contrast)。并且認為同一篇報道中的事件是有一定關系的。

Mirza P[4]提取了事件對之間的特征，如詞法特征、句法特征等，使用SVM分類器進行事件對時序關系的識別。Chambers N[5,6]使用ILP(Integer Linear Programming)方法，對識別結果進行全局優(yōu)化，將互相矛盾的結果進行重新識別。Ittoo A[7]對語料進行句法分析后，利用少量已知的因果模板，尋找新的因果關系，再利用新找到的因果關系繼續(xù)尋找新的模板，在語料庫中循環(huán)迭代用于抽取因果關系和模板。Sorgente A[8]使用模板匹配的方法找出所有可能含有因果關系的句子，使用規(guī)則方法抽取這些句子中可能的原因和結果，最后使用詞匯、語義、依存特征，對是否有因果關系進行分類。

Wolff P[9]使用條件概率表示兩個事件之間的因果關系強度，并給出四種事件關系：因果(Cause)、促進(Enable)、阻止(Prevent)、抑制(Despite)。給出判斷這四種關系的三個特征：受影響因素(Patient)是否有到達目標狀態(tài)的趨向，影響因素(Affector)與受影響因素的出現(xiàn)或缺失是否一致，是否達到目標狀態(tài)。

相關工作中，事件關系研究集中在因果關系與時序關系，而中文事件關系識別較少。在事件相關關系方面，馬彬[1]、楊雪蓉[2]等側重使用無監(jiān)督方法，利用文檔內容信息，識別相同話題下，不同文檔標題事件之間的相關性。本文側重標注和識別同一文檔內事件相關性，而同一文檔內可能含有多個話題。

3相關性語料庫構建

因果關系局限于事件類型，且在定義上分歧較大，本文從相關性角度研究事件關系。相關性概念廣泛，可認為萬物相關，也可認為萬物不相關。因此，需要對相關性制定準則。本節(jié)提出基于子話題的事件相關性標注規(guī)則，將細粒度的傳統(tǒng)事件關系進行粗粒度標注。目的是為了保證標注一致性和下一步的識別工作。

3.1　語料庫標注規(guī)則

傳統(tǒng)的事件關系可以分為7類[3]：因果關系、同指關系、順序關系、目的關系、部分-整體關系、并列關系、對比關系。

本文將上述關系簡化，將屬于上述7種關系的事件對標注為相關，否則標注為不相關。

子話題：文章通常圍繞某一主題，從多個方面進行敘述。假設文章中若干事件圍繞某一事件展開，描寫該事件的過程、后續(xù)、結果等信息，則將該事件作為子話題，而描寫子話題的若干事件作為其內容，使文章在局部形成層次結構。

在標注時，采用如下規(guī)則進行標注：

(1)將文章分為多個子話題。

(2)對每一個事件，判斷其屬于哪一個子話題，將同一子話題的事件歸類。

對于不同子話題下的事件，標注為不相關；對于相同子話題下的事件，根據其事件的觸發(fā)詞、事件類型、論元等信息，判斷是否屬于7類事件關系中的一種，如果是，則標注為相關，否則標注為不相關。

例3他同時稱，阿拉法特還將同克林頓討論以色列對巴勒斯坦人民的持續(xù)侵犯(E1)的問題。

……另據報道，當天在加沙地帶和約旦河西岸地區(qū)仍有零星的沖突(E2)發(fā)生，已經造成了2人死亡(E3)，10多人受傷(E4)。……在西伯倫市中心的猶太人定居點外，巴勒斯坦示威者與警察發(fā)生了沖突(E5)。

(——CTV20001106.1330.1311)

分析文章內容，“沖突(E2)”和“沖突(E5)”由“侵犯(E1)”引出，而“死亡(E3)”和“受傷(E4)”由“沖突(E2)”引出。因此，將E1、E2、E5作為子話題，而E3、E4作為E2的內容?？梢詫⒗?中的事件層次結構化如圖1所示。

Figure 1　Local hierarchical structure of the article圖1　文章局部層次結構

從圖1可看出，同一子話題下的事件在樹型結構上為兄弟、祖先、后代關系，只有滿足上述關系時，才可能相關，否則不相關。

根據標注規(guī)則，(E1，E2)、(E1，E5)為部分-整體關系，標注為相關。(E2，E3)、(E2，E4)為因果關系，標注為相關。(E3，E4)為并列關系，標注為相關。(E1，E3)、(E1，E4)可通過E2做媒介，構成因果關系，標注為相關。而(E3，E5)、(E4，E5)在不同子話題下，標注為不相關。

對于ACE2005中定義的Transport(移動)類型，由于這類事件可以出現(xiàn)在任何主題的文檔中，且表述形式多樣。

例4警方據報趕到了現(xiàn)場，將頭部被毆打成傷(E1)的林姓男子送(E2)醫(yī)急救。

(——CTS20001206.1300.0398)

例5這9名逃犯是22號從曼谷西南40公里的一所監(jiān)獄越獄(E1)的。

(——CTV20001123.1330.1541)

例6哥倫比亞武裝分子日前越過(E1)邊境，在巴拿馬大林省殺害一名12歲兒童并打(E2)傷(E3)12人。

(——CBS20001016.0800.0768)

上述例子中，“送”“越獄”“越過”事件在語料中為Transport類型事件，但是觸發(fā)詞意義卻相差甚遠。這類事件對標注工作帶來很大干擾，因此本文規(guī)定，Transport類型的事件與另一事件為目的關系或因果關系時，才將其關系標注為相關。如在例4中，(E1，E2)存在因果關系，因此將其標注為相關。例6中，“越過”只是發(fā)生在“打”“傷”之前，即順序關系，并無必然聯(lián)系，因此將(E1，E2)和(E1，E3)標注為不相關。

在標注時有以下性質：

(1) (E1，E2)相關?(E2，E1)相關；

(2) (E1，E2)不相關?(E2，E1)不相關；

(3) (E1，E2)相關，(E2，E3)相關?/(E1，E3)相關。

性質(1)和性質(2)說明相關關系具有對稱性，這是顯然的。而性質(3)說明相關關系沒有傳遞性，因為如果使用傳遞性，結合對稱性，會將大量沒有關系的事件對標注為相關。在例3中，(E1，E3)相關，(E1，E5)相關，但是(E3，E5)不相關。

3.2　語料庫標注結果

本文選取ACE2005中文語料庫作為基礎，ACE2005中文語料庫中的語料有三個來源，分別為broadcast news、newswire、weblog。本文選取來源為broadcast news的文檔進行標注，因為該類文檔中每個文檔往往存在多個不同的話題。broadcast news文檔共298篇，包括1 398個事件實例。本文對每篇文檔的所有事件進行兩兩組合，剔除互為同指關系的事件對(互為同指關系的事件必為相關事件)，共構成9 300個事件對。本文對這9 300個事件對進行標注。

標注過程由兩位標注者分別獨立完成，一位是標注規(guī)則制定者，在標注前已對所要標注的語料已有一定了解和研究。另一位標注者主要研究事件時序關系，對ACE語料庫的內容比較了解，但是對事件相關關系沒有研究。最終標注結果如表1所示。

Table 1　Results of corpus annotation

本文使用Kappa值作為衡量標注一致性指標，最終Kappa值為78.18%。分析標注不一致的事件對，發(fā)現(xiàn)判定子話題存在較大歧義。

例7沖突(E1)已經使100多人喪生，其中大部分都是巴勒斯坦人。在星期三的幾次會談(E2)上……。

(——VOM20001018.1800.0119)

在例7中，規(guī)則制定者認為“沖突”為子話題且導致“會談”事件，因此(E1，E2)相關。而另一位標注者認為(E1，E2)不相關。因此，確定子話題是標注工作中非常重要的環(huán)節(jié)。

4事件相關性識別

本節(jié)在第3節(jié)的基礎上，參考事件時序、因果關系的工作，提出基本特征構建基準系統(tǒng)，并提出一系列擴展特征，可分為位置、詞匯、句子、類型特征。

4.1　基本特征

本文參考事件時序、因果關系[7～10]的工作，提出以下基本特征構建基準系統(tǒng)：

(1)事件特征：事件觸發(fā)詞、類型、子類型、形態(tài)、極性、泛型、時態(tài)；

(2) 論元特征：事件對是否有相同論元；

(3) 句子級特征：事件對的句子距離，事件對的句法路徑、依存路徑。

4.2　擴展特征

在基準系統(tǒng)上，本文提出7種擴展特征，可分為位置、詞匯、句子、類型特征。

例8這3名反對黨領導人這次被捕(E1-1)前保釋在外，有關方面下令讓他們明年4月出庭受審(E2-1)。反對黨領導人指責馬哈蒂爾政府因為在議會選舉中失利而下令逮捕(E1-2)這3個人。

(——VOM20001223.0700.0222)

以上內容多次涉及同指事件這一概念。同指事件是對一個事件實例的多次描述。在例8中，被捕(E1-1)與逮捕(E1-2)指的是同一個事件，因此它們互為同指事件。

(1) 位置特征。

事件對最短距離：事件對能夠通過同指事件達到的最短距離。統(tǒng)計語料時發(fā)現(xiàn)當兩個事件在同一句話內時，相關的概率最大，達到68.89%，其次是兩個事件分布在相鄰句子中。因此，考慮通過同指事件縮短事件對距離。在例8中，E1-2與E2-1的句子距離為1，但是E1-1與E2-1的句子距離為0，小于E1-2與E2-1的距離，因此該特征記為0。

包含特征：是否存在一個事件，它在文章中出現(xiàn)數(shù)次(及存在同指事件)，且能夠在位置上包含待識別的兩個事件。由于本文語料庫多數(shù)來自新聞報道，而新聞的特點是將文章的子話題分為 “總-分-總”的形式，即先提及子話題，再描述其細節(jié)，最后做總結，因此子話題常常包含其相關事件。在例8中，事件出現(xiàn)順序為E1-1、E2-1、E1-2，可以看到E2-1被E1-1和E1-2包含，因此該特征為true。

(2) 詞匯特征。

觸發(fā)詞相似度：使用HowNet(http:∥www.keenage.com/html/e_index.html)計算兩個事件觸發(fā)詞的相似度。

連接詞：兩個觸發(fā)詞之間是否有連接詞(詞性為CC或CS，“造成”“結果”等)，并且只判斷同一句子內或相鄰句子內是否有連接詞。

(3) 句子特征。

句子相似度：對事件對所在句子進行分詞，事件1所在句子分詞后單詞數(shù)為num1，事件2所在句子單詞數(shù)為num2，它們有num個相同單詞，則:

(1)

當sim(num1，num2，num)>α時，將特征置為high，否則置為low。

句子相似度衡量兩個句子分詞后相同詞的數(shù)量，事件涉及的實體可能會在句子中多次提到，因此這些多次出現(xiàn)的實體在計算相似度時會被多次計算，放大實體的影響。

(4) 類型特征。

類型是否相同：兩個事件類型是否相同，如果相同，則置該特征為事件類型的值，否則將值置為false。在例8中，E1-1與E2-1的類型都為“Justice(審判)”，因此該特征為Justice。

子類型是否相同：兩個事件子類型是否相同，如果相同，則置該特征為子類型的值，否則將值置為false。很顯然，類型或子類型相同的事件往往是一篇報道中的子話題(泛型屬性為Generic)與具體事件(泛型屬性為Specific)。在例8中，E1-1與E2-1的子類型不同，分別為“Arrest-Jail(逮捕)”“Trial-Hearing(審理)”，因此該特征為false。

5實驗及結果

5.1　實驗設置

本文使用ICTCLAS2015(http:∥ictclas.nlpir.org/downloads)進行分詞，Stanford Parser(http:∥nlp.stanford.edu/software/lex-parser.shtml)進行句法分析和依存分析。使用Mallet(http:∥mallet.cs.umass.edu/)工具包中的最大熵分類器，按文檔進行5倍交叉驗證。每次實驗取1/5文檔作為開發(fā)集。使用正確率(Accuracy)、準確率(Precision)、召回率(Recall)、F1值作為系統(tǒng)性能評價指標。使用的特征中，事件基本特征、同指事件、論元在ACE2005中文語料庫已標注，可以直接從語料庫中抽取使用。

5.2　實驗結果及分析

經開發(fā)集調試，句子相似度特征取α=0.2。實驗結果如表2所示。從實驗結果中可看到，擴展特征能提升系統(tǒng)識別性能。

經驗證，使用不同特征組合進行實驗，基準系統(tǒng)+所有特征的識別性能為最優(yōu)。

從實驗結果可以看出：

(1) 加入事件對最短距離特征能使性能提高0.64%，表明跨句子識別性能較低，通過縮短事件對距離能夠提高識別性能。

(2) 句子相似度特征能明顯地提高識別性能，達到1.36%。基準系統(tǒng)使用論元相同特征，但是句子中的實體未必是事件的論元。從性能提升中可發(fā)現(xiàn)，該特征的確能夠捕獲句子中的實體信息。

(3) 包含特征和連接詞特征分別能使性能提高0.3%和0.33%，提升并不明顯。分析識別錯誤的事件關系發(fā)現(xiàn)，雖然包含特征能很好地識別相關性，但是只占總數(shù)的49.57%。而連接詞特征噪音較大，對于長句子，連接詞可能并不連接事件對。

Table 2　Recognition results of relevant events

(4) 類型和子類型是否相同的加入，能使識別性能有明顯提升，分別達到1.84%和2.38%。當兩個事件對的類型(子類型)相同時，并不給出一個true標記，而是給出具體類型(子類型)的值，目的是捕獲Movement(Transport)類型事件，因為該類事件大多不相關。

(5) 所有特征加入后，系統(tǒng)性能提升4.08%，可以看出，這些特征有效。但是，性能提升總量明顯少于所有單個特征提升的總和，原因是這些特征并不獨立，它們之間相互重疊。如觸發(fā)詞相似度，類型、子類型是否相同特征的重疊性大，因為觸發(fā)詞相似度大的事件，往往有相同的類型和子類型。而句子相似度與基準系統(tǒng)中的事件距離特征有較大重疊，因為如果兩個事件原先就在同一句子內，那么句子相似度必定非常高，而跨句子且相似度高的事件對僅占19.24%，這大大影響了跨句子的識別性能。

6結束語

本文首先提出了一種構建相關性語料庫的方法，并且從ACE2005中文語料庫中選取298篇，經過標注后形成本文實驗所用語料。其次在標注結果上，提取事件對之間的特征，使用分類器進行相關性識別，使性能F1值提高4.08%。

下一步工作可以從以下方面對本文工作進行擴展：

(1)對無法縮短距離的事件對，抽取更多句子級別特征，提高跨句子事件對的識別性能。

(2)將具有相關關系的事件對進行細粒度劃分，從而更好地刻畫事件關系。

(3)考慮使用圖模型，以引入文檔中其他事件信息，充分利用句子中的實體，避免孤立地看待兩個事件對之間的特征。

參考文獻:附中文

[1]Ma Bin,Hong Yu,Yang Xue-rong,et al.Using event dependency cue inference to recognize event relation [J].Acta Scientiarum Naturalium Universitatis Pekinensis,2013,49(1):109-116．(in Chinese)

[2]Yang Xue-rong,Hong Yu,Ma Bin,et al.Event relation recognition by event term and entity inference [J].Journal of Chinese Information Processing,2014,28(2):100-108．(in Chinese)

[3]Zou H,Yang E,Gao Y,et al.The annotation of event schema in Chinese[C]∥Proc of the 23rd International Conference on Computational Linguistics,2010:72-79．

[4]Mirza P,Sprugnoli R,Tonelli S,et al.Annotating causality in the tempeval-3 corpus[C]∥Proc of the EACL 2014 Workshop on Computational Approaches to Causality in Language (CAtoCL), 2014:10-19．

[5]Chambers N,Wang S,Jurafsky D.Classifying temporal relations between events [C]∥Proc of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions, Association for Computational Linguistics,2007:173-176．

[6]Chambers N, Jurafsky D. Jointly combining implicit constraints improves temporal ordering[C]∥Proc of the Conference on Empirical Methods in Natural Language Processing.Association for Computational Linguistics,2008:698-706．

[7]Ittoo A,Bouma G.Extracting explicit and implicit causal relations from sparse,domain-specific texts[C]∥Proc of NLDB’11,2011:52-63．

[8]Sorgente A, Vettigli G, Mele F. Automatic extraction of cause-effect relations in natural language text[C]∥DART@ AI* IA,2013,2013:37-48．

[9]Wolff P.Representing causation[J].Journal of Experimental Psychology:General,2007,136(1):82-88.

[10]Bethard S,Corvey W,Klingenstein S,et al.Building a corpus of temporal-causal structure[C]∥Proc of the 6th Internat-

ional Conference on Language Resources & Evaluation Lrec,2008:908-915.

[11]Rink B, Bejan C A, Harabagiu S. Learning textual graph patterns to detect causal event relations[C]∥Proc of the 23rd Florida Artificial Intelligence Research Society International Conference(FLAIRS’10), Applied Natural Language Processing Track,2010:1．

[12]Zhong Zhao-man,Liu Zong-tian,Zhou Wen, et al.The model of event relation representation [J].Journal of Chinese Information Processing,2009,23(6):56-60．(in Chinese)

[1]馬彬,洪宇,楊雪蓉,等.基于語義依存線索的事件關系識別方法研究[J].北京大學學報(自然科學版),2013,49(1):109-116．

[2]楊雪蓉,洪宇,馬彬,等.基于核心詞和實體推理的事件關系識別方法[J].中文信息學報,2014,28(2):100-108．

[12]仲兆滿,劉宗田,周文,等.事件關系表示模型[J].中文信息學報,2009,23(6):56-60．

黃一龍(1991-),男，浙江溫州人，碩士生，研究方向為中文信息處理。E-mail:Yilonghuang123@163.com

HUANG Yi-long,born in 1991,MS candidate,his research interest includes Chinese information processing.

李培峰(1971-),男，江蘇蘇州人，博士，教授，研究方向為中文信息處理。E-mail:pfli@suda.edu.cn

LI Pei-feng,born in 1971,PhD,professor,his research interest includes Chinese information processing.

朱巧明(1971-),男，江蘇昆山人，博士，教授，研究方向為中文信息處理。E-mail:qmzhu@suda.edu.cn

ZHU Qiao-ming,born in 1971,PhD,professor,his research interest includes Chinese information processing.

Construction and its recognition of Chinese relevant event

HUANG Yi-long,LI Pei-feng,ZHU Qiao-ming

(1.School of Computer Science and Technology,Soochow University,Suzhou 215006;

2.Province Key Lab of Computer Information Processing Technology of Jiangsu,Suzhou 215006,China)

Abstract:There are many relevant events concerning a topic. In the era of big data, extracting those events which are relevant to a specific topic is helpful for many natural language processing applications, such as information extraction, text summarization, and text generation. We propose a method to annotate relevant events and construct a Chinese relevant event corpus. We then put forward a relevant event recognition approach based on various distances and semantic features. Experimental results on the annotated corpus show that the proposed approach outperforms the baseline by 4.08% in F1-measure.

Key words:relevant event corpus;annotation;relevance;event relation

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.017

中圖分類號：TP391.1

文獻標志碼：A

基金項目：國家自然科學基金資助項目(61472265)；國家自然科學基金重點資助項目(61331011)；江蘇省前瞻性聯(lián)合研究資助項目(BY2014059-08)；軟件新技術與產業(yè)化協(xié)同創(chuàng)新中心部分資助項目

收稿日期：修回日期：2015-10-26

文章編號：1007-130X(2015)12-2306-06