共指消解研究方法綜述

宋 洋，王厚峰

(北京大學(xué) 計(jì)算語(yǔ)言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100871)

?

共指消解研究方法綜述

宋 洋，王厚峰

(北京大學(xué) 計(jì)算語(yǔ)言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100871)

共指消解作為自然語(yǔ)言處理中的一個(gè)重要問題一直受到學(xué)術(shù)界的重視。二十多年來(lái)，基于規(guī)則的和基于統(tǒng)計(jì)的不同方法被提出，在一定程度上推進(jìn)了該問題研究的發(fā)展，并取得了大量研究成果。該文首先介紹了共指消解問題的基本概念，并采用形式化的方法對(duì)該問題做了描述；然后，針對(duì)國(guó)內(nèi)外近年來(lái)在共指消解研究中的方法進(jìn)行了總結(jié)；之后，對(duì)共指消解中重要的特征問題進(jìn)行了分析與討論；最后，歷數(shù)了共指消解的各種國(guó)際評(píng)測(cè)，并對(duì)未來(lái)可能的研究方向進(jìn)行了展望。

共指消解；指代消解；有指導(dǎo)學(xué)習(xí)；無(wú)指導(dǎo)學(xué)習(xí)

1 引言

共指消解[1-2]是自然語(yǔ)言處理的重要問題，它的有效解決對(duì)于機(jī)器翻譯、信息抽取、關(guān)系抽取、自動(dòng)文摘以及問答系統(tǒng)等應(yīng)用都有重要意義。在機(jī)器翻譯中，有效的共指消解尤其是代詞消解將幫助機(jī)器翻譯提高準(zhǔn)確率。例如，對(duì)于英文中的代詞“they”，在英漢機(jī)器翻譯系統(tǒng)中根據(jù)其實(shí)際所指向的不同實(shí)體的性別，可以翻譯成為“他們”、“她們”或“它們”。而對(duì)于信息抽取任務(wù)，在識(shí)別出共指的名詞短語(yǔ)之后，將有利于挖掘出更多有用的實(shí)體信息與屬性信息，關(guān)系抽取亦是如此。對(duì)于自動(dòng)文摘以及問答系統(tǒng)，共指消解也能夠在語(yǔ)言生成時(shí)起到重要地作用。例如，對(duì)于采用相同名詞短語(yǔ)作為主語(yǔ)的連續(xù)若干個(gè)句子，如果將除首句以外的其他句子的主語(yǔ)選擇性地用代詞來(lái)進(jìn)行替換，則既能保持文字的通順和連貫，又減少了一些不必要的表述，使文字的適讀性得到增強(qiáng)。

1.1 問題定義

共指消解有很多不同定義，但這些定義的實(shí)質(zhì)都是相同的。這里沿用國(guó)際著名評(píng)測(cè)ACE(Automatic Content Extraction，自動(dòng)內(nèi)容抽取)的定義： 所謂共指消解即為文本中的表述(Mention，或稱為指稱語(yǔ))確定其在真實(shí)世界中所指向的實(shí)體(Entity)的過程。這里，實(shí)體是一個(gè)抽象的概念，而其在文本中的具體體現(xiàn)則是各種不同或相同的表述。表述主要分為3類： 普通名詞短語(yǔ)、專有名詞和代詞(本文不討論事件共指問題，也即不把動(dòng)詞看作表述)。從語(yǔ)言學(xué)的觀點(diǎn)看，表述還可以有很多其他更細(xì)致的分類，例如,縮略語(yǔ)、別名以及同位語(yǔ)等，甚至還有中文中經(jīng)常出現(xiàn)的省略語(yǔ)指代(即零形指代)?？紤]如下幾個(gè)例子。

例1 [張三]對(duì)人很熱情，大家都叫[他][張哥]。[張哥]是一名醫(yī)生，[他]工作非常認(rèn)真負(fù)責(zé)，同時(shí)，[他]也是[一個(gè)好父親]。

例2 [美利堅(jiān)合眾國(guó)總統(tǒng)][巴拉克·奧巴馬]將于11月15日至18日對(duì)中國(guó)進(jìn)行國(guó)事訪問。

例3 兩會(huì)閉幕后，今年下半年將召開[中國(guó)共產(chǎn)黨第十八屆全國(guó)代表大會(huì)]。目前，[十八大]的各項(xiàng)準(zhǔn)備工作正有條不紊地進(jìn)行。

這3個(gè)例子中包含了很多前面提到的各種表述實(shí)例，比如例1中，[他]表示代詞，[張三]表示專有名詞，[張哥]可以看作是別名，[一個(gè)好父親]是普通名詞短語(yǔ)；例2中,[美利堅(jiān)合眾國(guó)總統(tǒng)]與[巴拉克·奧巴馬]構(gòu)成同位語(yǔ)；例3中,[十八大]是[中國(guó)共產(chǎn)黨第十八屆全國(guó)代表大會(huì)]的縮略語(yǔ)。

共指消解問題的一個(gè)相關(guān)問題是指代消解。指代消解從定義上來(lái)說(shuō)，是指為文本中出現(xiàn)的回指成分(Anaphora)確定其先行語(yǔ)(Antecedent)的過程。從廣義地角度講，指代消解與共指消解這兩個(gè)問題可以看成是同一個(gè)問題。

1.2 形式化表示

假設(shè)文本中全部指稱語(yǔ)(即候選表述)構(gòu)成集合A={m1,m2,...,mN}，則共指關(guān)系實(shí)際上是集合A上的一個(gè)等價(jià)關(guān)系。等價(jià)關(guān)系的定義如下：

設(shè)A不是空集，R是A×A的子集，若R是自反的、對(duì)稱的和傳遞的，則稱R為A上的等價(jià)關(guān)系。

文本中名詞短語(yǔ)間的共指關(guān)系在沒有其他約束的情況下，可以看作是等價(jià)關(guān)系。非空集合A上的等價(jià)關(guān)系R，決定了A的一個(gè)劃分。同樣地，集合A上的一個(gè)劃分確定了A的元素間的一個(gè)等價(jià)關(guān)系。

共指消解問題可以看作是集合A的劃分問題。假設(shè)集合A包含有N個(gè)元素(即N個(gè)候選表述)，那么集合A的劃分問題實(shí)際上就是N個(gè)元素的劃分問題。對(duì)于N個(gè)元素來(lái)說(shuō)，如果劃分的等價(jià)類數(shù)目為m，則全部的劃分?jǐn)?shù)S(n,m)=S(n-1,m-1)+m*S(n-1,m)，此亦被稱為第二類Stirling數(shù)，如式(1)所示。

同時(shí)，m的取值范圍可以從1取到N，因此N個(gè)元素的全部可能的劃分?jǐn)?shù)目是隨著N的增長(zhǎng)而呈指數(shù)增長(zhǎng)的，如式(2)所示。

現(xiàn)實(shí)中，針對(duì)共指消解問題，很少有研究者從搜索最優(yōu)的等價(jià)類劃分的角度來(lái)考慮，因?yàn)檫@樣做會(huì)使得問題的復(fù)雜度太高。因此，無(wú)論是提出分類模型還是聚類模型解決共指問題時(shí)，大多都基于問題本身提煉了一系列的限制條件，以降低問題的復(fù)雜度，使得共指問題在一個(gè)合理的可接受的時(shí)間范圍內(nèi)可以求解。

2 共指消解研究方法

2.1 基于規(guī)則的方法

2.1.1 基于句法結(jié)構(gòu)的方法

Hobbs[3]提出的Hobbs算法是最早的代詞消解算法之一。該算法主要基于句法分析樹進(jìn)行相關(guān)搜索，它包含兩種算法： 一種方法是完全基于句法知識(shí)的，也稱樸素Hobbs算法；另一種既考慮句法知識(shí)又考慮語(yǔ)義知識(shí)。該算法不僅是一個(gè)具體的算法，同時(shí)更是一個(gè)理論模型，具體的算法流程和示例可以參見相關(guān)文獻(xiàn)[2-3]。

Haghighi和Klein[4]采用了豐富的句法語(yǔ)義知識(shí)作為規(guī)則，在MUC和ACE數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示該方法超過了大部分無(wú)指導(dǎo)學(xué)習(xí)方法，并達(dá)到了有指導(dǎo)學(xué)習(xí)方法同樣的效果。

2.1.2 基于語(yǔ)篇結(jié)構(gòu)的方法

中心理論(Center Theory)[5]是由Grosz等人提出的一種局部篇章連貫性理論。該理論主要關(guān)注篇章結(jié)構(gòu)中的焦點(diǎn)轉(zhuǎn)移、表述形式選擇以及話語(yǔ)一致性等問題。它的主要目標(biāo)是跟蹤句子中實(shí)體的焦點(diǎn)變化。由于共指消解中所研究的代詞消解問題往往就是尋找代詞所指向的某個(gè)焦點(diǎn)實(shí)體，因此，中心理論一經(jīng)提出便常用于代詞消解研究。

Brennan等[6]提出了一種基于中心理論的代詞消解算法，即BFP算法(該算法以其3位作者Brennan、Friedman和Pollard姓氏的首字母來(lái)命名)，其能夠用來(lái)尋找給定句子中代詞所指向的先行語(yǔ)，具體流程為： 順序遍歷所有可能的候選先行語(yǔ)，選擇能夠同時(shí)滿足詞匯句法(Morphosyntactic)、約束(Binding)和類型標(biāo)準(zhǔn)(Sortal criteria)的那個(gè)表述作為先行語(yǔ)。

Poesio等[7]采用一種參數(shù)化的方法來(lái)實(shí)際檢驗(yàn)中心理論，其算法表明，在進(jìn)行代詞消解優(yōu)選性考察時(shí)，回指中心的唯一性約束是極其重要的。他們同時(shí)認(rèn)為，由于原始的中心理論對(duì)于什么是話語(yǔ)(Utterance)以及如何計(jì)算實(shí)體排序等問題均沒有明確回答，需要根據(jù)具體的語(yǔ)言環(huán)境而有所設(shè)定。

2.1.3 基于突顯性計(jì)算的方法

Lappin和Leass[8]提出RAP(Resolution of Anaphora Procedure)算法，該算法采用句法信息來(lái)識(shí)別第三人稱代詞和具有反身特征與共指特征的先行語(yǔ)，其先通過槽文法(Slot Grammar)進(jìn)行句子分析，再使用句法知識(shí)計(jì)算候選先行語(yǔ)的突顯性，最后選擇突顯性打分最高的作為先行語(yǔ)。

Kennedy和Boguraev[9]對(duì)RAP算法進(jìn)行了簡(jiǎn)化。他們首先通過淺層分析得到必要的文法信息(主要是詞性標(biāo)注結(jié)果和句法功能標(biāo)識(shí))；再根據(jù)所得到的各種句法信息對(duì)各候選先行語(yǔ)計(jì)算突顯性(采用加權(quán)求和的方式，為不同句法特征賦予不同的權(quán)值)；然后通過突顯性得分來(lái)確定先行語(yǔ)。

1998年Mitkov[10]提出了一種“有限知識(shí)”的指代消解方法。該方法只需要利用語(yǔ)法信息(獲得句子的詞性標(biāo)注結(jié)果)，結(jié)合一些指示性特征(如是否為限定性名詞短語(yǔ)或名詞短語(yǔ)是否重復(fù)出現(xiàn)等)來(lái)計(jì)算候選先行語(yǔ)的突顯性，再經(jīng)過一些諸如性別、單復(fù)數(shù)等一致性檢驗(yàn)后，選取最佳候選作為先行語(yǔ)。

近年來(lái)，斯坦福大學(xué)自然語(yǔ)言處理研究小組的Raghunathan等人[11]提出了一種基于多遍過濾的共指消解方法，他們基于準(zhǔn)確率由高到低構(gòu)建了多個(gè)篩子(Sieve)用于為文本中出現(xiàn)的不同表述選取可能的先行語(yǔ)，同時(shí)每層過濾均基于之前得到的共指結(jié)果來(lái)進(jìn)行，該方法保證了準(zhǔn)確率較高的特征能夠在消解過程中被強(qiáng)化，并且聚類結(jié)果中不同表述的屬性信息可以在不同的篩子中得到共享。盡管方法很簡(jiǎn)單，但是他們的系統(tǒng)在CoNLL-2011的英文共指消解評(píng)測(cè)中獲得了最佳的結(jié)果[12]，甚至超出了很多基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的系統(tǒng)。

2.2 基于學(xué)習(xí)的方法

基于機(jī)器學(xué)習(xí)的共指消解方法的核心在于距離準(zhǔn)則的學(xué)習(xí)(Distance Metric Learning)，這里所指的“距離”，既可以是表述對(duì)之間的距離，也可以是實(shí)體與表述之間的距離，不同的定義方式與相應(yīng)的消解粒度以及解決問題的框架有關(guān)。更詳細(xì)的又分為有指導(dǎo)的學(xué)習(xí)模型與無(wú)指導(dǎo)的學(xué)習(xí)模型，其差別就在于學(xué)習(xí)“距離”準(zhǔn)則時(shí)是否有訓(xùn)練數(shù)據(jù)的參與。另外，一些半指導(dǎo)(或者稱為弱指導(dǎo))的學(xué)習(xí)模型(例如，自訓(xùn)練、互訓(xùn)練)也曾被應(yīng)用于共指消解研究[13]，但本文并不特別討論這部分內(nèi)容。

2.2.1 有指導(dǎo)的學(xué)習(xí)模型

有指導(dǎo)的共指消解學(xué)習(xí)模型，可以依照不同的范式進(jìn)行劃分。這里以消解粒度及消解框架來(lái)進(jìn)行劃分，包括表述對(duì)模型、實(shí)體—表述模型、表述排序模型以及實(shí)體排序模型，如圖1所示。當(dāng)然，不同的消解粒度對(duì)無(wú)指導(dǎo)的學(xué)習(xí)模型和基于規(guī)則的共指消解方法都是適用的。為了清晰地描述有指導(dǎo)的共指消解問題的解決框架，本文以表述對(duì)模型為例進(jìn)行詳細(xì)介紹，其余后續(xù)的模型除了消解粒度不同外，在很多方面與表述對(duì)模型都參考了同樣的處理策略。

圖1 有指導(dǎo)的共指消解學(xué)習(xí)模型分類

表述對(duì)模型： 最常見的共指消解框架即表述對(duì)模型，該模型將共指消解問題看成是表述對(duì)之間的二元分類問題。表述即實(shí)體在文本中的具體表現(xiàn)形式，而共指消解則是確定文本中的不同表述分別指向哪些實(shí)體的過程。最樸素的解決方案就是判斷任意兩個(gè)表述共指或不共指，然后基于所有的表述對(duì)二元分類結(jié)果生成最終的共指聚類結(jié)果。表述對(duì)模型的共指消解框架如圖2所示，具體消解流程如下。

圖2 表述對(duì)共指消解模型框架

? 表述檢測(cè)： 共指消解的第一步是表述檢測(cè)(也被稱為指稱語(yǔ)檢測(cè)，英文即Mention Detection或Anaphoricity Determination)，即識(shí)別出文本中可能產(chǎn)生共指的全部候選表述(候選表述來(lái)自于全部的名詞短語(yǔ)集合的某個(gè)子集)。一般的方法包括基于規(guī)則的方法[12，14]、基于學(xué)習(xí)的方法[15-16]以及規(guī)則和統(tǒng)計(jì)相結(jié)合的方法[17]。至于究竟采取何種辦法，與選擇的語(yǔ)料庫(kù)有關(guān)，有些共指數(shù)據(jù)集(如ACE數(shù)據(jù))標(biāo)注了僅含有單一表述的實(shí)體(Singleton Entity)，則采用基于學(xué)習(xí)的方法進(jìn)行表述檢測(cè)可能會(huì)取得較好的效果并有助于后續(xù)共指消解任務(wù)結(jié)果的提升；另一些數(shù)據(jù)集(如MUC和OntoNotes)則未標(biāo)注單一表述實(shí)體，因此采用基于規(guī)則的方法在盡量提高表述識(shí)別召回率的情況下，方能夠?qū)ψ罱K的共指消解任務(wù)的實(shí)驗(yàn)效果起到積極的作用。

? 訓(xùn)練(或測(cè)試)實(shí)例(表述對(duì))構(gòu)建： 即從訓(xùn)練語(yǔ)料(或測(cè)試語(yǔ)料)中構(gòu)建用于分類器的輸入實(shí)例。在訓(xùn)練語(yǔ)料上構(gòu)建二元分類的訓(xùn)練實(shí)例時(shí)，需要考慮如何構(gòu)建正例和負(fù)例。最樸素的表述對(duì)實(shí)例構(gòu)建方式來(lái)自于McCarthy和Lehnert[18]，該方法將文本中任何兩個(gè)不在同一實(shí)體(或被稱為共指鏈)中的表述構(gòu)成負(fù)例，任何兩個(gè)位于同一實(shí)體中的表述構(gòu)成正例。由于這種方法產(chǎn)生的訓(xùn)練實(shí)例數(shù)量巨大，而且負(fù)例數(shù)量遠(yuǎn)遠(yuǎn)大于正例數(shù)量，會(huì)嚴(yán)重影響機(jī)器學(xué)習(xí)算法的效率同時(shí)產(chǎn)生嚴(yán)重的不平衡問題，因此后來(lái)很少被采用。一些研究人員采用一些特殊的用于實(shí)例構(gòu)建的規(guī)則來(lái)降低正負(fù)例的不平衡，使模型訓(xùn)練更趨合理。Soon等[19]采用的方法是將文本中的每一個(gè)表述mi與其前面最近的一個(gè)共指的表述mj(j

? 特征抽?。?詳細(xì)的共指消解特征的介紹參見第3節(jié)。

? 成對(duì)分類： 即表述對(duì)的二元分類模型。當(dāng)前用于表述對(duì)二元分類的機(jī)器學(xué)習(xí)算法主要有樸素貝葉斯(Na?ve Bayes)[23]、決策樹(Decision Tree)[18-19,21]、最大熵(Maximum Entropy)[24-25]以及支持向量機(jī)(Support Vector Machine)[26-27]等。

? 結(jié)果生成(也被稱為表述聚類)： 在獲得了所有表述對(duì)的二元分類結(jié)果后(通常來(lái)說(shuō)該二元分類結(jié)果不一定必須是0-1取值，也可以是取1時(shí)的共指概率結(jié)果)，需要對(duì)其進(jìn)行進(jìn)一步處理以獲取實(shí)體聚類結(jié)果。常見的聚類結(jié)果生成方法包括： 最近最先(Closest-First)，即在所有滿足共指條件(如共指概率大于某給定閾值)的候選先行語(yǔ)中選擇與當(dāng)前表述最近的那個(gè)；最優(yōu)最先(Best-First)，即在所有候選先行語(yǔ)當(dāng)中選擇與當(dāng)前表述相互共指的可能性最大的那個(gè)(如共指概率大于某給定閾值里最大的那個(gè))；以及傳遞性約束(3個(gè)表述中的任意兩對(duì)共指，則第3對(duì)也共指)。在表述對(duì)模型的共指消解框架下強(qiáng)化傳遞性約束的具體方法包括關(guān)聯(lián)聚類[28-30]、圖劃分[31-32]以及譜聚類[33]等。

? 評(píng)測(cè)： 共指消解的各種評(píng)價(jià)方法可參考相關(guān)論文[34-36]。

實(shí)體—表述模型： 與表述對(duì)模型不同，實(shí)體—表述模型[26，37]能夠整合已經(jīng)形成的實(shí)體(或共指鏈，即當(dāng)前已有的共指聚類結(jié)果)。該模型訓(xùn)練一個(gè)分類器，用以判斷當(dāng)前表述mi是否與其前面已經(jīng)形成的某個(gè)實(shí)體ck共指。在訓(xùn)練實(shí)例構(gòu)建上，該模型與表述對(duì)模型有本質(zhì)的不同，其實(shí)例構(gòu)建方式為將當(dāng)前表述mi與其前面已形成的實(shí)體中相互共指的ck構(gòu)成正例，將ck中與mi最接近的一個(gè)表述之間出現(xiàn)的所有表述所在的實(shí)體構(gòu)成負(fù)例。在特征抽取方式上，與表述對(duì)模型只刻畫兩個(gè)表述之間的特征不同，實(shí)體—表述模型需要考慮表述與已形成實(shí)體間的特征，而實(shí)體是由表述聚類而成的，因此只需要將所有表述對(duì)層次的特征刻畫到實(shí)體一層就可以了，例如，之前的表述對(duì)層面的二元特征{不出現(xiàn)(False)，出現(xiàn)(True)}刻畫到實(shí)體一層則體現(xiàn)為{均不出現(xiàn)(None)，大部分不出現(xiàn)(Most-False)，大部分出現(xiàn)(Most-True)，全部出現(xiàn)(All)}。表述對(duì)模型下常用的機(jī)器學(xué)習(xí)方法也可以直接遷移到實(shí)體—表述模型中來(lái)使用。值得注意的是，與表述對(duì)模型完全不同的是，實(shí)體—表述模型中實(shí)體聚類結(jié)果會(huì)通過測(cè)試過程自然而然的產(chǎn)生。這是源于特殊的測(cè)試實(shí)例構(gòu)建方式。首先，表述是按其在文本中出現(xiàn)的順序從左到右依次處理的；其次，對(duì)于每一個(gè)表述mi，測(cè)試實(shí)例基于該表述與前面按序處理過程中已經(jīng)形成的實(shí)體ck進(jìn)行構(gòu)建。在結(jié)果生成方面，也可以選擇最近最先或最優(yōu)最先，分別是選擇所有與當(dāng)前表述mi共指的實(shí)體中最近的一個(gè)或最優(yōu)的一個(gè)。

表述排序模型： 表述對(duì)模型中針對(duì)某一表述mi，在考慮其他可能候選先行語(yǔ)mj的時(shí)候是獨(dú)立進(jìn)行的，也就是獨(dú)立判斷不同表述對(duì)的共指結(jié)果，而不能針對(duì)表述mi同時(shí)考慮所有其他候選表述。表述排序模型將排序?qū)W習(xí)應(yīng)用于候選先行語(yǔ)的選擇中，針對(duì)每一個(gè)表述mi，構(gòu)建訓(xùn)練實(shí)例時(shí)，令與其真實(shí)共指的表述的排序值(例如，設(shè)定為2)高于其他與其不發(fā)生共指的表述的排序值(例如，設(shè)定為1)?；谶@樣的思想，Yang等[38]首先提出了基于競(jìng)爭(zhēng)的雙候選模型(Twin-candidate Model)，該模型針對(duì)給定表述mi同時(shí)考察兩個(gè)候選先行語(yǔ)以確定哪一個(gè)與給定表述mi共指的可能性更大，經(jīng)過對(duì)所有可能的雙候選對(duì)進(jìn)行考察后確定mi的候選先行語(yǔ)，詳細(xì)的算法描述可參見相關(guān)文獻(xiàn)[38-39]。Rahman和Ng[26]擴(kuò)展了Yang等人的思路，將雙候選模型拓展為基于全部候選先行語(yǔ)的排序選擇，并采用排序支持向量機(jī)(RankSVM)[40]完成候選先行語(yǔ)的排序?qū)W習(xí)。有關(guān)該模型的表述檢測(cè)、實(shí)例構(gòu)建以及結(jié)果生成部分可參考表述對(duì)模型中的相應(yīng)介紹。

實(shí)體排序模型： 為了組合實(shí)體—表述模型與表述排序模型的優(yōu)點(diǎn)，提出了實(shí)體排序模型。該模型類似于實(shí)體—表述模型，只不過為當(dāng)前表述確定其所共指的某個(gè)實(shí)體的時(shí)候，采用的不是分類學(xué)習(xí)算法而是排序?qū)W習(xí)算法，即為當(dāng)前表述mi在之前按序處理形成的多個(gè)實(shí)體(或共指鏈)中尋找排序值得分最高的那個(gè)。Rahman和Ng[26]采用排序支持向量機(jī)實(shí)現(xiàn)了該模型。模型中的其他部分可參照之前介紹的3個(gè)模型中的相應(yīng)內(nèi)容來(lái)理解。Rahman和Ng在其論文[41]中指出，在采用基本一致的共指特征條件下，不同模型的效果為： 實(shí)體排序模型>表述排序模型>實(shí)體—表述模型>表述對(duì)模型。

2.2.2 無(wú)指導(dǎo)的學(xué)習(xí)模型

無(wú)指導(dǎo)的學(xué)習(xí)模型用于共指消解問題有其本質(zhì)的優(yōu)勢(shì)，因?yàn)樗朔擞兄笇?dǎo)的學(xué)習(xí)模型中需要大量人工標(biāo)注訓(xùn)練語(yǔ)料的問題。作為篇章一級(jí)的自然語(yǔ)言處理任務(wù)，共指消解的標(biāo)注工作的復(fù)雜性要遠(yuǎn)遠(yuǎn)大于句子一級(jí)的詞性標(biāo)注(POS Tagging)、命名實(shí)體識(shí)別(NER)以及句法分析(Parsing)等任務(wù)。因此無(wú)指導(dǎo)的學(xué)習(xí)模型用于共指消解問題有著重要的研究意義，以下介紹一些主要的工作。

Cardie和Wagstaf[42]用特征向量來(lái)刻畫每個(gè)候選表述，然后采用凝聚式的層次聚類HAC(Hierarchical Agglomerative Clustering)來(lái)對(duì)這些表述進(jìn)行迭代式地合并，不過其中的距離準(zhǔn)則函數(shù)和特征權(quán)重均通過啟發(fā)式的方法指定。

Wagstaf和Cardie[43]提出了一種約束聚類算法應(yīng)用于共指消解任務(wù)。該算法規(guī)定了兩種約束“必須鏈接(Must-Link)”和“不能鏈接(Cannot-Link)”，分別限制了哪些候選表述必須共指和必須不共指。在他們的實(shí)驗(yàn)中，大部分約束都是“不能鏈接”類型的，主要實(shí)現(xiàn)了一些語(yǔ)言學(xué)約束，比如性別、單復(fù)數(shù)以及語(yǔ)義類別一致性等。

Haghighi和Klein[44]采用非參數(shù)貝葉斯模型將共指消解問題刻畫成實(shí)體生成表述的過程，其基本模型描述了實(shí)體如何生成表述的中心詞，但為了解決較為特殊的代詞消解問題以及候選先行語(yǔ)的優(yōu)選問題，該算法將代詞模型以及突顯度模型結(jié)合到表述的整個(gè)生成過程中，同時(shí)，由于采用了非參數(shù)貝葉斯方法，該模型不需要預(yù)先指定實(shí)體(聚類)類別數(shù)，全部實(shí)體的個(gè)數(shù)是通過推斷過程自動(dòng)產(chǎn)生的。

周俊生等[32]采用基于圖的方法對(duì)共指消解問題進(jìn)行建模，將共指消解過程轉(zhuǎn)化為圖劃分過程，使得每一對(duì)名詞短語(yǔ)并不是孤立地進(jìn)行共指判斷，而是充分考慮多個(gè)待消解項(xiàng)之間的相關(guān)性。同時(shí)，引入有效的模塊函數(shù)作為圖聚類的目標(biāo)函數(shù)，從而自動(dòng)確定合適的聚類數(shù)目，實(shí)現(xiàn)名詞短語(yǔ)等價(jià)類的自動(dòng)劃分。實(shí)驗(yàn)結(jié)果表明，該算法是一種有效可行的無(wú)監(jiān)督共指消解方法。

Ng[45]提出了期望最大化的聚類算法用于共指消解，并與改進(jìn)的非參數(shù)貝葉斯模型進(jìn)行了比較，取得了更好的效果。

Poon和Domingos[46]采用聯(lián)合無(wú)指導(dǎo)的馬爾科夫邏輯網(wǎng)絡(luò)框架解決共指消解問題，該方法將共指的傳遞性約束結(jié)合到實(shí)體—表述模型中，并采用基于規(guī)則方法獲得的3個(gè)重要特征(中心詞匹配、同位語(yǔ)和謂語(yǔ)主格)來(lái)指示共指。實(shí)驗(yàn)結(jié)果顯示，該模型的實(shí)驗(yàn)效果能夠與部分有指導(dǎo)的模型相媲美。

Haghighi和Klein[47]采用生成模型分別刻畫了實(shí)體類型、實(shí)體以及表述的生成過程，并基于3者的聯(lián)合概率分布進(jìn)行近似的參數(shù)估計(jì)和求解。實(shí)驗(yàn)結(jié)果顯示他們的模型甚至超出了Rahman和Ng[26]的有指導(dǎo)的實(shí)體排序模型。

3 共指消解特征分析

對(duì)于共指消解問題來(lái)說(shuō)，無(wú)論是基于規(guī)則的方法還是基于學(xué)習(xí)的方法，如何選擇特征往往對(duì)于問題的有效解決起著至關(guān)重要的作用。共指消解的特征大體可以分為兩類： 一類是優(yōu)先型特征(Preferences)；另一類是約束型特征(Constraints)。前者包括字符串匹配優(yōu)先、近距離優(yōu)先以及句法平行優(yōu)先等等，后者包括性別一致性約束、單復(fù)數(shù)一致性約束以及語(yǔ)義類別一致性約束等。這種區(qū)分方式的主要依據(jù)是共指特征的指示性強(qiáng)弱。本文從語(yǔ)言學(xué)的角度出發(fā)，將共指特征分為詞法特征、語(yǔ)法特征、距離和位置特征以及語(yǔ)義特征，如表1所示。由于實(shí)體與表述之間的特征可以由實(shí)體中的每個(gè)表述與當(dāng)前表述之間的特征來(lái)刻畫，因此表1只介紹表述(mi與mj且j

表1 共指消解常用特征

續(xù)表

表1所示的特征均被視為平面特征(Flat Features)。近年來(lái)，隨著支持向量機(jī)中的核方法研究的不斷深入，各種基于表述間句法結(jié)構(gòu)的結(jié)構(gòu)化特征(Structured Features)被以核(Kernel)的形式提出來(lái)，Yang等[48]和孔芳等[49-50]分別將這樣的思想應(yīng)用在了中英文代詞消解和中文的零形指代問題上。

盲目地?cái)U(kuò)大特征規(guī)模并不一定能有效地提高共指消解系統(tǒng)的性能。事實(shí)上，當(dāng)系統(tǒng)的語(yǔ)料規(guī)模受限時(shí)，并不是選用的特征越多得到的效果越好。對(duì)于機(jī)器學(xué)習(xí)方法這種情況更加突出。因?yàn)檎Z(yǔ)料受限決定了可以構(gòu)建的訓(xùn)練實(shí)例受限，這時(shí)如果特征越多將導(dǎo)致特征空間中的各種相關(guān)參數(shù)訓(xùn)練就越不充分，從而出現(xiàn)數(shù)據(jù)稀疏的情況，使得訓(xùn)練得到的機(jī)器學(xué)習(xí)模型的泛化能力較差，影響實(shí)驗(yàn)效果。因此，有效地基于機(jī)器學(xué)習(xí)模型進(jìn)行特征選擇就顯得尤為重要了。Hoste和Daelemans[51]采用反向消除和雙向爬山的方法進(jìn)行共指消解的特征選擇，取得了不錯(cuò)的效果。Bengtson和Roth[20]研究了各種特征對(duì)于共指消解任務(wù)的貢獻(xiàn)，提出了即使在很弱的分類器下，如果采用合理的特征組合方式依然能夠達(dá)到不錯(cuò)的實(shí)驗(yàn)結(jié)果。Saha等[52]將基于遺傳算法的多目標(biāo)優(yōu)化技術(shù)應(yīng)用于共指消解問題，實(shí)現(xiàn)了基于不同評(píng)測(cè)準(zhǔn)則目標(biāo)優(yōu)化的特征選擇，實(shí)驗(yàn)結(jié)果表明效果提升顯著。

4 共指消解評(píng)測(cè)

最早開始的共指消解評(píng)測(cè)是消息理解系列會(huì)議MUC(Message Understanding Conference)，該會(huì)議由美國(guó)國(guó)防高級(jí)研究計(jì)劃委員會(huì)(DARPA)資助。MUC主要包括信息抽取相關(guān)的評(píng)測(cè)任務(wù)。從1987年到1998年，該會(huì)議一共舉辦了7屆。共指消解相關(guān)的任務(wù)出現(xiàn)在1995年舉行的MUC6和1998年舉行的MUC7中，當(dāng)時(shí)提供的評(píng)測(cè)語(yǔ)料庫(kù)全部為英文。

從2000年開始，由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)組織的自動(dòng)內(nèi)容抽取(Automatic Content Extraction，ACE)評(píng)測(cè)會(huì)議取代了之前的MUC系列會(huì)議。ACE評(píng)測(cè)的主要任務(wù)之一是實(shí)體檢測(cè)與跟蹤。該任務(wù)將篇章中出現(xiàn)的各種表述指向其對(duì)應(yīng)的實(shí)體，本文所采用的共指消解定義正是來(lái)源于ACE評(píng)測(cè)中該任務(wù)的定義。從2003年開始，ACE評(píng)測(cè)提供了中文語(yǔ)料的共指消解任務(wù)，開啟了中文共指消解國(guó)際評(píng)測(cè)的先河。ACE評(píng)測(cè)一直持續(xù)到2008年，從2009年開始被TAC(Text Analysis Conference)評(píng)測(cè)所取代，共指消解任務(wù)也過渡到KBP(Knowledge Base Population，即基于維基百科的實(shí)體鏈接)任務(wù)。

2010年的SemEval國(guó)際評(píng)測(cè)增加了多語(yǔ)言共指消解任務(wù)，其采用OntoNotes 2.0數(shù)據(jù)集。該數(shù)據(jù)集不同于ACE評(píng)測(cè)所使用的ACE數(shù)據(jù)集，主要區(qū)別在于OntoNotes數(shù)據(jù)集不包含單表述實(shí)體(即單一表述的實(shí)體聚類，Singleton Entity)，而ACE是包含的。這也就導(dǎo)致了ACE標(biāo)注了大量指稱表述，而OntoNotes僅標(biāo)注那些發(fā)生共指關(guān)系的表述。

2011年的自然語(yǔ)言處理國(guó)際著名評(píng)測(cè)CoNLL舉辦了英文的共指消解評(píng)測(cè)，采用了更新版本的OntoNotes 4.0數(shù)據(jù)。除了不包含單表述實(shí)體以外，該數(shù)據(jù)集中對(duì)于同位語(yǔ)以及謂語(yǔ)主格(Predicate Nominative)也均不看作為共指關(guān)系。同時(shí)，事件名詞與動(dòng)詞的共指關(guān)系也做了標(biāo)注。在這次評(píng)測(cè)中，排名前三的系統(tǒng)分別來(lái)自斯坦福大學(xué)Lee等的系統(tǒng)[12]、加泰羅尼亞理工大學(xué)Sapena等的系統(tǒng)[53]以及伊利諾伊香檳分校Chang等的系統(tǒng)[54]。Lee等的系統(tǒng)[12]采用基于規(guī)則并層層篩選的方法取得了第一名的好成績(jī)，他們以準(zhǔn)確率由高到低構(gòu)建了一系列的篩子迭代地為不同的表述選取先行語(yǔ)，分別基于MUC、B-cubed和CEAF-E 3項(xiàng)評(píng)測(cè)指標(biāo)獲得了59.57%、68.31%和45.48%的F值，3項(xiàng)指標(biāo)的平均F值為57.79%，同時(shí)針對(duì)表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率66.81%、召回率75.07%以及F值70.70%。Sapena等的系統(tǒng)[53]首先基于決策樹C4.5學(xué)習(xí)共指特征權(quán)重，然后采用松弛標(biāo)記(Relaxation Labeling)的方法迭代地為每個(gè)表述(Mention)標(biāo)記其所屬實(shí)體(Entity)，分別基于3項(xiàng)評(píng)測(cè)指標(biāo)獲得了59.55%、67.09%和41.32%的F值，平均F值為55.99%，同時(shí)針對(duì)表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率28.19%、召回率92.39%以及F值43.20%。Chang等的系統(tǒng)[54]基于一個(gè)單獨(dú)訓(xùn)練的成對(duì)共指消解模型，采用整數(shù)線性規(guī)劃(Integer Linear Programming)技術(shù)執(zhí)行最優(yōu)最先聚類(Best-First Clustering)，其在3項(xiàng)評(píng)測(cè)指標(biāo)中分別獲得了57.15%、68.79%和41.94%的F值，平均F值為55.96%，同時(shí)在表述檢測(cè)子任務(wù)上獲得了準(zhǔn)確率61.96%、召回率68.08%以及F值64.88%。

2012年的CoNLL依舊舉辦了共指消解評(píng)測(cè)，這次的任務(wù)采用了OntoNotes 5.0的數(shù)據(jù)集，并同時(shí)提供英文、中文以及阿拉伯文的語(yǔ)料進(jìn)行多語(yǔ)言的共指消解評(píng)測(cè)，以研究不同語(yǔ)言的共指消解研究的差別與共性。

在英文任務(wù)中，巴西里約熱內(nèi)盧天主教大學(xué)Fernandes的系統(tǒng)[55]獲得了第一名的成績(jī)。他們采用潛共指樹(Latent Coreference Trees)結(jié)構(gòu)以及基于熵的特征選擇(Entropy Guided Feature Induction)方法，在最大間隔結(jié)構(gòu)化感知器(Large Margin Structure Perceptron)的框架下進(jìn)行共指消解學(xué)習(xí)與推斷，分別基于MUC、B-cubed和CEAF-E 3項(xiàng)評(píng)測(cè)指標(biāo)獲得了70.51%、71.24%和48.37%的F值，三項(xiàng)指標(biāo)的平均F值為63.37%，同時(shí)針對(duì)指稱表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率83.45%、召回率72.75%以及F值77.73%。來(lái)自德國(guó)海德堡理論研究所的Martschat等的系統(tǒng)[56]采用基于圖的方法，將文本中的表述看作圖中的節(jié)點(diǎn)，將表述間的不同共指特征所表示的關(guān)系看作邊，并嘗試采用譜聚類和貪心聚類進(jìn)行共指消解，在3項(xiàng)評(píng)測(cè)指標(biāo)上分別獲得了66.97%、70.36%和46.60%的F值，3項(xiàng)指標(biāo)的平均F值為61.31%，同時(shí)針對(duì)表述檢測(cè)子任務(wù)上獲得了準(zhǔn)確率76.10%、召回率74.23%以及F值75.15%。來(lái)自斯圖加特大學(xué)Bjorkelund等的系統(tǒng)[57]采用Resolver Stacking的方法將BF(Best-First，最優(yōu)最先)、PCF(Pronoun Closest First，代詞最近最先)和AMP(AverageMaxProb，最大化平均概率)3種共指推斷方法進(jìn)行層疊組合，同時(shí)在識(shí)別候選表述的時(shí)候基于一個(gè)分類器針對(duì)代詞(比如it、you和we)進(jìn)行特殊的指代性(Referential)判斷，實(shí)驗(yàn)結(jié)果顯示他們的系統(tǒng)在三項(xiàng)評(píng)測(cè)指標(biāo)上分別獲得了67.58%、70.26%和45.87%的F值，平均F值為61.24%，同時(shí)在表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率77.09%、召回率73.75%以及F值75.38%。

在中文任務(wù)中，獲得前三名的系統(tǒng)分別來(lái)自于德州大學(xué)達(dá)拉斯分校Chen等的系統(tǒng)[58]、哈爾濱工業(yè)大學(xué)Yuan等的系統(tǒng)[59]以及斯圖加特大學(xué)Bjorkelund等的系統(tǒng)[57]。Chen等的系統(tǒng)[58]借鑒了2011年斯坦福大學(xué)Lee等的方法，將多層篩選的規(guī)則化模型應(yīng)用在了中文共指消解任務(wù)上，并取得了第一名的好成績(jī)，分別基于MUC、B-cubed和CEAF-E三項(xiàng)評(píng)測(cè)指標(biāo)獲得了62.21%、73.55%和50.97%的F值，3項(xiàng)指標(biāo)的平均F值為62.24%，同時(shí)針對(duì)表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率72.16%、召回率71.12%以及F值71.64%。Yuan等的系統(tǒng)[59]依然是主要借鑒了2011年斯坦福大學(xué)Lee等的方法，他們將規(guī)則和統(tǒng)計(jì)相結(jié)合的方法應(yīng)用在表述檢測(cè)和共指消解的多個(gè)相關(guān)任務(wù)中，在3項(xiàng)評(píng)測(cè)指標(biāo)上分別取得了60.33%、72.90%和48.83%的F值，平均F值為60.69%，同時(shí)針對(duì)表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率64.09%、召回率72.75%以及F值68.15%。Bjorkelund等的系統(tǒng)[57]采用了他們?cè)谟⑽娜蝿?wù)中相同的框架和思路，同時(shí)結(jié)合中文語(yǔ)言中的一些特殊性作為規(guī)則特征，他們?cè)?項(xiàng)評(píng)測(cè)指標(biāo)上分別取得了58.61%、73.10%和48.19%的F值，平均F值為59.97%，同時(shí)針對(duì)表述檢測(cè)子任務(wù)獲得了準(zhǔn)確率63.54%、召回率69.45%以及F值66.37%。

5 當(dāng)前研究趨勢(shì)

近年來(lái)，在學(xué)術(shù)界的共同努力下，共指消解研究取得了不錯(cuò)的成績(jī)，越來(lái)越多的科研人員開始關(guān)注這一領(lǐng)域的研究。以下從模型構(gòu)建以及共指特征等角度分別介紹共指消解任務(wù)的當(dāng)前研究趨勢(shì)。

模型構(gòu)建： 共指消解問題是由實(shí)體表述檢測(cè)和共指消解兩個(gè)子任務(wù)共同組成的，特別適合使用多任務(wù)的聯(lián)合學(xué)習(xí)與聯(lián)合推斷框架。Denis和Baldridge[60]采用整數(shù)線性規(guī)劃聯(lián)合推斷名詞短語(yǔ)的指代性檢測(cè)(即表述檢測(cè))和共指消解。在ACE數(shù)據(jù)上，該方法使得MUC評(píng)測(cè)準(zhǔn)則的F值提高了3.7%～5.3%。針對(duì)類似的問題，Rahman和Ng[26]采用排序支持向量機(jī)(RankSVM)模型聯(lián)合學(xué)習(xí)篇章新表述檢測(cè)(Discourse-New Detection)和共指消解，獲得了比獨(dú)立學(xué)習(xí)兩個(gè)子任務(wù)更好的效果。

基于表述對(duì)模型的共指消解問題，在表述檢測(cè)已經(jīng)執(zhí)行的情況下，通常分為成對(duì)分類和表述聚類兩個(gè)子任務(wù)(如2.2.1節(jié)所述)。因此基于這兩個(gè)子任務(wù)的聯(lián)合模型也大量應(yīng)用在共指消解問題上。Finkel和Manning[28]與Chang等[54]利用整數(shù)線性規(guī)劃技術(shù)，基于預(yù)測(cè)得到的表述對(duì)共指概率值，分別采取傳遞性約束(Transitivity Constraints)和最優(yōu)最先約束(Best-First Constraints)，針對(duì)成對(duì)分類和表述聚類進(jìn)行聯(lián)合推斷，取得了很好的效果。但這種聯(lián)合推斷框架的劣勢(shì)在于，預(yù)測(cè)表述對(duì)間共指概率值的特征權(quán)重是通過單獨(dú)學(xué)習(xí)得到的。為了使學(xué)得的特征權(quán)重更加準(zhǔn)確，F(xiàn)inley和Joachims[61]、McCallum和Wellner[62]以及Song等人[63]分別采用有指導(dǎo)的聚類框架、條件模型以及馬爾科夫邏輯網(wǎng)絡(luò)實(shí)現(xiàn)了將成對(duì)分類和基于傳遞性約束的表述聚類進(jìn)行聯(lián)合學(xué)習(xí)的過程。

共指特征： 近年來(lái)，規(guī)則方法用于共指消解的實(shí)驗(yàn)效果越來(lái)越好，而大量機(jī)器學(xué)習(xí)方法對(duì)共指消解問題的效果提升越發(fā)有限，因此更多的學(xué)者開始關(guān)注如何基于深層次的語(yǔ)言知識(shí)以及背景知識(shí)來(lái)進(jìn)行共指消解研究。

獲取深層次的語(yǔ)言知識(shí)及背景知識(shí)可以通過以下幾種途徑。首先，基于常規(guī)知識(shí)庫(kù)。這種方法需要借助一些已有的知識(shí)詞典，例如，英文的WordNet，中文的《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》和HowNet等；其次，從大規(guī)模語(yǔ)料庫(kù)中挖掘模式信息。這種方法主要是根據(jù)一些已有模板，然后在大規(guī)模語(yǔ)料庫(kù)上統(tǒng)計(jì)各種信息。例如，Bergsma[64]在一個(gè)經(jīng)依存分析的語(yǔ)料庫(kù)上獲取了大量的共指信息，實(shí)現(xiàn)了名詞短語(yǔ)的性別和單復(fù)數(shù)信息的自動(dòng)提取。Yang和Su[65]利用從語(yǔ)料庫(kù)中挖掘的模板信息來(lái)增強(qiáng)共指消解。Ponzetto和Strube[25]同時(shí)采用WordNet、Wikipedia以及語(yǔ)義角色信息構(gòu)建多種語(yǔ)義特征用于共指消解問題。Rahman和Ng[66]采用YAGO、FrameNet、名詞對(duì)特征、動(dòng)詞對(duì)特征以及更為廣泛的背景知識(shí)來(lái)強(qiáng)化共指消解；最后一種方法是將互聯(lián)網(wǎng)看成是一個(gè)巨大的語(yǔ)料庫(kù)，利用搜索引擎返回的各個(gè)查詢得到的Snippets或結(jié)果數(shù)來(lái)計(jì)算相關(guān)信息，例如，利用返回結(jié)果數(shù)來(lái)計(jì)算兩個(gè)名詞短語(yǔ)間的互信息來(lái)考察其關(guān)聯(lián)程度等[67]。

相關(guān)任務(wù)： 隨著共指消解研究的深入開展，與之相似或相關(guān)的其他任務(wù)的研究也隨之被帶動(dòng)。例如，命名實(shí)體消歧(或?qū)嶓w鏈接)任務(wù)。繼ACE評(píng)測(cè)之后的TAC評(píng)測(cè)有一項(xiàng)KBP(Knowledge Base Population)任務(wù)，是基于跨文檔的實(shí)體消歧任務(wù)，近年來(lái)有關(guān)該問題的研究工作成果顯著[68-69]。另一項(xiàng)相關(guān)任務(wù)是事件共指消解。當(dāng)前的語(yǔ)料庫(kù)大多都來(lái)自于新聞?wù)Z料，其中的句子包含有大量關(guān)于新聞事件的描述，因此如何實(shí)現(xiàn)基于事件的共指消解，就顯得尤為重要。事件共指消解任務(wù)研究已經(jīng)取得了一定的進(jìn)展[70-71]。此外，共指消解也是很多其他自然語(yǔ)言處理任務(wù)的基礎(chǔ)，例如，文本摘要、信息抽取、關(guān)系抽取以及觀點(diǎn)挖掘等任務(wù)。

6 結(jié)論與展望

當(dāng)前大多數(shù)自然語(yǔ)言處理任務(wù)脫胎于規(guī)則模型，并轉(zhuǎn)進(jìn)到統(tǒng)計(jì)機(jī)器學(xué)習(xí)為主的解決框架。共指消解問題也不例外。但例外的是，在經(jīng)過了十余年基于機(jī)器學(xué)習(xí)框架下的共指消解研究之后，人們發(fā)現(xiàn)，基于規(guī)則的系統(tǒng)依然能夠取得一致的甚至是更好的效果。導(dǎo)致這一問題的根源在于共指問題的形式化表示與其真正的語(yǔ)言學(xué)本質(zhì)相去甚遠(yuǎn)。當(dāng)然，任何一種方法都有其不足之處： 基于規(guī)則的系統(tǒng)不能從大量已標(biāo)注數(shù)據(jù)中獲得良好的支持，使得系統(tǒng)的泛化能力一般；基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的系統(tǒng)并不善于精確地解決問題。因此，未來(lái)的共指消解研究必然會(huì)沿著規(guī)則與統(tǒng)計(jì)相結(jié)合的思路一直走下去。一方面需要尋找更新更有效的特征來(lái)強(qiáng)化共指判斷，另一方面在現(xiàn)有特征的基礎(chǔ)上，需要考慮如何將篇章一級(jí)的計(jì)算模型融合到規(guī)則與統(tǒng)計(jì)相結(jié)合的系統(tǒng)當(dāng)中去，以解決當(dāng)前的形式化表示過于簡(jiǎn)單且脫離實(shí)際的問題。

[1] 郎君, 秦冰, 劉挺, 等. 篇章共指消解研究綜述[J]. 漢語(yǔ)語(yǔ)言與計(jì)算學(xué)報(bào), 2007, 17(4):227-253.

[2] 王厚峰. 指代消解的基本方法和實(shí)現(xiàn)技術(shù)[J]. 中文信息學(xué)報(bào), 2002, 16(6):9-17.

[3] J.R. Hobbs. Resolving pronoun references[J]. Journal of Lingua , 1978, 44:311-338.

[4] A. Haghighi, D. Klein. Simple coreference resolution with rich syntactic and semantic features[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2009:1152-1161.

[5] B. Grosz, A. Joshi, S. Weinstein. Centering: A framework for modelling the local coherence of discourse[J]. Journal of Computational Linguistics, 1995, 21(2):203-225.

[6] Susan E. Brennan, Marilyn W. Friedman, Carl Pollard. A centering approach to pronouns[C]//Proceedings of the 25th Annual Meeting of the Association for Computational Linguistics (ACL), 1987:155-162.

[7] M. Poesio, R. Stevenson, Barbara Di Eugenio, et al. Centering: A parametric theory and its instantiations [J]. Journal of Computational Linguistics, 2004, 30(3):309-363.

[8] S. Lappin, H.J. Leass. An algorithm for Pronominal Anaphora Resolution[J]. Journal of Computational Linguistics, 1994, 20(4):535-561.

[9] C. Kennedy, B. Boguraev. Anaphora for everyone: Pronominal anaphora resolution without a parser[C]//Proceedings of the 16th International Conference on Computational Linguistics(COLING), 1996:113-118.

[10] R. Mitkov. Robust pronoun resolution with limited knowledge[C]//Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (COLING-ACL), 1998:869-875.

[11] K. Raghunathan, H. Lee, S. Rangarajan,et al. A multi-pass sieve for coreference resolution[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2010.

[12] H. Lee, Y. Peirsman, A. Chang, et al. Stanford’s multi-pass sieve coreference resolution system at the conll-2011 shared task[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:28-34.

[13] V. Ng, C. Cardie. Bootstrapping coreference classifiers with multiple machine learning algorithms[C]//Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2003:113-120.

[14] O. Uryupina, S. Saha, A. Ekbal, et al. Multi-metric optimization for coreference: The unitn / iitp / essex submission to the 2011 conll shared task[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:61-65.

[15] V. Ng. Graph-cut-based anaphoricity determination for coreference resolution[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies(HLT-NAACL), 2009:575-583.

[16] Guodong Zhou, Fang Kong. Global learning of noun phrase anaphoricity in coreference resolution via label propagation[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2009:978-986.

[17] 孔芳，朱巧明，周國(guó)棟. 中英文指代消解中待消解項(xiàng)識(shí)別的研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2012，49(5):1072-1085.

[18] J. McCarthy, W. Lehnert. Using decision trees for coreference resolution[C]//Proceedings of the 14th International Joint Conference on Artificial Intelligence, 1995.

[19] Wee Meng Soon, Hwee Tou Ng, Chung Yong Lim. A machine learning approach to coreference resolution of noun phrases[J]. Computational Linguistics, 2001, 27(4):521-544.

[20] E. Bengtson, D. Roth. Understanding the value of features for coreference resolution[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2008.

[21] V. Ng, C. Cardie. Improving machine learning approaches to coreference resolution[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2002:104-111.

[22] C. Gasperi. Active learning for anaphora resolution[C]//Proceedings of the NAACL HLT 2009 Workshop on Active Learning for Natural Language Processing, 2009.

[23] Niyu Ge, J. Hale, E. Charniak. A statistical approach to anaphora resolution[C]//Proceedings of the ACL 1998 Workshop on Very Large Corpora, 1998.

[24] Xiaoqiang Luo, A. Ittycheriah, Hongyan Jing, et al. A mention-synchronous coreference resolution algorithm based on the bell tree[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2004:135-142.

[25] S. P. Ponzetto, Michael Strube. Exploiting semantic role labeling, wordnet and wikipedia for coreference resolution[C]//Proceedings of the main conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics(HLT-NAACL), 2006:192-199.

[26] A. Rahman, V. Ng. Supervised models for coreference resolution[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2009:968-977.

[27] Y. Versley, A. Moschitti, M. Poesio, et al. Coreference systems based on kernels methods[C]//Proceedings of the 22nd International Conference on Computational Linguistics(COLING), 2008:961-968.

[28] J.R.Finkel, C.D. Manning. Enforcing transitivity in coreference resolution[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2008:45-48.

[29] Shujian Huang, Yabing Zhang, Junsheng Zhou, et al. Coreference resolution using markov logic networks[C]//Proceedings of the 10th International Conference Computational Linguistics and Intelligent Text Processing(CICLing), 2009.

[30] 劉未鵬，周俊生，黃書劍，等.基于有監(jiān)督關(guān)聯(lián)聚類的中文共指消解[J]. 計(jì)算機(jī)科學(xué),2009, 36(9):182-185.

[31] C. Nicolae, G. Nicolae. Bestcut: A graph algorithm for coreference resolution[C]//Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2006:275-283.

[32] 周俊生，黃書劍，陳家駿，等. 一種基于圖劃分的無(wú)監(jiān)督漢語(yǔ)指代消解算法[J]. 中文信息學(xué)報(bào), 2007, 21(2):77-82.

[33] 謝永康，周雅倩，黃萱菁. 一種基于譜聚類的共指消解方法[J]. 中文信息學(xué)報(bào), 2009, 23(3):10-16.

[34] Marc B. Vilain, John D. Burger, John S. Aberdeen, et al. A model-theoretic coreference scoring scheme[C]//Proceedings of the Sixth Message Understanding Conference(MUC), 1995:45-52.

[35] A.Bagga, B.Baldwin. Algorithms for scoring coreference chains[C]//Proceedings of the First International Conference on Language Resources and Evaluation Workshop on Linguistics Coreference, 1998:563-566.

[36] Xiaoqiang Luo. On coreference resolution performance metrics[C]//Proceedings of the joint conference on human language technology and empirical methods in natural language processing(HLT-EMNLP),2005: 25-32.

[37] Xiaofeng Yang, Jian Su, Jun Lang, et al. An entity-mention model for coreference resolution with inductive logic programming[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2008:843-851.

[38] Xiaofeng Yang, Guodong Zhou, Jian Su, et al. Coreference resolution using competition learning approach[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2003:176-183.

[39] Xiaofeng Yang, Jian Su, Chew Lim Tan. A twin-candidate model for learning-based anaphora resolution[J]. Computational Linguistics, 2008, 34(3):327-356.

[40] T. Joachims. Optimizing search engines using clickthrough data[C]//Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), 2002.

[41] A.Rahman, V. Ng. Narrowing the modeling gap: A cluster-ranking approach to coreference resolution[J]. Journal of Artificial Intelligence Research(JAIR), 2011:469-521.

[42] C. Cardie, K. Wagstaff. Noun phrase coreference as clustering[C]//Proceedings of the 1999 Conference on Empirical Methods in Natural Language Processing (EMNLP), 1999.

[43] K. Wagstaff, C. Cardie. Clustering with instance-level constraints[C]//Proceedings of the Seventeenth International Conference on Machine Learning (ICML), 2000:1103-1110.

[44] A. Haghighi, D. Klein. Unsupervised coreference resolution in a nonparametric bayesian model[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2007, 45:848.

[45] Vincent Ng. Unsupervised models for coreference resolution[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2008:640-649.

[46] H. Poon, P. Domingos. Joint unsupervised coreference resolution with markov logic[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2008:650-659.

[47] A.Haghighi, D. Klein. Coreference resolution in a modular, entity-centered model[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (HLT-NAACL), 2010:385-393.

[48] Xiaofeng Yang, Jian Su, Chew Lim Tan. Kernel-based pronoun resolution with structured syntactic knowledge[C]//Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics(ACL), 2006:41-48.

[49] Fang Kong, Guodong Zhou. A tree kernel-based unified framework for chinese zero anaphora resolution[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2010:882-891.

[50] 孔芳，周國(guó)棟. 基于樹核函數(shù)的中英文代詞消解[J]. 軟件學(xué)報(bào), 2012, 23(5):1085-1099.

[51] Véronique H. Optimization Issues in Machine Learning of Coreference Resolution[D]. PhD thesis, University of Antwerp, 2005.

[52] S. Saha, A. Ekbal, O. Uryupina, et al. Single and multi-objective optimization for feature selection in anaphora resolution[C]//Proceedings of 5th International Joint Conference on Natural Language Processing(IJCNLP), 2011:93-101.

[53] E. Sapena, Lluís Padró, J. Turmo. Relaxcor participation in conll shared task on coreference resolution[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:35-39.

[54] K. Chang, R. Samdani, A. Rozovskaya, et al. Inference protocols for coreference resolution[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:40-44.

[55] E. Fernandes, Cícero dos Santos, Ruy Milidiú. Latent structure perceptron with feature induction for unrestricted coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL Shared Task, 2012:41-48.

[56] S. Martschat, Jie Cai, S. Broscheit, et al. A multigraph model for coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL Shared Task, 2012:100-106.

[57] Anders Bj?rkelund, Richárd Farkas. Data-driven multilingual coreference resolution using resolver stacking[C]//Proceedings of the Joint Conference on EMNLP and CoNLL - Shared Task, 2012: 49-55.

[58] Chen Chen, Vincent Ng. Combining the best of two worlds: A hybrid approach to multilingual coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL - Shared Task, 2012:56-63.

[59] Bo Yuan, Qingcai Chen, Yang Xiang, et al. A mixed deterministic model for coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL Shared Task, 2012: 76-82.

[60] Pascal Denis, Jason Baldridge. Joint determination of anaphoricity and coreference resolution using integer programming[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (HLT-NAACL), 2007:236-243.

[61] T. Finley, T. Joachims. Supervised clustering with support vector machines[C]//Proceedings of the International Conference on Machine Learning (ICML), 2005:217-224,.

[62] A. McCallum, B. Wellner. Conditional models of identity uncertainty with application to noun coreference[C]//Proceedings of Neural Information Processing Systems (NIPS), 2004:905-912.

[63] Yang Song, Jing Jiang, Wayne Xin Zhao, et al. Joint learning for coreference resolution with markov logic[C]//Proceedings of the conference on Empirical Methods in Natural Language Processing and Natural Language Learning (EMNLP-CoNLL), 2012:1245-1254.

[64] S. Bergsma. Automatic acquisition of gender information for anaphora resolution[C]//Proceedings of the Canadian Conference on Artificial Intelligence, 2005:342-353.

[65] Xiaofeng Yang, Jian Su. Coreference resolution using semantic relatedness information from automatically discovered patterns[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2007.

[66] A. Rahman, V. Ng. Coreference resolution with world knowledge[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2011:814-824.

[67] M. Poesio, R. Mehta, A. Maroudas, et al. Learning to resolve bridging references[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics(ACL), 2004:143-150.

[68] Heng Ji, Ralph Grishman. Knowledge base population: Successful approaches and challenges[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics(ACL), 2011:1148-1158.

[69] S. Singh, A. Subramanya, F. Pereira, et al. Large-scale cross-document coreference using distributed inference and hierarchical models[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2011.

[70] C. A. Bejan, M. Titsworth, A. Hickl, et al. Nonparametric bayesian models for unsupervised event coreference resolution[C]//Proceedings of Neural Information Processing Systems (NIPS), 2009:73-81.

[71] Zheng Chen, Heng Ji. Graph-based event coreference resolution[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2009:54-57.

A Survey of Coreference Resolution Research Methods

SONG Yang, WANG Houfeng

(Key Laboratory of Computational Linguistics (Ministry of Education), Peking University, Beijing 100871, China)

Coreference resolution, as a challenging issue, has been noted by NLP researchers for a long time. In recent twenty years, many kinds of advanced NLP techniques have been applied on this problem, and some of them have achieved significant improvements. In this paper, we first introduce some basic concepts and formalized this isuse. Then we summarize different research strategies adopted by researchers in recent decades. We highlight the feature engineering, which lies in the core of coreference resolution. Finally we describe the recent evaluations for this task and discusssome key issues and prospects in the future.

coreference resolution; anaphora resolution; supervised learning; unsupervised learning

宋洋(1986—)，博士，中級(jí)工程師，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理。E?mail：ysong@pku．edu．cn王厚峰(1965—)，博士，教授，主要研究領(lǐng)域?yàn)檎Z(yǔ)篇分析，情感挖掘，問答系統(tǒng)，語(yǔ)言知識(shí)庫(kù)。E?mail：wanghf@pku．edu．cn

1003-0077(2015)01-0001-12

2013-03-09 定稿日期： 2013-05-15

國(guó)家自然科學(xué)基金(61370117,61333018);國(guó)家社科重大項(xiàng)目(12&ZD227)

TP391

A