FrameNet中有定的零形式識(shí)別

雷章章, 王 寧, 李 茹 2, 王智強(qiáng)

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,山西 太原 030006; 2. 山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室,山西 太原 030006)

1 引言

在FrameNet語(yǔ)料庫(kù)中，有些核心框架元素既不是謂詞的依存成分，也不能通過(guò)槽填充得以發(fā)現(xiàn)，這種框架元素稱為零形式框架元素(Null Instantiation，簡(jiǎn)記為NI)，也稱為零形式[1]。其中，有定的零形式框架元素(Definite Null Instantiation，簡(jiǎn)記為DNI)即有定的零形式在篇章理解中扮演著重要的角色，零形式識(shí)別的任務(wù)就是在框架語(yǔ)義角色標(biāo)注的語(yǔ)料上識(shí)別出其中的DNI。

目前語(yǔ)義角色標(biāo)注(Semantic Role Labeling，簡(jiǎn)記SRL)是淺層語(yǔ)義分析的一種重要實(shí)現(xiàn)方法，但是它只能為顯現(xiàn)表達(dá)的語(yǔ)義論元分配角色，并且只是作為句子內(nèi)部的任務(wù)而沒(méi)有上升到篇章級(jí)，這使得SRL在許多與文本理解相關(guān)的自然語(yǔ)言處理問(wèn)題(如信息抽取、文本摘要或自動(dòng)問(wèn)答等)的應(yīng)用中受到了限制, 因而獲取未顯現(xiàn)表達(dá)的語(yǔ)義論元并將其與上下文語(yǔ)境中的共指項(xiàng)進(jìn)行鏈接，對(duì)實(shí)現(xiàn)自然語(yǔ)言處理領(lǐng)域中的篇章理解及其應(yīng)用具有十分重要的意義。

國(guó)際計(jì)算語(yǔ)言學(xué)會(huì)議ACL在2010年舉行了關(guān)于“連接語(yǔ)篇中的事件及其參與者”的語(yǔ)義評(píng)測(cè)[2], 即SemEval-2010 Task 10，任務(wù)組給出了Full Task和NIs only(也稱為NI Task)兩種任務(wù)模式。Full Task包括SRL和NI Task兩個(gè)部分，NI Task要求參與者在金標(biāo)準(zhǔn)語(yǔ)義角色標(biāo)注的語(yǔ)料上識(shí)別出有定的零形式并在上下文中找到其先行語(yǔ)，本文專注于其中的DNI識(shí)別部分。評(píng)測(cè)任務(wù)分別提供了FrameNet和Probank兩種標(biāo)注語(yǔ)料，只有兩支隊(duì)伍提交了NI Task。 Desai Chen等[3]采用了擴(kuò)展的SEMAFOR 1.0[4]框架語(yǔ)義分析器，該系統(tǒng)將零形式識(shí)別看作論元識(shí)別問(wèn)題，采用線性對(duì)數(shù)模型，將系統(tǒng)之前用于論元識(shí)別任務(wù)中的特征集稍做改動(dòng)作為新的特征集，該團(tuán)隊(duì)的零形式識(shí)別召回率和分類準(zhǔn)確率分別為63.4%和54.7%。Sara Tonelli等[5]采用了一個(gè)曾用于RTE的語(yǔ)義評(píng)測(cè)系統(tǒng)VENSES++,將零形式檢測(cè)任務(wù)按動(dòng)詞和名詞兩種不同的情況分別處理，在隨后的零形式分類階段以是否找到缺失論元的先行語(yǔ)作為分類的依據(jù)，若找到，則標(biāo)記為DNI，否則就標(biāo)記為INI，該團(tuán)隊(duì)零形式識(shí)別的召回率為8.0%，在此基礎(chǔ)上分類的準(zhǔn)確率為62.4%。

本文采用規(guī)則過(guò)濾與機(jī)器學(xué)習(xí)相結(jié)合的方法實(shí)現(xiàn)有定的零形式的識(shí)別任務(wù)，其中主要工作包括零形式檢測(cè)規(guī)則的構(gòu)建與基于最大熵分類器的零形式分類模型的實(shí)現(xiàn)。

2 相關(guān)概念介紹

2.1 FrameNet

FrameNet[6]是一個(gè)基于語(yǔ)料庫(kù)的、以框架為基礎(chǔ)的計(jì)算機(jī)詞典編纂項(xiàng)目，該項(xiàng)目以框架語(yǔ)義學(xué)理論為基礎(chǔ)，其分析單元不再是一個(gè)個(gè)的詞而是框架?？蚣苁切叛?、實(shí)踐、制度、想象等概念結(jié)構(gòu)或概念模式的圖解表征[7]。激起框架的詞元稱為目標(biāo)詞，在目標(biāo)詞激起一個(gè)框架的同時(shí)也激起了一個(gè)以框架名命名的場(chǎng)景，場(chǎng)景中的事件及參與者被稱為框架元素，框架元素表示與特定的詞相關(guān)的語(yǔ)義角色或者語(yǔ)義功能，這些詞或者出現(xiàn)在特定的句子中或者出現(xiàn)在特定的一組句子中?？蚣茉赜钟泻诵呐c非核心之分，相比于非核心框架元素，核心框架元素與框架之間具有更為特定的語(yǔ)義聯(lián)系。

2.2 零形式及其類型

零形式是由核心框架元素缺失引起的[8-9]。核心框架元素缺失的現(xiàn)象可分為兩類情況，即允許缺失的語(yǔ)義實(shí)體類型和對(duì)所缺失論元的解釋類型。前者是由特定的詞項(xiàng)或句法結(jié)構(gòu)缺失引起的零形式。如例句2.1中缺失的施事者是由被動(dòng)結(jié)構(gòu)引起的：

例2.1. No doubt, mistakes were made 0Protagonist.

這種缺失是結(jié)構(gòu)的缺失，它適用于任何有著合適的能用于被動(dòng)語(yǔ)態(tài)語(yǔ)義信息的謂詞。例2.2展示了另外一種情況，這里的缺失是由特定詞項(xiàng)造成的： 動(dòng)詞arrived允許它的Goal角色缺省，但是和它屬于同一個(gè)Arriving框架下的動(dòng)詞詞元reach卻不允許。

例2.2. We arrived 0Goalat 8pm.

上面的兩個(gè)例子也展示了第二類缺失情況下的差異。作為對(duì)比，例句2.1中犯錯(cuò)誤的施事者“Protagonist”能夠被理解，沒(méi)有必要為之找回或者建立一個(gè)特定的篇章所指(INI的例子)，而例句2.2中缺失的角色Goal是一個(gè)談話人雙方必須從語(yǔ)篇或者上下文中才可以理解的實(shí)體(DNI的例子)。

圖1給出的是FrameNet中Arrest框架下的詞元arrest.v的標(biāo)注情況，各個(gè)框架元素用不同顏色區(qū)分，其中核心框架元素在Core Type中用Core標(biāo)出。標(biāo)注框架下的兩條語(yǔ)句是FrameNet中由arrest.v激起的零形式句子標(biāo)注實(shí)例，其中CNI是指結(jié)構(gòu)的零形式。

3 基于規(guī)則的零形式檢測(cè)

零形式是由核心框架元素缺失引起的，但是缺失的核心框架元素并不一定就是零形式，因?yàn)楹诵目蚣茉刂g還具有三種關(guān)系，只有充分考慮了這些關(guān)系才能夠判斷缺失的這個(gè)核心框架元素是否為零形式。

3.1 核心框架元素間的關(guān)系

在FrameNet的框架中，核心框架元素之間可能會(huì)有著某種特定的關(guān)系，使得它們并不完全獨(dú)立，這三種關(guān)系分別是：

? CoreSet： 這個(gè)關(guān)系表明，其中的核心框架元素可以一個(gè)或者多個(gè)需要顯示表達(dá)。有這種關(guān)系的情況比較復(fù)雜，可能在某種情況下，其中的一個(gè)核心框架元素缺失時(shí)不認(rèn)為是論元缺失從而不用標(biāo)記為零形式，而對(duì)于另外一個(gè)則必須進(jìn)行標(biāo)記；也可能有的情況下進(jìn)行標(biāo)記，有時(shí)又不需要標(biāo)記，這因框架不同而不相同。

圖1 動(dòng)詞arrest.v在FrameNet中的標(biāo)注

例如，在Arrest框架中：

Core: {Authorities, Charges, Offense, Suspect}

FE CoreSet: {Charges, Offense}

兩個(gè)角色Charges和Offense具有CoreSet關(guān)系，在FrameNet給出的標(biāo)注語(yǔ)料中，若二者中僅缺失Charges，需要標(biāo)記為零形式；而若僅缺失的是Offense，則不必標(biāo)記。

? Excludes： 這是個(gè)互斥的關(guān)系，擁有這種關(guān)系的兩個(gè)核心框架元素不可以同時(shí)出現(xiàn)，這樣當(dāng)其中的一個(gè)出現(xiàn)的時(shí)候，與其互斥的論元沒(méi)有出現(xiàn)時(shí)也不認(rèn)為是論元缺失，從而不用標(biāo)記為零形式。

? Requires；這是個(gè)有序的關(guān)系，若核心框架元素A和B具有這種關(guān)系，且A在前面，則要求A出現(xiàn)時(shí)B一定要出現(xiàn)否則即認(rèn)為是論元缺失，但是B出現(xiàn)的時(shí)候不一定要求A也必須出現(xiàn)或被標(biāo)記為NI。

例如，在Similarity框架中：

Core: { Differertiating_fact, Entity_1, Entity_2, Dimension}；

Excludes: {，}；

Requires: {，}；

例3.1. [Entity_1The configuration of hard drives] is no differentTarget[Dimensioninthis respect].[Entity_2DNI]

例3.1中，由目標(biāo)詞different激起的Similarity框架中， Entity_1和Entity_2都與Entities互斥，這樣在句中出現(xiàn)了 Entity_1時(shí)，就不會(huì)出現(xiàn)Entities，也不用將其標(biāo)為NI；又由于Entity_1和Entity_2有Requires關(guān)系，在只出現(xiàn)了Entity_1的前提下，有必要將Entity_2標(biāo)記為NI。從這個(gè)例子我們也可以看出，核心框架元素Differertiating_fact缺失，而且它也不在這三種關(guān)系中，卻沒(méi)有將其標(biāo)記為NI，這種情況是很少見(jiàn)的。

3.2 零形式檢測(cè)的規(guī)則構(gòu)建

根據(jù)核心框架元素之間三種關(guān)系，即： CoreSet，Excludes和Requires，本文構(gòu)造了三個(gè)零形式的檢測(cè)規(guī)則：

規(guī)則1. 缺失的核心框架元素若與某個(gè)顯示表達(dá)的核心框架元素有Excludes關(guān)系，則沒(méi)有出現(xiàn)零形式，否則參考其他兩個(gè)規(guī)則；

規(guī)則2. 缺失的核心框架元素若屬于某個(gè)顯示表達(dá)核心框架元素的Requires關(guān)系，則出現(xiàn)了零形式，并將該缺失的核心框架元素標(biāo)記為零形式；

規(guī)則3. 缺失的核心框架元素與某些顯示表達(dá)的核心框架元素在同一個(gè)CoreSet集合中，而沒(méi)有其他兩種關(guān)系，則根據(jù)該CoreSet中各角色的標(biāo)注規(guī)律進(jìn)行標(biāo)注，在我們的實(shí)驗(yàn)處理中，如果有一個(gè)顯現(xiàn)的表達(dá)了，就默認(rèn)為其他的都不是零形式。

3.3 零形式檢測(cè)的步驟

依照零形式框架元素的特點(diǎn)及上面的檢測(cè)方法，設(shè)計(jì)檢測(cè)步驟如下：

Step 1. 數(shù)據(jù)預(yù)處理： 第一，抽取FN中每個(gè)框架的核心框架元素及框架下的CoreSet、Excludes和Requires關(guān)系并記錄到數(shù)據(jù)庫(kù)中；第二，提取語(yǔ)料中所有句子的目標(biāo)詞、所屬框架、框架核心元素標(biāo)記等信息并記錄到數(shù)據(jù)庫(kù)中；

Step 2. 全部改為. 對(duì)于測(cè)試語(yǔ)料，根據(jù)上步中提取的信息對(duì)比以判斷核心框架元素是否缺失，若沒(méi)有，就不做標(biāo)記，否則轉(zhuǎn)向Step 3；

Step 3. 使用規(guī)則1判斷缺失的框架元素是否在某個(gè)Excludes關(guān)系中，若是，不做標(biāo)記，否則轉(zhuǎn)向Step 4；

Step 4. 使用規(guī)則2判斷缺失的框架元素是否在某個(gè)Requires關(guān)系中，若是，轉(zhuǎn)向Step 6，否則轉(zhuǎn)向Step 5；

Step 5. 使用規(guī)則3判斷缺失的框架元素是否在某個(gè)CoreSet中，若有，轉(zhuǎn)向Step 6;

Step 6. 將缺失的句子信息記錄到文件中，以便后續(xù)試驗(yàn)的進(jìn)行。

4 基于最大熵的零形式分類

找到有定的零形式在上下文中的共指項(xiàng)有助于篇章理解的提高，因而對(duì)于檢測(cè)出來(lái)的零形式，我們還想進(jìn)一步知道其解釋類型。參與評(píng)測(cè)的兩支團(tuán)隊(duì)都是將零形式的分類和消解捆綁在一起進(jìn)行的，即能夠消解的被認(rèn)為是有定的零形式，否則被判為無(wú)定的零形式。本文嘗試選用最大熵分類器，通過(guò)訓(xùn)練語(yǔ)料的訓(xùn)練，直接用來(lái)對(duì)測(cè)試語(yǔ)料中的零形式解釋類型進(jìn)行分類預(yù)測(cè)。我們的做法是基于零形式的這樣一個(gè)規(guī)律： 框架不同，目標(biāo)詞不同，缺失的核心框架元素不同都可能導(dǎo)致對(duì)零形式的解釋類型不同[10]。

最大熵模型在自然語(yǔ)言處理中獲得了廣泛的應(yīng)用，它是由最大熵原理推導(dǎo)而來(lái)，最大熵原理認(rèn)為在學(xué)習(xí)概率模型時(shí)，在所有可能的模型中，熵最大的模型是最好的。最大熵模型的學(xué)習(xí)過(guò)程就是求解最大熵模型的過(guò)程。最大熵模型的一般表示見(jiàn)式(1)。

其中

這里，Rn為n維歐式空間，x∈Rn為輸入，y∈{1, 2…,K}為輸出(K個(gè)類別)，w∈Rn為權(quán)值向量，fi(x,y)，i=1, 2…,n為任意實(shí)值特征函數(shù)。

本文采用最大熵模型實(shí)現(xiàn)零形式分類問(wèn)題，將有零形式的出現(xiàn)的框架作為輸入樣本x，把兩種零形式類型DNI和INI作為分類輸出，即y∈{DNI, INI}，選擇的特征集列表如表1所示。

表1 特征選取

5 實(shí)驗(yàn)及結(jié)果分析

5.1 實(shí)驗(yàn)語(yǔ)料

實(shí)驗(yàn)語(yǔ)料來(lái)源于SemEval-2010 Task10，其中訓(xùn)練語(yǔ)料是在SemEval-2007 Task 19的基礎(chǔ)上加入了Arthur Conan Doyle的小說(shuō)《名偵探福爾摩斯》中的部分節(jié)選語(yǔ)料的全文標(biāo)注，測(cè)試語(yǔ)料是該小說(shuō)中故事《巴克斯維爾的獵犬》的第13章(Chapter 13)和第14章(Chapter 14)節(jié)選部分的全文標(biāo)注，詳情參看表2，其中frame inst.是標(biāo)注的框架實(shí)例數(shù)(annotated frame instances)。

表2 評(píng)測(cè)語(yǔ)料的數(shù)據(jù)詳情

5.2 零形式檢測(cè)的實(shí)驗(yàn)結(jié)果及分析

按照基于規(guī)則方法，在測(cè)試語(yǔ)料上完成的零形式檢測(cè)的結(jié)果如表3所示，括號(hào)中的數(shù)據(jù)為實(shí)驗(yàn)正確檢測(cè)出來(lái)的數(shù)據(jù)。

根據(jù)表3的實(shí)驗(yàn)結(jié)果，我們給出了零形式檢測(cè)實(shí)驗(yàn)相應(yīng)的準(zhǔn)確率、召回率和F值作為評(píng)定，如表4所示。

表3 零形式檢測(cè)的實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

表4 零形式檢測(cè)的實(shí)驗(yàn)結(jié)果評(píng)定

作為對(duì)比，我們給出了參與評(píng)測(cè)的兩支隊(duì)伍相應(yīng)的零形式檢測(cè)數(shù)據(jù)，如表5所示，其中710是金標(biāo)準(zhǔn)標(biāo)注的零形式數(shù)目(NIs)。

表5 參與評(píng)測(cè)的系統(tǒng)零形式檢測(cè)結(jié)果

由上述幾個(gè)表的數(shù)據(jù)對(duì)比，我們認(rèn)為使用規(guī)則的方法識(shí)別零形式是可行的，SEMAFOR系統(tǒng)的本身的召回率是不高的，這個(gè)數(shù)據(jù)是由評(píng)測(cè)系統(tǒng)給出的，具體在5.3節(jié)中詳述。對(duì)實(shí)驗(yàn)結(jié)果分析中，我們發(fā)現(xiàn)識(shí)別錯(cuò)誤主要由以下三種情況造成： (1)選用的FrameNet版本不同，在評(píng)測(cè)任務(wù)中，標(biāo)注語(yǔ)料的框架庫(kù)來(lái)自于FrameNet1.4，而本實(shí)驗(yàn)所采用的版本是FrameNet1.5，兩個(gè)版本中某些框架名和框架元素標(biāo)名不同造成了部分的識(shí)別錯(cuò)誤；比如在FrameNet1.4中的“observable_bodyparts”，在FrameNet1.5中改為“observable_body_parts”這使得我們?cè)诎凑找?guī)則發(fā)現(xiàn)零形式的時(shí)候丟失了該框架的信息，而這個(gè)框架在Chapter 13中出現(xiàn)了28次，其中核心框架元素“Possessor”缺失引起了零形式共有5次(3次DNI，2次INI)。例5.1給出的就是Chapter 13中S72里面的一個(gè)由“Possessor”缺失引起的DNI實(shí)例，它沒(méi)有被我們的實(shí)驗(yàn)檢測(cè)出來(lái)。

例5.1

(2)未登錄框架名造成一些零形式未被發(fā)現(xiàn)。在測(cè)試語(yǔ)料中存在一些框架是參與評(píng)測(cè)時(shí)FrameNet框架庫(kù)中還沒(méi)有的，和第一個(gè)原因相同，對(duì)這部分框架中的零形式我們也沒(méi)有能夠檢測(cè)出來(lái)，而SEMAFOR系統(tǒng)在框架識(shí)別階段充分考慮了這個(gè)因素。(3)本文認(rèn)為影響實(shí)驗(yàn)結(jié)果的最重要的因素是核心框架元素之間存在的CoreSet關(guān)系，這里以例5.2來(lái)說(shuō)明。

例5.2

在“Hospitality”框架中：

Core: { Behavior, Expressor, Guest, Host, Topic, Judge }

FE Core set(s): {Behavior, Expressor, Host}、{Guest, Topic }

例5.2列舉的是Chapter 13中S112里面框架“Hospitality”的金標(biāo)準(zhǔn)語(yǔ)料標(biāo)注情況，其中只有一個(gè)核心框架元素“Host”是顯現(xiàn)表達(dá)的，按照我們前面的檢測(cè)規(guī)則，由于“Behavior”、“Expressor”和“Host”屬于同一個(gè)CoreSet，這里即使前面兩個(gè)缺失了也不標(biāo)記為NI；在另外一個(gè)CoreSet中“Guest”和“Topic”都缺失了，我們只將第一個(gè)缺失的核心框架元素即“Guest”標(biāo)記為NI而不再關(guān)注“Topic”，而實(shí)際的金標(biāo)準(zhǔn)語(yǔ)料將所有缺失的核心框架元素(一共5個(gè))都標(biāo)記為NI，這也影響了本文后續(xù)實(shí)驗(yàn)中對(duì)NI的分類。為了了解這個(gè)現(xiàn)象對(duì)零形式檢測(cè)及分類結(jié)果的影響，我們對(duì)兩篇測(cè)試語(yǔ)料中包含的CoreSet關(guān)系進(jìn)行了統(tǒng)計(jì)。

表6 測(cè)試語(yǔ)料中CoreSet關(guān)系統(tǒng)計(jì)

如表6所示，其中N.of mistakes 是由于CoreSet造成的零形式發(fā)現(xiàn)錯(cuò)誤個(gè)數(shù)，這也解釋了表3中Chapter 14的實(shí)驗(yàn)結(jié)果不如Chapter 13得到的結(jié)果，且其召回率要遠(yuǎn)低于準(zhǔn)確率的原因。

5.3 零形式分類的實(shí)驗(yàn)結(jié)果及分析

在零形式發(fā)現(xiàn)的基礎(chǔ)上，使用最大熵分類器對(duì)零形式分類做出了預(yù)測(cè)，實(shí)驗(yàn)使用的是張樂(lè)博士的最大熵工具包[10]，表7給出的實(shí)驗(yàn)結(jié)果(Predicted)，括號(hào)中的數(shù)據(jù)是預(yù)測(cè)正確的數(shù)目，同時(shí)也給出了VENSES++系統(tǒng)的預(yù)測(cè)結(jié)果，表8進(jìn)一步給出了預(yù)測(cè)結(jié)果相應(yīng)的準(zhǔn)確率、召回率和F值。

表7 零形式分類的實(shí)驗(yàn)數(shù)據(jù)

表8 本文零形式分類的結(jié)果評(píng)定

SEMAFOR系統(tǒng)在檢測(cè)到的450個(gè)零形式中[2]，有246個(gè)得到了正確的分類(DNI/INI),準(zhǔn)確率為54.7%(246/450)，在該團(tuán)隊(duì)評(píng)測(cè)任務(wù)提交的論文[3]給出的分類結(jié)果中，識(shí)別出來(lái)的DNI只有21個(gè)，這與評(píng)測(cè)系統(tǒng)對(duì)他們結(jié)果的評(píng)分策略有關(guān)；而VENSES++系統(tǒng)的分類準(zhǔn)確率高達(dá)64.2%(35/57)，不過(guò)該系統(tǒng)之前發(fā)現(xiàn)的零形式數(shù)目很少。本文

識(shí)別正確的有定的零形式數(shù)目(284)較兩支參與評(píng)測(cè)的隊(duì)伍都要多，這說(shuō)明我們提出的零形式分類方法是可行的。

對(duì)零形式分類的評(píng)定的指標(biāo)(準(zhǔn)確率、召回率和F值)都不是很高，主要有兩個(gè)原因： (1)受限于之前零形式檢測(cè)的結(jié)果；(2)零形式分布的多樣性，框架、詞元或缺失的核心框架元素不同，對(duì)零形式的解釋類型都可能不同，很難構(gòu)建一個(gè)合適的統(tǒng)一分類模型。

6 總結(jié)

在FrameNet中，有定的零形式是包含了缺位填充的核心依存圖的重要組成部分，在篇章理解中扮演著重要角色。本文采用規(guī)則過(guò)濾與機(jī)器學(xué)習(xí)相結(jié)合的方法分兩步實(shí)現(xiàn)了有定的零形式的識(shí)別，在測(cè)試語(yǔ)料上取得了不錯(cuò)的結(jié)果，說(shuō)明了本文的方法是可行的。

零形式存在的多樣性給有定的零形式的識(shí)別帶了很大的困難。在核心框架元素之間的三種關(guān)系中，由于CoreSet關(guān)系表現(xiàn)的零形式情況非常復(fù)雜，使得與之相關(guān)的零形式很難用本文的規(guī)則發(fā)現(xiàn)，這也影響了后續(xù)的分類效果，零形式的多樣性同樣也給零形式分類建模帶來(lái)了挑戰(zhàn)，這些都是本文以后工作的重點(diǎn)。

[1] 俞士汶,黃居仁. 計(jì)算語(yǔ)言學(xué)前瞻[M]. 北京: 商務(wù)印書(shū)館, 2005: 21-74.

[2] J Ruppenhofer, C Sporleder, R Morante, et al. SemEval-2010 Task 10: Linking Events and Their Participants in Discourse[C]//Proceedings of the 5th International Workshop on Semantic Evaluation.ACL 2010. Uppsala, Sweden: 15-16 July 2010: 45-50.

[3] D Chen, N Schneider, D Das, et al. SEMATOR: Frame Argument Resolution with Log-Linear Models[C]//Proceedings of the 5th International Workshop on Semantic Evaluation.ACL 2010. Uppsala, Sweden: 15-16 July 2010: 264-267.

[4] D Das, N Schneider, D Chen, et al. Probabilistic frame-semantic parsing[C]//Proceedings of the NAACL-HLT. ACL 2010. Los Angeles, California: June 2010: 948-956.

[5] S Tonelli, R Delmonte. VENSES++: Adapting a deep semantic processing system to the identification of null instantiations[C]//Proceedings of the 5th International Workshop on Semantic Evaluation.ACL 2010. Uppsala, Sweden: 15-16 July 2010: 296-299.

[6] J Fillmore, C R Johnson, M R L Petruck. Background to FrameNet[J]. International Journal of Lexi-cography, 2003, 16(3): 235.

[7] J Fillmore, Charles. Linguistics in the Morning Calm[M]. Seoul, Korea: Hanshin Publishing Company, 1982: 111-137.

[8] J Fillmore. Pragmatically controlled zero anaphora[C]//Proceedings of the 12th Annual Meeting of the Berkeley Linguistics Society. Berkeley, CA. 1986: 95-107.

[9] J Ruppenhofer. Regularities in null instantiation.2005.

[10] Zhang Le.Maximum entropy modeling toolkit for python and C++:[OL]http://homepages.inf.ed. ac.uk/s0450736/ maxent toolkit.html.