• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    事件關系檢測的任務體系概述

    2015-04-21 08:29:45楊雪蓉陳亞東姚建民朱巧明
    中文信息學報 2015年4期
    關鍵詞:語料框架體系

    楊雪蓉,洪 宇,陳亞東,姚建民,朱巧明

    (蘇州大學 江蘇省計算機信息處理重點實驗室,江蘇 蘇州 215006)

    ?

    事件關系檢測的任務體系概述

    楊雪蓉,洪 宇,陳亞東,姚建民,朱巧明

    (蘇州大學 江蘇省計算機信息處理重點實驗室,江蘇 蘇州 215006)

    事件關系檢測是一項面向文本信息流進行事件關系判定的自然語言處理技術。事件關系檢測的核心任務是以事件為基本語義單元,通過分析事件之間的語義關聯(lián)特征,實現(xiàn)事件邏輯關系的識別與判定,包括關系識別(即識別有無邏輯關系)和關系判定(即判定邏輯關系類型,如“因果”關系)。目前,專門面向事件的邏輯關系分析與處理,尚未形成一套完整的研究體系。針對這一問題,該文借助篇章分析、事件抽取和場景理解等相關領域中的概念與數(shù)據(jù)資源,嘗試建立一套事件關系檢測的任務和研究體系,包括任務定義、關系體系劃分、語料采集與標注、評價方法等。同時,該文著重分析和對比了事件關系檢測與篇章關系檢測的差異,并給出了事件關系檢測任務的難點與挑戰(zhàn)。

    事件關系檢測;篇章分析;事件;論元;語義關系

    1 引言

    事件(Event)是由特定人、物、事在特定時間和特定地點相互作用的客觀事實,事件的發(fā)生具有客觀性、真實性等特點。然而,事件的發(fā)生往往不是孤立現(xiàn)象,一個事件的發(fā)生必然存在與之相關的其它事件,例如與該事件相關的原因事件、結果事件、并發(fā)事件等。事件與其相關事件之間相互依存和關聯(lián)的邏輯形式,稱為事件關系(Event Relation)。

    事件關系客觀存在于事件之間,并且作用于原本孤立的事件集合中。事件關系能將離散于文本中的事件相連接,形成事件關系網絡和事件發(fā)展的拓撲脈絡。從而,分析事件關系對于目前大規(guī)模的輿情信息分析與處理具有重要的應用價值,例如,關聯(lián)事件聚類、新聞事件的關系網絡構建,以及突發(fā)事件推理與預測等。

    本文將“相關事件識別(Event Relevance Identification)”和“事件關系類型判定(Event Relation Type Decision)”統(tǒng)稱為事件關系檢測(Event Relation Detection),由此,事件關系檢測是一種深入判定兩兩事件之間相關性以及具有何種邏輯關系的任務。目前針對事件關系檢測的研究剛剛起步,由于不具有權威的任務定義、事件關系體系以及評測標準,相關探索尚不深入,相應方法也僅僅著眼于某一特定事件關系類型(如“因果”關系)的判定,不具有全面性和普適性。相較而言,自然語言處理領域中的篇章關系檢測研究,以論元(即完整的語義單元,如句子)為對象,建立了較為全面的任務體系,其蘊含的概念、關系體系和評價方法也具有普適性,能夠有效應用于事件關系檢測任務。

    然而,事件關系并不等同于篇章關系,篇章關系檢測也不能涵蓋所有事件關系檢測的關鍵問題。從而,事件關系檢測需要一種有針對性的專屬的任務和研究體系,而不能將篇章關系檢測體系簡單移植和并用。

    本文基于篇章關系檢測的定義及關系體系,定義了事件關系檢測任務、評價方法和事件關系體系,該體系將事件關系類型定義為五個大類,12個小類。同時,本文根據(jù)定義的事件關系類型構建了面向事件關系檢測任務的語料庫。此外,本文給出了篇章關系檢測與事件關系檢測的任務對比,以及事件關系檢測的關鍵問題與挑戰(zhàn)。

    本文的組織結構如下: 第2節(jié)給出相關工作;第3節(jié)介紹事件關系檢測的任務定義;第4節(jié)詳細分析事件關系與篇章關系的任務差異,以及事件關系檢測的關鍵問題;第5節(jié)介紹本文定義的事件關系體系;第6節(jié)闡述語料庫的構建方法;第7節(jié)簡要介紹可行的測試與評價方法;第8節(jié)總結全文。

    2 相關工作

    本節(jié)介紹事件關系檢測以及篇章關系分析的研究現(xiàn)狀。

    2.1 事件關系檢測相關研究

    由于缺少公認的事件關系體系,目前針對事件關系的研究方法主要針對某種特定事件關系類型的判定進行研究,主要的挖掘方法分為模板匹配法和元素分析法,下文分別對這兩種方法予以介紹。

    模板匹配法

    事件關系檢測的主要方法之一是借助事件特征的模式匹配,例如,利用事件觸發(fā)詞的關系模式匹配,根據(jù)人工定義的模板,對文本中符合模板的事件關系進行抽取。Chklovski[1]等首先定義六種時序關系:“similarity”(時序“相似”關系),“strength”(時序“加強”關系),“antonymy”(時序“相反”關系),“enablement”(時序“支持”關系), “happens”(時序“發(fā)生”關系)和“before”(時序“前”關系),再利用人工收集的LSP(Lexcial-Syntactic Pattern,即詞-句匹配模板)抽取包含這六種時序關系的“事件對”,并將抽取的結果形成稱為“VerbOcean”的知識庫。人工定義的事件關系模板往往受數(shù)量限制,造成關系檢測的低召回率問題。Pantel[2]通過Espresso算法進行自動模板的構建,算法首先給定少量關系實例,通過機器學習方法對現(xiàn)有模板進行迭代擴展,在一定程度上提高了模板匹配方法的召回率。

    元素分析法

    以事件元素為線索的研究大都繼承了Harris[3]的分布假設。Harris假設指出,處在同一上下文環(huán)境中的詞語具有相同或相似的含義。Lin[4]提出了一種結合Harris分布假設和建立依存樹思想的無監(jiān)督方法,稱為DIRT算法。算法將所有事件構造成依存樹形式,樹中的每條路徑表示一個事件,路徑的節(jié)點表示事件中的詞語,若兩條路徑的詞語完全相同,則這兩條路徑所表示的事件相同或者相似。

    3 事件關系檢測任務體系

    事件關系檢測任務包括如下方面: 事件抽取、相關事件識別和事件關系類型判定。其中,該任務的核心部分為: “相關事件識別”和“事件關系類型判定”。即首先獲得文本中的“相關事件對”(離散存在于段落或跨篇章),再將得到的“相關事件對”,通過挖掘事件關系線索,實現(xiàn)“相關事件對”關系類型的推理與判定。事件抽取任務則已出現(xiàn)ACE研究體系之內,不作為事件關系檢測的核心任務,僅作為研究基礎予以提出。下面分別對事件抽取、相關事件識別和事件關系類型判定任務進行詳細介紹。

    3.1 事件抽取

    事件抽取為自動內容抽取(Automatic Content Extraction,ACE)的子任務之一,該任務由美國國家標準技術研究院(NIST)提供較為完備的任務定義和研究體系。事件抽取任務旨在從含有事件信息的非結構化源文本中抽取結構化的事件描述,在自動文摘[9]、自動問答[10]以及信息檢索等領域有著廣泛的應用。目前,事件抽取已得到國內外廣泛的研究[11-12]。事件抽取能夠提供事件的基本屬性,并建立事件內部各組成成分之間的語義關系,從而塑造事件本質的描述結構。事件抽取是實現(xiàn)關聯(lián)事件識別和事件關系判定的先決條件,也是事件關系檢測的關鍵問題之一。

    3.2 相關事件識別

    相關事件識別旨在實現(xiàn)事件邏輯關系的淺層檢測,即判斷任意事件之間是否存在邏輯相關性,是一種二元關系判斷。事件的相關性(Event Relevancy)與事件的相似性(Event Similarity)不同,事件的相關性是指兩個事件之間是否存在邏輯關聯(lián)性,事件的邏輯關聯(lián)性客觀存在于事件中,不因事件文字描述的不同而不同;而事件的相似性側重識別相同或相似事件的不同文本描述的一致性(同一事件的描述形式多樣),即語義相似性,現(xiàn)有文本建模和相似度度量方法,已給出較為有效的處理手段。因此,事件的相關性與事件的相似性的差異,使得僅僅通過兩個事件的文字表述方式無法判斷邏輯關聯(lián)與否,需要挖掘更多的外部信息,充分利用外部資源輔助事件關聯(lián)性的識別。

    文本中的事件往往呈現(xiàn)一種離散分布,具有邏輯相關聯(lián)的事件往往跨句子、跨段落,甚至跨篇章。因此,需要預先對文本篇章中的離散事件集合中,各事件間是否存在邏輯關聯(lián)性進行識別,例如文本中存在如下三個事件:

    Evt1 “本東北地區(qū)宮城縣北部發(fā)生里氏7.9級特大地震”

    Evt2 “臨時關閉成田機場的跑道”

    Evt3 “日本食用牛肉首次檢出超標輻射物”

    上述三個事件為話題“日本7.9級地震”下描述的事件,而同一話題下的事件并非兩兩相關。通過相關事件識別,事件Evt1和事件Evt2相關,事件Evt1和事件Evt3相關,而事件Evt2和事件Evt3之間不存在邏輯關系。無關事件的關系判定不僅冗余,并且直接影響判定過程的整體精度,事件關系檢測任務首先通過“相關事件識別”識別“相關事件對”,進而只針對“相關事件對”解析其深層次的具體邏輯關系。

    3.3 事件關系類型判定

    “事件關系類型判定”指對已獲得的“相關事件對”判定邏輯關系類型,是一種對事件關系的深層分析和研究?!跋嚓P事件識別”僅對事件間是否存在邏輯關系進行識別,這種單一的判斷不足以對事件間邏輯關系進行深層分析和研究。事件邏輯關系作為一種客觀存在,包含大量不同種類的關系類型,常見的事件關系類型有因果關系、時序關系等。因此,通過對“相關事件對”具體關系類型的判定,進一步對事件關系類型進行分類,能夠更準確的挖掘事件發(fā)生的規(guī)律、特征等,從而更有效的輔助事件演變與發(fā)展的推理。

    事件關系類型檢測研究的首要任務是構建事件關系體系,然而,目前學術界尚未形成統(tǒng)一、完備的事件關系體系。篇章關系分析研究旨在識別和判定一對毗鄰“論元對”(具有完整語義的語言單元,如字句,短語等)間的語義關系類型,如“因果關系”、“轉折關系”等。本文借鑒篇章關系分析任務中完善的語義關系體系,將事件關系檢測任務與篇章關系分析任務類比,制定了一套完整的事件關系體系。同時,根據(jù)定義的事件關系體系,標注了事件關系語料庫,該部分內容由下文詳細闡述。

    4 篇章關系檢測與事件關系檢測的任務對比

    本文借鑒篇章關系檢測的任務體系,提出事件關系檢測研究。本節(jié)介紹篇章關系檢測任務,并將篇章關系檢測與事件關系檢測的任務對比,詳細分析事件關系與篇章關系的任務差異。同時,提出事件關系檢測任務的關鍵問題。

    4.1 簡析篇章關系檢測任務

    篇章關系檢測旨在自動檢測篇章中相鄰片段(子句、句子或段落),即“論元對”的組織結構與邏輯關系。該任務涉及短語、子句、句子等文本片段之間的語義關系研究,通過分析毗連文本區(qū)域之間內在的語義聯(lián)系,構建文本篇章關系結構,進而深入理解篇章語義。

    PDTB根據(jù)“論元對”是否由顯示連接詞(如英文中的“because”)銜接,將篇章關系分析分為顯式篇章關系和隱式篇章關系。PDTB針對論元定義的語義關系體系分為三層,其中,第一層包含四個大類,即“因果”、“對比”、“擴展”和“時序”四種關系,第二層包含16個子類,第三層包含22個子類型,各子類型均為對上一層關系類型的細化。

    4.2 篇章關系檢測與事件關系檢測的異同

    事件是一種人、物、事相互作用的客觀事實,訴諸文字后,成為信息傳播中可讀可解的事件文體(也稱“事件體”,本文統(tǒng)稱“事件”)。從而,事件的描述必須遵循自然語言的行文規(guī)律,如篇章結構、篇章修辭、語法和文法等規(guī)律。也因此,事件關系檢測與篇章關系檢測任務有著一定程度的領域交差性。

    然而,“事件關系檢測”與“篇章關系檢測”又有著明顯的差異,下面枚舉篇章關系和事件關系的主要差異。

    1) 篇章關系檢測的對象為兩兩毗連的論元,即序列“論元對”,而事件往往離散分布,并非絕對相互毗連,例如,序列論元“Arg1: 他病了”、“Arg2: 一天后”、“Arg3: 他康復了”中,按照ACE(Automatic Content Extraction)對事件的定義,Arg1與Arg3為事件(Arg2僅為論元,而非事件),且具有“對比”關系,但因相互并不毗連,從而不屬于篇章關系的研究范疇;

    2) 篇章關系檢測聚焦于獨立篇章內部,事件關系則可跨篇章出現(xiàn),從而只受話題框架約束,而非絕對依存于特定篇章塑造的語言環(huán)境(TDT領域,即Topic Detection and Tracking,將相互關聯(lián)的事件集合統(tǒng)稱為話題),例如,事件“國五條出臺”(2013年3月1日網易新聞*http://bj.house.163.com/13/0301/19/8OTEFDJF00073SD3.html)和事件“二手房交易井噴”(2013年3月18日網易新聞*http://money.163.com/13/0318/14/8Q8MH47N00253B0H.html)具有“因果”關系,但不局限于孤立的新聞報道之內;

    3) 篇章關系往往具有主觀性(即人為塑造的關系),而事件關系則注重事實與客觀性(即本源的邏輯關系)。

    4.3 事件關系檢測的關鍵問題

    針對事件關系檢測的特性,即事件離散分布、依賴先驗相關性、事件關系無直觀線索、受邏輯客觀性約束等特性,本節(jié)給出事件關系檢測的如下關鍵問題。

    1) 事件內部屬性(包括觸發(fā)詞、事件參與者等)信息能夠為事件關系檢測提供明確的事件描述,并且,事件屬性往往是反映事件外部關系的關鍵特征。然而,目前ACE領域中,針對事件抽取(包括觸發(fā)詞、事件類型、參與元素及其角色的抽取)尚未達到理想效果,全面支持自動事件關系檢測尚有困難。

    2) 為了提高事件關系類型判定的準確性,應首先判定兩事件是否相關(即事件關系識別)。事件關系識別挖掘事件關聯(lián)性以及關聯(lián)推理線索,從而構建事件關聯(lián)的線索集合,若進一步判定“相關事件對”的關系類型,則需分析和處理已構建的“相關事件對”線索集合,形成關鍵的關系推理脈絡,對事件關系類型進行推理。

    3) 事件本身具有離散性、跨篇章性、無顯式線索等特征,使得無法直接利用語言學特征支持事件關系的判斷。由此,檢測事件關系應從統(tǒng)計學角度入手,利用大規(guī)模數(shù)據(jù)識別和挖掘事件關聯(lián)的線索和脈絡,形成基于統(tǒng)計策略的事件關系推理機制;然而,這種機制必然引入大規(guī)模數(shù)據(jù)處理與挖掘,線索挖掘的效率快慢與精度高低都會直接影響事件關系檢測的性能;

    4) 事件關系檢測不能僅僅考慮字面上的語義關系,還應根據(jù)統(tǒng)計信息估測關系的邏輯可信性。這一問題在現(xiàn)有的事件關系檢測研究中尚未引起重視,相應的邏輯關系樣本也尚未構建,無法支持針對事件關系邏輯可信性的機器學習。因此,現(xiàn)階段僅能依據(jù)經驗模型和無指導的機器學習模型予以估測。同時,事件隸屬的主題框架,有助于識別事件關系的作用域,從而有助于事件關系的深層檢測。

    5 事件關系體系

    本文將篇章關系體系與事件關系進行分析和對比,選取篇章關系體系中能夠應用于離散“事件對”的篇章關系類型作為事件關系類型。同時,篇章關系與事件關系的差異性使得篇章關系不能描述完整的事件關系類型,因此,本文借助事件關系實例,人工總結事件關系類型,進一步對事件關系類型進行補充,確保事件關系體系的完整性,由此形成的事件關系體系如表1所示。

    本文定義的事件關系體系共分為兩層(表1),第一層包含四種主要關系類別: Temporal(時序)、Comparison(比較)、Contingency(偶然)、Expansion(擴展), 第二層為以上關系類型的擴展,共有十種子類型。下面給出主要關系的示例。

    5.1 Temporal 時序

    “時序關系”是指兩個事件通過時序相關聯(lián)。本文將“時序關系”進一步分為“同步關系”和異步關系,下面分別介紹這兩種關系類型。

    表1 事件關系體系

    (1) Synchronous 同步

    “同步關系”是指兩個相關事件Evt1、Evt2發(fā)生的時間存在一定的重合(如下例Evt1和Evt2,以下事件實例均來自FrameNet-1.5,加粗部分為該事件的觸發(fā)詞)。如下例中,事件Evt1與事件Evt2為同時發(fā)生的兩個事件。

    Evt1 “Policealsofindsasecondhouse”

    (譯文:“警察發(fā)現(xiàn)了第二個房子”)

    Evt2 “Meantime,analystsatthecrimelabtrytodiscoverwhatthebombwasmadefrom”

    (譯文:“同時,犯罪實驗室的分析師試圖發(fā)現(xiàn)炸彈的來源”)

    (2) Asynchronous 異步

    “異步關系”是指兩個相關事件發(fā)生存在時間的先后順序。如下例中事件Evt1中“開始(start)”事件的發(fā)生先于事件Evt2中“離開(leave)”事件的發(fā)生。

    Evt1 “Hall’slandmarkvisittoIraqstartedonSundayevening”

    (譯文:“Hall周日晚上開始對伊拉克進行一個具有里程碑意義的訪問”)

    Evt2 “U.S.DemocraticPartyCongressmanTonyHalllefthereThursday”

    (譯文:“美國民主黨國會議員托尼·霍爾周四離開了這里”)

    5.2 Comparison 比較

    “比較關系”的兩個事件的發(fā)生存在某些差異,并且突出這種差異。根據(jù)比較的趨勢,本文將“比較關系”進一步劃分為“對比關系”和“讓步關系”。

    (1) Contrast 對比

    “對比關系”是指兩個不同事件的共同屬性具有不同趨勢,突出兩者的差異。例如下例分別對“營業(yè)收入增長(rise)”和“凈利息增長(jump)”兩個事件的比較。

    Evt1 “Operatingrevenuerose69%toA$8.48billionfromA$5.01billion.”

    (譯文:“營業(yè)收入從50.1億美元增長到84.8億美元,增長了69%”)

    Evt2 “Butthenetinterestbilljumped85%toA$686.7millionfromA$371.1million.”

    (譯文:“但是,凈利息從3.711億美元達到6.867億美元,躍升了85%”)

    (2) Concession 讓步

    Evt1 “IransignedtheAdditionalProtocolonNuclearSafeguardson18December2003”

    (譯文:“伊朗簽署附加議定書于2003年12月18日核安全保障”)

    Evt2 “Iranfornotprovidingtheagencywithmoretimelyandcomprehensivesupport.”

    (譯文:“伊朗沒有提供該機構更及時和全面的支持”)

    5.3 Contingency 偶然

    “偶然關系”是指,一個原因事件Evt1的發(fā)生,能夠對結果事件Evt2產生影響。根據(jù)原因事件對結果事件的影響方式不同,將“偶然關系”進一步劃分為“因果關系”和“條件關系”。

    (1) Cause 因果

    “因果關系”的兩個事件存在事實性的因果影響。原因事件Evt1是結果事件Evt2的必然條件,結果事件Evt2是原因事件Evt1的必然結果。如下例中,事件Evt2中的“摧毀(destroyed)”事件必然由事件Evt1的“轟炸(bombed)”事件導致,事件Evt1必然導致事件Evt2的發(fā)生。

    Evt1 “TheybombedtheBogotaofficeslastmonth.”

    (譯文:“他們上個月轟炸波哥大辦公室”)

    Evt2 “Thebombdestroyeditscomputerandcausing$2.5millionindamage.”

    (譯文:“炸彈摧毀了它的計算機,造成250萬美元的損失”)

    (2) Condition條件

    “條件關系”是指兩個事件Evt1、Evt2,事件Evt1提出某種條件或場景,事件Evt2說明產生的結果?!皸l件關系”與“因果關系”的區(qū)別在于,“因果關系”中的原因事件為結果事件的必然條件,而“條件關系”中的原因事件為結果事件發(fā)生的可能原因之一。

    Evt1 “IfthecartelsucceedsinblackmailingtheColombianauthoritiesintonegotiations”

    (譯文:“如果壟斷聯(lián)盟成功勒索哥倫比亞當局談判”)

    Evt2 “thecartelwillbeincontrolandFidelcanexploithispastrelationshipswiththem”

    (譯文:“卡特爾將被控制和Fidel可以利用他的過去與它們的關系”)

    5.4 Expansion擴展

    “擴展關系”的兩個事件存在內容上的擴展,推動行文向前和事件的發(fā)生。本文將“擴展關系”進一步細分為“并列關系”、“遞進關系”、“重述關系”和“實例化關系”。

    (1) List并列

    “并列關系”的兩個事件是同一問題的幾個方面,適用于事件的枚舉。如下例事件Evt1和事件Evt2分別列舉了兩個“逮捕(arrest)”事件。

    Evt1 “Thisweek,thegovernmentarrestedJoseAbelloSilva”

    (譯文:“本周,政府逮捕了JoseAbelloSilva”)

    Evt2 “Later,anotherhigh-rankingtrafficker,LeonidasVArgas,wasarrested”

    (譯文:“后來,另一個高排名販子Leonidas VArgas也被逮捕”)

    (2) Progression遞進

    “遞進關系”強調兩個事件的連續(xù)性,事件Evt1為事件Evt2進一步的發(fā)展。如下例中“引渡(extradited)”事件Evt2為“逮捕(arrest)”事件Evt1的進一步發(fā)展結果。

    Evt1 “Thisweek,thegovernmentarrestedJoseAbelloSilva.”

    (譯文:“本周,政府逮捕了Jose Abello Silva”)

    Evt2 “JoseAbelloSilvawillprobablybeextraditedtotheU.S.fortrial.”

    (譯文:“JoseAbelloSilva將可能被引渡到美國受審”)

    (3) Restatement重述

    “重述關系”的兩個事件為同一事件的不同表述。如下例中的事件Evt1和事件Evt2均描述“蘇聯(lián)解體(theSovietUnioncollapsed)”事件。

    Evt1 “theSovietUnioncollapsed”

    (譯文:“蘇聯(lián)解體”)

    Evt2 “theSovietUnioncollapsedinDecember1991”

    (譯文:“蘇聯(lián)于1991年12月解體”)

    (4) Instantiation實例化

    “實例化關系”的兩個事件Evt1、Evt2,事件Evt1描述的事件具有更抽象的意義,而事件Evt2描述的事件包含于事件Evt1中,為事件Evt1的一個例子。如下例中,事件Evt1總述“核武器計劃(nuclearweaponprogram)”事件,而事件Evt2為“核武器計劃”事件的一項具體內容,即實例。

    Evt1 “TheSovietnuclearweaponprogram”

    (譯文:“蘇聯(lián)的核武器計劃”)

    Evt2 “TheSovietculminatedinasuccessfulatomicbombtestin1949”

    (譯文:“1949年,蘇聯(lián)以成功原子彈試驗達到頂峰”)

    6 事件關系語料庫構建與分析

    本文根據(jù)事件關系檢測的任務定義以及事件關系的類型體系,以FrameNet-1.5的新聞語料作為數(shù)據(jù)源,對每篇新聞文本中已標注的事件進行事件關系類型標注,本文標注的事件及其關系以單篇文本為作用域,不涉及跨篇章事件。為驗證標注內容的合理性和一致性,本文對標注語料進行kappa值計算,用于對不同標注者標注語料的一致性檢驗。

    6.1 語料選取

    FrameNet由美國加州大學伯克利分校構建的基于框架語義學[13](Frame Semantics)的詞匯資源,對詞語意義和句法結構研究提供一種理論框架,并基于真實語料(新聞語料)進行標注,目前最新版本為FrameNet-1.5。FrameNet用語義框架(Semantic Frame,F(xiàn)rame)描述一個語義場景的一組概念,F(xiàn)rameNet-1.5中共包括1 019個Frame類型。

    FrameNet-1.5中定義的框架類型大體分為三類: 事件(Event)、形式(Situation)和事物(Object)。本文將其中描述事件的語義框架稱為作為事件框架,并且定義事件框架為所描述事件的事件類型(Event Type),由于FrameNet-1.5未對三類框架區(qū)分,本文對FrameNet-1.5中事件Frame進行人工選擇,篩選所有標注框架集合中的事件框架,最終得到的事件框架共673種,即包含673種事件類型,確定的事件類型有助于事件關系的標注。因此,本文以FrameNet-1.5作為標注語料,將語料中標注為事件框架的實例作為事件,對其進行事件關系類型的標注。同時,F(xiàn)rameNet定義了更豐富的框架元素類型,平均每個事件框架實例含有兩個框架元素,F(xiàn)rameNet共定義了725種框架元素類型,豐富的事件元素類型使得事件關系類型判定更明確。

    6.2 事件關系標注

    FrameNet-1.5根據(jù)定義的框架類型,對78篇新聞語料標注了框架類型、框架核心詞以及框架元素,本文針對其中28篇新聞,以已標注的事件框架及框架元素為基礎,進一步標注每篇新聞的“相關事件對”及事件關系類型。

    FrameNet-1.5對新聞語料中的每個句子,以最細粒度標注其中包含的框架,同時,每個框架標注了該框架的核心詞以及框架參與者。本文保留其中標為事件框架的實例,作為事件實例。同時,將事件框架中的框架核心詞作為該事件的觸發(fā)詞,而框架元素為該事件的事件參與者。本文以FrameNet-1.5中已標注的離散的事件實例為基礎,對其中的事件關系進行人工標注(事件關系類型參照第五節(jié)的事件關系體系)。本文的標注工作由兩名該領域的研究人員(A1、A2)以及一名專家(B1)制定和完成。標注者將新聞語料中的相關事件以“相關事件對”的形式兩兩組合,接著對“相關事件對”的事件關系類型予以標注。目前的標注工作共包含1 004個事件,1 049個“相關事件對”及關系類型。本文統(tǒng)計各關系類型在新聞文本中的分布比例,表2為各事件關系類型的分布情況。

    對文本的標注結果計算kappa值,度量兩名標注者標注語料的一致性。新聞語料的平均kappa值為0.89,整體Kappa值較高,則認為兩名標注者標注的語料具有較強的一致性。

    表2 事件關系類型分布

    7 評價方法

    事件關系檢測將離散分布于不同文本中的事件構建“相關事件對”,并且進一步判斷兩個事件之間具有何種關系。該問題的輸入為待測“事件對”,輸出為“相關事件對”及其事件關系類型,因此,系統(tǒng)的性能優(yōu)劣主要取決于識別出的“相關事件對”數(shù)目和正確判定關系的“相關事件對”數(shù)目。因此,事件關系判定轉變?yōu)榉诸悊栴},即對事件之間屬于何種具體關系類型的劃分。針對這一分類問題,本文借鑒篇章關系分析研究大多采用的評價指標:Accuracy,具體計算公式如式(1)所示。

    (1)

    其中,TruePositve表示系統(tǒng)正確判定“相關事件對”以及其事件關系類型的個數(shù),TrueNegative表示系統(tǒng)正確判定“非相關事件對”個數(shù)。All則表示待測“事件對”的總數(shù)。而針對本文問題,將Accuracy用于多元關系的性能計量,計量過程將True-Negative設置為恒定0值,只檢驗每個“相關事件對”是否獲得正確的關系判定,即只計算TruePositve指標與All的比值,并將其作為準確率。

    8 總結

    事件關系客觀存在于事件之間,具有客觀性、邏輯性和規(guī)律性等特征。事件關系檢測任務旨在自動檢測事件間固有的邏輯關系類型。然而,目前專門面向事件的邏輯關系分析與處理,尚未形成一套完整的研究體系。本文通過分析和比較事件關系檢測與篇章關系分析的異同點,借助篇章分析、事件抽取和場景理解等相關領域中的概念與數(shù)據(jù)資源,首次提出了基于篇章關系分析的事件關系檢測體系。該體系包括事件關系檢測的概念、關系體系以及評價方法等。同時,根據(jù)定義的事件關系體系,以Frame-1.5中新聞語料為數(shù)據(jù)源,對其中已標注的事件進行事件關系類型的標注。今后的工作在完善現(xiàn)有語料的同時,重點研究如何將篇章分析有效運用于事件關系檢測任務中,從而形成信息流中事件關系的自動檢測,構建事件關系網絡以實現(xiàn)事件關系的推理和預測。

    [1] T Chklovski, P Pantel. Global path-based refinement of noisy graphs applied to verb semantics[C]//Proceedings of Joint Conference on Natural Language Processing, Jeju Island, Korea, 2005: 792-803.

    [2] P Pantel, M Pennacchiotti. Espresso: leveraging generic patterns for automatically harvesting semantic relations[C]//Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL, Sydney, Australia, 2006: 113-120.

    [3] Z S Harris. Mathematical Structure of Language[M]. New York, 1968.

    [4] D Lin, P Pantel. Discovery of Inference Rules from Text[C]//Proceeding of the 7th ACM SIGKDD, San Francisco, California, USA, 2001: 323-328.

    [5] E Pitler, M Raghupathy, H Mehta, et al. Easily identifiable discourse relations[C]//Proceedings of the 22nd International Conference on the COLING, 2008: 87-90.

    [6] P E, R M, N HM, et al. Easily identifiable discourse relations[C]//Proceedings of the 22nd International Conference on Computational Linguistics (COLING 2008), Posters, Manchester, UK, 2008: 87-90.

    [7] The Penn Discourse Treebank 2.0 Annotation Manual[R], 2007.

    [8] Y Hong, X P Zhou, T T Che,et al. Cross-Argument Inference for Implicit Discourse Relation recognition[C]//Proceedings of the 21st ACM International Conference on Information and Knowledge Management(CIKM 2012),2012: 295-304.

    [9] N Daniel, D Radev, T Allison. Sub-event based multi-document summarization[C]//Proceedings of the Association for Computational Linguistics Morristown, NJ, USA, 2003: 9-16.

    [10] H Yang, T S Chua, S G Wang, et al. Structured use of external knowledge for event-based open domain question answering[C]//Proceedings of the 26th Int’l ACM SIGIR Conference, Toronto, Canada, 2003: 33-40.

    [11] S A Mirroshandel, G G Sani. Temporal Relations Learning with a Bootstrapped Cross-document Classifier[C]//Proceedings of the 4th International Workshop on Semantic Evaluations, Prague, 2007: 75-80.

    [12] Y Hong, J F Zhang, B Ma, et al. Using Cross-Entity Inference to Improve Event Extraction [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, Portland, Oregon, June, 2011: 19-24.

    [13] C J Fillmore.Frame semantics and the nature of language[J].Annals of the New York Academy of Sciences,1976: 20-32.

    An Overview of Event Relation Detection System

    YANG Xuerong, HONG Yu, CHEN Yadong, YAO Jianmin, ZHU Qiaoming

    (Provincial Key Laboratory of Computer Information Processing Technology Soochow University, Suzhou, Jiangsu 215006,China)

    Event relation detection is the task to detect the event relation from information stream of texts. Treating the event as the basic semantic unit, the relation type is determined by analyzing the feature of semantic relevancy between events. The event relation detection includes event relation identification (identifying whether the event pair is related or not) and event relation type decision (deciding which relation between relevance events, e.g. cause relation). In this paper, we try to establish a system of event relation detection in light of the concepts and data resources of discourse analysis, event extraction and scene understanding, covering the issues of the task definition, classification system of event types, corpora acquisition and annotations evaluation methodology, etc. Finally, we not only emphasize the analysis and comparison of the difference between event relation detection and discourse relation analysis, but also present the difficulty and challenge of the event relation detection.

    event relation detection; discourse relation analysis; event; argument; semantic relation

    楊雪蓉(1990—),碩士,主要研究領域為事件關系檢測和信息抽取。E-mail:xuerongyang0650@gmail.com洪宇(1978—),博士,副教授,主要研究領域為話題檢測、信息檢索和信息抽取。E-mail:tianxianer@gmail.com陳亞東(1990—),學士,主要研究領域為信息抽取。E-mail:chinachenyadong@gmail.com

    1003-0077(2015)04-0025-08

    2013-06-26 定稿日期: 2015-05-28

    國家自然科學基金(61003152,61272259,61272260)

    TP391

    A

    猜你喜歡
    語料框架體系
    框架
    構建體系,舉一反三
    廣義框架的不相交性
    WTO框架下
    法大研究生(2017年1期)2017-04-10 08:55:06
    基于語料調查的“連……都(也)……”出現(xiàn)的語義背景分析
    華語電影作為真實語料在翻譯教學中的應用
    一種基于OpenStack的云應用開發(fā)框架
    《苗防備覽》中的湘西語料
    “曲線運動”知識體系和方法指導
    國內外語用學實證研究比較:語料類型與收集方法
    亚洲国产中文字幕在线视频| 80岁老熟妇乱子伦牲交| 亚洲五月婷婷丁香| 亚洲av日韩精品久久久久久密| 80岁老熟妇乱子伦牲交| 亚洲精品一区av在线观看| 国产精品一区二区免费欧美| 老鸭窝网址在线观看| 国产一区二区三区在线臀色熟女 | 亚洲一码二码三码区别大吗| 这个男人来自地球电影免费观看| 超色免费av| 99在线视频只有这里精品首页| 亚洲黑人精品在线| 欧美日本中文国产一区发布| 中文欧美无线码| 三上悠亚av全集在线观看| 免费在线观看日本一区| 大码成人一级视频| 91国产中文字幕| 在线观看免费日韩欧美大片| 亚洲国产欧美一区二区综合| 国产一区二区在线av高清观看| 亚洲,欧美精品.| 人人妻人人爽人人添夜夜欢视频| 欧美激情 高清一区二区三区| 亚洲精品粉嫩美女一区| 视频区欧美日本亚洲| 一二三四社区在线视频社区8| 成人永久免费在线观看视频| 校园春色视频在线观看| 久久九九热精品免费| 精品福利永久在线观看| 欧美午夜高清在线| 国产xxxxx性猛交| 国产在线观看jvid| 精品一品国产午夜福利视频| 久久精品国产清高在天天线| 亚洲av成人av| 久久精品人人爽人人爽视色| 亚洲自拍偷在线| 色老头精品视频在线观看| 最近最新中文字幕大全电影3 | a级毛片在线看网站| 久久久久久久午夜电影 | 伦理电影免费视频| 国产精品一区二区免费欧美| 日日摸夜夜添夜夜添小说| 免费看十八禁软件| 免费观看人在逋| 免费在线观看视频国产中文字幕亚洲| 精品高清国产在线一区| 黄色怎么调成土黄色| 亚洲国产欧美网| 别揉我奶头~嗯~啊~动态视频| 精品熟女少妇八av免费久了| 国产一卡二卡三卡精品| 亚洲欧美精品综合久久99| 久久亚洲真实| 亚洲成av片中文字幕在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲中文字幕日韩| 国产精品自产拍在线观看55亚洲| 高潮久久久久久久久久久不卡| 久久久国产精品麻豆| 亚洲伊人色综图| 欧美午夜高清在线| 老司机靠b影院| 88av欧美| 老司机午夜福利在线观看视频| 国产精品久久久久久人妻精品电影| 国产97色在线日韩免费| 看黄色毛片网站| 欧美激情久久久久久爽电影 | aaaaa片日本免费| 天堂中文最新版在线下载| 亚洲中文av在线| 精品国产一区二区三区四区第35| 男女下面进入的视频免费午夜 | 亚洲人成77777在线视频| 19禁男女啪啪无遮挡网站| 精品国产超薄肉色丝袜足j| 欧美最黄视频在线播放免费 | 久久性视频一级片| 亚洲视频免费观看视频| 免费在线观看视频国产中文字幕亚洲| 欧洲精品卡2卡3卡4卡5卡区| 在线观看日韩欧美| av超薄肉色丝袜交足视频| 长腿黑丝高跟| 一区福利在线观看| 国产在线观看jvid| 午夜免费成人在线视频| 久久香蕉精品热| 欧美国产精品va在线观看不卡| 国产精品一区二区免费欧美| 国产精品一区二区在线不卡| 操美女的视频在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 少妇裸体淫交视频免费看高清 | 99在线视频只有这里精品首页| 国产成人精品在线电影| 久久久久国内视频| e午夜精品久久久久久久| 巨乳人妻的诱惑在线观看| 日本vs欧美在线观看视频| 亚洲七黄色美女视频| 免费观看人在逋| 欧美性长视频在线观看| 一本大道久久a久久精品| 国产精品1区2区在线观看.| 在线十欧美十亚洲十日本专区| 丁香六月欧美| 成年女人毛片免费观看观看9| x7x7x7水蜜桃| 成年女人毛片免费观看观看9| av天堂久久9| 一区二区三区国产精品乱码| 岛国在线观看网站| 久久婷婷成人综合色麻豆| 国产一区在线观看成人免费| 长腿黑丝高跟| 日韩av在线大香蕉| 丝袜人妻中文字幕| 亚洲一区二区三区欧美精品| 亚洲欧美一区二区三区黑人| 人人妻人人爽人人添夜夜欢视频| 精品一品国产午夜福利视频| 99精品欧美一区二区三区四区| 视频区欧美日本亚洲| 亚洲精华国产精华精| 中文欧美无线码| 日韩人妻精品一区2区三区| 精品国产乱码久久久久久男人| 国产一区二区三区综合在线观看| 成在线人永久免费视频| 亚洲性夜色夜夜综合| 国产成人精品无人区| 午夜福利在线观看吧| 久久久国产成人免费| 在线观看午夜福利视频| 国产伦人伦偷精品视频| 在线观看免费日韩欧美大片| 日韩大码丰满熟妇| 视频区欧美日本亚洲| 欧美日韩中文字幕国产精品一区二区三区 | 少妇粗大呻吟视频| 97碰自拍视频| 国产成年人精品一区二区 | 亚洲欧洲精品一区二区精品久久久| 99精品久久久久人妻精品| 99精品久久久久人妻精品| 欧美日韩乱码在线| 中文字幕人妻丝袜一区二区| 嫩草影视91久久| 欧美激情久久久久久爽电影 | www国产在线视频色| 日本wwww免费看| 99在线视频只有这里精品首页| 在线天堂中文资源库| 国产精品1区2区在线观看.| 老熟妇乱子伦视频在线观看| 在线观看免费视频日本深夜| 麻豆成人av在线观看| 村上凉子中文字幕在线| 国产精品国产av在线观看| 国产精品日韩av在线免费观看 | 人成视频在线观看免费观看| 免费在线观看亚洲国产| 亚洲中文日韩欧美视频| 99久久久亚洲精品蜜臀av| 国产高清激情床上av| 一区二区日韩欧美中文字幕| 在线视频色国产色| 亚洲国产看品久久| 日韩欧美一区二区三区在线观看| 亚洲av电影在线进入| 成人亚洲精品一区在线观看| 国产伦人伦偷精品视频| 两性夫妻黄色片| 自拍欧美九色日韩亚洲蝌蚪91| 久久人妻av系列| 一边摸一边抽搐一进一出视频| 99久久人妻综合| 国产免费现黄频在线看| 十八禁人妻一区二区| 久久性视频一级片| 久久久精品欧美日韩精品| 18禁国产床啪视频网站| 亚洲,欧美精品.| 大陆偷拍与自拍| 老鸭窝网址在线观看| 国产成人啪精品午夜网站| 身体一侧抽搐| cao死你这个sao货| 欧洲精品卡2卡3卡4卡5卡区| 欧美不卡视频在线免费观看 | 波多野结衣一区麻豆| 99香蕉大伊视频| 久久久国产成人精品二区 | 亚洲第一av免费看| 亚洲人成电影观看| 亚洲国产欧美网| 亚洲成人精品中文字幕电影 | 精品无人区乱码1区二区| 看片在线看免费视频| 少妇 在线观看| 久久狼人影院| 一二三四社区在线视频社区8| 国产不卡一卡二| 两个人免费观看高清视频| 他把我摸到了高潮在线观看| 国产黄a三级三级三级人| 少妇裸体淫交视频免费看高清 | 亚洲精品一二三| 1024视频免费在线观看| 欧美另类亚洲清纯唯美| 老司机深夜福利视频在线观看| 伊人久久大香线蕉亚洲五| 一二三四社区在线视频社区8| av片东京热男人的天堂| 亚洲一区二区三区色噜噜 | 精品第一国产精品| 精品人妻1区二区| 国产精品 国内视频| 黄色怎么调成土黄色| 美女大奶头视频| tocl精华| 侵犯人妻中文字幕一二三四区| 亚洲精品粉嫩美女一区| 国产高清国产精品国产三级| 久久国产精品男人的天堂亚洲| 久久午夜亚洲精品久久| 欧美精品亚洲一区二区| 免费高清在线观看日韩| xxx96com| 久久国产精品男人的天堂亚洲| 男人操女人黄网站| 又紧又爽又黄一区二区| 国产伦人伦偷精品视频| 日日夜夜操网爽| 精品国产一区二区三区四区第35| 一级作爱视频免费观看| 夜夜看夜夜爽夜夜摸 | 啦啦啦在线免费观看视频4| 日本欧美视频一区| 超色免费av| 国产又色又爽无遮挡免费看| 国产精品av久久久久免费| 精品久久久久久成人av| 村上凉子中文字幕在线| 日韩有码中文字幕| 麻豆成人av在线观看| 亚洲性夜色夜夜综合| 丰满迷人的少妇在线观看| 神马国产精品三级电影在线观看 | 女人高潮潮喷娇喘18禁视频| 国产一区二区三区在线臀色熟女 | 国产熟女xx| 午夜免费成人在线视频| 一个人观看的视频www高清免费观看 | 精品久久蜜臀av无| www.自偷自拍.com| 高清毛片免费观看视频网站 | 19禁男女啪啪无遮挡网站| 国产精品久久电影中文字幕| 国产三级在线视频| 国产欧美日韩一区二区精品| 欧美成人午夜精品| av超薄肉色丝袜交足视频| 91九色精品人成在线观看| 在线免费观看的www视频| 精品欧美一区二区三区在线| 精品电影一区二区在线| 视频在线观看一区二区三区| a级毛片黄视频| 国产成人精品在线电影| 国产精品野战在线观看 | 丁香六月欧美| 国产精品一区二区三区四区久久 | 亚洲精华国产精华精| 咕卡用的链子| 久久久国产精品麻豆| 久久国产精品人妻蜜桃| 日韩 欧美 亚洲 中文字幕| 视频区图区小说| 精品国产亚洲在线| 99riav亚洲国产免费| 757午夜福利合集在线观看| 国产午夜精品久久久久久| 久久伊人香网站| 久久国产乱子伦精品免费另类| 99在线视频只有这里精品首页| 午夜激情av网站| 久久人妻福利社区极品人妻图片| 亚洲中文日韩欧美视频| 美女高潮到喷水免费观看| 欧美大码av| 天天躁狠狠躁夜夜躁狠狠躁| 欧美黄色淫秽网站| 亚洲精品在线观看二区| 国产精品秋霞免费鲁丝片| 精品国产超薄肉色丝袜足j| 日韩av在线大香蕉| www日本在线高清视频| 啦啦啦 在线观看视频| 国产aⅴ精品一区二区三区波| 午夜影院日韩av| 国产欧美日韩综合在线一区二区| 国产高清视频在线播放一区| 成人手机av| 一二三四在线观看免费中文在| 免费女性裸体啪啪无遮挡网站| 亚洲色图综合在线观看| 一二三四社区在线视频社区8| 多毛熟女@视频| 天天影视国产精品| 欧美丝袜亚洲另类 | 亚洲国产看品久久| 最新在线观看一区二区三区| 欧美一区二区精品小视频在线| 国产成人影院久久av| 色婷婷久久久亚洲欧美| 国产成人精品在线电影| 丝袜美足系列| 国产亚洲欧美在线一区二区| 人人澡人人妻人| 国产精品久久久人人做人人爽| 色综合欧美亚洲国产小说| 亚洲精品在线观看二区| 精品无人区乱码1区二区| 午夜视频精品福利| 99香蕉大伊视频| 精品国产超薄肉色丝袜足j| 日韩人妻精品一区2区三区| 欧美国产精品va在线观看不卡| 91成年电影在线观看| 啦啦啦在线免费观看视频4| 88av欧美| 中文字幕最新亚洲高清| 日韩欧美一区二区三区在线观看| 国产av一区在线观看免费| 国产亚洲精品第一综合不卡| 亚洲免费av在线视频| www.自偷自拍.com| 极品人妻少妇av视频| 丝袜在线中文字幕| av福利片在线| 日本免费一区二区三区高清不卡 | 欧美久久黑人一区二区| 99精品欧美一区二区三区四区| 亚洲精品国产色婷婷电影| 精品一品国产午夜福利视频| 黑人猛操日本美女一级片| avwww免费| 自拍欧美九色日韩亚洲蝌蚪91| 91成人精品电影| 视频区图区小说| 日本免费一区二区三区高清不卡 | 精品国内亚洲2022精品成人| 成年人免费黄色播放视频| 人人妻人人添人人爽欧美一区卜| 亚洲精品美女久久久久99蜜臀| 黑人欧美特级aaaaaa片| 亚洲av美国av| 人人妻人人添人人爽欧美一区卜| 天堂√8在线中文| 亚洲情色 制服丝袜| av视频免费观看在线观看| 欧美中文综合在线视频| 国产高清激情床上av| 法律面前人人平等表现在哪些方面| 国产一区在线观看成人免费| 国产成人啪精品午夜网站| 男女下面进入的视频免费午夜 | 日韩av在线大香蕉| 午夜激情av网站| 啪啪无遮挡十八禁网站| 国产精品一区二区精品视频观看| 久久天躁狠狠躁夜夜2o2o| 国产精品98久久久久久宅男小说| 99riav亚洲国产免费| 一边摸一边做爽爽视频免费| 久久午夜亚洲精品久久| 老熟妇仑乱视频hdxx| 99香蕉大伊视频| 久久久久久人人人人人| 免费在线观看亚洲国产| 久久久国产欧美日韩av| 久久久国产一区二区| 在线观看一区二区三区| 国产片内射在线| 亚洲精品一二三| 91大片在线观看| 亚洲,欧美精品.| 亚洲情色 制服丝袜| 中文字幕人妻丝袜一区二区| 中文字幕av电影在线播放| 国产黄a三级三级三级人| 亚洲 欧美一区二区三区| 亚洲熟妇熟女久久| 看黄色毛片网站| 亚洲人成77777在线视频| 国产熟女xx| 精品国产乱码久久久久久男人| 无限看片的www在线观看| 欧美激情高清一区二区三区| 757午夜福利合集在线观看| 亚洲黑人精品在线| 亚洲熟女毛片儿| 91国产中文字幕| 日韩中文字幕欧美一区二区| 男人操女人黄网站| 12—13女人毛片做爰片一| 欧美日韩福利视频一区二区| 日本五十路高清| 女人被狂操c到高潮| 欧美av亚洲av综合av国产av| 亚洲国产中文字幕在线视频| 丰满的人妻完整版| 久久久久久久久免费视频了| 久久香蕉国产精品| 久久精品亚洲精品国产色婷小说| 性色av乱码一区二区三区2| 老司机亚洲免费影院| 母亲3免费完整高清在线观看| 变态另类成人亚洲欧美熟女 | 91大片在线观看| www.999成人在线观看| 免费观看精品视频网站| 黑丝袜美女国产一区| 国产精品久久久久成人av| 国产成人精品久久二区二区91| 欧美日韩精品网址| 中国美女看黄片| 国产亚洲av高清不卡| 欧美乱妇无乱码| 纯流量卡能插随身wifi吗| 欧美日韩一级在线毛片| 日本黄色视频三级网站网址| 啪啪无遮挡十八禁网站| 国产伦一二天堂av在线观看| 日韩三级视频一区二区三区| 国内久久婷婷六月综合欲色啪| 国产成人免费无遮挡视频| 亚洲,欧美精品.| 免费观看精品视频网站| 俄罗斯特黄特色一大片| 日韩精品中文字幕看吧| 大香蕉久久成人网| 好男人电影高清在线观看| 99精品久久久久人妻精品| 精品国产超薄肉色丝袜足j| 亚洲精华国产精华精| 高清欧美精品videossex| 亚洲精品美女久久av网站| 男女高潮啪啪啪动态图| 在线观看一区二区三区激情| 18禁黄网站禁片午夜丰满| 精品国产亚洲在线| 色精品久久人妻99蜜桃| 又紧又爽又黄一区二区| 国产av又大| 精品人妻1区二区| 老司机福利观看| 国产一卡二卡三卡精品| 日日摸夜夜添夜夜添小说| 叶爱在线成人免费视频播放| 97人妻天天添夜夜摸| 国产色视频综合| 波多野结衣高清无吗| 欧美中文日本在线观看视频| 日韩欧美一区二区三区在线观看| 黄色丝袜av网址大全| 欧美黑人精品巨大| 欧美另类亚洲清纯唯美| 日韩成人在线观看一区二区三区| 很黄的视频免费| 老熟妇仑乱视频hdxx| 超色免费av| 国产精品99久久99久久久不卡| 精品免费久久久久久久清纯| 精品久久久精品久久久| videosex国产| 窝窝影院91人妻| 91精品三级在线观看| 久久久久久久久免费视频了| 亚洲精品一二三| 亚洲色图综合在线观看| 免费女性裸体啪啪无遮挡网站| 国产精品一区二区精品视频观看| 一个人观看的视频www高清免费观看 | 免费少妇av软件| 在线av久久热| 婷婷精品国产亚洲av在线| 欧美日韩福利视频一区二区| 国产一区二区三区视频了| 国产成人影院久久av| 国产精品免费视频内射| 啪啪无遮挡十八禁网站| 757午夜福利合集在线观看| 免费看十八禁软件| 久久人人97超碰香蕉20202| 欧美一级毛片孕妇| 天堂动漫精品| 高清欧美精品videossex| 日韩大码丰满熟妇| 神马国产精品三级电影在线观看 | 国产精品免费一区二区三区在线| 在线播放国产精品三级| 两个人免费观看高清视频| svipshipincom国产片| 精品一品国产午夜福利视频| 欧美一级毛片孕妇| 波多野结衣av一区二区av| 国产精品美女特级片免费视频播放器 | 亚洲av成人av| 夜夜躁狠狠躁天天躁| 国产高清激情床上av| 精品久久蜜臀av无| 免费看a级黄色片| 制服诱惑二区| 国产精品一区二区精品视频观看| 欧美成人性av电影在线观看| 精品高清国产在线一区| 亚洲精品美女久久av网站| 久久人妻av系列| 亚洲激情在线av| 国产精品永久免费网站| 午夜福利欧美成人| 69精品国产乱码久久久| 少妇 在线观看| 夜夜爽天天搞| a级毛片黄视频| 亚洲黑人精品在线| 国产精品1区2区在线观看.| 国产精品 国内视频| 又紧又爽又黄一区二区| 丝袜人妻中文字幕| 丰满饥渴人妻一区二区三| 99在线视频只有这里精品首页| 亚洲成人久久性| 欧美日韩一级在线毛片| 久久久久久人人人人人| 男人的好看免费观看在线视频 | 国产精品一区二区免费欧美| 另类亚洲欧美激情| 精品午夜福利视频在线观看一区| 涩涩av久久男人的天堂| 首页视频小说图片口味搜索| 欧美日本亚洲视频在线播放| 亚洲欧美激情综合另类| 久久人人97超碰香蕉20202| 国产成人av教育| 午夜免费成人在线视频| av福利片在线| 国产成人欧美| www.www免费av| 99国产精品一区二区三区| 国产精品九九99| 成人18禁高潮啪啪吃奶动态图| 久久亚洲精品不卡| 亚洲成人国产一区在线观看| 色综合欧美亚洲国产小说| 免费看a级黄色片| www国产在线视频色| 亚洲成人免费av在线播放| 夜夜夜夜夜久久久久| 久久国产乱子伦精品免费另类| 国产单亲对白刺激| 男人舔女人下体高潮全视频| 成人18禁在线播放| 88av欧美| 一区二区三区国产精品乱码| 极品教师在线免费播放| 亚洲va日本ⅴa欧美va伊人久久| 国产精品久久久久久人妻精品电影| 亚洲色图av天堂| 久久久久国内视频| 在线观看www视频免费| 波多野结衣一区麻豆| 丝袜在线中文字幕| 久久香蕉激情| 久久香蕉精品热| 91国产中文字幕| 丰满饥渴人妻一区二区三| 亚洲五月婷婷丁香| 亚洲国产欧美日韩在线播放| 午夜老司机福利片| 日韩人妻精品一区2区三区| av网站在线播放免费| 国产成人系列免费观看| 国产精品秋霞免费鲁丝片| 老汉色∧v一级毛片| 中亚洲国语对白在线视频| 国产免费男女视频| 午夜福利免费观看在线| 高潮久久久久久久久久久不卡| 亚洲久久久国产精品| 99国产精品99久久久久| 性色av乱码一区二区三区2| 亚洲专区国产一区二区| 十八禁人妻一区二区| 亚洲av五月六月丁香网| 亚洲欧美一区二区三区黑人| 热re99久久国产66热| 国产精品免费一区二区三区在线| 老司机午夜福利在线观看视频| 超碰97精品在线观看| 大型av网站在线播放| 精品国产乱子伦一区二区三区| 久久国产乱子伦精品免费另类| 香蕉国产在线看| 亚洲自偷自拍图片 自拍| 日韩三级视频一区二区三区|