• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    實(shí)體名稱規(guī)范的研究探索*

    2016-11-18 05:49:58劉建華郭紅梅
    數(shù)字圖書館論壇 2016年5期
    關(guān)鍵詞:消歧評測知識庫

    劉建華,郭紅梅

    (1. 中國科學(xué)院文獻(xiàn)情報(bào)中心,北京 100190;2. 中國科學(xué)院大學(xué),北京 100190)

    實(shí)體名稱規(guī)范的研究探索*

    劉建華1,2,郭紅梅1

    (1. 中國科學(xué)院文獻(xiàn)情報(bào)中心,北京 100190;2. 中國科學(xué)院大學(xué),北京 100190)

    以實(shí)體名稱規(guī)范為主題,闡明其中兩種類型的任務(wù):一個(gè)實(shí)體多個(gè)名稱的實(shí)體共指消解問題和一個(gè)名稱指代不同實(shí)體的實(shí)體歧義問題;針對這兩類任務(wù),綜合分析相關(guān)研究成果,重點(diǎn)介紹現(xiàn)今解決實(shí)體名稱規(guī)范的典型思路與方法,以及推動實(shí)體名稱規(guī)范研究的重要項(xiàng)目與評測會議;結(jié)合當(dāng)前研究中仍存在的問題,分析探討實(shí)體名稱規(guī)范的研究趨勢。

    實(shí)體名稱規(guī)范;實(shí)體消歧;大規(guī)模知識庫;社會網(wǎng)絡(luò)

    1 引言

    現(xiàn)實(shí)世界中不同的人經(jīng)常會給予同一事物不同的名稱或描述。隨著信息科技的不斷發(fā)展,網(wǎng)絡(luò)資源越來越多,這類事物的名稱也越來越多樣化,這給計(jì)算機(jī)的自動理解和計(jì)算帶來很大挑戰(zhàn)。為支撐相應(yīng)的文本處理任務(wù),如機(jī)器翻譯、信息檢索、數(shù)據(jù)挖掘等,將這些名稱、描述與其對應(yīng)的事物對應(yīng)起來,并從中選擇一種規(guī)范的表達(dá)作為不同名稱或描述之間的核心關(guān)聯(lián)非常必要,由此產(chǎn)生了實(shí)體名稱規(guī)范這一概念。

    從主題角度而言,與實(shí)體名稱規(guī)范密切相關(guān)的研究主題包括實(shí)體名稱共指消解、縮略語識別、實(shí)體名稱消歧等,其對應(yīng)的英文名稱為“Named Entity Disambiguation,Abbreviation Reorganization,Coreference Resolution,Named Entity Normalization”等。從任務(wù)角度而言,實(shí)體名稱規(guī)范包括兩種類型的任務(wù):(1)一個(gè)實(shí)體有多種名稱的實(shí)體共指問題。該問題既包括代詞的共指消解,如“he”“she”等人稱代詞實(shí)際指稱對象的查找,也包括名詞性稱呼的消解,如“44th Present of US”“Barack Obama”“Present Obama”等可能均指代同一個(gè)人,這就需要明確這些實(shí)體名稱是否確定指代同一個(gè)實(shí)體概念。(2)一個(gè)名稱可能指代不同實(shí)體的實(shí)體歧義問題[1]。實(shí)體由于一個(gè)詞義的表達(dá)方法(從含義的有限集合枚舉到基于規(guī)則的新含義的產(chǎn)生)、含義列表的細(xì)粒度(從細(xì)微的區(qū)別到反義詞)、面向領(lǐng)域的與非嚴(yán)格定義的自然文本等原因,往往會出現(xiàn)一個(gè)實(shí)體名稱可以對應(yīng)到多個(gè)命名實(shí)體概念上的問題,比如“Washington”既可能指代華盛頓州,也可能指代美國第一任總統(tǒng)。對此就需要明確這些實(shí)體名稱具體是什么概念。

    本文以實(shí)體名稱規(guī)范為主題,重點(diǎn)介紹當(dāng)前解決實(shí)體名稱規(guī)范的典型思路與方法,以及推動實(shí)體名稱規(guī)范研究的重要項(xiàng)目與評測會議,并結(jié)合當(dāng)前研究中仍存在的問題,分析探討實(shí)體名稱規(guī)范的研究趨勢。

    2 實(shí)體名稱規(guī)范的主要思路與方法

    實(shí)體名稱規(guī)范是一個(gè)以計(jì)算的方式自動辨析詞語在上下文中的真實(shí)含義的過程[2],與常規(guī)的詞義消歧任務(wù)(Word Sense Disambiguation)有很多相似之處,但由于命名實(shí)體概念列表的缺乏、實(shí)體名稱指稱形式更為多樣(全稱、縮略語、別稱、代詞、簡稱、不同語系的拼寫差異-英美語系等)等問題的存在,實(shí)體名稱規(guī)范的任務(wù)更加復(fù)雜。要完成這樣的任務(wù),其中需要涉及很多知識,不僅需要語言學(xué)方面的常用知識,如淺層的詞匯、語法、句法等的分析,還需要用到很多語義及其背景知識信息。本文對當(dāng)前的一些主要研究進(jìn)行梳理,提煉出三種主流的方法思路,具體闡述如下。

    2.1基于Web對象屬性信息的實(shí)體名稱規(guī)范研究

    Web頁面中往往嵌入了各種各樣的對象,如人、產(chǎn)品、組織機(jī)構(gòu)等實(shí)體名稱。從Web頁中抽取并集成這些對象,可以實(shí)現(xiàn)功能強(qiáng)大的對象層內(nèi)容揭示。此類方法的優(yōu)勢在于其來源數(shù)據(jù)的特殊性,這些來源于Web網(wǎng)頁的資源在獲取其屬性方面具有很大的便利性,從而為基于屬性模板的共指消解提供了很大的便利條件。

    Nie等認(rèn)為,Web對象是描述某一Web信息的數(shù)據(jù)單元,通常可以看作與應(yīng)用領(lǐng)域相關(guān)的概念[3]。一個(gè)Web對象可以通過一系列的屬性表示,如A={a1, a2,…, am}。對象的屬性集可根據(jù)領(lǐng)域的需要預(yù)先設(shè)置。在實(shí)際研究中,Nie等將Web上一系列有一定結(jié)構(gòu)的相同條目(如產(chǎn)品列表、服務(wù)列表等)稱為數(shù)據(jù)記錄,首先從數(shù)據(jù)源中抽取出與領(lǐng)域相關(guān)的數(shù)據(jù)記錄,形成對象記錄級別的標(biāo)識;其次,進(jìn)行對象屬性級別(attributelevel)的抽取,這一過程主要是對上一步抽取出的數(shù)據(jù)記錄進(jìn)行分析,將數(shù)據(jù)記錄中的不同部分標(biāo)識成為不同的屬性,并且從多個(gè)來源的記錄中,實(shí)現(xiàn)同一對象不同屬性值的獲取;最后,依據(jù)所獲取的屬性值來實(shí)現(xiàn)對象的融合[4]。

    盡管該類方法實(shí)現(xiàn)的便利性和準(zhǔn)確習(xí)慣都較高,但該類方法也有較大限制,對于來源數(shù)據(jù)的格式限制較多,僅適用于少量結(jié)構(gòu)化或半結(jié)構(gòu)化描述實(shí)體的網(wǎng)頁。

    2.2基于大規(guī)模知識庫的實(shí)體名稱規(guī)范研究

    實(shí)體消歧的關(guān)鍵問題是測度實(shí)體名稱出現(xiàn)的相似度,傳統(tǒng)的測度方法是利用BOW(bag-of-word)模型,但它忽略了語義關(guān)系。隨著網(wǎng)絡(luò)上結(jié)構(gòu)化、半結(jié)構(gòu)化知識庫的出現(xiàn),為彌補(bǔ)以往方法的不足,不少學(xué)者提出利用如Wikipedia[5]、Yago[6]等資源庫構(gòu)建大規(guī)模的知識庫,基于這些知識庫提供的背景知識來提升實(shí)體名稱規(guī)范的效果,這也是當(dāng)前實(shí)體名稱規(guī)范研究中的核心內(nèi)容之一。

    Wikipedia由于覆蓋概念多,每篇文章中都包含一個(gè)實(shí)體或一個(gè)概念的信息,具有豐富的語義信息且內(nèi)容時(shí)時(shí)更新等特點(diǎn),往往成為研究者們在開展此類研究或構(gòu)建其他大規(guī)模知識庫時(shí)的首選。Fader等介紹了GROUNDER系統(tǒng),通過利用Wikipedia上用戶貢獻(xiàn)的信息和新的消歧模型,有效利用先驗(yàn)信息,組合先驗(yàn)信息和語境信息以提高消歧精度[7]。Nguyen等將文本提到的實(shí)體映射到Wikipedia中正確的實(shí)體,在基于候選實(shí)體統(tǒng)計(jì)秩序模型基礎(chǔ)上,證明Wikipedia和文本的功能組合是消歧的最好選擇[8]。Ploch等將實(shí)體名稱消歧看作將文本中的實(shí)體提及與預(yù)定義在知識庫中的指稱詞相關(guān)聯(lián)的任務(wù),他們在研究中通過挖掘共現(xiàn)的實(shí)體間在Wikipedia里的關(guān)聯(lián)關(guān)系,通過實(shí)體共現(xiàn)與歧義形式的關(guān)系推導(dǎo)出可用于分類候選實(shí)體的功能范圍,并將消歧功能進(jìn)行組合,利用SVM分類器得到有效結(jié)果[9]。

    但是由于Wikipedia在數(shù)據(jù)的準(zhǔn)確性、概念結(jié)構(gòu)的表達(dá)方面仍存在不足,因此,不少研究者又將眼光轉(zhuǎn)向了近年來的熱門知識庫之一LOD(Linked Open Data),經(jīng)過人工篩選、組織過的LOD在準(zhǔn)確性和關(guān)聯(lián)表達(dá)方面具備更強(qiáng)的知識處理優(yōu)勢。Damljanovic等認(rèn)為Linked Data是擴(kuò)充已可用語境的有效資源,并將先進(jìn)的命名實(shí)體工具與基于Linked Data相似度測度方法進(jìn)行結(jié)合,證明該方法能提高Wikipedia消歧精度[10]。Nebhi等采用FreeBase和句法分析結(jié)合的方式完成詞義消歧的任務(wù),試驗(yàn)顯示了消歧效果的提升[11]。

    除LOD外,各種語義層級關(guān)聯(lián)更為豐富的本體也是研究者們探索實(shí)體名稱規(guī)范的重要知識庫。Saggion等基于歐盟的MUSING(MUlti-industry,Semanticbased next generation business INtelliGence,基于語義的下一代多產(chǎn)業(yè)商業(yè)情報(bào))平臺,在跨數(shù)據(jù)源的知識單元獲取與集成任務(wù)方面作出了一定探索,整個(gè)研究過程分為基于本體的信息抽取和跨數(shù)據(jù)源對象集成兩部分。其中由領(lǐng)域?qū)<覙?gòu)建的商業(yè)本體是系統(tǒng)的首要特征,包含商業(yè)領(lǐng)域的類層次結(jié)構(gòu)、關(guān)系和屬性。在對每一篇文檔進(jìn)行標(biāo)注后,獲取各標(biāo)注對象所在的文檔和描述內(nèi)容部分,計(jì)算其相似度,實(shí)現(xiàn)多數(shù)據(jù)源中同一個(gè)標(biāo)識對象的聚類,從而實(shí)現(xiàn)命名實(shí)體的規(guī)范[12]。Han等綜合利用WordNet、Wikipedia、網(wǎng)頁信息等多種知識源挖掘?qū)嶓w指稱項(xiàng)的上下文語義信息,并提出基于圖的知識表示模型,將異構(gòu)語義信息融合在統(tǒng)一的基于圖的知識表示框架下,以此為基礎(chǔ)挖掘概念之間的潛在語義關(guān)聯(lián),從而同時(shí)集成來自于不同知識源的語義知識,有效提升實(shí)體名稱規(guī)范的效率[13]。

    2.3基于社會網(wǎng)絡(luò)的實(shí)體名稱規(guī)范研究

    隨著搜索引擎和社會網(wǎng)絡(luò)挖掘技術(shù)的不斷發(fā)展,利用人物社會關(guān)系構(gòu)建社會網(wǎng)絡(luò),進(jìn)而實(shí)現(xiàn)相應(yīng)的實(shí)體消解也逐漸成為目前的關(guān)鍵思路之一,主要應(yīng)用于人名消歧,通常是先使用譜聚類對社會網(wǎng)絡(luò)中的人名聚類,然后根據(jù)不同社會網(wǎng)絡(luò)邊權(quán)值和不同圖劃分準(zhǔn)則對人名消歧效果的影響,引入模塊度閾值作為社會網(wǎng)絡(luò)劃分的停止條件[14]。

    在基于社會網(wǎng)絡(luò)的實(shí)體名稱規(guī)范方面,Bekkerman等提出了一種非監(jiān)督的框架來解決檢索某個(gè)特定人物時(shí)返回大量無關(guān)人員頁面的問題。其中兩個(gè)關(guān)鍵內(nèi)容包括網(wǎng)頁間的鏈接關(guān)系與Agglomerative重復(fù)聚類。在該方法中,網(wǎng)頁間的鏈接關(guān)系即主要用于構(gòu)建人物的社會網(wǎng)絡(luò)[15]。郎君等依據(jù)同名的不同人物具有不同社會網(wǎng)絡(luò)的思想,利用檢索結(jié)果中共現(xiàn)的人名發(fā)現(xiàn)并拓展檢索人物相關(guān)的潛在社會網(wǎng)絡(luò),結(jié)合圖譜分割算法和模塊度指標(biāo)進(jìn)行社會網(wǎng)絡(luò)的自動聚類,在此基礎(chǔ)上實(shí)現(xiàn)人名檢索結(jié)果的重名消解。在人工標(biāo)注的中文人名語料上進(jìn)行實(shí)驗(yàn),整體性能達(dá)到較好水平,圖聚類算法能幫助連通社會網(wǎng)絡(luò)的進(jìn)一步劃分,從而提高消解效果[16]。PABICO針對社交網(wǎng)絡(luò)中的實(shí)體名稱歧義問題,提出采用圖-字圖的方式來確定不同實(shí)體的相似性,從而解決實(shí)體名稱的歧義[17]。

    3 實(shí)體名稱規(guī)范相關(guān)的重要項(xiàng)目及評測會議

    實(shí)體名稱規(guī)范的研究離不開重大項(xiàng)目、國際評測會議的推動發(fā)展,本文對這些重點(diǎn)內(nèi)容進(jìn)行梳理。

    3.1國內(nèi)外主要的實(shí)體名稱規(guī)范項(xiàng)目

    (1)英國國家檔案館TNA-Search項(xiàng)目[18]

    英國國家檔案館TNA(the National Archives,作為Government Web Archive Project中的一部分,主旨在于如何用簡單直觀的機(jī)制,提高TNA中與政府網(wǎng)站相關(guān)的記錄的開放利用度)是大規(guī)模實(shí)體名稱規(guī)范的代表性項(xiàng)目。為解決項(xiàng)目中的實(shí)體名稱規(guī)范問題,TNASearch項(xiàng)目主要利用GATE,聯(lián)合了FactForge和SKB(Semantic Knowledge Base)Ontology,構(gòu)建了大規(guī)模的語義倉儲庫(Large Knowledge Base,LKB),通過倉儲庫所提供的詳細(xì)的對象描述等背景信息,計(jì)算實(shí)現(xiàn)實(shí)體名稱的規(guī)范。

    具體而言,該項(xiàng)目基于LKB直接將文檔中的實(shí)體與各種不同的本體建立關(guān)聯(lián),或者通過其中的實(shí)例,或者通過概念。LKB使用一系列SPARQL查詢集合的配置文件到SKB中檢索。標(biāo)注的實(shí)體與SKB中的實(shí)例關(guān)聯(lián)是通過兩個(gè)互補(bǔ)的途徑完成:通過LKB詞典找到一個(gè)匹配時(shí),SKB中類與實(shí)例信息被添加到文本中的相關(guān)實(shí)體上;文本中的實(shí)體與SKB中的類或?qū)嶓w沒有直接關(guān)聯(lián)時(shí),通過共指的方式實(shí)現(xiàn)關(guān)聯(lián)。即如果文本中某段提及在上述過程中已經(jīng)與SKB建立關(guān)聯(lián)時(shí),該實(shí)體所有共指提及均可通過TNA Instance Generator自動獲得相同類和實(shí)例信息。在進(jìn)行規(guī)范標(biāo)注時(shí),項(xiàng)目將一篇文檔中同一個(gè)實(shí)體的不同表達(dá)關(guān)聯(lián)在一起,同時(shí)還添加通過semantic tagger發(fā)現(xiàn)的標(biāo)注間的特征關(guān)系。通過這種規(guī)范標(biāo)注方式,TNA-Search實(shí)現(xiàn)了人物、地理名稱、機(jī)構(gòu)、時(shí)間等11種命名實(shí)體的自動標(biāo)注與規(guī)范。

    (2)OKKAM[19]

    OKKAM是由歐盟委員會資助的第七框架項(xiàng)目(FP7)下的一個(gè)大規(guī)模集成項(xiàng)目,其基本理念是根據(jù)14世紀(jì)的“奧卡姆剃刀”(Occam’s razor)原則,提倡如果沒有必要?jiǎng)t不增加實(shí)體的標(biāo)識符。OKKAM為內(nèi)容創(chuàng)建者、編輯和開發(fā)人員等提供一個(gè)全球性的基礎(chǔ)設(shè)施,稱為實(shí)體命名系統(tǒng)(Entity Name System,ENS),該系統(tǒng)包含一種基于特征的實(shí)例匹配方法FBEM,通過集成兩個(gè)實(shí)例標(biāo)識符的多種不同特征屬性及其屬性值之間的相似度,識別出可能的對象共指。例如,F(xiàn)BEM使用了基于Levenstein編輯距離的方法來比較實(shí)例標(biāo)識符的本地名。

    (3)國內(nèi)典型的項(xiàng)目

    共指消解和實(shí)體消歧是文本處理中的重要任務(wù),對于提高信息檢索的效率、深度文本挖掘有著非常重要的作用,國內(nèi)目前在此方面也有不少相關(guān)的研究項(xiàng)目在開展。比較典型的有清華大學(xué)的RiMOM[20]和南京大學(xué)的ObjectCoref[21]。

    RiMOM是清華大學(xué)研發(fā)的一種集成多種本體匹配方法的多策略本體匹配系統(tǒng),其中也包含多種實(shí)例匹配方法。針對實(shí)例匹配,RiMOM將每個(gè)實(shí)例所含信息分為六類:URL、元信息、名稱、字符串類型信息、非字符串類型信息和鄰居信息。通過基于編輯距離的方法和向量空間模型,計(jì)算實(shí)例所含各種信息之間的相似度,并使用元信息和非字符串類型信息進(jìn)一步過濾,最后通過多種策略將各種相似度集成起來用于發(fā)現(xiàn)對象共指。

    與RiMOM不同,南京大學(xué)的ObjectCoref基于語義Web搜索系統(tǒng)Falcons提供的數(shù)據(jù)集,目前已經(jīng)包含超過7 300萬個(gè)實(shí)例標(biāo)識符。ObjectCoref首先利用語義等價(jià)推理,構(gòu)建初始訓(xùn)練集;隨后基于這個(gè)訓(xùn)練集不斷學(xué)習(xí),自舉式地識別對象共指。該系統(tǒng)還考慮了頻繁屬性組合,同時(shí)使用兩個(gè)屬性識別對象共指(例如經(jīng)度和緯度、姓和名),進(jìn)一步提高消解的準(zhǔn)確度。另外,還基于語義等價(jià)關(guān)系是否可以解引以及實(shí)例標(biāo)識符在不同RDF文檔中的出現(xiàn)次數(shù)等,對共同指稱同一對象的實(shí)例標(biāo)識符進(jìn)行排序。ObjectCoref提出一種新的語義等價(jià)推理與相似度計(jì)算相集成的體系結(jié)構(gòu),能夠較為全面地識別對象共指,但是訓(xùn)練集中的錯(cuò)誤共指關(guān)系可能會導(dǎo)致學(xué)習(xí)過程中的錯(cuò)誤積累,使得識別的準(zhǔn)確性降低。

    3.2實(shí)體名稱規(guī)范的相關(guān)評測會議

    為促進(jìn)實(shí)體名稱規(guī)范研究的不斷發(fā)展,國際上有不少與之相關(guān)的評測會議,通過細(xì)化評測任務(wù),提供相應(yīng)的語料集合,提供交流的平臺,推動相關(guān)研究的不斷發(fā)展。本文篩選了幾個(gè)比較典型的評測會議進(jìn)行介紹,以期為其他研究提供參考。

    (1)Automatic Context Extraction(ACE)與Text Analysis Conference(TAC)

    ACE會議自1999年7月開始醞釀,2000年12月正式啟動,由美國國家安全局(NSA)、美國國家標(biāo)準(zhǔn)和技術(shù)學(xué)會(NIST)以及中央情報(bào)局(CIA)共同主管,截至2016年已經(jīng)舉辦過八屆[22]。ACE的測評任務(wù)定義:實(shí)體探測與識別(Entity Detection and Recognition,EDR)、價(jià)值探測與識別(Value Detection and Recognition,VAL)、時(shí)間表達(dá)識別與標(biāo)準(zhǔn)化(Time Expression Recognition and Normalization,TERN)、關(guān)系探測與識別(Relation Detection and Recognition,RDR)以及事件探測與識別(Event Detection and Recognition,VDR)。共指消解的評測任務(wù)主要蘊(yùn)含于實(shí)體探測與識別EDR中,將篇章中出現(xiàn)的各種提及表述指向?qū)?yīng)的實(shí)體,從而給出一個(gè)實(shí)體全面的描述。這項(xiàng)任務(wù)中首先需要識別出各種表述,然后將描述同一實(shí)體的表述合并,該合并過程就是共指消解的過程。值得一提的是,從2003年開始ACE中開始包含中文的相關(guān)評測,至今已經(jīng)開展5次評測。其中的共指消解也是迄今為止唯一的中文共指消解國際評測。

    在2008年后,ACE會議被TAC會議(Text Analysis Conference)[23]所取代,TAC-KBP從2009年開始到現(xiàn)在共進(jìn)行了六屆,該評測任務(wù)中直接與實(shí)體名稱規(guī)范相關(guān)的即實(shí)體鏈接(Entity Linking)評測。目前,TAC實(shí)體鏈接任務(wù)的目標(biāo)實(shí)體知識庫使用2008年10月版本的Wikipedia構(gòu)建,包含近82個(gè)實(shí)體,其中有人物實(shí)體11萬,組織實(shí)體5.5萬,地理實(shí)體11萬,其他類別實(shí)體53萬,目標(biāo)知識庫總量約2.6G[24]。

    (2)Web環(huán)境中人名消歧任務(wù)評測會議(Web People Search Evaluation,WePS)

    WePS是針對英文網(wǎng)頁中人名消歧任務(wù)進(jìn)行評測的一個(gè)專門會議,由 Gonzalo和 Sekine主要負(fù)責(zé)組織,至今共組織過3次[25]。該任務(wù)集中于在Web檢索場景中人名的消歧。參加測試的系統(tǒng)將在接收到一個(gè)以人名為檢索式的Web檢索后,確定有多少個(gè)不同的涉及人員在檢索結(jié)果中,并將特定的指稱分配給相應(yīng)的文檔。從總體上來說,這個(gè)任務(wù)是個(gè)聚類問題。對給定的一組文檔,按照文檔中出現(xiàn)的某個(gè)指定的人名所指向的人進(jìn)行聚類。最后,在每個(gè)類中,所有指定的人名都必須是指向現(xiàn)實(shí)生活中的同一個(gè)人。從WePS3發(fā)布的評測任務(wù)看,在該評測中,需要重點(diǎn)從人物的屬性角度出發(fā),包括人員的生日、出生地、別名、工作、所屬機(jī)構(gòu)、獲得獎(jiǎng)項(xiàng)、學(xué)校、學(xué)位、專業(yè)、民族、電話等多個(gè)方面年代信息。受該項(xiàng)目啟發(fā),李文捷等也于2010年組織發(fā)起了專門針對中文人名消歧的評測任務(wù)[26],至今已經(jīng)舉辦了二屆。

    (3)指代消解練習(xí)(ARE)[27]

    2006年11月—2007年3月,英國伍爾佛漢普敦大學(xué)發(fā)起了一個(gè)名為指代消解練習(xí)的共指消解評測。這項(xiàng)評測是迄今為止在英文上進(jìn)行的最全面的共指消解評測,包含四項(xiàng)評測任務(wù):①預(yù)標(biāo)注文檔上的人稱代詞消解。文檔內(nèi)的名詞短語都被識別出來,而且需要消解的代詞也被標(biāo)注出來。參加系統(tǒng)需要對每個(gè)人稱代詞在一個(gè)不包含人稱代詞的名詞短語列表中找到正確的先行語。②預(yù)標(biāo)注文檔上的共指消解。文檔內(nèi)所有的名詞短語都被識別出來,參加系統(tǒng)需要將文檔內(nèi)的所有共指鏈識別出來。③生語料上的人稱代詞消解。和第一項(xiàng)任務(wù)不同的是,評測文檔沒有經(jīng)過任何標(biāo)注,需要參加系統(tǒng)自行識別相關(guān)信息。④生語料上的共指消解。和第二項(xiàng)任務(wù)不同的是,評測文檔沒有經(jīng)過任何標(biāo)注,需要參加系統(tǒng)自行識別相關(guān)信息。

    除上述的四種不限于領(lǐng)域的評測外,還有一些領(lǐng)域特定的共指消解任務(wù)評測,如生物醫(yī)藥領(lǐng)域的生物醫(yī)藥領(lǐng)域的自然語言處理及應(yīng)用聯(lián)合工作組JNLPBA(Joint Workshop on Natural Language Processing in Biomedicine and Its App Locations)以及生物學(xué)領(lǐng)域信息抽取的關(guān)鍵評價(jià)BioCreAtIve(Critical Assessment of Information Extraction Systems in Biology)。這些評測會議不斷推動著實(shí)體名稱規(guī)范研究的開展。

    4 實(shí)體名稱規(guī)范的研究趨勢

    盡管目前針對實(shí)體名稱規(guī)范的研究已經(jīng)開展得較為成熟,但從評測會議的結(jié)果(2012年參加TAC entity linking測評的系統(tǒng)平均效率為72.1%[28])來看,目前的識別效率仍不足以滿足大規(guī)模的實(shí)際應(yīng)用,其中還面臨很多問題需要解決。比如,空目標(biāo)實(shí)體問題、知識庫的覆蓋度問題、知識庫不確切的問題、知識庫使用的問題等[29]。因此,圍繞著這些問題,此領(lǐng)域的研究主要存在以下幾種發(fā)展趨勢。

    (1)算法趨于多模型的融合

    在過去的研究中,基于語言學(xué)特征的統(tǒng)計(jì)學(xué)方法和機(jī)器學(xué)習(xí)方法主流是分開思考的,很多研究都是在機(jī)器學(xué)習(xí)的分類或聚類中選擇特征時(shí)再考慮加入一些語言學(xué)特征,這種融合方式對提高識別的效率比較有限。目前的研究中,研究者們逐漸開始考慮利用語言學(xué)思路來構(gòu)建更加豐富的機(jī)器學(xué)習(xí)模型。Elango提出了一種初始化的建議,結(jié)合中心理論和條件隨機(jī)域模型(CRF)來實(shí)現(xiàn)人稱代詞消解?;贑RF模型的靈活性,依賴于上下文的傳遞優(yōu)選性能被很好地融入模型中[30]。Poesio等將子句作為話語單元,將篇章可以表示成一系列子句的集合,進(jìn)而將篇章表示為一系列預(yù)指中心集合的特征空間。這個(gè)預(yù)指中心列表構(gòu)成的特征空間可以融合一些相關(guān)特征,如語法角色、性別、單復(fù)數(shù)等[31]。類似的序列CRF模型上的推理和估計(jì),還可以采用 Sutton和 McCallum討論的技術(shù)[32]。

    (2)消歧特征的篩選越來越多樣化

    從當(dāng)前發(fā)表的研究論文較為集中的研究主題看,研究者越來越重視在實(shí)體名稱規(guī)范中引入越來越多的特征,單純從算法上進(jìn)行改進(jìn)而實(shí)施基于“知識匱乏”的研究方法越來越不被主流研究所看重。歸納起來,目前常用的實(shí)體消歧特征主要如表1所示。

    表1 實(shí)體消歧特征歸納

    被應(yīng)用的特征越來越多,而不斷涌現(xiàn)出的各種語料資源庫恰恰為這些深層的語言學(xué)知識獲取提供了非常好的途徑,主要包括:①常規(guī)的知識庫,如WordNet、HowNet、WikiPedia、DBPedia、Yago等。②利用大規(guī)模的語料庫挖掘模式信息,如Hearst等通過構(gòu)建了“is-a”等模板,用于從文本中發(fā)現(xiàn)同義詞[33];Bergsma在一個(gè)經(jīng)過Minipar依存分析的語料庫上獲取了大量的指代信息,實(shí)現(xiàn)了英文名詞短語性別和單復(fù)數(shù)信息的模板化提取[34];Yang和Su利用語料庫中發(fā)現(xiàn)的模板信息來增強(qiáng)共指消解[35]。③充分利用互聯(lián)網(wǎng)這一語料庫,利用搜索引擎顯示的各個(gè)查詢得到的返回?cái)?shù)來計(jì)算各種相關(guān)信息。該方法是將整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)巨大的語料庫,利用搜索引擎顯示的各個(gè)查詢得到的返回?cái)?shù)來計(jì)算各種相關(guān)信息,例如Poesio等通過計(jì)算互信息來考察兩個(gè)短語的關(guān)聯(lián)程度[31]。

    (3)大規(guī)模知識庫的自動構(gòu)建成為實(shí)體規(guī)范研究的重要組成之一

    實(shí)驗(yàn)充分表明,高質(zhì)量的大規(guī)模知識庫對提升實(shí)體名稱規(guī)范的效率有很強(qiáng)的支撐作用。面對當(dāng)前指數(shù)級增長的網(wǎng)絡(luò)數(shù)據(jù),依靠人工的專家構(gòu)建知識庫方式顯然費(fèi)時(shí)費(fèi)力,且會造成信息的滯后。因此,富含語義信息關(guān)聯(lián)的大規(guī)模知識庫的自動構(gòu)建顯得尤為重要。開放式信息抽取技術(shù)的研究以及Wikipedia、Freebase等大規(guī)模半結(jié)構(gòu)化的網(wǎng)絡(luò)知識庫的出現(xiàn),為大規(guī)模知識庫的自動構(gòu)建提供了良好的基礎(chǔ)。目前,較有代表性的工作有基于Wikipedia的YAGO,該語料庫采用實(shí)例、實(shí)例間關(guān)聯(lián)三元組的方式存儲知識,所有的實(shí)例和實(shí)例間的關(guān)系均來源于Wikipedia的category pages,并與WordNet進(jìn)行銜接,對于每一個(gè)實(shí)體事實(shí)YAGO還賦予了可信度的標(biāo)注,準(zhǔn)確率達(dá)到95%。目前YAGO2中包含了1 000萬個(gè)實(shí)體及1.2億條描述實(shí)體關(guān)聯(lián)的事實(shí)記錄[6]。此外,中國科學(xué)院自動化所的徐立恒等利用在信息抽取方面的技術(shù)積累,以《中國大百科全書》知識體系作為目標(biāo)知識庫的結(jié)構(gòu),從網(wǎng)絡(luò)知識庫中抽取概念實(shí)例并綜合利用網(wǎng)絡(luò)百科網(wǎng)頁中蘊(yùn)含的豐富的語義標(biāo)簽、半結(jié)構(gòu)化信息和非結(jié)構(gòu)化信息進(jìn)行概念實(shí)例掛載,將百科知識庫從8萬條目擴(kuò)展為百萬條目級別,在此基礎(chǔ)上進(jìn)行概念屬性抽取,為下一步研發(fā)面向開放式的自動問答系統(tǒng)提供了知識資源的支撐[36]。

    [1] NGUYEN H T, CAO T H. A knowledge-based approach to named entity disambiguation in news articles[C]. AI 2007: Advances in Artificial Intelligence. Gold Coast: 20th Australian Joint Conference2007, 4830:619-624.

    [2] NAVIGLI R.Word sense disambiguation: a survey[J].ACM Computing Surveys, 2009, 41(2): 10-69.

    [3] NIE Z Q, MA Y X, SHI S M, et al. Web object retrieval[C]. Proceedings of the 16th international conference.Banff: International World Wide Web Conference Committee (IW3C2), 2007: 81-90.

    [4] NIE Z Q, ZHANG Y Z, WEN J R, et al. Object-level ranking: bringing order to web objects[C]. Proceedings of the 14th international conference. Chiba: International World Wide Web Conference Committee (IW3C2), 2005: 567-574.

    [5] Wikipedia[EB/OL]. [2014-11-26].http://www.wikipedia.org.

    [6] YAGO2s: a high-quality knowledgebase[EB/OL]. [2014-11-26]. http:// www.mpi-inf.mpg.de/departments/databases-and-information-systems/ research/yago-naga/yago/.

    [7] FADER A,SODERLAND S, ETZIONI O. Scaling Wikipedia-based named entity disambiguation to arbitrary web text[C]. Proceedings of the IJCAI Workshop. Pasadena:2009:21-26.

    [8] NGUYEN H T,CAO T H. Exploring Wikipedia and text features for named entity disambiguation[J].Intelligent Information and Database Systems Lecture Notes in Computer Science, 2010, 5991: 11-20.

    [9] PLOCH D. Exploring entity relations for named entity disambiguation[C]. Proceedings of the ACL. Portland: The 49th Annual Meeting of the Association for Computational Linguistics, 2011.

    [10] DAMLJANOVIC D, BONTCHEVA K. Named entity disambiguation using linked data[EB/OL]. [2014-11-26]. http://2012.eswc-conferences. org/sites/default/files/eswc2012_submission_334.pdf.

    [11] NEBHI K. Named entity disambiguation using freebase and syntactic parsing[C]. Proceedings of the First International Workshop.The 12th International Semantic Web Conference (ISWC 2013), 2013.

    [12] SAGGION H,FUNK A,MAYNARD D, et al. Ontology-based information extraction for business intelligence[EB/OL]. [2014-11-26]. https://gate.ac.uk/sale/iswc07/musing/musing-iswc07.pdf.

    [13] HAN X P,ZHAO J. Named entity disambiguation by leveraging Wikipedia semantic knowledge[C]. Hong Kong: Proceedings of the 18th ACM conference, 2009: 215-224.

    [14] 陳晨,王厚峰.基于社會網(wǎng)絡(luò)的跨文本同名消歧[J].中文信息學(xué)報(bào), 2011(5):75-82.

    [15] BEKKERMAN R, ANDREW M C. Disambiguating web appearance of people in a social network[C]. WWW '05 Proceedings of the 14th international conference. World Wide Web,2005:463-470.

    [16] 郎君,秦兵,宋巍,等.基于社會網(wǎng)絡(luò)的人名檢索結(jié)果重名消解[J].計(jì)算機(jī)學(xué)報(bào), 2009(7):1-10.

    [17] PABICO J P. An analysis of named entity disambiguation in social networks[J].Asia Pacific Journal of Multidisciplinary Research, 2014(2):31-38.

    [18] MAYNARD D, GREENWOOD M A. Large scale semantic annotation, Indexing and search at the National Archives[EB/OL]. [2014-11-26]. https://gate.ac.uk/sale/lrec2012/tna/tna.pdf.

    [19] BOUQUET P,PALPANNAS T, STOERMER H, et al. A conceptual model for a web-scale entity name system[EB/OL]. [2014-11-26].http:// www.inf.unibz.it/krdb/events/swap2010/paper-19.pdf.

    [20] LI J Z, TANG J, LI Y, et al. RiMOM: a dynamic multistrategy ontology alignment framework[J]. IEEE Trans. on Knowledge and Data Engineering, 2009, 21(8):1218-1232.

    [21] ObjectCoref [EB/OL]. [2014-11-26].http://ws.nju.edu.cn/objectcoref/.

    [22] Automatic Content Extraction (ACE) Evaluation[EB/OL]. [2014-11-26]. http://www.itl.nist.gov/iad/mig/tests/ace/.

    [23] Text Analysis Conference[EB/OL]. [2014-11-26].http://www.nist.gov/tac/.

    [24] Entity linking at TAC 2013 task description[EB/OL]. (2013-04-09) [2014-11-26].http://www.nist.gov/tac/2013/KBP/EntityLinking/ guidelines/KBP2013_EntityLinkingTaskDescription_1.0.pdf.

    [25] ARTILES J,BORTHWOCK A, GONZALO J,et al. WePS-3 evaluation campaign: overview of the Web people search Clustering and attribute extraction tasks[C]. Padua: 2010.

    [26] CLP2012.Chinese language processing[EB/OL]. (2012-06-30) [2014-11-26].http://www.cipsc.org.cn/clp2012/bakeoff-cn.html.

    [27] OR?SAN C, CRISTEA D,MITKOV R, et al. Anaphora resolution exercise: an overview[EB/OL]. [2014-11-26]. http://www.lrec-conf.org/ proceedings/lrec2008/pdf/713_paper.pdf.

    [28] DALTON J,DIETZ L. A neighborhood relevance model for entity linking [EB/OL]. [2014-11-26].http://ciir.cs.umass.edu/~dietz/entitylinking/ oair2013.pdf.

    [29] 趙軍,劉康,周光有,等.開放式文本信息抽取[J].中文信息學(xué)報(bào), 2011(6):98-110.

    [30] ELANGO P. Coreference resolution: a survey project report of the course "Advanced natural language processing"[D].Madison: the University of Wisconsin, 2006.

    [31] POESIO M,KABADJOV M.A general-purpose, off-the-shelf anaphora resolution module: implementation and preliminary evaluation[C]. The proceedings of the national academy of sciences. Lisbon: The 4th International Conference on Language Resources and Evaluation, 2011.

    [32] SUTTON C,MCCALLUM A. An introduction to conditional random fields for relational learning[C]. L. Getoor and B. Taskar, eds..Boston: MIT Press, 2006.

    [33] HEARST M A. Automatic acquisition of hyponyms from large text corpora[C].Proceedings of the 14th International Conference on Computational Linguistics, 1992.

    [34] BERGSMA S. Automatic acquisition of gender information for anaphora resolution[C]. B. Kégl and G. Lapalme eds. Canadian Conference on AI,Victoria: Springer-Verlag, 2005:342-353.

    [35] YANG X,SU J. Coreference resolution using semantic relatedness information from automatically discovered patterns[C]. J. Carroll, A. Bosch, and A. Zaenen eds. Proc. of the 45th Annual Meeting of the Association of Computational Linguistics. Prague: Association for Computational Linguistics, 528-535.

    [36] 徐立恒,劉洋,來斯惟,等.基于多特征表示的本體概念掛載[J].中文信息學(xué)報(bào), 2012(3):122-128.

    郭紅梅,女,1985年生,博士,研究方向:文本挖掘、科學(xué)計(jì)量。

    Study on Named Entity Normalization

    LIU JianHua1,2, GUO HongMei1
    (1. National Science Library, Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100190, China)

    This article focus on the Named Entity Normalization (NEN), which is a basic task of text processing. It describes two types sub-tasks of NEN, Coreference Resolution and Entity Disambiguation. Combined with the mentioned two su-tasks, it reviews current related research, introduces the typical methods, importance projects and evaluation conference closed to the theme. Besides, it analyzes the research trend of NEN based on current problems.

    Named Entity Normalization; Entity Disambiguation; Large-scale Knowledge; Social Network

    G254

    10.3772/j.issn.1673-2286.2016.5.010

    * 本研究得到中國科學(xué)院文獻(xiàn)情報(bào)中心青年人才項(xiàng)目“基于開放KOS的領(lǐng)域主題學(xué)術(shù)關(guān)系網(wǎng)絡(luò)擴(kuò)展方法研究”(編號:青1303)資助。

    劉建華,女,1984年生,博士在讀,研究方向:文本挖掘、信息抽取,E-mail:liujh@mail.las.ac.cn。

    (2016-05-10)

    猜你喜歡
    消歧評測知識庫
    基于關(guān)聯(lián)圖和文本相似度的實(shí)體消歧技術(shù)研究*
    次時(shí)代主機(jī)微軟XSX全方位評測(下)
    次時(shí)代主機(jī)微軟XSX全方位評測(上)
    基于半監(jiān)督集成學(xué)習(xí)的詞義消歧
    基于TRIZ與知識庫的創(chuàng)新模型構(gòu)建及在注塑機(jī)設(shè)計(jì)中的應(yīng)用
    攻坡新利器,TOKEN VENTOUS評測
    藏文歷史文獻(xiàn)識別過程中藏文自由虛詞的自動識別及消歧算法的研究
    Canyon Ultimate CF SLX 8.0 DI2評測
    中國自行車(2017年1期)2017-04-16 02:54:06
    高速公路信息系統(tǒng)維護(hù)知識庫的建立和應(yīng)用
    基于Drupal發(fā)布學(xué)者知識庫關(guān)聯(lián)數(shù)據(jù)的研究
    圖書館研究(2015年5期)2015-12-07 04:05:48
    av福利片在线| 级片在线观看| 男男h啪啪无遮挡| 侵犯人妻中文字幕一二三四区| 久久久国产欧美日韩av| 免费观看人在逋| 午夜精品在线福利| 91大片在线观看| 手机成人av网站| 好男人电影高清在线观看| 亚洲av美国av| 亚洲人成电影观看| 两个人看的免费小视频| 999精品在线视频| 欧美午夜高清在线| 亚洲五月天丁香| 中出人妻视频一区二区| 岛国在线观看网站| 国产高清激情床上av| 淫秽高清视频在线观看| 女人精品久久久久毛片| 亚洲自偷自拍图片 自拍| 亚洲av成人不卡在线观看播放网| 亚洲狠狠婷婷综合久久图片| 一进一出抽搐动态| 精品国产国语对白av| 欧美一区二区精品小视频在线| 黄片小视频在线播放| 最近最新免费中文字幕在线| 成人18禁高潮啪啪吃奶动态图| 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产精品999在线| 亚洲性夜色夜夜综合| 国产成人av教育| 啦啦啦在线免费观看视频4| 动漫黄色视频在线观看| 长腿黑丝高跟| 视频区图区小说| 精品国内亚洲2022精品成人| 亚洲成人免费电影在线观看| 亚洲精品美女久久久久99蜜臀| 在线观看免费日韩欧美大片| 91老司机精品| 激情视频va一区二区三区| 亚洲激情在线av| 亚洲国产欧美一区二区综合| 久久热在线av| 悠悠久久av| 美女高潮喷水抽搐中文字幕| 久99久视频精品免费| 午夜免费鲁丝| 亚洲全国av大片| 国产一区二区在线av高清观看| 香蕉国产在线看| 最近最新中文字幕大全电影3 | 成年人黄色毛片网站| 级片在线观看| 身体一侧抽搐| 淫秽高清视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美日韩亚洲高清精品| 国产精品自产拍在线观看55亚洲| 精品午夜福利视频在线观看一区| 亚洲精品一卡2卡三卡4卡5卡| 午夜福利一区二区在线看| cao死你这个sao货| 成人影院久久| 12—13女人毛片做爰片一| 91精品三级在线观看| 国产欧美日韩一区二区精品| 在线国产一区二区在线| 在线观看一区二区三区激情| 一级片免费观看大全| 成人亚洲精品av一区二区 | 国产成人影院久久av| 免费久久久久久久精品成人欧美视频| 国产视频一区二区在线看| 国产欧美日韩一区二区三| 免费看十八禁软件| 国产成人av激情在线播放| 国产无遮挡羞羞视频在线观看| 男女床上黄色一级片免费看| 久久性视频一级片| 国产99久久九九免费精品| av欧美777| а√天堂www在线а√下载| 老司机午夜十八禁免费视频| 欧美乱码精品一区二区三区| 在线观看免费视频网站a站| 午夜福利在线观看吧| 成人18禁在线播放| 精品一区二区三区视频在线观看免费 | 免费人成视频x8x8入口观看| 国产在线精品亚洲第一网站| 亚洲av成人不卡在线观看播放网| 俄罗斯特黄特色一大片| 国产精品永久免费网站| 身体一侧抽搐| av在线天堂中文字幕 | 精品电影一区二区在线| 性色av乱码一区二区三区2| 婷婷丁香在线五月| 又紧又爽又黄一区二区| 成年人免费黄色播放视频| 国产av又大| 精品国产乱子伦一区二区三区| 亚洲成人久久性| 啦啦啦 在线观看视频| 亚洲一卡2卡3卡4卡5卡精品中文| 女人爽到高潮嗷嗷叫在线视频| av中文乱码字幕在线| 国产有黄有色有爽视频| www.精华液| 国产亚洲精品久久久久久毛片| 深夜精品福利| 亚洲欧美激情综合另类| 777久久人妻少妇嫩草av网站| 宅男免费午夜| 视频区图区小说| 午夜福利影视在线免费观看| 欧美午夜高清在线| 欧美色视频一区免费| 成人精品一区二区免费| 国产成人系列免费观看| 免费人成视频x8x8入口观看| 免费在线观看日本一区| 亚洲自拍偷在线| 少妇裸体淫交视频免费看高清 | 亚洲美女黄片视频| 在线观看午夜福利视频| 色综合婷婷激情| 亚洲成人免费av在线播放| 国产成人精品无人区| 色尼玛亚洲综合影院| 天堂俺去俺来也www色官网| 亚洲精品美女久久久久99蜜臀| 国产成人一区二区三区免费视频网站| 女性被躁到高潮视频| 国产av一区二区精品久久| 黄片大片在线免费观看| 亚洲欧美一区二区三区久久| 久久天堂一区二区三区四区| 在线观看免费午夜福利视频| 热99国产精品久久久久久7| 日本 av在线| 高清毛片免费观看视频网站 | 精品国产美女av久久久久小说| 两性夫妻黄色片| 亚洲国产欧美网| 午夜免费成人在线视频| 女性生殖器流出的白浆| av福利片在线| 18禁黄网站禁片午夜丰满| 88av欧美| 免费在线观看黄色视频的| 免费一级毛片在线播放高清视频 | 午夜精品在线福利| 色综合欧美亚洲国产小说| 亚洲一区二区三区不卡视频| 最新美女视频免费是黄的| 国产成+人综合+亚洲专区| 精品国产超薄肉色丝袜足j| 两个人免费观看高清视频| 久久人妻熟女aⅴ| 热99re8久久精品国产| 自拍欧美九色日韩亚洲蝌蚪91| 激情在线观看视频在线高清| 久久狼人影院| 亚洲av成人av| 亚洲五月天丁香| 高清av免费在线| 亚洲在线自拍视频| 国产激情欧美一区二区| 亚洲午夜精品一区,二区,三区| 男人舔女人下体高潮全视频| 欧美激情极品国产一区二区三区| 桃红色精品国产亚洲av| 日本一区二区免费在线视频| 黄色丝袜av网址大全| 黄网站色视频无遮挡免费观看| 国产精品国产av在线观看| av网站免费在线观看视频| 日本撒尿小便嘘嘘汇集6| 一级毛片高清免费大全| 日本黄色视频三级网站网址| 国产精品久久久av美女十八| 岛国视频午夜一区免费看| cao死你这个sao货| 多毛熟女@视频| 777久久人妻少妇嫩草av网站| 国产精品久久久人人做人人爽| 国产成人精品无人区| 精品久久蜜臀av无| 欧美乱码精品一区二区三区| 亚洲自拍偷在线| 一个人免费在线观看的高清视频| 极品人妻少妇av视频| 看片在线看免费视频| 欧美亚洲日本最大视频资源| 18禁国产床啪视频网站| 免费不卡黄色视频| 激情视频va一区二区三区| 久久中文字幕一级| xxxhd国产人妻xxx| 日韩欧美一区二区三区在线观看| 精品国产一区二区久久| 亚洲精品在线美女| 中文字幕人妻丝袜制服| 窝窝影院91人妻| 日本欧美视频一区| 国产国语露脸激情在线看| 一边摸一边抽搐一进一出视频| 99国产精品免费福利视频| 女人精品久久久久毛片| 美女午夜性视频免费| 51午夜福利影视在线观看| 精品一区二区三区av网在线观看| 丁香欧美五月| 精品久久久久久电影网| 欧美日韩黄片免| 欧美激情高清一区二区三区| 99国产精品99久久久久| 99精品欧美一区二区三区四区| 亚洲成国产人片在线观看| 999久久久精品免费观看国产| 久久中文字幕人妻熟女| 亚洲精品久久午夜乱码| 丁香欧美五月| 操美女的视频在线观看| 999久久久国产精品视频| 母亲3免费完整高清在线观看| 国产1区2区3区精品| 久久精品aⅴ一区二区三区四区| 99精品久久久久人妻精品| 色婷婷久久久亚洲欧美| 黄色视频,在线免费观看| 亚洲情色 制服丝袜| 一级a爱片免费观看的视频| 欧美成狂野欧美在线观看| 真人做人爱边吃奶动态| 99精品欧美一区二区三区四区| 精品午夜福利视频在线观看一区| 999久久久国产精品视频| 国产精品 国内视频| 国产成人精品久久二区二区免费| 99在线人妻在线中文字幕| 精品久久久久久成人av| 美女大奶头视频| 国产av又大| 欧美日韩精品网址| 中文字幕人妻丝袜制服| 精品国产国语对白av| 99热只有精品国产| 夫妻午夜视频| 亚洲第一av免费看| 成人国语在线视频| 91字幕亚洲| 十八禁人妻一区二区| 欧美性长视频在线观看| 一个人免费在线观看的高清视频| 国产激情欧美一区二区| 88av欧美| 国产aⅴ精品一区二区三区波| 在线视频色国产色| 很黄的视频免费| 亚洲欧美激情在线| 国产精品 国内视频| 久久精品亚洲精品国产色婷小说| 露出奶头的视频| 91大片在线观看| 欧美在线黄色| 成人国语在线视频| 午夜免费成人在线视频| 午夜精品久久久久久毛片777| 国产乱人伦免费视频| 成人免费观看视频高清| 精品国内亚洲2022精品成人| 午夜福利一区二区在线看| 亚洲成国产人片在线观看| 亚洲专区中文字幕在线| 在线观看日韩欧美| 黄色 视频免费看| 老鸭窝网址在线观看| 欧美日韩国产mv在线观看视频| 亚洲精品一二三| 一级片'在线观看视频| 欧美+亚洲+日韩+国产| a在线观看视频网站| 亚洲va日本ⅴa欧美va伊人久久| 午夜福利免费观看在线| 国产精品电影一区二区三区| 老汉色av国产亚洲站长工具| 午夜免费鲁丝| 宅男免费午夜| 国产精品一区二区在线不卡| 在线观看一区二区三区| 亚洲第一欧美日韩一区二区三区| 亚洲欧美日韩无卡精品| 国产亚洲欧美98| 一进一出抽搐gif免费好疼 | 一进一出抽搐gif免费好疼 | 国产一区在线观看成人免费| 色婷婷av一区二区三区视频| 伊人久久大香线蕉亚洲五| 国产精品偷伦视频观看了| 亚洲一区中文字幕在线| 日本a在线网址| 美女福利国产在线| 欧美激情极品国产一区二区三区| 窝窝影院91人妻| 美女高潮喷水抽搐中文字幕| 久久久久久久久免费视频了| 18禁国产床啪视频网站| 最新美女视频免费是黄的| 久久亚洲精品不卡| 亚洲精品国产一区二区精华液| 久久久国产欧美日韩av| 亚洲一区高清亚洲精品| 久久久久亚洲av毛片大全| 久久久久久久久久久久大奶| 日本三级黄在线观看| 一边摸一边做爽爽视频免费| 亚洲激情在线av| 国产熟女午夜一区二区三区| 亚洲午夜精品一区,二区,三区| 亚洲九九香蕉| 欧美乱色亚洲激情| 极品教师在线免费播放| 亚洲av成人一区二区三| 国产成人精品在线电影| 亚洲中文日韩欧美视频| 亚洲精品粉嫩美女一区| 国产精品电影一区二区三区| 中文字幕人妻丝袜一区二区| 免费在线观看日本一区| 十八禁网站免费在线| 久久影院123| 国产免费av片在线观看野外av| 久久久久国产一级毛片高清牌| 久久久久亚洲av毛片大全| 国产国语露脸激情在线看| 午夜视频精品福利| 国产极品粉嫩免费观看在线| 精品电影一区二区在线| 操出白浆在线播放| 久久欧美精品欧美久久欧美| 日韩有码中文字幕| 纯流量卡能插随身wifi吗| 国产精华一区二区三区| 精品一区二区三区视频在线观看免费 | 久久午夜亚洲精品久久| 国产无遮挡羞羞视频在线观看| 黄片大片在线免费观看| 不卡一级毛片| 日韩有码中文字幕| 乱人伦中国视频| 99热国产这里只有精品6| 超碰97精品在线观看| 中文欧美无线码| 成年版毛片免费区| 视频在线观看一区二区三区| 亚洲人成网站在线播放欧美日韩| 欧美成狂野欧美在线观看| 热re99久久精品国产66热6| 大香蕉久久成人网| 亚洲熟女毛片儿| 1024视频免费在线观看| 亚洲五月色婷婷综合| 久久精品91无色码中文字幕| 在线观看66精品国产| 最近最新免费中文字幕在线| 午夜两性在线视频| 两性夫妻黄色片| 欧美日韩黄片免| 男人操女人黄网站| 欧美一区二区精品小视频在线| 午夜精品久久久久久毛片777| 99久久久亚洲精品蜜臀av| 在线观看日韩欧美| 婷婷精品国产亚洲av在线| 久久久精品国产亚洲av高清涩受| 涩涩av久久男人的天堂| 久久精品国产99精品国产亚洲性色 | 丰满饥渴人妻一区二区三| 国产精品成人在线| 国产高清视频在线播放一区| 久久久精品国产亚洲av高清涩受| 婷婷精品国产亚洲av在线| 亚洲成a人片在线一区二区| 人人妻,人人澡人人爽秒播| 欧美日韩福利视频一区二区| 999久久久国产精品视频| 99久久国产精品久久久| 免费看a级黄色片| 亚洲精品久久成人aⅴ小说| 人妻久久中文字幕网| 啦啦啦免费观看视频1| 熟女少妇亚洲综合色aaa.| 日韩欧美一区视频在线观看| 中文字幕最新亚洲高清| 日本精品一区二区三区蜜桃| 一级毛片精品| 天天添夜夜摸| 国产免费男女视频| 人成视频在线观看免费观看| 亚洲熟女毛片儿| 午夜精品在线福利| 国产欧美日韩一区二区三区在线| 精品国产一区二区久久| 亚洲国产精品sss在线观看 | 亚洲欧美日韩无卡精品| 法律面前人人平等表现在哪些方面| 在线永久观看黄色视频| 淫妇啪啪啪对白视频| 亚洲精品美女久久久久99蜜臀| 一级毛片女人18水好多| 国产一区二区三区在线臀色熟女 | 久久天躁狠狠躁夜夜2o2o| 欧美不卡视频在线免费观看 | 黄色 视频免费看| 国产精品美女特级片免费视频播放器 | 久久久国产欧美日韩av| www.精华液| 亚洲成人国产一区在线观看| 看免费av毛片| 99国产综合亚洲精品| 色婷婷久久久亚洲欧美| 99riav亚洲国产免费| 色哟哟哟哟哟哟| 欧美日韩福利视频一区二区| 亚洲成人精品中文字幕电影 | 亚洲欧美日韩另类电影网站| 91成年电影在线观看| 欧美日韩国产mv在线观看视频| 久久人妻熟女aⅴ| 亚洲午夜精品一区,二区,三区| 亚洲一区二区三区欧美精品| 黄色 视频免费看| 美女 人体艺术 gogo| 久久国产乱子伦精品免费另类| 99久久综合精品五月天人人| av视频免费观看在线观看| 黄片播放在线免费| 成人免费观看视频高清| 热99国产精品久久久久久7| 一级,二级,三级黄色视频| 午夜两性在线视频| 国产色视频综合| 三上悠亚av全集在线观看| 两人在一起打扑克的视频| 午夜福利欧美成人| 国产高清videossex| 欧美黑人欧美精品刺激| 男男h啪啪无遮挡| 国产伦人伦偷精品视频| 亚洲专区国产一区二区| av福利片在线| 搡老岳熟女国产| 久久久久精品国产欧美久久久| 88av欧美| 女人爽到高潮嗷嗷叫在线视频| 久久精品国产亚洲av高清一级| 亚洲五月色婷婷综合| 亚洲一卡2卡3卡4卡5卡精品中文| 天天躁狠狠躁夜夜躁狠狠躁| 丰满人妻熟妇乱又伦精品不卡| 免费在线观看完整版高清| 在线观看免费高清a一片| 丝袜美腿诱惑在线| 国产精品1区2区在线观看.| tocl精华| 波多野结衣av一区二区av| 国内久久婷婷六月综合欲色啪| 日本黄色日本黄色录像| 搡老熟女国产l中国老女人| 精品福利永久在线观看| 免费在线观看影片大全网站| www国产在线视频色| 久久天堂一区二区三区四区| 啦啦啦在线免费观看视频4| 成在线人永久免费视频| 国产精品1区2区在线观看.| 欧美色视频一区免费| 99国产极品粉嫩在线观看| 精品午夜福利视频在线观看一区| 亚洲男人天堂网一区| 男男h啪啪无遮挡| 国产成人精品久久二区二区91| 精品国产亚洲在线| e午夜精品久久久久久久| av在线播放免费不卡| 国产片内射在线| 五月开心婷婷网| 欧美乱色亚洲激情| 午夜亚洲福利在线播放| 亚洲午夜理论影院| 午夜福利在线免费观看网站| 熟女少妇亚洲综合色aaa.| av天堂在线播放| 免费不卡黄色视频| 丁香欧美五月| 黄片播放在线免费| 日韩欧美免费精品| 国产精品亚洲一级av第二区| 18禁黄网站禁片午夜丰满| 日韩 欧美 亚洲 中文字幕| 国产成人av激情在线播放| 国产一区二区三区在线臀色熟女 | 久9热在线精品视频| 国产男靠女视频免费网站| 在线播放国产精品三级| 国产精品爽爽va在线观看网站 | 男女高潮啪啪啪动态图| 成人亚洲精品一区在线观看| 亚洲av五月六月丁香网| 国产精品美女特级片免费视频播放器 | 黄片小视频在线播放| 男男h啪啪无遮挡| 国产精品久久久久久人妻精品电影| 精品一区二区三区视频在线观看免费 | 咕卡用的链子| 午夜免费激情av| 韩国精品一区二区三区| www.精华液| 成人免费观看视频高清| 国产精品1区2区在线观看.| 国产国语露脸激情在线看| 亚洲片人在线观看| 一级毛片高清免费大全| 中亚洲国语对白在线视频| 99久久久亚洲精品蜜臀av| 婷婷丁香在线五月| 国产黄a三级三级三级人| 日韩精品中文字幕看吧| 久99久视频精品免费| 在线观看免费视频网站a站| 精品国内亚洲2022精品成人| 99国产精品一区二区蜜桃av| 成人av一区二区三区在线看| 国产精品久久电影中文字幕| 久久精品人人爽人人爽视色| 国产精品99久久99久久久不卡| 99久久国产精品久久久| 另类亚洲欧美激情| 精品国产国语对白av| 国产成人影院久久av| 国产三级在线视频| 国产精品一区二区免费欧美| 51午夜福利影视在线观看| 国产成人欧美| 自拍欧美九色日韩亚洲蝌蚪91| 国产欧美日韩精品亚洲av| 亚洲一区中文字幕在线| 女警被强在线播放| 男女做爰动态图高潮gif福利片 | 一级黄色大片毛片| 桃色一区二区三区在线观看| 国产精品二区激情视频| 欧美性长视频在线观看| 精品熟女少妇八av免费久了| 欧美黑人精品巨大| 一区二区三区国产精品乱码| 老鸭窝网址在线观看| 身体一侧抽搐| x7x7x7水蜜桃| 亚洲第一av免费看| 在线av久久热| 久久久久久久久中文| 丝袜美腿诱惑在线| 国产精品乱码一区二三区的特点 | 亚洲九九香蕉| 日韩精品中文字幕看吧| 国产精品久久久久久人妻精品电影| 久久久久久免费高清国产稀缺| 黄色片一级片一级黄色片| 在线观看一区二区三区| 人人妻人人添人人爽欧美一区卜| 亚洲av美国av| 可以在线观看毛片的网站| 国产精品98久久久久久宅男小说| 日韩大码丰满熟妇| 国产精品综合久久久久久久免费 | 人成视频在线观看免费观看| 侵犯人妻中文字幕一二三四区| 午夜精品久久久久久毛片777| 涩涩av久久男人的天堂| 高清在线国产一区| 女性生殖器流出的白浆| 成年版毛片免费区| 久9热在线精品视频| 美女大奶头视频| 精品一区二区三区av网在线观看| 香蕉丝袜av| 变态另类成人亚洲欧美熟女 | 视频区图区小说| 欧美在线黄色| 成人影院久久| 成人免费观看视频高清| 成人永久免费在线观看视频| 69av精品久久久久久| 国产精品亚洲一级av第二区| 别揉我奶头~嗯~啊~动态视频| 成人三级黄色视频| 国产精品电影一区二区三区| 国产黄色免费在线视频| 亚洲国产精品999在线| 可以在线观看毛片的网站| www.www免费av| 巨乳人妻的诱惑在线观看| 男男h啪啪无遮挡| 国产色视频综合| 一区二区日韩欧美中文字幕| 91九色精品人成在线观看| 欧美成狂野欧美在线观看|