• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于模板的中文上下位關(guān)系抽取方法

    2022-01-28 04:31:16黃賽豪陸凱華李正華
    關(guān)鍵詞:詞法句法語(yǔ)料

    章 岳 黃賽豪 陸凱華 李正華

    (蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 蘇州 215006)

    0 引 言

    近年來(lái),隨著深度學(xué)習(xí)的發(fā)展,自然語(yǔ)言處理作為人工智能領(lǐng)域的一個(gè)主要分支且不斷取得重大的突破。將基于深度學(xué)習(xí)的自然語(yǔ)言處理模型融入知識(shí)并進(jìn)行自動(dòng)化推理是目前比較主流的做法,其中知識(shí)的定義、獲取和分類是亟需解決的問(wèn)題。上下位關(guān)系在自然語(yǔ)言知識(shí)體系中占有非常重要的地位,它是描述事物層次關(guān)系的基礎(chǔ),可以作為詞語(yǔ)關(guān)系網(wǎng)絡(luò)的核心骨架。根據(jù)WordNet[1]的定義,給定兩個(gè)詞語(yǔ)x和y,如果句子“x是一種|類|個(gè)|部|…|y”是可以接受的,則稱y是x的上位詞(hypernym),x是y的下位詞(hyponym),上下位關(guān)系記為hyponymy(x,y)。例如,句子“蘋果是一種水果”是可以接受的,因此“蘋果”和“水果”具有上下位關(guān)系hyponymy(蘋果,水果)。很顯然,上下位關(guān)系是非對(duì)稱的,如果x是y的上位詞,則y一定不是x的上位詞。

    上下位知識(shí)庫(kù)可廣泛運(yùn)用于自然語(yǔ)言處理任務(wù)中。早期的詞語(yǔ)知識(shí)庫(kù)通常是人工構(gòu)建的,因此需要耗費(fèi)大量人力,主要有WordNet[1]、同義詞詞林[2]和HowNet[3]等。此類知識(shí)庫(kù)的準(zhǔn)確度較高,但是包含的上下位關(guān)系詞對(duì)較少。隨著技術(shù)的進(jìn)步,近期的知識(shí)庫(kù)構(gòu)建工作通常圍繞自動(dòng)化的方法展開(kāi)。哈爾濱工業(yè)大學(xué)推出的大詞林[4]是自動(dòng)構(gòu)建的大規(guī)模開(kāi)放域中文實(shí)體知識(shí)庫(kù),包括1 200萬(wàn)高質(zhì)量的上下位關(guān)系詞對(duì),其中大部分為“概念詞-實(shí)體詞”類型。

    上下位關(guān)系可以從結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)中自動(dòng)獲取?;诮Y(jié)構(gòu)化數(shù)據(jù)的方法雖然準(zhǔn)確度較高,但是受限于數(shù)據(jù)規(guī)模無(wú)法獲取大量詞對(duì),而互聯(lián)網(wǎng)中海量的非結(jié)構(gòu)化數(shù)據(jù)正為上下位關(guān)系的抽取提供了豐富的資源?,F(xiàn)階段,從非結(jié)構(gòu)化數(shù)據(jù)中獲取上下位關(guān)系通常采用兩種方法,分別為基于模板的方法和基于詞語(yǔ)分布相似度的方法。本文主要研究由Hearst[5]提出的基于模板的方法,其基本思想是使用人工或自動(dòng)獲取的模板在語(yǔ)料庫(kù)中進(jìn)行規(guī)則匹配或分類器訓(xùn)練,從而獲得上下位詞對(duì)。這里的模板指的是符合自然語(yǔ)言習(xí)慣的句型結(jié)構(gòu)[6]。

    基于模板的方法主要使用以下兩類模板[7]:只利用分詞、詞性信息的詞法模板(Lexical pattern,LP)和額外加入句法信息的依存句法模板(Dependency pattern,DP)。然而,目前學(xué)術(shù)界尚缺乏對(duì)這兩類模板性能的全面客觀的實(shí)驗(yàn)對(duì)比。特別是在深度學(xué)習(xí)時(shí)代,句法分析性能[8]和句法樹(shù)庫(kù)建設(shè)[9]均取得較大突破。在此背景下對(duì)兩類模板性能的深入分析和比較,一方面可以更深入地理解基于模板的方法,另一方面也為兩類模板的融合提供支持。

    本文選取了四種主流上下位相關(guān)句型,在每種句型上分別定義了詞法模板和依存句法模板。采用約3 000萬(wàn)句百度百科和約760萬(wàn)句維基百科中文語(yǔ)料作為無(wú)標(biāo)注文本,利用基于深度學(xué)習(xí)的高精度詞法和句法分析器獲取詞法和依存句法結(jié)果,進(jìn)而根據(jù)兩類模板自動(dòng)匹配上下位關(guān)系候選詞對(duì),最后從不同類別中隨機(jī)抽樣2 800個(gè)詞對(duì)進(jìn)行人工標(biāo)注。本文制定了詳細(xì)的標(biāo)注規(guī)范,嚴(yán)格采用雙人標(biāo)注和專家審核的流程,確保評(píng)價(jià)數(shù)據(jù)的可靠性。

    本文重點(diǎn)關(guān)注概念詞之間的上下位關(guān)系,因此使用了《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》、同義詞詞林和HowNet中的84 742個(gè)名詞(概念詞和少量常用實(shí)體詞)作為上下位詞語(yǔ)的范圍。

    1 相關(guān)工作

    1.1 現(xiàn)有上下位知識(shí)庫(kù)

    現(xiàn)有包含上下位關(guān)系的知識(shí)庫(kù)主要有WordNet、同義詞詞林、HowNet和大詞林等。其中,WordNet、同義詞詞林和HowNet均采用人工標(biāo)注的方式進(jìn)行構(gòu)建,而大詞林則采用自動(dòng)加少量人工的方法構(gòu)建。

    WordNet[1]是目前最重要、涵蓋詞語(yǔ)關(guān)系范圍最廣的英文語(yǔ)義詞典,它通過(guò)同義詞集(synset)和定義(gloss)來(lái)描述詞義,同義詞集之間有指針指示它們的語(yǔ)義關(guān)系,包括近義、反義、上下位和部分整體等多種關(guān)系。WordNet共有155 287個(gè)詞型和206 941個(gè)詞義,名詞、動(dòng)詞、形容詞、副詞各自組成互不干擾的同義詞網(wǎng)絡(luò)。其中,上下位關(guān)系是WordNet中組織名詞關(guān)系網(wǎng)絡(luò)的基本架構(gòu)。

    同義詞詞林[2]是一個(gè)被廣泛使用的中文詞語(yǔ)關(guān)系知識(shí)庫(kù)。它只包含詞,而不含詞的定義。它將53 859個(gè)詞語(yǔ)劃分為12個(gè)大類、97個(gè)中類和1 400個(gè)小類,形成了一個(gè)樹(shù)狀層次結(jié)構(gòu),每個(gè)節(jié)點(diǎn)(或類)都對(duì)應(yīng)一個(gè)詞語(yǔ)集合。同義詞詞林主要目的是刻畫詞語(yǔ)之間的同義性、近義性、相關(guān)性。兩個(gè)詞在樹(shù)中的距離越近,則說(shuō)明它們的詞義越相近或相關(guān)。同時(shí),樹(shù)狀層次結(jié)構(gòu)也在一定程度上體現(xiàn)了上下位關(guān)系,例如上層詞語(yǔ)通常是下層詞語(yǔ)的上位詞。近年來(lái),哈爾濱工業(yè)大學(xué)又對(duì)基礎(chǔ)版同義詞詞林進(jìn)行了擴(kuò)展[10]。擴(kuò)展版同義詞詞林含有77 343個(gè)詞語(yǔ),并將原有的3層樹(shù)狀結(jié)構(gòu)擴(kuò)展為5層樹(shù)狀結(jié)構(gòu),新增了詞群和原子詞群。詞群是小類的細(xì)分,它可進(jìn)一步分解為原子詞群,原子詞群與詞群之間可能出現(xiàn)重復(fù)。擴(kuò)展版同義詞詞林具有更為細(xì)致的層次結(jié)構(gòu),隱含了更多上下位關(guān)系。

    HowNet[3]也是一個(gè)應(yīng)用廣泛的中文語(yǔ)言知識(shí)庫(kù),它使用無(wú)法再細(xì)分的最小語(yǔ)義單位義原(sememe)來(lái)描述詞匯和詞義。義原體系的優(yōu)勢(shì)是可直接作為語(yǔ)義標(biāo)簽融入機(jī)器學(xué)習(xí)模型,在詞匯相似度計(jì)算[11]、文本分類[12]和信息檢索[13]等方面具有很高的實(shí)際應(yīng)用價(jià)值。HowNet擁有2 468個(gè)義原,并在此基礎(chǔ)上人工標(biāo)注了118 347個(gè)中文詞和104 027個(gè)英文詞的語(yǔ)義信息,共包含212 541個(gè)義項(xiàng)和116個(gè)動(dòng)態(tài)角色。How-Net中描述了8種義原關(guān)系,上下位關(guān)系是其中之一,詞語(yǔ)間的上下位關(guān)系由詞語(yǔ)的義原間的上下位關(guān)系來(lái)確定。

    總體而言,WordNet、同義詞詞林、HowNet這三個(gè)知識(shí)庫(kù)層次清晰,準(zhǔn)確度較高,許多學(xué)者對(duì)其應(yīng)用進(jìn)行了深入的探索[11-14]。但是,此類知識(shí)庫(kù)的維護(hù)需要大量的成本,更新緩慢,詞語(yǔ)覆蓋率較低[15]。此外,它們的關(guān)注點(diǎn)不限于上下位關(guān)系,因此上下位詞對(duì)的規(guī)模比較有限。

    與上述人工構(gòu)建的知識(shí)庫(kù)不同,大詞林則是自動(dòng)構(gòu)建的大規(guī)模開(kāi)放域中文實(shí)體知識(shí)庫(kù)[4]。開(kāi)放域意味著實(shí)體的類型是開(kāi)放可擴(kuò)展的,不局限于一個(gè)預(yù)先定義的實(shí)體類別體系。相比于傳統(tǒng)命名實(shí)體,它的類別更多、更細(xì)。大詞林以擴(kuò)展版同義詞詞林作為核心骨架,通過(guò)自動(dòng)化方法在已有節(jié)點(diǎn)上掛靠了大量的開(kāi)放域?qū)嶓w詞,并進(jìn)一步進(jìn)行實(shí)體類別層次化處理,其中包含約50 000個(gè)“概念詞-概念詞”類型的上下位關(guān)系詞對(duì)、12 081 984個(gè)“概念詞-實(shí)體詞”類型的上下位關(guān)系詞對(duì)。以大詞林為代表的這一類自動(dòng)構(gòu)建的知識(shí)庫(kù),它們的規(guī)??梢噪S著互聯(lián)網(wǎng)中實(shí)體詞的更新而擴(kuò)大,很好地解決了以往人工構(gòu)建方法成本高、更新慢、覆蓋率低的問(wèn)題??梢钥闯觯笤~林中絕大部分上下位關(guān)系屬于“概念詞-實(shí)體詞”類型。這種以概念詞作為骨架掛靠實(shí)體詞的知識(shí)庫(kù)構(gòu)建方法,對(duì)于“概念詞-概念詞”類型的上下位關(guān)系詞對(duì)的覆蓋面非常有限。但是,“概念詞-概念詞”類型的上下位關(guān)系畢竟能在詞語(yǔ)上下位關(guān)系網(wǎng)絡(luò)中起到核心骨架作用,也更能表達(dá)人類的常識(shí)知識(shí)。另外,大詞林?jǐn)?shù)據(jù)目前還不能公開(kāi)訪問(wèn)和獲取。

    本文以“概念詞-概念詞”類型的上下位關(guān)系為主要研究目標(biāo),深入比較了基于詞法模板和依存句法模板的上下位關(guān)系自動(dòng)獲取方法,并通過(guò)隨機(jī)采樣和較大規(guī)模的人工標(biāo)注取得性能指標(biāo)。

    1.2 上下位關(guān)系自動(dòng)獲取方法研究

    當(dāng)前,主流的上下位關(guān)系自動(dòng)獲取方法可按數(shù)據(jù)的來(lái)源分為基于結(jié)構(gòu)化數(shù)據(jù)的方法和基于非結(jié)構(gòu)化數(shù)據(jù)的方法。

    基于結(jié)構(gòu)化數(shù)據(jù)的方法是對(duì)已有的詞典、百科全書等結(jié)構(gòu)化電子資源進(jìn)行分析,獲取隱含的上下位關(guān)系。Ponzetto等[16]利用維基百科的分類系統(tǒng)構(gòu)建維基百科中詞條的語(yǔ)義網(wǎng)絡(luò),并對(duì)網(wǎng)絡(luò)中的上下位關(guān)系進(jìn)行了抽取。程韻如等[17]針對(duì)維基百科中旅游領(lǐng)域詞條的結(jié)構(gòu)特點(diǎn),嘗試?yán)媒Y(jié)構(gòu)特點(diǎn)自動(dòng)獲取特定結(jié)構(gòu)的領(lǐng)域命名實(shí)體和層次結(jié)構(gòu)。這一類方法雖然準(zhǔn)確度較高,但會(huì)受到結(jié)構(gòu)化數(shù)據(jù)本身規(guī)模的影響。

    互聯(lián)網(wǎng)中的結(jié)構(gòu)化數(shù)據(jù)需要人工進(jìn)行構(gòu)建與維護(hù),其規(guī)模畢竟是有限的。然而,隨著Web的發(fā)展,網(wǎng)絡(luò)中積累了海量的非結(jié)構(gòu)化數(shù)據(jù),如新聞文本、博客文本和評(píng)論文本等,可為上下位關(guān)系的獲取提供豐富的資源。所以,目前研究主要關(guān)注基于非結(jié)構(gòu)化數(shù)據(jù)的方法,它大致可分為基于模板的方法和基于詞語(yǔ)分布相似度的方法。

    基于模板的方法對(duì)人類的語(yǔ)言習(xí)慣進(jìn)行分析,通過(guò)給定一些上下位關(guān)系出現(xiàn)頻繁的句型結(jié)構(gòu)(模板),從語(yǔ)料中挖掘符合模板的上下位詞對(duì)。Hearst[5]最早提出利用詞法-句法模板在大規(guī)模文本中自動(dòng)匹配上下位關(guān)系,其定義了六種常見(jiàn)的英文模板,在“Grolier’s Encyclopedias”的文本中進(jìn)行了抽取實(shí)驗(yàn),并將所得結(jié)果與WordNet進(jìn)行了對(duì)比,準(zhǔn)確度可以達(dá)到57.55%。劉磊等[18]較早研究了基于模板的中文上下位關(guān)系詞對(duì)抽取,首先利用半自動(dòng)獲取的詞典和句型對(duì)符合“是一個(gè)”模板的句子進(jìn)行分析,然后根據(jù)不同的規(guī)則,分流匹配獲取上下位關(guān)系,在中文語(yǔ)料中的實(shí)驗(yàn)結(jié)果令人滿意。上述工作都是基于規(guī)則匹配的,此外模板信息也可作為特征訓(xùn)練分類器來(lái)識(shí)別新的上下位關(guān)系。Snow等[19]以WordNet中已有的上下位詞對(duì)作為種子,采用自舉方法(bootstrapping)迭代獲取了大量依存句法模板,并利用這些模板訓(xùn)練了一個(gè)邏輯回歸(Logistic regression,LR)分類器,對(duì)句子中隱含的名詞對(duì)進(jìn)行關(guān)系判別。

    基于詞語(yǔ)分布相似度的方法主要基于如下假設(shè):下位詞的上下文是其上位詞的上下文的一個(gè)真子集。該方法利用詞語(yǔ)在上下文中的統(tǒng)計(jì)信息來(lái)判斷給定詞對(duì)是否符合上下位關(guān)系。Weeds等[20]提出了一種簡(jiǎn)單直觀的利用詞語(yǔ)上下文信息計(jì)算上下位關(guān)系概率的公式。Szpektor等[21]對(duì)文獻(xiàn)[20]方法進(jìn)行了改進(jìn),將其與文獻(xiàn)[22]提出的詞匯相似度計(jì)算方法進(jìn)行了融合,可以避免詞語(yǔ)分布不平衡導(dǎo)致的問(wèn)題。Shi等[23]將基于模板的方法和基于詞語(yǔ)分布相似度的方法進(jìn)行了比較,發(fā)現(xiàn)基于模板的方法更適合用于名詞間上下位關(guān)系獲取,而基于詞語(yǔ)分布相似度的方法更適用于其他詞性的詞語(yǔ)。

    除此之外,一些學(xué)者嘗試將不同方法進(jìn)行融合。Fu等[24]提出了一種開(kāi)放域多資源上位詞發(fā)現(xiàn)方法,融合了詞典資源、搜索信息和詞匯形態(tài)。孫佳偉等[25]提出在分類器中同時(shí)使用模板特征和詞語(yǔ)分布特征,有效提高了上下位分類器的性能。

    1.3 模板性能比較研究

    基于模板的方法通常利用詞法或依存句法兩類模板?;谠~法模板的方法考慮了詞信息,通過(guò)選取模板前后的特定詞語(yǔ)作為上下位候選詞對(duì)。它只需進(jìn)行簡(jiǎn)單的語(yǔ)料預(yù)處理工作,效率較高。Pantel等[26]采取該方法進(jìn)行了上下位關(guān)系和模板的迭代抽取。而基于依存句法模板的方法則是先對(duì)待處理句子進(jìn)行依存句法分析,然后按照現(xiàn)有的模板,通過(guò)依存句法路徑抽取上下位關(guān)系。Snow等[19]將詞語(yǔ)對(duì)用它們之間依存句法路徑的集合來(lái)表示,在此基礎(chǔ)上訓(xùn)練了一個(gè)分類器來(lái)識(shí)別新的上下位關(guān)系。此外,早期的上下位關(guān)系抽取任務(wù)中也經(jīng)常采用基于正則表達(dá)式匹配的字符串模板(String patter,SP)?;谧址0宓姆椒ú皇褂脗鹘y(tǒng)的分詞、詞性標(biāo)注等自然語(yǔ)言處理技術(shù),而是采取語(yǔ)料分流處理后進(jìn)行正則表達(dá)式匹配的方式進(jìn)行抽取。這種方法易于實(shí)現(xiàn),對(duì)于簡(jiǎn)單句子的抽取效果較好,但對(duì)于句子結(jié)構(gòu)較為復(fù)雜的情況,常常需要耗費(fèi)大量時(shí)間對(duì)語(yǔ)料進(jìn)行分流和構(gòu)建剝離、過(guò)濾和歧義詞典[18]。

    在英文等其他語(yǔ)言方面,已有不少學(xué)者關(guān)注不同模板性能的比較。Sang等[7]用bootstrapping方法自動(dòng)獲取到的詞法模板和依存句法模板分別訓(xùn)練了兩個(gè)上下位關(guān)系分類器,并在荷蘭語(yǔ)語(yǔ)料中進(jìn)行了實(shí)驗(yàn),發(fā)現(xiàn)相較于詞法模板,盡管依存句法模板利用了更多的句子信息,但并沒(méi)有展現(xiàn)出明顯更好的準(zhǔn)確度和召回度。而Jijkoun等[27]的實(shí)驗(yàn)則發(fā)現(xiàn)利用依存句法模板抽取得到的信息可以顯著地提升一個(gè)知識(shí)問(wèn)答系統(tǒng)的性能。但是,一方面中文的句法結(jié)構(gòu)和荷蘭語(yǔ)、英語(yǔ)等差別較大,也沒(méi)有詞根的概念,另一方面由于中文的表達(dá)方式更靈活,bootstrapping等方法在中文中所能獲取到的高質(zhì)量模板更稀少[28],所以這些國(guó)外學(xué)者所得到的結(jié)果并不能簡(jiǎn)單地遷移到中文上。

    在中文方面,目前尚欠缺模板間性能比較的實(shí)驗(yàn),學(xué)者們更多地關(guān)注于多種模板的融合抽取。湯青等[29]以匹配“是一個(gè)”模板的句子作為研究對(duì)象,提出了一種字符串模板與句法模板相結(jié)合的上下位關(guān)系抽取方法,將中文語(yǔ)料依據(jù)規(guī)則劃分為簡(jiǎn)單句和復(fù)雜句,針對(duì)簡(jiǎn)單句采用字符串模板進(jìn)行抽取,針對(duì)復(fù)雜句采用依存句法模板進(jìn)行抽取,兼顧了準(zhǔn)確度、召回度和效率。陳金棟等[30]結(jié)合強(qiáng)句法模板和語(yǔ)義模板,提出一套新穎的框架從語(yǔ)料中抽取上下位關(guān)系,抽取過(guò)程中將字符串模板與依存句法模板融合,在中英文語(yǔ)料中的實(shí)驗(yàn)表明這種融合方法可以提升準(zhǔn)確度和召回度。

    2 上下位關(guān)系模板

    現(xiàn)階段,國(guó)內(nèi)大部分基于模板的工作所采用的中文模板都借鑒了Hearst提出的英文模板[5]。本文工作參考前人總結(jié)的中文Hearst模板,選取了其中最為有效的四種句型[30],如表1所示。對(duì)于每一種句型,本文分別給出它們各自的詞法模板和依存句法模板的定義。其中,N1表示下位詞,N2表示上位詞。

    表1 中文句型示例

    表2給出了匹配上述四種中文上下位相關(guān)句型的例句。

    表2 匹配表1中句型的例句

    2.1 詞法模板

    本文采用了兩種不同的模板對(duì)大規(guī)模中文語(yǔ)料進(jìn)行上下位關(guān)系抽取,第一種模板是詞法模板,它僅需用到句子中的詞信息。此方法的語(yǔ)料預(yù)處理過(guò)程需要以下兩個(gè)步驟:

    Step1對(duì)待抽取句子進(jìn)行分詞。

    Step2對(duì)分詞的結(jié)果進(jìn)行詞性標(biāo)注。

    需要注意的是,在詞法模板的實(shí)際匹配過(guò)程中,不僅要求詞匹配一致,還要求詞性匹配一致。

    本文采用蘇州大學(xué)開(kāi)放的漢語(yǔ)理解平臺(tái)(CUP)(http://hlt-la.suda.edu.cn/)進(jìn)行語(yǔ)料預(yù)處理工作,對(duì)例句“蘋果是一種水果”的分析結(jié)果如圖1所示。

    圖1 詞法模板語(yǔ)料預(yù)處理結(jié)果

    本文在實(shí)驗(yàn)的過(guò)程中依據(jù)表1中的四種中文句型,給出了它們的詞法模板定義,作為抽取及比較的基礎(chǔ)。此處以符合“是一個(gè)”句型PisA的詞法模板為例說(shuō)明。

    定義1與表1中句型PisA對(duì)應(yīng)的中文詞法模板LPisA具體定義如下:

    Define constant

    //定義常量

    {

    Vis={x|x∈{是|為|系|……}}

    ATTquantifier={x|x∈{個(gè)|種|類|位|名|部|本|款|……}}

    ADVfilter={x|x∈{不|絕不|并不|可能|似乎|也許|貌似|據(jù)說(shuō)|過(guò)去|以前|……}}

    }

    Define lexical pattern

    //定義詞法模板

    {

    <&Vis>一<&ATTquantifier>

    }

    其中:“&”表示定義一個(gè)常量;“?”表示定義一個(gè)變量;“!”表示在句子中不能出現(xiàn);“N1”表示下位詞;“N2”表示上位詞;“Vis”指與“是”同義的中文謂語(yǔ);“ATTquantifier”指可做量詞的中文定語(yǔ);“ADVfilter”指需要過(guò)濾的中文狀語(yǔ)。

    2.2 依存句法模板

    基于依存句法模板的方法在輸入待抽取句子詞信息的基礎(chǔ)上,還需要額外輸入其依存句法信息。因此,其語(yǔ)料預(yù)處理過(guò)程在詞法模板的基礎(chǔ)上另外包含了第三個(gè)步驟:

    Step3標(biāo)注待抽取句子的詞之間的依存句法弧。

    通過(guò)依存句法分析,可以得到待抽取句子的依存句法樹(shù)。根據(jù)依存句法模板遍歷依存句法樹(shù),便可獲取待抽取句子中隱含的上下位關(guān)系。

    表3給出了依存句法模板中使用到的部分依存句法弧標(biāo)簽,其詳細(xì)解釋可參考蘇州大學(xué)公開(kāi)的CODT項(xiàng)目(http://hlt.suda.edu.cn/index.php/CODT)。

    表3 依存句法弧標(biāo)簽定義

    本文依據(jù)表1中的四種高置信度中文句型,在詞法模板的基礎(chǔ)上定義了依存句法模板,作為抽取及比較的基礎(chǔ)。此處以符合“是一個(gè)”句型PisA的依存句法模板為例說(shuō)明。

    定義2與表1中句型PisA對(duì)應(yīng)的中文依存句法模板DPisA具體定義如圖2所示。

    圖2 符合定義2模板的依存句法結(jié)構(gòu)

    其中,符號(hào)及常量的定義參考定義1,依存句法弧標(biāo)簽的定義參考表2。圖3為符合定義2的例句。

    圖3 符合定義2模板的句子示例

    當(dāng)句子中出現(xiàn)“Vis”被“ADVfilter”修飾時(shí),可認(rèn)為其不符合模板,如圖4所示。

    圖4 不符合定義2模板的句子示例

    2.3 模板實(shí)現(xiàn)

    對(duì)于形式上匹配前述模板的句子,即可通過(guò)規(guī)則獲取其中隱含的上下位關(guān)系。

    對(duì)于匹配詞法模板的句子,經(jīng)過(guò)觀察發(fā)現(xiàn),其上位詞、下位詞往往在核心短語(yǔ)或核心詞附近的特定位置。例如,符合定義2模板的句子“紅富士/蘋果/是/一/種/美味/的/水果”中,下位中心詞“蘋果”是核心短語(yǔ)“是一種”之前的最后一個(gè)名詞,而上位中心詞“水果”是核心短語(yǔ)“是一種”之后的最后一個(gè)名詞。依據(jù)核心短語(yǔ)對(duì)結(jié)果進(jìn)行切分,分別取左右兩側(cè)的最后一個(gè)名詞,即可得到結(jié)果hyponymy(蘋果,水果)。針對(duì)上位詞、下位詞并列問(wèn)題,基于詞法模板的方法通過(guò)并列連接詞的方式來(lái)進(jìn)行判斷,常見(jiàn)的并列連接詞有“和”“或”“以及”等。如果兩個(gè)或多個(gè)名詞之間存在這些連接詞,則認(rèn)為它們是并列的,可以被同時(shí)抽取,從而提升詞法模板的召回度。

    對(duì)于匹配依存句法模板的句子,則利用詞語(yǔ)間的依存路徑獲取上下位關(guān)系。例如,符合定義2模板的句子“紅富士/蘋果/是/一/種/美味/的/水果”中,“蘋果”為“是”的主語(yǔ),“水果”為“是”的賓語(yǔ)。通過(guò)遍歷依存句法樹(shù),尋找核心詞“是”的主語(yǔ)弧和賓語(yǔ)弧,即可得到結(jié)果hyponymy(蘋果,水果)。針對(duì)上、下位詞并列問(wèn)題,基于依存句法模板的方法可通過(guò)并列擴(kuò)展結(jié)構(gòu)來(lái)進(jìn)行分析和抽取,如圖5所示。

    圖5 并列擴(kuò)展結(jié)構(gòu)

    其中:“N1n”表示與下位詞“N1”并列的下位詞(n∈N*),“N2n”表示與上位詞“N2”并列的上位詞(n∈N*)。通過(guò)遍歷coo弧,可以完整地獲取句子中隱含的所有上下位關(guān)系。

    3 評(píng)價(jià)方法

    Sang等[7]在荷蘭語(yǔ)語(yǔ)料中進(jìn)行的模板對(duì)比實(shí)驗(yàn)利用了EuroWordNet中的上下位資源。他們假設(shè)EuroWordNet中除已標(biāo)注的上下位關(guān)系外不再存在額外的上下位關(guān)系。這種做法與實(shí)際情況差異較大,因?yàn)闊o(wú)論何種知識(shí)庫(kù)中的上下位資源都不可能是全面的。考慮到上述問(wèn)題,本文采用準(zhǔn)確度、召回度兩個(gè)指標(biāo)對(duì)詞法模板和依存句法模板的抽取性能開(kāi)展綜合評(píng)價(jià)。

    1)召回度方面,需要人工構(gòu)建高置信度的上下位詞對(duì)正例集合作為標(biāo)準(zhǔn)結(jié)果,統(tǒng)計(jì)其詞對(duì)數(shù)目。針對(duì)特定的模板P,首先在語(yǔ)料中篩選出含有標(biāo)準(zhǔn)結(jié)果中的詞對(duì)及模板P的句子,然后利用模板P對(duì)這些句子進(jìn)行上下位關(guān)系自動(dòng)抽取,并統(tǒng)計(jì)得到的結(jié)果在標(biāo)準(zhǔn)結(jié)果中的數(shù)目,最后利用式(1)計(jì)算得到模板P的召回度指標(biāo)。

    (1)

    式中:Recall(P)為模板P的召回度指標(biāo);positive為標(biāo)準(zhǔn)結(jié)果總數(shù)目,correct為利用模板P在句子中自動(dòng)獲取到的詞對(duì)在標(biāo)準(zhǔn)結(jié)果中的數(shù)目,二者內(nèi)部均無(wú)重復(fù)。

    針對(duì)兩類模板整體召回度的評(píng)價(jià),基本思想與針對(duì)特定模板P的召回度評(píng)價(jià)基本相同,區(qū)別是在篩選和抽取時(shí)將原先的特定模板擴(kuò)展至同類的所有模板。

    2)準(zhǔn)確度方面,本文采用隨機(jī)抽樣人工標(biāo)注的方式進(jìn)行評(píng)價(jià)。針對(duì)特定的模板P,在其抽取到的候選詞對(duì)集合中隨機(jī)抽取200對(duì)不重復(fù)的詞對(duì)進(jìn)行人工標(biāo)注,然后利用式(2)計(jì)算得到模板P的準(zhǔn)確度指標(biāo)。

    (2)

    式中:Prec(P)為特定模板P的準(zhǔn)確度指標(biāo);matched為隨機(jī)采樣的候選詞對(duì)數(shù)目,correct為對(duì)候選詞對(duì)進(jìn)行標(biāo)注得到的正例數(shù)目,二者內(nèi)部均無(wú)重復(fù)。

    針對(duì)兩類模板整體準(zhǔn)確度的評(píng)價(jià),基本思想是利用同類的所有模板各自的準(zhǔn)確度進(jìn)行加權(quán)求和,權(quán)重為各特定模板所得詞對(duì)在此類模板得到的全部詞對(duì)中所占的比例,具體計(jì)算公式如下:

    (3)

    式中:Prec(M)是類別為M的模板的準(zhǔn)確度指標(biāo);sum為M類模板所得詞對(duì)總數(shù);n為M類模板的個(gè)數(shù);numi為M類模板的第i個(gè)模板所得候選詞對(duì)數(shù);matchedi為對(duì)M類模板的第i個(gè)模板進(jìn)行隨機(jī)采樣得到的候選詞對(duì)數(shù)目;correcti為對(duì)隨機(jī)采樣的候選詞對(duì)進(jìn)行標(biāo)注得到的正例數(shù)目。上述詞對(duì)內(nèi)部均無(wú)重復(fù)。

    4 數(shù)據(jù)標(biāo)注

    為了完成實(shí)驗(yàn)中的準(zhǔn)確度評(píng)價(jià)工作,解決第3節(jié)中提到的前人評(píng)價(jià)方式的缺陷,本文在對(duì)上下位知識(shí)庫(kù)構(gòu)建技術(shù)進(jìn)行比較深入的研究后,研制了一套詳細(xì)的上下位關(guān)系標(biāo)注規(guī)范,并嚴(yán)格規(guī)定了標(biāo)注的流程,對(duì)數(shù)據(jù)進(jìn)行人工采樣標(biāo)注,從而計(jì)算準(zhǔn)確度。

    4.1 標(biāo)注規(guī)范

    上下位關(guān)系的定義并不復(fù)雜。然而,由于詞語(yǔ)的多義性、句子的口語(yǔ)化等原因,實(shí)際的標(biāo)注過(guò)程中仍存在著許多復(fù)雜的問(wèn)題??紤]到目前中文尚無(wú)公開(kāi)的上下位關(guān)系標(biāo)注規(guī)范,本文在實(shí)踐過(guò)程中積累了一套標(biāo)注規(guī)范,舉例如下:

    (1)核心原則:只要詞x的某一義項(xiàng)和詞y的某一義項(xiàng)之間滿足上下位關(guān)系,就可以將它們標(biāo)注為上下位詞對(duì)。例如:“虎”既可以指一類哺乳動(dòng)物,也可以指一部電影,還可以指一個(gè)動(dòng)漫角色。依據(jù)上述規(guī)范,hyponymy(虎,哺乳動(dòng)物)、hyponymy(虎,電影)、hyponymy(虎,動(dòng)漫角色)均正確。

    (2)非對(duì)稱性原則:若詞x已被標(biāo)注為詞y的上位詞,則不能將詞y標(biāo)注為詞x的上位詞。例如:已存在hyponymy(蘋果,水果),則hyponymy(水果,蘋果)必然是錯(cuò)誤的。

    (3)還原省略原則:若詞x可以脫離語(yǔ)境獨(dú)立表示詞y的縮略語(yǔ)或者簡(jiǎn)稱,則可在標(biāo)注時(shí)將x還原為y。例如:“寶馬”在人們口語(yǔ)化的表達(dá)習(xí)慣中可以單獨(dú)表示“寶馬汽車”的縮略語(yǔ),所以標(biāo)注時(shí)可將hyponymy(寶馬,汽車)認(rèn)為是正確的。

    (4)尊重詞典原則:一個(gè)詞的一切義項(xiàng)的解釋均以詞典為準(zhǔn)。但考慮到如今出現(xiàn)了許多網(wǎng)絡(luò)新詞而詞典可能無(wú)法及時(shí)更新,若標(biāo)注者認(rèn)為某個(gè)詞出現(xiàn)了新的含義,在給出可靠的出處后,可以按照新義項(xiàng)進(jìn)行標(biāo)注。例如:“小強(qiáng)”在當(dāng)今的網(wǎng)絡(luò)用語(yǔ)中代指蟑螂,而蟑螂是一種動(dòng)物,則hyponymy(小強(qiáng),動(dòng)物)是正確的。

    (5)上位抽象原則:上位詞必須是抽象概念,而非具象的實(shí)體。例如:hyponymy(泰山,五岳)是錯(cuò)誤的,因?yàn)椤拔逶馈笨梢跃唧w到特定的五座山,本文在實(shí)際標(biāo)注時(shí)將它們認(rèn)為是一種部分和整體的關(guān)系。

    4.2 標(biāo)注流程

    為了提升標(biāo)注效率和質(zhì)量,本文設(shè)計(jì)了一套基于網(wǎng)頁(yè)瀏覽器的上下位關(guān)系標(biāo)注系統(tǒng)。圖6給出了一個(gè)上下位關(guān)系標(biāo)注任務(wù)的處理流程。

    圖6 人工標(biāo)注流程

    步驟1系統(tǒng)將一個(gè)任務(wù)分配給兩個(gè)標(biāo)注者,若兩人標(biāo)注的結(jié)果一致,則將結(jié)果確定為正確答案;若兩人標(biāo)注的結(jié)果不一致,則進(jìn)入步驟2。

    步驟2若結(jié)果不一致,此時(shí)系統(tǒng)會(huì)將兩位標(biāo)注人員的結(jié)果隨機(jī)分配給一位審核專家。審核專家將確定唯一結(jié)果,并將該結(jié)果反饋給出錯(cuò)的標(biāo)注者進(jìn)行學(xué)習(xí)。學(xué)習(xí)過(guò)程中,若沒(méi)有出現(xiàn)投訴,則將審核后的結(jié)果入庫(kù)保存,否則進(jìn)入步驟3。

    步驟3若出錯(cuò)的標(biāo)注者認(rèn)為審核專家認(rèn)定的結(jié)果是錯(cuò)誤的,則可以輸入理由進(jìn)行投訴。系統(tǒng)會(huì)將投訴任務(wù)隨機(jī)分配給一位權(quán)威專家,權(quán)威專家將確定最終的結(jié)果入庫(kù)保存,并將該結(jié)果反饋給出錯(cuò)的審核專家或標(biāo)注者進(jìn)行學(xué)習(xí)。

    其他的自然語(yǔ)言處理工作也采用了和本文類似的數(shù)據(jù)標(biāo)注方法[9]。

    4.3 標(biāo)注規(guī)模

    依據(jù)以上標(biāo)注規(guī)范和流程,在本文目前的實(shí)驗(yàn)工作中,已完成了3個(gè)批次的標(biāo)注任務(wù),分別為600、600和1 600個(gè)詞對(duì)。共有8名人員參與標(biāo)注工作,其中普通標(biāo)注人員4名,審核專家2名,權(quán)威專家2名。目前,已積累規(guī)模為2 800個(gè)詞對(duì)的高質(zhì)量上下位關(guān)系數(shù)據(jù)集(1 326個(gè)正例和1 474個(gè)反例)用于計(jì)算基于不同模板的上下位關(guān)系自動(dòng)抽取方法的準(zhǔn)確度指標(biāo)。

    5 實(shí) 驗(yàn)

    本文利用表1中的常見(jiàn)句型分別定義了四種詞法模板和四種依存句法模板,在大規(guī)模中文語(yǔ)料上進(jìn)行抽取實(shí)驗(yàn)。語(yǔ)料來(lái)自于中文百度百科和中文維基百科的非結(jié)構(gòu)化文本,分別有29 757 309和7 645 866個(gè)句子。

    本文采用《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》、同義詞詞林和HowNet中的名詞構(gòu)建了常用名詞詞典(概念詞和少量常用實(shí)體詞),共有84 742個(gè)詞,以此來(lái)限定抽取到的上下位名詞范圍。但是,上述常用名詞詞典中仍有大量詞語(yǔ)一般不能作為上位詞,為了進(jìn)一步限定上位詞范圍,本文采用網(wǎng)絡(luò)爬蟲技術(shù)爬取了百度百科的分類欄目,并與上述詞典取交集,得到了5 831個(gè)詞的上位詞詞典。

    本文構(gòu)建了一個(gè)上下位關(guān)系正例集合,用于進(jìn)行召回度評(píng)價(jià)。構(gòu)建方式主要是從HowNet、同義詞林等現(xiàn)有的中文資源庫(kù)中爬取可能具有上下位關(guān)系的詞對(duì),并進(jìn)行人工篩選,最終得到3 748對(duì)存在于語(yǔ)料庫(kù)中的上下位關(guān)系詞對(duì)。

    在實(shí)際抽取過(guò)程中,命名實(shí)體識(shí)別問(wèn)題會(huì)導(dǎo)致一些抽取錯(cuò)誤。例如:“中國(guó)/人民/銀行/是/一/家/銀行”,由于分詞的粒度較細(xì),命名實(shí)體未被正確識(shí)別,導(dǎo)致抽取的結(jié)果為hyponymy(銀行,銀行)。為了避免這樣的現(xiàn)象,本文采取了一種較為簡(jiǎn)單的基于詞性的補(bǔ)全方法:對(duì)抽取到的中心詞進(jìn)行向前搜索名詞并補(bǔ)全,直到遇見(jiàn)非名詞詞性的詞。在例句中,“中國(guó)”“人民”“銀行”均被標(biāo)注為名詞詞性,所以利用上述方法得到的結(jié)果為hyponymy(中國(guó)人民銀行,銀行)。此方法提高了抽取的準(zhǔn)確度和召回度,也方便了人工標(biāo)注的進(jìn)行。

    5.1 實(shí)驗(yàn)結(jié)果

    采用第2.3節(jié)中的方法進(jìn)行抽取,句型ID參考表1,抽取結(jié)果如表4所示,其中候選詞對(duì)未經(jīng)過(guò)去重處理。

    表4 基于詞法模板和依存句法模板的抽取結(jié)果

    采用本文第3節(jié)中所述方法對(duì)上述抽取結(jié)果進(jìn)行評(píng)價(jià),對(duì)詞法模板(LP)和依存句法模板(DP)評(píng)價(jià)的結(jié)果如表5所示。此處的詞對(duì)經(jīng)過(guò)了去重處理。

    表5 抽取結(jié)果指標(biāo)計(jì)算

    5.2 結(jié)果分析

    本文采用了表1中的四種中文Hearst句型進(jìn)行上下位關(guān)系自動(dòng)抽取。在上述四種句型中,ID為PisA和Pcontain的句型,其依存句法模板的召回度與準(zhǔn)確度均高于詞法模板;ID為PoneOf的句型,其依存句法模板的召回度高于詞法模板,準(zhǔn)確度低于詞法模板;ID為Petc的句型,其依存句法模板的召回度低于詞法模板,準(zhǔn)確度高于詞法模板。從整體角度看,詞法模板在召回度方面存在0.32百分點(diǎn)的優(yōu)勢(shì),而依存句法模板在準(zhǔn)確度方面存在9.07百分點(diǎn)的優(yōu)勢(shì)。

    本文的實(shí)驗(yàn)與前人產(chǎn)生了不同的結(jié)果。Sang等[7]在2009年進(jìn)行的模板性能實(shí)驗(yàn)顯示,針對(duì)維基百科語(yǔ)料,詞法模板的準(zhǔn)確度63.4%比依存句法模板的準(zhǔn)確度61.9%高出約1.5百分點(diǎn),而依存句法模板的召回度47.0%比詞法模板的召回度44.3%高出約2.7百分點(diǎn)。經(jīng)過(guò)分析與對(duì)比,本文認(rèn)為可能導(dǎo)致結(jié)果差異的主要原因有以下幾種:① 句法分析技術(shù)的發(fā)展。過(guò)去十年來(lái),由于深度學(xué)習(xí)的發(fā)展,句法分析性能得到了較大幅度的提高。本文采用了當(dāng)下性能最好的句法分析器Biaffine Parser,在最新標(biāo)注的多領(lǐng)域漢語(yǔ)依存句法數(shù)據(jù)上進(jìn)行訓(xùn)練[32],提升了依存句法弧標(biāo)注的準(zhǔn)確度,從而可能使依存句法模板獲得了更好的性能。② 指標(biāo)計(jì)算方式不同。Sang等假設(shè)EuroWordNet中的詞語(yǔ)間除已標(biāo)注的上下位關(guān)系外不再存在額外的上下位關(guān)系,通過(guò)觀察抽取到的詞對(duì)是否位于已有的上下位正例集中來(lái)判斷結(jié)果是否正確。但是,EuroWordNet中已標(biāo)注的上下位正例集規(guī)模較小,不夠全面,所以該方法存在一定的缺陷。本文則對(duì)抽取結(jié)果進(jìn)行隨機(jī)抽樣后進(jìn)行人工標(biāo)注,進(jìn)而計(jì)算準(zhǔn)確度,并且嚴(yán)格規(guī)定了標(biāo)注流程,制定了合理的標(biāo)注規(guī)范,所得性能指標(biāo)或許更為準(zhǔn)確。③ 語(yǔ)言不同。Sang等的實(shí)驗(yàn)針對(duì)荷蘭語(yǔ)語(yǔ)料,而本文實(shí)驗(yàn)針對(duì)漢語(yǔ)語(yǔ)料。漢語(yǔ)和荷蘭語(yǔ)在詞根、語(yǔ)法等多個(gè)方面均存在較大差異,有可能影響了實(shí)驗(yàn)結(jié)果。

    本文觀察數(shù)據(jù)標(biāo)注的結(jié)果發(fā)現(xiàn)基于依存句法模板的方法在下列情況下可能具有優(yōu)勢(shì):① 句子結(jié)構(gòu)復(fù)雜,上下位詞對(duì)在句子中的距離較遠(yuǎn)而依存句法距離較近;② 上下位詞對(duì)不在同一個(gè)以逗號(hào)隔開(kāi)的句子中;③ 句子中出現(xiàn)了錯(cuò)誤的標(biāo)點(diǎn)符號(hào)。而基于詞法模板的方法在句子結(jié)構(gòu)簡(jiǎn)單、上下位詞對(duì)在句子中距離較近的情況可能具有優(yōu)勢(shì)。

    6 結(jié) 語(yǔ)

    基于大規(guī)模中文語(yǔ)料,本文對(duì)詞法模板和依存句法模板的上下位關(guān)系抽取性能進(jìn)行了實(shí)驗(yàn)比較,結(jié)果表明:在給定了優(yōu)質(zhì)句型的情況下,兩種模板的召回度僅有細(xì)微的差別,而依存句法模板在準(zhǔn)確度方面有較大優(yōu)勢(shì)。本文的主要貢獻(xiàn)如下:

    (1)清晰地梳理了中文上下位關(guān)系自動(dòng)獲取的詞法模板和依存句法模板的完整定義,詳細(xì)地描述了基于詞法模板和依存句法模板的中文上下位關(guān)系自動(dòng)匹配獲取的具體方法(具體代碼開(kāi)源于https://github.com/HillZhang1999/nlp);

    (2)設(shè)計(jì)了一套合理的中文上下位關(guān)系標(biāo)注流程,給出了中文上下位關(guān)系標(biāo)注的規(guī)范和注意事項(xiàng),并且進(jìn)行了較大規(guī)模的人工標(biāo)注實(shí)驗(yàn);

    (3)在中文大規(guī)模語(yǔ)料上對(duì)基于詞法模板和依存句法模板的上下位關(guān)系自動(dòng)匹配獲取方法進(jìn)行對(duì)比實(shí)驗(yàn),全面、正確地對(duì)兩類模板進(jìn)行了評(píng)價(jià)。

    本文目前的工作僅在兩類模板定義良好的情況下對(duì)它們的性能進(jìn)行比較。在未來(lái)的工作中,將根據(jù)它們各自的優(yōu)勢(shì)設(shè)計(jì)一個(gè)多模板融合的上下位關(guān)系自動(dòng)抽取模型,并不斷擴(kuò)充高質(zhì)量中文上下位關(guān)系詞對(duì)庫(kù)。

    猜你喜歡
    詞法句法語(yǔ)料
    句法與句意(外一篇)
    述謂結(jié)構(gòu)與英語(yǔ)句法配置
    句法二題
    詩(shī)詞聯(lián)句句法梳理
    應(yīng)用于詞法分析器的算法分析優(yōu)化
    談對(duì)外漢語(yǔ)“詞法詞”教學(xué)
    基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
    華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語(yǔ)料
    國(guó)內(nèi)外語(yǔ)用學(xué)實(shí)證研究比較:語(yǔ)料類型與收集方法
    国产真实乱freesex| 午夜激情欧美在线| 亚洲av成人精品一区久久| 一个人看视频在线观看www免费| 国产爱豆传媒在线观看| 长腿黑丝高跟| 最近最新免费中文字幕在线| 天堂影院成人在线观看| 国产乱人伦免费视频| 无遮挡黄片免费观看| 久久久久久久午夜电影| 国产精品一区www在线观看 | 精品人妻视频免费看| 久久久久久国产a免费观看| 美女cb高潮喷水在线观看| 欧美高清性xxxxhd video| 91在线观看av| 一进一出抽搐gif免费好疼| 免费不卡的大黄色大毛片视频在线观看 | av在线天堂中文字幕| 久99久视频精品免费| 黄色欧美视频在线观看| 精品一区二区三区视频在线观看免费| 久久久久久伊人网av| 久久亚洲真实| 午夜福利成人在线免费观看| 亚洲欧美日韩东京热| 色在线成人网| 中文字幕熟女人妻在线| 亚洲人成伊人成综合网2020| 精品久久久久久久人妻蜜臀av| 亚洲一区二区三区色噜噜| 黄色女人牲交| 亚洲黑人精品在线| 老师上课跳d突然被开到最大视频| 国语自产精品视频在线第100页| 国内少妇人妻偷人精品xxx网站| 长腿黑丝高跟| 在现免费观看毛片| 日日夜夜操网爽| 在线观看66精品国产| 嫩草影视91久久| 亚洲av成人av| 欧美成人a在线观看| 热99re8久久精品国产| 成人二区视频| 日韩欧美在线乱码| av国产免费在线观看| 久久中文看片网| 午夜免费激情av| 日本黄色片子视频| 免费黄网站久久成人精品| 少妇熟女aⅴ在线视频| 国产女主播在线喷水免费视频网站 | 久久久成人免费电影| 乱人视频在线观看| 欧美日韩亚洲国产一区二区在线观看| 日本熟妇午夜| 一区二区三区高清视频在线| 免费av毛片视频| 亚洲最大成人av| a在线观看视频网站| 午夜福利在线观看吧| 尤物成人国产欧美一区二区三区| 内地一区二区视频在线| 搞女人的毛片| 日韩中文字幕欧美一区二区| 亚洲美女黄片视频| 亚洲国产欧美人成| 久久久久国内视频| 最近在线观看免费完整版| 久9热在线精品视频| 一本精品99久久精品77| 日本熟妇午夜| 日本-黄色视频高清免费观看| 亚洲美女黄片视频| 黄色视频,在线免费观看| 桃红色精品国产亚洲av| 干丝袜人妻中文字幕| 亚洲欧美日韩高清在线视频| 人妻制服诱惑在线中文字幕| 老熟妇仑乱视频hdxx| 少妇丰满av| 国产精品人妻久久久影院| 欧美日韩乱码在线| 亚洲欧美日韩高清专用| av黄色大香蕉| 久久国产精品人妻蜜桃| 在线观看舔阴道视频| 变态另类成人亚洲欧美熟女| 搡老岳熟女国产| 国产成年人精品一区二区| 日本爱情动作片www.在线观看 | 听说在线观看完整版免费高清| av视频在线观看入口| 日韩 亚洲 欧美在线| 久久久久久久久久久丰满 | 自拍偷自拍亚洲精品老妇| 久久久久久伊人网av| 搡老妇女老女人老熟妇| 1024手机看黄色片| 国产大屁股一区二区在线视频| 日日摸夜夜添夜夜添av毛片 | 噜噜噜噜噜久久久久久91| 最后的刺客免费高清国语| 啦啦啦啦在线视频资源| 成人一区二区视频在线观看| 自拍偷自拍亚洲精品老妇| 精品久久国产蜜桃| 欧美极品一区二区三区四区| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲 国产 在线| 亚洲狠狠婷婷综合久久图片| 午夜精品久久久久久毛片777| 久久精品国产99精品国产亚洲性色| 欧美激情国产日韩精品一区| 亚洲国产精品sss在线观看| 变态另类丝袜制服| 日本一二三区视频观看| 蜜桃亚洲精品一区二区三区| 成人美女网站在线观看视频| 网址你懂的国产日韩在线| 人人妻人人澡欧美一区二区| 国产精品日韩av在线免费观看| 午夜老司机福利剧场| 极品教师在线视频| 熟妇人妻久久中文字幕3abv| 日本与韩国留学比较| 亚洲18禁久久av| 岛国在线免费视频观看| 成人鲁丝片一二三区免费| 成人欧美大片| 日本黄色视频三级网站网址| 深夜a级毛片| АⅤ资源中文在线天堂| 久久久色成人| 又爽又黄a免费视频| 一个人看视频在线观看www免费| 亚洲 国产 在线| 在线免费观看的www视频| 嫩草影院新地址| 久久6这里有精品| 欧洲精品卡2卡3卡4卡5卡区| 两性午夜刺激爽爽歪歪视频在线观看| 精品久久久久久,| 最近视频中文字幕2019在线8| 在线免费十八禁| 午夜久久久久精精品| 黄色一级大片看看| 精品国产三级普通话版| 国内毛片毛片毛片毛片毛片| 国产精品伦人一区二区| 亚洲va日本ⅴa欧美va伊人久久| 波多野结衣高清无吗| 亚洲熟妇熟女久久| 国产精品美女特级片免费视频播放器| 九色国产91popny在线| 亚洲色图av天堂| 亚洲欧美日韩无卡精品| 亚洲无线在线观看| www.www免费av| 免费人成在线观看视频色| 身体一侧抽搐| 国产国拍精品亚洲av在线观看| 噜噜噜噜噜久久久久久91| 国产精品美女特级片免费视频播放器| 国产亚洲精品综合一区在线观看| 久久久午夜欧美精品| 国产亚洲91精品色在线| 一本一本综合久久| 小蜜桃在线观看免费完整版高清| 精品人妻偷拍中文字幕| 久久久久国内视频| 久久久久久久久久久丰满 | 色在线成人网| 有码 亚洲区| 亚洲av一区综合| 中文字幕精品亚洲无线码一区| 免费在线观看日本一区| 日本黄色视频三级网站网址| 久久人人爽人人爽人人片va| 一进一出抽搐动态| 看片在线看免费视频| 日韩欧美 国产精品| 亚洲av美国av| 97热精品久久久久久| 成人亚洲精品av一区二区| 成人永久免费在线观看视频| 欧美日韩精品成人综合77777| 日本免费a在线| 国产视频内射| 亚洲欧美日韩高清在线视频| 悠悠久久av| 偷拍熟女少妇极品色| 少妇人妻精品综合一区二区 | 亚洲精品色激情综合| 亚洲aⅴ乱码一区二区在线播放| 国产精品伦人一区二区| 熟妇人妻久久中文字幕3abv| 日本-黄色视频高清免费观看| 国产91精品成人一区二区三区| 波野结衣二区三区在线| 麻豆成人av在线观看| 久久久成人免费电影| 天天躁日日操中文字幕| 亚洲国产精品久久男人天堂| 亚洲av五月六月丁香网| 国产不卡一卡二| 最近中文字幕高清免费大全6 | 国产成人一区二区在线| 亚洲美女黄片视频| 一区二区三区免费毛片| 91狼人影院| 午夜福利18| 一边摸一边抽搐一进一小说| 亚洲欧美日韩高清在线视频| 国产不卡一卡二| 啪啪无遮挡十八禁网站| 精品无人区乱码1区二区| 网址你懂的国产日韩在线| 香蕉av资源在线| 国产成人影院久久av| 久久久久免费精品人妻一区二区| 欧美日韩精品成人综合77777| 少妇猛男粗大的猛烈进出视频 | 日本爱情动作片www.在线观看 | 久久久久精品国产欧美久久久| 精品福利观看| 九九久久精品国产亚洲av麻豆| 中国美女看黄片| 日韩欧美国产在线观看| 国产免费一级a男人的天堂| 女生性感内裤真人,穿戴方法视频| 国产人妻一区二区三区在| 免费观看精品视频网站| 91久久精品电影网| 九九热线精品视视频播放| 亚洲精品久久国产高清桃花| 亚洲在线观看片| 成人三级黄色视频| 亚洲国产精品成人综合色| 日韩欧美在线二视频| 国产精品一区二区三区四区免费观看 | 久久久久国产精品人妻aⅴ院| 18禁黄网站禁片免费观看直播| 亚洲七黄色美女视频| 91麻豆av在线| 老熟妇乱子伦视频在线观看| 美女高潮喷水抽搐中文字幕| 精品无人区乱码1区二区| 麻豆一二三区av精品| 国产精品久久久久久亚洲av鲁大| 两个人视频免费观看高清| 成人精品一区二区免费| 精品久久久久久,| 亚洲七黄色美女视频| 久久精品国产亚洲网站| 99久久九九国产精品国产免费| 国产精品一及| 久久亚洲真实| 国产精品亚洲美女久久久| 久久精品久久久久久噜噜老黄 | 亚洲中文日韩欧美视频| 91av网一区二区| 啪啪无遮挡十八禁网站| 搞女人的毛片| 亚洲一级一片aⅴ在线观看| 亚洲欧美日韩高清专用| 亚洲国产日韩欧美精品在线观看| 亚洲自偷自拍三级| aaaaa片日本免费| 两性午夜刺激爽爽歪歪视频在线观看| 国产高清激情床上av| 亚洲欧美激情综合另类| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av中文av极速乱 | 日韩在线高清观看一区二区三区 | 春色校园在线视频观看| 亚洲av中文字字幕乱码综合| 一级a爱片免费观看的视频| 国产人妻一区二区三区在| 欧美高清成人免费视频www| 亚洲欧美日韩无卡精品| videossex国产| 日本一本二区三区精品| 一区二区三区高清视频在线| 我要搜黄色片| 99热这里只有精品一区| 小说图片视频综合网站| 成年女人永久免费观看视频| 成熟少妇高潮喷水视频| 麻豆成人av在线观看| 长腿黑丝高跟| 免费在线观看成人毛片| 国产亚洲精品久久久久久毛片| АⅤ资源中文在线天堂| 蜜桃亚洲精品一区二区三区| 国产精品99久久久久久久久| 精品久久国产蜜桃| 国产v大片淫在线免费观看| 黄色日韩在线| 久久人人爽人人爽人人片va| 欧美色欧美亚洲另类二区| 成人永久免费在线观看视频| 日日撸夜夜添| 美女 人体艺术 gogo| 不卡视频在线观看欧美| 亚洲综合色惰| 麻豆成人午夜福利视频| 欧美人与善性xxx| 少妇丰满av| 亚洲最大成人手机在线| 国产亚洲精品av在线| 日韩中字成人| 久久久久九九精品影院| 在线观看舔阴道视频| 欧美+亚洲+日韩+国产| 一夜夜www| 成人美女网站在线观看视频| 999久久久精品免费观看国产| 国产精品爽爽va在线观看网站| 老司机福利观看| 动漫黄色视频在线观看| 狂野欧美激情性xxxx在线观看| 一卡2卡三卡四卡精品乱码亚洲| 黄色日韩在线| 免费搜索国产男女视频| 日本一本二区三区精品| 午夜福利在线在线| 热99re8久久精品国产| 成人毛片a级毛片在线播放| 国产精品自产拍在线观看55亚洲| 免费在线观看日本一区| 婷婷六月久久综合丁香| 夜夜夜夜夜久久久久| 大型黄色视频在线免费观看| 欧美zozozo另类| 淫妇啪啪啪对白视频| 亚洲欧美日韩无卡精品| 男人和女人高潮做爰伦理| 欧美区成人在线视频| 最近视频中文字幕2019在线8| 精品久久久久久久久久久久久| 精品不卡国产一区二区三区| 亚洲七黄色美女视频| 九色国产91popny在线| 国产精品综合久久久久久久免费| 精品欧美国产一区二区三| 国产伦一二天堂av在线观看| 变态另类丝袜制服| 亚洲精品456在线播放app | 一区二区三区四区激情视频 | 免费电影在线观看免费观看| 很黄的视频免费| 欧美激情久久久久久爽电影| 日本a在线网址| 精品久久久久久久久久免费视频| 色在线成人网| 国内精品宾馆在线| 中文资源天堂在线| 麻豆国产97在线/欧美| 国产淫片久久久久久久久| 动漫黄色视频在线观看| 少妇猛男粗大的猛烈进出视频 | 亚洲经典国产精华液单| 美女xxoo啪啪120秒动态图| 国内久久婷婷六月综合欲色啪| 国产白丝娇喘喷水9色精品| 欧美一区二区国产精品久久精品| 久久久国产成人精品二区| 99久久久亚洲精品蜜臀av| 成人午夜高清在线视频| 日日夜夜操网爽| 变态另类丝袜制服| 国产av一区在线观看免费| 嫩草影视91久久| 美女 人体艺术 gogo| 国产视频一区二区在线看| 超碰av人人做人人爽久久| 伦精品一区二区三区| 欧美黑人欧美精品刺激| 亚洲人成网站在线播| 99视频精品全部免费 在线| 99riav亚洲国产免费| 搡老熟女国产l中国老女人| 高清日韩中文字幕在线| 亚洲天堂国产精品一区在线| 欧美bdsm另类| 国产麻豆成人av免费视频| 国内少妇人妻偷人精品xxx网站| 亚洲精华国产精华精| av在线亚洲专区| 日本免费a在线| 黄色欧美视频在线观看| 国产精品,欧美在线| 亚洲天堂国产精品一区在线| avwww免费| 三级毛片av免费| 婷婷精品国产亚洲av在线| 日韩强制内射视频| 最近最新中文字幕大全电影3| 亚洲成人精品中文字幕电影| 51国产日韩欧美| 国产精品一区二区三区四区免费观看 | 黄色女人牲交| 亚洲成a人片在线一区二区| 身体一侧抽搐| 中国美女看黄片| 亚洲无线观看免费| 色综合站精品国产| 精品久久久噜噜| 99久久精品热视频| 特大巨黑吊av在线直播| 婷婷精品国产亚洲av在线| 在现免费观看毛片| 亚洲色图av天堂| 88av欧美| 极品教师在线视频| 久久精品人妻少妇| 国产成人影院久久av| 国产免费男女视频| 亚洲性夜色夜夜综合| 精品一区二区三区av网在线观看| 免费av毛片视频| 男人的好看免费观看在线视频| 欧美日韩综合久久久久久 | 伦理电影大哥的女人| a级毛片a级免费在线| 国产伦在线观看视频一区| 久久久久久久久久黄片| 亚洲av电影不卡..在线观看| 神马国产精品三级电影在线观看| 国产亚洲精品久久久com| 国产毛片a区久久久久| 国产欧美日韩精品亚洲av| 午夜福利成人在线免费观看| 一级a爱片免费观看的视频| 日韩 亚洲 欧美在线| 国产精品久久久久久久电影| 欧美在线一区亚洲| 熟妇人妻久久中文字幕3abv| 噜噜噜噜噜久久久久久91| 91精品国产九色| 成人av一区二区三区在线看| 亚洲va在线va天堂va国产| 老司机深夜福利视频在线观看| 天堂动漫精品| 久久精品国产鲁丝片午夜精品 | 日日夜夜操网爽| 草草在线视频免费看| 97超级碰碰碰精品色视频在线观看| 亚洲国产高清在线一区二区三| 欧美成人性av电影在线观看| 国产精品不卡视频一区二区| 女生性感内裤真人,穿戴方法视频| 国产在视频线在精品| 国产 一区精品| 一区二区三区免费毛片| 窝窝影院91人妻| 美女xxoo啪啪120秒动态图| 日日夜夜操网爽| 日本精品一区二区三区蜜桃| 日韩欧美在线二视频| 自拍偷自拍亚洲精品老妇| 最近在线观看免费完整版| 在线a可以看的网站| 岛国在线免费视频观看| 在线观看舔阴道视频| 国产成人福利小说| 国产伦在线观看视频一区| 久久精品综合一区二区三区| 黄色欧美视频在线观看| 久久久久久伊人网av| 色尼玛亚洲综合影院| 亚洲成人精品中文字幕电影| 韩国av在线不卡| avwww免费| 午夜福利在线在线| 国产人妻一区二区三区在| 亚洲国产高清在线一区二区三| 一个人观看的视频www高清免费观看| 午夜精品一区二区三区免费看| 18禁黄网站禁片免费观看直播| 国产中年淑女户外野战色| 免费在线观看影片大全网站| 给我免费播放毛片高清在线观看| 小说图片视频综合网站| 嫩草影院入口| 精品福利观看| 麻豆国产97在线/欧美| 午夜视频国产福利| a级毛片a级免费在线| 可以在线观看毛片的网站| 在线免费观看的www视频| 级片在线观看| 91久久精品电影网| 亚洲精品影视一区二区三区av| 欧美最新免费一区二区三区| 欧美成人a在线观看| 国产白丝娇喘喷水9色精品| 国产高清有码在线观看视频| 日韩国内少妇激情av| 午夜亚洲福利在线播放| 色尼玛亚洲综合影院| av天堂在线播放| 简卡轻食公司| 免费在线观看影片大全网站| 日韩亚洲欧美综合| 99久久久亚洲精品蜜臀av| www.www免费av| 国产精品1区2区在线观看.| 好男人在线观看高清免费视频| 欧美日韩黄片免| 久久久色成人| 国产精品一区二区性色av| 真人一进一出gif抽搐免费| 亚洲第一区二区三区不卡| 在线观看美女被高潮喷水网站| 熟女电影av网| 欧美xxxx黑人xx丫x性爽| 网址你懂的国产日韩在线| 亚洲国产精品成人综合色| 又黄又爽又免费观看的视频| 99久久无色码亚洲精品果冻| 老熟妇乱子伦视频在线观看| 午夜爱爱视频在线播放| 大型黄色视频在线免费观看| 精品无人区乱码1区二区| 日本五十路高清| 欧美xxxx性猛交bbbb| 无遮挡黄片免费观看| 成年女人毛片免费观看观看9| 一级a爱片免费观看的视频| 国产精品久久久久久久久免| 精品久久久久久,| 99久国产av精品| 国产精品无大码| 亚洲av成人精品一区久久| 国产亚洲91精品色在线| 啦啦啦韩国在线观看视频| 99在线人妻在线中文字幕| 直男gayav资源| 黄色女人牲交| 在线播放无遮挡| 午夜亚洲福利在线播放| 日本熟妇午夜| 毛片一级片免费看久久久久 | h日本视频在线播放| 亚洲av熟女| 女同久久另类99精品国产91| 99久久精品国产国产毛片| 欧美激情国产日韩精品一区| 男人和女人高潮做爰伦理| 91久久精品电影网| 国产精品一区www在线观看 | 色噜噜av男人的天堂激情| 久久久久性生活片| 人人妻,人人澡人人爽秒播| 麻豆精品久久久久久蜜桃| 国产精品福利在线免费观看| 成年免费大片在线观看| avwww免费| 亚洲人成网站在线播| 欧美性猛交黑人性爽| 亚洲精品一卡2卡三卡4卡5卡| 很黄的视频免费| 亚洲一级一片aⅴ在线观看| 老司机深夜福利视频在线观看| 好男人在线观看高清免费视频| 久久精品国产自在天天线| 赤兔流量卡办理| 久久久久九九精品影院| 成人三级黄色视频| 日日摸夜夜添夜夜添小说| 亚洲精华国产精华精| 免费看a级黄色片| 精品一区二区三区av网在线观看| 亚洲欧美日韩卡通动漫| 色综合色国产| 久久久久九九精品影院| 欧美日韩黄片免| 亚洲avbb在线观看| 免费av毛片视频| 国产大屁股一区二区在线视频| 欧美精品国产亚洲| 可以在线观看毛片的网站| 国产精品久久视频播放| 久久精品91蜜桃| 国产麻豆成人av免费视频| 一级a爱片免费观看的视频| 欧美高清性xxxxhd video| a级毛片a级免费在线| 伊人久久精品亚洲午夜| 啪啪无遮挡十八禁网站| 不卡一级毛片| 久久天躁狠狠躁夜夜2o2o| 国产男靠女视频免费网站| 中出人妻视频一区二区| 国产高潮美女av| 一本一本综合久久| 日韩欧美国产一区二区入口| 极品教师在线视频| 18禁黄网站禁片免费观看直播| 极品教师在线视频| 国产免费av片在线观看野外av| 亚洲国产精品久久男人天堂| 国内毛片毛片毛片毛片毛片| 久久久久国产精品人妻aⅴ院| 欧美黑人巨大hd| 在线观看免费视频日本深夜| 国产成人aa在线观看| 欧美日本亚洲视频在线播放| 蜜桃久久精品国产亚洲av| 精品一区二区免费观看| 两性午夜刺激爽爽歪歪视频在线观看|