• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于關(guān)聯(lián)規(guī)則的術(shù)語(yǔ)自動(dòng)抽取研究*

    2014-12-03 08:27:58王昊賢李廣建
    圖書(shū)與情報(bào) 2014年5期
    關(guān)鍵詞:置信度術(shù)語(yǔ)關(guān)聯(lián)

    王昊賢 李廣建

    (北京大學(xué)信息管理系 北京 100871)

    術(shù)語(yǔ)自動(dòng)抽取是自然語(yǔ)言信息處理中的一項(xiàng)重要課題,在機(jī)器翻譯、信息檢索、詞典編纂、文本分類(lèi)和自動(dòng)文摘等領(lǐng)域中有重要的作用。目前,人們已經(jīng)從多個(gè)方面提出了各種方法,并且不斷有新的方法出現(xiàn)。本文的目的是研究關(guān)聯(lián)規(guī)則算法抽取術(shù)語(yǔ)的可行性及優(yōu)勢(shì)。

    1 相關(guān)研究

    國(guó)內(nèi)外研究人員已經(jīng)通過(guò)大量的研究工作取得了一系列的成果。歸納起來(lái),術(shù)語(yǔ)自動(dòng)提取的方法可以分為基于語(yǔ)言學(xué)知識(shí)的方法、基于統(tǒng)計(jì)學(xué)原理的方法以及基于語(yǔ)言學(xué)知識(shí)和統(tǒng)計(jì)學(xué)原理結(jié)合的方法。

    1.1 基于語(yǔ)言學(xué)知識(shí)的自動(dòng)抽取方法

    基于語(yǔ)言學(xué)知識(shí)的方法,又稱(chēng)為基于規(guī)則的方法。所謂的“規(guī)則”指的是術(shù)語(yǔ)的詞法模式、詞形特征、語(yǔ)義信息等,利用這些知識(shí)可以從語(yǔ)料中抽取出術(shù)語(yǔ)或者識(shí)別術(shù)語(yǔ)在語(yǔ)料中的位置。基于語(yǔ)言學(xué)知識(shí)的術(shù)語(yǔ)自動(dòng)抽取研究主要集中在上個(gè)世紀(jì)90年代,以Justeson&Katz算法為代表,該算法首先確定一系列語(yǔ)言性質(zhì)的規(guī)則,然后用這些規(guī)則來(lái)識(shí)別文本中的術(shù)語(yǔ)。較為成熟的自動(dòng)術(shù)語(yǔ)抽取系統(tǒng)有 FASTR 系統(tǒng)、Termight系統(tǒng)、Termino 系統(tǒng)、Nodalida 系統(tǒng)、Clarit系統(tǒng)、Heid-96 系統(tǒng)、Lexter 系統(tǒng)和 Naulleau-98 系統(tǒng)等。

    1.2 統(tǒng)計(jì)學(xué)原理的抽取方法

    基于統(tǒng)計(jì)學(xué)原理的抽取方法,主要利用統(tǒng)計(jì)學(xué)的原理計(jì)算出文本的各種統(tǒng)計(jì)信息,并利用統(tǒng)計(jì)結(jié)果選取術(shù)語(yǔ)。在線系統(tǒng)Term Extraction通過(guò)簡(jiǎn)單統(tǒng)計(jì)基本詞頻來(lái)實(shí)現(xiàn)術(shù)語(yǔ)識(shí)別。Termextractor系統(tǒng)也是如此,通過(guò)統(tǒng)計(jì)選取高頻詞為術(shù)語(yǔ)。RIDF算法則不同,該算法關(guān)注低頻詞,在逆文檔頻率(IDF)的基礎(chǔ)上,利用Poisson檢驗(yàn)來(lái)確定術(shù)語(yǔ);互信息方法也是一種比較常用的術(shù)語(yǔ)抽取算法,它利用兩個(gè)或兩個(gè)以上的詞之間的互信息度,來(lái)決定這些詞匯是否組成一個(gè)復(fù)合詞,即它們是否組成了一個(gè)術(shù)語(yǔ)。

    1.3 基于語(yǔ)言學(xué)知識(shí)與統(tǒng)計(jì)學(xué)原理結(jié)合的抽取方法

    目前,單純運(yùn)用語(yǔ)言學(xué)知識(shí)或者統(tǒng)計(jì)學(xué)原理的抽取方法并不多見(jiàn),因?yàn)椋谡Z(yǔ)言學(xué)知識(shí)的方法和基于統(tǒng)計(jì)學(xué)的方法雖各有優(yōu)勢(shì),但也有明顯缺點(diǎn)。因此,有很多研究將基于語(yǔ)言學(xué)知識(shí)的方法與統(tǒng)計(jì)學(xué)原理的方法結(jié)合起來(lái),力爭(zhēng)揚(yáng)長(zhǎng)避短。例如,將統(tǒng)計(jì)學(xué)的策略融入到基于語(yǔ)言知識(shí)的抽取方法中去,將二者有效地結(jié)合,可以顯著改善術(shù)語(yǔ)抽取系統(tǒng)的性能。這方面的代表方法是C-value/NC-value方法,該方法綜合運(yùn)用結(jié)合語(yǔ)言知識(shí)和統(tǒng)計(jì)信息來(lái)提取由多個(gè)詞匯組成的術(shù)語(yǔ)。C-value/NC-value方法包括了兩個(gè)步驟,首先,用C-value方法計(jì)算詞匯的出現(xiàn)頻率測(cè)量,找出多詞候選術(shù)語(yǔ),然后利用NC-value方法根據(jù)詞的上下文信息,最終確定要抽取的術(shù)語(yǔ)。近年來(lái),機(jī)器學(xué)習(xí)的方法是這類(lèi)基于語(yǔ)言學(xué)知識(shí)與統(tǒng)計(jì)學(xué)原理結(jié)合的抽取方法的一個(gè)重要發(fā)展方向,并取得了較好的抽取效果,它主要通過(guò)利用計(jì)算機(jī)對(duì)先前知識(shí)進(jìn)行學(xué)習(xí)(訓(xùn)練),利用這些訓(xùn)練的經(jīng)驗(yàn)來(lái)對(duì)后續(xù)的文本進(jìn)行相應(yīng)的抽取,得出準(zhǔn)確術(shù)語(yǔ)。

    2 關(guān)聯(lián)規(guī)則方法及其抽取術(shù)語(yǔ)的可行性分析

    2.1 關(guān)聯(lián)規(guī)則的基本原理

    韓家煒在《數(shù)據(jù)挖掘概念與技術(shù)》一書(shū)中給出了關(guān)聯(lián)規(guī)則的確切定義:

    項(xiàng)的集合 I={I,I,I,…,I},數(shù)據(jù)庫(kù)中事務(wù)的集合T={t,t,t,…,t},每個(gè)事務(wù) t則是項(xiàng)的集合,即 t?I。若X→Y,滿(mǎn)足 X?I,Y?I,且 X∩Y=φ,則 X→Y 為 T 中的關(guān)聯(lián)規(guī)則。

    關(guān)聯(lián)規(guī)則中,支持度(Support)是指T中的事務(wù)同時(shí)包含X、Y的百分比:

    置信度(Confidence)是指T中事務(wù)已經(jīng)包含X的情況下,包含Y的百分比:

    若關(guān)聯(lián)規(guī)則X→Y,同時(shí)滿(mǎn)足支持度大于最小支持度Support(X→Y)>minSupport和置信度大于最小置信度Confidence(X→Y)>minConfidence,則認(rèn)為關(guān)聯(lián)規(guī)則 X→Y是有趣的,即為強(qiáng)關(guān)聯(lián)規(guī)則,其中,最小支持度和最小置信度的閾值均人為設(shè)定。關(guān)聯(lián)規(guī)則挖掘就是在事務(wù)集合中挖掘強(qiáng)關(guān)聯(lián)規(guī)則。

    關(guān)聯(lián)規(guī)則關(guān)注兩個(gè)事項(xiàng)的共同出現(xiàn),或者說(shuō)在前驅(qū)出現(xiàn)的條件下,后繼也出現(xiàn),其經(jīng)典應(yīng)用是發(fā)現(xiàn)顧客的購(gòu)買(mǎi)規(guī)律(如沃爾瑪超市發(fā)現(xiàn)的“啤酒和紙尿褲”的購(gòu)買(mǎi)規(guī)律),在圖書(shū)館中進(jìn)行書(shū)目推薦以及火災(zāi)分析、交通事故處理、森林病害蟲(chóng)預(yù)測(cè)和肺腸合病醫(yī)案用藥規(guī)律研究等。

    2.2 術(shù)語(yǔ)構(gòu)成基本原理

    術(shù)語(yǔ)是特定領(lǐng)域中概念的語(yǔ)言表示,它可以是字、詞語(yǔ)或者字母與數(shù)碼符號(hào)。按照術(shù)語(yǔ)的構(gòu)成,可將術(shù)語(yǔ)分為簡(jiǎn)單術(shù)語(yǔ)和復(fù)雜術(shù)語(yǔ)。簡(jiǎn)單術(shù)語(yǔ),就是指僅由一個(gè)單詞構(gòu)成的術(shù)語(yǔ)。例如:“信息 (information)”、“天 (sky)”、“雨(rain)”等。這樣的簡(jiǎn)單術(shù)語(yǔ)不能再分解為更小的具有獨(dú)立含義的單元。復(fù)雜術(shù)語(yǔ),則是指由兩個(gè)或更多單詞或語(yǔ)素按照一定的語(yǔ)法或語(yǔ)義結(jié)構(gòu)組成的術(shù)語(yǔ)。例如:“信息檢索 (information retrieval)”、“復(fù)雜系統(tǒng) (complex system)”、“計(jì)算機(jī)系統(tǒng)理論(computer system theory)”等,其中“信息檢索(information retrieval)”是由“信息(information)”和“檢索(retrieval)”構(gòu)成,“復(fù)雜系統(tǒng)(complex system)”是由“復(fù)雜(complex)”和“系統(tǒng)(system)”構(gòu)成。

    2.3 關(guān)聯(lián)規(guī)則抽取術(shù)語(yǔ)的適用性

    從以上關(guān)聯(lián)規(guī)則的定義可以看出,事務(wù)組合(X→Y)滿(mǎn)足最小的支持度和置信度,就可以稱(chēng)之為“規(guī)則”,這就說(shuō)明關(guān)聯(lián)規(guī)則中強(qiáng)調(diào)的是事項(xiàng)(即上述定義中的“項(xiàng)”I)的共同出現(xiàn),或者說(shuō)在前驅(qū)出現(xiàn)的條件下后繼出現(xiàn)。

    術(shù)語(yǔ)的基本構(gòu)成方式與關(guān)聯(lián)規(guī)則方法關(guān)注的內(nèi)容具有一定的契合點(diǎn),例如,如果我們把構(gòu)成復(fù)雜術(shù)語(yǔ)的每個(gè)單詞或語(yǔ)素(以下簡(jiǎn)稱(chēng)詞匯)看作是“項(xiàng)”,那么,能共同構(gòu)成一個(gè)復(fù)雜術(shù)語(yǔ)的若干個(gè)詞匯(項(xiàng))必定會(huì)同時(shí)出現(xiàn),因而可以根據(jù)詞匯之間的關(guān)聯(lián)程度來(lái)達(dá)到提取復(fù)雜術(shù)語(yǔ)的目的。不過(guò),與一般的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)中僅強(qiáng)調(diào)“共現(xiàn)”有所不同,構(gòu)成復(fù)雜術(shù)語(yǔ)的詞匯之間必須具備位置相鄰性,而不是單純的“共現(xiàn)”,也就是說(shuō),在經(jīng)典的關(guān)聯(lián)規(guī)則方法中引入項(xiàng)之間的鄰接性限定,是關(guān)聯(lián)規(guī)則應(yīng)用于術(shù)語(yǔ)抽取的關(guān)鍵。

    由此,術(shù)語(yǔ)抽取中的關(guān)聯(lián)規(guī)則可以表述為:若詞匯X與詞匯Y依次鄰接出現(xiàn),且滿(mǎn)足最小的支持度和最小的置信度,則可以認(rèn)為詞匯X和詞匯Y按照XY的次序,組成復(fù)雜術(shù)語(yǔ)。其中,關(guān)鍵的兩個(gè)參數(shù)即支持度和置信度可以這樣理解,支持度體現(xiàn)了詞匯鄰接出現(xiàn)的頻率,支持度高,說(shuō)明詞匯鄰接組合出現(xiàn)的次數(shù)多,這樣鄰接出現(xiàn)的詞匯往往就會(huì)組成一個(gè)術(shù)語(yǔ)。置信度是指在詞匯X出現(xiàn)的條件下,詞匯Y緊跟其后出現(xiàn)的概率,或者在詞匯Y出現(xiàn)的條件下,詞匯X恰好出現(xiàn)它前面的概率,置信度越高,說(shuō)明詞匯X和詞匯Y的組成一個(gè)復(fù)雜術(shù)語(yǔ)的可能性越大。所以,可以這樣給支持度和置信度下定義:

    支持度為詞匯X和詞匯Y依次鄰接出現(xiàn)的概率,即:

    其中,N為用于術(shù)語(yǔ)抽取的文本的句數(shù)。

    置信度為在詞匯X出現(xiàn)的條件下,詞匯Y緊跟X后出現(xiàn)的概率或詞匯Y出現(xiàn)的條件下,詞匯X和詞匯Y依次鄰接出現(xiàn)的概率,即

    如此,一個(gè)復(fù)雜術(shù)語(yǔ)的抽取將涉及到一個(gè)置信度的集合C,如果抽取者更重視召回率(Recall),置信度可取集合中的最大值(confidence=max(C)),并將它與預(yù)定的最小置信度比較,這樣的取值強(qiáng)調(diào)在置信度集合C中“存在”比最小置信度大的值,能夠保證召回率。

    如果抽取者更重視準(zhǔn)確率(Precision),置信度可取集合中的最小值(confidence=min(C)),并將它與預(yù)定的最小置信度比較,這樣的取值強(qiáng)調(diào)在置信度集合C中的“所有”值均比最小置信度大,能夠保證準(zhǔn)確率。

    如果抽取者的要求比較苛刻,需要召回率和準(zhǔn)確率均較高,但由于召回率和準(zhǔn)確率呈反比例關(guān)系,取最大值和最小值的方法均不可取,必須選取最大值和最小值之間的合理的數(shù)值,這個(gè)值可以為置信度集合的算數(shù)平均數(shù)、幾何平均數(shù)以及中位數(shù)等。

    這里給出的置信度的定義,與經(jīng)典的關(guān)聯(lián)規(guī)則不同,它不涉及“前驅(qū)”和“后繼”的概念,在術(shù)語(yǔ)抽取中區(qū)分詞匯的“前驅(qū)”和“后繼”的意義不大。這里的置信度是指多個(gè)詞匯組成新的復(fù)雜術(shù)語(yǔ)的可能性的大小。

    3 實(shí)驗(yàn)結(jié)果及分析

    3.1 實(shí)驗(yàn)基本條件與內(nèi)容

    實(shí)驗(yàn)的基本條件如表1所示。

    3.2 用關(guān)聯(lián)規(guī)則方法進(jìn)行術(shù)語(yǔ)抽取的實(shí)驗(yàn)過(guò)程及結(jié)果

    (1)基本結(jié)果展示

    表2是利用關(guān)聯(lián)規(guī)則FT-tree算法,對(duì)圖書(shū)館學(xué)情報(bào)學(xué)領(lǐng)域中英文文摘進(jìn)行術(shù)語(yǔ)抽取所得到的部分術(shù)語(yǔ)。

    (2)中英文對(duì)照實(shí)驗(yàn)

    從理論上講,中英文在利用關(guān)聯(lián)規(guī)則進(jìn)行抽取時(shí)僅有預(yù)處理部分有所不同。中文不像英文那樣詞與詞之間存在著空格,因此在預(yù)處理時(shí)需要對(duì)中文進(jìn)行分詞。在中英文對(duì)照實(shí)驗(yàn)中,對(duì)圖書(shū)館與情報(bào)學(xué)領(lǐng)域的全部中英文數(shù)據(jù)進(jìn)行了抽取,實(shí)驗(yàn)使用了49種最小支持度和最小置信度組合,得到了49種抽取結(jié)果,表3列出了這49種抽取結(jié)果中最高的F-measure值、召回率值或準(zhǔn)確率值(最高項(xiàng)用陰影標(biāo)識(shí))及它們對(duì)應(yīng)的支持度與置信度取值。

    表1 實(shí)驗(yàn)基本條件表

    從表3中可以看出,在應(yīng)用關(guān)聯(lián)規(guī)則進(jìn)行術(shù)語(yǔ)抽取時(shí),可以通過(guò)合理配置參數(shù)(最小支持度和最小置信度)而得到滿(mǎn)意的效果,而且,無(wú)論是對(duì)于中文文本,還是英文文本,都可以通過(guò)配置不同的最小支持度和最小置信度來(lái)獲得較好的抽取效果。這說(shuō)明,用關(guān)聯(lián)規(guī)則方法進(jìn)行術(shù)語(yǔ)抽取不存在語(yǔ)言依賴(lài),如果不考慮不同語(yǔ)言在預(yù)處理階段有較大的差別,關(guān)聯(lián)規(guī)則方法可以用于抽取任何一種語(yǔ)言中的術(shù)語(yǔ)。

    表2 輸出結(jié)果表

    表3 中英文對(duì)照表

    (3)數(shù)據(jù)量大小對(duì)照實(shí)驗(yàn)

    分別以10條、100條、1000條圖書(shū)館學(xué)與情報(bào)學(xué)的英文數(shù)據(jù)作為抽取對(duì)象,每一種數(shù)據(jù)量都可以得到49種抽取結(jié)果,表4列出了這些結(jié)果中最高F-measure值、召回率值或準(zhǔn)確率值(最高項(xiàng)用陰影標(biāo)識(shí))及它們對(duì)應(yīng)的支持度與置信度取值。

    表4 數(shù)據(jù)量大小對(duì)照表

    從表4中可以看出,關(guān)聯(lián)規(guī)則方法不適用對(duì)數(shù)據(jù)量過(guò)小的數(shù)據(jù)集進(jìn)行抽取,相反,數(shù)據(jù)量越大,抽取效果越好,而且,對(duì)于不同數(shù)量的數(shù)據(jù)集,同樣可以通過(guò)配置不同的參數(shù)來(lái)達(dá)到用戶(hù)最滿(mǎn)意的效果。

    (4)不同學(xué)科數(shù)據(jù)對(duì)照實(shí)驗(yàn)

    實(shí)驗(yàn)過(guò)程中,除圖書(shū)館與情報(bào)學(xué)數(shù)據(jù)之外,還增加了數(shù)學(xué)和地球科學(xué)的數(shù)據(jù),分別對(duì)這三種學(xué)科的數(shù)據(jù)進(jìn)行術(shù)語(yǔ)抽取,對(duì)每一個(gè)學(xué)科的抽取結(jié)果,做與表3或表4相同的統(tǒng)計(jì)分析,得到表5的結(jié)果。

    表5 不同學(xué)科對(duì)照表

    從表5可以看出,用關(guān)聯(lián)規(guī)則方法對(duì)各個(gè)學(xué)科的文本進(jìn)行抽取,均能得到較好的結(jié)果,這說(shuō)明,關(guān)聯(lián)規(guī)則應(yīng)用于術(shù)語(yǔ)抽取不存在學(xué)科依賴(lài),即使用關(guān)聯(lián)規(guī)則進(jìn)行術(shù)語(yǔ)抽取不存在學(xué)科限制。在本實(shí)驗(yàn)中,由于不同的學(xué)科具有不同的數(shù)據(jù)量,同時(shí),各個(gè)學(xué)科的術(shù)語(yǔ)結(jié)構(gòu)、已知術(shù)語(yǔ)等有所區(qū)別,因而達(dá)到最佳抽取結(jié)果的參數(shù)配置(最小支持度和最小置信度)也有所不同,這再次證明,合理的參數(shù)配置是將關(guān)聯(lián)規(guī)則應(yīng)用于術(shù)語(yǔ)抽取的關(guān)鍵問(wèn)題之一。

    3.3 關(guān)聯(lián)規(guī)則方法與其他方法的對(duì)比實(shí)驗(yàn)及結(jié)果

    以圖書(shū)館學(xué)與情報(bào)學(xué)領(lǐng)域1000條英文文摘數(shù)據(jù)為處理對(duì)象,分別用互信息(基于統(tǒng)計(jì)學(xué)原理方法)、Justeson&Katz算法(基于語(yǔ)言學(xué)知識(shí)方法)、C-value算法(基于語(yǔ)言學(xué)和統(tǒng)計(jì)學(xué)結(jié)合方法)以及關(guān)聯(lián)規(guī)則的FT-tree算法進(jìn)行術(shù)語(yǔ)抽取,以下是實(shí)驗(yàn)過(guò)程中算法的實(shí)現(xiàn)難度、算法所需資源以及算法抽取效果等三方面比較結(jié)果。

    (1)算法實(shí)現(xiàn)難度比較

    算法實(shí)現(xiàn)難度是算法實(shí)用性的標(biāo)志之一。表6列出了實(shí)驗(yàn)中使用的四種算法的核心代碼量、核心內(nèi)容和人為參與情況。

    從表6可以看出,關(guān)聯(lián)規(guī)則有著較小的代碼量,但各個(gè)算法的核心代碼量不存在數(shù)量級(jí)上的明顯差別。在需要加載的內(nèi)容方面,C-value/NC-value和Justeson&Katz算法需要加載規(guī)則,這類(lèi)算法需要很強(qiáng)的先驗(yàn)知識(shí),關(guān)聯(lián)規(guī)則和互信息方法則不需要過(guò)多的規(guī)則,僅在在預(yù)處理部分做停用詞拆分和已知術(shù)語(yǔ)切分即可。值得一提的是,四種算法均必須人為控制參數(shù),而且這些參數(shù)都是至關(guān)重要的。從總體上看,關(guān)聯(lián)規(guī)則方法擁有較小的代碼量,較簡(jiǎn)單的抽取步驟和少量必須的人為參與,因此,關(guān)聯(lián)規(guī)則應(yīng)用于術(shù)語(yǔ)抽取有著易于實(shí)現(xiàn)的優(yōu)勢(shì)。

    表6 算法實(shí)現(xiàn)難度比較表

    (2)算法所需資源比較

    運(yùn)行算法時(shí)所需計(jì)算機(jī)資源的多少,是算法可用性的重要表現(xiàn)。計(jì)算機(jī)資源最重要的是時(shí)間和空間資源。以1000條圖書(shū)館學(xué)與情報(bào)學(xué)英文數(shù)據(jù)(大小為1028kb)為處理對(duì)象,統(tǒng)計(jì)各算法在術(shù)語(yǔ)抽取時(shí)的時(shí)間消耗以及最大內(nèi)存占用量,結(jié)果如表7所示。

    表7 資源占用比較表

    從表7中可以看出,F(xiàn)T-tree(關(guān)聯(lián)規(guī)則)和互信息算法具有明顯的運(yùn)行時(shí)間優(yōu)勢(shì),C-value/NC-value和Justeson&Katz算法除進(jìn)行基本詞頻統(tǒng)計(jì)和參數(shù)控制外還需要進(jìn)行規(guī)則的加載和篩選,因而時(shí)間消耗較大。在占用內(nèi)存方面,F(xiàn)T-tree(關(guān)聯(lián)規(guī)則)和互信息算法同樣有明顯優(yōu)勢(shì),C-value/NC-value和Justeson&Katz算法所使用的規(guī)則庫(kù)必需常駐內(nèi)存,同時(shí),為了滿(mǎn)足規(guī)則匹配的需要,這兩種算法還要求對(duì)每個(gè)詞進(jìn)行詞性的標(biāo)注等,所以其所需內(nèi)存較大。這一結(jié)果表明,關(guān)聯(lián)規(guī)則算法在算法的可用性即占用計(jì)算機(jī)資源方面具有一定優(yōu)勢(shì)。

    (3)算法抽取效果比較

    算法的抽取效果是評(píng)價(jià)算法優(yōu)劣的重要方面。此部分實(shí)驗(yàn),是中英文對(duì)照實(shí)驗(yàn)中的運(yùn)行結(jié)果。算法的參數(shù)配置,關(guān)聯(lián)規(guī)則選取本節(jié)數(shù)據(jù)量大小對(duì)照實(shí)驗(yàn)運(yùn)行結(jié)果F-measure值最高的一組支持度和置信度,其他算法的參數(shù)配置來(lái)源于相應(yīng)的參考文獻(xiàn)[1,13,14]。算法的抽取效果從準(zhǔn)確率、召回率和F-measure三個(gè)指標(biāo)進(jìn)行評(píng)價(jià),結(jié)果如表8所示。

    表8 算法抽取效果比較表

    從表8中可以看出,Justeson&Katz算法的準(zhǔn)確率要高于其他算法,C-value/NC-value算法和關(guān)聯(lián)規(guī)則算法的準(zhǔn)確率次之,互信息方法的準(zhǔn)確率最低。而實(shí)驗(yàn)結(jié)果的召回率與準(zhǔn)確率結(jié)果相反,Justeson&Katz算法的召回率最低,互信息方法的召回率達(dá)到了1。F-measure是綜合評(píng)價(jià)準(zhǔn)確率和召回率的指標(biāo),C-value/NC-value算法的F-measure值最高,其次為關(guān)聯(lián)規(guī)則算法以及Justeson&Katz算法,互信息算法的F-measure值最低。綜合來(lái)看,就1000條的數(shù)據(jù)量來(lái)講,關(guān)聯(lián)規(guī)則算法取得了不錯(cuò)的抽取效果,但還有一定的進(jìn)步空間。

    4 結(jié)語(yǔ)

    本文討論了基于關(guān)聯(lián)規(guī)則的復(fù)雜術(shù)語(yǔ)抽取方法,從理論上看,關(guān)聯(lián)規(guī)則的基本原理決定了它在充分解決“序”的條件下,可以很好的完成術(shù)語(yǔ)的識(shí)別和抽取問(wèn)題。從實(shí)踐上看,關(guān)聯(lián)規(guī)則的方法的確可以正確抽取出術(shù)語(yǔ),而且,通過(guò)與現(xiàn)有算法的比較,可以發(fā)現(xiàn),關(guān)聯(lián)規(guī)則在算法實(shí)現(xiàn)難度和占用資源方面具有非常明顯的優(yōu)勢(shì)。而且,關(guān)聯(lián)規(guī)則在術(shù)語(yǔ)抽取時(shí)沒(méi)有學(xué)科和語(yǔ)言的依賴(lài)性,這一點(diǎn),是基于規(guī)則的方法所不能比擬的。我們的下一步工作將進(jìn)一步分析如何合理配置參數(shù)以及各種關(guān)聯(lián)規(guī)則算法用于術(shù)語(yǔ)抽取時(shí)的特點(diǎn),包括效率、效果和限制條件。

    [1] Justeson J, Katz S.Technical Terminology: some Linguistic Properties and an Algorithm for Identification in Text[J].Natural Language Engineering,1995,1(1):9-27.

    [2] Jacquemin C.Recycling Terms into a Partial Parser[C].Proceedings of NALP’94,1994:113-118.

    [3] Dagan I, Church K.Termight: Identifying and Translating Technical Terminology[C].4th Conference on Applied Natural Language Processing,1994:34-40.

    [4] Andy L.Automatic Recognition of Complex Terms:Problems and the TERMINO Solution [J].In Terminolo-gy: Applications in Interdisciplinary Communication,1994,1(1):147-170.

    [5] Arppe A.Term Extraction from Unrestricted Text[C].10th Nordic Conference of Computational Linguistics,1995.

    [6] Chengxiang Z, Xiang T, Frayling MN.Evaluation of Syntactic Phrase Index CLARIT[C].Proceedings of TREC-5,1996.

    [7] Ulrich H, Jauss S, Katja K.Term Extration with Standard Tools for Corpus Exploration:Experience from German[C].4th International Congress on Terminology and Knowledge Engieering,1996:139-150.

    [8] Bourigault D, Mullier GI, Gros C.Lexter, A Natural Language Processing Tool for Terminology Extraction[C].7th EUEALEX International Congress on Lexicography,1996:771-779.

    [9] Naulleau E.Profile-guided Terminology Extraction[C].the TKE’99: Terminology and Knowledge Engineering,1999:222-240.

    [10] Herman E, Chomsky N.Term Extraction [EB/OL].[2014-07-02].http://fivefilters.org/term-extraction/.

    [11] Sclano F, Velardi P.Termextractor: a web application to learnthe shared terminology of emergentweb communities[C].the 3rd International Coference on Interoperability for Enterprise Software and Applications,2007.

    [12] Church K,Gale W.Inverse Document Frequency (IDF):A Measure of Deviations from Poisson [C].the 3rd Workshop on Very Large Corpora.Cambridge,Massachusetts, USA,1995:121-130.

    [13] Frantzi K, Ananiadou S.Extracting Nested Collocations[C].Proceedings of the 16thinternational conference on computational linguistics,Coling 96,1996:41-46.

    [14] Frantzi K, Ananiadou S, Mima H.Automatic recognition of multi-word terms:the C-value/NC-value method [J].InternationJournalonDigitalLibraries,2000,3(2):115-130.

    [15] 辛欣,李涓子.文本信息抽取平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)——基于機(jī)器學(xué)習(xí)[A].第七屆中文信息處理國(guó)際會(huì)議論文集[C].中國(guó)中文信息學(xué)會(huì),2007:7.

    [16] 韓家煒.數(shù)據(jù)挖掘概念與技術(shù)[M].北京:機(jī)械工業(yè)出版社,2013.

    [17] 陳定權(quán),朱維鳳.關(guān)聯(lián)規(guī)則與圖書(shū)館書(shū)目推薦[J].情報(bào)理論與實(shí)踐,2009,(6):81-84.

    [18] 徐曉楠,張曉珺,張偉等.北京市火災(zāi)關(guān)聯(lián)規(guī)則分析[J].安全與環(huán)境學(xué)報(bào),2010,(3):151-156.

    [19] 羅五明,韓平陽(yáng).車(chē)輛事故關(guān)聯(lián)規(guī)則的提取[J].交通與計(jì)算機(jī),2003,(2):17-19.

    [20] 任長(zhǎng)偉,尚艷英,曹彥榮.基于GIS與空間關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘在森林病蟲(chóng)害預(yù)測(cè)中的應(yīng)用初探[A].中國(guó)地理信息系統(tǒng)協(xié)會(huì).第四屆海峽兩岸GIS發(fā)展研討會(huì)暨中國(guó)GIS協(xié)會(huì)第十屆年會(huì)論文集[C],2006:6.

    [21] 林煒爍,紀(jì)立金,高思華.基于關(guān)聯(lián)規(guī)則的肺腸合病醫(yī)案用藥規(guī)律探索[J].世界中醫(yī)藥,2014,(4):401-404.

    [22] Zhang Z, Iria J, Brewster C, Ciravegna F.Java Automatic Term Extraction toolkit[EB/OL].[2017-07-02].https://jatetoolkit.googlecode.com/svn/trunk/2.0Alpha.

    猜你喜歡
    置信度術(shù)語(yǔ)關(guān)聯(lián)
    硼鋁復(fù)合材料硼含量置信度臨界安全分析研究
    “一帶一路”遞進(jìn),關(guān)聯(lián)民生更緊
    正負(fù)關(guān)聯(lián)規(guī)則兩級(jí)置信度閾值設(shè)置方法
    奇趣搭配
    智趣
    讀者(2017年5期)2017-02-15 18:04:18
    置信度條件下軸承壽命的可靠度分析
    軸承(2015年2期)2015-07-25 03:51:04
    有感于幾個(gè)術(shù)語(yǔ)的定名與應(yīng)用
    從術(shù)語(yǔ)學(xué)基本模型的演變看術(shù)語(yǔ)學(xué)的發(fā)展趨勢(shì)
    多假設(shè)用于同一結(jié)論時(shí)綜合置信度計(jì)算的新方法?
    語(yǔ)言學(xué)與修辭學(xué):關(guān)聯(lián)與互動(dòng)
    国产伦精品一区二区三区视频9 | 国产高清videossex| 在线看三级毛片| 丰满人妻熟妇乱又伦精品不卡| 99久久精品一区二区三区| 欧美乱色亚洲激情| 日韩精品青青久久久久久| 久久天堂一区二区三区四区| 叶爱在线成人免费视频播放| 国产成人一区二区三区免费视频网站| 成人欧美大片| 人妻夜夜爽99麻豆av| 日本 av在线| 成在线人永久免费视频| 在线观看免费午夜福利视频| 国产探花在线观看一区二区| 日本黄大片高清| 精品国产三级普通话版| 91久久精品国产一区二区成人 | 国产亚洲欧美98| 亚洲天堂国产精品一区在线| 麻豆成人av在线观看| 18禁黄网站禁片免费观看直播| 麻豆国产97在线/欧美| 18美女黄网站色大片免费观看| 国产精品爽爽va在线观看网站| 中文字幕av在线有码专区| 国产黄片美女视频| av欧美777| 99国产综合亚洲精品| 在线观看午夜福利视频| 欧美另类亚洲清纯唯美| 国产精品乱码一区二三区的特点| 精品久久久久久,| 麻豆国产97在线/欧美| 嫁个100分男人电影在线观看| 亚洲欧美精品综合久久99| 波多野结衣巨乳人妻| 熟女电影av网| 老汉色av国产亚洲站长工具| 亚洲五月天丁香| 久久久国产成人精品二区| 成人欧美大片| 日韩免费av在线播放| 在线免费观看的www视频| 最近最新中文字幕大全免费视频| 后天国语完整版免费观看| av黄色大香蕉| 久久精品91蜜桃| 国产主播在线观看一区二区| 啪啪无遮挡十八禁网站| 亚洲精品乱码久久久v下载方式 | 色老头精品视频在线观看| 嫩草影视91久久| 天堂动漫精品| 免费看十八禁软件| 最近最新中文字幕大全电影3| 婷婷亚洲欧美| 久久99热这里只有精品18| 狠狠狠狠99中文字幕| 久久久久性生活片| 亚洲午夜理论影院| 日本与韩国留学比较| 国产一区二区激情短视频| 青草久久国产| 成人一区二区视频在线观看| 午夜视频精品福利| 亚洲av电影在线进入| 久久午夜亚洲精品久久| 国产又黄又爽又无遮挡在线| 激情在线观看视频在线高清| 波多野结衣高清无吗| 天堂动漫精品| 美女 人体艺术 gogo| 欧美最黄视频在线播放免费| 男人舔女人的私密视频| 国产三级黄色录像| xxxwww97欧美| 不卡av一区二区三区| 亚洲真实伦在线观看| 久久久久久久午夜电影| 在线观看日韩欧美| 精品国内亚洲2022精品成人| 国产极品精品免费视频能看的| 久久久成人免费电影| 啪啪无遮挡十八禁网站| 国产 一区 欧美 日韩| 久久国产精品影院| www.999成人在线观看| 日本 欧美在线| 国产v大片淫在线免费观看| 搡老熟女国产l中国老女人| 成人国产一区最新在线观看| 琪琪午夜伦伦电影理论片6080| 后天国语完整版免费观看| 久久午夜综合久久蜜桃| 一区二区三区激情视频| 亚洲熟妇熟女久久| 日韩有码中文字幕| 中文资源天堂在线| 国产精品av视频在线免费观看| 两个人视频免费观看高清| 久久久国产成人精品二区| 国产伦一二天堂av在线观看| 中文字幕人成人乱码亚洲影| 亚洲av熟女| 日本黄色片子视频| 成年版毛片免费区| 中文字幕人妻丝袜一区二区| 国产美女午夜福利| 亚洲一区二区三区不卡视频| 色噜噜av男人的天堂激情| 亚洲aⅴ乱码一区二区在线播放| 久久精品国产99精品国产亚洲性色| 久久久久免费精品人妻一区二区| 啦啦啦免费观看视频1| 亚洲精品中文字幕一二三四区| 精品午夜福利视频在线观看一区| 又紧又爽又黄一区二区| 亚洲精品美女久久av网站| 欧美色视频一区免费| 啦啦啦观看免费观看视频高清| 成人av一区二区三区在线看| 亚洲av电影在线进入| av片东京热男人的天堂| 白带黄色成豆腐渣| 男女床上黄色一级片免费看| 热99re8久久精品国产| 亚洲av中文字字幕乱码综合| 18禁黄网站禁片免费观看直播| 99国产精品一区二区蜜桃av| 高清在线国产一区| 国产精品亚洲一级av第二区| 日韩三级视频一区二区三区| 欧美黄色淫秽网站| 精品不卡国产一区二区三区| 宅男免费午夜| 可以在线观看的亚洲视频| 天堂av国产一区二区熟女人妻| 18禁观看日本| 精品免费久久久久久久清纯| 国产又黄又爽又无遮挡在线| 亚洲av成人不卡在线观看播放网| 最近最新中文字幕大全免费视频| 国产高清三级在线| 波多野结衣高清无吗| 欧美日韩乱码在线| 亚洲欧洲精品一区二区精品久久久| 亚洲电影在线观看av| 亚洲av美国av| 老司机午夜十八禁免费视频| 三级男女做爰猛烈吃奶摸视频| 午夜免费观看网址| 久久久国产成人免费| 99国产精品99久久久久| 日韩成人在线观看一区二区三区| 一本久久中文字幕| 久久精品国产综合久久久| 亚洲成人精品中文字幕电影| 久久精品91无色码中文字幕| 丁香六月欧美| 亚洲国产看品久久| 久久久色成人| 久久精品亚洲精品国产色婷小说| 国产欧美日韩一区二区三| 两性夫妻黄色片| 国产欧美日韩精品一区二区| 一级a爱片免费观看的视频| 亚洲aⅴ乱码一区二区在线播放| 国产高清videossex| 一区二区三区激情视频| 国产精品女同一区二区软件 | 精品国产三级普通话版| 成人性生交大片免费视频hd| 日日摸夜夜添夜夜添小说| 久久欧美精品欧美久久欧美| 欧美xxxx黑人xx丫x性爽| 日韩欧美国产在线观看| 此物有八面人人有两片| 天天躁日日操中文字幕| xxx96com| 波多野结衣高清无吗| 午夜亚洲福利在线播放| 欧美中文综合在线视频| 国产成+人综合+亚洲专区| 亚洲电影在线观看av| 午夜福利18| 岛国视频午夜一区免费看| 欧美性猛交╳xxx乱大交人| 亚洲五月天丁香| 夜夜夜夜夜久久久久| 亚洲在线观看片| 国产精品99久久久久久久久| 久久欧美精品欧美久久欧美| 国产黄a三级三级三级人| 岛国在线免费视频观看| 操出白浆在线播放| 久久久久精品国产欧美久久久| 少妇的逼水好多| 欧美日韩黄片免| 欧美午夜高清在线| 搡老妇女老女人老熟妇| 91麻豆av在线| 国产成+人综合+亚洲专区| 久久久久久九九精品二区国产| 十八禁网站免费在线| 国产成人av教育| 亚洲国产精品合色在线| 琪琪午夜伦伦电影理论片6080| 老司机福利观看| 日本黄色视频三级网站网址| 日韩欧美免费精品| 久久久久久久久免费视频了| 巨乳人妻的诱惑在线观看| 国产精华一区二区三区| 在线观看舔阴道视频| 在线观看一区二区三区| 最近在线观看免费完整版| 在线国产一区二区在线| 99精品欧美一区二区三区四区| 亚洲人与动物交配视频| 黑人巨大精品欧美一区二区mp4| 国产一区二区在线av高清观看| 美女高潮的动态| 国产精品98久久久久久宅男小说| 中文字幕熟女人妻在线| www.熟女人妻精品国产| 亚洲av成人不卡在线观看播放网| 久久天躁狠狠躁夜夜2o2o| 国产精品野战在线观看| 色吧在线观看| 美女扒开内裤让男人捅视频| 日本五十路高清| 中亚洲国语对白在线视频| 看片在线看免费视频| 男人舔女人下体高潮全视频| 夜夜夜夜夜久久久久| 国产亚洲精品久久久久久毛片| 久久久国产精品麻豆| 午夜成年电影在线免费观看| 亚洲成人精品中文字幕电影| 女警被强在线播放| 亚洲人成网站在线播放欧美日韩| 亚洲欧美一区二区三区黑人| 夜夜躁狠狠躁天天躁| 美女大奶头视频| 精品欧美国产一区二区三| 国产精品99久久久久久久久| 日本精品一区二区三区蜜桃| 蜜桃久久精品国产亚洲av| 欧美+亚洲+日韩+国产| 天天躁日日操中文字幕| 久久久久免费精品人妻一区二区| 19禁男女啪啪无遮挡网站| 精品99又大又爽又粗少妇毛片 | aaaaa片日本免费| 全区人妻精品视频| 国产精品久久久久久人妻精品电影| 啦啦啦韩国在线观看视频| 国产一区在线观看成人免费| 老司机午夜十八禁免费视频| 久久久久久人人人人人| 亚洲成av人片免费观看| 网址你懂的国产日韩在线| 精品久久久久久久毛片微露脸| svipshipincom国产片| 99国产极品粉嫩在线观看| 成人无遮挡网站| 亚洲一区二区三区不卡视频| 国产精品一区二区三区四区久久| 级片在线观看| 日韩 欧美 亚洲 中文字幕| 成人av在线播放网站| 亚洲色图av天堂| 亚洲av电影在线进入| 日本一本二区三区精品| 婷婷六月久久综合丁香| 又爽又黄无遮挡网站| 999久久久精品免费观看国产| 精品免费久久久久久久清纯| 中文资源天堂在线| 国产蜜桃级精品一区二区三区| 麻豆av在线久日| 韩国av一区二区三区四区| 日韩欧美精品v在线| 国产伦人伦偷精品视频| 国产激情偷乱视频一区二区| 色综合亚洲欧美另类图片| 国产亚洲欧美98| 每晚都被弄得嗷嗷叫到高潮| 在线观看午夜福利视频| www日本在线高清视频| 久久久久久大精品| 中文字幕久久专区| 香蕉av资源在线| 又爽又黄无遮挡网站| 日韩免费av在线播放| 十八禁人妻一区二区| 老司机深夜福利视频在线观看| 床上黄色一级片| 国产精品永久免费网站| 国产一区二区在线观看日韩 | 久久久久国产一级毛片高清牌| 三级国产精品欧美在线观看 | 成人特级黄色片久久久久久久| 麻豆国产97在线/欧美| 午夜久久久久精精品| 成人三级黄色视频| 97超级碰碰碰精品色视频在线观看| 老汉色∧v一级毛片| 免费搜索国产男女视频| 免费看光身美女| 最近视频中文字幕2019在线8| 99热这里只有是精品50| 国产精品,欧美在线| 99久国产av精品| 午夜免费成人在线视频| 99热6这里只有精品| 欧美日韩黄片免| 麻豆av在线久日| 岛国在线观看网站| 少妇裸体淫交视频免费看高清| 99热精品在线国产| 免费电影在线观看免费观看| 成人亚洲精品av一区二区| 国产精品久久久久久亚洲av鲁大| 亚洲人与动物交配视频| 亚洲午夜理论影院| 哪里可以看免费的av片| 国产高清三级在线| 五月伊人婷婷丁香| 在线看三级毛片| 免费在线观看影片大全网站| 给我免费播放毛片高清在线观看| 亚洲电影在线观看av| 中国美女看黄片| 亚洲最大成人中文| 成人午夜高清在线视频| 老司机深夜福利视频在线观看| 淫秽高清视频在线观看| 波多野结衣巨乳人妻| 亚洲熟妇熟女久久| 日日摸夜夜添夜夜添小说| 亚洲熟妇中文字幕五十中出| 日韩大尺度精品在线看网址| 亚洲精品美女久久av网站| 国产在线精品亚洲第一网站| 美女黄网站色视频| 日本三级黄在线观看| 亚洲国产精品sss在线观看| 在线看三级毛片| 91字幕亚洲| 亚洲欧美日韩高清专用| 99久久久亚洲精品蜜臀av| 久久九九热精品免费| 日本成人三级电影网站| 久久精品91无色码中文字幕| 亚洲国产精品合色在线| 亚洲黑人精品在线| 免费无遮挡裸体视频| 两个人视频免费观看高清| 亚洲自偷自拍图片 自拍| or卡值多少钱| 中文字幕av在线有码专区| 久久香蕉国产精品| 久久久久久久久中文| 国产三级黄色录像| 亚洲国产欧美网| 亚洲精品国产精品久久久不卡| 一级毛片女人18水好多| 成年女人永久免费观看视频| 国产激情偷乱视频一区二区| a级毛片a级免费在线| 一区二区三区国产精品乱码| 欧美一区二区国产精品久久精品| 色综合婷婷激情| 成年女人永久免费观看视频| 午夜日韩欧美国产| 我要搜黄色片| 欧美乱色亚洲激情| 欧美zozozo另类| 一个人看视频在线观看www免费 | 狂野欧美激情性xxxx| 久久久国产欧美日韩av| 色av中文字幕| 热99在线观看视频| 欧美国产日韩亚洲一区| 色吧在线观看| 中文字幕久久专区| 成人特级av手机在线观看| 国产欧美日韩精品一区二区| 综合色av麻豆| 国产熟女xx| 亚洲性夜色夜夜综合| 91九色精品人成在线观看| 天天添夜夜摸| 在线十欧美十亚洲十日本专区| 日本免费a在线| 天天一区二区日本电影三级| 岛国在线免费视频观看| 一二三四在线观看免费中文在| 一个人观看的视频www高清免费观看 | 夜夜躁狠狠躁天天躁| 天堂动漫精品| 成人精品一区二区免费| 最近视频中文字幕2019在线8| 色综合婷婷激情| 国产成人福利小说| 99久久成人亚洲精品观看| 精品电影一区二区在线| 黄片大片在线免费观看| 一个人看视频在线观看www免费 | 国产欧美日韩精品亚洲av| 久久草成人影院| 精品国产超薄肉色丝袜足j| 在线观看美女被高潮喷水网站 | 男女午夜视频在线观看| 男插女下体视频免费在线播放| 9191精品国产免费久久| 1024香蕉在线观看| 亚洲欧美精品综合久久99| 黄色 视频免费看| cao死你这个sao货| 欧美乱色亚洲激情| 露出奶头的视频| 久久国产精品人妻蜜桃| 五月伊人婷婷丁香| 国产成人av教育| 国产亚洲精品久久久久久毛片| 国产一区二区在线av高清观看| 亚洲avbb在线观看| 国产成人系列免费观看| aaaaa片日本免费| 亚洲国产精品999在线| 精品久久久久久成人av| 免费电影在线观看免费观看| 国产精品野战在线观看| 一个人免费在线观看电影 | 欧美乱妇无乱码| 精品电影一区二区在线| www国产在线视频色| 亚洲国产看品久久| 天堂影院成人在线观看| 岛国视频午夜一区免费看| 国产欧美日韩精品一区二区| 国内毛片毛片毛片毛片毛片| 国产乱人伦免费视频| 桃红色精品国产亚洲av| 亚洲 国产 在线| 非洲黑人性xxxx精品又粗又长| 久久久色成人| 一区二区三区高清视频在线| 狂野欧美白嫩少妇大欣赏| 亚洲成人精品中文字幕电影| 校园春色视频在线观看| 免费看a级黄色片| 亚洲国产欧美一区二区综合| 又大又爽又粗| 91在线观看av| 叶爱在线成人免费视频播放| 好看av亚洲va欧美ⅴa在| 国产一区二区在线av高清观看| 天堂网av新在线| 亚洲av美国av| 国产综合懂色| 亚洲,欧美精品.| 欧美大码av| 热99在线观看视频| 精品99又大又爽又粗少妇毛片 | 巨乳人妻的诱惑在线观看| 国产亚洲欧美98| 久久欧美精品欧美久久欧美| 国产成人av教育| av中文乱码字幕在线| 亚洲色图 男人天堂 中文字幕| 亚洲国产高清在线一区二区三| 久久久久国内视频| 在线观看66精品国产| 国产成人精品无人区| 熟妇人妻久久中文字幕3abv| 亚洲欧美一区二区三区黑人| 亚洲无线观看免费| 欧美性猛交╳xxx乱大交人| 99久久99久久久精品蜜桃| 国产精品精品国产色婷婷| 黑人操中国人逼视频| 国产精品女同一区二区软件 | 99re在线观看精品视频| 国产亚洲欧美98| 日本与韩国留学比较| 成年免费大片在线观看| 国产av在哪里看| 可以在线观看的亚洲视频| 一进一出抽搐gif免费好疼| 日韩有码中文字幕| 神马国产精品三级电影在线观看| 在线免费观看不下载黄p国产 | 黄色 视频免费看| 观看美女的网站| 欧美绝顶高潮抽搐喷水| 香蕉久久夜色| 综合色av麻豆| 国产伦一二天堂av在线观看| 黄色视频,在线免费观看| 黑人操中国人逼视频| 国产精品自产拍在线观看55亚洲| 99热精品在线国产| 国产午夜精品久久久久久| 丁香六月欧美| 91麻豆精品激情在线观看国产| 丰满人妻熟妇乱又伦精品不卡| 神马国产精品三级电影在线观看| 一夜夜www| 一本综合久久免费| 午夜福利免费观看在线| 国产高清videossex| 一a级毛片在线观看| 欧美丝袜亚洲另类 | 午夜影院日韩av| 国产69精品久久久久777片 | 精品久久蜜臀av无| 国产野战对白在线观看| 99久久精品国产亚洲精品| 婷婷精品国产亚洲av在线| 热99re8久久精品国产| 国产三级中文精品| 久久这里只有精品19| 欧美+亚洲+日韩+国产| 在线免费观看不下载黄p国产 | or卡值多少钱| 韩国av一区二区三区四区| 免费看十八禁软件| 日本五十路高清| 天堂影院成人在线观看| 最近视频中文字幕2019在线8| 三级男女做爰猛烈吃奶摸视频| 美女 人体艺术 gogo| 国产免费av片在线观看野外av| 美女被艹到高潮喷水动态| 亚洲aⅴ乱码一区二区在线播放| 成人av一区二区三区在线看| 欧美极品一区二区三区四区| 麻豆国产97在线/欧美| 亚洲午夜精品一区,二区,三区| 1024手机看黄色片| 一级a爱片免费观看的视频| 怎么达到女性高潮| 久久久久久久精品吃奶| 18禁观看日本| 丰满人妻熟妇乱又伦精品不卡| a级毛片a级免费在线| 欧美日韩综合久久久久久 | 悠悠久久av| 欧美极品一区二区三区四区| 国产精品日韩av在线免费观看| 亚洲午夜精品一区,二区,三区| 熟女人妻精品中文字幕| 九九久久精品国产亚洲av麻豆 | 欧美黑人欧美精品刺激| 在线十欧美十亚洲十日本专区| 麻豆成人午夜福利视频| 最新中文字幕久久久久 | 99精品欧美一区二区三区四区| 老司机深夜福利视频在线观看| 好男人在线观看高清免费视频| 午夜福利欧美成人| 可以在线观看毛片的网站| 亚洲国产欧美一区二区综合| av天堂在线播放| 中文在线观看免费www的网站| 叶爱在线成人免费视频播放| 日本黄大片高清| 欧美另类亚洲清纯唯美| 九九热线精品视视频播放| 黄色日韩在线| 日本黄色片子视频| 国产欧美日韩精品亚洲av| 白带黄色成豆腐渣| 国产日本99.免费观看| 国产精品免费一区二区三区在线| 成人永久免费在线观看视频| 99在线视频只有这里精品首页| 日本 av在线| 欧美日本视频| 后天国语完整版免费观看| 久久精品夜夜夜夜夜久久蜜豆| 欧美高清成人免费视频www| 丝袜人妻中文字幕| 成人三级黄色视频| 日日摸夜夜添夜夜添小说| 中国美女看黄片| 精品久久久久久,| 窝窝影院91人妻| 亚洲精品久久国产高清桃花| 在线视频色国产色| 脱女人内裤的视频| 老鸭窝网址在线观看| 最好的美女福利视频网| 亚洲av成人精品一区久久| 日韩av在线大香蕉| 男人舔奶头视频| 91老司机精品| cao死你这个sao货| 亚洲真实伦在线观看| 日韩大尺度精品在线看网址| 嫩草影院入口| 国产三级在线视频| 91老司机精品| 母亲3免费完整高清在线观看| 国产三级在线视频| 啦啦啦韩国在线观看视频| 免费看十八禁软件| 精华霜和精华液先用哪个| 在线国产一区二区在线| 成年人黄色毛片网站|