• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    科技文檔間非對(duì)稱(chēng)關(guān)系的雙模態(tài)度量方法

    2021-10-22 12:43:38徐建民王鑫
    關(guān)鍵詞:覆蓋度非對(duì)稱(chēng)度量

    徐建民,王鑫

    (河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院,河北 保定 071002)

    文檔間關(guān)系度量研究是近年來(lái)多個(gè)領(lǐng)域的一個(gè)研究熱點(diǎn),在文檔分類(lèi)、抄襲檢測(cè)、自動(dòng)問(wèn)答、智能檢索等領(lǐng)域都有著廣泛的應(yīng)用[1].傳統(tǒng)度量方法多假設(shè)文檔間關(guān)系是對(duì)稱(chēng)的,不區(qū)分文檔間關(guān)系的方向差異性,未能刻畫(huà)出2個(gè)文檔之間相互影響力的不同.Garg等[2]指出文本文檔間存在非對(duì)稱(chēng)關(guān)系并提出了一種度量方法,實(shí)驗(yàn)證明了非對(duì)稱(chēng)關(guān)系度量與傳統(tǒng)的對(duì)稱(chēng)度量方法相比具有更好的性能.

    科技文檔不同于文本文檔,它是一種多模態(tài)數(shù)據(jù),除文本外,還包括公式、圖表等重要信息[3],很多時(shí)候科技文檔中的這些非文本信息更能代表相關(guān)文檔的內(nèi)涵.這些非文本信息之間的關(guān)系本質(zhì)上來(lái)看也不是對(duì)稱(chēng)的,忽略這種非對(duì)稱(chēng)關(guān)系,或?qū)⒁延械奈谋疚臋n間非對(duì)稱(chēng)關(guān)系度量方法直接用于度量科技文檔間非對(duì)稱(chēng)關(guān)系會(huì)造成度量數(shù)據(jù)的不準(zhǔn)確乃至產(chǎn)生較大偏差.

    本文在對(duì)科技文檔間非對(duì)稱(chēng)關(guān)系進(jìn)行分析的基礎(chǔ)上,提出一種基于文本和公式雙模態(tài)的度量方法.該方法將非對(duì)稱(chēng)關(guān)系定義為覆蓋度,通過(guò)融合公式覆蓋度和文本覆蓋度得到文檔覆蓋度,以實(shí)現(xiàn)對(duì)科技文檔間非對(duì)稱(chēng)關(guān)系的度量.新方法可以更好地區(qū)分科技文檔間關(guān)系的方向性,更準(zhǔn)確地度量科技文檔間關(guān)系.本文的主要貢獻(xiàn)包括:

    1)針對(duì)科技文檔間的非對(duì)稱(chēng)關(guān)系,提出文檔覆蓋度的概念,給出了文檔覆蓋度的規(guī)范定義.

    2)提出一種基于非對(duì)稱(chēng)因子的公式覆蓋度計(jì)算方法,并基于TCM(Tversky contrast model)[4]思想對(duì)公式進(jìn)行了改進(jìn),在此基礎(chǔ)上線(xiàn)性組合公式覆蓋度和文本覆蓋度得到科技文檔的覆蓋度.

    1 相關(guān)研究

    目前,已有的科技文檔間關(guān)系的度量方法多是基于對(duì)稱(chēng)關(guān)系的,主要分為4類(lèi):1)基于向量空間模型的方法.劉勘等[5]提出一種基于改進(jìn)TF-IDF特征詞加權(quán)算法的科技文檔聚類(lèi)方法,根據(jù)特征詞的詞頻、所在位置和詞性為特征詞加權(quán),建立科技文檔向量空間模型,利用該模型計(jì)算文檔相似度.牛奉高等[6]通過(guò)共現(xiàn)分析挖掘科技文檔特征詞間的語(yǔ)義關(guān)系,實(shí)現(xiàn)對(duì)向量空間模型的改進(jìn),利用改進(jìn)模型計(jì)算文檔間相似性.2)基于集合模型的方法.Jiang等[7]提出一種基于N-Gram的安全相似文檔檢測(cè)(SSDD)協(xié)議,考慮N-Gram模型具有識(shí)別重疊文本片段的優(yōu)點(diǎn),利用該模型計(jì)算文檔相似性.徐建民等[3]提出一種結(jié)合公式和文本的科技文檔相似度計(jì)算方法,公式相似度基于集合模型的思想得到,將公式相似度和文本相似度線(xiàn)性融合計(jì)算科技文檔相似度.3)基于層次結(jié)構(gòu)的方法.樓雯等[8]將文檔轉(zhuǎn)換為本體樹(shù)結(jié)構(gòu),利用本體中概念的相似程度計(jì)算文檔間相似性.黎雪微等[9]利用本體和信息量融合的相似度算法來(lái)改進(jìn)基于內(nèi)容的推薦方法中的文本項(xiàng)目過(guò)于集中的問(wèn)題,提出在推薦時(shí)同時(shí)考慮項(xiàng)目信息距離和信息損失距離的相似度.4)基于引文圖的方法.朱戈等[10]提出一種基于改進(jìn)PageRank的科技文檔相似性搜索算法,結(jié)合文檔內(nèi)容和文檔間引用關(guān)系對(duì)PageRank算法進(jìn)行改進(jìn),基于改進(jìn)算法計(jì)算文檔相似度.翟玲等[11]提出一種基于分段估計(jì)和PageRank的文檔相似性搜索算法,該算法采用分段估計(jì)法對(duì)文檔特征進(jìn)行提??;并將PageRank取值大小作為文檔初步分類(lèi)的準(zhǔn)則,計(jì)算文檔不同特征的相似度.上述方法均基于文檔間對(duì)稱(chēng)關(guān)系的假設(shè),未考慮科技文檔間關(guān)系的非對(duì)稱(chēng)性.

    Chen等[12]發(fā)現(xiàn)在一個(gè)文檔集合中任意2個(gè)術(shù)語(yǔ)間的關(guān)聯(lián)是非對(duì)稱(chēng)的,提出了用術(shù)語(yǔ)共現(xiàn)算法來(lái)衡量術(shù)語(yǔ)間非對(duì)稱(chēng)關(guān)系.在術(shù)語(yǔ)間非對(duì)稱(chēng)關(guān)系發(fā)現(xiàn)后,相關(guān)專(zhuān)家學(xué)者從文本結(jié)構(gòu)、文本內(nèi)容等角度開(kāi)展了文檔間非對(duì)稱(chēng)關(guān)系的研究.從文本結(jié)構(gòu)角度:Guan等[13]提出一種稱(chēng)為種子親和傳播的文檔聚類(lèi)算法,通過(guò)獲取文本的結(jié)構(gòu)信息來(lái)度量文檔間的非對(duì)稱(chēng)關(guān)系,并定義了相同特征集合、獨(dú)特特征集合、顯著相同特征集合來(lái)表示文本的結(jié)構(gòu)信息.Chua等[14]用TCM思想來(lái)度量本體間非對(duì)稱(chēng)相似性,并將這種非對(duì)稱(chēng)相似性用于解決本體對(duì)齊的問(wèn)題.Albertoni等[15]提出一種本體實(shí)例間的非對(duì)稱(chēng)語(yǔ)義相似度計(jì)算方法,考慮了實(shí)例間結(jié)構(gòu)的比較,用非對(duì)稱(chēng)性來(lái)強(qiáng)調(diào)實(shí)例特征間的包含原則.部分學(xué)者還從文本內(nèi)容角度進(jìn)行了研究:Yoshida等[16]提出用修正重疊系數(shù)來(lái)衡量文檔間非對(duì)稱(chēng)關(guān)系,并將文檔關(guān)系的非對(duì)稱(chēng)性應(yīng)用到信息過(guò)濾系統(tǒng)中,從相似的文檔中選擇代表性文檔.Teitelbaum等[17]提出一種基于非對(duì)稱(chēng)距離的相似函數(shù),利用偏斜范數(shù)來(lái)度量文本間非對(duì)稱(chēng)關(guān)系.宋韶旭等[18]提出一種文本非對(duì)稱(chēng)相似度計(jì)算方法,并在此基礎(chǔ)上利用非對(duì)稱(chēng)相似度矩陣對(duì)文本進(jìn)行了聚類(lèi)分析.Wu等[19]提出了一種新的非對(duì)稱(chēng)文本相似性公式,該公式匯總了由不同雙線(xiàn)性參數(shù)矩陣參數(shù)化的逐層文本相似性,最后通過(guò)實(shí)驗(yàn)在3個(gè)公共數(shù)據(jù)集上證明了公式的有效性.上述工作的研究對(duì)象為文本文檔間非對(duì)稱(chēng)關(guān)系,沒(méi)有考慮科技文檔多模態(tài)數(shù)據(jù)的特殊性,不能直接用于科技文檔間非對(duì)稱(chēng)關(guān)系的計(jì)算.

    2 科技文檔的表示及非對(duì)稱(chēng)關(guān)系分析

    2.1 科技文檔的多模態(tài)表示

    科技文檔具有多模態(tài)的特征,除文本信息外,一般還包括公式和圖表.相對(duì)于文本的多義性和圖表的易改動(dòng)性,公式具有國(guó)際通用、不易修改等特征,可以更準(zhǔn)確地描述科技文檔的內(nèi)容及其文檔內(nèi)容內(nèi)在的邏輯關(guān)系,不失一般性.本文以數(shù)學(xué)公式為例論述.

    借鑒文獻(xiàn)[3]的做法,本文將一篇科技文檔表示為一個(gè)二元組:di=(Fi,Ti),其中Fi表示公式部分,Ti表示文本部分.

    2.1.1 公式部分的表示

    一篇科技文檔中的公式可分為獨(dú)立公式和內(nèi)嵌公式.獨(dú)立公式通常單獨(dú)作為一行出現(xiàn)且不包括文本;內(nèi)嵌公式一般出現(xiàn)在獨(dú)立公式附近的上下文中,與文本交雜在一起[20].由于大部分內(nèi)嵌公式是對(duì)獨(dú)立公式的說(shuō)明,因此本文只考慮獨(dú)立公式.

    一個(gè)獨(dú)立公式可以由一個(gè)有序特征元素構(gòu)成的字符串表示.特征元素包括運(yùn)算符、常量和括號(hào)等[21].

    科技文檔di中的第k個(gè)公式可以表示為

    (1)

    于是,科技文檔中公式部分可以表示為一個(gè)集合Fi,即

    Fi={fi1,fi2,…,fik,…,fie},

    (2)

    其中,fik表示文檔di中第k個(gè)公式;e表示文檔di中包含的公式數(shù)量.

    2.1.2 文本部分的表示

    文本部分Ti用向量空間模型表示.該方法將Ti表示為特征向量,Ti的每個(gè)特征詞看作是特征向量的獨(dú)立一維,并將特征詞的權(quán)重作為每一維的坐標(biāo)值,即

    Ti=(ti1,wi1),(ti2,wi2),…,(tik,wik),…,(tim,wim),

    (3)

    其中,tik表示Ti中的第k個(gè)特征詞;wik表示特征詞tik在Ti中的權(quán)重;m表示Ti中包含特征詞的數(shù)量.對(duì)于Ti中每個(gè)特征詞,其權(quán)重用TF-IDF[22]方法計(jì)算得到.

    2.2 科技文檔間非對(duì)稱(chēng)關(guān)系分析

    文獻(xiàn)[23]提出對(duì)象間關(guān)系存在非對(duì)稱(chēng)的情況,并提供了對(duì)象間非對(duì)稱(chēng)關(guān)系的經(jīng)驗(yàn)證據(jù).例如“a就像b”,它有一個(gè)主語(yǔ)“a”,一個(gè)指示對(duì)象“b”,它一般不等同于相反的相似性描述“b就像a”,這是因?yàn)槿祟?lèi)的記憶聯(lián)想過(guò)程是非對(duì)稱(chēng)的[12].在實(shí)際應(yīng)用中科技文檔間也存在非對(duì)稱(chēng)關(guān)系,即對(duì)于任意2篇科技文檔A、B,sim(A,B)≠sim(B,a).這種非對(duì)稱(chēng)關(guān)系反映了科技文檔間關(guān)系的方向性或者包含關(guān)系.

    科技文檔中的公式表示為一個(gè)集合.按照集合論的原理,2篇科技文檔公式集合間的關(guān)系可以分為其交集為空、交集非空2個(gè)集合互不為子集、交集非空一個(gè)集合是另一個(gè)集合的子集3種情況.交集為空表示2篇文檔的公式之間沒(méi)有關(guān)系,非空互不為子集表示2篇文檔內(nèi)容有相同性,一個(gè)集合是另一個(gè)集合的子集表示它們的內(nèi)容具有包含性.表1給出了2篇科技文檔di、dj中公式部分關(guān)系的一個(gè)示例.

    表1 公式部分示例

    科技文檔中的文本部分表示為詞語(yǔ)的特征向量,每一個(gè)特征詞都具有一定的權(quán)重.這時(shí),2篇文檔的特征詞集合可能相同,也可能不同.相同特征詞的權(quán)重可能相等,也可能不相等.表2給出了2篇科技文檔di、dj中文本部分關(guān)系的一個(gè)示例.

    表2 文本部分示例

    由表1、表2可以看出對(duì)文檔di和dj,文檔di公式和特征詞包含在文檔dj中,而文檔dj中除了和文檔di相同的公式、特征詞外,還有其他的公式、特征詞,而且相同特征詞的權(quán)重也不相同.從不同文檔角度來(lái)看,di對(duì)dj的覆蓋程度與dj對(duì)di的覆蓋程度是不同的,并且di對(duì)dj的影響明顯小于dj對(duì)dj的影響.

    3 科技文檔覆蓋度及其度量

    本文用文檔覆蓋度來(lái)度量科技文檔間的非對(duì)稱(chēng)關(guān)系,包括公式覆蓋度和文本覆蓋度2部分.

    公式覆蓋度利用改進(jìn)的非對(duì)稱(chēng)因子方法計(jì)算,反映了2個(gè)文檔包含的公式集合之間的非對(duì)稱(chēng)關(guān)系;文本覆蓋度利用文本間相對(duì)突出性計(jì)算,反映了科技文檔間文本的非對(duì)稱(chēng)關(guān)系.

    3.1 科技文檔間公式覆蓋度計(jì)算

    定義1科技文檔的公式覆蓋度:對(duì)任意2篇文檔di、dj,di對(duì)dj公式覆蓋度定義為di中公式對(duì)dj中公式的包含程度,記為CF(Fi,Fj),0≤CF(Fi,Fj)≤1.

    科技文檔公式覆蓋度可以通過(guò)2個(gè)文檔所包含公式集合之間的覆蓋度來(lái)計(jì)算,具體分為2步:第1步計(jì)算任意2個(gè)公式間的相似度,第2步計(jì)算2篇科技文檔的公式覆蓋度.

    3.1.1 2個(gè)公式的相似度計(jì)算

    公式fiq和fjs間的相似度sim(fiq,fjs)可以通過(guò)比較公式特征元素字符串的方式得到,計(jì)算公式如式(4)所示.

    (4)

    公式的特征元素字符串指能唯一標(biāo)識(shí)公式本身的字符串,其獲得方法可參考文獻(xiàn)[3]和[24],基本過(guò)程如下:先對(duì)公式預(yù)處理,把公式符號(hào)進(jìn)行統(tǒng)一化處理;然后解析公式的結(jié)構(gòu),生成與之對(duì)應(yīng)的二叉樹(shù),并對(duì)二叉樹(shù)進(jìn)行歸一化;最后中序遍歷規(guī)范化后的二叉樹(shù),得到公式特征元素字符串.

    3.1.2 科技文檔公式覆蓋度計(jì)算

    3.1.2.1 公式集合間的非對(duì)稱(chēng)因子

    定義2公式集合間非對(duì)稱(chēng)因子:對(duì)于任意2個(gè)文檔的公式集合Fi={fi1,fi2,…,fir},F(xiàn)j={fj1,fj2,…,fjp},F(xiàn)i和fj的非對(duì)稱(chēng)因子是指2個(gè)公式集合的相同公式在公式集合Fi中所占的比例,計(jì)算公式如式(5)所示.

    (5)

    同理,F(xiàn)j和Fi的非對(duì)稱(chēng)因子指2個(gè)公式集合的相同公式在公式集合中所占的比例,計(jì)算公式如式(6)所示.

    (6)

    其中,|Fi∩Fj|、|Fj∩Fi|表示公式集合Fi和Fj中相同公式的數(shù)目,|Fi|表示公式集合Fi中公式的數(shù)目,|Fj|表示公式集合Fj中公式的數(shù)目.

    3.1.2.2 公式集合的覆蓋度

    公式(5)中,當(dāng)Fi≠?且|Fi∩Fj|=|Fi|時(shí),沒(méi)有考慮|Fi|的大小不同.例如|Fj|=30時(shí),|Fi∩Fj|=|Fi|=10和|Fi∩Fj|=|Fi|=20兩種情況,得到的CF(Fi,Fj)值都為1.但第1種情況中Fj的30個(gè)公式,包含了Fi的10個(gè)公式,而第2種情況是Fj的30個(gè)公式,包含了Fi的20個(gè)公式.Fi的大小不同,則Fj對(duì)Fi覆蓋的程度也不同.同理,公式(6)也存在同樣的問(wèn)題.

    針對(duì)公式(5)和(6)的不足,可依據(jù)TCM的思想對(duì)其進(jìn)行改進(jìn).TCM思想由Tversky提出,用來(lái)度量特征權(quán)值為布爾類(lèi)型的對(duì)象間相似關(guān)系.該思想假設(shè)每個(gè)對(duì)象都由一組特征來(lái)描述,對(duì)象間的相似性由對(duì)象間的相同特征和獨(dú)特特征共同決定.改進(jìn)后的計(jì)算公式如式(7)、(8)所示.

    (7)

    (8)

    其中,|Fj-Fi|表示在公式集合Fj中出現(xiàn)但不在公式集合Fi中出現(xiàn)的公式數(shù)目,反映了Fj的獨(dú)特特征,|Fi-Fj|表示在公式集合Fi中出現(xiàn)但不在公式集合Fj中出現(xiàn)的公式數(shù)目,反映了Fi的獨(dú)特特征.α為調(diào)和因子,反映了對(duì)象的獨(dú)特特征對(duì)非對(duì)稱(chēng)關(guān)系的影響,0<α≤1.當(dāng)α=1時(shí),CF(Fi,Fj)=CF(Fj,Fi).

    3.2 科技文檔的文本覆蓋度計(jì)算

    定義3科技文檔的文本覆蓋度:對(duì)于任意2篇科技文檔di、dj,di對(duì)dj的文本覆蓋度指di中文本與dj中文本的包含程度,記為CV(di,dj).

    文獻(xiàn)[25]認(rèn)為對(duì)象間相似性由特征相似性和特征的突出性共同決定,據(jù)此,本文給出了特征詞的突出性和文本間相對(duì)突出性的定義及計(jì)算方法,并將文本相對(duì)突出性用于修訂傳統(tǒng)的對(duì)稱(chēng)相似度,給出文本覆蓋度的計(jì)算方法.

    定義4特征詞的突出性:對(duì)于任意2個(gè)文本Ti和Tj中的相同特征詞tik、tjk(tik=tjk),特征詞tik的突出性是指tik的權(quán)重與tik、tjk權(quán)重之和的比值,計(jì)算公式如下:

    (9)

    定義5文本間相對(duì)突出性:對(duì)于任意2個(gè)文本Ti和Tj,文本Ti相對(duì)于Tj的相對(duì)突出性是指文本Ti和Tj中所有特征詞突出線(xiàn)性和之比,計(jì)算公式如(10)所示.

    (10)

    同理,可以利用式(11)計(jì)算文本Tj相對(duì)于Ti的相對(duì)突出性.

    (11)

    計(jì)算得到文本間相對(duì)突出性后,用相對(duì)突出性調(diào)整余弦相似度,可以得到從Ti角度和Tj角度的文本覆蓋度計(jì)算公式,如式(12)、(13)所示.

    (12)

    (13)

    3.3 科技文檔覆蓋度計(jì)算

    有了公式覆蓋度和文本覆蓋度的概念,可以得到科技文檔覆蓋度的定義.

    定義6科技文檔的覆蓋度:任意2篇文檔di和dj,di對(duì)dj的覆蓋度定義為文檔di和dj的文本覆蓋度和公式覆蓋度的線(xiàn)性組合,記為ARM(di,dj).

    科技文檔di對(duì)dj的覆蓋度體現(xiàn)了文檔di對(duì)dj的包含程度.從di角度給出科技文檔覆蓋度計(jì)算公式如式(14)所示.

    ARM(di,dj)=βCF(Fi,Fj)+(1-β)CV(Ti,Tj).

    (14)

    同理可得科技文檔dj對(duì)di的覆蓋度計(jì)算公式,如式(15).

    ARM(dj,di)=βCF(Fj,Fi)+(1-β)CV(Tj,Ti).

    (15)

    式(14)、(15)中的β為可調(diào)節(jié)的參數(shù),用來(lái)調(diào)節(jié)公式和文本覆蓋度對(duì)科技文檔覆蓋度的貢獻(xiàn)程度,0≤β≤1.當(dāng)β=1時(shí),式(14)、(15)用來(lái)度量科技文檔間公式的覆蓋度;當(dāng)β=0時(shí),式(14)、(15)用來(lái)度量科技文檔間文本的覆蓋度.

    4 實(shí)驗(yàn)

    為驗(yàn)證本文提出的科技文檔間非對(duì)稱(chēng)關(guān)系度量方法的有效性,實(shí)驗(yàn)部分與文獻(xiàn)[3]、[26]提出的2種科技文檔間關(guān)系度量方法作對(duì)比實(shí)驗(yàn).表3為實(shí)驗(yàn)所涉及的方法及其解釋.借鑒文獻(xiàn)[27]的實(shí)驗(yàn)思路,先用3種方法分別計(jì)算數(shù)據(jù)集中任意2篇科技文檔間的關(guān)系度量值,將得到的關(guān)系度量值作為k-means算法的輸入,分別進(jìn)行聚類(lèi)實(shí)驗(yàn),分析比較3種方法進(jìn)行聚類(lèi)實(shí)驗(yàn)的聚類(lèi)效果.

    表3 方法簡(jiǎn)寫(xiě)及其解釋

    4.1 數(shù)據(jù)集的構(gòu)建及數(shù)據(jù)預(yù)處理

    目前,信息檢索領(lǐng)域尚無(wú)通用的中文科技文檔數(shù)據(jù)集,因此本文參照信息檢索領(lǐng)域中小型數(shù)據(jù)集的構(gòu)建方法[28],構(gòu)建了一個(gè)滿(mǎn)足實(shí)驗(yàn)需求的小型科技文檔數(shù)據(jù)集,該數(shù)據(jù)集包括 500篇中文科技文檔,涉及貝葉斯網(wǎng)絡(luò)、個(gè)性化推薦、圖像識(shí)別、文本分類(lèi)和輿情監(jiān)測(cè)5個(gè)主題.依據(jù)文獻(xiàn)[3]對(duì)數(shù)據(jù)集的處理方法,本文選取該數(shù)據(jù)集的60%作為訓(xùn)練集,40%作為測(cè)試集,對(duì)數(shù)據(jù)集中每個(gè)主題的文檔亦按此比例采用隨機(jī)抽取的方法分割訓(xùn)練集和測(cè)試集.由于實(shí)驗(yàn)數(shù)據(jù)集較小,為了從有限數(shù)據(jù)集中獲取更多的有效信息,提高實(shí)驗(yàn)的可信性,本文實(shí)驗(yàn)過(guò)程中采用了交叉驗(yàn)證的方法.

    數(shù)據(jù)集構(gòu)建完成后,為得到文檔中公式和文本信息,須進(jìn)一步對(duì)文檔進(jìn)行如下處理:1)提取每篇文檔中的公式和文本.公式保存為pdf格式,文本保存為txt格式.2)公式預(yù)處理.借助Mathpix Snipping Tool工具對(duì)所有公式進(jìn)行解析,得到每篇文檔LaTeX格式的公式字符串,整理并存入txt文件中.3)文本預(yù)處理.先對(duì)所有文本進(jìn)行中文分詞,利用哈工大停用詞表做停用詞處理;再統(tǒng)計(jì)每個(gè)文本的詞頻,根據(jù)實(shí)驗(yàn)需要,選取前50個(gè)高頻詞作為文本特征詞;最后計(jì)算所有特征詞的tf-idf值.

    4.2 聚類(lèi)性能評(píng)價(jià)指標(biāo)

    4.2.1 單個(gè)聚類(lèi)結(jié)果簇評(píng)價(jià)標(biāo)準(zhǔn)

    1)熵

    熵表示一個(gè)系統(tǒng)內(nèi)的混亂程度,也常用來(lái)衡量聚類(lèi)的效果.熵值越低,聚類(lèi)結(jié)果簇內(nèi)部混亂程度越小,聚類(lèi)效果越好.熵值計(jì)算公式如式(16)[6]所示.

    (16)

    2)準(zhǔn)確率

    準(zhǔn)確率用來(lái)衡量聚類(lèi)的準(zhǔn)確性,聚類(lèi)結(jié)果簇準(zhǔn)確率計(jì)算公式如式(17)[18]所示.

    (17)

    4.2.2 多個(gè)聚類(lèi)結(jié)果簇評(píng)價(jià)標(biāo)準(zhǔn)

    對(duì)于多個(gè)聚類(lèi)結(jié)果簇,用平均熵值和平均準(zhǔn)確率來(lái)衡量聚類(lèi)效果,如式(18)、(19)所示.

    (18)

    (19)

    其中,eave-n表示平均熵值;Eave-n表示平均準(zhǔn)確率,n表示結(jié)果簇?cái)?shù)目.

    4.3 實(shí)驗(yàn)結(jié)果及分析

    本文采用蒙特卡洛交叉驗(yàn)證,將數(shù)據(jù)集按6∶4比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集,這樣進(jìn)行多次單獨(dú)的訓(xùn)練和驗(yàn)證,使聚類(lèi)效果達(dá)到最優(yōu),最后將測(cè)試集上的驗(yàn)證結(jié)果取平均值作為最后的結(jié)果.實(shí)驗(yàn)分為3步:第1步是科技文檔中公式聚類(lèi)性能的比較;第2步是科技文檔中文本聚類(lèi)性能的比較;第3步是融合公式和文本2部分的科技文檔聚類(lèi)性能的比較.在每一步中,對(duì)覆蓋度值進(jìn)行聚類(lèi)時(shí)距離的選擇均參考文獻(xiàn)[29].

    4.3.1 公式聚類(lèi)性能的比較

    設(shè)定實(shí)驗(yàn)聚類(lèi)結(jié)果簇?cái)?shù)從5遞增到85,步長(zhǎng)為20,為得到公式覆蓋度計(jì)算的參數(shù),以平均熵值和平均準(zhǔn)確率為評(píng)價(jià)指標(biāo),在公式訓(xùn)練集上反復(fù)訓(xùn)練,獲得最優(yōu)值,并在公式測(cè)試集上加以驗(yàn)證.分別計(jì)算參數(shù)α=0.1,0.2,…,0.9時(shí),公式覆蓋度值對(duì)公式測(cè)試集聚類(lèi)性能的影響,結(jié)果如表4所示.

    表4 不同α值公式聚類(lèi)的平均熵值和平均準(zhǔn)確率

    通過(guò)對(duì)表4中數(shù)據(jù)進(jìn)行觀(guān)察和分析,從整體上看,α取0.8時(shí),結(jié)果簇的聚類(lèi)性能最好.后續(xù)實(shí)驗(yàn)將α=0.8作為公式覆蓋度計(jì)算的參數(shù)值.但是從表4也能看出當(dāng)α=0.1,0.2,…,0.9時(shí),不同結(jié)果簇的平均熵值和平均準(zhǔn)確率相差不大,這是因?yàn)楸疚脑谔崛∥臋n公式信息時(shí)方法比較粗糙,求得的公式覆蓋度存在數(shù)據(jù)稀疏問(wèn)題.為取得更好的效果,對(duì)公式的處理今后研究中可嘗試改進(jìn).

    SMM、SMM1、ASYM方法的公式部分關(guān)系度量在不同結(jié)果簇?cái)?shù)下的平均熵值和平均準(zhǔn)確率對(duì)比圖,如圖1所示.

    a.平均熵值對(duì)比;b.平均準(zhǔn)確率對(duì)比.圖1 SMM、SMM1、ASYM方法公式關(guān)系度量性能對(duì)比Fig.1 Performance comparison of SMM,SMM1 and ASYM method of formulas

    圖1a為SMM、SMM1、ASYM方法公式部分關(guān)系度量平均熵值的比較,從圖1a中可以看出,當(dāng)結(jié)果簇?cái)?shù)目從5到85時(shí),ASYM方法的平均熵值均小于SMM、SMM1方法的平均熵值.圖1b為SMM、SMM1、ASYM方法公式部分關(guān)系度量平均準(zhǔn)確率的比較,從45簇到85簇,ASYM方法的平均準(zhǔn)確率均大于SMM、SMM1方法的平均準(zhǔn)確率.當(dāng)結(jié)果簇?cái)?shù)目從5到25時(shí),ASYM方法的平均準(zhǔn)確率小于SMM、SMM1方法的平均準(zhǔn)確率.實(shí)驗(yàn)結(jié)果表明并不是所有科技文檔間公式的非對(duì)稱(chēng)度量聚類(lèi)效果都比對(duì)稱(chēng)度量聚類(lèi)效果好,但大部分情況下公式的非對(duì)稱(chēng)度量聚類(lèi)效果優(yōu)于對(duì)稱(chēng)度量.一些科技文檔間公式的非對(duì)稱(chēng)關(guān)系明顯,對(duì)于這些科技文檔,用本文方法進(jìn)行聚類(lèi)效果更好,這是因?yàn)榉菍?duì)稱(chēng)度量能更好地區(qū)分文檔間公式,衡量文檔間公式的關(guān)系.

    4.3.2 文本聚類(lèi)性能的比較

    SMM、SMM1、ASYM方法文本部分關(guān)系度量在不同結(jié)果簇?cái)?shù)下的平均熵值和平均準(zhǔn)確率對(duì)比,如圖2所示.

    a.平均熵值對(duì)比;b.平均準(zhǔn)確率對(duì)比.圖2 SMM、SMM1、ASYM方法文本關(guān)系度量性能對(duì)比Fig.2 Performance comparison of SMM,SMM1 and ASYM method of texts

    圖2a為SMM、SMM1、ASYM方法文本部分關(guān)系度量平均熵值的比較,從圖2a中可以看出,結(jié)果簇?cái)?shù)目從5到65,ASYM方法的平均熵值小于SMM、SMM1方法的平均熵值.當(dāng)結(jié)果簇?cái)?shù)目從65到85時(shí),3種方法的平均熵值曲線(xiàn)大致重合.圖2b為SMM、SMM1、ASYM方法文本部分關(guān)系度量平均準(zhǔn)確率的比較,結(jié)果簇?cái)?shù)目從5到85,ASYM方法平均準(zhǔn)確率大于SMM、SMM1方法的平均準(zhǔn)確率.圖2a、b可看出在本文數(shù)據(jù)集的不同結(jié)果簇?cái)?shù)下,文本使用非對(duì)稱(chēng)度量進(jìn)行聚類(lèi)的效果均優(yōu)于對(duì)稱(chēng)度量,并且聚類(lèi)性能提升明顯.產(chǎn)生這種結(jié)果的原因是非對(duì)稱(chēng)度量考慮了文本間非對(duì)稱(chēng)關(guān)系,能更好地區(qū)分文本差異性,提高文本關(guān)系度量的準(zhǔn)確性.

    4.3.3 融合公式和文本的科技文檔聚類(lèi)性能的比較

    科技文檔覆蓋度計(jì)算公式中的β值,不同的文檔類(lèi)別中應(yīng)有不同的取值.當(dāng)β=0,0.1,0.2,…,1時(shí),運(yùn)用SMM、SMM1和ASYM方法分別計(jì)算對(duì)測(cè)試集聚類(lèi)性能的影響,結(jié)果如表5~8所示.

    表5 不同β值SMM方法和ASYM方法的平均熵值

    表6 不同β值SMM1方法和ASYM方法的平均熵值

    表7 不同β值SMM方法和ASYM方法的平均準(zhǔn)確率

    表8 不同β值SMM1方法和ASYM方法的平均準(zhǔn)確率

    由表5~8可知當(dāng)β分別取0,0.1,0.2,…,1時(shí),從5簇到85簇本文ASYM方法絕大多數(shù)的平均熵值低于SMM、SMM1方法的平均熵值,平均準(zhǔn)確率高于SMM、SMM1方法的平均準(zhǔn)確率.綜合來(lái)看,本文ASYM方法進(jìn)行聚類(lèi)的效果優(yōu)于SMM、SMM1兩種對(duì)稱(chēng)方法.產(chǎn)生這種結(jié)果的原因是本文方法考慮了科技文檔間關(guān)系的非對(duì)稱(chēng)性,能更準(zhǔn)確地度量科技文檔間關(guān)系,更好地區(qū)分了文檔.例如任意2篇文檔A、B,A是B的子文檔,用對(duì)稱(chēng)方法聚類(lèi)時(shí),由于A(yíng)、B相似,2篇文檔會(huì)聚到同一簇中,但因?yàn)?篇文檔關(guān)系是非對(duì)稱(chēng)的,有可能會(huì)聚到不同的簇,采用本文方法進(jìn)行聚類(lèi)會(huì)使聚類(lèi)結(jié)果更準(zhǔn)確.

    進(jìn)一步對(duì)表中數(shù)值進(jìn)行觀(guān)察和分析,可知當(dāng)β=0.1時(shí),ASYM方法的平均熵值比SMM方法的平均熵值最高降低了33%,平均準(zhǔn)確率最高提高了8%.ASYM方法的平均熵值比SMM1方法的平均熵值最高降低了20%,平均準(zhǔn)確率最高提高了4%.β=0.1且在不同結(jié)果簇?cái)?shù)下,SMM、SMM1和ASYM方法的平均熵值和平均準(zhǔn)確率對(duì)比如圖3所示.由圖3a可知,從65簇開(kāi)始,隨著簇?cái)?shù)的增加,3種方法的平均熵值曲線(xiàn)趨于重合.而通過(guò)圖3b可知在85簇時(shí)3種方法的平均準(zhǔn)確率值趨于重合.

    a.平均熵值對(duì)比;b.平均準(zhǔn)確率對(duì)比.圖3 SMM、SMM1、ASYM方法性能對(duì)比Fig.3 Performance comparison of SMM、SMM1、ASYM method

    5 結(jié)語(yǔ)

    科技文檔間非對(duì)稱(chēng)關(guān)系可以更準(zhǔn)確地反映文檔間的相似程度.本文在分析科技文檔間非對(duì)稱(chēng)關(guān)系的基礎(chǔ)上,提出一種融合公式和文本的度量方法.實(shí)驗(yàn)結(jié)果表明:與SMM、SMM1兩種方法相比,本文提出的ASYM方法的平均熵值有所降低,平均準(zhǔn)確率有所提升.論文研究?jī)?nèi)容雖然取得了較好的效果,但尚有不足:1) ASYM方法僅考慮了科技文檔中的公式和文本內(nèi)容,并沒(méi)有考慮圖、表等信息,理論上,多維度內(nèi)容的融合可以得到更好的度量效果;2)對(duì)于公式覆蓋度的計(jì)算,論文僅將公式里的元素用一個(gè)集合表示,并沒(méi)有考慮公式的位置因素、層次結(jié)構(gòu)等,這些信息的考慮可以提高公式覆蓋度計(jì)算的準(zhǔn)確率;3)對(duì)于文本覆蓋度的計(jì)算,論文主要依據(jù)了文本間的相對(duì)突出性,沒(méi)有將語(yǔ)義信息融入其中.在未來(lái)研究中,將針對(duì)上述不足,對(duì)科技文檔間的非對(duì)稱(chēng)關(guān)系展開(kāi)更為深入的研究.

    猜你喜歡
    覆蓋度非對(duì)稱(chēng)度量
    有趣的度量
    呼和浩特市和林格爾縣植被覆蓋度變化遙感監(jiān)測(cè)
    模糊度量空間的強(qiáng)嵌入
    基于NDVI的晉州市植被覆蓋信息提取
    低覆蓋度CO分子在Ni(110)面的吸附研究
    迷向表示分為6個(gè)不可約直和的旗流形上不變愛(ài)因斯坦度量
    非對(duì)稱(chēng)Orlicz差體
    點(diǎn)數(shù)不超過(guò)20的旗傳遞非對(duì)稱(chēng)2-設(shè)計(jì)
    地質(zhì)異常的奇異性度量與隱伏源致礦異常識(shí)別
    非對(duì)稱(chēng)負(fù)載下矩陣變換器改進(jìn)型PI重復(fù)控制
    亚洲国产精品久久男人天堂| 日韩大尺度精品在线看网址| 女人被狂操c到高潮| a在线观看视频网站| ponron亚洲| 夜夜看夜夜爽夜夜摸| 国产精品1区2区在线观看.| 国产激情欧美一区二区| 亚洲av中文字字幕乱码综合 | 激情在线观看视频在线高清| 亚洲专区国产一区二区| 亚洲中文日韩欧美视频| 脱女人内裤的视频| 9191精品国产免费久久| 欧美不卡视频在线免费观看 | 91在线观看av| 亚洲欧美精品综合一区二区三区| 久久精品91蜜桃| 成人国产一区最新在线观看| 国产精品久久久久久亚洲av鲁大| 精品久久久久久,| 午夜福利欧美成人| 国产蜜桃级精品一区二区三区| 国产精品,欧美在线| 听说在线观看完整版免费高清| 俄罗斯特黄特色一大片| 国产成人精品久久二区二区91| 亚洲一码二码三码区别大吗| 久久亚洲真实| 欧美成狂野欧美在线观看| 人妻久久中文字幕网| 国产免费男女视频| 99国产极品粉嫩在线观看| 一二三四社区在线视频社区8| www.www免费av| 精品午夜福利视频在线观看一区| 好看av亚洲va欧美ⅴa在| 欧美最黄视频在线播放免费| 国内精品久久久久精免费| 亚洲天堂国产精品一区在线| 欧美久久黑人一区二区| 特大巨黑吊av在线直播 | 欧美午夜高清在线| 香蕉av资源在线| 一级毛片高清免费大全| 国产精品一区二区免费欧美| 90打野战视频偷拍视频| 国产精品 国内视频| 亚洲人成77777在线视频| 日本免费a在线| а√天堂www在线а√下载| 日韩高清综合在线| 国产亚洲欧美98| 夜夜躁狠狠躁天天躁| 久久久久国产精品人妻aⅴ院| 日本五十路高清| 天堂动漫精品| а√天堂www在线а√下载| 亚洲成a人片在线一区二区| 亚洲av中文字字幕乱码综合 | 性色av乱码一区二区三区2| 国产麻豆成人av免费视频| 久久精品国产99精品国产亚洲性色| 女人被狂操c到高潮| 久久 成人 亚洲| 精品少妇一区二区三区视频日本电影| 女人高潮潮喷娇喘18禁视频| 岛国视频午夜一区免费看| 搡老妇女老女人老熟妇| 99久久无色码亚洲精品果冻| 97超级碰碰碰精品色视频在线观看| 久久午夜综合久久蜜桃| 可以在线观看毛片的网站| 欧美成人午夜精品| 日本 av在线| av在线天堂中文字幕| 后天国语完整版免费观看| 性欧美人与动物交配| 亚洲中文日韩欧美视频| 97碰自拍视频| 国产亚洲欧美在线一区二区| 欧美日韩一级在线毛片| 国产aⅴ精品一区二区三区波| 老熟妇乱子伦视频在线观看| 美女大奶头视频| 久久久精品欧美日韩精品| 欧美日韩一级在线毛片| 久久国产精品人妻蜜桃| 中文亚洲av片在线观看爽| 国产精品久久久久久精品电影 | 精品国产国语对白av| 韩国精品一区二区三区| 久久久久久久午夜电影| 一级作爱视频免费观看| 国产精品一区二区免费欧美| 一边摸一边做爽爽视频免费| 巨乳人妻的诱惑在线观看| 亚洲成人国产一区在线观看| 性色av乱码一区二区三区2| 最新在线观看一区二区三区| 人人澡人人妻人| 精品福利观看| 欧美在线黄色| 人成视频在线观看免费观看| 可以在线观看的亚洲视频| 淫妇啪啪啪对白视频| 黄网站色视频无遮挡免费观看| 国产欧美日韩一区二区三| 在线观看午夜福利视频| 国产精品永久免费网站| av免费在线观看网站| 国产高清激情床上av| 两个人视频免费观看高清| 十分钟在线观看高清视频www| 中文字幕av电影在线播放| 一级黄色大片毛片| 久久国产精品男人的天堂亚洲| 亚洲av第一区精品v没综合| 久99久视频精品免费| 特大巨黑吊av在线直播 | 亚洲国产欧洲综合997久久, | 国产精品乱码一区二三区的特点| 黄网站色视频无遮挡免费观看| 亚洲第一青青草原| 狠狠狠狠99中文字幕| 国产精品亚洲av一区麻豆| 亚洲精品国产一区二区精华液| 热re99久久国产66热| 黄色 视频免费看| 19禁男女啪啪无遮挡网站| 无人区码免费观看不卡| 国产1区2区3区精品| 久久久久久人人人人人| 美女高潮到喷水免费观看| 国产精品久久视频播放| 亚洲天堂国产精品一区在线| 欧美不卡视频在线免费观看 | 国产午夜精品久久久久久| 精品久久久久久久末码| 人妻久久中文字幕网| 美女国产高潮福利片在线看| 99国产极品粉嫩在线观看| 淫秽高清视频在线观看| 无人区码免费观看不卡| 国产在线精品亚洲第一网站| www日本在线高清视频| avwww免费| 色播亚洲综合网| 丰满人妻熟妇乱又伦精品不卡| 国产黄片美女视频| av天堂在线播放| videosex国产| 国产真实乱freesex| 久久午夜综合久久蜜桃| 99久久99久久久精品蜜桃| 亚洲电影在线观看av| 午夜福利18| 两个人视频免费观看高清| 人妻久久中文字幕网| 少妇 在线观看| 亚洲第一青青草原| 99精品久久久久人妻精品| 男男h啪啪无遮挡| 欧美三级亚洲精品| 精品乱码久久久久久99久播| 啪啪无遮挡十八禁网站| 久久久久久亚洲精品国产蜜桃av| 亚洲一区中文字幕在线| 老司机深夜福利视频在线观看| 男女午夜视频在线观看| 19禁男女啪啪无遮挡网站| 欧美在线一区亚洲| 法律面前人人平等表现在哪些方面| 免费在线观看日本一区| 757午夜福利合集在线观看| 午夜福利在线在线| 日韩欧美三级三区| 日韩视频一区二区在线观看| 亚洲成人久久爱视频| 国产精品久久电影中文字幕| 在线十欧美十亚洲十日本专区| 久久精品人妻少妇| 在线天堂中文资源库| 嫁个100分男人电影在线观看| 亚洲人成电影免费在线| 午夜成年电影在线免费观看| 91九色精品人成在线观看| 好男人电影高清在线观看| 男女床上黄色一级片免费看| 丝袜人妻中文字幕| xxxwww97欧美| 99久久99久久久精品蜜桃| 国产又色又爽无遮挡免费看| 日韩一卡2卡3卡4卡2021年| 在线十欧美十亚洲十日本专区| 88av欧美| 国产激情久久老熟女| 久久久久久人人人人人| 老鸭窝网址在线观看| 日日摸夜夜添夜夜添小说| 国产三级在线视频| 一本久久中文字幕| 亚洲一区二区三区不卡视频| 变态另类丝袜制服| 欧美国产日韩亚洲一区| 男人舔奶头视频| 中国美女看黄片| 午夜免费鲁丝| 久久精品aⅴ一区二区三区四区| 欧美日韩福利视频一区二区| 在线观看66精品国产| 淫秽高清视频在线观看| 国产av一区在线观看免费| www.自偷自拍.com| a级毛片在线看网站| 看片在线看免费视频| 99re在线观看精品视频| 99精品久久久久人妻精品| 曰老女人黄片| 欧美性猛交黑人性爽| 亚洲第一电影网av| 国产三级在线视频| 久9热在线精品视频| 欧美日韩瑟瑟在线播放| 欧美日韩中文字幕国产精品一区二区三区| 九色国产91popny在线| 久久久国产欧美日韩av| 成年人黄色毛片网站| 天天一区二区日本电影三级| 琪琪午夜伦伦电影理论片6080| 欧美另类亚洲清纯唯美| 悠悠久久av| 最近最新中文字幕大全免费视频| netflix在线观看网站| 香蕉av资源在线| 在线av久久热| 色哟哟哟哟哟哟| 国产高清有码在线观看视频 | 精品午夜福利视频在线观看一区| 亚洲真实伦在线观看| 青草久久国产| 日本成人三级电影网站| 18禁美女被吸乳视频| 午夜免费鲁丝| 黄片小视频在线播放| 久久久久久亚洲精品国产蜜桃av| 嫩草影视91久久| 在线观看午夜福利视频| 欧美日韩瑟瑟在线播放| 亚洲av日韩精品久久久久久密| 日韩欧美在线二视频| 日本五十路高清| 国产av又大| 亚洲国产精品合色在线| 90打野战视频偷拍视频| 高潮久久久久久久久久久不卡| 亚洲国产看品久久| 久久久精品国产亚洲av高清涩受| 身体一侧抽搐| 禁无遮挡网站| 一级a爱视频在线免费观看| 丝袜美腿诱惑在线| 一级毛片女人18水好多| 少妇被粗大的猛进出69影院| 亚洲一区高清亚洲精品| 亚洲精品国产区一区二| av超薄肉色丝袜交足视频| 在线观看舔阴道视频| 美女高潮喷水抽搐中文字幕| 美女扒开内裤让男人捅视频| 搡老岳熟女国产| 亚洲一卡2卡3卡4卡5卡精品中文| 精品国产超薄肉色丝袜足j| 久久久久久久精品吃奶| 搞女人的毛片| 免费看美女性在线毛片视频| 丁香六月欧美| 亚洲国产欧洲综合997久久, | 国产一区二区在线av高清观看| 日本三级黄在线观看| 国产三级在线视频| 国产成人一区二区三区免费视频网站| 麻豆久久精品国产亚洲av| 亚洲国产精品成人综合色| 午夜日韩欧美国产| 国产一区二区在线av高清观看| 国产片内射在线| 久久国产精品男人的天堂亚洲| 久久这里只有精品19| 精品国产亚洲在线| 亚洲精品久久国产高清桃花| 岛国在线观看网站| 午夜亚洲福利在线播放| 9191精品国产免费久久| 亚洲av日韩精品久久久久久密| 淫妇啪啪啪对白视频| 日韩欧美一区视频在线观看| 欧美成人免费av一区二区三区| 亚洲 国产 在线| 久久午夜亚洲精品久久| 在线观看www视频免费| 男女视频在线观看网站免费 | 中文字幕人成人乱码亚洲影| 成人国语在线视频| 午夜福利在线在线| 99热6这里只有精品| 久久久久久免费高清国产稀缺| 亚洲黑人精品在线| 亚洲va日本ⅴa欧美va伊人久久| 90打野战视频偷拍视频| 中文字幕高清在线视频| 久久久久久国产a免费观看| 我的亚洲天堂| 99精品欧美一区二区三区四区| 高清在线国产一区| 国产av一区二区精品久久| 精品欧美一区二区三区在线| 91成人精品电影| 国产精品美女特级片免费视频播放器 | 久久中文字幕人妻熟女| 国产激情偷乱视频一区二区| 成人免费观看视频高清| 人妻丰满熟妇av一区二区三区| 夜夜看夜夜爽夜夜摸| 欧美zozozo另类| 美国免费a级毛片| 午夜福利免费观看在线| 午夜日韩欧美国产| 亚洲人成77777在线视频| 国产精品野战在线观看| 两个人免费观看高清视频| 色av中文字幕| 日韩精品免费视频一区二区三区| 欧美一级毛片孕妇| 在线视频色国产色| 久久久久国产一级毛片高清牌| 91成人精品电影| 老司机午夜十八禁免费视频| 此物有八面人人有两片| 精品一区二区三区四区五区乱码| 亚洲真实伦在线观看| 久久这里只有精品19| 91字幕亚洲| 中文字幕人妻熟女乱码| 少妇粗大呻吟视频| 国产精品美女特级片免费视频播放器 | 亚洲五月婷婷丁香| 热re99久久国产66热| 久久亚洲精品不卡| 免费看十八禁软件| 中文字幕av电影在线播放| 中文字幕人成人乱码亚洲影| 久9热在线精品视频| 女性被躁到高潮视频| 波多野结衣高清作品| 精品久久蜜臀av无| 亚洲国产欧美日韩在线播放| 精品熟女少妇八av免费久了| 男人舔女人的私密视频| 99热6这里只有精品| 日韩精品青青久久久久久| 人人妻人人澡人人看| 大型黄色视频在线免费观看| 很黄的视频免费| 97碰自拍视频| 最新在线观看一区二区三区| 亚洲人成网站在线播放欧美日韩| 久久精品国产亚洲av高清一级| 可以在线观看毛片的网站| 亚洲国产精品sss在线观看| 黄片大片在线免费观看| 国产伦在线观看视频一区| 国产一卡二卡三卡精品| 久久久久久亚洲精品国产蜜桃av| 久久精品91蜜桃| 男人的好看免费观看在线视频 | 日本精品一区二区三区蜜桃| 精品久久久久久久久久免费视频| АⅤ资源中文在线天堂| 99国产精品99久久久久| 久久中文字幕一级| 老司机深夜福利视频在线观看| 精品国产乱码久久久久久男人| 欧美乱色亚洲激情| 久久精品国产亚洲av高清一级| 久久久久国产精品人妻aⅴ院| 狠狠狠狠99中文字幕| 亚洲午夜精品一区,二区,三区| 国产精品久久久久久人妻精品电影| 亚洲午夜精品一区,二区,三区| 午夜亚洲福利在线播放| 国产精品野战在线观看| 在线观看一区二区三区| 禁无遮挡网站| 超碰成人久久| 成人免费观看视频高清| 九色国产91popny在线| 久久国产精品男人的天堂亚洲| 欧美日韩福利视频一区二区| av免费在线观看网站| 极品教师在线免费播放| 成人欧美大片| 亚洲国产看品久久| 国产极品粉嫩免费观看在线| 国产精品1区2区在线观看.| 精品国产乱码久久久久久男人| 亚洲人成网站高清观看| 久久久国产欧美日韩av| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲欧美精品综合一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 午夜久久久在线观看| 村上凉子中文字幕在线| 99久久综合精品五月天人人| 色综合亚洲欧美另类图片| 九色国产91popny在线| 国产欧美日韩精品亚洲av| 免费一级毛片在线播放高清视频| 欧美性猛交╳xxx乱大交人| 欧美绝顶高潮抽搐喷水| 亚洲五月天丁香| 亚洲中文字幕日韩| 久久香蕉激情| 男女午夜视频在线观看| 精品久久久久久成人av| 免费电影在线观看免费观看| 国产99久久九九免费精品| 美女高潮到喷水免费观看| 在线观看舔阴道视频| 亚洲精品中文字幕一二三四区| 亚洲一区中文字幕在线| 桃红色精品国产亚洲av| 久久精品人妻少妇| 成年女人毛片免费观看观看9| 国内揄拍国产精品人妻在线 | 久久国产精品男人的天堂亚洲| 久久精品夜夜夜夜夜久久蜜豆 | 99热这里只有精品一区 | 久久婷婷成人综合色麻豆| 免费在线观看黄色视频的| 此物有八面人人有两片| 成熟少妇高潮喷水视频| 日韩欧美三级三区| 国产成人精品久久二区二区免费| 亚洲欧美一区二区三区黑人| 午夜两性在线视频| 国产成人一区二区三区免费视频网站| 久久国产精品男人的天堂亚洲| 高清在线国产一区| 黄色视频不卡| 亚洲自偷自拍图片 自拍| a级毛片在线看网站| 999久久久精品免费观看国产| 国产成人av教育| 2021天堂中文幕一二区在线观 | 国产精品二区激情视频| 91在线观看av| a级毛片在线看网站| 不卡一级毛片| x7x7x7水蜜桃| 男人舔女人下体高潮全视频| 我的亚洲天堂| 免费看美女性在线毛片视频| 久久国产精品影院| 女警被强在线播放| 国产又色又爽无遮挡免费看| 50天的宝宝边吃奶边哭怎么回事| 亚洲人成77777在线视频| 亚洲一区中文字幕在线| 精品欧美国产一区二区三| 精品人妻1区二区| 欧美日韩亚洲国产一区二区在线观看| 久久精品国产清高在天天线| 黄色毛片三级朝国网站| 亚洲av熟女| 精品国产超薄肉色丝袜足j| 美女 人体艺术 gogo| 中文字幕人成人乱码亚洲影| 精品一区二区三区av网在线观看| 听说在线观看完整版免费高清| 手机成人av网站| 后天国语完整版免费观看| 亚洲精品一区av在线观看| 日韩欧美在线二视频| 久久精品影院6| 无限看片的www在线观看| 视频在线观看一区二区三区| 亚洲全国av大片| 色综合欧美亚洲国产小说| 亚洲美女黄片视频| 国产又黄又爽又无遮挡在线| 国产一区二区激情短视频| 国产精品乱码一区二三区的特点| 两性夫妻黄色片| 欧美日本亚洲视频在线播放| 欧美大码av| 一个人免费在线观看的高清视频| 国产精品99久久99久久久不卡| 欧美人与性动交α欧美精品济南到| 人人妻人人澡欧美一区二区| 老司机午夜十八禁免费视频| 亚洲欧美精品综合久久99| 嫩草影视91久久| 老司机午夜十八禁免费视频| 久久人人精品亚洲av| 欧美日韩福利视频一区二区| 国内少妇人妻偷人精品xxx网站 | 亚洲精品色激情综合| 观看免费一级毛片| 岛国视频午夜一区免费看| 99精品在免费线老司机午夜| 黄色视频不卡| 一级毛片高清免费大全| 老汉色av国产亚洲站长工具| 精品国产乱子伦一区二区三区| 亚洲精品美女久久av网站| 久久青草综合色| 国产黄a三级三级三级人| 99国产精品99久久久久| 女性生殖器流出的白浆| 亚洲av中文字字幕乱码综合 | 好看av亚洲va欧美ⅴa在| 黑丝袜美女国产一区| 久久国产精品影院| 免费在线观看成人毛片| 国产av在哪里看| www.熟女人妻精品国产| 欧美日韩中文字幕国产精品一区二区三区| 亚洲色图av天堂| 99在线视频只有这里精品首页| 国产精品影院久久| 中文字幕最新亚洲高清| 亚洲九九香蕉| 久久久久久免费高清国产稀缺| 首页视频小说图片口味搜索| 不卡一级毛片| 久久九九热精品免费| 亚洲精品一区av在线观看| 91大片在线观看| 国内毛片毛片毛片毛片毛片| 妹子高潮喷水视频| 91麻豆av在线| 国产精品九九99| 国产乱人伦免费视频| 国产成人av教育| 国产精品久久久人人做人人爽| 日日夜夜操网爽| 久久久久久久精品吃奶| 亚洲专区中文字幕在线| 国产片内射在线| 俄罗斯特黄特色一大片| 久久精品91蜜桃| 狂野欧美激情性xxxx| 老汉色av国产亚洲站长工具| 手机成人av网站| 午夜激情福利司机影院| 午夜福利一区二区在线看| 亚洲午夜理论影院| 俺也久久电影网| 天天躁狠狠躁夜夜躁狠狠躁| 欧美一级a爱片免费观看看 | 欧美中文日本在线观看视频| 深夜精品福利| 黄片小视频在线播放| 熟女电影av网| 禁无遮挡网站| 欧美av亚洲av综合av国产av| 高清毛片免费观看视频网站| 亚洲自拍偷在线| 人人澡人人妻人| 国产高清有码在线观看视频 | 老熟妇仑乱视频hdxx| √禁漫天堂资源中文www| 亚洲人成77777在线视频| 黄网站色视频无遮挡免费观看| www国产在线视频色| 在线天堂中文资源库| 欧美精品亚洲一区二区| 在线看三级毛片| 99精品欧美一区二区三区四区| 女性被躁到高潮视频| 国产麻豆成人av免费视频| 久久精品国产清高在天天线| 亚洲五月天丁香| 伊人久久大香线蕉亚洲五| 精品久久久久久久久久久久久 | 亚洲精品av麻豆狂野| 色精品久久人妻99蜜桃| 午夜福利18| 两个人看的免费小视频| 精品久久久久久久毛片微露脸| 日本黄色视频三级网站网址| 国产v大片淫在线免费观看| 亚洲中文av在线| 国产亚洲精品久久久久久毛片| 男人操女人黄网站| 久久精品国产亚洲av香蕉五月| 香蕉久久夜色| 精品欧美国产一区二区三| 久热这里只有精品99| 亚洲一区二区三区不卡视频| 午夜精品久久久久久毛片777| 男女做爰动态图高潮gif福利片| 国产亚洲精品一区二区www| 国产精华一区二区三区| 99re在线观看精品视频| 亚洲av成人一区二区三| 成人手机av| 国产又色又爽无遮挡免费看| 色综合婷婷激情| tocl精华| 国产免费av片在线观看野外av| 成人永久免费在线观看视频| 午夜精品在线福利| 日韩欧美一区视频在线观看|