• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    LDA與詞匯鏈相結(jié)合的主題短語(yǔ)抽取方法

    2018-11-14 10:27:42張小鵬呂學(xué)強(qiáng)徐麗萍
    關(guān)鍵詞:主題詞語(yǔ)料語(yǔ)料庫(kù)

    張小鵬,呂學(xué)強(qiáng),李 卓,徐麗萍

    1(北京信息科技大學(xué) 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室,北京 100101 2(北京城市系統(tǒng)工程研究中心,北京 100089)

    1 引 言

    文獻(xiàn)主題提取技術(shù),不僅能提高文檔檢索的質(zhì)量,而且可以有效處理文檔向量空間表示模型的高維稀疏性問(wèn)題,在文本分類、聚類、信息推薦等NLP任務(wù)中具有廣泛應(yīng)用,因此主題提取也是當(dāng)今文本挖掘領(lǐng)域的研究重點(diǎn)之一.

    目前國(guó)內(nèi)外學(xué)者所采用的主題識(shí)別或抽取方法主要有三種:第一種是基于詞頻和共現(xiàn)詞頻等統(tǒng)計(jì)方法,如詞匯鏈(Lexical chain)[1],TF-IDF[2]等;第二種是基于向量空間模型的方法,如PLSA[3],LDA(latent Dirichlet allocation)[3]等;第三種是基于網(wǎng)或圖的方法,如共詞網(wǎng)絡(luò)(Co-Word)[4],TextRank[5]等.其中詞匯鏈與文本的結(jié)構(gòu)存在一種對(duì)應(yīng)關(guān)系,提供了關(guān)于文本中主題與結(jié)構(gòu)的重要線索[6],且包含了較為豐富的語(yǔ)義信息,因此可利用詞匯鏈進(jìn)行文章主題信息的反映;另一方面,詞匯鏈雖然能夠表達(dá)文本的語(yǔ)義結(jié)構(gòu),但其構(gòu)造過(guò)程需依賴知識(shí)庫(kù)進(jìn)行詞匯間語(yǔ)義相似度的計(jì)算,在知識(shí)庫(kù)不完備的情況下,未包含詞及其關(guān)鍵短語(yǔ)抽取的效果較差[7].LDA模型是一種經(jīng)典的概率主題模型.在不依賴知識(shí)庫(kù)的情況下就可識(shí)別大規(guī)模文檔集和語(yǔ)料庫(kù)潛在的主題信息.但傳統(tǒng)LDA模型基于 “詞袋”[8]模型假設(shè),忽略了文檔中各個(gè)詞之間的順序.因此在很多情況下主題抽取效果并不理想,存在主題詞信息粒度過(guò)小、主題辨識(shí)度低、主題詞二義性等問(wèn)題.

    綜上所述,LDA模型是一種在文檔主題研究領(lǐng)域被普遍采用的概率主題模型;存在 “詞袋”模型假設(shè)的不足,且僅考慮了語(yǔ)料庫(kù)內(nèi)部語(yǔ)義信息,因此抽取效果往往不夠理想;而詞匯鏈借助語(yǔ)料庫(kù)之外的語(yǔ)義知識(shí)庫(kù)來(lái)計(jì)算詞語(yǔ)間關(guān)系,可以彌補(bǔ)LDA模型的不足,達(dá)到充分利用語(yǔ)料庫(kù)內(nèi)部和外部語(yǔ)義信息的目的.基于上述思路,本文提出了LDA結(jié)合詞匯鏈抽取主題的方法.實(shí)驗(yàn)結(jié)果表明,該方法能明顯減少主題詞二義性問(wèn)題,但依然存在主題詞信息粒度過(guò)小、主題辨識(shí)度低的問(wèn)題.由此,本文通過(guò)進(jìn)一步利用強(qiáng)詞匯鏈中心詞,并結(jié)合一定的詞性規(guī)則,提取了文中更具表達(dá)力的主題短語(yǔ).從而解決了主題詞信息粒度過(guò)小、主題辨識(shí)度低的問(wèn)題.

    2 相關(guān)概念

    2.1 詞匯鏈的概念

    詞匯鏈概念起源于1976年由Halliday與hasan提出的詞匯集聚概念[9],用于將文本中相關(guān)的詞構(gòu)成一個(gè)鏈的過(guò)程.它是一種詞語(yǔ)間語(yǔ)義關(guān)系連貫性的外在表現(xiàn),與文本的結(jié)構(gòu)和主題都有一定的對(duì)應(yīng)關(guān)系,能夠用于確定語(yǔ)境,進(jìn)而幫助消歧;也能夠用于文本抽取的各個(gè)任務(wù)中.

    詞匯鏈?zhǔn)峭ㄟ^(guò)詞義間的關(guān)系來(lái)識(shí)別的構(gòu)建的,計(jì)算語(yǔ)義相似度需要知識(shí)庫(kù)的支持.而WordNet[10]就是一個(gè)較為完備的語(yǔ)義知識(shí)庫(kù),因此可以將WordNet應(yīng)用到詞匯鏈構(gòu)建算法中.詞匯鏈構(gòu)建算法的核心思想是從當(dāng)前已構(gòu)造的詞匯鏈中選擇一條最合適的詞匯鏈作為與該候選詞相關(guān)的詞匯鏈.但由于該算法考慮的是到目前為此所出現(xiàn)的詞語(yǔ)間的語(yǔ)義關(guān)系,并不從文章總體上考慮,所以構(gòu)建的詞匯鏈往往不能正確表達(dá)文章的語(yǔ)義結(jié)構(gòu),容易出現(xiàn)詞語(yǔ)的詞義誤判問(wèn)題,這也是對(duì)詞匯鏈進(jìn)行改進(jìn)的主要著手點(diǎn)之一.如圖 1所示,本文只選取文本片段中的名詞作為候選詞匯,該片段中三條詞匯鏈及其分布情況:{specifications,requirements,obsolete,replacement,reasons,material,nature,scope},{technical,solutions}和{reports,performance,system}

    圖1 詞匯鏈分布樣例

    2.2 詞義相似度

    詞義相似度指的是兩個(gè)詞在不同的語(yǔ)境中相互替換但不影響語(yǔ)境的句法語(yǔ)義結(jié)構(gòu)的程度[11].Dekang Lin[12]認(rèn)為任何兩個(gè)詞語(yǔ)之間的相似度不僅取決于兩個(gè)詞之間的共性(Commonality)也取決于它們之間個(gè)性(Differences),然后基于語(yǔ)義詞典并結(jié)合信息論的知識(shí)定義了相似度計(jì)算公式:

    (1)

    其中,S1,S2表示兩個(gè)義原,Sp表示離它們最近的共同祖先,p(Si),(i=1,2或p)是Si結(jié)點(diǎn)的子結(jié)點(diǎn)個(gè)數(shù)(包括自己)與樹(shù)中的所有結(jié)點(diǎn)個(gè)數(shù)的比值.

    2.3 LDA主題模型

    主題模型是為了揭示大數(shù)據(jù)集合中的隱藏結(jié)構(gòu)而設(shè)計(jì)的一系列無(wú)監(jiān)督學(xué)習(xí)算法.主要思想是文檔可以看作是一系列主題的集合,而主題可以看作是一系列詞語(yǔ)的集合.換言之,一個(gè)文檔可以包含多個(gè)主題,而一個(gè)主題是由若干個(gè)詞語(yǔ)組成的集合.Hofmann把主題定義為基于詞的概率分布,同時(shí)把文檔定義為基于主題集合的概率分布.把文檔-主題-詞語(yǔ)三者的關(guān)系可以表示為:

    (2)

    其中,D表示文檔;T表示主題;W表示詞語(yǔ).

    Blei等人[11]基于上述理論于2003年提出了LDA(Latent Dirichlet Allocation)主題模型,它是一個(gè)用于主題生成的三層貝葉斯概率模型.LDA的概率主題模型可以表示為圖2所示.為了簡(jiǎn)化問(wèn)題的復(fù)雜性,LDA模型不考慮詞與詞之間的順序,把文檔中的每個(gè)詞看作是相互獨(dú)立的變量,即基于“詞袋”模型的假設(shè),這也為模型的改進(jìn)提供了著手點(diǎn).LDA模型同時(shí)采用Dirichlet分布函數(shù)來(lái)表示文檔中的各個(gè)主題分布,而Dirichlet分布的隨機(jī)向量中各個(gè)分向量之間是弱相關(guān)的,即假設(shè)了各個(gè)主題之間幾乎互不相關(guān),這樣的假設(shè)與實(shí)際問(wèn)題不符,這是LDA模型的另一個(gè)問(wèn)題.

    圖2 LDA概率主題模型

    其中,k表示topic個(gè)數(shù),α、β為先驗(yàn)參數(shù).Zm,n為第m個(gè)document下第n個(gè)詞的topic.Wm,n第m個(gè)document的第n個(gè)word.θm表示第m個(gè)document的topic分布,φk表示第k個(gè)topic下詞的分布.

    3 主題短語(yǔ)抽取

    短語(yǔ)往往比單個(gè)詞蘊(yùn)含的信息更加豐富,含義也相對(duì)明確,具有較好的主題概括力.本文提出的LDA結(jié)合詞匯鏈抽取主題短語(yǔ)的具體流程,如圖3所示.

    為了便于描述流程圖,使用簡(jiǎn)寫(xiě)符號(hào)指代過(guò)程中數(shù)據(jù)集,Cp (Corps)表示實(shí)驗(yàn)語(yǔ)料集,DTSet(Document-Topic Set)表示文檔-主題集,F(xiàn)CSet(Fulltext Chain Set)表示全文詞匯鏈集,NPSet (Noun- Phrase Set)表示二元和三元名詞短語(yǔ)集,CWSet(Center Word Set)表示中心詞集,TTPSet(Temp Topic Phrase Set)候選主題短語(yǔ)集,TPSet(Topic Phrase Set)主題短語(yǔ)集.具體流程步驟如下:

    1)文檔預(yù)處理:去除停用詞和標(biāo)點(diǎn)符號(hào)后以′$′符號(hào)作為分割符,得到實(shí)驗(yàn)語(yǔ)料Cp;

    2)求DTSet、FCSet及NPSet:在實(shí)驗(yàn)語(yǔ)料Cp的基礎(chǔ)上,利用LDA訓(xùn)練及Gibbs采樣得到DTSet,并利用詞語(yǔ)相關(guān)度和WordNet知識(shí)庫(kù)構(gòu)造 FCSet,同時(shí)用規(guī)則匹配方式提取語(yǔ)料庫(kù)中的NPSet;

    圖3 主題短語(yǔ)抽取流程圖

    3)求CWSet:在上一步中求出的DTSet和FCSet的基礎(chǔ)上,計(jì)算主題詞與詞匯鏈的相關(guān)度,利用強(qiáng)鏈規(guī)則求出強(qiáng)詞匯鏈集合,然后循環(huán)遍歷強(qiáng)詞匯鏈集合中的每一個(gè)強(qiáng)鏈,將強(qiáng)鏈集合中頻率最高的元素作為最能代表該鏈的詞(即中心詞),并將該詞加入到CWSet中,直到循環(huán)到強(qiáng)詞匯鏈集合中最后一個(gè)強(qiáng)鏈,循環(huán)結(jié)束,得到CWSet;

    4)求TTPSet:在上述步驟中求出的NPSet和CWSet,經(jīng)過(guò)包含與被包含等規(guī)則的合并、去重操作得到TTPSet;

    5)求TPSet:通過(guò)頻率、詞長(zhǎng)和短語(yǔ)在文中所在的位置構(gòu)造主題度計(jì)算公式,計(jì)算TTPSet中每一個(gè)短語(yǔ)的主題度并設(shè)定閾值,將主題度滿足閾值的短語(yǔ)加入到TPSet,從而得到主題短語(yǔ)集,流程結(jié)束.

    3.1 相關(guān)度計(jì)算

    詞匯鏈可以通過(guò)計(jì)算詞語(yǔ)相關(guān)度的方式進(jìn)行構(gòu)建.詞語(yǔ)語(yǔ)義相關(guān)度是從語(yǔ)義層面反映詞語(yǔ)關(guān)聯(lián)程度的概念,本文使用兩個(gè)詞在同一語(yǔ)境下的共現(xiàn)的概率來(lái)計(jì)算詞語(yǔ)之間的語(yǔ)義相關(guān)度.語(yǔ)義相似度與語(yǔ)義相關(guān)度很容易被混淆,語(yǔ)義相似度指的是詞匯之間的相似性.語(yǔ)義相似度與語(yǔ)義相關(guān)度又具有一定的聯(lián)系,兩個(gè)詞匯語(yǔ)義相關(guān),它們之間不一定語(yǔ)義相似,但如果兩個(gè)詞匯語(yǔ)義相似,那么它們一定是語(yǔ)義相關(guān)的.綜上所述,本文可以把語(yǔ)義相似度的計(jì)算作為語(yǔ)義相關(guān)度求解過(guò)程的一部分.

    由于通信領(lǐng)域的技術(shù)文獻(xiàn)中涉及到大量的縮略詞,如表4 中的SIM(Subscriber Identification Module),GSM(Global System for Mobile Communication),BTS(Base Transceiver Station)等.這些縮略詞并沒(méi)有被WordNet所收錄,語(yǔ)義相似度計(jì)算公式也就無(wú)法應(yīng)用在這些縮略詞上.Manning[14]等人提出基于互信息的方法解決WordNet中未收錄詞的相關(guān)度計(jì)算問(wèn)題[15].互信息常被應(yīng)用于計(jì)算兩個(gè)詞語(yǔ)之間的相關(guān)程度,具有不用依賴任何知識(shí)庫(kù)的特點(diǎn),但互信息在低頻詞共現(xiàn)場(chǎng)景取得的效果并不好,且LDA抽取的文檔—詞匯矩陣是一種稀疏矩陣,本文只能基于段落內(nèi)詞共現(xiàn)計(jì)算詞語(yǔ)之間的相關(guān)程度.基于段落內(nèi)計(jì)算詞之間的相關(guān)程度,主題詞之間會(huì)出現(xiàn)大量低頻共現(xiàn)現(xiàn)象.為了解決上述問(wèn)題,本文引入對(duì)數(shù)似然比(Log Likelihood Ratio).對(duì)數(shù)似然比在計(jì)算詞的低頻共現(xiàn)時(shí)比互信息具有更好的穩(wěn)定性.其基本思想是比較兩個(gè)詞匯相互獨(dú)立時(shí)得到的概率與構(gòu)造或然表得到的概率的一致程度.給定兩個(gè)詞匯u和v,則u,v所組成的或然表如表1所示.

    表1 u、v組成的或然表

    k11表示單詞u和單詞v共同出現(xiàn)的次數(shù); k12表示單詞u出現(xiàn)但單詞v不出現(xiàn)的次數(shù);k21表示單詞v出現(xiàn)但單詞u不出現(xiàn)的次數(shù);k22表示單詞u和單詞v都不出現(xiàn)的次數(shù);需要指出的是,本文對(duì)數(shù)似然比的應(yīng)用場(chǎng)景是基于LDA抽取結(jié)果的文檔-主題詞矩陣,因?yàn)樵摼仃囀且环N稀疏矩陣,所以或然表中的詞共現(xiàn)現(xiàn)象統(tǒng)計(jì)是基于段落級(jí)而不是常規(guī)的句子級(jí).對(duì)數(shù)似然比的公式如公式(3)所示.

    (3)

    其中,p=(k11+k12)/N,N=k11+k12+k21+k22,k11,k12,k21,k22,表示單詞u出現(xiàn)的概率,P1表示在v出現(xiàn)的情況下u出現(xiàn)的概率,P2表示在v不出現(xiàn)的情況下u出現(xiàn)的概率.對(duì)數(shù)似然比的值越大,表示語(yǔ)料中u、v搭配的短語(yǔ)是隨機(jī)出現(xiàn)的概率越小.

    為了便于計(jì)算,本文將對(duì)數(shù)似然比的求解過(guò)程轉(zhuǎn)換為求行熵、列熵、矩陣熵的求解過(guò)程.引入對(duì)數(shù)似然比后,設(shè)wi,wj為文檔中的兩個(gè)詞語(yǔ),可根據(jù)公式(1)將wi,wj的相似度表示為Sim(wi,wj),根據(jù)公式(3)對(duì)數(shù)似然比表示為L(zhǎng)LR(wi,wj);若用Rel(wi,wj)表示wi,wj的相關(guān)度,則相關(guān)度計(jì)算方法如公式(4)所示.

    Rel(wi,wj)=(1-λ)Sim(wi,wj)+λLLR(wi,wj);

    (i≥0;j≥0,i≠j)

    (4)

    其中,λ為可調(diào)節(jié)參數(shù),由于在通信領(lǐng)域技術(shù)文獻(xiàn)中縮略詞所包含的信息量更大一些,而涉及到縮略詞的相關(guān)度計(jì)算中,公式(4)中前半部分相似度函數(shù)不一定會(huì)有值,但后半部分的對(duì)數(shù)似然比函數(shù)一定會(huì)有值,因此在本文實(shí)驗(yàn)中將λ值設(shè)為0.6.

    3.2 主題短語(yǔ)的抽取

    針對(duì)技術(shù)文獻(xiàn)利用LDA抽取出文檔-主題詞集合DTSet后,結(jié)合詞語(yǔ)相關(guān)度計(jì)算方法可以進(jìn)一步完成詞匯鏈的構(gòu)建.首先構(gòu)建全文詞匯鏈,具體方法是通過(guò)掃描語(yǔ)料庫(kù)(Corps)中選定 文檔(D)的詞集合,利用公式(4)求出相關(guān)度值與當(dāng)前處理的詞匯最大的詞 ,并將該詞插入到此詞匯鏈中,從而完成全文詞匯鏈的構(gòu)建.然后在全文詞匯鏈集合中求出與主題詞集合DTSet中的詞滿足一定相似度閾值 的詞匯鏈集(LSet).具體方法是遍歷主題詞集合DTSet中的每一個(gè)詞w_i,利用公式(5)計(jì)算當(dāng)前詞w_i與全文詞匯鏈集合中的每一個(gè)詞匯鏈L_j的相似度,如果大于相似度閾值,就將該詞匯鏈L_j加入到詞匯鏈集(LSet)中.重復(fù)上述步驟,直至集合U中的詞掃描完成,也就求出了詞匯鏈集(LSet).對(duì)于給定詞w_i與詞匯鏈L_j的相似度計(jì)算方法如公式(5)所示.

    (5)

    其中,Sim(wi,Lj)表示當(dāng)前詞wi與詞匯鏈Lj的相似度.

    為了更好地體現(xiàn)文檔的主題,還需要對(duì)詞匯鏈集(LSet)進(jìn)行強(qiáng)詞匯鏈的提取.強(qiáng)詞匯鏈對(duì)文檔的核心內(nèi)容更加具有代表性.為了得出強(qiáng)詞匯鏈,這里引入權(quán)重計(jì)算方法,如公式(6)所示.

    (6)

    其中,Score(Chain)為詞匯鏈權(quán)重評(píng)分函數(shù),Len(Chain)為求鏈長(zhǎng)函數(shù),Hg(Chain)為均衡函數(shù);Ti為詞匯鏈中第i個(gè)詞在全文出現(xiàn)的次數(shù),n為詞匯鏈中的成員個(gè)數(shù).

    使用權(quán)值評(píng)分函數(shù)對(duì)詞匯鏈進(jìn)行評(píng)分,選擇滿足一定“強(qiáng)鏈規(guī)則”的詞匯鏈作為強(qiáng)詞匯鏈;本文用ChainScore(Chain)表示強(qiáng)詞匯鏈的評(píng)分函數(shù),AVG(Scores)表示(6)式中詞匯鏈權(quán)重評(píng)分函數(shù)得分的平均值,STD(Scores)表示(6)式中詞匯鏈權(quán)重評(píng)分函數(shù)得分的標(biāo)準(zhǔn)差;則“強(qiáng)鏈規(guī)則”可以表示為:Score(Chain)>AVG(Scores)+ 2×StandardDeviation(Scores),選擇其中權(quán)重滿足“強(qiáng)鏈規(guī)則”的詞匯鏈作為詞匯鏈強(qiáng)鏈.

    每條強(qiáng)鏈都對(duì)應(yīng)著一個(gè)主題線索,每個(gè)主題線索都有著互不相同的側(cè)重點(diǎn).可以選取代表不同側(cè)重點(diǎn)的強(qiáng)詞匯鏈中的中心詞作為文檔主題信息的代表.對(duì)于選定文檔中的中心詞,其出現(xiàn)的頻次應(yīng)超過(guò)一定閾值,本文實(shí)驗(yàn)中將閾值取為δ=(選定詞在文檔中出現(xiàn)次數(shù)/文檔不相同詞數(shù)),把超過(guò)閾值δ的詞作為文檔的候選詞中心詞.很多相關(guān)研究?jī)H考慮名詞作為詞匯鏈中的候選詞,但經(jīng)實(shí)驗(yàn)發(fā)現(xiàn),除名詞以外的詞語(yǔ)對(duì)抽取文檔主題詞有正負(fù)兩方面的影響.具體為動(dòng)詞對(duì)抽取的文檔主題詞質(zhì)量有相對(duì)積極的影響,而形容詞、副詞等其它詞對(duì)抽取主題詞的質(zhì)量有相對(duì)消極影響.因此只選擇文檔中具有名詞詞性或動(dòng)詞詞性的詞語(yǔ)作為候選中心詞.根據(jù)上述實(shí)驗(yàn)確定的閾值δ獲得每條鏈的候選中心詞集合.

    短語(yǔ)比詞匯更能體現(xiàn)文檔的主題,本文期望以短語(yǔ)來(lái)體現(xiàn)文檔的主題.現(xiàn)實(shí)中的關(guān)鍵短語(yǔ)多以二元和三元結(jié)構(gòu)出現(xiàn)[13],而名詞短語(yǔ)(N-P,Noun Phrase)與文檔內(nèi)容的表達(dá)最為一致[14],因此可以用名詞短語(yǔ)來(lái)描述文檔的主題,英文中的名詞短語(yǔ)的主要語(yǔ)言模式如表2所示.

    表2 英文文本中主要的名詞短語(yǔ)語(yǔ)言模式

    如果兩個(gè)詞語(yǔ)在同一文本片段內(nèi)同時(shí)出現(xiàn),那么這兩個(gè)詞就具有一定的相關(guān)性.兩個(gè)詞的同現(xiàn)頻率越高,則它們的相關(guān)性就越大,成為短語(yǔ)的可能性也就越大.由此可以聯(lián)系信息論中互信息的相關(guān)知識(shí),得出詞語(yǔ)間的共現(xiàn)頻率計(jì)算方法.

    (7)

    (8)

    其中,w1,w2,w3表示任意三個(gè)互不相同的詞語(yǔ),F(xiàn)(w1,w2,w3)表示w1,w2,w3共同出現(xiàn)的次數(shù),COF(w1,w2)表示w1與w2共同出現(xiàn)的頻率COF(w1,w2,w3),表示,w1,w2,w3共同出現(xiàn)的頻率.

    本文以3GPP官方網(wǎng)站提供的8500篇技術(shù)規(guī)范作為統(tǒng)計(jì)語(yǔ)料庫(kù),記上文提到的英文名詞短語(yǔ)語(yǔ)言模式模版為Pt,設(shè)計(jì)的主題短語(yǔ)抽取算法步驟描述如下:

    算法:主題短語(yǔ)抽取算法

    輸入:3GPP技術(shù)規(guī)范統(tǒng)計(jì)語(yǔ)料庫(kù),名詞短語(yǔ)模板Pt

    輸出:主題短語(yǔ)集TPSet

    L1 begin

    L2 初始化 TPSet、TTPSet、CWSet;閾值變量γ=0.65;

    L3 讀入統(tǒng)計(jì)語(yǔ)料庫(kù),對(duì)語(yǔ)料進(jìn)行去停用詞、標(biāo)點(diǎn)預(yù)處理操作后得到Cp;

    L4 按照詞性模版Pt對(duì)Cp中前一步處理過(guò)的語(yǔ)料進(jìn)行篩選,選出滿足詞性模版的二元、三元名詞短語(yǔ);再對(duì)選出的名詞短語(yǔ)進(jìn)行統(tǒng)計(jì),將出現(xiàn)次數(shù)大于1次的短語(yǔ)按照公式(c)和(d)計(jì)算共現(xiàn)頻率COF,篩選COF出大于閾值γ的名詞短語(yǔ)加入到集合TTPSet中.

    L5 刪除TTPSet中被三元名詞短語(yǔ)已含有的二元名詞短語(yǔ);

    L6 刪除CWS中被TTPSet中短語(yǔ)所包含的中心詞,同時(shí)將TTPSet中包含中心詞的短語(yǔ)加入到TTPSet中,將CWS中剩下的中心詞也加入到TTPSet中;

    L7 最后將TTPSet中的詞按照公式計(jì)算短語(yǔ)的主題度,對(duì)滿足主題度閾值的,按照主題度大小順序輸出,得到主題短語(yǔ)集合TPSet.

    L8 End

    3.3 主題度計(jì)算

    候選主題短語(yǔ)與文檔主題的相關(guān)度通常與多種因素有關(guān).本文綜合考察候選主題短語(yǔ)的頻率特征、詞匯鏈長(zhǎng)度特征以及位置特征對(duì)主題度的影響,通過(guò)構(gòu)造主題因子計(jì)算公式衡量候選主題短語(yǔ)的主題度.

    1)頻率特征. 從統(tǒng)計(jì)學(xué)角度來(lái)看,候選主題短語(yǔ)的出現(xiàn)頻率從一定程度上能夠反映出文檔主題,如果候選主題短語(yǔ)在同一篇文檔中頻繁出現(xiàn),則有較大可能性與文檔主題密切相關(guān)[16].考慮到作者在撰寫(xiě)技術(shù)文檔時(shí),通常會(huì)為了凸顯主題而反復(fù)使用主題相關(guān)的短語(yǔ)詞匯.因此,短語(yǔ)的頻率特征可以作為衡量主題度的一個(gè)因素.

    2)詞長(zhǎng)特征. 主題短語(yǔ)一般包含多個(gè)單詞,表達(dá)的涵義往往比單個(gè)詞匯更具體.本文將主題短語(yǔ)包含的單詞個(gè)數(shù)作為主題短語(yǔ)的長(zhǎng)度特征.相對(duì)而言,候選主題短語(yǔ)長(zhǎng)度越短,則提供的信息量越少,概括的主題含義越抽象;候選主題短語(yǔ)長(zhǎng)度越長(zhǎng),則承載的信息越豐富,更有可能貼近文檔的主題思想.文獻(xiàn)[17]表明,同一篇文檔中,反映文檔主題思想的短語(yǔ)對(duì)應(yīng)的詞匯滿足長(zhǎng)度最大的條件.因此,詞長(zhǎng)也是一個(gè)不容忽視的因素.

    3)位置特征. 同一個(gè)主題短語(yǔ)在特定的文檔中一般會(huì)在不同位置處多次出現(xiàn),不同的位置對(duì)主題度的影響也不一樣.候選主題短語(yǔ)出現(xiàn)在文檔標(biāo)題中一般比出現(xiàn)在正文中更能體現(xiàn)文檔主題,出現(xiàn)在正文起始段落中的候選主題短語(yǔ)一般起到開(kāi)門見(jiàn)山的作用,出現(xiàn)在正文末尾段落中的候選主題短語(yǔ)一般起到總結(jié)性的作用.因此,出現(xiàn)在正文的開(kāi)頭和結(jié)尾部分的候選主題短語(yǔ)一般比中間位置更能體現(xiàn)文檔主題.本文將候選主題短語(yǔ)出現(xiàn)的位置劃分為標(biāo)題、正文起始段落、正文末尾段落以及正文中間部分,不同位置處賦予的主題權(quán)重如公式(9)所示.

    (9)

    綜合上述分析,本文針對(duì)候選主題短語(yǔ)提出如下計(jì)算主題度的方法,公式如(10)所示.

    (10)

    4 實(shí)驗(yàn)及結(jié)果分析

    4.1 實(shí)驗(yàn)數(shù)據(jù)

    本文實(shí)驗(yàn)數(shù)據(jù)為3GPP官方網(wǎng)站FTP服務(wù)(http://www.3gpp.org/ftp/)中公開(kāi)的8500篇通信行業(yè)技術(shù)規(guī)范(TSG)文獻(xiàn).為了便于實(shí)驗(yàn),需要將技術(shù)規(guī)范文件中的扉頁(yè)、目錄和圖表等信息統(tǒng)一去除,只保留正文部分作為實(shí)驗(yàn)語(yǔ)料(Corps),并去除語(yǔ)料中的停用詞和標(biāo)點(diǎn)符號(hào)并以′$′符號(hào)作為分割符.由于實(shí)驗(yàn)語(yǔ)料的規(guī)模較大,加上所能獲取的專家知識(shí)有限,很難人工準(zhǔn)確識(shí)別出所有的主題短語(yǔ),這也對(duì)評(píng)價(jià)指標(biāo)的計(jì)算帶來(lái)了一定的困難,為此本文選取其中的五種技術(shù)規(guī)范文檔集作為對(duì)比實(shí)驗(yàn)的五個(gè)實(shí)驗(yàn)組.由于每種技術(shù)規(guī)范又分為三個(gè)系列,為了達(dá)到更好的實(shí)驗(yàn)效果,選取過(guò)程中盡量對(duì)技術(shù)規(guī)范的若干系列進(jìn)行平衡選取.把所選取的技術(shù)規(guī)范文檔集設(shè)置為3個(gè)不同的規(guī)模,并對(duì)選取的文檔進(jìn)行手工標(biāo)注主題短語(yǔ).由于所選的實(shí)驗(yàn)語(yǔ)料平均長(zhǎng)度在4000字以上,為了較好的表達(dá)主題,每篇文獻(xiàn)手工標(biāo)注的主題短語(yǔ)個(gè)數(shù)設(shè)定為100個(gè),3個(gè)文檔集合分別包含150篇,300篇,450篇實(shí)驗(yàn)文獻(xiàn),具體分配情況如表3所示.

    表3 實(shí)驗(yàn)文檔分配情況

    4.2 效果及分析

    本文通過(guò)LDA與詞匯鏈相結(jié)合的方法進(jìn)行主題短語(yǔ)的抽取.使用LDA4j作為主題抽取模型.將LDA的各參數(shù)分別設(shè)置為:文檔-主題參數(shù)alpha=2.0,主題-詞語(yǔ)參數(shù)beta=0.5,主題數(shù)目k=20,收斂前迭代次數(shù)BURN_IN=100,最大迭代次數(shù)ITERATIONS = 1000.利用LDA對(duì)上述語(yǔ)料庫(kù)進(jìn)行訓(xùn)練后,預(yù)測(cè)其中編號(hào)為ETSI-TS-101-402技術(shù)規(guī)范文件的主題,如表4所示,本文只列出前6個(gè)主題.

    表4 LDA抽取的部分主題集

    通過(guò)觀察LDA的抽取結(jié)果發(fā)現(xiàn)所抽取的主題可用性并不高.主要存在以下三個(gè)問(wèn)題:

    1)詞匯信息粒度過(guò)小,每個(gè)詞都是獨(dú)立的單詞;

    2)主題詞二義性,沒(méi)有考慮詞匯的真正含義,如band,call等;

    3)存在主題漂移現(xiàn)象,如文章的真實(shí)主題是與全球移動(dòng)通信(GSM)的基站服務(wù)(BTS)有關(guān),而topic3預(yù)測(cè)的主題是與移動(dòng)交換中心(MSC)有關(guān),與實(shí)際主題略有偏離.

    本文在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)實(shí)驗(yàn)語(yǔ)料存在大量可利用的數(shù)據(jù)特征,這些具有明顯數(shù)據(jù)特征的字符串很大概率上是縮略詞或者是具有專指意義的名詞短語(yǔ),而且在主題表達(dá)上具有特殊的意義,如CDMA,IMMEDIATE ASSIGNMENT,Private Telecommunication Networks等.這些數(shù)據(jù)特征給主題抽取提供了便利,可以用字符串匹配技術(shù)將這些字符串直接標(biāo)定為名詞或者名詞短語(yǔ),然后通過(guò)互信息、對(duì)數(shù)似然比等方法進(jìn)行過(guò)濾,最后將它們加入到候選主題短語(yǔ)集合中,計(jì)算主題度并按照所得的主題度大小進(jìn)行排序輸出.部分結(jié)果如表5所示,篇幅原因,本文展示每篇文獻(xiàn)主題度值排在前10的主題短語(yǔ).

    表5 部分抽取的主題短語(yǔ)

    通過(guò)對(duì)比不難發(fā)現(xiàn),與傳統(tǒng)的基于LDA主題抽取方法相比較,本文方法對(duì)于文獻(xiàn)的主題表達(dá)主要有以下4個(gè)方面的改善:1)主題信息粒度方面,傳統(tǒng)的PLSA、LDA等主題模型通常使用一系列單詞去解釋文本主題,信息粒度過(guò)小,不利于概念的表達(dá);而本文使用一系列信息粒度更大的短語(yǔ)描述主題有助于更深一步地對(duì)主題概念進(jìn)行解釋.2)主題的辨識(shí)度方面,使用基于單詞的主題模型表達(dá)文本主題,往往會(huì)產(chǎn)生主題不易被區(qū)分的問(wèn)題,如表4中topic1、topic3、topic6都是描述用戶電話信息的,topic2、topic4和topic5又都是描述全球移動(dòng)通信系統(tǒng)的,無(wú)法準(zhǔn)確區(qū)分主題,如果人為進(jìn)行區(qū)分,會(huì)造成結(jié)果客觀性不足,也可能會(huì)產(chǎn)生一些矛盾.而基于短語(yǔ)進(jìn)行主題表達(dá),每個(gè)短語(yǔ)都包含較為豐富的語(yǔ)義信息,從而對(duì)主題辨識(shí)度的提升有所幫助.3)語(yǔ)義消歧方面,基于單詞的主題模型容易出現(xiàn)多義詞,無(wú)法辨別其真正含義,從而產(chǎn)生歧義,影響主題無(wú)法準(zhǔn)確地得到表達(dá).如 topic2 中“power”的意思是“功率”還是“電源”? 在缺少上下文語(yǔ)境的情況下,讀者憑借主觀猜想很難對(duì)其正確地進(jìn)行區(qū)分.而基于短語(yǔ)的主題表達(dá)提供了一定的語(yǔ)境信息,有助于對(duì)多義詞的進(jìn)行正確的解讀,從而消除主題表達(dá)中的歧義現(xiàn)象.4)主題的可解釋性方面,傳統(tǒng)的基于單詞的主題模型中,同一個(gè)單詞可能被多個(gè)主題所包含,如表4中GSM同時(shí)在topic2、topic4和topic5中出現(xiàn),這種情況對(duì)文獻(xiàn)主題的解釋以及分類具有負(fù)面影響,僅僅知道這些主題與“全球移動(dòng)通信系統(tǒng)”有關(guān),意義不大,所能為主題解釋提供的價(jià)值有限.而基于短語(yǔ)對(duì)主題進(jìn)行解釋則會(huì)大大改善這一情況.

    表6 三種主題短語(yǔ)抽取方法在不同規(guī)模數(shù)據(jù)集上的準(zhǔn)確率和召回率

    4.3 對(duì)比實(shí)驗(yàn)

    為了對(duì)提出的主題短語(yǔ)抽取方法的有效性進(jìn)行評(píng)價(jià),本文進(jìn)行了一系列對(duì)比實(shí)驗(yàn)并用準(zhǔn)確率、召回率和F1值對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià).在表(3)所示的五組實(shí)驗(yàn)語(yǔ)料的基礎(chǔ)上,分別采用基于LDA的方法、基于詞匯鏈的方法以及LDA與詞匯鏈相結(jié)合的方法進(jìn)行主題短語(yǔ)的抽取,然后與手工標(biāo)注的主題短語(yǔ)進(jìn)行對(duì)比,從而得到每組語(yǔ)料抽取主題短語(yǔ)準(zhǔn)確率、召回率和F值.計(jì)算方法如公式(8)-公式(10)所示.

    (11)

    (12)

    (13)

    其中,Pi表示第i組的準(zhǔn)確率,Ri表示第i組的召回率,F(xiàn)1i表示第i組的F1值,TPi第i組正確抽取主題短語(yǔ)的個(gè)數(shù),F(xiàn)Pi第i組提取主題短語(yǔ)不正確的個(gè)數(shù).

    圖4 準(zhǔn)確率P的均值對(duì)比 圖5 召回率R的均值對(duì)比

    5 結(jié)束語(yǔ)

    本文針對(duì)通信領(lǐng)域技術(shù)規(guī)格文獻(xiàn),提出了一種LDA模型與詞匯鏈相結(jié)合的主題短語(yǔ)抽取方法.傳統(tǒng)的LDA模型基于“詞袋”模型的假設(shè),忽略了文中原有詞語(yǔ)的順序;對(duì)語(yǔ)料庫(kù)本身進(jìn)行主題采樣,只利用了語(yǔ)料庫(kù)內(nèi)部的語(yǔ)義信息;因此容易出現(xiàn)較多的主題詞二義性問(wèn)題.與詞匯鏈相結(jié)合,可以利用語(yǔ)料庫(kù)之外的具有較完備語(yǔ)義信息的知識(shí)庫(kù)WordNet,通過(guò)語(yǔ)義相關(guān)度計(jì)算和強(qiáng)鏈規(guī)則篩選可以得到強(qiáng)詞匯鏈,從而在很大程度上減少主題詞二義性問(wèn)題.利用中心詞提取方法和N-P規(guī)則合并、去重等步驟可以完成主題短語(yǔ)的提取.借助具有更豐富語(yǔ)義信息的主題短語(yǔ)來(lái)表達(dá)主題,從而解決了主題詞粒度過(guò)小、辨識(shí)度低等問(wèn)題.雖然將兩種技術(shù)相結(jié)合能夠保證主題抽取的準(zhǔn)確率和召回率,主題漂移現(xiàn)象也會(huì)得到改善.但該方法依賴較多,且主要針對(duì)三元以下的主題短語(yǔ)的進(jìn)行識(shí)別,具有一定的局限性.下一步作者將嘗試對(duì)該方法的適用范圍進(jìn)行改進(jìn),在短語(yǔ)長(zhǎng)度和中文語(yǔ)料上進(jìn)行改進(jìn),以期達(dá)到較好應(yīng)用效果.

    猜你喜歡
    主題詞語(yǔ)料語(yǔ)料庫(kù)
    《語(yǔ)料庫(kù)翻譯文體學(xué)》評(píng)介
    把課文的優(yōu)美表達(dá)存進(jìn)語(yǔ)料庫(kù)
    基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
    華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
    基于JAVAEE的維吾爾中介語(yǔ)語(yǔ)料庫(kù)開(kāi)發(fā)與實(shí)現(xiàn)
    我校學(xué)報(bào)第32卷第5期(2014年10月)平均每篇有3.04個(gè)21世紀(jì)的Ei主題詞
    我校學(xué)報(bào)第32卷第6期(2014年12月)平均每篇有3.00個(gè)21世紀(jì)的Ei主題詞
    2014年第16卷第1~4期主題詞索引
    《苗防備覽》中的湘西語(yǔ)料
    國(guó)內(nèi)外語(yǔ)用學(xué)實(shí)證研究比較:語(yǔ)料類型與收集方法
    成人特级av手机在线观看| 熟妇人妻久久中文字幕3abv| 精品午夜福利在线看| 成人特级黄色片久久久久久久| 干丝袜人妻中文字幕| 男人的好看免费观看在线视频| 热99在线观看视频| 男女啪啪激烈高潮av片| 欧美绝顶高潮抽搐喷水| 欧美高清性xxxxhd video| 美女 人体艺术 gogo| 18禁裸乳无遮挡免费网站照片| 日韩欧美免费精品| 精品久久国产蜜桃| 国产一区二区三区在线臀色熟女| 国产男人的电影天堂91| 久久精品夜夜夜夜夜久久蜜豆| 深夜a级毛片| 成人av一区二区三区在线看| 不卡视频在线观看欧美| 国产在线精品亚洲第一网站| 亚洲男人的天堂狠狠| 麻豆av噜噜一区二区三区| 天美传媒精品一区二区| 美女免费视频网站| 久久久久久九九精品二区国产| 婷婷亚洲欧美| netflix在线观看网站| 亚洲精华国产精华液的使用体验 | 亚洲成av人片在线播放无| 极品教师在线视频| 禁无遮挡网站| 嫩草影院入口| 男女之事视频高清在线观看| 香蕉av资源在线| 久久久久久久久大av| 久久人人精品亚洲av| 1000部很黄的大片| 国产高清不卡午夜福利| 少妇高潮的动态图| 日韩在线高清观看一区二区三区 | 看黄色毛片网站| 在线播放无遮挡| 窝窝影院91人妻| 亚洲av电影不卡..在线观看| 亚洲avbb在线观看| 欧美极品一区二区三区四区| 国产成人aa在线观看| 欧美xxxx黑人xx丫x性爽| 久久九九热精品免费| 亚洲国产精品成人综合色| 男女边吃奶边做爰视频| 国产精品三级大全| 国产精品爽爽va在线观看网站| 日日撸夜夜添| 国产伦精品一区二区三区视频9| 色噜噜av男人的天堂激情| 此物有八面人人有两片| 久久久久久九九精品二区国产| 成人国产一区最新在线观看| 日韩欧美国产一区二区入口| 91久久精品电影网| 久久热精品热| 成年女人看的毛片在线观看| 成年女人看的毛片在线观看| 欧美激情久久久久久爽电影| 干丝袜人妻中文字幕| 亚洲va在线va天堂va国产| 久久久久九九精品影院| 嫩草影院新地址| 精品免费久久久久久久清纯| 69人妻影院| 18禁在线播放成人免费| 国产精品久久久久久精品电影| 国产一级毛片七仙女欲春2| 看免费成人av毛片| 久久久久国产精品人妻aⅴ院| 成人av在线播放网站| 69av精品久久久久久| 两个人视频免费观看高清| 久久久久免费精品人妻一区二区| 国产精品一区www在线观看 | 最近中文字幕高清免费大全6 | 在现免费观看毛片| 一a级毛片在线观看| 久久欧美精品欧美久久欧美| 亚洲专区中文字幕在线| 人人妻,人人澡人人爽秒播| 久久人人精品亚洲av| 五月伊人婷婷丁香| 一a级毛片在线观看| 深夜a级毛片| 午夜福利高清视频| 欧美激情在线99| 美女免费视频网站| 中文字幕av成人在线电影| 又紧又爽又黄一区二区| 免费无遮挡裸体视频| 国产高清不卡午夜福利| 小说图片视频综合网站| 看十八女毛片水多多多| 夜夜看夜夜爽夜夜摸| 欧美三级亚洲精品| 日韩欧美 国产精品| 男女啪啪激烈高潮av片| 免费看a级黄色片| 亚洲精品成人久久久久久| 一区二区三区高清视频在线| 欧美日韩瑟瑟在线播放| 日日摸夜夜添夜夜添av毛片 | 午夜a级毛片| 日韩人妻高清精品专区| av天堂中文字幕网| 成人高潮视频无遮挡免费网站| h日本视频在线播放| 日韩国内少妇激情av| 日日摸夜夜添夜夜添av毛片 | 国产一区二区在线av高清观看| 久久精品国产清高在天天线| 国产精品亚洲一级av第二区| 亚洲精品一卡2卡三卡4卡5卡| 久久久久久久久久成人| 亚洲av五月六月丁香网| av专区在线播放| 日韩av在线大香蕉| 精品久久久久久久久av| 男女啪啪激烈高潮av片| 老熟妇仑乱视频hdxx| 我的老师免费观看完整版| 一区二区三区激情视频| 日本黄色视频三级网站网址| 一区二区三区激情视频| 久久香蕉精品热| h日本视频在线播放| 网址你懂的国产日韩在线| 看十八女毛片水多多多| 色综合色国产| 日韩精品中文字幕看吧| 看十八女毛片水多多多| 国产高清不卡午夜福利| 欧美日韩综合久久久久久 | 欧美日韩黄片免| 不卡一级毛片| 国产高潮美女av| 嫩草影视91久久| 亚洲国产精品sss在线观看| av中文乱码字幕在线| 亚洲真实伦在线观看| 午夜福利18| 午夜福利欧美成人| 精品一区二区免费观看| 高清日韩中文字幕在线| 深夜精品福利| 色吧在线观看| 波多野结衣高清作品| 国产成人福利小说| 噜噜噜噜噜久久久久久91| 极品教师在线免费播放| 18禁在线播放成人免费| 久久久久久久精品吃奶| 97热精品久久久久久| 亚洲四区av| 久久99热6这里只有精品| 成人二区视频| 欧美极品一区二区三区四区| 欧美高清性xxxxhd video| 日本三级黄在线观看| av黄色大香蕉| 淫妇啪啪啪对白视频| 国产精品野战在线观看| 久久精品国产99精品国产亚洲性色| 日韩欧美精品免费久久| 久久草成人影院| 真人做人爱边吃奶动态| 麻豆久久精品国产亚洲av| 99热网站在线观看| 久久人人爽人人爽人人片va| 亚洲国产欧美人成| 精品免费久久久久久久清纯| 亚洲精品影视一区二区三区av| 亚洲精品久久国产高清桃花| 精品欧美国产一区二区三| 在线免费观看不下载黄p国产 | 在线观看av片永久免费下载| 国产真实伦视频高清在线观看 | aaaaa片日本免费| 99热这里只有精品一区| 又黄又爽又刺激的免费视频.| 欧美最黄视频在线播放免费| 国产亚洲精品综合一区在线观看| 久久久久国产精品人妻aⅴ院| av福利片在线观看| 欧美日韩黄片免| 久久久午夜欧美精品| 久久精品久久久久久噜噜老黄 | 国产av不卡久久| 亚洲欧美日韩卡通动漫| 成人无遮挡网站| 美女 人体艺术 gogo| 久久精品国产99精品国产亚洲性色| 亚洲久久久久久中文字幕| 久久久精品大字幕| 国产精品人妻久久久久久| 欧美日韩瑟瑟在线播放| 亚洲人成网站在线播放欧美日韩| 亚洲中文字幕一区二区三区有码在线看| 两性午夜刺激爽爽歪歪视频在线观看| 少妇熟女aⅴ在线视频| 搡老熟女国产l中国老女人| 久久精品国产亚洲av涩爱 | 变态另类丝袜制服| 乱人视频在线观看| 少妇裸体淫交视频免费看高清| 欧美zozozo另类| 嫩草影院入口| 最近在线观看免费完整版| 免费搜索国产男女视频| 午夜老司机福利剧场| 久久久久性生活片| 亚洲精品456在线播放app | 欧美日韩精品成人综合77777| 免费电影在线观看免费观看| 欧美黑人欧美精品刺激| 国产精品自产拍在线观看55亚洲| 中亚洲国语对白在线视频| 一进一出抽搐动态| 男女之事视频高清在线观看| 免费大片18禁| 国产精品三级大全| 长腿黑丝高跟| 日韩强制内射视频| 中国美女看黄片| 中文字幕精品亚洲无线码一区| 亚洲欧美精品综合久久99| 啦啦啦观看免费观看视频高清| 国产精品乱码一区二三区的特点| 动漫黄色视频在线观看| 精品人妻视频免费看| 99久久精品热视频| 久久久久久大精品| 国模一区二区三区四区视频| 国产成人av教育| 麻豆av噜噜一区二区三区| 直男gayav资源| 看片在线看免费视频| 搞女人的毛片| 女同久久另类99精品国产91| 嫩草影视91久久| 一a级毛片在线观看| 丰满乱子伦码专区| 日本 欧美在线| 狂野欧美白嫩少妇大欣赏| 看免费成人av毛片| 亚洲在线自拍视频| 国产大屁股一区二区在线视频| 国产乱人伦免费视频| 自拍偷自拍亚洲精品老妇| 老司机午夜福利在线观看视频| 久久精品影院6| 九九爱精品视频在线观看| 少妇人妻精品综合一区二区 | 亚洲成a人片在线一区二区| 欧美一级a爱片免费观看看| 波野结衣二区三区在线| 最好的美女福利视频网| 99在线人妻在线中文字幕| 精品免费久久久久久久清纯| 可以在线观看的亚洲视频| 色尼玛亚洲综合影院| 日韩在线高清观看一区二区三区 | 91av网一区二区| 国产精品人妻久久久影院| 一个人免费在线观看电影| 亚洲最大成人手机在线| 啦啦啦啦在线视频资源| 国产精品永久免费网站| 亚洲中文日韩欧美视频| av天堂中文字幕网| 最好的美女福利视频网| 亚洲精品粉嫩美女一区| 嫁个100分男人电影在线观看| 欧美国产日韩亚洲一区| 亚洲无线观看免费| av.在线天堂| 日韩精品有码人妻一区| 成人午夜高清在线视频| 精品人妻熟女av久视频| 精品国内亚洲2022精品成人| 国产熟女欧美一区二区| 热99在线观看视频| 亚洲最大成人av| 国产麻豆成人av免费视频| 国产av一区在线观看免费| 免费人成在线观看视频色| 中文字幕高清在线视频| 久久久午夜欧美精品| 欧美黑人巨大hd| 精品久久久久久久久久免费视频| 女同久久另类99精品国产91| 变态另类丝袜制服| 又爽又黄无遮挡网站| 国产黄片美女视频| 国产国拍精品亚洲av在线观看| 非洲黑人性xxxx精品又粗又长| 搞女人的毛片| 我的女老师完整版在线观看| 久9热在线精品视频| av在线亚洲专区| eeuss影院久久| 嫁个100分男人电影在线观看| 看黄色毛片网站| 我的老师免费观看完整版| 99热网站在线观看| 国产av不卡久久| 久久午夜亚洲精品久久| 在线播放国产精品三级| 人妻制服诱惑在线中文字幕| 亚洲成人精品中文字幕电影| 国产精品女同一区二区软件 | 伦精品一区二区三区| 精品一区二区三区人妻视频| 久久精品国产清高在天天线| 国产黄色小视频在线观看| 日本撒尿小便嘘嘘汇集6| 成人欧美大片| 精品人妻1区二区| 国产黄a三级三级三级人| 久久午夜亚洲精品久久| 国产伦精品一区二区三区四那| 午夜福利在线在线| 亚洲无线在线观看| 亚洲人成伊人成综合网2020| 国产在线男女| 午夜免费成人在线视频| 九色成人免费人妻av| 国产欧美日韩一区二区精品| 成人欧美大片| 老熟妇仑乱视频hdxx| 成年女人永久免费观看视频| 99在线视频只有这里精品首页| 窝窝影院91人妻| 99久久久亚洲精品蜜臀av| 床上黄色一级片| 成年人黄色毛片网站| 国产aⅴ精品一区二区三区波| 国产伦一二天堂av在线观看| 悠悠久久av| 男女边吃奶边做爰视频| 亚洲国产色片| 国产激情偷乱视频一区二区| 精品一区二区三区视频在线观看免费| 大又大粗又爽又黄少妇毛片口| 成人永久免费在线观看视频| 永久网站在线| 丰满人妻一区二区三区视频av| 日韩高清综合在线| 国产大屁股一区二区在线视频| 久久精品91蜜桃| 亚洲av免费在线观看| 国产亚洲精品久久久com| 天堂网av新在线| 欧美+亚洲+日韩+国产| 欧美黑人欧美精品刺激| 春色校园在线视频观看| 久久精品国产亚洲av天美| 亚洲色图av天堂| 久久精品国产亚洲av香蕉五月| 日韩av在线大香蕉| 又爽又黄无遮挡网站| 日韩,欧美,国产一区二区三区 | 麻豆成人av在线观看| 少妇的逼好多水| 韩国av在线不卡| av在线亚洲专区| 在线观看一区二区三区| 亚洲av免费在线观看| 麻豆国产av国片精品| 国产精品人妻久久久久久| 男人舔女人下体高潮全视频| 禁无遮挡网站| a级一级毛片免费在线观看| 精品人妻偷拍中文字幕| 露出奶头的视频| 熟女人妻精品中文字幕| 成人一区二区视频在线观看| 色在线成人网| 嫩草影院入口| 亚洲欧美精品综合久久99| 日本黄大片高清| 亚洲狠狠婷婷综合久久图片| 美女 人体艺术 gogo| 又黄又爽又免费观看的视频| 亚洲av美国av| 中文字幕免费在线视频6| 日本免费一区二区三区高清不卡| 欧美日韩乱码在线| 久久久久久久亚洲中文字幕| 日韩人妻高清精品专区| 亚洲av第一区精品v没综合| 国产av一区在线观看免费| 一个人看的www免费观看视频| 深夜精品福利| 最新在线观看一区二区三区| 人妻制服诱惑在线中文字幕| 热99在线观看视频| 69av精品久久久久久| 又爽又黄a免费视频| 三级国产精品欧美在线观看| 色综合站精品国产| 女人被狂操c到高潮| 婷婷精品国产亚洲av| 亚洲精品色激情综合| 欧美色视频一区免费| 亚洲国产日韩欧美精品在线观看| 成人三级黄色视频| 久久久久国内视频| 成人一区二区视频在线观看| 亚洲精品在线观看二区| 国产高清有码在线观看视频| 亚洲国产精品久久男人天堂| 999久久久精品免费观看国产| 成人特级av手机在线观看| 老司机午夜福利在线观看视频| 国语自产精品视频在线第100页| 精品乱码久久久久久99久播| 三级毛片av免费| 国产伦一二天堂av在线观看| 色噜噜av男人的天堂激情| 成人无遮挡网站| 亚洲三级黄色毛片| 亚洲成人精品中文字幕电影| 久久久久国内视频| 久久久久久久久中文| av国产免费在线观看| 久久久久九九精品影院| 成人精品一区二区免费| 精品人妻视频免费看| 男人的好看免费观看在线视频| 国产高清三级在线| 波多野结衣高清无吗| av视频在线观看入口| 亚洲三级黄色毛片| 最好的美女福利视频网| 99国产精品一区二区蜜桃av| 国产综合懂色| 精品人妻1区二区| 久久亚洲真实| 美女被艹到高潮喷水动态| 久久国产乱子免费精品| 一边摸一边抽搐一进一小说| 国产精品野战在线观看| 美女免费视频网站| 午夜精品在线福利| 国产成人一区二区在线| 亚洲一级一片aⅴ在线观看| 久久99热6这里只有精品| 一级黄色大片毛片| 极品教师在线免费播放| 国产久久久一区二区三区| 久久热精品热| 国产精品久久久久久av不卡| 日日摸夜夜添夜夜添小说| 嫩草影院入口| 欧美日韩亚洲国产一区二区在线观看| 午夜福利在线观看免费完整高清在 | 中文在线观看免费www的网站| 22中文网久久字幕| 一区二区三区四区激情视频 | 91麻豆精品激情在线观看国产| 乱系列少妇在线播放| 亚洲最大成人中文| 在线免费观看的www视频| 两人在一起打扑克的视频| 成人综合一区亚洲| 亚洲精品一区av在线观看| 男插女下体视频免费在线播放| 搞女人的毛片| a级毛片免费高清观看在线播放| 国产aⅴ精品一区二区三区波| 在线观看一区二区三区| 美女高潮的动态| 在线观看av片永久免费下载| 性色avwww在线观看| 国产精品国产高清国产av| 欧美一区二区亚洲| 免费人成在线观看视频色| 亚洲av.av天堂| 国产精品久久久久久久久免| 国产精品综合久久久久久久免费| videossex国产| 人妻制服诱惑在线中文字幕| 色综合站精品国产| 天堂影院成人在线观看| 国产一区二区在线观看日韩| aaaaa片日本免费| 一区二区三区高清视频在线| 夜夜爽天天搞| 91狼人影院| 国产精品爽爽va在线观看网站| 中文在线观看免费www的网站| 3wmmmm亚洲av在线观看| 俺也久久电影网| 国产亚洲精品综合一区在线观看| 久久久久久久久久黄片| 成人亚洲精品av一区二区| 精品人妻1区二区| 日本一二三区视频观看| 中文字幕久久专区| 婷婷色综合大香蕉| 麻豆成人午夜福利视频| a级一级毛片免费在线观看| 18禁黄网站禁片免费观看直播| 午夜精品久久久久久毛片777| av天堂中文字幕网| 搡老妇女老女人老熟妇| 真人做人爱边吃奶动态| 天堂√8在线中文| 成人综合一区亚洲| 国产精品久久久久久精品电影| 如何舔出高潮| 亚洲精品一区av在线观看| 熟女人妻精品中文字幕| 日韩欧美 国产精品| 久久午夜亚洲精品久久| 国产亚洲精品久久久久久毛片| 亚洲aⅴ乱码一区二区在线播放| 伊人久久精品亚洲午夜| 国产伦人伦偷精品视频| 国产亚洲精品av在线| 久久精品综合一区二区三区| 国产aⅴ精品一区二区三区波| 久久精品国产自在天天线| 最新在线观看一区二区三区| 男人舔奶头视频| 熟女人妻精品中文字幕| 国产高潮美女av| 熟女人妻精品中文字幕| 一进一出抽搐gif免费好疼| 人妻少妇偷人精品九色| 成人毛片a级毛片在线播放| 99riav亚洲国产免费| 精品不卡国产一区二区三区| 中亚洲国语对白在线视频| 夜夜看夜夜爽夜夜摸| 最近最新免费中文字幕在线| 欧美精品啪啪一区二区三区| 亚洲黑人精品在线| 国产高清不卡午夜福利| 日本欧美国产在线视频| 国产高清视频在线播放一区| 久9热在线精品视频| 两个人的视频大全免费| 久99久视频精品免费| 日本五十路高清| 两人在一起打扑克的视频| 自拍偷自拍亚洲精品老妇| 美女高潮的动态| av国产免费在线观看| 亚洲久久久久久中文字幕| 精品一区二区免费观看| 国产精品永久免费网站| 国产精品,欧美在线| 成人美女网站在线观看视频| 国产国拍精品亚洲av在线观看| 窝窝影院91人妻| 欧美一区二区国产精品久久精品| 亚洲国产日韩欧美精品在线观看| 听说在线观看完整版免费高清| 国产伦在线观看视频一区| 99国产精品一区二区蜜桃av| 婷婷精品国产亚洲av| 日韩高清综合在线| 三级国产精品欧美在线观看| 熟女人妻精品中文字幕| 欧美又色又爽又黄视频| 免费看av在线观看网站| 亚洲精品亚洲一区二区| 日韩亚洲欧美综合| 成人毛片a级毛片在线播放| 亚洲人成伊人成综合网2020| 亚洲中文字幕一区二区三区有码在线看| 人妻夜夜爽99麻豆av| 国产精品一区二区三区四区久久| 免费一级毛片在线播放高清视频| 亚洲性夜色夜夜综合| 国产探花极品一区二区| 欧美成人a在线观看| 亚洲国产高清在线一区二区三| 亚洲av免费高清在线观看| 国内少妇人妻偷人精品xxx网站| 欧美色欧美亚洲另类二区| 亚洲成人中文字幕在线播放| 欧美极品一区二区三区四区| 国内揄拍国产精品人妻在线| 国产又黄又爽又无遮挡在线| 国产一区二区在线av高清观看| 亚洲成av人片在线播放无| 日本爱情动作片www.在线观看 | 尾随美女入室| 亚洲欧美日韩卡通动漫| 国产老妇女一区| 成人性生交大片免费视频hd| 精品一区二区三区人妻视频| bbb黄色大片| 成人国产一区最新在线观看| 夜夜夜夜夜久久久久| 午夜a级毛片| 欧洲精品卡2卡3卡4卡5卡区| 亚洲精品色激情综合| 天堂av国产一区二区熟女人妻| 亚洲av一区综合| 免费av不卡在线播放| 国内精品宾馆在线| 国产精品久久久久久亚洲av鲁大| 女人被狂操c到高潮|