• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于偽反饋的有效XML查詢擴展*

    2016-12-19 01:12:20鐘敏娟萬常選劉德喜江騰蛟劉愛紅
    計算機與生活 2016年12期
    關鍵詞:詞項文檔排序

    鐘敏娟,萬常選,劉德喜,江騰蛟,劉愛紅

    1.江西財經大學 信息管理學院,南昌 330013

    2.江西財經大學 數據與知識工程江西省高校重點實驗室,南昌 330013

    基于偽反饋的有效XML查詢擴展*

    鐘敏娟1,2+,萬常選1,2,劉德喜1,2,江騰蛟1,2,劉愛紅1,2

    1.江西財經大學 信息管理學院,南昌 330013

    2.江西財經大學 數據與知識工程江西省高校重點實驗室,南昌 330013

    ZHONG Minjuan,WAN Changxuan,LIU Dexi,et al.Effective XML query expansion based on pseudo relevance feedback.Journal of Frontiers of Computer Science and Technology,2016,10(12):1673-1682.

    偽反饋(pseudo relevance feedback,PRF)一直以來都被認為是一種有效的查詢擴展技術。然而傳統(tǒng)的偽反饋容易帶來主題漂移,從而影響檢索性能。如何確定高質量的相關文檔集,以及如何從相關文檔集中挑選有用的擴展詞項,是解決偽反饋中查詢主題漂移的兩個重要方面。對此,針對XML(extensible markup language)文檔,提出了一個解決框架:一方面,研究了XML偽反饋文檔查找方法,在充分考慮XML內容和結構特征的前提下,提出了基于檢索結果聚類和兩階段排序模型相結合的高質量XML偽相關文檔查找技術;另一方面,針對CO(content only)查詢,對詞項擴展進行了研究,提出了帶結構語義的詞項權值計算方法。一系列的相關實驗數據表明,所提的XML偽反饋查詢擴展方法能有效地減少查詢主題漂移現象,獲得更好的檢索質量。

    XML偽反饋;檢索結果聚類;排序;查詢擴展

    1 引言

    XML(extensible markup language)文檔的大量涌現,產生了對XML數據管理的需求,基于XML的信息查詢和檢索成為研究重點[1-2]。其中,如何有效獲取高質量的檢索結果,提高最終檢索性能一直是學術界和工業(yè)界致力解決的熱點問題。然而,搜索引擎中用戶提交的短小查詢往往不能準確地描述自己的查詢意圖,使得返回結果里包含了大量無關的文檔。偽反饋是提高信息檢索性能的有效查詢擴展技術,其不需用戶參與的特性在眾多查詢擴展方法中備受關注。查閱XML偽反饋的相關文獻資料,大部分的研究成果都是針對傳統(tǒng)文本的偽反饋。

    傳統(tǒng)偽反饋以初始檢索結果的前N篇文檔作為查詢詞的擴展源,其隱含前提假設該N篇文檔與查詢是相關的。多方的實驗數據也證實了該方法的有效性。但是近年來的研究表明,基于傳統(tǒng)偽反饋的查詢擴展方法容易產生“查詢主題漂移(query drift)”現象。究其原因,偽反饋的隱含假設并不總是成立的,檢索結果的前N篇文檔有可能與查詢主題并不相關,從不相關的文檔中提取擴展信息顯然會引入更多的噪音。因此,如何有效避免“查詢主題漂移”現象需要從以下兩方面著手:

    (1)去除反饋源的噪音,獲取高質量的相關文檔集。傳統(tǒng)偽反饋以初始檢索結果的前N篇文檔作為偽相關文檔集。而實際情況是,該N篇文檔與查詢的相關性并不純凈,有時包含著大量的噪音。比如,有些查詢本身比較歧義或者模糊,造成初始結果的前N篇里存在大量無關文檔的現象,而后續(xù)的查詢擴展基于此不相關的文檔集顯然會產生主題漂移,反而性能下降。因此,如何在初始檢索結果里有針對性地挑選出相關文檔,并基于此形成較高質量的偽相關文檔集是避免“查詢漂移”的首要關鍵問題。

    (2)在獲取較高質量反饋源的基礎上,從中挑選擴展信息。對XML文檔而言,擴展信息的特征選擇不僅要考慮傳統(tǒng)的內容特征,還要專門針對XML的結構特性。

    對于如何確定相關文檔,現有工作主要存在兩種解決思路:一種是提出相應特征來衡量反饋文檔的質量[2-4],或是借助機器學習方法[5-6]來保證反饋文檔的質量;另一種解決思路是通過初始檢索結果聚類進行取樣與重取樣,從而提高偽相關文檔質量[7-10]。比如,Sakai等人[7]提出了基于取樣的偽相關文檔選擇標準,對前N個返回文檔進行篩選。Lee等人[8-9]提出了基于聚類分析的重新取樣方法來更好地選擇偽相關文檔。Bashir[10]針對專利文檔,提出了一種改進的聚類方法用于確認好的偽相關文檔,提高了文檔的檢索率。

    對于擴展詞項的挑選,查詢擴展往往基于各種不同的檢索模型。經典概率模型里,擴展詞項主要依據Roberton/Sparck-Jones權重[11]挑選。近年來,語言模型也應用到查詢擴展技術中,比如基于混合模型的反饋方法[12]、基于相關模型的反饋方法[13]等。Cao等人[14]在混合模型的基礎上提出了選擇好詞項的特征,比如詞項之間的共現率、詞項的距離信息等。文獻[15]對相關模型進行了擴展,提出利用詞項的位置信息作為線索來推斷詞項是否與查詢主題相關。在國內,許多研究學者在Rocchio框架下也提出了偽反饋的查詢擴展方法。丁國棟等人[16]基于詞項與所有查詢詞在局部文檔集合中的共現程度來挑選較高質量的擴展詞。黃名選等人[17]提出基于矩陣加權關聯(lián)規(guī)則挖掘的查詢擴展方法。

    上述工作中偽反饋所處理的數據對象都是普通文本,并沒有專門針對XML格式的文檔??v觀目前的研究成果,基于XML文檔的偽反饋研究成果極少,現存的少數幾篇論文都是相關反饋模型。為此,本文基于XML文檔,針對偽反饋中存在的“查詢主題漂移”問題展開研究,力圖通過有效的查詢擴展來避免或減少“查詢主題漂移”的次數,從而最終實現提高XML檢索整體性能的目的。

    本文的主要貢獻如下:

    (1)提出了基于檢索結果聚類和相關排序機制相結合的高質量XML偽相關文檔查找策略。該策略與現有方法不同,不僅通過聚類將主題相似的文檔聚簇在一起,而且能在此基礎上充分利用聚類結果的相應特征,融入到所提排序模型中,從而獲得更高質量的偽相關文檔集。

    (2)有效地減少了XML偽反饋中存在的“查詢主題漂移”現象。一方面,通過檢索結果聚類和有效的排序機制,獲得了較高質量的擴展源;另一方面,結合XML文檔的結構特性,基于所獲取的XML偽相關文檔擴展源,提出了帶結構語義的查詢詞擴展方案,從中挑選出與初始查詢語義相關的擴展詞項,最終有效地提高了檢索系統(tǒng)的檢索質量。

    (3)大量的實驗驗證了所提方法的有效性。一方面,實驗數據表明基于檢索結果聚類和相關排序機制相結合的XML偽反饋文檔查找方法是行之有效的,相比傳統(tǒng)的偽反饋方法,初始檢索結果聚類有益于獲取更高質量的XML偽相關文檔集,有效地確保了擴展源的質量;另一方面,所提的查詢詞擴展方案能有效提高XML文檔信息檢索的質量,減少“查詢主題漂移”現象,并最終獲得較高的平均準確率和MAP(mean average precision)。

    2 基于檢索結果聚類的高質量XML反饋文檔查找

    有效避免“查詢主題漂移”的首要關鍵問題是挑選與查詢需求相關的文檔,并匯聚在一起形成高質量的偽相關反饋文檔集。

    本文提出了高質量XML偽相關文檔查找策略。其核心思想是借助聚類和相關排序機制共同對初始檢索結果集進行取樣與重取樣,從而將與查詢需求相關的文檔查找出來,作為查詢詞的擴展源。聚類采用k-mediod方法實施,具體思路可參考文獻[18],在此不再重述。相關排序機制主要基于文獻[19]中提出的策略,包含候選簇的排序和候選簇中文檔的排序兩個階段。通過兩階段的排序,挑選出N個相關文檔組成偽相關文檔集合,并以此作為后續(xù)查詢詞的擴展源。

    2.1 候選相關簇的排序模型

    初始檢索結果聚類實現了文檔的主題聚簇劃分,也就是說,各個文檔按照主題內容劃分到了不同的簇中。本文的目的是要形成高質量的偽相關文檔反饋源,因此任務并未結束,還需要對聚類結果進行后續(xù)的分析處理。其中第一個任務就是從眾多的簇中挑選出候選的相關簇??紤]到相關文檔可能分布在多個不同的簇中,相關簇的個數應該設置為多個,而不僅僅是單個。

    最佳狀態(tài)下,如果某個簇中包含的文檔都是相關文檔,則該簇應該是相似程度最高的簇,也理應被選為候選的相關簇。在前述的檢索結果聚類中,k-mediod聚類算法會產生k個中心點,為此,利用這k個中心點與查詢的相似性對簇進行選擇。因為簇的中心點在一定程度上能夠表征整個簇。通過相似性的計算,對各個簇進行排序,排在前N位的簇即為候選的相關簇。相似性計算基于文獻[20],公式如下:

    其中,tf(tk,Q)表示詞項tk在查詢Q中的出現頻率;s是一個實驗參數(通常取0.2);dl是簇中心文檔di的長度;avdl是數據集中文檔的平均長度;tfw(tk,di)表示詞項tk在簇中心文檔di中的權重頻率,如下所示:

    2.2 基于候選簇的文檔排序模型

    候選的相關簇敲定之后,接下來第二個任務就是從候選簇中確定與查詢需求相關的文檔。此過程實質就是對相關簇中的所有文檔進行相似性計算,根據相似程度來排序。排序越靠前,說明與用戶的查詢意圖越相關,越是反饋源中需要獲取到的文檔。因此,需要利用一些特征來表征查詢需求的相關性,從而幫助相關文檔的挑選。本文提出了以下幾個特征:

    (1)相關度值(R_Score)。在傳統(tǒng)信息檢索領域,相關度值表示與查詢主題的相關程度,值越大,說明與用戶的查詢越相關,從而越應該被挑選為反饋源中的文檔。

    (2)與簇的相似性(Cluster_Sim)。挑選出的候選相關簇并不是一個純相關簇,也就是說,該相關簇中既包含有高質量的相關文檔,同時也存在不相關的噪音文檔。因此,要盡可能地過濾掉這些噪音文檔。根據前面基于簇中心的候選簇挑選方法,相關簇的簇中心應該與查詢主題相關。為此,在挑選相關文檔時,不僅要考慮該文檔本身與查詢主題的相關程度,還要考慮該文檔與整個簇的相關性,即與簇中心的相關性。對于簇中心的衡量,可以借助簇標簽來表征。文獻[19]提出了均衡化權值的簇標簽獲取方法。簇標簽和文檔均可看成由中心詞項所構成的向量。對于有n個不同中心詞項的系統(tǒng),簇標簽ci可以表示為ci=(ti1,ti2,…,tin),文檔dj也可以表示為dj= (tj1,tj2,…,tjn),利用兩者之間的距離可以衡量文檔與簇的相似性。

    (3)所在簇的相對排名(Cluster_RValue)。在前述的候選相關簇排序模型中,多個候選相關簇按照相關程度依次排序,因此其排名也體現了該簇整體與查詢意圖的相關程度。候選文檔隸屬于候選簇中,假如該候選文檔所在的候選簇排名越靠前,說明該簇所包含的文檔在一定程度上與查詢相關的概率越大。因此,利用其所在的候選簇的相對排名能間接地反映與查詢的相似程度。

    綜合以上分析,定義偽相關反饋文檔的評價公式為如下形式:

    其中,R_Score(di,Q)代表文檔di與用戶查詢Q的相似度,采用式(1)中基于PNW模型的計算方法。Cluster_RValuei表示文檔di所在簇的相對排名,公式定義如下:

    ClusterNum表示聚類結果中簇數;Ri表示文檔di所在簇在所有簇中的排名位序。

    3 XML查詢詞擴展

    查詢擴展中,研究者往往利用詞項的權值來挑選擴展詞項。區(qū)別于傳統(tǒng)文檔,XML文檔具有內容和結構的雙重特性,特別是結構特性會對擴展詞的挑選產生影響。因此,需要將XML文檔表征出的結構特點反映到詞項的權重計算中。分析XML文檔的表示模型,需要考慮以下幾個方面因素:

    (1)詞項的元素頻率。類似于傳統(tǒng)信息檢索中的詞項頻率,詞項在某標簽元素下出現的頻率次數越多,說明該詞項越重要,是該標簽片段的中心詞項。

    (2)詞項的反比元素頻率。與經典信息檢索中的反比文獻頻率相類似,反比元素頻率反映了詞項的通用性和普遍性特點。如果很多標簽片段下面都涵蓋有某詞項,說明該詞項很一般,不能用來區(qū)分各個標簽片段。

    (3)詞項隸屬元素的標簽節(jié)點語義權重。在經典信息檢索中,詞項出現在文檔的不同位置,其對文檔的貢獻程度是不同的。在XML文檔里,不同的位置信息表現為不同的標簽節(jié)點。比如,同一個詞項既出現在標簽節(jié)點“abs”(摘要)里,也出現在標簽節(jié)點“title”(標題)中,顯然出現在“title”標簽下面的詞項比出現在“abs”標簽下的詞項更為重要,因為title標簽節(jié)點的語義權重高于“abs”標簽節(jié)點的語義權重。

    (4)詞項隸屬元素節(jié)點的路徑距離。直觀上認為,在XML文檔的表示模型中,元素節(jié)點到根節(jié)點的距離越遠,包含在此元素節(jié)點下面的詞項對整篇文檔內容的貢獻程度越小,反之越大。因此,對同一標簽而言,路徑距離小的元素中詞項的權重要大于路徑距離大的元素中詞項的權重。

    綜合上述分析,詞項權值計算采用如下公式:

    其中,σij表示文檔di中第 j個標簽節(jié)點;w(σij)是標簽σij的節(jié)點語義權重;tf(tk,σij)表示詞項tk在標簽σij下出現的頻率;tags(σij)表示標簽節(jié)點σij與根節(jié)點的路徑距離;m表示文檔di中詞項tk出現的葉子節(jié)點數目。IEF(tk)表示詞項tk的反比元素頻率;N為整個數據集中元素節(jié)點的個數;Nk是包含詞項tk的元素節(jié)點個數。從中選擇權重最大的幾個詞項作為候選查詢擴展詞。

    4 實驗與分析

    本文實驗是通過偽反饋對用戶的初始查詢進行擴展,并力圖減少或者避免偽反饋中存在的“查詢主題漂移”現象,從而提高檢索質量。實驗數據采用INEX 2005提供的IEEE CS數據集,該數據集體現了以文檔為中心的特點,并針對不同的主題(topic)給出了官方的評價標準,對數據集中的相關文檔進行了標記。本實驗根據每個主題的描述,對29個官方主題全部進行了查詢構造,在文獻[18]檢索結果聚類的基礎上從兩大方面展開實驗:一是檢驗本文所提方法是否獲得了較高質量的XML偽相關反饋文檔集;二是評價本文所提的偽反饋查詢擴展方法是否能提高XML檢索的性能,獲得更高質量的檢索結果,并能有效避免或解決傳統(tǒng)偽反饋中存在的“查詢主題漂移”現象。

    4.1 XML反饋源的質量檢測

    本文首先對XML偽相關反饋文檔集的質量進行了驗證,分別比較了傳統(tǒng)偽反饋的擴展源(traditional pseudo relevance feedback,TPRF)和本文提出的基于檢索結果聚類和相關排序機制相結合的擴展源(clustering with structure and two ranking,CSTR_Method)的相關性質量。

    4.1.1 排序模型中的參數優(yōu)化

    本文所提擴展源方法中利用了候選相關簇的排序及候選簇中文檔排序兩個階段。在文檔的排序過程中,從式(3)可以看出,文檔與查詢條件的相關度值和文檔與所屬簇的相似度兩個因素對文檔的最終排序起著不同程度的作用,因此首先對模型中不同的參數取值進行了優(yōu)化測試。實驗中采用逐步添加法,即以文檔與查詢條件的相似度因素為基準,每次變化0.1,多次的實驗結果如表1和表2所示。

    Table 1 Coefficient value and their performance results表1 系數取值及其性能結果(Prec@5、Prec@10)

    Table 2 Coefficient value and their performance results表2 系數取值及其性能結果(Prec@15、Prec@20)

    從表中可以得出以下結論:

    (1)文檔與查詢條件的相似性和文檔與簇的相似性共同對文檔的最終評價值起作用。數據顯示隨著文檔與簇的查詢條件因素參與到評價值里,查準率逐漸增大,說明相關文檔越來越多地排列在前。

    (2)隨著文檔與簇的相似度因素權重值的增大,查準率逐漸提高,一直到兩者因素平衡(α=0.5, β=0.5)時達到峰值,隨后,隨著此因素權重值的進一步加大,性能反而呈下降趨勢。

    (3)為了挑選出更多高質量的反饋文檔,依據表中的數據,選擇α=0.5,β=0.5而不是α=0.6,β=0.4作為最優(yōu)解。后續(xù)的查詢擴展也是在α=0.5,β=0.5所獲得的文檔里進行。

    4.1.2 擴展源的相關性質量檢測

    對比傳統(tǒng)偽反饋的擴展源和本文方法的擴展源,表1和表2的數據表明,在參數最優(yōu)解的情況下(α=0.5,β=0.5),本文提出的檢索結果聚類和相關排序相結合的擴展源具有更高的質量。一方面檢索結果聚類可以首先將文檔中大部分的相關文檔在一定程度上聚簇在一起;另一方面,兩階段的排序機制在前述聚類基礎上相繼進行相關簇的選取和簇中相關文檔的挑選,兩方面的有效實施共同保證了反饋源的質量。而比較傳統(tǒng)偽反饋,僅僅簡單地認為前N篇文檔是相關的,并作為擴展源。顯然,前者更能保證選取文檔的相關性質量。相關的數據表明,在Top@15以及Top@20的條件下,Prec@15和Prec@20性能分別提高了7%。與此同時,Top@5的條件下,Prec@5的平均精度不如傳統(tǒng)偽反饋結果,說明有些相關文檔盡管被挑選出來,但是并沒有排序在前。分析原因,排序機制起著至關重要的因素。

    (1)候選簇的選擇問題。排序機制的第一階段是選擇相關簇,在此采用了簇中心文檔與用戶查詢的相似度值來確定。簇中心文檔是k-mediod聚類算法的結果,與聚類質量息息相關。假如聚類效果并不理想,則簇中心文檔可能會偏離查詢主題,這樣會把帶有噪音的候選簇給挑選出來,從而嚴重影響后續(xù)的相關文檔排序,使得很多相關文檔無法查找出來。

    (2)相關文檔排序模型中特征的選擇問題。排序模型中,文檔相關度評價值僅僅建立在查詢詞的頻率基礎上,并沒有過多地考慮詞項上下文等其他因素,因此挑選出的文檔有可能與用戶的查詢意圖并不相關,盡管該文檔中某些查詢詞項出現次數較多。比如查詢主題202(hidden Markov model),查找結果并不令人滿意。深入分析原因,發(fā)現排序在前的文檔大部分都包含了多次model詞項,而考察這些文檔內容,發(fā)現它們并不是關于hidden Markov方面的model,從而與用戶的查詢需求不相符合,造成查準率降低。

    4.1.3 聚類對反饋文檔查找的影響

    擴展源的相關性質量檢測實驗中,可以清晰地看出本文方法獲取的擴展源具有更高的質量,能夠查找出更多的相關文檔。究其原因,此性能的獲取是檢索結果聚類和排序這兩方面因素造成的。在此,本文對聚類在反饋文檔查找中的影響進行了實驗分析,驗證了聚類對高質量相關文檔查找的影響。實驗的目的不在于衡量聚類算法本身的性能,而主要驗證通過聚類這種手段是否能夠幫助查找到高質量的反饋文檔以及更多數量的高質量反饋文檔。

    因此,本文對初始檢索結果的前100篇文檔重新進行了相似度計算,并對此進行排序,在相同文檔數目的前提下,比較聚類前后相關文檔的準確率。從表3的數據可以看出,聚類后排在前N的文檔里相關文檔數目要比聚類前的相關文檔數目多,在Prec@10以及Prec@20指標上,平均查準率分別提高了11.1%和15.8%,因此獲得了較好的性能。事實上,在相似度計算中,聚類利用了文檔與簇的相似度以及文檔所在簇的排名等聚類才能擁有的特征,這些特征能有效地幫助查找到更多相關文檔,并且使得它們能夠盡可能地排序在前。這充分說明了聚類能夠有效地幫助查找到更多的高質量反饋文檔,對有效避免偽相關反饋中的查詢主題漂移奠定了前提基礎。

    Table 3 Average precision comparison between before and after clustering表3 聚類前后反饋文檔平均查準率性能比較

    4.2 查詢關鍵詞的擴展

    實驗主要考察在前述較高質量反饋源的前提下,本文基于XML文檔結構特性的查詢詞擴展方案能否提高XML文檔檢索的質量。實驗分3組進行。

    第一組實驗是將本文方法得到的擴展詞項的檢索結果與未進行擴展的用戶初始查詢(orginal query method,OQ_Method)的檢索結果進行比較,得到性能比較圖,如圖1和圖2所示。

    Fig.1 Performance comparison on Prec@X圖1 Prec@X性能比較圖

    Fig.2 Performance comparison on MAP@X圖2 MAP@X性能比較圖

    從圖1和圖2的數據可以明顯看出,相比初始的查詢結果,本文方法在性能指標Prec@X和MAP上具有更好的性能。說明此查詢擴展是有效的,獲取的擴展詞與用戶的查詢意圖較為吻合。擴展詞與用戶查詢詞之間具有較為接近的語義。

    第二組實驗是驗證本文方法是否有效解決了傳統(tǒng)偽反饋中“查詢漂移現象”,比如查詢漂移次數是否減少了。對此,將傳統(tǒng)偽反饋的查詢擴展方法(TranditionNoStructure method,TNS_Method)與本文方法進行了對比。同時,為了保證實驗的一致性和公平性,設定擴展源文檔數目均取值為20,查詢詞擴展都基于TFIDF方案進行,將所得的擴展詞項和初始查詢一同提交給同一搜索引擎,比較返回結果中前10和前20位文檔的準確率,實驗性能比較結果如圖3和圖4所示。

    Fig.3 Performance comparison on Prec@10圖3 性能比較圖(Prec@10)

    Fig.4 Performance comparison on Prec@20圖4 性能比較圖(Prec@20)

    從圖3和圖4中數據可以看出,傳統(tǒng)偽反饋的查詢擴展方法顯然產生了主題漂移,29個官方查詢主題中17個查詢主題的準確率相比擴展前的初始查詢反而降低。而觀察本文的擴展方法,在返回結果的前10篇和前20篇文檔里,分別只有11和6個查詢主題的準確率低于擴展前,這充分說明了本文的擴展方案減少了查詢漂移現象,在Prec@10和Prec@20上性能分別提高了4%和15%,整體的檢索質量得到了提高。

    分析原因,擴展源的質量至關重要。傳統(tǒng)偽反饋是選擇初始檢索結果的前N篇文檔作為擴展源,此擴展源并非每次都包含有較多的相關文檔,當用戶查詢需求比較模糊的時候,得到的檢索結果可能會包含有較多的噪音,顯然在此環(huán)境下進行查詢詞擴展必然會導致性能下降。對比本文提出的CSTR_ Method方法,該方法通過檢索結果聚類和兩階段的相關排序機制在一定程度上比傳統(tǒng)偽反饋更能保證擴展源的質量,使得挑選出的文檔與查詢需求更為接近,且數量也較多,為進一步查詢擴展保證了源頭質量。查詢擴展在這種相對比較好的環(huán)境下進行,必然比傳統(tǒng)偽反饋獲得更好的檢索性能。

    擴展源的質量得到保證之后,要獲得好的檢索質量,接下來還需要挑選好的擴展詞項。在充分考慮XML文檔結構特性的基礎上本文提出了帶結構語義的詞項權值擴展方法。

    第三組實驗主要檢驗結構在查詢擴展方案中的影響和作用。為了更加公平地測試,擴展源必須保證相同。為此,實驗分兩批進行:第一批實驗在本文所獲得的擴展源里進行,即經過檢索結果聚類和兩階段的排序后選擇前20篇文檔組成偽相關文檔集合,擴展詞項的權重分別采取帶結構的計算策略(CSTR_Method)與不帶結構的計算方法(CNSTR_ Method)。第二批實驗的擴展源基于傳統(tǒng)偽反饋,即初始檢索結果的前20篇文檔,擴展詞項的權重依然分別采取帶結構的計算策略(TS_Method)與不帶結構的計算方法(TNS_Method),實驗性能比較結果如表4所示。

    Table 4 Performance comparison表4 性能比較

    表4中數據顯示,相同擴展源的前提下,考慮XML文檔結構因素的擴展策略比不考慮結構的方法所獲得的性能普遍要好,體現在Prec@10和Prec@20性能指標上,CSTR_Method方法比CNSTR_Method方法平均查準率分別提高了9.6%和17%,帶結構的傳統(tǒng)偽反饋(TS_Method)方法比不帶結構的偽反饋(TNS_Method)方法平均查準率分別提高了16%和20%。這說明結構特性能幫助挑選到更好的擴展查詢詞,從而帶來更好的檢索質量。

    綜合上述3組實驗,匯總如下性能比較結果。本文所提方法(CSTR_Method)總的性能高于其他方法。通過前面一系列的實驗與分析,把原因歸結為以下兩大方面:

    (1)高質量的擴展源。這是查詢擴展的首要因素。假如擴展源的質量不高,在此集合里挑選出的擴展詞項就會和用戶的真實查詢意圖相差較遠。比如傳統(tǒng)偽反饋,因為擴展源噪音太大,所以最終產生主題漂移。為此,在本文的擴展方案里,首先對檢索結果聚類,并對聚類結果進一步分析,通過兩階段排序機制把與用戶查詢相關的文檔聚簇在一起,從而在一定程度上先保證了擴展源的相關性。

    (2)擴展詞項的選擇。好的擴展詞項能帶來最終檢索性能的提高。為此,需要合理制定相應的挑選準則。在上述的實驗中,綜合考慮了XML文檔的多個結構因素,提出了帶結構語義的查詢詞擴展方案,相比不考慮結構特性的擴展詞項挑選準則而言,能更好地挑選出相關擴展詞,表5中Prec@10、Prec@ 20以及MAP指標上的數據充分說明了這一點。

    Table 5 Overall performance comparison表5 總的性能比較

    5 結論

    針對傳統(tǒng)偽反饋中存在的查詢主題漂移現象進行了研究,對如何有效避免“主題漂移”提出了系統(tǒng)的解決框架。一方面,提出了檢索結果聚類和排序機制相結合的高質量擴展源獲取方法;另一方面,在高質量的擴展源里,融合XML文檔內容和結構的雙重特性,提出了帶結構語義的查詢詞擴展方法。一系列的實驗數據表明,整個系統(tǒng)框架的實施能有效提高檢索性能,在擴展源的質量檢測中,本文方法獲得的擴展源具有較高的用戶查詢相關性,相比傳統(tǒng)的偽反饋擴展源,具有更高的質量;與此同時,結合了XML結構特點的查詢擴展方案能獲得與用戶查詢意圖更為相關的擴展信息。高質量的擴展源和有效擴展信息的獲取使得查詢主題漂移現象得到了控制和減少,更有效地提高了搜索引擎的檢索性能。

    [1]Huang Qiang,Song Dawei,Rüger S.Robust query-specific pseudo feedback document selection for query expansion [C]//LNCS 4956:Proceedings of the 30th European Conference on Information Retrieval,Glasgow,UK,Mar 30-Apr 3, 2008.Berlin,Heidelberg:Springer,2008:547-554.

    [2]He Ben,Ounis I.Finding good feedback documents[C]// Proceedings of the 18th ACM Conference on Information and Knowledge Management,Hong Kong,China,Nov 2-6, 2009.New York:ACM,2009:2011-2014.

    [3]Ye Zheng.The research of machine learning techniques and external Web resources for relevance feedback[D].Dalian: Dalian University of Technology,2011.

    [4]Raman K,Udupa R,Bhattacharya P,et al.On Improving pseudo-relevance feedback using pseudo-irrelevant documents [C]//LNCS 5993:Proceedings of the 32nd European Conference on Information Retrieval,Milton Keynes,UK,Mar 28-31,2010.Berlin,Heidelberg:Springer,2010:573-576.

    [5]Lv Yuanhua,Zhai Chengxiang,Chen Wan.A boosting approach to improving pseudo-relevance feedback[C]//Proceedings of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval,Beijing,Jul 25-29,2011.New York:ACM,2011:165-174.

    [6]Zhou Dong,Truran M,Liu Jianxu,et al.Collaborative pseudorelevance feedback[J].Expert system with Application,2013, 40(17):6805-6812.

    [7]Sakai T,Manabe T,Koyama M.Flexible pseudo-relevance feedback via selective sampling[J].ACM Transactions on Asian Language Information Processing,2005,4(2):111-135.

    [8]Lee K S,Croft W B,Allan J.A cluster-based resampling method for pseudo-relevance feedback[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval,Singapore,Jul 20-24,2008.New York:ACM,2008:235-242.

    [9]Lee K S,Croft W B.A deterministic resampling method using overlapping document clusters for pseudo-relevant feedback [J].Information Processing&Management,2013,49(4): 792-806.

    [10]Bashir S.Improving retrievablity with improved clusterbased pseudo-relevance feedback selection[J].Expert System withApplication,2012,39(8):7495-7502.

    [11]Robertson S E,Jones K S.Relevance weighting of search terms[J].Journal of the American Society of Information Science,1976,27(3):129-146.

    [12]Zhai Chengxiang,Lafferty J D.Model-based feedback in the language modeling approach to information retrieval [C]//Proceedings of the 13th ACM International Conference on Information and Knowledge Management,Atlanta, USA,Nov 5-10,2001.New York:ACM,2001:403-410.

    [13]Lavrenko V,Croft W B.Relevance-based language models [C]//Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval,New Orleans,USA,Sep 9-13,2001.New York:ACM, 2001:120-127.

    [14]Cao Guihong,Nie Jianyun,Gao Jianfeng,et al.Selecting good expansion terms for pseudo-relevance-feedback[C]// Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval,Singapore,Jul 20-24,2008.New York:ACM, 2008:243-250.

    [15]Lv Yuanhua,Zhai Chengxiang.Positional relevance model for pseudo-relevance feedback[C]//Proceedings of the 33rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval,Geneva,Swizerland,Jul 19-23,2010.New York:ACM,2010:579-586.

    [16]Ding Guodong,Bai Shuo,Wang Bin.Local co-occurrence based query expansion for information retrieval[J].Journal of Chinese Information Processing,2006,20(3):84-91.

    [17]Huang Mingxuan,Yan Xiaowei,Zhang Shichao.Query expansion of pseudo-relevance feedback based on matrixweighted association rules mining[J].Journal of Software, 2009,20(7):1854-1865.

    [18]Zhong Minjuan.Clustering XML search results based on content and structure of semantic integration[J].Journal of China Society for Scientific and Technical Information,2012, 31(5):515-525.

    [19]Zhong Minjuan,Wan Changxuan,Liu Dexi,et al.FindingXML pseudo-relevance document based on search results clustering[J].Journal of Computer Science,2013,40(10): 172-177.

    [20]Singhal A,Choi J,Hindle D,et al.AT&T at TREC-7[C]// Proceedings of the 7th Text Retrieval Conference,Maryland,Gaithersburg,Nov 9-11,1998:239-252.

    附中文參考文獻:

    [3]葉正.基于網絡挖掘與機器學習技術的相關反饋研究[D].大連:大連理工大學,2011.

    [16]丁國棟,白碩,王斌.一種基于局部共現的查詢擴展方法[J].中文信息學報,2006,20(3):84-91.

    [17]黃名選,嚴小衛(wèi),張師超.基于矩陣加權關聯(lián)規(guī)則挖掘的偽相關反饋查詢擴展[J].軟件學報,2009,20(7):1854-1865.

    [18]鐘敏娟.基于內容與結構語義相融合的XML檢索結果聚類[J].情報學報,2012,31(5):515-525.

    [19]鐘敏娟,萬常選,劉德喜,等.基于檢索結果聚類的XML偽相關文檔查找[J].計算機科學,2013,40(10):172-177.

    ZHONG Minjuan was born in 1976.She is an associate professor at Jiangxi University of Finance and Economics, and the member of CCF.Her research interest is information retrieval.

    鐘敏娟(1976—),女,湖南臨湘人,博士,江西財經大學信息管理學院副教授,CCF會員,主要研究領域為信息檢索。

    WAN Changxuan was born in 1962.He is a professor and Ph.D.supervisor at Jiangxi University of Finance and Economics,and the senior member of CCF.His research interests include data management and data mining,etc.

    萬常選(1962—),男,江西南昌人,博士,江西財經大學信息管理學院教授、博士生導師,CCF高級會員,主要研究領域為數據管理,數據挖掘等。

    LIU Dexi was born in 1975.He is a professor at Jiangxi University of Finance and Economics,and the member of CCF.His research interest is text automatic summarization.

    劉德喜(1975—),男,博士,湖南襄樊人,江西財經大學信息管理學院教授,CCF會員,主要研究領域為文本自動文摘。

    JIANG Tengjiao was born in 1976.She is a Ph.D.candidate and lecturer at Jiangxi University of Finance and Economics.Her research interests include sentiment analysis and Web data management,etc.

    江騰蛟(1976—),女,安徽懷寧人,江西財經大學信息管理學院講師,博士研究生,主要研究領域為情感分析與Web數據管理等。

    LIU Aihong was born in 1971.She is an associate professor at Jiangxi University of Finance and Economics.Her research interest is database technology.

    劉愛紅(1971—),女,江西南昌人,碩士,江西財經大學信息管理學院副教授,主要研究領域為數據庫技術。.

    Effective XMLQuery Expansion Based on Pseudo Relevance Feedback*

    ZHONG Minjuan1,2+,WAN Changxuan1,2,LIU Dexi1,2,JIANG Tengjiao1,2,LIUAihong1,2
    1.School of Information Technology,Jiangxi University of Finance and Economics,Nanchang 330013,China
    2.Jiangxi Key Laboratory of Data and Knowledge Engineering,Jiangxi University of Finance and Economics,Nanchang 330013,China
    +Corresponding author:E-mail:lucyzmj@sina.com

    Pseudo relevance feedback(PRF)has been perceived as an effective solution for automatic query expansion.However,traditional pseudo relevance feedback can result in the query representation“drifting”away from the original query and a decreased retrieval performance.Therefore,the key issues in applying PRF are to identify the real relevant documents in the top retrieved results without any other assistant information,and expend the query based on the these relevant documents.This paper presents a solution framework from extensible markup language (XML)data.Firstly,this paper considers the XML content and structure features,and proposes a good XML query scheme based on pseudo relevance feedback documents by combining search results clustering with a two-stage ranking model.Furthermore,this paper explores the XML query expansion of CO(content only)query,and givesthe term weight computation with structure.The experimental results show that the proposed scheme can reduce the topic drift effectively and obtain the better retrieval quality.

    XML pseudo relevance feedback;search results clustering;ranking;query expansion

    10.3778/j.issn.1673-9418.1509082

    A

    TP391

    *The National Natural Science Foundation of China under Grant Nos.61363039,61363010,71361012,61562032(國家自然科學基金);the National Social Science Foundation of China under Grant No.12CTQ042(國家社會科學基金);the Natural Science Foundation of Jiangxi Province under Grant Nos.20142BAB217014,20142BAB207010(江西省自然科學基金);the Humanities and Social Science Research Project in Colleges and Universities of Jiangxi Province under Grant No.TQ1504(江西省高校人文社會科學研究規(guī)劃基金項目).

    Received 2015-09,Accepted 2015-11.

    CNKI網絡優(yōu)先出版:2015-11-24,http://www.cnki.net/kcms/detail/11.5602.TP.20151124.1430.008.html

    猜你喜歡
    詞項文檔排序
    排序不等式
    有人一聲不吭向你扔了個文檔
    恐怖排序
    節(jié)日排序
    自然種類詞項二難、卡茨解決與二維框架
    哲學評論(2018年1期)2018-09-14 02:34:18
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    基于RI碼計算的Word復制文檔鑒別
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    不讓他人隨意下載Google文檔
    電腦迷(2012年4期)2012-04-29 06:12:13
    英語詞項搭配范圍及可預見度
    免费观看av网站的网址| 色吧在线观看| 亚洲欧美日韩卡通动漫| 91精品国产九色| kizo精华| 寂寞人妻少妇视频99o| 26uuu在线亚洲综合色| 偷拍熟女少妇极品色| 男人爽女人下面视频在线观看| 高清在线视频一区二区三区| 免费大片黄手机在线观看| 欧美精品人与动牲交sv欧美| 亚洲伊人久久精品综合| 一区二区三区免费毛片| 日本三级黄在线观看| 久久精品国产亚洲av涩爱| 男女啪啪激烈高潮av片| 国国产精品蜜臀av免费| 51国产日韩欧美| 久久久a久久爽久久v久久| h日本视频在线播放| 精品人妻视频免费看| 在线观看国产h片| 欧美xxxx性猛交bbbb| 男人添女人高潮全过程视频| 国产女主播在线喷水免费视频网站| 日韩大片免费观看网站| 卡戴珊不雅视频在线播放| 久热久热在线精品观看| 色综合色国产| 精品一区二区免费观看| 免费观看的影片在线观看| 日日啪夜夜爽| 国产有黄有色有爽视频| 色吧在线观看| 中文天堂在线官网| 国产男女内射视频| 亚洲欧美日韩另类电影网站 | 亚洲精品456在线播放app| 国产欧美日韩精品一区二区| 精品国产露脸久久av麻豆| 国产伦精品一区二区三区视频9| 欧美激情在线99| 国产亚洲一区二区精品| 在线精品无人区一区二区三 | 超碰av人人做人人爽久久| 秋霞在线观看毛片| 人妻一区二区av| 国产精品国产三级专区第一集| 欧美国产精品一级二级三级 | 免费观看的影片在线观看| 国产 一区 欧美 日韩| 成人亚洲欧美一区二区av| 国产精品秋霞免费鲁丝片| 少妇猛男粗大的猛烈进出视频 | xxx大片免费视频| 午夜福利视频1000在线观看| 久久久久久久亚洲中文字幕| 精品人妻偷拍中文字幕| 深爱激情五月婷婷| 国产精品一二三区在线看| 亚洲精品一二三| 亚洲av国产av综合av卡| 啦啦啦中文免费视频观看日本| 性色av一级| 久久亚洲国产成人精品v| 国产精品成人在线| 丝袜美腿在线中文| 国产日韩欧美亚洲二区| av在线蜜桃| 日日撸夜夜添| 欧美一区二区亚洲| 一级毛片我不卡| 国产亚洲av嫩草精品影院| 亚洲国产色片| 美女视频免费永久观看网站| 中文在线观看免费www的网站| 免费av观看视频| 十八禁网站网址无遮挡 | 亚洲欧美日韩另类电影网站 | 亚洲国产色片| 国产亚洲一区二区精品| 午夜精品国产一区二区电影 | 边亲边吃奶的免费视频| 最新中文字幕久久久久| 我要看日韩黄色一级片| 亚洲精品456在线播放app| 免费大片黄手机在线观看| 免费播放大片免费观看视频在线观看| 亚洲综合精品二区| 黄色欧美视频在线观看| 日日啪夜夜撸| 搡老乐熟女国产| 日本黄色片子视频| 少妇高潮的动态图| 各种免费的搞黄视频| 国内精品宾馆在线| 赤兔流量卡办理| freevideosex欧美| 男男h啪啪无遮挡| av黄色大香蕉| 三级国产精品欧美在线观看| a级毛片免费高清观看在线播放| 少妇 在线观看| 尾随美女入室| 亚洲国产av新网站| 一本一本综合久久| 欧美+日韩+精品| 精品久久久久久久久亚洲| 卡戴珊不雅视频在线播放| 精品人妻一区二区三区麻豆| 国内精品美女久久久久久| 久久久国产一区二区| 人妻少妇偷人精品九色| 18+在线观看网站| 国产精品无大码| 欧美zozozo另类| 高清在线视频一区二区三区| 久久久久久九九精品二区国产| 一级毛片电影观看| 欧美3d第一页| 日本-黄色视频高清免费观看| 日韩av免费高清视频| 久久人人爽人人片av| 伦精品一区二区三区| 最新中文字幕久久久久| 好男人在线观看高清免费视频| 80岁老熟妇乱子伦牲交| 看非洲黑人一级黄片| 欧美日韩国产mv在线观看视频 | 成人毛片60女人毛片免费| 精品一区在线观看国产| 亚洲av不卡在线观看| 色网站视频免费| 午夜激情久久久久久久| 日本黄色片子视频| 美女脱内裤让男人舔精品视频| 国产一区亚洲一区在线观看| 免费看av在线观看网站| 国产熟女欧美一区二区| 国产高清国产精品国产三级 | 九草在线视频观看| 国产成年人精品一区二区| 亚洲人与动物交配视频| 大香蕉久久网| 成人国产av品久久久| 91久久精品电影网| 免费观看性生交大片5| av线在线观看网站| 欧美精品人与动牲交sv欧美| 女人十人毛片免费观看3o分钟| 乱码一卡2卡4卡精品| 日韩人妻高清精品专区| 日日摸夜夜添夜夜爱| 丝袜喷水一区| 只有这里有精品99| 日本一二三区视频观看| 国产成人a区在线观看| 大话2 男鬼变身卡| 亚洲精品久久午夜乱码| 国产成人a区在线观看| 国产极品天堂在线| 好男人视频免费观看在线| 国产淫语在线视频| 99热国产这里只有精品6| 免费观看的影片在线观看| 国产在线男女| 亚洲精品,欧美精品| 六月丁香七月| 免费看不卡的av| 国内揄拍国产精品人妻在线| 国产精品99久久99久久久不卡 | 国产亚洲精品久久久com| 国产又色又爽无遮挡免| 国产成人91sexporn| 精品人妻熟女av久视频| 伦理电影大哥的女人| 国产成人精品婷婷| 女的被弄到高潮叫床怎么办| 亚洲精品aⅴ在线观看| 视频中文字幕在线观看| 国产精品麻豆人妻色哟哟久久| 91午夜精品亚洲一区二区三区| 亚洲精品久久午夜乱码| 人妻 亚洲 视频| 婷婷色综合大香蕉| 男人爽女人下面视频在线观看| 搞女人的毛片| 高清av免费在线| 男人狂女人下面高潮的视频| 国产女主播在线喷水免费视频网站| 少妇裸体淫交视频免费看高清| 亚洲av在线观看美女高潮| 日本-黄色视频高清免费观看| 精品国产三级普通话版| h日本视频在线播放| 男女边摸边吃奶| 国产午夜精品久久久久久一区二区三区| 亚洲怡红院男人天堂| 久久午夜福利片| 一级黄片播放器| av专区在线播放| 五月开心婷婷网| 国产成人免费观看mmmm| 精品一区二区三区视频在线| 另类亚洲欧美激情| 国产精品成人在线| av国产精品久久久久影院| 91精品国产九色| 熟女av电影| 男人舔奶头视频| 日韩成人av中文字幕在线观看| 一级av片app| 国产又色又爽无遮挡免| 久久久亚洲精品成人影院| 亚洲怡红院男人天堂| 王馨瑶露胸无遮挡在线观看| 国产精品久久久久久精品古装| 日日摸夜夜添夜夜添av毛片| av在线观看视频网站免费| 男女国产视频网站| 99热6这里只有精品| 久热这里只有精品99| 欧美精品人与动牲交sv欧美| 久久人人爽人人爽人人片va| 春色校园在线视频观看| 久久久a久久爽久久v久久| 国产精品久久久久久久电影| 少妇丰满av| 一区二区三区免费毛片| 亚洲精品一区蜜桃| 三级男女做爰猛烈吃奶摸视频| 少妇人妻久久综合中文| 日韩免费高清中文字幕av| 国产色爽女视频免费观看| 看十八女毛片水多多多| 国产伦精品一区二区三区视频9| 亚洲av一区综合| 亚洲综合精品二区| 欧美性猛交╳xxx乱大交人| 日本黄色片子视频| 欧美最新免费一区二区三区| 久久久久精品久久久久真实原创| 一区二区三区乱码不卡18| 成人美女网站在线观看视频| 午夜福利高清视频| 亚洲国产欧美人成| 性色av一级| 波野结衣二区三区在线| 久久久久精品久久久久真实原创| av国产精品久久久久影院| 亚洲精品一区蜜桃| 午夜福利网站1000一区二区三区| 亚洲综合色惰| 嫩草影院入口| 老女人水多毛片| 中文天堂在线官网| 观看美女的网站| 少妇人妻精品综合一区二区| 小蜜桃在线观看免费完整版高清| av在线观看视频网站免费| 少妇猛男粗大的猛烈进出视频 | 亚洲,欧美,日韩| 亚洲自拍偷在线| 校园人妻丝袜中文字幕| 国产 精品1| 亚洲国产精品成人久久小说| 国产精品国产av在线观看| 2022亚洲国产成人精品| 日本爱情动作片www.在线观看| 香蕉精品网在线| av福利片在线观看| 午夜激情久久久久久久| 建设人人有责人人尽责人人享有的 | 久久精品综合一区二区三区| 夜夜爽夜夜爽视频| 亚洲av.av天堂| 久久久久久久大尺度免费视频| 中文字幕av成人在线电影| 午夜老司机福利剧场| 久久这里有精品视频免费| 欧美日韩精品成人综合77777| 欧美成人a在线观看| 国产免费一区二区三区四区乱码| 欧美另类一区| 久久久久国产精品人妻一区二区| 国产伦精品一区二区三区四那| 日产精品乱码卡一卡2卡三| 2018国产大陆天天弄谢| 韩国av在线不卡| 日韩欧美 国产精品| 美女视频免费永久观看网站| 久久这里有精品视频免费| 国产精品久久久久久久久免| 人体艺术视频欧美日本| 日本爱情动作片www.在线观看| 在现免费观看毛片| 久久久久精品性色| 国产成年人精品一区二区| 精品国产露脸久久av麻豆| 九九在线视频观看精品| 国产免费福利视频在线观看| 日日撸夜夜添| 国产亚洲av嫩草精品影院| 亚洲人成网站高清观看| 精品国产露脸久久av麻豆| 免费av毛片视频| 国内精品宾馆在线| 国产伦精品一区二区三区四那| 黄色配什么色好看| 日韩一本色道免费dvd| 神马国产精品三级电影在线观看| 看非洲黑人一级黄片| 搡老乐熟女国产| 嫩草影院入口| 欧美 日韩 精品 国产| 亚洲精品一二三| 午夜福利在线在线| 青春草亚洲视频在线观看| 熟女人妻精品中文字幕| 亚洲人与动物交配视频| 欧美日韩亚洲高清精品| 麻豆成人午夜福利视频| 国产久久久一区二区三区| 伦精品一区二区三区| 亚洲电影在线观看av| 欧美日韩在线观看h| 国产综合精华液| av专区在线播放| 26uuu在线亚洲综合色| 男男h啪啪无遮挡| 最近手机中文字幕大全| 美女高潮的动态| 新久久久久国产一级毛片| 欧美潮喷喷水| av在线亚洲专区| 在线天堂最新版资源| 26uuu在线亚洲综合色| 69av精品久久久久久| 国产日韩欧美亚洲二区| 两个人的视频大全免费| 噜噜噜噜噜久久久久久91| 亚洲久久久久久中文字幕| 身体一侧抽搐| 欧美国产精品一级二级三级 | 高清视频免费观看一区二区| 欧美日韩在线观看h| 夫妻午夜视频| 最后的刺客免费高清国语| 美女脱内裤让男人舔精品视频| 亚洲成人精品中文字幕电影| 少妇的逼好多水| 大香蕉97超碰在线| 别揉我奶头 嗯啊视频| 国产黄片美女视频| 亚洲伊人久久精品综合| 国产精品国产三级国产专区5o| 人体艺术视频欧美日本| 久久人人爽av亚洲精品天堂 | 老女人水多毛片| 免费av毛片视频| 久久精品国产a三级三级三级| 精品国产三级普通话版| 亚洲久久久久久中文字幕| 欧美bdsm另类| 熟妇人妻不卡中文字幕| 男女下面进入的视频免费午夜| 成人鲁丝片一二三区免费| 神马国产精品三级电影在线观看| 天堂俺去俺来也www色官网| 国内少妇人妻偷人精品xxx网站| 亚洲精品日本国产第一区| 国产成人精品久久久久久| 久久久久九九精品影院| 免费观看在线日韩| 男人和女人高潮做爰伦理| 欧美三级亚洲精品| 国内精品宾馆在线| 欧美精品一区二区大全| 乱系列少妇在线播放| 国产爱豆传媒在线观看| 最近2019中文字幕mv第一页| 亚洲精品自拍成人| 99热这里只有是精品在线观看| 亚洲精品自拍成人| 欧美丝袜亚洲另类| 男女啪啪激烈高潮av片| 国产美女午夜福利| 日韩一本色道免费dvd| 久久久久久久大尺度免费视频| 人妻 亚洲 视频| 久久人人爽人人爽人人片va| 青春草视频在线免费观看| 欧美丝袜亚洲另类| 国产熟女欧美一区二区| 成人一区二区视频在线观看| 五月开心婷婷网| 色吧在线观看| 欧美成人精品欧美一级黄| 精品少妇黑人巨大在线播放| 精品久久久久久电影网| 国产免费一区二区三区四区乱码| 人妻一区二区av| 青春草亚洲视频在线观看| 欧美+日韩+精品| 免费观看性生交大片5| 99久久九九国产精品国产免费| 丝袜美腿在线中文| 久久女婷五月综合色啪小说 | 国产一级毛片在线| 亚洲成人中文字幕在线播放| 狠狠精品人妻久久久久久综合| 在线观看一区二区三区| 亚洲精品乱码久久久v下载方式| 成人国产麻豆网| 又爽又黄a免费视频| 99久久中文字幕三级久久日本| 免费少妇av软件| 高清av免费在线| 久久久精品免费免费高清| 综合色av麻豆| 高清视频免费观看一区二区| 性插视频无遮挡在线免费观看| 夫妻性生交免费视频一级片| 六月丁香七月| 国产免费一级a男人的天堂| 国产黄色视频一区二区在线观看| 欧美亚洲 丝袜 人妻 在线| 亚洲精品456在线播放app| 免费观看a级毛片全部| 欧美日韩亚洲高清精品| 免费电影在线观看免费观看| 大又大粗又爽又黄少妇毛片口| 国产黄a三级三级三级人| 小蜜桃在线观看免费完整版高清| 青青草视频在线视频观看| 精品酒店卫生间| 亚洲国产最新在线播放| 大话2 男鬼变身卡| 午夜激情福利司机影院| 日韩欧美精品v在线| 欧美成人精品欧美一级黄| 菩萨蛮人人尽说江南好唐韦庄| 高清在线视频一区二区三区| av又黄又爽大尺度在线免费看| 成人一区二区视频在线观看| 国产综合精华液| 国产精品.久久久| 最后的刺客免费高清国语| 三级国产精品欧美在线观看| 欧美xxxx性猛交bbbb| 欧美日韩视频精品一区| 欧美成人午夜免费资源| 国产一区亚洲一区在线观看| 久久久久久伊人网av| 欧美3d第一页| 91久久精品电影网| 日韩欧美精品免费久久| 成人高潮视频无遮挡免费网站| 一级毛片电影观看| 中文在线观看免费www的网站| 精品国产乱码久久久久久小说| 少妇熟女欧美另类| 永久免费av网站大全| 国模一区二区三区四区视频| 五月开心婷婷网| 亚洲欧美日韩卡通动漫| 亚洲欧美成人精品一区二区| av一本久久久久| 夜夜爽夜夜爽视频| 日韩大片免费观看网站| 涩涩av久久男人的天堂| 亚洲欧美成人综合另类久久久| 国产精品蜜桃在线观看| 2021天堂中文幕一二区在线观| 黄色视频在线播放观看不卡| 欧美三级亚洲精品| 最近中文字幕高清免费大全6| 日本熟妇午夜| 国产黄片视频在线免费观看| 国产伦理片在线播放av一区| 我要看日韩黄色一级片| 欧美高清成人免费视频www| 五月玫瑰六月丁香| 日韩视频在线欧美| av又黄又爽大尺度在线免费看| 精品一区二区三卡| 亚洲av福利一区| tube8黄色片| 一级毛片 在线播放| 国产精品麻豆人妻色哟哟久久| 久久99热这里只有精品18| 中文字幕亚洲精品专区| 91aial.com中文字幕在线观看| 久久精品夜色国产| 中文字幕av成人在线电影| 国产精品嫩草影院av在线观看| 插逼视频在线观看| 国产精品久久久久久av不卡| 高清视频免费观看一区二区| 久久久久久久午夜电影| 国产免费又黄又爽又色| 少妇人妻久久综合中文| 观看免费一级毛片| 一本一本综合久久| 男的添女的下面高潮视频| 久久精品国产亚洲网站| 免费av毛片视频| 成人午夜精彩视频在线观看| 啦啦啦中文免费视频观看日本| 亚洲成色77777| 成人毛片60女人毛片免费| 国产精品一二三区在线看| 视频区图区小说| 夜夜爽夜夜爽视频| 久久久久久久精品精品| 全区人妻精品视频| 日韩一区二区三区影片| 美女国产视频在线观看| 波多野结衣巨乳人妻| 91精品伊人久久大香线蕉| 国产女主播在线喷水免费视频网站| 性色av一级| 国产成人91sexporn| 18+在线观看网站| 91久久精品国产一区二区成人| 欧美xxⅹ黑人| 国产精品久久久久久精品古装| 亚洲av.av天堂| 久热这里只有精品99| 国产高清有码在线观看视频| 日本-黄色视频高清免费观看| 久久人人爽人人片av| 亚洲美女视频黄频| 可以在线观看毛片的网站| 91在线精品国自产拍蜜月| 亚洲av日韩在线播放| 韩国高清视频一区二区三区| 高清日韩中文字幕在线| 在线播放无遮挡| 欧美xxxx黑人xx丫x性爽| 久久久午夜欧美精品| 国产爽快片一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91 | 精品久久久噜噜| 久久久久久久精品精品| 两个人的视频大全免费| 国产欧美日韩一区二区三区在线 | 看免费成人av毛片| 在现免费观看毛片| 婷婷色综合大香蕉| 男女无遮挡免费网站观看| 校园人妻丝袜中文字幕| 国产免费福利视频在线观看| 如何舔出高潮| 男女边吃奶边做爰视频| 久久久久久久久久人人人人人人| a级毛色黄片| 亚洲精品色激情综合| 内射极品少妇av片p| 日韩亚洲欧美综合| 久久精品久久久久久噜噜老黄| 成人综合一区亚洲| 欧美zozozo另类| 亚洲av欧美aⅴ国产| 高清毛片免费看| 日韩强制内射视频| 肉色欧美久久久久久久蜜桃 | 亚洲av男天堂| 日韩在线高清观看一区二区三区| 最后的刺客免费高清国语| 国产精品偷伦视频观看了| 观看免费一级毛片| 亚洲精品久久午夜乱码| 日本黄大片高清| 亚洲人成网站在线播| 亚洲精品国产色婷婷电影| 国产高清不卡午夜福利| 亚洲精品成人av观看孕妇| 18禁裸乳无遮挡动漫免费视频 | 免费观看的影片在线观看| 国产精品福利在线免费观看| 免费少妇av软件| 久久韩国三级中文字幕| 日韩av不卡免费在线播放| 国产大屁股一区二区在线视频| 在线观看美女被高潮喷水网站| 亚洲第一区二区三区不卡| 嘟嘟电影网在线观看| 中文精品一卡2卡3卡4更新| www.av在线官网国产| 好男人在线观看高清免费视频| 欧美亚洲 丝袜 人妻 在线| 亚洲av成人精品一区久久| 啦啦啦中文免费视频观看日本| 天天躁夜夜躁狠狠久久av| 新久久久久国产一级毛片| 久久99热这里只频精品6学生| 国内少妇人妻偷人精品xxx网站| 精品亚洲乱码少妇综合久久| 一级二级三级毛片免费看| 国内精品美女久久久久久| 亚洲国产成人一精品久久久| 国产高清国产精品国产三级 | 国产黄a三级三级三级人| 在线a可以看的网站| 久久99热6这里只有精品| 啦啦啦在线观看免费高清www| 成人免费观看视频高清| 免费黄色在线免费观看| 爱豆传媒免费全集在线观看| 国产成人一区二区在线| 老司机影院成人| 菩萨蛮人人尽说江南好唐韦庄| 欧美人与善性xxx|