• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于主題契合度的專家推薦模型研究*

    2017-05-09 01:36:09靳健楊海慈李凝耿騫
    數(shù)字圖書館論壇 2017年4期
    關鍵詞:專家論文算法

    靳健,楊海慈,李凝,耿騫

    (1.北京師范大學政府管理學院,北京 100875;2.中央財經(jīng)大學外國語學院,北京 100081)

    基于主題契合度的專家推薦模型研究*

    靳健1,楊海慈1,李凝2,耿騫1

    (1.北京師范大學政府管理學院,北京 100875;2.中央財經(jīng)大學外國語學院,北京 100081)

    評審專家遴選是會議、期刊等投稿論文評審的一項重要步驟。本研究首先依據(jù)主題在學科中出現(xiàn)頻率,分析待評審論文及候選專家論文的主題重要性;其次,綜合考慮主題重要性,構造整數(shù)優(yōu)化模型以高效地為多篇待審文稿推薦評審專家,并加入專家專長與投稿論文的匹配度、評審專家權威性、評審專家工作量分配等因素以滿足專家推薦的現(xiàn)實需求;最后,從平均覆蓋率、人均審核率和重要性匹配度三個角度對本模型的有效性進行驗證。結(jié)果表明,提出的優(yōu)化模型可以較好地完成專家推薦任務。

    評審專家推薦;主題契合度;整數(shù)優(yōu)化

    1 引言

    投稿論文的評審是學術會議、學術期刊組織者的一項重要工作。論文評審組通常需先對投稿論文進行分類,其次邀請合適學者擔任評委完成論文評審。在此過程中,如何高效、準確地遴選出合適的評審專家成為一個值得討論的問題。

    評審專家的遴選標準包括專家權威度[1-2]、專家知識結(jié)構與待評審論文主題的匹配程度[3-4]、專家學術關系網(wǎng)絡等[5-6]。針對專家權威度,部分研究應用現(xiàn)有評價指標(如H指數(shù)等),部分研究綜合多方面因素提出新的評價指標[2]。在主題提取方面,有的研究利用主題模型分析論文主題與專家知識結(jié)構的相關性[7],有的研究利用模糊語義分析專家主題[8],也有部分研究利用社會網(wǎng)絡模型等實現(xiàn)專家推薦[9-10]。

    但是,在以主題表示論文或?qū)<抑R結(jié)構的相關研究中,較少考慮不同學科背景下的主題重要性差別。例如,在特定學科內(nèi),部分主題較基礎但研究者較多;相反,在同學科中,可能還存在部分主題關注度較低的情況。假設某一待評審論文重點探討了這種關注度相對較低的主題,為保證評審質(zhì)量,對于該待評審論文,應盡可能推薦對該主題相對較了解的評審專家。為此,本研究將首先分析主題在學科中的出現(xiàn)頻率,從而形成一種考慮“非均勻主題”的評審專家推薦優(yōu)化模型。

    本研究提出的方法將可應用于有關學術論文和學術項目審批的專家推薦場景。本研究的創(chuàng)新點在于:結(jié)合主題在學科背景中的出現(xiàn)頻率,對不同主題的重要性做出標識,使主題向量更好地表達待評審論文特征,進而優(yōu)化評審專家推薦效果。

    2 國內(nèi)外研究現(xiàn)狀

    2.1 專家發(fā)現(xiàn)與專家推薦

    專家發(fā)現(xiàn)問題最早出現(xiàn)在問答平臺及社交媒體的相關研究中。與專家推薦相類似,專家發(fā)現(xiàn)主要考慮如何利用專家的活動來定義和選擇專家。例如,Hwang等假設專家發(fā)現(xiàn)的目的是幫助用戶跟隨專家的選擇[11],因此,將專家定義為對某一類別產(chǎn)品給出較多評論的用戶;Zhou等對基于鏈接分析專家的方法提出質(zhì)疑,并根據(jù)用戶在某一主題上的專業(yè)性和聲譽來評定專家[12];Wang等提出僅在小圈子活動的專家可能地位虛高,并從內(nèi)容和社區(qū)地位角度考慮專家的衡量標準[13];梁凱春等對專家和知識設定不同級別的中心度和權威度,并假設專家的中心級別由其推薦內(nèi)容的權威度決定,而知識的權威度由推薦人的中心度決定[14]。還有許多不同的方法對專家發(fā)現(xiàn)問題做出分析,并利用主題模型對其展開分析,如Daud等分析潛在狄利克雷分配(Latent Dirichlet Allocation)、時間-作者-主題(Temporal-Author-Topic)等模型間的差異,并提出一種考慮時間因素的時間-專家-主題模型(Temporal-Expert-Topic)[7]。

    社交問答平臺中的專家發(fā)現(xiàn)與評審中的專家推薦在問題定義、模型算法等方面存在很多相似之處。例如,社交平臺中用戶的提問可以類比評審環(huán)境中的待審論文;網(wǎng)站評論、轉(zhuǎn)發(fā)類比論文中的引用關系;用戶發(fā)帖量類比學者發(fā)文量。同時,這兩種方式中的研究問題各有其特殊性。例如,社交網(wǎng)絡環(huán)境中的專家發(fā)現(xiàn)還需要考慮論壇話題、用戶與專家的互動,而在評審環(huán)境中則需要考慮期刊、評審歷史等因素。

    在評審專家推薦方面,不少研究主要依據(jù)專家權威度、待評審論文主題、專家社會關系等指標。Sun等關注專家權威度、出版業(yè)績、項目績效、歷史評價績效和同行評審等方面[8],其研究中的專業(yè)水平和歷史績效通過專家自行填寫表格確定,因而該推薦結(jié)果在一定程度上可能會受主觀因素的影響;Li等利用某一領域的引用關系計算待審論文和審稿人的相似性[15],通過論文數(shù)量、論文質(zhì)量和時間變量描述專家的權威度;Han等分析專家論文的發(fā)表歷史、與待評審論文的主題匹配度、專家與投稿者的社會關系、專家權威度四個因素,并從準確率和召回率評價實驗結(jié)果[16];Sun等通過論文與專家的相關性、專家發(fā)文質(zhì)量以及社區(qū)連通性等多個因素實現(xiàn)專家推薦,并借助MapReduce提高運行效率[6];Yukawa等利用余弦相似度描述作者間、作者與論文以及論文間的關系[17]。也有研究融合多種不同指標并賦予相應權重,以計算專家得分,最終根據(jù)得分排名實現(xiàn)評審專家的推薦。例如,Zheng等提取關于專家和文檔的多組特征,并利用基于排序?qū)W習的算法推薦評審專家[2];Han等通過單獨評價各指標的準確率和召回率,并根據(jù)各指標的表現(xiàn)來確定權重[16]。有的研究使用層次分析法確定各指標權重[6,8,15],但該方法需人工參與,結(jié)果易受主觀因素影響。為克服上述方法存在的弊端,還有研究通過圖論和網(wǎng)絡模型法均衡各指標權重,以期實現(xiàn)專家推薦效果最優(yōu)化[1,18,19]。

    專家發(fā)現(xiàn)與專家推薦的相關研究重點分析了專家權威度、待評審論文與專家論文間的匹配等多個因素,并將評審專家推薦理解為一種檢索問題,而相對較少考慮評審活動的實際現(xiàn)狀,即通常需要對多篇而非單篇論文作出推薦專家等。因此,本研究將綜合考慮多方面因素,并對多篇論文的專家組推薦展開研究。

    2.2 評審分配問題

    評審分配問題大多考慮多篇論文需邀請多名專家評審等實際問題,并分析許多較實際的限制條件。Xu等強調(diào)評審分配中論文數(shù)量的重要性[3,20],即為每位評審專家分配合適數(shù)量的論文,以保證審稿質(zhì)量;Fan等運用知識規(guī)則最大限度地分析論文的分組問題,以使論文分組的組間相似性較小而組內(nèi)相似度較大[4];Wang等將評審分配問題定義為“組對組”的任務分配[21],即在優(yōu)化分配前對專家和論文分組,以控制待評審論文的評審者數(shù)量,減少評審者負擔。

    整合待評審論文與評審專家的約束條件挑戰(zhàn)。Karimzadehgan等將專家與待評審論文的匹配問題構建為一個整數(shù)優(yōu)化模型[22-23],首先利用主題模型分析專家與待評審論文的相關性,并將被分配論文量、專家興趣、待評審論文主題以及專家主題匹配度等因素納入優(yōu)化模型中;在此基礎上,Wang等將模型進一步擴展為具有多個自變量的優(yōu)化模型[21],以實現(xiàn)專家推薦;Tang等利用優(yōu)化模型實現(xiàn)專家分配,并將結(jié)果應用于學生選擇導師等情境[24];還有研究將作者和待評審論文抽象為網(wǎng)絡結(jié)構中的節(jié)點,利用隨機游走模型實現(xiàn)待評審論文的最優(yōu)化分配[9]。

    以上評審分配問題的相關研究將評審專家的推薦理解為一種任務分配題,綜合考慮論文評審活動中多個實際因素(如專家工作量、待評審論文的最少評審專家數(shù)量、專家組主題多樣性及專家組主題對評審論文主題的覆蓋等),最終建立優(yōu)化模型為多篇論文推薦合適專家。但相關研究相對較少地考慮同一學科中不同主題重要性對專家組推薦的影響。

    3 學科背景下主題重要性的專家推薦優(yōu)化模型

    3.1 問題定義

    3.2 建模過程

    3.2.1 整體思路

    在模型構建中,本研究以專家已發(fā)表論文為基礎數(shù)據(jù),對待評審論文的主題重要性作出分析,并通過以下4個步驟實現(xiàn)專家組的推薦,具體流程如圖1所示。

    表1 符號定義

    圖1 專家推薦過程

    (1)專家論文主題分析:獲取候選專家已發(fā)表論文,分析這些論文的主題分布。(2)待評審論文及學科論文主題分析:以候選專家?guī)熘袑<野l(fā)表的論文主題分布為依據(jù),分析待評審論文的主題及學科整體環(huán)境中的主題分布。(3)突出主題分析:以待評審論文的主題分布及學科整體環(huán)境中的主題分布為依據(jù),分析各主題在待評審論文中是否為突出主題。(4)專家分配與推薦:在推薦評審專家時,既要保證同一位專家不能分配過多論文,也要保證每篇論文的審稿專家數(shù)量。本文將據(jù)此分別建立優(yōu)化框架,融合主題重要性,得到專家推薦列表。

    3.2.2 主題提取

    (1)文檔主題生成模型簡介。本研究擬用文檔主題生成模型(Latent Dirichlet Allocation,LDA)模型提取分析專家發(fā)表論文及待評審論文的主題分布。LDA是一種層次貝葉斯模型[25]。模型假設一篇文檔是由一系列多項式分布的主題表示,而主題由一系列多項式分布的單詞來表示。

    在LDA模型中,存在兩個先驗假設,一種是文檔對主題的先驗假設θd~Dir(?|α),另一種是主題對單詞的先驗假設Dir(?|β)。由于存在后驗概率無法直接求解的問題,因此主題模型一般采用近似求解的方式求得參數(shù)。如Blei等采用基于變分貝葉斯的方式[25],Griffiths等采用基于吉布斯采樣的方式[26],Minka利用基于期望推進等方式獲取LDA模型的參數(shù)[27]。一般來說,吉布斯采樣由于簡單直觀且效果較好,因此成為一種較常用的參數(shù)求解方式。

    (2)主題提取過程。評審專家推薦首先要保證所推薦的專家熟悉待評審論文的研究領域。本研究假設待評審論文內(nèi)容的最小單元是“主題”,且論文內(nèi)容可用主題向量表示。為實現(xiàn)待評審論文內(nèi)容與專家研究方向的匹配,本研究從待評審論文及專家論文集D中提取主題。

    假設專家ri的全部論文可以拼接成一篇文檔di,以分析專家ri的研究領域。其中,θdi為di中h個主題的概率分布。m位審稿專家的論文形成集合D={d1,d2,…,dm}。本研究利用LDA模型估計集合D的主題概率分布。根據(jù)LDA模型思想,集合D的似然估計可表示為公式(1)。

    其中,α和β為LDA的先驗參數(shù),c(w,di)是論文di中詞語w的數(shù)量,p(w│z,β)是主題z生成詞語w的概率,p(z│di,θdi)是論文di包含主題z的概率。本研究利用吉布斯采樣算法估計論文di的主題分布,并輸出h個主題在di中的分布。

    以所有候選評審專家的論文集合作為樣本,LDA模型可幫助獲得h個主題及這些主題在集合D中的概率分布C。隨后,以待評審論文作為測試集,分析h個主題在待評審論文中的分布B及在學科整體環(huán)境中的分布Ft。其中,“學科整體環(huán)境”由學術數(shù)據(jù)庫中與該學科相關論文模擬。

    3.2.3 主題重要性建模

    在某一特定學科范圍內(nèi),出現(xiàn)頻率較高的主題可能是較熱門或較基礎的內(nèi)容。對于待評審論文來說,若某一主題在學科中出現(xiàn)頻率低,但在該論文中出現(xiàn)頻率較高,則說明該主題與待評審論文關系密切,且可能在論文中較重要。因此,為保證待評審論文的評審質(zhì)量,需要為“小眾主題”安排更專業(yè)的評審專家。

    在一般情況下,若兩個主題在待評審論文i中出現(xiàn)概率相同,則在學科范圍內(nèi),出現(xiàn)概率相對較小者標識該論文的能力較強。根據(jù)該假設,在學科中出現(xiàn)頻率較高的主題應賦予較小權重,反之賦予較大的權重。結(jié)合主題提取的結(jié)果,利用TFIDF思想,待評審論文i與主題j的相關性可定義為公式(2)。

    同時,對于某特定待評審論文或?qū)<艺撐模鶕?jù)論文與主題的相關性矩陣,利用聚類算法分析h個主題與論文的相關度s。然后,選取s值最低的一類主題為待評審論文中的“不突出主題”,其他主題為“突出主題”。

    3.3 評審專家推薦的優(yōu)化模型

    評審專家的推薦應包括限制條件為:每一篇待評審論文有p位專家參與評審,每一位專家評審的論文數(shù)量不超過q,專家與待評審論文重要主題的相關性強,專家應盡可能多地覆蓋待評審論文的各主題,專家在待評審論文重要主題的覆蓋度應高于次重要主題。

    4 實驗設計與分析

    實驗需要兩部分數(shù)據(jù):一是包括專家個人信息、發(fā)文全文等的專家?guī)鞌?shù)據(jù),二是待審論文集。由于受現(xiàn)實條件限制,本研究采用中文學術論文數(shù)據(jù)庫中的采樣數(shù)據(jù)完成模型實驗。

    4.1 數(shù)據(jù)集

    本研究的實驗數(shù)據(jù)來自萬方數(shù)據(jù)庫。數(shù)據(jù)對象為信息管理與信息系統(tǒng)領域下的5 226名學者及其75 880篇論文。學者信息包括姓名、單位、發(fā)文、被引、H指數(shù)、發(fā)表期刊、學科、關注熱點等,論文信息包括題名、發(fā)表時間、被引頻次、發(fā)文期刊、摘要和關鍵詞等。信息管理與信息系統(tǒng)領域下的分支較多,涉及內(nèi)容廣泛,包括經(jīng)濟學、哲學、教育學、醫(yī)學、水利工程學等眾多學科。在現(xiàn)實中,期刊和會議通常有較明確的學科范圍。因此,依據(jù)萬方數(shù)據(jù)庫的學科標簽,本研究選擇經(jīng)濟學類目下的相關論文,構建數(shù)據(jù)集A(100篇論文,200名專家)和數(shù)據(jù)集B(300篇論文,400名專家)。

    4.2 實驗結(jié)果

    本研究借助JAVA庫中的JGibbLDA工具實現(xiàn)專家主題的遴選。JGibbLDA工具適用于在JAVA環(huán)境中運用吉布斯采樣技術完成LDA主題模型中參數(shù)估計和預測問題。下文所展示的試驗示例中模型參數(shù)設置為:主題(ntopics)個數(shù)為10,吉布斯采樣迭代次(niters)為1 000,主題中最可能出現(xiàn)的詞語(twords)的返回個數(shù)為10,LDA模型中的參數(shù)和采用默認值,即取值為50/K(K為預測所得的主題數(shù)),取值為0.1。經(jīng)過該模型分析,獲得專家論文集中的10個主題,每個主題的概念可由返回的最有可能出現(xiàn)的詞語及其出現(xiàn)概率表示。表2展示了其中兩個主題及其特征詞語。

    本研究通過數(shù)據(jù)集A和數(shù)據(jù)集B分析考慮主題重要性的優(yōu)化模型效果。其中,表3為設定每篇待評審論文需要有4名專家作出評審,每位專家的最大工作負荷為5,且論文主題個數(shù)為10時為某一篇待評審論文推薦專家的結(jié)果。表3中展示了待評審論文和評審專家與10個主題的相關性。其中,4名評審專家的突出主題基本覆蓋了待評審論文的所有突出主題。表4所示為推薦結(jié)果中專家評審負荷的人數(shù)分布。其中,每篇論文分配的專家數(shù)為p,且每位專家分配的論文數(shù)量不超過q。

    表2 專家論文集預測所得主題示例

    表3 主題相關性

    表4 評審專家負荷量對比

    4.3 實驗結(jié)果檢驗及評價

    對于大部分機器學習問題,人工評判可能是模型評估較有效的方法。對于評審推薦問題,現(xiàn)有研究中人工評估模型可靠性的方法主要包括兩類:一是人工閱讀論文后匹配合適專家,并以此作為標準結(jié)果,計算推薦結(jié)果的召回率和準確率[22];二是請相關專家或用戶根據(jù)已有評價標準對算法推薦結(jié)果作出評估[8]。然而,人工選擇和認可的“最優(yōu)”結(jié)果受限于標記專家的能力和知識范圍。因此,人工標記的數(shù)據(jù)能否作為標準結(jié)果存在一定爭議。此外,召回率和準確率不能體現(xiàn)實驗結(jié)果中不同重要程度的主題差異。為此,本研究提出通過以下3種評價指標來定性評估和比較不同模型。

    4.3.1 評價指標定義

    平均覆蓋率(avc):專家擅長的主題占評審論文所有主題的比例。該指標可用來衡量模型推薦的評審組對該論文的總體評審能力,見公式(4)。

    hA為該待評審論文被覆蓋的主題數(shù)量,h為論文主題總數(shù)。如果一篇待評審論文的“突出主題”包含在所有評審專家的“突出主題”中,則認為該主題已被覆蓋。

    人均審核率(avn):一篇文章中,平均每個主題被覆蓋的頻次占評審組總?cè)藬?shù)的比例。該指標從主題角度評估論文被審核的效果。理想結(jié)果為待評審論文重要主題的人均審核率高,甚至接近1。這意味待評審論文的所有評審專家在重要主題上都具有評審能力,見公式(5)。

    nA'為某一待評審論文中所有主題被覆蓋的總頻次,n為待評審論文的總數(shù),h為論文主題數(shù)量,p為每篇待評審論文的評審組人數(shù)。

    重要性匹配度(cors):評審專家在各主題上的專業(yè)水平與待評審論文主題重要性的斯皮爾曼相關系數(shù)。該指標用于衡量待評審論文中較重要的主題是否得到優(yōu)先分配,見公式(6)和(7)。

    rs為待評審論文與評審專家關于主題分布的斯皮爾曼相關系數(shù),d為待評審論文和評審專家的主題向量秩次差。cors值高則說明待評審論文的重要主題相對于次重要主題可分配到更多資源。

    4.3.2 對比算法

    本研究選取未考慮主題重要性差別的均勻主題優(yōu)化模型和考慮主題重要性差別的非均勻主題貪心算法作為對比模型,檢驗不同模型針對同一數(shù)據(jù)集的推薦效果。均勻主題模型采用優(yōu)化算法實現(xiàn)專家和待評審論文的匹配,但不區(qū)分同一待評審論文中不同主題的重要性。而貪心算法推薦模型利用貪心算法的原理完成專家推薦。貪心算法具體步驟如下。

    (2)依據(jù)非均勻主題模型的計算主題重要性并形成新的專家及待評審論文主題分布矩陣

    (3)建立循環(huán),計算第i(i∈[1,n])篇待評審論文與全部m位候選專家的相關度;

    (4)將m位專家按與第i篇待評審論文的相關度排序,為每篇待評審論文選擇出相關度最高的前p個專家,同時將被選擇的專家的負擔值加1;

    (5)每完成一篇待評審論文的專家分配后,檢驗專家集中所有專家的負擔值是否小于q,若小于q,則將此專家從專家集中去除;

    (6)n次循環(huán)后完成m位專家對n篇待評審論文的分配。

    4.3.3 實驗結(jié)果及分析

    (1)非均勻主題模型與均勻主題模型的比較分析。圖2和圖3為當p=3,q=5時,數(shù)據(jù)集A的3種模型方式分配評審專家的實驗結(jié)果。由圖2和圖3可見,非均勻主題的兩個算法較均勻主題的算法在平均覆蓋率和人均審核率兩個指標上具有顯著優(yōu)勢。由此得出,經(jīng)過主題非均勻化處理的模型可以更好地完成評審專家對待評審論文的分配任務。

    (2)模型中的變量對實驗結(jié)果的影響分析。主題提取過程中需要提前設定主題數(shù)量h。從圖2和圖3可見,兩種非均勻算法均在h=30時取得最佳結(jié)果,但主題數(shù)量的改變對實驗結(jié)果的影響不顯著。也有研究主題數(shù)量對實驗結(jié)果的影響,但結(jié)果表明表現(xiàn)最好的主題數(shù)量不盡相同。因此,本研究認為主題數(shù)量對模型結(jié)果的影響可能與數(shù)據(jù)集的選擇有關。

    圖2 主題數(shù)量對平均覆蓋率的影響

    圖3 主題數(shù)量對人均審核率的影響

    如圖4和圖5分別展示了3種分配方式在數(shù)據(jù)集B中的實驗結(jié)果。當p=5,q=5時平均覆蓋率和人均審核率最高。這是因為評審專家數(shù)量增加可能影響評審質(zhì)量,此時每篇待評審論文中有更多主題被審核,并且每個主題接受的審核人次也需要相對增多。

    (3)優(yōu)化算法與貪心算法的比較分析。圖2和圖3中非均勻主題的優(yōu)化算法與貪心算法在覆蓋率、審核率兩項指標上差距不大。其主要原因是數(shù)據(jù)集中專家人數(shù)相對于評審需求較充足。因此,即使貪心算法的每輪循環(huán)都“貪心”地選出當前最合適的專家,也不會對整體結(jié)果產(chǎn)生顯著影響。然而,從圖4和圖5可見,隨著待評審論文對評審專家人數(shù)需求的增加,當p=5,q=5時,優(yōu)化算法的優(yōu)勢得以凸顯。為突出各個算法的差異,在數(shù)據(jù)集B中增加一種分配方式p=2,q=2進行實驗。從圖4、圖5可見,在該條件中,兩種算法的差距進一步加大。這說明,當專家?guī)煲?guī)模有限時,優(yōu)化算法相較貪心算法更有利于實現(xiàn)資源的最優(yōu)配置。

    圖4 分配方式對平均覆蓋率的影響

    圖5 分配方式對人均審核率的影響

    從圖6可見,兩種算法在重要性匹配度cors這一指標上的差距較大,且系數(shù)變化主要受數(shù)據(jù)集影響,而與分配方案關系不大。在數(shù)據(jù)集A中,優(yōu)化算法推薦出的專家主題向量與待評審論文主題向量的相關系數(shù)為0.40,而貪心算法的相關系數(shù)為0.12。此外,由于貪心算法在每次循環(huán)中直接選擇適合評審當前論文的最優(yōu)專家,因此論文的循環(huán)順序也會對推薦結(jié)果產(chǎn)生一定影響。這導致貪心算法存在較大不穩(wěn)定性,一定程度上限制了其廣泛應用。

    圖6 不同算法與數(shù)據(jù)集在重要性匹配度上的比較

    5 結(jié)論與展望

    本研究分析如何為多篇待審論文推薦評審專家的問題,并提出非均勻主題重要度的專家推薦優(yōu)化模型。該模型考慮不同學科環(huán)境下待評審論文的主題重要度差異,并在優(yōu)化模型中綜合考慮專家與待評審論文主題的相關程度、待評審論文的被評審人數(shù)、專家評審負荷等因素。最終,針對每篇待評審論文形成評審專家組。

    通過與其他兩種模型推薦結(jié)果的比較,驗證本檢驗模型的有效性。結(jié)果發(fā)現(xiàn),經(jīng)過非均勻化處理的模型在覆蓋率和人均審核率上均有明顯優(yōu)勢。當專家資源較充足時,優(yōu)化算法與貪心算法差別不大;但隨著待審核論文專家數(shù)量增加,優(yōu)化算法的優(yōu)勢逐漸凸顯。在相關系數(shù)方面,優(yōu)化算法始終表現(xiàn)出較高相關性,而貪心算法表現(xiàn)較差。

    鑒于模型存在的問題,后續(xù)研究可對數(shù)據(jù)集進行更精細設置。如結(jié)合學科現(xiàn)狀對網(wǎng)上抓取的學者信息進行人工篩選和過濾,形成高質(zhì)量專家集,更真實地模擬評審環(huán)境下的專家推薦,使模型推薦結(jié)果更易于評價。

    [1] 韓曉,郭嘉豐,杜攀,等.一種面向權威度和多樣性的自動學術調(diào)研框架[J].計算機學報,2015(2):365-373.

    [2] ZHENG H T, LI Q,JIANG Y,et al.Exploiting multiple features for learning to rank in expert finding[C]//9th International Conference on Advanced Data Mining and Applications,December 14-16,Hangzhou, [s.n],2013:219-230.

    [3] SUN Y H,MA J,FAN Z P,et al.A hybrid knowledge and model approach for reviewer assignment[J].Expert Systems with Applications,2008,34(2): 817-824.

    [4] FAN Z P,CHEN Y,MA J,et al.Decision support for proposal grouping:a hybrid approach using knowledge rule and genetic algorithm[J].Expert Systems with Applications,2009,36(2):1004-1013.

    [5] 李春英,湯庸,陳國華,等.面向?qū)W術社區(qū)的專家推薦模型[J].智能系統(tǒng)學報,2012,7(4):365-369.

    [6] SUN J,XU W,MAJ,etal.Leverage RAF to find domain experts on research social network services:a big data analytics methodology with MapReduce framework[J].International Journal of Production Economics, 2015,165:185-193.

    [7] DAUD A,LI J,ZHOU L,et al.Temporal expert finding through generalized time topic modeling[J].Knowledge-Based Systems,2010,23(6):615-625.

    [8] SUN Y H,MA J,FAN Z P,et al.A group decision support approach to evaluate experts for R&D project selection[J].IEEE Transactions on Engineering Management,2008,55(1):158-170.

    [9] TANG J,JIN R,ZHANG J.A topic modeling approach and its integration into the random walk framework for academic search[C]//2008 Eighth International Conference on Data Mining,December 15-19,2008,Washington. New York:IEEE,2008:1055-1060.

    [10] Yang C,Ma J,SILVA T,et al.A multilevel information mining approach for expert recommendation in online scientific communities[J].The Computer Journal,2015,58(9):1921-1936.

    [11] HWANG W S,LEE H J,KIM S W,et al.Efficient recommendation methods using category experts for a large dataset[J].Information Fusion, 2016,28(C):75-82.

    [12] ZHOU G,ZHAO J,HE T,et al.An empirical study of topic-sensitive probabilistic model for expert finding in question answer communities[J]. Knowledge-Based Systems,2014,66(9):136-145.

    [13] WANG G A,JIAO J,ABRAHAMS A S,et al.ExpertRank:a topic-aware expert finding algorithm for online knowledge communities[J].Decision Support Systems,2013,54(3):1442-1451.

    [14] 梁凱春,蔡淑琴,林森.基于分眾分類的專家推薦算法研究[J].武漢理工大學學報(信息與管理工程版),2007,29(4):87-90.

    [15] LI X,WATANABE T.Automatic paper-to-reviewer assignment,based on the matching degree of the reviewers[J].Procedia Computer Science, 2013(22):633-642.

    [16] HAN S G,JIANG J P,YUE Z,et al.Recommending program committee candidates for academic conferences[C]//Proceedings of the 2013 Workshop on Computational Scientometrics:Theory & Applications,October 28,2013,San Francisco.New York:ACM,2013:1-6.

    [17] YUKAWA T,KASAHARA K,KATO T,et al.An expert recommendation system using concept-based relevance discernment[C]//Proceedings of the 13th International Conference on Tools with Artificial Intelligence,New York:IEEE,2001:257-264.

    [18] LIU X,SUEL T,MEMON N.A robust model for paper reviewer assignment[C]//Proceedings of the 8th ACM Conference on Recommender Systems. New York:ACM,2014:25-32.

    [19] 鞏軍,劉魯.基于個人知識地圖的專家推薦[J].管理學報,2011,8(9):1365-1371.

    [20] XU Y H,MA J,SUN Y H,et al.A decision support approach for assigning reviewers to proposals[J].Expert Systems with Applications,2010, 37(10):6948-6956.

    [21] WANG F,ZHOUS R,SHI N.Group-to-group reviewer assignment problem[J].Computers &Operations Research,2013,40(5):1351-1362.

    [22] KARIMZADEHGAN M,ZHAI C X.Integer linear programming forconstrained multi-aspect committee review assignment[J].Information Processing & Management,2012,48(4):725-740.

    [23] KARIMZADEHGAN M,ZHAI C X,BELFORD G.Multi-aspect expertise matching for review assignment[C]//Proceedings of the 17th ACM Conference on Information and Knowledge Management.New York: ACM,2008:1113-1122.

    [24] TANG W,TANG J,LEI T,et al.On optimization of expertise matching with various constraints[J].Neurocomputing,2012,76(1):71-83.

    [25] BLEI DM,NG A Y,JORDAN M I.Latent Dirichlet Allocation[J].Journal of Machine Learning Research,2003(3):993-1022.

    [26] GRIFFITHS T L,STEYVERS M.Finding scientific topics[J]. Proceedings of the National Academy of Sciences,2004,10(11):5228-5235.

    [27] MINKA T P.Expectation propagation for approximate Bayesian inference[C]//Proceedings of the Seventeenth Conference on Uncertainty in Artificial Intelligence.[S.1.]:Morgan Kaufmann Publishers Inc.,2013(17):362-369.

    楊海慈,女,1995年生,研究方向:學術數(shù)據(jù)挖掘。

    李凝,女,1981年生,博士,講師,研究方向:文本分析、語用學。

    耿騫,男,1965年生,博士,教授,研究方向:信息檢索、管理信息系統(tǒng)。

    A Topic Relevance Aware Model for Reviewer Recommendation

    JIN Jian1,YANG HaiCi1, LI Ning2, GENG Qian1
    (1.School of Government, Beijing Normal University, Beijing 100875, China; 2.School of Foreign Studies, Central University of Finance and Economics, Beijing 100081, China)

    Reviewer assignment is an important step in the phase of paper evaluation for conference organizers and journal editors. In this study, the importance of a topic is initially estimated by its occurrence frequency within a specific research area, which helps to express submissions and reviewers’ expertise. Next, in consideration of topic importance in submissions, an integer optimization model is formulated to recommend a reviewer group. Also, different practical constraints are reckoned in the optimization model, which includes the affinity between reviewers and submissions, reviewers’ expertise, the burden assignment of each reviewer, etc. To evaluate the effectiveness, the proposed approach is benchmarked with two baseline algorithms in terms of coverage, average number of reviewers, relevance between reviewers and topics, etc. Comparative experiment results show that the proposed approach is capable to recommend reviewers effectively.

    Reviewer Assignment; Topic Relevance; Integer Optimization

    TP301.6

    10.3772/j.issn.1673-2286.2017.04.007

    靳健,男,1982年生,博士,講師,研究方向:文本挖掘、學術數(shù)據(jù)挖掘、客戶關系管理,E-mail:jinjian.jay@bnu.edu.cn。

    2017-03-30)

    * 本研究得到教育部人文社會科學研究青年基金項目“面向論文評審專家推薦的興趣變化挖掘與回避機制生成的研究”(編號:16YJC870006)和ISTIC-EBSCO文獻大數(shù)據(jù)發(fā)現(xiàn)服務聯(lián)合實驗室基金項目“融合異構科研數(shù)據(jù)的評審專家推薦研究”資助。

    猜你喜歡
    專家論文算法
    致謝審稿專家
    計算機應用(2022年2期)2022-03-01 12:35:06
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    進位加法的兩種算法
    一種改進的整周模糊度去相關算法
    請叫我專家
    專家面對面
    下期論文摘要預登
    下期論文摘要預登
    下期論文摘要預登
    国产一区二区激情短视频| 午夜免费观看网址| 午夜影院日韩av| 18禁国产床啪视频网站| 69av精品久久久久久| 99热6这里只有精品| 日本三级黄在线观看| 91九色精品人成在线观看| 久久久久国产精品人妻aⅴ院| 日本黄色视频三级网站网址| 18禁国产床啪视频网站| 国产精华一区二区三区| 丰满人妻熟妇乱又伦精品不卡| 国产亚洲精品一区二区www| 午夜福利在线观看免费完整高清在 | 久久精品91无色码中文字幕| 欧美中文综合在线视频| 757午夜福利合集在线观看| 波多野结衣高清无吗| 日本精品一区二区三区蜜桃| 一边摸一边抽搐一进一小说| 法律面前人人平等表现在哪些方面| 一区二区三区国产精品乱码| 黑人巨大精品欧美一区二区mp4| av国产免费在线观看| 国产成人福利小说| 国产亚洲av嫩草精品影院| 国产精品久久电影中文字幕| 一个人看的www免费观看视频| 亚洲自拍偷在线| 美女高潮喷水抽搐中文字幕| 香蕉国产在线看| 亚洲男人的天堂狠狠| 亚洲av成人一区二区三| 最好的美女福利视频网| 午夜福利免费观看在线| 成人性生交大片免费视频hd| 国产精品电影一区二区三区| 身体一侧抽搐| 国产欧美日韩精品亚洲av| 日本 欧美在线| 一进一出抽搐动态| 一本精品99久久精品77| 激情在线观看视频在线高清| 热99在线观看视频| 国产成人精品久久二区二区91| 亚洲成a人片在线一区二区| 免费观看精品视频网站| 亚洲专区中文字幕在线| 亚洲av电影在线进入| 亚洲欧美日韩高清专用| 欧美最黄视频在线播放免费| 999精品在线视频| 丰满人妻一区二区三区视频av | 夜夜爽天天搞| 国产激情久久老熟女| 久久久精品欧美日韩精品| 少妇裸体淫交视频免费看高清| 午夜激情福利司机影院| 欧美高清成人免费视频www| 黄色 视频免费看| 宅男免费午夜| 性色avwww在线观看| 国产av一区在线观看免费| 日韩精品中文字幕看吧| 国产伦精品一区二区三区视频9 | 别揉我奶头~嗯~啊~动态视频| 男女那种视频在线观看| 日韩中文字幕欧美一区二区| 长腿黑丝高跟| x7x7x7水蜜桃| xxx96com| 成人一区二区视频在线观看| 欧美激情久久久久久爽电影| 亚洲中文日韩欧美视频| 可以在线观看毛片的网站| 观看免费一级毛片| 18禁黄网站禁片午夜丰满| 国产单亲对白刺激| 国产aⅴ精品一区二区三区波| 观看免费一级毛片| 国产午夜精品论理片| www.熟女人妻精品国产| 成年免费大片在线观看| 色尼玛亚洲综合影院| 国产精品野战在线观看| 久久亚洲真实| 老鸭窝网址在线观看| 国产黄a三级三级三级人| 欧美性猛交╳xxx乱大交人| 欧美绝顶高潮抽搐喷水| 亚洲午夜理论影院| 国产单亲对白刺激| 久久伊人香网站| 脱女人内裤的视频| 国产免费男女视频| 精品国产超薄肉色丝袜足j| www.自偷自拍.com| 亚洲美女视频黄频| 日韩三级视频一区二区三区| 日日干狠狠操夜夜爽| 午夜精品久久久久久毛片777| www.精华液| 久久久久久久久中文| 女同久久另类99精品国产91| 亚洲国产精品999在线| 天堂动漫精品| 嫩草影院精品99| 老司机午夜十八禁免费视频| 国产精品99久久99久久久不卡| 在线永久观看黄色视频| 亚洲国产色片| 久久精品亚洲精品国产色婷小说| 久久亚洲精品不卡| 男人和女人高潮做爰伦理| 免费观看精品视频网站| 嫩草影视91久久| 国产一区二区三区在线臀色熟女| 99久久综合精品五月天人人| 夜夜看夜夜爽夜夜摸| www.999成人在线观看| 男人和女人高潮做爰伦理| 欧美大码av| 国产熟女xx| 国产三级在线视频| 免费高清视频大片| 亚洲国产色片| 91九色精品人成在线观看| 久久国产乱子伦精品免费另类| 一个人免费在线观看电影 | 91字幕亚洲| 精品久久久久久久毛片微露脸| 亚洲人与动物交配视频| 国产精品99久久久久久久久| 久久久成人免费电影| 嫁个100分男人电影在线观看| 久久人妻av系列| 国产精品综合久久久久久久免费| 一个人免费在线观看电影 | 一二三四社区在线视频社区8| 麻豆国产av国片精品| 国产欧美日韩精品一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 99久久无色码亚洲精品果冻| 免费观看精品视频网站| 91字幕亚洲| 久久中文字幕一级| 级片在线观看| 国产高潮美女av| a级毛片a级免费在线| 成年免费大片在线观看| 手机成人av网站| 色综合亚洲欧美另类图片| 久久天躁狠狠躁夜夜2o2o| 亚洲av成人精品一区久久| 我的老师免费观看完整版| 久久香蕉国产精品| 两性夫妻黄色片| 成人三级做爰电影| 国产人伦9x9x在线观看| 男女那种视频在线观看| 国产精品电影一区二区三区| 夜夜躁狠狠躁天天躁| 91在线观看av| 久久久久国产精品人妻aⅴ院| 亚洲 欧美 日韩 在线 免费| 日韩成人在线观看一区二区三区| 亚洲成人中文字幕在线播放| 欧美黄色片欧美黄色片| 狠狠狠狠99中文字幕| 国产精品美女特级片免费视频播放器 | 国产综合懂色| 99国产精品一区二区三区| 偷拍熟女少妇极品色| 一本一本综合久久| 日韩欧美在线二视频| 国产伦一二天堂av在线观看| 日韩欧美 国产精品| 国产私拍福利视频在线观看| 69av精品久久久久久| 免费在线观看亚洲国产| 老司机深夜福利视频在线观看| 一区福利在线观看| 成人av在线播放网站| netflix在线观看网站| 一区福利在线观看| 黄色片一级片一级黄色片| 天天一区二区日本电影三级| 哪里可以看免费的av片| 狂野欧美激情性xxxx| 一级黄色大片毛片| 免费电影在线观看免费观看| 亚洲性夜色夜夜综合| 一二三四在线观看免费中文在| av在线蜜桃| 一区福利在线观看| 国产91精品成人一区二区三区| 成人特级av手机在线观看| 美女cb高潮喷水在线观看 | 老司机深夜福利视频在线观看| 一区福利在线观看| 欧美乱妇无乱码| 午夜日韩欧美国产| 九九久久精品国产亚洲av麻豆 | 亚洲专区国产一区二区| 色综合站精品国产| 制服人妻中文乱码| 最好的美女福利视频网| 欧美色视频一区免费| 亚洲国产日韩欧美精品在线观看 | 91久久精品国产一区二区成人 | 99国产精品一区二区三区| 1024香蕉在线观看| 老司机午夜十八禁免费视频| 国产精品久久久久久久电影 | 亚洲人成伊人成综合网2020| 曰老女人黄片| 久久久久久国产a免费观看| 精品日产1卡2卡| 午夜福利在线观看免费完整高清在 | www.自偷自拍.com| 高清毛片免费观看视频网站| 韩国av一区二区三区四区| 久久精品国产亚洲av香蕉五月| tocl精华| 成人高潮视频无遮挡免费网站| 国产精品,欧美在线| 亚洲人成伊人成综合网2020| 成年女人看的毛片在线观看| 两个人视频免费观看高清| 午夜精品一区二区三区免费看| 午夜福利18| 18禁裸乳无遮挡免费网站照片| 精品久久久久久久人妻蜜臀av| 一a级毛片在线观看| 亚洲国产色片| 白带黄色成豆腐渣| 免费看美女性在线毛片视频| 免费一级毛片在线播放高清视频| 国产高清激情床上av| tocl精华| 三级男女做爰猛烈吃奶摸视频| 成年女人永久免费观看视频| 欧美日韩亚洲国产一区二区在线观看| 国产一级毛片七仙女欲春2| 免费观看人在逋| 制服人妻中文乱码| avwww免费| 国产麻豆成人av免费视频| 日韩精品中文字幕看吧| 嫩草影院精品99| 天堂影院成人在线观看| 此物有八面人人有两片| 啪啪无遮挡十八禁网站| 亚洲成av人片在线播放无| 国产精品一及| 精品日产1卡2卡| 免费在线观看影片大全网站| 俺也久久电影网| 亚洲av片天天在线观看| 国产欧美日韩一区二区三| 久久这里只有精品19| 亚洲精品一卡2卡三卡4卡5卡| 日韩欧美一区二区三区在线观看| 欧美xxxx黑人xx丫x性爽| 午夜亚洲福利在线播放| 亚洲av美国av| 亚洲五月天丁香| 成熟少妇高潮喷水视频| 变态另类成人亚洲欧美熟女| 宅男免费午夜| 一级作爱视频免费观看| 国产激情偷乱视频一区二区| 国产精品久久久久久亚洲av鲁大| 成在线人永久免费视频| 免费看日本二区| 激情在线观看视频在线高清| 色吧在线观看| 最近在线观看免费完整版| 看免费av毛片| 国产精品久久久久久亚洲av鲁大| 观看美女的网站| 成人亚洲精品av一区二区| 国产亚洲av高清不卡| 久久婷婷人人爽人人干人人爱| 在线观看美女被高潮喷水网站 | 日本黄色片子视频| 最新美女视频免费是黄的| 亚洲电影在线观看av| 久久久久久久久久黄片| 99热6这里只有精品| 欧美精品啪啪一区二区三区| 婷婷六月久久综合丁香| 亚洲av熟女| 亚洲乱码一区二区免费版| 久久人人精品亚洲av| 亚洲九九香蕉| bbb黄色大片| 亚洲成av人片在线播放无| 又粗又爽又猛毛片免费看| 哪里可以看免费的av片| 在线观看日韩欧美| 亚洲中文日韩欧美视频| 男女视频在线观看网站免费| 亚洲第一电影网av| 三级国产精品欧美在线观看 | 性欧美人与动物交配| 久久久久国产精品人妻aⅴ院| 婷婷六月久久综合丁香| 国产精华一区二区三区| 窝窝影院91人妻| 精品久久久久久,| 亚洲国产欧美一区二区综合| 一本精品99久久精品77| 午夜两性在线视频| 久久精品影院6| 久久伊人香网站| 国产一区在线观看成人免费| 性欧美人与动物交配| 18禁观看日本| 99精品久久久久人妻精品| 在线a可以看的网站| 日日干狠狠操夜夜爽| 欧美日本视频| 国产一区二区在线av高清观看| 欧美大码av| 亚洲国产看品久久| 99久国产av精品| 国产精品久久久久久亚洲av鲁大| 久久久国产成人免费| 国产精品亚洲一级av第二区| 天天躁日日操中文字幕| 国产成+人综合+亚洲专区| АⅤ资源中文在线天堂| 日韩欧美国产在线观看| 亚洲国产看品久久| 99久久综合精品五月天人人| 搡老岳熟女国产| 国产亚洲欧美98| 18禁观看日本| 1024手机看黄色片| 久久精品91蜜桃| 中亚洲国语对白在线视频| 成人永久免费在线观看视频| a级毛片a级免费在线| 亚洲av成人精品一区久久| 国产精品久久久av美女十八| 性色avwww在线观看| 中文字幕久久专区| 国产精品99久久99久久久不卡| 丁香欧美五月| 国产成年人精品一区二区| 午夜福利视频1000在线观看| 夜夜夜夜夜久久久久| 久久久久国产精品人妻aⅴ院| 成人特级av手机在线观看| 高清在线国产一区| 两个人的视频大全免费| 欧美性猛交╳xxx乱大交人| 级片在线观看| 午夜免费成人在线视频| 母亲3免费完整高清在线观看| 免费观看精品视频网站| 18禁黄网站禁片免费观看直播| 香蕉国产在线看| 欧美日韩国产亚洲二区| 久久精品国产清高在天天线| 国产成人aa在线观看| 天天一区二区日本电影三级| 亚洲中文av在线| 国产高清三级在线| 天堂动漫精品| 窝窝影院91人妻| 亚洲av成人av| 中文字幕久久专区| 亚洲中文av在线| 国产av麻豆久久久久久久| АⅤ资源中文在线天堂| 成人欧美大片| 中文字幕人妻丝袜一区二区| xxx96com| 欧美黑人欧美精品刺激| 亚洲在线观看片| 美女黄网站色视频| 男女那种视频在线观看| 国产高清视频在线观看网站| 高潮久久久久久久久久久不卡| 久久精品夜夜夜夜夜久久蜜豆| 精品99又大又爽又粗少妇毛片 | 亚洲在线自拍视频| 五月玫瑰六月丁香| 可以在线观看毛片的网站| 九色成人免费人妻av| 精品一区二区三区av网在线观看| 国产精品一区二区三区四区久久| 啦啦啦观看免费观看视频高清| 老汉色av国产亚洲站长工具| 丁香六月欧美| 精品久久久久久久毛片微露脸| 成人精品一区二区免费| a级毛片a级免费在线| 亚洲国产欧美网| 亚洲中文av在线| 亚洲中文日韩欧美视频| 国产精品女同一区二区软件 | 免费看十八禁软件| 国产精品久久久久久久电影 | 99热精品在线国产| 久久精品综合一区二区三区| 亚洲国产欧美网| 成人特级av手机在线观看| 久久精品国产综合久久久| 久久久久久大精品| 亚洲无线观看免费| 亚洲欧美一区二区三区黑人| 亚洲最大成人中文| 国产精品久久久久久人妻精品电影| 国产毛片a区久久久久| 亚洲欧美日韩卡通动漫| 亚洲精品一卡2卡三卡4卡5卡| 中国美女看黄片| 亚洲欧美日韩东京热| 精品免费久久久久久久清纯| 亚洲av五月六月丁香网| 十八禁人妻一区二区| 成人特级黄色片久久久久久久| www.www免费av| 亚洲 欧美 日韩 在线 免费| 欧美日韩福利视频一区二区| 久久久久亚洲av毛片大全| 99久久精品国产亚洲精品| 波多野结衣高清无吗| 欧美色欧美亚洲另类二区| 国产av在哪里看| 热99re8久久精品国产| 夜夜看夜夜爽夜夜摸| 精品国产乱码久久久久久男人| 怎么达到女性高潮| 五月伊人婷婷丁香| 欧美成狂野欧美在线观看| 99国产精品一区二区三区| 国产黄a三级三级三级人| 国产av一区在线观看免费| 亚洲美女黄片视频| 黄色片一级片一级黄色片| 亚洲人成网站在线播放欧美日韩| 制服丝袜大香蕉在线| 窝窝影院91人妻| 日韩欧美一区二区三区在线观看| 欧美在线黄色| 免费在线观看成人毛片| 日韩欧美国产一区二区入口| 欧美3d第一页| 99久久精品热视频| 国产精品电影一区二区三区| 久久中文字幕一级| 欧美激情久久久久久爽电影| 这个男人来自地球电影免费观看| 三级国产精品欧美在线观看 | 97人妻精品一区二区三区麻豆| 欧美极品一区二区三区四区| 久久中文看片网| 免费观看精品视频网站| 国产精品精品国产色婷婷| 岛国在线观看网站| 亚洲无线在线观看| 人妻丰满熟妇av一区二区三区| 国产免费av片在线观看野外av| 久久精品国产99精品国产亚洲性色| 99久久久亚洲精品蜜臀av| 搡老妇女老女人老熟妇| 窝窝影院91人妻| 久久久久久久久久黄片| 国产成人啪精品午夜网站| 夜夜看夜夜爽夜夜摸| 少妇裸体淫交视频免费看高清| 老司机午夜十八禁免费视频| 少妇的逼水好多| 日韩成人在线观看一区二区三区| 日本 欧美在线| 中文字幕久久专区| 最新中文字幕久久久久 | 国产在线精品亚洲第一网站| 少妇丰满av| 久9热在线精品视频| 国产精品亚洲美女久久久| 亚洲成人中文字幕在线播放| 亚洲黑人精品在线| 无限看片的www在线观看| 国产一区二区三区在线臀色熟女| 757午夜福利合集在线观看| 国模一区二区三区四区视频 | av片东京热男人的天堂| 久久这里只有精品中国| 亚洲 欧美一区二区三区| 黄色视频,在线免费观看| 国产毛片a区久久久久| 一本久久中文字幕| 欧美+亚洲+日韩+国产| 成年女人毛片免费观看观看9| 婷婷六月久久综合丁香| 丁香六月欧美| 亚洲七黄色美女视频| 亚洲人成网站在线播放欧美日韩| 国产成人aa在线观看| 无遮挡黄片免费观看| 欧美中文综合在线视频| 五月玫瑰六月丁香| 欧美高清成人免费视频www| 欧美在线一区亚洲| 亚洲专区国产一区二区| 国产精品美女特级片免费视频播放器 | 欧美乱妇无乱码| 97碰自拍视频| 精品久久久久久成人av| 欧美黄色片欧美黄色片| 亚洲国产欧美网| 日韩av在线大香蕉| 三级国产精品欧美在线观看 | 久久天堂一区二区三区四区| 小蜜桃在线观看免费完整版高清| 国产精品久久久久久人妻精品电影| 不卡一级毛片| 两人在一起打扑克的视频| 国产又色又爽无遮挡免费看| 91老司机精品| 国产精品av久久久久免费| 久久国产精品影院| 成人性生交大片免费视频hd| 精华霜和精华液先用哪个| 国产综合懂色| 嫩草影院精品99| 国产乱人伦免费视频| 成人性生交大片免费视频hd| 中文字幕人成人乱码亚洲影| 国产av麻豆久久久久久久| 亚洲七黄色美女视频| 欧美三级亚洲精品| 欧美丝袜亚洲另类 | xxx96com| 亚洲性夜色夜夜综合| 麻豆成人av在线观看| 黄色片一级片一级黄色片| 男女做爰动态图高潮gif福利片| 99热精品在线国产| 91在线精品国自产拍蜜月 | 国产男靠女视频免费网站| 在线免费观看不下载黄p国产 | 亚洲 国产 在线| 真人一进一出gif抽搐免费| 日本黄色视频三级网站网址| 又大又爽又粗| 国产亚洲精品av在线| 亚洲精品国产精品久久久不卡| 久久热在线av| 国产精品,欧美在线| 欧美中文综合在线视频| av欧美777| 欧美日韩亚洲国产一区二区在线观看| 婷婷精品国产亚洲av在线| 黄色片一级片一级黄色片| 国产爱豆传媒在线观看| 国产成人av教育| 国产精品综合久久久久久久免费| 可以在线观看的亚洲视频| 老熟妇仑乱视频hdxx| 狂野欧美白嫩少妇大欣赏| av天堂在线播放| 国产精品亚洲av一区麻豆| 久久人人精品亚洲av| 欧美中文日本在线观看视频| 97超视频在线观看视频| 99久久精品一区二区三区| 欧美zozozo另类| 国产极品精品免费视频能看的| 国产69精品久久久久777片 | 欧美日本视频| 国产成人影院久久av| 日本与韩国留学比较| 国产在线精品亚洲第一网站| 观看美女的网站| 国产一区二区三区视频了| 精品日产1卡2卡| 国产三级黄色录像| 国产精品一区二区精品视频观看| 一进一出抽搐动态| 久久婷婷人人爽人人干人人爱| 久久久久久久久中文| 日韩高清综合在线| 村上凉子中文字幕在线| 中文字幕久久专区| 啪啪无遮挡十八禁网站| 嫩草影视91久久| 国产综合懂色| 国产黄色小视频在线观看| 我的老师免费观看完整版| 精品久久久久久成人av| 亚洲性夜色夜夜综合| 午夜福利在线观看免费完整高清在 | 黄色视频,在线免费观看| 亚洲电影在线观看av| 美女扒开内裤让男人捅视频| 色综合站精品国产| av福利片在线观看| 操出白浆在线播放| 国产欧美日韩一区二区三| 无限看片的www在线观看| 青草久久国产| 成人三级黄色视频| 免费在线观看日本一区| 99久久无色码亚洲精品果冻| 老司机在亚洲福利影院| 丝袜人妻中文字幕| 国产极品精品免费视频能看的| 亚洲成人久久爱视频|