• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于特征融合與評(píng)分反饋的CQA專家推薦方法

    2022-04-27 08:28:46司恩鵬王魯豫李浩杰杜軍威
    關(guān)鍵詞:回答者細(xì)粒度樣本

    司恩鵬,王魯豫,李浩杰*,杜軍威

    (1.青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,山東 青島 266061;2.山東省實(shí)驗(yàn)中學(xué),山東 濟(jì)南 250001)

    基于社區(qū)問答服務(wù)(CQA,community-based question answering)通過用戶之間的問答交互打破了傳統(tǒng)的基于關(guān)鍵詞的在線信息搜索模式。隨著CQA熱度的不斷上升,社區(qū)中收錄的問題也在飛速增長[1],然而一方面,存在海量用戶提問的問題未得到解答,另一方面,具備問題解答能力的用戶也無法有效的發(fā)現(xiàn)自己感興趣的問題,這極大地影響了用戶解決問題的效率和對(duì)社區(qū)的忠誠度。因此,面向問答社區(qū)的專家推薦成為近十幾年研究的熱點(diǎn)。

    面向問答社區(qū)的推薦任務(wù)主要分為兩類,其一是為問題推薦已有的答案,其二是為問題推薦能夠回答的專家。前者主要通過發(fā)現(xiàn)歷史中相似且已解決的問題進(jìn)行答案推薦[2-3],但由于多數(shù)問題文本較短,問題編碼難以準(zhǔn)確表達(dá)問題語義信息,導(dǎo)致問題匹配準(zhǔn)確率較低。同時(shí),隨著歷史沒有解答的新問題逐漸增多,基于問題匹配的檢索推薦模式已經(jīng)無法滿足CQA快速發(fā)展的需求,因此急需為新問題推薦合適的專家回答者[1]。

    目前主流的CQA專家推薦方法僅從局部視角如問題和答案的文本特征[4]、社交網(wǎng)絡(luò)特征[5]、答案反饋信息等進(jìn)行特征提取。例如,LIU和RIAHI等[3]分別利用LDA和STM生成主題向量來構(gòu)建用戶和問題的文本特征,融合了語言模型和LDA主題向量模型來對(duì)潛在回答者興趣進(jìn)行建模,解決了無法利用更高級(jí)語義的缺陷,一定程度上提高了推薦準(zhǔn)確性。但是,基于文本的研究方法,忽略了除文本之外建模問題與用戶的其他重要異構(gòu)信息。

    利用專家推薦的方法旨在由用戶的問答關(guān)系推薦最具權(quán)威性的用戶作為新問題的回答專家,專家推薦主要分為基于社交網(wǎng)絡(luò)或基于協(xié)同過濾或基于分類。ZHANG和JURCZYK等[5-6]基于社交網(wǎng)絡(luò)分別通過Indegree、Pagerank、HITS表征用戶影響力和權(quán)威性,構(gòu)建問答社交網(wǎng)絡(luò)特征,并為問題推薦最具權(quán)威性的專家;基于協(xié)同過濾的專家推薦主要使用矩陣分解算法,例如,YANG等[7]采用概率矩陣分解(PMF)方法結(jié)合生成概率模型和矩陣分解的方法來推薦問題。但是,協(xié)同過濾算法存在數(shù)據(jù)稀疏和冷啟動(dòng)問題,限制了該類方法的應(yīng)用場景,相較于上述角度,基于分類的推薦方法能夠綜合考慮用戶、問題、答案或用戶間交互等特征組合進(jìn)行靈活建模,因此具有更好的魯棒性。WANG等[8]除了從問題和用戶的角度構(gòu)造特征,還引入了文本相似性作為特征,證明了文本相似性對(duì)實(shí)驗(yàn)結(jié)果具有積極作用。諸如此類的專家推薦方法,沒有充分考慮不同特征的融合對(duì)推薦的影響,而本研究結(jié)合用戶、問題、答案或用戶之間交互關(guān)系綜合構(gòu)造特征,相較于其他方法能更全面地評(píng)估回答者和問題間的偏好關(guān)系[1,8],同時(shí)驗(yàn)證了不同特征組合對(duì)最終推薦效果的影響。

    然而,從多角度提取特征的傳統(tǒng)分類方法,在正負(fù)樣本劃分時(shí)存在不合理性,其主要采用如下方式:構(gòu)造形如〈Question,User〉的二元組,當(dāng)User為該問題的回答者時(shí),該樣本為正樣本,當(dāng)User為該問題的提問者時(shí),該樣本為負(fù)樣本[9-11]。這種樣本構(gòu)造模式,忽視了提問者本身也可能是回答者的情況,同時(shí)也沒有考慮答案質(zhì)量;WANG和TIAN等[12]將具有Best Answer標(biāo)簽的回答者作為問題的正樣本,一定程度上考慮了回答者答案的質(zhì)量,但由于每個(gè)問題只能有一個(gè)Best Answer,其他答案質(zhì)量接近Best Answer的回答者也被作為負(fù)樣本,因此無法細(xì)粒度地評(píng)價(jià)每位回答者的能力。除此之外,由社區(qū)投票機(jī)制產(chǎn)生的得分信息也可以作為一種評(píng)估問題和答案質(zhì)量的有效方法,并且相比于傳統(tǒng)的樣本劃分標(biāo)準(zhǔn),細(xì)粒度的投票評(píng)分更為客觀合理。因此,本工作采用投票得分這種細(xì)粒度的反饋評(píng)價(jià)作為用戶回答能力的量化指標(biāo)。

    本工作利用用戶對(duì)答案的反饋評(píng)價(jià)作為答案質(zhì)量細(xì)粒度評(píng)分,從問題、答案、回答者、社交網(wǎng)絡(luò)等多個(gè)角度提取特征,設(shè)計(jì)了一種考慮特征組合和交互的FM回歸模型進(jìn)行專家推薦,在爬取的Stack Overflow有關(guān)java領(lǐng)域的數(shù)據(jù)集上按真實(shí)時(shí)間序列進(jìn)行專家推薦[3],與主流基準(zhǔn)算法進(jìn)行對(duì)比,驗(yàn)證本工作方法的有效性。

    1 特征融合的CQA專家回答者推薦方法

    1.1 方法概述

    本工作旨在從多角度提取特征并對(duì)不同特征進(jìn)行組合,設(shè)置消融實(shí)驗(yàn)探索各特征組合對(duì)推薦效果的影響,并利用用戶對(duì)答案的反饋評(píng)價(jià)對(duì)答案質(zhì)量進(jìn)行細(xì)粒度量化。最終設(shè)計(jì)一種結(jié)合最佳特征組合與細(xì)粒度評(píng)價(jià)反饋的FM預(yù)測模型完成專家推薦任務(wù)?;谔卣魅诤吓c評(píng)分反饋的專家回答者推薦方法框架見圖1。

    圖1 基于特征融合與評(píng)分反饋的專家回答者推薦方法框架Fig.1 Framework of expert responder recommendation method based on feature fusion and rating feedback

    如圖1所示,本工作研究框架主要包含如下幾個(gè)部分:

    1)在Stack overflow社區(qū)問答平臺(tái)中抽取并建立結(jié)構(gòu)化數(shù)據(jù),將其存儲(chǔ)為〈問題,提問者,回答者〉三元組形式。2)從問題、用戶、文本匹配、社交關(guān)系等角度提取特征,建立問題(Q)、回答者(A)、問題-回答者文本(QA)、提問者-回答者社交關(guān)系(AA)特征集合并對(duì)特征進(jìn)行編碼。3)設(shè)置消融實(shí)驗(yàn)結(jié)合FM算法探索不同特征組合的重要性,訓(xùn)練模型確定最佳特征組合。4)針對(duì)粗細(xì)兩種反饋評(píng)價(jià)在MRR與S@N上對(duì)比推薦效果,選取細(xì)粒度反饋?zhàn)鳛樽罱K評(píng)價(jià)標(biāo)準(zhǔn)。5)用FM模型結(jié)合最佳特征組合與細(xì)粒度反饋評(píng)價(jià)來生成專家推薦列表,完成推薦任務(wù)。

    假設(shè)將數(shù)據(jù)集劃分成4個(gè)特征集合,分別為問題特征集QuestionQ=〈q1,q2,…,qn〉,回答者用戶特征集AnswerersA=〈a1,a2,…,am〉,問題-回答者文本特征集Question-AnswererQA=〈qa1,qa2,…,qak〉以及提問者-回答者社交關(guān)系特征集Asker-AnswererAA=〈aa1,aa2,…,aal〉。本工作的任務(wù)是為新問題推薦合適的回答者。將每一個(gè)實(shí)驗(yàn)樣本表示為〈q,a,qa,aa,score〉,其中q∈Q,a∈A,qa∈QA,aa∈AA,score∈[0,1]。研究目標(biāo)是學(xué)習(xí)一個(gè)映射關(guān)系,使得f:(q,a,qa,aa)→R。其中,在f(q,a,qa,aa)中獲得最高分的用戶a∈Answerer將被預(yù)測為問題q的最佳回答者。

    1.2 特征選取

    考慮到本工作是為新問題推薦回答者,在構(gòu)造樣本特征時(shí),選取問題樣本格式為〈q,a,qa,aa,score〉五元組,其中分別包含問題特征集(Q)、回答者用戶特征集(A)、問題-回答者文本特征集(QA)、以及提問者-回答者社交關(guān)系特征集(AA)4個(gè)部分。樣本構(gòu)造中丟棄了歷史問題的答案信息,這是因?yàn)樾聠栴}的回答者推薦是一個(gè)冷啟動(dòng)任務(wù),新問題不存在答案信息。因此本工作構(gòu)建樣本的主要特征如表1所示。

    表1 模型主要特征Table 1 Main features of model

    1.2.1 問題特征集Q(1~7)

    問題標(biāo)題長度可以被認(rèn)為是衡量問題質(zhì)量的重要特征,換句話說,高質(zhì)量問題較容易被回答[13];問題文本中網(wǎng)站內(nèi)部鏈接數(shù)量(特征Q_5)也被認(rèn)為是反應(yīng)問題質(zhì)量的重要因素[14]。其中,對(duì)問題ID(Q_1)和問題標(biāo)簽(Q_7)類別特征分別采用one-hot編碼和multi-hot編碼。對(duì)于連續(xù)特征Q_2~Q_6,考慮到Q_2~Q_6特征均呈現(xiàn)長尾分布特點(diǎn),為了提升特征表達(dá)能力并更適合本工作設(shè)計(jì)推薦模型,采用等頻分箱進(jìn)行離散化,并生成one-hot編碼。

    1.2.2 用戶特征集A(1~12)

    考慮采用用戶發(fā)布問題數(shù)量(特征A_7)和答案數(shù)量(特征A_4),來建模用戶的社區(qū)參與度。如果用戶提供了較多的問題或答案,則認(rèn)為該用戶在社區(qū)中是活躍的,樂意與其他用戶分享知識(shí)和探討問題,相較于不活躍用戶,其為其他用戶解答問題的可能性更高。另外,考慮采用用戶榮譽(yù)值(A_2)、獲得徽章的評(píng)分(A_3)、發(fā)布答案平均得分(A_10)和發(fā)布最佳答案比例(A_6),來建模用戶的知識(shí)專業(yè)性。如果用戶有較高的發(fā)布最佳答案的比例(特征A_6),那么認(rèn)為他將在社區(qū)中提供的答案也更大概率是“Best Answer”。同時(shí),用戶的注冊(cè)年齡(特征A_12)也是衡量問題質(zhì)量和回答質(zhì)量的重要特征,注冊(cè)時(shí)間短的用戶相較于注冊(cè)時(shí)間長的用戶,產(chǎn)出優(yōu)質(zhì)答案的概率要小。其中,除回答者ID(特征A_1)為類別特征之外,其余均為連續(xù)特征。因此分別采用與問題特征集Q相同的處理方法。

    1.2.3 問題回答者文本特征集QA(QA_1)

    在問題回答者特征構(gòu)造方面,傳統(tǒng)的CQA服務(wù)多基于用戶歷史回答過的問題文本表征回答者知識(shí)特征,基于LDA算法探索新問題和用戶個(gè)人資料在主題分布上的相似關(guān)系,從而為新問題生成最佳回答者用戶列表[3]。本工作采用特征QA_1表示問題和回答者之間的文本相似程度,因其為連續(xù)特征,所以采用同問題特征集Q一樣的處理方法。

    1.2.4 提問者回答者社交關(guān)系特征集AA(1~3)

    在以回答者為起點(diǎn)、提問者為終點(diǎn)的有向用戶社交網(wǎng)絡(luò)中,PageRank算法通過估計(jì)節(jié)點(diǎn)在網(wǎng)絡(luò)中隨機(jī)游走(以及偶爾的隨機(jī)跳躍)訪問其他節(jié)點(diǎn)的可能性,來表示用戶可能回答其他用戶提出問題的概率[15]。不同于PageRank,HITS將網(wǎng)絡(luò)中的節(jié)點(diǎn)分為兩種類型,每個(gè)節(jié)點(diǎn)對(duì)應(yīng)兩個(gè)得分,分別是表示節(jié)點(diǎn)用戶回答質(zhì)量的hub分?jǐn)?shù)和表示節(jié)點(diǎn)用戶專業(yè)知識(shí)程度的authority分?jǐn)?shù)[5],從而可以對(duì)用戶進(jìn)行更加全面的評(píng)估建模。因此,本文用連續(xù)特征AA_1~AA_3表征用戶之間的社交關(guān)系,同樣采用等頻分箱進(jìn)行離散化,并生成one-hot編碼。

    1.3 算法描述

    1.3.1 因子分解機(jī)FM

    FM借鑒了矩陣分解隱向量的思想,為每一個(gè)交互特征學(xué)習(xí)一個(gè)隱權(quán)重向量(latent vector),在特征交叉時(shí),使用兩個(gè)特征隱向量的內(nèi)積作為交叉特征的權(quán)重。這樣不僅可以自動(dòng)地交叉得到二階特征,還克服了數(shù)據(jù)稀疏性問題。其表達(dá)式為

    其中,ω0為全局偏置,ωi是模型第i個(gè)變量的權(quán)重,ωij=〈vi,vj〉是特征i和j的交叉權(quán)重,vi是第i維特征的隱向量,n代表特征數(shù),k(k?n)為隱向量的長度,包含k個(gè)描述特征的因子。

    〈..,〉代表兩個(gè)k維隱向量的點(diǎn)積:

    為訓(xùn)練FM模型,求解如下優(yōu)化問題:

    其中S表示訓(xùn)練集,λω0、λω、λV分別表示三類模型參數(shù)對(duì)應(yīng)的正則化系數(shù),避免噪音樣本帶來的擾動(dòng)。

    對(duì)于優(yōu)化問題(3),本工作利用隨機(jī)梯度下降法求解權(quán)重參數(shù),迭代公式如下:

    其中η為學(xué)習(xí)率。式,由于與變量i相互獨(dú)立,因此可以預(yù)先計(jì)算得到,且vi,f的訓(xùn)練只需要樣本xi特征非0即可,適合于稀疏特征。每個(gè)梯度的計(jì)算時(shí)間復(fù)雜度都為Ο(1),模型的參數(shù)總數(shù)量為nk+n+1,在數(shù)據(jù)稀疏條件下,參數(shù)更新所需要的所有時(shí)間為Ο(kn)。

    1.3.2 基于特征融合與評(píng)分反饋的FM

    本工作中的特征向量<q,a,qa,ua>非常稀疏且為新問題推薦的冷啟動(dòng)問題,不適合采用傳統(tǒng)基于協(xié)同過濾的推薦方法。FM算法能夠降低交互向量特征維數(shù),且能夠自動(dòng)學(xué)習(xí)任意二維交叉特征,減少了大量的特征選擇工作。本工作構(gòu)造的特征為稀疏特征空間樣本集合,因此,設(shè)計(jì)使用FM算法來完成推薦任下:

    如1.2.2小節(jié)中介紹,對(duì)整理后的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行特征提取,構(gòu)造4類特征集合,在其基礎(chǔ)上設(shè)置6組特征組合并采用FM算法進(jìn)行消融實(shí)驗(yàn),研究不同特征組合的選取對(duì)評(píng)分預(yù)測精度的影響從而確定最佳特征組合。設(shè)置對(duì)比實(shí)驗(yàn)進(jìn)一步研究將投票得分作為細(xì)粒度反饋評(píng)價(jià)與僅區(qū)分Best Answer與否的粗粒度反饋評(píng)價(jià)對(duì)專家推薦效果的影響。最終采用結(jié)合最佳特征組合與細(xì)粒度反饋評(píng)價(jià)的FM推薦方法與其他基準(zhǔn)方法進(jìn)行實(shí)驗(yàn)對(duì)比,驗(yàn)證本工作模型在社區(qū)問答領(lǐng)域?qū)<彝扑]效果的有效性與優(yōu)越性。

    2 實(shí)驗(yàn)及結(jié)果分析

    2.1 數(shù)據(jù)集

    Stack Overflow 2018年年度開發(fā)人員調(diào)查報(bào)告顯示,在2018年java是該社區(qū)中廣受歡迎的開發(fā)語言,因此本工作收集了2018年Stack Overflow網(wǎng)站中所有有關(guān)java主題的問題。

    首先將爬取到的數(shù)據(jù)以〈question,asker,answerer〉三元組形式存儲(chǔ),共計(jì)樣本17萬余條。隨后,剔除含有部分不規(guī)則或無效的樣本記錄,選擇至少有4個(gè)答案以上、擁有Best Answer且提問者和回答者均為已注冊(cè)用戶的問題作為最終實(shí)驗(yàn)數(shù)據(jù)。最終合計(jì)共20 236條實(shí)驗(yàn)樣本,其中包含問題4 450個(gè),回答者10 444人。經(jīng)數(shù)據(jù)處理后的實(shí)驗(yàn)數(shù)據(jù)集詳細(xì)統(tǒng)計(jì)信息如表2所示。

    表2 Stack overflow數(shù)據(jù)集統(tǒng)計(jì)Table 2 Statistics of stack overflow dataset

    2.2 投票得分與Best Answer相關(guān)性研究

    為了驗(yàn)證由社區(qū)投票機(jī)制產(chǎn)生的得分信息對(duì)提供更加細(xì)粒度的評(píng)價(jià)標(biāo)準(zhǔn)的合理性,采用VoteRank對(duì)答案的投票得分與Best Answer之間的相關(guān)性進(jìn)行分析,即在問題q中根據(jù)評(píng)分大小選擇Top N回答者作為其“Best Answerer”,然后統(tǒng)計(jì)Top N回答者(N=1,3,5)包含Best Answerer答案的比例。如圖2所示,約68%的Top1是Best Answer,Top3中87%是Best Answerer,Top5中93%是Best Answerer。這表明Best Answerer與答案反饋評(píng)價(jià)具有強(qiáng)相關(guān),因此采用答案的投票得分來量化答案質(zhì)量具有充分的合理性。

    圖2 在數(shù)據(jù)集上VoteRank的S@N(N=1,3,5)Fig.2 S@N of voterank on dataset(N=1,3,5)

    此外,為了保證標(biāo)簽取值在統(tǒng)一范圍,本工作將每個(gè)問題的答案反饋評(píng)價(jià)采用歸一化方法歸至[0,1]區(qū)間。

    2.3 按時(shí)間序列劃分?jǐn)?shù)據(jù)集

    本工作根據(jù)問題發(fā)布時(shí)間進(jìn)行訓(xùn)練集和測試集的劃分[3,16]。為了保證不同數(shù)據(jù)在劃分方法上的一致性,對(duì)共計(jì)12個(gè)月的所有問題進(jìn)行迭代劃分,并記錄不同數(shù)據(jù)劃分結(jié)果的平均水平,具體劃分結(jié)果如表3所示。

    由于本工作實(shí)驗(yàn)分為兩個(gè)階段:評(píng)分預(yù)測和專家推薦。第一階段是探索不同特征組合對(duì)評(píng)分預(yù)測精度的影響,第二階段是結(jié)合最佳特征組合為新問題推薦回答專家。因此,針對(duì)不同的任務(wù),測試集構(gòu)造有所不同。評(píng)分預(yù)測階段測試集構(gòu)造如表3所示;在專家推薦階段,每個(gè)問題僅保留一個(gè)正樣本(即問題的最高分回答者),并在訓(xùn)練集中隨機(jī)負(fù)采樣,和正樣本一同作為候選用戶集。另外,為了驗(yàn)證在不同大小候選集上的推薦效果,本工作隨機(jī)負(fù)采樣生成長度分別為5、10、15、20、25、30、35、40、45、50的候選集。

    值得注意的是,得益于本工作的特征設(shè)置,該方法不僅可以為新問題推薦老用戶(訓(xùn)練集中出現(xiàn)),也可以推薦新用戶(訓(xùn)練集中未出現(xiàn)),使得該方法能夠完全克服CQA領(lǐng)域中棘手的冷啟動(dòng)問題。

    表3 數(shù)據(jù)集劃分Table 3 Division of dataset

    2.4 對(duì)比方法

    2.4.1 LDA

    根據(jù)問題文本和回答者歷史回答問題的文本集合,采用主題數(shù)為30的LDA模型,采用余弦相似度計(jì)算相似度,由高到低對(duì)候選用戶排名,并生成推薦列表[3]。

    2.4.2 MF

    針對(duì)為新問題推薦回答專家的冷啟動(dòng)問題,通過計(jì)算文本相似度,采樣與新問題最相似的3個(gè)歷史問題,并將其擬合訓(xùn)練階段得到的問題隱向量加權(quán)平均作為待推薦問題的隱向量表示,與用戶隱向量作點(diǎn)積獲得用戶在新問題上的預(yù)測評(píng)分,從而生成推薦列表。

    2.4.3 SVM

    采用與FM實(shí)驗(yàn)相同的特征,只是采用傳統(tǒng)的CQA專家推薦分類標(biāo)簽,將“Best Answer”標(biāo)記為正樣本,將非“Best Answer”標(biāo)記為負(fù)樣本,采用SVM方法實(shí)現(xiàn)分類預(yù)測[1,16]。

    2.4.4 LR(linear regression)

    采用LR方法,對(duì)每一個(gè)新問題的候選回答者用戶集預(yù)測評(píng)分,依據(jù)分?jǐn)?shù)高低返回回答者推薦列表,探索引入細(xì)粒度評(píng)分是否能提升推薦的準(zhǔn)確性。

    2.4.5 FM

    通過消融實(shí)驗(yàn)確定最佳特征組合,設(shè)計(jì)FM方法,對(duì)每一個(gè)新問題的候選回答者用戶集預(yù)測評(píng)分,依據(jù)分?jǐn)?shù)高低返回回答者推薦列表,探索引入特征交互和細(xì)粒度評(píng)分是否能顯著提升推薦的準(zhǔn)確性。

    2.5 評(píng)價(jià)指標(biāo)

    在評(píng)分預(yù)測階段,本工作采用MAE(平均絕對(duì)誤差)、MSE(均方誤差)來評(píng)價(jià)預(yù)測結(jié)果。在用戶推薦階段,本工作基于CQA中的專家推薦的幾種流行的評(píng)估標(biāo)準(zhǔn),評(píng)估本工作提出方法的性能。分別為MRR(mean reciprocal rank)[11]、S@N(success@top N)[9]。定義如下:

    其中,Q表示測試集,Q表示測試樣本的數(shù)量,q表示測試集中的每一個(gè)樣本,N表示生成的推薦列表的長度,表示第i個(gè)問題中Best Answer用戶在推薦列表中的順序,ranki同,特殊地,當(dāng)ranki未出現(xiàn)在推薦列表中時(shí),定義ranki=0。對(duì)S@N,當(dāng)時(shí),表示該樣本預(yù)測成功。

    2.6 實(shí)驗(yàn)結(jié)果及分析

    2.6.1 消融實(shí)驗(yàn)

    在評(píng)分預(yù)測階段,為了驗(yàn)證特征組合的的預(yù)測效果,采用消融實(shí)驗(yàn),迭代地將不同組特征引入到FM算法中,來探求不同特征組合的重要性。

    本工作設(shè)計(jì)5個(gè)方面的Basic、Question(Q)、Answerer(A)、Question-Answerer(QA)、Asker-Answerer(UA)特征組,分別設(shè)置了以下6組對(duì)照組合Basic、Basic+Q、Basic+A、Basic+Q+A、Basic+Q+A+QA、Basic+Q+A+QA+UA進(jìn)行對(duì)比。

    實(shí)驗(yàn)結(jié)果如圖3所示,可以得出:

    Basic+Q和Basic在2個(gè)評(píng)價(jià)指標(biāo)上的表現(xiàn)大致相同,表明加入問題特征Q僅僅豐富了對(duì)問題建模的復(fù)雜性,對(duì)評(píng)分?jǐn)M和效果沒有太大提升。

    Basic+A相比于Basic,在2個(gè)評(píng)價(jià)指標(biāo)上略有提升,表明加入用戶特征A只是提高了用戶建模的精確度,對(duì)評(píng)分?jǐn)M合效果有一定提升但不明顯。

    Basic+Q+A相較于Basic、Basic+Q和Basic+A,在2個(gè)評(píng)價(jià)指標(biāo)上有顯著提升,表明問題特征Q和用戶特征A的同時(shí)加入,能夠使得問題和回答者建模更精準(zhǔn),同時(shí)問題和回答者之間的特征交互也可以挖掘出兩者之間的潛在關(guān)系,明顯提高了模型的評(píng)分?jǐn)M合能力。

    Basic+Q+A+QA相較于Basic+Q+A,擬合效果進(jìn)一步提升,表明QA特征的融入可以幫助模型從語義匹配的角度,更好地豐富問題和回答者兩者間的內(nèi)在關(guān)系。

    圖3 消融實(shí)驗(yàn)結(jié)果Fig.3 Results of ablation experiments

    Basic+Q+A+QA+UA相較于Basic+Q+A+QA,擬合效果非但沒有提升,反而有一定程度的下降,表明UA特征的加入擾動(dòng)了原有模型的穩(wěn)定性,說明用戶社交關(guān)系并不能完全體現(xiàn)用戶之間問答的意愿,較為活躍的用戶并不是在所有問題上都有較強(qiáng)意愿予以回答,而僅僅傾向于個(gè)別知識(shí)領(lǐng)域的問題。因此,確定Basic+Q+A+QA為最佳特征組合。

    2.6.2 專家推薦

    本工作通過消融實(shí)驗(yàn)確定了模型所需的最佳特征組合。進(jìn)一步探索細(xì)粒度評(píng)分反饋評(píng)價(jià)和粗粒度0、1分類(Best Answer--1,非Best Answer--0)對(duì)推薦結(jié)果的影響。

    粗粒度反饋評(píng)價(jià),即將Best Answer作為預(yù)測正標(biāo)簽,其余作為負(fù)標(biāo)簽;細(xì)粒度反饋評(píng)價(jià),即將Best Answer作為預(yù)測真實(shí)標(biāo)簽,保持其余用戶分?jǐn)?shù)不變。顯然,前者僅關(guān)注Best Answer,而后者通過分?jǐn)?shù)來量化不同用戶的回答能力。為探索兩種反饋評(píng)價(jià)對(duì)推薦結(jié)果的影響,采用FM就相同數(shù)據(jù)集和相同特征做對(duì)比實(shí)驗(yàn),前者預(yù)測候選用戶為Best Answer的可能性,然后依此降序生成推薦列表;后者預(yù)測候選用戶在待推薦問題上的得分,并依此降序生產(chǎn)推薦列表。其中,采用專家推薦階段數(shù)據(jù)集和特征組合(Basic+Q+A+QA),在長度分別為5、10、15、20、25、30、35、40、45、50的候選集上實(shí)驗(yàn)結(jié)果如圖4所示。

    圖4 粗細(xì)粒度反饋評(píng)價(jià)對(duì)推薦結(jié)果的影響Fig.4 Impact of coarse and fine-grained feedback evaluation on recommendation results

    根據(jù)實(shí)驗(yàn)結(jié)果,在不同長度的候選集上細(xì)粒度反饋評(píng)價(jià)實(shí)驗(yàn)的S@3和MRR始終優(yōu)于粗粒度反饋評(píng)價(jià),其中關(guān)注推薦結(jié)果位序的MRR效果更為明顯。這是由于粗粒度反饋評(píng)價(jià)將用戶粗略地劃分為兩類標(biāo)簽,忽視了大量接近最高分用戶的優(yōu)質(zhì)回答者;而細(xì)粒度反饋評(píng)價(jià)保留了用戶原有評(píng)分,不僅能識(shí)別Best Answer用戶,還能細(xì)致量化其他用戶的回答能力。所以本工作FM模型結(jié)合細(xì)粒度反饋評(píng)價(jià)完成專家推薦任務(wù)。

    上一個(gè)實(shí)驗(yàn)說明了針對(duì)FM算法,采用細(xì)粒度反饋評(píng)價(jià)有助于提升推薦性能。在長度為5、10、15、20、25、30、35、40、45、50的測試候選集上,分別采用前文介紹的基準(zhǔn)方法:LDA、SVM、LR、FM預(yù)測推薦用戶列表,然后計(jì)算相應(yīng)的Success@N、MRR值。在長度為5的測試候選集上,按時(shí)間序列進(jìn)行訓(xùn)練和測試,實(shí)驗(yàn)結(jié)果如表4所示。

    在長度分別為5、10、15、20、25、30、35、40、45、50的測試候選集上,按時(shí)間序列進(jìn)行訓(xùn)練和測試,圖5按照每種方法在不同的長度測試候選集的平均實(shí)驗(yàn)結(jié)果,這里S@N(N=3)。

    表4 推薦結(jié)果對(duì)比(T=5)Table 4 Comparison of recommended results(T=5)

    圖5 在不同長度推薦列表上的推薦結(jié)果Fig.5 Recommendation results on recommendation lists of different lengths

    根據(jù)實(shí)驗(yàn)結(jié)果,可以得出如下結(jié)論:

    1)LDA方法僅考慮提出的問題與專家歷史回答的問題文本相似度,而MF方法僅關(guān)注問題與回答者之間的評(píng)分反饋信息,這兩種推薦方法相對(duì)于其它方法效果是最差的;

    2)SVM、LR和FM采用相同的特征組合(Basic+Q+A+QA),SVM采用Best Answer,和非Best Answer粗粒度反饋評(píng)價(jià),LR和FM都是采用反饋評(píng)分細(xì)粒度評(píng)價(jià),SVM的推薦效果要弱于LR和FM,也進(jìn)一步說明了細(xì)粒度評(píng)價(jià)能夠提升推薦效果;

    3)相對(duì)于LR和FM兩種算法,由于FM引入二階特征交互,與LR相比,能夠提升推薦效果;

    4)S@3指標(biāo)僅考慮推薦列表前3位中是否包含Best Answer,而不考慮Best Answer的位置,MRR指標(biāo)考慮了Best Answer在推薦列表的位置,從圖6可以看出,本工作考慮的特征交互與細(xì)粒度評(píng)價(jià)的FM算法,都優(yōu)于基準(zhǔn)方法,在考慮推薦位置的MRR指標(biāo)上表現(xiàn)更突出。

    3 結(jié) 語

    面對(duì)傳統(tǒng)CQA專家推薦或僅考慮問題文本特征、或考慮更多特征但沒有分析特征不同組合對(duì)推薦效果的影響、或僅考慮Best Answer和非Best Answer粗粒度評(píng)價(jià)等,造成CQA專家推薦精度不高問題。本工作將特征劃分為5類,并通過消融實(shí)驗(yàn)考慮類別組合對(duì)推薦性能的影響而確定了其4類組合對(duì)推薦的價(jià)值;同時(shí)考慮反饋評(píng)分細(xì)粒度評(píng)價(jià)和特征交互,設(shè)計(jì)FM算法在實(shí)際爬取的Stack Overflow 1年的問答數(shù)據(jù)進(jìn)行實(shí)驗(yàn)對(duì)比,結(jié)果表明本工作設(shè)計(jì)的方案能夠較基準(zhǔn)方法能夠較顯著提升專家推薦性能。在日后的工作中考慮將特征融合與深度學(xué)習(xí)模型相結(jié)合,提高模型的表達(dá)能力的同時(shí)探索對(duì)專家推薦效果的影響。

    猜你喜歡
    回答者細(xì)粒度樣本
    融合判別性與細(xì)粒度特征的抗遮擋紅外目標(biāo)跟蹤算法
    細(xì)粒度的流計(jì)算執(zhí)行效率優(yōu)化方法
    用樣本估計(jì)總體復(fù)習(xí)點(diǎn)撥
    接夢(mèng)話
    中國詩歌(2019年6期)2019-11-15 00:26:47
    推動(dòng)醫(yī)改的“直銷樣本”
    基于雙線性卷積網(wǎng)絡(luò)的細(xì)粒度圖像定位
    隨機(jī)微分方程的樣本Lyapunov二次型估計(jì)
    支持細(xì)粒度權(quán)限控制且可搜索的PHR云服務(wù)系統(tǒng)
    分答與知識(shí)共享
    村企共贏的樣本
    深夜a级毛片| 精品人妻视频免费看| 成年版毛片免费区| 蜜桃久久精品国产亚洲av| 六月丁香七月| 人人妻人人澡欧美一区二区| 精品福利观看| 亚洲国产日韩欧美精品在线观看| 久久久久久久久中文| 亚洲在线自拍视频| 午夜精品在线福利| 日本 av在线| 人人妻,人人澡人人爽秒播| 日本免费一区二区三区高清不卡| 少妇高潮的动态图| 亚洲国产精品合色在线| 日日干狠狠操夜夜爽| 搡老岳熟女国产| 在线观看66精品国产| 精品久久久噜噜| 欧美中文日本在线观看视频| 性插视频无遮挡在线免费观看| 国产精品一及| 亚洲内射少妇av| 国产精品无大码| 亚洲无线观看免费| 国产精品永久免费网站| 国产精品一区www在线观看| 校园人妻丝袜中文字幕| 国产精品一及| 免费看a级黄色片| 日本成人三级电影网站| 免费人成在线观看视频色| 成年女人毛片免费观看观看9| 亚洲精品久久国产高清桃花| 一级毛片电影观看 | 此物有八面人人有两片| 日韩,欧美,国产一区二区三区 | 日韩一本色道免费dvd| 国产精品久久久久久亚洲av鲁大| 国产一级毛片七仙女欲春2| 国产高清三级在线| 久久午夜福利片| 成人国产麻豆网| 成人三级黄色视频| 亚洲精品日韩av片在线观看| 亚洲一级一片aⅴ在线观看| 成年女人永久免费观看视频| 精品久久久久久久久亚洲| 97碰自拍视频| 欧美日韩在线观看h| 久久国产乱子免费精品| 久久久成人免费电影| 22中文网久久字幕| 人妻丰满熟妇av一区二区三区| 简卡轻食公司| 亚洲精品久久国产高清桃花| 免费观看的影片在线观看| 老司机影院成人| 久久99热6这里只有精品| 国产精品精品国产色婷婷| 18禁在线无遮挡免费观看视频 | 麻豆精品久久久久久蜜桃| 日日干狠狠操夜夜爽| 亚洲婷婷狠狠爱综合网| 18禁裸乳无遮挡免费网站照片| 国内精品宾馆在线| 国产亚洲精品久久久com| 91久久精品国产一区二区三区| 波多野结衣高清作品| 男女啪啪激烈高潮av片| 欧美三级亚洲精品| 老熟妇乱子伦视频在线观看| 成年女人看的毛片在线观看| 免费在线观看影片大全网站| 无遮挡黄片免费观看| 亚洲中文字幕日韩| 国产激情偷乱视频一区二区| 最近最新中文字幕大全电影3| 亚洲不卡免费看| 乱码一卡2卡4卡精品| 可以在线观看毛片的网站| 99久久无色码亚洲精品果冻| 国产av不卡久久| 高清日韩中文字幕在线| av国产免费在线观看| 神马国产精品三级电影在线观看| 日本黄大片高清| 少妇高潮的动态图| 国产av麻豆久久久久久久| 欧美极品一区二区三区四区| 国产69精品久久久久777片| 日本在线视频免费播放| 亚洲欧美成人精品一区二区| 久久久久精品国产欧美久久久| 久久人人爽人人片av| 亚洲欧美清纯卡通| 女人十人毛片免费观看3o分钟| 成人特级av手机在线观看| 在线免费观看的www视频| 国产不卡一卡二| 12—13女人毛片做爰片一| h日本视频在线播放| 搡老熟女国产l中国老女人| 久久精品国产亚洲av天美| 欧美3d第一页| 在线观看午夜福利视频| 美女黄网站色视频| 国国产精品蜜臀av免费| av在线播放精品| 国产精华一区二区三区| 日韩强制内射视频| 日日啪夜夜撸| 插逼视频在线观看| 寂寞人妻少妇视频99o| 22中文网久久字幕| 久久这里只有精品中国| 天堂动漫精品| 香蕉av资源在线| 国产av不卡久久| 最近中文字幕高清免费大全6| 亚洲精品国产av成人精品 | 直男gayav资源| 一本一本综合久久| 夜夜爽天天搞| 最近中文字幕高清免费大全6| 国模一区二区三区四区视频| 好男人在线观看高清免费视频| 亚洲一区高清亚洲精品| 天堂av国产一区二区熟女人妻| 黄色欧美视频在线观看| 精品一区二区三区视频在线| 男插女下体视频免费在线播放| 日韩欧美精品免费久久| 在线观看午夜福利视频| 亚洲va在线va天堂va国产| 一进一出抽搐动态| 午夜精品国产一区二区电影 | av在线亚洲专区| 日韩国内少妇激情av| 一级毛片aaaaaa免费看小| 老师上课跳d突然被开到最大视频| 成人欧美大片| 免费无遮挡裸体视频| 午夜福利高清视频| 国产精品久久久久久久电影| 波多野结衣巨乳人妻| 午夜日韩欧美国产| 国产精品99久久久久久久久| 亚洲成人久久性| 九九久久精品国产亚洲av麻豆| 国产亚洲91精品色在线| av在线观看视频网站免费| 亚洲av二区三区四区| 少妇高潮的动态图| 久久久色成人| 一本一本综合久久| 亚洲国产精品成人久久小说 | 色综合亚洲欧美另类图片| 国产av不卡久久| 日韩高清综合在线| 人妻久久中文字幕网| 亚洲欧美清纯卡通| 国产成人a∨麻豆精品| 超碰av人人做人人爽久久| 欧美日韩乱码在线| 午夜亚洲福利在线播放| 岛国在线免费视频观看| 欧美日韩乱码在线| 男女边吃奶边做爰视频| 国国产精品蜜臀av免费| 国产精品日韩av在线免费观看| 变态另类丝袜制服| 亚洲精品色激情综合| 变态另类丝袜制服| 欧美性猛交黑人性爽| 校园人妻丝袜中文字幕| 一级毛片久久久久久久久女| 嫩草影院入口| av女优亚洲男人天堂| 欧美中文日本在线观看视频| 成人美女网站在线观看视频| 日本成人三级电影网站| 波多野结衣高清无吗| 日产精品乱码卡一卡2卡三| 精华霜和精华液先用哪个| 中国国产av一级| 久久人人爽人人片av| 97超级碰碰碰精品色视频在线观看| 成人性生交大片免费视频hd| 国产日本99.免费观看| 亚洲图色成人| 欧美激情国产日韩精品一区| 日韩欧美 国产精品| 99久久中文字幕三级久久日本| 日产精品乱码卡一卡2卡三| 亚洲自偷自拍三级| 一个人观看的视频www高清免费观看| 亚洲图色成人| 国产成人精品久久久久久| 国国产精品蜜臀av免费| 欧美3d第一页| 久久鲁丝午夜福利片| 亚洲美女黄片视频| 免费av毛片视频| 亚洲熟妇中文字幕五十中出| 一个人观看的视频www高清免费观看| 最新在线观看一区二区三区| 日日摸夜夜添夜夜添小说| 国产视频一区二区在线看| 午夜福利18| 草草在线视频免费看| 天堂√8在线中文| 我要看日韩黄色一级片| 俺也久久电影网| 老司机午夜福利在线观看视频| 国产亚洲精品av在线| 国产精品一区二区性色av| 一进一出好大好爽视频| 色播亚洲综合网| 禁无遮挡网站| 男插女下体视频免费在线播放| 在线免费观看不下载黄p国产| 欧美成人精品欧美一级黄| 真人做人爱边吃奶动态| 国产伦精品一区二区三区四那| 国产精品久久久久久久电影| 亚洲一级一片aⅴ在线观看| 久久午夜福利片| 欧美成人免费av一区二区三区| 色尼玛亚洲综合影院| 97超碰精品成人国产| 亚洲电影在线观看av| 亚洲综合色惰| 亚洲av一区综合| videossex国产| 成人二区视频| 91狼人影院| 午夜福利在线在线| 国产精品爽爽va在线观看网站| 热99re8久久精品国产| 色尼玛亚洲综合影院| 国产av一区在线观看免费| 精品久久久久久成人av| 久久久久免费精品人妻一区二区| 寂寞人妻少妇视频99o| 久久精品国产亚洲av香蕉五月| 亚洲七黄色美女视频| 深爱激情五月婷婷| 亚洲七黄色美女视频| 高清毛片免费观看视频网站| 麻豆乱淫一区二区| 十八禁国产超污无遮挡网站| 欧美+日韩+精品| 成年女人看的毛片在线观看| 欧美日本亚洲视频在线播放| 有码 亚洲区| 51国产日韩欧美| 国产精品不卡视频一区二区| 99久久久亚洲精品蜜臀av| 精品久久久久久久久亚洲| 久久久久久久久久黄片| 欧美性猛交╳xxx乱大交人| 99国产精品一区二区蜜桃av| 在现免费观看毛片| 99久国产av精品| 99热精品在线国产| 禁无遮挡网站| 在线播放国产精品三级| 精品不卡国产一区二区三区| 深夜精品福利| 一个人免费在线观看电影| 国产精品嫩草影院av在线观看| 国产精品伦人一区二区| 久久久a久久爽久久v久久| 特级一级黄色大片| 国产一级毛片七仙女欲春2| 18禁黄网站禁片免费观看直播| 久久久久久久久久黄片| 一夜夜www| 亚洲成人久久爱视频| 久久精品国产亚洲av天美| 国产亚洲精品综合一区在线观看| 小说图片视频综合网站| av在线观看视频网站免费| 深夜精品福利| 69av精品久久久久久| 国产中年淑女户外野战色| 国产精品永久免费网站| 亚洲国产精品合色在线| 久久欧美精品欧美久久欧美| 国产一区二区三区在线臀色熟女| 国产精品一区www在线观看| 麻豆一二三区av精品| 日韩一本色道免费dvd| 淫秽高清视频在线观看| 久久午夜亚洲精品久久| 久久草成人影院| 日韩在线高清观看一区二区三区| 男人舔奶头视频| 亚洲av熟女| 精品日产1卡2卡| 女同久久另类99精品国产91| 亚洲国产精品合色在线| aaaaa片日本免费| 午夜福利成人在线免费观看| 国产精品不卡视频一区二区| 国产高潮美女av| 亚洲国产欧洲综合997久久,| 国产精华一区二区三区| 欧美最黄视频在线播放免费| 久久精品人妻少妇| 中国国产av一级| 欧美成人精品欧美一级黄| 亚洲经典国产精华液单| 亚洲欧美成人综合另类久久久 | 亚洲高清免费不卡视频| 91精品国产九色| 国产精品不卡视频一区二区| 大型黄色视频在线免费观看| or卡值多少钱| 亚洲成a人片在线一区二区| 可以在线观看毛片的网站| 波多野结衣高清无吗| 日韩欧美免费精品| 午夜爱爱视频在线播放| 丝袜喷水一区| 日本黄大片高清| 国产精品三级大全| 插阴视频在线观看视频| 亚洲美女搞黄在线观看 | 中文字幕熟女人妻在线| 成年女人毛片免费观看观看9| 国内精品一区二区在线观看| 日本精品一区二区三区蜜桃| 国产片特级美女逼逼视频| 亚洲第一电影网av| 国产精品人妻久久久久久| 在线观看av片永久免费下载| 色综合站精品国产| 蜜桃久久精品国产亚洲av| 欧美三级亚洲精品| 免费观看人在逋| 国产精品久久电影中文字幕| 欧美日韩综合久久久久久| 日韩一本色道免费dvd| 国产私拍福利视频在线观看| 亚洲aⅴ乱码一区二区在线播放| 又爽又黄无遮挡网站| 91在线观看av| av中文乱码字幕在线| 亚洲七黄色美女视频| 精品日产1卡2卡| 成人欧美大片| 欧美区成人在线视频| 少妇被粗大猛烈的视频| 在线观看美女被高潮喷水网站| 午夜精品在线福利| 欧美高清性xxxxhd video| 搞女人的毛片| av中文乱码字幕在线| 一级毛片电影观看 | 蜜桃久久精品国产亚洲av| 亚洲无线观看免费| 人人妻人人澡欧美一区二区| 中国国产av一级| 秋霞在线观看毛片| 亚洲成av人片在线播放无| 大型黄色视频在线免费观看| 有码 亚洲区| 能在线免费观看的黄片| 成人欧美大片| 精品人妻偷拍中文字幕| 久久精品综合一区二区三区| 99热6这里只有精品| 国产探花极品一区二区| 久久久久久伊人网av| 亚洲人与动物交配视频| 黄色日韩在线| 亚洲国产精品sss在线观看| 99久久精品国产国产毛片| 亚洲性久久影院| 久久精品久久久久久噜噜老黄 | 桃色一区二区三区在线观看| 国产伦一二天堂av在线观看| 在线免费观看的www视频| 亚洲精品456在线播放app| 欧美日韩一区二区视频在线观看视频在线 | 又粗又爽又猛毛片免费看| 国产一区二区三区在线臀色熟女| 欧美中文日本在线观看视频| 亚洲中文字幕日韩| 两个人视频免费观看高清| 最近最新中文字幕大全电影3| 国产精品久久久久久久电影| 日本免费a在线| 国产又黄又爽又无遮挡在线| 久久精品91蜜桃| 久久精品国产清高在天天线| 精品久久久久久久末码| 中文在线观看免费www的网站| 九九在线视频观看精品| 欧美性猛交黑人性爽| 九九爱精品视频在线观看| 精品人妻偷拍中文字幕| 69av精品久久久久久| 精品久久久噜噜| 欧美日韩在线观看h| av在线播放精品| 精品久久久久久成人av| 亚洲成人av在线免费| 变态另类丝袜制服| 又爽又黄无遮挡网站| 久久久久国产网址| 九九久久精品国产亚洲av麻豆| 精品一区二区三区视频在线| 看片在线看免费视频| 国产爱豆传媒在线观看| 亚洲av熟女| av专区在线播放| 国产伦精品一区二区三区视频9| 国产淫片久久久久久久久| 看十八女毛片水多多多| 久久久久久国产a免费观看| 欧美丝袜亚洲另类| 国产伦一二天堂av在线观看| 美女黄网站色视频| 男人狂女人下面高潮的视频| 中文亚洲av片在线观看爽| 亚洲最大成人av| 国产精品永久免费网站| 国产精品无大码| 能在线免费观看的黄片| 亚洲av二区三区四区| 中文字幕熟女人妻在线| 国产aⅴ精品一区二区三区波| 免费看a级黄色片| videossex国产| 在线播放无遮挡| 热99在线观看视频| 国产真实乱freesex| 亚洲av五月六月丁香网| 久久久久久国产a免费观看| 国产精品永久免费网站| 国产精品无大码| 亚洲欧美中文字幕日韩二区| 亚洲经典国产精华液单| 亚洲无线在线观看| 国产91av在线免费观看| 国产高清视频在线播放一区| 欧美日韩乱码在线| 日本一本二区三区精品| 亚洲真实伦在线观看| 久久天躁狠狠躁夜夜2o2o| 国产激情偷乱视频一区二区| 麻豆乱淫一区二区| 亚洲国产精品国产精品| 成年女人看的毛片在线观看| 狂野欧美激情性xxxx在线观看| 成人亚洲精品av一区二区| 永久网站在线| 亚洲av一区综合| 久久久a久久爽久久v久久| av中文乱码字幕在线| 欧美成人a在线观看| 亚洲精华国产精华液的使用体验 | 99久久精品热视频| 亚洲久久久久久中文字幕| 人人妻人人澡欧美一区二区| 最近在线观看免费完整版| 国产高清不卡午夜福利| 69人妻影院| 国产精品野战在线观看| 成人国产麻豆网| 国产麻豆成人av免费视频| 国产白丝娇喘喷水9色精品| 国产精品精品国产色婷婷| 国内精品久久久久精免费| 亚洲美女视频黄频| 国产v大片淫在线免费观看| 久久欧美精品欧美久久欧美| av女优亚洲男人天堂| 成年女人看的毛片在线观看| 一边摸一边抽搐一进一小说| 国产精品99久久久久久久久| 国产成年人精品一区二区| 校园春色视频在线观看| 欧美日本亚洲视频在线播放| 精品人妻熟女av久视频| 欧美日韩一区二区视频在线观看视频在线 | 亚洲七黄色美女视频| 啦啦啦观看免费观看视频高清| 91av网一区二区| 人妻少妇偷人精品九色| 在线观看免费视频日本深夜| 免费大片18禁| 赤兔流量卡办理| 免费高清视频大片| 国产乱人偷精品视频| 久久这里只有精品中国| 欧美成人精品欧美一级黄| 男人舔奶头视频| 最近在线观看免费完整版| 婷婷精品国产亚洲av| 中国国产av一级| 免费人成在线观看视频色| 99热网站在线观看| 九九热线精品视视频播放| 国产在视频线在精品| 搡女人真爽免费视频火全软件 | 精品久久久噜噜| 香蕉av资源在线| 欧美国产日韩亚洲一区| 成人国产麻豆网| 欧美中文日本在线观看视频| 国产男靠女视频免费网站| 最近2019中文字幕mv第一页| 亚洲精品亚洲一区二区| 1024手机看黄色片| 免费观看在线日韩| 免费搜索国产男女视频| 成人永久免费在线观看视频| 中文字幕熟女人妻在线| 国产在线男女| 变态另类丝袜制服| 国产精品电影一区二区三区| 99久久中文字幕三级久久日本| 国产91av在线免费观看| 最好的美女福利视频网| 好男人在线观看高清免费视频| 国产免费一级a男人的天堂| 精品欧美国产一区二区三| 亚洲电影在线观看av| 日韩欧美精品免费久久| 日本成人三级电影网站| 精品久久久久久久末码| 看十八女毛片水多多多| 一个人免费在线观看电影| 亚洲无线观看免费| 亚洲国产欧洲综合997久久,| 免费黄网站久久成人精品| 美女大奶头视频| 成熟少妇高潮喷水视频| 男人舔女人下体高潮全视频| 色av中文字幕| 一级a爱片免费观看的视频| 国产精品久久久久久久久免| 国产一区二区三区av在线 | 亚洲最大成人手机在线| 熟女电影av网| 色播亚洲综合网| 日韩精品中文字幕看吧| 精品免费久久久久久久清纯| 国产午夜精品论理片| 舔av片在线| 日韩在线高清观看一区二区三区| 免费高清视频大片| 人妻丰满熟妇av一区二区三区| 99热只有精品国产| 国产高清三级在线| 哪里可以看免费的av片| 99久久精品一区二区三区| a级毛片免费高清观看在线播放| 国产色婷婷99| 亚洲熟妇中文字幕五十中出| 久久久久久久亚洲中文字幕| 亚州av有码| 一本精品99久久精品77| 免费电影在线观看免费观看| 最近最新中文字幕大全电影3| 久久久久久久久久黄片| 十八禁国产超污无遮挡网站| 国产精品久久久久久精品电影| 亚洲精品乱码久久久v下载方式| 亚洲成人精品中文字幕电影| 99热这里只有是精品在线观看| 亚洲精品日韩在线中文字幕 | 一区二区三区免费毛片| 亚洲色图av天堂| 久久韩国三级中文字幕| 国产毛片a区久久久久| av在线播放精品| 日韩,欧美,国产一区二区三区 | 搡老熟女国产l中国老女人| 国产一区二区三区在线臀色熟女| 午夜视频国产福利| 国国产精品蜜臀av免费| 国产激情偷乱视频一区二区| 色哟哟·www| 天堂av国产一区二区熟女人妻| 亚洲国产欧美人成| 国产在线男女| or卡值多少钱| 国产亚洲精品av在线| av在线天堂中文字幕| 中国美白少妇内射xxxbb| 听说在线观看完整版免费高清| 免费av观看视频| 乱人视频在线观看| 搡老熟女国产l中国老女人| 精品免费久久久久久久清纯| 网址你懂的国产日韩在线| 给我免费播放毛片高清在线观看| 国产乱人视频| 亚洲一区高清亚洲精品| 久久精品夜夜夜夜夜久久蜜豆| 最近最新中文字幕大全电影3| 99在线人妻在线中文字幕| 久久久久久久久中文| 日韩欧美免费精品| 亚洲,欧美,日韩| 日本爱情动作片www.在线观看 | a级毛片a级免费在线| 久久亚洲国产成人精品v| 校园人妻丝袜中文字幕|