• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型

    2024-01-01 00:00:00安秋雨余艷熊熙
    關(guān)鍵詞:推薦系統(tǒng)冷啟動數(shù)據(jù)挖掘

    摘 要:跨域推薦的關(guān)鍵在于如何有效的將用戶特征從源域映射到目標(biāo)域。以往的研究更關(guān)注用戶特征的映射,忽略了映射前后用戶特征的相似度以及物品特征映射的可能性;同時也只關(guān)注單一任務(wù)。因此針對以上問題提出了一種多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型(MTFMN)。該模型引入了用戶特征映射網(wǎng)絡(luò),將用戶在源域的特征映射到目標(biāo)域,同時還引入了物品特征映射網(wǎng)絡(luò)來輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí);并在網(wǎng)絡(luò)學(xué)習(xí)過程中使用歐氏距離來衡量映射前后用戶和物品特征的相似度,以此作為網(wǎng)絡(luò)學(xué)習(xí)過程中的一個優(yōu)化策略;最后,利用映射后的用戶特征和目標(biāo)域上實際的物品特征完成偏好預(yù)測任務(wù)和評分預(yù)測任務(wù)。在Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集上,MTFMN在評分預(yù)測任務(wù)的準(zhǔn)確性上與主流模型相比有顯著的提升。除此之外,模型還做了消融研究以證明模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

    關(guān)鍵詞:推薦系統(tǒng);跨域推薦;冷啟動;數(shù)據(jù)挖掘;深度學(xué)習(xí)

    DOI:10.15938/j.jhust.2024.04.002

    中圖分類號: TP183

    文獻(xiàn)標(biāo)志碼: A

    文章編號: 1007-2683(2024)04-0010-11

    Multitask Features Mapping Network Model

    for Cross-domain Recommendation

    AN Qiuyu1,2, YU Yan1,2, XIONG Xi1,2

    (1.School of Cybersecurity, Chengdu University of Information Technology, Chengdu 610225, China;

    2.Advanced Cryptography and System Security Key Laboratory of Sichuan Province, Chengdu 610225, China)

    Abstract:The key to cross-domain recommendation is how to effectively map user features from source domain to target domain. Previous studies focused more on mapping user features, ignored the similarity between user features and actual features after mapping and the possibility of item features mapping; it also only focused on a single task. Therefore, a multitask features mapping network model for cross-domain recommendation (MTFMN) is proposed to address the above issues. The model first introduces a user features mapping network, which can map the user features from source domain to target domain. It also introduces an item features mapping network to assist the learning of the user features mapping network. In the process of optimizing, Euclidean distance is used to measure the similarity between user and item features before and after mapping, as an optimization strategy in the process of training. Finally, preference prediction task and rating prediction task are performed on the user features obtained through user features mapping network and the actual item features in target domain. On the Amazon datasets and Douban datasets, MTFMN has significantly improved the accuracy of rating prediction tasks compared to mainstream models. In addition, the model also conducts ablation studies to prove the effectiveness of the item features mapping network and multitask optimization strategy proposed in the model.

    Keywords:recommendation system; cross-domain recommendation; cold start; data mining; deep learning

    0 引 言

    在信息爆炸的時代,推薦系統(tǒng)可以從海量數(shù)據(jù)中為用戶挑選用戶最有可能感興趣的內(nèi)容。媒體、電商、社交網(wǎng)絡(luò)每天都會有數(shù)以萬計的內(nèi)容發(fā)布,這使得用戶很難精確找到感興趣的內(nèi)容。用戶的交互行為可以代表用戶的興趣偏好,良好的興趣偏好構(gòu)建可以推高推薦準(zhǔn)確率,這也促進(jìn)了推薦系統(tǒng)的發(fā)展:精準(zhǔn)分析和建模用戶的興趣偏好,然后從海量候選物品中選擇用戶最有可能感興趣的內(nèi)容向用戶推薦。

    數(shù)據(jù)稀疏性和冷啟動問題是長期限制推薦系統(tǒng)發(fā)展的兩大阻礙。數(shù)據(jù)稀疏性是指用戶在目標(biāo)域中的交互行為很少,很難挖掘用戶的興趣偏好,從而難以為用戶提供個性化推薦;冷啟動問題是指新用戶加入時沒有任何交互行為,無法了解用戶的興趣偏好,無法為其推薦個性化內(nèi)容。因此,數(shù)據(jù)稀疏性和冷啟動問題都是因為缺少用戶交互行為而產(chǎn)生的推薦難題。研究表明,用戶在不同領(lǐng)域的興趣偏好往往是相似的[1。例如電影域和圖書域中,喜好愛情電影的用戶也喜歡言情小說的可能性很大。因此利用從一個域(源域)中收集到的信息為用戶在另一個域(目標(biāo)域)進(jìn)行推薦,一定程度上可以緩解數(shù)據(jù)稀疏性和冷啟動問題。

    基于上述思想,跨域推薦近幾年受到了廣泛的研究和關(guān)注。與傳統(tǒng)的推薦系統(tǒng)相比,跨域推薦更加復(fù)雜。傳統(tǒng)的推薦系統(tǒng)只需要考慮如何從單一域上的用戶歷史交互行為中建模用戶興趣偏好,而對于跨域推薦,除了在域內(nèi)建模用戶興趣偏好之外,還需要考慮如何在域間傳遞特征(即用戶特征映射)。因此跨域推薦的核心任務(wù)就是兩個相關(guān)領(lǐng)域之間的用戶偏好映射[2-5,現(xiàn)有的DTCDR[6、EMCDR[7就是將源域上的用戶特征經(jīng)過線性映射得到用戶在目標(biāo)域上的特征。

    然而,現(xiàn)有跨域推薦局限于關(guān)注用戶特征從源域映射到目標(biāo)域,沒有考慮映射之后用戶特征與實際特征的相似度,忽略了物品特征映射的可能性,任務(wù)單一,只通過評分預(yù)測任務(wù)來優(yōu)化模型。為了消除傳統(tǒng)跨域推薦的局限性,本文認(rèn)為考慮物品特征映射的潛在可能性,并且對映射前后的用戶和物品特征做相似度計算,以及引入用戶對物品情感偏好預(yù)測任務(wù)是至關(guān)重要的,因此本文提出了多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型MTFMN。

    具體來說:①模型引入用戶特征映射網(wǎng)絡(luò),將用戶在源域的特征映射到目標(biāo)域;除此之外,引入了物品特征映射網(wǎng)絡(luò),將用戶在源域交互過的物品特征映射到目標(biāo)域,用于輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)。②用戶特征映射網(wǎng)絡(luò)和物品特征映射網(wǎng)絡(luò)的學(xué)習(xí)過程中,引入歐氏距離來衡量映射前后用戶和物品特征的相似度,以此作為網(wǎng)絡(luò)學(xué)習(xí)過程中的一個優(yōu)化策略。③利用映射后的用戶特征和目標(biāo)域上實際的物品特征完成偏好預(yù)測任務(wù)和評分預(yù)測任務(wù)。模型還做了消融研究,以證明模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

    本文貢獻(xiàn)如下:

    1)提出了物品特征映射網(wǎng)絡(luò),在多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型中輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)。

    2)提出了特征映射前后相似度對比的優(yōu)化策略。

    3)提出了多任務(wù)學(xué)習(xí)優(yōu)化策略。

    4)在本文所用數(shù)據(jù)集中的3個跨域推薦場景下,實驗結(jié)果表明,本文提出的MTFMN在評分預(yù)測任務(wù)的準(zhǔn)確性上較主流模型有顯著的提升。

    1 相關(guān)工作

    1.1 基于共享實體表示的跨域推薦模型

    這一類模型適用于多目標(biāo)域的跨域推薦,且不同的領(lǐng)域之間存在相似性很高的重疊用戶或重疊物品(重疊實體)。該類模型通過共享或結(jié)合重疊實體在不同領(lǐng)域間的特征來融合不同領(lǐng)域的信息,建立領(lǐng)域之間的聯(lián)系,同時提高多個領(lǐng)域的推薦效果[1

    代表模型如DTCDR。對于域上的用戶和物品,結(jié)合層通過組合特征的方式來組合重疊用戶的相關(guān)信息,使其最大可能保留多個領(lǐng)域上的顯著特征,并將其共享給針對兩個域的推薦模型。GA-DTCDR[8基于圖嵌入對DTCDR進(jìn)行了改進(jìn)。該方法為每個領(lǐng)域的實體構(gòu)建了一個無向異構(gòu)圖,得到異構(gòu)圖之后,根據(jù)Node2vec生成每個實體的圖嵌入;在結(jié)合層中使用element-wise attention機(jī)制將重疊實體的表示進(jìn)行結(jié)合得到最終的表示,然后進(jìn)入預(yù)測層預(yù)測。MV-DNN[9方法可以看作是DSSM[10雙塔模型的擴(kuò)展。通過用戶特征和物品特征生成初始的特征向量,將不同域的物品作為數(shù)據(jù)的不同視圖輸入,用戶作為數(shù)據(jù)的主視圖輸入,其中所有視圖共享相同的MLP結(jié)構(gòu),但不共享網(wǎng)絡(luò)參數(shù)。每個物品視圖通過MLP獲得最終的表示向量,然后與用戶視圖的結(jié)果計算余弦相似度進(jìn)行預(yù)測。DDTCDR[11利用重疊用戶,使用深度雙向遷移學(xué)習(xí)機(jī)制來學(xué)習(xí)用戶興趣遷移,再使用跨域的隱式正交映射來保持用戶在不同偏好的相似度,并且可以更有效地計算逆映射。

    然而基于共享實體的跨域推薦模型存在數(shù)據(jù)不平衡問題。當(dāng)不同領(lǐng)域的數(shù)據(jù)集大小不平衡時,共享實體的表示效果就會受到影響,數(shù)據(jù)不平衡可能會導(dǎo)致模型在較小數(shù)據(jù)集上性能不佳;并且基于共享實體的跨域推薦模型需要很有效的實體對齊方法來確保不同領(lǐng)域上的實體能映射到相似的向量空間中。

    1.2 基于域間映射的跨域推薦模型

    這一類模型適用于存在多個數(shù)據(jù)較為充足的源域,以及數(shù)據(jù)較為稀疏的目標(biāo)域。該類模型關(guān)注不同領(lǐng)域間的重疊實體[1,但與基于共享實體表示的跨域推薦模型不同,基于域間映射的模型是通過重疊實體學(xué)習(xí)一個映射函數(shù),通過該映射函數(shù)來建立領(lǐng)域之間的關(guān)系。當(dāng)一個用戶在源域上是活躍用戶,在目標(biāo)域上是冷啟動用戶時,就可以通過該映射函數(shù)得到用戶在目標(biāo)域上的特征表示。

    EMCDR[7是第一個域間映射的模型。其對每個領(lǐng)域的評分矩陣進(jìn)行矩陣分解得到領(lǐng)域內(nèi)每個用戶和物品的特征表示,然后利用重疊實體訓(xùn)練一個映射函數(shù),使得映射之后的用戶表示接近于目標(biāo)域上的用戶表示12。TMCDR[13將跨域推薦分為了Transfer階段和Meta階段。Transfer階段使用所有的實體在源域和目標(biāo)域上進(jìn)行預(yù)訓(xùn)練,得到源域和目標(biāo)域上用戶和物品的特征表示,Meta階段借鑒了元學(xué)習(xí)的思想,并提出了一種面向任務(wù)的優(yōu)化方法,直接使用任務(wù)標(biāo)簽來優(yōu)化元網(wǎng)絡(luò),即通過得分/排序的方式做訓(xùn)練。DCDCSR[14學(xué)習(xí)的是從目標(biāo)域到標(biāo)準(zhǔn)域的映射函數(shù)。標(biāo)準(zhǔn)域即通過矩陣稀疏度將源域和目標(biāo)域融合到一起的特征空間。特征空間被認(rèn)為是融合了多個領(lǐng)域信息的一般化的標(biāo)準(zhǔn)領(lǐng)域。DCDSCR同樣是利用重疊實體來學(xué)習(xí)映射函數(shù),之后利用該函數(shù)將多個領(lǐng)域的用戶特征映射到標(biāo)準(zhǔn)領(lǐng)域進(jìn)行推薦。PTUPCDR[15學(xué)習(xí)一個元網(wǎng)絡(luò),用戶在源域上的特征表示作為輸入,并為每個用戶生成個性化的特征映射橋。DCDIR[16在構(gòu)建的知識圖譜上設(shè)計了一種基于元路徑的方法。在源域中,模型使用門控循環(huán)單元(GRU)來模擬用戶的動態(tài)興趣。在獲得兩個域間重疊用戶的隱特征后,利用MLP學(xué)習(xí)兩個域之間的特征映射函數(shù)。SSCDR[17認(rèn)為基于映射的模型中,映射函數(shù)的好壞受重疊實體比例的影響很大,現(xiàn)實中往往這個重疊比例是很小的,可能會導(dǎo)致映射函數(shù)的學(xué)習(xí)不充分,泛化能力弱。而該模型通過設(shè)計無監(jiān)督損失函數(shù),將整個模型轉(zhuǎn)化為半監(jiān)督學(xué)習(xí)過程,從而可以利用領(lǐng)域內(nèi)豐富的非重疊實體數(shù)據(jù),使得學(xué)習(xí)得到的映射函數(shù)魯棒性更強,從而提高推薦性能。

    由于基于域間映射的跨域推薦模型需要處理來自不同域的數(shù)據(jù),當(dāng)源域和目標(biāo)域的數(shù)據(jù)都很稀疏時,會降低模型的性能;并且需要大量的數(shù)據(jù)和計算資源來訓(xùn)練映射模型,對于關(guān)聯(lián)性較弱的兩個域,也可能會導(dǎo)致模型性能下降;此外大多數(shù)基于域間映射的跨域推薦模型在訓(xùn)練優(yōu)化階段任務(wù)單一,并且只關(guān)注用戶特征映射,忽略了物品特征映射的可能性。

    2 問題定義

    使用Ds和Dt分別表示源域和目標(biāo)域。源域上的用戶集合為Us={us1,us2,…,usm},用戶usi∈Us的特征為k維的向量usi_emb,物品集合為Is={is1,is2,…,isn},物品isi∈Is的特征為k維的向量isi_emb;目標(biāo)域上的用戶集合為Ut={ut1,ut2,…,utp},用戶uti∈Ut的特征為k維的向量uti_emb,物品集合It={it1,it2,…,itq},物品iti∈It的特征為k維的向量iti_emb。如表1所示。

    用戶u∈Us在源域的交互記錄為Hs={i1,i2,…},其中ii∈Is;用戶u∈Ut在目標(biāo)域的交互記錄為Ht={i1,i2,…},其中ii∈It。u對于H中每一個交互過的物品都有對應(yīng)的0到5分的評分和評論信息,評分集合為R={r1,r2,…},評論集合為C={c1,c2,…},如果評分在3分及以上,則視為用戶對該物品的情感偏好是正向的,即pi=1,否則pi=0,情感偏好集合為P={p1,p2,…}。

    Uo表示重疊用戶,即在Ds和Dt上都有交互記錄的用戶,Ucs表示冷啟動用戶,即在Ds上有交互記錄,在Dt上沒有交互記錄的用戶。對于一個給定的冷啟動用戶u∈Ucs,最終目標(biāo)是預(yù)測u對于Dt上的物品i∈It的評分u,i:

    u←i=maxi∈ItMTFMN(u,i)(1)

    3 多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型

    3.1 模型結(jié)構(gòu)

    本節(jié)詳細(xì)介紹了多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型。如圖1所示,模型分為了3個部分:①特征提取階段:使用卷積神經(jīng)網(wǎng)絡(luò)從用戶評論中提取用戶特征,使用谷歌預(yù)訓(xùn)練詞向量模型對物品特征進(jìn)行編碼;②特征映射階段:用戶特征映射網(wǎng)絡(luò)將用戶在源域的特征映射到目標(biāo)域,物品特征映射網(wǎng)絡(luò)將用戶在源域交互過的物品特征映射到目標(biāo)域;③多任務(wù)訓(xùn)練優(yōu)化階段:這一階段將完成用戶特征映射差值最小化,物品特征映射差值最小化,偏好預(yù)測和評分預(yù)測4個任務(wù),通過這4個任務(wù)來完成整個模型的訓(xùn)練優(yōu)化。

    3.2 用戶特征提取

    給定用戶在源域或目標(biāo)域上的所有交互記錄H={i1,i2,…},為了捕獲用戶對于當(dāng)前域上物品的全局偏好,使用了卷積操作,用n個卷積窗口大小為s的卷積濾波器來提取用戶特征,最后得到一個k維度的向量來表示用戶特征,即usi_emb或uti_emb。

    3.3 特征映射

    用戶特征映射網(wǎng)絡(luò)(user mapping network)和物品特征映射網(wǎng)絡(luò)(item mapping network)均使用MLP作為基本結(jié)構(gòu)。采用MLP作為基本結(jié)構(gòu)具有以下優(yōu)點:首先,輸入特征和輸出特征的維度一致,MLP可以很好的捕獲需要映射的特征;其次,MLP是一種非線性的變換,比一般的線性映射更靈活,最后,MLP具有非常強的自適應(yīng)學(xué)習(xí)能力。為了更好更快地學(xué)習(xí)輸入到輸出的映射關(guān)系,加快網(wǎng)絡(luò)訓(xùn)練速度,提高網(wǎng)絡(luò)的泛化能力,使用了激活函數(shù)prelu。prelu激活函數(shù)可以自適應(yīng)地學(xué)習(xí)矯正線性單元的參數(shù),提高模型準(zhǔn)確率,并且在訓(xùn)練過程中降低模型過擬合的風(fēng)險,具體如下:

    1)prelu激活函數(shù)

    prelu(xi)=xiif xigt;0

    aixiif xi≤0(2)

    2)用戶特征映射網(wǎng)絡(luò)

    usi_map_emb=prelu(usi_embWuser+buser)(3)

    其中:usi_emb為源域上的用戶特征;usi_map_emb為該用戶映射后的特征。

    3)物品特征映射網(wǎng)絡(luò)

    isi_map_emb=prelu(isi_embWitem+bitem)(4)

    其中:isi_emb為源域上的物品特征;isi_map_emb為該物品映射后的特征。

    3.4 多任務(wù)優(yōu)化

    所有任務(wù)均使用重疊用戶的數(shù)據(jù)(重疊用戶數(shù)量為k)。

    1)任務(wù)一:用戶特征映射差值最小化任務(wù)。首先通過用戶特征映射網(wǎng)絡(luò)將重疊用戶在源域的用戶特征映射到目標(biāo)域:

    usi_map_emb=prelu(usi_embWuser+buser)(5)

    其中:usi_emb為重疊用戶在源域上的特征;usi_map_emb為該用戶映射后的特征。然后計算所有重疊用戶映射后的特征與該用戶在目標(biāo)域的特征的歐式距離之和,作為任務(wù)一的損失值:

    Ltask1=min∑ki=1dist(usi_map_emb,uti_emb)(6)

    其中:usi_map_emb為重疊用戶映射后的特征;uti_emb為該用戶在目標(biāo)域上的用戶特征;dist為歐式距離計算公式。假設(shè)X和Y分別為k維度的向量,則X和Y的歐式距離計算公式如下:

    dist(X,Y)=∑ki=1(xi-yi)2(7)

    2)任務(wù)二:物品特征映射差值最小化。首先通過物品特征映射網(wǎng)絡(luò)將重疊用戶在源域交互過的物品的特征映射到目標(biāo)域:

    isi_map_emb=prelu(isi_embWitem+bitem)(8)

    其中:isi_emb為源域上的物品特征;isi_map_emb為該物品映射后的特征。然后對所有物品映射后的特征做池化操作:

    imap_emb=pooling(is1_map_emb,is2_map_emb,…)(9)

    式中:pooling為平均池化,使用平均池化是為了使得物品特征不受個別物品特征的影響,同時也使得物品特征映射差值最小化任務(wù)更具可解釋性。然后對該用戶在目標(biāo)域上交互物品的特征做平均池化操作:

    iemb=pooling(it1_emb,it2_emb,…)(10)

    計算所有重疊用戶的imap_emb與iemb的歐式距離之和,作為任務(wù)二的損失值:

    Ltask2=min∑ki=1dist(imap_emb,iemb)(11)

    3)任務(wù)三:偏好預(yù)測任務(wù)。

    首先將重疊用戶映射后的特征usi_emb與其在目標(biāo)域交互物品的特征iti_emb輸入到preference predict層,預(yù)測用戶對物品的偏好u,i,用戶對物品的真實偏好為pu,i。u,i與pu,i的二分類交叉熵?fù)p失函數(shù)記作J(pu,i,u,i):

    J(pu,i,u,i)=pu,ilgu,i+(1-pu,i)lg(1-u,i)(12)

    然后計算所有重疊用戶的結(jié)果,作為任務(wù)三的損失值:

    Ltask3=∑u∈UoJ(pu,i,u,i)(13)

    4)任務(wù)四:評分預(yù)測任務(wù)。

    首先將重疊用戶映射后的特征usi_emb與該用戶在目標(biāo)域交互物品的特征iti_emb輸入到affine predict層,預(yù)測用戶對物品的評分R^u,i,用戶對物品的真實評分為Ru,i。R^u,i與Ru,i的均方誤差損失函數(shù)記作K(Ru,i,R^u,i):

    K(Ru,i,R^u,i)=(Ru,i-R^u,i)2(14)

    然后計算所有重疊用戶的結(jié)果,作為任務(wù)四的損失值:

    Ltask4=∑u∈UoK(Ru,i,R^u,i)(15)

    3.5 優(yōu)化策略

    訓(xùn)練階段均使用重疊用戶Uo的數(shù)據(jù)進(jìn)行。將4個任務(wù)的損失值相加作為整個模型優(yōu)化過程中的損失值:

    L=Ltask1+Ltask2+Ltask3+Ltask4(16)

    模型采用Adam優(yōu)化器自適應(yīng)調(diào)整每個任務(wù)中參數(shù)的學(xué)習(xí)率來提高優(yōu)化效果。

    4 實 驗

    在本節(jié)中,本文將使用Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集來評估模型性能,目的是回答以下問題:

    1)本文提出的模型和已有的主流跨域推薦模型相比表現(xiàn)如何?

    2)模型中關(guān)鍵組件對模型性能有何影響?

    4.1 數(shù)據(jù)集

    本文使用了Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集來評估模型性能。選取了兩個數(shù)據(jù)集里3個最大的域中的數(shù)據(jù),分別是Book,Movie和Music。數(shù)據(jù)集中各個域的統(tǒng)計信息如表2所示。對于每個域上的重疊用戶,隨機(jī)抽取50%作為冷啟動用戶,即這部分用戶在目標(biāo)域上的任何信息對于整個模型來說是不可見的,僅用于測試;剩余的50%用于訓(xùn)練,并且為了模擬出不同比例的重疊用戶,在這50%的重疊用戶中按照比例φ∈{100%,50%,20%,10%,5%}隨機(jī)抽取數(shù)據(jù)構(gòu)建數(shù)據(jù)集[17??缬蛲扑]場景及重疊用戶數(shù)據(jù)統(tǒng)計如表3所示,其中ratio為重疊用戶在源域和目標(biāo)域中所占比例。

    4.2 對比模型

    本文使用以下模型和MTFMN進(jìn)行對比。

    EMCDR[7:首次提出了跨域推薦三步優(yōu)化范式,即首先利用矩陣分解得到源域和目標(biāo)域上用戶和物品的隱向量,再學(xué)習(xí)隱向量從源域到目標(biāo)域的映射,最后進(jìn)行跨域推薦。

    CMF[2:提出了一個聯(lián)合矩陣因子分解模型,當(dāng)一個實體參與多個關(guān)系時,同時對多個矩陣進(jìn)行因子分解,在因子之間共享參數(shù)。從而實現(xiàn)跨域推薦。

    CDLFM[19:基于用戶的評分行為,融合了3種用戶相似度衡量標(biāo)準(zhǔn)作為正則化參數(shù)來完成矩陣分解。通過考慮相似用戶和基于梯度增強樹的集成學(xué)習(xí)方法,使用基于鄰域映射方法來替代多層感知機(jī)。

    DFM[20:是RC-DFM的簡易版,其利用aSDAE[21從評分矩陣中生成用戶表示,再使用多層感知機(jī)進(jìn)行映射。

    R-DFM[20:是RC-DFM的另一種變形。其利用aSDAE[21將評分矩陣和評論信息結(jié)合,生成用戶表示,再使用多層感知機(jī)進(jìn)行映射。

    ANR[22:一種單領(lǐng)域基于用戶評論的推薦方法。

    4.3 實驗設(shè)置

    本文對所有的用戶數(shù)據(jù)和物品數(shù)據(jù)進(jìn)行了預(yù)處理,過濾掉交互次數(shù)小于10次的用戶和被交互次數(shù)小于30次的物品[23;從用戶評論信息中抽取用戶特征時,過濾掉了英文停用詞,為了提高抽取特征的準(zhǔn)確性,對一些錯誤的單詞進(jìn)行了糾正,并且設(shè)置了評論信息的最大長度為500,對長度大于500的評論信息進(jìn)行了截斷;進(jìn)行卷積操作時,使用了50個卷積窗口大小為3的卷積濾波器來提取用戶特征;使用谷歌預(yù)訓(xùn)練詞向量模型[24對物品特征進(jìn)行編碼(物品描述,物品類別,物品標(biāo)題)。最后編碼完成的用戶特征和物品特征維度為128;整個模型訓(xùn)練優(yōu)化過程中,設(shè)置學(xué)習(xí)率為0.001,每個跨域場景訓(xùn)練50輪。最后采用MSE來評估模型的性能,MSE被廣泛用于推薦系統(tǒng)的評估[22-27

    MSE=1|O|∑(u,i)∈O(ru,i-u,i)2(17)

    其中,O為從重疊用戶中隨機(jī)抽取50%作為冷啟動用戶的測試集,用于驗證模型性能。

    5 推薦性能對比

    本節(jié)總結(jié)了所有模型在兩個數(shù)據(jù)集中不同推薦場景下的性能,如表4、表5、圖2、圖3所示。根據(jù)實驗結(jié)果,得出如下結(jié)論:①在Amazon數(shù)據(jù)集上,MTFMN相較于性能最優(yōu)的ANR,在場景1和場景2下MSE分別平均降低了約2.5%和1.8%,盡管ANR是單領(lǐng)域上基于用戶評論的推薦模型,但實驗結(jié)果證明了跨域推薦場景中引入用戶評論來建模用戶特征表示的有效性;CMF在所有場景下性能最差,MTFMN相較于CMF在3個場景下MSE分別平均降低了約6%、4.2%、2.6%,證明了CMF僅僅通過聯(lián)合矩陣因子分解來建立共享實體表示是不足以提升模型性能的;R-DFM結(jié)合了用戶評分和評論信息來建模用戶特征表示,與只利用用戶評分矩陣來建模用戶特征表示的EMCDR和DFM相比,MSE均有所下降,因此本文提出的MTFMN借鑒了R-DFM中建模用戶特征表示的方法,并基于此構(gòu)建物品特征表示,提出了物品特征轉(zhuǎn)移網(wǎng)絡(luò)。與R-DFM相比,在場景1和場景2下MSE分別平均下降了約3.6%和2%,進(jìn)一步證明了利用用戶評分和評論信息來構(gòu)建用戶特征表示的有效性,同時證明了本文提出的物品特征映射網(wǎng)絡(luò)中構(gòu)建物品特征方法的有效性。②在豆瓣數(shù)據(jù)集上,MTFMN相較于對比模型中最優(yōu)的R-DFM和性能最差的CDLFM,在3個場景下MSE分別平均下降了約0.2%和2%、0.21%和3.1%、0.3%和2.2%。

    通過以上實驗結(jié)果證明了模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

    6 消融研究

    為了證明物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略對整個模型性能的影響,本文提出了MTFMN的兩個變體,并且在Amazon數(shù)據(jù)集上做了消融研究。

    1)MTFMN-1:該變體僅對用戶特征進(jìn)行映射,刪除了模型結(jié)構(gòu)中的物品特征映射網(wǎng)絡(luò);多任務(wù)訓(xùn)練優(yōu)化階段只完成用戶特征映射差值最小化任務(wù)。提出該變體的目的是為了驗證物品特征映射網(wǎng)絡(luò)以及多任務(wù)訓(xùn)練優(yōu)化階段中物品特征映射差值最小化任務(wù)對整個模型是有積極影響的。

    2)MTFMN-2:該變體在整個模型訓(xùn)練優(yōu)化階段只通過預(yù)測用戶對物品的評分來完成模型的優(yōu)化。目的是為了驗證多任務(wù)訓(xùn)練優(yōu)化對整個模型是有積極影響的。

    消融研究結(jié)果如表6、圖4所示。MTFMN-1在把不同比例的重疊用戶作為測試集的情況下,3個場景下的MSE分別平均提升了約14%、10%、24%,表明其性能顯著低于MTFMN,證明了物品特征映射網(wǎng)絡(luò)的有效性;MTFMN-2在把不同比例的重疊用戶作為測試集的情況下,3個場景下的MSE分別平均提升了約4.8%、5.3%、16%,表明其性能顯著低于MTFMN,證明了對映射前后的特征做映射差值最小化任務(wù)以及加入偏好預(yù)測任務(wù)對整個模型的有效性。消融研究結(jié)果證明了模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略對整個模型有正向影響。

    7 結(jié)論與展望

    本文提出了一種多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型MTFMN,重點是引入了物品特征映射網(wǎng)絡(luò)來輔助用戶特征映射網(wǎng)絡(luò)的訓(xùn)練優(yōu)化。相比于傳統(tǒng)的跨域推薦任務(wù),本模型加入了特征映射差值最小化任務(wù)和偏好預(yù)測任務(wù),并通過消融研究證明了物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。下一步將考慮在以下幾個方面展開研究:①用戶偏好演化建模:用戶偏好是動態(tài)變化的,跨域推薦需要能夠及時捕捉用戶偏好的演變。未來的研究可以探索更加精確的用戶偏好動態(tài)建模方法,以提高跨域推薦的準(zhǔn)確性。②多模態(tài)跨域推薦:當(dāng)前的跨域推薦主要是針對單一模態(tài)的數(shù)據(jù)進(jìn)行的,例如用戶交互或物品信息。未來的研究中可以將多模態(tài)數(shù)據(jù)整合到跨域推薦中,如圖像、視頻,語音等。

    參 考 文 獻(xiàn):

    [1] ZANG T Z, ZHU Y, LIU H B, et al. A Survey on Cross-domain Recommendation: Taxonomies, Methods, and Future Directions[J]. ACM, Transactions on Information Systems 2022,41(2):1.

    [2] SINGH A P, GORDON G J. Relational Learning Via Collective Matrix Factorization[C]// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Las Vegas, Nevada, USA, August 24-27, 2008: 650.

    [3] LONI B, SHI Y, LARSON M, et al. Cross-domain Collaborative Filtering with Factorization Machines[C]//Advances in Information Retrieval -36th European Conference on IR Research, ECIR 2014, Amsterdam, The Netherlands, April 13-16, 2014. Proceedings (Lecture Notes in Computer Science), 8416: 656.

    [4] CHEN C, ZHANG M, WANG C Y, et al. An Efficient Adaptive Transfer Neural Network for Social-aware Recommendation[C]// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2019, Paris, France, July 21-25, 2019: 225.

    [5] PERERA D, ZIMMERMANN R. Towards Comprehensive Recommender Systems: Timeaware Unified Recommendations Based on Listwise Ranking of Implicit Cross-network Data[C]//In the 34th AAAI Conference on Artificial Intelligence, AAAI 2020, the 32nd Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The 10th AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2020, New York, NY, USA, February 7-12,2020: 189.

    [6] ZHU F, CHEN C C, WANG Y, et al. DTCDR: A Framework for Dual-Target Cross-Domain Recommendation[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management, CIKM 2019, Beijing, China, November 3-7, 2019: 1533.

    [7] MAN T, SHEN H W, JIN X L, et al. Cross-domain Recommendation: An Embedding and Mapping Approach[C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19-25, 2017: 2464.

    [8] ZHU F, WANG Y, CHEN C C, et al. A Graphical and Attentional Framework for Dual Target Cross-domain Recommendation[C]//Proceedings of the 29th International Joint Conference on Artificial Intelligence, IJCAI 2020: 3001.

    [9] ELKAHKY A M, SONG Y, HE X D. A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems[C]//Proceedingsof the 24th International Conference on World Wide Web, WWW 2015, Florence, Italy, May 18-22, 2015: 278.

    [10]PO SEN H, HE X D, GAO J F, et al. Learning Deep Structured Semantic Models for Web Search Using Clickthrough Data[C]//Proceedings of the 22nd ACM International Conference on Information amp; Knowledge Management, 2013: 2333.

    [11]LI P, TUZHILIN A. DDTCDR: Deep Dual Transfer Cross Domain Recommendation[C]//In WSDM’20: The 19th ACM International Conference on Web Search and Data Mining, Houston, TX, USA, February 3-7, 2020: 331.

    [12]XIN X, LIU Z R, CHIN-YEW LIN, et al. Cross-domain Collaborative Filtering with Review Text[C]// Proceedings of the 24th International Joint Conference on Artificial Intelligence, IJCAI 2015, Buenos Aires, Argentina, July 25-31, 2015: 1827.

    [13]ZHU Y C, GE K K, ZHUANG F Z, et al. Transfer-Meta Framework for Cross-domain Recommendation to Cold-Start Users[C]. In SIGIR’21: The 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, Virtual Event, Canada, July 11-15, 2021: 1813.

    [14]ZHU F, CHEN C C, WANG Y, et al. A Deep Framework for Cross-domain and Cross-system Recommendations[J]. Proceedings of the 27th International Joint Conference on Artificial Intelligence, IJCAI 2018, July 13-19, Stockholm, Sweden. 2018: 3711.

    [15]ZHU Y C, TANG Z W, LIU Y D, et al. Personalized Transfer of User Preferences for Cross-domain Recommendation[C]// In WSDM’22: The 15th ACM International Conference on Web Search and Data Mining, Virtual Event / Tempe, AZ, USA, February 21-25, 2022: 1507.

    [16]BI Y, SONG L Q, YAO M Q, et al. DCDIR: A Deep Cross-domain Recommendation System for Cold Start Users in Insurance Domain[C]// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2020, Virtual Event, China, July 25-30, 2020: 1661.

    [17]KANG S K, HWANG J, LEE D, et al. Semi-supervised Learning for Cross-domain Recommendation to Cold-start Users[C]// Proceedings of the 28th ACM International Conference on Information and Knowledge Management, CIKM 2019, Beijing, China, November 3-7, 2019: 1563.

    [18]HER N, MCAULEY J. Ups and Downs: Modeling the Visual Evolution of Fashion Trends with One-class Collaborative Filtering[C]// Proceedings of the 25th International Conference on World Wide Web, 2016: 507.

    [19]WANG X H, PENG Z H, WANG S Z, et al. Cross-domain Recommendation for Cold-Start Users via Neighborhood Based Feature Mapping[C]// In Database Systems for Advanced Applications-23rd International Conference, DASFAA 2018, Gold Coast, QLD, Australia, May 21-24, Proceedings, Part I (Lecture Notes in Computer Science), 2018, 10827: 158.

    [20]FU W J, PENG Z H, WANG S Z, et al. Deeply Fusing Reviews and Contents for Cold Start Users in Cross-domain Recommendation Systems[C]// In the 33rd AAAI Conference on Artificial Intelligence, AAAI 2019, the 31st Innovative Applications of Artificial Intelligence Conference, IAAI 2019, the 9th AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2019, Honolulu, Hawaii, USA, January 27-February 1, 2019: 94.

    [21]DONG X, YU L, WU Z H, et al. A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems[C]// Proceedings of the AAAI Conference on Artificial Intelligence, 2017: 1309.

    [22]CHIN J Y, ZHAO K Q, JOTY S, et al. ANR: Aspect-based Neural Recommender[C]// Proceedings of the 27th ACM International Conference on Information amp; Knowledge Management, 2018: 147.

    [23]HE X N, LIAO L Z, ZHANG H W, et al. Neural Collaborative Filtering[C]// Proceedings of the 26th International Conference on World Wide Web, 2017: 173.

    [24]MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed Representations of Words and Phrases and Their Compositionality[J]. Advances in Neural Information Processing Systems, NIPS 2013: 3111.

    [25]LI C L, QI Y W, WU L B, et al. A Capsule Network for Recommendation and Explaining What You Like and Dislike[C]// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019: 275.

    [26]TAY Y, LUU A T, HUI S C. Multi-pointer Co-attention Networks for Recommendation[C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining, 2018: 2309.

    [27]WU L B, CONG Q, LI C L, et al. A Context-aware User-item Representation Learning for Item Recommendation[J]. ACM Transactions on Information Systems (TOIS), 2019, 37(2): 1.

    (編輯:溫澤宇)

    猜你喜歡
    推薦系統(tǒng)冷啟動數(shù)據(jù)挖掘
    輕型汽油車實際行駛排放試驗中冷啟動排放的評估
    基于學(xué)習(xí)興趣的冷啟動推薦模型
    客聯(lián)(2021年2期)2021-09-10 07:22:44
    探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
    基于并行計算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
    電力與能源(2017年6期)2017-05-14 06:19:37
    基于用戶偏好的信任網(wǎng)絡(luò)隨機(jī)游走推薦模型
    基于個性化的協(xié)同過濾圖書推薦算法研究
    個性化推薦系統(tǒng)關(guān)鍵算法探討
    淺談Mahout在個性化推薦系統(tǒng)中的應(yīng)用
    一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
    軍事技能“冷啟動”式訓(xùn)練理念初探
    毛片一级片免费看久久久久| 久久久久久久久久成人| 午夜日本视频在线| 一级毛片电影观看| 美女福利国产在线 | 久久精品人妻少妇| 成人高潮视频无遮挡免费网站| 国产69精品久久久久777片| 熟妇人妻不卡中文字幕| 国产伦精品一区二区三区四那| 日本黄色日本黄色录像| 成人毛片a级毛片在线播放| 国产黄频视频在线观看| 国产精品秋霞免费鲁丝片| 久久久久视频综合| 男女边吃奶边做爰视频| 狂野欧美白嫩少妇大欣赏| 日韩视频在线欧美| 制服丝袜香蕉在线| 一级a做视频免费观看| 99久久精品国产国产毛片| 尤物成人国产欧美一区二区三区| 夜夜看夜夜爽夜夜摸| 国产成人91sexporn| 欧美zozozo另类| 色视频www国产| 免费看不卡的av| 久久精品人妻少妇| 超碰av人人做人人爽久久| 亚洲精品成人av观看孕妇| 国产欧美日韩精品一区二区| 日日啪夜夜撸| 校园人妻丝袜中文字幕| 国产一级毛片在线| h日本视频在线播放| 精品国产乱码久久久久久小说| 色视频在线一区二区三区| 麻豆乱淫一区二区| av在线app专区| 人妻 亚洲 视频| 伊人久久精品亚洲午夜| 夫妻性生交免费视频一级片| 欧美xxⅹ黑人| 国产黄色免费在线视频| 观看av在线不卡| 最新中文字幕久久久久| 日日撸夜夜添| 欧美国产精品一级二级三级 | 九色成人免费人妻av| 一级二级三级毛片免费看| 毛片一级片免费看久久久久| 国产片特级美女逼逼视频| 性色av一级| videos熟女内射| 一二三四中文在线观看免费高清| 最近手机中文字幕大全| 久久久久精品性色| 亚洲图色成人| av天堂中文字幕网| 亚州av有码| 我要看黄色一级片免费的| 观看免费一级毛片| 欧美精品人与动牲交sv欧美| 国产综合精华液| 欧美3d第一页| 人妻一区二区av| 国产精品成人在线| 在线观看免费高清a一片| 欧美日韩亚洲高清精品| 久久国产精品大桥未久av | 91精品国产国语对白视频| 欧美 日韩 精品 国产| 不卡视频在线观看欧美| 日韩不卡一区二区三区视频在线| 男人和女人高潮做爰伦理| 99久久人妻综合| 女人久久www免费人成看片| 精品国产乱码久久久久久小说| 久久6这里有精品| 美女视频免费永久观看网站| 国产高清不卡午夜福利| 九色成人免费人妻av| 简卡轻食公司| 国产伦在线观看视频一区| av在线观看视频网站免费| 成人影院久久| 久久久久久人妻| 国产精品.久久久| 日韩不卡一区二区三区视频在线| 久久国内精品自在自线图片| 成人一区二区视频在线观看| 日本色播在线视频| 六月丁香七月| 大又大粗又爽又黄少妇毛片口| 成人毛片a级毛片在线播放| 亚洲国产欧美人成| 国产精品伦人一区二区| 欧美区成人在线视频| 少妇人妻久久综合中文| 女性被躁到高潮视频| 男人添女人高潮全过程视频| 国产精品无大码| 91在线精品国自产拍蜜月| 国产亚洲一区二区精品| 波野结衣二区三区在线| av免费在线看不卡| 久久久久网色| 成人午夜精彩视频在线观看| 久久国产乱子免费精品| 亚洲高清免费不卡视频| 欧美一级a爱片免费观看看| 永久免费av网站大全| 欧美另类一区| 久久久久久久大尺度免费视频| 女人久久www免费人成看片| 国产成人91sexporn| 日本一二三区视频观看| 久久久欧美国产精品| 午夜日本视频在线| 偷拍熟女少妇极品色| 国产精品伦人一区二区| 精品熟女少妇av免费看| 成人影院久久| 精品人妻一区二区三区麻豆| 欧美精品一区二区大全| 九色成人免费人妻av| 日日摸夜夜添夜夜爱| 成年av动漫网址| 久久这里有精品视频免费| 91午夜精品亚洲一区二区三区| 超碰av人人做人人爽久久| 国产91av在线免费观看| 成人毛片60女人毛片免费| 91久久精品国产一区二区三区| 色视频www国产| 大香蕉久久网| 日韩av免费高清视频| 青春草国产在线视频| 十八禁网站网址无遮挡 | 亚洲高清免费不卡视频| 另类亚洲欧美激情| 搡女人真爽免费视频火全软件| 日本一二三区视频观看| 久久久久久久久久成人| 五月玫瑰六月丁香| 久热久热在线精品观看| 三级国产精品欧美在线观看| 国产黄片视频在线免费观看| 美女中出高潮动态图| 国产精品成人在线| av不卡在线播放| 久久毛片免费看一区二区三区| 国产一区二区三区av在线| 毛片一级片免费看久久久久| 国产午夜精品一二区理论片| 日本wwww免费看| 毛片女人毛片| 久久精品国产亚洲av涩爱| 亚洲美女视频黄频| 国产老妇伦熟女老妇高清| 久久亚洲国产成人精品v| 久久精品久久久久久噜噜老黄| 国语对白做爰xxxⅹ性视频网站| 男人添女人高潮全过程视频| 免费观看a级毛片全部| 精品久久久精品久久久| 伦精品一区二区三区| 少妇人妻久久综合中文| 51国产日韩欧美| 日韩成人伦理影院| 搡女人真爽免费视频火全软件| 中文字幕精品免费在线观看视频 | 国产黄片视频在线免费观看| 成人一区二区视频在线观看| 日本wwww免费看| 黄色视频在线播放观看不卡| 人妻制服诱惑在线中文字幕| 欧美少妇被猛烈插入视频| 国产精品久久久久久久久免| 国内少妇人妻偷人精品xxx网站| 最近中文字幕高清免费大全6| 国产亚洲av片在线观看秒播厂| 亚洲精品aⅴ在线观看| 日本av手机在线免费观看| 最近最新中文字幕大全电影3| 亚洲精品乱码久久久久久按摩| 国产av国产精品国产| 一级爰片在线观看| 国产真实伦视频高清在线观看| 亚洲国产最新在线播放| 国产又色又爽无遮挡免| 国产精品一及| 国产视频内射| 国产高潮美女av| 黄色怎么调成土黄色| 国产一区二区三区综合在线观看 | 日韩在线高清观看一区二区三区| 亚洲精品色激情综合| 国产亚洲一区二区精品| 交换朋友夫妻互换小说| 亚洲国产最新在线播放| 亚洲欧美日韩东京热| 色吧在线观看| 中文字幕亚洲精品专区| 午夜日本视频在线| 热99国产精品久久久久久7| 欧美人与善性xxx| 18禁裸乳无遮挡动漫免费视频| 麻豆精品久久久久久蜜桃| 亚洲av二区三区四区| 欧美少妇被猛烈插入视频| 欧美成人午夜免费资源| 蜜臀久久99精品久久宅男| 一二三四中文在线观看免费高清| 中文资源天堂在线| 少妇的逼好多水| 国产精品蜜桃在线观看| 免费高清在线观看视频在线观看| 五月天丁香电影| 久久久久国产网址| 国产视频首页在线观看| 夜夜爽夜夜爽视频| 精品久久久久久电影网| 一级av片app| 夜夜看夜夜爽夜夜摸| 国产精品女同一区二区软件| 免费人成在线观看视频色| 国产一区二区在线观看日韩| 国产乱来视频区| 国产av精品麻豆| 青春草亚洲视频在线观看| 精品亚洲乱码少妇综合久久| 哪个播放器可以免费观看大片| 亚洲精品日本国产第一区| 久久精品国产亚洲av涩爱| 自拍欧美九色日韩亚洲蝌蚪91 | 欧美激情极品国产一区二区三区 | 国产精品一区二区三区四区免费观看| 久久人人爽人人爽人人片va| 97在线人人人人妻| av在线观看视频网站免费| 久久国内精品自在自线图片| 日本黄色日本黄色录像| 亚洲国产精品一区三区| 日韩欧美一区视频在线观看 | videossex国产| 日日摸夜夜添夜夜添av毛片| 精品久久久久久久久av| 一个人免费看片子| 一区二区av电影网| 女的被弄到高潮叫床怎么办| 亚洲真实伦在线观看| 久久国内精品自在自线图片| 大陆偷拍与自拍| 我要看日韩黄色一级片| 久久精品熟女亚洲av麻豆精品| 日日啪夜夜撸| 久久6这里有精品| 国产精品99久久99久久久不卡 | 国产精品一区二区性色av| 国产精品欧美亚洲77777| 超碰97精品在线观看| 网址你懂的国产日韩在线| 2018国产大陆天天弄谢| 亚洲国产精品成人久久小说| 久久久欧美国产精品| 久久久久精品久久久久真实原创| 高清欧美精品videossex| 国产伦在线观看视频一区| 高清日韩中文字幕在线| 国产亚洲一区二区精品| 日本-黄色视频高清免费观看| 一边亲一边摸免费视频| 国产中年淑女户外野战色| 黄色配什么色好看| 少妇的逼好多水| 欧美成人精品欧美一级黄| 欧美日韩综合久久久久久| 黑人猛操日本美女一级片| 亚洲图色成人| 午夜日本视频在线| 欧美成人一区二区免费高清观看| 久久这里有精品视频免费| 精品人妻视频免费看| 亚洲国产最新在线播放| 在线观看免费视频网站a站| 亚洲天堂av无毛| 男人爽女人下面视频在线观看| 日韩,欧美,国产一区二区三区| 色吧在线观看| 在线免费观看不下载黄p国产| 久久精品国产亚洲av涩爱| 免费不卡的大黄色大毛片视频在线观看| 最近的中文字幕免费完整| 久久鲁丝午夜福利片| 99久久中文字幕三级久久日本| 三级国产精品片| 99国产精品免费福利视频| 日韩制服骚丝袜av| a 毛片基地| 国产成人精品福利久久| 日韩av免费高清视频| 国产无遮挡羞羞视频在线观看| 高清午夜精品一区二区三区| 欧美精品国产亚洲| 嘟嘟电影网在线观看| 国产精品一区二区在线观看99| 亚洲一级一片aⅴ在线观看| 欧美精品亚洲一区二区| 免费看光身美女| 国产成人精品婷婷| 极品教师在线视频| 天堂中文最新版在线下载| 亚洲精品国产成人久久av| 欧美成人午夜免费资源| 亚洲精品视频女| 美女福利国产在线 | 免费观看在线日韩| 国产男女内射视频| 如何舔出高潮| 欧美三级亚洲精品| av一本久久久久| 妹子高潮喷水视频| 欧美高清成人免费视频www| 日本与韩国留学比较| 天美传媒精品一区二区| 久久精品夜色国产| 欧美激情极品国产一区二区三区 | 少妇裸体淫交视频免费看高清| 中文在线观看免费www的网站| 男的添女的下面高潮视频| 青春草亚洲视频在线观看| 内地一区二区视频在线| 最近中文字幕2019免费版| 日韩av免费高清视频| 一级av片app| 国产av码专区亚洲av| 国产亚洲欧美精品永久| 国产视频内射| 欧美日韩综合久久久久久| 男人和女人高潮做爰伦理| 高清视频免费观看一区二区| 久久久成人免费电影| 亚洲国产色片| 不卡视频在线观看欧美| 国产精品国产三级国产av玫瑰| 久久精品国产亚洲网站| 国产精品一区二区在线观看99| 97在线视频观看| 久久久久久久亚洲中文字幕| 一本—道久久a久久精品蜜桃钙片| 老熟女久久久| 一级毛片 在线播放| 亚洲国产精品国产精品| 一级毛片 在线播放| 尤物成人国产欧美一区二区三区| 国产伦精品一区二区三区视频9| 99热这里只有精品一区| 五月伊人婷婷丁香| 狠狠精品人妻久久久久久综合| 五月伊人婷婷丁香| 久久久久久人妻| 日韩精品有码人妻一区| 亚洲图色成人| 亚洲一级一片aⅴ在线观看| 精品亚洲成国产av| 18禁裸乳无遮挡动漫免费视频| 精品亚洲成国产av| 777米奇影视久久| 亚洲第一av免费看| 国产精品免费大片| 国产成人午夜福利电影在线观看| 欧美一区二区亚洲| 国产又色又爽无遮挡免| 天堂8中文在线网| 国产成人一区二区在线| 久久97久久精品| 看免费成人av毛片| 少妇猛男粗大的猛烈进出视频| 亚洲中文av在线| 啦啦啦视频在线资源免费观看| 色综合色国产| 精品久久久精品久久久| 色综合色国产| 亚洲av电影在线观看一区二区三区| 国产免费又黄又爽又色| 日韩av在线免费看完整版不卡| 在线天堂最新版资源| 超碰av人人做人人爽久久| 另类亚洲欧美激情| 国产欧美另类精品又又久久亚洲欧美| 日本黄色片子视频| 成人毛片a级毛片在线播放| 一级毛片我不卡| 五月开心婷婷网| 色视频在线一区二区三区| 国产成人午夜福利电影在线观看| 爱豆传媒免费全集在线观看| 国产无遮挡羞羞视频在线观看| 免费看光身美女| 国产欧美另类精品又又久久亚洲欧美| 亚洲国产精品国产精品| 亚洲av日韩在线播放| 一本色道久久久久久精品综合| 亚洲av综合色区一区| 国产女主播在线喷水免费视频网站| 午夜福利视频精品| 欧美激情国产日韩精品一区| 最近最新中文字幕免费大全7| 欧美成人精品欧美一级黄| 边亲边吃奶的免费视频| 亚洲av中文av极速乱| 日本爱情动作片www.在线观看| 久久亚洲国产成人精品v| 狂野欧美激情性xxxx在线观看| 少妇的逼水好多| 日韩精品有码人妻一区| 超碰97精品在线观看| 91aial.com中文字幕在线观看| 99热全是精品| 边亲边吃奶的免费视频| 男人和女人高潮做爰伦理| 99视频精品全部免费 在线| 一区二区三区四区激情视频| 欧美人与善性xxx| 少妇裸体淫交视频免费看高清| 久久久欧美国产精品| 亚洲av男天堂| av黄色大香蕉| 亚洲精品久久久久久婷婷小说| 人妻少妇偷人精品九色| 国产女主播在线喷水免费视频网站| 国产精品熟女久久久久浪| 免费观看在线日韩| 午夜福利影视在线免费观看| 精品酒店卫生间| 超碰av人人做人人爽久久| 成人午夜精彩视频在线观看| 一边亲一边摸免费视频| 日本欧美视频一区| 在线观看三级黄色| 国产日韩欧美在线精品| 日韩三级伦理在线观看| 国产免费又黄又爽又色| 国产男女内射视频| 赤兔流量卡办理| 亚洲国产欧美人成| 99热这里只有是精品50| 最黄视频免费看| 青春草国产在线视频| 日日啪夜夜撸| 精品人妻熟女av久视频| 成人毛片60女人毛片免费| 美女cb高潮喷水在线观看| 成人亚洲精品一区在线观看 | 亚洲精品日韩av片在线观看| 97在线视频观看| 亚洲av在线观看美女高潮| 草草在线视频免费看| 午夜福利影视在线免费观看| 久久av网站| 国产精品爽爽va在线观看网站| 一级爰片在线观看| 色吧在线观看| av在线app专区| 少妇人妻久久综合中文| videos熟女内射| 最黄视频免费看| 九九爱精品视频在线观看| 久久精品国产自在天天线| 免费看日本二区| 日本av免费视频播放| 秋霞在线观看毛片| 亚洲一区二区三区欧美精品| 黄色视频在线播放观看不卡| 亚洲av欧美aⅴ国产| 国产精品嫩草影院av在线观看| 肉色欧美久久久久久久蜜桃| 99久久精品国产国产毛片| 午夜福利在线观看免费完整高清在| 中文字幕精品免费在线观看视频 | 日韩制服骚丝袜av| 亚洲不卡免费看| 久久国产乱子免费精品| 欧美成人精品欧美一级黄| 免费播放大片免费观看视频在线观看| 国产爽快片一区二区三区| 一区二区av电影网| 高清毛片免费看| 99久久精品热视频| 又爽又黄a免费视频| 亚洲国产精品专区欧美| 99久久人妻综合| 亚洲一级一片aⅴ在线观看| 亚洲av成人精品一区久久| 啦啦啦在线观看免费高清www| 成年女人在线观看亚洲视频| 色哟哟·www| 少妇的逼水好多| 超碰av人人做人人爽久久| 黄色一级大片看看| 欧美一区二区亚洲| 内射极品少妇av片p| 综合色丁香网| 国产成人freesex在线| 校园人妻丝袜中文字幕| 亚洲久久久国产精品| 国产综合精华液| 国产片特级美女逼逼视频| 欧美精品人与动牲交sv欧美| 狂野欧美激情性bbbbbb| 午夜日本视频在线| 免费看av在线观看网站| 亚洲欧美成人综合另类久久久| 中文字幕人妻熟人妻熟丝袜美| av又黄又爽大尺度在线免费看| 成年女人在线观看亚洲视频| 一本—道久久a久久精品蜜桃钙片| 亚洲av成人精品一区久久| 欧美国产精品一级二级三级 | 伦精品一区二区三区| 搡老乐熟女国产| 日韩,欧美,国产一区二区三区| 大片免费播放器 马上看| 欧美区成人在线视频| 夜夜骑夜夜射夜夜干| 欧美xxⅹ黑人| 免费黄色在线免费观看| 午夜福利在线在线| 久久精品久久久久久久性| 日日啪夜夜撸| 婷婷色av中文字幕| 男女下面进入的视频免费午夜| 国产深夜福利视频在线观看| 久久久成人免费电影| 在线观看人妻少妇| 精品久久久久久久久av| 亚洲人成网站在线观看播放| 色视频在线一区二区三区| 久久久久久久久久久免费av| 卡戴珊不雅视频在线播放| 夫妻性生交免费视频一级片| 18禁裸乳无遮挡免费网站照片| 99视频精品全部免费 在线| 国产亚洲精品久久久com| 日本免费在线观看一区| 夜夜骑夜夜射夜夜干| 身体一侧抽搐| 狂野欧美白嫩少妇大欣赏| 日本av免费视频播放| 内地一区二区视频在线| 亚洲自偷自拍三级| 欧美变态另类bdsm刘玥| av又黄又爽大尺度在线免费看| 大又大粗又爽又黄少妇毛片口| 欧美少妇被猛烈插入视频| 午夜免费男女啪啪视频观看| 亚洲国产精品一区三区| 欧美+日韩+精品| 久久 成人 亚洲| 99精国产麻豆久久婷婷| 亚洲国产色片| 日产精品乱码卡一卡2卡三| 免费黄网站久久成人精品| 日韩大片免费观看网站| 日韩欧美一区视频在线观看 | 性色avwww在线观看| 我的老师免费观看完整版| 黄色视频在线播放观看不卡| 日日啪夜夜撸| 香蕉精品网在线| 色婷婷av一区二区三区视频| 成人美女网站在线观看视频| 国产精品一区二区在线不卡| 伦理电影大哥的女人| 国内精品宾馆在线| 亚洲av国产av综合av卡| 亚洲人成网站在线播| 男女边摸边吃奶| 婷婷色av中文字幕| 午夜福利网站1000一区二区三区| 乱系列少妇在线播放| 日本av免费视频播放| av线在线观看网站| 亚洲av福利一区| 日韩在线高清观看一区二区三区| 欧美zozozo另类| 大陆偷拍与自拍| 99热6这里只有精品| 国产伦精品一区二区三区视频9| 精品视频人人做人人爽| 综合色丁香网| 熟女电影av网| a 毛片基地| 精华霜和精华液先用哪个| tube8黄色片| 国产国拍精品亚洲av在线观看| 午夜免费男女啪啪视频观看| 免费观看无遮挡的男女| 男女免费视频国产| 欧美丝袜亚洲另类| 哪个播放器可以免费观看大片| 免费黄频网站在线观看国产| 久久ye,这里只有精品| 伦理电影大哥的女人| 黄色视频在线播放观看不卡| 欧美bdsm另类| 国产色爽女视频免费观看| 亚洲av福利一区| 欧美+日韩+精品| 亚洲aⅴ乱码一区二区在线播放| 美女脱内裤让男人舔精品视频| 狂野欧美激情性bbbbbb| 黄片无遮挡物在线观看| 久久久久久久久久久丰满|