• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型

    2024-01-01 00:00:00安秋雨余艷熊熙
    關(guān)鍵詞:推薦系統(tǒng)冷啟動數(shù)據(jù)挖掘

    摘 要:跨域推薦的關(guān)鍵在于如何有效的將用戶特征從源域映射到目標(biāo)域。以往的研究更關(guān)注用戶特征的映射,忽略了映射前后用戶特征的相似度以及物品特征映射的可能性;同時也只關(guān)注單一任務(wù)。因此針對以上問題提出了一種多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型(MTFMN)。該模型引入了用戶特征映射網(wǎng)絡(luò),將用戶在源域的特征映射到目標(biāo)域,同時還引入了物品特征映射網(wǎng)絡(luò)來輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí);并在網(wǎng)絡(luò)學(xué)習(xí)過程中使用歐氏距離來衡量映射前后用戶和物品特征的相似度,以此作為網(wǎng)絡(luò)學(xué)習(xí)過程中的一個優(yōu)化策略;最后,利用映射后的用戶特征和目標(biāo)域上實際的物品特征完成偏好預(yù)測任務(wù)和評分預(yù)測任務(wù)。在Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集上,MTFMN在評分預(yù)測任務(wù)的準(zhǔn)確性上與主流模型相比有顯著的提升。除此之外,模型還做了消融研究以證明模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

    關(guān)鍵詞:推薦系統(tǒng);跨域推薦;冷啟動;數(shù)據(jù)挖掘;深度學(xué)習(xí)

    DOI:10.15938/j.jhust.2024.04.002

    中圖分類號: TP183

    文獻(xiàn)標(biāo)志碼: A

    文章編號: 1007-2683(2024)04-0010-11

    Multitask Features Mapping Network Model

    for Cross-domain Recommendation

    AN Qiuyu1,2, YU Yan1,2, XIONG Xi1,2

    (1.School of Cybersecurity, Chengdu University of Information Technology, Chengdu 610225, China;

    2.Advanced Cryptography and System Security Key Laboratory of Sichuan Province, Chengdu 610225, China)

    Abstract:The key to cross-domain recommendation is how to effectively map user features from source domain to target domain. Previous studies focused more on mapping user features, ignored the similarity between user features and actual features after mapping and the possibility of item features mapping; it also only focused on a single task. Therefore, a multitask features mapping network model for cross-domain recommendation (MTFMN) is proposed to address the above issues. The model first introduces a user features mapping network, which can map the user features from source domain to target domain. It also introduces an item features mapping network to assist the learning of the user features mapping network. In the process of optimizing, Euclidean distance is used to measure the similarity between user and item features before and after mapping, as an optimization strategy in the process of training. Finally, preference prediction task and rating prediction task are performed on the user features obtained through user features mapping network and the actual item features in target domain. On the Amazon datasets and Douban datasets, MTFMN has significantly improved the accuracy of rating prediction tasks compared to mainstream models. In addition, the model also conducts ablation studies to prove the effectiveness of the item features mapping network and multitask optimization strategy proposed in the model.

    Keywords:recommendation system; cross-domain recommendation; cold start; data mining; deep learning

    0 引 言

    在信息爆炸的時代,推薦系統(tǒng)可以從海量數(shù)據(jù)中為用戶挑選用戶最有可能感興趣的內(nèi)容。媒體、電商、社交網(wǎng)絡(luò)每天都會有數(shù)以萬計的內(nèi)容發(fā)布,這使得用戶很難精確找到感興趣的內(nèi)容。用戶的交互行為可以代表用戶的興趣偏好,良好的興趣偏好構(gòu)建可以推高推薦準(zhǔn)確率,這也促進(jìn)了推薦系統(tǒng)的發(fā)展:精準(zhǔn)分析和建模用戶的興趣偏好,然后從海量候選物品中選擇用戶最有可能感興趣的內(nèi)容向用戶推薦。

    數(shù)據(jù)稀疏性和冷啟動問題是長期限制推薦系統(tǒng)發(fā)展的兩大阻礙。數(shù)據(jù)稀疏性是指用戶在目標(biāo)域中的交互行為很少,很難挖掘用戶的興趣偏好,從而難以為用戶提供個性化推薦;冷啟動問題是指新用戶加入時沒有任何交互行為,無法了解用戶的興趣偏好,無法為其推薦個性化內(nèi)容。因此,數(shù)據(jù)稀疏性和冷啟動問題都是因為缺少用戶交互行為而產(chǎn)生的推薦難題。研究表明,用戶在不同領(lǐng)域的興趣偏好往往是相似的[1。例如電影域和圖書域中,喜好愛情電影的用戶也喜歡言情小說的可能性很大。因此利用從一個域(源域)中收集到的信息為用戶在另一個域(目標(biāo)域)進(jìn)行推薦,一定程度上可以緩解數(shù)據(jù)稀疏性和冷啟動問題。

    基于上述思想,跨域推薦近幾年受到了廣泛的研究和關(guān)注。與傳統(tǒng)的推薦系統(tǒng)相比,跨域推薦更加復(fù)雜。傳統(tǒng)的推薦系統(tǒng)只需要考慮如何從單一域上的用戶歷史交互行為中建模用戶興趣偏好,而對于跨域推薦,除了在域內(nèi)建模用戶興趣偏好之外,還需要考慮如何在域間傳遞特征(即用戶特征映射)。因此跨域推薦的核心任務(wù)就是兩個相關(guān)領(lǐng)域之間的用戶偏好映射[2-5,現(xiàn)有的DTCDR[6、EMCDR[7就是將源域上的用戶特征經(jīng)過線性映射得到用戶在目標(biāo)域上的特征。

    然而,現(xiàn)有跨域推薦局限于關(guān)注用戶特征從源域映射到目標(biāo)域,沒有考慮映射之后用戶特征與實際特征的相似度,忽略了物品特征映射的可能性,任務(wù)單一,只通過評分預(yù)測任務(wù)來優(yōu)化模型。為了消除傳統(tǒng)跨域推薦的局限性,本文認(rèn)為考慮物品特征映射的潛在可能性,并且對映射前后的用戶和物品特征做相似度計算,以及引入用戶對物品情感偏好預(yù)測任務(wù)是至關(guān)重要的,因此本文提出了多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型MTFMN。

    具體來說:①模型引入用戶特征映射網(wǎng)絡(luò),將用戶在源域的特征映射到目標(biāo)域;除此之外,引入了物品特征映射網(wǎng)絡(luò),將用戶在源域交互過的物品特征映射到目標(biāo)域,用于輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)。②用戶特征映射網(wǎng)絡(luò)和物品特征映射網(wǎng)絡(luò)的學(xué)習(xí)過程中,引入歐氏距離來衡量映射前后用戶和物品特征的相似度,以此作為網(wǎng)絡(luò)學(xué)習(xí)過程中的一個優(yōu)化策略。③利用映射后的用戶特征和目標(biāo)域上實際的物品特征完成偏好預(yù)測任務(wù)和評分預(yù)測任務(wù)。模型還做了消融研究,以證明模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

    本文貢獻(xiàn)如下:

    1)提出了物品特征映射網(wǎng)絡(luò),在多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型中輔助用戶特征映射網(wǎng)絡(luò)的學(xué)習(xí)。

    2)提出了特征映射前后相似度對比的優(yōu)化策略。

    3)提出了多任務(wù)學(xué)習(xí)優(yōu)化策略。

    4)在本文所用數(shù)據(jù)集中的3個跨域推薦場景下,實驗結(jié)果表明,本文提出的MTFMN在評分預(yù)測任務(wù)的準(zhǔn)確性上較主流模型有顯著的提升。

    1 相關(guān)工作

    1.1 基于共享實體表示的跨域推薦模型

    這一類模型適用于多目標(biāo)域的跨域推薦,且不同的領(lǐng)域之間存在相似性很高的重疊用戶或重疊物品(重疊實體)。該類模型通過共享或結(jié)合重疊實體在不同領(lǐng)域間的特征來融合不同領(lǐng)域的信息,建立領(lǐng)域之間的聯(lián)系,同時提高多個領(lǐng)域的推薦效果[1

    代表模型如DTCDR。對于域上的用戶和物品,結(jié)合層通過組合特征的方式來組合重疊用戶的相關(guān)信息,使其最大可能保留多個領(lǐng)域上的顯著特征,并將其共享給針對兩個域的推薦模型。GA-DTCDR[8基于圖嵌入對DTCDR進(jìn)行了改進(jìn)。該方法為每個領(lǐng)域的實體構(gòu)建了一個無向異構(gòu)圖,得到異構(gòu)圖之后,根據(jù)Node2vec生成每個實體的圖嵌入;在結(jié)合層中使用element-wise attention機(jī)制將重疊實體的表示進(jìn)行結(jié)合得到最終的表示,然后進(jìn)入預(yù)測層預(yù)測。MV-DNN[9方法可以看作是DSSM[10雙塔模型的擴(kuò)展。通過用戶特征和物品特征生成初始的特征向量,將不同域的物品作為數(shù)據(jù)的不同視圖輸入,用戶作為數(shù)據(jù)的主視圖輸入,其中所有視圖共享相同的MLP結(jié)構(gòu),但不共享網(wǎng)絡(luò)參數(shù)。每個物品視圖通過MLP獲得最終的表示向量,然后與用戶視圖的結(jié)果計算余弦相似度進(jìn)行預(yù)測。DDTCDR[11利用重疊用戶,使用深度雙向遷移學(xué)習(xí)機(jī)制來學(xué)習(xí)用戶興趣遷移,再使用跨域的隱式正交映射來保持用戶在不同偏好的相似度,并且可以更有效地計算逆映射。

    然而基于共享實體的跨域推薦模型存在數(shù)據(jù)不平衡問題。當(dāng)不同領(lǐng)域的數(shù)據(jù)集大小不平衡時,共享實體的表示效果就會受到影響,數(shù)據(jù)不平衡可能會導(dǎo)致模型在較小數(shù)據(jù)集上性能不佳;并且基于共享實體的跨域推薦模型需要很有效的實體對齊方法來確保不同領(lǐng)域上的實體能映射到相似的向量空間中。

    1.2 基于域間映射的跨域推薦模型

    這一類模型適用于存在多個數(shù)據(jù)較為充足的源域,以及數(shù)據(jù)較為稀疏的目標(biāo)域。該類模型關(guān)注不同領(lǐng)域間的重疊實體[1,但與基于共享實體表示的跨域推薦模型不同,基于域間映射的模型是通過重疊實體學(xué)習(xí)一個映射函數(shù),通過該映射函數(shù)來建立領(lǐng)域之間的關(guān)系。當(dāng)一個用戶在源域上是活躍用戶,在目標(biāo)域上是冷啟動用戶時,就可以通過該映射函數(shù)得到用戶在目標(biāo)域上的特征表示。

    EMCDR[7是第一個域間映射的模型。其對每個領(lǐng)域的評分矩陣進(jìn)行矩陣分解得到領(lǐng)域內(nèi)每個用戶和物品的特征表示,然后利用重疊實體訓(xùn)練一個映射函數(shù),使得映射之后的用戶表示接近于目標(biāo)域上的用戶表示12。TMCDR[13將跨域推薦分為了Transfer階段和Meta階段。Transfer階段使用所有的實體在源域和目標(biāo)域上進(jìn)行預(yù)訓(xùn)練,得到源域和目標(biāo)域上用戶和物品的特征表示,Meta階段借鑒了元學(xué)習(xí)的思想,并提出了一種面向任務(wù)的優(yōu)化方法,直接使用任務(wù)標(biāo)簽來優(yōu)化元網(wǎng)絡(luò),即通過得分/排序的方式做訓(xùn)練。DCDCSR[14學(xué)習(xí)的是從目標(biāo)域到標(biāo)準(zhǔn)域的映射函數(shù)。標(biāo)準(zhǔn)域即通過矩陣稀疏度將源域和目標(biāo)域融合到一起的特征空間。特征空間被認(rèn)為是融合了多個領(lǐng)域信息的一般化的標(biāo)準(zhǔn)領(lǐng)域。DCDSCR同樣是利用重疊實體來學(xué)習(xí)映射函數(shù),之后利用該函數(shù)將多個領(lǐng)域的用戶特征映射到標(biāo)準(zhǔn)領(lǐng)域進(jìn)行推薦。PTUPCDR[15學(xué)習(xí)一個元網(wǎng)絡(luò),用戶在源域上的特征表示作為輸入,并為每個用戶生成個性化的特征映射橋。DCDIR[16在構(gòu)建的知識圖譜上設(shè)計了一種基于元路徑的方法。在源域中,模型使用門控循環(huán)單元(GRU)來模擬用戶的動態(tài)興趣。在獲得兩個域間重疊用戶的隱特征后,利用MLP學(xué)習(xí)兩個域之間的特征映射函數(shù)。SSCDR[17認(rèn)為基于映射的模型中,映射函數(shù)的好壞受重疊實體比例的影響很大,現(xiàn)實中往往這個重疊比例是很小的,可能會導(dǎo)致映射函數(shù)的學(xué)習(xí)不充分,泛化能力弱。而該模型通過設(shè)計無監(jiān)督損失函數(shù),將整個模型轉(zhuǎn)化為半監(jiān)督學(xué)習(xí)過程,從而可以利用領(lǐng)域內(nèi)豐富的非重疊實體數(shù)據(jù),使得學(xué)習(xí)得到的映射函數(shù)魯棒性更強,從而提高推薦性能。

    由于基于域間映射的跨域推薦模型需要處理來自不同域的數(shù)據(jù),當(dāng)源域和目標(biāo)域的數(shù)據(jù)都很稀疏時,會降低模型的性能;并且需要大量的數(shù)據(jù)和計算資源來訓(xùn)練映射模型,對于關(guān)聯(lián)性較弱的兩個域,也可能會導(dǎo)致模型性能下降;此外大多數(shù)基于域間映射的跨域推薦模型在訓(xùn)練優(yōu)化階段任務(wù)單一,并且只關(guān)注用戶特征映射,忽略了物品特征映射的可能性。

    2 問題定義

    使用Ds和Dt分別表示源域和目標(biāo)域。源域上的用戶集合為Us={us1,us2,…,usm},用戶usi∈Us的特征為k維的向量usi_emb,物品集合為Is={is1,is2,…,isn},物品isi∈Is的特征為k維的向量isi_emb;目標(biāo)域上的用戶集合為Ut={ut1,ut2,…,utp},用戶uti∈Ut的特征為k維的向量uti_emb,物品集合It={it1,it2,…,itq},物品iti∈It的特征為k維的向量iti_emb。如表1所示。

    用戶u∈Us在源域的交互記錄為Hs={i1,i2,…},其中ii∈Is;用戶u∈Ut在目標(biāo)域的交互記錄為Ht={i1,i2,…},其中ii∈It。u對于H中每一個交互過的物品都有對應(yīng)的0到5分的評分和評論信息,評分集合為R={r1,r2,…},評論集合為C={c1,c2,…},如果評分在3分及以上,則視為用戶對該物品的情感偏好是正向的,即pi=1,否則pi=0,情感偏好集合為P={p1,p2,…}。

    Uo表示重疊用戶,即在Ds和Dt上都有交互記錄的用戶,Ucs表示冷啟動用戶,即在Ds上有交互記錄,在Dt上沒有交互記錄的用戶。對于一個給定的冷啟動用戶u∈Ucs,最終目標(biāo)是預(yù)測u對于Dt上的物品i∈It的評分u,i:

    u←i=maxi∈ItMTFMN(u,i)(1)

    3 多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型

    3.1 模型結(jié)構(gòu)

    本節(jié)詳細(xì)介紹了多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型。如圖1所示,模型分為了3個部分:①特征提取階段:使用卷積神經(jīng)網(wǎng)絡(luò)從用戶評論中提取用戶特征,使用谷歌預(yù)訓(xùn)練詞向量模型對物品特征進(jìn)行編碼;②特征映射階段:用戶特征映射網(wǎng)絡(luò)將用戶在源域的特征映射到目標(biāo)域,物品特征映射網(wǎng)絡(luò)將用戶在源域交互過的物品特征映射到目標(biāo)域;③多任務(wù)訓(xùn)練優(yōu)化階段:這一階段將完成用戶特征映射差值最小化,物品特征映射差值最小化,偏好預(yù)測和評分預(yù)測4個任務(wù),通過這4個任務(wù)來完成整個模型的訓(xùn)練優(yōu)化。

    3.2 用戶特征提取

    給定用戶在源域或目標(biāo)域上的所有交互記錄H={i1,i2,…},為了捕獲用戶對于當(dāng)前域上物品的全局偏好,使用了卷積操作,用n個卷積窗口大小為s的卷積濾波器來提取用戶特征,最后得到一個k維度的向量來表示用戶特征,即usi_emb或uti_emb。

    3.3 特征映射

    用戶特征映射網(wǎng)絡(luò)(user mapping network)和物品特征映射網(wǎng)絡(luò)(item mapping network)均使用MLP作為基本結(jié)構(gòu)。采用MLP作為基本結(jié)構(gòu)具有以下優(yōu)點:首先,輸入特征和輸出特征的維度一致,MLP可以很好的捕獲需要映射的特征;其次,MLP是一種非線性的變換,比一般的線性映射更靈活,最后,MLP具有非常強的自適應(yīng)學(xué)習(xí)能力。為了更好更快地學(xué)習(xí)輸入到輸出的映射關(guān)系,加快網(wǎng)絡(luò)訓(xùn)練速度,提高網(wǎng)絡(luò)的泛化能力,使用了激活函數(shù)prelu。prelu激活函數(shù)可以自適應(yīng)地學(xué)習(xí)矯正線性單元的參數(shù),提高模型準(zhǔn)確率,并且在訓(xùn)練過程中降低模型過擬合的風(fēng)險,具體如下:

    1)prelu激活函數(shù)

    prelu(xi)=xiif xigt;0

    aixiif xi≤0(2)

    2)用戶特征映射網(wǎng)絡(luò)

    usi_map_emb=prelu(usi_embWuser+buser)(3)

    其中:usi_emb為源域上的用戶特征;usi_map_emb為該用戶映射后的特征。

    3)物品特征映射網(wǎng)絡(luò)

    isi_map_emb=prelu(isi_embWitem+bitem)(4)

    其中:isi_emb為源域上的物品特征;isi_map_emb為該物品映射后的特征。

    3.4 多任務(wù)優(yōu)化

    所有任務(wù)均使用重疊用戶的數(shù)據(jù)(重疊用戶數(shù)量為k)。

    1)任務(wù)一:用戶特征映射差值最小化任務(wù)。首先通過用戶特征映射網(wǎng)絡(luò)將重疊用戶在源域的用戶特征映射到目標(biāo)域:

    usi_map_emb=prelu(usi_embWuser+buser)(5)

    其中:usi_emb為重疊用戶在源域上的特征;usi_map_emb為該用戶映射后的特征。然后計算所有重疊用戶映射后的特征與該用戶在目標(biāo)域的特征的歐式距離之和,作為任務(wù)一的損失值:

    Ltask1=min∑ki=1dist(usi_map_emb,uti_emb)(6)

    其中:usi_map_emb為重疊用戶映射后的特征;uti_emb為該用戶在目標(biāo)域上的用戶特征;dist為歐式距離計算公式。假設(shè)X和Y分別為k維度的向量,則X和Y的歐式距離計算公式如下:

    dist(X,Y)=∑ki=1(xi-yi)2(7)

    2)任務(wù)二:物品特征映射差值最小化。首先通過物品特征映射網(wǎng)絡(luò)將重疊用戶在源域交互過的物品的特征映射到目標(biāo)域:

    isi_map_emb=prelu(isi_embWitem+bitem)(8)

    其中:isi_emb為源域上的物品特征;isi_map_emb為該物品映射后的特征。然后對所有物品映射后的特征做池化操作:

    imap_emb=pooling(is1_map_emb,is2_map_emb,…)(9)

    式中:pooling為平均池化,使用平均池化是為了使得物品特征不受個別物品特征的影響,同時也使得物品特征映射差值最小化任務(wù)更具可解釋性。然后對該用戶在目標(biāo)域上交互物品的特征做平均池化操作:

    iemb=pooling(it1_emb,it2_emb,…)(10)

    計算所有重疊用戶的imap_emb與iemb的歐式距離之和,作為任務(wù)二的損失值:

    Ltask2=min∑ki=1dist(imap_emb,iemb)(11)

    3)任務(wù)三:偏好預(yù)測任務(wù)。

    首先將重疊用戶映射后的特征usi_emb與其在目標(biāo)域交互物品的特征iti_emb輸入到preference predict層,預(yù)測用戶對物品的偏好u,i,用戶對物品的真實偏好為pu,i。u,i與pu,i的二分類交叉熵?fù)p失函數(shù)記作J(pu,i,u,i):

    J(pu,i,u,i)=pu,ilgu,i+(1-pu,i)lg(1-u,i)(12)

    然后計算所有重疊用戶的結(jié)果,作為任務(wù)三的損失值:

    Ltask3=∑u∈UoJ(pu,i,u,i)(13)

    4)任務(wù)四:評分預(yù)測任務(wù)。

    首先將重疊用戶映射后的特征usi_emb與該用戶在目標(biāo)域交互物品的特征iti_emb輸入到affine predict層,預(yù)測用戶對物品的評分R^u,i,用戶對物品的真實評分為Ru,i。R^u,i與Ru,i的均方誤差損失函數(shù)記作K(Ru,i,R^u,i):

    K(Ru,i,R^u,i)=(Ru,i-R^u,i)2(14)

    然后計算所有重疊用戶的結(jié)果,作為任務(wù)四的損失值:

    Ltask4=∑u∈UoK(Ru,i,R^u,i)(15)

    3.5 優(yōu)化策略

    訓(xùn)練階段均使用重疊用戶Uo的數(shù)據(jù)進(jìn)行。將4個任務(wù)的損失值相加作為整個模型優(yōu)化過程中的損失值:

    L=Ltask1+Ltask2+Ltask3+Ltask4(16)

    模型采用Adam優(yōu)化器自適應(yīng)調(diào)整每個任務(wù)中參數(shù)的學(xué)習(xí)率來提高優(yōu)化效果。

    4 實 驗

    在本節(jié)中,本文將使用Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集來評估模型性能,目的是回答以下問題:

    1)本文提出的模型和已有的主流跨域推薦模型相比表現(xiàn)如何?

    2)模型中關(guān)鍵組件對模型性能有何影響?

    4.1 數(shù)據(jù)集

    本文使用了Amazon數(shù)據(jù)集和豆瓣數(shù)據(jù)集來評估模型性能。選取了兩個數(shù)據(jù)集里3個最大的域中的數(shù)據(jù),分別是Book,Movie和Music。數(shù)據(jù)集中各個域的統(tǒng)計信息如表2所示。對于每個域上的重疊用戶,隨機(jī)抽取50%作為冷啟動用戶,即這部分用戶在目標(biāo)域上的任何信息對于整個模型來說是不可見的,僅用于測試;剩余的50%用于訓(xùn)練,并且為了模擬出不同比例的重疊用戶,在這50%的重疊用戶中按照比例φ∈{100%,50%,20%,10%,5%}隨機(jī)抽取數(shù)據(jù)構(gòu)建數(shù)據(jù)集[17??缬蛲扑]場景及重疊用戶數(shù)據(jù)統(tǒng)計如表3所示,其中ratio為重疊用戶在源域和目標(biāo)域中所占比例。

    4.2 對比模型

    本文使用以下模型和MTFMN進(jìn)行對比。

    EMCDR[7:首次提出了跨域推薦三步優(yōu)化范式,即首先利用矩陣分解得到源域和目標(biāo)域上用戶和物品的隱向量,再學(xué)習(xí)隱向量從源域到目標(biāo)域的映射,最后進(jìn)行跨域推薦。

    CMF[2:提出了一個聯(lián)合矩陣因子分解模型,當(dāng)一個實體參與多個關(guān)系時,同時對多個矩陣進(jìn)行因子分解,在因子之間共享參數(shù)。從而實現(xiàn)跨域推薦。

    CDLFM[19:基于用戶的評分行為,融合了3種用戶相似度衡量標(biāo)準(zhǔn)作為正則化參數(shù)來完成矩陣分解。通過考慮相似用戶和基于梯度增強樹的集成學(xué)習(xí)方法,使用基于鄰域映射方法來替代多層感知機(jī)。

    DFM[20:是RC-DFM的簡易版,其利用aSDAE[21從評分矩陣中生成用戶表示,再使用多層感知機(jī)進(jìn)行映射。

    R-DFM[20:是RC-DFM的另一種變形。其利用aSDAE[21將評分矩陣和評論信息結(jié)合,生成用戶表示,再使用多層感知機(jī)進(jìn)行映射。

    ANR[22:一種單領(lǐng)域基于用戶評論的推薦方法。

    4.3 實驗設(shè)置

    本文對所有的用戶數(shù)據(jù)和物品數(shù)據(jù)進(jìn)行了預(yù)處理,過濾掉交互次數(shù)小于10次的用戶和被交互次數(shù)小于30次的物品[23;從用戶評論信息中抽取用戶特征時,過濾掉了英文停用詞,為了提高抽取特征的準(zhǔn)確性,對一些錯誤的單詞進(jìn)行了糾正,并且設(shè)置了評論信息的最大長度為500,對長度大于500的評論信息進(jìn)行了截斷;進(jìn)行卷積操作時,使用了50個卷積窗口大小為3的卷積濾波器來提取用戶特征;使用谷歌預(yù)訓(xùn)練詞向量模型[24對物品特征進(jìn)行編碼(物品描述,物品類別,物品標(biāo)題)。最后編碼完成的用戶特征和物品特征維度為128;整個模型訓(xùn)練優(yōu)化過程中,設(shè)置學(xué)習(xí)率為0.001,每個跨域場景訓(xùn)練50輪。最后采用MSE來評估模型的性能,MSE被廣泛用于推薦系統(tǒng)的評估[22-27

    MSE=1|O|∑(u,i)∈O(ru,i-u,i)2(17)

    其中,O為從重疊用戶中隨機(jī)抽取50%作為冷啟動用戶的測試集,用于驗證模型性能。

    5 推薦性能對比

    本節(jié)總結(jié)了所有模型在兩個數(shù)據(jù)集中不同推薦場景下的性能,如表4、表5、圖2、圖3所示。根據(jù)實驗結(jié)果,得出如下結(jié)論:①在Amazon數(shù)據(jù)集上,MTFMN相較于性能最優(yōu)的ANR,在場景1和場景2下MSE分別平均降低了約2.5%和1.8%,盡管ANR是單領(lǐng)域上基于用戶評論的推薦模型,但實驗結(jié)果證明了跨域推薦場景中引入用戶評論來建模用戶特征表示的有效性;CMF在所有場景下性能最差,MTFMN相較于CMF在3個場景下MSE分別平均降低了約6%、4.2%、2.6%,證明了CMF僅僅通過聯(lián)合矩陣因子分解來建立共享實體表示是不足以提升模型性能的;R-DFM結(jié)合了用戶評分和評論信息來建模用戶特征表示,與只利用用戶評分矩陣來建模用戶特征表示的EMCDR和DFM相比,MSE均有所下降,因此本文提出的MTFMN借鑒了R-DFM中建模用戶特征表示的方法,并基于此構(gòu)建物品特征表示,提出了物品特征轉(zhuǎn)移網(wǎng)絡(luò)。與R-DFM相比,在場景1和場景2下MSE分別平均下降了約3.6%和2%,進(jìn)一步證明了利用用戶評分和評論信息來構(gòu)建用戶特征表示的有效性,同時證明了本文提出的物品特征映射網(wǎng)絡(luò)中構(gòu)建物品特征方法的有效性。②在豆瓣數(shù)據(jù)集上,MTFMN相較于對比模型中最優(yōu)的R-DFM和性能最差的CDLFM,在3個場景下MSE分別平均下降了約0.2%和2%、0.21%和3.1%、0.3%和2.2%。

    通過以上實驗結(jié)果證明了模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。

    6 消融研究

    為了證明物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略對整個模型性能的影響,本文提出了MTFMN的兩個變體,并且在Amazon數(shù)據(jù)集上做了消融研究。

    1)MTFMN-1:該變體僅對用戶特征進(jìn)行映射,刪除了模型結(jié)構(gòu)中的物品特征映射網(wǎng)絡(luò);多任務(wù)訓(xùn)練優(yōu)化階段只完成用戶特征映射差值最小化任務(wù)。提出該變體的目的是為了驗證物品特征映射網(wǎng)絡(luò)以及多任務(wù)訓(xùn)練優(yōu)化階段中物品特征映射差值最小化任務(wù)對整個模型是有積極影響的。

    2)MTFMN-2:該變體在整個模型訓(xùn)練優(yōu)化階段只通過預(yù)測用戶對物品的評分來完成模型的優(yōu)化。目的是為了驗證多任務(wù)訓(xùn)練優(yōu)化對整個模型是有積極影響的。

    消融研究結(jié)果如表6、圖4所示。MTFMN-1在把不同比例的重疊用戶作為測試集的情況下,3個場景下的MSE分別平均提升了約14%、10%、24%,表明其性能顯著低于MTFMN,證明了物品特征映射網(wǎng)絡(luò)的有效性;MTFMN-2在把不同比例的重疊用戶作為測試集的情況下,3個場景下的MSE分別平均提升了約4.8%、5.3%、16%,表明其性能顯著低于MTFMN,證明了對映射前后的特征做映射差值最小化任務(wù)以及加入偏好預(yù)測任務(wù)對整個模型的有效性。消融研究結(jié)果證明了模型中提出的物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略對整個模型有正向影響。

    7 結(jié)論與展望

    本文提出了一種多任務(wù)特征映射網(wǎng)絡(luò)跨域推薦模型MTFMN,重點是引入了物品特征映射網(wǎng)絡(luò)來輔助用戶特征映射網(wǎng)絡(luò)的訓(xùn)練優(yōu)化。相比于傳統(tǒng)的跨域推薦任務(wù),本模型加入了特征映射差值最小化任務(wù)和偏好預(yù)測任務(wù),并通過消融研究證明了物品特征映射網(wǎng)絡(luò)和多任務(wù)優(yōu)化策略的有效性。下一步將考慮在以下幾個方面展開研究:①用戶偏好演化建模:用戶偏好是動態(tài)變化的,跨域推薦需要能夠及時捕捉用戶偏好的演變。未來的研究可以探索更加精確的用戶偏好動態(tài)建模方法,以提高跨域推薦的準(zhǔn)確性。②多模態(tài)跨域推薦:當(dāng)前的跨域推薦主要是針對單一模態(tài)的數(shù)據(jù)進(jìn)行的,例如用戶交互或物品信息。未來的研究中可以將多模態(tài)數(shù)據(jù)整合到跨域推薦中,如圖像、視頻,語音等。

    參 考 文 獻(xiàn):

    [1] ZANG T Z, ZHU Y, LIU H B, et al. A Survey on Cross-domain Recommendation: Taxonomies, Methods, and Future Directions[J]. ACM, Transactions on Information Systems 2022,41(2):1.

    [2] SINGH A P, GORDON G J. Relational Learning Via Collective Matrix Factorization[C]// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Las Vegas, Nevada, USA, August 24-27, 2008: 650.

    [3] LONI B, SHI Y, LARSON M, et al. Cross-domain Collaborative Filtering with Factorization Machines[C]//Advances in Information Retrieval -36th European Conference on IR Research, ECIR 2014, Amsterdam, The Netherlands, April 13-16, 2014. Proceedings (Lecture Notes in Computer Science), 8416: 656.

    [4] CHEN C, ZHANG M, WANG C Y, et al. An Efficient Adaptive Transfer Neural Network for Social-aware Recommendation[C]// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2019, Paris, France, July 21-25, 2019: 225.

    [5] PERERA D, ZIMMERMANN R. Towards Comprehensive Recommender Systems: Timeaware Unified Recommendations Based on Listwise Ranking of Implicit Cross-network Data[C]//In the 34th AAAI Conference on Artificial Intelligence, AAAI 2020, the 32nd Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The 10th AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2020, New York, NY, USA, February 7-12,2020: 189.

    [6] ZHU F, CHEN C C, WANG Y, et al. DTCDR: A Framework for Dual-Target Cross-Domain Recommendation[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management, CIKM 2019, Beijing, China, November 3-7, 2019: 1533.

    [7] MAN T, SHEN H W, JIN X L, et al. Cross-domain Recommendation: An Embedding and Mapping Approach[C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19-25, 2017: 2464.

    [8] ZHU F, WANG Y, CHEN C C, et al. A Graphical and Attentional Framework for Dual Target Cross-domain Recommendation[C]//Proceedings of the 29th International Joint Conference on Artificial Intelligence, IJCAI 2020: 3001.

    [9] ELKAHKY A M, SONG Y, HE X D. A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems[C]//Proceedingsof the 24th International Conference on World Wide Web, WWW 2015, Florence, Italy, May 18-22, 2015: 278.

    [10]PO SEN H, HE X D, GAO J F, et al. Learning Deep Structured Semantic Models for Web Search Using Clickthrough Data[C]//Proceedings of the 22nd ACM International Conference on Information amp; Knowledge Management, 2013: 2333.

    [11]LI P, TUZHILIN A. DDTCDR: Deep Dual Transfer Cross Domain Recommendation[C]//In WSDM’20: The 19th ACM International Conference on Web Search and Data Mining, Houston, TX, USA, February 3-7, 2020: 331.

    [12]XIN X, LIU Z R, CHIN-YEW LIN, et al. Cross-domain Collaborative Filtering with Review Text[C]// Proceedings of the 24th International Joint Conference on Artificial Intelligence, IJCAI 2015, Buenos Aires, Argentina, July 25-31, 2015: 1827.

    [13]ZHU Y C, GE K K, ZHUANG F Z, et al. Transfer-Meta Framework for Cross-domain Recommendation to Cold-Start Users[C]. In SIGIR’21: The 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, Virtual Event, Canada, July 11-15, 2021: 1813.

    [14]ZHU F, CHEN C C, WANG Y, et al. A Deep Framework for Cross-domain and Cross-system Recommendations[J]. Proceedings of the 27th International Joint Conference on Artificial Intelligence, IJCAI 2018, July 13-19, Stockholm, Sweden. 2018: 3711.

    [15]ZHU Y C, TANG Z W, LIU Y D, et al. Personalized Transfer of User Preferences for Cross-domain Recommendation[C]// In WSDM’22: The 15th ACM International Conference on Web Search and Data Mining, Virtual Event / Tempe, AZ, USA, February 21-25, 2022: 1507.

    [16]BI Y, SONG L Q, YAO M Q, et al. DCDIR: A Deep Cross-domain Recommendation System for Cold Start Users in Insurance Domain[C]// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2020, Virtual Event, China, July 25-30, 2020: 1661.

    [17]KANG S K, HWANG J, LEE D, et al. Semi-supervised Learning for Cross-domain Recommendation to Cold-start Users[C]// Proceedings of the 28th ACM International Conference on Information and Knowledge Management, CIKM 2019, Beijing, China, November 3-7, 2019: 1563.

    [18]HER N, MCAULEY J. Ups and Downs: Modeling the Visual Evolution of Fashion Trends with One-class Collaborative Filtering[C]// Proceedings of the 25th International Conference on World Wide Web, 2016: 507.

    [19]WANG X H, PENG Z H, WANG S Z, et al. Cross-domain Recommendation for Cold-Start Users via Neighborhood Based Feature Mapping[C]// In Database Systems for Advanced Applications-23rd International Conference, DASFAA 2018, Gold Coast, QLD, Australia, May 21-24, Proceedings, Part I (Lecture Notes in Computer Science), 2018, 10827: 158.

    [20]FU W J, PENG Z H, WANG S Z, et al. Deeply Fusing Reviews and Contents for Cold Start Users in Cross-domain Recommendation Systems[C]// In the 33rd AAAI Conference on Artificial Intelligence, AAAI 2019, the 31st Innovative Applications of Artificial Intelligence Conference, IAAI 2019, the 9th AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2019, Honolulu, Hawaii, USA, January 27-February 1, 2019: 94.

    [21]DONG X, YU L, WU Z H, et al. A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems[C]// Proceedings of the AAAI Conference on Artificial Intelligence, 2017: 1309.

    [22]CHIN J Y, ZHAO K Q, JOTY S, et al. ANR: Aspect-based Neural Recommender[C]// Proceedings of the 27th ACM International Conference on Information amp; Knowledge Management, 2018: 147.

    [23]HE X N, LIAO L Z, ZHANG H W, et al. Neural Collaborative Filtering[C]// Proceedings of the 26th International Conference on World Wide Web, 2017: 173.

    [24]MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed Representations of Words and Phrases and Their Compositionality[J]. Advances in Neural Information Processing Systems, NIPS 2013: 3111.

    [25]LI C L, QI Y W, WU L B, et al. A Capsule Network for Recommendation and Explaining What You Like and Dislike[C]// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019: 275.

    [26]TAY Y, LUU A T, HUI S C. Multi-pointer Co-attention Networks for Recommendation[C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining, 2018: 2309.

    [27]WU L B, CONG Q, LI C L, et al. A Context-aware User-item Representation Learning for Item Recommendation[J]. ACM Transactions on Information Systems (TOIS), 2019, 37(2): 1.

    (編輯:溫澤宇)

    猜你喜歡
    推薦系統(tǒng)冷啟動數(shù)據(jù)挖掘
    輕型汽油車實際行駛排放試驗中冷啟動排放的評估
    基于學(xué)習(xí)興趣的冷啟動推薦模型
    客聯(lián)(2021年2期)2021-09-10 07:22:44
    探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
    基于并行計算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
    電力與能源(2017年6期)2017-05-14 06:19:37
    基于用戶偏好的信任網(wǎng)絡(luò)隨機(jī)游走推薦模型
    基于個性化的協(xié)同過濾圖書推薦算法研究
    個性化推薦系統(tǒng)關(guān)鍵算法探討
    淺談Mahout在個性化推薦系統(tǒng)中的應(yīng)用
    一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
    軍事技能“冷啟動”式訓(xùn)練理念初探
    亚洲真实伦在线观看| 国产精品人妻久久久久久| 午夜福利在线观看吧| 国产精品嫩草影院av在线观看| 男人和女人高潮做爰伦理| 秋霞在线观看毛片| 麻豆av噜噜一区二区三区| 麻豆av噜噜一区二区三区| 青春草国产在线视频| 一级av片app| 中文字幕制服av| av线在线观看网站| 国产成人精品一,二区| 中文资源天堂在线| 欧美日韩综合久久久久久| 少妇熟女aⅴ在线视频| 亚洲成色77777| av福利片在线观看| 搡女人真爽免费视频火全软件| videos熟女内射| 亚洲精华国产精华液的使用体验| 国产精品一区二区在线观看99 | 久久久国产成人精品二区| 国产v大片淫在线免费观看| 青春草国产在线视频| 又爽又黄无遮挡网站| av线在线观看网站| 啦啦啦观看免费观看视频高清| 亚洲国产日韩欧美精品在线观看| 大香蕉久久网| 在线天堂最新版资源| 午夜福利网站1000一区二区三区| 婷婷色麻豆天堂久久 | 国产麻豆成人av免费视频| 国产精品久久久久久久久免| 亚洲国产成人一精品久久久| 免费黄网站久久成人精品| 免费黄网站久久成人精品| 久久久a久久爽久久v久久| 午夜久久久久精精品| 天堂av国产一区二区熟女人妻| 亚洲人成网站在线观看播放| 亚洲性久久影院| 国产白丝娇喘喷水9色精品| 亚洲av二区三区四区| 少妇高潮的动态图| 夫妻性生交免费视频一级片| 在线a可以看的网站| kizo精华| 国产成人午夜福利电影在线观看| 天堂av国产一区二区熟女人妻| 亚洲欧美成人精品一区二区| 秋霞伦理黄片| 欧美一级a爱片免费观看看| 精品久久久噜噜| 亚洲丝袜综合中文字幕| 欧美人与善性xxx| 小说图片视频综合网站| 国产高清不卡午夜福利| 你懂的网址亚洲精品在线观看 | 99久国产av精品国产电影| 国产视频内射| 国产精品久久久久久久久免| 老师上课跳d突然被开到最大视频| 欧美成人精品欧美一级黄| 蜜桃久久精品国产亚洲av| 亚洲三级黄色毛片| 两性午夜刺激爽爽歪歪视频在线观看| 寂寞人妻少妇视频99o| 亚洲乱码一区二区免费版| 亚洲av免费在线观看| 综合色丁香网| 卡戴珊不雅视频在线播放| 一本久久精品| 日本黄色片子视频| 一卡2卡三卡四卡精品乱码亚洲| 精品久久久噜噜| 黄色一级大片看看| 中文天堂在线官网| 精品国产三级普通话版| 亚洲欧洲日产国产| 18禁在线无遮挡免费观看视频| 99热全是精品| 国产在视频线在精品| 高清视频免费观看一区二区 | 1000部很黄的大片| 久久久久精品久久久久真实原创| 男女国产视频网站| 最近中文字幕高清免费大全6| 亚洲欧洲日产国产| 亚洲aⅴ乱码一区二区在线播放| 亚洲aⅴ乱码一区二区在线播放| 丝袜美腿在线中文| 久久久久九九精品影院| 国产成人a∨麻豆精品| 国产在视频线精品| 国产精品美女特级片免费视频播放器| 欧美色视频一区免费| 一区二区三区乱码不卡18| 亚洲国产最新在线播放| 亚洲综合精品二区| 亚洲精品色激情综合| 男女国产视频网站| 性插视频无遮挡在线免费观看| 亚洲va在线va天堂va国产| 啦啦啦啦在线视频资源| 中文在线观看免费www的网站| 午夜视频国产福利| 赤兔流量卡办理| 永久网站在线| 久久这里只有精品中国| 九色成人免费人妻av| 国产高清国产精品国产三级 | 99热6这里只有精品| 色尼玛亚洲综合影院| 国产伦理片在线播放av一区| 伊人久久精品亚洲午夜| 成年版毛片免费区| 男的添女的下面高潮视频| 欧美日本亚洲视频在线播放| 91午夜精品亚洲一区二区三区| 欧美bdsm另类| 亚洲av免费在线观看| 日本av手机在线免费观看| 精品欧美国产一区二区三| 成人二区视频| 国产精品永久免费网站| kizo精华| 国产免费福利视频在线观看| 婷婷色综合大香蕉| 亚洲熟妇中文字幕五十中出| 深爱激情五月婷婷| 亚洲国产色片| 国产91av在线免费观看| 亚洲av二区三区四区| 美女黄网站色视频| 亚洲国产精品成人久久小说| 97超碰精品成人国产| 97人妻精品一区二区三区麻豆| 卡戴珊不雅视频在线播放| 乱码一卡2卡4卡精品| 日本-黄色视频高清免费观看| 变态另类丝袜制服| 中文字幕精品亚洲无线码一区| 中国美白少妇内射xxxbb| www日本黄色视频网| 99久久无色码亚洲精品果冻| 久久人妻av系列| 1000部很黄的大片| 中文字幕熟女人妻在线| 男人狂女人下面高潮的视频| 国产精品一区二区三区四区免费观看| 亚洲国产精品专区欧美| 99久国产av精品国产电影| 波多野结衣巨乳人妻| 日本与韩国留学比较| 国产免费视频播放在线视频 | 少妇高潮的动态图| 在线免费观看的www视频| 亚洲国产色片| 久久久久免费精品人妻一区二区| av国产免费在线观看| 午夜福利在线观看吧| 99热精品在线国产| 国产亚洲5aaaaa淫片| 久久精品久久精品一区二区三区| 欧美成人午夜免费资源| 亚洲国产高清在线一区二区三| 久久精品综合一区二区三区| 欧美丝袜亚洲另类| 久久久久久久久久成人| 九九久久精品国产亚洲av麻豆| 美女cb高潮喷水在线观看| av专区在线播放| 国产精品福利在线免费观看| 六月丁香七月| 成人美女网站在线观看视频| 神马国产精品三级电影在线观看| av视频在线观看入口| videos熟女内射| 中文字幕av成人在线电影| 超碰av人人做人人爽久久| 免费黄网站久久成人精品| 精品一区二区三区人妻视频| 国产视频首页在线观看| 91精品国产九色| 小说图片视频综合网站| 国国产精品蜜臀av免费| 又爽又黄无遮挡网站| 人体艺术视频欧美日本| 少妇的逼好多水| 色视频www国产| 亚洲成色77777| 日本猛色少妇xxxxx猛交久久| 免费看日本二区| 成人亚洲欧美一区二区av| 高清av免费在线| 嘟嘟电影网在线观看| 在线a可以看的网站| 国产亚洲午夜精品一区二区久久 | 国产麻豆成人av免费视频| 亚洲国产精品合色在线| 国产精品人妻久久久影院| 人妻系列 视频| 精品酒店卫生间| 高清av免费在线| 99久国产av精品| 中文亚洲av片在线观看爽| 色综合站精品国产| 18禁动态无遮挡网站| 国内精品美女久久久久久| 国产精品精品国产色婷婷| 亚洲不卡免费看| 纵有疾风起免费观看全集完整版 | 日本一二三区视频观看| 久久亚洲国产成人精品v| 久久久成人免费电影| 成人av在线播放网站| 久久久久国产网址| 国产一区亚洲一区在线观看| 51国产日韩欧美| 岛国毛片在线播放| 麻豆国产97在线/欧美| 欧美另类亚洲清纯唯美| 国产熟女欧美一区二区| 青春草亚洲视频在线观看| av线在线观看网站| 亚洲精品乱码久久久久久按摩| av视频在线观看入口| 啦啦啦韩国在线观看视频| 国产一区二区在线观看日韩| 一本一本综合久久| 熟妇人妻久久中文字幕3abv| 在线免费观看的www视频| 超碰97精品在线观看| .国产精品久久| 我要看日韩黄色一级片| 高清在线视频一区二区三区 | 久久国内精品自在自线图片| 亚洲无线观看免费| 免费不卡的大黄色大毛片视频在线观看 | 亚洲欧洲国产日韩| 狂野欧美白嫩少妇大欣赏| 亚洲av二区三区四区| 国产高清国产精品国产三级 | 国产视频首页在线观看| 日韩欧美国产在线观看| 村上凉子中文字幕在线| 男人的好看免费观看在线视频| 中文资源天堂在线| 日韩三级伦理在线观看| 国产69精品久久久久777片| 中文亚洲av片在线观看爽| 免费观看人在逋| 国产精品麻豆人妻色哟哟久久 | 男插女下体视频免费在线播放| 国产伦在线观看视频一区| 我的女老师完整版在线观看| 免费看日本二区| 中文天堂在线官网| 性插视频无遮挡在线免费观看| kizo精华| 国产一区二区在线观看日韩| 久久久精品94久久精品| 国产不卡一卡二| 性插视频无遮挡在线免费观看| av在线老鸭窝| av在线亚洲专区| 少妇被粗大猛烈的视频| 免费观看的影片在线观看| 欧美变态另类bdsm刘玥| 亚洲精品成人久久久久久| 九色成人免费人妻av| 性色avwww在线观看| 成人一区二区视频在线观看| 亚洲第一区二区三区不卡| 国产成人91sexporn| 一本久久精品| kizo精华| 99久久精品热视频| 午夜老司机福利剧场| av在线老鸭窝| 两个人的视频大全免费| 校园人妻丝袜中文字幕| 免费黄色在线免费观看| av在线亚洲专区| 久久久久久伊人网av| 国产淫片久久久久久久久| 国产探花极品一区二区| 人人妻人人澡欧美一区二区| 一级毛片久久久久久久久女| 午夜精品国产一区二区电影 | 亚洲av中文av极速乱| 久久精品综合一区二区三区| 久久久久网色| 亚洲成av人片在线播放无| 国产 一区精品| 一区二区三区乱码不卡18| 少妇的逼水好多| 国产精品福利在线免费观看| 免费观看性生交大片5| 亚洲不卡免费看| 夜夜看夜夜爽夜夜摸| 亚洲自偷自拍三级| 一本久久精品| 波多野结衣巨乳人妻| 日本色播在线视频| 午夜老司机福利剧场| 秋霞伦理黄片| 91av网一区二区| 性插视频无遮挡在线免费观看| 国产综合懂色| 91久久精品电影网| 一级毛片久久久久久久久女| 国产老妇伦熟女老妇高清| 欧美潮喷喷水| av在线观看视频网站免费| 女人十人毛片免费观看3o分钟| 中文在线观看免费www的网站| 欧美一区二区精品小视频在线| 搡老妇女老女人老熟妇| 一级爰片在线观看| 国产一区二区三区av在线| 在现免费观看毛片| 91狼人影院| 最新中文字幕久久久久| 日韩高清综合在线| 亚洲在线观看片| 亚洲精品自拍成人| 男女视频在线观看网站免费| 欧美人与善性xxx| 淫秽高清视频在线观看| 国产免费又黄又爽又色| 国产精品久久久久久精品电影| 久久久久久久国产电影| 村上凉子中文字幕在线| 99热全是精品| 国产三级中文精品| 国产人妻一区二区三区在| 国产成人精品久久久久久| 一区二区三区免费毛片| 精品酒店卫生间| av在线播放精品| 国产伦理片在线播放av一区| 狂野欧美激情性xxxx在线观看| 美女被艹到高潮喷水动态| 免费不卡的大黄色大毛片视频在线观看 | 中文字幕亚洲精品专区| 2021天堂中文幕一二区在线观| 在线免费观看不下载黄p国产| 国产午夜福利久久久久久| 午夜福利在线观看吧| 网址你懂的国产日韩在线| 国产黄a三级三级三级人| 最近的中文字幕免费完整| 国产成人精品一,二区| 中文字幕av在线有码专区| 老司机影院毛片| 亚洲18禁久久av| 干丝袜人妻中文字幕| 小说图片视频综合网站| 淫秽高清视频在线观看| 久久精品国产鲁丝片午夜精品| 亚洲欧美一区二区三区国产| 国产午夜精品一二区理论片| 91av网一区二区| 禁无遮挡网站| 中文资源天堂在线| 亚州av有码| 亚洲人与动物交配视频| 一个人看视频在线观看www免费| 久久亚洲精品不卡| 美女内射精品一级片tv| 女的被弄到高潮叫床怎么办| 夜夜看夜夜爽夜夜摸| 国产精品av视频在线免费观看| 日韩 亚洲 欧美在线| 国产精品.久久久| 一级毛片电影观看 | 观看免费一级毛片| 只有这里有精品99| videossex国产| 免费av观看视频| 免费电影在线观看免费观看| 成人鲁丝片一二三区免费| 亚洲成人av在线免费| 国产亚洲最大av| 国产乱人偷精品视频| 亚洲自拍偷在线| 久久久色成人| 大香蕉久久网| 少妇裸体淫交视频免费看高清| 国产精品99久久久久久久久| 嫩草影院新地址| 一个人看视频在线观看www免费| 一夜夜www| 黄色配什么色好看| 女人十人毛片免费观看3o分钟| 欧美不卡视频在线免费观看| 天天躁日日操中文字幕| 亚洲成人av在线免费| 插阴视频在线观看视频| 三级毛片av免费| 汤姆久久久久久久影院中文字幕 | 国产v大片淫在线免费观看| 日韩中字成人| 日本三级黄在线观看| 亚洲综合色惰| 国产成人精品一,二区| 国产av不卡久久| 啦啦啦观看免费观看视频高清| 国产一区二区在线av高清观看| 国产午夜精品一二区理论片| av在线天堂中文字幕| 色5月婷婷丁香| 69人妻影院| 久久久久久久久久久免费av| 欧美成人a在线观看| 国产精品1区2区在线观看.| 18禁裸乳无遮挡免费网站照片| 成年女人看的毛片在线观看| 国产精品熟女久久久久浪| 精品熟女少妇av免费看| 国内精品宾馆在线| 日本免费一区二区三区高清不卡| 成人av在线播放网站| 亚洲精品日韩在线中文字幕| 欧美3d第一页| 最新中文字幕久久久久| 欧美高清性xxxxhd video| 亚洲综合色惰| 啦啦啦观看免费观看视频高清| 国国产精品蜜臀av免费| 国产午夜精品论理片| 午夜亚洲福利在线播放| 亚洲国产精品合色在线| 丰满少妇做爰视频| 三级国产精品欧美在线观看| 亚洲国产色片| 久久99精品国语久久久| 亚洲精品456在线播放app| 久久亚洲精品不卡| 久久久a久久爽久久v久久| 高清av免费在线| kizo精华| 两个人视频免费观看高清| av福利片在线观看| 日韩高清综合在线| 国产黄片美女视频| 嫩草影院精品99| 美女xxoo啪啪120秒动态图| 18禁动态无遮挡网站| 亚洲欧美精品专区久久| 久久久国产成人免费| 国产黄片美女视频| 成人特级av手机在线观看| 国产在视频线在精品| 免费看a级黄色片| 老司机影院成人| 高清午夜精品一区二区三区| 卡戴珊不雅视频在线播放| 亚洲欧美成人精品一区二区| 亚洲18禁久久av| 级片在线观看| 免费播放大片免费观看视频在线观看 | 我要搜黄色片| 午夜视频国产福利| 久久精品影院6| 国产在视频线在精品| 久久婷婷人人爽人人干人人爱| 亚洲精品456在线播放app| 亚洲国产成人一精品久久久| 欧美又色又爽又黄视频| 中文字幕制服av| 色吧在线观看| 国产伦精品一区二区三区四那| 我要搜黄色片| 国产熟女欧美一区二区| 中文字幕精品亚洲无线码一区| 亚洲成人中文字幕在线播放| 天堂影院成人在线观看| a级毛片免费高清观看在线播放| 不卡视频在线观看欧美| 国模一区二区三区四区视频| 日韩欧美 国产精品| 麻豆乱淫一区二区| 色噜噜av男人的天堂激情| 国产一区有黄有色的免费视频 | 国产高清国产精品国产三级 | 国产在视频线精品| 男人舔奶头视频| 嘟嘟电影网在线观看| 国产精品一及| 国产淫语在线视频| 一级毛片久久久久久久久女| 国产老妇女一区| 在线免费十八禁| 亚洲欧美精品专区久久| videos熟女内射| 精品久久国产蜜桃| 国产午夜精品一二区理论片| 国产成人a∨麻豆精品| av在线蜜桃| 国产精品久久久久久精品电影小说 | 性色avwww在线观看| 日韩人妻高清精品专区| 国产一级毛片在线| av又黄又爽大尺度在线免费看 | 国产亚洲91精品色在线| 国产免费男女视频| 国产亚洲精品久久久com| 日产精品乱码卡一卡2卡三| 高清毛片免费看| 色哟哟·www| 久久精品国产亚洲av涩爱| 亚洲精品国产av成人精品| 午夜福利在线在线| 国产乱人偷精品视频| a级毛片免费高清观看在线播放| 精品酒店卫生间| 精品一区二区三区视频在线| 精品久久久久久久久亚洲| 久久久a久久爽久久v久久| 国产精品精品国产色婷婷| 在线a可以看的网站| 午夜激情欧美在线| 国产不卡一卡二| 久久精品熟女亚洲av麻豆精品 | 国模一区二区三区四区视频| 男人舔奶头视频| 国产精品永久免费网站| 淫秽高清视频在线观看| 在线a可以看的网站| 99热6这里只有精品| 亚洲怡红院男人天堂| 欧美变态另类bdsm刘玥| 好男人视频免费观看在线| 又粗又爽又猛毛片免费看| 亚洲精品乱码久久久v下载方式| 国产亚洲午夜精品一区二区久久 | 91精品一卡2卡3卡4卡| 一边摸一边抽搐一进一小说| 国产av在哪里看| 中文在线观看免费www的网站| 乱人视频在线观看| 全区人妻精品视频| 建设人人有责人人尽责人人享有的 | 嫩草影院入口| 精品人妻偷拍中文字幕| 亚洲av电影不卡..在线观看| 久久精品影院6| 国内精品一区二区在线观看| 成人性生交大片免费视频hd| 久久亚洲精品不卡| 久久久久久久久中文| 一区二区三区免费毛片| av在线观看视频网站免费| av在线老鸭窝| 日本爱情动作片www.在线观看| 国产免费一级a男人的天堂| 老司机福利观看| 亚洲欧洲日产国产| 免费av不卡在线播放| 麻豆乱淫一区二区| 在线免费观看的www视频| 一个人看视频在线观看www免费| 老司机影院成人| 男女下面进入的视频免费午夜| 国产在线男女| 亚洲高清免费不卡视频| 蜜臀久久99精品久久宅男| 真实男女啪啪啪动态图| 中文字幕熟女人妻在线| 日本黄色视频三级网站网址| 欧美3d第一页| 高清av免费在线| 一个人看的www免费观看视频| 少妇熟女欧美另类| 免费不卡的大黄色大毛片视频在线观看 | 久久久久久久久久久丰满| 嫩草影院精品99| 免费观看在线日韩| 亚洲国产成人一精品久久久| 欧美一区二区国产精品久久精品| av天堂中文字幕网| 啦啦啦啦在线视频资源| 国产av不卡久久| 亚洲成色77777| 国产精品国产三级国产专区5o | 尾随美女入室| 能在线免费看毛片的网站| 国产真实伦视频高清在线观看| 99热精品在线国产| 午夜福利在线观看吧| 日韩av不卡免费在线播放| 乱码一卡2卡4卡精品| 久久99热这里只频精品6学生 | 国产亚洲av嫩草精品影院| 精品久久久久久久久亚洲| 亚洲人成网站在线观看播放| av国产久精品久网站免费入址| 亚洲成人精品中文字幕电影| 啦啦啦韩国在线观看视频| 亚洲婷婷狠狠爱综合网| 日本五十路高清| 日韩视频在线欧美| 美女内射精品一级片tv| 国产一区二区三区av在线| 久久这里有精品视频免费| 国产免费视频播放在线视频 | 观看美女的网站| 我的老师免费观看完整版| 国产精品永久免费网站| 视频中文字幕在线观看| 亚洲欧美精品自产自拍|