• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于艾賓浩斯遺忘曲線和注意力機(jī)制的推薦算法

    2022-11-07 07:51:56金楠王瑞琴陸悅聰
    電信科學(xué) 2022年10期
    關(guān)鍵詞:用戶模型

    金楠,王瑞琴,2,陸悅聰

    研究與開發(fā)

    基于艾賓浩斯遺忘曲線和注意力機(jī)制的推薦算法

    金楠1,王瑞琴1,2,陸悅聰1

    (1. 湖州師范學(xué)院信息工程學(xué)院,浙江 湖州 313000;2. 浙江省現(xiàn)代農(nóng)業(yè)資源智慧管理與應(yīng)用研究重點(diǎn)實(shí)驗(yàn)室,浙江 湖州 313000)

    傳統(tǒng)基于注意力機(jī)制的推薦算法只利用位置嵌入對(duì)用戶行為序列進(jìn)行建模,忽略了具體的時(shí)間戳信息,導(dǎo)致推薦性能不佳和模型訓(xùn)練過擬合等問題。提出基于時(shí)間注意力的多任務(wù)矩陣分解推薦模型,利用注意力機(jī)制提取鄰域信息對(duì)用戶和物品進(jìn)行嵌入編碼,借助艾賓浩斯遺忘曲線描述用戶興趣隨時(shí)間的變化特性,在模型訓(xùn)練過程中引入經(jīng)驗(yàn)回放的強(qiáng)化學(xué)習(xí)策略模擬人類的記憶復(fù)習(xí)過程。真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該模型比現(xiàn)有推薦模型具有更好的推薦性能。

    艾賓浩斯遺忘曲線;注意力機(jī)制;強(qiáng)化學(xué)習(xí);經(jīng)驗(yàn)回放

    0 引言

    大數(shù)據(jù)時(shí)代,在產(chǎn)生海量數(shù)據(jù)的同時(shí)也帶來了信息過載的問題。個(gè)性化推薦系統(tǒng)將用戶從海量的數(shù)據(jù)選擇中解放出來,通過推薦算法挖掘用戶的潛在需求,為用戶提供個(gè)性化的推薦服務(wù)[1]。在這個(gè)信息爆炸和以人為本的時(shí)代,個(gè)性化推薦勢(shì)在必行?,F(xiàn)有推薦算法可分為傳統(tǒng)推薦算法和基于深度學(xué)習(xí)的推薦算法兩大類,傳統(tǒng)推薦算法存在數(shù)據(jù)稀疏、對(duì)用戶和物品的信息處理過于簡單、無法捕獲非線性特征交互等缺點(diǎn),預(yù)測(cè)準(zhǔn)確性不高?;谏疃葘W(xué)習(xí)的推薦算法可以自動(dòng)學(xué)習(xí)特征間的高階非線性交互,從而提高推薦的準(zhǔn)確性。

    協(xié)同過濾(collaborative filtering,CF)算法[2]是經(jīng)典的推薦算法之一,其中以基于矩陣分解(matrix factorization,MF)的CF算法應(yīng)用最為廣泛。該算法將由用戶和項(xiàng)目組成的交互矩陣進(jìn)行低維矩陣分解,將用戶和項(xiàng)目映射到共享的潛在特征空間,利用用戶和項(xiàng)目潛在向量的內(nèi)積進(jìn)行評(píng)分預(yù)測(cè)[3]。基于MF的CF算法原理簡單且推薦速率高,但無法利用用戶和項(xiàng)目的鄰域信息以及交互時(shí)間戳等信息,推薦精度不高。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)被證明可以擬合任何函數(shù),實(shí)現(xiàn)對(duì)交互行為的非線性建模[4]。神經(jīng)矩陣分解(neural matrix factorization,NeuMF)和深度協(xié)同過濾(deep collaborative filtering,DeepCF)[5]是兩種典型的神經(jīng)網(wǎng)絡(luò)算法,分別采用不同的融合策略將CF算法和神經(jīng)網(wǎng)絡(luò)算法進(jìn)行集成,取得了良好的推薦性能,但不足之處在于推薦結(jié)果缺乏可解釋性。

    近年來,注意力機(jī)制被廣泛應(yīng)用于推薦任務(wù)以自適應(yīng)地提取鄰域信息對(duì)目標(biāo)建模,建模過程中不同的注意力權(quán)重使得模型具有很好的可解釋性[6-7]。Wang等[8]提出基于神經(jīng)圖的協(xié)同推薦(neural graph collaborative filtering,NGCF)模型,將來自不同鄰居的信息組合起來學(xué)習(xí)用戶和物品向量。Wu等[9]提出基于圖神經(jīng)網(wǎng)絡(luò)的序列推薦(session-based recommendation with graph neural network,SR-GNN)模型,在會(huì)話圖上運(yùn)用圖神經(jīng)網(wǎng)絡(luò)來捕獲項(xiàng)目之間的復(fù)雜轉(zhuǎn)換,利用注意力機(jī)制將當(dāng)前會(huì)話表示為全局偏好和當(dāng)前興趣的組合。Lu等[10]提出社交影響注意力神經(jīng)網(wǎng)絡(luò)(social influence attentive neural network,SIAN)模型,利用注意力機(jī)制捕捉朋友推薦的影響力。Wang等[11]提出協(xié)同知識(shí)感知的注意力網(wǎng)絡(luò)(collaborative knowledge-aware attentive network,CKAN)模型,使用知識(shí)感知的注意力機(jī)制區(qū)分不同知識(shí)鄰居的貢獻(xiàn)。Wang等[12]提出全局上下文增強(qiáng)的序列推薦模型GCE-GNN(global context enhanced graph neural network),對(duì)所有會(huì)話中的項(xiàng)目轉(zhuǎn)換進(jìn)行建模來學(xué)習(xí)全局項(xiàng)目嵌入,對(duì)當(dāng)前會(huì)話進(jìn)行建模來學(xué)習(xí)會(huì)話級(jí)項(xiàng)目嵌入,采用注意力機(jī)制匯總兩個(gè)級(jí)別的嵌入表示。Xia等[13]將會(huì)話序列表示為超圖來捕捉項(xiàng)目間的高階信息,通過雙通道超圖卷積網(wǎng)絡(luò)來學(xué)習(xí)會(huì)話表示。然而,已有注意力方法通常利用位置嵌入對(duì)用戶行為序列進(jìn)行建模,忽略了具體的時(shí)間戳信息,導(dǎo)致推薦性能不佳和模型訓(xùn)練過擬合等問題。

    近年來,多任務(wù)學(xué)習(xí)成功應(yīng)用于機(jī)器學(xué)習(xí)的很多鄰域[14-15]。在推薦系統(tǒng)中,通過參數(shù)共享的方式同時(shí)學(xué)習(xí)多個(gè)相關(guān)的任務(wù),不同任務(wù)之間相互促進(jìn),如此可以進(jìn)一步提高推薦的性能。Xiao等[16]提出基于深度神經(jīng)網(wǎng)絡(luò)的多任務(wù)推薦(deep factorization machine-graph convolutional network,DFM-GCN)模型,它利用深度矩陣分解模型捕捉用戶與物品之間的交互信息,利用圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN)獲得更好的項(xiàng)目表示向量。Wang等[17]提出知識(shí)圖譜增強(qiáng)的多任務(wù)特征學(xué)習(xí)推薦模型,它是一個(gè)深度端到端的框架,將知識(shí)圖譜的聯(lián)合學(xué)習(xí)和交替學(xué)習(xí)與推薦系統(tǒng)結(jié)合,利用知識(shí)圖嵌入任務(wù)來輔助推薦任務(wù)。Liu等[18]提出項(xiàng)目關(guān)系圖神經(jīng)網(wǎng)絡(luò)(item relationship graph neural network,IRGNN)模型,采用多任務(wù)架構(gòu)發(fā)現(xiàn)項(xiàng)目間的多個(gè)復(fù)雜關(guān)系,利用識(shí)別的項(xiàng)目關(guān)系生成更好的推薦結(jié)果,提高推薦的可解釋性。

    綜上,注意力機(jī)制和多任務(wù)學(xué)習(xí)在推薦系統(tǒng)中已經(jīng)發(fā)揮出積極的作用。目前利用融合注意力機(jī)制與多任務(wù)學(xué)習(xí)以提高推薦性能的方法非常少見,然而這一方向具有巨大潛力,值得探索。為此,本文提出一種基于時(shí)間注意力的多任務(wù)矩陣分解推薦(time attention-based multi-task matrix factorization,TAMMF)模型,以基于時(shí)間感知注意力機(jī)制的推薦為主任務(wù),以基于矩陣分解的推薦為相關(guān)任務(wù),利用GCN捕捉用戶和物品的鄰域信息,借助艾賓浩斯遺忘曲線對(duì)鄰域作用進(jìn)行衰減,訓(xùn)練過程中引入基于經(jīng)驗(yàn)回放的強(qiáng)化學(xué)習(xí)策略。在真實(shí)數(shù)據(jù)集上的大量實(shí)驗(yàn)結(jié)果表明,本文算法明顯優(yōu)于現(xiàn)有推薦算法。本文的主要貢獻(xiàn)主要體現(xiàn)在以下幾個(gè)方面。

    ●在矩陣分解模型的基礎(chǔ)上,結(jié)合艾賓浩斯遺忘曲線和注意力機(jī)制提取鄰域信息,對(duì)用戶和項(xiàng)目進(jìn)行建模。

    ●模擬人類記憶不斷復(fù)習(xí)的過程,訓(xùn)練過程采用強(qiáng)化學(xué)習(xí)中經(jīng)驗(yàn)回放的學(xué)習(xí)方法,提升了模型的魯棒性。

    ●在4個(gè)不同規(guī)模的真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證,結(jié)果表明本文模型的推薦精度和推薦速度均優(yōu)于已有推薦模型。

    1 模型設(shè)計(jì)

    TAMMF模型的基本框架如圖1所示,主要包括矩陣分解模型和時(shí)間注意力網(wǎng)絡(luò)兩個(gè)部件,二者共享用戶向量和物品向量,形成并行的多任務(wù)結(jié)構(gòu),以不同的學(xué)習(xí)方式各自進(jìn)行評(píng)分預(yù)測(cè),最后將得到的預(yù)測(cè)評(píng)分值進(jìn)行合并。

    圖1 TAMMF模型的基本框架

    矩陣分解進(jìn)行評(píng)分預(yù)測(cè)時(shí)存在預(yù)測(cè)準(zhǔn)確性低、可解釋性差等問題。時(shí)間注意力網(wǎng)絡(luò)通過對(duì)用戶和物品向量進(jìn)行時(shí)間衰減,學(xué)習(xí)用戶和物品的鄰近關(guān)系,增強(qiáng)了模型的可解釋性,提升了評(píng)分預(yù)測(cè)的準(zhǔn)確性,但容易陷入局部最優(yōu)。多任務(wù)模型通過多個(gè)相關(guān)任務(wù)的共同學(xué)習(xí)和互相促進(jìn),提高了模型的泛化能力。本文模型將均方根誤差(root mean square error,RMSE)作為兩個(gè)任務(wù)的損失函數(shù),最后取均值作為總損失函數(shù)。

    其中,1和2分別表示矩陣分解模型和時(shí)間注意力網(wǎng)絡(luò)的預(yù)測(cè)評(píng)分,為實(shí)際評(píng)分,為測(cè)試樣本的個(gè)數(shù)。

    1.1 矩陣分解模型

    矩陣分解是目前推薦系統(tǒng)中非常流行的一種算法,它通過對(duì)用戶?項(xiàng)目交互矩陣進(jìn)行低維矩陣分解,將用戶和項(xiàng)目映射到共同的潛在向量空間中,對(duì)用戶和項(xiàng)目的潛在特征向量的內(nèi)積進(jìn)行評(píng)分預(yù)測(cè),如式(4)所示。

    基于矩陣分解的評(píng)分預(yù)測(cè)與協(xié)同推薦算法原理簡單、推薦速度快,但其計(jì)算過程沒有考慮交互時(shí)間信息以及用戶和物品的鄰近信息,推薦結(jié)果準(zhǔn)確率較低。

    1.2 時(shí)間注意力網(wǎng)絡(luò)

    (1)艾賓浩斯遺忘曲線

    艾賓浩斯遺忘曲線為德國著名心理學(xué)家艾賓浩斯研究所得,遵循“先快后慢”原則,在記憶初期遺忘速度很快,隨時(shí)間推移遺忘速度逐漸減緩,最終趨于平穩(wěn)。此外,合理的重復(fù)記憶可以有效降低記憶的遺忘速度,提高記憶的牢固度。艾賓浩斯遺忘曲線如圖2所示。

    圖2 艾賓浩斯遺忘曲線

    將艾賓浩斯遺忘曲線應(yīng)用于推薦系統(tǒng),需要根據(jù)具體的推薦數(shù)據(jù)集,將其量化為相應(yīng)的數(shù)學(xué)表達(dá)式,如式(5)所示。

    其中,()是以為變量的遺忘函數(shù),表示時(shí)間間隔,和是兩個(gè)控制變量。實(shí)驗(yàn)證明,當(dāng)設(shè)置=1.25、=1.84時(shí),該函數(shù)與遺忘曲線的擬合度最高。

    為用戶提供個(gè)性化推薦時(shí),時(shí)間間隔越小的歷史行為往往具有越高的參考意義,可以更有效地體現(xiàn)用戶的短期興趣。時(shí)間間隔大的歷史行為對(duì)用戶短期興趣建模的參考意義較小,但其數(shù)據(jù)量豐富,能夠體現(xiàn)用戶的長期興趣。在推薦系統(tǒng)中,歷史行為數(shù)據(jù)的時(shí)間間隔短至幾秒,長達(dá)幾天,甚至幾個(gè)月,數(shù)據(jù)差異較大,這里用式(6)進(jìn)行轉(zhuǎn)換。

    (2)時(shí)間注意力網(wǎng)絡(luò)設(shè)計(jì)

    時(shí)間注意力網(wǎng)絡(luò)主要由時(shí)間衰減函數(shù)和圖卷積神經(jīng)網(wǎng)絡(luò)兩部分構(gòu)成,時(shí)間注意力網(wǎng)絡(luò)示意圖如圖3所示。

    圖3 時(shí)間注意力網(wǎng)絡(luò)示意圖

    其中,i為矩陣分解的物品向量,i()為衰減后的物品向量,為可調(diào)節(jié)參數(shù)。

    其中,()表示用戶u在圖中的鄰居集;表示可訓(xùn)練的參數(shù);uj表示鄰居項(xiàng)目I對(duì)用戶建模的貢獻(xiàn)權(quán)重,通過注意力網(wǎng)絡(luò)和Softmax激活函數(shù)計(jì)算得到,如式(9)及式(10)所示。

    其中,1、21和2表示可訓(xùn)練的參數(shù)。

    1.3 基于經(jīng)驗(yàn)回放的模型訓(xùn)練

    人類記憶過程中通過適當(dāng)復(fù)習(xí),能夠?qū)@得的短時(shí)記憶轉(zhuǎn)化成長時(shí)記憶,永久地留存在腦海里,有效提升記憶效果。TAMMF模型借鑒強(qiáng)化學(xué)習(xí)中的經(jīng)驗(yàn)回放方法來模擬人類記憶過程中的復(fù)習(xí)過程,經(jīng)驗(yàn)回放示意圖如圖4所示。不斷地將訓(xùn)練過程中得到的用戶和物品向量保存在記憶池中,作為歷史經(jīng)驗(yàn),繼續(xù)訓(xùn)練時(shí)會(huì)觸發(fā)經(jīng)驗(yàn)回放條件,該條件可以是迭代一定次數(shù),也可以是隨機(jī)觸發(fā),此時(shí)會(huì)從記憶池中獲取歷史經(jīng)驗(yàn)數(shù)據(jù),并將其加入新的訓(xùn)練過程中。

    圖4 經(jīng)驗(yàn)回放示意圖

    在訓(xùn)練過程中采用經(jīng)驗(yàn)回放具有以下優(yōu)勢(shì):一是每一步對(duì)權(quán)值的更新都會(huì)對(duì)模型起作用,提高了數(shù)據(jù)的利用率;二是打破了樣本之間的相關(guān)性,減小每次訓(xùn)練更新的方差;三是通過加入歷史經(jīng)驗(yàn),防止參數(shù)學(xué)習(xí)陷入局部最優(yōu)。

    1.4 復(fù)雜度分析

    2 實(shí)驗(yàn)結(jié)果與分析

    2.1 數(shù)據(jù)集

    為了評(píng)估TAMMF模型的有效性,在FilmTrust、MovieLens 100K(ML-100K)、MovieLens 1M(ML- 1M)和MoiveLens Last(ML-Last)4個(gè)公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集詳情見表1,其中FilmTrust包含1 508位用戶對(duì)2 071部電影的35 497個(gè)顯式評(píng)分,評(píng)分范圍為[0.5,4];MovieLens 100K包含943位用戶對(duì)1 682部電影的100 000個(gè)顯式評(píng)分;MovieLens 1M包含6 040位用戶對(duì)3 706部電影的1 000 209個(gè)顯式評(píng)分;MovieLens Last包含610位用戶對(duì)9 742部電影的100 836個(gè)顯式評(píng)分,后3個(gè)數(shù)據(jù)集的評(píng)分取值范圍均為[1,5]。對(duì)于每個(gè)數(shù)據(jù)集,將其中80%的評(píng)分?jǐn)?shù)據(jù)作為訓(xùn)練數(shù)據(jù),其余作為測(cè)試數(shù)據(jù)。

    表1 數(shù)據(jù)集詳情

    2.2 對(duì)比方法

    本文與如下方法進(jìn)行對(duì)比。

    ●基于物品的協(xié)同過濾推薦算法ItemCF(item-to-item collaborative filtering)[19]:通過計(jì)算物品之間的相似度,根據(jù)用戶喜歡的物品向用戶推薦相似的物品。

    ●概率矩陣分解(probabilistic matrix factorization,PMF)方法[20]:是推薦系統(tǒng)的基礎(chǔ)算法之一。PMF方法在大型、稀疏且不平衡的數(shù)據(jù)集上有很好的表現(xiàn)。

    ●MLP(multilayer perceptron):深度神經(jīng)網(wǎng)絡(luò)基本方法,將用戶ID、項(xiàng)目ID的One-hot編碼進(jìn)行拼接并作為輸入向量,使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行交互建模和評(píng)分預(yù)測(cè)。

    ●奇異值分解(singular value decomposition,SVD)法[21]:對(duì)評(píng)分矩陣進(jìn)行分解后采用點(diǎn)積方法計(jì)算預(yù)測(cè)評(píng)分。該方法在預(yù)測(cè)準(zhǔn)確性、穩(wěn)定性上具有明顯的優(yōu)勢(shì)。

    ●GCN[22]:采用圖卷積方法融合鄰域信息進(jìn)行目標(biāo)建模,等同于本文模型中的注意力部分。

    ●NeuMF[3]:結(jié)合了傳統(tǒng)的矩陣分解算法和多層感知機(jī),可以同時(shí)抽取低維和高維特征,具有良好的推薦效果。

    ●DeepCF[5]:結(jié)合表示學(xué)習(xí)和匹配學(xué)習(xí)方法的優(yōu)點(diǎn),通過搭建深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行交互建模與評(píng)分預(yù)測(cè)。

    為了得到對(duì)比算法的最優(yōu)結(jié)果,所有算法均參照原文獻(xiàn)設(shè)置最優(yōu)參數(shù)。為了防止過擬合,NeuMF和DeepCF采用L2正則化,MLP和GCN采用Dropout,保留概率為0.8。

    2.3 評(píng)價(jià)指標(biāo)

    平均絕對(duì)誤差(mean absolute error,MAE)和均方根誤差是衡量變量精度的兩個(gè)最常用的指標(biāo)。MAE表示絕對(duì)誤差的平均值,反映預(yù)測(cè)值與真實(shí)值之間的偏差程度,偏差越小,精度越高。

    RMSE表示預(yù)測(cè)值和真實(shí)值之間差異的平方均值,用來衡量預(yù)測(cè)的準(zhǔn)確程度,偏差越小,精度越高。該指標(biāo)對(duì)個(gè)別大的偏差非常敏感。

    2.4 參數(shù)設(shè)置

    模型訓(xùn)練過程采用Adam優(yōu)化器,學(xué)習(xí)率為0.000 5;采用批量訓(xùn)練的方法,每批128個(gè)數(shù)據(jù),迭代次數(shù)為200;用戶和物品向量采用期望為0、方差為0.01的隨機(jī)分布進(jìn)行初始化,向量維度為128;采用Dropout方法,防止模型訓(xùn)練過擬合。

    2.5 實(shí)驗(yàn)結(jié)果分析

    (1)對(duì)比實(shí)驗(yàn)

    不同模型在4個(gè)數(shù)據(jù)集上的性能表現(xiàn)見表2,推薦系統(tǒng)的經(jīng)典算法ItemCF在所有方法中表現(xiàn)最差,相比ItemCF算法,PMF和SVD性能有所提升,但是由于上述方法沒有考慮鄰域信息,且只進(jìn)行線性交互建模,推薦效果都不是很理想。MLP通過學(xué)習(xí)高階特征交互,推薦性能具有明顯提升?;谏疃葘W(xué)習(xí)的模型NeuMF在MLP的基礎(chǔ)上結(jié)合矩陣分解算法捕捉低階關(guān)系,推薦性能得到進(jìn)一步提升。另一個(gè)基于深度學(xué)習(xí)的模型DeepCF結(jié)合了表示學(xué)習(xí)和特征交互學(xué)習(xí)的優(yōu)勢(shì),在所有數(shù)據(jù)集上都具有優(yōu)異的性能表現(xiàn)。GCN模型在用戶和項(xiàng)目建模過程中考慮了鄰域信息,推薦性能較同類方法具有一定優(yōu)勢(shì)。本文模型在所有數(shù)據(jù)集上都具有最佳的性能表現(xiàn),其原因在于:借助注意力機(jī)制捕捉用戶和物品鄰近信息,增強(qiáng)了建模準(zhǔn)確性;使用多任務(wù)的方式進(jìn)行參數(shù)學(xué)習(xí),有效防止模型訓(xùn)練過擬合。TAMMF+在TAMMF的基礎(chǔ)上使用經(jīng)驗(yàn)回放的方式進(jìn)行訓(xùn)練,推薦性能得到了進(jìn)一步提升,由此可見,將人類記憶過程中的復(fù)習(xí)方法應(yīng)用于深度學(xué)習(xí)模型訓(xùn)練是有效的。

    表2 不同模型在4個(gè)數(shù)據(jù)集上的性能表現(xiàn)

    (2)參數(shù)敏感性實(shí)現(xiàn)

    為了防止模型訓(xùn)練過擬合,提高模型的魯棒性,引入Dropout方法。Dropout方法在深度學(xué)習(xí)模型的每個(gè)隱藏層中都保留了神經(jīng)元比率。不同保留概率下的MAE和RMSE分別如圖5和圖6所示,展示了采用不同的保留概率時(shí)模型的推薦性能。當(dāng)保留全部神經(jīng)元(Dropout=1)時(shí),模型出現(xiàn)嚴(yán)重的過擬合現(xiàn)象,采用Dropout方法可以有效解決過擬合問題,在保留概率為0.8或0.9時(shí),推薦效果性能最佳。

    圖5 不同保留概率下的MAE

    圖6 不同保留概率下的RMSE

    為了防止參數(shù)學(xué)習(xí)陷入局部最優(yōu),增強(qiáng)模型的魯棒性,本文模型采用了強(qiáng)化學(xué)習(xí)中經(jīng)驗(yàn)回放的訓(xùn)練方法,用于消除樣本之間的相關(guān)性,重復(fù)利用過去的經(jīng)驗(yàn)。不同回放間隔下ML-Last數(shù)據(jù)集上的MAE和RMSE分別如圖7和圖8所示,展示了不同回放間隔對(duì)模型性能的影響,可以看出,使用經(jīng)驗(yàn)回放的方法能夠明顯提升預(yù)測(cè)準(zhǔn)確率,當(dāng)回放間隔為5次時(shí),效果最佳。

    圖7 不同回放間隔下ML-Last數(shù)據(jù)集上的MAE

    圖8 不同回放間隔下ML-Last數(shù)據(jù)集上的RMSE

    表3 不同向量維度下的性能表現(xiàn)

    通常情況下,用戶和項(xiàng)目向量的維度(size)對(duì)評(píng)分預(yù)測(cè)具有一定影響,不同向量維度下的性能表現(xiàn)見表3。從表3可以看出,開始時(shí)隨著向量維度的增加,預(yù)測(cè)性能不斷提升,這是因?yàn)椴捎酶嗟木S度可以考慮更多的預(yù)測(cè)因素。當(dāng)向量維度為128時(shí)模型性能最佳,此時(shí)進(jìn)一步增加向量維度,預(yù)測(cè)性能反而有所下降,這說明過多的向量維度引入了噪聲,會(huì)產(chǎn)生過擬合現(xiàn)象。因此,本文選取128作為用戶和項(xiàng)目向量的維度。

    3 結(jié)束語

    本文基于艾賓浩斯遺忘曲線和注意力機(jī)制對(duì)現(xiàn)有推薦模型進(jìn)行改進(jìn),提出一種基于時(shí)間注意力的多任務(wù)矩陣分解推薦模型TAMMF,融合矩陣分解算法和時(shí)間注意力網(wǎng)絡(luò),形成多任務(wù)學(xué)習(xí)模型,并使用經(jīng)驗(yàn)回放方法進(jìn)行模型訓(xùn)練,有效防止了模型訓(xùn)練過擬合,提升了評(píng)分預(yù)測(cè)和推薦準(zhǔn)確性。本文模型采用矩陣分解方法進(jìn)行評(píng)分預(yù)測(cè),推薦效率高。

    本文模型利用艾賓浩斯遺忘曲線對(duì)不同時(shí)間間隔的領(lǐng)域信息的作用進(jìn)行衰減,采用數(shù)學(xué)建模和參數(shù)調(diào)節(jié)方法。在未來的工作中,將借鑒多學(xué)科領(lǐng)域知識(shí),嘗試不同的時(shí)間衰減方式,進(jìn)一步提升模型的推薦性能。

    [1] 黃立威, 江碧濤, 呂守業(yè), 等. 基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2018, 41(7): 1619-1647.

    HUANG L W, JIANG B T, LYU S Y, et al. Survey on deep learning based recommender systems[J]. Chinese Journal of Computers, 2018, 41(7): 1619-1647.

    [2] 紀(jì)佳琪, 姜學(xué)東. 深度協(xié)同過濾推薦模型研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2020, 37(7): 240-245.

    JI J Q, JIANG X D. Deep collaborative filtering recommender model[J]. Computer Applications and Software, 2020, 37(7): 240-245.

    [3] HE X N, LIAO L Z, ZHANG H W, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. [S.l.:s.n.], 2017: 173-182.

    [4] VEIT A, WILBER M J, BELONGIE S. Residual networks behave like ensembles of relatively shallow networks[J]. Advances in Neural Information Processing Systems, 2016, 29: 550-558.

    [5] DENG Z H, HUANG L, WANG C D, et al. DeepCF: a unified framework of representation learning and matching function learning in recommender system[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 61-68.

    [6] SHEN T, ZHOU T Y, LONG G D, et al. DiSAN: directional self-attention network for RNN/CNN-free language understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2018, 32(1).

    [7] ZHANG W F, YU J, HU H, et al. Multimodal feature fusion by relational reasoning and attention for visual question answering[J]. Information Fusion, 2020, 55: 116-126.

    [8] WANG X, HE X N, WANG M, et al. Neural graph collaborative filtering[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. [S.l.:s.n], 2019: 165-174.

    [9] WU S, TANG Y Y, ZHU Y Q, et al. Session-based recommendation with graph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 346-353.

    [10] LU Y F, XIE R B, SHI C, et al. Social influence attentive neural network for friend-enhanced recommendation[C]//Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases. [S.l.:s.n.], 2020: 3-18.

    [11] WANG Z, LIN G Y, TAN H B, et al. CKAN: collaborative knowledge-aware attentive network for recommender systems[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 219-228.

    [12] WANG Z Y, WEI W, CONG G, et al. Global context enhanced graph neural networks for session-based recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 169-178.

    [13] XIA X, YIN H Z, YU J L, et al. Self-supervised hypergraph convolutional networks for session-based recommendation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(5): 4503-4511.

    [14] ZHANG Y, YANG Q. An overview of multi-task learning[J]. National Science Review, 2017, 5(1): 30-43.

    [15] LU Y C, DONG R H, SMYTH B. Why I like it: multi-task learning for recommendation and explanation[C]//Proceedings of the 12th ACM Conference on Recommender Systems. New York: ACM Press, 2018: 4-12.

    [16] XIAO Y, LI C D, LIU V. DFM-GCN: a multi-task learning recommendation based on a deep graph neural network[J]. Mathematics, 2022, 10(5): 721.

    [17] WANG Y Q, DONG L Y, LI Y L, et al. Multitask feature learning approach for knowledge graph enhanced recommendations with RippleNet[J]. PLoS One, 2021, 16(5): e0251162.

    [18] LIU W W, ZHANG Y, WANG J L, et al. Item relationship graph neural networks for E-commerce[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(9): 4785-4799.

    [19] LINDEN G, SMITH B, YORK J. Amazon.com recommendations: item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.

    [20] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer, 2009, 42(8): 30-37.

    [21] ZHENG S, DING C, NIE F P. Regularized singular value decomposition and application to recommender system[J]. arXiv preprint, 2018, arXiv: 1804.05090.

    [22] MOLCHANOV P, TYREE S, KARRAS T, et al. Pruning convolutional neural networks for resource efficient inference[J]. arXiv preprint, 2016, arXiv: 1611.06440.

    Ebbinghaus forgetting curve and attention mechanism based recommendation algorithm

    JIN Nan1, WANG Ruiqin1, 2, LU Yuecong1

    1. School of Information Engineering, Huzhou University, Huzhou 313000, China 2. Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou 313000, China

    Traditional attention-based recommendation algorithms only use position embeddings to model user behavior sequences, however, ignore specific timestamp information, resulting in poor recommendation performance and overfitting of model training. The multi-task matrix factorization recommendation model based on time attention was proposed, which used the attention mechanism to extract the neighborhood information for the user and item embedding, and used the Ebbinghaus forgetting curve to describe the changing characteristics of user interests over time. The model training process introduced a reinforcement learning strategy of experience replay to simulate the human memory review process. Experimental results on real datasets show that the proposed model has better recommendation performance than existing recommendation models.

    Ebbinghaus forgetting curve, attention mechanism, reinforcement learning, experience replay

    TP391

    A

    10.11959/j.issn.1000–0801.2022266

    2022–02–25;

    2022–09–28

    王瑞琴,angelwrq@163.com

    浙江省自然科學(xué)基金資助項(xiàng)目(No.LY20F020006)

    The Natural Science Foundation of Zhejiang Province (No.LY20F020006)

    金楠(1996– ),男,湖州師范學(xué)院信息工程學(xué)院碩士生,主要研究方向?yàn)樯疃葘W(xué)習(xí)、個(gè)性化推薦。

    王瑞琴(1979– ),女,湖州師范學(xué)院信息工程學(xué)院教授、碩士生導(dǎo)師,主要研究方向?yàn)樽匀徽Z言理解、數(shù)據(jù)挖掘、個(gè)性化推薦。

    陸悅聰(1996– ),男,湖州師范學(xué)院信息工程學(xué)院碩士生,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘。

    猜你喜歡
    用戶模型
    一半模型
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    3D打印中的模型分割與打包
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    關(guān)注用戶
    商用汽車(2016年4期)2016-05-09 01:23:12
    FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
    Camera360:拍出5億用戶
    100萬用戶
    99riav亚洲国产免费| 99国产综合亚洲精品| 精华霜和精华液先用哪个| 精品久久久久久久久亚洲 | 国产野战对白在线观看| 深夜a级毛片| 无遮挡黄片免费观看| 久久精品国产清高在天天线| 亚洲av免费在线观看| 99在线人妻在线中文字幕| 欧美性猛交╳xxx乱大交人| 日本 欧美在线| 亚洲性夜色夜夜综合| 亚洲欧美日韩卡通动漫| 国产国拍精品亚洲av在线观看| 亚洲精品粉嫩美女一区| 精品免费久久久久久久清纯| 国产亚洲av嫩草精品影院| 老司机福利观看| 天堂网av新在线| 午夜精品一区二区三区免费看| 免费人成在线观看视频色| 久久久精品大字幕| 99精品在免费线老司机午夜| 欧美不卡视频在线免费观看| 99久久久亚洲精品蜜臀av| 亚洲精品日韩av片在线观看| 日韩精品青青久久久久久| 色吧在线观看| 我要搜黄色片| 性色avwww在线观看| 一进一出抽搐动态| 十八禁人妻一区二区| 久99久视频精品免费| 狠狠狠狠99中文字幕| 国产精品久久视频播放| 国产人妻一区二区三区在| 成年女人毛片免费观看观看9| 如何舔出高潮| 亚洲av不卡在线观看| 国产精品永久免费网站| 久久精品国产99精品国产亚洲性色| 精品午夜福利视频在线观看一区| 亚洲久久久久久中文字幕| 观看免费一级毛片| 免费人成在线观看视频色| 免费人成在线观看视频色| 啦啦啦观看免费观看视频高清| 美女被艹到高潮喷水动态| 人妻丰满熟妇av一区二区三区| 国产成人a区在线观看| 日日夜夜操网爽| 国产午夜精品论理片| 欧美日韩瑟瑟在线播放| 欧美日本视频| 国产亚洲精品综合一区在线观看| 一个人看视频在线观看www免费| av专区在线播放| 怎么达到女性高潮| 人人妻人人澡欧美一区二区| 亚洲三级黄色毛片| 欧美成人免费av一区二区三区| 免费观看精品视频网站| 成年版毛片免费区| 精品人妻1区二区| 亚洲熟妇中文字幕五十中出| 欧美成人性av电影在线观看| 免费在线观看成人毛片| 色av中文字幕| 在线国产一区二区在线| 欧美激情久久久久久爽电影| 久久精品91蜜桃| av天堂在线播放| 亚洲av.av天堂| 听说在线观看完整版免费高清| 一边摸一边抽搐一进一小说| 国产美女午夜福利| 很黄的视频免费| 久久精品国产亚洲av天美| 亚洲第一电影网av| 国产色爽女视频免费观看| 美女被艹到高潮喷水动态| 少妇高潮的动态图| 精品一区二区三区视频在线观看免费| 欧美+亚洲+日韩+国产| 亚洲精品日韩av片在线观看| 日韩欧美三级三区| 午夜亚洲福利在线播放| 国产亚洲av嫩草精品影院| 成人av在线播放网站| 欧美色视频一区免费| 免费在线观看成人毛片| 九色国产91popny在线| 伊人久久精品亚洲午夜| 国产一区二区三区视频了| 美女免费视频网站| 麻豆国产97在线/欧美| 嫩草影院新地址| 国产黄色小视频在线观看| 欧美成人一区二区免费高清观看| 久久天躁狠狠躁夜夜2o2o| 99热这里只有是精品在线观看 | 亚洲专区中文字幕在线| 久久这里只有精品中国| a级毛片免费高清观看在线播放| 日本一二三区视频观看| 免费看日本二区| 国产亚洲精品综合一区在线观看| 国产黄片美女视频| 最好的美女福利视频网| 日韩欧美国产一区二区入口| 国产成人福利小说| 成人无遮挡网站| 桃红色精品国产亚洲av| or卡值多少钱| 免费看美女性在线毛片视频| 乱人视频在线观看| 午夜福利免费观看在线| 欧美xxxx黑人xx丫x性爽| a级毛片免费高清观看在线播放| 亚洲内射少妇av| 美女高潮喷水抽搐中文字幕| 婷婷六月久久综合丁香| 丁香欧美五月| 国产野战对白在线观看| 亚洲精品在线观看二区| 在线免费观看的www视频| 热99在线观看视频| 亚洲av日韩精品久久久久久密| 亚洲国产精品成人综合色| 色精品久久人妻99蜜桃| 桃红色精品国产亚洲av| 国产麻豆成人av免费视频| 久久精品国产99精品国产亚洲性色| 级片在线观看| 婷婷精品国产亚洲av| 99国产极品粉嫩在线观看| 精品久久久久久,| 日本 av在线| 久久这里只有精品中国| 99在线人妻在线中文字幕| 亚洲国产欧美人成| 99久久无色码亚洲精品果冻| 亚洲av免费高清在线观看| 蜜桃久久精品国产亚洲av| 99热这里只有是精品50| 久久精品国产亚洲av天美| 亚洲国产日韩欧美精品在线观看| 中文亚洲av片在线观看爽| 99久久久亚洲精品蜜臀av| 变态另类成人亚洲欧美熟女| 欧美精品啪啪一区二区三区| 白带黄色成豆腐渣| 少妇熟女aⅴ在线视频| 国产亚洲精品久久久久久毛片| 亚洲精品在线观看二区| 大型黄色视频在线免费观看| 人人妻,人人澡人人爽秒播| eeuss影院久久| 亚洲国产欧洲综合997久久,| 免费高清视频大片| 18禁在线播放成人免费| 亚洲国产精品成人综合色| 国产亚洲精品久久久com| 国产v大片淫在线免费观看| 久久久国产成人免费| 欧美中文日本在线观看视频| 看片在线看免费视频| 一个人看的www免费观看视频| 欧美+亚洲+日韩+国产| 一a级毛片在线观看| 床上黄色一级片| 麻豆国产97在线/欧美| 亚洲av日韩精品久久久久久密| 欧美日韩中文字幕国产精品一区二区三区| 成年女人永久免费观看视频| 美女黄网站色视频| 欧美精品国产亚洲| 一二三四社区在线视频社区8| 女生性感内裤真人,穿戴方法视频| 中文字幕熟女人妻在线| 九色成人免费人妻av| 亚洲激情在线av| 一个人免费在线观看的高清视频| 久久久久久国产a免费观看| 欧美性猛交╳xxx乱大交人| 啪啪无遮挡十八禁网站| 久久99热6这里只有精品| bbb黄色大片| 欧美黄色淫秽网站| 观看免费一级毛片| 国内久久婷婷六月综合欲色啪| 欧美+亚洲+日韩+国产| 在线观看av片永久免费下载| 国产野战对白在线观看| 日本精品一区二区三区蜜桃| 亚洲av熟女| 中出人妻视频一区二区| 成人欧美大片| 在线观看66精品国产| 国产伦精品一区二区三区视频9| 俄罗斯特黄特色一大片| 欧美成人性av电影在线观看| 嫩草影院入口| 99在线视频只有这里精品首页| 蜜桃亚洲精品一区二区三区| 99久国产av精品| 国内精品久久久久精免费| 亚洲午夜理论影院| 看十八女毛片水多多多| 日韩欧美 国产精品| av欧美777| 日韩中字成人| 99热只有精品国产| 欧美性猛交黑人性爽| 日韩高清综合在线| 亚洲欧美精品综合久久99| 国产伦精品一区二区三区四那| 老熟妇乱子伦视频在线观看| 日本免费一区二区三区高清不卡| 97人妻精品一区二区三区麻豆| 听说在线观看完整版免费高清| 久久午夜福利片| 亚洲不卡免费看| 久久久久久久久中文| 日韩精品中文字幕看吧| 91字幕亚洲| 丰满人妻一区二区三区视频av| 男女之事视频高清在线观看| 别揉我奶头~嗯~啊~动态视频| www.熟女人妻精品国产| 少妇熟女aⅴ在线视频| 国产男靠女视频免费网站| 国产精品精品国产色婷婷| 18禁黄网站禁片午夜丰满| a级一级毛片免费在线观看| 99久久久亚洲精品蜜臀av| 国产免费av片在线观看野外av| 岛国在线免费视频观看| 国产精品亚洲av一区麻豆| 午夜视频国产福利| 999久久久精品免费观看国产| 草草在线视频免费看| 岛国在线免费视频观看| 久久久久性生活片| 一本精品99久久精品77| 成人永久免费在线观看视频| 日韩欧美 国产精品| 国产黄a三级三级三级人| 亚洲黑人精品在线| 别揉我奶头~嗯~啊~动态视频| 精品久久久久久成人av| 午夜免费男女啪啪视频观看 | 深夜a级毛片| 十八禁网站免费在线| 一区二区三区四区激情视频 | 久久精品国产99精品国产亚洲性色| 国产激情偷乱视频一区二区| 我的老师免费观看完整版| 男女做爰动态图高潮gif福利片| 一个人观看的视频www高清免费观看| 无人区码免费观看不卡| 麻豆一二三区av精品| 亚洲一区二区三区色噜噜| 国产精品一及| 一个人观看的视频www高清免费观看| 国产视频内射| 亚洲无线观看免费| 亚洲精品一区av在线观看| 国产精品爽爽va在线观看网站| 夜夜夜夜夜久久久久| 免费观看精品视频网站| 全区人妻精品视频| 午夜免费男女啪啪视频观看 | 国产精品一及| 97超视频在线观看视频| 亚洲精品粉嫩美女一区| 久久午夜亚洲精品久久| 人人妻人人看人人澡| 成年女人看的毛片在线观看| 国产高清视频在线观看网站| 国产亚洲精品久久久com| 天堂影院成人在线观看| 国语自产精品视频在线第100页| 五月伊人婷婷丁香| 少妇裸体淫交视频免费看高清| 蜜桃亚洲精品一区二区三区| 激情在线观看视频在线高清| 国产精品av视频在线免费观看| 国产黄色小视频在线观看| 亚洲成人久久爱视频| 天堂av国产一区二区熟女人妻| 亚洲 国产 在线| 精品久久久久久久久av| 热99re8久久精品国产| 亚洲欧美日韩高清在线视频| 亚洲电影在线观看av| 婷婷六月久久综合丁香| 国产精品嫩草影院av在线观看 | 亚洲av.av天堂| or卡值多少钱| 真人一进一出gif抽搐免费| 日韩欧美国产在线观看| 757午夜福利合集在线观看| 欧美精品国产亚洲| 日本撒尿小便嘘嘘汇集6| 成人一区二区视频在线观看| 色哟哟哟哟哟哟| АⅤ资源中文在线天堂| 一级作爱视频免费观看| av专区在线播放| 大型黄色视频在线免费观看| 舔av片在线| 日韩有码中文字幕| 国产 一区 欧美 日韩| 久久久久国产精品人妻aⅴ院| 午夜福利18| 长腿黑丝高跟| 一本久久中文字幕| 亚洲国产精品久久男人天堂| 国内精品一区二区在线观看| 美女大奶头视频| 亚洲av第一区精品v没综合| 最新在线观看一区二区三区| 窝窝影院91人妻| 亚洲精品在线美女| 美女免费视频网站| 深爱激情五月婷婷| 国产成人aa在线观看| 午夜日韩欧美国产| 日韩免费av在线播放| 国产av不卡久久| 久久午夜亚洲精品久久| 国产成人a区在线观看| 三级男女做爰猛烈吃奶摸视频| 国产一区二区在线观看日韩| 性色av乱码一区二区三区2| aaaaa片日本免费| 国产免费男女视频| eeuss影院久久| 丝袜美腿在线中文| 亚洲人成网站高清观看| 麻豆成人av在线观看| 久久久成人免费电影| 国产亚洲av嫩草精品影院| 国产色爽女视频免费观看| 亚洲精品在线美女| 舔av片在线| 欧美国产日韩亚洲一区| 久久精品91蜜桃| 一二三四社区在线视频社区8| 麻豆国产av国片精品| 成人精品一区二区免费| 亚洲自拍偷在线| 狠狠狠狠99中文字幕| 欧美极品一区二区三区四区| 757午夜福利合集在线观看| 91麻豆精品激情在线观看国产| 国产人妻一区二区三区在| 赤兔流量卡办理| eeuss影院久久| www.www免费av| 国产综合懂色| 女同久久另类99精品国产91| 我的女老师完整版在线观看| 在线看三级毛片| 成人永久免费在线观看视频| 国产三级在线视频| 欧美一区二区亚洲| 91麻豆av在线| 国产毛片a区久久久久| 久久久久久久久久黄片| 欧美乱妇无乱码| av专区在线播放| 成人三级黄色视频| 午夜福利在线观看吧| 国产成人欧美在线观看| 国产欧美日韩精品一区二区| 午夜影院日韩av| 嫩草影院新地址| 天堂影院成人在线观看| 变态另类成人亚洲欧美熟女| 国产精品av视频在线免费观看| 久久午夜福利片| 免费人成视频x8x8入口观看| 成熟少妇高潮喷水视频| 婷婷亚洲欧美| 久久婷婷人人爽人人干人人爱| 亚洲av熟女| 亚洲人成网站在线播| .国产精品久久| 香蕉av资源在线| 69av精品久久久久久| 首页视频小说图片口味搜索| 欧美最黄视频在线播放免费| 又粗又爽又猛毛片免费看| 最近视频中文字幕2019在线8| 国产单亲对白刺激| 老熟妇乱子伦视频在线观看| 久久久成人免费电影| 久久性视频一级片| 国产av一区在线观看免费| 国产亚洲精品久久久久久毛片| 天堂动漫精品| 国内精品久久久久久久电影| 人妻制服诱惑在线中文字幕| www.色视频.com| 美女cb高潮喷水在线观看| 欧美国产日韩亚洲一区| av天堂中文字幕网| 88av欧美| 51国产日韩欧美| 欧美日本视频| 国产不卡一卡二| 一进一出抽搐动态| 中文字幕久久专区| 人人妻,人人澡人人爽秒播| 俺也久久电影网| 久久久久国产精品人妻aⅴ院| 久久中文看片网| 亚洲欧美精品综合久久99| 我的老师免费观看完整版| 一级毛片久久久久久久久女| 天堂影院成人在线观看| 亚洲精品一区av在线观看| 免费观看的影片在线观看| 黄色配什么色好看| 国产成人福利小说| 丰满人妻熟妇乱又伦精品不卡| 日本黄大片高清| 亚洲无线在线观看| 亚洲不卡免费看| 婷婷精品国产亚洲av在线| 两个人视频免费观看高清| 国产综合懂色| 99国产极品粉嫩在线观看| 啪啪无遮挡十八禁网站| 亚洲av中文字字幕乱码综合| 久久精品久久久久久噜噜老黄 | 婷婷精品国产亚洲av| 99在线人妻在线中文字幕| 亚洲第一欧美日韩一区二区三区| 亚洲 欧美 日韩 在线 免费| 男女床上黄色一级片免费看| 桃色一区二区三区在线观看| 麻豆成人av在线观看| 综合色av麻豆| 中文在线观看免费www的网站| 人人妻,人人澡人人爽秒播| 亚洲精品影视一区二区三区av| 国产精品电影一区二区三区| 亚洲熟妇中文字幕五十中出| 午夜福利在线观看吧| 久久久久久久久中文| 91麻豆精品激情在线观看国产| 99久国产av精品| 嫩草影视91久久| 亚洲欧美清纯卡通| 免费看光身美女| 九九热线精品视视频播放| 国产成人a区在线观看| 色综合亚洲欧美另类图片| 首页视频小说图片口味搜索| 91字幕亚洲| 国产欧美日韩一区二区精品| 变态另类成人亚洲欧美熟女| 18禁在线播放成人免费| 国产欧美日韩精品一区二区| 国产精品,欧美在线| 人妻久久中文字幕网| av天堂在线播放| 国产真实乱freesex| 国产白丝娇喘喷水9色精品| 国产三级黄色录像| 久久久久精品国产欧美久久久| 久久人人精品亚洲av| 欧美成狂野欧美在线观看| .国产精品久久| 成人午夜高清在线视频| 中文资源天堂在线| 国产一区二区亚洲精品在线观看| 男女那种视频在线观看| 久久这里只有精品中国| 久久草成人影院| 人人妻人人澡欧美一区二区| 国产真实乱freesex| 国产亚洲精品久久久久久毛片| 精品免费久久久久久久清纯| 免费在线观看日本一区| 久久久成人免费电影| 如何舔出高潮| 人人妻人人澡欧美一区二区| 熟女人妻精品中文字幕| 午夜福利在线观看免费完整高清在 | 丁香六月欧美| 国产私拍福利视频在线观看| 国产成人欧美在线观看| 日韩欧美 国产精品| 中国美女看黄片| 日韩精品中文字幕看吧| 久久久精品欧美日韩精品| 国产高清三级在线| 五月伊人婷婷丁香| 午夜激情欧美在线| 国内精品美女久久久久久| 欧美日韩乱码在线| 国产av麻豆久久久久久久| 香蕉av资源在线| 精品99又大又爽又粗少妇毛片 | 久久久久久九九精品二区国产| 老鸭窝网址在线观看| 国产熟女xx| 变态另类丝袜制服| 少妇的逼水好多| 综合色av麻豆| 91狼人影院| 亚洲欧美日韩卡通动漫| 国产乱人伦免费视频| 国模一区二区三区四区视频| 国产老妇女一区| 男人的好看免费观看在线视频| 不卡一级毛片| 少妇人妻精品综合一区二区 | 日韩免费av在线播放| 一区二区三区免费毛片| 亚洲最大成人中文| 免费观看人在逋| 色5月婷婷丁香| 久久精品影院6| 丰满人妻熟妇乱又伦精品不卡| 日本 av在线| 亚洲美女搞黄在线观看 | 中文字幕av在线有码专区| 国产黄a三级三级三级人| 99久久精品一区二区三区| 男女床上黄色一级片免费看| 国产色婷婷99| 变态另类丝袜制服| 亚洲国产日韩欧美精品在线观看| 超碰av人人做人人爽久久| 国产精品人妻久久久久久| 丰满乱子伦码专区| 小蜜桃在线观看免费完整版高清| 最近最新免费中文字幕在线| 国产精品影院久久| 国产大屁股一区二区在线视频| 亚洲狠狠婷婷综合久久图片| 中文亚洲av片在线观看爽| 最新在线观看一区二区三区| 深夜精品福利| 国内精品一区二区在线观看| 精品人妻熟女av久视频| 九九久久精品国产亚洲av麻豆| 18+在线观看网站| 18禁裸乳无遮挡免费网站照片| 欧美日本亚洲视频在线播放| 亚洲在线观看片| 岛国在线免费视频观看| 精品人妻偷拍中文字幕| 蜜桃久久精品国产亚洲av| 九九热线精品视视频播放| 小说图片视频综合网站| 欧美丝袜亚洲另类 | 日韩欧美精品免费久久 | 高清在线国产一区| 99国产综合亚洲精品| 国产午夜福利久久久久久| 婷婷丁香在线五月| 亚洲熟妇熟女久久| 黄色日韩在线| 国产精品美女特级片免费视频播放器| 久久精品国产亚洲av香蕉五月| 亚洲午夜理论影院| 毛片女人毛片| 少妇丰满av| 午夜日韩欧美国产| 午夜福利视频1000在线观看| 精品人妻视频免费看| 免费人成在线观看视频色| 老鸭窝网址在线观看| 日本五十路高清| 国产成人a区在线观看| 99国产精品一区二区蜜桃av| 波多野结衣高清无吗| 国产高清三级在线| 欧美激情在线99| 亚洲av成人不卡在线观看播放网| 久久国产精品人妻蜜桃| 成人午夜高清在线视频| 日韩精品青青久久久久久| 久久国产精品人妻蜜桃| 成人午夜高清在线视频| 日韩欧美国产一区二区入口| 男女那种视频在线观看| 亚洲aⅴ乱码一区二区在线播放| 此物有八面人人有两片| 国产大屁股一区二区在线视频| 69人妻影院| 成人国产一区最新在线观看| 真实男女啪啪啪动态图| 久久久久久久精品吃奶| 亚洲精品亚洲一区二区| 99热这里只有是精品50| 99久久无色码亚洲精品果冻| 最好的美女福利视频网| 99精品在免费线老司机午夜| 一边摸一边抽搐一进一小说| 搡老岳熟女国产| 人人妻人人看人人澡| 亚洲av免费高清在线观看| 久久这里只有精品中国| 成人永久免费在线观看视频| 精品人妻熟女av久视频| 黄片小视频在线播放| 亚洲av五月六月丁香网|