• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于異質(zhì)信息網(wǎng)絡(luò)和多任務(wù)學習的推薦模型

    2022-12-17 09:46:08蔣宗禮李靜文
    北京工業(yè)大學學報 2022年12期
    關(guān)鍵詞:多任務(wù)異質(zhì)信息網(wǎng)絡(luò)

    蔣宗禮, 李靜文

    (北京工業(yè)大學信息學部, 北京 100124)

    大數(shù)據(jù)時代帶來的海量信息導致用戶很難快捷、精準地找到目標內(nèi)容,甚至迷失在信息中找不到目標內(nèi)容. 推薦系統(tǒng)能夠幫助用戶解決“信息過載”問題,同時幫助公司提高對用戶的吸引力,增加用戶黏性[1]. 傳統(tǒng)的推薦系統(tǒng)存在“冷啟動”的問題[2],為了緩解該問題,一些學者將輔助信息納入推薦模型. 然而,過多的輔助信息也給推薦系統(tǒng)帶來新的挑戰(zhàn). 由于現(xiàn)實世界的異質(zhì)性,輔助數(shù)據(jù)通常包含不同類型的實體,同時它們之間存在多種類型的交互,而將這些相互作用的對象建模成同質(zhì)信息網(wǎng)絡(luò)的方法往往只抽取實際交互之中的部分信息,沒有區(qū)分交互系統(tǒng)中對象及關(guān)系的差異性,這樣就造成信息虧損. 因此,越來越多的研究人員開始將這些數(shù)據(jù)建模為異質(zhì)信息網(wǎng)絡(luò). 與同質(zhì)信息網(wǎng)絡(luò)相比,異質(zhì)信息網(wǎng)絡(luò)可以融合更多類型的對象及其之間復雜的交互關(guān)系.

    目前,很多學者對異質(zhì)信息網(wǎng)絡(luò)的表示進行了研究,基于異質(zhì)信息網(wǎng)絡(luò)也可以開發(fā)出各種數(shù)據(jù)挖掘任務(wù),例如鏈路預測、分類、聚類等. 其中,基于異質(zhì)信息網(wǎng)絡(luò)的推薦任務(wù)越來越受到研究人員的關(guān)注. Yu等[3]引入基于元路徑的隱含特征,分別在全局和個性化級別上定義推薦模型. Zhao等[4]在基于異質(zhì)信息網(wǎng)絡(luò)的推薦中引入元圖,然后通過“矩陣分解+因子分解機”的方法融合異質(zhì)信息網(wǎng)絡(luò). Wang等[5]采用兩層注意力機制對不同元路徑上生成的用戶和項目特征的重要性進行建模. Hu等[6]設(shè)計了注意力機制,利用元路徑的上下文信息進行推薦. Shi等[7]設(shè)計了基于元路徑的隨機游走策略,將得到的異質(zhì)信息和矩陣分解模型融合. 但這些基于異質(zhì)信息網(wǎng)絡(luò)的推薦存在3個缺陷:1) 在異質(zhì)信息網(wǎng)絡(luò)的信息挖掘中,忽略了節(jié)點的內(nèi)容特征,難以充分處理具有豐富的節(jié)點屬性特征的異質(zhì)信息網(wǎng)絡(luò);2) 使用元路徑捕獲語義信息的方法存在用戶和項目之間部分交互信息丟失的問題;3) 嵌入方法中隱藏層和推薦模塊之間單向的信息流導致更新的異質(zhì)信息網(wǎng)絡(luò)不能被推薦模塊感知,而現(xiàn)有的方法僅僅是對推薦進行優(yōu)化.

    圖神經(jīng)網(wǎng)絡(luò)能夠端到端地擬合輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的函數(shù)關(guān)系,從結(jié)構(gòu)和功能2個方面對數(shù)據(jù)整體特性建模,很好地刻畫物理世界. 得益于圖神經(jīng)網(wǎng)絡(luò)的發(fā)展,很多學者提出了基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法[8-11]. 因此,結(jié)合圖神經(jīng)網(wǎng)絡(luò),本文提出基于異質(zhì)信息網(wǎng)絡(luò)的多任務(wù)推薦模型(multi-task learning based heterogeneous information network for recommendation, MHRec). MHRec中的分層注意力分別在多視圖嵌入層和語義注意力層捕捉節(jié)點的屬性信息和語義信息. MHRec利用鏈路預測任務(wù)和推薦任務(wù)的相關(guān)性,使用多任務(wù)學習方法同時學習鏈路預測任務(wù)來緩解使用元路徑造成的部分鏈接丟失問題,并且該模型是一個端到端的模型,直接對推薦任務(wù)進行優(yōu)化,使得推薦任務(wù)及時感知更新的異質(zhì)信息網(wǎng)絡(luò)圖. 本文通過以上方法解決了目前研究存在的3個問題.

    1 相關(guān)工作

    1.1 傳統(tǒng)的推薦系統(tǒng)

    傳統(tǒng)的推薦系統(tǒng)通常依賴于協(xié)同過濾方法,尤其是矩陣分解,其利用用戶項目的歷史交互進行推薦. 矩陣分解將用戶項目的交互矩陣分解出因子向量形式的用戶特征和項目特征. 因為矩陣分解能夠處理大規(guī)模數(shù)據(jù),所以其已經(jīng)在很多平臺(例如亞馬遜和易趣)上得到部署. 遺憾的是基于協(xié)同過濾的推薦系統(tǒng)存在“冷啟動”問題,新用戶或新項目無法獲得歷史數(shù)據(jù). 為了緩解“冷啟動”情況,一些學者開始在推薦模型中融合附加的上下文信息,這些上下文信息也稱為輔助信息.

    最近,深度學習的發(fā)展促進了推薦系統(tǒng)的發(fā)展. 多層感知器[12]、圖神經(jīng)網(wǎng)絡(luò)[13]、自編碼器[14]和其他深度神經(jīng)架構(gòu)已經(jīng)被引入推薦模型,并顯示出很好的結(jié)果.

    1.2 基于異質(zhì)信息網(wǎng)絡(luò)的推薦

    近幾十年來,推薦輔助數(shù)據(jù)大量增加. 然而,使用傳統(tǒng)的網(wǎng)絡(luò)分析方法很難管理和利用這些異質(zhì)且復雜的信息. 異質(zhì)信息網(wǎng)絡(luò)提供了一種對數(shù)據(jù)異質(zhì)性建模的新思路,它能為推薦任務(wù)描述輔助數(shù)據(jù)中的結(jié)構(gòu)信息和語義信息.

    Feng等[9]設(shè)計了優(yōu)化框架OptRank,利用異質(zhì)信息來緩解社交標簽推薦系統(tǒng)的冷啟動問題. Yu等[15]提出將用戶偏好數(shù)據(jù)經(jīng)由元路徑擴散,建立了一個屬性豐富的異質(zhì)信息網(wǎng)絡(luò). 隨后,他們通過考慮個性化來改進模型. Luo等[10]采用PathSim度量用戶、項目和用戶項目對之間的關(guān)系. 他們使用統(tǒng)一的矩陣分解模型將異質(zhì)信息整合到社交推薦任務(wù)中. Shi等[16]設(shè)計的SemRec考慮了異質(zhì)信息網(wǎng)絡(luò)中鏈接的屬性值和推薦中每個用戶的不同元路徑的個性化權(quán)重. Pham等[8]提出的HeteRS將異質(zhì)信息網(wǎng)絡(luò)表示為多個轉(zhuǎn)移矩陣,每個轉(zhuǎn)移矩陣對應(yīng)一種對象到另一種對象的關(guān)系. HeteRS通過一些查詢節(jié)點將推薦問題轉(zhuǎn)化為節(jié)點鄰近度計算問題,然后使用多元馬爾可夫鏈進行求解. Fang等[17]設(shè)計了一種新的游走策略,可以引導隨機漫步生成帶有偏好的節(jié)點序列,使用異質(zhì)Skip-Gram學習節(jié)點的特征表示,最后結(jié)合表示學習和貝葉斯個性化排序得到推薦結(jié)果. 以上基于異質(zhì)信息網(wǎng)絡(luò)的推薦模型主要基于元路徑的相似性,這種相似性受到高計算復雜度的困擾,并且不能完全反映異質(zhì)信息網(wǎng)絡(luò)中用戶和項目的潛在特征.

    近年來,人們嘗試利用異質(zhì)信息網(wǎng)絡(luò)嵌入來有效地挖掘基于異質(zhì)信息網(wǎng)絡(luò)的用戶和項目特征. Yu等[18]提出通過元路徑學習用戶嵌入,然后通過計算用戶嵌入的余弦相似度來識別社交推薦中的高相似度用戶. Han等[11]提出的NeuACF模型通過不同的元路徑提取用戶和項目不同方面的潛在特征,使用深度神經(jīng)網(wǎng)絡(luò)學習并且融合這些潛在因素. Shi等[7]提出的HeRec采用隨機游走生成項目序列,并學習項目的嵌入表示,將轉(zhuǎn)換對象嵌入并集成到擴展的矩陣分解方法中. Chan等[19]通過計算每個元路徑的數(shù)量從元路徑中提取特征,使用多層感知機學習用戶和物品的特征表示. Hu等[6]在基于異質(zhì)信息網(wǎng)絡(luò)的推薦中不僅考慮了不同元路徑的特征嵌入,還考慮了用戶和項目之間的相互作用.

    1.3 基于異質(zhì)信息網(wǎng)絡(luò)的鏈路預測

    鏈路預測任務(wù)可以概括為:給出不相交的源節(jié)點s和目標節(jié)點t,預測這對節(jié)點是否有關(guān)系. 在現(xiàn)實生活中,鏈路預測可以用于預測未來的行為,識別難以直接觀察到的但是可能存在的關(guān)系. 部分鏈路預測方法是利用采樣策略,平滑節(jié)點嵌入,例如Metapath2vec[20]、HHNE[21],它們都是提出一個偏好隨機行走框架,使用Skip-Gram模型來最大化目標節(jié)點的概率. 但是這種處理異質(zhì)信息網(wǎng)絡(luò)的方法在重建原始圖時會丟失信息. 為此,一些學者引入圖神經(jīng)網(wǎng)絡(luò),Wang等[5]提出HAN模型,該模型整合節(jié)點級注意力和語義級注意力,從異質(zhì)信息網(wǎng)絡(luò)圖中學習節(jié)點嵌入.

    1.4 多任務(wù)學習

    多任務(wù)學習是一種旨在同時解決多個任務(wù)的機器學習方法,它可以利用其他相關(guān)學習任務(wù)中的有用信息來幫助解決數(shù)據(jù)短缺問題. 多任務(wù)學習可以同時優(yōu)化多個相關(guān)的學習任務(wù),深度學習不需要設(shè)計明確的公式就能學習數(shù)據(jù)的潛在表示,因此,多任務(wù)學習已經(jīng)開始使用深度神經(jīng)網(wǎng)絡(luò)框架. 共享方式分為2種:硬共享和軟共享. 硬共享是共享所有任務(wù)之間的隱藏層;軟共享是每個任務(wù)都有自己獨立的隱藏層和參數(shù).

    Ranjan等[22]采用多任務(wù)學習的方法,能夠同時做人臉檢測、關(guān)鍵點定位、姿態(tài)估計和性別預測4項任務(wù). Seltzer等[23]將多任務(wù)學習應(yīng)用于連續(xù)音素識別任務(wù),依次從3個備選的次要任務(wù)中選擇1個擴充主任務(wù),分別從3個方面提高連續(xù)音素識別的性能. 為了解決感知次優(yōu)性問題,Li等[24]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的多任務(wù)學習框架,對交通的交互進行建模,同時識別和預測交通參與者的交互行為.

    2 基本概念

    本文基于異質(zhì)信息網(wǎng)絡(luò)和多任務(wù)學習同時學習鏈路預測任務(wù)和推薦任務(wù). 有關(guān)異質(zhì)信息網(wǎng)絡(luò)、鏈路預測任務(wù)和推薦任務(wù)的基本概念定義如下.

    2.1 異質(zhì)信息網(wǎng)絡(luò)

    定義1異質(zhì)信息網(wǎng)絡(luò)可以用圖G=(V,E)來表示,V代表節(jié)點集,E代表邊集,它存在2種映射函數(shù)Φ:V→A和Ψ:E→R.其中A和R分別表示節(jié)點類型和邊類型且必須滿足|A|+|R|>2.

    圖1(a)顯示了一個根據(jù)數(shù)據(jù)集LastFM構(gòu)建的異質(zhì)信息網(wǎng)絡(luò)示例.圖中有3種類型的節(jié)點(用戶、音樂家和標簽)和2種類型的邊(聽過、屬于).

    定義2網(wǎng)絡(luò)模式是一種對異質(zhì)信息網(wǎng)絡(luò)元結(jié)構(gòu)的描述,說明對象類型及其交互關(guān)系.給定異質(zhì)信息網(wǎng)絡(luò)G=(V,E),有映射關(guān)系Φ:V→A和Ψ:E→R,則定義其網(wǎng)絡(luò)模式為TG=(A,R).圖1(b)是圖1(a)的網(wǎng)絡(luò)模式.

    圖1(c)列舉了圖1(a)的一些元路徑,這些元路徑帶有語義信息,第1行表示2個用戶存在社交關(guān)系,第2行表示2個用戶都聽過某位藝術(shù)家的音樂,第3條元路徑表示2個用戶聽過同種類型的音樂.

    圖1 基于LastFM數(shù)據(jù)集的異質(zhì)信息網(wǎng)絡(luò)示例Fig.1 Sample of heterogeneous information network based on the LastFM dataset

    2.2 問題定義

    本文旨在解決基于異質(zhì)信息網(wǎng)絡(luò)的推薦問題,關(guān)注場景中的隱式反饋.在推薦場景中,假設(shè)有N位用戶U={u1,u2,…,uN}和M個項目V={v1,v2,…,vM}.用戶和項目之間存在代表隱式反饋的交互矩陣Y∈RN×M.若用戶u和項目v之間存在積極交互,那么yuv=1;否則yuv=0.

    圖2 MHRec的總體網(wǎng)絡(luò)框架Fig.2 Overview of MHRec network architecture

    給定用戶項目交互矩陣和異質(zhì)信息網(wǎng)絡(luò)圖G,推薦的目的是預測用戶u是否對未交互的項目v有潛在的興趣.本文的推薦任務(wù)目標是學習預測函數(shù)uv=F(u,v|θ,Y,G),uv表示用戶u可能與項目v產(chǎn)生交互的概率,θ表示可學習的參數(shù).

    3 本文方法

    本文提出的MHRec模型的整體框架見圖2.可以看出,MHRec由3個主要模塊組成,即多視圖嵌入層、語義注意力層和多任務(wù)學習層.

    3.1 節(jié)點維度轉(zhuǎn)換

    在異質(zhì)信息網(wǎng)絡(luò)圖中,不同類型的節(jié)點可能具有不同的特征向量維度.因此,在將節(jié)點輸入到多視圖嵌入層進行學習之前,首先將不同的節(jié)點特征映射到相同的潛在向量空間中.本文對每類節(jié)點使用特定類型的線性變換來完成特征轉(zhuǎn)換步驟,對類型為A∈A的節(jié)點v∈VA,使用公式

    (1)

    3.2 多視圖嵌入層

    多視圖嵌入層通過學習節(jié)點不同類型的局部鄰居屬性生成節(jié)點表示.為了挖掘異質(zhì)信息網(wǎng)絡(luò)中豐富的語義信息,文獻[25]提出了元路徑的概念.給定異質(zhì)信息網(wǎng)絡(luò)G=(V,E)和元路徑p,基于元路徑的視圖Gp是一個基于元路徑的鄰接關(guān)系.它可以通過元路徑捕獲節(jié)點不同方面的結(jié)構(gòu)信息,并且可以動態(tài)增加節(jié)點.在不同視圖上,本文使用注意力機制學習節(jié)點和節(jié)點鄰居之間的上下文關(guān)系.如圖3所示,首先使用編碼器將視圖中所有節(jié)點的鄰居實例轉(zhuǎn)換為特征向量,即

    hp(u,v)=fθ(h′v,h′u,{h′t,?t∈{mp(u,v)}})

    (2)

    圖3 元路徑內(nèi)節(jié)點聚合Fig.3 Intner-metapath aggregation

    (3)

    (4)

    (5)

    3.3 語義注意力層

    每個用戶節(jié)點在不同的元路徑視圖下得到不同表示,它們可以相互協(xié)作.每條元路徑對節(jié)點的重要性可能是不同的,因此,使用注意力機制來捕獲它們的貢獻,融合節(jié)點表示.

    首先,使用非線性函數(shù)將基于元路徑的節(jié)點表示的維度d轉(zhuǎn)換為d′維,即

    (6)

    (7)

    計算.式中‖·‖表示向量的L2歸一化.使用softmax函數(shù)計算所有元路徑p∈P對目標節(jié)點v的重要性,公式為

    (8)

    最后,以加權(quán)和的形式融合不同元路徑上節(jié)點的嵌入,得到包含語義信息的節(jié)點特征

    (9)

    3.4 多任務(wù)學習

    3.4.1 推薦任務(wù)的損失函數(shù)

    將學習到的用戶節(jié)點表征向量hi和項目節(jié)點表征向量hj輸入函數(shù)f∶Rd′×Rd′→R,得到用戶i和項目j產(chǎn)生交互的預測值

    ri,j=f(hi,hj)

    (10)

    在推薦任務(wù)中,使用負采樣策略來訓練模型.本文為每輪訓練中的用戶節(jié)點i采樣負樣本nneg(i),這些負樣本在訓練集中和用戶節(jié)點i不存在積極交互.本文使用二元交叉熵作為優(yōu)化目標,通過反向傳播和梯度下降最小化交叉熵,從而優(yōu)化模型參數(shù).該二元交叉熵損失公式為

    (11)

    式中:Trec為推薦任務(wù)中的訓練集;θrec為模型中的參數(shù);〈i,j〉表示用戶i和項目j存在積極交互.

    3.4.2 鏈路預測的損失函數(shù)

    與推薦任務(wù)類似,采用負采樣策略最小化損失函數(shù)來優(yōu)化模型.將已連接的用戶項目對視為正樣本,所有未連接的用戶項目對視為負樣本.在驗證和測試時,添加等量的隨機抽樣的負節(jié)點對.在訓練時,動態(tài)均勻地采樣負節(jié)點對,然后最小化損失函數(shù)

    (12)

    式中:σ(·)為激活函數(shù);Ω為觀察到的節(jié)點對集,即正樣本;Ω-為所有未觀察到的節(jié)點對中采樣的負節(jié)點對集.

    3.4.3 多任務(wù)損失優(yōu)化

    為了充分挖掘異質(zhì)信息網(wǎng)絡(luò),解決使用元路徑帶來的鏈路丟失問題,通過多任務(wù)學習同時學習推薦任務(wù)和鏈路預測任務(wù).如果簡單地將2個任務(wù)的損失相加,可能會出現(xiàn)其中一個任務(wù)占主導地位,即其損失函數(shù)減小得非???,而另一個任務(wù)的損失函數(shù)減小得很慢.近年來,同方差不確定性在多任務(wù)學習的損失函數(shù)的設(shè)計上取得了很好的效果[26].通過考慮每個任務(wù)的同方差不確定性,自動學習不同損失的權(quán)重,總體損失可記為

    (13)

    式中σ1和σ2是不確定性系數(shù).為了防止模型過擬合,提高模型的泛化能力,本文加上了正則化損失Lreg.通過該多任務(wù)學習模型,MHRec可以端到端地執(zhí)行2個任務(wù).

    4 實驗

    4.1 數(shù)據(jù)集

    本文在3個公開數(shù)據(jù)集Movielens、LastFM、Yelp上進行實驗.這3個數(shù)據(jù)集都是顯式反饋,而本文更關(guān)注隱式反饋,因此,需要進一步轉(zhuǎn)換.如果目標用戶對項目的評價是積極的,將該項目標記為1,同時為用戶抽樣一個未被觀察的集合,該集合中的項目都被標記為0.將Movielens、Yelp數(shù)據(jù)集中積極評價的閾值設(shè)為4,因為LastFM不存在評價值,所以不設(shè)置閾值.對于每個數(shù)據(jù)集,按照6∶2∶2的比例劃分訓練集、驗證集和測試集.

    針對每個數(shù)據(jù)集,表1第2列列出了本文選擇的元路徑.因為元路徑越長越容易引入噪聲,所以本文選擇的元路徑最長為4步.其中:U表示用戶;M表示電影;G表示電影類型;A表示藝術(shù)家;T表示標簽;B表示商家;Ca表示商家種類;Ci表示城市.

    表1 數(shù)據(jù)集的統(tǒng)計信息

    表2 在3個數(shù)據(jù)集上的實驗結(jié)果

    4.2 評價指標

    4.2.1 推薦任務(wù)的評價指標

    本文使用了2種在推薦算法中被廣泛使用的評價指標:前K個預測值的精確率(precision@K, Prec@K)和前K個預測值的歸一化折扣累計收益(normalized discounted cumulative gain@K,NDCG@K). Prec@K用來計算預測的K個結(jié)果中與用戶相關(guān)的項目概率,然而它沒有考慮預測值的順序,于是本文還使用與順序相關(guān)的評價指標NDCG@K來衡量預測結(jié)果的標準化累計收益.

    4.2.2 鏈路預測的評價指標

    對于鏈路預測任務(wù),本文通過曲下面積(area under curve,AUC)和平均準確率(average precision,AP)對模型進行評估. 經(jīng)過訓練,模型能夠計算出每對節(jié)點的相似度. 通過比較測試集中已經(jīng)存在的邊的相似度和不存在的邊的相似度,得出評價指標AUC的值,它會從整體上衡量算法的準確性. AP可以平衡準確率和召回率,因此,使用AUC和AP來評估本文模型的性能.

    4.3 對比模型

    4.3.1 推薦任務(wù)的對比模型

    將本文提出的MHRec模型與2類方法進行比較. 這2類方法中,一類是傳統(tǒng)的方法,即貝葉斯個性化排序(Bayesian personalized reanking, BPR)和NeuMF,另一類是基于異質(zhì)信息網(wǎng)絡(luò)的方法HeRec.

    BPR是基于矩陣分解的一種排序算法. 它利用數(shù)據(jù)的隱式反饋對用戶的商品喜好做排序優(yōu)化.

    NeuMF是一個基于深度學習的推薦算法. 同樣考慮數(shù)據(jù)的隱式反饋,它結(jié)合傳統(tǒng)的矩陣分解和多層感知機能夠同時提取用戶和物品的低維和高維特征.

    HeRec是基于異質(zhì)信息網(wǎng)絡(luò)的非端到端的推薦模型. 它將節(jié)點嵌入學習和矩陣分解相結(jié)合來優(yōu)化推薦任務(wù),該模型通過使用DeepWalk將異質(zhì)信息網(wǎng)絡(luò)轉(zhuǎn)換成基于元路徑的同質(zhì)信息網(wǎng)絡(luò)來學習節(jié)點嵌入.

    4.3.2 鏈路預測任務(wù)的對比模型

    為了與一些基礎(chǔ)模型做對比,對鏈路預測任務(wù)的性能進行了實驗測試. 這些基礎(chǔ)模型包括基于同質(zhì)信息網(wǎng)絡(luò)的圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network,GCN)模型、基于隨機游走的異質(zhì)信息網(wǎng)絡(luò)模型Metapath2vec以及基于異質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型HAN.

    Metapath2vec是一個傳統(tǒng)的異質(zhì)信息網(wǎng)絡(luò)的模型. 它將元路徑引導的隨機游走的節(jié)點序列輸入到Skip-Gram模型來生成節(jié)點嵌入.

    GCN是一個基于同質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型. 該模型在傅里葉域進行卷積運算.

    HAN是基于異質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型. 它從不同的基于元路徑的同質(zhì)信息網(wǎng)絡(luò)圖中學習特定元路徑的節(jié)點嵌入,并利用注意力機制融合它們生成節(jié)點的特征向量.

    4.4 結(jié)果與分析

    在表2中列出了所有模型的實驗結(jié)果, 進行分析后得到如下結(jié)果:

    1) 本文提出的模型MHRec相比所有基線擁有最好的性能,并且發(fā)現(xiàn)MHRec在數(shù)據(jù)集LastFM和Yelp上的性能比數(shù)據(jù)集MovieLens提升的效果更明顯. 通過表1最后3列可以看出,數(shù)據(jù)集LastFM、Yelp比數(shù)據(jù)集MovieLens更稀疏,這說明MHRec可以有效解決數(shù)據(jù)稀疏問題.

    2) HeRec在數(shù)據(jù)集MovieLens上的性能不如傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)推薦模型NeuFM,說明HeRec模型使用基于元路徑的隨機游走策略學習節(jié)點嵌入的方法沒有充分利用異質(zhì)信息網(wǎng)絡(luò)的信息.

    3) 總體上,基于異質(zhì)信息網(wǎng)絡(luò)的模型HeRec優(yōu)于不基于異質(zhì)信息網(wǎng)絡(luò)的模型BPR和NeuFM,說明使用異質(zhì)信息網(wǎng)絡(luò)能夠有效學習節(jié)點信息,提高推薦效果.

    4.4.1 模型在鏈路預測任務(wù)上的效果

    本文分別在3個數(shù)據(jù)集上使用幾種基線模型進行實驗,將實驗結(jié)果列在表3中. 可以看出,MHRec在鏈路預測上的性能依然優(yōu)于其他基線. 與性能最好的對比模型HAN相比,MHRec在數(shù)據(jù)集MovieLens、LastFM、Yelp上分別提高了約3%、1%、1%. 這表明本文提出的模型能夠同時適用于2種任務(wù).

    表3 MHRec在鏈路預測任務(wù)上的AP和AUC結(jié)果

    4.4.2 節(jié)點嵌入維度的影響

    本文研究了嵌入維度d對MHRec的影響. 從圖4中看出:增加d可以提高模型的性能,因為維度高可以編碼用戶和項目的信息,但是當維度從64繼續(xù)增加時,出現(xiàn)了精確度減小的情況,這說明d太高會導致過擬合.

    圖4 在3個數(shù)據(jù)集上不同節(jié)點維度的實驗結(jié)果Fig.4 Experimental results of different node dimensions on three datasets

    4.4.3 消融實驗

    為了研制模型各部件的有效性,本文進一步在不同的MHRec變體上進行了實驗. 表4列出了各個變體在3個數(shù)據(jù)集上進行實驗得到的結(jié)果. 其中:MHRec-rec不使用多任務(wù)學習;MHRec在語義注意力層使用了注意力機制動態(tài)學習不同元路徑的重要性,將加權(quán)求和替換成平均相加來得到模型MHRec-avg; MHRec-loss使推薦和鏈路預測的損失權(quán)重相等而不使用不確定性損失.

    從表4可以看出,本文增加的這些部件對推薦效果的提升都起到促進作用. 去掉語義注意力層后推薦效果大幅下降,說明語義注意力層對基于異質(zhì)信息網(wǎng)絡(luò)的推薦模型是十分重要的. 刪去多任務(wù)學習后,模型性能也有所下降,由此可見,多任務(wù)學習對推薦任務(wù)的準確性具有促進作用. 同時,3個數(shù)據(jù)集上的實驗結(jié)果都表明沒有刪掉多任務(wù)學習的MHRec-loss指標值比MHRec-rec更低,這說明多任務(wù)學習損失的設(shè)定非常關(guān)鍵,證明使用同方差不確定性平衡2個任務(wù)是有效的.

    表4 在3個數(shù)據(jù)集上進行消融實驗的 結(jié)果(NDCG@10)

    5 結(jié)論

    1) 本文提出了一種基于異質(zhì)信息網(wǎng)絡(luò)的多任務(wù)學習推薦模型MHRec,該模型能夠捕捉異質(zhì)信息網(wǎng)絡(luò)的節(jié)點屬性信息、語義信息和結(jié)構(gòu)信息. 在3個數(shù)據(jù)集上的實驗證明,該模型能夠明顯提高基于異質(zhì)信息網(wǎng)絡(luò)推薦任務(wù)的性能. 消融實驗結(jié)果證明了注意力模塊的有效性,以及多任務(wù)學習中損失函數(shù)設(shè)置的重要性.

    2) 本文在多視圖嵌入層上區(qū)分了每個節(jié)點的貢獻,并在語義注意力層上考慮了語義信息. 此外,設(shè)計了多任務(wù)學習框架,可同時學習推薦任務(wù)和鏈路預測任務(wù). 實驗結(jié)果表明,該方法有效緩解了使用元路徑導致的信息丟失問題.

    3) 本文旨在充分挖掘異質(zhì)信息網(wǎng)絡(luò)中用戶和項目之間存在的潛在關(guān)系,實際上,用戶的行為前后存在關(guān)聯(lián)性甚至是因果性,因此,將行為的順序信息引入模型是未來研究工作的方向.

    猜你喜歡
    多任務(wù)異質(zhì)信息網(wǎng)絡(luò)
    基于中心化自動加權(quán)多任務(wù)學習的早期輕度認知障礙診斷
    幫助信息網(wǎng)絡(luò)犯罪活動罪的教義學展開
    刑法論叢(2018年2期)2018-10-10 03:32:22
    非法利用信息網(wǎng)絡(luò)罪的適用邊界
    法律方法(2018年3期)2018-10-10 03:21:34
    基于判別性局部聯(lián)合稀疏模型的多任務(wù)跟蹤
    自動化學報(2016年3期)2016-08-23 12:02:56
    網(wǎng)絡(luò)共享背景下信息網(wǎng)絡(luò)傳播權(quán)的保護
    學習月刊(2016年4期)2016-07-11 02:54:12
    幫助信息網(wǎng)絡(luò)犯罪活動罪若干問題探究
    基于多任務(wù)異步處理的電力系統(tǒng)序網(wǎng)絡(luò)拓撲分析
    電測與儀表(2016年5期)2016-04-22 01:13:46
    隨機與異質(zhì)網(wǎng)絡(luò)共存的SIS傳染病模型的定性分析
    Ag2CO3/Ag2O異質(zhì)p-n結(jié)光催化劑的制備及其可見光光催化性能
    MoS2/ZnO異質(zhì)結(jié)的光電特性
    物理實驗(2015年10期)2015-02-28 17:36:52
    国产一区亚洲一区在线观看| 人人妻人人看人人澡| 国产伦精品一区二区三区四那| 三级经典国产精品| 国产av在哪里看| 99久久中文字幕三级久久日本| 国产视频首页在线观看| 午夜激情福利司机影院| 啦啦啦观看免费观看视频高清| 午夜久久久久精精品| 国产成人一区二区在线| 亚洲激情五月婷婷啪啪| 中文精品一卡2卡3卡4更新| 中国美女看黄片| 老司机福利观看| av在线亚洲专区| 91午夜精品亚洲一区二区三区| 日韩三级伦理在线观看| 麻豆成人午夜福利视频| 美女被艹到高潮喷水动态| 亚洲国产高清在线一区二区三| www日本黄色视频网| 我要看日韩黄色一级片| 色视频www国产| 国产午夜精品一二区理论片| 亚洲一区二区三区色噜噜| 美女国产视频在线观看| 插阴视频在线观看视频| 久久人妻av系列| 看免费成人av毛片| 一区福利在线观看| 久久午夜福利片| 国产91av在线免费观看| 人人妻人人澡人人爽人人夜夜 | 看黄色毛片网站| 我的老师免费观看完整版| 丰满人妻一区二区三区视频av| 性插视频无遮挡在线免费观看| 国产黄色视频一区二区在线观看 | 欧美日韩综合久久久久久| 看黄色毛片网站| 欧美一级a爱片免费观看看| 女同久久另类99精品国产91| 久久久久久久久久黄片| 久久久国产成人免费| 成人美女网站在线观看视频| 欧美精品一区二区大全| 狂野欧美激情性xxxx在线观看| 在线免费十八禁| 日韩大尺度精品在线看网址| 91久久精品电影网| 噜噜噜噜噜久久久久久91| 一进一出抽搐动态| 久久亚洲国产成人精品v| 男人舔奶头视频| 欧美一区二区国产精品久久精品| 国产精品一区www在线观看| 啦啦啦观看免费观看视频高清| 色哟哟哟哟哟哟| 国产一区亚洲一区在线观看| 在线免费观看不下载黄p国产| a级一级毛片免费在线观看| 日韩一本色道免费dvd| 麻豆国产97在线/欧美| 国产淫片久久久久久久久| 国产探花在线观看一区二区| 1000部很黄的大片| 国产一区二区激情短视频| 国产真实乱freesex| 欧美最黄视频在线播放免费| 一进一出抽搐gif免费好疼| 成年女人永久免费观看视频| 久久99热6这里只有精品| 中文资源天堂在线| 搡女人真爽免费视频火全软件| 日韩成人av中文字幕在线观看| 欧美丝袜亚洲另类| 91狼人影院| 美女大奶头视频| 日本爱情动作片www.在线观看| 成人二区视频| .国产精品久久| 91麻豆精品激情在线观看国产| 能在线免费看毛片的网站| 十八禁国产超污无遮挡网站| 大型黄色视频在线免费观看| 观看美女的网站| 国产精品伦人一区二区| 婷婷精品国产亚洲av| 国产色婷婷99| 麻豆久久精品国产亚洲av| 又粗又硬又长又爽又黄的视频 | 日韩国内少妇激情av| 亚洲精品日韩av片在线观看| 一级毛片我不卡| 老师上课跳d突然被开到最大视频| 女同久久另类99精品国产91| 97在线视频观看| 99热6这里只有精品| 在线播放无遮挡| 日本色播在线视频| 99riav亚洲国产免费| 国内精品久久久久精免费| 免费观看在线日韩| 久久人人爽人人爽人人片va| 韩国av在线不卡| 亚洲性久久影院| 美女大奶头视频| 男女视频在线观看网站免费| 青春草视频在线免费观看| 国内少妇人妻偷人精品xxx网站| 一级毛片电影观看 | 亚洲第一电影网av| 在线天堂最新版资源| 波多野结衣高清作品| 午夜爱爱视频在线播放| 久久亚洲国产成人精品v| eeuss影院久久| 嫩草影院入口| 日韩一区二区视频免费看| 亚洲精品自拍成人| 91久久精品国产一区二区成人| 国产久久久一区二区三区| 九九在线视频观看精品| 一边亲一边摸免费视频| 男人狂女人下面高潮的视频| 全区人妻精品视频| 精品久久久久久久久av| 人妻系列 视频| 亚洲,欧美,日韩| 色噜噜av男人的天堂激情| 嫩草影院入口| 亚洲三级黄色毛片| 欧美bdsm另类| 久久午夜亚洲精品久久| 欧美人与善性xxx| 少妇丰满av| 在线观看午夜福利视频| 亚洲人成网站在线观看播放| 成人国产麻豆网| 午夜精品在线福利| 特级一级黄色大片| 国产精品,欧美在线| 99在线视频只有这里精品首页| 精品久久久久久久人妻蜜臀av| 人人妻人人澡欧美一区二区| 免费人成视频x8x8入口观看| 波多野结衣巨乳人妻| 国产午夜精品久久久久久一区二区三区| 最近中文字幕高清免费大全6| 一本精品99久久精品77| 蜜臀久久99精品久久宅男| 国产高清有码在线观看视频| 免费观看精品视频网站| av国产免费在线观看| 一区二区三区免费毛片| 免费av观看视频| 五月伊人婷婷丁香| 国产淫片久久久久久久久| 亚洲性久久影院| 免费av毛片视频| 一进一出抽搐动态| 少妇高潮的动态图| 色哟哟·www| 啦啦啦啦在线视频资源| 人人妻人人澡人人爽人人夜夜 | 欧美+亚洲+日韩+国产| 日本免费a在线| 久久久久久久久久久丰满| 麻豆久久精品国产亚洲av| 深爱激情五月婷婷| 国产成人a区在线观看| 久久精品人妻少妇| 中国美女看黄片| 国内精品久久久久精免费| 亚洲国产高清在线一区二区三| 国产精品av视频在线免费观看| 搡老妇女老女人老熟妇| 国产真实乱freesex| 亚洲欧美日韩高清在线视频| 在线观看免费视频日本深夜| 我要看日韩黄色一级片| 亚洲人成网站高清观看| 亚洲精品成人久久久久久| 18禁裸乳无遮挡免费网站照片| av专区在线播放| 少妇人妻一区二区三区视频| 男人和女人高潮做爰伦理| 亚洲国产日韩欧美精品在线观看| 色吧在线观看| 中出人妻视频一区二区| 国产一级毛片七仙女欲春2| 激情 狠狠 欧美| 高清毛片免费看| 又粗又爽又猛毛片免费看| 久久6这里有精品| 国产日韩欧美在线精品| 在线观看一区二区三区| 51国产日韩欧美| 一个人看的www免费观看视频| 国产精品三级大全| 精品人妻一区二区三区麻豆| 日韩欧美精品v在线| 最后的刺客免费高清国语| 成人午夜精彩视频在线观看| 高清日韩中文字幕在线| 干丝袜人妻中文字幕| 人体艺术视频欧美日本| 天美传媒精品一区二区| 青春草视频在线免费观看| 3wmmmm亚洲av在线观看| 午夜爱爱视频在线播放| 一级黄色大片毛片| 女人十人毛片免费观看3o分钟| 欧美最黄视频在线播放免费| 久久精品国产清高在天天线| 欧美极品一区二区三区四区| av在线观看视频网站免费| 美女内射精品一级片tv| 伦精品一区二区三区| 五月玫瑰六月丁香| 一卡2卡三卡四卡精品乱码亚洲| 91久久精品电影网| 美女cb高潮喷水在线观看| 日韩成人伦理影院| 免费av毛片视频| 国产视频内射| 两个人的视频大全免费| av视频在线观看入口| 中文字幕久久专区| 久久中文看片网| 青春草国产在线视频 | av在线播放精品| 又黄又爽又刺激的免费视频.| 波野结衣二区三区在线| 深夜精品福利| 成人二区视频| 波多野结衣巨乳人妻| 婷婷六月久久综合丁香| 性欧美人与动物交配| 国产高潮美女av| 91久久精品国产一区二区成人| 国产在线男女| 国产精品人妻久久久影院| 成熟少妇高潮喷水视频| 国产av在哪里看| 久久午夜亚洲精品久久| 欧美最新免费一区二区三区| 精品免费久久久久久久清纯| 亚洲人成网站在线观看播放| 变态另类丝袜制服| 又爽又黄a免费视频| 亚洲精品久久久久久婷婷小说 | 99热全是精品| 亚洲成人久久性| av视频在线观看入口| 小蜜桃在线观看免费完整版高清| 长腿黑丝高跟| 午夜久久久久精精品| 成人三级黄色视频| 麻豆av噜噜一区二区三区| 国产午夜福利久久久久久| 亚洲av第一区精品v没综合| 波多野结衣巨乳人妻| 丰满人妻一区二区三区视频av| 国产精品久久久久久久久免| 黄片无遮挡物在线观看| 亚洲欧美日韩高清专用| 国产亚洲精品久久久久久毛片| 一级毛片久久久久久久久女| 精品久久久噜噜| 久久婷婷人人爽人人干人人爱| 人妻系列 视频| 亚洲成人久久性| 成人无遮挡网站| 欧美人与善性xxx| 亚洲欧洲日产国产| 成人一区二区视频在线观看| 久久久久久久久久黄片| 久久人妻av系列| 一区福利在线观看| 午夜精品国产一区二区电影 | 久久久国产成人免费| av天堂中文字幕网| 最近中文字幕高清免费大全6| 久久久久久久久中文| 亚洲国产欧洲综合997久久,| 国产综合懂色| 精品一区二区免费观看| 中文字幕免费在线视频6| 日日啪夜夜撸| 国产美女午夜福利| 1000部很黄的大片| 国产淫片久久久久久久久| 人体艺术视频欧美日本| 日韩欧美精品免费久久| 黄色日韩在线| 一区二区三区免费毛片| 夫妻性生交免费视频一级片| 卡戴珊不雅视频在线播放| 欧美激情国产日韩精品一区| 青青草视频在线视频观看| 美女被艹到高潮喷水动态| 亚州av有码| 精品久久久久久久久久久久久| 国产一区二区在线观看日韩| 中文字幕制服av| av在线观看视频网站免费| 欧美xxxx性猛交bbbb| 人妻夜夜爽99麻豆av| 人妻制服诱惑在线中文字幕| 淫秽高清视频在线观看| 免费av观看视频| 国产精品三级大全| 天堂av国产一区二区熟女人妻| 波多野结衣高清作品| 午夜久久久久精精品| 亚洲欧洲国产日韩| 亚洲图色成人| 婷婷六月久久综合丁香| 久久久久久久久久久丰满| 国产不卡一卡二| 麻豆av噜噜一区二区三区| 欧美又色又爽又黄视频| 在线免费观看不下载黄p国产| 日韩欧美 国产精品| 日本欧美国产在线视频| 欧美三级亚洲精品| 亚洲欧美日韩高清专用| 寂寞人妻少妇视频99o| 国模一区二区三区四区视频| 国产亚洲精品久久久久久毛片| 嫩草影院入口| 欧美区成人在线视频| 日日摸夜夜添夜夜爱| 伦精品一区二区三区| 国产精品精品国产色婷婷| a级一级毛片免费在线观看| 久久精品影院6| 最近最新中文字幕大全电影3| 久久99热这里只有精品18| 蜜桃久久精品国产亚洲av| 欧美bdsm另类| 色尼玛亚洲综合影院| 亚洲欧洲国产日韩| 又爽又黄a免费视频| 日韩制服骚丝袜av| 观看免费一级毛片| 国产精品免费一区二区三区在线| 国产综合懂色| av又黄又爽大尺度在线免费看 | 国产伦理片在线播放av一区 | 99热精品在线国产| 久久精品综合一区二区三区| 国产在线男女| 欧美性感艳星| 日韩,欧美,国产一区二区三区 | 晚上一个人看的免费电影| 国产一区二区三区av在线 | 我的女老师完整版在线观看| 国产成人精品一,二区 | 熟妇人妻久久中文字幕3abv| 日本av手机在线免费观看| 尾随美女入室| av在线播放精品| 黄色配什么色好看| 99久久无色码亚洲精品果冻| 欧美区成人在线视频| 国产成人影院久久av| 九九在线视频观看精品| 久久久色成人| ponron亚洲| 国产黄色视频一区二区在线观看 | 久久亚洲精品不卡| 亚洲图色成人| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产午夜精品久久久久久一区二区三区| 麻豆精品久久久久久蜜桃| 国产精品久久久久久亚洲av鲁大| 欧美色欧美亚洲另类二区| 自拍偷自拍亚洲精品老妇| 99热全是精品| 精华霜和精华液先用哪个| 午夜福利成人在线免费观看| 色综合亚洲欧美另类图片| 亚洲图色成人| 国产精品人妻久久久影院| 欧美一级a爱片免费观看看| 天堂√8在线中文| 国产精品麻豆人妻色哟哟久久 | 热99在线观看视频| 最近最新中文字幕大全电影3| 在线免费观看的www视频| 亚洲在线观看片| 少妇的逼好多水| 亚洲av中文字字幕乱码综合| 狂野欧美激情性xxxx在线观看| 亚洲国产日韩欧美精品在线观看| 精品免费久久久久久久清纯| 国语自产精品视频在线第100页| 99久久无色码亚洲精品果冻| 成人特级黄色片久久久久久久| 男人舔奶头视频| 欧美色欧美亚洲另类二区| 国产真实伦视频高清在线观看| 性欧美人与动物交配| 国产一区二区在线观看日韩| 天堂影院成人在线观看| 一边亲一边摸免费视频| 久久亚洲国产成人精品v| 少妇裸体淫交视频免费看高清| 久久久久久久久久成人| 亚洲aⅴ乱码一区二区在线播放| 老熟妇乱子伦视频在线观看| 亚洲欧美清纯卡通| 亚洲精品影视一区二区三区av| 老熟妇乱子伦视频在线观看| 最近手机中文字幕大全| 欧美精品一区二区大全| 美女高潮的动态| 日韩中字成人| 国产亚洲av片在线观看秒播厂 | 国产免费一级a男人的天堂| 国产精品美女特级片免费视频播放器| 久久热精品热| 久久精品国产99精品国产亚洲性色| 日本色播在线视频| 中文字幕人妻熟人妻熟丝袜美| 波多野结衣高清作品| 麻豆一二三区av精品| 国产精品女同一区二区软件| 亚洲av二区三区四区| 日韩高清综合在线| 久久热精品热| 国产精品伦人一区二区| 免费av毛片视频| 日韩大尺度精品在线看网址| 99九九线精品视频在线观看视频| 亚洲色图av天堂| 日日摸夜夜添夜夜爱| 国产伦在线观看视频一区| 日本黄色视频三级网站网址| 久久精品久久久久久噜噜老黄 | av在线天堂中文字幕| 中文字幕人妻熟人妻熟丝袜美| 欧美又色又爽又黄视频| 亚洲欧美清纯卡通| 亚洲最大成人中文| 丰满乱子伦码专区| 女人被狂操c到高潮| av在线蜜桃| 性色avwww在线观看| 国产成人午夜福利电影在线观看| 久久99热这里只有精品18| 日韩精品青青久久久久久| 亚洲五月天丁香| av.在线天堂| 可以在线观看的亚洲视频| 亚洲自拍偷在线| 亚洲图色成人| 亚洲精品粉嫩美女一区| 伦精品一区二区三区| 六月丁香七月| 久久久久久九九精品二区国产| 色视频www国产| 搡女人真爽免费视频火全软件| 国产成人a区在线观看| 亚洲最大成人av| 色综合色国产| 99在线视频只有这里精品首页| 亚洲真实伦在线观看| 亚洲久久久久久中文字幕| 国产高清视频在线观看网站| 91狼人影院| 久久午夜福利片| 91久久精品电影网| 欧美成人精品欧美一级黄| 久久中文看片网| 国产午夜精品一二区理论片| 少妇猛男粗大的猛烈进出视频 | 少妇熟女欧美另类| 热99在线观看视频| 久久这里有精品视频免费| 观看美女的网站| 欧美区成人在线视频| 欧美xxxx性猛交bbbb| 久久精品国产自在天天线| 乱码一卡2卡4卡精品| 国产一区二区激情短视频| 亚洲最大成人中文| 久久久色成人| 久久国产乱子免费精品| 久久久久久久亚洲中文字幕| 久久综合国产亚洲精品| 成人亚洲欧美一区二区av| 狂野欧美白嫩少妇大欣赏| 国产不卡一卡二| 日韩大尺度精品在线看网址| 日本av手机在线免费观看| 在线天堂最新版资源| 精品无人区乱码1区二区| 精品国产三级普通话版| 青春草视频在线免费观看| 搡老妇女老女人老熟妇| 亚洲欧美精品自产自拍| 成年免费大片在线观看| 丰满人妻一区二区三区视频av| 亚洲精华国产精华液的使用体验 | 久久热精品热| 内地一区二区视频在线| 国国产精品蜜臀av免费| 国产毛片a区久久久久| 国产片特级美女逼逼视频| 亚洲乱码一区二区免费版| 色尼玛亚洲综合影院| 97在线视频观看| 免费无遮挡裸体视频| 能在线免费观看的黄片| 亚洲欧美成人综合另类久久久 | 亚洲精品日韩在线中文字幕 | 久久精品综合一区二区三区| 久久久久久久久久久免费av| 国产黄色视频一区二区在线观看 | 午夜福利在线观看吧| 又粗又爽又猛毛片免费看| 国产精品久久电影中文字幕| 在线观看一区二区三区| 蜜桃久久精品国产亚洲av| 搞女人的毛片| av又黄又爽大尺度在线免费看 | 久久精品久久久久久久性| 精品人妻视频免费看| 春色校园在线视频观看| 一区二区三区高清视频在线| 日韩一区二区三区影片| 日韩欧美精品v在线| 中文字幕制服av| 久久精品夜夜夜夜夜久久蜜豆| 国产v大片淫在线免费观看| 3wmmmm亚洲av在线观看| 精品人妻一区二区三区麻豆| 中文精品一卡2卡3卡4更新| 国产精品野战在线观看| 日韩强制内射视频| 亚洲国产精品合色在线| 六月丁香七月| 午夜福利在线观看免费完整高清在 | 观看美女的网站| 日韩国内少妇激情av| 69av精品久久久久久| 三级男女做爰猛烈吃奶摸视频| 男插女下体视频免费在线播放| 色哟哟哟哟哟哟| 精品人妻熟女av久视频| 男女啪啪激烈高潮av片| 少妇人妻精品综合一区二区 | 我要搜黄色片| 色综合色国产| 一级毛片我不卡| av.在线天堂| 国产人妻一区二区三区在| 99国产极品粉嫩在线观看| 91精品国产九色| 菩萨蛮人人尽说江南好唐韦庄 | 99热6这里只有精品| 欧美日韩在线观看h| 欧洲精品卡2卡3卡4卡5卡区| 91麻豆精品激情在线观看国产| 国产成人a区在线观看| 国产精品日韩av在线免费观看| 在线国产一区二区在线| 校园人妻丝袜中文字幕| 久久鲁丝午夜福利片| 一本久久中文字幕| 亚洲成人精品中文字幕电影| 国产日韩欧美在线精品| 少妇猛男粗大的猛烈进出视频 | 中文在线观看免费www的网站| 精品久久久久久久久av| 三级男女做爰猛烈吃奶摸视频| 麻豆av噜噜一区二区三区| 国产亚洲91精品色在线| 岛国毛片在线播放| 免费在线观看成人毛片| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 又粗又硬又长又爽又黄的视频 | 人妻久久中文字幕网| 又黄又爽又刺激的免费视频.| 熟女电影av网| 噜噜噜噜噜久久久久久91| 国产精品99久久久久久久久| 日韩欧美精品免费久久| 波野结衣二区三区在线| 亚洲精品国产av成人精品| 男的添女的下面高潮视频| 国产亚洲欧美98| 日韩精品有码人妻一区| 美女被艹到高潮喷水动态| 免费观看人在逋| 麻豆久久精品国产亚洲av| 精品99又大又爽又粗少妇毛片| 国产成人91sexporn| 国产午夜精品论理片| 午夜免费激情av| 又粗又爽又猛毛片免费看| 中文字幕人妻熟人妻熟丝袜美| 欧美性猛交╳xxx乱大交人| 国产午夜福利久久久久久| 女的被弄到高潮叫床怎么办| 日韩欧美三级三区| 看免费成人av毛片| 日本一二三区视频观看| 国产三级在线视频| 级片在线观看| 国产黄色小视频在线观看|