• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于異質(zhì)信息網(wǎng)絡(luò)和多任務(wù)學習的推薦模型

    2022-12-17 09:46:08蔣宗禮李靜文
    北京工業(yè)大學學報 2022年12期
    關(guān)鍵詞:多任務(wù)異質(zhì)信息網(wǎng)絡(luò)

    蔣宗禮, 李靜文

    (北京工業(yè)大學信息學部, 北京 100124)

    大數(shù)據(jù)時代帶來的海量信息導致用戶很難快捷、精準地找到目標內(nèi)容,甚至迷失在信息中找不到目標內(nèi)容. 推薦系統(tǒng)能夠幫助用戶解決“信息過載”問題,同時幫助公司提高對用戶的吸引力,增加用戶黏性[1]. 傳統(tǒng)的推薦系統(tǒng)存在“冷啟動”的問題[2],為了緩解該問題,一些學者將輔助信息納入推薦模型. 然而,過多的輔助信息也給推薦系統(tǒng)帶來新的挑戰(zhàn). 由于現(xiàn)實世界的異質(zhì)性,輔助數(shù)據(jù)通常包含不同類型的實體,同時它們之間存在多種類型的交互,而將這些相互作用的對象建模成同質(zhì)信息網(wǎng)絡(luò)的方法往往只抽取實際交互之中的部分信息,沒有區(qū)分交互系統(tǒng)中對象及關(guān)系的差異性,這樣就造成信息虧損. 因此,越來越多的研究人員開始將這些數(shù)據(jù)建模為異質(zhì)信息網(wǎng)絡(luò). 與同質(zhì)信息網(wǎng)絡(luò)相比,異質(zhì)信息網(wǎng)絡(luò)可以融合更多類型的對象及其之間復雜的交互關(guān)系.

    目前,很多學者對異質(zhì)信息網(wǎng)絡(luò)的表示進行了研究,基于異質(zhì)信息網(wǎng)絡(luò)也可以開發(fā)出各種數(shù)據(jù)挖掘任務(wù),例如鏈路預測、分類、聚類等. 其中,基于異質(zhì)信息網(wǎng)絡(luò)的推薦任務(wù)越來越受到研究人員的關(guān)注. Yu等[3]引入基于元路徑的隱含特征,分別在全局和個性化級別上定義推薦模型. Zhao等[4]在基于異質(zhì)信息網(wǎng)絡(luò)的推薦中引入元圖,然后通過“矩陣分解+因子分解機”的方法融合異質(zhì)信息網(wǎng)絡(luò). Wang等[5]采用兩層注意力機制對不同元路徑上生成的用戶和項目特征的重要性進行建模. Hu等[6]設(shè)計了注意力機制,利用元路徑的上下文信息進行推薦. Shi等[7]設(shè)計了基于元路徑的隨機游走策略,將得到的異質(zhì)信息和矩陣分解模型融合. 但這些基于異質(zhì)信息網(wǎng)絡(luò)的推薦存在3個缺陷:1) 在異質(zhì)信息網(wǎng)絡(luò)的信息挖掘中,忽略了節(jié)點的內(nèi)容特征,難以充分處理具有豐富的節(jié)點屬性特征的異質(zhì)信息網(wǎng)絡(luò);2) 使用元路徑捕獲語義信息的方法存在用戶和項目之間部分交互信息丟失的問題;3) 嵌入方法中隱藏層和推薦模塊之間單向的信息流導致更新的異質(zhì)信息網(wǎng)絡(luò)不能被推薦模塊感知,而現(xiàn)有的方法僅僅是對推薦進行優(yōu)化.

    圖神經(jīng)網(wǎng)絡(luò)能夠端到端地擬合輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的函數(shù)關(guān)系,從結(jié)構(gòu)和功能2個方面對數(shù)據(jù)整體特性建模,很好地刻畫物理世界. 得益于圖神經(jīng)網(wǎng)絡(luò)的發(fā)展,很多學者提出了基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法[8-11]. 因此,結(jié)合圖神經(jīng)網(wǎng)絡(luò),本文提出基于異質(zhì)信息網(wǎng)絡(luò)的多任務(wù)推薦模型(multi-task learning based heterogeneous information network for recommendation, MHRec). MHRec中的分層注意力分別在多視圖嵌入層和語義注意力層捕捉節(jié)點的屬性信息和語義信息. MHRec利用鏈路預測任務(wù)和推薦任務(wù)的相關(guān)性,使用多任務(wù)學習方法同時學習鏈路預測任務(wù)來緩解使用元路徑造成的部分鏈接丟失問題,并且該模型是一個端到端的模型,直接對推薦任務(wù)進行優(yōu)化,使得推薦任務(wù)及時感知更新的異質(zhì)信息網(wǎng)絡(luò)圖. 本文通過以上方法解決了目前研究存在的3個問題.

    1 相關(guān)工作

    1.1 傳統(tǒng)的推薦系統(tǒng)

    傳統(tǒng)的推薦系統(tǒng)通常依賴于協(xié)同過濾方法,尤其是矩陣分解,其利用用戶項目的歷史交互進行推薦. 矩陣分解將用戶項目的交互矩陣分解出因子向量形式的用戶特征和項目特征. 因為矩陣分解能夠處理大規(guī)模數(shù)據(jù),所以其已經(jīng)在很多平臺(例如亞馬遜和易趣)上得到部署. 遺憾的是基于協(xié)同過濾的推薦系統(tǒng)存在“冷啟動”問題,新用戶或新項目無法獲得歷史數(shù)據(jù). 為了緩解“冷啟動”情況,一些學者開始在推薦模型中融合附加的上下文信息,這些上下文信息也稱為輔助信息.

    最近,深度學習的發(fā)展促進了推薦系統(tǒng)的發(fā)展. 多層感知器[12]、圖神經(jīng)網(wǎng)絡(luò)[13]、自編碼器[14]和其他深度神經(jīng)架構(gòu)已經(jīng)被引入推薦模型,并顯示出很好的結(jié)果.

    1.2 基于異質(zhì)信息網(wǎng)絡(luò)的推薦

    近幾十年來,推薦輔助數(shù)據(jù)大量增加. 然而,使用傳統(tǒng)的網(wǎng)絡(luò)分析方法很難管理和利用這些異質(zhì)且復雜的信息. 異質(zhì)信息網(wǎng)絡(luò)提供了一種對數(shù)據(jù)異質(zhì)性建模的新思路,它能為推薦任務(wù)描述輔助數(shù)據(jù)中的結(jié)構(gòu)信息和語義信息.

    Feng等[9]設(shè)計了優(yōu)化框架OptRank,利用異質(zhì)信息來緩解社交標簽推薦系統(tǒng)的冷啟動問題. Yu等[15]提出將用戶偏好數(shù)據(jù)經(jīng)由元路徑擴散,建立了一個屬性豐富的異質(zhì)信息網(wǎng)絡(luò). 隨后,他們通過考慮個性化來改進模型. Luo等[10]采用PathSim度量用戶、項目和用戶項目對之間的關(guān)系. 他們使用統(tǒng)一的矩陣分解模型將異質(zhì)信息整合到社交推薦任務(wù)中. Shi等[16]設(shè)計的SemRec考慮了異質(zhì)信息網(wǎng)絡(luò)中鏈接的屬性值和推薦中每個用戶的不同元路徑的個性化權(quán)重. Pham等[8]提出的HeteRS將異質(zhì)信息網(wǎng)絡(luò)表示為多個轉(zhuǎn)移矩陣,每個轉(zhuǎn)移矩陣對應(yīng)一種對象到另一種對象的關(guān)系. HeteRS通過一些查詢節(jié)點將推薦問題轉(zhuǎn)化為節(jié)點鄰近度計算問題,然后使用多元馬爾可夫鏈進行求解. Fang等[17]設(shè)計了一種新的游走策略,可以引導隨機漫步生成帶有偏好的節(jié)點序列,使用異質(zhì)Skip-Gram學習節(jié)點的特征表示,最后結(jié)合表示學習和貝葉斯個性化排序得到推薦結(jié)果. 以上基于異質(zhì)信息網(wǎng)絡(luò)的推薦模型主要基于元路徑的相似性,這種相似性受到高計算復雜度的困擾,并且不能完全反映異質(zhì)信息網(wǎng)絡(luò)中用戶和項目的潛在特征.

    近年來,人們嘗試利用異質(zhì)信息網(wǎng)絡(luò)嵌入來有效地挖掘基于異質(zhì)信息網(wǎng)絡(luò)的用戶和項目特征. Yu等[18]提出通過元路徑學習用戶嵌入,然后通過計算用戶嵌入的余弦相似度來識別社交推薦中的高相似度用戶. Han等[11]提出的NeuACF模型通過不同的元路徑提取用戶和項目不同方面的潛在特征,使用深度神經(jīng)網(wǎng)絡(luò)學習并且融合這些潛在因素. Shi等[7]提出的HeRec采用隨機游走生成項目序列,并學習項目的嵌入表示,將轉(zhuǎn)換對象嵌入并集成到擴展的矩陣分解方法中. Chan等[19]通過計算每個元路徑的數(shù)量從元路徑中提取特征,使用多層感知機學習用戶和物品的特征表示. Hu等[6]在基于異質(zhì)信息網(wǎng)絡(luò)的推薦中不僅考慮了不同元路徑的特征嵌入,還考慮了用戶和項目之間的相互作用.

    1.3 基于異質(zhì)信息網(wǎng)絡(luò)的鏈路預測

    鏈路預測任務(wù)可以概括為:給出不相交的源節(jié)點s和目標節(jié)點t,預測這對節(jié)點是否有關(guān)系. 在現(xiàn)實生活中,鏈路預測可以用于預測未來的行為,識別難以直接觀察到的但是可能存在的關(guān)系. 部分鏈路預測方法是利用采樣策略,平滑節(jié)點嵌入,例如Metapath2vec[20]、HHNE[21],它們都是提出一個偏好隨機行走框架,使用Skip-Gram模型來最大化目標節(jié)點的概率. 但是這種處理異質(zhì)信息網(wǎng)絡(luò)的方法在重建原始圖時會丟失信息. 為此,一些學者引入圖神經(jīng)網(wǎng)絡(luò),Wang等[5]提出HAN模型,該模型整合節(jié)點級注意力和語義級注意力,從異質(zhì)信息網(wǎng)絡(luò)圖中學習節(jié)點嵌入.

    1.4 多任務(wù)學習

    多任務(wù)學習是一種旨在同時解決多個任務(wù)的機器學習方法,它可以利用其他相關(guān)學習任務(wù)中的有用信息來幫助解決數(shù)據(jù)短缺問題. 多任務(wù)學習可以同時優(yōu)化多個相關(guān)的學習任務(wù),深度學習不需要設(shè)計明確的公式就能學習數(shù)據(jù)的潛在表示,因此,多任務(wù)學習已經(jīng)開始使用深度神經(jīng)網(wǎng)絡(luò)框架. 共享方式分為2種:硬共享和軟共享. 硬共享是共享所有任務(wù)之間的隱藏層;軟共享是每個任務(wù)都有自己獨立的隱藏層和參數(shù).

    Ranjan等[22]采用多任務(wù)學習的方法,能夠同時做人臉檢測、關(guān)鍵點定位、姿態(tài)估計和性別預測4項任務(wù). Seltzer等[23]將多任務(wù)學習應(yīng)用于連續(xù)音素識別任務(wù),依次從3個備選的次要任務(wù)中選擇1個擴充主任務(wù),分別從3個方面提高連續(xù)音素識別的性能. 為了解決感知次優(yōu)性問題,Li等[24]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的多任務(wù)學習框架,對交通的交互進行建模,同時識別和預測交通參與者的交互行為.

    2 基本概念

    本文基于異質(zhì)信息網(wǎng)絡(luò)和多任務(wù)學習同時學習鏈路預測任務(wù)和推薦任務(wù). 有關(guān)異質(zhì)信息網(wǎng)絡(luò)、鏈路預測任務(wù)和推薦任務(wù)的基本概念定義如下.

    2.1 異質(zhì)信息網(wǎng)絡(luò)

    定義1異質(zhì)信息網(wǎng)絡(luò)可以用圖G=(V,E)來表示,V代表節(jié)點集,E代表邊集,它存在2種映射函數(shù)Φ:V→A和Ψ:E→R.其中A和R分別表示節(jié)點類型和邊類型且必須滿足|A|+|R|>2.

    圖1(a)顯示了一個根據(jù)數(shù)據(jù)集LastFM構(gòu)建的異質(zhì)信息網(wǎng)絡(luò)示例.圖中有3種類型的節(jié)點(用戶、音樂家和標簽)和2種類型的邊(聽過、屬于).

    定義2網(wǎng)絡(luò)模式是一種對異質(zhì)信息網(wǎng)絡(luò)元結(jié)構(gòu)的描述,說明對象類型及其交互關(guān)系.給定異質(zhì)信息網(wǎng)絡(luò)G=(V,E),有映射關(guān)系Φ:V→A和Ψ:E→R,則定義其網(wǎng)絡(luò)模式為TG=(A,R).圖1(b)是圖1(a)的網(wǎng)絡(luò)模式.

    圖1(c)列舉了圖1(a)的一些元路徑,這些元路徑帶有語義信息,第1行表示2個用戶存在社交關(guān)系,第2行表示2個用戶都聽過某位藝術(shù)家的音樂,第3條元路徑表示2個用戶聽過同種類型的音樂.

    圖1 基于LastFM數(shù)據(jù)集的異質(zhì)信息網(wǎng)絡(luò)示例Fig.1 Sample of heterogeneous information network based on the LastFM dataset

    2.2 問題定義

    本文旨在解決基于異質(zhì)信息網(wǎng)絡(luò)的推薦問題,關(guān)注場景中的隱式反饋.在推薦場景中,假設(shè)有N位用戶U={u1,u2,…,uN}和M個項目V={v1,v2,…,vM}.用戶和項目之間存在代表隱式反饋的交互矩陣Y∈RN×M.若用戶u和項目v之間存在積極交互,那么yuv=1;否則yuv=0.

    圖2 MHRec的總體網(wǎng)絡(luò)框架Fig.2 Overview of MHRec network architecture

    給定用戶項目交互矩陣和異質(zhì)信息網(wǎng)絡(luò)圖G,推薦的目的是預測用戶u是否對未交互的項目v有潛在的興趣.本文的推薦任務(wù)目標是學習預測函數(shù)uv=F(u,v|θ,Y,G),uv表示用戶u可能與項目v產(chǎn)生交互的概率,θ表示可學習的參數(shù).

    3 本文方法

    本文提出的MHRec模型的整體框架見圖2.可以看出,MHRec由3個主要模塊組成,即多視圖嵌入層、語義注意力層和多任務(wù)學習層.

    3.1 節(jié)點維度轉(zhuǎn)換

    在異質(zhì)信息網(wǎng)絡(luò)圖中,不同類型的節(jié)點可能具有不同的特征向量維度.因此,在將節(jié)點輸入到多視圖嵌入層進行學習之前,首先將不同的節(jié)點特征映射到相同的潛在向量空間中.本文對每類節(jié)點使用特定類型的線性變換來完成特征轉(zhuǎn)換步驟,對類型為A∈A的節(jié)點v∈VA,使用公式

    (1)

    3.2 多視圖嵌入層

    多視圖嵌入層通過學習節(jié)點不同類型的局部鄰居屬性生成節(jié)點表示.為了挖掘異質(zhì)信息網(wǎng)絡(luò)中豐富的語義信息,文獻[25]提出了元路徑的概念.給定異質(zhì)信息網(wǎng)絡(luò)G=(V,E)和元路徑p,基于元路徑的視圖Gp是一個基于元路徑的鄰接關(guān)系.它可以通過元路徑捕獲節(jié)點不同方面的結(jié)構(gòu)信息,并且可以動態(tài)增加節(jié)點.在不同視圖上,本文使用注意力機制學習節(jié)點和節(jié)點鄰居之間的上下文關(guān)系.如圖3所示,首先使用編碼器將視圖中所有節(jié)點的鄰居實例轉(zhuǎn)換為特征向量,即

    hp(u,v)=fθ(h′v,h′u,{h′t,?t∈{mp(u,v)}})

    (2)

    圖3 元路徑內(nèi)節(jié)點聚合Fig.3 Intner-metapath aggregation

    (3)

    (4)

    (5)

    3.3 語義注意力層

    每個用戶節(jié)點在不同的元路徑視圖下得到不同表示,它們可以相互協(xié)作.每條元路徑對節(jié)點的重要性可能是不同的,因此,使用注意力機制來捕獲它們的貢獻,融合節(jié)點表示.

    首先,使用非線性函數(shù)將基于元路徑的節(jié)點表示的維度d轉(zhuǎn)換為d′維,即

    (6)

    (7)

    計算.式中‖·‖表示向量的L2歸一化.使用softmax函數(shù)計算所有元路徑p∈P對目標節(jié)點v的重要性,公式為

    (8)

    最后,以加權(quán)和的形式融合不同元路徑上節(jié)點的嵌入,得到包含語義信息的節(jié)點特征

    (9)

    3.4 多任務(wù)學習

    3.4.1 推薦任務(wù)的損失函數(shù)

    將學習到的用戶節(jié)點表征向量hi和項目節(jié)點表征向量hj輸入函數(shù)f∶Rd′×Rd′→R,得到用戶i和項目j產(chǎn)生交互的預測值

    ri,j=f(hi,hj)

    (10)

    在推薦任務(wù)中,使用負采樣策略來訓練模型.本文為每輪訓練中的用戶節(jié)點i采樣負樣本nneg(i),這些負樣本在訓練集中和用戶節(jié)點i不存在積極交互.本文使用二元交叉熵作為優(yōu)化目標,通過反向傳播和梯度下降最小化交叉熵,從而優(yōu)化模型參數(shù).該二元交叉熵損失公式為

    (11)

    式中:Trec為推薦任務(wù)中的訓練集;θrec為模型中的參數(shù);〈i,j〉表示用戶i和項目j存在積極交互.

    3.4.2 鏈路預測的損失函數(shù)

    與推薦任務(wù)類似,采用負采樣策略最小化損失函數(shù)來優(yōu)化模型.將已連接的用戶項目對視為正樣本,所有未連接的用戶項目對視為負樣本.在驗證和測試時,添加等量的隨機抽樣的負節(jié)點對.在訓練時,動態(tài)均勻地采樣負節(jié)點對,然后最小化損失函數(shù)

    (12)

    式中:σ(·)為激活函數(shù);Ω為觀察到的節(jié)點對集,即正樣本;Ω-為所有未觀察到的節(jié)點對中采樣的負節(jié)點對集.

    3.4.3 多任務(wù)損失優(yōu)化

    為了充分挖掘異質(zhì)信息網(wǎng)絡(luò),解決使用元路徑帶來的鏈路丟失問題,通過多任務(wù)學習同時學習推薦任務(wù)和鏈路預測任務(wù).如果簡單地將2個任務(wù)的損失相加,可能會出現(xiàn)其中一個任務(wù)占主導地位,即其損失函數(shù)減小得非???,而另一個任務(wù)的損失函數(shù)減小得很慢.近年來,同方差不確定性在多任務(wù)學習的損失函數(shù)的設(shè)計上取得了很好的效果[26].通過考慮每個任務(wù)的同方差不確定性,自動學習不同損失的權(quán)重,總體損失可記為

    (13)

    式中σ1和σ2是不確定性系數(shù).為了防止模型過擬合,提高模型的泛化能力,本文加上了正則化損失Lreg.通過該多任務(wù)學習模型,MHRec可以端到端地執(zhí)行2個任務(wù).

    4 實驗

    4.1 數(shù)據(jù)集

    本文在3個公開數(shù)據(jù)集Movielens、LastFM、Yelp上進行實驗.這3個數(shù)據(jù)集都是顯式反饋,而本文更關(guān)注隱式反饋,因此,需要進一步轉(zhuǎn)換.如果目標用戶對項目的評價是積極的,將該項目標記為1,同時為用戶抽樣一個未被觀察的集合,該集合中的項目都被標記為0.將Movielens、Yelp數(shù)據(jù)集中積極評價的閾值設(shè)為4,因為LastFM不存在評價值,所以不設(shè)置閾值.對于每個數(shù)據(jù)集,按照6∶2∶2的比例劃分訓練集、驗證集和測試集.

    針對每個數(shù)據(jù)集,表1第2列列出了本文選擇的元路徑.因為元路徑越長越容易引入噪聲,所以本文選擇的元路徑最長為4步.其中:U表示用戶;M表示電影;G表示電影類型;A表示藝術(shù)家;T表示標簽;B表示商家;Ca表示商家種類;Ci表示城市.

    表1 數(shù)據(jù)集的統(tǒng)計信息

    表2 在3個數(shù)據(jù)集上的實驗結(jié)果

    4.2 評價指標

    4.2.1 推薦任務(wù)的評價指標

    本文使用了2種在推薦算法中被廣泛使用的評價指標:前K個預測值的精確率(precision@K, Prec@K)和前K個預測值的歸一化折扣累計收益(normalized discounted cumulative gain@K,NDCG@K). Prec@K用來計算預測的K個結(jié)果中與用戶相關(guān)的項目概率,然而它沒有考慮預測值的順序,于是本文還使用與順序相關(guān)的評價指標NDCG@K來衡量預測結(jié)果的標準化累計收益.

    4.2.2 鏈路預測的評價指標

    對于鏈路預測任務(wù),本文通過曲下面積(area under curve,AUC)和平均準確率(average precision,AP)對模型進行評估. 經(jīng)過訓練,模型能夠計算出每對節(jié)點的相似度. 通過比較測試集中已經(jīng)存在的邊的相似度和不存在的邊的相似度,得出評價指標AUC的值,它會從整體上衡量算法的準確性. AP可以平衡準確率和召回率,因此,使用AUC和AP來評估本文模型的性能.

    4.3 對比模型

    4.3.1 推薦任務(wù)的對比模型

    將本文提出的MHRec模型與2類方法進行比較. 這2類方法中,一類是傳統(tǒng)的方法,即貝葉斯個性化排序(Bayesian personalized reanking, BPR)和NeuMF,另一類是基于異質(zhì)信息網(wǎng)絡(luò)的方法HeRec.

    BPR是基于矩陣分解的一種排序算法. 它利用數(shù)據(jù)的隱式反饋對用戶的商品喜好做排序優(yōu)化.

    NeuMF是一個基于深度學習的推薦算法. 同樣考慮數(shù)據(jù)的隱式反饋,它結(jié)合傳統(tǒng)的矩陣分解和多層感知機能夠同時提取用戶和物品的低維和高維特征.

    HeRec是基于異質(zhì)信息網(wǎng)絡(luò)的非端到端的推薦模型. 它將節(jié)點嵌入學習和矩陣分解相結(jié)合來優(yōu)化推薦任務(wù),該模型通過使用DeepWalk將異質(zhì)信息網(wǎng)絡(luò)轉(zhuǎn)換成基于元路徑的同質(zhì)信息網(wǎng)絡(luò)來學習節(jié)點嵌入.

    4.3.2 鏈路預測任務(wù)的對比模型

    為了與一些基礎(chǔ)模型做對比,對鏈路預測任務(wù)的性能進行了實驗測試. 這些基礎(chǔ)模型包括基于同質(zhì)信息網(wǎng)絡(luò)的圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network,GCN)模型、基于隨機游走的異質(zhì)信息網(wǎng)絡(luò)模型Metapath2vec以及基于異質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型HAN.

    Metapath2vec是一個傳統(tǒng)的異質(zhì)信息網(wǎng)絡(luò)的模型. 它將元路徑引導的隨機游走的節(jié)點序列輸入到Skip-Gram模型來生成節(jié)點嵌入.

    GCN是一個基于同質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型. 該模型在傅里葉域進行卷積運算.

    HAN是基于異質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型. 它從不同的基于元路徑的同質(zhì)信息網(wǎng)絡(luò)圖中學習特定元路徑的節(jié)點嵌入,并利用注意力機制融合它們生成節(jié)點的特征向量.

    4.4 結(jié)果與分析

    在表2中列出了所有模型的實驗結(jié)果, 進行分析后得到如下結(jié)果:

    1) 本文提出的模型MHRec相比所有基線擁有最好的性能,并且發(fā)現(xiàn)MHRec在數(shù)據(jù)集LastFM和Yelp上的性能比數(shù)據(jù)集MovieLens提升的效果更明顯. 通過表1最后3列可以看出,數(shù)據(jù)集LastFM、Yelp比數(shù)據(jù)集MovieLens更稀疏,這說明MHRec可以有效解決數(shù)據(jù)稀疏問題.

    2) HeRec在數(shù)據(jù)集MovieLens上的性能不如傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)推薦模型NeuFM,說明HeRec模型使用基于元路徑的隨機游走策略學習節(jié)點嵌入的方法沒有充分利用異質(zhì)信息網(wǎng)絡(luò)的信息.

    3) 總體上,基于異質(zhì)信息網(wǎng)絡(luò)的模型HeRec優(yōu)于不基于異質(zhì)信息網(wǎng)絡(luò)的模型BPR和NeuFM,說明使用異質(zhì)信息網(wǎng)絡(luò)能夠有效學習節(jié)點信息,提高推薦效果.

    4.4.1 模型在鏈路預測任務(wù)上的效果

    本文分別在3個數(shù)據(jù)集上使用幾種基線模型進行實驗,將實驗結(jié)果列在表3中. 可以看出,MHRec在鏈路預測上的性能依然優(yōu)于其他基線. 與性能最好的對比模型HAN相比,MHRec在數(shù)據(jù)集MovieLens、LastFM、Yelp上分別提高了約3%、1%、1%. 這表明本文提出的模型能夠同時適用于2種任務(wù).

    表3 MHRec在鏈路預測任務(wù)上的AP和AUC結(jié)果

    4.4.2 節(jié)點嵌入維度的影響

    本文研究了嵌入維度d對MHRec的影響. 從圖4中看出:增加d可以提高模型的性能,因為維度高可以編碼用戶和項目的信息,但是當維度從64繼續(xù)增加時,出現(xiàn)了精確度減小的情況,這說明d太高會導致過擬合.

    圖4 在3個數(shù)據(jù)集上不同節(jié)點維度的實驗結(jié)果Fig.4 Experimental results of different node dimensions on three datasets

    4.4.3 消融實驗

    為了研制模型各部件的有效性,本文進一步在不同的MHRec變體上進行了實驗. 表4列出了各個變體在3個數(shù)據(jù)集上進行實驗得到的結(jié)果. 其中:MHRec-rec不使用多任務(wù)學習;MHRec在語義注意力層使用了注意力機制動態(tài)學習不同元路徑的重要性,將加權(quán)求和替換成平均相加來得到模型MHRec-avg; MHRec-loss使推薦和鏈路預測的損失權(quán)重相等而不使用不確定性損失.

    從表4可以看出,本文增加的這些部件對推薦效果的提升都起到促進作用. 去掉語義注意力層后推薦效果大幅下降,說明語義注意力層對基于異質(zhì)信息網(wǎng)絡(luò)的推薦模型是十分重要的. 刪去多任務(wù)學習后,模型性能也有所下降,由此可見,多任務(wù)學習對推薦任務(wù)的準確性具有促進作用. 同時,3個數(shù)據(jù)集上的實驗結(jié)果都表明沒有刪掉多任務(wù)學習的MHRec-loss指標值比MHRec-rec更低,這說明多任務(wù)學習損失的設(shè)定非常關(guān)鍵,證明使用同方差不確定性平衡2個任務(wù)是有效的.

    表4 在3個數(shù)據(jù)集上進行消融實驗的 結(jié)果(NDCG@10)

    5 結(jié)論

    1) 本文提出了一種基于異質(zhì)信息網(wǎng)絡(luò)的多任務(wù)學習推薦模型MHRec,該模型能夠捕捉異質(zhì)信息網(wǎng)絡(luò)的節(jié)點屬性信息、語義信息和結(jié)構(gòu)信息. 在3個數(shù)據(jù)集上的實驗證明,該模型能夠明顯提高基于異質(zhì)信息網(wǎng)絡(luò)推薦任務(wù)的性能. 消融實驗結(jié)果證明了注意力模塊的有效性,以及多任務(wù)學習中損失函數(shù)設(shè)置的重要性.

    2) 本文在多視圖嵌入層上區(qū)分了每個節(jié)點的貢獻,并在語義注意力層上考慮了語義信息. 此外,設(shè)計了多任務(wù)學習框架,可同時學習推薦任務(wù)和鏈路預測任務(wù). 實驗結(jié)果表明,該方法有效緩解了使用元路徑導致的信息丟失問題.

    3) 本文旨在充分挖掘異質(zhì)信息網(wǎng)絡(luò)中用戶和項目之間存在的潛在關(guān)系,實際上,用戶的行為前后存在關(guān)聯(lián)性甚至是因果性,因此,將行為的順序信息引入模型是未來研究工作的方向.

    猜你喜歡
    多任務(wù)異質(zhì)信息網(wǎng)絡(luò)
    基于中心化自動加權(quán)多任務(wù)學習的早期輕度認知障礙診斷
    幫助信息網(wǎng)絡(luò)犯罪活動罪的教義學展開
    刑法論叢(2018年2期)2018-10-10 03:32:22
    非法利用信息網(wǎng)絡(luò)罪的適用邊界
    法律方法(2018年3期)2018-10-10 03:21:34
    基于判別性局部聯(lián)合稀疏模型的多任務(wù)跟蹤
    自動化學報(2016年3期)2016-08-23 12:02:56
    網(wǎng)絡(luò)共享背景下信息網(wǎng)絡(luò)傳播權(quán)的保護
    學習月刊(2016年4期)2016-07-11 02:54:12
    幫助信息網(wǎng)絡(luò)犯罪活動罪若干問題探究
    基于多任務(wù)異步處理的電力系統(tǒng)序網(wǎng)絡(luò)拓撲分析
    電測與儀表(2016年5期)2016-04-22 01:13:46
    隨機與異質(zhì)網(wǎng)絡(luò)共存的SIS傳染病模型的定性分析
    Ag2CO3/Ag2O異質(zhì)p-n結(jié)光催化劑的制備及其可見光光催化性能
    MoS2/ZnO異質(zhì)結(jié)的光電特性
    物理實驗(2015年10期)2015-02-28 17:36:52
    亚洲av不卡在线观看| 免费看光身美女| 国产在线一区二区三区精| 春色校园在线视频观看| 国产视频首页在线观看| 高清黄色对白视频在线免费看| 午夜影院在线不卡| 制服人妻中文乱码| 亚洲一区二区三区欧美精品| 精品少妇黑人巨大在线播放| 亚洲丝袜综合中文字幕| 99热这里只有是精品在线观看| 久久久久人妻精品一区果冻| 搡女人真爽免费视频火全软件| 亚洲精品久久久久久婷婷小说| 亚洲第一区二区三区不卡| 高清午夜精品一区二区三区| 精品一区二区三卡| 天堂俺去俺来也www色官网| 嫩草影院入口| a级毛片免费高清观看在线播放| 满18在线观看网站| 蜜桃在线观看..| 国产亚洲一区二区精品| 久久人人爽人人爽人人片va| 亚洲精品日韩在线中文字幕| 国产欧美日韩一区二区三区在线 | 欧美日韩成人在线一区二区| 亚洲婷婷狠狠爱综合网| 人妻制服诱惑在线中文字幕| 少妇猛男粗大的猛烈进出视频| 久久久久久久久久久免费av| 国产高清有码在线观看视频| .国产精品久久| 国产亚洲一区二区精品| 黑人猛操日本美女一级片| 高清午夜精品一区二区三区| 中文字幕亚洲精品专区| 秋霞在线观看毛片| 五月天丁香电影| 免费av中文字幕在线| 人妻夜夜爽99麻豆av| 男女无遮挡免费网站观看| 自线自在国产av| 丝袜在线中文字幕| 国产视频内射| 丰满少妇做爰视频| 最近最新中文字幕免费大全7| 69精品国产乱码久久久| 91国产中文字幕| 日韩av不卡免费在线播放| 纵有疾风起免费观看全集完整版| 国产免费现黄频在线看| 一个人看视频在线观看www免费| 亚洲少妇的诱惑av| 日韩一区二区三区影片| 久久午夜综合久久蜜桃| 制服诱惑二区| 亚洲国产精品一区二区三区在线| 亚洲在久久综合| 自线自在国产av| 国产在视频线精品| 十分钟在线观看高清视频www| 久久久亚洲精品成人影院| 99视频精品全部免费 在线| 日韩欧美一区视频在线观看| 亚洲精品一区蜜桃| 麻豆精品久久久久久蜜桃| 少妇 在线观看| a 毛片基地| 免费日韩欧美在线观看| 午夜福利影视在线免费观看| 好男人视频免费观看在线| 亚洲色图综合在线观看| 在线观看三级黄色| 人人妻人人澡人人看| 精品人妻偷拍中文字幕| 久久女婷五月综合色啪小说| 亚洲丝袜综合中文字幕| 欧美一级a爱片免费观看看| 亚洲欧美色中文字幕在线| 久久久国产欧美日韩av| 韩国av在线不卡| 九色亚洲精品在线播放| 水蜜桃什么品种好| 国产精品99久久99久久久不卡 | 丰满乱子伦码专区| 日韩中字成人| 欧美bdsm另类| 一区二区av电影网| 高清黄色对白视频在线免费看| 欧美激情极品国产一区二区三区 | 国产一级毛片在线| 国产亚洲精品久久久com| 一级毛片电影观看| 精品久久久久久电影网| 91aial.com中文字幕在线观看| 亚洲av成人精品一二三区| 日韩中字成人| 母亲3免费完整高清在线观看 | 亚洲精品亚洲一区二区| 久久免费观看电影| 久久免费观看电影| 2022亚洲国产成人精品| 日产精品乱码卡一卡2卡三| 免费人妻精品一区二区三区视频| 国产极品天堂在线| 人人妻人人澡人人爽人人夜夜| 国产av一区二区精品久久| 三级国产精品片| 久久久久精品性色| 日韩免费高清中文字幕av| 国产精品嫩草影院av在线观看| 国产精品99久久99久久久不卡 | 美女xxoo啪啪120秒动态图| 欧美性感艳星| 成人国产av品久久久| 狠狠婷婷综合久久久久久88av| 日本欧美视频一区| 精品亚洲成a人片在线观看| 国产在线一区二区三区精| 青春草视频在线免费观看| 精品一品国产午夜福利视频| 黄色配什么色好看| 国产免费现黄频在线看| 亚洲中文av在线| 久久鲁丝午夜福利片| 国产精品一区二区三区四区免费观看| 国产精品.久久久| 伦理电影大哥的女人| 久久精品人人爽人人爽视色| 岛国毛片在线播放| av有码第一页| 最近中文字幕2019免费版| 久久精品人人爽人人爽视色| 五月开心婷婷网| 午夜福利网站1000一区二区三区| 亚洲精品日韩在线中文字幕| 国产黄色免费在线视频| 亚洲美女黄色视频免费看| 美女主播在线视频| 亚洲欧美成人综合另类久久久| 久久久久久伊人网av| 一本色道久久久久久精品综合| 国产亚洲欧美精品永久| 中国国产av一级| 国产亚洲最大av| 国产精品秋霞免费鲁丝片| 日产精品乱码卡一卡2卡三| 日本色播在线视频| 精品久久久久久电影网| 免费不卡的大黄色大毛片视频在线观看| 欧美国产精品一级二级三级| 黑人欧美特级aaaaaa片| 国产黄片视频在线免费观看| 亚洲av免费高清在线观看| 精品人妻一区二区三区麻豆| 中国美白少妇内射xxxbb| 视频在线观看一区二区三区| 亚洲精品色激情综合| 最近手机中文字幕大全| 久久久国产欧美日韩av| 久久人妻熟女aⅴ| 日韩中字成人| 亚洲欧洲日产国产| 在线 av 中文字幕| 新久久久久国产一级毛片| 精品人妻熟女毛片av久久网站| av播播在线观看一区| 日本av手机在线免费观看| 成年人午夜在线观看视频| 婷婷色av中文字幕| 欧美成人午夜免费资源| 中文字幕人妻熟人妻熟丝袜美| kizo精华| 少妇高潮的动态图| 日本免费在线观看一区| 晚上一个人看的免费电影| 国产精品一区www在线观看| 国产精品国产三级国产专区5o| 蜜桃国产av成人99| 国产日韩欧美亚洲二区| 国产色爽女视频免费观看| 精品少妇黑人巨大在线播放| 99视频精品全部免费 在线| 大话2 男鬼变身卡| 黄片无遮挡物在线观看| 日韩不卡一区二区三区视频在线| 各种免费的搞黄视频| 老司机影院成人| 国产成人免费无遮挡视频| 中文字幕av电影在线播放| av电影中文网址| 一级黄片播放器| 国产黄色视频一区二区在线观看| 国产乱人偷精品视频| 国产一区有黄有色的免费视频| 国产日韩欧美亚洲二区| 美女国产视频在线观看| 一级片'在线观看视频| 国产成人av激情在线播放 | 七月丁香在线播放| 激情五月婷婷亚洲| 毛片一级片免费看久久久久| 免费观看无遮挡的男女| 一区二区三区免费毛片| 国产精品一区www在线观看| 免费黄网站久久成人精品| 久久精品国产亚洲av涩爱| 久久99精品国语久久久| 亚洲av电影在线观看一区二区三区| 91精品国产国语对白视频| 国产精品熟女久久久久浪| 欧美 亚洲 国产 日韩一| 日韩伦理黄色片| 免费少妇av软件| 赤兔流量卡办理| 少妇被粗大的猛进出69影院 | 国产黄片视频在线免费观看| 亚洲欧洲日产国产| 欧美日韩精品成人综合77777| 日韩精品有码人妻一区| 汤姆久久久久久久影院中文字幕| 大香蕉久久网| 伊人久久精品亚洲午夜| 免费看不卡的av| 波野结衣二区三区在线| 全区人妻精品视频| 国产一区二区三区av在线| 国产欧美日韩综合在线一区二区| 美女国产视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 国产精品人妻久久久影院| 午夜久久久在线观看| 啦啦啦视频在线资源免费观看| 在线观看免费高清a一片| 老司机亚洲免费影院| 日韩一区二区三区影片| 亚洲不卡免费看| 国产成人精品一,二区| 欧美老熟妇乱子伦牲交| 免费大片黄手机在线观看| 国产高清不卡午夜福利| 亚洲精品aⅴ在线观看| 欧美日韩成人在线一区二区| 国产极品粉嫩免费观看在线 | 国产男人的电影天堂91| 欧美少妇被猛烈插入视频| 搡老乐熟女国产| 大片免费播放器 马上看| 亚洲精品第二区| 久久久a久久爽久久v久久| 少妇的逼水好多| 精品国产一区二区三区久久久樱花| 午夜老司机福利剧场| 9色porny在线观看| 午夜91福利影院| 97精品久久久久久久久久精品| 亚洲精品中文字幕在线视频| 久久久精品免费免费高清| 成年人免费黄色播放视频| 国产高清不卡午夜福利| 22中文网久久字幕| 日本午夜av视频| 国产一区亚洲一区在线观看| 久久99热这里只频精品6学生| 王馨瑶露胸无遮挡在线观看| 亚洲欧美中文字幕日韩二区| 丝袜在线中文字幕| 国产成人精品一,二区| 国产成人午夜福利电影在线观看| 免费看不卡的av| 精品国产一区二区三区久久久樱花| 精品国产露脸久久av麻豆| 日韩av不卡免费在线播放| 99久久中文字幕三级久久日本| 国产黄片视频在线免费观看| 亚洲欧美一区二区三区国产| 久热久热在线精品观看| 乱码一卡2卡4卡精品| 蜜桃在线观看..| 色94色欧美一区二区| 天天操日日干夜夜撸| 观看av在线不卡| xxx大片免费视频| 亚洲成人手机| 热re99久久精品国产66热6| 少妇精品久久久久久久| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | av专区在线播放| 日韩熟女老妇一区二区性免费视频| 22中文网久久字幕| 九九久久精品国产亚洲av麻豆| 亚洲av电影在线观看一区二区三区| 亚洲欧美清纯卡通| 欧美精品高潮呻吟av久久| 免费观看在线日韩| 精品久久国产蜜桃| 精品一区二区三区视频在线| 亚洲人成网站在线观看播放| 母亲3免费完整高清在线观看 | 我要看黄色一级片免费的| av女优亚洲男人天堂| 一级爰片在线观看| 汤姆久久久久久久影院中文字幕| 18禁在线播放成人免费| 亚洲成人一二三区av| 日韩,欧美,国产一区二区三区| 国产极品粉嫩免费观看在线 | 十八禁高潮呻吟视频| 插逼视频在线观看| 九九久久精品国产亚洲av麻豆| av卡一久久| 久久久久久人妻| 日韩成人伦理影院| 成人黄色视频免费在线看| 91精品国产国语对白视频| 成年女人在线观看亚洲视频| 亚洲色图 男人天堂 中文字幕 | 日韩av免费高清视频| 女的被弄到高潮叫床怎么办| 人人妻人人澡人人爽人人夜夜| 爱豆传媒免费全集在线观看| 免费黄色在线免费观看| 国产成人一区二区在线| 男人操女人黄网站| 18禁在线播放成人免费| 99热这里只有是精品在线观看| 在线播放无遮挡| 大香蕉久久成人网| 青青草视频在线视频观看| 国产精品久久久久久精品古装| 国产精品.久久久| 黄片无遮挡物在线观看| 国产亚洲午夜精品一区二区久久| 亚洲四区av| 免费黄频网站在线观看国产| 伊人久久精品亚洲午夜| 超色免费av| 色哟哟·www| 一本久久精品| 欧美一级a爱片免费观看看| .国产精品久久| 美女主播在线视频| 国产高清国产精品国产三级| 亚洲精品成人av观看孕妇| 国产伦理片在线播放av一区| 69精品国产乱码久久久| videossex国产| 国产一区有黄有色的免费视频| 在线天堂最新版资源| 日本猛色少妇xxxxx猛交久久| 五月天丁香电影| 国产深夜福利视频在线观看| 久久精品国产亚洲av涩爱| 只有这里有精品99| av又黄又爽大尺度在线免费看| 亚洲高清免费不卡视频| 纯流量卡能插随身wifi吗| 亚洲,欧美,日韩| a级毛片在线看网站| 亚洲国产欧美在线一区| 最近手机中文字幕大全| 久久精品熟女亚洲av麻豆精品| 亚洲精品乱码久久久久久按摩| 丰满乱子伦码专区| 国产欧美日韩一区二区三区在线 | 亚洲av福利一区| 九色亚洲精品在线播放| 亚洲丝袜综合中文字幕| 22中文网久久字幕| 精品少妇久久久久久888优播| 欧美日韩亚洲高清精品| 99国产精品免费福利视频| 最黄视频免费看| 老司机影院成人| 麻豆成人av视频| 午夜av观看不卡| 国产精品女同一区二区软件| 国产成人aa在线观看| 大又大粗又爽又黄少妇毛片口| 男女啪啪激烈高潮av片| 日韩成人av中文字幕在线观看| 亚洲av在线观看美女高潮| 91久久精品电影网| 伦理电影免费视频| 欧美日韩av久久| 男人添女人高潮全过程视频| 夜夜看夜夜爽夜夜摸| 日本vs欧美在线观看视频| 色婷婷久久久亚洲欧美| 国产又色又爽无遮挡免| www.色视频.com| 久久精品夜色国产| 人妻制服诱惑在线中文字幕| 久久久久久久久大av| 国产黄色视频一区二区在线观看| 黑丝袜美女国产一区| 99九九线精品视频在线观看视频| 亚洲三级黄色毛片| 成人国产麻豆网| 国产精品国产三级国产专区5o| 久久毛片免费看一区二区三区| av免费在线看不卡| 嫩草影院入口| 少妇 在线观看| 在线天堂最新版资源| 成人18禁高潮啪啪吃奶动态图 | 国产成人精品福利久久| 在线观看国产h片| 91成人精品电影| 母亲3免费完整高清在线观看 | 日日摸夜夜添夜夜爱| 国产免费又黄又爽又色| 26uuu在线亚洲综合色| 18禁在线无遮挡免费观看视频| 在线亚洲精品国产二区图片欧美 | 久久97久久精品| 嘟嘟电影网在线观看| 91久久精品电影网| 91久久精品国产一区二区成人| av在线老鸭窝| 少妇被粗大猛烈的视频| 国产精品一区www在线观看| 伦理电影大哥的女人| 亚洲欧洲精品一区二区精品久久久 | 国产一区二区在线观看av| 国产精品国产三级国产专区5o| 亚洲国产精品一区二区三区在线| 在线观看免费高清a一片| 久久亚洲国产成人精品v| 色吧在线观看| 亚洲国产成人一精品久久久| 日韩人妻高清精品专区| 毛片一级片免费看久久久久| 国产成人精品一,二区| 婷婷色综合大香蕉| 久久精品国产鲁丝片午夜精品| 亚洲一级一片aⅴ在线观看| 亚洲第一av免费看| 男女高潮啪啪啪动态图| 欧美激情国产日韩精品一区| 久久国产亚洲av麻豆专区| 国产高清不卡午夜福利| 美女国产高潮福利片在线看| 久久99精品国语久久久| 蜜桃久久精品国产亚洲av| av免费在线看不卡| 日韩欧美一区视频在线观看| 欧美性感艳星| videosex国产| 亚洲av免费高清在线观看| 美女大奶头黄色视频| 国产精品一二三区在线看| av福利片在线| 久久久国产欧美日韩av| 国产精品欧美亚洲77777| 色5月婷婷丁香| 久久国产亚洲av麻豆专区| 熟女电影av网| 51国产日韩欧美| 一区二区三区精品91| 午夜精品国产一区二区电影| 亚洲熟女精品中文字幕| 国产69精品久久久久777片| 亚洲激情五月婷婷啪啪| 婷婷色综合www| 国产精品一区二区在线观看99| 久久久久人妻精品一区果冻| 99久久精品一区二区三区| 一本色道久久久久久精品综合| 极品少妇高潮喷水抽搐| 亚洲欧美成人综合另类久久久| 久久精品国产亚洲网站| 精品熟女少妇av免费看| 一区二区三区四区激情视频| 成人午夜精彩视频在线观看| 日韩三级伦理在线观看| 亚洲人成网站在线播| 欧美日韩视频精品一区| 免费黄色在线免费观看| 交换朋友夫妻互换小说| 日韩免费高清中文字幕av| 久久久久久久久久久免费av| 久久久久人妻精品一区果冻| 亚洲三级黄色毛片| 国产精品秋霞免费鲁丝片| 人妻系列 视频| 亚洲国产精品一区二区三区在线| 午夜免费鲁丝| 国产无遮挡羞羞视频在线观看| 日韩,欧美,国产一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 老司机亚洲免费影院| 蜜桃在线观看..| 日本wwww免费看| 在线 av 中文字幕| 99国产精品免费福利视频| 一本色道久久久久久精品综合| 久久久久久久久久久丰满| 人人妻人人澡人人看| 狠狠精品人妻久久久久久综合| 制服诱惑二区| 香蕉精品网在线| 亚洲美女黄色视频免费看| 啦啦啦啦在线视频资源| 亚洲色图 男人天堂 中文字幕 | 久久久久人妻精品一区果冻| kizo精华| 久久影院123| 在线播放无遮挡| 久久ye,这里只有精品| 国产午夜精品一二区理论片| 国产片内射在线| 人妻 亚洲 视频| 夫妻午夜视频| 国产精品人妻久久久久久| 伦理电影免费视频| 91精品一卡2卡3卡4卡| 久久ye,这里只有精品| 国产成人午夜福利电影在线观看| 狂野欧美激情性xxxx在线观看| 久久av网站| 黄片播放在线免费| 成人亚洲欧美一区二区av| 国产精品99久久99久久久不卡 | 国产视频内射| 亚洲美女视频黄频| 日韩欧美一区视频在线观看| 中文字幕av电影在线播放| 99视频精品全部免费 在线| 免费观看的影片在线观看| 国产精品久久久久久久电影| 少妇猛男粗大的猛烈进出视频| 免费大片黄手机在线观看| 视频中文字幕在线观看| 久久狼人影院| 黑人高潮一二区| 欧美97在线视频| 久久久国产一区二区| 青春草视频在线免费观看| 免费不卡的大黄色大毛片视频在线观看| 高清在线视频一区二区三区| 又大又黄又爽视频免费| 亚洲精品国产av蜜桃| 国产一区二区三区av在线| 建设人人有责人人尽责人人享有的| 日韩av在线免费看完整版不卡| 丝袜脚勾引网站| 免费观看av网站的网址| 一区二区三区乱码不卡18| 女人久久www免费人成看片| 男女国产视频网站| 成人综合一区亚洲| 国产欧美另类精品又又久久亚洲欧美| 一个人免费看片子| 亚洲av福利一区| 丝袜喷水一区| 亚洲伊人久久精品综合| 熟妇人妻不卡中文字幕| 国产午夜精品久久久久久一区二区三区| 老司机影院成人| 99视频精品全部免费 在线| 高清不卡的av网站| 欧美日本中文国产一区发布| 黑人欧美特级aaaaaa片| 国产精品国产av在线观看| 午夜激情久久久久久久| 丝袜在线中文字幕| 五月伊人婷婷丁香| 中文字幕亚洲精品专区| 国产极品天堂在线| 欧美日韩av久久| 大话2 男鬼变身卡| 午夜老司机福利剧场| 亚洲中文av在线| 视频中文字幕在线观看| 国产精品人妻久久久久久| 中文精品一卡2卡3卡4更新| 日本91视频免费播放| 亚洲国产av影院在线观看| 国产精品蜜桃在线观看| av播播在线观看一区| 亚洲欧美日韩另类电影网站| 亚洲欧美一区二区三区黑人 | 久久精品国产鲁丝片午夜精品| 少妇被粗大猛烈的视频| 亚洲精品中文字幕在线视频| av在线观看视频网站免费| 欧美精品亚洲一区二区| 成人毛片a级毛片在线播放| 老司机影院成人| 亚洲激情五月婷婷啪啪| 韩国高清视频一区二区三区| 婷婷色麻豆天堂久久| 亚洲五月色婷婷综合| freevideosex欧美| 麻豆乱淫一区二区| 最新的欧美精品一区二区| 午夜激情福利司机影院| 18在线观看网站| 性色av一级| 国产精品一国产av| 国产爽快片一区二区三区| 精品国产一区二区久久| 99久久人妻综合| 九九久久精品国产亚洲av麻豆| 97在线人人人人妻| 女人精品久久久久毛片| 午夜福利视频在线观看免费| 日韩三级伦理在线观看| 一级毛片aaaaaa免费看小| 伦理电影免费视频| 国产探花极品一区二区| 黄色毛片三级朝国网站|