• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    圖自編碼器推薦研究綜述*

    2022-03-22 04:13:04吳國棟涂立靜劉玉良查志康李景霞
    計算機(jī)工程與科學(xué) 2022年2期
    關(guān)鍵詞:解碼器編碼器物品

    李 方,吳國棟,涂立靜,劉玉良,查志康,李景霞

    (安徽農(nóng)業(yè)大學(xué)信息與計算機(jī)學(xué)院,安徽 合肥 230036)

    1 引言

    隨著信息技術(shù)的發(fā)展,網(wǎng)絡(luò)上數(shù)據(jù)量呈現(xiàn)指數(shù)級增長,在給人們帶來便利的同時,也出現(xiàn)了信息過載問題。作為處理信息過載的主要方式,推薦系統(tǒng)應(yīng)運(yùn)而生,其不僅有助于解決用戶選擇難的問題,還可以發(fā)現(xiàn)用戶的潛在需求,幫助用戶做出選擇。傳統(tǒng)推薦算法主要有基于內(nèi)容的推薦算法[1]、協(xié)同過濾推薦算法[2]和混合推薦算法[3]等。這些推薦算法主要存在預(yù)測精度不高、數(shù)據(jù)稀疏、缺乏健壯性和難以泛化等問題。近年來,圖自編碼器GAE(Graph Auto-Encoder)作為圖神經(jīng)網(wǎng)絡(luò)GNN(Graph Neural Network)的重要組成部分,因其可以在圖結(jié)構(gòu)數(shù)據(jù)上進(jìn)行信息傳遞和編碼,被許多研究者應(yīng)用于推薦系統(tǒng)相關(guān)方面的研究。GAE推薦模型在圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行消息傳遞和特征提取的同時,運(yùn)用一種類似n*n的卷積核聚合鄰域節(jié)點的信息,在解碼器中不再是對普通數(shù)據(jù)進(jìn)行解碼,而是對圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行解碼。GAE可以綜合運(yùn)用不同神經(jīng)網(wǎng)絡(luò)的優(yōu)點,對緩解傳統(tǒng)推薦算法在數(shù)據(jù)稀疏性、推薦精度不高、模型泛化性差和缺乏魯棒性等方面的不足,具有一定的優(yōu)勢。

    圖1所示為GAE推薦模型的基本框架,其中,A為節(jié)點的鄰接矩陣,Z為學(xué)習(xí)到的節(jié)點嵌入矩陣,X為節(jié)點的特征矩陣,A′則為預(yù)測節(jié)點之間連接性得到的輸出。本文在分析GAE推薦框架的基礎(chǔ)上,根據(jù)模型中是否有監(jiān)督模塊,探討了無監(jiān)督學(xué)習(xí)GAE推薦和半監(jiān)督學(xué)習(xí)GAE推薦的相關(guān)研究,并指出了現(xiàn)有GAE推薦研究的不足和未來研究趨勢,對圖自編碼器和推薦系統(tǒng)相關(guān)研究有一定的借鑒作用。

    Figure 1 GAE recommendation framework圖1 GAE推薦框架

    2 圖自編碼器(GAE)

    圖結(jié)構(gòu)數(shù)據(jù)包含深層次的網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點信息,圖神經(jīng)網(wǎng)絡(luò)GNN可以在圖結(jié)構(gòu)數(shù)據(jù)上進(jìn)行信息傳遞、信息聚合和特征提取[4]。而GAE是源于GNN和自編碼器的一種神經(jīng)網(wǎng)絡(luò),通過將輸入信息作為學(xué)習(xí)目標(biāo),對輸出信息進(jìn)行表征學(xué)習(xí)或網(wǎng)絡(luò)嵌入。其優(yōu)點在于繼承了自編碼器具有無監(jiān)督和半監(jiān)督的特征,在編碼的過程中使用了聚合鄰域節(jié)點信息的思想,而解碼過程是對圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行解碼。而且GAE可以融合多種神經(jīng)網(wǎng)絡(luò)的優(yōu)點對圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)嵌入和圖數(shù)據(jù)的生成[5,6],并且有著較好的性能[7]。

    GAE有很多變體,根據(jù)作用和結(jié)果的不同可分為圖表示生成GAE和網(wǎng)絡(luò)嵌入GAE,根據(jù)GAE中是否引入監(jiān)督模塊,分為無監(jiān)督GAE和半監(jiān)督GAE。本節(jié)從是否引入監(jiān)督模塊的角度分析,討論了無監(jiān)督學(xué)習(xí)GAE和半監(jiān)督學(xué)習(xí)GAE。

    2.1 無監(jiān)督學(xué)習(xí)GAE

    GAE在圖領(lǐng)域?qū)?shù)據(jù)進(jìn)行特征提取和表示,編碼器和解碼器分別可以使用多種相同或不同的神經(jīng)網(wǎng)絡(luò),綜合利用各種神經(jīng)網(wǎng)絡(luò)的優(yōu)點,將節(jié)點映射到潛在特征空間并從潛在表征中解碼圖結(jié)構(gòu)信息的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。與傳統(tǒng)的自編碼器[8]相比,GAE可在學(xué)習(xí)網(wǎng)絡(luò)嵌入或生成網(wǎng)絡(luò)圖的同時保留網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)信息和節(jié)點信息。相較于只能用于歐幾里德結(jié)構(gòu)的傳統(tǒng)神經(jīng)網(wǎng)絡(luò),GAE可以處理具有結(jié)構(gòu)性節(jié)點的問題,且每個節(jié)點都是獨立進(jìn)行運(yùn)算,不會受到輸入順序的影響。

    2.2 半監(jiān)督學(xué)習(xí)GAE

    作為一種無監(jiān)督學(xué)習(xí)框架,GAE中沒有標(biāo)注數(shù)據(jù)點或標(biāo)注數(shù)量通常過少,不足以提取到好的特征。半監(jiān)督學(xué)習(xí)思想是在監(jiān)督學(xué)習(xí)任務(wù)和無監(jiān)督學(xué)習(xí)任務(wù)之間共享表征,這通常會帶來協(xié)同效應(yīng),與無監(jiān)督目標(biāo)一起聯(lián)合訓(xùn)練,能讓監(jiān)督任務(wù)學(xué)習(xí)到可泛化的表征,同時監(jiān)督任務(wù)還能引導(dǎo)表征學(xué)習(xí)過程[9]。一些學(xué)者將半監(jiān)督學(xué)習(xí)和GAE融合在一起,比如引入一個結(jié)構(gòu)化的先驗分布、在潛在空間引入一個鑒別器或在解碼器中引入生成對抗網(wǎng)絡(luò)[10]等,形成半監(jiān)督學(xué)習(xí)的GAE。

    3 圖自編碼器推薦相關(guān)研究

    圖自編碼器推薦通常將用戶和物品的相關(guān)數(shù)據(jù)作為輸入,利用GAE模型對輸入數(shù)據(jù)進(jìn)行特征提取或者圖數(shù)據(jù)生成,并基于提取的特征或生成數(shù)據(jù)進(jìn)行推薦。無監(jiān)督學(xué)習(xí)GAE推薦主要包括輸入層、編碼層、隱藏層、解碼層和輸出層,而半監(jiān)督學(xué)習(xí)GAE推薦還包括監(jiān)督模塊,本節(jié)針對GAE推薦算法中是否具有監(jiān)督模塊進(jìn)行分類探討分析。

    3.1 無監(jiān)督學(xué)習(xí)GAE推薦研究

    無監(jiān)督的GAE推薦模型,利用GAE網(wǎng)絡(luò)嵌入或者圖數(shù)據(jù)生成的特點學(xué)習(xí)用戶和物品之間的隱表示,并基于這種隱表示預(yù)測用戶對物品的偏好。

    3.1.1 圖網(wǎng)絡(luò)生成的GAE推薦

    圖自編碼器通過將輸入的圖結(jié)構(gòu)信息作為學(xué)習(xí)目標(biāo),對輸出圖結(jié)構(gòu)信息進(jìn)行表征學(xué)習(xí),重新獲取節(jié)點之間的關(guān)系。

    Kipf等人[11]提出了變分圖自編碼器VGAE(Variational Graph Auto-Encoder)模型,用已知的圖經(jīng)過編碼(圖卷積)學(xué)習(xí)節(jié)點向量表示的分布N,在分布中采樣得到節(jié)點的向量表示,如式(1)所示,然后進(jìn)行解碼重新構(gòu)建圖。

    (1)

    其中,N為圖中節(jié)點總數(shù),μ=GCNμ(X,A)是節(jié)點向量表示的均值矩陣,μi為節(jié)點i向量表示的均值向量,Z為節(jié)點的嵌入矩陣,zi為節(jié)點i的嵌入表示,A為節(jié)點的鄰接矩陣,X為節(jié)點的特征矩陣,σ是節(jié)點向量表示的方差矩陣,lnσ=GCNσ(X,A),σi為節(jié)點i向量表示的方差向量。

    均值矩陣和方差矩陣由2層圖卷積網(wǎng)絡(luò)組成的編碼器編碼得到,如式(2)所示:

    (2)

    解碼器是通過計算2點之間存在邊的概率來重構(gòu)圖,如式(3)所示:

    (3)

    其中,Aij為A中的元素,σ(·)為sigmod激活函數(shù)。

    模型損失函數(shù)如式(4)所示:

    L=Eq(Z|X,A)[logp(A|Z)]-

    KL[q(Z|X,A)‖p(Z)]

    (4)

    其中,KL[q(·)‖p(·)]為q(·)與p(·)之間的散度函數(shù),A為節(jié)點的鄰接矩陣。式(4)中損失函數(shù)由2部分組成,第1部分是重構(gòu)誤差,第2部分為后驗概率分布p(Z|X)與預(yù)設(shè)分布p(Z)之間的KL散度的化簡形式,預(yù)設(shè)p(Z)服從標(biāo)準(zhǔn)正態(tài)分布,損失函數(shù)L作為網(wǎng)絡(luò)的最終輸出。實驗基于Cora、Citeseer和PubMed數(shù)據(jù)集,采用AUC(Area Under Curve)和AP(Average Precision)為評價指標(biāo),與SC(Spectral Clustering)[12]和DW(DeepWalk)[13]推薦模型對比,VGAE在AUC和AP評價指標(biāo)上均取得了較好的結(jié)果。

    Berg等人[14]在圖卷積矩陣填充GC-MC(Graph Convolutional Matrix Completion)中,通過對圖數(shù)據(jù)的深度挖掘,提出了基于二部圖信息傳遞的GAE推薦框架GC-MC,如圖2所示。其中,X為節(jié)點的特征矩陣,M為用戶對物品的評分矩陣,U為學(xué)習(xí)得到的用戶嵌入矩陣,V為學(xué)習(xí)得到的物品嵌入矩陣,M′則為用戶對未產(chǎn)生過交互物品的預(yù)測評分矩陣。

    Figure 2 GC-MC recommendation framework圖2 GC-MC推薦框架

    GC-MC將矩陣填充視為圖數(shù)據(jù)上的鏈路預(yù)測問題,篩選出的交互數(shù)據(jù)由用戶節(jié)點和物品節(jié)點之間的交互圖表示,用購買評分表示鏈接,內(nèi)容信息以節(jié)點功能的形式包含在框架中。通過圖卷積神經(jīng)網(wǎng)絡(luò)GCN(Graph Convolutional Network)聚合輸入節(jié)點的潛在特征,雙線性解碼器將這些潛在特征之間的關(guān)系進(jìn)行評分重構(gòu)。編碼器采用GCN,可以有效地利用圖數(shù)據(jù)中不同鏈接的權(quán)值共享,并為每一個邊類型分配單獨的處理通道,局部卷積作為消息傳遞的一種形式,向量消息只在圖的邊之間傳遞和轉(zhuǎn)換。如式(5)所示:

    (5)

    其中,accum(·)為聚合函數(shù),Ni為用戶i購買的物品集,μ為用戶節(jié)點的特征向量,R為總評分類別數(shù),μj→i,R表示聚合來自物品節(jié)點j的信息到用戶節(jié)點i,且物品節(jié)點j是被用戶i評為R分的物品,即j∈Ni,R。

    解碼器采用的是雙線性解碼器,對二部圖中的鏈接進(jìn)行重構(gòu),把每一個評級作為一個單獨的類,重構(gòu)評級可能產(chǎn)生的概率分布,進(jìn)行評價預(yù)測。預(yù)測方式如式(6)所示:

    (6)

    其中,Qr和Qs為可訓(xùn)練參數(shù)矩陣,Mij為預(yù)測的節(jié)點i對節(jié)點j的評分,r為具體評分,R為總評分矩陣, 且s∈R,Qs表示每個評分下對應(yīng)的參數(shù),ui表示用戶i的嵌入表示,vj表示物品j的嵌入表示。實驗基于MovieLens、Flixster、Douban和YahooMusic數(shù)據(jù)集,采用RMSE(Root Mean Square Error)作為評定標(biāo)準(zhǔn)。與主流的推薦模型相比,GC-MC模型具有較好的結(jié)果,在不完整數(shù)據(jù)集上實驗時依舊表現(xiàn)出較好的成績。

    Salha 等人[15]為了保持模型簡單性,在提出的圖自編碼器模型中采用了一階線性編碼器,取得了與圖卷積神經(jīng)網(wǎng)絡(luò)同等的效果。Tran等人[16]提出了一種新型的圖自編碼器結(jié)構(gòu)用于預(yù)測,否定了傳統(tǒng)機(jī)器學(xué)習(xí)中節(jié)點和邊獨立且同分布的假設(shè),認(rèn)為圖結(jié)構(gòu)數(shù)據(jù)中節(jié)點和邊的標(biāo)簽是相互聯(lián)系的,具有復(fù)雜的關(guān)系結(jié)構(gòu),模型疊雙堆層編碼器和雙層解碼器,并應(yīng)用了參數(shù)共享和增強(qiáng)表示學(xué)習(xí)技術(shù)。該模型的優(yōu)點在于:(1)通過定義權(quán)重因子,可處理推薦問題中的極端不平衡問題;(2)可以從稀疏圖中學(xué)習(xí)節(jié)點的潛在表達(dá);(3)將顯性特征作為可選因子,提高預(yù)測性能;(4)運(yùn)用參數(shù)共享緩解計算復(fù)雜度,減少內(nèi)存占用。方義秋等人[17]提出了基于多重降噪自編碼器模型的Top-N推薦算法MDAE(Multiple Denoising Auto-Encoder) 。該算法引入了不同程度的噪聲,通過多重GAE對輸出結(jié)果進(jìn)行融合,提高了算法的推薦精度和魯棒性。Li等人[18]提出了用于鏈路預(yù)測的無監(jiān)督GAE的鏈路學(xué)習(xí)R-VGAE(Relational-Variational Graph Auto-Encoder) ,提高了推薦精度。Salha等人[19]受重力啟發(fā)提出了重力啟發(fā)圖自編碼器的有向鏈路預(yù)測,根據(jù)有向圖中的關(guān)系并不是相互的,而是一種非對稱的關(guān)系,將質(zhì)量和重力加速度的概念轉(zhuǎn)換為節(jié)點信息嵌入,加速度表示節(jié)點之間的鏈接,運(yùn)用圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼,在以內(nèi)積為基礎(chǔ)的解碼器中提出了一種新的方案,從向量節(jié)點嵌入,重構(gòu)不對稱關(guān)系。Xu等人[20]提出的基于圖自編碼器的多媒體推薦模型,運(yùn)用2個圖卷積網(wǎng)絡(luò)作為編碼器,分別為用戶和物品的潛在因子建模,通過求2個潛在向量的內(nèi)積生成偏好分?jǐn)?shù),其優(yōu)點在于把信息豐富的多媒體內(nèi)容和用戶-物品交互結(jié)合起來,作為編碼器的輸入,引入2個圖卷積神經(jīng)網(wǎng)絡(luò),可以通過有效的端到端的隨機(jī)梯度下降,與任何相鄰的模型進(jìn)行無縫銜接。

    無監(jiān)督學(xué)習(xí)GAE推薦算法在圖表示生成過程中,充分利用圖數(shù)據(jù)的隱藏信息,綜合了多種神經(jīng)網(wǎng)絡(luò)的優(yōu)點,在緩解數(shù)據(jù)稀疏性問題的同時也提高了推薦算法的精度。文獻(xiàn)[12]只考慮了消息在一階鄰域的傳遞,還不能推廣到大規(guī)模的多形式數(shù)據(jù)特征提取,模型沒有很好地平衡每個節(jié)點的權(quán)重。但是,文獻(xiàn)[16]運(yùn)用參數(shù)共享,緩解了計算復(fù)雜度和內(nèi)存占用問題;文獻(xiàn)[19]通過引入加速度概念,重構(gòu)了不對稱問題。

    3.1.2 圖網(wǎng)絡(luò)嵌入的GAE推薦

    將無監(jiān)督學(xué)習(xí)的圖自編碼器提取的特征用于推薦模型中的網(wǎng)絡(luò)嵌入,既保留了圖數(shù)據(jù)的完整性,又降低了數(shù)據(jù)維度。

    鄭誠等人[21]提出了一種聯(lián)合注意力和自編碼器的協(xié)同過濾推薦模型——AACF(Attention Autoencoder Collaborative Filtering),該模型將GAE作為一個子模型,用于生成用戶的全局偏好,編碼器和解碼器均采用非線性函數(shù);另一個子模型為融合注意力機(jī)制的基于物品的協(xié)同過濾模型,用于提取用戶與物品之間的局部依賴關(guān)系,最后將2個結(jié)果融合推薦,用于緩解數(shù)據(jù)稀疏問題。文獻(xiàn)[22]中采用編碼和解碼均為多層感知機(jī)的GAE進(jìn)行網(wǎng)絡(luò)嵌入,再通過其他網(wǎng)絡(luò)進(jìn)行評分預(yù)測推薦。Mahdavi等人[23]提出動態(tài)聯(lián)合變分圖自編碼器用于學(xué)習(xí)動態(tài)網(wǎng)絡(luò)中局部結(jié)構(gòu)和時間演變,首先分配一個特定的變分圖自編碼器,學(xué)習(xí)具有時間依賴性的圖快照;引入以圖卷積神經(jīng)網(wǎng)絡(luò)為編碼器和概率解碼器的靜態(tài)變分圖自編碼器,學(xué)習(xí)每一幅圖的低維向量表示,構(gòu)成一系列連接矩陣;在訓(xùn)練過程中共享學(xué)習(xí)到的潛在變量和時間依賴性,獲取圖之間的進(jìn)化模式,提高了動態(tài)推薦的精度。

    將無監(jiān)督GAE作為網(wǎng)絡(luò)嵌入的學(xué)習(xí)模塊,提高了提取潛在特征的完整性和推薦精度,但是模型的復(fù)雜度也隨之升高。

    3.2 半監(jiān)督學(xué)習(xí)GAE推薦研究

    為了更好地保留圖中的網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點信息,在GAE中引入一個監(jiān)督模塊,使用監(jiān)督模塊對GAE提取的特征信息進(jìn)行鑒別取舍。

    3.2.1 引入鑒別器的GAE推薦

    Pan等人[24]提出了對抗正則化GAE ARGE(Adversarially Regularized Graph auto-Encoder)和對抗正則化VGAE ARVGE(Adversarially Regularized Variational Graph auto-Encoder),不僅減少了重構(gòu)錯誤的圖數(shù)據(jù),而且還加強(qiáng)了隱藏層與先驗分布的相似度,其中ARVGE的復(fù)雜度高于ARGE的。ARVGE結(jié)構(gòu)如圖3所示,模型利用圖卷積神經(jīng)網(wǎng)絡(luò)來提取圖結(jié)構(gòu)和節(jié)點內(nèi)容,對隱藏空間的圖數(shù)據(jù)進(jìn)行編碼。ARGE編碼公式如式(7)和式(8)所示:

    Z(1)=fReLU(X,A|W(0))

    (7)

    Figure 3 Adversarially regularized variational graph auto-encoder圖3 對抗正則化VGAE模型

    Z(2)=fLinear(Z(1),A|W(1))

    (8)

    損失函數(shù)如式(9)所示:

    (9)

    ARVGE編碼公式如式(10)和式(11)所示:

    (10)

    q(zi|X,A)=N(Zi|μi,diag(σ2))

    (11)

    損失函數(shù)如式(12)所示:

    KL[q(Z|X,A)‖p(Z)]

    (12)

    ARGE和ARVGE在重構(gòu)網(wǎng)絡(luò)圖信息的解碼器中,引入鑒別器規(guī)范隱藏層,增加圖表示的魯棒性。對鑒別器訓(xùn)練的目的是辨別隱藏層是符合先驗分布還是來自GAE。鑒別器采用的是一個多層感知器,以鑒別輸入樣本是來自先驗分布還是GAE生成的,同時訓(xùn)練生成樣本,使鑒別器確信生成的樣本來自先驗數(shù)據(jù)分布。鑒別器訓(xùn)練方程如式(13)所示:

    EX~p(X)[ln (1-D(g(X,A)))]

    (13)

    其中,D為鑒別器,G為生成器。在一個統(tǒng)一的框架下,對GAE進(jìn)行學(xué)習(xí)和正則化采取聯(lián)合優(yōu)化,使二者相互促進(jìn),最終得到更好的圖形數(shù)據(jù)。實驗將ARGE和ARVGE模型與其他4個(DeepWalk[25]、SC[13]、GAE[11]和VGAE[11])鏈路預(yù)測模型進(jìn)行對比,采取AUC和AP做為評價標(biāo)準(zhǔn),在數(shù)據(jù)集Cora、Citeseer、PubMed上都表現(xiàn)出較好的性能,2個模型在3個數(shù)據(jù)集上的AP和AUC分?jǐn)?shù)都高達(dá)92%;與DeepWalk和SC相比,在大型PubMed數(shù)據(jù)集上的AP與AUC的差異分別為15.5%和10.6%。

    引入鑒別器的GAE推薦,通過監(jiān)督模塊與圖自編碼器共同學(xué)習(xí)潛在表示的分布,在解決了圖數(shù)據(jù)嵌入程度低問題的同時,提高了推薦模型的魯棒性。相比于無監(jiān)督學(xué)習(xí)下的GAE推薦和VGAE推薦,推薦精度得到一定程度的提高,但是訓(xùn)練過程需要較強(qiáng)的算力支持且時間較長,即模型的復(fù)雜度較高。

    3.2.2 引入先驗分布的GAE推薦

    Wang等人[26]為了能夠在有效捕獲高度非線性的網(wǎng)絡(luò)結(jié)構(gòu)特征的同時保持局部和全局結(jié)構(gòu)信息,提出了一種結(jié)構(gòu)化的深度嵌入方法SDNE(Structural Deep Network Embedding)。該方法首先利用一個基于多層非線性函數(shù)的一階相似性作為監(jiān)督模塊,保留局部網(wǎng)絡(luò)結(jié)構(gòu);然后無監(jiān)督組件使用二階相似性來捕獲全局網(wǎng)絡(luò)結(jié)構(gòu)。通過半監(jiān)督深度模型的監(jiān)督,既保留了局部網(wǎng)絡(luò)結(jié)構(gòu),又保留了全局網(wǎng)絡(luò)結(jié)構(gòu),對稀疏網(wǎng)絡(luò)具有較強(qiáng)的魯棒性。編碼器是一個由多個非線性函數(shù)組成的多層體系結(jié)構(gòu),多層非線性函數(shù)的組合可以將數(shù)據(jù)映射到高維非線性的潛在空間,從而能夠捕獲高維非線性網(wǎng)絡(luò)結(jié)構(gòu)。解碼器也是采用多個非線性函數(shù)的組合,將潛在空間映射到重構(gòu)空間,如式(14)所示:

    k=2,…,K

    (14)

    損失函數(shù)如式(15)所示:

    (15)

    一階相似性作為監(jiān)督組件的損失函數(shù)如式(16)所示:

    (16)

    其中,W(k)、b(k)表示第k層網(wǎng)絡(luò)的權(quán)重和偏置參數(shù),bi為節(jié)點i的偏置,B為bi組成的偏置矩陣,b為隱藏層偏差矩陣,yi為節(jié)點i的隱藏層表示,si,j表示節(jié)點i與節(jié)點j的連接性,N為節(jié)點數(shù)量。SDNE方法可以很好地重構(gòu)原始網(wǎng)絡(luò),在各種網(wǎng)絡(luò)(包括非常稀疏的網(wǎng)絡(luò))上都能獲得顯著的效果。實驗采用Arxiv GR-QC作為數(shù)據(jù)集,precision作為評定標(biāo)準(zhǔn),和5個比較流行的模型(LINE[27]、DeepWalk、Grarep[28]、Common Neihbor[29]和LE[30])進(jìn)行比較,SDNE方法具有較高的預(yù)測精度。在稀疏性問題實驗中,SDNE則表現(xiàn)出較強(qiáng)的魯棒性,當(dāng)刪除80%的鏈接時,仍然有較好的性能表現(xiàn)。

    引入先驗分布的GAE推薦方法,不僅提高了推薦精度,緩解了數(shù)據(jù)的稀疏問題,而且模型還具有較強(qiáng)的魯棒性。但是,模型訓(xùn)練復(fù)雜度高,且存在可解釋性不足和冷啟動問題。

    3.2.3 引入生成對抗網(wǎng)絡(luò)的GAE推薦

    為了解決輸入網(wǎng)絡(luò)中采樣序列的稀疏性和模型難以泛化問題,Yu等人[31]提出了學(xué)習(xí)網(wǎng)絡(luò)表示與反正則化自編碼器NetRA(learn the Network representations with adversarially Regularized Auto-encoders)推薦模型,如圖4所示,其中Q為噪聲,服從正態(tài)分布N(0,1)。該模型通過共同考慮局部保持約束和全局重構(gòu)約束,平滑地學(xué)習(xí)正則化節(jié)點表示,可以很好地捕捉網(wǎng)絡(luò)結(jié)構(gòu),聯(lián)合推理被封裝在一個生成對抗訓(xùn)練過程中,以規(guī)避顯式先驗分布的要求,從而具有更好的泛化性能。

    Figure 4 Learn the network representations with adversarially regularized auto-encoders圖4 學(xué)習(xí)網(wǎng)絡(luò)表示與反正則化自編碼器

    NetRA應(yīng)用最小網(wǎng)絡(luò)減少隱藏層損失和GAE的重構(gòu)誤差,運(yùn)用離散的長短期記憶網(wǎng)絡(luò)將輸入序列映射成固定長度的表示,同時對連續(xù)空間發(fā)生器進(jìn)行約束訓(xùn)練,使其與編碼器的分布保持一致。運(yùn)用生成式的對抗網(wǎng)絡(luò)訓(xùn)練過程作為互補(bǔ)條件,一方面,正則化可以提取有關(guān)數(shù)據(jù)的有用信息,另一方面,生成對抗訓(xùn)練提供了更魯棒的離散空間表示學(xué)習(xí),可以很好地解決稀疏采樣的過擬合問題。監(jiān)督模塊通過比較來自GAE的潛在空間的樣本和來自生成器的假樣本進(jìn)行更新。實驗基于AUC評價指標(biāo),在UCI、JDK、BLOG和DBLP數(shù)據(jù)集上和5個流行的模型(SC、DeepWalk、node2vec[17]、SDNE和ANE(Adversarial Network Embeedding)[32])進(jìn)行對比,在缺失一定比例的邊之后,選取相等數(shù)量的節(jié)點對之間沒有連接的節(jié)點作為負(fù)樣本,NetRA在所有數(shù)據(jù)集上的AUC評分提高了3%~32%。

    文獻(xiàn)[24]中的鑒別器借鑒了對抗生成網(wǎng)絡(luò)的思想,文獻(xiàn)[31]則是引入生成對抗網(wǎng)絡(luò)的GAE推薦模型,兩者最本質(zhì)的區(qū)別是采用了不同的神經(jīng)網(wǎng)絡(luò),后者具有較好的泛化性,不僅緩解了數(shù)據(jù)稀疏問題,還提高了模型的魯棒性和推薦精度。但是,依然存在推薦的不可解釋性和冷啟動問題,且模型訓(xùn)練復(fù)雜度高。

    3.2.4 引入其他網(wǎng)絡(luò)的GAE推薦

    在半監(jiān)督學(xué)習(xí)GAE推薦框架中的監(jiān)督模塊可以是鑒別器、先驗分布和生成對抗網(wǎng)絡(luò),也可以是其他的神經(jīng)網(wǎng)絡(luò),如注意力機(jī)制、顯性因子等。

    Ma等人[33]引入注意力機(jī)制作為監(jiān)督模塊,提出了一種門控注意力-自編碼器GATE(GATEd attentive-autoencoder)模型。通過一個神經(jīng)門控結(jié)構(gòu)學(xué)習(xí)物品的潛在表示和評級,在融合表示的基礎(chǔ)上,利用物品之間的鄰近關(guān)系幫助推斷用戶的偏好。字詞級和鄰域級注意力機(jī)制作為監(jiān)督模塊。字詞級注意力學(xué)習(xí)物品的隱藏表示,同時通過分配較大的注意力權(quán)重系數(shù),使得隱藏表示的學(xué)習(xí)傾向于信息性詞匯;鄰域級別的注意力機(jī)制通過加權(quán)方式考慮其鄰域來學(xué)習(xí)物品鄰域的隱藏表示,其優(yōu)點在于緩解了合并異構(gòu)數(shù)據(jù)難的問題,使用注意力機(jī)制輔助學(xué)習(xí)隱藏表示,來學(xué)習(xí)得到更好的物品的特征 。Yu等人[34]基于對抗圖卷積網(wǎng)絡(luò)增強(qiáng)社會推薦(Enhancing Social Recommendation with Adversarial Graph Convolutional Networks)提出了一種基于GCN的深度對抗推薦算法AGCN(Adversarial Graph Convolutional Networks)算法。使用GAE重構(gòu)節(jié)點之間關(guān)系,編碼器是疊加的GCN層,模擬節(jié)點之間的消息傳遞,獲取社交影響力,解碼器采用多層感知機(jī)輸出節(jié)點之間的新關(guān)系,監(jiān)督模塊是一個融入環(huán)境變化的注意力機(jī)制,權(quán)衡鄰居之間的貢獻(xiàn)度并選擇性地聚合信息。AGCN具有可處理多層面社會關(guān)系的優(yōu)點。Yang 等人[35]提出了一種多模態(tài)變分圖自編碼器模型,是一種單邊多解碼器框架。編碼器GCN通過固定大小的鄰域采樣,實現(xiàn)對GCN的分批訓(xùn)練,顯性因子作為標(biāo)簽用于監(jiān)督,在訓(xùn)練過程中使用同一個編碼器,用不同的解碼器進(jìn)行迭代訓(xùn)練。解碼器網(wǎng)絡(luò)由3個解碼器組成,每個解碼器模擬一個特定信號的生成過程,分別為重構(gòu)網(wǎng)絡(luò)連接、恢復(fù)邊緣屬性和恢復(fù)擴(kuò)散內(nèi)容鏈接。

    在半監(jiān)督學(xué)習(xí)GAE推薦中,監(jiān)督模塊具有多樣性,比如鑒別器、生成對抗網(wǎng)絡(luò)、先驗分布、顯性因子和注意力機(jī)制。雖然推薦精度得到了提高,數(shù)據(jù)稀疏性得到了緩解,但是帶來了模型復(fù)雜度高等問題。

    GAE推薦根據(jù)GAE框架的特點,提取用戶和物品的隱表示,根據(jù)隱表示進(jìn)行網(wǎng)絡(luò)嵌入或鏈接生成,從而實現(xiàn)推薦。表1列出了部分無監(jiān)督學(xué)習(xí)GAE推薦、半監(jiān)督學(xué)習(xí)GAE推薦的特點及其優(yōu)缺點。

    4 圖自編碼器推薦存在的問題

    GAE推薦模型雖然具有推薦精度高、數(shù)據(jù)稀疏、魯棒性強(qiáng)和可泛化性強(qiáng)等優(yōu)點,但GAE推薦仍然存在以下不足:

    (1)不可解釋性。

    GAE推薦模型是一種端到端的模型,將多源異構(gòu)數(shù)據(jù)處理后作為輸入,直接預(yù)測用戶對物品的評分或者偏好。如文獻(xiàn)[34]提出的AGCN模型,模型訓(xùn)練的結(jié)果是更新網(wǎng)絡(luò)節(jié)點之間的連接權(quán)重,鄰居節(jié)點之間的權(quán)重更新是根據(jù)GCN,環(huán)境節(jié)點的權(quán)重更新是根據(jù)注意力機(jī)制,推薦結(jié)果究竟源自環(huán)境還是鄰居,很難給出直接的解釋說明。

    (2)用戶的冷啟動問題。

    GAE推薦模型需要一定的用戶行為數(shù)據(jù),對于新用戶,沒有行為數(shù)據(jù),如文獻(xiàn)[26]所提出的SDNE模型,很難學(xué)習(xí)出新的節(jié)點的表示,因此難以對新用戶或新物品做出有效的個性化推薦。

    (3)模型訓(xùn)練復(fù)雜度高。

    參數(shù)共享可以適當(dāng)緩解訓(xùn)練復(fù)雜度高的問題[16],但是GAE推薦模型融合了多種神經(jīng)網(wǎng)絡(luò),編解碼可能使用不同的神經(jīng)網(wǎng)絡(luò)。如文獻(xiàn)[12]提出的GC-MC模型,只考慮了信息在一階鄰域上的傳遞,在為每一個用戶推薦時,都要在圖結(jié)構(gòu)數(shù)據(jù)上進(jìn)行全圖迭代,訓(xùn)練過程的時間復(fù)雜度較高,實時、離線推薦均有難度。除了參數(shù)共享,還可引入現(xiàn)有的一些其他方法緩解模型復(fù)雜度高的問題,如裁剪方法、稀疏正則化方法、分解方法、離散余弦變換和采用GPU計算等。

    (4)難以表示多源異構(gòu)數(shù)據(jù)。

    雖然有些GAE推薦模型提取和表示了多源異構(gòu)數(shù)據(jù),如文獻(xiàn)[20]將用戶-物品交互的多媒體數(shù)據(jù)作為信息來源,提取更多、更有用的特征信息;文獻(xiàn)[34]引入注意力機(jī)制,通過加權(quán)的方式考慮其鄰域并學(xué)習(xí)鄰域的隱藏表示,適當(dāng)緩解了合并數(shù)據(jù)難的問題,但是多源異構(gòu)數(shù)據(jù)種類繁多,難以提取和表示,而實現(xiàn)對多源異構(gòu)數(shù)據(jù)的提取和表示,將有利于GAE跨領(lǐng)域推薦的研究和GAE多場景聯(lián)合推薦的研究。

    5 GAE推薦未來研究方向

    互聯(lián)網(wǎng)的迅速發(fā)展和數(shù)據(jù)多源異構(gòu)的演變,表示學(xué)習(xí)方法和生成模型越來越受重視,基于GAE的個性化推薦研究與應(yīng)用越來越多。未來GAE推薦的主要研究方向有:

    (1)GAE推薦的可解釋性研究。

    GAE推薦模型在推薦精度上具有較好的表現(xiàn),有時還需要展示恰當(dāng)?shù)耐扑]理由告訴用戶為什么系統(tǒng)會做出這樣的推薦。提高GAE推薦模型的可解釋性可以提高用戶的滿意度和可接受度。因此,可以從數(shù)據(jù)和模型的角度去研究,提高GAE推薦模型的可解釋性。

    Table 1 Advantages and disadvantages of GAE recommendations

    (2)基于GAE的跨領(lǐng)域推薦。

    隨著數(shù)據(jù)獲取能力的不斷提升,用戶在不同領(lǐng)域的歷史記錄或物品在不同領(lǐng)域的信息能夠被獲取。將跨領(lǐng)域信息融入到GAE推薦中,在一定程度上可緩解GAE推薦中的冷啟動問題。當(dāng)前針對跨領(lǐng)域推薦研究最主要的方法有基于協(xié)同過濾的方法[36]、基于遷移學(xué)習(xí)的方法[37]和基于張量分解的方法[38]等。但是,這些方法都只針對不同領(lǐng)域中特定類型的信息進(jìn)行融合,適應(yīng)性非常有限,未來可以將跨領(lǐng)域信息融合到GAE推薦中。未來利用GAE進(jìn)行跨領(lǐng)域推薦將是研究者研究的重點方向。

    (3)將現(xiàn)有推薦方法與GAE推薦相結(jié)合。

    傳統(tǒng)的推薦方法很難有效提取到用戶和物品的隱表示。在GAE推薦模型的編碼器和解碼器中,綜合應(yīng)用不同神經(jīng)網(wǎng)絡(luò)的優(yōu)點,融合廣泛的多源異構(gòu)數(shù)據(jù),學(xué)習(xí)到更加抽象、更加稠密的用戶和物品的深層次表示,同時采用深層次神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建預(yù)測模型也能夠抓住用戶和物品之間交互的非線性結(jié)構(gòu)特征[39,40]。因此,將傳統(tǒng)的推薦方法應(yīng)用在GAE推薦中,能夠融合各自的優(yōu)勢,雖然目前已經(jīng)有相關(guān)的研究出現(xiàn),但是該方向還是值得關(guān)注的。

    (4)融入注意力機(jī)制的GAE推薦。

    融入注意力機(jī)制的模型在機(jī)器視覺和自然語言處理等領(lǐng)域都取得了較大的進(jìn)展。當(dāng)前已有GAE推薦模型引入注意力機(jī)制,如文獻(xiàn)[33,34]都在模型的監(jiān)督模塊中引入注意力機(jī)制,增強(qiáng)了特征提取的準(zhǔn)確性,如重要信息的權(quán)重,避免了噪聲的干擾。在GAE推薦模型的編碼和解碼過程中引入注意力機(jī)制的研究較少,值得未來廣泛研究。

    (5)融合各種類型情景的GAE推薦。

    文獻(xiàn)[20]在提取用戶和物品特征時,只是融入了多媒體內(nèi)容,未來GAE推薦在推薦內(nèi)容、推薦對象等各個方面都將朝著越來越多元的方向發(fā)展[40]。將GAE推薦應(yīng)用在社交網(wǎng)絡(luò)、情景感知、單一用戶、群組用戶或融合多種情景模式中進(jìn)行推薦,也將是可推薦的研究方向。

    6 結(jié)束語

    隨著深度學(xué)習(xí)的發(fā)展,GAE推薦模型變得多樣化,無論是用于圖數(shù)據(jù)生成、網(wǎng)絡(luò)嵌入還是引入監(jiān)督模塊,都具有各自的優(yōu)缺點,實際運(yùn)用時需要根據(jù)不同的場景選取不同的模型,選其優(yōu)點,避開其缺陷。本文從無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的角度出發(fā),針對當(dāng)前GAE推薦的主要研究現(xiàn)狀進(jìn)行了深入探討,分析了現(xiàn)有GAE推薦的優(yōu)點,如緩解了數(shù)據(jù)稀疏性問題、推薦精度高、魯棒性強(qiáng)、泛化性高等,指出了當(dāng)前GAE推薦存在的不足,如存在冷啟動問題、可解釋性差、模型復(fù)雜度高等問題。并展望了未來的主要研究方向,如GAE推薦的可解釋性、基于GAE的跨領(lǐng)域推薦、結(jié)合現(xiàn)有的推薦方法、融合各類場景的GAE推薦等。

    猜你喜歡
    解碼器編碼器物品
    稱物品
    科學(xué)解碼器(一)
    科學(xué)解碼器(二)
    科學(xué)解碼器(三)
    “雙十一”,你搶到了想要的物品嗎?
    線圣AudioQuest 發(fā)布第三代Dragonfly Cobalt藍(lán)蜻蜓解碼器
    誰動了凡·高的物品
    基于FPGA的同步機(jī)軸角編碼器
    基于PRBS檢測的8B/IOB編碼器設(shè)計
    JESD204B接口協(xié)議中的8B10B編碼器設(shè)計
    電子器件(2015年5期)2015-12-29 08:42:24
    精品久久久久久久久亚洲| 亚洲av免费高清在线观看| 成人二区视频| 18+在线观看网站| 日本黄色视频三级网站网址| 亚洲av.av天堂| 99久久无色码亚洲精品果冻| 亚洲图色成人| 欧美激情国产日韩精品一区| 欧美日本亚洲视频在线播放| 成人漫画全彩无遮挡| 国产成人aa在线观看| 久久久久精品国产欧美久久久| 黄色一级大片看看| avwww免费| 最近中文字幕高清免费大全6| 亚洲成a人片在线一区二区| 免费一级毛片在线播放高清视频| 成人永久免费在线观看视频| 国内少妇人妻偷人精品xxx网站| 久久婷婷人人爽人人干人人爱| 日日干狠狠操夜夜爽| 在线看三级毛片| 国产激情偷乱视频一区二区| 国产精品一区二区性色av| 免费电影在线观看免费观看| 给我免费播放毛片高清在线观看| 国产色婷婷99| 麻豆久久精品国产亚洲av| 国产精品国产三级国产av玫瑰| 午夜福利在线观看吧| 99热这里只有精品一区| 小说图片视频综合网站| 亚洲欧美精品综合久久99| 亚洲欧美日韩高清在线视频| 99视频精品全部免费 在线| 精品国产三级普通话版| 欧美在线一区亚洲| 色av中文字幕| 女同久久另类99精品国产91| 亚洲国产欧洲综合997久久,| 久99久视频精品免费| 亚洲三级黄色毛片| 色哟哟哟哟哟哟| 亚洲自偷自拍三级| 亚洲最大成人手机在线| 联通29元200g的流量卡| 波多野结衣高清无吗| 国产成人福利小说| 国产视频内射| 日韩,欧美,国产一区二区三区 | 午夜日韩欧美国产| 亚洲成人精品中文字幕电影| 亚洲国产精品成人综合色| 国产精品久久久久久久久免| 国产黄片美女视频| 国产精品人妻久久久影院| 亚洲欧美清纯卡通| 欧美潮喷喷水| av中文乱码字幕在线| 嫩草影院精品99| 秋霞在线观看毛片| 成人永久免费在线观看视频| 久久精品国产亚洲av香蕉五月| 99久久无色码亚洲精品果冻| 亚洲图色成人| 国产女主播在线喷水免费视频网站 | 精品久久久久久久末码| 久久久久精品国产欧美久久久| av天堂中文字幕网| 亚洲国产欧洲综合997久久,| 熟女人妻精品中文字幕| 欧美一级a爱片免费观看看| 在线播放无遮挡| 国产精品99久久久久久久久| 欧美日韩国产亚洲二区| 亚洲国产精品合色在线| 欧美日韩综合久久久久久| 亚洲欧美精品自产自拍| 人人妻人人澡欧美一区二区| 在线观看一区二区三区| 精品久久久久久久久av| 欧美在线一区亚洲| 精品人妻熟女av久视频| 精品久久久久久久久久久久久| 午夜日韩欧美国产| 欧美日韩综合久久久久久| av中文乱码字幕在线| 国产一区亚洲一区在线观看| 日韩成人av中文字幕在线观看 | 国产亚洲精品久久久久久毛片| av天堂在线播放| 99热只有精品国产| 99久久精品国产国产毛片| 亚洲在线自拍视频| 午夜影院日韩av| 91在线精品国自产拍蜜月| 亚洲人成网站在线播| 波野结衣二区三区在线| 丰满人妻一区二区三区视频av| 久久国内精品自在自线图片| 国产亚洲精品综合一区在线观看| 热99在线观看视频| 久久久国产成人免费| 麻豆一二三区av精品| 亚洲精品日韩在线中文字幕 | 欧美色欧美亚洲另类二区| 国产成人一区二区在线| 香蕉av资源在线| 久久国内精品自在自线图片| 亚洲人成网站在线观看播放| 亚洲成人中文字幕在线播放| 俺也久久电影网| 成人综合一区亚洲| 国内少妇人妻偷人精品xxx网站| 亚洲av成人av| 欧美3d第一页| 变态另类成人亚洲欧美熟女| 深夜精品福利| 夜夜夜夜夜久久久久| 久久久久国产网址| 高清日韩中文字幕在线| 精品人妻熟女av久视频| 少妇熟女aⅴ在线视频| 亚洲欧美成人综合另类久久久 | 99久久无色码亚洲精品果冻| a级一级毛片免费在线观看| 久久欧美精品欧美久久欧美| 免费人成视频x8x8入口观看| 观看免费一级毛片| 国产男靠女视频免费网站| 一夜夜www| 亚洲国产精品久久男人天堂| 久久久久久九九精品二区国产| 国产精品精品国产色婷婷| 女的被弄到高潮叫床怎么办| 日本黄大片高清| 亚洲无线在线观看| 国产精品久久久久久久久免| 亚洲国产高清在线一区二区三| 床上黄色一级片| 国产视频内射| 日本-黄色视频高清免费观看| 成年女人永久免费观看视频| 欧美极品一区二区三区四区| 成人特级黄色片久久久久久久| 国产成年人精品一区二区| 欧美xxxx黑人xx丫x性爽| 免费观看在线日韩| 看免费成人av毛片| 成年女人看的毛片在线观看| 午夜福利在线在线| 日日啪夜夜撸| 美女黄网站色视频| 俄罗斯特黄特色一大片| 能在线免费观看的黄片| 日本三级黄在线观看| 伊人久久精品亚洲午夜| 99国产极品粉嫩在线观看| АⅤ资源中文在线天堂| 久久九九热精品免费| 晚上一个人看的免费电影| 成人精品一区二区免费| 人妻夜夜爽99麻豆av| 久久久久久久久大av| 嫩草影院新地址| 国产麻豆成人av免费视频| 一进一出抽搐动态| 亚洲精品国产成人久久av| 在线观看午夜福利视频| 久久久久精品国产欧美久久久| h日本视频在线播放| 日韩精品有码人妻一区| 在线观看美女被高潮喷水网站| 亚洲va在线va天堂va国产| 一卡2卡三卡四卡精品乱码亚洲| 久久亚洲国产成人精品v| 男女啪啪激烈高潮av片| 国产欧美日韩精品亚洲av| 亚洲欧美清纯卡通| 国产在视频线在精品| 婷婷精品国产亚洲av| 欧美日韩精品成人综合77777| 欧美一区二区亚洲| 国产中年淑女户外野战色| 国产av麻豆久久久久久久| 永久网站在线| 国产成年人精品一区二区| 欧美zozozo另类| 欧美日韩综合久久久久久| 国产成人精品久久久久久| 亚洲成人中文字幕在线播放| 丰满乱子伦码专区| 女人十人毛片免费观看3o分钟| aaaaa片日本免费| 成人精品一区二区免费| 天天躁夜夜躁狠狠久久av| 长腿黑丝高跟| 激情 狠狠 欧美| 美女cb高潮喷水在线观看| 亚洲人与动物交配视频| 91精品国产九色| 欧美激情国产日韩精品一区| av天堂在线播放| 免费大片18禁| 国产精品伦人一区二区| 久久久久国产网址| 精品久久久久久久久亚洲| 精品欧美国产一区二区三| 亚洲无线观看免费| 亚洲内射少妇av| 国产91av在线免费观看| 亚洲av中文av极速乱| av卡一久久| a级一级毛片免费在线观看| 日本 av在线| 熟女人妻精品中文字幕| .国产精品久久| 亚洲最大成人av| 亚洲图色成人| 亚洲精品成人久久久久久| 国产精品嫩草影院av在线观看| 欧美日韩国产亚洲二区| 麻豆国产97在线/欧美| 99热这里只有精品一区| 亚洲精品在线观看二区| 麻豆国产av国片精品| 黄色配什么色好看| 欧美性感艳星| 看片在线看免费视频| 亚洲欧美成人综合另类久久久 | or卡值多少钱| 联通29元200g的流量卡| 国产伦精品一区二区三区视频9| 国产成人aa在线观看| 亚洲专区国产一区二区| 成人午夜高清在线视频| 在线播放无遮挡| 黑人高潮一二区| 国产v大片淫在线免费观看| 国产精品综合久久久久久久免费| 亚洲欧美清纯卡通| 在线观看66精品国产| 俄罗斯特黄特色一大片| 久久久久久久久中文| 色综合亚洲欧美另类图片| 色视频www国产| av.在线天堂| 国产高清有码在线观看视频| 国产成人一区二区在线| 露出奶头的视频| 亚洲人成网站高清观看| 久久99热这里只有精品18| 欧美色欧美亚洲另类二区| 亚洲欧美精品自产自拍| 午夜免费激情av| 久久精品国产亚洲av涩爱 | 亚洲成人久久爱视频| av福利片在线观看| 女人十人毛片免费观看3o分钟| 啦啦啦观看免费观看视频高清| 三级国产精品欧美在线观看| 一进一出好大好爽视频| 赤兔流量卡办理| 少妇丰满av| 老司机影院成人| 亚洲无线观看免费| 高清日韩中文字幕在线| 国产中年淑女户外野战色| 网址你懂的国产日韩在线| 长腿黑丝高跟| 老司机福利观看| 成人毛片a级毛片在线播放| 国产高清视频在线观看网站| 成人鲁丝片一二三区免费| 久久久久国产网址| 成人国产麻豆网| 最近手机中文字幕大全| 亚洲av中文字字幕乱码综合| 黄片wwwwww| 亚洲av免费高清在线观看| 亚洲人成网站在线观看播放| 日产精品乱码卡一卡2卡三| 我要看日韩黄色一级片| 老司机午夜福利在线观看视频| .国产精品久久| 国产欧美日韩精品亚洲av| 中文字幕精品亚洲无线码一区| 国产伦一二天堂av在线观看| 少妇被粗大猛烈的视频| 97热精品久久久久久| 成人美女网站在线观看视频| 22中文网久久字幕| 校园人妻丝袜中文字幕| 久久久久精品国产欧美久久久| 国产高潮美女av| 亚洲av一区综合| 中文在线观看免费www的网站| 国产高潮美女av| 激情 狠狠 欧美| 在线观看av片永久免费下载| 免费人成视频x8x8入口观看| 成人一区二区视频在线观看| 日韩精品青青久久久久久| 少妇的逼水好多| 亚洲激情五月婷婷啪啪| 噜噜噜噜噜久久久久久91| 欧美色视频一区免费| 免费观看精品视频网站| 日本免费一区二区三区高清不卡| 国国产精品蜜臀av免费| 男女那种视频在线观看| 香蕉av资源在线| 99热这里只有精品一区| 国产高清激情床上av| 国产精品伦人一区二区| 一级a爱片免费观看的视频| 麻豆乱淫一区二区| 欧美又色又爽又黄视频| 在线免费观看不下载黄p国产| 国内精品美女久久久久久| 插阴视频在线观看视频| 全区人妻精品视频| 国产精华一区二区三区| 国产午夜福利久久久久久| 一级毛片我不卡| 亚洲经典国产精华液单| 97热精品久久久久久| 国产黄片美女视频| 国模一区二区三区四区视频| 欧美区成人在线视频| 国产成人a∨麻豆精品| 欧美激情久久久久久爽电影| 卡戴珊不雅视频在线播放| 成人高潮视频无遮挡免费网站| 久久久精品欧美日韩精品| 精品久久久久久久人妻蜜臀av| avwww免费| 国产人妻一区二区三区在| 日本精品一区二区三区蜜桃| av视频在线观看入口| 精品日产1卡2卡| 国产精品亚洲一级av第二区| 亚洲最大成人av| 国产精品一二三区在线看| 成人一区二区视频在线观看| 村上凉子中文字幕在线| 欧美中文日本在线观看视频| 搡老岳熟女国产| 免费看日本二区| 深夜a级毛片| 性欧美人与动物交配| 亚洲真实伦在线观看| 人妻少妇偷人精品九色| 国产精品一区二区三区四区免费观看 | 色哟哟哟哟哟哟| 国产一区二区在线av高清观看| 日本撒尿小便嘘嘘汇集6| 天天躁夜夜躁狠狠久久av| 成人av在线播放网站| 亚洲一区二区三区色噜噜| 99久久精品国产国产毛片| 国产精品亚洲一级av第二区| 亚洲四区av| 亚洲一区二区三区色噜噜| 国内精品宾馆在线| 国内少妇人妻偷人精品xxx网站| 简卡轻食公司| 日日啪夜夜撸| 亚洲精品456在线播放app| 日本与韩国留学比较| 久99久视频精品免费| 日本成人三级电影网站| 男女边吃奶边做爰视频| 51国产日韩欧美| 国产精品乱码一区二三区的特点| 国产午夜精品久久久久久一区二区三区 | 久久精品久久久久久噜噜老黄 | 免费看美女性在线毛片视频| 久久久久久久久久成人| 天美传媒精品一区二区| 欧美激情久久久久久爽电影| videossex国产| 亚洲精品一卡2卡三卡4卡5卡| 免费搜索国产男女视频| 国产熟女欧美一区二区| 99久国产av精品国产电影| 日本黄大片高清| 久久久国产成人免费| 久久热精品热| 日本撒尿小便嘘嘘汇集6| 亚洲乱码一区二区免费版| 成年免费大片在线观看| eeuss影院久久| 亚洲美女搞黄在线观看 | 日韩一区二区视频免费看| 丰满乱子伦码专区| 欧美+日韩+精品| av在线播放精品| 亚洲av五月六月丁香网| 一边摸一边抽搐一进一小说| 精品一区二区三区人妻视频| 一级黄片播放器| 人人妻人人澡欧美一区二区| 国产精品久久久久久久久免| www.色视频.com| 内地一区二区视频在线| 97超视频在线观看视频| 国产探花在线观看一区二区| or卡值多少钱| 欧美激情久久久久久爽电影| 精品一区二区三区人妻视频| 国产成人aa在线观看| 婷婷精品国产亚洲av在线| 成年免费大片在线观看| 亚洲av中文av极速乱| 99久久精品国产国产毛片| 欧美高清成人免费视频www| 看非洲黑人一级黄片| 午夜免费激情av| 伦精品一区二区三区| 亚洲国产欧美人成| 成人亚洲精品av一区二区| 一进一出抽搐gif免费好疼| 69av精品久久久久久| 看片在线看免费视频| 91麻豆精品激情在线观看国产| 成人二区视频| 男人舔奶头视频| 男插女下体视频免费在线播放| 免费看光身美女| 激情 狠狠 欧美| 国产精品电影一区二区三区| 亚洲av.av天堂| 亚洲av电影不卡..在线观看| 99国产极品粉嫩在线观看| 最近在线观看免费完整版| 在线a可以看的网站| 天美传媒精品一区二区| 人人妻人人看人人澡| 亚洲自偷自拍三级| 尤物成人国产欧美一区二区三区| 一级a爱片免费观看的视频| 欧美色欧美亚洲另类二区| 日本五十路高清| 桃色一区二区三区在线观看| 久久热精品热| 精品欧美国产一区二区三| 亚洲国产精品合色在线| 十八禁网站免费在线| 欧美成人精品欧美一级黄| 国产爱豆传媒在线观看| 亚洲aⅴ乱码一区二区在线播放| 亚洲欧美成人精品一区二区| 亚洲成人中文字幕在线播放| 麻豆精品久久久久久蜜桃| 少妇熟女aⅴ在线视频| 草草在线视频免费看| 亚洲精品影视一区二区三区av| 国产精品伦人一区二区| 熟女电影av网| 精品免费久久久久久久清纯| 成人综合一区亚洲| 美女大奶头视频| 国产精品一二三区在线看| 欧美一区二区精品小视频在线| 欧美xxxx性猛交bbbb| 成人亚洲欧美一区二区av| 男女视频在线观看网站免费| 熟妇人妻久久中文字幕3abv| av在线天堂中文字幕| 中文字幕av在线有码专区| 国产一区二区亚洲精品在线观看| 成人美女网站在线观看视频| 日本精品一区二区三区蜜桃| 久久亚洲国产成人精品v| 中国国产av一级| 国产大屁股一区二区在线视频| 亚洲人成网站高清观看| avwww免费| 日本撒尿小便嘘嘘汇集6| 我的老师免费观看完整版| 校园人妻丝袜中文字幕| 国产精品乱码一区二三区的特点| 69人妻影院| 看免费成人av毛片| 男女之事视频高清在线观看| 国产精品99久久久久久久久| 91在线精品国自产拍蜜月| 91狼人影院| 中国国产av一级| 欧美日韩国产亚洲二区| 最近视频中文字幕2019在线8| 亚洲无线观看免费| 免费大片18禁| 久久久久免费精品人妻一区二区| 国产亚洲91精品色在线| 联通29元200g的流量卡| 亚洲18禁久久av| 免费一级毛片在线播放高清视频| 狂野欧美激情性xxxx在线观看| 91狼人影院| 久久韩国三级中文字幕| 成人亚洲欧美一区二区av| 毛片女人毛片| 久久久久久九九精品二区国产| 麻豆乱淫一区二区| 免费看a级黄色片| 99热6这里只有精品| 12—13女人毛片做爰片一| 国产精品嫩草影院av在线观看| 寂寞人妻少妇视频99o| 日韩强制内射视频| 99热精品在线国产| 一级毛片电影观看 | av在线观看视频网站免费| 国产亚洲欧美98| 国产三级中文精品| 春色校园在线视频观看| 国产熟女欧美一区二区| 国产精品嫩草影院av在线观看| 欧美不卡视频在线免费观看| av视频在线观看入口| 少妇高潮的动态图| 18禁在线无遮挡免费观看视频 | 俺也久久电影网| 亚洲中文字幕一区二区三区有码在线看| 成人av在线播放网站| 亚洲自拍偷在线| 日本三级黄在线观看| 亚洲18禁久久av| av专区在线播放| 91麻豆精品激情在线观看国产| 老女人水多毛片| 免费高清视频大片| 看片在线看免费视频| 一级毛片久久久久久久久女| 人妻制服诱惑在线中文字幕| 夜夜爽天天搞| 网址你懂的国产日韩在线| 性色avwww在线观看| 色哟哟哟哟哟哟| 99久国产av精品国产电影| 国产免费一级a男人的天堂| 在线免费观看不下载黄p国产| 波多野结衣高清无吗| 99久国产av精品| 亚洲综合色惰| 亚洲av成人精品一区久久| 亚洲av成人av| 欧美日本视频| av在线播放精品| 在线天堂最新版资源| 国产亚洲精品久久久com| 久久热精品热| 啦啦啦啦在线视频资源| 一区福利在线观看| 又爽又黄a免费视频| 亚洲av成人av| 亚洲无线观看免费| 亚洲五月天丁香| 色哟哟哟哟哟哟| 麻豆精品久久久久久蜜桃| 久久精品久久久久久噜噜老黄 | 成人无遮挡网站| 熟女电影av网| 久久精品夜色国产| 亚洲精品成人久久久久久| 99久久成人亚洲精品观看| 久久人人爽人人爽人人片va| 国产午夜精品论理片| 亚洲精品影视一区二区三区av| 不卡一级毛片| 日本撒尿小便嘘嘘汇集6| avwww免费| 淫妇啪啪啪对白视频| 乱人视频在线观看| 成年版毛片免费区| 最近在线观看免费完整版| 午夜福利在线在线| 国产亚洲欧美98| 色噜噜av男人的天堂激情| 精品99又大又爽又粗少妇毛片| 色综合亚洲欧美另类图片| 精品国内亚洲2022精品成人| 欧美性感艳星| .国产精品久久| av女优亚洲男人天堂| 村上凉子中文字幕在线| 99热这里只有精品一区| 亚洲精品色激情综合| 成人一区二区视频在线观看| 美女xxoo啪啪120秒动态图| 欧美不卡视频在线免费观看| 久久九九热精品免费| 日韩av不卡免费在线播放| 秋霞在线观看毛片| 久久精品久久久久久噜噜老黄 | 麻豆国产97在线/欧美| 成人永久免费在线观看视频| 久久午夜福利片| 日韩精品中文字幕看吧| 老司机影院成人| 精品人妻视频免费看| 欧美高清性xxxxhd video| 亚洲内射少妇av| 搞女人的毛片| 最近手机中文字幕大全| 午夜福利在线在线| 色尼玛亚洲综合影院| 国国产精品蜜臀av免费| 两性午夜刺激爽爽歪歪视频在线观看| 午夜免费激情av| 日本五十路高清| 别揉我奶头 嗯啊视频|