• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    改進(jìn)圖卷積網(wǎng)絡(luò)的協(xié)同過濾推薦模型

    2022-09-06 11:09:12翟正利李鵬輝
    關(guān)鍵詞:集上鄰域卷積

    翟正利,馮 舒,李鵬輝

    青島理工大學(xué) 信息與控制工程學(xué)院,山東 青島 266520

    隨著互聯(lián)網(wǎng)空間的多元發(fā)展,各類應(yīng)用的出現(xiàn)引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)。這些數(shù)據(jù)中蘊(yùn)含著豐富價(jià)值的同時(shí)也帶來了嚴(yán)重的“信息過載”問題。如何讓用戶精準(zhǔn)選擇自己所需的資源無疑是一個(gè)值得重視的問題。在此背景下,推薦技術(shù)是解決該問題的有效手段。推薦系統(tǒng)是基于歷史記錄分析用戶興趣,一方面為用戶提供他們可能感興趣的項(xiàng)目,另一方面讓信息能展現(xiàn)在對(duì)它感興趣的用戶中,從而實(shí)現(xiàn)信息提供商與用戶的雙贏。大多推薦技術(shù)都基于矩陣因式分解(matrix factorization,MF)模型[1]。MF 模型將用戶的歷史記錄視為用戶-項(xiàng)目交互矩陣,將用戶和項(xiàng)目描述為潛在空間中的潛在向量,未觀察到的評(píng)分估計(jì)描述為用戶潛在向量和項(xiàng)目潛在向量之間的內(nèi)積。受MF模型的啟發(fā),近年來出現(xiàn)了基于深度學(xué)習(xí)的推薦方法,包括協(xié)同過濾(collaborative filtering,CF)[2-3]、順序推薦[4-5]等并受到了廣泛關(guān)注。

    盡管上述方法取得了巨大成功,但由于其忽視鄰居信息從而限制了性能,鄰居信息既包括用戶可能感興趣的項(xiàng)目,也包括共享相似興趣的用戶[6]。圖嵌入方法可以很好地克服以上缺點(diǎn),通過將用戶-項(xiàng)目交互視為二部圖并將每個(gè)節(jié)點(diǎn)編碼為向量空間中的高維向量,從而將圖模型和分解模型組合在一起,能夠合并原始用戶-項(xiàng)目交互中不包括的高階鄰居連接。在各種圖嵌入技術(shù)中,圖卷積網(wǎng)絡(luò)(graph convolutional networks,GCN)通過定義圖卷積來處理非歐式空間數(shù)據(jù),如圖數(shù)據(jù)。如文獻(xiàn)[7]引入Chebyshev多項(xiàng)式來降低模型參數(shù),并對(duì)權(quán)重矩陣做歸一化處理,所得一階圖卷積網(wǎng)絡(luò)大大降低了計(jì)算復(fù)雜度。由于其有效性和實(shí)用性,GCN 在文章分類、社交網(wǎng)絡(luò)、化學(xué)等不同領(lǐng)域得到了廣泛的應(yīng)用[8]并成為了最受歡迎的推薦技術(shù)之一[9]。

    眾多模型實(shí)驗(yàn)結(jié)果表明:不合理的GCN 模型設(shè)計(jì)會(huì)增加訓(xùn)練復(fù)雜度并限制模型性能。首先,GCN 遞歸地聚合來自不同順序鄰域的消息,卻難以區(qū)分來自不同節(jié)點(diǎn)的混合消息,使提取關(guān)鍵信息和剔除無用信息變得困難。其次,來自不同階鄰域的鄰居消息都被壓縮為用于表示節(jié)點(diǎn)的固定長(zhǎng)度向量,表達(dá)圖結(jié)構(gòu)數(shù)據(jù)的能力尚有欠缺,可能導(dǎo)致在傳播過程中丟失重要信息。第三,多層堆疊會(huì)導(dǎo)致過平滑從而降低模型性能,因此當(dāng)前大多數(shù)GCN模型仍是淺層模型。過平滑問題準(zhǔn)確來說是連通分量中每個(gè)節(jié)點(diǎn)的特征都為所有節(jié)點(diǎn)特征的平均,即同一連通分量?jī)?nèi)的節(jié)點(diǎn)的表征趨向于收斂到同一個(gè)值。

    為解決上述協(xié)同過濾問題,提出一種基于改進(jìn)圖卷積網(wǎng)絡(luò)的推薦模型。首先,通過將消息從不同順序的鄰域中分離出來,分別匯總了來自不同階鄰域的鄰域消息,然后以分層方式將其表示為最終的節(jié)點(diǎn)表示形式。其次,通過隨機(jī)刪除交互圖的節(jié)點(diǎn)信息來減緩過平滑的收斂速度,并證明該策略還可有效防止過擬合。在三個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),并對(duì)不同設(shè)置進(jìn)行對(duì)比,證明所提模型的有效性。

    1 相關(guān)工作

    1.1 傳統(tǒng)方法

    現(xiàn)有處理用戶-項(xiàng)目交互的方法大致可分為兩類。

    第一類方法中,模型將<用戶、項(xiàng)目、評(píng)分>元組作為訓(xùn)練數(shù)據(jù)來建模用戶-項(xiàng)目關(guān)系。在這種類型中,MF模型最具代表性,但MF 僅是一個(gè)線性模型,不足以模擬復(fù)雜的用戶-項(xiàng)目關(guān)系并采用多層感知器來增加非線性關(guān)系。同樣,大多數(shù)基于圖嵌入的方法都屬于這一類。此外,很多方法忽略了用戶關(guān)注不同項(xiàng)目的不同方面這一事實(shí),為了解決這一問題,有關(guān)模型使用注意力機(jī)制動(dòng)態(tài)建模用戶感興趣的信息[10]??傊@類方法訓(xùn)練策略基本一致,不同之處在于用戶/項(xiàng)目的表示方式。

    第二類方法中,模型將用戶-項(xiàng)目融合。通常將用戶描述為他們與之交互的一組項(xiàng)目,并且基于目標(biāo)項(xiàng)目和目標(biāo)用戶所交互的項(xiàng)目之間的相似性來估計(jì)未觀察到的評(píng)分。早期的研究[11]使用馬爾科夫鏈模型或基于圖的方法使用深度隨機(jī)游走圖嵌入學(xué)習(xí)或來傳播用戶偏好,這在稀疏數(shù)據(jù)集上取得了很好的效果??傊?,在這類方法中側(cè)重于預(yù)測(cè)用戶的興趣,而不是簡(jiǎn)單地關(guān)注<用戶,項(xiàng)目>對(duì)。但是,由于缺乏模型參數(shù),這類模型性能并不夠理想。

    1.2 協(xié)同過濾

    給定用戶-項(xiàng)目評(píng)分矩陣R,協(xié)同過濾通常將用戶和項(xiàng)目都投影在相同的低維潛在空間中。然后,每個(gè)用戶對(duì)一個(gè)項(xiàng)目的預(yù)測(cè)偏好可以通過用戶的潛在向量和項(xiàng)目潛在向量在學(xué)習(xí)的低維空間中的相似性來衡量。在現(xiàn)實(shí)中,與顯示評(píng)分相比,用戶通過其行為(如點(diǎn)擊、添加到購物車或消費(fèi))含蓄地表達(dá)他們的反饋更為常見。貝葉斯個(gè)性化排序(Bayesian personalized ranking,BPR)是一種基于潛在因子的技術(shù),用于處理隱式反饋。BPR并沒有直接預(yù)測(cè)每個(gè)用戶的顯式評(píng)分,而是假設(shè)每個(gè)用戶之間的偏好行為相互獨(dú)立和同一用戶對(duì)不同物品的偏序相互獨(dú)立,在此基礎(chǔ)上對(duì)配對(duì)偏好進(jìn)行建模[12]。盡管性能相對(duì)較高,但由于數(shù)據(jù)稀疏性[13]及其引起的冷啟動(dòng)問題仍是此類協(xié)同過濾模型的性能障礙。

    1.3 基于GCN的推薦模型

    近年來,由于GCN 具有從非歐式空間學(xué)習(xí)表示的強(qiáng)大功能,其在推薦系統(tǒng)領(lǐng)域取得了很大的成功。GCN的主要思想是如何通過神經(jīng)網(wǎng)絡(luò)迭代地聚合來自局部鄰域的特征信息。例如,Ying等[14]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到推薦系統(tǒng)中,提出了一個(gè)數(shù)據(jù)高效的圖卷積神經(jīng)網(wǎng)絡(luò)算法PinSage,對(duì)商品節(jié)點(diǎn)產(chǎn)生嵌入表達(dá)。這些表達(dá)包含了圖結(jié)構(gòu)和節(jié)點(diǎn)特征信息,相比傳統(tǒng)的圖卷積方式,其提出了一個(gè)高效的隨機(jī)游走策略建模卷積,設(shè)計(jì)了一個(gè)新的訓(xùn)練策略,成功地將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到節(jié)點(diǎn)數(shù)為10 億級(jí)的超大規(guī)模推薦系統(tǒng)中。文獻(xiàn)[15]采用vanilla GCN進(jìn)行協(xié)同過濾,方法是堆疊多層以合并高階連接,節(jié)點(diǎn)表示是來自不同層的消息的串聯(lián)。文獻(xiàn)[16]利用Linear GCN 來減少模型的復(fù)雜性,并提出一種殘差學(xué)習(xí)策略來解決過平滑的問題。

    2 算法

    2.1 數(shù)據(jù)表示

    在推薦系統(tǒng)中,有兩組實(shí)體:用戶集U(|U|=M)和項(xiàng)目集V(|V|=N)。根據(jù)給定的用戶歷史評(píng)分信息構(gòu)建一個(gè)m×n階的用戶-項(xiàng)目評(píng)分矩陣R(m,n),相應(yīng)的二部圖為G=(V,E),包括 |V|=M+N個(gè)節(jié)點(diǎn)和 |E|條邊。用A表示G的鄰接矩陣,其中Aij表示節(jié)點(diǎn)i和節(jié)點(diǎn)j之間連接的狀態(tài),D是一個(gè)對(duì)角矩陣,表示第i個(gè)節(jié)點(diǎn)的度。每個(gè)用戶u被編碼為嵌入向量eu∈Rd,每個(gè)項(xiàng)目i被編碼為嵌入向量ei∈Rd,并且所有節(jié)點(diǎn)的嵌入向量構(gòu)成嵌入矩陣基于此提出一種GCN 的簡(jiǎn)單改進(jìn)模型,通過學(xué)習(xí)一個(gè)交互函數(shù)來解碼嵌入向量,可以將其表示為:

    給定模型參數(shù)θ,以及包括觀察到的交互(表示為R+)和未觀察到的交互(表示為R-)的交互圖G。關(guān)注隱式反饋,即G中的每條邊都具有相同的權(quán)重值。

    2.2 模型結(jié)構(gòu)

    為了解決前文所提GCN 設(shè)計(jì)的不合理問題,提出一種改進(jìn)的圖卷積網(wǎng)絡(luò)模型,拋棄了非線性激活,以層組合來表示最后的節(jié)點(diǎn),模型結(jié)構(gòu)如圖1所示。

    圖1 模型結(jié)構(gòu)Fig.1 Model structure

    GCN的基本思想是通過在圖上平滑特征來學(xué)習(xí)節(jié)點(diǎn)的表示。為了實(shí)現(xiàn)這一點(diǎn),迭代執(zhí)行圖上卷積操作,即將鄰居的特征聚合為目標(biāo)節(jié)點(diǎn)的新表示。這種鄰居聚集可以抽象為:

    AGG是一個(gè)聚合函數(shù),是圖數(shù)據(jù)卷積的核心,考慮第k層對(duì)目標(biāo)節(jié)點(diǎn)及其鄰居節(jié)點(diǎn)的表示。很多工作已經(jīng)指定了AGG,如GraphSAGE[17]中的LSTM 聚合器等。然而,大部分工作都將特征變換或非線性激活與AGG函數(shù)聯(lián)系起來。盡管它們?cè)诰哂姓Z義輸入特性的節(jié)點(diǎn)或圖分類任務(wù)上表現(xiàn)良好,但對(duì)于協(xié)同過濾來說,訓(xùn)練難度依然很復(fù)雜。

    文獻(xiàn)[18]指出非線性變換在一階圖卷積神經(jīng)網(wǎng)絡(luò)中無足輕重,使GCN 發(fā)揮作用的是每一層的特征傳播機(jī)制?;诖?,考慮刪除每層之間的非線性轉(zhuǎn)換函數(shù)(如ReLU),只保留最終的softmax(以獲得概率輸出)。得到的模型是線性的,如下所示:

    將非線性的GCN 轉(zhuǎn)變?yōu)楹?jiǎn)單地線性模型,減小了模型及其計(jì)算復(fù)雜度,在很多任務(wù)上比GCN 以及其他GNN模型更加高效。本文模型傳播規(guī)則如下:

    給定初始狀態(tài)H(0),生成包含不同階鄰域的節(jié)點(diǎn)嵌入,其中,H(0)=P,用Adrop代替,Wk是線性變換參數(shù)。上述公式考慮矩陣形式的更新,當(dāng)考慮每個(gè)用戶u和項(xiàng)目i時(shí),它等效于以下公式:

    其中,是的系數(shù),≠0 表示沒有被丟棄的邊連接。當(dāng)k=1 時(shí),可以看出,傳播規(guī)則選擇將不同階鄰域的節(jié)點(diǎn)嵌入直接輸出到最終層,這樣可以防止來自不同階鄰域的消息混淆,還可以降低過平滑對(duì)模型性能的影響。

    在獲得來自不同鄰域的節(jié)點(diǎn)嵌入之后,使用聚合函數(shù)將它們聚合在一起。

    在模型中,選擇使用級(jí)聯(lián)函數(shù)來生成最終的節(jié)點(diǎn)表示,因?yàn)樗鼓P湍軌蛞苑謱拥姆绞奖硎静煌A鄰域的特征。最后,用戶u與項(xiàng)目i之間的交互預(yù)測(cè)如下:

    其中,Zu和Zi是來自Z的相應(yīng)節(jié)點(diǎn)向量。

    2.3 模型分析

    為了防止模型過擬合,常見的處理方式為Dropout,其核心思想是在每一層以一定比例隨機(jī)丟棄神經(jīng)元。盡管直接將Dropout 用于GCN 并不能阻止過擬合或過平滑,但是將該想法遷移至本文的模型中提升了模型性能。使用一種稱為節(jié)點(diǎn)Dropout 的去噪訓(xùn)練機(jī)制,在模型隱藏層階段,以概率Pdropout隨機(jī)屏蔽或丟棄某些節(jié)點(diǎn)。經(jīng)實(shí)驗(yàn)驗(yàn)證,節(jié)點(diǎn)Dropout 的操作可以使得編碼過程對(duì)于特定用戶或者物品得影響更具獨(dú)立性。

    GCN 每個(gè)節(jié)點(diǎn)都有豐富的屬性作為輸入特征,而在CF的用戶-項(xiàng)目交互圖中,每個(gè)節(jié)點(diǎn)(用戶或項(xiàng)目)只由一個(gè)除了作為標(biāo)識(shí)符之外,沒有具體語義的one-hot表示的ID描述。在這種情況下,給定ID嵌入作為輸入,執(zhí)行多層非線性會(huì)增加模型訓(xùn)練的難度。為了克服傳統(tǒng)協(xié)同過濾模型在特征表示能力上的缺陷,本文模型使用GCN 最基本的組成部分-鄰域聚合來用于協(xié)同過濾。具體地說,在將每個(gè)用戶(項(xiàng)目)與ID 嵌入關(guān)聯(lián)之后,在用戶-項(xiàng)目交互圖上傳播嵌入以改進(jìn)它們。然后將不同傳播層的嵌入信息分層組合,得到最終的預(yù)測(cè)嵌入信息,同時(shí)對(duì)節(jié)點(diǎn)特征信息與結(jié)構(gòu)信息進(jìn)行端對(duì)端學(xué)習(xí),使模型的特征編碼輸出對(duì)協(xié)同過濾過程的預(yù)測(cè)結(jié)果有所提升。

    Seq2seq是用于序列學(xué)習(xí)的編碼器-解碼器模型,通過引入注意力機(jī)制,將輸入序列的所有隱藏狀態(tài)匯總為上下文向量。受到注意力機(jī)制如何改善Seq2seq 的啟發(fā),類似地,GCN 模型中鄰居消息不可區(qū)分地混合,并通過固定長(zhǎng)度向量遞歸傳輸以生成節(jié)點(diǎn)表示的問題。通過累積來自不同鄰域的消息而不混淆它們來解決此問題,初始狀態(tài)H(0)通常由所有節(jié)點(diǎn)的節(jié)點(diǎn)特征向量組成,通過疊加多層,將來自不同高階鄰域的節(jié)點(diǎn)信息聚合到目標(biāo)節(jié)點(diǎn),因此目標(biāo)節(jié)點(diǎn)信息可以清楚反映來自不同鄰域的貢獻(xiàn)能力,實(shí)驗(yàn)結(jié)果證明模型性能有所提升。

    3 實(shí)驗(yàn)

    3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

    基于Intel?Xeon?W-2133處理器,NVIDIA GeForce GTX 1080 Ti GPU,實(shí)驗(yàn)環(huán)境以TensorFlow 為后端的Keras 開源框架進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練和測(cè)試。在Book-Crossings、Jester、Movielens 這三個(gè)協(xié)同過濾基準(zhǔn)數(shù)據(jù)集上實(shí)驗(yàn)來評(píng)估模型。Book-Crossings 是一個(gè)圖書評(píng)分?jǐn)?shù)據(jù)集。包含90 000 個(gè)用戶的270 000 本書的110 萬個(gè)評(píng)分。評(píng)分范圍從1 到10,包括顯式和隱式的評(píng)分。Movielens是推薦系統(tǒng)領(lǐng)域非常經(jīng)典的數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包含電影評(píng)級(jí),由于它是一個(gè)顯式反饋數(shù)據(jù)集,將其評(píng)級(jí)轉(zhuǎn)換為隱式反饋。Jester 數(shù)據(jù)集中,評(píng)分由互聯(lián)網(wǎng)上的用戶提供。與其他數(shù)據(jù)集相比,Jester 有兩個(gè)方面特殊:它使用-10 到10 的連續(xù)等級(jí),并且在量級(jí)上具有最高的評(píng)分密度。這三個(gè)數(shù)據(jù)集特性不同,Book-Crossings數(shù)據(jù)集評(píng)分最少,極為稀疏,Jester數(shù)據(jù)集密度較大,Movielens數(shù)據(jù)集各方面相對(duì)均衡。

    3.2 評(píng)價(jià)指標(biāo)

    為了評(píng)估top-k性能(從最后的按得分排序的推薦列表中返回前k個(gè)結(jié)果)。采用了用于個(gè)性化排名任務(wù)的評(píng)估指標(biāo):NDCG@k。NDCG 通過將最高分分配給排名最高的項(xiàng)目,從而將重點(diǎn)更多地放在測(cè)試集中出現(xiàn)項(xiàng)目的位置。平均NDCG的值如下:

    3.3 參數(shù)設(shè)置

    損失函數(shù)(BPR損失函數(shù)):

    其中,T={(u,i,j)|(u,i)∈R+,(u,j)∈R+} ,θ是可訓(xùn)練參數(shù),θ={{w(1)w(2)…w(k)},P} ,λ是防止過擬合的正則化參數(shù),σ(· )是sigmod 函數(shù)。與point-wise 類損失函數(shù)不同,BPR 損失函數(shù)更多地關(guān)注個(gè)性化排名,該排名假設(shè)觀察到的交互比未觀察到的交互表現(xiàn)出更高的偏好,并注意每個(gè)訓(xùn)練對(duì)是從訓(xùn)練數(shù)據(jù)集T隨機(jī)生成。

    訓(xùn)練網(wǎng)絡(luò)使用Xavier 初始化,采用Adam 優(yōu)化器對(duì)損失函數(shù)進(jìn)行優(yōu)化,初始的學(xué)習(xí)率設(shè)為0.01,設(shè)置其范圍為0.001~0.01,batch size 設(shè)置為64,正則化參數(shù)設(shè)置為0.001。選擇80%的用戶-項(xiàng)目對(duì)用于訓(xùn)練數(shù)據(jù),20%用于測(cè)試。

    3.4 模型算法對(duì)比

    本節(jié)主要是為了回答以下幾個(gè)問題:

    Q1:模型是否在推薦效果上優(yōu)于目前主流的推薦模型?

    Q2:控制過平滑和圖結(jié)構(gòu)完整性之間是否存在平衡點(diǎn)?

    Q3:如何設(shè)置網(wǎng)絡(luò)層數(shù)可以使模型最優(yōu)?

    為驗(yàn)證提出的改進(jìn)模型對(duì)推薦模型性能的提升,選取了5 個(gè)近年流行且取得較好推薦結(jié)果的算法進(jìn)行對(duì)比。BRP是一個(gè)穩(wěn)定的方法,文獻(xiàn)[19]提出貝葉斯成對(duì)損失函數(shù)以從隱式反饋中學(xué)習(xí)。Neurec[20]是一個(gè)基于深度學(xué)習(xí)的模型,該模型采用MLP 來學(xué)習(xí)用戶與項(xiàng)目之間的非線性關(guān)系。GC-MC[21]是一個(gè)基于GCN 的模型,最初專注于顯式反饋,使用不同的權(quán)重矩陣來解碼不同類型的邊緣。由于專注于將每個(gè)邊緣都視為相同的隱式反饋,因此可以將其簡(jiǎn)單地視為一層GCN 模型。NGCF[22]:是基于GCN的最新模型。LR-GCCF[23]模型提出了一種殘差網(wǎng)絡(luò)結(jié)構(gòu)來解決過平滑的問題。Baselines 及本文模型總結(jié)在表1 中(其中k={10,20},最佳性能粗體突出顯示,最佳基線下劃線突出顯示)。

    表1 NDCG@k 的總體比較Table 1 Overall comparison of NDCG@k

    通過結(jié)果對(duì)比可知,對(duì)于NDCG@20,在Book-Crossing、Jester、Movielens 數(shù)據(jù)集上本文模型相比性能最好的模型分別提升了18.44%、5.61%、3.11%。這說明本文模型在稀疏數(shù)據(jù)集上獲得了更好的性能,與基于GCN 方法的上述分析一致。而基于MF 的方法往往在稠密數(shù)據(jù)集上實(shí)現(xiàn)更好的性能??梢酝茰y(cè),在稠密數(shù)據(jù)集上,有足夠的交互信息來描述用戶偏好,鄰域消息是多余的而引入了無用信息。但基于MF 的方法無法解決稀疏數(shù)據(jù)集上缺少交互的問題,但基于GCN的方法通過在鄰域消息中補(bǔ)充原始內(nèi)容來解決此問題。在基于GCN 的方法中,一階的GCMC 在Jester 上表現(xiàn)更好,而考慮到高階鄰域的NGCF和LR-GCCF在Book-Crossing上表現(xiàn)出比Jester稀疏的優(yōu)越性能。這表明高階鄰居消息并不總能帶來更好的結(jié)果。原因是很難將有用消息與大量冗余消息區(qū)分。

    是否在過平滑和過擬合的約束與圖形結(jié)構(gòu)的完整性之間存在平衡。經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)該平衡點(diǎn)確實(shí)存在,并與兩個(gè)因素有關(guān):收斂速度和網(wǎng)絡(luò)層數(shù)。根據(jù)圖2所示的收斂速度(x軸是A^(k)中的k,y軸表示收斂比),可以看到Movielens 的收斂速度最快??梢酝茰y(cè),對(duì)于那些具有更嚴(yán)重的過平滑問題(收斂速度快)的數(shù)據(jù)集,最佳drop ratio往往很大(drop ratio是1-p)。同時(shí),從圖3 中看出網(wǎng)絡(luò)層數(shù)增加可能會(huì)導(dǎo)致模型性能下降。以Book-Crossing 為例,性能首先得到了提高,其中逐層噪聲很好地包含了過平滑和過擬合。該模型在k=3 時(shí)性能最大化,然后開始下降,由于分層噪聲與鄰居消息一起向前傳輸,其中累積的逐層噪聲妨礙了要精確傳輸?shù)南亩档托阅?。在Movielens 及Jester 上也顯示了類似的趨勢(shì)。因?yàn)樵黾拥膶又灰肓艘寻南?,這導(dǎo)致了過擬合,這也是目前基于GCN 的模型仍然很淺的一個(gè)主要原因。

    圖2 三個(gè)數(shù)據(jù)集上的收斂速度Fig.2 Convergence rate on three data sets

    圖3 下降比在NDCG@10方面的影響Fig.3 Impact of drop ratio on NDCG@10

    為了驗(yàn)證在每一層隨機(jī)丟棄節(jié)點(diǎn)是否有助于提高模型性能,將模型與不隨機(jī)丟棄(no-drop)的模型進(jìn)行了比較。如圖4 所示(X軸是網(wǎng)絡(luò)層數(shù),“drop”表示隨機(jī)丟棄節(jié)點(diǎn)的模型;“no-drop”表示無隨機(jī)丟棄節(jié)點(diǎn)的模型)。結(jié)果顯示“drop”模型性能優(yōu)于“no-drop”,這說明:首先,考慮在高階鄰域的模型的改進(jìn)驗(yàn)證了模型能夠很好地緩解過平滑和過擬合的問題;其次,當(dāng)僅考慮一階時(shí),模型與“no-drop”模型相比性能也更好,證明了子圖訓(xùn)練策略的有效性。

    圖4 按NDCG@20計(jì)算的分層噪聲的影響Fig.4 Impact of layered noise calculated by NDCG@20

    為了研究網(wǎng)絡(luò)層數(shù)如何影響性能,設(shè)置k=1,2,3,4,5。實(shí)驗(yàn)結(jié)果顯示在表2 中,很明顯高階鄰域大大提高了模型性能。例如,在三個(gè)數(shù)據(jù)集上,性能最佳的模型分別比僅具有一階鄰域的模型好13.9%、9.3%、2.85%。另一方面,可以看出當(dāng)不斷增加模型的層數(shù)時(shí),性能在下降。原因在于GCN的最佳層數(shù)與鄰居矩陣A^的稀疏程度有關(guān),當(dāng)圖的稀疏度較低時(shí),很快會(huì)出現(xiàn)過平滑現(xiàn)象。眾多實(shí)驗(yàn)表明,GCN通常在2~3層就可使模型取得不錯(cuò)的效果,隨著網(wǎng)絡(luò)層數(shù)的增加,除去過擬合,梯度消失等司空見慣的問題外,過平滑會(huì)影響模型性能。GCN 可以看作是一個(gè)低通濾波器[24]這種特性會(huì)造成信號(hào)變得更加平滑,這是GCN的內(nèi)在優(yōu)勢(shì),然而多次進(jìn)行這種信號(hào)平滑操作會(huì)使得信號(hào)趨于一致,這就喪失了節(jié)點(diǎn)特征的多樣性。從節(jié)點(diǎn)角度具體來說,GCN 節(jié)點(diǎn)的領(lǐng)域聚合被證明其實(shí)是Laplacian smooth的一種特殊形式,迭代地執(zhí)行Laplacian smooth 自然導(dǎo)致節(jié)點(diǎn)層面的過平滑。根據(jù)以上論證,模型層數(shù)過深會(huì)導(dǎo)致過平滑使性能下降。另一方面是由于網(wǎng)絡(luò)上傳輸和累積層級(jí)噪聲的原因。即k+1 層從{1,2,…,k}層中獲取分層噪聲,這意味著來自高階鄰域的消息比來自低階鄰域的消息遭受的噪聲更大。更重要的是,當(dāng)鄰居開始收斂時(shí),幾乎包含了圖中的所有節(jié)點(diǎn),不斷增加的鄰居消息不會(huì)引入新信息,這只會(huì)導(dǎo)致過擬合并增加訓(xùn)練難度。

    表2 模型在不同層k 的性能Table 2 Performance of model at different layers k

    4 結(jié)束語

    推薦系統(tǒng)由于其商業(yè)價(jià)值受到了越來越高的重視。目前,圖卷積神經(jīng)網(wǎng)絡(luò)發(fā)展迅速,越來越多的推薦模型將圖卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的推薦算法進(jìn)行了結(jié)合,用于解決數(shù)據(jù)稀疏、推薦排序等問題,圖卷積神經(jīng)網(wǎng)絡(luò)和推薦系統(tǒng)的結(jié)合將是推薦系統(tǒng)未來的主要研究方向。在本文中推薦模型的研究,提出了一種基于圖卷積網(wǎng)絡(luò)的協(xié)同過濾的分層網(wǎng)絡(luò),旨在解決協(xié)同過濾在推薦模型中存在的問題。首先提出了一種通過在每一層隨機(jī)丟棄節(jié)點(diǎn)消息來實(shí)現(xiàn)過平滑和過擬合的解決方案,該思想與Dropout 有相似之處。然后,通過分別聚集來自不同順序鄰域的節(jié)點(diǎn)消息來構(gòu)建分層模型,這避免了無法區(qū)分它們。在三個(gè)數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn),以評(píng)估提出的模型的性能。實(shí)驗(yàn)結(jié)果驗(yàn)證了模型的有效性。在之后的研究中,嘗試以合理有效的方式提升模型的泛化能力使之能有更大的應(yīng)用空間,以更好地理解用戶的偏好并提供可靠的建議。

    猜你喜歡
    集上鄰域卷積
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    Cookie-Cutter集上的Gibbs測(cè)度
    稀疏圖平方圖的染色數(shù)上界
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于鄰域競(jìng)賽的多目標(biāo)優(yōu)化算法
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    復(fù)扇形指標(biāo)集上的分布混沌
    關(guān)于-型鄰域空間
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
    欧美性感艳星| 国产精品熟女久久久久浪| 久久国内精品自在自线图片| 久久久久久久国产电影| 精品少妇黑人巨大在线播放 | 亚洲精品影视一区二区三区av| 精品无人区乱码1区二区| 国产高清三级在线| 精品一区二区三区人妻视频| 黄片wwwwww| or卡值多少钱| 51国产日韩欧美| 精品久久久噜噜| 成年版毛片免费区| 热99在线观看视频| 91精品伊人久久大香线蕉| 国产视频内射| 亚洲,欧美,日韩| 午夜福利在线在线| 欧美性猛交╳xxx乱大交人| 成人av在线播放网站| 国产一区有黄有色的免费视频 | 国产精品一区二区性色av| 亚洲国产精品专区欧美| 18禁裸乳无遮挡免费网站照片| 国产91av在线免费观看| h日本视频在线播放| 91av网一区二区| 99九九线精品视频在线观看视频| 99热这里只有是精品在线观看| 亚洲丝袜综合中文字幕| 亚洲精品乱码久久久久久按摩| 免费不卡的大黄色大毛片视频在线观看 | 亚洲国产欧美人成| 熟女人妻精品中文字幕| 国产精品国产三级国产专区5o | 国产男人的电影天堂91| 日日撸夜夜添| 男女边吃奶边做爰视频| 中国国产av一级| 国产高清有码在线观看视频| 一级毛片我不卡| 国产精品一区www在线观看| 国产69精品久久久久777片| 直男gayav资源| 欧美变态另类bdsm刘玥| 少妇熟女aⅴ在线视频| 日本-黄色视频高清免费观看| av在线观看视频网站免费| 精品久久久久久电影网 | 精品99又大又爽又粗少妇毛片| 日韩国内少妇激情av| 人人妻人人澡欧美一区二区| av在线播放精品| 婷婷色av中文字幕| 看十八女毛片水多多多| av免费在线看不卡| 国产精品久久久久久精品电影小说 | 亚洲精品,欧美精品| or卡值多少钱| 成人亚洲精品av一区二区| 大香蕉久久网| 日韩中字成人| 18禁裸乳无遮挡免费网站照片| 中文在线观看免费www的网站| 夫妻性生交免费视频一级片| 亚洲综合色惰| 99在线视频只有这里精品首页| 国产成人精品一,二区| av.在线天堂| 色吧在线观看| 成人av在线播放网站| 国产激情偷乱视频一区二区| 亚洲精品,欧美精品| 深爱激情五月婷婷| 国产久久久一区二区三区| 三级经典国产精品| 99久久精品热视频| 国内精品宾馆在线| 日韩在线高清观看一区二区三区| 村上凉子中文字幕在线| av视频在线观看入口| 精品久久久久久成人av| 欧美三级亚洲精品| 成人特级av手机在线观看| 麻豆乱淫一区二区| 精品酒店卫生间| 99久久精品热视频| av卡一久久| 99热这里只有精品一区| 人妻制服诱惑在线中文字幕| 九九久久精品国产亚洲av麻豆| 国产黄片视频在线免费观看| 久久精品国产亚洲av天美| 看免费成人av毛片| 成人国产麻豆网| av卡一久久| 老司机福利观看| 亚洲性久久影院| 在线观看av片永久免费下载| 亚洲av电影在线观看一区二区三区 | 18禁裸乳无遮挡免费网站照片| 亚洲精华国产精华液的使用体验| 久久久久久久久久久丰满| 国产麻豆成人av免费视频| av国产久精品久网站免费入址| 搞女人的毛片| 色网站视频免费| 亚洲中文字幕日韩| 男人舔奶头视频| 日韩中字成人| 久久婷婷人人爽人人干人人爱| 国产精品三级大全| 一二三四中文在线观看免费高清| 人妻少妇偷人精品九色| 久久99热6这里只有精品| 建设人人有责人人尽责人人享有的 | 精品酒店卫生间| 成人三级黄色视频| 亚洲av熟女| 国产精品久久久久久久久免| 看免费成人av毛片| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产伦在线观看视频一区| 汤姆久久久久久久影院中文字幕 | 少妇丰满av| 国产高清有码在线观看视频| 别揉我奶头 嗯啊视频| 人人妻人人澡人人爽人人夜夜 | 97在线视频观看| 日本黄色片子视频| 亚洲av二区三区四区| 免费电影在线观看免费观看| 国产精品国产三级国产专区5o | 久久久色成人| 久久久欧美国产精品| 成人三级黄色视频| 亚洲av免费高清在线观看| 小蜜桃在线观看免费完整版高清| www日本黄色视频网| 一级毛片我不卡| 亚洲丝袜综合中文字幕| 午夜a级毛片| 18禁裸乳无遮挡免费网站照片| 国产淫语在线视频| 五月伊人婷婷丁香| 一夜夜www| 欧美一区二区亚洲| 精品熟女少妇av免费看| 亚洲av中文av极速乱| 国产精品国产三级国产av玫瑰| 成人漫画全彩无遮挡| 一本一本综合久久| 成人三级黄色视频| 精品久久国产蜜桃| 亚洲欧美清纯卡通| 日本三级黄在线观看| 久久久久免费精品人妻一区二区| 身体一侧抽搐| 黑人高潮一二区| 丰满少妇做爰视频| 国产久久久一区二区三区| 久久久久久久久久成人| 日韩av在线免费看完整版不卡| 国产私拍福利视频在线观看| 女人十人毛片免费观看3o分钟| 1024手机看黄色片| 黑人高潮一二区| 亚洲aⅴ乱码一区二区在线播放| 久久久色成人| 男人狂女人下面高潮的视频| 欧美潮喷喷水| 人体艺术视频欧美日本| 精品人妻视频免费看| 久久久精品欧美日韩精品| 欧美色视频一区免费| 国产精品麻豆人妻色哟哟久久 | 亚洲成av人片在线播放无| 中文天堂在线官网| 99在线人妻在线中文字幕| 久久国内精品自在自线图片| 尤物成人国产欧美一区二区三区| h日本视频在线播放| 亚洲美女视频黄频| 狠狠狠狠99中文字幕| 建设人人有责人人尽责人人享有的 | 国产 一区精品| 一区二区三区免费毛片| 久久久久久久久久成人| 日本猛色少妇xxxxx猛交久久| 国产视频内射| 1000部很黄的大片| 亚洲高清免费不卡视频| 国产精品野战在线观看| www日本黄色视频网| 亚洲av免费高清在线观看| 日韩成人伦理影院| 国产av不卡久久| 婷婷色av中文字幕| 日韩人妻高清精品专区| 国模一区二区三区四区视频| 一个人看视频在线观看www免费| 日日撸夜夜添| 国产精品久久久久久久久免| 日韩精品青青久久久久久| 91精品伊人久久大香线蕉| 国产精品野战在线观看| 亚洲一级一片aⅴ在线观看| a级毛色黄片| 在线观看66精品国产| 国产精品爽爽va在线观看网站| 亚洲久久久久久中文字幕| 1000部很黄的大片| 亚洲国产最新在线播放| 少妇熟女aⅴ在线视频| 又粗又硬又长又爽又黄的视频| 成人鲁丝片一二三区免费| 你懂的网址亚洲精品在线观看 | 欧美最新免费一区二区三区| or卡值多少钱| 日韩欧美国产在线观看| 最新中文字幕久久久久| 精品人妻熟女av久视频| 精品熟女少妇av免费看| 国产精品久久久久久av不卡| 精品一区二区三区视频在线| 黄色配什么色好看| 日韩强制内射视频| 亚洲三级黄色毛片| 免费av毛片视频| 久久久久性生活片| 午夜福利网站1000一区二区三区| 97热精品久久久久久| 国产精品不卡视频一区二区| 国产精品一区二区三区四区久久| 色尼玛亚洲综合影院| 久久欧美精品欧美久久欧美| 精品欧美国产一区二区三| 成人高潮视频无遮挡免费网站| 有码 亚洲区| av线在线观看网站| 看非洲黑人一级黄片| 亚洲欧美中文字幕日韩二区| 在线天堂最新版资源| 国产精品女同一区二区软件| 赤兔流量卡办理| 99久久中文字幕三级久久日本| 婷婷色av中文字幕| 国产极品天堂在线| 国产精品嫩草影院av在线观看| 九草在线视频观看| 视频中文字幕在线观看| 久久久久久久久中文| 99热网站在线观看| 欧美成人午夜免费资源| 日本午夜av视频| 成人av在线播放网站| 三级男女做爰猛烈吃奶摸视频| 偷拍熟女少妇极品色| 中文字幕久久专区| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 一夜夜www| av专区在线播放| 精品久久久久久电影网 | 亚洲av.av天堂| 亚洲精品456在线播放app| 男的添女的下面高潮视频| 欧美成人a在线观看| 国产午夜精品论理片| 亚洲国产欧洲综合997久久,| 老师上课跳d突然被开到最大视频| 久久99蜜桃精品久久| 中文乱码字字幕精品一区二区三区 | 免费观看在线日韩| 国产高清有码在线观看视频| 特级一级黄色大片| 听说在线观看完整版免费高清| 国产 一区 欧美 日韩| 91av网一区二区| 免费黄色在线免费观看| 人妻夜夜爽99麻豆av| av国产久精品久网站免费入址| 日韩国内少妇激情av| 久久久久久大精品| 美女被艹到高潮喷水动态| 我的女老师完整版在线观看| 成人鲁丝片一二三区免费| 大香蕉久久网| 尾随美女入室| 午夜免费男女啪啪视频观看| 国产乱人视频| 18禁在线播放成人免费| 午夜精品国产一区二区电影 | 精品久久国产蜜桃| 欧美丝袜亚洲另类| 看免费成人av毛片| 美女国产视频在线观看| 午夜爱爱视频在线播放| 国产精品不卡视频一区二区| 看非洲黑人一级黄片| 午夜免费激情av| 亚洲av中文字字幕乱码综合| 国产真实伦视频高清在线观看| 精品久久久久久久末码| 少妇的逼水好多| 亚洲18禁久久av| 日本三级黄在线观看| av免费观看日本| 非洲黑人性xxxx精品又粗又长| 国产免费一级a男人的天堂| 一边摸一边抽搐一进一小说| 三级男女做爰猛烈吃奶摸视频| 日日干狠狠操夜夜爽| av在线亚洲专区| a级毛片免费高清观看在线播放| 国产一区有黄有色的免费视频 | 色综合站精品国产| 亚洲av中文字字幕乱码综合| 长腿黑丝高跟| 夜夜爽夜夜爽视频| 国产高清视频在线观看网站| 日韩视频在线欧美| 99在线人妻在线中文字幕| 又黄又爽又刺激的免费视频.| 九九久久精品国产亚洲av麻豆| 女的被弄到高潮叫床怎么办| 少妇人妻一区二区三区视频| 极品教师在线视频| 91av网一区二区| 日本黄色片子视频| 国产真实伦视频高清在线观看| 人妻系列 视频| 亚洲精品乱码久久久久久按摩| 久久久国产成人免费| 亚洲第一区二区三区不卡| 最后的刺客免费高清国语| 波野结衣二区三区在线| 欧美xxxx黑人xx丫x性爽| 免费无遮挡裸体视频| 91在线精品国自产拍蜜月| 欧美+日韩+精品| 亚洲av电影在线观看一区二区三区 | av女优亚洲男人天堂| 国产成人精品久久久久久| 一边摸一边抽搐一进一小说| 熟女电影av网| 亚洲av免费高清在线观看| 日本黄色视频三级网站网址| 国产精品嫩草影院av在线观看| 夜夜看夜夜爽夜夜摸| 性色avwww在线观看| 亚洲av二区三区四区| 99久久无色码亚洲精品果冻| 一个人看的www免费观看视频| 亚洲aⅴ乱码一区二区在线播放| 亚洲最大成人中文| 亚洲国产精品成人综合色| 不卡视频在线观看欧美| 国产高清有码在线观看视频| 免费无遮挡裸体视频| 免费搜索国产男女视频| 国产高清不卡午夜福利| 男人的好看免费观看在线视频| 欧美日韩综合久久久久久| 狠狠狠狠99中文字幕| 成人综合一区亚洲| 老女人水多毛片| 免费av不卡在线播放| 国产av不卡久久| 久热久热在线精品观看| 国产免费福利视频在线观看| 观看美女的网站| 日本一本二区三区精品| av在线观看视频网站免费| 好男人在线观看高清免费视频| 波多野结衣巨乳人妻| 亚洲欧洲国产日韩| 日韩 亚洲 欧美在线| 国产午夜精品论理片| 草草在线视频免费看| 人妻少妇偷人精品九色| 免费无遮挡裸体视频| 91久久精品国产一区二区三区| 精品久久久久久久久久久久久| 午夜日本视频在线| 大香蕉97超碰在线| 精品欧美国产一区二区三| 久久久久久久久久成人| 国产男人的电影天堂91| 99热这里只有精品一区| 波多野结衣高清无吗| 最近手机中文字幕大全| 欧美激情国产日韩精品一区| 亚洲熟妇中文字幕五十中出| 亚洲人成网站在线播| 国产三级在线视频| 国产老妇伦熟女老妇高清| 波野结衣二区三区在线| 在线观看美女被高潮喷水网站| 啦啦啦韩国在线观看视频| 九九久久精品国产亚洲av麻豆| 又爽又黄无遮挡网站| 午夜福利高清视频| 超碰av人人做人人爽久久| 久久午夜福利片| 亚洲欧美成人精品一区二区| 欧美精品国产亚洲| 国产色婷婷99| 男女啪啪激烈高潮av片| 精品欧美国产一区二区三| 全区人妻精品视频| 毛片一级片免费看久久久久| 免费看光身美女| 国产精品日韩av在线免费观看| 亚洲天堂国产精品一区在线| 日本色播在线视频| 精品一区二区三区视频在线| 国产一级毛片七仙女欲春2| 一区二区三区四区激情视频| 精品久久久噜噜| 日本午夜av视频| 日韩 亚洲 欧美在线| 精品不卡国产一区二区三区| 一级二级三级毛片免费看| 亚洲在线观看片| 国产精品av视频在线免费观看| 国产黄色视频一区二区在线观看 | 蜜臀久久99精品久久宅男| 日韩av在线大香蕉| 日韩欧美在线乱码| 国产一区亚洲一区在线观看| 亚洲欧美精品综合久久99| 两个人的视频大全免费| 99国产精品一区二区蜜桃av| 国产欧美日韩精品一区二区| 精品国产三级普通话版| 日韩 亚洲 欧美在线| 精品国产一区二区三区久久久樱花 | 看片在线看免费视频| 亚洲av.av天堂| 麻豆精品久久久久久蜜桃| 国产精品.久久久| 国产精品永久免费网站| 最近中文字幕2019免费版| 综合色av麻豆| 国产精品永久免费网站| 麻豆久久精品国产亚洲av| av视频在线观看入口| 国产伦精品一区二区三区四那| 婷婷六月久久综合丁香| 国产乱来视频区| 成人亚洲欧美一区二区av| 欧美性猛交黑人性爽| 中文在线观看免费www的网站| 自拍偷自拍亚洲精品老妇| 性色avwww在线观看| 国产伦在线观看视频一区| 亚洲av免费在线观看| 日本黄色片子视频| 永久网站在线| 国产黄片视频在线免费观看| 中文在线观看免费www的网站| 久久久久久九九精品二区国产| 美女内射精品一级片tv| av在线亚洲专区| 国产欧美另类精品又又久久亚洲欧美| a级毛色黄片| 高清午夜精品一区二区三区| 欧美性猛交╳xxx乱大交人| 国产又黄又爽又无遮挡在线| 亚洲欧洲国产日韩| 国产精品久久久久久久久免| 男人舔奶头视频| 亚洲高清免费不卡视频| 亚洲无线观看免费| 亚洲18禁久久av| 中文字幕免费在线视频6| 日韩人妻高清精品专区| videossex国产| 国产成人a区在线观看| 国产精品国产三级专区第一集| 天天躁日日操中文字幕| 青春草视频在线免费观看| 在线观看一区二区三区| 99热全是精品| 最近中文字幕2019免费版| 亚洲欧洲日产国产| 国产在视频线在精品| 久久国产乱子免费精品| 国产精品美女特级片免费视频播放器| 亚洲成人av在线免费| 偷拍熟女少妇极品色| 99热精品在线国产| 日韩制服骚丝袜av| 最近2019中文字幕mv第一页| 日本免费在线观看一区| 女人十人毛片免费观看3o分钟| 免费人成在线观看视频色| 亚洲av成人精品一二三区| 国产精品国产三级国产专区5o | 亚洲最大成人手机在线| 黄色日韩在线| 欧美zozozo另类| 日韩欧美在线乱码| 日日撸夜夜添| 久久久久久久国产电影| 欧美日韩综合久久久久久| 一个人免费在线观看电影| 精品久久久久久久人妻蜜臀av| 又粗又硬又长又爽又黄的视频| 国产综合懂色| 国产精品无大码| 99热6这里只有精品| 日韩欧美 国产精品| 亚洲综合精品二区| kizo精华| 久久精品久久久久久噜噜老黄 | 亚洲精品自拍成人| 简卡轻食公司| 大话2 男鬼变身卡| 春色校园在线视频观看| 国产老妇女一区| 国模一区二区三区四区视频| 亚洲国产精品合色在线| 中国国产av一级| 小蜜桃在线观看免费完整版高清| 日本猛色少妇xxxxx猛交久久| 久久久精品大字幕| 午夜a级毛片| 国产精品伦人一区二区| 久久国产乱子免费精品| 少妇熟女欧美另类| 身体一侧抽搐| 亚洲最大成人手机在线| 色网站视频免费| 国产色婷婷99| 日本午夜av视频| 免费观看的影片在线观看| 亚洲av二区三区四区| 久久6这里有精品| 久久久久久久久久成人| 搡老妇女老女人老熟妇| 人人妻人人看人人澡| 国产精品三级大全| 免费观看精品视频网站| 国产成人精品婷婷| 真实男女啪啪啪动态图| 国产精品国产三级国产av玫瑰| 高清毛片免费看| 美女国产视频在线观看| 久久久久久久久久久丰满| 3wmmmm亚洲av在线观看| 中文字幕制服av| 日本色播在线视频| 中文字幕免费在线视频6| 成人国产麻豆网| 又爽又黄a免费视频| 亚洲av.av天堂| 精品久久久久久成人av| 婷婷色综合大香蕉| 久久草成人影院| 3wmmmm亚洲av在线观看| 一卡2卡三卡四卡精品乱码亚洲| 黄片wwwwww| 99热这里只有精品一区| 精品国产三级普通话版| 高清毛片免费看| 亚洲怡红院男人天堂| 中文在线观看免费www的网站| av免费在线看不卡| 国产日韩欧美在线精品| 美女黄网站色视频| 免费观看精品视频网站| 久久人人爽人人爽人人片va| 中文字幕久久专区| 亚洲av成人av| 久久这里有精品视频免费| 亚洲精品色激情综合| 国产色婷婷99| 欧美一区二区国产精品久久精品| 亚洲成av人片在线播放无| 18禁在线播放成人免费| 国产成人一区二区在线| 69人妻影院| 99久久九九国产精品国产免费| 成人午夜高清在线视频| 网址你懂的国产日韩在线| 美女内射精品一级片tv| 全区人妻精品视频| 18禁在线无遮挡免费观看视频| 欧美人与善性xxx| 日本av手机在线免费观看| 99久久九九国产精品国产免费| 亚洲av熟女| 老司机影院毛片| 2021少妇久久久久久久久久久| 身体一侧抽搐| 亚洲人与动物交配视频| 久久99精品国语久久久| 国产精品伦人一区二区| 日本wwww免费看| 国产一区有黄有色的免费视频 | 精品国产露脸久久av麻豆 | 黄片wwwwww| 一级av片app| 日韩精品有码人妻一区| 亚洲精品乱码久久久v下载方式| 精品一区二区免费观看| videos熟女内射| 日韩三级伦理在线观看| 中文字幕久久专区| 日本猛色少妇xxxxx猛交久久| 免费观看精品视频网站| 久久久久久国产a免费观看| 在线播放无遮挡|