• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于簡(jiǎn)化GCN與注意力機(jī)制的移動(dòng)用戶興趣點(diǎn)推薦模型

    2025-08-17 00:00:00張良
    電腦知識(shí)與技術(shù) 2025年19期

    摘要:原始圖卷積神經(jīng)網(wǎng)絡(luò)(GCN) 的層次結(jié)構(gòu)較為復(fù)雜,其規(guī)則固定的鄰域聚合難以動(dòng)態(tài)調(diào)整鄰居節(jié)點(diǎn)權(quán)重,導(dǎo)致相關(guān)已有模型在數(shù)據(jù)間高階關(guān)聯(lián)捕獲與長(zhǎng)尾興趣點(diǎn)推薦上的表現(xiàn)不佳。為此,本文提出了一種結(jié)合簡(jiǎn)化GCN與注意力機(jī)制的POI推薦模型(SAGCF) 。首先對(duì)傳統(tǒng)GCN進(jìn)行架構(gòu)剪枝,去除冗余的激活函數(shù)和特征變換操作,使其專(zhuān)注于表示POI的高階連通性。其次,引入注意力機(jī)制自適應(yīng)調(diào)整鄰居節(jié)點(diǎn)權(quán)重,以克服靜態(tài)權(quán)重分配的局限性。實(shí)驗(yàn)結(jié)果表明,SAGCF模型在Foursquare和Yelp兩個(gè)數(shù)據(jù)集上均優(yōu)于同類(lèi)方法,召回率平均提升5.90%,NDCG平均提升15.98%。

    關(guān)鍵詞:POI推薦;圖卷積神經(jīng)網(wǎng)絡(luò);注意力機(jī)制;神經(jīng)協(xié)同過(guò)濾

    中圖分類(lèi)號(hào):TP183" " " 文獻(xiàn)標(biāo)識(shí)碼:A

    文章編號(hào):1009-3044(2025)19-0026-07

    開(kāi)放科學(xué)(資源服務(wù)) 標(biāo)識(shí)碼(OSID)

    0 引言

    隨著互聯(lián)網(wǎng)的發(fā)展和移動(dòng)設(shè)備的普及,移動(dòng)互聯(lián)網(wǎng)與空間信息技術(shù)深度融合,基于位置的社交網(wǎng)絡(luò)(Location-Based Social Network, LBSN) 成為人們?nèi)粘I钪兄匾囊徊糠諿1]。然而,在享受移動(dòng)設(shè)備和LBSN便捷服務(wù)的同時(shí),用戶也面臨信息過(guò)載與選擇困難等挑戰(zhàn)[2]。興趣點(diǎn)推薦(POI Recommendation) 系統(tǒng)因此誕生,并逐漸成為各大互聯(lián)網(wǎng)平臺(tái)的重要組成部分。為提高POI推薦效果,近年來(lái)大量研究致力于挖掘用戶與POI之間的潛在交互關(guān)系??紤]到移動(dòng)社交網(wǎng)絡(luò)的特征可以自然地表示為圖結(jié)構(gòu),一些研究將圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN) 引入到POI推薦任務(wù)中,期望通過(guò)圖學(xué)習(xí)方法更有效地捕捉用戶和POI之間的潛在關(guān)聯(lián)。

    這類(lèi)基于圖學(xué)習(xí)的推薦系統(tǒng)主要分為兩類(lèi)[3]:一是利用用戶與POI的交互數(shù)據(jù)(如簽到記錄) 構(gòu)造圖結(jié)構(gòu),挖掘高階的用戶興趣偏好;二是結(jié)合用戶的社交屬性、地理信息以及時(shí)間上下文等額外數(shù)據(jù)改善推薦效果。許多研究取得了重要進(jìn)展。Chang等[4]提出了一個(gè)基于GNN的POI推薦模型(GPR) ,通過(guò)訓(xùn)練用戶與POI的傳入和傳出影響的地理潛在表示,估計(jì)用戶的個(gè)性化偏好。Zhong等[5]根據(jù)POI之間的地理距離構(gòu)造了一個(gè)空間圖,并利用圖卷積網(wǎng)絡(luò)(Graph Convolutional Network, GCN) 表示POI之間的高階連通性,從而緩解了數(shù)據(jù)稀疏性帶來(lái)的挑戰(zhàn)。

    盡管多種圖神經(jīng)網(wǎng)絡(luò)的引入為POI推薦領(lǐng)域提供了新的研究思路,但現(xiàn)有研究多注重使用不同的額外信息對(duì)GCN進(jìn)行輔助增強(qiáng),反而忽視了對(duì)GCN本身結(jié)構(gòu)對(duì)POI推薦結(jié)果影響的研究。傳統(tǒng)GCN中的某些復(fù)雜操作對(duì)于POI推薦任務(wù)而言并非必要,同時(shí)GCN自身在處理不同鄰居節(jié)點(diǎn)重要性權(quán)重時(shí)仍存在一定的局限性。為進(jìn)一步提升推薦系統(tǒng)性能,本文簡(jiǎn)化了GCN網(wǎng)絡(luò),使其專(zhuān)注于高效表示用戶與POI的高階聯(lián)系。同時(shí),用注意力機(jī)制替代原始GCN固定的鄰域聚合規(guī)則,最終提出了一種結(jié)合輕量化GCN與注意力機(jī)制的POI推薦模型(SAGCF) 。

    1 相關(guān)理論

    1.1 圖卷積神經(jīng)網(wǎng)絡(luò)

    圖結(jié)構(gòu)數(shù)據(jù)主要由節(jié)點(diǎn)和邊組成,其中節(jié)點(diǎn)表示對(duì)象,邊表示對(duì)象間的關(guān)系。節(jié)點(diǎn)鄰域聚合是通過(guò)整合目標(biāo)節(jié)點(diǎn)及其關(guān)聯(lián)鄰居的數(shù)據(jù)信息(如統(tǒng)計(jì)值、特征向量) ,實(shí)現(xiàn)對(duì)目標(biāo)潛在信息的挖掘。

    近年來(lái),基于深度學(xué)習(xí)的推薦系統(tǒng)研究受到了廣泛關(guān)注,其中圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network, GCN) 已成為重要的研究方向之一。GCN由Thomas Kipf于2016年在論文 Graph Convolutional Networks 中首次提出[6],是一種專(zhuān)門(mén)用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。它在節(jié)點(diǎn)特征表示上應(yīng)用卷積操作,可以有效捕獲節(jié)點(diǎn)之間的關(guān)系和結(jié)構(gòu)信息,并通過(guò)聚合節(jié)點(diǎn)鄰居的信息來(lái)更新節(jié)點(diǎn)的特征表示。GCN為多層結(jié)構(gòu),每一層都對(duì)節(jié)點(diǎn)表示進(jìn)行更新,將鄰居節(jié)點(diǎn)的信息聚合到當(dāng)前節(jié)點(diǎn)。GCN的層間特征更新公式如公式(1) (2) 所示。

    [ [H(0)=X] (1) [H(k+1)=σ(D-12AD-12H(k)W(k))] (2) ]

    式中:X表示圖的節(jié)點(diǎn)特征矩陣,每個(gè)節(jié)點(diǎn)都有一個(gè)特征向量,特征矩陣收集了所有節(jié)點(diǎn)的特征;H(k)是更新到第k層的節(jié)點(diǎn)特征矩陣,H(0)為第0層,即輸入層;[A]是加上自環(huán)的鄰接矩陣,即特征矩陣X的鄰接矩陣A加一個(gè)單位矩陣;[D]是[A]的度矩陣;W(k)表示第k層的權(quán)重矩陣;[σ]代表激活函數(shù),在每一層之后應(yīng)用非線性激活函數(shù)。

    GCN在節(jié)點(diǎn)分類(lèi)、鏈接預(yù)測(cè)、圖分類(lèi)、推薦系統(tǒng)等多種場(chǎng)景中均表現(xiàn)出良好的特征提取能力。

    1.2 注意力機(jī)制

    注意力機(jī)制是一種在深度學(xué)習(xí)中廣泛應(yīng)用的技術(shù),其模擬了人類(lèi)在處理信息時(shí)的關(guān)注和集中注意力的過(guò)程,旨在從眾多信息中選擇出對(duì)當(dāng)前任務(wù)目標(biāo)更關(guān)鍵的信息[7]。Mnih等[8]首次提出了注意力機(jī)制的概念,通過(guò)計(jì)算輸入數(shù)據(jù)的權(quán)重,突出某些關(guān)鍵信息的影響。其核心數(shù)學(xué)表達(dá)如公式(3) 所示:

    [ [AttentionQ,K,V=softmaxQKTdV] (3) ]

    式中:Q、K、V分別為查詢向量、鍵向量和值向量。在本研究中,Q、K、V可由用戶與POI的特征表示經(jīng)過(guò)線性變換得到;d為縮放因子,通常取為鍵向量K的長(zhǎng)度,用于平衡點(diǎn)積操作的數(shù)值穩(wěn)定性;T表示矩陣轉(zhuǎn)置;softmax函數(shù)對(duì)相關(guān)性權(quán)重進(jìn)行歸一化,得到注意力權(quán)重矩陣。

    注意力機(jī)制在推薦領(lǐng)域中普遍用于改進(jìn)推薦算法的效果和個(gè)性化能力。

    1.3 神經(jīng)協(xié)同過(guò)濾

    與傳統(tǒng)協(xié)同過(guò)濾模型不同,神經(jīng)協(xié)同過(guò)濾是一種基于神經(jīng)網(wǎng)絡(luò)的方法,其以神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)替代內(nèi)積,可以從數(shù)據(jù)中學(xué)習(xí)任意交互函數(shù),突破內(nèi)積帶來(lái)的限制。它通過(guò)學(xué)習(xí)用戶和項(xiàng)目之間的隱式反饋數(shù)據(jù),建立一個(gè)通用框架以模擬用戶和項(xiàng)目之間的交互關(guān)系,如圖1所示。該框架包括輸入層、嵌入層、神經(jīng)協(xié)同過(guò)濾層和預(yù)測(cè)層,每一層的輸出都作為下一層的輸入。使用高維稀疏向量表示用戶和項(xiàng)目的輸入,經(jīng)嵌入層映射為低維稠密向量,然后將這些向量拼接送入神經(jīng)協(xié)同過(guò)濾層進(jìn)行非線性計(jì)算,最后通過(guò)預(yù)測(cè)層訓(xùn)練模型并得到預(yù)測(cè)結(jié)果。通過(guò)對(duì)神經(jīng)協(xié)同過(guò)濾層進(jìn)行定制,能夠?qū)W習(xí)到用戶和項(xiàng)目之間特定的交互關(guān)系。

    神經(jīng)協(xié)同過(guò)濾框架的預(yù)測(cè)模型如公式(4) 所示:

    [ [yui=f(PTvuU,QTviI|P,Q,θf(wàn))] (4) ]

    式中:P為用戶的潛在特征矩陣;Q為項(xiàng)目的潛在特征矩陣;[vu],[vi]分別為用戶和項(xiàng)目的獨(dú)熱編碼向量;f為多層神經(jīng)網(wǎng)絡(luò)函數(shù),通過(guò)多層非線性變換逐步提取用戶和物品之間的特征交互;[θf(wàn)]為函數(shù)f的模型參數(shù)。

    本文的用戶與POI交互數(shù)據(jù)可輕松轉(zhuǎn)化為用戶-POI的二部圖數(shù)據(jù)結(jié)構(gòu),適合使用GCN進(jìn)行協(xié)同過(guò)濾。

    2 SAGCF推薦模型

    推薦系統(tǒng)的核心任務(wù)是基于用戶-物品的交互數(shù)據(jù),學(xué)習(xí)節(jié)點(diǎn)(用戶和物品) 的嵌入表示,從而預(yù)測(cè)用戶的潛在興趣。因此,本文提出了基于GCN與Attention機(jī)制的推薦模型(SAGCF) 。針對(duì)傳統(tǒng)GCN設(shè)計(jì)中對(duì)協(xié)同過(guò)濾任務(wù)性能貢獻(xiàn)較小的特征變換和非線性激活部分,本文進(jìn)行了簡(jiǎn)化,去除這些部分以構(gòu)建輕量化的GCN網(wǎng)絡(luò),專(zhuān)注于表示POI(Point of Interest) 之間的高階連通性[9],并對(duì)數(shù)據(jù)集進(jìn)行特征提取,從而捕捉數(shù)據(jù)中的潛在特征。

    另一方面,傳統(tǒng)GCN在應(yīng)用于POI推薦領(lǐng)域時(shí),節(jié)點(diǎn)特征的聚合方式基于鄰接矩陣的歸一化操作,即每個(gè)節(jié)點(diǎn)通過(guò)對(duì)鄰居節(jié)點(diǎn)的特征加權(quán)求和后進(jìn)行更新。這種固定規(guī)則的更新方式無(wú)法動(dòng)態(tài)調(diào)整不同鄰居節(jié)點(diǎn)的重要性,難以為不同鄰居賦予差異化的權(quán)重,使得模型的表達(dá)能力受限。本文在SAGCF模型中引入了注意力機(jī)制,通過(guò)學(xué)習(xí)自適應(yīng)的注意力系數(shù),動(dòng)態(tài)調(diào)整用戶與POI之間的關(guān)聯(lián)權(quán)重。該機(jī)制不僅增強(qiáng)了模型對(duì)用戶與POI關(guān)系的刻畫(huà)能力,還能夠更好地捕捉用戶對(duì)不同POI的個(gè)性化偏好,以提升推薦效果。

    SAGCF模型總體結(jié)構(gòu)如圖2所示。

    2.1 問(wèn)題定義

    POI推薦是通過(guò)對(duì)用戶與POI間的歷史交互記錄進(jìn)行分析以獲取用戶偏好,從而為目標(biāo)用戶推薦可能感興趣的新地點(diǎn)。對(duì)于移動(dòng)用戶,其特征天然適合用圖結(jié)構(gòu)表示,本文將POI與用戶間的交互行為構(gòu)成交互二部圖的形式。在二部圖中,一部分為用戶節(jié)點(diǎn),另一部分為POI節(jié)點(diǎn),邊表示用戶與POI的交互記錄。設(shè)User集合為U={ u1, u2,..., un },POI集合為P={p1, p2,..., pm}。記錄User和POI交互的數(shù)據(jù)集合為I={ ( ui, pj) },i∈[1, n],j∈[1, m]。具體結(jié)構(gòu)如圖3所示。

    成功將數(shù)據(jù)構(gòu)建為二部圖形式后,即可獲取該圖結(jié)構(gòu)的鄰接矩陣R,作為模型的輸入。二元矩陣R用于描述用戶與POI之間的互動(dòng)關(guān)系,這種顯性關(guān)聯(lián)數(shù)據(jù)具有直接可追蹤性。具體而言,當(dāng)用戶ui在地點(diǎn)pj有訪問(wèn)記錄時(shí),矩陣元素r{i,j}賦值為1,反之則為0。興趣點(diǎn)推薦的核心目標(biāo),就是利用現(xiàn)有交互矩陣R進(jìn)行建模分析,預(yù)測(cè)用戶對(duì)未訪問(wèn)地點(diǎn)的潛在偏好。當(dāng)特定用戶ui尚未訪問(wèn)某些候選POI集合時(shí),可通過(guò)算法計(jì)算對(duì)這些候選地點(diǎn)的預(yù)測(cè)評(píng)分(如公式5所示) ,最終根據(jù)計(jì)算得到的預(yù)測(cè)結(jié)果進(jìn)行降序排序,生成最終推薦結(jié)果Lu={p1,p2,…,pK}(如公式6所示) 。

    [ [Ri,j=SAGCFui,pj] (5) [Lu={P|sorted by Ri,j, K}] (6) ]

    式中:[Ri,j]表示更新后用戶ui對(duì)POI的預(yù)測(cè)評(píng)分,SAGCF為本文提出的POI推薦算法模型,K指代推薦結(jié)果列表中的POI個(gè)數(shù),Lu表示為用戶u最終生成的個(gè)性化推薦列表。

    2.2 注意力系數(shù)求解模塊

    傳統(tǒng)圖卷積網(wǎng)絡(luò)(GCN) 采用固定規(guī)則進(jìn)行鄰域聚合(如拉普拉斯歸一化) ,無(wú)法區(qū)分不同POI對(duì)用戶偏好的差異化影響,導(dǎo)致對(duì)長(zhǎng)尾興趣點(diǎn)的推薦效果欠佳。為解決這一問(wèn)題,本文在模型中引入注意力機(jī)制,通過(guò)自適應(yīng)地為不同節(jié)點(diǎn)間的關(guān)系分配權(quán)重,從而更好地強(qiáng)化用戶差異化興趣的學(xué)習(xí)。

    如圖3所示,原始交互數(shù)據(jù)轉(zhuǎn)化為圖結(jié)構(gòu)并得到二元矩陣R后,下一步即為節(jié)點(diǎn)間注意力系數(shù)的計(jì)算。具體而言,從單個(gè)圖注意力層(Graph Attention Layer, GAL) 出發(fā),設(shè)輸入為一組節(jié)點(diǎn)特征矩陣[h=h1,h2,...,hn,hi∈RF],其中[hi]表示第i個(gè)節(jié)點(diǎn)的特征向量,n為節(jié)點(diǎn)總數(shù),F(xiàn)為每個(gè)節(jié)點(diǎn)特征的維度。

    首先,對(duì)原始節(jié)點(diǎn)特征[hi]進(jìn)行線性投影以增強(qiáng)特征表達(dá)能力,隨后利用投影后的節(jié)點(diǎn)特征計(jì)算未歸一化的節(jié)點(diǎn)間注意力得分。具體過(guò)程如公式(7) 所示:

    [βij=aWhi,Whj] (7)

    式中:[hi]和[hj]分別表示節(jié)點(diǎn)i與節(jié)點(diǎn)j的特征向量,W表示對(duì)節(jié)點(diǎn)特征的線性投影操作,a函數(shù)用于將拼接后的高維特征映射到實(shí)數(shù)上,從而得到未歸一化注意力系數(shù)[βij]。

    為避免高度數(shù)節(jié)點(diǎn)權(quán)重被嚴(yán)重稀釋而導(dǎo)致結(jié)果偏差,需要對(duì)注意力系數(shù)進(jìn)行歸一化處理,以合理壓縮高度數(shù)節(jié)點(diǎn)的權(quán)重,使模型專(zhuān)注于節(jié)點(diǎn)間的相對(duì)重要性。如公式(8) 所示,最終得到注意力系數(shù)矩陣[αij]。

    [ [αij=Softmax(βij)] (8) ]

    生成的注意力系數(shù)矩陣[αij]將用于2.3節(jié)的鄰域聚合與特征更新,最終服務(wù)于2.4節(jié)的推薦列表生成。

    2.3 特征更新與聚合模塊

    2.3.1 特征更新

    在獲取到節(jié)點(diǎn)間的注意力系數(shù)矩陣后,模型進(jìn)入特征更新階段。在POI推薦場(chǎng)景下,傳統(tǒng)GCN中復(fù)雜的非線性激活和特征變換操作顯著增加了模型參數(shù)量,但對(duì)其捕獲用戶-POI高階關(guān)聯(lián)能力的提升有限。因此,對(duì)原有GCN進(jìn)行了基于任務(wù)驅(qū)動(dòng)的圖卷積架構(gòu)剪枝操作,移除特征更新過(guò)程中的非線性激活與特征變換部分,僅保留鄰域傳播核心功能的輕量架構(gòu),在降低復(fù)雜度的同時(shí)增強(qiáng)對(duì)稀疏簽到數(shù)據(jù)的適應(yīng)性。

    同時(shí),如2.2節(jié)所述,為增強(qiáng)模型在區(qū)分不同POI對(duì)用戶偏好的差異化影響方面的能力,突破傳統(tǒng)鄰域聚合中固定權(quán)重分配的局限性,對(duì)于特征更新公式,使用注意力系數(shù)矩陣替換原本GCN中基于固定規(guī)則(如拉普拉斯矩陣僅依賴節(jié)點(diǎn)度數(shù)進(jìn)行靜態(tài)歸一化) 的鄰域聚合操作,如公式(9) 所示,對(duì)節(jié)點(diǎn)特征進(jìn)行更新。

    [ [H(k+1)=αijH(k)] (9) ]

    式中:H(k)為更新到第k層的節(jié)點(diǎn)特征矩陣,H(k+1)表示第k+1層的節(jié)點(diǎn)特征矩陣,[αij]為上一步求得的節(jié)點(diǎn)間注意力系數(shù)矩陣。

    2.3.2 特征聚合

    在經(jīng)過(guò)多層的特征更新,獲得多個(gè)更新后的特征矩陣后,為了充分融合不同階次的圖結(jié)構(gòu)信息,本模型需對(duì)多層更新后的節(jié)點(diǎn)特征進(jìn)行聚合操作,將聚合結(jié)果作為最終特征表達(dá)。傳統(tǒng)圖卷積網(wǎng)絡(luò)(GCN) 通常通過(guò)顯式添加自連接(Self-Loop) 來(lái)保留節(jié)點(diǎn)自身特征,但這種設(shè)計(jì)隨著網(wǎng)絡(luò)層數(shù)的增加,節(jié)點(diǎn)特征容易因重復(fù)疊加而產(chǎn)生過(guò)平滑現(xiàn)象。本文采用層組合操作,代替現(xiàn)有圖卷積操作中對(duì)目標(biāo)節(jié)點(diǎn)本身的整合操作,即不專(zhuān)門(mén)處理自連接,通過(guò)層組合捕捉與自連接相同的效果。

    在模型中,用戶初始輸入第0層的用戶特征與POI特征,然后通過(guò)公式(10) 進(jìn)行特征更新,獲得更高層的特征。層組合操作是在完成K層特征更新后,進(jìn)一步將每一層更新后獲得的特征組合起來(lái),從而形成用戶與POI特征的最終表示。通過(guò)層組合,模型能夠在保留多階關(guān)系信息的同時(shí),緩解過(guò)平滑問(wèn)題。具體操作如公式(10) 所示:

    [ [Hfinal=k=0KakH(k)] (10) ]

    式中:H(k)表示第k層經(jīng)過(guò)特征更新后的節(jié)點(diǎn)特征矩陣,ak是第k層嵌入的權(quán)重,取a=1/(k+1)。[Hfinal]為最終特征表示。

    2.4 候選POI排序與推薦生成

    推薦列表生成如圖4所示,在得到用戶特征矩陣eu與POI特征矩陣ep后,將兩個(gè)矩陣相乘,得到用戶-POI交互偏好分?jǐn)?shù)矩陣。然后根據(jù)偏好分?jǐn)?shù)對(duì)POI進(jìn)行排序,取前K個(gè)POI,得出最終的POI推薦列表Top-K。如公式(11) (12) 所示,其核心在于通過(guò)用戶特征與 POI 特征矩陣的內(nèi)積,計(jì)算每個(gè)用戶對(duì)每個(gè)POI的偏好分?jǐn)?shù),從而量化用戶對(duì)POI的興趣強(qiáng)度。在得到偏好得分矩陣后,對(duì)每個(gè)用戶的得分結(jié)果按降序排序,并提取分?jǐn)?shù)最高的K個(gè)POI,作為最終的推薦結(jié)果。最終輸出的推薦列表形式為L(zhǎng)u={p1,p2,…,pK},分?jǐn)?shù)最高的p1表示用戶最感興趣的POI,依次類(lèi)推。

    [[Ru,p=euTep] (11) [Lu=P|sorted byRu,p,K] (12) ]

    式中:[Ru,p]表示用戶u對(duì)興趣點(diǎn)p的推薦排名分?jǐn)?shù);[eu]、[eu]分別表示用戶與POI的特征矩陣;T表示矩陣轉(zhuǎn)置操作。K指代推薦結(jié)果列表中的POI個(gè)數(shù),Lu表示最終生成的個(gè)性化推薦列表。

    2.5 損失函數(shù)

    本實(shí)驗(yàn)采用貝葉斯個(gè)性化排名(Bayesian Personalized Ranking,BPR) 損失函數(shù),即一種用于向用戶推薦個(gè)性化偏好的損失函數(shù),由 Steffen Rendle 等人[10]為解決對(duì)隱式反饋數(shù)據(jù)進(jìn)行推薦的問(wèn)題而最先提出。相比于評(píng)分、評(píng)論等明確表達(dá)用戶喜好的顯性交互記錄,停留時(shí)間、簽到次數(shù)等隱式反饋數(shù)據(jù)也可以間接反映用戶興趣。

    BPR的核心理念為:對(duì)于給定用戶以及兩個(gè)物品,模型需確保用戶偏好物品排在不偏好物品之前。這與本實(shí)驗(yàn)最終給出前K個(gè)POI推薦排序列表的結(jié)果相一致。BPR損失函數(shù)不直接預(yù)測(cè)用戶對(duì)POI的偏好數(shù)值,而是基于用戶的歷史交互數(shù)據(jù),將正負(fù)樣本間的分?jǐn)?shù)差距最大化,這與本文引入注意力機(jī)制的目標(biāo)一致。注意力系數(shù)的學(xué)習(xí)直接影響用戶-POI評(píng)分的計(jì)算結(jié)果,因此BPR損失能夠間接優(yōu)化注意力機(jī)制的學(xué)習(xí)效果。BPR損失的數(shù)學(xué)表達(dá)式如式(13) 所示:

    [ [LBPR=-(u,i,j)∈Dlnσ(yu,i-yu,j)+λΘ2] (13) ]

    式中:Θ = {E(0)},即第0層的特征嵌入;λ用于控制L2正則化的強(qiáng)度;[σ]為sigmoid函數(shù)。

    3 實(shí)驗(yàn)設(shè)計(jì)與分析

    3.1 實(shí)驗(yàn)數(shù)據(jù)集

    本實(shí)驗(yàn)選用的研究數(shù)據(jù)集為公開(kāi)數(shù)據(jù)集 FourSquare 和 Yelp。FourSquare[11]是一個(gè)全球范圍的基于位置的社交網(wǎng)絡(luò)服務(wù)平臺(tái),用戶可以通過(guò)簽到記錄自己的地理位置信息。Yelp 是一家知名的本地商戶信息與評(píng)價(jià)平臺(tái),用戶可以對(duì)商戶進(jìn)行評(píng)論、評(píng)分,并分享相關(guān)照片。其數(shù)據(jù)包含商戶屬性、用戶評(píng)論、評(píng)分等多維度信息。

    如表 1 所示,F(xiàn)oursquare數(shù)據(jù)集的簽到頻次較高,商戶偏休閑場(chǎng)景;Yelp簽到頻次較低,商戶范圍較廣,以消費(fèi)點(diǎn)評(píng)為主。本文對(duì)兩個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行去重、缺失補(bǔ)充,然后去除簽到次數(shù)小于10次的POI,最后將ID字段進(jìn)行順序化映射處理,以保證后續(xù)實(shí)驗(yàn)的可靠性。

    3.2 評(píng)價(jià)指標(biāo)

    為驗(yàn)證實(shí)驗(yàn)結(jié)果的有效性,本文構(gòu)建了包含召回率(Recall) 、精準(zhǔn)率(Precision) 、F1 值和歸一化折損累計(jì)增益(NDCG) 的多維度評(píng)估體系。精準(zhǔn)率量化推薦結(jié)果中正確項(xiàng)目的占比,體現(xiàn)內(nèi)容篩選的準(zhǔn)確程度;召回率反映了算法對(duì)用戶潛在興趣的覆蓋廣度以及表征信息捕捉的全面性,二者形成查準(zhǔn)與查全的互補(bǔ)關(guān)系。F1 值是 Precision 和 Recall 的調(diào)和平均。相關(guān)計(jì)算公式如 (14) (15) (16) 所示:

    [ [Recall=u∈U|L(u)∩T(u)|T(u)] (14) [Precision=u∈UL(u)∩T(u)L(u)] (15) [F1=Precision×Recall×2Precision+Reacll] (16) ]

    式中:U表示數(shù)據(jù)集中的用戶集合;L(u)表示系統(tǒng)生成的推薦列表中的興趣點(diǎn)集合;T(u)表示用戶的實(shí)際興趣點(diǎn)集合。

    NDCG則通過(guò)位置加權(quán)策略評(píng)估排序質(zhì)量,重點(diǎn)考察高價(jià)值內(nèi)容在推薦列表中的優(yōu)先呈現(xiàn)程度。計(jì)算過(guò)程公式如公式(17) 所示:

    [ [DCGk=i=1k2reli-1log2(i+1)] [IDCGk=i=1k1log2(i+1)] (17) [NDCGK=DCGKIDCGK] ]

    式中:[reli]指用戶對(duì)第i個(gè)被推薦POI的傾向性,用戶選擇了該P(yáng)OI時(shí),reli值為1,反之為0;[DCGK]反映了模型預(yù)測(cè)排序結(jié)果的得分,其值越接近理想完美狀態(tài)下的排序結(jié)果分?jǐn)?shù)([IDCGk]) ,推薦結(jié)果列表的效果越好。

    四個(gè)指標(biāo)分別從結(jié)果精確性(Precision) 、興趣覆蓋度(Recall) 、決策均衡性(F1) 及序列優(yōu)化度(NDCG) 四個(gè)互補(bǔ)維度完成系統(tǒng)性評(píng)測(cè)。

    3.3 實(shí)驗(yàn)設(shè)置與對(duì)比模型選取

    本實(shí)驗(yàn)采用POI推薦相關(guān)論文中常用的數(shù)據(jù)劃分策略,針對(duì)每個(gè)用戶的簽到記錄,以隨機(jī)抽樣方式保留 70% 的歷史行為數(shù)據(jù)作為模型訓(xùn)練集,30% 的數(shù)據(jù)作為測(cè)試集,以構(gòu)建訓(xùn)練集與測(cè)試集完全分離的驗(yàn)證環(huán)境。使用Adam作為優(yōu)化器進(jìn)行參數(shù)更新,Dropout設(shè)為0.02,應(yīng)用于特征更新層。

    為評(píng)估本文的SAGCF模型,實(shí)驗(yàn)選取以下模型作為對(duì)比:

    GNN-POI[12]:基于GNN的POI推薦框架,綜合社交關(guān)系和訪問(wèn)記錄學(xué)習(xí)用戶偏好表示,利用Bi-LSTM模型建模用戶的簽到序列行為,結(jié)合地理和時(shí)間特性。

    NGCF[13]:基于圖神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾模型,通過(guò)圖結(jié)構(gòu)數(shù)據(jù)建模用戶和物品之間的交互關(guān)系,引入非線性激活函數(shù)和嵌入特征的逐層聚合,能夠有效學(xué)習(xí)用戶和物品的潛在表示。

    FG-CF[14]:一種融合社交信息的圖協(xié)同過(guò)濾模型,創(chuàng)新性地設(shè)計(jì)了一種消息聚合機(jī)制,結(jié)合節(jié)點(diǎn)自身、鄰居和社交三種嵌入,捕捉用戶與 POI 的上下文信息。

    Distance2Pre:一種基于距離度量的推薦算法,構(gòu)建用戶-物品交互矩陣,并通過(guò)距離度量方法計(jì)算用戶與物品之間的相似性,進(jìn)而預(yù)測(cè)用戶偏好[15]。

    GRMF:一種基于圖正則化的矩陣分解算法。通過(guò)引入圖正則化項(xiàng),捕捉用戶和物品之間的潛在關(guān)系[16]。

    3.4 實(shí)驗(yàn)結(jié)果與分析

    在實(shí)驗(yàn)的特征更新與聚合階段,Layer值的選擇直接影響模型的特征表達(dá)能力。隨著模型Layer的增加,盡管能夠提取更高階的特征交互,但可能導(dǎo)致訓(xùn)練數(shù)據(jù)過(guò)度擬合及反向傳播過(guò)程中梯度衰減,因此需要通過(guò)實(shí)驗(yàn)進(jìn)行合理選擇。本實(shí)驗(yàn)基于Foursquare與Yelp兩個(gè)數(shù)據(jù)集測(cè)試了不同層數(shù)卷積對(duì)Recall和NDCG 兩個(gè)重要指標(biāo)的影響,實(shí)驗(yàn)結(jié)果如圖5所示。

    從圖5中可以看出,無(wú)論是Foursquare數(shù)據(jù)集還是Yelp數(shù)據(jù)集,Recall和NDCG 隨著卷積Layer值的增加,其變化趨勢(shì)具有一致性:在Layer由1增加到2時(shí),Recall和NDCG的值總體上均呈遞增趨勢(shì),而當(dāng)Layer超過(guò)4層后,指標(biāo)值明顯開(kāi)始下降。因此,本實(shí)驗(yàn)將模型的Layer值設(shè)定為 4。

    最終,在Foursquare和Yelp數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)后,將結(jié)果與本文選取的五個(gè)基線模型進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如圖 6、圖 7 所示。

    通過(guò)圖6和圖7可以看出,SAGCF模型在兩個(gè)數(shù)據(jù)集上的各項(xiàng)指標(biāo)表現(xiàn)均為最優(yōu)。將模型GNN-POI與NGCF進(jìn)行對(duì)比,可以發(fā)現(xiàn),由于GCN在原始GNN的基礎(chǔ)上加入了目標(biāo)節(jié)點(diǎn)自身的特征信息,因此在POI推薦任務(wù)中,GCN相較于GNN能夠更準(zhǔn)確地表達(dá)鄰居節(jié)點(diǎn)的特征信息。進(jìn)一步對(duì)比SAGCF與其余三個(gè)模型,SAGCF在兩個(gè)數(shù)據(jù)集上召回率平均提升5.90%,NDCG平均提升15.98%,說(shuō)明去除傳統(tǒng)GCN中對(duì)協(xié)同過(guò)濾性能影響較小的特征變換和非線性激活部分,并引入注意力系數(shù)取代原有的特征更新過(guò)濾器,可以顯著提升推薦效果。這表明SAGCF模型在特征處理和交互建模方面更具優(yōu)勢(shì)。

    4 總結(jié)與展望

    本文提出了一種基于簡(jiǎn)化GCN與注意力機(jī)制的移動(dòng)用戶興趣點(diǎn)推薦模型(SAGCF) 。首先,針對(duì)傳統(tǒng)GCN在協(xié)同過(guò)濾任務(wù)中對(duì)性能貢獻(xiàn)較小的特征變換和非線性激活部分,進(jìn)行任務(wù)驅(qū)動(dòng)的架構(gòu)剪枝,以更高效地表示POI之間的高階連通性。然后,對(duì)于傳統(tǒng)GCN無(wú)法動(dòng)態(tài)調(diào)整鄰居節(jié)點(diǎn)權(quán)重的問(wèn)題,使用注意力機(jī)制代替原有的規(guī)則固定的鄰域聚合操作,自適應(yīng)地學(xué)習(xí)用戶與POI之間的關(guān)聯(lián)權(quán)重,增強(qiáng)模型對(duì)用戶偏好的刻畫(huà)能力。實(shí)驗(yàn)表明,SAGCF模型能夠在一定程度上有效緩解用戶簽到數(shù)據(jù)稀疏性問(wèn)題,實(shí)現(xiàn)了更優(yōu)秀的推薦性能,為POI推薦任務(wù)提供了新的解決方案。

    模型SAGCF對(duì)POI推薦中的場(chǎng)景信息考慮不足,未來(lái)研究可從多維度進(jìn)行進(jìn)一步探討。首先,可以融合時(shí)空軌跡、社交關(guān)系及POI多模態(tài)信息,構(gòu)建全域用戶興趣表征;或集成知識(shí)圖譜與因果推理來(lái)增強(qiáng)模型可解釋性,生成可信的推薦依據(jù);還可以探索跨場(chǎng)景遷移學(xué)習(xí)策略,以及進(jìn)行城市級(jí)大規(guī)模POI數(shù)據(jù)場(chǎng)景下的推薦技術(shù)研究,與實(shí)際的工業(yè)應(yīng)用落地相結(jié)合。這些方向的深入研究有望推動(dòng)POI推薦系統(tǒng)在精度、健壯性及實(shí)用性上的進(jìn)步。

    參考文獻(xiàn):

    [1] BARAL R,ZHU X L,IYENGAR S S,et al.ReEL:review aware explanation of location recommendation[C]//Proceedings of the 26th Conference on User Modeling,Adaptation and Personalization.Singapore Singapore.ACM,2018:23-32.

    [2] LOGESH R,SUBRAMANIYASWAMY V,VIJAYAKUMAR V,et al.Efficient user profiling based intelligent travel recommender system for individual and group of users[J].Mobile Networks and Applications,2019,24(3):1018-1033.

    [3] 程忠,鐘濤,張帥.基于圖學(xué)習(xí)的推薦系統(tǒng)研究綜述[J].計(jì)算機(jī)科學(xué),2022,49(9): 1-13.

    [4] CHANG B R,JANG G,KIM S,et al.Learning graph-based geographical latent representation for point-of-interest recommendation[C]//Proceedings of the 29th ACM International Conference on Information amp; Knowledge Management.Virtual Event Ireland.ACM,2020:135-144.

    [5] ZHONG T,ZHANG S M,ZHOU F,et al.Hybrid graph convolutional networks with multi-head attention for location recommendation[J].World Wide Web,2020,23(6):3125-3151.

    [6] KIPF T N,WELLING M.Semi-supervised classification with graph convolutional networks[EB/OL].2016:1609.02907. https://arxiv.org/abs/1609.02907v4.

    [7] CHEN J Y,ZHANG H W,HE X N,et al.Attentive collaborative filtering:multimedia recommendation with item- and component-level attention[C]//Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval.Shinjuku Tokyo Japan.ACM,2017:335-344.

    [8] MNIH V, HEESS N, GRAVES A, et al. Recurrent models of visual attention[J]. Advances in Neural Information Processing Systems, 2014(27): 2204-2212.

    [9] HE X N,DENG K,WANG X,et al.LightGCN:simplifying and powering graph convolution network for recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.Virtual Event China.ACM,2020:639-648.

    [10] RENDLE S,F(xiàn)REUDENTHALER C,GANTNER Z,et al.BPR:Bayesian personalized ranking from implicit feedback[EB/OL].2012:1205.2618. https://arxiv.org/abs/1205.2618v1.

    [11] YANG D Q,QU B Q,YANG J,et al.Revisiting user mobility and social relationships in LBSNs:a hypergraph embedding approach[C]//The World Wide Web Conference.San Francisco CA USA.ACM,2019:2147-2157.

    [12] ZHANG J Y,LIU X,ZHOU X F,et al.Leveraging graph neural networks for point-of-interest recommendations[J].Neurocomputing,2021,462:1-13.

    [13] WANG X,HE X N,WANG M,et al.Neural graph collaborative filtering[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval.Paris France.ACM,2019:165-174.

    [14] CAI Z,YUAN G,QIAO S J,et al.FG-CF:Friends-aware graph collaborative filtering for POI recommendation[J].Neurocomputing,2022,488:107-119.

    [15] CUI Q,TANG Y Y,WU S,et al.Distance2Pre:personalized spatial preference for next point-of-interest prediction[M]//Advances in Knowledge Discovery and Data Mining.Cham:Springer International Publishing,2019:289-301.

    [16] CUI Z,GAO Y L,LIU J X,et al.L2,1-GRMF:an improved graph regularized matrix factorization method to predict drug-target interactions[J].BMC Bioinformatics,2019,20(8):287.

    【通聯(lián)編輯:唐一東】

    欧美日韩福利视频一区二区| 一个人观看的视频www高清免费观看 | 在线观看免费视频网站a站| 不卡av一区二区三区| 中文字幕最新亚洲高清| 美女高潮喷水抽搐中文字幕| 亚洲熟女毛片儿| 国产成人免费无遮挡视频| 亚洲国产中文字幕在线视频| 久久久精品欧美日韩精品| 日韩 欧美 亚洲 中文字幕| 一本综合久久免费| 久久久久久久久免费视频了| 精品日产1卡2卡| 国产伦人伦偷精品视频| 黄网站色视频无遮挡免费观看| 99久久99久久久精品蜜桃| 校园春色视频在线观看| 交换朋友夫妻互换小说| 少妇裸体淫交视频免费看高清 | 精品欧美一区二区三区在线| 亚洲一码二码三码区别大吗| 亚洲成人国产一区在线观看| 午夜精品国产一区二区电影| 欧美人与性动交α欧美软件| svipshipincom国产片| 麻豆国产av国片精品| 黄色视频不卡| 黑人巨大精品欧美一区二区蜜桃| 日日夜夜操网爽| 欧美激情高清一区二区三区| 少妇被粗大的猛进出69影院| 亚洲第一av免费看| 91在线观看av| 后天国语完整版免费观看| 18禁国产床啪视频网站| 午夜a级毛片| 久久精品国产清高在天天线| 久热这里只有精品99| 侵犯人妻中文字幕一二三四区| av天堂久久9| 精品午夜福利视频在线观看一区| 久久久精品国产亚洲av高清涩受| 国产av又大| 亚洲欧美日韩无卡精品| 国产在线精品亚洲第一网站| 日韩大码丰满熟妇| 精品国产乱码久久久久久男人| 无遮挡黄片免费观看| 国产成人精品久久二区二区免费| 久久伊人香网站| 高清毛片免费观看视频网站 | 18美女黄网站色大片免费观看| 精品国产乱码久久久久久男人| 欧美日本亚洲视频在线播放| 久久精品91蜜桃| 精品久久久精品久久久| a在线观看视频网站| 亚洲精品美女久久久久99蜜臀| 人人妻,人人澡人人爽秒播| 欧美日韩瑟瑟在线播放| 搡老乐熟女国产| 青草久久国产| 99国产精品一区二区蜜桃av| 国产一区二区三区视频了| 亚洲精品久久午夜乱码| av网站在线播放免费| 成年人黄色毛片网站| 99re在线观看精品视频| 青草久久国产| 久久中文字幕人妻熟女| 久久久久久久午夜电影 | 亚洲av电影在线进入| 久久国产亚洲av麻豆专区| 国产精品永久免费网站| 国产亚洲欧美精品永久| 色综合站精品国产| 国产一卡二卡三卡精品| 亚洲国产精品999在线| 久久国产乱子伦精品免费另类| 亚洲美女黄片视频| 国产主播在线观看一区二区| 亚洲专区中文字幕在线| 波多野结衣一区麻豆| 精品乱码久久久久久99久播| 精品一品国产午夜福利视频| 国产欧美日韩一区二区三区在线| 午夜精品国产一区二区电影| av天堂在线播放| 丁香欧美五月| 搡老熟女国产l中国老女人| 国产成人欧美在线观看| 男人操女人黄网站| 交换朋友夫妻互换小说| 满18在线观看网站| 欧美日韩黄片免| 亚洲欧美一区二区三区久久| 在线播放国产精品三级| 99精品久久久久人妻精品| 最近最新中文字幕大全免费视频| 欧美黑人欧美精品刺激| 在线观看一区二区三区激情| 一进一出抽搐gif免费好疼 | 久久中文看片网| 精品久久久久久,| 老汉色∧v一级毛片| 亚洲一区中文字幕在线| 一级毛片高清免费大全| 国内久久婷婷六月综合欲色啪| 久久这里只有精品19| 黄片大片在线免费观看| 国产精品国产av在线观看| 欧美+亚洲+日韩+国产| 久久久久国产精品人妻aⅴ院| 国产免费男女视频| 久久久国产成人免费| videosex国产| 一区二区日韩欧美中文字幕| 日韩 欧美 亚洲 中文字幕| avwww免费| 亚洲午夜精品一区,二区,三区| 国产人伦9x9x在线观看| 黄色丝袜av网址大全| 国产99久久九九免费精品| 日本三级黄在线观看| 亚洲男人的天堂狠狠| 丰满迷人的少妇在线观看| 99精品在免费线老司机午夜| 久久香蕉激情| а√天堂www在线а√下载| 成人免费观看视频高清| 久久精品国产清高在天天线| 80岁老熟妇乱子伦牲交| 一进一出好大好爽视频| 亚洲人成网站在线播放欧美日韩| 亚洲伊人色综图| 99久久久亚洲精品蜜臀av| 纯流量卡能插随身wifi吗| 久久久久久久久免费视频了| 精品日产1卡2卡| bbb黄色大片| 久久久国产成人精品二区 | 两性午夜刺激爽爽歪歪视频在线观看 | 精品国产乱码久久久久久男人| 久久人妻福利社区极品人妻图片| 香蕉丝袜av| 他把我摸到了高潮在线观看| 中文字幕高清在线视频| 国产亚洲欧美98| 国产精华一区二区三区| 青草久久国产| 日韩欧美三级三区| 无遮挡黄片免费观看| 神马国产精品三级电影在线观看 | 久久香蕉精品热| 欧美成人午夜精品| 国产精品国产高清国产av| a级毛片黄视频| 亚洲专区国产一区二区| 亚洲在线自拍视频| 操出白浆在线播放| 51午夜福利影视在线观看| 一二三四社区在线视频社区8| 1024香蕉在线观看| 欧美激情高清一区二区三区| 亚洲精品粉嫩美女一区| 在线免费观看的www视频| a级片在线免费高清观看视频| 久久精品国产亚洲av香蕉五月| av在线播放免费不卡| 一a级毛片在线观看| 在线观看一区二区三区| 丰满的人妻完整版| 国产精品免费视频内射| 亚洲国产精品合色在线| 欧美精品啪啪一区二区三区| 亚洲五月色婷婷综合| 国产精品野战在线观看 | 国产精品98久久久久久宅男小说| 黄色a级毛片大全视频| 亚洲精品久久午夜乱码| 久久精品亚洲精品国产色婷小说| 黄片播放在线免费| 久久久国产成人精品二区 | 亚洲 欧美 日韩 在线 免费| 亚洲 国产 在线| 国产欧美日韩一区二区三区在线| 国产免费av片在线观看野外av| 国产精品二区激情视频| 51午夜福利影视在线观看| 亚洲九九香蕉| 美女高潮喷水抽搐中文字幕| av中文乱码字幕在线| 少妇粗大呻吟视频| 99久久人妻综合| 日韩成人在线观看一区二区三区| 国产91精品成人一区二区三区| 一进一出抽搐gif免费好疼 | 一级片免费观看大全| 大香蕉久久成人网| 两人在一起打扑克的视频| 嫁个100分男人电影在线观看| 极品教师在线免费播放| 欧美日韩亚洲综合一区二区三区_| 免费高清在线观看日韩| 88av欧美| www.999成人在线观看| 久久久水蜜桃国产精品网| av有码第一页| 国产精品日韩av在线免费观看 | 国产精品国产av在线观看| 亚洲国产欧美日韩在线播放| 少妇 在线观看| 亚洲熟女毛片儿| 成人av一区二区三区在线看| 国产亚洲精品综合一区在线观看 | 国产精华一区二区三区| 久9热在线精品视频| 精品欧美一区二区三区在线| 视频在线观看一区二区三区| 九色亚洲精品在线播放| 老司机在亚洲福利影院| 又紧又爽又黄一区二区| 日本免费一区二区三区高清不卡 | 国产欧美日韩一区二区三区在线| 在线观看一区二区三区激情| 精品电影一区二区在线| 日韩欧美国产一区二区入口| 国产三级在线视频| 亚洲成人免费av在线播放| 国产成人系列免费观看| 国产又色又爽无遮挡免费看| 80岁老熟妇乱子伦牲交| 国产免费av片在线观看野外av| 人人妻人人爽人人添夜夜欢视频| 久久香蕉国产精品| 国产一区二区三区在线臀色熟女 | 午夜成年电影在线免费观看| 男女高潮啪啪啪动态图| xxx96com| 天堂动漫精品| 亚洲九九香蕉| 夜夜爽天天搞| 成人手机av| 两人在一起打扑克的视频| 国产精品一区二区在线不卡| 国产成人啪精品午夜网站| 最近最新中文字幕大全电影3 | 亚洲 国产 在线| 一级a爱视频在线免费观看| 亚洲专区国产一区二区| av电影中文网址| 日日摸夜夜添夜夜添小说| 日日摸夜夜添夜夜添小说| 亚洲精品一卡2卡三卡4卡5卡| 精品人妻1区二区| 在线免费观看的www视频| 中文字幕av电影在线播放| av国产精品久久久久影院| 99久久99久久久精品蜜桃| 日日夜夜操网爽| 成人特级黄色片久久久久久久| 手机成人av网站| 久久人妻福利社区极品人妻图片| 精品少妇一区二区三区视频日本电影| 日韩免费高清中文字幕av| 后天国语完整版免费观看| 在线观看免费日韩欧美大片| 中文字幕人妻熟女乱码| 精品久久蜜臀av无| 高潮久久久久久久久久久不卡| 精品高清国产在线一区| 精品福利观看| 成人特级黄色片久久久久久久| 婷婷六月久久综合丁香| 神马国产精品三级电影在线观看 | 亚洲精品国产色婷婷电影| 久久人人爽av亚洲精品天堂| 一区二区三区国产精品乱码| 亚洲av五月六月丁香网| 女人被躁到高潮嗷嗷叫费观| 亚洲欧美日韩无卡精品| 久久精品影院6| 国产亚洲欧美在线一区二区| 日韩人妻精品一区2区三区| tocl精华| 欧美另类亚洲清纯唯美| 欧美乱码精品一区二区三区| 看片在线看免费视频| 国产99久久九九免费精品| 免费观看精品视频网站| 亚洲专区字幕在线| 天天躁夜夜躁狠狠躁躁| 老汉色av国产亚洲站长工具| 亚洲男人天堂网一区| 岛国视频午夜一区免费看| 久久久精品欧美日韩精品| 51午夜福利影视在线观看| aaaaa片日本免费| 亚洲一区高清亚洲精品| 亚洲在线自拍视频| 麻豆成人av在线观看| 亚洲精品在线观看二区| 国产精品爽爽va在线观看网站 | 国产精品香港三级国产av潘金莲| 欧美av亚洲av综合av国产av| 俄罗斯特黄特色一大片| 久久草成人影院| 亚洲色图综合在线观看| 天堂俺去俺来也www色官网| 日韩精品免费视频一区二区三区| 在线十欧美十亚洲十日本专区| 丝袜在线中文字幕| 久久精品影院6| 国产熟女午夜一区二区三区| 免费在线观看日本一区| 国产精品99久久99久久久不卡| а√天堂www在线а√下载| 在线观看日韩欧美| 成人18禁在线播放| 亚洲自偷自拍图片 自拍| 日本免费一区二区三区高清不卡 | 亚洲专区中文字幕在线| 日韩精品免费视频一区二区三区| 在线观看免费视频网站a站| 一进一出好大好爽视频| 又大又爽又粗| av网站在线播放免费| 色老头精品视频在线观看| 99国产极品粉嫩在线观看| 午夜福利欧美成人| 免费在线观看完整版高清| 丝袜美腿诱惑在线| 亚洲第一欧美日韩一区二区三区| 女人爽到高潮嗷嗷叫在线视频| 亚洲少妇的诱惑av| 91av网站免费观看| 免费在线观看亚洲国产| 麻豆国产av国片精品| 亚洲男人的天堂狠狠| 国产亚洲精品一区二区www| 国产男靠女视频免费网站| 亚洲激情在线av| 又大又爽又粗| 人妻丰满熟妇av一区二区三区| 精品一区二区三区视频在线观看免费 | 日韩精品青青久久久久久| 搡老岳熟女国产| 长腿黑丝高跟| 久久精品成人免费网站| 熟女少妇亚洲综合色aaa.| 国产熟女xx| 神马国产精品三级电影在线观看 | 久久国产乱子伦精品免费另类| 女生性感内裤真人,穿戴方法视频| 亚洲人成电影观看| 欧美中文综合在线视频| 久久精品亚洲精品国产色婷小说| 12—13女人毛片做爰片一| 99精品欧美一区二区三区四区| 午夜福利在线观看吧| 国产av一区在线观看免费| 欧美激情久久久久久爽电影 | av天堂在线播放| 国产av精品麻豆| av片东京热男人的天堂| 精品久久久精品久久久| 成人三级黄色视频| 琪琪午夜伦伦电影理论片6080| 性色av乱码一区二区三区2| 成熟少妇高潮喷水视频| 成人特级黄色片久久久久久久| 亚洲中文av在线| 欧美中文日本在线观看视频| 手机成人av网站| ponron亚洲| 亚洲精品粉嫩美女一区| 久9热在线精品视频| 正在播放国产对白刺激| 激情视频va一区二区三区| 五月开心婷婷网| 操美女的视频在线观看| 侵犯人妻中文字幕一二三四区| 国产精品久久久人人做人人爽| 男女下面插进去视频免费观看| 搡老乐熟女国产| 精品电影一区二区在线| videosex国产| 国产成人啪精品午夜网站| 丝袜在线中文字幕| 男人舔女人下体高潮全视频| 99国产综合亚洲精品| 久久久久久久久久久久大奶| 日本三级黄在线观看| 动漫黄色视频在线观看| 国产亚洲精品久久久久5区| 黑人欧美特级aaaaaa片| 天天影视国产精品| 18禁黄网站禁片午夜丰满| www日本在线高清视频| 黑人巨大精品欧美一区二区蜜桃| 99热只有精品国产| 在线看a的网站| 成人影院久久| 黄色 视频免费看| av有码第一页| 可以免费在线观看a视频的电影网站| 亚洲专区字幕在线| 久久人人精品亚洲av| 国产免费现黄频在线看| 成人三级做爰电影| 久久精品亚洲精品国产色婷小说| 一级黄色大片毛片| 老司机亚洲免费影院| 久久人人97超碰香蕉20202| 男女床上黄色一级片免费看| 淫秽高清视频在线观看| bbb黄色大片| 最近最新中文字幕大全电影3 | 成人免费观看视频高清| 在线永久观看黄色视频| 国产三级黄色录像| 交换朋友夫妻互换小说| 亚洲欧美一区二区三区黑人| 黄网站色视频无遮挡免费观看| 香蕉丝袜av| 俄罗斯特黄特色一大片| 午夜精品久久久久久毛片777| 亚洲精品国产色婷婷电影| 美女福利国产在线| 精品国产超薄肉色丝袜足j| 俄罗斯特黄特色一大片| 国产97色在线日韩免费| 国产高清视频在线播放一区| 90打野战视频偷拍视频| 久久伊人香网站| 色老头精品视频在线观看| 91精品三级在线观看| 日韩av在线大香蕉| 国产97色在线日韩免费| 手机成人av网站| 亚洲欧美日韩无卡精品| 90打野战视频偷拍视频| 久久久久国产一级毛片高清牌| 美女福利国产在线| 成人av一区二区三区在线看| 国产蜜桃级精品一区二区三区| 国产精品国产av在线观看| 国产成人精品久久二区二区91| 熟女少妇亚洲综合色aaa.| 日本免费一区二区三区高清不卡 | 亚洲一区中文字幕在线| 国产一区在线观看成人免费| 大香蕉久久成人网| 国产亚洲欧美精品永久| 又黄又爽又免费观看的视频| 精品人妻1区二区| 嫩草影院精品99| 国产亚洲欧美在线一区二区| av天堂在线播放| a级片在线免费高清观看视频| 亚洲男人的天堂狠狠| 女同久久另类99精品国产91| 成人免费观看视频高清| 高清在线国产一区| 亚洲欧美日韩无卡精品| 国产精品久久久久久人妻精品电影| 中文字幕色久视频| 免费看a级黄色片| 亚洲五月天丁香| 国产亚洲精品一区二区www| 久久精品国产清高在天天线| 视频区图区小说| 在线观看舔阴道视频| 国产精品免费视频内射| 一a级毛片在线观看| a级毛片在线看网站| 国产成人av激情在线播放| 国产高清激情床上av| 久久久久久久久久久久大奶| 亚洲人成伊人成综合网2020| ponron亚洲| 欧美日韩乱码在线| 黑人猛操日本美女一级片| 超碰97精品在线观看| 精品久久久久久久毛片微露脸| 国内久久婷婷六月综合欲色啪| 欧美日韩av久久| 欧美老熟妇乱子伦牲交| 精品久久蜜臀av无| 麻豆成人av在线观看| www.999成人在线观看| 无人区码免费观看不卡| svipshipincom国产片| 自线自在国产av| 99国产精品一区二区蜜桃av| 久久久国产一区二区| 老汉色∧v一级毛片| 国产午夜精品久久久久久| 久99久视频精品免费| 一本大道久久a久久精品| 一进一出好大好爽视频| 午夜精品在线福利| 一区二区三区国产精品乱码| 99精品欧美一区二区三区四区| 别揉我奶头~嗯~啊~动态视频| 9191精品国产免费久久| 国产高清激情床上av| 99久久精品国产亚洲精品| 手机成人av网站| 亚洲精品美女久久久久99蜜臀| 一级作爱视频免费观看| 真人做人爱边吃奶动态| 天天影视国产精品| 99香蕉大伊视频| av电影中文网址| 免费av毛片视频| 国产极品粉嫩免费观看在线| 日本三级黄在线观看| 女人被躁到高潮嗷嗷叫费观| 一个人免费在线观看的高清视频| aaaaa片日本免费| 一本大道久久a久久精品| 天天躁狠狠躁夜夜躁狠狠躁| 国产成人精品久久二区二区91| 国产成人欧美在线观看| 欧美日韩亚洲高清精品| 日韩视频一区二区在线观看| 成年女人毛片免费观看观看9| 亚洲欧美精品综合一区二区三区| 亚洲欧美日韩无卡精品| 一级作爱视频免费观看| 91精品国产国语对白视频| 国产一区在线观看成人免费| 国产伦人伦偷精品视频| 国产日韩一区二区三区精品不卡| 亚洲专区字幕在线| 男女做爰动态图高潮gif福利片 | 人人妻,人人澡人人爽秒播| 亚洲性夜色夜夜综合| 搡老乐熟女国产| 久久国产乱子伦精品免费另类| videosex国产| 三级毛片av免费| 久久精品国产综合久久久| 国产精品久久久av美女十八| 电影成人av| 日韩有码中文字幕| 美女扒开内裤让男人捅视频| 亚洲欧美精品综合久久99| 国产乱人伦免费视频| 99精品欧美一区二区三区四区| 午夜福利在线观看吧| 夜夜躁狠狠躁天天躁| 亚洲人成网站在线播放欧美日韩| 天堂动漫精品| 美女 人体艺术 gogo| 国产精品国产高清国产av| 日韩成人在线观看一区二区三区| 大型av网站在线播放| 正在播放国产对白刺激| 妹子高潮喷水视频| 亚洲激情在线av| 国产麻豆69| 老汉色∧v一级毛片| 欧美日韩中文字幕国产精品一区二区三区 | 国产高清国产精品国产三级| 少妇粗大呻吟视频| 99国产综合亚洲精品| 丰满人妻熟妇乱又伦精品不卡| 人人妻,人人澡人人爽秒播| 亚洲九九香蕉| 夜夜躁狠狠躁天天躁| 夜夜看夜夜爽夜夜摸 | 亚洲中文字幕日韩| 国产又色又爽无遮挡免费看| 可以免费在线观看a视频的电影网站| 一级黄色大片毛片| 日本免费a在线| 久久久精品国产亚洲av高清涩受| 亚洲国产欧美日韩在线播放| 亚洲精品美女久久av网站| 国产97色在线日韩免费| 午夜激情av网站| 久久久久久久午夜电影 | 丰满人妻熟妇乱又伦精品不卡| 成人三级黄色视频| 18禁国产床啪视频网站| 老司机福利观看| 男人舔女人下体高潮全视频| 久久伊人香网站| 另类亚洲欧美激情| 国产精品永久免费网站| 久久久久久人人人人人| 亚洲精品一卡2卡三卡4卡5卡| 两个人免费观看高清视频| 日本wwww免费看| 色综合婷婷激情| 黄片小视频在线播放| 国产精品美女特级片免费视频播放器 | 免费看a级黄色片| 久久久精品国产亚洲av高清涩受| 午夜激情av网站| 亚洲精品美女久久av网站| 国产精品久久电影中文字幕| 一边摸一边抽搐一进一出视频| 国产亚洲精品第一综合不卡| 中文欧美无线码| 久久久久久久久中文| 日韩 欧美 亚洲 中文字幕| 高清黄色对白视频在线免费看| 午夜福利影视在线免费观看| 80岁老熟妇乱子伦牲交| 嫁个100分男人电影在线观看| 国产成+人综合+亚洲专区|