摘要:原始圖卷積神經(jīng)網(wǎng)絡(luò)(GCN) 的層次結(jié)構(gòu)較為復(fù)雜,其規(guī)則固定的鄰域聚合難以動(dòng)態(tài)調(diào)整鄰居節(jié)點(diǎn)權(quán)重,導(dǎo)致相關(guān)已有模型在數(shù)據(jù)間高階關(guān)聯(lián)捕獲與長(zhǎng)尾興趣點(diǎn)推薦上的表現(xiàn)不佳。為此,本文提出了一種結(jié)合簡(jiǎn)化GCN與注意力機(jī)制的POI推薦模型(SAGCF) 。首先對(duì)傳統(tǒng)GCN進(jìn)行架構(gòu)剪枝,去除冗余的激活函數(shù)和特征變換操作,使其專(zhuān)注于表示POI的高階連通性。其次,引入注意力機(jī)制自適應(yīng)調(diào)整鄰居節(jié)點(diǎn)權(quán)重,以克服靜態(tài)權(quán)重分配的局限性。實(shí)驗(yàn)結(jié)果表明,SAGCF模型在Foursquare和Yelp兩個(gè)數(shù)據(jù)集上均優(yōu)于同類(lèi)方法,召回率平均提升5.90%,NDCG平均提升15.98%。
關(guān)鍵詞:POI推薦;圖卷積神經(jīng)網(wǎng)絡(luò);注意力機(jī)制;神經(jīng)協(xié)同過(guò)濾
中圖分類(lèi)號(hào):TP183" " " 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2025)19-0026-07
開(kāi)放科學(xué)(資源服務(wù)) 標(biāo)識(shí)碼(OSID)
0 引言
隨著互聯(lián)網(wǎng)的發(fā)展和移動(dòng)設(shè)備的普及,移動(dòng)互聯(lián)網(wǎng)與空間信息技術(shù)深度融合,基于位置的社交網(wǎng)絡(luò)(Location-Based Social Network, LBSN) 成為人們?nèi)粘I钪兄匾囊徊糠諿1]。然而,在享受移動(dòng)設(shè)備和LBSN便捷服務(wù)的同時(shí),用戶也面臨信息過(guò)載與選擇困難等挑戰(zhàn)[2]。興趣點(diǎn)推薦(POI Recommendation) 系統(tǒng)因此誕生,并逐漸成為各大互聯(lián)網(wǎng)平臺(tái)的重要組成部分。為提高POI推薦效果,近年來(lái)大量研究致力于挖掘用戶與POI之間的潛在交互關(guān)系??紤]到移動(dòng)社交網(wǎng)絡(luò)的特征可以自然地表示為圖結(jié)構(gòu),一些研究將圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN) 引入到POI推薦任務(wù)中,期望通過(guò)圖學(xué)習(xí)方法更有效地捕捉用戶和POI之間的潛在關(guān)聯(lián)。
這類(lèi)基于圖學(xué)習(xí)的推薦系統(tǒng)主要分為兩類(lèi)[3]:一是利用用戶與POI的交互數(shù)據(jù)(如簽到記錄) 構(gòu)造圖結(jié)構(gòu),挖掘高階的用戶興趣偏好;二是結(jié)合用戶的社交屬性、地理信息以及時(shí)間上下文等額外數(shù)據(jù)改善推薦效果。許多研究取得了重要進(jìn)展。Chang等[4]提出了一個(gè)基于GNN的POI推薦模型(GPR) ,通過(guò)訓(xùn)練用戶與POI的傳入和傳出影響的地理潛在表示,估計(jì)用戶的個(gè)性化偏好。Zhong等[5]根據(jù)POI之間的地理距離構(gòu)造了一個(gè)空間圖,并利用圖卷積網(wǎng)絡(luò)(Graph Convolutional Network, GCN) 表示POI之間的高階連通性,從而緩解了數(shù)據(jù)稀疏性帶來(lái)的挑戰(zhàn)。
盡管多種圖神經(jīng)網(wǎng)絡(luò)的引入為POI推薦領(lǐng)域提供了新的研究思路,但現(xiàn)有研究多注重使用不同的額外信息對(duì)GCN進(jìn)行輔助增強(qiáng),反而忽視了對(duì)GCN本身結(jié)構(gòu)對(duì)POI推薦結(jié)果影響的研究。傳統(tǒng)GCN中的某些復(fù)雜操作對(duì)于POI推薦任務(wù)而言并非必要,同時(shí)GCN自身在處理不同鄰居節(jié)點(diǎn)重要性權(quán)重時(shí)仍存在一定的局限性。為進(jìn)一步提升推薦系統(tǒng)性能,本文簡(jiǎn)化了GCN網(wǎng)絡(luò),使其專(zhuān)注于高效表示用戶與POI的高階聯(lián)系。同時(shí),用注意力機(jī)制替代原始GCN固定的鄰域聚合規(guī)則,最終提出了一種結(jié)合輕量化GCN與注意力機(jī)制的POI推薦模型(SAGCF) 。
1 相關(guān)理論
1.1 圖卷積神經(jīng)網(wǎng)絡(luò)
圖結(jié)構(gòu)數(shù)據(jù)主要由節(jié)點(diǎn)和邊組成,其中節(jié)點(diǎn)表示對(duì)象,邊表示對(duì)象間的關(guān)系。節(jié)點(diǎn)鄰域聚合是通過(guò)整合目標(biāo)節(jié)點(diǎn)及其關(guān)聯(lián)鄰居的數(shù)據(jù)信息(如統(tǒng)計(jì)值、特征向量) ,實(shí)現(xiàn)對(duì)目標(biāo)潛在信息的挖掘。
近年來(lái),基于深度學(xué)習(xí)的推薦系統(tǒng)研究受到了廣泛關(guān)注,其中圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network, GCN) 已成為重要的研究方向之一。GCN由Thomas Kipf于2016年在論文 Graph Convolutional Networks 中首次提出[6],是一種專(zhuān)門(mén)用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。它在節(jié)點(diǎn)特征表示上應(yīng)用卷積操作,可以有效捕獲節(jié)點(diǎn)之間的關(guān)系和結(jié)構(gòu)信息,并通過(guò)聚合節(jié)點(diǎn)鄰居的信息來(lái)更新節(jié)點(diǎn)的特征表示。GCN為多層結(jié)構(gòu),每一層都對(duì)節(jié)點(diǎn)表示進(jìn)行更新,將鄰居節(jié)點(diǎn)的信息聚合到當(dāng)前節(jié)點(diǎn)。GCN的層間特征更新公式如公式(1) (2) 所示。
[ [H(0)=X] (1) [H(k+1)=σ(D-12AD-12H(k)W(k))] (2) ]
式中:X表示圖的節(jié)點(diǎn)特征矩陣,每個(gè)節(jié)點(diǎn)都有一個(gè)特征向量,特征矩陣收集了所有節(jié)點(diǎn)的特征;H(k)是更新到第k層的節(jié)點(diǎn)特征矩陣,H(0)為第0層,即輸入層;[A]是加上自環(huán)的鄰接矩陣,即特征矩陣X的鄰接矩陣A加一個(gè)單位矩陣;[D]是[A]的度矩陣;W(k)表示第k層的權(quán)重矩陣;[σ]代表激活函數(shù),在每一層之后應(yīng)用非線性激活函數(shù)。
GCN在節(jié)點(diǎn)分類(lèi)、鏈接預(yù)測(cè)、圖分類(lèi)、推薦系統(tǒng)等多種場(chǎng)景中均表現(xiàn)出良好的特征提取能力。
1.2 注意力機(jī)制
注意力機(jī)制是一種在深度學(xué)習(xí)中廣泛應(yīng)用的技術(shù),其模擬了人類(lèi)在處理信息時(shí)的關(guān)注和集中注意力的過(guò)程,旨在從眾多信息中選擇出對(duì)當(dāng)前任務(wù)目標(biāo)更關(guān)鍵的信息[7]。Mnih等[8]首次提出了注意力機(jī)制的概念,通過(guò)計(jì)算輸入數(shù)據(jù)的權(quán)重,突出某些關(guān)鍵信息的影響。其核心數(shù)學(xué)表達(dá)如公式(3) 所示:
[ [AttentionQ,K,V=softmaxQKTdV] (3) ]
式中:Q、K、V分別為查詢向量、鍵向量和值向量。在本研究中,Q、K、V可由用戶與POI的特征表示經(jīng)過(guò)線性變換得到;d為縮放因子,通常取為鍵向量K的長(zhǎng)度,用于平衡點(diǎn)積操作的數(shù)值穩(wěn)定性;T表示矩陣轉(zhuǎn)置;softmax函數(shù)對(duì)相關(guān)性權(quán)重進(jìn)行歸一化,得到注意力權(quán)重矩陣。
注意力機(jī)制在推薦領(lǐng)域中普遍用于改進(jìn)推薦算法的效果和個(gè)性化能力。
1.3 神經(jīng)協(xié)同過(guò)濾
與傳統(tǒng)協(xié)同過(guò)濾模型不同,神經(jīng)協(xié)同過(guò)濾是一種基于神經(jīng)網(wǎng)絡(luò)的方法,其以神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)替代內(nèi)積,可以從數(shù)據(jù)中學(xué)習(xí)任意交互函數(shù),突破內(nèi)積帶來(lái)的限制。它通過(guò)學(xué)習(xí)用戶和項(xiàng)目之間的隱式反饋數(shù)據(jù),建立一個(gè)通用框架以模擬用戶和項(xiàng)目之間的交互關(guān)系,如圖1所示。該框架包括輸入層、嵌入層、神經(jīng)協(xié)同過(guò)濾層和預(yù)測(cè)層,每一層的輸出都作為下一層的輸入。使用高維稀疏向量表示用戶和項(xiàng)目的輸入,經(jīng)嵌入層映射為低維稠密向量,然后將這些向量拼接送入神經(jīng)協(xié)同過(guò)濾層進(jìn)行非線性計(jì)算,最后通過(guò)預(yù)測(cè)層訓(xùn)練模型并得到預(yù)測(cè)結(jié)果。通過(guò)對(duì)神經(jīng)協(xié)同過(guò)濾層進(jìn)行定制,能夠?qū)W習(xí)到用戶和項(xiàng)目之間特定的交互關(guān)系。
神經(jīng)協(xié)同過(guò)濾框架的預(yù)測(cè)模型如公式(4) 所示:
[ [yui=f(PTvuU,QTviI|P,Q,θf(wàn))] (4) ]
式中:P為用戶的潛在特征矩陣;Q為項(xiàng)目的潛在特征矩陣;[vu],[vi]分別為用戶和項(xiàng)目的獨(dú)熱編碼向量;f為多層神經(jīng)網(wǎng)絡(luò)函數(shù),通過(guò)多層非線性變換逐步提取用戶和物品之間的特征交互;[θf(wàn)]為函數(shù)f的模型參數(shù)。
本文的用戶與POI交互數(shù)據(jù)可輕松轉(zhuǎn)化為用戶-POI的二部圖數(shù)據(jù)結(jié)構(gòu),適合使用GCN進(jìn)行協(xié)同過(guò)濾。
2 SAGCF推薦模型
推薦系統(tǒng)的核心任務(wù)是基于用戶-物品的交互數(shù)據(jù),學(xué)習(xí)節(jié)點(diǎn)(用戶和物品) 的嵌入表示,從而預(yù)測(cè)用戶的潛在興趣。因此,本文提出了基于GCN與Attention機(jī)制的推薦模型(SAGCF) 。針對(duì)傳統(tǒng)GCN設(shè)計(jì)中對(duì)協(xié)同過(guò)濾任務(wù)性能貢獻(xiàn)較小的特征變換和非線性激活部分,本文進(jìn)行了簡(jiǎn)化,去除這些部分以構(gòu)建輕量化的GCN網(wǎng)絡(luò),專(zhuān)注于表示POI(Point of Interest) 之間的高階連通性[9],并對(duì)數(shù)據(jù)集進(jìn)行特征提取,從而捕捉數(shù)據(jù)中的潛在特征。
另一方面,傳統(tǒng)GCN在應(yīng)用于POI推薦領(lǐng)域時(shí),節(jié)點(diǎn)特征的聚合方式基于鄰接矩陣的歸一化操作,即每個(gè)節(jié)點(diǎn)通過(guò)對(duì)鄰居節(jié)點(diǎn)的特征加權(quán)求和后進(jìn)行更新。這種固定規(guī)則的更新方式無(wú)法動(dòng)態(tài)調(diào)整不同鄰居節(jié)點(diǎn)的重要性,難以為不同鄰居賦予差異化的權(quán)重,使得模型的表達(dá)能力受限。本文在SAGCF模型中引入了注意力機(jī)制,通過(guò)學(xué)習(xí)自適應(yīng)的注意力系數(shù),動(dòng)態(tài)調(diào)整用戶與POI之間的關(guān)聯(lián)權(quán)重。該機(jī)制不僅增強(qiáng)了模型對(duì)用戶與POI關(guān)系的刻畫(huà)能力,還能夠更好地捕捉用戶對(duì)不同POI的個(gè)性化偏好,以提升推薦效果。
SAGCF模型總體結(jié)構(gòu)如圖2所示。
2.1 問(wèn)題定義
POI推薦是通過(guò)對(duì)用戶與POI間的歷史交互記錄進(jìn)行分析以獲取用戶偏好,從而為目標(biāo)用戶推薦可能感興趣的新地點(diǎn)。對(duì)于移動(dòng)用戶,其特征天然適合用圖結(jié)構(gòu)表示,本文將POI與用戶間的交互行為構(gòu)成交互二部圖的形式。在二部圖中,一部分為用戶節(jié)點(diǎn),另一部分為POI節(jié)點(diǎn),邊表示用戶與POI的交互記錄。設(shè)User集合為U={ u1, u2,..., un },POI集合為P={p1, p2,..., pm}。記錄User和POI交互的數(shù)據(jù)集合為I={ ( ui, pj) },i∈[1, n],j∈[1, m]。具體結(jié)構(gòu)如圖3所示。
成功將數(shù)據(jù)構(gòu)建為二部圖形式后,即可獲取該圖結(jié)構(gòu)的鄰接矩陣R,作為模型的輸入。二元矩陣R用于描述用戶與POI之間的互動(dòng)關(guān)系,這種顯性關(guān)聯(lián)數(shù)據(jù)具有直接可追蹤性。具體而言,當(dāng)用戶ui在地點(diǎn)pj有訪問(wèn)記錄時(shí),矩陣元素r{i,j}賦值為1,反之則為0。興趣點(diǎn)推薦的核心目標(biāo),就是利用現(xiàn)有交互矩陣R進(jìn)行建模分析,預(yù)測(cè)用戶對(duì)未訪問(wèn)地點(diǎn)的潛在偏好。當(dāng)特定用戶ui尚未訪問(wèn)某些候選POI集合時(shí),可通過(guò)算法計(jì)算對(duì)這些候選地點(diǎn)的預(yù)測(cè)評(píng)分(如公式5所示) ,最終根據(jù)計(jì)算得到的預(yù)測(cè)結(jié)果進(jìn)行降序排序,生成最終推薦結(jié)果Lu={p1,p2,…,pK}(如公式6所示) 。
[ [Ri,j=SAGCFui,pj] (5) [Lu={P|sorted by Ri,j, K}] (6) ]
式中:[Ri,j]表示更新后用戶ui對(duì)POI的預(yù)測(cè)評(píng)分,SAGCF為本文提出的POI推薦算法模型,K指代推薦結(jié)果列表中的POI個(gè)數(shù),Lu表示為用戶u最終生成的個(gè)性化推薦列表。
2.2 注意力系數(shù)求解模塊
傳統(tǒng)圖卷積網(wǎng)絡(luò)(GCN) 采用固定規(guī)則進(jìn)行鄰域聚合(如拉普拉斯歸一化) ,無(wú)法區(qū)分不同POI對(duì)用戶偏好的差異化影響,導(dǎo)致對(duì)長(zhǎng)尾興趣點(diǎn)的推薦效果欠佳。為解決這一問(wèn)題,本文在模型中引入注意力機(jī)制,通過(guò)自適應(yīng)地為不同節(jié)點(diǎn)間的關(guān)系分配權(quán)重,從而更好地強(qiáng)化用戶差異化興趣的學(xué)習(xí)。
如圖3所示,原始交互數(shù)據(jù)轉(zhuǎn)化為圖結(jié)構(gòu)并得到二元矩陣R后,下一步即為節(jié)點(diǎn)間注意力系數(shù)的計(jì)算。具體而言,從單個(gè)圖注意力層(Graph Attention Layer, GAL) 出發(fā),設(shè)輸入為一組節(jié)點(diǎn)特征矩陣[h=h1,h2,...,hn,hi∈RF],其中[hi]表示第i個(gè)節(jié)點(diǎn)的特征向量,n為節(jié)點(diǎn)總數(shù),F(xiàn)為每個(gè)節(jié)點(diǎn)特征的維度。
首先,對(duì)原始節(jié)點(diǎn)特征[hi]進(jìn)行線性投影以增強(qiáng)特征表達(dá)能力,隨后利用投影后的節(jié)點(diǎn)特征計(jì)算未歸一化的節(jié)點(diǎn)間注意力得分。具體過(guò)程如公式(7) 所示:
[βij=aWhi,Whj] (7)
式中:[hi]和[hj]分別表示節(jié)點(diǎn)i與節(jié)點(diǎn)j的特征向量,W表示對(duì)節(jié)點(diǎn)特征的線性投影操作,a函數(shù)用于將拼接后的高維特征映射到實(shí)數(shù)上,從而得到未歸一化注意力系數(shù)[βij]。
為避免高度數(shù)節(jié)點(diǎn)權(quán)重被嚴(yán)重稀釋而導(dǎo)致結(jié)果偏差,需要對(duì)注意力系數(shù)進(jìn)行歸一化處理,以合理壓縮高度數(shù)節(jié)點(diǎn)的權(quán)重,使模型專(zhuān)注于節(jié)點(diǎn)間的相對(duì)重要性。如公式(8) 所示,最終得到注意力系數(shù)矩陣[αij]。
[ [αij=Softmax(βij)] (8) ]
生成的注意力系數(shù)矩陣[αij]將用于2.3節(jié)的鄰域聚合與特征更新,最終服務(wù)于2.4節(jié)的推薦列表生成。
2.3 特征更新與聚合模塊
2.3.1 特征更新
在獲取到節(jié)點(diǎn)間的注意力系數(shù)矩陣后,模型進(jìn)入特征更新階段。在POI推薦場(chǎng)景下,傳統(tǒng)GCN中復(fù)雜的非線性激活和特征變換操作顯著增加了模型參數(shù)量,但對(duì)其捕獲用戶-POI高階關(guān)聯(lián)能力的提升有限。因此,對(duì)原有GCN進(jìn)行了基于任務(wù)驅(qū)動(dòng)的圖卷積架構(gòu)剪枝操作,移除特征更新過(guò)程中的非線性激活與特征變換部分,僅保留鄰域傳播核心功能的輕量架構(gòu),在降低復(fù)雜度的同時(shí)增強(qiáng)對(duì)稀疏簽到數(shù)據(jù)的適應(yīng)性。
同時(shí),如2.2節(jié)所述,為增強(qiáng)模型在區(qū)分不同POI對(duì)用戶偏好的差異化影響方面的能力,突破傳統(tǒng)鄰域聚合中固定權(quán)重分配的局限性,對(duì)于特征更新公式,使用注意力系數(shù)矩陣替換原本GCN中基于固定規(guī)則(如拉普拉斯矩陣僅依賴節(jié)點(diǎn)度數(shù)進(jìn)行靜態(tài)歸一化) 的鄰域聚合操作,如公式(9) 所示,對(duì)節(jié)點(diǎn)特征進(jìn)行更新。
[ [H(k+1)=αijH(k)] (9) ]
式中:H(k)為更新到第k層的節(jié)點(diǎn)特征矩陣,H(k+1)表示第k+1層的節(jié)點(diǎn)特征矩陣,[αij]為上一步求得的節(jié)點(diǎn)間注意力系數(shù)矩陣。
2.3.2 特征聚合
在經(jīng)過(guò)多層的特征更新,獲得多個(gè)更新后的特征矩陣后,為了充分融合不同階次的圖結(jié)構(gòu)信息,本模型需對(duì)多層更新后的節(jié)點(diǎn)特征進(jìn)行聚合操作,將聚合結(jié)果作為最終特征表達(dá)。傳統(tǒng)圖卷積網(wǎng)絡(luò)(GCN) 通常通過(guò)顯式添加自連接(Self-Loop) 來(lái)保留節(jié)點(diǎn)自身特征,但這種設(shè)計(jì)隨著網(wǎng)絡(luò)層數(shù)的增加,節(jié)點(diǎn)特征容易因重復(fù)疊加而產(chǎn)生過(guò)平滑現(xiàn)象。本文采用層組合操作,代替現(xiàn)有圖卷積操作中對(duì)目標(biāo)節(jié)點(diǎn)本身的整合操作,即不專(zhuān)門(mén)處理自連接,通過(guò)層組合捕捉與自連接相同的效果。
在模型中,用戶初始輸入第0層的用戶特征與POI特征,然后通過(guò)公式(10) 進(jìn)行特征更新,獲得更高層的特征。層組合操作是在完成K層特征更新后,進(jìn)一步將每一層更新后獲得的特征組合起來(lái),從而形成用戶與POI特征的最終表示。通過(guò)層組合,模型能夠在保留多階關(guān)系信息的同時(shí),緩解過(guò)平滑問(wèn)題。具體操作如公式(10) 所示:
[ [Hfinal=k=0KakH(k)] (10) ]
式中:H(k)表示第k層經(jīng)過(guò)特征更新后的節(jié)點(diǎn)特征矩陣,ak是第k層嵌入的權(quán)重,取a=1/(k+1)。[Hfinal]為最終特征表示。
2.4 候選POI排序與推薦生成
推薦列表生成如圖4所示,在得到用戶特征矩陣eu與POI特征矩陣ep后,將兩個(gè)矩陣相乘,得到用戶-POI交互偏好分?jǐn)?shù)矩陣。然后根據(jù)偏好分?jǐn)?shù)對(duì)POI進(jìn)行排序,取前K個(gè)POI,得出最終的POI推薦列表Top-K。如公式(11) (12) 所示,其核心在于通過(guò)用戶特征與 POI 特征矩陣的內(nèi)積,計(jì)算每個(gè)用戶對(duì)每個(gè)POI的偏好分?jǐn)?shù),從而量化用戶對(duì)POI的興趣強(qiáng)度。在得到偏好得分矩陣后,對(duì)每個(gè)用戶的得分結(jié)果按降序排序,并提取分?jǐn)?shù)最高的K個(gè)POI,作為最終的推薦結(jié)果。最終輸出的推薦列表形式為L(zhǎng)u={p1,p2,…,pK},分?jǐn)?shù)最高的p1表示用戶最感興趣的POI,依次類(lèi)推。
[[Ru,p=euTep] (11) [Lu=P|sorted byRu,p,K] (12) ]
式中:[Ru,p]表示用戶u對(duì)興趣點(diǎn)p的推薦排名分?jǐn)?shù);[eu]、[eu]分別表示用戶與POI的特征矩陣;T表示矩陣轉(zhuǎn)置操作。K指代推薦結(jié)果列表中的POI個(gè)數(shù),Lu表示最終生成的個(gè)性化推薦列表。
2.5 損失函數(shù)
本實(shí)驗(yàn)采用貝葉斯個(gè)性化排名(Bayesian Personalized Ranking,BPR) 損失函數(shù),即一種用于向用戶推薦個(gè)性化偏好的損失函數(shù),由 Steffen Rendle 等人[10]為解決對(duì)隱式反饋數(shù)據(jù)進(jìn)行推薦的問(wèn)題而最先提出。相比于評(píng)分、評(píng)論等明確表達(dá)用戶喜好的顯性交互記錄,停留時(shí)間、簽到次數(shù)等隱式反饋數(shù)據(jù)也可以間接反映用戶興趣。
BPR的核心理念為:對(duì)于給定用戶以及兩個(gè)物品,模型需確保用戶偏好物品排在不偏好物品之前。這與本實(shí)驗(yàn)最終給出前K個(gè)POI推薦排序列表的結(jié)果相一致。BPR損失函數(shù)不直接預(yù)測(cè)用戶對(duì)POI的偏好數(shù)值,而是基于用戶的歷史交互數(shù)據(jù),將正負(fù)樣本間的分?jǐn)?shù)差距最大化,這與本文引入注意力機(jī)制的目標(biāo)一致。注意力系數(shù)的學(xué)習(xí)直接影響用戶-POI評(píng)分的計(jì)算結(jié)果,因此BPR損失能夠間接優(yōu)化注意力機(jī)制的學(xué)習(xí)效果。BPR損失的數(shù)學(xué)表達(dá)式如式(13) 所示:
[ [LBPR=-(u,i,j)∈Dlnσ(yu,i-yu,j)+λΘ2] (13) ]
式中:Θ = {E(0)},即第0層的特征嵌入;λ用于控制L2正則化的強(qiáng)度;[σ]為sigmoid函數(shù)。
3 實(shí)驗(yàn)設(shè)計(jì)與分析
3.1 實(shí)驗(yàn)數(shù)據(jù)集
本實(shí)驗(yàn)選用的研究數(shù)據(jù)集為公開(kāi)數(shù)據(jù)集 FourSquare 和 Yelp。FourSquare[11]是一個(gè)全球范圍的基于位置的社交網(wǎng)絡(luò)服務(wù)平臺(tái),用戶可以通過(guò)簽到記錄自己的地理位置信息。Yelp 是一家知名的本地商戶信息與評(píng)價(jià)平臺(tái),用戶可以對(duì)商戶進(jìn)行評(píng)論、評(píng)分,并分享相關(guān)照片。其數(shù)據(jù)包含商戶屬性、用戶評(píng)論、評(píng)分等多維度信息。
如表 1 所示,F(xiàn)oursquare數(shù)據(jù)集的簽到頻次較高,商戶偏休閑場(chǎng)景;Yelp簽到頻次較低,商戶范圍較廣,以消費(fèi)點(diǎn)評(píng)為主。本文對(duì)兩個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行去重、缺失補(bǔ)充,然后去除簽到次數(shù)小于10次的POI,最后將ID字段進(jìn)行順序化映射處理,以保證后續(xù)實(shí)驗(yàn)的可靠性。
3.2 評(píng)價(jià)指標(biāo)
為驗(yàn)證實(shí)驗(yàn)結(jié)果的有效性,本文構(gòu)建了包含召回率(Recall) 、精準(zhǔn)率(Precision) 、F1 值和歸一化折損累計(jì)增益(NDCG) 的多維度評(píng)估體系。精準(zhǔn)率量化推薦結(jié)果中正確項(xiàng)目的占比,體現(xiàn)內(nèi)容篩選的準(zhǔn)確程度;召回率反映了算法對(duì)用戶潛在興趣的覆蓋廣度以及表征信息捕捉的全面性,二者形成查準(zhǔn)與查全的互補(bǔ)關(guān)系。F1 值是 Precision 和 Recall 的調(diào)和平均。相關(guān)計(jì)算公式如 (14) (15) (16) 所示:
[ [Recall=u∈U|L(u)∩T(u)|T(u)] (14) [Precision=u∈UL(u)∩T(u)L(u)] (15) [F1=Precision×Recall×2Precision+Reacll] (16) ]
式中:U表示數(shù)據(jù)集中的用戶集合;L(u)表示系統(tǒng)生成的推薦列表中的興趣點(diǎn)集合;T(u)表示用戶的實(shí)際興趣點(diǎn)集合。
NDCG則通過(guò)位置加權(quán)策略評(píng)估排序質(zhì)量,重點(diǎn)考察高價(jià)值內(nèi)容在推薦列表中的優(yōu)先呈現(xiàn)程度。計(jì)算過(guò)程公式如公式(17) 所示:
[ [DCGk=i=1k2reli-1log2(i+1)] [IDCGk=i=1k1log2(i+1)] (17) [NDCGK=DCGKIDCGK] ]
式中:[reli]指用戶對(duì)第i個(gè)被推薦POI的傾向性,用戶選擇了該P(yáng)OI時(shí),reli值為1,反之為0;[DCGK]反映了模型預(yù)測(cè)排序結(jié)果的得分,其值越接近理想完美狀態(tài)下的排序結(jié)果分?jǐn)?shù)([IDCGk]) ,推薦結(jié)果列表的效果越好。
四個(gè)指標(biāo)分別從結(jié)果精確性(Precision) 、興趣覆蓋度(Recall) 、決策均衡性(F1) 及序列優(yōu)化度(NDCG) 四個(gè)互補(bǔ)維度完成系統(tǒng)性評(píng)測(cè)。
3.3 實(shí)驗(yàn)設(shè)置與對(duì)比模型選取
本實(shí)驗(yàn)采用POI推薦相關(guān)論文中常用的數(shù)據(jù)劃分策略,針對(duì)每個(gè)用戶的簽到記錄,以隨機(jī)抽樣方式保留 70% 的歷史行為數(shù)據(jù)作為模型訓(xùn)練集,30% 的數(shù)據(jù)作為測(cè)試集,以構(gòu)建訓(xùn)練集與測(cè)試集完全分離的驗(yàn)證環(huán)境。使用Adam作為優(yōu)化器進(jìn)行參數(shù)更新,Dropout設(shè)為0.02,應(yīng)用于特征更新層。
為評(píng)估本文的SAGCF模型,實(shí)驗(yàn)選取以下模型作為對(duì)比:
GNN-POI[12]:基于GNN的POI推薦框架,綜合社交關(guān)系和訪問(wèn)記錄學(xué)習(xí)用戶偏好表示,利用Bi-LSTM模型建模用戶的簽到序列行為,結(jié)合地理和時(shí)間特性。
NGCF[13]:基于圖神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾模型,通過(guò)圖結(jié)構(gòu)數(shù)據(jù)建模用戶和物品之間的交互關(guān)系,引入非線性激活函數(shù)和嵌入特征的逐層聚合,能夠有效學(xué)習(xí)用戶和物品的潛在表示。
FG-CF[14]:一種融合社交信息的圖協(xié)同過(guò)濾模型,創(chuàng)新性地設(shè)計(jì)了一種消息聚合機(jī)制,結(jié)合節(jié)點(diǎn)自身、鄰居和社交三種嵌入,捕捉用戶與 POI 的上下文信息。
Distance2Pre:一種基于距離度量的推薦算法,構(gòu)建用戶-物品交互矩陣,并通過(guò)距離度量方法計(jì)算用戶與物品之間的相似性,進(jìn)而預(yù)測(cè)用戶偏好[15]。
GRMF:一種基于圖正則化的矩陣分解算法。通過(guò)引入圖正則化項(xiàng),捕捉用戶和物品之間的潛在關(guān)系[16]。
3.4 實(shí)驗(yàn)結(jié)果與分析
在實(shí)驗(yàn)的特征更新與聚合階段,Layer值的選擇直接影響模型的特征表達(dá)能力。隨著模型Layer的增加,盡管能夠提取更高階的特征交互,但可能導(dǎo)致訓(xùn)練數(shù)據(jù)過(guò)度擬合及反向傳播過(guò)程中梯度衰減,因此需要通過(guò)實(shí)驗(yàn)進(jìn)行合理選擇。本實(shí)驗(yàn)基于Foursquare與Yelp兩個(gè)數(shù)據(jù)集測(cè)試了不同層數(shù)卷積對(duì)Recall和NDCG 兩個(gè)重要指標(biāo)的影響,實(shí)驗(yàn)結(jié)果如圖5所示。
從圖5中可以看出,無(wú)論是Foursquare數(shù)據(jù)集還是Yelp數(shù)據(jù)集,Recall和NDCG 隨著卷積Layer值的增加,其變化趨勢(shì)具有一致性:在Layer由1增加到2時(shí),Recall和NDCG的值總體上均呈遞增趨勢(shì),而當(dāng)Layer超過(guò)4層后,指標(biāo)值明顯開(kāi)始下降。因此,本實(shí)驗(yàn)將模型的Layer值設(shè)定為 4。
最終,在Foursquare和Yelp數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)后,將結(jié)果與本文選取的五個(gè)基線模型進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如圖 6、圖 7 所示。
通過(guò)圖6和圖7可以看出,SAGCF模型在兩個(gè)數(shù)據(jù)集上的各項(xiàng)指標(biāo)表現(xiàn)均為最優(yōu)。將模型GNN-POI與NGCF進(jìn)行對(duì)比,可以發(fā)現(xiàn),由于GCN在原始GNN的基礎(chǔ)上加入了目標(biāo)節(jié)點(diǎn)自身的特征信息,因此在POI推薦任務(wù)中,GCN相較于GNN能夠更準(zhǔn)確地表達(dá)鄰居節(jié)點(diǎn)的特征信息。進(jìn)一步對(duì)比SAGCF與其余三個(gè)模型,SAGCF在兩個(gè)數(shù)據(jù)集上召回率平均提升5.90%,NDCG平均提升15.98%,說(shuō)明去除傳統(tǒng)GCN中對(duì)協(xié)同過(guò)濾性能影響較小的特征變換和非線性激活部分,并引入注意力系數(shù)取代原有的特征更新過(guò)濾器,可以顯著提升推薦效果。這表明SAGCF模型在特征處理和交互建模方面更具優(yōu)勢(shì)。
4 總結(jié)與展望
本文提出了一種基于簡(jiǎn)化GCN與注意力機(jī)制的移動(dòng)用戶興趣點(diǎn)推薦模型(SAGCF) 。首先,針對(duì)傳統(tǒng)GCN在協(xié)同過(guò)濾任務(wù)中對(duì)性能貢獻(xiàn)較小的特征變換和非線性激活部分,進(jìn)行任務(wù)驅(qū)動(dòng)的架構(gòu)剪枝,以更高效地表示POI之間的高階連通性。然后,對(duì)于傳統(tǒng)GCN無(wú)法動(dòng)態(tài)調(diào)整鄰居節(jié)點(diǎn)權(quán)重的問(wèn)題,使用注意力機(jī)制代替原有的規(guī)則固定的鄰域聚合操作,自適應(yīng)地學(xué)習(xí)用戶與POI之間的關(guān)聯(lián)權(quán)重,增強(qiáng)模型對(duì)用戶偏好的刻畫(huà)能力。實(shí)驗(yàn)表明,SAGCF模型能夠在一定程度上有效緩解用戶簽到數(shù)據(jù)稀疏性問(wèn)題,實(shí)現(xiàn)了更優(yōu)秀的推薦性能,為POI推薦任務(wù)提供了新的解決方案。
模型SAGCF對(duì)POI推薦中的場(chǎng)景信息考慮不足,未來(lái)研究可從多維度進(jìn)行進(jìn)一步探討。首先,可以融合時(shí)空軌跡、社交關(guān)系及POI多模態(tài)信息,構(gòu)建全域用戶興趣表征;或集成知識(shí)圖譜與因果推理來(lái)增強(qiáng)模型可解釋性,生成可信的推薦依據(jù);還可以探索跨場(chǎng)景遷移學(xué)習(xí)策略,以及進(jìn)行城市級(jí)大規(guī)模POI數(shù)據(jù)場(chǎng)景下的推薦技術(shù)研究,與實(shí)際的工業(yè)應(yīng)用落地相結(jié)合。這些方向的深入研究有望推動(dòng)POI推薦系統(tǒng)在精度、健壯性及實(shí)用性上的進(jìn)步。
參考文獻(xiàn):
[1] BARAL R,ZHU X L,IYENGAR S S,et al.ReEL:review aware explanation of location recommendation[C]//Proceedings of the 26th Conference on User Modeling,Adaptation and Personalization.Singapore Singapore.ACM,2018:23-32.
[2] LOGESH R,SUBRAMANIYASWAMY V,VIJAYAKUMAR V,et al.Efficient user profiling based intelligent travel recommender system for individual and group of users[J].Mobile Networks and Applications,2019,24(3):1018-1033.
[3] 程忠,鐘濤,張帥.基于圖學(xué)習(xí)的推薦系統(tǒng)研究綜述[J].計(jì)算機(jī)科學(xué),2022,49(9): 1-13.
[4] CHANG B R,JANG G,KIM S,et al.Learning graph-based geographical latent representation for point-of-interest recommendation[C]//Proceedings of the 29th ACM International Conference on Information amp; Knowledge Management.Virtual Event Ireland.ACM,2020:135-144.
[5] ZHONG T,ZHANG S M,ZHOU F,et al.Hybrid graph convolutional networks with multi-head attention for location recommendation[J].World Wide Web,2020,23(6):3125-3151.
[6] KIPF T N,WELLING M.Semi-supervised classification with graph convolutional networks[EB/OL].2016:1609.02907. https://arxiv.org/abs/1609.02907v4.
[7] CHEN J Y,ZHANG H W,HE X N,et al.Attentive collaborative filtering:multimedia recommendation with item- and component-level attention[C]//Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval.Shinjuku Tokyo Japan.ACM,2017:335-344.
[8] MNIH V, HEESS N, GRAVES A, et al. Recurrent models of visual attention[J]. Advances in Neural Information Processing Systems, 2014(27): 2204-2212.
[9] HE X N,DENG K,WANG X,et al.LightGCN:simplifying and powering graph convolution network for recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.Virtual Event China.ACM,2020:639-648.
[10] RENDLE S,F(xiàn)REUDENTHALER C,GANTNER Z,et al.BPR:Bayesian personalized ranking from implicit feedback[EB/OL].2012:1205.2618. https://arxiv.org/abs/1205.2618v1.
[11] YANG D Q,QU B Q,YANG J,et al.Revisiting user mobility and social relationships in LBSNs:a hypergraph embedding approach[C]//The World Wide Web Conference.San Francisco CA USA.ACM,2019:2147-2157.
[12] ZHANG J Y,LIU X,ZHOU X F,et al.Leveraging graph neural networks for point-of-interest recommendations[J].Neurocomputing,2021,462:1-13.
[13] WANG X,HE X N,WANG M,et al.Neural graph collaborative filtering[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval.Paris France.ACM,2019:165-174.
[14] CAI Z,YUAN G,QIAO S J,et al.FG-CF:Friends-aware graph collaborative filtering for POI recommendation[J].Neurocomputing,2022,488:107-119.
[15] CUI Q,TANG Y Y,WU S,et al.Distance2Pre:personalized spatial preference for next point-of-interest prediction[M]//Advances in Knowledge Discovery and Data Mining.Cham:Springer International Publishing,2019:289-301.
[16] CUI Z,GAO Y L,LIU J X,et al.L2,1-GRMF:an improved graph regularized matrix factorization method to predict drug-target interactions[J].BMC Bioinformatics,2019,20(8):287.
【通聯(lián)編輯:唐一東】