基于時空注意力機制的用戶興趣預(yù)測

摘要：隨著個性化推薦的不斷發(fā)展，用戶興趣的快速捕捉和預(yù)測成為推薦領(lǐng)域重要研究熱點之一。目前，用戶時空行為興趣預(yù)測研究主要集中于利用時間和空間信息挖掘用戶偏好。然而，用戶的行為模式通常具有時空規(guī)律性，挖掘用戶相鄰訪問行為之間時空差距能夠更有效地表征用戶興趣。因此，文章提出一種基于時空注意力機制的用戶興趣預(yù)測方法STAM，該方法通過雙層時空注意力機制來捕捉時空間隔對用戶興趣的影響，第一層自注意力機制融合時空間隔信息，考慮用戶歷史訪問記錄內(nèi)部的時空關(guān)聯(lián)性，第二層注意力機制從訪問地點類別集合中匹配代表性信息。為驗證STAM的有效性，文章在Foursquare、Gowalla和Brightkite數(shù)據(jù)集上進(jìn)行實驗，結(jié)果表明，STAM能有效提升用戶興趣預(yù)測準(zhǔn)確度，相較最佳基準(zhǔn)方法Distance2Pre平均提升2.18%。

關(guān)鍵詞：時空行為；注意力機制；興趣預(yù)測；時空注意力

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）31-0062-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID） ：

0 引言

近年來，隨著信息通信技術(shù)及其相關(guān)應(yīng)用的快速發(fā)展，社交網(wǎng)絡(luò)數(shù)據(jù)、移動通信數(shù)據(jù)等不同來源的呈現(xiàn)出時間和位置屬性的時空數(shù)據(jù)迅速膨脹，對人們的生活產(chǎn)生了巨大影響[1]。在不同的時空背景下，大量信息的涌入使得對用戶行為進(jìn)行準(zhǔn)確分析和預(yù)測變得迫切。為了應(yīng)對這種情況，個性化分析和預(yù)測正在從基于同構(gòu)的單一化的數(shù)據(jù)方式轉(zhuǎn)向基于多源的異構(gòu)的多維信息的混合方式[2]。越來越多的用戶傾向于通過基于位置的社交網(wǎng)絡(luò)分享內(nèi)容，如Foursquare、Facebook、Places等[3]，由此產(chǎn)生了海量的用戶時空行為數(shù)據(jù)，推動了用戶興趣預(yù)測研究向多源異構(gòu)的多維信息混合方式的發(fā)展。

在實際生活中除了時間信息，用戶的行為中還包含大量的空間信息，目前結(jié)合用戶行為中時間和空間信息的研究有：Liu等人[4]提出一種時空循環(huán)神經(jīng)網(wǎng)絡(luò)（Spatial Temporal Recurrent Neural Networks，簡稱STRNN），使用每兩次連續(xù)訪問之間的時間和空間間隔作為顯式信息來提高模型的性能。Zhang等人[5]提出了時空門控網(wǎng)絡(luò)（Spatio-Temporal Gated Network，簡稱STGN） 通過引入時空門來捕獲連續(xù)簽到之間的時空關(guān)系。

2020年，Chen等人[6]提出一種深度學(xué)習(xí)網(wǎng)絡(luò)，把乘客需求以空間圖的形式建模，通過由Conv LSTM組成的編碼器－解碼器框架以端到端的方式學(xué)習(xí)數(shù)據(jù)中的時空特性。Wu等人[7]提出具有異構(gòu)信息的統(tǒng)一模型UMHI（Unified Model with Heterogeneous Informa?tion，簡稱UMHI） ，通過用戶產(chǎn)生的足跡來學(xué)習(xí)高度復(fù)雜的空間和時間屬性之間的交互作用。2021 年，Huang等人[8]提出基于注意力機制的時空長短期記憶網(wǎng)絡(luò)（Attention Spatio Temporal LSTM，簡稱ATSTLSTM），通過注意力機制選擇性地利用時空上下文信息，在簽到序列中突出相關(guān)歷史簽到信息。Luo等人[9]提出基于時空注意網(wǎng)絡(luò)的位置推薦方法，允許在非相鄰位置和非連續(xù)簽到之間的點對點交互作用，具有明確的時空效應(yīng)。2022年，Islam等人[10]根據(jù)不同的深度學(xué)習(xí)范式對興趣預(yù)測模型進(jìn)行了分類，捕捉用戶的時間偏好和內(nèi)在興趣。

綜上，本文針對用戶行為存在時效性以及空間就近性，提出一種基于時空注意力機制的用戶興趣預(yù)測方法（Spatio-Temporal Attention Mechanism-basedUser Interest Prediction，簡稱為STAM），該方法通過雙層時空注意力考慮時空間隔差異對用戶興趣所造成的影響，第一層自注意力機制融合時空間隔自動聚合各種輸入的相關(guān)性，考慮用戶歷史訪問記錄內(nèi)部的時空信息之間的交互作用，第二層注意力機制從訪問地點對應(yīng)的類別集合中匹配代表性的訪問地點信息。在3個真實數(shù)據(jù)集上進(jìn)行了仿真實驗，并與現(xiàn)有的其他用戶興趣預(yù)測方法進(jìn)行比較，結(jié)果表明，本文所提方法能有效提升用戶興趣預(yù)測準(zhǔn)確度，平均提升了2.18%。

1 提出的方法

1.1 STAM

圖1展示了本文提出的STAM模型總體結(jié)構(gòu)圖，其結(jié)構(gòu)主要由4個部分構(gòu)成：輸入層、嵌入層、時空注意力層和輸出層。其中，嵌入層主要是對用戶訪問記錄信息（u_id 與l_id） 、時空間隔信息（wt ij 與wl ij） 進(jìn)行處理嵌入密集的特征向量中，分別生成用戶信息嵌入矩陣、時間關(guān)系嵌入矩陣和空間關(guān)系嵌入矩陣。時空注意力層由第一層自注意力機制Self-attention和第二層注意力機制Attention組成，主要用來處理時空間隔信息特征。最后通過全連接層實現(xiàn)用戶興趣預(yù)測。

1.2 時空間隔嵌入

本文通過設(shè)置2個關(guān)系矩陣W T 和W L 對用戶的時間信息和空間信息進(jìn)行建模，用于捕獲用戶訪問記錄之間的時間間隔和空間間隔對用戶興趣的影響，在訓(xùn)練時，將時間間隔和空間地理距離建模為兩個訪問地點之間明確的時空關(guān)系，用戶相鄰兩次訪問記錄之間的時間間隔wt ij 由其歷史訪問記錄與鄰近訪問記錄的時間差得到，表示為| t | i - tj ，用戶訪問記錄的空間間隔wl ij 由用戶歷史訪問記錄與相鄰的下一個訪問記錄的距離相減得到，空間間隔wl ij 利用Haversine距離函數(shù)進(jìn)行計算，其公式如下所示。

式中：lati，loni，latj 與lonj 分別為第i次和第j次訪問記錄的經(jīng)緯度值，la 和lb分別為經(jīng)度差和緯度差，r為地球的半徑，wl ij為空間間隔差值。

具體來說，用戶訪問記錄的時間關(guān)系矩陣W T 和用戶訪問記錄的空間關(guān)系矩陣W L表示如下：

在計算時空間隔真實差值的基礎(chǔ)上，將時間間隔wt ij 與空間間隔wl ij 分別與一個單位嵌入向量et 和el 相乘得到時空信息的嵌入表示E （W T ）和E （W L ）。

eT ij = wt ij × et （5）

eL ij = wl ij × el （6）

1.3 時空注意力機制

自注意力機制是一種變體的注意力機制，其特長在于獲取數(shù)據(jù)特征深層次的關(guān)聯(lián)[11]。本文首先通過自注意力機制考慮全局又聚焦重點的特別之處來聚合用戶歷史訪問記錄內(nèi)部的時空相關(guān)性，為歷史訪問記錄內(nèi)的每次訪問分配不同的權(quán)重。

給定用戶ui 非零填充的信息嵌入矩陣E （ui ）和時空間隔嵌入矩陣E （W Ti ）和E （W Li ），該層首先將嵌入矩陣經(jīng)過不同的參數(shù)矩陣Wq，Wk，Wv 進(jìn)行線性轉(zhuǎn)換，之后將其輸入一個注意力層，采用scaled dot-product at?tention（縮放點積注意力）評分函數(shù)計算注意力分布權(quán)重，得到一個新序列A（ui ）：

式中：Att 表示縮放點積注意力，q 表示查詢，k 表示鍵，v 表示值，Wq，Wk，Wv 分別表示對應(yīng)的查詢矩陣，鍵矩陣以及值矩陣。s 表示縮放點積注意力分布函數(shù)，由于注意力層計算所有值的加權(quán)和，尺度因子d是為了避免內(nèi)積的值過大，特別是當(dāng)維數(shù)較高時。其次，在融合時空間隔考慮用戶歷史訪問記錄內(nèi)部時空相關(guān)性更新記錄表示A（ui ）的基礎(chǔ)上，本文根據(jù)給定的訪問地點集合L 的嵌入表示EL = {E } l 1，El 2，...，ElL ，通過時空注意力機制自頂向下的選擇機制來過濾無用的信息，為不同的訪問記錄分配不同的權(quán)重，從而挑選可以描述用戶興趣的代表性訪問地點信息。首先計算注意力分?jǐn)?shù)a，然后使用soft max函數(shù)進(jìn)行歸一化計算注意力權(quán)重得分α，計算公式如下：

式中：a（A（ui ），EL ）為注意力分?jǐn)?shù)，采用scaled dotproductattention（縮放點積注意力）作為注意力評分函數(shù)，通過soft max歸一化得到注意力權(quán)重α，相應(yīng)的權(quán)重α 衡量了第i 條歷史訪問記錄與下一條訪問記錄的匹配程度。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

本文針對Foursquare[12]、Gowalla[13]和Brightkite[13]3 個公開的真實數(shù)據(jù)集進(jìn)行仿真實驗。首先以Four?square數(shù)據(jù)集為例，對其中的訪問記錄數(shù)據(jù)進(jìn)行詳細(xì)說明。此外，為驗證不同方法的實驗效果，本文將數(shù)據(jù)集中80%作為訓(xùn)練集，10%作為驗證集，剩下10% 作為測試集。

1） Foursquare。

實驗數(shù)據(jù)集為從Foursquare原始數(shù)據(jù)集中導(dǎo)出的子集，其時間范圍為2012年11月12日到2013年1月10日，其中每名用戶的訪問記錄序列長度不小于20，時間跨度涉及的范圍不少于10天，訪問地點總類別共有14種，子類別包含149種。

首先在Foursquare數(shù)據(jù)集上對用戶歷史訪問進(jìn)行數(shù)據(jù)分析，發(fā)現(xiàn)用戶的訪問偏好受到時間和情境的影響。在實驗過程中，以149種訪問地點子類別為興趣類別進(jìn)行用戶興趣預(yù)測。

2） Gowalla與Brightkite。

實驗數(shù)據(jù)集為從Gowalla和Brightkite原始數(shù)據(jù)集中導(dǎo)出的子集，Gowalla中用戶訪問記錄時間涉及從2009年2月到2010年4月，由2107個用戶和48 450條訪問記錄組成；Brightkite原始數(shù)據(jù)集則由2316個用戶從2008年11月到2009年7月的56 084條用戶訪問記錄組成。在Gowalla和Brightkite數(shù)據(jù)集上進(jìn)行分析用戶歷史訪問記錄中蘊含的時空信息特點，發(fā)現(xiàn)用戶在不同時間與不同情境下可能會呈現(xiàn)出不同的訪問偏好，在大多情況下用戶的訪問模式會隨時間而變化。

2.2 評價指標(biāo)

本文采用兩種常用的衡量指標(biāo)，即準(zhǔn)確率（Accu?racy@k，簡稱ACC@k） 和召回率（Recall@k，簡稱R@k） ，其中，k表示最后得到的按概率值排序的預(yù)測列表中返回前k個結(jié)果。ACC@k的值越高，表示模型的整體預(yù)測效果越好。R@k是衡量預(yù)測列表中結(jié)果排名的標(biāo)準(zhǔn)，考慮了預(yù)測精準(zhǔn)度和相對順序[14]。ACC@k和R@k的計算公式如下所示：

式中：L （ui ）表示在測試集中用戶ui 訪問過的地點記錄所對應(yīng)的類別，L?（ui ）則表示用戶ui 未訪問過的地點類別，P （ui ） 表示預(yù)測列表中返回的前k 個類別，C （l）表示總訪問地點類別。

2.3 仿真實驗結(jié)果

對STAM模型與PRME-G模型[15]、FPMC模型[16]以及Distance2Pre模型[17]3種基準(zhǔn)模型進(jìn)行比較，證明其相比其他方法具有更好的預(yù)測性能。其中，PRME-G 模型利用度量嵌入技術(shù)對用戶序列信息建模，在調(diào)整用戶空間偏好時將地理距離設(shè)置為權(quán)重；FPMC模型建模用戶訪問序列時，通過馬爾科夫鏈結(jié)合用戶的地理位置限制進(jìn)行興趣預(yù)測。

為了保證實驗數(shù)據(jù)的準(zhǔn)確和客觀，將每個模型在同一訓(xùn)練和測試數(shù)據(jù)集上分別運行5次，得到ACC@5、ACC@10、R@5以及R@10作為模型評價指標(biāo)值，最終各模型在3組數(shù)據(jù)集上所得到的實驗結(jié)果對比分別如表1、表2和表3所示。

從表1～表3可以看出，對比所有基準(zhǔn)模型，在3 組數(shù)據(jù)集上的實驗結(jié)果表明，結(jié)合了用戶距離偏好和序列信息的Distance2Pre 模型為效果最好的基準(zhǔn)模型。同時，通過STAM與其他基準(zhǔn)模型總體比較，體現(xiàn)了STAM的優(yōu)勢，說明充分考慮利用時間信息、空間信息進(jìn)行用戶興趣預(yù)測的重要性，同時也說明考慮用戶連續(xù)訪問的兩條記錄之間的時空轉(zhuǎn)移信息能夠更準(zhǔn)確地表征用戶的興趣。在測試集上的平均效果表明，所提模型STAM在三組數(shù)據(jù)集上對應(yīng)的ACC@5、R@5、ACC@10以及R@10四個評價指標(biāo)值相比最好的基準(zhǔn)模型Distance2Pre，其效果分別相對提升了1.85%、0.91%、2.5%、2.03%。該結(jié)果說明本文所提方法STAM更細(xì)粒度地考慮用戶兩次訪問記錄之間的時間間隔和空間間隔，能夠更準(zhǔn)確地表征用戶的興趣。

3 結(jié)束語

為了更好地挖掘用戶時空行為中所潛藏的用戶興趣偏好，本文提出了一種基于時空注意力機制的用戶興趣預(yù)測方法STAM，通過雙層時空注意力考慮時空間隔差異對用戶興趣所造成的影響，并在三組數(shù)據(jù)集上進(jìn)行實驗，驗證所提方法STAM的有用性。實驗結(jié)果表明，所提方法STAM能夠有效提升用戶興趣預(yù)測準(zhǔn)確度，預(yù)測的準(zhǔn)確度相比最好的基準(zhǔn)模型Dis?tance2Pre平均提高了2.18%。

參考文獻(xiàn)：

[1] 董鑫.基于時空行為軌跡的興趣點預(yù)測研究[D].北京：北京工業(yè)大學(xué)，2020.

[2] WANG K，WANG X F，LU X.POI recommendation method us?ing LSTM-attention in LBSN considering privacy protection[J].Complex & Intelligent Systems，2023，9（3）：2801-2812.

[3] 徐淑強.基于時空注意力機制的位置推薦模型研究[D].南京：南京郵電大學(xué)，2023.

[4] LIU Q，WU S，WANG L，et al.Predicting the next location：a re?current model with spatial and temporal contexts[J]. Proceed?ings of the AAAI Conference on Artificial Intelligence，2016，30（1）： 194-200.

[5] ZHANG J D，GHINITA G，CHOW C Y.Differentially private lo?cation recommendations in geosocial networks[C]//2014 IEEE 15th International Conference on Mobile Data Management.July 14-18，2014，Brisbane，QLD，Australia.IEEE，2014：59-68.

[6] CHEN W，LI Z P，LIU C，et al.A deep learning model with conv-LSTM networks for subway passenger congestion delay predic?tion[J].Journal of Advanced Transportation， 2021（5）： 1-10.

[7] WU H Z，HU Z Y，JIA J，et al.Mining unfollow behavior in largescale online social networks via spatial-temporal interaction[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（1）：254-261.

[8] HUANG L W，MA Y T，WANG S B，et al.An attention-based spatiotemporal LSTM network for next POI recommendation[J].IEEE Transactions on Services Computing，2021，14（6）：1585-1597.

[9] LUO Y T，LIU Q，LIU Z C.STAN：spatio-temporal attention net?work for next location recommendation[C]//Proceedings of the Web Conference 2021. Ljubljana Slovenia. ACM， 2021： 2177-2185.

[10] ISLAM M A，MOHAMMAD M M，SARATHI DAS S S，et al.A survey on deep learning based Point-of-Interest （POI） recom?mendations[J].Neurocomputing，2022，472：306-325.

[11] KANG W C，MCAULEY J.Self-attentive sequential recommen?dation[C]//2018 IEEE International Conference on Data Min?ing （ICDM）. November 17-20， 2018. Singapore. IEEE， 2018，15： 197-206.

[12] YANG D Q，QU B Q，YANG J，et al.Revisiting user mobility and social relationships in LBSNs： a hypergraph embedding approach[C]//The World Wide Web Conference.San FranciscoCA USA.ACM，2019：2147-2157.

[13] CHO E，MYERS S A，LESKOVEC J.Friendship and mobility：user movement in location-based social networks[C]//Proceed?ings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. San Diego CaliforniaUSA.ACM，2011：1082-1090.

[14] 柴瑞敏，殷臣，孟祥福，等.基于時空循環(huán)神經(jīng)網(wǎng)絡(luò)的下一個興趣點推薦方法[J].智能系統(tǒng)學(xué)報，2021，16（3）：407-415.

[15] FENG SS， LI XT， ZENG YF， et al. Personalized ranking met?ric embedding for next new POI recommendation[C]// Pro?ceedings of the 24th International Conference on Artificial In?telligence， July 25-31， 2015， Buenos Aires， Argentina， 2015：2069-2075.

[16] RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L.Factorizing personalized Markov chains for next-basket rec?ommendation[C]//Proceedings of the 19th international confer?ence on World wide web.Raleigh North Carolina USA.ACM，2010：811-820.

[17] CUI Q，TANG Y Y，WU S，et al.Distance2Pre：personalized spa?tial preference for next point-of-interest prediction[M]//YANG Q，ZHOU Z H，GONG Z G，et al，eds.Lecture Notes in Computer Science. Cham： Springer International Publishing，2019：289-301.

【通聯(lián)編輯：代影】

基金項目：西安翻譯學(xué)院校級品牌課程（ZK2318）