基于輔助信息與長(zhǎng)短期偏好的序列推薦

摘 要：

為了解決序列推薦中的用戶偏好漂移問題，以及更精確地捕捉用戶動(dòng)態(tài)偏好，提出了一種新型的序列推薦模型SILSSRec（side information and long-short term preferences based sequence recommendation）。該模型首先利用項(xiàng)目的類別和頻次作為輔助信息，基于用戶的歷史交互序列，生成個(gè)性化用戶嵌入表示。然后，通過考慮歷史交互和當(dāng)前交互之間的時(shí)間間隔，生成個(gè)性化時(shí)間間隔嵌入，并將此嵌入與項(xiàng)目特征嵌入融合，形成個(gè)性化時(shí)間嵌入表示。模型采用注意力機(jī)制和門控循環(huán)網(wǎng)絡(luò)，從嵌入表示中提取用戶的長(zhǎng)期和短期偏好。此外，通過對(duì)比學(xué)習(xí)強(qiáng)化偏好的特征表達(dá)，并使用自適應(yīng)聚合網(wǎng)絡(luò)動(dòng)態(tài)融合這兩種偏好，形成用戶的最終偏好表示。在8個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，SILSSRec在評(píng)估指標(biāo)上優(yōu)于現(xiàn)有的基線模型，其中AUC（area under curve）平均提高了3.82%、召回率平均提高了7.2%、精確率平均提高了0.3%。實(shí)驗(yàn)證明SILSSRec在不同場(chǎng)景下均有較好表現(xiàn)，有效地緩解了偏好漂移問題，提升了推薦效果。

關(guān)鍵詞：序列推薦；輔助信息；注意力機(jī)制；長(zhǎng)短期偏好；對(duì)比學(xué)習(xí)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）09-009-2628-07

doi：10.19734/j.issn.1001-3695.2024.01.0032

Sequence recommendation based on side information and long-short term preferences

Liu Chao， Ren Mengyao， Feng Luhua

（Chongqing University of Technology， College of Computer Science & Engineering， Chongqing 400054， China）

Abstract：

To address the issue of user preference drift and capture dynamic user preferences more accurately in sequence re-commendation， this paper proposed a novel model named SILSSRec. The model initially leveraged categories and frequencies of items as side information to generate personalized user embeddings based on users’ historical interaction sequences. Then it created personalized temporal interval embeddings by considering the time intervals between historical and current interactions， and integrated these embeddings with item feature embeddings to form personalized temporal embeddings. The model employed attention mechanisms and gated recurrent networks to extract users’ long-term and short-term preferences from the embedding representations. Furthermore， it used contrastive learning to reinforce the feature representation of preferences， and an adaptive aggregation network dynamically combined these two types of preferences to form the final preference representation of users. Experiments on eight public datasets demonstrate that SILSSRec outperforms existing baseline models on evaluation metrics， with an average increase of 3.82% in AUC， 7.2% in recall rate， and 0.3% in precision. The results validate that SILSSRec performs well in various scenarios， effectively mitigating the preference drift issue and enhancing recommendation performance.

Key words：sequence recommendation; side information; attention mechanism; long and short-term preferences; contrastive learning

0 引言

在信息量急劇增加的時(shí)代，推薦系統(tǒng)成為一種至關(guān)重要的個(gè)性化信息過濾工具。序列推薦因用戶行為數(shù)據(jù)的急劇增長(zhǎng)、個(gè)性化需求的提升和深度學(xué)習(xí)技術(shù)的進(jìn)步而嶄露頭角。它是推薦系統(tǒng)領(lǐng)域的一個(gè)重要分支，主要預(yù)測(cè)用戶基于歷史行為序列的未來可能行為。序列推薦考慮了用戶行為的時(shí)序性和順序信息，有助于揭示用戶動(dòng)態(tài)興趣，實(shí)現(xiàn)更精準(zhǔn)、個(gè)性化的推薦［1］。這種方法在電商、音樂、新聞和社交網(wǎng)絡(luò)等領(lǐng)域都表現(xiàn)出重要性和有效性，能為用戶提供豐富且符合期望的在線體驗(yàn)，并有助于提高平臺(tái)的用戶活躍度和商業(yè)收益。

與基于用戶靜態(tài)偏好和物品靜態(tài)特征的傳統(tǒng)推薦系統(tǒng)不同，序列推薦更關(guān)注用戶與物品之間的交互序列，強(qiáng)調(diào)時(shí)間的順序性，因此更能反映用戶行為和興趣的動(dòng)態(tài)變化。但由于用戶興趣是不斷變化的，這可能導(dǎo)致模型捕捉到的用戶偏好與當(dāng)前的實(shí)際偏好存在偏差，這就是序列推薦面臨的偏好漂移問題。解決偏好漂移問題通常的思路是增加輔助信息或者從不同維度進(jìn)行興趣捕獲。

近年來，序列推薦采用了諸多創(chuàng)新技術(shù)和策略，包括協(xié)同過濾（CF）［2］、馬爾可夫鏈［3，4］、矩陣分解［5，6］、貝葉斯概率模型［7］等。隨著深度學(xué)習(xí)技術(shù)快速發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的方法在序列推薦領(lǐng)域取得了顯著的進(jìn)展［8，9］?，F(xiàn)有研究通過多種深度學(xué)習(xí)方法對(duì)序列特征進(jìn)行提取，如使用卷積神經(jīng)網(wǎng)絡(luò)提取序列特征的CNN ［10］和使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)提取序列特征的Bi-LSTM［11］。注意力機(jī)制擁有并行性并且能與其他模型融合，因此也被廣泛應(yīng)用于序列推薦中，進(jìn)行用戶特征的提取［12］。ATRank［13］將多頭自注意力組件應(yīng)用于序列推薦任務(wù)，加快了訓(xùn)練速度并提高了預(yù)測(cè)能力，它使用時(shí)間信息作為輔助信息，并且把特征值直接加在項(xiàng)目嵌入上。CSAN［14］引入了一種在輸入序列上嵌入雙向位置的特征自注意力機(jī)制，以更好地發(fā)現(xiàn)序列內(nèi)的內(nèi)部相關(guān)性，它使用項(xiàng)目的位置信息作為輔助信息，設(shè)計(jì)了一個(gè)不可訓(xùn)練的位置矩陣，并將其值添加到相應(yīng)位置的輸入嵌入中。PACA［15］定義了一個(gè)上下文注意力網(wǎng)絡(luò)，用注意力機(jī)制來捕捉位置關(guān)系包含的信息，其將位置信息作為輔助信息考慮，對(duì)每個(gè)位置生成一個(gè)嵌入，把位置嵌入和會(huì)話嵌入相乘作為會(huì)話總特征。為了提高序列推薦性能，一些學(xué)者還嘗試引入輔助信息來豐富用戶偏好表達(dá)。如BPR-MF［16］使用了項(xiàng)目的類別作為輔助信息，每個(gè)項(xiàng)目嵌入都是項(xiàng)目ID嵌入和類別嵌入的拼接。ULSP-SRM［17］則采用時(shí)序位置矩陣引入時(shí)間特征作為輔助信息，采用門控循環(huán)網(wǎng)絡(luò)提取長(zhǎng)期特征，使用注意力將長(zhǎng)短期偏好進(jìn)行融合。此外，還有一些研究從不同的時(shí)間尺度捕獲序列的特征將用戶偏好分為長(zhǎng)期和短期。如LSPM［18］使用可訓(xùn)練矩陣捕獲長(zhǎng)期偏好，用最近項(xiàng)目作為短期偏好；SHAN［19］使用了非線性層次注意力網(wǎng)絡(luò)來分別捕獲用戶的長(zhǎng)期和短期偏好。

對(duì)比學(xué)習(xí)是深度學(xué)習(xí)領(lǐng)域的一個(gè)研究方向，其核心思想是通過對(duì)比不同數(shù)據(jù)點(diǎn)之間的相似性和差異性來進(jìn)行學(xué)習(xí)。在對(duì)比學(xué)習(xí)中，模型被訓(xùn)練來區(qū)分和識(shí)別數(shù)據(jù)中的相似和不同的部分，通常是在同一批次的數(shù)據(jù)中進(jìn)行。通過將相似的數(shù)據(jù)點(diǎn)拉近，將不相似的數(shù)據(jù)點(diǎn)推遠(yuǎn)，模型可以學(xué)會(huì)對(duì)數(shù)據(jù)的有用表示。這種方法在視覺表現(xiàn)學(xué)習(xí)［20］、自然語言處理［21］和圖神經(jīng)網(wǎng)絡(luò)工程［22］中都取得了令人印象深刻的成就。

最近的一些研究也將對(duì)比學(xué)習(xí)引入到順序推薦中。S3-Rec［23］設(shè)計(jì)的模型使用四個(gè)輔助的自我監(jiān)督目標(biāo)，通過使用相互信息最大值來進(jìn)行數(shù)據(jù)的表示學(xué)習(xí)。CL4SRec［24］應(yīng)用三種數(shù)據(jù)增強(qiáng)方式（即裁剪、遮蔽和重新排序）來生成正數(shù)對(duì)，并對(duì)正數(shù)對(duì)進(jìn)行對(duì)比以學(xué)習(xí)到穩(wěn)健的順序轉(zhuǎn)換模式。DuoRec［25］提出了一個(gè)基于Dropout的模型級(jí)擴(kuò)增模型，采用監(jiān)督下的正向采樣策略，以捕捉自監(jiān)督機(jī)制下來自序列的信號(hào)。

上述研究雖然已經(jīng)取得了不錯(cuò)的推薦效果，但是仍存在一些不足之處：對(duì)時(shí)間或位置信息的特征嵌入是固定的，無法根據(jù)不同用戶來進(jìn)行調(diào)整，不能捕獲用戶的個(gè)性化偏好；同時(shí)沒有充分利用用戶對(duì)項(xiàng)目類別的偏好來完善用戶的特征表達(dá)，只用原始的GRU提取長(zhǎng)期特征會(huì)導(dǎo)致部分隱含信息被遺忘，捕獲短期興趣時(shí)沒有考慮長(zhǎng)期行為隨時(shí)間衰減的情況；對(duì)長(zhǎng)短期偏好的簡(jiǎn)單融合方法無法捕捉用戶的動(dòng)態(tài)興趣變化；此外，采用數(shù)據(jù)增強(qiáng)方式獲取自監(jiān)督對(duì)比學(xué)習(xí)信號(hào)，可能會(huì)導(dǎo)致原始序列中的隱含信息被破壞。

為解決上述問題，提出基于輔助信息與長(zhǎng)短期偏好的序列推薦模型（SILSSRec）。模型使用用戶對(duì)項(xiàng)目類別的偏好作為輔助信息構(gòu)建個(gè)性化用戶嵌入，根據(jù)用戶交互行為的發(fā)生時(shí)間提出個(gè)性化時(shí)間間隔感知的項(xiàng)目嵌入，將最近一日內(nèi)的交互作為短期興趣序列，使用注意力機(jī)制和門控循環(huán)網(wǎng)絡(luò)綜合考慮長(zhǎng)期序列和短期序列得到最終的用戶偏好表達(dá)，減少噪聲，提升推薦性能。使用不同序列編碼器產(chǎn)生的長(zhǎng)期和短期偏好來導(dǎo)出自我監(jiān)督信號(hào)，而不是直接增強(qiáng)原始序列，這種方式可以避免破壞原始數(shù)據(jù)中的內(nèi)在模式，提高最終特征提取的精確度。本文主要貢獻(xiàn)如下：

a）提出融合長(zhǎng)短期偏好的時(shí)間間隔感知序列推薦模型SILSSRec，引入多種輔助信息來豐富用戶的特征表達(dá)，降低數(shù)據(jù)的稀疏性，提高模型推薦效果。

b）通過基于注意力機(jī)制和門控循環(huán)網(wǎng)絡(luò)的偏好提取層來提取用戶的長(zhǎng)期偏好和短期偏好，并設(shè)置對(duì)比學(xué)習(xí)來強(qiáng)化長(zhǎng)短期偏好的特征表達(dá)，進(jìn)一步提升模型性能。

1 SILSSRec模型

1.1 符號(hào)定義

假設(shè)數(shù)據(jù)集中用戶數(shù)為n，交互項(xiàng)目數(shù)為m，項(xiàng)目類別數(shù)為q，定義用戶集為U={u1，u2，…，un}，交互項(xiàng)目集為I={i1，i2，…，im}，項(xiàng)目類別集為C={c1，c2，…，cq}。對(duì)于每個(gè)用戶u∈U，將其歷史交互序列H中的所有交互按照發(fā)生時(shí)間以天為單位進(jìn)行劃分，即用戶u的歷史交互序列為H={Du1，Du2，…，Dut}，t表示序列中的最大天數(shù)，DuiH（i∈［1，t］）表示用戶u在第i天的所有交互的集合。由此可以得到Dut 是用戶最近一天的交互集合，將其定義為用戶u在t時(shí)刻的短期歷史交互序列，記作Sut=Dut。H中除Dut外的部分定義為用戶u在t時(shí)刻的長(zhǎng)期交互歷史序列，記作Lut={Du1，Du2，…，Dut－1}。

1.2 模型結(jié)構(gòu)

基于輔助信息與長(zhǎng)短期偏好的序列推薦模型（SILSSRec）整體結(jié)構(gòu)如圖1所示。模型構(gòu)建的思路如下：首先，將用戶歷史交互序列中的項(xiàng)目類別和頻次作為輔助信息，生成用戶的個(gè)性化嵌入表示， 從而豐富了用戶的特征表達(dá)，并且降低數(shù)據(jù)的稀疏性；其次，根據(jù)用戶的歷史交互序列與當(dāng)前交互之間的時(shí)間間隔，生成動(dòng)態(tài)的個(gè)性化時(shí)間間隔嵌入，并將用戶歷史交互項(xiàng)目的特征嵌入與其對(duì)應(yīng)的時(shí)間間隔嵌入融合生成用戶歷史交互項(xiàng)目的個(gè)性化時(shí)間嵌入表示，將時(shí)間間隔和項(xiàng)目類型作為輔助信息，能夠動(dòng)態(tài)地描述項(xiàng)目特征以更加準(zhǔn)確地表示項(xiàng)目；然后，利用注意力機(jī)制和門控循環(huán)網(wǎng)絡(luò)從用戶的個(gè)性化嵌入表示、用戶歷史交互項(xiàng)目的個(gè)性化時(shí)間嵌入表示和當(dāng)前時(shí)間段交互項(xiàng)目的嵌入表示中提取用戶的長(zhǎng)期偏好和短期偏好，并設(shè)置對(duì)比學(xué)習(xí)來強(qiáng)化長(zhǎng)短期偏好的特征表達(dá)；最后，采用多層感知機(jī)對(duì)用戶的長(zhǎng)期與短期偏好進(jìn)行動(dòng)態(tài)整合，形成綜合的用戶興趣偏好表示，該表示隨后被用于系統(tǒng)的預(yù)測(cè)層，以實(shí)現(xiàn)對(duì)下一項(xiàng)目的推薦預(yù)測(cè)。

模型共包含五部分：

a）長(zhǎng)期偏好提取部分。通過在用戶的長(zhǎng)期歷史交互序列Lut中引入物品類別和交互時(shí)間間隔作為輔助信息，得到長(zhǎng)期交互嵌入序列Lue，t，再通過偏好學(xué)習(xí)模塊從中提取用戶的長(zhǎng)期偏好utl。具體來說，根據(jù)當(dāng)前時(shí)刻用戶的歷史交互中出現(xiàn)頻次最高的三個(gè)物品類別，加權(quán)融合作為當(dāng)前時(shí)刻用戶的物品類別偏好，與用戶ID的嵌入表達(dá)拼接作為個(gè)性化用戶嵌入；使用了階梯式的時(shí)間窗口捕獲機(jī)制來對(duì)一段時(shí)間內(nèi)的歷史交互序列與當(dāng)前交互的時(shí)間間隔進(jìn)行建模，得到個(gè)性化時(shí)間間隔嵌入，將用戶長(zhǎng)期歷史交互項(xiàng)目的特征嵌入與其對(duì)應(yīng)的時(shí)間間隔嵌入融合生成用戶的長(zhǎng)期交互序列嵌入表示。使用注意力機(jī)制從個(gè)性化用戶嵌入、個(gè)性化長(zhǎng)期交互序列嵌入表示中學(xué)習(xí)用戶的長(zhǎng)期偏好。

b）短期偏好提取部分。在用戶的短期歷史交互序列Sut中引入物品類別作為輔助信息，得到短期交互序列嵌入sut，再通過短期偏好學(xué)習(xí)模塊，利用門控循環(huán)單元和注意力機(jī)制來綜合考慮長(zhǎng)期偏好對(duì)短期興趣的影響，得到用戶的短期偏好uts。

c）對(duì)比學(xué)習(xí)部分。對(duì)提取到的長(zhǎng)短期偏好使用自監(jiān)督對(duì)比學(xué)習(xí)方法強(qiáng)化特征表達(dá)。分別提取長(zhǎng)期偏好的代理表征ucl，tl和短期偏好的代理表征ucl，ts，將其與長(zhǎng)期偏好utl、短期偏好uts一起利用對(duì)比學(xué)習(xí)損失函數(shù)計(jì)算自監(jiān)督損失。

d）自適應(yīng)融合部分。通過基于多層感知機(jī)的自適應(yīng)聚合網(wǎng)絡(luò)，學(xué)習(xí)兩種偏好的融合權(quán)重，將兩種偏好動(dòng)態(tài)融合，生成用戶的最終偏好表示。

e）預(yù)測(cè)部分。通過將用戶的最終偏好表示與目標(biāo)項(xiàng)目進(jìn)行點(diǎn)積，計(jì)算出用戶的最終偏好表達(dá)和目標(biāo)項(xiàng)目之間的相似度來進(jìn)行預(yù)測(cè)。

1.3 長(zhǎng)期偏好提取

1.3.1 長(zhǎng)期交互序列嵌入

現(xiàn)有研究通常只將項(xiàng)目的ID和類別進(jìn)行拼接，這種方法并沒有考慮到用戶交互項(xiàng)目的時(shí)間間隔對(duì)用戶偏好的潛在影響，使得項(xiàng)目的嵌入表示不夠準(zhǔn)確。因此本文設(shè)計(jì)個(gè)性化項(xiàng)目時(shí)間間隔感知嵌入網(wǎng)絡(luò)，來豐富用戶歷史交互項(xiàng)目的嵌入表示，得到最終的長(zhǎng)期交互序列嵌入。

個(gè)性化長(zhǎng)期交互序列嵌入過程如圖2所示。首先計(jì)算出Lut中每一個(gè)交互的發(fā)生時(shí)間t與當(dāng)前交互的時(shí)間間隔Δt?？紤]到時(shí)間間隔是用來輔助表達(dá)用戶的長(zhǎng)期偏好，應(yīng)該強(qiáng)化歷史序列中長(zhǎng)期穩(wěn)定偏好的特征表達(dá)。同時(shí)，如果行為是在同一天產(chǎn)生的，則時(shí)間間隔嵌入的值是相同的。因此使用了階梯式的時(shí)間窗口捕獲機(jī)制來對(duì)時(shí)間間隔進(jìn)行建模。由于原始數(shù)據(jù)過于離散不方便直接參與計(jì)算，按照2θ（θ=1，2，…，n）來劃分時(shí)間窗口，θ為窗口序號(hào)，將用戶歷史交互的時(shí)間與當(dāng)前交互的時(shí)間間隔一一映射到對(duì)應(yīng)的時(shí)間窗口中，用窗口序號(hào)作為時(shí)間間隔的代表。這種方式有助于增強(qiáng)歷史序列中長(zhǎng)期穩(wěn)定偏好的表達(dá)。公式如下：

2.3 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

為確保實(shí)驗(yàn)結(jié)果準(zhǔn)確，所有實(shí)驗(yàn)均在使用Intel CoreTM i9-12900HX CPU和32 GB內(nèi)存、8 GB顯存的NVIDIA GeForce RTX 4060 Laptop GPU的Windows 11系統(tǒng)中，使用Python 3.7編程語言，依賴TensorFlow1.15.0深度學(xué)習(xí)庫(kù)完成。

為了保證實(shí)驗(yàn)的公平性和可比性，保持各模型中的公共參數(shù)相同，唯一參數(shù)為最優(yōu)。將嵌入維度設(shè)置為64，訓(xùn)練時(shí)BATCH_SIZE大小設(shè)置為32，測(cè)試時(shí)BATCH_SIZE大小設(shè)置為128，所有數(shù)據(jù)集的learning rate為 1，dropout rate 為0.2。

2.4 對(duì)比模型

為驗(yàn)證 SILSSRec 模型的有效性，將其與9個(gè)現(xiàn)有的主流推薦模型進(jìn)行了對(duì)比：

a）BPR-MF：項(xiàng)目嵌入是項(xiàng)目ID嵌入和類別嵌入的串聯(lián)，通過矩陣分解來處理隱反饋數(shù)據(jù)，從而為用戶提供一個(gè)物品的排序。

b）CNN：對(duì)CNN結(jié)構(gòu)中內(nèi)核大小為32的feature map進(jìn)行最大池化操作。利用這種方法對(duì)用戶的歷史行為進(jìn)行編碼，并將所有匯集的特征傳遞到一個(gè)完全連接的層來生成用戶行為嵌入。

c）Bi-LSTM：為了捕捉序列之間的正向和反向關(guān)聯(lián)，采用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)。

d）ATRank：它通過將所有類型的行為投射到潛在的語義空間中來考慮異構(gòu)用戶的行為。然后，ATRank利用自注意層和注意層結(jié)合DNN獲得用戶偏好。

e）PACA：位置感知上下文關(guān)注將每個(gè)時(shí)間位置視為可訓(xùn)練的位置向量。然后，PACA通過多層感知器（MLP）捕獲每個(gè)項(xiàng)目的上下文和相應(yīng)的會(huì)話作為特定于會(huì)話的特征向量。注意值由這兩個(gè)向量生成。

f）CSAN-：在CSAN的嵌入層之后引入了特征自關(guān)注，使用不可訓(xùn)練的位置編碼作為輔助信息。最后，通過自關(guān)注網(wǎng)絡(luò)生成用戶行為嵌入。由于CSAN還使用文本、音頻和圖像，而筆者沒有使用它們，所以在實(shí)驗(yàn)中將這個(gè)不完整的模型表示為CSAN-［14］。

g）LSPM：訓(xùn)練嵌入矩陣捕獲用戶長(zhǎng)期偏好，之后將最近k項(xiàng)交互融合作為用戶的短期偏好。最后，LSPM結(jié)合這兩個(gè)偏好來獲得用戶的興趣表達(dá)。

h）CL4Rec：新提出的帶有對(duì)比學(xué)習(xí)的序列推薦方法。

i）SHAN：使用非線性的分層注意網(wǎng)絡(luò)分別學(xué)習(xí)用戶的長(zhǎng)短期偏好。

j）ULSP-SRM：將融入了時(shí)序位置嵌入矩陣的用戶長(zhǎng)期歷史行為序列輸入 GRU 單元中，得到用戶的長(zhǎng)期動(dòng)態(tài)興趣偏好。然后采用神經(jīng)注意力機(jī)制將用戶的短期興趣序列和用戶的長(zhǎng)期偏好序列進(jìn)行融合，得到用戶的最終興趣偏好表示。

2.5 性能比較

本文模型和其他對(duì)比模型的實(shí)驗(yàn)結(jié)果如表2所示，其中最優(yōu)結(jié)果以粗體顯示，次優(yōu)結(jié)果以下畫線顯示。通過分析實(shí)驗(yàn)結(jié)果可以得出，模型SILSSRec 在8個(gè)子數(shù)據(jù)集上的AUC指標(biāo)表現(xiàn)都優(yōu)于對(duì)比模型，其中Beauty數(shù)據(jù)集的比較如圖7所示。

從表中數(shù)據(jù)可以看出，除SILSSRec模型外，ULSP-SRM模型在多個(gè)數(shù)據(jù)集上的效果顯著優(yōu)于其他對(duì)比模型，這是因?yàn)閁LSP-SRM模型在傳統(tǒng)長(zhǎng)短期偏好模型如SHAN的基礎(chǔ)上引入了用戶類別和時(shí)序位置嵌入作為輔助信息，進(jìn)一步挖掘了原始序列中隱含的信息，更加準(zhǔn)確地捕獲了用戶的偏好，證明了用戶類別信息和交互時(shí)間間隔作為輔助信息對(duì)提升模型性能有著積極作用。本研究相比ULSP-SRM模型在五個(gè)數(shù)據(jù)集上的AUC指標(biāo)平均提升了3.8%，這是因?yàn)楸狙芯渴褂昧硕囝悇e融合的個(gè)性化用戶類別和個(gè)性化時(shí)間間隔嵌入，進(jìn)一步增加了輔助信息包含的信息量，同時(shí)采用注意力機(jī)制將個(gè)性化用戶嵌入和項(xiàng)目嵌入相結(jié)合，而不是ULSP-SRM的直接拼接，能夠更好地將用戶對(duì)項(xiàng)目類別的偏好融入長(zhǎng)期偏好表達(dá)中。此外，本研究使用的自適應(yīng)融合策略和自監(jiān)督對(duì)比學(xué)習(xí)機(jī)制能夠顯著提升最終提取到的用戶興趣表達(dá)的準(zhǔn)確性。

SILSSRec模型在CDs-Vinyl數(shù)據(jù)集上取得了最好的效果，說明本研究采用的長(zhǎng)短期偏好提取方式能夠準(zhǔn)確地捕捉用戶長(zhǎng)期依賴關(guān)系和豐富的行為模式，在這樣的稠密數(shù)據(jù)集上具有很高的有效性。在Clothing-Shoes數(shù)據(jù)集上，本文模型同樣取得了最好效果，說明本研究采用的輔助信息方法有效彌補(bǔ)了原始序列信息不足的缺點(diǎn)，能夠從有限的用戶行為中學(xué)習(xí)到足夠的信息來作出準(zhǔn)確的個(gè)性化推薦，驗(yàn)證了模型在解決數(shù)據(jù)稀疏和冷啟動(dòng)問題上的有效性。模型在其他數(shù)據(jù)集上的優(yōu)異表現(xiàn)，進(jìn)一步證明了自適應(yīng)融合機(jī)制和自監(jiān)督對(duì)比學(xué)習(xí)的加入，賦予模型強(qiáng)大的特征學(xué)習(xí)能力和良好的泛化能力，使其能夠應(yīng)對(duì)各種實(shí)際應(yīng)用場(chǎng)景的挑戰(zhàn)。

2.6 參數(shù)分析

為了綜合評(píng)估SILSSRec在不同超參數(shù)設(shè)置下的性能，本文對(duì)嵌入維數(shù)d和長(zhǎng)期的序列長(zhǎng)度LS進(jìn)行了參數(shù)分析。在Amazon的子數(shù)據(jù)集Beauty上的實(shí)驗(yàn)結(jié)果如表3、4和圖8所示。

1）嵌入維度d的影響

改變嵌入維度 d∈［16，32，48，64，80］來研究它的影響。如表3和圖8（a）所示，增加維度可以提高模型性能，因?yàn)檩^大的潛在向量可以保留更多信息，而如果它太大，模型會(huì)開始收斂。該觀察結(jié)果表明SILSSRec對(duì)嵌入維度敏感，且64維是一個(gè)較為合理的取值。

2）長(zhǎng)期序列長(zhǎng)度LS的影響

通過將其更改為不同的值來研究長(zhǎng)期序列長(zhǎng)度LS的影響。表4和圖8（b）顯示覆蓋較長(zhǎng)序列時(shí)性能會(huì)提高。但是，如果序列太長(zhǎng)，模型效果就會(huì)下降。這種觀察是可以解釋的，因?yàn)檫^時(shí)的項(xiàng)目沒有辦法準(zhǔn)確表達(dá)用戶的偏好。當(dāng)LS為25時(shí)，SILSSRec的效果最好，說明SILSSRec的序列長(zhǎng)度敏感預(yù)測(cè)能力達(dá)到了頂峰。

2.7 消融實(shí)驗(yàn)

SILSSRec的主要組成部分是個(gè)性化用戶嵌入模塊、個(gè)性化的時(shí)間間隔嵌入模塊和長(zhǎng)短期偏好提取模塊。為了驗(yàn)證SILSSRec中的每個(gè)主要組件對(duì)推薦性能作出的貢獻(xiàn)，將刪除相應(yīng)的組件，得到以下變體：NU（沒有用戶個(gè)性化嵌入）、NT（沒有個(gè)性化的時(shí)間間隔嵌入）、NA（沒有長(zhǎng)短期偏好自適應(yīng)融合）、NL（沒有長(zhǎng)期偏好）、NS（沒有短期偏好）、NCL（沒有對(duì)比學(xué)習(xí)）。在Toys-Games和Digital-Music數(shù)據(jù)集上與完整模型進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表5所示。

本文得出以下結(jié)論：a）長(zhǎng)期偏好和短期偏好在進(jìn)行準(zhǔn)確推薦時(shí)都很重要，尤其是后者在時(shí)間敏感性較強(qiáng)的下一項(xiàng)推薦中作用更為顯著；b）根據(jù)用戶喜歡的物品類別對(duì)用戶進(jìn)行動(dòng)態(tài)分類，在捕捉用戶偏好和提高推薦性能方面都有很大幫助；c）個(gè)性化時(shí)間間隔嵌入充分利用用戶的行為模式，從而更好地學(xué)習(xí)了用戶的興趣偏好；d）設(shè)置對(duì)比學(xué)習(xí)，可以更好地分離長(zhǎng)短期偏好，提升推薦效果；e）將長(zhǎng)短期偏好自適應(yīng)融合可以使長(zhǎng)短期偏好動(dòng)態(tài)地發(fā)揮各自的作用。因此，本文提出的融合輔助信息的長(zhǎng)短期序列推薦模型各部分均有效果，能有效緩解推薦系統(tǒng)中的用戶偏好漂移問題。

3 結(jié)束語

本文提出基于輔助信息與長(zhǎng)短期偏好的序列推薦模型 （SILSSRec），有效解決了序列推薦存在的用戶偏好漂移的問題。該模型將用戶歷史交互序列中項(xiàng)目的類別和頻次作為輔助信息生成用戶的個(gè)性化嵌入表示；同時(shí)，根據(jù)用戶的歷史交互序列與當(dāng)前交互之間的時(shí)間間隔，生成動(dòng)態(tài)的個(gè)性化時(shí)間間隔嵌入，并將用戶歷史交互項(xiàng)目的特征嵌入與其對(duì)應(yīng)的時(shí)間間隔嵌入融合生成用戶歷史交互項(xiàng)目的個(gè)性化時(shí)間嵌入表示，使用注意力機(jī)制和門控循環(huán)網(wǎng)絡(luò)從用戶的個(gè)性化嵌入表示、用戶歷史交互項(xiàng)目的個(gè)性化時(shí)間嵌入表示和當(dāng)前時(shí)間段交互項(xiàng)目的嵌入表示中提取用戶的長(zhǎng)期偏好和短期偏好，并設(shè)置對(duì)比學(xué)習(xí)來強(qiáng)化長(zhǎng)短期偏好的特征表達(dá)。通過自適應(yīng)聚合網(wǎng)絡(luò)，將兩種偏好動(dòng)態(tài)融合，形成綜合的用戶興趣偏好表示，隨后將其用于系統(tǒng)的預(yù)測(cè)層，實(shí)現(xiàn)對(duì)下一項(xiàng)目的推薦預(yù)測(cè)。

在亞馬遜公共數(shù)據(jù)集的8個(gè)子類別數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，采用AUC值、recall@K和precision@K指標(biāo)進(jìn)行效果評(píng)估， SILSSRec模型的AUC值相比于效果次好的模型平均提升了約3.82%，最多提升了9.4%，在Beauty數(shù)據(jù)集上recall@K值平均提升了7.2%，precision@K值平均提高了0.3%，在不同數(shù)據(jù)集上的性能均顯著高于其他評(píng)估模型，充分驗(yàn)證了本文模型在不同場(chǎng)景下的有效性。

在未來的研究中，筆者計(jì)劃創(chuàng)新性地將知識(shí)圖譜引入序列推薦，以提高推薦性能?；谥R(shí)圖譜中豐富的連接性和語義信息，為結(jié)果提供可解釋性，通過圖和序列之間的對(duì)比學(xué)習(xí)獲得更強(qiáng)的自我監(jiān)督信號(hào)。

參考文獻(xiàn)：

［1］汪菁瑤，吳國(guó)棟，范維成，等. 用戶行為序列個(gè)性化推薦研究綜述 ［J］. 小型微型計(jì)算機(jī)系統(tǒng)，2022，43（5）： 921-935. （Wang Jingyao，Wu Guodong，F(xiàn)an Weicheng，et al. A review of research on user behavior sequence personalized recommendations ［J］. Small Microcomputer Systems，2022，43（5）： 921-935.）

［2］Chen Jie，Wang Xianshuang，Zhao Shu，et al. Deep attention user-based collaborative filtering for recommendation ［J］. Neurocompu-ting，2020，383： 57-68.

［3］Rendle S，F(xiàn)reudenthaler C，Schmidt-Thieme L. Factorizing persona-lized Markov chains for next-basket recommendation ［C］// Proc of the 19th International Conference on World Wide Web. New York： ACM Press，2010： 811-820.

［4］He R，McAuley J. Fusing similarity models with Markov chains for sparse sequential recommendation ［C］// Proc of the 16th International Conference on Data Mining. Piscataway，NJ： IEEE Press，2016： 191-200.

［5］Qin Jiarui，Ren Kan，F(xiàn)ang Yuchen，et al. Sequential recommendation with dual side neighbor-based collaborative relation modeling ［C］// Proc of the 13th International Conference on Web Search and Data Mining. New York： ACM Press，2020： 465-473.

［6］Khan Z，Iltaf N，Afzal H，et al. Enriching non-negative matrix factorization with contextual embeddings for recommender systems ［J］. Neurocomputing，2020，380： 246-258.

［7］Morise H，Oyama S，Kurihara M. Bayesian probabilistic tensor factorization for recommendation and rating aggregation with multicriteria evaluation data ［J］.Expert Systems with Applications，2019，131：1-8.

［8］He Ruining，McAuley J. VBPR： visual Bayesian personalized ranking from implicit feedback ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2016.

［9］Zhou Yuwen，Huang Changqin，Hu Qintai，et al. Personalized learning full-path recommendation model based on LSTM neural networks ［J］. Information Sciences，2018，444： 135-152.

［10］Zheng Lei，Noroozi V，Yu P S. Joint deep modeling of users and items using reviews for recommendation ［C］// Proc of the 10th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2017： 425-434.

［11］Jozefowicz R，Zaremba W，Sutskever I. An empirical exploration of recurrent network architectures ［C］// Proc of International Conference on Machine Learning. ［S. l. ］： Microtome Publishing，2015： 2342-2350.

［12］Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need［C］// Proc of the 31st International Conference on Advances in Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2017：6000-6010.

［13］Zhou Chang，Bai Jinze，Song Junshuai，et al. ATRank： an attention-based user behavior modeling framework for recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2018.

［14］Huang Xiaowen，Qian Shengsheng，F(xiàn)ang Quan，et al. CSAN： contextual self-attention network for user sequential recommendation ［C］// Proc of the 26th ACM International Conference on Multimedia. New York： ACM Press，2018： 447-455.

［15］Cao Yi，Zhang Weifeng，Song Bo，et al. Position-aware context attention for session-based recommendation ［J］. Neurocomputing，2020，376： 65-72.

［16］Rendle S，F(xiàn)reudenthaler C，Gantner Z，et al. BPR： Bayesian perso-nalized ranking from implicit feedback ［EB/OL］. （2012-05-09） ［2024-01-03］. https：//doi. org/10. 48550/arXiv. 1205. 2618.

［17］雒曉輝，吳云，王晨星，等. 基于用戶長(zhǎng)短期偏好的序列推薦模型 ［J］. 計(jì)算機(jī)科學(xué)，2023，50（4）： 47-55. （Luo Xiaohui，Wu Yun，Wang Chenxing，et al. Sequential recommendation model based on user’s long and short term preference ［J］. Computer Science，2023，50（4）： 47-55.）

［18］Du Yingpeng，Liu Hongzhi，Qu Yuanhang，et al. Online personalized next-item recommendation via long short term preference learning ［C］// PRICAI： Trends in Artificial Intelligence. Cham： Springer，2018： 915-927.

［19］Ying Haochao，Zhuang Fuzhen，Zhang Fuzheng，et al. Sequential re-commender system based on hierarchical attention network ［C］// Proc of the 27th IJCAI International Joint Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2018：3926-3932.

［20］Chen Ting，Kornblith S，Norouzi M，et al. A simple framework for contrastive learning of visual representations ［C］// Proc of International Conference on Machine Learning. ［S.l.］：PMLR，2020： 1597-1607.

［21］Gao Tianyu，Yao Xingcheng，Chen Danqi. SimCSE： simple contrastive learning of sentence embeddings ［EB/OL］. （2021-04-18） ［2024-01-03］. https：//doi. org/10. 48550/arXiv. 2104. 08821.

［22］Yu Lu，Pei Shichao，Ding Lizhong，et al. Sail： self-augmented graph contrastive learning ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2022： 8927-8935.

［23］Zhou Kun，Wang Hui，Zhao W X，et al. S3-Rec： self-supervised learning for sequential recommendation with mutual information maximization ［C］// Proc of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM Press，2020： 1893-1902.

［24］Xie Xu，Sun Fei，Liu Zhaoyang，et al. Contrastive learning for sequential recommendation ［C］// Proc of the 38th IEEE International Conference on Data Engineering. Piscataway，NJ： IEEE Press，2022： 1259-1273.

［25］Qiu Ruihong，Huang Zi，Yin Hongzhi，et al. Contrastive learning for representation degeneration problem in sequential recommendation ［C］// Proc of the 15th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2022： 813-823.

［26］劉超，朱波. 融合畫像和文本信息的輕量級(jí)關(guān)系圖注意推薦模型 ［J］. 計(jì)算機(jī)應(yīng)用研究，2023，40（4）： 1037-1043. （Liu Chao，Zhu Bo. Light relational graph attention recommendation model fusing with profiles and text information ［J］. Application Research of Computers，2023，40（4）： 1037-1043.）

收稿日期：2024-01-12；修回日期：2024-03-09 基金項(xiàng)目：重慶市社科聯(lián)資助項(xiàng)目（2021NDYB101）

作者簡(jiǎn)介：劉超（1983—），男，四川鄰水人，副教授，碩導(dǎo)，博士，CCF會(huì)員，主要研究方向?yàn)樯缃痪W(wǎng)絡(luò)分析；任夢(mèng)瑤（1998—），女（通信作者），河南安陽(yáng)人，碩士研究生，主要研究方向?yàn)橥扑]系統(tǒng)（575981031@qq.com）；馮祿華（1998—），男，寧夏銀川人，碩士研究生，主要研究方向?yàn)樽匀徽Z言處理.