基于艾賓浩斯遺忘曲線和注意力機制的推薦算法

金楠，王瑞琴,2，陸悅聰

研究與開發(fā)

基于艾賓浩斯遺忘曲線和注意力機制的推薦算法

金楠1，王瑞琴1,2，陸悅聰1

（1. 湖州師范學(xué)院信息工程學(xué)院，浙江 湖州 313000；2. 浙江省現(xiàn)代農(nóng)業(yè)資源智慧管理與應(yīng)用研究重點實驗室，浙江 湖州 313000）

傳統(tǒng)基于注意力機制的推薦算法只利用位置嵌入對用戶行為序列進行建模，忽略了具體的時間戳信息，導(dǎo)致推薦性能不佳和模型訓(xùn)練過擬合等問題。提出基于時間注意力的多任務(wù)矩陣分解推薦模型，利用注意力機制提取鄰域信息對用戶和物品進行嵌入編碼，借助艾賓浩斯遺忘曲線描述用戶興趣隨時間的變化特性，在模型訓(xùn)練過程中引入經(jīng)驗回放的強化學(xué)習(xí)策略模擬人類的記憶復(fù)習(xí)過程。真實數(shù)據(jù)集上的實驗結(jié)果表明，該模型比現(xiàn)有推薦模型具有更好的推薦性能。

艾賓浩斯遺忘曲線；注意力機制；強化學(xué)習(xí)；經(jīng)驗回放

0 引言

大數(shù)據(jù)時代，在產(chǎn)生海量數(shù)據(jù)的同時也帶來了信息過載的問題。個性化推薦系統(tǒng)將用戶從海量的數(shù)據(jù)選擇中解放出來，通過推薦算法挖掘用戶的潛在需求，為用戶提供個性化的推薦服務(wù)[1]。在這個信息爆炸和以人為本的時代，個性化推薦勢在必行?，F(xiàn)有推薦算法可分為傳統(tǒng)推薦算法和基于深度學(xué)習(xí)的推薦算法兩大類，傳統(tǒng)推薦算法存在數(shù)據(jù)稀疏、對用戶和物品的信息處理過于簡單、無法捕獲非線性特征交互等缺點，預(yù)測準確性不高?；谏疃葘W(xué)習(xí)的推薦算法可以自動學(xué)習(xí)特征間的高階非線性交互，從而提高推薦的準確性。

協(xié)同過濾（collaborative filtering，CF）算法[2]是經(jīng)典的推薦算法之一，其中以基于矩陣分解（matrix factorization，MF）的CF算法應(yīng)用最為廣泛。該算法將由用戶和項目組成的交互矩陣進行低維矩陣分解，將用戶和項目映射到共享的潛在特征空間，利用用戶和項目潛在向量的內(nèi)積進行評分預(yù)測[3]。基于MF的CF算法原理簡單且推薦速率高，但無法利用用戶和項目的鄰域信息以及交互時間戳等信息，推薦精度不高。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)被證明可以擬合任何函數(shù)，實現(xiàn)對交互行為的非線性建模[4]。神經(jīng)矩陣分解（neural matrix factorization，NeuMF）和深度協(xié)同過濾（deep collaborative filtering，DeepCF）[5]是兩種典型的神經(jīng)網(wǎng)絡(luò)算法，分別采用不同的融合策略將CF算法和神經(jīng)網(wǎng)絡(luò)算法進行集成，取得了良好的推薦性能，但不足之處在于推薦結(jié)果缺乏可解釋性。

近年來，注意力機制被廣泛應(yīng)用于推薦任務(wù)以自適應(yīng)地提取鄰域信息對目標建模，建模過程中不同的注意力權(quán)重使得模型具有很好的可解釋性[6-7]。Wang等[8]提出基于神經(jīng)圖的協(xié)同推薦（neural graph collaborative filtering，NGCF）模型，將來自不同鄰居的信息組合起來學(xué)習(xí)用戶和物品向量。Wu等[9]提出基于圖神經(jīng)網(wǎng)絡(luò)的序列推薦（session-based recommendation with graph neural network，SR-GNN）模型，在會話圖上運用圖神經(jīng)網(wǎng)絡(luò)來捕獲項目之間的復(fù)雜轉(zhuǎn)換，利用注意力機制將當前會話表示為全局偏好和當前興趣的組合。Lu等[10]提出社交影響注意力神經(jīng)網(wǎng)絡(luò)（social influence attentive neural network，SIAN）模型，利用注意力機制捕捉朋友推薦的影響力。Wang等[11]提出協(xié)同知識感知的注意力網(wǎng)絡(luò)（collaborative knowledge-aware attentive network，CKAN）模型，使用知識感知的注意力機制區(qū)分不同知識鄰居的貢獻。Wang等[12]提出全局上下文增強的序列推薦模型GCE-GNN（global context enhanced graph neural network），對所有會話中的項目轉(zhuǎn)換進行建模來學(xué)習(xí)全局項目嵌入，對當前會話進行建模來學(xué)習(xí)會話級項目嵌入，采用注意力機制匯總兩個級別的嵌入表示。Xia等[13]將會話序列表示為超圖來捕捉項目間的高階信息，通過雙通道超圖卷積網(wǎng)絡(luò)來學(xué)習(xí)會話表示。然而，已有注意力方法通常利用位置嵌入對用戶行為序列進行建模，忽略了具體的時間戳信息，導(dǎo)致推薦性能不佳和模型訓(xùn)練過擬合等問題。

近年來，多任務(wù)學(xué)習(xí)成功應(yīng)用于機器學(xué)習(xí)的很多鄰域[14-15]。在推薦系統(tǒng)中，通過參數(shù)共享的方式同時學(xué)習(xí)多個相關(guān)的任務(wù)，不同任務(wù)之間相互促進，如此可以進一步提高推薦的性能。Xiao等[16]提出基于深度神經(jīng)網(wǎng)絡(luò)的多任務(wù)推薦（deep factorization machine-graph convolutional network，DFM-GCN）模型，它利用深度矩陣分解模型捕捉用戶與物品之間的交互信息，利用圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）獲得更好的項目表示向量。Wang等[17]提出知識圖譜增強的多任務(wù)特征學(xué)習(xí)推薦模型，它是一個深度端到端的框架，將知識圖譜的聯(lián)合學(xué)習(xí)和交替學(xué)習(xí)與推薦系統(tǒng)結(jié)合，利用知識圖嵌入任務(wù)來輔助推薦任務(wù)。Liu等[18]提出項目關(guān)系圖神經(jīng)網(wǎng)絡(luò)（item relationship graph neural network，IRGNN）模型，采用多任務(wù)架構(gòu)發(fā)現(xiàn)項目間的多個復(fù)雜關(guān)系，利用識別的項目關(guān)系生成更好的推薦結(jié)果，提高推薦的可解釋性。

綜上，注意力機制和多任務(wù)學(xué)習(xí)在推薦系統(tǒng)中已經(jīng)發(fā)揮出積極的作用。目前利用融合注意力機制與多任務(wù)學(xué)習(xí)以提高推薦性能的方法非常少見，然而這一方向具有巨大潛力，值得探索。為此，本文提出一種基于時間注意力的多任務(wù)矩陣分解推薦（time attention-based multi-task matrix factorization，TAMMF）模型，以基于時間感知注意力機制的推薦為主任務(wù)，以基于矩陣分解的推薦為相關(guān)任務(wù)，利用GCN捕捉用戶和物品的鄰域信息，借助艾賓浩斯遺忘曲線對鄰域作用進行衰減，訓(xùn)練過程中引入基于經(jīng)驗回放的強化學(xué)習(xí)策略。在真實數(shù)據(jù)集上的大量實驗結(jié)果表明，本文算法明顯優(yōu)于現(xiàn)有推薦算法。本文的主要貢獻主要體現(xiàn)在以下幾個方面。

●在矩陣分解模型的基礎(chǔ)上，結(jié)合艾賓浩斯遺忘曲線和注意力機制提取鄰域信息，對用戶和項目進行建模。

●模擬人類記憶不斷復(fù)習(xí)的過程，訓(xùn)練過程采用強化學(xué)習(xí)中經(jīng)驗回放的學(xué)習(xí)方法，提升了模型的魯棒性。

●在4個不同規(guī)模的真實數(shù)據(jù)集上進行實驗驗證，結(jié)果表明本文模型的推薦精度和推薦速度均優(yōu)于已有推薦模型。

1 模型設(shè)計

TAMMF模型的基本框架如圖1所示，主要包括矩陣分解模型和時間注意力網(wǎng)絡(luò)兩個部件，二者共享用戶向量和物品向量，形成并行的多任務(wù)結(jié)構(gòu)，以不同的學(xué)習(xí)方式各自進行評分預(yù)測，最后將得到的預(yù)測評分值進行合并。

圖1 TAMMF模型的基本框架

矩陣分解進行評分預(yù)測時存在預(yù)測準確性低、可解釋性差等問題。時間注意力網(wǎng)絡(luò)通過對用戶和物品向量進行時間衰減，學(xué)習(xí)用戶和物品的鄰近關(guān)系，增強了模型的可解釋性，提升了評分預(yù)測的準確性，但容易陷入局部最優(yōu)。多任務(wù)模型通過多個相關(guān)任務(wù)的共同學(xué)習(xí)和互相促進，提高了模型的泛化能力。本文模型將均方根誤差（root mean square error，RMSE）作為兩個任務(wù)的損失函數(shù)，最后取均值作為總損失函數(shù)。

其中，1和2分別表示矩陣分解模型和時間注意力網(wǎng)絡(luò)的預(yù)測評分，為實際評分，為測試樣本的個數(shù)。

1.1 矩陣分解模型

矩陣分解是目前推薦系統(tǒng)中非常流行的一種算法，它通過對用戶?項目交互矩陣進行低維矩陣分解，將用戶和項目映射到共同的潛在向量空間中，對用戶和項目的潛在特征向量的內(nèi)積進行評分預(yù)測，如式（4）所示。

基于矩陣分解的評分預(yù)測與協(xié)同推薦算法原理簡單、推薦速度快，但其計算過程沒有考慮交互時間信息以及用戶和物品的鄰近信息，推薦結(jié)果準確率較低。

1.2 時間注意力網(wǎng)絡(luò)

（1）艾賓浩斯遺忘曲線

艾賓浩斯遺忘曲線為德國著名心理學(xué)家艾賓浩斯研究所得，遵循“先快后慢”原則，在記憶初期遺忘速度很快，隨時間推移遺忘速度逐漸減緩，最終趨于平穩(wěn)。此外，合理的重復(fù)記憶可以有效降低記憶的遺忘速度，提高記憶的牢固度。艾賓浩斯遺忘曲線如圖2所示。

圖2 艾賓浩斯遺忘曲線

將艾賓浩斯遺忘曲線應(yīng)用于推薦系統(tǒng)，需要根據(jù)具體的推薦數(shù)據(jù)集，將其量化為相應(yīng)的數(shù)學(xué)表達式，如式（5）所示。

其中，()是以為變量的遺忘函數(shù)，表示時間間隔，和是兩個控制變量。實驗證明，當設(shè)置=1.25、=1.84時，該函數(shù)與遺忘曲線的擬合度最高。

為用戶提供個性化推薦時，時間間隔越小的歷史行為往往具有越高的參考意義，可以更有效地體現(xiàn)用戶的短期興趣。時間間隔大的歷史行為對用戶短期興趣建模的參考意義較小，但其數(shù)據(jù)量豐富，能夠體現(xiàn)用戶的長期興趣。在推薦系統(tǒng)中，歷史行為數(shù)據(jù)的時間間隔短至幾秒，長達幾天，甚至幾個月，數(shù)據(jù)差異較大，這里用式（6）進行轉(zhuǎn)換。

（2）時間注意力網(wǎng)絡(luò)設(shè)計

時間注意力網(wǎng)絡(luò)主要由時間衰減函數(shù)和圖卷積神經(jīng)網(wǎng)絡(luò)兩部分構(gòu)成，時間注意力網(wǎng)絡(luò)示意圖如圖3所示。

圖3 時間注意力網(wǎng)絡(luò)示意圖

其中，i為矩陣分解的物品向量，i()為衰減后的物品向量，為可調(diào)節(jié)參數(shù)。

其中，()表示用戶u在圖中的鄰居集；表示可訓(xùn)練的參數(shù)；uj表示鄰居項目I對用戶建模的貢獻權(quán)重，通過注意力網(wǎng)絡(luò)和Softmax激活函數(shù)計算得到，如式（9）及式（10）所示。

其中，1、21和2表示可訓(xùn)練的參數(shù)。

1.3 基于經(jīng)驗回放的模型訓(xùn)練

人類記憶過程中通過適當復(fù)習(xí)，能夠?qū)@得的短時記憶轉(zhuǎn)化成長時記憶，永久地留存在腦海里，有效提升記憶效果。TAMMF模型借鑒強化學(xué)習(xí)中的經(jīng)驗回放方法來模擬人類記憶過程中的復(fù)習(xí)過程，經(jīng)驗回放示意圖如圖4所示。不斷地將訓(xùn)練過程中得到的用戶和物品向量保存在記憶池中，作為歷史經(jīng)驗，繼續(xù)訓(xùn)練時會觸發(fā)經(jīng)驗回放條件，該條件可以是迭代一定次數(shù)，也可以是隨機觸發(fā)，此時會從記憶池中獲取歷史經(jīng)驗數(shù)據(jù)，并將其加入新的訓(xùn)練過程中。

圖4 經(jīng)驗回放示意圖

在訓(xùn)練過程中采用經(jīng)驗回放具有以下優(yōu)勢：一是每一步對權(quán)值的更新都會對模型起作用，提高了數(shù)據(jù)的利用率；二是打破了樣本之間的相關(guān)性，減小每次訓(xùn)練更新的方差；三是通過加入歷史經(jīng)驗，防止參數(shù)學(xué)習(xí)陷入局部最優(yōu)。

1.4 復(fù)雜度分析

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

為了評估TAMMF模型的有效性，在FilmTrust、MovieLens 100K（ML-100K）、MovieLens 1M（ML- 1M）和MoiveLens Last（ML-Last）4個公開數(shù)據(jù)集上進行實驗。數(shù)據(jù)集詳情見表1，其中FilmTrust包含1 508位用戶對2 071部電影的35 497個顯式評分，評分范圍為[0.5,4]；MovieLens 100K包含943位用戶對1 682部電影的100 000個顯式評分；MovieLens 1M包含6 040位用戶對3 706部電影的1 000 209個顯式評分；MovieLens Last包含610位用戶對9 742部電影的100 836個顯式評分，后3個數(shù)據(jù)集的評分取值范圍均為[1,5]。對于每個數(shù)據(jù)集，將其中80%的評分數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其余作為測試數(shù)據(jù)。

表1 數(shù)據(jù)集詳情

2.2 對比方法

本文與如下方法進行對比。

●基于物品的協(xié)同過濾推薦算法ItemCF（item-to-item collaborative filtering）[19]：通過計算物品之間的相似度，根據(jù)用戶喜歡的物品向用戶推薦相似的物品。

●概率矩陣分解（probabilistic matrix factorization，PMF）方法[20]：是推薦系統(tǒng)的基礎(chǔ)算法之一。PMF方法在大型、稀疏且不平衡的數(shù)據(jù)集上有很好的表現(xiàn)。

●MLP（multilayer perceptron）：深度神經(jīng)網(wǎng)絡(luò)基本方法，將用戶ID、項目ID的One-hot編碼進行拼接并作為輸入向量，使用深度神經(jīng)網(wǎng)絡(luò)進行交互建模和評分預(yù)測。

●奇異值分解（singular value decomposition，SVD）法[21]：對評分矩陣進行分解后采用點積方法計算預(yù)測評分。該方法在預(yù)測準確性、穩(wěn)定性上具有明顯的優(yōu)勢。

●GCN[22]：采用圖卷積方法融合鄰域信息進行目標建模，等同于本文模型中的注意力部分。

●NeuMF[3]：結(jié)合了傳統(tǒng)的矩陣分解算法和多層感知機，可以同時抽取低維和高維特征，具有良好的推薦效果。

●DeepCF[5]：結(jié)合表示學(xué)習(xí)和匹配學(xué)習(xí)方法的優(yōu)點，通過搭建深度學(xué)習(xí)網(wǎng)絡(luò)進行交互建模與評分預(yù)測。

為了得到對比算法的最優(yōu)結(jié)果，所有算法均參照原文獻設(shè)置最優(yōu)參數(shù)。為了防止過擬合，NeuMF和DeepCF采用L2正則化，MLP和GCN采用Dropout，保留概率為0.8。

2.3 評價指標

平均絕對誤差（mean absolute error，MAE）和均方根誤差是衡量變量精度的兩個最常用的指標。MAE表示絕對誤差的平均值，反映預(yù)測值與真實值之間的偏差程度，偏差越小，精度越高。

RMSE表示預(yù)測值和真實值之間差異的平方均值，用來衡量預(yù)測的準確程度，偏差越小，精度越高。該指標對個別大的偏差非常敏感。

2.4 參數(shù)設(shè)置

模型訓(xùn)練過程采用Adam優(yōu)化器，學(xué)習(xí)率為0.000 5；采用批量訓(xùn)練的方法，每批128個數(shù)據(jù)，迭代次數(shù)為200；用戶和物品向量采用期望為0、方差為0.01的隨機分布進行初始化，向量維度為128；采用Dropout方法，防止模型訓(xùn)練過擬合。

2.5 實驗結(jié)果分析

（1）對比實驗

不同模型在4個數(shù)據(jù)集上的性能表現(xiàn)見表2，推薦系統(tǒng)的經(jīng)典算法ItemCF在所有方法中表現(xiàn)最差，相比ItemCF算法，PMF和SVD性能有所提升，但是由于上述方法沒有考慮鄰域信息，且只進行線性交互建模，推薦效果都不是很理想。MLP通過學(xué)習(xí)高階特征交互，推薦性能具有明顯提升。基于深度學(xué)習(xí)的模型NeuMF在MLP的基礎(chǔ)上結(jié)合矩陣分解算法捕捉低階關(guān)系，推薦性能得到進一步提升。另一個基于深度學(xué)習(xí)的模型DeepCF結(jié)合了表示學(xué)習(xí)和特征交互學(xué)習(xí)的優(yōu)勢，在所有數(shù)據(jù)集上都具有優(yōu)異的性能表現(xiàn)。GCN模型在用戶和項目建模過程中考慮了鄰域信息，推薦性能較同類方法具有一定優(yōu)勢。本文模型在所有數(shù)據(jù)集上都具有最佳的性能表現(xiàn)，其原因在于：借助注意力機制捕捉用戶和物品鄰近信息，增強了建模準確性；使用多任務(wù)的方式進行參數(shù)學(xué)習(xí)，有效防止模型訓(xùn)練過擬合。TAMMF+在TAMMF的基礎(chǔ)上使用經(jīng)驗回放的方式進行訓(xùn)練，推薦性能得到了進一步提升，由此可見，將人類記憶過程中的復(fù)習(xí)方法應(yīng)用于深度學(xué)習(xí)模型訓(xùn)練是有效的。

表2 不同模型在4個數(shù)據(jù)集上的性能表現(xiàn)

（2）參數(shù)敏感性實現(xiàn)

為了防止模型訓(xùn)練過擬合，提高模型的魯棒性，引入Dropout方法。Dropout方法在深度學(xué)習(xí)模型的每個隱藏層中都保留了神經(jīng)元比率。不同保留概率下的MAE和RMSE分別如圖5和圖6所示，展示了采用不同的保留概率時模型的推薦性能。當保留全部神經(jīng)元（Dropout=1）時，模型出現(xiàn)嚴重的過擬合現(xiàn)象，采用Dropout方法可以有效解決過擬合問題，在保留概率為0.8或0.9時，推薦效果性能最佳。

圖5 不同保留概率下的MAE

圖6 不同保留概率下的RMSE

為了防止參數(shù)學(xué)習(xí)陷入局部最優(yōu)，增強模型的魯棒性，本文模型采用了強化學(xué)習(xí)中經(jīng)驗回放的訓(xùn)練方法，用于消除樣本之間的相關(guān)性，重復(fù)利用過去的經(jīng)驗。不同回放間隔下ML-Last數(shù)據(jù)集上的MAE和RMSE分別如圖7和圖8所示，展示了不同回放間隔對模型性能的影響，可以看出，使用經(jīng)驗回放的方法能夠明顯提升預(yù)測準確率，當回放間隔為5次時，效果最佳。

圖7 不同回放間隔下ML-Last數(shù)據(jù)集上的MAE

圖8 不同回放間隔下ML-Last數(shù)據(jù)集上的RMSE

表3 不同向量維度下的性能表現(xiàn)

通常情況下，用戶和項目向量的維度（size）對評分預(yù)測具有一定影響，不同向量維度下的性能表現(xiàn)見表3。從表3可以看出，開始時隨著向量維度的增加，預(yù)測性能不斷提升，這是因為采用更多的維度可以考慮更多的預(yù)測因素。當向量維度為128時模型性能最佳，此時進一步增加向量維度，預(yù)測性能反而有所下降，這說明過多的向量維度引入了噪聲，會產(chǎn)生過擬合現(xiàn)象。因此，本文選取128作為用戶和項目向量的維度。

3 結(jié)束語

本文基于艾賓浩斯遺忘曲線和注意力機制對現(xiàn)有推薦模型進行改進，提出一種基于時間注意力的多任務(wù)矩陣分解推薦模型TAMMF，融合矩陣分解算法和時間注意力網(wǎng)絡(luò)，形成多任務(wù)學(xué)習(xí)模型，并使用經(jīng)驗回放方法進行模型訓(xùn)練，有效防止了模型訓(xùn)練過擬合，提升了評分預(yù)測和推薦準確性。本文模型采用矩陣分解方法進行評分預(yù)測，推薦效率高。

本文模型利用艾賓浩斯遺忘曲線對不同時間間隔的領(lǐng)域信息的作用進行衰減，采用數(shù)學(xué)建模和參數(shù)調(diào)節(jié)方法。在未來的工作中，將借鑒多學(xué)科領(lǐng)域知識，嘗試不同的時間衰減方式，進一步提升模型的推薦性能。

[1] 黃立威, 江碧濤, 呂守業(yè), 等. 基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述[J]. 計算機學(xué)報, 2018, 41(7): 1619-1647.

HUANG L W, JIANG B T, LYU S Y, et al. Survey on deep learning based recommender systems[J]. Chinese Journal of Computers, 2018, 41(7): 1619-1647.

[2] 紀佳琪, 姜學(xué)東. 深度協(xié)同過濾推薦模型研究[J]. 計算機應(yīng)用與軟件, 2020, 37(7): 240-245.

JI J Q, JIANG X D. Deep collaborative filtering recommender model[J]. Computer Applications and Software, 2020, 37(7): 240-245.

[3] HE X N, LIAO L Z, ZHANG H W, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. [S.l.:s.n.], 2017: 173-182.

[4] VEIT A, WILBER M J, BELONGIE S. Residual networks behave like ensembles of relatively shallow networks[J]. Advances in Neural Information Processing Systems, 2016, 29: 550-558.

[5] DENG Z H, HUANG L, WANG C D, et al. DeepCF: a unified framework of representation learning and matching function learning in recommender system[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 61-68.

[6] SHEN T, ZHOU T Y, LONG G D, et al. DiSAN: directional self-attention network for RNN/CNN-free language understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2018, 32(1).

[7] ZHANG W F, YU J, HU H, et al. Multimodal feature fusion by relational reasoning and attention for visual question answering[J]. Information Fusion, 2020, 55: 116-126.

[8] WANG X, HE X N, WANG M, et al. Neural graph collaborative filtering[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. [S.l.:s.n], 2019: 165-174.

[9] WU S, TANG Y Y, ZHU Y Q, et al. Session-based recommendation with graph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 346-353.

[10] LU Y F, XIE R B, SHI C, et al. Social influence attentive neural network for friend-enhanced recommendation[C]//Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases. [S.l.:s.n.], 2020: 3-18.

[11] WANG Z, LIN G Y, TAN H B, et al. CKAN: collaborative knowledge-aware attentive network for recommender systems[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 219-228.

[12] WANG Z Y, WEI W, CONG G, et al. Global context enhanced graph neural networks for session-based recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 169-178.

[13] XIA X, YIN H Z, YU J L, et al. Self-supervised hypergraph convolutional networks for session-based recommendation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(5): 4503-4511.

[14] ZHANG Y, YANG Q. An overview of multi-task learning[J]. National Science Review, 2017, 5(1): 30-43.

[15] LU Y C, DONG R H, SMYTH B. Why I like it: multi-task learning for recommendation and explanation[C]//Proceedings of the 12th ACM Conference on Recommender Systems. New York: ACM Press, 2018: 4-12.

[16] XIAO Y, LI C D, LIU V. DFM-GCN: a multi-task learning recommendation based on a deep graph neural network[J]. Mathematics, 2022, 10(5): 721.

[17] WANG Y Q, DONG L Y, LI Y L, et al. Multitask feature learning approach for knowledge graph enhanced recommendations with RippleNet[J]. PLoS One, 2021, 16(5): e0251162.

[18] LIU W W, ZHANG Y, WANG J L, et al. Item relationship graph neural networks for E-commerce[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(9): 4785-4799.

[19] LINDEN G, SMITH B, YORK J. Amazon.com recommendations: item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.

[20] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer, 2009, 42(8): 30-37.

[21] ZHENG S, DING C, NIE F P. Regularized singular value decomposition and application to recommender system[J]. arXiv preprint, 2018, arXiv: 1804.05090.

[22] MOLCHANOV P, TYREE S, KARRAS T, et al. Pruning convolutional neural networks for resource efficient inference[J]. arXiv preprint, 2016, arXiv: 1611.06440.

Ebbinghaus forgetting curve and attention mechanism based recommendation algorithm

JIN Nan1, WANG Ruiqin1, 2, LU Yuecong1

1. School of Information Engineering, Huzhou University, Huzhou 313000, China 2. Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou 313000, China

Traditional attention-based recommendation algorithms only use position embeddings to model user behavior sequences, however, ignore specific timestamp information, resulting in poor recommendation performance and overfitting of model training. The multi-task matrix factorization recommendation model based on time attention was proposed, which used the attention mechanism to extract the neighborhood information for the user and item embedding, and used the Ebbinghaus forgetting curve to describe the changing characteristics of user interests over time. The model training process introduced a reinforcement learning strategy of experience replay to simulate the human memory review process. Experimental results on real datasets show that the proposed model has better recommendation performance than existing recommendation models.

Ebbinghaus forgetting curve, attention mechanism, reinforcement learning, experience replay

TP391

A

10.11959/j.issn.1000–0801.2022266

2022–02–25；

2022–09–28

王瑞琴，angelwrq@163.com

浙江省自然科學(xué)基金資助項目（No.LY20F020006）

The Natural Science Foundation of Zhejiang Province (No.LY20F020006)

金楠（1996– ），男，湖州師范學(xué)院信息工程學(xué)院碩士生，主要研究方向為深度學(xué)習(xí)、個性化推薦。

王瑞琴（1979– ），女，湖州師范學(xué)院信息工程學(xué)院教授、碩士生導(dǎo)師，主要研究方向為自然語言理解、數(shù)據(jù)挖掘、個性化推薦。

陸悅聰（1996– ），男，湖州師范學(xué)院信息工程學(xué)院碩士生，主要研究方向為機器學(xué)習(xí)與數(shù)據(jù)挖掘。