面向推薦系統(tǒng)的分期序列自注意力網(wǎng)絡(luò)

鮑維克，袁春

（1. 清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系，北京 100084; 2. 清華大學(xué) 深圳國(guó)際研究生院，廣東 深圳 518000）

隨著互聯(lián)網(wǎng)的普及，互聯(lián)網(wǎng)應(yīng)用的用戶數(shù)量空前增長(zhǎng)，阿里巴巴集團(tuán)公布截至2019年12月31日的季度業(yè)績(jī)顯示[1]，其中國(guó)零售市場(chǎng)移動(dòng)月活躍用戶達(dá)8.24億，創(chuàng)12個(gè)季度以來(lái)新高。諸多互聯(lián)網(wǎng)公司在龐大的用戶數(shù)據(jù)之上采用智能推薦算法提高產(chǎn)品的可用性和用戶體驗(yàn)。然而經(jīng)典的推薦算法往往存在一些問(wèn)題：1)對(duì)于用戶反饋(user-item interactions)數(shù)據(jù)表現(xiàn)出的相互依賴和序列性分析不足；2)對(duì)反饋數(shù)據(jù)和上下文的動(dòng)態(tài)性應(yīng)對(duì)不足；3)模型往往固定表達(dá)了用戶的長(zhǎng)期/一般偏好，而非基于反饋數(shù)據(jù)對(duì)長(zhǎng)期/一般偏好進(jìn)行表達(dá)。

為此，本文提出了一種面向推薦系統(tǒng)的分期序列自注意力網(wǎng)絡(luò)(long-term & short-term sequential self-attention network，LSSSAN)?！胺制凇北硎緦⒂脩舻姆答仈?shù)據(jù)分為長(zhǎng)期和短期，用戶的長(zhǎng)期反饋數(shù)據(jù)反映了用戶的長(zhǎng)期/一般偏好，用戶的短期反饋數(shù)據(jù)反映了用戶的短期偏好和序列性偏好；注意力(attention)機(jī)制，可以為不同的數(shù)據(jù)賦予不同的權(quán)重，幫助模型動(dòng)態(tài)捕捉數(shù)據(jù)中重要的信息，自注意力(self-attention)機(jī)制在此基礎(chǔ)上，可以有效地捕捉長(zhǎng)序列數(shù)據(jù)之間的相互依賴。本模型中，自注意力機(jī)制從用戶長(zhǎng)期反饋數(shù)據(jù)提取用戶的長(zhǎng)期/一般偏好，GRU(gate recurrent unit)從用戶短期反饋數(shù)據(jù)的提取用戶的序列性偏好，最后由以上所得綜合用戶短期反饋數(shù)據(jù)表現(xiàn)出的短期偏好參與注意力機(jī)制，得到了用戶的綜合偏好?？傮w來(lái)講，本文模型的亮點(diǎn)如下：

1)采用注意力機(jī)制為不同的反饋數(shù)據(jù)賦予不同的權(quán)重以動(dòng)態(tài)捕捉重點(diǎn)信息，同時(shí)也考慮了不同用戶和不同item候選集對(duì)推薦結(jié)果的動(dòng)態(tài)影響；

2)自注意力機(jī)制捕捉了長(zhǎng)期反饋數(shù)據(jù)之間的長(zhǎng)期相互依賴，準(zhǔn)確地表達(dá)了用戶的長(zhǎng)期/一般偏好，而非基于用戶特征固定地表達(dá)長(zhǎng)期/一般偏好；

3) GRU捕捉了短期反饋數(shù)據(jù)的序列性并參與注意力機(jī)制賦權(quán)，GRU層輸入數(shù)據(jù)的順序相關(guān)性的強(qiáng)弱會(huì)影響注意力機(jī)制賦予序列性表示的權(quán)重，進(jìn)而準(zhǔn)確表達(dá)了用戶的序列性偏好；

4)在數(shù)據(jù)集上實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)整體優(yōu)于主流的推薦算法。

1 研究背景

1.1 推薦系統(tǒng)的一般任務(wù)

通常來(lái)說(shuō)，推薦系統(tǒng)的一般模型可以用以下形式表達(dá)，如圖1所示。

圖 1 推薦系統(tǒng)一般模型的結(jié)構(gòu)Fig. 1 Structure of general recommendation system model

圖1中，item表示推薦系統(tǒng)中的項(xiàng)(item可以為商品、視頻等)，一個(gè)用戶的反饋數(shù)據(jù)記錄由多個(gè)item組成，Model表示推薦模型，推薦系統(tǒng)的任務(wù)是將合適的item推薦給用戶。u表示用戶 u 的特征表示；Lu表示用戶 u 的用戶反饋數(shù)據(jù)序列，由多個(gè)item組成，為用戶 u 的用戶反饋數(shù)據(jù)序列Lu中的一項(xiàng)；表示可能被推薦的候選item集合中的某一候選item；推薦系統(tǒng)基于以上內(nèi)容，計(jì)算用戶 u 的綜合偏好表示并通過(guò)計(jì)算用戶 u 對(duì)候選item的偏好得分，得分越高說(shuō)明用戶 u 越傾向于選擇候選item

1.2 相關(guān)工作

傳統(tǒng)的推薦系統(tǒng)如基于內(nèi)容推薦和協(xié)同過(guò)濾推薦，均是以靜態(tài)方式對(duì)用戶反饋數(shù)據(jù)進(jìn)行建模，對(duì)用戶反饋數(shù)據(jù)的信息提取不夠充分。而序列推薦模型將用戶反饋數(shù)據(jù)視為序列，考慮了用戶反饋數(shù)據(jù)的序列性和相互依賴，進(jìn)而準(zhǔn)確估計(jì)了用戶的偏好[2-4]。

在序列推薦模型中，用戶反饋數(shù)據(jù)序列由較長(zhǎng)的用戶反饋數(shù)據(jù)組成，使得用戶反饋數(shù)據(jù)序列具有更復(fù)雜的依賴特性。對(duì)于用戶反饋數(shù)據(jù)序列的處理，其中兩個(gè)主要的難點(diǎn)[2]是：

1)學(xué)習(xí)高階順序依賴

高階順序依賴在用戶反饋數(shù)據(jù)序列中普遍存在，低階依賴的可以用馬爾科夫模型[5]或因子分解機(jī)[6-7]解決，高階順序依賴由于反饋數(shù)據(jù)的多級(jí)級(jí)聯(lián)，模型往往難以表達(dá)。針對(duì)此問(wèn)題，目前主要的兩種方案：高階馬爾科夫鏈模型[8]和RNN(recurrent neural network)模型[9]。但是，高階馬爾可夫鏈模型因參數(shù)數(shù)量隨階數(shù)呈指數(shù)增長(zhǎng)，其分析的歷史狀態(tài)有限；而單一的RNN模型難以處理具有非嚴(yán)格順序相關(guān)性的用戶反饋數(shù)據(jù)序列。

2) 學(xué)習(xí)長(zhǎng)期順序依賴

長(zhǎng)期順序依賴指序列中彼此遠(yuǎn)離的用戶反饋數(shù)據(jù)之間的依賴性。文獻(xiàn)[9-10]分別使用LSTM(long short-term memory)和GRU(gate recurrent unit)來(lái)解決這個(gè)問(wèn)題。但是，單一的RNN模型依賴于序列中相鄰項(xiàng)的強(qiáng)相關(guān)性，對(duì)于弱相互依賴性和非嚴(yán)格順序相關(guān)性的數(shù)據(jù)處理表現(xiàn)不佳。文獻(xiàn)[11]通過(guò)利用混合模型的優(yōu)勢(shì)，將具有不同時(shí)間范圍的多個(gè)子模型組合在一起，以捕獲短期和長(zhǎng)期依賴關(guān)系。而注意力機(jī)制考慮了用戶反饋數(shù)據(jù)之間的聯(lián)系卻不依賴于數(shù)據(jù)的相鄰關(guān)系，阿里Deep Interest Network[12]、Next Item Recommendation with Self-Attention[13]、Sequential Recommender System Based on Hierarchical Attention Networks[14]等，通過(guò)注意力機(jī)制，模型能夠計(jì)算出用戶反饋數(shù)據(jù)的相對(duì)權(quán)重以動(dòng)態(tài)捕捉重點(diǎn)信息，進(jìn)而準(zhǔn)確估計(jì)了用戶的偏好表示。

2 分期序列自注意力網(wǎng)絡(luò)

本文提出了一種分期序列自注意力網(wǎng)絡(luò)(longterm & short-term sequential self-attention network,L SSSAN)進(jìn)行序列推薦。

2.1 問(wèn)題表述

在基于LSSSAN的推薦系統(tǒng)中：u表示用戶 u的特征表示；Lu表示用戶 u 的用戶反饋數(shù)據(jù)序列，如用戶點(diǎn)擊、購(gòu)買的item序列；vuj∈Lu表示用戶 u 的用戶反饋數(shù)據(jù)序列Lu中的一項(xiàng)item；Lucand表示可能被推薦的候選item集合；vu3j∈Lcuand表示候選item集合Lucand中的一項(xiàng)。

文獻(xiàn)[6, 9]表明短期反饋數(shù)據(jù)對(duì)推薦結(jié)果有著重要影響，結(jié)合長(zhǎng)期和短期反饋數(shù)據(jù)能夠準(zhǔn)確反映用戶的綜合偏好；文獻(xiàn)[14]的工作利用用戶長(zhǎng)期反饋數(shù)據(jù)充分表達(dá)了用戶的長(zhǎng)期/一般偏好，并結(jié)合短期反饋數(shù)據(jù)表達(dá)的短期偏好準(zhǔn)確估計(jì)了用戶的綜合偏好。基于此，本文將用戶反饋數(shù)據(jù)Lu劃分為用戶長(zhǎng)期反饋數(shù)據(jù)Lluong和用戶短期反饋數(shù)據(jù)Ls

uhort(在本文的實(shí)驗(yàn)環(huán)節(jié)，將一天內(nèi)的反饋數(shù) 據(jù)為短期反饋數(shù)據(jù))。長(zhǎng)期用戶反饋數(shù)據(jù)Lluong反映了用戶的長(zhǎng)期/一般偏好，短期用戶反饋數(shù)據(jù)反映了用戶近期的短期偏好和序列性偏好。舉例來(lái)說(shuō)，用戶A是個(gè)運(yùn)動(dòng)愛好者，平時(shí)喜歡購(gòu)買一些運(yùn)動(dòng)設(shè)備，有一天，用戶A由于手機(jī)損壞，購(gòu)買了手機(jī)和手機(jī)保護(hù)膜。此時(shí)如果基于用戶A的長(zhǎng)期/一般偏好，推薦系統(tǒng)會(huì)更偏向于給用戶A推薦運(yùn)動(dòng)相關(guān)的item，而如果基于用戶A的短期偏好，推薦系統(tǒng)則會(huì)偏向于給用戶A推薦手機(jī)相關(guān)的item，考慮到用戶A短期購(gòu)買日志(先后購(gòu)買手機(jī)和手機(jī)保護(hù)膜)的序列性，推薦系統(tǒng)則可能會(huì)向用戶A推薦手機(jī)保護(hù)殼。

LSSSAN基于以上內(nèi)容，估計(jì)用戶的綜合偏好，并利用用戶u的綜合偏好計(jì)算用戶 u 對(duì)候選項(xiàng)itemv3jcand的偏好得分，得分越高說(shuō)明用戶 u 越傾 向于選擇候選項(xiàng)itemv3jcand。

2.2 模型結(jié)構(gòu)

在序列推薦的場(chǎng)景中，用戶偏好往往有以下的特點(diǎn)：1)用戶反饋數(shù)據(jù)往往是長(zhǎng)序列，用戶反饋數(shù)據(jù)存在著復(fù)雜的相互依賴關(guān)系；2)短期用戶反饋數(shù)據(jù)和其表達(dá)的序列性，影響推薦結(jié)果的重要因素；3)相同的item，在不同的候選item集合或不同的用戶下，對(duì)于推薦結(jié)果有不同的影響；4)在考慮不同的item對(duì)于結(jié)果的影響時(shí)，應(yīng)對(duì)不同的item賦予不同的權(quán)重以動(dòng)態(tài)捕捉重點(diǎn)信息。

基于此，本文設(shè)計(jì)了LSSSAN模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖 2 分期序列自注意力網(wǎng)絡(luò)的結(jié)構(gòu)Fig. 2 Structure of LSSSAN

Embedding層：對(duì)用戶、可能被推薦的候選item集合、用戶反饋數(shù)據(jù)的特征的稀疏表示進(jìn)行embed，轉(zhuǎn)化為稠密的embedding表示。

自注意力層：在推薦系統(tǒng)中，應(yīng)用注意力機(jī)制，可以為不同的用戶反饋數(shù)據(jù)賦予不同的權(quán)重，以動(dòng)態(tài)捕捉重點(diǎn)信息，反映了不同的用戶反饋數(shù)據(jù)對(duì)推薦結(jié)果影響的差異性。自注意力機(jī)制是一種特殊的注意力機(jī)制，由于在機(jī)器翻譯領(lǐng)域的成功表現(xiàn)，自注意力機(jī)制逐漸走入研究者們的視野[15]。自注意力機(jī)制在動(dòng)態(tài)賦權(quán)的同時(shí)，捕捉了用戶反饋數(shù)據(jù)之間的相互依賴，并且自注意力機(jī)制在長(zhǎng)序列的數(shù)據(jù)上表現(xiàn)出色。文獻(xiàn)[13]的工作將自注意力機(jī)制應(yīng)用于從用戶短期反饋數(shù)據(jù)上提取用戶的短期偏好，但這項(xiàng)工作忽視了用戶長(zhǎng)期反饋數(shù)據(jù)在序列推薦中的作用，同時(shí)自注意力機(jī)制對(duì)短期反饋數(shù)據(jù)的序列性分析不足?；诖?，本文考慮將自注意力機(jī)制應(yīng)用于用戶長(zhǎng)期反饋數(shù)據(jù)，結(jié)合用戶和候選item集作為上下文，得到用戶長(zhǎng)期/一般偏好的表示。

圖 3 自注意力層的結(jié)構(gòu)Fig. 3 Structure of self-attention net

式(1)和(2)中的，WQ∈Rd×d=WK∈Rd×d分別為Query和Key非線性表示層的權(quán)重參數(shù)，ReLU(·) 在本模型中表示Leaky_ReLU激勵(lì)函數(shù),Q′和K′分別表示Query和Key的非線性表示。Leaky_ReLU是ReLU的變體，解決了ReLU函數(shù)進(jìn)入負(fù)區(qū)間后，導(dǎo)致神經(jīng)元不學(xué)習(xí)的問(wèn)題。

式中，對(duì)Xu′long聚合(如sum、max，這里采用均值)，得到了用戶長(zhǎng)期/一般偏好的表示ulong∈R1×d。

GRU(gate recurrent unit)層：與利用自注意力層提取用戶長(zhǎng)期反饋數(shù)據(jù)之間的相互依賴不同，用戶短期反饋數(shù)據(jù)的重點(diǎn)是提取用戶短期反饋數(shù)據(jù)中的序列性偏好。GRU是RNN的一種，解決了長(zhǎng)期記憶和反向傳播中的梯度等問(wèn)題，且易于計(jì)算[16]。模型將用戶短期反饋數(shù)據(jù)Lsuhort輸入GRU，計(jì)算得到短期反饋數(shù)據(jù)表現(xiàn)出用戶的序列性偏好表示useq。模型GRU層的公式化表示如下：

2.3 模型的參數(shù)學(xué)習(xí)

由模型的前向傳遞得到了用戶綜合偏好的表示ucomp，現(xiàn)在用內(nèi)積方法如式(15)所示，表示ucomp和候選item v3j∈Lcuand的相似度，以表示用戶u 對(duì)候選item v3j的偏好得分 suj：

在隱反饋的推薦系統(tǒng)場(chǎng)景中，用戶往往沒(méi)有對(duì)item的具體評(píng)分，而只是交互記錄。這種情況下，推薦系統(tǒng)只有正樣本而缺乏負(fù)樣本，模型的訓(xùn)練效果會(huì)因此受到影響[17]。

可以簡(jiǎn)單地將與用戶沒(méi)有交互記錄的item作為用戶的負(fù)樣本，從而構(gòu)造負(fù)樣本集。而模型只需要和正樣本集差不多大的負(fù)樣本集，這種做法會(huì)造成負(fù)樣本集龐大，且負(fù)樣本集的質(zhì)量低下。

BPR方法[18]是一種基于矩陣分解的方法，一對(duì)用戶交互與未交互的兩個(gè)item項(xiàng)構(gòu)成偏序關(guān)系對(duì)，一個(gè)用戶下item之間的偏序關(guān)系形成偏序矩陣，遍歷用戶集建立預(yù)測(cè)排序矩陣，BPR方法對(duì)預(yù)測(cè)排序矩陣分解生成用戶矩陣和item矩陣，用戶矩陣和item矩陣相乘可以得到用戶對(duì)每個(gè)item偏好程度。利用BPR方法生成低偏好程度的負(fù)樣本集，大小與正樣本集等同，參與訓(xùn)練。

模型的Loss函數(shù)定義如下：

式中：D 表示用戶、正樣本、負(fù)樣本構(gòu)造的訓(xùn)練集；suj表示用戶 u 對(duì)正樣本候選item j的偏好得分；s′uk 表示用戶 u 對(duì)負(fù)樣本候選item k的偏好得分； σ (·) 表示sigmoid函數(shù)。第一個(gè)加號(hào)后的3項(xiàng)為正則項(xiàng)，Θe表示embedding層的權(quán)重參數(shù)；ΘA表示自注意力層和注意力層的權(quán)重參數(shù)；Θseq表示GRU層 的權(quán)重參數(shù)，λe、λA、λseq為對(duì)應(yīng)的正則項(xiàng)系數(shù)。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)概述

數(shù)據(jù)集：本文選擇Tmall數(shù)據(jù)集[19]和Gowalla數(shù)據(jù)集[20]為模型進(jìn)行訓(xùn)練和測(cè)試，其中Tmall數(shù)據(jù)集是在中國(guó)最大電商平臺(tái)Tmall.com場(chǎng)景下的用戶行為日志數(shù)據(jù)集，Gowalla數(shù)據(jù)集是在社交簽到類應(yīng)用Gowalla場(chǎng)景下的用戶行為日志數(shù)據(jù)集。

在實(shí)驗(yàn)過(guò)程中，僅考慮7個(gè)月內(nèi)在兩個(gè)數(shù)據(jù)集上生成的數(shù)據(jù)，并將1天內(nèi)的用戶反饋數(shù)據(jù)視為表示短期反饋數(shù)據(jù)序列。

評(píng)價(jià)指標(biāo)：選擇召回率(Recall)和AUC作為評(píng)價(jià)指標(biāo)。召回率表示為用戶推薦偏好程度排序前N項(xiàng)的樣本為預(yù)測(cè)的正樣本，計(jì)算被正確預(yù)測(cè)的正樣本在原始正樣本集中比例；而AUC衡量了模型對(duì)樣本正確排名的能力。

方法對(duì)比：與其他先進(jìn)模型在Tmall數(shù)據(jù)集和Gowalla數(shù)據(jù)集上的表現(xiàn)為對(duì)比[6,8,13-14,18,21](以其他文獻(xiàn)在Tmall數(shù)據(jù)集和Gowalla數(shù)據(jù)集上給出的實(shí)驗(yàn)數(shù)據(jù)，或在Tmall數(shù)據(jù)集和Gowalla數(shù)據(jù)集復(fù)現(xiàn)的結(jié)果為準(zhǔn))，以驗(yàn)證模型的有效性：1) BPR是一種基于矩陣分解的方法，BPR方法對(duì)useritem偏序關(guān)系矩陣分解得到user矩陣和item矩陣，user矩陣×item矩陣得到用戶對(duì)每個(gè)item偏好程度，依據(jù)偏好程度排序得到推薦列表；2) FOSSIL利用馬爾科夫鏈估計(jì)用戶的短期和長(zhǎng)期偏好；3) HRM對(duì)用戶偏好進(jìn)行層次表示，捕獲用戶的長(zhǎng)期/一般偏好和短期偏好；4) FPMC通過(guò)矩陣分解、馬爾科夫鏈提取序列信息，以估計(jì)用戶偏好，最后以線性方式計(jì)算得到推薦列表；5) AttRec利用自注意力機(jī)制在分析用戶短期反饋數(shù)據(jù)之間的相互依賴的同時(shí)，動(dòng)態(tài)提取了用戶的短期偏好；6) SHAN利用注意力機(jī)制對(duì)長(zhǎng)期和短期反饋數(shù)據(jù)建模，準(zhǔn)確表達(dá)了用戶的長(zhǎng)期/一般偏好；7) LSSSAN是本文的模型，利用自注意力機(jī)制和上下文估計(jì)長(zhǎng)期/一般偏好，利用GRU分析短期反饋數(shù)據(jù)表現(xiàn)出的序列性偏好，并綜合長(zhǎng)期/一般偏好和短期反饋數(shù)據(jù)序列參與注意力機(jī)制加權(quán)得到用戶的綜合偏好；8) LSSSAN1和LSSSAN2為本模型消融實(shí)驗(yàn)的對(duì)照，LSSSAN1表示LSSSAN模型消去自注意力層后的模型(同時(shí)將長(zhǎng)期反饋數(shù)據(jù)接入注意力層，自注意力層的上下文向量接入注意力層)，LSSSAN2表示消去GRU層的模型。

3.2 方法對(duì)比

圖4和圖5展示了以召回率(N為10～60)和AUC為評(píng)價(jià)指標(biāo)，各方法在Tmall數(shù)據(jù)集和Gowalla數(shù)據(jù)集上的表現(xiàn)。

圖 4 各方法在Tmall和Gowalla數(shù)據(jù)集上表現(xiàn)的對(duì)比Fig. 4 Performance comparsion of methods on Tmall and Gowalla datasets

圖 5 各方法在Tmall和Gowalla數(shù)據(jù)集上表現(xiàn)的對(duì)比Fig. 5 Performancecomparsion of methods on Tmall and Gowalla datasets

1) LSSSAN在整體上優(yōu)于基于自注意力的AttRec模型，LSSSAN在Tmall數(shù)據(jù)集上召回率(N為20)和AUC分別為0.126、0.797，在Gowalla上兩個(gè)指標(biāo)分別為0.461、0.982。相比AttRec模型，LSSSAN在兩個(gè)數(shù)據(jù)集上指標(biāo)召回率(N為20)分別提升了6.07%和20.49%，在兩個(gè)數(shù)據(jù)集上AUC指標(biāo)分別提升了10.45%和0.81%。表明相比AttRec模型固定表達(dá)用戶的長(zhǎng)期/一般偏好、忽視序列性偏好，LSSSAN的Self-Attenion層從長(zhǎng)期反饋數(shù)據(jù)中提取了用戶的長(zhǎng)期/一般偏好、GRU層從短期反饋數(shù)據(jù)中提取了用戶的序列性偏好、并從結(jié)構(gòu)上賦予了短期反饋更高的權(quán)重，對(duì)推薦結(jié)果更有利。

2) LSSSAN在Gowalla數(shù)據(jù)集上的表現(xiàn)整體優(yōu)于SHAN模型，在Tmall數(shù)據(jù)集上的表現(xiàn)與SHAN模型相比各有優(yōu)劣。LSSSAN在Gowalla數(shù)據(jù)集上指標(biāo)召回率(N為20)和AUC分別提升了1.51%和0.37%，在Tmall數(shù)據(jù)集上指標(biāo)AUC分別提升了1.48%，而在Tmall數(shù)據(jù)集上指標(biāo)召回率(N為20)落后于SHAN模型14.6%。其原因是Gowalla數(shù)據(jù)集用戶反饋數(shù)據(jù)之間的相互依賴和順序相關(guān)性比Tmall數(shù)據(jù)集嚴(yán)格，本文模型相比SHAN模型利用自注意力機(jī)制和GRU著重捕捉了用戶反饋數(shù)據(jù)之間的相互依賴和序列性，因此在Gowalla上LSSSAN的表現(xiàn)整體優(yōu)于SHAN模型，而在Tmall數(shù)據(jù)集上的表現(xiàn)的穩(wěn)定性不如SHAN模型。同時(shí)文獻(xiàn)[22]也表明，對(duì)于相互依賴和序列性強(qiáng)的簽到類型數(shù)據(jù)集，結(jié)合GRU的模型有較好的效果。綜上所述，相比SHAN對(duì)長(zhǎng)期數(shù)據(jù)的相互依賴分析不足、忽視序列性偏好，LSSSAN的Self-Attenion層分析了長(zhǎng)期數(shù)據(jù)的相互依賴、GRU層提取了序列性偏好，在推薦結(jié)果上具有更好的表現(xiàn)。

3.3 消融實(shí)驗(yàn)

圖6和表1展示了消融實(shí)驗(yàn)在Tmall和Gowalla數(shù)據(jù)集上的對(duì)照數(shù)據(jù)。

圖 6 LSSSAN在Tmall和Gowalla數(shù)據(jù)集上的消融實(shí)驗(yàn)對(duì)照Fig. 6 Ablation study of LSSSAN on Tmall and Gowalla Datasets

表 1 消融實(shí)驗(yàn)對(duì)照表Table 1 Results table of ablation study

LSSSAN1為L(zhǎng)SSSAN消去自注意力層后的模型，在兩個(gè)數(shù)據(jù)集上表現(xiàn)不佳。相比LSSSAN、LSSSAN1在兩個(gè)數(shù)據(jù)集上指標(biāo)召回率(N為20)分別降低了26.98%和38.83%，其原因主要是消去自注意力層后模型缺乏對(duì)長(zhǎng)期/一般偏好的表達(dá)，也降低了相對(duì)重要的短期反饋數(shù)據(jù)在模型中的權(quán)重。

LSSSAN2為L(zhǎng)SSSAN消去GRU層后的模型，LSSSAN2在Gowalla上的兩個(gè)指標(biāo)相比LSSSAN分別降低了0.87%、0.31%，LSSSAN2在Tmall上的AUC相比LSSSAN降低了0.89%，雖然LSSSAN2在Tmall數(shù)據(jù)集上指標(biāo)召回率(N為20)相比LSSSAN提升了3.17%，但由圖6可以觀察到LSSSAN2在Tmall數(shù)據(jù)集上的整體表現(xiàn)稍劣于LSSSAN。以LSSSAN為基準(zhǔn)，消去GRU層的LSSSAN2在Tmall數(shù)據(jù)集上的表現(xiàn)優(yōu)于其在Gowalla的表現(xiàn)，其原因是Tmall數(shù)據(jù)集的順序相關(guān)性和相互依賴性不如Gowalla數(shù)據(jù)集嚴(yán)格。而LSSSAN與LSSSAN2相比，N參數(shù)較大時(shí)指標(biāo)召回率較穩(wěn)定，此時(shí)對(duì)推薦結(jié)果而言，GRU層提取序列性偏好的優(yōu)勢(shì)會(huì)大于GRU層受非嚴(yán)格順序相關(guān)性和弱相互依賴性的影響而不穩(wěn)定的劣勢(shì)。當(dāng)數(shù)據(jù)集表現(xiàn)出明顯的非嚴(yán)格順序相關(guān)性和弱相互依賴性時(shí)，可以考慮以消去GRU層后的LSSSAN作為推薦模型的候選。

至此，消融實(shí)驗(yàn)驗(yàn)證了模型的GRU層和自注意 力層發(fā)揮的重要作用。

3.4 超參數(shù)分析

全局維度參數(shù)d反映了模型embedding和表示層的維度，圖7反映了在Tmall和Gowalla數(shù)據(jù)集上維度參數(shù)d對(duì)模型效果的影響?？梢杂^察到，高維度的表示可以更精確地表達(dá)用戶和item，并有助于和模型之間的信息交互。在實(shí)驗(yàn)中，本模型權(quán)衡計(jì)算成本和模型精度，設(shè)置維度參數(shù)d=80。

圖 7 維度參數(shù)對(duì)模型的影響Fig. 7 Impact of dimension parameter

4 結(jié)束語(yǔ)

LSSSAN相比AttRec方法，利用長(zhǎng)期反饋數(shù)據(jù)對(duì)長(zhǎng)期/一般偏好進(jìn)行準(zhǔn)確表達(dá)，并從結(jié)構(gòu)上賦予了相對(duì)重要的短期反饋數(shù)據(jù)更高的權(quán)重；相比SHAN方法，LSSSAN考慮了序列性偏好和長(zhǎng)期數(shù)據(jù)中的相互依賴關(guān)系。

本文在Tmall和Gowalla上對(duì)LSSSAN進(jìn)行訓(xùn)練和測(cè)試，其效果整體優(yōu)于其他先進(jìn)的方案。且由于Gowalla數(shù)據(jù)集的反饋數(shù)據(jù)相互依賴性和順序相關(guān)性嚴(yán)格于Tmall數(shù)據(jù)集，模型在Gowalla上表現(xiàn)優(yōu)于在Tmall上的表現(xiàn)，表明模型擅長(zhǎng)于處理相對(duì)嚴(yán)格的相互依賴關(guān)系和順序相關(guān)性的數(shù)據(jù)，也表明模型可能會(huì)因?yàn)閿?shù)據(jù)集數(shù)據(jù)的弱相互依賴性和弱順序相關(guān)性而出現(xiàn)不穩(wěn)定的情況。同時(shí)本文通過(guò)消融實(shí)驗(yàn)驗(yàn)證了模型結(jié)構(gòu)的合理性，并給出了當(dāng)數(shù)據(jù)出現(xiàn)明顯的弱相互依賴性和弱順序相關(guān)性時(shí)的候選方案。

LSSSAN在實(shí)際應(yīng)用上可為眾多互聯(lián)網(wǎng)應(yīng)用提供推薦模型，尤其在數(shù)據(jù)具有強(qiáng)相互依賴性和順序相關(guān)性的互聯(lián)網(wǎng)應(yīng)用上將會(huì)保證可靠的性能；未來(lái)的工作會(huì)考慮在LSSSAN的基礎(chǔ)上嘗試采用內(nèi)存機(jī)制以提高性能，并在更多的數(shù)據(jù)集上測(cè)試模型性能。