融合成對編碼方案及二維卷積神經(jīng)網(wǎng)絡(luò)的長短期會話推薦算法

陳學(xué)勤，陶濤，張鐘旺，王一蕾

（福州大學(xué) 數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，福州 350108）（?通信作者電子郵箱714867833@qq.com）

融合成對編碼方案及二維卷積神經(jīng)網(wǎng)絡(luò)的長短期會話推薦算法

陳學(xué)勤，陶濤，張鐘旺，王一蕾*

（福州大學(xué) 數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，福州 350108）（?通信作者電子郵箱714867833@qq.com）

雖然基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的會話推薦算法可以有效地對會話中的長期依賴關(guān)系進(jìn)行建模，并且可以結(jié)合注意力機(jī)制來刻畫用戶在會話中的主要目的，但它在進(jìn)行會話建模的過程中無法繞過與用戶主要目的不相關(guān)的物品，易受其影響以致降低推薦精度。針對上述問題，設(shè)計了成對編碼方案來將原始輸入序列嵌入向量轉(zhuǎn)化為一個三維張量表示，使得非相鄰的行為也能夠產(chǎn)生聯(lián)系。通過二維卷積神經(jīng)網(wǎng)絡(luò)（CNN）來處理該張量以捕獲非相鄰物品間的聯(lián)系，并提出了引入用于會話推薦的二維卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)注意力推薦機(jī)（COS-NARM）模型。該模型能有效跳過序列中與用戶主要目的不相關(guān)的物品。實(shí)驗(yàn)結(jié)果表明，COS-NARM模型在DIGINETICA等多個真實(shí)數(shù)據(jù)集上的召回率和平均倒數(shù)排名（MRR）都得到了不同程度的提升，且優(yōu)于NARM、GRU-4Rec+等所有基線模型。在上述研究的基礎(chǔ)上，將歐氏距離引入COS-NARM模型，提出了OCOS-NARM模型。利用歐氏距離直接計算不同時刻興趣間的相似度以減少模型的參數(shù)，降低模型的復(fù)雜度。實(shí)驗(yàn)結(jié)果表明，歐氏距離的引入不僅使得OCOS-NARM模型在DIGINETICA等多個真實(shí)數(shù)據(jù)集上的推薦效果得到了進(jìn)一步的提升，而且使OCOS-NARM模型的訓(xùn)練時間相較COS-NARM模型縮短了14.84%，有效提高了模型的訓(xùn)練速度。

會話推薦；循環(huán)神經(jīng)網(wǎng)絡(luò)；成對編碼；卷積神經(jīng)網(wǎng)絡(luò)；歐氏距離

0 引言

現(xiàn)今，基于會話的推薦算法已成為個性化推薦算法的重要組成部分，與傳統(tǒng)的推薦算法不同，它將會話間或會話內(nèi)的信息交互納入推薦過程，同時在建模數(shù)據(jù)時把會話看作基本數(shù)據(jù)結(jié)構(gòu)。近年來，由于超級計算機(jī)的進(jìn)步和深度學(xué)習(xí)技術(shù)的突破進(jìn)展，深度學(xué)習(xí)技術(shù)在數(shù)據(jù)處理方面的能力得到了大幅提高，可以更有效地挖掘出數(shù)據(jù)中潛藏的特征［1］。因此，許多研究者開始利用深度學(xué)習(xí)技術(shù)來解決基于會話的推薦算法中存在的各種問題。近幾年深度神經(jīng)網(wǎng)絡(luò)在會話推薦中的應(yīng)用已經(jīng)驗(yàn)證了深度神經(jīng)模型比其他模型能產(chǎn)生更好的推薦效果［2］。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）的網(wǎng)絡(luò)結(jié)構(gòu)使得當(dāng)前時刻的輸出受到當(dāng)前時刻的輸入和上一時刻的輸出的共同影響。因此，它在每一時刻的輸出都包含之前時刻的信息以此刻畫用戶的長期興趣。文獻(xiàn)［3］中第一次在基于會話的推薦算法里使用了RNN，提出了GRU-4Rec模型，該模型能批量并行處理會話數(shù)據(jù)，同時選擇基于排序的損失函數(shù)作為模型的損失函數(shù)；文獻(xiàn)［4］中將基于規(guī)則的算法與RNN相結(jié)合，使得模型可以根據(jù)用戶在瀏覽會話期間執(zhí)行的操作序列來了解用戶可能點(diǎn)擊哪個物品；文獻(xiàn)［5］中利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）提取復(fù)雜局部特征，并使用RNN從會話序列中學(xué)習(xí)長期依賴關(guān)系；文獻(xiàn)［6-7］中使用RNN從會話序列中學(xué)習(xí)長期依賴關(guān)系；文獻(xiàn)［8］中提出了一種增強(qiáng)型的RNN模型，該模型使用基于物品的神經(jīng)網(wǎng)絡(luò)提取高階的用戶上下文偏好以增強(qiáng)任何基于RNN的會話推薦模型。盡管以上基于RNN的會話推薦算法相較傳統(tǒng)的會話推薦算法有了很大的改進(jìn)，但它們都只考慮了用戶在當(dāng)前會話中的順序行為而沒有強(qiáng)調(diào)用戶在當(dāng)前會話中的主要目的。因此，文獻(xiàn)［9］中提出了基于會話的神經(jīng)注意力推薦機(jī)（Neural Attentive Recommendation Machine， NARM）模型，同時考慮用戶的連續(xù)行為和當(dāng)前會話中的主要目的，并首次將注意力機(jī)制應(yīng)用于基于會話的推薦算法。但是基于RNN的會話推薦算法是直接對有序的物品表示進(jìn)行操作，因而會受到單向鏈?zhǔn)浇Y(jié)構(gòu)的物品序列的約束，這導(dǎo)致其在利用會話數(shù)據(jù)進(jìn)行序列建模時無法繞過與當(dāng)前會話的用戶主要目的不相關(guān)的行為。針對基于RNN的會話推薦算法在捕獲用戶的主要目的時會受到一些與用戶的主要目的毫無關(guān)聯(lián)的會話數(shù)據(jù)的影響以致推薦效果降低的問題，本文設(shè)計了成對編碼方案對原始的輸入序列嵌入向量進(jìn)行處理，并融入二維卷積神經(jīng)網(wǎng)絡(luò)共同構(gòu)成了引入用于會話推薦的二維卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)注意力推薦機(jī)（Neural Attentive Recommendation Machine introducing two-dimensional COnvolutional neural network for Session-based recommendation， COS-NARM）模型。為了能在COS-NARM模型的基礎(chǔ)上進(jìn)一步提升其推薦效果，并使推薦模型更加輕量級，本文提出了OCOS-NARM模型，對COS-NARM模型中的局部編碼器進(jìn)行優(yōu)化，并采用歐氏距離公式來計算不同時刻興趣表示之間的相似度作為重要度分?jǐn)?shù)分配給對應(yīng)時刻的興趣表示。

1 相關(guān)工作

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

近年來，RNN已在語言模型、文本分類、機(jī)器翻譯、圖像分析以及推薦系統(tǒng)等領(lǐng)域都展現(xiàn)出較好的效果［10-11］。為了能更有效地利用會話數(shù)據(jù)中所包含的時間順序信息，RNN使用狀態(tài)變量儲存歷史信息，并將其和當(dāng)前輸入結(jié)合起來作為當(dāng)前的輸出以實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的“記憶功能”。然而，若需要RNN處理長序列，它將難以把較早時刻的信息傳遞給后面的時刻。另外，在使用反向傳播訓(xùn)練RNN期間，RNN會產(chǎn)生梯度消失的現(xiàn)象。因此，在進(jìn)行梯度更新時，較早時刻的層因其梯度值通常會非常小而不再進(jìn)行學(xué)習(xí)，這造成RNN只有短期記憶。而長短期記憶（Long Short-Term Memory， LSTM）網(wǎng)絡(luò)和門控循環(huán)單元（Gated Recurrent Unit， GRU）模型在RNN的基礎(chǔ)上引入了可以調(diào)節(jié)信息流的門控機(jī)制，有效解決了上述問題。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種能夠進(jìn)行卷積運(yùn)算的深度神經(jīng)網(wǎng)絡(luò)［12］，它一般被應(yīng)用在視覺圖像的識別。CNN的四個重要做法包含局部感知、卷積、池化以及權(quán)值共享。這一系列的做法有效降低了模型的復(fù)雜性，減小了過擬合現(xiàn)象出現(xiàn)的頻率。

1.3 基于RNN的會話推薦模型

由于大部分會話數(shù)據(jù)被假定是序列依賴聯(lián)系，而RNN對于建模序列依賴關(guān)系有著與生俱來的優(yōu)勢，所以它在基于會話的推薦算法中表現(xiàn)非常突出。最基礎(chǔ)的基于RNN的會話推薦模型是GRU-4Rec模型，之后的許多研究都是在這個基礎(chǔ)上展開的。近年來，基于RNN的模型也進(jìn)行了不少擴(kuò)展；文獻(xiàn)［13］中將用戶停留在物品上的時間長短信息融入模型；文獻(xiàn)［14］中利用RNN對會話點(diǎn)擊序列進(jìn)行建模，并利用有關(guān)用戶和文章的輔助信息實(shí)現(xiàn)新聞推薦；文獻(xiàn)［15］中設(shè)計了一個跨域用戶級別的RNN來探索用戶跨域行為之間的相關(guān)性，實(shí)現(xiàn)跨域順序信息的合并；文獻(xiàn)［9］中使用RNN分別建模長期興趣和短期興趣，并在刻畫短期興趣的編碼器里引入了注意力機(jī)制。

1.4 基于會話的神經(jīng)注意力推薦模型

一個好的推薦器除了需要考慮用戶的整體順序行為外，還應(yīng)該考慮用戶在當(dāng)前會話中的主要目的。這個主要目的是由一些在當(dāng)前會話中相對重要的物品所體現(xiàn)的。基于會話的神經(jīng)注意力推薦機(jī)（NARM）模型通過帶有注意機(jī)制的混合編碼器來對用戶的順序行為進(jìn)行建模并挖掘用戶在當(dāng)前會話中的主要目的，再將用戶的順序行為表示以及用戶的主要目的表示合并為一個新的會話表示。NARM模型利用注意力機(jī)制對更重要的會話數(shù)據(jù)給予更多的關(guān)注，并使用基于統(tǒng)一會話表示的雙線性匹配方案計算每個候選項(xiàng)目的推薦分?jǐn)?shù)。

2 本文方法

本文通過成對編碼方案和二維卷積神經(jīng)網(wǎng)絡(luò)重構(gòu)了NARM模型的全局編碼器以捕獲更有效的用戶長期偏好，提出了COS-NARM模型。在COS-NARM模型的基礎(chǔ)上，考慮其局部編碼器通過加法注意力的方式并不能很好地刻畫不同向量之間的相似度。因此，在COS-NARM模型的局部編碼器中，本文利用歐氏距離來計算相似度，提出了OCOS-NARM模型。

2.1 融合成對編碼方案及2D CNN的COS-NARM模型

RNN在利用會話數(shù)據(jù)進(jìn)行序列建模時無法繞過與當(dāng)前會話的用戶主要目的不相關(guān)的行為，而改進(jìn)的CNN在進(jìn)行序列建模時能夠放松序列順序結(jié)構(gòu)的約束以有效跳過與會話的主要目的不相關(guān)的行為。但是，放松序列順序結(jié)構(gòu)的約束會導(dǎo)致模型無法有效保留局部行為的動態(tài)變化。為了發(fā)揮RNN和CNN各自的優(yōu)勢以使它們互相彌補(bǔ)，本文設(shè)計了成對編碼方案將原始輸入序列嵌入向量轉(zhuǎn)化成一個三維張量表示，并通過二維CNN處理該張量以捕獲更有效的序列特征表示和行為間的復(fù)雜關(guān)系。

2.1.1 基于RNN的神經(jīng)注意力會話推薦算法

NARM模型的具體結(jié)構(gòu)如圖1所示。該模型的基本思想是通過全局編碼器和局部編碼器共同構(gòu)建一個會話的隱藏表示并基于該會話表示通過解碼器生成推薦。

圖1 NARM模型的結(jié)構(gòu)Fig. 1 Structure of NARM model

NARM模型使用GRU構(gòu)建全局編碼器，輸入用戶歷史全部點(diǎn)擊行為，輸出用戶在當(dāng)前會話中的順序行為特征，并且輸入和輸出都用高維向量表示。但是，利用該全局編碼器捕獲到的順序行為一般無法體現(xiàn)用戶在當(dāng)前會話中的真實(shí)目的。為了彌補(bǔ)這一不足，NARM模型提出了局部編碼器。

局部編碼器的結(jié)構(gòu)與全局編碼器的結(jié)構(gòu)相似，它們在進(jìn)行編碼時都使用GRU作為基本框架。為了挖掘出用戶在當(dāng)前會話的主要目的，局部編碼器還引入了注意力機(jī)制以允許解碼器可以動態(tài)選擇并線性結(jié)合輸入會話的不同部分。最后，NARM模型使用一個雙線性解碼方案來計算會話表示和每個候選行為之間的相似度得分Si，并通過softmax層將每個行為的得分轉(zhuǎn)化成每個行為在下一次點(diǎn)擊中發(fā)生的概率。

2.1.2 引入成對編碼方案及2D CNN的長短期會話推薦算法

盡管NARM模型在一系列會話推薦任務(wù)中都顯現(xiàn)出較好的效果，但由于序列順序結(jié)構(gòu)的約束，它難以挖掘隱含在用戶歷史行為中的復(fù)雜關(guān)系。為了解決上述問題，本文通過一個二維卷積神經(jīng)網(wǎng)絡(luò)（2D CNN）來建模成對關(guān)系以捕獲更有效的序列特征表示和行為間的復(fù)雜關(guān)系，并將其與NARM模型相結(jié)合。

根據(jù)經(jīng)典CNN的架構(gòu)設(shè)計，本文使用一種輕權(quán)重的卷積神經(jīng)網(wǎng)絡(luò)作為2D CNN的基礎(chǔ)網(wǎng)絡(luò)以降低模型的參數(shù)量。如表1所示，2D CNN包含兩個卷積塊，每個卷積塊由兩層卷積層構(gòu)成。在一個卷積塊中，一級卷積層使用一個的卷積核來豐富輸入序列的特征表示，二級卷積層利用的卷積核使模型隨著網(wǎng)絡(luò)的加深能夠聚合序列的順序特征并提取用戶歷史行為中更復(fù)雜的關(guān)系。數(shù)據(jù)在經(jīng)過每個卷積層之后，都要進(jìn)行批處理歸一化和一個修正線性單元（Rectified Linear Unit， ReLU）激活。

表1 二維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)Tab. 1 Structure of two-dimensional CNN

盡管放松序列順序結(jié)構(gòu)的約束能使序列中的行為產(chǎn)生跳躍現(xiàn)象，但是這打破了序列中的局部鏈?zhǔn)浇Y(jié)構(gòu)，使得模型難以保留局部行為的動態(tài)變化。這會使得NARM模型在處理會話時會受到序列順序結(jié)構(gòu)的約束而導(dǎo)致最終推薦精度的降低。為了彌補(bǔ)上述缺點(diǎn)，本文利用成對編碼方案將原始輸入序列嵌入向量轉(zhuǎn)化成一個三維張量表示，使得非相鄰的行為也能夠產(chǎn)生聯(lián)系，并通過2D CNN處理該張量以捕獲更有效的序列特征表示和行為間的復(fù)雜關(guān)系。上述方案共同構(gòu)成了COS-NARM模型。

為了更清晰地展現(xiàn)成對編碼方案具備繞過與會話的主要目的不相關(guān)的物品的能力，通過一個例子來具體闡述。給定一個會話序列嵌入矩陣［［1，0，0］，［0，1，0］，［0，0，1］］，通過成對編碼方案的建模方法可以得到一個三維張量［［［1，0，0，1，0，0］，［1，0，0，0，1，0］，［1，0，0，0，0，1］］，［［0，1，0，1，0，0］，［0，1，0，0，1，0］，［0，1，0，0，0，1］］，［［0，0，1，1，0，0］，［0，0，1，0，1，0］，［0，0，1，0，0，1］］］。顯而易見，成對編碼方案能建立序列中非相鄰物品之間的聯(lián)系。

具體而言，COS-NARM模型的全局編碼器首先將輸入的所有物品都進(jìn)行one-hot編碼。COS-NARM模型中全局編碼器的結(jié)構(gòu)如圖2所示。會話序列Sl經(jīng)過one-hot編碼后表示為，其中對應(yīng)第i個物品的二進(jìn)制向量，S是一個二維矩陣即。為了允許物品之間能夠產(chǎn)生靈活的成對關(guān)聯(lián)，COS-NARM先將S進(jìn)行拷貝后再分別將其按第0維和第1維進(jìn)行維度擴(kuò)充得到，。然后將和分別按其擴(kuò)充的維度通過長度L進(jìn)行張量拷貝得到，和，則有。最后，將和按第2維進(jìn)行張量拼接即可得到，其計算式如式（1）：

其中：cop表示張量的復(fù)制操作；rep（X，i）表示將張量X按其第i個維度進(jìn)行張量拷貝；“⊕”表示張量的拼接。通過上述成對編碼方案，COS-NARM在S的基礎(chǔ)上創(chuàng)建了一個三維張量作為新的會話表示。上述操作即為圖2中的第①步至第②步。然后，COS-NARM將上述類似“圖像特征映射”形式的會話表示T作為2.1.1節(jié)所提的2D CNN的輸入。接著，將該2D CNN的輸出通過一個帶有dropout（一種預(yù)防CNN過擬合的正則化方法）的全連接層轉(zhuǎn)化成最終的序列特征向量。最后，通過式（2）把當(dāng)作長期興趣表示并將其與2.1.1節(jié)所提的局部編碼器獲得的短期興趣相結(jié)合作為最終興趣表示，同時仍使用NARM模型的解碼器處理最終的興趣表示。因此，COS-NARM模型可以看成是一個優(yōu)化了NARM模型的全局編碼器的模型。

圖2 COS-NARM模型的全局編碼器Fig. 2 Global encoder of COS-NARM model

2.2 引入歐氏距離的COS-NARM模型

COS-NARM模型的局部編碼器使用式（3）的目的是通過加法注意力來獲取不同時刻的興趣表示之間的相似性。由于每個時刻的興趣表示都是一個向量，故這種線性相加的方式并不能很好地刻畫不同向量之間的相似度。并且假設(shè)某時刻用戶興趣的向量表示的長度為d時，則計算相似度q的時間復(fù)雜度為。

為了改進(jìn)COS-NARM模型以進(jìn)一步提升模型的推薦效果并提高訓(xùn)練速度，本節(jié)將更能描繪不同向量之間相似度的歐氏距離［16］引入COS-NARM模型的局部編碼器，提出了結(jié)合CNN并引入歐氏距離的長短期會話推薦模型OCOS-NARM。

具體而言，OCOS-NARM模型的局部編碼器首先將會話表示通過RNN的處理得到對應(yīng)時刻的隱藏狀態(tài)表示，若將看成當(dāng)前會話的第i個時刻的用戶興趣表示，則代表最后時刻的用戶興趣表示。然后，利用式（4）來計算和之間的相似度，該相似度就是用戶在第i個時刻的興趣對于用戶在會話中的主要興趣的重要性權(quán)值。假設(shè)向量的長度為d，則計算相似度q的時間復(fù)雜度為。最后，通過式（5）將每個時刻的重要性權(quán)值分配給對應(yīng)時刻的興趣表示。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 基線模型

實(shí)驗(yàn)選擇了四個傳統(tǒng)模型POP（POpular Predictor）、S-POP（Session POP）、Item-KNN（Item basedK-Nearest Neighbor）協(xié)同過濾方法、BPR-MF（Bayesian Personalized Ranking Matrix Factorization）和三個基于RNN的模型GRU-4Rec、GRU-4Rec+、NARM作為基線模型。另外，為了驗(yàn)證成對編碼方案和二維CNN只適合用于構(gòu)建全局編碼器而不適用于構(gòu)建局部編碼器，本文在COS-NARM模型的基礎(chǔ)上使用成對編碼方案和2D CNN重構(gòu)了局部編碼器得到DCOS-NARM模型作為一個基線模型。為了完善對比，本文也將2D CNN獨(dú)立出來作為一個基線模型，其他基線模型介紹如下：

1）POP，流行預(yù)測器每次都將訓(xùn)練集中最受用戶歡迎的物品推薦給用戶。

2）S-POP，該基線模型與POP類似，不同之處在于它推薦的是當(dāng)前會話中最令用戶感興趣的物品。

3）Item-KNN，該基線模型是一個基于物品相似性的推薦算法，它計算一個候選物品與點(diǎn)擊序列中物品之間的相似性并將最相似的物品推薦給用戶。

4）BPR-MF，該基線模型利用隨機(jī)梯度下降的方法來優(yōu)化成對排名的損失函數(shù)。

5）GRU-4Rec，該基線模型是一種基于RNN的會話推薦模型，其中包括多個GRU層。

6）GRU-4Rec+，該基線模型是一種基于GRU-4Rec的改進(jìn)模型，它利用數(shù)據(jù)增強(qiáng)以及處理輸入數(shù)據(jù)分布改變的方式來提升GRU-4Rec的性能。

7）NARM，該基線模型同時考慮用戶的連續(xù)行為和當(dāng)前會話中的主要目的，并首次將注意力機(jī)制應(yīng)用于基于會話的推薦算法。

3.2 數(shù)據(jù)集

本文在兩個標(biāo)準(zhǔn)交易數(shù)據(jù)集（即YOOCHOOSE數(shù)據(jù)集［9］和DIGINETICA數(shù)據(jù)集［9］）上對不同的模型進(jìn)行評估。YOOCHOOSE是RecSys Challenge 2015發(fā)布的公開數(shù)據(jù)集，該數(shù)據(jù)集包含電子商務(wù)網(wǎng)站上的點(diǎn)擊流。DIGINETICA數(shù)據(jù)集則來自CIKM Cup 2016，該數(shù)據(jù)集只使用了發(fā)布的交易數(shù)據(jù)。為了實(shí)驗(yàn)結(jié)果的可靠性，本文剔除了YOOCHOOSE數(shù)據(jù)集和DIGINETICA數(shù)據(jù)集中所有長度為1的會話以及出現(xiàn)次數(shù)低于5次的物品。最終，YOOCHOOSE數(shù)據(jù)集剩下7 981 580個會話和37 483個物品，而DIGINETICA數(shù)據(jù)集只包含204 771個會話和43 097個物品。接著，本文對這兩個數(shù)據(jù)集分別進(jìn)行一些預(yù)處理以構(gòu)建測試集和訓(xùn)練集。對于YOOCHOOSE數(shù)據(jù)集，本文使用當(dāng)天會話之后的第二天會話作為測試集，并過濾掉出現(xiàn)在測試集但沒有出現(xiàn)在訓(xùn)練集中的物品。對于DIGINETICA數(shù)據(jù)集，本文使用當(dāng)天會話之后的七天會話作為測試集，也過濾掉出現(xiàn)在測試集但沒有出現(xiàn)在訓(xùn)練集中的物品。因?yàn)楸疚脑趯?shí)驗(yàn)中沒有用并行處理會話的方法去訓(xùn)練模型，所以，分割預(yù)處理會話序列是必須的。對于每個輸入會話，本文都會將其轉(zhuǎn)化成一個所有位置都帶有標(biāo)記的新序列并把它作為在YOOCHOOSE數(shù)據(jù)集和DIGINETICA數(shù)據(jù)集上進(jìn)行訓(xùn)練時的會話數(shù)據(jù)。其中，用每個分割出的會話序列中的位置標(biāo)記表示該序列中的最后一個物品。

文獻(xiàn)［17］中驗(yàn)證了推薦模型需要考慮用戶行為隨著時間的變化，且其實(shí)驗(yàn)結(jié)果表明訓(xùn)練在最近一部分?jǐn)?shù)據(jù)集上的推薦模型的效果優(yōu)于訓(xùn)練在整個數(shù)據(jù)集上的推薦模型。由于YOOCHOOSE數(shù)據(jù)集本身的數(shù)據(jù)量過大并且時間跨度長達(dá)六個月，因此，本文按時間戳對YOOCHOOSE數(shù)據(jù)集的訓(xùn)練序列從高到低進(jìn)行排序，并從中提取出數(shù)據(jù)集的前1/64部分和前1/4部分，分別記為YOOCHOOSE 1/64和YOOCHOOSE 1/4。YOOCHOOSE 1/64、YOOCHOOSE 1/4、DIGINETICA這三個數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)如表2所示。

表2 不同數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)Tab. 2 Statistics of different datasets

3.3 實(shí)驗(yàn)環(huán)境與設(shè)置

本文在Ubuntu 16.04 64bit操作系統(tǒng)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)所用的GPU為兩塊Nvidia GTX 1080，選擇Pytorch作為實(shí)驗(yàn)用到的深度學(xué)習(xí)框架，將Python3.7作為實(shí)驗(yàn)的編程語言。

本文設(shè)置批處理大小固定在512，物品特征的嵌入維度大小為50，隱藏層大小為100，初始學(xué)習(xí)率為0.001，訓(xùn)練的迭代總數(shù)為100，學(xué)習(xí)衰減率為0.1，位于物品嵌入層和GRU層之間的dropout值為0.25，位于GRU層和雙線性相似層之間的dropout值為0.5，位于全連接層中的dropout值為0.5。另外，本文使用交叉熵?fù)p失函數(shù)作為模型的損失函數(shù)并通過基于時間的反向傳播（Back Propagation Through Time， BPTT）來訓(xùn)練模型，使用Adam作為優(yōu)化函數(shù)，使用訓(xùn)練集的10%數(shù)據(jù)作為驗(yàn)證集，規(guī)定在第80次迭代后才開始衰減學(xué)習(xí)率。

3.4 模型評估指標(biāo)

本文的模型評估指標(biāo)使用召回率（Recall）和平均排名倒數(shù)（Mean Reciprocal Rank， MRR）。召回率是實(shí)際情況和預(yù)測結(jié)果都為正的樣本在實(shí)際情況為正的所有樣本中發(fā)生的概率。Recall@K是Top-K推薦中的常用指標(biāo)，其計算式如式（6）所示：

其中：Ru表示測試集中與用戶u相關(guān)的物品集；Tu表示推薦給用戶的前K個物品列表。本文在實(shí)驗(yàn)中使用Recall@20作為模型評估指標(biāo)之一。

平均倒數(shù)排名（MRR）能很好地評估檢索算法的效果，其中心思想反映了結(jié)果集的好壞。在推薦算法中，推薦結(jié)果的MRR的具體計算式如式（7）所示：

其中：|U|是用戶的數(shù)量；ranki是用戶i的推薦列表中第一個能在真實(shí)結(jié)果集中被查詢到的推薦物品所處的位置。由于推薦結(jié)果的順序問題是衡量本文實(shí)驗(yàn)結(jié)果優(yōu)劣的重要依據(jù)，而MRR考慮了推薦結(jié)果的排名。因此本文在實(shí)驗(yàn)中所使用的另一個模型評估指標(biāo)是MRR@20。在MRR@20中，若一個排名的大小是超過20的，那么它的倒數(shù)應(yīng)該設(shè)置為零。

3.5 結(jié)果分析

3.5.1 引入成對編碼方案及2D CNN的長短期會話推薦

不同模型在YOOCHOOSE 1/64、YOOCHOOSE 1/4和DIGINETICA這三個數(shù)據(jù)集上訓(xùn)練得到的Recall@20和MRR@20如表3所示。

表3 不同模型的Recall@20和MRR@20 單位： %Tab. 3 Recall@20 and MRR@20 of different models unit： %

觀察表3可知：1）對于不同的數(shù)據(jù)集，COS-NARM模型以及NARM模型的推薦效果都優(yōu)于其他對比模型，這是因?yàn)榍皟烧卟粌H考慮了用戶會話的順序行為，還同時考慮了用戶的長期興趣和短期興趣，從而促使推薦效果的提升。2）2D CNN在三個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，其雖具有一定的推薦效果，但遠(yuǎn)沒有融入NARM模型所得到的推薦效果好。究其原因在于，單純的卷積操作會過于放松序列順序結(jié)構(gòu)的約束而使序列中的行為產(chǎn)生跳躍現(xiàn)象，這會使得局部行為的動態(tài)變化難以捕捉而導(dǎo)致推薦效果不佳。3）與NARM模型相比，COS-NARM模型的MRR@20和Recall@20都有了不錯的提升，該實(shí)驗(yàn)結(jié)果表明本文所提的成對編碼方案以及2D CNN作為建模中的全局編碼器的有效性。通過該全局編碼器，COS-NARM模型在進(jìn)行會話建模過程中可以有效繞過與當(dāng)前會話的主要目的不相關(guān)的物品，這使得模型能捕獲到更符合用戶真實(shí)偏好的興趣表示。4）DCOS-NARM模型的推薦效果遠(yuǎn)不如COS-NARM模型，甚至比NARM模型的推薦效果還略差一些。該實(shí)驗(yàn)結(jié)果表明，在模型的局部編碼器和全局編碼器中都使用成對編碼方案以及2D CNN，會使得模型大幅度放松會話順序結(jié)構(gòu)的約束進(jìn)而導(dǎo)致模型無法有效刻畫用戶局部興趣的動態(tài)變化過程，從而降低了推薦效果。

對于YOOCHOOSE 1/64、YOOCHOOSE 1/4以及DIGINETICA這三個不同的數(shù)據(jù)集，根據(jù)表4～5可得：1）COS-NARM模型的MRR@20和Recall@20相較于NARM模型都得到了提升。2）DCOS-NARM模型的MRR@20和Recall@20相較于NARM模型都有所降低。

分析可知，相較于NARM模型，COS-NARM模型的推薦效果在YOOCHOOSE 1/4數(shù)據(jù)集上提升的百分比遠(yuǎn)大于在另外兩個數(shù)據(jù)集上提升的百分比，并且DCOS-NARM模型的推薦效果在YOOCHOOSE 1/4數(shù)據(jù)集上降低的百分比遠(yuǎn)小于在另外兩個數(shù)據(jù)集上降低的百分比。這是因?yàn)閅OOCHOOSE 1/4數(shù)據(jù)集的點(diǎn)擊總數(shù)遠(yuǎn)大于另外兩個數(shù)據(jù)集，而數(shù)據(jù)集的點(diǎn)擊總數(shù)越多意味著其中包含與會話的主要目的不相關(guān)的點(diǎn)擊也越多，本文所提的成對編碼方案和二維CNN的作用也越顯著。

表4 不同模型與NARM模型在Recall@20和MRR@20上的比較Tab. 4 Comparison of different models and NARM model on Recall@20 and MRR@20

表5 不同數(shù)據(jù)集的點(diǎn)擊總數(shù)Tab. 5 Total number of clicks of different datasets

3.5.2 引入歐氏距離的COS-NARM模型

為了驗(yàn)證用來改進(jìn)NARM模型的局部編碼器依然有效，本節(jié)也將歐氏距離引入NARM模型得到O-NARM模型并將此作為基線模型之一。將OCOS-NARM模型與前文得到的最優(yōu)模型COS-NARM以及NARM模型進(jìn)行對比實(shí)驗(yàn)。四種模型在三個數(shù)據(jù)集上的Recall@20和MRR@20如表6所示。為了驗(yàn)證所提的方法能提高COS-NARM模型的訓(xùn)練速度，使得模型更加輕量級，在YOOCHOOSE 1/4數(shù)據(jù)集上測試了不同模型的訓(xùn)練時間，結(jié)果如表7所示。

通過對表6的結(jié)果分析可得：相較于COS-NARM模型，OCOS-NARM模型的Recall@20和MRR@20都有所提升。這是由于將歐氏距離引入COS-NARM模型有助于它的局部編碼器捕獲到不同向量之間更準(zhǔn)確的相似度，同時減少模型參數(shù)，因此2.2節(jié)的改進(jìn)方法不僅能提高模型效果而且能防止過擬合問題。

通過對表7的結(jié)果分析可得：O-NARM模型的訓(xùn)練時間相較于NARM模型縮短了16.14%，而OCOS-NARM模型的訓(xùn)練時間相較COS-NARM模型縮短了14.84%。這是因?yàn)镺-NARM模型與OCOS-NARM模型都將歐氏距離引入了模型來降低模型的復(fù)雜度并減少了模型的參數(shù)，使得模型的訓(xùn)練速度得到了提升。

結(jié)合表6～7可以發(fā)現(xiàn)：1）雖然O-NARM模型與NARM模型的推薦效果差別并不顯著，但是O-NARM模型與NARM模型的訓(xùn)練時間卻有較大差異。2）相較于COS-NARM模型，雖然OCOS-NARM模型的推薦效果僅僅只是略有提高，但是其訓(xùn)練時間卻顯著減少。這是因?yàn)镹ARM模型和COS-NARM模型都使用基礎(chǔ)注意力機(jī)制來計算不同興趣表示間的相似度，而O-NARM模型與OCOS-NARM模型都將歐氏距離引入局部編碼器，所以O(shè)-NARM模型與OCOS-NARM模型都不需要通過訓(xùn)練參數(shù)也能在一定程度上刻畫特征向量間的相似性，以致模型的參數(shù)量減少了很多。綜上所述，使用歐氏距離來改進(jìn)NARM模型和COS-NARM模型的局部編碼器不僅能在一定程度上提升模型的推薦效果，而且能大幅提高模型的訓(xùn)練速度。

表6 四種模型的Recall@20和MRR@20 單位： %Tab. 6 Recall@20 and MRR@20 of four models unit： %

表7 在YOOCHOOSE 1/4數(shù)據(jù)集上不同模型的訓(xùn)練時間Tab. 7 Training time of different models on YOOCHOOSE 1/4 dataset

4 結(jié)語

為了解決基于RNN的會話推薦算法在進(jìn)行序列建模時無法繞過與當(dāng)前會話中用戶的主要目的不相關(guān)的行為的問題，本文提出了COS-NARM模型。首先，將會話中的物品嵌入編碼成為成對表示并利用一個2D CNN提取用戶的長期興趣。然后，將用戶的長期興趣與用RNN和注意力機(jī)制獲取得到的短期興趣相結(jié)合。最后，使用雙線性解碼器計算每個候選物品推薦得分。實(shí)驗(yàn)結(jié)果表明，將2D CNN和RNN相結(jié)合的方式可以幫助模型在建模會話的過程中繞過與會話的主要目的不相關(guān)的物品以捕捉更準(zhǔn)確的用戶興趣，提升了推薦效果。為了能進(jìn)一步提升COS-NARM模型的推薦效果，使模型更加輕量級，本文提出了另一種改進(jìn)模型OCOS-NARM，即在COS-NARM模型的局部編碼器中直接利用歐氏距離公式來計算不同時刻興趣表示之間的相似度，并將其作為重要度分?jǐn)?shù)分配給對應(yīng)時刻的興趣表示。在三個不同的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，OCOS-NARM模型的推薦效果和訓(xùn)練速度都優(yōu)于COS-NARM模型。另外，本文按照OCOS-NARM模型的方式將歐氏距離引入NARM模型，并通過實(shí)驗(yàn)進(jìn)一步驗(yàn)證了使用歐氏距離來改進(jìn)相似度計算的有效性。未來將進(jìn)一步考慮如何將時域卷積網(wǎng)絡(luò)應(yīng)用在基于會話的推薦算法中以充分發(fā)揮它的優(yōu)勢。

[1] 毛勇華，桂小林，李前，等.深度學(xué)習(xí)應(yīng)用技術(shù)研究［J］.計算機(jī)應(yīng)用研究，2016，33（11）：3201-3205.（MAO Y H， GUI X L， LI Q， et al. Study on application technology of deep learning ［J］. Application Research of Computers， 2016， 33（11）： 3201-3205.）

[2] 劉浩翰，呂鑫，李建伏.考慮用戶意圖和時間間隔的會話型深度學(xué)習(xí)推薦系統(tǒng)［J］.計算機(jī)應(yīng)用與軟件，2021，38（3）：190-195，223.（LIU H H， LYU X， LI J F. A session-based deep learning recommendation system considering user purpose and time interval ［J］. Computer Applications and Software， 2021， 38（3）： 190-195， 223.）

[3] HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks ［EB/OL］. ［2021-02-12］. https：//arxiv.org/pdf/1511.06939.pdf.

[4] DADOUN A， TRONCY R. Many-to-one recurrent neural network for session-based recommendation ［EB/OL］. ［2021-02-12］. https：//arxiv.org/pdf/2008.11136.pdf.

[5] BACH N X， LONG D H， PHUONG T M. Recurrent convolutional networks for session-based recommendations ［J］. Neurocomputing， 2020， 411： 247-258.

[6] QUADRANA M， KARATZOGLOU A， HIDASI B， et al. Personalizing session-based recommendations with hierarchical recurrent neural networks ［C］// Proceedings of the 2017 11th ACM Conference on Recommender Systems. New York： ACM， 2017： 130-137.

[7] HIDASI B， KARATZOGLOU A. Recurrent neural networks with top-k gains for session-based recommendations ［C］// Proceedings of the 2018 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 843-852.

[8] SONG Y， LEE J G. Augmenting recurrent neural networks with high-order user-contextual preference for session-based recommendation ［EB/OL］. ［2021-02-12］. https：//arxiv.org/pdf/1805.02983.pdf.

[9] LI J， REN P J， CHEN Z M， et al. Neural attentive session-based recommendation ［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428.

[10] YIN W P， KANN K， YU M， et al. Comparative study of CNN and RNN for natural language processing ［EB/OL］. ［2021-02-12］. https：//arxiv.org/pdf/1702.01923.pdf.

[11] DHYANI M， KUMAR R. An intelligent Chatbot using deep learning with Bidirectional RNN and attention model ［J］. Materials Today： Proceedings， 2021，34（Pt 3）： 817-824.

[12] TANG J X， WANG K. Personalized top-Nsequential recommendation via convolutional sequence embedding ［C］// Proceedings of the 2018 11th ACM International Conference on Web Search and Data Mining. New York： ACM， 2018： 565-573.

[13] BOGINA V， KUFLIK T. Incorporating dwell time in session-based recommendations with recurrent neural networks ［C］// Proceedings of the 2017 1st Workshop on Temporal Reasoning in Recommender Systems Co-located with 11th International Conference on Recommender Systems. Aachen： CEUR-WS.org， 2017：57-59.

[14] MOREIRA G S P， JANNACH D， DA CUNHA A M. Hybrid session-based news recommendation using recurrent neural networks ［EB/OL］. ［2021-02-12］. https：//arxiv.org/pdf/2006. 13063.pdf.

[15] WANG Y Q， GUO C L， CHU Y F， et al. A cross-domain hierarchical recurrent model for personalized session-based recommendations ［J］. Neurocomputing，2020， 380： 271-284.

[16] BEHRENS T， SCHMIDT K， VISCARRA ROSSEL R A， et al. Spatial modelling with Euclidean distance fields and machine learning ［J］. European Journal of Soil Science， 2018， 69（5）： 757-770.

[17] TAN Y K， XU X X， LIU Y. Improved recurrent neural networks for session-based recommendations ［C］// Proceedings of the 2016 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22.

Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network

CHEN Xueqin， TAO Tao，ZHANG Zhongwang， WANG Yilei*

（College of Mathematics and Computer Science，F(xiàn)uzhou University，F(xiàn)uzhou Fujian350108，China）

The session-based recommendation algorithm based on Recurrent Neural Network （RNN） can effectively model the long-term dependency in the session， and can combine the attention mechanism to describe the main purpose of the user in the session. However， it cannot bypass the items that are not related to the user’s main purpose in the process of session modeling， and is susceptible to their influence to reduce the recommendation accuracy. In order to solve problems， a new paired coding scheme was designed，which transformed the original input sequence embedding vector into a three-dimensional tensor representation， so that non-adjacent behaviors were also able to be linked. The tensor was processed by a two-dimensional Conventional Neural Network （CNN） to capture the relationship between non-adjacent items， and a Neural Attentive Recommendation Machine introducing two-dimensional COnvolutional neural network for Session-based recommendation （COS-NARM） model was proposed. The proposed model was able to effectively skip items that were not related to the user’s main purpose in the sequence. Experimental results show that the recall and Mean Reciprocal Rank （MRR） of the COS-NARM model on multiple real datasets such as DIGINETICA are improved to varying degrees， and they are better than those of all baseline models such as NARM and GRU-4Rec+. On the basis of the above research， Euclidean distance was introduced into the COS-NARM model， and the OCOS-NARM model was proposed. Euclidean distance was used to directly calculate the similarity between interests at different times to reduce the parameters of model and reduce the complexity of model. Experimental results show that the introduction of Euclidean distance further improves the recommendation effect of the OCOS-NARM model on multiple real datasets such as DIGINETICA， and makes the training time of the OCOS-NARM model shortened by 14.84% compared with that of the COS-NARM model， effectively improving the training speed of model.

session-based recommendation; Recurrent Neural Network (RNN); paired coding; Conventional Neural Network (CNN); Euclidean distance

TP183

A

1001-9081（2022）05-1347-08

10.11772/j.issn.1001-9081.2021030467

2021?03?29；

2021?07?01；

2021?07?05。

福建省自然科學(xué)基金資助項(xiàng)目（2018J01799）。

陳學(xué)勤（1997—），男，福建福州人，碩士研究生，主要研究方向：個性化推薦； 陶濤（1995—），男，江西撫州人，碩士研究生，主要研究方向：個性化推薦； 張鐘旺（1997—），男，福建三明人，碩士研究生，主要研究方向：個性化推薦； 王一蕾（1979—），女，福建福州人，副教授，博士，CCF會員，主要研究方向：文本挖掘、數(shù)據(jù)安全、隱私保護(hù)。

This work is partially supported by Natural Science Foundation of Fujian Province （2018J01799）.

CHEN Xueqin， born in 1997， M. S. candidate. His research interests include personalized recommendation.

TAO Tao， born in 1995， M. S. candidate. His research interests include personalized recommendation.

ZHANG Zhongwang， born in 1997， M. S. candidate. His research interests include personalized recommendation.

WANG Yilei， born in 1979， Ph. D.， associate professor. Her research interests include text mining， data security， privacy protection.