一種改進(jìn)時序卷積網(wǎng)絡(luò)的序列推薦方法

施浩杰，劉學(xué)軍，肖慶華

(南京工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，南京 211816)

1 引 言

推薦系統(tǒng)的主要目的是根據(jù)用戶的歷史交互信息，來預(yù)測用戶下一步的偏好行為[1].傳統(tǒng)的協(xié)同過濾(Collaborative Filtering,CF)方法認(rèn)為用戶的偏好和項目屬性都是靜態(tài)的，主要利用用戶信息(如個人資料、項目評分等)進(jìn)行相似度計算，從而進(jìn)行偏好分析，卻忽略了用戶的興趣偏好是一種時序數(shù)據(jù).用戶的興趣會隨著時間的變化發(fā)生偏移，項目屬性也會隨時間而變化，如電影的受歡迎程度會隨外部事件(如獲得奧斯卡獎)而發(fā)生變化[2].同時，協(xié)同過濾方法使用未來的評分來評估當(dāng)前喜好的做法也在一定程度上違背了統(tǒng)計分析中的因果關(guān)系.近年來，考慮用戶歷史行為的序列推薦方法，為問題的解決提供了新的思路.隨著深度學(xué)習(xí)的蓬勃發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNNs)由于其天然的序列結(jié)構(gòu)，成為當(dāng)前學(xué)術(shù)界對序列進(jìn)行建模的主要工具.但RNN的決策要取決于所有過去的隱藏狀態(tài)，無法在序列中充分利用并行計算，因此在訓(xùn)練和評估時的速度都受到限制.另外，在現(xiàn)實情況下，用戶的興趣可能并不是連續(xù)的.

如圖1(a)所示，通常情況下，用戶購買手機(jī)之后，會傾向于依次購買手機(jī)殼和充電寶，這個時候推薦系統(tǒng)可以依靠經(jīng)驗推薦數(shù)據(jù)線.但是實際會出現(xiàn)這樣的情況，如圖1(b)所示，用戶在瀏覽了手機(jī)和充電寶之后，又突然搜索了并不相關(guān)的自行車，這時自行車的瀏覽就會成為推薦充電寶的干擾項，因此需要在推薦時考慮更為久遠(yuǎn)的項目，從而對推薦列表的生成產(chǎn)生影響.

圖1 傳統(tǒng)序列推薦方法存在的問題Fig.1 Problems in traditional sequential recommendation methods

為了解決上述問題，本文提出了一種基于改進(jìn)的時序卷積網(wǎng)絡(luò)的序列推薦方法(SETCNs)，主要工作包括：1)使用時序卷積網(wǎng)絡(luò)(Temporal Convolutional Network，TCN)取代傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，作為捕捉序列信息的主要模型，通過結(jié)構(gòu)空洞的擴(kuò)張卷積擴(kuò)大感受野，捕捉更為復(fù)雜的序列關(guān)系，從而加強(qiáng)了長期依賴；2)通過將殘差連接和注意力機(jī)制結(jié)合，在TCN的基礎(chǔ)上對壓縮-激勵網(wǎng)絡(luò)[3](SENets)進(jìn)行了改進(jìn).通過壓縮激勵模塊，讓TCN能夠?qū)娱g的短時空間特征序列的權(quán)值進(jìn)行重新標(biāo)定，從而更好地利用序列特征，加強(qiáng)重點項目對推薦決策的影響，實現(xiàn)更好的推薦效果.

2 相關(guān)工作

傳統(tǒng)的序列推薦研究主要有頻繁模式挖掘(Frequent Pattern Mining,FPM)和馬爾可夫鏈模型(Markov Chains,MCs).

頻繁模式挖掘的基本思想是首先在序列數(shù)據(jù)上尋找頻繁模式，通俗來說即項目A和項目B的共現(xiàn)性，然后利用挖掘出的模式來指導(dǎo)后續(xù)的推薦.Lu等[4]提出了一種移動應(yīng)用程序順序模式挖掘方法，考慮用戶移動和應(yīng)用啟動，以發(fā)現(xiàn)順序模式，用于通過預(yù)測用戶的下一個使用的應(yīng)用程序來解決上下文自適應(yīng)的問題.頻繁模式挖掘雖然簡單直接，但會產(chǎn)生大量的冗余模式，增加不必要的開銷.并且由于頻率約束，會經(jīng)常丟失那些出現(xiàn)頻率低的模式和項目，這使得推薦結(jié)果被限制在那些流行的項目.

基于馬爾可夫鏈的推薦方法，其主要學(xué)習(xí)的是狀態(tài)轉(zhuǎn)移概率，即用戶點擊物品A之后，下一次點擊的物品是B的概率，并基于這個狀態(tài)轉(zhuǎn)移概率進(jìn)行推薦.Khattar等[5]提出了一種基于項目的協(xié)同過濾的新方法，用于使用馬爾科夫決策過程(Markov Decision Process,MDP)推薦新聞項目，最簡單的MDP本質(zhì)上是一階馬爾科夫鏈，其中可以基于項目之間的轉(zhuǎn)移概率簡單地計算下一個推薦.這類算法缺點是當(dāng)試圖包括用戶所有可能選擇的序列時，狀態(tài)的數(shù)量會隨問題維度擴(kuò)大而指數(shù)增加，狀態(tài)空間難以管理.因為隨著物品的增加，建模所有可能的點擊序列是十分困難的.另一方面，由于馬爾可夫特性假設(shè)當(dāng)前的交互僅取決于一個或最近的幾個交互，因此只能捕獲短期依賴而忽略了長期的依賴關(guān)系.He等[6]基于馬爾可夫鏈提出了一種個性化的序列推薦模型，將矩陣分解和馬爾可夫鏈方法結(jié)合起來，以同時適應(yīng)長期和短期動態(tài).

近年來，學(xué)術(shù)界也涌現(xiàn)出了利用深度學(xué)習(xí)方法來對序列推薦進(jìn)行建模的熱潮，其中一些解決方案代表了序列推薦研究領(lǐng)域的最新技術(shù).Hidasi等[7]使用門控循環(huán)單元(Gated Recurrent Unit,GRU)來建模序列數(shù)據(jù)，直接從給定會話中的先前點擊學(xué)習(xí)會話表示，并提供下一個動作的建議.這是首次嘗試應(yīng)用RNN來解決序列推薦問題，模型結(jié)果比傳統(tǒng)方法有非常顯著的提升.Tan等[8]進(jìn)一步研究了RNN在基于序列推薦領(lǐng)域的應(yīng)用，提出了一種數(shù)據(jù)增強(qiáng)技術(shù)，并改變輸入數(shù)據(jù)的數(shù)據(jù)分布，用于改進(jìn)模型的性能.Li等[9]提出一種基于RNN的編碼器-解碼器模型，它將來自RNN的最后隱藏狀態(tài)作為序列行為，并使用先前點擊的隱藏狀態(tài)進(jìn)行注意力計算，以捕獲給定會話中的主要目的(一般興趣).Jannach等[10]將循環(huán)方法和基于鄰域的方法結(jié)合在一起，以混合順序模式和共現(xiàn)信號.Tuan等[11]將會話點擊與內(nèi)容特征(如項目描述和項目類別)結(jié)合起來，通過使用三維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)生成推薦.為了解決基本神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的局限性，一些高級模型通常與某種基本的神經(jīng)網(wǎng)絡(luò)結(jié)合，來應(yīng)對特定的挑戰(zhàn).例如，注意力模型通常被用來在一個序列中強(qiáng)調(diào)那些真正重要的交互作用，同時淡化那些與下一次交互作用無關(guān)的交互.Liu等[12]提出了一個短期注意優(yōu)先模型，通過采用簡單的多層感知器(Multi-Layer Perceptron,MLP)和注意力網(wǎng)絡(luò)來捕捉用戶的一般興趣和當(dāng)前興趣.總的來說，基于深度學(xué)習(xí)的序列推薦研究方興未艾，主要涉及如何設(shè)計不同的網(wǎng)絡(luò)結(jié)構(gòu)以簡便高效地捕獲高階動態(tài).

近日，Bai等[13]對于序列問題提出了一種新的架構(gòu)時序卷積網(wǎng)絡(luò)，與傳統(tǒng)的序列模型如LSTM或GRU相比，TCN具有更簡單的結(jié)構(gòu)和更高的效率.在此基礎(chǔ)上，為了提取更完整的時間特征，本文在TCN的基礎(chǔ)上引入了SENets進(jìn)行增強(qiáng)，SENets是一種新的結(jié)構(gòu)單元，其作用是通過對特征各個通道之間的相互依賴關(guān)系進(jìn)行建模，增強(qiáng)重點通道的權(quán)重來提高網(wǎng)絡(luò)表示的質(zhì)量.在本文的方法中，我們對SENets進(jìn)行了改進(jìn)，通過使用壓縮激勵模塊，將其組合入TCN，增強(qiáng)TCN在時間特征提取中的能力，通過注意力機(jī)制加強(qiáng)了重點項目對推薦結(jié)果的影響.模型利用擴(kuò)張卷積增大感受野，捕獲更多的序列關(guān)系，利用殘差連接減小反向傳播過程中的梯度消失問題.通過對用戶和項目特征的融合，模型可以綜合考慮用戶的短期和長期偏好進(jìn)行個性化推薦.

3 SETCNs方法

3.1 問題描述

序列推薦的主要任務(wù)是根據(jù)已獲得的用戶當(dāng)前序列信息(包括用戶的一系列歷史交互行為)中發(fā)現(xiàn)用戶的興趣偏好，預(yù)測的用戶下一步的點擊行為，并由此進(jìn)行項目推薦.

3.2 模型框架

圖2為SETCNs模型的總體框架.首先，所有的項目先被嵌入成高維向量，再根據(jù)時間戳組成序列數(shù)據(jù).項目的嵌入表示通過item2vec[14]生成，作為用戶的短期偏好，用戶的嵌入表示通過隱因子模型(Latent Factor Model,LFM)[15]生成，作為用戶的長期偏好.模型的重點在于序列數(shù)據(jù)的建模，在TCN的基本框架下，通過擴(kuò)張卷積，逐層擴(kuò)大感受野，捕捉更多的序列關(guān)系.圖2中的壓縮-激勵模塊(Squeeze and Excitation Block,S-E Block)主要負(fù)責(zé)調(diào)整各維度之間的關(guān)系.各層之間通過殘差連接，在最后將用戶和項目獲得的向量拼接，共同輸入全連接層，獲得推薦項目的概率值.

圖2 SETCNs整體框架Fig.2 Framework of SETCNs

3.2.1 嵌入層

假設(shè)將所有用戶的歷史項目交互定義為語料庫S，將某單一用戶u的歷史交互項目視為一個集合Su，且有Su∈S.通過學(xué)習(xí)所有用戶歷史記錄中項目間的共現(xiàn)關(guān)系，獲得該項目的詞向量表示.具體的目標(biāo)函數(shù)如公式(1)和公式(2)：

(1)

(2)

其中，其中u∈Si，ν∈Sj，L為語料庫集合長度，N為對于每個正樣本負(fù)采樣的個數(shù).

另外，對用戶的嵌入表示，采用LFM進(jìn)行表示.其基本思想是：認(rèn)為每個用戶都有自己的偏好，同時每個項目也包含所有用戶的偏好信息.而這個偏好信息即潛在因子，是潛在影響用戶對項目評分的因素.某個用戶u對某個項目i的感興趣程度可以表示為公式(3)：

(3)

pu表示用戶u與K個潛在因子的關(guān)聯(lián)關(guān)系，qi表示物品i與K個潛在因子的關(guān)聯(lián)關(guān)系.以樣本出現(xiàn)的次數(shù)作為權(quán)重，隨機(jī)選擇項目構(gòu)建負(fù)樣本集，保證正負(fù)樣本平衡.通過將公式(4)作為損失函數(shù)，利用隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)算法在數(shù)據(jù)集上迭代更新，直至收斂.

(4)

將模型收斂后得到的用戶潛在因子矩陣p作為對用戶的嵌入表示.

3.2.2 擴(kuò)張因果卷積

本文引入TCN，采用擴(kuò)張因果卷積來提取特征.因果的思想是出于處理序列特征的要求，與傳統(tǒng)卷積方法不同點在于，因果卷積是在時間序列上進(jìn)行，具體如圖3所示.每一層的輸出都是由前一層對應(yīng)未知的輸入及其前一個位置的輸入共同得到.

圖3 因果卷積Fig.3 Casual convolution

其數(shù)學(xué)模型可表示為：y1,y2,…,yt-1,yt=f(x1,x2,…,xt)，簡單來說，即根據(jù)x1,x2,…,xt和y1,y2,…,yt-1去預(yù)測yt，使得yt接近于實際值.

但是標(biāo)準(zhǔn)濾波器只能與感受野線性地進(jìn)行卷積，其深度會隨著網(wǎng)絡(luò)深度的增加而迅速增加.輸入和輸出距離越遠(yuǎn)，就越需考慮之前的輸入?yún)⑴c運(yùn)算的問題.在推薦系統(tǒng)中可以理解為，當(dāng)前推薦項目的確定，需要更長時間段上的用戶偏好信息.這帶來大量需要訓(xùn)練的參數(shù)，因此難用以處理長期序列.擴(kuò)張的基本思想是通過用零填充卷積濾波器，使其應(yīng)用于大于其原始長度的場，具體如圖4所示.通過擴(kuò)張卷積，模型在層數(shù)不大的情況下可以獲得更大的感受野，因此模型使用參數(shù)的較少.同時，擴(kuò)張的卷積可以保留輸入的空間尺寸，使得后期卷積層和殘差結(jié)構(gòu)的堆疊操作都變得更加容易.

圖4 擴(kuò)張卷積Fig.4 Dilated convolution

擴(kuò)張卷積的計算如公式(5)：

yt=(x*h)t=∑xt-dm·hm

(5)

其中*代表擴(kuò)張卷積的計算符號，d是擴(kuò)張率，通常設(shè)為2的指數(shù)形式(1，2，4,8,…,2i)，h是卷積濾波器的參數(shù).在實驗中，為了更方便且直觀的使用擴(kuò)張卷積，需要對原始的數(shù)據(jù)進(jìn)行一維變換操作，如圖5所示，將大小為L×D二維矩陣E轉(zhuǎn)換成大小為1×L×D的三維張量，E的每一行表示一個項目的嵌入表示，L表示序列的長度，D表示項目嵌入的維度，可以類比視為圖像中的通道.

圖5 原始數(shù)據(jù)進(jìn)行一維變換Fig.5 One-dimensional transformation of the original data

3.2.3 壓縮激勵模塊

卷積濾波器利用在一定感受野內(nèi)融合空間和各通道間的信息達(dá)到特征提取的目的，一般通過使用不同大小的卷積核在同一特征圖上進(jìn)行滑動來學(xué)習(xí)提取圖像的二維空間信息，獲得不同大小的感受野輸入神經(jīng)網(wǎng)絡(luò)，增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，但是通常忽略了各個特征通道之間的關(guān)系.本文通過設(shè)計壓縮-激勵(Squeeze and Excitation)模塊，采用了一種全新的特征重標(biāo)定策略去建模各特征通道之間的相互依賴關(guān)系.通過網(wǎng)絡(luò)學(xué)習(xí)自動獲取各個通道在當(dāng)前任務(wù)上的重要性，再根據(jù)學(xué)習(xí)到的通道權(quán)重，將注意力集中在關(guān)鍵的部分，提升有用特征權(quán)重，抑制對當(dāng)前任務(wù)用處不大的特征，從而完成增強(qiáng)網(wǎng)絡(luò)特征提取的作用.

壓縮操作是對提取到的特征，在每個通道上執(zhí)行全局平均池化(global average pooling).這將每個特征通道都壓縮成一個代表全局感受野的實數(shù)，它表示該特征通道的全局響應(yīng)，并且可以保持輸出維度和輸入的特征通道數(shù)一致.對于維度為D，長度為T的一串序列E=[ν1,ν2,…,ν|T|]，所計算的維度描述為z=[z1,z2,…,z|T|]，其中z是一個T×1維的向量，其中每一個元素的計算如公式(6)：

(6)

其中vt(i)代表序列第t個元素的第i個維度，此時可以將zt作為t時刻特征的權(quán)重.

為了利用壓縮操作的信息和利用通道間的信息依賴，接下來使用激勵操作來完成特征的重標(biāo)定，而且這個操作需要滿足兩個前提：第一，能夠利用簡單靈活的操作獲得通道間的非線性關(guān)系；第二，學(xué)到的關(guān)系不一定是互斥的，因為需要加強(qiáng)多個通道特征，而不像one-hot編碼方式，只加強(qiáng)了某一個通道的特征.按公式(7)采用門控機(jī)制進(jìn)行激活.

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(7)

(8)

Fscale(vt,st)表示標(biāo)量st和特征圖vt∈RT之間的乘法，其實質(zhì)相當(dāng)于把vt矩陣中的每個值都乘以對應(yīng)的權(quán)重st，在通道維度上完成對特征權(quán)值的重新標(biāo)定.

完整的壓縮-激勵操作可視為一次編碼-反編碼的過程，先將T × 1的序列壓縮到r × 1獲取全局感受野，再將其激勵回新的T × 1序列.因為在每一步都加入了激勵函數(shù)，所以在學(xué)習(xí)過程中，誤差始終能夠通過反向傳播調(diào)整參數(shù)W1和W2[16].因為序列數(shù)據(jù)的結(jié)構(gòu)并沒有改變，因此TCN模型也不需要改變原本的結(jié)構(gòu)，可以直接利用序列權(quán)值再調(diào)整后的特征進(jìn)行訓(xùn)練.

3.2.4 殘差連接

在序列特征抽取過程中，因果卷積層和擴(kuò)張卷積層的疊加造成神經(jīng)網(wǎng)絡(luò)逐漸加深.為減少模型訓(xùn)練過程中，網(wǎng)絡(luò)反向傳播發(fā)生的梯度衰減和消失問題，需要在模型的輸出層引入殘差連接.殘差學(xué)習(xí)的基本思想是將多個卷積層堆疊在一起作為一個塊，然后采用跳躍連接的方法，將前一層的特征信息傳遞到后一層.將模型的輸入被加權(quán)融合到卷積網(wǎng)絡(luò)的輸出中，輸出被表述為輸入本身和其一個非線性變換的線性疊加.其表達(dá)如公式(9)：

Output=σ(X+F(X))

(9)

其中，X表示輸入，F(xiàn)(X)表示前一層卷積層的輸出，σ表示sigmoid激活函數(shù).殘差連接的概念已經(jīng)在多種分類任務(wù)上取得了良好的應(yīng)用，在提取高維卷積特征后，殘差連接將大大提高模型的泛化能力，維護(hù)輸入信息并擴(kuò)大傳播梯度，減小訓(xùn)練難度，使得模型成為深層網(wǎng)絡(luò)和淺層網(wǎng)絡(luò)的集成.

3.2.5 全連接層

為了捕捉用戶的全局偏好，本文將用戶的嵌入表示與時序卷積提取的特征拼接，再通過全連接的方式，得到預(yù)測項目出現(xiàn)的概率分布.對具有L層的TCN，最后一層的輸出通過引入具有softmax激活函數(shù)的全連接層來實現(xiàn)序列分類.為減少在訓(xùn)練過程中的過擬合問題，在全連接層會采取Inverted dropout的方式隨機(jī)關(guān)閉神經(jīng)元的參數(shù)更新.與傳統(tǒng)的dropout方法不同之處在于，Inverted dropout操作僅在訓(xùn)練階段進(jìn)行，省略了測試階段的步驟.

3.3 網(wǎng)絡(luò)訓(xùn)練

模型采用監(jiān)督學(xué)習(xí)方式進(jìn)行訓(xùn)練，以數(shù)據(jù)集中序列數(shù)據(jù)對應(yīng)的下一個真實項目表示真實概率分布，將模型輸出的項目概率分布作為預(yù)測值.實驗使用二元交叉熵(binary cross entropy)作為目標(biāo)函數(shù)，訓(xùn)練目標(biāo)是最小化預(yù)測值與真實值之間的差異.為減少過擬合風(fēng)險帶來的模型泛化能力降低，目標(biāo)函數(shù)引入了正則化.函數(shù)如公式(10)：

(10)

4 實 驗

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)基于Tensorflow平臺實現(xiàn)，該實驗在CPU為Intel Xeon E5-2630v3，顯卡為GTX 1080Ti(11G)，內(nèi)存為32G的服務(wù)器上運(yùn)行，實驗環(huán)境為Window10，Pycharm，Cuda9.0，Cudnn7.0.

4.1 數(shù)據(jù)集及實驗設(shè)置

1.Movielens-1M數(shù)據(jù)集

Movielens1數(shù)據(jù)集是由美國明尼蘇達(dá)大學(xué)GroupLens實驗室提供的在推薦系統(tǒng)領(lǐng)域常用的數(shù)據(jù)集，有多個大小的版本.主要包括一系列用戶對電影的評分，還附有這些用戶的信息(如用戶性別、職業(yè))和電影的信息(如電影類別).

2.Gowalla數(shù)據(jù)集

Gowalla2是一個基于位置的社交網(wǎng)站，用戶可以通過簽到共享自己的位置，每一次的操作都帶有時間戳.數(shù)據(jù)集中包括用戶軌跡和社交群組.

實驗遵循以下預(yù)處理程序：將評論或評分的存在視為用戶與商品互動，從而將顯性反饋的評分?jǐn)?shù)據(jù)轉(zhuǎn)換為隱性反饋的交互行為數(shù)據(jù).使用時間戳確定序列的順序，并丟棄ML-1M中互動次數(shù)低于5和Gowalla中互動次數(shù)低于15的部分.將處理后的數(shù)據(jù)集的80%作為訓(xùn)練集，同時將剩下的20%作為測試集.同時，將真實數(shù)據(jù)集中樣本視為正樣本，為增強(qiáng)數(shù)據(jù)集，在需要時通過隨機(jī)采樣生成負(fù)樣本.處理完的實驗數(shù)據(jù)集相關(guān)數(shù)據(jù)如表1所示.

表1 處理后數(shù)據(jù)情況說明Table 1 Description of the processed data

4.2 評價指標(biāo)

本文使用召回率(Recall)和平均倒數(shù)排名(Mean Reciprocal Rank，MRR)作為評價指標(biāo)，這兩個指標(biāo)也廣泛用于評估其他推薦系統(tǒng)相關(guān)工作.

Recall@K：該指標(biāo)表示用戶真實點擊的項目出現(xiàn)在推薦列表前K位的點擊序列個數(shù)占測試集中序列總數(shù)的比例.只關(guān)心其是否出現(xiàn)在推薦列表而不考慮其順序.這可以很好地模擬某些實際情況，絕對順序無關(guān)緊要，而不會突出顯示推薦.定義如公式(11)：

(11)

其中N表示測試數(shù)據(jù)的總數(shù)量，nhit表示命中的項目數(shù)量.

MRR@K：該指標(biāo)表示用戶真實點擊項目在推薦列表中位置序號的倒數(shù)平均值，具體定義如公式(12).若用戶點擊項目沒有出現(xiàn)在推薦列表的前K位，MRR將結(jié)果為0.MRR在評價推薦列表質(zhì)量時會考慮物品的次序，是一個順序敏感的指標(biāo).

(12)

MRR是范圍[0,1]的歸一化分?jǐn)?shù)，其值的增加反映了大多數(shù)“命中”將在推薦列表的排名位置中更高，表明相應(yīng)推薦系統(tǒng)的性能更好.

4.3 參數(shù)設(shè)置

對于SETCNs模型，本文使用Adam優(yōu)化器進(jìn)行訓(xùn)練，每

個壓縮-激勵模塊的增長率(growth rate)k設(shè)為12，模塊的壓縮率(compression rate)c設(shè)為0.5，學(xué)習(xí)率(learning rate)初始化為1e-4,批量大小(batch size)設(shè)為32，dropout概率p設(shè)置為0.5，擴(kuò)張率(dilation rate)d設(shè)為[1，2，4].項目的嵌入維度分別設(shè)為[16，32，64，128]，進(jìn)行對比.

4.4 實驗對比

為了探究本文提出的模型效果，模型將與3種傳統(tǒng)推薦方法和3種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦方法分別在兩個常用數(shù)據(jù)集上進(jìn)行實驗驗證.其中，3種傳統(tǒng)方法包括：POP、S-POP和FPMC[17]；3種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型包括GRU4Rec、GRU4Rec+和NARM[18].

POP和S-POP分別推薦訓(xùn)練集和當(dāng)前會話中的前N個頻繁項目.

FPMC是一種綜合馬爾可夫鏈和矩陣分解的序列預(yù)測方法.

GRU4Rec是首次使用RNN對用戶序列進(jìn)行建模的方法.

GRU4Rec+進(jìn)一步提出了一種數(shù)據(jù)增強(qiáng)技術(shù)，通過改變輸入數(shù)據(jù)的數(shù)據(jù)分布，改進(jìn)模型的性能.

NARM采用引入注意力機(jī)制的RNN捕獲用戶的主要興趣和序列行為.

實驗首先觀察項目嵌入維度參數(shù)的選取對本文方法的影響，如圖6和圖7所示，在兩個數(shù)據(jù)集上，都可以發(fā)現(xiàn)項目的嵌入維度的增加會導(dǎo)致評價指標(biāo)的上升，考慮其中的原因是

圖6 不同嵌入維度在Movielens-1M數(shù)據(jù)集對實驗結(jié)果的影響Fig.6 Effects of different embedding dimensions on experimental results in Movielens-1M dataset

圖7 不同嵌入維度在Gowalla數(shù)據(jù)集對實驗結(jié)果的影響Fig.7 Effects of different embedding dimensions on experimental results in Gowalla dataset

向量的維度過低表示能力不夠，而更高的維度會帶有更多的

1http://files.grouplens.org/datasets/movielens/ml-1m.zip

2http://snap.stanford.edu/data/loc-gowalla.html

隱含信息.通過S-E模塊，模型在高維度的情況下可以更好地捕獲其中的信息，但維度的增加也會帶來相應(yīng)的參數(shù)的增加和計算的開銷，這是需要在實際應(yīng)用中進(jìn)行衡量的問題.

以下的實驗結(jié)果以最終結(jié)果表現(xiàn)最佳的項目嵌入維度為128為準(zhǔn)，具體的各項實驗結(jié)果對比如表2所示.

表2 實驗結(jié)果對比Table 2 Comparison of experimental results

從表2中可以得出結(jié)論，相對于傳統(tǒng)的基于流行度的算法，基于神經(jīng)網(wǎng)絡(luò)的方法GRU4Rec，GRU4Rec+，NARM和SETCNs在各項指標(biāo)上都有較為明顯的提升，這是由于基于流行度的方法只考慮了個體的單獨(dú)點擊，忽略了用戶的興趣變化是一個時序相關(guān)的問題，沒有考慮過往項目對未來偏好指示的問題.

同時，SETCNs表現(xiàn)也要優(yōu)于FPMC方法，這表明傳統(tǒng)的基于馬爾可夫鏈的方法主要依賴的連續(xù)項目的獨(dú)立性假設(shè)是不現(xiàn)實的，F(xiàn)PMC方法主要只捕捉一階馬爾可夫關(guān)系，但用戶的偏好并非絕對連續(xù)，而是會受到各種因素的影響，產(chǎn)生間歇性的變化.

對比神經(jīng)網(wǎng)絡(luò)算法GRU4Rec和GRU4Rec+，SETCNs方法也有一定的提高，說明基于時序卷積網(wǎng)絡(luò)的方法可以處理更長期的序列.與NARM方法相比，本文的方法提高不多，這是因為NARM方法同樣采用注意力機(jī)制來捕獲主要目的，但本文依舊在效果上依舊有所超越，這是由于時序卷積的結(jié)構(gòu)決定了它可以獲得更好地感受野，將更多的序列項目引入推薦的決策中.

另外，如圖8所示，通過對比SETCNs方法和GRU4Rec+方法的損失函數(shù)曲線變化圖發(fā)現(xiàn)，SETCNs的loss值下降到穩(wěn)定值的速度比GRU4Rec+下降到穩(wěn)定值的速度更快，收斂性較好，表明SETCNs相對于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，訓(xùn)練速度更快，且取得較好收斂效果.同時，與GRU4REC和NARM的對比也有類似的結(jié)論.因為在兩個數(shù)據(jù)集上獲取的結(jié)果類似，圖中只展示針對Movielens-1M數(shù)據(jù)集的訓(xùn)練效果.

圖8 SETCNs方法與GRU4Rec+方法訓(xùn)練損失下降曲線對比Fig.8 Comparison of SETCNs and GRU4Rec+ in loss decline curve

5 總 結(jié)

本文針對傳統(tǒng)推薦算法無法表示用戶興趣的動態(tài)變化，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦方法無法捕捉復(fù)雜的序列關(guān)系，長期依賴差的問題，提出了一種針對序列推薦的SETCNs模型.在該模型中，通過嵌入壓縮激勵模塊的改進(jìn)時序卷積網(wǎng)絡(luò)來對序列時空特征進(jìn)行識別，利用注意力機(jī)制加強(qiáng)了重點項目對推薦決策的影響.模型通過對用戶的興趣隨時間的演變進(jìn)行序列建模，利用擴(kuò)張卷積增大感受野，捕獲更多的序列關(guān)系，利用殘差連接減小反向傳播過程中的梯度消失問題，并綜合考慮了用戶的長期和短期偏好，為用戶提供個性化推薦.綜合實驗結(jié)果表明，所提出的算法優(yōu)于基線算法，有效提升了推薦系統(tǒng)的精度.