融合項(xiàng)目嵌入表征與注意力機(jī)制的推薦算法

都奕冰，孫靜宇

(1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 太原 030024； 2.太原理工大學(xué) 軟件學(xué)院，山西 太原 030024)

0 引 言

用戶行為在個(gè)性化推薦系統(tǒng)中一般分為兩種：顯性反饋行為(explicit feedback)和隱性反饋行為(implicit feedback)。顯性反饋行為包括用戶明確表示對(duì)物品的喜好行為，其主要方式為評(píng)分、評(píng)級(jí)等。和顯性反饋行為相對(duì)應(yīng)的是隱形反饋行為，隱性反饋行為是指那些不能明確反應(yīng)用戶喜好的行為。相比顯性反饋，隱性反饋雖然不明確，但是數(shù)據(jù)量更大。傳統(tǒng)推薦方法大多基于顯性反饋行為，大致可以分為：基于內(nèi)容的推薦、協(xié)同過濾以及混合推薦。傳統(tǒng)推薦方法依賴于用戶評(píng)分信息，無法學(xué)到隱性反饋數(shù)據(jù)的深層特征。

最具代表性的隱性反饋行為就是頁面瀏覽行為，用戶與購物網(wǎng)站交互過程中，在一段時(shí)間內(nèi)瀏覽項(xiàng)目的點(diǎn)擊序列稱為用戶行為日志。本文針對(duì)用戶行為日志的序列信息，使用深度學(xué)習(xí)方法挖掘用戶興趣偏好，并融入項(xiàng)目嵌入表征，為序列化推薦算法提供了一種新的思路。

1 相關(guān)工作

近年來，深度學(xué)習(xí)在計(jì)算機(jī)的多個(gè)研究領(lǐng)域都取得了較好的進(jìn)展，這也為推薦系統(tǒng)的發(fā)展帶了一種新的可能。與傳統(tǒng)推薦方法相比，深度學(xué)習(xí)可以更好地提取用戶行為數(shù)據(jù)中的興趣特征以及行為特征，并得到這些特征表示。同時(shí)，深度學(xué)習(xí)可以將不同特征映射為統(tǒng)一的向量表征，從而可以解決數(shù)據(jù)稀疏的問題。因此基于深度學(xué)習(xí)的推薦系統(tǒng)已經(jīng)成為了推薦系統(tǒng)領(lǐng)域的重要研究方法。在此研究中，學(xué)者通常將用戶的顯性反饋與隱性反饋[6-8](例如用戶收聽音樂[9]、瀏覽新聞[10]、購物車等記錄)作為輸入，通過不同的模型學(xué)習(xí)產(chǎn)生項(xiàng)目推薦結(jié)果。Paul Covington等[11]提出了一種基于深度學(xué)習(xí)的推薦系統(tǒng)并應(yīng)用于YouTube平臺(tái)，對(duì)視頻及用戶行為作出反饋，并平衡新老視頻的綜合推薦。LI X P等[12]提出了一種基于貝葉斯生成模型的協(xié)同變分自編碼器(CVAE)，從內(nèi)容和評(píng)級(jí)中學(xué)習(xí)項(xiàng)目和用戶之間的隱性關(guān)系。

隨著電商平臺(tái)數(shù)據(jù)的逐步豐富，如何將更多更有意義的用戶行為數(shù)據(jù)與深度學(xué)習(xí)方法相結(jié)合，從而挖掘用戶行為的隱性反饋受到了越來越多學(xué)者的關(guān)注。Okura S等[13]根據(jù)用戶瀏覽新聞歷史進(jìn)行推薦，方法在Yahoo數(shù)據(jù)集中表現(xiàn)良好。Chen X等[14]研究了個(gè)性化視頻推薦問題，根據(jù)視頻圖像和用戶時(shí)間同步評(píng)論挖掘用戶偏好，實(shí)驗(yàn)結(jié)果在各種評(píng)價(jià)標(biāo)準(zhǔn)中都優(yōu)于其它方法。上述文獻(xiàn)中大多采用one-hot[15]或TF-IDF[16]進(jìn)行標(biāo)注。但是，項(xiàng)目與項(xiàng)目之間是相互影響的，項(xiàng)目的順序具有用戶行為意義，這些方法忽略了項(xiàng)目與項(xiàng)目的位置信息以及項(xiàng)目與項(xiàng)目之間的相互關(guān)系。Greenstein-Messica A等[17]比較了多種詞向量嵌入方法，成功的捕捉到了語義和語法規(guī)律，將這些方法應(yīng)用在電子商務(wù)的推薦中，發(fā)現(xiàn)向量表征可以作為各種推薦系統(tǒng)中的特征并得到良好的推薦結(jié)果。此外，這些推薦算法通常根據(jù)用戶行為日志的最后一次交互記錄進(jìn)行推薦，導(dǎo)致之前大量有價(jià)值的交互記錄被忽略。無法充分利用用戶購物過程中的用戶行為序列信息，但是這些動(dòng)態(tài)的信息往往能夠很好反應(yīng)出用戶的購物傾向。在實(shí)時(shí)推薦系統(tǒng)中，系統(tǒng)應(yīng)基于當(dāng)前的瀏覽歷史和用戶興趣給出推薦結(jié)果，并學(xué)習(xí)用戶與網(wǎng)站的交互信息，對(duì)用戶購買的項(xiàng)目進(jìn)行預(yù)測。

針對(duì)這些問題，本文從項(xiàng)目表征優(yōu)化與用戶停留時(shí)間間隔權(quán)重的角度，挖掘了用戶的行為信息，充分利用了用戶的隱性反饋?zhàn)鳛槟Ｐ偷妮斎?，同時(shí)為了提高用戶序列化信息的訓(xùn)練效果，引入了GRU網(wǎng)絡(luò)模型，通過捕獲用戶行為的方式提高推薦精度。

2 融合用戶行為信息的推薦模型框架設(shè)計(jì)

本文采用如圖1給出的推薦模型框架。以Bi-GRU網(wǎng)絡(luò)為模型基礎(chǔ)，從項(xiàng)目的嵌入表征與用戶停留時(shí)間兩個(gè)角度建模用戶行為信息。具體可概括為：①輸入層：模型輸入為用戶行為日志中用戶點(diǎn)擊的項(xiàng)目序列的向量表征。表征向量通過構(gòu)建哈夫曼樹，以項(xiàng)目出現(xiàn)次數(shù)為權(quán)重計(jì)算概率而生成；②隱藏層：隱藏層由GRU網(wǎng)絡(luò)與注意力機(jī)制構(gòu)建。將用戶瀏覽項(xiàng)目時(shí)的停留時(shí)間作為注意力機(jī)制的權(quán)重深化用戶的興趣程度，并通過GRU網(wǎng)絡(luò)雙向捕獲序列中項(xiàng)目的相關(guān)信息；③輸出層：模型經(jīng)過softmax歸一化輸出推薦項(xiàng)目的概率分布，給出最優(yōu)的推薦項(xiàng)目。

圖1 融合項(xiàng)目嵌入表征與注意力機(jī)制的推薦模型

2.1 項(xiàng)目嵌入表示

傳統(tǒng)的項(xiàng)目表征是將不同項(xiàng)目以one-hot編碼的方式轉(zhuǎn)化為一串由0、1構(gòu)成的數(shù)字序列，該序列不具備任何含義，顯然這種表征方法存在缺陷，它既不能很好體現(xiàn)相似項(xiàng)目間的相關(guān)信息也無法表示相鄰項(xiàng)目間的相關(guān)信息。因此參考自然語言處理當(dāng)中對(duì)字符進(jìn)行向量化的方法，將word2vec的向量表征方法引入了推薦系統(tǒng)。word2vec是一種詞嵌入方法，它通過學(xué)習(xí)文本序列信息，將詞的語義信息用向量的方式表征。本模型的輸入部分將詞嵌入方法應(yīng)用于項(xiàng)目建模，使項(xiàng)目表征包含其內(nèi)在特征，深化用戶瀏覽項(xiàng)目的相關(guān)性，使關(guān)聯(lián)度高的項(xiàng)目在向量空間中距離更近。Skip-Gram和CBOW(continuous bag-of-words)是word2vec的兩種主要訓(xùn)練模式，Skip-Gram通過當(dāng)前詞，預(yù)測序列的上下文的詞語，CBOW則是通過上下文相關(guān)的詞語預(yù)測中心詞。根據(jù)數(shù)據(jù)特點(diǎn)，本文通過哈夫曼樹構(gòu)建CBOW模型，一方面有效降低計(jì)算量，另一方面用樹形結(jié)構(gòu)代替了隱藏層到輸出softmax層。哈夫曼樹的葉子節(jié)點(diǎn)為數(shù)據(jù)項(xiàng)目信息，通過訓(xùn)練哈夫曼樹路徑權(quán)重，得到樹中所有節(jié)點(diǎn)的項(xiàng)目嵌入表征。具體訓(xùn)練過程如圖2所示。

圖2 項(xiàng)目嵌入表征訓(xùn)練過程

項(xiàng)目序列在CBOW模型下的訓(xùn)練函數(shù)

(1)

式中：Session(i) 表示中心項(xiàng)目i的臨近項(xiàng)目。將用戶行為日志中出現(xiàn)的項(xiàng)目集合記為：Sessioni={x1,…,xn} 每一個(gè)項(xiàng)目xi出現(xiàn)概率相互獨(dú)立。模型中哈夫曼樹存在一條從根節(jié)點(diǎn)到項(xiàng)目xi所在節(jié)點(diǎn)的路徑，路徑上的每一個(gè)非葉子結(jié)點(diǎn)進(jìn)行一次二分類并將其分類結(jié)果連乘。最終這條路徑上的分類過程可表示為

(2)

(3)

經(jīng)過softmax歸一化，得到項(xiàng)目集合為Session(i) 時(shí)下一個(gè)項(xiàng)目恰為第i個(gè)項(xiàng)目的概率，將式(2)代入對(duì)數(shù)似然函數(shù)(1)最終表示為

(4)

(5)

(6)

變量Xi的梯度表示為

(7)

每次對(duì)Xi進(jìn)行更新的公式為

(8)

綜上通過式(5)～式(8)可以訓(xùn)練得到項(xiàng)目嵌入表征。

2.2 融合停留時(shí)間的注意力機(jī)制

用戶在瀏覽過程中對(duì)不同項(xiàng)目的停留時(shí)間可以視為衡量用戶對(duì)該項(xiàng)目喜愛程度的重要指標(biāo)，直觀上，用戶在某項(xiàng)目上停留的時(shí)間越長，對(duì)該項(xiàng)目也就越感興趣。故停留時(shí)間序列可以作為點(diǎn)擊序列的補(bǔ)充信息，與點(diǎn)擊序列共同作用進(jìn)行推薦。參考Dallmann A等[18]提出了一種DT-GRU模型，將停留時(shí)間序列作為第一個(gè)模型的輸入，將輸出和點(diǎn)擊序列鏈接作為第二個(gè)模型的輸入，實(shí)驗(yàn)結(jié)果表明將駐留時(shí)間集成到模型中可以提高基于用戶行為日志的推薦性能。本文對(duì)以上模型進(jìn)一步優(yōu)化，考慮到時(shí)間信息直接與項(xiàng)目信息作為輸入過于直接，不能很好地表現(xiàn)出不同時(shí)間間隔的重要意義，故做出了如下改進(jìn)。用注意力機(jī)制建模時(shí)間序列與點(diǎn)擊序列間的依賴關(guān)系，使推薦算法能夠根據(jù)時(shí)間跟蹤用戶偏好，理解用戶的行為。具體是將項(xiàng)目時(shí)間間隔作為注意力機(jī)制的權(quán)重，與隱藏層輸出共同作為隱藏層的最終結(jié)果。這種方法可以人為的從大量數(shù)據(jù)中篩選出一部分有價(jià)值的信息，讓網(wǎng)絡(luò)把目光聚焦于這些數(shù)據(jù)上，從而忽略其它信息。篩選的過程體現(xiàn)在項(xiàng)目概率的取值上，概率越大，網(wǎng)絡(luò)越聚焦與對(duì)應(yīng)的項(xiàng)目上，本文將時(shí)間序列作為注意力概率，從而體現(xiàn)點(diǎn)擊序列中每個(gè)項(xiàng)目的重要程度。

(9)

(10)

(11)

2.3 GRU網(wǎng)絡(luò)

利用RNN對(duì)變長序列數(shù)據(jù)進(jìn)行建模，RNN不僅會(huì)學(xué)習(xí)當(dāng)前時(shí)刻的信息，也會(huì)依賴之前的序列信息。由于其網(wǎng)絡(luò)模型結(jié)構(gòu)解決了信息保存的問題，所以循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)處理時(shí)間序列問題有獨(dú)特的優(yōu)勢

Ot=g(VSt)

(12)

St=f(UXt+WSt-1)

(13)

V是輸出層的權(quán)重矩陣，g是激活函數(shù)。U是輸入X的權(quán)重矩陣，W是上一次St-1的值作為這一次的輸入的權(quán)重矩陣，f是激活函數(shù)。RNN的輸出Ot是序列上下一個(gè)元素的概率分布，給出其當(dāng)前狀態(tài)St。 具體結(jié)構(gòu)如圖3所示。

圖3 GRU網(wǎng)絡(luò)

將改進(jìn)的RNN——GRU(gated recurrent unit)，引入序列化建模的推薦系統(tǒng)中并加以改進(jìn)。GRU對(duì)RNN單元進(jìn)行了更精細(xì)的建模，目的是解決逐漸出現(xiàn)的梯度消失問題。GRU的門控單元用來學(xué)習(xí)何時(shí)以及如何更新單元的隱藏狀態(tài)。GRU充分考慮了樣本時(shí)序前后的關(guān)聯(lián)關(guān)系，比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)更適用于序列化信息的在線推薦，在預(yù)測方面具有其它算法不可比擬的優(yōu)勢，并且收斂速度快、精度高、穩(wěn)定性好

zt=σ(Wz·[ht-1,Xt])

(14)

rt=σ(Wr·[ht-1,Xt])

(15)

(16)

(17)

Sm,n=GRU(Sm,n-1),n=1,…,N-1

(18)

Rm,n=g(Sm,n),n=1,…,N-1

(19)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了評(píng)估本文提出的項(xiàng)目嵌入表征與以時(shí)間作為注意力機(jī)制權(quán)重對(duì)序列化推薦算法的有效性，進(jìn)行了以下實(shí)驗(yàn)。實(shí)驗(yàn)使用RecSys Challenge2015公開數(shù)據(jù)集，該數(shù)據(jù)集共包含某電商網(wǎng)站9 249 729條用戶行為日志、33 003 944個(gè)點(diǎn)擊行為數(shù)據(jù)、52 739個(gè)項(xiàng)目信息。其中點(diǎn)擊序列構(gòu)成了用戶行為日志，一些用戶行為日志中用戶最終購買了項(xiàng)目。每次點(diǎn)擊事件都包含了以下4個(gè)字段：session ID、點(diǎn)擊時(shí)間、項(xiàng)目ID、類別，具體的數(shù)據(jù)形式與對(duì)應(yīng)含義見表1。

參考B. Hidasi, A等[19]的數(shù)據(jù)清洗經(jīng)驗(yàn)，結(jié)合本文的用戶行為特征，對(duì)原始數(shù)據(jù)進(jìn)行了以下處理。由于原始數(shù)據(jù)存在大量異常數(shù)據(jù)，會(huì)導(dǎo)致挖掘結(jié)果的偏差，在數(shù)據(jù)清洗階段，由于神經(jīng)網(wǎng)絡(luò)并沒有學(xué)習(xí)過在測試集中而不在訓(xùn)練集中的點(diǎn)擊序列，我們篩選掉了這些數(shù)據(jù)。預(yù)處理后的數(shù)據(jù)剩下了多少個(gè)用戶行為日志，多少次點(diǎn)擊和多少個(gè)項(xiàng)，其中的60%作為訓(xùn)練集，驗(yàn)證集和測試集分別占20%。

表1 數(shù)據(jù)集字段

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

推薦算法的評(píng)價(jià)標(biāo)準(zhǔn)通常用推薦項(xiàng)目的準(zhǔn)確性來表示。在實(shí)驗(yàn)中，需要驗(yàn)證在數(shù)據(jù)集上的推薦準(zhǔn)確性，即推薦結(jié)果與用戶真實(shí)購買項(xiàng)目之間的差距。用戶的實(shí)際點(diǎn)擊項(xiàng)應(yīng)該出現(xiàn)在推薦結(jié)果的前幾項(xiàng)。所以推薦正確率我們使用召回率(Recall，R)和倒數(shù)排序法(mean reciprocal rank，MRR)對(duì)結(jié)果進(jìn)行評(píng)估。定義如下

(20)

TP為真實(shí)預(yù)測數(shù)量，F(xiàn)N為錯(cuò)誤預(yù)測數(shù)量，N=TP+FN。R為真實(shí)預(yù)測在前N個(gè)預(yù)測項(xiàng)目中所占比例，即樣本中的正例有多少被預(yù)測正確

(21)

3.3 項(xiàng)目嵌入表示的驗(yàn)證

本實(shí)驗(yàn)在GRU模型的基礎(chǔ)上，對(duì)提出的項(xiàng)目嵌入表征方法進(jìn)行驗(yàn)證。對(duì)比實(shí)驗(yàn)為one-hot編碼。實(shí)驗(yàn)結(jié)果見表2，結(jié)果選取Softmax輸出的前20個(gè)預(yù)測項(xiàng)計(jì)算了模型的推薦準(zhǔn)確率。

表2 項(xiàng)目嵌入表示對(duì)推薦準(zhǔn)確率的影響

從實(shí)驗(yàn)結(jié)果可以看出，項(xiàng)目嵌入表征對(duì)于推薦系統(tǒng)的推薦準(zhǔn)確率有積極影響。項(xiàng)目嵌入表征與隨機(jī)表征相比，通過用戶點(diǎn)擊項(xiàng)目序列訓(xùn)練的項(xiàng)目表征可以很好地包含相鄰瀏覽項(xiàng)目的相關(guān)性，在復(fù)雜度下，使推薦效果有了提升。而one-hot編碼在一定程度上具備隨機(jī)性，因此實(shí)驗(yàn)結(jié)果與隨機(jī)表征差距不大。從數(shù)據(jù)角度分析，當(dāng)訓(xùn)練數(shù)據(jù)具備較好的序列性與相關(guān)性時(shí)，實(shí)驗(yàn)效果好，當(dāng)訓(xùn)練數(shù)據(jù)相關(guān)度不高時(shí)，提升效果不明顯。故進(jìn)行了擴(kuò)展實(shí)驗(yàn)。

3.4 項(xiàng)目嵌入表示驗(yàn)證擴(kuò)展實(shí)驗(yàn)

分析不同的用戶行為日志所訓(xùn)練的項(xiàng)目嵌入表征對(duì)推薦精度的影響。用戶行為日志的長度與推薦準(zhǔn)確性有關(guān)聯(lián)。隨著長度的增加，用戶表現(xiàn)出的偏好準(zhǔn)確性也會(huì)增加，所以使用不同用戶行為日志長度的推薦準(zhǔn)確率進(jìn)行對(duì)比。從數(shù)據(jù)集中人工選取10組測試用例，每組測試用例的用戶行為日志數(shù)目為60個(gè)，測試集中點(diǎn)擊項(xiàng)目序列的平均長度為0-15。使用GRU網(wǎng)絡(luò)進(jìn)行訓(xùn)練并進(jìn)行預(yù)測。序列長度對(duì)嵌入方式的影響如圖4所示，當(dāng)項(xiàng)目序列的長度小于5時(shí)，兩種方法的準(zhǔn)確率都較低且差別不大，隨著序列長度的增加，兩種編碼方式的準(zhǔn)確率都穩(wěn)步增加。同時(shí)，隨著序列長度增加，使用項(xiàng)目嵌入表征方法的推薦準(zhǔn)確率高于傳統(tǒng)one-hot編碼，實(shí)驗(yàn)結(jié)果表明當(dāng)序列過短時(shí)，項(xiàng)目序列有較大的隨機(jī)性，影響了挖掘用戶興趣的準(zhǔn)確率，分類的錯(cuò)誤率較高；隨著序列長度的增加，模型可以挖掘出更多的信息，較長的用戶行為日志可以反映出更多的用戶興趣偏好。

圖4 序列長度對(duì)嵌入方式的影響

3.5 以停留時(shí)間為注意力權(quán)重的有效性驗(yàn)證

為了體現(xiàn)用戶瀏覽項(xiàng)目的停留時(shí)間對(duì)推薦準(zhǔn)確率的影響，同時(shí)將2.2提出的DT-GRU與本文提出的融合停留時(shí)間的注意力機(jī)制進(jìn)行比較。根據(jù)實(shí)驗(yàn)3.4結(jié)果從測試集中刪除長度小于5的用戶行為日志，將剩下的數(shù)據(jù)作為模型的樣本數(shù)據(jù)。

表3中，DT-GRU和ATT-GRU明顯優(yōu)于GRU神經(jīng)網(wǎng)絡(luò)，實(shí)驗(yàn)表現(xiàn)出用戶興趣程度與瀏覽項(xiàng)目停留時(shí)間的直接聯(lián)系，用戶對(duì)項(xiàng)目的關(guān)注度越大應(yīng)具有更高的推薦度。同時(shí)，本文所提出的ATT-GRU其推薦準(zhǔn)確率較DT-GRU效果提高，融合停留時(shí)間的注意力機(jī)制彌補(bǔ)了僅僅將停留時(shí)間和項(xiàng)目序列簡單連接的不足，使模型充分根據(jù)停留時(shí)間分配不同的注意力，獲取更深層次的用戶偏好。

3.6 模型推薦精度對(duì)比

本實(shí)驗(yàn)中，比較了本文提出的推薦模型和一些常見的推薦模型的準(zhǔn)確率，包括POP、KNN、BPR，并用Recall和MRR對(duì)推薦結(jié)果進(jìn)行評(píng)價(jià)。

表3 停留時(shí)間對(duì)推薦準(zhǔn)確率的影響

(1)POP。統(tǒng)計(jì)訓(xùn)練集中每個(gè)項(xiàng)目的瀏覽次數(shù)并將其作為流行指標(biāo)，將用戶行為日志中最受歡迎的項(xiàng)目推薦給用戶。

(2)KNN。將用戶行為日志中相似的k個(gè)項(xiàng)目進(jìn)行推薦， 相似性用特征空間中兩個(gè)向量的余弦相似度來計(jì)算。計(jì)算公式為

(22)

(3)BPR?；谪惾~斯理論的一種矩陣分解方法。推薦用戶行為日志中每個(gè)item特征向量之和的平均向量。

表4顯示了各個(gè)算法在數(shù)據(jù)集上的準(zhǔn)確性，實(shí)驗(yàn)結(jié)果顯示GRU模型較傳統(tǒng)方法的推薦準(zhǔn)確度得到了提升。其它模型未考慮到瀏覽序列前后時(shí)序上的聯(lián)系，不能對(duì)項(xiàng)目進(jìn)行序列上的預(yù)測，GRU在時(shí)序數(shù)據(jù)分析中表現(xiàn)出更強(qiáng)的適應(yīng)性，因此在推薦算法領(lǐng)域表現(xiàn)良好。同時(shí)，基于項(xiàng)目表征與用戶停留時(shí)間優(yōu)化的GRU模型表現(xiàn)出了較好的性能。項(xiàng)目嵌入表征可以深度挖掘項(xiàng)目的內(nèi)在聯(lián)系，從而減小了one-hot編碼的隨機(jī)性；停留時(shí)間優(yōu)化的注意力機(jī)制，通過停留時(shí)間權(quán)重使網(wǎng)絡(luò)快速獲取重點(diǎn)關(guān)注項(xiàng)目，得到注意力焦點(diǎn)，提取用戶行為中相應(yīng)重要特征，從而減小了冗余數(shù)據(jù)對(duì)推薦結(jié)果的影響，因此ATT-GRU的實(shí)驗(yàn)結(jié)果要好于GRU。

表4 本文方法與POP/ KNN/ BPR性能對(duì)比

以上實(shí)驗(yàn)結(jié)果表明了本文提出的項(xiàng)目表征優(yōu)化與注意力機(jī)制優(yōu)化的GRU模型對(duì)于序列化推薦有積極的意義。

4 結(jié)束語

本文根據(jù)用戶行為日志中項(xiàng)目的相關(guān)性與瀏覽時(shí)間體現(xiàn)的興趣偏好，提出了一種融合項(xiàng)目嵌入表征與注意力機(jī)制的推薦算法。該推薦模型通過引入適合處理序列化信息的GRU模型挖掘用戶行為，將詞嵌入方法引入項(xiàng)目建模加強(qiáng)項(xiàng)目的相關(guān)性，充分利用停留時(shí)間優(yōu)化注意力機(jī)制，快速捕獲重點(diǎn)項(xiàng)目提升推薦準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，使用項(xiàng)目嵌入表征優(yōu)化，并考慮用戶行為的停留時(shí)間，可以有效提高基于用戶行為日志推薦模型的性能，與POP、KNN、BPR模型相比均有所提升，分別提高了0.419、0.194和0.1048。

但由于本文數(shù)據(jù)集的局限性，并考慮到用戶信息的多樣性，將多種信息分別特征提取融合進(jìn)行推薦具有潛在的研究價(jià)值。未來工作中考慮將多個(gè)互補(bǔ)的網(wǎng)絡(luò)模塊組合在一起構(gòu)建混合模型，并且進(jìn)行多源數(shù)據(jù)融合推薦。