融合交互注意力和參數(shù)自適應的商品會話推薦

鄭 楠,過 弋,2,3,李智強,王志宏

(1. 華東理工大學 信息科學與工程學院，上海 200237；2. 大數(shù)據(jù)流通與交易技術國家工程實驗室 商業(yè)智能與可視化技術研究中心，上海 200436; 3. 上海大數(shù)據(jù)與互聯(lián)網(wǎng)受眾工程技術研究中心，上海 200072)

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展和移動設備的普及，用戶往往面臨海量信息，特別是在選購商品時，難以快速地發(fā)現(xiàn)自身實際需要的商品，從而引發(fā)信息過載問題[1]。因此推薦系統(tǒng)應運而生，既可以為用戶推薦所需要或感興趣的商品，又可以為商品提供者提高曝光率，提高交易率。傳統(tǒng)的推薦算法通常依賴于對用戶的自身特性和歷史交互商品特征的分析，在現(xiàn)實應用中需要較長時間周期，表現(xiàn)不佳。同時用戶對隱私更加注重，常常匿名訪問網(wǎng)站，或只是在有購買行為時才提醒用戶登錄，導致用戶的瀏覽信息采集缺失，或登錄的用戶只有短期的交互信息，以致用戶的瀏覽信息采集較少。在以上情況下，傳統(tǒng)的推薦算法如協(xié)同過濾等常表現(xiàn)不佳。會話是將匿名用戶的交互序列按照時間順序切分成指定長度的相對較短的序列，如圖1中的會話序列?；跁挼纳唐吠扑]算法旨在通過對指定時間內的匿名用戶的行為序列研究來預測用戶下一個交互的商品[2]，既能夠學習用戶的短期興趣，又能夠保留用戶交互的時間順序信息，以此學習商品之間的順序依賴，從而引起廣泛的關注。

近年來，圖神經(jīng)網(wǎng)絡的提出和廣泛應用使基于圖神經(jīng)網(wǎng)絡的推薦算法研究成為研究的熱點。但大多集中于會話圖的構建學習。如SR-GNN[3]對用戶的偏好學習只集中于當前會話，忽略了其他會話相關物品的轉移關系學習。如GCE-GNN[4]雖考慮到其他會話的學習，但只強調全局圖對會話圖的指導，忽視了會話圖對全局圖的指導作用，并將兩者表征采用固定權重融合，對全局圖和局部會話圖各自學習到的物品表征之間的強相關信息的提取和融合研究缺乏。

針對以上問題，本文提出了一種融合交互注意力機制和改進參數(shù)自適應策略的圖神經(jīng)網(wǎng)絡推薦模型，簡稱InterAtt-GNN。主要創(chuàng)新點如下：

(1) 引入交互注意力機制來同時利用全局圖對會話圖的指導和會話圖對全局圖的指導，分別對會話圖和全局圖學習的物品表征進行強相關信息提取。

(2) 通過改進參數(shù)自適應策略對原有的會話圖和全局圖物品表征學習兩者權重并用于信息提取后的表征融合。

(3) 本文在公開數(shù)據(jù)集Tmall上進行實驗。結果表明，InterAtt-GNN算法相比于對比的其他推薦算法在準確率和MRR指標上分別提升了1.82%～3.01%和0.43%～0.50%。

1 相關工作

隨著深度學習的快速發(fā)展和注意力機制的優(yōu)越表現(xiàn)，目前已有許多基于循環(huán)神經(jīng)網(wǎng)絡和引入注意力機制的會話推薦算法研究?？偨Y來看，在基于會話的推薦系統(tǒng)研究領域中，目前優(yōu)越的模型大多基于循環(huán)神經(jīng)網(wǎng)絡、注意力機制和圖神經(jīng)網(wǎng)絡。

1.1 基于循環(huán)神經(jīng)網(wǎng)絡的會話推薦算法

基于會話的推薦算法研究本質上是對序列化推薦算法的研究，其大多都假設序列中的交互行為是有順序依賴的。而RNN在捕捉序列的順序依賴方面具有強大優(yōu)勢。目前基于RNN的推薦算法研究大多基于長短時記憶(LSTM)[5]和門循環(huán)控制單元(GRU)[6]的循環(huán)神經(jīng)網(wǎng)絡，用于捕捉會話行為序列的長期依賴關系。HIDASI等人[7]將整個會話作為行為序列，利用RNN的變體GRU對其建模。BOGINA等人[8]將用戶停留時間結合到RNN模型，提升在Yoochoose數(shù)據(jù)集上的準確率。但基于RNN的推薦算法在應用中存在以下不足：(1)由于RNN的強假設前提是序列中任何相鄰項都是高度相關的，與現(xiàn)實中交互序列的生成情景不符，很容易生成錯誤的相關性從而引入噪聲； (2)忽略了用戶交互行為的復雜協(xié)作依賴關系。

1.2 基于注意力機制的會話推薦算法

深度學習在描述序列數(shù)據(jù)方面的極強表現(xiàn)力使得深度學習的模型在推薦系統(tǒng)中取得顯著成功。尤其是將注意力機制引入神經(jīng)網(wǎng)絡中，用于提取序列中相對重要的行為信息。Wang等人[9]提出基于自注意力機制的SASRec模型，結合RNN和馬爾科夫鏈模型的優(yōu)勢，既可以捕捉長期的語義信息，還可以基于盡可能少的行為進行預測。陳海涵等人[10]從基于注意力機制的DNN、CNN、RNN、GNN推薦四個方面分析，分別闡明進展和不足，并指出多特征交互是未來研究的要點。隨著注意力機制融合進推薦系統(tǒng)的發(fā)展，阿里先后提出融合 Attention機制的深度學習模型 DIN[11]和 DIEN[12]，能夠根據(jù)候選商品的不同調整不同特征的權重,并且將注意力機制作用于深度神經(jīng)網(wǎng)絡?？紤]到用戶的每個會話的興趣是相近的，會話間的興趣差別較大，F(xiàn)eng等提出DSIN[13]模型，考慮和用戶的會話關系結合，相對之前模型進一步提升。但是，上述注意力機制都是基于序列自身的物品學習注意力權重，缺少對會話間和會話內物品表征學習的注意力。

1.3 基于圖神經(jīng)網(wǎng)絡的會話推薦算法

隨著圖神經(jīng)網(wǎng)絡的高速發(fā)展，將圖神經(jīng)網(wǎng)絡引入推薦算法的研究成為目前推薦系統(tǒng)研究的熱點。圖神經(jīng)網(wǎng)絡相較于以往的深度學習神經(jīng)網(wǎng)絡學習能夠考慮到用戶交互行為序列的復雜交互關系，從而捕捉序列中被忽略的復雜的用戶-商品之間的交互轉換?？紤]到商品間的復雜的轉移關系，SR-GNN[3]模型提出用GNN的方法來提取用戶的短期興趣，性能相對以往的方法有較大提升。但只關注會話內的商品交互。隨之，GCE-GNN[4]模型被提出，構建局部會話圖獲取用戶基于會話的短期興趣，用所有序列構建的全局交互圖獲得用戶基于會話間的長期興趣，相較于單會話學習有較大提升，但對于全局圖和會話圖學習到的物品嵌入只是通過簡單的sum-pooling結合，忽視了兩者之間的強相關關系。南寧等人[14]用物品注意圖和協(xié)同關聯(lián)圖學習物品表征并使用雙層注意力獲取節(jié)點表征，獲得性能提升，但缺少圖表征之間的學習。也有將圖神經(jīng)網(wǎng)絡與傳統(tǒng)方法結合，如矩陣分解[15]，盡管取得一定效果，但對于會話間的學習不足。

2 模型結構

針對上述問題，本文引入交互注意力機制學習兩者之間的強相關關系，提出InterAtt-GNN模型，其整體流程如圖1所示。

該模型由以下幾個部分組成：商品表征學習層、交互注意力層、融合層、序列表征層和輸出層。

圖1 InterAtt-GNN算法整體圖

2.1 商品表征層

商品表征層包括會話商品表征學習模塊和全局商品表征學習模塊，會話商品表征學習模塊基于會話圖學習商品在當前會話圖中的表征，全局商品表征學習模塊首先根據(jù)當前商品在全部會話中交互商品構建商品的全局圖，從中學習商品基于全局圖的表征。

會話圖如圖1所示，對于所有的商品V={v1,v2,…,vn}，每個匿名會話序列定義為S={v1,v2,…,vm}，m為會話序列長度，通過擬合會話序列中鄰近的商品對構成會話圖，令SessionGraph=(Vs,Εs)，其中，Vs?V，是會話中的商品序列，Es={(vi,vj)|i,j∈{1,…,m}}是商品序列中商品之間邊的集合。構建的會話圖是有序無權有向圖，通過計算當前會話序列中每個商品對之間的內積和非線性轉換得到注意力權值αij，加權得到商品會話圖表征Li，具體步驟如式(1)所示。而全局圖則定義一個ε鄰域集合Nvi，包含在所有會話序列中與節(jié)點i距離小于ε的節(jié)點。將節(jié)點之間的共現(xiàn)次數(shù)作為兩兩節(jié)點之間的權重wij，并考慮到計算復雜度選取權重top-K的鄰居節(jié)點重構加權無向圖。為學習不同鄰居的具體作用，通過函數(shù)π(vi,vj)學習不同鄰居節(jié)點之間的權重，通過聚合函數(shù)agg聚合上一個hop的節(jié)點表示和鄰居節(jié)點表示得到當前hop的鄰居節(jié)點表示，通過兩次聚合得到最終鄰居節(jié)點表示。鄰居節(jié)點與節(jié)點表示拼接后通過激活函數(shù)prelu最終得到全局會話表征Gi。

在全局圖和有向圖的構造及各自的商品表征學習上，本文沿用GCE-GNN中的構造方法，分別用SessionGraphLearning和GlobalGraphLearning表示，如式(1)所示。

(1)

其中，i∈S(為表述方便，用i代替上文的vi)，hi∈d，d為表征維度。L={L1,L2,…,Lm}，L∈m×d，Li∈d表示基于會話圖學習到的商品表征集合，同理G={G1,G2,…,Gn}，G∈n×d,n表示數(shù)據(jù)集中商品的總數(shù)。

基于會話圖的學習SessionGraphLearning的展開如式(2)所示。

(2)

其中，f表示激活函數(shù)LeakyRelu，⊙表征點乘操作，aij表示邊的關系權重由模型訓練得到，hvi表示商品i的embedding表征?；谌謭D的學習GlobalGraphLearning的展開如式(3)所示。

(3)

q、Wg1和Wg2是訓練得到的超參數(shù)。hs是當前會話序列中商品的平均表示，代表當前會話表征。hNvi為節(jié)點vi的鄰居節(jié)點聚合表征，k取2。

2.2 交互注意力層

針對全局圖和會話圖的商品表征學習融合，在考慮到實際應用場景中全局圖和會話圖均存在相互指導的潛在影響，本文創(chuàng)新性提出交互注意力機制，通過全局圖和會話之間的交叉指導提取兩者關于當前會話的強相關信息。

對于全局商品表征學習層學習到的表征Gi和會話商品表征層學習到的表征Li，交叉注意力同時進行全局對會話的指導學習和會話對全局的指導學習，具體流程如圖2的交互注意力層所示。

全局圖對會話圖的指導學習方面，為強化兩者的強相關特征，弱化弱相關特征，本文采用點乘的方式進一步提取兩者相關的強相關信息。如式(4)所示。

(4)

考慮到模型的運行速度和減少模型計算的參數(shù)量，本文將商品i的會話表征和全局表征分別切分成li,1,li,2和gi,1,gi,2，li,1,li,2,gi,1,gi,2∈d/2。 類似于自注意力機制，商品的最終局部特征表征G2Latti可以通過全局圖和會話圖的強相關信息提取后的兩段會話表征d)和原始商品會話表征Li的線性組合得到。具體操作如式(5)所示。

其中，⊙表征點乘操作。同樣，會話圖指導全局圖的學習過程如式(6)所示，得到商品的最終全局特征表征L2Gatti。

(6)

2.3 融合層

通過2.2節(jié)可以得到: ①全局圖指導會話圖中商品i的會話圖表征提取G2Latti； ②會話圖指導全局圖中商品i的全局表征提取L2Gatti；對于這兩種表征結合，常用參數(shù)自適應的融合機制[16-17]來動態(tài)地為兩者分配權重，主要思想是在同一條數(shù)據(jù)下會話圖表征越重要，全局圖表征相應地越不重要，如式(7)所示。

圖2 交互注意力層和融合層展開圖

(7)

(8)

2.4 序列表征層

考慮到節(jié)點位置信息的重要性，本文在每個節(jié)點的表征序列中融入位置表征pm-i+1，并與表征序列拼接，通過注意力網(wǎng)絡層和改進參數(shù)自適應的商品表征加權融合得到最終的會話序列表征S，如式(11)所示。

(11)

2.5 輸出層

將2.4節(jié)得到的會話表征S和初始嵌入H通過Softmax層預測下一次交互的商品的概率值，如式(12)所示。

(12)

其中，H是初始嵌入矩陣

3 實驗與分析

3.1 數(shù)據(jù)集

在數(shù)據(jù)集上，本文選用IJCAI-15比賽的Tmall數(shù)據(jù)集，包含了2015年某段時間內的天貓在線購物平臺上匿名用戶的購物日志。實驗數(shù)據(jù)集描述如表1所示。

表1 實驗數(shù)據(jù)集

3.2 實驗設置

本文的實驗采用PyTorch框架開發(fā)，具體實驗環(huán)境設置如表2所示。

表2 實驗環(huán)境

3.3 參數(shù)設置

InterAtt-GNN模型的詳細參數(shù)設置如表3所示。

表3 實驗參數(shù)

3.4 實驗結果分析

3.4.1 評估指標

本文采用P@N和MRR@N指標用于評估比較模型。

P@N(準確率)常被用作預測準確性的衡量標準，代表預測前N項中被正確推薦的商品的比例，具體計算方法如式(14)所示。本文選擇廣泛使用的P@10和P@20衡量預測準確性。選取預測中前N個預測值作為候選集，其中rel(i)={0，1}為模型預測商品候選集中是否存在目標值，存在則取值1，n為樣本總數(shù)。

MRR@N(平均倒數(shù)排名)則是考慮推薦商品的排名順序的評價指標，用來衡量推薦算法得到的top-K商品集的優(yōu)劣。該評價指標于第一個正確推薦商品的順序有關，第一個正確推薦商品越靠前則評分越高，計算方法如式(15)所示。ki為用戶感興趣的商品在推薦列表中的排名。

3.4.2 基準算法

為驗證本文模型的有效性，分別選用具有代表性的9個基線模型作為對比實驗。

?POP：推薦訓練集中出現(xiàn)頻率top-N的物品。

?Item-KNN[18]：基于當前會話的物品和其他會話的商品之間的余弦相似性來推薦物品。

?FPMC[19]：是一種結合矩陣分解和馬爾科夫鏈的序列預測方法。

?GRU4Rec[7]：使用基于循環(huán)神經(jīng)網(wǎng)絡的方法為基于會話的推薦建模用戶序列。

?NARM[20]：使用具有注意力機制的循環(huán)神經(jīng)網(wǎng)絡方法來捕捉用戶的主要意圖和序列行為信息。

?SR-GNN[3]：通過構建會話圖并輸入門控機制增強的GNN層來獲得物品表征，從而計算物品關于會話級別的表征。

?CSRM[21]：利用記憶網(wǎng)絡來研究最新m個會話，來獲取當前會話的意圖。

?F-GNN[21]：通過構建加權注意力的圖神經(jīng)網(wǎng)絡來學習物品的嵌入表征。

?GCE-GNN[4]：通過引入全局圖來學習物品的相關表征，將其與基于會話圖學習的物品表征進行相加融合得到物品表征。

3.4.3 實驗結果

本文將InterAtt-GNN模型與其他基準模型在數(shù)據(jù)集Tmall上在準確率和MRR兩個指標上進行對比，實驗結果如表4所示，其中每一列的最佳評分均加粗顯示。

表4 實驗結果

從表4可以看出，在所有評分指標上，本文提出的模型InterAtt-GNN均具有最佳性能，充分證明了該模型的有效性和優(yōu)越性。在傳統(tǒng)基準模型的實驗中，POP算法的各項指標評分最高只有1.67%，都遠遠低于其他基準模型，因為POP僅僅推薦top-N候選集，并沒有進一步從候選集中進行篩選；而Item-KNN模型相較于POP準確率提升了4.98%～7.15%，但仍低于FRMR模型，這歸因于Item-KNN模型雖然從候選集中進一步篩選，但只考慮序列物品對之間的余弦相似性而忽略了會話序列中的時間順序；FRMC則應用一階馬爾科夫鏈來學習交互物品序列的時間依賴信息，性能相較于Item-KNN模型準確率提升大約6個百分點?？偨Y來看，傳統(tǒng)模型的實驗演進過程表明在會話序列中用戶與物品的交互行為順序的重要性。

神經(jīng)網(wǎng)絡應用在推薦系統(tǒng)領域的主要應用方法包括GRU4Rec模型，NARM模型和CSRM模型?？紤]到用戶物品交互順序的重要性，GRU4Rec模型將循環(huán)神經(jīng)網(wǎng)絡引入到推薦系統(tǒng)模型中，利用門控循環(huán)單元(GRU)模型來學習物品之間的長期依賴。在與傳統(tǒng)模型的比較中，GRU4Rec模型的評分指標雖然低于FRMC模型3～6個百分點，但FRMC模型相較于GRU4Rec模型引入矩陣分解對用戶的偏好進行分析； NARM模型提出在RNN的基礎上引入注意力機制，對用戶的意圖進行學習，準確率提升大約10個百分點；CSRM模型的實驗效果在神經(jīng)網(wǎng)絡模型中效果最佳，兩個指標可以分別達到29.46%和13.96%，比之其他模型，CSRM模型考慮到會話之間的影響，在當前會話的學習中引入其他會話的協(xié)作信息。

考慮到以往的傳統(tǒng)方法和基于神經(jīng)網(wǎng)絡的方法都只考慮到會話中物品對的交互順序而忽略物品之間的復雜轉換關系，現(xiàn)今熱門的推薦算法大多將圖神經(jīng)網(wǎng)絡應用到會話推薦系統(tǒng)領域。SR-GNN模型通過構建會話圖利用圖神經(jīng)網(wǎng)絡對會話中的物品表征進行學習，指標最高達到27.57%和10.39%；F-GNN模型則進一步引入加權圖注意力層對物品獲取圖中加權定向邊的信息；GCE-GNN模型添加對物品的全局圖表征學習，增強對跨會話中物品之間交互信息的學習。SR-GNN和F-GNN模型在性能上雖略低于CSRM模型，但相較于其他模型都有極大的提升，顯示出了圖神經(jīng)網(wǎng)絡在推薦領域的優(yōu)越性。GCE-GNN模型同時考慮會話內和會話間的物品的表征學習，準確率和MRR指標均到基線模型中的最優(yōu)效果32.49%和15.21%，在模型效果上明顯優(yōu)于其他所有基準模型。受到CSRM模型和GCE-GNN模型關于其他會話商品之間的協(xié)作信息的考慮和NARM模型對注意力機制的引入，本文提出的模型同時考慮兩種注意力機制：全局對會話的注意力學習和會話對全局的注意力學習。如此，既引入注意力機制，又考慮到會話級別的商品依賴信息的學習，模型的效果達到目前最優(yōu)值，相較于GCE-GNN在準確率和MRR指標上最高可提升3%和0.5%。

3.4.4 消融實驗

在這一節(jié)，本文通過對會話圖和全局圖學習到的物品表征進行分析并設計消融實驗來驗證交互注意力和參數(shù)自適應的有效性。

其中，表5分析會話圖和全局圖學習到表征及已有熱門的結合方式的效果；表6則設計消融實驗對本文模型進行分析：G2L、L2G、G2L+L2G(Interactive Attention)、G2L+L2G+PS(Interactive Attention + Parameter Self-adaptation)，其中G代表全局圖，L表征會話圖，L2G表征會話圖指導全局圖學習，G2L表征全局圖指導會話圖學習，SP表示Sum-pooling，PS表征參數(shù)自適應，PSI表示改進的參數(shù)自適應。

表5 模型分析結果

表6 消融實驗結果

從上表可以看出，只使用全局圖對物品的表征學習得到的預測效果遠遠低于只使用會話圖對商品表征學習的效果，這是因為商品在會話圖中的表征學習更貼近用戶的當前意圖。為了更好地將兩者結合，嘗試Sum-pooling、參數(shù)自適應、改進參數(shù)自適應方法，可以看出改進參數(shù)自適應相對于原有的參數(shù)自適應算法確有提升。從整體可以看出其性能不如只有會話圖的商品表征學習，這顯示只是利用已有的融合方法對兩者組合效果反而降低，說明在組合的過程中存在著信息的丟失或信息的冗余，鑒于該問題，本文再引入交互注意力機制對兩者之間的強相關信息進行學習。

對模型進行消融實驗發(fā)現(xiàn)，全局圖對會話圖的指導學習和會話圖對全局圖的指導學習具有同樣的效力，這顯示了以往忽視的會話圖對全局圖的指導學習的重要性和以往參數(shù)自適應的權重學習缺陷。此外，同時考慮兩者模型的性能可以進一步提升，這證明了本文提出的交互注意力機制確實在提取強相關信息上具有有效性。而通過引入改進參數(shù)自適應對學習到的兩個表征加權融合之后，實驗評分指標相對提高，這顯示了全局圖和會話圖學習到的物品表征信息存在差異，通過改進的參數(shù)自適應策略可以更好地將兩者結合。

4 結論與展望

本文提出了一種融合交互注意力機制和參數(shù)自適應策略的基于圖神經(jīng)網(wǎng)絡的會話推薦算法InterAtt-GNN，該算法通過引入交互注意力機制對全局圖和會話圖學習到的物品表征進行強相關信息提取，并利用改進參數(shù)自適應策略對兩者加權融合以得到最終的物品表征用于預測推薦。在Tmall數(shù)據(jù)集上的實驗結果表明了InterAtt-GNN的有效性；此外，本文提出的InterAtt-GNN模型在關于全局圖和會話圖的物品表征融合學習時只嘗試了改進的參數(shù)自適應策略，并且關于會話圖和局部圖的學習未詳細展開研究，未來需要進一步擴展研究。