基于會話推薦的動態(tài)層次意圖建模①

張夢菲 郭 誠 潘 茂 金佳琪 辛增衛(wèi) 方金云 陳樹肖

(*中國科學(xué)院計算技術(shù)研究所 北京100190）

(**中國科學(xué)院大學(xué) 北京100190）

(***國防大學(xué)聯(lián)合作戰(zhàn)學(xué)院 石家莊050084）

0 引言

基于深度學(xué)習(xí)的推薦系統(tǒng)已經(jīng)成為學(xué)術(shù)界的研究熱點[1],并在工業(yè)界的新聞[2]、視頻[3]、廣告[4]、興趣點推薦[5]等多個領(lǐng)域普遍應(yīng)用。作為推薦系統(tǒng)領(lǐng)域的一個重要分支,基于會話的推薦系統(tǒng)(session-based recommender systems,SRS)專注于解決如何根據(jù)當(dāng)前匿名會話中有限的用戶行為數(shù)據(jù)來預(yù)測用戶下一次可能點擊的物品(item,項)的問題。SRS 可以用在各大公司平臺中為未登錄用戶或新用戶提供推薦服務(wù)的場景中,具有重要的現(xiàn)實意義。

由于用戶會話中只包含短時間內(nèi)用戶的點擊行為信息,缺少歷史交互數(shù)據(jù)以及用戶側(cè)的特征,以往的SRS 工作主要將按時間排序的物品序列作為研究對象。這些工作主要建模了會話中可能影響推薦性能的以下因素:(1)會話的序列模式[6-7];(2)物品之間的復(fù)雜轉(zhuǎn)移性[8-9];(3)局部/全局興趣[10-11];(4)協(xié)同會話信息[12-13]?？偨Y(jié)這些方法,均是通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)得到物品的嵌入向量表示(也稱embedding 表示)和會話的單個興趣向量表示。這些方法本質(zhì)上都只是沿著圖的邊或在序列的時間軸上傳播信息,稱之為扁平化SRS 模型。扁平化模型傾向于推薦與歷史物品有相似細(xì)節(jié)的物品,而忽略了會話中隱含的高層次意圖信息。例如用戶點擊3個某品牌的電腦,再點擊2 個鍵盤?，F(xiàn)有模型根據(jù)長期興趣和當(dāng)前興趣可能推薦其他相似的電腦或鍵盤,然而實際上,點擊序列中組合物品的共性可以抽取出更一般性的意圖(電腦和電腦配件),從而為用戶推薦出更高層次意圖下的其他品牌電腦、鼠標(biāo)、轉(zhuǎn)接頭等物品。

本文認(rèn)為用戶的興趣具有層次性[14]以及動態(tài)性特點,據(jù)此可以提高SRS 任務(wù)的推薦準(zhǔn)確率。在一個真實點擊序列中,用戶通常帶著一個較為寬泛的意圖去點擊不同風(fēng)格的具體物品。自下而上、由細(xì)粒度到粗粒度的建模這種層次化意圖能在模型不同層匹配不同粒度意圖的物品,增加推薦的覆蓋面以及多樣性。然而以往的扁平化方法局限于推薦出最細(xì)粒度意圖中細(xì)節(jié)相似的物品,無法解決因用戶的下一次點擊落入更寬泛的意圖時造成的錯誤推薦問題。其次,層次化意圖是非常普遍的現(xiàn)象,現(xiàn)實場景中不僅有類目-子類目的顯式層次性結(jié)構(gòu),還存在隱式的層次關(guān)系(比如相似的風(fēng)格、物品之間的隱性關(guān)聯(lián)等)。最后,不同用戶的行為是多種多樣的,每個用戶的興趣也是動態(tài)變化的,基于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的方法用靜態(tài)的卷積核對所有會話的物品生成固定的卷積核參數(shù),難以捕獲不同用戶動態(tài)演化的興趣。

為了解決以上兩個問題,本文提出一種基于動態(tài)層次意圖建模的SRS 算法(dynamic hierarchical intent network,DHIN)。該算法自下而上動態(tài)學(xué)習(xí)序列中物品的共性,捕獲不同粒度的用戶意圖。具體地,用動態(tài)卷積(dynamic convolution,DyConv)自適應(yīng)地針對不同的輸入動態(tài)使用卷積核來提取多尺度上下文窗口內(nèi)的物品特征,而非以往用固定卷積參數(shù)處理所有輸入的方式。為了形成由細(xì)到粗粒度的多層次意圖表達,提出一個興趣聚集門(interest cluster gate,ICG)來衡量卷積窗口內(nèi)物品興趣點的強弱,并將ICG 與動態(tài)卷積抽取的特征融合得到特定粒度的意圖,由下自上傳遞。最后利用一個意圖聚合模塊輸出包含多層次意圖的會話表示用于生成推薦結(jié)果。與扁平化模型相比,層次化模型打破了平面化的用戶興趣建模方式。此外,為了約束意圖的層次性,設(shè)計了一個新的上下位意圖損失函數(shù)用于模型訓(xùn)練。本文的主要貢獻總結(jié)為以下3 點。

(1)提出一種SRS 任務(wù)中層次性意圖建模和動態(tài)會話學(xué)習(xí)框架,緩解了SRS 模型意圖粒度單一的問題,提高了會話的表達和預(yù)測能力。

(2)提出一個自動學(xué)習(xí)點擊子序列的興趣強弱判斷門ICG,同時融合ICG 與動態(tài)卷積模塊提取的物品共有特征得到用戶的層次性意圖表達。

(3)提出基于動態(tài)層次意圖建模的SRS 算法DHIN。在3 個真實數(shù)據(jù)集上的實驗結(jié)果表明,DHIN 模型不僅在準(zhǔn)確率上超過現(xiàn)有的工作,還在多樣性指標(biāo)和運行效率上表現(xiàn)優(yōu)異。

1 相關(guān)工作

本節(jié)詳細(xì)闡述與本文工作相關(guān)的歷史工作,包括傳統(tǒng)的方法以及基于深度學(xué)習(xí)的推薦算法。

1.1 傳統(tǒng)的會話推薦方法

基于物品的推薦方法[15]是一個經(jīng)典的推薦系統(tǒng)解決方案,它通過計算物品間的相似性來為用戶推薦。Session-KNN[16]擴展了該模型,通過計算整個會話與其他會話的共現(xiàn)相似度來推薦。這兩種方法都忽略了會話的序列行為信息。最近的傳統(tǒng)方法基于時間序列和鄰域感知的會話推薦(sequence and time aware neighborhood for session-based remommendation,STAN)[17]整合序列和時序信息到近鄰?fù)扑]模型中,取得了顯著的進展。除了以上基于近鄰的方法,還有一類方法基于馬爾可夫鏈,根據(jù)用戶的當(dāng)前動作預(yù)測用戶的下一個行為。例如,基于因式分解個性化馬爾可夫的下一個購物籃推薦(factorizing personalized Markov chains for next-basket recommendation,FPMC)[18]提出融合馬爾科夫鏈和矩陣分解技術(shù)來捕獲序列行為和用戶的一般興趣,比只考慮一般偏好的方法獲得了更好的性能。

1.2 基于深度學(xué)習(xí)的會話推薦方法

傳統(tǒng)的會話推薦方法無法充分識別序列信號和探索豐富的輔助信息。近年來,深度學(xué)習(xí)在推薦領(lǐng)域取得了巨大的成功。基于深度學(xué)習(xí)的會話推薦方法主要包括探索序列模式、局部/全局興趣、物品之間復(fù)雜轉(zhuǎn)換關(guān)系和協(xié)作信號等4 類方法。

近年來,基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)的方法因其具有建模序列的能力而備受關(guān)注。RNN 推薦模型主要研究用戶按順序點擊的物品之間的不斷演化。文獻GRU4Rec[6]提出將門控循環(huán)網(wǎng)絡(luò)(gate recurrent unit,GRU)用于SRS 任務(wù)上,該方法首先將物品映射為低維稠密的向量,再將序列輸入到GRU 中來學(xué)習(xí)用戶興趣隨時間演進的過程?；谠摴ぷ?RNN+[7]提出4 種優(yōu)化策略,其中數(shù)據(jù)增廣策略對后續(xù)工作有深遠(yuǎn)的影響?；谏窠?jīng)注意力的會話推薦(neural attentive session-based recommendation,NARM)[10]提出將注意力機制融入到GRU 模型中來計算每個物品的重要程度,從而得到用戶的主要意圖。

文獻[11]提出用多層感知機(multilayer perceptron,MLP)來捕獲用戶的全局偏好,最后一個物品表示為用戶的當(dāng)前興趣。該思想啟發(fā)了后續(xù)方法[8,10,12]將會話表示分為局部和全局表示,比如局部表示用經(jīng)過神經(jīng)網(wǎng)絡(luò)編碼的最后一個時刻物品的隱狀態(tài)表示,全局表示則通過整個序列來表達。

近期,圖神經(jīng)網(wǎng)絡(luò)(graph neural networks,GNN)受到了推薦系統(tǒng)領(lǐng)域研究人員的廣泛關(guān)注。文獻[8]創(chuàng)新性地將會話序列看成一個圖結(jié)構(gòu),并用圖表示算法來學(xué)習(xí)物品之間的復(fù)雜轉(zhuǎn)移關(guān)系,取得一定進展。文獻[9]通過保持圖中邊的順序和增加圖的快捷連接來處理損失編碼問題和無效的長依賴捕獲問題。傳統(tǒng)基于鄰域的推薦方法性能不佳,但與神經(jīng)網(wǎng)絡(luò)相結(jié)合,仍然可以提供有競爭力的結(jié)果。文獻[12]利用協(xié)作信息中鄰域會話的表示來更好地預(yù)測當(dāng)前會話的意圖。

1.3 基于多興趣的會話推薦方法

另外一個與本文工作相關(guān)的是多興趣推薦方法。與多層次意圖推薦方法不同,該方法用于解決以往單興趣模型無法充分表達用戶不同興趣的問題。文獻[19](MCPRN 模型)認(rèn)為每個會話由多個物品子集組成,并通過意圖路由網(wǎng)絡(luò)將每個物品分配到特定的RNN 通道中。文獻[20](HLN 模型)則提出一個興趣跳躍網(wǎng)絡(luò)自動跳過不相關(guān)的物品,從而實現(xiàn)學(xué)習(xí)出不同物品子集的目的。

與多興趣建模方法不同,這些方法將多個興趣以扁平的方式依次拆分到多個通道中。然而,本文方法通過逐步發(fā)現(xiàn)用戶點擊行為之間的共性,對用戶的多粒度興趣進行分層建模,從而確保用戶表示的準(zhǔn)確性。

2 問題定義

定義I={i1,i2,…,iN} 表示SRS 中無重復(fù)的所有物品集合,稱為物品字典(item dictionary,ID),其中N是物品的總數(shù)量。S=＜s1,s2,…,s|S| ＞是所有的會話數(shù)據(jù),對于一個長度為n的匿名點擊會話si,按照時間排序之后,點擊序列表示為si=[x1,x2,…,xt,…,xn],其中xt∈I指用戶在t時刻點擊的物品ID。本文的目標(biāo)是構(gòu)建一個模型并輸出I中每個候選物品被用戶在下一時刻點擊的概率^y,最終將前K個預(yù)測分值對應(yīng)的物品推薦給用戶。通過比較^y與真實標(biāo)簽值xn+1來評估推薦系統(tǒng)的性能。

3 模型

3.1 模型總體架構(gòu)

圖1 給出了基于動態(tài)層次意圖建模方法的會話推薦模型DHIN 整體框架。該方法能夠自適應(yīng)地建模每個用戶的層次性意圖表示。DHIN 包括多層網(wǎng)絡(luò)結(jié)構(gòu),每層輸出一種特定粒度的意圖表示,自下而上,意圖逐漸泛化。為了約束各層之間形成上下位關(guān)系的意圖表示,另外設(shè)計了上下位約束損失函數(shù)。具體地,每層網(wǎng)絡(luò)主要包含以下2 個模塊。(1)動態(tài)卷積模塊。該模塊為了解決傳統(tǒng)卷積操作對一次輸入網(wǎng)絡(luò)的多組會話使用相同卷積核參數(shù),無法捕捉不同用戶動態(tài)興趣的問題,用動態(tài)卷積策略自適應(yīng)地為會話生成不同的卷積核參數(shù)來提取當(dāng)前層物品反映的興趣特征。(2)興趣聚集門ICG 模塊。該模塊能夠識別當(dāng)前卷積窗口內(nèi)物品之間共性的強弱程度。二者點乘融合得到當(dāng)前層具有共性的用戶意圖表示,并傳遞到上層。上層的感受野更廣,更大窗口尺度的全局信息被考慮進來,能夠捕獲粒度更粗、更加寬泛的意圖。最后模型通過聚合模塊得到包含多粒度意圖的會話表示,并生成推薦物品列表。

圖1 基于動態(tài)層次意圖建模方法的整體框架

3.2 嵌入表示層

由于原始物品ID 的表示能力非常有限,模型利用嵌入矩陣E∈Rd×N,將物品ID 轉(zhuǎn)化為低維稠密向量。其中,d是向量的維度。首先將物品i(i∈I)編碼為一個one-hot 向量(第i個值為1,其他值為0),然后物品i的嵌入向量表示為xi∈Rd。經(jīng)過嵌入層的轉(zhuǎn)換,輸入表示為X=[x1,x2,…,xt,…,xn]。嵌入層的參數(shù)通過端到端訓(xùn)練的方式與模型其他層的參數(shù)一起學(xué)習(xí)。

3.3 動態(tài)多粒度會話意圖提取

模型旨在識別每層會話中物品之間的共性特征,形成特定粒度的意圖,同時每層都在前一層傳遞的序列基礎(chǔ)上進行更粗粒度的意圖建模。這種結(jié)構(gòu)可以通過在捕捉層級結(jié)構(gòu)信息上有天然優(yōu)勢的卷積神經(jīng)網(wǎng)絡(luò)來建模:在越來越廣的上下文中提取層次化和更抽象的特征[21]。具體到每一層,模型均包含一個動態(tài)卷積運算和滑動窗口內(nèi)的興趣聚集門。動態(tài)卷積的優(yōu)勢在于為每個用戶會話生成特定的卷積核,比如,對于兩個意圖分別是電子產(chǎn)品和衣服的會話,常規(guī)卷積方法使用相同的參數(shù)提取特征,而實際上,對不同的數(shù)據(jù),特征的提取模式不同,動態(tài)卷積會針對不同序列使用不同的參數(shù),從而真正實現(xiàn)個性化建模。具體實現(xiàn)上,受文獻[22]啟發(fā),動態(tài)卷積使用一個注意力網(wǎng)絡(luò)(attention network,Atten-Net)動態(tài)集成M個并行的卷積核為一個卷積核,生成只與當(dāng)前輸入Xl-1有關(guān)的卷積核,即:

同理,偏置同樣通過線性聚合得到:

其中Watt1和Watt2分別是兩個卷積核大小為1 的一維卷積,Watt1的輸入輸出維度為d,Watt2的輸入維度為d,輸出為M,batt1是可學(xué)習(xí)的偏置參數(shù),*是卷積操作。經(jīng)過兩層網(wǎng)絡(luò)之后得到矩陣A,A∈Rn×M。Pooling 操作將長度為n的序列A聚合為1,這里Pooling 是指平均池化或自適應(yīng)平均池化等操作。最終經(jīng)過式(5)的softmax 操作之后,算法生成

M個并行卷積核和偏置的注意力權(quán)重,共享該注意力權(quán)重。

接下來,使用該注意力網(wǎng)絡(luò)生成的動態(tài)卷積核提取當(dāng)前層候選意圖表示:

其中,g 是激活函數(shù)(比如tahn、ReLU 等),*是卷積操作,是第l層經(jīng)過意圖特征提取的n個向量表示。分別是式(1)和式(2)中的一維動態(tài)卷積核和動態(tài)偏置,卷積核大小為k。Xl-1是上一層傳遞來的序列意圖表示(起始第一層為輸入層的物品序列)。為防止模型在t時刻看到未來的數(shù)據(jù),以及保證輸入輸出長度均為n,每層輸入都有一個k -1 大小的左側(cè)補零操作。

以上動態(tài)卷積模塊提取每層的用戶興趣特征之后,還需要ICG 模塊將與當(dāng)前層總體意圖無關(guān)的特征過濾掉。ICG 控制了動態(tài)卷積模塊每個卷積滑動窗口內(nèi)抽取的多少特征傳遞到上層,過濾之后,物品的重要共性特征形成該層的通用意圖表示。ICG 可以衡量窗口內(nèi)物品間的關(guān)聯(lián)性,如果各物品反映了用戶相同的興趣,那么物品的embedding 表示在向量空間中比較聚集,物品的共性比較強;反之,當(dāng)物品組所表達的用戶興趣發(fā)生遷移時,物品之間共性比較弱,向量空間則比較離散。通過計算窗口內(nèi)物品之間的相似度,得到一個k × k的大小相似度矩陣,并對矩陣的所有值取平均來表示該物品組的向量聚集程度。最后通過sigmoid 函數(shù)將其映射到0～1 區(qū)間得到該窗口的興趣共性度。具體地,第t個卷積窗口內(nèi)的共性度大小為

其中Kt∈Rk×d,Qt∈Rk×d是經(jīng)過兩個線性矩陣轉(zhuǎn)換到興趣空間的輸入,Mt∈Rk×k是窗口內(nèi)兩兩物品的相似度值矩陣。最后,ICG 與動態(tài)卷積抽取的特征通過點乘操作得到該層物品去除細(xì)節(jié)保留共性的粗粒度表示:

為了在每一層中生成一個聚合的意圖表示,通過為每個物品表示分配不同的重要性,執(zhí)行一個自注意力池化操作來聚合特定尺度的意圖信息。第l層的注意力分?jǐn)?shù)和意圖表征定義如下:

其中q∈Rd,batt2∈Rd是學(xué)習(xí)參數(shù),Watt3∈Rd×d是權(quán)重系數(shù),Xl,t∈Rd是第l層t時刻的物品表示。

3.4 多意圖聚合

最后,將多層意圖向量融合,使得最后的意圖表示包含多個粒度的用戶興趣,聚合方式定義如下:

其中Agg 是聚合函數(shù),有多種實現(xiàn),本文采用求和方式,并在4.7 節(jié)驗證不同聚合函數(shù)的性能對比。

最后將意圖表示輸入到兩層前饋神經(jīng)網(wǎng)絡(luò)(feed forward network,FFN)中以投影到高維空間。在高維空間中,興趣表示向量的不同特征更容易區(qū)分,具體的FFN 操作為

其中LN 是歸一化LayerNorm 操作,MLP 是兩層全連接層。最后生成融合多種粒度意圖的聚合表示用于模型的推薦。算法1 給出了基于動態(tài)層次意圖建模的算法偽代碼。

3.5 模型預(yù)測

根據(jù)每個會話的意圖表示vs,為每個候選物品xi∈I生成一個意圖匹配得分,并用softmax 函數(shù)將得分轉(zhuǎn)化成推薦每個候選物品的概率:

其中∈RN代表了所有物品的推薦概率值,本文通過優(yōu)化概率最大的物品與實際下一個點擊(也稱為ground-truth)的交叉熵來訓(xùn)練模型。

另外,模型增加一個上下位損失函數(shù)用于優(yōu)化上下層之間的關(guān)系。具體地,引入一個d ×d大小的矩陣Wtrans,來優(yōu)化Wtransvl-1和vl的距離。為了保證上層意圖包含下層意圖,使每個會話的多個表示從上到下是由粗到細(xì)的上下位關(guān)系。最優(yōu)情況下有一個矩陣可以使得Wtransvl-1=vl,即下位意圖表示通過轉(zhuǎn)換得到更粗粒度的上位意圖表示,故通過盡量縮小二者的距離,可以讓模型學(xué)到的用戶多層意圖之間具有上下位關(guān)系。具體模型損失函數(shù)為

其中yi表示真實標(biāo)簽物品的one-hot 向量。

4 實驗與結(jié)果分析

在本節(jié)中,在3 個數(shù)據(jù)集(Taobao、Yiwugo 和Diginetica)上進行詳細(xì)的評估實驗,并給出相關(guān)分析。

4.1 實驗數(shù)據(jù)集

Taobao 和Diginetica 分別是CIKMCup 2016 和Alibaba 提供的2 個關(guān)于電子商務(wù)平臺中零售用戶點擊行為的公開數(shù)據(jù)集。Yiwugo 是中國義烏小商品市場官方網(wǎng)站提供的關(guān)于批發(fā)用戶點擊行為的私有數(shù)據(jù)集。經(jīng)過預(yù)處理,3 個數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)如表1 所示?？梢钥闯?Taobao 和Yiwugo 數(shù)據(jù)集包含比Diginetica 更多的類目,用戶在會話中的興趣更廣泛,行為更復(fù)雜,而Diginetica 數(shù)據(jù)集中用戶意圖更集中。

表1 3 個數(shù)據(jù)集的統(tǒng)計情況

算法根據(jù)時間戳對每個會話中的物品進行排序。對Taobao 和Yiwugo 數(shù)據(jù)集,兩個會話的時間間隔為20 min,并且控制每個會話的長度小于50。預(yù)處理操作過濾掉長度為1 的會話,并將Taobao、Yiwugo 和Diginetica 數(shù)據(jù)集中出現(xiàn)次數(shù)分別小于5、20、20 次的物品剔除。對Diginetica 數(shù)據(jù)集,將最后7 天的數(shù)據(jù)作為測試集,對Taobao 和Yiwugo 2 個數(shù)據(jù)集,將前27 天的數(shù)據(jù)作為訓(xùn)練集,后3 天的數(shù)據(jù)作為測試集。過濾掉測試集中未出現(xiàn)在訓(xùn)練集中的物品,對每個會話做數(shù)據(jù)增強處理,即對長度為n的會話序列生成n -1 條測試數(shù)據(jù)。比如在序列X=[x1,x2,…,xn]中,分別生成輸入和標(biāo)簽:([x1],x2),([x1,x2],x3),…,([x1,x2,…,xn-1],xn),其中[x1,x2,…,xn-1]是輸入,xn表示標(biāo)簽。

4.2 對比模型

為了驗證模型的性能,本文將DHIN 與以下基線模型進行對比分析。

(1)S-POP :該方法直接推薦當(dāng)前會話中熱度最高的前K個物品。

(2)Item-KNN[15]:推薦與會話中最后一個物品相似的物品,相似度用兩個物品向量的余弦距離來衡量。

(3)GRU4Rec[6]:該模型將序列輸入到GRU中,為了提高訓(xùn)練效率,將不同的會話拼接起來,并用小批量樣本進行學(xué)習(xí)。

(4)NextitNet[23]:將一維空洞卷積網(wǎng)絡(luò)用于會話推薦,能在不增加參數(shù)的情況下更高效率地捕捉物品之間的長依賴。

(5)NARM[10]:該模型在GRU 網(wǎng)絡(luò)中引入注意力機制,通過計算不同時刻隱狀態(tài)的重要程度來衡量用戶在當(dāng)前會話的主要目的,同時結(jié)合GRU 建模序列行為進行推薦。

(6)SR-GNN[8]:該模型提出將會話數(shù)據(jù)構(gòu)建為圖結(jié)構(gòu),并利用圖神經(jīng)網(wǎng)絡(luò)方法來更新物品的嵌入表示,捕獲物品之間的復(fù)雜轉(zhuǎn)移關(guān)系。最后融合會話圖的表示和最后一個物品的表示進行推薦。

(7)LESSR[9]:為了解決圖表示學(xué)習(xí)中的過平滑問題,該模型通過保留邊的順序以及添加必要的邊連接,解決了以往基于圖嵌入學(xué)習(xí)會話推薦中的損失編碼和無效的長依賴問題。

(8)MCPRN[19]:該模型是一種多興趣推薦方法,通過將不同的物品路由到預(yù)先設(shè)定的不同通道中,將每個通道視為一種用戶興趣,并把每個通道的物品輸入到一個RNN 中來建模用戶的興趣表示。

(9)HLN[20]:不同于MCPRN 的多興趣學(xué)習(xí)方法,該模型能自動將會話序列分成多組,并且每組子序列盡量保持與其他子序列的興趣不同,從而使推薦的物品同時包含多種興趣。

4.3 評價指標(biāo)

在準(zhǔn)確性方面,本文用經(jīng)典的Recall@K(召回)和MRR@K(mean reciprocal rank,平均倒數(shù)排名)來評估模型,這兩個指標(biāo)在以往的工作中被大量應(yīng)用。Recall@K是推薦列表的前K個物品中實際被點擊的數(shù)量占所有標(biāo)簽數(shù)量的比例:

其中nhit是前K個物品中成功命中的物品數(shù)量,nlabel是測試集中的標(biāo)簽數(shù)量。MRR@K衡量推薦系統(tǒng)的排序性能,表示成功命中的物品在列表中的位置越靠前,該物品對推薦效果的貢獻越大。計算方法如下:

其中Q是所有會話的數(shù)量,Rank是推薦列表中第一個出現(xiàn)在測試集中物品的位置。

在多樣性評價方面,用推薦物品列表中物品類別分布的熵來度量多樣性:

其中Pri是物品i所屬類別的概率,通過計算該類別在數(shù)據(jù)集中的頻率來得到。本文使用K=20 來報告表2 中的準(zhǔn)確度評估結(jié)果,并使用K=10 以及K=20 來匯報圖2 中的多樣性評估結(jié)果。

4.4 實驗設(shè)置

所有基線模型的參數(shù)和初始化策略與其論文中的表述一致,并在本文處理的數(shù)據(jù)集中進行模型優(yōu)化。在DHIN 中,使用Adam 優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.001,每3 輪訓(xùn)練后學(xué)習(xí)率衰減0.1。此外,批大小為100,物品embedding 維度大小d設(shè)置為100。其他超參數(shù)通過驗證集來選擇,驗證集是從訓(xùn)練集中選取10%大小的數(shù)據(jù)。在DyConv 模塊通道數(shù)設(shè)為100,卷積核大小k=3,注意力網(wǎng)絡(luò)AttenNet的并行卷積核數(shù)量M設(shè)為2。卷積網(wǎng)絡(luò)層數(shù)L對3個數(shù)據(jù)集分別設(shè)置為4、4、3。式(12)的Dropout 率設(shè)為0.3。MLP 網(wǎng)絡(luò)大小為[100,200,100]。損失函數(shù)中的λ設(shè)為0.5,本文對模型進行3 次訓(xùn)練,并給出了3 次平均準(zhǔn)確性和平均多樣性結(jié)果。

4.5 與現(xiàn)有算法對比

表2 記錄了DHIN 和其他基線方法在3 個數(shù)據(jù)集上的詳細(xì)性能比較,最好的結(jié)果用黑體字突出顯示,當(dāng)前基線中的最好結(jié)果用下劃線突出顯示?？梢缘贸鲆韵陆Y(jié)論。

表2 DHIN 方法在3 個數(shù)據(jù)集上與基準(zhǔn)方法的對比實驗結(jié)果

(1)本文提出的DHIN 模型在所有數(shù)據(jù)集上均優(yōu)于現(xiàn)有的SRS 方法。在Recall@20 評測指標(biāo)上,DHIN 相比最優(yōu)基線模型在Taobao、Yiwugo、Diginetica 3 個數(shù)據(jù)集上分別提高了12.17%、6.38% 和4.95%。在MRR@20 指標(biāo)上相對最優(yōu)基線方法分別改善了6.75%、2.67%和6.12%。本文認(rèn)為DHIN模型受益于兩個方面的特點:1)層次意圖的挖掘有利于命中用戶在不同興趣范圍的意向點擊行為。本文抓住了用戶短時間內(nèi)瀏覽網(wǎng)站時通常有一定目的的行為特點,為SRS 任務(wù)提供一種層次角度建模用戶行為的新思路。2)本文有效建模了不同用戶興趣動態(tài)變化的點擊行為,動態(tài)卷積模塊的設(shè)計解決了以往CNN 模型(NextitNet)中固定卷積核捕捉用戶靜態(tài)偏好的劣勢。與DHIN 比較,現(xiàn)有的工作忽略了以上兩點重要因素,在召回和排序指標(biāo)上表現(xiàn)均差于本文方法。綜上所述,在3 個數(shù)據(jù)集上的實驗結(jié)果表明了本文DHIN 模型的有效性。

(2)基于神經(jīng)網(wǎng)絡(luò)的方法在大多數(shù)情況下都優(yōu)于傳統(tǒng)方法,但在意圖會話豐富的數(shù)據(jù)集上仍有改進空間。基于RNN 的方法(GRU4Rec、NARM)證明了RNN 在序列行為建模中的有效性。GRU4Rec 對會話進行編碼,忽略了噪聲項,這啟發(fā)了后來的NARM 將注意力機制融入到RNN 中,取得了更好的效果。然而基于圖神經(jīng)網(wǎng)絡(luò)的方法(SR-GNN、LESSR)由于其捕捉物品復(fù)雜轉(zhuǎn)移關(guān)系的優(yōu)勢,性能整體上超過了RNN 模型。此外這些模型都沒有充分發(fā)揮層次建模的優(yōu)勢?；诙嗯d趣的模型MCPRN 和HLN 在基線中表現(xiàn)良好,特別是在Taobao 和Yiwugo 數(shù)據(jù)集中,這與現(xiàn)實世界中用戶行為復(fù)雜多變的情況是一致的。本質(zhì)上,MCPRN 和HLN 都將序列中的不同物品分配到不同RNN 中,并受益于為用戶區(qū)分不同的意圖,卻忽略了在一個簡短的會話中多個意圖可能存在隱含相關(guān)性。

4.6 層次意圖學(xué)習(xí)的必要性

為了驗證層次意圖學(xué)習(xí)的必要性,本文對比了DHIN-1 和標(biāo)準(zhǔn)DHIN 方法在Taobao 和Diginetica 數(shù)據(jù)集上的實驗結(jié)果,如表3 所示。

表3 層次意圖學(xué)習(xí)的影響

其中DHIN-1 是將模型中層數(shù)設(shè)為1,其他參數(shù)不變,即只用動態(tài)卷積模塊與ICG 門提取一次用戶點擊序列中的意圖。可以看出模型性能下降明顯,這表明單層意圖建模不足以捕捉用戶復(fù)雜的意圖和興趣,建模用戶多層次意圖表達有必要性。另外,DHIN-1 整體上仍然優(yōu)于大部分現(xiàn)有的SRS 方法,這是因為本文提出的動態(tài)卷積模塊和興趣聚集門能夠有效區(qū)分哪些物品反映了用戶相同的興趣,哪些物品是用戶跨興趣點擊的,并提取了對下一次點擊預(yù)測更有用的物品特征。因此,使用完整包含多層意圖學(xué)習(xí)的模型具有更好的推薦性能。

4.7 關(guān)鍵模塊對模型性能的影響

為了進一步探索模型中不同模塊對性能的影響,本文設(shè)計了拆分各個模塊的消融實驗,結(jié)果如表4所示。其中:(1)DHIN 是標(biāo)準(zhǔn)模型;(2)DHIND 是指在相同條件下模型移除動態(tài)卷積模塊,并用標(biāo)準(zhǔn)靜態(tài)卷積核代替;(3)DHIN-G 是DHIN 在每一層去除ICG 模塊,只用動態(tài)卷積核來抽取物品的特征。表5則是分析上下位約束損失對模型的影響,其中L-Rec 表示只用交叉熵?fù)p失訓(xùn)練模型,L-Rec +L-hier 則是交叉熵?fù)p失與層次約束損失組合,即DHIN 模型。

從表4 和表5 結(jié)果中可以看出,DHIN 在復(fù)雜和簡單場景下的兩個數(shù)據(jù)集上均優(yōu)于3 個變體,DHIN-G 性能相較于其他模型性能下降最明顯,其次是DHIN-D,最后是L-Rec?？梢耘袛喑鰧δＰ陀绊懶阅茏畲蟮姆謩e是興趣聚集門、動態(tài)卷積以及上下位約束損失。同時三者對模型均具有較大的重要性,需要3 個模塊組合才能發(fā)揮出最大的優(yōu)勢,保證用戶動態(tài)層次意圖表示的準(zhǔn)確性。

表4 不同模塊對模型性能的影響

表5 層次約束損失對模型性能的影響

在多層次意圖學(xué)習(xí)完成之后,如何聚合同樣重要。本文對式(11)中的聚合函數(shù)進行分析,比較了取最上層(Last)、自注意力聚合(Att)、當(dāng)前興趣相關(guān)的注意力聚合(Att-GRU)以及默認(rèn)求和(DHIN)4種多意圖聚合方式,效果對比如圖2 所示。

圖2 中Att-GRU 是先將原始序列輸入到GRU中編碼,用最后時刻的向量表示與多層意圖做注意力計算,保證融合的意圖既有多粒度意圖又與用戶當(dāng)前興趣有關(guān)?？梢钥闯?總體上Att-GRU 和DHIN效果相近,由于Att-GRU 考慮了當(dāng)前興趣,在排序指標(biāo)上更優(yōu)。另外,Last 方式效果最差,這是因為只選取最上一層的寬泛意圖,忽略了細(xì)節(jié)與細(xì)粒度用戶偏好,會造成錯誤推薦。為了簡便計算,本文采用簡單的求和方式融合用戶多粒度意圖。

圖2 不同多意圖聚合方式的對比

4.8 推薦的多樣性指標(biāo)分析

以往大多數(shù)SRS 模型只考慮準(zhǔn)確性指標(biāo),而忽略了多樣性對物品推薦也有重要作用。DHIN 可以使推薦列表包含多種意圖層次的物品,因此能提高推薦的多樣性。為了驗證多樣性指標(biāo),在3 個數(shù)據(jù)集上比較DHIN 與同樣有利于多樣性的多興趣推薦模型MCPRN 和HLN。如圖3 所示,DHIN 在Diversity@20 以及更嚴(yán)苛條件下的Diversity@10 多樣性指標(biāo)上均優(yōu)于其他方法。多層次建模能夠在更廣范圍的意圖上匹配出符合用戶興趣的多種物品。假設(shè)用戶先后點擊了Nike 運動褲和Nike 運動上衣,多興趣方法傾向于將兩種偏好區(qū)分分別建模再融合兩種偏好,匹配出同時包含兩種偏好特征的物品,限制了匹配結(jié)果的范圍。DHIN 則從意圖粒度出發(fā),找出兩種偏好的共性,在更寬泛的意圖表示下能計算出多樣性更強的推薦物品列表。

圖3 DHIN 與其他基線的多樣性指標(biāo)對比

4.9 參數(shù)敏感度分析

本節(jié)測試了在2 個代表性數(shù)據(jù)集Taobao 和Diginetica 上模型層參數(shù)L和并行卷積核參數(shù)M對模型性能的影響,準(zhǔn)確率方面選取Recall@20 為代表性指標(biāo),多樣性方面以Diversity@20 為衡量指標(biāo)。

(1) 模型層數(shù)參數(shù)

Recall@20 和Diversity@20 兩個指標(biāo)隨著模型層數(shù)L的變化趨勢如圖4 所示?？梢钥闯?在復(fù)雜數(shù)據(jù)集Taobao 上,層數(shù)為4 時準(zhǔn)確率最高,在Diginetica 數(shù)據(jù)集上,這個值則為3。之后隨著層數(shù)增加,2 個數(shù)據(jù)集的準(zhǔn)確率都輕微下降。多樣性則隨著層數(shù)增加一直增加,最后趨于穩(wěn)定,層數(shù)越多代表模型學(xué)出的粒度越多,有利于推薦結(jié)果的多樣性。

圖4 層數(shù)L 對性能的影響

(2)并行卷積核參數(shù)

圖5 展示了并行卷積核數(shù)量M的設(shè)置對模型準(zhǔn)確率性的影響?？梢钥闯?2 個數(shù)據(jù)集上M取2時都達到最好的準(zhǔn)確率效果,當(dāng)M為3 時多樣性最佳。這表明適當(dāng)?shù)牟⑿芯矸e核數(shù)量有利于學(xué)到不同用戶的興趣,提高實驗性能。

圖5 并行卷積核數(shù)量M 對性能的影響

4.10 ICG 可視化

為了解層次意圖學(xué)習(xí)的效果,從Taobao 和Diginetica 數(shù)據(jù)集中隨機選取一個會話來可視化每一層的ICG 分?jǐn)?shù)分布。圖6 顯示了可視化結(jié)果,并有以下觀察:

圖6 ICG 在Taobao 和Diginetica 數(shù)據(jù)集的可視化

(1)在第一層,模型抽取的用戶意圖粒度較細(xì),物品各具特色和風(fēng)格,物品之間的共性較小。在每個窗口內(nèi)ICG 的分布普遍較小。

(2)隨著層數(shù)的增加,模型學(xué)到的粗粒度意圖更寬泛,物品之間的注意力分?jǐn)?shù)差異變小,窗口內(nèi)物品的平均相似度更高,即ICG 門更大。這證明本文模型準(zhǔn)確地捕獲了從細(xì)粒度到粗粒度的多層次用戶偏好。

4.11 模型性能效率

本文模型采用CNN 模型,并行計算可以節(jié)省大量的依賴計算時間。為了驗證模型的運行效率,測試模型每輪的訓(xùn)練時間,并與當(dāng)前最優(yōu)的基線模型HLN 和LESSR 進行比較,結(jié)果如表6 所示?？梢钥闯?基于RNN 的HLN 模型運行效率不佳,該模型需要在每層的序列計算中使用RNN,RNN 下一時刻物品的計算需要依賴上一時刻的狀態(tài),無法完成并行操作,并且在層與層之間,HLN 也存在依賴關(guān)系?；贕NN 的模型LESSR 在信息更新時采用GRU來聚合節(jié)點表示,故兩個模型運行效率都低于本文模型。因此,DHIN 模型同時具備較好的準(zhǔn)確性、多樣性和時間效率。

表6 每個訓(xùn)練輪次的平均時間耗費對比

5 結(jié)論

由于會話數(shù)據(jù)的有限性和用戶行為的復(fù)雜性,基于會話的推薦是一個具有實際意義和挑戰(zhàn)性的問題?，F(xiàn)有的研究大多集中在探討諸如序列模式、物品轉(zhuǎn)移關(guān)系、局部/全局興趣和協(xié)作信號等因素上。然而,這些工作均未考慮用戶的層次意圖。本文提出一個動態(tài)層次化意圖學(xué)習(xí)模型,該模型通過一個動態(tài)卷積神經(jīng)網(wǎng)絡(luò)提取出物品的共性特征,并通過一個興趣門模塊輔助決策哪些重要特征可以傳遞到下一層,從而逐步學(xué)習(xí)出針對每個用戶的多種粒度意圖。實驗結(jié)果表明:本文提出的模型在3 個數(shù)據(jù)集上都達到了最優(yōu)的性能,并且模型的多樣性指標(biāo)也高于其他模型,具有較高的可行性。