循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力增強(qiáng)的門控圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型

李偉玥 朱志國(guó) 董 昊 姜 盼 高 明

近幾年,電子商務(wù)行業(yè)的利潤(rùn)現(xiàn)呈現(xiàn)穩(wěn)步增長(zhǎng)的趨勢(shì),推薦系統(tǒng)已成為電子商務(wù)平臺(tái)重要的組成部分,在幫助消費(fèi)者制定購(gòu)買決策、提高企業(yè)營(yíng)收方面發(fā)揮巨大作用[1-2].然而,海量的商品使得信息過(guò)載的問(wèn)題越發(fā)嚴(yán)重,因此推薦系統(tǒng)在當(dāng)今電商平臺(tái)盛行的背景下,越來(lái)越受到平臺(tái)與企業(yè)的重視.

經(jīng)典的推薦系統(tǒng)往往根據(jù)用戶的長(zhǎng)期歷史記錄實(shí)現(xiàn)個(gè)性化推薦,然而,并非在所有情況下用戶的長(zhǎng)期交互歷史都是可獲取的.例如:許多小型電商零售平臺(tái)和新聞門戶網(wǎng)站為了降低運(yùn)營(yíng)成本,通常僅會(huì)記錄當(dāng)前用戶在短時(shí)間內(nèi)的瀏覽歷史.此外,也有不少用戶經(jīng)常以未注冊(cè)、未登錄等匿名狀態(tài)進(jìn)行訪問(wèn)[3].盡管Cookie技術(shù)可臨時(shí)保存部分用戶個(gè)人信息,但是此類技術(shù)可能存在安全漏洞,存在泄露用戶數(shù)據(jù)的風(fēng)險(xiǎn).因此,如何根據(jù)用戶在當(dāng)前會(huì)話中的行為進(jìn)行精準(zhǔn)推薦,成為許多中小型電商平臺(tái)面臨的重要挑戰(zhàn)之一.基于會(huì)話的推薦旨在根據(jù)匿名目標(biāo)用戶在當(dāng)前會(huì)話中的交互記錄,學(xué)習(xí)用戶的長(zhǎng)短期偏好,為用戶提供個(gè)性化精準(zhǔn)推薦.

基于協(xié)同過(guò)濾的推薦系統(tǒng)[4]、基于矩陣分解的推薦系統(tǒng)[5]、基于關(guān)聯(lián)規(guī)則挖掘的推薦系統(tǒng)[6]大都依賴用戶的長(zhǎng)期歷史交互和用戶個(gè)人信息,未能明顯區(qū)分用戶在點(diǎn)擊序列中表現(xiàn)出的長(zhǎng)短期興趣,因此難以為匿名用戶進(jìn)行精準(zhǔn)推薦.馬爾科夫鏈[7]雖然能在一定程度上捕捉用戶的動(dòng)態(tài)偏好,但是不具有良好的可擴(kuò)展性,即隨著階數(shù)的提高,計(jì)算復(fù)雜度也會(huì)隨之快速增加.

隨著深度學(xué)習(xí)的不斷發(fā)展,神經(jīng)網(wǎng)絡(luò)模型獲得越來(lái)越強(qiáng)的深層語(yǔ)義特征提取能力,并廣泛運(yùn)用于推薦系統(tǒng)[8].作為會(huì)話推薦領(lǐng)域的早期工作之一,Hidasi等[9]提出基于門控循環(huán)單元(Gated Recur-rent Unit, GRU)的會(huì)話推薦系統(tǒng),證實(shí)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)能學(xué)習(xí)商品間的時(shí)序轉(zhuǎn)換關(guān)系.此后的大部分學(xué)者主要從模型結(jié)構(gòu)[10-12]、數(shù)據(jù)處理和訓(xùn)練方法[13-14]三方面入手,提出多種基于RNN的會(huì)話推薦系統(tǒng).

隨著注意力機(jī)制的不斷完善,不少學(xué)者將注意力機(jī)制與RNN結(jié)合,或是完全基于注意力機(jī)制提出許多會(huì)話推薦系統(tǒng).融合注意力機(jī)制的推薦系統(tǒng)可在一定程度上避免將噪聲數(shù)據(jù)引入用戶特征提取過(guò)程,從而更好地推斷用戶在當(dāng)前會(huì)話中的主要意圖.NARM(Neural Attentive Recommendation Machine)[15]是早期基于GRU使用注意力增強(qiáng)的推薦系統(tǒng)之一,可從較長(zhǎng)會(huì)話中有效學(xué)習(xí)用戶偏好.STAMP(Short-Term Attention/Memory Priority Model)[16]首次完全基于注意力機(jī)制進(jìn)行會(huì)話推薦.相比NARM僅能捕捉用戶的一般興趣,STAMP更重視用戶的當(dāng)前興趣,因此在處理長(zhǎng)會(huì)話時(shí)性能更強(qiáng).然而STAMP并未考慮商品間的時(shí)序轉(zhuǎn)換關(guān)系,限制模型捕捉用戶在當(dāng)前會(huì)話中的動(dòng)態(tài)偏好.

近年來(lái),圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN)憑借強(qiáng)大的特征提取能力,在生命科學(xué)[17]、情感分析[18]、金融預(yù)測(cè)[19]、目標(biāo)識(shí)別[20]等領(lǐng)域取得豐富的研究成果,并成為人工智能各應(yīng)用領(lǐng)域的研究熱點(diǎn)之一,不少學(xué)者將GNN應(yīng)用于會(huì)話推薦.SR-GNN(Session-Based Recommendation with GNN)[21]開(kāi)創(chuàng)性地將原始會(huì)話序列構(gòu)造為會(huì)話圖,再基于GNN進(jìn)行節(jié)點(diǎn)間的消息傳遞與特征聚合,并從中推斷用戶意圖.GC-SAN(Graph Contextualized Self-Attention Model)[22]使用多個(gè)自注意力塊增強(qiáng)SR-GNN,在一定程度上去除近鄰信息中的噪聲.然而,多數(shù)相關(guān)工作在不同程度上忽略商品間的時(shí)序關(guān)系.雖然一些工作對(duì)此進(jìn)行一定探索[23-25],但時(shí)序信息仍未得到重點(diǎn)關(guān)注.

忽略時(shí)序特征的會(huì)話推薦系統(tǒng)通常會(huì)基于用戶在當(dāng)前會(huì)話中的所有歷史交互行為生成推薦結(jié)果,隱含假設(shè)認(rèn)為用戶在會(huì)話中的長(zhǎng)期興趣非常穩(wěn)定,并且用戶每次交互行為之間相互獨(dú)立.然而,這種假設(shè)過(guò)強(qiáng),脫離現(xiàn)實(shí)場(chǎng)景.從用戶的角度上看,用戶與商品的交互通常是依次發(fā)生的,即用戶的行為具有一定順序相關(guān)性.從商品的角度上看,商品的流行度會(huì)隨著時(shí)間推移而改變,即商品的特征也具有明顯的時(shí)序性.從電商平臺(tái)的角度上看,為了捕捉用戶的個(gè)性化偏好,平臺(tái)往往會(huì)使用日志記錄用戶的實(shí)時(shí)行為,其中包含時(shí)間戳信息.因此,時(shí)序信息在現(xiàn)實(shí)場(chǎng)景下的獲取難度較低,應(yīng)當(dāng)作為推薦系統(tǒng)重點(diǎn)關(guān)注的信息.

然而,大多數(shù)基于會(huì)話的推薦系統(tǒng)都不同程度上忽略用戶交互歷史中的時(shí)序特征.基于GNN的會(huì)話推薦系統(tǒng)在將商品點(diǎn)擊序列轉(zhuǎn)換為圖的過(guò)程中,雖然較好地體現(xiàn)商品間的近鄰上下文特征,但是忽略商品間的時(shí)序關(guān)系.基于RNN的推薦系統(tǒng)雖然能根據(jù)用戶的點(diǎn)擊流數(shù)據(jù)學(xué)習(xí)商品的時(shí)序特征,但是無(wú)法學(xué)到商品間的近鄰上下文特征.因此,學(xué)者們?cè)O(shè)計(jì)不同算法,從用戶與商品的當(dāng)前交互序列中同時(shí)學(xué)習(xí)兩種特征,以提升推薦的精確度.部分相關(guān)工作采用RNN與GNN堆疊的方式[26],或是受到自然語(yǔ)言處理領(lǐng)域語(yǔ)言模型的啟發(fā),基于位置編碼學(xué)習(xí)商品間的時(shí)序特征[27-29].然而,基于流式結(jié)構(gòu)的模型會(huì)導(dǎo)致先學(xué)習(xí)到的特征被遺忘,后學(xué)習(xí)到的特征不夠充分,從而限制了模型的推薦性能.例如:在先學(xué)習(xí)近鄰上下文特征,后學(xué)習(xí)時(shí)序特征的會(huì)話推薦系統(tǒng)中[28],系統(tǒng)會(huì)在學(xué)習(xí)時(shí)序特征的過(guò)程中遺忘已學(xué)習(xí)到的近鄰上下文特征.同時(shí),后引入的時(shí)序特征難以在接下來(lái)的淺層神經(jīng)網(wǎng)絡(luò)中得到充分學(xué)習(xí),使得系統(tǒng)未能深入挖掘用戶點(diǎn)擊順序中表現(xiàn)出的興趣偏好,導(dǎo)致系統(tǒng)的推薦精準(zhǔn)度較低.

此外,僅根據(jù)長(zhǎng)期行為或短期行為學(xué)習(xí)用戶在當(dāng)前會(huì)話中的興趣,也會(huì)導(dǎo)致推薦準(zhǔn)確度降低.一方面,用戶在當(dāng)前會(huì)話中的長(zhǎng)期興趣會(huì)受到短期興趣的影響,并隨著時(shí)間推移而持續(xù)變化.如果僅考慮長(zhǎng)期興趣,會(huì)導(dǎo)致推薦系統(tǒng)難以捕捉用戶活躍的短期興趣,難以滿足用戶的即時(shí)需求.另一方面,用戶在電商場(chǎng)景中的興趣漂移較嚴(yán)重,如果僅考慮短期興趣,會(huì)導(dǎo)致推薦系統(tǒng)過(guò)度依賴用戶的當(dāng)前行為,被噪聲交互行為誤導(dǎo).因此,在進(jìn)行推薦時(shí),需要綜合考慮用戶的長(zhǎng)短期興趣.

綜上所述,本文受到Transformer模型[30]的啟發(fā),提出循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力增強(qiáng)的門控圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型(RNN and Attention Enhanced Gated GNN for Session Based Recommendation, RAGGNN).首先,對(duì)匿名目標(biāo)用戶在當(dāng)前會(huì)話中交互的商品進(jìn)行嵌入式編碼,再通過(guò)雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bidi-rectional Long Short-Term Memory, BLSTM)[31]學(xué)習(xí)商品間的時(shí)序依賴關(guān)系,以學(xué)習(xí)用戶在當(dāng)前會(huì)話中的短期興趣.同時(shí),基于門控圖神經(jīng)網(wǎng)絡(luò)(Gated GNN, GGNN)[32]學(xué)習(xí)商品間的近鄰上下文特征,以學(xué)習(xí)用戶在當(dāng)前會(huì)話中的長(zhǎng)期興趣.考慮到注意力機(jī)制可有效緩解會(huì)話中噪聲交互行為的影響,基于多頭自注意力機(jī)制過(guò)濾商品間的虛假關(guān)聯(lián)關(guān)系.最后,基于門控機(jī)制,自適應(yīng)融合商品的時(shí)序特征與會(huì)話圖近鄰上下文特征,學(xué)習(xí)用戶在會(huì)話中表現(xiàn)的綜合興趣,實(shí)現(xiàn)對(duì)下一個(gè)點(diǎn)擊商品的精準(zhǔn)預(yù)測(cè).在會(huì)話推薦領(lǐng)域的電商基準(zhǔn)數(shù)據(jù)集Diginetica、Yoochoose和天貓(Tmall)上的實(shí)驗(yàn)表明RAGGNN具有一定的個(gè)性化精準(zhǔn)推薦能力.

1 循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力增強(qiáng)的門控圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型

1.1 問(wèn)題定義

會(huì)話推薦旨在根據(jù)匿名用戶在當(dāng)前會(huì)話中的點(diǎn)擊序列,預(yù)測(cè)用戶下一次將要點(diǎn)擊的商品.因此,本文的推薦問(wèn)題可定義如下.定義全局無(wú)重復(fù)商品集合

V={v1,v2,…,vi,…,v|V|},

匿名用戶點(diǎn)擊商品的會(huì)話集合

S={s1,s2,…,sj,…,s|S|}.

對(duì)于任意匿名會(huì)話sj,將當(dāng)前用戶已點(diǎn)擊的商品按時(shí)間順序排列,有

對(duì)于會(huì)話序列sj,還可將其建模為有向會(huì)話圖

Gj=(Vj,εj),

鄰接矩陣反映圖的結(jié)構(gòu)特征,有助于更好學(xué)習(xí)各商品節(jié)點(diǎn)的特征和捕捉相關(guān)關(guān)系.

1.2 模型框架

本文提出循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力增強(qiáng)的門控圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型(RAGGNN),整體框圖如圖1所示.RAGGNN主要由嵌入編碼模塊、時(shí)序短期特征提取模塊、會(huì)話圖鏈接長(zhǎng)期特征提取模塊和特征聚合預(yù)測(cè)模塊構(gòu)成.

圖1 RAGGNN框架圖

1.3 嵌入編碼模塊

嵌入(Embedding)技術(shù)可將大規(guī)模的稀疏特征投影到相對(duì)密集的空間中,有利于模型深入學(xué)習(xí)商品特征.嵌入編碼模塊可通過(guò)線性變換得到目標(biāo)商品的嵌入編碼向量:

1.4 時(shí)序短期特征提取模塊

雖然普通RNN難以從較長(zhǎng)序列中學(xué)習(xí)足夠的特征,但是LSTM(Long Short-Term Memory)[34]可通過(guò)多門控機(jī)制捕捉長(zhǎng)序列中各商品間的依賴關(guān)系.因此,為了更充分學(xué)習(xí)商品的時(shí)序特征,本文在采用LSTM的同時(shí),還引入雙向機(jī)制,使模型可從正向和反向捕捉商品間的時(shí)序關(guān)系.在t時(shí)刻下,輸入門向量

it=σ(Wiixt+Whiht-1+Wcict-1+bi),

遺忘門向量

ft=σ(Wifxt+Whfht-1+Wcfct-1+bf),

LSTM單元狀態(tài)

ct=ftct-1+ittanh(Wicxt+Whcht-1+bc),

輸出門向量

ot=σ(Wioxt+Whoht-1+Wcoct-1+bo),

輸出隱狀態(tài)向量

ht=ottanh(ct).

由于單層BLSTM對(duì)時(shí)序信息的學(xué)習(xí)能力有限,因此可采用堆疊BLSTM的方式進(jìn)行時(shí)序特征提取,同時(shí)使用線性投影將特征維度轉(zhuǎn)換為嵌入編碼維度.第m層BLSTM的輸出狀態(tài)矩陣為:

H(m)=WBL(BLSTM(H(m-1)))+bBL.

其中:H(m-1)為第m層BLSTM的輸入矩陣,且有

WBL∈R2d×d為可學(xué)習(xí)的參數(shù)矩陣,bBL∈Rd為偏置向量.

對(duì)于目標(biāo)匿名會(huì)話sj,可將該部分最終輸出記為

由于用戶可能受到外界影響的干擾,或無(wú)意識(shí)地進(jìn)行誤操作,因此交互記錄中存在一些噪聲信息.如果將噪聲信息視為正常的用戶交互行為,會(huì)導(dǎo)致模型難以學(xué)習(xí)用戶的真正興趣偏好.受Transformer模型[30]的啟發(fā),本文引入堆疊的多頭自注意力塊,自動(dòng)調(diào)整會(huì)話中不同商品間的關(guān)聯(lián)權(quán)重,降低噪聲信息對(duì)模型學(xué)習(xí)的影響,提升推薦精確度.

自注意力塊由多頭自注意力層、前饋神經(jīng)網(wǎng)絡(luò)(Feed Forward Network, FFN)和殘差連接組成,而多頭機(jī)制使模型可從多個(gè)特征子空間分別學(xué)習(xí)特征,有利于穩(wěn)固自注意力機(jī)制的學(xué)習(xí)結(jié)果,則

其中:

多頭機(jī)制輸出矩陣為:

E=[ATT1‖ATT2‖…‖ATTk]WE,

其中,k為多頭數(shù)量,WE∈Rd×d為對(duì)應(yīng)可學(xué)習(xí)權(quán)重參數(shù)矩陣.

由于多頭自注意力機(jī)制僅采用線性投影算法進(jìn)行計(jì)算,因此本文使用兩層FFN增強(qiáng)模型的非線性擬合能力.經(jīng)典的線性修正單元(Rectified Linear Unit, ReLU)激活函數(shù)僅根據(jù)輸入值的正負(fù)進(jìn)行簡(jiǎn)單門控,當(dāng)輸入值為負(fù)時(shí)會(huì)導(dǎo)致輸出為0,從而使神經(jīng)元難以通過(guò)反向傳播更新相應(yīng)參數(shù),即發(fā)生神經(jīng)元壞死問(wèn)題,所以本文采用高斯偏誤線性單元(Gaussian Error Linear Unit, GELU)函數(shù)進(jìn)行非線性變換.同時(shí),考慮到僅使用自注意力機(jī)制可能會(huì)丟失商品的原始特征,本文還設(shè)置殘差連接:

為了簡(jiǎn)潔起見(jiàn),將上述多頭注意力機(jī)制記為

F=SAN(E).

同樣,為了增強(qiáng)模型對(duì)商品間復(fù)雜高階特征的學(xué)習(xí)能力,可對(duì)其進(jìn)行堆疊:

F(n)=SAN(F(n-1)),

其中n為當(dāng)前多頭自注意力塊堆疊層數(shù),且有

F(0)=SAN(E).

對(duì)于目標(biāo)匿名會(huì)話sj,最終輸出為:

1.5 會(huì)話圖鏈接長(zhǎng)期特征提取模塊

其中,

當(dāng)前時(shí)刻輸出狀態(tài)隱向量

當(dāng)前時(shí)刻候選狀態(tài)隱向量

更新門向量

用于控制上一時(shí)刻狀態(tài)信息影響當(dāng)前狀態(tài)的程度,重置門向量

用于控制上一時(shí)刻狀態(tài)信息影響當(dāng)前候選狀態(tài)的程度.其中:Wz,1∈Rd×d,Wz,2∈Rd×d,Wr,1∈Rd×d,Wr,2∈Rd×d,W1∈Rd×d,W2∈Rd×d為可學(xué)習(xí)參數(shù)矩陣,b∈Rd為偏置向量,tanh(·)為雙曲正切激活函數(shù).

同理,由于單層GGNN對(duì)會(huì)話圖鏈接特征的學(xué)習(xí)能力有限,因此本文也采用堆疊GGNN的方式進(jìn)行會(huì)話圖近鄰特征提取.第N1層GGNN的輸出狀態(tài)矩陣:

G(e)=GGNN(a(e)),

其中,a(e)為第n層GGNN的輸入矩陣,且有

對(duì)于目標(biāo)匿名會(huì)話sj,該層最終輸出

接下來(lái),同樣基于堆疊的多頭自注意力機(jī)制進(jìn)行去噪和特征提取,對(duì)于目標(biāo)匿名會(huì)話sj,輸出結(jié)果

1.6 特征聚合預(yù)測(cè)模塊

為了聚合模型學(xué)習(xí)的商品間時(shí)序特征和近鄰上下文特征,采用自適應(yīng)的門控聚合算法.當(dāng)前會(huì)話sj中用戶對(duì)商品vi表現(xiàn)出的綜合興趣偏好為:

接下來(lái),通過(guò)Softmax函數(shù)對(duì)推薦得分進(jìn)行歸一化處理,得到候選商品vi在會(huì)話sj中下一時(shí)刻的預(yù)測(cè)點(diǎn)擊概率:

最后,取概率最大的K個(gè)商品完成推薦.本文通過(guò)最小化如下交叉熵?fù)p失函數(shù)訓(xùn)練模型:

Loss=

其中,λ為正則項(xiàng)系數(shù),θ={Wembedding}為待正則化的參數(shù)集合.

2 實(shí)驗(yàn)及結(jié)果分析

本文主要基于Pytorch和RecBole[36],在配置英特爾12代i7中央處理器(內(nèi)存32 GB)和GeForce RTX 3070Ti顯卡的計(jì)算機(jī)上進(jìn)行實(shí)驗(yàn).

2.1 實(shí)驗(yàn)設(shè)置

為了保證實(shí)驗(yàn)的公平性,選擇會(huì)話推薦領(lǐng)域的基準(zhǔn)公開(kāi)電商數(shù)據(jù)集Diginetica、Yoochoose和天貓(Tmall).Diginetica數(shù)據(jù)集來(lái)源于2016年CIKM挑戰(zhàn)賽,包含匿名會(huì)話商品點(diǎn)擊流數(shù)據(jù)和商品屬性數(shù)據(jù),實(shí)驗(yàn)中僅使用商品點(diǎn)擊流數(shù)據(jù).Yoochoose數(shù)據(jù)集來(lái)源于2015年RecSys挑戰(zhàn)賽,包含商品點(diǎn)擊流數(shù)據(jù)和商品購(gòu)買記錄數(shù)據(jù),實(shí)驗(yàn)中僅使用商品點(diǎn)擊流數(shù)據(jù).由于Yoochoose數(shù)據(jù)集較大,并且過(guò)多的數(shù)據(jù)對(duì)模型性能的提升幫助較小[13],因此本文仿照相關(guān)工作[37-40],根據(jù)時(shí)間戳記錄截取最近1/64的數(shù)據(jù)進(jìn)行實(shí)驗(yàn).Tmall數(shù)據(jù)集來(lái)源于2015年IJCAI挑戰(zhàn)賽,包含大量天貓電商平臺(tái)上的匿名用戶購(gòu)物日志記錄.同樣地,由于Tmall數(shù)據(jù)集中的商品數(shù)量過(guò)多,仿照相關(guān)工作[41],根據(jù)時(shí)間戳記錄截取最近1/64的數(shù)據(jù)進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)選用數(shù)據(jù)集的統(tǒng)計(jì)指標(biāo)如表1所示.

表1 實(shí)驗(yàn)數(shù)據(jù)集部分統(tǒng)計(jì)指標(biāo)

參考相關(guān)工作的實(shí)驗(yàn)部分[37-40],本文在預(yù)處理時(shí)過(guò)濾2個(gè)數(shù)據(jù)集中出現(xiàn)次數(shù)小于5的商品,并過(guò)濾僅包含1個(gè)商品的會(huì)話.對(duì)于Diginetica、Yoochoose數(shù)據(jù)集,先以時(shí)間順序?qū)Ω鲿?huì)話進(jìn)行排列,然后按照80%、10%和10%的比例依次劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集.此外,為了驗(yàn)證RAGGNN能有效緩解推薦的冷啟動(dòng)問(wèn)題,對(duì)于Tmall數(shù)據(jù)集,先以時(shí)間順序?qū)Ω鲿?huì)話進(jìn)行排列,然后按照60%、20%、20%的比例依次劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集.受相關(guān)工作中數(shù)據(jù)增強(qiáng)技術(shù)的啟發(fā)[13],采用序列增強(qiáng)的方式擴(kuò)充訓(xùn)練集,增強(qiáng)模型的學(xué)習(xí)能力.舉例來(lái)說(shuō),對(duì)于會(huì)話可依次生成一系列子會(huì)話及其對(duì)應(yīng)的目標(biāo)預(yù)測(cè)商品:

參考會(huì)話推薦的相關(guān)工作[21,42-43],本文將嵌入編碼維度設(shè)置為100,使用Adam優(yōu)化器[44],學(xué)習(xí)率設(shè)定為0.001,最大會(huì)話長(zhǎng)度設(shè)定為20.此外,在{1,2,3}中搜尋最佳堆疊層數(shù),在{1,2,4}中搜尋最佳注意力頭數(shù),在

{0.005,0.000 5,0.000 05,0.000 005}

中搜尋最佳正則項(xiàng)系數(shù).

為了探索模型參數(shù)量對(duì)于推薦性能的影響,在{128,256,512}中對(duì)嵌入編碼維度進(jìn)行實(shí)驗(yàn).為了緩解模型訓(xùn)練過(guò)程中的過(guò)擬合問(wèn)題,使用神經(jīng)元失活率為20%的暫退法(Dropout)和提前停止策略(Early Stop):當(dāng)平均倒數(shù)排序(Mean Reciprocal Rank, MRR),即MRR@20在連續(xù)五輪訓(xùn)練中沒(méi)有提升的情況下提前停止訓(xùn)練.

為了保證實(shí)驗(yàn)的公平性,參照各基線模型的實(shí)驗(yàn)結(jié)果設(shè)置相應(yīng)的最佳參數(shù).

實(shí)驗(yàn)選取精準(zhǔn)度(Precision)、命中率(Hit Rate, HR)、MRR和歸一化折損累計(jì)增益(Normalized Discounted Cumulative Gain, NDCG)這4個(gè)指標(biāo)評(píng)估模型性能.

Precision指標(biāo)表示預(yù)測(cè)為用戶感興趣的商品中,有多少是用戶真正感興趣的商品,公式如下:

其中,M表示測(cè)試集中的商品數(shù)量,hit_num(i)表示正確為用戶i推薦的商品數(shù)量,rec(i)表示向用戶i推薦的商品總數(shù)量.

HR指標(biāo)表示在推薦列表中的商品包含多少用戶感興趣的商品,公式如下:

其中,hit(i)表示是否成功為用戶推薦符合個(gè)性化興趣的商品,若為用戶進(jìn)行準(zhǔn)確的推薦,hit(i)=1,否則hit(i)=0.

考慮到用戶可能對(duì)推薦列表的前幾個(gè)商品更感興趣,因此,引入MRR和NDCG.MRR指標(biāo)反映目標(biāo)用戶感興趣的商品是否排在更靠前的位置,公式如下:

其中,N表示測(cè)試集上的商品數(shù)量,rank(i)表示商品i在Top-K推薦列表中的位次.

NDCG指標(biāo)也是考慮推薦列表中的商品排序是否更符合用戶偏好,公式如下:

其中,rel(i)表示第i個(gè)位次上的推薦商品是否出現(xiàn)在候選商品集合中,若是,rel(i)=1,否則,rel(i)=0.

4個(gè)性能評(píng)估指標(biāo)均在[0,1]上取值,數(shù)值越大,表示推薦系統(tǒng)的推薦精準(zhǔn)度越高.考慮到大多數(shù)情況下,用戶僅會(huì)瀏覽首頁(yè)的推薦結(jié)果,因此參照相關(guān)工作[15,16,21,42-43,45],設(shè)置K=20.

2.2 基準(zhǔn)模型對(duì)比實(shí)驗(yàn)

受到會(huì)話推薦領(lǐng)域相關(guān)工作的啟發(fā),選擇14種基準(zhǔn)模型進(jìn)行性能對(duì)比.按照基準(zhǔn)模型使用的核心算法,可劃分為如下3類.

1)傳統(tǒng)機(jī)器學(xué)習(xí)算法.

(1)基于商品流行度的啟發(fā)式算法(本文簡(jiǎn)記為POP).向用戶推薦流行度最高的商品,簡(jiǎn)單易行,廣泛應(yīng)用于實(shí)際業(yè)務(wù)場(chǎng)景,并在某些場(chǎng)景下具有一定競(jìng)爭(zhēng)力.

(2)文獻(xiàn)[46]模型.向用戶推薦與當(dāng)前點(diǎn)擊商品最相似的K個(gè)商品,使用余弦相似度進(jìn)行度量.

2)基于RNN或注意力機(jī)制的模型.

(1)文獻(xiàn)[9]模型.基于GRU進(jìn)行會(huì)話推薦的模型,采用基于排序的損失函數(shù).

(2)NARM[15].分別基于GRU和加性注意力機(jī)制捕捉商品間的全局特征與局部特征,拼接后通過(guò)雙線性相似度函數(shù)推斷用戶偏好.

(3)STAMP[16].完全基于注意力的會(huì)話推薦模型,通過(guò)加性注意力機(jī)制學(xué)習(xí)各商品特征.

(4)CL4SRec(Contrastive Learning for Sequential Recommendation)[47].使用多種數(shù)據(jù)增強(qiáng)技術(shù)構(gòu)建自監(jiān)督信號(hào),設(shè)計(jì)基于對(duì)比學(xué)習(xí)的多任務(wù)學(xué)習(xí)框架進(jìn)行序列推薦.

(5)DuoRec[48].采用對(duì)比正則化技術(shù),緩解序列推薦系統(tǒng)中的商品嵌入編碼退化問(wèn)題.

(6)CORE(Consistent Representation Space)[49].基于獨(dú)特的編碼器和具有魯棒性的距離測(cè)度方法,將會(huì)話與商品嵌入表征統(tǒng)一到相同特征隱空間中.

3)基于圖神經(jīng)網(wǎng)絡(luò)機(jī)制.

(1)SR-GNN[21].先將原始會(huì)話序列轉(zhuǎn)換為會(huì)話圖,再通過(guò)GGNN根據(jù)商品節(jié)點(diǎn)的出度和入度矩陣學(xué)習(xí)商品特征.

(2)GC-SAN[22].先基于GGNN捕捉商品間的局部近鄰關(guān)系,再基于自注意力塊捕捉商品間的全局依賴關(guān)系.

(3)TAGNN(Target Attentive GNN)[42].自適應(yīng)激活不同用戶對(duì)不同目標(biāo)商品的興趣.

(4)LESSR(Lossless Edge-Order Preserving Aggre-gation and Shortcut Graph Attention for Session-Based Recommendation )[45].保留時(shí)序信息的會(huì)話圖,結(jié)合快捷圖注意力網(wǎng)絡(luò)學(xué)習(xí)商品特征.

(5)NISER(Normalized Item and Session Representations Model)[50].對(duì)商品編碼進(jìn)行正則化,提升模型的長(zhǎng)尾推薦能力,還基于位置編碼學(xué)習(xí)商品的時(shí)序特征.

(6)SGNN-HN(Star GNN with Highway Net-works)[51].提出星型會(huì)話圖,設(shè)計(jì)高效讀出函數(shù),應(yīng)對(duì)圖神經(jīng)網(wǎng)絡(luò)的過(guò)擬合問(wèn)題,還考慮商品的位置編碼.

SR-GNN、GC-SAN和TAGNN忽略商品的時(shí)序特征,NISER和SGNN-HN采用簡(jiǎn)單的位置編碼學(xué)習(xí)商品的時(shí)序特征,LESSR基于保留時(shí)序信息的會(huì)話圖學(xué)習(xí)商品的時(shí)序特征.

各模型對(duì)比實(shí)驗(yàn)結(jié)果如表2所示,表中黑體數(shù)字表示最優(yōu)值,斜體數(shù)字表示次優(yōu)值.由表可見(jiàn),基于傳統(tǒng)機(jī)器學(xué)習(xí)的POP和文獻(xiàn)[46]模型性能較差,這是因?yàn)閮煞N模型僅根據(jù)商品流行度和商品間的相似度為用戶生成推薦結(jié)果,未考慮商品間深層、復(fù)雜的關(guān)聯(lián)關(guān)系.

表2 各模型在3個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果

所有基于神經(jīng)網(wǎng)絡(luò)模型的性能都超越傳統(tǒng)機(jī)器學(xué)習(xí)算法,從而驗(yàn)證深度學(xué)習(xí)技術(shù)在會(huì)話推薦中的有效性.文獻(xiàn)[9]模型通過(guò)學(xué)習(xí)商品間的時(shí)序關(guān)聯(lián)關(guān)系,相比傳統(tǒng)機(jī)器學(xué)習(xí)算法,性能有大幅提升.NARM進(jìn)一步采用加性注意力機(jī)制,有效過(guò)濾會(huì)話中存在的噪聲信息,獲得更高的推薦精準(zhǔn)度.CORE統(tǒng)一編碼和解碼特征表示空間的策略,增強(qiáng)模型對(duì)商品特征的學(xué)習(xí)能力.CL4SRec采用掩碼、裁剪、重排等多種數(shù)據(jù)增強(qiáng)方法擴(kuò)充訓(xùn)練數(shù)據(jù),并通過(guò)捕捉會(huì)話級(jí)的對(duì)比信號(hào)實(shí)現(xiàn)精準(zhǔn)推薦.DuoRec基于對(duì)比正則化策略,更好地保留會(huì)話中的語(yǔ)義特征,實(shí)現(xiàn)對(duì)商品特征表征分布的優(yōu)化.

GNN的優(yōu)勢(shì)在于突破序列數(shù)據(jù)結(jié)構(gòu)的局限,并且因?yàn)樵谀Ｐ陀?xùn)練時(shí)需要按照批次進(jìn)行處理,所以同個(gè)批次中的會(huì)話序列通常會(huì)被構(gòu)建為一個(gè)局部會(huì)話圖,使模型在推薦時(shí)可從鄰域范圍中學(xué)習(xí)來(lái)自其它會(huì)話或是當(dāng)前會(huì)話中商品間的非時(shí)序近鄰上下文關(guān)系.因此,在大多數(shù)情況下,SR-GNN和GC-SAN性能高于基于RNN或注意力機(jī)制的模型,這得益于自適應(yīng)地激活用戶對(duì)不同商品的獨(dú)特興趣,TAGNN進(jìn)一步獲得更強(qiáng)的精準(zhǔn)推薦能力.

然而,SR-GNN、GC-SAN和TAGNN都忽略商品間的時(shí)序信息,推薦精準(zhǔn)度還存在較大的提升空間.NISER、SGNN-HN和LESSR通過(guò)多種策略挖掘隱藏在商品時(shí)序轉(zhuǎn)換間的用戶興趣,具備較強(qiáng)的競(jìng)爭(zhēng)力.

從噪聲過(guò)濾的角度上分析,由于用戶的誤操作或一些特殊的行為習(xí)慣,歷史行為記錄中往往存在噪聲信息.噪聲信息會(huì)誤導(dǎo)模型學(xué)習(xí)到虛假的用戶興趣,導(dǎo)致推薦精確度的降低.注意力機(jī)制可使模型更關(guān)注對(duì)推薦結(jié)果有重要影響的部分,從而減少對(duì)噪聲敏感的用戶行為產(chǎn)生的負(fù)面影響.通過(guò)動(dòng)態(tài)調(diào)整注意力權(quán)重,模型可更聚焦于反映用戶興趣偏好的商品交互行為,同時(shí)減少對(duì)噪聲記錄的過(guò)度關(guān)注.對(duì)比文獻(xiàn)[9]模型、NARM、SR-GNN和GC-SAN的結(jié)果,無(wú)論是加性注意力還是自注意力機(jī)制,都能有效過(guò)濾用戶行為記錄中的噪聲.然而,加性注意力作為一種淺層模型,僅能過(guò)濾部分噪聲信息.自注意力機(jī)制可幫助模型進(jìn)行全局的特征交互,更好地理解不同特征之間的關(guān)系.同時(shí),自注意力機(jī)制可結(jié)合殘差連接、暫退法等策略進(jìn)行堆疊,進(jìn)一步提升去噪能力,增強(qiáng)模型的魯棒性.此外,無(wú)論是商品間的時(shí)序特征關(guān)聯(lián)關(guān)系,還是近鄰上下文特征關(guān)聯(lián)關(guān)系,都充斥大量噪聲.受此啟發(fā), RAGGNN引入自注意力機(jī)制,并且雙側(cè)的自注意力提供更強(qiáng)的噪聲過(guò)濾能力,使學(xué)習(xí)的用戶興趣更具有表現(xiàn)力.

然而,完全基于注意力機(jī)制的STAMP將會(huì)話視為不具有順序關(guān)系的交互集合,難以充分學(xué)習(xí)商品間的時(shí)序關(guān)聯(lián)關(guān)系和上下文關(guān)聯(lián)關(guān)系,導(dǎo)致推薦精準(zhǔn)度甚至低于文獻(xiàn)[9]模型和SR-GNN.

總之,RAGGNN基于集成學(xué)習(xí)思想,分別基于RNN和GNN捕捉商品間的時(shí)序關(guān)系與近鄰上下文特征,充分考慮商品間不同的關(guān)聯(lián)關(guān)系中隱藏的不同用戶興趣,因此獲得強(qiáng)大的精準(zhǔn)推薦能力.

2.3 冷啟動(dòng)實(shí)驗(yàn)

冷啟動(dòng)問(wèn)題為推薦系統(tǒng)在實(shí)際業(yè)務(wù)場(chǎng)景中的應(yīng)用帶來(lái)重大挑戰(zhàn).因此,本節(jié)基于Tmall數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),并使用更少的訓(xùn)練集模擬冷啟動(dòng)場(chǎng)景,探索各對(duì)比模型的推薦精準(zhǔn)度變化.在基準(zhǔn)模型的選取上,基于對(duì)比實(shí)驗(yàn)結(jié)果,選擇3個(gè)具有競(jìng)爭(zhēng)力的模型:LESSR、CL4SRec和DuoRec.

各模型冷啟動(dòng)實(shí)驗(yàn)結(jié)果如表3所示,表中黑體數(shù)字表示最優(yōu)值,斜體數(shù)字表示次優(yōu)值.由表可見(jiàn),RAGGNN獲得具有競(jìng)爭(zhēng)力的結(jié)果,相比其它基準(zhǔn)模型,在4個(gè)度量指標(biāo)上均獲得較大提升.這是因?yàn)镽AGGNN在學(xué)習(xí)用戶的個(gè)性化興趣時(shí),既考慮動(dòng)態(tài)多變的時(shí)序短期興趣,也考慮穩(wěn)定多元的近鄰上下文長(zhǎng)期興趣.LESSR雖然也考慮兩種用戶興趣,但是采用迭代優(yōu)化的方式會(huì)造成不同類型興趣的糾纏,導(dǎo)致模型難以學(xué)習(xí)到真正的綜合興趣.CL4SRec和DuoRec均采用對(duì)比學(xué)習(xí)的方式,從會(huì)話序列中捕捉用戶興趣,這會(huì)導(dǎo)致模型過(guò)度依賴行為順序信息,從而被商品間的虛假依賴關(guān)系誤導(dǎo),導(dǎo)致推薦結(jié)果的準(zhǔn)確度較低.

表3 各模型冷啟動(dòng)實(shí)驗(yàn)結(jié)果對(duì)比

從數(shù)據(jù)集的特征上分析,相比其它兩個(gè)國(guó)外電商數(shù)據(jù)集,Tmall數(shù)據(jù)集雖然用戶數(shù)量最少,但是具有更長(zhǎng)的平均會(huì)話長(zhǎng)度.這說(shuō)明中國(guó)在線用戶更活躍,能為平臺(tái)提供更多的用戶反饋信息,使推薦系統(tǒng)更容易推斷用戶的興趣偏好.此外,可觀測(cè)到Tmall數(shù)據(jù)集具有最多的商品數(shù)量,在為用戶提供廣泛選擇范圍的同時(shí),也為精準(zhǔn)推薦帶來(lái)更大挑戰(zhàn).出于用戶隱私政策的限制,所有的信息均以匿名化形式呈現(xiàn),無(wú)法獲得較多的用戶側(cè)信息.因此,在會(huì)話推薦場(chǎng)景下,對(duì)推薦系統(tǒng)的學(xué)習(xí)能力提出更高的要求.

總之,冷啟動(dòng)實(shí)驗(yàn)結(jié)果表明RAGGNN具有較好的魯棒性.即使在用戶歷史記錄較少時(shí),仍能學(xué)習(xí)具有表現(xiàn)力的興趣特征,并將挖掘的知識(shí)運(yùn)用于推斷未出現(xiàn)在訓(xùn)練集上的用戶興趣,具有較好的泛化能力.

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證RAGGNN各模塊的有效性,進(jìn)行如下兩組對(duì)照實(shí)驗(yàn),第1組實(shí)驗(yàn)可檢驗(yàn)時(shí)序信息和注意力機(jī)制去噪的有效性,第2組實(shí)驗(yàn)可檢驗(yàn)門控聚合機(jī)制的有效性.

由于SR-GNN和GC-SAN已分別證實(shí)自注意力機(jī)制可增強(qiáng)GGNN的有效性,因此對(duì)于第1組消融實(shí)驗(yàn),設(shè)置如下兩種變體.

1)RAGGNN-RNN:移除RNN后的自注意力層.

2)RAGGNN-noise:移除GNN和RNN之后的自注意力層.

第1組消融實(shí)驗(yàn)結(jié)果如圖2(a)所示,在該組實(shí)驗(yàn)中,僅對(duì)各變體模型結(jié)構(gòu)進(jìn)行相應(yīng)調(diào)整,并使用與RAGGNN一致的參數(shù).

(a)第1組

結(jié)合基準(zhǔn)模型對(duì)比實(shí)驗(yàn)結(jié)果和本組消融實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn),RAGGNN性能表現(xiàn)最佳.正如2.3節(jié)中分析,SR-GNN和GC-SAN的對(duì)比體現(xiàn)注意力機(jī)制對(duì)GNN學(xué)習(xí)結(jié)果的明顯提升作用.同時(shí)還觀察到,RAGGNN-RNN的性能優(yōu)于GC-SAN,這說(shuō)明在會(huì)話推薦中,商品間的時(shí)序關(guān)系也是重要的信息源之一,僅考慮商品間的會(huì)話圖近鄰信息難以精確捕捉用戶興趣.

此外,對(duì)比RAGGNN-noise和RAGGNN的結(jié)果可發(fā)現(xiàn),當(dāng)RAGGNN使用去除RNN和GNN后的注意力機(jī)制時(shí),模型性能下滑較嚴(yán)重,這表明會(huì)話中存在的噪聲信息會(huì)使模型錯(cuò)誤學(xué)習(xí)商品間的虛假關(guān)聯(lián)關(guān)系,導(dǎo)致推薦的精準(zhǔn)度較低.

綜上所述,在進(jìn)行會(huì)話推薦時(shí)不僅需要考慮到多種特征,還有必要對(duì)其進(jìn)行噪聲過(guò)濾,才能精準(zhǔn)學(xué)習(xí)真實(shí)的用戶興趣.

為了研究不同聚合模型對(duì)模型性能的影響,在第2組消融實(shí)驗(yàn)中,提出如下兩種變體.

1)RAGGNN-avg:采用均值算法融合商品間的時(shí)序特征和會(huì)話圖近鄰特征.

2)RAGGNN-FFN:采用單層前饋神經(jīng)網(wǎng)絡(luò)融合商品間的時(shí)序特征和會(huì)話圖近鄰特征.

第2組消融實(shí)驗(yàn)結(jié)果如圖2(b)所示,在該組實(shí)驗(yàn)中,未改動(dòng)模型的框架結(jié)構(gòu)和參數(shù)配置,僅采用不同的特征聚合方式.

由圖2(b)可見(jiàn),使用均值聚合算法的RAGGNN-avg性能最優(yōu),其次是使用門控機(jī)制的RAGGNN,表明簡(jiǎn)單的融合算法已足夠?qū)W習(xí)用戶在會(huì)話中表現(xiàn)出的綜合興趣.由于已進(jìn)行充分的噪聲過(guò)濾,再增加模型深度會(huì)導(dǎo)致嚴(yán)重的過(guò)擬合問(wèn)題,因此RAGGNN-FFN的推薦精確度較低.RAGGNN之所以未采用均值聚合算法融合模型學(xué)習(xí)的去噪時(shí)序特征和近鄰上下文特征,是考慮到簡(jiǎn)單均值的泛化能力可能較弱,很可能在不同的數(shù)據(jù)集上性能波動(dòng)較大,此時(shí)很可能會(huì)仿照GC-SAN的實(shí)驗(yàn)部分,引入額外的權(quán)重參數(shù)進(jìn)行調(diào)整.而門控機(jī)制的聚合權(quán)重完全由模型根據(jù)當(dāng)前數(shù)據(jù)自主學(xué)習(xí)得到,具有較強(qiáng)的自適應(yīng)能力,同時(shí)避免引入更多的超參數(shù).此外,門控機(jī)制可增強(qiáng)推薦結(jié)果的可解釋性,幫助判斷用戶在會(huì)話中的興趣受到何種特征的影響較大.

2.5 超參數(shù)分析

本節(jié)分別探索RNN和GNN的堆疊層數(shù)、RNN側(cè)和GNN側(cè)自注意力機(jī)制的堆疊層數(shù)和頭數(shù)、正則項(xiàng)系數(shù)和嵌入編碼維度對(duì)推薦精準(zhǔn)度的影響,具體實(shí)驗(yàn)結(jié)果如表4所示.

表4 超參數(shù)對(duì)模型性能的影響

在RNN和GNN的堆疊層數(shù)實(shí)驗(yàn)中可發(fā)現(xiàn),隨著堆疊層數(shù)的增加,HR@20和MRR@20指標(biāo)出現(xiàn)小范圍波動(dòng),意味著較多層數(shù)的RNN和GNN不一定有助于提升模型性能,反而可能會(huì)帶來(lái)更嚴(yán)重的過(guò)擬合問(wèn)題.在實(shí)驗(yàn)中還觀察到,堆疊RNN雖然可能會(huì)提升模型的推薦準(zhǔn)確度,如在Yoochoose數(shù)據(jù)集上堆疊兩層RNN會(huì)帶來(lái)更高的推薦精準(zhǔn)度,但是待訓(xùn)練參數(shù)量也會(huì)隨之快速增加.因此,如何權(quán)衡計(jì)算復(fù)雜度和推薦性能之間的關(guān)系,仍值得進(jìn)一步研究.

在注意力機(jī)制的頭數(shù)實(shí)驗(yàn)中可發(fā)現(xiàn),適當(dāng)增加注意力機(jī)制的頭數(shù)有助于提升模型性能,但是頭數(shù)并非越多越好.例如:在Diginetica數(shù)據(jù)集上的實(shí)驗(yàn)中,相比未使用多頭機(jī)制(頭數(shù)為1),頭數(shù)為2的多頭注意力機(jī)制可在一定程度上提升模型性能.但是,當(dāng)頭數(shù)增至4時(shí),模型性能并沒(méi)有隨之繼續(xù)提升.根據(jù)多頭機(jī)制的原理,不同的注意力頭可從不同的特征子空間學(xué)習(xí)商品間潛在的隱性關(guān)系,因此適當(dāng)增加注意力頭數(shù)時(shí),性能會(huì)有所提升.但是模型在學(xué)習(xí)的過(guò)程中可能會(huì)出現(xiàn)偏差,而過(guò)多的注意力頭可能會(huì)導(dǎo)致偏誤量增加,并在接下來(lái)的聚合過(guò)程中積累更多的偏誤,導(dǎo)致模型性能降低.

在注意力機(jī)制的堆疊層數(shù)實(shí)驗(yàn)中,在2個(gè)數(shù)據(jù)集上均可觀察到如下現(xiàn)象.綜合來(lái)看,一層多頭注意力機(jī)制的性能最佳,堆疊三層的性能次之,堆疊兩層的性能相對(duì)較差.經(jīng)分析,這可能是由于模型在相對(duì)淺層的結(jié)構(gòu)下即可擁有較強(qiáng)的特征學(xué)習(xí)能力,過(guò)深的結(jié)構(gòu)會(huì)帶來(lái)更嚴(yán)重的過(guò)擬合問(wèn)題,導(dǎo)致推薦精準(zhǔn)度的降低.

在正則項(xiàng)系數(shù)的實(shí)驗(yàn)中,當(dāng)正則化系數(shù)從0.000 005提至0.00 005時(shí),推薦精確度有所提升.然而,隨著正則化系數(shù)的進(jìn)一步增加,推薦的精確度有所降低.恰當(dāng)?shù)恼齽t項(xiàng)系數(shù)可有效緩解過(guò)擬合問(wèn)題,提升模型的魯棒性.然而,過(guò)大的正則項(xiàng)系數(shù)會(huì)導(dǎo)致模型在學(xué)習(xí)過(guò)程中忽略一些重要的特征,無(wú)法充分從行為記錄中學(xué)習(xí)穩(wěn)定的興趣偏好表示,限制模型的泛化能力.因此,有必要根據(jù)用戶行為記錄數(shù)據(jù)分布的特點(diǎn),調(diào)整正則項(xiàng)系數(shù).

在嵌入編碼維度的實(shí)驗(yàn)中,當(dāng)維度從64提升到100時(shí),推薦精確度有所提高.然而,當(dāng)維度繼續(xù)增加時(shí),推薦精確度反而持續(xù)降低.上述結(jié)果表明,在一定范圍內(nèi),增加嵌入編碼維度有助于提升模型的表征學(xué)習(xí)能力.對(duì)于本文而言,適當(dāng)增加嵌入維度可使模型從更多方面學(xué)習(xí)用戶興趣,提升推薦精準(zhǔn)度.然而,過(guò)多的嵌入維度不僅會(huì)帶來(lái)更大的計(jì)算開(kāi)銷,顯著提升模型的復(fù)雜度,還會(huì)帶來(lái)嚴(yán)重的過(guò)擬合問(wèn)題,限制模型對(duì)用戶興趣的學(xué)習(xí)能力.因此,需要找到合適的嵌入編碼維度,權(quán)衡推薦精確度和模型復(fù)雜度.

總之,RAGGNN具有較強(qiáng)的穩(wěn)健性,性能不會(huì)因?yàn)椴糠謪?shù)的改動(dòng)而產(chǎn)生較大波動(dòng).

2.6 實(shí)例分析

為了更直觀了解商品間的時(shí)序特征和會(huì)話圖近鄰特征,本文隨機(jī)選取數(shù)據(jù)集上5個(gè)匿名會(huì)話,根據(jù)不同模型的學(xué)習(xí)結(jié)果進(jìn)行點(diǎn)擊率預(yù)測(cè),并進(jìn)行熱力圖可視化展示,具體如圖3所示.圖中每個(gè)方格表示當(dāng)前所屬會(huì)話中的一個(gè)商品,顏色越深的方格表示該商品在會(huì)話中的目標(biāo)特征越顯著,方格下面的坐標(biāo)表示對(duì)應(yīng)商品在相應(yīng)會(huì)話中的ID,越左側(cè)的方格表示越早被用戶點(diǎn)擊的商品.對(duì)圖中使用的模型說(shuō)明如下.

(a)會(huì)話ID:17427 (b)會(huì)話ID:104669 (c)會(huì)話ID:63336

1)未過(guò)濾噪聲的時(shí)序特征:僅基于BLSTM的學(xué)習(xí)結(jié)果進(jìn)行點(diǎn)擊率預(yù)測(cè),即僅根據(jù)未過(guò)濾噪聲的時(shí)序特征進(jìn)行推薦.

2)未過(guò)濾噪聲的上下文近鄰特征:僅基于GG-NN的學(xué)習(xí)結(jié)果進(jìn)行點(diǎn)擊率預(yù)測(cè),即僅根據(jù)未過(guò)濾噪聲的會(huì)話圖近鄰特征進(jìn)行推薦.

3)過(guò)濾噪聲后的時(shí)序特征:基于BLSTM和對(duì)應(yīng)自注意力塊進(jìn)行點(diǎn)擊率預(yù)測(cè),即根據(jù)過(guò)濾噪聲后的時(shí)序特征進(jìn)行推薦.

4)過(guò)濾噪聲后的上下文近鄰特征:基于GGNN和對(duì)應(yīng)自注意力塊進(jìn)行點(diǎn)擊率預(yù)測(cè),即根據(jù)過(guò)濾噪聲后的會(huì)話圖近鄰特征進(jìn)行推薦.

5)過(guò)濾噪聲后的融合特征:基于RAGGNN進(jìn)行點(diǎn)擊率預(yù)測(cè),即根據(jù)過(guò)濾噪聲后的融合特征進(jìn)行推薦.

結(jié)合圖3的可視化結(jié)果分析后,可得到如下結(jié)論.

1)注意力機(jī)制可有效去除數(shù)據(jù)中的噪聲,提高模型的特征學(xué)習(xí)能力.

對(duì)比各會(huì)話中過(guò)濾噪聲前后的推薦結(jié)果可知,推薦系統(tǒng)學(xué)習(xí)的用戶興趣發(fā)生明顯變化.例如,對(duì)于時(shí)序特征:在圖3(a)中,推薦系統(tǒng)認(rèn)為用戶會(huì)對(duì)商品15602感興趣;而在過(guò)濾噪聲后,推薦系統(tǒng)認(rèn)為商品15600比商品15602更能吸引用戶的注意力.

從近鄰上下文特征角度也可觀察到相似現(xiàn)象.例如:在圖3(e)中,近鄰上下文特征分布的峰值出現(xiàn)在會(huì)話中后期,然而在過(guò)濾噪聲之后,(e)中會(huì)話106714的可視化結(jié)果顯示,近鄰上下文特征主要分布區(qū)域偏移至?xí)捴星捌?

類似的現(xiàn)象表明,無(wú)論是原始的時(shí)序特征還是近鄰上下文特征,都存在不同程度的噪聲,這些無(wú)關(guān)信息可能會(huì)使模型難以學(xué)習(xí)真實(shí)的用戶興趣.尤其是在去噪前后具有較大幅度變化的會(huì)話,變動(dòng)幅度越大,說(shuō)明會(huì)話中的噪聲信息越多.因此,在實(shí)際業(yè)務(wù)場(chǎng)景下設(shè)計(jì)會(huì)話推薦系統(tǒng)時(shí),應(yīng)當(dāng)重點(diǎn)關(guān)注去噪算法,提高推薦結(jié)果的精準(zhǔn)度.

2)在大多數(shù)情況下,相比會(huì)話中部和頭部商品,會(huì)話尾部商品的時(shí)序特征更重要.

除了會(huì)話17427之外,最后一兩個(gè)方格的顏色都較深,這說(shuō)明相應(yīng)會(huì)話的最后一兩個(gè)商品表示的時(shí)序特征較明顯,尤其在過(guò)濾噪聲后,攜帶重要時(shí)序特征的商品發(fā)生明顯后移.

類似現(xiàn)象表明簡(jiǎn)單地將當(dāng)前會(huì)話中用戶交互的最后一個(gè)商品視為用戶的短期興趣在一定程度上是合理的.從普通序列推薦與會(huì)話推薦差異的角度上看,目標(biāo)用戶過(guò)于久遠(yuǎn)的商品交互歷史對(duì)于精準(zhǔn)推薦的效用可能較低,在電商推薦的場(chǎng)景下尤為明顯.相關(guān)平臺(tái)企業(yè)應(yīng)當(dāng)更關(guān)注用戶的當(dāng)前興趣,并適當(dāng)考慮短期內(nèi)用戶瀏覽過(guò)的商品.

3)具有明顯近鄰上下文特征的商品具有多變性.

首先,近鄰上下文特征更明顯的商品不一定固定出現(xiàn)在會(huì)話的某個(gè)部分.例如:在圖3(b)的會(huì)話104669中,顏色較深的方格出現(xiàn)在會(huì)話前期,這說(shuō)明用戶在會(huì)話剛開(kāi)始時(shí),就發(fā)現(xiàn)很感興趣的商品,并且用戶對(duì)相關(guān)商品的興趣保持較長(zhǎng)時(shí)間;在(c)的會(huì)話63336中,顏色較深的方格出現(xiàn)在會(huì)話中后期,這表明用戶在經(jīng)歷一段時(shí)間的瀏覽后,發(fā)現(xiàn)很感興趣的商品,但用戶對(duì)相關(guān)商品的興趣衰減較快;在(e)的會(huì)話106714中,顏色較深的方格分別出現(xiàn)在會(huì)話的前中期和末期,這表明用戶在經(jīng)歷一段時(shí)間的瀏覽后,找到感興趣的商品,但是該商品并未表現(xiàn)足夠的吸引力,于是用戶對(duì)此類商品的興趣發(fā)生快速衰減,又經(jīng)過(guò)一段時(shí)間的瀏覽之后,用戶對(duì)其它商品產(chǎn)生興趣.

其次,具有吸引力的商品很可能會(huì)連續(xù)出現(xiàn).例如:在圖3(b)的會(huì)話104669中,用戶很可能在瀏覽完商品16071后發(fā)現(xiàn)非常感興趣的商品16064,并在此之后查看與此前商品弱相關(guān)的商品15928.

從商品相關(guān)性的角度分析,在捕捉到用戶興趣時(shí)為其推薦與當(dāng)前商品高相似度的商品在一定程度上是合理的,因?yàn)橛脩艨赡茉跒g覽慣性的作用下持續(xù)點(diǎn)擊此類商品.這從一定程度上解釋文獻(xiàn)[46]模型雖然基于樸素的相似度度量和聚類算法,但具有相當(dāng)強(qiáng)的競(jìng)爭(zhēng)力的原因.

同時(shí)也應(yīng)當(dāng)注意到,電商平臺(tái)不能僅推薦與用戶當(dāng)前交互商品高度相似的商品,否則可能會(huì)引起用戶對(duì)此類商品興趣的快速衰減.例如:在圖3(e)的匿名會(huì)話106714中,用戶可能在連續(xù)點(diǎn)擊較相似的3個(gè)商品后,出現(xiàn)審美疲勞,并轉(zhuǎn)而瀏覽其它商品.

4)時(shí)序特征與近鄰上下文特征是不同角度下的特征,需要注意辨識(shí).

從特征區(qū)分的可視化結(jié)果上看,時(shí)序特征與近鄰上下文特征顯然是兩種不同角度下的特征,該現(xiàn)象在圖3(a)、(b)、(e)中表現(xiàn)得尤為明顯.因此,在設(shè)計(jì)會(huì)話推薦系統(tǒng)時(shí),應(yīng)當(dāng)對(duì)不同特征加以區(qū)分,而不能簡(jiǎn)單地一概而論.

從特征融合的可視化結(jié)果上看,RAGGNN可自動(dòng)調(diào)整時(shí)序特征和近鄰上下文特征的權(quán)重占比,有效實(shí)現(xiàn)不同角度下特征間的自適應(yīng)融合.例如:在圖3(a)的會(huì)話17427中,商品15600表現(xiàn)更強(qiáng)的近鄰上下文特征,而商品15602則表現(xiàn)更強(qiáng)的時(shí)序特征.然而,RAGGNN認(rèn)為商品15600確實(shí)表現(xiàn)更強(qiáng)的近鄰上下文特征,但是商品15602并不具有很強(qiáng)的時(shí)序特征.

類似的現(xiàn)象可以說(shuō)明,RAGGNN可精準(zhǔn)識(shí)別不同商品在會(huì)話序列中表現(xiàn)的不同特征,并據(jù)此推斷用戶真正的興趣偏好,推薦更具有吸引力的商品.

3 結(jié) 束 語(yǔ)

本文在電商場(chǎng)景下,提出循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力增強(qiáng)的門控圖神經(jīng)網(wǎng)絡(luò)會(huì)話推薦模型(RAGG-NN).考慮融合會(huì)話中商品間的時(shí)序特征和會(huì)話間的會(huì)話圖近鄰特征,基于集成學(xué)習(xí)的思想,分別基于BLSTM和GGNN學(xué)習(xí)商品間時(shí)序與近鄰上下文特征,并通過(guò)門控機(jī)制實(shí)現(xiàn)不同特征的自適應(yīng)聚合.這樣使模型能全面推斷用戶的長(zhǎng)短期偏好,進(jìn)而為用戶生成更精準(zhǔn)的推薦結(jié)果.本文實(shí)驗(yàn)在一定程度上說(shuō)明捕捉商品間兩種特征的重要性和必要性,同時(shí)驗(yàn)證RAGGNN的優(yōu)越性.

然而,本文還存在以下局限之處:1)由于在會(huì)話推薦問(wèn)題下,難以有效利用用戶的個(gè)人信息,當(dāng)匿名用戶無(wú)任何交互歷史時(shí),可能無(wú)法生成較精準(zhǔn)的推薦結(jié)果.因此,對(duì)于用戶冷啟動(dòng)問(wèn)題,RAGGNN還有改進(jìn)空間.一種可能的解決方式是先基于商品流行度為匿名用戶推薦熱門商品,同時(shí)根據(jù)用戶初始的幾次交互推斷用戶偏好,再使用基于深度學(xué)習(xí)的推薦系統(tǒng)進(jìn)行后續(xù)推薦.2)本文模型僅從用戶-商品交互中學(xué)習(xí)包含豐富時(shí)序信息和會(huì)話圖近鄰信息的商品特征向量,并未從商品本身的角度出發(fā),沒(méi)有根據(jù)商品的價(jià)格、分類、流行度等屬性進(jìn)行深入研究.今后將嘗試解決上述問(wèn)題,進(jìn)一步完善模型.