基于全局圖和多粒度意圖單元的會話推薦

李婉樺，孫英娟，劉藝璇，劉乾

（長春師范大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，長春 130032）

0 概述

推薦系統(tǒng)［1-2］在許多在線平臺中扮演著重要角色，通過向用戶推薦有用內(nèi)容，從而有效解決信息超載問題。傳統(tǒng)推薦算法常常依賴于用戶配置文件的可用性和長期歷史交互。協(xié)同過濾［3-4］等經(jīng)典算法基于不同興趣愛好對用戶進(jìn)行劃分并推薦興趣相似的商品給用戶，基于內(nèi)容的推薦算法［5-6］根據(jù)相關(guān)的項(xiàng)目信息完成推薦。但在現(xiàn)實(shí)中更多的交互信息來自未登錄用戶的瀏覽或短期歷史行為，這就造成傳統(tǒng)算法推薦效果較差。為了解決這一類問題，便出現(xiàn)了會話推薦［7-9］，根據(jù)給定的匿名行為序列，按照時間順序預(yù)測用戶下一個可能感興趣的項(xiàng)目。

在會話推薦模型研究之初，許多學(xué)者為了有效地對會話進(jìn)行建模，采用馬爾可夫鏈［10-11］作為核心算法。WU等［12］提出一種馬爾可夫鏈嵌入模型，該模型將用戶和物品映射到歐幾里得空間，用戶和物品之間的距離代表兩者之間的轉(zhuǎn)移概率，最后根據(jù)嵌入結(jié)果對候選項(xiàng)進(jìn)行排序。RENDLE等［13］提出一種混合模型（FPMC），將矩陣分解方法與馬爾可夫鏈方法相結(jié)合，同時學(xué)習(xí)用戶的一般興趣和下一個興趣，取得了較好的效果，但由于馬爾可夫鏈模型的假設(shè)是基于前一個動作來預(yù)測用戶的下一個動作，這種強(qiáng)獨(dú)立性假設(shè)容易受噪聲數(shù)據(jù)的影響，因此限制了其在基于會話推薦中的使用。

針對上述問題，學(xué)者們提出了很多基于深度神經(jīng)網(wǎng)絡(luò)的會話推薦模型并取得了良好性能。HIDASI等［14］提出基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的會話推薦模型（GRU4Rec），利用門控循環(huán)單元（GRU）層將會話數(shù)據(jù)嚴(yán)格按照時間順序建模成單向序列。LI等［15］提出NARM 模型，該模型基于RNN 且將注意力機(jī)制引入GRU 編碼器，捕獲短期會話信息。LIU等［16］提出STAMP 模型，該模型基于多層感知機(jī)（MLP）和注意力機(jī)制提取用戶潛在興趣。以上模型都是簡單地根據(jù)時間序列進(jìn)行會話建模來提取用戶信息，但事實(shí)上項(xiàng)目轉(zhuǎn)換非常復(fù)雜，用戶的行為可能不嚴(yán)格按照時間順序發(fā)展，也就是說即使會話中項(xiàng)目順序調(diào)換，也不影響用戶對項(xiàng)目的偏好，而對會話中項(xiàng)目嚴(yán)格按照時間順序建?？赡軐?dǎo)致過度擬合。

為了更好地表達(dá)項(xiàng)目之間的關(guān)系，學(xué)者們引入圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）模擬會話數(shù)據(jù)的項(xiàng)目復(fù)雜關(guān)系，提高會話推薦性能。WU等［17］提出基于圖神經(jīng)網(wǎng)絡(luò)的會話推薦模型（SR-GNN），將會話建模成圖以捕捉項(xiàng)目之間的關(guān)系。QIU等［18］提出FGNN 模型，利用多頭注意力機(jī)制挖掘鄰居信息。WANG等［19］提出GCE-GNN 模型，從會話和全局的角度學(xué)習(xí)項(xiàng)目之間的轉(zhuǎn)換關(guān)系。XIA等［20］提出DHCN 模型，基于超圖挖掘項(xiàng)目的高階信息。然而，以上模型只是孤立地考慮會話中的每一項(xiàng)，在當(dāng)前會話中沒有從更高層次的角度捕捉會話語義。GUO等［21］提出MIHSG 模型，通過構(gòu)造多粒度意圖單元異構(gòu)會話圖從高層次的角度捕捉完整會話意圖，因此得到了不錯的模型效果。

雖然MIHSG 模型的效果較好，但是其多粒度意圖單元異構(gòu)會話圖只是捕捉了當(dāng)前會話內(nèi)的項(xiàng)目信息，忽略了不同會話之間的項(xiàng)目信息。本文建立基于全局圖和多粒度意圖單元的會話推薦模型（GGMIU），在多粒度意圖單元異構(gòu)會話圖［21］的基礎(chǔ)上，添加跨會話圖［19］以獲取不同會話之間的項(xiàng)目信息。

1 問題描述

會話推薦旨在根據(jù)用戶當(dāng)前的連續(xù)會話數(shù)據(jù)，預(yù)測用戶下一步將單擊哪個項(xiàng)目，并不需要訪問長期偏好配置文件。在本文會話推薦任務(wù)中，設(shè)I={v1，v2，…，v|I|}表示所有會話中用戶產(chǎn)生交互項(xiàng)目的集合，vi表示交互過的項(xiàng)目，|I|表示所有項(xiàng)目的總數(shù)量。一個匿名會話由s={vt1，vt2，…，vtM}表示，其中，tn表示項(xiàng)目在位置n處被點(diǎn)擊的編號，且會話s的長度為M。本文的目標(biāo)是對當(dāng)前會話下一步可能點(diǎn)擊的項(xiàng)目進(jìn)行預(yù)測，即預(yù)測vtM+1。將會話進(jìn)行寫入，模型會依據(jù)輸入數(shù)據(jù)經(jīng)過一系列處理得到候選項(xiàng)目概率值y^，將項(xiàng)目概率值通過排序篩選出概率值最高的前幾個推薦項(xiàng)目，建立候選項(xiàng)目推薦序列。GGMIU 模型框架如圖1 所示。

2 GGMIU 模型

GGMIU 模型是在MIHSG 模型的基礎(chǔ)上進(jìn)行改進(jìn)。MIHSG 模型表示不同的粒度長度有不同的用戶意圖，可從高層次的角度捕捉完整會話意圖，通過圖2（a）進(jìn)行說明。在圖2（a）中，給出會話“面粉-黃油-雞蛋”：當(dāng)粒度長度為1時，該用戶可能想買早餐類，則可以嘗試推薦牛奶；當(dāng)粒度長度為2 時就關(guān)注“黃油-雞蛋”，該用戶可能是想煎雞蛋，則可以嘗試推薦平底鍋；當(dāng)粒度長度為3時，該用戶可能是想制作蛋糕，則可以嘗試推薦烤箱。通過該示例表明，在MIHSG 模型中，單個項(xiàng)目就是最小的粒度，不同的粒度長度有不同的用戶意圖，因此可以從高層次捕捉不同的語義。

圖2 同一會話和不同會話之間的項(xiàng)目信息Fig.2 Project informations between the same session and different sessions

雖然MIHSG 模型效果較好，但是其多粒度意圖單元異構(gòu)會話圖只是捕捉當(dāng)前會話內(nèi)的項(xiàng)目信息，忽略了不同會話之間的項(xiàng)目信息。根據(jù)文獻(xiàn)［19］推測，當(dāng)前會話的項(xiàng)目出現(xiàn)在其他會話時，項(xiàng)目的鄰居信息所展示的行為也能反映當(dāng)前會話的用戶意圖，通過圖2（b）進(jìn)行說明。在圖2（b）中，設(shè)當(dāng)前會話是會話1，會話1 的“雞蛋”也出現(xiàn)在會話2中，其項(xiàng)目對是“雞蛋-油條”，所表現(xiàn)的意圖可能是早餐類，可以嘗試給會話1 的用戶推薦“油條”。又比如，會話1 的“黃油”出現(xiàn)在會話3，其項(xiàng)目對是“美的平底鍋-黃油-雞翅”，所表現(xiàn)的意圖可能是用“平底鍋”煎“雞翅”，可以嘗試給會話1 的用戶推薦“美的平底鍋”。通過該示例表明：利用項(xiàng)目在其他會話中的鄰居信息也能反映相似的用戶意圖，從而更好地推斷當(dāng)前會話的用戶偏好。

2.1 跨會話圖模塊

為了捕獲跨會話級別的項(xiàng)目轉(zhuǎn)換信息，將其用于學(xué)習(xí)所有會話中的項(xiàng)目依賴關(guān)系，根據(jù)WANG等［22］提出的方法進(jìn)行跨會話圖的構(gòu)建。對于當(dāng)前會話的項(xiàng)目，它的近鄰集合N?(v)是在步長?階范圍內(nèi)交互過的項(xiàng)目，其中N表示集合。當(dāng)前會話Sa的節(jié)點(diǎn)vi，a的近鄰集合可以表示如下：

其中：va，i是會話sa的節(jié)點(diǎn)i；i′是會話sa中項(xiàng)目va，i在會話sb的順序位置；?是一個控制項(xiàng)目與項(xiàng)目之間轉(zhuǎn)換建模的超參數(shù)，若?超出范圍，則它捕獲的跨會話項(xiàng)目轉(zhuǎn)換信息會帶有噪聲。

跨會話圖是基于所有會話中的一個?階相鄰項(xiàng)目集構(gòu)建的圖，如圖3 所示。設(shè)Gc=(Vc，Ec)為跨會話圖，其中，c表示跨會話圖，Vc∈I表示所有會話被點(diǎn)擊的項(xiàng)目集合，Ec={ec，i，j}表示邊的集合，ec，i，j表示節(jié)點(diǎn)vi和節(jié)點(diǎn)vj之間的邊，每條邊(vi，vj，ec，i，j)對應(yīng)于所有會話中的兩個成對項(xiàng)目，vi∈I，vj∈N?(vi)。此外，對于每個節(jié)點(diǎn)vi，會為其相鄰邊產(chǎn)生權(quán)重，以區(qū)分鄰居的重要性，即每條邊的權(quán)重是由相應(yīng)邊在所有會話中的頻率確定?？紤]到效率問題，跨會話圖Gc的每個節(jié)點(diǎn)vi只保留最高權(quán)重的邊數(shù)，邊數(shù)自定義。需要注意的是，跨會話圖Gc是一個無向加權(quán)圖，因?yàn)?階鄰居集是無向的。在測試階段，沒有動態(tài)更新跨會話圖Gc的拓?fù)浣Y(jié)構(gòu)。

圖3 跨會話圖的構(gòu)造Fig.3 Construction of cross-session graph

2.2 跨會話表示

受到LI等［23］和WANG等［19］方法的啟發(fā)，根據(jù)在跨會話圖上的傳播特性，編碼來自其他會話的項(xiàng)目轉(zhuǎn)換信息，從而輔助推薦。本文基于圖卷積網(wǎng)絡(luò)的體系結(jié)構(gòu)構(gòu)建，運(yùn)用圖注意力網(wǎng)絡(luò)理論得到連接項(xiàng)目的權(quán)重。每一層都由信息傳播和信息聚合構(gòu)成，先介紹單層，再推廣到多層。

1）信息傳播。一個項(xiàng)目可能涉及多個會話，從中可以獲得有用的項(xiàng)目轉(zhuǎn)換信息，從而有效地輔助當(dāng)前預(yù)測。

設(shè)xv∈Rd（d表示項(xiàng)目嵌入的維度）為項(xiàng)目的向量表示，利用會話感知注意力將鄰居集中的每個項(xiàng)目進(jìn)行線性計算，得到項(xiàng)目的鄰居表示xNc.v，如式（1）所示：其中：ξ(vi，vj)代表不同鄰居的重要性權(quán)重，即一個項(xiàng)目越接近當(dāng)前會話的偏好，這個項(xiàng)目就越重要。ξ(vi，vj)計算如下：

其中：σ為LeakyReLU 激活函數(shù)；⊙表示元素乘積；[；]表示拼接操作；λi，j∈Rm表示跨會話圖的邊(vi，vj)的權(quán) 值；W1∈R(d+1)×d和P1∈R(d+1×1)是可訓(xùn)練的參 數(shù)矩陣；s為當(dāng)前會話的特征，通過計算當(dāng)前會話項(xiàng)目表示的平均值得到。s計算如下：

采用Softmax 激活函數(shù)將項(xiàng)目vi的所有鄰居進(jìn)行系數(shù)規(guī)范化，如式（4）所示：

2）信息聚合。將項(xiàng)目表示xv和項(xiàng)目的鄰居表示xNc，v進(jìn)行聚合得到當(dāng)前跨會話圖的項(xiàng)目vi表示，如式（5）所示：

其中：ψ為ReLU 激活函數(shù)；W2∈Rd×2d為變換權(quán)重。通過聚合器層，項(xiàng)目的表示依賴于它自己及其近鄰項(xiàng)目。采用聚合器從一個層擴(kuò)展到多個層來探索高階連接信息，這樣可以將更多與當(dāng)前會話相關(guān)的信息納入當(dāng)前表示。第u層的一個項(xiàng)目表示計算如式（6）所示：

其中：Γ為聚合函數(shù)；xu-1，v表示由前面的u-1 層信息傳播生成的v項(xiàng)目表示，設(shè)x0，v為xv的初始傳播迭代。由此可知，一個項(xiàng)目的u層表示由它的初始表示和它的鄰居循環(huán)到u層組成。這樣可以將更有效的消息合并到當(dāng)前會話的表示中。

在跨會話表示中，使用丟棄率來避免過度擬合，如式（7）所示：

其中：D為丟棄率函數(shù)。

2.3 連續(xù)意圖單元

當(dāng)前基于會話的推薦方法分別考慮每個項(xiàng)目，但這容易忽略本地會話片段的更高層次的意圖。為了能更加深層次地挖掘用戶在當(dāng)前會話中的意圖，利用項(xiàng)目的連續(xù)意圖單元進(jìn)行提取。連續(xù)意圖單元表示一組連續(xù)相鄰的項(xiàng)目，設(shè)vk，j=(vj，vj+1，…，vj+k-1)為一個連續(xù)的意圖單元，它是一個連續(xù)片段，在原會話中從第j個位置開始到j(luò)+k-1 位置結(jié)束，長度為k，同時將會話的單個項(xiàng)目定義為單粒度，2 個或2 個以上的項(xiàng)目定義為多粒度。為了能更好了解連續(xù)意圖單元的結(jié)構(gòu)，通過圖4 進(jìn)行說明。在圖4中，2 級連續(xù)意圖單元v2，1是從原會話{v1，v3，v2，v4，v3，v2}第1 個位置開始且長度為2 的連續(xù)片段，v2，2是從原會話第2 個位置開始且長度為2 的連續(xù)片段(v3，v2)，其他以此類推。連續(xù)意圖單元的長度k用粒度級別來表示，即k級連續(xù)意圖單元的粒度級別為k。需要注意的是同級的意圖單元是不重復(fù)的。

圖4 連續(xù)意圖單元、k 級意圖會話圖和多粒度意圖單元異構(gòu)會話圖的構(gòu)造Fig.4 Construction of continuous intention unit，k-level intention session graph and multi-granularity intention unit heterogeneous session graph

對于會話s，vk，j的k級連續(xù)意圖單元的意圖用xk，j表示，如式（8）所示：

其中：R 是Readout 函數(shù)。

為了提取高階意圖單元的完整意圖，考慮使用基于序列和基于集合的Readout 函數(shù)分別得到xk，q，j和xk，p，j。一方面xk，q，j能得到節(jié)點(diǎn)順 序相關(guān)的潛在 信息，另一方面xk，p，j能得到節(jié)點(diǎn)順序無關(guān)的潛在信息。為此，vk，j的k級連續(xù)意圖單元的意圖計算如式（9）所示：

其中，xk，q，j∈R1×d可通過門控遞歸單元得到；xk，p，j∈R1×d可通過平均值和最大值得到。

2.4 意圖會話圖和多粒度意圖單元異構(gòu)會話圖

設(shè)有向圖Gk，s=(Vk，s，Ek，s)為k級意圖會話圖，其中，節(jié)點(diǎn)Vk，s表示k級連續(xù)意圖單元，Ek，s是兩個k級連續(xù)意圖單元的邊，s表示會話。將不同k級意圖會話圖統(tǒng)一，得到多粒度意圖單元異構(gòu)會話圖。在多粒度意圖單元異構(gòu)會話圖中，節(jié)點(diǎn)vk的邊類型有粒度內(nèi)邊（?）和粒度間邊（?），粒度內(nèi)邊在同級意圖會話圖中進(jìn)行項(xiàng)目之間的連接，粒度間邊將1 級和高級意圖會話圖進(jìn)行連接。在3級意圖會話圖中能構(gòu)造6條粒度間邊，分別是(v3，1，?，v1，4)、(v1，1，?，v3，2)、(v3，2，?，v1，2)、(v1，2，?，v3，3)、(v3，3，?，v1，3)和(v1，3，?，v3，4)。針對(v3，1，?，v1，4)，v3，1是從原會話第1 個位置開始且長度為3 的連續(xù)片段(v1，v3，v2)，v1，4是從原會話第4 個位置開始的項(xiàng)目v4且是連續(xù)片段(v1，v3，v2)的后一個項(xiàng)目，又因?yàn)榱６乳g邊是將1 級和高級意圖會話圖進(jìn)行連接，因此粒度間邊將v3，1和v1，4連接。針 對(v1，1，?，v3，2)和(v3，2，?，v1，2)，v3，2是從原會話第2 個位置開始且長度為3 的連續(xù)片段(v3，v2，v4)，v1，1是原會話第1 個位置的項(xiàng)目v1且是原會話片段(v3，v2，v4)的前一個項(xiàng)目，v1，2是從原會話第2 個位置開始的項(xiàng)目v3且是原會話片段(v3，v2，v4)的后一個項(xiàng)目，同時因?yàn)榱６乳g邊是將1 級和高級意圖會話圖進(jìn)行連接，所以粒度間邊將v3，2和v1，1、v1，2分別進(jìn)行連接，其他以此類推。

2.5 連續(xù)意圖單元會話學(xué)習(xí)

采用異構(gòu)圖注意力（Heterogeneous Graph ATtention，HGAT）網(wǎng)絡(luò)得到每個連續(xù)意圖單元的表示。對于有向邊(α，e，β)，其中，e是邊，α和β分別表示為源和目標(biāo)意圖單元，同時可表示任何粒度級別。在一個k級的異構(gòu)會話圖中，將kα∈{1，2，…，K}和kβ∈{1，2，…，K}分別定義為意圖單元α和β的粒度級別。ε定義為邊緣類型，它包含粒度內(nèi)邊和粒度間邊。在異構(gòu)圖注意力網(wǎng)絡(luò)的每一層中，通過注意力機(jī)制聚合內(nèi)鄰居和外鄰居的表示。內(nèi)鄰居集合Nε計算如式（10）所示：

其中：Λ為Softmax 函數(shù)；Wl，ε∈Rd×d和al，ε∈R2d×1是權(quán)重；B0，α=xα和B0，β=xβ分別是意圖單元α和β的初始表示；Bl，α和Bl，β分別表示意圖單元α和β在HGAT 上的第l層表示。

同時，利用多向注意力機(jī)制通過Readout 函數(shù)得到輸出節(jié)點(diǎn)的表示，如式（11）所示：

其中：i表示注意力的頭數(shù)索引；H為注意力機(jī)制的總頭數(shù)。

因?yàn)楫悩?gòu)會話圖為有向圖，每個節(jié)點(diǎn)都具有來自內(nèi)鄰居和外鄰居的上下文。為從兩個方向提取上下文信息，應(yīng)用HGAT 來聚合內(nèi)鄰居和外鄰居信息以生成節(jié)點(diǎn)表示。因此，對于該圖的每個意圖單元v，聚合v兩個方向的嵌入，即和，其中，表示v左邊方向的信息嵌入表示v右邊方向的信息嵌入。節(jié)點(diǎn)v的最終表示Bl+1，v為兩個方向的嵌入之和以及會話中所有節(jié)點(diǎn)嵌入的平均值之和其中，表示會話中所有節(jié)點(diǎn)的嵌入平均值之和。

利用局部表示Hk，l和全局表示Hk，g挖掘連續(xù) 意圖單元每個級別的用戶偏好。當(dāng)給出會話si和相應(yīng)的連續(xù)意圖單元嵌入Bk，i∈Rd(i=1，2，…，nk，k=1，2，…，K)時，將最后一個意圖單元Bk，nk作為局部表示Hk，l，軟注意力機(jī)制得到全局表示Hk，g，其中，nk是k級意圖單元數(shù)，K是意圖級別數(shù)。

全局表示Hk，g通過聚合所有意圖單元的嵌入來表示。設(shè)C={Bk，i|i=1，2，…，nk，k=1，2，…，K}為意圖的上下文集合，Bc是上下文集合中的一個嵌入。Hk，g計算過程如下：

其中：Wk，0∈Rd；Wk，3∈Rd×d；Wk，4∈Rd×d；bk∈Rd為可學(xué)習(xí)的權(quán)重；σ(·)為Sigmoid 函數(shù)；χk，c為權(quán)重系數(shù)。

最后，將全局表示、局部和跨會話表示相拼接，得到連續(xù)意圖單元的每個級別用戶偏好，如式（14）所示：

其中：Wk，5為權(quán)重。

2.6 意圖融合排序和預(yù)測

式（14）生成的不同粒度級別會話嵌入(H1，s，…，Hk，s，…，HK，s)通過意圖融合排名（IFR）機(jī)制［21］融合所有粒度級別的意圖預(yù)測推薦結(jié)果得到用戶的意圖。首先根據(jù)每一級的意圖得到一個單獨(dú)的推薦；然后將結(jié)果進(jìn)行融合形成最終的推薦；最后對于每個k級別意圖，可采用內(nèi)積來計算候選項(xiàng)目意圖和k級別會話嵌入之間的相似度。對于候選項(xiàng)集I={v1，v2，…，v|I|}，計算項(xiàng)目vi的意圖在會話嵌入Hk，s和x1，i之間的相似度，如式（15）所示：

其中：＜，＞是內(nèi)積運(yùn)算。

同時，受文獻(xiàn)［24-25］的啟發(fā)，可對會話重復(fù)點(diǎn)擊行為和探索行為進(jìn)一步分析以提高準(zhǔn)確性，這首先需要將內(nèi)部會話項(xiàng)目和外部會話項(xiàng)目分開，通過使用Softmax 函數(shù)進(jìn)行歸一化，計算過程如下：

其中：R={r1，…，ri，…，r|R|}為內(nèi)部會話項(xiàng)目，O={o1，…，oi，…，o|O|}為外部會話項(xiàng)目，|R| +|O|=|I|；∈R和∈O分別是內(nèi)部會話項(xiàng)目和外部會話項(xiàng)目的概率分布。然后使用一個鑒別器來重新加權(quán)項(xiàng)目得分，以平衡重復(fù)點(diǎn)擊和探索點(diǎn)擊之間的焦點(diǎn)。分?jǐn)?shù)y就是這兩部分的組合，計算過程如下：

其中：W6∈Rd×2、W7∈Rd×d為權(quán)重矩陣；πk，r、πk，o為權(quán)重系數(shù)。

式（16）～式（18）為重復(fù)探索規(guī)范化（RENorm）策略的具體過程。

遵循意圖融合排序機(jī)制，通過一個加權(quán)和運(yùn)算符聚合各個層次的意圖所產(chǎn)生的概率分布得到最終的概率分布y^，計算過程如下：

其中：和yk為標(biāo)準(zhǔn)化權(quán)重；θk為每個概率分布的可學(xué)習(xí)因素。

最后使用交叉熵函數(shù)作為損失函數(shù)，計算如下：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)預(yù)處理

采用Diginetica 和Tmall 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)評估GGMIU 模型的性能。在Diginetica 數(shù)據(jù)集中，使用的數(shù)據(jù)是其用戶的互動信息，可以從CIKM Cup2016比賽下載得到。在Tmall 數(shù)據(jù)集中，使用的數(shù)據(jù)是隱藏個人信息的用戶在天貓電商上的購買信息，數(shù)據(jù)可從IJCA15 大賽下載得到。實(shí)驗(yàn)?zāi)７翿ENDLE等［13］提出的預(yù)處理方式，篩選數(shù)據(jù)集中數(shù)據(jù)長度是1的會話，同時去除測試集中點(diǎn)擊次數(shù)低于5 的項(xiàng)目。經(jīng)過上述預(yù)處理后，Diginetica 數(shù)據(jù)集剩下43 097 個項(xiàng)目，Tmall 數(shù)據(jù)集剩下40 728 個項(xiàng)目。此外，為了能有更多的會話數(shù)據(jù)進(jìn)行訓(xùn)練，將每個會話進(jìn)行再次劃分，具體為：對于每個會話s={ts，1，ts，2，…，ts，m}，劃分為點(diǎn)擊項(xiàng)序 列以及對應(yīng)的標(biāo)簽，即([ts，1]，ts，2)，([ts，1，ts，2]，ts，3)，…，([ts，1，ts，2，…，ts，m-1]，ts，m)，應(yīng)用于這兩個數(shù)據(jù)集的訓(xùn)練和測試。數(shù)據(jù)集統(tǒng)計信息如表1所示。

表1 數(shù)據(jù)集信息Table 1 Data set information

3.2 評價指標(biāo)

實(shí)驗(yàn)選用推薦系統(tǒng)經(jīng)常使用的兩個評價指標(biāo)：平均倒數(shù)排名（Mean Reciprocal Rank，MRR）和精確度（Precision，P）進(jìn)行模型有效性測試。同時，選用概率值最高的前10 或者20 個推薦項(xiàng)目作為候選項(xiàng)目推薦序列。

MRR@20 表示正確推薦項(xiàng)目在前20 個推薦項(xiàng)目中位置倒數(shù)的平均值。若正確推薦項(xiàng)目未出現(xiàn)在推薦序列上，則MRR@20 值為0。值越高，表明算法預(yù)測性能越好，計算如下：

其中：N表示測試集樣本總數(shù)；M表示正確推薦項(xiàng)目在推薦序列前20 個中所占的數(shù)量；τ(it)表示推薦列表中推薦項(xiàng)目i所在的位置。

P@20 常作為推薦系統(tǒng)預(yù)測精確度的衡量指標(biāo)，表示正確推薦的項(xiàng)目在前20 個項(xiàng)目中的比例，計算如下：

其中：V表示返回前20 個推薦項(xiàng)目中正確推薦的項(xiàng)目數(shù)。

3.3 實(shí)驗(yàn)參數(shù)設(shè)定

在驗(yàn)證集上選取其他超參數(shù)，驗(yàn)證集是訓(xùn)練集的10%隨機(jī)子集。所有參數(shù)均采用高斯分布初始化，均值為0、標(biāo)準(zhǔn)差為0.1。GGMIU 模型設(shè)定節(jié)點(diǎn)隱向量的維度d為100，迭代次數(shù)為20，訓(xùn)練批次大小為100。此外，模型使用Adam 算法優(yōu)化器，初始學(xué)習(xí)率為0.001，每迭代3 次學(xué)習(xí)率衰減0.1，正則化系數(shù)為10-5。實(shí)驗(yàn)參考文獻(xiàn)［19，21］，設(shè)置評估指標(biāo)連續(xù)迭代3 次小于最佳指標(biāo)則停止迭代。

3.4 對比模型

對比模型具體如下：

1）Item-KNN，基于當(dāng)前會話的項(xiàng)目和其他會話的項(xiàng)目之間的相似度來推薦項(xiàng)目。

2）GRU4Rec［14］，是一種通過門控循環(huán)單元捕捉用戶序列的依賴關(guān)系的模型。

3）NARM［15］，是一種基于RNN 的通過注意力機(jī)制捕捉當(dāng)前會話用戶意圖的模型。

4）SR-GNN［17］，在圖神經(jīng)網(wǎng)絡(luò)層獲得項(xiàng)目嵌入，對最后一個項(xiàng)目應(yīng)用注意力機(jī)制，以計算基于會話推薦的會話級嵌入。

5）GCE-GNN［19］，首先通過構(gòu)建會話圖和全局圖，學(xué)習(xí)全局項(xiàng)目嵌入層和會話項(xiàng)目嵌入層，然后利用軟注意力機(jī)制聚合兩層的項(xiàng)目嵌入得到會話嵌入，最后添加位置信息以獲得最終結(jié)果。

6）DHCN［20］，利用基于超圖的神經(jīng)網(wǎng)絡(luò)捕獲項(xiàng)目之間的高階信息，并將自監(jiān)督學(xué)習(xí)作為增強(qiáng)超圖建模的輔助方法。

7）MIHSG［21］，通過構(gòu)造多粒度意圖單元異構(gòu)會話圖從高層次的角度捕捉完整的會話意圖。

3.5 與MIHSG 模型的比較

GGMIU 模型是在多粒度意圖單元異構(gòu)會話圖的基礎(chǔ)上添加了跨會話圖。為了證明GGMIU 模型的有效性，與沒有加入跨會話圖的MIHSG 模型在Tmall 和Diginetica 數(shù)據(jù)集上進(jìn)行比較，如圖5 和圖6所示。由圖5 和圖6 可以看出，在Tmall 和Diginetica數(shù)據(jù)集上，GGMIU 和MIHSG 模型均在第4 次迭代后MRR@20 和P@20 指標(biāo)未出現(xiàn)劇烈波動，模型趨于平穩(wěn)，GGMIU 模型在MRR@20 和P@20 指標(biāo)上的表現(xiàn)優(yōu)于MIHSG 模型，且差距也趨于穩(wěn)定。由此可以證明添加了跨會話圖的模型能更深層次地挖掘不同會話之間的潛在信息，從而提高模型推薦效果。

圖5 Tmall 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results on the Tmall data set

圖6 Diginetica 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results on the Diginetica data set

3.6 整體性能比較

GGMIU 模型和基線模型在兩個真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示，其中，使用粗體突出每列的最佳結(jié)果，下劃線表示次優(yōu)結(jié)果。由表2 可以看出，GGMIU 模型表現(xiàn)最優(yōu)，并得到以下結(jié)論：

表2 不同模型在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of different models on two data sets %

1）SR-GNN、GCE-GNN、DHCN、MIHSG、GGMIU等應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的模型比Item-KNN、GRU4Rec、NARM 等沒有應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的模型預(yù)測效果更好，這是因?yàn)閳D神經(jīng)網(wǎng)絡(luò)模擬會話中項(xiàng)目轉(zhuǎn)換關(guān)系建模成圖能更好地捕獲項(xiàng)目之間的依賴關(guān)系，證明了基于圖神經(jīng)網(wǎng)絡(luò)的模型更適合會話推薦。

2）除了Diginetica 數(shù)據(jù)集上的P@20 指標(biāo)外，MIHSG 模型優(yōu)于SR-GNN、GCE-GNN 和DHCN 模型。這是因?yàn)镾R-GNN、GCE-GNN 和DHCN 模型只是孤立地考慮會話中的每一項(xiàng)，沒有從高層次的角度捕捉會話語義，MIHSG 模型通過多粒度連續(xù)用戶意圖單元從高層次角度捕捉會話完整的意圖，從而提高了模型性能。

3）GGMIU 模型優(yōu)于所有模型，相較于MIHSG 最優(yōu)基線模型在Tmall 數(shù)據(jù)集上 的MRR@20 和P@20上增益分別高達(dá)2.12%和1.27%。這是因?yàn)镚GMIU模型在多粒度意圖單元異構(gòu)會話圖的基礎(chǔ)上，添加了跨會話的全局圖，以獲取不同會話之間項(xiàng)目的信息?？梢?，GGMIU 模型不僅考慮了高層次角度的會話語義，而且還考慮了跨會話角度的項(xiàng)目信息，從而提高了模型精度。

3.7 參數(shù)調(diào)整實(shí)驗(yàn)

跨會話表示的丟棄率是影響模型性能的重要因素。在Tmall 和Diginetica 數(shù)據(jù)集上探究不同的丟棄率對模型性能的影響，如圖7 所示。由圖7 可以看出，在丟棄率為0.3時，GGMIU 模型在Tmall 數(shù)據(jù)集上能取到P@20 和MRR@20 的最大值，因此在Tmall數(shù)據(jù)集上取丟棄率為0.3 更合適。在丟棄率為0.3 和0.1時，GGMIU 模型在Diginetica 數(shù)據(jù)集上能取 到P@20和MRR@20 的最大值，但在丟棄率為0.1 時P@20 和MRR@20 的差值小于在丟棄率為0.3 的差值，因此在Diginetica 數(shù)據(jù)集上取丟棄率為0.1 更合適。

圖7 在Tmall 和Diginetica 數(shù)據(jù)集上的不同丟棄率分析Fig.7 Analysis of different dropouts on the Tmall and Diginetica data sets

3.8 消融實(shí)驗(yàn)

項(xiàng)目的推薦概率結(jié)果由IFR 和RENorm 決定。為了研究IFR 和RENorm 的有效性，進(jìn)行消融實(shí)驗(yàn)，如表3 所示，其中，使用粗體突出每列的最佳結(jié)果，GGMIU 模型結(jié)合IFR 和RENorm，模 型1 移除了RENorm，模型2 移除了IFR。由表3 可以看出，結(jié)合IFR 和RENorm 的GGMIU 模型結(jié)果遠(yuǎn)優(yōu)于模型1 和模型2，在Tmall 數(shù)據(jù)集上的MRR@20 和P@20 增益分別高達(dá)11.20%和17.42%。這說明將探求會話重復(fù)點(diǎn)擊行為和探索行為的RENorm 與融合所有粒度級別的意圖預(yù)測推薦結(jié)果的IFR 相結(jié)合達(dá)到了較好的推薦效果，這也證明了每個模塊都是有效的。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment %

3.9 隱向量維度對模型性能的影響

為了方便GGMIU 模型與其他模型進(jìn)行比較，設(shè)置隱向量維度d為100，其實(shí)不同的隱向量維度會影響GGMIU 模型的推薦效果。在本節(jié)中，通過設(shè)置隱向量維度d為50、100、150、200、250 和300，分析隱向量維度d對模型性能的影響，如圖8 所示。由圖8 可以看出，隨著隱向量維度d的增加，MRR@20 和P@20 指標(biāo)也隨之增加，當(dāng)達(dá)到一定的維度時，指標(biāo)開始下降。對于Tmall 數(shù)據(jù)集：在隱向量維度d提升到100后，MRR@20 指標(biāo)開始趨于平穩(wěn)；在隱向量維度d提升到250后，P@20 指標(biāo)開始下降。對于Diginetica數(shù)據(jù)集：在隱向量維度d提升到150時，MRR@20 指標(biāo)開始下降；

圖8 隱向量維度d 對模型效果的影響Fig.8 Influence of hidden vector dimension d on model effect

在隱向量維度d提升到200時，P@20 指標(biāo)開始下降。由此可知，即使同一個數(shù)據(jù)集，不同的評估指標(biāo)對應(yīng)的最優(yōu)隱向量維度d是不同的。在一定范圍內(nèi)，增加隱向量維度d有助于模型預(yù)測效果的提升，但繼續(xù)提高維度效果反而會越來越差，不僅容易導(dǎo)致過擬合，而且會加大計算代價。綜合考慮性能和計算代價來看，在Tmall 和Diginetica 數(shù)據(jù)集上，GGMIU 模型的隱向量維度d設(shè)為200 更合適。

4 結(jié)束語

本文考慮了會話信息表示中當(dāng)前會話的高層次會話語義和不同會話間的項(xiàng)目信息，建立基于全局圖和多粒度意圖單元的會話推薦模型。首先構(gòu)造跨會話圖，利用圖神經(jīng)網(wǎng)絡(luò)得到跨會話表示；接著在連續(xù)意圖單元上構(gòu)造多粒度意圖單元異構(gòu)會話圖，得到全局和局部表示；最后將三者表示進(jìn)行融合，捕獲會話中項(xiàng)目之間的復(fù)雜依賴關(guān)系。三者所融合的表示經(jīng)過會話重復(fù)點(diǎn)擊和探索行為分析后，聚合所有級別的單元預(yù)測結(jié)果得到最終的預(yù)測概率值。通過大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的有效性。后續(xù)將對多粒度意圖單元異構(gòu)圖做進(jìn)一步改進(jìn)，探究意圖單元的潛在信息以挖掘用戶的意圖，提高推薦性能。