圖神經(jīng)網(wǎng)絡會話推薦系統(tǒng)綜述

朱志國，李偉玥，姜 盼，周沛瑤

東北財經(jīng)大學 管理科學與工程學院，遼寧 大連 116025

推薦系統(tǒng)旨在幫助用戶從紛繁復雜的數(shù)據(jù)中提取出感興趣的信息，在提高效率的同時，也有助于提升用戶滿意度與平臺效益。近十年來推薦系統(tǒng)技術得到了長足發(fā)展，不僅成為學術界的研究熱點之一，也已經(jīng)成功地運用在電商、新聞和音樂推薦等多個場景中[1]。其中，會話推薦（包括基于會話的推薦與會話感知推薦，但不包括普通序列推薦）旨在以用戶當前的項目交互序列為主，以歷史會話數(shù)據(jù)、場景、知識圖譜等信息為輔，重在通過各種方式捕捉用戶的當前興趣，如圖1所示。

圖1 普通序列、基于會話和會話感知推薦的概念區(qū)分Fig.1 Concept distinction of recommendation among sequence-based，session-based and session-aware

此前，會話推薦領域的相關工作大多基于多種循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN），或采用RNN結合多種注意力機制，亦或是基于純注意力機制和復雜結構的多層感知機（multi-layer perceptron，MLP），同時結合豐富的輔助信息來捕獲項目間的依賴關系。雖然這些會話推薦系統(tǒng)能夠捕捉到項目間的順次轉換關系，但是在當前會話中捕捉項目間遠距離的非嚴格時序轉換關系，或在全局會話環(huán)境中捕捉項目間多對多的復雜關聯(lián)關系時，其性能有待提升[2]。

圖神經(jīng)網(wǎng)絡（graph neural network，GNN）是可從非歐式數(shù)據(jù)的圖結構數(shù)據(jù)中，根據(jù)目標節(jié)點的鄰域信息學習特征的神經(jīng)網(wǎng)絡結構。近些年來GNN的發(fā)展十分迅速，并已在生物醫(yī)學工程[3]、自然語言處理[4]、社交定位[5]、計算機視覺[6]、金融預測[7]等領域得到了一定研究。由于用戶社交關系、用戶或項目知識圖譜等信息可直接表示為圖，并且用戶-項目交互關系和原始會話序列等信息可以轉換為圖，同時GNN提供了可融合多種信息的統(tǒng)一框架，學者們提出了基于多種圖神經(jīng)網(wǎng)絡的會話推薦系統(tǒng)[8-10]，旨在根據(jù)多種信息源學習，得到融合了豐富特征的目標節(jié)點向量，實現(xiàn)基于用戶特征的個性化精準推薦。

目前，已經(jīng)有學者以不同的分類標準，對基于GNN的推薦系統(tǒng)進行了對比分析[1，11]，但是其中鮮有對會話推薦相關工作的最新工作進展評述。因此，本文將從問題定義和會話推薦中需要考慮的因素出發(fā)，然后根據(jù)模型的不同算法原理，將諸多基于GNN的會話推薦系統(tǒng)進一步細分為：基于圖卷積網(wǎng)絡（graph convolutional network，GCN）、門控圖神經(jīng)網(wǎng)絡（gated graph neural network，GGNN）和圖注意力網(wǎng)絡（graph attention networks，GAT）及其他結構的會話推薦系統(tǒng)共四大類進行評述。隨后根據(jù)各工作的實驗部分展開綜合對比討論，力圖展現(xiàn)出GNN在會話推薦系統(tǒng)中的應用與研究前沿進展概貌。最后，提出了對該領域未來研究的一些思考和展望。

1 會話推薦中的考慮因素

總結起來，如圖2所示，會話推薦任務中需要考慮的因素大體可分為如下三類：用戶因素、項目因素和情景因素。

圖2 會話推薦任務中的因素Fig.2 Factors in session recommendation task

（1）用戶因素：如果能獲取到用戶的信息，則可以根據(jù)其人口統(tǒng)計學特征、設備、社交關系和收入水平等信息來推斷出該用戶的興趣偏好。

（2）項目因素：主要包括相對穩(wěn)定的靜態(tài)特征和隨時間變動較為明顯的動態(tài)特征。靜態(tài)特征主要包括項目參數(shù)（如尺碼、價格等）、所屬類別（即項目對應的分類信息）、發(fā)行者信息（如商品對應的生產(chǎn)商、新聞對應的記者等）；動態(tài)特征主要指該項目的熱度高低，比如近期熱門新聞或爆火的網(wǎng)紅商品可認為是流行項目。

（3）情景因素：主要包括用戶所處環(huán)境、近期熱點事件、季節(jié)與時間、當前流行項目特征（如當季流行配色與款式等）。這些情景因素可能會對項目因素產(chǎn)生較大影響，并且場景因素也會在一定程度上影響到用戶的長短期興趣[12-13]。

2 基于GNN的會話推薦系統(tǒng)構圖分析

對于基于GNN的會話推薦系統(tǒng)而言，如何將原始的會話序列高效地轉換為相應的會話圖，是首要且重要的問題。如圖3所示，SR-GNN模型[8]首次提出將會話序列轉換為會話圖進行處理，即以會話中的項目為節(jié)點、以項目間的鄰接順次轉換關系為邊、以歸一化鄰接矩陣中的值為邊權重構圖。

圖3 SR-GNN模型的經(jīng)典構圖方式示例Fig.3 Traditional graph constructing method in SR-GNN

這種經(jīng)典的構圖方式實現(xiàn)了序列式數(shù)據(jù)到圖數(shù)據(jù)的轉換，使得全局項目間的依賴關系更為直觀和易于捕捉。此后，一些學者將用戶節(jié)點、項目所屬類別、用戶行為類別（如點擊、購買、分享）等多種類型的節(jié)點加入圖中或單獨構圖，同時引入了豐富類型的邊，使模型可以直接學習到多元節(jié)點間的豐富交互關系，隨后可將各類信息與項目特征相融合，以獲得更為豐富的項目表示。如圖4（a）所示，SE-Frame模型[14]在構造會話圖時，考慮到了用戶節(jié)點，從而在圖學習時可直接捕捉到用戶與項目的豐富交互信息；SR-HetGNN模型[15]則進一步將會話作為節(jié)點加入異構圖中，使模型能夠從全新角度學習整個會話的特征表示。圖4（b）所示的GNNH模型[16]異構圖將用戶的不同交互行為視為邊特征，并分別應用于項目圖和類別圖，使得模型能夠?qū)W習到包含多種用戶交互行為特征的項目及其所屬類別的表示向量。

圖4 包含多種節(jié)點與邊的復雜異構圖Fig.4 Complex heterogeneous graph with diverse nodes and edges

一些學者為了更加充分地挖掘項目間的上下文關系而去除了邊的方向信息，提出了DSGNN模型[17]、TAGNN模型[18]中的無向加權項目圖，此類會話圖可以將全局項目間轉換關系更加明晰地顯示出來。

還有一些學者提出了更加具有創(chuàng)意的會話圖構造方式，例如SGNN-HN模型[19]中的星型圖、DHCN模型[20]中的超圖及其對應線圖等，如圖5（a）和（b）所示。星型圖中的不相鄰節(jié)點可通過中心節(jié)點以兩跳的方式相連，使得模型更易捕捉到遠程項目的關聯(lián)關系；而超圖則直接忽略了項目間的順次連接關系，從會話的層面探索項目間的相關關系，線圖則映了超圖的連通性，可直接越過項目級，從更高層面上探索會話間的關系。

針對部分基于GNN的會話推薦模型中存在的有損會話編碼和難以捕捉項目間遠距離依賴關系的問題，LESSR模型[21]在將會話序列轉換為會話圖的過程中，加入了邊順序信息，從而避免了時序信息丟失問題；并在原始會話圖的基礎上提出了快速連接圖，其中新加入遠距離項目間的邊使模型得以更加全面地捕獲項目間的遠距離依賴關系，如圖5（c）所示。而SR-LSG模型[22]也提出了一種類似于LESSR模型中保持邊順序的會話圖，如圖5（d）所示。兩者的區(qū)別在于LESSR模型圖中的邊編號由指向目標節(jié)點不同邊的順序確定，而SR-LSG模型圖中的邊編號由會話項目順序確定。

圖5 部分新型的會話圖結構Fig.5 Some creative session graph structure

在優(yōu)化邊權重的相關工作中，除了根據(jù)近鄰矩陣或進一步將數(shù)值歸一化后設置邊權重的經(jīng)典方法外，SR-HGNN模型[23]通過累乘原始未加權的近鄰矩陣來構造不同階數(shù)的高階近鄰矩陣，以直接捕捉項目間的高階關系；Disen-GNN模型[24]將項目分解為因子級表示，并由此提出了因子級相似性矩陣。另外，一些基于GAT或注意力增強的GGNN的會話推薦系統(tǒng)也可通過動態(tài)更新邊權重捕捉用戶不斷變化的興趣。

總的來說，SR-GNN式的會話圖構造方式使得GNN能夠間接處理序列式的會話數(shù)據(jù)。隨后，各學者受此啟發(fā)，從節(jié)點類型、鏈接屬性等方面基于經(jīng)典會話圖進行優(yōu)化。在此過程中，豐富的用戶側和項目側邊信息（side-information）以及多種圖結構變換極大地豐富了原始會話圖中的數(shù)據(jù)，使得GNN有機會學習到包含更多信息的項目特征表示，從而提升了推薦結果的精準性。然而，優(yōu)化會話圖的方式可能會帶來更多噪聲信息。因此，可以嘗試采用多種形式的注意力機制對特征提取結果進行去噪，以減輕非關鍵信息對特征提取的負面影響。

3 不同GNN架構下的會話推薦系統(tǒng)研究進展

基于GNN的會話推薦系統(tǒng)大多首先將會話序列轉換為會話圖，并將多個會話圖合并為全局會話圖；然后通過圖神經(jīng)網(wǎng)絡中的多種架構形式（如：GCN、GGNN、GAT等）聚合目標節(jié)點的近鄰節(jié)點信息，從而精準捕獲到n跳(n∈Z+)的鄰域信息。隨后，結合項目本身的信息、項目間的復雜轉換關系和用戶與項目的交互信息生成包含多種豐富信息的項目表示，進而基于注意力機制、循環(huán)神經(jīng)網(wǎng)絡等模塊生成較為精確的會話表示。最后綜合用戶表示、會話表示和項目表示等特征計算各候選項目的推薦得分，實現(xiàn)精準推薦。

與完全基于循環(huán)神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡等結構的會話推薦系統(tǒng)不同，圖數(shù)據(jù)結構具有良好的可擴展性，能將多種性質(zhì)的節(jié)點與邊融入會話圖中，這極大地豐富了會話圖中的信息。因此，本章將基于GNN的會話推薦系統(tǒng)進一步劃分為基于GCN、GAT、GGNN及其他GNN架構的四類模型，并分別對各算法原理下的相關工作展開梳理、評述與總結。

3.1 基于GCN架構的會話推薦系統(tǒng)

GCN將傳統(tǒng)卷積神經(jīng)網(wǎng)絡對二維網(wǎng)格型數(shù)據(jù)的卷積運算推廣至圖數(shù)據(jù)，其基本思想是通過對基于圖的拉普拉斯矩陣進行一階特征分解，聚合目標節(jié)點自身和近鄰節(jié)點的特征，從而得到目標節(jié)點表示。圖6（a）表示二維卷積網(wǎng)絡對網(wǎng)格型數(shù)據(jù)的處理，即通過一定算法聚合目標節(jié)點及其周圍八個相鄰節(jié)點的特征。以生成節(jié)點表示。由于過濾器的大小固定不變，因此近鄰節(jié)點的個數(shù)也是固定不變的。而圖6（b）展示的GCN雖然也是根據(jù)一定方法聚合目標節(jié)點的近鄰節(jié)點特征以生成節(jié)點表示，但由于不依賴于固定尺寸的過濾器，即不要求近鄰節(jié)點的個數(shù)恒定，因此該算法更為靈活。

圖6 傳統(tǒng)二維卷積與圖卷積的區(qū)別Fig.6 Difference between traditional 2D convolution and graph convolution

基于GCN的會話推薦系統(tǒng)大多基于線性變換和非線性變換結合的消息傳遞機制，根據(jù)目標節(jié)點的鄰域信息學習其特征表示，如公式（1）所示：

其中，H(l)為第l層的節(jié)點隱狀態(tài)矩陣，ψ(·)為復雜的非線性函數(shù)，例如MLP、加性注意力機制等。A為鄰接矩陣，為了在信息傳播和聚合過程中考慮到節(jié)點自身信息，因此令對應的度矩陣，且有

從多關系項目圖中學習項目特征表示時，MGNNSPred模型[25]和GNNH模型[16]首先根據(jù)目標行為和輔助行為及前后項目的兩兩組合得到四類節(jié)點集合，并分別使用均值池化方式聚合每個集合中的節(jié)點，最后采用加和池化的方式進行聚合。其中，MGNN-SPred模型通過正則累加和門控聚合的方式通過目標行為序列和輔助行為序列直接得到了會話表示向量；而GNNH模型還在多關系特征圖上進行了類似的GCN操作，并獲得了在會話中用戶對不同特征的興趣。

DGTN模型[26]在更新會話圖節(jié)點信息時，去除了非線性激活函數(shù)，并將權重矩陣進行折疊，僅根據(jù)規(guī)范化后的近鄰節(jié)點向量對會話內(nèi)和會話間的項目節(jié)點信息進行特征學習。而DHCN模型[20]使用新穎的超圖及其線圖對會話序列進行建模，并基于超圖卷積對項目節(jié)點特征進行學習。COTREC框架[27]采用了與DHCN模型類似的聚合算法，兩者區(qū)別在于該框架使用項目視圖和會話視圖的概念取代了DHCN模型中的超圖概念。

GCN作為一種有效的局部特征提取算法，可對目標節(jié)點的數(shù)個K階近鄰節(jié)點的信息進行聚合來獲得目標節(jié)點的最終表示。現(xiàn)根據(jù)GCN在會話推薦系統(tǒng)中的作用，將部分代表工作進行分類，如表1所示。

從表1中可以看出，GCN的主要作用是學習會話圖中各項目節(jié)點的特征表示，并根據(jù)后續(xù)模型任務，通過多種讀出函數(shù)生成局部或全局會話表示。由于GCN難以捕捉項目間的時序依賴關系，因此在學習用戶長短期興趣時，還會引入GRU[28-29]和多種注意力機制[9，16，20，27，29，31，33]。為了更好地學習項目間的遠距離近鄰上下文特征，大多數(shù)模型采用了堆疊GNN的方式，然而這會帶來非常嚴重的過度平滑問題。一些模型[29-31]通過修改GCN的消息傳遞算法，有效地解決了此類問題。此外，由于經(jīng)典的監(jiān)督任務欠缺實踐價值，不少相關工作引入對比學習[20]、多任務學習[33]等自監(jiān)督訓練方式，通過挖掘不同角度下的自監(jiān)督信號，實現(xiàn)對特征的自適應學習；還有部分工作[32]從提升模型實時學習能力的角度進行優(yōu)化。

表1 GCN架構在各會話推薦系統(tǒng)中的作用Table 1 Role of GCN among session recommendation system

當從短會話中推斷用戶的興趣偏好時，基于GCN的會話推薦系統(tǒng)性能尚可，但是當會話序列較長時，此類模型的性能往往有待提升。其主要原因是在長會話中學習各項目的特征表示時，需要更多的鄰域信息，因此在堆疊GNN的過程中帶來了嚴重的過度平滑問題。此外，每當會話圖中添加新的節(jié)點時都需要重新進行圖推理，而不是采用增量方式計算，因此部分基于GCN的會話推薦系統(tǒng)的可擴展性還有待提升。

總體上，基于GCN的會話推薦系統(tǒng)立足于會話圖結構，通過多種圖卷積算法學習各節(jié)點的特征表示。相關工作主要以在線購物場景為主，向在線音樂、短視頻、興趣點等場景進行延伸，在多個場景下保持著較高的推薦精準度。根據(jù)相關工作的實驗報告，GNN-GNF模型[31]在電商數(shù)據(jù)集Yoochoose 1/64上的點擊率Top-20預測任務中，精準度高達70.59%，DGTN模型[26]的召回率更是高達71.18%，充分地體現(xiàn)了此類會話推薦系統(tǒng)的優(yōu)越性。

3.2 基于GGNN架構的會話推薦系統(tǒng)

門控圖神經(jīng)網(wǎng)絡是一種以循環(huán)神經(jīng)網(wǎng)絡作為消息傳遞算法的GNN。在會話推薦領域，GGNN采用均值池化算法聚合會話序列中的項目節(jié)點信息，并采用門控遞歸單元（gated recurrent unit，GRU）作為遞歸函數(shù)來集成近鄰節(jié)點和目標節(jié)點的信息。相比于GCN不做區(qū)分地聚集目標節(jié)點及其近鄰節(jié)點的信息，GGNN中的門控機制可幫助模型判斷應當保留和丟棄哪些信息；同時GGNN對節(jié)點的出邊與入邊進行了區(qū)分，即其鄰接矩陣并非GCN中的對稱陣，而是由出度矩陣與入度矩陣拼接得到，如圖7所示。理論上，GGNN還可通過拼接節(jié)點間不同類型邊對應鄰接矩陣的方式融合節(jié)點間的多元關系。

圖7 GGNN示例Fig.7 Example of GGNN

Wu等人[8]提出SR-GNN模型首次將GGNN用于會話推薦系統(tǒng)，該模型在將會話序列轉換為會話圖的同時，對各項目進行了嵌入編碼，并將相應的向量矩陣作為GGNN的初始輸入，然后基于GRU實現(xiàn)節(jié)點間的消息傳遞，如公式（2）、（3）所示：

其中，As表示有向圖的節(jié)點連接信息，可由經(jīng)過歸一化處理后的出度矩陣Aosut與入度矩陣Aisn拼接得到；W和b均為可學習參數(shù)；k為GGNN的堆疊層數(shù)。雖然不難發(fā)現(xiàn)GGNN和GRU的公式除了輸入數(shù)據(jù)不同之外，其余部分基本相同，但是要明確兩種算法的目的和意義存在差別。GGNN是以會話圖的鄰接矩陣作為輸入，處理的信息實質(zhì)上是節(jié)點之間的連接關系，其目的在于學習包含近鄰上下文信息的節(jié)點表示；而GRU是以會話序列的項目表示向量為輸入，實質(zhì)上是在學習項目間的順序依賴關系。為了便于評述，在接下來的章節(jié)中稱這種形式的GGNN為經(jīng)典GGNN結構。

SR-GNN是第一個將GNN引入會話推薦系統(tǒng)的模型，具有開創(chuàng)性價值和里程碑意義，然而該模型存在著一定的局限之處。該模型僅學習了項目間的上下文依賴關系，忽略了項目間的時序特征。同時，由于該模型未能考慮到用戶的個人信息，因此它并非個性化的推薦系統(tǒng)。此后，學者們大多圍繞SR-GNN模型中的經(jīng)典會話圖構造方法和GGNN架構進行優(yōu)化。

GC-SAN模型[34]與SR-GNN模型較為相似，但是在對通過GGNN學習到的各項目表示進行處理時，相比于后者的加性注意力算法，GC-SAN模型堆疊由自注意力層、MLP層和殘差學習層組成的自注意力塊提取用戶的長期興趣，并從不同高度的塊中捕捉不同層次的特征。此外，相比于SR-GNN模型采用拼接用戶長短期興趣并進行線性投影的方式獲得會話表示，GC-SAN模型采用了線性插值的方式處理用戶的長短期興趣。

CIE-GNN模型[35]借鑒了GC-SAN模型的部分結構，但是該模型將位置信息加入項目表示中，并將其作為經(jīng)典GGNN的初始輸出以捕捉項目間的時序關系。相比于GC-SAN模型簡單定義局部會話興趣，CIE-GNN模型使用多頭自注意力層建模局部會話向量表示，從而自適應地捕獲用戶的動態(tài)當前興趣。

不同于CIE-GNN模型將項目表示向量輸入經(jīng)典GGNN進行處理之前就將位置向量與項目向量相加的操作，AMGNN模型[36]先將項目向量通過經(jīng)典GGNN處理后，再采用拼接的方式將學習到的項目向量與位置向量聚合，并采用多頭注意力與加性注意力相結合的方式學習會話的全局表示向量。

項目間的時序相關關系不僅能根據(jù)順次轉換記錄學習，TAGNN模型[37]在為用戶進行推薦時，更注重從用戶歷史交互記錄中提取其對同類商品的喜好。具體來說，該模型采用注意力機制計算指定目標項目下的會話表示向量，并且會話向量可在用戶對新的目標項目感興趣時動態(tài)變化，從而有效應對了用戶興趣漂移的問題。

總的來說，各學者主要從表2所示的五個方向?qū)R-GNN進行優(yōu)化。例如學者們已嘗試通過堆疊的注意力機制從融入豐富輔助信息的項目表示中，提取用戶的長短期興趣，通過將用戶、類別等信息融入經(jīng)典GGNN的初始輸入，或是直接改變模型架構。此外，也有學者采用多路并行、優(yōu)化會話圖和修改整體機制的方法增強模型的性能。然而，相關研究工作均存在不同程度的局限性，其中不少工作僅考慮到了項目間的上下文依賴關系，而忽略了重要的時序相關關系。同時，部分工作簡單地將用戶的最后一個交互項目視為短期興趣，使模型很容易受到用戶興趣漂移的影響。

表2 基于SR-GNN的優(yōu)化方式及代表模型Table 2 Each optimization mode with corresponding representative models based on SR-GNN

由于GGNN需要在所有節(jié)點上多次計算遞歸函數(shù)，即需要存儲所有節(jié)點的隱狀態(tài)，故該方法對內(nèi)存的需求較大，因此將GGNN應用于多個節(jié)點和多條邊的大型圖上時，可能會導致性能變差。其次，經(jīng)典的GGNN在節(jié)點間進行消息傳遞的過程中，僅使用不同時間步下的狀態(tài)隱向量，這有可能會導致梯度消失和底層信息丟失的問題；并且它沒有對目標節(jié)點的各近鄰節(jié)點進行權重分配，因此可能會在更新節(jié)點表示的過程中受到噪聲數(shù)據(jù)的干擾。雖然部分學者提出了相應的方法進行優(yōu)化[22，53]，但是從實驗結果來看，模型性能仍然有待提高。

在實踐方面，基于GGNN的會話推薦系統(tǒng)可有效完成不同場景下的精準推薦任務，相關工作涵蓋了在線購物、在線音樂、招聘求職等多個場景。在電商購物推薦任務中，TAGNN模型[37]在電商數(shù)據(jù)集Yoochoose 1/64上的點擊率Top-20預測任務中，精準度高達71.02%；在音樂推薦任務中，TA-GNN模型[47]和SDE-GNN模型[51]分別在Nowplaying數(shù)據(jù)集的Top-20推薦任務中取得了15.74%和19.01%的召回率和精準率；在招聘求職推薦任務中，A-PGNN模型[49]和DSGNN模型[17]分別在Xing數(shù)據(jù)集的Top-10推薦任務中取得了17.06%和24.48%的召回率和命中率。彰顯了GGNN在會話推薦中的強大特征提取能力。

3.3 基于GAT架構的會話推薦系統(tǒng)

GAT認為不同近鄰節(jié)點對目標節(jié)點的影響不同，因此基于多種注意力機制為各近鄰節(jié)點分配權重，以衡量其對目標節(jié)點的不同影響程度，并通過聚合函數(shù)動態(tài)更新每個節(jié)點的表示向量。值得注意的是，GCN為目標節(jié)點的近鄰節(jié)點分配的權重是根據(jù)圖結構預先確定的；而GAT為目標節(jié)點的近鄰節(jié)點分配的權重，是根據(jù)消息傳播算法計算不同時間步下的節(jié)點隱狀態(tài)，并由此動態(tài)更新得到的，如圖8所示。因此，相比于GCN靜態(tài)的參數(shù)化權重，GAT動態(tài)的可學習權重更為靈活，也更能精準捕獲到會話圖中的復雜交互信息。

圖8 GCN與GAT的權重分配方式區(qū)別Fig.8 Difference in weighting between GCN and GAT

基于GAT的會話推薦系統(tǒng)通過計算目標節(jié)點和各近鄰節(jié)點間的注意力權重區(qū)分不同近鄰節(jié)點的重要程度，并通過多種加權聚合方式更新目標節(jié)點向量，如公式（4）、（5）所示：

其中，αij為目標節(jié)點i與其近鄰節(jié)點j的注意力權重，f(·)可為多種注意力得分計算函數(shù)，如點積、加性注意力等。N(i)為目標節(jié)點i的近鄰節(jié)點集合，為目標節(jié)點i在第l層的特征向量。ξ(·)和δ(·)為提高模型擬合能力的線性或非線性變換函數(shù)。

考慮到RNN有助于學習項目間的時序關聯(lián)關系，部分學者采用長短期記憶網(wǎng)絡（long-short term networks，LSTM）對模型進行增強。Song等人[10]提出的DGRec模型首先使用LSTM捕捉目標用戶及其朋友在各自會話中的動態(tài)興趣，然后結合用戶的社交網(wǎng)絡探索其朋友的喜好對該用戶的影響。DYAGNN模型[54]首先構造以項目為節(jié)點的有向加權圖，然后通過堆疊多層的GAT計算各邊權重和節(jié)點向量，并通過LSTM進一步捕捉項目間的時序關系。

多路并行的模型架構有助于從多個角度聯(lián)合捕捉用戶興趣，其中MSGIFSR模型[55]以不同長度的子會話為節(jié)點、以子會話間的聯(lián)系為邊建立有向加權的多粒度異構會話圖，并使用基于多頭注意力的雙向GAT學習各粒度下不同子會話單元的表示。SHARE模型[56]也采用了類似于MSGIFSR模型的并行GAT思想，其不同之處在于該模型基于超圖分別學習節(jié)點到超邊和超邊到節(jié)點的信息傳播，并通過疊加多層GAT學習包含豐富上下文信息的項目表示來精確反映會話中的用戶意圖。

為了更加直觀地對相關模型框架進行比較，表3整理了部分具有代表性的GAT會話推薦系統(tǒng)。經(jīng)分析，大多數(shù)相關工作在計算節(jié)點間的注意力時，主要采用加性注意力機制計算注意力分數(shù)，然后基于Soft max函數(shù)進行歸一化處理，部分工作[10，56]使用基于內(nèi)積的算法計算注意力分數(shù)。在聚合近鄰節(jié)點特征時，部分工作采用普通加權和的方式[10，59]，一些工作[55，57]引入了可學習參數(shù)矩陣增強模型的學習能力，還有不少工作[54，58，60-62]在此基礎上引入了激活函數(shù)，以提高模型的非線性擬合能力?？偟膩碚f，基于GAT的會話推薦系統(tǒng)相關工作相對較少，還存在著較大的研究空間。

表3 基于GAT架構的會話推薦系統(tǒng)分類Table 3 Classification of session recommendation system based on GAT architecture

注意力機制的強大去噪能力使得基于GAT的會話推薦系統(tǒng)得以從包含多元信息的異構圖中挖掘用戶興趣，多頭機制更是提升了此類推薦系統(tǒng)的特征提取能力，從而使模型能夠更為精準地推斷用戶偏好。GAT雖然能通過分配注意力權重的方式，區(qū)分鄰域節(jié)點的相對重要性，但是由于忽略了圖中的結構信息，其在聚合多跳范圍內(nèi)的鄰域信息時，很容易出現(xiàn)嚴重的過度平滑問題[63]。此外，GAT對參數(shù)的初始化策略十分敏感，模型的性能波動較大[64]。因此，在使用GAT時仍然需要結合一些相應措施來緩解可能出現(xiàn)的性能問題，例如應用更加穩(wěn)健的參數(shù)初始化策略，或嘗試NISER框架[53]和SRLSG模型[22]中的優(yōu)化策略。

在實踐方面，基于GAT的會話推薦系統(tǒng)仍以在線購物為主，同時涉足更為廣泛，除了音樂、興趣點和招聘推薦之外，還涵蓋電影、書簽等娛樂場景下的推薦。由于GAT本身可基于注意力機制對鄰域信息分配權重，因此具有更為強大的去噪能力和特征提取能力。例如MGCNet模型[57]在電商數(shù)據(jù)集Yoochoose 1/64上的購買率Top-20預測任務中，召回率達到了驚人的92.38%；在音樂推薦任務中，GCE-GNN模型[59]在Nowplaying數(shù)據(jù)集的Top-20推薦任務中取得22.37%的精準率。刷新了基于GCN和GGNN的會話推薦系統(tǒng)的相應最高記錄。

3.4 基于其他GNN架構的會話推薦系統(tǒng)

正如前文所述，雖然GCN、GGNN和GAT的性能強大，但是也各有不足之處。因此，部分學者提出了基于混合機制的GNN會話推薦系統(tǒng)，并結合多種注意力機制、位置編碼或殘差學習等技術進行更為精準的推薦。此外，不少學者通過在原有結構的基礎上融入新元素或替換的方式進行優(yōu)化，也在一定程度上提升了模型性能。

根據(jù)各工作的實驗結論，將注意力機制與GGNN相結合有助于增強模型對噪聲數(shù)據(jù)的過濾能力，從而更加精準地學習項目特征表示。PA-GGAN模型[65]、TPA-GNN模型[18]、NA-GNN模型[66]和LESSR模型[21]均將注意力機制與GGNN相結合，其區(qū)別在于NA-GNN模型先通過GGNN獲得項目節(jié)點的初步表示，再通過自注意力機制進一步更新節(jié)點向量；TPA-GNN模型先通過多頭注意力機制更新邊權重，再通過GGNN更新項目表示向量；而PA-GGAN模型先通過注意力機制為各項目分配向量，然后通過GGNN獲得節(jié)點向量初步表示，再通過多頭機制增強注意力機制，并使用殘差學習和MLP防止模型在學習過程中丟失底層信息和增強模型的非線性擬合能力；LESSR模型使用GGNN與GAT形成交叉堆疊的結構交替進行節(jié)點信息和邊權重的更新。然而，相關工作大多僅對項目的上下文近鄰特征進行了較為充分的學習，不同程度上地忽略了項目間重要的時序特征關系。

引入豐富的邊信息開可有效提升會話推薦系統(tǒng)的推薦精度，將這些邊信息融入異構圖更是有助于學習到多種交互下的項目特征。SE-Frame框架[14]將用戶的社交關系加入會話推薦任務中，并以簡單線性方式分別根據(jù)用戶間的聯(lián)系與用戶和項目間的交互計算用戶節(jié)點的社會影響和用戶偏好，然后使用注意力機制分別融合兩種信息。而HG-GNN模型[67]則采用均值池化與MLP結合的方式從基于包含用戶節(jié)點與項目節(jié)點的異構全局會話圖中學習多種類型的邊權重，然后使用門控機制聚合經(jīng)過加性注意力機制分別學習到的用戶長短期偏好。然而，邊信息的引入也帶來了更多的噪聲，如何設計有效的去噪機制，是此類會話推薦系統(tǒng)面臨的重大挑戰(zhàn)之一。此外，多樣化的信息來源也導致推薦結果的可解釋性更差。目前，元學習和基于邊信息的注意力機制是應對此類挑戰(zhàn)的有效方式，通過學習元路徑和為不同的項目屬性分配權重，可更加精準地推斷用戶意圖，同時具備了良好的可解釋性。

受到變分推理的啟發(fā)，一些學者將該思想與會話推薦相融合，將用戶興趣視為復雜的分布函數(shù)，并采用自動編碼器進行學習。例如HybridGNN-SR模型[68]將變分推理的思想融入GNN，并結合無監(jiān)督和有監(jiān)督的圖學習來學習會話中的項目轉換關系。該工作所采用的方式在一定程度上解決了有監(jiān)督學習方法忽略圖結構信息和無監(jiān)督方法忽略用戶偏好的問題，使得推薦結果更為精準全面。然而，用戶的真實興趣不僅復雜，而且多變，變分推理難以在無法獲取足夠多用戶交互歷史的情況下，捕捉到動態(tài)變化的用戶興趣。因此，此類思想更適合于根據(jù)用戶的長期行為推斷其意圖的推薦場景。

雖然GRU4Rec模型奠定了GRU在會話推薦領域的地位，不少學者仍然嘗試基于LSTM進行會話推薦。SR-MNN模型[69]在聚合項目節(jié)點向量的過程中，首次采用基于LSTM的GNN學習目標節(jié)點及其近鄰的信息，隨后使用GRU捕捉會話中的項目時序關系。此外，該模型還將目標會話中首個交互項目加入會話向量表示中，以捕捉用戶初始興趣對整個會話興趣的影響。SR-HetGNN模型[15]則更進一步根據(jù)用戶節(jié)點、會話節(jié)點與項目節(jié)點形成了復雜的異質(zhì)圖，然后采用DeepWalk算法[70]和Word2Vec算法[71]學習各類型節(jié)點的初始化向量，并通過基于重啟的隨機游走與雙向LSTM獲得包含多元信息的項目表示。雖然根據(jù)相關工作的實驗報告，此類會話推薦系統(tǒng)取得了較高的推薦精度。然而，模型的復雜度會隨著數(shù)據(jù)體量的增加而快速提升，此類模型的可擴展性還有待優(yōu)化。

綜上所述，基于混合架構GNN的會話推薦系統(tǒng)大多仍圍繞GGNN展開。值得注意的是，GGNN和GRU的公式除了輸入信息有所差異，其他部分基本一致。因此，基于GGNN的會話推薦系統(tǒng)也可以仿照此前基于RNN的會話推薦系統(tǒng)的相關工作，將不同類型的注意力加入門控機制中，形成門控注意力圖神經(jīng)網(wǎng)絡。在實踐方面，相關工作仍然可以有效應對不同場景下的精準推薦任務，同樣以在線購物推薦為主，以音樂推薦、興趣點推薦為輔，此外還有其他娛樂場景下的推薦應用。部分工作在興趣點推薦任務上的表現(xiàn)較為出色，例如，LESSR模型[21]在Gowalla數(shù)據(jù)集的Top-20推薦任務中，取得了51.34%的召回率；基于SE-Frame框架[14]實例化的SE-Rec模型，在FourSquare數(shù)據(jù)集的Top-20推薦任務中，取得了70.05%的召回率。

由于混合模型引入了多種神經(jīng)網(wǎng)絡，如何設計整體模型框架，實現(xiàn)各模塊間良好的統(tǒng)籌協(xié)調(diào)，成為此類模型需要應對的重大挑戰(zhàn)。此外，模型整體深度和寬度的增加也會導致待訓練參數(shù)量快速增長，如何在控制參數(shù)量的同時，提升推薦的準確度，值得未來進一步研究。

4 現(xiàn)有工作中的實驗設計綜述

本章將依據(jù)各基于GNN的會話推薦工作的實驗部分進行分析，由于損失函數(shù)、數(shù)據(jù)集和性能評估指標的選取對模型性能影響較大，因此重點關注了各工作中的相應信息。為了更加直觀地展示出損失函數(shù)、所選取的數(shù)據(jù)集和模型性能指標的使用情況，現(xiàn)將統(tǒng)計結果進行展示，如表4所示。

根據(jù)表4（a）的統(tǒng)計結果，大多數(shù)基于GNN的會話推薦系統(tǒng)使用了帶交叉熵的損失函數(shù)，即模型的學習目標是最小化模型學習到的數(shù)據(jù)分布與真實數(shù)據(jù)分布的差異。相比于復雜形式的損失函數(shù)，交叉熵損失函數(shù)可以大幅提升模型在訓練過程中的權重矩陣更新速度，使損失值快速收斂，有助于縮短訓練時長。然而，當面臨帶有噪聲標簽的樣本時，即用戶并非對會話中的每個項目都感興趣時，使用交叉熵損失函數(shù)進行訓練很可能會帶來嚴重的過擬合問題。此外，在點擊率預測或購買預測任務中（即多分類問題），大多數(shù)基于GNN的會話推薦模型會使用Softmax函數(shù)進行處理，然而這種處理方式會使模型重點關注預測的準確度，而忽略了其他非正確預測結果間的差異。因此，如何通過優(yōu)化正則項、提高數(shù)據(jù)質(zhì)量等方式緩解訓練過程中的過擬合，或是通過修改非線性函數(shù)的方式提升軟分類精度，亦或是通過對比學習、蒸餾學習、強化學習等方式提升模型訓練的效率，仍然值得進一步探索。

根據(jù)表4（b）的統(tǒng)計結果，大多數(shù)基于GNN的會話推薦系統(tǒng)在實驗部分使用了電商類數(shù)據(jù)集，其中使用次數(shù)最高的Yoochoose數(shù)據(jù)集和Diginetica數(shù)據(jù)集均為會話推薦領域的基準數(shù)據(jù)集。雖然兩個數(shù)據(jù)集提供了會話標注字段，避免了人為切分會話降低數(shù)據(jù)質(zhì)量，但是并未提供更為豐富的用戶信息和交互信息。此前的文獻綜述已經(jīng)表明，合理引入豐富多元的邊信息，有利于提升推薦結果質(zhì)量。因此，未來的研究可以嘗試在包含多樣化信息的數(shù)據(jù)集上進行實驗。

根據(jù)表4（c）的統(tǒng)計結果，大多數(shù)基于GNN的會話推薦系統(tǒng)使用了平均倒數(shù)排序（mean reciprocal rank，MRR）和準確度（precision）指標，命中率（hit rate，HR）、召回率（recall）和標準化折現(xiàn)累積增益（normalized discounted cumulative gain，NDCG）也均反映了推薦結果的精準度。雖然精準度是衡量推薦結果質(zhì)量的重要指標，但并非唯一指標，未來的研究還應適當關注推薦結果的新穎度、驚喜度等，可引入DIV@K[72]、POP@K、EILD-RR@K[13]、ESI-RR@K[13]等指標對模型性能進行評測。

表4 損失函數(shù)、數(shù)據(jù)集和評估指標統(tǒng)計Table 4 Statistics of loss functions，datasets and metrics（a）損失函數(shù)類別統(tǒng)計

總的來說，大部分基于GNN的會話推薦工作面向電商購物場景，并將推薦任務視為多分類任務，更關注推薦結果的精準性。

5 討論與未來工作展望

5.1 討論

根據(jù)前文對基于GNN的會話推薦系統(tǒng)相關工作的評述，為了應對精準會話推薦的挑戰(zhàn)，各工作主要從學習項目間的時序特征、引入豐富多元的邊信息、創(chuàng)新GNN算法、優(yōu)化模型訓練方式四個角度進行了突破，如表5所示。下面將對不同角度下的相關工作進行綜合討論分析。

表5 應對精準會話推薦的策略分析Table 5 Analysis of strategies to deal with accurate session recommendation

5.1.1 學習項目間的時序特征

具有開創(chuàng)性的SR-GNN式經(jīng)典構圖提供了一種樸素的數(shù)據(jù)結構轉換思路，使GNN能間接處理序列式的原始會話信息。然而，這種構圖方法存在一定局限，例如丟失了項目間的順序轉換信息和忽略鏈接屬性。

雖然部分研究工作[20，27-28，51，56]意識到了時序特征的重要性，并從多個角度出發(fā)進行創(chuàng)新，但各方法仍存在不足之處。將時序信息作為鏈接屬性加入會話圖可以在一定程度上保留原始時序信息，然而此類信息難以隨模型訓練而優(yōu)化。因為項目間的原始順次轉換信息是客觀信息，不應當隨模型的訓練而更改。此外，現(xiàn)有的研究工作大多采用單路串行的方式設計模型，其本質(zhì)是偏重時序信息或上下文信息，難以做到兩種信息的動態(tài)平衡。

5.1.2 引入多元的邊信息

經(jīng)典的會話推薦任務僅基于匿名用戶和項目的交互記錄進行推薦，然而此類數(shù)據(jù)的信息量有限，推薦性能的理論上限較低。受到知識圖譜相關研究的啟發(fā)，不少學者嘗試將更加多元的邊信息作為補充數(shù)據(jù)引入會話推薦任務中，大幅提升了會話推薦系統(tǒng)的精準推薦能力?？偟膩碚f，相關工作可根據(jù)信息來源渠道，分為基于用戶側邊信息的會話推薦系統(tǒng)[25，40，57]和基于項目側邊信息的會話推薦系統(tǒng)[42，58，73]。一些工作同時考慮到了用戶側和項目側的豐富的邊信息[16]。這些邊信息增強的會話推薦系統(tǒng)極大地提升了推薦精準度，是相關領域具有較大研究潛力的方向之一。值得注意的是，引入更多信息的同時也會帶來更多的噪聲。因此，可以采用多種形式的注意力機制進行去噪處理，以緩解噪聲信息對推薦性能的影響。

5.1.3 優(yōu)化模型結構或輸入

優(yōu)化模型結構最為明顯的特征是嘗試使用不同種類的神經(jīng)網(wǎng)絡，或基于相應經(jīng)典結構進行優(yōu)化，提高模型的推薦精準度。由于GCN和GGNN模型難以處理隱藏在各種圖中的噪聲信息，因此部分學者嘗試在GNN前后引入注意力機制進行去噪[9，34]。一些工作還采取多路并行的方式，從不同角度推斷用戶意圖[59-60]。

采用多路并行的架構雖然有效，但是很容易導致模型的參數(shù)量增大，導致模型的訓練時間大幅延長。因此，一些學者從提高模型輸入質(zhì)量的角度入手，將多種信息與項目的初始嵌入編碼相結合，從源頭提升特征編碼的質(zhì)量[23，49]。提高模型輸入質(zhì)量的另一個角度是對原始會話圖進行優(yōu)化[19，24]。優(yōu)化模型輸入有助于GNN從不同角度學習隱藏在會話中的用戶興趣，但是這種方式的擴展性較差，當需要從多個角度聯(lián)合推斷用戶偏好時，容易由于噪聲過多而難以提升推薦結果的精準度。

5.1.4 優(yōu)化模型訓練方式

大多數(shù)基于GNN的會話推薦系統(tǒng)將推薦視為有監(jiān)督的學習，其本質(zhì)是假設訓練集包含了所有項目。然而在實際應用場景中，新項目會源源不斷地加入，導致基于監(jiān)督學習的GNN會話推薦系統(tǒng)性能不佳。為此，一些學者試圖基于自監(jiān)督學習訓練模型[20]。大多此類模型假設用戶在會話中具有直接單一的興趣，因此不同角度下學習到的用戶特征應當相同。然而，部分工作[74]證實用戶在會話中的偏好可能復雜多變，因此僅基于無監(jiān)督學習的相關模型在短會話上具有較好的性能，而難以從長會話中挖掘出用戶的真實興趣。

無論是有監(jiān)督學習還是自監(jiān)督學習，都存在一定缺陷?；谟斜O(jiān)督學習的相關模型難以有效應對真實應用場景下不斷涌現(xiàn)的新項目，而基于自監(jiān)督學習的相關模型往往無法收集到足夠多的自監(jiān)督信號。HybridGNN-SR模型[68]提供了一種應對方式，即將無監(jiān)督和有監(jiān)督的圖學習相結合。此類方法在一定程度上解決了有監(jiān)督學習忽略圖結構信息和無監(jiān)督學習忽略用戶復雜偏好的問題，使得推薦結果更為精準全面。

5.2 未來工作展望

基于前文從多個角度對GNN會話推薦系統(tǒng)相關工作的評述與分析，對該領域未來的工作進行展望。

5.2.1 注重模型的可解釋性

基于GNN的會話推薦系統(tǒng)的可解釋性仍然欠佳，這可能是由于隱式反饋難以收集并高度抽象。然而，良好的解釋有助于增強用戶對推薦系統(tǒng)的信任，這樣用戶更有可能接受來自系統(tǒng)的推薦。目前，已經(jīng)有學者通過一些方式提升模型的可解釋性[60]，相信這也是研究潛力較大的一個方向。

5.2.2 發(fā)掘用戶的個性化交互行為

由于基于GNN的推薦系統(tǒng)可有效學習項目間的近鄰上下文特征，因此理論上應當在捕捉用戶的重復交互、周期性交互等特殊信息方面有更為明顯的優(yōu)勢?；赗NN和注意力機制的RepeatNet模型[75]與基于異構超圖注意網(wǎng)絡的MSGIFSR模型[55]已經(jīng)證明，捕捉用戶的重復交互行為有助于提升會話推薦的精準度。因此，從用戶的特殊交互行為中學習其興趣偏好是值得探索的方向之一。

5.2.3 重視會話數(shù)據(jù)的質(zhì)量

由于目前的數(shù)據(jù)集大多沒有明確劃分會話，因此只能根據(jù)時間戳信息，并基于硬性規(guī)則進行會話劃分。然而，都是人為設定的會話切分方式難免有所偏差。在未來的研究工作中，可以嘗試聯(lián)合多種方式切分會話，或根據(jù)用戶個人信息和歷史交互數(shù)據(jù)分布，使用自適應的方式以獲得更為精準的會話序列。同時，應當鼓勵研究人員在考慮豐富項目屬性和用戶信息的基礎上，收集攜帶會話標識的數(shù)據(jù)集，以支撐相關領域的后續(xù)研究。

6 結束語

目前GNN已經(jīng)成為各領域的研究熱點之一，在過去的五年里，會話推薦領域涌現(xiàn)出不少重要的相關工作。因此，本文從推薦因素分析出發(fā)，重點從算法原理與性能分析兩方面對數(shù)十篇基于GNN的會話推薦相關工作展開評述，旨在總結學者們在各方面所做出的貢獻。最后，根據(jù)前文對相關工作的分類評述對比，提出了對未來研究的展望。