基于圖模型和注意力模型的會話推薦方法

黨偉超，姚志宇，白尚旺，高改梅，劉春霞

基于圖模型和注意力模型的會話推薦方法

黨偉超，姚志宇*，白尚旺，高改梅，劉春霞

（太原科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024）（?通信作者電子郵箱S20190660@stu.tyust.edu.cn）

為解決基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）會話推薦方法的興趣偏好表示不全面、不準(zhǔn)確問題，提出基于圖模型和注意力模型的會話推薦（SR?GM?AM）方法。首先，圖模型利用全局圖和會話圖分別獲取鄰域信息和會話信息，并且利用圖神經(jīng)網(wǎng)絡(luò)（GNN）提取項目圖特征，項目圖特征經(jīng)過全局項目表示層和會話項目表示層得到全局級嵌入和會話級嵌入，兩種級別嵌入結(jié)合生成圖嵌入；然后，注意力模型使用軟注意力進(jìn)行圖嵌入和反向位置嵌入融合，目標(biāo)注意力激活目標(biāo)項目相關(guān)性，注意力模型通過線性轉(zhuǎn)換生成會話嵌入；最后，SR?GM?AM經(jīng)過預(yù)測層，輸出下次點(diǎn)擊的項推薦列表。在兩個真實的公共電子商務(wù)數(shù)據(jù)集Yoochoose和Diginetica上對比了SR?GM?AM方法與基于無損邊緣保留聚合和快捷圖注意力的推薦（LESSR）方法，結(jié)果顯示，SR?GM?AM方法的P20最高達(dá)到了72.41%，MRR20最高達(dá)到了35.34%，驗證了SR?GM?AM的有效性。

會話推薦；全局圖；會話圖；圖神經(jīng)網(wǎng)絡(luò)；鄰域信息

0 引言

推薦系統(tǒng)在各種在線平臺中發(fā)揮著關(guān)鍵作用，對用戶進(jìn)行個性化推薦，可以解決信息過載問題。傳統(tǒng)的推薦方法（如協(xié)同過濾等）過度依賴用戶的長期交互信息，而會話推薦［1-2］可以根據(jù)用戶正在進(jìn)行會話中的行為信息預(yù)測用戶的下一次點(diǎn)擊。

會話推薦的早期研究分為兩類，分別是基于協(xié)同過濾和基于馬爾可夫鏈的會話推薦，學(xué)者提出了許多基于深度學(xué)習(xí)的方法，取得了較好的效果，但也存在一些問題：基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）［3-4］的方法結(jié)合用戶的長期興趣和短期興趣進(jìn)行會話表示從而完成推薦，但這些方法都基于當(dāng)前會話信息，忽略了其他會話中的信息；神經(jīng)注意力推薦機(jī)制（Neural Attentive Recommendation Mechanism， NARM）［5］和短時注意力優(yōu)先（Short?Term Attention/Memory Priority， STAMP）方法［6］則只對連續(xù)項目間轉(zhuǎn)移關(guān)系建模，不能捕獲項目間復(fù)雜的依賴關(guān)系。上述方法獲取的用戶興趣偏好表示并不準(zhǔn)確，因此推薦精度低。

針對上述問題，本文提出了基于圖模型和注意力模型的會話推薦（Session Recommendation based on Graph Model and Attention Model， SR?GM?AM）方法。該方法首先利用全局圖和會話圖挖掘用戶的多種興趣信息；其次，利用GNN捕捉項目間復(fù)雜的轉(zhuǎn)移關(guān)系，提取圖特征；最后，使用軟注意力和目標(biāo)注意力，準(zhǔn)確獲取用戶興趣偏好表示。

1 相關(guān)工作

傳統(tǒng)的會話推薦方法包括基于協(xié)同過濾和基于馬爾可夫鏈的會話推薦。基于協(xié)同過濾的方法根據(jù)項目相似度做出推薦；基于馬爾可夫鏈的方法則將當(dāng)前會話映射成馬爾可夫鏈，根據(jù)前一次點(diǎn)擊預(yù)測用戶的下一次點(diǎn)擊。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）可以處理包含時間順序的會話信息，也被用于會話推薦。Tan等［7］對會話序列進(jìn)行處理時，引入數(shù)據(jù)增強(qiáng)的方法，提高了訓(xùn)練模型的魯棒性。Li等［5］提出的NARM利用注意力機(jī)制獲取準(zhǔn)確的項目轉(zhuǎn)移信息。Liu等［6］提出了一種基于注意力機(jī)制的短時記憶網(wǎng)絡(luò)（STAMP）捕捉用戶的當(dāng)前興趣。NARM和STAMP都使用注意力機(jī)制，強(qiáng)調(diào)了最后一次點(diǎn)擊項目的重要性。之前的研究利用注意力機(jī)制［8-9］，在會話推薦中引起了廣泛關(guān)注，基于自注意力的序列推薦［10］，利用自注意力機(jī)制提高了推薦性能?；谂d趣轉(zhuǎn)移和潛在因素的會話推薦（Interest Shift and Latent Factors， ISLF）［11］考慮了用戶興趣轉(zhuǎn)移，并采用可變自動編碼器和RNN捕捉用戶的序列行為信息?；诨旌贤ǖ滥康穆酚删W(wǎng)絡(luò)的會話推薦MCPRN（Mixture?Channel Purpose Routing Network）［12］使用混合通道模型對給定會話進(jìn)行建模。

GNN廣泛應(yīng)用于推薦系統(tǒng)［13-14］、行人重識別［15］、分辨率重建［16］等領(lǐng)域，基于GNN的方法可以對會話圖進(jìn)行操作，更好地捕捉項目之間的復(fù)雜轉(zhuǎn)移關(guān)系。Wu等［3］提出基于GNN的會話推薦方法（Session?based Recommendation with GNN， SR?GNN），結(jié)合當(dāng)前會話信息和長期會話信息完成推薦。之后Qiu等［17］提出了變種方法，利用鄰域嵌入和多頭注意力生成會話表示。

上述方法只對當(dāng)前會話中的項目轉(zhuǎn)移關(guān)系進(jìn)行建模，忽略了其他會話中的信息，并且用戶興趣偏好表示不準(zhǔn)確。為此，本文提出基于圖模型和注意力模型的會話推薦方法，在文獻(xiàn)［18］中方法的基礎(chǔ)上考慮了鄰域信息，能夠有效解決會話推薦問題。

2 基于圖模型和注意力模型的會話推薦

2.1　總體框架

基于圖模型和注意力模型的會話推薦模型如圖1所示。首先，會話序列經(jīng)過預(yù)處理分別轉(zhuǎn)換成全局圖和會話圖，利用GNN得到項目嵌入；之后經(jīng)過全局項目表示層和會話項目表示層分別生成全局級項目嵌入和會話級項目嵌入，圖模型經(jīng)過信息融合生成圖嵌入；其次，注意力模型通過軟注意力進(jìn)行圖嵌入和反向位置嵌入融合，得到全局嵌入，并且目標(biāo)注意力生成目標(biāo)嵌入，注意力模型經(jīng)過線性轉(zhuǎn)換得到會話嵌入；最后，基于圖模型和注意力模型的會話推薦模型經(jīng)過預(yù)測層，輸出下一次點(diǎn)擊的項推薦列表。

圖1　SR?GM?AM的總體框架

2.2　符號定義

2.3　圖模型

全局圖和會話圖分別利用GNN得到項目嵌入，項目嵌入經(jīng)過全局項目表示層生成全局級嵌入，經(jīng)過會話項目表示層生成會話級嵌入，最后圖模型經(jīng)信息融合得到圖嵌入。

2.3.1全局圖

全局圖可以從其他會話信息中捕獲項目轉(zhuǎn)移信息，稱為全局項目轉(zhuǎn)移，是在鄰域的基礎(chǔ)上進(jìn)行定義。

圖2　全局圖示例

2.3.2會話圖

圖3　會話圖

2.3.3圖神經(jīng)網(wǎng)絡(luò)

式（1）表示不同節(jié)點(diǎn)之間的信息傳播，提取潛在向量，并將它們作為GNN的輸入；式（2）、（3）分別表示更新門和重置門，分別決定要保留和丟棄信息；式（4）表示候選狀態(tài)，通過前一個時間步的狀態(tài)、當(dāng)前狀態(tài)和重置門來構(gòu)建候選狀態(tài)；式（5）表示在更新門的控制下，最終狀態(tài)是前一個時間步狀態(tài)和候選狀態(tài)的組合。通過不斷更新，獲得最終的節(jié)點(diǎn)向量。

2.3.4全局項目表示

全局項目表示由信息傳播和信息聚合兩部分組成。一個項目包含在多個會話中，獲取有用的項目轉(zhuǎn)移信息，可以有效地提高預(yù)測精度。之前的方法是使用平均池化方法獲取項目的鄰域特征信息，但是并非鄰域集合中的所有項目都與當(dāng)前會話的用戶偏好有關(guān)，因此之前的方法不適合獲取鄰域特征信息。本文方法利用會話感知注意力，區(qū)分鄰域集合中各個項目的重要性。

之后使用softmax函數(shù)進(jìn)行歸一化：

2.3.5會話項目表示

會話圖中自身項目與其鄰域中各個項目之間轉(zhuǎn)移關(guān)系的權(quán)重是不同的，利用注意力機(jī)制表示不同節(jié)點(diǎn)之間的權(quán)重。注意力權(quán)重的公式為：

利用softmax激活函數(shù)對注意力權(quán)重進(jìn)行正則化：

會話級嵌入表示為：

會話級項目嵌入由當(dāng)前會話中項目本身及其鄰域的特征聚合而成，通過注意力機(jī)制，降低了噪聲對會話項目表示的影響。

2.3.6信息融合

圖嵌入向量則通過式（16）計算嵌入的平均值得到：

2.4　注意力模型

注意力模型通過軟注意力進(jìn)行圖嵌入和反向位置嵌入融合得到全局嵌入，并且目標(biāo)注意力生成目標(biāo)嵌入，注意力模型經(jīng)過線性轉(zhuǎn)換得到會話嵌入。

2.4.1反向位置嵌入

2.4.2軟注意力

注意力模型利用軟注意力機(jī)制融合反向位置嵌入向量和圖嵌入向量（式（18）），生成全局嵌入向量（式（19））。

2.4.3目標(biāo)注意力

2.4.4線性轉(zhuǎn)換

目標(biāo)嵌入向量和全局嵌入向量經(jīng)過線性轉(zhuǎn)換生成會話嵌入向量：

2.5　生成推薦

項目嵌入向量和會話嵌入向量進(jìn)行內(nèi)積，使用softmax函數(shù)對所有目標(biāo)項目推薦分?jǐn)?shù)進(jìn)行歸一化，其公式為：

3 實驗與結(jié)果分析

3.1　數(shù)據(jù)集處理

本實驗分別在兩個真實的公共電子商務(wù)數(shù)據(jù)集Yoochoose和Diginetica上進(jìn)行驗證。Yoochoose數(shù)據(jù)集的數(shù)據(jù)信息來源于RecSys Challenge 2015，它包含用戶在電子商務(wù)網(wǎng)站上6個月內(nèi)的點(diǎn)擊信息；Diginetica數(shù)據(jù)集的數(shù)據(jù)信息來自CIKM Cup 2016的交易數(shù)據(jù)。為公平比較，本實驗嚴(yán)格遵循與Wu等［3］相同的數(shù)據(jù)集處理規(guī)則，在公共數(shù)據(jù)集中，刪除點(diǎn)擊次數(shù)不到5的項目和會話長度為1的會話。最終，Yoochoose數(shù)據(jù)集包含7 981 580條會話和37 483個項目，Diginetica數(shù)據(jù)集包含204 771條會話和43 097個項目。

表1　數(shù)據(jù)集信息統(tǒng)計

3.2　評價指標(biāo)

本實驗采用與Wu等［3］相同的評估指標(biāo)，分別是精度（Precision， P）和平均倒數(shù)排名（Mean Reciprocal Rank， MRR）。

3.3　基準(zhǔn)方法

實驗選擇了以下五種對比方法：

NARM［5］：在傳統(tǒng)的RNN基礎(chǔ)上增加了注意力機(jī)制，改進(jìn)了會話推薦的精度。

STAMP［6］：利用注意力取代RNN的編碼器，依賴用戶點(diǎn)擊的最后一次項目捕捉用戶興趣。

SR?GNN［3］：使用門控圖神經(jīng)網(wǎng)絡(luò)獲得項目嵌入，應(yīng)用注意力機(jī)制獲取用戶短期與長期興趣偏好。

基于無損邊緣保留聚合和快捷圖注意力的會話推薦（Lossless Edge?order preserving aggregation and Shortcut graph attention for Session?based Recommendation， LESSR）［19］：采用邊緣保留聚合層解決基于GNN的順序信息丟失問題，并且提出捷徑圖注意力層，該層通過沿捷徑連接傳播信息有效捕獲遠(yuǎn)程依賴關(guān)系，通過將兩種類型的層組合在一起，完成推薦。

基于會話的多粒度圖神經(jīng)網(wǎng)絡(luò)推薦（Session?based Recommendation model of Multi?granular GNN， SRMGNN）［20］： GNN分別學(xué)習(xí)項目信息和項目類別信息，提取更多的特征信息，然后使用注意力網(wǎng)絡(luò)，經(jīng)過融合層，得到最終的會話表示，完成推薦。

3.4　參數(shù)設(shè)置

3.5　實驗結(jié)果與分析

3.5.1相關(guān)方法比較與分析

表2是幾種對比方法的P@20和MRR@20結(jié)果，最好結(jié)果加粗表示。由表2可以看出，SR?GM?AM在公共數(shù)據(jù)集上的P@20和MRR@20都有良好表現(xiàn)，驗證了所提出方法的有效性?；谏窠?jīng)網(wǎng)絡(luò)類方法具有更強(qiáng)捕捉復(fù)雜用戶行為的能力，NARM應(yīng)用循環(huán)單元捕捉用戶整體興趣，STAMP利用最后一次點(diǎn)擊的項目改善短期記憶能力，這些方法獲得了優(yōu)于傳統(tǒng)方法的性能；但是這些方法只考慮連續(xù)項目之間的單向轉(zhuǎn)移關(guān)系，它們的性能仍然不如SR?GNN。

SR?GNN進(jìn)一步考慮了會話中項目之間的復(fù)雜依賴關(guān)系，該方法將每個會話建模為一個有向會話圖，該圖能捕捉用戶點(diǎn)擊項目之間的復(fù)雜聯(lián)系。該方法采用軟注意力機(jī)制生成全局會話表示，可以自動選擇相對重要的項目，并且忽略當(dāng)前會話中的無效用戶行為。當(dāng)用戶的行為是無目的的，或者用戶的興趣在當(dāng)前會話中快速漂移時，傳統(tǒng)模型無法有效處理這種類型會話信息。LESSR和SRMGNN仍然不如本文方法SR?GM?AM。

SR?GM?AM利用全局圖和會話圖提取更多的特征信息，GNN獲取了復(fù)雜項目轉(zhuǎn)移關(guān)系。經(jīng)過全局項目表示和會話項目表示，融合全局級嵌入和會話級嵌入，生成圖嵌入向量。之后經(jīng)過注意力模型，利用軟注意力，生成全局嵌入向量，結(jié)合目標(biāo)注意力生成的目標(biāo)嵌入，得到會話嵌入，完成推薦。

表2　實驗結(jié)果比較 單位： %

3.5.2全局圖對模型的影響

為比較圖模型中的全局圖對實驗結(jié)果表現(xiàn)的影響程度，本實驗將與以下兩種嵌入方法進(jìn)行比較：1）沒有全局級嵌入，只有會話級嵌入（記為L）；2）具有全局級嵌入和會話級嵌入，跳數(shù)設(shè)置為1（記為1?hop）；3）具有全局級嵌入和會話級嵌入，跳數(shù)設(shè)置為2（即本文的SR?GM?AM）。比較結(jié)果如表3所示，最好結(jié)果加粗表示。由表3可知，SR?GM?AM實現(xiàn)了更好的性能。通過實驗數(shù)據(jù)可以看出，SR?GM?AM以及1?hop都可以從其他會話中獲取項目轉(zhuǎn)移信息，提取更多的特征信息，做出準(zhǔn)確預(yù)測，驗證了全局圖的有效性。還可以看出，在Diginetica數(shù)據(jù)集上，具有2跳的SR?GM?AM比具有1跳的SR?GM?AM表現(xiàn)更好，這表明跳數(shù)越高，可能從全局圖中獲取更多的有效信息，提高推薦的準(zhǔn)確性。但是在Yoochoose 1/4上，具有1跳的SR?GM?AM比具有2跳的SR?GM?AM表現(xiàn)更好，這表明跳數(shù)如果設(shè)置太高，可能會引入噪聲，降低推薦的準(zhǔn)確度。

表3　全局圖對模型的影響 單位： %

3.5.3注意力對模型的影響

本文方法在注意力模型中引入軟注意力機(jī)制和目標(biāo)注意力機(jī)制，會話嵌入向量包括：全局嵌入向量、目標(biāo)嵌入向量和項目嵌入向量。為比較注意力機(jī)制對實驗結(jié)果的影響，本實驗中與以下兩種方法進(jìn)行比較：

1）基于圖模型和目標(biāo)注意力的會話推薦（Session Recommendation based on Graph Model and Target Attention， SR?GM?TA），注意力模型中只有目標(biāo)注意力機(jī)制，其會話嵌入向量包括目標(biāo)嵌入向量和項目嵌入向量；

2）基于圖模型和軟注意力的會話推薦（Session Recommendation based on Graph Model and Soft Attention， SR?GM?SA），注意力模型中只有軟注意力機(jī)制，其會話嵌入向量包括全局嵌入向量和項目嵌入向量。

比較結(jié)果如表4所示，最好結(jié)果仍加粗表示。從表4可以看出，SR?GM?AM優(yōu)于其他方法，驗證了該方法的有效性。SR?GM?SA在各項指標(biāo)上優(yōu)于SR?GM?TA，SR?GM?AM在性能上優(yōu)于SR?GM?SA，表明利用軟注意力提取全局興趣偏好對于會話推薦的重要性，并且反向位置嵌入獲取離候選項目越近的項目信息，可以更好地提高推薦的準(zhǔn)確度。SR?GM?AM在各項指標(biāo)上都優(yōu)于SR?GM?SA，驗證了融合目標(biāo)嵌入的重要性，目標(biāo)注意力進(jìn)一步考慮了用戶興趣和目標(biāo)興趣之間的關(guān)系，在給定不同目標(biāo)項目的情況下，針對目標(biāo)項目完成相關(guān)性推薦。實驗結(jié)果表明，本方法通過利用軟注意力和目標(biāo)注意力，可以更好地完成個性化推薦。

表4　注意力對模型的影響 單位： %

3.5.4非線性激活函數(shù)對模型的影響

為比較不同激活函數(shù)對全局項目表示中信息聚合的影響程度，本實驗分別使用Sigmoid、Tanh和ReLU三種激活函數(shù)進(jìn)行比較，結(jié)果如表5所示，最好結(jié)果仍加粗表示。由表5可以看出，在各項指標(biāo)上，ReLU的整體表現(xiàn)最好，驗證了ReLU的有效性。

表5　激活函數(shù)對模型的影響 單位： %

3.5.5稀疏數(shù)據(jù)集對模型的影響

本實驗采用的兩個公共電子商務(wù)數(shù)據(jù)集Yoochoose和Diginetica都為稠密數(shù)據(jù)集，Sample數(shù)據(jù)集為稀疏數(shù)據(jù)集，表6為Sample數(shù)據(jù)集的詳細(xì)信息。

表6　Sample數(shù)據(jù)集統(tǒng)計

為比較稀疏數(shù)據(jù)集對模型的影響程度，本實驗分別在Yoochoose1/4、Difinetica和Sample三個數(shù)據(jù)集上進(jìn)行實驗，結(jié)果如表7所示。由表7可以看出，在稀疏數(shù)據(jù)集上，模型的整體表現(xiàn)不好，表明模型訓(xùn)練依賴于大量數(shù)據(jù)才可以得到更高的精度。

表7　稀疏數(shù)據(jù)集對模型的影響 單位： %

4 結(jié)語

本文提出基于圖模型和注意力模型的會話推薦方法。全局圖和會話圖分別獲取會話中的鄰域信息和會話信息，利用GNN捕捉項目間復(fù)雜轉(zhuǎn)移關(guān)系得到項目嵌入，項目嵌入經(jīng)過全局項目表示層和會話項目表示層分別得到全局級項目嵌入和會話級項目嵌入，兩個級別嵌入融合生成圖嵌入。注意力模型引入反向位置嵌入、軟注意力和目標(biāo)注意力，提高會話嵌入的準(zhǔn)確性，從而完成推薦。實驗結(jié)果表明，該方法在各項指標(biāo)上均優(yōu)于基準(zhǔn)方法，另外通過消融實驗證明了本方法各組成部分之間的有效性。但是，由實驗結(jié)果可見，會話推薦的各項指標(biāo)還存在很大的提升空間，在接下來的工作研究中，將考慮挖掘更多用戶的行為信息以及結(jié)合知識圖譜，以得到更高的推薦精度。

[1] 趙海燕，趙佳斌，陳慶奎，等.會話推薦系統(tǒng)［J］.小型微型計算機(jī)系統(tǒng)，2019，40（9）：63-69.（ZHAO H Y， ZHAO J B， CHEN Q K， et al. Session?based recommendation system［J］. Journal of Chinese Computer Systems， 2019， 40（9）： 63-69.）

[2] 桂越.基于會話的推薦算法研究［D］.北京：北京郵電大學(xué)，2019：7-16.（GUI Y. Research on session?based recommendation algorithm［D］. Beijing： Beijing University of Posts and Telecommunications， 2019： 7-16.）

[3] WU S， TANG Y， ZHU Y， et al. Session?based recommendation with graph neural networks ［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2019： 346-353.

[4] XU C， ZHAO P， LIU Y， et al. Graph contextualized self?attention network for session?based recommendation ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2019： 3940-3946.

[5] LI J， REN P， CHEN Z， et al. Neural attentive session?based recommendation ［C］// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428.

[6] LIU Q， ZENG Y， MOKHOSI R， et al. Short?term attention/memory priority model for session?based recommendation ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM，2018： 1831-1839.

[7] TAN Y K， XU X， LIU Y. Improved recurrent neural networks for session?based recommendations ［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22.

[8] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

[9] WANG H， LIU G， LIU A， et al. DMRAN： a hierarchical fine? grained attention?based network for recommendation ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2019： 3698-3704.

[10] KANG W?C， MCAULEY J. Self?attentive sequential recommendation ［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 197-206.

[11] SONG J， SHEN H， OU Z， et al. ISLF： interest shift and latent factors combination model for session?based recommendation ［C］// Proceedings of the Twenty?Eighth International Joint Conference on Artificial Intelligence. California： IJCAI， 2019： 5765?5771.

[12] WANG S， HU L， WANG Y， et al. Modeling multi?purpose sessions for next?item recommendations via mixture?channel purpose routing networks ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： IJCAI， 2019： 3771-3777.

[13] 南寧，楊程屹，武志昊.基于多圖神經(jīng)網(wǎng)絡(luò)的會話感知推薦模型［J］.計算機(jī)應(yīng)用，2021，41（2）：330-336.（NAN N， YANG C Y， WU Z H. Multi?graph neural network?based session perception recommendation model［J］. Journal of Computer Applications， 2021， 41（2）： 330-336.）

[14] 孫鑫，劉學(xué)軍，李斌，等.基于圖神經(jīng)網(wǎng)絡(luò)和時間注意力的會話序列推薦［J］.計算機(jī)工程與設(shè)計，2020，41（10）：2913-2920.（SUN X， LIU X J， LI B， et al. Graph neural networks with time attention mechanism for session?based recommendations［J］. Computer Engineering and Design， 2020， 41（10）： 2913-2920.）

[15] SHEN Y， LI H， YI S， et al. Person re?identification with deep similarity?guided graph neural network ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNIP 11219. Cham： Springer， 2018： 508-526.

[16] 呼延康，樊鑫，余樂天，等.圖神經(jīng)網(wǎng)絡(luò)回歸的人臉超分辨率重建［J］.軟件學(xué)報，2018，29（4）：914-925.（HU Y K， FAN X， YU L T， et al. Graph based neural network regression strategy for facial image super?resolution［J］. Journal of Software， 2018， 29（4）： 914-925.）

[17] QIU R， LI J， HUANG Z， et al. Rethinking the item order in session?based recommendation with graph neural networks ［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM， 2019： 579-588.

[18] 黨偉超，姚志宇，白尚旺，等.基于圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的會話推薦［J］. 計算機(jī)工程與設(shè)計， 2022， 43（10）： 2953-2958. （DANG W C， YAO Z Y， BAI S W， et al. Session recommendation based on graph neural network and attention mechanism ［J］. Computer Engineering and Design， 2022，43（10）： 2953-2958）.

[19] CHEN T， WONG R C?W. Handling information loss of graph neural networks for session?based recommendation ［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 1172-1180.

[20] 任俊偉，曾誠，肖絲雨，等.基于會話的多粒度圖神經(jīng)網(wǎng)絡(luò)推薦模型［J］.計算機(jī)應(yīng)用，2021，41（11）：3164-3170.（REN J W， ZENG C， XIAO S Y， et al. Session?based recommendation model of multi?granular graph neural network［J］. Journal of Computer Applications， 2021， 41（11）： 3164-3170.）

Session recommendation method based on graph model and attention model

DANG Weichao， YAO Zhiyu*， BAI Shangwang， GAO Gaimei， LIU Chunxia

（，，030024，）

To solve the problem that representation of interest preferences based on the Recurrent Neural Network （RNN） is incomplete and inaccurate in session recommendation， a Session Recommendation method based on Graph Model and Attention Model （SR?GM?AM） was proposed. Firstly， the graph model used global graph and session graph to obtain neighborhood information and session information respectively， and used Graph Neural Network （GNN） to extract item graph features， which were passed through the global item representation layer and session item representation layer to obtain the global? level embedding and the session?level embedding， and the two levels of embedding were combined into graph embedding. Then， attention model used soft attention to fuse graph embedding and reverse position embedding， target attention activated the relevance of the target items， as well as attention model generated session embedding through linear transformation. Finally， SR?GM?AM outputted the recommended list of theitems for the next click through the prediction layer. Comparative experiments of SR?GM?AM and Lossless Edge?order preserving aggregation and Shortcut graph attention for Session?based Recommendation （LESSR） were conducted on two real public e?commerce datasets Yoochoose and Diginetica， and the results showed that SR?GM?AM had the highest P20 of 72.41% and MRR20 of 35.34%， verifying the effectiveness of it.

session recommendation; global graph; session graph; Graph Neural Network (GNN); neighborhood information

This work is partially supported by Natural Science Foundation of Shanxi Province （201901D111266， 201901D111252）.

DANG Weichao， born in 1974， Ph. D.， associate professor. His research interests include intelligent computing， software reliability.

YAO Zhiyu， born in 1995， M. S. candidate. His research interests include session recommendation.

BAI Shangwang， born in 1964， M. S.， professor. His research interests include digital intelligent software system.

GAO Gaimei， born in 1978， Ph. D.， lecturer. Her research interests include network security， cryptography.

LIU Chunxia， born in 1977， M. S.， associate professor. Her research interests include software engineering， database.

TP391.4

A

1001-9081（2022）11-3610-07

10.11772/j.issn.1001-9081.2021091696

2021?09?26；

2022?03?07；

2022?03?21。

山西省自然科學(xué)基金資助項目（201901D111266， 201901D111252）。

黨偉超（1974—），男，山西運(yùn)城人，副教授，博士，CCF會員，主要研究方向：智能計算、軟件可靠性；姚志宇（1995—），男，山西朔州人，碩士研究生，主要研究方向：會話推薦；白尚旺（1964—），男，山西呂梁人，教授，碩士，主要研究方向：智能軟件系統(tǒng)；高改梅（1978—），女，山西呂梁人，副教授，博士，CCF會員，主要研究方向：網(wǎng)絡(luò)安全、密碼學(xué)；劉春霞（1977—），女，山西大同人，副教授，碩士，CCF會員，主要研究方向：軟件工程、數(shù)據(jù)庫。