基于對比超圖轉(zhuǎn)換器的會話推薦

黨偉超，程炳陽，高改梅，劉春霞

基于對比超圖轉(zhuǎn)換器的會話推薦

黨偉超，程炳陽*，高改梅，劉春霞

（太原科技大學 計算機科學與技術學院，山西 太原 030024）（?通信作者電子郵箱 s202120210809@stu.tyust.edu.cn）

針對會話推薦本身存在的噪聲干擾和樣本稀疏性問題，提出一種基于對比超圖轉(zhuǎn)換器的會話推薦（CHT）模型。首先，將會話序列建模為超圖；其次，通過超圖轉(zhuǎn)換器構建項目的全局上下文信息和局部上下文信息。最后，在全局關系學習上利用項目級（I-L）編碼器和會話級（S-L）編碼器捕獲不同級別的項目嵌入，經(jīng)過信息融合模塊進行項目嵌入和反向位置嵌入融合，并通過軟注意力模塊得到全局會話表示，而在局部關系學習上借助權重線圖卷積網(wǎng)絡生成局部會話表示。此外，引入對比學習范式最大化全局會話表示和局部會話表示之間的互信息，以提高推薦性能。在多個真實數(shù)據(jù)集上的實驗結果表明，CHT模型的推薦性能優(yōu)于目前的主流模型。相較于次優(yōu)模型S2-DHCN（Self-Supervised Hypergraph Convolutional Networks），在Tmall數(shù)據(jù)集上，所提模型的P@20最高達到了35.61%，MRR@20最高達到了17.11%，分別提升了13.34%和13.69%；在Diginetica數(shù)據(jù)集上，所提模型的P@20最高達到了54.07%，MRR@20最高達到了18.59%，分別提升了0.76%和0.43%，驗證了所提模型的有效性。

會話推薦；超圖轉(zhuǎn)換器；對比學習；注意力機制

0 引言

推薦系統(tǒng)作為一種有效緩解信息過載的基礎設施工具，已被廣泛應用在許多網(wǎng)絡搜索應用、電子商務平臺和在線娛樂平臺。在這些應用中，傳統(tǒng)的推薦系統(tǒng)主要依據(jù)用戶的個人信息和長期歷史交互完成推薦，事實上很多服務器上無法訪問這些信息，只有當前會話的匿名信息可用，匿名用戶和系統(tǒng)之間的這些交互被組織成會話。與傳統(tǒng)的推薦系統(tǒng)不同，基于會話的推薦系統(tǒng)［1］（簡稱會話推薦系統(tǒng)）利用用戶的點擊行為序列構建用戶的行為模式，進而預測下一項用戶可能感興趣的物品。

會話推薦系統(tǒng)具有很高的實用性，相關研究成果不斷涌現(xiàn)。當前基于圖神經(jīng)網(wǎng)絡的推薦模型［2-3］取得了良好的推薦性能，但仍存在幾個關鍵挑戰(zhàn)：首先，噪聲干擾在大多數(shù)推薦場景中普遍存在；其次，樣本稀疏性問題仍然阻礙著用戶項交互建模。鑒于上述挑戰(zhàn)，本文提出了一種新的基于對比超圖轉(zhuǎn)換器的會話推薦（Contrastive Hypergraph Transformer for session-based recommendation， CHT）模型。

本文的主要工作如下：

1）提出一種對比超圖轉(zhuǎn)換器，從有噪聲的用戶交互數(shù)據(jù)中挖掘更有價值的用戶偏好信息，高效地捕獲所有會話中的項目級表示。

2）在獲得項目級表示的基礎上，通過全局關系學習和局部關系學習生成全局和局部會話表示，并在兩個會話表示之間引入對比學習范式輔助推薦模型，緩解數(shù)據(jù)稀疏性問題。

1 相關工作

1.1　基于會話的推薦

基于會話的推薦是推薦系統(tǒng)的典型應用。會話推薦系統(tǒng)的初步探索主要集中于序列建模，主要包括基于項目的鄰域方法［4］和基于馬爾可夫鏈的序列方法［5］。盡管基于項目的鄰域方法根據(jù)項目相似性矩陣完成推薦，但它忽略了項目之間的順序。為解決這一問題，基于馬爾可夫鏈的序列方法利用每個相鄰的兩次點擊之間的順序行為建模用戶的短期偏好［6］，但無法捕捉長期偏好。Zhan等［7］將兩者結合，避免了對局部序列信息的依賴。近期，研究人員提出了一些基于深度學習的模型：Hidasi等［8］提出GRU4Rec（Gated Recurrent Unit for Recommendation），首次使用循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN）根據(jù)單擊項對會話進行建模；NARM（Neural Attentive Recommendation Machine）［9］被設計為混合RNN和注意力機制的編碼器，以建模用戶的順序行為；STAMP（Short-Term Attention/Memory Priority）［10］利用MLP（MultiLayer Perceptron）網(wǎng)絡和注意力機制，捕獲用戶的一般興趣和當前的興趣。

隨著圖神經(jīng)網(wǎng)絡在計算機視覺和自然語言處理領域的成功，研究人員考慮將圖神經(jīng)網(wǎng)絡融入會話推薦以提升推薦性能。其中，Wu等［11］提出SR-GNN（Session-based Recommendation with Graph Neural Networks）將序列建模為會話圖，并通過門控圖神經(jīng)網(wǎng)絡學習項目的表示。隨著SR-GNN的成功應用，一些GNN的變體也取得了良好的性能。其中，Qiu等［12］提出了FGNN（Function Graph Neural Networks）模型，通過考慮會話內(nèi)特定項目的轉(zhuǎn)換模式補償SR-GNN。雖然上述方法在會話推薦（Session-Based Recommendation， SBR）中取得了很好的性能，但仍未能捕獲項目之間復雜的高階關系。

1.2　超圖學習

超圖［13］為捕獲項目之間復雜的高階關系提供了可行性。隨著超圖神經(jīng)網(wǎng)絡的發(fā)展，一些研究將超圖學習與推薦系統(tǒng)結合。Yadati等［14］首次將超圖卷積網(wǎng)絡用于順序推薦，通過將序列構造為超圖以建模用戶的短期偏好；Xia等［15］提出了S2-DHCN（Self-Supervised Hypergraph Convolutional Networks），通過構造雙通道超圖建模用戶之間的高階關系。然而噪聲干擾在大多數(shù)推薦場景中普遍存在，具體地，直接應用超圖聚合信息將破壞原始特征空間中的節(jié)點相似性，損害準確的用戶表示；更嚴重地，由于低維節(jié)點只有少量的鄰居，它們從鄰域接收的信息非常有限，導致基于超圖的推薦系統(tǒng)不能為新用戶或項目提供滿意的推薦。為了應對這些挑戰(zhàn)，本文提出了一種新的超圖轉(zhuǎn)換器，有效地捕獲了所有會話中的項目轉(zhuǎn)換模式。

1.3　對比學習

對比學習［16］是一種新興的機器學習范式，旨在從原始數(shù)據(jù)中學習數(shù)據(jù)表示。近年來，對比學習也引起了研究人員對圖表示的廣泛關注［17］。受圖的對比學習的啟發(fā)，SGL（Self-supervised Graph Learning）通過生成具有隨機節(jié)點和邊緣退出操作的對比視圖產(chǎn)生先進的性能［18］。根據(jù)這一研究路線，本文的工作重點從會話級表示的角度，將對比學習范式集成到超圖轉(zhuǎn)換器架構，聯(lián)合訓練全局會話表示與局部會話表示，有效地緩解了數(shù)據(jù)稀疏性的問題。

2 基于對比超圖轉(zhuǎn)換器的會話推薦

2.1　總體架構

本文CHT模型的總體架構如圖1所示。首先，通過自適應超圖和權重線圖構建項目的全局上下文信息和局部上下文信息。其次，在全局關系學習上通過會話級（Session-Level， S-L）編碼器和項目級（Item-Level， I-L）編碼器得到兩個級別的項目嵌入，經(jīng)過信息融合模塊進行項目嵌入和反向位置嵌入融合，并通過軟注意力模塊得到全局會話表示；在局部關系學習上利用平均池化層和權重線圖卷積網(wǎng)絡層學習局部會話表示。再次，將對比學習范式集成到CHT模型中。最后，通過預測層，輸出下次點擊的項推薦列表。

圖1　CHT模型的總體架構

2.2　問題定義

圖2　超圖轉(zhuǎn)換器的結構

2.3　全局關系學習

全局關系學習通過項目級（I-L）編碼器和會話級（S-L）編碼器得到兩個級別的項目嵌入，經(jīng)過信息融合模塊進行項目嵌入和反向位置嵌入融合，并通過軟注意力模塊得到全局會話表示。

2.3.1I-L編碼器

I-L編碼器通過自適應超圖卷積層獲取會話中項目之間的高階關系。與傳統(tǒng)的圖相比，超圖中的超邊可以在多個節(jié)點之間聚合特征，可以看作是“頂點-超邊-頂點”特征轉(zhuǎn)換的兩級細化。將超圖卷積定義為：

其中表示卷積網(wǎng)絡總層數(shù)。

2.3.2S-L編碼器

2.4　局部關系學習

局部關系學習利用平均池化層和權重線圖卷積網(wǎng)絡學習局部會話表示。

2.5　預測層

在訓練過程中，損失函數(shù)定義為預測值和真實值的交叉熵函數(shù)，公式為：

2.6　對比學習聯(lián)合所有模塊

采用InfoNCE損失函數(shù)，最大化不同層次的會話表示之間的互信息，作為本文的學習目標：

3 實驗與結果分析

3.1　數(shù)據(jù)集及預處理

在3個真實的基準數(shù)據(jù)集Diginetica、Tmall和Nowplaying［19］上進行了廣泛的實驗。其中：Diginetica來自CIKM Cup 2016，包含具有代表性的交易數(shù)據(jù)；Tmall來自IJCAI-15競賽，包含了天貓購物平臺上的匿名用戶的購物日志；Nowplaying包含用戶收聽音樂的行為。為了公平地進行比較，按照Xia等［15］實驗設置，對3個基準數(shù)據(jù)集進行預處理。表1給出了3種數(shù)據(jù)集經(jīng)過預處理過程后的基本統(tǒng)計信息和使用的屬性信息。

表1　預處理后的數(shù)據(jù)集統(tǒng)計信息

注：訓練會話數(shù)和測試會話數(shù)的值表示增強后的樣本數(shù)。

3.2　評價指標

為了便于與基線模型比較，選擇了常用的精確率（Precision）和平均倒數(shù)排名（Mean Reciprocal Rank， MRR）評估提出的模型的性能。

本文將設置為20。

3.3　參數(shù)設置

3.4　模型性能比較與分析

本文將CHT模型與現(xiàn)有的9種主流的模型進行比較（現(xiàn)有模型的超參數(shù)設置與原文一致）：

1）POP。推薦當前數(shù)據(jù)集中點擊頻率最高的個物品。

2）Item-KNN［4］。將物品同時出現(xiàn)的頻率作為相似度，并推薦相似度最高的個物品。

3）FPMC［5］。融合了矩陣分解和馬爾可夫鏈的混合模型，在捕獲用戶長期偏好的同時考慮了序列的時間信息。

4）GRU4Rec［8］。通過使用 RNN 神經(jīng)網(wǎng)絡處理會話的長期特征。

5）NARM［9］。采用RNN結合注意力機制對序列模式進行建模。

6）STAMP［10］。在RNN上引入注意力機制，從會話上下文的長期記憶中捕獲一般興趣，并將最后一項作為用戶對當前會話的短期興趣進行預測。

7）SR-GNN［11］。將會話序列建模為圖結構，通過GNN模型提取項目間的轉(zhuǎn)換關系，并使用注意力機制捕獲用戶的長期興趣。

8）FGNN［12］。通過考慮項目轉(zhuǎn)換模式的固有順序來擴展NARM。

9）S2-DHCN［15］。利用超圖捕獲高階關系，并構造自監(jiān)督學習進行訓練。

總體性能的實驗結果見表2。

表2　不同模型在公開數(shù)據(jù)集上的性能對比 單位：%

注：加粗表示最優(yōu)數(shù)值。

通過分析，可以得出以下結論：

1）從表2中可以看出，基于RNN推薦方法優(yōu)于POP、FPMC和Item-KNN等傳統(tǒng)方法，這表明RNN在會話推薦模型中的關鍵作用?；贕NN的模型（SR-GNN、FGNN）的性能優(yōu)于基于RNN的模型，這種改進歸功于圖神經(jīng)網(wǎng)絡的巨大容量；然而，基于GNN的模型只捕獲當前會話中的順序模式，而沒有利用其他會話中的項目轉(zhuǎn)換信息。S2-DHCN通過對項目之間的高階關系進行建模，性能得到較大提升。由于直接應用超圖聚合信息，將破壞原始特征空間中的節(jié)點相似性，損害準確的用戶表示，因此將基于會話的數(shù)據(jù)直接建模為超圖可能會受噪聲干擾的影響。

2）融入對比學習的CHT模型取得了不錯的效果。特別是在Tmall、Diginetica這兩個數(shù)據(jù)集的平均長度較短的會話中，對比學習扮演了更重要的角色，這符合本文假設，即會話數(shù)據(jù)的稀疏性可能阻礙CHT模型的建模，對比學習通過最大化兩個會話表示之間的互信息解決了這個問題。

3）CHT模型在幾乎所有數(shù)據(jù)集上都顯示了較大的優(yōu)勢。CHT模型在Tmall數(shù)據(jù)集上實現(xiàn)了最大的提升，P@20和MRR@20指標分別為35.61%和17.11%，相較于次優(yōu)模型分別提升了13.34%和13.69%，這得益于對全局和局部會話表示的綜合考慮；同時，CHT模型在Diginetica上也取得了最優(yōu)的性能，P@20最高達到了54.07%，MRR@20最高達到了18.59%，相較于次優(yōu)模型分別提升了0.76%和0.43%，這也驗證了CHT模型的有效性；CHT在Nowplaying上的性能提升并不明顯，因為Nowplaying的平均會話長度比其他兩個數(shù)據(jù)集更長，在一定程度上阻礙了對比學習在稀疏數(shù)據(jù)集上的學習能力。

3.5　消融實驗

CHT模型可以看作是不同模塊聯(lián)合的結果。為了驗證所提模塊的實際價值，分別刪除了CHT的5個主要部分，得到5個變體分別是CHT-I-L，CHT-S-L，CHT-C，CHT-G和CHT-L，其中：CHT-I-L為刪除CHT的I-L編碼器模塊的模型；CHT-S-L為刪除CHT的S-L編碼器模塊的模型；CHT-C為刪除對比學習模塊的模型；CHT-G為刪除自適應超圖轉(zhuǎn)換器模塊；CHT-L為刪除權重線圖轉(zhuǎn)換器模塊。

消融實驗結果如表3所示，CHT模型在Tmall和Diginetica數(shù)據(jù)集上的性能始終優(yōu)于5個變體，這表明每個模塊都對CHT模型的推薦過程有貢獻，并驗證了本文模型的有效性。總體地，S-L編碼器利用當前會話的內(nèi)部連接捕獲會話級的連接信息，當刪除S-L編碼器時，可以發(fā)現(xiàn)在所有指標上的性能都顯著降低。相對而言，I-L編碼器的貢獻較少，但在相對稀疏的Nowplaying數(shù)據(jù)集上，I-L編碼器可以通過預訓練所有會話的項目轉(zhuǎn)換信息幫助模型作出更準確的預測。當刪除對比學習模塊時，在所有情況下都會產(chǎn)生明顯的性能下降，這驗證了本文引入對比學習的有效性。在Tmall和Diginetica數(shù)據(jù)集上，CHT-L的性能優(yōu)于CHT-G，說明使用自適應超圖可以有效地捕獲高階信息。在Nowplaying數(shù)據(jù)集上，CHT-L比CHT-G表現(xiàn)更好，這可能是由于Nowplaying數(shù)據(jù)集中的會話的平均長度比其他兩個數(shù)據(jù)集中的長，這有助于在局部關系學習上對會話中項目之間的依賴關系的學習。

表3　CHT模型的消融實驗結果 單位：%

3.6　對比學習參數(shù)比較與分析

圖3　對比學習中參數(shù)大小的影響

3.7　模型深度的影響

圖4　模型深度的影響

3.8　效率分析

為分析模型的效率，本文研究了時間復雜度和空間復雜度對所提模型性能的影響。

表4顯示了CHT模型與基線模型在Tmall數(shù)據(jù)集上訓練30輪后得到平均每輪的訓練時間。先進的模型S2-DHCN的訓練時間比其他方法高，大約為4倍，這表明與普通圖模型相比，沿著超圖傳播信息較耗時；但CHT模型可以保持良好的效率。由上述推理，CHT模型利用圖節(jié)點自適應策略動態(tài)地調(diào)整來自圖的結構和節(jié)點特征的信息，降低了模型的計算量，從而降低了鄰域采樣過程的時間復雜度。

此外，選擇來自RecSys 2015挑戰(zhàn)賽中Yoochoose數(shù)據(jù)集的數(shù)據(jù)信息，它包含了用戶在在線零售平臺6個月內(nèi)的點擊信息和購買行為。在Yoochoose1/64數(shù)據(jù)集上做進一步實驗以獲取不同模型的參數(shù)量、模型大小和運行時占用內(nèi)存。從表5可見，模型參數(shù)量與模型大小和占用內(nèi)存相關，說明模型的空間復雜度與參數(shù)量有關。綜合看，CHT模型在包含大量會話和項目的真實會話推薦場景中具有較大優(yōu)勢。

表4不同模型在Tmall數(shù)據(jù)集上的平均訓練時間 單位：s

Tab.4　Average training time of different models on Tmall dataset unit：s

表5模型參數(shù)量分析

Tab.5　Parameter number analysis of models

4 結語

為解決會話推薦存在的問題，本文提出了一種新的基于對比超圖轉(zhuǎn)換器的會話推薦模型。該模型不僅通過超圖轉(zhuǎn)換器提高了基于圖的會話推薦對噪聲擾動的魯棒性，還通過全局會話表示和局部會話表示設計了輔助任務以產(chǎn)生自監(jiān)督信號進行對比學習，增強了模型對會話數(shù)據(jù)提取的能力，有效緩解了數(shù)據(jù)稀疏性對推薦性能的影響。CHT模型主要考慮推薦準確度，較少關注推薦效率。下一步我們將從輕量化的角度，將知識蒸餾技術［20］融入CHT模型以實現(xiàn)高效的推薦性能，從而提升它推薦的實時效率。

[1] WANG S， CAO L， WANG Y， et al. A survey on session-based recommender systems［J］. ACM Computing Surveys， 2022， 54（7）： No.154.

[2] 黨偉超，姚志宇，白尚旺，等. 基于圖模型和注意力模型的會話推薦方法［J］. 計算機應用， 2022， 42（11）：3610-3616.（DANG W C， YAO Z Y， BAI S W， et al. Session recommendation method based on graph model and attention model ［J］. Journal of Computer Applications， 2022，42（11）： 3610-3616.）

[3] 南寧，楊程屹，武志昊. 基于多圖神經(jīng)網(wǎng)絡的會話感知推薦模型［J］. 計算機應用， 2021， 41（2）：330-336.（NAN N， YANG C Y， WU Z H. Multi-graph neural network-based session perception recommendation model［J］. Journal of Computer Applications， 2021， 41（2）：330-336.）

[4] SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms［C］// Proceedings of the 10th International Conference on World Wide Web. New York： ACM， 2001： 285-295.

[5] FENG S， LI X， ZENG Y， et al. Personalized ranking metric embedding for next new POI recommendation［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2069-2075.

[6] MOBASHER B， DAI H， LUO T， et al. Using sequential and non-sequential patterns in predictive Web usage mining tasks［C］// Proceedings of the 2002 IEEE International Conference on Data Mining. Piscataway： IEEE， 2002： 669-672.

[7] ZHAN Z， ZHONG L， LIN J， et al. Sequence-aware similarity learning for next-item recommendation［J］. The Journal of Supercomputing， 2021， 77（7）： 7509-7534.

[8] HIDASI B， KARATZOGLOU A. Recurrent neural networks with top-gains for session-based recommendations［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 843-852.

[9] LI J， REN P， CHEN Z， et al. Neural attentive session-based recommendation［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428.

[10] LIU Q， ZENG Y， MOKHOSI R， et al. STAMP： short-term attention/memory priority model for session-based recommendation［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1831-1839.

[11] WU S， TANG Y， ZHU Y， et al. Session-based recommendation with graph neural networks［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 346-353.

[12] QIU R， LI J， HUANG Z， et al. Rethinking the item order in session-based recommendation with graph neural networks［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM， 2019： 579-588.

[13] FENG Y， YOU H， ZHANG Z， et al. Hypergraph neural networks［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3558-3565.

[14] YADATI N， NIMISHAKAVI M， YADAV P， et al. HyperGCN： a new method for training graph convolutional networks on hypergraphs ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 1511-1522.

[15] XIA X， YIN H， YU J， et al. Self-supervised hypergraph convolutional networks for session-based recommendation［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 4503-4511.

[16] ZHOU K， WANG H， ZHAO W X， et al. S3-Rec： self-supervised learning for sequential recommendation with mutual information maximization［C］// Proceedings of the 29th ACM International Conference on Information and Knowledge Management. New York： ACM， 2020： 1893-1902.

[17] HWANG D， PARK J， KWON S， et al. Self-supervised auxiliary learning with meta-paths for heterogeneous graphs［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2020： 10294-10305.

[18] WU J， WANG X， FENG F， et al. Self-supervised graph learning for recommendation［C］// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 726-735.

[19] ZANGERLE E， PICHL M， GASSLER W， et al. #nowplaying music dataset： extracting listening behavior from Twitter［C］// Proceedings of the 1st International Workshop on Internet-Scale Multimedia Management. New York： ACM， 2014： 21-26.

[20] WU X， HE R， HU Y， et al. Learning an evolutionary embedding via massive knowledge distillation［J］. International Journal of Computer Vision， 2020， 128（8/9）： 2089-2106.

Contrastive hypergraph transformer for session-based recommendation

DANG Weichao， CHENG Bingyang*， GAO Gaimei， LIU Chunxia

（，，030024，）

A Contrastive Hypergraph Transformer for session-based recommendation （CHT） model was proposed to address the problems of noise interference and sample sparsity in the session-based recommendation itself. Firstly， the session sequence was modeled as a hypergraph. Secondly， the global context information and local context information of items were constructed by the hypergraph transformer. Finally， the Item-Level （I-L） encoder and Session-Level （S-L） encoder were used on global relationship learning to capture different levels of item embeddings， the information fusion module was used to fuse item embedding and reverse position embedding， and the global session representation was obtained by the soft attention module while the local session representation was generated with the help of the weight line graph convolutional network on local relationship learning. In addition， a contrastive learning paradigm was introduced to maximize the mutual information between the global and local session representations to improve the recommendation performance. Experimental results on several real datasets show that the recommendation performance of CHT model is better than that of the current mainstream models. Compared with the suboptimal model S2-DHCN （Self-Supervised Hypergraph Convolutional Networks）， the proposed model has the P@20 of 35.61% and MRR@20 of 17.11% on Tmall dataset， which are improved by 13.34% and 13.69% respectively； the P@20 reached 54.07% and MRR@20 reached 18.59% on Diginetica dataset， which are improved by 0.76% and 0.43% respectively； verifying the effectiveness of the proposed model.

session-based recommendation; hypergraph transformer; contrastive learning; attention mechanism

This work is partially supported by Doctoral Research Start-up Fund of Taiyuan University of Science and Technology （20202063）， Graduate Education Innovation Project of Taiyuan University of Science and Technology （SY2022063）.

DANG Weichao， born in 1974， Ph. D.， associate professor. His research interests include intelligent computing， software reliability.

CHENG Bingyang， born in 1996， M. S. candidate. His research interests include recommendation system.

GAO Gaimei， born in 1978， Ph. D.， associate professor. Her research interests include network security， cryptography.

LIU Chunxia， born in 1977， M. S.， associate professor. Her research interests include software engineering， database.

TP391.4

A

1001-9081（2023）12-3683-06

10.11772/j.issn.1001-9081.2022111654

2022?11?04；

2023?05?26；

2023?05?29。

太原科技大學博士科研啟動基金資助項目（20202063）；太原科技大學研究生教育創(chuàng)新項目（SY2022063）。

黨偉超（1974—），男，山西運城人，副教授，博士，CCF會員，主要研究方向：智能計算、軟件可靠性；程炳陽（1996—），男，河南商丘人，碩士研究生，主要研究方向：推薦系統(tǒng)；高改梅（1978—），女，山西呂梁人，副教授，博士，CCF會員，主要研究方向：網(wǎng)絡安全、密碼學；劉春霞（1977—），女，山西大同人，副教授，碩士，CCF會員，主要研究方向：軟件工程、數(shù)據(jù)庫。