基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的推薦算法研究

陳卓　李涵　杜軍威

摘? ?要：基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法通過從圖中獲取知識，提高了推薦的可解釋性. 然而隨著推薦系統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)規(guī)模的不斷擴(kuò)大，用戶-項(xiàng)目評分矩陣呈現(xiàn)出稀疏性問題，圖神經(jīng)網(wǎng)絡(luò)難以學(xué)習(xí)到高質(zhì)量的網(wǎng)絡(luò)節(jié)點(diǎn)特征，導(dǎo)致推薦質(zhì)量下降. 本文將圖神經(jīng)網(wǎng)絡(luò)與異質(zhì)信息網(wǎng)絡(luò)相結(jié)合，提出一種基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的推薦算法. 該算法使用異質(zhì)信息網(wǎng)絡(luò)對多源異質(zhì)數(shù)據(jù)進(jìn)行聯(lián)合解碼，將注意力機(jī)制引入用戶-項(xiàng)目交互網(wǎng)絡(luò)和用戶社交網(wǎng)絡(luò)的用戶、項(xiàng)目聚合表示過程，從而實(shí)現(xiàn)用戶-項(xiàng)目交互和用戶社交兩類網(wǎng)絡(luò)間的節(jié)點(diǎn)及拓?fù)浣Y(jié)構(gòu)特征的有效融合. 兩個(gè)公開數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果表明，本文提出的算法在不斷稀疏化的數(shù)據(jù)集上的推薦誤差比基線方法少40%.

關(guān)鍵詞：圖神經(jīng)網(wǎng)絡(luò);異質(zhì)信息網(wǎng)絡(luò);推薦;網(wǎng)絡(luò)表示學(xué)習(xí)

中圖分類號：TP18? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A

Research on Recommendation Algorithm Based

on Heterogeneous Graph neural Network

CHEN Zhuo LI Han DU Junwei

（School of Information Science and Technology，Qingdao University of Science and Technology，Qingdao 266061，China）

Abstract：By acquiring knowledge from a graph，the recommendation algorithm based on the graph neural network improves the recommendation interpretability. However，with the continuous expansion of the network data scale of the recommended system，the user-item scoring matrix displays a sparsity problem，which makes the graph neural network difficult to learn high quality network node features，and finally leads to the decline of recommendation quality. In this paper，a recommendation algorithm based on heterogeneous graph neural network is proposed by combining graph neural network with heterogeneous information network. This algorithm uses heterogeneous information network to decode multi-source heterogeneous data. And the attention mechanism is introduced into the user and item aggregation process of user-item interaction network and user social network，in order to realize the effective fusion of Node and topology characteristics of user-item interaction and user social networks. The experiment on two continuous sparse datasets show that the recommendation error of the algorithm proposed in this paper is 40% less than that of the baseline method.

Key words：graph neural network;heterogeneous information network;recommendations;network representation learning

隨著電子商務(wù)和社交媒體平臺的快速發(fā)展，推薦系統(tǒng)已經(jīng)成為許多企業(yè)不可或缺的工具. 一個(gè)高效的推薦系統(tǒng)能通過準(zhǔn)確地捕捉用戶的偏好，發(fā)現(xiàn)用戶可能感興趣的項(xiàng)目，從而提高用戶對平臺的滿意度，提高用戶的保留率.

推薦系統(tǒng)根據(jù)用戶的興趣和項(xiàng)目屬性來評估用戶對項(xiàng)目的偏好. 由于用戶興趣和項(xiàng)目特征都用壓縮向量表示，因此學(xué)習(xí)用戶/項(xiàng)目交互和其他輔助信息，如社會關(guān)系和知識圖的嵌入表示，成為該鄰居需解決的關(guān)鍵問題.

在推薦系統(tǒng)中，大多數(shù)信息具有圖結(jié)構(gòu)，而圖神經(jīng)網(wǎng)絡(luò)GNN（Graph Neural Network）技術(shù)可以通過圖節(jié)點(diǎn)之間的消息傳遞來捕捉圖的相關(guān)性，因此GNN經(jīng)常被用來生成用戶/項(xiàng)目的嵌入表示. 然而傳統(tǒng)的基于GNN的推薦算法，只能夠處理由單一類型節(jié)點(diǎn)構(gòu)成的規(guī)則拓?fù)鋱D，而當(dāng)下網(wǎng)絡(luò)中的數(shù)據(jù)并非只由單一類型節(jié)點(diǎn)構(gòu)成. 此外，傳統(tǒng)GNN只融合節(jié)點(diǎn)的一階鄰居特征，無法獲取節(jié)點(diǎn)在網(wǎng)絡(luò)中的更深層結(jié)構(gòu)關(guān)系. 因此，當(dāng)數(shù)據(jù)集稀疏，各節(jié)點(diǎn)均只有極少的鄰居數(shù)時(shí)，基于傳統(tǒng)GNN的推薦算法的推薦質(zhì)量下降明顯.

為了解決以上的不足之處，本文將圖神經(jīng)網(wǎng)絡(luò)與異質(zhì)網(wǎng)絡(luò)相結(jié)合，提出深度推薦模型H_GNN（Heterogeneous_Graph Neural Network）. 本文的貢獻(xiàn)可以總結(jié)為以下幾點(diǎn)：

1）給出了異質(zhì)信息網(wǎng)絡(luò)的信息的多特征聯(lián)合表示方法. 面向用戶/項(xiàng)目交互和用戶社交兩個(gè)域，利用異質(zhì)信息網(wǎng)絡(luò)中的多階拓?fù)浣Y(jié)構(gòu)信息，增強(qiáng)網(wǎng)絡(luò)連接稀疏情況下節(jié)點(diǎn)特征的表示能力.

2）提出了面向注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)推薦方法. 通過對用戶、項(xiàng)目、評分、社交等多維表示向量的有效融合，增強(qiáng)推薦模型在評分矩陣稀疏情況下，推薦模型的推薦質(zhì)量.

3）通過在多個(gè)公共數(shù)據(jù)集上不斷增加數(shù)據(jù)的稀疏性，驗(yàn)證本文模型推薦精度下降速度明顯低于基線方法.

1? ?相關(guān)工作

1.1? ?基于異質(zhì)信息網(wǎng)絡(luò)的算法

近幾年來，由多種節(jié)點(diǎn)或邊組成的異質(zhì)信息網(wǎng)絡(luò)HIN（Heterogeneous Information Network）作為一種融合復(fù)雜信息的強(qiáng)大建模方法被提出. 與同構(gòu)網(wǎng)絡(luò)相比，由實(shí)體類型及其在HIN中的關(guān)系提供的異質(zhì)信息可以捕獲更多語義上有意義的信息. 2014年，Jacob等人[1]提出了一種將節(jié)點(diǎn)表示學(xué)習(xí)應(yīng)用于不同節(jié)點(diǎn)類型共有的潛在空間上的新方法，但由于其將異質(zhì)信息網(wǎng)絡(luò)變成同構(gòu)信息網(wǎng)絡(luò)來處理，此類方法會丟失較多重要信息. 2015年，Tang等人[2]提出了一種預(yù)測文本嵌入模型，但該方法不適用于除文本網(wǎng)絡(luò)外的大多數(shù)異質(zhì)信息網(wǎng)絡(luò). 2017 年，兩種經(jīng)典的基于元路徑的異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)方法[3-4]被提出，它們使用元路徑游走來捕獲不同類型節(jié)點(diǎn)之間的關(guān)系.? 劉鈺峰等人[5]采用重啟動隨機(jī)游走進(jìn)行查詢推薦，在游走的基礎(chǔ)上進(jìn)行了改進(jìn). 黃立威等人[6]利用基于元路徑的異質(zhì)信息網(wǎng)絡(luò)來做鏈路預(yù)測. 近年來，異質(zhì)信息網(wǎng)絡(luò)作為一種新興方向，逐漸被應(yīng)用于推薦鄰居中復(fù)雜關(guān)系的建模中. Shi等人[7]提出異質(zhì)信息網(wǎng)絡(luò)嵌入模型，通過異質(zhì)信息網(wǎng)絡(luò)生成特定關(guān)系對應(yīng)的元路徑，獲得用戶隱含向量，然后通過融合函數(shù)進(jìn)行向量的融合并最終用于推薦.

上述算法在單個(gè)域上構(gòu)建異質(zhì)信息網(wǎng)絡(luò)，在網(wǎng)絡(luò)連接稀疏的情況下，節(jié)點(diǎn)可學(xué)習(xí)的鄰居信息極少，使得節(jié)點(diǎn)表示學(xué)習(xí)質(zhì)量不高.

1.2? ?基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法

圖神經(jīng)網(wǎng)絡(luò)作為一種新型的拓展神經(jīng)網(wǎng)絡(luò)，可以在圖上對節(jié)點(diǎn)進(jìn)行特征提取和表示，是一種高效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu). 許多方法模型利用了GNN特有的優(yōu)勢來解決經(jīng)典問題，并得到了優(yōu)于傳統(tǒng)方法的實(shí)驗(yàn)結(jié)果. 例如，Berg等人[8]提出了一種圖自編碼器框架GCMC（Graph Convolution Matrix? Completion），從鏈路預(yù)測的角度解決推薦系統(tǒng)中的評分預(yù)測問題. Zhang等人[9]提出一種采用一堆GCN（Graph Convolution Network）編碼器/解碼器與中間監(jiān)督相結(jié)合的模型，以提高最終預(yù)測性能. Wu等人[10]利用GNN機(jī)制捕獲了更深層次的社會擴(kuò)散過程. Fan等人[11]提出一種基于圖神經(jīng)網(wǎng)絡(luò)的模型用于推薦任務(wù)并展現(xiàn)了良好的性能. 葛堯等人[12]提出一種新的圖卷積網(wǎng)絡(luò)推薦算法，其使用兩組圖卷積來處理不同交互信息.

上述算法均只能夠處理由單一類型節(jié)點(diǎn)或單一類型關(guān)系構(gòu)成的規(guī)則拓?fù)鋱D，網(wǎng)絡(luò)節(jié)點(diǎn)隱特征隨機(jī)初始化，GNN只融合節(jié)點(diǎn)的一階鄰居特征. 由于上述算法忽略或未充分挖掘網(wǎng)絡(luò)中節(jié)點(diǎn)間更深層的結(jié)構(gòu)和語義信息，因此當(dāng)網(wǎng)絡(luò)節(jié)點(diǎn)均只有極少的鄰居數(shù)，即用戶項(xiàng)目評分?jǐn)?shù)據(jù)稀疏時(shí)，上述基于GNN的推薦算法的推薦質(zhì)量明顯下降.

1.3? ?注意力機(jī)制

注意力機(jī)制（Attention Mechanism）源于對人類視覺的研究. 在認(rèn)知科學(xué)中，由于信息處理的瓶頸，人類會選擇性地關(guān)注所有信息的一部分，同時(shí)忽略其他可見的信息，上述機(jī)制通常被稱為注意力機(jī)制. Velikovi等人[13]通過疊加圖注意力層為中心節(jié)點(diǎn)的鄰居節(jié)點(diǎn)分配不同的權(quán)重，并據(jù)此融合鄰居節(jié)點(diǎn)信息生成更有效的中心節(jié)點(diǎn)的特征表示. 張青博等人[14]利用注意力機(jī)制分析用戶對項(xiàng)目不同屬性的關(guān)注度，以此獲取用戶更準(zhǔn)確的偏好信息.

注意力機(jī)制具有直觀性、通用性和可解釋性的優(yōu)點(diǎn)，已成為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的重要組成部分，被廣泛應(yīng)用到推薦系統(tǒng)、自然語言生成等不同類型的深度學(xué)習(xí)任務(wù)中[15].

2? ?H_GNN模型

2.1? ?H_GNN模型框架

H_GNN模型框架如圖1所示，圖中顯示了模型架構(gòu)分為兩部分：首先是異質(zhì)信息網(wǎng)絡(luò)多特征融合（如圖1中H_GNN第一部分），采用遷移學(xué)習(xí)的思想，構(gòu)建面向圖神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，對購物和社交兩類數(shù)據(jù)進(jìn)行聯(lián)合解碼，共同學(xué)習(xí)用戶、項(xiàng)目的低維隱特征，從而最大限度地挖掘用戶、項(xiàng)目之間的信息交互潛力，提升圖神經(jīng)網(wǎng)絡(luò)推薦模型的訓(xùn)練效率. 其次是面向注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)（如圖1中H_GNN第二部分），在圖神經(jīng)網(wǎng)絡(luò)進(jìn)行推薦建模時(shí)，本文基于用戶與項(xiàng)目間的不同交互行為、用戶間的不同社交關(guān)系對用戶偏好、項(xiàng)目特征表示的影響程度不同的假設(shè)，將注意力機(jī)制引入用戶/項(xiàng)目交互網(wǎng)絡(luò)和用戶社交網(wǎng)絡(luò)的用戶、項(xiàng)目聚合表示過程，從而實(shí)現(xiàn)用戶/項(xiàng)目交互和用戶社交兩類網(wǎng)絡(luò)間的節(jié)點(diǎn)及拓?fù)浣Y(jié)構(gòu)特征的有效融合.

2.2? ?基于異質(zhì)信息網(wǎng)絡(luò)的信息多特征聯(lián)合表示

2.3? ?面向注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)推薦算法

用戶/項(xiàng)目交互關(guān)系中附帶評分屬性，同一用戶對不同項(xiàng)目的評分、不同用戶對同一項(xiàng)目的評分中蘊(yùn)含著豐富的用戶偏好和項(xiàng)目特征信息. 在用戶/項(xiàng)目評分?jǐn)?shù)據(jù)稀疏的情況下，為充分挖掘用戶/項(xiàng)目交互網(wǎng)絡(luò)和用戶社交網(wǎng)絡(luò)中的關(guān)系和屬性信息，本文將注意力機(jī)制引入用戶、項(xiàng)目的特征聚合表示過程，從而實(shí)現(xiàn)用戶/項(xiàng)目交互和用戶社交兩類網(wǎng)絡(luò)間的節(jié)點(diǎn)及拓?fù)浣Y(jié)構(gòu)特征的有效融合.

在聚合與中心用戶節(jié)點(diǎn)發(fā)生交互的鄰居項(xiàng)目節(jié)點(diǎn)、社交用戶節(jié)點(diǎn)時(shí)，利用注意力機(jī)制根據(jù)用戶特征為鄰居項(xiàng)目、鄰居用戶分配不同的權(quán)重，從而體現(xiàn)不同交互項(xiàng)目、不同社交用戶在體現(xiàn)用戶喜好特征時(shí)不同的重要性. 在聚合與中心項(xiàng)目節(jié)點(diǎn)發(fā)生交互的鄰居用戶節(jié)點(diǎn)時(shí)，利用注意力機(jī)制根據(jù)項(xiàng)目特征為鄰居用戶分配不同的權(quán)重，從而體現(xiàn)不同鄰居用戶在體現(xiàn)項(xiàng)目特征時(shí)不同的重要性.

2.3.1? ?用戶特征融合

2.3.2? ?項(xiàng)目特征融合

2.3.3? ?評分預(yù)測

2.3.4? ?模型學(xué)習(xí)

3? ?實(shí)驗(yàn)與結(jié)果分析

3.1? ?數(shù)據(jù)集及評價(jià)指標(biāo)

本文使用了Ciao和Epinions兩個(gè)數(shù)據(jù)集進(jìn)行對比實(shí)驗(yàn)，這兩個(gè)數(shù)據(jù)集是由亞利桑那州立大學(xué)學(xué)者在做社交網(wǎng)絡(luò)方面研究的時(shí)候使用的數(shù)據(jù)集. 可以分別從http：//www.cse.msu.edu/～tangjili/trust.html和http：//www.trustlet.org/epinions.html網(wǎng)頁鏈接上獲取. 它們分別包含了283 319和764 352個(gè)評級.

本文采用了RMSE（Root Mean Square Error）和MAE（Mean Absolute Error）兩項(xiàng)指標(biāo)來驗(yàn)證模型準(zhǔn)確度.

3.2? ?參數(shù)的設(shè)定

H_GNN模型的超參數(shù)有路徑長度、窗口大小、學(xué)習(xí)率和嵌入維度.

本文通過實(shí)驗(yàn)對比了在不同學(xué)習(xí)率下，路徑長度為10、窗口大小為5和路徑長度為20、窗口大小為10的預(yù)測誤差. 關(guān)于參數(shù)實(shí)驗(yàn)結(jié)果如表1所示，表中顯示了H_GNN模型在路徑長度為20、窗口大小為10、學(xué)習(xí)率為0.004時(shí)預(yù)測誤差最小.

3.3? ?對比實(shí)驗(yàn)

為了評估H_GNN模型的推薦性能，本文選擇以下六種推薦模型作為基線方法，進(jìn)行對比實(shí)驗(yàn).

SocialMF[17]（Social Matrix Factorization）：主要思想是在矩陣分解中引入信任傳播，用戶表示接近其信任的用戶.

NeuMF[18]（Neural Matrix Factorization）：模型主要思想是結(jié)合了傳統(tǒng)矩陣分解和多層感知機(jī)，可以同時(shí)抽取低維和高維的特征.

DeepSoR[19]（Deep Social Recommendation）：主要思想是從社交關(guān)系學(xué)習(xí)到的用戶表示集成到概率矩陣分解中.

DeepFM[20]（Deep Matrix Factorization）：主要思想是聯(lián)合訓(xùn)練FM（Matrix Factorization）模型和DNN（Deep Neural Networks）模型，同時(shí)學(xué)習(xí)低階特征組合和高階特征組合.

Wide&Deep[21]（Wide and Deep）：提出一種融合淺層模型和深層模型進(jìn)行聯(lián)合訓(xùn)練的框架.

GCMC[8]：提出一種從鏈路預(yù)測角度解決評分預(yù)測的圖自編碼器框架.

GraphRec[11]（Graph Recommendation）：主要思想是按用戶商品間的交互關(guān)系和用戶間的社交關(guān)系兩個(gè)層次，依次融合用戶、項(xiàng)目特征，進(jìn)而訓(xùn)練GNN網(wǎng)絡(luò)預(yù)測評分.

H_GNN與基線方法在Ciao和Epinion兩個(gè)數(shù)據(jù)集上，按照6 ∶ 4劃分訓(xùn)練和測試集. 關(guān)于模型對比實(shí)驗(yàn)結(jié)果如表2所示，表中顯示了在兩個(gè)數(shù)據(jù)集的兩個(gè)評價(jià)指標(biāo)下，H_GNN模型均得到了最小的預(yù)測誤差.

為了驗(yàn)證H_GNN模型在稀疏數(shù)據(jù)集上的推薦質(zhì)量，本文基于Ciao數(shù)據(jù)集構(gòu)造了不同稀疏程度的9個(gè)數(shù)據(jù)集，在保證Ciao數(shù)據(jù)集不出現(xiàn)用戶、項(xiàng)目冷啟動的情況下，依次對用戶/項(xiàng)目評分?jǐn)?shù)據(jù)進(jìn)行了9次稀疏化，每次減少10%的評分?jǐn)?shù)據(jù)，并選擇同樣基于GNN且也融合了社交網(wǎng)絡(luò)輔助信息的推薦鄰居最先進(jìn)的模型之——GraphRec模型作為基線方法.

關(guān)于H_GNN與基線方法中預(yù)測效果最好的GraphRec模型的稀疏度對比實(shí)驗(yàn)結(jié)果如圖4、圖5所示，圖中顯示了在評分?jǐn)?shù)據(jù)不斷減少的過程中，H_GNN模型相比GraphRec模型的推薦質(zhì)量提升明顯，在評分?jǐn)?shù)據(jù)最為稀疏的90%處，H_GNN模型比GraphRec模型的推薦誤差降低了約40%.

節(jié)點(diǎn)表示進(jìn)行推薦模型訓(xùn)練，本文提出的基于異質(zhì)信息網(wǎng)絡(luò)的多特征聯(lián)合表示方法具有更強(qiáng)的節(jié)點(diǎn)特征表示能力，提出的面向注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)推薦方法能有效融合用戶、項(xiàng)目、評分、社交等多維特征提升推薦質(zhì)量.

3.4? ?消融實(shí)驗(yàn)

為了探究基于異質(zhì)信息網(wǎng)絡(luò)的信息多特征聯(lián)合表示、用戶社交網(wǎng)絡(luò)信息聚合對H_GNN模型訓(xùn)練效果的影響，本文在兩種不同稀疏度的Ciao數(shù)據(jù)集上進(jìn)行了兩組消融實(shí)驗(yàn). 其中H_GNN_2模型為取消基于異質(zhì)信息網(wǎng)絡(luò)的信息多特征聯(lián)合表示，直接采用隨機(jī)值初始化用戶、項(xiàng)目特征向量作為面向注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)推薦算法的輸入;H_GNN-u_u模型為在面向注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)推薦算法中，取消用戶社交網(wǎng)絡(luò)u_u，只采用用戶項(xiàng)目交互網(wǎng)絡(luò)u_v進(jìn)行用戶特征聚合. 關(guān)于消融實(shí)驗(yàn)結(jié)果如圖6、圖7所示，圖中顯示了在稀疏度為50%和90%的Ciao數(shù)據(jù)集上，H_GNN模型的預(yù)測誤差明顯低于H_GNN_2和H_GNN-u_u模型.

由H_GNN_2消融實(shí)驗(yàn)結(jié)果可知，使用基于異質(zhì)信息網(wǎng)絡(luò)的信息多特征聯(lián)合表示有助于提升H_GNN模型推薦質(zhì)量. 由H_GNN-u_u消融實(shí)驗(yàn)結(jié)果可知，融合用戶社交信息，使用戶特征向量中包含用戶社交關(guān)系特征，同樣有助于提升H_GNN模型推薦質(zhì)量.

4? ?結(jié)? ?論

數(shù)據(jù)稀疏性問題是推薦系統(tǒng)面臨的最具挑戰(zhàn)性的問題之一. 數(shù)據(jù)稀疏使得圖網(wǎng)絡(luò)中節(jié)點(diǎn)可學(xué)習(xí)的結(jié)構(gòu)信息變少，因此傳統(tǒng)基于GNN的推薦算法預(yù)測誤差大. 本文提出一種基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的推薦算法，使用異質(zhì)信息網(wǎng)絡(luò)對多源異質(zhì)數(shù)據(jù)進(jìn)行聯(lián)合解碼，引入注意力機(jī)制進(jìn)行用戶/項(xiàng)目交互網(wǎng)絡(luò)和用戶社交網(wǎng)絡(luò)中用戶、項(xiàng)目特征的聚合表示，從而充分挖掘稀疏數(shù)據(jù)集中蘊(yùn)含圖節(jié)點(diǎn)及拓?fù)浣Y(jié)構(gòu)特征. 通過在兩個(gè)公開數(shù)據(jù)集上進(jìn)行的大量對比實(shí)驗(yàn)結(jié)果表明，本文提出的算法在原始和不斷稀疏化的數(shù)據(jù)集上的推薦誤差均明顯小于所有的基線方法.

隨著時(shí)間的推移，推薦系統(tǒng)中的網(wǎng)絡(luò)節(jié)點(diǎn)及其關(guān)系會不斷變化，目前本文的推薦模型僅適用于靜態(tài)圖網(wǎng)絡(luò)，后續(xù)可進(jìn)一步開展動態(tài)圖網(wǎng)絡(luò)增量計(jì)算推薦算法的研究.

參考文獻(xiàn)

[1]? JACOB Y，DENOYER L，GALLINARI P. Learning latent representations of nodes for classifying in heterogeneous social networks[C]//Proceedings of the 7th ACM International Conference on Web Search and Data Mining. New York，USA：ACM，2014：373—382.

[2]? ? TANG J，QU M，MEI Q Z. PTE：predictive text embedding through large-scale heterogeneous text networks[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Sydney NSW Australia. New York，USA：ACM，2015：1165—1174.

[3]? ?DONG Y X，CHAWLA N V，SWAMI A. Metapath2vec：scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Halifax NS Canada.New York，USA：ACM，2017：135—144.

[4]? ?FU T Y，LEE W C，LEI Z. HIN2Vec：explore meta-paths in heterogeneous information networks for representation learning[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York，USA：ACM，2017：1797—1806.

[5]? ? 劉鈺峰，李仁發(fā). 基于Term-Query-URL異構(gòu)信息網(wǎng)絡(luò)的查詢推薦[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，41（5）：106—112.LIU Y F，LI R F. Query suggestion by constructing heterogeneous term-query-URL information network[J]. Journal of Hunan University （Natural Sciences），2014，41（5）：106—112.

[6]? ? 黃立威，李德毅，馬于濤，等. 一種基于元路徑的異質(zhì)信息網(wǎng)絡(luò)鏈路預(yù)測模型[J]. 計(jì)算機(jī)學(xué)報(bào)，2014，37（4）：848—858.HUANG L W，LI D Y，MA Y T，et al. A link prediction model for heterogeneous information networks based on meta-path[J]. Chinese Journal of Computers， 2014，37（4）： 848—858. （In Chinese）

[7]? ? SHI C，HU B，ZHAO X，et al. Heterogeneous information network embedding for recommendation[J]. IEEE Transactions on Knowledge and Data Engineering，2019，31（2）：357—370.

[8]? ? BERG R V D，KIPF T N，WELLING M. Graph convolutional matrix completion[EB/OL].2017：arXiv：1706.02263[stat.ML].https：//arxiv.org/abs/1706.02263.

[9]? ? ZHANG J N，SHI X J，ZHAO S L，et al. STAR-GCN：stacked and reconstructed graph convolutional networks for recommender systems[C]//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. California：International Joint Conferences on Artificial Intelligence Organization，2019：4264—4270.

[10]? WU L，SUN P，F(xiàn)U Y，et al. A neural influence diffusion model for social recommendation[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. New York，USA：ACM，2019：235—244.

[11]? FAN W Q，MA Y，LI Q，et al. Graph neural networks for social recommendation[C]//The World Wide Web Conference on - WWW &apos. New York，USA：ACM Press，2019：417—426.

[12]? 葛堯，陳松燦.面向推薦系統(tǒng)的圖卷積網(wǎng)絡(luò)[J].軟件學(xué)報(bào)，2020，31（4）：1101—1112.GE Y，CHEN S C. Graph convolutional network for recommender systems[J]. Journal of Software， 2020， 31（4）： 1101—1112. （In Chinese）

[13] VELIKOVI P，CUCURULL G，CASANOVA A，et al. Graph attention? ?networks[EB/OL].（2017-10-30）[2020-03-30].https：//arxiv.org/abs/1710.10903.

[14]? 張青博，王斌，崔寧寧，等. 基于注意力機(jī)制的規(guī)范化矩陣分解推薦算法[J]. 軟件學(xué)報(bào)，2020，31（3）：778—793.ZHANG Q B，WANG B，CUI N N，et al. Attention-based regularized matrix factorization for recommendation[J]. Journal of Software，2020，31（3）：778—793. （In Chinese）

[15]? CHAUDHARI S，POLATKAN G，RAMANATH R，et al. An attentive survey of attention models[EB/OL]. 2019：arXiv：1904.02874[cs.LG].https：//arxiv.org/abs/1904.02874.

[16]? MIKOLOV T，CHEN K，CORRADO G，et al. Efficient estimation of word representations in vector space[EB/OL]（2013-10-23）[2014-2-23].http：//dblp.uni-trier.de/db/journ-alsorr/corr1301.html.

[17]? JAMALI M，ESTER M. A matrix factorization technique with trust propagation for recommendation in social networks[C]//Proceedings of the Fourth ACM Conference on Recommender Systems - RecSys &apos. New York，USA：ACM Press，2010：135—142.

[18]? HE X，LIAO L，ZHANG H，et al. Neural collaborative filtering[C]// International Conference on World Wide Web. Switzerland：International World Wide Web Conferences Steering Committee，2017：173—182.

[19]? WEN Q F，QING L，MIN C. Deep modeling of social relations for recommendation[C]// National Conference of the American Association for Artificial Intelligence. New? Orleans：Internet Society，2018：8075—8076.

[20]? GUO H F，TANG R M，YE Y M，et al. DeepFM：a factorization-machine based neural network for CTR prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. California：International Joint Conferences on Artificial Intelligence Organization，2017：2782—2788.

[21]? CHENG H T，KOC L，HARMSEN J，et al. Wide & deep learning for recommender systems[C]//Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York，USA：ACM，2016：7—10.