基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)模型

范鈺，范洪博

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引言

隨著數(shù)字化信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷演進和發(fā)展，用戶獲得和瀏覽信息的方式產(chǎn)生了翻天覆地的變化，信息量呈爆炸式增長，帶來了信息過載問題，這種問題使人們對有效信息的篩選變得十分困難。為解決以上難題，推薦技術(shù)的應(yīng)用逐步進入了人們的生活，通過利用用戶與項目的歷史交互數(shù)據(jù)，對用戶未觀測到項目的感興趣度進行預(yù)測，并對預(yù)測結(jié)果進行排序，推薦給相關(guān)用戶。

基于商品的協(xié)調(diào)過濾算法首次由文獻[1]提出，該算法原理簡單、效果顯著，是目前在推薦系統(tǒng)領(lǐng)域應(yīng)用最廣泛的技術(shù)。傳統(tǒng)的協(xié)同過濾算法主要分析用戶和項目的交互數(shù)據(jù)，根據(jù)用戶或項目之間的相似度來判斷用戶偏好并進行推薦，盡管協(xié)調(diào)過濾算法取得了巨大的成功，但該算法對于解決數(shù)據(jù)冷啟動和數(shù)據(jù)稀疏性問題仍然面臨著巨大的挑戰(zhàn)。

隨著知識圖譜、分子結(jié)構(gòu)等圖形數(shù)據(jù)的大量涌現(xiàn)，業(yè)內(nèi)刮起了一股基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的研究熱潮。GNN 結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）和圖表示學(xué)習(xí)（GRL）兩大技術(shù)[2-3]，CNN 能從歐幾里德數(shù)據(jù)中高效提取局部特征，但是當(dāng)CNN 的處理對象為知識圖譜這種非歐幾里德數(shù)據(jù)時，由于傳統(tǒng)的離散卷積在非歐幾里德數(shù)據(jù)上無法保持平移不變性，存在一定的局限性；GRL 是用于實現(xiàn)將圖的節(jié)點、邊或者子圖生成低維向量的新興技術(shù)?；贕NN 的推薦方法結(jié)合協(xié)同過濾以及傳播思想，采用嵌入傳播迭代地聚合鄰域嵌入，通過堆疊傳播層，使得每個節(jié)點都能訪問到高階鄰居信息，這彌補了傳統(tǒng)推薦方法只能訪問一階信息的不足，有助于解決協(xié)調(diào)過濾推薦系統(tǒng)的冷啟動問題。因此圖神經(jīng)網(wǎng)絡(luò)的發(fā)展帶給許多學(xué)者啟發(fā)。文獻[4]提出了GraphSAGE，GraphSAGE 執(zhí)行鄰域采樣，在每個訓(xùn)練過程中只更新相關(guān)的子圖，顯著降低了GNN 的計算復(fù)雜度，提高了模型的可擴展性。文獻[5]成功將GraphSAGE 落地到大規(guī)模網(wǎng)絡(luò)的推薦系統(tǒng)中，并能高效處理數(shù)十億條內(nèi)容嵌入。除此之外，一些靈活的開源工具也得到發(fā)展，如Pyg[6]、DGL[7]以及AliGraph[8]等。在后續(xù)工作中，文獻[9]提出NGCF，優(yōu)化了高階信息中子圖結(jié)構(gòu)的使用，取得了不錯的推薦性能。文獻[10]提出了LightGCN，去掉了NGCF中特征變換和非線性激活部分，經(jīng)過消融實驗對比，該模型在大大降低模型訓(xùn)練量的同時也相對提升了性能。文獻[11]在LightGCN 基礎(chǔ)上提出了UltraGCN，該模型通過對損失進行約束從而直接逼近無線層圖卷積的極限，并嘗試不同的邊緣權(quán)重分配，訓(xùn)練效率相比LightGCN提高了10 倍以上。文獻[12]提出了KGCN，引入知識圖從實體的鄰居中抽取樣本作為其接受域，然后將鄰域信息與偏差相結(jié)合計算實體的表示。接受域可以擴展到多次跳離，以模擬高階接近性信息，并捕獲用戶潛在的長距離興趣。文獻[13]提出了KGIN，該模型引入輔助項目知識來探索用戶項目交互的背后意圖，在推薦準(zhǔn)確性上有了較大提升，一定程度上提升了模型的可解釋性。總的來說，基于知識圖的圖卷積神經(jīng)網(wǎng)絡(luò)推薦越來越成為推薦技術(shù)的主流研究方向。

1 相關(guān)介紹

為了有效提高推薦系統(tǒng)的性能，本文提出了一種基于注意力機制的最終節(jié)點表示方法的KGIN-W 模型作為KGIN 的改進模型。KGIN 模型是一種新的基于知識圖譜的意圖網(wǎng)絡(luò)推薦模型，在設(shè)計上嘗試?yán)弥R圖譜中多樣的關(guān)系進行意圖建模，將每一個意圖建模為知識圖譜的注意力組合，為了獲得更好的解釋性和建模能力，模型設(shè)計了獨立性建模方案來確保不同意圖之間的獨立性，相較于之前GNN 單純聚合鄰居節(jié)點的方式，提出關(guān)系路徑聚合的方案，遞歸整合高階連通關(guān)系形成關(guān)系序列。經(jīng)過用戶意圖建模和關(guān)系路徑聚合，有力地幫助模型提取用戶意圖信息，并編碼成用戶和項目的集成表示。

下面將從用戶意圖建模、關(guān)系路徑聚合以及模型預(yù)測三個方面來介紹該模型。

1.1 用戶意圖建模

現(xiàn)實生活中用戶選擇某一個項目是基于多種因素綜合考量的結(jié)果，這種綜合的考量因素可以表征為特定的意圖，也可以理解為用戶選擇該項目的原因，在一定程度上能夠反映同一個環(huán)境下所有用戶行為的共性。以圖書推薦為例，意圖可能是對于圖書不同屬性的考慮，如作者和圖書類型的組合，亦或者評分和圖書類型的組合。針對不同的用戶行為模式，可以抽象出不同的意圖，以此更細粒度的增強協(xié)同過濾的效果，即擁有相似意圖的用戶對于項日有著相似的偏好。下面將介紹具體的建模過程。

1.1.1 意圖嵌入

KGIN 為每一個意圖分配一個知識圖譜的關(guān)系分布，假定P是所有用戶共享的意圖集合，據(jù)此將每一個用戶和項目交互(u,i)分解成{(u,p,i)|p∈P}，根據(jù)形成的用戶-意圖-項目三元組形成一個新的異構(gòu)圖，稱之為意圖圖，并使用注意力策略來創(chuàng)建意圖嵌入。

式中：α(r,p)是注意力得分；ep為意圖嵌入；er為關(guān)系嵌入。每一個關(guān)系r的嵌入都會分配一個注意力得分，以此來幫助量化每一個意圖中特定關(guān)系r的重要性。注意力得分實現(xiàn)如式（2）所示：

式中wrp是特定關(guān)系r和特定意圖之間的可訓(xùn)練權(quán)重。

1.1.2 意圖獨立性建模

意圖建模的目的是通過具有特定含義的意圖來描述用戶的個性化偏好，不同的意圖應(yīng)該盡可能包含不同的用戶偏好信息，如果一個意圖能夠被其他意圖表示或者推斷出來，那么這個意圖很有可能就是一個冗余的，信息量少的意圖應(yīng)當(dāng)被摒棄。為了獲得更好的模型性能和可解釋性，意圖應(yīng)盡量彼此獨立，KGIN 模型考慮從統(tǒng)計學(xué)角度來實現(xiàn)意圖獨立，比如余弦相似度以及距離系數(shù)。

1.2 關(guān)系路徑聚合

在KGIN 模型前，基于GNN 的推薦模型都通過優(yōu)異的性能證明了鄰居節(jié)點聚集機制的優(yōu)勢，但是單純的節(jié)點聚集會限制知識圖譜信息帶來的收益。這是因為聚合器在聚合鄰域信息時沒有區(qū)分信息的來源，無法判斷信息路徑，另外，通過注意力機制對知識圖譜關(guān)系建模來控制鄰域傳播的方式，會限制知識圖譜中關(guān)系對于節(jié)點的貢獻，無法顯式地捕捉到關(guān)系路徑。KGIN 由此提出了關(guān)系路徑聚合的方式，以下為關(guān)系路徑聚合的詳細說明。

1.2.1 意圖圖上的聚合

對于用戶-項目交互二部圖拓展而成的意圖圖，從中間提取協(xié)同過濾信息作為用戶偏好特征。在意圖圖中，根據(jù)具有相似意圖的用戶對項目具有相似偏好這一假設(shè)進行細粒度的意圖捕獲，對于用戶u，可以使用Au={(p,i)|(u,p,i)∈C}來表示圍繞u的一階連通信息。如式（3）所示，通過一階連通信息集成用戶歷史交互項目的意圖信息。

用戶的一階嵌入是由零階嵌入聚合而成，其中Agg()是GCN 聚合函數(shù)，公式如下：

式中：是項目i的ID 嵌入“；⊙”是元素點積（相同位置的元素逐個元素相乘），相較于其他模型采用衰減因子或者正則化思想，元素點積更有利于突出意圖關(guān)系在聚集中的作用；β(u,p)是注意力權(quán)重，引入β(u,p)來幫助評判不同的意圖p對于用戶的重要性。

1.2.2 知識圖譜上的聚合

一個實體可以涉及多個知識圖譜三元組，因此可以將其他連接的實體作為其屬性，這些屬性體現(xiàn)了項目之間的內(nèi)容相似度。利用Ai={(r,v)|(i,r,v)∈G}表示項目i的屬性和一階連通性，其中r代表關(guān)系，i代表項目，v代表知識圖譜中的實體，G為知識圖譜。由知識圖譜中實體連接帶來的關(guān)系感知信息可以生成項目i的表示：

式中：是一階連通性聚合信息的嵌入表示；Agg()是從每個連接(i,r,v)中提取聚合信息的GCN 聚焦函數(shù)。每一個知識圖譜的實體在不同的關(guān)系上下文中應(yīng)該具有不同的語義，比如某人可能是某項目的負(fù)責(zé)人，也有可能是另一個項目的成員。以往的模型只通過注意力機制模擬衰變因素中的知識圖譜關(guān)系。

式中是知識圖譜實體的ID 嵌入。對于每一個三元組(i,r,v)，在KGIN 中通過關(guān)系r建模為旋轉(zhuǎn)因子，從而使得關(guān)系消息能夠在三元組具有相同實體的情形下幫助揭示三元組攜帶的不同信息。對于高階的實體ID 嵌入也可以通過類似的方法獲得。

1.2.3 關(guān)系路徑的捕獲

在對用戶和項目進行一階連通性建模后，模型需要堆疊更多聚合層，收集來自高階鄰居有影響力的信息，對于用戶和項目的高階信息建模如下：

式中是所有以項目i為根節(jié)點的l跳路徑的集合。由公式（10）可以看出，該表示方式能夠反映關(guān)系之間的相互作用，從而保留路徑的整體語義。

1.3 模型預(yù)測

模型通過對不同層的用戶項目信息分別聚合，經(jīng)過L層的運算之后，可以獲得用戶u和項目i在不同層上的表示，最后對各層進行組合得到最終的表示：

得到最終的用戶和項目表示后，以二者的內(nèi)乘即余弦相似度來預(yù)測用戶采用該項目的可能性：

2 本文提出的方法

在圖嵌入部分對意圖獨立性建模進行調(diào)研，選擇了最佳的互信息方案；引入注意力機制對各聚合層嵌入加權(quán)組合生成用戶和項目最終表示。模型結(jié)構(gòu)如圖1 所示。其中：打框部分為模型改進部分；eu、ei、ep、ev、er分別為用戶嵌入、項目嵌入、意圖嵌入、知識圖譜實體嵌入與知識圖譜關(guān)系嵌入；eu_fin和ei_fin分別為用戶和項目最終表示。

圖1 KGIN-W 模型部分架構(gòu)

在KGIN-W 模型中，用戶和項目嵌入能夠訓(xùn)練的是第0 層的嵌入，后續(xù)不同層的嵌入則通過不斷的GCN 聚集與更新操作生成，為進行最終的預(yù)測任務(wù)，需要對不同層的嵌入進行整合生成最終用戶和項目表示，具體如圖2 所示。

圖2 層嵌入組合圖

在模型中，不同層的嵌入具有不同的語義，以用戶嵌入為例，第一層嵌入包含用戶和項目的交互信息，第二層則捕獲有相同交互項目的用戶信息，更高層則能捕捉更高階的鄰域信息。當(dāng)前主流的層組合方法是使用GCN 聚集最后一層的節(jié)點向量作為最終表示，以用戶最終表示為例，即然而簡單地使用最后一層作為最終表示，一方面無法區(qū)分高低階信息的重要性，另一方面，隨著層數(shù)增加，嵌入會出現(xiàn)過度平滑的情況。

2.1 數(shù)據(jù)集介紹

本文依托科研管理平臺構(gòu)建科研推薦數(shù)據(jù)集?？蒲型扑]數(shù)據(jù)集主要由用戶項目交互數(shù)據(jù)以及知識圖譜數(shù)據(jù)兩部分組成。

1）用戶項目交互數(shù)據(jù)的生成。首先，收集科研管理平臺數(shù)據(jù)庫科研人員申請、參與以及查看項目所產(chǎn)生的數(shù)據(jù)記錄，然后過濾，去除掉稀疏的交互信息，最后將用戶以及項目的唯一性ID 映射到科研推薦數(shù)據(jù)集。

2）知識圖譜數(shù)據(jù)的生成。首先，從科研領(lǐng)域知識圖譜數(shù)據(jù)庫中獲取三元組信息，其中包含實體信息以及連接實體的關(guān)系信息。在獲取三元組信息后，對關(guān)系信息以及實體信息進行ID 編碼輸出，其中需要將交互信息中項目與圖譜實體一一關(guān)聯(lián)。

獲取的數(shù)據(jù)都以結(jié)構(gòu)化形式呈現(xiàn)。數(shù)據(jù)量概況如表1 所示。

表1 推薦數(shù)據(jù)集信息

對于科研推薦數(shù)據(jù)集，本文將知識圖譜中具有豐富信息的三元組數(shù)據(jù)與用戶交互數(shù)據(jù)作為樣本數(shù)據(jù)，其中知識圖譜三元組信息作為輔助信息，交互數(shù)據(jù)作為用戶個性化信息的載體。在本次實驗中，通過相應(yīng)數(shù)據(jù)處理模塊對用戶項目交互數(shù)據(jù)進行隨機切割，其中80%用作訓(xùn)練集用以幫助模型訓(xùn)練，剩余的20%作為測試集用以評估模型性能。

2.2 實驗設(shè)置

通過模型對比實驗驗證本文改進方案的有效性。以下所有的實驗內(nèi)容都是基于科研推薦數(shù)據(jù)集，均在訓(xùn)練集上進行訓(xùn)練，在測試集上進行評估。

KGCN 模型：KGCN 是知識圖譜和用戶項目交互的GNN 推薦模型，該模型通過有選擇、有偏差地聚合鄰居信息，然而在該模型中僅僅聚合簡單的幾層鄰居信息，沒有深入分析用戶的偏好。

KGAT 模型：KGAT 是基于知識圖譜和用戶項目交互的GNN 推薦模型，該模型基于節(jié)點鄰居的嵌入來迭代更新節(jié)點嵌入，能捕獲高階連接，另外加入了注意力機制來學(xué)習(xí)不同鄰居節(jié)點的權(quán)重。然而在該模型中沒有細粒度地分析用戶的偏好，并且缺乏對于關(guān)系語義的保留。

基礎(chǔ)模型KGIN 模型：該模型相較于KGAT 模型而言，在對用戶和項目進行表示的過程中，加入了關(guān)系語義嵌入，并且利用圖譜中的關(guān)系對意圖進行建模，細粒度地挖掘了用戶的偏好，取得了更優(yōu)異性能的同時獲得了更好的可解釋性。

KGIN-W 模型：該模型相較于KGIN 模型，在各層的用戶和項目表示融合形成最終用戶項目表示時，加入了權(quán)重機制區(qū)分各層的重要性。

基于模型質(zhì)量和訓(xùn)練成本的考量，為保證測試的效果，對所有測試模型參數(shù)設(shè)置如下：采用Xavier 初始化方法初始化可訓(xùn)練參數(shù)，優(yōu)化器固定為Adam 優(yōu)化器[14]，批次處理大小固定為1 024，學(xué)習(xí)率設(shè)置為0.000 1，嵌入維度設(shè)置為固定的64，控制獨立性損失權(quán)重的相似度正則化參數(shù)設(shè)置為0.000 1。

模型對比實驗中，除KGCN 模型和KGAT 模型外，KGIN、KGIN-W 模型的獨立性建模方案都設(shè)置為互信息建模方案，GCN 聚集層數(shù)為3層，用戶意圖粒度為4。對于KGAT 模型，通過矩陣分解預(yù)訓(xùn)練獲得初始嵌入，其余兩種對比模型無需預(yù)訓(xùn)練。

2.3 評估指標(biāo)

召回率（Recall）與歸一化折損累計增益（NDCG）是反映推薦列表質(zhì)量的單值指標(biāo)。

召回率用于Top-N推薦系統(tǒng)，主要的評價方式是通過計算預(yù)測前N個項目與用戶實際交互項目的交集大小再除以用戶實際交互項目的集合大小，該指標(biāo)能反映推薦中有多少正樣本進入了推薦列表，然而召回率是與順序無關(guān)的推薦評價指標(biāo)，無法反映列表排序質(zhì)量，因而需要結(jié)合下文的NDCG 指標(biāo)進行綜合評價。

NDCG 是排序結(jié)果的常用評價指標(biāo)，用于評判排序的準(zhǔn)確性。以本文推薦模型為例，針對某個用戶返回推薦項目列表，假定列表長度為N，此時可使用NDCG@N來評價，以此判斷生成的排序列表與用戶的真實交互列表之間的差距。

通過結(jié)合Recall 和NDCG 兩個評估指標(biāo)，可以更加全面地衡量模型推薦性能，保證推薦的質(zhì)量。一般而言，用戶面對推薦列表時只會對推薦排名靠前的項目有興趣，因而實驗中不會獲取所有的項目評分，此處將推薦的排名列表長度設(shè)置為：（20，40，60，80，100），以此計算相應(yīng)的Recall 和NDCG，并進行評估。

2.4 實驗結(jié)果

實驗結(jié)果如表2 和表3 所示。由表2 和表3 的數(shù)據(jù)繪制圖3 以及圖4，并進行分析。

表2 各個模型召回率統(tǒng)計

表3 各個模型NDCG 統(tǒng)計

圖3 模型推薦結(jié)果召回率評估指標(biāo)

圖4 模型推薦結(jié)果NDCG 評估指標(biāo)

首先KGAT、KGIN 以及KGIN-W 的召回率和NDCG相較KGCN 有著明顯的提升，并且當(dāng)推薦列表的長度不斷增加時依然具有相對優(yōu)異的性能。證明融入用戶意圖以及關(guān)系路徑聚合方案模型能更加精確地捕獲用戶的偏好，提高嵌入的質(zhì)量，提升推薦性能。

另外在推薦長度為20時，KGIN-W 召回率及NDCG優(yōu)于KGIN，KGIN-W 相對KGIN 召回率提升5.88%，代表列表排序質(zhì)量的NDCG 提升了4.83%。通過分析訓(xùn)練完成的模型參數(shù)，可訓(xùn)練層權(quán)重參數(shù)在低層表示權(quán)重更高，這表明對模型而言，低階信息相較高階信息更能反映用戶偏好。從數(shù)據(jù)集分布上考量，不同于用戶選購商品的離散化表現(xiàn)，科研人員更關(guān)注與其關(guān)系更密切的交互項目，因而更加注重低階信息的權(quán)重分布，更能反映科研人員的真實意圖，然而對低階信息的關(guān)注意味著在推薦遠距離目標(biāo)時，推薦性能不可避免的下降?？紤]到系統(tǒng)中用戶對于推薦列表一般比較關(guān)注排名靠前的部分，對于靠后的推薦很少瀏覽，綜合考量系統(tǒng)需求和模型性能后，選擇以加權(quán)層嵌入組合形成最終表示的方案進行訓(xùn)練與實驗。

最后，KGIN-W 的召回率和NDCG 評估相較KGIN以及KGAT 有著明顯的提升，KGIN-W 具有最佳性能。KGIN-W 的召回率提升主要來源于權(quán)重機制的加入讓模型在Top-20 推薦時更加準(zhǔn)確，推薦列表質(zhì)量更高。

3 結(jié)語

本文提出了一個KGIN 的改進模型KGIN-W，分析說明了模型的架構(gòu)、改進點，并通過實驗評估比較了模型性能。本文在對KGIN 模型進行詳細分析后，為深入探索用戶興趣并更加精準(zhǔn)地推薦項目，首先對KGIN 模型中獨立性建模方案做了細致的調(diào)研，經(jīng)過理論分析和實驗論證，選擇了性能最佳的互信息方案；然后對KGIN層嵌入組合方式進行改進，引入了注意力機制，以此更好地區(qū)分不同層信息對于最終表示的影響；最后，本文通過模型對比實驗證明了KGIN-W 的訓(xùn)練效率以及推薦性能的優(yōu)越性。但實驗也存在不足之處，在對KGIN中的損失函數(shù)調(diào)研中發(fā)現(xiàn)，原有的BPR 損失函數(shù)在訓(xùn)練速度和區(qū)分正負(fù)樣本的性能上稍顯不理想，應(yīng)考慮設(shè)計一個個性化興趣邊界損失函數(shù)，以此幫助模型更快更好地區(qū)分正負(fù)樣本。所以接下來的工作重點將放在這一方向。

注：本文通訊作者為范洪博。