隱式知識(shí)圖協(xié)同過(guò)濾模型

薛 峰 盛一城 劉 康 桑 勝

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，推薦系統(tǒng)已廣泛應(yīng)用于各種在線服務(wù)中，如電子商務(wù)、社交應(yīng)用及新聞媒體等.推薦系統(tǒng)的主要目標(biāo)是根據(jù)用戶的歷史行為推薦其可能感興趣的物品.協(xié)同過(guò)濾[1-3]是使用最廣泛的個(gè)性化推薦算法之一，核心思想是：具有相似歷史行為的用戶會(huì)具有相似的興趣和偏好，因此在未來(lái)也會(huì)做出相似的選擇.然而，在真實(shí)的推薦場(chǎng)景中，由于用戶和物品的交互數(shù)據(jù)太少，協(xié)同過(guò)濾算法常面臨稀疏性問(wèn)題.

為了緩解協(xié)同過(guò)濾算法面臨的數(shù)據(jù)稀疏性問(wèn)題，一些研究工作[4-5]將知識(shí)圖譜作為附加信息，融入推薦框架中，豐富物品的特征表示.知識(shí)圖譜是一種有向異構(gòu)圖，由〈頭實(shí)體-關(guān)系-尾實(shí)體〉三元組構(gòu)成，可用于描述真實(shí)世界中的實(shí)體與實(shí)體之間的關(guān)系.

基于知識(shí)圖譜的推薦方法整體步驟可描述為：首先處理知識(shí)圖譜，得到其中每個(gè)節(jié)點(diǎn)的特征表示.再選擇推薦框架，將知識(shí)圖譜提供的特征融入推薦框架.最后將交互數(shù)據(jù)輸入融合后的推薦框架，執(zhí)行模型訓(xùn)練.不同方法的區(qū)別主要體現(xiàn)在知識(shí)圖譜優(yōu)化目標(biāo)的選擇、知識(shí)圖譜特征表示和推薦框架的融合.

基于知識(shí)圖譜的推薦方法可分為兩類：基于正則化的方法[4，6-8]和基于路徑的方法[9-13].基于正則化的方法利用知識(shí)圖譜中的三元組結(jié)構(gòu)指導(dǎo)用戶和物品的表示學(xué)習(xí).具體地，首先通過(guò)知識(shí)圖嵌入技術(shù)[14],為知識(shí)圖譜中的節(jié)點(diǎn)生成語(yǔ)義向量表示，然后將物品實(shí)體節(jié)點(diǎn)的語(yǔ)義向量融入推薦框架中，將向量?jī)?nèi)積作為用戶對(duì)目標(biāo)物品的評(píng)分.盡管基于正則化的方法能實(shí)現(xiàn)較優(yōu)的推薦效果，但僅捕獲知識(shí)圖譜中一階的實(shí)體關(guān)聯(lián)，方法對(duì)知識(shí)圖譜的語(yǔ)義學(xué)習(xí)能力有限.

相比基于正則化的方法，基于路徑的方法可通過(guò)知識(shí)圖譜中實(shí)體之間的路徑捕獲實(shí)體的高階語(yǔ)義關(guān)聯(lián)，并融入用戶的偏好建模中，提升方法的推薦效果.然而，在節(jié)點(diǎn)數(shù)量較多時(shí)，路徑的規(guī)模數(shù)量會(huì)很龐大，導(dǎo)致模型復(fù)雜度過(guò)高，知識(shí)圖譜中的語(yǔ)義相關(guān)性難以得到有效傳播.為了處理兩個(gè)節(jié)點(diǎn)之間具有大量路徑的問(wèn)題，一些研究工作會(huì)使用路徑選擇算法以選擇最佳路徑[10]，或定義元路徑模式以約束路徑[9].但是這種二階段方法也存在如下問(wèn)題：路徑選擇的第一階段對(duì)最終性能影響較大，并且沒(méi)有針對(duì)推薦目標(biāo)進(jìn)行優(yōu)化.此外，定義有效的元路徑需要領(lǐng)域知識(shí)，對(duì)于具有不同類型關(guān)系和實(shí)體的復(fù)雜知識(shí)圖譜而言，相當(dāng)耗費(fèi)人力.

近來(lái)圖神經(jīng)網(wǎng)絡(luò)[15-16]被廣泛應(yīng)用于推薦算法研究中，在圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Net-works， GCN)中，模型復(fù)雜度和路徑長(zhǎng)度呈線性關(guān)系[15]，因此，利用GCN捕獲知識(shí)圖譜中高階知識(shí)實(shí)體關(guān)系可有效解決上述兩種方法存在的問(wèn)題.受此啟發(fā)，Wang等[17]提出KGAT(Knowledge Graph Atten-tion Network)，以線性時(shí)間復(fù)雜度捕獲用戶偏好和知識(shí)實(shí)體之間的高階相關(guān)性，并通過(guò)知識(shí)圖表示學(xué)習(xí)建模節(jié)點(diǎn)(用戶、物品或?qū)嶓w)之間的顯式關(guān)系，構(gòu)建注意力機(jī)制，區(qū)分鄰居節(jié)點(diǎn)的重要性.盡管上述模型已取得較優(yōu)的推薦效果，但實(shí)體相關(guān)性建模依賴于節(jié)點(diǎn)之間的顯式關(guān)系，存在如下兩點(diǎn)局限性.

1)在大部分推薦場(chǎng)景中，用戶和物品的交互是一種隱式反饋關(guān)系(如點(diǎn)擊、查看)，它們?cè)谙嚓P(guān)性建模中卻被錯(cuò)誤地等同于圖譜中實(shí)體之間的顯式關(guān)系，這種做法會(huì)將用戶向量和物品向量限制到只有一個(gè)特定顯式關(guān)系的語(yǔ)義空間中，實(shí)際上其語(yǔ)義空間應(yīng)該是多種顯式關(guān)系的總和，這可能會(huì)降低用戶偏好建模的質(zhì)量.然而使用隱式關(guān)系對(duì)于用戶向量和物品向量對(duì)應(yīng)的語(yǔ)義空間限制更小，可提升其嵌入向量學(xué)習(xí)的泛化能力.

2)圖譜中確定的兩個(gè)實(shí)體之間存在多種多樣的關(guān)系，但由于現(xiàn)有的數(shù)據(jù)集無(wú)法提供多樣的關(guān)系，只能提供實(shí)體之間單一的關(guān)系，按照特定顯式關(guān)系進(jìn)行相關(guān)性建模時(shí)可能會(huì)將實(shí)體間的關(guān)系限制在一個(gè)具體的類別，弱化學(xué)習(xí)的關(guān)系嵌入向量的表達(dá)泛化性，降低實(shí)體之間的高階語(yǔ)義相關(guān)性.

為了解決上述不足，本文提出結(jié)合隱式知識(shí)圖譜與圖神經(jīng)網(wǎng)絡(luò)的推薦模型——隱式知識(shí)圖協(xié)同過(guò)濾模型(Implicit Knowledge Graph Collaborative Filte-ring Model， IKGCF)，將帶有顯式關(guān)系的知識(shí)圖譜轉(zhuǎn)換成隱式的知識(shí)圖譜，并融入用戶-物品二元圖中，得到隱式協(xié)同知識(shí)圖.IKGCF不需要學(xué)習(xí)節(jié)點(diǎn)之間特定的顯式關(guān)系，一方面可消除顯式關(guān)系對(duì)推薦中隱式關(guān)系的干擾，另一方面可突破顯式關(guān)系對(duì)圖譜中語(yǔ)義相關(guān)性的限制，使模型充分捕捉協(xié)同信號(hào).同時(shí)，使用增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)模塊[18-19]，執(zhí)行鄰居聚集和消息傳播，更好地捕獲在隱式協(xié)同知識(shí)圖上的高階相關(guān)性.最后，IKGCF采用層選擇機(jī)制[20]，得到最終的節(jié)點(diǎn)嵌入向量，并對(duì)模型進(jìn)行預(yù)測(cè)和優(yōu)化.在3個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證IKGCF性能較優(yōu).

1 隱式知識(shí)圖協(xié)同過(guò)濾模型

本文提出隱式知識(shí)圖協(xié)同過(guò)濾模型(IKGCF)，具體流程如下.1)結(jié)合用戶-物品二元圖和隱式物品-實(shí)體知識(shí)圖譜，構(gòu)建隱式協(xié)同知識(shí)圖，并根據(jù)用戶、物品和實(shí)體的ID信息生成對(duì)應(yīng)的嵌入向量，輸入模型；2)在隱式協(xié)同知識(shí)圖中采用增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)，分別聚合用戶節(jié)點(diǎn)、物品節(jié)點(diǎn)和實(shí)體節(jié)點(diǎn)的鄰居節(jié)點(diǎn)信息和它們自身節(jié)點(diǎn)信息，使隱式協(xié)同知識(shí)圖中各節(jié)點(diǎn)可捕獲其高階鄰居信息，建立節(jié)點(diǎn)之間的高階連通性；3)將輸出的第3層和第4層圖卷積過(guò)程輸出的嵌入向量作為用戶節(jié)點(diǎn)和物品節(jié)點(diǎn)的最終嵌入向量，采用層選擇機(jī)制同時(shí)預(yù)測(cè)用戶和物品交互的可能性大小.

圖1為IKGCF框架圖，在圖中，uk表示用戶節(jié)點(diǎn)，ik表示物品節(jié)點(diǎn)，ek表示實(shí)體節(jié)點(diǎn).IKGCF包含3個(gè)主要部分.1)嵌入層.基于隱式協(xié)同知識(shí)圖中的用戶節(jié)點(diǎn)、物品節(jié)點(diǎn)、實(shí)體節(jié)點(diǎn)的ID信息生成對(duì)應(yīng)的嵌入向量.2)基于隱式關(guān)系的嵌入傳播層.IKGCF采用增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)模塊執(zhí)行鄰居聚集和消息傳播.3)模型預(yù)測(cè)層.輸出用戶對(duì)物品的預(yù)測(cè)得分.

圖1 IKGCF結(jié)構(gòu)圖Fig.1 Structure of IKGCF

1.1 構(gòu)建隱式協(xié)同知識(shí)圖

根據(jù)隱式的用戶-物品歷史交互數(shù)據(jù)可構(gòu)建用戶-物品二元圖:

G1={(u,rui,i)|u∈U,i∈I}.

其中：rui=1表示用戶u與物品i之間有關(guān)系，否則rui=0；U表示用戶集合；I表示物品集合.除了上述的交互數(shù)據(jù)之外，物品還有一些輔助信息(如物品的屬性信息)，可通過(guò)構(gòu)建知識(shí)圖譜將這些輔助信息以三元組的形式組織起來(lái).為了避免對(duì)實(shí)體進(jìn)行相關(guān)性建模過(guò)程中帶來(lái)的諸多局限性，本文不考慮顯式知識(shí)圖譜中所有具體的關(guān)系，而是參照用戶-物品二分圖的構(gòu)建方式，構(gòu)建隱式知識(shí)圖譜：

Gimp={(h,rht,t)|h∈ε,t∈ε}.

其中：rht=1僅表示頭實(shí)體h與尾實(shí)體t之間有關(guān)系，否則rht=0；ε表示實(shí)體集合.再根據(jù)一系列物品-實(shí)體對(duì)建立物品-實(shí)體隱式圖譜：

G2={(i,rie,e)|i∈I,e∈ε}，

其中，rie=1僅表示物品i與實(shí)體e之間有關(guān)系，否則rie=0.

隱式協(xié)同知識(shí)圖譜可用于整合用戶-物品二元圖G1和物品-實(shí)體隱式圖譜G2，因此將物品-實(shí)體對(duì)作為一種輔助信息融入用戶-物品二元圖中，得到隱式協(xié)同知識(shí)圖：

G=(G1∪G2)=
{(h,rht,t)|h∈(U∪I∪ε),t∈(U∪I∪ε)}，

其中,頭實(shí)體和尾實(shí)體可以是用戶節(jié)點(diǎn)、物品節(jié)點(diǎn)或?qū)嶓w節(jié)點(diǎn)，同樣地，rui=1僅表示頭實(shí)體h與尾實(shí)體t之間有關(guān)系，否則rht=0.

1.2 嵌入向量初始化

首先隨機(jī)初始化所有用戶、物品和實(shí)體的嵌入向量，由于本文正在處理的協(xié)同過(guò)濾場(chǎng)景輸入數(shù)據(jù)只有用戶ID、物品ID和實(shí)體ID，不包含任何其它信息，因此嵌入向量的初始化只能通過(guò)簡(jiǎn)單的ID映射實(shí)現(xiàn)，具體過(guò)程描述如下：

1.3 基于隱式關(guān)系的嵌入傳播層

隱式協(xié)同知識(shí)圖中存在一系列三元組，IKGCF采用增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)模塊聚合頭實(shí)體h及鄰居節(jié)點(diǎn)(尾實(shí)體t)的信息，然后不斷循環(huán)這個(gè)過(guò)程，更新頭實(shí)體h的嵌入向量，捕獲隱式協(xié)同知識(shí)圖中節(jié)點(diǎn)之間的高階相關(guān)性.

1.3.1 節(jié)點(diǎn)消息傳播

用戶-物品二元圖中包含大量的三元組，物品-實(shí)體隱式知識(shí)圖譜中也包含大量的三元組，物品節(jié)點(diǎn)作為其中的橋梁連接兩組三元組，并在構(gòu)成的隱式協(xié)同知識(shí)圖中傳播信息.在一階傳播過(guò)程中，匯聚頭實(shí)體h的鄰居節(jié)點(diǎn)信息，得到嵌入向量：

其中，Nh表示頭實(shí)體h鄰居節(jié)點(diǎn)的集合，Nt表示尾實(shí)體t鄰居節(jié)點(diǎn)的集合，|Nh|表示頭實(shí)體h鄰居節(jié)點(diǎn)的數(shù)量，|Nt|表示尾實(shí)體t鄰居節(jié)點(diǎn)的數(shù)量，p表示控制流行度的系數(shù)，et表示尾實(shí)體t的嵌入向量.

1.3.2 節(jié)點(diǎn)信息聚合

對(duì)于每個(gè)頭節(jié)點(diǎn)h，不僅要從它鄰居節(jié)點(diǎn)的角度考慮其嵌入向量的更新，還要從節(jié)點(diǎn)自身的角度及其本身的特性考慮嵌入向量的更新.在一階傳播過(guò)程中，頭實(shí)體h聚集節(jié)點(diǎn)自身信息得到的嵌入向量:

eh←h=|Nh|-0.5|Nh|-peh，

其中，eh表示頭實(shí)體h的嵌入向量，|Nh|-0.5·|Nh|-p表示對(duì)聚集的自身節(jié)點(diǎn)信息的雙邊標(biāo)準(zhǔn)化.

通過(guò)上述過(guò)程可得到頭實(shí)體h的鄰居節(jié)點(diǎn)信息eh←t和包含節(jié)點(diǎn)自身信息的eh←h，IKGCF采用輕量級(jí)的圖卷積聚合方式編碼eh←t和eh←h之間的特征交互.輕量級(jí)的圖卷積方法去除非線性激活函數(shù)與權(quán)重轉(zhuǎn)換矩陣，減少在節(jié)點(diǎn)的嵌入傳播過(guò)程中引入過(guò)多的冗余信息，最終生成頭實(shí)體h的嵌入向量：

總之，上述嵌入傳播過(guò)程有效利用隱式協(xié)同知識(shí)圖中的一階連通性信息，使用戶節(jié)點(diǎn)、物品節(jié)點(diǎn)和實(shí)體節(jié)點(diǎn)都包含自身和鄰居節(jié)點(diǎn)的信息.

1.3.3 高階傳播

下面探尋如何疊加更多的嵌入傳播層以捕獲隱式協(xié)同知識(shí)圖中的高階相關(guān)性，即如何將頭實(shí)體h的高階鄰居節(jié)點(diǎn)信息也聚集到頭實(shí)體h中.在第l層嵌入傳播過(guò)程中，頭實(shí)體h的嵌入向量為：

至此通過(guò)上述多層嵌入傳播的過(guò)程，IKGCF可捕獲隱式協(xié)同知識(shí)圖上的高階相關(guān)性，將基于屬性的協(xié)同信號(hào)引入隱式推薦模型之中，提升推薦效果.

1.4 模型預(yù)測(cè)

對(duì)于給定的用戶-物品對(duì)，IKGCF經(jīng)過(guò)L層的高階傳播后，會(huì)獲取用戶u的每層向量的輸出表示：

同理也可獲取物品i的每層向量的輸出表示：

其中f(·)表示內(nèi)積函數(shù).

IKGCF采用層選擇機(jī)制，即同時(shí)利用最后兩層輸出的用戶嵌入向量和物品嵌入向量預(yù)測(cè)用戶和物品交互的概率，預(yù)測(cè)函數(shù)如下：

1.5 模型優(yōu)化

本文采用聯(lián)合學(xué)習(xí)的目標(biāo)函數(shù)優(yōu)化IKGCF，即

其中：LCF和LKG采用推薦領(lǐng)域中常用的BPR loss

(Bayesian Personalized Ranking Loss)，這是一個(gè)成對(duì)損失函數(shù)，旨在最大化觀察到的樣本與未觀察到的樣本的得分之差，通過(guò)小批量梯度下降的方法交替優(yōu)化LKG和LCF；θ表示所有可學(xué)習(xí)的參數(shù)，λ表示正則化系數(shù).LCF、LKG具體定義如下：

LCF=

其中，

Y={(u,i,j)|(u,i)∈Y+,(u,j)∈Y-}，

表示用戶-物品交互數(shù)據(jù)的訓(xùn)練集，Y+表示正樣本，即用戶u和物品i之間是有交互的樣本，Y-表示負(fù)樣本，即用戶u和物品j之間無(wú)交互的樣本,σ(·)表示sigmoid激活函數(shù).

其中，

Z={(i,e,v)|(i,e)∈Z+,(i,v)∈Z-}，

表示物品-實(shí)體隱式知識(shí)圖譜的訓(xùn)練集，Z+表示正樣本，即物品i和實(shí)體e之間是有交互的樣本，Z-表示負(fù)樣本，即物品i和實(shí)體v之間無(wú)交互的樣本.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選取Amazon-book，Last-FM、Yelp2018數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，這3個(gè)數(shù)據(jù)集都可公開(kāi)獲取.Amazon-book數(shù)據(jù)集為廣泛應(yīng)用在商品推薦上的數(shù)據(jù)集，為了保證數(shù)據(jù)集的質(zhì)量，本文采用10-core策略，即保留用戶和物品之間至少有10次交互記錄.Last-FM數(shù)據(jù)集為音樂(lè)數(shù)據(jù)集，數(shù)據(jù)來(lái)源于在線音樂(lè)系統(tǒng)Last.FM，本文同樣也使用10-core策略，確保在數(shù)據(jù)集上用戶和物品之間至少有10次交互記錄.Yelp-2018數(shù)據(jù)集為一家大型點(diǎn)評(píng)網(wǎng)站數(shù)據(jù)集，同樣地，本文也在該數(shù)據(jù)集上采用10-core策略.

這3個(gè)數(shù)據(jù)集除了包含用戶-物品交互數(shù)據(jù)以外，還包含文獻(xiàn)[21]中整理并公開(kāi)的物品知識(shí)圖譜，以三元組的形式表示一對(duì)實(shí)體及它們之間的關(guān)聯(lián).表1詳細(xì)給出3個(gè)數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果.

表1 實(shí)驗(yàn)數(shù)據(jù)集Table 1 Experimental datasets

在每個(gè)數(shù)據(jù)集上，本文隨機(jī)選擇每位用戶80%交互歷史以構(gòu)建訓(xùn)練集，剩余的20%交互歷史作為測(cè)試集，另外從訓(xùn)練集中隨機(jī)選擇10%的交互作為驗(yàn)證集以調(diào)整超參數(shù)，在Last-FM、Yelp2018數(shù)據(jù)集上，學(xué)習(xí)率調(diào)整為0.001，L2正則化系數(shù)調(diào)整為10-4，流行度偏置系數(shù)調(diào)整為0.4，此時(shí)實(shí)驗(yàn)效果最佳.在Amazon-book數(shù)據(jù)集上，學(xué)習(xí)率調(diào)整為0.000 1，L2正則化系數(shù)調(diào)整為10-5，流行度偏置系數(shù)調(diào)整為0.3，此時(shí)實(shí)驗(yàn)效果最佳.由于本文是基于BPR loss訓(xùn)練模型，針對(duì)訓(xùn)練集上每位用戶，都為其隨機(jī)采樣與交互歷史數(shù)量相同的負(fù)樣本.

2.2 實(shí)驗(yàn)設(shè)置

為了評(píng)估IKGCF的推薦效果，采用推薦系統(tǒng)中常用的2個(gè)評(píng)價(jià)指標(biāo)：召回率(Recall)和歸一化折損累計(jì)增益(Normalized Discounted Cumulative Gain， NDCG).Recall@K表示測(cè)試集上所有正樣本被正確預(yù)測(cè)的比例(推薦列表取前K個(gè)，記為Recall@K，其它位置同理，本文默認(rèn)設(shè)置K=20).NDCG@K額外考慮正樣本在推薦列表中的位置，為正樣本排序靠前的結(jié)果給予更高的分?jǐn)?shù).兩種指標(biāo)的值越高，表示推薦模型的效果越優(yōu)，理論上最佳結(jié)果均為1.

為了驗(yàn)證IKGCF的有效性，選擇如下對(duì)比模型.

1)監(jiān)督學(xué)習(xí)模型:FM(Factorization Machines)[21]、NFM(Neural MF)[22].

2)基于正則化的方法：CKE(Explainable Colla-borative Knowledge Base Embedding)[4]、ECFKG(Colla-borative Filtering over Knowledge Graphs)[5].

3)圖神經(jīng)網(wǎng)絡(luò)方法：KGAT[17].

具體模型介紹如下.

1)FM.因式分解模型，將用戶和物品及與物品關(guān)聯(lián)的實(shí)體ID信息視為輸入特征，考慮輸入特征之間的二階特征交互.

2)NFM.因式分解模型，結(jié)合FM與神經(jīng)網(wǎng)絡(luò).

3)CKE.典型的借助圖嵌入技術(shù)的知識(shí)圖譜推薦模型，從結(jié)構(gòu)、文本、視覺(jué)三個(gè)層面獲得包含知識(shí)的初始嵌入向量，用于增強(qiáng)傳統(tǒng)矩陣分解模型隨機(jī)初始化的物品隱向量.

4)ECFKG.將知識(shí)圖表示學(xué)習(xí)技術(shù)應(yīng)用在包含用戶、物品、實(shí)體和關(guān)系的統(tǒng)一圖上，將推薦任務(wù)轉(zhuǎn)換為(u,Interact,i)三元組的預(yù)測(cè)任務(wù)，其中Interact表示用戶與物品的交互.

5)KGAT.基于圖卷積的模型，以端到端的方式建模知識(shí)圖譜中的高階連接，循環(huán)傳播來(lái)自節(jié)點(diǎn)鄰居的嵌入向量，細(xì)化目標(biāo)節(jié)點(diǎn)的嵌入向量，并采用一種注意力機(jī)制區(qū)分鄰居節(jié)點(diǎn)的重要性.

本文使用Tensorflow實(shí)現(xiàn)IKGCF，所有模型的輸入向量長(zhǎng)度固定為64，使用Adam(Adaptive Mo-ment Estimation)優(yōu)化器優(yōu)化所有模型，其中批處理大小(Batchsize)固定為1 024.本文使用默認(rèn)的Xavier初始化器用于初始化模型參數(shù)，在超參數(shù)的設(shè)置上采用網(wǎng)格搜索：學(xué)習(xí)率在{0.01,0.001,0.000 1}之間調(diào)整，L2標(biāo)準(zhǔn)化系數(shù)在{10-5,10-4}之間調(diào)整，流行度偏置系數(shù)在{0.3,0.4,0.5}之間調(diào)整.在模型的預(yù)測(cè)階段，均采用層選擇機(jī)制，同時(shí)選取最后兩層輸出向量對(duì)模型進(jìn)行預(yù)測(cè)和優(yōu)化.

2.3 實(shí)驗(yàn)結(jié)果對(duì)比

各模型在3個(gè)數(shù)據(jù)集上的性能對(duì)比如表2所示，其中，Improve表示本文模型相比KGAT的增長(zhǎng)比例，P-value表示本文模型相比KGAT通過(guò)顯著性檢驗(yàn)方法得到的值，顯著性水平為0.05，黑體數(shù)字表示最優(yōu)值.

由表2可觀察到，兩個(gè)不使用知識(shí)圖譜的模型(FM和NFM)在大多數(shù)情況下表現(xiàn)優(yōu)于使用知識(shí)圖譜的模型(ECFKG和CKE)，這是因?yàn)镕M和NFM的交叉特性實(shí)際上充當(dāng)用戶和物品之間的二階連通性，因此在某種程度上可捕獲更充分的協(xié)同信號(hào).而基于正則化的方法(ECFKG和CKE)僅捕獲知識(shí)圖譜中一階的實(shí)體關(guān)聯(lián)，對(duì)知識(shí)圖譜的語(yǔ)義學(xué)習(xí)能力有限.此外，知識(shí)圖表示學(xué)習(xí)方法通常適用于知識(shí)圖譜的補(bǔ)全任務(wù)，而不適用于推薦任務(wù).

表2 各模型在3個(gè)數(shù)據(jù)集上的性能對(duì)比Table 2 Performance comparison of different models on 3 datasets

在這3個(gè)數(shù)據(jù)集上KGAT的表現(xiàn)優(yōu)于FM和NFM，這是因?yàn)椋篕GAT不僅利用知識(shí)圖譜豐富物品節(jié)點(diǎn)的向量表示，同時(shí)挖掘協(xié)同知識(shí)圖中的高階連通信息，用于豐富用戶和物品節(jié)點(diǎn)的向量表示,從而提高模型的推薦效果.

IKGCF在所有的數(shù)據(jù)集上均取得最優(yōu)值，并且所有指標(biāo)都顯著高于KGAT(P-value值小于0.05).尤其在Yelp2018數(shù)據(jù)集上模型性能差異顯著(P-value值小于0.01)，相比KGAT，IKGCF性能提升明顯,在NDCG指標(biāo)上的提升高達(dá)15.67%，在Recall指標(biāo)上的提升高達(dá)13.79%，這是因?yàn)镮KGCF通過(guò)構(gòu)建隱式協(xié)同知識(shí)圖譜，消除顯式關(guān)系對(duì)推薦中隱式交互關(guān)系的干擾，解除顯式關(guān)系對(duì)圖譜中語(yǔ)義相關(guān)性的限制，取得更優(yōu)的推薦效果.在Amazon-Book數(shù)據(jù)集上，IKGCF提升幅度過(guò)小,Recall指標(biāo)只提升1.07%，NDCG指標(biāo)提升1.43%，這主要與Amazon-Book數(shù)據(jù)集本身有關(guān)，其知識(shí)圖譜中實(shí)體間的關(guān)系較單一，對(duì)顯式關(guān)系進(jìn)行相關(guān)性建模并不會(huì)將實(shí)體之間的關(guān)系限制在一個(gè)類別內(nèi)，導(dǎo)致性能提升較小.

2.4 消融實(shí)驗(yàn)結(jié)果

為了驗(yàn)證IKGCF中層選擇機(jī)制、流行度偏置及隱式協(xié)同知識(shí)圖譜的有效性，本節(jié)將IKGCF與5個(gè)變體模型進(jìn)行對(duì)比.具體變體模型定義如下：IKGCF w/o PN表示移除IKGCF中的流行度偏置；IKGCF w/o LS表示移除IKGCF中的層選擇機(jī)制，僅采用第4層的輸出向量對(duì)模型進(jìn)行預(yù)測(cè)和優(yōu)化；IKGCF w/o LS*表示移除IKGCF中的層選擇機(jī)制，采用層平均機(jī)制對(duì)模型進(jìn)行預(yù)測(cè)和優(yōu)化；IKGCF w/o PN&LS表示同時(shí)移除IKGCF中的流行度偏置和層選擇機(jī)制；IKGCF w/o BS表示移除聯(lián)合的損失函數(shù)，僅在用戶-物品交互圖上為用戶和物品節(jié)點(diǎn)設(shè)置對(duì)應(yīng)的BPR loss，去除在隱式知識(shí)圖上為物品和知識(shí)實(shí)體設(shè)置對(duì)應(yīng)的BPR loss.

各模型的消融實(shí)驗(yàn)結(jié)果如表3所示，其中黑體數(shù)字表示最優(yōu)值.由表3可知，IKGCF w/o LS的性能在大部分情況下都優(yōu)于IKGCF w/o LS*，這是因?yàn)樵谳p量級(jí)圖卷積模塊中，圖卷積的第4層輸出向量已包含前3層輸出向量的全部語(yǔ)義信息，即更高層輸出的嵌入向量具有更大的交互空間，低層的嵌入向量不需要參與生成節(jié)點(diǎn)的最終向量表示.

表3 各模型的消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experiment results of different models

IKGCF的性能在3個(gè)數(shù)據(jù)集上都優(yōu)于IKGCF w/o PN、IKGCF w/o LS、IKGCF w/o LS*和IKGCF w/o BS，這是因?yàn)椋?)層選擇機(jī)制的使用增強(qiáng)模型的表現(xiàn)力，即最優(yōu)的圖卷積層需要充分捕獲兩層語(yǔ)義信息(分別表示目標(biāo)節(jié)點(diǎn)的同構(gòu)節(jié)點(diǎn)和異構(gòu)節(jié)點(diǎn)的語(yǔ)義信息)，這兩層語(yǔ)義信息包含不同的交互空間大小，因此選擇最優(yōu)的奇數(shù)層和偶數(shù)層可確保這兩種語(yǔ)義信息的交互空間是足夠的.2)流行度偏置也會(huì)提升模型的性能，增強(qiáng)推薦效果.3)聯(lián)合的BPR loss有助于提升模型性能，聯(lián)合學(xué)習(xí)這兩個(gè)不同的優(yōu)化目標(biāo)可保證IKGCF更充分地建模用戶-物品-實(shí)體之間的隱式相關(guān)性.

在更多的推薦場(chǎng)景下，知識(shí)圖譜中實(shí)體之間的關(guān)系總是復(fù)雜多樣的(如Yelp2018、Last-FM數(shù)據(jù)集)，而IKGCF w/o PN&LS在這些場(chǎng)景下的推薦性能總是顯著優(yōu)于KGAT，因此隱式關(guān)系建模比顯式關(guān)系建模更有效且具備更強(qiáng)的適用性.

值得注意的是，IKGCF w/o PN&LS在Amazon-Book數(shù)據(jù)集上的表現(xiàn)略弱于KGAT，這可能是因?yàn)橄啾萀ast-FM、Yelp2018數(shù)據(jù)集，Amazon-Book數(shù)據(jù)集上知識(shí)圖譜實(shí)體間的關(guān)系更單一，這意味著傳統(tǒng)方法(如KGAT)采用的顯式關(guān)系建模不會(huì)過(guò)度限制其多樣性，即實(shí)體之間的關(guān)系不會(huì)限制在一個(gè)類別中.

2.5 超參數(shù)分析

本節(jié)改變IKGCF的圖卷積層數(shù)，研究使用多層嵌入對(duì)推薦效果的影響.實(shí)驗(yàn)中控制流行度偏置系數(shù)，將p值統(tǒng)一設(shè)為0.4，在3個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).不同卷積層數(shù)對(duì)IKGCF性能的影響如表4所示，表中IKGCF-(1,2)表示模型擁有兩層卷積層，并且同時(shí)使用第1層和第2層的輸出向量進(jìn)行預(yù)測(cè)，其它的符號(hào)與其同理，黑體數(shù)字表示最優(yōu)值.

由表4可見(jiàn)，IKGCF-(2,3)和IKGCF-(3,4)的推薦效果在3個(gè)數(shù)據(jù)集上都遠(yuǎn)優(yōu)于IKGCF-(1,2)，這表明增加模型的卷積層數(shù)可提升模型性能，這種效果的提升可歸結(jié)為多層嵌入傳播為模型注入更多的高階連通性信息.

相比IKGCF-(2,3)，IKGCF-(3,4)的提升幅度變小，這表明考慮到實(shí)體之間的四階關(guān)系就已足夠捕捉隱式協(xié)同知識(shí)圖中的協(xié)同信號(hào)，過(guò)多的圖卷積層數(shù)并不能有效提升推薦效果.

表4 不同卷積層數(shù)對(duì)IKGCF性能的影響Table 4 Effect of different number of convolution layers on IKGCF performance

除了圖卷積的層數(shù)以外，還有一些超參數(shù)會(huì)對(duì)模型性能產(chǎn)生影響.下面研究模型的流行度偏置PN，定義PN=0.3,0.4,0.5，并測(cè)試不同PN對(duì)IKGCF性能的影響.結(jié)果如表5所示，表中黑體數(shù)字表示最優(yōu)值，模型使用第3層和第4層的輸出向量同時(shí)預(yù)測(cè)得分.

由表5可見(jiàn)，引入流行度偏置系數(shù)后，IKGCF性能具有顯著提升，并且在不同的數(shù)據(jù)集上，最佳性能對(duì)應(yīng)的流行度偏置不同.這表明流行特征在建模用戶偏好中起到重要作用，并證實(shí)用戶偏好在流行特征中表現(xiàn)差異.此外，結(jié)合流行特性可顯著提高IKGCF在Yelp2018、Amazon Book數(shù)據(jù)集上的性能，這可能是因?yàn)檫@兩種場(chǎng)景中的用戶對(duì)流行特性更敏感.

表5 不同流行度偏置系數(shù)對(duì)IKGCF性能的影響Table 5 Effect of different popularity bias factors on IKGCF performance

3 結(jié) 束 語(yǔ)

本文提出隱式知識(shí)圖協(xié)同過(guò)濾模型(IKGCF)，構(gòu)建隱式協(xié)同知識(shí)圖，一方面消除顯式關(guān)系對(duì)推薦中隱式交互關(guān)系的干擾，另一方面解除顯式關(guān)系對(duì)圖譜中語(yǔ)義相關(guān)性的限制.此外，采用增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)模塊，更好地捕獲在隱式協(xié)同知識(shí)圖上的高階相關(guān)性.在3個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明IKGCF具有出色的性能.在推薦系統(tǒng)任務(wù)中，隱式協(xié)同知識(shí)圖譜還有更大的利用價(jià)值，節(jié)點(diǎn)之間存在豐富、隱含的關(guān)系.今后將著力研究如何進(jìn)一步挖掘節(jié)點(diǎn)之間隱含的關(guān)系，提高節(jié)點(diǎn)之間的語(yǔ)義相關(guān)性，提升推薦效果.