基于知識(shí)圖譜上下文的圖注意矩陣補(bǔ)全

孫 偉，陳平華

廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006

隨著電子商務(wù)和社交媒體平臺(tái)爆炸性增長(zhǎng)的數(shù)據(jù)信息，推薦系統(tǒng)已經(jīng)成為處理這一問(wèn)題的有效手段，近年來(lái)，個(gè)性化推薦已經(jīng)在不同的應(yīng)用場(chǎng)景中得到廣泛應(yīng)用。矩陣補(bǔ)全[1]是推薦系統(tǒng)中的一個(gè)子任務(wù)，在這項(xiàng)工作中，將評(píng)分矩陣看作用戶(hù)-項(xiàng)目二部圖，圖上邊的權(quán)重表示為用戶(hù)對(duì)項(xiàng)目的評(píng)分，將矩陣填充問(wèn)題轉(zhuǎn)化為邊的權(quán)值問(wèn)題[2]，通過(guò)圖自編碼器獲取圖中頂點(diǎn)表達(dá)后進(jìn)行鏈接預(yù)測(cè)?，F(xiàn)有的方法在編碼器上使用傳統(tǒng)的圖卷積網(wǎng)絡(luò)，結(jié)合鄰近節(jié)點(diǎn)特征的方式并且依賴(lài)于圖的結(jié)構(gòu)[3]，局限了訓(xùn)練所得模型在其他結(jié)構(gòu)上的泛化能力，鄰域之間共享權(quán)重，無(wú)法很好地區(qū)分彼此之間的重要性。

將知識(shí)圖譜（knowledge graph，KG）納入推薦的主要挑戰(zhàn)是如何有效利用KG之間的實(shí)體和圖結(jié)構(gòu)之間的關(guān)系[4]，圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）的出現(xiàn)正好為這一問(wèn)題的解決提供了有力的技術(shù)支持。盡管基于GNN的推薦方法可以自動(dòng)捕獲KG的結(jié)構(gòu)和語(yǔ)義信息[5]，但仍存在以下缺陷：首先，大多數(shù)基于GNN的方法對(duì)實(shí)體進(jìn)行聚合時(shí)缺乏對(duì)特定用戶(hù)偏好的KG中實(shí)體的本地上下文（一階鄰居）建模[6]；其次，在現(xiàn)有的基于GNN的推薦方法中，KG中實(shí)體的非本地上下文（最相關(guān)的高階鄰居）沒(méi)有被明確捕獲[4]?，F(xiàn)有的基于GNN的方法通過(guò)逐層傳播特征來(lái)解決此限制[7]，但這可能會(huì)削弱相互連接的實(shí)體的影響，甚至帶來(lái)噪聲信息[8]。為了解決上述的這些問(wèn)題，本文提出基于KG上下文矩陣補(bǔ)全的圖注意編碼器框架，圖注意編碼器通過(guò)在雙向交互圖上使用注意力機(jī)制進(jìn)行消息傳遞來(lái)生成用戶(hù)和項(xiàng)目節(jié)點(diǎn)的潛在特征[9]，明確利用知識(shí)圖譜中實(shí)體的本地和非本地上下文，分別如下：基于不同用戶(hù)可能對(duì)知識(shí)圖譜中的同一實(shí)體有不同的偏好，提出一種用戶(hù)特定的圖注意力機(jī)制來(lái)聚合知識(shí)圖譜的本地上下文信息；為了顯示地利用知識(shí)圖譜中的非本地上下文信息，通過(guò)隨機(jī)游走采樣過(guò)程來(lái)提取實(shí)體的非本地上下文，然后采用遞歸神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜中對(duì)實(shí)體及非本地上下文之間的依賴(lài)關(guān)系進(jìn)行建模，最后，將知識(shí)圖譜實(shí)體的本地與非本地上下文利用一個(gè)門(mén)控機(jī)制集成，將上述得到的用戶(hù)和項(xiàng)目表示以及結(jié)構(gòu)化的外部信息（知識(shí)圖譜）通過(guò)雙線(xiàn)性解碼器有效地重建評(píng)分鏈接[10]。

1 相關(guān)工作

1.1 圖自編碼器

圖自編碼器憑借其簡(jiǎn)潔的編碼器-解碼器結(jié)構(gòu)和高效的編碼能力，在很多領(lǐng)域都派上了用場(chǎng)。獲取合適的嵌入向量來(lái)表示圖中的節(jié)點(diǎn)不是容易的事，如果找到合適的嵌入向量，就可以以此將其應(yīng)用到其他任務(wù)中。Kipf與Welling提出了基于圖的（變分）自編碼器[11]（VGAE），VGAE通過(guò)編碼器-解碼器的結(jié)構(gòu)可以獲取到圖中節(jié)點(diǎn)的嵌入向量，來(lái)支持接下來(lái)的任務(wù)。通過(guò)利用隱變量，讓模型學(xué)習(xí)出一些分布，再?gòu)倪@些分布中采樣得到隱表示，這就是編碼過(guò)程。然后利用得到的隱表示重構(gòu)出原始圖，這個(gè)過(guò)程是解碼階段。GraphCAR[12]的整體框架基本遵循著圖自編碼器的框架，即先使用圖卷積神經(jīng)網(wǎng)絡(luò)獲取用戶(hù)和項(xiàng)目的嵌入表示，然后使用內(nèi)積來(lái)預(yù)測(cè)用戶(hù)對(duì)項(xiàng)目的偏好評(píng)分，并且它直接對(duì)用戶(hù)和項(xiàng)目的交互和邊信息一起建模。

1.2 帶輔助信息的矩陣補(bǔ)全

矩陣補(bǔ)全的目標(biāo)是用低秩的評(píng)分矩陣來(lái)近似評(píng)分矩陣，文獻(xiàn)[13]用核函數(shù)（矩陣奇異值之和）的最小化代替秩最小化，使目標(biāo)函數(shù)變?yōu)橐粋€(gè)可處理的凸函數(shù)。文獻(xiàn)[14]提出幾何矩陣補(bǔ)全模型通過(guò)以用戶(hù)圖和項(xiàng)目圖的形式添加輔助信息來(lái)引入矩陣補(bǔ)全模型的正則化。RGCNN[15]模型探索基于用戶(hù)和項(xiàng)目的k近鄰圖的切比雪夫多項(xiàng)式的頻譜圖濾波器的應(yīng)用，本文所提模型直接在交互圖上傳遞信息，直接在編碼器-解碼器中對(duì)評(píng)分圖進(jìn)行建模，能夠進(jìn)一步加快訓(xùn)練速度。Ying等人[16]提出PinSage這種高度可擴(kuò)展的圖卷積網(wǎng)絡(luò)，基于Graph-Sage框架推薦Web規(guī)模圖，并且對(duì)鄰域進(jìn)行二次采樣以增強(qiáng)可擴(kuò)展性。而本文的工作將會(huì)專(zhuān)注于基于圖的輔助信息建模[17]，并進(jìn)一步引入正則化技術(shù)提高泛化能力。

1.3 基于知識(shí)圖譜的方法

基于嵌入的方法主要是通過(guò)圖嵌入的方法對(duì)實(shí)體和關(guān)系進(jìn)行表征，進(jìn)而擴(kuò)充原有物品和用戶(hù)表征的語(yǔ)義信息。其中包括基于Trans系列的圖譜嵌入方法和基于異質(zhì)信息網(wǎng)絡(luò)的圖嵌入方法。例如，Zhang等人[18]提出的CKE模型使用TransR從項(xiàng)目KG導(dǎo)出語(yǔ)義實(shí)體表示，Cao等人[9]提出的KTUP模型通過(guò)共享項(xiàng)目嵌入來(lái)共同訓(xùn)練個(gè)性化推薦和KG完成任務(wù)，Dong等人[19]利用Metapath2Vec對(duì)知識(shí)圖譜上的節(jié)點(diǎn)進(jìn)行表征，進(jìn)而擴(kuò)充推薦系統(tǒng)中物品的表征。但是這些方法缺少知識(shí)圖譜中語(yǔ)義關(guān)系的精確建模。

基于路徑的方法主要是挖掘基于圖譜用戶(hù)、物品之間多種連接關(guān)系。在文獻(xiàn)[20]中，作者使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)每種不同元路徑采樣得到的從用戶(hù)到物品路徑進(jìn)行嵌入表征，進(jìn)而構(gòu)造基于元路徑的用戶(hù)偏好特征，并結(jié)合NeuMF[21]的算法構(gòu)建推薦系統(tǒng)。基于元路徑的方法雖然可以有很好的推薦效果以及可解釋性，但這類(lèi)方法在構(gòu)建推薦算法前需要先從數(shù)據(jù)中抽取、構(gòu)造大量的元路徑或元圖。

最近，基于GNN的方法逐漸應(yīng)用到基于知識(shí)圖譜的推薦系統(tǒng)中。例如，Wang等人[22]提出KGNN-LS模型采用了可訓(xùn)練的函數(shù)，該函數(shù)計(jì)算每個(gè)用戶(hù)的關(guān)聯(lián)權(quán)重，以將KG轉(zhuǎn)換為用戶(hù)特定的加權(quán)圖，然后在該圖上應(yīng)用圖卷積網(wǎng)絡(luò)以學(xué)習(xí)項(xiàng)目嵌入。在Wang等人[23]提出的另外一篇文章中，采用圖注意力機(jī)制來(lái)聚合和傳播實(shí)體的本地鄰域信息，而無(wú)需考慮用戶(hù)對(duì)實(shí)體的個(gè)性化偏好[24]?？偠灾?，這些基于GNN的方法通過(guò)逐層傳播隱式地聚合了高階鄰域信息，而不是顯式地對(duì)實(shí)體與其高階鄰居之間的依賴(lài)關(guān)系進(jìn)行建模[25]。

2 上下文知識(shí)圖注意矩陣補(bǔ)全

圖1 模型框架圖Fig.1 Model frame figure

2.1 圖注意編碼器

本文提出一種圖注意編碼器，該編碼器使用注意力機(jī)制為鄰域中不同的節(jié)點(diǎn)指定不同的權(quán)重，既不需要矩陣運(yùn)算，也不需要事先知道圖結(jié)構(gòu)，對(duì)相鄰節(jié)點(diǎn)計(jì)算，更加具有魯棒性以及可解釋性。通過(guò)該機(jī)制編碼器還為每一種評(píng)分等級(jí)類(lèi)型rˉ∈Rˉ分配單獨(dú)的處理通道，把這個(gè)過(guò)程看作是消息傳遞的一種形式，其中節(jié)點(diǎn)向量特征沿著圖上的邊之間傳遞和轉(zhuǎn)換。在這種情況下為每個(gè)等級(jí)分配特定的轉(zhuǎn)換，從項(xiàng)目j到用戶(hù)i的信息傳遞被定義為：

在這里，公式（1）對(duì)節(jié)點(diǎn)嵌入h i做線(xiàn)性變換，Wrˉ為基于邊類(lèi)型（評(píng)分等級(jí)）的參數(shù)矩陣。公式（2）計(jì)算成對(duì)節(jié)點(diǎn)間的原始注意力分?jǐn)?shù)，它首先拼接了兩個(gè)節(jié)點(diǎn)z的嵌入；隨后對(duì)拼接好的嵌入以及一個(gè)可學(xué)習(xí)的權(quán)重向量a做點(diǎn)積，最后應(yīng)用了一個(gè)LeakyReLU激活函數(shù)。公式（3）對(duì)一個(gè)節(jié)點(diǎn)所有入邊得到的原始注意力分?jǐn)?shù)使用一個(gè)softmax操作，得到注意力權(quán)重。公式（4）形似圖注意網(wǎng)絡(luò)的節(jié)點(diǎn)特征更新規(guī)則，對(duì)所有鄰節(jié)點(diǎn)的特征做了基于注意力的加權(quán)求和，N(i)表示用戶(hù)i的鄰居集合。從用戶(hù)到項(xiàng)目的消息μi→j,rˉ以類(lèi)似的方式處理。在消息傳遞完成之后，針對(duì)每種類(lèi)型的邊，把所有以i的鄰域

其中，accum(·)表示一個(gè)聚合運(yùn)算，例如stack、sum等，σ(·)為激活函數(shù)，為了得到用戶(hù)u i的最終嵌入向量，對(duì)中間輸出h加個(gè)全連接層變換：

其中，W為參數(shù)矩陣，計(jì)算項(xiàng)目的嵌入向量的方法和用戶(hù)的求解類(lèi)似，只不過(guò)是使用兩套參數(shù)。

2.2 知識(shí)圖上下文

（1）本地圖上下文

（2）非本地圖上下文

用戶(hù)特定的圖形注意網(wǎng)絡(luò)顯式地聚合目標(biāo)實(shí)體的本地鄰居（一跳）信息，以豐富目標(biāo)實(shí)體的表示。但這并不意味著在知識(shí)圖譜中捕獲實(shí)體的非本地上下文（高階）信息，以及對(duì)于知識(shí)圖譜中連接較少的節(jié)點(diǎn)也具有較強(qiáng)的表示能力。為了解決這個(gè)問(wèn)題，提出一種基于GRU模塊的偏置隨機(jī)游走方法，使用GRU建模實(shí)體h與其非本地上下文之間的依賴(lài)關(guān)系，用于聚合實(shí)體的非本地上下文信息。

偏置隨機(jī)游走過(guò)程用于提取目標(biāo)實(shí)體h的非本地上下文，為了實(shí)現(xiàn)更廣泛的深度優(yōu)先搜索，從h重復(fù)偏向隨機(jī)游走，以獲得長(zhǎng)度固定為L(zhǎng)的M條路徑，該遍歷以概率p迭代到當(dāng)前實(shí)體的鄰居，定義如下：

最后，為了建模項(xiàng)目節(jié)點(diǎn)的輔助信息，在對(duì)做全連接層變換時(shí)，考慮連接知識(shí)圖上下文向量c h和項(xiàng)目向量，得到項(xiàng)目vi的最終嵌入表示：

圖2描述了捕獲知識(shí)圖譜中實(shí)體的本地和非本地上下文信息的流程。

圖2 知識(shí)圖上下文建模Fig.2 Knowledge graph context modeling

2.3 雙線(xiàn)性解碼器

為了重構(gòu)二分圖上的鏈接，考慮一個(gè)雙線(xiàn)性解碼器，把用戶(hù)對(duì)項(xiàng)目的評(píng)分等級(jí)視為多個(gè)類(lèi)別，N表示為用戶(hù)和項(xiàng)目之間重構(gòu)的評(píng)分矩陣，解碼器通過(guò)對(duì)可能的評(píng)分等級(jí)進(jìn)行雙線(xiàn)性運(yùn)算，然后用softmax函數(shù)生成一個(gè)概率分布：

算法步驟如下：

輸入：用戶(hù)-項(xiàng)目二部圖（用戶(hù)對(duì)物品的評(píng)分矩陣）；知識(shí)圖譜

輸出：預(yù)測(cè)評(píng)分等級(jí)

（1）采用帶注意力的圖自編碼器的方法進(jìn)行消息的傳遞，設(shè)計(jì)一種評(píng)分等級(jí)的轉(zhuǎn)換，對(duì)節(jié)點(diǎn)的特征沿著邊進(jìn)行傳遞和轉(zhuǎn)換，最后生成用戶(hù)和項(xiàng)目節(jié)點(diǎn)的潛在特征表示。

（2）對(duì)知識(shí)圖譜實(shí)體進(jìn)行本地和非本地上下文信息提取，采用門(mén)控機(jī)制對(duì)兩者進(jìn)行集成。

（3）對(duì)項(xiàng)目節(jié)點(diǎn)特征表示與知識(shí)圖譜中實(shí)體上下文信息進(jìn)行聚合操作，形成最終的項(xiàng)目表征。

（4）采用雙線(xiàn)性解碼器，把用戶(hù)對(duì)項(xiàng)目的評(píng)分等級(jí)視為多個(gè)類(lèi)別，生成評(píng)分概率分布。

2.4 模型訓(xùn)練

損失函數(shù)。在模型訓(xùn)練過(guò)程中，將預(yù)測(cè)評(píng)級(jí)N?ij的負(fù)對(duì)數(shù)可能性最小化：

當(dāng)k=l時(shí)，I[k=l]=1，其他情況時(shí)為0，矩陣Ω∈{0,1}N u×N v作為未觀(guān)察到評(píng)級(jí)的掩碼，例如，對(duì)應(yīng)于N中觀(guān)察到評(píng)級(jí)對(duì)應(yīng)的元素會(huì)出現(xiàn)1，未觀(guān)察到的評(píng)級(jí)會(huì)出現(xiàn)0，因此，僅對(duì)觀(guān)察到的評(píng)級(jí)進(jìn)行優(yōu)化。

批處理。通過(guò)對(duì)等式中的損失函數(shù)進(jìn)行抽樣批處理，即只采樣固定數(shù)量的用戶(hù)和項(xiàng)目對(duì)，一來(lái)減少訓(xùn)練所需的內(nèi)存，二來(lái)達(dá)到正則化的效果；通過(guò)實(shí)驗(yàn)驗(yàn)證了當(dāng)調(diào)整正則化參數(shù)時(shí)，mini-batch和full-batch在數(shù)據(jù)集上得到相似的效果；在大數(shù)據(jù)集中應(yīng)用mini-batch，而在小數(shù)據(jù)中應(yīng)用full-batch以獲得更快的收斂速度。

節(jié)點(diǎn)丟棄。為了使模型能夠很好地泛化到未觀(guān)察到的等級(jí)，通過(guò)去噪設(shè)置對(duì)模型進(jìn)行訓(xùn)練，這能夠有效地提高模型的魯棒性。在訓(xùn)練中使用丟棄，以一定概率Pdropout隨機(jī)刪除特定節(jié)點(diǎn)的所有消息，將其稱(chēng)為節(jié)點(diǎn)丟棄。在初始實(shí)驗(yàn)中，發(fā)現(xiàn)節(jié)點(diǎn)丟棄比消息丟棄更能有效地進(jìn)行正則化。節(jié)點(diǎn)丟棄也會(huì)使嵌入表示不受特定用戶(hù)或項(xiàng)目的影響。

權(quán)值共享。并不是所有的用戶(hù)和項(xiàng)目對(duì)于同一個(gè)評(píng)分等級(jí)都有相同的評(píng)分，這可能導(dǎo)致在圖注意層中權(quán)重矩陣的某些列沒(méi)有其他列優(yōu)化的頻繁。考慮用戶(hù)對(duì)項(xiàng)目打分的非均勻性，防止權(quán)重矩陣的列優(yōu)化不均勻，使用一種在不同評(píng)分關(guān)系之間進(jìn)行參數(shù)共享的方法：

其中，T s為基礎(chǔ)矩陣，評(píng)分越高，Wrˉ包含的T s數(shù)量越多。

作為正則化的一種有效方法，解碼器中的權(quán)重矩陣Q rˉ采用一組基于基礎(chǔ)參數(shù)矩陣的線(xiàn)性組合的參數(shù)共享矩陣：

其中，s∈(1,2,…,nb)；nb表示基權(quán)重矩陣P s的數(shù)量；arˉs是可學(xué)習(xí)參數(shù)，這個(gè)系數(shù)決定了每一個(gè)解碼器權(quán)重矩陣Q rˉ的線(xiàn)性組合；為了避免過(guò)擬合并減少參數(shù)的數(shù)量，基權(quán)重矩陣的數(shù)量nb應(yīng)低于評(píng)分級(jí)別的數(shù)量。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：

實(shí)驗(yàn)將會(huì)在三個(gè)公共數(shù)據(jù)集上執(zhí)行：Last-FM（https：//grouplens.org/datasets/hetrec-2011/）、Movielens-1M（https：//grouplens.org/datasets/movielens/1m/）和Book-Crossing（http：//www2.informatik.uni-freiburg.de/～cziegler/BX）（分別由FM、ML和BC表示）?？紤]數(shù)據(jù)稀疏，將所有FM和BC數(shù)據(jù)集的評(píng)級(jí)保留為隱式反饋，對(duì)于ML數(shù)據(jù)集，將大于4的評(píng)分保留為隱式反饋。這些數(shù)據(jù)集的知識(shí)圖譜是由Microsoft Satori構(gòu)建，通過(guò)僅選擇關(guān)系名稱(chēng)分別包含“電影”和“書(shū)”的三元組，進(jìn)一步減小ML和BC中知識(shí)圖譜的大小，對(duì)于這些數(shù)據(jù)集，通過(guò)其名稱(chēng)匹配知識(shí)圖譜中的項(xiàng)目和實(shí)體，將與任何實(shí)體或多個(gè)實(shí)體都不匹配的項(xiàng)目刪除，表1總結(jié)了這些實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)。

表1 數(shù)據(jù)集統(tǒng)計(jì)信息Table 1 Statistics of experimental datasets

設(shè)置和指標(biāo)：

對(duì)于每個(gè)數(shù)據(jù)集，隨機(jī)選擇60%觀(guān)察到的用戶(hù)-項(xiàng)目交互來(lái)進(jìn)行模型訓(xùn)練，并選擇另外20%的交互來(lái)進(jìn)行參數(shù)調(diào)整，其余20%的互動(dòng)作為測(cè)試數(shù)據(jù)，使用兩個(gè)廣泛的評(píng)估指標(biāo)：Precision@K，Recall@K，在實(shí)驗(yàn)中，將K設(shè)置為10、20。對(duì)于每個(gè)指標(biāo)，首先根據(jù)測(cè)試數(shù)據(jù)計(jì)算每個(gè)用戶(hù)的準(zhǔn)確度，然后報(bào)告所有用戶(hù)的平均準(zhǔn)確度。

基線(xiàn)方法：

（1）CFKG[26]：將多種類(lèi)型的用戶(hù)行為和項(xiàng)目KG集成到一個(gè)統(tǒng)一的圖中，并采用TransE來(lái)學(xué)習(xí)實(shí)體嵌入。

（2）RippleNet[27]：通過(guò)沿用戶(hù)KG沿其歷史項(xiàng)目的路徑傳播用戶(hù)對(duì)實(shí)體集合的偏好來(lái)利用KG信息。

（3）GCMC[1]：基于矩陣的圖自編碼器框架。它通過(guò)圖卷積矩陣完成對(duì)用戶(hù)項(xiàng)二部圖進(jìn)行編碼，使用隱式用戶(hù)項(xiàng)交互來(lái)創(chuàng)建用戶(hù)項(xiàng)二部圖。

（4）KGAT[28]：在KG上采用圖注意力機(jī)制來(lái)利用圖上下文進(jìn)行推薦。

實(shí)現(xiàn)細(xì)節(jié)：

對(duì)于本模型的參數(shù)，潛在空間d的維數(shù)從{8，16，32，64，128}中選擇，模型訓(xùn)練中使用的實(shí)體S的局部鄰居數(shù)從{2，4，8，16，32，40}中選擇，正則化參數(shù)λ1和λ2選擇{10-6,5×10-6,10-5,5×10-5,10-4,5×10-4,10-3,10-2}，學(xué)習(xí)率η從{10-4,5×10-4,10-3,5×10-3,10-2}中選取，對(duì)于所有方法，最佳超參數(shù)均由驗(yàn)證數(shù)據(jù)的性能來(lái)確定，并使用Adam優(yōu)化器來(lái)學(xué)習(xí)模型參數(shù)。

3.2 實(shí)驗(yàn)結(jié)果

表2總結(jié)不同數(shù)據(jù)集上的結(jié)果，通過(guò)觀(guān)察，就所有指標(biāo)而言，本文模型通常會(huì)在所有數(shù)據(jù)集上獲得最佳性能，本文模型在知識(shí)圖譜中顯示建模實(shí)體之間的上下文信息，考慮用戶(hù)的個(gè)性化偏好建模，結(jié)果表明，通過(guò)解碼器可以有效地將知識(shí)圖譜上下文信息與用戶(hù)-項(xiàng)目二部圖獲得的向量表征融合從而增強(qiáng)推薦的性能。

表2 不同推薦算法的性能Table 2 Performances of different recommendation algorithms

3.3 參數(shù)敏感性研究

總結(jié)本文模型在關(guān)鍵參數(shù)不同設(shè)置方面的性能，知識(shí)圖譜中相鄰實(shí)體的大小通常因不同項(xiàng)目而異，研究固定采樣鄰居的大小S將如何影響性能，從圖3中可以看出，當(dāng)S設(shè)置為4時(shí)，模型可獲得最佳性能，而更大的S則無(wú)助于進(jìn)一步提高性能。圖4顯示λ的不同設(shè)置下的性能趨勢(shì)，將λ設(shè)置為10-4可以獲得比通過(guò)將λ設(shè)置為0更好的性能。此外，研究隨機(jī)游走采樣路徑數(shù)M和路徑長(zhǎng)度L對(duì)隨機(jī)游走模塊的影響，從圖5可以看出，將M設(shè)置為15可以獲得最佳性能，這表明通過(guò)執(zhí)行15次隨機(jī)游走采樣來(lái)捕獲實(shí)體的非本地鄰居中最相關(guān)的實(shí)體。如圖6所示，將L設(shè)置在4到12之間可以獲得更好的性能，進(jìn)一步增加L會(huì)增加更多的訓(xùn)練時(shí)間，導(dǎo)致推薦性能的下降。

圖3 S在ML數(shù)據(jù)集中對(duì)模型性能的影響Fig.3 Performances of model on ML dataset of S

圖4 λ在ML數(shù)據(jù)集中對(duì)模型性能的影響Fig.4 Performances of model on ML dataset ofλ

圖5 M在ML數(shù)據(jù)集中對(duì)模型性能的影響Fig.5 Performances of model on ML dataset of M

圖6 L在ML數(shù)據(jù)集中對(duì)模型性能的影響Fig.6 Performances of model on ML dataset of L

4 結(jié)語(yǔ)

本文提出了基于知識(shí)圖譜的上下文矩陣補(bǔ)全，用于推薦系統(tǒng)中矩陣補(bǔ)全任務(wù)的帶注意力的圖形自動(dòng)編碼框架，并且充分利用知識(shí)圖譜中本地和非本地上下文信息來(lái)增強(qiáng)推薦。具體來(lái)說(shuō)，該模型使用圖注意編碼器在用戶(hù)-項(xiàng)目二部圖上傳遞消息并設(shè)計(jì)一種評(píng)分等級(jí)轉(zhuǎn)換來(lái)構(gòu)造用戶(hù)和項(xiàng)目的嵌入，通過(guò)特定于用戶(hù)的圖注意機(jī)制在知識(shí)圖譜中聚合本地上下文信息來(lái)捕獲用戶(hù)對(duì)實(shí)體的個(gè)性化偏好；使用基于偏差隨機(jī)游走的采樣過(guò)程來(lái)為知識(shí)圖譜上目標(biāo)實(shí)體提取重要的非本地上下文信息，并使用GRU模塊顯式聚合實(shí)體嵌入，最后通過(guò)一個(gè)雙線(xiàn)性解碼器融合二部圖和知識(shí)圖譜中的信息，本模型的優(yōu)越性通過(guò)與三個(gè)數(shù)據(jù)集上的最新基準(zhǔn)進(jìn)行比較得到驗(yàn)證。在未來(lái)的工作中，考慮用戶(hù)的歷史項(xiàng)目在對(duì)其不同候選項(xiàng)目的偏好時(shí)可能具有不同的重要性，建模用戶(hù)上下文信息，以提高推薦的準(zhǔn)確性。