融合知識圖譜和短期偏好的推薦算法

高 仰，劉 淵

1.江南大學 人工智能與計算機學院，江蘇 無錫214122

2.江蘇省媒體設計與軟件技術重點實驗室（江南大學），江蘇 無錫214122

+通信作者E-mail:lyuan1800@sina.com

隨著信息技術和互聯(lián)網(wǎng)的高速發(fā)展，人們逐漸從信息匱乏的時代走入了信息過載的時代。在這個時代，作為信息消費者，從海量信息中找到自己感興趣的信息是一件非常困難的事情；作為信息生產(chǎn)者，如何精確地捕捉客戶興趣并向客戶推送需要的信息同樣具有很大的挑戰(zhàn)。為了解決信息過載這一問題，其中最常見的解決辦法就是分類目錄和搜索引擎。這兩種辦法均需用戶明確自己需求，通過準確描述自己需求的關鍵詞來尋找信息。但當用戶不明確自己的需求時，以上兩種辦法就無能為力。推薦系統(tǒng)是一種幫助用戶快速發(fā)現(xiàn)有用信息的工具，推薦系統(tǒng)不需要用戶明確自己的需求，通過分析用戶的歷史行為得到用戶的興趣模型，從而主動給用戶推薦其可能感興趣的信息。傳統(tǒng)的推薦方法可分為：基于內容的推薦方法，嘗試為用戶匹配那些預期喜歡的物品相似的物品；基于協(xié)同過濾的推薦方法，根據(jù)用戶的歷史行為和評分向用戶進行推薦[1]；混合推薦方法則是將前面兩種方法結合起來推薦。矩陣分解方法將評分預測任務轉化為矩陣補全任務，將用戶行為矩陣分解為兩個低秩矩陣的乘積，通過分解把用戶和物品嵌入到了同一個向量空間并使用機器學習的手段補全矩陣。雖然基于矩陣分解的方法效果很好，但依然存在數(shù)據(jù)稀疏和冷啟動問題[1]。隨著互聯(lián)網(wǎng)中越來越多的數(shù)據(jù)能夠被感知獲取，包括圖像、文本、標簽在內的多源異構數(shù)據(jù)蘊含著豐富的用戶行為信息及個性化需求信息[2]，融合多源異構輔助信息（side information）的混合推薦方法越來越受到研究者的重視。例如，將用戶的社交關系、物品的相關屬性、物品的交互數(shù)據(jù)作為輔助信息來增強推薦性能，可以較好地緩解傳統(tǒng)推薦方法中的數(shù)據(jù)稀疏和冷啟動問題。然而，輔助信息包含了圖片、文本、音頻等不同格式，如何綜合考慮這些不同模態(tài)的信息成為了挑戰(zhàn)；社交關系和物品知識圖譜這些輔助信息來自不同的源頭，具有不同的數(shù)據(jù)結構，但是這兩類數(shù)據(jù)均可以用來增強推薦性能，如何融合這些多源異構數(shù)據(jù)成為了挑戰(zhàn)；此外，雖然巨大的輔助信息數(shù)據(jù)有利于推薦任務，但是用戶的評分數(shù)據(jù)量相對于海量的物品過小，同時物品的評分可能存在長尾現(xiàn)象，即熱門物品的評分數(shù)目遠多于冷門物品的評分數(shù)，分布不均勻，由此可見融合多源異構數(shù)據(jù)的混合推薦方法依然面臨著嚴峻的挑戰(zhàn)[2]。知識圖譜旨在描述真實世界中存在的各種實體或概念及其關系,構成了一張巨大的語義網(wǎng)絡圖，便于將各種輔助信息有效地融入推薦算法，從而緩解冷啟動與數(shù)據(jù)稀疏問題。

近年來，深度學習在各領域取得了突破性進展，且深度學習通過組合低層特征形成更加稠密的高層語義抽象，從而發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，解決了傳統(tǒng)機器學習中需要人工設計特征的問題；深度學習中的循環(huán)神經(jīng)網(wǎng)絡可以很好地對序列進行建模，能夠有效挖掘數(shù)據(jù)中順序結構[2]；此外，基于深度學習的推薦方法能夠融入多源異構輔助信息進行推薦，通過將用戶的顯式反饋和隱式反饋數(shù)據(jù)、用戶的畫像、物品的內容和屬性等多源異構輔助信息作為輸入，采用一個端到端的模式自動訓練預測模型，從而緩解傳統(tǒng)推薦系統(tǒng)面臨的數(shù)據(jù)稀疏和冷啟動的問題。但同時也存在訓練時間長、可解釋性差的缺點。本文利用知識圖譜作為輔助信息，采用深度學習技術從輔助信息中學習用戶和物品的特征表示來增強推薦系統(tǒng)的性能。

本文的主要貢獻有：（1）提出了一種新的混合推薦框架；（2）通過RippleNet算法提取用戶和實體的潛在關系，采用多任務學習同時訓練知識圖譜模塊和推薦模塊，從而更好地利用知識圖譜增強推薦性能；（3）提出了基于注意力機制的雙向GRU（gate recurrent unit）網(wǎng)絡從用戶近期交互序列提取用戶的短期偏好的方法；（4）在兩個真實數(shù)據(jù)集上進行驗證，結果表明提出的模型優(yōu)于其他的基準模型。

1 相關工作

1.1 推薦算法

目前針對推薦算法已經(jīng)有很多的研究成果，其中，最早被使用的是信息獲取領域的基于內容的推薦方法[3]；Goldberg 等[4]在1992年提出的協(xié)同過濾推薦方法，又稱為社會過濾，篩選出特定用戶感興趣的項目集合，根據(jù)這些項目集合分析用戶的潛在需求，輔助用戶做決定。此外，混合推薦技術[5]可以克服傳統(tǒng)推薦方法的大多數(shù)限制，將它們組合可獲得更好的推薦效果。

隨著深度學習技術的發(fā)展，神經(jīng)網(wǎng)絡已經(jīng)應用到各種推薦場景。Zhang 等[6]介紹了深度學習與推薦系統(tǒng)相結合的研究現(xiàn)狀和發(fā)展狀況，提出由于深度學習具有很強的特征提取能力，因此越來越多的研究者使用深度學習技術和文本、標簽、圖像等輔助信息來產(chǎn)生更加有效特征表示，以提高推薦性能；Chen等[7]通過神經(jīng)網(wǎng)絡捕捉用戶動態(tài)偏好的改變來實時推薦物品；Han 等[8]通過深度學習來增強隱語義模型[9]推薦效果；Cheng等[10]通過利用用戶特征、情境特征和項目特征等多元異構數(shù)據(jù)，提出了一種深廣模型。近年來，基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡在自然語言處理中受到廣泛關注，注意力機制與RNN（recurrent neural network）結合能夠很好地抓住文本的序列特征。Li等[11]提出了一種基于注意力機制的LSTM（long short-term memory）模型用于微博中的hashtag 推薦。Hidasi 等[12]采用GRU 來抓取會話中行為之間的依賴關系。Bansal 等[13]基于循環(huán)神經(jīng)網(wǎng)絡模型提出了一種文本推薦方法，在利用評分數(shù)據(jù)的同時，還利用文本內容信息和文本標簽數(shù)據(jù)進行推薦。Wang等[14]提出的推薦框架采用知識圖譜作為輔助信息，使用循環(huán)神經(jīng)網(wǎng)絡學習用戶的偏好，并使用路徑信息來增強推薦的可解釋性。Sun 等[15]使用LSTM 來提取知識圖譜中連通性信息并得到用戶和物品的特征表示，從而增強推薦性能。

1.2 知識圖譜算法

知識圖譜的提出是為了提高搜索引擎的能力，改善用戶的搜索質量以及搜索體驗。隨著人工智能的技術發(fā)展和應用，現(xiàn)已被廣泛應用于智能搜索、智能問答、個性化推薦、內容分發(fā)等領域。將知識圖譜引入到推薦系統(tǒng)的優(yōu)勢有：（1）知識圖譜為物品引入了更多的語義關系，可以深層次地發(fā)現(xiàn)用戶興趣。（2）知識圖譜中不同的關系鏈接種類有利于推薦結果的發(fā)散。（3）知識圖譜可以連接用戶的歷史記錄和推薦結果，增強推薦系統(tǒng)的可解釋性，從而提高用戶對推薦系統(tǒng)的信任。

知識圖譜與推薦系統(tǒng)的結合大致可分為基于特征的推薦方法、基于路徑的推薦方法、知識圖譜特征學習。基于特征的推薦方法主要是從知識圖譜中抽取一些用戶和物品的屬性作為特征，放入到傳統(tǒng)模型中，該類方法并非專門針對知識圖譜設計，因此無法高效地利用知識圖譜的全部信息?；诼窂降耐扑]方法[16]，將知識圖譜視為一個異構信息網(wǎng)絡（heterogeneous information network），然后構造物品之間的基于meta-path 或meta-graph 的特征，此類方法的優(yōu)點在于充分且直觀地利用了知識圖譜的網(wǎng)絡結構，缺點是需要手動設計meta-path 或meta-graph，這在實踐中難以到達最優(yōu)；知識圖譜特征學習[17]（knowledge graph embedding）方法為知識圖譜中的每個實體和關系學習得到一個低維向量，同時保持圖中原有的結構或語義信息。一般而言，知識圖譜特征學習的模型分為兩類：基于距離的翻譯模型和基于語義的匹配模型。其中基于距離的翻譯模型[18]（distance-based translational models）將尾節(jié)點視為頭節(jié)點和關系翻譯得到的結果，使用基于距離的評分函數(shù)評估翻譯效果。這類方法的代表有TransE、TransH、TransR 等；基于語義的匹配模型[19]（semanticbased matching models）將實體和關系映射到隱語義空間中進行相似度度量，使用基于相似度的評分函數(shù)評估映射效果。這類方法的代表有SME（semantic matching energy）、NTN（neural tensor network）、MLP（multi-layer perceptron）、NAM（neural association model）等。知識圖譜特征學習與推薦系統(tǒng)相結合的方式有依次訓練，典型模型為DKN（deep knowledge-aware network for news recommendation）[20]、聯(lián)合訓練，典型模型為RippleNet[21]、多任務學習，典型模型為MKR（multi-task feature learning for knowledge graph enhanced recommendation）[22]，本文采用的是多任務學習的方法。

現(xiàn)有的推薦算法往往忽略了用戶的短期偏好或沒有考慮短期偏好所占權重，導致推薦的物品不夠合理；現(xiàn)有的融合知識圖譜的推薦算法雖然考慮了知識圖譜的結構和語義信息，但往往忽略了用戶和知識圖譜的聯(lián)系，有效使用以上的信息可以更好地利用知識圖譜來增強推薦性能。

2 提出的方法

2.1 問題定義

為了便于形式化描述，在此先列舉出本文后續(xù)會用到的符號。本文用U={u1,u2,…}和V={v1,v2,…}分別表示用戶集合和物品集合。用戶物品的交互矩陣Y={yuv|u∈U,v∈V}按照用戶的隱性反饋定義如下：

其中，yuv的值為1 代表用戶u和物品v之間存在隱性的交互，例如點擊行為、瀏覽行為、評分行為等。另外，用(h,r,t)這樣的三元組代表知識圖譜G中大量的實體-關系-實體元組，h∈ε,r∈R,t∈ε分別代表三元組中的頭、關系、尾，且ε,R分別代表知識圖譜的實體和關系集合。例如：三元組（我和我的祖國，表演，張譯）表示演員張譯出演了《我和我的祖國》這部電影。

給定交互矩陣Y和知識圖譜G，模型旨在預測用戶u是否對他未有過交互的物品v具有潛在的興趣。本文的目標是構建一個預測函數(shù)其中代表用戶u將會訪問物品v的概率，Θ代表函數(shù)的相關參數(shù)。

2.2 模型描述

用戶的興趣往往受短期因素影響，例如，有些人心情差的時候喜歡看喜劇，失落的時候喜歡看勵志片，也有些人在一段時間特別喜歡懸疑片等。但是現(xiàn)有的一些算法只關注短期偏好或者忽略了短期偏好，不能精準合理地給用戶推薦其感興趣的物品。另外，現(xiàn)有的融合知識圖譜的推薦算法，一般先從知識圖譜中訓練得到實體和關系的特征表示，再將這些特征向量應用于推薦任務，然而知識圖譜訓練的目的是還原知識圖譜中三元組的關系，并非為了推薦任務而學習，導致知識圖譜學習任務很難高效地幫助推薦任務提升推薦性能，MKR 模型[22]采用多任務學習的技術可以很好地將知識圖譜學習任務和推薦任務結合起來訓練，但是模型只考慮了物品和知識圖譜中實體的聯(lián)系，忽略了用戶和實體的聯(lián)系。基于以上不足之處，本文提出了MKASR（multi-task feature learning approach for knowledge graph and shortterm preferences enhanced recommendation）模型。該模型考慮了用戶的短期偏好，同時在MKR 模型的基礎上創(chuàng)新性地采用RippleNet算法提取用戶和知識圖譜中實體的聯(lián)系，并將該聯(lián)系和知識圖譜的聯(lián)系一并融合到推薦任務以提升推薦性能。在模型訓練前，系統(tǒng)先通過RippleNet 算法提取用戶與知識圖譜實體的關系對，并以（用戶，關系，知識圖譜實體）這樣的三元組存儲并參與訓練。MKASR 模型結構如圖1 所示。在這個模型中，中間的推薦模塊的輸入為評分矩陣Y和用戶近期交互的物品序列Sequv，該模塊經(jīng)過交叉壓縮單元（CCu,CCv），多層神經(jīng)網(wǎng)絡（multilayer perceptron，MLP）以及基于注意力機制的雙向GRU 網(wǎng)絡，最終得到用戶u對物品v的預測評分；圖1 左側的知識圖譜學習模塊從用戶層面提取用戶的潛在偏好，該模塊的輸入為用戶和知識圖譜實體的關系，經(jīng)過交叉壓縮單元（CCu），多層神經(jīng)網(wǎng)絡用來擬合用戶和知識圖譜實體的聯(lián)系；圖1 右側的知識圖譜學習模塊從物品層面提取物品之間的潛在聯(lián)系，該模塊的輸入為物品知識圖譜，經(jīng)過交叉壓縮單元（CCv），多層神經(jīng)網(wǎng)絡用來擬合物品知識圖譜中實體之間的聯(lián)系；三個模塊通過交叉壓縮單元相互聯(lián)系，多任務學習，最終得到一個能夠預測評分的函數(shù)

2.3 RippleNet

知識圖譜中包含大量的實體和實體之間的聯(lián)系，通過對這些復雜的聯(lián)系進行分析，可以得出用戶深層或潛在的偏好。例如：某用戶觀看《紅海行動》這部電影，他可能是主演張譯的粉絲，可能喜歡導演林超賢的風格，也可能是因為喜歡戰(zhàn)爭片，然而主演張譯也出演過其他的電影，導演林超賢也執(zhí)導過其他的電影，戰(zhàn)爭片還包含許多其他優(yōu)秀作品，這些與《紅海行動》相關的實體，用戶可能都感興趣。為了從知識圖譜中提取用戶和實體的聯(lián)系，更好地從用戶層面挖掘用戶的潛在偏好，本文采用RippleNet 算法[21]，以用戶的歷史記錄為興趣中心，模擬用戶的興趣在知識圖譜上逐層向外擴散，且不斷衰減的過程，類似于水中的波紋。為方便描述，給出k-hop 的相關實體、TupleSet和RippleSet的定義如下。

Fig.1 Framework of MKASR圖1 MKASR 模型結構

Fig.2 Propagation process of Ripple圖2 Ripple傳播過程

定義1（k-hop 相關實體）給定交互矩陣Y和知識圖譜G，則對于用戶u的k-hop 相關實體集合為：

定義2（TupleSet）用戶u的k-hop TupleSet 為知識圖譜以為種子集合傳播一層的三元組的集合為：

定義3（RippleSet）用戶u的RippleSet定義如下：

這里Ripple 是將用戶的偏好類比于水中的波紋，用戶的偏好在知識圖譜中像水波一樣逐層傳播，同時用戶的偏好強度也隨著傳播而衰減。考慮到RippleSet的大小可能隨著k的增長而變得非常大，一般會設定一個最大長度進行截斷，并且只考慮知識圖譜中實體的出度。最后將得到的RippleSet（用戶，關系，知識圖譜實體）三元組存儲并參與訓練，用以構建更全面的用戶表示向量。Ripple 傳播過程如圖2所示。

2.4 基于語義匹配的知識圖譜表示學習

2.4.1 交叉壓縮單元

交叉壓縮單元采用的是MKR 模型[22]里提出的，其結構如圖3 所示。對于一個物品v和一個知識圖譜里和物品v對應的實體h，首先構建交叉矩陣C∈Rd×d，其中d為v和h的維度。

Fig.3 Cross&compress unit圖3 交叉壓縮單元

物品v和實體h經(jīng)過交叉壓縮單元的輸出為：

其中，w..∈Rd,w.∈Rd,b.∈Rd是交叉壓縮單元權重和偏置參數(shù)。調整該參數(shù)可以同時學習知識圖譜語義匹配和推薦這兩個任務。同理，對用戶u的特征向量也是如此。

2.4.2 知識圖譜語義匹配

基于語義匹配的模型將實體和關系映射到隱語義空間中進行相似度度量，使用基于相似度的評分函數(shù)評估三元組的匹配效果。本文采用深度語義匹配機制，先使用交叉壓縮單元和MLP 處理知識圖譜中的頭（h）、關系（r）、尾（t），然后將h和r拼接起來，再通過MLP 并將其維度降至d得到t^，也就是預測的尾（t），最后使用相似度函數(shù)fkg來評估預測結果。

其中，CCv代表交叉壓縮單元，MLP為多層感知機，MLP(x)=σ(Wx+b)，其中W為權重參數(shù)，b為偏置，σ為非線性激活函數(shù)。相似度函數(shù)為：

其中，σ為sigmoid 函數(shù)，采用標準化內積的方法來計算相似度。

2.5 基于注意力機制的雙向GRU 網(wǎng)絡

在推薦模塊部分，使用RNN 從用戶近期的交互序列中學習用戶的短期偏好，本文采用雙向GRU 作為基礎單元，添加注意力機制來優(yōu)化短期偏好學習能力。該網(wǎng)絡的輸入為用戶近期的交互序列中前n個物品的序列，記為。網(wǎng)絡結構圖如圖4 所示。

Fig.4 Bidirectional GRU network based on attention mechanism圖4 基于注意力機制的雙向GRU 網(wǎng)絡結構

GRU 可解決長期記憶和反向傳播中的梯度等問題，它采用門控機制控制輸入、記憶等信息并在當前時間步做出預測。GUR 網(wǎng)絡對時序比較敏感且與LSTM 網(wǎng)絡相比訓練代價更小，可用于從用戶短期交互的物品序列中提取用戶的短期偏好，同時使用注意力機制衡量序列中各個物品的權重，這樣可以更準確地提取用戶的短期偏好。

GRU 有兩個門，即一個重置門（reset gate）和一個更新門（update gate）。重置門決定了如何將新的輸入信息與前面的記憶相結合，更新門定義了前面記憶保存到當前時間步的量。

在時間步t，更新門和重置門計算公式分別為：

式中，xt為第t個時間步的輸入向量，ht-1保存的是前一個時間步t-1 的信息，W.,U.均為參數(shù)矩陣。

候選隱藏層和輸出的隱藏層的計算公式分別為：

其中，⊙為哈達瑪積，最終得到的ht由zt控制需要從前一時刻的隱藏層ht-1遺忘多少信息，需要添加多少當前時刻隱藏層。

為捕獲用戶不同程度的短期偏好，引入注意力機制，其公式如下：

其中，Hout為RNN 輸出的隱藏層結果，wT為參數(shù)矩陣，其維度為GRU 單元個數(shù)，r為最終考慮了權重的RNN 輸出。再經(jīng)過MLP 得到考慮了權重的用戶短期偏好。后面將短期偏好獲取過程簡寫為：

2.6 綜合推薦

2.6.1 推薦模型

MKASR 中的推薦模型的輸入為描述用戶和物品的特征向量u和v以及用戶近期交互序列。給定用戶的特征向量u，經(jīng)過交叉壓縮單元和MLP處理后的uout為：

其中，λ1為短期偏好所占權重，AGRU()為用戶的短期偏好。

2.6.2 優(yōu)化算法

MKASR 模型的損失函數(shù)為：

式中，?為交叉熵損失函數(shù)，LRS是衡量推薦模型的損失值，分別是衡量用戶-關系-實體三元組和物品-關系-實體三元組擬合程度的損失值，為正則化項，λ2為正則化項系數(shù)。

算法1 MKASR

輸入：交互矩陣Y,知識圖譜G。

1.初始化所有參數(shù)

2.對每個用戶u計算RippleSetSu,并按照三元組的形式存儲下來

3.對每個用戶u計算其近期交互物品的序列Sequv

4.for 訓練迭代次數(shù)do

5.//推薦任務

6.whilei+batchSize＜len(Y)do

7.將Y中的miniBatch 和Sequv傳入模型

8.使用Adam 算法,通過式（5）～（6），式（11）～（24）更新F的參數(shù)

9.i+=batchSize

10.end while

11.//用戶特征向量的知識圖譜學習任務

12.whilei+batchSize＜len(Su)do

13.將Su中的miniBatch 傳入模型

14.使用Adam 算法,通過式（5）～（6），式（7）～（9）更新F的參數(shù)

15.i+=batchSize

16.end while

17.//物品特征向量的知識圖譜學習任務

18.whilei+batchSize＜len(G)do

19.將G中的miniBatch 傳入模型

20.使用Adam 算法，通過式（5）～（6），式（7）～（9）更新F的參數(shù)

21.i+=batchSize

22.end while

23.end for

MKASR 模型的參數(shù)優(yōu)化過程如算法1 MKASR所示，算法1 中，第1 到3 行是數(shù)據(jù)準備階段，使用RippleNet 算法計算得到用戶和知識圖譜實體的三元組關系，對評分數(shù)據(jù)按照時間戳排序得到用戶的近期交互物品序列，第5 到10 行是推薦階段，該階段的輸入為評分矩陣和用戶近期交互的物品序列Sequv，第11 到16 行是用戶-關系-實體三元組擬合階段，該階段的輸入為用戶和知識圖譜實體的關系Su；第17到22 行是物品-關系-實體三元組擬合階段，該階段的輸入為知識圖譜數(shù)據(jù)G。在各個階段把輸入數(shù)據(jù)輸入模型按照公式正向傳播，隨后根據(jù)Adam 優(yōu)化算法反向傳播更新模型參數(shù)Θ，多次迭代最終輸出推薦預測函數(shù)

3 實驗及分析

為了驗證提出的MKASR 模型的推薦性能，采用Tensorflow 機器學習框架，在Windows10 64 位操作系統(tǒng)，PyCharm2019，Intel?CoreTMi7-9750H CPU@2.60 GHz，16 GB 內存，Python3.7 的環(huán)境下進行對比實驗分析。

3.1 數(shù)據(jù)集

MovieLens-1M：MovieLens公開數(shù)據(jù)集被廣泛應用在電影推薦系統(tǒng)中，選取ML-1M 作為實驗數(shù)據(jù)集，評分范圍1～5 分，共包含100 多萬的評分記錄，其中每個用戶評分過的電影條目數(shù)均大于20。

Book-Crossing：Book-Crossing 數(shù)據(jù)集包含100 多萬條書籍評分記錄，評分范圍0～10，并且包含書籍輔助信息27 萬多條，Book-Crossings 數(shù)據(jù)集是最不密集的數(shù)據(jù)集之一。

對于MovieLens-1M 數(shù)據(jù)集，本文將用戶評分大于等于4 的電影，視為用戶喜愛該電影，反之，認為用戶不喜歡該電影，且從IMDB 網(wǎng)站獲取各個電影的詳細信息來構建電影相關的知識圖譜。由于Book-Crossing 數(shù)據(jù)集太過稀疏，本文將用戶評過的書籍視為用戶喜愛該書籍，反之，認為用戶不喜歡該書籍。該數(shù)據(jù)集同時提供了書籍的詳細信息，可用以構建知識圖譜。各數(shù)據(jù)集的詳細數(shù)據(jù)見表1。

Table 1 Basic statistics for two datasets表1 兩數(shù)據(jù)集詳細數(shù)據(jù)

3.2 對比模型

為驗證提出的MKASR 模型的性能，對比模型如下：

（1）SVD++（singular value decomposition）[23]：Koren提出的一種矩陣分解模型。實驗中模型參數(shù)為：迭代次數(shù)為20，隱類數(shù)為20，學習率為0.007，正則化項系數(shù)為0.02。

（2）KNNWithMeans[24]：Goin 提出的基于K-近鄰算法的推薦模型。實驗中模型參數(shù)為：考慮相鄰最大樣本數(shù)為40，考慮相鄰最小樣本數(shù)為1，迭代次數(shù)20，相似度計算模型為均方差（mean square displacement，MSD）。

（3）KGNN-LS（knowledge-aware graph neural networks with label smoothness regularization for recommender systems）[25]：Wang 等人提出的一種具有標簽平滑正則化的知識感知圖神經(jīng)網(wǎng)絡。實驗中模型的參數(shù)為：迭代次數(shù)為15，考慮的相鄰的樣本數(shù)為16，用戶和物品表示向量的維度為32，正則化項系數(shù)為0.000 1，學習率為0.02。

（4）KGCN（knowledge graph convolutional networks for recommender systems）[26]：Wang等人提出的一種基于知識圖譜作為輔助信息的圖神經(jīng)網(wǎng)絡推薦模型。實驗中模型參數(shù)為：迭代次數(shù)為10，考慮的相鄰的樣本數(shù)為4，用戶和物品表示向量的維度為32，正則化項系數(shù)為0.000 1，學習率為0.02。

（5）MKR[22]：Wang 等人提出的一種使用知識圖作為輔助信息，采用多任務學習的推薦模型。在實驗中模型的參數(shù)為：迭代次數(shù)為20，用戶和物品表示向量的維度為8，正則化項系數(shù)為0.000 01，推薦任務學習率為0.02，知識圖譜學習任務學習率為0.01。

（6）MKASR：本文提出的融合知識圖譜和短期偏好，且采用多任務學習的推薦模型。

3.3 實驗評估指標及實驗設置

實驗將數(shù)據(jù)集過濾后，按照8∶2將數(shù)據(jù)集分為訓練集和測試集。采用AUC（area under curve）和Accuracy（ACC）來評估模型的CTR（click through rate）預測性能，采用Top-K推薦中的預測率（Precision@K）和召回率（Recall@K）指標來評估推薦效果。

在實驗中，對于所有數(shù)據(jù)集，設置用戶和物品表示向量的維度為8，batch size 為4 096，近期交互物品序列長度為20，GRU 網(wǎng)絡的隱藏層數(shù)為16，正則化項系數(shù)λ2為10-6，推薦模型的優(yōu)化器為Adam，學習率為0.02，知識圖譜學習模型采用SGD（stochastic gradient descent）優(yōu)化器，學習率為10-4。

3.4 實驗結果分析

3.4.1 各參數(shù)對算法的影響

MKASR 模型里的參數(shù)λ1是一個很重要的參數(shù)，用于調節(jié)短期偏好對綜合推薦的影響，能影響推薦結果，λ1越大短期偏好對推薦結果的影響越大，反之，對推薦結果的影響就越小。圖5（a）（b）展示了在λ1的不同取值下，MKASR模型在數(shù)據(jù)集ML-1M 上的Top-K的推薦性能，其中圖5（a）展示了λ1對Precision指標的影響，圖5（b）展示了λ1對Recall 指標的影響。從圖中可以看出，當λ1取0.3 時，模型在Precision 和Recall 指標上表現(xiàn)最好。參數(shù)d同樣是模型中很重要的參數(shù)，它是模型中用戶和物品表示向量的維度，當d越大，表示用戶和物品的向量也就越復雜，圖5（c）展示了在d不同取值下模型CTR預測的效果，從圖中可以得出當d取8的時候模型CTR預測率達到最佳。

3.4.2 CTR 預測對比

Fig.5 Influence of λ1 and d on model圖5 參數(shù)λ1 和d 對模型的影響

Table 2 Result of AUC and ACC in CTR prediction表2 CTR 預測的AUC 和ACC 結果

為了得到最好的結果，取λ1=0.3，d=8，各模型在相同的實驗環(huán)境和訓練集上得到的AUC 和Accuracy 結果如表2。從表中可以看出，提出的MKASR 模型對比各基準算法在AUC 和Accuracy 指標上均取得了最好的結果，其中在MovieLens-1M 數(shù)據(jù)集上，提出的模型（MKASR）較基準模型中表現(xiàn)最好的模型（MKR）在AUC 指標上提升了1.5%，在ACC 指標上提升了1.2%。從實驗的結果中可以看出，使用知識圖譜作為輔助信息的算法優(yōu)于傳統(tǒng)的不使用知識圖譜的算法，由此可見融合知識圖譜可以較好提升推薦系統(tǒng)的性能；其次，本文提出的模型在AUC 和ACC 這兩個評測指標上都要高于其他的基準算法，由此可見，本文的MKASR 算法的優(yōu)越性。

本文的MKASR 算法的主要優(yōu)勢在于：首先利用了知識圖譜作為輔助信息，可以較好地考慮物品之間的潛在聯(lián)系，更深層次地挖掘了用戶的興趣，同時采用多任務學習的方法，把知識圖譜訓練任務和推薦任務緊密聯(lián)系起來，從而能夠充分地利用知識圖譜這個輔助信息來增強推薦性能；其次本文提出的模型通過RippleNet算法挖掘出用戶和知識圖譜實體的聯(lián)系，并將其作為輔助信息來提升推薦性能，可以從用戶角度挖掘用戶的偏好；最后，MKASR 算法還考慮了用戶的短期偏好，通過衡量短期偏好所占權重可以更為合理精準地向用戶推薦其感興趣的物品。

3.4.3 Top-K 推薦對比

同樣取λ1=0.3，d=8，經(jīng)過實驗，各模型Top-K推薦的預測率和召回率結果如圖6、圖7 所示，其中圖6（a）和圖6（b）分別是K取不同值時，各模型在兩個數(shù)據(jù)集上的預測率折線圖。可以看出本文提出模型在MovieLens-1M 數(shù)據(jù)集上較其他模型有較大的提升，在Book-Crossing 數(shù)據(jù)集上較其他模型也稍有提升。其中在MovieLens-1M 數(shù)據(jù)集下，K=10 時，提出的模型較MKR 算法在預測率上提高了11%，較KGCN 算法提高了25%，較KGNN-LS 算法提高了34%；在Book-Crossing 數(shù)據(jù)集下，K=10 時，提出的模型較MKR 算法在預測率上提高了18%，較KGCN 算法提高了6%，較KGNN-LS 算法提高了4%。圖7（a）和圖7（b）分別是K取不同值時，各模型在兩個數(shù)據(jù)集上的召回率折線圖。可以看出本文提出的模型在MovieLens-1M 數(shù)據(jù)集和Book-Crossing 數(shù)據(jù)集上較其他模型均有所提升。其中在MovieLens-1M 數(shù)據(jù)集下，K=10時，提出的模型較MKR 算法在召回率上提高了8%，較KGCN 算法提高了31%，較KGNN-LS 算法提高了24%；在Book-Crossing 數(shù)據(jù)集下，K=10 時，提出的模型較MKR 算法在召回率上提高了21%，較KGCN 算法提高了34%，較KGNN-LS 算法提高了11%。這表明，本文提出的MKASR算法具有優(yōu)越性。

3.4.4 短期偏好和RippleNet給推薦帶來的提升

為驗證本文提出的短期偏好和RippleNet改進對推薦性能提升的有效性，通過以下實驗進行對比。

Fig.6 Result of Precision@K in Top-K recommendation on each dataset圖6 各數(shù)據(jù)集上Top-K 推薦的預測率

Fig.7 Result of Recall@K in Top-K recommendation on each dataset圖7 各數(shù)據(jù)集上Top-K 推薦的召回率

（1）對比基于知識圖譜的推薦算法（MKR），以及在MKR 算法基礎上考慮了短期偏好的推薦算法（MKR with short-term preference,MKRWSP）。兩種算法在AUC 和ACC 指標的表現(xiàn)如表3 所示，可以得出使用了短期偏好的算法（MKRWSP）較未考慮短期偏好的算法（MKR）在AUC 指標上提升了1.1%，在ACC 指標上提升了0.6%。由此可以得出本文提出的短期偏好改進，可以挖掘用戶的短期偏好，從而提升推薦性能。

（2）對比基于知識圖譜的推薦算法（MKR），以及在MKR 算法基礎上使用RippleNet 算法從用戶層面挖掘用戶和知識圖譜實體的潛在偏好的推薦算法（MKRWRippleNet）。兩種算法在AUC 和ACC 指標的表現(xiàn)如表3 所示，可以得出使用了RippleNet 的算法（MKRWRippleNet）較未使用RippleNet的算法（MKR）在AUC 指標上提升了1.1%，在ACC 指標上提升了1.1%。由此可以得出本文提出的RippleNet改進可以挖掘用戶的潛在偏好，從而提升推薦性能。

Table 3 Comparison of short-term preference and RippleNet effect表3 短期偏好和RippleNet效果對比

從表3 還可以得出，同時考慮短期偏好改進和RippleNet 改進的算法（MKASR）較基于知識圖譜的推薦算法（MKR）在AUC 指標上提升了1.5%，在ACC指標上提升了1.2%。由此可以得出本文提出的短期偏好改進和RippleNet 改進，可以更好地挖掘用戶偏好，從而向用戶做出更優(yōu)的推薦。

4 結束語

由于傳統(tǒng)的融合知識圖譜的推薦算法往往忽略了用戶和知識圖譜實體聯(lián)系，且很少考慮用戶的短期偏好。對此，本文使用RippleNet 算法挖掘用戶和知識圖譜實體的聯(lián)系，采用基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡學習用戶的短期偏好，采用多任務學習的方式，同時訓練知識圖譜模塊和推薦模塊，最后綜合地向用戶推薦。此外，對比了三種融合知識圖譜的推薦算法和兩種傳統(tǒng)算法，實驗結果表明，MKASR算法在MovieLens 和Book-Crossing 數(shù)據(jù)集上表現(xiàn)出較好的結果，充分說明了融合用戶與知識圖譜實體關系和短期偏好能夠提高推薦性能。

盡管MKASR 模型在Top-K推薦上有較大的提升，但由于評分信息過于稀疏，模型在CTR 預測率上提升幅度仍不是很大。因此這也為接下來的工作提出了挑戰(zhàn)，如何更加有效地處理稀疏數(shù)據(jù)和怎樣更加高效地利用知識圖譜。另外，可以考慮使用異構信息網(wǎng)絡來構建更為高效精準的推薦框架。