推薦任務(wù)中知識(shí)圖譜嵌入應(yīng)用研究綜述

田 萱，陳杭雪

1.北京林業(yè)大學(xué) 信息學(xué)院，北京100083

2.國家林業(yè)草原林業(yè)智能信息處理工程技術(shù)研究中心，北京100083

推薦算法的核心目標(biāo)是滿足用戶個(gè)性化需求提供個(gè)性化推薦。當(dāng)前推薦算法通常具有較差可解釋性、冷啟動(dòng)問題和序列化推薦模型難以建模等局限性，目前許多研究者嘗試通過添加其他輔助信息來解決上述問題。其中，知識(shí)圖譜（knowledge graph，KG）蘊(yùn)含豐富的結(jié)構(gòu)化知識(shí)和語義信息，已經(jīng)成為有效補(bǔ)充推薦數(shù)據(jù)的主要方式之一。常見的知識(shí)圖譜有Freebase、DBpedia、YAGO和NELL等。近年來隨著相關(guān)技術(shù)發(fā)展迅速，知識(shí)圖譜也被廣泛應(yīng)用于不同的推薦應(yīng)用中。

知識(shí)圖譜是由實(shí)體和關(guān)系組成的多關(guān)系圖，通常用三元組來表示。雖然三元組在結(jié)構(gòu)化數(shù)據(jù)表示上較為有效，但其潛在的符號(hào)特性通常使得知識(shí)圖譜較難真正融合到實(shí)際應(yīng)用中。為解決該問題，知識(shí)圖譜嵌入（knowledge graph embedding，KGE）被提出，并在推薦系統(tǒng)中獲得大量關(guān)注。其核心思想是將知識(shí)圖譜中的實(shí)體和關(guān)系嵌入到連續(xù)空間中獲得相應(yīng)的嵌入表示，并用于擴(kuò)充推薦系統(tǒng)中項(xiàng)目和用戶語義表征。

在已有研究中，Wang 等曾系統(tǒng)回顧了知識(shí)圖譜嵌入技術(shù)，介紹了各種模型框架、訓(xùn)練過程及優(yōu)缺點(diǎn)；秦川等對(duì)基于知識(shí)圖譜的推薦系統(tǒng)進(jìn)行了梳理，將方法進(jìn)行分類并總結(jié)了其在推薦中的應(yīng)用；朱冬亮等將用于推薦的知識(shí)圖譜方法分為基于連接、基于嵌入和基于混合三類。與以往只關(guān)注知識(shí)圖譜單獨(dú)應(yīng)用的研究工作相比，本文特色主要體現(xiàn)在將知識(shí)圖譜嵌入視為整個(gè)推薦過程中的上游任務(wù)，首先總結(jié)歸納出KGE 的四類應(yīng)用目的，然后從推薦任務(wù)的多樣性角度出發(fā)全面綜述了KGE 與下游任務(wù)中不同算法的創(chuàng)新融合方式。

1 研究背景

1.1 推薦系統(tǒng)中常見任務(wù)

推薦系統(tǒng)中存在著推薦可解釋性差、冷啟動(dòng)和用戶動(dòng)態(tài)偏好難以建模等經(jīng)典問題?？山忉屚扑]（explainable recommendation）在輸出推薦列表的同時(shí)生成推薦結(jié)果解釋，旨在提高推薦結(jié)果的說服力、可信度和用戶滿意度；面對(duì)系統(tǒng)中新用戶或新項(xiàng)目交互數(shù)據(jù)稀疏性導(dǎo)致的冷啟動(dòng)問題，近年來越來越多的研究者通過添加輔助信息緩解推薦數(shù)據(jù)的稀疏性；不同于傳統(tǒng)推薦系統(tǒng)以靜態(tài)的方式建模用戶和項(xiàng)目間的交互，序列化推薦（sequential recommendation）旨在將交互建模為動(dòng)態(tài)序列進(jìn)而挖掘更全面的用戶偏好。目前，通過嵌入KG 中包含的結(jié)構(gòu)化實(shí)體知識(shí)和豐富關(guān)系，或探索推薦產(chǎn)生的原因以生成更直觀和有針對(duì)性的解釋，或增強(qiáng)推薦數(shù)據(jù)的表示以緩解冷啟動(dòng)問題，或建模動(dòng)態(tài)且細(xì)粒度的用戶偏好以提升序列化推薦性能，KGE 應(yīng)用逐漸成為推薦領(lǐng)域的研究焦點(diǎn)。因此本文重點(diǎn)分析梳理KGE 方法在上述推薦任務(wù)中的創(chuàng)新應(yīng)用，深入探索其與下游方法的應(yīng)用策略及特征。

1.2 知識(shí)圖譜嵌入方法應(yīng)用

在充分調(diào)研近年來基于知識(shí)圖譜嵌入方法的推薦相關(guān)研究之后，將可解釋推薦、序列化推薦以及面向冷啟動(dòng)的推薦任務(wù)中KGE 方法的應(yīng)用目的歸納總結(jié)為以下四類：（1）增強(qiáng)項(xiàng)目或項(xiàng)目屬性的表示，利用KG 實(shí)體和關(guān)系信息豐富推薦系統(tǒng)中對(duì)應(yīng)數(shù)據(jù)的表示。（2）增強(qiáng)用戶和項(xiàng)目關(guān)聯(lián)的表示，利用KG 蘊(yùn)含的豐富語義增強(qiáng)數(shù)據(jù)表示并通過其高階鏈接探索用戶和項(xiàng)目的潛在交互。（3）豐富用戶交互信息，結(jié)合用戶-項(xiàng)目二部圖和知識(shí)圖譜生成協(xié)同知識(shí)圖譜（collaborative knowledge graph，CKG），利用KG 語義信息和高階結(jié)構(gòu)特征豐富用戶-項(xiàng)目交互信息。（4）增強(qiáng)特定領(lǐng)域的數(shù)據(jù)表示，構(gòu)造特定領(lǐng)域的知識(shí)圖譜以提升推薦過程中的數(shù)據(jù)表示質(zhì)量（如音樂推薦、新聞推薦等）。

事實(shí)上，KGE 在推薦過程中大都屬于上游任務(wù)，探索其與下游任務(wù)中不同方法的融合方式及應(yīng)用特征是本文研究的創(chuàng)新和焦點(diǎn)所在。目前不同推薦任務(wù)中KGE 應(yīng)用的下游任務(wù)方法涵蓋多個(gè)領(lǐng)域的先進(jìn)模型，如馬爾可夫決策過程（Markov decision process，MDP）、長短期記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）等。

不同于只關(guān)注知識(shí)圖譜單獨(dú)應(yīng)用的已有研究工作，本文從KGE 方法自身的分類及其與下游任務(wù)中方法的創(chuàng)新融合兩個(gè)角度出發(fā)進(jìn)行梳理歸納，綜述了知識(shí)圖譜在不同推薦任務(wù)的使用策略和應(yīng)用特征。借鑒文獻(xiàn)[18]對(duì)知識(shí)圖譜方法的劃分標(biāo)準(zhǔn)，本文將KGE 方法進(jìn)一步分為傳統(tǒng)嵌入方法、嵌入傳播方法、異質(zhì)圖嵌入和基于圖神經(jīng)網(wǎng)絡(luò)四類，圖1 展示了推薦任務(wù)中不同KGE 方法與下游應(yīng)用方法的創(chuàng)新融合應(yīng)用特征。

圖1 面向不同推薦任務(wù)中的KGE 方法及應(yīng)用Fig.1 KGE method and application for different recommendation tasks

其中，傳統(tǒng)嵌入方法定義評(píng)分函數(shù)學(xué)習(xí)知識(shí)圖譜中實(shí)體和關(guān)系表示，可分為平移距離模型和語義匹配模型，常見方法有TransE、TransH、TransR和TransD。嵌入傳播方法則在其基礎(chǔ)上引入路徑推理建模實(shí)體間的多步關(guān)系路徑，通過實(shí)體間的高階連通性傳播相鄰節(jié)點(diǎn)語義以挖掘用戶潛在興趣，為提升推薦性能和可解釋性提供了新途徑。此外，在一些真實(shí)場景下構(gòu)建的知識(shí)圖譜是模式豐富的異質(zhì)圖，包含多類型實(shí)體和關(guān)系，嵌入異質(zhì)圖有助于發(fā)現(xiàn)隱含交互行為以全面刻畫用戶特征。圖神經(jīng)網(wǎng)絡(luò)（graph neural networks，GNN）可以有效整合KG 結(jié)構(gòu)特征及屬性特征，利用其強(qiáng)大的信息傳播能力學(xué)習(xí)項(xiàng)目間語義關(guān)系和用戶潛在偏好，主要包括圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）和圖注意力網(wǎng)絡(luò)（graph attention network，GAT）兩類方法。

綜上所述，四類知識(shí)圖譜嵌入方法在可解釋推薦、序列化推薦以及面向冷啟動(dòng)的推薦任務(wù)中均有廣泛應(yīng)用，涵蓋了電影、音樂、圖書、電子商務(wù)、商業(yè)以及新聞等不同領(lǐng)域。其中，電影推薦常用數(shù)據(jù)集有MovieLens 和DouBan Movie；音樂推薦有Last.FM；圖 書推薦包含Douban Book、Amazon Book、Book-Crossing 和Intent Book；電子商務(wù)推薦數(shù)據(jù)集主要來源于電商網(wǎng)站Amazon；商業(yè)推薦有Yelp 和Dianping-Food；新聞推薦有MIND、Bing News 和Adressa 等數(shù)據(jù)集。鑒于上述數(shù)據(jù)集在相關(guān)綜述文獻(xiàn)中已有詳細(xì)的介紹，本文將不再贅述。

2 可解釋推薦任務(wù)

KGE 方法通過增強(qiáng)項(xiàng)目語義或建模細(xì)粒度用戶偏好有助于提升推薦可解釋性，目前常用的方法包括傳統(tǒng)嵌入方法、嵌入傳播方法和基于圖神經(jīng)網(wǎng)絡(luò)的方法，本文將其概括如表1 所示。

2.1 傳統(tǒng)嵌入方法

TransE 作為最具代表性的平移距離模型，經(jīng)常被用于推薦系統(tǒng)中的知識(shí)圖譜嵌入以提升推薦可解釋性。Ai 等提出基于知識(shí)圖譜的協(xié)同過濾架構(gòu)（explainable collaborative filtering over knowledge graph，ECFKG），采用TransE 建模多類型用戶行為和項(xiàng)目屬性并將協(xié)同關(guān)系編碼為關(guān)系圖結(jié)構(gòu)，在其基礎(chǔ)上延伸協(xié)同過濾算法（collaborative filtering，CF）學(xué)習(xí)實(shí)體表示以挖掘潛在用戶偏好。進(jìn)一步設(shè)計(jì)軟匹配算法尋找用戶到項(xiàng)目的解釋路徑，結(jié)合廣度優(yōu)先搜索和軟匹配公式計(jì)算路徑概率得到最佳路徑以生成推薦的自然語言解釋。Tian 等聯(lián)合知識(shí)剪枝和循環(huán)圖卷積設(shè)計(jì)推薦算法（knowledge pruning based recurrent graph convolutional network，Kopra），采用TransE 嵌入用戶點(diǎn)擊歷史新聞標(biāo)題和摘要中包含的重要實(shí)體，并設(shè)計(jì)循環(huán)圖卷積網(wǎng)絡(luò)（recurrent graph convolution，RGC）聚合實(shí)體上下文信息構(gòu)建用戶興趣圖。RGC通過知識(shí)剪枝策略識(shí)別KG 中相關(guān)性高的實(shí)體進(jìn)一步豐富和修正用戶興趣圖，從而推導(dǎo)出用戶的長期和短期偏好表示，更細(xì)粒度地提升了推薦的因果解釋。Zhang 等提出基于KG 的協(xié)同過濾算法（collaborative filtering with knowledge graph，CFKG），定義多類型的實(shí)體和關(guān)系描述用戶交互中的項(xiàng)目屬性和異質(zhì)關(guān)系并采用TransE 將其嵌入到連續(xù)向量空間中，進(jìn)一步擴(kuò)展協(xié)同過濾學(xué)習(xí)嵌入表示以挖掘潛在的用戶偏好，有效提升了推薦結(jié)果的可解釋性。

此外，還有研究者利用TransE增強(qiáng)新聞文檔表示和雙曲空間建模。Liu 等提出知識(shí)感知的新聞文檔表示增強(qiáng)模型（knowledge-aware representation enhancement model for news documents，KRED），如圖2 所示。KRED 首先采用TransE 嵌入知識(shí)圖譜并使用圖神經(jīng)網(wǎng)絡(luò)聚合實(shí)體鄰域信息，然后設(shè)計(jì)上下文嵌入層來標(biāo)注實(shí)體的類別、位置和頻率等信息，最后基于注意力機(jī)制聚合得到的信息獲得增強(qiáng)后的新聞文檔表示。KRED 從多角度增強(qiáng)新聞文檔的表示，同時(shí)為提升推薦可解釋性提供了新思路。Ma 等提出在雙曲空間中建模KG 的方法Hyper-Know（knowledgeenhanced recommendation model in hyperbolic space），采用TransE 將知識(shí)圖譜映射到雙曲空間Poincaré Ball中建模實(shí)體之間的關(guān)系，并設(shè)計(jì)雙曲注意力網(wǎng)絡(luò)帶權(quán)聚合實(shí)體鄰域信息，通過衡量相鄰實(shí)體的相對(duì)重要性增強(qiáng)用戶偏好理解以提升推薦可解釋性。

圖2 KRED 模型的三個(gè)關(guān)鍵層Fig.2 Three key layers of KRED model

也有研究者采用TransH 實(shí)現(xiàn)可解釋推薦任務(wù)中的知識(shí)圖譜嵌入，避免了TransE建模一對(duì)多和多對(duì)多等復(fù)雜關(guān)系時(shí)性能較差的局限性。Cao等提出知識(shí)增強(qiáng)的用戶偏好模型（knowledge-enhanced translationbased user preference model，KTUP），由基于TransH的知識(shí)圖譜嵌入模塊和基于翻譯的用戶偏好模型組成，利用KG 豐富用戶偏好和項(xiàng)目表示，并通過聯(lián)合學(xué)習(xí)挖掘更細(xì)粒度的用戶偏好以提升推薦可解釋性。

2.2 嵌入傳播方法

知識(shí)圖譜中的路徑信息蘊(yùn)含著實(shí)體間的高階鏈接語義，與傳統(tǒng)嵌入方法相結(jié)合可形成嵌入傳播方法，有助于挖掘細(xì)粒度的用戶偏好以提升推薦可解釋性。Ma 等提出RuleRec（jointly learning explainable rules for recommendation），基于KG 實(shí)體間路徑的鏈接關(guān)系抽取規(guī)則表示并推導(dǎo)出項(xiàng)目對(duì)間的規(guī)則集和規(guī)則權(quán)重，進(jìn)一步結(jié)合用戶交互歷史生成推薦列表。RuleRec 基于規(guī)則集更好地理解用戶偏好，有效提升了推薦可解釋性。Palumbo 等提出entity2rec 模型，采用隨機(jī)游走策略構(gòu)建多個(gè)以項(xiàng)目屬性為中心的KG 子圖，使用node2vec學(xué)習(xí)其嵌入表示，通過加權(quán)屬性的多個(gè)相關(guān)性得分為推薦生成直觀的解釋。Wang 等提出了一種融合KG 嵌入和路徑挖掘的方法RippleNet，如圖3 所示。RippleNet 首先獲得與用戶點(diǎn)擊歷史中項(xiàng)目相對(duì)應(yīng)的KG 多跳實(shí)體集，然后沿著KG 高階鏈接擴(kuò)展實(shí)體以捕獲用戶潛在興趣偏好，為增強(qiáng)推薦可解釋性提供了新觀點(diǎn)?；赗ippleNet偏好傳播的理念，Lin 等提出一種結(jié)合項(xiàng)目嵌入和路徑推理的方法（combine item embedding and path attention，CIEPA），基于KG 高階鏈接傳播實(shí)體嵌入，并在傳播過程中結(jié)合項(xiàng)目嵌入和路徑注意力權(quán)重捕獲細(xì)粒度的用戶偏好，使用LSTM 預(yù)測用戶對(duì)項(xiàng)目的潛在興趣。CIEPA 根據(jù)不同路徑的重要性程度推斷用戶交互原因，為推薦結(jié)果提供了可靠的解釋，并有效提升了計(jì)算性能和推薦精度。

圖3 RippleNet模型總體框架Fig.3 Overall framework of RippleNet

針對(duì)RippleNet傳播過程中大規(guī)模迭代運(yùn)算產(chǎn)生的高計(jì)算成本問題，Wang 等則提出一個(gè)知識(shí)感知路徑遞歸網(wǎng)絡(luò)（knowledge-aware path recurrent network，KPRN）?；贙G 生成用戶-項(xiàng)目對(duì)的路徑表示，采用LSTM 生成路徑的語義表示并根據(jù)其重要性賦予權(quán)重，在細(xì)粒度上提升了推薦可解釋性?？紤]到可解釋推薦中普遍存在的推薦不公平現(xiàn)象，F(xiàn)u 等提出一種公平性感知算法，利用KG 實(shí)體間的高階鏈接豐富用戶歷史交互，設(shè)計(jì)公平性感知排序框架學(xué)習(xí)用戶到項(xiàng)目的多個(gè)路徑表示，通過對(duì)其進(jìn)行重排序獲得高質(zhì)量的可解釋推薦列表。模型在保證解釋多樣性的同時(shí)有效提升了推薦公平性。不同于以往利用KG 建立預(yù)測模型的研究，Wang 等創(chuàng)新性地提出基于KG 的網(wǎng)絡(luò)結(jié)構(gòu)（knowledge graph policy network，KGPolicy）探索可解釋推薦中的高質(zhì)量負(fù)樣本，設(shè)計(jì)鄰居注意力模塊和剪枝策略聯(lián)合學(xué)習(xí)KG 嵌入，利用KG 實(shí)體間的鏈接關(guān)系探索負(fù)樣本進(jìn)而更準(zhǔn)確地訓(xùn)練模型，提升了推薦結(jié)果的可解釋性。

為了更高效挖掘KG 高階語義，研究者們提出基于強(qiáng)化學(xué)習(xí)設(shè)計(jì)路徑推理策略以提升推薦可解釋性。Xian 等提出基于KGE 的策略導(dǎo)向路徑推理方法（policy-guided path reasoning，PGPR），通過與KG環(huán)境交互探索用戶到潛在感興趣項(xiàng)目的最優(yōu)路徑推理策略，模型架構(gòu)如圖4 所示。PGPR 創(chuàng)新在于將推薦問題形式化為知識(shí)圖譜上的MDP 過程，并設(shè)計(jì)了獎(jiǎng)勵(lì)機(jī)制、用戶動(dòng)作修剪策略和多跳評(píng)分函數(shù)挖掘推薦候選項(xiàng)目及路徑。PGPR 首次采用基于KG 的強(qiáng)化學(xué)習(xí)方法實(shí)現(xiàn)可解釋推薦任務(wù)中的路徑推理，多個(gè)數(shù)據(jù)集上的指標(biāo)均有顯著改進(jìn)。

圖4 PGPR 模型實(shí)現(xiàn)推薦的傳遞途徑Fig.4 Pipeline of policy-guided path reasoning method for recommendation

基于PGPR將推薦過程形式為MDP的理念，Zhao等基于KGE 提出路徑推理框架ADAC（adversarial actor-critic）用于提升推薦可解釋性，利用抽取得到的元路徑自動(dòng)識(shí)別可解釋的推理路徑，并聯(lián)合用戶歷史偏好優(yōu)化尋徑策略，其性能相比PGPR 有進(jìn)一步提升。Tao 等提出多模態(tài)知識(shí)感知的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)（multi-modal knowledge-aware reinforcement learning network，MKRLN），利用多模態(tài)KG 中包含的結(jié)構(gòu)和視覺信息生成推薦的路徑表示，實(shí)現(xiàn)在真實(shí)場景中進(jìn)行可解釋的視覺推理和知識(shí)推理。相比KGPolicy 和PGPR 采用動(dòng)作修剪策略以人為方式減少動(dòng)作空間，MKRLN 設(shè)計(jì)分層注意路徑機(jī)制過濾無關(guān)項(xiàng)目，具有更高的效率和精度。Liu 等提出一種基于KG 的新聞推薦推理范式AnchorKG（anchor knowledge graph），基于知識(shí)圖譜為每篇新聞文章生成一個(gè)包含其關(guān)鍵實(shí)體和關(guān)系的主題感知子圖。其核心在于利用強(qiáng)化學(xué)習(xí)技術(shù)MDP 訓(xùn)練子圖的生成過程，進(jìn)而根據(jù)兩個(gè)子圖中的重疊實(shí)體和關(guān)系構(gòu)建新聞文章之間可解釋的推理路徑，有效提高了新聞文檔表示質(zhì)量和推薦效率。

2.3 基于圖神經(jīng)網(wǎng)絡(luò)

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，圖神經(jīng)網(wǎng)絡(luò)被越來越多應(yīng)用在基于知識(shí)圖譜的可解釋推薦中。Yang 等提出圖卷積網(wǎng)絡(luò)模型HAGERec（hierarchical attention graph convolutional network incorporating knowledge graph for explainable recommendation），基于GCN 設(shè)計(jì)雙向?qū)嶓w傳播策略學(xué)習(xí)KG 高階語義，通過分層注意力機(jī)制準(zhǔn)確挖掘用戶潛在偏好提升推薦可解釋性，不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果相比RippleNet 等基線都有顯著改進(jìn)。Liu 等提出聯(lián)合因子發(fā)現(xiàn)和嵌入學(xué)習(xí)的可解釋推薦模型，梳理出嵌入表示的層次因子并融入到GCN 中，通過學(xué)習(xí)用戶和項(xiàng)目在不同層次上的特征表示增強(qiáng)推薦可解釋性。Cao 等則基于GCN 和知識(shí)圖譜提出一種描述增強(qiáng)的推薦方法（description enhanced knowledge graph recommendation，DEKR），采用KGNN（knowledge graph neural network）聚合實(shí)體的高階鄰域信息并結(jié)合文本協(xié)同過濾（text-based collaborative filtering，TextCF）增強(qiáng)實(shí)體的文本語義，利用文本描述為推薦提供了可靠的解釋。Zhang 等提出知識(shí)感知的圖卷積網(wǎng)絡(luò)（knowledge-aware representation graph convolutional network for recommendation，KCRec），根據(jù)KG 中各種關(guān)系的不同重要性聚合并傳播用戶特征和項(xiàng)目屬性，通過準(zhǔn)確建模用戶的高階興趣提升了推薦結(jié)果的可解釋性。Xia 等則基于KG 提出分層圖轉(zhuǎn)換網(wǎng)絡(luò)（knowledge-enhanced hierarchical graph transformer network，KHGT），基于GCN 捕獲KG 中不同類型交互的高階語義，在其基礎(chǔ)上引入時(shí)間感知的上下文信息挖掘動(dòng)態(tài)依賴關(guān)系，有助于理解用戶交互的原因。

Tai 等基于GNN 提出以用戶為中心的路徑推理網(wǎng)絡(luò)（user-centric path reasoning network，UCPR），引入MDP 建模用戶的動(dòng)態(tài)需求指導(dǎo)KG 路徑推理，提升推薦性能的同時(shí)為用戶提供了多樣化的推薦解釋。Jia 等提出一種時(shí)間感知的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)模型（temporal sensitive heterogeneous graph neural network，TSHGNN）。采用多通道卷積神經(jīng)網(wǎng)絡(luò)從新聞實(shí)體、實(shí)體類型和活動(dòng)時(shí)間中提取新聞特征，結(jié)合Rein-LSTM 捕獲用戶點(diǎn)擊行為的序列特征，并使用GNN 編碼用戶和新聞的異質(zhì)信息生成用戶和候選新聞的特征表示。TSHGNN 從時(shí)間和空間兩個(gè)維度建模用戶和新聞的表示，顯著提升了推薦可解釋性。

事實(shí)上，知識(shí)圖譜中的不同節(jié)點(diǎn)具有不同重要性，因此有研究采用GAT 學(xué)習(xí)知識(shí)圖譜嵌入表示，通過為節(jié)點(diǎn)分配不同權(quán)重提升推薦可解釋性。Wang等提出知識(shí)圖譜注意力網(wǎng)絡(luò)（knowledge graph attention network，KGAT），如圖5 所示。KGAT 通過堆疊傳播層遞歸傳播節(jié)點(diǎn)的高階鄰域信息，并利用GAT學(xué)習(xí)傳播過程中鄰居的權(quán)值以探索不同高階連通的重要性。KGAT 以端到端的方式顯式地建模CKG 高階關(guān)系，為可解釋推薦提供了新思路。而KGAT 在整個(gè)知識(shí)圖譜上傳播信息，容易引入噪音，Sha等則提出基于注意力機(jī)制的知識(shí)圖譜嵌入模型（attentive knowledge graph embedding，AKGE）。AKGE 首先構(gòu)建用戶和項(xiàng)目的高階子圖并基于GAT 設(shè)計(jì)注意力圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)子圖嵌入，通過關(guān)系感知傳播策略充分探索KG 高階語義，模型的推薦效率和精度相比KGAT 有顯著提升。

圖5 KGAT 模型架構(gòu)圖Fig.5 Illustration of KGAT model

Wang 等提出基于知識(shí)圖譜的意圖網(wǎng)絡(luò)（knowledge graph-based intent network，KGIN），將用戶交互行為建模為用戶意向圖，通過挖掘交互產(chǎn)生的原因提高推薦可解釋性。實(shí)現(xiàn)過程中，KGIN 利用注意力機(jī)制帶權(quán)聚合KG 實(shí)體和用戶多個(gè)意圖表示分別獲得項(xiàng)目和用戶的嵌入表示，通過建模不同類型關(guān)系的權(quán)重信息更細(xì)粒度地理解用戶行為，在提升推薦性能的同時(shí)為推薦結(jié)果提供了可靠解釋。

2.4 小結(jié)

進(jìn)一步對(duì)面向可解釋推薦任務(wù)的KGE 應(yīng)用方法進(jìn)行歸納分析，可得到如圖6 所示的方法關(guān)聯(lián)圖。

圖6 面向可解釋推薦任務(wù)的KGE 應(yīng)用方法關(guān)聯(lián)圖Fig.6 KGE application method association graph for explainable recommendation tasks

其中，CIEPA 和RuleRec 的推薦性能較RippleNet有顯著改進(jìn)，CIEPA 通過優(yōu)化路徑權(quán)值降低了Ripple-Net 的計(jì)算開銷，Douban Book 數(shù)據(jù)集上的ACC 值提高了3.9 個(gè)百分點(diǎn)，RuleRec 在Amazon 數(shù)據(jù)集上的Recall 值較RippleNet 提升高達(dá)25.9 個(gè)百分點(diǎn)；PGPR引入強(qiáng)化學(xué)習(xí)方法MDP 進(jìn)一步解決了RuleRec 僅適用于關(guān)系類型較少場景的局限性；ADAC 和UCPR 分別通過優(yōu)化尋徑策略和構(gòu)建路徑推理網(wǎng)絡(luò)有效降低了時(shí)間復(fù)雜度，相比PGPR 具有更快的推薦效率和收斂速度，ADAC 在Amazon 不同數(shù)據(jù)集上的Precision值較PGPR提升達(dá)6.6～14.6個(gè)百分點(diǎn)，UCPR在Movie-Lens 和Amazon Book 數(shù)據(jù)集上的Recall 值分別提升36.9 個(gè)百分點(diǎn)和73.0 個(gè)百分點(diǎn)。

KGAT 通過細(xì)化注意機(jī)制具有比RippleNet 更優(yōu)越的高階建模能力，在Yelp2018、Last.FM 和Amazon-Book 數(shù)據(jù)集上的Recall值分別提升7.2 個(gè)百分點(diǎn)、9.9個(gè)百分點(diǎn)和11.5 個(gè)百分點(diǎn)；AKGE 克服了KGAT 信息更新過程中易引入噪音的局限性，在三個(gè)數(shù)據(jù)集上的NDCG 值分別提升8.1 個(gè)百分點(diǎn)、5.7 個(gè)百分點(diǎn)和12.2 個(gè)百分點(diǎn)。Hyper-Know 解決了KGAT 難以建模實(shí)體層次結(jié)構(gòu)的不足，運(yùn)行速度提升高達(dá)10 倍；KGPolicy提升模型表達(dá)能力的同時(shí)有效降低了KGAT的時(shí)間復(fù)雜度；KHGT 融合時(shí)間信息更充分地挖掘用戶動(dòng)態(tài)偏好，相比KGAT 在Yelp 和MovieLens 數(shù)據(jù)集上的NDCG 值分別提升11.0 個(gè)百分點(diǎn)和16.1 個(gè)百分點(diǎn)。

MKRLN、DEKR、KGIN、CFKG、ECFKG 和KPRN 從不同角度建模用戶與項(xiàng)目間的復(fù)雜關(guān)系。其中，MKRLN 引入多模態(tài)信息提升了推薦精度，在電影和圖書數(shù)據(jù)集上的Precision 值相比CKE 分別提升了7.5 個(gè)百分點(diǎn)和79.8 個(gè)百分點(diǎn)；KPRN 在音樂數(shù)據(jù)集上的NDCG 值相比CKE 提升40.4～45.2 個(gè)百分點(diǎn)；KGIN 通過構(gòu)建意向圖更準(zhǔn)確地探索用戶行為的產(chǎn)生原因，Amazon-Book 和Last.FM 數(shù)據(jù)集上的Recall 值相較于CKE 分別提升25.7 個(gè)百分點(diǎn)和33.6個(gè)百分點(diǎn)；CFKG 在Amazon 數(shù)據(jù)集上的Precision 值提升23.2～42.9個(gè)百分點(diǎn)。KTUP采用TransH替代TransE 學(xué)習(xí)用戶和項(xiàng)目間的復(fù)雜關(guān)系，相比CFKG 和ECFKG 在MovieLens和Douban Book數(shù)據(jù)集上的Precision 和Recall值提升22.8～39.3 個(gè)百分點(diǎn)；HAGERec則設(shè)計(jì)分層注意力機(jī)制提升了信息傳播策略的效率，進(jìn)一步解決了KPRN 模型復(fù)雜性高和訓(xùn)練時(shí)間長的局限性。

在新聞推薦領(lǐng)域，Kopra 通過構(gòu)建用戶長期和短期的興趣圖挖掘細(xì)粒度的用戶偏好，有效提升了預(yù)測精度，MIND 數(shù)據(jù)集上的AUC 和MRR 值相較于DKN 分別提升了7.5 個(gè)百分點(diǎn)和12.2 個(gè)百分點(diǎn)；TSHGNN 和KRED 強(qiáng)調(diào)了新聞內(nèi)容中實(shí)體的重要性，解決了Kopra 僅考慮新聞標(biāo)題實(shí)體的局限性；然而模型的計(jì)算成本較高，AnchorKG 則利用MDP 構(gòu)建新聞主題感知的子圖進(jìn)一步提升推薦效率，在MIND和Bing News 數(shù)據(jù)集上的Precision 值相比KRED 提升8.3～16.4 個(gè)百分點(diǎn)，且適用于大規(guī)模知識(shí)圖的實(shí)時(shí)新聞推薦服務(wù)。

3 冷啟動(dòng)任務(wù)

冷啟動(dòng)也是推薦過程中常見問題，通常分為項(xiàng)目冷啟動(dòng)和用戶冷啟動(dòng)。多數(shù)基于KGE 的研究方法主要從用戶或項(xiàng)目角度基于知識(shí)圖譜嵌入增強(qiáng)稀疏數(shù)據(jù)表示，獲得了較好效果。目前主要有傳統(tǒng)嵌入方法、異質(zhì)圖嵌入方法和基于圖神經(jīng)網(wǎng)絡(luò)方法三類，表2 總結(jié)了面向推薦冷啟動(dòng)問題的KGE 方法及應(yīng)用創(chuàng)新和特征。

3.1 傳統(tǒng)嵌入方法

TransH 作為常見的傳統(tǒng)KGE 方法，可用于增強(qiáng)推薦系統(tǒng)的項(xiàng)目表示，緩解推薦冷啟動(dòng)問題。Cao等提出Web 服務(wù)推薦算法（knowledge-graph based Web service recommendation algorithm，KG-WSR），采用TransH 將Web 服務(wù)實(shí)體和用戶實(shí)體嵌入到低維空間中，利用KG 豐富信息增強(qiáng)Web 服務(wù)的語義表示，有效緩解了用戶交互數(shù)據(jù)稀疏和冷啟動(dòng)問題。針對(duì)會(huì)話推薦中的項(xiàng)目冷啟動(dòng)問題，Meng 等提出一種多任務(wù)學(xué)習(xí)模型MKM-SR（micro-behaviors and item knowledge into multi-task learning for session-based recommendation），模型框架如圖7 所示。MKM-SR首先從給定會(huì)話中抽取出項(xiàng)目序列和操作序列，然后利用TransH 嵌入KG 增強(qiáng)會(huì)話中項(xiàng)目的語義表示，并結(jié)合門控圖神經(jīng)網(wǎng)絡(luò)（gated graph neural network，GGNN）和門控循環(huán)神經(jīng)網(wǎng)絡(luò)（gated recurrent unit，GRU）學(xué)習(xí)用戶交互，在冷啟動(dòng)場景中也具有較好的推薦性能。

圖7 MKM-SR 模型總體框架Fig.7 Overall framework of MKM-SR model

事實(shí)上一個(gè)實(shí)體往往具有多種關(guān)系，不同關(guān)系表示同一實(shí)體的多種特征，因此有研究者采用TransR 方法在實(shí)體和關(guān)系兩個(gè)不同空間中學(xué)習(xí)KG語義以增強(qiáng)數(shù)據(jù)的嵌入表征。Tang 等提出注意力增強(qiáng)知識(shí)感知的用戶偏好模型（attention-enhanced knowledge-aware user preference model，AKUPM），結(jié)合TransR 和注意力機(jī)制分別從實(shí)體內(nèi)和實(shí)體間兩方面增強(qiáng)實(shí)體語義，并利用實(shí)體交互信息探索用戶興趣，有效解決了用戶交互數(shù)據(jù)稀疏問題。Zhang 等提出協(xié)同知識(shí)庫嵌入模型（collaborative knowledge base embedding，CKE），采用TransR 嵌入KG 結(jié)構(gòu)化知識(shí)，并融合獲取到的文本嵌入表示和視覺嵌入表示從不同角度增強(qiáng)項(xiàng)目語義表示，并進(jìn)一步聯(lián)合用戶隱式反饋緩解交互數(shù)據(jù)稀疏問題。Zhou 等提出分層協(xié)同嵌入模型（hierarchical collaborative embedding，HCE），采用TransR 嵌入KG 實(shí)現(xiàn)多關(guān)系數(shù)據(jù)的建模以增強(qiáng)項(xiàng)目表示，通過構(gòu)建協(xié)同學(xué)習(xí)框架豐富用戶交互的稀疏語義，提升了模型緩解冷啟動(dòng)問題的有效性。

鑒于TransR 中過多參數(shù)導(dǎo)致計(jì)算量過大問題，有研究者采用TransD 嵌入知識(shí)圖譜。He 等提出一種電影推薦方法HI2Rec，基于數(shù)據(jù)集特征構(gòu)造三元組以擴(kuò)充KG 信息，采用TransD 學(xué)習(xí)用戶和項(xiàng)目的嵌入表示，進(jìn)而結(jié)合用戶協(xié)作信息增強(qiáng)用戶、項(xiàng)目及其屬性的向量表示以緩解冷啟動(dòng)問題。Zhang 等面向App 應(yīng)用推薦提出基于KG 的卷積嵌入傳播模型（knowledge graph convolutional embedding propagation model，KGEP），采用TransD 建模KG 實(shí)體和關(guān)系的一階結(jié)構(gòu)信息，并設(shè)計(jì)圖卷積網(wǎng)絡(luò)迭代聚合實(shí)體鄰域信息以捕獲其高階語義，有效緩解了用戶評(píng)分矩陣稀疏的問題。

除平移距離模型外，也有研究者在冷啟動(dòng)任務(wù)中采用語義匹配模型學(xué)習(xí)KG 嵌入表示。Wang 等提出了一種多任務(wù)特征學(xué)習(xí)方法MKR（multi-task feature learning approach for knowledge graph enhanced recommendation），通過構(gòu)建深層語義匹配架構(gòu)學(xué)習(xí)KG 語義，并設(shè)計(jì)交叉壓縮單元實(shí)現(xiàn)與推薦系統(tǒng)的信息共享和交換，通過充分探索項(xiàng)目和實(shí)體間的高階交互緩解數(shù)據(jù)稀疏問題，在冷啟動(dòng)場景下仍具有較好的推薦性能。

3.2 異質(zhì)圖嵌入

傳統(tǒng)KG 嵌入方法難以高效處理包含多種類型節(jié)點(diǎn)和鏈路的異質(zhì)信息，有研究者采用嵌入異質(zhì)圖的方法豐富數(shù)據(jù)表征解決推薦冷啟動(dòng)。Shi 等提出一種基于異質(zhì)圖嵌入的推薦方法HERec（heterogeneous network embedding based approach），基于隨機(jī)游走策略生成異質(zhì)圖節(jié)點(diǎn)的嵌入表示并設(shè)計(jì)一組融合函數(shù)聚合節(jié)點(diǎn)的多個(gè)表示，進(jìn)一步集成到擴(kuò)展的矩陣分解模型中生成推薦結(jié)果。HERec 利用異質(zhì)圖豐富語義表征用戶和項(xiàng)目，有助于解決冷啟動(dòng)問題。He 等提出HopRec，在HERec 基礎(chǔ)上考慮了用戶和項(xiàng)目間的特征交互信息，利用特征交互矩陣表示用戶和項(xiàng)目在不同維度上的潛在關(guān)系，推薦性能相比HERec 有進(jìn)一步提升。Yan 等提出一種基于注意力感知元路徑的異質(zhì)圖嵌入方法（attention-aware metapath-based network embedding for HIN based recommendation，AMERec），如圖8 所示。AMERec 首先將異質(zhì)圖分解為不同元路徑的加權(quán)同構(gòu)網(wǎng)絡(luò)并采用隨機(jī)游走策略將其嵌入到低維向量空間中，然后設(shè)計(jì)自注意力機(jī)制聚合不同網(wǎng)絡(luò)中用戶和項(xiàng)目的表示，最后使用深度神經(jīng)網(wǎng)絡(luò)建模用戶和項(xiàng)目間的非線性關(guān)系和潛在語義，有效緩解了冷啟動(dòng)問題。

圖8 AMERec模型框架圖Fig.8 Framework of AMERec model

異質(zhì)圖蘊(yùn)含的豐富語義有助于挖掘隱含交互，有利于建模細(xì)粒度用戶偏好緩解推薦冷啟動(dòng)。Wang等提出DisenHAN（disentangled heterogeneous graph attention network），通過對(duì)目標(biāo)節(jié)點(diǎn)及其單跳鄰居分組捕獲用戶和項(xiàng)目的多方面語義，并堆疊多個(gè)嵌入傳播層探索高階語義以全面刻畫用戶特征，即便在冷啟動(dòng)場景下也具有較好性能。還有研究者自建異質(zhì)圖滿足實(shí)際需求，Wang 等提出HIN-MRS（heterogeneous information network-based music recommendation system），構(gòu)建音樂異質(zhì)圖并根據(jù)用戶上下文信息定位用戶感興趣的音樂主題，對(duì)于播放列表空的用戶也能精準(zhǔn)地推薦。Wang 等提出基于情感鏈接的異質(zhì)圖嵌入方法（signed heterogeneous information network embedding，SHINE），采用實(shí)體級(jí)情感提取方法得到用戶情感關(guān)系并設(shè)計(jì)編碼器聚合對(duì)應(yīng)的用戶嵌入，最后采用相似性度量函數(shù)完成情感預(yù)測，在交互數(shù)據(jù)稀疏的場景下也具有較好的推薦性能。Gong 等面向醫(yī)學(xué)領(lǐng)域提出一種藥物推薦方法（safe medicine recommendation，SMR），橋接電子病歷MIMIC-III和醫(yī)學(xué)知識(shí)圖譜（ICD-9 Ontology和DrugBank）構(gòu)建醫(yī)學(xué)異質(zhì)圖，并基于LINE 模型編碼實(shí)體表示，實(shí)驗(yàn)結(jié)果表明SMR 有助于捕獲冷啟動(dòng)藥物和患者之間的潛在關(guān)聯(lián)，在冷啟動(dòng)場景仍具有優(yōu)越性能。Wang 等提出面向領(lǐng)域的交互知識(shí)圖譜（domain-oriented user and service interaction knowledge graph，DUSKG），融合多類型的服務(wù)數(shù)據(jù)并擴(kuò)展文本挖掘方法RAKE（rapid automtic keyword extraction algorithm），從中提煉出細(xì)粒度的用戶偏好信息，有效解決了用戶-服務(wù)交互矩陣稀疏的問題。

3.3 基于圖神經(jīng)網(wǎng)絡(luò)

越來越多的研究表明圖神經(jīng)網(wǎng)絡(luò)方法在解決推薦冷啟動(dòng)問題上具有顯著的效果，其中GCN 的應(yīng)用頗為廣泛。Wang 等提出知識(shí)圖譜卷積網(wǎng)絡(luò)（knowledge graph convolutional networks，KGCN），采用GCN 有偏差地聚合實(shí)體表示，并利用KG 高階鏈接探索用戶潛在興趣，有效緩解了用戶交互數(shù)據(jù)稀疏的問題，其性能相比RippleNet 有顯著提升。Zhou等面向交互式推薦提出知識(shí)圖譜增強(qiáng)學(xué)習(xí)框架（knowledge graph enhanced q-learning framework for interactive recommendation，KGQR），使用GCN 聚合實(shí)體鄰域表示以豐富項(xiàng)目和用戶狀態(tài)的表示，進(jìn)一步采用強(qiáng)化學(xué)習(xí)方法（deep q-learning）在相關(guān)項(xiàng)之間傳播用戶興趣以建模用戶長期偏好，有效解決了用戶反饋稀疏的問題。Zhao 等面向會(huì)話推薦中提出知識(shí)圖譜增強(qiáng)的采樣方法（knowledge graphenhanced sampling，KGenSam），利用外部知識(shí)豐富交互環(huán)境的上下文信息，基于MDP 和GCN 設(shè)計(jì)采樣器分別對(duì)KG 中的模糊樣本和負(fù)樣本進(jìn)行增強(qiáng)進(jìn)而完成推薦。KGenSam 可靈活應(yīng)用于冷啟動(dòng)場景中，促進(jìn)了會(huì)話推薦的商業(yè)化在線應(yīng)用。

還有一些基于GCN 的方法從多角度、多方面增強(qiáng)實(shí)體語義表示，為解決推薦冷啟動(dòng)問題提供了新思路。Zhou 等提出一種語義融合方法（KG-based semantic fusion，KGSF），其關(guān)鍵在于使用GCN 學(xué)習(xí)項(xiàng)目節(jié)點(diǎn)不同方面的嵌入表示，并通過互信息最大化融合面向詞和項(xiàng)目的兩個(gè)KG 語義空間聯(lián)合增強(qiáng)數(shù)據(jù)表示，從而準(zhǔn)確推斷冷啟動(dòng)設(shè)置中的用戶偏好。Tai 等基于GCN 提出多視圖項(xiàng)目網(wǎng)絡(luò)的架構(gòu)（multi-view item network，MVIN），分別從用戶視圖和實(shí)體視圖兩個(gè)角度充分探索用戶-實(shí)體交互和實(shí)體-實(shí)體交互?；贕CN 設(shè)計(jì)混合層從實(shí)體交互中挖掘更全面的特征，融合不同層中的實(shí)體表征緩解用戶-項(xiàng)目交互稀疏的問題。Zhao 等提出融入異質(zhì)信息的圖卷積框架（intent graph convolution，IntentGC），使用GCN 學(xué)習(xí)不同異質(zhì)關(guān)系的重要性以挖掘用戶偏好，通過堆疊卷積層迭代傳播實(shí)體的鄰域信息進(jìn)而提取用戶和項(xiàng)目間的特征交互信息，為緩解冷啟動(dòng)問題提供了新思路。

Lei 等提出知識(shí)圖譜增強(qiáng)的神經(jīng)協(xié)同推薦框架（knowledge graph enhanced neural collaborative recommendation，K-NCR），如圖9 所示。K-NCR 首先基于GCN 挖掘KG 高階語義，通過堆疊多個(gè)卷積層建模實(shí)體上下文信息。然后設(shè)計(jì)注意力網(wǎng)絡(luò)學(xué)習(xí)用戶交互項(xiàng)和候選項(xiàng)的權(quán)重信息，帶權(quán)聚合后得到用戶表示。最后將項(xiàng)目和用戶的表示輸入到神經(jīng)協(xié)同過濾模型（neural collaborative filtering，NCF）中學(xué)習(xí)其交互特征，輸出用戶對(duì)項(xiàng)目的潛在偏好。K-NCR 刺激用戶偏好在實(shí)體集上的傳播，解決了傳統(tǒng)NCF存在的冷啟動(dòng)問題及其難以建模KG 高階連通性的局限性。Tu等提出一種知識(shí)感知的條件注意力網(wǎng)絡(luò)（knowledgeaware conditional attention networks，KCAN），結(jié) 合TransH 和GCN 捕獲實(shí)體的高階連通性，基于實(shí)體的注意力權(quán)重構(gòu)建相應(yīng)子圖，并在傳播過程中將個(gè)性化信息融入到子圖中，能夠有效捕獲細(xì)粒度用戶偏好，在冷啟動(dòng)場景中仍具有較好性能。

圖9 K-NCR 模型總體框架Fig.9 Overall framework of K-NCR model

此外，基于GAT 嵌入表示知識(shí)圖譜的研究在冷啟動(dòng)任務(wù)中也受到了越來越多學(xué)者的關(guān)注。Chen等提出聯(lián)合非采樣方法的KG 學(xué)習(xí)模型（jointly nonsampling learning model，JNSKR），采用GAT 帶權(quán)聚合實(shí)體及其鄰域信息以建模細(xì)粒度用戶偏好，并聯(lián)合非采樣方法共同學(xué)習(xí)KG 嵌入表示，有效解決了用戶交互數(shù)據(jù)稀疏的問題，其推薦性能相比RippleNet和KGAT 等基線有顯著提升。Zhang 等基于KG提出注意力網(wǎng)絡(luò)KRAN（knowledge refining attention network），通過細(xì)化權(quán)重系數(shù)有針對(duì)性地聚集實(shí)體鄰域信息，多次聚合后增強(qiáng)重要鄰域信息并不斷剔除相關(guān)性較低的鄰域，可以較為有效解決項(xiàng)目冷啟動(dòng)問題。Wang 等提出協(xié)同知識(shí)感知注意力網(wǎng)絡(luò)（collaborative knowledge-aware attentive network，CKAN），基于GAT 充分捕獲KG 高階語義以探索用戶潛在偏好，并結(jié)合協(xié)同傳播和KG 傳播增強(qiáng)用戶和項(xiàng)目的嵌入表示，在冷啟動(dòng)場景下具有較好推薦性能。此外，還有研究者創(chuàng)新性使用GAT 整合多模態(tài)信息緩解冷啟動(dòng)問題，Sun 等提出多模態(tài)KG 注意網(wǎng)絡(luò)（multimodal knowledge graph attention network，MKGAT），使用GAT 整合知識(shí)圖譜的結(jié)構(gòu)知識(shí)、圖像和文本等多模態(tài)信息以增強(qiáng)實(shí)體的嵌入表示，其推薦性能相比KGAT 等基線具有顯著改進(jìn)。

圖神經(jīng)網(wǎng)絡(luò)還可以結(jié)合其他一些方法緩解冷啟動(dòng)問題，如門控循環(huán)單元、標(biāo)簽平滑正則化和異質(zhì)信息等。Lee 等提出基于知識(shí)圖譜嵌入的新聞文檔表示增強(qiáng)方法（topic-enriched knowledge graph recommendation system，TEKGR），基于雙向門控循環(huán)單元（bidirectional gated recurrent units，Bi-GRU）和GNN設(shè)計(jì)詞級(jí)和知識(shí)級(jí)新聞編碼器聯(lián)合學(xué)習(xí)新聞表示，從語義層和知識(shí)層兩個(gè)角度增強(qiáng)新聞文檔表示。TEKGR 利用KG 豐富語義挖掘?qū)嶓w間的主題關(guān)系和上下文特征提高新聞建模的準(zhǔn)確度，有助于解決冷啟動(dòng)問題。Wang 等提出基于標(biāo)簽平滑正則化的知識(shí)感知方法（knowledge-aware graph neural networks with label smoothness regularization，KGNN-LS），然后結(jié)合GNN 和標(biāo)簽平滑正則化方法傳播KG 實(shí)體特征和標(biāo)簽信息，充分學(xué)習(xí)用戶個(gè)性化偏好以緩解冷啟動(dòng)問題，不同數(shù)據(jù)集下的推薦性能都優(yōu)于RippleNet。受KGNN-LS 的啟發(fā)，Togashi 等提出KGPL（KG-aware recommender based on GNNs and pseudo-labelling），采用GNN 將知識(shí)圖譜中有標(biāo)簽節(jié)點(diǎn)的特征傳播到未標(biāo)簽的節(jié)點(diǎn)，基于偽標(biāo)簽的半監(jiān)督式學(xué)習(xí)方法預(yù)測樣本標(biāo)簽，通過增加樣本的標(biāo)簽緩解冷啟動(dòng)問題，推薦性能相比KGNN-LS 有進(jìn)一步提升。Long 等提出自監(jiān)督元圖信息網(wǎng)絡(luò)（self-supervised metagraph informax network，SMIN），設(shè)計(jì)異質(zhì)圖神經(jīng)網(wǎng)絡(luò)聚合不同類型關(guān)系的特征嵌入，并將聚合結(jié)果輸入到自監(jiān)督互信息學(xué)習(xí)范式中建模用戶-項(xiàng)目的高階連通性。SMIN 聯(lián)合社交網(wǎng)絡(luò)和KG 信息從多方面挖掘細(xì)粒度用戶偏好，有助于緩解冷啟動(dòng)問題。

3.4 小結(jié)

進(jìn)一步從推薦性能、模型可擴(kuò)展性等角度出發(fā)挖掘面向推薦冷啟動(dòng)任務(wù)的KGE 應(yīng)用方法間的關(guān)聯(lián)性，可以得到如圖10 所示的方法關(guān)聯(lián)圖。

圖10 面向推薦冷啟動(dòng)任務(wù)的KGE 應(yīng)用方法關(guān)聯(lián)圖Fig.10 KGE application method association graph for cold start task

其中，HCE、HERec 和AKUPM 分別通過構(gòu)建協(xié)同學(xué)習(xí)框架、挖掘異質(zhì)信息和設(shè)計(jì)注意力機(jī)制提升推薦性能，相較于CKE 推薦精度提升顯著，AKUPM在MovieLens 和Book-Crossing 數(shù)據(jù)集上的CTR 預(yù)測精度提升達(dá)15.9 個(gè)百分點(diǎn)和36.3 個(gè)百分點(diǎn)；KGEP 則通過設(shè)計(jì)圖卷積網(wǎng)絡(luò)彌補(bǔ)了HCE 難以探索KG 高階語義的局限性；HopRec、AMERec 和SMIN 采用不同策略挖掘異質(zhì)圖的深層語義，相比HERec 具有更優(yōu)越的性能，HopRec 在Yelp 和Douban Book 數(shù)據(jù)集上的推薦性能相比HERec 有2.9～6.1 個(gè)百分點(diǎn)的提升，AMERec 有1.2～7.9 個(gè)百分點(diǎn)的提升；MKR 則通過構(gòu)建深層語義匹配架構(gòu)進(jìn)一步解決了AKUPM 難以建模高階連通性的不足。

MKGAT、JNSKR 和KCAN 從不同角度提升信息處理效率，相比CKE 和KGAT 具有更高的推薦性能和精度，MKGAT 在MovieLens 和Dianping 數(shù)據(jù)集上的改進(jìn)達(dá)3.1～10.1個(gè)百分點(diǎn)，JNSKR 和KCAN 在Yelp數(shù)據(jù)集上的改進(jìn)分別為7.3～13.1個(gè)百分點(diǎn)和1.6～9.8個(gè)百分點(diǎn)。KGCN 和KGNN-LS 相比CKE 和RippleNet具有更好的泛化能力和可擴(kuò)展性；K-NCR 和MVIN解決了KGCN 難以充分挖掘?qū)嶓w間復(fù)雜交互特征的局限性，在Last.FM 數(shù)據(jù)集上的AUC 值分別提升了3.0個(gè)百分點(diǎn)和5.0 個(gè)百分點(diǎn)；KRAN 通過細(xì)化權(quán)重系數(shù)有效提升了推薦性能，在不同數(shù)據(jù)集上的AUC 和F1 值相比KGCN 都有改進(jìn)，且KRAN 具有更好的可擴(kuò)展性；CKAN 和KGPL 采用不同策略進(jìn)一步提升了模型的穩(wěn)定性和靈活度，相較于KGNN-LS在Last.FM和Book-Crossing數(shù)據(jù)集上的性能指標(biāo)都有顯著提升。

4 序列化推薦任務(wù)

KGE 方法除了用于提升推薦可解釋性和增強(qiáng)冷啟動(dòng)任務(wù)中的數(shù)據(jù)表示之外，其在學(xué)習(xí)序列化數(shù)據(jù)方面也具有優(yōu)越性能，有助于捕捉動(dòng)態(tài)變化的用戶偏好。和解決推薦冷啟動(dòng)問題類似，面向序列化推薦任務(wù)中的常用方法包括傳統(tǒng)嵌入、異質(zhì)圖嵌入和基于圖神經(jīng)網(wǎng)絡(luò)的方法，方法的應(yīng)用創(chuàng)新及特征對(duì)比如表3 所示。

4.1 傳統(tǒng)嵌入方法

TransE 作為一種常見的KGE 方法，在序列推薦任務(wù)中的應(yīng)用也十分廣泛。Huang 等提出知識(shí)增強(qiáng)的序列化推薦模型（knowledge-enhanced sequential recommender，KSR），在TransE 基礎(chǔ)上結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）和鍵值對(duì)記憶網(wǎng)絡(luò)（key-value memory networks，KV-MN）建模用戶的序列化偏好和基于項(xiàng)目屬性的偏好，融合兩者得到細(xì)粒度的用戶偏好表示，有效提升了序列化推薦精度。Wang等進(jìn)一步對(duì)模型改進(jìn)提出一種會(huì)話推薦算法，使用GNN 替代RNN 捕獲交互序列中項(xiàng)目的復(fù)雜轉(zhuǎn)換，其推薦性能相較于KSR 有提升。算法另一創(chuàng)新點(diǎn)還在于將分離的會(huì)話序列建模為會(huì)話圖，并使用TransE 和KV-MN 獲得基于KG 語義的用戶偏好，然后將其與GNN 建模得到的用戶序列化偏好拼接成最終的用戶偏好表示。Wang等針對(duì)推薦過程中動(dòng)態(tài)變化的用戶需求提出時(shí)間感知模型Chorus，采用TransE 嵌入項(xiàng)目和項(xiàng)目間的關(guān)系，并將其與交互序列、交互時(shí)間差等融合，進(jìn)一步設(shè)計(jì)出時(shí)間核函數(shù)建模項(xiàng)目在不同序列中的動(dòng)態(tài)語義，提升了推薦效果。Liu 等結(jié)合注意力機(jī)制和動(dòng)態(tài)卷積網(wǎng)絡(luò)，提出一種知識(shí)感知的序列化推薦算法（knowledge-aware sequential recommender with the attention-enhanced dynamic convolutional network，KAeDCN），如圖11 所示。KAeDCN 使用TransE 獲得項(xiàng)目的屬性級(jí)信息，設(shè)計(jì)特征增強(qiáng)模塊從不同維度挖掘項(xiàng)目語義，進(jìn)一步將其輸入到動(dòng)態(tài)卷積網(wǎng)絡(luò)中捕獲其動(dòng)態(tài)依賴關(guān)系。KAeDCN 能夠準(zhǔn)確挖掘項(xiàng)目之間的動(dòng)態(tài)依賴關(guān)系，提高了序列依賴性的可提取性。

圖11 KAeDCN 模型框架Fig.11 Framework of KAeDCN model

Wang 等提出一種基于知識(shí)圖譜嵌入的強(qiáng)化學(xué)習(xí)模型（knowledge-guided reinforcement learning model，KERL），核心在于將序列化推薦形式化為MDP過程。利用TransE 和GRU 分別從知識(shí)圖譜和交互序列中獲取項(xiàng)目知識(shí)級(jí)和序列級(jí)的表示，從而準(zhǔn)確地預(yù)測用戶偏好和行為。Chowdhury 等則將基于TransE 得到的KG 嵌入表示進(jìn)一步集成到神經(jīng)因子分解模型（neural factorization，NF）中捕捉實(shí)體間的復(fù)雜關(guān)系，并設(shè)計(jì)帶注意力機(jī)制的LSTM 學(xué)習(xí)用戶的歷史行為以建模用戶序列化偏好，實(shí)驗(yàn)表明模型在預(yù)測用戶行為上具有較好性能。

還有研究者采用TransR 和TransH 方法替代TransE，避免了無法充分建模復(fù)雜關(guān)系的局限性。Wang 等基于知識(shí)圖譜推薦提出多步關(guān)系路徑語義的獲取方法（multiple-step relation path semantics for knowledge graph based recommendations，MRP2Rec），結(jié)合TransR 和LSTM 學(xué)習(xí)協(xié)同知識(shí)圖譜中關(guān)系路徑的高階語義，并根據(jù)多關(guān)系路徑提取用戶和項(xiàng)目的表示，MRP2Rec 通過學(xué)習(xí)用戶行為特征提升了序列化推薦的精度。文獻(xiàn)[66]提出的MKM-SR利用TransH嵌入KG 增強(qiáng)項(xiàng)目語義表示，在其基礎(chǔ)上結(jié)合GGNN和GRU 學(xué)習(xí)用戶序列化偏好，進(jìn)一步將其輸入到多任務(wù)學(xué)習(xí)范式（multi-task learning，MTL）中預(yù)測用戶交互，模型在緩解冷啟動(dòng)問題的同時(shí)有效提升了序列化推薦性能。

4.2 異質(zhì)圖嵌入

還有研究者采用異質(zhì)圖嵌入方法增強(qiáng)序列信息表示用于提升推薦精度。文獻(xiàn)[73]提出的HERec 方法，采用隨機(jī)游走方式學(xué)習(xí)包含用戶、項(xiàng)目和項(xiàng)目屬性的異質(zhì)圖嵌入表示，并將其集成到擴(kuò)展的矩陣分解模型中完成推薦點(diǎn)擊預(yù)測，提升了推薦效果。文獻(xiàn)[74]在HERec 基礎(chǔ)上提出HopRec，將用戶和項(xiàng)目的嵌入表示進(jìn)行外積（outer product）操作獲得二維特征交互矩陣（feature interaction matrix）以挖掘用戶和項(xiàng)目在不同維度上的潛在關(guān)系，進(jìn)一步提升序列化推薦性能。然而當(dāng)用戶和項(xiàng)目數(shù)據(jù)較為稠密時(shí)，該模型容易出現(xiàn)過擬合現(xiàn)象。

Xiong 等提出基于異質(zhì)圖嵌入的概率生成模型（heterogeneous information based LDA，HI-LDA），結(jié)合基于位置和通信兩大社交網(wǎng)絡(luò)上的多種異質(zhì)信息聯(lián)合建模用戶交互行為，基于MCMC（Markov chain Monte Carlo）方法生成用戶興趣點(diǎn)分布序列提升推薦效果。在醫(yī)學(xué)領(lǐng)域中，文獻(xiàn)[78]提出通過構(gòu)建醫(yī)學(xué)異質(zhì)圖充分學(xué)習(xí)患者、疾病和藥物間的潛在聯(lián)系，分析患者患病和服藥的時(shí)序關(guān)系，實(shí)現(xiàn)藥物對(duì)患者的鏈接預(yù)測，提升了藥物推薦精度。

4.3 基于圖神經(jīng)網(wǎng)絡(luò)

除上述方法外，還有研究者采用GNN 探索KG語義以提升序列化推薦性能。Wang 等面向新聞推薦提出深度知識(shí)感知網(wǎng)絡(luò)（deep knowledge-aware network，DKN），設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)融合新聞?wù)Z義層和知識(shí)層信息，從而得到用戶歷史點(diǎn)擊序列和候選新聞的嵌入表示，最終聚合這些新聞表示獲得用戶偏好，推薦性能提升顯著。然而DKN 建模候選新聞時(shí)忽略了對(duì)目標(biāo)用戶的考慮，不利于候選新聞和用戶興趣的匹配。Qi 等則提出知識(shí)感知的交互匹配方法（knowledge-aware interactive matching，KIM），通過交互學(xué)習(xí)歷史點(diǎn)擊新聞和候選新聞的知識(shí)感知表示提高用戶點(diǎn)擊候選新聞的預(yù)測精度，如圖12 所示為模型整體架構(gòu)和知識(shí)感知的新聞協(xié)同編碼器設(shè)計(jì)。KIM 采用GAT 獲得候選新聞和用戶歷史點(diǎn)擊序列的知識(shí)表示，并結(jié)合CNN獲得基于文本語義的新聞表示，對(duì)得到的兩種新聞表示進(jìn)行交互式學(xué)習(xí)最終獲得針對(duì)候選新聞的用戶偏好表示和用戶感知的候選新聞表示，從而完成興趣匹配。多個(gè)新聞數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，KIM 相比KRED 和DKN 等新聞推薦算法均有較好改進(jìn)。

圖12 KIM 模型總體框架和知識(shí)感知的新聞協(xié)同編碼器Fig.12 Overall framework of KIM and knowledge-aware news co-encoder

4.4 小結(jié)

進(jìn)一步對(duì)面向序列化推薦任務(wù)的KGE 應(yīng)用方法間的相關(guān)性進(jìn)行歸納分析，可以得到如圖13 所示的方法關(guān)聯(lián)圖。

圖13 面向序列化推薦任務(wù)的KGE 應(yīng)用方法關(guān)聯(lián)圖Fig.13 KGE application method association graph for serialization recommendation task

KSR 結(jié)合RNN 和KV-MV 構(gòu)建序列化推薦框架，有助于挖掘動(dòng)態(tài)的用戶偏好，然而模型存在復(fù)雜性高、擴(kuò)展性差和難以建模項(xiàng)目間復(fù)雜關(guān)系等局限性。文獻(xiàn)[101]使用GNN 替代RNN 建模用戶興趣偏好，降低計(jì)算時(shí)間復(fù)雜度的同時(shí)提升了模型可擴(kuò)展性，不同數(shù)據(jù)集上的Recall值有2.6～6.3個(gè)百分點(diǎn)的提升；KERL利用MDP 構(gòu)建強(qiáng)化學(xué)習(xí)模型，相比KSR 有效提升了對(duì)項(xiàng)目復(fù)雜關(guān)系的建模能力，Amazon 和Last.FM 數(shù)據(jù)集上的NDCG值提升達(dá)2.2～5.8個(gè)百分點(diǎn)；KAeDCN則通過設(shè)計(jì)動(dòng)態(tài)卷積網(wǎng)絡(luò)挖掘動(dòng)態(tài)變化的用戶偏好，進(jìn)一步提升了模型的收斂速度和泛化性能。

Chorus 在建模實(shí)體和關(guān)系時(shí)融合了時(shí)間信息，相較于DKN 能夠更準(zhǔn)確地捕獲項(xiàng)目的動(dòng)態(tài)語義；MRP2Rec 則基于多步關(guān)系路徑語義挖掘用戶的行為特征，在MovieLens和Book-Crossing數(shù)據(jù)集上的ACC值相較于DKN 分別提升了44.3 個(gè)百分點(diǎn)和13.8 個(gè)百分點(diǎn)。在新聞推薦領(lǐng)域，KIM 通過交互式學(xué)習(xí)提升推薦精度，相比獨(dú)立建模候選新聞和用戶興趣的方法具有更高的匹配度，在MIND 數(shù)據(jù)集上的AUC 值提升了4.8 個(gè)百分點(diǎn)。

5 未來發(fā)展方向

近年來推薦研究領(lǐng)域已有大量基于知識(shí)圖譜嵌入研究工作，本文對(duì)知識(shí)圖譜嵌入在不同推薦任務(wù)中的應(yīng)用研究進(jìn)行了系統(tǒng)綜述。下面對(duì)未來該領(lǐng)域值得關(guān)注的幾個(gè)發(fā)展方向進(jìn)行展望。

（1）基于圖神經(jīng)網(wǎng)絡(luò)增強(qiáng)知識(shí)圖譜嵌入。圖神經(jīng)網(wǎng)絡(luò)通過聚合圖中相鄰節(jié)點(diǎn)增強(qiáng)語義表示能夠充分捕獲圖數(shù)據(jù)的結(jié)構(gòu)依賴性，特別適合實(shí)現(xiàn)不同類型KG 的嵌入學(xué)習(xí)，已被廣泛應(yīng)用于可解釋推薦和面向冷啟動(dòng)的推薦任務(wù)中。此外，還可以探討結(jié)合其他類型圖神經(jīng)網(wǎng)絡(luò)方法的應(yīng)用，如圖自編碼器（graph autoencoders，GAE）、圖生成網(wǎng)絡(luò)（graph generative networks，GGN）以及圖時(shí)空網(wǎng)絡(luò)（graph spatial-temporal networks，GSTN）等，進(jìn)一步從模型變體及模型混合兩個(gè)角度建?？臻g和時(shí)間依賴性或生成可信的補(bǔ)充知識(shí)以增強(qiáng)知識(shí)圖譜的嵌入效果。事實(shí)上，知識(shí)圖譜可以看作一種特殊的異質(zhì)圖，將圖神經(jīng)網(wǎng)絡(luò)和異質(zhì)圖表示學(xué)習(xí)研究相結(jié)合，研究如何借鑒異質(zhì)圖表示學(xué)習(xí)方法挖掘節(jié)點(diǎn)和邊的語義，如何從多個(gè)維度融合節(jié)點(diǎn)表示提升知識(shí)圖譜嵌入效果也具有研究意義。在此基礎(chǔ)上，可以進(jìn)一步深入探索其在序列化推薦任務(wù)中的應(yīng)用。

（2）借鑒多領(lǐng)域方法探索推薦任務(wù)中的知識(shí)圖譜語義應(yīng)用。在不同推薦任務(wù)中，知識(shí)圖譜嵌入實(shí)現(xiàn)大都屬于上游工作，緊隨其后的下游工作應(yīng)用模型包括MDP、KV-MN、LSTM、GRU、CNN 和協(xié)同過濾等多領(lǐng)域方法，其融合應(yīng)用在增強(qiáng)推薦可解釋性、緩解冷啟動(dòng)問題以及提升序列化推薦精度上都有較好效果。顯然，在下游工作中還有待開采不同領(lǐng)域算法以增強(qiáng)知識(shí)圖譜嵌入在推薦任務(wù)中的應(yīng)用效果。因此可以在下游工作中進(jìn)一步探索深度學(xué)習(xí)、網(wǎng)絡(luò)表示學(xué)習(xí)和圖學(xué)習(xí)以及多模態(tài)學(xué)習(xí)等不同領(lǐng)域算法與KGE 的融合方式，探索其在不同推薦任務(wù)中的應(yīng)用。比如文獻(xiàn)[74]基于矩陣分解和隨機(jī)游走的圖學(xué)習(xí)方法捕獲KG 實(shí)體不同維度上的潛在關(guān)聯(lián)進(jìn)而緩解冷啟動(dòng)問題；文獻(xiàn)[111-112]基于網(wǎng)絡(luò)表示學(xué)習(xí)方法更全面地挖掘知識(shí)圖譜的高階語義信息，有助于提升序列化推薦精度。綜上所述，推薦任務(wù)中的知識(shí)圖譜嵌入與其他領(lǐng)域算法的創(chuàng)新融合方式及應(yīng)用具有一定研究價(jià)值。

（3）多元數(shù)據(jù)融合提升知識(shí)圖譜嵌入應(yīng)用效果。在知識(shí)圖譜嵌入基礎(chǔ)上融合其他類型數(shù)據(jù)可以從不同角度增強(qiáng)推薦任務(wù)中的項(xiàng)目和用戶嵌入表示，在可解釋推薦和面向冷啟動(dòng)的推薦任務(wù)中有較好的應(yīng)用效果。例如，融合不同類型數(shù)據(jù)實(shí)現(xiàn)多模態(tài)知識(shí)圖譜（multi-modal knowledge graph，MKG）的嵌入應(yīng)用，融合時(shí)間戳信息和關(guān)系時(shí)效性實(shí)現(xiàn)動(dòng)態(tài)知識(shí)圖譜的嵌入應(yīng)用，在知識(shí)圖譜外部增設(shè)其他種類數(shù)據(jù)構(gòu)建多層次的項(xiàng)目或用戶表示等。其中，多模態(tài)知識(shí)圖譜融合語義知識(shí)圖譜和豐富的文本、圖像和多媒體等模態(tài)數(shù)據(jù)，具有更全面的關(guān)系類型和關(guān)系數(shù)量，可以為知識(shí)表示學(xué)習(xí)和解釋推薦產(chǎn)生的原因提供視覺和文本支撐。此外，動(dòng)態(tài)知識(shí)圖譜融合時(shí)間戳信息學(xué)習(xí)實(shí)體的動(dòng)態(tài)演化規(guī)律，從時(shí)間和空間維度增強(qiáng)實(shí)體的語義表示，有助于在推薦任務(wù)中挖掘關(guān)系時(shí)效性并提升推薦可解釋性，可以根據(jù)實(shí)體的動(dòng)態(tài)演化規(guī)律進(jìn)一步探索其序列化特征；與嵌入應(yīng)用多模態(tài)知識(shí)圖譜不同，可以在知識(shí)圖譜外部增設(shè)其他類型數(shù)據(jù)，從結(jié)構(gòu)化KG 知識(shí)、文本和其他多模態(tài)信息等不同角度建模多層次的用戶或項(xiàng)目嵌入表示。

6 總結(jié)

知識(shí)圖譜嵌入有助于解決推薦任務(wù)中存在的可解釋性差、冷啟動(dòng)問題和序列化推薦建模等問題，在提升推薦系統(tǒng)性能上具有顯著效果，目前已被廣泛應(yīng)用于各類推薦任務(wù)中。本文在充分調(diào)研近年來該領(lǐng)域的相關(guān)研究之后，簡單回顧了應(yīng)用KGE 方法的常見推薦任務(wù)，歸納總結(jié)出作為上游任務(wù)的KGE 方法應(yīng)用目的及類別，然后進(jìn)一步對(duì)其與下游任務(wù)中其他方法的創(chuàng)新融合策略及應(yīng)用特征進(jìn)行系統(tǒng)性總結(jié)和介紹。最后展望了未來該研究的發(fā)展趨勢(shì)，提出了幾個(gè)值得關(guān)注的發(fā)展方向，希望這篇文章可以為該領(lǐng)域的發(fā)展提供新的見解，促進(jìn)該領(lǐng)域的持續(xù)發(fā)展和進(jìn)步。