基于異質(zhì)信息網(wǎng)絡(luò)和多任務(wù)學習的推薦模型

蔣宗禮， 李靜文

(北京工業(yè)大學信息學部， 北京 100124)

大數(shù)據(jù)時代帶來的海量信息導致用戶很難快捷、精準地找到目標內(nèi)容，甚至迷失在信息中找不到目標內(nèi)容. 推薦系統(tǒng)能夠幫助用戶解決“信息過載”問題，同時幫助公司提高對用戶的吸引力，增加用戶黏性[1]. 傳統(tǒng)的推薦系統(tǒng)存在“冷啟動”的問題[2]，為了緩解該問題，一些學者將輔助信息納入推薦模型. 然而，過多的輔助信息也給推薦系統(tǒng)帶來新的挑戰(zhàn). 由于現(xiàn)實世界的異質(zhì)性，輔助數(shù)據(jù)通常包含不同類型的實體，同時它們之間存在多種類型的交互，而將這些相互作用的對象建模成同質(zhì)信息網(wǎng)絡(luò)的方法往往只抽取實際交互之中的部分信息，沒有區(qū)分交互系統(tǒng)中對象及關(guān)系的差異性，這樣就造成信息虧損. 因此，越來越多的研究人員開始將這些數(shù)據(jù)建模為異質(zhì)信息網(wǎng)絡(luò). 與同質(zhì)信息網(wǎng)絡(luò)相比，異質(zhì)信息網(wǎng)絡(luò)可以融合更多類型的對象及其之間復雜的交互關(guān)系.

目前，很多學者對異質(zhì)信息網(wǎng)絡(luò)的表示進行了研究，基于異質(zhì)信息網(wǎng)絡(luò)也可以開發(fā)出各種數(shù)據(jù)挖掘任務(wù)，例如鏈路預測、分類、聚類等. 其中，基于異質(zhì)信息網(wǎng)絡(luò)的推薦任務(wù)越來越受到研究人員的關(guān)注. Yu等[3]引入基于元路徑的隱含特征，分別在全局和個性化級別上定義推薦模型. Zhao等[4]在基于異質(zhì)信息網(wǎng)絡(luò)的推薦中引入元圖，然后通過“矩陣分解+因子分解機”的方法融合異質(zhì)信息網(wǎng)絡(luò). Wang等[5]采用兩層注意力機制對不同元路徑上生成的用戶和項目特征的重要性進行建模. Hu等[6]設(shè)計了注意力機制，利用元路徑的上下文信息進行推薦. Shi等[7]設(shè)計了基于元路徑的隨機游走策略，將得到的異質(zhì)信息和矩陣分解模型融合. 但這些基于異質(zhì)信息網(wǎng)絡(luò)的推薦存在3個缺陷：1) 在異質(zhì)信息網(wǎng)絡(luò)的信息挖掘中，忽略了節(jié)點的內(nèi)容特征，難以充分處理具有豐富的節(jié)點屬性特征的異質(zhì)信息網(wǎng)絡(luò)；2) 使用元路徑捕獲語義信息的方法存在用戶和項目之間部分交互信息丟失的問題；3) 嵌入方法中隱藏層和推薦模塊之間單向的信息流導致更新的異質(zhì)信息網(wǎng)絡(luò)不能被推薦模塊感知，而現(xiàn)有的方法僅僅是對推薦進行優(yōu)化.

圖神經(jīng)網(wǎng)絡(luò)能夠端到端地擬合輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的函數(shù)關(guān)系，從結(jié)構(gòu)和功能2個方面對數(shù)據(jù)整體特性建模，很好地刻畫物理世界. 得益于圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，很多學者提出了基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法[8-11]. 因此，結(jié)合圖神經(jīng)網(wǎng)絡(luò)，本文提出基于異質(zhì)信息網(wǎng)絡(luò)的多任務(wù)推薦模型(multi-task learning based heterogeneous information network for recommendation, MHRec). MHRec中的分層注意力分別在多視圖嵌入層和語義注意力層捕捉節(jié)點的屬性信息和語義信息. MHRec利用鏈路預測任務(wù)和推薦任務(wù)的相關(guān)性，使用多任務(wù)學習方法同時學習鏈路預測任務(wù)來緩解使用元路徑造成的部分鏈接丟失問題，并且該模型是一個端到端的模型，直接對推薦任務(wù)進行優(yōu)化，使得推薦任務(wù)及時感知更新的異質(zhì)信息網(wǎng)絡(luò)圖. 本文通過以上方法解決了目前研究存在的3個問題.

1 相關(guān)工作

1.1 傳統(tǒng)的推薦系統(tǒng)

傳統(tǒng)的推薦系統(tǒng)通常依賴于協(xié)同過濾方法，尤其是矩陣分解，其利用用戶項目的歷史交互進行推薦. 矩陣分解將用戶項目的交互矩陣分解出因子向量形式的用戶特征和項目特征. 因為矩陣分解能夠處理大規(guī)模數(shù)據(jù)，所以其已經(jīng)在很多平臺(例如亞馬遜和易趣)上得到部署. 遺憾的是基于協(xié)同過濾的推薦系統(tǒng)存在“冷啟動”問題，新用戶或新項目無法獲得歷史數(shù)據(jù). 為了緩解“冷啟動”情況，一些學者開始在推薦模型中融合附加的上下文信息，這些上下文信息也稱為輔助信息.

最近，深度學習的發(fā)展促進了推薦系統(tǒng)的發(fā)展. 多層感知器[12]、圖神經(jīng)網(wǎng)絡(luò)[13]、自編碼器[14]和其他深度神經(jīng)架構(gòu)已經(jīng)被引入推薦模型，并顯示出很好的結(jié)果.

1.2 基于異質(zhì)信息網(wǎng)絡(luò)的推薦

近幾十年來，推薦輔助數(shù)據(jù)大量增加. 然而，使用傳統(tǒng)的網(wǎng)絡(luò)分析方法很難管理和利用這些異質(zhì)且復雜的信息. 異質(zhì)信息網(wǎng)絡(luò)提供了一種對數(shù)據(jù)異質(zhì)性建模的新思路，它能為推薦任務(wù)描述輔助數(shù)據(jù)中的結(jié)構(gòu)信息和語義信息.

Feng等[9]設(shè)計了優(yōu)化框架OptRank，利用異質(zhì)信息來緩解社交標簽推薦系統(tǒng)的冷啟動問題. Yu等[15]提出將用戶偏好數(shù)據(jù)經(jīng)由元路徑擴散，建立了一個屬性豐富的異質(zhì)信息網(wǎng)絡(luò). 隨后，他們通過考慮個性化來改進模型. Luo等[10]采用PathSim度量用戶、項目和用戶項目對之間的關(guān)系. 他們使用統(tǒng)一的矩陣分解模型將異質(zhì)信息整合到社交推薦任務(wù)中. Shi等[16]設(shè)計的SemRec考慮了異質(zhì)信息網(wǎng)絡(luò)中鏈接的屬性值和推薦中每個用戶的不同元路徑的個性化權(quán)重. Pham等[8]提出的HeteRS將異質(zhì)信息網(wǎng)絡(luò)表示為多個轉(zhuǎn)移矩陣，每個轉(zhuǎn)移矩陣對應(yīng)一種對象到另一種對象的關(guān)系. HeteRS通過一些查詢節(jié)點將推薦問題轉(zhuǎn)化為節(jié)點鄰近度計算問題，然后使用多元馬爾可夫鏈進行求解. Fang等[17]設(shè)計了一種新的游走策略，可以引導隨機漫步生成帶有偏好的節(jié)點序列，使用異質(zhì)Skip-Gram學習節(jié)點的特征表示，最后結(jié)合表示學習和貝葉斯個性化排序得到推薦結(jié)果. 以上基于異質(zhì)信息網(wǎng)絡(luò)的推薦模型主要基于元路徑的相似性，這種相似性受到高計算復雜度的困擾，并且不能完全反映異質(zhì)信息網(wǎng)絡(luò)中用戶和項目的潛在特征.

近年來，人們嘗試利用異質(zhì)信息網(wǎng)絡(luò)嵌入來有效地挖掘基于異質(zhì)信息網(wǎng)絡(luò)的用戶和項目特征. Yu等[18]提出通過元路徑學習用戶嵌入，然后通過計算用戶嵌入的余弦相似度來識別社交推薦中的高相似度用戶. Han等[11]提出的NeuACF模型通過不同的元路徑提取用戶和項目不同方面的潛在特征，使用深度神經(jīng)網(wǎng)絡(luò)學習并且融合這些潛在因素. Shi等[7]提出的HeRec采用隨機游走生成項目序列，并學習項目的嵌入表示，將轉(zhuǎn)換對象嵌入并集成到擴展的矩陣分解方法中. Chan等[19]通過計算每個元路徑的數(shù)量從元路徑中提取特征，使用多層感知機學習用戶和物品的特征表示. Hu等[6]在基于異質(zhì)信息網(wǎng)絡(luò)的推薦中不僅考慮了不同元路徑的特征嵌入，還考慮了用戶和項目之間的相互作用.

1.3 基于異質(zhì)信息網(wǎng)絡(luò)的鏈路預測

鏈路預測任務(wù)可以概括為：給出不相交的源節(jié)點s和目標節(jié)點t，預測這對節(jié)點是否有關(guān)系. 在現(xiàn)實生活中，鏈路預測可以用于預測未來的行為，識別難以直接觀察到的但是可能存在的關(guān)系. 部分鏈路預測方法是利用采樣策略，平滑節(jié)點嵌入，例如Metapath2vec[20]、HHNE[21]，它們都是提出一個偏好隨機行走框架，使用Skip-Gram模型來最大化目標節(jié)點的概率. 但是這種處理異質(zhì)信息網(wǎng)絡(luò)的方法在重建原始圖時會丟失信息. 為此，一些學者引入圖神經(jīng)網(wǎng)絡(luò)，Wang等[5]提出HAN模型，該模型整合節(jié)點級注意力和語義級注意力，從異質(zhì)信息網(wǎng)絡(luò)圖中學習節(jié)點嵌入.

1.4 多任務(wù)學習

多任務(wù)學習是一種旨在同時解決多個任務(wù)的機器學習方法，它可以利用其他相關(guān)學習任務(wù)中的有用信息來幫助解決數(shù)據(jù)短缺問題. 多任務(wù)學習可以同時優(yōu)化多個相關(guān)的學習任務(wù)，深度學習不需要設(shè)計明確的公式就能學習數(shù)據(jù)的潛在表示，因此，多任務(wù)學習已經(jīng)開始使用深度神經(jīng)網(wǎng)絡(luò)框架. 共享方式分為2種：硬共享和軟共享. 硬共享是共享所有任務(wù)之間的隱藏層；軟共享是每個任務(wù)都有自己獨立的隱藏層和參數(shù).

Ranjan等[22]采用多任務(wù)學習的方法，能夠同時做人臉檢測、關(guān)鍵點定位、姿態(tài)估計和性別預測4項任務(wù). Seltzer等[23]將多任務(wù)學習應(yīng)用于連續(xù)音素識別任務(wù)，依次從3個備選的次要任務(wù)中選擇1個擴充主任務(wù)，分別從3個方面提高連續(xù)音素識別的性能. 為了解決感知次優(yōu)性問題，Li等[24]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的多任務(wù)學習框架，對交通的交互進行建模，同時識別和預測交通參與者的交互行為.

2 基本概念

本文基于異質(zhì)信息網(wǎng)絡(luò)和多任務(wù)學習同時學習鏈路預測任務(wù)和推薦任務(wù). 有關(guān)異質(zhì)信息網(wǎng)絡(luò)、鏈路預測任務(wù)和推薦任務(wù)的基本概念定義如下.

2.1 異質(zhì)信息網(wǎng)絡(luò)

定義1異質(zhì)信息網(wǎng)絡(luò)可以用圖G=(V，E)來表示，V代表節(jié)點集，E代表邊集，它存在2種映射函數(shù)Φ：V→A和Ψ：E→R.其中A和R分別表示節(jié)點類型和邊類型且必須滿足|A|+|R|>2.

圖1(a)顯示了一個根據(jù)數(shù)據(jù)集LastFM構(gòu)建的異質(zhì)信息網(wǎng)絡(luò)示例.圖中有3種類型的節(jié)點(用戶、音樂家和標簽)和2種類型的邊(聽過、屬于).

定義2網(wǎng)絡(luò)模式是一種對異質(zhì)信息網(wǎng)絡(luò)元結(jié)構(gòu)的描述，說明對象類型及其交互關(guān)系.給定異質(zhì)信息網(wǎng)絡(luò)G=(V，E)，有映射關(guān)系Φ：V→A和Ψ：E→R，則定義其網(wǎng)絡(luò)模式為TG=(A，R).圖1(b)是圖1(a)的網(wǎng)絡(luò)模式.

圖1(c)列舉了圖1(a)的一些元路徑，這些元路徑帶有語義信息，第1行表示2個用戶存在社交關(guān)系，第2行表示2個用戶都聽過某位藝術(shù)家的音樂，第3條元路徑表示2個用戶聽過同種類型的音樂.

圖1 基于LastFM數(shù)據(jù)集的異質(zhì)信息網(wǎng)絡(luò)示例Fig.1 Sample of heterogeneous information network based on the LastFM dataset

2.2 問題定義

本文旨在解決基于異質(zhì)信息網(wǎng)絡(luò)的推薦問題，關(guān)注場景中的隱式反饋.在推薦場景中，假設(shè)有N位用戶U={u1,u2,…,uN}和M個項目V={v1,v2,…,vM}.用戶和項目之間存在代表隱式反饋的交互矩陣Y∈RN×M.若用戶u和項目v之間存在積極交互，那么yuv=1；否則yuv=0.

圖2 MHRec的總體網(wǎng)絡(luò)框架Fig.2 Overview of MHRec network architecture

給定用戶項目交互矩陣和異質(zhì)信息網(wǎng)絡(luò)圖G，推薦的目的是預測用戶u是否對未交互的項目v有潛在的興趣.本文的推薦任務(wù)目標是學習預測函數(shù)uv=F(u,v|θ,Y,G)，uv表示用戶u可能與項目v產(chǎn)生交互的概率，θ表示可學習的參數(shù).

3 本文方法

本文提出的MHRec模型的整體框架見圖2.可以看出，MHRec由3個主要模塊組成，即多視圖嵌入層、語義注意力層和多任務(wù)學習層.

3.1 節(jié)點維度轉(zhuǎn)換

在異質(zhì)信息網(wǎng)絡(luò)圖中，不同類型的節(jié)點可能具有不同的特征向量維度.因此，在將節(jié)點輸入到多視圖嵌入層進行學習之前，首先將不同的節(jié)點特征映射到相同的潛在向量空間中.本文對每類節(jié)點使用特定類型的線性變換來完成特征轉(zhuǎn)換步驟，對類型為A∈A的節(jié)點v∈VA，使用公式

(1)

3.2 多視圖嵌入層

多視圖嵌入層通過學習節(jié)點不同類型的局部鄰居屬性生成節(jié)點表示.為了挖掘異質(zhì)信息網(wǎng)絡(luò)中豐富的語義信息，文獻[25]提出了元路徑的概念.給定異質(zhì)信息網(wǎng)絡(luò)G=(V，E)和元路徑p，基于元路徑的視圖Gp是一個基于元路徑的鄰接關(guān)系.它可以通過元路徑捕獲節(jié)點不同方面的結(jié)構(gòu)信息，并且可以動態(tài)增加節(jié)點.在不同視圖上，本文使用注意力機制學習節(jié)點和節(jié)點鄰居之間的上下文關(guān)系.如圖3所示，首先使用編碼器將視圖中所有節(jié)點的鄰居實例轉(zhuǎn)換為特征向量，即

hp(u,v)=fθ(h′v,h′u,{h′t,?t∈{mp(u,v)}})

(2)

圖3 元路徑內(nèi)節(jié)點聚合Fig.3 Intner-metapath aggregation

(3)

(4)

(5)

3.3 語義注意力層

每個用戶節(jié)點在不同的元路徑視圖下得到不同表示，它們可以相互協(xié)作.每條元路徑對節(jié)點的重要性可能是不同的，因此，使用注意力機制來捕獲它們的貢獻，融合節(jié)點表示.

首先，使用非線性函數(shù)將基于元路徑的節(jié)點表示的維度d轉(zhuǎn)換為d′維，即

(6)

(7)

計算.式中‖·‖表示向量的L2歸一化.使用softmax函數(shù)計算所有元路徑p∈P對目標節(jié)點v的重要性，公式為

(8)

最后，以加權(quán)和的形式融合不同元路徑上節(jié)點的嵌入，得到包含語義信息的節(jié)點特征

(9)

3.4 多任務(wù)學習

3.4.1 推薦任務(wù)的損失函數(shù)

將學習到的用戶節(jié)點表征向量hi和項目節(jié)點表征向量hj輸入函數(shù)f∶Rd′×Rd′→R，得到用戶i和項目j產(chǎn)生交互的預測值

ri,j=f(hi,hj)

(10)

在推薦任務(wù)中，使用負采樣策略來訓練模型.本文為每輪訓練中的用戶節(jié)點i采樣負樣本nneg(i)，這些負樣本在訓練集中和用戶節(jié)點i不存在積極交互.本文使用二元交叉熵作為優(yōu)化目標，通過反向傳播和梯度下降最小化交叉熵，從而優(yōu)化模型參數(shù).該二元交叉熵損失公式為

(11)

式中：Trec為推薦任務(wù)中的訓練集；θrec為模型中的參數(shù)；〈i,j〉表示用戶i和項目j存在積極交互.

3.4.2 鏈路預測的損失函數(shù)

與推薦任務(wù)類似，采用負采樣策略最小化損失函數(shù)來優(yōu)化模型.將已連接的用戶項目對視為正樣本，所有未連接的用戶項目對視為負樣本.在驗證和測試時，添加等量的隨機抽樣的負節(jié)點對.在訓練時，動態(tài)均勻地采樣負節(jié)點對，然后最小化損失函數(shù)

(12)

式中：σ(·)為激活函數(shù)；Ω為觀察到的節(jié)點對集，即正樣本；Ω-為所有未觀察到的節(jié)點對中采樣的負節(jié)點對集.

3.4.3 多任務(wù)損失優(yōu)化

為了充分挖掘異質(zhì)信息網(wǎng)絡(luò)，解決使用元路徑帶來的鏈路丟失問題，通過多任務(wù)學習同時學習推薦任務(wù)和鏈路預測任務(wù).如果簡單地將2個任務(wù)的損失相加，可能會出現(xiàn)其中一個任務(wù)占主導地位，即其損失函數(shù)減小得非?？?，而另一個任務(wù)的損失函數(shù)減小得很慢.近年來，同方差不確定性在多任務(wù)學習的損失函數(shù)的設(shè)計上取得了很好的效果[26].通過考慮每個任務(wù)的同方差不確定性，自動學習不同損失的權(quán)重，總體損失可記為

(13)

式中σ1和σ2是不確定性系數(shù).為了防止模型過擬合，提高模型的泛化能力，本文加上了正則化損失Lreg.通過該多任務(wù)學習模型，MHRec可以端到端地執(zhí)行2個任務(wù).

4 實驗

4.1 數(shù)據(jù)集

本文在3個公開數(shù)據(jù)集Movielens、LastFM、Yelp上進行實驗.這3個數(shù)據(jù)集都是顯式反饋，而本文更關(guān)注隱式反饋，因此，需要進一步轉(zhuǎn)換.如果目標用戶對項目的評價是積極的，將該項目標記為1，同時為用戶抽樣一個未被觀察的集合，該集合中的項目都被標記為0.將Movielens、Yelp數(shù)據(jù)集中積極評價的閾值設(shè)為4，因為LastFM不存在評價值，所以不設(shè)置閾值.對于每個數(shù)據(jù)集，按照6∶2∶2的比例劃分訓練集、驗證集和測試集.

針對每個數(shù)據(jù)集，表1第2列列出了本文選擇的元路徑.因為元路徑越長越容易引入噪聲，所以本文選擇的元路徑最長為4步.其中：U表示用戶；M表示電影；G表示電影類型；A表示藝術(shù)家；T表示標簽；B表示商家；Ca表示商家種類；Ci表示城市.

表1 數(shù)據(jù)集的統(tǒng)計信息

表2 在3個數(shù)據(jù)集上的實驗結(jié)果

4.2 評價指標

4.2.1 推薦任務(wù)的評價指標

本文使用了2種在推薦算法中被廣泛使用的評價指標：前K個預測值的精確率(precision@K, Prec@K)和前K個預測值的歸一化折扣累計收益(normalized discounted cumulative gain@K，NDCG@K). Prec@K用來計算預測的K個結(jié)果中與用戶相關(guān)的項目概率，然而它沒有考慮預測值的順序，于是本文還使用與順序相關(guān)的評價指標NDCG@K來衡量預測結(jié)果的標準化累計收益.

4.2.2 鏈路預測的評價指標

對于鏈路預測任務(wù)，本文通過曲下面積(area under curve，AUC)和平均準確率(average precision，AP)對模型進行評估. 經(jīng)過訓練，模型能夠計算出每對節(jié)點的相似度. 通過比較測試集中已經(jīng)存在的邊的相似度和不存在的邊的相似度，得出評價指標AUC的值，它會從整體上衡量算法的準確性. AP可以平衡準確率和召回率，因此，使用AUC和AP來評估本文模型的性能.

4.3 對比模型

4.3.1 推薦任務(wù)的對比模型

將本文提出的MHRec模型與2類方法進行比較. 這2類方法中，一類是傳統(tǒng)的方法，即貝葉斯個性化排序(Bayesian personalized reanking, BPR)和NeuMF，另一類是基于異質(zhì)信息網(wǎng)絡(luò)的方法HeRec.

BPR是基于矩陣分解的一種排序算法. 它利用數(shù)據(jù)的隱式反饋對用戶的商品喜好做排序優(yōu)化.

NeuMF是一個基于深度學習的推薦算法. 同樣考慮數(shù)據(jù)的隱式反饋，它結(jié)合傳統(tǒng)的矩陣分解和多層感知機能夠同時提取用戶和物品的低維和高維特征.

HeRec是基于異質(zhì)信息網(wǎng)絡(luò)的非端到端的推薦模型. 它將節(jié)點嵌入學習和矩陣分解相結(jié)合來優(yōu)化推薦任務(wù)，該模型通過使用DeepWalk將異質(zhì)信息網(wǎng)絡(luò)轉(zhuǎn)換成基于元路徑的同質(zhì)信息網(wǎng)絡(luò)來學習節(jié)點嵌入.

4.3.2 鏈路預測任務(wù)的對比模型

為了與一些基礎(chǔ)模型做對比，對鏈路預測任務(wù)的性能進行了實驗測試. 這些基礎(chǔ)模型包括基于同質(zhì)信息網(wǎng)絡(luò)的圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network,GCN)模型、基于隨機游走的異質(zhì)信息網(wǎng)絡(luò)模型Metapath2vec以及基于異質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型HAN.

Metapath2vec是一個傳統(tǒng)的異質(zhì)信息網(wǎng)絡(luò)的模型. 它將元路徑引導的隨機游走的節(jié)點序列輸入到Skip-Gram模型來生成節(jié)點嵌入.

GCN是一個基于同質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型. 該模型在傅里葉域進行卷積運算.

HAN是基于異質(zhì)信息網(wǎng)絡(luò)的圖神經(jīng)網(wǎng)絡(luò)模型. 它從不同的基于元路徑的同質(zhì)信息網(wǎng)絡(luò)圖中學習特定元路徑的節(jié)點嵌入，并利用注意力機制融合它們生成節(jié)點的特征向量.

4.4 結(jié)果與分析

在表2中列出了所有模型的實驗結(jié)果， 進行分析后得到如下結(jié)果：

1) 本文提出的模型MHRec相比所有基線擁有最好的性能，并且發(fā)現(xiàn)MHRec在數(shù)據(jù)集LastFM和Yelp上的性能比數(shù)據(jù)集MovieLens提升的效果更明顯. 通過表1最后3列可以看出，數(shù)據(jù)集LastFM、Yelp比數(shù)據(jù)集MovieLens更稀疏，這說明MHRec可以有效解決數(shù)據(jù)稀疏問題.

2) HeRec在數(shù)據(jù)集MovieLens上的性能不如傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)推薦模型NeuFM，說明HeRec模型使用基于元路徑的隨機游走策略學習節(jié)點嵌入的方法沒有充分利用異質(zhì)信息網(wǎng)絡(luò)的信息.

3) 總體上，基于異質(zhì)信息網(wǎng)絡(luò)的模型HeRec優(yōu)于不基于異質(zhì)信息網(wǎng)絡(luò)的模型BPR和NeuFM，說明使用異質(zhì)信息網(wǎng)絡(luò)能夠有效學習節(jié)點信息，提高推薦效果.

4.4.1 模型在鏈路預測任務(wù)上的效果

本文分別在3個數(shù)據(jù)集上使用幾種基線模型進行實驗，將實驗結(jié)果列在表3中. 可以看出，MHRec在鏈路預測上的性能依然優(yōu)于其他基線. 與性能最好的對比模型HAN相比，MHRec在數(shù)據(jù)集MovieLens、LastFM、Yelp上分別提高了約3%、1%、1%. 這表明本文提出的模型能夠同時適用于2種任務(wù).

表3 MHRec在鏈路預測任務(wù)上的AP和AUC結(jié)果

4.4.2 節(jié)點嵌入維度的影響

本文研究了嵌入維度d對MHRec的影響. 從圖4中看出：增加d可以提高模型的性能，因為維度高可以編碼用戶和項目的信息，但是當維度從64繼續(xù)增加時，出現(xiàn)了精確度減小的情況，這說明d太高會導致過擬合.

圖4 在3個數(shù)據(jù)集上不同節(jié)點維度的實驗結(jié)果Fig.4 Experimental results of different node dimensions on three datasets

4.4.3 消融實驗

為了研制模型各部件的有效性，本文進一步在不同的MHRec變體上進行了實驗. 表4列出了各個變體在3個數(shù)據(jù)集上進行實驗得到的結(jié)果. 其中：MHRec-rec不使用多任務(wù)學習；MHRec在語義注意力層使用了注意力機制動態(tài)學習不同元路徑的重要性，將加權(quán)求和替換成平均相加來得到模型MHRec-avg; MHRec-loss使推薦和鏈路預測的損失權(quán)重相等而不使用不確定性損失.

從表4可以看出，本文增加的這些部件對推薦效果的提升都起到促進作用. 去掉語義注意力層后推薦效果大幅下降，說明語義注意力層對基于異質(zhì)信息網(wǎng)絡(luò)的推薦模型是十分重要的. 刪去多任務(wù)學習后，模型性能也有所下降，由此可見，多任務(wù)學習對推薦任務(wù)的準確性具有促進作用. 同時，3個數(shù)據(jù)集上的實驗結(jié)果都表明沒有刪掉多任務(wù)學習的MHRec-loss指標值比MHRec-rec更低，這說明多任務(wù)學習損失的設(shè)定非常關(guān)鍵，證明使用同方差不確定性平衡2個任務(wù)是有效的.

表4 在3個數(shù)據(jù)集上進行消融實驗的 結(jié)果(NDCG@10)

5 結(jié)論

1) 本文提出了一種基于異質(zhì)信息網(wǎng)絡(luò)的多任務(wù)學習推薦模型MHRec,該模型能夠捕捉異質(zhì)信息網(wǎng)絡(luò)的節(jié)點屬性信息、語義信息和結(jié)構(gòu)信息. 在3個數(shù)據(jù)集上的實驗證明，該模型能夠明顯提高基于異質(zhì)信息網(wǎng)絡(luò)推薦任務(wù)的性能. 消融實驗結(jié)果證明了注意力模塊的有效性，以及多任務(wù)學習中損失函數(shù)設(shè)置的重要性.

2) 本文在多視圖嵌入層上區(qū)分了每個節(jié)點的貢獻，并在語義注意力層上考慮了語義信息. 此外，設(shè)計了多任務(wù)學習框架，可同時學習推薦任務(wù)和鏈路預測任務(wù). 實驗結(jié)果表明，該方法有效緩解了使用元路徑導致的信息丟失問題.

3) 本文旨在充分挖掘異質(zhì)信息網(wǎng)絡(luò)中用戶和項目之間存在的潛在關(guān)系，實際上，用戶的行為前后存在關(guān)聯(lián)性甚至是因果性，因此，將行為的順序信息引入模型是未來研究工作的方向.