一種基于自外積異構(gòu)信息網(wǎng)絡(luò)的改進(jìn)推薦模型

李林森，范永全，杜亞軍，于 春

（西華大學(xué)計(jì)算機(jī)與軟件工程學(xué)院，四川成都 610039）

隨著網(wǎng)絡(luò)的快速發(fā)展，信息過(guò)載問(wèn)題非常明顯，推薦系統(tǒng)應(yīng)運(yùn)而生，且在生活中扮演著非常重要的角色[1]。在推薦領(lǐng)域中，傳統(tǒng)的做法就是協(xié)同過(guò)濾(collaborative filtering，CF)。協(xié)同過(guò)濾的主要思想是基于用戶對(duì)物品的評(píng)分來(lái)推斷用戶可能喜歡的物品。太多太復(fù)雜的數(shù)據(jù)構(gòu)成了一張龐大的異構(gòu)網(wǎng)絡(luò)圖[2?4]。對(duì)于處理復(fù)雜多樣的數(shù)據(jù)，一個(gè)新興且流行的方式就是異構(gòu)信息網(wǎng)絡(luò)(heterogeneous information network，HIN)。有人將異構(gòu)信息網(wǎng)絡(luò)嵌入到社交網(wǎng)絡(luò)中[5]；還有人將異構(gòu)網(wǎng)絡(luò)嵌入到個(gè)性化推薦中[6]。如何處理異構(gòu)網(wǎng)絡(luò)嵌入是一個(gè)重要的問(wèn)題。圖1 展示了一些處理向量的方法。圖中紫色、藍(lán)色和綠色分別代表用戶嵌入向量、物品嵌入向量以及交互特征。圖1 中的（a）、（b）及（c），這些簡(jiǎn)單的操作并沒(méi)有提取到更多有用的信息，如HERec 模型[7]采用了圖（a）方式。文獻(xiàn)[8?9]認(rèn)為圖1（b）和（c）這2 種處理方法都是低效的，因?yàn)樗鼈兗僭O(shè)不同維度之間是相互獨(dú)立的。圖1（d）考慮了不同維度之間的交互，用于提高推薦系統(tǒng)的性能，其典型模型有ONCF[10?11]。當(dāng)然也有相互結(jié)合的模型，如PNN 模型，它結(jié)合了內(nèi)積和外積操作來(lái)增強(qiáng)推薦系統(tǒng)性能[12]。很少有人將外積集成到基于異構(gòu)網(wǎng)絡(luò)的推薦系統(tǒng)中。值得注意的是，HopRec 模型[13]將用戶與物品向量進(jìn)行外積得到特征矩陣，用于提高推薦系統(tǒng)的性能。但是它忽略了一個(gè)問(wèn)題就是嵌入向量自身不同維度交互所暗藏的有用信息。除了其中暗藏的信息，不同維度之間的特征組合也是一種非常有用的信息。目前，很少有人對(duì)用戶或物品自身做外積來(lái)提取它本身在嵌入時(shí)丟失卻暗含的有用關(guān)系。為此，本文提出一種基于自外積的異構(gòu)信息網(wǎng)絡(luò)模型（HSopRec模型）用于改進(jìn)推薦系統(tǒng)的性能。

圖1 不同形式的嵌入

圖2 是HSopRec 模型完整的結(jié)構(gòu)圖，包括異構(gòu)網(wǎng)絡(luò)、異構(gòu)網(wǎng)絡(luò)嵌入、特征交互矩陣、評(píng)分預(yù)測(cè)4 個(gè)模塊。本文所做的貢獻(xiàn)主要有3 點(diǎn)。

圖2 HSopRec 的完整框架圖

1）采用用戶和物品之間的自身交互矩陣來(lái)挖掘用戶與用戶、用戶與物品、物品與物品之間的直接或間接關(guān)系，稱其為HERecUV 模型。

2）提出了HSopRec 模型。該模型是HERecUV模型[7]的擴(kuò)展。該模型用2 個(gè)自特征交互矩陣加上用戶與物品線性拼接的向量一起作為輔助信息去擴(kuò)展矩陣分解（matrix factorization，MF）模型。

3）在開(kāi)放的商業(yè)數(shù)據(jù)集Yelp 上的實(shí)驗(yàn)結(jié)果證明了HERecUV 和HSopRec 算法的有效性。尤其是HERecUV 模型比HERec 模型[7]，在RMSE 性能上有一個(gè)很大提升。

1 相關(guān)工作

本節(jié)從4 個(gè)方面對(duì)相關(guān)工作進(jìn)行歸納總結(jié)。它們分別是異構(gòu)信息網(wǎng)絡(luò)、推薦系統(tǒng)、網(wǎng)絡(luò)嵌入、異構(gòu)網(wǎng)絡(luò)嵌入用于推薦系統(tǒng)。

1.1 異構(gòu)信息網(wǎng)絡(luò)

在現(xiàn)實(shí)世界中，大多數(shù)各種類型的網(wǎng)絡(luò)圖都是由不同類型的節(jié)點(diǎn)和邊組成的異構(gòu)網(wǎng)絡(luò)。異構(gòu)網(wǎng)絡(luò)既可以大到一個(gè)領(lǐng)域的網(wǎng)絡(luò)，也可以小到一個(gè)班集體的關(guān)系網(wǎng)絡(luò)。這些異構(gòu)網(wǎng)絡(luò)圖結(jié)構(gòu)復(fù)雜、語(yǔ)義多樣，但是它們包含的信息是非常有用的。異構(gòu)網(wǎng)絡(luò)嵌入向量的相似性保存了整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)性，所以可以利用異構(gòu)網(wǎng)絡(luò)圖分析方法來(lái)做相似度搜索，還可以利用異構(gòu)網(wǎng)絡(luò)圖分析法去做聚類、分類以及推薦等。異構(gòu)網(wǎng)絡(luò)中的多類型節(jié)點(diǎn)性導(dǎo)致早期的同質(zhì)網(wǎng)絡(luò)嵌入法無(wú)法對(duì)其進(jìn)行操作，將不同類型的網(wǎng)絡(luò)節(jié)點(diǎn)嵌入到一個(gè)空間是不合理的[14]。傳統(tǒng)的相似度搜索方法通常使用余弦相似度或歐幾里得距離等，然而異構(gòu)網(wǎng)絡(luò)中不同的元路徑包含不同的語(yǔ)義信息會(huì)導(dǎo)致不同的相似性；因此，異構(gòu)網(wǎng)絡(luò)中所存在的豐富語(yǔ)義和結(jié)構(gòu)信息可以提高不同實(shí)體之間相似性度量的準(zhǔn)確性。顯然，一些聚類方法也是無(wú)法使用的，無(wú)法將不同類別的節(jié)點(diǎn)聚在一起，這是不合理的，比如譜聚類。最近異構(gòu)網(wǎng)絡(luò)的研究主要圍繞如何對(duì)異構(gòu)信息網(wǎng)絡(luò)進(jìn)行高質(zhì)量的嵌入進(jìn)行。

1.2 推薦系統(tǒng)

推薦系統(tǒng)就是網(wǎng)絡(luò)中的用戶導(dǎo)購(gòu)。它幫助人們從海量的物品中找到可能感興趣的物品。推薦系統(tǒng)應(yīng)用領(lǐng)域廣泛，例如電子商務(wù)、廣告等。推薦系統(tǒng)模型一般分為3 大類。第1 類，基于歷史交互信息的推薦系統(tǒng)，如經(jīng)典的基于歷史評(píng)分的協(xié)同過(guò)濾[15]和矩陣分解模型[16]。文獻(xiàn)[17]通過(guò)跨域的方式來(lái)緩解冷啟動(dòng)；文獻(xiàn)[18]提出采用用戶評(píng)論和評(píng)分一起作為輔助信息來(lái)緩解傳統(tǒng)方法所帶來(lái)的冷啟動(dòng)問(wèn)題。第2 類，基于上下文信息的推薦模型，也就是用額外的輔助信息結(jié)合傳統(tǒng)模型來(lái)增強(qiáng)推薦系統(tǒng)的性能，如基于異構(gòu)網(wǎng)絡(luò)的推薦系統(tǒng)[19?20]。本文的HSopRec 模型屬于此類。第3 類，隨著神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展，就有了基于神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)[21?23]。

1.3 網(wǎng)絡(luò)嵌入

網(wǎng)絡(luò)嵌入就是將一個(gè)網(wǎng)絡(luò)中的節(jié)點(diǎn)嵌入到一個(gè)低維稠密的空間中，通過(guò)向量間的相似性來(lái)折射網(wǎng)絡(luò)中節(jié)點(diǎn)之間的結(jié)構(gòu)信息。網(wǎng)絡(luò)嵌入已經(jīng)廣泛用于推薦領(lǐng)域。當(dāng)今，同質(zhì)網(wǎng)絡(luò)最流行的方法是通過(guò)等概率隨機(jī)游走學(xué)習(xí)到節(jié)點(diǎn)的表示。其中，學(xué)習(xí)的思想類似于自然語(yǔ)言處理的word2vec、deepwalk 的改進(jìn)版本、不采用等概率隨機(jī)游走的node2-vec 等。

1.4 異構(gòu)網(wǎng)絡(luò)嵌入用于推薦系統(tǒng)

異構(gòu)網(wǎng)絡(luò)嵌入包含了很多有用的信息，通過(guò)提取其中有用的信息可以增強(qiáng)推薦系統(tǒng)的性能。文獻(xiàn)[7]通過(guò)在元路徑上的隨機(jī)游走得到節(jié)點(diǎn)嵌入，然后把用戶和物品向量拼接起來(lái)一起作為輔助信息集成到MF 模型中進(jìn)行推薦。文獻(xiàn)[18]利用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)異構(gòu)信息網(wǎng)絡(luò)中節(jié)點(diǎn)的嵌入進(jìn)行推薦。

2 預(yù)備知識(shí)

在本節(jié)中，將介紹本文中用到的一些基本術(shù)語(yǔ)。

定義1（異構(gòu)信息網(wǎng)絡(luò)）定義一個(gè)網(wǎng)絡(luò)G={V，E}。其中G為一個(gè)網(wǎng)絡(luò)，V為網(wǎng)絡(luò)中節(jié)點(diǎn)的集合，E為網(wǎng)絡(luò)中邊的集合。Φ(?)和φ(?)分別是節(jié)點(diǎn)的類型映射函數(shù)和邊類型的映射函數(shù)。這2 個(gè)函數(shù)將節(jié)點(diǎn)和邊的類型映射到節(jié)點(diǎn)類型集合A和邊類型集合R。S={A，R}是網(wǎng)絡(luò)的結(jié)構(gòu)圖。如果|A|+|R|>2，就稱網(wǎng)絡(luò)G為一個(gè)異構(gòu)信息網(wǎng)絡(luò)。

定義2（Meta-path）在網(wǎng)絡(luò)G={V，E}以及其結(jié)構(gòu)S={A，R}中，存在元路徑，簡(jiǎn)寫為A1A2···AiAi+1。路徑上的R是可以相同的，A也是可以相同的。

定義3（自特征交互矩陣）給定一個(gè)異構(gòu)網(wǎng)絡(luò)G和它的網(wǎng)絡(luò)結(jié)構(gòu)S，可以通過(guò)Deepwalk 得到每個(gè)節(jié)點(diǎn)的嵌入向量，向量自身做外積操作即可得到自特征交互矩陣。

3 HSopRec 模型

本節(jié)將從4 個(gè)部分詳細(xì)地描述HSopRec 模型的整體流程和細(xì)節(jié)。其主要流程是：首先將異構(gòu)信息網(wǎng)絡(luò)嵌入到稠密的空間中，得到網(wǎng)絡(luò)中節(jié)點(diǎn)的嵌入向量；然后通過(guò)得到的嵌入向量做自外積得到自特征交互矩陣，通過(guò)左乘行向量和右乘列向量參數(shù)得到一個(gè)標(biāo)量即自特征交互值；接著通過(guò)嵌入向量和自特征值結(jié)合MF 模型得到評(píng)分預(yù)測(cè)函數(shù)；最后，通過(guò)評(píng)分函數(shù)得到損失函數(shù)并對(duì)其進(jìn)行梯度下降尋找最優(yōu)解，完成模型的訓(xùn)練。圖2 展示了HSopRec 模型的完整結(jié)構(gòu)圖。如無(wú)特殊說(shuō)明，本文中的向量都是行向量。

3.1 異構(gòu)信息網(wǎng)絡(luò)嵌入

通過(guò)3 步可以得到異構(gòu)網(wǎng)絡(luò)中節(jié)點(diǎn)的嵌入。如圖3 所示。首先，給定異構(gòu)網(wǎng)絡(luò)圖G={V，E}和一條元路徑p∶,通過(guò)式（1）可以獲得一個(gè)隨機(jī)序列。

式中：ni和ni+1是第i和i+1 個(gè)節(jié)點(diǎn)，它們的類型分別為Ai和Ai+1；p為給定元路徑；N(ni)是ni的鄰居節(jié)點(diǎn)。給定起始節(jié)點(diǎn)和游走長(zhǎng)度，通過(guò)式（1）可以得到一個(gè)隨機(jī)序列。例如圖3 中的電影異構(gòu)網(wǎng)絡(luò)，對(duì)于給定的元路徑和行走起點(diǎn)，可以得到行走隨機(jī)序列。給定元路徑MDM，起始節(jié)點(diǎn)m1和行走步數(shù)，可以得到一個(gè)隨機(jī)序列m1d2m2d3m3···。

圖3 同質(zhì)網(wǎng)絡(luò)的生成過(guò)程

然后，需要?jiǎng)h除與起始節(jié)點(diǎn)類型不同的節(jié)點(diǎn)。具體地說(shuō)，對(duì)于得到的隨機(jī)序列m1d2m2d3m3···，把其中和m1不同類型的節(jié)點(diǎn)刪除掉得到序列m1m2m3···，此時(shí)，可以把這個(gè)相同類型的隨機(jī)序列看成一個(gè)同質(zhì)網(wǎng)絡(luò)，使用同質(zhì)網(wǎng)絡(luò)嵌入方法對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行嵌入，可以得到不同元路徑上相同節(jié)點(diǎn)的不同表示集合。其中：P是所有元路徑的集合；|P|是元路徑集合的數(shù)量；是第l條元路徑上的節(jié)點(diǎn)嵌入表示。

最后，通過(guò)融合函數(shù)得到最終的節(jié)點(diǎn)嵌入表示。

式中：σ(?)是Sigmoid 函數(shù)，用于對(duì)節(jié)點(diǎn)嵌入向量進(jìn)行非線性變換；|Pu|是針對(duì)用戶的元路徑個(gè)數(shù)；分別代表在不同元路徑上的偏好權(quán)重、節(jié)點(diǎn)嵌入向量的參數(shù)矩陣以及它的偏置。將也縮寫表示為。

3.2 自特征交互矩陣

3.3 HERecUV 模型

本節(jié)將詳細(xì)闡述HSopRec 模型所產(chǎn)生的評(píng)分函數(shù)。HSopRec 模型是對(duì)HERec 模型[7]的擴(kuò)展。HERec 模型是基于矩陣分解模型（MF 模型）。MF 模型主要任務(wù)是將一個(gè)用戶物品歷史評(píng)分矩陣分解為2 個(gè)低維稠密的用戶矩陣和物品矩陣，其表達(dá)式為

本文考慮利用用戶嵌入與物品嵌入向量自己的不同維度之間隱藏的豐富特征交互信息，通過(guò)自外積捕獲其潛在信息來(lái)擴(kuò)展MF 模型。HSopRec使用的評(píng)分預(yù)測(cè)函數(shù)的表達(dá)式為

式中：α、β、γ和 ?是該模型的調(diào)優(yōu)參數(shù)；和是自特征交互矩陣乘上參數(shù)之后所得的自特征交互值。

3.4 模型學(xué)習(xí)

在得到評(píng)分預(yù)測(cè)函數(shù)后，HSopRec 采用的目標(biāo)損失函數(shù)，為

式中：L是模型HSopRec 的損失函數(shù)；rui是用戶u對(duì)物品i的歷史評(píng)價(jià)分?jǐn)?shù)；是通過(guò)HSopRec 模型計(jì)算用戶u對(duì)物品i的評(píng)分；λ 后面的一整部分是正則化懲罰項(xiàng)，這是為了防止過(guò)擬合；λ是各個(gè)參數(shù)正則化所帶超參的統(tǒng)一形式；O(U),O(I)是對(duì)節(jié)點(diǎn)嵌入向量做融合時(shí)所有參數(shù)的總稱。該目標(biāo)函數(shù)通過(guò)隨機(jī)梯度下降(SGD)來(lái)優(yōu)化，所有參數(shù)更新根據(jù)的規(guī)則如下：

其中η 是該模型的學(xué)習(xí)率。帶下標(biāo)的λ是每個(gè)需要更新參數(shù)的正則化參數(shù)。是融合函數(shù)中的所有參數(shù)。本文利用Sigmoid 函數(shù)的連續(xù)性和易求導(dǎo)性，給出了各參數(shù)的融合函數(shù)的求導(dǎo)公式，為

4 實(shí)驗(yàn)

本節(jié)將在廣泛使用的開(kāi)放數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與其他推薦模型進(jìn)行比較，來(lái)展示HSopRec 和HERecUV 模型的推薦性能。

4.1 評(píng)估數(shù)據(jù)集

表1、圖4 分別為開(kāi)放數(shù)據(jù)集Yelp 的數(shù)據(jù)信息和結(jié)構(gòu)信息。圖4 中大圓是實(shí)體，小圓是實(shí)體的屬性。Yelp 是一個(gè)商業(yè)數(shù)據(jù)集。該數(shù)據(jù)集的稠密度非常稀疏只有0.08%。

圖4 Yelp 數(shù)據(jù)集的結(jié)構(gòu)圖

表1 Yelp 數(shù)據(jù)集的詳細(xì)信息

4.2 評(píng)判標(biāo)準(zhǔn)

本文使用MAE（平均絕對(duì)誤差）和RMSE（均方根誤差）作為評(píng)價(jià)指標(biāo)來(lái)比較不同模型之間的推薦性能，其定義為：

式中：Rtest是測(cè)試集；是測(cè)試集中的三元組；|Rtest|是測(cè)試集中三元組的數(shù)量。MAE 和RMSE越低，其推薦性能越高。

4.3 比較模型

在實(shí)驗(yàn)中，將HSopRec 與下面模型進(jìn)行比較。

PMF[24]：在假定用戶和物品的特征矩陣服從高斯分布的前提下，將用戶—物品評(píng)價(jià)矩陣分解為用戶和商品的2 個(gè)低秩特征矩陣。

NMF[8]：它將用戶—物品評(píng)價(jià)矩陣分解成2 個(gè)低秩非負(fù)矩陣。

HERec[7]：通過(guò)引入用戶HIN 嵌入和物品HIN嵌入，擴(kuò)展了矩陣分解模型。該模型的代碼由作者提供(https://github.com/librahu/HERec)。

HERecUV：只考慮用戶和物品嵌入信息的自特征交互矩陣來(lái)增強(qiáng)經(jīng)典的矩陣分解。

HSopRec：集成自特征交互矩陣、用戶HIN嵌入、物品HIN 嵌入和MF 的模型。

4.4 實(shí)驗(yàn)結(jié)果

在本節(jié)中，Yelp 數(shù)據(jù)集被劃分為訓(xùn)練集和測(cè)試集，用來(lái)驗(yàn)證所提模型的有效性。設(shè)置Yelp 數(shù)據(jù)集的訓(xùn)練集與測(cè)試集的比例為8∶2。表2 展示了該實(shí)驗(yàn)的結(jié)果。除此之外，還對(duì)本次實(shí)驗(yàn)結(jié)果做了一個(gè)詳細(xì)的總結(jié)。

表2 實(shí)驗(yàn)結(jié)果

3 種基于HIN 的推薦模型（HERec 模型、HERecUV 模型、HSopRec 模型）在推薦性能上明顯優(yōu)于傳統(tǒng)的矩陣分解模型（PMF 模型、NMF 模型）。

與PMF 和NMF 模型相比，自特征交互矩陣和用戶與物品HIN 嵌入的向量都可以有效地從HIN 中挖掘有用信息以提高推薦性能。此外，自特征交互矩陣增強(qiáng)的MF 模型得到的RMSE 比利用用戶和物品HIN 嵌入的拼接向量得到的RMSE 要高得多。因此，用自特征交互矩陣挖掘出來(lái)的信息更接近真實(shí)信息。

對(duì)比HERec 模型和HERecUV 模型，雖然兩者在MAE 上的得分相似，但HERecUV 模型在RMSE 上得到了很大的提高?？梢?jiàn)，自特征交互矩陣比用戶和物品HIN 嵌入的拼接向量能更好地模擬樣本數(shù)據(jù)。換句話說(shuō)，用它增強(qiáng)MF 模型能抓住更多用戶對(duì)物品的真實(shí)喜好。

在所有的比較方法中，HSopRec 的推薦性能總體上是最好的。與HERec 模型相比，HSopRec 模型不僅利用了用戶和物品本身的嵌入特征，而且還利用了它們自身的特征交互信息。實(shí)驗(yàn)結(jié)果表明，用戶HIN 嵌入、物品HIN 嵌入和自特征交互矩陣增強(qiáng)MF 能有效提高推薦性能。

4.5 參數(shù)設(shè)置

為了公平和方便，對(duì)各種維度大小進(jìn)行了調(diào)整，矩陣分解的向量維度設(shè)為10，從給定的元路徑學(xué)習(xí)到的節(jié)點(diǎn)嵌入維數(shù)設(shè)為128。融合函數(shù)處理后的用戶和物品最終嵌入維度與HERec 模型相同，分別為30 和10。為了減少計(jì)算負(fù)擔(dān)，設(shè)置調(diào)優(yōu)超參α、β、λ和?是相等的，將其設(shè)置為α=β=γ=?=0.5。這是表示它們每一部分都是同等重要的。設(shè)置學(xué)習(xí)率η=0.02，為了方便所有正則化參數(shù)都設(shè)置為0.1。

5 總結(jié)

本文提出了基于自外積異構(gòu)信息網(wǎng)絡(luò)增強(qiáng)的推薦方法，即HSopRec 算法。該方法具有較高的推薦性能，并且可以利用自特征交互信息提高推薦性能。實(shí)驗(yàn)結(jié)果表明，該模型具有更好的MAE 和更高的RMSE。從實(shí)驗(yàn)結(jié)果可以看出，自特征交互信息對(duì)提高推薦系統(tǒng)的性能起著至關(guān)重要的作用。

在今后的工作中，要把更多的非線性結(jié)合考慮進(jìn)去，因?yàn)榉蔷€性組合在實(shí)踐中可能更有效。雖然自特征交互矩陣隱含了豐富的關(guān)系，可以用來(lái)提高推薦系統(tǒng)的性能，但并不知道其自身相同維度的特征交互是否有作用。除此之外，隨著深度學(xué)習(xí)的快速發(fā)展，也會(huì)考慮利用深度學(xué)習(xí)從異構(gòu)信息網(wǎng)絡(luò)中挖掘出更具有力量的潛在信息來(lái)提高推薦性能。