異質(zhì)信息融合網(wǎng)絡(luò)嵌入的注意力偏好推薦方法

張 杰，張?jiān)虑伲瑥垵扇A，劉志鑫，雷 祥

1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中030600

2.太原清眾鑫科技有限公司，太原020300

網(wǎng)絡(luò)信息日益復(fù)雜，數(shù)據(jù)海量增長(zhǎng)。如何迅速而準(zhǔn)確地從冗雜數(shù)據(jù)中獲取有效信息已成為當(dāng)前的熱點(diǎn)[1]。個(gè)性化推薦技術(shù)就是一種可用于解決海量數(shù)據(jù)信息過(guò)載問(wèn)題的有效途徑[2-3]。協(xié)同過(guò)濾[4-5]可通過(guò)對(duì)用戶歷史行為數(shù)據(jù)進(jìn)行挖掘，來(lái)發(fā)現(xiàn)用戶的喜好偏向，并對(duì)用戶傾向的產(chǎn)品進(jìn)行篩選與預(yù)測(cè)。然而，面對(duì)數(shù)據(jù)規(guī)?？焖僭鲩L(zhǎng)，以及日益復(fù)雜的推薦問(wèn)題，傳統(tǒng)協(xié)同過(guò)濾算法存在一些無(wú)法回避的問(wèn)題：僅考慮用戶和項(xiàng)目間的交互矩陣。同時(shí)，對(duì)于用戶數(shù)據(jù)稀疏以及冷啟動(dòng)推薦問(wèn)題[6]也缺少有效的解決策略。

因此，國(guó)內(nèi)外諸多學(xué)者開(kāi)始結(jié)合異質(zhì)信息網(wǎng)絡(luò)（Heterogeneous Information Network，HIN）進(jìn)行融合推薦。Gao等人[7]結(jié)合HIN提出充分挖掘網(wǎng)絡(luò)中隱藏的上下文信息來(lái)提高推薦性能。吳賓等人[8]通過(guò)融合多關(guān)系數(shù)據(jù)和視覺(jué)信息的多源異構(gòu)信息來(lái)最大化提升推薦性能。Hu等人[9]則考慮多種類型的外部關(guān)系提出了在HIN上基于語(yǔ)義偏好的個(gè)性化推薦。Gao等人[10]考慮引入特征向量和時(shí)間權(quán)重函數(shù)的多信息源融合的推薦算法來(lái)提高Top-N推薦的準(zhǔn)確度。Zhao等人[11]則考慮HIN中用戶行為和商品信息中復(fù)雜關(guān)聯(lián)提出利用不同關(guān)系的重要性來(lái)提升推薦性能。

此外，由于元路徑（Meta path）可以有效刻畫對(duì)象間的語(yǔ)義關(guān)系，并抽取對(duì)象間的特征信息。如圖1所示，從圖中網(wǎng)絡(luò)模式（Network schema）可抽取該異質(zhì)網(wǎng)絡(luò)中兩元路徑，其中U、M、A分別表示用戶、電影和演員。顯然基于不同的元路徑，對(duì)象之間的語(yǔ)義不同。Sun等[12]最早提出使用元路徑來(lái)針對(duì)異質(zhì)網(wǎng)絡(luò)信息中的相似性搜索進(jìn)行Top-N推薦。Shi等人[13]提出了通過(guò)基于元路徑的隨機(jī)游走網(wǎng)絡(luò)嵌入方法學(xué)習(xí)HIN中用戶和項(xiàng)目的潛在表示用于推薦。Yin等人[14]通過(guò)在源域和目標(biāo)域中建立基于元路徑的HIN嵌入實(shí)現(xiàn)跨域推薦。Philip SYu課題組[15]結(jié)合異質(zhì)信息網(wǎng)絡(luò)提出異構(gòu)神經(jīng)注意因子分解機(jī)模型用于從元路徑中提取特征來(lái)提升推薦性能。Hu等人[16]使用異構(gòu)信息網(wǎng)絡(luò)中基于上下文的元路徑和共同關(guān)注機(jī)制的神經(jīng)網(wǎng)絡(luò)模型建立推薦系統(tǒng)。

圖1 網(wǎng)絡(luò)模式與元路徑Fig.1 Network schema and Meta path

以上方法多致力于利用輔助信息將異質(zhì)網(wǎng)絡(luò)融入推薦過(guò)程。但當(dāng)前也存在一些挑戰(zhàn)：首先，基于HIN的主流推薦算法中，大多基于元路徑的相似度刻畫HIN中的語(yǔ)義關(guān)聯(lián)，往往不能直接用到推薦中，之前的方法利用線性加權(quán)的方法將該相似度與矩陣分解相結(jié)合，不能很好地利用語(yǔ)義關(guān)聯(lián)中的復(fù)雜關(guān)系，導(dǎo)致可解釋性缺失（Lack of interpretability）；其次，針對(duì)信息有缺失，利用異質(zhì)信息，但局部推理可能會(huì)有沖突，導(dǎo)致稀疏不一致性（Sparse inconsistency）；進(jìn)而無(wú)法充分挖掘用戶潛在的偏好特征，且有效地進(jìn)行特征融合。

針對(duì)上述這些問(wèn)題，本文提出了一種在異質(zhì)信息網(wǎng)絡(luò)中融合網(wǎng)絡(luò)嵌入的注意力偏好推薦方法（Attention preference recommendation methods with fusing heterogeneous information network embedding，MFFHINE）。首先，在對(duì)稱元路徑上使用隨機(jī)游走策略生成節(jié)點(diǎn)序列，利用Skip-Gram模型學(xué)習(xí)用戶的偏好表示；其次，通過(guò)基于注意力的偏好權(quán)重融合技術(shù)將各條Meta-path生成的偏好特征有機(jī)融合；最后，將融合的用戶偏好因子集成到矩陣分解模型中，用于最終的評(píng)分預(yù)測(cè)任務(wù)。

本文的主要工作概括如下：

（1）針對(duì)傳統(tǒng)矩陣分解的可擴(kuò)展性問(wèn)題，提出了一種異質(zhì)信息融合網(wǎng)絡(luò)嵌入的注意力偏好推薦方法，通過(guò)聯(lián)合優(yōu)化矩陣分解模型和融合函數(shù)，可有效利用屬性信息。

（2）針對(duì)可解釋性缺失問(wèn)題，采用了一種以對(duì)稱元路徑為指導(dǎo)的隨機(jī)游走策略，充分挖掘異質(zhì)信息網(wǎng)絡(luò)中語(yǔ)義關(guān)聯(lián)所隱藏的復(fù)雜關(guān)系。

（3）針對(duì)異質(zhì)信息中局部存在稀疏不一致性問(wèn)題，給出了一種基于注意力機(jī)制的融合策略，將不同權(quán)重元路徑產(chǎn)生的偏好特征有機(jī)融合。

1 相關(guān)概念

1.1 異質(zhì)信息網(wǎng)絡(luò)

高維、稀疏和多種類型是異質(zhì)信息網(wǎng)絡(luò)的數(shù)據(jù)特征，這使得必須提供元級(jí)別（例如模式級(jí)別）的描述，才能更好地了解HIN中的對(duì)象類型和鏈接類型。因此，研究人員提出了網(wǎng)絡(luò)模式的概念來(lái)描述網(wǎng)絡(luò)的元結(jié)構(gòu)。

定義1異質(zhì)信息網(wǎng)絡(luò)及網(wǎng)絡(luò)模式（Network schema）[17]。HIN是一個(gè)有向圖G={V,E}以及一個(gè)對(duì)象類型映射函數(shù)φ:V→A和一個(gè)鏈接類型映射函數(shù)ψ:E→?，其中V和E分別表示節(jié)點(diǎn)集和邊集，A和?表示預(yù)定義對(duì)象和鏈接的集合類型網(wǎng)絡(luò)模式表示為S=(A,?)。它是信息網(wǎng)絡(luò)G={V,E}的元模板，是一個(gè)以對(duì)象類型A為節(jié)點(diǎn)，關(guān)系?為邊的有向圖。

在HIN中，通過(guò)不同的語(yǔ)義連接兩個(gè)或多個(gè)對(duì)象的路徑稱為元路徑。

定義2元路徑（Meta path）[12]。元路徑ρ定義在網(wǎng)絡(luò)模式S=(A,?)上，并表示為在形式上的一條路徑（縮寫為它描述對(duì)象之間的復(fù)合關(guān)系?=?1°?2°…°?l，其中°表示對(duì)象關(guān)系運(yùn)算符。

其中，圖1中的{UMDMU}、{UMAMU}這些具有相同開(kāi)始和結(jié)束的對(duì)象類型元路徑稱為對(duì)稱元路徑。

1.2 網(wǎng)絡(luò)嵌入

定義3網(wǎng)絡(luò)嵌入[18]。給定一個(gè)網(wǎng)絡(luò)G={V,E}，網(wǎng)絡(luò)嵌入的目標(biāo)是學(xué)習(xí)到一個(gè)映射函數(shù)f:V→Rd將網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)ν∈V映射到低維空間Rd中，其中

網(wǎng)絡(luò)嵌入[19]作為網(wǎng)絡(luò)表征學(xué)習(xí)的方法旨在將網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)映射為低維空間上的特征向量，并保持節(jié)點(diǎn)之間的連接關(guān)系（即保存結(jié)構(gòu)信息）。對(duì)于異質(zhì)信息網(wǎng)絡(luò)而言，除了結(jié)構(gòu)信息，捕獲豐富的語(yǔ)義信息對(duì)基于異質(zhì)網(wǎng)絡(luò)的推薦系統(tǒng)也至關(guān)重要。

1.3 矩陣分解

矩陣分解（Matrix Factorization，MF）其基本思想是，從評(píng)分矩陣R中學(xué)習(xí)用戶和項(xiàng)目在低維隱空間上U和V對(duì)應(yīng)的優(yōu)化模型為公式（1）：

2 異質(zhì)信息網(wǎng)絡(luò)嵌入與推薦模型MFFHINE

本章將分別介紹異質(zhì)信息網(wǎng)絡(luò)嵌入過(guò)程和在異質(zhì)信息網(wǎng)絡(luò)中如何融合網(wǎng)絡(luò)嵌入進(jìn)行矩陣分解推薦。異質(zhì)信息網(wǎng)絡(luò)嵌入過(guò)程如圖2所示。

圖2 MFFHINE模型中的異質(zhì)信息網(wǎng)絡(luò)嵌入Fig.2 Heterogeneous information network embedding in MFFHINE model

2.1 異質(zhì)信息網(wǎng)絡(luò)嵌入

受網(wǎng)絡(luò)嵌入的最新進(jìn)展啟發(fā)[19]，本文采用表征學(xué)習(xí)方法來(lái)提取和表示異質(zhì)信息網(wǎng)絡(luò)中蘊(yùn)含的屬性信息以供推薦。給定一個(gè)異質(zhì)信息網(wǎng)絡(luò)G={V,E}，其目標(biāo)是學(xué)習(xí)每個(gè)節(jié)點(diǎn)ν∈V的低維表示δν∈Rd（也稱為網(wǎng)絡(luò)嵌入）。其中，δν是節(jié)點(diǎn)ν的低維表示，d為異質(zhì)信息網(wǎng)絡(luò)嵌入的維度。學(xué)習(xí)到的低維表示可以高度概括HIN的結(jié)構(gòu)信息和語(yǔ)義信息，有助于在異質(zhì)信息上進(jìn)行推薦。

但是，其中部分網(wǎng)絡(luò)嵌入方法主要關(guān)注在同質(zhì)網(wǎng)絡(luò)上，導(dǎo)致無(wú)法有效地對(duì)異質(zhì)網(wǎng)絡(luò)進(jìn)行建模來(lái)挖掘語(yǔ)義關(guān)聯(lián)中的復(fù)雜關(guān)系。另外，一些異質(zhì)信息網(wǎng)絡(luò)嵌入方法沒(méi)有考慮各條元路徑對(duì)用戶的潛在影響，即如何融合各條

元路徑所產(chǎn)生的用戶偏好特征。

2.1.1 基于對(duì)稱元路徑的隨機(jī)游走

在異質(zhì)信息網(wǎng)絡(luò)的文獻(xiàn)中，元路徑[12，20]是描述其語(yǔ)義模式的重要概念。而對(duì)稱元路徑[9]所表示的語(yǔ)義信息可以很好地刻畫對(duì)象間的語(yǔ)義關(guān)系。因此，使用基于對(duì)稱元路徑的隨機(jī)游走方法生成節(jié)點(diǎn)序列。給定一個(gè)異質(zhì)信息網(wǎng)絡(luò)G={V,E}和一條元路徑ρ:A1→?1A2→?2…→?l Al+1，游走路徑是根據(jù)公式（2）分布生成的，游走概率為：

其中，νi是游走中的第i個(gè)節(jié)點(diǎn)，Ai+1表示節(jié)點(diǎn)νi+1的對(duì)象類型集合，ΦA(chǔ)i+1(νi)表示節(jié)點(diǎn)νi的一階鄰居集，其類型為Ai+1。游走將重復(fù)遵循元路徑的模式直到達(dá)到預(yù)定步長(zhǎng)，這樣一來(lái)就可以產(chǎn)生一條在不同類型的節(jié)點(diǎn)之間且能同時(shí)捕捉到網(wǎng)絡(luò)結(jié)構(gòu)信息以及語(yǔ)義的路徑。

使用上面的方法，路徑很可能包含不同對(duì)象類型的節(jié)點(diǎn)，需要進(jìn)一步過(guò)濾對(duì)象類型不同于起始對(duì)象類型的節(jié)點(diǎn)，這樣，最終節(jié)點(diǎn)序列將僅包含起始對(duì)象類型的節(jié)點(diǎn)數(shù)。接下來(lái)，本文將學(xué)習(xí)同構(gòu)序列的有效表示。

2.1.2 優(yōu)化目標(biāo)

給定一條元路徑，可以基于固定長(zhǎng)度窗口中的共現(xiàn)為節(jié)點(diǎn)νi構(gòu)造鄰域Φ(νi)。遵循node2vec[21]，本文通過(guò)采用Skip-Gram來(lái)學(xué)習(xí)節(jié)點(diǎn)表示形式，不同于原本每個(gè)訓(xùn)練樣本更新所有的權(quán)重，負(fù)采樣每次讓一個(gè)訓(xùn)練樣本僅僅更新一部分的權(quán)重，這樣就可以降低梯度下降過(guò)程中的計(jì)算量。使用負(fù)采樣的方式，以優(yōu)化以下目標(biāo)：

其中，f:ν→Rd是一個(gè)函數(shù)（旨在學(xué)習(xí)），將每個(gè)節(jié)點(diǎn)映射到d維特征空間，Φ′(νi)為節(jié)點(diǎn)νi的負(fù)樣本。本文通過(guò)應(yīng)用隨機(jī)梯度下降（SGD）來(lái)優(yōu)化此目標(biāo)，從而學(xué)習(xí)嵌入映射函數(shù)f。

2.1.3 特征融合

本文所提出的模型中，給定一個(gè)節(jié)點(diǎn)ν∈V，就可以獲得一組特征表示，其中N表示元路徑集合，表示第τ條元路徑上節(jié)點(diǎn)ν的特征表示。如何將學(xué)習(xí)到偏好特征進(jìn)行融合對(duì)提高推薦性能至關(guān)重要?，F(xiàn)有研究大多沒(méi)有考慮各條元路徑對(duì)用戶的潛在影響，導(dǎo)致無(wú)法模擬用戶對(duì)元路徑的個(gè)性化偏好，進(jìn)而無(wú)法獲得有效的用戶偏好因子以進(jìn)行推薦。注意力機(jī)制[22]學(xué)習(xí)基于不同元路徑的權(quán)重，聚合來(lái)自基于各條元路徑的鄰居節(jié)點(diǎn)的特征來(lái)生成節(jié)點(diǎn)嵌入。因此，本文提出了一種偏好權(quán)重融合技術(shù)。

給定第τ條元路徑上用戶u潛在因子f(τ)u，通過(guò)使用公式（4）計(jì)算第τ條元路徑上用戶u的注意力得分其中，M(U)∈RF×d和b(U)∈RF分別表示用戶潛在因子的權(quán)重矩陣和偏置向量，F(xiàn)為偏好因子維度，d為網(wǎng)絡(luò)嵌入維度。

通過(guò)使用等式（5）給出的Softmax函數(shù)對(duì)上述注意力得分進(jìn)行歸一化，可以得出用戶潛在因子在對(duì)稱元路徑上的最終注意力權(quán)重。

其中，N表示元路徑集合表示用戶u在第τ個(gè)元路徑上的偏好權(quán)重。

最終，用戶的融合函數(shù)分別如公式（6）所示：

2.2 推薦模型MFFHINE

根據(jù)上一節(jié)，已經(jīng)學(xué)習(xí)到了如何從HIN中提取和表示用戶的偏好特征和進(jìn)行特征融合。接下來(lái)本文研究如何利用融合的用戶偏好因子進(jìn)行推薦。

2.2.1 評(píng)分預(yù)測(cè)

在推薦系統(tǒng)中，一種有效的方法是分解用戶-項(xiàng)目評(píng)分矩陣。其基本公式假設(shè)采用以下模型來(lái)預(yù)測(cè)用戶u對(duì)項(xiàng)目i的偏好：

其中，m是全局偏置，bu和bi分別為用戶和項(xiàng)目的偏差項(xiàng)，gu∈RD和gi∈RD分別表示用戶u和項(xiàng)目i的特征潛在因子，D為潛在因子維度。

HIN中包含豐富的語(yǔ)義信息，通過(guò)異質(zhì)信息網(wǎng)絡(luò)嵌入方法，最終獲得用戶的偏好因子(f(U)u)，將其融入到評(píng)分預(yù)測(cè)中，本文的擴(kuò)展預(yù)測(cè)模型采用以下形式：

其中，m，bu，bi，gu和gi與公式（7）相同來(lái)自于公式（6），表示用戶u的偏好因子，fi是對(duì)應(yīng)的項(xiàng)目特定潛在因子。接下來(lái)，可以引入一個(gè)偏置項(xiàng)b′，其與的內(nèi)積模擬項(xiàng)目的整體屬性，朝著給定用戶的興趣偏好發(fā)展。綜上所述，最終的預(yù)測(cè)公式為：

整個(gè)模型框架的具體步驟如以下算法所示：

算法：模型MFFHINE

輸入：評(píng)分矩陣R；

元路徑集合N；

在步驟1~7中，通過(guò)執(zhí)行異質(zhì)信息網(wǎng)絡(luò)嵌入來(lái)獲得融合用戶因子。在步驟8~14中，通過(guò)聯(lián)合優(yōu)化融合用戶因子和矩陣分解模型，得到預(yù)測(cè)評(píng)分值。

2.2.2 模型學(xué)習(xí)

將融合的用戶因子集成到矩陣分解框架中，以學(xué)習(xí)模型的參數(shù)。本文采用SGD來(lái)優(yōu)化以下目標(biāo)：其中，x?u,i是公式（9）預(yù)測(cè)的評(píng)分值，上式中的第1項(xiàng)(x?u,i-xu,i)表示預(yù)測(cè)評(píng)分值與真實(shí)評(píng)分值的誤差，第2、3、4和5項(xiàng)用于控制模型的復(fù)雜度以避免模型過(guò)擬合，l、αw、bf、bb分別為矩陣分解、用戶偏好因子、項(xiàng)目偏好因子以及偏置項(xiàng)的正則化參數(shù)，用于平衡上述公式的貢獻(xiàn)度。

2.2.3 模型復(fù)雜度分析

模型MFFHINE包括兩個(gè)主要的組成部分：

（1）異質(zhì)信息網(wǎng)絡(luò)嵌入。DeepWalk的復(fù)雜度為Ο(d?|V|)，其中d是網(wǎng)絡(luò)嵌入維度，|V|是網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)。因此，單個(gè)元路徑下用戶的嵌入復(fù)雜度分別為Ο(d?|U|)，其中，|U|是網(wǎng)絡(luò)中用戶的節(jié)點(diǎn)數(shù)。由于選擇元路徑個(gè)數(shù)為|N|，所以異質(zhì)信息網(wǎng)絡(luò)嵌入的總復(fù)雜度為Ο(|N|?d?|U|)。

（2）矩陣分解。對(duì)于每個(gè)三元組，更新γu、γi、fi和b′需要Ο(D)的時(shí)間復(fù)雜度，其中D為潛在因子維度。更新的時(shí)間復(fù)雜度為在推薦模型中，||N通常較小，并且d和D最多為幾百，這使得該方法在大型數(shù)據(jù)集上有效。特別地，SGD具有非常好的實(shí)踐表現(xiàn)，它在本文數(shù)據(jù)集上具有很快的收斂速度。

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文所提算法的有效性，在三個(gè)真實(shí)大規(guī)模數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與其他推薦算法進(jìn)行橫向比較分析，在本文所提算法的參數(shù)上進(jìn)行縱向分析來(lái)驗(yàn)證模型MFFHINE性能。

3.1 數(shù)據(jù)集

本文使用三個(gè)數(shù)據(jù)集來(lái)驗(yàn)證模型的有效性。表1列出了這三個(gè)數(shù)據(jù)集的詳細(xì)說(shuō)明。此外，這些數(shù)據(jù)集都包括用戶和項(xiàng)目的社會(huì)關(guān)系及屬性信息。同時(shí)還具有不同的評(píng)分稀疏度：Yelp數(shù)據(jù)集非常稀疏，而Douban Movie數(shù)據(jù)集則更密集。

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)Table 1 Statistical analysis on experimental datasets

3.2 評(píng)價(jià)指標(biāo)

本文在衡量推薦性能時(shí)，為體現(xiàn)預(yù)測(cè)評(píng)分的準(zhǔn)確度使用兩個(gè)通用指標(biāo)來(lái)評(píng)估不同方法的性能，即均值絕對(duì)誤差（MAE）和均方根誤差（RMSE）。MAE和RMSE定義分別如公式（11）和（12）所示：

其中，xu,i是用戶u對(duì)項(xiàng)目i的實(shí)際評(píng)分，x?u,i是模型的預(yù)測(cè)評(píng)分，Htest表示表示測(cè)試集評(píng)分記錄。從定義中可以看到MAE或RMSE值越小，表示性能越好。

3.3 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文所提出模型的性能，在MAE和RMSE兩個(gè)指標(biāo)上，同以下算法進(jìn)行了比較：

（1）PMF[23]：經(jīng)典的概率矩陣分解模型，通過(guò)將用戶-項(xiàng)目評(píng)分矩陣顯式分解為兩個(gè)低維矩陣。

（2）SoMF[24]：將社交網(wǎng)絡(luò)信息融入推薦過(guò)程，社會(huì)關(guān)系以正則化項(xiàng)形式集成到基本矩陣分解模型。

（3）HERec[13]：基于HIN嵌入提出的推薦模型，它利用基于元路徑的算法來(lái)獲取異質(zhì)信息豐富的語(yǔ)義信息。

（4）HecRec[14]：通過(guò)在源域和目標(biāo)域中建立基于元路徑的HIN嵌入實(shí)現(xiàn)跨域推薦。

（5）HetNERec[25]：通過(guò)從面向推薦的HIN中提取多個(gè)共現(xiàn)關(guān)系來(lái)構(gòu)造共現(xiàn)網(wǎng)絡(luò)，將多個(gè)網(wǎng)絡(luò)嵌入式表示形式集成到單個(gè)表示形式中，以增強(qiáng)推薦性能。

本文選擇的元路徑包含用戶、項(xiàng)目及相關(guān)實(shí)體的屬性信息，對(duì)于實(shí)驗(yàn)的三個(gè)數(shù)據(jù)集，表2中詳細(xì)列出了選定的元路徑。

表2 對(duì)稱元路徑例子Table 2 Symmetric Meta path examples

通過(guò)比較MFFHINE與各基準(zhǔn)算法的不同變化來(lái)驗(yàn)證其有效性。為了對(duì)各基準(zhǔn)算法進(jìn)行公平地比較，本文中所有實(shí)驗(yàn)均使用相同參數(shù)設(shè)置。潛在因子維度均固定為D=10。對(duì)本文提出的MFFHINE模型方法，設(shè)置異質(zhì)信息網(wǎng)絡(luò)的嵌入維度d=64，用戶偏好因子F=10，正則化系數(shù)l、αw、bf、bb值分別為0.02、0.001、0.002和0.1。本實(shí)驗(yàn)中，選擇在基于對(duì)稱元路徑的基礎(chǔ)上使用隨機(jī)游走策略作為異質(zhì)信息網(wǎng)絡(luò)嵌入方法，因此固定窗口大小為5和步行長(zhǎng)度為10以強(qiáng)調(diào)局部結(jié)構(gòu)。

對(duì)于每個(gè)數(shù)據(jù)集，需要將整個(gè)評(píng)分記錄分為一個(gè)訓(xùn)練集和測(cè)試集。針對(duì)Douban Movie和Book數(shù)據(jù)集，設(shè)置四個(gè)訓(xùn)練比例，如{80%，60%，40%，20%}；而對(duì)于Yelp數(shù)據(jù)集，考慮數(shù)據(jù)較稀疏，則設(shè)置了四個(gè)較大的訓(xùn)練比例，如{90%，80%，70%，60%}。訓(xùn)練集數(shù)據(jù)80%意味著需要從用戶-項(xiàng)目評(píng)分矩陣中選擇80%的評(píng)分作為訓(xùn)練數(shù)據(jù)，以預(yù)測(cè)剩余20%評(píng)分。對(duì)于每個(gè)比例，隨機(jī)生成十個(gè)評(píng)估集。在三個(gè)真實(shí)數(shù)據(jù)集上驗(yàn)證本文提出的模型。

3.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果和實(shí)驗(yàn)性能比較分別在圖3和圖4中所示。具體分析如下：

圖4 在三個(gè)數(shù)據(jù)集上評(píng)分預(yù)測(cè)的性能改進(jìn)比較（以PMF模型為基線）Fig.4 Comparison of performance for rating predictions on three data sets（The PMF model is regarded as baseline of test）

基準(zhǔn)評(píng)測(cè)比較。基于異質(zhì)信息網(wǎng)絡(luò)的推薦方法（HERec、HecRec和HetNERec）性能要明顯優(yōu)于傳統(tǒng)基于MF的方法（PMF和SoMF）。特別是在Yelp數(shù)據(jù)集上表現(xiàn)地更為明顯，如圖3（c）中所示，在所有的訓(xùn)練集比例數(shù)據(jù)中，基于MF方法其MAE和RMSE的值大于所有基于HIN的方法（值越大表示性能越差），這表明融合異質(zhì)信息網(wǎng)絡(luò)對(duì)提升推薦質(zhì)量有促進(jìn)作用，更深層次的原因是異質(zhì)信息網(wǎng)絡(luò)中大多數(shù)原始特征是用戶或項(xiàng)目的屬性信息，它們可能包含有用的證據(jù)以改善推薦性能。

圖3 在三個(gè)數(shù)據(jù)集上的有效性實(shí)驗(yàn)結(jié)果Fig.3 Effectiveness experimental results on three datasets

算法性能提升。如圖4所示，以PMF模型為基線，提出的模型算法MFFHINE在各項(xiàng)測(cè)試上始終優(yōu)于對(duì)照的其他方法。與其他基于HIN的方法相比，MFFHINE采用基于注意力機(jī)制的偏好權(quán)重融合策略將學(xué)習(xí)到的各個(gè)偏好特征有效融合，并將其集成到矩陣分解模型中，通過(guò)聯(lián)合優(yōu)化矩陣分解模型和融合函數(shù)，以改進(jìn)推薦系統(tǒng)性能。MFFHINE的優(yōu)勢(shì)在訓(xùn)練數(shù)據(jù)較少的情況下改善效果更優(yōu)。例如在Yelp數(shù)據(jù)集上使用60%訓(xùn)練集數(shù)據(jù)，就性能指標(biāo)MAE和RMSE而言，MFFHINE對(duì)PMF的提升率分別高達(dá)32%和37%，相對(duì)于HetNERec也分別提高了4%和3%。

通過(guò)比較本文實(shí)驗(yàn)使用的三個(gè)不同數(shù)據(jù)稀度的數(shù)據(jù)集發(fā)現(xiàn)，數(shù)據(jù)越稀疏，模型MFFHINE的性能越好，原因是由于在異質(zhì)信息網(wǎng)絡(luò)中，數(shù)據(jù)集越稠密，局部推理越可能發(fā)生沖突，導(dǎo)致稀疏不一致性，進(jìn)而無(wú)法充分挖掘用戶潛在的偏好特征，影響推薦性能。與最新的算法Het-NERec比較，如圖3（a）、（b）所示，MFFHINE性能不差于HetNERec。而在圖3（c）上，MFFHINE性能要優(yōu)于HetNERec。

3.5 元路徑設(shè)置對(duì)模型性能的影響

為了進(jìn)一步分析不同元路徑對(duì)推薦系統(tǒng)模型性能的影響，需要將這些元路徑逐漸納入到所提出的模型中，并檢查性能變化。

如圖5所示，通常情況下，在選定的元路徑集合中，每條元路徑包含的用戶和項(xiàng)目屬性信息不同，通過(guò)合并更多的元路徑，增加模型的信息增益，進(jìn)而提高系統(tǒng)性能（MAE和RMSE值越小，性能越高）。但是，Douban Movie數(shù)據(jù)集在納入{UMTMU}元路徑時(shí)性能略有波動(dòng)，原因是某些元路徑可能包含噪聲或與現(xiàn)有路徑信息沖突。

圖5 逐漸合并元路徑時(shí)模型的性能變化Fig.5 Effect of merging meta-paths on algorithm performance

3.6 重要參數(shù)對(duì)模型性能的影響

基于矩陣分解的推薦系統(tǒng)方法，潛在因子維度是要調(diào)整的重要參數(shù)，本文模型也包含這樣的參數(shù)。設(shè)置將其從5改變到50，以5為步長(zhǎng)，并檢查性能如何隨潛在因子維度而變化。潛在因子維度在80%訓(xùn)練集數(shù)據(jù)上對(duì)性能的影響如圖6所示，對(duì)于Douban Movie和Douban Book數(shù)據(jù)集而言，潛在因子維度為10會(huì)達(dá)到最佳性能，而Yelp數(shù)據(jù)集潛在因子維度為15會(huì)達(dá)到最佳性能。

圖6 潛在因子維度的性能變化Fig.6 Impact of latent factors’dimensions on recommendation performance

最后，本文研究迭代次數(shù)對(duì)于性能變化的影響。迭代次數(shù)在80%訓(xùn)練集數(shù)據(jù)上對(duì)性能影響的結(jié)果圖7所示，MFFHINE模型的收斂速度較快，并且密集數(shù)據(jù)集（Douban Movie和Douban Book）大約需要30次迭代，而稀疏數(shù)據(jù)集（Yelp）只需要約15次迭代即可。

圖7 迭代次數(shù)的性能變化Fig.7 Impact of iterations of MFFHINE on recommendation performance

4 結(jié)束語(yǔ)

本文提出了一種在異質(zhì)信息網(wǎng)絡(luò)中融合網(wǎng)絡(luò)嵌入的注意力偏好推薦新方法。通過(guò)選擇對(duì)稱元路徑進(jìn)行網(wǎng)絡(luò)嵌入來(lái)有效刻畫對(duì)象間的語(yǔ)義關(guān)系，是對(duì)可解釋性缺失的一種有益補(bǔ)充；給出的偏好權(quán)重融合策略，可將基于不同元路徑所產(chǎn)生的用戶潛在的偏好特征融合到統(tǒng)一的框架中，是對(duì)稀疏不一致性問(wèn)題的有效緩解。在大規(guī)模真實(shí)數(shù)據(jù)集上與各基準(zhǔn)算法比較，實(shí)驗(yàn)結(jié)果表明：MFFHINE算法能準(zhǔn)確地預(yù)測(cè)不同類型物品的實(shí)際評(píng)分；同時(shí)，模型在訓(xùn)練集比例、元路徑設(shè)置、潛在因子維度和迭代影響等方面的實(shí)驗(yàn)結(jié)果也表明其有效性。

此外，現(xiàn)實(shí)存在的復(fù)雜問(wèn)題如：網(wǎng)絡(luò)鏈路含有屬性值的加權(quán)異質(zhì)信息網(wǎng)絡(luò)、元路徑選擇和受限等，給異質(zhì)信息網(wǎng)絡(luò)建模與分析提出了更多的挑戰(zhàn)。未來(lái)的工作將進(jìn)一步考慮擴(kuò)展元路徑的語(yǔ)義抽取能力，及利用神經(jīng)網(wǎng)絡(luò)圖模型等來(lái)構(gòu)造異質(zhì)網(wǎng)絡(luò)的表征學(xué)習(xí)方法來(lái)面向網(wǎng)絡(luò)復(fù)雜異構(gòu)，探討如何深度融合結(jié)構(gòu)信息與其他模態(tài)信息進(jìn)行特征抽取。