基于異構(gòu)信息網(wǎng)絡(luò)的混合推薦模型

林懌星，唐 華

（華南師范大學(xué)計(jì)算機(jī)學(xué)院，廣州 510631）

（*通信作者郵箱karma2001@163.com）

0 引言

隨著互聯(lián)網(wǎng)規(guī)模逐年擴(kuò)大，根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布的《第45 次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》［1］顯示，截至2020 年3 月，我國(guó)網(wǎng)民規(guī)模達(dá)到了9.04 億，互聯(lián)網(wǎng)普及率達(dá)到了64.5%，互聯(lián)網(wǎng)用戶規(guī)模和數(shù)據(jù)量基數(shù)龐大，并將在未來(lái)保持增長(zhǎng)。同時(shí)，用戶與互聯(lián)網(wǎng)應(yīng)用的頻繁交互產(chǎn)生了大量的信息。在如此海量的信息里如何使用戶獲取想要的信息，也就是如何解決“信息過載”問題，成為了新的挑戰(zhàn)。

個(gè)性化推薦系統(tǒng)的誕生，在很大程度上緩解了用戶的信息過載問題，但是在不同場(chǎng)景中依然存在許多挑戰(zhàn)影響著推薦系統(tǒng)的表現(xiàn)性能，例如，數(shù)據(jù)稀疏、冷啟動(dòng)、可解釋性以及大數(shù)據(jù)環(huán)境的并行計(jì)算問題等。

1）數(shù)據(jù)稀疏問題。以電商場(chǎng)景為例，電商交易平臺(tái)上集中了海量的產(chǎn)品數(shù)據(jù)以及用戶及其行為數(shù)據(jù)。如果將每個(gè)用戶和產(chǎn)品的所有對(duì)應(yīng)關(guān)系構(gòu)建一個(gè)打分矩陣會(huì)發(fā)現(xiàn)這個(gè)矩陣極其龐大，然而相比這個(gè)矩陣的容量，真實(shí)的用戶和產(chǎn)品歷史關(guān)聯(lián)個(gè)數(shù)的比例非常小，這種場(chǎng)景下很難獲取用戶和產(chǎn)品的準(zhǔn)確特征向量。數(shù)據(jù)稀疏帶來(lái)的影響包括：數(shù)據(jù)稀疏場(chǎng)景下獲取的用戶和產(chǎn)品特征過少，兩者的信息都存在缺失，無(wú)法準(zhǔn)確定位用戶興趣，也無(wú)法為用戶提供豐富的產(chǎn)品推薦。

2）冷啟動(dòng)問題。當(dāng)一個(gè)新用戶進(jìn)入系統(tǒng)時(shí)，因?yàn)槿狈^往的交易記錄，無(wú)法根據(jù)過去的消費(fèi)行為預(yù)測(cè)用戶的消費(fèi)興趣并進(jìn)行推薦，這是新用戶的冷啟動(dòng)問題。同理，當(dāng)一個(gè)新的商品進(jìn)入交易平臺(tái)，因其缺乏被消費(fèi)記錄，很難直接根據(jù)過往行為對(duì)其提取特征，也無(wú)法被準(zhǔn)確地推薦給用戶。

3）可解釋性問題。所謂可解釋性，就是在為用戶提供推薦的同時(shí)，給出推薦的理由。例如，用戶在亞馬遜上買書時(shí)，系統(tǒng)會(huì)推薦其他書籍；在今日頭條上看新聞時(shí)，會(huì)推薦其他新聞。在推薦時(shí)，不光給出推薦，且能夠提供推薦的解釋，能夠提升用戶對(duì)推薦系統(tǒng)的信任度和接受度，進(jìn)而提升用戶對(duì)推薦產(chǎn)品的滿意度［2］。

本文研究了當(dāng)前前沿推薦算法，基于異構(gòu)信息網(wǎng)絡(luò)以及深度學(xué)習(xí)技術(shù)，結(jié)合實(shí)際場(chǎng)景提出了一種數(shù)據(jù)稀疏環(huán)境下能夠挖掘用戶和產(chǎn)品深層次潛在信息并且預(yù)測(cè)用戶對(duì)產(chǎn)品興趣程度的混合推薦算法思路，能提升推薦模型在數(shù)據(jù)稀疏的場(chǎng)景下的推薦精度，適用于個(gè)性化推薦系統(tǒng)。對(duì)比其他模型，該模型能夠?qū)崿F(xiàn)將推薦平臺(tái)中豐富的結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)整合，實(shí)現(xiàn)了同平臺(tái)模型下推薦，并且該混合推薦模型具有推薦可解釋性以及實(shí)時(shí)推薦效率優(yōu)勢(shì)。該模型在推薦系統(tǒng)的工程應(yīng)用場(chǎng)景具有指導(dǎo)意義。

1 基于異構(gòu)信息網(wǎng)絡(luò)混合推薦模型

針對(duì)推薦平臺(tái)中用戶間的社交信息以及用戶和產(chǎn)品復(fù)雜的屬性信息，由此構(gòu)建的異構(gòu)信息網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，為使得推薦系統(tǒng)在數(shù)據(jù)稀疏的環(huán)境下提升推薦準(zhǔn)確度并且具有可解釋性，本文提出了一種異構(gòu)信息網(wǎng)絡(luò)（Heterogeneous Information Network，HIN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）結(jié)合的混合推薦模型。利用兩種模型獲取結(jié)構(gòu)化的數(shù)據(jù)特征，組合特征后利用因子分解機(jī)（Factorization Machine，F(xiàn)M）［3］構(gòu)建推薦評(píng)分預(yù)測(cè)模型，并且利用非單調(diào)函數(shù)的加速近端梯度（nonmonotonous Accelerate Proximal Gradient，nmAPG）［4］算法優(yōu)化模型，得到最終的混合推薦模型。

1.1 基于Meta-Graph的異構(gòu)信息網(wǎng)絡(luò)的特征提取

異構(gòu)信息網(wǎng)絡(luò)可以承載網(wǎng)絡(luò)中的多種節(jié)點(diǎn)類型和節(jié)點(diǎn)之間的多種關(guān)聯(lián)類型，能更加精準(zhǔn)地定義出信息網(wǎng)絡(luò)中的不同語(yǔ)義從而挖掘出更深層次的信息。異構(gòu)信息網(wǎng)絡(luò)在互聯(lián)網(wǎng)平臺(tái)的應(yīng)用非常豐富，例如微博網(wǎng)絡(luò)、醫(yī)療信息網(wǎng)絡(luò)、電子商務(wù)網(wǎng)絡(luò)以及新聞網(wǎng)絡(luò)等，將復(fù)雜場(chǎng)景里的對(duì)象和對(duì)象之間的關(guān)聯(lián)關(guān)系裝載進(jìn)一個(gè)結(jié)構(gòu)化的網(wǎng)絡(luò)并且通過該網(wǎng)絡(luò)分析，得到了廣泛的關(guān)注。

一般來(lái)說，異構(gòu)信息網(wǎng)絡(luò)可以表示為G=（V，E），其中V表示網(wǎng)絡(luò)中的對(duì)象集合，E表示網(wǎng)絡(luò)的邊集合，整個(gè)異構(gòu)網(wǎng)絡(luò)由這兩個(gè)集合構(gòu)成［5］。以文獻(xiàn)信息網(wǎng)絡(luò)為例構(gòu)建的HIN，簡(jiǎn)單來(lái)說包括了作者（Author）、論文（Paper）、會(huì)議（Venue），以及主題（Topic）。圖1 展現(xiàn)了如何根據(jù)這些對(duì)象和關(guān)系構(gòu)建一個(gè)HIN。

圖1 文獻(xiàn)異構(gòu)信息網(wǎng)絡(luò)示例Fig.1 Example of literature HIN

以圖1所示文獻(xiàn)信息網(wǎng)絡(luò)為例構(gòu)建一個(gè)Network Schema，如圖2所示。

圖2 文獻(xiàn)異構(gòu)信息網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of literature HIN

假如希望構(gòu)建三種類型的Meta-Graph 關(guān)聯(lián)矩陣：M1、M2和M3。其中：M1描述了Author 到Topic 的關(guān)聯(lián)關(guān)系，即Author→Paper→Topic，簡(jiǎn)稱為APT；M2描述了Author 到Venue 的關(guān)聯(lián)關(guān)系，即Author→Paper→Venue，簡(jiǎn)稱為APV；M3描述了Author 到Author 的關(guān)聯(lián)關(guān)系，即Author→Paper→Author 簡(jiǎn)稱為APA。M1、M2、M3如圖3所示。

圖3 文獻(xiàn)異構(gòu)信息網(wǎng)絡(luò)結(jié)構(gòu)拆分Fig.3 Literature HIN structural decomposition

將一條設(shè)定好的路徑中每一個(gè)對(duì)象類型和下一個(gè)對(duì)象類型之間的關(guān)聯(lián)關(guān)系構(gòu)建成一個(gè)鄰接矩陣，如構(gòu)建一個(gè)Author-Paper 的鄰接矩陣，設(shè)定一個(gè)元路徑P=（A1，A2，…，Al），其中：A表示某種數(shù)據(jù)類型，A1和Al可以是同種類型也可以是不同種類型；W表示兩個(gè)直接相連對(duì)象構(gòu)建的鄰接矩陣。路徑P在一個(gè)完整的異構(gòu)信息網(wǎng)絡(luò)G=（V，E）中構(gòu)建的相似度矩陣定義如下：

最終M是一個(gè)基于路徑P構(gòu)建的矩陣，矩陣的橫縱坐標(biāo)是A1和Al類型的對(duì)象。例如，文獻(xiàn)信息網(wǎng)絡(luò)中的APA路徑，由此路徑構(gòu)建出來(lái)的矩陣最終橫縱坐標(biāo)都為Author，矩陣中的數(shù)值是通過式（1）將若干個(gè)鄰接矩陣相乘得來(lái)。表示類型Ai和類型Aj之間的鄰接矩陣，最終的矩陣M便是路徑兩端類型對(duì)象的相似度矩陣［6］。

對(duì)于上例的Meta-Graph，描述的都是單通道的傳遞關(guān)系，然后現(xiàn)實(shí)中存在著許多復(fù)合機(jī)構(gòu)的路徑，圖4 展示了單通道路徑和存在復(fù)合結(jié)構(gòu)的路徑。

圖4 Meta-Path與Meta-Graph對(duì)比Fig.4 Meta-Path and Meta-Graph comparison

以圖3 中的M2路徑為例，從源節(jié)點(diǎn)U1到目標(biāo)節(jié)點(diǎn)B2的路線有兩條：（U，R，B，R，U，B）和（U，R，A，R，U，B）。其中（R，B，R）表示兩個(gè)評(píng)論對(duì)同一個(gè)商品有相同的評(píng)價(jià)，而（R，A，R）表示兩個(gè)評(píng)論都提及了相關(guān)的主題，這兩種路徑都可用于計(jì)算評(píng)論的相似性［7］。那么如何通過這種存在分支的復(fù)合型路徑，計(jì)算Meta-Graph兩端的對(duì)象之間的相似性，將利用矩陣計(jì)算結(jié)果。

在M2路徑中，首先可以計(jì)算出User 和Review 的鄰接矩陣，以WUR表示，WTUR表示W(wǎng)UR的轉(zhuǎn)置矩陣。以WRB表示Review和Business 的鄰接矩陣，WTRB為WRB的轉(zhuǎn)置矩陣。以WUB表示User 和Business 的鄰接矩陣，WTUB為WUB的轉(zhuǎn)置矩陣。以WRA表示Review和Aspect的鄰接矩陣，WTRA為WRA的轉(zhuǎn)置矩陣。

以C表示兩個(gè)矩陣相互計(jì)算的結(jié)果矩陣。在基于Meta-Path 的路徑中，從左到右將矩陣依次相乘即可；在基于Meta-Graph 的M2中，左右兩端的單通道部分依然可以這么做，而在復(fù)合結(jié)構(gòu)位置，即（R，B，R）和（R，A，R）處，可采用Hadamard積（也可稱為元素相關(guān)積）計(jì)算R→R的可矩陣，可表示為CSr=CP1☉CP2，其中CP1=WRB·WTRB，CP2=WRA·WTRA。

至此，基于元結(jié)構(gòu)Meta-Graph 的路徑M2兩端對(duì)象的相似性矩陣計(jì)算完成。在現(xiàn)實(shí)場(chǎng)景中，對(duì)象以及對(duì)象之間的關(guān)系數(shù)據(jù)往往是更加復(fù)雜的，可以構(gòu)建多條Meta-Graph 來(lái)描述它們之間的關(guān)系，并且基于每條Meta-Graph 生成一個(gè)User-Item相似度矩陣。

通過相似性計(jì)算可以獲得基于Meta-Graph的源節(jié)點(diǎn)對(duì)象以及目標(biāo)節(jié)點(diǎn)對(duì)象之間的相似度矩陣，推薦系統(tǒng)往往希望通過這些相似度矩陣獲取兩種對(duì)象的特征表達(dá)，用于后期計(jì)算任意兩個(gè)對(duì)應(yīng)對(duì)象之間的關(guān)聯(lián)程度。

為了在數(shù)據(jù)稀疏的場(chǎng)景下獲取用戶和產(chǎn)品的特征信息以及挖掘特征的深層次語(yǔ)義，可采用矩陣分解方式［3-4］。本文對(duì)計(jì)算好的相似度矩陣采取FunkSVD 矩陣分解算法，將User-Item 相似度矩陣分解成User 和Item 兩個(gè)隱式向量矩陣，且隱式向量的維度相同。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的特征獲取

針對(duì)推薦平臺(tái)存在大量文本信息此類非結(jié)構(gòu)化數(shù)據(jù)，本文采取卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型提取文本信息的深度特征，并通過神經(jīng)網(wǎng)絡(luò)將其他異構(gòu)信息網(wǎng)絡(luò)不能直接提取的特征與文本信息特征實(shí)現(xiàn)全連接，完成基于CNN的特征獲取。

CNN 相對(duì)于其他深度學(xué)習(xí)算法，其特色在于卷積以及池化方法，常用于特征提取。在許多應(yīng)用場(chǎng)景中，如圖像處理，CNN 模型會(huì)以一個(gè)filter 作為滑動(dòng)窗口，在輸入數(shù)據(jù)矩陣上根據(jù)步長(zhǎng)做橫向和縱向的移動(dòng)，從而掃描每塊區(qū)域并且提取特征。而在自然語(yǔ)言處理（Natural Language Processing，NLP）場(chǎng)景之中，CNN模型可以將句子作為輸入單位，并將句子做分詞處理，將句子中的每個(gè)單詞以維度相同的向量表示，組成一個(gè)輸入矩陣，從而進(jìn)入卷積和池化操作。圖5 參考文獻(xiàn)［8］，展示了CNN實(shí)現(xiàn)文本分類的簡(jiǎn)單過程。

圖5 文本卷積神經(jīng)網(wǎng)絡(luò)Fig.5 Text-CNN

異構(gòu)信息網(wǎng)絡(luò)中對(duì)象間相似度計(jì)算基于鄰接矩陣計(jì)算，然而類似于ID 這樣的數(shù)據(jù)因?yàn)榫哂形ㄒ恍詿o(wú)法參與計(jì)算，然而此類數(shù)據(jù)包含了許多特征。對(duì)于此類數(shù)據(jù)，本文通過傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型將數(shù)據(jù)傳達(dá)到嵌入層后，與1.1 節(jié)所獲取的文本特征進(jìn)行全連接，獲取完整的User、Item特征向量。

基于CNN 特征提取的結(jié)構(gòu)如圖6 所示。其中：U_1、U_2表示User 特征1、特征2；I_1、I_2 和I_text 表示Item 特征1、特征2和文本信息。

圖6 基于卷積神經(jīng)網(wǎng)絡(luò)模型的特征提取Fig.6 Feature extraction based on convolutional neural network model

至此，基于CNN的特征提取完成。

1.3 混合推薦評(píng)分預(yù)測(cè)模型

通過前文方法分別獲取了兩組特征，分別是從異構(gòu)信息網(wǎng)絡(luò)模型獲取的User 和Item 隱式特征矩陣以及來(lái)自基于CNN 模型的User 和Item 特征。其中，來(lái)自隱式特征的維度為F，為方便計(jì)算將來(lái)自CNN 模型的User 和Item 特征的維度同樣控制為F。

假設(shè)在異構(gòu)信息網(wǎng)絡(luò)模型中設(shè)計(jì)了L條Meta-Graph，那么將獲得L個(gè)User 和Item 隱式特征矩陣且維度皆為F，此外，將同屬于一個(gè)User 或Item 的特征進(jìn)行拼接，最終每個(gè)User/Item 將獲得（L+1）×F維度的特征向量。第i個(gè)User 和第j個(gè)Item的完整特征向量可表示為：

假設(shè)需要預(yù)測(cè)第i個(gè)User 對(duì)第j個(gè)Item 的評(píng)分預(yù)測(cè)，以xn表示該單次預(yù)測(cè)所需的所有特征向量，則其維度如下所示：

其中：xn表示連接后第n個(gè)樣本的特征向量。式（4）中所描述的xn可以理解為預(yù)測(cè)用戶i對(duì)產(chǎn)品j評(píng)分所需的完整特征集合，L表示用戶和產(chǎn)品的隱式向量矩陣個(gè)數(shù)，組合基于CNN 的特征后共（L+1）組，F(xiàn)表示每個(gè)矩陣分解后的用戶和產(chǎn)品的隱式向量維度。為了使得基于不同元路徑分離出來(lái)用于預(yù)測(cè)用戶i對(duì)產(chǎn)品j的所有特征能交互進(jìn)行計(jì)算，本文使用因子分解機(jī)（FM）進(jìn)行預(yù)測(cè)［8-9］。

不同于二階多項(xiàng)式核支持向量機(jī)（Support Vector Machine，SVM），因子分解機(jī)為每個(gè)維度的特征xi學(xué)習(xí)一個(gè)表征向量vi，可以理解為類似于特征ID 的embedding 向量，其中這個(gè)向量的維度可以設(shè)定，以K來(lái)表示。那么在計(jì)算特征交叉信息時(shí)，兩兩特征相乘后的權(quán)重為這兩個(gè)特征的表征向量的點(diǎn)積。模型訓(xùn)練時(shí)，除了訓(xùn)練偏置項(xiàng)以及每個(gè)特征的單獨(dú)權(quán)重外，還需訓(xùn)練每個(gè)特征的表征向量。同時(shí)，User在為Item打分時(shí)，當(dāng)前User 和Item 的歷史平均分也具有重要參考價(jià)值，因此本文將這兩個(gè)歷史平均分融入因子分解機(jī)中，優(yōu)化后的預(yù)測(cè)函數(shù)表示為：

如此多的特征卷入，需要訓(xùn)練大量參數(shù)，當(dāng)模型訓(xùn)練完時(shí)，如此大量的參數(shù)在實(shí)時(shí)推薦中效率極低。因此，在定義完整的損失函數(shù)并訓(xùn)練時(shí)，應(yīng)加入正則項(xiàng)去懲罰參數(shù)，使得模型在后續(xù)優(yōu)化過程中能夠挑選出有用的Meta-Graph，而忽略沒用的，此外也降低推薦時(shí)的計(jì)算成本［11］。

為解決以上問題，本文引入Group Lasso 分組最小角回歸算法［9］，它是一種能夠以組為單位的參數(shù)約束辦法。式（6）展示了基于L2范式的分組最小角回歸算：

其中：G表示分組的總數(shù)，從第一組開始遍歷；‖pg‖2表示該組所有參數(shù)的L2范式值，即該組所有元素的平方和再開方。將此方法作為正則化加入損失函數(shù)中，能夠極大地約束每組參數(shù)。上文介紹過，利用FM 進(jìn)行預(yù)測(cè)，一組輸入需要的特征個(gè)數(shù)為2×（L+1）×F，對(duì)于每個(gè)特征一一對(duì)應(yīng)的參數(shù)個(gè)數(shù)同樣為2×（L+1）×F，這個(gè)參數(shù)可以F個(gè)參數(shù)為一組，分為2（L+1）組。那么對(duì)于這個(gè)參數(shù)集的最小角回歸算法如下：

其中：wl表示第l組的參數(shù)，每組參數(shù)的維度都是F，求得了針對(duì)w的每組參數(shù)的L2 范式的累加和。而針對(duì)交叉計(jì)算的部分，上文介紹到，F(xiàn)M 為每個(gè)特征學(xué)習(xí)了維度為K的表征向量，本文將這些參數(shù)用V表示，可以將其看成一個(gè)矩陣，格式為（2×（L+1）×F，K），因此可以得到：

其中：Vl表示第l組參數(shù)矩陣；F 表示計(jì)算矩陣Vl的Frobenius范數(shù)，簡(jiǎn)稱F-范數(shù)是一種矩陣范數(shù)，記為‖‖·F。矩陣A的Frobenius范數(shù)定義為矩陣A各項(xiàng)元素的絕對(duì)值平方的總和再開方，計(jì)算公式可表達(dá)為：

完成兩個(gè)Group Lasso 的定義后，將其作為正則化項(xiàng)加入后，可以得到完整的損失函數(shù)，如式（10）～（11）所示：

其中：N=d=2×（L+1）。損失函數(shù)（10）因?yàn)橐肓藘蓚€(gè)正則化器（式（7）～（8）），且這兩個(gè)正則化器存在不可導(dǎo)點(diǎn)，使損失函數(shù)成為非光滑函數(shù)。此外，針對(duì)損失函數(shù)的優(yōu)化需要判斷該函數(shù)的凹凸性，由于該損失函數(shù)待訓(xùn)練參數(shù)為w和V兩組，且每組參數(shù)都為矩陣，因此損失函數(shù)為多元函數(shù)。針對(duì)多元函數(shù)判斷凹凸性，本文引入Hession 矩陣進(jìn)行判斷，以f表示n元損失函數(shù)，則Hession矩陣的表示形式如下：

通過判斷Hession 矩陣的正定性可以判斷多元函數(shù)的凹凸性：當(dāng)多元函數(shù)對(duì)應(yīng)的Hession 的特征值均大于0 時(shí)，該矩陣為正定矩陣，多元函數(shù)為凸函數(shù)；反之則為凹函數(shù)。

由于損失函數(shù)中包括了預(yù)測(cè)函數(shù)（式（8）），針對(duì)參數(shù)矩陣V構(gòu)建Hession矩陣，該矩陣的特征值計(jì)算結(jié)果可得公式：

其中：n表示輸入特征的個(gè)數(shù)；xi表示輸入特征。從式（13）可以看出n為偶數(shù)且大于1，K表示每個(gè)特征表征向量的維度，如此可以看出λ的取值不是全為0，因此預(yù)測(cè)函數(shù)以及損失函數(shù)均為非凸函數(shù)。

觀察這個(gè)完整的損失函數(shù)，可以判斷出它是一個(gè)非凸非光滑的函數(shù)，因而損失函數(shù)最低值求解轉(zhuǎn)變成了一個(gè)非凸非光滑函數(shù)的最低值求解問題，優(yōu)化這個(gè)損失函數(shù)本文采用非單調(diào)加速近端梯度算法實(shí)現(xiàn)參數(shù)調(diào)整。

1.4 模型優(yōu)化

確定了損失函數(shù)之后能夠發(fā)現(xiàn)，損失函數(shù)的優(yōu)化是一個(gè)非凸非光滑的最小值問題。對(duì)于類似問題的優(yōu)化常用近端梯度下降算法［10］實(shí)現(xiàn)。下面介紹如何利用非單調(diào)函數(shù)的加速近端梯度算法（nmAPG）優(yōu)化損失函數(shù)里的兩組參數(shù)w和V。

首先，在模型訓(xùn)練前，初始化w和V的矩陣元素值為隨機(jī)值（random），將其視為矩陣的話其矩陣大小分別為：（1，2×（L+1）×F）和（K，2×（L+1）×F），矩陣元素初始化完成之后再初始化幾個(gè)優(yōu)化模型的參數(shù)，如下：h(w1，V1)，q1=1，a0=0，a1=1。wi和Vi表示訓(xùn)練過程中迭代第i次后的w和V；c（wi，Vi）表示第i次迭代后的代入?yún)?shù)wi、Vi后的損失函數(shù)值；β和α為＞0的常量，a表示線性步長(zhǎng)。

yt表示將第t次迭代后參數(shù)wt和鄰近算子wˉ和第t-1 次迭代后參數(shù)wt-1結(jié)合步長(zhǎng)at和at-1線性組合后得到的線性預(yù)測(cè)參數(shù)，表達(dá)式如下：

同理Yt表示將第t次迭代后參數(shù)Vt和鄰近算子和第t-1 次迭代后參數(shù)Vt-1結(jié)合步長(zhǎng)at和at-1線性組合后得到的線性預(yù)測(cè)參數(shù)，表達(dá)式如下：

參數(shù)w的鄰近算子的表達(dá)式［12］如下：

其中：g=1，2，…，G表示分組；表示L2-norm［13］。

參數(shù)V的鄰近算子表達(dá)式如下：

User 以及Item 的歷史平均分乘積的開方項(xiàng)的系數(shù)以q表示，則每輪循環(huán)該參數(shù)的更新［14］如下：

則對(duì)于第t次迭代時(shí)，基于線性預(yù)測(cè)參數(shù)的w鄰近算子表達(dá)式可寫為：

其中：?hw（yt，Yt）表示對(duì)于損失函數(shù)h的參數(shù)w求導(dǎo)梯度。同理可得，第t次迭代時(shí)，基于線性預(yù)測(cè)參數(shù)的V鄰近算子表達(dá)式可寫為：

計(jì)算第t次迭代下參數(shù)集w的線性組合參數(shù)和其對(duì)應(yīng)更新的鄰近算子參數(shù)的差的L2-norm值，同理計(jì)算參數(shù)V的線性組合參數(shù)和其對(duì)應(yīng)更新的鄰近算子參數(shù)差值的Frobeniusnorm，相加后為本輪Δt值：

在訓(xùn)練過程中每次迭代一輪，需要更新以下參數(shù)：

完整的nmAPG 針對(duì)損失函數(shù)h（w，V）的訓(xùn)練過程［15］如下：

最終，經(jīng)過指定次數(shù)的迭代或Δt＜閾值ε，ε科學(xué)技術(shù)法取值1E-8，w和V參數(shù)逐漸穩(wěn)定，模型訓(xùn)練完成［16］。

2 實(shí)驗(yàn)與驗(yàn)證

2.1 數(shù)據(jù)集

實(shí)驗(yàn)采用Kaggle 上公開發(fā)布的數(shù)據(jù)集yelp dataset（Version 9）。yelp 是美國(guó)著名的商戶點(diǎn)評(píng)網(wǎng)站，適用領(lǐng)域囊括了酒店、購(gòu)物中心、各地餐館以及旅游等商戶，用戶可以在yelp 網(wǎng)站上給商戶打分、提交評(píng)論以及交流購(gòu)物體驗(yàn)等，是一款受眾十分廣泛的應(yīng)用。其中實(shí)驗(yàn)所使用的數(shù)據(jù)集內(nèi)數(shù)據(jù)文件主要為：yelp_business，yelp_review 以及yelp_User，文件格式為csv。

實(shí)驗(yàn)中yelp_business文件采用的字段包括：｛business_id，name，neighborhood，address，city、state，postal_code，latitude，longitude，stars，review_count，categories，Parking、AcceptCreditcard｝，共174 567行；

yelp_review 文件中的字段包括：｛review_id，business_id，User_id，stars，date，text｝，共17 746 490行；

yelp_User 文件包含的主要字段有：｛User_id，User_name，friends_name，fans_number｝，共1 048 576行。

本文以yelp 數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，設(shè)計(jì)9 條Meta-Graph來(lái)描述異構(gòu)信息網(wǎng)絡(luò)中User 到Business 的關(guān)聯(lián)路徑，通過矩陣乘法獲取多個(gè)User-Business 相似度矩陣，以FunkSVD 算法獲取多組User 和Business 隱式向量矩陣，通過重組獲取完整的User和Business 特征向量后，以因子分解機(jī)做預(yù)測(cè)，并通過優(yōu)化算法反復(fù)優(yōu)化模型參數(shù)。推薦模型的效果以均方根誤差作為評(píng)判標(biāo)準(zhǔn)。基于異構(gòu)信息網(wǎng)絡(luò)的推薦模型，首先需要為模型構(gòu)建適當(dāng)?shù)穆窂接靡悦枋鰯?shù)據(jù)集中的對(duì)象以及對(duì)象間的聯(lián)系?；跀?shù)據(jù)集包含的字段，共構(gòu)建了9 條Meta-Graph，如圖7所示。

圖7 實(shí)驗(yàn)Meta-Graph設(shè)計(jì)Fig.7 Experimental Meta-Graph design

2.2 混合推薦模型試驗(yàn)驗(yàn)證

實(shí)驗(yàn)經(jīng)過損失函數(shù)計(jì)算以及模型優(yōu)化階段后，以均方根誤差（Root Mean Squared Error，RMSE）作為推薦模型效果的體現(xiàn)標(biāo)準(zhǔn)，圖8 顯示了模型在參數(shù)λ不同取值情況下，推薦模型的RMSE 的變化情況，其中，參數(shù)λ=10-1時(shí)獲得最佳實(shí)驗(yàn)結(jié)果，RMSE為1.187 8。

圖8 混合推薦模型訓(xùn)練結(jié)果Fig.8 Training effect of hybrid recommendation model

圖9展示了當(dāng)λ=10-1時(shí)，推薦模型RMSE的收斂情況。

圖9 混合推薦模型訓(xùn)練階段RMSE收斂趨勢(shì)Fig.9 RMSE convergence trend of hybrid recommendation model in training stage

表1 展示了模型訓(xùn)練完成之后，參數(shù)對(duì)應(yīng)的Meta-Graph的選擇情況。從表1 可看出，訓(xùn)練完成的混合推薦模型對(duì)參數(shù)以分組形式進(jìn)行了挑選，保留了對(duì)預(yù)測(cè)有貢獻(xiàn)的參數(shù)，并對(duì)無(wú)用參數(shù)歸零，在實(shí)時(shí)推薦場(chǎng)景中可以幫助有效提高推薦效率。

表1 混合推薦模型參數(shù)選擇結(jié)果Tab.1 Parameter selection results of hybrid recommendation model

實(shí)時(shí)推薦階段，平臺(tái)可以分析推薦結(jié)果，提高推薦的可解釋性。例如預(yù)測(cè)某個(gè)用戶對(duì)某個(gè)產(chǎn)品的評(píng)分較高將進(jìn)行推薦，可以分析是哪些特征的貢獻(xiàn)較大，例如基于地理位置Meta-Graph 解析得到的用戶隱式特征向量和產(chǎn)品隱式向量，在本輪推薦時(shí)貢獻(xiàn)了較大權(quán)重，以此類推，分析本次推薦結(jié)果的組成原因，增強(qiáng)可解釋性。

2.3 對(duì)比實(shí)驗(yàn)

2.3.1 基于Meta-Graph的異構(gòu)信息網(wǎng)絡(luò)推薦模型

為體現(xiàn)混合模型引入非結(jié)構(gòu)化數(shù)據(jù)特征后推薦精度的提升，本節(jié)將構(gòu)建基于Meta-Graph的異構(gòu)信息網(wǎng)絡(luò)推薦模型，此模型為未結(jié)合非結(jié)構(gòu)化數(shù)據(jù)特征的單一推薦模型，并介紹其實(shí)驗(yàn)?zāi)Ｐ蜆?gòu)建以及實(shí)驗(yàn)效果，與混合推薦模型的實(shí)驗(yàn)效果作對(duì)比。

該模型采用了與混合推薦模型相同的Meta-Graph 設(shè)計(jì)，不同于混合推薦模型，該推薦模型未融入基于卷積神經(jīng)網(wǎng)絡(luò)模型的特征，且預(yù)測(cè)函數(shù)中未添加User 和Item 的歷史平均分項(xiàng)，相對(duì)于混合推薦模型，該模型也可稱為單一推薦模型。由此共得到18個(gè)相似度矩陣，經(jīng)過矩陣分解算法得到18個(gè)User隱式向量矩陣和18 個(gè)Business 隱式向量矩陣。每個(gè)User 和Business 別獲得18 組維度為10 的特征，因此每個(gè)User 和Business的維度為180。

實(shí)驗(yàn)經(jīng)過模型優(yōu)化階段后，以RMSE 作為推薦模型效果的體現(xiàn)標(biāo)準(zhǔn)，圖10 展示了在參數(shù)λ不同取值情況下，推薦模型的RMSE的變化情況。

圖10 基于Meta-Grpah異構(gòu)信息網(wǎng)絡(luò)的推薦模型訓(xùn)練效果Fig.10 Training effect of recommendation model based on Meta-Grpah heterogeneous information network

由實(shí)驗(yàn)可得，模型在λ=10-2時(shí)達(dá)到了均方根誤差的最低值1.228。圖11 展示了當(dāng)λ=10-2時(shí)，推薦模型訓(xùn)練過程中RMSE的收斂情況。

圖11 基于異構(gòu)信息網(wǎng)絡(luò)推薦模型訓(xùn)練階段RMSE收斂趨勢(shì)Fig.11 RMSE convergence trend of recommendation model based on Meta-Grpah heterogeneous information network

表2 展示了在模型訓(xùn)練完成后，每條Meta-Graph 對(duì)模型中參數(shù)w和參數(shù)V的貢獻(xiàn)情況。

表2 基于Meta-Grpah異構(gòu)信息網(wǎng)絡(luò)推薦模型參數(shù)選擇結(jié)果Tab.2 Parameter selection results of recommendation model based on Meta-Grpah heterogeneous information network

2.3.2 其他推薦模型

基于FunkSVD 的推薦算法：采取一種線性回歸的思想將User-Item 評(píng)分矩陣C分解成P和Q兩個(gè)矩陣，分別代表User隱式特征矩陣和Item 隱式特征矩陣；再將P、Q矩陣相乘得到User-Item 評(píng)分預(yù)測(cè)矩陣，以矩陣分解再相乘的方式重構(gòu)結(jié)果矩陣。該算法在奇異值分解（Singular Value Decomposition，SVD）的技術(shù)上優(yōu)化數(shù)據(jù)稠密以及計(jì)算復(fù)雜度的難題。

基于因子分解機(jī)推薦（FM Recommendation，F(xiàn)MR）模型的推薦算法：對(duì)User-Item 評(píng)分矩陣，采取矩陣分解算法獲得P（User 隱式特征矩陣）和Q（Item 隱式特征矩陣），并以因子分解機(jī)（FM）的方式實(shí)現(xiàn)評(píng)分預(yù)測(cè)。

這兩類模型在推薦效果上有優(yōu)秀的表現(xiàn)，并且為當(dāng)前應(yīng)用領(lǐng)域最成熟最廣泛的算法之一。

2.4 模型對(duì)比結(jié)果

實(shí)驗(yàn)結(jié)果表明，混合推薦模型在數(shù)據(jù)稀疏的場(chǎng)景下能有效地整合結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)以實(shí)現(xiàn)共同推薦，并在訓(xùn)練完成后獲得的模型參數(shù)上可以觀察到，每條Meta-Graph和基于卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)模型預(yù)測(cè)結(jié)果的貢獻(xiàn)程度，模型實(shí)現(xiàn)了將無(wú)效特征參數(shù)歸零，保證了模型的可解釋性并且提高了混合推薦模型的實(shí)時(shí)推薦效率。

其次，混合推薦模型在推薦精度上對(duì)比單一的基于Meta-Graph 異構(gòu)信息網(wǎng)絡(luò)推薦系統(tǒng)有所提升，圖12 展示了兩種模型在相同數(shù)據(jù)集上不同λ取值時(shí)RMSE 的計(jì)算結(jié)果對(duì)比效果。從圖12 可看出：混合推薦模型在λ=10-1處取得最優(yōu)結(jié)果；而基于Meta-Graph 的異構(gòu)信息網(wǎng)絡(luò)推薦模型在λ=10-2處取得最優(yōu)結(jié)果。顯然混合推薦模型的訓(xùn)練效果優(yōu)于基于Meta-Graph的異構(gòu)信息網(wǎng)絡(luò)推薦模型。

圖12 混合推薦模型和單一推薦模型的訓(xùn)練效果對(duì)比Fig.12 Training effect comparison between hybrid recommendation model and single recommendation model

此外，本文對(duì)兩種傳統(tǒng)推薦模型FunkSVD 和FMR 在相同數(shù)據(jù)集上進(jìn)行了訓(xùn)練，同樣以均方根誤差（RMSE）作為效果評(píng)判標(biāo)準(zhǔn)，取其最優(yōu)效果參與推薦模型對(duì)標(biāo)。

表3 直觀地展示了本節(jié)描述的各個(gè)推薦模型在相同數(shù)據(jù)集yelp 中的最優(yōu)訓(xùn)練效果（以RMSE 體現(xiàn)），并且將混合推薦模型對(duì)比其余模型驗(yàn)證了混合推薦系統(tǒng)在推薦精度上不同程度的提升。

表3 不同模型最優(yōu)RMSE對(duì)比Tab.3 Comparison of the best RMSE of different models

2.5 結(jié)果分析

實(shí)驗(yàn)結(jié)果表明，在數(shù)據(jù)稀疏場(chǎng)景中，基于異構(gòu)信息網(wǎng)絡(luò)的混合推薦模型在相同數(shù)據(jù)集上的推薦性能，較其他單一推薦模型以及傳統(tǒng)推薦模型有不同程度的提高。其次混合推薦模型的各項(xiàng)參數(shù)對(duì)應(yīng)不同Meta-Graph以及卷積神經(jīng)網(wǎng)絡(luò)模型提取特征，使其在推薦環(huán)節(jié)具有解釋性。模型參數(shù)在訓(xùn)練過程中可有效保留有用參數(shù)，能在實(shí)時(shí)推薦環(huán)節(jié)提高效率。

3 結(jié)語(yǔ)

本文基于當(dāng)前推薦平臺(tái)的數(shù)據(jù)復(fù)雜性，提出了一種基于異構(gòu)信息網(wǎng)絡(luò)的混合推薦模型，該模型基于Meta-Graph 相似度計(jì)算方法以及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)提取出User 和Item 的結(jié)構(gòu)化和非結(jié)構(gòu)化特征表示，并利用因子分解機(jī)實(shí)現(xiàn)預(yù)測(cè)。經(jīng)過訓(xùn)練后的模型在實(shí)驗(yàn)環(huán)節(jié)達(dá)到推薦的有效性、可解釋性，并且對(duì)比多種模型在推薦精度上有不同程度的提升，在工程實(shí)踐中有指導(dǎo)性作用。