基于元學(xué)習(xí)的多視圖對(duì)比融合冷啟動(dòng)推薦算法

摘 要：針對(duì)當(dāng)前冷啟動(dòng)推薦模型在處理異質(zhì)信息網(wǎng)絡(luò)時(shí)難以充分挖掘結(jié)構(gòu)與語(yǔ)義信息，以及忽略網(wǎng)絡(luò)中用戶行為屬性的問(wèn)題，提出了一種基于元學(xué)習(xí)的多視圖對(duì)比融合冷啟動(dòng)推薦算法（MVC-ML）。該算法在模型層和數(shù)據(jù)層雙重作用下，有效緩解了冷啟動(dòng)問(wèn)題。在MVC-ML算法框架中，首先通過(guò)元路徑視圖提取異質(zhì)信息網(wǎng)絡(luò)的高階語(yǔ)義信息；其次，利用網(wǎng)絡(luò)模式視圖捕獲網(wǎng)絡(luò)的結(jié)構(gòu)特征；再接著，通過(guò)聚類視圖分析用戶行為屬性信息；最后，運(yùn)用對(duì)比學(xué)習(xí)方法，將上述三個(gè)視圖中提煉的信息進(jìn)行綜合融合，以生成準(zhǔn)確的表示向量。通過(guò)在DBook等三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證，MVC-ML模型在冷啟動(dòng)場(chǎng)景下相較MetaHIN等傳統(tǒng)異質(zhì)信息網(wǎng)絡(luò)模型，在MAE上降低了1.67%，在RMSE上降低了2.06%，同時(shí)nDCG@K提高了1.48%。這些數(shù)據(jù)充分證實(shí)了MVC-ML算法的合理性和有效性。

關(guān)鍵詞：異質(zhì)信息網(wǎng)絡(luò)； 對(duì)比學(xué)習(xí)； 網(wǎng)絡(luò)模式； 冷啟動(dòng)

中圖分類號(hào)：TP391.3 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）07-015-2025-08

doi：10.19734/j.issn.1001-3695.2023.11.0547

Multi-view contrast fusion cold start recommendation algorithmbased on meta-learning

Abstract：Addressing the challenges faced by current cold start recommendation models in effectively mining structural and semantic information in heterogeneous information networks， and their tendency to overlook user behavior attributes within these networks， this paper introduced a meta-learning-based multi-view contrast fusion cold start recommendation algorithm（MVC-ML） . This algorithm effectively tackled the cold start problem at both the model and data layers. Within the MVC-ML framework， it firstly extracted higher-order semantic information from heterogeneous information networks using a meta-path view. Subsequently， it captured the network’s structural features using a network pattern view. Following this， the algorithm analyzed user behavior attribute information through a clustering view. Finally， MVC-ML employed a contrast learning method to integrate the information extracted from these three views， thus generating accurate representation vectors. Experimental validations on datasets， including DBook， demonstrate that the MVC-ML model， in a cold start scenario， reduces MAE by 1.67%， lowers RMSE by 2.06%， and increases nDCG@K by 1.48% compared to traditional heterogeneous information network models such as MetaHIN. These results fully confirm the rationality and effectiveness of the MVC-ML algorithm.

Key words：heterogeneous information network; contrast learning; network mode; cold start

0 引言

隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)信息數(shù)量呈指數(shù)級(jí)增長(zhǎng)，人們想要獲得自己想要的信息的難度越來(lái)越大。為了解決用戶信息過(guò)載問(wèn)題，推薦系統(tǒng)［1］被廣泛部署在各種在線服務(wù)當(dāng)中，例如電子商務(wù)平臺(tái)和新聞門戶。在這些服務(wù)當(dāng)中，推薦系統(tǒng)會(huì)根據(jù)用戶的習(xí)慣和興趣給他們推薦合乎用戶心意的信息。傳統(tǒng)推薦系統(tǒng)的核心是協(xié)同過(guò)濾，主要是根據(jù)用戶的歷史動(dòng)作（如點(diǎn)擊、購(gòu)買等）來(lái)估計(jì)用戶對(duì)某物品的感興趣概率。但是對(duì)于一個(gè)新用戶或者新物品，它們之間的交互信息是稀疏的，如何在數(shù)據(jù)稀疏的情況下有效地學(xué)習(xí)新用戶和新物品的表示，這就是推薦系統(tǒng)冷啟動(dòng)問(wèn)題［2］。

為了緩解冷啟動(dòng)問(wèn)題，常見的方法是借助額外信息來(lái)對(duì)新用戶和新物品的表示進(jìn)行增強(qiáng)［3］。近年來(lái)，將異構(gòu)信息網(wǎng)絡(luò)和推薦系統(tǒng)進(jìn)行結(jié)合的研究越來(lái)越多，異構(gòu)信息網(wǎng)絡(luò)獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)能夠豐富用戶-物品之間的交互信息，從而加強(qiáng)用戶和物品的表示。異構(gòu)信息網(wǎng)絡(luò)在生活中廣泛存在，例如社交網(wǎng)絡(luò)、知識(shí)圖譜等［4］。圖1（a）就是個(gè)典型的異質(zhì)信息網(wǎng)絡(luò)，它不僅描述了用戶和電影之間的關(guān)系，還能捕獲用戶、電影與導(dǎo)演、演員之間的關(guān)系，圖1（b）是通過(guò)異構(gòu)信息網(wǎng)絡(luò)構(gòu)成的元路徑，它可以有效地表示異質(zhì)信息網(wǎng)絡(luò)的高階結(jié)構(gòu)和語(yǔ)義信息。例如，UMAM就表示了兩部電影具有相同的演員，而用戶已經(jīng)和其中一部電影有過(guò)交互。

在模型層面，元學(xué)習(xí)框架［5］為冷啟動(dòng)推薦問(wèn)題提供了新的研究路徑。元學(xué)習(xí)注重獲取一般性知識(shí)（即先驗(yàn)知識(shí)），以便利用先驗(yàn)和少量訓(xùn)練數(shù)據(jù)快速適應(yīng)新的學(xué)習(xí)任務(wù)。在某種程度上，冷啟動(dòng)推薦問(wèn)題可以變換為元學(xué)習(xí)問(wèn)題，其中每個(gè)任務(wù)是學(xué)習(xí)一個(gè)用戶的偏好。元學(xué)習(xí)從現(xiàn)有用戶的任務(wù)中學(xué)習(xí)到具有強(qiáng)泛化能力的先驗(yàn)知識(shí)，使得它可以在元測(cè)試期間快速適應(yīng)到新任務(wù)上，即為交互數(shù)據(jù)稀疏的冷啟動(dòng)用戶推薦物品。圖1（c）中，冷啟動(dòng)用戶u3（僅具有一個(gè)電影評(píng)級(jí)）可以從元測(cè)試的先驗(yàn)知識(shí)θ中被適配，其中先驗(yàn)知識(shí)是通過(guò)學(xué)習(xí)如何在元訓(xùn)練中適配現(xiàn)有用戶u1和u2而得出的。一些研究［6～8］采用元學(xué)習(xí)來(lái)解決冷啟動(dòng)問(wèn)題，并取得了一定的成果。

然而，這些研究通常是直接采用元學(xué)習(xí)框架，忽略了探索異質(zhì)信息網(wǎng)絡(luò)中獨(dú)特的異質(zhì)圖結(jié)構(gòu)和語(yǔ)義信息。一些模型［9，10］探索了異質(zhì)信息網(wǎng)絡(luò)的高階結(jié)構(gòu)和語(yǔ)義信息，但是這些模型并沒(méi)有利用異質(zhì)信息網(wǎng)絡(luò)本身的網(wǎng)絡(luò)結(jié)構(gòu)，這種網(wǎng)絡(luò)結(jié)構(gòu)直接刻畫了節(jié)點(diǎn)之間的聯(lián)系，能夠提供大量的輔助信息［11］。另一方面，利用元路徑描述異質(zhì)信息網(wǎng)絡(luò)的高階信息時(shí)會(huì)存在這樣一個(gè)問(wèn)題：如圖2所示，用戶u1和u2的偏好分布并不相似，但是他們都與m1有過(guò)交互，元路徑可以描述這種聯(lián)系，從而認(rèn)為他們是相關(guān)的。再來(lái)看用戶u2和u3，他們雖然沒(méi)有觀看過(guò)同樣的影片，但是他們有一個(gè)相似的偏好分布，即他們都喜歡看喜劇片和動(dòng)作片，這種偏好分布很可能不被元路徑所描述出來(lái)。

針對(duì)上述問(wèn)題，本文提出了基于元學(xué)習(xí)的多視圖對(duì)比融合冷啟動(dòng)推薦算法（MVC-ML），旨在解決下面的幾個(gè)挑戰(zhàn)：a）單一元路徑描述異質(zhì)信息網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和語(yǔ)義信息略顯不足，如何更具質(zhì)量地描述異質(zhì)信息網(wǎng)絡(luò)的結(jié)構(gòu)和語(yǔ)義信息？b）如何識(shí)別元路徑難以描述的偏好信息，提高用戶的特征表示質(zhì)量？

針對(duì)第一個(gè)問(wèn)題，本文考慮到了異質(zhì)信息網(wǎng)絡(luò)的元模板——網(wǎng)絡(luò)模式。網(wǎng)絡(luò)模式作為異質(zhì)信息網(wǎng)絡(luò)的本地結(jié)構(gòu)信息，它清晰直觀地展現(xiàn)出了節(jié)點(diǎn)之間的聯(lián)系。而元路徑作為描述異質(zhì)信息網(wǎng)絡(luò)結(jié)構(gòu)和語(yǔ)義信息的常用方式，如果將網(wǎng)絡(luò)模式視圖與元路徑視圖得到的信息進(jìn)行融合，對(duì)刻畫異質(zhì)信息網(wǎng)絡(luò)結(jié)構(gòu)和語(yǔ)義信息有很大的作用。

針對(duì)第二個(gè)問(wèn)題，考慮到用戶會(huì)帶有一些行為屬性簡(jiǎn)檔，簡(jiǎn)檔相似的用戶在一定程度上會(huì)具有相同的興趣，因此本文采用集群的方式，將具有相似行為屬性的用戶分到一個(gè)集群，增強(qiáng)用戶的關(guān)聯(lián)性。最后，對(duì)元路徑視圖、網(wǎng)絡(luò)模式視圖和聚類視圖進(jìn)行對(duì)比學(xué)習(xí)［12］，整合三個(gè)視圖的信息，最終得到用戶和物品的表示向量。

本文的貢獻(xiàn)總結(jié)如下：

a）提出了基于元學(xué)習(xí)的多視圖對(duì)比融合冷啟動(dòng)推薦算法，構(gòu)建了元路徑、網(wǎng)絡(luò)模式和聚類三個(gè)視圖，更準(zhǔn)確描述了異質(zhì)信息網(wǎng)絡(luò)高階信息，增強(qiáng)元學(xué)習(xí)過(guò)程中的用戶和物品表示，從而在數(shù)據(jù)和模型兩個(gè)方面解決冷啟動(dòng)問(wèn)題。

b）構(gòu)建了對(duì)比學(xué)習(xí)模塊，采用自監(jiān)督訓(xùn)練的方法，充分挖掘整合三個(gè)視圖中的信息，從而更深入地挖掘異質(zhì)信息網(wǎng)絡(luò)中無(wú)標(biāo)簽數(shù)據(jù)的信息。

c）對(duì)不同冷啟動(dòng)場(chǎng)景下的三個(gè)真實(shí)數(shù)據(jù)集進(jìn)行了廣泛的實(shí)證研究，證明了MVC-ML的合理性、有效性。

1 相關(guān)工作

1.1 冷啟動(dòng)推薦

基于深度學(xué)習(xí)的推薦算法［13］在提高推薦精度方面表明了其優(yōu)越性。但是，上述基于深度學(xué)習(xí)的推薦算法由于其歷史數(shù)據(jù)有限，以及個(gè)人差異導(dǎo)致的用戶偏好的偏差，很難對(duì)預(yù)測(cè)模型訓(xùn)練后出現(xiàn)的新用戶和新物品作出像樣的推薦。以上冷啟動(dòng)問(wèn)題一般存在推薦系統(tǒng)中，為了緩解缺乏歷史數(shù)據(jù)的問(wèn)題，在推薦系統(tǒng)中使用了輔助信息來(lái)描述新用戶和新物品。Li等人［14］介紹了行為密集型神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)還利用項(xiàng)目的文本內(nèi)容來(lái)學(xué)習(xí)語(yǔ)義潛在項(xiàng)目向量，并通過(guò)聚合其交互的項(xiàng)目來(lái)表示新用戶。除了上述基于文本特征的推薦系統(tǒng)之外，為了更好地學(xué)習(xí)特征嵌入之間的關(guān)系，Cheng等人［15］開發(fā)了自適應(yīng)分解網(wǎng)絡(luò) （AFN）。AFN提出了一種對(duì)數(shù)變換網(wǎng)絡(luò)，以有效地從數(shù)據(jù)中學(xué)習(xí)任意階交叉特征。但是，即使用戶具有不同的歷史交互數(shù)據(jù)，上述基于內(nèi)容的推薦系統(tǒng)始終為具有465249457ef61a65ebb26d3faa7709c2eaf512d67f11fd8b44c79ab1e824a8f3相同側(cè)面信息的用戶提供相同的建議。這些推薦系統(tǒng)忽略了用戶交互中的個(gè)體差異，無(wú)法準(zhǔn)確提供個(gè)人推薦。同時(shí)，跨域推薦（CDR）利用來(lái)自外部域的數(shù)據(jù)來(lái)提供目標(biāo)域中不足的交互。CDR被視為緩解缺乏互動(dòng)問(wèn)題的有前途的解決方案。按照這一思路，文獻(xiàn)［16，17］作出了一些改進(jìn)。例如，文獻(xiàn)［16］采用了領(lǐng)域?qū)箤W(xué)習(xí)來(lái)隱式地將交互模式從支持領(lǐng)域（support domain）轉(zhuǎn)移到目標(biāo)領(lǐng)域（target domain）。當(dāng)公共用戶或物品跨域存在時(shí)，諸如文獻(xiàn)［17］明確地將轉(zhuǎn)移用戶和物品的嵌入作為先驗(yàn)知識(shí)。上述這些方法只是在數(shù)據(jù)層面緩解冷啟動(dòng)推薦問(wèn)題， 對(duì)數(shù)據(jù)的可靠性有很大的依賴。

1.2 元學(xué)習(xí)

近年來(lái)研究人員將基于優(yōu)化的元學(xué)習(xí)［5］引入到了推薦系統(tǒng)當(dāng)中，以緩解推薦系統(tǒng)冷啟動(dòng)問(wèn)題?；趦?yōu)化的參數(shù)初始化的基本思想是將元知識(shí)w定義為基礎(chǔ)推薦模型的初始參數(shù)，然后以雙層優(yōu)化的形式更新參數(shù)初始化。在這個(gè)基礎(chǔ)上，Lee等人［6］首先將MAML框架引入冷啟動(dòng)推薦，并提出了MeLU，目的是學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的推薦模型的全局參數(shù)初始化作為先驗(yàn)知識(shí)。借鑒多個(gè)冷啟動(dòng)任務(wù)全局學(xué)習(xí)模型初始化參數(shù)的思想，Chen等人［7］在MeLU的基礎(chǔ)上提出了一種多先驗(yàn)元學(xué)習(xí)方法MPML，該方法配備了多組初始化參數(shù)，要分配哪一組初始化參數(shù)取決于在本地更新后哪個(gè)性能優(yōu)于其支持集。MetaEDL［18］采用MAML框架來(lái)通過(guò)置信學(xué)習(xí)增強(qiáng)推薦模型的初始化參數(shù)?？紤]到任務(wù)的異質(zhì)性問(wèn)題，MAMO［8］通過(guò)面對(duì)不同任務(wù)定制特定任務(wù)的初始化，在初始化推薦模型參數(shù)時(shí)提供了個(gè)性化的偏差項(xiàng)。遵循自定義特定任務(wù)初始化的相同想法，Wang等人［19］還認(rèn)為具有相似偏好的用戶應(yīng)該共享相似的先驗(yàn)知識(shí)，并提出了一種偏好自適應(yīng)元學(xué)習(xí)方法PAML，通過(guò)應(yīng)用外部元模型，將全局共享的先驗(yàn)初始化調(diào)整為偏好特定的初始化。除了基于推薦模型的參數(shù)初始化之外，一些工作還利用元學(xué)習(xí)來(lái)學(xué)習(xí)不同冷啟動(dòng)任務(wù)的自適應(yīng)超參數(shù)。例如，MetaCS［20］采用類似MeLU的雙層優(yōu)化，并在執(zhí)行全局優(yōu)化時(shí)附加本地更新的學(xué)習(xí)率的值。MetaHIN［9］采用了元路徑來(lái)刻畫異質(zhì)網(wǎng)絡(luò)的語(yǔ)義和結(jié)構(gòu)信息， 并整合在元學(xué)習(xí)框架中。RPMLG-Rec［21］將本地不同偏好連接起來(lái)，構(gòu)成顯式偏好圖，然后按照元學(xué)習(xí)訓(xùn)練策略快速適應(yīng)。但是上述這些方法都忽視了一定的結(jié)構(gòu)和語(yǔ)義信息， 且完全忽視了異質(zhì)信息網(wǎng)絡(luò)中大量的信息。

1.3 異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)

傳統(tǒng)異質(zhì)信息網(wǎng)絡(luò)的核心技術(shù)是基于元路徑， 通過(guò)不同的機(jī)制來(lái)刻畫節(jié)點(diǎn)與元路徑之間的關(guān)系。metapath2vec［22］采用了異質(zhì)word2vec技術(shù)， 將上下文的窗口限制為一個(gè)特定的類型。HIN2vec［23］采用元路徑與節(jié)點(diǎn)之間的Hadamard乘積來(lái)捕獲網(wǎng)絡(luò)特征。近來(lái)， 基于圖神經(jīng)網(wǎng)絡(luò)的異質(zhì)信息網(wǎng)絡(luò)表示屢被提出。Het-GNN［24］首先聚合同一類型的節(jié)點(diǎn)特征， 然后采用注意力機(jī)制聚合不同的類型特征。HAN［25］首先采用注意力機(jī)制聚合元路徑的特征， 然后采用注意力機(jī)制聚合不同的元路徑。MetaHIN模型［9］通過(guò)在元學(xué)習(xí)環(huán)境中捕獲異質(zhì)信息網(wǎng)絡(luò)的語(yǔ)義信息，并利用協(xié)同適應(yīng)元學(xué)習(xí)器處理每個(gè)任務(wù)中不同的語(yǔ)義方面。MNRec［26］通過(guò)基于元路徑和交換矩陣的異構(gòu)信息網(wǎng)絡(luò)嵌入方法得到用戶和項(xiàng)目的嵌入，最后將其導(dǎo)入到雙路徑MLP中進(jìn)行評(píng)級(jí)預(yù)測(cè)。HSG［27］通過(guò)三種不同類型的子圖，將其組合構(gòu)建成異構(gòu)圖，之后通過(guò)元路徑隨機(jī)游走進(jìn)行網(wǎng)絡(luò)嵌入。但是上述方式忽略了異質(zhì)信息網(wǎng)絡(luò)的本地結(jié)構(gòu)，沒(méi)有考慮到網(wǎng)絡(luò)模式作為異質(zhì)信息網(wǎng)絡(luò)的元模板刻畫了節(jié)點(diǎn)之間的直接聯(lián)系。

2 基礎(chǔ)知識(shí)

本文方法主要是異質(zhì)信息網(wǎng)絡(luò)上的基于元學(xué)習(xí)的冷啟動(dòng)推薦，下面對(duì)異質(zhì)信息網(wǎng)絡(luò)、元路徑、元學(xué)習(xí)和網(wǎng)絡(luò)模式的相關(guān)概念和基礎(chǔ)知識(shí)進(jìn)行介紹。

2.1 異質(zhì)信息網(wǎng)絡(luò)

異質(zhì)信息網(wǎng)絡(luò)［28］可表示為G=（V，E，A，L），其中V表示節(jié)點(diǎn)集，E表示邊集。V中的節(jié)點(diǎn)（或E中的邊）有多種類型。因此，每一個(gè)節(jié)點(diǎn)v∈V（或每一個(gè)邊e∈E）與一個(gè)映射函數(shù)φ（v）：V→A（ψ（e）：E→L）相關(guān)聯(lián)，其中A（或L）表示節(jié)點(diǎn)類型（邊類型）的集合。|A|+|L|>2代表該網(wǎng)絡(luò)為異質(zhì)信息網(wǎng)絡(luò)。

2.2 網(wǎng)絡(luò)模式

網(wǎng)絡(luò)模式［11］可表示為TG=（A，L），是一個(gè)由節(jié)點(diǎn)類型和邊類型組成的圖，能夠描述節(jié)點(diǎn)之間的聯(lián)系，刻畫網(wǎng)絡(luò)本地結(jié)構(gòu)。例如，圖1（d）是圖1（a）的網(wǎng)絡(luò)模式。

2.3 元路徑

寫為V1V2…Vl+1。如圖1（b）所示，存在兩種元路徑UMAM、UMDM，分別代表了不同的語(yǔ)義，即某用戶看了某電影，這個(gè)電影與另一個(gè)電影有著相同的導(dǎo)演或演員。因此，元路徑能夠抽象出異質(zhì)信息網(wǎng)絡(luò)當(dāng)中的高階結(jié)構(gòu)信息。

2.4 元學(xué)習(xí)

3 模型

3.1 模型總體架構(gòu)

3.2 多視圖融合模塊

圖5是圖4中多視圖融合模塊的詳細(xì)架構(gòu)，本文從元路徑、網(wǎng)絡(luò)模式和聚類三個(gè)視圖中分別挖掘異質(zhì)信息網(wǎng)絡(luò)的特征信息和用戶的行為屬性簡(jiǎn)檔，元路徑主要針對(duì)網(wǎng)絡(luò)的高階信息，網(wǎng)絡(luò)模式主要針對(duì)網(wǎng)絡(luò)的自身結(jié)構(gòu)，聚類主要針對(duì)用戶本身的行為屬性簡(jiǎn)檔。最后利用對(duì)比學(xué)習(xí)的方法，將三個(gè)視圖所獲得的信息進(jìn)行融合。

3.2.1 元路徑視圖

根據(jù)研究［6， 9］，本文使用用戶和物品的初始特征來(lái)初始化向量，epu和ei分別表示用戶u和物品i的初始化向量，最后用戶u基于物品的偏好，可以通過(guò)匯總用戶的歷史交互來(lái)計(jì)算，如下所示。

其中：Su是u的支持集；mean是合并平均操作；W和b是可學(xué)習(xí)參數(shù)；η是LeakyReLU激活函數(shù)。

對(duì)于用戶u，在計(jì)算u和他所有基于元路徑的相關(guān)用戶的關(guān)聯(lián)強(qiáng)度后，本文選擇與用戶u關(guān)聯(lián)強(qiáng)度較高的部分用戶參與到模型運(yùn)算當(dāng)中，這些用戶表示為Um。隨后利用公式學(xué)習(xí)這些用戶基于物品的偏好，如下所示。

其中：W和b是可學(xué)習(xí)參數(shù)。通過(guò)上式，模型獲取了Um中的每個(gè)用戶基于物品的偏好，但是由于不同用戶對(duì)目標(biāo)用戶u的貢獻(xiàn)不同，本文將所有eum堆疊起來(lái)獲得矩陣Em，利用注意力機(jī)制獲取用戶u基于元路徑視圖的用戶表示，如式（8）所示。

em=Em softmax（ETmeu）（8）

3.2.2 網(wǎng)絡(luò)模式視圖

異質(zhì)信息網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)可以看作其元模板，其中包含了不同節(jié)點(diǎn)之間的直接聯(lián)系，將網(wǎng)絡(luò)結(jié)構(gòu)融入到模型當(dāng)中，能夠提供大量輔助信息，提高用戶表示的準(zhǔn)確性。在網(wǎng)絡(luò)模式的視角下，對(duì)于一個(gè)給定的用戶u，他與K個(gè)其他類型的節(jié)點(diǎn)相連，可以表示為{z1，z2，…，zk}。則與節(jié)點(diǎn)u相連的類型為zn的鄰居節(jié)點(diǎn)可以表示為Nznu，那么對(duì)于同一種類型的鄰居節(jié)點(diǎn)可以聚合如下：

其中：σ是ReLU激活函數(shù)；ej是節(jié)點(diǎn)j的特征向量。

其中：wn和bn是可學(xué)習(xí)參數(shù)；an是注意力向量；εzn即為各個(gè)類型節(jié)點(diǎn)的權(quán)重。

3.2.3 聚類視圖

用戶本身是帶著一些行為屬性（如觀看、點(diǎn)擊、評(píng)論），具有相同行為屬性的用戶可能不會(huì)出現(xiàn)在同一條元路徑上，但是他們本身是具有一定關(guān)聯(lián)性的。為了挖掘這類具有關(guān)聯(lián)性的用戶，本文采用基于聚類的策略，通過(guò)聚類過(guò)程將由式（4）得到的用戶表示進(jìn)行線性投影，獲得對(duì)應(yīng)用戶的聚類查詢向量，公式如下：

tu=Wteu+bt（13）

其中：β為t分布的自由度，這里取值為1。最后融合聚類信息的用戶表示ec可以計(jì)算如下：

3.2.4 對(duì)比融合和得分預(yù)測(cè)

通過(guò)上述的運(yùn)算過(guò)程，模型生成了用戶u的三種向量表示，分別是基于元路徑視圖的用戶表示em、基于網(wǎng)絡(luò)模式視圖的用戶表示en和基于聚類視圖的用戶表示ec。為了進(jìn)一步增強(qiáng)用戶表示的魯棒性，本文采用對(duì)比學(xué)習(xí)來(lái)將這三種向量表示進(jìn)行融合，更深層次地挖掘用戶潛在信息。具體而言，就是先將em和en進(jìn)行對(duì)比學(xué)習(xí)，生成emn，再將en和ec進(jìn)行對(duì)比學(xué)習(xí)生成enc，最后將emn和enc進(jìn)行對(duì)比學(xué)習(xí)生成用戶最終表示xu。具體而言就是同一節(jié)點(diǎn)u的不同視圖下的表示為正例時(shí)，其余節(jié)點(diǎn)的表示為負(fù)例。各步驟的目標(biāo)函數(shù)如下：

其中：sim（）表示為sim（）=e（g（），g（）），g（）是多層感知器，e（）是相似度函數(shù)，這里采用余弦相似度進(jìn)行計(jì)算；τ代表溫度系數(shù)。

同理，物品向量表示xi也可以得到，那么就可以預(yù)測(cè)用戶u對(duì)物品i的偏好得分：

最后最小化如下?lián)p失函數(shù)以學(xué)習(xí)用戶u的偏好：

根據(jù)上述流程，模型總的訓(xùn)練過(guò)程如算法1所示。

算法1 MVC-ML訓(xùn)練算法

通過(guò)式（21）計(jì)算模型整體的損失

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集

本文在DBook、MovieLens和Yelp三個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，它們的數(shù)據(jù)統(tǒng)計(jì)信息如表1所示。

對(duì)于每個(gè)數(shù)據(jù)集，本文根據(jù)用戶加入時(shí)間（或第一次用戶操作時(shí)間）和物品發(fā)布時(shí)間，將用戶和物品分為現(xiàn)有用戶（物品）和新用戶（物品）兩組，新出現(xiàn)的用戶（物品）和已存在的用戶（物品）的比例大致為2∶8。然后將每個(gè)數(shù)據(jù)集分為元訓(xùn)練和元測(cè)試數(shù)據(jù)。元訓(xùn)練數(shù)據(jù)僅包含現(xiàn)有物品的現(xiàn)有用戶評(píng)級(jí)，本文隨機(jī)選擇其中的10%作為驗(yàn)證集，其余為元測(cè)試數(shù)據(jù)。模型訓(xùn)練對(duì)應(yīng)三種冷啟動(dòng)場(chǎng)景：用戶冷啟動(dòng)（UC），即為新用戶推薦現(xiàn)有物品；物品冷啟動(dòng)（IC），即為現(xiàn)有用戶推薦新物品；用戶物品冷啟動(dòng)（UIC），即為新用戶推薦新物品。

在元學(xué)習(xí)設(shè)置中，本文構(gòu)建支持集和查詢集（即Su和Qu）。具體來(lái)說(shuō)，在每個(gè)數(shù)據(jù)集中找出一些交互次數(shù)在15～100的用戶，然后為每個(gè)用戶隨機(jī)選擇10個(gè)歷史交互項(xiàng)目作為查詢集（即|Qu=10|），其余部分用作支持集。在元路徑的構(gòu)建上，凡是長(zhǎng)度小于4的元路徑都會(huì)被構(gòu)建。

4.2 評(píng)價(jià)指標(biāo)及基準(zhǔn)模型

本文采用平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）和K級(jí)歸一化折扣累積增益（nDCG@K）三種廣泛使用的評(píng)價(jià)指標(biāo)。

平均絕對(duì)誤差（MAE）是回歸模型的度量之一，它計(jì)算的是預(yù)測(cè)值與真值之間的絕對(duì)值之和。MAE值越小，預(yù)測(cè)精度越高。

均方根誤差（RMSE）對(duì)異常值非常敏感，其結(jié)果與數(shù)據(jù)本身在同一尺度上，比均方誤差（MSE）更能描述誤差。RMSE值越小，模型的性能越好，誤差越小。

K級(jí)歸一化折扣累積增益（nDCG@K）評(píng)估推薦系統(tǒng)中排名列表的準(zhǔn)確性。本文設(shè)置K=5，并注意到nDCG@K值越高，推薦模型的準(zhǔn)確率越高。

在基準(zhǔn)模型的選擇上，本文將基準(zhǔn)模型分為傳統(tǒng)模型、基于異質(zhì)信息網(wǎng)絡(luò)的模型和冷啟動(dòng)模型三大類，具體信息如表2所示。

4.3 實(shí)驗(yàn)結(jié)果與分析

從表3可以看到，在所有場(chǎng)景下，MVC-ML相較于基線模型都取得了很好的結(jié)果。在冷啟動(dòng)場(chǎng)景下，傳統(tǒng)模型由于架構(gòu)所限，只能夠提取異質(zhì)信息網(wǎng)絡(luò)簡(jiǎn)單的內(nèi)容特征，對(duì)于異質(zhì)信息網(wǎng)絡(luò)所蘊(yùn)涵的語(yǔ)義信息和高階結(jié)構(gòu)信息均不能有效提取，所以這類模型在冷啟動(dòng)場(chǎng)景下表現(xiàn)很差。而基于異質(zhì)信息網(wǎng)絡(luò)的模型可以在一定程度上提取到網(wǎng)絡(luò)的語(yǔ)義和高階結(jié)構(gòu)信息，因此這類模型相較于傳統(tǒng)模型在推薦效果上有不少的提升，HERec基于元路徑的游走策略可以獲取網(wǎng)絡(luò)的語(yǔ)義和高階結(jié)構(gòu)信息，MNRec更進(jìn)一步采用元路徑和交換矩陣的異質(zhì)信息網(wǎng)絡(luò)嵌入方式來(lái)獲取用戶和物品的嵌入，進(jìn)一步提升了推薦效果，表明了使用元路徑能夠在一定程度上提升非同構(gòu)網(wǎng)絡(luò)下推薦系統(tǒng)的性能。

基于元學(xué)習(xí)的冷啟動(dòng)推薦模型相較于傳統(tǒng)模型和異質(zhì)信息網(wǎng)絡(luò)模型均有一定的提升，這是因?yàn)樵獙W(xué)習(xí)本身的少樣本學(xué)習(xí)特性對(duì)于推薦系統(tǒng)冷啟動(dòng)問(wèn)題具有天然的優(yōu)勢(shì)。其中由于MateEmb模型是針對(duì)廣告場(chǎng)景，所以相較于其他模型而言，推薦效果并不是很好。

MetaHIN模型采用了多層元路徑思想來(lái)獲取多方面的異質(zhì)信息網(wǎng)絡(luò)語(yǔ)義信息，因此它的效果要比其他模型的效果好。但是由于MetaHIN并沒(méi)有考慮到異質(zhì)信息網(wǎng)絡(luò)的網(wǎng)絡(luò)模式和用戶的行為屬性簡(jiǎn)檔，導(dǎo)致MetaHIN的推薦效果要差于MVC-ML。HSG通過(guò)元路徑隨機(jī)游走獲取由多子圖構(gòu)建的異質(zhì)信息網(wǎng)絡(luò)的復(fù)雜異構(gòu)數(shù)據(jù)，相較于MetaHIN的多層元路徑方式能夠更充分地挖掘異質(zhì)信息網(wǎng)絡(luò)中的隱含信息。多子圖構(gòu)建的方法也在一定程度上有著和網(wǎng)絡(luò)模式一樣的作用，但是它和MetaHIN有著相同的劣勢(shì)，并沒(méi)有考慮到用戶的行為屬性簡(jiǎn)檔，所以HSG相比MetaHIN有著一定的提升，但是推薦效果要弱于MVC-ML。MVC-ML使用元路徑、網(wǎng)絡(luò)模式和聚類三個(gè)視圖描述異質(zhì)信息網(wǎng)絡(luò)的語(yǔ)義和結(jié)構(gòu)信息，同時(shí)也高效融合了用戶本身的行為屬性簡(jiǎn)檔信息，實(shí)驗(yàn)充分表明了多視圖的信息融合使得MVC-ML的推薦效果有很大的提升。

在非冷啟動(dòng)場(chǎng)景下，MVC-ML的推薦效果也是要好于其他模型的。根據(jù)表2所示，數(shù)據(jù)集本身是很稀疏的，說(shuō)明這些數(shù)據(jù)集中存在相當(dāng)一部分的無(wú)監(jiān)督信息，MVC-ML能在這些數(shù)據(jù)集下取得很好的推薦效果，說(shuō)明MVC-ML也是適用于稀疏數(shù)據(jù)集的，表明了MVC-ML的多視圖融合策略能夠很好地挖掘稀疏數(shù)據(jù)集中的信息，使得處理稀疏性數(shù)據(jù)更為高效。

4.4 消融實(shí)驗(yàn)

為了驗(yàn)證模型中不同視圖模塊的貢獻(xiàn)，本文進(jìn)行了消融實(shí)驗(yàn)，設(shè)計(jì)了三個(gè)模型變種，分別是：a）MP-去除了元路徑視圖；b）NW-去除了網(wǎng)絡(luò)模式視圖；c）CL-去除了聚類視圖。同時(shí)為了驗(yàn)證元學(xué)習(xí)的有效性，本文采用一個(gè)變種ML-，它只采用多視圖融合模塊進(jìn)行訓(xùn)練，不采用元學(xué)習(xí)框架。在實(shí)驗(yàn)場(chǎng)景選擇上，考慮到在用戶物品冷啟動(dòng)（UIC）場(chǎng)景下能夠包含用戶冷啟動(dòng)和物品冷啟動(dòng)兩種場(chǎng)景，因此單獨(dú)選擇用戶物品冷啟動(dòng)場(chǎng)景進(jìn)行消融實(shí)驗(yàn)，在一定程度上也能描述了用戶冷啟動(dòng)和物品冷啟動(dòng)的情況。

消融實(shí)驗(yàn)結(jié)果如表4所示。從不同模塊貢獻(xiàn)的角度上來(lái)看，三種視圖所獲得的信息都對(duì)MVC-ML有影響，其中去掉元路徑視圖對(duì)MVC-ML的影響最大，這是因?yàn)楸疚尼槍?duì)的是異質(zhì)信息網(wǎng)絡(luò)，而元路徑在異質(zhì)信息網(wǎng)絡(luò)中對(duì)提取語(yǔ)義信息和網(wǎng)絡(luò)結(jié)構(gòu)具有很大的作用，去掉元路徑視圖對(duì)于高階信息的提取很不利，從而導(dǎo)致推薦效果的減退。網(wǎng)絡(luò)模式視圖和聚類視圖對(duì)模型的影響相似，表明網(wǎng)絡(luò)模式視圖下的本地結(jié)構(gòu)信息和用戶行為屬性簡(jiǎn)檔在異質(zhì)信息網(wǎng)絡(luò)下具有同等重要的地位。這三個(gè)視圖的消融實(shí)驗(yàn)充分證實(shí)了MVC-ML綜合利用元路徑的高階信息、網(wǎng)絡(luò)模式下的本地結(jié)構(gòu)和用戶行為屬性簡(jiǎn)檔的優(yōu)勢(shì)。ML-變體的效果也不是很理想，僅僅略好于MP-變體，表明了元學(xué)習(xí)框架在冷啟動(dòng)推薦問(wèn)題上具有很大的優(yōu)勢(shì)。

4.5 參數(shù)分析

本文研究用戶集群數(shù)量（K）的影響，實(shí)驗(yàn)場(chǎng)景仍然選擇用戶物品冷啟動(dòng)場(chǎng)景。圖6描述了改變DBook、MovieLens和Yelp數(shù)據(jù)集上的用戶集群數(shù)量的結(jié)果。可以觀察到，當(dāng)K＜8時(shí)，性能隨著用戶集群數(shù)量的增加而增加，然后當(dāng)K=8時(shí)，MVC-ML達(dá)到最佳性能。之后，當(dāng)K＞8時(shí)，MVC-ML的性能隨著聚類數(shù)量的增加而略有下降，這表明選擇較小的K是合理的，當(dāng)使用的特征數(shù)量增加時(shí)，可能需要較大的K。

5 結(jié)束語(yǔ)

本文提出了基于元學(xué)習(xí)的多視圖對(duì)比融合冷啟動(dòng)推薦算法來(lái)解決異質(zhì)信息網(wǎng)絡(luò)下推薦系統(tǒng)中的冷啟動(dòng)問(wèn)題。針對(duì)目前冷啟動(dòng)模型無(wú)法高效地刻畫異質(zhì)信息網(wǎng)絡(luò)中的結(jié)構(gòu)和語(yǔ)義信息以及忽視了用戶行為屬性簡(jiǎn)檔等問(wèn)題，本文提出了多視圖融合模塊，設(shè)計(jì)了元路徑、網(wǎng)絡(luò)模式和聚類這三個(gè)視圖，挖掘高階和本地的結(jié)構(gòu)與語(yǔ)義信息；而后， 在元路徑、網(wǎng)絡(luò)模式和聚類三個(gè)視圖中使用對(duì)比學(xué)習(xí)整合三個(gè)視圖，獲得用戶和物品的表示; 最后， 將該模塊整合在元學(xué)習(xí)框架中， 有效解決了冷啟動(dòng)推薦問(wèn)題。在三個(gè)公開基準(zhǔn)數(shù)據(jù)集上進(jìn)行了三個(gè)冷啟動(dòng)場(chǎng)景下的對(duì)比實(shí)驗(yàn)，MVC-ML的實(shí)驗(yàn)結(jié)果優(yōu)于所有基線模型，驗(yàn)證了所提模型的有效性。

未來(lái)的研究有以下幾個(gè)方向：a）目前網(wǎng)絡(luò)模式只是把異質(zhì)信息網(wǎng)絡(luò)本地結(jié)構(gòu)給刻畫出來(lái)，下一步可以考慮根據(jù)節(jié)點(diǎn)類型的不同來(lái)構(gòu)造同構(gòu)信息網(wǎng)絡(luò)，結(jié)合異質(zhì)信息網(wǎng)絡(luò)本地結(jié)構(gòu)來(lái)增強(qiáng)異質(zhì)信息網(wǎng)絡(luò)的結(jié)構(gòu)刻畫；b）采用對(duì)比學(xué)習(xí)挖掘無(wú)標(biāo)簽信息是自監(jiān)督學(xué)習(xí)的一種方法，后面可以聯(lián)合生成式學(xué)習(xí)來(lái)進(jìn)一步挖掘深層次無(wú)標(biāo)簽信息。

參考文獻(xiàn)：

［1］Resnick P，Varian H R. Recommender systems［J］. Communications of the ACM， 1997， 40（3）： 56-58.

［2］Zhu Yu， Lin Jinghao， He Shibi， et al. Addressing the item cold-start problem by attribute-driven active learning［J］. IEEE Trans on Knowledge and Data Engineering， 2019，32（4）： 631-644.

［3］Narducci F， Basile P， Musto C， et al. Concept-based item representations for a cross-lingual content-based recommendation process［J］. Information Sciences， 2016，374：15-31.

［4］Shi Chuan， Li Yitong， Zhang Jiawei， et al. A survey of heterogeneous information network analysis［J］. IEEE Trans on Knowledge and Data Engineering， 2016， 29（1）： 17-37.

［5］Finn C， Abbeel P， Levine S. Model-agnostic meta-learning for fast adaptation of deep networks［C］//Proc of the 34th International Conference on Machine Learning. New York：ACM Press， 2017： 1126-1135.

［6］Lee H， Im J， Jang S， et al. MeLU： meta-learned user preference estimator for cold-start recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2019： 1073-1082.

［7］Chen Zhengyu， Wang Donglin， Yin Shiqian. Improving cold-start re-commendation via multi-prior meta-learning［C］//Proc of the 43rd European Conference on Information Research. Cham： Springer， 2021： 249-256.

［8］Dong Manqing，Yuan Feng，Yao Lina，et al. MAMO：memory-augmented meta-optimization for cold-start recommendation［C］//Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2020： 688-697.

［9］Lu Yuanfu， Fang Yuan， Shi Chuan. Meta-learning on heterogeneous information networks for cold-start recommendation［C］//Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2020： 1563-1573.

［10］Xu Jia， Zhang Hongming， Wang Xin， et al. AdaML： an adaptive meta-learning model based on user relevance for user cold-start recommendation［J］. Knowledge-Based Systems， 2023， 279：110925.

［11］Sun Yizhou， Han Jiawei. Mining heterogeneous information networks： a structural analysis approach［J］. ACM SIGKDD Explorations Newsletter， 2013， 14（2）： 20-28.

［12］邴睿， 袁冠， 孟凡榮， 等. 多視圖對(duì)比增強(qiáng)的異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)方法［J］. 軟件學(xué)報(bào)， 2023， 34（10）： 4477-4500. （Bing Rui， Yuan Guan， Meng Fanrong， et al. Multi-view contrast enhanced learning method for heterogeneous graph structure［J］. Journal of Software， 2023， 34（10）： 4477-4500.）

［13］Liang Dawen， Krishnan R G， Hoffman M D， et al. Variational autoencoders for collaborative filtering［C］//Proc of World Wide Web Conference. New York：ACM Press， 2018： 689-698.

［14］Li Zhi， Zhao Hongke， Liu Qi， et al. Learning from history and pre-sent： next-item recommendation via discriminatively exploiting user behaviors［C］//Proc of the 24th ACM SIGKDD International Confe-rence on Knowledge Discovery & Data Mining. New York： ACM Press， 2018： 1734-1743.

［15］Cheng Weiyu， Shen Yanyan， Huang Linpeng. Adaptive factorization network： learning adaptive-order feature interactions［C］//Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 3609-3616.

［16］Krishnan A， Das M， Bendre M， et al. Transfer learning via context-ual invariants for one-to-many cross-domain recommendation［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2020： 1081-1090.

［17］Liu Meng， Li Jianjun， Li Guohui， et al. Cross domain recommendation via bi-directional transfer graph collaborative filtering networks［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM Press， 2020： 885-894.

［18］Neupane K P， Zheng E， Yu Qi. MetaEDL： meta evidential learning for uncertainty-aware cold-start recommendations［C］//Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2021： 1258-1263.

［19］Wang Li， Jin Binbin， Huang Zhenya， et al. Preference-adaptive meta-learning for cold-start recommendation［C］//Proc of the 30th International Joint Conference on Artificial Intelligence. San Francisco，CA：Margan Kaufmann Publishers， 2021： 1607-1614.

［20］Bharadhwaj H.Meta-learning for user cold-start recommendation［C］//Proc of International Joint Conference on Neural Networks. Piscataway， NJ： IEEE Press， 2019： 1-8.

［21］Liu Huiting， Wang Lei， Li Peipei， et al. Relation-propagation meta-learning on an explicit preference graph for cold-start recommendation［J］. Knowledge-Based Systems， 2023， 272： 110579.

［22］Dong Yuxiao， Chawla N V， Swami A. metapath2vec： scalable representation learning for heterogeneous networks［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2017： 135-144.

［23］Fu Taoyang， Lee W C， Lei Zhen. HIN2vec： explore meta-paths in heterogeneous information networks for representation learning［C］//Proc of ACM Conference on Information and Knowledge Management. New York： ACM Press， 2017： 1797-1806.

［24］Zhang Chuxu， Song Dongjin， Huang Chao， et al. Heterogeneous graph neural network［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2019： 793-803.

［25］Wang Xiao， Ji Houye， Shi Chuan， et al. Heterogeneous graph attention network［C］//Proc of the World Wide Web Conference. New York： ACM Press， 2019： 2022-2032.

［26］Tan Lei， Gong Daofu， Xu Jinmao， et al. Meta-path fusion based neural recommendation in heterogeneous information networks［J］. Neurocomputing， 2023， 529： 236-248.

［27］Li Meizi， Que Weiqiao， Geng Ziyao， et al. Cold-start item recommendation for representation learning based on heterogeneous information networks with fusion side information［J］. Future Generation Computer Systems， 2023， 149： 227-239.

［28］石川， 王睿嘉， 王嘯. 異質(zhì)信息網(wǎng)絡(luò)分析與應(yīng)用綜述［J］. 軟件學(xué)報(bào)， 2021，33（2）： 598-621. （Si Chuan， Wang Ruijia， Wang Xiao. Heterogeneous information network analysis and application review［J］. Journal of Software， 2021， 33（2）： 598-621.）

［29］Xie Junyuan， Girshick R， Farhadi A. Unsupervised deep embedding for clustering analysis［C］//Proc of the 33rd International Conference on Machine Learning. New York：ACM Press， 2016： 478-487.

［30］Rendle S， Gantner Z， Freudenthaler C， et al. Fast context-aware re-commendations with factorization machines［C］//Proc of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2011： 635-644.

［31］Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph colla-borative filtering［C］//Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2019： 165-174.

［32］Berg R V D， Kipf T N， Welling M. Graph convolutional matrix completion ［EB/OL］. （2017-10-25）. https：//arxiv.org/abs/1706.02263.

［33］Shi Chuan， Hu Binbin， Zhao W X， et al. Heterogeneous information network embedding for recommendation［J］. IEEE Trans on Know-ledge and Data Engineering， 2018， 31（2）： 357-370.

［34］Pan Feiyang， Li Shuokai， Ao Xiang， et al. Warm up cold-start advertisements： improving CTR predictions via learning to learn ID embeddings［C］//Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2019： 695-704.