聯(lián)合自監(jiān)督學(xué)習(xí)強(qiáng)化的多行為多任務(wù)推薦算法

沈?qū)W利 張榮凱

摘 要：為解決多行為推薦研究存在的未能全面捕獲多行為交互特征，忽略點(diǎn)擊等隱式反饋數(shù)據(jù)存在的大量噪聲標(biāo)簽等問題，提出了聯(lián)合自監(jiān)督學(xué)習(xí)強(qiáng)化的多行為多任務(wù)推薦算法。首先，從行為影響權(quán)重和行為隱含語義兩方面感知多行為交互特征，并將特征融合到嵌入傳播過程，增強(qiáng)節(jié)點(diǎn)嵌入的表達(dá)能力；然后，構(gòu)建自監(jiān)督學(xué)習(xí)輔助任務(wù)，通過多視圖對比學(xué)習(xí)避免模型對噪聲標(biāo)簽過擬合；最后，聯(lián)合有監(jiān)督的多行為推薦任務(wù)和自監(jiān)督學(xué)習(xí)輔助任務(wù)，采用多目標(biāo)損失優(yōu)化策略進(jìn)行多任務(wù)學(xué)習(xí)，獲取更加準(zhǔn)確的用戶、項(xiàng)目嵌入。通過實(shí)驗(yàn)分析表明，該算法在HR和NDCG指標(biāo)上較對比算法均有一定提升，證明了算法的有效性和優(yōu)越性。

關(guān)鍵詞：推薦系統(tǒng)； 多行為推薦； 自監(jiān)督學(xué)習(xí)； 多任務(wù)優(yōu)化

中圖分類號：TP391.3?? 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2023）09-020-2688-06

doi：10.19734/j.issn.1001-3695.2023.02.0030

Multi-behavior multi-task recommendation algorithm integratingself-supervised learning enhancement

Shen Xueli， Zhang Rongkai

（College of Software， Liaoning Technical University， Huludao Liaoning 125105， China）

Abstract：To solve the problems of multi-behavior recommendation research such as failing to comprehensively capture multi-behavior interaction features and ignoring a large number of noise labels present in implicit feedback data such as clicks， this paper proposed a multi-behavior multi-task recommendation algorithm integrating self-supervised learning enhancement. Firstly， it sensed the multi-behavior interaction features from both behavior influence weights and behavior implicit semantics， and fused the features into the embedding propagation process to enhance the expressiveness of node embeddings. Then，it constructed the self-supervised learning assistance task to avoid model overfitting to noisy labels through multi-view comparison learning. Finally，it combined the supervised multi-behavior recommendation task the self-supervised learning assistance task and used a multi-objective loss optimization strategy for multi-task learning to obtain more accurate user and item embeddings. The experimental analysis shows that the algorithm has a certain improvement in both HR and NDCG indexes compared with the comparison algorithm， which proves the effectiveness and superiority of the algorithm.

Key words：recommender system; multi-behavior recommendation; self-supervised learning; multi-task optimization

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，數(shù)據(jù)信息泛濫、過載問題日趨嚴(yán)重，為了在海量數(shù)據(jù)中挖掘用戶可能感興趣的內(nèi)容，推薦系統(tǒng)被廣泛應(yīng)用于搜索引擎、電子商務(wù)網(wǎng)站等場景。基于圖卷積神經(jīng)網(wǎng)絡(luò)的推薦模型憑借其強(qiáng)大的特征提取和表征學(xué)習(xí)能力，成為推薦系統(tǒng)研究的熱門領(lǐng)域，但在實(shí)際應(yīng)用中，存在以下問題制約其性能：a）數(shù)據(jù)稀疏性。用戶與項(xiàng)目交互數(shù)據(jù)在整個(gè)數(shù)據(jù)集中占比過少，對于推薦監(jiān)督任務(wù)而言，稀疏的交互矩陣不能提供足夠的監(jiān)督信號。b）冷啟動(dòng)?，F(xiàn)有的僅關(guān)注購買行為的推薦系統(tǒng)無法預(yù)測沒有購買交互歷史用戶的偏好，也無法將沒有被任何用戶購買過的項(xiàng)目推薦給可能對它感興趣的用戶。c）數(shù)據(jù)噪聲。諸如點(diǎn)擊等隱式反饋，可能存在用戶誤點(diǎn)擊或點(diǎn)擊后并不感興趣，因而不可避免存在噪聲，鄰域聚合過程會(huì)進(jìn)一步擴(kuò)大噪聲影響。近年來，研究者為了應(yīng)對數(shù)據(jù)稀疏和冷啟動(dòng)問題，研究可以用于協(xié)助預(yù)測用戶偏好的隱式反饋信息［1］。例如，Xu［2］利用社交網(wǎng)絡(luò)構(gòu)建用戶關(guān)系來輔助推薦，這類算法認(rèn)為具有社會(huì)關(guān)系的用戶有相似的偏好，但用戶的社會(huì)關(guān)系可能并不是因?yàn)楣餐卯a(chǎn)生的，模型可解釋性差；Wang等人［3］利用實(shí)體屬性以及實(shí)體間關(guān)系構(gòu)建知識圖譜來輔助推薦任務(wù)，知識圖譜數(shù)據(jù)的收集會(huì)增添額外的負(fù)擔(dān)，并且知識圖譜構(gòu)建過程中可能會(huì)丟失某些實(shí)體或關(guān)系，進(jìn)而導(dǎo)致用戶的某些偏好被忽略。以上外部輔助信息雖在一定程度上補(bǔ)充了監(jiān)督信號，但存在數(shù)據(jù)收集困難且成本高、可解釋性差以及隱私泄露等問題。針對以上問題，考慮廣泛存在于各大網(wǎng)站后臺(tái)的多行為隱式反饋數(shù)據(jù)是一個(gè)可靠的研究思路，現(xiàn)有基于多行為的推薦模型［4～6］均取得了不錯(cuò)的性能，但該類模型也存在以下問題：a）以上模型僅考慮不同行為間的強(qiáng)度差異，不能深入挖掘用戶行為隱含的語義，這使得多行為交互數(shù)據(jù)并沒有被充分利用；b）多行為隱式反饋數(shù)據(jù)的引入雖然可以緩解數(shù)據(jù)稀疏性和冷啟動(dòng)問題，但數(shù)據(jù)中往往存在大量噪聲，比如點(diǎn)擊數(shù)據(jù)，可能存在用戶誤點(diǎn)擊或點(diǎn)擊后并不感興趣的情況，這是現(xiàn)有大多數(shù)多行為推薦模型常常忽略的點(diǎn)，如何增強(qiáng)模型對交互噪聲的魯棒性對于多行為推薦模型至關(guān)重要。

綜合以上分析，本文提出了一種融合自監(jiān)督學(xué)習(xí)強(qiáng)化的多行為多任務(wù)推薦算法（multi-behavior multi-task recommendation algorithm integrating self-supervised learning enhancement，MBISE）。本文工作的主要貢獻(xiàn)有以下三個(gè)方面：

a）現(xiàn)有的多行為推薦模型未能全面捕獲多行為交互特征，導(dǎo)致對多行為交互數(shù)據(jù)利用并不充分。本文設(shè)計(jì)了多行為特征提取機(jī)制，聯(lián)合行為重要性和稀疏性學(xué)習(xí)行為影響權(quán)重，再通過行為影響權(quán)重和項(xiàng)目類別屬性感知行為隱含語義，同時(shí)提取行為影響權(quán)重、行為隱含語義更能充分利用多行為交互數(shù)據(jù)，增強(qiáng)節(jié)點(diǎn)嵌入的表達(dá)能力。

b）目前極少有推薦模型考慮多行為交互數(shù)據(jù)的噪聲問題，擬合大量的噪聲交互必然導(dǎo)致模型泛化性能不佳。本文構(gòu)建了自監(jiān)督學(xué)習(xí)輔助任務(wù)，通過多視圖對比學(xué)習(xí)感知利于節(jié)點(diǎn)嵌入學(xué)習(xí)的局部結(jié)構(gòu)，從而降低噪聲交互的影響，有效提升了模型對噪聲的魯棒性。

c）分別在Tmall、Beibei數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，MBISE模型性能優(yōu)于對比模型，證明了模型的有效性。

1 相關(guān)工作

1.1 圖卷積神經(jīng)網(wǎng)絡(luò)

圖卷積神經(jīng)網(wǎng)絡(luò)是一種從圖結(jié)構(gòu)數(shù)據(jù)中提取特征的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其能同時(shí)對節(jié)點(diǎn)的特征信息和結(jié)構(gòu)信息進(jìn)行端對端學(xué)習(xí)，并且適用于任何拓?fù)浣Y(jié)構(gòu)的節(jié)點(diǎn)和圖［7］，因而被廣泛應(yīng)用于自然語言處理、推薦系統(tǒng)等領(lǐng)域。公開數(shù)據(jù)集上大量實(shí)驗(yàn)表明，在節(jié)點(diǎn)分類、邊預(yù)測等任務(wù)上，圖卷積神經(jīng)網(wǎng)絡(luò)模型效果明顯優(yōu)于其他模型。圖卷積神經(jīng)網(wǎng)絡(luò)將圖像卷積原理及運(yùn)算方法推廣到圖結(jié)構(gòu)數(shù)據(jù)，其核心思路是學(xué)習(xí)到一個(gè)函數(shù)映射，使得圖中節(jié)點(diǎn)可以通過該映射聚合自身節(jié)點(diǎn)特征和鄰域節(jié)點(diǎn)特征來更新當(dāng)前節(jié)點(diǎn)表示。與傳統(tǒng)的協(xié)同過濾推薦模型不同，基于圖卷積神經(jīng)網(wǎng)絡(luò)的推薦模型可以捕獲交互圖的高階連通性，以此為用戶挖掘更加多樣化的項(xiàng)目，緩解以往推薦模型將相關(guān)性匹配任務(wù)與多樣性任務(wù)分離的問題［8］。Wang等人［9］提出一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾模型，解決了傳統(tǒng)推薦模型無法將用戶和項(xiàng)目間交互信息體現(xiàn)在節(jié)點(diǎn)嵌入的問題。Zhang等人［10］構(gòu)建了多類型節(jié)點(diǎn)和邊組成的異構(gòu)圖，用于捕獲多類型交互邊的依賴關(guān)系。He等人［11］對圖卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行消融，通過實(shí)驗(yàn)驗(yàn)證了去掉模型中特征轉(zhuǎn)換和非線性激活操作不僅提升了推薦性能，還大幅度降低了模型訓(xùn)練的難度，增強(qiáng)了模型的可擴(kuò)展性。

1.2 行為特征提取

在實(shí)際推薦場景中，用戶與項(xiàng)目間的多行為交互數(shù)據(jù)隱含了豐富的協(xié)同過濾信號。以往的推薦算法總是僅針對單一行為設(shè)計(jì)，如電商場景通常將購買行為作為目標(biāo)行為，對于交互稀疏的用戶，單純通過匱乏的購買行為很難預(yù)測用戶的偏好，此時(shí)其他類型的交互行為可能會(huì)發(fā)揮出重要的價(jià)值。用戶多行為交互數(shù)據(jù)包含豐富的協(xié)同過濾信號，雖然無法根據(jù)這些行為推斷出用戶明確的偏好，但可以通過不同交互行為的權(quán)重加權(quán)計(jì)算出用戶對項(xiàng)目的偏好程度。另外，用戶行為隱含豐富的語義，這種語義可以理解為同一用戶交互的項(xiàng)目間可能存在相似或互補(bǔ)的特性，例如用戶選購電腦時(shí)，會(huì)瀏覽、加購或收藏多款電腦進(jìn)行對比，在購買某款電腦后，可能會(huì)繼續(xù)選購鼠標(biāo)、鍵盤等互補(bǔ)的項(xiàng)目。上述關(guān)系同類別項(xiàng)目間更顯著，例如用戶在瀏覽電腦、鼠標(biāo)等電子類項(xiàng)目的同時(shí)，可能會(huì)選購服飾類、食品類等其他類別項(xiàng)目，這些項(xiàng)目雖然都反映用戶的偏好，但他們之間可能并不存在聯(lián)系。本文模型利用用戶項(xiàng)目間的多行為交互信息和項(xiàng)目的類別信息能夠有效感知行為權(quán)重和項(xiàng)目相似關(guān)系，并將該信息融合到信息傳播過程中以補(bǔ)充推薦。

1.3 自監(jiān)督學(xué)習(xí)

圖結(jié)構(gòu)數(shù)據(jù)廣泛存在于電子商務(wù)等場景中，應(yīng)用于圖結(jié)構(gòu)的深度學(xué)習(xí)日漸成為人工智能研究的熱門領(lǐng)域，但目前該類模型大多采用監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)的方式進(jìn)行訓(xùn)練，高度依賴人工標(biāo)注的標(biāo)簽信息，導(dǎo)致了泛化能力差和魯棒性弱等缺點(diǎn)［12］，并且在實(shí)際應(yīng)用中對于大規(guī)模數(shù)據(jù)集，人工標(biāo)注標(biāo)簽成本極其昂貴且不切合實(shí)際［13］。針對上述問題，自監(jiān)督學(xué)習(xí)是一種研究前景廣闊的解決方案，其監(jiān)督信息是從數(shù)據(jù)自身挖掘，有助于模型理解圖數(shù)據(jù)的屬性信息和結(jié)構(gòu)信息，有效地避免對數(shù)據(jù)標(biāo)簽的依賴，與使用人工注釋的監(jiān)督或半監(jiān)督學(xué)習(xí)相比，模型泛化性能顯著提升［14］。現(xiàn)有一些研究將自監(jiān)督學(xué)習(xí)應(yīng)用于對抗噪聲研究，self2self模型［15］利用伯努利分布對含有噪聲的圖像進(jìn)行多次采樣，獲得多幅相似但不相同的含噪圖像，然后將所得的訓(xùn)練圖像對輸入進(jìn)行對比學(xué)習(xí)，保證圖像內(nèi)容的一致性，實(shí)驗(yàn)證明基于自監(jiān)督學(xué)習(xí)模型去噪性能相較于其他基于非學(xué)習(xí)方法去噪模型有明顯提升。本文引入自監(jiān)督學(xué)習(xí)輔助任務(wù)出于以下兩方面考慮：a）推薦監(jiān)督學(xué)習(xí)的監(jiān)督信號來自于用戶和項(xiàng)目的交互記錄，但交互矩陣是稀疏的，不能提供足夠的監(jiān)督信號；b）推薦模型獲取的用戶反饋大多是隱式的，但一些研究表明用戶隱式反饋數(shù)據(jù)與其偏好之間存在一定差距，例如誤點(diǎn)擊或購買后但差評、退回等都會(huì)被模型誤認(rèn)為是正樣本，這種用戶與不感興趣項(xiàng)目的假陽性交互是數(shù)據(jù)集噪聲的主要來源［16～19］，模型擬合假陽性交互必然會(huì)影響模型泛化性能，圖卷積神經(jīng)網(wǎng)絡(luò)特殊的鄰域聚合機(jī)制也會(huì)進(jìn)一步擴(kuò)大噪聲數(shù)據(jù)對訓(xùn)練的影響。

2 MBISE推薦模型

MBISE模型架構(gòu)如圖1所示，具體實(shí)現(xiàn)過程如下：a）通過初始化嵌入層得到用戶、項(xiàng)目節(jié)點(diǎn)的初始嵌入；b）構(gòu)建基于多行為交互特征的監(jiān)督任務(wù)，提取行為影響權(quán)重和行為隱含語義，與嵌入傳播過程融合，以獲得具有多行為交互特征的節(jié)點(diǎn)嵌入；c）構(gòu)建自監(jiān)督學(xué)習(xí)輔助任務(wù)，通過節(jié)點(diǎn)丟棄、邊擾動(dòng)增強(qiáng)方式構(gòu)建對比視圖，再通過最大化兩個(gè)視圖中相同節(jié)點(diǎn)嵌入的相似性，最小化兩個(gè)視圖中不同節(jié)點(diǎn)嵌入的相似性任務(wù)優(yōu)化節(jié)點(diǎn)嵌入；d）聯(lián)合基于多行為交互特征的監(jiān)督任務(wù)、自監(jiān)督學(xué)習(xí)輔助任務(wù)，采用多目標(biāo)損失優(yōu)化策略優(yōu)化模型，獲取更加準(zhǔn)確的用戶、項(xiàng)目嵌入用于預(yù)測。

2.1 問題描述

經(jīng)典推薦場景中，假設(shè)存在用戶集合U={u1，u2，…，uM}和項(xiàng)目集合I={i1，i2，…，iN}。用戶與項(xiàng)目的多類型交互行為，如點(diǎn)擊、加購物車、收藏、購買等，由集合Euclid Math OneKAp={1，2，…，K}表示，其中行為K表示目標(biāo)行為，其余行為{1，2，…，K-1}則表示輔助行為。用戶與項(xiàng)目間多行為交互矩陣集合為{A1，A2，…，AK}，其中Ak={akui|u∈U，i∈I}（Ak∈Euclid ExtraaBpM×N）表示行為k下用戶與項(xiàng)目交互的二進(jìn)制矩陣，akui=1表示用戶u和項(xiàng)目i間存在行為k下的交互，akui=0則反之。為了更加精確感知項(xiàng)目關(guān)系，引入項(xiàng)目類別s∈S。給定多行為交互集合{A1，A2，…，AK}以及項(xiàng)目從屬集合{（i，s）|i∈I，s∈S}，模型旨在預(yù)測在目標(biāo)行為K下用戶u與項(xiàng)目i交互的概率。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 對比實(shí)驗(yàn)結(jié)果

本文模型MBISE與對比算法模型在Tmall和Beibei數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3所示，對比模型中最佳結(jié)果用下畫線標(biāo)注。

從表3可以看出，MBISE在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于其他對比模型。其中，基于多行為的推薦模型NMTR 、EHCF、MATN、GHCF和MBISE在兩個(gè)數(shù)據(jù)集上的表現(xiàn)整體都遠(yuǎn)遠(yuǎn)優(yōu)于基于單一行為的經(jīng)典推薦模型NGCF、LightGCN，這表明使用多行為交互數(shù)據(jù)建模能夠明顯提升推薦性能。MBISE相較于對比模型中最優(yōu)的多行為推薦模型GHCF，在Tmall數(shù)據(jù)集上，HR@50、NDCG@50指標(biāo)分別提升了4.6%、2.5%；在Beibei數(shù)據(jù)集上，HR@50、NDCG@50指標(biāo)分別提升了1.1%、2.6%。這表明本文模型能夠更充分地利用多行為推薦數(shù)據(jù)，有效提升推薦性能。

3.2.2 參數(shù)敏感性分析

為了驗(yàn)證用于調(diào)節(jié)輔助任務(wù)強(qiáng)度的超參數(shù)β1對實(shí)驗(yàn)結(jié)果的影響，在保持其余最優(yōu)參數(shù)不變的前提下，通過在0.1～0.8內(nèi)調(diào)節(jié)超參數(shù)β1，分析輔助任務(wù)強(qiáng)度對模型推薦性能的影響，實(shí)驗(yàn)結(jié)果如圖2所示。

由圖2可知，模型在Beibei數(shù)據(jù)集上β1取0.3效果較好，在Tmall數(shù)據(jù)集上β1取0.2效果較好。當(dāng)β1值較大時(shí)，模型越來越趨向于輔助任務(wù)的訓(xùn)練，從而對模型產(chǎn)生不利的影響。

3.2.3 傳播層數(shù)分析

為了研究Tmall、Beibei數(shù)據(jù)集上傳播層數(shù)對推薦性能的影響，在保持其余最優(yōu)參數(shù)不變的前提下，在1～6內(nèi)調(diào)節(jié)圖卷積層數(shù)，實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3可見，隨著圖卷積層數(shù)的增加，模型在兩個(gè)數(shù)據(jù)集上的NDCG@50值都有所提升。其中，模型在Beibei數(shù)據(jù)集上選擇4層圖卷積取得較好效果，在Tmall數(shù)據(jù)集上選擇3層圖卷積取得較好效果，但當(dāng)圖卷積層數(shù)繼續(xù)增加，推薦性能不會(huì)繼續(xù)提升，這是因?yàn)殡S著不斷聚合高階節(jié)點(diǎn)嵌入，使得節(jié)點(diǎn)的最終嵌入變得越來越相似，到達(dá)一定閾值就會(huì)影響推薦性能。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證行為聚合權(quán)重感知、項(xiàng)目相似屬性挖掘這些設(shè)計(jì)對于模型推薦性能的影響，設(shè)計(jì)了MBISE的兩種變體，分別為：a）不考慮同一用戶交互下項(xiàng)目間的相似屬性，僅通過行為權(quán)重聚合鄰域節(jié)點(diǎn)更新節(jié)點(diǎn)嵌入，該變體被稱為MBISEA；b）不學(xué)習(xí)行為聚合權(quán)重，通過統(tǒng)一行為權(quán)重進(jìn)行信息聚合，該變體被稱為MBISEB。接下來將兩種變體與模型MBISE在兩個(gè)數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4所示。

由圖4可知，本文模型MBISE在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于兩個(gè)變體模型。兩個(gè)數(shù)據(jù)集中點(diǎn)擊、加購物車、收藏行為數(shù)量均遠(yuǎn)多于購買行為數(shù)量，但購買行為體現(xiàn)出更強(qiáng)的用戶偏好，因此引入多行為交互數(shù)據(jù)時(shí)，通過統(tǒng)一的權(quán)重聚合鄰居信息必然會(huì)影響推薦性能。另外，挖掘項(xiàng)目間的相似屬性有利于緩解數(shù)據(jù)稀疏性問題，從而提升推薦性能。

3.4 自監(jiān)督學(xué)習(xí)強(qiáng)化分析

為了驗(yàn)證自監(jiān)督學(xué)習(xí)輔助任務(wù)對于模型的強(qiáng)化作用，本節(jié)將去掉輔助任務(wù)的變體模型MBISEMB與本文模型MBISE在抗噪能力、去流行偏差和訓(xùn)練效率上進(jìn)行對比。保持共有參數(shù)相同，MBISE模型自監(jiān)督學(xué)習(xí)輔助任務(wù)部分，在Beibei數(shù)據(jù)集上采用邊擾動(dòng)增強(qiáng)方式、擾動(dòng)率設(shè)置為0.3，在Tmall數(shù)據(jù)集上采用邊擾動(dòng)增強(qiáng)方式、擾動(dòng)率設(shè)置為0.4。

3.4.1 抗噪能力

為了模擬多行為推薦數(shù)據(jù)集中的噪聲，本文將隨機(jī)生成的用戶項(xiàng)目交互記錄，按照一定的比例添加至數(shù)據(jù)集中，然后進(jìn)行抗噪能力對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。

由圖5可知，隨著噪聲比例的增加兩個(gè)模型的推薦性能都有所下降，但引入自監(jiān)督學(xué)習(xí)輔助任務(wù)的MBISE性能波動(dòng)明顯小于MBISEMB，MBISE在噪聲數(shù)據(jù)上依然可以取得較好的推薦性能，這表明自監(jiān)督學(xué)習(xí)輔助任務(wù)的引入有效地提升模型的抗噪能力。自監(jiān)督學(xué)習(xí)通過對比不同的增強(qiáng)視圖，感知對節(jié)點(diǎn)表征學(xué)習(xí)有利的局部結(jié)構(gòu)，可有效降低噪聲交互對模型的影響，提升了模型的抗噪能力。

3.4.2 去流行度偏差

為了驗(yàn)證模型在引入自監(jiān)督學(xué)習(xí)輔助任務(wù)前后受到流行度偏差的影響，本節(jié)引入新的評價(jià)指標(biāo)非流行項(xiàng)目平均占比APUI@N，用于衡量長尾項(xiàng)目在top-n推薦列表中的平均推薦占比［23］，公式如下：

APUI@N=1U∑u∈U{i|i∈（Ru@N∩Γ）}N（20）

其中：Ru@N表示用戶u的top-n推薦列表；Γ表示非流行項(xiàng)目集合，按項(xiàng)目被交互次數(shù)排序，前20%為流行項(xiàng)目，后80%即為非流行項(xiàng)目。兩個(gè)模型去流行度偏差實(shí)驗(yàn)結(jié)果如表4所示。

由表4可知，MBISE在兩個(gè)數(shù)據(jù)集上均提升了非流行項(xiàng)目在用戶推薦列表中的平均占比，這表明在保證推薦性能前提下，自監(jiān)督學(xué)習(xí)輔助任務(wù)引入可以有效緩解流行度偏差。這受益于自監(jiān)督學(xué)習(xí)邊擾動(dòng)設(shè)計(jì)，通過降低高度節(jié)點(diǎn)的度數(shù)，降低其對節(jié)點(diǎn)表征學(xué)習(xí)的影響，在一定程度上縮小了節(jié)點(diǎn)嵌入學(xué)習(xí)中流行項(xiàng)目和非流行項(xiàng)目之間的影響差別。

3.4.3 訓(xùn)練效率

將本文模型MBISE與變體模型MBISEMB在兩個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，記錄最佳評價(jià)指標(biāo)以及達(dá)到最佳指標(biāo)的迭代次數(shù)，訓(xùn)練結(jié)果如表5所示。

由表5可知，引入自監(jiān)督學(xué)習(xí)輔助任務(wù)的MBISE相較于MBISEMB在兩個(gè)數(shù)據(jù)集上的評價(jià)指標(biāo)都有所提升，并且在訓(xùn)練過程中MBISE均先于MBISEMB收斂，尤其是在數(shù)據(jù)更加稀疏的Tmall數(shù)據(jù)集上這種優(yōu)勢更明顯。受益于自監(jiān)督學(xué)習(xí)輔助任務(wù)的對比學(xué)習(xí)損失函數(shù)，MBISE可以從多個(gè)負(fù)樣本中學(xué)習(xí)節(jié)點(diǎn)表征，有效地?cái)U(kuò)大了模型感知領(lǐng)域，并且在適當(dāng)?shù)臏囟认禂?shù)下，自監(jiān)督學(xué)習(xí)通過對困難負(fù)樣本的挖掘，能夠提供更有價(jià)值且更大的梯度，從而提升了模型的收斂效率。

4 結(jié)束語

本文提出了一個(gè)融合自監(jiān)督學(xué)習(xí)強(qiáng)化的多行為推薦模型，該模型引入多行為交互數(shù)據(jù)，通過提取多行為交互特征來優(yōu)化節(jié)點(diǎn)嵌入，并構(gòu)建自監(jiān)督學(xué)習(xí)輔助任務(wù)，在增強(qiáng)模型對于交互噪聲魯棒性能的同時(shí)，也在一定程度上提升了模型收斂速率、緩解了流行度偏差。在兩個(gè)公開數(shù)據(jù)集Tmall和Beibei上的實(shí)驗(yàn)結(jié)果表明，本文模型性能均優(yōu)于對比模型。未來的工作中，將研究如何設(shè)計(jì)其他形式的自監(jiān)督任務(wù)，如通過自監(jiān)督學(xué)習(xí)對數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，將微調(diào)后的數(shù)據(jù)集用于推薦任務(wù)。

參考文獻(xiàn)：

［1］Guo Qingyu， Zhuang Fuzhen， Qin Chuan， et al. A survey on know-ledge graph-based recommender systems［J］. IEEE Trans on Knowledge and Data Engineering， 2022，34（8）：3549-3568.

［2］Xu Chonghuan. A novel recommendation method based on social network using matrix factorization technique［J］. Information Proces-sing & Management， 2018，54（3）： 463-474.

［3］Wang Hongwei， Zhang Fuzheng， Zhao Miao， et al. Multi-task feature learning for knowledge graph enhanced recommendation［C］//Proc of World Wide Web Conference. New York：ACM Press， 2019： 2000-2010.

［4］Loni B， Pagano R， Larson M， et al. Bayesian personalized ranking with multi-channel user feedback［C］//Proc of the 10th ACM Conference on Recommender Systems. New York：ACM Press， 2016： 361-364.

［5］Gao Chen， He Xiangnan， Gan Dahua， et al. Learning to recommend with multiple cascading behaviors［J］. IEEE Trans on Knowledge and Data Engineering， 2019，33（6）： 2588-2601.

［6］Xia Lianghao， Huang Chao， Xu Yong， et al. Multiplex behavioral relation learning for recommendation via memory augmented Transformer network［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press， 2020： 2397-2406.

［7］李社蕾， 周波， 楊博雄，等. 圖卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)圖結(jié)構(gòu)影響研究［J］. 小型微型計(jì)算機(jī)系統(tǒng)， 2021，42（4）： 891-896. （Li Shelei， Zhou Bo， Yang Boxiong， et al. A study on the influence of graph convolutional neural network underlying graph structure［J］. Journal of Chinese Computer Systems， 2021，42（4）： 891-896.）

［8］劉杰， 尚學(xué)群， 宋凌云， 等. 圖神經(jīng)網(wǎng)絡(luò)在復(fù)雜圖挖掘上的研究進(jìn)展［J］. 軟件學(xué)報(bào)， 2022，33（10）：3582-3618. （Liu Jie， Shang Xuequn， Song Lingyun， et al. Progress of graph neural networks on complex graph mining［J］. Journal of Software， 2022，33（10）： 3582-3618.）

［9］Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph colla-borative filtering［C］//Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2019： 165-174.

［10］Zhang Chuxu， Song Dongjin， Huang Chao， et al. Heterogeneous graph neural network［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York：ACM Press， 2019： 793-803.

［11］He Xiangnan， Deng Kuan， Wang Xiang， et al. LightGCN： simpli-fying and powering graph convolution network for recommendation［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2020： 639-648.

［12］Liu Yixin， Jin Ming， Pan Shirui， et al. Graph self-supervised lear-ning： a survey［J］. IEEE Trans on Knowledge and Data Engineering， 2023，35（6）： 5879-5900.

［13］張重生， 陳杰， 李岐龍，等. 深度對比學(xué)習(xí)綜述［J］. 自動(dòng)化學(xué)報(bào)， 2023，49（1）： 15-39. （Zhang Chongsheng， Chen Jie， Li Qilong， et al. A review of deep contrast learning［J］. Acta Automatica Sinica， 2023，49（1）： 15-39.）

［14］Yu Junliang， Yin Hongzhi， Xia Xin， et al. Self-supervised learning for recommender systems： a survey［EB/OL］. （2023-06-02）. https：//arxiv.org/abs/2203.15876.

［15］Quan Yuhui， Chen Mingqin， Pang Tongyao， et al. self2self with dropout：learning self-supervised denoising from single image［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2020： 1887-1895.

［16］Bian Zhi， Zhou Shaojun， Fu Hao， et al. Denoising user-aware memory network for recommendation［C］//Proc of the 15th ACM Conference on Recommender Systems. New York：ACM Press，2021： 400-410.

［17］Hu Yifan， Koren Y， Volinsky C. Collaborative filtering for implicit feedback datasets［C］//Proc of the 8th IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2008： 263-272.

［18］Lee D， Kang S K， Ju H， et al. Bootstrapping user and item representations for one-class collaborative filtering［C］// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2021： 317-326.

［19］Wang Zitai， Xu Qianqian， Yang Zhiyong， et al. Implicit feedbacks are not always favorable： iterative relabeled one-class collaborative filtering against noisy interactions［C］//Proc of the 29th ACM International Conference on Multimedia. New York：ACM Press，2021： 3070-3078.

［20］Jovanovic＇ N， Meng Zhao， Faber L， et al. Towards robust graph con-trastive learning［EB/OL］. （2021-02-25）. https：//arxiv.org/abs/2102.13085.

［21］Chen Chong， Zhang Min， Zhang Yongfeng， et al. Efficient heterogeneous collaborative filtering without negative sampling for recommendation［C］//Proc of AAAI Conference on Artificial Intelligence. Palo Alto ，CA： AAAI Press， 2020： 19-26.

［22］Chen Chong， Ma Weizhi ， Zhang Min， et al. Graph heterogeneous multi-relational recommendation［C］//Proc of AAAI Conference on Artificial Intelligence. Palo Alto ，CA： AAAI Press， 2021： 3958-3966.

［23］Abdollahpouri H， Burke R， Mobasher B. Managing popularity bias in recommender systems with personalized re-ranking［EB/OL］. （2019-08-12）. https：//arxiv.org/abs/1901.07555.

收稿日期：2023-02-08；修回日期：2023-04-03? 基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（62173171）

作者簡介：沈?qū)W利（1969-），男，江蘇連云港人，教授，碩導(dǎo)，碩士，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)及信息安全、推薦系統(tǒng)等；張榮凱（1998-），男（通信作者），河北滄州人，碩士研究生，主要研究方向?yàn)橥扑]系統(tǒng)等（1909298890@qq.com）．