摘 要:針對現(xiàn)有去偏推薦方法在選擇負(fù)樣本時將樣本作為一個整體考慮導(dǎo)致的采樣偏差問題,以及不平衡的熱門-長尾項目表征學(xué)習(xí)無法有效緩解數(shù)據(jù)稀疏的問題,提出融合遷移學(xué)習(xí)和解糾纏負(fù)采樣的去偏推薦方法(DTDN)。該方法首先利用交互行為中的對撞效應(yīng)設(shè)計負(fù)采樣模塊;其次,根據(jù)采樣數(shù)據(jù)設(shè)計特征解耦模塊對用戶和正負(fù)樣本的特征進(jìn)行解耦表征學(xué)習(xí)(DRL);然后,在表征學(xué)習(xí)階段引入遷移學(xué)習(xí)模塊,以對齊熱門項目和長尾項目的表征分布;最后,基于解耦表征設(shè)計樣本選擇器去除數(shù)據(jù)中的固有偏差,幫助模型準(zhǔn)確學(xué)習(xí)用戶和正負(fù)樣本特征中的規(guī)律。在兩個實際應(yīng)用數(shù)據(jù)集上的廣泛實驗結(jié)果表明,與最優(yōu)的基線方法CD2AN相比,DTDN的各項性能指標(biāo)均有明顯的提升,驗證了DTDN在降低推薦系統(tǒng)偏差負(fù)面影響方面的有效性。
關(guān)鍵詞:推薦系統(tǒng);去偏推薦;負(fù)采樣;解糾纏表征學(xué)習(xí);遷移學(xué)習(xí)
中圖分類號:TP391"" 文獻(xiàn)標(biāo)志碼:A""" 文章編號:1001-3695(2025)04-020-1115-07
doi: 10.19734/j.issn.1001-3695.2024.09.0296
Debiasing recommendation method integrating transfer learning and disentangled negative sampling
Liu Qia, b, Tang Honga, b, Yang Liminga, b
(a. School of Communications amp; Information Engineering, b. Key Laboratory of Mobile Communications Technology of Chongqing, Chongqing University of Posts amp; Telecommunications, Chongqing 400065, China)
Abstract:To address the sampling bias caused by treating negative samples holistically in existing debiased recommendation methods, along with the limitations of imbalanced representation learning for popular and long-tail items in alleviating data sparsity, this study proposed a debiased recommendation method integrating transfer learning and disentangled negative sampling (DTDN) . The proposed method firstly designed a negative sampling module based on the collision effect observed in user interactions. Then, it developed a feature disentanglement module to perform disentangled representation learning (DRL) on user features and both positive and negative samples. During representation learning, a transfer learning module aligned the distributions of popular and long-tail items, mitigating sparsity issues. Finally, a sample selector based on the disentangled representations was constructed to remove inherent data biases, enabling the model to effectively capture patterns in user pre-ferences and sample features. Experimental results on two real-world datasets demonstrate that DTDN significantly improves all performance metrics compared to the best baseline, CD2AN, verifying its effectiveness in reducing the negative impact of bias in recommendation systems.
Key words:recommendation system; debiased recommendation; negative sampling; disentangled representation learning; transfer learning
0 引言
近年來,基于機器學(xué)習(xí)的推薦模型在歷史交互數(shù)據(jù)的擬合上表現(xiàn)優(yōu)異[1, 2],但在視頻和購物推薦等實際應(yīng)用中往往效果不佳,尤其在用戶多樣化興趣的滿足及抗干擾能力方面存在明顯不足[3]。例如,在視頻平臺上,用戶通常會不斷收到熱門視頻的推薦,而冷門優(yōu)質(zhì)影片或獨立制片作品卻鮮有出現(xiàn)。這不僅降低了內(nèi)容的多樣性,還可能導(dǎo)致用戶逐漸失去對平臺的興趣。這種現(xiàn)象主要源于大多數(shù)推薦模型假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)為獨立同分布(independent and identically distributed, IID),但實際上,由于訓(xùn)練數(shù)據(jù)中固有的偏差[4],兩者的分布往往是非IID的。這種不一致性直接導(dǎo)致模型在實際應(yīng)用中難以準(zhǔn)確學(xué)習(xí)用戶和項目的真實特征規(guī)律,從而影響推薦效果和用戶體驗[5]。因此,為了提高推薦系統(tǒng)在多樣化應(yīng)用場景中的適應(yīng)性,急需開發(fā)具備去偏能力的推薦方法,以增強模型泛化能力,提升推薦結(jié)果的多樣性和精準(zhǔn)性,從而更好地滿足用戶的多元化需求并優(yōu)化推薦體驗。
現(xiàn)有的去偏推薦研究通常集中在分析交互行為中的偏差成因及其對推薦模型的影響,并設(shè)計相應(yīng)的去偏方法[6]。傳統(tǒng)的去偏方法主要包括逆傾向評分(inverse propensity scoring, IPS)[7] 、因果推斷[8]和正則化[9]等。然而,這些方法通常只針對單一類型的偏差,難以處理實際數(shù)據(jù)中常見的多種甚至未知的偏差,導(dǎo)致去偏效果不理想[10]。
目前,研究人員開始采用解糾纏表征學(xué)習(xí)(disentangled representation learning, DRL)技術(shù),將用戶-項目表征與偏差表征相互分離[11]。盡管基于解糾纏表征學(xué)習(xí)的去偏推薦方法在提升模型抗偏差能力方面表現(xiàn)出色,但仍存在一個主要問題:在選擇負(fù)樣本時,這些方法通常將負(fù)樣本視為一個整體,忽視了用戶與正、負(fù)樣本之間的復(fù)雜交互[12],特別是,部分負(fù)樣本可能是用戶喜歡但未接觸到的項目,而偏差在負(fù)樣本中的影響也會隨時間變化[13],并且長尾項目的稀疏性會進(jìn)一步加劇模型對負(fù)樣本特征規(guī)律的錯誤學(xué)習(xí)[14, 15]。
針對上述問題,本文提出一種融合遷移學(xué)習(xí)和解糾纏負(fù)采樣的去偏推薦方法(debiasing recommendation method integrating transfer learning and disentangled negative sampling, DTDN)。該方法根據(jù)用戶交互行為中的對撞效應(yīng)設(shè)計負(fù)采樣模塊對交互數(shù)據(jù)進(jìn)行采樣,然后根據(jù)采樣數(shù)據(jù)設(shè)計特征解耦模塊對用戶和正負(fù)樣本進(jìn)行解糾纏表征學(xué)習(xí)。然而,由于長尾項目數(shù)據(jù)的稀疏性,推薦模型在實際應(yīng)用中容易對熱門項目產(chǎn)生過擬合,而對長尾項目則存在欠擬合的問題。為此,本文在表征學(xué)習(xí)過程中引入遷移學(xué)習(xí)模塊來對長尾項目和熱門項目的表征分布進(jìn)行對齊,緩解長尾項目的稀疏問題。最后根據(jù)學(xué)習(xí)到的解耦表征設(shè)計樣本選擇器來去除數(shù)據(jù)中的固有偏差。通過在兩個大型公開數(shù)據(jù)集上進(jìn)行實驗,結(jié)果表明DTDN相較于基線方法取得了一定改進(jìn)。
1 相關(guān)工作
推薦系統(tǒng)是一個深度反饋循環(huán)系統(tǒng),數(shù)據(jù)中的偏差會導(dǎo)致模型在表征學(xué)習(xí)階段學(xué)到錯誤的信息[16]。例如用戶在購買電腦配件時僅僅是由于項目的流行度很高而購買,但在實際使用中并不喜歡,現(xiàn)有推薦模型無法識別這種行為,模型在進(jìn)行表征學(xué)習(xí)時學(xué)習(xí)到錯誤的方向,進(jìn)而推薦給用戶有偏差的項目列表,用戶受到推薦結(jié)果影響會作出錯誤的行為[17]。
現(xiàn)有的去偏推薦方法大致可分為三類:
a)基于先驗知識解決特定偏差問題。例如,Navip模型[18]借鑒逆傾向評分,根據(jù)項目的流行度對項目重新加權(quán),減輕流行度偏差;CausPref[19]通過因果推斷分析用戶與項目的交互因果關(guān)系,建模特定偏差的產(chǎn)生機制。但上述研究只針對單一偏差問題。
b)基于無偏數(shù)據(jù)增強的去偏推薦方法。Chen等人[20]使用無偏的統(tǒng)一數(shù)據(jù)集,利用元學(xué)習(xí)技術(shù)解決雙層優(yōu)化問題,對去偏差的參數(shù)進(jìn)行優(yōu)化;Liu等人[21]則是在無偏的統(tǒng)一數(shù)據(jù)集上訓(xùn)練與基礎(chǔ)模型相同的教師模型,以指導(dǎo)模型的訓(xùn)練。但獲取無偏數(shù)據(jù)集困難且昂貴,會損害用戶體驗和平臺收入。
c)基于解糾纏表征學(xué)習(xí)的去偏推薦方法。這類方法可以對用戶和項目交互背后的生成機制進(jìn)行建模。Xie等人[22]針對序列推薦的特點,將解糾纏技術(shù)與自注意力相結(jié)合,深入挖掘用戶偏好。Zheng等人[23]將因果推斷與解糾纏技術(shù)結(jié)合起來,根據(jù)用戶購買商品的動機進(jìn)行解糾纏。朱海威等人[24]則是將對比學(xué)習(xí)與解糾纏技術(shù)相互結(jié)合,同時訓(xùn)練獲取有偏和無偏推薦模型。但上述方法并未對負(fù)樣本進(jìn)行充分建模學(xué)習(xí),因此本文方法在此類方法基礎(chǔ)上進(jìn)行進(jìn)一步的研究。
2 本文方法
2.1 問題定義
去偏推薦中的負(fù)采樣問題定義如下。給定歷史交互數(shù)據(jù)集D={u,xi,p},其中每一對(u,xi)代表用戶u與項目xi之間觀察到的交互,并定義項目xi為用戶u的正樣本,p則表示項目xi的流行度,即項目xi在整個數(shù)據(jù)集中的交互次數(shù);同時對于用戶u在整個數(shù)據(jù)集中沒有交互過的項目xj,定義為用戶u的負(fù)樣本。同時將歷史交互數(shù)據(jù)集分為訓(xùn)練集Dtrain與干預(yù)測試集Dtest,兩者之間的數(shù)據(jù)分布是非IID的。DTDN的目標(biāo)是通過對用戶和其對應(yīng)的正負(fù)樣本進(jìn)行解糾纏表征學(xué)習(xí),來為用戶推薦感興趣的項目。
2.2 方法概述
DTDN針對現(xiàn)有去偏推薦方法未能充分建模負(fù)樣本的問題及訓(xùn)練數(shù)據(jù)分布不均的現(xiàn)象進(jìn)行了改進(jìn)。具體而言,本文方法不僅對用戶和正負(fù)樣本特征進(jìn)行了解糾纏的表征學(xué)習(xí),還在表征學(xué)習(xí)階段合理平衡了長尾項目和熱門項目的訓(xùn)練強度,以提高模型對冷門內(nèi)容的推薦能力和整體泛化性能。DTDN的整體框架如圖1所示,主要由負(fù)采樣模塊、特征解耦模塊、遷移學(xué)習(xí)模塊和樣本選擇器模塊四個部分組成。
首先負(fù)采樣模塊根據(jù)負(fù)樣本的流行度對歷史交互數(shù)據(jù)中的負(fù)樣本進(jìn)行采樣得到D1和D2數(shù)據(jù)集。特征解耦模塊對這兩個數(shù)據(jù)集分別設(shè)計對應(yīng)的編碼器,進(jìn)行解糾纏表征學(xué)習(xí),得到用戶和正負(fù)樣本的真實特征表征和干擾特征表征。由于學(xué)習(xí)到的解耦特征沒有真實值(ground-truth)指導(dǎo)會在后繼訓(xùn)練中重新糾纏在一起,所以引入全局對比學(xué)習(xí)來保證兩者在向量空間中的差異性,同時,遷移學(xué)習(xí)模塊在解耦表征學(xué)習(xí)階段對長尾項目和熱門項目的分布進(jìn)行對齊,從而提升模型對長尾項目的學(xué)習(xí)能力。最后,樣本選擇器根據(jù)兩種解耦表征將用戶真正喜歡的正樣本和真正不喜歡的負(fù)樣本挑選出來,并基于這些樣本計算模型的推薦損失。
2.3 負(fù)采樣模塊
負(fù)采樣模塊作用是根據(jù)Dtrain每個觀察到的交互(u,xi,p)中用戶u的正樣本xi與負(fù)樣本xj之間的流行度差異來對負(fù)樣本進(jìn)行采樣,以使得模型可以對負(fù)樣本進(jìn)行解糾纏表征學(xué)習(xí)。
2.3.1 因果推斷
圖2展示了用戶與項目交互的因果,揭示了交互行為是由真實特征和干擾特征(用戶的從眾性以及項目的流行度等)共同決定的。兩者本應(yīng)該是相互獨立的兩個因素,但由于對撞效應(yīng),兩者有了虛假的聯(lián)系?,F(xiàn)有推薦模型未對這兩者進(jìn)行區(qū)分,而是統(tǒng)一地對整體建模,導(dǎo)致模型無法準(zhǔn)確識別出用戶真實喜好,從而產(chǎn)生推薦錯誤。為解決這一問題,本文采用解糾纏表征對用戶和項目進(jìn)行建模,并相應(yīng)調(diào)整推薦分?jǐn)?shù)的計算方式:
3 實驗分析
3.1 實驗設(shè)置
3.1.1 數(shù)據(jù)集選取及預(yù)處理
本文對來自現(xiàn)實應(yīng)用的兩個不同領(lǐng)域的公開數(shù)據(jù)集進(jìn)行了實驗,分別是電影推薦領(lǐng)域的MovieLens-10M數(shù)據(jù)集和視頻推薦領(lǐng)域的Netflix數(shù)據(jù)集?,F(xiàn)有模型大多是在IID場景下進(jìn)行訓(xùn)練,即默認(rèn)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)之間是獨立同分布的,但在實際應(yīng)用中由于偏差的存在,會使得訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)之間是非IID。因此,為了衡量非IID情況下模型學(xué)習(xí)的性能,需要干預(yù)測試集,即從數(shù)據(jù)中以項目對應(yīng)流行度的倒數(shù)為概率隨機抽取40%記錄,其余60%作為訓(xùn)練集,最終得到訓(xùn)練集(60%正常)、驗證集(10%干預(yù))和測試集(30%干預(yù))。
entropy=-∑Ni=1P(xi)log P(xi)
(22)
P(xi)=popularity(xi)∑Ni=1popularity(xi)
(23)
其中:popularity(xi)表示樣本的交互次數(shù);entropy表示數(shù)據(jù)的信息熵,信息熵越高表示數(shù)據(jù)中的項目越均衡;N表示數(shù)據(jù)中項目的總數(shù),數(shù)據(jù)集的數(shù)據(jù)統(tǒng)計如表1所示。
3.1.2 評價指標(biāo)
本文使用命中率(hit rate,HR)、召回率(recall)和歸一化折損累計增益(normalized discounted cumulative gain, NDCG)三種指標(biāo)。
a)命中率。用于衡量模型有沒有推薦用戶感興趣的項目(正樣本),其計算公式如下:
HR@K=∑Mi=1hr(i)M
(24)
其中:M表示用戶數(shù)目;K表示推薦列表中項目的個數(shù);hr(i)表示第i個用戶感興趣的項目是否在推薦列表中,是則為1,否則為0。
b)召回率。用于衡量用戶感興趣的項目在模型推薦給用戶的推薦列表中的占比,其計算公式如下:
Recall@K=TPTP+FN
(25)
其中:TP表示推薦列表中用戶感興趣的項目;FN表示模型沒有預(yù)測到的正樣本;TP+FN表示用戶所有感興趣的項目。
c)歸一化折損累計增益。通過基于項目位置的折扣重要性來衡量推薦列表的質(zhì)量,其計算公式如下:
NDCG@K=DCG@KIDCG@K,
DCG@K=∑Ki=1rel(xi)log2(i+1)
(26)
其中:xi表示推薦列表中的i個項目;rel(·)表示模型對項目的預(yù)測評分。IDCG就是將DCG推薦列表中項目順序事先按照數(shù)據(jù)集D中的相似度順序排序后再進(jìn)行DCG計算。
3.1.3 參數(shù)設(shè)置
本文采用Adam優(yōu)化器對超參數(shù)進(jìn)行優(yōu)化學(xué)習(xí),學(xué)習(xí)率為0.001,模型訓(xùn)練輪數(shù)為100,批次大小為128,表征嵌入維度為64,邊界值m設(shè)置為40,推薦列表長度K設(shè)置為{20,50},正則化參數(shù)為0.000 1。為了實驗的公平性,本文實驗的所有基線方法均先在本地環(huán)境參考原文進(jìn)行復(fù)現(xiàn),最終選擇各個基線的最優(yōu)性能進(jìn)行對比。
3.2 整體性能分析
3.2.1 骨干模型
去偏推薦方法通常作為骨干模型的附加方法,因此本文使用最常用的推薦模型矩陣分解(matrix factorization, MF)和最先進(jìn)的圖卷積網(wǎng)絡(luò)(GCN)來比較不同的去偏推薦方法。具體而言,本文選擇BPR-MF[25]和LightGCN[26]作為骨干模型。
3.2.2 基線方法
a)BMSE[27]。該方法根據(jù)項目的流行度重新加權(quán)每個項目來去除流行度偏差,并以引入少量偏差為代價,進(jìn)一步增加了歸一化,降低了方差。
b)CausPref[19]。該方法引入一個小的無偏數(shù)據(jù)集來監(jiān)督模型在有偏數(shù)據(jù)集上的訓(xùn)練過程,并利用L2正則化來強制讓兩組嵌入彼此相似。
c)DICE[23]。該方法通過學(xué)習(xí)因果嵌入來處理流行度偏差,具體而言,該方法基于解糾纏表征學(xué)習(xí)的思想將用戶與項目的表征分解為從眾興趣與真實興趣。
d)CD2AN[28]。該方法使用皮爾森相關(guān)系數(shù)將項目真實表征從流行度表征中解耦出來,并引入額外的負(fù)樣本來對齊熱門與長尾項目之間的項目流行度分布。
e)DENS[29]。該方法是一種基于解糾纏表征學(xué)習(xí)的復(fù)采樣方法,通過使用門控函數(shù)將負(fù)樣本表征解耦為相關(guān)因素與不相關(guān)因素,并根據(jù)解耦表征來選擇最佳的負(fù)樣本用于推薦預(yù)測訓(xùn)練。但該方法并未考慮數(shù)據(jù)分布不均勻問題。
3.2.3 對比實驗性能分析
表2、3是各個方法在兩個數(shù)據(jù)集上得到的top-K推薦性能仿真結(jié)果。此外,本文還對沒有使用任何去偏差方法的MF和GCN模型進(jìn)行了比較,其中對最優(yōu)結(jié)果進(jìn)行加粗標(biāo)記。次優(yōu)結(jié)果進(jìn)行下畫線標(biāo)記。根據(jù)對比結(jié)果,本文有如下分析:
a)本文方法在非IID場景下的兩個數(shù)據(jù)集上各項指標(biāo)均有一定改進(jìn),優(yōu)于當(dāng)前最先進(jìn)的基線方法。這表明DTDN成功將用戶和正負(fù)樣本的真實特征表征與干擾特征表征有效分離,同時在表征學(xué)習(xí)過程中減少了熱門項目與長尾項目表征分布的差異。此外,模型根據(jù)解耦特征表征能夠更準(zhǔn)確地識別適合的正負(fù)樣本,從而更準(zhǔn)確地預(yù)測用戶與項目之間的評分。
b)標(biāo)量表征方法在不同數(shù)據(jù)集和指標(biāo)上表現(xiàn)不穩(wěn)定。例如,BMSE在MovieLens-10M數(shù)據(jù)集上提升了模型性能,但在Netflix數(shù)據(jù)集上效果有限;而CausE甚至導(dǎo)致模型性能下降。相比之下,使用解糾纏表征的去偏推薦模型例如DICE和CD2AN能顯著提升模型性能。這是因為在非IID場景下,模型缺乏測試數(shù)據(jù)的先驗信息,標(biāo)量表征受各種偏差影響無法穩(wěn)定反映用戶和項目特征表征。同時,DENS在各數(shù)據(jù)集上的指標(biāo)均低于DTDN,表明平衡長尾與熱門項目之間的表征分布能有效提升模型性能。
c)DTDN可輕松集成到各種推薦模型中。除了在兩個數(shù)據(jù)集上取得最佳性能外,DTDN在MF和GCN骨干模型上也均優(yōu)于其他基線方法。原因在于DTDN是基于交互數(shù)據(jù)生成方式進(jìn)行特征解耦學(xué)習(xí)的,與骨干推薦模型相互獨立。
3.3 超參數(shù)調(diào)優(yōu)分析
本文研究了損失函數(shù)中調(diào)整特征解耦模塊的權(quán)重參數(shù)α、遷移學(xué)習(xí)模塊的權(quán)重參數(shù)β以及負(fù)采樣率M對DTDN性能的影響,實驗中設(shè)定權(quán)重參數(shù)α和β的值從0到1,每次以0.1的增量進(jìn)行參數(shù)實驗,設(shè)定負(fù)采樣率M的值從0到10,每次以2的增量進(jìn)行參數(shù)實驗。圖3顯示了DTDN在Netflix數(shù)據(jù)集上NDCG@50隨著各個參數(shù)調(diào)整的變化。對此,本文有以下分析:
a)從圖3(a)可以看出,在α=0.1時,特征解耦模塊性能達(dá)到最優(yōu),α的值過大可能與推薦模型的主要交互預(yù)測任務(wù)相互矛盾,導(dǎo)致預(yù)測精度低。
b)從圖3(b)可以看出,在β=0.4時,遷移學(xué)習(xí)模塊性能達(dá)到最優(yōu),過小的β無法保證模塊發(fā)揮良好的作用,過大的β則會導(dǎo)致負(fù)遷移現(xiàn)象,影響最終測試的精度。
c)從圖3(c)可以看出,在M=8時,推薦模型的性能達(dá)到最優(yōu),M值過小時,模型會對負(fù)樣本的特征規(guī)律學(xué)習(xí)不全面,影響推薦預(yù)測性能;M值過大時,正樣本的信息會被大量負(fù)樣本所稀釋,模型無法準(zhǔn)確學(xué)習(xí)正樣本的特征規(guī)律。
3.4 消融實驗分析
本文在Netflix數(shù)據(jù)集上進(jìn)行了消融實驗,以驗證各組成部分的有效性。性能對比數(shù)據(jù)如表4所示,其中對最優(yōu)結(jié)果進(jìn)行加粗標(biāo)記,通過對比實驗結(jié)果,得到以下分析:
a)將負(fù)采樣模塊替換為傳統(tǒng)隨機抽樣后,模型性能下降,表明負(fù)采樣模塊能獲取特定因素的數(shù)據(jù)集用于特征解耦學(xué)習(xí)。
b)將解糾纏表征學(xué)習(xí)替換為標(biāo)量表征學(xué)習(xí)后,模型性能下降,說明特征解耦模塊有助于分離用戶和項目的真實特征表征與干擾特征表征。去除特征解耦模塊中的對比學(xué)習(xí)部分也導(dǎo)致性能下降,表明對比學(xué)習(xí)部分有效監(jiān)督了解耦特征表征的質(zhì)量。
c)去除遷移學(xué)習(xí)模塊后,模型性能下降,表明遷移學(xué)習(xí)模塊能對齊熱門項目與長尾項目的表征分布。去除樣本選擇器模塊后,模型性能也下降,說明該模塊能根據(jù)解耦特征表征篩選出高質(zhì)量的正負(fù)樣本。
3.5 解糾纏表征與標(biāo)量表征對比
采用解糾纏表征學(xué)習(xí)用戶及其正負(fù)樣本特征規(guī)律,能夠有效分離用戶和項目的真實特征表征與偏差因素。相比之下,使用標(biāo)量表征會導(dǎo)致特征受偏差影響,降低模型性能。圖4展示了DTDN中使用解糾纏表征與標(biāo)量表征的對比結(jié)果。
圖4中:j-s表示僅負(fù)樣本特征使用標(biāo)量表征;u-s表示僅用戶特征使用標(biāo)量表征;ij-s表示正負(fù)樣本特征都使用標(biāo)量表征;uij-s表示用戶及正負(fù)樣本特征都使用標(biāo)量表征。結(jié)果顯示,采用解糾纏表征學(xué)習(xí)用戶和正負(fù)樣本特征的模型性能明顯優(yōu)于使用標(biāo)量表征。這表明,標(biāo)量表征無法有效消除偏差影響。此外,使用標(biāo)量表征學(xué)習(xí)負(fù)樣本特征時性能下降,進(jìn)一步說明不能將負(fù)樣本視為整體來處理。
3.6 表征可視化
為了更好地說明DTDN對模型的性能提升效果,本文使用t-SNE將模型學(xué)習(xí)到的項目表征在向量空間中可視化。圖5顯示了DTDN在Netflix數(shù)據(jù)集上學(xué)習(xí)到的項目表征,有如下分析:
a)圖中點代表干擾特征表征,叉代表真實特征表征??汕逦赜^察到兩者在分界線上有著明顯的分離,表明模型成功學(xué)習(xí)到了這兩種表征并保持了它們的獨立性。
b)基于項目流行度將項目分為三組:紅色表示熱門項目(見電子版),綠色表示正常項目,藍(lán)色表示長尾項目。在干擾特征表征中,相似流行度的項目表征呈現(xiàn)分層且接近的特點;而在真實特征表征中,不同流行度的項目表征相互混合。這表明模型通過遷移學(xué)習(xí)模塊成功將長尾項目與熱門項目的真實特征表征進(jìn)行了對齊。
3.7 實例說明及分析
為了驗證本文去偏推薦方法的實際應(yīng)用效果,在MovieLens-10M數(shù)據(jù)集上進(jìn)行實際測試。本文選用LightGCN作為骨干模型,分別結(jié)合DTDN、BMSE以及CD2AN構(gòu)建不同的推薦模型,并在數(shù)據(jù)集中選擇兩個具有明顯不同偏好的用戶A和B作為測試案例,當(dāng)模型訓(xùn)練完成后進(jìn)行測試。
表5是用戶A和B觀看過的典型電影,從表中可以分析出用戶A偏好情感深邃、劇情豐富的影片,傾向于經(jīng)典和小眾影片;用戶B則是偏好高強度、刺激感強的商業(yè)大片,并對動作和特效類影片情有獨鐘,更傾向于主流流行影片。
表6是三種推薦方法對用戶A和B的推薦結(jié)果。
通過對比結(jié)果,本文有如下分析:
a)CD2AN。向用戶A推薦的電影雖然都是知名熱門影片,但缺乏個性化考量。這些電影雖然受到廣泛歡迎,卻可能無法滿足新用戶A獨特的觀影偏好,導(dǎo)致推薦的同質(zhì)化現(xiàn)象;向用戶B推薦的是經(jīng)典影片,但缺乏新鮮感。這可能導(dǎo)致用戶B對推薦系統(tǒng)的厭倦感,無法有效激發(fā)其持續(xù)的觀看興趣。
b)BMSE。由于其本身策略是強制降低流行項目評分,并同時提升長尾項目評分,所以該方法向用戶A和B推薦的都是小眾電影,未能考慮用戶的實際偏好,可能會導(dǎo)致推薦結(jié)果的低相關(guān)性和用戶滿意度下降。
c)DTDN。向用戶A推薦的影片不僅是高評分的經(jīng)典之作,還具備較高的藝術(shù)價值和創(chuàng)新性,體現(xiàn)了用戶A對深度內(nèi)容的潛在需求;向用戶B則推薦了符合其偏好的熱門影片和小眾影片。這表明DTDN通過對用戶和項目進(jìn)行解耦表征學(xué)習(xí),能夠更好地捕捉新用戶的興趣,以及老用戶的復(fù)雜偏好,為用戶提供多樣化且與用戶偏好相符的推薦。
4 結(jié)束語
本文提出了一種融合遷移學(xué)習(xí)和解糾纏負(fù)采樣的去偏推薦方法。首先,利用交互行為中的對撞效應(yīng)設(shè)計負(fù)采樣模塊對交互數(shù)據(jù)進(jìn)行采樣,實現(xiàn)對用戶和正負(fù)樣本的解糾纏表征學(xué)習(xí)。其次,引入遷移學(xué)習(xí)技術(shù)將熱門項目與長尾項目的表征分布進(jìn)行對齊,有效緩解了數(shù)據(jù)分布不均勻的問題。最后,通過樣本選擇器模塊去除訓(xùn)練集中的固有偏差,促使模型更準(zhǔn)確地學(xué)習(xí)用戶和項目特征規(guī)律,提升模型的推薦性能。
實驗結(jié)果顯示,DTDN在兩個公開數(shù)據(jù)集上表現(xiàn)優(yōu)于其他基線方法。消融實驗進(jìn)一步驗證了DTDN各個部分的有效性和合理性。解糾纏表征與標(biāo)量表征的對比分析驗證了對負(fù)樣本進(jìn)行解耦表征學(xué)習(xí)可以提升模型性能。未來可以考慮利用偏差有利的方面,使得模型可以及時掌握項目的流行趨勢與用戶的心理行為,進(jìn)一步提升模型的性能。
參考文獻(xiàn):
[1]Li Qian, Wang Xiangmeng, Wang Zhichao,et al. Be causal: de-biasing social network confounding in recommendation [J]. ACM Trans on Knowledge Discovery from Data, 2023, 17(1):1-23.
[2]Wang Wenjie, Lin Xinyu, Wang Liuhui,et al. Causal disentangled recommendation against user preference shifts [J]. ACM Trans on Information Systems, 2023, 42(1): 1-27.
[3]Chen Jiawei, Dong Hande, Wang Xiang,et al. Bias and debias in recommender system: a survey and future directions [J]. ACM Trans on Information Systems, 2023, 41(3): 1-39.
[4]Tang Jiakai, Shen Shiqi, Wang Zhipeng,et al. When fairness meets bias: a debiased framework for fairness aware top-N recommendation[C]// Proc of the 17th ACM Conference on Recommender Systems. New York: ACM Press, 2023: 200-210.
[5]郭楠, 黃慧慧. 面向偏差問題的推薦方法研究綜述 [J]. 計算機應(yīng)用研究, 2022, 39(10): 2881-2890, 2915. (Guo Nan, Huang Huihui. Review of recommendation methods for problem of bias [J]. Application Research of Computers, 2022, 39(10): 2881-2890, 2915.)
[6]Gupta M, Parra C M, Dennehy D. Questioning racial and gender bias in AI-based recommendations:do espoused national cultural values matter? [J]. Information Systems Frontiers, 2022, 24(5): 1465-1481.
[7]Langworthy B, Wu Yujie, Wang Molin. An overview of propensity score matching methods for clustered data [J]. Statistical Methods in Medical Research, 2023, 32(4): 641-655.
[8]Wang Wenjie, Feng Fuli, He Xiangnan,et al. Clicks can be chea-ting: counterfactual recommendation for mitigating clickbait issue[C]// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2021: 1288-1297.
[9]de Leon-Martinez S. Understanding user behavior in carousel recommendation systems for click modeling and learning to rank[C]// Proc of the 17th ACM International Conference on Web Search and Data Mining. New York: ACM Press, 2024: 1139-1141.
[10]張帥, 高旻, 文俊浩, 等. 基于自監(jiān)督學(xué)習(xí)的去流行度偏差推薦方法 [J]. 電子學(xué)報, 2022, 50(10): 2361-2371. (Zhang Shuai, Gao Min, Wen Junhao, et al. Self-supervised learning for alleviating popularity bias in recommender systems [J]. Acta Electronica Sinica, 2022, 50(10): 2361-2371.)
[11]Zhang Xiaoying, Wang Hongning, Li Hang.Disentangled representation for diversified recommendations[C]// Proc of the 16th ACM International Conference on Web Search and Data Mining. New York: ACM Press, 2023: 490-498.
[12]Li Zijian, Cai Ruichu, Huang Haiqin,et al. Debiased model-based interactive recommendation [EB/OL]. (2024-02-24). https://arxiv.org/abs/2402.15819.
[13]Zhang Yang, Feng Fuli, He Xiangnan,et al. Causal intervention for leveraging popularity bias in recommendation[C]// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2021: 11-20.
[14]Chen Zhihong, Xiao Rong, Li Chenliang,et al. ESAM: discriminative domain adaptation with non-displayed items to improve long-tail performance[C]// Proc of the 43rd International ACM SIGIR Confe-rence on Research and Development in Information Retrieval. New York: ACM Press, 2020: 579-588.
[15]武桐舟, 劉強, 王亮. 基于不確定性估計的推薦系統(tǒng)多任務(wù)學(xué)習(xí)去偏方法 [J]. 南京大學(xué)學(xué)報: 自然科學(xué), 2023, 59(4): 543-549. (Wu Tongzhou, Liu Qiang, Wang Liang. De-biasing method for multi-task learning in recommender systems based on uncertainty estimation [J]. Journal of Nanjing University: Natural Science, 2023, 59(4): 543-549.)
[16]Gao Chen, Zheng Yu, Wang Wenjie,et al. Causal inference in recommender systems: a survey and future directions [J]. ACM Trans on Information Systems, 2024, 42(4): 1-32.
[17]Klimashevskaia A, Jannach D, Elahi M,et al. A survey on popularity bias in recommender systems [J]. User Modeling and User-Adapted Interaction, 2024, 34(5): 1777-1834.
[18]Kim M, Oh J, Do J,et al. Debiasing neighbor aggregation for graph neural network in recommender systems[C]// Proc of the 31st ACM International Conference on Information amp; Knowledge Management. New York: ACM Press, 2022: 4128-4132.
[19]He Yue, Wang Zimu, Cui Peng,et al. CausPref: causal preference learning for out-of-distribution recommendation[C]// Proc of ACM Web Conference 2022. New York: ACM Press, 2022: 410-421.
[20]Chen Jiawei, Dong Hande, Qiu Yang,et al. AutoDebias: learning to debias for recommendation[C]// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2021: 21-30.
[21]Liu Dugang, Cheng Pengxiang, Dong Zhenhua,et al. A general knowledge distillation framework for counterfactual recommendation via uniform data[C]// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 831-840.
[22]Xie Yueqi, Zhou Peilin, Kim S. Decoupled side information fusion for sequential recommendation[C]// Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2022: 1611-1621.
[23]Zheng Yu, Gao Chen, Li Xiang,et al. Disentangling user interest and conformity for recommendation with causal embedding[C]// Proc of Web Conference 2021. New York: ACM Press, 2021: 2980-2991.
[24]朱海威, 武浩. 基于對比解耦學(xué)習(xí)的推薦系統(tǒng)流行度偏差緩解[J]. 云南大學(xué)學(xué)報: 自然科學(xué)版, 2025, 47(2):1-9.(Zhu Haiwei, Wu Hao. Popularity bias mitigation in recommender systems via contrastive disentangled learning [J]. Journal of Yunnan Univer-sity: Natural Sciences, 2025, 47(2):1-9.)
[25]Rendle S, Freudenthaler C, Gantner Z, et al. BPR: Bayesian personalized ranking from implicit feedback [EB/OL]. (2012-05-09) [2024-09-29]. https://arxiv. org/abs/1205.2618.
[26]He Xiangnan, Deng Kuan, Wang Xiang,et al. LightGCN: simpli-fying and powering graph convolution network for recommendation[C]// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 639-648.
[27]Li Haoxuan, Xiao Yanghao, Zheng Chunyuan, et al. Propensity matters: measuring and enhancing balancing for recommendation[C]// Proc of the 40th International Conference on Machine Learning. New York: PMLR.org, 2023: 20182-20194.
[28]Chen Zhihong, Wu Jiawei, Li Chenliang,et al. Co-training disentangled domain adaptation network for leveraging popularity bias in re-commenders[C]// Proc of the 45th International ACM SIGIR Confe-rence on Research and Development in Information Retrieval. New York: ACM Press, 2022: 60-69.
[29]Lai Riwei, Chen Li, Zhao Yuhan,et al. Disentangled negative sampling for collaborative filtering[C]// Proc of the 16th ACM International Conference on Web Search and Data Mining. New York: ACM Press, 2023: 96-104.