基于Setwise排序的深度輸入感知因子分解機(jī)*

劉 通,周寧寧

(南京郵電大學(xué)計(jì)算機(jī)學(xué)院,江蘇 南京 210023)

1 引言

由于互聯(lián)網(wǎng)的普及,信息過載成為人們生活中日益嚴(yán)重的問題。與搜索引擎一樣,推薦系統(tǒng)[1]是緩解信息過載問題的有效解決方案,方便用戶查看所需信息,增加服務(wù)提供商的流量和收入。推薦系統(tǒng)旨在從用戶反饋中挖掘用戶偏好。用戶反饋包含顯式反饋和隱式反饋。顯式反饋指有明確評分標(biāo)準(zhǔn)的數(shù)值反饋,如豆瓣電影的五星制評分;隱式反饋沒有明確的分值,如微博中的瀏覽記錄。隱式反饋的特征是只有正反饋樣本,傳統(tǒng)協(xié)同過濾模型處理這類數(shù)據(jù)時(shí)會(huì)出現(xiàn)過擬合問題[2],因?yàn)橛^察到的正實(shí)例數(shù)量遠(yuǎn)小于未觀察到的項(xiàng)目數(shù)量,這為構(gòu)建推薦系統(tǒng)帶來了新的挑戰(zhàn)[3]。

傳統(tǒng)的推薦算法大致可以分成3類:基于內(nèi)容的推薦、協(xié)同過濾CF(Collaborative Filtering)[4]和混合推薦算法。這些傳統(tǒng)的推薦算法重點(diǎn)考慮用戶和項(xiàng)目之間的二元關(guān)系,大都可以轉(zhuǎn)化為評分預(yù)測問題,根據(jù)用戶對項(xiàng)目的評分進(jìn)行排序后產(chǎn)生推薦列表。近幾年,研究人員發(fā)現(xiàn):如果僅根據(jù)用戶對項(xiàng)目的評分產(chǎn)生的推薦結(jié)果并不能準(zhǔn)確地反映用戶的偏好[5]。

為了解決傳統(tǒng)推薦算法中所存在的問題,研究人員將排序?qū)W習(xí)技術(shù)LTR(Learning To Rank)[6]融合進(jìn)推薦算法之中。基于排序?qū)W習(xí)的推薦算法得到越來越多的關(guān)注,目前已經(jīng)成為推薦系統(tǒng)領(lǐng)域的研究熱點(diǎn)之一。Rendle等[7]提出了貝葉斯個(gè)性化排序BPR(Bayesian Personalized Ranking)模型,它基于成對式(Pairwise)排序方法,以正負(fù)項(xiàng)目對為基礎(chǔ),對隱式反饋中的偏好結(jié)構(gòu)進(jìn)行建模。Shi等[8]提出了ListRank-MF(Matrix Factorization),它將列表式(Listwise)排序方法與矩陣分解MF相結(jié)合用于協(xié)同過濾。然而,Pairwise排序方法存在獨(dú)立性不一致問題,Listwise排序方法的損失函數(shù)較難設(shè)計(jì)且計(jì)算復(fù)雜度較高。Wang 等[9]提出了一種Setwise貝葉斯協(xié)同排序模型SetRank,以較弱的獨(dú)立性假設(shè)和更寬的排序限制,在隱式反饋的top-N推薦中取得了最優(yōu)的結(jié)果。

盡管針對隱式反饋的協(xié)同排序模型取得了很大進(jìn)步,但當(dāng)前基于排序的CF模型性能仍遠(yuǎn)不能令人滿意。CF模型大都基于用戶-項(xiàng)目的二維矩陣進(jìn)行推薦,只考慮到協(xié)同信息,沒有將用戶和項(xiàng)目的內(nèi)容信息融入模型中,這類模型容易存在冷啟動(dòng)問題。在現(xiàn)實(shí)世界的推薦系統(tǒng)中,冷啟動(dòng)問題通常被轉(zhuǎn)化為基于內(nèi)容的模型來解決?；趦?nèi)容推薦的關(guān)鍵問題是如何有效地對內(nèi)容信息和特征間交互關(guān)系進(jìn)行建模。目前,由Rendle[10]提出的因子分解機(jī)FM(Factorization Machines)模型及其基于深度學(xué)習(xí)的變體,能夠?qū)τ脩?、?xiàng)目之間的交互以及內(nèi)容信息進(jìn)行有效的建模。

標(biāo)準(zhǔn)FM中為每個(gè)特征訓(xùn)練出的固定隱向量進(jìn)行表示,但在實(shí)際應(yīng)用中同一特征在不同數(shù)據(jù)場景下通常具有不同的預(yù)測能力。輸入感知因子分解機(jī)IFM(Input-aware FM)[11],通過神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)出特有的樣本感知因子,在不同數(shù)據(jù)場景下為特征分配不同的預(yù)測能力,以更好地反映其特定貢獻(xiàn)。此外,雖然FM理論上可以建模特征間二階以上的交互,但存在時(shí)間復(fù)雜度過大以及優(yōu)化方法的數(shù)值穩(wěn)定性差等問題,這阻礙了擬合特征間高階交互的推廣。隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的興起,研究人員考慮如何將因子分解機(jī)與神經(jīng)網(wǎng)絡(luò)相結(jié)合,提高模型最終性能。近年來,研究人員已提出DeepFM(Deep Factorization Machine)、NFM(Neural Factorization Machine)和xDeepFM(extreme Deep Factorization Machine)[12-14]等以不同形式融合因子分解機(jī)與神經(jīng)網(wǎng)絡(luò)的有效模型,并取得了優(yōu)異的成績。

為了獲得可靠的個(gè)性化排序推薦結(jié)果,本文將實(shí)體的內(nèi)容信息與隱式反饋相結(jié)合,構(gòu)建了一種Setwise排序因子分解機(jī)SRFMs(Setwise Ranking Factorization Machines)模型,通過結(jié)合Setwise排序與因子分解機(jī),提高了個(gè)性化排序的性能。為了避免標(biāo)準(zhǔn)FM中存在的固定特征表示及缺少高階特征交互捕捉問題,本文將IFM中的影響估計(jì)計(jì)算網(wǎng)絡(luò)FEN(Factor Estimating Network)和深度神經(jīng)網(wǎng)絡(luò)DNN(Deep Neural Network)相結(jié)合融入SRFMs,構(gòu)建出SR-DIFM(Setwise Ranking Deep Input-aware Factorization Machine)模型。本文的主要工作總結(jié)如下:

(1)將實(shí)體的內(nèi)容信息和隱式反饋相關(guān)聯(lián),提出一種基于Setwise排序的因子分解機(jī)模型——SRFMs,該模型不僅可以緩解冷啟動(dòng)問題以及避免Pairwise和Listwise協(xié)同排序中存在的弊端,并且內(nèi)容信息的加入提高了個(gè)性化排序性能。

(2)為在不同數(shù)據(jù)場景下細(xì)化特征表示,同時(shí)學(xué)習(xí)低階和高階的特征交互,本文將FEN和DNN相結(jié)合后融入SRFMs模型,構(gòu)建SR-DIFM模型,以進(jìn)一步提高個(gè)性化排序的準(zhǔn)確性。

(3)在2個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),以驗(yàn)證所提模型的有效性,結(jié)果表明,SRFMs模型和SR-DIFM模型可以提高個(gè)性化排序的性能。

2 相關(guān)工作

2.1 協(xié)同過濾模型

協(xié)同過濾的概念源于利用所有用戶的協(xié)同行為來預(yù)測目標(biāo)用戶行為的思想。早期的模型通過使用基于內(nèi)存的模型計(jì)算用戶或項(xiàng)目的行為相似度來直接實(shí)現(xiàn)這一思想。這些模型可以在一定程度上預(yù)測用戶的偏好,但由于用戶復(fù)雜的偏好和簡單的線性建模能力之間的沖突,其預(yù)測能力有限。與大型項(xiàng)目集合相比,每個(gè)用戶的行為是有限的,因此CF面臨的一個(gè)關(guān)鍵挑戰(zhàn)是解決用戶與項(xiàng)目交互行為的稀疏性,以實(shí)現(xiàn)準(zhǔn)確的用戶和項(xiàng)目的嵌入學(xué)習(xí)。

傳統(tǒng)協(xié)同過濾算法大多關(guān)注預(yù)測用戶對項(xiàng)目的絕對評分,而基于排序?qū)W習(xí)的協(xié)同過濾推薦算法[7-9,15,16]則從排序的角度看待推薦問題,更關(guān)注項(xiàng)目之間的排列順序,被證明具有更好的推薦效果。排序?qū)W習(xí)推薦算法可以有效利用大多數(shù)信息系統(tǒng)中的隱式反饋進(jìn)行推薦,例如點(diǎn)擊、購買和查看歷史等,并且排序?qū)W習(xí)方法還可以通過最小化排序損失來提供top-N推薦。

基于排序?qū)W習(xí)的推薦模型可以分為Pairwise模型和Listwise模型。Rendle等提出了BPR(Bayesian Personalized Ranking)模型,為個(gè)性化排序提供了一個(gè)通用的優(yōu)化解決方案,成為廣泛使用的Pairwise協(xié)同過濾模型。BPR中有2個(gè)基本假設(shè):一是每個(gè)用戶之間的偏好行為相互獨(dú)立;二是同一用戶對不同項(xiàng)目的偏序相互獨(dú)立。然而Pairwise的獨(dú)立性假設(shè)太過嚴(yán)格,在實(shí)際的偏好對構(gòu)建過程中,往往會(huì)打破這種獨(dú)立性,從而影響了Pairwise損失的優(yōu)化結(jié)果[9]。一些后續(xù)研究試圖通過考慮組信息來放松獨(dú)立性假設(shè),如分組貝葉斯個(gè)性化排序GBPR(Group Bayesian Personalized Ranking)模型[17]引入了更豐富的用戶組信息,CoFiSet(Collaborative Filtering via learning pairwise preferences over item-Sets)[18]則定義了用戶對項(xiàng)目組的偏好,但是獨(dú)立性不一致問題仍然存在。

Listwise排序?qū)W習(xí)直接對項(xiàng)目的排序列表進(jìn)行優(yōu)化,主要有2種優(yōu)化方式:一是通過定義損失函數(shù)反映預(yù)測列表和真實(shí)列表之間的差異,如ListRank-MF;二是直接優(yōu)化排序?qū)W習(xí)中常用的評價(jià)指標(biāo),如NDCG(Normalized Discounted Cumulative Gain)、MRR(Mean Reciprocal Rank)[19]等。理論上,Listwise模型優(yōu)于Pairwise模型,因?yàn)樵趩栴}建模時(shí)的信息損失更少。然而,Listwise模型的損失函數(shù)較難設(shè)計(jì),且由于要對整個(gè)排序列表進(jìn)行優(yōu)化,模型的復(fù)雜度非常高。SetRank提供了一個(gè)新的研究視角,它使用排列概率來促使一個(gè)已觀察的項(xiàng)目排在每個(gè)列表中多個(gè)未觀察項(xiàng)目集合的前面,這樣能夠更加有效地模擬隱式反饋的特性。由于不需要對未觀察項(xiàng)目集合內(nèi)部進(jìn)行排序,這放寬了列表法中的排列限制,并取得了最優(yōu)的排名結(jié)果。

2.2 基于內(nèi)容的模型

除了一般的用戶-項(xiàng)目交互信息外,推薦問題通常伴隨著輔助數(shù)據(jù)。輔助數(shù)據(jù)包括基于內(nèi)容的信息和上下文感知的數(shù)據(jù)。具體來說,基于內(nèi)容的信息與用戶和項(xiàng)目相關(guān),包括一般的用戶和項(xiàng)目特征、文本內(nèi)容(即項(xiàng)目標(biāo)簽、項(xiàng)目文字描述和用戶對項(xiàng)目的評論)、多媒體描述、用戶社交網(wǎng)絡(luò)和知識(shí)圖譜。上下文信息顯示了用戶做出項(xiàng)目決策時(shí)的環(huán)境,通常表示用戶和項(xiàng)目以外的描述。

基于內(nèi)容的模型[20]可以利用用戶和項(xiàng)目的附加信息,這些附加信息通常是描述用戶或項(xiàng)目的屬性的內(nèi)容,通過對這些內(nèi)容建模來為用戶推薦與其歷史交互項(xiàng)目相似的項(xiàng)目。相對于基于協(xié)同過濾的推薦系統(tǒng),基于內(nèi)容的推薦系統(tǒng)能夠緩解數(shù)據(jù)稀疏和冷啟動(dòng)問題。

FM是一種廣泛使用的對特征交互關(guān)系進(jìn)行建模的模型,能夠較為有效地緩解數(shù)據(jù)稀疏和冷啟動(dòng)的問題。FM借鑒矩陣分解的思想,將每個(gè)參數(shù)用一個(gè)隱向量表示,用隱向量之間的點(diǎn)積表征組合特征的參數(shù),可以用于分類、回歸以及排序問題。盡管理論上FM能夠?qū)Ω唠A特征交互進(jìn)行建模,但是出于時(shí)間復(fù)雜度的考慮,FM模型一般只涵蓋二階交互;另外,標(biāo)準(zhǔn) FM中所有特征之間相互平等,類別和層次信息無法得到體現(xiàn),在建模過程中會(huì)受到噪聲特征交互的影響。

隨著深度學(xué)習(xí)技術(shù)在各領(lǐng)域的良好表現(xiàn),近年來把深度學(xué)習(xí)技術(shù)和推薦系統(tǒng)相結(jié)合受到了廣泛研究。神經(jīng)網(wǎng)絡(luò)因其能較好地學(xué)習(xí)抽象特征,大量研究提出利用深度神經(jīng)網(wǎng)絡(luò)來建模特征間更高階的非線性關(guān)系。Cheng等[20]提出Wide&Deep模型,通過結(jié)合線性模型和深度神經(jīng)網(wǎng)絡(luò)來捕獲特征的線性關(guān)系和非線性關(guān)系。He等[13]提出了NFM(Neural Factorization Machine)模型,該模型把FM模塊和DNN(Deep Neural Networks)模塊串行結(jié)合,其深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)二階特征的高階非線性關(guān)系,使模型的表達(dá)能力更強(qiáng)。Guo等[12]提出了DeepFM模型,把FM模塊和DNN模塊并行結(jié)合,同時(shí)學(xué)習(xí)特征的低階線性關(guān)系和高階非線性關(guān)系。Yu等[11]提出了IFM模型,通過神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)出獨(dú)特的樣本感知因子,在不同數(shù)據(jù)實(shí)例場景下為同一特征分配不同級別的預(yù)測能力,以更好地反映其特定貢獻(xiàn)。

3 本文模型

3.1 問題陳述

假設(shè)在一個(gè)隱式反饋數(shù)據(jù)集中有N個(gè)用戶和M個(gè)項(xiàng)目。令Pi和Oi分別表示第i個(gè)用戶的正反饋項(xiàng)目集合和未觀察項(xiàng)目集合。本文的目標(biāo)是建立一個(gè)排序模型,將用戶偏好比較定義為每個(gè)正樣本和一組未觀察樣本集合間的比較。對于每個(gè)用戶,排序模型會(huì)從候選集中生成一個(gè)最佳排序列表,即用戶感興趣的項(xiàng)目會(huì)出現(xiàn)在列表的頂部。

3.2 模型構(gòu)建

3.2.1 SRFMs模型

Figure 1 Structure of SRFMs

(1)

3.2.2 SR-DIFM模型

SRFMs可以認(rèn)為是一個(gè)通用的框架,其中FMs可以納入更復(fù)雜的技術(shù)。為解決標(biāo)準(zhǔn)FM中因每個(gè)特征訓(xùn)練的固定表示所帶來的不利影響,以及標(biāo)準(zhǔn)FM受限于復(fù)雜度而無法進(jìn)行高階組合特征捕獲的問題,本文提出將IFM中的FEN和DNN相結(jié)合后添加到SRFMs中,命名為SR-DIFM,以進(jìn)一步提升排序?qū)W習(xí)精度。最終的模型結(jié)構(gòu)如圖2所示,圖中變量符號(hào)含義在3.3節(jié)中有詳細(xì)說明。SR-DIFM在SRFMs基礎(chǔ)上融入了輸入感知組件和深度神經(jīng)網(wǎng)絡(luò)組件,輸入感知組件負(fù)責(zé)針對不同的輸入,賦予不同特征以不同貢獻(xiàn)的預(yù)測能力,達(dá)到細(xì)化特征表示的目的;調(diào)整后的特征嵌入分別輸入到FM組件和深度神經(jīng)網(wǎng)絡(luò)組件中,以同時(shí)捕捉低階特征交互和高階特征交互,達(dá)到更佳的建模效果。

Figure 2 Structure of SR-DIFM

3.3 模型定義

(1)輸入層。

SR-DIFM模型的輸入分為正樣本Xpositive和一組負(fù)樣本構(gòu)成的集合{Xnegative},其中負(fù)樣本在隱式反饋數(shù)據(jù)中一般由采樣器從未觀察樣本中抽取得到;輸入向量包括了用戶內(nèi)容向量和項(xiàng)目內(nèi)容向量,可以用式(2)表示:

X=[Xuser;Xitem]

(2)

其中,X∈R(m+n),Xuser∈Rm,Xitem∈Rn,m和n分別表示用戶輸入向量維度和項(xiàng)目輸入向量維度。

(2)嵌入層(Embedding Layer)。

經(jīng)過獨(dú)熱編碼處理后的輸入向量會(huì)變得非常稀疏,且維度很高,常用的處理方法是使用嵌入矩陣將它們映射到低維空間。具體而言,對于輸入向量的每個(gè)特征采用式 (3)進(jìn)行計(jì)算:

vl=Exl

(3)

其中,vl∈Rk表示輸入向量的第l個(gè)特征的嵌入向量,k表示嵌入向量維度,E∈R(m+n)×k表示嵌入矩陣,xl是輸入向量的第l個(gè)特征的獨(dú)熱編碼。

(3)影響因子估計(jì)和特征細(xì)化層(Factor Estimating Network &Reweighting Layer)。

這2個(gè)部分參考了IFM中的組件,主要是通過輸入的非零特征的嵌入向量,有針對性地計(jì)算出輸入感知因子(Input-aware factor)mx,l,從而在后續(xù)影響特征權(quán)重wl和嵌入向量vl,得到針對不同輸入細(xì)化后的特征權(quán)重wx,l和嵌入向量vx,l。

(4)特征交互層(Interaction Layer)。

交互層分為2個(gè)部分,即FM組件和DNN組件。FM組件是一個(gè)標(biāo)準(zhǔn)因子分解機(jī),用于建模特征之間的線性和二階交互。DNN組件是一個(gè)前饋神經(jīng)網(wǎng)絡(luò),用于學(xué)習(xí)高階特征交互。具體來說,將輸入感知因子細(xì)化后的特征權(quán)重wx,l和嵌入向量vx,l分別輸入到FM組件和DNN組件中,這2個(gè)組件共享特征嵌入向量,FM部分的計(jì)算如式(4)所示:

(4)

將細(xì)化后的嵌入向量作為DNN部分的輸入,如式(5)所示:

a0=[vx,1,vx,2,…,vx,m+n]

(5)

其中,vx,l是第l個(gè)特征調(diào)整后的嵌入。

然后將a0輸入神經(jīng)網(wǎng)絡(luò),前向過程的計(jì)算如式(6)所示:

ah=σh(Whah-1+bh)

(6)

其中,σh(x)表示第h層神經(jīng)網(wǎng)絡(luò)的激活函數(shù),h∈{1,…,H},H表示神經(jīng)網(wǎng)絡(luò)深度;ah,Wh,bh分別表示DNN部分第h層的輸出向量、權(quán)重矩陣和偏差向量。

最終DNN部分的輸出結(jié)果如式(7)所示:

yDNN=Whah

(7)

(5)輸出層(Output Layer)。

(8)

3.4 訓(xùn)練

L=

(9)

4 實(shí)驗(yàn)和結(jié)果分析

4.1 數(shù)據(jù)集

為了驗(yàn)證本文提出的SRFMs和SR-DIFM模型的有效性,本節(jié)在2個(gè)真實(shí)的隱式反饋數(shù)據(jù)集(Frappe和Last.fm)上進(jìn)行了大量的實(shí)驗(yàn)。

(1)Frappe:是一個(gè)上下文感知的應(yīng)用程序發(fā)現(xiàn)工具公開的數(shù)據(jù)集,共包含96 203個(gè)不同上下文用戶的程序使用日志。每個(gè)日志除了用戶ID和應(yīng)用程序ID之外,還包含了8個(gè)上下文變量,如天氣、城市和國家等。

(2)Last.fm:用于音樂推薦,共包含同一天內(nèi)1 000個(gè)用戶的收聽歷史記錄。每條記錄包含4個(gè)上下文字段,用戶上下文由用戶ID和用戶在過去90 min內(nèi)收聽的最后一首音樂的ID組成,項(xiàng)目上下文由音樂ID和藝術(shù)家ID組成。

2個(gè)數(shù)據(jù)集的具體信息如表1所示。

Table 1 Statistics information of datasets

4.2 對比模型

本文將SRFMs和SR-DIFM模型與以下模型進(jìn)行比較:

(1)FM[10]:標(biāo)準(zhǔn)的因子分解機(jī),在上下文感知預(yù)測方面表現(xiàn)出了很強(qiáng)的性能。

(2)DeepFM[12]:將神經(jīng)網(wǎng)絡(luò)和FM并行結(jié)合,彌補(bǔ)了FM對高階特征交互建模的不足。

(3)IFM[11]:通過神經(jīng)網(wǎng)絡(luò)為不同實(shí)例中同一特征學(xué)習(xí)一個(gè)輸入感知因子,從而細(xì)化標(biāo)準(zhǔn)FM中的特征表示,突出不同特征對于預(yù)測的貢獻(xiàn)。

(4)PRFM(Pairwise Ranking Factorization Machine)[2]:使用BPR標(biāo)準(zhǔn)來優(yōu)化模型參數(shù),使用Pairwise排序的方式并利用FM結(jié)合內(nèi)容信息來模擬用戶對項(xiàng)目的偏好。

(5)SetRank[9]:一種最先進(jìn)的優(yōu)化的Listwise學(xué)習(xí)模型,其性能比大多數(shù)基于排序的模型的更好。該模型最大化Top-1排列概率,以保證每個(gè)用戶更喜歡觀察到的項(xiàng)目而不是未觀察項(xiàng)目集合。

(6)NPRFM(Neural Pairwise Ranking Factorization Machine)[23]:在特征交互層之上疊加了一個(gè)與NFM功能相同的深度神經(jīng)網(wǎng)絡(luò),彌補(bǔ)了PRFM在二階特征交互建模方面的不足。

4.3 參數(shù)設(shè)置

為進(jìn)行公平比較,本文參照對比模型的相應(yīng)文獻(xiàn)或?qū)嶒?yàn)結(jié)果來設(shè)置參數(shù),然后仔細(xì)調(diào)整以達(dá)到最佳性能。對于所有測試模型,將嵌入維度都設(shè)置為64,批訓(xùn)練大小為2 048,優(yōu)化器統(tǒng)一使用AdagradOptimizer,學(xué)習(xí)率(Learning Rate)為0.05,訓(xùn)練次數(shù)統(tǒng)一為500,其余參數(shù)按照相應(yīng)文獻(xiàn)中給出的參考值設(shè)定。對于本文提出的SRFMs和SR-DIFM模型,負(fù)樣本集合大小參照SetRank的實(shí)驗(yàn)設(shè)置為30;神經(jīng)網(wǎng)絡(luò)部分,對于Frappe數(shù)據(jù)集使用3層網(wǎng)絡(luò),神經(jīng)數(shù)量分別為128,64和64;對于Last.fm數(shù)據(jù)集使用2層網(wǎng)絡(luò),神經(jīng)元數(shù)量分別為64和64;網(wǎng)絡(luò)部分所涉及到的激活函數(shù)統(tǒng)一使用ReLU激活函數(shù)。FEN部分的設(shè)置同神經(jīng)網(wǎng)絡(luò)部分的。

4.4 評價(jià)指標(biāo)

SR-DIFM的任務(wù)是為用戶提供一個(gè)排序的項(xiàng)目列表,因此在進(jìn)行性能對比時(shí),本文采用在推薦算法中被廣泛使用的評價(jià)指標(biāo):HR(Hit Rate)、NDCG和mAP(mean Average Precision)。本文對每種模型在Top-5、Top-10和Top-20的不同場景下進(jìn)行實(shí)驗(yàn),以充分展示該模型在實(shí)際應(yīng)用中的效果,其中HR@5、NDCG@5和mAP@5分別代表前5項(xiàng)的HR、NDCG和mAP分?jǐn)?shù)。

4.5 實(shí)驗(yàn)結(jié)果與分析

在2個(gè)真實(shí)的數(shù)據(jù)集上進(jìn)行充分訓(xùn)練后,每個(gè)模型得出的最終結(jié)果如表2所示,其中,RI表示SR-DIFM模型相對于其他模型的平均相對提升。根據(jù)結(jié)果可以得出以下結(jié)論:

Table 2 Performance results of different models on two datasets

本文提出的SRFMs和SR-DIFM模型在2個(gè)真實(shí)數(shù)據(jù)集上取得了最好的成績,優(yōu)于所有的比較模型。首先,對于FM、DeepFM和IFM這類并非針對隱式反饋數(shù)據(jù)的模型來說,本文提出的SRFMs和SR-DIFM模型有非常明顯的優(yōu)勢;相比于SetRank模型,本文的SRFMs在2個(gè)數(shù)據(jù)集上得到了21.96%和20.21%的平均相對提升,這表明上述基于Setwise排序并結(jié)合內(nèi)容信息的思路是正確有效的;在后續(xù)改進(jìn)的SR-DIFM模型中,進(jìn)一步提升了原有的效果,達(dá)到了29.33%和26.70%的平均相對提升,這說明細(xì)化特征表示及高階特征交互的加入有助于提升推薦精度;相比于最先進(jìn)的成對學(xué)習(xí)模型NPRFM,本文的SR-DIFM模型也取得了36.35%和63.70%的平均相對提升,這也驗(yàn)證了Setwise比Pairwise能更好地貼合推薦系統(tǒng)中隱式反饋的特征。

Figure 3 Performance results of SR-DIFM model at different learning rates

Figure 4 Performance results of SR-DIFM model with different sizes of negative samples sets

對于Frappe數(shù)據(jù)集,當(dāng)negNum達(dá)到30后,HR基本保持穩(wěn)定水平,NDCG和mAP保持上升趨勢,分析認(rèn)為HR強(qiáng)調(diào)預(yù)測的絕對準(zhǔn)確性,而NDCG和mAP更強(qiáng)調(diào)預(yù)測結(jié)果的相對順序性,隨著負(fù)樣本數(shù)量的增加,模型可以比較更多的正負(fù)樣本集合,這將更有利于對隱式反饋的利用,也更有利于NDCG和mAP這類與位置相關(guān)的指標(biāo),但對于HR的影響較小。在Last.fm數(shù)據(jù)集上的2個(gè)指標(biāo)的趨勢大致和Frappe上的類似,不同的是Last.fm上2個(gè)指標(biāo)都有不同程度的波動(dòng)。本文認(rèn)為是由于Last.fm的數(shù)據(jù)量大于Frappe的數(shù)據(jù)量,數(shù)據(jù)集中的未觀察項(xiàng)目規(guī)模也遠(yuǎn)遠(yuǎn)大于觀察項(xiàng)目規(guī)模,數(shù)據(jù)偏斜問題更嚴(yán)重,持續(xù)增加負(fù)樣本數(shù)量,可能會(huì)導(dǎo)致采樣的觀察樣本和未觀察樣本集合不一致問題,影響模型的性能,這也激發(fā)后期開發(fā)更合理有效的采樣方法。綜合來看,本文認(rèn)為負(fù)樣本集合不超過50比較合理。

4.6 消融實(shí)驗(yàn)

本節(jié)對SR-DIFM模型進(jìn)行消融實(shí)驗(yàn),對輸入感知模塊和高階特征交互模塊進(jìn)行遮蓋性對比,以更好地了解每個(gè)模塊的具體貢獻(xiàn)。本節(jié)將SRFMs作為基準(zhǔn)模型,No-FEN表示從SR-DIFM中刪去輸入感知模塊,No-DNN表示從SR-DIFM中刪去高階特征交互模塊,實(shí)驗(yàn)結(jié)果如表3所示。從表3可以看出,FEN和DNN對于SR-DIFM的性能都是必要的,當(dāng)刪除任何組件時(shí),都會(huì)導(dǎo)致性能的明顯下降。另外,在SR-DIFM中,FEN和DNN似乎一樣重要,二者都會(huì)帶來明顯的性能提升。以上實(shí)驗(yàn)結(jié)果說明樣本輸入感知和高階特征交互的捕捉都是必不可缺的。

Table 3 Performance results of different components in SR-DIFM model

4.7 關(guān)于負(fù)采樣的討論

前文實(shí)驗(yàn)中,出于效率的考慮選擇了簡單的隨機(jī)負(fù)采樣方法。目前負(fù)采樣方法還包括了基于流行度的負(fù)采樣和基于模型的負(fù)采樣方法等。隨機(jī)負(fù)采樣邏輯簡單,在效率上有很大優(yōu)勢,同時(shí)也避免在采樣過程中引入新的偏差,因此被廣泛使用。而在實(shí)際場景中,首先并非所有未觀察項(xiàng)目都是負(fù)樣本,因此引入了偽負(fù)例問題[24],這會(huì)對模型訓(xùn)練造成影響;其次,對于每個(gè)正樣本來說,不同負(fù)樣本帶來的影響并不相同,一種觀點(diǎn)認(rèn)為,強(qiáng)負(fù)例采樣可以提高采樣質(zhì)量,從而提升模型的訓(xùn)練結(jié)果[25]。目前基于流行度或模型的負(fù)采樣方法,雖然有助于加快模型的訓(xùn)練收斂速度或者提升最終效果,但也伴隨著引入新的偏差的風(fēng)險(xiǎn),或帶來較大的時(shí)間開銷,最終影響模型的訓(xùn)練。綜合來看,隨機(jī)負(fù)采樣仍是比較理想的選擇。

5 結(jié)束語

傳統(tǒng)個(gè)性化排序使用的Pairwise和Listwise模型都存在一些不足,影響了最終的優(yōu)化結(jié)果。SetRank中使用的Setwise排序方法因具有較弱的獨(dú)立性假設(shè)且更貼合隱式反饋的特點(diǎn),在top-N推薦中取得了優(yōu)異成績。本文構(gòu)建了一個(gè)新的模型——SRFMs,將隱式反饋與內(nèi)容信息結(jié)合起來,使用Setwise排序方法完成個(gè)性化排序任務(wù),解決了SetRank精度不佳和冷啟動(dòng)問題。受IFM的啟發(fā),對SRFMs進(jìn)行擴(kuò)展,融入影響估計(jì)計(jì)算網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)以規(guī)避標(biāo)準(zhǔn)FM中存在的問題,擴(kuò)展后的SR-DIFM模型根據(jù)不同的實(shí)例來重新確定特征的表示并能夠同時(shí)學(xué)習(xí)低階和高階特征交互。大量實(shí)驗(yàn)結(jié)果表明,在2個(gè)真實(shí)數(shù)據(jù)集上,SRFMs和SR-DIFM模型的3個(gè)指標(biāo)值(HR、NDCG和mAP)均優(yōu)于當(dāng)前的先進(jìn)模型的。

本文的工作還有改進(jìn)的空間。在負(fù)采樣方法上,選擇了簡單的隨機(jī)負(fù)采樣,后期計(jì)劃設(shè)計(jì)更高效合理的負(fù)采樣方法,緩解某些場景下負(fù)樣本集合過大導(dǎo)致的性能波動(dòng)問題,并提升模型的訓(xùn)練效率,加速模型收斂。另外,隱式反饋雖然緩解了數(shù)據(jù)稀疏問題,但隱式反饋中的大量噪聲可能會(huì)產(chǎn)生嚴(yán)重的負(fù)面影響,未來計(jì)劃加入去噪訓(xùn)練,識(shí)別和剪枝噪聲交互,提升推薦訓(xùn)練的有效性。