考慮多層次潛在特征的個性化推薦模型

申情，郭文賓，樓俊鋼,3，余強(qiáng)國

研究與開發(fā)

考慮多層次潛在特征的個性化推薦模型

申情1,2，郭文賓1，樓俊鋼1,3，余強(qiáng)國2

（1. 湖州師范學(xué)院信息工程學(xué)院，浙江 湖州 313000；2. 湖州學(xué)院理工學(xué)院，浙江 湖州 313000；3. 浙江省現(xiàn)代農(nóng)業(yè)資源智慧管理與應(yīng)用研究重點實驗室，浙江 湖州 313000）

個性化推薦已成為解決信息過載的最有效手段之一，也是海量數(shù)據(jù)挖掘研究領(lǐng)域的熱點技術(shù)。然而傳統(tǒng)推薦算法往往只使用用戶對物品的評分信息，而缺少對用戶與物品潛在特征的綜合考慮。基于因子分解機(jī)、寬神經(jīng)網(wǎng)絡(luò)、交叉網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的融合，提出一種新的考慮多層次潛在特征的模型，可以提取用戶與物品的淺層潛在特征、低階非線性潛在特征、線性交叉潛在特征以及高階非線性潛在特征。在4個常用的數(shù)據(jù)集上的實驗結(jié)果表明，考慮用戶與物品多層次潛在特征可以有效提高個性化推薦的預(yù)測精度。最后，研究了嵌入層維度以及神經(jīng)元數(shù)量等因素對新模型預(yù)測性能的影響。

個性化推薦；層次化潛在特征；深度學(xué)習(xí)

0 引言

互聯(lián)網(wǎng)的快速發(fā)展，為廣大消費者帶來了海量的信息，消費者難以輕松獲取其需要的信息，由于信息過量而引發(fā)的信息過載已成為日常生活中面臨的重要問題。如何讓消費者在海量信息中找到需要的信息已成為重要的課題[1]。推薦系統(tǒng)（recommendation system，RS）作為解決信息過載問題的有效手段之一受到了學(xué)術(shù)界與產(chǎn)業(yè)界的廣泛關(guān)注。

傳統(tǒng)的推薦算法主要分為兩種：基于內(nèi)容的推薦[2]與基于協(xié)同過濾（collaborative filtering，CF）的推薦[3]。傳統(tǒng)的推薦算法只采用用戶對物品的評分信息進(jìn)行推薦，并未采用用戶與物品的基本信息，導(dǎo)致傳統(tǒng)推薦算法數(shù)據(jù)稀疏性強(qiáng)，推薦精度一般。為解決此問題，有學(xué)者提出在推薦模型中融合用戶與物品的潛在信息，并引入深度學(xué)習(xí)（deep learning，DL）技術(shù)，建立考慮潛在信息的深度學(xué)習(xí)個性化推薦模型[4-9]，但目前大多數(shù)研究中，考慮潛在特征的層次較少，不能反映多種層次潛在特征之間的組合性質(zhì)。為更全面挖掘用戶和物品基本信息的多層次潛在特征，提出一種考慮多層次潛在特征的個性化推薦模型。在該模型中，用戶與物品基本信息作為輸入，采用因子分解機(jī)（factor machine，F(xiàn)M）提取低層次潛在特征，寬神經(jīng)網(wǎng)絡(luò)（wide neural network，WNN）提取低階非線性潛在特征，交叉網(wǎng)絡(luò)（cross network，CN）提取線性交叉層次潛在特征，深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）提取高階非線性潛在特征。在獲取4種層次的潛在特征基礎(chǔ)上，將4種層次的潛在特征進(jìn)行融合，獲取層級融合特征，輸入深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)融合特征所攜帶的多層次潛在特征信息進(jìn)行評分預(yù)測。通過4個公開的真實數(shù)據(jù)進(jìn)行實驗，實驗結(jié)果表明，本文模型相較于其他相關(guān)模型，在預(yù)測精度上有一定提升。

1 相關(guān)工作

迄今為止，CF算法依然是學(xué)術(shù)界與產(chǎn)業(yè)界應(yīng)用最廣泛的推薦算法。但像CF算法這種傳統(tǒng)的推薦算法中僅考慮用戶與物品評分信息進(jìn)行推薦，并未考慮用戶與物品基本屬性信息與其潛在特征，致使推薦性能難以進(jìn)一步提升。為此，有學(xué)者將深度學(xué)習(xí)應(yīng)用在推薦領(lǐng)域來提升推薦系統(tǒng)性能。例如，Guilherme等[10]將深度學(xué)習(xí)技術(shù)引入傳統(tǒng)協(xié)同過濾推薦算法中，對傳統(tǒng)算法存在的缺陷進(jìn)行改進(jìn)。Mylavarapu等[11]提出一種用于高級應(yīng)用的協(xié)同過濾和人工神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)，采用人工神經(jīng)網(wǎng)絡(luò)從項目中提取內(nèi)容特征，支持向量機(jī)（support vector machine，SVM）專注于計算時間動態(tài)和項目特征，負(fù)責(zé)未知數(shù)據(jù)預(yù)測的過程，以緩解推薦系統(tǒng)中完全冷啟動問題。Tang等[12]提出了基于云模型的反向化神經(jīng)網(wǎng)絡(luò)推薦算法。首先，該算法使用云模型定性和定量變換方法處理用戶額定值，為用戶生成多個云預(yù)測值，這些值構(gòu)成云層。然后，云層加入神經(jīng)網(wǎng)絡(luò)，提高評級預(yù)測的準(zhǔn)確性。薛峰等[13]提出基于深度神經(jīng)網(wǎng)絡(luò)和加權(quán)隱反饋的推薦算法（DeepNASVD++），采用深度神經(jīng)網(wǎng)絡(luò)建模用戶與物品之間的關(guān)系，使用注意力機(jī)制計算歷史交互物品在建模用戶隱式反饋時的權(quán)重。楊潔等[14]提出了基于混雜社會網(wǎng)絡(luò)的Web服務(wù)推薦框架及算法。該網(wǎng)絡(luò)加入了服務(wù)提供者這一元素，可提供更多的真實信息。根據(jù)提出的服務(wù)推薦框架設(shè)計了用戶候選服務(wù)信任值預(yù)測算法和服務(wù)推薦算法，提升個性化推薦性能。Hui[15]等將知識圖譜視為異構(gòu)網(wǎng)絡(luò)添加輔助信息，提出了行為和知識特征統(tǒng)一嵌入的推薦模型，從用戶歷史行為和知識圖譜中挖掘用戶潛在偏好，為用戶提供更準(zhǔn)確和多樣化的推薦。Zhen[16]等提出了一種基于離線挖掘、實時挖掘和深度學(xué)習(xí)技術(shù)相結(jié)合的個性化推薦系統(tǒng)架構(gòu)，其核心思想是從多個電子商務(wù)平臺實時收集和預(yù)處理數(shù)據(jù)，收集用戶的個性化數(shù)據(jù)，為后續(xù)數(shù)據(jù)挖掘做準(zhǔn)備，利用數(shù)據(jù)挖掘技術(shù)，滿足用戶的個性化需求。邵英瑋等[17]通過經(jīng)濟(jì)學(xué)的相關(guān)研究，提出了商品潛在互補(bǔ)性發(fā)現(xiàn)推薦模型，從經(jīng)濟(jì)學(xué)角度刻畫商品間關(guān)系?；诮?jīng)濟(jì)學(xué)理論中的需求交叉彈性，提出互補(bǔ)性發(fā)現(xiàn)模型，聯(lián)合商品價格與購買歷史挖掘商品間的互補(bǔ)關(guān)系，并基于此提出了融合商品互補(bǔ)關(guān)系的雙重注意力機(jī)制推薦模型。Fu等[18]提出了一種新穎的深度學(xué)習(xí)方法，該方法通過事先了解用戶和項目模仿有效的智能推薦。在初始階段，分別學(xué)習(xí)用戶和項目的對應(yīng)低維向量，從而嵌入反映用戶－用戶和項目－項目相關(guān)性的語義信息。在預(yù)測階段，采用前饋神經(jīng)網(wǎng)絡(luò)模擬用戶和物品之間的交互，將相應(yīng)的預(yù)訓(xùn)練代表向量作為神經(jīng)網(wǎng)絡(luò)的輸入。Yan等[19]引入了一種新的基于深度學(xué)習(xí)的推薦模型解決稀疏性和冷啟動推薦問題，通過數(shù)據(jù)預(yù)處理層、嵌入層、卷積網(wǎng)絡(luò)層、共享層和自動編碼器層深入挖掘潛在信息及其對用戶功能和項目特征的相關(guān)性。之后，通過結(jié)合目標(biāo)評分?jǐn)?shù)據(jù)與處理后的用戶和項目特征數(shù)據(jù)，在深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行最終評分預(yù)測。Tang等[20]提出了一種卷積序列嵌入推薦模型應(yīng)用在Top-推薦領(lǐng)域。主要想法是將最近項目的序列嵌入到時間和潛在空間中的“圖像”中，并使用卷積濾波器將順序模式作為圖像的局部特征。這種方法提供了一個統(tǒng)一且靈活的網(wǎng)絡(luò)結(jié)構(gòu)，用于捕獲用戶一般偏好和順序模式。鄧路佳等[21]將因子分解機(jī)與高斯混合模型進(jìn)行結(jié)合，在高斯聚類之后應(yīng)用因子分解機(jī)對聚類結(jié)果進(jìn)行學(xué)習(xí)，構(gòu)建廣告點擊率預(yù)測模型，獲得了較好的實驗結(jié)果。Yang等[22]提出一個基于神經(jīng)網(wǎng)絡(luò)的推薦構(gòu)架，通過嵌入標(biāo)簽的分布式特點表征特征之間的相關(guān)性，充分揭示用戶與物品之間的隱含交互關(guān)系，利用該隱含交互關(guān)系對用戶進(jìn)行推薦。Yu等[23]將深度因子分解機(jī)模型應(yīng)用到社交廣告的個性化推薦中，其中，因子分解機(jī)部分負(fù)責(zé)提取低階特征，深度神經(jīng)網(wǎng)絡(luò)部分負(fù)責(zé)提取高階特征，通過兩個層次的特征結(jié)合提升廣告推薦效果。Lian等[24]提出了一種新穎的壓縮交互網(wǎng)絡(luò)，其目的是以顯式方式在矢量方式上生成特征交互。將壓縮交互網(wǎng)絡(luò)和經(jīng)典深度神經(jīng)網(wǎng)絡(luò)組合到一個統(tǒng)一的模型中，并將該新模型命名為深度因子分解機(jī)（eXtreme deep factorization machine，xDeepFM）。一方面，xDeepFM能夠顯式學(xué)習(xí)某些邊界度特征交互；另一方面，它可以隱式學(xué)習(xí)任意的低階和高階特征交互。Maxim等[25]提出一種將矩陣分解、因子分解機(jī)等與深度學(xué)習(xí)進(jìn)行結(jié)合提升推薦效果的個性化推薦模型。該模型設(shè)計了一種特殊的并行化方案，該方案利用嵌入表上模型的并行性減輕內(nèi)存限制，同時利用數(shù)據(jù)并行性從全連接層進(jìn)行橫向擴(kuò)展計算。Song等[26]提出了一種有效且高效的方法，稱為AutoInt，可以自動學(xué)習(xí)輸入特征之間的高階特征交互，將數(shù)值和分類特征映射到相同的低維空間中。然后，提出了帶有殘差連接的多頭自注意神經(jīng)網(wǎng)絡(luò)，以對低維空間中的特征相互作用進(jìn)行顯式建模。利用多頭自注意神經(jīng)網(wǎng)絡(luò)的不同層，可以對輸入特征的特征組合的不同順序進(jìn)行建模。

從現(xiàn)有的研究可以看出，已經(jīng)出現(xiàn)了一些考慮多層次潛在特征的混合推薦模型，但考慮潛在特征層次較少。為了更全面地挖掘用戶與物品的潛在特征組合，提升推薦模型性能，需要將多種層次潛在特征考慮在內(nèi)。

2 考慮多層次潛在特征的個性化推薦模型

考慮多層次潛在特征的個性化推薦模型框架如圖1所示。以用戶與物品的基本屬性信息構(gòu)建用戶-物品特征作為模型輸入，通過FM、WNN、CN、DNN分別提取用戶與物品不同層次的潛在特征，將各層次潛在特征進(jìn)行融合以作為層級融合特征，將層級融合特征輸入一個全連接層中進(jìn)行評分預(yù)測。具體來說，所提出的推薦模型主要由4部分構(gòu)成。

在第1部分中，將用戶與物品的基本屬性信息向量化表示為用戶－物品聯(lián)立特征向量。算法超體框架如圖1所示，利用獨熱（one-hot）編碼與多熱（multi-hot）編碼對用戶與物品的基本信息編碼，編碼后得到高維稀疏向量。獨熱編碼操作如圖1（a）所示，物品ID經(jīng)編碼后得到代表每個ID的高維稀疏向量，每個向量內(nèi)僅有一維包含信息，而多熱編碼與獨熱編碼主要區(qū)別在于其每個向量內(nèi)可能有二維或二維以上包含信息。之后使用嵌入層（embedding layer，EL）網(wǎng)絡(luò)將高維稀疏向量映射為低維稠密向量。嵌入層網(wǎng)絡(luò)進(jìn)行降維的過程示意圖如圖1（b）所示，將高維稀疏向量輸入低維神經(jīng)網(wǎng)絡(luò)中所得即降維后的低維稠密向量。再對低維稠密向量進(jìn)行拼接操作，組合成為用戶－物品聯(lián)立特征向量。

在第2部分中，提取用戶－物品多層次的潛在特征。利用多種特征提取算法充分挖掘用戶－物品多種層次潛在特征。FM提取用戶－物品低層次潛在特征，WNN提取用戶－物品低階非線性潛在特征，CN提取用戶－物品線性交叉層次潛在特征，DNN提取用戶－物品高階非線性層次潛在特征。

其中，F(xiàn)M通過特征間的線性結(jié)合與兩兩交互提取用戶－物品低層次潛在特征。如式（1），普通的線性模型僅對各個特征進(jìn)行加權(quán)求和，忽略了特征和特征之間的潛在交互關(guān)系。FM在線性結(jié)合的基礎(chǔ)上考慮特征之間的關(guān)聯(lián)計算，F(xiàn)M算法的表達(dá)式如式（2）所示。

圖1 個性化推薦模型框架

故FM算法二次項求解過程如式（5）所示。

DNN由若干層全連接神經(jīng)網(wǎng)絡(luò)構(gòu)成，每層神經(jīng)網(wǎng)絡(luò)都經(jīng)過非線性激活函數(shù)的作用，多層全連接神經(jīng)網(wǎng)絡(luò)疊加，以提取用戶－物品高階非線性層次潛在特征。每一層全連接神經(jīng)網(wǎng)絡(luò)的計算規(guī)則如式（7）所示。但DNN中每層全連接神經(jīng)網(wǎng)絡(luò)都具有多個神經(jīng)元，并非如WNN僅有單個神經(jīng)元。

在第3部分中，將用戶－物品多種層次潛在特征進(jìn)行融合，并提取用戶－物品層級融合潛在特征。在獲取到用戶－物品4種層次的潛在特征基礎(chǔ)上，將4種層次潛在特征進(jìn)行拼接，并送入一個全連接神經(jīng)網(wǎng)絡(luò)內(nèi)，以學(xué)習(xí)拼接向量中攜帶的用戶－物品層級融合潛在特征。所應(yīng)用全連接神經(jīng)網(wǎng)絡(luò)的計算規(guī)則同DNN內(nèi)全連接神經(jīng)網(wǎng)絡(luò)計算規(guī)則。

在第4部分中，進(jìn)行模型訓(xùn)練與性能評估。將數(shù)據(jù)集劃分為訓(xùn)練集與測試集，利用訓(xùn)練集上用戶對物品的評分作為標(biāo)簽，以預(yù)測評分與實際評分之間的均方根誤差作為損失函數(shù)，采用隨機(jī)梯度下降的方法進(jìn)行模型訓(xùn)練。在訓(xùn)練完成后使用測試集以預(yù)測評分與實際評分之間的標(biāo)準(zhǔn)差與均方根誤差對模型性能進(jìn)行評估。

3 實驗分析與討論

3.1 數(shù)據(jù)集和評價指標(biāo)

為驗證本文方法的有效性，采用MovieLens -100k、MovieLens-1m、MovieLens- latest-small和FilmTrust 4個常用的電影推薦數(shù)據(jù)集進(jìn)行實驗研究，實驗數(shù)據(jù)集詳情見表1。這些數(shù)據(jù)集除包含評分信息，還包含用戶與電影的基本屬性信息，如用戶ID、用戶年齡、用戶性別、用戶職業(yè)、電影ID、電影類別等。

表1 實驗數(shù)據(jù)集詳情

另外采用數(shù)據(jù)稀疏度（sparsity rate, SR）指標(biāo)表示訓(xùn)練集稀疏性，訓(xùn)練集占比越小，SR就越大，表明訓(xùn)練集數(shù)據(jù)就越稀疏，代表用戶－物品評分矩陣中所含評分?jǐn)?shù)據(jù)就越少，可用于訓(xùn)練的評分?jǐn)?shù)據(jù)就越少， SR計算式如式（11）所示。

3.2 對比模型

本文選取對比模型包括：UBCF（user based collaborative filtering，基于用戶的協(xié)同過濾）算法[27]、DNN[5]、FM（factorization machine，因子分解機(jī)）[4]、WD（wide&deep，寬度&深度）[7]、DeepFM[8]和DCN（deep & cross network，深度交叉網(wǎng)絡(luò)）[9]。具體介紹如下。

●UBCF：該算法屬于傳統(tǒng)推薦算法，僅采用用戶對物品的評分信息對用戶做出推薦，缺失對用戶與物品基本信息的考慮。算法基本思想為根據(jù)用戶對物品的歷史評分構(gòu)建用戶畫像，之后計算用戶間相似度，發(fā)現(xiàn)與當(dāng)前用戶相似度較高的個用戶，并推薦這個用戶所偏好的物品。

●DNN：由若干層全連接神經(jīng)網(wǎng)絡(luò)構(gòu)成，每層全連接神經(jīng)網(wǎng)絡(luò)都應(yīng)用了非線性激活函數(shù)。

●FM：由Rendle[4]提出一種稱為FM的特征交互提取模型。該模型結(jié)合了支持向量機(jī)的優(yōu)勢，與SVM相比，F(xiàn)M使用分解參數(shù)對變量之間的兩兩交互進(jìn)行建模，這樣在數(shù)據(jù)稀疏的情況下仍然可以對特征之間的交互關(guān)系進(jìn)行有效建模。

●WD：由Cheng等[7]提出的一種名為Wide & Deep的推薦模型。在數(shù)據(jù)稀疏的情況，深度神經(jīng)網(wǎng)絡(luò)往往會忽略用戶項目互動稀疏但相關(guān)性較高的情況。故該模型結(jié)合了寬度神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)的特點，對兩種網(wǎng)絡(luò)模型共享輸入層進(jìn)行聯(lián)合訓(xùn)練，以同時應(yīng)用寬神經(jīng)網(wǎng)絡(luò)的強(qiáng)泛化性能與深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)學(xué)習(xí)性能。

●DeepFM：由Guo等[8]提出的一種名為Deep FM的模型，該模型主要強(qiáng)調(diào)低階特征和高階特征交互的端到端學(xué)習(xí)。模型基本思路為，在新的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)中結(jié)合用于推薦的因子分解機(jī)和用于特征學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了低階特征與高階特征的交互。與WD模型相比，該模型將wide部分替換為FM。

●DCN：由Wang等[9]提出的一種名為DCN的點擊率預(yù)測模型。該模型提出了一種新穎的交叉網(wǎng)絡(luò)結(jié)構(gòu)，這種網(wǎng)絡(luò)結(jié)構(gòu)每一層的輸出都由上一層網(wǎng)絡(luò)與網(wǎng)絡(luò)輸入進(jìn)行交叉得到，隨著其層數(shù)的增加，特征之間的交叉越來越深。相對于WD與Deep FM，該模型是深度神經(jīng)網(wǎng)絡(luò)與交叉網(wǎng)絡(luò)的并行組合。

3.3 實驗結(jié)果分析

為確定SR對模型性能的影響，首先將每個數(shù)據(jù)集都按不同比例進(jìn)行訓(xùn)練集與測試集劃分，在訓(xùn)練集占比不同的情況下對訓(xùn)練集的SR進(jìn)行計算（見表2），接著在不同數(shù)據(jù)集、不同的SR上分別計算對比模型與本文模型的預(yù)測性能。

表2 不同數(shù)據(jù)集按比例劃分訓(xùn)練集與測試集的SR

表3～表10分別給出了本文模型與所選對比模型在數(shù)據(jù)集MovieLens-100k、MovieLens-1m、MovieLens-latest-small和FilmTrust訓(xùn)練集占比不同（即不同數(shù)據(jù)稀疏度）情況的MAE與RMSE的實驗結(jié)果（表中數(shù)據(jù)均為20次實驗結(jié)果取平均值所得）。

表3 數(shù)據(jù)集MovieLens-100k訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的MAE

表4 數(shù)據(jù)集MovieLens-100k訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的RMSE

表5 數(shù)據(jù)集MovieLens-1m訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的MAE

表6 數(shù)據(jù)集MovieLens-1m訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的RMSE

表7 數(shù)據(jù)集MovieLens-latest-small訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的MAE

表8 數(shù)據(jù)集MovieLens-latest-small訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的RMSE

表9 數(shù)據(jù)集FilmTrust訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的MAE

表10 數(shù)據(jù)集FilmTrust訓(xùn)練集占比不同（不同數(shù)據(jù)稀疏度）情況的RMSE

由表3～表10實驗結(jié)果可知，本文模型在預(yù)測評分與實際評分之間的MAE與RMSE上均有所提高。在訓(xùn)練集占比80%時，模型在各個數(shù)據(jù)集上表現(xiàn)效果最佳。在數(shù)據(jù)集MovieLens-100k上，相對于屬于傳統(tǒng)推薦算法的UB，在MAE上提升11.52%，在RMSE上提升11.85%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升3.58%與2.08%，在RMSE上分別提升3.45%與2.54%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升0.97%、1.3%與0.92%，在RMSE上分別提升1.03%、1.31%與0.96%。

在數(shù)據(jù)集MovieLens-1m上，本文模型相對于屬于傳統(tǒng)推薦算法的UB，在MAE上提升15.78%，在RMSE上提升17.05%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升1.1%與2.91%，在RMSE上分別提升1.3%與2.81%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升0.93%、1.01%與1.12%，在RMSE上分別提升0.72%、0.79%與0.93%。

在數(shù)據(jù)集MovieLens-latest-small上，本文模型相對于屬于傳統(tǒng)推薦算法的UB，在MAE上提升25.33%，在RMSE上提升14.88%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升2.12%與4.03%，在RMSE上分別提升2.62%與3.41%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升1.29%、0.88%與1.08%，在RMSE上分別提升1.17%、1.06%與0.87%。

在數(shù)據(jù)集FilmTrust上，本文模型相對于屬于傳統(tǒng)推薦算法的UB，在MAE上提升6.45%，在RMSE上提升15.37%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升1.05%與2.98%，在RMSE上分別提升3.14%與3.91%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升0.95%、1.24%與1.03%，在RMSE上分別提升1.01%、1.15%與0.96%。

由表3～表10實驗結(jié)果可以看出，WD模型的低階非線性特征與高階非線性特征的特征組合可以有效提升個性化推薦性能，本文模型在此基礎(chǔ)上加入FM與交叉神經(jīng)網(wǎng)絡(luò)，進(jìn)一步提取用戶－物品之間低層次特征與線性交叉層次特征，將多種層次潛在特征進(jìn)行拼接之后作為一個單層全連接神經(jīng)網(wǎng)絡(luò)的輸入，使得個性化推薦性能在MAE與RMSE上均獲得一定提升。在模型訓(xùn)練階段，全連接神經(jīng)網(wǎng)絡(luò)中的權(quán)重會根據(jù)特征進(jìn)行分配，重要特征的權(quán)重相對較高，因此不會造成重要特征被掩蓋。

3.4 嵌入層維度與神經(jīng)元數(shù)量對模型性能影響分析

此外，本文還分析了嵌入層維度與全連接層網(wǎng)絡(luò)神經(jīng)元數(shù)量對模型性能的影響。所提模型在不同數(shù)據(jù)集上選取不同嵌入層維度與不同神經(jīng)元數(shù)量情況下MAE與RMSE的實驗結(jié)果如圖2、圖3、圖4、圖5所示。由圖中可以看出，隨著嵌入層維度與圖1第3部分中全連接層神經(jīng)元數(shù)量的增加，模型效果有所改善，在嵌入層維度為32、神經(jīng)元數(shù)量為1 024時，模型效果最佳。但當(dāng)二者過大時，模型效果變得較差。這表明在適當(dāng)增大嵌入層維度與第3部分全連接層神經(jīng)元的數(shù)量會使得模型更好地學(xué)習(xí)用戶與物品原始編碼中攜帶的信息與拼接向量中攜帶的用戶－物品層級融合潛在特征，但是當(dāng)二者過大時會導(dǎo)致模型訓(xùn)練效率低下并且訓(xùn)練結(jié)果較差。

圖2 MovieLens-100k不同嵌入層維度與不同神經(jīng)

圖3 MovieLens-1m不同嵌入層維度與不同神經(jīng)元數(shù)量下MAE與RMSE實驗結(jié)果

圖4 MovieLens-latest-small不同嵌入層維度與不同神經(jīng)元數(shù)量下MAE與RMSE實驗結(jié)果

圖5 FilmTrust不同嵌入層維度與不同神經(jīng)元數(shù)量下MAE與RMSE實驗結(jié)果

本文模型與幾種對比模型在不同數(shù)據(jù)集上單次實驗所需時間的對比見表11。從表11中可以看出，本文模型所需時間略有提高，其主要原因是本文模型考慮潛在特征的層次較多，模型中特征提取算法數(shù)量較多，但所需時間與其他模型差別不大，基本上屬于同一時間等級，在模型性能提升較大的情況下，時間消耗的增長在可接受范圍內(nèi)。

4 結(jié)束語

本文提出了一種考慮多層次潛在特征的個性化推薦模型。該模型結(jié)合DeepFM、DCN、DM三者提取不同層次的潛在特征的優(yōu)點，將多種層次的潛在特征考慮在內(nèi)，構(gòu)建評分預(yù)測模型。為驗證該模型的有效性，將其與傳統(tǒng)的推薦算法和考慮潛在特征的混合推薦模型進(jìn)行對比，在4個公開數(shù)據(jù)集上對模型性能進(jìn)行評估，實驗結(jié)果證明該模型可以有效提升推薦性能。同時實驗還評估了對本文模型性能有所影響的兩個參數(shù)，不同的嵌入層維度與模型第三部分全連接層神經(jīng)元數(shù)量。本文對模型的時間復(fù)雜度以模型單次迭代時間方式進(jìn)行了評估，考慮了較多的潛在層次，導(dǎo)致模型時間復(fù)雜度較高。后續(xù)研究將對不同層次潛在特征的組合方式進(jìn)行研究，使得層級融合特征向量內(nèi)可以更好地包含多種層次潛在特征，且考慮更多層次的潛在特征提取，并嘗試模型不同部分之間的參數(shù)共享，以降低模型復(fù)雜度。

表11 模型與部分對比模型單次迭代所需時間對比（單位：s）

[1] 項亮. 推薦系統(tǒng)實踐[M]. 北京: 人民郵電出版社, 2012 .

XIANG L. The Development of recommendation system[M]. Beijing: Posts & Telecom Press, 2012

[2] BPRATTOL, CARTAS, FENUG, et al. Semantics-aware content-based recommender systems: Design and architecture guidelines[J]. Neurocomputing, 2017(254): 79-85 .

[3] YANG S, KORAYEM M, ALJADDA K, et al. Combining content-based and collaborative filtering for job recommendation system: a cost-sensitive statistical relational learning approach[J]. Knowledge-Based Systems, 2017(136): 37-45.

[4] RENDLE S. Factorization machines[C]//Proceedings of 2010 IEEE International Conference on Data Mining. Piscataway: IEEE Press, 2010: 995-1000.

[5] ZHANG L B, LUO T J, ZHANG F, et al. A recommendation model based on deep neural network[J]. IEEE Access, 2018, 6: 9454-9463.

[6] BI J W, LIU Y, FAN Z P. A deep neural networks based recommendation algorithm using user and item basic data[J]. International Journal of Machine Learning and Cybernetics, 2020, 11(4): 763-777.

[7] CHENG H T, KOC L, HARMSEN J, et al. Wide & deep learning for recommender systems[C]//DLRS 2016: Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. [S.l.:s.n.], 2016: 7-10.

[8] GUO H F, TANG R M, YE Y M, et al. DeepFM: a factorization-machine based neural network for CTR prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2017.

[9] WANG R X, FU B, FU G, et al. Deep & cross network for ad click predictions[C]//ADKDD'17: Proceedings of the ADKDD'17. [S.l.:s.n.], 2017: 1-7.

[10] GUILHERME BRANDAO MARTINS, JOAO PAULO PAPA, HOJJAT ADELI. Deep learning techniques for recommender systems based on collaborative filtering[J]. Expert Systems, 2020, 37(6): 1-21.

[11] MYLAVARAPU B K. Collaborative filtering and artificial neural network based recommendation system for advanced applications[J]. Journal of Computer and Communications, 2018, 06(12): 1-14.

[12] TANG H, LEI M, GONG Q, et al. A BP neural network recommendation algorithm based on cloud model[J]. IEEE Access, 2019(7): 35898-35907.

[13] 薛峰, 劉凱, 王東, 等. 基于深度神經(jīng)網(wǎng)絡(luò)和加權(quán)隱反饋的個性化推薦[J]. 模式識別與人工智能, 2020, 33(4): 295-302.

XUE F, LIU K, WANG D, et al. Personalized recommendation algorithm based on deep neural network and weighted implicit feedback[J]. Pattern Recognition and Artificial Intelligence, 2020, 33(4): 295-302.

[14] 楊潔, 朱咸軍, 周獻(xiàn)中, 等. 基于混雜社會網(wǎng)絡(luò)的個性化Web服務(wù)推薦方法[J]. 電子學(xué)報, 2020, 48(2): 341-349.

YANG J, ZHU X J, ZHOU X Z, et al. Personalized web service recommendation based on heterogeneous social network[J]. Acta Electronica Sinica, 2020, 48(2): 341-349.

[15] HUI B, ZHANG L, ZHOU X, et al. Personalized recommendation system based on knowledge embedding and historical behavior[J]. Applied Intelligence, 2022(52): 954-966.

[16] ZHEN W, ALLAM M, LIANG M B, Research on e-commerce personalized recommendation system based on big data technology[C]//Proceedings of 2021 IEEE 2nd International Conference on Information Technology, Big Data and Artificial Intelligence (ICIBA). Piscataway: IEEE Press 2021, 909-913.

[17] 邵英瑋, 張敏, 馬為之, 等. 融合商品潛在互補(bǔ)性發(fā)現(xiàn)的個性化推薦方法[J]. 軟件學(xué)報, 2020, 31(4): 1090-1100.

SHAO Y W, ZHANG M, MA W Z, et al. Integrating latent item-item complementarity with personalized recommendation systems[J]. Journal of Software, 2020, 31(4): 1090-1100.

[18] FU M S, QU H, YI Z, et al. A novel deep learning-based collaborative filtering model for recommendation system[J]. IEEE Transactions on Cybernetics, 2019, 49(3): 1084-1096.

[19] YAN W J, WANG D, CAO M J, et al. Deep auto encoder model with convolutional text networks for video recommendation[J]. IEEE Access, 2019(7): 40333-40346.

[20] TANG J X, WANG K. Personalized top-N sequential recommendation via convolutional sequence embedding[C]// Proceedings of WSDM '18: Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. [S.l.:s.n.], 2018: 565-573.

[21] 鄧路佳, 劉平山. 基于GMM-FMs的廣告點擊率預(yù)測研究[J]. 計算機(jī)工程, 2019, 45(5): 122-126.

DENG L J, LIU P S. Research on click-through rate prediction of advertisement based on GMM-FMs[J]. Computer Engineering, 2019, 45(5): 122-126.

[22] YANG D Q, CHEN L H, LIANG J Q, et al. Social tag embedding for the recommendation with sparse user-item interactions[C]//Proceedings of 2018 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM). Piscataway: IEEE Press, 2018: 127-134.

[23] 郁豹, 李振華, 張凱, 等. 基于DeepFM模型的廣告推薦系統(tǒng)研究[J]. 計算機(jī)應(yīng)用與軟件, 2019, 36(7): 307-310, 316.

YU B, LI Z H, ZHANG K, et al. Advertisement recommendation system based on deepfm model[J]. Computer Applications and Software, 2019, 36(7): 307-310, 316.

[24] LIAN J X, ZHOU X H, ZHANG F Z, et al. xDeepFM: combining explicit and implicit feature interactions for recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018.

[25] NAUMOV M, MUDIGERE D, SHI H J M, et al. Deep learning recommendation model for personalization and recommendation systems[EB]. 2019.

[26] SONG W P, SHI C C, XIAO Z P, et al. AutoInt: automatic feature interaction learning via self-attentive neural networks[C]// Proceedings of CIKM '19: Proceedings of the 28th ACM International Conference on Information and Knowledge Management. [S.l.:s.n.], 2019: 1161-1170.

[27] HONGTAO X, QINGSHENG Z, HONGCHUN Q, et al. User-based collaborative recommendation filtering algorithm using extremely valued ratings[J]. International Journal of Digital Content Technology and Its Applications, 2011, 5(9): 47-54.

Personalized recommendation model with multi-level latent features

SHEN Qing1,2, GUO Wenbin1, LOU Jungang1,3, YU Qiangguo2

1. School of Information Engineering, Huzhou University, Huzhou 313000, China 2. School of Science and Engineering, Huzhou College, Huzhou 313000, China 3. Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou 313000, China

Personalized recommendation has become one of the most effective means to solve information overload, and it is also a hot technology in the research field of massive data mining. However, traditional recommendation algorithms often only use the user’s rating information on the item, and lack a comprehensive consideration of the potential characteristics of the user and the item. The factorization machine, wide neural network, crossover network and deep neural network were combined to extract the shallow latent features, low-order nonlinear latent features, linear cross latent features, and high-order nonlinear latent features of users and items. Thus, a new deep learning personalized recommendation model with multilevel latent features was established. The experimental results on four commonly used data sets show that considering the multi-level potential features of users and items can effectively improve the prediction accuracy of personalized recommendations. Finally, the influence of factors such as the dimensions of the embedding layer and the number of neurons on the prediction performance of the new model was studied.

personalized recommendation, hierarchical latent feature, deep learning

TP391.3

A

10.11959/j.issn.1000?0801.2022035

2021?08?09；

2021?10?26

浙江省重點研發(fā)計劃項目（No.2020C01097）

The Key Research and Development Program of Zhejiang Province (No.2020C01097)

申情（1982? ），女，湖州學(xué)院副教授，主要研究方向為個性化推薦、多目標(biāo)優(yōu)化、智能決策等。

郭文賓（1996? ），男，湖州師范學(xué)院信息工程學(xué)院碩士生，主要研究方向為個性化推薦。

樓俊鋼（1982? ），男，博士，湖州師范學(xué)院信息工程學(xué)院教授，主要研究方向為智能信息處理、個性化推薦。

余強(qiáng)國（1977? ），男，湖州學(xué)院理工學(xué)院高級工程師，主要從事模式識別和智能控制等。