基于降噪自動(dòng)編碼器的推薦算法

武玲梅,陸建波,劉春霞

(廣西師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院,廣西 南寧 530023)

0 引 言

如今互聯(lián)網(wǎng)信息急劇增加，為用戶提供了很多選擇，但過(guò)多的信息會(huì)出現(xiàn)信息過(guò)載的問(wèn)題。為用戶提供合適的商品，可以有效地提高用戶的滿意度。隨著快速增長(zhǎng)的社會(huì)數(shù)據(jù)，支持高效和有效的方法從大數(shù)據(jù)中提取有效特征越來(lái)越重要。推薦系統(tǒng)可以利用用戶歷史數(shù)據(jù)挖掘一些潛在的需求，進(jìn)而為用戶提供可能感興趣的商品。

近年來(lái)隨著網(wǎng)上商品的選擇越來(lái)越多，推薦系統(tǒng)變得必不可少，為改善用戶體驗(yàn)，很多公司和網(wǎng)站使用推薦系統(tǒng)來(lái)為用戶推薦商品。雖然之前已提出很多算法，但仍有一些眾所周知的問(wèn)題有待解決，如數(shù)據(jù)稀疏性和冷啟動(dòng)，對(duì)于這些問(wèn)題，許多研究者建議利用附加信息幫助建模，如內(nèi)容[1-2]、標(biāo)簽[3-4]、社會(huì)信息[5-6]或用戶多次反饋[7]。由于許多在線服務(wù)的選擇豐富，推薦則扮演著越來(lái)越重要的角色[8]。對(duì)于個(gè)人，使用推薦系統(tǒng)可以讓人們更有效地利用信息。例如，淘寶等網(wǎng)站根據(jù)用戶的瀏覽痕跡給用戶推薦相關(guān)商品?，F(xiàn)有的推薦算法大致分為3類[9-10]：基于內(nèi)容的推薦算法、協(xié)同過(guò)濾算法和混合推薦算法。基于內(nèi)容的推薦方法是根據(jù)用戶的愛(ài)好或商品的屬性來(lái)推薦。協(xié)同過(guò)濾算法是根據(jù)用戶過(guò)去的喜好或活動(dòng)，如用戶對(duì)商品的評(píng)分等信息，從而做出推薦?；旌贤扑]算法通過(guò)組合基于內(nèi)容和協(xié)同過(guò)濾這2種方法來(lái)獲得最佳效果。

目前許多推薦系統(tǒng)使用的是協(xié)同過(guò)濾(Collaborative Filtering，CF)推薦算法，CF的基本原理是根據(jù)用戶過(guò)去的偏好以及與其興趣相似的用戶的選擇為用戶推薦物品。協(xié)同過(guò)濾算法的簡(jiǎn)單有效性、準(zhǔn)確性促使其得到了廣泛的研究[11]。協(xié)同過(guò)濾可以分為基于記憶的推薦算法和基于模型的推薦算法[12]。基于記憶的推薦算法是根據(jù)項(xiàng)目評(píng)分矩陣計(jì)算用戶或物品之間的相似度，根據(jù)得到的相似度為用戶推薦，該算法優(yōu)點(diǎn)是算法簡(jiǎn)單、可操作性強(qiáng)、通用性好。缺點(diǎn)是易受冷啟動(dòng)問(wèn)題限制。而基于模型的推薦算法嘗試預(yù)測(cè)用戶對(duì)之前未遇到的物品的興趣度，針對(duì)某一用戶，使用機(jī)器學(xué)習(xí)算法訓(xùn)練物品的向量，建立模型后預(yù)測(cè)用戶對(duì)新物品的評(píng)分，進(jìn)而完成推薦，進(jìn)一步填充了用戶項(xiàng)目評(píng)分矩陣，但算法相對(duì)復(fù)雜且操作繁瑣。而且在實(shí)際應(yīng)用中，評(píng)分矩陣比較稀疏，使得基于協(xié)同過(guò)濾的推薦算法的推薦效果比較低。針對(duì)傳統(tǒng)推薦算法存在的不足，本文提出基于降噪自動(dòng)編碼器的推薦系統(tǒng)，使用自動(dòng)編碼器去學(xué)習(xí)輸入信號(hào)，通過(guò)建立模型并進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明比傳統(tǒng)算法在處理數(shù)據(jù)集和效率上有明顯的提高。

1 相關(guān)工作

最近深度學(xué)習(xí)被廣泛應(yīng)用于許多應(yīng)用中，從計(jì)算機(jī)視覺(jué)到語(yǔ)音識(shí)別和機(jī)器翻譯。它可以將低層特征進(jìn)行組合，形成比較抽象的高層表示，其強(qiáng)大的數(shù)據(jù)處理和自動(dòng)特征提取等優(yōu)勢(shì)，在圖像、視頻等領(lǐng)域取得了巨大成功。深度學(xué)習(xí)中常見(jiàn)的模型有深度玻爾茲曼機(jī)(Deep Boltzmann Machines，DBM)、深度信念網(wǎng)絡(luò)(Deep Neural Network，DBN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)、棧式降噪自動(dòng)編碼器(Stacked Denoising Autoencoders，SDAE)等[13]。將深度學(xué)習(xí)應(yīng)用于推薦系統(tǒng)越來(lái)越受關(guān)注，人們提出了很多方法來(lái)解決這個(gè)問(wèn)題，大致分為2類：基于評(píng)分和基于輔助信息?；谠u(píng)分的方法側(cè)重于利用深度學(xué)習(xí)模型根據(jù)評(píng)分進(jìn)行推薦[14-15]，這些方法使用降噪自動(dòng)編碼器(Denoising Autoencoder，DAE)通過(guò)評(píng)分矩陣來(lái)學(xué)習(xí)用戶或項(xiàng)目的壓縮表示，進(jìn)而做出推薦，結(jié)果表明與以前的線性模型(如矩陣分解)相比有很大的改進(jìn)?；谳o助數(shù)據(jù)的方法從輔助數(shù)據(jù)如內(nèi)容、標(biāo)簽或圖像中學(xué)習(xí)壓縮表示，然后結(jié)合傳統(tǒng)矩陣分解法進(jìn)行推薦[16-18]，在深度模型中使用輔助信息可以使推薦達(dá)到更好的性能。

Salakhutdinov等人[19]首次將深度學(xué)習(xí)應(yīng)用于協(xié)同過(guò)濾算法中，提出了一個(gè)兩層受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)模型，可見(jiàn)層為用戶對(duì)電影的評(píng)分信息，隱層為用戶信息，對(duì)其運(yùn)用概率模型預(yù)測(cè)分?jǐn)?shù)。但RBM只是針對(duì)評(píng)分預(yù)測(cè)，而不能很好地實(shí)現(xiàn)top-K的推薦。Truyen等人[20]提出了用于協(xié)同過(guò)濾的序號(hào)玻爾茲曼機(jī)，他們研究了評(píng)分順序的參數(shù)，并提出了整合多個(gè)玻爾茲曼機(jī)用于基于用戶和基于項(xiàng)目的過(guò)程。Wang等人[21]使用深度信念網(wǎng)(DBN)進(jìn)行音樂(lè)推薦，將音樂(lè)的特征提取和推薦的歌曲統(tǒng)一在一框架內(nèi)。Oord等人[22]使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)解決了音樂(lè)推薦問(wèn)題，采用深度卷積神經(jīng)網(wǎng)絡(luò)提取歌曲音頻中的特征作為歌曲的特征，然后采用加權(quán)矩陣分解進(jìn)行評(píng)分預(yù)測(cè)，結(jié)果表明通過(guò)增加音頻信號(hào)，改善了推薦效果。這些方法均是修改深度學(xué)習(xí)算法并應(yīng)用于協(xié)同過(guò)濾中，但這些方法很多并沒(méi)有對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，直接將稀疏的評(píng)分矩陣輸入神經(jīng)網(wǎng)絡(luò)，仍存在數(shù)據(jù)稀疏問(wèn)題。

本文的模型將考慮用戶和項(xiàng)目的相關(guān)屬性特征，這樣可以根據(jù)新用戶或新項(xiàng)目的特征來(lái)為用戶進(jìn)行推薦，某種程度上解決了冷啟動(dòng)問(wèn)題。實(shí)驗(yàn)中使用2個(gè)降噪自動(dòng)編碼器來(lái)訓(xùn)練評(píng)分矩陣，其中一個(gè)自動(dòng)編碼器訓(xùn)練用戶潛在因子矩陣，另外一個(gè)訓(xùn)練項(xiàng)目潛在因子矩陣，訓(xùn)練結(jié)束后，得到的隱含特征向量輸入一神經(jīng)網(wǎng)絡(luò)，通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)評(píng)分，通過(guò)新的評(píng)分矩陣計(jì)算項(xiàng)目的相似度，根據(jù)相似度結(jié)果完成推薦。

2 基于自動(dòng)編碼器的推薦系統(tǒng)研究

2.1 自動(dòng)編碼器

自動(dòng)編碼器(AutoEncoder，AE)[23]是一種盡可能使輸出信號(hào)復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層組成，每層包含許多神經(jīng)元，其中輸出層神經(jīng)元數(shù)量等于輸入層神經(jīng)元數(shù)量，中間層的神經(jīng)元數(shù)量小于輸入層和輸出層。輸出的結(jié)果是數(shù)據(jù)的壓縮表示，即數(shù)據(jù)的隱含特征，該特征可以代替原數(shù)據(jù)。自動(dòng)編碼器主要用來(lái)特征的提取和數(shù)據(jù)的降維，不需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)記，是一種無(wú)監(jiān)督學(xué)習(xí)算法。該算法特征的準(zhǔn)確率一般比其他訓(xùn)練得到的結(jié)果要好，通常使用隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)更新參數(shù)。

自動(dòng)編碼器的工作原理大致如下：

假設(shè)輸入樣本的一個(gè)向量表示為x∈RN，將其映射到隱藏層z∈RK的映射關(guān)系表示為：

z=h(x)=σ(Wx+b)

(1)

(2)

其中，W′∈RN×K是隱藏層與輸出層之間的權(quán)值矩陣，b′∈RK為偏置向量，W′是W的轉(zhuǎn)置即W′=WT。自動(dòng)編碼器的訓(xùn)練過(guò)程就是調(diào)整權(quán)值矩陣W，W′與偏置向量b，b′使得平均重構(gòu)誤差最小，其中損失函數(shù)如公式(3)所示：

(3)

最小重構(gòu)誤差函數(shù)如公式(4)所示：

(4)

2.2 降噪自動(dòng)編碼器

(5)

為使損壞輸入公平，未損壞的值以原始值輸入到公式(5)中：

θ=1/(1-q)

3 本文算法

實(shí)驗(yàn)?zāi)康氖穷A(yù)測(cè)用戶對(duì)未評(píng)分過(guò)的產(chǎn)品的評(píng)分，進(jìn)而發(fā)現(xiàn)用戶潛在的還未發(fā)現(xiàn)的感興趣的產(chǎn)品，為用戶做出推薦，使構(gòu)建的模型在使用階段快速有效，處理新數(shù)據(jù)時(shí)迅速有效，不需要為每個(gè)新評(píng)分、新用戶或新項(xiàng)目重建模型。針對(duì)傳統(tǒng)算法存在的擴(kuò)展性、冷啟動(dòng)和數(shù)據(jù)稀疏等問(wèn)題，實(shí)驗(yàn)中將考慮用戶和項(xiàng)目的隱含因子進(jìn)行推薦，通過(guò)2個(gè)自動(dòng)編碼器分別來(lái)訓(xùn)練用戶和項(xiàng)目評(píng)分矩陣，得到輸入數(shù)據(jù)的壓縮表示后，將其輸入神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)評(píng)分，并根據(jù)項(xiàng)目的相似性為用戶進(jìn)行推薦。

圖1 用戶-項(xiàng)目評(píng)分矩陣

記用戶集合為U，項(xiàng)目集合為I，給定M個(gè)用戶和N個(gè)項(xiàng)目，形成M×N用戶-項(xiàng)目評(píng)分矩陣R，Ri,j表示用戶i對(duì)項(xiàng)目j的評(píng)分值，評(píng)分值為0～5之間的整數(shù)。如果用戶u對(duì)項(xiàng)目j未評(píng)分，則Ri,j=0，評(píng)分值越高表示用戶對(duì)該項(xiàng)目認(rèn)可度越高，如圖1所示。

1)數(shù)據(jù)預(yù)處理。

在訓(xùn)練之前對(duì)MovieLens 1M數(shù)據(jù)集進(jìn)行預(yù)處理，對(duì)用戶數(shù)據(jù)加入地區(qū)信息，對(duì)電影數(shù)據(jù)加入電影年份信息。并將有關(guān)用戶、產(chǎn)品和評(píng)分的數(shù)據(jù)信息轉(zhuǎn)換為向量。將原始的評(píng)分?jǐn)?shù)據(jù)進(jìn)行處理，若性別為女性則數(shù)值等于0.5，若性別為男性則數(shù)值等于-0.5。電影年份設(shè)置為[-0.5，0.5]，具體設(shè)置如公式(6)～公式(9)：

d=yearmax-yearmin

(6)

(7)

(8)

(9)

其中，yearmax，yearmin分別代表數(shù)據(jù)集中最大和最小的電影年份，year為實(shí)驗(yàn)使用的數(shù)據(jù)。

2)訓(xùn)練自動(dòng)編碼器。

實(shí)驗(yàn)使用了2個(gè)自動(dòng)編碼器，對(duì)于第一個(gè)自動(dòng)編碼器中的每個(gè)用戶輸入R里的每一行、項(xiàng)目ID和項(xiàng)目特征向量，R里的每一行即每個(gè)用戶對(duì)各個(gè)項(xiàng)目的打分作為其向量描述，輸入層神經(jīng)元個(gè)數(shù)等于項(xiàng)目數(shù)目I。對(duì)于第二個(gè)自動(dòng)編碼器每個(gè)項(xiàng)目輸入R里的每一列和用戶特征向量，R里的每一列即每個(gè)項(xiàng)目用各個(gè)用戶對(duì)它的打分作為其向量描述，輸入層神經(jīng)元個(gè)數(shù)等于用戶數(shù)目U。

每個(gè)用戶u∈U={1，…，m}對(duì)項(xiàng)目的評(píng)分矩陣可以用R(u)=(Ru1,…,Run)∈Rn來(lái)表示，同理，對(duì)于每個(gè)項(xiàng)目i∈I={1，…，n}的評(píng)分矩陣可以用R(i)=(R1i,…,Rmi)∈Rm來(lái)表示。2個(gè)自動(dòng)編碼器，分別輸入R(u)和R(i)，通過(guò)自動(dòng)編碼器來(lái)獲得用戶和項(xiàng)目的隱含特征向量。下面主要描述輸入R里的每一行數(shù)據(jù)的自動(dòng)編碼器訓(xùn)練過(guò)程，另一自動(dòng)編碼器訓(xùn)練過(guò)程與其同理。

對(duì)于R(u)加噪后的數(shù)據(jù)為：

訓(xùn)練用戶評(píng)分矩陣的自動(dòng)編碼器的輸出公式為：

其中，W，W′分別是訓(xùn)練用戶評(píng)分矩陣的自動(dòng)編碼器中輸入層到隱藏層、隱藏層到輸出層的權(quán)重矩陣，b，b′分別是偏置向量。如圖2所示。

圖2 訓(xùn)練用戶評(píng)分矩陣

對(duì)于訓(xùn)練用戶評(píng)分矩陣的自動(dòng)編碼器的最小損失函數(shù)為：

(11)

3)微調(diào)。

在訓(xùn)練過(guò)程中確定激活函數(shù)和梯度下降的學(xué)習(xí)率，用梯度下降法訓(xùn)練整個(gè)網(wǎng)絡(luò)，并用訓(xùn)練好的參數(shù)測(cè)試整個(gè)網(wǎng)絡(luò)，用反向傳播算法(Back Propagation，BP)調(diào)整誤差函數(shù)。

4)評(píng)分預(yù)測(cè)。

將自動(dòng)編碼器的輸出結(jié)果輸入神經(jīng)網(wǎng)絡(luò)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)確定參數(shù)，使新的評(píng)分矩陣擬合原始評(píng)分矩陣。

5)生成推薦列表。

經(jīng)過(guò)重復(fù)多次的訓(xùn)練后得到新的評(píng)分矩陣，根據(jù)重構(gòu)后的評(píng)分矩陣，用歐氏距離來(lái)計(jì)算項(xiàng)目的相似性，利用相似度為用戶進(jìn)行top-K推薦。

歐氏距離公式：

(12)

歐氏距離值越小，說(shuō)明相似性越大。算法流程如圖3所示。

圖3 本文算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文采用電影評(píng)分?jǐn)?shù)據(jù)集Movielens 1M進(jìn)行實(shí)驗(yàn)。MovieLens 1M數(shù)據(jù)集包含6040名用戶對(duì)3952部電影的100萬(wàn)條評(píng)分?jǐn)?shù)據(jù)。它包括3種數(shù)據(jù)信息：評(píng)分、用戶信息和電影信息。評(píng)分值為1～5之間的整數(shù)。實(shí)驗(yàn)過(guò)程中采用數(shù)據(jù)集中的70%作為訓(xùn)練樣本，剩余的30%作為測(cè)試樣本。

采用均方根誤差RMSE來(lái)作為評(píng)分預(yù)測(cè)的評(píng)價(jià)指標(biāo)。通過(guò)計(jì)算預(yù)測(cè)評(píng)分與實(shí)際評(píng)分之間的偏差度量預(yù)測(cè)的準(zhǔn)確性，差值越小則預(yù)測(cè)的質(zhì)量越高，如圖

(13)

另外使用召回率(recall)來(lái)評(píng)價(jià)為用戶作出推薦結(jié)果的質(zhì)量，召回率公式：

(14)

其中，Su為測(cè)試集中用戶評(píng)過(guò)分的集合，Tu為算法計(jì)算出的為用戶推薦的集合。召回率表示算法推薦的K個(gè)項(xiàng)目中用戶真正評(píng)過(guò)分的項(xiàng)目占用戶評(píng)價(jià)過(guò)的所有項(xiàng)目的比例，計(jì)算結(jié)果越大，推薦的效果越好，如圖5所示。

圖4 各個(gè)算法的均方根誤差曲線

圖5 各個(gè)算法的召回率曲線

4.2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本算法的有效性，將本文算法與基于用戶的協(xié)同過(guò)濾算法(User-based))、基于項(xiàng)目的協(xié)同過(guò)濾算法(Item-based)、奇異值矩陣分解(SVD)、傳統(tǒng)自編碼(AE)在共同數(shù)據(jù)集MoiveLens 1M下進(jìn)行對(duì)比驗(yàn)證。實(shí)驗(yàn)中，將評(píng)分?jǐn)?shù)據(jù)分為訓(xùn)練集和測(cè)試集，對(duì)訓(xùn)練樣本不斷微調(diào)、更新參數(shù)，亦使重構(gòu)誤差最小，迭代次數(shù)分別為10～50次，從圖4中可以看出在同樣的參數(shù)設(shè)置下本文算法的預(yù)測(cè)性能最優(yōu)。

當(dāng)推薦列表個(gè)數(shù)K值為50,100,150,200,250,300時(shí)，各個(gè)算法的召回率情況如圖5所示，根據(jù)實(shí)驗(yàn)結(jié)果可知，在推薦長(zhǎng)度相同時(shí)，本文算法推薦的效果更好，說(shuō)明基于降噪自動(dòng)編碼器學(xué)習(xí)的用戶和項(xiàng)目特征能更好地代替原數(shù)據(jù)，將其應(yīng)用于推薦，效果有所提升。

5 結(jié)束語(yǔ)

本文提出了一種基于降噪自動(dòng)編碼器的模型，實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)方法，本文算法的準(zhǔn)確性高，對(duì)輸入數(shù)據(jù)加入噪聲使得重構(gòu)誤差減小。通過(guò)2個(gè)自動(dòng)編碼器訓(xùn)練用戶和項(xiàng)目的潛在因子矩陣，使輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)沒(méi)有原始評(píng)分矩陣稀疏，本文算法考慮了用戶和項(xiàng)目的隱含特征向量，所以可以根據(jù)新用戶或新項(xiàng)目的特征給予推薦，一定程度上同時(shí)解決了矩陣稀疏和新項(xiàng)目冷啟動(dòng)問(wèn)題。從實(shí)驗(yàn)結(jié)果可以看出，將深度模型應(yīng)用于推薦系統(tǒng)是一個(gè)很好的研究方向。本文在預(yù)處理數(shù)據(jù)和訓(xùn)練模型時(shí)花費(fèi)了較長(zhǎng)的時(shí)間，最優(yōu)效果有待改進(jìn)，今后的工作還可以考慮用其他深度學(xué)習(xí)模型來(lái)做推薦。

[1] Wang Hao, Li Wujun. Relational collaborative topic regression for recommender systems[J]. IEEE Transactions on Knowledge and Data Engineering, 2015,27(5):1343-1355.

[2] Zheng Xiaolin, Ding Weifeng, Lin Zhen, et al. Topic tensor factorization for recommender system[J]. Information Sciences, 2016,372(C):276-293.

[3] Wang Hao, Shi Xingjian, Yeung D Y. Relational stacked denoising autoencoder for tag recommendation[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015:3052-3058.

[4] Ma Huifang, Jia Meihuizi, Zhang Di, et al. Combining tag correlation and user social relation for microblog recommendation[J]. Information Sciences, 2017,385(C):325-337.

[5] Guo Guibing, Zhang Jie, Yorke-Smith N. TrustSVD: Collaborative filtering with both the explicit and implicit influence of user trust and of item ratings[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015:123-129.

[6] Park C, Kim D, Oh J, et al. Improving top-K recommendation with truster and trustee relationship in user trust network[J]. Information Sciences, 2016,374(C):100-114.

[7] Pan Weike, Xia Shanchuan, Liu Zhuode, et al. Mixed factorization for collaborative recommendation with heterogeneous explicit feedbacks[J]. Information Sciences, 2016,332(C)84-93.

[8] Zhang Wancai, Sun Hailong, Liu Xudong, et al. Temporal qos-aware Web service recommendation via non-negative tensor factorization[C]// Proceedings of the 23rd International Conference on World Wide Web. 2014:585-596.

[9] Bobadilla J, Ortega F, Hernando A, et al. Recommender systems survey[J]. Knowledge Based Systems, 2013,46:109-132.

[10] 黃震華,張佳雯,田春岐,等. 基于排序?qū)W習(xí)的推薦算法研究綜述[J]. 軟件學(xué)報(bào), 2016,27(3):691-713.

[11] 冷亞軍,陸青,梁昌勇. 協(xié)同過(guò)濾推薦技術(shù)綜述[J]. 模式識(shí)別與人工智能, 2014,27(8):720-734.

[12] 丁少衡,姬東鴻,王路路. 基于用戶屬性和評(píng)分的協(xié)同過(guò)濾推薦算法[J]. 計(jì)算機(jī)與工程設(shè)計(jì), 2015(2):487-491.

[13] 孫志軍,薛磊,許陽(yáng)明,等. 深度學(xué)習(xí)研究綜述[J]. 計(jì)算機(jī)應(yīng)研究, 2012,29(8):2806-2810.

[14] Li Sheng, Kawale J, Fu Yun. Deep collaborative filtering via marginalized denoising auto-encoder[C]// Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. 2015:811-820.

[15] Wu Yao, DuBois C, Zheng A X, et al. Collaborative denoising auto-encoders for top-N recommender systems[C]// Proceedings of the 9th ACM International Conference on Web Search and Data Mining. 2016:153-162.

[16] He Ruining, McAuley J. VBPR: Visual Bayesian personalized ranking from implicit feedback[C]// Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016:144-150.

[17] Wang Hao, Wang Naiyan, Yeung D Y. Collaborative deep learning for recommender systems[C]// Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2015:1235-1244.

[18] Lei Chenyi, Liu Dong, Li Weiping, et al. Comparative deep learning of Hybrid representations for image recommendations[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. 2016:2545-2553.

[19] Salakhutdinov R, Mnih A, Hinton G. Restricted Boltzmann machines for collaborative filtering[C]// Proceedings of the 24th International Conference on Machine Learning. 2007:791-798.

[20] Truyen T T, Phung D Q, Venkatesh S. Ordinal Boltzmann machines for collaborative filtering[C]// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. 2009:548-556.

[21] Wang Xinxi, Wang Ye. Improving content-based and hybrid music recommendation using deep learning[C]// Proceedings of the 22nd ACM International Conference on Multimedia. 2014:627-636.

[22] Oord A V D, Dieleman S, Schrauwen B. Deep content-based music recommendation[C]// Proceedings of the 26th International Conference on Neural Information Processing Systems. 2013:2643-2651.

[23] Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[C]// Advances in Neural Information Processing Systems. 2006:153-160.

[24] Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]// Proceedings of the 25th International Conference on Machine Learning. 2008:1096-1103.