一種基于受限波爾茲曼機(jī)的推薦算法

王衛(wèi)兵 張立超 徐倩

摘 要：在數(shù)據(jù)量過(guò)于龐大的情況下，RBM模型所輸出的推薦結(jié)果會(huì)比較寬泛。此外，目前眾多的協(xié)同過(guò)濾算法無(wú)法對(duì)巨大的數(shù)據(jù)集進(jìn)行更好的處理。所以，嘗試通過(guò)深度學(xué)習(xí)來(lái)對(duì)個(gè)性化推薦進(jìn)行加強(qiáng)，指出把受限波爾茲曼機(jī)與隱含因子模型相結(jié)合的混合推薦方法。首先用RBM算法生成候選集，并對(duì)候選集的稀疏矩陣進(jìn)行評(píng)分預(yù)測(cè)，然后使用LFM對(duì)候選結(jié)果進(jìn)行排序，進(jìn)而選擇最優(yōu)方案進(jìn)行推薦。使用大型公開(kāi)數(shù)據(jù)集對(duì)本文算法進(jìn)行反復(fù)驗(yàn)證，通過(guò)測(cè)試可以看出，相比較于傳統(tǒng)的推薦模型，本文所提闡述的方式能夠有效提高評(píng)分預(yù)測(cè)的精準(zhǔn)度。

關(guān)鍵詞：推薦算法;深度學(xué)習(xí);RBM模型;LFM模型

DOI：10.15938/j.jhust.2020.05.009

中圖分類號(hào)： TP316.2

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2020）05-0062-06

Abstract：In the case where the amount of data is too large， the recommended results output by the RBM model will be broader. Besides， many collaborative filtering algorithms currently do not handle large data sets better. So， we try to use the deep learning technology to strengthen the personalized recommendation model. We propose a hybrid recommendation model combining the bound Boltzmann model and the hidden factor model. First， we use the RBM algorithm to generate candidate sets， and score the sparse matrix of the candidate set. Then we use the LFM model to sort the candidate results and select the optimal solution for recommendation. The hybrid model is validated using used large public datasets. It can be seen from the verification that compared with the traditional recommendation model， the proposed method can improve the accuracy of the score prediction.

Keywords：recommendation algorithm; deep learning; restricted boltzmann machine; latent factor model

0 引 言

對(duì)于推薦系統(tǒng)，盡管前期已有很多人就此提出了多種算法和應(yīng)用實(shí)現(xiàn)方案，不過(guò)依舊有許多問(wèn)題尚未得到解決，譬如冷啟動(dòng)問(wèn)題、數(shù)據(jù)稀疏問(wèn)題等就是比較典型的問(wèn)題，而且是普遍存在的問(wèn)題。針對(duì)上述問(wèn)題，已有不少研究人員都提出了在建模中導(dǎo)入包括內(nèi)容信息[1-2]、標(biāo)簽信息[3-4]、社會(huì)信息[5]以及用戶反饋信息[6]等附加信息?？紤]到有大量在線服務(wù)都能夠給用戶提供多元選擇，推薦所發(fā)揮的作用日益關(guān)鍵[7]。相對(duì)于個(gè)人來(lái)說(shuō)，推薦系統(tǒng)的設(shè)計(jì)與應(yīng)用有益于人們對(duì)信息的高效運(yùn)用。目前運(yùn)用的推薦算法主要包括基于內(nèi)容推薦、協(xié)同過(guò)濾以及混合推薦三大類[8-9]。

協(xié)同過(guò)濾根據(jù)用戶瀏覽或消費(fèi)的歷史信息，面向用戶進(jìn)行產(chǎn)品推薦。算法簡(jiǎn)單、結(jié)果較為準(zhǔn)確且有效，所以成為目前應(yīng)用最多的算法[10]。其主要有基于模型的推薦算法和基于記憶的推薦算法兩種類型[11]。就后者而言，是通過(guò)項(xiàng)目評(píng)分矩陣而對(duì)物品與用戶兩者間的相似程度進(jìn)行計(jì)算，進(jìn)而通過(guò)所求得的相似度來(lái)推薦給使用者。其優(yōu)勢(shì)為極高的通用性、極強(qiáng)的操作性和較為簡(jiǎn)捷的算法。其主要缺陷在于極易被冷啟動(dòng)問(wèn)題所限制。而對(duì)于前者來(lái)講，此算法嘗試對(duì)用戶以往尚未見(jiàn)過(guò)物品所產(chǎn)生的興趣度進(jìn)行預(yù)測(cè)，所針對(duì)的對(duì)象為某一用戶，通過(guò)機(jī)器學(xué)習(xí)算法來(lái)對(duì)物品向量進(jìn)行訓(xùn)練。當(dāng)模型被構(gòu)建之后，對(duì)用戶就新物品的評(píng)價(jià)進(jìn)行一定的預(yù)測(cè)，從而形成相關(guān)推薦的實(shí)現(xiàn)，使得用戶項(xiàng)目評(píng)分矩陣得到了更為深入的充填。然而，算法較為繁雜且不易操作。

深度學(xué)習(xí)、語(yǔ)音辨識(shí)、機(jī)器翻譯等技術(shù)在當(dāng)前的推薦應(yīng)用中也多有采用。它能夠組合低層水平的多種特征，得到較高層次水平和更強(qiáng)抽象性的表示，因此具備強(qiáng)大的數(shù)據(jù)自動(dòng)處理并提取特征等突出優(yōu)點(diǎn)。該技術(shù)建立的模型主要包括深度玻爾茲曼機(jī)、深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、棧式降噪自動(dòng)編碼器等[12-13]。同時(shí)研究人員還主要基于輔助信息、評(píng)分提出了多種問(wèn)題解決方案。其中基于評(píng)分的解決方案，也就是以評(píng)分為基礎(chǔ)建模開(kāi)展深度學(xué)習(xí)并進(jìn)行產(chǎn)品推薦[14-15]，上述方式主要憑借深度學(xué)習(xí)，構(gòu)建評(píng)分矩陣，完成項(xiàng)目或用戶行為學(xué)習(xí)，實(shí)現(xiàn)產(chǎn)品推薦，結(jié)果證明相比于過(guò)去常用的矩陣分解等線性模型，這一方法已有明顯改善。其中，基于輔助信息的模型主要從標(biāo)簽、內(nèi)容以及圖像中學(xué)習(xí)壓縮等視角切入，提出結(jié)合運(yùn)用傳統(tǒng)矩陣分解法來(lái)實(shí)現(xiàn)產(chǎn)品的推薦[16-18]。而在深度模型之內(nèi)導(dǎo)入輔助信息能夠顯著增強(qiáng)推薦的各項(xiàng)相關(guān)性能。

Salakhutdinov等[19]首次提出將深度學(xué)習(xí)算法引入到協(xié)同過(guò)濾算法當(dāng)中，同時(shí)闡釋了首個(gè)雙層受限玻爾茲曼機(jī)（Restricted Boltzmann Machine， RBM）模型。在這一模型中，將用戶給出的評(píng)分作為可見(jiàn)層，將用戶信息作為隱藏層，還構(gòu)建應(yīng)用概率模型預(yù)測(cè)評(píng)分。不過(guò)本模型僅僅以評(píng)分為研究對(duì)象，無(wú)法有效達(dá)成推薦目的也就是得到top-N結(jié)果。Truyen等[20]研究得到了以協(xié)同過(guò)濾為基礎(chǔ)的序號(hào)玻爾茲曼機(jī)，著重分析評(píng)分序列參數(shù)，同時(shí)給出了數(shù)個(gè)不同玻爾茲曼機(jī)整合并用于以項(xiàng)目和用戶為基礎(chǔ)的課題中。何潔月等[21]主要擴(kuò)展了RBM模型，研究給出了以實(shí)值狀態(tài)為基礎(chǔ)的玻爾茲曼機(jī)，本模型主要從下述三個(gè)角度完成了RBM的完善和改進(jìn)，其一是將評(píng)分直接用于可見(jiàn)單元狀態(tài)，而無(wú)需將其轉(zhuǎn)化為向量0～1（K維），其二是將未評(píng)分?jǐn)?shù)據(jù)用于訓(xùn)練數(shù)據(jù)集合，其三是將在應(yīng)用模型中導(dǎo)入好友信任關(guān)系，有效解決稀疏性問(wèn)題。Wang等[22]主要運(yùn)用深度信念網(wǎng)，建立統(tǒng)一框架提取作品特征并完成對(duì)音樂(lè)作品的推薦。Oord等[23]主要運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)方法來(lái)實(shí)現(xiàn)音樂(lè)作品的主動(dòng)推送。不過(guò)上述方法中省去了預(yù)處理數(shù)據(jù)的步驟，在神經(jīng)網(wǎng)絡(luò)之內(nèi)直接錄入評(píng)分矩陣，數(shù)據(jù)稀疏問(wèn)題依然存在著。

針對(duì)上述問(wèn)題，本文提出了基于RBM與隱含因子模型（latent factor model，LFM）的混合推薦模型（RBM-LFM），有效解決所需處理數(shù)據(jù)規(guī)模很大時(shí)，RBM模型推送信息結(jié)果太過(guò)廣泛的實(shí)際問(wèn)題，同時(shí)，改善協(xié)同過(guò)濾算法不能處理大數(shù)據(jù)集以及稀疏矩陣的問(wèn)題。實(shí)驗(yàn)中使用RBM模型來(lái)訓(xùn)練評(píng)分矩陣，生成候選集，另外對(duì)候選集中稀疏評(píng)分矩陣進(jìn)行評(píng)分預(yù)測(cè)，訓(xùn)練結(jié)束后，將候選集結(jié)果輸入LFM模型中，通過(guò)LFM模型計(jì)算出最優(yōu)的推薦結(jié)果。

1 基于RBM和LFM的混合推薦模型框架設(shè)計(jì)

基于RBM和LFM的混合推薦模型主要由以下5個(gè)不同模塊所組成：其一，數(shù)據(jù)預(yù)處理模塊;其二，RBM模型訓(xùn)練調(diào)優(yōu)模塊;其三，候選集數(shù)據(jù)填充模塊;其四，LFM排序模塊;其五，輸出推薦結(jié)果模塊。算法架構(gòu)如圖1所示。

本模型中可見(jiàn)、隱藏兩層內(nèi)全部單元都改成向量{0，1}。因此，預(yù)處理信息時(shí)，只需預(yù)處理待錄入信息，也用向量{0，1}來(lái)表示電影評(píng)分矩陣。

將處理后的數(shù)據(jù)輸入到RBM模型中，對(duì)RBM模型進(jìn)行訓(xùn)練調(diào)優(yōu)并生成候選集。首先給定RBM所需參數(shù)，即隱藏單元數(shù)目、最大訓(xùn)練次數(shù)以及學(xué)習(xí)率。隨后，選取特定參數(shù)同時(shí)將其他參數(shù)固定下來(lái)并重復(fù)多次展開(kāi)訓(xùn)練，如此反復(fù)實(shí)驗(yàn)多次之后，即可得到參數(shù)取值的最佳值組合。用此結(jié)果對(duì)RBM模型進(jìn)行訓(xùn)練，隨后將錄入信息視為候選集。且填充候選集中所缺少的數(shù)據(jù)，輸入到下一模塊中。

將候選集數(shù)據(jù)輸入到LFM模型，通過(guò)優(yōu)化指定的參數(shù)，建立最優(yōu)模型。將用戶對(duì)每個(gè)電影的興趣度值求出，進(jìn)而推薦給用戶。

圖1 RBM-LFM模型框架圖

Fig.1 the RBM-LFM model frame

2 基于RBM的推薦模型

玻爾茲曼機(jī)（Boltzmann machine， BM）屬于生成式隨機(jī)神經(jīng)網(wǎng)絡(luò)的一種，由學(xué)者Hinton和Sejnowski所提出，其通過(guò)某些隱層單元以及可見(jiàn)單元所組成，兩者均為二元變量，狀態(tài)取值均用向量0-1表示，其中，0代表的是抑制狀態(tài);1代表的是激活狀態(tài)。其可以對(duì)繁雜的數(shù)據(jù)規(guī)則進(jìn)行學(xué)習(xí)。但是，玻爾茲曼機(jī)的訓(xùn)練過(guò)程非常耗時(shí)，并且有時(shí)候會(huì)難以表示數(shù)據(jù)所服從的分布。受此影響，Sejnowski等人則闡述了一類受限玻爾茲曼機(jī)，它以玻爾茲曼機(jī)為基礎(chǔ)，將同層變量間的連接全部清除，使得所存在的弊端得以解決，有力地促使了學(xué)習(xí)效率的有效提升，并逐步應(yīng)用到了用戶評(píng)分預(yù)測(cè)、推薦系統(tǒng)等領(lǐng)域。圖2為RBM的結(jié)構(gòu)圖，涵蓋權(quán)重w、隱層h、可見(jiàn)層v以及對(duì)應(yīng)的偏置向量a、b。偏置單元用來(lái)反應(yīng)固有的受歡迎程度，它的值總為1。很明顯，同層節(jié)點(diǎn)間互不相連，不同層節(jié)點(diǎn)全部相連。

本文對(duì)基于項(xiàng)目的RBM推薦模型進(jìn)行了一定的闡述（見(jiàn)圖3）。假設(shè)我們有m個(gè)電影，n個(gè)用戶和從1到K的整數(shù)評(píng)分值。本文將每個(gè)電影作為一個(gè)RBM訓(xùn)練模型，用戶評(píng)分?jǐn)?shù)據(jù)作為可視層輸入。從圖中可以看出：通過(guò)K長(zhǎng)度的softmax單元來(lái)代表各個(gè)可見(jiàn)層神經(jīng)單元，其表示某用戶對(duì)某電影的評(píng)分，借助missing單元來(lái)代表未評(píng)分記錄，此類missing單元不連接任一隱藏層神經(jīng)單元。那么，各個(gè)RBM模型可見(jiàn)層神經(jīng)單元總數(shù)由missing單元以及可見(jiàn)層softmax單元所構(gòu)成。所以，針對(duì)每個(gè)電影的評(píng)分集合，如果被r（r<=n）個(gè)用戶評(píng)分，便能夠通過(guò)K×r的二值矩陣v來(lái)代表，vki=1則表示用戶為此電影評(píng)分為k，而該項(xiàng)目i對(duì)應(yīng)的softmax單元的其他部分則為0，即vk'i=0， k'≠k。所有的電影通過(guò)不一樣的RBM模型來(lái)表達(dá)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用通用電影評(píng)分?jǐn)?shù)據(jù)集MovieLens 1M和MovieLens 20M來(lái)開(kāi)展實(shí)驗(yàn)。這兩個(gè)數(shù)據(jù)集的基本信息如表1所示。大體上涵蓋的數(shù)據(jù)信息為3類：電影信息、用戶信息、以及評(píng)分信息。1～5間的整數(shù)為評(píng)分值。在實(shí)驗(yàn)時(shí)運(yùn)用將75%的數(shù)據(jù)集視作訓(xùn)練樣本，其他的則為測(cè)試樣本。樣本用隨機(jī)方法進(jìn)行選擇。

4.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

將RMSE視為預(yù)測(cè)評(píng)分指標(biāo)中最為關(guān)鍵的一項(xiàng)。如果差值越低，則表明預(yù)測(cè)質(zhì)量更優(yōu)。假定Rij 代表的是使用者所評(píng)分的項(xiàng)目，R^ij代表的是所預(yù)估的評(píng)分，T集合了數(shù)據(jù)測(cè)試的評(píng)分，數(shù)據(jù)測(cè)試的總數(shù)由|T|代表。則均方根誤差RMSE為：

4.3 實(shí)驗(yàn)結(jié)果分析

為更好地對(duì)此算法的有效性進(jìn)行檢驗(yàn)，把此文所應(yīng)用的算法和基于項(xiàng)目（Item-based）的協(xié)同過(guò)濾、基于用戶User-based）的協(xié)同過(guò)濾算法、基于內(nèi)容的推薦算法（Content-based）以及奇異值矩陣分解（SDV）在共同數(shù)據(jù)集MovieLens 1M和MovieLens 20M下進(jìn)行對(duì)比驗(yàn)證。本次實(shí)驗(yàn)的訓(xùn)練測(cè)試集為MovieLense中的評(píng)分集合，實(shí)驗(yàn)過(guò)程中，會(huì)對(duì)樣本進(jìn)行多次微調(diào)，對(duì)參數(shù)進(jìn)行反復(fù)更新，將重構(gòu)誤差縮小到一定范圍內(nèi)，迭代次數(shù)最少10次，最多70次，根據(jù)圖4則能夠發(fā)現(xiàn)：如果所設(shè)置的參數(shù)相同，本文算法是推薦效果最為優(yōu)異的算法。

當(dāng)推薦列表個(gè)數(shù)K值為50、100、150、200、250、300、350時(shí)，各個(gè)算法的召回率情況如圖5所示，通過(guò)實(shí)驗(yàn)結(jié)果則可以看出：如果具有相同的推薦長(zhǎng)度，本文具有最為優(yōu)異的算法。

5 結(jié) 論

本文給出了混合使用隱因子模型、RBM的混合模型，所得結(jié)果證明，與推薦實(shí)現(xiàn)的傳統(tǒng)方法對(duì)比，本研究提出的算法所得結(jié)果更加準(zhǔn)確。假使數(shù)據(jù)量過(guò)多，傳統(tǒng)協(xié)同過(guò)濾算法便無(wú)法更好地進(jìn)行計(jì)算，借助于RBM模型所輸出的推薦結(jié)果相對(duì)廣泛。本文將兩者結(jié)合，針對(duì)RBM得出的大量結(jié)果集進(jìn)行填充，并且使用LFM模型對(duì)候選集再一次進(jìn)行排序，將最優(yōu)的top-N結(jié)果選出，并予以推薦。通過(guò)實(shí)驗(yàn)結(jié)果便能夠發(fā)現(xiàn)：將深度模型導(dǎo)入用于推薦系統(tǒng)是一個(gè)較有發(fā)展?jié)摿Φ难芯糠较颉１敬窝芯窟^(guò)程中耗費(fèi)了大量時(shí)間對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和對(duì)模型進(jìn)行訓(xùn)練，效果仍有改進(jìn)空間，后期可用其他深度學(xué)習(xí)模型繼續(xù)研究。

參 考 文 獻(xiàn)：

[1] WANG Hao， LI Wujun. Relational Collaborative Topic Regression for Recommender Systems [J]. IEEE Transactions on Knowledge and Data Engineering， 2015，275）：1343.

[2] ZHENG Xiaolin， DING Weifeng， LIN Zhen， et al. Topic Tensor Factorization for Recommender System[J]. Information Sciences， 2016，372：276.

[3] WANG Hao，SHI Xingjian，YEUNG D Y.Relational Stacked Denoising Auto-encoder for Tag Recommendation[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence， 2015：3052.

[4] MA Huifang， JIA Meihuizi， ZHANG Di， et al. Combining Tag Correlation and User Social Relation for Mic; Roblog Recommendation [J] . Information Sciences， 2017，385：325.

[5] PARK C， KIM D， OH J， et al.Improving Top-K Recommendation with Truster and Trustee Relationship in User Trust Network [J]. Information Sciences， 2016，374：100.

[6] PAN Weike， XIA Shanchuan， LIU Zhuode， et al. Mixed Factorization for Collaborative Recommendation with Heterogeneous Explicit Feedbacks[J] .Information Sciences，2016，332： 84.

[7] ZHANG Wancai， SUN Hailong， LIU Xudong， et al. Temporal Qos-aware Web Service Recommendation Via Non-negative Tensor Factorization[C]// Proceedings of the 23rd International Conference on World Wide Web， 2014：585.

[8] BOBADILLA J，ORTEGA F，HERNANDO A，et al.Recommender Systerms Survey[J].Knowledge Based Systems， 2013，46：109.

[9] 黃震華，張佳雯，田春岐，等.基于排序?qū)W習(xí)的推薦算法研究綜述[J]. 軟件學(xué)報(bào)，2016，273）：691.

HUANG Zhenhua， ZHANG Jiawen， TIAN Chunqi， et al. Survey on Learning-to-Rank Based Recommendation Algorithms[J]. Journal of Software， 2016，27（3）：691.

[10]冷亞軍，陸青，梁昌勇.協(xié)同過(guò)濾推薦技術(shù)綜述[J]. 模式識(shí)別與人工智能，2014，278）：720.

LENG Yajun， LU Qing， LIANG Changyong. Survey of Recommendation Based on Collaborative Filtering[J]. Pattern Recognition and Artificial Intelligence， 2014，27（8）：720.

[11]丁少衡，姬東鴻，王路路.基于用戶屬性和評(píng)分的協(xié)同過(guò)濾推薦算法[J]. 計(jì)算機(jī)與工程設(shè)計(jì)，20152）：487.

DING Shaoheng， JI Donghong， WANG Lulu. Collaborative Filtering Recommendation Algorithm Based on User Attributes and Scores[J]. ?? Computer Engineering and Design， 2015（2）：487.

[12]ZHANG Shuai， YAO Ling， et al. Deep Learning Based Recommender System： A Survey and New Perspectives[J] ACM Computing Surveys，2018，1（1）：1267.

[13]黃立威，劉艷博..李德毅.基于深度學(xué)習(xí)的推薦系統(tǒng)[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（7）：1619.

HUANG Liwei， LIU Yanbo， LI Deyi. Surery on Deep Learning Based Recommender Systems[J]. Chinese Journal of Computers， 2018，41（7）：1619.

[14]張敏，丁弼原，馬為之，等. 基于深度學(xué)習(xí)加強(qiáng)的混合推薦方法[J]. 清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2017（57）：1014.

ZHANG Min， DING Biyuan， MA Weizhi， et al. Hybrid Recommendation Approach Enhanced by Deep Learning[J]. Journal of Tsinghua UniversityScience and Technology）， 2017（57）：1014.

[15]WU Yao， DU BOIS C， ZHENG A X， et al. Collaborative Denoising Auto-encoders for Top-N Recommender Systems[C]//Proceedings of the 9th ACM International Conference on Web Search and Data Mining， 2016：153.

[16]彭宏偉，靳遠(yuǎn)遠(yuǎn)，呂曉強(qiáng)，等.一種基于矩陣分解的上下文感知POI推薦算法[J]. 計(jì)算機(jī)學(xué)報(bào)，2018，41（34）：1324.

PENG Hongwei， JIN Yuanyuan， L Xiaoqiang， et al. Context-Aware POI Recommendation Based on Matrix Factorization[J]. Chinese Journal of Computers， 2018，41（34）：1324.

[17]HE Ruining， MCAULEY J. VBPR：Visual Bayesian Personalized Ranking from Implicit Feedback[C]//Proceedings of the 30th AAAI Conference on Artificial Intelligence，2016：144.

[18]LEI Chenyi， LIU Dong， LI Weiping， et al. Comparative Deep Learning of Hybrid Representations for Image Recommendations[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：2545.

[19]SALAKHUTDINOV R， MNIH A， HINTON G. Restricted Boltzmann Machines for Collaborative Filtering[C]// Proceedings of the 24th International Conference on Machine Learning，2007：791.

[20]TRUYEN T T， PHUNG D Q， VENKATESH S. Ordinal Boltzmann Machines for Collaborative Filtering[C]// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence， 2009： 548.

[21]HE Jieyue， MA Be.Based-on Real-valued Conditional Restricted Boltzmann Machine and Social Network for Collaborative Filtering. Chinese Journal of Computers， 2016， 39（1）： 183.

[22]WANG Xinxi， WANG Ye. Improving C; Ontent}ased and Hybrid Music Recommendation Using Deep Learning[C]// Proceedings of the 22nd ACM International Conference on Multimedia. 2014： 627.

[23]OORD A V D， DIELMAN S， SCHRAUWEN B.Deep Content-based Music Recommendation[C]// Proceedings of the 26th International Conference on Neural Information Processing Systems， 2013：2643.

（編輯：王 萍）