推薦系統(tǒng)研究綜述

周萬(wàn)珍 曹迪 許云峰 劉濱

摘 要：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，如何對(duì)海量網(wǎng)絡(luò)信息進(jìn)行挖掘分析，已成為熱點(diǎn)和難點(diǎn)問(wèn)題。推薦系統(tǒng)能夠幫助用戶在沒(méi)有明確需求或者信息量巨大時(shí)解決信息過(guò)載的問(wèn)題，為用戶提供精準(zhǔn)、快速的業(yè)務(wù)（如商品、項(xiàng)目、服務(wù)等）信息，成為近年來(lái)產(chǎn)業(yè)界和學(xué)術(shù)界共同的興趣點(diǎn)和研究熱點(diǎn)，但是，目前數(shù)據(jù)的種類(lèi)多種多樣并且應(yīng)用場(chǎng)景廣泛，在面對(duì)這種情況時(shí)，推薦系統(tǒng)也會(huì)遇到冷啟動(dòng)、稀疏矩陣等挑戰(zhàn)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要研究領(lǐng)域和分支，近年來(lái)發(fā)展迅猛。研究人員使用深度學(xué)習(xí)方法，在語(yǔ)音識(shí)別、圖像處理、自然語(yǔ)言處理等領(lǐng)域都取得了很大的突破與成就。目前，深度學(xué)習(xí)在推薦領(lǐng)域也得到了許多研究人員的青睞，成為推薦領(lǐng)域的一個(gè)新方向。推薦方法中融合深度學(xué)習(xí)技術(shù)，可以有效解決傳統(tǒng)推薦系統(tǒng)中冷啟動(dòng)、稀疏矩陣等問(wèn)題，提高推薦系統(tǒng)的性能和推薦精度。

文中主要對(duì)傳統(tǒng)的推薦方法和當(dāng)前深度學(xué)習(xí)技術(shù)中神經(jīng)網(wǎng)絡(luò)在推薦方法上的應(yīng)用進(jìn)行了歸納，其中傳統(tǒng)推薦方法主要分為以下3類(lèi)：1）基于內(nèi)容推薦方法主要依據(jù)用戶與項(xiàng)目之間的特征信息，用戶之間的聯(lián)系不會(huì)影響推薦結(jié)果，所以不存在冷啟動(dòng)和稀疏矩陣的問(wèn)題，但是基于內(nèi)容推薦的結(jié)果新穎程度低并且面臨特征提取的問(wèn)題。2）協(xié)同過(guò)濾推薦方法是目前應(yīng)用最為廣泛的一種方法，不需要有關(guān)用戶或項(xiàng)目的信息，只基于用戶和諸如點(diǎn)擊、瀏覽和評(píng)級(jí)等項(xiàng)目的交互信息做出準(zhǔn)確的推薦。雖然該方法簡(jiǎn)單有效但是會(huì)出現(xiàn)稀疏矩陣和冷啟動(dòng)的問(wèn)題。3）混合推薦方法融合了前2種傳統(tǒng)推薦方法的特點(diǎn)，能取得很好的推薦效果，但在處理文本、圖像等多源異構(gòu)輔助信息時(shí)仍面臨一些挑戰(zhàn)與困難。

依據(jù)神經(jīng)網(wǎng)絡(luò)基于深度學(xué)習(xí)的推薦方法主要分為4類(lèi)：基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的推薦方法、基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的推薦方法、基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的推薦方法、基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的推薦方法、將深度學(xué)習(xí)技術(shù)融入到推薦領(lǐng)域，構(gòu)造的模型具有以下優(yōu)勢(shì)：具有較強(qiáng)的表征能力，可以直接從內(nèi)容中提取用戶和項(xiàng)目特征;具有較強(qiáng)的抗噪能力，可以輕易地處理含有噪聲的數(shù)據(jù);可以對(duì)動(dòng)態(tài)或者序列數(shù)據(jù)進(jìn)行建模;可以更加精準(zhǔn)地學(xué)習(xí)用戶或項(xiàng)目特征;便于對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一處理，并且可以處理大規(guī)模數(shù)據(jù)。將深度學(xué)習(xí)技術(shù)應(yīng)用到推薦領(lǐng)域，可以積極有效地應(yīng)對(duì)傳統(tǒng)推薦方法面臨的挑戰(zhàn)，提高推薦效果。

關(guān)鍵詞：計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò);推薦系統(tǒng);數(shù)據(jù)挖掘;深度學(xué)習(xí);信息過(guò)載

中圖分類(lèi)號(hào)：TP311.13 ? 文獻(xiàn)標(biāo)識(shí)碼：A ? doi：10.7535/hbkd.2020yx01009

Abstract： With the rapid development of the internet， how to mine and analyze massive network information has become a recognized hot and difficult problem. Among them， the recommendation system can provide users with accurate and fast business （commodities， projects， services， etc.） information， which is the common interest and research hotspot of industry and academia in recent years. A recommendation system can help users to solve the problem of information overload when there is no clear demand or a large amount of information. However， at present， the types of data are diverse and the application scenarios are extensive. When faced with this situation， the recommendation system also encounters challenges such as cold start and sparse matrix. Deep learning is an important research field and the most important branch of machine learning. In recent years， deep learning has developed rapidly. Researchers have made great breakthroughs and achievements in speech recognition， image processing， natural language processing and other fields by using deep learning. At present， deep learning has also been favored by a large number of researchers in the field of recommendation and has become a new direction. Incorporating deep learning technology into the recommendation method can effectively solve the problems of cold start and sparse matrix in traditional recommendation systems， and improve the performance and recommendation accuracy of the recommendation system.

This paper mainly summarizes the application of traditional recommendation methods and the application of neural network in current deep learning technology in recommendation methods， among which the traditional recommendation methods can be divided into the following three categories： 1） Content-based recommendation methods is mainly based on the feature information between the user and the project. The connection between users will not affect the recommendation result， so there is no problem of cold start and sparse matrix， but the content-based recommendation results are low in novelty and face the problem of feature extraction. 2） The collaborative filtering recommendation method is the most widely used method that does not require information about users or items， but only makes accurate recommendations based on the user's interactions with items such as clicks， views， and ratings. Although this method is simple and effective， sparse matrix and cold start problems will occur. 3） The hybrid recommendation method combines the characteristics of the first two traditional recommendation methods and can achieve good recommendation effect. However， this method still faces some challenges and difficulties in processing multi-source heterogeneous auxiliary information such as text and images.

Recommendation methods based on deep learning are mainly classified according to neural network categories， which are divided into the following four categories： Recommendation methods based on deep neural network （DNN）; recommendation methods based on convolutional neural network （CNN）; recommended methods based on cyclic neural network （RNN） and long and short term memory neural network （LSTM）; and recommended methods based on graph neural network （GNN）. Incorporating deep learning technology into the recommendation field， the constructed model has the following five advantages： it has strong representation ability， and can directly extract the characteristics of users and items from the content; with strong anti-noise ability， it can easily process data with noise; in deep learning， cyclic neural network can model dynamic or sequential data; it can learn user or project characteristics more accurately; and deep learning facilitates the unified processing of data and can process large-scale data. Applying deep learning technology to the recommendation field can effectively overcome the challenges faced by traditional recommendation methods and improve the recommendation effect.

Keywords：computer neural network; recommendation system; data mining; deep learning; information overload

當(dāng)前，互聯(lián)網(wǎng)中的數(shù)據(jù)規(guī)模增速日趨加快，每天新增的數(shù)據(jù)量高達(dá)2.5×1018字節(jié)，人類(lèi)已經(jīng)步入內(nèi)容過(guò)載、數(shù)據(jù)噪聲泛濫的時(shí)代，可以通過(guò)各種途徑獲得更加豐富的信息，微博、微信等各種社交工具和自媒體給用戶帶來(lái)了更加便捷的信息獲取渠道，與此同時(shí)，信息超負(fù)荷也成為了人們遇到的困難。

推薦系統(tǒng)作為一種篩選信息的工具，存在于海量數(shù)據(jù)挖掘基礎(chǔ)之上，可以有效解決信息過(guò)載問(wèn)題，通過(guò)以個(gè)性化的方式提供滿足用戶需求的內(nèi)容。此外，推薦系統(tǒng)作為用戶和信息之間的聯(lián)系，不僅可以幫助用戶發(fā)現(xiàn)自己需要的信息，還可以讓信息展現(xiàn)在對(duì)其感興趣的用戶面前，從而實(shí)現(xiàn)信息生產(chǎn)者和信息消費(fèi)者的互利雙贏。目前，推薦系統(tǒng)已經(jīng)成為產(chǎn)業(yè)界和學(xué)術(shù)界關(guān)注、研究的熱點(diǎn)問(wèn)題，應(yīng)用領(lǐng)域十分廣泛，在電子商務(wù)、社交網(wǎng)絡(luò)、視頻音樂(lè)推薦[1-2]等領(lǐng)域都有所應(yīng)用[3]。例如亞馬遜網(wǎng)站、京東、淘寶網(wǎng)站為用戶推薦商品[4-5]，MovieLens推薦電影的功能[6-7]等。

傳統(tǒng)的推薦方法主要分為基于內(nèi)容的推薦方法、協(xié)同過(guò)濾的推薦方法以及混合推薦方法，雖然傳統(tǒng)的推薦方法可以實(shí)現(xiàn)推薦任務(wù)，并且融合多源異構(gòu)輔助信息（多源異構(gòu)信息：包含用戶行為信息和個(gè)性化需求信息的圖像、文本等）的混合推薦方法在一定程度上可以緩解冷啟動(dòng)、稀疏矩陣的問(wèn)題，但是輔助信息往往具有多模態(tài)、數(shù)據(jù)異構(gòu)、大規(guī)模、數(shù)據(jù)稀疏和分布不均勻等復(fù)雜特征，在處理存在融合多源異構(gòu)信息的數(shù)據(jù)時(shí)混合推薦方法仍然面臨著嚴(yán)峻挑戰(zhàn)[8-9]。

目前，深度學(xué)習(xí)在數(shù)據(jù)挖掘[10]、自然語(yǔ)言處理[11]、圖像識(shí)別[12]、推薦以及其他相關(guān)領(lǐng)域都得到了應(yīng)用。其中，基于深度學(xué)習(xí)的推薦系統(tǒng)克服了傳統(tǒng)模型的障礙，實(shí)現(xiàn)了高質(zhì)量推薦。深度學(xué)習(xí)能夠有效挖掘用戶和項(xiàng)目間的非線性關(guān)系，并能夠?qū)⒏鼜?fù)雜的抽象編碼為更高層次的數(shù)據(jù)表示;此外，它從大量可訪問(wèn)的數(shù)據(jù)源（如上下文、文本和可視信息[13]）捕獲數(shù)據(jù)本身內(nèi)部的復(fù)雜關(guān)系[14]。本文對(duì)深度神經(jīng)網(wǎng)絡(luò)（DNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）以及圖神經(jīng)網(wǎng)絡(luò)（GNN）在推薦系統(tǒng)領(lǐng)域的應(yīng)用進(jìn)行分析和歸納。

1 傳統(tǒng)的推薦系統(tǒng)

在20世紀(jì)90年代，推薦系統(tǒng)發(fā)展成為一門(mén)獨(dú)立的學(xué)科，推薦系統(tǒng)的核心部分是推薦算法，推薦算法根據(jù)用戶與項(xiàng)目之間的關(guān)系幫助用戶發(fā)現(xiàn)其感興趣的項(xiàng)目。文獻(xiàn)[15]給出了推薦算法的定義：定義函數(shù)s來(lái)計(jì)算一個(gè)項(xiàng)目i∈I（I代表所有項(xiàng)目的集合），推薦給某一位用戶u∈U（U代表所有用戶的集合）的可能性P，推薦算法就是通過(guò)計(jì)算P來(lái)為用戶找到其最感興趣的項(xiàng)目i′∈I，即u∈U，i′u=argmaxs（u，i），i∈I 。 （1） ?傳統(tǒng)的推薦方法主要分為3類(lèi)[16]：基于內(nèi)容的推薦（content-based recommendation）方法[17]、基于協(xié)同過(guò)濾的推薦方法（collaborative filtering recommendation）[18-19]和混合推薦方法（hybrid recommendation）[20]，如圖1所示。

1.1 基于內(nèi)容的推薦

基于內(nèi)容的推薦方法是最早被使用的推薦算法，來(lái)自于信息獲取領(lǐng)域[21]。基于內(nèi)容的推薦方法的思想非常簡(jiǎn)單，就是向用戶推薦與他們過(guò)去興趣相似的項(xiàng)目。首先分析用戶感興趣的項(xiàng)目信息，推薦流程如圖2所示。

基于內(nèi)容的推薦建立在項(xiàng)目信息基礎(chǔ)上做出推薦，需要從關(guān)于內(nèi)容特征描述的事例中得到用戶的興趣資料，然后根據(jù)用戶偏好和項(xiàng)目特征信息產(chǎn)生推薦結(jié)果。這種方法的優(yōu)點(diǎn)是能對(duì)具有小眾口味的用戶產(chǎn)生有效推薦，在一些特定的場(chǎng)景下表現(xiàn)良好;對(duì)于新添加的項(xiàng)目，系統(tǒng)只需要提取新項(xiàng)目的特征即可產(chǎn)生推薦結(jié)果，不存在項(xiàng)目冷啟動(dòng)的問(wèn)題，其缺點(diǎn)在于十分依賴于項(xiàng)目所標(biāo)記的屬性特征，對(duì)標(biāo)記特征要求較高。此外，該方法無(wú)法衡量待推薦項(xiàng)目品質(zhì)的優(yōu)劣，推薦失敗的概率也很高。

1.2 基于協(xié)同過(guò)濾的推薦

GOLDBERG等[22]在1992年提出協(xié)同過(guò)濾推薦方法，又稱(chēng)為社會(huì)過(guò)濾，是指篩選出特定用戶感興趣的項(xiàng)目集合，根據(jù)這些項(xiàng)目集合挖掘用戶的潛在需求，輔助用戶做決定[23]。在推薦領(lǐng)域，協(xié)同過(guò)濾推薦算法是研究的主流方向，也是目前使用最廣泛的推薦方法。

用戶的歷史行為數(shù)據(jù)是基于協(xié)同過(guò)濾推薦算法生成推薦項(xiàng)的來(lái)源，協(xié)同過(guò)濾是建立在這樣的假設(shè)基礎(chǔ)上的，如果用戶X和Y對(duì)t個(gè)項(xiàng)目進(jìn)行相似的評(píng)分，或者有相似的行為，那么用戶就會(huì)對(duì)其他項(xiàng)目進(jìn)行類(lèi)似的評(píng)分或行為[24]?；趨f(xié)同過(guò)濾的推薦方法主要分為基于用戶（user-based）的協(xié)同過(guò)濾和基于項(xiàng)目（item-based）的協(xié)同過(guò)濾[25-27]?；谟脩舻膮f(xié)同過(guò)濾，首先根據(jù)用戶偏好計(jì)算用戶之間的相似度，找出與目標(biāo)用戶相似度高的用戶，然后預(yù)測(cè)出目標(biāo)用戶對(duì)相似用戶感興趣物品的評(píng)分，最后將評(píng)分最高的若干個(gè)物品推薦給用戶?；陧?xiàng)目的協(xié)同過(guò)濾與基于用戶的協(xié)同過(guò)濾類(lèi)似，通過(guò)計(jì)算物品之間的相似度來(lái)進(jìn)行推薦。計(jì)算已購(gòu)買(mǎi)物品i和待推薦物品j之間相似度的基本思想是：首先提取出對(duì)2個(gè)物品共同做出評(píng)分的用戶，如果這些用戶對(duì)2個(gè)物品i和j的評(píng)分相近，那么2個(gè)物品相似度就高，反之則相似度就低，之后將相似度高的待推薦物品放入推薦列表。協(xié)同過(guò)濾算法的基礎(chǔ)思想如圖3所示。由于在淘寶等電商網(wǎng)站中用戶數(shù)量總是遠(yuǎn)多于商品的數(shù)量，因此在實(shí)際應(yīng)用中基于物品的協(xié)同過(guò)濾比基于用戶的協(xié)同過(guò)濾更受歡迎。協(xié)同過(guò)濾推薦方法使用方便、簡(jiǎn)單，只依據(jù)用戶的歷史評(píng)分?jǐn)?shù)據(jù)計(jì)算用戶之間的相似度即可，但是在很多情況下常常遇到評(píng)分?jǐn)?shù)據(jù)不足造成稀疏矩陣的問(wèn)題和新用戶沒(méi)有項(xiàng)目評(píng)分?jǐn)?shù)據(jù)的冷啟動(dòng)問(wèn)題。

1.3 混合推薦

任何推薦方法都有著自身獨(dú)特的優(yōu)點(diǎn)，但是在一些場(chǎng)景中單獨(dú)使用一種方法時(shí)，推薦結(jié)果并不理想，通過(guò)將多種推薦方法相結(jié)合進(jìn)行混合推薦能夠?qū)崿F(xiàn)取長(zhǎng)補(bǔ)短，提高推薦系統(tǒng)的性能。在實(shí)際場(chǎng)景中使用的推薦方法大部分都是將2種或2種以上的推薦方法混合而得到的，盡管從理論上有很多種混合推薦方法，但在某一具體問(wèn)題中并不是每種方法的混合都有效，因此如何將2種或2種以上的方法進(jìn)行混合，產(chǎn)生更為有效的推薦也是推薦系統(tǒng)中一個(gè)重要的研究方向。混合推薦技術(shù)可以克服傳統(tǒng)推薦方法的大多數(shù)限制，將它們組合起來(lái)以獲得更好的推薦結(jié)果?；旌贤扑]方法有很多，如加權(quán)型、切換型、交叉型、特征組合型、瀑布型、特征遞增型、元層次型[24]等。

推薦系統(tǒng)以用戶與項(xiàng)目的交互關(guān)系作為依據(jù)來(lái)發(fā)掘用戶的偏好來(lái)實(shí)現(xiàn)推薦功能。但是當(dāng)用戶和項(xiàng)目的數(shù)據(jù)量增大時(shí)，用戶與項(xiàng)目之間的評(píng)分矩陣會(huì)出現(xiàn)越來(lái)越稀疏的現(xiàn)象，協(xié)同過(guò)濾的方法面臨數(shù)據(jù)稀疏的問(wèn)題，而基于內(nèi)容的推薦方法只能實(shí)現(xiàn)淺層模型捕捉特征，而且人工設(shè)計(jì)特征對(duì)淺層模型的影響巨大，會(huì)極大限制方法的可擴(kuò)展性和推薦效果。雖然混合推薦方法可以有效解決以上問(wèn)題，但是在面對(duì)多模態(tài)輔助信息時(shí)，混合推薦方法依然面臨著嚴(yán)峻挑戰(zhàn)。

2 深度學(xué)習(xí)在推薦系統(tǒng)上的應(yīng)用

近年來(lái)，深度學(xué)習(xí)在推薦系統(tǒng)領(lǐng)域上發(fā)展迅速，在推薦系統(tǒng)中深度學(xué)習(xí)技術(shù)將用戶的潛在特征和項(xiàng)目的潛在特征提取出來(lái)，基于這些潛在特征表示為用戶產(chǎn)生推薦項(xiàng)目，完成推薦任務(wù)。深度學(xué)習(xí)技術(shù)中的神經(jīng)網(wǎng)絡(luò)不僅能學(xué)習(xí)用戶或項(xiàng)目的潛在特征表示，而且可以學(xué)習(xí)用戶與項(xiàng)目之間復(fù)雜的非線性交互特征，深入地分析用戶偏好，解決傳統(tǒng)推薦方法中的一些問(wèn)題，更好地實(shí)現(xiàn)推薦[25]。

2.1 基于DNN的推薦

深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)，又被稱(chēng)為深度前饋網(wǎng)絡(luò)（DFN），多層感知機(jī)（multi-layer perceptron，MLP）。DNN被提出來(lái)之后在計(jì)算機(jī)視覺(jué)[28-29]、圖像分類(lèi)[30-31]、自然語(yǔ)言處理[32]等領(lǐng)域都得到了廣泛的應(yīng)用，同樣在推動(dòng)推薦系統(tǒng)領(lǐng)域的發(fā)展上DNN也發(fā)揮了很大的作用[33]。

考慮到Y(jié)outobe網(wǎng)站視頻的數(shù)據(jù)規(guī)模大、數(shù)據(jù)新鮮度高、視頻數(shù)據(jù)噪音較大的特點(diǎn)，提出使用DNN實(shí)現(xiàn)高效的推薦，系統(tǒng)架構(gòu)如圖4所示。系統(tǒng)分為候選集生成和排序2個(gè)階段，這2個(gè)階段分別使用了1個(gè)DNN模型。候選集生成階段使用Candidate Generation Model負(fù)責(zé)基于用戶畫(huà)像及場(chǎng)景數(shù)據(jù)從海量的視頻庫(kù)（百萬(wàn)級(jí)別）中將相關(guān)度最高的資源檢索出來(lái)，作為候選集。在候選集生成階段作者將推薦任務(wù)轉(zhuǎn)化為1個(gè)超級(jí)多分類(lèi)問(wèn)題，即在t時(shí)刻用戶U在場(chǎng)景C下觀看的視頻ωt屬于視頻庫(kù)V中的i類(lèi)，其中每一個(gè)視頻i可以視作為1個(gè)類(lèi)別，其分類(lèi)模型公式如式（2）所示：P（ωt=i|U，C）=eviu∑j∈Vevju 。 （2） ?使用DNN的一個(gè)關(guān)鍵優(yōu)點(diǎn)是，DNN的輸入可以方便地處理離散和連續(xù)變量。筆者將用戶觀看歷史和搜索歷史通過(guò)嵌入的方式映射為1個(gè)稠密的向量，用戶場(chǎng)景信息以及用戶畫(huà)像信息，比如年齡、性別等離散特征也被歸一化到[0，1]作為DNN的輸入。排序階段Ranking Model負(fù)責(zé)基于更加精細(xì)的特征對(duì)候選集（百級(jí)別）進(jìn)行排序，最終呈現(xiàn)給用戶的只是很少的一部分?jǐn)?shù)據(jù)。對(duì)生成的候選集進(jìn)一步做細(xì)粒度的排序時(shí)，可以參考更多維度的特征，集成多個(gè)來(lái)自候選集的打分，將它們集合在一起綜合一個(gè)分?jǐn)?shù)排序，最終完成視頻推薦。此外，在排序階段的DNN結(jié)構(gòu)與候選集生成階段類(lèi)似，并基于邏輯回歸對(duì)每一個(gè)視頻進(jìn)行獨(dú)立打分。但是Candidate Generation Model網(wǎng)絡(luò)在分類(lèi)訓(xùn)練時(shí)是用戶向量和視頻向量的點(diǎn)乘計(jì)算，在查詢的時(shí)候是用戶向量和視頻向量的距離運(yùn)算，那么相關(guān)運(yùn)算不能確定是否能完全反映相似性，學(xué)習(xí)出來(lái)的用戶向量和視頻向量可能會(huì)有一定的分布偏差。

ZHANG等[35]提出一種協(xié)同過(guò)濾推薦算法與DNN相結(jié)合的模型，該模型由特征表示模塊和評(píng)分預(yù)測(cè)模塊組成，如圖5所示。首先，該模型改進(jìn)傳統(tǒng)的矩陣分解算法，使用二次多項(xiàng)式回歸模型捕捉潛在特征表示，使模型得到的潛在特征表示更加精準(zhǔn)，然后將這些潛在特征輸入到DNN中，預(yù)測(cè)評(píng)分。該模型能有效提高推薦的性能。

2.2 基于CNN的推薦

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）是深度學(xué)習(xí)中經(jīng)典并且廣泛得到應(yīng)用的神經(jīng)網(wǎng)絡(luò)。使用CNN構(gòu)建的模型訓(xùn)練復(fù)雜度較低，而且訓(xùn)練參數(shù)的數(shù)目相較于其他網(wǎng)絡(luò)來(lái)說(shuō)也較少，主要是由于CNN可以實(shí)現(xiàn)共享權(quán)值、局部連接等操作，除此之外CNN的容錯(cuò)能力和魯棒性也比較強(qiáng)[36]，是一種易于訓(xùn)練和優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)。將CNN應(yīng)用到推薦系統(tǒng)中，可以明顯提高推薦的精準(zhǔn)度。

TANG等[37]提出一種基于卷積的序列嵌入模型——Caser模型，模型結(jié)構(gòu)如圖6所示。Caser模型解決了Top-N順序推薦中在一個(gè)序列里最近的項(xiàng)對(duì)其下一個(gè)項(xiàng)有較大影響的這一問(wèn)題，是在時(shí)間和潛在空間中將一組最近的物品序列嵌入到一張“圖像”中，并利用卷積濾波器來(lái)學(xué)習(xí)作為圖像的局部特征的序列模式[38-39]，這種方法為提取長(zhǎng)期興趣和序列模式提供了一種統(tǒng)一而又簡(jiǎn)潔的網(wǎng)絡(luò)結(jié)構(gòu)。該模型主要分為嵌入查找層（embedding look-up）、卷積層（convolutional layers）、全連接層（fully-connected layers）。嵌入查找層將前L項(xiàng)物品在潛在空間的表示連接起來(lái)，作為用戶u在當(dāng)前時(shí)刻t的序列矩陣表示E（u，t）∈RL×d。

除了物品的表示之外，本文還為用戶u提供了一個(gè)用戶的潛在表示Pu∈Rd，它表示潛在空間中的用戶特性。卷積層包括水平卷積和垂直卷積兩部分，Caser模型將前L項(xiàng)物品在潛在空間的表示看作一張“圖像”，利用卷積濾波器對(duì)其進(jìn)行序列模式的搜索和學(xué)習(xí)。水平濾波器可以被訓(xùn)練來(lái)提取具有多個(gè)聯(lián)合大小的聯(lián)合級(jí)模式，濾波器由上到下滑動(dòng);垂直濾波器通過(guò)對(duì)前幾項(xiàng)物品的潛在表示的加權(quán)和來(lái)捕獲點(diǎn)級(jí)序列模式，濾波器從左到右滑動(dòng)。在全連接層中，將這2個(gè)卷積層的輸出串聯(lián)起來(lái)，并將它們和Pu輸入到1個(gè)全連接的神經(jīng)網(wǎng)絡(luò)中，以獲得更高層次和更抽象的特征。該模型通過(guò)將最近的行為建模為時(shí)間和潛在維度之間的“圖像”，并使用卷積濾波器來(lái)學(xué)習(xí)序列模式，從而解決了Top-N序列推薦的問(wèn)題。但是由于userembedding和itemembedding在Caser模型中是分開(kāi)訓(xùn)練的，在捕捉user與items的交互信息時(shí)有問(wèn)題，且與下文中的ConvMF模型相比沒(méi)有引入上下文的信息。

KIM等[40]提出了一種新穎的上下文感知推薦模型，將卷積神經(jīng)網(wǎng)絡(luò)（CNN）集成到概率矩陣分解（PMF）中的卷積矩陣分解（ConvMF）。ConvMF捕獲文檔的上下文信息，并進(jìn)一步提高評(píng)分預(yù)測(cè)精度。文中實(shí)驗(yàn)結(jié)果證明ConvMF模型可以很好地處理上下文信息的稀疏性問(wèn)題。TUAN等[41]提出一種三維卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同類(lèi)型和性質(zhì)的數(shù)據(jù)進(jìn)行建模，并對(duì)所有輸入數(shù)據(jù)進(jìn)行字符級(jí)編碼，利用會(huì)話點(diǎn)擊和內(nèi)容功能（例如項(xiàng)目描述和項(xiàng)目類(lèi)別）進(jìn)行預(yù)測(cè)推薦，模型如圖7所示。OORD等[42]提出利用潛在因素模型實(shí)現(xiàn)音樂(lè)自動(dòng)化推薦，該模型在無(wú)法從使用數(shù)據(jù)中獲得潛在因素時(shí)，從音樂(lè)音頻中預(yù)測(cè)這些潛在因素。使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)音頻信號(hào)的袋形表示進(jìn)行了傳統(tǒng)方法的比較，并對(duì)一百萬(wàn)首歌曲數(shù)據(jù)集的預(yù)測(cè)進(jìn)行了定量和定性評(píng)估。

2.3 基于RNN和LSTM的推薦

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）是一種可以處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。大多數(shù)RNN可以處理可變長(zhǎng)度的序列，RNN的誕生解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在處理序列信息方面的局限性。對(duì)于RNN輸入層中的每一個(gè)輸入數(shù)據(jù)，RNN內(nèi)部進(jìn)行相同的計(jì)算，同時(shí)每一步的計(jì)算都與前一步的計(jì)算相關(guān)。在推薦系統(tǒng)中，用戶的歷史交互記錄可以抽象為序列數(shù)據(jù)，利用RNN可以挖掘出用戶的興趣喜好等隨時(shí)間變換的變化趨勢(shì)[43]。

LIU等[44]在基于RNN的基礎(chǔ)上提出了一個(gè)新模型，稱(chēng)為上下文感知遞歸神經(jīng)網(wǎng)絡(luò)（CA-RNN），模型如圖8所示。CA-RNN代替在常規(guī)RNN模型中使用常量輸入矩陣和過(guò)渡矩陣，引入了上下文感知的輸入矩陣和上下文感知的轉(zhuǎn)移矩陣，使RNN每一層的矩陣參數(shù)隨著輸入上下文和轉(zhuǎn)移上下文的不同而變化。其中自適應(yīng)上下文特定的輸入矩陣捕獲用戶行為的外部情況（如時(shí)間、位置、天氣等）。自適應(yīng)上下文特定的轉(zhuǎn)換矩陣可以捕獲歷史序列中相鄰行為之間的時(shí)間間隔長(zhǎng)度而影響全局序列特征的轉(zhuǎn)換。CA-RNN模型可以建模豐富的上下文信息和序列信息，提高了推薦效果。

MANOTUMRUKSA等[45]提出了一種新穎的情境注意力循環(huán)架構(gòu)（CARA），用來(lái)解決不同類(lèi)型的上下文對(duì)用戶的偏好具有不同影響的問(wèn)題，模型架構(gòu)如圖9所示。該架構(gòu)利用反饋序列和與該序列相關(guān)聯(lián)的上下文信息來(lái)捕獲用戶的動(dòng)態(tài)偏好。該循環(huán)架構(gòu)包含2種類(lèi)型的門(mén)控機(jī)制，一種是上下文注意門(mén)，控制普通上下文對(duì)用戶的上下文偏好的影響;另一種基于時(shí)間和地理的門(mén)，根據(jù)轉(zhuǎn)換上下文控制來(lái)自前一次簽入的隱藏狀態(tài)的影響。

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（long short term memory，LSTM）屬于循環(huán)神經(jīng)網(wǎng)絡(luò)，是RNN的一種。LSTM和RNN一樣，通過(guò)重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)叫问絹?lái)對(duì)序列數(shù)據(jù)進(jìn)行學(xué)習(xí)，同時(shí)為了避免RNN的梯度爆炸和梯度彌散問(wèn)題，LSTM通過(guò)在RNN的重復(fù)模塊中添加遺忘門(mén)、輸入門(mén)和輸出門(mén)來(lái)增加長(zhǎng)序列的記憶問(wèn)題[46]。YANG等[47]提出了一種基于長(zhǎng)短期記憶（LSTM）的上下文感知引用推薦模型來(lái)為用戶推薦相關(guān)和適當(dāng)?shù)目茖W(xué)論文引文，該模型首先基于LSTM分別學(xué)習(xí)引文上下文和科學(xué)論文的分布式表示，然后基于引文上下文和科學(xué)論文的分布式表示來(lái)度量相關(guān)性，最后將具有較高相關(guān)性分?jǐn)?shù)的科學(xué)論文選為推薦列表。該模型使個(gè)性化的上下文感知引用推薦成為可能，提出了一種基于神經(jīng)記憶網(wǎng)絡(luò)和外部記憶的流媒體推薦模型，以統(tǒng)一的方式捕獲和存儲(chǔ)長(zhǎng)期穩(wěn)定興趣和短期動(dòng)態(tài)興趣。

2.4 基于GNN的推薦方法

圖神經(jīng)網(wǎng)絡(luò)（GNN）是一種連接模型，通過(guò)圖的節(jié)點(diǎn)之間的消息傳遞來(lái)捕捉圖的依賴關(guān)系，使用圖結(jié)構(gòu)表示輸入的神經(jīng)網(wǎng)絡(luò)，目標(biāo)是學(xué)習(xí)圖中各節(jié)點(diǎn)的狀態(tài)信息（包含鄰接信息）[48]?；贕NN的推薦系統(tǒng)將項(xiàng)目和用戶作為節(jié)點(diǎn)，項(xiàng)目與項(xiàng)目間、用戶與用戶間、用戶與項(xiàng)目間以及內(nèi)容信息間的關(guān)系作為節(jié)點(diǎn)的狀態(tài)信息，進(jìn)而實(shí)現(xiàn)推薦?；贕NN的推薦方法能夠提供高質(zhì)量的推薦結(jié)果[49]。

YING等[50]提出一種可伸縮的圖卷積網(wǎng)絡(luò)（GCN）算法——PinSage，PinSage模型采用局部卷積，降低了模型在訓(xùn)練計(jì)算時(shí)的復(fù)雜度。將GNN擴(kuò)展到具有數(shù)十億項(xiàng)和數(shù)億用戶的web級(jí)推薦任務(wù)，結(jié)合了高效的隨機(jī)游走和圖卷積來(lái)生成節(jié)點(diǎn)（即項(xiàng)）的嵌入，并且這些嵌入結(jié)合了圖結(jié)構(gòu)和節(jié)點(diǎn)特征信息。該模型證明了圖卷積方法對(duì)生產(chǎn)推薦系統(tǒng)的影響，提高了推薦性能。PinSage模型結(jié)構(gòu)如圖10所示。

WANG等[51]提出了KGNN-LS（nowledge graph convolutional networkswith label smoothness regularization），這是一個(gè)端到端框架，可以通過(guò)在Knowledge Graph（KG）上挖掘項(xiàng)目與項(xiàng)目之間的相關(guān)屬性來(lái)有效地捕獲項(xiàng)目之間的相關(guān)性。為了自動(dòng)發(fā)現(xiàn)KG的高階結(jié)構(gòu)信息和語(yǔ)義信息，從KG中每個(gè)實(shí)體的鄰居處抽樣作為它們的接收域，然后在計(jì)算給定實(shí)體的表示時(shí)將鄰域信息與偏差結(jié)合起來(lái)，可以將接收域擴(kuò)展到多個(gè)躍點(diǎn)，以對(duì)高階鄰近信息進(jìn)行建模并捕獲用戶的潛在長(zhǎng)期興趣。此外，作者以小批量方式實(shí)現(xiàn)了KGCN模型，這也使得KGCN模型可以在大型數(shù)據(jù)集和KG上運(yùn)行，KGNN-LS模型結(jié)構(gòu)如圖11所示。

ZHANG等[52]提出了一種新的層疊和重構(gòu)的圖卷積網(wǎng)絡(luò)（STAR-GCN）結(jié)構(gòu)來(lái)學(xué)習(xí)節(jié)點(diǎn)表示，提高推薦系統(tǒng)的性能，特別是提高了冷啟動(dòng)情況下的推薦效果。STAR-GCN采用一組GCN編碼器-解碼器，結(jié)合中間監(jiān)控來(lái)提高最終預(yù)測(cè)性能，將低維用戶和項(xiàng)目潛在因素作為輸入，以抑制模型空間復(fù)雜度。此外，STAR-GCN可以通過(guò)重構(gòu)掩碼輸入節(jié)點(diǎn)嵌入來(lái)生成新節(jié)點(diǎn)的節(jié)點(diǎn)嵌入，這基本上解決了冷啟動(dòng)問(wèn)題。STAR-GCN模型結(jié)構(gòu)如圖12所示。

圖卷積神經(jīng)網(wǎng)絡(luò)一般很難設(shè)置比較深的層數(shù)去更好地學(xué)習(xí)節(jié)點(diǎn)的表征形式，雖然STAR-GCN通過(guò)堆疊或重構(gòu)編碼解碼塊，但也并不能設(shè)置較深的GCN層數(shù)。使用GCN學(xué)習(xí)到更深層次的特征，仍然是需要考慮的問(wèn)題。

深度學(xué)習(xí)技術(shù)擁有強(qiáng)大的提取數(shù)據(jù)集本質(zhì)特征的功能，可以有效捕獲用戶、項(xiàng)目之間深層次特征和非線性關(guān)系，將復(fù)雜抽象的編碼用簡(jiǎn)單易懂的數(shù)據(jù)表示。此外，深度學(xué)習(xí)可以從大量可訪問(wèn)的數(shù)據(jù)源中（如上下文、文本和可視信息）捕捉到數(shù)據(jù)內(nèi)部之間的復(fù)雜關(guān)系。在推薦系統(tǒng)中加入深度學(xué)習(xí)技術(shù)，可解決傳統(tǒng)推薦方法存在的冷啟動(dòng)、稀疏矩陣和多模態(tài)輔助信息問(wèn)題，提高推薦系統(tǒng)的性能，快速實(shí)現(xiàn)更高質(zhì)量的推薦。

3 結(jié) 語(yǔ)

隨著深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用，當(dāng)前工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)之一就是研究基于深度學(xué)習(xí)的推薦方法。將深度學(xué)習(xí)應(yīng)用到推薦系統(tǒng)上，可使推薦系統(tǒng)的性能得到提升。但是深度學(xué)習(xí)在推薦系統(tǒng)上的應(yīng)用還處于初期階段，仍然面臨一些挑戰(zhàn)。例如：使用深度學(xué)習(xí)模型實(shí)現(xiàn)高質(zhì)量推薦時(shí)，往往因網(wǎng)絡(luò)模型復(fù)雜，使得訓(xùn)練所需要的時(shí)間和空間成本較高;訓(xùn)練效果好的模型需要大量的樣本數(shù)據(jù);深度學(xué)習(xí)模型大部分被封裝起來(lái)，可解釋性較弱。本文主要對(duì)傳統(tǒng)的推薦方法和當(dāng)前基于神經(jīng)網(wǎng)絡(luò)的推薦方法進(jìn)行了歸納，但對(duì)推薦領(lǐng)域方法的介紹還不夠全面，未來(lái)會(huì)進(jìn)行更為深入的學(xué)習(xí)和探討。

參考文獻(xiàn)/References：

[1] PICHL M， ZANGERLE E， SPECHT G. Improving context-aware music recommender systems： Beyond the pre-filtering approach[C]//Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval.Bucharest：ACM， 2017：201-208.

[2] SCHEDL M， KNEES P， GOUYON F. New paths in music recommender systems research[C]//Proceedings of the Eleventh ACM Conference on Recommender Systems. Como： ACM， 2017：392-393.

[3] 黃立威，江碧濤，呂守業(yè)，等.基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（7）：1619-1647.

HUANG Liwei， JIANG Bitao， LV Shouye， et al. Survey on deep learning based recommender systems[J].Chinese Journal of Computers，2018，41（7）：1619-1647.

[4] 洪亮，任秋圜，梁樹(shù)賢.國(guó)內(nèi)電子商務(wù)網(wǎng)站推薦系統(tǒng)信息服務(wù)質(zhì)量比較研究——以淘寶、京東、亞馬遜為例[J].圖書(shū)情報(bào)工作，2016，60（23）：97-110.

HONG Liang， REN Qiuyuan， LIANG Shuxian.A comparative study of information service quality of E-commerce sites′ recommender systems-Take Taobao， Jingdong and Amazon as examples[J].Library and Information Service，2016，60（23）：97-110.

[5] TEKIN C， ZHANG S， van der SCHAAR M. Distributed online learning in social recommender systems[J]. IEEE Journal of Selected Topics in Signal Processing，2014，8（4）：638-652.

[6] MILLER B N， ALBERT I， LAM S K， et al. MovieLens unplugged： Experiences with an occasionally connected recommender system[C]//Proceedings of the 8th International Conference on Intelligent User Interfaces. Miami：ACM， 2003：263-266.

[7] LI Zhi， ZHAO Hongke， LIU Qi， et al. Learning from history and present： Next-item recommendation via discriminatively exploiting user behaviors[C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. [S.l]：[s.n.]， 2018： 1734-1743.

[8] TSAI C H， BRUSILOVSKY P， RAHDARI B. Exploring user-controlled hybrid recommendation in a conference context[C]//IUI Workshops19. Los Angeles：[s.n.]， 2019：1-6.

[9] QIAN Y， ZHANG Y， MA X， et al. EARS： Emotion-aware recommender system based on hybrid information fusion[J]. Information Fusion， 2019， 46： 141-146.

[10] 朱龍霞，肖明美， 栗濤，等.基于時(shí)間序列分析的火電機(jī)組運(yùn)行優(yōu)化研究[J].河北工業(yè)科技，2017，34（2）：125-129.

ZHU Longxia， XIAO Mingmei， LI Tao， et al. Research of operation optimization of thermal power unit based on time series analysis[J].Hebei Joural of Industrial Science and Techology， 2017，34（2）：125-129.

[11] SHAW P， USZKOREIT J， VASWANI A. Self-attention with relative position representations[J]. Computation and Language， 2018： arXiv：1803.02155.

[12] 甄然，于佳興，趙國(guó)花，等.基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)人機(jī)識(shí)別方法仿真研究[J].河北科技大學(xué)學(xué)報(bào)，2019，40（5）：397-403.

ZHEN Ran，YU Jiaxing，ZHAO Guohua， et al. Simulation research on UAV recognition method based on convolutional neural network[J]. Journal of Hebei University of Science and Techology，2019，40（5）：397-403.

[13] 楊彥波，劉濱，祁明月.信息可視化研究綜述[J].河北科技大學(xué)學(xué)報(bào)，2014，35（1）：91-102.

YANG Yanbo，LIU Bin， QI Mingyue. Review of information visualization[J]. Journal of Hebei University of Science and Techology，2014，35（1）：91-102.

[14] ZHANG Shuai， YAO Lian， SUN Aixin， et al. Deep learning based recommender system： A survey and new perspectives[J].ACM Computing Surveys，2018，1（1）： DOI： 10.1145/3285029.

[15] ADOMAVICIUS G， TUZHILIN A. Toward the next generation of recommender systems： A survey of the state-of-the-art and possible extensions[J].IEEE Transactions on Knowledge & Data Engineering，2005，17（6）：734-749.

[16] VERBERT K， MANOUSELIS N， OCHOA X， et al. Context-aware recommender systems for learning： A survey and future challenges[J].IEEE Transactions on Learning Technologies，2012，5（4）：318-335.

[17] PAZZANI M J， BILLSUS D. Content-based Recommendation Systems[M]. Heidelberg： Lecture Notes in Computer Science，2007.

[18] NAKAMURA A. Collaborative filtering using weighted majority prediction algorithms[C]//Proceedings of the 15th International Conference on Machine Learning.[S.l.]：[s.n.]，1998：395-403.

[19] RICH E. User modeling via stereotypes[J].Cognitive Science，1979，3（4）：329-354.

[20] BALABANOVIC M， SHOHAM Y. Fab： Content-based， collaborative recommendation[J].Communications of the ACM，1997，40（3）：66-72.

[21] 劉瑋.電子商務(wù)系統(tǒng)中的信息推薦方法研究[J].情報(bào)科學(xué)，2006，24（2）：300-303.

LIU Wei. Research on information recommendation in E-commerce systems[J]. Information Science， 2006，24（2）：300-303.

[22] GOLDBERG D， NICHOLS D， OKI B M， et al. Using collaborative filtering to weave an information tapestry[J].Communications of the ACM，1992，35（12）：61-70.

[23] 李宇琦，陳維政，閆宏飛，等.基于網(wǎng)絡(luò)表示學(xué)習(xí)的個(gè)性化商品推薦[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（8）：1767-1778.

LI Yuqi，CHEN Weizheng，YAN Hongfei， et al. Learning graph-based embedding for personalized product recommendation.[J].Chinese Journal of Computers， 2019，42（8）：1767-1778.

[24] 周春華，沈建京，李艷，等.經(jīng)典推薦算法研究綜述[J].計(jì)算機(jī)科學(xué)與應(yīng)用，2019，9（9）：1803-1817.

ZHOU Chunhua， SHEN Jianjing， LI Yan， et al. Review of chassical recommendation algorithms[J]. Computer Science and Application， 2019，9（9）：1803-1817.

[25] 陳楠楠. 基于深度學(xué)習(xí)的推薦系統(tǒng)方法研究[D].桂林：桂林電子科技大學(xué)，2019.

CHEN Nannan. Research on Recommendation System Based on Deep Learning[D]. Guilin： Guilin University of Electronic Technology，2019.

[26] SARWAR B M， KARYPIS G， KONSTAN J A， et al. Item-based collaborative filtering recommendation algorithms[J]. International Conference on World Wide Web， 2001，1：285-295.

[27] AMBULGEKAR H P， PATHAK M K， KOKARE M B. A survey on collaborative filtering： Tasks， approaches and applications[C]//Proceedings of International Ethical Hacking Conference 2018. Singapore： Springer， 2019： 289-300.

[28] CANZIANI A， PASZKE A， CULURCIELLO E. An analysis of deep neural network models for practical applications[J]. Computer Vision and Pattern Recognition，2016：arXiv：1605.07678.

[29] ERHAN D， SZEGEDY C， TOSHEV A， et al. Scalable object detection using deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：[s.n.]，2014：2147-2154.

[30] CIRESAN D， MEIER U. Multi-column deep neural networks for offline handwritten Chinese character classification[C]//2015 International Joint Conference on Neural Networks （IJCNN）.Killarney：IEEE，2015：1-6.

[31] SLADOJEVIC S， ARSENOVIC M， ANDERLA A， et al. Deep neural networks based recognition of plant diseases by leaf image classification[J].Computational Intelligence and Neuroscience，2016（6）：1-11.

[32] NOVOSELOV S， SHULIPA A， KREMNEV I， et al. On deep speaker embeddings for text-independent speaker recognition[C]//Odyssey 2018 The Speaker and Language Recognition Workshop. [S.l.]：[s.n.]， 2018：1-8.

[33] MIIKKULAINEN R， LIANG J， MEYERSON E， et al. Evolving deep neural networks[J]. Neural and Evolutionary Computing，2017：arXiv：1703.00548.

[34] COVINGTON P， ADAMS J， SARGIN E. Deep neural networks for youtube recommendations[C]//Proceedings of the 10th ACM Conference on Recommender Systems. Boston：ACM，2016：191-198.

[35] ZHANG Libo， LUO Tiejian， ZHANG Fei， et al. A recommendation model based on deep neural network[J].IEEE Access，2018，6： 9454-9463.

[36] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

ZHOU Feiyan， JIN Linpeng， DONG Jun. Review of convolutional neural network[J].Chinese Journal of Computers， 2017，40（6）：1229-1251.

[37] TANG Jiaxi， WANG Ke. Personalized top-N sequential recommendation via convolutional sequence embedding[C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining.[S.l.]：[s.n.]，2018：565-573.

[38] KARPATHY A， TODERICI G， SHETTY S， et al. Large-scale video classification with convolutional neural networks[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. [S.l.]：[s.n.]，2014：1725-1732.

[39] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems. [S.l.]：[s.n.]，2012：1097-1105.

[40] KIM D， PARK C， OH J， et al. Convolutional matrix factorization for document context-aware recommendation[C]//Proceedings of the 10th ACM Conference on Recommender Systems.Boston：ACM，2016：233-240.

[41] TUAN T X， PHUONG T M. 3D convolutional networks for session-based recommendation with content features[C]//Proceedings of the Eleventh ACM Conference on Recommender Systems.Como：ACM，2017： 138-146.

[42] van den OORD A， DIELEMAN S， SCHRAUWEN B. Deep content-based music recommendation[C]//Advances in Neural Information Processing Systems.[S.l.]：[s.n.]，2013：2643-2651.

[43] 李光.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦算法研究[D]. 哈爾濱：哈爾濱工程大學(xué)，2017.

LI Guang. Research on Recommendation Algorithm Based on Recurrent Neural Network[D].Harbin：Harbin Engineering University，2017.

[44] LIU Qiang， WU Shu， WANG Diyi， et al. Context-aware sequential recommendation[C]//2016 IEEE 16th International Conference on Data Mining （ICDM）.Barcelona：IEEE，2016：1053-1058.

[45] MANOTUMRUKSA J， MACDONALD C， OUNIS I. A contextual attention recurrent architecture for context-aware venue recommendation[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. Ann Arbor：ACM，2018：555-564.

[46] 王立，張謐.基于LSTM的POI個(gè)性化推薦框架[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（12）：56-61.

WANG Li， ZHANG Mi. LSTM-Based neural network framework for next POI recommendation[J].Computer Systems & Applications，2018，27（12）：56-61.

[47] YANG Libin， ZHENG Yu， CAI Xiaoyan， et al. A LSTM based model for personalized context-aware citation recommendation[J]. IEEE Access， 2018，6：59618-59627.

[48] ZHOU Jie， CUI Ganqu， ZHANG Zhengyan， et al. Graph neural networks： A review of methods and applications[J]. Machine Learning， 2018：arXiv：1812.08434.

[49] WU Zonghan， PAN Shirui， CHEN Fengwen， et al. A comprehensive survey on graph neural networks[J]. Machine Learning，2019：arXiv：1901.00596.

[50] YING Rex， HE Ruining， CHEN Kaifeng， et al. Graph convolutional neural networks for web-scale recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London： ACM：2018：974-983.

[51] WANG Hongwei， ZHAO Miao， ZHANG Mengdi， et al. Knowledge graph convolutional networks for recommender systems[C]//The World Wide Web Conference. San Francisco：ACM，2019：3307-3313.

[52] ZHANG Jiani， SHI Xingjian， ZHAO Shenglin， et al. STAR-GCN： Stacked and reconstructed graph convolutional networks for recommender systems[J]. Information Retrieval， 2019：arXiv：1905.13129.