推薦系統(tǒng)綜述

于蒙，何文濤，周緒川，崔夢(mèng)天，吳克奇，周文杰

推薦系統(tǒng)綜述

于蒙，何文濤，周緒川*，崔夢(mèng)天，吳克奇，周文杰

（計(jì)算機(jī)系統(tǒng)國(guó)家民委重點(diǎn)實(shí)驗(yàn)室（西南民族大學(xué)），成都 610041）（*通信作者電子郵箱xczhou@swun.edu.cn）

隨著網(wǎng)絡(luò)應(yīng)用的不斷發(fā)展，網(wǎng)絡(luò)資源呈指數(shù)型增長(zhǎng)，信息過(guò)載現(xiàn)象日益嚴(yán)重，如何高效獲取符合需求的資源成為困擾人們的問(wèn)題之一。推薦系統(tǒng)能對(duì)海量信息進(jìn)行有效過(guò)濾，為用戶推薦符合其需求的資源。對(duì)推薦系統(tǒng)的研究現(xiàn)狀進(jìn)行詳細(xì)介紹，包括基于內(nèi)容的推薦、協(xié)同過(guò)濾推薦和混合推薦這三種傳統(tǒng)推薦方式，并重點(diǎn)分析了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）、深度神經(jīng)網(wǎng)絡(luò)（DNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和圖神經(jīng)網(wǎng)絡(luò)（GNN）這四種常見(jiàn)的深度學(xué)習(xí)推薦模型的研究進(jìn)展；歸納整理了推薦領(lǐng)域常用的數(shù)據(jù)集，同時(shí)分析對(duì)比了傳統(tǒng)推薦算法和基于深度學(xué)習(xí)的推薦算法的差異。最后，總結(jié)了實(shí)際應(yīng)用中具有代表性的推薦模型，討論了推薦系統(tǒng)面臨的挑戰(zhàn)和未來(lái)的研究方向。

推薦算法；協(xié)同過(guò)濾；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；深度神經(jīng)網(wǎng)絡(luò)；循環(huán)神經(jīng)網(wǎng)絡(luò)；圖神經(jīng)網(wǎng)絡(luò)

0 引言

近年來(lái)，網(wǎng)絡(luò)應(yīng)用尤其是移動(dòng)應(yīng)用的快速發(fā)展，使得人們能夠方便地瀏覽大量的網(wǎng)絡(luò)信息資源，如何為用戶從海量的信息資源中推薦符合其需求的資源（如商品、電影、書(shū)籍等）成了目前研究者們關(guān)注的問(wèn)題之一。推薦系統(tǒng)（Recommendation System， RS）［1］可以有效地對(duì)信息進(jìn)行過(guò)濾和篩選，幫助用戶以個(gè)性化的方式來(lái)檢索符合其需求的信息資源，緩解信息過(guò)載（Information Overload）［2］的問(wèn)題。推薦技術(shù)經(jīng)過(guò)不斷的發(fā)展和更新，已經(jīng)在教育、音樂(lè)、電子商務(wù)、社交網(wǎng)絡(luò)等領(lǐng)域廣泛應(yīng)用。協(xié)同過(guò)濾算法被提出后，推薦系統(tǒng)逐漸成為一個(gè)新的研究熱點(diǎn)，同時(shí)也面臨著數(shù)據(jù)稀疏問(wèn)題（用戶對(duì)推薦項(xiàng)目的評(píng)分?jǐn)?shù)量太少）和冷啟動(dòng)問(wèn)題（新的推薦項(xiàng)目和新用戶無(wú)評(píng)分?jǐn)?shù)據(jù)）。深度學(xué)習(xí)（Deep Learning， DL）是具備識(shí)別、分析、計(jì)算的機(jī)器學(xué)習(xí)算法，為緩解數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題帶來(lái)了新的機(jī)遇，2015年以來(lái)，深度學(xué)習(xí)已經(jīng)在語(yǔ)義挖掘、人臉識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域廣泛應(yīng)用，深度學(xué)習(xí)模型的逐漸成熟也為推薦系統(tǒng)的發(fā)展帶來(lái)了新的機(jī)遇。2016年的ACM推薦系統(tǒng)年會(huì)上，Song等［3］指出將深度學(xué)習(xí)和推薦系統(tǒng)融合作為推薦系統(tǒng)未來(lái)研究的重點(diǎn)，由此，國(guó)內(nèi)外的學(xué)者和研究機(jī)構(gòu)針對(duì)這一問(wèn)題開(kāi)展了大量的研究。2017年以來(lái)，機(jī)器學(xué)習(xí)方向的頂級(jí)會(huì)議（如：ICML、NIPS、COLT等）中有關(guān)深度學(xué)習(xí)的個(gè)性化推薦文章逐年增加。2019年，文獻(xiàn)［4］的研究認(rèn)為深度學(xué)習(xí)能夠從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征的不同層次表達(dá)和抽象，是解決傳統(tǒng)推薦技術(shù)出現(xiàn)的冷啟動(dòng)、數(shù)據(jù)稀疏等問(wèn)題的有效策略。

1 傳統(tǒng)的推薦算法

推薦系統(tǒng)是數(shù)據(jù)挖掘、預(yù)測(cè)算法［5］、機(jī)器學(xué)習(xí)等多種學(xué)科結(jié)合而成的一個(gè)新的研究領(lǐng)域。文獻(xiàn)［6］中最早對(duì)推薦系統(tǒng)給出定義，指出在日常生活中無(wú)論是了解的事件還是未知的事件，時(shí)刻需要人們做出決策，面對(duì)熟悉的事情，人們常?？梢砸蕾囘^(guò)去的經(jīng)驗(yàn)做出合理的決策，然而，在面對(duì)未知的事情時(shí)，人們則需要他人的口頭建議、書(shū)評(píng)、影評(píng)、推薦等來(lái)進(jìn)行判斷，文獻(xiàn)中認(rèn)為推薦系統(tǒng)的意義是能夠?yàn)橥扑]項(xiàng)目和用戶建立適當(dāng)?shù)钠ヅ潢P(guān)系。文獻(xiàn)［7］中則認(rèn)為推薦系統(tǒng)是為不同用戶從大量的項(xiàng)目中匹配符合其興趣偏好但是未被用戶觀察到的項(xiàng)目，它認(rèn)為推薦系統(tǒng)正在成為一個(gè)具有重大經(jīng)濟(jì)影響的重要業(yè)務(wù)。

推薦系統(tǒng)從本質(zhì)上來(lái)說(shuō)是對(duì)人的某種行為的模擬，它通過(guò)推薦算法對(duì)特定的數(shù)據(jù)信息進(jìn)行分析處理，然后將處理后的結(jié)果推薦給有相關(guān)需求的用戶［8］。推薦算法是推薦系統(tǒng)的核心，它能根據(jù)用戶的歷史購(gòu)買(mǎi)需求、行為記錄或者相似偏好進(jìn)行建模，從而發(fā)現(xiàn)符合用戶偏好的需求，并將之推薦給用戶。推薦系統(tǒng)的形式化定義［9-10］如下：

圖1 傳統(tǒng)推薦系統(tǒng)分類

Fig. 1 Classification of traditional recommendation systems

1.1 基于內(nèi)容過(guò)濾的推薦技術(shù)

推薦系統(tǒng)最早被應(yīng)用在電子商務(wù)網(wǎng)站，它通常根據(jù)用戶的購(gòu)買(mǎi)行為記錄或購(gòu)買(mǎi)評(píng)價(jià)來(lái)向用戶推薦與其需求偏好相似的物品［15］。文獻(xiàn)［16］中提出了一種基于上下文內(nèi)容的方法來(lái)匹配和排序服務(wù)，認(rèn)為上下文是用來(lái)描述一個(gè)給定文本的相關(guān)的語(yǔ)言術(shù)語(yǔ)集。該方法通過(guò)解析服務(wù)的底層文檔提取作為文本術(shù)語(yǔ)的令牌，并使用字符串匹配函數(shù)來(lái)匹配這些令牌的本體。文獻(xiàn)［17］中提出了一種匹配用戶查詢和服務(wù)描述以及相關(guān)上下文信息的服務(wù)發(fā)現(xiàn)方法。該方法將上下文提供者提供的上下文信息、服務(wù)提供者提供的服務(wù)描述和用戶提供的服務(wù)請(qǐng)求三者用本體建模，然后將這三條信息逐個(gè)匹配。文獻(xiàn)［18］中提出了一個(gè)Web服務(wù)上下文分類，然后使用本體來(lái)定義這個(gè)分類。上下文由一個(gè)兩級(jí)機(jī)制建模，該機(jī)制涵蓋了上下文規(guī)范和服務(wù)策略，提供了一個(gè)對(duì)等體系結(jié)構(gòu)來(lái)完全匹配Web服務(wù)上下文策略，源服務(wù)的每個(gè)上下文都由候選服務(wù)的策略匹配。

總之，基于內(nèi)容過(guò)濾的推薦（CB）技術(shù)的核心思想是：以用戶歷史的選擇記錄或偏好記錄作為參考推薦，挖掘其他未知的記錄中與參考推薦關(guān)聯(lián)性高的項(xiàng)目作為系統(tǒng)推薦的內(nèi)容。通過(guò)用戶的顯式反饋（如評(píng)價(jià)、認(rèn)可度、喜歡不喜歡）和隱式反饋（如瀏覽時(shí)間、點(diǎn)擊次數(shù)、搜索次數(shù)、停留時(shí)間等）獲取用戶在某段時(shí)間內(nèi)的交互記錄，然后學(xué)習(xí)這些記錄中用戶的偏好并將其標(biāo)記為特征；接著計(jì)算用戶偏好與待測(cè)推薦對(duì)象在內(nèi)容上的相似度（或匹配度）；最后將待測(cè)推薦對(duì)象與用戶偏好的相似度進(jìn)行排序，從而為用戶選擇出符合其興趣偏好的推薦對(duì)象。計(jì)算相似度是一個(gè)關(guān)鍵部分，會(huì)直接影響推薦的策略。計(jì)算相似度的方式有多種，常用式（2）計(jì)算相似度［19］：

有多種計(jì)算方式，通常使用向量夾角余弦的距離計(jì)算方式：

CB系統(tǒng)框架如圖2所示，包含數(shù)據(jù)挖掘處理部分和自適應(yīng)推薦部分，對(duì)用戶來(lái)說(shuō)這兩部分都是隱藏的。數(shù)據(jù)挖掘部分主要是通過(guò)建立向量空間模型對(duì)用戶的偏好特征進(jìn)行分析和提??；自適應(yīng)推薦部分的主要作用就是將用戶偏好的相似度排序，自動(dòng)生成推薦列表，將推薦列表通過(guò)Web服務(wù)器推薦給用戶。

圖2 CB系統(tǒng)框架

1.2 協(xié)同過(guò)濾推薦

協(xié)同過(guò)濾推薦（CF）算法的核心是通過(guò)分析評(píng)分矩陣（通常是用戶對(duì)項(xiàng)目的評(píng)分）來(lái)得到用戶、項(xiàng)目之間的依賴關(guān)系，并進(jìn)一步預(yù)測(cè)新用戶與項(xiàng)目之間的關(guān)聯(lián)關(guān)系。CF算法是最早被研究和討論的推薦技術(shù)之一，它有效地推動(dòng)了個(gè)性化推薦的發(fā)展。1992年，文獻(xiàn)［21］中利用傳統(tǒng)的協(xié)同過(guò)濾技術(shù)解決了垃圾郵件分類問(wèn)題；亞馬遜（Amazon）是目前較大的網(wǎng)絡(luò)購(gòu)物平臺(tái)之一，主要利用CF算法為用戶推薦商品；Netflix在其主頁(yè)上也使用CF算法為用戶推薦喜愛(ài)的電視節(jié)目。

如今協(xié)同過(guò)濾技術(shù)被廣泛應(yīng)用在音樂(lè)推薦、電影推薦、電子商務(wù)等領(lǐng)域［22］，CF主要分為基于內(nèi)存（Memory-Based）的推薦和基于模型（Model-Based）的推薦。

1.2.1 基于內(nèi)存的推薦

基于內(nèi)存的協(xié)同過(guò)濾推薦通過(guò)用戶-項(xiàng)（User-Item）的評(píng)價(jià)矩陣尋找相似用戶和相似項(xiàng)目［23-24］之間的相似度，進(jìn)而為新用戶構(gòu)建相似度矩陣，預(yù)測(cè)用戶感興趣的項(xiàng)目。通過(guò)尋找相似項(xiàng)目進(jìn)行的推薦稱為基于項(xiàng)目的推薦；通過(guò)尋找相似用戶進(jìn)行的推薦稱為基于用戶的推薦。

基于項(xiàng)目的協(xié)同過(guò)濾技術(shù)主要挖掘并分析的是不同推薦項(xiàng)目間隱藏的關(guān)系而不是用戶之間的關(guān)系［25］，項(xiàng)目間的相似性計(jì)算是該技術(shù)的關(guān)鍵［26］，其推薦過(guò)程如圖3。該過(guò)程可以理解為：若有2個(gè)不同用戶A、B，且他們都對(duì)物品1、3表示出較高的喜愛(ài)，那么我們可以認(rèn)為1、3物品存在某種相似。當(dāng)系統(tǒng)中出現(xiàn)的新用戶C并選擇了物品1時(shí)，那么系統(tǒng)便會(huì)自動(dòng)將與物品1相似度高的物品3推薦給他。

圖3 基于項(xiàng)目的協(xié)同過(guò)濾推薦

基于用戶的推薦過(guò)程如圖4所示，經(jīng)過(guò)評(píng)價(jià)矩陣計(jì)算，認(rèn)為用戶A與B相似，在物品選擇時(shí)，若用戶A選擇了物品1、2、3，用戶B選擇了物品1、3，那么在物品推薦時(shí)可以認(rèn)為用戶B的選擇和用戶A相似，因此推薦系統(tǒng)可以將物品2推薦給用戶B。

文獻(xiàn)［27］中通過(guò)分析用戶矩陣來(lái)確定這些用戶與用戶以及不同用戶與其感興趣的項(xiàng)目之間的差異，從而根據(jù)差異有針對(duì)性地為用戶推薦合適的項(xiàng)目。然而基于用戶的推薦過(guò)程并不能依賴相似的用戶都了解對(duì)方，于是，文獻(xiàn)［28］中提出了一種基于匿名合作的協(xié)同過(guò)濾算法，專門(mén)用于解決為不同用戶推薦新聞和電影的問(wèn)題?；谟脩舻膮f(xié)同過(guò)濾算法雖然能夠發(fā)現(xiàn)用戶隱藏的興趣點(diǎn)和偏好，但該技術(shù)存在嚴(yán)重的冷啟動(dòng)問(wèn)題。在實(shí)際問(wèn)題中，推薦系統(tǒng)中的用戶種類不是一成不變的，當(dāng)有新的用戶類型出現(xiàn)時(shí)，系統(tǒng)中缺少該類用戶的偏好記錄，那么推薦系統(tǒng)就無(wú)法對(duì)該類用戶提供符合其需求的推薦。為了解決協(xié)同過(guò)濾所面臨的冷啟動(dòng)問(wèn)題，文獻(xiàn)［29］中將傳統(tǒng)的協(xié)同過(guò)濾算法和神經(jīng)網(wǎng)絡(luò)算法相結(jié)合。神經(jīng)網(wǎng)絡(luò)算法是深度學(xué)習(xí)算法中的一種，能夠分析并計(jì)算用戶與項(xiàng)目之間的復(fù)雜的非線性關(guān)系，效率較高。文獻(xiàn)［29］中的混合模型關(guān)注到了推薦對(duì)象的典型性和多樣性，在韓國(guó)國(guó)民健康營(yíng)養(yǎng)調(diào)查數(shù)據(jù)的應(yīng)用中經(jīng)過(guò)評(píng)估，結(jié)果表明它確實(shí)能提高推薦效果。

圖4 基于用戶的協(xié)同過(guò)濾推薦

1.2.2 基于模型的推薦

基于模型的推薦算法是通過(guò)訓(xùn)練數(shù)學(xué)模型來(lái)預(yù)測(cè)用戶對(duì)未交互項(xiàng)目的評(píng)分情況，通常包括概率矩陣分解（Probabilistic Matrix Factorization， PMF）［30］和奇異值分解（Singular Value Decomposition， SVD）［31］。PMF和SVD的主要思路是先對(duì)用戶與項(xiàng)目的歷史交互數(shù)據(jù)記錄建立適當(dāng)?shù)哪Ｐ停缓螽a(chǎn)生符合用戶需求的推薦列表，其中應(yīng)用較為廣泛的是基于矩陣分解的推薦。

在實(shí)際推薦問(wèn)題中，為了降低預(yù)測(cè)評(píng)分和實(shí)際評(píng)分之間的差值，得到更準(zhǔn)確的推薦列表，一般將預(yù)測(cè)評(píng)分與實(shí)際評(píng)分之間誤差的平方作為損失函數(shù)，如式（5）所示。

2016年，文獻(xiàn)［32］中利用用戶對(duì)推薦項(xiàng)目的評(píng)分差異建模，建立了成對(duì)概率矩陣分解（Pairwise Probabilistic Matrix Factorization， PPMF）模型。該模型能夠自動(dòng)學(xué)習(xí)用戶對(duì)交互過(guò)的項(xiàng)目的偏好程度，有效地降低了倒序排名的平均值，而不是降低協(xié)同過(guò)濾推薦的預(yù)測(cè)評(píng)分和實(shí)際評(píng)分之間的差值，解決了傳統(tǒng)推薦問(wèn)題中數(shù)據(jù)稀疏的問(wèn)題。2020年，文獻(xiàn)［33］中在PPMF模型的基礎(chǔ)上，通過(guò)基于圖的方式計(jì)算了概率矩陣的先驗(yàn)分布，提高了PPMF模型的推薦準(zhǔn)確率。

由于社會(huì)環(huán)境的復(fù)雜化，系統(tǒng)為用戶生成的推薦常常不能滿足用戶變化的興趣愛(ài)好，大部分用戶經(jīng)常會(huì)接受來(lái)自身邊朋友的推薦，兩個(gè)用戶之間的相似性常常受到商品的流行程度、用戶偏好、社會(huì)關(guān)系等諸多因素的影響，因此文獻(xiàn)［34］中提出了一種結(jié)合用戶社交網(wǎng)絡(luò)的矩陣分解模型，如圖5所示。該模型首先為用戶設(shè)計(jì)了一種基于粒子群優(yōu)化（Particle Swarm Optimization， PSO）算法的K均值聚類算法（K-Harmonic Means， KHM）對(duì)用戶進(jìn)行聚類，然后將用戶社交網(wǎng)絡(luò)中用戶的社交關(guān)系引入到相似計(jì)算模型中，利用矩陣分解技術(shù)計(jì)算出用戶偏好的項(xiàng)目。這種辦法有效地緩解了推薦系統(tǒng)中常遇到的冷啟動(dòng)和數(shù)據(jù)稀疏的問(wèn)題；然而，當(dāng)訓(xùn)練數(shù)據(jù)過(guò)大時(shí)，訓(xùn)練的復(fù)雜度也隨之提高。

圖5 基于社交網(wǎng)絡(luò)的推薦系統(tǒng)框架

其中：目標(biāo)用戶的特征向量為；第個(gè)推薦項(xiàng)目的特征向量用表示；矩陣中隱變量的數(shù)量用表示；項(xiàng)目的預(yù)測(cè)評(píng)分和真實(shí)評(píng)分之間的誤差用式（6）中的第一項(xiàng)來(lái)計(jì)算；式（6）中的第二項(xiàng)是為了避免過(guò)擬合而設(shè)置的正則項(xiàng)。

圖6 FunkSVD模型

Fig. 6 FunkSVD model

為了解決用戶本身特質(zhì)對(duì)用戶-項(xiàng)目評(píng)分矩陣的影響，文獻(xiàn)［36］的研究以SVD模型為基礎(chǔ)，提出了一種帶偏置項(xiàng)的奇異值分解（Bias Singular Value Decomposition， BiasSVD）模型。2010年，文獻(xiàn)［37-38］對(duì)BiasSVD模型進(jìn)行了改進(jìn)，提出了融合用戶-項(xiàng)目的隱式反饋信息的SVD++模型，該模型解決了因只有顯式反饋信息而缺少隱式反饋信息的推薦冷啟動(dòng)問(wèn)題。之后，文獻(xiàn)［37-38］的作者又將時(shí)間因子作為輔助信息融合到了SVD++中，提出了timeSVD++模型。該模型提高了用戶近期隱示反饋行為的權(quán)重，而對(duì)用戶的早期的反饋信息的權(quán)重進(jìn)行了衰減，近似地實(shí)現(xiàn)了動(dòng)態(tài)的推薦目的。

1.3 混合推薦

基于內(nèi)容的推薦技術(shù)在處理規(guī)模較大的信息內(nèi)容時(shí)，常常因?yàn)楹臅r(shí)久而造成信息時(shí)效性降低；協(xié)同過(guò)濾技術(shù)在面對(duì)新項(xiàng)目時(shí)容易遇到冷啟動(dòng)問(wèn)題；而混合推薦技術(shù)是保留不同推薦技術(shù)優(yōu)點(diǎn)而避免其缺點(diǎn)的一種推薦方式，將不同的算法融入到推薦系統(tǒng)中即混合推薦［39-40］。目前的混合推薦主要分為前融合、后融合、中融合。

1）前融合：指將多個(gè)推薦算法融合到一個(gè)模型中，如在商品推薦過(guò)程中，根據(jù)用戶歷史購(gòu)買(mǎi)記錄將其感興趣的商品特征提取出來(lái)作為推薦模型的輸入，由混合模型中的推薦算法通過(guò)自適應(yīng)學(xué)習(xí)產(chǎn)生推薦結(jié)果。該混合推薦技術(shù)從本質(zhì)上來(lái)說(shuō)是數(shù)據(jù)庫(kù)中所有不同用戶特征的融合。如文獻(xiàn)［41］中將層次聚類算法和集成相似度算法結(jié)合，構(gòu)建了一種準(zhǔn)確度和多樣性相結(jié)合的混合推薦模型，在對(duì)推薦效果影響較小的情況下，通過(guò)調(diào)整混合模型的權(quán)重因子，可以達(dá)到推薦多樣性且準(zhǔn)確的目的。

2）中融合：該混合推薦技術(shù)一般先以某種推薦算法為參照，再將推薦效果與混合其他推薦算法的技術(shù)對(duì)比。如以基于內(nèi)容的推薦為主框架，然后在該款框架中混合協(xié)同過(guò)濾推薦能夠有效解決冷啟動(dòng)問(wèn)題。從混合本質(zhì)上來(lái)說(shuō)，該融合是對(duì)不同模型的融合。如文獻(xiàn)［42］的研究以深度學(xué)習(xí)算法作為框架，將深度學(xué)習(xí)與改進(jìn)的機(jī)器學(xué)習(xí)模型相結(jié)合，從多個(gè)角度學(xué)習(xí)項(xiàng)目和用戶之間的交互，提出了一種稱為深度度量因子分解學(xué)習(xí)（Deep Metric Factorization Learning， DMFL）的混合推薦模型。該混合推薦模型的泛化能力較好，能全面地反映用戶的偏好。文獻(xiàn)［43］中提出了一種基于潛在因子模型（Latent Factor Model， LFM）和基于圖的個(gè)人排名（Personal Rank，PR）算法相結(jié)合的混合推薦算法，與單獨(dú)使用PR算法相比，該混合模型的準(zhǔn)確率和正確率表現(xiàn)更優(yōu)。

3）后融合：這種方法對(duì)推薦結(jié)果十分看重，主要通過(guò)比較不同推薦算法的推薦效果從而得到可靠性較高的推薦對(duì)象序列，最后將這個(gè)序列推薦給用戶。

在實(shí)際問(wèn)題中，將不同的推薦算法相互結(jié)合從而得到效果更好的推薦是混合推薦技術(shù)的優(yōu)勢(shì)之一。目前Amazon、Google［44］、微軟［45］等公司通過(guò)使用混合推薦技術(shù)在商品、廣告、新聞等個(gè)性化推薦方面取得了巨大的成功。

以上推薦技術(shù)都屬于傳統(tǒng)的推薦技術(shù)，近年來(lái)，用戶歷史偏好記錄的生成內(nèi)容（如特征標(biāo)簽、位置、交友記錄、評(píng)論記錄）越來(lái)越多樣化，傳統(tǒng)的推薦技術(shù)已經(jīng)無(wú)法滿足用戶的多樣需求，因此產(chǎn)生了大量新的推薦算法，如：用戶在社交網(wǎng)絡(luò)中分享或者獲取各種資源時(shí)，只希望將自己的興趣或喜好公開(kāi)給相似的用戶，并不希望將個(gè)人信息等隱私信息公開(kāi)。保護(hù)用戶隱私的推薦逐漸成為學(xué)者們關(guān)注的問(wèn)題［46-47］。文獻(xiàn)［48］中提出了一種基于用戶行為來(lái)保護(hù)用戶好友隱私的算法，將該算法用于集中管理和分布管理相結(jié)合的混合社交網(wǎng)絡(luò)中，能夠讓用戶在實(shí)現(xiàn)興趣偏好共享的同時(shí)又不暴露用戶的隱私信息。

表1對(duì)上述三種不同的傳統(tǒng)推薦技術(shù)的優(yōu)缺點(diǎn)進(jìn)行了總結(jié)和對(duì)比。

表1 傳統(tǒng)推薦技術(shù)優(yōu)缺點(diǎn)對(duì)比

2 基于深度學(xué)習(xí)的推薦技術(shù)

深度學(xué)習(xí)算法強(qiáng)大之處在于能夠像人類一樣學(xué)習(xí)并處理復(fù)雜問(wèn)題，面對(duì)規(guī)模復(fù)雜的數(shù)據(jù)能從多種維度來(lái)分析并計(jì)算線性或者非線性的特征序列，能從海量的數(shù)據(jù)中自動(dòng)地學(xué)習(xí)符合用戶需求的特征，已經(jīng)成功地應(yīng)用在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域并取得了良好的效果，因此越來(lái)越多的研究者也嘗試將深度學(xué)習(xí)應(yīng)用在推薦系統(tǒng)中，如何把深度學(xué)習(xí)技術(shù)與推薦技術(shù)有效結(jié)合并深入研究已經(jīng)成為了一個(gè)新的研究方向。深度學(xué)習(xí)技術(shù)除了能夠發(fā)現(xiàn)用戶行為記錄隱藏的潛在特征表示，還能捕獲用戶與用戶、用戶與項(xiàng)目、項(xiàng)目與項(xiàng)目之間的非線性關(guān)系的交互特征，為系統(tǒng)的性能（如召回率、精度等）提高帶來(lái)了更多機(jī)會(huì)，能夠克服傳統(tǒng)推薦技術(shù)中遇到的一些障礙，從而實(shí)現(xiàn)更精確的推薦。

2.1 基于深度神經(jīng)網(wǎng)絡(luò)的推薦

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network， DNN）是深度學(xué)習(xí)模型中的一種［49-51］，也可以叫作多層神經(jīng)網(wǎng)絡(luò)或多層感知機(jī)（Multi-Layer Perceptron， MLP）。目前，在個(gè)性化推薦問(wèn)題中引入深度神經(jīng)網(wǎng)絡(luò)技術(shù)的趨勢(shì)越來(lái)越明顯［52-57］。

文獻(xiàn)［49］中首次將深度神經(jīng)網(wǎng)絡(luò)模型融入到視頻推薦領(lǐng)域，并在YouTube視頻網(wǎng)站進(jìn)行了仿真實(shí)驗(yàn)，推薦流程如圖7所示。

圖7 YouTube視頻推薦過(guò)程

YouTube視頻網(wǎng)站的特點(diǎn)是注冊(cè)用戶多、視頻更新速度快、視頻時(shí)長(zhǎng)不一、數(shù)量多，傳統(tǒng)的推薦算法很難為用戶推薦符合其偏好的視頻內(nèi)容。圖7的推薦過(guò)程分為候選集生成和視頻排序兩個(gè)階段。候選集生成階段可以視為一個(gè)視頻篩選的過(guò)程，即根據(jù)用戶的觀看記錄從已有的視頻中選擇和用戶觀看歷史記錄相似的視頻集合作為下次推薦的候選視頻。候選集生成階段將視頻推薦問(wèn)題視為一個(gè)多分類問(wèn)題，利用深度神經(jīng)網(wǎng)絡(luò)對(duì)用戶和視頻建模，通過(guò)預(yù)測(cè)函數(shù)來(lái)計(jì)算在情況下，用戶在時(shí)刻觀看視頻類型的概率，是所有視頻集合中的某一類。分類預(yù)測(cè)公式如下所示：

排序階段則是從不同特征維度對(duì)視頻進(jìn)行分析，通過(guò)加權(quán)的邏輯回歸輸出層獲得用戶點(diǎn)擊某類視頻的概率預(yù)測(cè)。預(yù)測(cè)值與用戶感興趣的視頻類型越相似，其得分就越高，最終選取得分最高的幾十個(gè)視頻作為推薦結(jié)果。仿真結(jié)果顯示，文獻(xiàn)［49］提出的推薦模型的召回速率和效率較高，能對(duì)百萬(wàn)級(jí)規(guī)模的視頻數(shù)據(jù)集進(jìn)行訓(xùn)練。

但該模型仍存在以下不足：1）面對(duì)海量的視頻數(shù)據(jù)，該模型只對(duì)數(shù)據(jù)進(jìn)行了簡(jiǎn)單的清洗，在后續(xù)研究中可以嘗試引入注意力機(jī)制，從而對(duì)視頻的權(quán)重進(jìn)行分配，對(duì)用戶關(guān)注較多的視頻賦予更高權(quán)重，對(duì)用戶關(guān)注較少的視頻賦予較低權(quán)重；2）視頻網(wǎng)站往往存在惡意視頻（如廣告等），在后續(xù)視頻推薦研究中，可以嘗試建立一種安全機(jī)制先對(duì)惡意視頻進(jìn)行攔截，從而更精確地捕獲到用戶的潛在偏好，不僅能提高用戶的使用率，還能提高推薦的效果。

文獻(xiàn)［50］中提出了一個(gè)深廣（Wide & Deep）模型來(lái)解決大規(guī)模的在線推薦問(wèn)題，該模型是由單層的Wide部分和多層的Deep部分相結(jié)合的一個(gè)模型，如圖8所示。

Deep部分是深度神經(jīng)網(wǎng)絡(luò)，該部分模型對(duì)嵌入的向量進(jìn)行抽象和初始化。接著，將抽象好的特征向量傳遞到隱藏層，每個(gè)隱藏層執(zhí)行以下計(jì)算：

Deep部分的作用是讓模型有更好的泛化能力，Wide和Deep結(jié)合使得該模型不僅能夠快速學(xué)習(xí)并處理大量的特征屬性，還具有強(qiáng)大的表達(dá)能力。在Google play（一個(gè)擁有超過(guò)10億活躍用戶和超過(guò)100萬(wàn)個(gè)應(yīng)用程序的移動(dòng)應(yīng)用商店）上的實(shí)驗(yàn)結(jié)果表明，該模型明顯增加了APP的下載量，達(dá)到了更精確的推薦目的。

Wide & Deep模型主要利用Wide部分學(xué)習(xí)目標(biāo)用戶的特征，利用Deep部分來(lái)泛化相似的推薦項(xiàng)目，能對(duì)5千億個(gè)樣本進(jìn)行訓(xùn)練，有效緩解數(shù)據(jù)稀疏問(wèn)題，而且還可用于分類、回歸、查找等問(wèn)題；它的不足是需要人為的特征工程。

圖8 Wide & Deep模型

文獻(xiàn)［51］中提出了一種融合DNN和矩陣分解的推薦模型，能快速地為用戶項(xiàng)建立其生成交互函數(shù)時(shí)所需要的非線性模型。相比單一的矩陣分解算法，該模型進(jìn)一步提高了評(píng)分預(yù)測(cè)準(zhǔn)確性結(jié)果，提高了推薦性能；但該模型并沒(méi)有從多種維度提取用戶的偏好，泛化能力較差。為了解決這個(gè)問(wèn)題，文獻(xiàn)［52］中提出了一種基于DNN的深度混合推薦模型。該模型將用戶和項(xiàng)目信息輸入到了改進(jìn)的機(jī)器學(xué)習(xí)模型中進(jìn)行訓(xùn)練，從多維度更深入地學(xué)習(xí)用戶和推薦項(xiàng)目的交互關(guān)系。該模型對(duì)用戶和項(xiàng)目的特征學(xué)習(xí)部分由2個(gè)并行的DNN組成，目的是為了提取靜態(tài)項(xiàng)目的潛在特征和動(dòng)態(tài)用戶的潛在特征。這種將多個(gè)深度學(xué)習(xí)模型和機(jī)器學(xué)習(xí)模型相互融合的推薦模型，能較為準(zhǔn)確地預(yù)測(cè)用戶的偏好情況，提高推薦的性能。未來(lái)的研究中，可以嘗試在推薦模型中融合多個(gè)深度學(xué)習(xí)模型和機(jī)器學(xué)習(xí)模型，提高推薦的泛化能力。

2.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦

LSTM模型最早由文獻(xiàn)［57］提出，它可以學(xué)習(xí)較長(zhǎng)序列信息之間的交互關(guān)系。從此，該模型不斷地被研究者們改進(jìn)和優(yōu)化。文獻(xiàn)［54］中認(rèn)為傳統(tǒng)的協(xié)同過(guò)濾技術(shù)無(wú)法為用戶提供動(dòng)態(tài)的個(gè)性化推薦，因此，將用戶的行為記錄抽象成有關(guān)聯(lián)的數(shù)據(jù)序列，使用降噪自編碼器（Auto-Encoder，AE）構(gòu)建的深層網(wǎng)絡(luò)來(lái)學(xué)習(xí)新聞文本的特征；RNN用來(lái)訓(xùn)練輸入序列（用戶特征和瀏覽記錄）。后來(lái)，日本雅虎（Yahoo）團(tuán)隊(duì)嘗試將該文獻(xiàn)中提到的推薦模型應(yīng)用到手機(jī)端新聞主頁(yè)中，整個(gè)推薦流程大致分為5步：1）將用戶的歷史瀏覽記錄作為RNN的訓(xùn)練數(shù)據(jù)生成用戶的偏好模型；2）利用一定的相似度計(jì)算規(guī)則計(jì)算出和用戶偏好相符的新聞集合作為候選集；3）利用模型中的排序算法對(duì)新聞候選集排序；4）對(duì)重復(fù)的新聞內(nèi)容進(jìn)行去重；5）在適當(dāng)時(shí)插入廣告（如果需要）。經(jīng)過(guò)實(shí)驗(yàn)和評(píng)估發(fā)現(xiàn)，GRU模型需要設(shè)置的參數(shù)少而且能夠?yàn)橛脩敉扑]更準(zhǔn)確的新聞信息。文獻(xiàn)［58］中則提出了一個(gè)多元遞歸神經(jīng)網(wǎng)絡(luò)（Multi-view Recurrent Neural Network， MV-RNN）模型，該模型能夠?qū)⒁曨l、文本、圖片等信息整合，將不同的多視圖特征進(jìn)行組合作為輸入項(xiàng)，然后在模型的隱藏層用一個(gè)單獨(dú)且統(tǒng)一的結(jié)構(gòu)來(lái)處理輸入信息，動(dòng)態(tài)有序地捕獲用戶的興趣。

2.2.1 基于知識(shí)圖譜和RNN的推薦

近年來(lái)互聯(lián)網(wǎng)在多個(gè)領(lǐng)域快速發(fā)展，使得知識(shí)圖譜從提升搜索引擎的質(zhì)量逐漸發(fā)展到了推薦領(lǐng)域。2012年，Google公司為了提升用戶使用搜索引擎時(shí)的搜索體驗(yàn)，提出了知識(shí)圖譜的概念，知識(shí)圖譜是用結(jié)構(gòu)化網(wǎng)絡(luò)對(duì)客觀世界實(shí)體之間關(guān)系的一種描述，能夠用形式化的方法表示現(xiàn)實(shí)生活中事物間的相互關(guān)系。文獻(xiàn)［59］中結(jié)合知識(shí)圖譜和RNN模型建立了一種能實(shí)時(shí)捕捉到用戶興趣點(diǎn)變化的序列化推薦模型。該模型將在線音樂(lè)平臺(tái)的異構(gòu)數(shù)據(jù)分為圖形數(shù)據(jù)、文本數(shù)據(jù)和視覺(jué)數(shù)據(jù)三大類，用知識(shí)圖譜將這三類異構(gòu)數(shù)據(jù)的關(guān)系嵌入到實(shí)體中，再將結(jié)果作為輸入嵌入到模型中；在解碼階段，RNN和前饋層被用來(lái)獲取序列中的信息，分析計(jì)算每個(gè)候選項(xiàng)的分?jǐn)?shù)，最后預(yù)測(cè)推薦。該模型嘗試將多源異構(gòu)數(shù)據(jù)同時(shí)輸入到模型中，提升了推薦的效率；但該模型只嘗試了在音樂(lè)推薦方面的應(yīng)用，因?yàn)樗鼘?duì)異構(gòu)數(shù)據(jù)具有較好的融合能力，未來(lái)可以嘗試將其應(yīng)用到視頻、文本、社交網(wǎng)絡(luò)推薦中，增強(qiáng)模型的可擴(kuò)展性。

因?yàn)槲墨I(xiàn)［59］中提出的模型無(wú)法記憶時(shí)間過(guò)長(zhǎng)的序列，所以文獻(xiàn)［60］提出了一個(gè)基于記憶的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)長(zhǎng)時(shí)間地保存用戶個(gè)人信息和偏好。該結(jié)構(gòu)可分為Key和Value兩個(gè)模塊，其中：Key模塊用來(lái)存儲(chǔ)推薦項(xiàng)目的信息，從本質(zhì)上來(lái)說(shuō)這部分其實(shí)是知識(shí)圖譜通過(guò)翻譯嵌入（Translating Embedding， TransE）來(lái)獲取實(shí)體和關(guān)系的表征信息；Value模塊存儲(chǔ)用戶的特征和偏好情況，在RNN對(duì)時(shí)間節(jié)點(diǎn)的信息迭代時(shí)，該模塊能對(duì)TransE進(jìn)行實(shí)時(shí)的記憶和更新，這一步充分利用了知識(shí)圖譜中的信息。該網(wǎng)絡(luò)結(jié)構(gòu)有效地提升了模型記憶過(guò)長(zhǎng)序列的效率和推薦效果。

綜上所述，在推薦方面充分合理地利用知識(shí)圖譜能提升推薦性能，尤其對(duì)于緩解數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題具有明顯的效果；但這也僅適用于數(shù)據(jù)積累較為成熟的系統(tǒng)，當(dāng)面對(duì)數(shù)據(jù)積累較少的新系統(tǒng)時(shí)，往往會(huì)出現(xiàn)推薦準(zhǔn)確率低、推薦效果差的問(wèn)題。因此，如何利用知識(shí)圖譜對(duì)新系統(tǒng)產(chǎn)生較好的推薦，將是未來(lái)研究的一個(gè)重點(diǎn)。

2.2.2 基于注意力機(jī)制的RNN推薦方法

注意力機(jī)制能夠根據(jù)用戶的偏好差異為推薦項(xiàng)目的潛在特征劃分區(qū)域，賦予大部分用戶都關(guān)注的區(qū)域較高的權(quán)重，不關(guān)注無(wú)關(guān)部分，其原理類似人腦的注意力機(jī)制，從本質(zhì)上來(lái)說(shuō)其工作原理是利用注意力的概率分布，捕捉對(duì)輸出有關(guān)鍵影響的輸入。

近年來(lái)，文獻(xiàn)［61-63］等的研究將注意力機(jī)制和深度學(xué)習(xí)模型融合，推動(dòng)了推薦系統(tǒng)的發(fā)展。文獻(xiàn)［61］中將動(dòng)態(tài)的圖注意力機(jī)制模型和RNN模型結(jié)合混合應(yīng)用于社區(qū)推薦，該研究認(rèn)為用戶的偏好受社交平臺(tái)朋友的偏好影響，圖注意力機(jī)制模型能夠動(dòng)態(tài)地捕獲用戶朋友長(zhǎng)短期偏好變化對(duì)用戶產(chǎn)生的影響，其模型如圖9所示。該模型的推薦過(guò)程如下：

1）為用戶的偏好情況建立模型。這一步主要是由RNN模型來(lái)完成，RNN模型為用戶的歷史瀏覽行為記錄建模，動(dòng)態(tài)地捕獲到用戶的偏好。

3）動(dòng)態(tài)的圖注意力機(jī)制建模。首先，為用戶建立一個(gè)圖網(wǎng)絡(luò)，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)代表著用戶與社交網(wǎng)絡(luò)中朋友的圖網(wǎng)絡(luò)，如式（10）所示：

圖9 動(dòng)態(tài)圖注意力網(wǎng)絡(luò)社會(huì)推薦模型

文獻(xiàn)［63］中提出的模型充分利用了用戶的社交關(guān)系，捕捉了用戶的朋友的偏好；然而，該模型對(duì)用戶和朋友的特征提取不夠精準(zhǔn)，沒(méi)有考慮到用戶和推薦項(xiàng)目之間長(zhǎng)期的依賴關(guān)系。因此，在后續(xù)的研究中可以嘗試將用戶和推薦項(xiàng)目之間長(zhǎng)期的依賴關(guān)系融合到模型中。

為了解決微博話題標(biāo)簽的時(shí)序數(shù)據(jù)問(wèn)題，文獻(xiàn)［64］中構(gòu)建了一種基于主題注意力機(jī)制的LSTM模型，該模型考慮到了時(shí)間因子，將時(shí)序特征融入到了模型中，有效地提升了推薦的性能；但是該模型并沒(méi)有考慮用戶信息和微博標(biāo)簽文本長(zhǎng)度問(wèn)題等對(duì)推薦結(jié)果的影響。針對(duì)這一問(wèn)題，文獻(xiàn)［65］中提出了一種基于注意力機(jī)制的語(yǔ)句時(shí)態(tài)增強(qiáng)模型，該模型對(duì)微博特征從詞級(jí)和語(yǔ)句級(jí)兩方面進(jìn)行分析和刻畫(huà)，把時(shí)間信息融合在語(yǔ)句集注意力層，充分降低了微博標(biāo)簽數(shù)據(jù)中噪聲數(shù)據(jù)對(duì)分類器的影響。因此，該模型除了解決微博話題標(biāo)簽推薦問(wèn)題，還能用于解決文本識(shí)別、語(yǔ)言翻譯和動(dòng)態(tài)推薦等問(wèn)題。然而，LSTM模型只能處理單一的歐幾里得空間數(shù)據(jù)，無(wú)法處理較為復(fù)雜的非歐空間數(shù)據(jù)。

文獻(xiàn)［66］中提出了雙重注意力網(wǎng)絡(luò)學(xué)習(xí)雙重社會(huì)效應(yīng)的推薦模型。該模型的雙重注意力機(jī)制包括根據(jù)用戶自己分配的注意力權(quán)重建模和通過(guò)上下文感知?jiǎng)討B(tài)的注意力建模兩個(gè)方面，通過(guò)雙重建模有效地把用戶的社會(huì)效應(yīng)傳遞到了推薦項(xiàng)目領(lǐng)域，緩解了傳統(tǒng)推薦系統(tǒng)常常遇到的數(shù)據(jù)稀疏性問(wèn)題。該模型對(duì)社會(huì)影響的有效表示能從多個(gè)維度學(xué)習(xí)，但是模型的復(fù)雜度也增加了。

2.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）［67］的最大特點(diǎn)是具有表征學(xué)習(xí)能力，是包含深度卷積計(jì)算的前饋神經(jīng)網(wǎng)絡(luò)，它的核心是隱含層和卷積層的相互連接，常見(jiàn)的三種性能較好的CNN模型有VGGNet［68］、GoogLeNet和ResNet［69］。2014年提出的VGGNet模型取得了ILSVRC（ImageNet Large Scale Visual Recognition Challenge）分類組的亞軍和圖像識(shí)別組的冠軍；2017年提出的ResNet模型在ILSVRC比賽中獲得了冠軍。ResNet模型有152層網(wǎng)絡(luò)結(jié)構(gòu)，將殘差網(wǎng)絡(luò)作為CNN的基本結(jié)構(gòu)，這樣做可以減少因網(wǎng)絡(luò)結(jié)構(gòu)過(guò)深造成的梯度爆炸問(wèn)題。與其他的深度學(xué)習(xí)模型相比，CNN模型能夠自動(dòng)捕捉用戶的潛在特征，發(fā)現(xiàn)潛在的規(guī)律，目前已廣泛應(yīng)用在圖像識(shí)別、自然語(yǔ)言處理、目標(biāo)分類等不同領(lǐng)域的推薦系統(tǒng)中［69-71］。

在音樂(lè)推薦方面，文獻(xiàn)［70］中探討了如何有效地緩解音樂(lè)推薦中新音樂(lè)冷啟動(dòng)問(wèn)題，并提出了一種融合深度卷積神經(jīng)網(wǎng)絡(luò)的推薦模型，通過(guò)收集用戶的歷史收聽(tīng)記錄和瀏覽過(guò)的音頻數(shù)據(jù)，將這些數(shù)據(jù)投影到一個(gè)共有的隱空間中，從而學(xué)習(xí)用戶和音頻的隱表示。對(duì)于新的音樂(lè)，該研究利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)新音頻中的隱表示進(jìn)行提取，從而在這個(gè)共有的空間中計(jì)算新音頻和用戶的相似度。經(jīng)過(guò)實(shí)驗(yàn)和分析，該方法緩解了新音樂(lè)冷啟動(dòng)問(wèn)題，提高了推薦的準(zhǔn)確性。

在圖像推薦方面，文獻(xiàn)［71］中利用CNN模型學(xué)習(xí)用戶和圖像統(tǒng)一的特征表示，將異構(gòu)用戶圖像網(wǎng)絡(luò)轉(zhuǎn)換為同質(zhì)的低維數(shù)據(jù)，這樣的轉(zhuǎn)換有助于系統(tǒng)通過(guò)相似性向用戶推薦圖像。該模型能處理大型、稀疏和多樣化的視覺(jué)圖像。

針對(duì)文本推薦方面，文獻(xiàn)［72］的研究認(rèn)為用戶對(duì)項(xiàng)目的評(píng)級(jí)矩陣如果過(guò)于稀疏，則會(huì)影響推薦質(zhì)量，為此提出了一種混合推薦模型。該推薦模型基于上下文感知和卷積矩陣因式分解，將CNN集成在概率矩陣分解中，能有效捕獲上下文信息，從而填補(bǔ)稀疏的用戶評(píng)級(jí)矩陣，提高推薦的準(zhǔn)確率。

文獻(xiàn)［70-72］的研究針對(duì)的都是某一個(gè)特定的目標(biāo)用戶，但實(shí)際問(wèn)題中的推薦場(chǎng)景往往更復(fù)雜，有時(shí)需要為特定的群組產(chǎn)生推薦列表，因此，未來(lái)的研究可嘗試將CNN和社交關(guān)系、時(shí)間、文本等輔助信息相結(jié)合來(lái)進(jìn)行群組推薦。

2016年，文獻(xiàn)［73］中提出了一種基于注意力機(jī)制的CNN的新浪微博話題推薦模型，該模型設(shè)置了兩個(gè)注意力通道（全局和局部），提高了推薦的準(zhǔn)確率；但是該模型使用的數(shù)據(jù)都是文本類型，忽略了圖像等其他形式的話題類型。為了解決這個(gè)問(wèn)題，2017年，文獻(xiàn)［74］中提出了協(xié)同注意力機(jī)制模型，充分考慮了文本、圖像等與微博話題標(biāo)簽依賴關(guān)系，因此推薦性能優(yōu)于僅考慮文本的推薦。

文獻(xiàn)［75］的研究認(rèn)為傳統(tǒng)的推薦在提取評(píng)論文本信息方面有所欠缺，于是提出了一種基于注意力機(jī)制的深度協(xié)作神經(jīng)網(wǎng)絡(luò)（deep Cooperative Neural Network based on Attention， ACoNN）模型，其中注意力機(jī)制的作用是為文本矩陣的權(quán)重重新賦值，并行的CNN模型則充分挖掘用戶和文本的信息以獲取潛在的隱含特征。ACoNN模型的推薦流程如圖10所示。

圖10 ACoNN模型的推薦流程

具體描述如下：

2）歸一化處理式（13）得到的相似度系數(shù)，計(jì)算注意力機(jī)制層的每個(gè)詞向量注意力權(quán)重，如式（14）所示：

相比別的深度學(xué)習(xí)模型，該模型的優(yōu)點(diǎn)是數(shù)據(jù)在訓(xùn)練階段設(shè)置的參數(shù)比較少、模型的復(fù)雜度較低，充分利用了注意力機(jī)制能夠捕捉權(quán)重較大信息的特點(diǎn)，以及CNN模型對(duì)權(quán)值能夠共享、對(duì)局部連接的優(yōu)勢(shì)，結(jié)合了注意力機(jī)制的CNN模型在提取特征時(shí)對(duì)重點(diǎn)特征的提取效率有了很大的提升，因此，推薦項(xiàng)目的準(zhǔn)確率也有了較大的改善；但是該模型無(wú)法對(duì)用戶動(dòng)態(tài)的偏好進(jìn)行實(shí)時(shí)推薦。

文獻(xiàn)［74-75］的研究將注意力機(jī)制和CNN模型相融合，盡管提升了推薦的效果，但是當(dāng)數(shù)據(jù)規(guī)模足夠大時(shí)，數(shù)據(jù)稀疏性問(wèn)題仍然會(huì)逐漸顯露?？珙I(lǐng)域推薦是解決數(shù)據(jù)稀疏問(wèn)題的一個(gè)重要的方法，多個(gè)領(lǐng)域的輔助信息可以為目標(biāo)領(lǐng)域的推薦服務(wù)，通過(guò)輸入輔助信息，模型可以學(xué)習(xí)到目標(biāo)用戶的潛在隱含特征，從而提升推薦的效果，因此，在后續(xù)研究中可以考慮將CNN和注意力機(jī)制融合到跨領(lǐng)域推薦任務(wù)中。

2.4 基于圖神經(jīng)網(wǎng)絡(luò)的推薦

圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）借鑒RNN和CNN的思想，是一種重新定義和設(shè)計(jì)的用于處理非歐氏空間數(shù)據(jù)的深度學(xué)習(xí)算法。在實(shí)際的生活中，電子商務(wù)、推薦系統(tǒng)、動(dòng)作識(shí)別等領(lǐng)域的數(shù)據(jù)抽象出來(lái)都是節(jié)點(diǎn)之間鏈接不固定的圖譜，這些圖譜不具備規(guī)則的空間結(jié)構(gòu)，而GNN模型可以對(duì)該類數(shù)據(jù)進(jìn)行高效的建模，精確地捕獲到數(shù)據(jù)之間潛在的聯(lián)系。文獻(xiàn)［76］中針對(duì)電子商務(wù)領(lǐng)域出現(xiàn)的問(wèn)題，提出了一種分層二分圖神經(jīng)網(wǎng)絡(luò)的模型。該模型首先將多個(gè)GNN模型進(jìn)行疊加，并在多個(gè)交替模塊上使用聚類算法，聚類算法能夠有效捕獲到分層模塊中推薦項(xiàng)目和用戶的信息，進(jìn)而有效地捕捉到用戶的潛在偏好，提高推薦的準(zhǔn)確率；但該模型利用的是用戶某段時(shí)間內(nèi)靜態(tài)的交互記錄，這與用戶變化的偏好情況相矛盾。因此，文獻(xiàn)［77］中建立了一種融合時(shí)間關(guān)注機(jī)制的圖卷積推薦模型，圖卷積神經(jīng)層對(duì)用戶在整個(gè)實(shí)際場(chǎng)景中的角色進(jìn)行抽象，能大致反映出用戶的短期偏好特征，文獻(xiàn)［78］提出了一種卷積LSTM模型（Convolutional LSTM Network， ConvLSTM）來(lái)增強(qiáng)模型的魯棒性，為了捕獲到用戶動(dòng)態(tài)的偏好變化情況，模型首先融合了側(cè)重分層學(xué)習(xí)和神經(jīng)元排序的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最終通過(guò)學(xué)習(xí)模型捕獲到的局部用戶偏好的時(shí)空信息產(chǎn)生推薦序列。

2.4.1 基于PMF的圖神經(jīng)網(wǎng)絡(luò)推薦

傳統(tǒng)的矩陣分解模型具有很好的靈活性和可擴(kuò)展性，但是仍然無(wú)法解決冷啟動(dòng)和數(shù)據(jù)稀疏的問(wèn)題，于是，文獻(xiàn)［79］中提出了一種融合PMF和GNN的推薦模型。該模型首先將社交網(wǎng)絡(luò)圖和用戶項(xiàng)目圖這兩個(gè)圖內(nèi)在聯(lián)系起來(lái)，然后對(duì)圖進(jìn)行建模，捕獲用戶在社會(huì)空間中的潛在特征向量和項(xiàng)目空間上的潛在特征向量；接著，將捕獲到的特征向量進(jìn)行相互串聯(lián)，充分地學(xué)習(xí)目標(biāo)用戶的特征向量，將捕獲到的特征向量集成在PMF模型中，產(chǎn)生項(xiàng)目的評(píng)分和推薦列表。在真實(shí)的數(shù)據(jù)集Epinions和Ciao上的實(shí)驗(yàn)結(jié)果表示，該模型是有效的，其均方根誤差和平均絕對(duì)誤差均有降低。但該模型只是將社交網(wǎng)絡(luò)圖作為輔助信息融合到模型中，在實(shí)際生活中，用戶和項(xiàng)目之間的交互信息還體現(xiàn)在其他方面，例如，推薦項(xiàng)目的豐富屬性與用戶偏好的依賴性。未來(lái)可以考慮多方面地融合輔助信息，提高推薦模型的準(zhǔn)確率和新穎性。

文獻(xiàn)［80］提出了一種基于信任機(jī)制的社交網(wǎng)絡(luò)推薦模型，該模型將神經(jīng)網(wǎng)絡(luò)集成到PMF模型中，用不同的神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)表示不同的用戶，通過(guò)K最近鄰（K-Nearest Neighbor， KNN）算法將用戶特征和神經(jīng)網(wǎng)絡(luò)聯(lián)系在一起形成圖結(jié)構(gòu)。但是該模型只考慮了單一的KNN聯(lián)系用戶特征和神經(jīng)網(wǎng)絡(luò)，未來(lái)的研究可以嘗試多種方法聯(lián)系用戶特征和神經(jīng)網(wǎng)絡(luò)，盡可能從多方面考慮用戶的特征。

文獻(xiàn)［81］中通過(guò)GNN的節(jié)點(diǎn)來(lái)學(xué)習(xí)用戶對(duì)特定推薦項(xiàng)目的置信度加權(quán)參數(shù)，該加權(quán)參數(shù)代表節(jié)點(diǎn)用戶與推薦項(xiàng)目之間相交互的可能性。引入置信度加權(quán)參數(shù)是為了幫助用戶模擬高階信息，使得每個(gè)用戶可以收集鄰域節(jié)點(diǎn)間的高階信息。對(duì)于比較稀疏的用戶-項(xiàng)目矩陣，可以通過(guò)隨機(jī)游走的方式對(duì)矩陣進(jìn)行填充，緩解數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題。但該推薦方式僅考慮了用戶項(xiàng)目之間歷史交互的置信度參數(shù)，并沒(méi)有考慮推薦系統(tǒng)所收集到的數(shù)據(jù)對(duì)加權(quán)參數(shù)的影響。

2.4.2 基于會(huì)話的圖卷積神經(jīng)網(wǎng)絡(luò)推薦

近年來(lái)，匿名用戶推薦問(wèn)題逐漸成為推薦領(lǐng)域的一個(gè)重要研究方向，采用GNN模型解決該類問(wèn)題已經(jīng)取得了不錯(cuò)的進(jìn)展；但是，GNN無(wú)法精確地捕獲到用戶會(huì)話間潛在的依賴信息。文獻(xiàn)［82］中提出了一種基于會(huì)話的圖卷積神經(jīng)網(wǎng)絡(luò)（Group-constrained Convolutional Recurrent Neural network， GCRNN）模型。該模型利用多層的圖卷積模型能精確地捕獲到用戶會(huì)話圖信息，利用遞歸神經(jīng)網(wǎng)絡(luò)層則能進(jìn)一步捕獲會(huì)話間的時(shí)序圖來(lái)獲得用戶偏好的變化情況，而且遞歸神經(jīng)網(wǎng)絡(luò)層還能精確地捕獲到會(huì)話之間的交互信息。因此，GCRNN模型能精確地捕獲到會(huì)話間豐富的潛在隱含信息，從而提升推薦的準(zhǔn)確性；然而，GCRNN模型并不能為用戶產(chǎn)生動(dòng)態(tài)的推薦列表，降低了模型的實(shí)效性，因此在今后的研究中可以考慮將用戶的點(diǎn)擊項(xiàng)作為輔助信息融合到模型中以產(chǎn)生更有效的推薦列表。

用戶的興趣是動(dòng)態(tài)變化的，為了給用戶產(chǎn)生實(shí)時(shí)推薦列表，文獻(xiàn)［83］提出了一種基于會(huì)話的圖卷積遞歸神經(jīng)網(wǎng)絡(luò)模型，模型的整體框架如圖11所示。預(yù)測(cè)推薦項(xiàng)目的過(guò)程可分為三步：

2）為了處理獲取過(guò)程中遇到的梯度問(wèn)題，選用GRU模型來(lái)獲取節(jié)點(diǎn)向量，最終輸出的的計(jì)算公式如（17）～（20）所示：

預(yù)測(cè)出的的值越大，則代表下一次被點(diǎn)擊的可能性越大，那么通過(guò)對(duì)得到的排序，將值大的會(huì)話依次推薦給用戶。

近年來(lái)基于會(huì)話的匿名推薦多關(guān)注的是用戶的點(diǎn)擊序列，但對(duì)于一個(gè)完整的推薦過(guò)程來(lái)說(shuō)，其他信息（如推薦項(xiàng)目的種類和名稱等）往往被忽略。為了解決上述問(wèn)題，文獻(xiàn)［84］中提出了一種基于會(huì)話的多粒度圖神經(jīng)網(wǎng)絡(luò)推薦模型。該研究認(rèn)為種類是推薦項(xiàng)目的一個(gè)重要特征屬性，對(duì)推薦項(xiàng)目有聚合的作用，因此通過(guò)GNN獲取推薦項(xiàng)目和用戶的種類嵌入信息；接著，通過(guò)注意力機(jī)制捕獲用戶對(duì)項(xiàng)目分配的權(quán)重；最后使用RNN獲得會(huì)話時(shí)序信息并對(duì)用戶進(jìn)行推薦，以提高推薦的泛化能力。但該模型并沒(méi)有研究會(huì)話點(diǎn)擊序列長(zhǎng)度對(duì)推薦效果的影響，另外用戶的長(zhǎng)短期興趣信息也可以嘗試作為補(bǔ)充信息，從而進(jìn)一步研究它對(duì)推薦的影響。

圖11 基于會(huì)話的圖卷積神經(jīng)網(wǎng)絡(luò)推薦框架

GNN對(duì)非歐幾里得數(shù)據(jù)有其強(qiáng)大的提取和表示能力，這是GNN模型的優(yōu)勢(shì)之一。在現(xiàn)有的研究中，基于GNN的推薦還存在以下問(wèn)題：1）本節(jié)中介紹的模型的輸入都是單一的數(shù)據(jù)類型，然而在現(xiàn)實(shí)生活中，數(shù)據(jù)的形式有文本、音頻、圖片等，如何對(duì)異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一的輸入是目前GNN推薦面臨的問(wèn)題；2）目前文獻(xiàn)中所用到的GNN模型都是圖的節(jié)點(diǎn)不為空的情況，然而在現(xiàn)實(shí)生活中，會(huì)存在節(jié)點(diǎn)對(duì)象沒(méi)有存放任何數(shù)據(jù)的情況，目前相關(guān)算法難以處理該類情況。

隨著GPU計(jì)算能力的提高，深度學(xué)習(xí)在大數(shù)據(jù)分析及個(gè)性化推薦中的應(yīng)用越來(lái)越廣泛。深度學(xué)習(xí)模型將用戶的顯式數(shù)據(jù)、隱式數(shù)據(jù)、用戶畫(huà)像等多源異構(gòu)數(shù)據(jù)作為輸入融入到推薦過(guò)程中，通過(guò)輔助數(shù)據(jù)分析用戶和推薦項(xiàng)目隱藏的特征，從而建立預(yù)測(cè)模型，可有效地緩解數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題，達(dá)到提升推薦準(zhǔn)確率和推薦質(zhì)量的目的。表2歸納比較了深度學(xué)習(xí)模型在不同推薦系統(tǒng)中差異。

表2 不同的深度學(xué)習(xí)模型的文獻(xiàn)總結(jié)及優(yōu)點(diǎn)

近年來(lái)，隨著抖音、快手等短視頻平臺(tái)的快速發(fā)展，推薦系統(tǒng)成為了更加流行的研究熱點(diǎn)。目前，深度學(xué)習(xí)模型因能與顯、隱式反饋信息結(jié)合，并將多源異構(gòu)數(shù)據(jù)融合到推薦系統(tǒng)中，從而有效緩解了傳統(tǒng)推薦所面臨的冷啟動(dòng)和數(shù)據(jù)稀疏等問(wèn)題，提高了推薦效果，其優(yōu)點(diǎn)主要表現(xiàn)在：1）當(dāng)遇到非結(jié)構(gòu)化的數(shù)據(jù)（如圖片、視頻）時(shí)，數(shù)據(jù)隱含的特征信息仍然能通過(guò)深度學(xué)習(xí)其強(qiáng)大的表示學(xué)習(xí)能力被提取到。2）對(duì)原始數(shù)據(jù)的類型無(wú)要求，異構(gòu)的數(shù)據(jù)均可以作為輸入，從而進(jìn)一步地獲取目標(biāo)用戶的特征。然而，在不同的應(yīng)用領(lǐng)域，融合深度學(xué)習(xí)模型的推薦算法仍然存在以下不足：1）深度學(xué)習(xí)模型雖然在YouTube視頻、Google地圖等實(shí)際應(yīng)用中取得了不錯(cuò)的效果，但由于視頻、圖片均屬于非結(jié)構(gòu)化的數(shù)據(jù)，且大量的非結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練起來(lái)復(fù)雜度極高且耗時(shí)。因此，未來(lái)對(duì)于在視頻、圖片等領(lǐng)域的推薦模型，應(yīng)盡可能設(shè)計(jì)復(fù)雜度較低高效的模型。2）融合深度學(xué)習(xí)模型的推薦算法類似于一個(gè)黑盒，尤其在類似社交網(wǎng)絡(luò)推薦的問(wèn)題時(shí)，對(duì)于基于目標(biāo)用戶的社交網(wǎng)絡(luò)推薦問(wèn)題，深度學(xué)習(xí)模型往往都是個(gè)性化的推薦，很少有文獻(xiàn)對(duì)此類推薦嘗試群組推薦，未來(lái)對(duì)此方面的改進(jìn)研究可以嘗試建立群組推薦。表3列舉了不同深度模型在不同的推薦領(lǐng)域所需要的數(shù)據(jù)類型及未來(lái)改進(jìn)重點(diǎn)。

表3 深度學(xué)習(xí)在不同推薦領(lǐng)域改進(jìn)方向的比較

3 常用數(shù)據(jù)集

推薦模型及其推薦效果要想獲得公認(rèn)、客觀的評(píng)價(jià)，權(quán)威的數(shù)據(jù)集和統(tǒng)一的評(píng)價(jià)指標(biāo)必不可少，本章主要介紹電影推薦、電子商務(wù)推薦、音樂(lè)推薦、新聞推薦領(lǐng)域一些公開(kāi)的數(shù)據(jù)集以及近年來(lái)一些典型推薦模型的性能指標(biāo)的對(duì)比。表4歸納整理了近年來(lái)有關(guān)推薦問(wèn)題研究中所用到的公開(kāi)數(shù)據(jù)集。

1）電影推薦［85］。MovieLens數(shù)據(jù)集是由明尼蘇達(dá)大學(xué)發(fā)布的一個(gè)包含多個(gè)用戶對(duì)多部電影評(píng)級(jí)的數(shù)據(jù)集，包含了用戶個(gè)人信息和有關(guān)電影的相關(guān)數(shù)據(jù)，因數(shù)據(jù)集的大小不同，目前包括MovieLens 1M、MovieLens 10M、MovieLens 20M三個(gè)版本。

2）電子商務(wù)［86］。Epinions數(shù)據(jù)集包含了139 738個(gè)商品、49 290個(gè)匿名用戶，這些商品至少被評(píng)價(jià)過(guò)一次，共有664 824條評(píng)價(jià)記錄，該數(shù)據(jù)集被廣泛應(yīng)用在商品推薦領(lǐng)域。Amazon數(shù)據(jù)集由Amazon公司內(nèi)部團(tuán)隊(duì)收集數(shù)據(jù)并創(chuàng)建，包含了商品的類別、數(shù)量、標(biāo)價(jià)、用戶的點(diǎn)擊次數(shù)、瀏覽記錄、購(gòu)買(mǎi)情況等。

3）音樂(lè)推薦［87］。Last.fm數(shù)據(jù)集是由馬德里自治大學(xué)的研究小組創(chuàng)建并發(fā)布的，于2011年在第二屆推薦系統(tǒng)信息異構(gòu)與融合國(guó)際研討會(huì)正式公開(kāi)發(fā)布，音樂(lè)推薦算法的模型常常通過(guò)這個(gè)數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，也有研究學(xué)者將此數(shù)據(jù)集用于新聞推薦，以驗(yàn)證算法的通用性。

4）新聞推薦［88］。MIND數(shù)據(jù)集是從微軟新聞網(wǎng)站提取的匿名行為日志的新聞推薦數(shù)據(jù)集，有MIND和MIND-small兩個(gè)版本。MIND數(shù)據(jù)集包含了1 000 000名用戶所瀏覽過(guò)的161 031篇新聞，包含了用戶24 155 470條行為日志；MIND-small數(shù)據(jù)集則包含了50 000名用戶瀏覽過(guò)的93 698篇新聞以及230 117條用戶的行為日志。Adressa數(shù)據(jù)集是由挪威新聞出版社和挪威科技大學(xué)共同收集和發(fā)布的，不過(guò)因其新聞內(nèi)容多為挪威語(yǔ)，因此應(yīng)用常常受限。

5）文本推薦［89］。Yelp數(shù)據(jù)集是美國(guó)最大的點(diǎn)評(píng)網(wǎng)站內(nèi)部整理得到的數(shù)據(jù)集，常用于教育、研究和學(xué)術(shù)；Goodbooks-10k數(shù)據(jù)集來(lái)自goodreads網(wǎng)站，包含用戶的文本評(píng)論，圖書(shū)的標(biāo)簽，被用戶評(píng)論過(guò)的書(shū)的詳細(xì)信息（作者、年份、書(shū)的類型等）。Yelp和Goodbooks-10k數(shù)據(jù)集常用于基于用戶評(píng)論的文本推薦、圖書(shū)推薦等領(lǐng)域。

4 應(yīng)用及比較

傳統(tǒng)推薦算法中的CF是最早被提出且發(fā)展最好的推薦算法。近年來(lái)，以CF為主的改進(jìn)算法不斷涌現(xiàn)，如基于PFM的協(xié)同過(guò)濾、融合時(shí)間因素的協(xié)同過(guò)濾、基于知識(shí)圖譜的協(xié)同過(guò)濾、基于信任因子的協(xié)同過(guò)濾等，這些算法都取得了令人滿意的推薦效果。相比CF，CB更多地是作為輔助算法，CB包括特征提取和產(chǎn)生推薦列表兩個(gè)過(guò)程，很容易造成推薦性能低的問(wèn)題。混合推薦算法是各種推薦算法的組合，能夠讓不同的推薦算法相互彌補(bǔ)不足，能有效地緩解數(shù)據(jù)稀疏的問(wèn)題。目前，基于深度學(xué)習(xí)的推薦的核心是將不同的深度學(xué)習(xí)模型與CF或CB組合，其推薦過(guò)程可分為兩步：1）讓深度學(xué)習(xí)模型學(xué)習(xí)用戶或項(xiàng)目隱含的潛在特征，并和CF結(jié)合構(gòu)建優(yōu)化函數(shù)對(duì)參數(shù)進(jìn)行訓(xùn)練；2）從完成訓(xùn)練的模型中獲取最終的隱向量，接著完成向用戶推薦的過(guò)程。

在面對(duì)復(fù)雜龐大的數(shù)據(jù)時(shí)，傳統(tǒng)推薦算法常常無(wú)法快速建模且表示性較差，而深度學(xué)習(xí)可以對(duì)復(fù)雜問(wèn)題分層處理，能快速發(fā)現(xiàn)每一層數(shù)據(jù)之間潛在的規(guī)律和聯(lián)系。基于深度學(xué)習(xí)的推薦通過(guò)融入輔助信息能有效地緩解傳統(tǒng)推薦技術(shù)的數(shù)據(jù)稀疏和冷啟動(dòng)等問(wèn)題?，F(xiàn)有研究大多根據(jù)具體的輔助信息而選取不同的深度學(xué)習(xí)模型，在以后的研究中可以嘗試針對(duì)所有的輔助信息建立一個(gè)統(tǒng)一的混合推薦模型。

表5整理了不同推薦技術(shù)在電影、音樂(lè)、新聞、社交網(wǎng)絡(luò)、視頻和廣告等六個(gè)典型領(lǐng)域中的應(yīng)用，并列舉了這六個(gè)領(lǐng)域中代表性的推薦模型、需要的數(shù)據(jù)信息以及模型特點(diǎn)。

表4 常用公開(kāi)數(shù)據(jù)集歸納統(tǒng)計(jì)信息

表5 推薦技術(shù)在不同領(lǐng)域的應(yīng)用

5 推薦系統(tǒng)面臨的挑戰(zhàn)和研究趨勢(shì)

推薦系統(tǒng)旨在從海量的推薦對(duì)象中幫助用戶發(fā)現(xiàn)符合其偏好的推薦項(xiàng)。本文分析了四類不同的推薦系統(tǒng)，包括基于內(nèi)容的推薦技術(shù)、基于協(xié)同過(guò)濾的推薦技術(shù)、混合推薦技術(shù)以及基于深度學(xué)習(xí)的推薦系統(tǒng)，雖然這些推薦技術(shù)已經(jīng)取得了令人滿意的推薦效果，但仍面臨以下挑戰(zhàn)，未來(lái)可以嘗試在以下這些方面進(jìn)行研究：

1）通過(guò)動(dòng)態(tài)信息為用戶推薦項(xiàng)目。大部分文獻(xiàn)中所提到的推薦技術(shù)都是通過(guò)靜態(tài)信息（假定用戶的行為記錄不改變）對(duì)用戶推薦商品。然而，在實(shí)際生活中，用戶的喜好會(huì)隨著時(shí)間、空間以及內(nèi)和外部環(huán)境的變化而變化，因此，未來(lái)對(duì)用戶偏好建模時(shí)可以考慮動(dòng)態(tài)的推薦算法。文獻(xiàn)［98］中通過(guò)建立深度遞歸神經(jīng)網(wǎng)絡(luò)模型，使得用戶每打開(kāi)一個(gè)新的Web頁(yè)面，都會(huì)刷新推薦結(jié)果，從而實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)推薦服務(wù)。類似地，文獻(xiàn)［99］中通過(guò)建立基于遞歸神經(jīng)網(wǎng)絡(luò)的協(xié)作序列模型，能夠準(zhǔn)確地捕獲用戶上下文狀態(tài)隱藏的特征向量，為用戶動(dòng)態(tài)地推薦項(xiàng)目。然而，目前動(dòng)態(tài)實(shí)時(shí)地為用戶推薦方面的研究較少，如何根據(jù)用戶的偏好變化動(dòng)態(tài)地為用戶推薦項(xiàng)目，仍是未來(lái)推薦系統(tǒng)研究的熱點(diǎn)之一。

2）推薦系統(tǒng)安全性有待提高。大規(guī)模的在線網(wǎng)站吸引了海量用戶的加入，尤其是社交網(wǎng)站的發(fā)展，精確地為用戶推薦感興趣的項(xiàng)目成了各個(gè)網(wǎng)站吸引用戶手段之一，而只有對(duì)用戶的多維度（特征）信息的挖掘才能更容易找到符合其偏好的推薦對(duì)象。事實(shí)上，用戶在期望推薦系統(tǒng)推薦感興趣的商品時(shí)，并不希望個(gè)人的其他隱私被公開(kāi)，目前的研究都是通過(guò)數(shù)據(jù)扭曲和數(shù)據(jù)模糊的算法擾亂用戶的信息。這種數(shù)據(jù)擾亂雖對(duì)用戶的個(gè)人隱私做到了保護(hù)，但也會(huì)導(dǎo)致提取到的用戶信息并不準(zhǔn)確，大大降低了推薦的準(zhǔn)確性，因此，接下來(lái)可以著重研究一種既能保護(hù)用戶隱私又可以提高推薦準(zhǔn)確性的方法。

3）缺少提取用戶偏好特征的方法。目前的推薦系統(tǒng)推薦對(duì)象更多的是依賴用戶對(duì)推薦項(xiàng)目的評(píng)分或者反饋信息，而忽略了用戶和推薦對(duì)象本身的特征，目前研究缺少適當(dāng)?shù)慕７椒▽?duì)用戶和推薦項(xiàng)目的特征、線性和非線性關(guān)系進(jìn)行多維的提取。因此，接下來(lái)的研究中需引入更多樣的方式來(lái)提取用戶和推薦對(duì)象的特征。

4）評(píng)價(jià)推薦系統(tǒng)的性能指標(biāo)單一?，F(xiàn)有的研究在衡量推薦系統(tǒng)性能時(shí)，它們多關(guān)注的是推薦結(jié)果是否準(zhǔn)確以及準(zhǔn)確率是多少，它們認(rèn)為準(zhǔn)確率是衡量推薦系統(tǒng)好壞的最關(guān)鍵指標(biāo)。推薦的準(zhǔn)確率高，則認(rèn)為這個(gè)推薦系統(tǒng)是好的；反之，則不是一個(gè)好的推薦。但是，用戶在真正使用這些應(yīng)用程序時(shí)，不僅希望系統(tǒng)可以精確地推薦感興趣的項(xiàng)目，也期待出現(xiàn)更加多樣且新穎的推薦。因此，在未來(lái)研究中推薦項(xiàng)目的新穎性、多樣性都應(yīng)該作為推薦系統(tǒng)的評(píng)價(jià)指標(biāo)。

6 結(jié)語(yǔ)

隨著深度學(xué)習(xí)、數(shù)據(jù)挖掘、預(yù)測(cè)算法等技術(shù)的不斷成熟，提高推薦系統(tǒng)的準(zhǔn)確率、安全性、隱私性將成為未來(lái)研究的熱點(diǎn)。本文深入分析了傳統(tǒng)推薦方法以及融入了不同深度學(xué)習(xí)模型的推薦方法，整理總結(jié)了不同推薦領(lǐng)域常用的數(shù)據(jù)集，對(duì)比了傳統(tǒng)推薦模型和基于深度學(xué)習(xí)模型的區(qū)別，嘗試對(duì)推薦系統(tǒng)現(xiàn)存問(wèn)題進(jìn)行了總結(jié)并對(duì)推薦系統(tǒng)的未來(lái)發(fā)展方向做了展望，希望能對(duì)推薦系統(tǒng)領(lǐng)域或深度學(xué)習(xí)領(lǐng)域感興趣的研究人員提供有益的幫助。

[1] 周惠宏，柳益君，張尉青，等. 推薦技術(shù)在電子商務(wù)中的運(yùn)用綜述［J］.計(jì)算機(jī)應(yīng)用研究， 2004， 21（1）：8-12.（ZHOU H H， LIU Y J， ZHANG W Q， et al. A survey of recommender system applied in E-commerce［J］. Application Research of Computers， 2004， 21（1）：8-12.）

[2] 劉君良，李曉光. 個(gè)性化推薦系統(tǒng)技術(shù)進(jìn)展［J］. 計(jì)算機(jī)科學(xué)， 2020， 47（7）：47-55.（LIU J L， LI X G. Techniques for recommendation system： a survey［J］. Computer Science， 2020， 47（7）： 47-55.）

[3] SONG Y， ELKAHKY A M， HE X D. Multi-rate deep learning for temporal recommendation［C］// Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2016： 909-912.

[4] ZHANG S， YAO L N， SUN A X， et al. Deep learning based recommender system： a survey and new perspectives［J］. ACM Computing Surveys， 2020， 52（1）： No.5.

[5] GOODWIN P， KEITH ORD J， ?LLER L-E， et al. Principles of Forecasting： A Handbook for Researchers and Practitioners［M］. Boston， MA： Kluwer Academic，2001： 61-70.

[6] RESNICK P， VARIAN H R. Recommender systems［J］. Communications of the ACM， 1997， 40（3）：56-58.

[7] SUN M X， LEBANON G， KIDWELL P. Estimating probabilities in recommendation systems［C］// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2011： 734-742.

[8] LIU H Y， HE J， WANG T T， et al. Combining user preferences and user opinions for accurate recommendation［J］. Electronic Commerce Research and Applications， 2013， 12（1）：14-23.

[9] ADOMAVICIUS G， TUZHILIN A. Toward the next generation of recommender systems： a survey of the state-of-the-art and possible extensions［J］. IEEE Transactions on Knowledge and Data Engineering， 2005， 17（6）： 734-749.

[10] HA S H. Helping online customers decide though Web personalization［J］. IEEE Intelligent Systems， 2002，17（6）：34-43.

[11] VERBERT K， MANOUSELIS N， OCHOA X， et al. Context-aware recommender systems for learning： a survey and future challenges［J］. IEEE Transactions on Learning Technologies， 2012， 5（4）： 318-335.

[12] MOONEY R J， ROY L. Content-based book recommending using learning for text categorization［C］// Proceedings of the 5th ACM Conference on Digital Libraries. New York： ACM， 2000： 195-204.

[13] BREESE J S， HECKERMAN D， KADIE C. Empirical analysis of predictive algorithms for collaborative filtering［C］// Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence. San Francisco： Morgan Kaufmann Publishers Inc.， 1998： 43-52.

[14] BALABANOVI? M， SHOHAM Y. Fab： content-based， collaborative recommendation［J］. Communications of the ACM， 1997， 40（3）： 66-72.

[15] LIU L W， LECUE F， MEHANDJIEV N. Semantic content-based recommendation of software services using context［J］. ACM Transactions on the Web， 2013， 7（3）： No.17.

[16] SEGEV A， TOCH E. Context-based matching and ranking of Web services for composition［J］. IEEE Transactions on Services Computing， 2009， 2（3）： 210-222.

[17] BROENS T， POKRAEV S， SINDEREN M van， et al. Context-aware， ontology-based service discovery［C］// Proceedings of the 2004 European Symposium on Ambient Intelligence， LNCS 3295. Berlin： Springer， 2004： 72-83.

[18] MEDJAHED B， ATIF Y. Context-based matching for Web service composition［J］. Distributed and Parallel Databases， 2007， 21（1）： 5-37.

[19] 許海玲，吳瀟，李曉東，等. 互聯(lián)網(wǎng)推薦系統(tǒng)比較研究［J］. 軟件學(xué)報(bào)， 2009， 20（2）：350-362.（XU H L， WU X， LI X D， et al. Comparative research on Internet recommendation systems［J］. Journal of Software， 2009， 20（2）： 350-362.）

[20] 黃立威，江碧濤，呂守業(yè)，等. 基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述［J］.計(jì)算機(jī)學(xué)報(bào)， 2018， 41（7）： 1619-1647.（HUANG L W， JIANG B T， LYU S Y， et al. Comparison study of Internet recommendation system［J］. Chinese Journal of Computers， 2018， 41（7）： 1619-1647.）

[21] GOLDBERG D， NICHOLS D， OKI B M， et al. Using collaborative filtering to weave an information tapestry［J］. Communications of the ACM， 1992， 35（12）：61-70.

[22] CAI Y， LEUNG H F， LI Q， et al. Typicality-based collaborative filtering recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2014， 26（3）： 766-779.

[23] DESHPANDE M， KARYPIS G. Item-based top-recommendation algorithms［J］. ACM Transactions on Information Systems， 2004， 22（1）： 143-177.

[24] KOREN Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model［C］// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426-434.

[25] MA W M， SHI J F， ZHAO R D. Normalizing item-based collaborative filter using context-aware scaled baseline predictor［J］. Mathematical Problems in Engineering， 2017， 2017： No.6562371.

[26] 周萬(wàn)珍，曹迪，許云峰，等. 推薦系統(tǒng)研究綜述［J］. 河北科技大學(xué)學(xué)報(bào)， 2020， 41（1）： 76-87.（ZHOU W Z， CAO D， XU Y F， et al. A survey of recommender systems［J］. Journal of Hebei University of Science and Technology， 2020， 41（1）： 76-87）

[27] SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms［C］// Proceedings of the 10th International Conference on World Wide Web. New York： ACM， 2001： 285-295.

[28] RESNICK P， IACOVOU N， SUCHAK M， et al. GroupLens： an open architecture for collaborative filtering of netnews［C］// Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. New York： ACM， 1994： 175-186.

[29] YOO H， CHUNG K. Deep learning-based evolutionary recommendation model for heterogeneous big data integration［J］. KSII Transactions on Internet and Information Systems， 2020， 14（9）： 3730-3744.

[30] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization ［C］// Proceedings of the 20th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2007： 1257-1264.

[31] FUNK S. Funk-SVD［EB/OL］. （2006-12-11）［2020-11-01］.http：//sifter.org/simon/journal/20061211.html.

[32] LI G， OU W H. Pairwise probabilistic matrix factorization for implicit feedback collaborative filtering［J］. Neurocomputing， 2016， 204： 17-25.

[33] STRAHL J， PELTONEN J， MAMITSUKA H， et al. Scalable probabilistic matrix factorization with graph-based priors［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 5851-5858.

[34] XU C H. A novel recommendation method based on social network using matrix factorization technique［J］. Information Processing and Management， 2018， 54（3）： 463-474.

[35] 王運(yùn)，倪靜，馬剛. 基于FunkSVD矩陣分解和相似度矩陣的推薦算法［J］. 計(jì)算機(jī)應(yīng)用與軟件， 2019， 36（12）：245-250.（WANG Y， NI J， MA G. Recommendation algorithm based on FunkSVD matrix decomposition and similarity matrix［J］. Computer Applications and Software， 2019， 36（12）：245-250.）

[36] DEEP K， THAKUR M. A new crossover operator for real coded genetic algorithms［J］. Applied Mathematics and Computation， 2007， 188（1）： 895-911.

[37] KOREN Y. Collaborative filtering with temporal dynamics［C］// Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2009： 447-456.

[38] KOREN Y. Factor in the neighbors： scalable and accurate collaborative filtering［J］. ACM Transactions on Knowledge Discovery from Data， 2010， 4（1）： No.1.

[39] DE CAMPOS L M， FERNáNDEZ-LUNA J M， HUETE J F， et al. Combining content-based and collaborative recommendations： a hybrid approach based on Bayesian networks［J］. International Journal of Approximate Reasoning， 2010， 51（7）： 785-799.

[40] PAZZANI M J. A framework for collaborative， content-based and demographic filtering［J］. Artificial Intelligence Review， 1999， 13（5/6）： 393-408.

[41] ZHANG H， GE D C， ZHANG S Y. Hybrid recommendation system based on semantic interest community and trusted neighbors［J］. Multimedia Tools and Applications， 2018， 77（4）： 4187-4202.

[42] HUANG Z H， YU C， NI J， et al. An efficient hybrid recommendation model with deep neural networks［J］. IEEE Access， 2019， 7： 137900-137912.

[43] HU J J， LIU L Z， ZHANG C Y， et al. Hybrid recommendation algorithm based on latent factor model and PersonalRank［J］. Journal of Internet Technology， 2018， 19（3）： 919-926.

[44] CHEN S J， QIN Z， WILSON Z， et al. Improving recommendation quality in Google Drive［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery. New York： ACM， 2020： 2900-2908.

[45] SHAN Y， HOENS T R， JIAO J， et al. Deep crossing： web-scale modeling without manually crafted combinatorial features［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 255-262.

[46] HOENS T R， BLANTON M， STEELE A， et al. Reliable medical recommendation systems with patient privacy［J］. ACM Transactions on Intelligent Systems and Technology， 2010， 4（4）： No.67.

[47] FANG L J， KIM H， LeFEVRE K， et al. A privacy recommendation wizard for users of social networking sites［C］// Proceedings of the 17th ACM Conference on Computer and Communications Security. New York： ACM， 2010： 630-632.

[48] 蔣偉. 推薦系統(tǒng)若干關(guān)鍵技術(shù)研究［D］. 成都：電子科技大學(xué)， 2018： 10-20.（（JIANG W. Research on some key technologies of recommender systems［D］. Chengdu： University of Electronic Science and Technology of China， 2018： 10-20.）

[49] COVINGTON P， ADAMS J， SARGIN E. Deep neural networks for YouTube recommendations［C］// Proceedings of the 10th ACM Conference on Recommender Systems. New York： ACM， 2016： 191-198.

[50] CHENG H T， KOC L， HARMSEN J， et al. Wide & Deep learning for recommender systems［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 7-10.

[51] XU X. Matrix factorization recommendation algorithm based on deep neural network［C］// Proceedings of the 2nd International Conference on Information Systems and Computer Aided Education. Piscataway： IEEE， 2019： 320-323.

[52] ZHANG L， LUO T， ZHANG F， et al. A recommendation model based on deep neural network［J］. IEEE Access， 2018， 6： 9454-9463.

[53] RUMELHART D E， HINTON G E， WILLIAMS R J. Learning representations by back-propagating errors［J］. Nature， 1986， 323（6088）： 533-536.

[54] OKURA S， TAGAMI Y， ONO S， et al. Embedding-based news recommendation for millions of users［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 1933-1942.

[55] SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 3104-3112.

[56] ZHANG Y， PEZESHKI M， BRAKEL P， et al. Towards end-to-end speech recognition with deep convolutional neural networks［C］// Proceedings of the InterSpeech 2016. ［S.l.］： International Speech Communication Association， 2016： 410-414.

[57] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.

[58] CUI Q， WU S， LIU Q， et al. MV-RNN： a multi-view recurrent neural network for sequential recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2020， 32（2）： 317-331.

[59] HUANG J， ZHAO W X， DOU H j， et al. Improving sequential recommendation with knowledge-enhanced memory networks［C］// Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2018： 505-514.

[60] LIN Q K， NIU Y Q， ZHU Y F， et al. Heterogeneous knowledge-based attentive neural networks for short-term music recommendations［J］. IEEE Access， 2018， 6： 58990-59000.

[61] SONG W P， XIAO Z P， WANG Y F， et al. Session-based social recommendation via dynamic graph attention networks［C］// Proceedings of the 12th ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 555-563.

[62] 張昕，劉思遠(yuǎn)，徐雁翎. 結(jié)合注意力機(jī)制的知識(shí)感知推薦算法［J/OL］. 計(jì)算機(jī)工程與應(yīng)用. （2021-03-31）［2021-04-11］.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210330.1708.026.html.（ZHANG X， LIU S Y， XU Y L. Knowledge-aware recommendation algorithm combined with attention mechanism［J/OL］. Computer Engineering and Applications. （2021-03-31）［2021-04-11］.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210330.1708.026.html.）

[63] 任柯舟，彭甫镕，郭鑫，等. 動(dòng)態(tài)融合社交信息的社會(huì)化推薦［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（10）： 2806-2812.（REN K Z， PENG F R， GUO X， et al. Social recommendation based on dynamic integration of social information［J］. Journal of Computer Applications， 2021， 41（10）： 2806-2812.）

[64] LI Y， LIU T， JIANG J， et al. Hashtag recommendation with topical attention-based LSTM［C］// Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. ［S.l.］： The COLING 2016 Organizing Committee， 2016： 3019-3029.

[65] DEY K， SHRIVASTAVA R， KAUSHIK S. Topical stance detection for Twitter： a two-phase LSTM model using attention［C］// Proceedings of the 2018 European Conference on Information Retrieval. Cham： Springer， 2018： 529-536.

[66] WU Q T， ZHANG H R， GAO X F， et al. Dual graph attention networks for deep latent representation of multifaceted social effects in recommender systems［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 2091-2102.

[67] LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[68] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-02-20］.https：//arxiv.org/pdf/1409.1556.pdf.

[69] HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4700-4708.

[70] OORD A van den， DIELEMAN S， SCHRAUWEN B. Deep content-based music recommendation［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 2643-2651.

[71] GENG X， ZHANG H W， BIAN J W， et al. Learning image and user features for recommendation in social networks［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 4274-4282.

[72] KIM D， PARK C， OH J， et al. Convolutional matrix factorization for document context-aware recommendation［C］// Proceedings of the 10th ACM Conference on Recommender Systems. New York： ACM， 2016： 233-240.

[73] GONG Y Y， ZHANG Q. Hashtag recommendation using attention-based convolutional neural network［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2016： 2782-2788.

[74] ZHANG Q， WANG J W， HUANG H R， et al. Hashtag recommendation for multimodal microblog using co-attention network［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 3420-3426.

[75] 黃文明，衛(wèi)萬(wàn)成，張健，等. 基于注意力機(jī)制與評(píng)論文本深度模型的推薦方法［J］. 計(jì)算機(jī)工程， 2019， 45（9）：176-182.（HUANG W M， WEI W C， ZHANG J， et al. Recommendation method based on attention mechanism and review text deep model［J］. Computer Engineering， 2019， 45（9）： 176-182.）

[76] LI Z， SHEN X， JIAO Y H， et al. Hierarchical bipartite graph neural networks： towards large-scale e-commerce applications［C］// Proceedings of the IEEE 36th International Conference on Data Engineering. Piscataway： IEEE， 2020： 1677-1688.

[77] ZHANG M G， YANG Z Y. GACOforRec： session-based graph convolutional neural networks recommendation model［J］. IEEE Access， 2019， 7： 114077-114085.

[78] SHI X J， CHEN Z R， WANG H， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 802-810.

[79] 王英博，孫永荻. 基于GNN的矩陣分解推薦算法［J］. 計(jì)算機(jī)工程與應(yīng)用， 2021， 57（19）：129-134.（WANG Y B， SUN Y D. GNN-based matrix factorization recommendation algorithm［J］. Computer Engineering and Applications， 2021， 57（19）：129-134.）

[80] DENG S G， HUANG L T， XU G D， et al. On deep learning for trust-aware recommendations in social networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（5）： 1164-1177.

[81] YANG J H， CHEN C M， WANG C J， et al. HOP-Rec： high-order proximity for implicit recommendation［C］// Proceedings of the 12th ACM Conference on Recommender Systems. New York： ACM， 2018： 140-144.

[82] LIN S D， RUNGER G C. GCRNN： group-constrained convolutional recurrent neural network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（10）： 4709-4718.

[83] 曹萬(wàn)平，周剛，陳黎，等. 基于會(huì)話的圖卷積遞歸神經(jīng)網(wǎng)絡(luò)推薦模型［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 58（2）：66-72.（CAO W P， ZHOU G， CHEN L， et al. Session-based graph convolutional recurrent neural networks recommendation model［J］. Journal of Sichuan University （Natural Science Edition）， 2021， 58（2）：66-72.）

[84] 任俊偉，曾誠(chéng)，肖絲雨，等. 基于會(huì)話的多粒度圖神經(jīng)網(wǎng)絡(luò)推薦模型［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（11）： 3164-3170.（REN J W， ZENG C， XIAO S Y， et al. Session-based recommendation model of multi-granular graph neural network［J］. Journal of Computer Applications， 2021， 41（11）： 3164-3170.）

[85] HARPER F M， KONSTAN J A. The MovieLens datasets： history and context［J］. ACM Transactions on Interactive Intelligent Systems， 2016， 5（4）： No.19.

[86] CHIA P H， PITSILIS G. Exploring the use of explicit trust links for filtering recommenders： a study on Epinions.com［J］. Journal of Information Processing， 2011， 19： 332-344.

[87] CANTADOR I， BRUSILOVSKY P， KUFLIK T. Second workshop on information heterogeneity and fusion in recommender systems （HetRec2011）［C］// Proceedings of the 5th ACM Conference on Recommender Systems. New York： ACM， 2011： 387-388.

[88] WU F Z， QIAO Y， CHEN J H， et al. MIND： a large-scale dataset for news recommendation［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3597-3606.

[89] KRONMUELLER M， CHANG D J， HU H Q， et al. A graph database of Yelp Dataset Challenge 2018 and using cypher for basic statistics and graph pattern exploration［C］// Proceedings of the 2018 IEEE International Symposium on Signal Processing and Information Technology. Piscataway： IEEE， 2018： 135-140.

[90] ZHOU M， ZHANG C H， HAN X， et al. Knowledge graph completion for hyper-relational data［C］// Proceedings of the 2016 International Conference on Big Data Computing and Communications， LNISA 9784. Cham： Springer， 2016： 236-246.

[91] SHEN T C， JIA J， LI Y， et al. PEIA： personality and emotion integrated attentive model for music recommendation on social media platforms［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 206-213.

[92] LIU C L， CHEN Y C. Background music recommendation based on latent factors and moods［J］. Knowledge-Based Systems， 2018， 159： 158-170.）

[93] WU C H， WU F Z， AN M X， et al. NPA： neural news recommendation with personalized attention［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 2576-2584.

[94] AN M X， WU F Z， WU C H， et al. Neural news recommendation with long-and short-term user representations［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 336-345.

[95] WANG X， HE X N， NIE L Q， et al. Item silk road： recommending items from information domains to social users［C］// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 185-194.

[96] KAZIENKO P， ADAMSKI M. AdROSA — adaptive personalization of web advertising［J］. Information Sciences， 2007， 177（11）： 2269-2295.

[97] YAO X Z， CHEN Y Y， LIAO R ， et al. Face based advertisement recommendation with deep learning： a case study［C］// Proceedings of the 2017 International Conference on Smart Computing and Communication， LNISA 10699. Cham： Springer， 2018： 96-102.

[98] WU S， REN W C， YU C C， et al. Personal recommendation using deep recurrent neural networks in NetEase［C］// Proceedings of the IEEE 32nd International Conference on Data Engineering. Piscataway： IEEE， 2016： 1218-1229.

[99] WU S， REN W C， YU C C， et al. Personal recommendation using deep recurrent neural networks in NetEase［C］// Proceedings of the IEEE 32nd International Conference on Data Engineering. Piscataway： IEEE， 2016： 1218-1229.

Review of recommendation system

YU Meng， HE Wentao， ZHOU Xuchuan*， CUI Mengtian， WU Keqi， ZHOU Wenjie

（（），610041，）

With the continuous development of network applications， network resources are growing exponentially and information overload is becoming increasingly serious， so how to efficiently obtain the resources that meet the user needs has become one of the problems that bothering people. Recommendation system can effectively filter mass information and recommend the resources that meet the users needs. The research status of the recommendation system was introduced in detail， including three traditional recommendation methods of content-based recommendation， collaborative filtering recommendation and hybrid recommendation， and the research progress of four common deep learning recommendation models based on Convolutional Neural Network （CNN）， Deep Neural Network （DNN）， Recurrent Neural Network （RNN） and Graph Neural Network （GNN） were analyzed in focus. The commonly used datasets in recommendation field were summarized， and the differences between the traditional recommendation algorithms and the deep learning-based recommendation algorithms were analyzed and compared. Finally， the representative recommendation models in practical applications were summarized， and the challenges and the future research directions of recommendation system were discussed.

recommendation algorithm; collaborative filtering; deep learning; Convolutional Neural Network (CNN); Deep Neural Network (DNN); Recurrent Neural Network (RNN); Graph Neural Network (GNN)

This work is partially supported by National Natural Science Foundation of China （12050410248）， Science and Technology Program of Sichuan Province （2021YFH0120）， Southwest Minzu University Graduate Innovative Research Project （CX2020SZ04）.

YU Meng， born in 1995， M. S. candidate. Her research interests include recommendation system， information filtering， data mining.

HE Wentao，born in 1996， M. S. candidate. His research interests include deep learning， data mining.

ZHOU Xuchuan， born in 1972， Ph. D.， professor. His research interests include data mining， deep learning.

CUI Mengtian， born in 1972， Ph. D.， professor. Her research interests include intelligent information processing.

WU Keqi， born in 1997， M. S. candidate. His research interests include recommendation system.

ZHOU Wenjie， born in 1997， M. S. candidate. His research interests include data mining.

TP391

A

1001-9081（2022）06-1898-16

10.11772/j.issn.1001-9081.2021040607

2021?04?19；

2021?07?14；

2021?07?20。

國(guó)家自然科學(xué)基金資助項(xiàng)目（12050410248）；四川省科技計(jì)劃項(xiàng)目（2021YFH0120）；西南民族大學(xué)研究生創(chuàng)新型科研項(xiàng)目（CX2020SZ04）。

于蒙（1995—），女，寧夏固原人，碩士研究生，CCF會(huì)員，主要研究方向：推薦系統(tǒng)、信息過(guò)濾、數(shù)據(jù)挖掘；何文濤（1996—），男，湖南永州人，碩士研究生，主要研究方向：深度學(xué)習(xí)、數(shù)據(jù)挖掘；周緒川（1972—），男，重慶人，教授，博士，CCF會(huì)員，主要研究方向：數(shù)據(jù)挖掘、深度學(xué)習(xí)；崔夢(mèng)天（1972—），女，內(nèi)蒙古烏蘭浩特人，教授，博士，主要研究方向：智能信息處理；吳克奇（1997—），男，湖北孝感人，碩士研究生，主要研究方向：推薦系統(tǒng)；周文杰（1997—），男，四川廣安人，碩士研究生，主要研究方向：數(shù)據(jù)挖掘。