聯(lián)合多層注意力網(wǎng)絡(luò)矩陣分解的推薦算法

李建紅，黃雅凡，王成軍，丁云霞，鄭文軍，李建華，錢付蘭，趙 鑫

(1.安徽理工大學(xué) 人工智能學(xué)院，安徽 淮南 232001；2.安徽中科美絡(luò)信息技術(shù)有限公司，安徽 合肥 230601；3.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601)

0 引言

近年來，隨著科學(xué)技術(shù)的發(fā)展，個(gè)性化服務(wù)開始應(yīng)用于日常生活中如在線購物和電影推薦等，展現(xiàn)出蓬勃的生機(jī)。但是數(shù)據(jù)量爆炸式增長(zhǎng)導(dǎo)致數(shù)據(jù)“過載”的情況使得用戶無法獲得較好的個(gè)性化服務(wù)體驗(yàn)。與此同時(shí)，這些數(shù)據(jù)往往能帶來巨大的經(jīng)濟(jì)效益[1]。推薦系統(tǒng)應(yīng)運(yùn)而生，在緩解數(shù)據(jù)“過載”問題的同時(shí)還能提供較好的個(gè)性化推薦，并且能給商家?guī)砜捎^的經(jīng)濟(jì)效益，如淘寶、亞馬遜和京東等電商平臺(tái)就大規(guī)模使用推薦系統(tǒng)。推薦系統(tǒng)的核心是推薦算法，協(xié)同過濾算法[2]是常用的推薦算法，其基本形式主要包括基于用戶和基于項(xiàng)目?jī)煞N。基于用戶的協(xié)同過濾算法是計(jì)算用戶間的相似性大?。欢陧?xiàng)目的協(xié)同過濾算法是計(jì)算用戶所有的項(xiàng)目存在的相似性。最后預(yù)測(cè)出用戶可能喜歡的項(xiàng)目。與項(xiàng)目總數(shù)相比，項(xiàng)目被用戶評(píng)分的數(shù)據(jù)非常少，預(yù)測(cè)的準(zhǔn)確性也會(huì)受到影響。隨著數(shù)據(jù)的增加，數(shù)據(jù)的稀疏性會(huì)變得越來越大，從而導(dǎo)致獲得用戶偏好信息比較困難。因此許多研究人員在協(xié)同過濾算法的基礎(chǔ)上改進(jìn)的矩陣分解算法是現(xiàn)在許多推薦系統(tǒng)廣泛使用的一種推薦算法[3-5]。矩陣分解的核心思想是根據(jù)用戶和項(xiàng)目之間可以建立的某種關(guān)系，將用戶和項(xiàng)目映射到相同的空間，然后利用算法學(xué)習(xí)用戶和項(xiàng)目的低維度表示。最后采用點(diǎn)積作為匹配函數(shù)計(jì)算匹配得分。在此基礎(chǔ)上，He等[6]提出了eALS算法，其做法是利用沒有觀察到的交互數(shù)據(jù)作為負(fù)采樣，并利用項(xiàng)目流行度對(duì)其賦值。這類算法的缺點(diǎn)是沒有充分挖掘用戶對(duì)項(xiàng)目的偏好信息，無法獲得較好的推薦效果。

近年來，以深度學(xué)習(xí)[7]為代表的人工智能技術(shù)不斷在計(jì)算機(jī)視覺、自然語言處理和語音識(shí)別等方面取得突破性進(jìn)展，原因在于深度學(xué)習(xí)技術(shù)對(duì)各種異構(gòu)數(shù)據(jù)如圖像和文本數(shù)據(jù)能夠映射到同一空間中并學(xué)習(xí)到很好的向量表示，因此許多專家學(xué)者嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于推薦算法中，對(duì)用戶與項(xiàng)目交互數(shù)據(jù)的特征表示進(jìn)行學(xué)習(xí)，利用學(xué)習(xí)到的特征而獲得用戶對(duì)項(xiàng)目的偏好信息，從而提升推薦精度。Xue等[8]提出了深度矩陣分解技術(shù)(DMF)，他們認(rèn)為對(duì)輸入信息分別設(shè)計(jì)用戶神經(jīng)網(wǎng)絡(luò)和項(xiàng)目神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)較好的表示。相比于原始的矩陣分解算法，深度矩陣分解不僅采用點(diǎn)積獲得匹配分?jǐn)?shù)，同時(shí)還利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入信息的表示，從而能夠獲得較好的推薦效果。

此外，由于深度學(xué)習(xí)具有強(qiáng)大的表示學(xué)習(xí)能力，許多專家學(xué)者提出了各種基于深度神經(jīng)網(wǎng)絡(luò)的推薦算法，如Cheng等[9]提出了Wide & Deep 算法并成功應(yīng)用于APP推薦，其核心思想是利用Wide模型學(xué)習(xí)數(shù)據(jù)中的記憶信息。因?yàn)樗麄兎治鰯?shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)中存在“記憶信息”，即如果用戶喜歡淘寶購物，那么他也有可能在京東商城購物；而對(duì)于Deep模型通過非線性結(jié)構(gòu)學(xué)習(xí)用戶對(duì)項(xiàng)目的偏好信息。Guo等[10]認(rèn)為Wide &Deep 算法不能共享輸入和參數(shù)優(yōu)化。此外，錢等[11]在此基礎(chǔ)上提出了深度混合模型(DeepHM)的推薦算法，使模型在共享算法和參數(shù)優(yōu)化的情況下能夠提升評(píng)分推薦的性能。但是這些算法只是簡(jiǎn)單利用深度神經(jīng)網(wǎng)絡(luò)而沒有獲得各用戶和項(xiàng)目的權(quán)重值，即沒有充分使用交互數(shù)據(jù)獲得的關(guān)系信息。此外，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，注意力網(wǎng)絡(luò)[12]也開始廣泛應(yīng)用于圖像和自然語言處理等領(lǐng)域，然而很少有人將其結(jié)合矩陣分解技術(shù)應(yīng)用于個(gè)性化推薦當(dāng)中。

為了解決上述問題，本文提出了聯(lián)合多層注意力網(wǎng)絡(luò)的矩陣分解算法(MAMF)。首先，該算法擴(kuò)展了深度神經(jīng)網(wǎng)絡(luò)框架，并加入原始點(diǎn)積操作而得到DeepMF,以獲得用戶的偏好信息。此外，在DeepMF基礎(chǔ)上，加入多層注意力網(wǎng)絡(luò)，從而使用戶對(duì)不同項(xiàng)目分配不同的權(quán)重而得到DeepAMF；最后將兩者結(jié)合得到MAMF。實(shí)驗(yàn)表明，相比于其他算法，該文提出的MAMF算法具有較好的推薦效果。

本文的主要貢獻(xiàn)如下：

(1)對(duì)輸入信息分別進(jìn)行多層感知機(jī)學(xué)習(xí)和點(diǎn)積操作，獲得用戶對(duì)項(xiàng)目的偏好信息。

(2)在多層感知機(jī)中加入多層注意力網(wǎng)絡(luò)和輸出進(jìn)行點(diǎn)積操作，是因?yàn)槟軌蚶糜脩魧?duì)不同項(xiàng)目分配的權(quán)重，從而能夠獲得不同用戶對(duì)不同項(xiàng)目的偏好信息。

(3)將以上兩點(diǎn)融合在一起并提出聯(lián)合多層注意力網(wǎng)絡(luò)的矩陣分解算法(MAMF),在多個(gè)數(shù)據(jù)集和算法上進(jìn)行相關(guān)對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明了本文提出的MAMF算法的有效性。

1 相關(guān)工作

近年來，隨著基于深度學(xué)習(xí)的算法在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域不斷取得成功，很多專家學(xué)者將其應(yīng)用于推薦系統(tǒng)中并獲得了較好的推薦效果，包括深度矩陣分解技術(shù)(DMF)、寬度和深度學(xué)習(xí)算法(Wide & Deep)、深度混合模型(DeepHM)等算法，但是這些算法只是為了挖掘出用戶潛在的偏好信息而無法準(zhǔn)確地描述用戶對(duì)不同項(xiàng)目的偏好。隨著注意力機(jī)制的提出，很多學(xué)者利用注意力機(jī)制解釋用戶對(duì)項(xiàng)目的偏好。

王等[13]提出了融合注意力機(jī)制的深度協(xié)同過濾推薦算法(DACF)，其做法是在項(xiàng)目特征中構(gòu)建注意力機(jī)制學(xué)習(xí)用戶偏好。He等[14]提出神經(jīng)注意力項(xiàng)目相似性算法，其核心是通過注意力獲知哪些歷史項(xiàng)目對(duì)推薦更重要。張等[15]提出聯(lián)合注意力機(jī)制和元數(shù)據(jù)的推薦算法，其做法是利用自動(dòng)捕捉用戶/項(xiàng)目關(guān)鍵屬性對(duì)推薦性能的影響。張等[16]使用項(xiàng)目交互注意力網(wǎng)絡(luò)感知不同歷史項(xiàng)目與目標(biāo)項(xiàng)目之間的交互關(guān)聯(lián)度。但是這些基于注意力算法僅依賴注意力機(jī)制捕獲一個(gè)用戶對(duì)其他用戶的權(quán)重，而忽略了原始數(shù)據(jù)信息對(duì)用戶信息的重要性，并且層級(jí)間的特征表示如果沒有注意力機(jī)制的表示則無法將偏好信息較好地保存，從而不能夠獲得較好的推薦性能。

2 問題定義

用戶-項(xiàng)目交互信息是一種隱式反饋信息，因此無法反映出用戶的喜好程度。此外，針對(duì)具有顯式反饋的推薦問題的常見做法是對(duì)評(píng)分進(jìn)行預(yù)測(cè)。類似地，為了解決帶有隱式反饋的推薦問題，也可以將推薦問題轉(zhuǎn)化為一個(gè)是否有交互的二分類預(yù)測(cè)問題，該問題與基于交互矩陣的評(píng)分預(yù)測(cè)的問題不一樣。即預(yù)測(cè)用戶與項(xiàng)目是否會(huì)發(fā)生未觀察到的交互。但是，與顯式反饋不同，隱式反饋是離散的二進(jìn)制信息。因此，要解決以上二進(jìn)制分類問題，一個(gè)可行的解決方案是對(duì)交互矩陣的值進(jìn)行二值處理，根據(jù)He等[17]的方法：數(shù)據(jù)集中(數(shù)據(jù)集的評(píng)分值為1到5分)有評(píng)分記錄則交互值設(shè)置為1，沒有評(píng)分記錄的則交互值設(shè)置為0。因此在Top-N的排序推薦中，這類推薦問題則轉(zhuǎn)化為對(duì)于一個(gè)用戶，存在一個(gè)項(xiàng)目是否給予推薦的二值推薦問題,即推薦或者不推薦，然后取前Top-N個(gè)概率最高的項(xiàng)目推薦給用戶。

在介紹算法之前，首先定義一些操作符號(hào)，這樣對(duì)理解MAMF算法很重要，本文中使用到的符號(hào)和意義如表1所示。

表1 本文的主要標(biāo)識(shí)符

3 MAMF

本節(jié)主要介紹我們提出的MAMF算法，其框架如圖1所示。整個(gè)算法框架包括兩個(gè)部分：DeepMF 和DeepAMF。下文將逐一進(jìn)行介紹。

在將數(shù)據(jù)傳入MAMF模型中時(shí)，首先對(duì)數(shù)據(jù)做嵌入操作[18]，如圖1中Embedding層所示。其目的是將輸入數(shù)據(jù)轉(zhuǎn)換為嵌入向量表示，這樣就能對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一表示，如式(1)、式(2)所示。

圖1 MAMF算法框架

其中，embedded()函數(shù)表示嵌入操作，uemb和iemb分別表示用戶編號(hào)和項(xiàng)目編號(hào)經(jīng)過嵌入層操作后的結(jié)果。

3.1 DeepMF

在DeepMF算法中，當(dāng)數(shù)據(jù)經(jīng)過Embedding層處理過后，首先是直接采用點(diǎn)積的做法將信息融合，原因是能夠獲得原始數(shù)據(jù)中用戶與項(xiàng)目的交互關(guān)系信息，這樣就能得到用戶對(duì)項(xiàng)目的偏好信息，計(jì)算如式(3)所示。

(3)

其中，，ui表示點(diǎn)積后的結(jié)果。

此外，經(jīng)過Embedding層處理的輸入數(shù)據(jù)還可經(jīng)過多層感知機(jī)(MLP)[19]進(jìn)行操作，這樣就能得到輸入數(shù)據(jù)的較好的特征表示，如式(4)、式(5)所示。

其中，b表示偏差。ul+1和il+1分別表示經(jīng)過l+1層感知機(jī)運(yùn)算后得到的向量結(jié)果，并且有u0=uemb,i0=iemb。利用多層感知機(jī)學(xué)習(xí)用戶與項(xiàng)目特征表示后，再進(jìn)行點(diǎn)乘操作，其目的是通過對(duì)用戶和項(xiàng)目多層感知機(jī)學(xué)到的特征表示的向量相乘，從而得到較好的用戶對(duì)不同項(xiàng)目的偏好信息，如式(6)所示。

(6)

其中，u×i表示乘積得到的結(jié)果。

通過對(duì)點(diǎn)積運(yùn)算的結(jié)果與乘積運(yùn)算的結(jié)果進(jìn)行拼接，得到DeepMF的輸出結(jié)果，如式(7)所示。

(7)

其中，u?i表示拼接操作后得到的結(jié)果。

3.2 DeepAMF

根據(jù)圖1 可知，DeepAMF相比于DeepMF的不同之處在于DeepAMF不僅在多層感知機(jī)中添加多層注意力(Attention)，而且點(diǎn)積操作也是在最后進(jìn)的。下面對(duì)DeepAMF進(jìn)行詳細(xì)介紹。

在輸入數(shù)據(jù)經(jīng)過Embedding層處理后，將傳入MLP層，之后再傳入Attention層[20]，即MLP-Attention兩層不斷地迭層傳遞，其目的是獲得相應(yīng)輸入信息的權(quán)重，從而得到較好的偏好信息，如式(8)～式(11)所示。

(8)

其中，dk表示向量維度為k維，fa表示激活函數(shù)為softmax激活函數(shù)。wa,wmlp,b和bmlp分別表示注意力網(wǎng)絡(luò)層權(quán)重、多層感知機(jī)層權(quán)重、注意力網(wǎng)絡(luò)層誤差和多層感知機(jī)誤差。umlp和ua分別表示多層感知機(jī)層和注意力網(wǎng)絡(luò)層用戶編號(hào)的向量表示。imlp和ia分別表示多層感知機(jī)層和注意力網(wǎng)絡(luò)層項(xiàng)目編號(hào)的向量表示。因此，整個(gè)DeepAMF是MLP-Attention層迭層數(shù)據(jù)傳入的，即MLP層的輸出為Attention層的輸入，而Attention層的輸出則為MLP的輸入，依此類推。

與DeepMF一樣，輸入數(shù)據(jù)經(jīng)過MLP層和Attention層處理后，再對(duì)其進(jìn)行點(diǎn)積操作和乘積運(yùn)算，計(jì)算如式(12)、式(13)所示。

其中，uatt×iatt和umlp·imlp分別表示乘積和點(diǎn)積后運(yùn)算的結(jié)果。

最后將點(diǎn)積運(yùn)算結(jié)果跟乘積運(yùn)算結(jié)果進(jìn)行拼接，得到DeepAMF的輸出結(jié)果，如式(14)所示。

(14)

其中，uatt?iatt表示拼接操作后得到的結(jié)果。

3.3 MAMF

將DeepMF和DeepAMF的輸出在融合層進(jìn)行融合，這樣就能得到用戶對(duì)不同項(xiàng)目的偏好信息并輸出預(yù)測(cè)結(jié)果，從而達(dá)到較好的推薦精度。融合層主要包括數(shù)據(jù)融合和一層MLP層運(yùn)算，整個(gè)計(jì)算過程如式(15)、式(16)所示。

其中，Y表示輸出結(jié)果，X表示整個(gè)輸入信息。由于我們算法是Top-N推薦，因此是一個(gè)二分類問題：即如果Y=1，則項(xiàng)目y被推薦；否則不予推薦。fs()表示sigmoid激活函數(shù)。

通過上面描述可知，將DeepMF和DeepAMF合并成MAMF,就能夠?qū)蓚€(gè)模型進(jìn)行聯(lián)合訓(xùn)練，然后利用優(yōu)化函數(shù)通過反向傳播優(yōu)化參數(shù)，從而獲得最佳的推薦精度。

3.4 學(xué)習(xí)過程

為了使本文提出的MAMF算法能夠獲得較好的性能，作為一個(gè)二分類問題，我們這里使用交叉熵?fù)p失作為算法的最終訓(xùn)練的損失函數(shù)，如式(17)所示。

(17)

其中，n表示訓(xùn)練集大小，yj表示第j個(gè)項(xiàng)目是否推薦，即值為0或1，Y為標(biāo)簽值。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集

本文中使用在推薦領(lǐng)域中被廣泛使用的4個(gè)公開的數(shù)據(jù)集來驗(yàn)證所提算法的優(yōu)越性。這4個(gè)數(shù)據(jù)集分別是：

Movielens 1M(ml-1m)：包括6 040個(gè)用戶和3 706部電影，電影評(píng)分?jǐn)?shù)量為1 000 209條記錄。

Last-FM(lastfm)：數(shù)據(jù)集包括1 741個(gè)用戶，2 665個(gè)主題，評(píng)分?jǐn)?shù)量為69 149條記錄。

Amazon Music(AMusic)：數(shù)據(jù)集包括1 776個(gè)用戶，12 929個(gè)主題，評(píng)分?jǐn)?shù)量為46 087條記錄。

AmazonToys(AToy)：數(shù)據(jù)集包括3 137個(gè)用戶，33 953個(gè)主題，評(píng)分?jǐn)?shù)量為84 642條記錄。具體信息如表2所示。

表2 數(shù)據(jù)集描述

根據(jù)表中對(duì)數(shù)據(jù)集的描述可知，用戶與項(xiàng)目的數(shù)目越多，而評(píng)分?jǐn)?shù)越少則數(shù)據(jù)稀疏性越高，其稀疏性XSX計(jì)算如式(18)所示。

(18)

4.2 評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)是進(jìn)行Top-N推薦，即選取前N個(gè)項(xiàng)目推薦給用戶，本文實(shí)驗(yàn)選取前10個(gè)即Top-10。因此我們選取命中率HR(Hit Ratio)和歸一化折損累計(jì)增益NDCG(Normalized Discounted Cumulative Gain)這兩個(gè)廣泛應(yīng)用于推薦系統(tǒng)中的評(píng)價(jià)指標(biāo)作為算法的評(píng)價(jià)標(biāo)準(zhǔn),其計(jì)算如式(19)、式(20)所示。

其中，|REL|表示具有用戶項(xiàng)目連接對(duì)的格式，relj表示是否存在關(guān)系，值為0或者1。根據(jù)公式可知，這兩個(gè)指標(biāo)值越大，說明算法效果越好。

4.3 對(duì)比算法

本文采用的對(duì)比方法如下:

?ItemPop：常用的矩陣分解算法，其核心思想是根據(jù)項(xiàng)目的流行度進(jìn)行推薦。

?eALS：基于矩陣分解的推薦算法，其核心思想是，對(duì)于沒有觀測(cè)到的用戶與項(xiàng)目交互信息，則使用項(xiàng)目流行度來給它們賦值權(quán)重。

?DMF：基于深度神經(jīng)網(wǎng)絡(luò)的矩陣分解方法。

?Wide&Deep：聯(lián)合Wide模型和Deep模型的推薦算法。

?DeepHM：基于Wide &Deep 模型的推薦算法。

?DACF：融合注意力機(jī)制協(xié)同過濾算法。

?NAIS：神經(jīng)注意力項(xiàng)目相似性模型。

?DJRMA：融合元數(shù)據(jù)和注意力機(jī)制的推薦算法。

?DMRACF：基于雙重最相關(guān)注意力網(wǎng)絡(luò)的協(xié)同過濾推薦算法。

另外,還包括我們提出的DeepMF和DeepAMF算法。

4.4 算法訓(xùn)練參數(shù)

MAMF及其對(duì)比算法實(shí)驗(yàn)在ml-1m、AToy、AMusic和lastfm上進(jìn)行。本文中的實(shí)驗(yàn)只使用用戶編號(hào)、項(xiàng)目編號(hào)和評(píng)分三元組信息，不會(huì)添加任何其他信息。實(shí)驗(yàn)參數(shù)設(shè)置：使用隨機(jī)梯度下降優(yōu)化函數(shù)的一個(gè)變種Adam優(yōu)化函數(shù)且學(xué)習(xí)率為0.000 1；MLP層為3層，注意力層也為3層；連接點(diǎn)分別為512、256和128。所使用的激活函數(shù)為relu，最后一層使用的激活函數(shù)為sigmoid做二值推薦。編程語言使用的是Python 3。整個(gè)模型基于Keras 構(gòu)建，后端使用TensorFlow。實(shí)驗(yàn)使用的GPU為NVIDIA Tesla P100,其目的是來加速實(shí)驗(yàn)運(yùn)行。

4.5 實(shí)驗(yàn)結(jié)果與分析

MAMF算法及其對(duì)比算法的實(shí)驗(yàn)結(jié)果如表3所示，根據(jù)表3中的實(shí)驗(yàn)結(jié)果可知：相比于基于矩陣分解方法如ItempPop、eALS和DMF在4個(gè)數(shù)據(jù)集上的HR和NDCG指標(biāo)，MAMF都取得了不錯(cuò)的結(jié)果，這也證明了本文提出的算法的優(yōu)越性。即通過DeepMF和DeepAMF兩個(gè)模型充分挖掘用戶對(duì)不同項(xiàng)目的偏好信息，因此能夠獲得較好的推薦效果。

表3 MAMF及其對(duì)比算法在幾個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

與此同時(shí)，我們也注意到表中的實(shí)驗(yàn)結(jié)果，即MAMF算法在AToy數(shù)據(jù)集上NDCG的指標(biāo)與eALS算法相比，沒有達(dá)到最優(yōu)的實(shí)驗(yàn)結(jié)果；同時(shí)在AMusic數(shù)據(jù)集上我們的MAMF算法也沒有獲得最優(yōu)的實(shí)驗(yàn)結(jié)果。結(jié)合表2中的數(shù)據(jù)集統(tǒng)計(jì)分析后我們認(rèn)為是AToy和AMusic項(xiàng)目數(shù)目過多導(dǎo)致MAMF算法中用戶對(duì)不同項(xiàng)目的權(quán)重值劃分較低，導(dǎo)致算法的精確度不夠好，影響了我們算法的推薦精度。

Wide & Deep及其擴(kuò)展算法DeepHM在4個(gè)數(shù)據(jù)集上的HR和NDCG實(shí)驗(yàn)結(jié)果可知，除了AMusic數(shù)據(jù)集的HR指標(biāo)外，MAMF算法都是最好的實(shí)驗(yàn)結(jié)果，這也說明MAMF算法在不同的數(shù)據(jù)集上都能獲得較好的推薦性能。根據(jù)表2中對(duì)數(shù)據(jù)集的描述，我們認(rèn)為原因也是數(shù)據(jù)集中用戶與項(xiàng)目的比例過小，導(dǎo)致MAMF算法無法學(xué)到較好的偏好信息而無法獲得較好的推薦效果。綜合以上分析，我們認(rèn)為MAMF算法在4個(gè)數(shù)據(jù)上的推薦精度均有一定的提升。

此外我們也對(duì)比了DeepMF,DeepAMF和MAMF算法，實(shí)驗(yàn)結(jié)果如表4所示。根據(jù)實(shí)驗(yàn)結(jié)果可知，MAMF算法在幾個(gè)數(shù)據(jù)集上都有不同程度的精度提升，這也證明了本文提出的MAMF算法的優(yōu)越性。同時(shí)我們也注意到DeepAMF在AMusic上的結(jié)果優(yōu)于MAMF算法，故認(rèn)為是DeepMF與DeepAMF融合輸出時(shí)，影響到用戶學(xué)習(xí)對(duì)不同用戶分配權(quán)重，這也使得用戶能獲到較好的偏好信息，從而導(dǎo)致DeepAMF的HR指標(biāo)相比于MAMF算法的結(jié)果提升了0.18%。另外，我們需要注意的是，相比于基于矩陣分解的對(duì)比算法如ItemPop、eALS和DMF等DeepMF和DeepAMF在幾個(gè)數(shù)據(jù)集上均有不同程度的精度提升。因此，我們提出的基于深度學(xué)習(xí)的多層注意力網(wǎng)絡(luò)矩陣分解算法具有較好的推薦效果。

表4 DeepMF,DeepAMF和MAMF實(shí)驗(yàn)結(jié)果

我們將相關(guān)注意力機(jī)制推薦算法在ml-1m上進(jìn)行比較，其結(jié)果如表5所示。根據(jù)結(jié)果可知，我們的推薦算法在NDCG上還是保持較好的推薦系統(tǒng)，但是在HR指標(biāo)上則比DJRMA算法低，其原因我們認(rèn)為是DJRMA主要是利用現(xiàn)矩陣非線性分解以學(xué)習(xí)用戶/項(xiàng)目個(gè)性化關(guān)系結(jié)合注意力機(jī)制來獲得較好的推薦性能，而MAMF單純依賴交互信息和注意力機(jī)制，因此未能在NDCG上取得令人滿意的結(jié)果。

表5 不同注意力機(jī)制推薦算法和MAMF在ml-1m上的實(shí)驗(yàn)結(jié)果

最后，對(duì)本文提出的MAMF算法進(jìn)行模型適用性的分析，通過表3、表4的結(jié)果可知，當(dāng)數(shù)據(jù)的稀疏性較高的時(shí)候，MAMF算法的性能則不能獲得最優(yōu)解，主要是因?yàn)楫?dāng)用戶與項(xiàng)目數(shù)目較多，而整體交互記錄較少時(shí)，算法會(huì)對(duì)很多的項(xiàng)目進(jìn)行權(quán)重分配，而過多的項(xiàng)目導(dǎo)致各項(xiàng)目權(quán)重值較小，致使推薦項(xiàng)目出錯(cuò)。例如，當(dāng)一個(gè)用戶只與10個(gè)項(xiàng)目過交互記錄，而整個(gè)數(shù)據(jù)集中項(xiàng)目多達(dá)10萬個(gè)左右，此時(shí)注意力機(jī)制分配給每一個(gè)項(xiàng)目的權(quán)重可能是1/100 000=0.000 001，而當(dāng)訓(xùn)練完成后，有的權(quán)重可能低于0.000 001，有的則高于0.000 001，但是權(quán)重之間的差別還是很小，接近于0。因此算法很容易出現(xiàn)錯(cuò)誤解，不能很好地獲得推薦性能。相對(duì)來說，稀疏性低的數(shù)據(jù)集上的推薦效果比較好。

5 總結(jié)

本文提出了一種基于矩陣分解和多層注意力網(wǎng)絡(luò)模型的新型Top-N推薦算法——聯(lián)合多層注意力網(wǎng)絡(luò)的矩陣分解(MAMF)。它可以充分利用用戶-項(xiàng)目信息矩陣來獲取用戶對(duì)項(xiàng)目的排序信息和權(quán)重信息，從而得到用戶對(duì)不同項(xiàng)目的偏好信息，即使數(shù)據(jù)稀疏也具有良好的推薦能力。由于文本信息如用戶年齡、項(xiàng)目主題等能很好地刻畫用戶的偏好，這對(duì)于推薦系統(tǒng)性能的提升具有幫助。此外，知識(shí)圖譜[21]對(duì)社交網(wǎng)絡(luò)和人物畫像等具有較好的刻畫效果。接下來的工作是結(jié)合MAMF算法和知識(shí)圖譜擴(kuò)展算法框架使其推薦效果更好。