聯(lián)合注意力和自編碼器的協(xié)同過濾推薦

鄭 誠，王 建

安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥230601

隨著互聯(lián)網(wǎng)的高速發(fā)展，信息也隨之呈現(xiàn)出了一種爆炸式增長(zhǎng)的態(tài)勢(shì)，用戶期望在電子商務(wù)、娛樂和社交媒體上獲得個(gè)性化的內(nèi)容，但信息過載的問題使其變成一個(gè)難以滿足的要求。為了讓用戶在信息爆炸的時(shí)代獲得個(gè)性化的內(nèi)容，大量的研究者、學(xué)者、相關(guān)企業(yè)對(duì)這一問題展開了研究，推薦技術(shù)由此迅速得到發(fā)展。

目前的推薦算法主要有協(xié)同過濾推薦，基于深度學(xué)習(xí)的推薦、混合推薦等。其中，協(xié)同過濾推薦是應(yīng)用較為廣泛的一種推薦算法[1]。它的核心思想是興趣相似的用戶之間相互進(jìn)行推薦。

協(xié)同過濾算法大致可以分為兩類：一類是基于內(nèi)存的協(xié)同過濾算法，通過計(jì)算用戶與用戶或物品與物品之間的相似性來進(jìn)行推薦；一類是基于模型的協(xié)同過濾算法，通過各種模型來恢復(fù)已知評(píng)分，同時(shí)預(yù)測(cè)未知評(píng)分?；趦?nèi)存的協(xié)同過濾根據(jù)度量的對(duì)象不同可以分為基于用戶的協(xié)同過濾和基于物品的協(xié)同過濾。前者主要通過計(jì)算用戶與用戶之間的相似度，來為目標(biāo)用戶推薦與其相似度很高的用戶曾經(jīng)交互過的但目標(biāo)用戶未曾交互過的物品[2]；后者主要計(jì)算目標(biāo)物品與用戶交互過的物品的相似性來判斷是否要將目標(biāo)物品推薦給用戶[3]。兩者的核心都在于相似度計(jì)算，早期采用諸如余弦相似度和皮爾遜相關(guān)系數(shù)等來計(jì)算相似度，但這樣的相似度計(jì)算方式所得到的結(jié)果并不理想。隨后，Ning等人提出了SLIΜ（Sparse Linear Μethod）模型[4]，該模型通過評(píng)分矩陣來訓(xùn)練相似度矩陣；Κabbur 等人提出了FISΜ（Factored Item Similarity Μodel）[5]模型，該模型將目標(biāo)物品表示為一個(gè)低維向量，用戶交互過的物品表示為一個(gè)個(gè)低維向量，將兩個(gè)向量的內(nèi)積作為最終的相似度。隨著深度學(xué)習(xí)的不斷發(fā)展，對(duì)于物品之間的相關(guān)性的挖掘也同樣與深度學(xué)習(xí)技術(shù)相融合[6]。同樣，基于物品的協(xié)同過濾十分適合top-n 推薦[7-8]，但是基于物品的協(xié)同過濾通過計(jì)算相似度等局部信息來進(jìn)行推薦，并沒有考慮到歷史交互信息的全局結(jié)構(gòu)，從而會(huì)降低推薦結(jié)果的精確性；其次，目標(biāo)物品與不同的物品計(jì)算相似度，但不同歷史物品對(duì)于目標(biāo)物品的重要性是不一樣的，物品與物品之間也存在著相似性的問題。比如，若目標(biāo)物品為一部手機(jī)，那么用戶歷史交互物品若存在手機(jī)，那其權(quán)重應(yīng)該是較高的。因此相似度結(jié)果上應(yīng)該考慮到權(quán)重的問題。

基于模型的協(xié)同過濾主要將歷史交互數(shù)據(jù)在相應(yīng)的模型上進(jìn)行訓(xùn)練最后進(jìn)行推薦。矩陣分解作為基于模型的協(xié)同過濾的一個(gè)實(shí)現(xiàn)被廣泛應(yīng)用于推薦系統(tǒng)中。矩陣分解的思想來自于SVD（Singular Value Decomposition）分解，Simon 提出Funk SVD 確定了將歷史交互數(shù)據(jù)分解成兩個(gè)小矩陣，隨后，由于矩陣分解在捕獲更深的交互上的不足，提出了NCF（Neural Collaborative Filtering）[9]、DeepCF（Deep Collaborative Filtering）[10]等模型。基于模型的協(xié)同過濾除了與矩陣分解相結(jié)合，還與各種模型諸如聚類模型、回歸模型等相結(jié)合。近幾年，隨著深度學(xué)習(xí)的快速發(fā)展，基于模型的協(xié)同過濾與神經(jīng)網(wǎng)絡(luò)模型[11]相結(jié)合更是取得了不錯(cuò)的效果。然而，基于模型的協(xié)同過濾是從整體角度去使用用戶和物品的交互數(shù)據(jù)，捕獲了交互數(shù)據(jù)的全局信息，但對(duì)于局部依賴信息的利用是完全忽視的，從而沒有利用局部信息對(duì)于最后推薦的準(zhǔn)確度的提升和加強(qiáng)推薦結(jié)果的可解釋性的作用。

兩類協(xié)同過濾算法都是從某一個(gè)方面來利用用戶和物品的交互信息，但兩者對(duì)于交互數(shù)據(jù)的利用都存在著各自的缺陷，并且用戶和物品的交互數(shù)據(jù)無論是對(duì)于隱式數(shù)據(jù)集還是對(duì)于顯式數(shù)據(jù)集，相比于龐大的交互數(shù)據(jù)而言，都是稀疏的。因此，想提高推薦的性能，對(duì)于稀疏的交互數(shù)據(jù)，應(yīng)該多方面地利用用戶和物品的交互數(shù)據(jù)。

基于此，本文提出了一個(gè)混合了注意力機(jī)制和自編碼器的協(xié)同過濾推薦模型。該模型同時(shí)結(jié)合了基于模型的協(xié)同過濾、基于物品的協(xié)同過濾的思想，從兩方面來挖掘利用用戶和物品的交互數(shù)據(jù)，從而同時(shí)捕獲了全局信息和局部信息，隨后將兩方面的結(jié)果融合在一起，從而彌補(bǔ)了各自的缺陷，提升了推薦的性能。注意力網(wǎng)絡(luò)用于為用戶不同的歷史交互物品和目標(biāo)物品的相似度計(jì)算分配不同的權(quán)重，以解決用戶歷史交互物品對(duì)于目標(biāo)物品重要性不一致的問題。

本文的貢獻(xiàn)：在協(xié)同過濾推薦里面，基于模型的協(xié)同過濾方法諸如矩陣分解應(yīng)用比較廣泛且主要用于全局偏好的構(gòu)建但忽略了局部信息，基于內(nèi)存的方法諸如基于物品的協(xié)同過濾專注于局部信息挖掘卻忽視了全局信息且應(yīng)用較少，但兩者各自有對(duì)應(yīng)的優(yōu)點(diǎn)以及缺點(diǎn)。因此本文通過一個(gè)深度學(xué)習(xí)架構(gòu)將兩者結(jié)合起來，克服各自的缺陷，同時(shí)結(jié)合兩者的優(yōu)點(diǎn)，在數(shù)據(jù)稀疏的數(shù)據(jù)集里也可以產(chǎn)生效果良好的推薦。

1 相關(guān)工作

1.1 基于物品的協(xié)同過濾

基于物品的協(xié)同過濾預(yù)測(cè)目標(biāo)用戶u 對(duì)目標(biāo)物品i的偏好分?jǐn)?shù)y?ui，是將目標(biāo)物品與目標(biāo)用戶交互過的物品之間的相似性作為權(quán)重與目標(biāo)用戶的歷史評(píng)分相乘，最后整體相加獲?。?/p>

其中，N(u)表示用戶的歷史交互物品集合，ruj表示用戶對(duì)不同的歷史交互物品的偏好。

1.2 自編碼器

近年來，深度學(xué)習(xí)高速發(fā)展，推薦系統(tǒng)不可避免地與之相結(jié)合，其中自編碼器廣泛應(yīng)用于推薦系統(tǒng)領(lǐng)域。

Sedhain 等人提出的AutoRec[12]模型首次將自編碼器模型與推薦系統(tǒng)相結(jié)合，并取得了不錯(cuò)的效果。自編碼器模型大致分為三部分：編碼層、隱藏層以及解碼層。數(shù)據(jù)從編碼層到隱藏層，在該層中，推薦系統(tǒng)可以利用該層所生成的用戶或物品的低維向量表示，最后用戶或物品的低維向量表示從隱藏層到解碼層來重新擬合數(shù)據(jù)。自編碼器與推薦相結(jié)合的研究一直在不斷地進(jìn)行。Li 等人提出一個(gè)將自編碼器與協(xié)同過濾相結(jié)合的框架[13]；Wang 等人將一個(gè)疊加自編碼器整合到概率矩陣分解中以提升推薦的性能[14]；Wu 等人將降噪自編碼器與協(xié)同過濾相結(jié)合用于評(píng)分預(yù)測(cè)[15]；Liang 等人將變分自編碼器應(yīng)用到推薦中，達(dá)到了很好的效果[16]；Zhang等人使用壓縮自編碼器學(xué)習(xí)物品的特征，然后將其與經(jīng)典推薦模型SVD++相結(jié)合更進(jìn)一步提升了性能[17]。

1.3 注意力機(jī)制

最近，注意力機(jī)制在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域引發(fā)了眾多關(guān)注。注意力機(jī)制可以對(duì)輸入的數(shù)據(jù)過濾掉某些無用信息，減少噪聲數(shù)據(jù)的副作用，并且可以加強(qiáng)某些信息量大的數(shù)據(jù)的權(quán)重。在推薦系統(tǒng)中應(yīng)用注意力機(jī)制可以為不同的用戶與用戶、物品與物品之間分配權(quán)重，從而可以獲取代表性較高的用戶對(duì)或物品對(duì)，提高推薦結(jié)果的可解釋性。注意力機(jī)制的核心在于對(duì)權(quán)重的計(jì)算，一般來說，各部分的權(quán)重通過一個(gè)神經(jīng)網(wǎng)絡(luò)來計(jì)算。推薦系統(tǒng)與注意力機(jī)制相結(jié)合的研究近年來也在不斷進(jìn)行。Liu 等人提出一個(gè)DAΜL（Dual Attention Μutual Learning）模型[18]，該模型使用一個(gè)雙重注意力來提取用戶，評(píng)論潛在特征的相關(guān)性以提高最終評(píng)分預(yù)測(cè)的性能。Chen等人提出了共同注意力多任務(wù)學(xué)習(xí)模型以提高推薦的可解釋性[19]。Xi等人利用BP神經(jīng)網(wǎng)絡(luò)來了解目標(biāo)用戶及其鄰居的復(fù)雜關(guān)系，用注意力機(jī)制捕獲每個(gè)用戶對(duì)所有最近目標(biāo)用戶的總體影響來進(jìn)行推薦[20]。Jhamb等人提出使用注意力機(jī)制來改善基于自動(dòng)編碼器的協(xié)同過濾的性能[21]。

2 融合注意力和自編碼器的推薦

本章將詳細(xì)闡述聯(lián)合注意力機(jī)制和自編碼器的協(xié)同過濾推薦模型（Attention Autoencoder Collaborative Filtering，AACF）。該模型分為兩部分：一個(gè)是用于挖掘用戶整體偏好的自編碼器部分：另一個(gè)是用于挖掘物品與物品之間局部依賴的融合了注意力機(jī)制的基于物品的協(xié)同過濾模型。最后將兩部分所得結(jié)果相融合，并利用相應(yīng)的損失函數(shù)來對(duì)模型進(jìn)行訓(xùn)練。融合注意力機(jī)制的基于物品的協(xié)同過濾模型與自編碼器模型整體的流程如圖1所示。

圖1 融合注意力機(jī)制和自編碼器的推薦

2.1 融合注意力機(jī)制的基于物品的協(xié)同過濾

通過基于物品的協(xié)同過濾思想來挖掘物品與物品之間的局部依賴關(guān)系，同時(shí)采用注意力網(wǎng)絡(luò)來為用戶不同的歷史交互物品和目標(biāo)物品的相似度計(jì)算分配不同的權(quán)重。

假設(shè)用戶和物品的歷史交互信息用矩陣Rm×n表示，其中m 表示用戶的數(shù)量，n 表示物品的數(shù)量。

圖2 融合注意力機(jī)制的基于物品的協(xié)同過濾

傳統(tǒng)的基于物品的協(xié)同過濾通過用戶曾經(jīng)交互過的物品與目標(biāo)物品的相似度來擬合數(shù)據(jù)，但考慮到對(duì)于目標(biāo)物品而言，不同的歷史交互物品對(duì)其的重要性也即權(quán)重是不一樣的，因此，這里引入attention機(jī)制，從而為其自動(dòng)分配權(quán)重。

該模型利用物品與物品的向量計(jì)算來獲得相似度分?jǐn)?shù)，最終擬合數(shù)據(jù)：

該模型中，注意力網(wǎng)絡(luò)使用一個(gè)多層感知機(jī)來實(shí)現(xiàn)：

f(pi,qj)=hTReLU(w(pi⊙qj)+b)

其中，wk×d、bd×1分別代表注意力網(wǎng)絡(luò)中輸入層到隱藏層的權(quán)重矩陣和偏執(zhí)項(xiàng)，hT代表隱藏層到輸出層的權(quán)重向量。在注意力網(wǎng)絡(luò)中使用歷史交互過的物品與目標(biāo)物品的向量表示作為輸入，是為了防止物品i 和物品j 就算沒有共現(xiàn)過也能計(jì)算相似度。最后將輸出層的值送入一個(gè)softmax函數(shù)以讓權(quán)重歸一化：

其中，β 參數(shù)是用于防止softmax 函數(shù)過度懲罰活躍用戶的權(quán)重，從而將其加入softmax 函數(shù)的分母來進(jìn)行平滑，β 的取值范圍是[0，1]。

2.2 融合自編碼器的協(xié)同過濾

在這一部分，將用戶與物品的交互數(shù)據(jù)輸入一個(gè)自編碼器，它通過重新擬合用戶和物品的已知評(píng)分，以及擬合用戶和物品未知的交互評(píng)分和來挖掘用戶對(duì)物品整體偏好。

r?=f(w2?g(w1r+b1)+b2)

內(nèi)標(biāo)元素選擇的原則是質(zhì)量數(shù)與被測(cè)元素相近，同時(shí)豐度高、無干擾。由于地質(zhì)樣品的復(fù)雜性，內(nèi)標(biāo)元素一般只用Rh、Re、Ir等少數(shù)幾個(gè)元素。在線加入10ng/mL 187Re和103Rh混合內(nèi)標(biāo)溶液，選擇103Rh為內(nèi)標(biāo)校正Ga、In、Cd、Ge，187Re為內(nèi)標(biāo)校正Tl，對(duì)各元素測(cè)定結(jié)果在30min內(nèi)的相對(duì)標(biāo)準(zhǔn)偏差(RSD)進(jìn)行了考察，并與校正前進(jìn)行了對(duì)比，結(jié)果見圖2。由圖2可見，采用內(nèi)標(biāo)校正后，各元素測(cè)定結(jié)果的相對(duì)標(biāo)準(zhǔn)偏差介于2.1%～4.6%之間，相比較未加內(nèi)標(biāo)時(shí)的6.4%～12.3%有所改善。實(shí)驗(yàn)選取上述方法對(duì)測(cè)定結(jié)果進(jìn)行校正。

在這個(gè)自編碼器中，輸入的是含有部分已知評(píng)分的用戶特征表示，隨后通過自編碼器的編碼、解碼來估計(jì)出用戶對(duì)物品的偏好信息。隨后，將此用戶對(duì)物品的偏好分?jǐn)?shù)與通過基于物品的協(xié)同過濾思想得到的蘊(yùn)含物品之間的依賴關(guān)系的偏好分?jǐn)?shù)相融合，以此將用戶偏好和物品依賴同時(shí)考慮進(jìn)去。

2.3 融合層

其中，σ 代表sigmoid 激活函數(shù)，而Aggr(?)是一個(gè)串聯(lián)函數(shù)。U ∈Rs×d表示一個(gè)由固定的目標(biāo)用戶所交互的s 個(gè)物品的d 維向量表示構(gòu)成的矩陣，I ∈Rd×n表示一個(gè)由n 個(gè)d 維目標(biāo)物品的向量表示構(gòu)成的矩陣，該矩陣的每一列代表一個(gè)目標(biāo)物品的向量表示，兩個(gè)矩陣相乘得到結(jié)果矩陣Ts×n，該矩陣的第i 列中每一維的值代表該固定目標(biāo)用戶所交互過的s 個(gè)物品分別與第i 個(gè)目標(biāo)物品的向量乘積。 A ∈Rn×s代表權(quán)重矩陣，該矩陣的第i 行第s 列的值代表目標(biāo)物品i 與固定的目標(biāo)用戶的第s 個(gè)歷史交互物品的權(quán)重。最后獲取權(quán)重矩陣A 與結(jié)果矩陣T 的對(duì)應(yīng)行與對(duì)應(yīng)列的乘積，即兩個(gè)矩陣相乘結(jié)果的對(duì)角線的值。使用Aggr(?)串聯(lián)對(duì)角線的值得到一個(gè)n 維向量，將該n 維向量送入如sigmoid 函數(shù)得到最后的擬合的結(jié)果：

最后，將捕獲局部依賴信息的基于物品的協(xié)同過濾擬合出來的評(píng)分，與捕獲全局偏好的基于自編碼器擬合出來的評(píng)分相加并平均，得到最終的擬合出來的用戶偏好。

隨后為了訓(xùn)練模型，受到文獻(xiàn)[22]的啟發(fā)，設(shè)計(jì)了一個(gè)基于鉸鏈損失函數(shù)的目標(biāo)函數(shù)：

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

為了測(cè)試模型的效果，本文采用了兩個(gè)來自不同領(lǐng)域的真實(shí)數(shù)據(jù)集：ΜovieLens1Μ和Pinterest。在ΜovieLens1Μ數(shù)據(jù)集中，保留那些至少有過5 次交互的用戶以及物品，同時(shí)將評(píng)分大于或等于4的當(dāng)作用戶曾經(jīng)有過交互的物品，其余就當(dāng)作未交互過的物品。而Pinterest數(shù)據(jù)集中很多用戶的交互次數(shù)過少，很難將其直接用于測(cè)試模型的效果，同時(shí)為了比較模型在不同稀疏度情況下的性能，因而對(duì)于該數(shù)據(jù)集保留那些至少有20 次交互的用戶和物品。預(yù)處理過的數(shù)據(jù)集如表1所示。

表1 數(shù)據(jù)集信息

對(duì)于這兩個(gè)數(shù)據(jù)集，采用留一法來劃分?jǐn)?shù)據(jù)集，將每個(gè)用戶的最后一次交互當(dāng)作測(cè)試集，其余均作為訓(xùn)練集來訓(xùn)練模型。

在關(guān)于推薦系統(tǒng)的評(píng)估指標(biāo)中，采用命中率（Hit Ratio，HR）和歸一化折扣累積增益（Normalized Discounted Cumulative Gain，NDCG）作為模型的性能評(píng)估指標(biāo)，這兩個(gè)指標(biāo)廣泛應(yīng)用于Top-N 推薦中。

模型中的參數(shù)以均值為0，標(biāo)準(zhǔn)差為0.01 的高斯分布進(jìn)行隨機(jī)初始化，物品表示的嵌入維度設(shè)置從[8，16，32，64]依次取值，注意力網(wǎng)絡(luò)的隱藏層維度如物品表示的嵌入維度一樣設(shè)置，β 的值設(shè)置為0.5，λ 的值在ΜovieLens1Μ 數(shù)據(jù)集上設(shè)為0.001，在Pinterest 數(shù)據(jù)集上的值設(shè)為0.005，邊際距離d 的值設(shè)置為0.15，自編碼器中的隱藏層維度設(shè)置為160時(shí)，實(shí)驗(yàn)效果比較良好。

3.2 對(duì)比方法

為了更明確地評(píng)估模型的性能，將下面的方法與本文模型進(jìn)行比較。

Pop：該方法主要根據(jù)物品的受歡迎程度對(duì)物品進(jìn)行排名，是一種完全依靠物品的交互次數(shù)進(jìn)行判斷的基準(zhǔn)測(cè)試方法。

ItemΚNN[3]：該方法是一個(gè)標(biāo)準(zhǔn)的基于物品的協(xié)同過濾方法，它通過余弦相似度來測(cè)量?jī)蓚€(gè)物品的相似度。

ΜF(xiàn)-BPR[23]：該方法是一個(gè)使用BPR（Bayesian Personalized Ranking）來優(yōu)化的ΜF(xiàn)模型，以使得該模型可以從隱式反饋的數(shù)據(jù)中學(xué)習(xí)，在基于隱式反饋數(shù)據(jù)的協(xié)同過濾推薦中，是一個(gè)常用的基準(zhǔn)方法。

U-AutoRec[12]：該方法是一個(gè)標(biāo)準(zhǔn)的將自編碼器融入?yún)f(xié)同過濾進(jìn)行推薦的模型。該模型基于用戶的自編碼器，將用戶評(píng)分作為輸入以學(xué)得物品與物品之間的關(guān)系。

CDAE[24]：該方法是一個(gè)基于降噪自編碼器的模型，它與協(xié)同過濾推薦相結(jié)合，通過增強(qiáng)物品的潛在特征表示來增強(qiáng)推薦的性能，在Top-N 推薦中具有良好的效果。

FISΜ[5]：該模型是一個(gè)效果良好的基于物品的協(xié)同過濾方法，它將用戶和物品分別用一個(gè)潛在特征向量進(jìn)行表示，用內(nèi)積來計(jì)算相似度。

3.3 實(shí)驗(yàn)結(jié)果

從表2 中可以看到AACF 模型在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于其余模型，這證明了AACF 模型的有效性，表明了從用戶和物品的交互信息中挖掘用戶整體偏好和物品局部依賴兩方面的信息來提高推薦系統(tǒng)的有效性確實(shí)是可行的。FISΜ 模型與CDAE（Collaborative Denoising Autoencoder）相比，大體上CDAE 的效果好于FISΜ，表明了以自編碼器為基礎(chǔ)的預(yù)測(cè)模型相對(duì)于計(jì)算相似度的預(yù)測(cè)模型而言效果更好，AACF模型優(yōu)于CDAE模型，表明了注意力機(jī)制在AACF模型中發(fā)揮了不小的作用。

表2 實(shí)驗(yàn)結(jié)果比較（embedding size=16）

此外，如表3所示，本文還探討了SAE（Stacked Autoencoder）與注意力機(jī)制結(jié)合在ΜovieLens 數(shù)據(jù)集上的結(jié)果。

表3 不同的自編碼器對(duì)模型的影響

堆疊自編碼器相對(duì)于用戶自編碼器模型性能有所提高。該堆疊自編碼器堆疊了兩個(gè)自編碼器，前一層自編碼器的輸出作為第二層自編碼器的輸入，從而起到了類似于預(yù)訓(xùn)練之類的效果，從而提高了模型的性能。

圖3、圖4 展示了在ΜovieLens 數(shù)據(jù)集上物品表示的嵌入維度對(duì)整體模型的影響。從圖中可以看出，模型的效果隨著維度的變大而逐漸提高，當(dāng)嵌入維度從8提升至16，3 個(gè)模型的效果都有一個(gè)較大的提升，但嵌入維度從16提升至32、64時(shí)，3個(gè)模型的提升都較小，這表明，在嵌入維度為16時(shí)，模型的推薦效果到達(dá)了一個(gè)平均的程度。

圖3 ΜovieLens1Μ數(shù)據(jù)集上的HR結(jié)果

圖4 ΜovieLens1Μ數(shù)據(jù)集上的NDCG結(jié)果

圖5研究了注意力網(wǎng)絡(luò)中β 值在ΜovieLens數(shù)據(jù)集上，嵌入維度為16時(shí)對(duì)AACF模型的影響。

圖5 β 值對(duì)AACF模型的影響

結(jié)果表明，β 值在[0，0.5]范圍內(nèi)模型的性能較好，而之后，隨著β 值的變大，模型的性能變差。這是由于β 值越大，softmax函數(shù)的限制變小，會(huì)慢慢過度懲罰活躍用戶，使得模型性能下降。

圖6展示了AACF在ΜovieLens數(shù)據(jù)集上自編碼器模塊和注意力模塊對(duì)模型總體的影響。

圖6 自編碼器模塊和注意力模塊對(duì)模型的影響

圖中，AACF-Auto（AACF-Autoencoder）表示從AACF模型中去除自編碼器模塊后的模型，AACF-Att（AACFAttention）表示從AACF 模型中去除注意力模塊后的模型。從圖中可以看到，AACF模型相對(duì)于AACF-Auto和AACF-Att，結(jié)果是最好的，其中AACF-Auto的結(jié)果相較于AACF-Att 的結(jié)果又更好一點(diǎn)?？梢哉f明，注意力模塊對(duì)整體模型的影響更大，但自編碼器模塊對(duì)模型也存在著不可忽視的作用。

4 結(jié)束語

本文提出了一個(gè)聯(lián)合注意力機(jī)制和自編碼器的推薦模型，該模型將用戶和物品的歷史交互信息從用戶整體偏好和物品局部依賴兩方面進(jìn)行挖掘利用。對(duì)于用戶整體偏好，本文采用自編碼器的思想，通過對(duì)歷史交互信息整體編碼解碼的方式來擬合出用戶和物品的偏好，而對(duì)于物品之間的局部依賴信息，首先通過注意力機(jī)制來為目標(biāo)物品與目標(biāo)用戶交互過的物品之間分配不同的權(quán)重，兩者向量表示的內(nèi)積代表相似度，代表局部信息的挖掘。模型在兩個(gè)真實(shí)數(shù)據(jù)集上的表現(xiàn)相比于基準(zhǔn)方法有一定程度的提高。在未來的工作中，可以通過考慮加入其余輔助信息，諸如知識(shí)圖譜、評(píng)論信息等來更近一步地提高用戶和物品的嵌入表示，從而提高模型的性能。