基于注意力機(jī)制的耦合協(xié)同過濾模型

黃敏 齊海濤 蔣春林

(1.華南理工大學(xué) 軟件學(xué)院，廣東 廣州 510006；2.華南理工大學(xué) 圖書館，廣東 廣州 510006)

推薦系統(tǒng)在大數(shù)據(jù)時(shí)代下扮演著舉足輕重的角色，在電子商務(wù)、檢索服務(wù)和電子媒體等行業(yè)起著至關(guān)重要的作用[1]。一個(gè)好的推薦系統(tǒng)不僅能給用戶帶來更好的體驗(yàn)，也能為企業(yè)帶來更大的流量和利潤(rùn)。在當(dāng)前廣泛使用的推薦系統(tǒng)中，協(xié)同過濾(CF)[2]是一種比較流行的推薦系統(tǒng)實(shí)現(xiàn)方式，它通過人與項(xiàng)目之間的用戶行為來對(duì)項(xiàng)目進(jìn)行過濾，從而達(dá)到推薦的目的。

典型的協(xié)同過濾方法有3種實(shí)現(xiàn)方式：基于用戶的協(xié)同過濾、基于項(xiàng)目的協(xié)同過濾與基于模型的協(xié)同過濾?；谟脩舻膮f(xié)同過濾通常采用矩陣分解(MF)的方式[3]，通過用戶訪問行為或用戶屬性的相似性來對(duì)用戶可能感興趣的資源進(jìn)行推薦。基于項(xiàng)目的協(xié)同過濾通過用戶訪問行為與項(xiàng)目屬性得到項(xiàng)目間的相似程度，并根據(jù)用戶的歷史行為對(duì)項(xiàng)目進(jìn)行推薦,如基于項(xiàng)目的協(xié)同過濾方法ItemKNN[4]。上述兩種協(xié)同過濾方式都是基于人與人及項(xiàng)目與項(xiàng)目之間獨(dú)立同分布的假設(shè)，導(dǎo)致在推薦系統(tǒng)啟動(dòng)初期數(shù)據(jù)不足，使得推薦效果很差。因此，Do等[5]通過分析人與人或項(xiàng)目與項(xiàng)目之間的顯式或隱式的耦合關(guān)系進(jìn)行推薦，提出了耦合協(xié)同過濾模型。Zhang等[6]利用卷積神經(jīng)網(wǎng)絡(luò)可以提取出數(shù)據(jù)的局部關(guān)聯(lián)特性的特點(diǎn)，深度提取了用戶與項(xiàng)目之間的隱式特征，并結(jié)合顯式特征組成深度學(xué)習(xí)網(wǎng)絡(luò)，解決了用戶與項(xiàng)目間獨(dú)立同分布的缺點(diǎn)，實(shí)現(xiàn)了耦合的深度學(xué)習(xí)協(xié)同過濾模型CoupledCF，取得了更好的推薦效果。

近年來出現(xiàn)了許多基于模型的協(xié)同過濾模型，這些模型可深層次挖掘用戶-項(xiàng)目的特征信息，進(jìn)一步提升模型的推薦性能。Guo等[7]提出了一種強(qiáng)調(diào)低維與高維特征交互的端到端學(xué)習(xí)的協(xié)同過濾模型，稱為DeepFM，該模型能夠深度學(xué)習(xí)高維特征與低維特征間的相關(guān)性，具有更好的預(yù)測(cè)性能。He等[8]將基于MF的淺層神經(jīng)網(wǎng)絡(luò)與多層感知器神經(jīng)協(xié)同過濾(NCF)相結(jié)合，提出了可學(xué)習(xí)具有隱式反饋的用戶-項(xiàng)目交互函數(shù)的模型，稱為NeuMF。Wang等[9]提出了一種新的推薦系統(tǒng)緊密耦合的等級(jí)制度貝葉斯模型，稱為協(xié)同深度學(xué)習(xí)(CDL)。

注意力是一種神經(jīng)生物學(xué)概念，是指通過觀察將注意力集中在一個(gè)物體上。文獻(xiàn)[10]利用注意力機(jī)制，將理解一個(gè)實(shí)時(shí)視頻序列的問題分解為一系列計(jì)算上要求較低的視覺、音頻和語言分析問題。文獻(xiàn)[11]將注意力機(jī)制運(yùn)用在文本編碼層之后，提取文本的注意力，取得了很好的推薦效果。文獻(xiàn)[12]利用注意力機(jī)制構(gòu)建了基于用戶行為的推薦模型DIN，顯著提升了模型的推薦效果[13]。為充分挖掘用戶屬性的關(guān)鍵程度，文獻(xiàn)[14]利用注意力機(jī)制改進(jìn)DeepCF模型，實(shí)現(xiàn)了基于用戶的協(xié)同過濾推薦模型DeepUCF+a，優(yōu)化了推薦效果。

針對(duì)協(xié)同過濾模型因初期用戶行為數(shù)據(jù)不足而導(dǎo)致的模型啟動(dòng)困難問題，以及未深度挖掘用戶及項(xiàng)目屬性的關(guān)鍵程度問題，本文將注意力機(jī)制引入到基于卷積神經(jīng)網(wǎng)絡(luò)的耦合協(xié)同過濾模型，提出了基于注意力機(jī)制的耦合協(xié)同過濾模型，以解除用戶與項(xiàng)目間獨(dú)立同分布的缺點(diǎn)，增強(qiáng)關(guān)鍵屬性的參數(shù)學(xué)習(xí)梯度，提高模型的推薦準(zhǔn)確率。

1 改進(jìn)的耦合協(xié)同過濾模型

1.1 注意力機(jī)制

注意力機(jī)制起源于神經(jīng)生物學(xué)，利用了人腦對(duì)不同信息接受程度不同這一特點(diǎn)，是一種從大量信息中篩選出高價(jià)值信息的有效手段。近年來，注意力機(jī)制被廣泛的應(yīng)用在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域。實(shí)現(xiàn)注意力機(jī)制的方式有很多，主要的實(shí)現(xiàn)思路是：先提取輸入信息的注意力權(quán)值，然后將提取到的注意力引入到深層神經(jīng)元中[12]。設(shè)輸入注意力層的信息為ain，則注意力權(quán)值的計(jì)算式可以表示為

A=f(Waain+ba)

(1)

式中：A為注意力權(quán)值向量；Wa和ba分別為注意力層對(duì)應(yīng)神經(jīng)元的權(quán)值和偏置值；f( )為非線性激活函數(shù)，通常取為Sigmoid函數(shù)，以保證注意力權(quán)值分布在區(qū)間(0,1)內(nèi)。

通常將注意力權(quán)值向量作為解碼層輸出的權(quán)值向量，與解碼特征點(diǎn)積即可起到將編碼層注意力傳輸?shù)浇獯a層的效果，這樣可以讓模型在訓(xùn)練學(xué)習(xí)中對(duì)注意力權(quán)值較大的特征或?qū)傩云鸬礁蟮淖饔?。本文將注意力機(jī)制結(jié)合到編碼層輸出上，以便將注意力的影響傳入更深層的特征學(xué)習(xí)中。

在推薦模型中，用戶和項(xiàng)目的相關(guān)信息及屬性，如用戶的性別或者年齡、項(xiàng)目的類別等，往往能顯式反映出用戶和項(xiàng)目的關(guān)聯(lián)及特征；而用戶和項(xiàng)目的相關(guān)行為，如點(diǎn)贊或評(píng)分等，能隱式反映出用戶和項(xiàng)目的關(guān)聯(lián)及特征。本文綜合考慮顯式及隱式的因素，首先在顯式反饋網(wǎng)絡(luò)模型中引入注意力機(jī)制，以優(yōu)化特征學(xué)習(xí)效果，并提出了一種新的耦合程度計(jì)算方法，以避免數(shù)值爆炸；然后集成改進(jìn)的顯式反饋模型與隱式反饋模型，得到最終的改進(jìn)耦合協(xié)同過濾模型。

1.2 顯式耦合注意力機(jī)制網(wǎng)絡(luò)模型

為提取用戶與項(xiàng)目的顯式關(guān)聯(lián)及特征，用戶和項(xiàng)目的相關(guān)屬性輸入用u和i來表示，而用戶對(duì)項(xiàng)目的評(píng)分行為將構(gòu)成用戶-項(xiàng)目矩陣R，其元素rm,n代表第m個(gè)用戶對(duì)第n個(gè)項(xiàng)目的評(píng)分。用戶與項(xiàng)目的相關(guān)信息能表示用戶對(duì)項(xiàng)目的顯式偏好。為了提取每個(gè)屬性對(duì)用戶和項(xiàng)目偏好的不同，本文通過引入注意力機(jī)制來提取每個(gè)屬性的影響力。顯式耦合注意力機(jī)制網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。用戶u和項(xiàng)目i的注意力權(quán)值A(chǔ)u、Ai分別為

(2)

式中，vu、vi分別為用戶u和項(xiàng)目i的信息向量，Wu、Wi和bu、bi分別為注意力層對(duì)應(yīng)神經(jīng)元的權(quán)值和偏置值。

圖1 基于注意力機(jī)制的顯式耦合協(xié)同過濾模型結(jié)構(gòu)

然后將提取到的注意力權(quán)值與嵌入層傳輸?shù)南蛄恐苯幼鰧?duì)應(yīng)元素點(diǎn)積相乘(見式(3))，至此可以將注意力集中在比較高的維度上。

(3)

式中，Au,out和Ai,out分別為用戶信息向量和項(xiàng)目信息向量通過注意力層的輸出。在融合層，為了計(jì)算出用戶和項(xiàng)目的耦合關(guān)系，通過給定耦合函數(shù)gΘ(Au,out,Ai,out)將上述輸出轉(zhuǎn)換為耦合信息矩陣Rc，其中Θ代表函數(shù)參數(shù)，Rc中的元素為

(4)

式中，gi′,j表示對(duì)應(yīng)的注意力層用戶向量中第i′個(gè)元素Au,out,i′與項(xiàng)目向量中第j個(gè)元素Ai,out,j的耦合程度。該公式形式受電路原理中元件間耦合系數(shù)計(jì)算公式的啟發(fā)，并且將耦合關(guān)系限定在(0,1)區(qū)間內(nèi)，避免了元素相乘過大導(dǎo)致數(shù)值爆炸而抑制了對(duì)小數(shù)值元素學(xué)習(xí)的問題，同時(shí)該式也具有對(duì)稱性，能保持對(duì)相同元素在矩陣對(duì)稱位置的計(jì)算結(jié)果也相同，避免了計(jì)算上的歧義。

卷積是提取特征常用的手段，本文將耦合信息矩陣Rc通過卷積層提取其特征，以供更深層次的網(wǎng)絡(luò)對(duì)耦合關(guān)系的特征進(jìn)行學(xué)習(xí)：

hconv=conv(WconvRc+bconv)

(5)

式中，Wconv和bconv分別為卷積層神經(jīng)元的權(quán)值和偏置值，conv為卷積操作，hconv為卷積層的輸出，即所需要的耦合信息特征。用戶和項(xiàng)目的信息數(shù)據(jù)經(jīng)過嵌入層、注意力層、融合層及卷積層之后，能夠很好地學(xué)習(xí)出其中的顯式耦合關(guān)系及特征。

1.3 隱式反饋DeepCF模型

隱式反饋網(wǎng)絡(luò)參考DeepCF結(jié)構(gòu)[6]，DeepCF通過一個(gè)多層感知機(jī)從用戶的評(píng)分等行為提取隱式關(guān)系及特征，與NCF[8]相似，其結(jié)構(gòu)如圖2所示。其中用戶評(píng)分信息用獨(dú)熱編碼表示，通過獨(dú)熱編碼離散信息使其向量化，可以使特征間的距離計(jì)算更加合理。由于推薦系統(tǒng)的評(píng)分信息類別往往很多，會(huì)導(dǎo)致編碼后的特征空間過于龐大稀疏，使特征學(xué)習(xí)過程變得困難，因此本文利用Word2Vec[15]中的方法，將輸入信息嵌入到新的特征空間中，記用戶信息與項(xiàng)目信息編碼分別為ou和oi，嵌入后的向量分別為ru∈Rk和ri∈Rk，k為嵌入空間的緯度。

為了將用戶和項(xiàng)目的隱含相關(guān)性映射進(jìn)相同的特征空間中，DeepCF利用一個(gè)逐元素乘法運(yùn)算生成一個(gè)線性相關(guān)的向量r，則r的計(jì)算公式為

圖2 DeepCF模型結(jié)構(gòu)

r=ru?ri=(ru1ri1,ru2ri2,…,rukrik)

(6)

式中，?為逐元素相乘運(yùn)算，ruk與rik分別為嵌入向量ru與ri的第k個(gè)元素。然后在多層感知機(jī)向量模型中引入非線性元素，并深度學(xué)習(xí)出用戶和項(xiàng)目的隱含關(guān)系，其公式為

(7)

式中，Wn和bn分別為第n(n=1,2,…,L)層感知機(jī)的權(quán)值和偏置值，RELU( )為常用的激活函數(shù)，an為第n層感知機(jī)的輸出。最后提取到的即為用戶和項(xiàng)目的隱式關(guān)系及特征。

1.4 顯式及隱式集成模型

多模型融合學(xué)習(xí)的方式有很多，如DS證據(jù)理論或者全連接神經(jīng)網(wǎng)絡(luò)等[16]。在顯式反饋?zhàn)⒁饬C(jī)制模型與隱式反饋DeepCF模型中已經(jīng)提取出用戶和項(xiàng)目的顯式特征與隱式特征。為了取得更好的推薦效果，本文將這兩種模型通過全連接網(wǎng)絡(luò)結(jié)合起來，其結(jié)構(gòu)如圖3所示。首先通過拼接操作，將顯式特征hconv和隱式特征aL拼接成用戶、項(xiàng)目的耦合向量c，以便輸入全連接網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。然后通過全連接網(wǎng)絡(luò)進(jìn)行回歸預(yù)測(cè)，得到最終結(jié)果，其過程表示為

(8)

式中，Wfc和bfc分別為全連接層神經(jīng)元的權(quán)值和偏置值，ffc( )為全連接層的激活函數(shù)，通常取Sigmoid函數(shù)作為激活函數(shù)，以將輸出結(jié)果映射到(0,1)區(qū)間中。

為了訓(xùn)練這個(gè)模型，采用梯度下降等機(jī)器學(xué)習(xí)領(lǐng)域常用的優(yōu)化方法進(jìn)行訓(xùn)練，其中損失函數(shù)的計(jì)算采用交叉熵?fù)p失函數(shù)。交叉熵?fù)p失函數(shù)的特點(diǎn)是將數(shù)據(jù)非線性地映射到(0,1)區(qū)間，并且數(shù)值越大概率越大，數(shù)值越小概率越小，符合推薦系統(tǒng)的回歸概念。損失函數(shù)為

圖3 基于注意力機(jī)制的耦合協(xié)同過濾模型結(jié)構(gòu)

(9)

根據(jù)式(9)給出損失函數(shù)，結(jié)合梯度下降算法及各類神經(jīng)網(wǎng)絡(luò)優(yōu)化調(diào)參方法對(duì)模型進(jìn)行調(diào)優(yōu)，可以達(dá)到提升模型推薦效果的目的。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 模型評(píng)估結(jié)果對(duì)比

本文采用著名的推薦系統(tǒng)測(cè)試數(shù)據(jù)集——MovieLens數(shù)據(jù)集[17]進(jìn)行實(shí)驗(yàn)。MovieLens有多個(gè)版本，為了更好地驗(yàn)證模型的推薦性能，本文采用MovieLens 1M數(shù)據(jù)集。MovieLens 1M數(shù)據(jù)集包含6 040 個(gè)用戶和3 952部電影的信息，其中評(píng)分?jǐn)?shù)據(jù)均采用5分制，而且該數(shù)據(jù)集保證每位用戶至少參與20部電影的評(píng)分，以保證數(shù)據(jù)密度能夠支持推薦系統(tǒng)的正常運(yùn)行。數(shù)據(jù)集的用戶信息包括性別、年齡、職業(yè)和郵編，電影信息包括電影的種類，這些作為顯式模型的輸入。將用戶對(duì)電影的評(píng)分信息二值化：用戶對(duì)項(xiàng)目有評(píng)分的，交互數(shù)據(jù)標(biāo)記為1；用戶對(duì)項(xiàng)目未評(píng)分的，交互數(shù)據(jù)標(biāo)記為0，這些作為隱式模型的輸入。

為了檢驗(yàn)本文模型的性能，采用基于傳統(tǒng)矩陣分解的的BPR模型[18]、基于項(xiàng)目的ItemKNN算法[4]、基于多層感知機(jī)的MLP[19]模型、基于深度學(xué)習(xí)的NeuMF[8]模型、采用注意力機(jī)制改進(jìn)DeepCF模型的DeepUCF+a[14]模型和同樣是耦合協(xié)同過濾模型的CoupledCF[6]模型進(jìn)行對(duì)比實(shí)驗(yàn)。通過將隨機(jī)抽取的99項(xiàng)負(fù)樣本連同訓(xùn)練過程中保留的1項(xiàng)正樣本構(gòu)成驗(yàn)證集，來對(duì)模型的效果進(jìn)行檢驗(yàn)對(duì)比。評(píng)價(jià)指標(biāo)采用top-K命中率(HR@K，用于計(jì)算測(cè)試項(xiàng)是否在topK推薦項(xiàng)列表中)和歸一化折損累計(jì)增益(NDCG，通過將較高分?jǐn)?shù)指定為頂級(jí)排名來計(jì)算命中的位置)，其計(jì)算式如下：

(10)

(11)

式中，#hits為推薦結(jié)果在測(cè)試集T中的命中次數(shù)，pd為處于位置d的推薦結(jié)果的相關(guān)性，Zk為歸一化系數(shù)。在實(shí)驗(yàn)中K取10，pd∈{0，1}，若處于位置d的推薦結(jié)果在推薦的條目中，則pd取1，否則取0。

幾種模型在MovieLens 1M數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1所示。從表中可以看出：相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，即ItemKNN模型和BPR模型，其他基于深度學(xué)習(xí)的模型在兩個(gè)評(píng)價(jià)指標(biāo)上有更好的表現(xiàn)；與單純學(xué)習(xí)隱式反饋信息的模型NeuMF相比，基于耦合協(xié)同過濾的模型CoupledCF和本文提出的模型顯著提升了推薦效果，并且引入了注意力機(jī)制的本文模型提升的效果比CoupledCF明顯。

表1 幾種模型在MovieLens 1M數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

在評(píng)價(jià)標(biāo)準(zhǔn)上，本文模型相較于傳統(tǒng)的ItemKNN模型和BPR模型，在HR@10上提升了約30%，而在NDCG@10上提升了近50%～75%，說明基于深度學(xué)習(xí)的協(xié)同過濾模型，不僅大幅提升了推薦命中率，而且在命中的推薦順序上更為精確。而對(duì)比隱式反饋信息模型NeuMF，本文模型在HR@10和NDCG@10上分別提升了16.39%、30.58%，無疑是因?yàn)榧闪笋詈巷@式反饋信息，說明顯式信息的引入，挖掘出項(xiàng)目與用戶之間的耦合關(guān)系，對(duì)協(xié)同過濾模型有著重要的意義。對(duì)比同樣是結(jié)合了注意力機(jī)制的改進(jìn)DeepCF的基于用戶的協(xié)同過濾模型DeepUCF+a，本文模型在HR@10和NDCG@10上分別提升了17.13%、27.70%,雖然在HR@10上的提升超過了NeuMF，但在NDCG@10上的表現(xiàn)是引入了注意力機(jī)制的模型更好，說明注意力機(jī)制確實(shí)能夠深度挖掘用戶屬性信息，提升了基于用戶的協(xié)同過濾模型的推薦效果。

對(duì)比同樣是集成了耦合顯式反饋信息的CoupledCF，本文模型在HR@10和NDCG@10上分別提升了3.10%、7.54%，這說明注意力機(jī)制確實(shí)能幫助協(xié)同過濾模型挖掘出用戶與項(xiàng)目中各個(gè)屬性的關(guān)鍵程度，并且由于在NDCG@10上的提升更為明顯，說明挖掘出這些關(guān)鍵程度對(duì)命中的推薦排序也有更明顯的幫助，這樣可以讓模型在實(shí)際工程運(yùn)用中將有高關(guān)聯(lián)度的結(jié)果排在更靠前的位置，使模型更具有泛用價(jià)值。

為探尋top-K評(píng)價(jià)中K值對(duì)模型的影響，當(dāng)K分別取5、10及15時(shí)，CoupledCF與本文模型的命中率和NDCG的實(shí)驗(yàn)結(jié)果如表2所示。從表中可以發(fā)現(xiàn)：當(dāng)K為5和10時(shí)，引入注意力機(jī)制的本文模型在命中率上會(huì)有一些優(yōu)勢(shì)，但當(dāng)K為15時(shí)，兩個(gè)模型的命中率差距不大，甚至本文模型的命中率比CoupledCF稍遜一些，這是因?yàn)閷⒆⒁饬C(jī)制引入網(wǎng)絡(luò)后，在一定程度上增加了網(wǎng)絡(luò)的復(fù)雜程度，雖然可以提取各屬性的關(guān)鍵程度，但當(dāng)K值增大后，各屬性的關(guān)鍵程度在召回率topK指標(biāo)上并不是起到非常重要的優(yōu)化作用，反而使之后的特征學(xué)習(xí)變得困難；本文模型的NDCG始終優(yōu)于CoupledCF模型，這說明無論K值怎樣變化，對(duì)屬性關(guān)鍵程度的挖掘，會(huì)對(duì)推薦目標(biāo)的排列位置的正確性產(chǎn)生積極的反饋?zhàn)饔?，使得模型在?shí)際工程應(yīng)用中的表現(xiàn)對(duì)用戶更加友好。

表2 top K中K值對(duì)命中率和NDCG的影響

2.2 模型消融結(jié)果對(duì)比

Book-Crossings[20]是由Cai-Nicolas Ziegler根據(jù)Bookcrossing網(wǎng)站的數(shù)據(jù)編寫的圖書評(píng)分?jǐn)?shù)據(jù)集。它包含9萬個(gè)用戶對(duì)27萬本書的110萬個(gè)評(píng)分,評(píng)分值范圍為1～10，還包括隱性評(píng)分。Book-Crossings數(shù)據(jù)集是最不密集的數(shù)據(jù)集之一，也是具有明確評(píng)分的最不密集的數(shù)據(jù)集。本實(shí)驗(yàn)采用用戶的年齡、國籍和所在城市數(shù)據(jù)，同時(shí)采用圖書的作者、出版年份和出版社數(shù)據(jù)。而對(duì)于隱式模型的輸入，同樣將用戶對(duì)圖書的評(píng)分信息二值化：用戶對(duì)項(xiàng)目有評(píng)分的，交互數(shù)據(jù)標(biāo)記為1；用戶對(duì)項(xiàng)目未評(píng)分的，交互數(shù)據(jù)標(biāo)記為0。此外，由于用戶和圖書的每類數(shù)據(jù)的不同條目過多，采用獨(dú)熱編碼將會(huì)導(dǎo)致輸入數(shù)據(jù)維度過大，因此，本文采用直接數(shù)值化的方法將數(shù)據(jù)輸入模型中。

在Book-Crossings數(shù)據(jù)集上，為了驗(yàn)證注意力機(jī)制對(duì)模型的提升效果，將本文模型與1.2節(jié)中未引入注意力機(jī)制的顯式反饋網(wǎng)絡(luò)模型(explictCoupled)、1.3節(jié)中的DeepCF模型以及1.2節(jié)中引入了注意力機(jī)制的顯式網(wǎng)絡(luò)模型(attentionCoupled)進(jìn)行消融實(shí)驗(yàn)對(duì)比，HR@10與NDCG@10結(jié)果如表3所示。

表3 幾種模型在Book-Crossings數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

從表3可以發(fā)現(xiàn)，相對(duì)于隱式反饋網(wǎng)絡(luò)DeepCF模型，對(duì)于Book-Crossings這種十分稀疏的數(shù)據(jù)集，顯式反饋網(wǎng)絡(luò)模型在命中率與NDCG上分別提升了13.57%和11.58%，說明耦合協(xié)同過濾模型在稀疏數(shù)據(jù)集上的推薦效果優(yōu)于傳統(tǒng)的非耦合協(xié)同過濾模型。而引入了注意力機(jī)制的耦合協(xié)同過濾模型相對(duì)于未引入注意力機(jī)制的耦合協(xié)同過濾模型，在命中率和NDCG上的提升就沒有那么明顯，分別提升了2.80%和0.20%，可以忽略不計(jì)。這可能是因?yàn)橐肓俗⒁饬C(jī)制后，模型對(duì)過于稀疏的數(shù)據(jù)的注意力提取較為困難，且數(shù)據(jù)中缺失信息較多，對(duì)注意力的提取可能產(chǎn)生一定程度上的影響。結(jié)合了基于注意力機(jī)制的耦合協(xié)同過濾模型和DeepCF模型的融合模型，在兩個(gè)指標(biāo)上的表現(xiàn)較融合前的模型有明顯的提升。相對(duì)于隱式反饋DeepCF模型，融合模型在命中率和NDCG上分別提升了26.72%、18.30%。相對(duì)于基于注意力機(jī)制的耦合協(xié)同過濾模型，融合模型在命中率和NDCG上分別提升了8.54%、5.61%。這說明，融合了顯式反饋信息和隱式反饋信息的耦合協(xié)同過濾模型的推薦效果優(yōu)于單獨(dú)的模型。對(duì)于推薦模型而言，雖然注意力機(jī)制在數(shù)據(jù)稀疏的情況下對(duì)推薦效果提升的影響不大，但融合顯式反饋信息和隱式反饋信息是提升模型推薦效果的一種有效手段。

3 結(jié)論

本文將深度學(xué)習(xí)融入?yún)f(xié)同過濾模型，并結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制，使得模型在用戶和項(xiàng)目的顯式關(guān)系提取學(xué)習(xí)上，能夠解決模型對(duì)用戶和項(xiàng)目的不同顯式屬性的關(guān)注程度不同的問題；提出了一種新的耦合程度計(jì)算方法，進(jìn)一步提升了耦合協(xié)同過濾模型的推薦效果。實(shí)驗(yàn)結(jié)果表明，相較于傳統(tǒng)的協(xié)同過濾模型，引入了卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的模型顯著提升了推薦效果。但本文模型沒有充分考慮到注意力隨時(shí)間變化而變化的特點(diǎn)，因此如果能將時(shí)間性因素融入注意力機(jī)制，耦合協(xié)同過濾模型在實(shí)際應(yīng)用中的推薦效果會(huì)更好。