圖卷積注意網(wǎng)絡(luò)與神經(jīng)協(xié)同過(guò)濾

黃俊輝,楊 艷,b,*

(黑龍江大學(xué) a.計(jì)算機(jī)科學(xué)技術(shù)學(xué)院;b.黑龍江省數(shù)據(jù)庫(kù)與并行計(jì)算重點(diǎn)實(shí)驗(yàn)室,哈爾濱 150080)

0 引 言

目前，個(gè)性化的推薦系統(tǒng)借助多樣化的信息平臺(tái)，如電子商務(wù)、各種廣告、社交媒體以及各種文娛平臺(tái)等，便利著大眾生活。基于協(xié)同過(guò)濾(Collaborative filtering，CF)的原理預(yù)測(cè)用戶未來(lái)感興趣的項(xiàng)目，一般是將用戶和項(xiàng)目按照某種規(guī)則參數(shù)化，進(jìn)而計(jì)算二者之間的相似性。

在推薦領(lǐng)域當(dāng)中，從早期的基于矩陣分解的方法[1]到如今的基于深度學(xué)習(xí)的方法，所解決的核心問(wèn)題一直都是如何獲取用戶與項(xiàng)目嵌入向量的高質(zhì)量表示[2]。傳統(tǒng)做法是將用戶與項(xiàng)目的特征屬性進(jìn)行簡(jiǎn)單的編碼，如采用ONE-HOT將用戶與項(xiàng)目進(jìn)行特征編碼或者對(duì)用戶與項(xiàng)目的交互矩陣進(jìn)行矩陣分解得到用戶與項(xiàng)目的隱式嵌入表示，進(jìn)而進(jìn)行預(yù)測(cè)。這些方法的局限性在于簡(jiǎn)單的編碼形式對(duì)于用戶與項(xiàng)目之間更細(xì)粒度下的相關(guān)性表達(dá)不夠充分，最終影響推薦的效果。而基于神經(jīng)網(wǎng)絡(luò)的方法可以通過(guò)深度網(wǎng)絡(luò)架構(gòu)從簡(jiǎn)單的特征中逐層學(xué)習(xí)高階的嵌入表示，并引入非線性特征，從而拓展了傳統(tǒng)嵌入表示。但是一般的深度網(wǎng)絡(luò)沒(méi)有對(duì)用戶和項(xiàng)目之間的顯式CF信息進(jìn)行建模，最終導(dǎo)致預(yù)測(cè)的性能不佳[3]。

近年來(lái)，圖卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)領(lǐng)域取得了極大的成果，同樣在推薦領(lǐng)域有不俗的表現(xiàn)[4-5]。首先圖卷積神經(jīng)網(wǎng)絡(luò)可以在圖結(jié)構(gòu)上學(xué)習(xí)到優(yōu)秀的嵌入表示，其次在用戶與項(xiàng)目的二部圖上進(jìn)行圖卷積操作可以顯式的建模二者之間的CF特征，從而提高推薦的性能。但是這類方法主要存在兩個(gè)問(wèn)題：①考慮各個(gè)節(jié)點(diǎn)影響力時(shí)沒(méi)有考慮不同項(xiàng)目之間的差異性。受到注意力機(jī)制的啟發(fā)，將注意力機(jī)制引入到傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)中改進(jìn)推薦性能，并且和使用前饋網(wǎng)絡(luò)生成權(quán)重的方法不同，通過(guò)采用經(jīng)典的解碼-編碼模式的注意力機(jī)制[6]，以求盡可能減少參數(shù)量。②在多次卷積傳播的過(guò)程中用戶與項(xiàng)目的嵌入表示會(huì)趨于一致，這樣不同卷積層的結(jié)果差異性會(huì)減小。對(duì)于如何整合不同卷積層的結(jié)果，受到殘差網(wǎng)絡(luò)的啟發(fā)，通過(guò)合理的設(shè)計(jì)聚合器聚合不同卷積層的結(jié)果可以解決這個(gè)問(wèn)題。

為了解決現(xiàn)有模型的兩個(gè)主要問(wèn)題，提出了融合注意力機(jī)制和殘差網(wǎng)絡(luò)思想的基于注意力的神經(jīng)協(xié)同圖卷積模型(An attention recommendation model for graph convolution，GCA-NR)，通過(guò)類比傳統(tǒng)圖卷積理論性的說(shuō)明了GCA-NR卷積核設(shè)計(jì)的合理性，并且通過(guò)實(shí)驗(yàn)驗(yàn)證了GCA-NR在性能提升上的有效性。

1 相關(guān)工作

1.1 基于模型的CF方法

現(xiàn)代推薦系統(tǒng)是將用戶和項(xiàng)目按照某種規(guī)則進(jìn)行嵌入[7]，并對(duì)他們的交互模式進(jìn)行建模。對(duì)于此類方法，想要增強(qiáng)推薦效果最直觀的想法就是整合一些輔助信息增強(qiáng)嵌入向量效果，如項(xiàng)目信息、用戶信息、社會(huì)關(guān)系[8]以及外部知識(shí)圖[9]等。這種改進(jìn)思路取得了顯著的效果，但是通過(guò)簡(jiǎn)單內(nèi)積的方式建模交互模式不足以表現(xiàn)復(fù)雜的非線性關(guān)系。通過(guò)采用深度學(xué)習(xí)框架代替內(nèi)積的方法可以建模交互模式中的復(fù)雜非線性關(guān)系，能夠解決這個(gè)問(wèn)題。

但是，這些方法都是通過(guò)嵌入函數(shù)獲取嵌入向量，利用交互函數(shù)充當(dāng)相似性的度量。根據(jù)CF原理，若所建模的交互函數(shù)盡可能的完美，應(yīng)該可以捕獲行為相似性的傳遞性。但是通過(guò)實(shí)踐發(fā)現(xiàn)傳統(tǒng)的方法所取得的嵌入向量在向量空間當(dāng)中并不能很好的捕獲這種傳遞性，即不能顯式地對(duì)CF信號(hào)進(jìn)行編碼。

1.2 基于圖的CF方法

基于圖的CF方法是利用用戶和項(xiàng)目的交互圖來(lái)推斷用戶的偏好。在早期的研究當(dāng)中采用過(guò)標(biāo)簽傳遞的方法捕獲CF信息，具體做法是將用戶所交互過(guò)的項(xiàng)目打上標(biāo)簽并在圖結(jié)構(gòu)上將這些標(biāo)簽進(jìn)行傳遞。這類方法雖然可顯式地捕獲CF特征，但缺少用于優(yōu)化目標(biāo)的模型參數(shù)，因此在表現(xiàn)上和基于模型的方法相比略顯不足，ItemRank[10]和BiRank[11]就是這類方法的典型代表。

針對(duì)上述問(wèn)題，近年提出了一些新的方法，如HOP-Rec[12]，將基于圖的方法和基于嵌入的方法相結(jié)合，既可以顯式的利用圖結(jié)構(gòu)捕獲CF信息又可以通過(guò)嵌入的方法優(yōu)化模型。首先執(zhí)行隨機(jī)游走，用以捕獲豐富的CF信息即用戶與鄰居以及多跳鄰居之間的交互數(shù)據(jù)，之后將豐富的交互數(shù)據(jù)以貝葉斯個(gè)性化排序[13](Bayesian personalized ranking，BPR)為目標(biāo)進(jìn)行優(yōu)化。經(jīng)過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)和一般的基于模型和基于圖的CF方法相比，HOP-Rec在性能上具有明顯的優(yōu)越性。但是，該方法并沒(méi)有完全探索圖中的高階連通性即僅通過(guò)隨機(jī)游走等方式豐富了數(shù)據(jù)信息而沒(méi)有直接優(yōu)化模型的嵌入方式；同時(shí)這種基于隨機(jī)游走的方式使得模型性能受到隨機(jī)游走因子的極大影響，這對(duì)優(yōu)化工作也是一項(xiàng)極大的挑戰(zhàn)。

1.3 基于圖卷積神經(jīng)網(wǎng)絡(luò)的CF方法

針對(duì)探索圖中高階連通性的問(wèn)題，現(xiàn)有的主流研究方法采用在用戶與項(xiàng)目交互圖上設(shè)計(jì)專門的卷積核進(jìn)行圖卷積運(yùn)算，使得模型可以更好地挖掘圖中的高階連通性。

GC-MC[14]方法是在用戶和項(xiàng)目交互圖上進(jìn)行圖卷積運(yùn)算的嘗試，同傳統(tǒng)的推薦算法相比具有不小的提升。由于只是用了一個(gè)卷積層，因此同樣未能揭示高階連通性。

PinSage[15]方法是一種工業(yè)解決方案，是在項(xiàng)目圖中采用多個(gè)卷積圖層進(jìn)行操作。由于是在項(xiàng)目圖中進(jìn)行的圖卷積，因而忽略了用戶與項(xiàng)目的互動(dòng)。

NGCF[16]方法是運(yùn)用圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行推薦的一個(gè)嶄新的研究成果。該模型就是在用戶與項(xiàng)目交互圖上進(jìn)行多層圖卷積操作。根據(jù)實(shí)驗(yàn)效果，相比于之前的方法，該模型性能優(yōu)秀，對(duì)圖中的高階連通性有很好的捕獲效果。但該方法在處理不同的項(xiàng)目對(duì)用戶的影響因子的問(wèn)題上只采用了簡(jiǎn)單的根據(jù)出度和入度加權(quán)的方式，沒(méi)有考慮到不同項(xiàng)目對(duì)用戶影響力不同的問(wèn)題，其次針對(duì)用戶偏好的建模只采用點(diǎn)積的方式，不足以充分利用所捕獲的豐富的高階CF信息。

1.4 基于注意力機(jī)制的CF方法

注意力模型[17]現(xiàn)在已經(jīng)成為了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)重要概念。在自然語(yǔ)言處理、統(tǒng)計(jì)學(xué)習(xí)、語(yǔ)音識(shí)別等領(lǐng)域有著重要的運(yùn)用。注意力機(jī)制可以通過(guò)人類視覺(jué)機(jī)制進(jìn)行直觀的解釋：人類在觀察圖片信息的時(shí)候會(huì)給與圖片不同的部分以不同的關(guān)注，類比到對(duì)于數(shù)據(jù)信息的處理當(dāng)中，在一個(gè)序列預(yù)測(cè)模型中預(yù)測(cè)下一個(gè)元素，和前幾個(gè)元素都正相關(guān)，但是前幾個(gè)元素每一個(gè)對(duì)于貢獻(xiàn)的占比是不一樣的，這樣可以為每一個(gè)元素分配不同比重的方法就是注意力機(jī)制。

在注意力模型當(dāng)中，共有3個(gè)主要的模塊：Query、Key、Value，見(jiàn)圖1。使用注意力機(jī)制時(shí)首先確定Query和Key，再比較二者的相似性計(jì)算權(quán)重，最后將各部分信息同 Value一起進(jìn)行加權(quán)整合。一般來(lái)說(shuō)取Key=Value。

圖1 注意力機(jī)制運(yùn)作流程

注意力機(jī)制在推薦領(lǐng)域中也有豐富的運(yùn)用，如DIN，該模型就是根據(jù)注意力機(jī)制在一個(gè)用戶的行為序列上為該序列的每一個(gè)元素賦予不同的權(quán)重，再加權(quán)聚合每一個(gè)元素用以預(yù)測(cè)序列的下一個(gè)元素。

2 GCA-NR模型

GCA-NR的整體結(jié)構(gòu)見(jiàn)圖2。由圖2可見(jiàn)，GCA-NR由3個(gè)組件組成：提供初始化用戶和項(xiàng)目嵌入向量的嵌入層；運(yùn)用圖卷積在用戶和項(xiàng)目交互圖上提取高階CF信息的用以優(yōu)化嵌入的傳播層；根據(jù)所得到的嵌入向量預(yù)測(cè)用戶和項(xiàng)目偏好程度的預(yù)測(cè)層。

圖2 GCA-NR模型結(jié)構(gòu)圖

2.1 嵌入層

根據(jù)現(xiàn)在主流的推薦模型，對(duì)用戶與項(xiàng)目進(jìn)行形式化表述，記用戶x為ux,項(xiàng)目y為iy，用戶x的嵌入向量為eux∈Rd,項(xiàng)目y的嵌入向量為eiy∈Rd,其中d是嵌入向量的維度，用戶的嵌入矩陣為U，項(xiàng)目的嵌入矩陣為I。

用戶與項(xiàng)目的嵌入矩陣，在一般的基于深度學(xué)習(xí)的方法中是直接將其輸入到特征提取層或者預(yù)測(cè)層中。但是在基于圖卷積神經(jīng)網(wǎng)絡(luò)的方法中，嵌入矩陣就是參數(shù)矩陣，需要經(jīng)過(guò)圖卷積層對(duì)這些嵌入進(jìn)行優(yōu)化，優(yōu)化的方式是端到端的。

2.2 嵌入傳播層

該模塊的任務(wù)就是通過(guò)在用戶與項(xiàng)目的交互圖上進(jìn)行圖卷積操作獲取最終的嵌入向量。

用戶與項(xiàng)目的交互見(jiàn)圖3，藍(lán)色是用戶節(jié)點(diǎn)，黃色是項(xiàng)目節(jié)點(diǎn)。

圖3 用戶和項(xiàng)目交互的二部圖

2.2.1 引入注意力機(jī)制的卷積核

記存在一個(gè)用戶x與項(xiàng)目y對(duì)(ux,iy)初次傳播：

首先是特征信息提?。?/p>

mu←i=ρuieiy

(1)

其中,ρui為注意力系數(shù)，通過(guò)注意力機(jī)制獲得

αui=f(eux,eiy)

(2)

其中,f采用歐式距離刻畫eux,eiy之間的相似度，歐氏距離能夠體現(xiàn)個(gè)體數(shù)值特征的絕對(duì)差異，可捕獲一些更細(xì)粒度下的特征信息。

ρui=softmax(αui)

(3)

特征整合：

(4)

其中,W為權(quán)重矩陣，mu←u=eux，Nu為用戶u的所有鄰居，g為自行選用的激活函數(shù)，本文采用的是RELU 函數(shù)。

第l次傳播：

每次卷積傳播都要經(jīng)歷特征信息提取和整合的過(guò)程，特征信息提?。?/p>

(5)

特征整合：

(6)

通過(guò)上述公式，可獲得每個(gè)用戶節(jié)點(diǎn)初次傳播和第l次傳播后更新的特征向量，而項(xiàng)目節(jié)點(diǎn)的獲取同理可得。因此，根據(jù)更新公式，每一次傳播，把圖中所有的節(jié)點(diǎn)都更新完畢，并且更新時(shí)各個(gè)節(jié)點(diǎn)之間相互不干擾，可采用并行操作。

2.2.2 卷積核的合理性

引入注意力機(jī)制后，模型可以捕獲用戶和項(xiàng)目與它們鄰居節(jié)點(diǎn)之間的CF信號(hào)。

根據(jù)圖卷積理論，圖卷積神經(jīng)網(wǎng)絡(luò)(Graph convolutional neural network,GCNN)的卷積核的通式可以被表述為

Hl+1=G(Hl,A)

(7)

其中,Hl為第l次傳播后節(jié)點(diǎn)的特征矩陣，特別的當(dāng)l=0的時(shí)候，Hl=X表示初始化的節(jié)點(diǎn)特征矩陣，A為圖結(jié)構(gòu)的鄰接矩陣，G為卷積核?？梢愿鶕?jù)不同的需要，設(shè)計(jì)成不同的函數(shù)，得到不同的圖卷積模型?，F(xiàn)代圖卷積網(wǎng)絡(luò)最常用的實(shí)現(xiàn)形式如下：

Hl+1=σ(LHlWl)

(8)

卷積核的節(jié)點(diǎn)形式可以表示為

(9)

mu←i=Δeiy

(10)

(11)

其中,Nu和Ni為用戶u和項(xiàng)目i的一跳以內(nèi)的鄰居數(shù)量；mu←u為節(jié)點(diǎn)自身的特征向量。

在GCA-NR模型中，同樣是將一個(gè)節(jié)點(diǎn)的所有鄰居節(jié)點(diǎn)的特征加以整合激活，同時(shí)顯式的引入了節(jié)點(diǎn)自身信息。但是在信息提取過(guò)程中沒(méi)有采用和度相關(guān)的系數(shù)，之間采用了一個(gè)動(dòng)態(tài)的注意力系數(shù)。

通過(guò)對(duì)引入SNL后的卷積核進(jìn)行研究，發(fā)現(xiàn)系數(shù)的作用就是對(duì)鄰接矩陣進(jìn)行歸一化。GCA-NR模型中的動(dòng)態(tài)注意力系數(shù)能夠完成這個(gè)任務(wù)。在圖卷積中，規(guī)范化鄰接矩陣的目的是為了平衡具有不同度的節(jié)點(diǎn)的影響力，而注意力機(jī)制可完成在動(dòng)態(tài)下根據(jù)需要平衡不同度的節(jié)點(diǎn)的影響力的任務(wù)。因此在廣義的角度，GCA-NR模型中的動(dòng)態(tài)注意力系數(shù)解決了這個(gè)問(wèn)題。同時(shí)傳統(tǒng)卷積核僅在形式上的規(guī)范化是不合常理的：若是出入度越高，給予的修正懲罰越高，這是反邏輯的一種現(xiàn)象，因?yàn)樵绞軞g迎的項(xiàng)目也大概率越容易被其他用戶所接受，而興趣廣泛的用戶也應(yīng)該越容易接受新的項(xiàng)目。因此模型不但滿足一個(gè)卷積核的理論需要，而且更具解釋性。

2.3 預(yù)測(cè)層

經(jīng)過(guò)上述的嵌入傳播層，包括初次傳播在內(nèi)，假設(shè)模型進(jìn)行了l次的傳播，可得到除初始化外l個(gè)不同的嵌入向量。為了進(jìn)行預(yù)測(cè)，需要整合這些不同的特征向量。理論上卷積傳播的次數(shù)越多，嵌入向量包含的特征越有價(jià)值；在實(shí)踐中，隨著卷積傳播次數(shù)的增加，嵌入向量的變化也越來(lái)越小。因此為了解決這種問(wèn)題，保證嵌入表示的質(zhì)量，通過(guò)采用以下聚合方式將所有的嵌入向量加以整合得到最終的嵌入向量：

(12)

其中,P為聚合器，采用的聚合方式：

(13)

其中,h為激活函數(shù)，采用的是tanh函數(shù)。

(14)

采用點(diǎn)積的方式預(yù)測(cè)評(píng)分：

(15)

與歐式距離相比，點(diǎn)積評(píng)測(cè)的方式更注重二者在抽象空間內(nèi)角度的差異，而非注重在具體距離上的差異，這樣使得模型更具魯棒性。

2.4 優(yōu)化器

學(xué)習(xí)并且優(yōu)化模型的參數(shù)，采用BPR損失函數(shù)。因?yàn)镚CA-NR不需要學(xué)習(xí)到每個(gè)用戶具體的喜好，只需要GCA-NR可以在兩個(gè)項(xiàng)目中為目標(biāo)用戶選擇一個(gè)他所偏好的項(xiàng)目。具體來(lái)說(shuō)模型為每一位用戶區(qū)分他所交互過(guò)的項(xiàng)目和他所沒(méi)有交互過(guò)的項(xiàng)目：

(16)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集介紹

測(cè)試模型性能的數(shù)據(jù)集是2個(gè)可以被公開(kāi)訪問(wèn)的數(shù)據(jù)集：Gowalla[19]，Amazon-book[20]。2個(gè)數(shù)據(jù)集的基本情況見(jiàn)表1。

表1 數(shù)據(jù)集介紹

Gowalla：從Gowalla獲得的簽到數(shù)據(jù)集，包含有用戶及其簽到的地點(diǎn)，特別的為了保證數(shù)據(jù)集的質(zhì)量，同大多數(shù)推薦系統(tǒng)處理的一樣，通過(guò)采用了10核設(shè)置優(yōu)化數(shù)據(jù)集(10核設(shè)置[21]即保留與用戶有10次交互的項(xiàng)目)。

Amazon-book：屬于亞馬遜在推薦系統(tǒng)領(lǐng)域被廣泛使用的書籍推薦數(shù)據(jù)集，同樣采用了10核設(shè)置。

數(shù)據(jù)集劃分策略[22]如下：取數(shù)據(jù)集中80%的部分用作訓(xùn)練集，又從訓(xùn)練集中抽取15%的交互數(shù)據(jù)作為驗(yàn)證集測(cè)試超參數(shù)的性能。數(shù)據(jù)集其余的部分則用作測(cè)試集。

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 評(píng)價(jià)指標(biāo)

為了評(píng)估top@k推薦和偏好排名的有效性，采用了在推薦系統(tǒng)領(lǐng)域之中被廣泛使用的兩個(gè)指標(biāo)recall@K，ndcg@K[23]。默認(rèn)情況下將K取為20。

3.2.2 基線方法

MF：是基于模型的協(xié)同過(guò)濾方法最經(jīng)典最基礎(chǔ)的一個(gè)，采用奇異值分解(Singular value decomposition，SVD)，求解矩陣分解(Matrix decomposition,MD)，采用BPR損失函數(shù)優(yōu)化參數(shù)。

NeuMF：加入了深度學(xué)習(xí)框架的CF模型，該模型將用戶和項(xiàng)目嵌入接入多層前饋網(wǎng)絡(luò)以提取非線性特征交互最終用以預(yù)測(cè)評(píng)分的模型。該模型中前饋網(wǎng)絡(luò)層數(shù)采用了3層，每層的維度相同。

HOP-Rec：是基于圖的模型中最經(jīng)典的一個(gè)，通過(guò)隨機(jī)游走獲取圖結(jié)構(gòu)中的高階交互信息，來(lái)補(bǔ)強(qiáng)用戶和項(xiàng)目的特征，以達(dá)到提高推薦效果的目的。

GC-MC：是運(yùn)用了圖卷積神經(jīng)網(wǎng)絡(luò)的模型，是圖卷積網(wǎng)絡(luò)在推薦系統(tǒng)中的初次嘗試，只采用了一層傳播的圖卷積網(wǎng)絡(luò)，即只用來(lái)捕獲了一階鄰居的信息。

NGCF:是最先進(jìn)的運(yùn)用了圖卷積神經(jīng)網(wǎng)絡(luò)的模型，采用了多層傳播的模式，可以更好地捕獲圖結(jié)構(gòu)中所包含的CF信號(hào)，也是本文模型重點(diǎn)的比較對(duì)象。

3.2.3 實(shí)驗(yàn)設(shè)置

在Tensorflow中實(shí)現(xiàn)了GCA-NR模型，并使用Xavier初始化程序來(lái)初始化模型參數(shù)，對(duì)除了HOP-Rec以外的模型使用Adam優(yōu)化器優(yōu)化。

將嵌入向量維度統(tǒng)一設(shè)置為64，將批大小統(tǒng)一設(shè)置為1 024。

對(duì)于超參數(shù)，將學(xué)習(xí)率分別設(shè)置在0.000 1，0.000 5和0.001；將L2范數(shù)的歸一化系數(shù)分別設(shè)置在0.000 01，0.000 1，0.001，0.01。

對(duì)于HOP-Rec模型，將隨機(jī)游走的參數(shù)分別設(shè)置為1，2，3。

對(duì)于GC-MC、NGCF和GCA-NR采用了dropout技術(shù)，丟失系數(shù)分別設(shè)置為了0.1，0.2，0.4，0.6。

進(jìn)行性能比較，將NGCF和GCA-NR的傳播深度都固定為了3層。

3.3 實(shí)驗(yàn)效果展示

進(jìn)行了2個(gè)實(shí)驗(yàn)：①將GCA-NR同其他模型進(jìn)行性能比對(duì)，用以證明GCA-NR的有效性；②超參數(shù)實(shí)驗(yàn)，測(cè)試在不同超參數(shù)下GCA-NR的表現(xiàn)能力的規(guī)律，從而確定最佳超參數(shù)。

3.3.1 GCA-NR的有效性

傳統(tǒng)方法和基于神經(jīng)網(wǎng)絡(luò)的方法相比差距明顯，而引入圖結(jié)構(gòu)信息后的推薦模型性能的改進(jìn)也更明顯，結(jié)果見(jiàn)表2。GCA-NR相較于現(xiàn)有的基于圖卷積網(wǎng)絡(luò)的模型性能具有一定的改善，但是改善的幅度并不是很明顯，一部分原因來(lái)自于設(shè)備受限，另一部分則是基于注意力機(jī)制的卷積核的設(shè)計(jì)。

表2 模型性能實(shí)驗(yàn)

3.3.2 超參數(shù)實(shí)驗(yàn)

在圖卷積網(wǎng)絡(luò)當(dāng)中，傳播層數(shù)是對(duì)性能影響最大的一個(gè)參數(shù)，因此實(shí)驗(yàn)著重對(duì)傳播層數(shù)進(jìn)行了測(cè)試，結(jié)果見(jiàn)表3。由表3可見(jiàn)，隨著層數(shù)的增加網(wǎng)絡(luò)的性能有較為明顯的改善，但是同樣的隨著網(wǎng)絡(luò)層數(shù)的增加，模型的復(fù)雜度也有明顯的上升。因此綜合考慮，建議采用3層作為最佳層數(shù)進(jìn)行實(shí)踐。

經(jīng)過(guò)實(shí)驗(yàn)，展現(xiàn)并測(cè)試了GCA-NR模型的性能效果。

4 結(jié) 論

通過(guò)總結(jié)基于模型的CF推薦算法的發(fā)展歷史，以及圖卷積在基于模型的CF算法中的優(yōu)良表現(xiàn)，將編碼-解碼形式的注意力機(jī)制引入模型，創(chuàng)新了傳統(tǒng)的卷積核，并且說(shuō)明了這種卷積核的合理性，提高了模型捕獲CF信號(hào)的能力，增強(qiáng)了推薦效果；又通過(guò)基于神經(jīng)網(wǎng)絡(luò)和殘差思想的聚合器，更全面地獲取到每一次卷積傳播中有價(jià)值的特征。

嘗試將序列信息引入傳統(tǒng)的用戶和項(xiàng)目交互的二部圖中，采用自注意力機(jī)制和注意力機(jī)制相結(jié)合的方法，增強(qiáng)在整體興趣和短期興趣的捕獲能力；嘗試將膠囊網(wǎng)絡(luò)和記憶網(wǎng)絡(luò)運(yùn)用到高低階特征交互信息的融合上以追求性能的提高。