融合知識圖譜與注意力機制的推薦算法

唐 宏，范 森，唐 帆，朱龍嬌

1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065

2.重慶郵電大學(xué) 移動通信技術(shù)重慶市重點實驗室，重慶 400065

隨著信息時代的快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量大幅增長，信息過載問題日益嚴(yán)重。因此，為了及時高效地為用戶提供所需信息，推薦系統(tǒng)應(yīng)運而生。其中基于協(xié)同過濾的推薦算法（collaborative filtering，CF）[1]在推薦領(lǐng)域獲得了最廣泛的研究和應(yīng)用，它主要通過用戶已有的行為以及用戶與項目之間的數(shù)據(jù)找到相似度最高的用戶或者項目來進(jìn)行推薦。基于內(nèi)容的推薦算法（contentbased recommendations，CB）[2]的主要思想就是利用已知用戶或者項目的交互數(shù)據(jù)，查找相似的用戶屬性或者項目屬性，再根據(jù)這些相似的用戶或者項目屬性進(jìn)行推薦?；旌贤扑]算法（hybrid recommendation，HR）[3]就是將多種單一推薦算法進(jìn)行融合，有效避免了單一算法的不足。但是僅僅使用傳統(tǒng)算法進(jìn)行推薦，仍然出現(xiàn)推薦性能不佳，主要就是傳統(tǒng)算法存在數(shù)據(jù)稀疏以及冷啟動問題所導(dǎo)致的。

因此，為了解決傳統(tǒng)推薦算法存在的以上兩種問題，在推薦系統(tǒng)中引入上下文信息、知識圖譜[4]、多媒體信息、社交網(wǎng)絡(luò)等輔助信息來增強輸入數(shù)據(jù)的有效利用，從而提高最終的推薦性能。其中知識圖譜以三元組的形式構(gòu)建成一張巨大的網(wǎng)絡(luò)結(jié)構(gòu)[5]，因此覆蓋了推薦系統(tǒng)中大量用戶以及項目的數(shù)據(jù)信息，通過知識圖譜網(wǎng)絡(luò)的連接，可以通過獲取輸入數(shù)據(jù)之間連接，通過網(wǎng)絡(luò)結(jié)構(gòu)捕捉用戶、項目之間的潛在關(guān)系，可以更好地提高推薦性能，同時通過知識圖譜中節(jié)點與節(jié)點之間的連接，為推薦系統(tǒng)的可解釋性方面也帶來了一定的價值。文獻(xiàn)[6]通過仿真驗證證實了在推薦系統(tǒng)中加入知識圖譜可以有效緩解冷啟動和推薦缺乏新穎性等問題，同時也給推薦結(jié)果帶來一定的解釋性。文獻(xiàn)[7]通過將知識圖譜作為輔助信息加入到傳統(tǒng)協(xié)同過濾算法模型中，得出推薦性能有一定的提升。文獻(xiàn)[8-9]將用戶-項目之間的交互記錄作為出發(fā)點，構(gòu)建出的知識圖譜形成一張巨大的知識網(wǎng)絡(luò)，從而更加全面利用了數(shù)據(jù)之間的聯(lián)系，適當(dāng)緩解了數(shù)據(jù)稀疏問題。

同時，深度學(xué)習(xí)（deep learning，DL）因為具有強大的學(xué)習(xí)能力，在推薦領(lǐng)域占據(jù)越來越重要的地位[10]。深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)可以高效獲取輸入數(shù)據(jù)集的深層語義信息，并且捕捉用戶-項目之間的非線性關(guān)系，這對于推薦領(lǐng)域來說是很有價值的[11]。文獻(xiàn)[12]提出神經(jīng)網(wǎng)絡(luò)和協(xié)同過濾算法結(jié)合形成神經(jīng)協(xié)同過濾模型（neural collaborative filtering，NCF），對用戶項目之間的高階非線性特征進(jìn)行了更好的捕捉。文獻(xiàn)[13]提出了耦合協(xié)同過濾，利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶-項目之間的屬性信息，結(jié)合深度協(xié)同過濾思想捕捉用戶-項目之間的潛在關(guān)系。文獻(xiàn)[14]提出Deep FM模型，利用端到端的學(xué)習(xí)方式對相關(guān)信息進(jìn)行捕獲推薦，適當(dāng)提高了推薦性能。文獻(xiàn)[15]利用會話序列構(gòu)建圖數(shù)據(jù)結(jié)構(gòu)，再結(jié)合注意力機制來自適應(yīng)學(xué)習(xí)所有的會話。

本文主要貢獻(xiàn)如下：

（1）本文在傳統(tǒng)推薦算法的基礎(chǔ)上，加入知識圖譜，可以緩解傳統(tǒng)推薦模型數(shù)據(jù)稀疏與冷啟動問題[15]，利用知識圖譜中的網(wǎng)絡(luò)結(jié)構(gòu)，獲取輸入數(shù)據(jù)之間的聯(lián)系，通過網(wǎng)絡(luò)結(jié)構(gòu)捕捉用戶、項目之間的潛在關(guān)系，可以更好地提高推薦性能，也能適當(dāng)?shù)亟o推薦結(jié)果帶來解釋性。

（2）與此同時，由于現(xiàn)有的推薦算法對于用戶深層興趣的捕捉還不夠全面，因此本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)有效捕捉用戶深層興趣，加上注意力機制生成自適應(yīng)用戶表征，使得整個模型復(fù)雜度降低，縮短訓(xùn)練時間；同時，利用動態(tài)因子的導(dǎo)入，有助于捕獲用戶興趣的動態(tài)變化。

1 KG-NAMR推薦算法模型

在傳統(tǒng)推薦模型的基礎(chǔ)上，本文融合了知識圖譜輔助信息和深度學(xué)習(xí)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)注意力機制的思想，構(gòu)建出了KG-NAMR模型，框架圖如圖1所示。

圖1 KG-NAMR模型框架Fig.1 KG-NAMR model framework

在KG-NAMR模型中，將獲取的數(shù)據(jù)集隨機按照8∶2進(jìn)行劃分為訓(xùn)練集和測試集，把訓(xùn)練集知識圖譜嵌入到模型當(dāng)中進(jìn)行模型訓(xùn)練；然后將測試集構(gòu)建的知識圖譜嵌入到訓(xùn)練好的模型當(dāng)中，利用降噪自動編碼器解決噪聲帶來的影響；接著就將構(gòu)建的知識圖譜嵌入到卷積層中，通過卷積運算之后將三元組矩陣形式降維為低維向量，將低維向量經(jīng)過含有動態(tài)因子的注意力機制層，自動捕捉測試集當(dāng)中候選項目與歷史交互項目之間的注意力權(quán)值，經(jīng)過MLP進(jìn)行相似度分值計算，按照降序排序，最后進(jìn)行TOP-K推薦。

1.1 知識圖譜嵌入層

知識圖譜作為一種強大的知識網(wǎng)絡(luò)結(jié)構(gòu)，主要是由三元組的形式進(jìn)行構(gòu)建，根據(jù)知識圖譜進(jìn)行關(guān)系的搜索與捕獲，可以更加高效獲取潛在關(guān)系[16]。其中三元組用關(guān)系表示如下{(h,r,t)|h,t∈E,r∈R}，在上面的表示中，h代表知識圖譜的頭實體，t代表知識圖譜尾實體或?qū)傩灾?，r代表兩個實體之間的關(guān)系或者屬性，E代表知識圖譜中用戶與項目實體的集合；R代表所有實體之間關(guān)系的集合。圖2便是電影領(lǐng)域知識圖譜示例。

圖2 電影領(lǐng)域知識圖譜示例Fig.2 Examples of knowledge graphs in film domain

1.1.1 電影知識圖譜構(gòu)建

本文使用Neo4j圖數(shù)據(jù)庫進(jìn)行電影領(lǐng)域知識圖譜構(gòu)建，電影知識圖譜作為一種有向圖KG=(h,r,t)，其中h表示頭實體，包含用戶或者電影；r表示連接關(guān)系，包含用戶對電影的評分、電影導(dǎo)演、電影主演等屬性信息；t表示尾實體，包含用戶或者電影。

本文構(gòu)建的知識圖譜有多個，包括電影-類型知識圖譜（一部電影有2～5個類型標(biāo)簽）、用戶-電影-評分知識圖譜（本文所獲取的電影，評分范圍是1～10分）、用戶-電影-主演知識圖譜（一部電影一般包含2～4位主演）、電影-導(dǎo)演知識圖譜（一部電影一般包含1～2位導(dǎo)演）等。

1.1.2 知識圖譜的嵌入

同時，考慮到輸入數(shù)據(jù)可能會存在數(shù)據(jù)缺失以及輸入數(shù)據(jù)維數(shù)過高等都有可能會造成噪聲，因此在進(jìn)行數(shù)據(jù)輸入卷積模型之前，先對數(shù)據(jù)進(jìn)行自動降噪處理，加入降噪自動編碼器（denoising autoencoder，DAE），其主要工作原理就是在進(jìn)行數(shù)據(jù)嵌入卷積網(wǎng)絡(luò)之前，自主添加噪聲，然后經(jīng)過DAE處理輸出的數(shù)據(jù)還原完整的經(jīng)過噪聲處理之后的數(shù)據(jù)，從而減少噪聲對最終推薦模型的影響。其中，DAE結(jié)構(gòu)圖如圖3所示。

圖3 降噪自動編碼器結(jié)構(gòu)Fig.3 Structure of noise reduction autoencoder

降噪自動編碼器的誤差計算式見式（1）所示：

式中，I是輸入層的輸入數(shù)據(jù)，I1表示的是模擬添加噪聲之后的輸入層，J是經(jīng)過DAE處理之后的輸出數(shù)據(jù)，L(I,J)是降噪自動編碼器的誤差計算表達(dá)式。

接著就是將構(gòu)建好的知識圖譜嵌入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行降維處理[17]，本文考慮到用戶-項目之間具有多重關(guān)系，因此選擇的是改進(jìn)的TransR，結(jié)構(gòu)見圖4所示。

圖4 改進(jìn)的TransR結(jié)構(gòu)Fig.4 Improved TransR structure

當(dāng)用戶或者電影實體擁有n重關(guān)系時，假設(shè)其中第k個關(guān)系為Rk，并將所有對應(yīng)的關(guān)系映射到向量空間中，記為MRk；因此改進(jìn)的TransR的關(guān)系向量R′(h,t)為：

考慮到知識圖譜三元組的性質(zhì)，實體與關(guān)系之間必須具備頭實體(h)+關(guān)系(h)≈尾實體(t)的條件。

1.2 CNN文本卷積層

在本文中，考慮到卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[18]具有相對簡單的模型，處理高效的特點，近些年也被證明在推薦領(lǐng)域具有極好的文本處理效果，因此本文使用文本卷積網(wǎng)絡(luò)對輸入數(shù)據(jù)和嵌入的知識圖譜信息進(jìn)行處理，這里知識圖譜里面三元組都可以看做矩陣進(jìn)行操作，具體文本卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 文本卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Text convolution network structure

在圖5文本卷積網(wǎng)絡(luò)中，第一層主要是指詞嵌入層，也就是最初構(gòu)建的知識圖譜的嵌入；第二層就是指使用多個不同的卷積核對嵌入的知識圖譜進(jìn)行卷積操作，將高維向量通過卷積運算變成低維向量；第三層是通過最大池化操作得到一個長向量；最后通過全連接層得到電影以及用戶的特征輸出。

由于用戶-電影數(shù)據(jù)集的嵌入具有高維性，因此加入卷積神經(jīng)網(wǎng)絡(luò)將嵌入的知識圖譜進(jìn)行處理變成低維的嵌入向量，捕獲用戶-電影之間的特征交互信息對推薦模型的創(chuàng)建發(fā)揮極大作用，同時也可以減少模型訓(xùn)練成本?？紤]以上嵌入數(shù)據(jù)集的高維性，通過合并一個卷積層，來將輸入的用戶-電影數(shù)據(jù)集矩陣壓縮為低維嵌入向量，如圖6所示就是輸入知識圖譜三元組矩陣形式經(jīng)過卷積運算之后變成低維向量表示過程。

圖6 卷積運算過程Fig.6 Convolution operation process

經(jīng)過卷積運算，輸入三元組矩陣形式被壓縮成低維向量形式，并且提取出兩類低維向量集合：相似用戶集合、候選電影集合。并且在卷積運算中，可以將嵌入的用戶-電影矩陣Fp和Fq壓縮成為低維向量KP和KQ。

利用獲取到的候選項目集合中的候選電影，也是通過CNN卷積操作將輸入項目矩陣進(jìn)行壓縮變成向量Qj，具體過程如式（3）所示：

式中，?表示卷積運算，Pim和Qjm表示輸入的矩陣，

KP和KQ表示卷積核，表示經(jīng)過卷積運算之后得到的低維向量。

1.3 含有動態(tài)因子的注意力層

在卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機制的思想，一方面注意力機制自動捕獲重要的信息，這可以從某些方面緩解信息過載問題。同時，注意力機制可以生成自適應(yīng)用戶-項目特征表征，更好地建模推薦模型。注意力機制引用到推薦領(lǐng)域，可以通過候選項目通過查詢與目標(biāo)項目之間相似性大小賦予不同的注意力權(quán)重[19]，對應(yīng)的注意力機制原理如圖7所示。

圖7 注意力機制原理圖Fig.7 Schematic diagram of attention mechanism

相應(yīng)的表達(dá)式如式（4）所示：

式中，A(i,j)表示的是候選項目j與目標(biāo)項目i之間的注意力分值，S(j,Ki)表示的是項目j與候選項目i對應(yīng)的相似度，Vi表示的是項目i的值。

結(jié)合KG-NAMR模型，經(jīng)過卷積層的運算，將輸入用戶-電影三元組矩陣Phu進(jìn)行降維變成了低維向量Pim，再輸入到注意力層，得到的注意力分?jǐn)?shù)，通過輸出不同項目的注意力分值來分配個性化權(quán)重，當(dāng)然，分?jǐn)?shù)越高，其重要性也就越高，如式（5）所示：

式中，Pim表示的是經(jīng)過卷積操作的用戶-項目集合，S(j,Pim)表示的是候選項目j與用戶-項目交互集合中的電影之間的相似度，Vi表示的是電影i在目標(biāo)用戶-項目集合中的權(quán)值。

與此同時，考慮到用戶興趣呈現(xiàn)動態(tài)變化的趨勢，因此在該模塊引入動態(tài)因子，幫助推薦模型捕捉用戶的興趣變化。雖然用戶興趣呈現(xiàn)動態(tài)變化狀態(tài)，并且如果是將所有的歷史用戶-電影交互數(shù)據(jù)信息作為這個動態(tài)因子，一方面可能會存在捕捉不準(zhǔn)確的情況，因為大部分用戶興趣可能只會與最近交互的電影相關(guān)；另一方面，所有的歷史-電影交互信息導(dǎo)入推薦模型一定會增加模型復(fù)雜度，導(dǎo)致模型訓(xùn)練的不成功?；谝陨戏治?，本文采取T表示動態(tài)因子，表示用戶最近交互的一定數(shù)量的電影。

因此，將動態(tài)因子加入到注意力機制當(dāng)中，獲取的根據(jù)用戶最近歷史交互進(jìn)行的注意力分值計算式如式（6）所示：

該式是在式（5）的基礎(chǔ)上，加上動態(tài)因子之后的公式，其中，表示的是用戶u與最近電影之間的交互集合，根據(jù)不同數(shù)據(jù)集以及推薦TOP-K進(jìn)行設(shè)定表示的是對候選電影與目標(biāo)電影相似度進(jìn)行控制的表示。

1.4 MLP預(yù)測層

考慮到神經(jīng)網(wǎng)絡(luò)可能會具有過擬合問題，因此本文在選取相似度函數(shù)時，摒棄了傳統(tǒng)的余弦相似函數(shù)和歐幾里德距離，而是選擇了更適合卷積網(wǎng)絡(luò)的多層感知機（multilayer perceptron，MLP），進(jìn)行候選電影與目標(biāo)電影的評分預(yù)測。

在本文提出的KG-NAMR模型中，本文的相似函數(shù)采取sim()元素積的方式，其在捕捉用戶-電影知識圖譜之間的非線性關(guān)系具有極大的優(yōu)勢。對于激活函數(shù)，考慮到卷積網(wǎng)絡(luò)的過擬合問題以及輸入數(shù)據(jù)集的稀疏性問題，同時高效優(yōu)化模型，因此采取relu激活函數(shù)。

由圖1本文模型所示，本文獲取了兩個電影數(shù)據(jù)集，其中將80%數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練優(yōu)化模型，剩余的20%用于測試模型，測試集就是將數(shù)據(jù)輸入到構(gòu)建好的推薦模型當(dāng)中，通過對相關(guān)數(shù)據(jù)集里面的用戶進(jìn)行電影推薦，將推薦的電影與用戶原本已經(jīng)進(jìn)行交互的電影進(jìn)行對比分析，得出本模型的優(yōu)越性。因此通過RNN卷積模塊的相似度函數(shù)公式如式（7）所示：

其中，Qh j是測試集的嵌入，Qi是對應(yīng)用戶的歷史交互電影嵌入集，Qj是對應(yīng)用戶的候選電影集，W是輸入層的權(quán)重矩陣，B是輸入矩陣的偏差，G是卷積層的權(quán)重向量，⊙表示的是經(jīng)過卷積運算之后的嵌入向量對應(yīng)元素相乘。

接下來就是將獲取的相似度再通過softmax函數(shù)進(jìn)行歸一化處理，得出進(jìn)行評分預(yù)測的分值，如式（8）所示：

式中，Sij表示的是針對用戶u進(jìn)行得出的候選電影j與目標(biāo)電影i之間的預(yù)測評分，sim(Qi,Qj)表示的是經(jīng)過注意力機制得出的候選電影j與目標(biāo)電影i之間的相似度大小。

最后就是將得到的融合后的評分值，通過降序排序進(jìn)行TOP-K推薦，得到最終的電影推薦。

2 實驗與分析

2.1 實驗設(shè)置

2.1.1 數(shù)據(jù)集及評價指標(biāo)

為了驗證本文提出的KG-NAMR模型的可擴展性，本文選取了電影領(lǐng)域的兩大數(shù)據(jù)集，其中一類是MovieLens網(wǎng)站提供的ml-latest-small數(shù)據(jù)集，該數(shù)據(jù)集包含686位用戶和9 878部電影，其中評分記錄有42 694條，每個用戶至少與20部電影有過交互記錄。與此同時，因為本文需要構(gòu)建電影領(lǐng)域知識圖譜，因此根據(jù)下載的ml-latest-small數(shù)據(jù)集中的links.csv文件在IMDB網(wǎng)站爬取相關(guān)電影的其他信息，包括電影主演、電影導(dǎo)演、電影編劇、電影出產(chǎn)地等信息，豐富構(gòu)建知識圖譜。

另外一類是豆瓣網(wǎng)站獲取的數(shù)據(jù)集，包括電影32 185部和4 132位用戶，其中用戶-電影評分記錄998 972條，每個用戶至少與20部電影具有交互信息，因為該數(shù)據(jù)集里已經(jīng)包含有電影足夠多的屬性信息，包括電影類型、電影導(dǎo)演、電影主演、電影時長等信息，對于構(gòu)建電影知識圖譜也是很有用的。

根據(jù)以上兩個數(shù)據(jù)集，其對應(yīng)的統(tǒng)計數(shù)據(jù)如表1所示，并且數(shù)據(jù)集的密度=（用戶-電影交互數(shù)）/（用戶數(shù)×電影數(shù)），因此數(shù)據(jù)集的稀疏度=1-數(shù)據(jù)集密度。

表1 數(shù)據(jù)集基本統(tǒng)計Table 1 Basic statistics of dataset

2.1.2 對比模型

（1）NFM[20]

該模型在傳統(tǒng)的FM模型基礎(chǔ)上，既結(jié)合了傳統(tǒng)模型利用輸入數(shù)據(jù)集捕獲用戶-電影的線性特征，又利用了神經(jīng)網(wǎng)絡(luò)捕獲用戶-項目之間的非線性特征，使模型具有了更好的推薦效果。

（2）NAIS[21]

該模型在神經(jīng)網(wǎng)絡(luò)模型中加入注意力機制來區(qū)分用戶對于不同候選項目的權(quán)重大小，生成自適應(yīng)機制，提高了推薦性能。

（3）KGCN[22]

該模型將知識圖譜加入到傳統(tǒng)推薦模型當(dāng)中，不僅緩解了傳統(tǒng)推薦算法的數(shù)據(jù)稀疏與冷啟動問題，還給推薦帶來了解釋性；再結(jié)合圖卷積網(wǎng)絡(luò)的方法，捕捉用戶物品之間的高階關(guān)系，提高了最終的推薦性能。

2.1.3 評價指標(biāo)

考慮到本文使用了兩種數(shù)據(jù)集進(jìn)行模型驗證，其中每個數(shù)據(jù)集的80%用于訓(xùn)練模型，20%用于測試模型，經(jīng)過多次實驗所得平均值，并且采取三個評價指標(biāo)對模型TOP-K推薦性能進(jìn)行評判，其中R(u)表示最終給用戶u的電影推薦列表，T(u)表示的用戶u在歷史交互列表中展現(xiàn)出喜歡的電影集合。

首先是準(zhǔn)確率指標(biāo)，對模型最終的TOP-K推薦進(jìn)行的一個最直接的展現(xiàn)，見式（9）所示：

以上準(zhǔn)確率表示的就是最終推薦列表中的用戶喜歡電影占整體用戶推薦列表的比例。

接下來就是召回率指標(biāo)，見式（10）所示：

這個召回率指標(biāo)就是指最終推薦列表中的用戶喜歡電影占整體用戶歷史交互列表的比例。

最后就是歸一化折損累積增益指標(biāo)，見式（11）所示：

其中，DCG是折損累計增益，IDCG是將DCG進(jìn)行歸一化處理之后的指標(biāo)，reli是候選項目與用戶歷史交互記錄中的項目之間的相似度，取值為[0，1]，整個指標(biāo)所表示的就是用來衡量整體推薦算法對候選項目與用戶歷史交互記錄項目之間相似性大小的指標(biāo)。

2.1.4 參數(shù)設(shè)置

本文將構(gòu)建好的知識圖譜嵌入到含有注意力機制的卷積神經(jīng)網(wǎng)中，其中卷積神經(jīng)網(wǎng)絡(luò)部分的參數(shù)設(shè)置如下：

將數(shù)據(jù)集分為80%用于訓(xùn)練模型，20%用于測試模型，其中關(guān)于CNN卷積神經(jīng)網(wǎng)絡(luò)的過濾器數(shù)量設(shè)置為64，嵌入維度設(shè)置為16，批次處理大小設(shè)置為256，權(quán)值設(shè)置為16，學(xué)習(xí)率為0.01，動態(tài)因子長度設(shè)置為12，評估間隔設(shè)置為1，TOP-K推薦數(shù)為15。使用Adam優(yōu)化器，對本模型進(jìn)行自適應(yīng)調(diào)整。

同時，在本文所有默認(rèn)設(shè)置的情況下，將本文算法與現(xiàn)在主流的推薦算法在豆瓣數(shù)據(jù)集的基礎(chǔ)上進(jìn)行了相關(guān)指標(biāo)的對比分析，具體數(shù)據(jù)見表2所示。

表2 算法對比分析Table 2 Algorithm comparison analysis

2.2 仿真驗證

在以上模型默認(rèn)參數(shù)設(shè)置下，本文算法與對比算法分別在三個指標(biāo)上的數(shù)據(jù)對比。

首先是在MovieLens數(shù)據(jù)集上面三個指標(biāo)的變化，見圖8～10。

圖8 MovieLens數(shù)據(jù)集上Precision指標(biāo)對比圖Fig.8 Comparison chart of Precision indicators on MovieLens dataset

圖9 MovieLens數(shù)據(jù)集上Recall指標(biāo)對比圖Fig.9 Comparison chart of Recall indicators on MovieLens dataset

經(jīng)過圖8～10對比分析可知，在數(shù)據(jù)集MovieLens上面，本文所提KG-NAMR算法均優(yōu)于其他算法；與此同時，可以看出，在K=15時，三個性能指標(biāo)表現(xiàn)最優(yōu)。

其次是在豆瓣數(shù)據(jù)集上面進(jìn)行的仿真驗證，如圖11～13所示。

圖10 MovieLens數(shù)據(jù)集上NDCG指標(biāo)對比圖Fig.10 Comparison chart of NDCG indicators on MovieLens dataset

圖11 豆瓣數(shù)據(jù)集上Precision指標(biāo)對比圖Fig.11 Comparison of Precision indicators on Douban dataset

圖12 豆瓣數(shù)據(jù)集上Recall指標(biāo)對比圖Fig.12 Comparison of Recall indicators on Douban dataset

圖13 豆瓣數(shù)據(jù)集上NDCG指標(biāo)對比圖Fig.13 Comparison of NDCG indicators on Douban dataset

通過圖11～13的對比分析，同樣可以得出在相同豆瓣數(shù)據(jù)集的情況下，將本文所提算法KG-NAMR與其他三個算法進(jìn)行對比分析，本文所提算法均優(yōu)于其他三個算法；與此同時，在K=15時，三個性能指標(biāo)達(dá)到最優(yōu)。

接下來是根據(jù)TOP-K指標(biāo)發(fā)生變化的情況下，對應(yīng)的MovieLens數(shù)據(jù)集和豆瓣數(shù)據(jù)集在三個性能指標(biāo)上面的對比分析，如圖14～16所示。

圖14 KG-NAMR模型的Precision指標(biāo)Fig.14 Precision index of KG-NAMR model

圖15 KG-NAMR算法的Recall指標(biāo)Fig.15 Recall index of KG-NAMR model

圖16 KG-NAMR算法的NDCG指標(biāo)Fig.16 NDCG index of KG-NAMR model

經(jīng)過以上對比分析，本文所提算法KG-NAMR在兩個數(shù)據(jù)集上的三個性能指標(biāo)變化趨勢，顯而易見，在相同K值下，豆瓣數(shù)據(jù)集獲得的指標(biāo)優(yōu)于MovieLens數(shù)據(jù)集下的指標(biāo)，不難分析，因為本文使用的MovieLens數(shù)據(jù)集密度為0.630%，豆瓣數(shù)據(jù)集的密度為0.751%，其中MovieLens數(shù)據(jù)集稀疏度明顯高于豆瓣數(shù)據(jù)集，但是在本文所提算法KG-NAMR算法下，指標(biāo)差距也不是很大，由此可見本文所提模型一定程度緩解了數(shù)據(jù)集的數(shù)據(jù)稀疏問題。

2.3 超參數(shù)調(diào)整

為了使模型推薦性能達(dá)到最優(yōu)，接下來就是在默認(rèn)參數(shù)設(shè)置的情況下進(jìn)行部分參數(shù)調(diào)優(yōu)，主要包括嵌入維度參數(shù)調(diào)整和動態(tài)因子長度調(diào)整：

（1）嵌入維度調(diào)整：針對不同的數(shù)據(jù)集，因為稀疏度、冷啟動情況以及用戶-電影交互數(shù)量不一致，因此在進(jìn)行輸入到卷積神經(jīng)網(wǎng)絡(luò)時也應(yīng)該采取不同的嵌入維度，使得當(dāng)前數(shù)據(jù)集在該推薦模型上達(dá)到的推薦性能最優(yōu)。

一般而言，對于數(shù)據(jù)量較少的數(shù)據(jù)集，一般選擇較小的嵌入維度，過大會導(dǎo)致過擬合以及耗時問題。

在其他參數(shù)不變的情況下，本文KG-NAMR模型對MovieLens數(shù)據(jù)集和豆瓣數(shù)據(jù)集進(jìn)行嵌入維度的調(diào)整，其三個指標(biāo)的分布如表3、表4所示。

表3 KG-NAMR模型在MovieLens數(shù)據(jù)集調(diào)整嵌入維度指標(biāo)分布Table 3 Index distribution of KG-NAMR model in MovieLens Dataset by adjusting embedding dimension

表4 KG-NAMR模型在豆瓣數(shù)據(jù)集調(diào)整嵌入維度所得的指標(biāo)分布Table 4 Index distribution of KG-NAMR model in Douban dataset by adjusting embedding

根據(jù)表3數(shù)據(jù)所示，對于MovieLens數(shù)據(jù)集，在其他參數(shù)不變的情況下，嵌入維度設(shè)置為16時，本文KG-NAMR模型推薦效果最好，主要是因為MovieLens數(shù)據(jù)集用戶、電影量較少，用戶-電影交互量也少，因此嵌入維度較小時，推薦性能更好。

根據(jù)表4所示數(shù)據(jù)可知，對于豆瓣數(shù)據(jù)集，在其他參數(shù)不變的情況下，嵌入維度設(shè)置為32時，本文KG-NAMR模型推薦效果最好，主要是因為豆瓣數(shù)據(jù)集用戶、電影量較大，用戶-電影交互量也大，因此嵌入維度會比MovieLens數(shù)據(jù)集嵌入維度大時，推薦性能更好。

同時，可以看出，在嵌入維度為16時，MovieLens數(shù)據(jù)集所獲得的推薦準(zhǔn)確率與豆瓣數(shù)據(jù)集在嵌入維度為32最優(yōu)時，準(zhǔn)確率還是有一定的差距，主要是由于初始MovieLens數(shù)據(jù)集比豆瓣數(shù)據(jù)集稀疏兩倍及以上；但是其準(zhǔn)確率差距并不是很大，主要是因為本模型KG-NAMR對于數(shù)據(jù)集的稀疏問題，冷啟動問題具有一定的緩解作用。

（2）動態(tài)因子大小調(diào)整：為了捕捉用戶的動態(tài)興趣變化，需要調(diào)整動態(tài)因子的大小，也就是將測試用戶最近交互的多少個項目作為模型的動態(tài)因子，從而更好地捕捉用戶的動態(tài)興趣變化。

在其他參數(shù)不變的情況下，本文KG-NAMR模型對MovieLens數(shù)據(jù)集和豆瓣數(shù)據(jù)集進(jìn)行動態(tài)因子的調(diào)整，其三個指標(biāo)的分布如表5、表6所示。

表5 KG-NAMR模型在MovieLens數(shù)據(jù)集調(diào)整動態(tài)因子所得的指標(biāo)分布Table 5 Index distribution of KG-NAMR model in MovieLens dataset by adjusting dynamic factor

表6 KG-NAMR模型在豆瓣數(shù)據(jù)集調(diào)整動態(tài)因子所得的指標(biāo)分布Table 6 Index distribution of KG-NAMR model in Douban dataset by adjusting dynamic factor

最后也是定性分析，也就是對于不同的數(shù)據(jù)集，設(shè)置不同的參數(shù)：

對于MovieLens數(shù)據(jù)集，TOP-K設(shè)置為15，嵌入維度設(shè)置為16，動態(tài)因子長度設(shè)置為8時，本文模型推薦性能最優(yōu)，詳見表7。

表7 參數(shù)最優(yōu)時MovieLens數(shù)據(jù)集在KG-NAMR模型下的指標(biāo)Table 7 Indexes of MovieLens dataset under KG-NAMR model when parameters are optimal

對于豆瓣數(shù)據(jù)集，TOP-K設(shè)置為15，嵌入維度設(shè)置為32，動態(tài)因子長度設(shè)置為12時，本文KG-NAMR模型推薦性能最優(yōu)，詳見表8。

表8 參數(shù)最優(yōu)時豆瓣數(shù)據(jù)集在KG-NAMR模型下的指標(biāo)Table 8 Indexes of Douban dataset under KG-NAMR model when parameters are optimal

圖18 知識圖譜有效性驗證Recall指標(biāo)分布Fig.18 Validation of knowledge graph effectiveness of Recall index distribution

圖19 知識圖譜有效性驗證NDCG指標(biāo)分布Fig.19 Validation of knowledge graph effectiveness of NDCG index distribution

根據(jù)表中的數(shù)據(jù)可知，MovieLens數(shù)據(jù)集在本文所提模型KG-NAMR訓(xùn)練下，準(zhǔn)確率可以達(dá)到33.98%，召回率達(dá)到31.05%，歸一化累計折損增益可以達(dá)到69.97%。

豆瓣數(shù)據(jù)集由于密度只有0.630%，因此在本文所提模型KG-NAMR訓(xùn)練下，獲得了較好的推薦性能，其中推薦準(zhǔn)確率達(dá)到了35.48%，召回率達(dá)到了32.89%，歸一化累計折損增益達(dá)到了71.43%。

3 有效性分析

為了驗證本文模型中使用知識圖譜作為輔助信息可以緩解數(shù)據(jù)稀疏以及冷啟動問題和含有動態(tài)因子的注意力機制可以捕獲用戶動態(tài)興趣變化以及自適應(yīng)生成用戶表征，從而提高最終的推薦模型性能。

3.1 知識圖譜有效性分析

首先是在默認(rèn)參數(shù)設(shè)置以及模塊不變的前提下，將構(gòu)建的用戶-電影知識圖譜嵌入到卷積神經(jīng)網(wǎng)絡(luò)中這一步驟移除，獲得模型NAMR，在MovieLens數(shù)據(jù)集上所獲得的指標(biāo)對比分析如圖17～19所示。

圖17 知識圖譜有效性驗證Precision指標(biāo)分布Fig.17 Validation of knowledge graph effectiveness of Precision index distribution

根據(jù)三個指標(biāo)對比分析可知，在MovieLens數(shù)據(jù)集下進(jìn)行驗證，本文模型KG-NAMR與去掉知識圖譜嵌入的模型NAMR對比可知，KG-NAMR模型在大部分情況下指標(biāo)均優(yōu)于NAMR模型，因此可以知識圖譜作為輔助信息的有效性。

3.2 動態(tài)因子注意力機制有效性分析

接下來是在默認(rèn)參數(shù)設(shè)置以及模塊不變的前提下，將卷積神經(jīng)網(wǎng)絡(luò)中的含有動態(tài)因子的注意力機制移除，獲得模型KG-NR，在MovieLens數(shù)據(jù)集上所獲得的指標(biāo)對比分析如圖20～22所示。

根據(jù)圖20～22對比分析可知，本文模型在MovieLens數(shù)據(jù)集下驗證得出，在其他參數(shù)不變的情況下，含有動態(tài)因子注意力機制的KG-NAMR模型在三個指標(biāo)上面均優(yōu)于不含動態(tài)因子注意力機制的KG-NR模型性能，因此可以得出動態(tài)因子注意力機制模塊的有效性。

圖20 動態(tài)因子注意力機制的有效性驗證Precision指標(biāo)分布Fig.20 Validation of dynamic factor attention mechanism of Precision index distribution

圖21 動態(tài)因子注意力機制有效性驗證Recall指標(biāo)分布Fig.21 Validation of dynamic factor attention mechanism of Recall index distribution

圖22 動態(tài)因子注意力機制有效性驗證NDCG指標(biāo)分布Fig.22 Validation of dynamic factor attention mechanism of NDCG index distribution

3.3 時間復(fù)雜度分析

由于本文將傳統(tǒng)的數(shù)據(jù)集融合成知識圖譜嵌入到模型當(dāng)中，再結(jié)合后續(xù)的CNN卷積網(wǎng)絡(luò)和含有動態(tài)因子的注意力機制模塊，利用CNN卷積層將輸入的高維數(shù)據(jù)轉(zhuǎn)換成低維數(shù)據(jù)，從而降低了復(fù)雜度。

在所有參數(shù)為默認(rèn)設(shè)置的情況下，使用豆瓣數(shù)據(jù)集進(jìn)行驗證分析，獲取平均每一個epoch耗費時間，從復(fù)雜度角度將本文所提算法與主流算法之間進(jìn)行了對比，如表9所示。

表9 不同模型復(fù)雜度對比分析Table 9 Comparative analysis of complexity of different models

經(jīng)過表9數(shù)據(jù)分析，KGCN算法在平均每個epoch上耗費時間最短，本文所提算法準(zhǔn)確率高于KGCN算法，主要原因是本文將知識圖譜作為輔助信息嵌入到含有動態(tài)因子的CNN卷積網(wǎng)絡(luò)中，而不是使用處理圖數(shù)據(jù)更優(yōu)的GCN網(wǎng)絡(luò)，對于知識圖譜的處理沒有得到最優(yōu)解決。

4 結(jié)束語

考慮到數(shù)據(jù)時代信息爆炸問題，提高推薦系統(tǒng)推薦性能成為了現(xiàn)如今解決用戶需求的必要手段，針對傳統(tǒng)推薦系統(tǒng)存在的數(shù)據(jù)稀疏和冷啟動問題，本文將知識圖譜作為輔助信息嵌入到推薦系統(tǒng)中，可以適當(dāng)緩解這兩個問題，并且給最終的推薦結(jié)果帶來一定的可解釋性。與此同時，用戶數(shù)據(jù)量巨大的問題，在傳統(tǒng)算法的基礎(chǔ)上加入深度學(xué)習(xí)領(lǐng)域的卷積網(wǎng)絡(luò)以及注意力機制，可以自適應(yīng)地生成用戶表示，并且對于用戶-項目之間模型構(gòu)建深層語義信息以及非線性關(guān)系，因此對于捕捉用戶的潛在興趣和用戶-項目的高階聯(lián)通關(guān)系具有極好的效果。另外，考慮到用戶興趣并非一成不變，因此在神經(jīng)卷積網(wǎng)絡(luò)中加入動態(tài)因子，有助于模型捕捉用戶的動態(tài)興趣變化。

本文在傳統(tǒng)推薦算法的基礎(chǔ)上，融合知識圖譜作為輔助信息，不僅緩解了數(shù)據(jù)稀疏與冷啟動問題，同時還讓最終的推薦結(jié)果具有更強的解釋性；加上含有注意力機制的神經(jīng)網(wǎng)絡(luò)，可以捕捉到用戶之間的高階關(guān)系，對于用戶潛在興趣的捕獲也做出了巨大貢獻(xiàn)；其中注意力機制也能讓本模型自適應(yīng)生成用戶表征；再結(jié)合動態(tài)因子，捕捉用戶的動態(tài)興趣變化。最后通過使用電影領(lǐng)域的兩大數(shù)據(jù)集，一個是獲取的國內(nèi)網(wǎng)站豆瓣數(shù)據(jù)集，另外一個是獲取的國外MovieLens-latest-small電影數(shù)據(jù)集，通過TOP-K推薦。實驗結(jié)果表明，本文所提模型在最近較流行的算法上取得了更優(yōu)的效果。

本文將知識圖譜作為輔助信息融入到整個模型當(dāng)中，模型復(fù)雜度方面沒有得到最優(yōu)處理，因此下一步本文的工作就是將使用的CNN網(wǎng)絡(luò)替換成處理圖數(shù)據(jù)更優(yōu)的GCN網(wǎng)絡(luò)；并且對于用戶動態(tài)興趣的捕捉，也會考慮使用動態(tài)模型進(jìn)行捕獲，從而使得整個推薦模型性能更優(yōu)，推薦效率更高。