基于無采樣協(xié)作知識(shí)圖網(wǎng)絡(luò)的推薦系統(tǒng)

蔣雯靜，熊 熙，3*，李中志，李斌勇

（1.成都信息工程大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，成都 610255；2.先進(jìn)密碼技術(shù)與系統(tǒng)安全四川省重點(diǎn)實(shí)驗(yàn)室（成都信息工程大學(xué)），成都 610225；3.四川大學(xué)空天科學(xué)與工程學(xué)院，成都 610065）

0 引言

隨著網(wǎng)絡(luò)應(yīng)用程序的規(guī)模日漸擴(kuò)張，互聯(lián)網(wǎng)平臺(tái)上的在線內(nèi)容也呈指數(shù)級(jí)增長(zhǎng)，由此產(chǎn)生的信息超載問題有效地推進(jìn)了推薦系統(tǒng)的應(yīng)用：電影推薦、產(chǎn)品推薦、新聞推薦等。在大量面向用戶服務(wù)的在線平臺(tái)中，信息消費(fèi)者追求精準(zhǔn)推薦的消費(fèi)快感，信息生產(chǎn)者則希望推送內(nèi)容能最大限度匹配用戶需求。而推薦系統(tǒng)正是通過充當(dāng)兩者的媒介，一舉兩得解決了問題。在各種推薦策略中，經(jīng)典的協(xié)同過濾（Collaborative Filtering，CF）方法因其良好的性能被廣泛關(guān)注，它基于用戶歷史交互進(jìn)行偏好分析，為指定用戶提供推薦列表或喜好預(yù)測(cè)。盡管CF 能獨(dú)立于領(lǐng)域知識(shí)自動(dòng)學(xué)習(xí)嵌入向量，但其受限于數(shù)據(jù)稀疏性和冷啟動(dòng)問題。因此，研究者常結(jié)合輔助信息來優(yōu)化推薦性能。

知識(shí)圖譜（Knowledge Graph，KG）是一種新興的知識(shí)載體，它將文檔數(shù)據(jù)整合成簡(jiǎn)單易懂的三元組形式，并通過節(jié)點(diǎn)之間深層次的語義關(guān)聯(lián)來補(bǔ)償數(shù)據(jù)稀疏性。例如，（王家衛(wèi)，導(dǎo)演，阿飛正傳）表明王家衛(wèi)是《阿飛正傳》的導(dǎo)演。KG作為一種有向異構(gòu)圖，節(jié)點(diǎn)和邊分別對(duì)應(yīng)于不同類型的實(shí)體和語義關(guān)系。這樣的圖結(jié)構(gòu)意味著KG 具有很強(qiáng)的關(guān)系表示能力和建模靈活性，近年來已經(jīng)被成功應(yīng)用于許多領(lǐng)域，如KG 補(bǔ)全、問答系統(tǒng)等。

基于知識(shí)圖譜的推薦系統(tǒng)正是在這一背景下所提出的新研究問題，強(qiáng)調(diào)學(xué)習(xí)物品（用戶）之間的關(guān)聯(lián)性，實(shí)現(xiàn)KG輔助優(yōu)化推薦系統(tǒng)。將KG 集成到推薦系統(tǒng)具有以下優(yōu)勢(shì)：1）有利于發(fā)現(xiàn)用戶深層次的潛在興趣，進(jìn)而提升推薦結(jié)果的準(zhǔn)確性；2）KG 中豐富的關(guān)系類型有效避免了推薦結(jié)果的單一性；3）用戶和物品之間的連通性為推薦結(jié)果提供了合理的解釋。盡管有以上好處，但將KG 中的高維異構(gòu)信息有效融合到推薦系統(tǒng)具有很大的困難性。一種可取的建模方法是基于知識(shí)圖嵌入（Knowledge Graph Embedding，KGE）對(duì)KG 中的組件進(jìn)行預(yù)處理，學(xué)習(xí)實(shí)體和關(guān)系的低維向量，進(jìn)而直接應(yīng)用于推薦任務(wù)中。但KGE 忽視了圖結(jié)構(gòu)信息且學(xué)習(xí)到的向量不足以描述推薦任務(wù)。另一種更直觀的方法是基于路徑的推薦，直接利用KG 圖結(jié)構(gòu)建模關(guān)聯(lián)路徑表示。由于需要手動(dòng)設(shè)計(jì)元路徑，這類方法很難達(dá)到最優(yōu)。

近年來，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）及其變體在以知識(shí)圖譜作為額外信息的推薦任務(wù)中取得了巨大了成功。借鑒于GNN 中信息傳播的思想，這類方法同時(shí)從內(nèi)容信息和圖結(jié)構(gòu)兩個(gè)方面建模數(shù)據(jù)，有效克服了以往方法的缺陷。因此，目前針對(duì)KG 結(jié)合推薦的代表性研究很多沿襲了基于GNN 的技術(shù)路線。然而，引入GNN 同樣面臨以下問題：1）信息傳播過程中指數(shù)級(jí)增長(zhǎng)的節(jié)點(diǎn)數(shù)量導(dǎo)致了巨大的內(nèi)存和時(shí)間成本。為了緩解這種情況，現(xiàn)有的方法通常使用采樣策略在訓(xùn)練時(shí)保留節(jié)點(diǎn)鄰居或子圖的子集來減輕計(jì)算成本。然而，采樣操作可能在優(yōu)化過程引入誤差。2）深度圖神經(jīng)網(wǎng)絡(luò)架構(gòu)中固有的梯度消失和特征平滑等問題，導(dǎo)致模型訓(xùn)練難度較大。盡管最近一些工作表明能在一定程度上改善這些問題，但廣泛的實(shí)驗(yàn)證明深度往往不會(huì)帶來顯著的收益性。平衡模型的深度和效率，使圖神經(jīng)網(wǎng)絡(luò)能處理大規(guī)模的網(wǎng)絡(luò)是現(xiàn)階段的挑戰(zhàn)。

為了緩解上述解決方案的局限性，本文認(rèn)為開發(fā)一個(gè)兼具簡(jiǎn)單性和表達(dá)性的基于知識(shí)圖譜的推薦模型是至關(guān)重要的。為此，本文從GNN 的研究中獲得靈感，無采樣的單個(gè)圖卷積層有潛力實(shí)現(xiàn)本文的目標(biāo)，但在基于KG 的推薦中還沒有得到足夠的探索。因此，本文提出了一種名為無采樣協(xié)作知識(shí)圖網(wǎng)絡(luò)（Non-sampling Collaborative Knowledge graph Network，NCKN）的方法。NCKN 配備了協(xié)作傳播和無采樣知識(shí)傳播兩種核心設(shè)計(jì)來分別學(xué)習(xí)用戶交互中的協(xié)作信號(hào)和知識(shí)嵌入。具體來說：1）在協(xié)作傳播模塊中編碼用戶交互中的潛在協(xié)作信號(hào)，并將其同KG 中的輔助信息結(jié)合，以獲得更具表達(dá)性的嵌入向量；2）鑒于傳播過程中的采樣誤差問題，設(shè)計(jì)了無采樣知識(shí)傳播層，它通過在單個(gè)卷積層使用不同大小的線性聚合器來捕捉深層次的信息，實(shí)現(xiàn)高效的無采樣預(yù)計(jì)算。

本文工作的安排如下：

1）提出了一種NCKN 方法，它通過協(xié)作傳播和無采樣知識(shí)傳播層，將用戶交互中的協(xié)作信號(hào)與KG 中的高階信息相結(jié)合。

2）將NCKN 應(yīng)用于三種現(xiàn)實(shí)世界的音樂推薦、書籍推薦、電影推薦場(chǎng)景。

1 相關(guān)工作

1.1 基于知識(shí)圖譜的推薦方法

將知識(shí)圖譜作為輔助信息集成到推薦系統(tǒng)已被證明有利于緩解數(shù)據(jù)稀疏性和冷啟動(dòng)問題。一些研究利用KG 中實(shí)體的關(guān)聯(lián)性進(jìn)行嵌入學(xué)習(xí)，例如：Zhang 等采用TransE（Translating Embedding）學(xué)習(xí)項(xiàng)目結(jié)構(gòu)信息、內(nèi)容信息的特征嵌入，并將其統(tǒng)一集成到CF 框架中。Wang 等在DKN（Deep Knowledge aware Network）中將實(shí)體嵌入和單詞嵌入視為不同的渠道，并通過TransD（Translating embedding via Dynamic mapping matrix）生成新聞嵌入以供推薦。鑒于推薦任務(wù)和KGE 任務(wù)的高度相關(guān)性，Wang 等提出了一種交替學(xué)習(xí)兩種任務(wù)的推薦框架。和基于嵌入的方法直接利用KG 中的內(nèi)容信息不同，另一類研究強(qiáng)調(diào)學(xué)習(xí)KG 中的結(jié)構(gòu)信息，例如：PER（Personalized Entity Recommendation）引入元路徑來定義圖中路徑表示，并利用實(shí)體間的連接相似性來提供推薦。Hu 等在FMG（Factorization Machine with Group least absolute shrinkage and selection operator）中建議使用元圖來替代元路徑，以提供更豐富的連接信息。

綜合上述方法，為了充分發(fā)揮KG 的有效性，研究者提出了結(jié)合內(nèi)容信息和結(jié)構(gòu)信息的統(tǒng)一方法。這類方法最早在Wang 等的RippleNet（Ripple Network）中得到探索，其借鑒GraphSAGE（Graph SAmple and aggreGatE）中的消息傳遞模式，首次提出了偏好傳播的概念。具體來說，RippleNet 以用戶的歷史交互節(jié)點(diǎn)作為種子集，在KG 中向外擴(kuò)散并吸收多跳的鄰居信息，最終得到更深層次的用戶潛在興趣。同樣基于傳播的思想，Wang 等提出了一種融合KG 特征與圖卷積網(wǎng)絡(luò)的模型，采用圖卷積網(wǎng)絡(luò)通過KG 中的鄰居獲得項(xiàng)目嵌入，這使得鄰居的信息能夠?qū)е峦扑]任務(wù)完成質(zhì)量的巨大提升。KGAT（Knowledge Graph Attention Network）提出了協(xié)作知識(shí)圖，將用戶項(xiàng)二部圖與知識(shí)圖結(jié)合在一起，通過GNN 和注意機(jī)制在KG 上遞歸地執(zhí)行傳播來優(yōu)化實(shí)體嵌入。Wang 等通過異構(gòu)傳播分別編碼用戶交互和輔助信息。鑒于GNN 在信息傳播和推理上的自身優(yōu)勢(shì)，這類方法能更有效地在推薦任務(wù)中引入KG 中的信息。

本文在利用圖卷積來優(yōu)化實(shí)體嵌入的基礎(chǔ)之上，提出了無采樣策略，并與用戶交互中的協(xié)作信號(hào)相結(jié)合，以提升推薦結(jié)果的準(zhǔn)確性。

1.2 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用

本文的方法在概念上啟發(fā)于圖神經(jīng)網(wǎng)絡(luò)，并將其擴(kuò)展為適用于知識(shí)圖譜的無采樣圖模型。圖神經(jīng)網(wǎng)絡(luò)作為當(dāng)下熱門的深度學(xué)習(xí)模型，在處理復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù)時(shí)顯示出巨大的優(yōu)勢(shì)。在早期的關(guān)于圖神經(jīng)網(wǎng)絡(luò)的研究中，諸如圖卷積網(wǎng)絡(luò)（Graph Convolution Network，GCN）、圖注意網(wǎng)絡(luò)（Graph Attention Network，GAT）等模型在訓(xùn)練時(shí)使用全批次梯度下降的方法，圖中數(shù)量龐大的鄰居信息和節(jié)點(diǎn)特征導(dǎo)致了巨大的內(nèi)存成本和計(jì)算復(fù)雜度。為了解決傳統(tǒng)方法中可擴(kuò)展性問題，Hamilton 等在GraphSAGE 中首次提出了結(jié)合鄰域采樣和小批次訓(xùn)練的策略。其核心思想是從訓(xùn)練節(jié)點(diǎn)開始，在每一跳隨機(jī)采樣固定數(shù)量的鄰居節(jié)點(diǎn)，持續(xù)

L

跳，并以節(jié)點(diǎn)為中心進(jìn)行小批次訓(xùn)練。然而，GraphSAGE 在隨機(jī)采樣時(shí)部分節(jié)點(diǎn)重復(fù)出現(xiàn)，可能會(huì)增加冗余計(jì)算量。為了解決這個(gè)問題，不少后續(xù)模型集中于研究先進(jìn)的采樣策略，如ClusterGCN（Cluster Graph Convolution Network）和RSage（Recurrent Sampling to gather neighbor nodes）。盡管采樣策略有效降低了模型的計(jì)算復(fù)雜度，但同時(shí)也引入了額外的誤差，這也是本文的模型重點(diǎn)關(guān)注的問題。

2 問題定義

在一個(gè)主流的推薦系統(tǒng)中，假設(shè)用戶集合

U

={

u

，

u

，…，

u

}和項(xiàng)目集合

V

={

v

，

v

，…，

v

}。根據(jù)用戶和項(xiàng)目的歷史交互，定義用戶反饋矩陣為

Y

，其中

y

=1 表明用戶與項(xiàng)目間存在反饋行為，如點(diǎn)擊、轉(zhuǎn)發(fā)、評(píng)分等，否則為0。但是需要注意，

y

為0 并不完全意味著用戶對(duì)該項(xiàng)目不感興趣。此外，給定項(xiàng)目知識(shí)圖譜

G

={(

h

，

r

，

t

)|

h

，

t

∈

K

，

r

∈

R

}，其中每個(gè)三元組表示實(shí)體

h

和實(shí)體

t

間存在關(guān)系

r

，

K

和

R

分別對(duì)應(yīng)于實(shí)體和關(guān)系集合。例如，三元組（劉亦菲，演員，花木蘭）陳述了劉亦菲是電影《花木蘭》的演員的事實(shí)。在實(shí)際推薦場(chǎng)景中，項(xiàng)目

V

可能與

G

中的一個(gè)或多個(gè)實(shí)體存在映射關(guān)系。例如，圖書《傲慢與偏見》與KG 中的一個(gè)實(shí)體同名，而標(biāo)題為“劉亦菲出席花木蘭首映禮”的新聞則于“劉亦菲”和“花木蘭”多個(gè)實(shí)體有關(guān)。使用

A

={(

v

，

e

)|

v

∈

V

，

e

∈

K

} 來表示存在映射關(guān)系的集合，其中（

v

，

e

）表明項(xiàng)目

v

可以與知識(shí)圖中的實(shí)體

e

對(duì)齊。

3 本文方法

3.1 整體框架

本節(jié)詳細(xì)介紹了所提出的NCKN 模型的架構(gòu)，如圖1 所示，模型分為四個(gè)模塊：1）嵌入層：通過知識(shí)圖嵌入方法學(xué)習(xí)KG 中實(shí)體和關(guān)系的嵌入向量；2）無采樣知識(shí)傳播層：在KG傳播過程不進(jìn)行選擇性采樣，利用單個(gè)圖卷積層預(yù)聚合全部的鄰居信息，更新節(jié)點(diǎn)特征；3）協(xié)作傳播層：將用戶交互中的關(guān)鍵協(xié)作信號(hào)編碼為用戶和項(xiàng)目的初始偏好，并同KG 中的輔助信息相結(jié)合；4）預(yù)測(cè)層：依據(jù)最終的用戶和項(xiàng)目向量，輸出預(yù)測(cè)結(jié)果。

圖1 NCKN模型框架Fig.1 Model framework of NCKN

3.2 嵌入層

在保持原有圖結(jié)構(gòu)的前提下，利用知識(shí)圖嵌入方法將KG 中的實(shí)體和關(guān)系轉(zhuǎn)換為低維的向量表示。在該模塊，本文使用了具有良好表現(xiàn)的TransR方法。具體來說，對(duì)于每個(gè)三元組（

h

，

r

，

t

），考慮到同一關(guān)系對(duì)應(yīng)的實(shí)體具有不同層面的信息，它將實(shí)體和關(guān)系分別建模到兩個(gè)不同空間。其可信度評(píng)分函數(shù)如式（1）所示：

其中：

e、e

、

e

分別是

h

、

r

、

t

的嵌入向量表示；

W

為關(guān)系

r

的轉(zhuǎn)換矩陣。

g

（

h

，

r

，

t

）的值越低意味著三元組的可信度越高；反之，三元組的可信度越低。

損失函數(shù)如式（2）所示：

其中：（

h

，

r

，

t

′）為對(duì)真實(shí)三元組（

h

，

r

，

t

）進(jìn)行隨機(jī)替換生成的負(fù)樣本；

σ

（·）為Sigmoid 函數(shù)。

3.3 無采樣知識(shí)傳播層

接下來，本文基于圖卷積網(wǎng)絡(luò)的架構(gòu)，將不同大小且固定的線性聚合器結(jié)合在單個(gè)卷積層，便于進(jìn)行高效的無采樣預(yù)計(jì)算。此外，考慮到實(shí)體之間連通性的重要性不同，在傳播過程中引入了注意力機(jī)制。

請(qǐng)注意，不同于堆疊多個(gè)卷積層的深度圖神經(jīng)網(wǎng)絡(luò)，本文的方法僅通過單個(gè)卷積層進(jìn)行預(yù)計(jì)算。盡管只使用了淺層的網(wǎng)絡(luò)，NCKN 通過設(shè)計(jì)更有效的傳播矩陣且考慮所有鄰居信息，實(shí)現(xiàn)了和深層網(wǎng)絡(luò)相當(dāng)?shù)男阅?。具體來說，該層由三個(gè)組件組成：注意力、信息傳播、鄰居聚合。

3.3.1 注意力

通過關(guān)系注意力機(jī)制實(shí)現(xiàn)

π

（

h

，

r

，

t

），如式（3）所示。tanh 是非線性激活函數(shù)，注意力分?jǐn)?shù)由關(guān)系空間中

e

和

e

的距離決定。

此后，通過Softmax 激活函數(shù)，對(duì)整個(gè)三元組的系數(shù)進(jìn)行歸一化處理，如式（4）所示，其中

N

為以實(shí)體

h

為頭節(jié)點(diǎn)的三元組集合。

值得注意的是，為了不破壞圖聚合操作時(shí)高效的預(yù)計(jì)算，本文方法僅通過訓(xùn)練圖的一個(gè)小子集來預(yù)先確定注意力參數(shù)，然后固定它們計(jì)算出訓(xùn)練中所使用的傳播矩陣。對(duì)于注意力模塊的進(jìn)一步改進(jìn)將作為未來需探索的工作。

3.3.2 信息傳播

KG 中的實(shí)體和鄰居之間有著不同程度的關(guān)聯(lián)性，為了有效擴(kuò)展用戶和項(xiàng)目的潛在偏好，本文在傳播過程中考慮節(jié)點(diǎn)的高階鄰居信息。如式（5）所示，根據(jù)固定的注意力參數(shù)，計(jì)算出初始傳播矩陣。

通過對(duì)傳播矩陣進(jìn)行冪運(yùn)算

B

，圖操作有效地獲取

n

跳以內(nèi)的鄰域信息。為了權(quán)衡實(shí)體鄰接信息的完整度與計(jì)算鄰接矩陣所需時(shí)間，設(shè)置

n

最大值為3。

3.3.3 鄰域聚合

如式（6）所示，通過在單個(gè)卷積層使用不同大小的線性聚合器來捕捉深層次的信息，實(shí)現(xiàn)高效的無采樣預(yù)計(jì)算。例如，在線性聚合器

CX

中（

X

為節(jié)點(diǎn)特征矩陣），設(shè)置不同冪級(jí)數(shù)的傳播矩陣（

C

=

B

，

C

=

B

，…，

C

=

B

），并將其連接。這個(gè)思想類似于卷積神經(jīng)網(wǎng)絡(luò)中的初始模塊（在同一卷積層結(jié)合不同大小的卷積核）。由于

CX

可以預(yù)計(jì)算，該方法考慮傳播過程中的所有鄰居信息而不進(jìn)行選擇性采樣。

3.4 協(xié)作傳播層

與傳統(tǒng)推薦算法中使用獨(dú)立的潛在向量不同，本文在協(xié)作傳播層中同時(shí)獲取用戶和項(xiàng)目的初始偏好，以便于同知識(shí)嵌入結(jié)合得到用戶和項(xiàng)目的擴(kuò)展偏好。

直觀來說，用戶的歷史交互項(xiàng)目能一定程度上表示該用戶的偏好。通過將用戶歷史交互中的相關(guān)項(xiàng)目集與KG 中的實(shí)體對(duì)齊，轉(zhuǎn)換為在KG 中計(jì)算的特征集。用戶的特征集定義為：

對(duì)用戶的特征集歸一化：

類似地，和同一個(gè)項(xiàng)目交互過的用戶集合，其相似的行為偏好也能描述項(xiàng)目的潛在表示。本文首先獲取和這些用戶集合存在交互的其他項(xiàng)目，并定義

V

為項(xiàng)目

v

的協(xié)作項(xiàng)目集，表示形式如式（9）所示：

將協(xié)作項(xiàng)目集和KG 中的實(shí)體對(duì)齊后，得到項(xiàng)目

v

的特征集為：

對(duì)項(xiàng)目的初始集歸一化并加上項(xiàng)目自身對(duì)齊實(shí)體的特征：

3.5 預(yù)測(cè)層

損失函數(shù)

Loss

計(jì)算如式（13）所示。其中

P

為正樣本，

P

為負(fù)樣本。

4 實(shí)驗(yàn)與結(jié)果分析

本章將針對(duì)音樂、書籍和電影三個(gè)真實(shí)數(shù)據(jù)集來評(píng)估模型性能，探討以下研究問題：

1）與已有的基于知識(shí)圖譜的推薦算法相比，本文提出的模型表現(xiàn)如何？

2）模型中的關(guān)鍵組件和參數(shù)設(shè)置如何影響推薦結(jié)果？

4.1 數(shù)據(jù)集

本文使用以下三種真實(shí)數(shù)據(jù)集評(píng)估模型性能：Last.FM（Music）、Book-Crossing（Book）、MovieLens-20M（Movie），表1給出了相關(guān)統(tǒng)計(jì)信息。三個(gè)數(shù)據(jù)集均允許公開訪問，且規(guī)模和稀疏性有所不同。

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息Tab 1 Statistical information on experimental datasets

1）Last.FM：由Last.FM 在線音樂系統(tǒng)提供的用戶聽歌行為和項(xiàng)目知識(shí)。

2）Book-Crossing：從圖書社區(qū)統(tǒng)計(jì)的讀者評(píng)分?jǐn)?shù)據(jù)（0 到10 不等）。

3）MovieLens-20M：是一個(gè)被廣泛使用在電影推薦領(lǐng)域的測(cè)試數(shù)據(jù)集，文件中包含了在電影網(wǎng)站上的反饋信息，即用戶對(duì)每部電影的明確評(píng)分（從1 到5 不等）。

鑒于隱式反饋能提供更豐富的交互內(nèi)容，有利于緩解冷啟動(dòng)問題，本文首先在數(shù)據(jù)預(yù)處理部分將顯式反饋轉(zhuǎn)換為隱式反饋。其中1 表示用戶正面評(píng)分的樣本，而0 為從未交互集合中隨機(jī)采樣的負(fù)樣本。Last.FM 和Book-Crossing 的交互數(shù)據(jù)稀疏，故未設(shè)閾值，MovieLens-20M 正面評(píng)分閾值設(shè)置為4。

除了對(duì)用戶和項(xiàng)目的交互數(shù)據(jù)進(jìn)行預(yù)處理，本文在MicrosoftSatori 中生成每個(gè)數(shù)據(jù)集的項(xiàng)目知識(shí)圖譜。具體來說，首先從整個(gè)KG 中提取置信度高于0.9 的三元組作為子KG。對(duì)于確定的子KG，通過匹配頭節(jié)點(diǎn)和尾節(jié)點(diǎn)的名字來收集全部有效的實(shí)體id。最后，將項(xiàng)目id映射到KG中的實(shí)體中，并在子KG 中匹配對(duì)應(yīng)的三元組集。請(qǐng)注意，為了簡(jiǎn)化整個(gè)過程，本文將排除不存在匹配或存在多個(gè)匹配的項(xiàng)目。

4.2 對(duì)比算法

BPRMF（Bayesian Personalized Ranking optimizations for Matrix Factorization）：一種采用矩陣分解進(jìn)行優(yōu)化的經(jīng)典CF 方法。

CKE（Collaborative Knowledge base Embedding）：將CF和多種知識(shí)圖融合進(jìn)行訓(xùn)練，分別提取了項(xiàng)目知識(shí)圖譜中的結(jié)構(gòu)信息、文本信息和視覺信息的特征嵌入。本文僅將結(jié)構(gòu)知識(shí)同CF 結(jié)合。

PER：利用項(xiàng)目知識(shí)圖譜中的關(guān)系異構(gòu)性，引入元路徑來表示不同關(guān)系路徑中用戶和項(xiàng)目的連通性，并基于路徑相似度來推薦項(xiàng)目。本文將元路徑定義為項(xiàng)目―屬性―項(xiàng)目屬性。

RippleNet：最近提出的基于偏好傳播的模型。通過將用戶歷史交互項(xiàng)作為KG 傳播中的初始集，在KG 中擴(kuò)散并聚合多層鄰居信息，得到更深入的用戶潛在偏好表示。

知識(shí)圖卷積神經(jīng)網(wǎng)絡(luò)（Knowledge Graph Convolutional Networks，KGCN）：最先進(jìn)的將KG 與圖卷積神經(jīng)網(wǎng)絡(luò)融合的模型，利用圖卷積從知識(shí)圖的鄰居中獲得豐富的項(xiàng)目嵌入，導(dǎo)致推薦任務(wù)完成質(zhì)量的巨大提升。

KGAT：也是最先進(jìn)的融合圖卷積網(wǎng)絡(luò)的模型。它將項(xiàng)目知識(shí)圖和用戶交互數(shù)據(jù)結(jié)合組成協(xié)同知識(shí)圖，并在該圖結(jié)構(gòu)上遞歸傳播鄰居來更新目標(biāo)節(jié)點(diǎn)的嵌入。另外在傳播期間使用注意力機(jī)制來區(qū)分鄰居節(jié)點(diǎn)的重要性。

4.3 實(shí)驗(yàn)設(shè)置

對(duì)每個(gè)數(shù)據(jù)集，按照7∶2∶1 的比例隨機(jī)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。具體來說，針對(duì)所選數(shù)據(jù)集的大小，首先采用保留法將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，通常情況下（非大規(guī)模數(shù)據(jù)集）為8∶2。其次，為了更好地檢驗(yàn)?zāi)Ｐ陀?xùn)練程度，會(huì)從訓(xùn)練集中劃分一小部分為驗(yàn)證集，即最終比例為7∶2∶1。本方法在以下兩個(gè)推薦場(chǎng)景中進(jìn)行評(píng)估：1）CTR（Click Through Rate）預(yù)測(cè)，在訓(xùn)練完成的推薦模型中預(yù)測(cè)特定用戶和項(xiàng)目間的交互概率。2）Top-

k

推薦，使用從訓(xùn)練集學(xué)習(xí)到的推薦模型來選擇測(cè)試集中指定用戶預(yù)測(cè)概率最高的

k

項(xiàng)物品。為了驗(yàn)證這些方法的有效性，本文應(yīng)用了以下評(píng)估指標(biāo)：1）

Precision

：模型推薦項(xiàng)目的準(zhǔn)確率。

其中：

R

（

u

）為根據(jù)訓(xùn)練集對(duì)用戶推薦的項(xiàng)目列表；

T

（

u

）為根據(jù)測(cè)試集對(duì)用戶推薦的項(xiàng)目列表。2）

Recall

：候選推薦列表的命中率。

3）

F

1：

Precision

與

Recall

的加權(quán)結(jié)合，

F

1 的值更能體現(xiàn)模型的性能。

4）

AUC

：用于評(píng)估推薦系統(tǒng)將用戶喜歡和不喜歡的商品區(qū)分的性能。

a

為用戶喜歡的商品，

b

為用戶不喜歡的商品，每次比較推薦系統(tǒng)對(duì)

a

和

b

的打分，

m

為比較的總次數(shù)，

m

′為

a

的評(píng)分大于

b

的評(píng)分的次數(shù)，

m

″為

a

的評(píng)分等于

b

的評(píng)分的次數(shù)，AUC 計(jì)算公式如式（17）所示。

4.4 實(shí)驗(yàn)結(jié)果對(duì)比

在CTR 和Top-

k

中的預(yù)測(cè)結(jié)果分別如表2 和圖2 所示。根據(jù)實(shí)驗(yàn)結(jié)果，有以下關(guān)鍵結(jié)論：

表2 基于AUC和F1指標(biāo)的CTR預(yù)測(cè)結(jié)果Tab 2 CTR prediction results based on AUC and F1 metrics

從圖2 中的結(jié)果來看，基于KG 的推薦方法遠(yuǎn)遠(yuǎn)優(yōu)于基于CF 的方法（BPRMF），這說明引入KG 中的額外信息對(duì)推薦方法性能有很大的提升。但是，在個(gè)別指標(biāo)上BPRMF 的性能超過了CKE，這表明僅建模KG 中的一階關(guān)系可能無法充分發(fā)揮KG 的作用，這同時(shí)也驗(yàn)證了NCKN 聚合來自多層高階鄰居信息的有效性。

圖2 基于Recall@k指標(biāo)的Top-k預(yù)測(cè)結(jié)果Fig.2 Top-k prediction results based on Recall@k metric

NCKN 在CTR 預(yù)測(cè)中取得了顯著的結(jié)果，基于三個(gè)數(shù)據(jù)集都表現(xiàn)最佳。基于Recall@

k

的Top-

k

預(yù)測(cè)中，KGAT 在音樂和圖書數(shù)據(jù)集中性能表現(xiàn)優(yōu)越，但值得注意的是，在電影數(shù)據(jù)集中，本文方法NCKN 性能超越了KGAT。本文的推斷是：當(dāng)數(shù)據(jù)集規(guī)模較小且稀疏性大時(shí)，KGAT 能作出更準(zhǔn)確的預(yù)測(cè)；但是對(duì)于大規(guī)模且信息更稠密的電影數(shù)據(jù)集，KGAT在用戶交互圖中的高階傳播會(huì)引入過多的噪聲，而NCKN 使用一階協(xié)作信號(hào)和KG 相結(jié)合取得了更佳的效果。

通過觀察發(fā)現(xiàn)所有的方法在三個(gè)數(shù)據(jù)集上的性能排名分別是電影、音樂、書籍。這可能是三個(gè)數(shù)據(jù)集上的用戶平均交互數(shù)量和KG 中實(shí)體的平均鏈接數(shù)量不同導(dǎo)致的。例如，相較于音樂數(shù)據(jù)集和圖書數(shù)據(jù)集，電影數(shù)據(jù)集具有更多的交互行為和關(guān)系鏈接數(shù)量，其豐富的信息可供推薦模型更準(zhǔn)確地學(xué)習(xí)潛在的特征表示。

與所有的對(duì)比方法相比，本文提出的NCKN 在三個(gè)數(shù)據(jù)集上都取得了競(jìng)爭(zhēng)優(yōu)勢(shì)。具體來說，在CTR 預(yù)測(cè)中，與主流算法RippleNet、KGCN 相比，NCKN 在指標(biāo)AUC 下平均分別提升了2.71%、4.60%；在F1 指標(biāo)下平均分別提升了4.17%、3.28%；在Top-

k

中，NCKN 在電影和書籍?dāng)?shù)據(jù)集中平均提升了5.26%、3.91%。。請(qǐng)注意，NCKN 在音樂數(shù)據(jù)集上表現(xiàn)不足但僅次于KGAT，因?yàn)橐魳窋?shù)據(jù)集中KG 平均鏈接數(shù)量太低，NCKN 中的無采樣策略無法發(fā)揮其最佳效果。與RippleNet 相比，證明了NCKN 不使用采樣策略和協(xié)作傳播的積極意義。

4.5 消融實(shí)驗(yàn)

本節(jié)對(duì)模型所涉及的關(guān)鍵參數(shù)和方法進(jìn)行分析。NCKN的特色在于協(xié)同傳播層和無采樣知識(shí)圖傳播層的設(shè)計(jì)。為了驗(yàn)證這些方法的有效性，進(jìn)行了消融實(shí)驗(yàn)。

本文分別對(duì)嵌入向量的維度和傳播的最大層數(shù)進(jìn)行參數(shù)分析。具體來說：

1）在三個(gè)數(shù)據(jù)集上使用不同維度的嵌入來探索其對(duì)于模型的影響，圖3（a）顯示了直觀的結(jié)果：在一定范圍內(nèi)，隨著嵌入維度

d

的增加NCKN 的性能也得以提升，但超過某個(gè)值后，性能逐漸下降。這是因?yàn)楫?dāng)

d

過大時(shí)，可能出現(xiàn)過擬合問題。

圖3 基于AUC的嵌入維度影響Fig.3 Impact of based on AUC embedding dimension

2）為了探索KG 中聚合不同層數(shù)的鄰域信息的影響，設(shè)置信息傳播

n

跳的最大層數(shù)，以研究模型的性能會(huì)如何改變。

圖4 為不同傳播層數(shù)的實(shí)驗(yàn)結(jié)果，可以觀察到：音樂、書籍、電影分別為3、3、2 時(shí)達(dá)到最優(yōu)性能。對(duì)這個(gè)結(jié)果的合理解釋是，高階的鄰域信息補(bǔ)充更豐富的潛在信息，但同時(shí)也引入了更多噪聲，特別是對(duì)于數(shù)據(jù)量很大的電影數(shù)據(jù)集，合理的傳播層數(shù)能發(fā)揮最佳的效果。

圖4 基于AUC的傳播層數(shù)的影響Fig.4 Impact of number of propagation layers based on AUC

為了證明協(xié)作傳播層和無采樣知識(shí)傳播層的有效性，本文在模型中使用了兩種變體：1）對(duì)于協(xié)同傳播層，采用兩層協(xié)作傳播的變體來進(jìn)行對(duì)比實(shí)驗(yàn)，它被稱NCKN；2）對(duì)于無采樣知識(shí)傳播層，使用隨機(jī)采樣固定數(shù)量鄰域節(jié)點(diǎn)的變體NCKN來觀察模型的表現(xiàn)能力。表3 的結(jié)果表明：在三個(gè)數(shù)據(jù)集上，NCKN 的一階協(xié)作傳播層比兩層協(xié)作傳播變體具有更優(yōu)的性能。這說明用戶交互中相互作用的模糊性，更高階的協(xié)作傳播反而帶來了更多的噪聲。用戶一階的交互項(xiàng)目能最準(zhǔn)確地表示其偏好；而采用無采樣策略的模型相較于使用隨機(jī)采樣策略也取得了優(yōu)勢(shì)，這支持了采樣機(jī)制可能會(huì)帶來誤差的前提。

表3 基于AUC的協(xié)作傳播和無采樣知識(shí)傳播模塊消融實(shí)驗(yàn)結(jié)果Tab 3 Experimental results of AUC-based ablation of collaborative dissemination and non-sampling knowledge dissemination modules

5 結(jié)語

本文提出了一種無采樣協(xié)作知識(shí)圖網(wǎng)絡(luò)NCKN。NCKN通過單層圖卷積網(wǎng)絡(luò)無采樣地預(yù)聚合多層鄰域信息，并將學(xué)習(xí)到的KG 嵌入和用戶交互中協(xié)作信號(hào)相結(jié)合。

本文考慮在以下兩個(gè)方面展開未來的工作：1）由于本文專注于研究無采樣策略的應(yīng)用，進(jìn)一步的研究方向是設(shè)計(jì)出一個(gè)更好的方法融合注意力機(jī)制，能夠更準(zhǔn)確地利用鄰域信息；2）本文的模型為現(xiàn)實(shí)場(chǎng)景中的其他輔助信息提供了一個(gè)新的思路，比如可以嘗試應(yīng)用于社交網(wǎng)絡(luò)來提高推薦性能。