路徑語義和特征提取相結(jié)合的負(fù)樣本推薦方法

馬 騰，熊 熙，3，李中志，李斌勇，昌 燕

1(成都信息工程大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，成都 610225)2(先進(jìn)密碼技術(shù)與系統(tǒng)安全四川省重點(diǎn)實(shí)驗(yàn)室，成都 610225)3(四川大學(xué) 空天科學(xué)與工程學(xué)院，成都 610065)

1 引 言

隨著計(jì)算機(jī)網(wǎng)絡(luò)的高速發(fā)展，各大產(chǎn)業(yè)及APP的廣泛使用產(chǎn)生了大量的數(shù)據(jù)，但并非所有的數(shù)據(jù)都是用戶所感興趣的內(nèi)容，因此推薦系統(tǒng)應(yīng)運(yùn)而生，成為解決此問題的重要技術(shù).如何提高用戶的滿意度和體驗(yàn)感還能保證推薦的準(zhǔn)確度成為了推薦系統(tǒng)的主要研究內(nèi)容.根據(jù)對用戶興趣愛好的推測，以及對用戶歷史選擇的分析，推薦系統(tǒng)可以分為兩類:基于協(xié)同過濾的推薦系統(tǒng)和基于內(nèi)容的推薦系統(tǒng).前者主要面臨數(shù)據(jù)冷啟動(dòng)[1]問題，后者則依據(jù)用戶和物品之間歷史交互信息，也就是物品向量之間的相似度進(jìn)行比較，其缺點(diǎn)是只能推薦用戶候選集合中的對象，無法給用戶帶來驚喜.

雖然近年來基于知識圖譜的推薦系統(tǒng)準(zhǔn)確度越來越高，這種方式包含了更加豐富的樣本和關(guān)系，也有更好的可解釋性，但不同的采樣方式也會(huì)影響到最終的效果.基于均勻采樣的方法簡單高效，可是在訓(xùn)練過程中都會(huì)導(dǎo)致梯度的不同程度的消失.還有部分只是簡單以用戶是否點(diǎn)擊和瀏覽作為對負(fù)樣本的判斷，然而未點(diǎn)擊和未瀏覽的選項(xiàng)并不全都是真正的負(fù)樣本，因?yàn)橛脩艉苡锌赡懿⒉恢烙羞@些候選項(xiàng)的存在(通過系統(tǒng)或生活常識獲取)而沒有點(diǎn)擊或?yàn)g覽.這些方法都因?yàn)楦髯缘木窒扌远鴮?dǎo)致不足以找到優(yōu)質(zhì)的負(fù)樣本.并且單純的知識圖譜節(jié)點(diǎn)向量還忽略了許多文字描述，圖片等內(nèi)容.如果能將文本信息結(jié)合到知識圖譜中，那么在可解釋性方面也會(huì)發(fā)揮重要作用.

針對現(xiàn)有方法的局限性，本文提出一種新的負(fù)樣本提取方法，達(dá)到為推薦系統(tǒng)提供充足的有效樣本的目的.本文主要貢獻(xiàn)包括:

1)將知識圖譜節(jié)點(diǎn)的表示學(xué)習(xí)與SDEA[2](堆疊式降噪自動(dòng)編碼器)結(jié)合，從關(guān)系中獲取物品實(shí)體的編碼，而不是只對知識圖譜中的三元組進(jìn)行結(jié)構(gòu)關(guān)聯(lián)，這樣就可以充分利用圖譜中的信息進(jìn)行物品推薦.

2)根據(jù)知識圖譜中用戶節(jié)點(diǎn)和物品節(jié)點(diǎn)的關(guān)聯(lián)關(guān)系，利用合適的搜索算法采樣到負(fù)樣本，并將負(fù)樣本按評分排序，通過修剪掉得分低的負(fù)樣本以提高運(yùn)算效率.在負(fù)樣本搜索的過程中增加了通道注意力[3]，提高了搜索性能.

3)基于數(shù)據(jù)集對模型進(jìn)行了對比實(shí)驗(yàn)，結(jié)果表明負(fù)采樣算法能有效的利用KG[4](知識圖譜)，并在鄰居修剪策略的作用下更容易搜索到潛在項(xiàng)目.

2 相關(guān)工作

基于知識圖譜的推薦系統(tǒng)對知識圖譜的應(yīng)用總共有3種方法:1)表示學(xué)習(xí)的方法，將圖譜中的實(shí)體以及關(guān)系映射成為低維度的向量，例如TransE[5]、TransH[6]、TransR[7]、TransD[8]等.也可以使用語義匹配模型:DisMult.根據(jù)圖譜中是否包含有用戶，基于表示學(xué)習(xí)的方法分為物品子圖和用戶子圖.物品子圖能夠利用知識表示的模型獲取豐富的內(nèi)容，結(jié)合多種輔助信息得到完整的物品向量，例如用戶和物品交互矩陣信息、物品本身的屬性信息以及內(nèi)容信息等.得到物品信息后與用戶的表示通過的得分函數(shù)求得用戶選擇物品的可能性.典型的模型包括:CKE[9]、DKN[10]、KSR[11].而用戶子圖是將用戶和物品作為實(shí)體，將用戶的歷史行為作為關(guān)系，將實(shí)體和關(guān)系結(jié)合起來通過函數(shù)計(jì)算用戶的偏好.代表性模型如 CFKG[12]、DKFM[13]等；2)基于路徑的方法，這種是構(gòu)建用戶物品圖，并利用知識圖譜中實(shí)體的連通性模式進(jìn)行推薦，基本思想是利用user和item的實(shí)體語義相似性提升推薦效果，例如研究用戶之間或者物品之間的相似度，基于路徑的相似度則是比較路徑的學(xué)習(xí)和表示向量，使用的是語義連通信息；3)將前兩種方法結(jié)合起來，充分挖掘知識圖譜中每一部分的信息，有效提高推薦的可解釋性.典型的代表模型如:KGAT[14]、IntentGC[15]、AKGE[16].

目前在知識圖譜中廣泛使用的采樣方法是均勻采樣方法，這種方法簡單高效，但卻忽略了訓(xùn)練過程梯度消失問題的嚴(yán)重影響.由于評分函數(shù)傾向于給正樣本較高分?jǐn)?shù)的物品，隨著訓(xùn)練的進(jìn)行，大多數(shù)未觀察到的(可能是負(fù)的)樣本的分?jǐn)?shù)會(huì)變得更小，從而阻礙知識圖譜表示學(xué)習(xí)的訓(xùn)練過程.通過考慮一對多、多對多和多對一的頭和尾之間的映射關(guān)系，改進(jìn)了均勻抽樣.然而，它仍然是一個(gè)固定的采樣方案，存在梯度消失的問題.因此，高質(zhì)量的負(fù)樣本應(yīng)該有較大的分值:P.Wang等人在IGAN[17]模型，L.Cai和W.Y.Wan在KBGAN[18]模型中都提出用生成式對抗網(wǎng)絡(luò)(GAN)[19]取代固定的抽樣方案.然而，基于GAN的解決方案因?yàn)橐肓艘粋€(gè)額外的生成器增加了訓(xùn)練參數(shù)的數(shù)量.其次，GAN在訓(xùn)練過程中會(huì)出現(xiàn)不穩(wěn)定性和退化，而在IGAN和KBGAN這兩個(gè)模型中使用的強(qiáng)化梯度具有高方差，這些缺點(diǎn)都會(huì)導(dǎo)致評分函數(shù)的性能不穩(wěn)定，容易產(chǎn)生低質(zhì)量的負(fù)樣本.

自適應(yīng)采樣會(huì)對模型參數(shù)產(chǎn)生較大的影響，例如，DNS[20]模型會(huì)隨機(jī)從未觀測樣本中選取當(dāng)前模型得分最高的一個(gè)，IRGAN[21]在生成式對抗下優(yōu)化了這一過程，雖然從數(shù)值優(yōu)化的角度來看是有效的，但由于是在未觀測數(shù)據(jù)中隨機(jī)取樣，當(dāng)前的負(fù)樣本在未來的測試數(shù)據(jù)中有可能是正樣本，這也將降低模型的有效性.

另外的一些模型通過加入其它行為數(shù)據(jù)來增強(qiáng)負(fù)采樣效果，例如:觀看但未點(diǎn)擊和點(diǎn)擊但未購買這樣的用戶行為.雖然這些數(shù)據(jù)提供了一定數(shù)量的真實(shí)負(fù)信號，但與大量缺失的數(shù)據(jù)相比，規(guī)模也非常有限.因此，僅將它們用作負(fù)反饋是遠(yuǎn)遠(yuǎn)不夠的，甚至比均勻采樣器的性能還差.對于這類方法，不僅需要在大量缺失數(shù)據(jù)中提取出真正有效的負(fù)信號，還需要滿足更新了負(fù)樣本之后能明顯提高模型效率等效果.實(shí)際應(yīng)用中也經(jīng)常存在用戶通過不同途徑了解這些物品但卻沒有選擇的情況，這說明用戶對這些可能沒有興趣;例如圖1中的例子，用戶eu1是需要被推薦的目標(biāo)用戶，entity表示實(shí)體也可以理解為屬性，以歌曲為例，用戶eu3選擇物品ei4的原因是p2，那么ei6對目標(biāo)用戶來講就是優(yōu)質(zhì)的負(fù)樣本.用戶eu是需要被推薦的目標(biāo)用戶，entity表示實(shí)體也可以理解為屬性，以用戶eu3選擇歌曲為例，用戶eu3選擇了ei3和ei4的原因是這兩個(gè)物品具有屬性p2，說明用戶對ei4的另一個(gè)屬性p3不感興趣，同樣擁有p3屬性的ei6對該用戶來說就是優(yōu)質(zhì)的負(fù)樣本.

圖1 樣本選擇圖Fig.1 Sample selection diagram

鑒于以上方法的局限性，本文提出了一個(gè)模型:通過強(qiáng)化學(xué)習(xí)從正樣本出發(fā)，遞歸的進(jìn)行探索，結(jié)合通道注意力增強(qiáng)有用特征，適當(dāng)抑制信息量小或者無用的特征，以決定下一個(gè)適合訪問的節(jié)點(diǎn)，最后通過MF方法驗(yàn)證模型的效果.

3 系統(tǒng)模型

從結(jié)構(gòu)化的三元組中學(xué)習(xí)知識表示是當(dāng)前知識圖譜的主要研究趨勢，然而在真實(shí)信息中，圖譜中不僅包含實(shí)體和關(guān)系，還有更多的文本內(nèi)容，基于實(shí)體的方法忽略了多模態(tài)信息.因此，結(jié)構(gòu)化處理文本內(nèi)容后將其結(jié)合在知識表示中可以融合多模態(tài)信息.本文采取基于路徑的綜合方式優(yōu)化已有模型，將多模態(tài)信息作為對實(shí)體和關(guān)系的輔助特征.從正樣本出發(fā)，通過強(qiáng)化學(xué)習(xí)方法遞歸探索圖譜中的節(jié)點(diǎn)關(guān)系，結(jié)合通道注意力將有用的特征增強(qiáng)，對信息量小或者無用特征進(jìn)行適當(dāng)?shù)囊种疲鶕?jù)注意力得分的高低來決定下一個(gè)適合訪問的點(diǎn).整體模型如圖2所示.

圖2 模型總體框架圖Fig.2 Overall framework of the model

3.1 知識圖譜表示

3.1.1 三元組結(jié)構(gòu)信息表示

在關(guān)系比較復(fù)雜的知識圖譜中，如果關(guān)系和實(shí)體是完全不同的對象，就無法在通用的語義空間中準(zhǔn)確表示關(guān)系和實(shí)體.例如:TransE首先假定了實(shí)體和關(guān)系是在同一空間內(nèi)的嵌入，以詹姆斯·卡梅隆拍的3部著名電影為例:《泰坦尼克號》、《終結(jié)者》和《阿凡達(dá)》.根據(jù)TransE模型可以得到統(tǒng)一向量表示上述3部電影，即假設(shè)《泰坦尼克號》≈《終結(jié)者》≈《阿凡達(dá)》，但實(shí)際上這3部電影是不同的實(shí)體，應(yīng)該用不同的向量來表示.因此TransE模型不適合處理具有復(fù)雜關(guān)系的知識圖譜.相比TransE，TransH更具有靈活性，但也沒有完全打破假設(shè)實(shí)體和關(guān)系在同一空間的限制.TransR能夠在多關(guān)系空間中建立實(shí)體和關(guān)系，有效區(qū)分相似實(shí)體.因此， 本文使用TransR對結(jié)構(gòu)化知識進(jìn)行表示，將知識圖譜三元組(h，r，t)中的實(shí)體通過矩陣投影到對應(yīng)關(guān)系所在空間，得到頭實(shí)體hr和尾實(shí)體tr在關(guān)系r的投影向量.使相似的關(guān)系在空間上相互靠近，不同關(guān)系的相互遠(yuǎn)離.

對每個(gè)關(guān)系r設(shè)定一個(gè)投影矩陣Mr∈R，使得實(shí)體從實(shí)體空間投射到關(guān)系空間，定義實(shí)體的投影向量為:

hr=hMr，tr=tMr

(1)

分?jǐn)?shù)函數(shù)定義為:

(2)

3.1.2 三元組文本信息的表示

由于在復(fù)雜關(guān)系中的同一實(shí)體會(huì)因不明確的關(guān)系得到錯(cuò)誤的語義信息.為了提高模型的效率，本文考慮使用知識圖譜關(guān)系路徑中的文本信息，將文本內(nèi)容添加噪聲之后進(jìn)行編碼，同時(shí)確保解碼后的文本內(nèi)容與原文檔最大限度的接近.通過堆疊多個(gè)DAE形成一個(gè)深度的架構(gòu)SDAE，這個(gè)結(jié)構(gòu)不僅能夠進(jìn)行特征提取如，在模型頂層添加分類器后再進(jìn)行分類.

與傳統(tǒng)的方法比較，該方法能更充分的提取知識圖譜中的多模態(tài)信息，有效區(qū)分因?yàn)椴煌碛杀贿x擇的物品.(u，i)是用戶和正樣本的歷史交互，u是用戶，i是物品，用戶與物品與知識圖譜中的實(shí)體一一對應(yīng).

將添加噪聲之后的關(guān)系文本，輸入SDAE模型中，經(jīng)過解碼和編碼過程得到文檔的向量表示最終的向量表示.

3.2 負(fù)樣本提取

由于圖譜中節(jié)點(diǎn)量巨大，每遍歷一個(gè)節(jié)點(diǎn)都有大量邊產(chǎn)生，需要一個(gè)采樣器高效遍歷圖譜.文中設(shè)計(jì)一個(gè)樣本取樣器，以用戶交互的正樣本為初始節(jié)點(diǎn)，通過強(qiáng)化學(xué)習(xí)來獲得知識圖譜中豐富的實(shí)體關(guān)系和負(fù)樣本集合，不斷探索出更優(yōu)秀的負(fù)樣本，并為推薦結(jié)果提供可解釋性.從目標(biāo)用戶的正樣本開始，在路徑上以兩跳為范圍探索負(fù)例對圖譜循環(huán)進(jìn)行搜索.

本文的強(qiáng)化學(xué)習(xí)方法中包含States，Action和Reward 3個(gè)部分，目的是狀態(tài)轉(zhuǎn)移過程中降低Reward的值，狀態(tài)轉(zhuǎn)移可表示為馬爾可夫?qū)W習(xí)過程:

States:是在第i步中的目標(biāo)用戶及當(dāng)前訪問節(jié)點(diǎn)的狀態(tài);

Action:在狀態(tài)St中At從所有為訪問過的軌跡開始探索，由于路徑是變化的，所以鄰居節(jié)點(diǎn)也是不同的;

Transition Model:根據(jù)當(dāng)前狀態(tài)St和動(dòng)作At，預(yù)測下一個(gè)動(dòng)作St為:

(3)

Reward:Re得分的高低作為對et質(zhì)量的衡量，依據(jù)來自推薦模型的反饋定義soft reward.為此設(shè)計(jì)了兩個(gè)函數(shù):一個(gè)是預(yù)測性函數(shù)，用戶和物品的匹配分?jǐn)?shù)fp;另一個(gè)是相似性函數(shù):通過負(fù)評估樣本與正例的相似性fs，最終確定獎(jiǎng)勵(lì)函數(shù)為:

R(et)=fP+fS

(4)

3.3 圖形學(xué)習(xí)

在負(fù)樣本提取的過程中借助鄰居注意力和通道注意力估計(jì)用戶候選項(xiàng)，即item暴露于用戶的概率:其中鄰居注意力可以是自適應(yīng)學(xué)習(xí)當(dāng)前敏感的鄰居重要性，通道注意力則是加強(qiáng)有用特征，抑制無用特征，從而實(shí)現(xiàn)多種信息源的特征融合.

3.3.1 鄰居注意力

通過對每個(gè)節(jié)點(diǎn)映射的向量加入注意力模塊，找到權(quán)重高的鄰居節(jié)點(diǎn)作為下一個(gè)訪問的節(jié)點(diǎn).例如:一個(gè)用戶聽了兩首歌，該用戶分別是被“作曲家”和“明星”這兩個(gè)實(shí)體所吸引，則通過注意力給兩類實(shí)體不同的評分，其評分取決于關(guān)系空間中hr和tr之間的距離，在計(jì)算距離之前需要對數(shù)據(jù)進(jìn)行歸一化處理.

(5)

3.3.2 通道注意力模型

通道注意力是通過對通道的依賴性進(jìn)行建模以提高網(wǎng)絡(luò)的表示能力.首先考察輸出特征每個(gè)通道的信號以及各通道之間的依賴程度，再根據(jù)不同通道賦與不同的權(quán)重，區(qū)別每個(gè)通道的重要程度.并且有選擇性的增強(qiáng)信息量大的特征，抑制無用特征，使提取的特征指向性更強(qiáng).

通道注意力模型如圖3所示，首先將每個(gè)通道經(jīng)過全局平均池化操作后得到一個(gè)標(biāo)量，如果有C個(gè)通道得到的就是C個(gè)H*W的值，這個(gè)過程稱之為Squeeze，用zc表示.

圖3 通道注意力模型圖Fig.3 SENet model

然后通過FC-ReLU-FC-Sigmoid函數(shù)得到通道的權(quán)重值.對每個(gè)通道中的元素進(jìn)行加權(quán)，即H*W，也就是對應(yīng)通道的每個(gè)元素與權(quán)重分別相乘，從而得到得到新的feature map，即特征圖.這個(gè)過程稱之為Excitation.融合各通道特征圖譜信息的計(jì)算方法為:

s=Fex(z，W)=σ(g(z，W))=σ(W2δ(W1z))

(6)

其中，z∈R，是統(tǒng)計(jì)量，C是通過U的空間維數(shù)H×W收縮產(chǎn)生.

3.3.3 冗余優(yōu)化

在負(fù)樣本提取過程中，雖然已經(jīng)從整個(gè)范圍縮小到包含多跳鄰居節(jié)點(diǎn)的網(wǎng)絡(luò)，但仍需要遍歷未觀察的所有節(jié)點(diǎn)和路徑.即使是從正例開始尋找鄰居節(jié)點(diǎn)這樣的方法，占用空間的規(guī)模也十分大.進(jìn)一步來講，這樣的方式會(huì)阻礙節(jié)點(diǎn)探索的性能.為了減少搜索所占用的空間和時(shí)間，本文使用節(jié)點(diǎn)修剪的方式來規(guī)避這個(gè)問題，在每一步節(jié)點(diǎn)探索的時(shí)候，保留評分函數(shù)中得分高的節(jié)點(diǎn)，將得分低的節(jié)點(diǎn)修剪掉.這樣不僅減少了空間上的消耗，還提高了算法的時(shí)間效率.

3.4 物品推薦

將用戶和物品的特性通過矩陣分解得到用戶矩陣和物品矩陣.在音樂推薦中，每個(gè)用戶聽音樂的時(shí)候都有偏好，這些偏好可以直觀理解成歌曲種類:藍(lán)調(diào)，說唱，搖滾等.用戶-特性矩陣表示的是用戶對這些因素的喜好.同樣，每一部音樂也可以用這些因素描述，因此特性-物品矩陣表示的就是每一部音樂當(dāng)中這些因素的含量，例如某歌曲的作曲，演唱者，風(fēng)格.這樣兩個(gè)矩陣相乘就會(huì)得到用戶對音樂的喜歡程度.

由于數(shù)據(jù)規(guī)模大，不適合采用時(shí)間復(fù)雜度高的推薦算法，這里使用MF算法向用戶做推薦，證明負(fù)采樣器的有效性.

本文將用戶和物品嵌入的內(nèi)積作為預(yù)測函數(shù)來估計(jì)某位用戶來選擇物品的可能性.

(7)

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)集

本文使用3個(gè)公開數(shù)據(jù)集:Amazon-book、Last-FM和Yelp2018，每個(gè)數(shù)據(jù)集由用戶和物品交互組成.將數(shù)據(jù)集按照4:1的比例分成訓(xùn)練集和測試集.在訓(xùn)練集中，與用戶交互的物品為正樣本，同時(shí)使用采樣器對負(fù)樣本進(jìn)行采樣，根據(jù)用戶物品對進(jìn)行推薦，如表1所示.

表1 數(shù)據(jù)集的統(tǒng)計(jì)Table 1 Statistics of data sets

本實(shí)驗(yàn)是在pytorch1.6.0的環(huán)境中進(jìn)行編程，同時(shí)對其它對比算法的參數(shù)進(jìn)行了適當(dāng)?shù)恼{(diào)整.學(xué)習(xí)速率在[10-3，5×10-3， 10-2，5×10-2]中進(jìn)行調(diào)整，并在[8，16，32，64，128，256]中調(diào)整嵌入的維度大小.對于測試集中的每個(gè)用戶，本研究將其選擇了的item(用戶備選項(xiàng))視為正樣本，并評估各個(gè)算法的排名.

Amazon-book:該數(shù)據(jù)集包括了廣泛用于產(chǎn)品推薦的數(shù)據(jù)，包括產(chǎn)品的評論文本、產(chǎn)品的描述、類別信息、價(jià)格和鏈接等，也包括括瀏覽和購買記錄.為了確保數(shù)據(jù)集的質(zhì)量，本文保留至少10次交互的用戶和項(xiàng).

Last-FM:該數(shù)據(jù)集為音樂數(shù)據(jù)集，在歌曲級別上由兩種數(shù)據(jù)組成:標(biāo)簽和類似的歌曲.在這里把音軌視為item(項(xiàng)目)，選取時(shí)間戳從2016.6到2016.12的數(shù)據(jù)集.

Yelp2018:該數(shù)據(jù)集涵蓋商戶、評論文本和用戶數(shù)據(jù)，實(shí)驗(yàn)中把當(dāng)?shù)氐牟宛^和酒吧作為物品.

除了用戶-物品交互之外，還需要為每個(gè)數(shù)據(jù)集構(gòu)建物品知識.對于Amazon-book和Last-FM，通過標(biāo)題匹配將物品映射到Freebase圖數(shù)據(jù)庫中.

4.2 評價(jià)指標(biāo)

實(shí)驗(yàn)中所用的評價(jià)指標(biāo)為歸一化折損累計(jì)增益值(ndcg)，召回率(recall)和F1值驗(yàn)證這些方法的有效性，各個(gè)評價(jià)指標(biāo)的計(jì)算公式如下所示:

1)ndcg:(Normalized Discounted cumulative gain)這個(gè)指標(biāo)是歸一化折損累計(jì)增益值，用來衡量算法的排序質(zhì)量.其計(jì)算公式如下:

(8)

其中cg是搜索結(jié)果列表中所有文檔的分級相關(guān)性得分的總和;dcg表示的是在搜索結(jié)果列表的較低位置上出現(xiàn)相關(guān)性較高的內(nèi)容時(shí)，對評測得分施加懲罰后的值;idcg則為理想dcg，也就是將推薦內(nèi)容進(jìn)行相關(guān)性排序后得到的最大的dcg值.而這dcg和idcg兩個(gè)值則是由公式(9)、公式(10)所求得的

(9)

(10)

|REL|表示結(jié)果集中相關(guān)度最高的p個(gè)結(jié)果，從而給定這p個(gè)結(jié)果的排序位置.其中reli為位置i上的文檔的相關(guān)度.

CEFTIN片用于治療由肺炎鏈球菌或流感嗜血桿菌（不產(chǎn)β‐內(nèi)酰胺酶菌株）敏感株引起的成人和兒童患者（13歲及以上）的輕到中度急性上頜竇炎。

2)precision:精確度，表示正確預(yù)測為正的占全部預(yù)測為正的比例.公式如下:

(11)

3)recall:召回率，即正確預(yù)測為正的占全部實(shí)際為正的比例.

(12)

4)F1:對精確率與召回率進(jìn)行平均的結(jié)果.

(13)

其中，TP表示的是正類預(yù)測為正類的數(shù)量;FN是正類預(yù)測為負(fù)類的數(shù)量;FP表示的是負(fù)類被預(yù)測為正類的數(shù)量;TN是負(fù)類預(yù)測為負(fù)類的數(shù)量.

為了驗(yàn)證本算法的有效性，本實(shí)驗(yàn)在top-k場景下進(jìn)行評估:通過計(jì)算預(yù)測結(jié)果中概率最大的前k個(gè)結(jié)果包含正確標(biāo)簽的占比.

4.3 實(shí)驗(yàn)結(jié)果對比

將本文提出的NSEP模型進(jìn)行兩組比較，如下所示:

4.3.1 負(fù)采樣有效性比較

為了驗(yàn)證負(fù)采樣的有效性，選擇了以下方法作為對比:包括靜態(tài)RNS，自適應(yīng)DNS和基于知識圖譜(RWS)的采樣器.

·RNS:隨機(jī)負(fù)抽樣(RNS)以均勻概率對負(fù)樣本進(jìn)行抽樣的技術(shù).在這里為了便于比較使用MF作為推薦.

·RWS[22]:這種隨機(jī)行走抽樣(RWS)僅僅依賴于知識圖譜的拓?fù)浣Y(jié)構(gòu)選擇負(fù)樣本來輔助MF獎(jiǎng)勵(lì)功能的影響.

負(fù)采樣有效性的實(shí)驗(yàn)結(jié)果如表2所示，通過比較表2中的數(shù)據(jù)可以看出無論是recall還是ndcg的表現(xiàn)上，DNS的效果都優(yōu)于RNS.本文推測這是因?yàn)榫鶆蛉悠魅菀讓?dǎo)致低質(zhì)量的負(fù)樣本梯度消失.這個(gè)發(fā)現(xiàn)驗(yàn)證了高質(zhì)量負(fù)樣本可以使簡單的線性相互作用函數(shù)(即MF)達(dá)到與復(fù)雜的非線性相互作用模型(如rippleet和KGAT)相當(dāng)?shù)男阅?DNS采樣策略在這3個(gè)數(shù)據(jù)集上運(yùn)行良好，還有一個(gè)原因是DNS可以通過感知排序的拒絕采樣機(jī)制有效地減少搜索空間，這說明了適當(dāng)?shù)募糁Σ呗杂兄e極的作用，能夠提升推薦算法的準(zhǔn)確率.在與NSEP利用相同的數(shù)據(jù)實(shí)驗(yàn)時(shí)，RWS只能獲得與靜態(tài)采樣器相當(dāng)?shù)男阅?這是因?yàn)殡S機(jī)生成的路徑通常會(huì)因節(jié)點(diǎn)的受歡迎程度不同而有偏差.這個(gè)結(jié)果也再次證明了NSEP可以更好地利用知識圖譜提供的眾多節(jié)點(diǎn)和關(guān)系數(shù)據(jù).

表2 與其他負(fù)采樣比較Table 2 Compare with other negative samples

同時(shí)本研究也觀察到在數(shù)據(jù)集Yelp2018上本文的模型NSEP的改善最為顯著，而Amazon-book上NSEP的改善效果就相對較差.這可能是由于用戶備選項(xiàng)(item)質(zhì)量的原因:因?yàn)閅elp2018中的知識圖譜是使用本地的業(yè)務(wù)信息構(gòu)建的，因此與其他的相比更加準(zhǔn)確和有針對性.而利用正樣本增強(qiáng)物品之間的語義相似性或者通過傳播用戶偏好來推薦，這些方法忽略了知識圖譜提取負(fù)樣本的能力，如果將這種方法結(jié)合起來，那么推薦系統(tǒng)的效果會(huì)更好.本文提出的策略更強(qiáng)調(diào)物品之間的差異性，因此有利于負(fù)抽樣.

4.3.2 知識圖譜增強(qiáng)推薦比較

由于本算法提出了基于負(fù)樣本的推薦方式，因此也與其它基于知識圖譜的的推薦算法進(jìn)行比較，包括與基于監(jiān)督學(xué)習(xí)(NFM)、基于規(guī)則化(CKE)、基于路徑(RippleNet)和基于gnn的(KGAT)推薦算法的對比.

NFM:該推薦系統(tǒng)將歷史行為和物品知識分解為user-item，也就是用戶-備選項(xiàng)交互對的表示，并將其輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測.

CKE:這樣的推薦系統(tǒng)使用KG嵌入來增強(qiáng)物品表示，并進(jìn)一步幫助提升MF的推薦效果.

RippleNet:該模型利用知識圖譜中每個(gè)用戶的多跳路徑來豐富其周圍節(jié)點(diǎn)的信息，從而達(dá)到提升推薦效率的目的.

KGAT:這是目前最先進(jìn)的基于知識圖譜的推薦系統(tǒng)之一，這個(gè)模型在知識圖譜上通過使用GNN來生成用戶和物品表示，并使用內(nèi)積來進(jìn)行預(yù)測.

與其它基于知識圖譜的推薦算法比的實(shí)驗(yàn)效果如表3所示.可以觀察到NSEP在所有3個(gè)數(shù)據(jù)集上帶來的顯著改進(jìn).在Yelp2018、LastFM和Amazon-book上的表現(xiàn)分別高出2.40%、3.41%和3.25%.這再次驗(yàn)證了在抽樣方法中使用知識圖譜的合理性，并驗(yàn)證了知識圖譜可以為高質(zhì)量的負(fù)樣本提供指導(dǎo)信號.

表3 與其它KG增強(qiáng)器比較Table 3 Compare with other KG intensifiers

分析對比表中數(shù)據(jù)不難發(fā)現(xiàn)知識強(qiáng)化賦予推薦系統(tǒng)更好的表示能力.除NFM外，所有基于知識圖譜的推薦都結(jié)合了用戶和物品表示來做預(yù)測，因此，對物品的表示能力直接決定了推薦的性能.與CKE利用物品之間的語義相似性進(jìn)行推薦的方式，以及RippleNet中的基于路徑的模型來傳播用戶偏好，KGAT中基于用戶和物品的高階連接的模型相比，NSEP使用簡單的ID嵌入，能取得最好的性能.這些數(shù)據(jù)都表明，使用適當(dāng)?shù)南麡O信號有助于提高效果.

4.3.3 top-k推薦

本文還做了top-k相關(guān)的實(shí)驗(yàn)，.通過觀察折線圖4～圖6不難得知:與其他基線相比，CKE的表現(xiàn)相對較差， 可能是因?yàn)樵趯?shí)驗(yàn)過程中只有結(jié)構(gòu)知識即知識圖譜中的節(jié)點(diǎn)和關(guān)系，但卻因?yàn)樵跀?shù)據(jù)集中沒有視覺和文本輸入導(dǎo)致模型的效果不能完全發(fā)揮出來.NFM表現(xiàn)差的原因可能是因?yàn)榛谟脩魵v史的推薦不能夠廣泛地學(xué)習(xí)到用戶的興趣，缺少足夠的訓(xùn)練樣本導(dǎo)致推薦效果不理想.在last-FM中KGAT的表現(xiàn)不如其它兩個(gè)數(shù)據(jù)集的原因可能是因?yàn)橄嚓P(guān)評論太短且模棱兩可，無法提供有用的信息.NSEP在Amazon-Book推薦方面的表現(xiàn)不理想可能是因?yàn)樗婕暗挠脩絷P(guān)系不夠豐富，知識圖譜能夠預(yù)測的推薦路徑有限.同時(shí)，NSEP在Yelp2018和last-FM取得令人滿意的效果，證明算法能夠很好地利用負(fù)樣本的知識來實(shí)現(xiàn)效率的提升.

圖4 F1@K在Yelp2018中的表現(xiàn)情況Fig.4 F1@K in top-K recommendation for Yelp2018

圖5 F1@K在LastFM中的表現(xiàn)情況Fig.5 F1@K in top-K recommendation for LastFM

圖6 F1@K Amazon-Book中的表現(xiàn)情況Fig.6 F1@K in top-K recommendation for Amazon-Book

4.3.4 消融性分析

本文中為了進(jìn)一步研究算法中各個(gè)部分對算法整體的提升效果，還進(jìn)行了消融性分析，具體實(shí)驗(yàn)內(nèi)容如下.

1)為了研究模型中通道注意力的作用，模型在僅使用鄰居注意力的情況下運(yùn)行，對比結(jié)果如表4所示.

表4 通道注意力對模型的影響數(shù)據(jù)表Table 4 Influence of SENet on the model

由圖8分析得知，移除通道注意力會(huì)降低模型的性能.原因是缺乏該模塊對無用特征的抑制，導(dǎo)致特征之間的差別不夠大，在后期調(diào)用獎(jiǎng)勵(lì)函數(shù)時(shí)不同樣本之間沒有明顯的優(yōu)劣，獎(jiǎng)勵(lì)函數(shù)的作用不夠明顯，從而降低了推薦效果.

2)本小節(jié)將研究從KG關(guān)系中獲得的文本編碼對模型性能是否有提升.實(shí)驗(yàn)結(jié)果如表5所示.

表5 SDAE編碼對模型的影響數(shù)據(jù)表Table 5 Influence of SDAE coding on the model

分析得:與結(jié)構(gòu)化知識相比，文本對推薦性能有提升，但效果比較微弱.這是因?yàn)殛P(guān)系中的文本內(nèi)容與結(jié)構(gòu)化信息結(jié)合方式不夠完善，文本信息沒有被充分利用.如果將節(jié)點(diǎn)中的文本信息一同加入進(jìn)來，可能會(huì)有明顯的優(yōu)化.

4.3.5 實(shí)驗(yàn)總結(jié)

本文提出的算法在3個(gè)數(shù)據(jù)集的所有測量中始終優(yōu)于所有基線.這是因?yàn)橐韵聨讉€(gè)原因:

1)知識圖譜中具有豐富的實(shí)體關(guān)系，而靜態(tài)和自適應(yīng)采樣的信息首先，不容易發(fā)現(xiàn)高質(zhì)量的負(fù)樣本.

2)挑選的優(yōu)質(zhì)負(fù)樣本與目標(biāo)正樣本十分接近，因此為推薦提供了很有意義的梯度.

3)有效的鄰居修剪策略將大規(guī)模的搜索范圍縮小以至于更容易找到潛在的物品.

5 結(jié) 論

在本文中設(shè)計(jì)的鄰居關(guān)注模塊可以成功地獲取用戶的個(gè)人興趣.由于正樣本和負(fù)樣本之間有許多共同的鄰居，根據(jù)取樣器不同的探索路徑合理解釋正負(fù)樣本的屬性差異和用戶之間不同的偏好，獲得用戶的真實(shí)喜好.但是負(fù)采樣適合用戶行為活躍的用戶，如果用戶行為較為稀疏就不能有效地訓(xùn)練采樣器.接下來最主要的工作就是提高信息的傳播效率，之后再與負(fù)采樣結(jié)合，會(huì)得到更高的用戶滿意度.通過引入更多的輔助信息，例如社交網(wǎng)絡(luò)來更好的挖掘正樣本和負(fù)樣本的不同路徑，合理推斷用戶不同的喜好.