推薦系統(tǒng)信息跨領(lǐng)域的改進(jìn)遷移學(xué)習(xí)算法

張子燁 李明暢 梁凌睿 張銘華 謝賢芬 古萬(wàn)榮

(1.華南理工大學(xué) 數(shù)學(xué)學(xué)院，廣東 廣州 510640；2.暨南大學(xué) 經(jīng)濟(jì)學(xué)院，廣東 廣州 510632；3.華南農(nóng)業(yè)大學(xué) 數(shù)學(xué)與信息學(xué)院，廣東 廣州 510642)

推薦系統(tǒng)廣泛地應(yīng)用于電子商務(wù)、視頻網(wǎng)站、音樂(lè)電臺(tái)、廣告投放、新聞咨詢等領(lǐng)域，為處于這些領(lǐng)域的公司的盈利做出了可觀的貢獻(xiàn)。據(jù)亞馬遜前首席科學(xué)家Andreas Weigend的說(shuō)法，亞馬遜每年有20%～30%的銷售來(lái)自推薦系統(tǒng)(參見(jiàn)blog.Kiwitobes.com/?p=58)。這足以說(shuō)明對(duì)推薦系統(tǒng)進(jìn)行研究能帶來(lái)經(jīng)濟(jì)上的效益。

協(xié)同過(guò)濾算法通過(guò)用戶與物品交互的行為預(yù)測(cè)用戶的偏好，此法與物品內(nèi)容無(wú)關(guān)。神經(jīng)網(wǎng)絡(luò)的引入，將向量(用于儲(chǔ)存用戶或物品特征)的學(xué)習(xí)程度發(fā)展到了非線性表示[1- 2]，其中的基本體系結(jié)構(gòu)被擴(kuò)展到了利用社會(huì)和地理信息來(lái)提取用戶和物品的信息[3]。一些神經(jīng)網(wǎng)絡(luò)算法主要學(xué)習(xí)基于顯性反饋的評(píng)分預(yù)測(cè)任務(wù)[4- 5]。文中的內(nèi)容專注于從隱性反饋中學(xué)習(xí)Top-N列表推薦[6]。然而，協(xié)同過(guò)濾算法存在著數(shù)據(jù)稀疏的問(wèn)題。

物品通常與內(nèi)容信息(如非結(jié)構(gòu)化的文本)相關(guān)聯(lián)，如論文關(guān)鍵詞和商品廣告文案。協(xié)同過(guò)濾算法可以擴(kuò)展利用物品內(nèi)容信息[7- 9]和用戶評(píng)論[10- 12]。Chelliah等[13]對(duì)當(dāng)前基于用戶評(píng)論增強(qiáng)商品推薦的研究做了一個(gè)總結(jié)。

記憶網(wǎng)絡(luò)可以用領(lǐng)域外的感知信息進(jìn)行推理。由于記憶網(wǎng)絡(luò)具有學(xué)習(xí)詞語(yǔ)語(yǔ)義的能力，可以解決詞的稀疏性和同義詞、近義詞的問(wèn)題，因此可以用記憶網(wǎng)絡(luò)對(duì)物品內(nèi)容或相似用戶進(jìn)行建模[14- 15]。文中沿著這一研究思路，利用神經(jīng)網(wǎng)絡(luò)從文本內(nèi)容中提取重要信息。

隨著神經(jīng)網(wǎng)絡(luò)[16]技術(shù)的興起，許多神經(jīng)網(wǎng)絡(luò)的文本挖掘技術(shù)被應(yīng)用到推薦系統(tǒng)中來(lái)。在基于文本處理的推薦系統(tǒng)，CNN[17- 19]文本處理網(wǎng)絡(luò)被用來(lái)提升單領(lǐng)域推薦中評(píng)分預(yù)測(cè)的精度。

跨領(lǐng)域推薦是緩解數(shù)據(jù)稀疏性的有效方案，其中一種有效的方法是將目標(biāo)域上的協(xié)同過(guò)濾算法和輔助域上的另一個(gè)協(xié)同過(guò)濾算法組合在一起，從而實(shí)現(xiàn)了知識(shí)的遷移[20]。

在跨領(lǐng)域推薦系統(tǒng)，給定兩個(gè)不同任務(wù)的處理方案，就可以讓跨縫卷積網(wǎng)絡(luò)(CSN)[21- 22]嘗試對(duì)這兩個(gè)方案進(jìn)行不同權(quán)重的線性組合，并將這些組合作為輸入信息提供給連接兩個(gè)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)，從而實(shí)現(xiàn)兩個(gè)領(lǐng)域之間的知識(shí)遷移。近期，Khan等[23]對(duì)跨領(lǐng)域推薦系統(tǒng)的研究進(jìn)行了系統(tǒng)的歸納。沿著這個(gè)思路，文中從提取項(xiàng)目的內(nèi)容信息和信息跨領(lǐng)域的這兩個(gè)方面對(duì)推薦系統(tǒng)進(jìn)行研究。

為此，文中提出了一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型：聯(lián)想型感知網(wǎng)絡(luò)模型，它用于跨領(lǐng)域的內(nèi)容推薦，其中感知網(wǎng)絡(luò)是一種記憶網(wǎng)絡(luò)，它能夠有效地提取物品的內(nèi)容信息；而聯(lián)想網(wǎng)絡(luò)起到知識(shí)遷移的作用，它能跨領(lǐng)域傳輸選定的信息。它的前部由共享的特性交互層構(gòu)成，連接了從每個(gè)網(wǎng)絡(luò)中學(xué)習(xí)到的成果。在真實(shí)的數(shù)據(jù)集上，文中的聯(lián)想型感知網(wǎng)絡(luò)與各種其它算法模型進(jìn)行比較，在多個(gè)指標(biāo)方面展現(xiàn)出了更好的性能。

1 建模

文中將在本節(jié)中描述所提出的聯(lián)想型感知網(wǎng)絡(luò)模型，該模型利用了物品的內(nèi)容信息。

表1提及的參數(shù)均可由實(shí)驗(yàn)調(diào)取的數(shù)據(jù)集獲取，具體生成方式在下文提及。在介紹網(wǎng)絡(luò)體系結(jié)構(gòu)之前，先描述推薦系統(tǒng)問(wèn)題和模型公式。

表1 模型參數(shù)

1.1 問(wèn)題的提出

對(duì)于推薦任務(wù)，文中的簡(jiǎn)單目的是對(duì)用戶的歷史行為加以分析，得出一個(gè)推薦列表推薦給用戶(也就是Top-N推薦)。期望剛才從輔助域中得到的行為信息能提高算法在目標(biāo)域上的推薦性能。

用向量ru=(ru1,ru1,…，runT)表示用戶u的交互行為，文中算法將以用戶、內(nèi)容文本、產(chǎn)生行為的輔助域物品作為條件，建立起觀察該用戶每次操作的概率模型。

(1)

這個(gè)公式能強(qiáng)化聯(lián)想型感知網(wǎng)絡(luò)模型的“想象力”，因?yàn)樗鼤?huì)通過(guò)3個(gè)主要因素考察用戶u喜歡目標(biāo)域物品i的數(shù)學(xué)概率：

(1)用戶u本人的偏好(來(lái)自目標(biāo)域)。

(2)用戶u對(duì)目標(biāo)域物品(已購(gòu)商品)的評(píng)價(jià)文本信息(dui)。

(3)用戶u在輔助域的行為([j]u)。

文中將這個(gè)矩陣RT的似然函數(shù)定義為

p(RT)=∏u∏ip(rui|u,dui,[j]u).

(2)

文中所提出的聯(lián)想型感知網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)，用端到端方式學(xué)習(xí)條件概率：

(3)

總體來(lái)說(shuō)整個(gè)聯(lián)想型感知網(wǎng)絡(luò)由感知網(wǎng)絡(luò)oui=fM(u,i,dui|ΘM)(fM表示數(shù)據(jù)經(jīng)過(guò)感知網(wǎng)絡(luò)處理)和聯(lián)想網(wǎng)絡(luò)cui=fT(i,[j]u|ΘT)(fT表示數(shù)據(jù)經(jīng)過(guò)聯(lián)想網(wǎng)絡(luò)處理)組成。一個(gè)共享層fS(oui,zui,cui|Θs)(fS表示數(shù)據(jù)經(jīng)過(guò)共享層網(wǎng)絡(luò)的處理)共享了交互特性，領(lǐng)導(dǎo)著每一個(gè)個(gè)體的網(wǎng)絡(luò)學(xué)習(xí)，其中zui是(u,i)交互行為的非線性表示。

1.2 感知網(wǎng)絡(luò)的構(gòu)建

文中引入感知網(wǎng)絡(luò)來(lái)處理上述從目標(biāo)域中提取出來(lái)的非結(jié)構(gòu)化文本。感知網(wǎng)絡(luò)是一種帶有記憶增強(qiáng)的神經(jīng)網(wǎng)絡(luò)變體，它可以學(xué)習(xí)用戶-物品交互信息(非結(jié)構(gòu)化文本)，并得出抽象表示。感知網(wǎng)絡(luò)中的的注意力機(jī)制可以自動(dòng)識(shí)別哪些詞與用戶偏好密切相關(guān)。文中構(gòu)建感知網(wǎng)絡(luò)的想法與Hu等[15]的想法不謀而合，但角度有所不同。

感知網(wǎng)絡(luò)使用一個(gè)矩陣A∈RL×2d作為存儲(chǔ)器，其中L為詞匯量，2d為矩陣的維數(shù)。感知網(wǎng)絡(luò)還有一個(gè)外部存儲(chǔ)器C，其維數(shù)與A相同。

現(xiàn)給定一個(gè)文件dui=(w1,w2,…,wl)來(lái)儲(chǔ)存(u,i)的交互信息，文中建立了一個(gè)感知存儲(chǔ)單元mk∈R2d，其中每個(gè)單詞wk都會(huì)被映射到矩陣A的向量中，而k=1，2，…，l和最長(zhǎng)的文件的長(zhǎng)度是感知的最大容量lmax。文中建立了一個(gè)偏好向量q用于對(duì)應(yīng)文件dui和用戶-物品交互行為(u,i)，其中每個(gè)元素qk記錄了用戶u與物品i的相關(guān)性，計(jì)算方法如下：

(4)

然后可以通過(guò)一個(gè)向量點(diǎn)積來(lái)壓縮上面的那兩項(xiàng)，此舉將用戶和物品的關(guān)系壓縮到了xui=[xu,xi]中：

(5)

注意力機(jī)制可以學(xué)習(xí)詞義的權(quán)重，然后關(guān)注其中重要的詞語(yǔ)。傳統(tǒng)的詞匯集合預(yù)先定義了一個(gè)初始權(quán)重函數(shù)，如平均值函數(shù)。而文中通過(guò)注意力機(jī)制產(chǎn)生的權(quán)重來(lái)推斷每個(gè)單詞的重要性：

(6)

文中用注意力機(jī)制對(duì)外部存儲(chǔ)器進(jìn)行了插值：

(7)

式中，外部存儲(chǔ)器單元ck∈Rd是詞向量wk另外的嵌入向量，由矩陣C的映射形成。此舉生成了一個(gè)抽象的表示作為感知網(wǎng)絡(luò)的輸出內(nèi)容。

外部存儲(chǔ)器允許長(zhǎng)時(shí)間儲(chǔ)存知識(shí)信息，特別是每個(gè)詞匯在匹配用戶偏好時(shí)的重要性信息。也就是說(shuō)，通過(guò)注意力機(jī)制遴選出來(lái)的都是重要的詞匯，值得被收入矩陣C中妥善保存。

注意力機(jī)制對(duì)不同的用戶和不同的物品可以對(duì)不同的詞語(yǔ)進(jìn)行加權(quán)，最終輸出的oui是一種高級(jí)的信息，這些信息正是從用戶-物品交互行為(u,i)中的文本單詞dui中凝煉出來(lái)的。

1.3 聯(lián)想網(wǎng)絡(luò)的構(gòu)建

聯(lián)想網(wǎng)絡(luò)的主要作用是獲取輔助域的信息并加以利用，它是一種有選擇性的跨領(lǐng)域傳輸知識(shí)信息的神經(jīng)網(wǎng)絡(luò)。它的主要構(gòu)建想法是在訓(xùn)練過(guò)程中不斷選擇輔助域中用戶-物品交互信息的權(quán)重并加以調(diào)整。假設(shè)用戶u在輔助域中與物品[j]u=(j1,j2,…,js)進(jìn)行了交互，聯(lián)想網(wǎng)絡(luò)則會(huì)通過(guò)遷移向量cui∈Rd來(lái)判定目標(biāo)域中物品i是否會(huì)被對(duì)輔助域中某物品j產(chǎn)生過(guò)行為的用戶u喜歡上。例如，當(dāng)文中想要預(yù)測(cè)一個(gè)用戶是否會(huì)對(duì)京東中的某款球鞋感興趣時(shí)，文中會(huì)考察他在騰訊視頻看了哪位球員的精彩集錦，這比考慮他在騰訊視頻看過(guò)哪些電影重要得多。目標(biāo)域和輔助域物品之間的相似度可以通過(guò)以下點(diǎn)積算出來(lái)：

(8)

(9)

然后遷移向量就能用相應(yīng)輔助域物品的加權(quán)再求和算出來(lái)：

(10)

文中用激活函數(shù)整流線性單元引入了非線性遷移向量。根據(jù)以往的情況，激活函數(shù)在ReLU(x) =max(0，x)時(shí)效果比較好，因?yàn)樗姆秋柡托再|(zhì)適合于稀疏的數(shù)據(jù)。

遷移向量cui是一種高級(jí)表達(dá)，它總結(jié)了輔助域的知識(shí)，并作為聯(lián)想網(wǎng)絡(luò)的輸出項(xiàng)。聯(lián)想網(wǎng)絡(luò)可以在目標(biāo)域用戶-物品的交互信息中，有選擇地傳輸輔助域中的知識(shí)信息。

1.4 聯(lián)想型感知網(wǎng)絡(luò)的構(gòu)建

總的來(lái)說(shuō)這個(gè)網(wǎng)絡(luò)是一個(gè)多層次前饋神經(jīng)網(wǎng)絡(luò)，它的大致結(jié)構(gòu)如圖1所示。輸入層是用戶u、目標(biāo)域物品i和對(duì)應(yīng)的輔助域物品集合[j]u=(j1,j2,…,js)。內(nèi)容文本組dui是感知網(wǎng)絡(luò)生成的抽象表示oui。然后在聯(lián)想網(wǎng)絡(luò)組(u,i)的指導(dǎo)下，將輔助域物品信息寫(xiě)入遷移向量cui中。

圖1 網(wǎng)絡(luò)示意圖

為了詳解聯(lián)想型感知網(wǎng)絡(luò)，先用一層隱藏層網(wǎng)絡(luò)去學(xué)習(xí)一個(gè)用戶-物品的交互的非線性表示：

zui=ReLU(Wxui+b)

(11)

式中,W和b是隱藏層中的權(quán)重和誤差參數(shù)。在典型的塔式結(jié)構(gòu)中，zui的長(zhǎng)度一般是xui的一半。

收集‘大鼠’MDSCs，分為對(duì)照組和誘導(dǎo)組，分別于0 h、3 h、6 h、12 h和24 h以及2 d、3 d、7 d和12 d收集并觀察細(xì)胞，采用TaqMan探針?lè)z測(cè)不同時(shí)期細(xì)胞中mtDNA拷貝數(shù)[5-7]；將EtBr處理前后的細(xì)胞誘導(dǎo)為胰島素分泌細(xì)胞（IPCs），分析兩組細(xì)胞誘導(dǎo)分化成IPCs的數(shù)量差異[8-10]；檢測(cè)GSK-3β、sFRP、TCF/LEF及insulin、C-peptide的表達(dá)及甲基化差異情況，討論mtDNA拷貝數(shù)影響胰島素轉(zhuǎn)化的機(jī)制。

這3個(gè)獨(dú)立的網(wǎng)絡(luò)的輸出成果是內(nèi)容文本、輔助域知識(shí)信息和用戶-物品交互信息的高級(jí)特性，是不同網(wǎng)絡(luò)學(xué)習(xí)到的不同特征空間，因此需要用一個(gè)共享層聯(lián)系它們。

(12)

式中,h是學(xué)習(xí)過(guò)程中自主調(diào)整的參數(shù)。聯(lián)立之后文中可以得到：

yui=[Wooui,Wzzui,Wccui]

(13)

1.5 模型的學(xué)習(xí)

(14)

該目標(biāo)函數(shù)有概率解釋，是下列似然函數(shù)的負(fù)對(duì)數(shù)似然度：

(15)

其中模型參數(shù)是

Θ={P,Q,H,A,C,W,b,Wo,Wz,Wc,h}

(16)

與式(2)相比，不使用空白信息去構(gòu)造目標(biāo)矩陣RT，而是僅從這些未觀測(cè)樣本的一個(gè)小子集中學(xué)習(xí)，并在每次優(yōu)化迭代時(shí)從中隨機(jī)抽取作為負(fù)樣本(即負(fù)采樣技術(shù))。

目標(biāo)函數(shù)可以通過(guò)自適應(yīng)矩隨機(jī)梯度下降(SGD)及其變體(如Adam)進(jìn)行優(yōu)化：

(17)

2 實(shí)驗(yàn)

這一部分將用實(shí)驗(yàn)考察聯(lián)想型感知網(wǎng)絡(luò)與最先進(jìn)的推薦系統(tǒng)相比各項(xiàng)評(píng)估情況如何，以作為各推薦系統(tǒng)性能參考。本節(jié)先介紹評(píng)估標(biāo)準(zhǔn)和實(shí)驗(yàn)設(shè)置，然后再比較不同推薦系統(tǒng)的性能。

2.1 數(shù)據(jù)集及預(yù)處理

如表2所示，文中在3類數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。第1類數(shù)據(jù)集來(lái)自CiteULike(詳見(jiàn)http：∥www.cs.cmu.edu/～chongw/data/citeulike/)，被廣泛用于評(píng)估論文領(lǐng)域的推薦系統(tǒng)性能[8]。第2類數(shù)據(jù)集是開(kāi)放的亞馬遜數(shù)據(jù)，該數(shù)據(jù)集已經(jīng)被廣泛用于評(píng)估推薦系統(tǒng)的性能[10]，本次使用的是其中的男士分區(qū)和體育用品分區(qū)。數(shù)據(jù)集中不包含其他信息，如停留時(shí)間和人口統(tǒng)計(jì)學(xué)數(shù)據(jù)等上下文信息。第3類是由Cheetah Mobile(美國(guó)一家大型互聯(lián)網(wǎng)公司)提供的移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)集，里面包含了用戶閱讀新聞的記錄和手機(jī)應(yīng)用的安裝歷史(詳見(jiàn)http：∥www.cmcm.com/en-us/)。

表2中總結(jié)了使用的數(shù)據(jù)集的大致情況。注意，3類數(shù)據(jù)集的稀疏度都大于99%，能充分考驗(yàn)算法的性能。

對(duì)于CiteULike，文中使用Wang等[8]發(fā)布的版本，詞匯量為8 000個(gè)，文本長(zhǎng)度約為160萬(wàn)詞，每單位文本(論文摘要)大概90詞左右。注意這個(gè)數(shù)據(jù)集是單領(lǐng)域，文中用它來(lái)單獨(dú)測(cè)試感知網(wǎng)絡(luò)的性能。

對(duì)于亞馬遜和Cheetah Mobile的數(shù)據(jù)集，文中僅使用其某個(gè)分區(qū)的數(shù)據(jù)，詳見(jiàn)表2。實(shí)驗(yàn)中過(guò)濾了停止詞、語(yǔ)氣詞等無(wú)實(shí)義的單詞，并使用TF-IDF方法選擇前8 000個(gè)不同的單詞作為詞匯表。每個(gè)商品涉及的文本大概33詞左右，每條新聞的標(biāo)題不足10詞。

第1類數(shù)據(jù)只被用在了拓展實(shí)驗(yàn)中。而在對(duì)比實(shí)驗(yàn)中，其他非跨域類算法將只使用亞馬遜男士領(lǐng)域和手機(jī)新聞?lì)I(lǐng)域的數(shù)據(jù)。

2.2 評(píng)估方案

項(xiàng)目推薦任務(wù)采用領(lǐng)域內(nèi)廣泛采用的留一法(LOO)來(lái)進(jìn)行評(píng)估，且遵循推薦系統(tǒng)中廣泛接受的協(xié)議[25]。為此，在實(shí)驗(yàn)中為每個(gè)用戶保留了他的一個(gè)交互動(dòng)作(通常是最新的交互動(dòng)作，如果沒(méi)有時(shí)間信息，就采用隨機(jī)選擇)作為測(cè)試項(xiàng)。

按照標(biāo)準(zhǔn)的推薦策略，隨機(jī)抽取99個(gè)不受用戶影響的負(fù)面信息，然后評(píng)估推薦系統(tǒng)對(duì)這些負(fù)面信息的排名情況。僅選取推薦列表的前十個(gè)物品進(jìn)行評(píng)估(即TopN=10)。

采用的評(píng)估項(xiàng)目是召回率(用Hit Ratio衡量)和歸一化后的折算累計(jì)收益(NDCG)。前者召回率限于篇幅不予以介紹；后者取自折算累計(jì)收益(DCG)，DCG在不同的列表之間很難進(jìn)行橫向的評(píng)估。而文中評(píng)估一個(gè)推薦系統(tǒng)，不可能僅使用一個(gè)用戶的推薦列表進(jìn)行評(píng)估，所以不同用戶的推薦列表的評(píng)估分?jǐn)?shù)就需要進(jìn)行歸一化。

評(píng)估項(xiàng)目的相關(guān)代碼都可以在GitHub上找到(詳見(jiàn)https：∥github.com/ princewen/tensorflow _practice/tree/master/recommendation/Basic-Evalua-tion-metrics)。

2.3 參測(cè)算法介紹和準(zhǔn)備

(1)最流行物品推薦(ItemPOP)。選取最熱門的10個(gè)物品推薦給用戶，熱門程度通過(guò)該物品與所有用戶的交互次數(shù)算出。最流行物品推薦算法較為簡(jiǎn)單，常用于各類算法的實(shí)驗(yàn)對(duì)比。

(2)多層感知方法(MLP)。它是一種使用前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)非線性相互作用的函數(shù)[25]。使用GitHub上發(fā)布的代碼來(lái)評(píng)估(詳見(jiàn)https：∥github.com/hexiangnan/neural_collaborative_filtering)。此外，基本的MLP網(wǎng)絡(luò)的隱藏層被設(shè)置為[64→32→16→8]，可從MLP相關(guān)文獻(xiàn)中得出[28]。

(3)協(xié)同主題回歸法(CTR)。這種模型算法利用一個(gè)輔助域來(lái)提高算法性能，CiteULike 數(shù)據(jù)集實(shí)際上來(lái)自此論文[7]。文中使用GitHub上發(fā)布的代碼來(lái)評(píng)估(詳見(jiàn)http：∥www.cs.cmu.edu/～chongw/citeulike/)。

(4)本地集中式記憶推薦系統(tǒng)(LCMR)。該算法是一種混合算法，其本地網(wǎng)絡(luò)類似于文中的感知網(wǎng)絡(luò)，但是他們研究的重點(diǎn)是深度混合方法[15]。該算法是文中算法的主要競(jìng)爭(zhēng)對(duì)手。該算法的設(shè)置方法基本與文中算法相似，亦可見(jiàn)于其原文的實(shí)驗(yàn)設(shè)置[15]。

2.4 評(píng)估結(jié)果及分析

在亞馬遜和Cheetah Mobile數(shù)據(jù)集上的評(píng)估結(jié)果統(tǒng)計(jì)信息分別見(jiàn)于表3和表4。通過(guò)評(píng)估結(jié)果，文中可以得到以下初步結(jié)論：

(1)文中的算法在亞馬遜數(shù)據(jù)集上優(yōu)于所有的參測(cè)算法，證明了文中算法在聯(lián)系緊密的領(lǐng)域上的有效性。

(2)亞馬遜數(shù)據(jù)集是文中算法的優(yōu)勢(shì)領(lǐng)域，這是因?yàn)槟惺恳挛锖腕w育用品的關(guān)系相當(dāng)緊密，十分有利于跨領(lǐng)域的算法。在該數(shù)據(jù)集上，文中的算法獲得了約15%～20%的提升。這說(shuō)明了聯(lián)想網(wǎng)絡(luò)能夠從輔助域中選擇有用信息形成抽象表示，并且在選擇時(shí)聚焦了與用戶偏好強(qiáng)烈相關(guān)的重要詞匯，從而能更有效地猜測(cè)用戶的偏好。

(3)文中方法與LCMR在移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)集上差距很小。文中分析后認(rèn)為原因有以下兩點(diǎn)，第一是新聞?lì)I(lǐng)域中的用戶大多立場(chǎng)明確，這有利于LCMR對(duì)用戶的偏好進(jìn)行提取，因?yàn)樗鼘Ｗ⒆R(shí)別文本信息；第二是由于新聞?lì)I(lǐng)域的特殊性，在該領(lǐng)域中，所有的算法的成績(jī)都會(huì)比較高，難以拉開(kāi)差距，就例如最流行物品推薦在該領(lǐng)域中都能取得不錯(cuò)的效果。

表3 評(píng)估結(jié)果(亞馬遜數(shù)據(jù)集)

表4 評(píng)估結(jié)果(移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)集)

實(shí)驗(yàn)結(jié)果初步表明，文中提出的聯(lián)想型感知網(wǎng)絡(luò)在同時(shí)利用文本內(nèi)容和輔助域知識(shí)進(jìn)行推薦時(shí)具有優(yōu)越性。并且，本算法適合在電子商務(wù)等用戶偏好難提取，但領(lǐng)域間聯(lián)系緊密的情形使用。

2.5 拓展實(shí)驗(yàn)

在本小節(jié)中，文中延續(xù)了2、3節(jié)的評(píng)估方案與評(píng)估設(shè)置，額外使用第1、2類數(shù)據(jù)集單獨(dú)測(cè)試了聯(lián)想型感知網(wǎng)絡(luò)的兩個(gè)重要構(gòu)成部分：感知網(wǎng)絡(luò)和聯(lián)想網(wǎng)絡(luò)的性能。文中還測(cè)試了聯(lián)想型感知網(wǎng)絡(luò)在不同推薦列表長(zhǎng)度下的性能表現(xiàn)，文中選取了TopN=5，10，15，20，并在第2類數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。文中只選取了最流行物品推薦和LCMR這兩種算法參與本次拓展實(shí)驗(yàn)。

單獨(dú)使用感知網(wǎng)絡(luò)，即在不借助輔助域信息幫助的條件下，在目標(biāo)域通過(guò)神經(jīng)注意力機(jī)制匹配詞義與用戶偏好來(lái)完成推薦任務(wù)；單獨(dú)使用聯(lián)想網(wǎng)絡(luò)，即在不使用目標(biāo)域用戶-物品交互行為的前提下，通過(guò)分析用戶在輔助域上的行為來(lái)完成推薦任務(wù)。其中聯(lián)想網(wǎng)絡(luò)和完整的聯(lián)想型感知網(wǎng)絡(luò)僅可用于含有輔助域的亞馬遜數(shù)據(jù)集。

在CiteULike和亞馬遜數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果見(jiàn)于表5和表6。通過(guò)評(píng)估結(jié)果，文中可以得到以下結(jié)論：

在第1類數(shù)據(jù)集上單獨(dú)使用感知網(wǎng)絡(luò)效果不佳，不及LCMR算法。文中分析后發(fā)現(xiàn)CiteULike數(shù)據(jù)集包含了很多文本信息(單位文本長(zhǎng)度長(zhǎng)達(dá)90詞)，這十分有利于LCMR這種專注識(shí)別文本信息的混合推薦算法。而在亞馬遜數(shù)據(jù)集上，文本信息相對(duì)減少，于是感知網(wǎng)絡(luò)的性能得以反超LCMR。

表5 在論文數(shù)據(jù)集上的評(píng)估結(jié)果

表6 在亞馬遜數(shù)據(jù)集上的評(píng)估結(jié)果

不難看出在第2類數(shù)據(jù)集上，感知網(wǎng)絡(luò)對(duì)文中算法的貢獻(xiàn)比聯(lián)想網(wǎng)絡(luò)大。并且，在亞馬遜男士和亞馬遜體育這種聯(lián)系緊密的領(lǐng)域中，感知網(wǎng)絡(luò)、聯(lián)想網(wǎng)絡(luò)在單獨(dú)使用時(shí)的性能均超過(guò)了LCMR，進(jìn)一步說(shuō)明了文中算法的優(yōu)越性。

文中還改變了推薦列表的長(zhǎng)度進(jìn)行多次試驗(yàn)，得出了聯(lián)想型感知網(wǎng)絡(luò)不同的性能供參考。具體實(shí)驗(yàn)結(jié)果見(jiàn)于圖2，實(shí)驗(yàn)結(jié)果表明，聯(lián)想型感知網(wǎng)絡(luò)可能在重視新穎性和多樣性的任務(wù)中表現(xiàn)出較好的性能。這是因?yàn)樘岣咝路f性和多樣性要求推薦列表的長(zhǎng)度要達(dá)到正常推薦列表長(zhǎng)度(一般在10以內(nèi))的數(shù)倍。

圖2 在不同列表長(zhǎng)度下的評(píng)估結(jié)果

3 結(jié)論

針對(duì)推薦算法的跨域推薦面臨的數(shù)據(jù)稀疏性問(wèn)題以及關(guān)聯(lián)有效性問(wèn)題，文中提出了一種新的深層次的神經(jīng)網(wǎng)絡(luò)模型：聯(lián)想型感知網(wǎng)絡(luò)模型，它由一個(gè)感知網(wǎng)絡(luò)和一個(gè)聯(lián)想網(wǎng)絡(luò)組成，前者可以理解詞語(yǔ)語(yǔ)義以匹配用戶的偏好，后者可以有選擇地在輔助域中傳輸有用信息幫助目標(biāo)域。

實(shí)驗(yàn)結(jié)果表明，物品的內(nèi)容信息和輔助領(lǐng)域的知識(shí)可以提高推薦系統(tǒng)的性能，并且可以在神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)下建起。利用這兩種信息可以重置稀疏的用戶-物品交互矩陣，解決了數(shù)據(jù)稀疏的問(wèn)題。

文中的算法適合在電子商務(wù)等單個(gè)文本信息較少，但是領(lǐng)域之間聯(lián)系緊密的情況下使用。在這樣的領(lǐng)域，文中的算法表現(xiàn)出了更好的性能，提升達(dá)15%～20%。

此外，文中的算法在引入新穎性和多樣性指標(biāo)，或在冷啟動(dòng)時(shí)可能會(huì)表現(xiàn)出更好的性能，這有待進(jìn)行進(jìn)一步的實(shí)驗(yàn)研究。

在未來(lái)的研究中，還將使用分布式大數(shù)據(jù)框架處理海量數(shù)據(jù)，以驗(yàn)證文中模型在海量數(shù)據(jù)和分布式架構(gòu)下的有效性。