基于多維度興趣注意力和用戶長(zhǎng)短期偏好的新聞推薦

劉樹(shù)棟,張 可,陳 旭

(1.中南財(cái)經(jīng)政法大學(xué) 人工智能法商應(yīng)用研究中心,湖北 武漢 430073;2.中南財(cái)經(jīng)政法大學(xué) 信息與安全工程學(xué)院,湖北 武漢 430073)

0 引言

為了緩解信息過(guò)載,滿足用戶閱讀的需要,許多新聞平臺(tái),例如,谷歌新聞[1-2]應(yīng)用推薦系統(tǒng)技術(shù)進(jìn)行新聞推薦,為用戶推送個(gè)性化的文章內(nèi)容,能顯著提高用戶的文章點(diǎn)擊率與閱讀滿意度,改善用戶體驗(yàn)。新聞推薦帶來(lái)的潛在價(jià)值是多方面的,除了直觀地增加用戶點(diǎn)擊率、閱覽概率,推薦系統(tǒng)能夠通過(guò)不斷滿足用戶偏好的需求,增加用戶黏性,為媒體平臺(tái)培養(yǎng)用戶忠誠(chéng)度。與其他推薦系統(tǒng)相比,新聞推薦除了會(huì)受到冷啟動(dòng)、數(shù)據(jù)稀疏等問(wèn)題的影響外,還面對(duì)著該領(lǐng)域獨(dú)有的問(wèn)題,如新聞內(nèi)容的快速迭代、新聞文本產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)、新聞的熱度不均衡問(wèn)題等。因此,研究者需要對(duì)癥下藥,針對(duì)新聞推薦領(lǐng)域?qū)嶋H存在的問(wèn)題提出有效的解決辦法[3]。

本文關(guān)注新聞推薦中的新聞熱度不均衡所造成的一種頭部領(lǐng)域問(wèn)題,即處于頭部的少數(shù)熱點(diǎn)新聞容易獲得大量用戶的閱讀,因而更容易獲得大量的用戶反饋,在推薦系統(tǒng)學(xué)習(xí)了這些用戶偏好后,更容易傾向于把熱點(diǎn)新聞推薦給用戶,忽略處于尾部的冷門新聞。然而,處于尾部的冷門新聞雖然閱讀數(shù)量較少,但加起來(lái)的總和卻可能超過(guò)熱門新聞,這種現(xiàn)象被稱作“長(zhǎng)尾效應(yīng)”[4]。圖1展示了Adressa新聞數(shù)據(jù)集一周內(nèi)新聞分類的閱讀數(shù)統(tǒng)計(jì),其分布符合長(zhǎng)尾分布。互聯(lián)網(wǎng)的發(fā)展也在一定程度上加重了長(zhǎng)尾效應(yīng)的影響,在一般的新聞推薦系統(tǒng)中,往往會(huì)出現(xiàn)熱門類別的新聞被大量推薦給用戶而忽略了小眾文章的現(xiàn)象。

圖1 新聞分類閱讀數(shù)統(tǒng)計(jì)

針對(duì)上述問(wèn)題,本文在處理用戶長(zhǎng)期閱讀歷史時(shí),將用戶的興趣分為多個(gè)維度進(jìn)行學(xué)習(xí),結(jié)合用戶自身的屬性信息,利用注意力機(jī)制區(qū)分各個(gè)維度的影響,以此提取用戶在較長(zhǎng)一段時(shí)間的閱讀歷史中不同維度上的興趣作為用戶的長(zhǎng)期偏好。除此之外,本文利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[5]與注意力網(wǎng)絡(luò)[6]構(gòu)成的新聞表示模型學(xué)習(xí)進(jìn)行新聞建模,利用門控循環(huán)單元(Gate Recurrent Unit,GRU)[7]從用戶的近段時(shí)間內(nèi)的新聞閱讀序列中學(xué)習(xí)用戶的短期偏好,將長(zhǎng)短期偏好進(jìn)行融合形成完整的用戶表示。據(jù)此,本文提出了一種基于多維度興趣注意力的用戶長(zhǎng)短期偏好的新聞推薦模型,從多維度興趣的基礎(chǔ)上進(jìn)行召回,從一定程度上緩解頭部與尾部不均衡的問(wèn)題,盡可能將冷門新聞準(zhǔn)確地推薦給所需用戶。

本文的主要貢獻(xiàn)包括3個(gè)方面:

(1)在對(duì)用戶長(zhǎng)期偏好建模時(shí),根據(jù)新聞的不同屬性特征,引入多維度的興趣偏好,以從不同角度探索用戶的興趣,減緩頭部熱點(diǎn)新聞的影響,讓尾部冷門新聞更有機(jī)會(huì)受到推薦。

(2)對(duì)于多維度興趣的處理,引入注意力機(jī)制,結(jié)合用戶本身信息作為查詢向量,使長(zhǎng)期偏好建模能夠區(qū)分不同維度興趣的重要性,使用戶處于尾部的興趣偏好也能得到相應(yīng)的關(guān)注,提高了模型挖掘用戶興趣的能力。

(3)結(jié)合用戶長(zhǎng)短期偏好建模,提出了本文的基于多維度興趣的新聞推薦方法,使模型能夠同時(shí)學(xué)習(xí)到用戶對(duì)新聞的穩(wěn)定長(zhǎng)期偏好與易變的短期偏好,獲得信息更豐富的用戶表示模型,以此提高新聞推薦的準(zhǔn)確度。

1 相關(guān)工作

1.1 新聞推薦

早期的新聞推薦大多使用的是推薦領(lǐng)域中常見(jiàn)的方法,大體可以被分為基于內(nèi)容的推薦[8]和基于協(xié)同過(guò)濾的推薦[9]。近幾年隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的發(fā)展,許多學(xué)者也開(kāi)始將相關(guān)技術(shù)應(yīng)用于新聞推薦領(lǐng)域。文獻(xiàn)[10]提出了一種通過(guò)深度知識(shí)感知網(wǎng)絡(luò)來(lái)預(yù)測(cè)新聞點(diǎn)擊率,利用知識(shí)圖譜來(lái)改進(jìn)新聞表示學(xué)習(xí)方法。文獻(xiàn)[11]提出了一種深度強(qiáng)化學(xué)習(xí)框架,能夠動(dòng)態(tài)地完成新聞與用戶的建模,在保證推薦精度的同時(shí)提高新聞推薦的多樣性。文獻(xiàn)[12]提出了一種結(jié)合注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型來(lái)完成新聞推薦任務(wù),模型包含了三個(gè)提取器,分別學(xué)習(xí)新聞表示、序列信息特征與用戶興趣,有效提高了新聞匹配的準(zhǔn)確度。文獻(xiàn)[13-14]分別提出了基于個(gè)性化注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)新聞推薦模型和基于注意力多視圖的神經(jīng)網(wǎng)絡(luò)新聞推薦方法,前者側(cè)重于通過(guò)應(yīng)用注意力機(jī)制挖掘新聞在詞語(yǔ)級(jí)、文檔級(jí)對(duì)用戶的影響,而后者側(cè)重于融合多視圖的新聞推薦方法挖掘不同類型的新聞信息,從而更好地進(jìn)行新聞推薦?？梢?jiàn),目前在新聞推薦領(lǐng)域主流的方法大多基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的相關(guān)技術(shù),在未來(lái)一段時(shí)間內(nèi),神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)都是該領(lǐng)域的重要方向。

新聞推薦存在以下幾種特質(zhì)[3]:①用戶對(duì)新聞的偏好與用戶當(dāng)前上下文信息密切相關(guān);②用戶的社交網(wǎng)絡(luò)關(guān)系容易對(duì)用戶偏好造成影響;③新聞熱度的不同導(dǎo)致熱點(diǎn)新聞與冷門新聞?dòng)脩舴答伈町愝^大;④新聞更新迭代非?？?對(duì)時(shí)間更加敏感;⑤新聞數(shù)據(jù)量龐大,而且增加速度快;⑥新聞和用戶交互大多都是非結(jié)構(gòu)化數(shù)據(jù)。不少文獻(xiàn)從上述特質(zhì)的角度提出針對(duì)性的解決方法。例如,文獻(xiàn)[15]提出一種二分圖表示學(xué)習(xí)的新聞推薦系統(tǒng),在用戶偏好建模方面,不僅考慮用戶的新聞點(diǎn)擊行為,還考慮網(wǎng)絡(luò)中近鄰用戶的偏好表示。文獻(xiàn)[16]提出了一個(gè)基于內(nèi)容與協(xié)同過(guò)濾的混合推薦模型,在新聞閱讀社區(qū)中探索用戶之間的潛在社交網(wǎng)絡(luò)關(guān)系,通過(guò)挖掘出相對(duì)專業(yè)的評(píng)論來(lái)為擁有較少閱讀歷史的用戶提供閱讀推薦,從而在一定程度上能緩解新聞推薦冷啟動(dòng)問(wèn)題。文獻(xiàn)[17]針對(duì)實(shí)時(shí)推薦中數(shù)據(jù)量大、更新迭代速度快的問(wèn)題,提出了一個(gè)基于表示的端到端新聞推薦方法,先使用變種降噪自編碼器學(xué)習(xí)文章的分布式表示,然后通過(guò)RNN 學(xué)習(xí)用戶的瀏覽歷史序列作為用戶表示,最后通過(guò)內(nèi)積計(jì)算用戶與新聞的匹配概率,該方法在擁有大流量的實(shí)際系統(tǒng)中仍能夠發(fā)揮效用,并在文獻(xiàn)發(fā)表時(shí)已投入了使用。

1.2 長(zhǎng)短期興趣模型與多興趣融合

用戶偏好的提取是新聞推薦研究中十分重要的一個(gè)環(huán)節(jié),這部分的工作會(huì)直接影響到推薦結(jié)果的好壞[3]。以前的新聞推薦更多依賴于特征工程來(lái)提取用戶偏好[18],目前更多的研究是通過(guò)基于深度神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)來(lái)自動(dòng)抽取特征。本文目的在于融合多興趣維度與用戶長(zhǎng)短期興趣的方法來(lái)進(jìn)行新聞推薦。在新聞推薦中,對(duì)用戶進(jìn)行興趣表示是十分重要的,而長(zhǎng)短期興趣的分開(kāi)建模意味著用戶特征建模的細(xì)化,對(duì)用戶相對(duì)長(zhǎng)久穩(wěn)定的偏好和短期內(nèi)容易變化的偏好分別進(jìn)行建模,從而提取到更完整的用戶表示。

長(zhǎng)短期偏好建模常見(jiàn)的流程可以概括為:首先學(xué)習(xí)用戶的短期交互歷史,獲得短期偏好;然后學(xué)習(xí)用戶的長(zhǎng)期交互歷史與用戶檔案信息,獲得長(zhǎng)期偏好;最后通過(guò)直接拼接或其他方式融合長(zhǎng)短期偏好進(jìn)行推薦。文獻(xiàn)[19]提出了一個(gè)基于長(zhǎng)短期用戶偏好的模型進(jìn)行下一興趣點(diǎn)推薦,分別通過(guò)一個(gè)上下文感知的非局部網(wǎng)絡(luò)和一個(gè)地理擴(kuò)張的長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)長(zhǎng)期和短期興趣建模。文獻(xiàn)[20]提出了一個(gè)基于四元數(shù)與自注意力的長(zhǎng)短期用戶興趣建模的推薦方法,利用四元數(shù)門控機(jī)制來(lái)將長(zhǎng)期與短期偏好融合,同時(shí)提出了一種基于四元數(shù)與對(duì)抗攻擊的貝葉斯個(gè)性化排序損失函數(shù)來(lái)增加該方法的魯棒性。文獻(xiàn)[21]提出了一個(gè)基于注意力機(jī)制的方法捕捉用戶當(dāng)前查詢的長(zhǎng)短期用戶偏好,從而推測(cè)用戶的搜索意圖來(lái)個(gè)性化搜索結(jié)果。目前,雖然已有少量文獻(xiàn)使用了長(zhǎng)短期偏好融合進(jìn)行新聞推薦,但將相關(guān)領(lǐng)域的研究還有待補(bǔ)充。文獻(xiàn)[18]將用戶興趣拆分成長(zhǎng)期興趣與短期興趣,并分別使用用戶ID 序列和用戶短期新聞瀏覽歷史對(duì)長(zhǎng)短期興趣進(jìn)行表征,最后將兩種興趣融合進(jìn)行推薦。文獻(xiàn)[22]提出了一種異構(gòu)圖結(jié)構(gòu),通過(guò)圖神經(jīng)網(wǎng)絡(luò)對(duì)用戶長(zhǎng)期興趣進(jìn)行建模,從而挖掘圖中高階信息結(jié)構(gòu)所隱含的用戶長(zhǎng)期興趣,然后再與短期興趣相結(jié)合獲得新聞的推薦結(jié)果。

多興趣融合本質(zhì)上也是在建模過(guò)程中對(duì)用戶興趣進(jìn)行一定程度的區(qū)分,而其與長(zhǎng)短期興趣分別建模的不同之處在于,在對(duì)用戶偏好建模的過(guò)程中,模型通過(guò)篩選、分類或者聚類的方法將用戶興趣分成不同的維度或類別再融合進(jìn)行推薦,這種方法的好處在于用戶的弱勢(shì)興趣也能得到體現(xiàn)。在長(zhǎng)尾效應(yīng)出現(xiàn)的情況下,減少頭部新聞的優(yōu)勢(shì)問(wèn)題,能夠在一定程度上增加推薦的多樣性。文獻(xiàn)[23]使用膠囊網(wǎng)絡(luò)構(gòu)建多興趣提取網(wǎng)絡(luò)層,結(jié)合標(biāo)簽感知的注意力層來(lái)建立一個(gè)深度神經(jīng)網(wǎng)絡(luò)完成個(gè)性化推薦任務(wù)。文獻(xiàn)[24]在進(jìn)行長(zhǎng)期用戶興趣建模時(shí),結(jié)合注意力網(wǎng)絡(luò)對(duì)用戶歷史購(gòu)買中多種商品屬性的潛在興趣進(jìn)行挖掘,完成對(duì)用戶長(zhǎng)期偏好的建模。文獻(xiàn)[25]針對(duì)用戶興趣遵從的層級(jí)模式,提出了一種層級(jí)式的注意力網(wǎng)絡(luò)結(jié)構(gòu),分別從物品級(jí)別和屬性級(jí)別來(lái)對(duì)用戶興趣進(jìn)行建模,將得到的多個(gè)興趣表示向量進(jìn)行拼接,得到最終的用戶興趣特征表示。目前,新聞推薦領(lǐng)域鮮有研究應(yīng)用多興趣融合進(jìn)行表示學(xué)習(xí),而這種方法能夠?qū)τ脩舻亩喾N興趣進(jìn)行挖掘,在一定程度上改進(jìn)推薦的精度,并豐富推薦結(jié)果,增加推薦序列的多樣性。

2 基于多維度興趣注意力和用戶長(zhǎng)短期偏好新聞推薦方法

本文提出的新聞推薦模型框架如圖2所示。首先,右側(cè)虛線框內(nèi)表示當(dāng)前候選新聞,以新聞各項(xiàng)信息作為輸入,獲得候選新聞的表示作為輸出。其次,左側(cè)與中間虛線框內(nèi)分別表示用戶長(zhǎng)期與短期閱讀歷史,前者以用戶完整的長(zhǎng)期閱讀歷史作為輸入,輸出用戶長(zhǎng)期偏好表示;后者以用戶當(dāng)前短期閱讀記錄作為輸入,輸出用戶短期偏好表示。兩者通過(guò)拼接獲得最終的用戶表示,即結(jié)合了用戶長(zhǎng)短期興趣的用戶表示。最后,左側(cè)獲得的候選新聞表示與完整的用戶表示進(jìn)行點(diǎn)乘,產(chǎn)生最終的預(yù)測(cè)得分,預(yù)測(cè)得分越高,意味著用戶對(duì)該候選新聞的興趣度越高。

圖2 新聞推薦模型框架

2.1 新聞建模

對(duì)于一篇新聞來(lái)說(shuō),新聞標(biāo)題、新聞分類、新聞內(nèi)容的關(guān)鍵詞可以覆蓋新聞的大部分信息,而且用戶也往往是根據(jù)標(biāo)題與分類判斷自己是否感興趣,根據(jù)新聞內(nèi)容判斷是否值得閱讀。因此,對(duì)于新聞建模部分,本文采用新聞標(biāo)題、新聞分類和子分類、內(nèi)容關(guān)鍵詞這幾個(gè)字段進(jìn)行建模,完成新聞模型的建立。

對(duì)于新聞標(biāo)題的建模,本文使用預(yù)訓(xùn)練好的挪威語(yǔ)Skip-gram 詞嵌入模型[26]獲得標(biāo)題詞語(yǔ)序列的詞嵌入矩陣,記為V=[v1,v2,…,vM],其中,M

為新聞標(biāo)題的長(zhǎng)度。為了更好地保留詞語(yǔ)序列的信息,本文使用卷積神經(jīng)網(wǎng)絡(luò)CNN 捕獲文本中的局部相關(guān)性,可得到詞語(yǔ)序列的上下文信息。將窗口大小設(shè)置為h,v[i-h:i+h]表示從v[i-h]到v[i+h]總共2h個(gè)詞向量,Wc和bc為CNN 過(guò)濾器的兩個(gè)參數(shù),詞語(yǔ)序列的特征向量為C=[c1,c2,…,cM],計(jì)算方式如式(1)所示。

得到包含上下文信息的詞語(yǔ)序列特征向量C后,還需要關(guān)注標(biāo)題文本中關(guān)于“注意力”的變化。標(biāo)題文本中更重要的詞語(yǔ)可能會(huì)得到用戶更多的關(guān)注,為了減少不相干的單詞造成的誤差,增加重要單詞的影響力,通過(guò)引入注意力機(jī)制來(lái)解決這個(gè)問(wèn)題。awi表示第i個(gè)單詞的注意力權(quán)重,Wq和bq為投影參數(shù),q為注意力網(wǎng)絡(luò)中的查詢向量,如式(2)、式(3)所示。

新聞標(biāo)題的最終表示dt根據(jù)詞語(yǔ)序列的特征向量與注意力權(quán)重的加權(quán)和計(jì)算得出:

對(duì)于新聞分類、子分類、關(guān)鍵詞的建模,由于這些字段由非連續(xù)的幾個(gè)單詞組成,我們根據(jù)詞嵌入模型學(xué)習(xí)它們的表示,分別得到dtp、dtps、dk作為新聞分類、子分類與關(guān)鍵詞的表示向量。四種表示向量的拼接d=concat(dtp,dtps,dk)作為新聞的最終表示向量。

2.2 基于多維度興趣注意力的用戶長(zhǎng)期偏好建模

用戶閱覽新聞時(shí)往往會(huì)傾向于選擇某一類型的新聞,這種較穩(wěn)定的選擇偏好,被視為用戶的長(zhǎng)期興趣。這種長(zhǎng)期興趣往往可從某位用戶一段較長(zhǎng)的瀏覽歷史中觀察得出。例如,某一位用戶總是偏向閱讀體育類別的新聞,又或者,某一位用戶總會(huì)被某一種關(guān)鍵詞吸引。而這些不同類型的興趣對(duì)于一個(gè)用戶的重要程度也可能有所不同。除此之外,長(zhǎng)期興趣還可以體現(xiàn)在擁有相同屬性的用戶群體上的偏好,如處于某個(gè)地區(qū)的用戶會(huì)優(yōu)先選擇當(dāng)?shù)匦侣勥M(jìn)行閱讀。

如圖2所示,在對(duì)用戶長(zhǎng)期興趣建模的過(guò)程中,將新聞?lì)悇e、子類別、內(nèi)容關(guān)鍵詞,用戶所在城市、地區(qū)等屬性納入考量,通過(guò)用戶長(zhǎng)時(shí)間產(chǎn)生的歷史閱讀序列,對(duì)用戶多維度上的興趣進(jìn)行挖掘。在挖掘用戶多維度興趣的過(guò)程中,為了平衡用戶不同種類的偏好造成的影響,如用戶處于頭部領(lǐng)域的閱讀偏好可能會(huì)在推薦中占據(jù)主導(dǎo),從而更難挖掘出用戶小眾的偏好,因此,我們加入注意力機(jī)制以更有效地捕捉用戶不同種類的興趣偏好。假設(shè)一段用戶的長(zhǎng)期閱讀歷史表示為H=(Hid,Htp,Htps,Hk),Hj∈H表示閱讀歷史中某一種屬性的集合,ek∈Hj表示集合中通過(guò)詞嵌入模型產(chǎn)生的向量。Hid、Htp、Htps、Hk四種屬性分別代表新聞的唯一編號(hào)ID、新聞?lì)悇e、子類別、新聞內(nèi)容的關(guān)鍵詞,其中,新聞的分類與內(nèi)容關(guān)鍵詞是一篇新聞的“門面”,用戶瀏覽新聞時(shí)往往不止關(guān)注文章本身,還會(huì)傾向于選擇特定的新聞?lì)悇e或者關(guān)鍵詞,這種選擇傾向通常與用戶的長(zhǎng)期偏好有關(guān)。用戶個(gè)人屬性信息,如用戶ID、所在地區(qū)等,將屬性編碼通過(guò)一個(gè)變換矩陣Wd轉(zhuǎn)換成稠密向量pd,將pd作為注意力機(jī)制中的查詢向量來(lái)計(jì)算每個(gè)興趣維度的注意力權(quán)重ak與興趣表示yj,如式(5)、式(6)所示。

將每個(gè)維度的興趣表示拼接,作為一個(gè)全連接神經(jīng)網(wǎng)絡(luò)的輸入,得到結(jié)果ulong為用戶長(zhǎng)期興趣表示,如式(7)、式(8)所示。

2.3 用戶長(zhǎng)短期偏好融合

用戶的短期興趣是動(dòng)態(tài)的、多變的,通常我們從用戶近段時(shí)間內(nèi)的新聞閱讀歷史中學(xué)習(xí)用戶的短期偏好。為了捕獲用戶閱讀歷史中的序列信息,我們使用GRU 網(wǎng)絡(luò)來(lái)學(xué)習(xí)用戶的短期興趣表示。從2.1節(jié)可知,我們對(duì)新聞建模所得的新聞表示向量為d,用戶短期閱讀歷史序列的表示向量可表示為{d1,d2,…,dN},N為短期序列的長(zhǎng)度,則GRU 網(wǎng)絡(luò)計(jì)算用戶短期興趣表示如式(9)～式(13)所示。

其中,“?”表示hadamard乘積,Wr、Wz、Wh～是GRU 網(wǎng)絡(luò)中需要學(xué)習(xí)的參數(shù),最后一個(gè)輸出的隱藏狀態(tài)記為用戶的短期興趣表示ushort。

最終,我們將用戶的長(zhǎng)期興趣表示與短期興趣表示拼接,得到用戶完整的興趣偏好表示,如式(14)所示。

2.4 模型預(yù)測(cè)與訓(xùn)練

對(duì)于用戶與新聞的評(píng)分預(yù)測(cè),我們采用簡(jiǎn)單的點(diǎn)積來(lái)高效率地計(jì)算用戶與新聞的匹配得分,即score=uTd。

我們采用負(fù)采樣技術(shù)[18]進(jìn)行模型訓(xùn)練。對(duì)于每一個(gè)正樣本,即用戶點(diǎn)擊過(guò)的新聞,我們都隨機(jī)選取K個(gè)沒(méi)有被點(diǎn)擊的新聞作為負(fù)樣本,以此將原本復(fù)雜的預(yù)測(cè)問(wèn)題轉(zhuǎn)變成K+1個(gè)二分類問(wèn)題,以此簡(jiǎn)化訓(xùn)練過(guò)程,提高計(jì)算效率。此條件下,每個(gè)正樣本被點(diǎn)擊的后驗(yàn)概率可表示如式(15)所示。

其中,P代表正樣本的數(shù)量,dPi表示第i個(gè)正樣本,dNi,j表示第i個(gè)正樣本的第j個(gè)負(fù)樣本,取所有正樣本點(diǎn)擊率的負(fù)似然對(duì)數(shù)之和作為模型的損失函數(shù),即:

3 實(shí)驗(yàn)與結(jié)果

3.1 評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文提出的推薦方法的效果,我們采用以下幾種推薦系統(tǒng)常見(jiàn)的評(píng)價(jià)指標(biāo)來(lái)衡量方法的效果。

AUC該指標(biāo)指的是ROC 曲線與坐標(biāo)軸圍成的面積,其主要用來(lái)評(píng)價(jià)二分類模型的準(zhǔn)確度,在推薦場(chǎng)景中能夠反映模型對(duì)項(xiàng)目推薦效果的好壞。假設(shè)M、N分別為正負(fù)樣本的個(gè)數(shù),ranki為第i個(gè)正樣本的預(yù)測(cè)概率值的排序,AUC 的計(jì)算定義如式(17)所示。

MRR該指標(biāo)指的是多個(gè)推薦列表中項(xiàng)目排名的倒數(shù)平均值,它能夠反映第一個(gè)相關(guān)項(xiàng)目在推薦列表中的位置。假設(shè)Q為推薦列表的個(gè)數(shù),ranki為第i個(gè)推薦列表中第一個(gè)相關(guān)項(xiàng)目的排名,MRR 的計(jì)算定義如式(18)所示。

NDCG@K該指標(biāo)指的是歸一化折損累計(jì)增益,它能夠反映推薦中排序結(jié)果的準(zhǔn)確度和整個(gè)排序列表次序的質(zhì)量。其中,DCG@K 表示折損累計(jì)增益,它在計(jì)算中能夠使實(shí)際排名靠前的項(xiàng)目增益更高,對(duì)實(shí)際排名較后的項(xiàng)目進(jìn)行折損,K表示排序列表的長(zhǎng)度,假設(shè)r(i)表示列表中第i個(gè)物品是否相關(guān),只有0和1兩種取值,DCG@K 的計(jì)算定義如式(19)所示。

使用DCG@K可對(duì)一個(gè)推薦列表進(jìn)行評(píng)價(jià),但是每一位用戶的推薦列表長(zhǎng)度可能不一致,因此需要將DCG 歸一化。假設(shè)Krel表示實(shí)際的排序列表中相關(guān)性最高的Krel個(gè)項(xiàng)目,計(jì)算理想的折損累計(jì)增益然后取DCG@K與IDCG@K的比值作為最終結(jié)果,即:

3.2 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文在公開(kāi)的Adressa新聞數(shù)據(jù)集[27]上驗(yàn)證方法的有效性,該數(shù)據(jù)集是挪威當(dāng)?shù)匦侣劰九c挪威科技大學(xué)共同發(fā)表的一個(gè)大型真實(shí)新聞數(shù)據(jù)集,完整的數(shù)據(jù)集中包含了將近2 000萬(wàn)條頁(yè)面瀏覽記錄。本文使用的是Adressa一周內(nèi)的數(shù)據(jù)集,數(shù)據(jù)集具體信息如表1所示。

表1 Adressa數(shù)據(jù)集統(tǒng)計(jì)信息

采取前五天數(shù)據(jù)作為訓(xùn)練集,后兩天數(shù)據(jù)作為測(cè)試集進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集涉及的新聞文本為挪威語(yǔ),本文使用預(yù)訓(xùn)練好的Skip-gram 詞嵌入模型對(duì)新聞標(biāo)題、關(guān)鍵詞等字段進(jìn)行處理,詞嵌入維度為100。新聞標(biāo)題最大長(zhǎng)度與歷史序列最大長(zhǎng)度皆設(shè)置為50。CNN 卷積核個(gè)數(shù)設(shè)置為400,窗口大小為3,GRU 單元數(shù)設(shè)置為400。為了防止過(guò)擬合,增加了Dropout層[28]并將其比率設(shè)置為0.2。模型選擇Adam[29]作為優(yōu)化器,學(xué)習(xí)率設(shè)置為0.000 1,訓(xùn)練批次大小為32,負(fù)采樣中的K設(shè)置為4。

3.3 對(duì)比方法

本文選用了七個(gè)基線模型與本文提出的模型進(jìn)行比較。

DeepFM[30]Deep FM 是一個(gè)結(jié)合了因子分解機(jī)與深度神經(jīng)網(wǎng)絡(luò)的方法。本文使用新聞標(biāo)題、分類、關(guān)鍵詞的詞嵌入作為新聞特征,使用用戶閱讀歷史中的標(biāo)題序列結(jié)合用戶自身屬性作為用戶特征進(jìn)行實(shí)驗(yàn)。

Wide&Deep[31]Wide&Deep是一個(gè)融合了深層和淺層模型進(jìn)行聯(lián)合訓(xùn)練的方法,結(jié)合兩種模型各自的優(yōu)點(diǎn)提升了模型的性能。實(shí)驗(yàn)所使用的特征與Deep FM 方法相同。

A2SVD[32]A2SVD 是在異步SVD[33]的基礎(chǔ)上添加了注意力機(jī)制的方法。實(shí)驗(yàn)使用的特征同樣與Deep FM 方法相同。

Caser[34]Caser是一個(gè)基于卷積核的Top N序列推薦模型,模型的輸入采用用戶的歷史閱讀序列。

GRU4Rec[35]通過(guò)GRU 網(wǎng)絡(luò)進(jìn)行用戶表示學(xué)習(xí),預(yù)測(cè)接下來(lái)用戶可能點(diǎn)擊的項(xiàng)目,模型同Caser一樣采用用戶的歷史閱讀序列作為輸入。

Sli-Rec[32]Sli-Rec是一個(gè)基于深度學(xué)習(xí)的序列推薦模型,其目標(biāo)是捕捉用戶的長(zhǎng)期與短期興趣進(jìn)行推薦。

LSTUR[18]LSTUR 分別使用用戶ID 與用戶閱讀歷史挖掘用戶的長(zhǎng)期與短期興趣,從而進(jìn)行新聞推薦。

MDIA-LSTUP本文提出的方法,結(jié)合了注意力機(jī)制對(duì)多維度興趣進(jìn)行學(xué)習(xí),融合用戶的長(zhǎng)短期偏好進(jìn)行新聞推薦。

3.4 實(shí)驗(yàn)結(jié)果與分析

我們將本文提出MDIA-LSTUP方法與另外七個(gè)基線模型在Adressa數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),結(jié)果如表2所示。

表2 本文方法與基線模型效果對(duì)比

結(jié)合各項(xiàng)指標(biāo)總體來(lái)看,除了MRR 指標(biāo)以外,在AUC、NDCG@5、NDCG@10幾個(gè)指標(biāo)上,本文方法都優(yōu)于其他基線模型。其中,MRR 與NDCG是對(duì)推薦系統(tǒng)具有排序意義的度量指標(biāo),在3.1節(jié)有所介紹,MRR 關(guān)注的是列表中最相關(guān)的一個(gè)項(xiàng)目的次序,只能反映一個(gè)項(xiàng)目在列表中的推薦效果,因此對(duì)于整個(gè)推薦列表的好壞無(wú)法準(zhǔn)確地反映,而NDCG 關(guān)注的是整個(gè)排序列表的質(zhì)量。本文所提出的MDIA-LSTUP方法雖然在MRR 指標(biāo)上低于GRU4Rec與Sli-Rec模型,但是在NDCG 指標(biāo)上都遠(yuǎn)高于這兩個(gè)模型,證明本文方法在推薦整個(gè)新聞列表的場(chǎng)景中是優(yōu)于GRU4Rec與Sli-Rec模型的。除此之外,本文的方法在MRR 指標(biāo)上低于這兩個(gè)模型的原因可能在于,考慮到長(zhǎng)尾效應(yīng)的存在,方法融合了多個(gè)興趣維度,在推薦結(jié)果的新聞匹配列表中,有可能包含更多用戶不同維度興趣上的匹配新聞,提高了推薦的多樣性,但是與用戶最相關(guān)的新聞次序卻不一定能夠排在最前面,因而降低了MRR指標(biāo)。

其次,從表2還可看出,使用神經(jīng)網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)的方法(如Sli-Rec、GRU4Rec、Caser)的表現(xiàn)都要優(yōu)于利用特征工程進(jìn)行特征抽取的方法(如Deep FM、Wide&Deep),這是因?yàn)樘卣鞴こ绦枰蕾嚾斯みM(jìn)行特征的選取,而表示學(xué)習(xí)是利用模型自動(dòng)地對(duì)特征進(jìn)行學(xué)習(xí),能夠抽取出更利于模型匹配的特征。另外,我們還發(fā)現(xiàn)基于序列推薦的模型(如Sli-Rec、GRU4Rec、Caser)要優(yōu)于其他幾類非序列推薦的模型,這可能是因?yàn)樵诒疚乃褂玫臄?shù)據(jù)集中用戶與新聞的交互擁有嚴(yán)格的時(shí)間順序上的關(guān)系,序列推薦相關(guān)的模型能夠考慮到用戶與新聞的交互歷史中的順序依賴性,從而捕獲到更準(zhǔn)確的用戶偏好,因此在接下來(lái)預(yù)測(cè)用戶可能進(jìn)行交互的新聞時(shí),推薦結(jié)果會(huì)比沒(méi)有考慮順序性的模型更加準(zhǔn)確。

在幾個(gè)方法中,本文提出的方法MDIA-LSTUP與LSTUR、Sli-Rec兩個(gè)模型都對(duì)用戶的長(zhǎng)短期興趣進(jìn)行了挖掘,而且這三個(gè)方法都比沒(méi)有學(xué)習(xí)用戶長(zhǎng)短期興趣的方法效果更好。這一定程度上可以證明,對(duì)用戶的長(zhǎng)期興趣與短期興趣分別建立模型,學(xué)習(xí)長(zhǎng)短期偏好的表示,是能夠提高新聞推薦的預(yù)測(cè)結(jié)果的。而且,本文方法的實(shí)驗(yàn)結(jié)果比LSTUR 模型略有提升,這可能是因?yàn)?本文模型在進(jìn)行長(zhǎng)期興趣表征時(shí)學(xué)習(xí)了用戶閱讀歷史中多維度的興趣表示,并通過(guò)注意力機(jī)制調(diào)整了不同維度興趣的影響力,而LSTUR 僅使用用戶ID 進(jìn)行長(zhǎng)期興趣表示,缺少對(duì)用戶興趣的挖掘,因此本文提出的方法效果要更好一些。

最后,我們對(duì)用戶長(zhǎng)期偏好建模中各部分的效果進(jìn)行了對(duì)比,結(jié)果如圖3、圖4所示。圖3展示了長(zhǎng)期偏好建模中是否使用注意力機(jī)制的不同效果,其中,“平均權(quán)重”指的是在進(jìn)行興趣維度的拼接時(shí),使用平均值而不是注意力權(quán)重來(lái)合成長(zhǎng)期興趣表示。而使用注意力機(jī)制的方法明顯要比平均權(quán)重的方法表現(xiàn)得更好,可見(jiàn)用戶不同興趣維度對(duì)用戶整體長(zhǎng)期偏好建模的重要性有所不同,因此需要注意力機(jī)制捕捉不同興趣對(duì)用戶的影響力,從而建立更準(zhǔn)確的長(zhǎng)期偏好表示。

圖3 長(zhǎng)期偏好建模中注意力機(jī)制與平均權(quán)重的效果對(duì)比

圖4 長(zhǎng)期偏好建模中不同屬性的效果對(duì)比

圖4展示了長(zhǎng)期偏好建模中使用不同屬性時(shí)的結(jié)果,比如“僅類別”指的是在建立長(zhǎng)期偏好表示的過(guò)程中,只使用新聞ID 與新聞?lì)悇e屬性,其余以此類推。從圖中可以看出,僅加入關(guān)鍵詞屬性的方法表現(xiàn)最好,僅加入子類別的方法表現(xiàn)次之,而僅加入類別時(shí)模型準(zhǔn)確率最低,這大概是因?yàn)槿甙男畔⒘坎灰粯?。關(guān)鍵詞屬性所包含的信息量最豐富,因此單獨(dú)對(duì)關(guān)鍵詞建模時(shí)模型效果已經(jīng)令人較為滿意,子類別包含的信息雖然不如關(guān)鍵詞豐富,但也比類別屬性好一些。最后,使用全部屬性的時(shí)候模型效果最好,可證明選擇融合這幾種屬性對(duì)用戶長(zhǎng)期興趣建模是有效的。

4 總結(jié)

本文提出了一種基于多維度興趣注意力的用戶長(zhǎng)短期偏好模型進(jìn)行新聞推薦。針對(duì)新聞推薦數(shù)據(jù)集中長(zhǎng)尾效應(yīng)的現(xiàn)象,本文的模型在進(jìn)行長(zhǎng)期用戶偏好學(xué)習(xí)時(shí),結(jié)合注意力機(jī)制對(duì)用戶多維度興趣進(jìn)行挖掘,得到含有多種興趣維度信息的長(zhǎng)期偏好建模。除此之外,本文方法使用基于CNN 與注意力網(wǎng)絡(luò)的方法對(duì)新聞標(biāo)題、分類、關(guān)鍵詞進(jìn)行建模,然后結(jié)合GRU 網(wǎng)絡(luò)從用戶的近期閱讀歷史中學(xué)習(xí)用戶的短期偏好,再與上述學(xué)習(xí)到的長(zhǎng)期偏好相融合進(jìn)行新聞推薦。本文在一個(gè)大型的真實(shí)新聞數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),通過(guò)與其他基線模型相對(duì)比,證實(shí)了本文方法的有效性。