個性化新聞推薦研究進展

周 帥，都云程，張仰森

(1.北京信息科技大學(xué) 計算機學(xué)院，北京 100101；2.北京信息科技大學(xué) 智能信息處理研究所，北京 100101)

0 引 言

隨著互聯(lián)網(wǎng)和移動終端的快速發(fā)展，人們的新聞獲取來源逐漸從報紙、電視等傳統(tǒng)媒體轉(zhuǎn)向在線新聞平臺。但在線新聞平臺每天會產(chǎn)生大量文章，用戶很難從中找到自己感興趣的新聞信息。因此，個性化新聞推薦技術(shù)顯得尤為重要，既能緩解信息過載，又能提升用戶體驗[1]。應(yīng)用個性化推薦技術(shù)的在線新聞平臺，如今日頭條、新浪、騰訊新聞等，已經(jīng)成為大眾獲取新聞信息的首選。

個性化推薦技術(shù)在新聞平臺已得到廣泛應(yīng)用，但目前仍面臨很大挑戰(zhàn)。首先，新聞文章具有高度的時間敏感性，更新迭代速度較快，使得基于ID等傳統(tǒng)推薦方法(如協(xié)同過濾算法)的有效性大大降低。其次，用戶在閱讀新聞時具有興趣多樣性，如何根據(jù)用戶多樣化的閱讀記錄準(zhǔn)確把握用戶興趣，仍是亟待解決的一大難題。最后，用戶興趣是動態(tài)變化的，現(xiàn)有方法都是利用點擊行為對用戶長短期興趣進行判斷。然而，點擊行為是嘈雜的，不一定能準(zhǔn)確表明用戶興趣。因此，想要為用戶提供精準(zhǔn)的個性化推薦是具有挑戰(zhàn)性的。

該文主要對個性化新聞推薦算法進行分析總結(jié)。首先，介紹新聞推薦的基本架構(gòu)，依據(jù)新聞推薦是否使用深度學(xué)習(xí)技術(shù)，將其分為傳統(tǒng)方法和深度學(xué)習(xí)方法，并分別對兩類方法的新聞建模和用戶興趣建模進行分析；然后，介紹個性化新聞推薦應(yīng)用的數(shù)據(jù)集和評價方法；最后，給出未來可能的研究方向和發(fā)展趨勢。

1 個性化新聞推薦任務(wù)簡介

目前，個性化新聞推薦技術(shù)已廣泛應(yīng)用于諸多在線新聞網(wǎng)站中[2]。非個性化新聞推薦方法僅基于新聞熱度、編輯展示、地理信息等非個性化因素來推薦新聞文章。而個性化新聞推薦可以考慮到個人興趣，從而提供針對每個個體的新聞服務(wù)，更好地滿足用戶需求。

個性化新聞推薦的模型架構(gòu)如圖1所示。推薦任務(wù)的核心問題是對用戶和新聞建模，系統(tǒng)對用戶興趣和新聞信息提取越準(zhǔn)確，推薦的準(zhǔn)確性就越高。

圖1 個性化新聞推薦模型架構(gòu)

為方便用戶更好地理解，以下對文章中專業(yè)術(shù)語進行說明。

新聞建模：目的是分析新聞的內(nèi)容和特征，將新聞的特征用數(shù)字化的信息表示出來，是新聞推薦的基礎(chǔ)[3]。

用戶興趣建模：旨在通過分析瀏覽記錄等各種因素了解用戶對新聞的興趣[4]。

實體：指一類對象，是具體的事物，如人名、地名等。

冷啟動問題：系統(tǒng)最初沒有大量新聞和用戶數(shù)據(jù)，在這種情況下系統(tǒng)如何能夠做到個性化推薦，是需要解決的冷啟動問題[5]。

2 個性化新聞推薦方法研究

個性化新聞推薦主要從新聞和用戶角度分別提取信息，為用戶推薦量身定做的新聞內(nèi)容，以此提升用戶體驗、節(jié)省用戶時間。該文主要根據(jù)是否使用深度學(xué)習(xí)方法，把個性化新聞推薦分成兩類：(1)傳統(tǒng)的新聞推薦方法；(2)基于深度學(xué)習(xí)的新聞推薦方法。

2.1 傳統(tǒng)的新聞推薦方法

傳統(tǒng)的新聞推薦方法和基于深度學(xué)習(xí)方法不同，深度學(xué)習(xí)方法可以自動提取用戶和新聞特征，而傳統(tǒng)新聞推薦方法往往通過手工設(shè)計構(gòu)造特征。首先通過新聞建模和用戶建模兩部分來介紹傳統(tǒng)推薦方法。

2.1.1 新聞建模

早期的一些新聞推薦方法將新聞文章用協(xié)同過濾信號表示(如新聞id)，與被推薦新聞內(nèi)容無關(guān)。1994年，Resnick P等[6]首次提出GroupLens后，協(xié)同過濾便在學(xué)術(shù)界受到了廣泛關(guān)注。隨后在1997年Konstan等[7]提出利用協(xié)同過濾去整合候選新聞，為用戶做推薦。2007年，Abhinandan等[8]提出了Google news推薦系統(tǒng)的實現(xiàn)。上述方法雖然具有推薦個性化、自動化程度高等優(yōu)點，但不足也很明顯。新聞的快速更新導(dǎo)致模型需要不斷重建，模型重建是一個既費時又費力的任務(wù)。且短時間內(nèi)更新產(chǎn)生的大量新聞，使得每隔一段時間模型效果就會逐漸變差，導(dǎo)致推薦系統(tǒng)存在嚴(yán)重的冷啟動。由此可見，僅基于id的新聞建模是不符合新聞推薦發(fā)展趨勢的。

因此，許多方法都將新聞內(nèi)容加入到了新聞建模中。Anatole Gershman等[9]用TF-IDF(詞頻-逆向文檔頻率)提取新聞特征來表示新聞內(nèi)容，并加入了命名實體信息來共同建模新聞。Flavius Frasincar等[10]構(gòu)建了一個基于語義的個性化新聞服務(wù)框架Hermes。Hermes利用本體進行知識表示，利用自然語言處理技術(shù)進行文本內(nèi)容表示。Lei Li[11]提出一種可擴展的兩級個性化新聞推薦方法，該方法在進行新聞建模時加入了新聞內(nèi)容、命名實體等信息。命名實體和關(guān)鍵字大量被推薦方法用于新聞建模中，其主要原因是新聞中的實體和關(guān)鍵字是新聞內(nèi)容的高度濃縮，便于更準(zhǔn)確對新聞進行建模。對于新聞內(nèi)容特征的提取，在上述TF-IDF方法的基礎(chǔ)上，后續(xù)的研究者們又提出了CF-IDF、SF-IDF、SF-IDF+、Bing-CF-IDF+等方法。也有一些研究人員將新聞id和新聞內(nèi)容結(jié)合進行混合建模，在一定程度上緩解了新聞推薦的冷啟動問題。

僅利用新聞內(nèi)容進行推薦也存在明顯不足，如缺乏新穎性、無法推薦突發(fā)新聞等。因此，除了使用新聞內(nèi)容和id外，研究人員加入額外信息來輔助新聞建模，如地理位置、流行度、最近度、天氣、點擊率。

2.1.2 用戶建模

早期的用戶建模和新聞建模類似，使用用戶id作為信號來表示用戶特征，如上文中GroupLens和Google news提到的方法均是基于id對用戶建模。然而，基于id進行用戶建模的方法存在很大問題。用戶點擊新聞通常只占新聞總量的很小一部分，造成用戶-新聞矩陣非常稀疏，不僅難以找到最近鄰用戶集，而且使相似度計算耗費巨大。

因此，大多數(shù)方法是利用用戶的歷史瀏覽記錄，對用戶興趣進行建模。如Liu J等[12]以谷歌新聞為平臺，研究開發(fā)個性化新聞推薦系統(tǒng)。對于登錄并明確啟用了Web歷史記錄的用戶，推薦系統(tǒng)會根據(jù)用戶過去的點擊行為建立用戶新聞興趣。且該系統(tǒng)開發(fā)了一種貝葉斯框架，用于從用戶瀏覽行為中預(yù)測用戶當(dāng)前的新聞興趣。Florent Garcin等[13]提出將所有點擊新聞的LDA特征平均聚合成一個用戶向量來建模用戶。考慮到用戶興趣可能隨著時間變化具有多樣性，有些學(xué)者將用戶興趣分為了長期興趣和短期興趣。Adomavicius G等[14]通過文本聚類算法得到的聚類結(jié)果建模長期興趣，而短期興趣使用近期點擊記錄進行建模。然而，當(dāng)用戶的新聞點擊行為較稀疏時，這些方法很難準(zhǔn)確地建模用戶。因此，許多方法除了使用新聞的基本特性外，還加入了其他輔助因素。如Viana P等[15]除了通過瀏覽記錄分析用戶長短期興趣外，還加入了地理位置等因素。Kam Fung Yeung等[16]提出利用用戶年齡、性別、職業(yè)狀況和社會經(jīng)濟等級幫助識別用戶對不同類別新聞的偏好。然而，位置和職業(yè)等信息涉及到用戶隱私，因此許多用戶可能不會提供準(zhǔn)確的個人信息，導(dǎo)致不能準(zhǔn)確把握用戶興趣。

2.2 基于深度學(xué)習(xí)的新聞推薦方法

基于深度學(xué)習(xí)的新聞推薦方法是將新聞推薦和深度學(xué)習(xí)技術(shù)相結(jié)合，利用深度學(xué)習(xí)技術(shù)提取新聞特征和用戶興趣特征[17]。為了便于用戶對每個子任務(wù)建模過程的了解，依然從新聞建模和用戶建模兩部分來分析基于深度學(xué)習(xí)的新聞推薦方法。

2.2.1 新聞建模

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，許多方法都采用了神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)新聞表示。在深度學(xué)習(xí)應(yīng)用到新聞推薦初期，一些新聞建模使用的是單種深度學(xué)習(xí)方法來提取新聞特征。如Okura等[18]使用改進的降噪自編碼器從新聞文本中學(xué)習(xí)新聞表示。Zhang L等[19]將經(jīng)典的Kim CNN[20]算法應(yīng)用到新聞的語義特征提取中，首次將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)模型應(yīng)用于文本特征提取。Wang X J等[21]同樣利用CNN提取新聞?wù)Z義特征，并且使用的是字符級CNN，可以更好地捕獲不同語言特征。

為了提升新聞建模的準(zhǔn)確性，一些研究人員將多種深度學(xué)習(xí)技術(shù)進行結(jié)合。Wu C H等[22]提出的NPA模型，先使用CNN學(xué)習(xí)每個單詞的局部上下文特征，也就是使用一個單詞和其前后n個單詞，通過卷積操作來共同學(xué)習(xí)這個單詞的表示。然后，使用單詞級別的注意力機制，為標(biāo)題中的每個單詞設(shè)置一個權(quán)重，這些權(quán)重體現(xiàn)了用戶對每個單詞的關(guān)注度。最后，將所有單詞加權(quán)平均，得到最終的新聞表示。Wu C H等[23]提出的NAML模型在新聞建模方法上和NPA模型基本相同，但除了考慮新聞標(biāo)題外，還加入了新聞分類和新聞內(nèi)容。NAML使用注意力機制從新聞的每個不同的成分中學(xué)習(xí)權(quán)重，加權(quán)平均得到最終新聞表示。類似的還有An Mingxiao等[24]提出的LSTUR模型和Wu C H 等[1]提出的NRMS模型。上述文獻(xiàn)都使用了CNN，其原因是局部上下文特征對新聞內(nèi)容的建模很重要，而CNN在捕捉局部上下文特征方面十分高效。但CNN的不足之處是不能捕捉長距離的上下文特征，所以NRMS中提出一種將自注意力機制[25]應(yīng)用在新聞特征提取的方法，將CNN模型進行了替換，用多頭自注意力機制進行新聞特征提取。首先，用多頭注意力機制提取每個詞在句子中的特征，然后，使用加法注意力進行加權(quán)平均，得到新聞特征向量。雖然此方法考慮到了新聞全局特征，但會忽略局部特征。

為了彌補CNN和多頭自注意力機制各自的缺點，Qi Tao等人分別在FedRec[26]和KIM[27]兩個模型中提出兩種解決方法。FedRec模型將新聞建模分為四層，其中第二層是CNN網(wǎng)絡(luò)，通過捕獲局部上下文來學(xué)習(xí)單詞表示，第三層是多頭自注意力網(wǎng)絡(luò)。該網(wǎng)絡(luò)可以建模不同詞之間的長距離相關(guān)性來學(xué)習(xí)語境下的詞表示。KIM模型中新聞?wù)Z義特征提取部分則使用CNN和transformer分別提取標(biāo)題的局部特征和全局特征，然后逐點累加。上述提到的新聞建模方法主要是為了捕獲新聞的語義信息，可能沒有意識到新聞中的實體信息和新聞以外的信息。

除了使用新聞中的語義信息外，有幾種方法還使用新聞中的實體信息來增強新聞建模。Zhu Qiannan等[28]提出的DAN模型使用兩個并行的CNN從新聞標(biāo)題和實體中學(xué)習(xí)新聞表示。Qi Tao等[29]在HieRec模型中使用多頭自注意力機制，分別對標(biāo)題詞嵌入和實體嵌入進行特征提取，然后使用文本注意力和實體注意力得到文本和實體的特征表示，最后加權(quán)求和得到新聞特征向量。Wang等[30]在DKN模型中提出了KCNN網(wǎng)絡(luò)，從實體及其鄰居處學(xué)習(xí)基于知識的新聞表示。Liu Danyang等[31]提出了KRED模型，使用知識圖注意力網(wǎng)絡(luò)[32]，從新聞中的實體及其知識圖上的鄰居學(xué)習(xí)基于知識的新聞表示。KIM[27]模型中實體特征表示部分，通過圖注意力網(wǎng)絡(luò)聚合知識圖譜中的鄰居特征，最終表示標(biāo)題中的實體特征。上述方法均加入實體信息，并利用知識圖譜中實體之間的關(guān)系，將新聞之間知識層面的聯(lián)系應(yīng)用到新聞推薦中，能夠更準(zhǔn)確地為用戶進行個性化推薦。但這種方法也存在不足之處，現(xiàn)有的知識庫可能難以表示新聞中出現(xiàn)的新實體。

除了上述方法外，MM-Rec[33]模型使用視覺和語言學(xué)結(jié)合的方法，從新聞文本和圖像中學(xué)習(xí)新聞的多模態(tài)表示。但由于目前沒有公開的多模態(tài)新聞推薦數(shù)據(jù)集，導(dǎo)致該方向研究較少。還有一些方法利用用戶新聞二部圖或者更復(fù)雜的異構(gòu)圖進行新聞推薦，如GnewsRec[34]模型和GNUD[35]模型。然而，由于這些方法使用的圖表是靜態(tài)的，可能在準(zhǔn)確地表示新發(fā)布的新聞方面有一些困難。

通過回顧新聞建模的各種技術(shù)方法可以發(fā)現(xiàn)，對新聞進行準(zhǔn)確建模仍然是一個難點。

2.2.2 用戶建模

近年來，許多個性化新聞推薦方法都使用了深度學(xué)習(xí)技術(shù)為用戶建模。

在算例1的基礎(chǔ)上,算例2將提出的負(fù)荷頻率協(xié)調(diào)控制和滑模負(fù)荷頻率控制器應(yīng)用于柴儲混合電力系統(tǒng)中,對系統(tǒng)頻率進行優(yōu)化控制。算例2的系統(tǒng)負(fù)荷頻率偏差值如圖4所示。

這些方法大多是利用深度學(xué)習(xí)算法整體建模用戶的興趣表示。例如，Wu C H等[23]提出的NAML模型，以及Liu Danyang等[31]提出的KRED模型，使用的都是新聞級別的注意力機制來建立用戶興趣模型。Okura等[18]提出的EBNR模型，使用門循環(huán)單元(Gate Recurrent Unit，GRU)從用戶瀏覽記錄中學(xué)習(xí)用戶興趣表示。Wang等人在DKN[30]模型中通過一個候選感知的注意力網(wǎng)絡(luò)從被點擊新聞的表示中學(xué)習(xí)用戶表示，即根據(jù)每個被點擊新聞與候選新聞的相關(guān)性計算每個被點擊新聞的注意權(quán)重。同樣的，Saskr[36]模型、DAN[28]模型、TRKGR[37]模型都是使用候選感知的注意力網(wǎng)絡(luò)。KIM[27]使用了一個用戶新聞協(xié)同編碼器，該編碼器對候選新聞和點擊新聞之間的交互進行建模，以協(xié)作學(xué)習(xí)候選感知的用戶興趣表示和用戶感知的候選新聞表示。Qi Tao等[29]提出的HiRec模型，將用戶興趣建模分為三層結(jié)構(gòu)：(1)整體用戶興趣；(2)用戶對粗粒度主題的興趣，如體育；(3)用戶對精細(xì)主題的興趣，如足球。NPA[22]使用新聞級個性化注意力網(wǎng)絡(luò)，根據(jù)用戶特征選擇重要新聞，通過嵌入用戶id生成查詢矩陣。

還有一些方法將用戶興趣分為長期興趣和短期興趣。如LSTUR[24]模型，通過一個GRU網(wǎng)絡(luò)學(xué)習(xí)短期用戶興趣，并通過用戶id來建模長期用戶興趣。FedRec[26]模型通過GRU網(wǎng)絡(luò)學(xué)習(xí)最近用戶的點擊行為來表示用戶短期興趣，通過多頭注意力機制學(xué)習(xí)用戶的長期興趣。GNewsRec[34]使用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)和候選新聞感知網(wǎng)絡(luò)來學(xué)習(xí)用戶短期興趣，并使用兩層圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks，GNN)學(xué)習(xí)長期用戶表示。同時考慮用戶的長期和短期興趣，可以更好地捕捉他們的興趣動態(tài)。但用戶的興趣具有多樣性和演化性，仍然難以被全面、準(zhǔn)確地建模。

用戶行為具有噪聲和稀疏性，用戶興趣是多樣的、動態(tài)變化的，所以如何高效地建模用戶仍然具有挑戰(zhàn)性。

3 新聞推薦數(shù)據(jù)集

3.1 財新網(wǎng)中文推薦數(shù)據(jù)集

財新網(wǎng)數(shù)據(jù)集2014年公開，數(shù)據(jù)集包含1萬用戶、6 000條新聞及116 249條交互信息。數(shù)據(jù)集中有用戶id、新聞id、點擊時間、新聞標(biāo)題、新聞內(nèi)容、發(fā)布時間六部分。

3.2 Plista數(shù)據(jù)集

Plista數(shù)據(jù)集[38]由Plasta GmbH和柏林工業(yè)大學(xué)，通過收集13個德國新聞門戶網(wǎng)站上發(fā)布的新聞文章集合進行創(chuàng)建。包含了14 897 978個用戶、1 095 323條新聞、84 210 795次交互記錄、70 353次創(chuàng)建以及5 154 116次更新。

3.3 Adressa數(shù)據(jù)集

Adressa數(shù)據(jù)集[39]是根據(jù)adreseavisen網(wǎng)站的日志在10周內(nèi)構(gòu)建的。其中有48 486篇新聞文章、3 083 438個用戶和27 223 576個點擊事件。每個點擊事件包含多個屬性，如會話時間、新聞標(biāo)題、新聞類別和用戶ID。整個數(shù)據(jù)集分為規(guī)模不同的兩個版本，大版本Adressa-20M數(shù)據(jù)集和只有一周數(shù)據(jù)量的小版本Adressa-2M數(shù)據(jù)集。

3.4 Globo數(shù)據(jù)集

Globo數(shù)據(jù)集[40]是通過巴西新聞網(wǎng)站globo收集并建立的，最早在Kaggle競賽上進行公開。此數(shù)據(jù)集包含大約314 000個用戶、46 000篇新聞文章和300萬次點擊記錄。每個單擊記錄都包含用戶ID、新聞ID和會話時間等字段。提供訓(xùn)練好的新聞embedding，沒有原始的新聞文章信息。

3.5 Yahoo數(shù)據(jù)集

它包含14 180篇新聞文章和34 022次點擊事件。每篇新聞文章都由單詞id表示，不提供原始新聞文本。此數(shù)據(jù)集中的用戶數(shù)量未知，因為沒有用戶ID。

3.6 MIND數(shù)據(jù)集

MIND[41]由微軟新聞的用戶點擊日志構(gòu)建而成，包含100萬用戶和超過16萬篇英文新聞文章，每篇文章都有豐富的標(biāo)題、分類、正文等文本內(nèi)容。MIND數(shù)據(jù)集中提取新聞中的實體，并從WikiData中提取這些實體的知識三元組。

表1 公開新聞推薦數(shù)據(jù)集統(tǒng)計信息

4 評價指標(biāo)

隨著新聞推薦領(lǐng)域的不斷發(fā)展，評價指標(biāo)也在不斷完善，目前有諸多指標(biāo)可以定量地評估新聞推薦系統(tǒng)的性能。

4.1 AUC

對于將新聞推薦任務(wù)視為分類問題的方法，曲線下面積(Area Under Curve，AUC)評分是一種廣泛使用的度量指標(biāo)。隨機抽出一對樣本(一個正樣本，一個負(fù)樣本)，然后用訓(xùn)練得到的分類器對這兩個樣本進行預(yù)測，預(yù)測得到正樣本的概率大于負(fù)樣本的概率。

計算公式如下:

(1)

I(Rank(Np),Rank(Nn))=

(2)

其中，Np和Nn分別是正樣本和負(fù)樣本的數(shù)量；Rank(Npi)是第i個正樣本的分?jǐn)?shù)排名，Rank(Nnj)是第j個負(fù)樣本的分?jǐn)?shù)排名。

4.2 精確率，召回率，F(xiàn)1

另一組流行的評價標(biāo)準(zhǔn)是精確率(Precision)、召回率(Recall)和F1。精確率：又稱為查準(zhǔn)率，即正確預(yù)測為正的占全部預(yù)測為正的比例[42]。召回率：又稱為查全率，即正確預(yù)測為正的占全部實際為正的比例。F1：精確率和召回率的加權(quán)調(diào)和平均。

計算公式如下：

(3)

(4)

(5)

其中，TP是預(yù)測為正確的正樣本的數(shù)量，F(xiàn)P是預(yù)測為錯誤的正樣本的數(shù)量，F(xiàn)N是預(yù)測為錯誤的負(fù)樣本的數(shù)量。

4.3 MRR

計算公式如下：

(6)

其中，Rank(i)表示第i個樣本在推薦結(jié)果列表中出現(xiàn)的位置，如果沒出現(xiàn)，Rank(i)為正無窮。

4.4 nDCG

nDCG稱為歸一化折損累計增益。其目的是希望得到的排序列表，質(zhì)量越高越好。如果將更相關(guān)的排到越前面，那么計算得到的nDCG越高[43]。

應(yīng)用于排名前K的推薦列表，計算公式如下：

(7)

其中，ri表示是否為正樣本，是就取1，否則取0。

上述是常用的新聞推薦算法評價指標(biāo)。在實際應(yīng)用中，通常使用兩個或兩個以上來共同評價推薦效果。

5 新聞和用戶興趣建模方法推薦效果對比

該文以MIND數(shù)據(jù)集為標(biāo)準(zhǔn)對推薦效果進行分析評價。NAML、LSTUR和NRMS是比較經(jīng)典的基于深度學(xué)習(xí)的新聞推薦模型，這三個模型均使用兩段式的建模方式，新聞建模和用戶建模部分可以很方便地使用其他方法進行替換，便于接下來的對比實驗。

首先，對三個模型在MIND數(shù)據(jù)集上進行了對比實驗。從表2可以看出，NRMS的推薦效果最好。NRMS利用多頭自注意力機制捕捉詞與詞之間的關(guān)聯(lián)來學(xué)習(xí)新聞表示，并捕捉點擊的新聞文章之間的交互來學(xué)習(xí)用戶表示。結(jié)果表明，多頭自注意力機制等先進的NLP模型可以有效地提高對新聞內(nèi)容的理解和用戶興趣的建模。LSTUR的性能也很強大。LSTUR可以通過GRU網(wǎng)絡(luò)模擬用戶近期點擊新聞的短期興趣，也可以通過整個新聞點擊歷史來模擬用戶的長期興趣。結(jié)果表明，適當(dāng)?shù)挠脩襞d趣建模對新聞推薦也很重要。

表2 三種基于深度學(xué)習(xí)的經(jīng)典新聞推薦模型對比

然后，將NAML、LSTUR、NRMS三種新聞推薦方法，用不同的新聞建模方法來替換原有的新聞建模方法。由表3可以看出，深度學(xué)習(xí)的新聞建模方法(如CNN、Self-Att和LSTM)明顯優(yōu)于LDA、TF-IDF等傳統(tǒng)新聞建模方法。原因是對新聞進行表示時，深度學(xué)習(xí)模型可以更好地捕獲上下文信息。此外，將兩種深度學(xué)習(xí)方法有效結(jié)合可以進行互補，進而提高推薦效果。

表3 不同新聞表示模型對比

從表3可以看出，LSTM對新聞特征的提取效果相對不錯。為了方便實驗，下面選擇性能較好的LSTM作為新聞建模方法，控制新聞建模方法不變，使用其他方法分別作為用戶建模方法進行對比。如表4所示，深度學(xué)習(xí)用戶建模方法的表現(xiàn)均優(yōu)于Average。LSTUR的推薦效果優(yōu)于Attention和GRU方法，原因在于LSTUR可以使用不同時間段的行為對長期和短期用戶興趣進行建模。Self-Att可以對用戶歷史行為之間的長距離關(guān)聯(lián)進行建模，從而更好地進行用戶建模，也可以實現(xiàn)較好的推薦效果。

由以上分析可知，基于深度學(xué)習(xí)的方法明顯優(yōu)于傳統(tǒng)方法。但通過表4可以發(fā)現(xiàn)，基于深度學(xué)習(xí)方法的AUC值只有60多，nDCG@10值僅有40左右。由此可見，新聞推薦仍有很大的提升空間及很重要的研究價值。未來幾年基于深度學(xué)習(xí)的新聞推薦方法無論在學(xué)術(shù)界還是工業(yè)界都將是研究熱點之一。

表4 不同用戶興趣表示模型對比

6 未來研究方向

在近些年，隨著自然語言處理技術(shù)的發(fā)展和深度學(xué)習(xí)在新聞推薦領(lǐng)域的應(yīng)用，新聞推薦建模從最初復(fù)雜、耗時耗力的手工構(gòu)造特征，到現(xiàn)在使用深度學(xué)習(xí)技術(shù)方便、快捷地進行自動提取，已然取得了很大的進步。但由于新聞的時效性及用戶興趣的多樣性、動態(tài)性，仍很難精準(zhǔn)地對新聞和用戶興趣進行建模。通過總結(jié)新聞推薦的發(fā)展歷史和研究進展，認(rèn)為以下幾點可能是未來值得研究的方向。

6.1 基于多模態(tài)的新聞推薦

由于缺乏多模態(tài)新聞推薦數(shù)據(jù)集的緣故，以往的新聞推薦算法，基本都是在文本數(shù)據(jù)集上開展工作。但在實際應(yīng)用中，新聞通常包含大量圖片、視頻等多模態(tài)信息。用戶點擊新聞不僅僅是對新聞標(biāo)題和內(nèi)容感興趣，還可能是被新聞圖片所吸引。因此，圖像在表示新聞和預(yù)測用戶行為方面十分有用。在未來的研究工作中，亟待把多模態(tài)信息加入到新聞推薦任務(wù)中，用來對新聞文本內(nèi)容進行補充，以此得到更精準(zhǔn)的新聞建模。并且微軟亞洲研究院公開消息稱，多模態(tài)新聞數(shù)據(jù)集將在不久后發(fā)布。

6.2 對新聞進行風(fēng)險分析

在線新聞平臺發(fā)展迅速，每天會產(chǎn)生大量新聞信息，有些可能是政治敏感、暴力血腥，會潛移默化地影響人們的思維。希望未來可以設(shè)計一個統(tǒng)一的模型，對平臺新聞進行風(fēng)險分析，識別新聞對社會的影響。這將有助于避免個性化新聞推薦的風(fēng)險行為，提升用戶網(wǎng)絡(luò)閱讀體驗。

6.3 推薦的多樣性

新聞推薦的多樣性對用戶體驗有很大影響。用戶興趣通常是多樣的，但現(xiàn)有大多新聞推薦算法通常是對用戶興趣進行統(tǒng)一建模，這不利于對用戶推薦多樣化的新聞內(nèi)容。未來的研究可以將用戶興趣進行更細(xì)粒度的提取，對新聞進行類別分析，總結(jié)用戶對每種類別的喜愛程度，并權(quán)衡準(zhǔn)確度和多樣性的比重，為用戶推薦既多元化又符合興趣的新聞內(nèi)容。

6.4 基于知識圖譜和圖神經(jīng)網(wǎng)絡(luò)的新聞推薦

知識圖譜本質(zhì)上是一種由實體和關(guān)系組成的語義網(wǎng)絡(luò)，實體表示現(xiàn)實世界中存在的事物，實體間的邊則表示兩個事物之間的聯(lián)系。一些大型的知識圖譜，如維基數(shù)據(jù)等包含現(xiàn)實世界的大量數(shù)據(jù)信息。現(xiàn)有基于知識圖譜的新聞推薦方法大多只是對知識圖譜進行簡單利用，如僅使用知識圖譜中實體或者對實體和鄰居實體進行簡單相加，并沒有真正利用到關(guān)系信息。所以未來可以考慮用圖神經(jīng)網(wǎng)絡(luò)對知識圖譜中大量的實體關(guān)系信息進行聚合，學(xué)習(xí)更準(zhǔn)確的新聞表示模型。

7 結(jié)束語

從新聞推薦的研究進展中可以看出，個性化新聞推薦一直是國內(nèi)外研究熱點。其中基于深度學(xué)習(xí)的新聞推薦正在逐漸替代傳統(tǒng)方法并占據(jù)主流地位。雖然新聞推薦發(fā)展迅速，但仍存在許多挑戰(zhàn)和有待解決的問題。因此，未來如何通過深度學(xué)習(xí)和自然語言處理技術(shù)準(zhǔn)確的建模新聞內(nèi)容和用戶興趣，將是一項長久的挑戰(zhàn)。