基于瀏覽記錄的個性化新聞推薦實證分析

王 妍,高小虎,孫克爭

(江蘇商貿(mào)職業(yè)學(xué)院,江蘇 南通 226011)

0 引言

隨著信息技術(shù)的發(fā)展,短視頻開始興起,并時時刻刻在生產(chǎn)網(wǎng)絡(luò)新聞。網(wǎng)絡(luò)新聞具有傳播速度快、互動性強(qiáng)、信息量大、時效性強(qiáng)等特點,閱讀網(wǎng)絡(luò)新聞已經(jīng)成為人們增長知識、了解世界動態(tài)的重要方式。用戶閱讀網(wǎng)絡(luò)新聞時一般選擇自己熟悉或知名的網(wǎng)絡(luò)平臺,在瀏覽時往往具有隨意性,除了自身感興趣的主題外會瀏覽近期熱點新聞話題。如何向用戶推薦符合其喜好的新聞成為各大網(wǎng)絡(luò)平臺提高核心競爭力的關(guān)鍵,新聞網(wǎng)站需要精準(zhǔn)快速地向用戶推薦個性化新聞,優(yōu)化用戶體驗感,減少用戶搜索新聞的時間。劉佳茵基于知識圖譜構(gòu)建了個性化新聞推薦模型,可以給用戶推薦符合其偏好的新聞。胡凱達(dá)提出了改進(jìn)后的循環(huán)神經(jīng)網(wǎng)絡(luò)算法模型,并結(jié)合用戶的興趣特征進(jìn)行新聞推薦。不同的推薦算法有著不同的適用范圍和優(yōu)缺點,目前的個性化新聞推薦系統(tǒng)可以分為兩種,即基于內(nèi)容的個性化新聞推薦和基于協(xié)同過濾的個性化新聞推薦?；趦?nèi)容的個性化新聞推薦是指對新聞記錄和用戶數(shù)據(jù)進(jìn)行建模,對用戶曾經(jīng)瀏覽過的新聞進(jìn)行分析,找尋與該新聞相似的新聞并將其推薦給用戶。基于協(xié)同過濾的個性化新聞推薦則更注重用戶的歷史行為,可以通過用戶的歷史行為來預(yù)測其未來的行為,進(jìn)而向用戶推薦個性化的新聞內(nèi)容?；谖锲返膮f(xié)同過濾推薦算法建立個性化新聞推薦模型,是對優(yōu)化推薦模型的探索,有利于進(jìn)一步優(yōu)化個性化新聞推薦系統(tǒng),提高新聞網(wǎng)絡(luò)平臺的競爭力。

1 基于物品的協(xié)同過濾推薦算法

協(xié)同過濾推薦算法的原理是用戶會喜歡與自己興趣愛好相似(同樣的歷史行為)用戶喜歡的物品,如某個用戶的朋友喜歡電影《流浪地球》,該算法就會推薦電影《流浪地球》給該用戶。協(xié)同過濾推薦算法主要分為兩種,即基于用戶的協(xié)同過濾推薦算法和基于物品的協(xié)同過濾推薦算法。

基于物品的協(xié)同過濾推薦算法是各大新聞門戶網(wǎng)站普遍使用的推薦算法,亞馬遜、Netfix、YouTube的推薦算法都是對基于物品的協(xié)同過濾推薦算法的改進(jìn)?；谖锲返膮f(xié)同過濾推薦算法不再測量用戶間的相似度,而是計算物品間的相似度,如用戶在網(wǎng)上商城購買了一款手機(jī),網(wǎng)頁就會向用戶推薦這款手機(jī)的手機(jī)殼?；谖锲返膮f(xié)同過濾推薦算法能夠計算出手機(jī)殼與手機(jī)之間具有很大的相似度,所以推薦手機(jī)殼。該算法是向用戶推薦與其過去喜歡的物品相似的物品,通過分析用戶的行為記錄演算出物品與物品間的相似度數(shù)值,而不是簡單地利用物品本身的特征來計算,即對物品a有興趣的用戶大概率對物品b也有興趣才會認(rèn)為物品a和物品b具有相似性?；谖锲返膮f(xié)同過濾推薦算法的概念示意圖詳見圖1,具體步驟為：①基于用戶過往的行為特征,求出某一物品與另一物品之間的相似度數(shù)值。②憑借物品之間的相似度數(shù)值和用戶過往的行為特征生成推薦列表。

圖1 基于物品的協(xié)同過濾推薦算法的概念示意圖Fig.1 Conceptual diagram of item-based collaborative filtering recommendation algorithm

如表1所示,用戶X喜愛物品甲與物品丙,用戶Y喜愛物品甲、物品乙和物品丙,用戶Z喜愛物品甲,通過分析可確定物品甲與物品丙比較相似,喜愛物品甲的人也可能喜愛物品丙,由此推斷出用戶Z大概率也會喜愛物品丙,所以將物品丙推薦給用戶Z。

表1 基于物品的協(xié)同過濾推薦Tab.1 Collaborative filtering recommendations based on items

基于物品的協(xié)同過濾推薦算法根據(jù)用戶的歷史行為向用戶做推薦解釋,可信度較高,用戶只要對一個物品產(chǎn)生行為,即向其推薦與該物品相關(guān)的其他物品,使推薦更加個性化,能反映出某位用戶的興趣傳承。該算法適用于物品數(shù)量少但用戶數(shù)量多的情況,可以用來進(jìn)行個性化新聞推薦。

2 數(shù)據(jù)來源說明

為驗證基于物品的協(xié)同過濾推薦算法的推薦效果,通過網(wǎng)絡(luò)爬蟲技術(shù)從某新聞網(wǎng)站上抓取309 907條可用新聞瀏覽記錄,每一條記錄有5個特征,分別為用戶編號(user_id)、新聞編號(news_id)、新聞標(biāo)題(news_title)、新聞發(fā)布時間(news_times)與新聞詳細(xì)內(nèi)容(news_all)。用戶編號是用戶唯一標(biāo)識,已做脫敏化處理,新聞編號是新聞唯一標(biāo)識。詳見表2。

表2 部分原始數(shù)據(jù)Tab.2 Part of original data

3 實證分析

以Anaconda為實驗研究平臺,該平臺中包括眾多流行的數(shù)據(jù)分析Python庫。通過構(gòu)建基于物品的協(xié)同過濾推薦模型,計算新聞A和新聞B之間的相似度,最后基于相似度矩陣向目標(biāo)用戶推薦與其喜歡的新聞相似度高的其他新聞,主要包括劃分?jǐn)?shù)據(jù)集、構(gòu)建物品相似度矩陣并計算物品間的相似度、基于相似度矩陣進(jìn)行推薦三個步驟。詳見圖2。

圖2 總流程圖Fig.2 General flow chart

使用pandas庫中的read_csv函數(shù)讀取數(shù)據(jù)集,對數(shù)據(jù)集中的新聞類型進(jìn)行識別,新聞類型可分為全圖或視頻、圖文一體和全文本三種,數(shù)據(jù)集中各類型新聞在整個數(shù)據(jù)集中的占比。詳見表3。

表3 新聞類型分布Tab.3 News type distribution

為更好地了解不同新聞類型的瀏覽量分布情況,使用Matplotlib庫中pyplot模塊的pie函數(shù)繪制瀏覽量分布餅圖,其中全文本類型的新聞瀏覽量最多,詳見圖3。

圖3 不同新聞類型的瀏覽量分布Fig.3 Page view distribution of different news types

對數(shù)據(jù)集中的新聞類型和瀏覽量進(jìn)行計數(shù),結(jié)果顯示,9267條新聞共產(chǎn)生了309 907條新聞瀏覽記錄。瀏覽記錄數(shù)據(jù)中存在的重復(fù)數(shù)據(jù)會消耗計算資源,使分析結(jié)果產(chǎn)生偏差,故先對其進(jìn)行預(yù)處理：只看1～2條新聞的用戶大都為隨機(jī)點擊網(wǎng)頁查看新聞,可將此類用戶定義為“游客”,若將這類用戶數(shù)據(jù)納入模型進(jìn)行訓(xùn)練,將導(dǎo)致建模時出現(xiàn)相似度矩陣過于稀疏、計算開銷龐大和預(yù)測結(jié)果精確率較低等情況,因此篩選出查看新聞條數(shù)≥3條的用戶數(shù)據(jù)用于模型訓(xùn)練。在構(gòu)建模型前隨機(jī)抽取數(shù)據(jù)集中的數(shù)據(jù),按7∶3的比例將數(shù)據(jù)劃分為訓(xùn)練集和測試集,訓(xùn)練集的數(shù)據(jù)用于訓(xùn)練模型,測試集的數(shù)據(jù)用于模型評估。詳見圖4。

圖4 預(yù)處理后數(shù)據(jù)集中的數(shù)據(jù)情況Fig.4 Data in the preprocessed data set

原始數(shù)據(jù)中只記錄了用戶瀏覽新聞的時間及內(nèi)容,并未對新聞進(jìn)行相應(yīng)的評分或評論,因此采用杰卡德相似度計算物品與物品間的相似度,詳見式1：

(1)

式中,|N(i)|表示喜歡物品i的用戶數(shù),|N(j)|表示喜歡物品j的用戶數(shù),|N(i)∩N(j)|表示同時喜歡物品i和物品j的用戶數(shù),|N(i)∪N(j)|表示喜歡物品i或物品j的用戶數(shù)。從式中可以看出,物品i和物品j相似,因為它們同時被多個用戶共同喜歡,喜歡它們的用戶人數(shù)越多物品間的相似性就越高。

基于物品的協(xié)同過濾推薦算法,運(yùn)用式(2)計算出用戶u對物品j的喜歡程度：

Puj=∑i∈N(u)∩S(j,k)Wjirui

(2)

式中,N(u)表示所有用戶喜愛的物品的總集合,S(j,k)表示與物品j最為類似的k個物品的所在集合,Wji表示物品j和物品i的相似度,rui表示用戶u對物品i的喜歡程度。該公式的含義為與用戶曾經(jīng)最喜歡的物品相似度越高的物品在對該用戶進(jìn)行推薦的列表中排名越靠前。

生成推薦列表時,有時需要使用熱點新聞補(bǔ)充個性化推薦的結(jié)果,這是因為部分新聞的點擊量過少,與其最相似的k條新聞中存在相似度為0的新聞,此時僅保留相似度大于0的k1條可推薦新聞,再推薦k-k1條熱點新聞。測試集中,由于部分新聞不在訓(xùn)練集的相似度矩陣中,無法根據(jù)相似度矩陣進(jìn)行推薦,因此推薦k條熱點新聞作為替代。

根據(jù)訓(xùn)練集中的物品相似度矩陣對測試集用戶進(jìn)行推薦,利用離線測試集構(gòu)造模型評估指標(biāo),重點關(guān)注指標(biāo)中的精確率,即真正在測試集中被用戶瀏覽的新聞數(shù)與推薦給用戶的新聞數(shù)的比率。選定測試方法和指標(biāo)后,對編號(user_id)為174944的用戶及其瀏覽的新聞進(jìn)行測試,獲取用戶實際瀏覽的新聞。詳見表4、表5。

表4 174944用戶實際瀏覽的新聞Tab.4 Actual reviewed news of user 174944

表5 174944用戶推薦的新聞Tab.5 Recommended news of user 174944

與新聞40相似的新聞有312、26、84、2129、6、353、487、54、1369,其中54是用戶已經(jīng)瀏覽過的新聞,精確率為8%。采用隨機(jī)推薦算法,針對6027條新聞進(jìn)行計算,精確率約為0.016%,說明即便在小樣本空間中,基于物品的協(xié)同過濾推薦算法也可以有效提高推薦的精確率,且隨著樣本空間的增大,該算法會更有效,精確率也會繼續(xù)提升。

4 結(jié)論

基于物品的協(xié)同過濾推薦算法通過用戶的新聞網(wǎng)站瀏覽記錄實現(xiàn)個性化新聞的智能推薦,即根據(jù)用戶的瀏覽記錄進(jìn)行用戶畫像,向用戶推薦與其曾經(jīng)喜歡的物品相似度較高的物品,從而提高個性化新聞推薦的精準(zhǔn)度。與隨機(jī)推薦算法相比,基于物品的協(xié)同過濾推薦算法效果更好,推薦精確率更高,但該算法一定程度上忽視了新聞的時效性,在后續(xù)的研究中還需進(jìn)行改進(jìn)。