基于協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)的新聞推薦

摘要： 針對(duì)傳統(tǒng)基于內(nèi)容的推薦、協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)推薦存在的問(wèn)題，如龐大數(shù)據(jù)的弱處理能力、時(shí)效性差以及缺乏可解釋性，提出了一種基于協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)融合的新聞推薦算法。首先構(gòu)建了用戶-新聞交互評(píng)分模型、新聞時(shí)效性評(píng)分模型和新聞內(nèi)容評(píng)分模型，利用協(xié)同過(guò)濾相關(guān)算法預(yù)測(cè)用戶新聞推薦分?jǐn)?shù)。然后通過(guò)構(gòu)建用戶檔案和新聞檔案提取用戶特征和新聞特征，利用機(jī)器學(xué)習(xí)模型預(yù)測(cè)用戶-新聞評(píng)分。最后，通過(guò)軟投票機(jī)制將用戶-新聞對(duì)的協(xié)同過(guò)濾分?jǐn)?shù)和機(jī)器學(xué)習(xí)分?jǐn)?shù)融合，進(jìn)行全面的新聞推薦。實(shí)驗(yàn)結(jié)果表明，該算法能夠有效提高新聞推薦的準(zhǔn)確性。

關(guān)鍵詞： 機(jī)器學(xué)習(xí)；協(xié)同過(guò)濾；用戶畫(huà)像；新聞畫(huà)像；融合推薦

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）22-0001-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和普及，新聞和信息的獲取與發(fā)布發(fā)生了深刻的變化。在信息爆炸的時(shí)代，從龐大的新聞中過(guò)濾出用戶感興趣的內(nèi)容并準(zhǔn)確推送給他們是一個(gè)重大挑戰(zhàn)。傳統(tǒng)的推薦方法依賴于瀏覽歷史和興趣偏好，但存在數(shù)據(jù)稀疏、冷啟動(dòng)等問(wèn)題，無(wú)法滿足個(gè)性化和準(zhǔn)確的需求。

基于內(nèi)容的推薦（CB） 是指基于物品相關(guān)信息、用戶相關(guān)信息以及用戶對(duì)物品的操作行為進(jìn)行推薦。通常使用 TF-IDF、word2vec 以及語(yǔ)言模型等方法來(lái)處理新聞并生成用于推薦的標(biāo)簽。推薦結(jié)果具有解釋性，但缺乏多樣性且難以提取特征。協(xié)同過(guò)濾（CF） 采用與用戶相似的用戶行為（評(píng)分、點(diǎn)擊次數(shù)等）來(lái)推斷用戶對(duì)特定產(chǎn)品的偏好，然后根據(jù)這些偏好做出相應(yīng)的推薦[1]。通常使用 SVD[2]等算法對(duì)評(píng)分矩陣進(jìn)行分解以解決矩陣問(wèn)題，主要包括基于用戶[3]和基于產(chǎn)品[4]的兩種方式。作為經(jīng)典的推薦算法，協(xié)同過(guò)濾無(wú)須對(duì)商品或用戶進(jìn)行分類或標(biāo)注，可以高效解決難以提取特征的問(wèn)題。然而，在處理新聞推薦時(shí)，協(xié)同過(guò)濾算法面臨一些問(wèn)題，例如新聞的時(shí)效性和用戶的動(dòng)態(tài)變化。

另一方面，基于機(jī)器學(xué)習(xí)的推薦可以通過(guò)構(gòu)建用戶畫(huà)像和新聞畫(huà)像來(lái)克服新聞時(shí)效性的變化和用戶興趣的動(dòng)態(tài)變化等問(wèn)題。然而，它通常在可解釋性方面表現(xiàn)較差，并對(duì)數(shù)據(jù)質(zhì)量有較高的要求。文獻(xiàn)[5]提出了一種基于圖注意力和神經(jīng)協(xié)同過(guò)濾的社會(huì)推薦模型 AGNN-SR，通過(guò)學(xué)習(xí)用戶項(xiàng)目交互圖和社交網(wǎng)絡(luò)圖上的用戶和項(xiàng)目潛在特征，以及利用神經(jīng)協(xié)同過(guò)濾層編碼用戶項(xiàng)目交互的協(xié)作信號(hào)，實(shí)現(xiàn)了有效的社交推薦。然而其在冷啟動(dòng)場(chǎng)景下的表現(xiàn)結(jié)果不佳。文獻(xiàn)[6]則從知識(shí)圖譜的角度出發(fā)，設(shè)計(jì)了一種融合社交關(guān)系和知識(shí)圖譜的推薦算法 MSAKR，通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)提取用戶社交關(guān)系特征，并利用知識(shí)圖譜學(xué)習(xí)物品屬性信息，以緩解數(shù)據(jù)稀疏性并提升推薦性能。但是這種方法主要依靠用戶或物品之間的關(guān)聯(lián)關(guān)系，對(duì)用戶與物品之間的交互信息利用程度較低。

為了克服這些問(wèn)題，本文提出了一種協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)集成的新聞推薦算法，能夠有效利用用戶的歷史行為數(shù)據(jù)和時(shí)效性信息，提高推薦的準(zhǔn)確性。本文的主要貢獻(xiàn)包括：1） 提出了一種基于協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)融合的新聞推薦算法。通過(guò)協(xié)同過(guò)濾推薦分?jǐn)?shù)和機(jī)器學(xué)習(xí)分?jǐn)?shù)的融合，提高了推薦的準(zhǔn)確性和用戶滿意度。2） 使用協(xié)同過(guò)濾相關(guān)算法預(yù)測(cè)用戶新聞推薦分?jǐn)?shù)矩陣中的缺失值，即用戶新聞推薦分?jǐn)?shù)的缺失值，有效解決了數(shù)據(jù)的稀疏問(wèn)題。3） 通過(guò)構(gòu)建用戶畫(huà)像和新聞畫(huà)像，并利用機(jī)器學(xué)習(xí)算法推薦新聞，提高了推薦的個(gè)性化程度。

1 方法

本文提出了一種基于協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)融合的新聞推薦算法，主要包括三個(gè)部分：基于協(xié)同過(guò)濾的評(píng)分預(yù)測(cè)、基于機(jī)器學(xué)習(xí)的評(píng)分預(yù)測(cè)以及融合推薦。首先，構(gòu)建了用戶-新聞互動(dòng)評(píng)分模型、新聞時(shí)效性評(píng)分模型和新聞內(nèi)容自身評(píng)分模型，并通過(guò)關(guān)聯(lián)算法-時(shí)間的協(xié)同過(guò)濾預(yù)測(cè)用戶的新聞推薦得分。然后，通過(guò)構(gòu)建用戶畫(huà)像和新聞畫(huà)像提取用戶特征和新聞特征，利用機(jī)器學(xué)習(xí)模型預(yù)測(cè)用戶-新聞評(píng)分。最后，采用軟投票機(jī)制實(shí)現(xiàn)用戶-新聞對(duì)的協(xié)同過(guò)濾分?jǐn)?shù)和機(jī)器學(xué)習(xí)分?jǐn)?shù)的融合，進(jìn)行全面的新聞推薦。

1.1 用戶新聞評(píng)分計(jì)算

1.1.1 行為因素評(píng)分

在行為因素評(píng)分計(jì)算模塊中，核心目標(biāo)是計(jì)算由用戶與新聞的互動(dòng)構(gòu)建的互動(dòng)分?jǐn)?shù)。用戶對(duì)新聞內(nèi)容的點(diǎn)贊、收藏、分享和評(píng)論可以代表用戶對(duì)新聞內(nèi)容的興趣。單個(gè)點(diǎn)贊、收藏、分享和評(píng)論的分?jǐn)?shù)分別如下[P，C，S，Comm]：用戶評(píng)論的分?jǐn)?shù)是根據(jù)用戶行為累積得到的，通過(guò)使用sigmoid函數(shù)進(jìn)行標(biāo)準(zhǔn)化：

[Tb=np×P+nc×C+ns×S+nComm×Comm] （1）

[Tbehaviour=11+e-Tb] （2）

式中：[np，nc，ns，nComm]分別表示用戶的點(diǎn)贊、收藏、分享和評(píng)論的數(shù)量。

互動(dòng)內(nèi)容得分由兩個(gè)得分組成：閱讀時(shí)間得分和評(píng)論內(nèi)容得分。假設(shè)所有用戶對(duì)一則新聞的平均閱讀時(shí)間為[t0]，某一則新聞的閱讀時(shí)間為[t]，則閱讀時(shí)間得分如下：

[Treading=11+e-k（t-t0）] （3）

當(dāng)用戶的閱讀時(shí)間長(zhǎng)于平均閱讀時(shí)間時(shí)，閱讀時(shí)間得分接近1，表示用戶對(duì)新聞的興趣較高。

評(píng)論內(nèi)容得分基于特定關(guān)鍵詞，構(gòu)建了內(nèi)容情感分析模型。首先，使用中文分詞工具將評(píng)論內(nèi)容分詞成相應(yīng)的分詞序列。然后，使用TextRank算法從評(píng)論內(nèi)容中提取關(guān)鍵詞，并利用BERT預(yù)訓(xùn)練語(yǔ)言模型表征關(guān)鍵詞序列，將關(guān)鍵詞序列映射到一系列高維向量。最后，通過(guò)計(jì)算和標(biāo)準(zhǔn)化與關(guān)鍵詞序列對(duì)應(yīng)的高維向量的混亂度，得到相應(yīng)的評(píng)論質(zhì)量得分：

[Tc=exp（-log2softmax（wcomment）N）] （4）

[Tcomment=11+e-Tc] （5）

其中，[wcomment]表示與關(guān)鍵詞序列對(duì)應(yīng)的向量編碼，[N]表示關(guān)鍵詞序列的長(zhǎng)度。通過(guò)組合獲得的三個(gè)得分，得到與用戶行為因素對(duì)應(yīng)的得分：

[T=whTbahaviour+wrTreading+wcTcomment] （6）

其中，[wh，wr，wc]為融合權(quán)重且[wh+wr+wc=1]。

1.1.2 時(shí)間衰減函數(shù)

為了更準(zhǔn)確地反映用戶當(dāng)前的興趣，本文引入了時(shí)間衰減函數(shù)以消除時(shí)間因素對(duì)評(píng)分的影響。通過(guò)在評(píng)分計(jì)算中給予最近用戶行為更多的權(quán)重：

[T=ek（T1-T0）T] （7）

其中，[T0，T1]表示新聞發(fā)布時(shí)間和當(dāng)前時(shí)間，[k]代表時(shí)間衰減因子。

1.2 基于協(xié)同過(guò)濾的得分預(yù)測(cè)

協(xié)同過(guò)濾通過(guò)分析歷史行為數(shù)據(jù)來(lái)預(yù)測(cè)用戶未來(lái)的興趣和偏好。在本文提出的模型中，采用協(xié)同過(guò)濾技術(shù)，通過(guò)找到與用戶興趣相似的其他用戶喜歡的新聞來(lái)進(jìn)行新聞推薦。

首先，基于用戶在新聞平臺(tái)上收集的歷史行為數(shù)據(jù)，計(jì)算基于行為因素的得分。用戶對(duì)歷史數(shù)據(jù)的評(píng)分被計(jì)算并轉(zhuǎn)換為二維矩陣。

接著，為了獲得與用戶和新聞對(duì)應(yīng)的隱含因子向量，采用因子分解算法對(duì)構(gòu)建的因子進(jìn)行分解。利用歷史評(píng)分?jǐn)?shù)據(jù)，并通過(guò)最小二乘法基于預(yù)測(cè)與實(shí)際評(píng)分之間的差距，訓(xùn)練矩陣分解模型，將原始的用戶-新聞評(píng)分矩陣分解為兩個(gè)低秩矩陣的乘積，[userM]和[itemM]分別表示用戶興趣和新聞內(nèi)容的隱藏向量。

完成矩陣分解模型的訓(xùn)練后，對(duì)于給定的用戶[u]和新聞[i]，計(jì)算其對(duì)應(yīng)的隱含因子向量的點(diǎn)積，可作為用戶對(duì)新聞的整體評(píng)分向量：

[Tu，i=userMu?itemMi] （8）

其中，[userM]表示用戶隱含因子向量，[itemM]表示新聞隱含因子向量。之后，通過(guò)激活函數(shù)映射得分，將其轉(zhuǎn)換為在標(biāo)準(zhǔn)評(píng)分范圍內(nèi)的預(yù)測(cè)得分：

[T′u，i=sigmoid（Tu，i）] （9）

最后，計(jì)算所有用戶對(duì)所有新聞的預(yù)測(cè)評(píng)分，生成完整的用戶-新聞?lì)A(yù)測(cè)評(píng)分矩陣，然后根據(jù)預(yù)測(cè)評(píng)分對(duì)所有候選新聞進(jìn)行排序，選擇評(píng)分最高的前n條新聞作為用戶的推薦結(jié)果。

1.3 基于機(jī)器學(xué)習(xí)的得分預(yù)測(cè)

基于機(jī)器學(xué)習(xí)的得分預(yù)測(cè)需要使用用戶數(shù)據(jù)和新聞數(shù)據(jù)。因此，在本文中，對(duì)用戶數(shù)據(jù)和新聞數(shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)用戶畫(huà)像和新聞畫(huà)像的構(gòu)建，這可以提供豐富的用戶和新聞特征，并為基于機(jī)器學(xué)習(xí)的推薦得分預(yù)測(cè)提供強(qiáng)有力的支持。

1.3.1 用戶畫(huà)像構(gòu)建

用戶畫(huà)像是對(duì)用戶信息的綜合描述，包括用戶的基本信息、興趣偏好和行為特征。構(gòu)建用戶畫(huà)像的過(guò)程可分為數(shù)據(jù)收集與處理、特征提取、畫(huà)像構(gòu)建和畫(huà)像更新四個(gè)步驟。

數(shù)據(jù)收集與處理收集包括注冊(cè)信息、歷史行為記錄、社交網(wǎng)絡(luò)信息等在內(nèi)的用戶各種數(shù)據(jù)，清理原始數(shù)據(jù)，去除噪聲和冗余，處理缺失值。從清理后的數(shù)據(jù)中提取特征，如基本信息和行為特征。根據(jù)特征標(biāo)注用戶以構(gòu)建畫(huà)像。定期更新畫(huà)像以反映用戶變化，使用時(shí)間窗口或增量學(xué)習(xí)。對(duì)提取的特征進(jìn)行向量處理，使用不同的編碼方法處理不同標(biāo)簽，生成用戶特征向量。

1.3.2 新聞畫(huà)像構(gòu)建

新聞畫(huà)像構(gòu)建包括數(shù)據(jù)收集與處理、特征提取、畫(huà)像構(gòu)建和更新四個(gè)步驟。推薦系統(tǒng)需考慮多維信息，需獲取新聞文本和相關(guān)元數(shù)據(jù)，如發(fā)布時(shí)間、來(lái)源和作者，可從新聞網(wǎng)站、社交媒體等獲取。預(yù)處理包括去除停用詞、詞形變化、分詞等，有助于提取有效信息。從預(yù)處理后的文本中提取新聞特征，如標(biāo)題、關(guān)鍵詞、命名實(shí)體識(shí)別結(jié)果、情感傾向、主題分類等。根據(jù)提取的特征對(duì)新聞進(jìn)行標(biāo)注，如領(lǐng)域標(biāo)簽、情感標(biāo)記。定期更新新聞畫(huà)像，可使用時(shí)間窗口或增量學(xué)習(xí)。需對(duì)新聞特征進(jìn)行向量化處理作為模型輸入，類似于用戶標(biāo)簽編碼，不同標(biāo)簽使用不同編碼方式。

1.3.3 基于XGBoost的得分預(yù)測(cè)

在構(gòu)建并將用戶畫(huà)像和新聞畫(huà)像編碼成特征向量后，可以為基于機(jī)器學(xué)習(xí)的推薦得分提供豐富的用戶和新聞特征，從而提高得分特征的準(zhǔn)確性。

首先，將歷史用戶特征向量和用戶已閱讀新聞特征向量拼接，得到用戶-新聞特征向量，并將y標(biāo)簽設(shè)為正向。然后，將歷史用戶特征向量和用戶未閱讀新聞特征向量拼接，得到用戶-新聞特征向量，并將y標(biāo)簽設(shè)為負(fù)向。最后，基于構(gòu)建的用戶-新聞?wù)?fù)樣本，采用XGBoost模型進(jìn)行建模，并對(duì)所有用戶-新聞配對(duì)進(jìn)行得分預(yù)測(cè)，從而得到所有用戶-新聞得分的矩陣。

1.4 綜合推薦

基于協(xié)同過(guò)濾和基于XGBoost模型計(jì)算的得分通過(guò)軟投票機(jī)制進(jìn)行合并。即對(duì)于用戶[u]和新聞[i]，假設(shè)它們的協(xié)同過(guò)濾得分為[Su，icf]，XGBoost模型得分為[Su，ixgb]，得分[S]的計(jì)算方法如下：

[S=λ1Su，icf+λ2Su，ixgb] （10）

其中，[λ1]和[λ2]為融合權(quán)重，[λ1+λ2=1]。

對(duì)所有用戶-新聞配對(duì)的得分進(jìn)行融合，得到最終的用戶-新聞得分矩陣。對(duì)于任意用戶 [u]，根據(jù)評(píng)分矩陣的結(jié)果，對(duì)用戶與所有由新聞構(gòu)建的用戶-新聞配對(duì)進(jìn)行得分和排序，然后根據(jù)排序結(jié)果進(jìn)行新聞推薦。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

為了評(píng)估本文推薦算法的性能，本文采用了一個(gè)大規(guī)模的真實(shí)新聞推薦數(shù)據(jù)集。該數(shù)據(jù)集包含了515 673個(gè)用戶與新聞的互動(dòng)，包括點(diǎn)擊、瀏覽、點(diǎn)贊、評(píng)論等行為。數(shù)據(jù)集中的每條記錄包含userID、newsID以及用戶對(duì)新聞的具體行為。

2.2 基準(zhǔn)模型

為驗(yàn)證本文提出的推薦算法的有效性，選擇以下推薦算法作為比較實(shí)驗(yàn)的基準(zhǔn)模型：

· POP：根據(jù)歷史新聞的流行度進(jìn)行推薦，即推薦集中關(guān)注歷史上最受歡迎的新聞。

· S-POP：根據(jù)當(dāng)前時(shí)間段內(nèi)新聞的流行度進(jìn)行推薦，即在推薦訓(xùn)練中根據(jù)時(shí)間集中推薦具有最高流行度的新聞。在推薦過(guò)程中，隨著項(xiàng)目獲得更多事件，推薦列表會(huì)發(fā)生變化。

· Item-KNN[7-8]：基于新聞相似性進(jìn)行推薦，定義為其推薦向量的余弦相似度。

· BPR-MF[9]：通過(guò)SGD優(yōu)化配對(duì)排序的目標(biāo)函數(shù)，即通過(guò)矩陣分解算法處理用戶-新聞排序矩陣，得到用戶對(duì)新聞的排序結(jié)果進(jìn)行推薦。

· SVD++：通過(guò)分析用戶的歷史行為數(shù)據(jù)，找到具有相似興趣的用戶群體或找到與用戶先前喜歡的新聞相似的新聞進(jìn)行推薦。

2.3 對(duì)比實(shí)驗(yàn)

本文實(shí)驗(yàn)采用MRR@20（即推薦列表前20條新聞的平均倒數(shù)排名）和Recall@20（即推薦列表前20條新聞的召回率）作為評(píng)價(jià)指標(biāo)，本文提出的推薦算法與基準(zhǔn)模型的對(duì)比實(shí)驗(yàn)結(jié)果如表I所示。

實(shí)驗(yàn)結(jié)果表明，本文提出的推薦算法在各種指標(biāo)上均優(yōu)于其他基準(zhǔn)模型。具體而言，與其他基準(zhǔn)模型相比，本文的算法在MRR@20上至少提高了6%，在Recall@20上提高了12%。通過(guò)比較實(shí)驗(yàn)結(jié)果，可以看出本文提出的推薦算法在新聞推薦任務(wù)中具有更好的性能。

3 結(jié)論

本文提出了一種基于協(xié)同過(guò)濾和機(jī)器學(xué)習(xí)融合的新聞推薦算法。該算法首先結(jié)合了三個(gè)評(píng)分模型，即用戶-新聞互動(dòng)評(píng)分、新聞時(shí)效性評(píng)分和新聞內(nèi)容評(píng)分。使用協(xié)同過(guò)濾相關(guān)算法來(lái)估計(jì)用戶對(duì)新聞的推薦評(píng)分。然后，構(gòu)建用戶畫(huà)像和新聞畫(huà)像，利用基于機(jī)器學(xué)習(xí)的模型預(yù)測(cè)用戶-新聞評(píng)分。最后，采用軟投票機(jī)制將協(xié)同過(guò)濾得分和機(jī)器學(xué)習(xí)得分整合，實(shí)現(xiàn)全面的推薦。實(shí)驗(yàn)證明，本文的推薦算法能夠有效提高新聞推薦的準(zhǔn)確性和用戶滿意度。

參考文獻(xiàn)：

[1] LIU Q，CHEN E H，XIONG H，et al.Enhancing collaborative filtering by user interest expansion via personalized ranking[J].IEEE Transactions on Systems，Man，and Cybernetics Part B，Cybernetics：a Publication of the IEEE Systems，Man，and Cybernetics Society，2012，42（1）：218-233.

[2] PENG S W，SUGIYAMA K，MINE T.SVD-GCN：a simplified graph convolution paradigm for recommendation[C]//Proceedings of the 31st ACM International Conference on Information & Knowledge Management.Atlanta GA USA.ACM，2022：1625–1634.

[3] ADOMAVICIUS G，TUZHILIN A.Toward the next generation of recommender systems：a survey of the state-of-the-art and possible extensions[J].IEEE Transactions on Knowledge and Data Engineering，2005，17（6）：734-749.

[4] XUE F，HE X N，WANG X，et al.Deep item-based collaborative filtering for top-N recommendation[J].ACM Transactions on Information Systems，2019，37（3）：1-25.

[5] 章琪，于雙元，尹鴻峰，等.基于圖注意力的神經(jīng)協(xié)同過(guò)濾社會(huì)推薦算法[J].計(jì)算機(jī)科學(xué)，2023，50（2）：115-122.

[6] 高仰，劉淵.融合社交關(guān)系和知識(shí)圖譜的推薦算法[J].計(jì)算機(jī)科學(xué)與探索，2023，17（1）：238-250.

[7] LINDEN G，SMITH B，YORK J.Amazon.com recommendations：item-to-item collaborative filtering[J].IEEE Internet Computing，2003，7（1）：76-80.

[8] DAVIDSON J，LIEBALD B，LIU J N，et al.The YouTube video recommendation system[C]//Proceedings of the fourth ACM conference on Recommender systems.Barcelona Spain.ACM，2010.

[9] RENDLE S，F(xiàn)REUDENTHALER C，GANTNER Z，et al.BPR：Bayesian personalized ranking from implicit feedback[J].ArXiv e-Prints，2012：arXiv：1205.2618.

【通聯(lián)編輯：唐一東】