基于懲罰因子的協同過濾算法的改進與研究

徐立民 李涵

摘 要：當今時代，信息量呈爆炸式增長，推薦系統是處理海量信息的一種有效方式，也是一種無需用戶提出明確需求就可幫助用戶快速發(fā)現有用信息的工具。在推薦系統中，協同過濾算法有著重要應用。傳統協同過濾算法通常使用余弦相似度公式進行興趣相似度計算，但是很多情況下熱門物品會影響到推薦結果，并不能較好地反映用戶需求。文中對傳統協同過濾算法余弦相似度計算公式提出改進方案，給出一個帶有懲罰因子的余弦相似度修正公式，可以較好地抑制熱門物品對用戶實際相似度的影響，改善用戶近鄰集合的劃分，從而實現更好的推薦效果。經實驗測試，推薦系統的性能指標得到了一定的改善。

關鍵詞：推薦系統;協同過濾算法;余弦相似度;熱門物品;懲罰因子;近鄰集合

中圖分類號：TP301文獻標識碼：A文章編號：2095-1302（2019）10-00-03

0 引 言

隨著信息量的提升，推薦系統開始發(fā)揮越來越重要的作用。目前，推薦系統在新聞行業(yè)、娛樂媒體行業(yè)以及電子商務領域都有著重要的應用。推薦系統領域出現了多種算法，這些算法都有著明確的應用場景，同時也各有優(yōu)缺點。常用的推薦算法包括基于內容的推薦、基于關聯規(guī)則的推薦和協同過濾算法[1]等，其中，協同過濾算法是推薦系統中的經典算法之一，在眾多場合都有非常廣泛的應用。該算法目標明確、易于理解，同時實用性很強，無需具備專業(yè)領域的知識即可完成推薦。隨著時間的推移，推薦系統的性能會一直得到增強，因此該算法的自動化程度較高，同時也可較為方便地處理復雜的對象信息和非結構化數據[2]。但是協同過濾算法存在冷啟動、數據稀疏、可拓展性差等缺點[3]，這些缺點在實際應用中會影響到推薦系統的性能。本文從實際入手，針對協同過濾算法傳統的相似度公式無法抑制熱門物品的問題，提出懲罰因子的概念，給出修正后的余弦相似度計算公式，并進行實驗論證。

1 協同過濾算法

1.1 傳統協同過濾算法

協同過濾算法在1992年被提出[5-6]，該算法的第一個應用項目是Tapestry[7]。協同過濾算法是在獲取到用戶信息后，尋找目標用戶的近鄰集合，選擇近鄰集合中感興趣的對象推薦給目標用戶，其具體步驟如下：

（1）收集用戶行為，產生用戶評分矩陣

用戶的行為數據可以多種形式展現給后臺，因此需要進行預處理。預處理是將自然語言描述的用戶歷史行為轉換為數字化信息[8]。預處理之后，將用戶對物品的行為信息描述為一個m×n的矩陣R（m，n），這個矩陣被稱為用戶-評分矩陣。矩陣R中每一行代表用戶，每一列代表物品對象，Rij表示用戶i對物品對象j的評分。同時，采取0和1兩種數值的方式表征用戶行為，數字1代表用戶喜歡該物品，反之為不喜歡。用戶評分矩陣R為：

（2）建立用戶近鄰集合，找出用戶鄰居

用戶近鄰集合是將目標用戶與其他用戶進行相似度計算后生成用戶的近鄰集合。用戶之間的相似度通過相似度公式計算得出。興趣相似度計算公式較多，如Jaccard公式、余弦相似度公式等。其中，余弦相似度公式使用較多。

（3）產生推薦結果

1.3 算法流程

整個系統算法流程包括收集用戶歷史信息、建立用戶評分矩陣、計算用戶相似度、生成近鄰集合，進而產生推薦。協同過濾算法流程如圖1所示。

2 基于懲罰因子的協同過濾改進算法

2.1 懲罰因子

若熱門物品出現次數較多，則會使實際相似度計算結果受到影響，導致推薦的物品都是熱門物品，無法挖掘用戶的實際需求。為了避免這種影響，考慮加入一個懲罰因子作為加權系數，從而抑制熱門物品的影響，因此本文對余弦相似度計算公式進行修正，將物品出現次數的倒數作為懲罰因子。物品出現次數越多，即該商品越熱門，同時，該商品對于用戶興趣相似度的貢獻越少。修正后的公式可衰減熱門物品造成的影響，帶有懲罰因子的修正公式為：

2.2 其他改進參數

冷啟動是推薦系統設計過程中必須經歷的一個過程。由于系統剛剛創(chuàng)建，新注冊的用戶尚未對項目產生有效的行為信息，此時可利用的行為信息極少，這種情況下難以給用戶做出合理的推薦[9]，因此必須考慮從別的渠道獲取更多的用戶信息作為參考。通過用戶的注冊信息挖掘用戶愛好是一種有效的方式，在用戶注冊時加以引導，使用戶提供一些信息，通過這些信息最大限度地挖掘出用戶感興趣的信息。用戶注冊信息完畢后初次登錄時，后臺系統可根據用戶提交的個人信息進行分析與挖掘，從而做出有針對性的推薦。

2.3 改進后的算法流程

本文在原有的推薦流程中加入懲罰因子的參數，該參數作為衰減因子可削弱熱門造成的影響，使用用戶對該物品發(fā)生正反饋的次數衡量物品的熱門程度。物品越熱門，懲罰力度越高，熱門物品對計算興趣相似度帶來的影響越小，因此可較好地解決熱門物品對于推薦效果的影響。改進后的算法流程如圖2所示。

3 實驗結果

首先使用經典的余弦相似度算法進行計算。將推薦數量選定為25，目標用戶的鄰居個數分別為2，3，4，5，6，7，8，9，10，20，40。由上述數據得到的準確率與召回率（計算結果保留小數點后四位）見表1所列。

由上述實驗數據可知，當目標用戶的鄰居個數為3時，準確率與召回率有較好的效果，因此在對修正后的公式驗證時可選定鄰居個數3進行準確率與召回率的對比。余弦相似度公式與修正后的相似度公式對比見表2所列。

由表2可知，使用余弦相似度公式的準確率為0.133 8，召回率為0.154 4，使用帶有懲罰因子的修正公式的準確率為0.144 6，召回率為0.204 0。實驗結果表明，帶有懲罰因子的修正公式可以較好地抑制熱門物品的影響，提升系統的準確率與召回率。

4 結 語

由于使用傳統的余弦相似度公式時，熱門物品會影響推薦結果，導致推薦的物品幾乎都是熱門物品，因此本文提出帶有懲罰因子的余弦相似度計算公式，使用熱門物品出現次數的倒數作為懲罰因子，物品越熱門懲罰力度越大。通過實驗驗證，該算法可使準確率與召回率得到一定的提升，從而提高推薦效率。

參 考 文 獻

[1]孟祥武，胡勛，王立才，等.移動推薦系統及其應用[J].軟件學報，2013，24（1）：91-108.

[2]孟祥武，紀威宇，張玉潔.大數據環(huán)境下的推薦系統[J].北京郵電大學學報，2015，38（2）：1-15.

[3]冷亞軍，陸青，梁昌勇.協同過濾推薦技術綜述[J].模式識別與人工智能，2014，27（8）：720-734.

[4]王威，鄭駿.基于用戶相似度的協同過濾算法改進[J]. 華東師范大學學報（自然科學版），2016（3）：60-66.

[5]張鵬飛，熊嬌嬌，羅繩燁，等.面向電商的基于協同過濾的個性化推薦[J].科技廣場，2016（6）：15-19.

[6] SARWAR B，KARYPIS G，KONSTAN J，et al.Item-based collaborative filtering recommendation algorithms [C]// International Conference on World Wide Web.ACM，2001：285-295.

[7] KONSTAN J A，MILLER B N，MALTZ D A，et al.GroupLens：applying collaborative filtering to usenet news [C]// Commu-nications of the ACM，1997，40（3）：77-87.

[8] OWEN S，ANIL R，DUNNING T，et al.Mahout in action[M].New York：Manning Publication，2011.

[9] GroupLens Research.MovieLens [EB/OL]. [2018-06-10]. https：//grouplens.org/datasets/movielens.

[10]于洪，李俊華.一種解決新項目冷啟動問題的推薦算法[J].軟件學報，2015，26（6）：1395-1408.

[11]周成林，黃長江，田景凡，等.基于用戶檢索歷史的個性化內容推薦算法的設計與實現[J].數字技術與應用，2015（10）：142.