基于用戶評分和項目屬性的稀疏矩陣預(yù)測研究

王輝 姜丹 徐海鷗

摘要：協(xié)同過濾是根據(jù)興趣相投、擁有相似體驗鄰居用戶的喜好來向目標用戶預(yù)測和推薦感興趣的信息。然而，由于評分矩陣的稀疏性以及冷啟動問題，現(xiàn)有的協(xié)同過濾技術(shù)在推薦效果上差強人意。該文提出了一種將用戶評分和項目屬性相結(jié)合來進行評分矩陣填充的新方法。首先利用項目屬性來構(gòu)造布爾矩陣，其次，通過比較兩個項目之間的歐幾里德距離，來預(yù)測空白無評價元素。實驗結(jié)果表明，該文采用的方法有助于預(yù)測稀疏矩陣的未評價空白數(shù)據(jù)，填充準確度合理。

關(guān)鍵詞：協(xié)同過濾;稀疏矩陣;特征值矩陣

中圖分類號：TP391? ? ? 文獻標識碼：A? ? ? 文章編號：1009-3044（2019）02-0273-03

Sparse Matrix Prediction Filling in Collaborative Filtering

WANG Hui，JIANG Dan，XU Hai-Ou

（Dept.of Basic Science，Dalian Naval Academy，Dalian 116018， China）

Abstract： Collaborative filtering is one of the most successful techniques that attempts to recommend items （such as music， movies， web sites） that are likely of interest to the people. However， Existing CF technique may work poorly due to the sparse attribute inherent to the rating data. In this paper， a new mechanism that combines the user-based rating and item attribute-based is presented. First， we use the inherent item attributes to construct Boolean matrix. Second， we propose a? novel blank unrated element prediction approach to compute the similarity of items by comparing the Euclidean distance between two items. Case studies show that our approach contributes to predict the unrated blank data for sparse matrix. The filling-in accuracy is also acceptable and reasonable.

Key words： collaborative filtering; sparse matrix; eigenvalue matrix

隨著互聯(lián)網(wǎng)、網(wǎng)絡(luò)技術(shù)及其相關(guān)電子商務(wù)的快速發(fā)展，推薦系統(tǒng)成為電子商務(wù)領(lǐng)域研究的一項重要內(nèi)容。協(xié)同過濾技術(shù)（CF）是推薦系統(tǒng)中關(guān)鍵技術(shù)之一[1-3]，它利用人們的從眾心里，基于這樣的假設(shè)“我會喜歡和我興趣愛好相似的人推薦的商品”。根據(jù)具有類似觀點的用戶的行為來對目標用戶進行推薦或者預(yù)測。如今，協(xié)同過濾技術(shù)已經(jīng)逐漸在各種應(yīng)用系統(tǒng)中得到應(yīng)用。然而，CF技術(shù)也存在缺陷，稀疏性問題是協(xié)同過濾技術(shù)中重要問題之一[4-5]。Sawrar等人[6]將奇異值分解方法用于用戶的項目評分矩陣中。Oyanagi等人[7-10]采用了一種新的數(shù)據(jù)挖掘方法一矩陣聚類，從一個稀疏的矩陣中抽取出若干個較稠密的子矩陣，這種矩陣聚類方法類似于關(guān)聯(lián)規(guī)則挖掘，有相應(yīng)的信任度與支持度。本文重點研究了CF中的數(shù)據(jù)稀疏問題，提出了將基于用戶評分和項目屬性引入到CF中。利用項目屬性構(gòu)造布爾矩陣，并提出了一種新的項目相似度計算機制來預(yù)測稀疏用戶項目矩陣中的空白元素。

1 構(gòu)造項目屬性特征值矩陣

隨著電子商務(wù)的快速發(fā)展，交易商品數(shù)量呈海量模式增長?？墒菍τ谄胀ㄓ脩魜碚f，購買商品之后只對一小部分有評價，那么，即使兩個用戶興趣愛好相似，但是卻沒有對同一商品評分，推薦系統(tǒng)也沒有辦法計算兩個用戶的相似度。按照傳統(tǒng)的方法，可以提前設(shè)置一個固定的值，例如平均分或者中位數(shù)，用它來代替沒有評分商品的評分，可這樣也存在問題，不同商品的評分不一定完全相同，所以這種方法的推薦準確性不是很高。實際上，不同商品都有各自的屬性特征，不同屬性值組成了商品本身，通過屬性值可以區(qū)別不同的商品實體。[利用屬性之間的相似度可以計算出商品之間的相似度。例如：一共有三個商品，商品A顏色是紅色，材質(zhì)是橡膠，產(chǎn)地是大連，則屬性為（顏色，材質(zhì)，產(chǎn)地）屬性值為（紅色，橡膠，大連），同理商品B，屬性為（顏色，材質(zhì)，產(chǎn)地），屬性值為（紅色，塑料，北京）商品C，屬性為（顏色，材質(zhì)，產(chǎn)地），屬性值為（藍色、塑料、北京）?？梢钥闯觯唐稡和商品C屬性值（塑料，北京）最為相似，因此從相似性的角度來說，商品B和商品C的相似度比商品A與商品B的相似度要高，也高于商品A商品C的相似度。

可見，每個項目都有獨立于其他項目的特征值，因此可以利用項目的特征值來計算項目之間的相似性，進而解決用戶評分矩陣的稀疏性問題。

2 未評分矩陣元素的評分預(yù)測

首先構(gòu)造項目的特征值矩陣。方法是：將每個項目分為多個維度。每個維度都是項目的屬性。同時，每個屬性都具有其初始特征值。為了簡化問題，本文使用布爾變量（0或1）構(gòu)造特征值矩陣，用1表示電影是有某種屬性，0表示不具有該屬性。并采用兩個項目之間的歐氏距離[16-20]來確定項目之間的相似度。

[d（itemi，itemj）=m=1npitemi-pitemj]? ? ? ? ? ? ? ? ? ? （1）

其中[d（itemi，itemj）]為項目i與項目j的歐幾里德距離，[pitemi]為項目i的第m個索引值，[pitemj]為項目j的第m個索引值。則項目i與項目j的相似度定義為：

[sims（itemi，itemj）=11+d（itemi，itemj）]? ? ? ? ? ? ? ? ? ?（2）

對于所有矩陣空白元素，可以根據(jù)下面的公式來生成：

[Ri=j=1nRj*sims（itemi，itemj）j=1nsims（itemi，itemj）]? ? ? ? ? ? ? ? ?（3）

其中[Ri]是用戶對項目i的預(yù)測評級，[Rj]是用戶對項目j的評級，[sims（itemi，itemj）]是項目i和項目j的相似度。

由此可見，可以采用兩個項目之間的相似度計算公式（3）來預(yù)測所有未評分的項目，以此來填充稀疏的用戶項目矩陣。

3 案例分析與結(jié)果分析

3.1 案例分析

本文采用愛奇藝電影推薦系統(tǒng)作為協(xié)同過濾的一個具體例子。首先假設(shè)有M個用戶和N個項目（電影），這樣就可以得到用戶-項目評分矩陣（如表1所示）。每部電影都可以看作是一個項目，每個項目通常都有基本概念級別的詳細信息。如果存在這樣的評分，則矩陣元素表示用戶對項目的評分，相反，如果元素為空，則表示沒有這樣的評分。在本文中，每一個電影項目包含四個偏好：體裁，語言，發(fā)布年份和國家。每個偏好都有幾個原始值。例如，體裁包含動作，冒險，神秘，戲劇，紀錄片，浪漫，喜劇。語言包括中文、廣東話、英語、日語、韓語。發(fā)布年份包括2年以下，五年以下，五年以上。國家包括中國、歐美地區(qū)、日本、韓國。

在該矩陣中，用戶是行，項目（電影）是列。每個空格包含用戶對該項目的評價，用戶的評分可分為五種偏好（1至5），通過評分，系統(tǒng)的每個用戶都能表達自己對那喜歡和不喜歡的電影的看法。例如，1顆星表示用戶感覺糟糕，5顆星表示用戶感覺良好。從表格中可以看到用戶1對電影項目1的評價是5顆星，而用戶2對同一部電影的評價是3顆星。以下表2到表4分別是項目1到項目4，在體裁，語言，發(fā)布年份和國家的四個偏好上的評分，1表示有評分，0表示無評分。無評分則看作空白評價。

可見，用戶項目矩陣中的大多數(shù)元素是未評價的空白數(shù)據(jù)。為了提高填充的準確度，本文首先根據(jù)項目屬性構(gòu)造布爾矩陣。假設(shè)項目1是“臥虎藏龍”，項目2是“古墓麗影”，項目3是“指環(huán)王”，項目4是“史密斯夫婦”。這樣，可以得到項目的特征值矩陣（如表2—表5所示）。

計算用戶1對項目2的預(yù)測等級，根據(jù)公式（1），本文首先分別計算項目2和項目1、項目3、項目4之間的歐幾里德距離，結(jié)果為：

[d（item2，item1）=7]，[d（item2，item3）=1]，[d（item2，item4）=2]。根據(jù)計算可知，項目2和項目3之間的距離最近。將其結(jié)果帶入公式（2），分別計算項目2和項目1、項目3、項目4之間的相似度，結(jié)果為：[sim（item2，item1）=0.27]，[sim（item2，item3）=0.5]，[sim（item2，item4）=0.33]，因此，在公式（3）中，用戶1對項目2的預(yù)測等級為：[]

[5*0.27+4*0.5+5*0.330.27+0.5+0.33=4.54≈5]

通過同樣的方法，可以對稀疏的用戶項目矩陣進行填充，在填充空白元素之后，新的用戶項目矩陣（m*n）如表6所示。

3.2 結(jié)果分析

根據(jù)用戶項目矩陣中的原始評分數(shù)據(jù)，對比采用本文方法預(yù)測的空白項目準確度，預(yù)測數(shù)據(jù)與原始數(shù)據(jù)的比較結(jié)果如圖1，圖2（預(yù)測結(jié)果整數(shù)化后）所示：

利用movielens數(shù)據(jù)集測試本文提出的結(jié)合項目屬性特征的混合推薦算法和傳統(tǒng)的基于用戶的協(xié)同過濾算法的平均絕對偏差MAE。結(jié)果表明，本文提出的改進方法預(yù)測結(jié)果接近初始評分數(shù)據(jù)，舍入結(jié)果也符預(yù)期。

4 結(jié)束語

基于最近鄰協(xié)同過濾推薦算法要求在全體用戶空間范圍內(nèi)來搜索目標用戶的最近鄰，如今，數(shù)據(jù)量越來越大，系統(tǒng)規(guī)模也在不斷地擴充，這種方式導(dǎo)致系統(tǒng)的實時性能降低，評分數(shù)據(jù)的缺失成為協(xié)同過濾推薦系統(tǒng)存在的重要問題，嚴重影響推薦的準確度。針對這個問題，本文提出了一種提出了結(jié)合用戶的評分和項目屬性特征值矩陣的混合算法來計算項目相似度，以此進行未評分數(shù)據(jù)的預(yù)測填充。降低了由于用戶評分數(shù)據(jù)缺失所造成的評分矩陣稀疏程度，提高推薦準確度。在MovieLens數(shù)據(jù)集上的試驗結(jié)果表明，該算法能夠明顯地提高推薦準確度。

參考文獻：

[1] 許海玲，吳瀟，李曉東，等.互聯(lián)網(wǎng)推薦系統(tǒng)比較研究[J].軟件學(xué)報，2009（2）.

[2] Greg Linden， Brent Smith， Jeremy York.Amazon.com recommendations： Item-to-item collaborative[C]//IEEE INTERNET COMPUTING，IEEE COMPUTER SOCIETY， 2003，7：76-80.

[3] Hao Ma， Irwin King， Michael R Lyu.Effective? missing data prediction for collaborative filtering[C]. Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval，2007：39-46.

[4] Sawar B M， Karypis G， Konstan J A，et al. Application of Dimensionality Reduction in Recommender Systems-A Case Study[C]. ACM. WebKDD 2000 Web Mining for E-Commerce Workshop， 2000.

[5] Oyanagi S，Kubota K， Nakase A.Application of Martix Clustering to Web Log Analysis and Access Prediction[C]. San Francisco，CA：Proceedings of the WebKDD workshop（WebKDD 2001），2005：13-21.

[6] Prem Melville，Raymond J.Mooneyand Ramadass Nagarajan.Content-Boosted Collaborative Filtering for Improved Recommendations[C].Proceedings of the Eighteenth National Conference on Artificial Intelligence（AAAI-2002）， Edmonton， Canada， 2002：187-192.

[7] 李大學(xué)，謝名亮，趙學(xué)斌.結(jié)合項目類別信息的協(xié)同過濾推薦算法[J].重慶郵電大學(xué)學(xué)報：自然科學(xué)版，2010（6）.

[8] 辛勤芳.基于項目聚類的協(xié)同過濾算法研究[J].赤峰學(xué)院學(xué)報：自然科學(xué)版，2011（9）.

[9] 劉曉波.基于關(guān)聯(lián)規(guī)則的電子商務(wù)商品推薦系統(tǒng)研究[J].企業(yè)管理學(xué)術(shù)論叢，2008（52）：78-79.

[10] 郭艷紅，鄧貴仕.協(xié)同過濾的一種個性化推薦算法研究[J].計算機應(yīng)用研究，2008（1）.

[11] 王義，馬尚才.基于用戶行為的個性化推薦系統(tǒng)的設(shè)計與應(yīng)用[J].計算機系統(tǒng)應(yīng)用，2010（8）.

[12] 高靈渲，張巍，霍穎翔，等.改進的聚類模式過濾推薦算法[J].江西師范大學(xué)學(xué)報：自然科學(xué)版，2012（1）.

[13] 李大學(xué)，謝名亮，趙學(xué)斌.結(jié)合項目類別信息的協(xié)同過濾推薦算法[J].重慶郵電大學(xué)學(xué)報：自然科學(xué)版，2010（6）.

[14] 許建潮，王紅梅.改進的協(xié)同過濾算法[J].吉林大學(xué)學(xué)報：信息科學(xué)版，2008（1）.

[15] 趙曉煜，黃小原，曹忠鵬.基于顧客交易數(shù)據(jù)的協(xié)同過濾推薦方法[J].東北大學(xué)學(xué)報：自然科學(xué)版，2009（12）.

[16] 鄧愛林，朱揚勇，施伯樂.基于項目評分預(yù)測的協(xié)同過濾推薦算法[J].軟件學(xué)報，2003（9）：1-8.

[17] 徐德智，李小慧.基于云模型的項目評分預(yù)測推薦算法[J].計算機工程，2010（17）.

[18] 魏衍君，楚志凱.電子商務(wù)智能推薦技術(shù)研究[J].商丘職業(yè)技術(shù)學(xué)院學(xué)報，2011（2）.

[19] 劉繼，鄧貴仕.基于最近鄰評價矩陣的混合協(xié)同過濾推薦算法[J].情報學(xué)報，2007（6）.

[20] 吳顏，沈潔，顧天竺， 等.協(xié)同過濾推薦系統(tǒng)中數(shù)據(jù)稀疏問題的解決[J].計算機應(yīng)用研究，2007（6）.