混合因子矩陣分解推薦算法

趙長偉,彭勤科,張志勇

(1.西安交通大學(xué)電子與信息工程學(xué)院,710049,西安;2.河南科技大學(xué)信息工程學(xué)院,471023,河南洛陽)

?

混合因子矩陣分解推薦算法

趙長偉1,2,彭勤科1,張志勇2

(1.西安交通大學(xué)電子與信息工程學(xué)院,710049,西安;2.河南科技大學(xué)信息工程學(xué)院,471023,河南洛陽)

針對矩陣分解推薦算法在潛在屬性與已知屬性之間不能建立對應(yīng)關(guān)系的問題,提出了一種混合顯式屬性與隱式屬性的矩陣分解算法。該算法使用顯式屬性的相關(guān)性對因子矩陣進行約束,能夠抑制稀疏數(shù)據(jù)矩陣分解中過擬合的問題,提高推薦精度,由于因子矩陣中包含顯式屬性,所以混合因子矩陣分解算法可以實現(xiàn)對新用戶和新產(chǎn)品推薦,部分地解決了冷啟動問題,實現(xiàn)了從評分數(shù)據(jù)到顯式屬性的映射,并對推薦結(jié)果給出一定的解釋。在MovieLens數(shù)據(jù)集上的實驗結(jié)果表明:相同因子數(shù)下,混合因子矩陣分解算法的推薦精度均優(yōu)于偏置概率矩陣分解算法,并能夠基于顯式屬性實現(xiàn)對新產(chǎn)品的推薦。

推薦算法;矩陣分解;混合因子;推薦解釋;冷啟動

在應(yīng)用驅(qū)動下,個性化推薦系統(tǒng)得到了學(xué)術(shù)界和商業(yè)界共同的重視[1-3],推薦精度不斷提高。矩陣分解(matrix factorization,MF)算法是個性化推薦中的經(jīng)典算法?；揪仃嚪纸馑惴╗4-5]將用戶產(chǎn)品打分矩陣分解為用戶潛在因子矩陣和產(chǎn)品潛在因子矩陣,用戶對產(chǎn)品的打分預(yù)測值由用戶潛在因子矩陣和產(chǎn)品潛在因子矩陣的內(nèi)積求得。概率矩陣分解(probability matrix factorization,PMF)算法是應(yīng)用較多的矩陣分解算法,在數(shù)據(jù)稀疏的情況下,PMF算法容易出現(xiàn)過擬合現(xiàn)象。為了防止數(shù)據(jù)過擬合,Netflix競賽獲勝者采用了正則化的矩陣分解算法(RSVD)[1],正則化能夠提高整體打分預(yù)測的精度,在矩陣分解算法中被廣泛采用?？紤]到不同用戶和產(chǎn)品具有不同打分偏置,Rendle等使用了偏置概率矩陣分解算法(BPMF)[6],該算法能夠適應(yīng)不同用戶和產(chǎn)品的打分偏置,并有效地提高了打分預(yù)測的精度。PMF和BPMF算法僅考慮用戶對產(chǎn)品的打分,并假定用戶和產(chǎn)品的潛在屬性是符合獨立同分布的。含用戶社交關(guān)系和產(chǎn)品屬性相關(guān)性的矩陣分解算法[7-10]將用戶社交關(guān)系和產(chǎn)品已知屬性的相關(guān)性作為矩陣分解的約束,從而提高了整體的推薦精度和推薦項的覆蓋率。在推薦結(jié)果解釋方面,非負矩陣分解(NMF)算法[11]限定屬性取值為非負,與屬性的有無和權(quán)重值相對應(yīng),其結(jié)果具有一定的解釋意義,但NMF算法沒有給出潛在因子與顯式屬性的對應(yīng)關(guān)系。針對矩陣分解算法的效率問題,Ortega等使用了群矩陣分解算法[12],但群矩陣分解算法本質(zhì)上屬于正則化算法。針對推薦數(shù)據(jù)稀疏的問題,Zhao等使用遷移學(xué)習(xí)的方法[13-14],融合不同領(lǐng)域的數(shù)據(jù),解決了推薦系統(tǒng)數(shù)據(jù)稀疏的問題。

在傳統(tǒng)的矩陣分解算法中,由于使用潛在屬性因子,所以不能對推薦結(jié)果給出解釋,也不能確定對特定用戶推薦結(jié)果是否有改善?；诖?本文提出了一種結(jié)合顯式屬性和隱式屬性的矩陣分解算法(hybrid matrix factorization,HMF)。HMF算法的創(chuàng)新點主要有3個方面:①在矩陣分解過程中,使用用戶或產(chǎn)品之間顯式屬性的相關(guān)性對因子矩陣進行約束,防止稀疏數(shù)據(jù)矩陣分解中的過擬合問題;②利用HMF算法包含的用戶和產(chǎn)品的顯式屬性,可以實現(xiàn)對新用戶和新產(chǎn)品推薦,部分地解決了冷啟動問題;③實現(xiàn)了打分矩陣到顯式屬性的映射,能夠?qū)ν扑]結(jié)果給出一定的解釋。

1 混合矩陣分解算法

1.1 矩陣分解算法

對于m行n列的用戶產(chǎn)品打分矩陣R,m為用戶數(shù),n為產(chǎn)品數(shù),rij是矩陣R中第i行第j列的元素,表示第i個用戶對第j個產(chǎn)品的打分。由于打分數(shù)據(jù)十分稀疏,R中存在大量的缺失數(shù)據(jù)?；镜木仃嚪纸馑惴ㄔ谝阎蚍謹?shù)據(jù)項上將打分矩陣R分解為m行k列的用戶潛在屬性因子矩陣U和n行k列的產(chǎn)品潛在屬性因子矩陣V,其中k為潛在屬性因子數(shù)(k?m,n),并使UVT盡可能接近R。在基本矩陣分解算法中,由于使用了潛在屬性因子,所以基本的矩陣分解算法不能給出推薦的解釋。此外,該方法假定屬性因子之間滿足獨立同分布條件,沒有考慮用戶和產(chǎn)品之間的關(guān)聯(lián)關(guān)系對矩陣分解的影響。

1.2 混合屬性因子矩陣分解算法

當(dāng)產(chǎn)品因子矩陣中包含顯式屬性,用戶因子矩陣采用隱式屬性因子表示時,混合因子矩陣分解算法的代價函數(shù)定義為

(1)

混合因子矩陣分解算法通過優(yōu)化如下目標(biāo)函數(shù)實現(xiàn)

(2)

為了防止數(shù)據(jù)過擬合,對U、V進行正則化,相應(yīng)的目標(biāo)函數(shù)為

(3)

式中:λ為正則化系數(shù)。為了使矩陣分解結(jié)果具有解釋性,限制產(chǎn)品因子屬性值為非負值,目標(biāo)函數(shù)為

(4)

式中:v∈V為產(chǎn)品因子屬性的值。

1.3 問題求解

隨機梯度下降算法(stochastic gradient descent,SGD)和交替最小二乘法(alternating least squares,ALS)是矩陣分解中最常用的算法。本文使用改進的隨機梯度下降算法對因子矩陣進行求解。首先使用代價函數(shù)對Ui和Vj求偏導(dǎo),有

(5)

(6)

2 推薦解釋與冷啟動

在傳統(tǒng)的矩陣分解算法中,由于分解的矩陣使用潛在屬性因子,所以不能對推薦結(jié)果給出解釋,也不能推薦新產(chǎn)品和新用戶,即面臨冷啟動問題。在混合因子矩陣分解算法中,由于包含了用戶或產(chǎn)品的顯式屬性,所以能夠給出推薦解釋并能一定程度地解決冷啟動問題。

將用戶潛在屬性因子矩陣U分為與產(chǎn)品顯式屬性特征對應(yīng)的塊Uex′和與產(chǎn)品隱式屬性特征對應(yīng)的塊Uim′,則顯式屬性的打分權(quán)重為

(7)

顯式屬性所對應(yīng)的權(quán)值表示了用戶對產(chǎn)品已知屬性的偏好程度,進一步,可以使用該權(quán)值對推薦結(jié)果給出相應(yīng)的解釋。對于已知屬性的新產(chǎn)品,當(dāng)wrij大于一定閾值時,可以依據(jù)產(chǎn)品的已知屬性向用戶推薦新產(chǎn)品。

針對冷啟動問題,考慮對產(chǎn)品因子矩陣采用顯式屬性表示,在產(chǎn)品因子屬性已知的基礎(chǔ)上,使用式(8)計算用戶因子矩陣的值。

(8)

這種情況下,用戶i對已知屬性產(chǎn)品j的打分預(yù)測值為

(9)

與產(chǎn)品矩陣表示相似,當(dāng)用戶矩陣使用混合屬性因子表示時,可以實現(xiàn)向新用戶推薦產(chǎn)品項。

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集

實驗使用了MovieLens數(shù)據(jù)集[15],MovieLens數(shù)據(jù)集由3個不同大小數(shù)據(jù)集構(gòu)成,其中100 kB的數(shù)據(jù)集中包含943個用戶對1 682部電影的100 000條評分數(shù)據(jù),評分等級為1到5,共5個等級,等級1到5反映了用戶對該電影的偏好程度。每個用戶至少對20部電影進行了評分。每一條評分數(shù)據(jù)包含用戶、電影、評分級評分時間信息,該數(shù)據(jù)集還包含簡單的用戶人口學(xué)統(tǒng)計信息和電影的體裁類型信息。

3.2 打分預(yù)測精度

推薦系統(tǒng)有多種評價指標(biāo),打分預(yù)測精度常用的評價指標(biāo)有絕對誤差Em和均方誤差Er

(10)

(11)

式中:T為測試集,|T|表示測試集樣本的數(shù)目。均方誤差Er對預(yù)測誤差較大的值更敏感。

實驗中對不同潛在屬性因子數(shù)和混合因子數(shù)的推薦算法的預(yù)測精度進行了比較,實驗結(jié)果采用5折交叉驗證的方法。

圖1、圖2給出了BPMF算法在不同因子數(shù)k下打分預(yù)測精度Em和Er變化的情況。實驗中僅使用了用戶對產(chǎn)品的打分信息,正則化系數(shù)λ設(shè)置為0.02,學(xué)習(xí)率α設(shè)置為0.1。用戶和產(chǎn)品矩陣因子均為潛在屬性因子。

圖1 潛在因子數(shù)與絕對誤差的關(guān)系

圖2 潛在因子數(shù)與均方誤差的關(guān)系

由圖1、圖2可以看出,在因子數(shù)k值小于確定值的情況下,潛在因子矩陣分解算法打分預(yù)測精度隨k值的增加而增加。為了驗證結(jié)合顯式屬性的矩陣分解HMF算法的有效性,分別對總因子數(shù)固定和顯式屬性因子數(shù)固定的情況進行了實驗。表1給出了總因子數(shù)固定為5的情況下,含不同數(shù)目顯式因子的HMF算法的預(yù)測精度。實驗中正則化系數(shù)λ設(shè)置為0.02,學(xué)習(xí)率α設(shè)置為0.1,顯式屬性因子值固定為0.2。實驗中顯式因子來自電影體裁信息,在MovieLens數(shù)據(jù)集中,包含了19種不同類型的體裁信息,但屬于某些體裁數(shù)的電影非常少,這些體裁屬性在預(yù)測精度中沒有普遍性。實驗中按照不同體裁的電影數(shù)對體裁屬性進行排序,得到一個體裁屬性排序列表。在HMF算法中,顯式屬性數(shù)為n時,對應(yīng)的為體裁屬性排序列表的top-n項的屬性。在表1中,當(dāng)顯式屬性數(shù)為5時,電影矩陣V中僅包含顯式屬性。

由表1可以看出,當(dāng)包含兩個顯式因子時,絕對誤差最小為0.731 6。與BPMF算法相比,其預(yù)測精度有較大的提高,這是因為HMF算法中結(jié)合了顯式因子,增加了顯式屬性的相關(guān)約束。同時,該方法中包含了隱式屬性,隱式屬性能夠表示用戶偏好和產(chǎn)品屬性中難以顯式表示的偏好信息。隨著顯式因子數(shù)的增加,顯式屬性相關(guān)性約束增加,隱式屬性表示的推薦相關(guān)的潛在因子被削弱,導(dǎo)致推薦精度降低。

表2中給出了顯式因子數(shù)固定為5,總因子數(shù)變化范圍為5到30時,HMF算法的打分預(yù)測精度。

表2 固定顯式因子數(shù)時HMF算法的預(yù)測精度

由表2可以看出,在顯式屬性因子數(shù)固定的情況下,HMF算法的打分預(yù)測精度與顯式屬性因子數(shù)占比有一定的關(guān)系。在因子數(shù)為15時,HMF算法取得較好的結(jié)果,顯式屬性對因子矩陣的相關(guān)關(guān)系給出了較好的約束。隨著因子數(shù)的增加,顯式屬性在全部因子數(shù)中的比例降低,相關(guān)性約束減小,與BPMF算法相比,HMF算法對推薦精度提高十分有限。

3.3 冷啟動和推薦解釋

在個性化推薦系統(tǒng)中,傳統(tǒng)的MF方法不能推薦新產(chǎn)品和新用戶的原因是用戶偏好和產(chǎn)品屬性均采用潛在屬性因子表示,用戶偏好和產(chǎn)品屬性不能明確表示。HMF算法中,當(dāng)產(chǎn)品項使用含有顯式屬性因子矩陣表示時,與其對應(yīng)的用戶因子項可看作用戶對該屬性的偏好。HMF算法能夠基于用戶的偏好和產(chǎn)品顯式屬性推薦新的產(chǎn)品。

表3給出了MovieLens數(shù)據(jù)集中使用電影體裁類型作為顯式屬性時,HMF算法和基于產(chǎn)品屬性相似度算法在新產(chǎn)品項上的推薦精度。實驗中HMF和基于產(chǎn)品屬性相似度算法均使用了電影體裁項中前5個包含電影數(shù)較多的屬性項。

由表3可以看出,在新產(chǎn)品推薦上,HMF算法的精度遠高于基于產(chǎn)品屬性推薦方法的精度,這是因為HMF算法能夠區(qū)分用戶對產(chǎn)品不同屬性項偏好的權(quán)重,而基于產(chǎn)品屬性的推薦方法對屬性的權(quán)重不做區(qū)分。

表3 HMF算法和Item-based算法新產(chǎn)品推薦精度

由于HMF算法包含顯式屬性,該方法也能夠?qū)ν扑]結(jié)果給出一定的解釋。具有推薦解釋功能使推薦結(jié)果更容易被用戶接受。與產(chǎn)品推薦類似,當(dāng)用戶矩陣含有顯式屬性時,HMF算法可以實現(xiàn)對新用戶的推薦和推薦解釋。

4 結(jié) 論

本文提出了一種混合因子矩陣分解HMF算法,HMF算法的因子矩陣中包含顯式屬性和隱式屬性。與基本的矩陣分解算法相比,HMF算法使用了顯式屬性之間的相關(guān)性,對稀疏數(shù)據(jù)矩陣分解給出了合理的約束,提高了推薦精度。同樣,由于使用了顯式屬性因子,HMF算法能夠推薦新產(chǎn)品并對推薦結(jié)果給出一定的解釋。本文中顯式屬性僅使用了電影體裁屬性,沒有考慮其他顯式屬性和顯式屬性選取的問題,下一步,將對顯式屬性選取進行研究,對用戶偏好的深層次原因進行分析,進一步提高推薦系統(tǒng)的推薦精度和推薦解釋的能力。

[1] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems [J]. Computer, 2009, 42(8): 30-37.

[2] MA W, FENG X, WANG S, et al. Personalized recommendation based on heat bidirectional transfer [J]. Physica: A Statistical Mechanics and Its Applications, 2016, 444: 713-721.

[3] RICCI F, ROKACH L, SHAPIRA B. Recommender systems handbook [M]. 3rd ed. Berlin, Germany: Springer, 2010: 1-35.

[4] SALAKHUTDINOV R, MNIH A. Probabilistic matrix factorization [C]∥Proceedings of the 2015 Advances in Neural Information Processing Systems. Cambridge, MA, USA: MIT Press, 2015: 1257-1264.

[5] SALAKHUTDINOV R, MNIH A. Bayesian probabilistic matrix factorization using Markov chain Monte Carlo [C]∥Proceedings of the International Conference on Machine Learning. New York, USA: ACM, 2008: 880-887.

[6] RENDLE S, SCHMIDT-THIEME L. Online-updating regularized kernel matrix factorization models for large-scale recommender systems [C]∥Proceedings of the 2008 ACM Conference on Recommender Systems. New York, USA: ACM, 2008: 251-258.

[7] 秦繼偉, 鄭慶華, 鄭德立, 等. 結(jié)合評分和信任的協(xié)同推薦算法 [J]. 西安交通大學(xué)學(xué)報, 2013, 47(4): 100-104. QIN Jiwei, ZHENG Qinghua, ZHENG Deli, et al. A collaborative recommendation algorithm based on ratings and trust [J]. Journal of Xi’an Jiaotong University, 2013, 47(4): 100-104.

[8] 郭磊, 馬軍, 陳竹敏, 等. 一種結(jié)合推薦對象間關(guān)聯(lián)關(guān)系的社會化推薦算法 [J]. 計算機學(xué)報, 2014, 37(1): 219-228. GUO Lei, MA Jun, CHEN Zhumin, et al. Incorporating item relations for social recommendation [J]. Chinese Journal of Computer, 2014, 37(1): 219-228.

[9] MA H, KING I, LYU M R. Learning to recommend with explicit and implicit social relations [J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 135-136.

[10]MA H, KING I, LYU M R, et al. SoRec: social recommendation using probabilistic matrix factorization [C]∥Proceedings of the 2008 ACM Conference on Information and Knowledge Management. New York, USA: ACM, 2008: 931-940.

[11]LEE D D, SEUNG H S. Learning the parts of objects by non-negative matrix factorization [J]. Nature, 1999, 401(6755): 788-791.

[12]ORTEGA F, HERNANDO A, BOBADILLA J, et al. Recommending items to group of users using matrix factorization based collaborative filtering [J]. Information Sciences, 2016, 345: 313-324.

[13]ZHAO L, PAN S J, XIANG E W, et al. Active transfer learning for cross-system recommendation [C]∥Proceedings of the 27th AAAI Conference on Artificial Intelligence. Palo Alto, CA, USA: AAAI Press, 2013: 1205-1211.

[14]JIANG M, CUI P, WANG F, et al. Social recommendation across multiple relational domains [C]∥Proceedings of the ACM International Conference on Information and Knowledge Management. New York, USA: ACM, 2012: 1422-1431.

[15]HARPER F M, KONSTAN J A. The movielens datasets: history and context [J]. ACM Transactions on Interactive Intelligent Systems, 2015, 5(4): 1068-1074.

(編輯 武紅江)

A Matrix Factorization Algorithm with Hybrid Implicit and Explicit Attributes for Recommender Systems

ZHAO Changwei1,2,PENG Qinke1,ZHANG Zhiyong2

(1. School of Electronic and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China;2. School of Information and Engineering, Henan University of Science and Technology, Luoyang, Henan 471023, China)

A novel hybrid matrix factorization algorithm (HMF) is proposed to solve the problem that the correlation between latent factors and explicit attributes can not be established in traditional matrix factorization methods. The algorithm combines implicit and explicit attributes and uses correlations among explicit attributes to constrain factor matrixes, and to relieve the over fitting in sparse data matrix decomposition. Since factor matrixes include explicit attributes, HMF is used to solve the problem of cold start and to recommend new items. HMF realizes mapping from rating matrix to weights of explicit attributes and offers an interpretation for recommender items. Experiment on MovieLens datasets shows that the accuracy of HMF is superior to that of BPMF for same number of factors, and HMF can be used to recommend new items based on explicit attributes.

recommender algorithm; matrix factorization; hybrid factor; recommended interpretation; cold start

2016-05-30。 作者簡介:趙長偉(1971—),男,博士生;彭勤科(通信作者),男,教授,博士生導(dǎo)師。 基金項目:國家自然科學(xué)基金資助項目(61370220);河南省高?？萍紕?chuàng)新團隊支持計劃資助項目(15IRTSTHN010)。

時間:2016-10-19

10.7652/xjtuxb201612014

TP393;G558

A

0253-987X(2016)12-0087-05

網(wǎng)絡(luò)出版地址:http: ∥www.cnki.net/kcms/detail/61.1069.T.20161019.1622.010.html