基于徑向基神經(jīng)網(wǎng)絡(luò)的新型協(xié)同過濾推薦算法

葉蘭平 劉 鋒 朱二周

(安徽大學(xué)計算機科學(xué)與技術(shù)學(xué)院 安徽 合肥 230601)

?

基于徑向基神經(jīng)網(wǎng)絡(luò)的新型協(xié)同過濾推薦算法

葉蘭平 劉 鋒 朱二周*

(安徽大學(xué)計算機科學(xué)與技術(shù)學(xué)院 安徽 合肥 230601)

針對傳統(tǒng)協(xié)同過濾推薦算法對目標(biāo)用戶的評分預(yù)測過于依賴鄰近用戶，而忽略目標(biāo)用戶自身評分特性的問題，提出一種改進的基于徑向基RBF(Radial Basis Function)神經(jīng)網(wǎng)絡(luò)的預(yù)測方法。該方法首先使用RBF神經(jīng)網(wǎng)絡(luò)對鄰近用戶的項目評分數(shù)據(jù)進行模型訓(xùn)練，得到基于該用戶的網(wǎng)絡(luò)評分模型；然后結(jié)合目標(biāo)用戶自身的評分進行計算，得到一個基于該模型的評分；最后結(jié)合所有鄰近用戶的模型評分預(yù)測出目標(biāo)用戶對目標(biāo)項目的最終評分。改進后的算法既借鑒了用戶之間的相似性，也考慮了目標(biāo)用戶自身的評分特性。實驗結(jié)果表明，改進后的協(xié)同過濾推薦算法可以獲得比傳統(tǒng)算法更好的推薦效果。

協(xié)同過濾 評分偏差 RBF神經(jīng)網(wǎng)絡(luò) 用戶評分模型

0 引 言

當(dāng)前，協(xié)同過濾推薦算法主要研究用戶群對產(chǎn)品群的評分預(yù)測[1]。通過計算分析所有用戶對項目的評分找到與目標(biāo)用戶相似的鄰近用戶集合，將該集合中所有鄰近用戶對目標(biāo)項目的評分與目標(biāo)用戶之間的相似度相結(jié)合，用于預(yù)測目標(biāo)用戶對該目標(biāo)項目的評分[2-4]。但是在這種計算方式中，目標(biāo)用戶的評分結(jié)果太過依賴鄰近用戶的評分，而忽略了其自身的評分特性。與此同時，協(xié)同過濾推薦算法中的用戶評分數(shù)據(jù)稀疏以及新用戶加入時冷啟動等問題，都會對用戶之間相似度的計算產(chǎn)生比較大的影響[5]。

當(dāng)評分數(shù)據(jù)比較稀疏或有新用戶加入時，計算所得用戶之間相似度的可靠性往往比較低，此時實質(zhì)上不太相似的兩個用戶看起來會比較相似。這樣的鄰近用戶對目標(biāo)項目的評分易產(chǎn)生比目標(biāo)用戶真實的評分過高或者過低的偶然性，而這種偶然性會造成目標(biāo)用戶的目標(biāo)項目評分預(yù)測產(chǎn)生較大誤差。

為了降低這種誤差，需要把目標(biāo)用戶與鄰近用戶之間的相似度和目標(biāo)用戶自身的評分特性更好地結(jié)合起來。據(jù)此，本文提出一種基于RBF徑向基神經(jīng)網(wǎng)絡(luò)的對傳統(tǒng)協(xié)同過濾推薦算法進行改進的方法。首先，使用RBF神經(jīng)網(wǎng)絡(luò)對目標(biāo)用戶的每個鄰近用戶的評分數(shù)據(jù)進行建模；然后，把目標(biāo)用戶自身的評分數(shù)據(jù)輸入到建立好的網(wǎng)絡(luò)模型中，經(jīng)過計算可以得到一個基于該網(wǎng)絡(luò)模型的數(shù)據(jù)評分；最后，結(jié)合所有網(wǎng)絡(luò)模型的數(shù)據(jù)評分進行計算，就可以得到最終的預(yù)測結(jié)果。實驗表明，改進后的算法在評分數(shù)據(jù)比較稀疏和計算所用的鄰近用戶數(shù)量大的情況下，可以提高目標(biāo)用戶對目標(biāo)項目評分的準(zhǔn)確度。

1 相關(guān)工作

1.1 傳統(tǒng)的協(xié)同過濾推薦算法描述

協(xié)同過濾推薦算法的基本假設(shè)是如果兩個用戶之間的興趣相類似，那么其中一個用戶很有可能會喜歡另外一個用戶感興趣的東西[6,7]?；谶@一點找出與目標(biāo)用戶興趣相近的鄰近用戶集合，然后借助該集合中鄰近用戶對目標(biāo)項目的喜好來預(yù)測目標(biāo)用戶對該項目的喜好程度。

(1) 用戶—項目評分的表示

假設(shè)在用戶評分數(shù)據(jù)庫中共包括s個用戶和t個項目，用U={u1,u2,…,us}表示這s個用戶集合，I={I1,I2,…,It}表示t個項目集合，則用戶評分數(shù)據(jù)可用一個二維矩陣表示，如表1所示。

表1 用戶—項目評分表P(s×t)

表1中Pi,j表示的是用戶ui對項目Ij的評分，通過該評分可以判斷用戶ui對項目Ij的喜好程度。

(2) 用戶相似性度量的方法

用戶之間相似度的計算通常轉(zhuǎn)化為用戶評分向量之間相似度的計算。本文采用向量空間相似性中的余弦相似性度量方法。標(biāo)準(zhǔn)的余弦相似性通過向量間的余弦夾角來度量[8]：

(1)

其中Pi,k、Pj,k分別表示用戶ui和uj對項目Ik的評分。

為了更精確計算向量間的相似度，文獻[5]采用了修正余弦相似性度量方法。該方法選取了用戶ui和uj的評分交集(Iui∩Iuj)，并定義為I′。此時，向量間相似度的計算如下：

(2)

(3) 協(xié)同過濾推薦結(jié)果的產(chǎn)生

計算得到用戶之間相似度之后，找出與目標(biāo)用戶ui相似度最高的且對目標(biāo)項目Ik都有過評分的N(N≥1)個鄰近用戶，定義T(Ui)為這N個近鄰用戶的集合，所以有|T(Ui)|=N。通過式(3)就可以計算目標(biāo)用戶對目標(biāo)項目的評分：

(3)

1.2 RBF徑向基神經(jīng)網(wǎng)絡(luò)簡介

RBF徑向基神經(jīng)網(wǎng)絡(luò)是一種高效的前饋式神經(jīng)網(wǎng)絡(luò)，可以處理系統(tǒng)內(nèi)難以解析的規(guī)律性。同時，RBF神經(jīng)網(wǎng)絡(luò)也是一種局部逼近網(wǎng)絡(luò)，故其具有很高的自學(xué)習(xí)效率[9,10]?，F(xiàn)今，該網(wǎng)絡(luò)主要應(yīng)用于解決函數(shù)曲線逼近和模式分類等問題。

(4)

其中，bj為一個正的標(biāo)量，表示高斯基函數(shù)的寬度；m是隱含層節(jié)點數(shù)量。網(wǎng)絡(luò)最后的輸出由如下加權(quán)函數(shù)實現(xiàn)：

(5)

其中ωj是輸出層的權(quán)值。

圖1 RBF徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

RBF徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相比其他網(wǎng)絡(luò)，具有更好的泛化能力，網(wǎng)絡(luò)結(jié)構(gòu)簡單，可以避免不必要的冗長計算。同時，研究表明，該網(wǎng)絡(luò)能在一個緊湊集和任意精度下，逼近任何非線性函數(shù)[11]?；谝陨戏治?，本文選擇使用RBF徑向基神經(jīng)網(wǎng)絡(luò)對傳統(tǒng)的協(xié)同過濾算法進行改進。

2 基于RBF神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾推薦算法

2.1 傳統(tǒng)協(xié)同過濾推薦算法的缺陷

為了說明本文提出的評分偶然性，建立如表2所示的一個“用戶—項目”評分表。該表中的數(shù)據(jù)取自豆瓣電影中的部分評分，為空的表項表示用戶在該項目上沒有評分。

表2 用戶—項目評分表P(7×12)

這里I1-I11為測試項目，I12作為目標(biāo)項目，這樣計算用戶之間相似度時只需使用用戶u1-u7對項目I1-I11的評分。

計算得出用戶之間的相似度如表3所示。

表3 基于表2的用戶相似度表

從表3中選出相似度最大的4對鄰近用戶組，分別為[u6,u3]、 [ u6,u5]、[u7,u3]和[u7,u5] (按行優(yōu)先)。定義DIx(ui,uj)為用戶ui與uj在項目Ix上的評分差的絕對值，這個值越大則說明用戶之間評分的偏差就越大。

從表2中看出，在對項目I1～I11的評分上，這4對鄰近用戶組的DIx(ui,uj)基本都在[0, 2]之間。但在對目標(biāo)項目I12的評分上，DI12(u7,u5)=4和DI12(u6,u5)=3的評分偏差就比較大了，而同樣是鄰近用戶組的[u6,u3]和[u7,u3]的評分偏差就比較正常。對目標(biāo)項目I12的評分中所出現(xiàn)的上述情況就是鄰近用戶對目標(biāo)項目的評分過高或者過低的偶然性，而在傳統(tǒng)的協(xié)同過濾推薦算法中卻忽略了這一點。

2.2 改進型協(xié)同過濾推薦算法提出的依據(jù)

從表2中用戶u5與u7的評分來看，u7的評分相比u5高一些，故P7,12=5符合其評分特性；而u5的評分要低一些，故P5,12=1也同樣符合u5的評分習(xí)慣。由于DI12(u7,u5)=4，如果P7,12=5借助來預(yù)測用戶u5對I12的評分則會產(chǎn)生較大偏差。同理，鄰近用戶組[u6,u3]之間也存在這個問題。如果把目標(biāo)用戶自身的評分特性和與鄰近用戶之間的相似性結(jié)合起來，計算所得的評分會更接近目標(biāo)用戶自身的真實評分，就可以達到縮小用戶之間評分偏差的目的。這種結(jié)合剛好可以使用RBF神經(jīng)網(wǎng)絡(luò)來完成。

文獻[12]提出“如果兩個鄰近用戶的興趣愛好相似，那么他們對整體項目的評分曲線應(yīng)該是互相接近的”。據(jù)此我們分別作出表2中4對鄰近用戶組在他們共同評分項目上的評分曲線，如圖2-圖5所示。

圖2 用戶u6、u3評分曲線圖

圖3 用戶u6、u5評分曲線圖

圖4 用戶u7、u3評分曲線圖

圖5 用戶u5、u7評分曲線圖

從圖2-圖5的4張曲線圖看出，除個別點外，兩個相鄰用戶的評分曲線在整體上的升降趨勢是一致的，說明兩條曲線之間是相互逼近的。由于RBF神經(jīng)網(wǎng)絡(luò)對非線性函數(shù)具有很好的逼近能力，則可以使用該網(wǎng)絡(luò)對鄰近用戶的評分來建立基于該用戶的網(wǎng)絡(luò)評分模型。把目標(biāo)用戶的項目評分輸入到訓(xùn)練好的模型中，經(jīng)過計算可以得到一個參考目標(biāo)用戶自身評分數(shù)據(jù)的初步評分結(jié)果。并在最后結(jié)合所有的初步評分結(jié)果對目標(biāo)項目進行預(yù)測。這種改進方式的優(yōu)點在于既考慮了用戶之間的相似性，也考慮了目標(biāo)用戶自身的評分特性。

2.3 算法設(shè)計與實現(xiàn)

基于RBF徑向基神經(jīng)網(wǎng)絡(luò)改進的協(xié)同過濾推薦算法主要的工作在于如何通過該網(wǎng)絡(luò)訓(xùn)練得到基于鄰近用戶評分數(shù)據(jù)的網(wǎng)絡(luò)模型。這里定義目標(biāo)用戶為ui，目標(biāo)項目為Ik，目標(biāo)用戶的鄰近用戶集合為T(ui)，Px,k表示用戶ux對項目Ik的評分，Iux為用戶ux評分向量。Q(Iui,ux)為用戶ui、uj之間共同評分過的項目集合，即Q(Iui,ux)=Iui∩Iux，則用戶ux中屬于共同評分的項目為Q(Iui,ux)∩Iux，記作R(Iux)。

算法步驟如下：

(1) 計算目標(biāo)用戶的鄰近用戶集合T(ui)。

(2) 建立基于用戶ux評分的RBF神經(jīng)網(wǎng)絡(luò)評分模型。首先，找出Iux中屬于共同評分的項目集合R(Iux)。其次，把該集合中所有項目的評分數(shù)據(jù)作為RBF神經(jīng)網(wǎng)絡(luò)的樣本輸入，訓(xùn)練網(wǎng)絡(luò)的樣本輸出為ux對目標(biāo)項目的評分Px,k，如圖6所示。經(jīng)過訓(xùn)練建立起來的網(wǎng)絡(luò)就是基于用戶ux評分的網(wǎng)絡(luò)模型，記作net(ux)。

圖6 基于ux評分的網(wǎng)絡(luò)模型 圖7 基于ux評分的網(wǎng)絡(luò)輸出

(4) 判斷ux是否是集合T(ui)的最后一個用戶。如果不是，則返回執(zhí)行步驟(2)，直到計算完所有的相似用戶；如果是，則說明已經(jīng)收集完了所有基于鄰近用戶評分的網(wǎng)絡(luò)輸出，接下來執(zhí)行步驟(5)計算目標(biāo)用戶的最終評分。

(5) 收集完所有鄰近用戶的網(wǎng)絡(luò)輸出評分后，使用如下改進的公式來計算ui對目標(biāo)項目的評分Pi,k：

(6)

算法的流程如圖8所示。

圖8 基于RBF徑向基的神經(jīng)網(wǎng)絡(luò)推薦算法流程圖

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文實驗采用美國Minnesota大學(xué)的GroupLens項目小組創(chuàng)辦的Movielens數(shù)據(jù)集。該數(shù)據(jù)集至少有10萬條評分記錄，包括943個用戶對于1682部電影的評分。這里定義評分矩陣稀疏度為已有評分數(shù)量占影評總量的百分比。

3.2 度量標(biāo)準(zhǔn)

評價推薦系統(tǒng)推薦質(zhì)量的度量標(biāo)準(zhǔn)大多采用統(tǒng)計精度度量方法[12]。該方法中的平均絕對偏差MAE(Mean Absolute Error)方法不僅易于理解，而且還可以直觀地對推薦質(zhì)量進行度量。故本文采用該方法作為評價度量標(biāo)準(zhǔn)。平均絕對偏差通過計算用戶的預(yù)測評分與實際評分之間的偏差來度量預(yù)測的準(zhǔn)確性[13]。MAE值大小與推薦質(zhì)量之間成反比關(guān)系，也就是說MAE值越小，推薦質(zhì)量就越高。

3.3 實驗結(jié)果與分析

由于協(xié)同過濾推薦算法的推薦效果同時受到評分數(shù)據(jù)集稀疏度(λ)和鄰近用戶個數(shù)(N)兩個因素的影響，所以，在驗證改進算法時將圍繞這兩個因素進行對比。

(1) 不同評分數(shù)據(jù)稀疏度算法的對比

實驗中對原始數(shù)據(jù)進行隨機刪減，形成λ分別為2%、4%、6%、10%、12%、14%、16%、18%和20%的10個稀疏評分矩陣，并分別對這10個評分矩陣使用傳統(tǒng)的協(xié)同過濾推薦算法和本文提出的改進算法進行測試。這里固定鄰近集合的大小為15，這樣可以在相同鄰近用戶數(shù)量的情況下對比不同評分稀疏性對評分預(yù)測所帶來的影響。實驗所測的數(shù)據(jù)如表4所示。

表4 不同評分數(shù)據(jù)稀疏度下的MAE值

圖9為按照表4所作的直觀對比實驗結(jié)果。

圖9 不同評分數(shù)據(jù)稀疏度結(jié)果對比圖

從圖9可以看出，當(dāng)評分矩陣密度越小時，改進后的協(xié)同過濾算法的MAE值比原協(xié)同過濾算法的值小。當(dāng)密度不斷增大時，這兩種算法之間的MAE值不斷接近。這是因為在固定鄰近用戶數(shù)量的情況下，當(dāng)評分數(shù)據(jù)越稀疏時，所得到的鄰近用戶與目標(biāo)用戶之間相似度可靠性就越低?？煽啃缘偷泥徑脩粼趯δ繕?biāo)項目的評分上產(chǎn)生過高或者過低的偶然性因素的概率就會越高。相反，當(dāng)評分密度大時，計算所得到的目標(biāo)用戶與鄰近用戶相似的可靠性也就越高，所以鄰近用戶與目標(biāo)用戶之間就更加相似，那么評分上的偶然性因素發(fā)生的概率就會降低。

(2) 不同鄰近用戶數(shù)量上算法的對比

在同一評分數(shù)據(jù)稀疏度，不同鄰近用戶數(shù)量下傳統(tǒng)算法和改進后算法的對比實驗中，鄰近用戶數(shù)量分別取5、15、25、35、45, λ固定為10%。實驗所測得的數(shù)據(jù)如表5和圖10所示。

表5 不同鄰近用戶數(shù)量下的MAE值

圖10 不同鄰近用戶數(shù)量下MAE值對比圖

從圖10中看出，隨著鄰近用戶數(shù)量的不斷增多，兩種算法的MAE值都呈現(xiàn)了下降的趨勢，但改進后的算法要比傳統(tǒng)的算法下降得快一些。這說明改進后的算法在鄰近用戶數(shù)量越多時性能越好。分析原因，主要是在固定評分數(shù)據(jù)稀疏度下，隨著用于計算的鄰近用戶數(shù)量的增多，鄰近用戶與目標(biāo)用戶的相似度會越來越小，用戶之間相似可靠性也會隨之下降，導(dǎo)致鄰近用戶與目標(biāo)用戶在目標(biāo)項目上的評分差值增大。而使用改進后的算法能夠減小這兩個用戶對目標(biāo)項目評分之間的差值，從而提高了預(yù)測的精確度。

4 結(jié) 語

針對鄰近用戶對目標(biāo)項目評分上的偶然性偏大或者偏小因素給目標(biāo)用戶的預(yù)測結(jié)果帶來誤差的情況，本文使用了RBF徑向基神經(jīng)網(wǎng)絡(luò)對傳統(tǒng)的協(xié)同過濾推薦算法進行改進。改進后的算法在傳統(tǒng)算法的基礎(chǔ)上結(jié)合了目標(biāo)用戶自身的評分特性，達到了減小預(yù)測值與真實值之間評分偏差的目的，進而降低了鄰近用戶對目標(biāo)項目評分過高或者過低所帶來的偶然性誤差。實驗結(jié)果表明，與傳統(tǒng)推薦算法相比，改進后的推薦算法在數(shù)據(jù)評分稀疏和鄰近用戶數(shù)量大的情況下可以獲得更好的推薦效果。

改進后的算法在原有算法的基礎(chǔ)上增加了對鄰近用戶評分建模這一步驟。如果單個鄰近用戶評分項目數(shù)量比較多的時，必然會增加網(wǎng)絡(luò)的訓(xùn)練時間，從而算法的運行整體運行效率會大大地降低。在將來的工作中將研究如何對鄰近用戶的項目評分數(shù)據(jù)進行優(yōu)化，提升RBF神經(jīng)網(wǎng)絡(luò)模型建模效率，降低改進后算法運行的代價。

[1] Hu L,Song G H,Xie Z Z,et al.Personalized recommendation algorithm based on preference features[J].Tsinghua Science & Technology,2014,19(3):293-299.

[2] 郭磊,馬軍,陳竹敏,等.一種結(jié)合推薦對象間關(guān)聯(lián)關(guān)系的社會化推薦算法[J].計算機學(xué)報,2014,37(1):219-228.

[3] 馬宏偉,張光衛(wèi),李鵬.協(xié)同過濾推薦算法綜述[J].小型微型計算機系統(tǒng),2009,30(7):1282-1288.

[4] 鄧曉懿,金淳,韓慶平,等.基于情境聚類和用戶評級的協(xié)同過濾推薦模型[J].系統(tǒng)工程理論與實踐,2013,33(11):2945-2953.

[5] 黃創(chuàng)光,印鑒,汪靜,等.不確定近鄰的協(xié)同過濾推薦算法[J].計算機學(xué)報,2010,33(8):1369-1377.

[6] 楊杰.個性化推薦系統(tǒng)應(yīng)用與研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2009:16-22.

[7] Yigit M,Bilgin B E,Karahoca A.Extended topology based recommendation system for unidirectional social networks[J].Expert Systems with Applications,2015,42(7):3653-3661.

[8] Zhang Y,Liu Y D,Zhao J.Vector similarity measurement method[J].Technical Acoustics,2009,28(4):532-536.

[9] Qiao Junfei,Han Honggui.Optimal Structure Design for RBFNN Structure[J].Acta Automatica Sinica,2010,36(6):865-872.

[10] 周維華.RBF神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)與參數(shù)優(yōu)化研究[D].上海:華東理工大學(xué),2014:13-21.

[11] 劉金琨.RBF神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制MATLAB仿真[M].北京:清華大學(xué)出版社,2014:227-280.

[12] 劉淇.基于用戶興趣建模的推薦方法及應(yīng)用研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2013:33-58.

[13] 楊芳,潘一飛,李杰,等.一種改進的協(xié)同過濾推薦算法[J].河北工業(yè)大學(xué)學(xué)報,2010,39(3):82-87.

A NEW COLLABORATIVE FILTERING RECOMMENDATION ALGORITHM BASED ON RBF NEURAL NETWORK

Ye Lanping Liu Feng Zhu Erzhou*

(SchoolofComputerScienceandTechnology,AnhuiUniversity,Hefei230601,Anhui,China)

Traditional collaborative filtering recommendation algorithms have the problem of over dependence on neighbouring users in the prediction of target users’ rating while neglecting the rating characteristic of target users themselves. Aiming at the problem, this paper proposes an improved RBF-based neural network prediction method. The method uses RBF (radial basis function) neural network to carry out model training on the projects rating data of neighbouring users first, and gets the target user-based network rating model; then it calculates in combination with the rating of target user its own to obtain a rating result which is based on the model; at last, it combines the model ratings of all the neighbouring users to predict the final rating of target user on target items. The improved algorithm learns from the similarity between neighbouring users and considers the rating characteristics of target user its own as well. Experimental results show that the improved collaborative filtering recommendation algorithm is able to achieve better recommendation results than the traditional algorithms.

Collaborative filtering Rating deviation RBF neural network User rating data model

2015-05-16。國家自然科學(xué)基金項目(61300169)。葉蘭平，碩士生，主研領(lǐng)域：智能計算。劉鋒，教授。朱二周，講師。

TP301.6

A

10.3969/j.issn.1000-386x.2016.11.042