基于用戶群、項目、模型的協(xié)同推薦服務研究

陳蘊博

（山東省德州市第一中學，山東 德州 253023）

基于用戶群、項目、模型的協(xié)同推薦服務研究

陳蘊博

（山東省德州市第一中學，山東 德州 253023）

協(xié)同推薦技術在信息資源檢索與利用領域具有廣泛的應用前景，但是，由于數(shù)據(jù)稀疏、冷啟動等原因，導致現(xiàn)有的協(xié)同推薦技術個性化服務的水準不高。為了提高技術服務的高效性，提出了基于用戶群、項目、模型多種方式的協(xié)同推薦服務的方法創(chuàng)新和技術改進，希望通過必要的技術闡釋為業(yè)界人士的研究提供參考。

協(xié)同推薦技術；用戶群；技術服務；信息資源

1 協(xié)同推薦服務的基本原理

協(xié)同推薦是一項極為重要的、被廣泛研究的、具有極高應用價值的個性化推薦服務技術。它通過發(fā)現(xiàn)用戶與使用用戶之間、資源項目與受益項目之間存在的關系特征和關聯(lián)模式，來向使用用戶推薦具有興趣取向的、有價值的資源或項目。協(xié)同推薦的認知基礎是：①用戶對資源的認同是可以按照興趣分類的；②用戶對各類資源的分析評判或訪問行為內包含用戶的興趣和需求；③用戶對新生資源的分析評價將與其興趣相似用戶的分析評價具有一致性。這3點構成了協(xié)同推薦的基礎。一般情況下，協(xié)同推薦體系選擇與使用用戶有相同或相似興趣的用戶群作為實施對象，為此，如何明確用戶興趣的相似性以及如何選擇使用用戶群應是協(xié)同推薦服務技術的研究重點。

在一般性的協(xié)同推薦處理過程中，被推薦的資源稱為項目或條目。在不同的應用領域，項目可以是文獻（圖書、期刊）、視頻（電影、歌曲）或者是其他某商品，用戶與項目相互之間的訪問、評論、采購和下載等行為被解釋為用戶—項目評價矩陣，如圖1所示。矩陣中所呈現(xiàn)的評價值可以是用戶自主判斷給出的顯性評價，也可以是矩陣系統(tǒng)給出的用戶行為的隱性評價[1]。這樣，協(xié)同推薦行為被轉化為如何從用戶—項目評價矩陣中評議、挖掘和獲取出有價值的特征模式和項目用于生成使用用戶的活動內容推薦列表。

如圖1所示，協(xié)同推薦的機理過程由輸入評價、協(xié)同推薦算法和輸出結果3部分組成，也就是用戶輸入評價信息、協(xié)同推薦引擎運行產(chǎn)生推薦預測評判、輸出推薦預測結果3個步驟。一般來說，協(xié)同推薦引擎對用戶來說是一個“黑盒”處理過程，推薦結果的處理程序對于用戶是透明的。

獲取使用用戶的訪問行為、用戶對資源的興趣等數(shù)據(jù)，例如用戶對資源的閱覽、下載、采購等交互行為，用戶對資源屬性或興趣程度的評價等。用戶訪問、下載和評價資源的獲得方式是顯性的，是一個明確標引的過程。

分析和發(fā)現(xiàn)用戶之間、項目之間的特征指數(shù)，例如相似性和關聯(lián)度，將其視為協(xié)同推薦預測評價的基礎。使用用戶之間的相似程度的概率可以通過相似性計算方法或邏輯統(tǒng)計算式來預算使用用戶的若干個最近相鄰值，而發(fā)現(xiàn)用戶的關聯(lián)值則可以利用相似規(guī)則數(shù)據(jù)挖掘的方式得到[2]，也可以通過使用用戶給予資源的評價而計算出發(fā)現(xiàn)用戶的相似性表達意向。根據(jù)用戶的訪問實時過程，相應產(chǎn)生和表現(xiàn)推薦列表。推薦列表有2種表現(xiàn)形式，即推薦和預測。推薦是提供給發(fā)現(xiàn)用戶一個具有若干項最感興趣的項目列表，也就是根據(jù)用戶的興趣愛好推薦最有可能吸引用戶的若干個項目，按照推薦程度的強烈排序。預測是依據(jù)用戶設定的一系列待評價項目，根據(jù)預測算法計算用戶對系列項目的預測評分值，并進行預測值表現(xiàn)。

圖1 用戶—項目評價矩陣

協(xié)同推薦的特點是無需全面分析用戶的內在屬性，對用戶無特殊的要求，能夠及時處理非結構化的復雜對象。另外，協(xié)同推薦根據(jù)評價內容能夠產(chǎn)生意想不到的效果，超出用戶原本預測推薦的目的。協(xié)同推薦重點注重群體性用戶的訪問行為，與基于趨向內容的推薦技術不同，它預測評價和計算處理的是群體用戶之間的訪問行為或興趣描述，而不是單個用戶與資源的直線式交流。由于協(xié)同推薦是指，向群體性用戶來推薦資源和預測評價的，因此，它完全可以為使用用戶推薦出更為新鮮的項目和內容。

從理論上講，協(xié)同推薦技術具有客觀的明確性，在實踐應用上具有可操作性。但是，通過實際運用，發(fā)現(xiàn)其存在一定的局限性，即為了獲得令人滿意的效果，必須建立在擁有足夠數(shù)量的用戶信息數(shù)據(jù)的基礎上，這是很難做到的，所以，迫使協(xié)同推薦技術在應用上被約束、限制，例如在面向內容的文本信息處理和信息資源開放獲取等方面還存在應用的空白。協(xié)同推薦面臨的問題有：①內容量少的問題。在一些推薦系統(tǒng)中，用戶所內含的信息量相當有限，即使在一些大系統(tǒng)，例如Amazon網(wǎng)站中，用戶最多也就評價了一百萬本書中的1%～2%.由于評價數(shù)據(jù)量少，尋找相似的用戶群相當困難，導致推薦效果大大降低。②首先評價問題，也稱為冷啟動問題，包括新項目問題和新用戶問題。如果一個新項目沒有被用戶所評價，這個項目肯定不會被推薦，推薦系統(tǒng)則就失去了原有的作用。同樣，如果一個新用戶沒有評價推薦系統(tǒng)中的項目，則推薦系統(tǒng)不可能獲知用戶的興趣指數(shù)，也就無法向用戶評價、推薦。③擴展性問題。目前，大部分協(xié)同推薦預測計算算法的量值隨著用戶群數(shù)和項目數(shù)的增加而不斷增加，對于百萬級的數(shù)目，一般的算法遭遇到擴展性的問題。對于上述前2個問題，較為妥善的解決方案是，將協(xié)同推薦和基于趨向內容的興趣資源推薦結合應用于推薦系統(tǒng)中。對于第3個問題，由于大多數(shù)預測算法可以離線實施后臺計算，隨著計算機運算能力的提高和運算方法的改進，可擴展性問題并非是特別嚴重的問題。

2 基于用戶群的協(xié)同推薦服務

基于用戶群的協(xié)同推薦，其核心思想是假如用戶之間的檢索行為具有一定程度上的相似性，即為相似行為的用戶群，會實施相同或相似的選擇。系統(tǒng)研究、分析用戶對項目的興趣評價，得出用戶群之間的相似性，從而進一步進行預測、推薦?；谟脩羧旱膮f(xié)同推薦使用統(tǒng)計的方法來查詢和落實用戶相近的鄰居，如果用戶的相鄰鄰居被找到，系統(tǒng)會運用不同的算法綜合分析這些相似的評價，并依此為使用用戶提供預測或對若干個評價項目進行推薦[3]。這種算法簡捷明了，精確度相對比較高，目前，實際使用的協(xié)同推薦算法方式大多屬于這種類型，如圖2所示。

圖2 基于用戶群的協(xié)同推薦流程

對于給定的用戶—項目評價矩陣，典型的基于用戶群的協(xié)同推薦可以分為3個部分：①計算發(fā)現(xiàn)用戶與使用用戶之間的相似程度。當用戶被指定推薦時，他們往往信任與他們有相似興趣的用戶。為此，要先得出發(fā)現(xiàn)用戶與使用用戶之間的相似度。②實施最相鄰查詢。依據(jù)發(fā)現(xiàn)用戶與使用用戶之間的相似度和所匹配的項目，明確發(fā)現(xiàn)用戶的最近相鄰用戶群集合。③計算預測數(shù)值。將相鄰用戶的測評分值進行加權，作為使用用戶的評分值。這樣做的目的是為需要推薦服務的使用用戶找尋具有相似度的最近鄰居集合，即通過一個發(fā)現(xiàn)用戶A，產(chǎn)生按照相似度大小排列的鄰居集合N＝{N1，N2，…，Ni}，A≠N，從N1到Ni，用戶之間的相似度sim（A，Ni）從大到小排列。圖3顯示了協(xié)同推薦服務中用戶鄰居的形成過程：當計算發(fā)現(xiàn)用戶A與使用用戶之間的相似性時，圖中以A為中心的K＝5個最相鄰用戶被確定為鄰居。在得到發(fā)現(xiàn)用戶與各個使用用戶之間的相似性數(shù)值以后，要確定應該選取多少個使用用戶作為該發(fā)現(xiàn)用戶的鄰居來計算最終的預測值。一般情況下，有2種方法選取鄰居數(shù)目：①提前設定一個相似性閾值，只有那些與發(fā)現(xiàn)用戶之間相似值超過閾值的使用用戶才能被視為鄰居。在這種方法中，閾值高，則說明發(fā)現(xiàn)用戶與鄰居具有較好的相似性，但是滿足條件的鄰居數(shù)量會減少，導致很多預測不會產(chǎn)生；如果閾值過低，則超過閾值的鄰居數(shù)目會增多，閾值的作用沒有體現(xiàn)出來。②選擇K個相似性較大的使用用戶作為鄰居，如果K值過大，那么，相似性小的鄰居會影響到最終的預測結果；反之，如果K值過小，那么，一些使用用戶的要求沒有被考慮進去。

圖3 用戶“鄰居”的形成過程

發(fā)現(xiàn)用戶的最新鄰居集合形成之后，可以依據(jù)若干個符合閾值要求的鄰居集合對項目的評分來預測使用用戶對各個項目的感興趣程度。使用的預測公式為：

式（1）中：Wa，u為發(fā)現(xiàn)用戶a與相鄰的使用用戶u的相似度；Ru為鄰居u的平均評分值；k為一個規(guī)范化系數(shù)。

為了獲得最相鄰用戶對項目的評分，需要運算發(fā)現(xiàn)用戶與使用用戶之間的相似度。運算用戶之間相似度的方法主要有3種，即余弦相似性、相關相似性、修正的余弦相似性。在余弦相似性運算中，可以將用戶對項目的評分視為n維項目立體空間上的向量，如果用戶沒有給項目評分，則評分值設為0.用戶之間的相似性通過向量之間的余弦夾角度量。設定用戶i、用戶j在n維項目空間上的評分值分別表示為向量，那么，用戶i與用戶j之間的相似度sim（i，j）為：

式（2）中，分母用于平衡化，促使預測評分較多的用戶在運算中保持與其他用戶之間的平衡。在余弦相似性計算中，將用戶沒有給項目評分的分值定為0，這樣能夠提高運算效能，但是，在項目數(shù)量特別多且用戶評價數(shù)據(jù)少的情況下，這樣做會導致推薦程度的可信度降低。

設定用戶i和用戶j一同評價過的項目集合用Iij來表示，這樣用戶i與用戶j之間的相似性sim（i，j）可以通過Pearson系數(shù)wi,j來衡量。Pearson系數(shù)用來衡量變量之間的平衡關系。用戶i與用戶j之間的相似性sim（i，j）為：

式（3）中：Ri，k和Rj，k分別為用戶i和用戶j對項目k的評分值；Ri和Rj分別為用戶和用戶在各自所有測評項目上的評分的平均值；K為用戶i和用戶j重合的項目數(shù)。

由于Pearson系數(shù)是從線性運算模型產(chǎn)生的，所以，它需要在滿足一定的條件下才能使用，即預測評價值之間的關系是線性的，殘差之間必須相互獨立。

在余弦相似性計算中，沒有考慮用戶之間的測評尺度問題，例如用戶甲給其最感興趣的項目評分是4，而不是5，給印象最差的項目評分是1而不是2；用戶乙給其最感興趣的項目評分是5，印象最差項目評分是2.如果采取余弦相似性方法運算，2個用戶的評價差異很大。修正的余弦相似性計算方法是通過減去用戶對項目的平均評分值來改善以上缺陷的。設定用戶i和用戶j一同評議過的項目集合為Iij，Ii和Ij分別表示用戶i和用戶j評議過的項目集合，則用戶i與用戶j之間的相似性sim（i，j）為：

3 基于項目的協(xié)同推薦服務

基于項目的協(xié)同推薦服務，其基本點是項目之間有某種程度的關聯(lián)性或相似性。通過用戶對項目的評價分析，得出項目之間的相似性，或者發(fā)現(xiàn)項目之間的關聯(lián)性，從而進行合理的推薦。項目之間的關聯(lián)性分析歸為基于關聯(lián)挖掘的方法進行處理，本文將在基于模型的協(xié)同推薦技術中進行討論?；陧椖康膮f(xié)同推薦的處理方法是先依據(jù)用戶—項目矩陣求出項目之間存在的關系，然后依據(jù)這些關系推出推薦給用戶的結果，推薦給用戶的結果通常是通過發(fā)現(xiàn)用戶感興趣的項目來完成的。與基于用戶群的協(xié)同推薦技術一樣，基于項目的協(xié)同推薦技術的關鍵是計算項目之間的相似度，從而選擇相似的項目，如圖4所示。計算項目i與項目j之間相似度的出發(fā)點是，先分離對項目進行過評價的用戶群，然后通過相似度計算技術運算出項目之間的相似度。項目之間的相似度計算公式如前所述，主要有余弦相似性、相關相似性和修正的余弦相似性。

圖4 基于用戶評價的項目相似度處理示意圖

通過相似度的計算方式明確了那些最相似的項目之后，接著就是根據(jù)發(fā)現(xiàn)用戶的評價進行項目預測計算分值。Sarwar提出了2種預測計算方法，即加權和方法、回歸方法。加權和方法是通過用戶u對與項目i具有相似性的項目的評價之和來計算用戶u對項目i的預期。每一個評價結果Ri均運用項目i與項目j之間的相似度來進行加權。這種預測值Pu，i可表示為：

回歸方法與加權和方法相似，不過回歸方法不是直接利用項目相似性的評價，而是根據(jù)回歸模型利用評價的近似值。在實際情況中，2個評價向量可能是歐幾里德距離，相離比較遠，兩者之間的相似度比較高。在這種情況下，使用余弦函數(shù)或系數(shù)方式計算的相似度會產(chǎn)生一定的誤導。這樣使用所謂的相似項目的原始評價會導致較大差錯的預測?；貧w的根本點還是運用與加權和方法相同的公式，但是，這種方法不使用相似項目N的原始評價值Ru，n，而是依據(jù)線性回歸模型使用它們的近似值R’u，n.用Ri和Rn來表示發(fā)現(xiàn)項目i向量和使用項目n向量，則線性回歸方法可以表示為：

式（6）中：參數(shù)α和β是由2個評價向量同時決定的；ε為回歸方法的計算誤差。

以上討論的基于項目的協(xié)同推薦的指導思想是，根據(jù)用戶—項目評分來尋找和衡量與某一項目相似的項目集合。實際上，基于項目的協(xié)同推薦完全可以從項目之間被訪問的關聯(lián)程度大小出發(fā)來尋找具有最大相關程度的項目集合。在這種情況下，就可以使用數(shù)據(jù)挖掘技術中的關聯(lián)規(guī)則來探尋項目之間的關聯(lián)性。

4 基于模型的協(xié)同推薦服務

基于模型的協(xié)同推薦服務方法，是將用戶的示例記錄、項目的屬性分析等，運用統(tǒng)計方法或機器學習方法挖掘數(shù)據(jù)，進而建立與用戶群或項目集合相關的特征模型，從而利用模型來生產(chǎn)推薦。基于模型的協(xié)同推薦大多采用離線預處理的方式進行運算，這樣可以加快推薦反饋的時間。當前，運用于協(xié)同推薦中模型建立的方法很多，主要有聚類方法、貝葉斯網(wǎng)絡方法和關聯(lián)規(guī)則方法等。

4.1 聚類方法

聚類方法是將具有相似興趣的用戶聚類成組，進行聚類分析后，對當前用戶的推薦可以通過與當前用戶同類的其他用戶的選擇或觀點進行平均化處理來實現(xiàn)。聚類方法推薦結果的個性化稍差一些，但是，聚類一旦形成，最終的結果會很好，這是因為此時要分析的組數(shù)要少得多[4]。聚類方法可以被當作最近鄰法中的第一步來縮小候選集。雖然將整體分為多個類會影響精確度或推薦結果，但聚類法是可以在精確度與推薦效率之間權衡的。由于聚類操作可以在離線狀態(tài)下進行，所以，在線的推薦算法產(chǎn)生的推薦效率還是比較高的。Q.L.Li等運用基于項目的最鄰近方法，使用K-means算法將項目聚類，選擇發(fā)現(xiàn)用戶已打分并且與發(fā)現(xiàn)用戶在同一聚類的項目，將用戶鄰居限制在與目標項目同一聚類的項目中，分別計算項目之間的相似度，依據(jù)最近相鄰法求出使用用戶對項目的評分預測值。Rectree與這種方法相類似，它是基于用戶的方法，先把用戶群進行聚類，擇取同一聚類的用戶群作為聚類鄰居，再進一步從聚類中明確某一用戶的鄰居。Ungar等提出了將用戶、項目分別聚類的計算方法，通過數(shù)據(jù)樣本來訓練模型。

4.2 貝葉斯網(wǎng)絡方法

根據(jù)概率論原理，協(xié)同推薦是讓人們對一個用戶有明確的認識，用來運算預測評分的期望值。假定預測評分是從0到m的整數(shù)值，則概率表達式為：

其中，概率表達式為確定的用戶對一些項目的評分，根據(jù)式（7）計算出該用戶對項目j評分為l的概率值。貝葉斯網(wǎng)絡技術方法利用訓練集構建相應的模型，模型可以通過離線運行得到，通過訓練集得到的模型比較小，預測評分結果的精確度可以與最相鄰方法媲美，因此，對模型的應用很快。貝葉斯網(wǎng)絡方法比較適用于用戶的興趣變化較慢的情況。

Pennock等人在協(xié)同推薦過程中將一個用戶看作一個聚類，n個用戶就有n個聚類，依據(jù)用戶給一些項目的評分，通過貝葉斯概率表達公式計算出一個用戶屬于n個聚類的概率，即該用戶與其他用戶屬于相同個性類型的概率，然后求出該用戶最感興趣的項目的概率。這種方法既保持了傳統(tǒng)的相似性計量方法的優(yōu)點，又涵蓋有概率意義，完全可以向用戶解釋推薦的結果。

4.3 關聯(lián)規(guī)則方法

此方法在零售業(yè)被廣泛應用，通過關聯(lián)規(guī)則挖掘可以發(fā)現(xiàn)不同類別商品在銷售過程中的相關性，并在個性化的協(xié)同推薦服務中得到應用和研究。用于協(xié)同推薦服務的關聯(lián)規(guī)則方法最早是由Fu Budizk和Hammond提出的，他們在個性化Web網(wǎng)站應用研究中，運用Apriori算法通過挖掘用戶瀏覽歷史記錄的關聯(lián)性來推薦。算法先從聚集樹發(fā)現(xiàn)匹配用戶當前訪問操作路徑的關聯(lián)規(guī)則，然后再根據(jù)推薦因子的大小確定推薦項，推薦因子定義為關聯(lián)規(guī)則的置信度乘以距離因子。由于關聯(lián)規(guī)則模型的生成可以離線進行，因此，可以保證推薦系統(tǒng)的實時性。Lin等對普通的關聯(lián)規(guī)則挖掘方法進行擴展后將其運用于協(xié)同推薦中。在他們的算法中，關聯(lián)規(guī)則的置信度定義為用戶或者項目之間的相關系數(shù)，支持度則定義為該相關系數(shù)的顯著性。關聯(lián)規(guī)則可以與用戶相關，也可以與項目相關。與用戶相關的關聯(lián)規(guī)則可以表示為：80%的用戶A和用戶B都感興趣的項目會被使用用戶所喜歡，25%的所有項目會被這3個用戶同時感興趣。具體表示公式為：{用戶A感興趣}AND{用戶B感興趣}=>{使用用戶感興趣}（C=80%，S=25%）.

為每條關聯(lián)規(guī)則給定一個分數(shù)，該分數(shù)為此規(guī)則的置信度與支持度的乘積。對于每一個項目，與此項目關聯(lián)的分數(shù)為此項目相關的所有滿足最小支持度和置信度的關聯(lián)規(guī)則的分數(shù)之和。如果與項目關聯(lián)的分數(shù)大于設定的閾值，則將此項目推薦給使用用戶。與項目相關的關聯(lián)規(guī)則可以表示為：80%同時感興趣項目1和項目2的用戶會感興趣目標項目，25%的用戶會同時對3個項目感興趣，具體表示公式為：{感興趣項目1}AND{感興趣項目2}=>{感興趣目標用戶}（C=80%，S=25%）.如果得到的關聯(lián)規(guī)則的支持度大于自動調整的閾值，則將該目標項目推薦給使用用戶。

Mobasher等將Web使用挖掘應用于協(xié)同推薦，從用戶的訪問數(shù)據(jù)中發(fā)現(xiàn)有用的模式，例如關聯(lián)規(guī)則、序列模式、用戶會話聚類等，然后從這些模式中挖掘出高質量的、有用的“總體使用概貌”。比如，提出通過對服務器日志進行事物聚類和關聯(lián)規(guī)則超圖分割聚類獲取用戶的共同瀏覽特征，再掃描所有的數(shù)據(jù)集，產(chǎn)生個性化的推薦。O’Sullivan等將協(xié)同過濾技術與基于推理的方法相結合，用于提高PTV（推薦電視節(jié)目的在線系統(tǒng)）的性能，通過關聯(lián)規(guī)則挖掘方法抽取項目之間的關系，將得到的關聯(lián)規(guī)則的置信度作為項目之間的相似度，從而得到一個相似度矩陣，然后利用得到的相似度矩陣來計算用戶之間的相似度，這樣會減少系統(tǒng)的稀疏性。

［1］李聰，梁昌勇.基于屬性值偏好矩陣的協(xié)同過濾推薦算法［J］.情報學報，2009，27（6）：884-890.

［2］Zhang M L，Zhou Z H.Multi-instance Clustering with Applications to Multi-instance Prediction［J］.Applied Intelligence，2009，31（1）：47-48.

［3］李春，朱珍民.基于鄰居決策的協(xié)同過濾推薦算法［J］.計算機工程，2010，36（13）：34-36.

［4］鄭丹，王潛平.K-means初始聚類中心的選擇算法［J］.計算機應用，2012，32（8）：2186-2188.

TP18

A

10.15913/j.cnki.kjycx.2018.01.019

2095－6835（2018）01－0019－05

〔編輯：白潔〕