基于數(shù)據(jù)融合方法的群推薦系統(tǒng)研究

王 銳李 軍葛曉濱葉淳康

（1 安徽城市管理職業(yè)學院，安徽 合肥 231635）

（2 安徽工商管理學院，安徽 合肥 230027）

（3 安徽財貿(mào)職業(yè)學院，安徽 合肥 230601）

（4 香港城市大學，香港 999077）

1 引言

推薦技術(shù)在當今的互聯(lián)網(wǎng)產(chǎn)品中已經(jīng)得到了廣泛的運用，它可以根據(jù)用戶的行為數(shù)據(jù)，結(jié)合機器學習和數(shù)據(jù)挖掘算法，自動的給用戶提供內(nèi)容，在提高網(wǎng)絡(luò)使用效率上發(fā)揮了積極的作用。隨著互聯(lián)網(wǎng)技術(shù)和用戶需求的發(fā)展，推薦系統(tǒng)針對不同的情境需要不同的解決方案。群推薦希望對一群用戶推薦可能存在共性的內(nèi)容，這種形式的推薦技術(shù)在團購，餐飲，旅游，興趣小組等集體性質(zhì)的互聯(lián)網(wǎng)產(chǎn)品上有很大的需求。隨著互聯(lián)網(wǎng)虛擬社區(qū)發(fā)展，加入群組獲得信息和資源比單一的搜索和使用普通個性化推薦更加有效，因為前者需要明確的目標，而后者需要豐富的歷史信息，群組自動集中了興趣相似的用戶并通過群推薦技術(shù)把推薦得到的內(nèi)容推薦給所有人，既提高效率也增強了效果，加上群組中的用戶之間可以進行交流，讓推薦更加具有互動性。

數(shù)據(jù)融合作為一門信息處理技術(shù)，在信息檢索、搜索引擎等互聯(lián)網(wǎng)應(yīng)用上也有很廣泛的運用。另外，作為一門新興的交叉學科，其發(fā)展的適應(yīng)性很強，但是暫時很少有研究將數(shù)據(jù)融合技術(shù)運用到群推薦領(lǐng)域，或者重點突出數(shù)據(jù)融合的思想在群推薦技術(shù)中的作用，更多的是簡單的平均加權(quán)得到推薦結(jié)果。群組推薦對推薦的數(shù)據(jù)融合類似于信息檢索中的數(shù)據(jù)融合，同時也存在著差異性。信息檢索系統(tǒng)得到的檢索結(jié)果是匹配搜索得到的結(jié)果，其有效性與搜索相關(guān)，所以其數(shù)據(jù)融合技術(shù)圍繞檢索結(jié)果相對于搜索的準確性，而群組推薦不存在搜索項，其效果是推薦后評估得到的。其融合的關(guān)鍵并不是準確性，而是用戶之間的相似點?；诖?，檢索系統(tǒng)數(shù)據(jù)融合中很多關(guān)于準確性的融合算法設(shè)計思想并不適用于群組推薦。如何研究出更適應(yīng)群組推薦特性的數(shù)據(jù)融合技術(shù)也是把數(shù)據(jù)融合技術(shù)融入群組推薦的關(guān)鍵以及難點。

本文試圖運用一種更適合群組推薦的數(shù)據(jù)融合方法來發(fā)掘用戶的商品偏好模式。由于群中每個用戶的推薦列表的偏好分值的量綱并不統(tǒng)一，而簡單的標準化并不能解決這個問題并帶來了更多數(shù)據(jù)缺失產(chǎn)生的誤差。而使用馬氏距離等距離測算方法大大增加了數(shù)據(jù)融合的復雜性和實現(xiàn)難度。因此，本文運用了一種基于排序的用戶偏好相似性度量，這種度量方法在確定相似性過程中忽略了推薦列表評分值，僅根據(jù)推薦商品的排序進行度量，得出的用戶之間的相似度是量綱統(tǒng)一的。并且缺失值對結(jié)果的影響遠小于基于分值的相似度確定方法，在效果上結(jié)合了高效和高質(zhì)量的優(yōu)點。由排序相似性最后求得用戶的偏好權(quán)重在反應(yīng)用戶和群組的相似性效果上比單純的推薦分值距離測算更接近事實，而在效率上比馬氏距離等復雜距離公式高效。

2 基于數(shù)據(jù)融合的群推薦系統(tǒng)框架

本文使用聚集預測模型，首先將預處理得到的用戶行為矩陣使用傳統(tǒng)的協(xié)同過濾技術(shù)得出單個用戶的推薦列表，再使用數(shù)據(jù)融合的思想計算出每個用戶的權(quán)重，最終采用加權(quán)融合技術(shù)測算得到群推薦結(jié)果。

首先我們使用傳統(tǒng)的協(xié)同過濾算法得到單個用戶的推薦列表，其主要包括相似性度量尋找近鄰以及項目評分預測。實驗使用MyMediaLite軟件進行協(xié)同過濾，使用基于用戶的協(xié)同過濾，首先要確認用戶的近鄰，然后通過近鄰和相似度給每個用戶進行預測，排序后產(chǎn)生每個人的推薦列表。

圖1 基于數(shù)據(jù)融合的群推薦框架

然后我們使用基于排序的用戶相似性度量來確定群用戶之間的偏好相似性，本文根據(jù)偏好排序的無量綱性的特點設(shè)計了一種更靈活的相似性確定方法，然后根據(jù)用戶的相似度確定用戶在群中的權(quán)重，最后根據(jù)物品在群中的推薦分值分布以及用戶的權(quán)重得到該物品最終的群推薦數(shù)值，取分值Top-N物品得到群推薦列表。

3 基于排序的用戶相似度模型

3.1 基于排序的用戶相似度模型的優(yōu)勢

計算相似度有很多方法，不過大部分算法的數(shù)據(jù)是提供了用戶的評分值的，所以不存在量綱不統(tǒng)一的問題。本文考慮到?jīng)]有評分的用戶行為分值的量綱問題，提出了一種基于排序的相似性度量方法。

相似度反映了群組內(nèi)各個用戶偏好的相似性，可以想象，要想群體的整體滿意度提高，就應(yīng)該選擇群組里具有普遍偏好的商品。從另一個角度看，一個群組中和其他人偏好更接近的人應(yīng)該有更大的參考價值。比如說一個群組的大部分人喜歡體育和文學，那么一個在這兩方面都有興趣的人的推薦列表應(yīng)該比一個喜歡IT的人重要的多，同時也比喜歡體育但不喜歡文學的人要重要。如果給相似度較高的人較高的權(quán)重，那么群推薦的滿意度應(yīng)該就會提高。因為其更接近群的偏好。

如果給用戶按照和群的相似度從左到右排序并設(shè)為x軸，推薦結(jié)果設(shè)為y軸，并將數(shù)值抽象為n維一個點，我們可以假設(shè)如果這些用戶做出推薦都是獨立同分布的，那么群推薦系統(tǒng)情境下的用戶權(quán)重也應(yīng)該符合高斯分布，那么和群相似性越高的用戶也就是差異度越低的用戶權(quán)重也越高，如圖2。圖中相似度可以粗略假定為和0軸的接近程度。我們可以假定權(quán)重等于相似性的概率。當然如果有適用于計算n維的高斯分布和確定的群推薦結(jié)果的n維表達，我們還可以進一步優(yōu)化權(quán)重的表達。

本文使用數(shù)據(jù)融合的方法來反應(yīng)用戶之間的相似度，通過對集中數(shù)據(jù)融合方法的研究，我們可以發(fā)現(xiàn)基本的數(shù)據(jù)融合方法都適用于群推薦系統(tǒng)，不過由于情境的不同，方法的效果在具體運用時需要根據(jù)群推薦本身的特征加以改進。

正是基于這種考慮，我們設(shè)計了一種計算用戶之間排序相似度的算法，并進而計算每個用戶的相似度權(quán)重用。該算法可以解決量綱的問題，同時對缺失值的處理較好，在無評分的推薦結(jié)果聚集情境下的效果較好。

圖2 偏好相似性和權(quán)重的關(guān)系

3.2 基于排序的用戶相似度模型的實現(xiàn)

正如上文所說，評分的相似度在本文的情境下無法實現(xiàn)，不過推薦列表的排序量綱性，因為每個人的商品集是一樣的。雖然最后的個人推薦列表各不相同，我們可以從中發(fā)掘出關(guān)于排序的模式相似度的一個度量。我們首先計算每兩個用戶之間的相似度，然后求得相似度平均值作為用戶和群組的相似度度量，即得到用戶的相似度權(quán)重。

本文結(jié)合了一種要素模型來解釋相似度，認為兩個對象之間的偏好相似度應(yīng)該考慮相同內(nèi)容占所有內(nèi)容的比例。

兩個對象之間的共有元素可以用相似性度量的要素模型來解釋，最常用的包括要素—匹配模型，如圖3所示，A，B分別表示兩個不同的對象，則兩個對象之間的相似度可以用公式（1）來計算。

其中f（X）函數(shù)表示集合所含元素的個數(shù)，x，y，z分別表示三個集合的權(quán)重，在這里我們定義為1，因為每個物品都是相同屬性并且互相獨立的。Sim表示集合部分的相似性，由于不重合部分我們不能判斷排名差異，我們估算為0，這存在一定的誤差。

圖3 要素—匹配模型

接下來我們就要計算相同元素的相似性，我們假設(shè)群組有p個用戶，每兩個人的推薦列表擁有同樣的推薦數(shù)量n，如果兩人間重復的推薦商品為m，如公式（2）。其中m表示兩個對象間相同元素的個數(shù)，rA（di）表示用戶 A 對物品 i的排名。

計算完相似度后，我們可以得到一個（p-1）*（p-1）的相似度矩陣，然后我們用公式（3）求得每個用戶的相似度向量的平均值作為相似度權(quán)重。

相似性度量算法的證明如下：

a）自反性

當A=B時，即可以得出推薦列表相同，相同推薦物品數(shù)m=n，并且排名相同，顯然可以證明等式（4），進而可以得出 Sim=1。

b）對稱性

首先根據(jù)絕對值的性質(zhì)，我們可以得出|a-b|=|b-a|，然后我們可以發(fā)現(xiàn)A和B的相同物品數(shù)也符合對稱性即 m=m，設(shè)相似性度量公式簡寫為，我們可以得出等式（5），得證。

c）取值范圍

根據(jù)要素匹配模型的基本定義，我們可以得出該相似性度量的取值范圍取決于每個要素的相似性取值范圍，由于非重復部分的取值等于0，取值范圍取決于m的值以及重復部分的相似性取值。確定m后，相似度取值范圍為[0，m/(2*n-m）]。首先我們可以得出排序差值絕對值除以n-1，也就是最大排序差值的取值范圍為[0，1]，所以m個上述值的平均數(shù)也符合該取值范圍，只有當兩個排名相等時等于0，當兩個排名正好是最高和最低時等于1，該式計算兩個排名的差異度，1減去該式為相似度。整體的相似度還需考慮到m的取值，只有m=n并且排名相同時相似度等于1.

在得到了每個用戶的權(quán)重之后，我們就可以得到每個商品的融合推薦數(shù)值，文章使用線性加權(quán)如

G表示群組，I表示物品，群組u表示用戶，w表示用戶權(quán)重。取Top-n為群組推薦列表。

4 實驗與測試

4.1 實驗使用的數(shù)據(jù)集

本文使用有超過1500萬活躍聽眾的全球最大的社交音樂平臺Last.fm的數(shù)據(jù)集作為測試集。Last.fm是一家充分利用用戶的收聽習慣的音樂個性化網(wǎng)站，通過每個用戶的收聽行為提供個性化推薦，聯(lián)系品味相近的用戶，提供定制的電臺廣播及更多其他服務(wù)。通過the Scrobbler軟件記錄用戶在iTunes,foobar等國際上主流的音樂播放器的音樂行為。

使用的數(shù)據(jù)集包含10936545條user-item-tag記錄和1011280條group-user記錄為原始數(shù)據(jù)，其中每條user-item-tag記錄代表該用戶標簽過該音樂和所作的標簽，每條group-user記錄代表某群組有這個用戶。數(shù)據(jù)包含了99405個用戶（其中活躍用戶52452個，也就是有記錄的用戶），1393559首音樂，282818種標記以及66428個群組，由于數(shù)據(jù)量龐大，我們需要對數(shù)據(jù)進行縮減過濾。

實驗首先得到每個用戶對應(yīng)的記錄次數(shù)，設(shè)置10為閾值，得到活躍用戶29305位。然后選取活躍度最高的10個群組用于之后的協(xié)同過濾，因為這些用戶可能會有更多相似的愛好。這10個群組包含30772條group-user記錄，其中活躍用戶9598位，這些用戶對應(yīng)的不重復user-item記錄1874596條，去除只標記1次和2次的音樂還剩下627826個記錄，用戶6620個。以此作為接下來協(xié)同過濾的目標數(shù)據(jù)源。實驗證明該數(shù)據(jù)源得到的矩陣稀疏性明顯改善。并且數(shù)據(jù)量不會占用過大的內(nèi)存。將記錄的80%設(shè)置為訓練集，剩下20%設(shè)置為實驗集，為實驗用的群組中的每個用戶推薦一定數(shù)量的歌曲，由此得到用戶的協(xié)同過濾的結(jié)果，數(shù)據(jù)分為用戶，音樂以及分值三列。

為了簡化實驗過程，選取用戶數(shù)在5—80區(qū)間并且大部分屬于這6620人的群組，然后把這些群組根據(jù)人數(shù)分為3大類，進行后續(xù)的實驗和檢驗。在這里，群組劃分為5—10人，10—30人，30—80人三類，每類協(xié)同過濾分別推薦200，400和800個商品。

4.2 推薦結(jié)果有效性評價指標

本文使用召回率值和f1值來測評推薦算法的優(yōu)劣，計算公式如下：公式（6）對每個商品進行計算。

召回率公式可以檢驗推薦算法的預測結(jié)果，越多的物品被推薦，說明該方法推薦越符合用戶的可能偏好。F1考慮到精確度以及召回率，不過兩個公式都不能檢測用戶以及群的滿意度，這一點限于數(shù)據(jù)的單一性，不能得到用戶的評分以及反饋，也希望后來的研究可以得到改善。

4.3 實驗結(jié)果及展示

由于A群的用戶仍然偏少，很多組的結(jié)果都基本相同且召回率大大低于其他群組，文章過濾了這些群組，剩下的10組用于檢驗結(jié)果的比對。10—30組也存在召回特別少的群組，取10組用于實驗。30—80人的取所有15組用于實驗。

4.3.1 A群實驗結(jié)果

首先我們比較A群的使用不同方法的召回率和f1值。我們分別畫出四種方法在推薦50、100和200首歌時的線形圖，如圖4和5：

圖4 A在推薦不同數(shù)量音樂時4種方法的平均召回率

圖5 A在推薦不同數(shù)量音樂時4種方法的平均F1值

可以發(fā)現(xiàn)文章算法在5—10群組中本文方法有效性和其他3種方法一樣都不太穩(wěn)定，在推薦數(shù)量較大時CombMNZ算法表現(xiàn)出較好的效果，因為他考慮到每個物品被提及的次數(shù)，這在預測問題上會體現(xiàn)出比較直觀的效果，特別是小群組的情況，CombMAX方法總體較差，因為他只考慮最高的分值，忽略了其他用戶的分值，這種方法在用戶滿意度上會表現(xiàn)出更差的效果?？偟膩碚f，4種方法在小群組的有效性并不固定，說明測評方法在小群組分析中并不穩(wěn)定。文章認為這是因為小型興趣群組的每個用戶之間的關(guān)系難以反映出趨勢，另外協(xié)同過濾推薦的商品偏少，算法求出來的權(quán)重不會相差太多，加上協(xié)同過濾算法推薦列表的局限性，很難有新產(chǎn)品的突破。為此，我們認為如果能由此分析出群組偏好進行結(jié)合基于用戶和基于物品的協(xié)同過濾方法，也許會有更大的突破。

4.3.2 B群實驗結(jié)果

然后我們比較B群的不同方法的召回率和f1值。分別畫出推薦50、100和200首歌時的線形圖，如圖6和7：

圖6 B在推薦不同數(shù)量音樂時4種方法的平均召回率

圖7 B在推薦不同數(shù)量音樂時4種方法的平均F1值

在推薦大小在10—30用戶的群組時，本文方法表現(xiàn)出較好的推薦效果。并且我們可以發(fā)現(xiàn)CombMAX方法在群組人數(shù)增大時效果會明顯變差，進一步驗證了上一小節(jié)關(guān)于該方法的假設(shè)再推薦50,100和200首歌時本文方法的召回率和F1值都比CombMAX提高10%—20%。CombMNZ方法在這次實驗中沒有表現(xiàn)出優(yōu)勢，在推薦200首音樂時本文方法的召回率和F1值分別比CombMNZ高13.8%和13.7%。文章認為該方法給物品提及數(shù)賦予了過度的權(quán)重。CombSUM和本文方法都比較穩(wěn)定，從數(shù)據(jù)上可以發(fā)現(xiàn)，本文方法在推薦50首音樂時效果和CombSUM類似，推薦100首音樂時召回率比CombSUM方法提高3.3%，F(xiàn)1值提高3.8%，推薦200首音樂時召回率提高1.8%，F(xiàn)1值提高3.5%。經(jīng)過以上對比測算，本文所提出的方法試驗效果最好。

4.3.3 C群實驗結(jié)果

最后我們比較C群的不同方法的召回率和f1值。畫出推薦50,100和200首歌時的線形圖，如圖8和9：

圖8 C在推薦不同數(shù)量音樂時4種方法的平均召回率

圖9 C在推薦不同數(shù)量音樂時4種方法的平均F1值

在C類群組中，有效用戶占比例較少，可能會有大量的信息丟失，不過另一方面，用戶數(shù)增多可以更好反映方法的有效性，可以發(fā)現(xiàn)C群的實驗結(jié)果和B群類似，本文方法稍優(yōu)于CombSUM以及CombMNZ，在推薦50首音樂時三種方法類似，在推薦100首音樂時，本文方法比CombSUM的召回率和F1值都提高3.2%左右，比CombMNZ高1%左右。在推薦200首音樂時，本文方法比CombSUM的召回率和F1值都提高5.5%左右，比CombMNZ高2%左右，本文方法推薦不過并不明顯，CombMAX方法效果明顯不如其他三種，不過推薦多少音樂，本文方法的召回率和F1值都比CombMAX高出10%以上。

總的來說，本文的方法在用戶數(shù)在5—10人的群中并沒有體現(xiàn)出優(yōu)勢，隨著群組人數(shù)增加，方法表現(xiàn)出比其他方法更好的推薦效果，特別在推薦較多商品時，其召回率和F1值的效果較好。不過還不是很明顯，說明相似性度量還需要不斷地改進，由于召回率和f1比較了了方法的預測能力，而本文方法提高了推薦商品和群組的相似性，提高推薦的滿意度。更好的評測方法需要進一步的探究用戶的滿意度等。

5 總結(jié)與展望

本文對傳統(tǒng)的群推薦技術(shù)提出了改進和創(chuàng)新，結(jié)合數(shù)據(jù)融合的思想提高群推薦的總體滿意度和精度。文章認為提高群推薦的效果和滿意度需要考慮群用戶之間的關(guān)系，而這一點也可以在做出單個用戶推薦后通過算法比較，文章使用用戶的排序相似性計算每個用戶和群組的整體相似度從而計算用戶的權(quán)重，利用線性加權(quán)得到修正的群推薦列表，該方法在保留了原本個性化推薦算法的優(yōu)勢的前提下，通過再次比較得到更優(yōu)的效果，而且和得到個人推薦的算法是相互獨立的，本文使用了基于用戶的協(xié)同過濾算法，得到結(jié)果相比傳統(tǒng)的推薦結(jié)果更接近群組偏好，進一步提高推薦的滿意度以及推薦效果。

未來我們將進一步優(yōu)化相似性算法，現(xiàn)在的計算只是對協(xié)同過濾的結(jié)果進行上述計算，這其中仍然存在信息的缺失。如何提高精度是下一步需要研究的，尋找更科學可靠的相似性度量方法，結(jié)合更適合群推薦的推薦算法以進一步提高推薦效果。本文給出的建議是建立物品的類別屬性，將相同屬性的物品歸為同樣的類別，并且可以調(diào)整類別的聚集精度。用這種方法可以大大降低排序誤差帶來的影響，可以更好地確定群組偏好以及用戶在群組內(nèi)的重要性。

[1]ORTEGA F，BOBADILLA J,HERNANDO A,etc.Incorporating group recommendations to recommender systems：alternatives and performance[J].Information Processing Management，2013，（4）：895-901.

[2]梁昌勇，冷亞軍，王勇勝，等.電子商務(wù)推薦系統(tǒng)中群體用戶推薦問題研究[J].中國管理科學，2013，（3）：153-158.

[3]趙茲，馬江洪.信息檢索中的兩個數(shù)據(jù)融合方法比較[J].計算機應(yīng)用，2010，（1）：54-56.

[4]何軍.國外群推薦聚集策略研究綜述[J].圖書情報工作，2013，（7）：127-133.

[5]李汶華，熊曉棟，郭均鵬.一種基于案例推理和協(xié)商的群體推薦算法[J].系統(tǒng)工程，2013，（11）：93-98.

[6]李岱峰，覃正.一種基于資源多屬性分類的群組推薦模型[J].統(tǒng)計與決策，2010，（8）：153-155.

[7]朱國瑋，楊玲.基于遺傳算法的群體推薦系統(tǒng)研究[J].情報學報，2009，（6）：946-951.

[8]郭均鵬，趙夢楠.面向在線社區(qū)用戶的群體推薦算法研究[J].計算機應(yīng)用研究，2014，（3）：696-699.

[9]郭均鵬，寧靜，史志奇.基于區(qū)間型符號數(shù)據(jù)的群組推薦算法研究[J].計算機應(yīng)用研究，2013，（1）：67-71.

[10]張佳樂，梁吉業(yè)，龐繼芳，等.基于行為和評分相似性的關(guān)聯(lián)規(guī)則群推薦算法[J].計算機科學，2014，（3）：36-40.

[11]朱阿敏，劉業(yè)政，韓建妙.基于優(yōu)化協(xié)同過濾與加權(quán)平均的群推薦方法[J].計算機工程與應(yīng)用，2016，（5）：65-70.

[12]Wikipedia： http：//en.wikipedia.org/wiki/Iteratively_reweighted_least_squares

[13]WANG Y H.Least square method and minimal sum of distances over non-archimedean local fields[J].中國科學院研究生院學報，2004，（4）：447-450.

[14]吳勝利.一種信息檢索自適應(yīng)數(shù)據(jù)融合方法：103116623[P].2013-05-22.

[15]項亮.推進系統(tǒng)實踐[M].北京：人民郵電出版社，2012：44-64.

[16]SEGARAN T.Programming collective intelligence[M].USA，O’Reilly Media，2007.

[17]徐濤，楊國慶.數(shù)據(jù)融合的概念，方法及應(yīng)用[J].南京航空航天大學學報，1995，（2）：258-265.

[18]MACDONALD C，OUNIS I.Searching for expertise：experiments with the voting model[J].The Computer Journal，2009，（7）：729-748.

[19]孟妮娜，艾廷華，周校東.顧及排序差異的對象群鄰近關(guān)系相似性計算[J].武漢大學學報（信息科學版），2013，（6）：737-741.

[20]NG P.A group recommender for movies based on content similarity and popularity[J].Information Processing and Management，2012，（3）：673-687.