基于專家系統(tǒng)的個性化推薦系統(tǒng)的設計與實現

郭青 孫健

摘 要：隨著互聯(lián)網及物流運輸行業(yè)的快速發(fā)展，越來越多的人選擇在網上挑選服飾類商品?；诜楊惿唐肪哂兄貜唾徺I率低、搭配性強、受當季流行因素影響大等特點，提出了一種基于協(xié)同過濾與專家推薦的混合推薦策略，在為商品引入流行因子的基礎之上，為用戶提供了一種更為個性化、時尚化的推薦結果。由于業(yè)務系統(tǒng)涵蓋了海量的商品及用戶數據，單機計算系統(tǒng)難以滿足推薦系統(tǒng)對計算資源的需求，在基于Hadoop平臺的基礎之上，構建了一套離線分布式推薦系統(tǒng)，為解決大數據應用背景下的數據計算問題提供了可行性案例。

關鍵詞：推薦系統(tǒng)；專家推薦；協(xié)同過濾；Hadoop；分布式計算

中圖分類號：TP311.5 文獻標識碼：A

文章編號：2096-1472（2016）-06-22-06

Abstract：With the rapid development of the internet and the logistics industry，more and more people choose to buy clothes on the internet.Base on the features of apparel goods，such as the low repurchase rate，the high matching requirements，the high dependence on seasonal fashion，the paper proposes a mixed recommendation strategy based on collaborative filtering and expert recommending.The new strategy recommends users with more personalized and more fashionable results by introducing fashion elements in the system.Because of the massive data of goods and users covered in the system，stand-alone operating systems are apparently unable to meet the requirements.The paper constructs a distributed offline computing system based on the Hadoop platform，which provides a feasible case of computing in the application of big data.

Keywords：the recommendation system；experts recommending；collaborative filtering；distributed computing；Hadoop；the mixed recommendation strategy

1 引言（Introduction）

隨著互聯(lián)網的不斷發(fā)展，市面上出現了越來越多的垂直類服裝電子商務平臺，極大的豐富了人們購買服飾類商品的選擇。然而，隨著商品數量的逐漸增多，信息冗余給用戶帶來了極大的選擇困難。如何幫助用戶從海量的商品中，篩選出用戶喜歡且滿意的商品，以提高用戶的購買率，成為當下服飾類電商平臺面臨的一大嚴峻考驗。

當前，電商推薦系統(tǒng)的推薦策略，一般可分為以下幾類：協(xié)同過濾推薦、基于內容的推薦[1，2]。前者又可分為基于商品的協(xié)同過濾推薦和基于用戶的協(xié)同過濾推薦，其本質是在商品集中尋找相似的商品，為目標用戶予以推薦，或尋找興趣、行為相似的用戶，根據相似用戶的購買行為，為目標用戶做推薦。

上述的推薦策略在電影、圖書等商品類目應用較為成熟，但是在服飾類電商中，效果不夠理想，原因如下：（1）對于用戶已經購買過的服飾，與其相似的商品，用戶再次購買的概率極低；（2）服飾類商品，更注重商品間的搭配；（3）服飾類商品，除了受用戶興趣、品味影響外，更易受到時尚潮流的驅動。

為適應服飾類電商的用戶消費特點，以及服飾搭配的時效性，本文提供了一種基于多種推薦方法的混合推薦策略。首先，提供了一種基于SVD分解的協(xié)同過濾推薦，該推薦方法能較快得尋找到與目標用戶最為相似的用戶群，從該用戶群的歷史購買行為中，挖掘目標用戶可能喜歡的商品，予以推薦。然后，根據時尚達人、一線設計師等領域內專家提供的當季時尚搭配數據集，結合用戶已經存在的購買行為，為用戶提供當季流行的潮流搭配。同時定義商品的流行因子，將專家推薦與商品的流行因子相結合，達成專家推薦結果。

將協(xié)同過濾推薦數據集，以及專家推薦數據集二者加權、排序、篩選，獲得最終的推薦結果。

本文為某服裝類電商設計了一套基于Hadoop技術的推薦系統(tǒng)。該系統(tǒng)通過對用戶的行為進行分析，根據協(xié)同過濾以及專家推薦的計算，并將二者結果加權、排序、篩選等計算，獲得最終的推薦結果，并將最終的離線計算結果，存儲在分布式存儲系統(tǒng)文件中。業(yè)務系統(tǒng)通過接口訪問的形式，將推薦數據推送至指定頁面。

2 推薦系統(tǒng)的推薦策略（Strategy of the recommend system ）

2.1 基于用戶的系統(tǒng)過濾推薦

基于用戶（User-based）的協(xié)同過濾就是利用用戶歷史行為數據集，根據用戶歷史購買行為數據、用戶歷史瀏覽行為數據，挖掘出與目標用戶的相似度最大的若干用戶，從該用戶群中，分析出用戶可能感興趣的商品[3-5]。

基于用戶的協(xié)同過濾推薦算法步驟如下：

第一步，建立用戶—商品評價矩陣。

根據用戶歷史購買行為，構建用戶與商品之間購買關系的矩陣，該矩陣中，數字1代表某用戶曾購買過某商品，數字0代表某用戶未曾購買過該商品。該表示方法雖然較簡單，但并不能準確的表示出用戶對于未購買的商品的興趣程度。用戶購買被標記為0的商品，可能是用戶不感興趣的商品，也可能是用戶感興趣但并沒有看到的商品。所以，有必要在用戶購買矩陣中，引入負評分，即標記出用戶不感興趣的商品。引入負評分的具體方法如下：

（1）在目標用戶瀏覽商品集中，剔除用戶已購買的商品，得到瀏覽未購買商品集S。

（2）從商品集S中，隨機選擇和用戶已購買商品集N數量相等的商品，作為負評分商品。

（3）如果商品集S的數量小于商品集N的數量，則差額從系統(tǒng)商品庫中，剔除N和S集后隨機挑選。

（4）將負評分的商品評分置為數字“-1”，得到新的評分矩陣R。

在完成負評分的引入后，用戶—商品的評分矩陣變?yōu)橐粋€由“-1”“0”“1”組成的矩陣。

第二步，挖掘目標用戶的相似用戶群。

系統(tǒng)以余弦相似性作為用戶與用戶之間相似度的計算方法。假設用戶i和j對商品的評分向量為I、J，則用戶i和j的余弦相似性為：

但由于在系統(tǒng)中，用戶有購買行為的商品，只占商品總數極小一部分，故整個用戶—商品的評分矩陣是一個以數字“0”為主的稀疏矩陣。絕大多數用戶之間的相似度為0，故需要將稀疏矩陣，進行相似矩陣變換，以得到低稀疏度的關系矩陣，從而計算用戶之間的相似度。

本文采用奇異值分解（SVD）的方法[6，7]，求得用戶—商品評分矩陣的相似矩陣。奇異值分解是一種求矩陣近似矩陣的方法，對于一個的矩陣R，通過SVD后可以分為三個矩陣：

利用奇異值分解，降低用戶—商品評分矩陣稀疏度的步驟如下：

（1）將矩陣R進行奇異值分解，得到三個矩陣。

（2）將矩陣對角線上小于1的值置為0，并將值全為0的行或列刪去，得到一個m維的矩陣。

（3）近似后的矩陣

經過奇異值分解之后，原用戶—商品評分矩陣的稀疏性大大降低。

由于系統(tǒng)內用戶眾多，逐一計算用戶間相似度，將大大增加系統(tǒng)的運算資源開銷，難以滿足實際系統(tǒng)對于運算效率的要求。本系統(tǒng)采用常見的k-means聚類的方法[8，9]，先將用戶聚為少數幾類，在聚類結果中，尋找目標用戶的相似用戶群。

k-means聚類算法的實現步驟如下：

（1）先選取k個點作為所有用戶的聚類的中心。

（2）然后計算每個用戶到聚類中心的距離（歐氏距離），將每個用戶劃分到距離它最近的聚類中心所在的類。

（3）一次劃分結束后，以一個類中的點的平均值作為新的聚類中心。

（4）重復迭代，直至聚類中心不在改變?yōu)橹埂?/p>

完成用戶聚類之后，即可在目標用戶所在的聚類群中，利用余弦相似性尋找與該用戶相似度最高的TOP-N用戶，將其作為目標用戶的相似用戶群。

第三步，基于相似用戶的推薦商品集。

在獲得目標用戶的相似用戶群TOP-N后，任意商品的推薦系數為：

其中，為用戶對商品的評分，為用戶和用戶之間的余弦相似度。

商品集中，剔除用戶已購買和瀏覽過的商品，在剩下的商品集中，取推薦系數最高的N見商品，作為基于用戶的協(xié)同過濾推薦商品集。具體流程如圖1所示。

2.2 基于專家推薦的推薦策略

由于服飾類商品具有不同于其他商品的一些特殊性質，例如受當季潮流影響較大、搭配屬性強、重復購買率低等特點，所以簡單的協(xié)同過濾，推薦效果可能并不顯著。為了適應上述特點，提高推薦結果的可解釋度，本系統(tǒng)引入了基于專家推薦的推薦策略。

專家推薦就是服飾搭配領域內的專業(yè)人士例如設計師、明星、網絡紅人根據不同時期的流行趨勢，提供各類型的搭配案例，推薦系統(tǒng)根據目標用戶已購買的商品，自動適配最相似的搭配案例，并將搭配案例中，用戶尚未購買的商品，推薦給用戶。同時，為商品引入流行因子，以提高熱門商品在系統(tǒng)內的推薦強度。另外，專家可根據當前潮流的變化，動態(tài)的修改搭配方案。

基于專家推薦的推薦策略，算法流程如圖2所示，實現步驟如下：

第一步，專家提供搭配案例。

領域內專家，能把握和引導當前的時尚潮流，從而影響用戶的選擇。將領域專家的搭配意見，作為推薦結果，具有更強的可解釋性。本系統(tǒng)采集了包括設計師、時尚達人、網絡紅人、明星等在內的上千位領域內專家提供的針對不同群體的上萬套搭配方案。每套搭配方案內，包含了一整套不同類型的若干件商品，例如為校園男生提供一套搭配方案就包括V領毛衣、格子襯衫、呢子外套、長褲、大頭鞋等。搭配方案內的每件商品，都是系統(tǒng)內具有唯一ID。第n套搭配方案可表示為：

其中表示類別的推薦商品。由此，得到了專家搭配數據集：

第二步，計算商品間相似性。

商品信息可分為結構化的信息和非結構化的描述性信息。本系統(tǒng)將從結構化和非結構化信息兩個方面，來計算商品的相似性。

首先，利用商品的基本錄入信息，例如類別、適用人群等結構化信息，將商品進行分類。

然后，將商品的展示標題按關鍵詞分詞，得到商品的描述詞向量，例如某款女士風衣，關鍵詞分詞的結果為“2016春裝、新款、歐美、雙排扣、韓版、修身、中長款、女士、風衣、外套、長袖”。建立商品的描述詞向量矩陣。

最后，在目標商品的分類中，根據商品的描述詞向量，利用Jaccard系數[10]，來表示兩件商品之間的相似性。

其中，表示商品i和j之間共有的描述詞，表示商品i和j中，所有出現的描述詞。由此，可得出商品的相似度矩陣。該矩陣是一個以“1”為對角線的對稱矩陣。

第三步，推斷目標用戶的搭配方案。

將目標用戶的歷史購買行為向量為：

其中，表示為用戶在商品類型中，購買的第件商品。將用戶的購買行為向量與專家搭配方案矩陣做比較，利用商品相似性矩陣，按類別逐一計算與之間的相似度，計算方法可表示為：

據此，可以得到與之間的相似度向量：

從向量中，取相似度值最大搭配方案作為用戶的推薦搭配方案。

第四步，根據用戶的搭配方案結果，給出推薦商品集。

在給出推薦集之前，需要引入流行因子，來體現商品的受歡迎程度。通過在一定時間段內商品的被瀏覽次數以及被購買次數的加權，為每一種商品定義了一種反應熱度值的評價指標。

根據用戶的潮流分類的結果內，取與每件商品相似度最高的N件商品，得到推薦集。在用戶未購買的品類中，從相似度最高的N件商品中，按照流行因子的大小，取流行因子最高的n（n

通過引入流行因子，可以根據用戶的衣著風格，更好的推薦當前流行的服裝款式。

2.3 推薦方案的選擇及處理

基于用戶的協(xié)同過濾可以挖掘用戶與用戶之間的相似性，利用用戶間相似性，給用戶提供個性化推薦，能夠較好的解決長尾效應。用戶行為越豐富，購買的商品品類和數量越齊全，則該推薦策略的效果越好。

專家推薦則在挖掘用戶興趣愛好的基礎之上，引入流行因子，為用戶尋找最匹配的搭配風格，并將搭配方案中，熱度最高的商品，推薦給用戶。該推薦策略在用戶只購買了部分品類商品時，能為用戶推薦未購買品類內流行的商品，滿足用戶的搭配需要。專家推薦策略，在用戶購買商品品類不全的情況下，具有更好的推薦效果。

為了提高推薦效果，本系統(tǒng)將按照用戶的歷史購買行為，將用戶進行分類。通過對用戶的分類，選擇合適的推薦策略，以提高推薦效果。

本系統(tǒng)將用戶分為三類，第一類為新注冊用戶。這類用戶的并沒有歷史行為數據，因而也無法利用協(xié)同過濾或者專家推薦。因此，對此類用戶，將按照系統(tǒng)

內流行因子最高的N種商品中，隨機挑選n（n

第二類用戶為低頻用戶，該用戶群的特點為，在系統(tǒng)內有歷史行為數據，但購買的商品品類并未包含全品類商品。對于此類用戶，將強化專家推薦的結果，以協(xié)同過濾推薦結果為輔。

第三類用戶為高頻用戶，這類用戶在系統(tǒng)內購買的商品分布在全品類，歷史行為數據豐富，合適利用協(xié)同過濾的方法挖掘其可能的興趣，將專家推薦的結果作為次要推薦。

對于第二、三類用戶，本系統(tǒng)采用的加權因子的計算方法如下：

其中，為協(xié)同過濾推薦結果集，為專家推薦結果集，、為兩者的權重因子，其表示方法為：

式中，為目標用戶已購買的商品品類，為商品的品類總數。

3 推薦系統(tǒng)的設計與實現（Design and implementation of the recommend system）

該系統(tǒng)設計之初，即包含了大量的用戶數據、商品數據以及專家搭配方案數據。且這些數據會隨著時間迅速的積累，呈現出爆發(fā)式增長。并且，該推薦系統(tǒng)的推薦算法，涉及眾多復雜數據運算，運算資源開銷大。因此，選擇一個合適的分布式系統(tǒng)，是實現該系統(tǒng)的技術基礎。

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構[10，11]。用戶可以通過分布式文件系統(tǒng)HDFS和并行數據處理模型MapReduce，能夠快速地搭建計算集群，實現數據的分布式存儲及分析，而無需考慮分布式底層的技術細節(jié)[12]。

由于Hadoop因其高效、可靠的性能，靈活的可拓展性，低廉的成本從而被廣泛的應用于大規(guī)模數據的運算。更因為其開源的商業(yè)模式，吸引了更多的項目開發(fā)者的關注。

3.1 系統(tǒng)的推薦流程設計

本推薦系統(tǒng)是服務于電商系統(tǒng)的一個子系統(tǒng)，具有一個完整的軟件系統(tǒng)的結構。

為了保證推薦結果的時效性和運算速度的高效性，本系統(tǒng)可分為離線計算部分和在線計算部分。對于計算量較大的運算部分，一次計算可能耗時較久，短則數分鐘，長則幾十小時，這樣的運算速度，難以保證用戶的體驗。另外，還有一些中間數據，短時間內，都維持在靜態(tài)不變的，例如用戶相似度矩陣、商品相似度矩陣、專家推薦搭配矩陣，這些矩陣，計算量大、耗時耗資源，且并非時時變動，只需要保持一定的更新頻率即可。故可以將這類數據，離線計算，定時更新。

系統(tǒng)采用多方法混合的推薦策略。首先對業(yè)務系統(tǒng)的數據進行讀取、轉換、清理、存儲等操作，從而獲得原始業(yè)務的可用信息，提取用戶行為數據、商品屬性數據以及專家搭配方案數據這三大基礎數據集。在獲取基礎數據集之后，利用這三大數據集，驅動包括協(xié)同過濾算法、專家推薦算法在內的推薦引擎，并獲得對應的推薦商品集。獲得推薦引擎對應的商品推薦結果，根據加權排名，得到初始推薦結果集。

在推薦系統(tǒng)的推薦結果中，往往需要加入一些商業(yè)推廣，即向用戶推薦一些定向商品。這些商品組成人工補充推薦集，再與初始推薦集按照一定的加權與排名，得到最終的推薦結果。系統(tǒng)的推薦流程如圖3所示。

3.2 系統(tǒng)結構設計

作為電商系統(tǒng)的一個重要組成部分，推薦系統(tǒng)需要保證高穩(wěn)定性、低耦合度、易擴展等特點。系統(tǒng)基于Hadoop平臺構建了多層次分布式系統(tǒng)架構，采用縱向分層、橫向模塊化、基礎功能組件化的設計模式，通過組合的形式，實現多種推薦策略的功能需求，極大地簡化了系統(tǒng)結構，增強了系統(tǒng)的可拓展性。系統(tǒng)的整體結構如圖4所示。

數據訪問層：數據訪問層主要承擔從業(yè)務系統(tǒng)中，抽取相應的業(yè)務數據，如用戶購買記錄、瀏覽記錄、商品屬性數據、專家搭配方案數據等，經過清理、加工等處理之后，提供給Hadoop計算集群做數據計算。在Hadoop我們此過程利用Mapreduce任務實現，而該任務，可分為兩個階段，Map和Reduce。首先，Mapper類實例化map函數，將原始數據以key和value為鍵值的形式作為map函數的輸入值。相類似，使用Reducer來定義reduce函數，并獲得對應的以key和value為鍵值的輸出函數。同時，數據訪問層還負責對系統(tǒng)輸出結果做解析。

數據模型層：數據模型層是對業(yè)務數據進行計算后得出的業(yè)務對象模型。數據模型可分為用戶數據模型和商品數據模型，其中用戶數據模型包含了用戶的購買行為數據、瀏覽行為數據等；商品數據模型包含了商品屬性數據、被購買和被瀏覽數據。利用數據模型，可以生成用戶特征向量和商品特征向量，從而得到相似用戶矩陣以及相似商品矩陣。

算法實現層：算法實現層是推薦策略層的基礎。在經過算法實現層的計算后，得出一些中間數據，這些數據是推薦策略所必需的數據集，例如相似用戶矩陣、相似商品矩陣、商品熱度向量等。綜合考慮系統(tǒng)的實際需求以及系統(tǒng)性能，算法層封裝的算法包括jaccard相似性算法、余弦相似性算法、k-means聚類、SVD分解、協(xié)同過濾算法、流行因子權重算子等常見的數據挖掘算法。

推薦策略層：推薦策略層是系統(tǒng)架構中的核心。系統(tǒng)利用不同的推薦策略，驅動不同的算法組合，以實現不同的推薦方法。由于不用的推薦策略，具有不同的優(yōu)缺點，故系統(tǒng)配備有系統(tǒng)過濾推薦及專家推薦兩種推薦策略。由于系統(tǒng)采用分層的模塊化設計，推薦策略層可采用不同的推薦策略及組合，具有很強的拓展性和靈活性。

在采用協(xié)同過濾推薦和專家推薦這兩類動態(tài)推薦策略之外，考慮到系統(tǒng)的商業(yè)推廣的需要，引入人工推薦作為補充，側重于推薦系統(tǒng)中重點推廣的商品。同時，人工推薦策略，能在一定程度上解決了系統(tǒng)冷啟動的問題，為新用戶或者新商品，做定向推薦。

應用層：應用層位于系統(tǒng)最頂層，為系統(tǒng)提供一整套的接口，供推薦系統(tǒng)與業(yè)務系統(tǒng)做數據交換；提供推薦方案的配置管理，方便靈活的調節(jié)方案的設置參數；對數據的干預及管理，如熱門推薦商品標注、專家推薦方案的錄入、編輯等功能。

3.3 系統(tǒng)數據庫設計

系統(tǒng)所需的原始業(yè)務數據，具有多樣性、非結構化等特點，且包含有大量的臟數據。HBase是一個分布式面向列的開源數據庫，HBase—Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術可在廉價PC Server上搭建起大規(guī)模結構化存儲集群[14]。

系統(tǒng)采用Native Java API訪問和操作HBase數據庫，適合Hadoop MapReduce Job并行批處理HBase表數據。

Sqoop為HBase提供了方便的RDBMS數據導入功能，將原始業(yè)務數據，從業(yè)務系統(tǒng)遷移至HBase[15]。

HBase建有用戶購買行為記錄表、用戶瀏覽記錄表、商品屬性表、專家搭配方案表四個初始數據表，以及用戶相似度分布表、商品相似度分布表、商品流行因子表、用戶推薦結果表等。

對于協(xié)同過濾推薦集專家推薦的運算，采用分布式離線計算的方式，定期更新數據，并將計算結果存儲到用戶推薦結果表，供應用接口查詢調用。

3.4 系統(tǒng)的配置及實現

本系統(tǒng)基于Hadoop平臺搭建，能夠靈活配置系統(tǒng)參數。初始狀態(tài)配置參數如下：Hadoop集群配置有七個節(jié)點，包含一個Master節(jié)點，六個Slave節(jié)點，Hadoop版本為1.2.1，節(jié)點間使用網絡連接。

4 結論（Conclusion）

本文提出了一種基于專家推薦與協(xié)同過濾算法的混合推薦策略，此策略能較好的適應服飾類商品其低重復購買率、強搭配性、受潮流影響較大等特點。同時，將上文的推薦策略，以基于Hadoop的分布式推薦系統(tǒng)予以實現。Hadoop平臺能夠靈活方便的配置分布式系統(tǒng)結構，從容應對大數據計算對計算集群的要求，具有較強的穩(wěn)定性和可拓展性。在系統(tǒng)開發(fā)時，采用模塊化開的設計模式，縱向分層，橫向模塊化、相同功能組件化，極大地簡化了系統(tǒng)的結構，提高了系統(tǒng)的拓展的可能性、降低了系統(tǒng)的維護成本。該系統(tǒng)將為服飾類電商平臺在大數據應用的背景下解決商品推薦問題，提供了一種可行的解決方案。

參考文獻（References）

[1] Ricci F，Shapira B.Recommender system handbook[M].Springer，2011.Pu P，Chen L，Kumar P.Evaluation search and recommender system for E-commerce environments[J].Electronic Commerce Reseach，2008，8（1-2）：1-27.

[2] You Wen，Ye Shui-sheng.A survey of collaborative filtering algorithm applied in E-commerce recommender system[J].Computer Technology and development，2006，16（9）：70-72.

[3] Arwar B，et al.Item-based collaborative filtering recommendation algorithms[C].In Proceedings of the 10th International World Wide Web Conference，2001：285-295.

[4] Kim B M，et al.A new approach for combining content-based and collaborative filters[J].Journal of Intelligent Information System，2006，27（1）：79-91.

[5] Jung K Y.User preference through Bayesian categorization for recommendation[C].In Pricai 2006：Trends in Artificial Intelligence，Proceedings，2006，4099：112-119.

[6] Zhang S，et al.Using singular value decomposition approximation for collaborative filtering[C].In：Proceedings of 7th IEEE International Conference on Ecommerce Technology，2005：257-264.

[7] Vozalis M G，Margaritis K G.Applying SVD on item-based filtering[C].In：Proceedings of 5th International Conference on Intelligent Systems Design and Applications（ISDA'05） 2005：464-469.

[8] Kohrs A，Merialdo B.Cluster for collaborative filtering application[C].In：Proceedings of the International Conference on Computational Intelligence for Modelling Control and Automation. Amsterdam，Netherlands：IOS Press，1999：199-204.

[9] 夏培勇.個性化推薦技術中的協(xié)同過濾算法研究[D].青島：中國海洋大學，2011：22-23.

[10] Dean J，Ghemawat S.MapReduce：Simplified data processing on large cluseters.Communications of the ACM，2005， 51（1）：107-113.

[11] 林大云.基于Hadmp的微博信息挖掘叨.計算機光盤軟件與應用，2012，0l：7-8.

[12] Tom Webite.Hadoop權威指南[M].北京：清華大學出版社，2015.

作者簡介：

郭 青（1970-），女，博士，副教授.研究領域：流程工業(yè)建 模，控制與優(yōu)化.

孫 健（1989-），男，碩士生.研究領域：分布式計算應用，計 算機仿真.