基于HBase的實時消息推薦系統(tǒng)*

郭若男，王晶，沈奇威

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

基于HBase的實時消息推薦系統(tǒng)*

郭若男1，2，王晶1，2，沈奇威1，2

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

在現(xiàn)有的推薦系統(tǒng)中，基于用戶興趣模型都能夠表達出用戶的興趣，但在用戶興趣發(fā)生變化時卻不能夠及時更新模型。提出基于用戶反饋內(nèi)容來實時更新用戶興趣的消息推薦系統(tǒng)，通過實時更新模型和特征向量進而得到用戶當(dāng)前最匹配的推薦結(jié)果。并使用HBase（Hadoop Database）作為存儲，能更好地適應(yīng)數(shù)據(jù)規(guī)模的增長。

用戶興趣； 實時推薦系統(tǒng)； HBase

1 引言

隨著互聯(lián)網(wǎng)的飛速發(fā)展和計算機的日益普及，信息也正在呈爆炸式增長，WWW已經(jīng)發(fā)展成為包含多種信息資源、站點遍布全球的巨大信息服務(wù)網(wǎng)絡(luò)。與此同時，新社交媒體越來越流行，可以從中獲得大量豐富多彩的信息同時，也帶來了嚴重的“信息過載”問題。推薦系統(tǒng)作為緩解信息過載最有效的方法之一，在社交媒體中的作用也日趨重要?，F(xiàn)有的推薦系統(tǒng)雖然能夠給用戶進行個性化的推薦，但是在用戶行為發(fā)生變化時卻不能很好的更新推薦結(jié)果。

本文針對實時個性化推薦提出了一種解決方案，其特色主要體現(xiàn)在實時消息處理、實時用戶反饋處理、推薦結(jié)果實時更新等3個方面。此外，本文融合了多達20種信息來源，例如技術(shù)博客、新浪微博、科技網(wǎng)站以及各大BBS等，使用戶不僅可以靈活訂閱不同的消息源，并且能夠通過不同的平臺入口閱讀個性化消息并進行評分、收藏等多種反饋。本文提出兩種平臺入口分別是微信應(yīng)用、網(wǎng)站兩種，能夠更好的適應(yīng)手機端用戶和PC端用戶的需求。

2 設(shè)計目標

提供實時個性化消息推薦服務(wù)，需要解決以下幾個關(guān)鍵問題：（1）信息有一定時效性，系統(tǒng)需要獲取較新的優(yōu)質(zhì)消息；（2）系統(tǒng)能夠處理并存儲爬蟲獲取的實時消息；（3）不同用戶偏好的消息源不一樣，系統(tǒng)需要提供不同的消息源并允許用戶選擇訂閱；（4）系統(tǒng)能夠檢測用戶的反饋信息，并據(jù)此在線更新算法模型及推薦結(jié)果；（5）系統(tǒng)應(yīng)能夠支持不同的應(yīng)用入口，并保證同一個用戶從不同入口閱讀的消息是一致的。

隨著各種社交媒體的興起，用戶隨時隨地都能獲取到信息。本文有效地整合了不同渠道的消息，包括技術(shù)博客、新浪微博、科技網(wǎng)站和一些大型論壇，并從中給用戶推薦最匹配的消息，具有一定的實踐意義。

3 系統(tǒng)設(shè)計

3.1 系統(tǒng)設(shè)計圖

系統(tǒng)設(shè)計如圖1所示。系統(tǒng)根據(jù)功能的不同劃分為5層，分別是消息源獲取層、特征工程層、推薦層、服務(wù)層和應(yīng)用層。圖1中的箭頭方向表示數(shù)據(jù)的流向。在消息源獲取層和特征工程層之間的通信是通過操作KeyValue數(shù)據(jù)庫HBase[1]以及調(diào)用模塊提供的API實現(xiàn)，而在其他層次之間是通過調(diào)用API來進行通信的。本推薦系統(tǒng)有兩個應(yīng)用入口，分別是微信端公眾號以及網(wǎng)站應(yīng)用。

3．1．1 消息源獲取層

本文設(shè)計的推薦系統(tǒng)包含多種數(shù)據(jù)源，如技術(shù)博客、新浪微博、科技網(wǎng)站以及各大BBS論壇等。首先由多個爬蟲通過爬取不同的網(wǎng)站獲取數(shù)據(jù)，其次將獲取的數(shù)據(jù)實時地傳送到推薦系統(tǒng)中，并根據(jù)一定的過濾策略最終作為帶推薦的消息存儲到HBase中。

3．1．2 特征工程層

特征工程一直是推薦系統(tǒng)中比較重要的一部分。在推薦系統(tǒng)中，按照種類劃分特征分為用戶特征和推薦的消息特征。本系統(tǒng)是根據(jù)用戶的興趣進行消息推薦的，因此用戶特征選擇是采用用戶發(fā)表的所有新浪微博數(shù)據(jù)作為特征集[2～4]。同樣的，消息的特征是基于消息內(nèi)容來構(gòu)造能夠表達消息類型的向量。

基于文本內(nèi)容構(gòu)造特征向量的流程是分詞、過濾、通過一定的算法構(gòu)造詞典向量。常用的分詞模型有Lucene開源的IK分詞器以及中科院的Ansj分詞器[5]。之后過濾分詞結(jié)果，忽略不重要的詞及敏感詞，得到干凈的分詞結(jié)果。最后，使用TF-IDF或Google開源的Word2Vec工具訓(xùn)練得到詞典向量[6，7]。由根據(jù)詞典得到詞的向量并累加向量將得到代表文本內(nèi)容的向量。由于新媒體及網(wǎng)絡(luò)熱點的影響，詞典向量需要定時更新，可以將最近的幾個月所獲取的所有消息數(shù)據(jù)作為訓(xùn)練集，每個月離線訓(xùn)練來更新詞典向量。

3．1．3 推薦層

推薦層提供了不同的推薦算法模型，并根據(jù)不同的向量類型來選擇具體模型進行推薦和在線訓(xùn)練。此外，推薦層為每個用戶維護一個候選消息列表，并且只能從候選消息列表中生成推薦結(jié)果。每當(dāng)系統(tǒng)檢測到一條新的消息，倘若用戶訂閱了該類型的消息源，則更新該用戶的候選消息列表，并按照相似度從高到低存儲。因此候選消息列表是實時更新的并且有序，保證了推薦的速度及質(zhì)量。

圖1 系統(tǒng)設(shè)計圖

3．1．4 服務(wù)層

服務(wù)層為應(yīng)用層提供統(tǒng)一服務(wù)，方便整個系統(tǒng)的擴展與融合，其服務(wù)包括用戶管理服務(wù)和消息管理服務(wù)。用戶管理包括用戶的注冊、綁定微博、激活與禁用； 消息管理包括接收實時爬取的消息、查看新的消息、查看歷史消息、評分與收藏。

3．1．5 應(yīng)用層

在服務(wù)層和應(yīng)用層之間采用Thrift通信協(xié)議，實現(xiàn)了C/S模式[8]。應(yīng)用層作為服務(wù)層的客戶端，包含兩個應(yīng)用分別是微信公眾號和網(wǎng)站應(yīng)用。本推薦系統(tǒng)具有良好的獨立性和擴展性，能夠非常方便的增添和刪除一個應(yīng)用而不影響核心的推薦服務(wù)。

3.2 平臺各功能模塊功能具體分析

3．2．1 消息存儲模塊

本系統(tǒng)融合多種消息源，并支持用戶訂閱?？紤]到快速的數(shù)據(jù)增長速率以及龐大的數(shù)據(jù)規(guī)模，因此采用HBase作為存儲。HBase能夠支持海量數(shù)據(jù)的分布式實時存儲，查詢速度較快；并且HBase是面向列的KeyValue數(shù)據(jù)庫，可以存儲異構(gòu)數(shù)據(jù)并且方便范圍查詢。這些特性剛好解決了消息存儲模塊存在的問題。

HBase表是根據(jù)key從小到大有序排列的[9]。本文中，所有消息源的數(shù)據(jù)都存儲在同一張HBase表中。表的Rowkey是由3部分組成，分別是消息類型、Long的最大值減去消息創(chuàng)建時間、消息ID。這樣可以保證納入到系統(tǒng)中的消息ID是唯一的，并使得最新的消息在前面，以及同一個類型的消息源集中在某一個區(qū)域塊（即Region），能夠有效的減少掃描數(shù)據(jù)源的時間，提高效率。

3．2．2 用戶特征模塊

UserFeatureProvider是用戶特征模塊，負責(zé)維護所有用戶的特征向量，并對外部事件提供實時響應(yīng)。相關(guān)的外部事件包括新注冊用戶、查詢用戶的特征向量以及根據(jù)用戶的反饋信息相應(yīng)的更新特征向量。

3．2．3 消息特征模塊

MessageFeatureProvider是消息特征模塊，負責(zé)過濾、存儲以及查詢實時消息的特征向量。采用HBase作為存儲以解決消息的高速增長速度所帶來的影響。為了提供高質(zhì)量的消息，將會對消息的字長、敏感詞等多個維度進行限制并過濾。持久化消息的特征向量時，使用批量提交的方式以提高存儲速度。

3．2．4 算法模型

ModelProvider是算法模型模塊，負責(zé)維護多個算法模型。本模塊啟動時，將會讀取對應(yīng)配置文件進行初始化指定的算法模型。不同的模型有不同參數(shù)及計算方法，并支持在線訓(xùn)練與離線計算。

3．2．5 候選消息隊列模塊

MessageCandidateIndex是候選消息隊列模塊，負責(zé)維護每個用戶對應(yīng)的候選消息集合。其中候選消息集合是根據(jù)推薦結(jié)果從高到低排序后的結(jié)果。該模塊能夠?qū)崟r更新并查詢每個用戶的候選集。

3．2．6 推薦引擎模塊

RecommendationEngine是推薦引擎模塊，作為整個推薦系統(tǒng)的控制中心，負責(zé)對外提供推薦服務(wù)。先獲取用戶的特征向量以及該用戶的候選消息隊列，其次獲取對應(yīng)的模型列表并進行計算推薦結(jié)果。最終根據(jù)過濾規(guī)則再次對等待推薦的消息進行過濾。其中過濾規(guī)則包括兩方面，一是已經(jīng)推薦過的消息不再推薦，一是對內(nèi)容相似度很高的消息去重。最終生成推薦結(jié)果提供給請求方。

3．2．7 服務(wù)與應(yīng)用模塊

服務(wù)層采用Thrift技術(shù)作為通信協(xié)議，實現(xiàn)了C/ S模式。其中服務(wù)模塊作為Server端向外部應(yīng)用提供服務(wù)；應(yīng)用模塊最為Client端來使用服務(wù)包括用戶的注冊、綁定微博、激活與禁用、接收實時爬取的消息、查看新的消息、查看歷史消息、評分與收藏。應(yīng)用模塊包含兩個應(yīng)用，分別是微信公眾號和網(wǎng)站應(yīng)用。應(yīng)用模塊具有很強的擴展性，極大的方便開發(fā)人員增添或移除一個應(yīng)用。

4 結(jié)束語

本文提出了一個實時消息推薦系統(tǒng)的設(shè)計與實現(xiàn)方案，使用HBase數(shù)據(jù)庫作為存儲以便能更好地應(yīng)對快速增長的數(shù)據(jù)并保證讀取速度盡量不受影響。為了提高推薦結(jié)果的準確性，本系統(tǒng)充分利用用戶的反饋數(shù)據(jù)，及時更新推薦模型、特征向量和推薦結(jié)果?；谠搶崿F(xiàn)方案，用戶能夠從多個平臺入口來閱讀個性化消息并支持評分、收藏等功能，具有良好的擴展性。然而，本系統(tǒng)中特征向量主要基于內(nèi)容生成，并沒有充分利用用戶的個人信息及社交網(wǎng)絡(luò)信息，導(dǎo)致特征向量類型單一，從而降低了推薦結(jié)果的新穎度，未來工作中將對此加以改進。

[1] 羅燕新． 基于HBase的列存儲壓縮算法的研究與實現(xiàn)[D]． 華南理工大學(xué)，2011．

[2] 林霜梅． 個性化推薦系統(tǒng)中的用戶建模及特征選擇[D]． 上海交通大學(xué)，2007．

[3] 趙巖露， 等． 基于特征分析的微博用戶興趣發(fā)現(xiàn)算法[J]． 電信工程技術(shù)與標準化，2012(11)．

[4] 李峰． 基于隱式反饋的自適應(yīng)用戶興趣模型[J]． 計算機工程與應(yīng)用，2008(9)．

[5] 向暉． 基于Lucene的中文字典分詞模塊的設(shè)計與實現(xiàn)[J]． 華中科技大學(xué)，2006，8．

[6] 修馳． 適應(yīng)與不同領(lǐng)域的中文分詞方法研究與實現(xiàn)[J]． 北京工業(yè)大學(xué)，2013，6．

[7] 鄭文超． 利用word2vec對中文詞進行聚類的研究[J]． 北京郵電大學(xué)，2013，12．

[8] 劉書楠． Thrift的入門簡介[J]，上海東華大學(xué)，2013，1．

[9] 卓海藝． 基于HBase的海量數(shù)據(jù)實時查詢系統(tǒng)設(shè)計與實現(xiàn)[J]．北京郵電大學(xué)，2013，2．

Real-time recommendation system based on HBase

GUO Ruo-nan1,2, WANG Jing1,2, SHEN Qi-wei1,2
(1 Beijing University of Posts and Telecommunications Networking and Switching Technology, State Key Laboratory, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

The user interests models in the existing recommendation systems can express the user's interests effectively, but they can't update the user interests models in time while the user interests change. This paper proposes a recommendation system of messages depending on user’s feedback to modify user interests. It can update model and the feature vector in time, and then the most matching recommendation results for every user. In addition, the system can better adapt to the growth of the scale of data by using HBase (Hadoop Database) as storage.

user interests; real-time recommendation system; HBase

TN929.5

A

1008-5599（2014）11-0078-04

2014-10-08

國家973計劃項目（編號：2013CB329102）；國家自然科學(xué)基金資助項目（No． 61471063， 61372120， 61271019， 61101119， 61121001)；長江學(xué)者和創(chuàng)新團隊發(fā)展計劃資助（編號：IRT1049）；教育部科學(xué)技術(shù)研究重點(重大)項目資助（編號：MCM20130310）；北京高等學(xué)校青年英才計劃項目（編號：YETP0473）。