基于Item—Based協(xié)同過濾農(nóng)業(yè)高校圖書個(gè)性化推薦算法研究

趙鵬博+韓憲忠+王克儉

摘要：針對高校用戶對圖書的個(gè)性化需求，運(yùn)用用戶對圖書的評分，構(gòu)建了基于Hadoop和Mahout的圖書推薦系統(tǒng)。通過Hadoop中分布式文件系統(tǒng)（HDFS）和Map/Reduce計(jì)算模型的應(yīng)用，發(fā)現(xiàn)當(dāng)Hadoop中節(jié)點(diǎn)數(shù)不斷增加時(shí)，計(jì)算時(shí)間不斷減少，實(shí)時(shí)響應(yīng)效率得到了提高；通過對Mahout中傳統(tǒng)的Item-Based聚類協(xié)同過濾推薦算法進(jìn)行改進(jìn)，利用MAE值對傳統(tǒng)和改進(jìn)后的協(xié)同過濾算法進(jìn)行比較，發(fā)現(xiàn)圖書推薦的精度進(jìn)一步提高?？傮w來說，推薦系統(tǒng)改善了傳統(tǒng)單機(jī)運(yùn)行內(nèi)存嚴(yán)重不足和推薦結(jié)果不精確的問題。

關(guān)鍵詞：高校圖書館；個(gè)性化推薦算法；協(xié)同過濾算法；大數(shù)據(jù)

中圖分類號：G258.6+62 文獻(xiàn)標(biāo)識碼：A 文章編號：0439-8114（2017）06-1150-05

DOI：10.14088/j.cnki.issn0439-8114.2017.06.040

Abstract： For personalized book needs of users at colleges and universities， we build a book recommendation system based on Hadoop and Mahout using the scores given by users. Through the application of Hadoop distributed file system （HDFS） and Map/Reduce calculation model， we found that the calculation time is reduced while real-time response efficiency is improved with the increasing of the number of notes in the Hadoop. Through the improvement of traditional Item-Based collaborative filtering recommendation algorithm， which is based on item clustering in the Mahout， we compare the traditional collaborative filtering algorithms with the improved collaborative filtering algorithms by using MAE， and find that the precision of the recommendation is further improved. In general， this experiment improves the problem of out-of-memory for the running of traditional single machine and the inaccurate results of recommendation.

Key words： university library； personalized recommendation algorithm； collaborative filtering algorithm； big data

隨著圖書館事業(yè)的發(fā)展，用戶對圖書館資源的使用提出了越來越高的要求；為讀者提供有針對性的服務(wù)，成為圖書館發(fā)展中所面臨的具體任務(wù)之一。在建設(shè)智慧圖書館中，國外個(gè)性化圖書推薦服務(wù)已經(jīng)比較成熟，但國內(nèi)個(gè)性化推薦系統(tǒng)尚不完善[1]。目前國內(nèi)大部分高校圖書館都是通過輸入關(guān)鍵詞進(jìn)行模糊搜索，然后列出只和關(guān)鍵詞相關(guān)的書籍，沒有達(dá)到智能以及個(gè)性化推薦的效果。在借閱圖書的過程中，用戶過去產(chǎn)生的行為分為顯式用戶反饋與隱式用戶反饋兩種，主要包括瀏覽頁面、搜索圖書、收藏圖書、借閱圖書、評論圖書、圖書評分等用戶行為[2]。本試驗(yàn)通過顯式用戶反饋中的圖書評分，推薦出在校學(xué)生和老師感興趣的書，達(dá)到一個(gè)圖書個(gè)性化推薦的效果。河北農(nóng)業(yè)大學(xué)圖書館每天產(chǎn)生大量的數(shù)據(jù)信息，單機(jī)運(yùn)行無法滿足實(shí)時(shí)響應(yīng)的效率。在處理大規(guī)模海量數(shù)據(jù)時(shí)，許多研究者將其設(shè)計(jì)的協(xié)同過濾算法部署于Hadoop并行化平臺，以期在保證結(jié)果準(zhǔn)確的前提下，通過Hadoop提高協(xié)同過濾算法執(zhí)行的效率。Mahout提供了Hadoop并行化算法的接口，本試驗(yàn)將Mahout中提供的基于項(xiàng)目聚類協(xié)同過濾算法與Hadoop中Map/Reduce計(jì)算模型和分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）進(jìn)行結(jié)合，改進(jìn)原來的推薦算法，設(shè)計(jì)出河北農(nóng)業(yè)大學(xué)高校圖書推薦系統(tǒng)。該推薦系統(tǒng)由Application業(yè)務(wù)系統(tǒng)、Mahout計(jì)算框架、Hadoop集群組成，解決了海量數(shù)據(jù)環(huán)境下算法實(shí)施的效率及推薦的精準(zhǔn)性問題。

1 圖書推薦系統(tǒng)環(huán)境

1.1 Hadoop 與Mahout

Hadoop包括HDFS和Map/Reduce 2個(gè)子項(xiàng)目。HDFS由1個(gè)名稱節(jié)點(diǎn)（Name Node）和多個(gè)數(shù)據(jù)節(jié)點(diǎn)（Data Node）組成[3]。Name Node管理和維護(hù)著系統(tǒng)中所有文件的索引目錄，記錄每個(gè)數(shù)據(jù)塊節(jié)點(diǎn)的位置。Data Node存儲著用戶數(shù)據(jù)，實(shí)時(shí)被Namenode調(diào)用，并且定時(shí)向Name Node發(fā)送更新的數(shù)據(jù)列表信息。Map/Reduce并行編程框架[4]用于處理大規(guī)模計(jì)算機(jī)集群上的海量數(shù)據(jù)，該模型具有良好的擴(kuò)展性及高容錯(cuò)性；集群中的Map/Reduce框架是由運(yùn)行在主節(jié)點(diǎn)上的Job Tracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的Task Tracker共同組成的。當(dāng)一個(gè)Job被提交時(shí)，Job Tracker接收到提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給Task Tracker，Task Tracker負(fù)責(zé)完成由Job Tracker指派的任務(wù)。一個(gè)Map/Reduce作業(yè)分為Map和Reduce 2個(gè)階段。HDFS在集群上將單機(jī)內(nèi)存算法通過Map/Reduce模型并行化部署在多臺電腦上，實(shí)現(xiàn)分布式文件系統(tǒng)高傳輸率訪問數(shù)據(jù)；Map/Reduce在集群上實(shí)現(xiàn)了大量數(shù)據(jù)的并行化計(jì)算。二者相互作用，共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。

Mahout框架不僅提供了單機(jī)運(yùn)行的接口，同時(shí)還基于Hadoop進(jìn)行分布式運(yùn)算。Mahout推薦引擎主要由Data Model、User Similarity、Item Similarity、User Neighborhood、Recommender[5]等模塊組成。Taste是Apache Mahout提供的一個(gè)協(xié)同過濾算法的高效子系統(tǒng)，它實(shí)現(xiàn)了最基本的基于用戶的協(xié)同過濾算法（User-based collaborative filtering）和基于物品的協(xié)同過濾算法（Item-based collaborative filtering）[6]。

1.2 環(huán)境配置

目前Hadoop有3種運(yùn)行模式，分別是本地運(yùn)行、偽分布運(yùn)行、完全分布式運(yùn)行[7]；試驗(yàn)在2臺普通的電腦上進(jìn)行偽分布式模擬部署。試驗(yàn)的平臺硬件需要2臺4核的Intel普通電腦，其操作系統(tǒng)采用win7 64 bite，CPU的主頻為3.5 GHz，內(nèi)存的大小為8 G，硬盤空間為1 T。在物理硬件平臺上面部署的軟件為V Mvare Workstation 9.0、Cent OS 6.5、Open SSH、jdk-6u24-linux-i586、Hadoop 1.1.2、eclipse 10.0、maven 3.2.5、mahout 0.8、jdk-6u 45- Windows-x 64。

1.3 搭建集群

一個(gè)HDFS集群主要采用主/從式的邏輯結(jié)構(gòu)，在搭建一個(gè)分布式集群時(shí)，需要為Hadoop 指定一個(gè)節(jié)點(diǎn)作為主節(jié)點(diǎn)，在該主節(jié)點(diǎn)上運(yùn)行Name Node 和Job Tracker 2個(gè)守護(hù)進(jìn)程，調(diào)度其他從節(jié)點(diǎn)的Data Node 和Task Tracker 2個(gè)守護(hù)進(jìn)程。

搭建Hadoo 集群，首先要關(guān)閉各個(gè)節(jié)點(diǎn)的防火墻，修改配置文件/etc/hosts，保證所有節(jié)點(diǎn)的IP與主機(jī)名映射。試驗(yàn)虛擬1臺主機(jī)當(dāng)主節(jié)點(diǎn)，虛擬6臺主機(jī)當(dāng)從節(jié)點(diǎn)（需要保證各個(gè)節(jié)點(diǎn)之間SSH[8]能免密碼登錄）。其中主節(jié)點(diǎn)為（master，192.168.59.100），從節(jié)點(diǎn)為（slave1，192.168.59.101）；（slave2，192.168.59.102）…….（slave6，192.168.59.106），具體見圖1。

2 基于項(xiàng)目聚類協(xié)同過濾推薦算法

2.1 項(xiàng)目聚類

為了提高實(shí)時(shí)響應(yīng)效率，首先調(diào)用Mahout中taste算法庫的Kmeans算法[9]，對項(xiàng)目進(jìn)行聚類。通過聚類，項(xiàng)目之間相似性最高的歸到一個(gè)集合，項(xiàng)目的最近鄰居大部分分布在相似性最高的若干個(gè)聚類中，因此不需要在整個(gè)項(xiàng)目空間上進(jìn)行搜索，而只需要在與目標(biāo)項(xiàng)目相似性最高的若干集合中進(jìn)行查詢即可。

項(xiàng)目聚類過程如下：

建立用戶-評分矩陣m×n。其中m為用戶，n為項(xiàng)目，Ri，k為用戶i對項(xiàng)目k的評分。試驗(yàn)采用的數(shù)據(jù)集評分設(shè)定在0到10，評分越高，表明該項(xiàng)目受用戶喜愛的程度越高。評分矩陣如表1所示：

輸入：項(xiàng)目集I={i1，i2，……in}，用戶評分矩陣Rm×n，

輸出：聚類項(xiàng)目集C={c1，c2，……ck}，

任意選擇k個(gè)項(xiàng)目，將其用戶評分作為初始聚類中心，為CC={w1，w2，……wk}；

聚類集合C={c1，c2，……ck}初始化為空；

Repeat

For項(xiàng)目in（in∈I）do

For聚類中心wk（wk∈CC）do計(jì)算sim（in，wk）；

sim（in，wk）=min{sim（in，w1），sim（in，w2），…… sim（in，wk）}；

聚類ck=ck∪in；

For聚類ck（ck∈C）do

更新聚類中心wk=■∑■■in；

計(jì)算誤差函數(shù)E=■■|in-ck|2；

Until E不再改變，生成的k個(gè)聚類項(xiàng)目集{c1，c2，……ck}，有如下性質(zhì)：

c1∪c2∪…∪ck=I；

ci∩cj=（i≠j，對任意的1≤i≤k，1≤j≤k）。

2.2 傳統(tǒng)協(xié)同過濾算法

隨著用戶數(shù)據(jù)量不斷增加，運(yùn)算用戶興趣相似度矩陣的時(shí)間和空間復(fù)雜度近似于平方關(guān)系增長，User CF很難做到實(shí)時(shí)計(jì)算預(yù)測值，試驗(yàn)采取的Item CF的協(xié)同過濾算法正好彌補(bǔ)了這樣的缺陷。在構(gòu)建圖書推薦系統(tǒng)中Item CF算法利用用戶的評分，離線分析計(jì)算物品之間的相似度，經(jīng)過得到的用戶對未評分項(xiàng)目的預(yù)測評分，快速推薦出高度相關(guān)的相似項(xiàng)目。

Mahout傳統(tǒng)協(xié)同過濾算法中常以Euclidean Distance Similarity[10]系數(shù)計(jì)算項(xiàng)目之間的相似度。設(shè)Uij表示用戶U對項(xiàng)目i和項(xiàng)目j共同評分的集合，項(xiàng)目i和項(xiàng)目j之間的相似性為：

sim（i，j）=■，

其中，Ru，i和Ru，j分別表示用戶U對項(xiàng)目i和j的評分。

2.3 基于項(xiàng)目聚類改進(jìn)的協(xié)同過濾推薦算法

在高校用戶對圖書進(jìn)行評分時(shí)，由于用戶的主觀性，有些用戶評分高，而有些用戶評分相對低，傳統(tǒng)的Euclidean Distance Similarity系數(shù)沒有考慮用戶的評分尺度，無法消除用戶評分的主觀性。試驗(yàn)采用的Adjusted Cosin Similarity系數(shù)將每個(gè)項(xiàng)目的評分減去該項(xiàng)目所有用戶評分的均值，消除了用戶的主觀性評分，同時(shí)首先通過項(xiàng)目聚類將高度相似的項(xiàng)目聚集到若干個(gè)集合中。

2個(gè)項(xiàng)目的相似度常用余弦相似性來計(jì)算，即2個(gè)向量之間的夾角余弦值。余弦值的范圍在[-1，1]之間（值越趨近于1，相應(yīng)的相似度也越高）。

Cosin Similarity系數(shù)相似性計(jì)算公式為：

sim（i，j）=cos（i，j）=■=

■，

其中Ui和Uj分別表示用戶U對項(xiàng)目i和項(xiàng)目j評分過的集合。

Adjusted Cosin Similarity系數(shù)相似性計(jì)算公式為：

sim（i，j）=■，

其中■u表示用戶U對所有項(xiàng)目的平均評分。

為了驗(yàn)證算法的有效性，聚類數(shù)用k1表示，試驗(yàn)選擇聚類數(shù)為30。在項(xiàng)目i的前k個(gè)聚類（c1，c2，……ck）中找到項(xiàng)目的最近鄰數(shù)k2，試驗(yàn)選擇近鄰數(shù)為20。調(diào)用Mahout提供的Recommonder Job算法，以項(xiàng)目相似度作為權(quán)重，進(jìn)行配置與調(diào)優(yōu)，計(jì)算出用戶U對任意項(xiàng)目i的預(yù)測評分值。選取前Top N個(gè)項(xiàng)目推薦給用戶U。計(jì)算用戶對項(xiàng)目的評分，用戶U對項(xiàng)目i的評分：

Pu，i=■

其中，j為k個(gè)項(xiàng)目評分組成的集合，Ru，j為用戶U對項(xiàng)目j的評分。

3 結(jié)果與分析

3.1 數(shù)據(jù)獲取

為了驗(yàn)證Hadoop的性能，測試采用河北農(nóng)業(yè)大學(xué)東、西校區(qū)圖書館近幾年收集的信息，形成Book-Crossing數(shù)據(jù)集，并將用戶對圖書的評分信息形成BX-Books-Ratings數(shù)據(jù)集。同時(shí)為了驗(yàn)證改進(jìn)的算法精確性，選取了河北農(nóng)業(yè)大學(xué)圖書館計(jì)算機(jī)系的10 000本書，通過計(jì)算機(jī)系1 000名學(xué)生對10 000本書的評分，形成數(shù)據(jù)集Books-Library-Ratings。由于Mahout下處理的文件為Sequence File格式，因此需要將上述文件轉(zhuǎn)換成Sequence File格式。

3.2 推薦算法效果評估

推薦算法的效果評估主要分為兩個(gè)方面，一是性能評估，二是推薦質(zhì)量評估。

3.2.1 性能評估 為了驗(yàn)證基于Hadoop中HDFS分布式文件系統(tǒng)和Map/Reduce計(jì)算模型的云平臺能夠提升協(xié)同過濾推薦算法的執(zhí)行效率，試驗(yàn)用BX-Books-Ratings數(shù)據(jù)集進(jìn)行測試。通過原始的Mahout 協(xié)同過濾推薦算法，采用Top10的方式對圖書館中所有用戶推薦排名前10的書目；逐步增加偽分布式集群的節(jié)點(diǎn)數(shù)量，記錄下相應(yīng)節(jié)點(diǎn)數(shù)消耗的時(shí)間，結(jié)果見圖2。由圖2可以看出，隨著Map/Reduce模型節(jié)點(diǎn)數(shù)量的增加，計(jì)算時(shí)間相應(yīng)減少，但遞減的幅度也在不斷減少。因?yàn)殡S著節(jié)點(diǎn)的數(shù)量不斷增加，Map/Reduce 操作需要的時(shí)間也越來越長；同時(shí)試驗(yàn)部署的偽分布式Hadoop 集群是在2臺物理機(jī)上虛擬出的PC 集群，硬件總體的性能是一定的，節(jié)點(diǎn)的增加只是資源利用率的提高。如果采用多臺物理機(jī)部署Hadoop 完全分布式集群，計(jì)算效率則會顯著提升。

3.2.2 推薦質(zhì)量評估 平均絕對誤差MAE（Mean absolute error）方法通過比較得到的預(yù)測值和用戶的實(shí)際評分值之間的偏差來計(jì)算結(jié)果的準(zhǔn)確性，MAE值越小，表明推薦的越精確，質(zhì)量越好。設(shè)預(yù)測的用戶評分集合表示為{p1，p2，…，pn}，對應(yīng)的實(shí)際用戶評分集合為{q1，q2，……qn}，其計(jì)算公式為：

MAE=■。

Mahout算法庫中Recommender Evaluator就是利用MAE來測試推薦的精確性?，F(xiàn)將數(shù)據(jù)集Books-Library-Ratings劃分成兩個(gè)部分：訓(xùn)練集與測試集。從用戶評分表Books-Library-Ratings中隨機(jī)選20個(gè)用戶，分別用原始推薦引擎Original Recommender和改進(jìn)后的Improved Recommender推薦引擎計(jì)算出Top10列表及其預(yù)測值，在此基礎(chǔ)上，使用Recommender Evaluator Runner算法評估器分別計(jì)算出20個(gè)用戶的MAE值，以作推薦效果測試和比較。如運(yùn)行傳統(tǒng)協(xié)同過濾推薦算法得到用戶56的推薦列表（Top10）及對應(yīng)預(yù)測評分值，可從實(shí)際評分表獲取用戶56 實(shí)際的評分值，利用Recommender Evaluator計(jì)算出傳統(tǒng)推薦算法下用戶56的MAE值=1.46。利用改進(jìn)基于項(xiàng)目聚類協(xié)同過濾推薦算法計(jì)算出用戶56的推薦列表（Top10）及對應(yīng)預(yù)測評分值，從實(shí)際評分表獲取用戶56實(shí)際的評分值，再利用Recommender Evaluator計(jì)算出改進(jìn)推薦算法下用戶56的MAE值=1.13。對用戶56而言，推薦的準(zhǔn)確率提高了（1.46-1.13）/1.46×100%=22.6%。

其他19個(gè)最近鄰用戶MAE的計(jì)算過程與此相同，依次進(jìn)行計(jì)算，利用Recommender Evaluator Runner評估器分別依次基于原始推薦算法下和改進(jìn)推薦算法，計(jì)算出其他19個(gè)用戶的MAE值，結(jié)果見圖3。對MAE值結(jié)果進(jìn)行比較，可以看出改進(jìn)算法的MAE值總體上比原始的協(xié)同過濾算法的MAE值要更低，這表明改進(jìn)的基于項(xiàng)目聚類的協(xié)同過濾算法的整體推薦準(zhǔn)確率要比原始的協(xié)同過濾推薦算法更高，平均提高了19.4%。同時(shí)也表明用戶評分的主觀性對推薦結(jié)果的準(zhǔn)確性有較大的影響。

4 小結(jié)

試驗(yàn)結(jié)果表明，基于Hadoop分布式計(jì)算框架的河北農(nóng)業(yè)大學(xué)圖書推薦系統(tǒng)引擎通過搭建分布式計(jì)算平臺，利用集群計(jì)算與存儲能力，有效且快速的完成了個(gè)性化的圖書推薦，性能有了明顯提高。

Mahout是一個(gè)很強(qiáng)大的數(shù)據(jù)挖掘工具，通過試驗(yàn)中提出的改進(jìn)的基于項(xiàng)目聚類的協(xié)同過濾推薦算法，計(jì)算所得的預(yù)測評分更加接近于用戶的實(shí)際評分；雖然有個(gè)別用戶改進(jìn)后的協(xié)同過濾推薦算法的MAE值要大于原始協(xié)同過濾推薦算法的MAE值，即改進(jìn)后的協(xié)同過濾算法推薦的準(zhǔn)確率下降了，但整體有了提高。下一步要對Mahout中推薦算法進(jìn)行改進(jìn)，參數(shù)還要調(diào)優(yōu)，同時(shí)研究用戶的其他行為，不斷提高推薦效率和精確程度。

參考文獻(xiàn)：

[1] 華小琴.我國高校數(shù)字圖書館個(gè)性化服務(wù)探究[J].圖書館理論與實(shí)踐，2014（5）：85-88.

[2] 項(xiàng) 亮.推薦系統(tǒng)實(shí)踐[M].北京：人民郵電出版社，2014.58-61.

[3] TOM W. Hadoop：The Definitive Guide[M].USA：O′Reilly Media，Inc，2015.166-178.

[4] DANIL Z，SUDHEESH N. Hadoop Cluster Deployment，Securing Hadoop[M].USA：Packt Publishing，2013.64-76.

[5] 樊 哲.Mahout算法解析與案例實(shí)戰(zhàn)[M].北京：機(jī)械工業(yè)出版社，2014.24-32.

[6] JANNACH D，ZANKER M，F(xiàn)ELFERNIG A.Recommender Systems：An Introduction[M].Cambridge，UK：Cambridge University Press，2012.8-14.

[7] 奉國和，黃家興.基于Hadoop與Mahout的協(xié)同過濾圖書推薦研究[J].圖書情報(bào)工作，2013，57（18）：116-121.

[8] 李龍飛.基于Hadoop+Mahout的智能終端云應(yīng)用推薦引擎的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2013.

[9] 余 暉.基于Mahout的聚類算法研究[D].上海：上海師范大學(xué)，2014.

[10] 馬 寧.基于Mahout的推薦系統(tǒng)研究與實(shí)現(xiàn)[D].蘭州：蘭州大學(xué)，2013.