基于Spark的高校圖書館書目推薦系統(tǒng)

常有學(xué) 劉建勝 劉旭波

關(guān)鍵詞： 高校圖書館; 個(gè)性化推薦; 協(xié)同過(guò)濾; Spark; 公開數(shù)據(jù)優(yōu)化; 時(shí)間偏置

中圖分類號(hào)： TN911?34; TP391.9 ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）14?0064?04

Spark?based bibliographic recommendation system for university libraries

CHANG Youxue， LIU Jiansheng， LIU Xubo

（Nanchang University， Nanchang 330030， China）

Abstract： How to apply the recommendation system to university libraries and recommend books to users in a personalized manner for offering superior services to users is a topic worthy of study. The recommendation accuracy is ensured by optimizing public data and eliminating time offset. The Spark big data calculation platform is used to improve the calculation efficiency. The test results show that the system has a greatly?improved operation speed， and significantly?reduced mean absolute errors （MAEs）， which can provide users with fast and accurate personalized recommendations to enhance user experiences.

Keywords： university library; personalized recommendation; collaborative filtering; Spark; public data optimization; time offset

0 ?引 ?言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)信息呈暴漲式增長(zhǎng)，豐富多彩的網(wǎng)絡(luò)生活給人們帶來(lái)更多體驗(yàn)的同時(shí)，也給高校圖書館帶來(lái)更大的壓力。如何讓高校圖書館保持活躍，給廣大師生提供優(yōu)質(zhì)的服務(wù)，是一個(gè)比較重要的研究課題，如何在數(shù)以十萬(wàn)甚至百萬(wàn)的書籍中給用戶推薦最適合的圖書是其中的關(guān)鍵。

當(dāng)前的圖書推薦研究中，涌現(xiàn)出各種協(xié)同過(guò)濾算法的應(yīng)用和優(yōu)化。在應(yīng)用方面，任星怡等人提出利用用戶的興趣點(diǎn)對(duì)書籍進(jìn)行推薦，即通過(guò)跟蹤用戶的地理位置對(duì)用戶提供合適的推薦[1];何勝等人提出基于用戶行為的圖書推薦，不僅需要考慮到用戶的屬性，用戶行為代表的喜好也同樣重要[2];車晉強(qiáng)等人提出使用大數(shù)據(jù)框架處理推薦系統(tǒng)的大規(guī)模數(shù)據(jù)集，提高計(jì)算效率[3]。在協(xié)同過(guò)濾算法的優(yōu)化方面，王成等人面對(duì)協(xié)同過(guò)濾的矩陣稀疏情況，提出建立項(xiàng)目?用戶倒查表進(jìn)行修正[4]。魏琳東等人提出一種基于矩陣分解和神經(jīng)網(wǎng)絡(luò)映射的冷啟動(dòng)推薦算法[5]。

以上方法均對(duì)推薦系統(tǒng)有不同程度的改進(jìn)，并且收到了不錯(cuò)的效果;但是在高校圖書推薦中，往往忽略了評(píng)分偏置和時(shí)間偏置的影響。本文通過(guò)建立用戶模型和圖書模型，結(jié)合用戶行為修正用戶模型，修正評(píng)分結(jié)果，消除時(shí)間因子的影響，并采用Spark作為計(jì)算平臺(tái)提高計(jì)算效率，提供更快、更準(zhǔn)確的圖書推薦。

1 ?Spark技術(shù)

Spark源于美國(guó)加州大學(xué)伯克利分校AMPLab的集群計(jì)算平臺(tái)[6]，它是一個(gè)開源的并行式處理框架。Spark通過(guò)操作分布式彈性數(shù)據(jù)集（RDD）對(duì)數(shù)據(jù)進(jìn)行處理，是一種基于有向無(wú)環(huán)圖（DAG）的數(shù)據(jù)處理模型，相比于Hadoop在速度方面有很大提升;并且由于Spark快速、易用、通用、可拓展的特點(diǎn)，其已經(jīng)逐漸應(yīng)用在數(shù)據(jù)處理的各個(gè)方面。

2 ?模型構(gòu)建

高校圖書館書目推薦系統(tǒng)是根據(jù)用戶的行為和屬性向其推薦相關(guān)書籍的推薦系統(tǒng)。根據(jù)用戶之間的聯(lián)系和書籍之間聯(lián)系實(shí)現(xiàn)個(gè)性化推薦，減少用戶搜索相關(guān)書籍的時(shí)間，提高用戶體驗(yàn)。在系統(tǒng)中，用戶和書籍是兩個(gè)相互關(guān)聯(lián)的主體，發(fā)現(xiàn)兩者之間的相互關(guān)系和規(guī)律必須以兩者存在為前提。用戶在使用過(guò)程中，要經(jīng)歷模型構(gòu)建、模型分析和列表輸出3個(gè)階段，模型流程圖如圖1所示。

2.1 ?用戶模型

用戶模型的構(gòu)建依賴于用戶的顯式信息和隱式信息。用戶的顯式信息又稱為基本信息，即用戶所在學(xué)院、專業(yè)、年級(jí)和所修課程等固定信息;用戶的隱式信息又稱為行為信息，包含用戶在圖書館所借書籍、網(wǎng)上圖書瀏覽書籍和觀看時(shí)長(zhǎng)等不斷變化的信息。在數(shù)據(jù)分析中，考慮更多的隱式信息有助于系統(tǒng)精確用戶的愛好，并對(duì)其推薦相匹配的書籍。用戶模型構(gòu)建機(jī)制如圖2所示。在本系統(tǒng)的用戶模型構(gòu)建中，主要有以下幾個(gè)方面獲取用戶的相關(guān)信息：

1） 通過(guò)系統(tǒng)之間的相互連通，從高校管理系統(tǒng)中導(dǎo)入師生的相關(guān)基本信息。

2） 通過(guò)用戶的借閱記錄。用戶的借閱記錄通常代表著此時(shí)用戶的喜好和需求，是最直接的信息來(lái)源。

3） 通過(guò)用戶在網(wǎng)絡(luò)上的行為信息。高校在接入網(wǎng)絡(luò)上通常使用一號(hào)一機(jī)，即一個(gè)用戶只能使用一個(gè)固定的網(wǎng)絡(luò)賬號(hào)，可以確定個(gè)人在網(wǎng)絡(luò)圖書館中搜索的書籍。

在借閱時(shí)長(zhǎng)行為中，根據(jù)天數(shù)判斷喜好程度。與網(wǎng)絡(luò)商城不同的是，高校圖書借閱行為是無(wú)代價(jià)的，因此在用戶借閱時(shí)通常不會(huì)仔細(xì)判斷是否是自己所需要的書籍。一般在兩天之內(nèi)還書代表不需要或者不喜歡此書。

在用戶模型構(gòu)建中，采用了SVD++的模型構(gòu)建方法。其主要思想是根據(jù)用戶的相關(guān)屬性和行為構(gòu)建一個(gè)f維的向量，即[Vf=V1，V2，…，Vf]，再根據(jù)其代表的重要程度加以權(quán)重，構(gòu)成一個(gè)完整的用戶模型[Uf={N1，N2，…，Nf}]。對(duì)于用戶的建模是本系統(tǒng)的關(guān)鍵，通過(guò)對(duì)比不同用戶模型在f維空間向量的相似程度，可以計(jì)算出不同用戶之間的相似程度。

2.2 ?圖書模型

圖書模型的建立用于向用戶推薦相應(yīng)的圖書topN列表。與用戶模型類似，圖書模型也需要根據(jù)其屬性信息構(gòu)建，包括圖書的類別、書名、出版日期和評(píng)分等信息。與網(wǎng)上商城推薦不同的是，高校圖書館借閱書籍后并沒(méi)有對(duì)圖書評(píng)價(jià)的信息，因此需要補(bǔ)全這種比較重要的數(shù)據(jù)。根據(jù)文獻(xiàn)[7]，可以利用群體的智慧優(yōu)化推薦。本系統(tǒng)采用的方法是從網(wǎng)絡(luò)上（比如豆瓣讀書等）抓取相關(guān)圖書的評(píng)分，再根據(jù)用戶的相關(guān)行為和相應(yīng)的權(quán)重，將其綜合為一個(gè)攜帶用戶特征的數(shù)據(jù)。

在本系統(tǒng)中構(gòu)建的圖書模型有類別、書名、版本號(hào)、作者、出版日期和評(píng)分等信息，同樣考慮到某些技術(shù)性、時(shí)效性比較強(qiáng)的書籍，也需要對(duì)每類圖書做一個(gè)時(shí)效性的標(biāo)志，用于區(qū)分該圖書是否有時(shí)效性。由此構(gòu)建的圖書模型為[BOOK={class，name，][public_date，author，rate}]，其中：

1） class為圖書的類別。在協(xié)同過(guò)濾中冷啟動(dòng)是一直存在的問(wèn)題，即用戶初次登錄沒(méi)有行為信息的時(shí)候推薦系統(tǒng)無(wú)法為其推薦所需的書籍，因此需要根據(jù)用戶所在學(xué)院、專業(yè)匹配相應(yīng)類別的書籍。例如計(jì)算機(jī)類專業(yè)偏愛編程性書籍，金融類專業(yè)所借金融類書籍比較多。

2） name為圖書的名稱。圖書的名稱涵蓋本書的主要內(nèi)容，依據(jù)圖書名稱的分析能進(jìn)一步縮小書籍所涉及的內(nèi)容。

3） public_date為圖書的出版時(shí)間，用于確定受時(shí)間影響的因子。

4） author為圖書作者。同一作者的書籍通常水平有保證，也更受一些用戶的青睞。

5） rate為該圖書的評(píng)分，即從網(wǎng)絡(luò)上抓取的書籍評(píng)分，加以分析修正后，更有代表性和普適性。

3 ?推薦算法的選擇與改進(jìn)

3.1 ?推薦算法

協(xié)同過(guò)濾算法是推薦算法中最常見也是最有效的推薦算法之一，它的主要思想是利用群體智慧來(lái)進(jìn)行事物的推薦。根據(jù)參照物的不同，協(xié)同過(guò)濾可分為基于用戶的協(xié)同過(guò)濾（UserCF）和基于事物的協(xié)同過(guò)濾（ItemCF）。二者都是基于鄰域的推薦模型，用于在N維空間計(jì)算用戶或事物的相似性，最后選取topN作為推薦結(jié)果。在圖書推薦領(lǐng)域中，最常用的推薦算法是基于事物的協(xié)同過(guò)濾，這是因?yàn)橛脩舻呐d趣愛好和偏愛書籍的類型往往是固定的，且高校圖書館中的書籍信息相對(duì)于用戶的數(shù)據(jù)而言更少，這不僅可以減少計(jì)算次數(shù)，還可以大幅度提高計(jì)算速度。在推薦結(jié)果中，基于事物的協(xié)同過(guò)濾也更具有個(gè)性化，對(duì)于冷啟動(dòng)的問(wèn)題優(yōu)化更好。

基于事物的協(xié)同過(guò)濾是以事物為主體，首先根據(jù)用戶對(duì)商品的評(píng)分（包括顯式評(píng)分和隱式評(píng)分）構(gòu)建一個(gè)[m×n]的圖書?用戶評(píng)分矩陣：

[R=r11r12…r1nr21r22…r2n????rm1rm2…rmn] （1）

式中：m為圖書的數(shù)量;n為用戶的數(shù)量;r為不同圖書接收到的不同用戶的評(píng)分。

根據(jù)不同圖書接收到的各種評(píng)分，計(jì)算兩兩圖書之間的相似度，常用的計(jì)算相似度的方法有余弦相似度、修正的余弦相似度、杰卡德系數(shù)和皮爾遜系數(shù)。

1） 余弦相似性

將不同用戶的評(píng)分規(guī)劃為N維向量，通過(guò)計(jì)算兩個(gè)N維向量的夾角來(lái)判斷相似性。

[snm=p=1nirnprmpp=1nir2npp=1nir2mp] ?（2）

2） 修正的余弦相似性

在余弦相似性中沒(méi)有考慮到不同用戶的評(píng)分尺度問(wèn)題，修正后的余弦相似性在評(píng)分中減去評(píng)分的平均值來(lái)消除這種影響。

[snm=p=1ni（rnp-rn）（rmp-rn）p=1ni（rnp-rn）2p=1ni（rmp-rn）2] （3）

3） 杰卡德系數(shù)

杰卡德系數(shù)考慮到評(píng)價(jià)數(shù)量和比例對(duì)于評(píng)分的影響。

[snm=n?mn?m] （4）

4） 皮爾遜系數(shù)

將兩個(gè)物品的相似性建模成衡量?jī)蓚€(gè)線性相關(guān)的變量的方法，意義在于不同用戶對(duì)共同商品的評(píng)價(jià)。[snm=p∈Inm（rnp-ri）（rmp-rm）p∈Inm（rnp-ri）2p∈Inm（rmp-rm）2] （5）

由鄭炳維在公開數(shù)據(jù)集中測(cè)試，修正的余弦相似性具有更好的效果，因此本文以修正的余弦相似性作為相似性判定[8]。

3.2 ?優(yōu)化與改進(jìn)

在推薦系統(tǒng)中，推薦結(jié)果往往會(huì)受很多方面的影響，如何根據(jù)應(yīng)用情景精確推薦結(jié)果是一個(gè)值得研究的課題。在本設(shè)計(jì)中，來(lái)源于網(wǎng)絡(luò)的評(píng)分?jǐn)?shù)據(jù)往往不能直接使用，要經(jīng)過(guò)分析對(duì)數(shù)據(jù)進(jìn)行優(yōu)化。同樣在某些時(shí)效性要求較高的書目中，尤其是技術(shù)性叢書、教學(xué)型叢書，需要考慮時(shí)間的影響。因此，從以下兩方面對(duì)其進(jìn)行優(yōu)化與改進(jìn)。

1） 用戶評(píng)分的優(yōu)化

本系統(tǒng)選取網(wǎng)絡(luò)上對(duì)書籍的評(píng)分，但這種評(píng)分對(duì)于圖書類別有很大的局限性。經(jīng)常閱讀文學(xué)類書籍的用戶對(duì)文學(xué)類書籍評(píng)分尺度相同，而對(duì)于計(jì)算機(jī)類相關(guān)書籍評(píng)分卻很嚴(yán)格，這樣就造成了評(píng)分尺度的不同。與此同時(shí)，這類用戶可能很少甚至沒(méi)有對(duì)其他類書籍的評(píng)價(jià)，這就造成了不同種類不同類型用戶的評(píng)分，勢(shì)必會(huì)影響圖書的推薦結(jié)果。因此需要消除這些與商品?用戶交互無(wú)關(guān)的影響，即消除偏置，建立統(tǒng)一的基準(zhǔn)。消除偏置的計(jì)算公式為：

[sj=si-s+μ+α] （6）

式中：[si]為該圖書的真實(shí)評(píng)分;[s]為該圖書的平均分;[μ]為所有圖書的平均分;[α]為用戶模型構(gòu)建的綜合評(píng)分。該圖書在消除了不同類圖書的均值差異之后，再賦予共同的基準(zhǔn)值，最后加上以用戶模型為評(píng)判的綜合評(píng)分，得到最終的用戶評(píng)分。修改后的值消除了不同用戶之間的偏置，更有代表性。

2） 時(shí)間因子的優(yōu)化

在某些圖書中，往往存在相應(yīng)的時(shí)效性，隨著時(shí)間的推移推薦值逐漸減小。例如2013年出版的《hadoop權(quán)威指南》與2017年出版的《hadoop權(quán)威指南》，前者介紹的是hadoop0.X，與現(xiàn)在主流使用的hadoop2.X存在很大的差異，因此需要著重推薦后者而不是前者。但這種時(shí)間的推移并不是逐漸轉(zhuǎn)變的，而是階段性的降低。對(duì)于上述需求，引入了一個(gè)非線性函數(shù)作為評(píng)分的權(quán)重，計(jì)算公式為：

[Sut=12ceilingt-ti] （7）

式中：u為使用用戶;ceiling函數(shù)為向上取整函數(shù);ti為該書籍的出版時(shí)間。由此可知，隨著時(shí)間的增長(zhǎng)，權(quán)重逐漸降低，很好地模擬了技術(shù)類叢書隨著時(shí)間的推移，重要性呈階段性降低的情況。

4 ?實(shí)驗(yàn)分析

以某高校圖書館推薦為例，選取了115 MB的數(shù)據(jù)集，其中包括11.7 MB用戶信息數(shù)據(jù)集，74.1 MB的圖書數(shù)據(jù)集和29.2 MB的用戶?圖書借閱數(shù)據(jù)集。為了模擬實(shí)際運(yùn)行環(huán)境，本實(shí)驗(yàn)運(yùn)行在VMware虛擬機(jī)上，模擬4臺(tái)計(jì)算機(jī)并且每臺(tái)計(jì)算機(jī)分配1核CPU和2 GB內(nèi)存的資源。計(jì)算速度記錄如表2所示。

由表2可知，在預(yù)先計(jì)算好用戶模型和圖書模型的情況下，傳統(tǒng)計(jì)算的時(shí)間平均為1.58 s，而Spark計(jì)算的時(shí)間平均為1.014 s，比傳統(tǒng)算法快了35.8%，由此說(shuō)明應(yīng)用Spark計(jì)算大幅度提高了計(jì)算效率。

在對(duì)推薦算法的評(píng)估中，最常用的指標(biāo)是平均絕對(duì)偏差（MAE）[9]。平均絕對(duì)偏差是比較預(yù)測(cè)評(píng)分與實(shí)際評(píng)分和的平均值，其計(jì)算公式為：

[MAE=i=1Npi-qiN] （8）

式中：[pi]為預(yù)測(cè)評(píng)分;[qi]為實(shí)際評(píng)分。由此可見預(yù)測(cè)評(píng)分和實(shí)際評(píng)分的差距越小，MAE值就越小，所推薦的商品也就越準(zhǔn)確。

不僅推薦質(zhì)量對(duì)MAE的大小有影響，鄰居數(shù)量也會(huì)對(duì)MAE的大小有很大影響。選取鄰居數(shù)量分別為10，20，30，40，50，得到相應(yīng)的MAE值如圖3所示。由圖3可知，改進(jìn)的協(xié)同過(guò)濾算法MAE值不僅比傳統(tǒng)的協(xié)同過(guò)濾算法更低，而且隨著鄰居數(shù)量的增加，MAE上升速度也更慢。通過(guò)上述兩組對(duì)比，可以看出基于Spark平臺(tái)的推薦在速度上有了很大提升?；谟脩裟Ｐ秃蛨D書模型，并對(duì)評(píng)分偏置和時(shí)間偏置進(jìn)行優(yōu)化的算法在準(zhǔn)確率上也起到了很大的作用。

5 ?結(jié) ?語(yǔ)

本文主要對(duì)傳統(tǒng)高校圖書館的書目推薦系統(tǒng)進(jìn)行改進(jìn)。雖然推薦系統(tǒng)在運(yùn)行速度和準(zhǔn)確率上有了很大提升，但是在用戶和圖書信息收集方面存在很大缺陷，尤其是如何判定書籍中的知識(shí)是否符合現(xiàn)在需求方面，還需要在未來(lái)的研究中繼續(xù)深入探索。

參考文獻(xiàn)

[1] 任星怡，宋美娜，宋俊德.基于用戶簽到行為的興趣點(diǎn)推薦[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（1）：28?51.

REN Xingyi， SONG Meina， SONG Junde. Point?of?interest recommendation based on the user check?in behavior [J]. Chinese journal of computers， 2017， 40（1）： 28?51.

[2] 何勝，馮新翎，武群輝，等.基于用戶行為建模和大數(shù)據(jù)挖掘的圖書館個(gè)性化服務(wù)研究[J].圖書情報(bào)工作，2017，61（1）：40?46.

HE Sheng， FENG Xinling， WU Qunhui， et al. Research on personalized services of library based on user behavior modelling and big data mining [J]. Library and information service， 2017， 61（1）： 40?46.

[3] 車晉強(qiáng)，謝紅薇.基于Spark的分層協(xié)同過(guò)濾推薦算法[J].電子技術(shù)應(yīng)用，2015，41（9）：135?138.

CHE Jinqiang， XIE Hongwei. Hierarchical collaborative filtering algorithm based on Spark [J]. Application of electronic technique， 2015， 41（9）： 135?138.

[4] 王成，朱志剛，張玉俠，等.基于用戶的協(xié)同過(guò)濾算法的推薦效率和個(gè)性化改進(jìn)[J].小型微型計(jì)算機(jī)系統(tǒng)，2016，37（3）：428?432.

WANG Cheng， ZHU Zhigang， ZHANG Yuxia， et al. Improvement in recommendation efficiency and personalized of user?based collaborative filtering algorithm [J]. Journal of Chinese computer systems， 2016， 37（3）： 428?432.

[5] 魏琳東，黃永峰.融合用戶屬性信息的冷啟動(dòng)推薦算法[J].電子技術(shù)應(yīng)用，2017，43（10）：137?140.

WEI Lindong， HUANG Yongfeng. Incorporating user attribute data in recommendation system [J]. Application of electronic technique， 2017， 43（10）： 137?140.

[6] 詹義，方媛.基于Spark技術(shù)的網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)搭建與應(yīng)用[J].互聯(lián)網(wǎng)天地，2016（2）：75?78.

ZHAN Yi， FANG Yuan. Building and application of network big data analysis platform based on Spark technology [J]. China Internet， 2016（2）： 75?78.

[7] 馬玲娜.基于集體智慧的標(biāo)簽推薦系統(tǒng)的設(shè)計(jì)與開發(fā)[D].西安：陜西師范大學(xué)，2013.

MA Lingna. Design and development of tag recommendation system based on collective intelligence [D]. Xian： Shaanxi Normal University， 2013.

[8] 鄭炳維.基于Spark平臺(tái)的協(xié)同過(guò)濾算法的研究與實(shí)現(xiàn)[D].廣州：華南農(nóng)業(yè)大學(xué)，2016.

ZHENG Bingwei. Research and implementation of collaborative filtering algorithm based on Spark platform [D]. Guangzhou： South China Agricultural University， 2016.

[9] 張宏，王慧.基于用戶評(píng)分和共同評(píng)分項(xiàng)的協(xié)同過(guò)濾算法研究[J].計(jì)算機(jī)應(yīng)用研究，2019，36（1）：77?80.

ZHANG Hong， WANG Hui. Research on collaborative filtering algorithm based on user score and common score [J]. Application research of computers， 2019， 36（1）： 77?80.

[10] 王捷.基于用戶行為數(shù)據(jù)分析的高校圖書館信息服務(wù)平臺(tái)研究[J].現(xiàn)代情報(bào)，2017，37（1）：127?130.

WANG Jie. Study of information service platform based on data analysis of user behavior in university libraries [J]. Modern information， 2017， 37（1）： 127?130.