圖書館大數(shù)據(jù)知識服務(wù)情境化推薦系統(tǒng)研究

劉海鷗，陳 晶，孫晶晶，張亞明△

（燕山大學(xué) a.互聯(lián)網(wǎng)+與產(chǎn)業(yè)發(fā)展研究中心；b.經(jīng)濟(jì)管理學(xué)院）

1 引言

隨著大數(shù)據(jù)時(shí)代到來，圖書館知識服務(wù)面臨兩個(gè)日益凸顯的矛盾，其一是知識爆炸性增長與用戶選擇能力局限性之間的矛盾，其二是信息量極度豐富和用戶感興趣信息局限性之間的矛盾。圖書館大數(shù)據(jù)知識服務(wù)的個(gè)性化推薦技術(shù)是解決該問題的一個(gè)有效工具。圖書館大數(shù)據(jù)知識服務(wù)的個(gè)性化推薦是將讀者興趣、知識領(lǐng)域等關(guān)聯(lián)信息加工為能夠生動描述讀者偏好的知識元，由此來支持?jǐn)?shù)字圖書館各種推薦服務(wù)，最終為用戶提供滿足其個(gè)性化需求的知識資源。面對海量的知識資源，用戶的需求并非一成不變，會隨著其所處的環(huán)境與場景（情境）而發(fā)生變化。有研究表明，［1,2］用戶這種情境的變化對其個(gè)性化需求會造成不同程度的影響。但目前大多數(shù)圖書館對情境因素的感知能力不足，因此難以為圖書館用戶提供與其情境最為匹配的精準(zhǔn)個(gè)性化服務(wù)。

為解決個(gè)性化推薦系統(tǒng)存在的“情境缺位”問題，國外學(xué)者M(jìn)allat等［3］在其構(gòu)建的個(gè)性化推薦系統(tǒng)中對用戶的情境信息進(jìn)行了定義，可根據(jù)用戶當(dāng)時(shí)所處的情境來進(jìn)行個(gè)性化推薦；Adomavicius等［4］在研究過程中引入了用戶的購買時(shí)間，將其作為情境變量來構(gòu)建集成用戶情境的協(xié)同過濾推薦模型；Anand等［5］在研究中討論了如何在推薦系統(tǒng)中對情境進(jìn)行模擬的問題，基于此提出了融合用戶情境信息的推薦方法；Bao等［6］通過研究提出了一種無監(jiān)督方法，由此來對移動用戶的個(gè)性化情境進(jìn)行實(shí)時(shí)模擬；Sen［7］、Karatzoglou［8］、Rendle 等［9］也各自在其推薦系統(tǒng)中融入了用戶情境信息，由此提出情境感知推薦方法、融合情境的多元推薦方法以及基于情境分解機(jī)的推薦方法。

在圖書館個(gè)性化服務(wù)推薦研究領(lǐng)域，我國學(xué)者郭順利、李秀霞［10］探討了圖書館用戶信息需求的情境敏感性以及推薦即時(shí)性特點(diǎn)，基于此提出了圖書館用戶信息需求模型，并通過實(shí)驗(yàn)驗(yàn)證了情境要素對提升圖書館個(gè)性化推薦質(zhì)量的關(guān)鍵作用；畢達(dá)天、晁亞男［11］在數(shù)字圖書館用戶興趣建模過程中，從用戶情境偏好的角度出發(fā)，探討了數(shù)字圖書館資源情境對用戶接受推薦結(jié)果的重要影響；李靜云［12］構(gòu)建了用戶情境感知的圖書館知識推薦系統(tǒng)，以此來提高圖書館知識推薦的針對性與準(zhǔn)確性；張文萍等［13］進(jìn)一步分析了影響數(shù)字圖書館個(gè)性化知識服務(wù)的多個(gè)情境因素，基于此探討每個(gè)情境維度對知識服務(wù)個(gè)性化推薦的影響；周玲元［14］探討了移動環(huán)境下的情境感知計(jì)算流程，基于此構(gòu)建了圖書館聯(lián)盟情境感知推薦系統(tǒng)；曾子明、陳貝貝［15］從智慧圖書館建設(shè)的角度出發(fā)，提出構(gòu)建智慧圖書館情境感知的個(gè)性化服務(wù)推薦系統(tǒng)，通過深層次融合情境信息為廣大用戶提供與其情境更為匹配的智慧信息資源，從而實(shí)現(xiàn)精準(zhǔn)個(gè)性化服務(wù)；胡慕海等［16］通過研究提出了基于信息熵的用戶情境敏感性度量方法，由此對用戶進(jìn)行相似性計(jì)算，該方法在一定程度上提高了圖書館知識推薦精度，有利于為用戶提供滿足其個(gè)性化知識資源。

綜上所述，國內(nèi)外學(xué)者已對融合情境信息的協(xié)同過濾（Collaborative Filtering，CF）推薦進(jìn)行了一定的研究，也有部分研究在圖書館個(gè)性化推薦系統(tǒng)中引入了讀者的情境信息。但是當(dāng)前大多數(shù)研究主要通過用戶靜態(tài)信息與評分項(xiàng)目進(jìn)行推薦，對圖書館用戶的位置情境、時(shí)間情境、業(yè)務(wù)關(guān)聯(lián)情境等挖掘不夠深入，圖書館推薦服務(wù)中的情境信息共享、情境興趣建模以及情境感知的個(gè)性化服務(wù)機(jī)制等問題仍需要進(jìn)一步研究。［17］此外，圖書館用戶的行為數(shù)據(jù)與情境信息在大數(shù)據(jù)環(huán)境下呈指數(shù)式爆炸性增長，這極大增加了從海量數(shù)據(jù)中挖掘用戶情境興趣與相關(guān)知識的難度，且項(xiàng)目評分的稀疏性問題也愈加突出。鑒于此，本研究在傳統(tǒng)推薦算法中引入圖書館用戶的情境信息，提出面向圖書館大數(shù)據(jù)知識服務(wù)的情境化推薦系統(tǒng)，采用大數(shù)據(jù)MapReduce處理技術(shù)實(shí)現(xiàn)協(xié)同過濾算法的并行分布式推薦，最后給出推薦結(jié)果。

2 圖書館大數(shù)據(jù)知識服務(wù)情境化推薦系統(tǒng)設(shè)計(jì)

在借鑒分布式架構(gòu)、用戶個(gè)性化興趣建模以及CF推薦技術(shù)的基礎(chǔ)上，本研究提出面向圖書館大數(shù)據(jù)知識服務(wù)的情境化推薦系統(tǒng)架構(gòu)（見圖1）。

圖1 面向圖書館大數(shù)據(jù)知識服務(wù)的情境化推薦系統(tǒng)架構(gòu)

從圖1可以看出，圖書館情境化服務(wù)推薦系統(tǒng)部署在Hadoop分布式環(huán)境下，對推薦系統(tǒng)而言，隨著圖書館用戶服務(wù)請求規(guī)模的不斷增加，其面臨的大數(shù)據(jù)處理壓力也逐漸增大。此時(shí)，Hadoop分布式處理的計(jì)算優(yōu)勢就得以充分發(fā)揮，它可以將圖書館用戶服務(wù)請求部署到Hadoop集群進(jìn)行處理，通過橫向擴(kuò)展Hadoop節(jié)點(diǎn)數(shù)量，增加集群并行計(jì)算性能，以此緩解推薦系統(tǒng)面臨的大數(shù)據(jù)處理壓力。具體來講，面向圖書館大數(shù)據(jù)知識服務(wù)情境化推薦系統(tǒng)包括如下模塊。

（1）圖書館用戶大數(shù)據(jù)獲取與存儲模塊。數(shù)據(jù)獲取模塊的主要目的是提取圖書館用戶相關(guān)數(shù)據(jù)，同時(shí)將其存儲到Hadoop相應(yīng)的存儲模塊中。鑒于面向圖書館大數(shù)據(jù)知識服務(wù)的情境化推薦系統(tǒng)需對用戶的即時(shí)興趣迅速作出回應(yīng)，因此對數(shù)據(jù)存儲層的響應(yīng)時(shí)間提出了較高要求。Hadoop中的HBase分布式存儲面對海量數(shù)據(jù)具有快速的服務(wù)響應(yīng)能力，因此可通過橫向擴(kuò)充集群節(jié)點(diǎn)來實(shí)現(xiàn)圖書館用戶大數(shù)據(jù)的存儲。

（2）情境興趣建模模塊。圖書館大數(shù)據(jù)知識服務(wù)情境化推薦系統(tǒng)的核心模塊為情境興趣建模，即如何融合圖書館用戶的情境信息進(jìn)行情境興趣建模，并基于此緩解數(shù)據(jù)稀疏性導(dǎo)致的推薦性能下降問題。

（3）并行推薦模塊。大數(shù)據(jù)環(huán)境下，協(xié)同過濾的挖掘速度與推薦系統(tǒng)的運(yùn)行效率遇到了極大挑戰(zhàn)。本研究引入MapReduce大數(shù)據(jù)處理工具對傳統(tǒng)的協(xié)同過濾推薦方法進(jìn)行改進(jìn)，以此提高圖書館用戶大數(shù)據(jù)的并行挖掘精度以及推薦系統(tǒng)的運(yùn)行效率。

（4）情境化服務(wù)推薦引擎模塊。本研究構(gòu)建的圖書館推薦系統(tǒng)的推薦引擎主要對系統(tǒng)前端接收的圖書館情境化服務(wù)請求做出回應(yīng)，推薦系統(tǒng)服務(wù)接口再使用情境化推薦方法進(jìn)行推薦，最終將計(jì)算出的推薦結(jié)果提供給用戶。

3 大數(shù)據(jù)的獲取與存儲

大數(shù)據(jù)技術(shù)的出現(xiàn)促使圖書館數(shù)字資源間的協(xié)同與互聯(lián)達(dá)到前所未有的深度和廣度，尤其是移動閱讀終端的多樣化和普及化為我們帶來了多領(lǐng)域、立體化、全方位的圖書館大數(shù)據(jù)。對圖書館而言，可實(shí)現(xiàn)其情境化推薦服務(wù)的大數(shù)據(jù)資源主要包括：用戶基本數(shù)據(jù)、用戶行為數(shù)據(jù)、圖書館知識資源數(shù)據(jù)以及用戶情境數(shù)據(jù)（見表1）。

表1 圖書館大數(shù)據(jù)資源類別劃分

表1中的用戶個(gè)人信息主要體現(xiàn)圖書館用戶的性別、年齡、專業(yè)等，此類信息可通過系統(tǒng)的注冊信息獲取，行為數(shù)據(jù)以及知識資源數(shù)據(jù)可通過Cloudera提供的Flume系統(tǒng)進(jìn)行采集。其中，F(xiàn)lume是一個(gè)開源的分布式海量日志收集系統(tǒng)，該系統(tǒng)將定期分布式存儲用戶的訪問日志，以供后續(xù)的跟蹤和分析使用。用戶情境信息是本研究重點(diǎn)關(guān)注的要素，主要包括時(shí)間信息、地理位置信息以及環(huán)境信息，其中，時(shí)間信息和位置信息也可合稱為時(shí)空情境。時(shí)空情境既包括絕對時(shí)空信息（可確切且可量化的時(shí)空信息，如，東經(jīng)12.3度，北緯45.6度、樣本閱覽室101、圖書館入口以及確切的年月日等），還包括相對時(shí)空信息（模糊描述時(shí)間與位置的時(shí)空信息，如，圖書館一樓、圖書館大門200米處、暑假期間等）。時(shí)空數(shù)據(jù)主要可根據(jù)定位技術(shù)獲取，如GPS、北斗、RFID、無線網(wǎng)絡(luò)基站、WiFi、傳感器等。環(huán)境信息主要客觀描述用戶所處的自然條件，如，用戶周圍的溫度、濕度、光線、噪聲、天氣狀況等，這些數(shù)據(jù)可以通過傳感器、用戶手持的智能終端設(shè)備直接獲取。

此外，Hadoop的持久化分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）解決了圖書館大數(shù)據(jù)的存儲問題。HDFS特別適于存儲數(shù)據(jù)查詢要求不高的圖書館信息，如，圖書情報(bào)學(xué)界近年來重大新聞信息、行業(yè)發(fā)展動態(tài)信息等。對于分布式存儲的高級應(yīng)用，HBase具有類似關(guān)系型數(shù)據(jù)庫的服務(wù)功能，其列式存儲也非常適用于大規(guī)模本體數(shù)據(jù)的存儲、查詢以及實(shí)時(shí)更改。圖書館大數(shù)據(jù)的HDFS存儲機(jī)制具體如圖2所示。

圖2 圖書館大數(shù)據(jù)知識服務(wù)的HDFS存儲機(jī)制

4 用戶情境興趣建模

用戶情境興趣建模是大數(shù)據(jù)知識服務(wù)情境化推薦的核心部分，本節(jié)對其進(jìn)行細(xì)致描述。

在情境化推薦系統(tǒng)中，根據(jù)圖書館用戶所處的地理位置、環(huán)境溫度、服務(wù)時(shí)間等不同類型的情境，本研究使用向量計(jì)算公式將其標(biāo)記為Context=｛C1,L,Ci,L,C｝n。其中Ci表示某一情境屬性的向量，可以體現(xiàn)圖書館用戶當(dāng)前的時(shí)間信息、位置信息、活動狀態(tài)等。如在C=｛c1,L,ci,L,c｝n這一情境實(shí)例，ci體現(xiàn)的是情境屬性Ci的具體屬性值：若Ci為位置情境，則ci可表示東經(jīng)12.3度、圖書館101、圖書館入口等。Contextx和Contexty則表示兩種不同的情境，其相似度本研究記為Sim（Contextx，Context）y，Simk（Contextx，Context）y則表示情境Contextx和Contexty在k類情境背景下比較的相似程度。鑒于圖書館用戶是在一定情境下對項(xiàng)目進(jìn)行評分，且該情境信息將對用戶評分產(chǎn)生影響，因此本研究在評分過程中引入了圖書館用戶的情境信息，由此來對傳統(tǒng)CF的用戶—項(xiàng)目評分矩陣進(jìn)行擴(kuò)展，形成用戶—項(xiàng)目—情境評分矩陣，也就是將情境信息ContextK融入到原先圖書館用戶的每一個(gè)項(xiàng)目評分中去，實(shí)現(xiàn)融合情境興趣的圖書館個(gè)性化推薦。具體而言，就是建立“用戶—項(xiàng)目—情境評分”的三維量空間模型：｛User，Item，Context｝，三個(gè)維度用戶、項(xiàng)目、情境評分分別由各自的屬性值構(gòu)成。

首先，獲取用戶—項(xiàng)目評分矩陣及評分時(shí)用戶所處的情境。在建立圖書館用戶情境化推薦模型時(shí)，先建立傳統(tǒng)的用戶評分矩陣 ，該矩陣反映了用戶User對項(xiàng)目Item的評分情況，如公式（1）所示：

其中，用戶ui對項(xiàng)目sj的評分使用表示，用戶ui的平均評分使用表示，用戶uj的平均評分使用表示。

然后，根據(jù)用戶在不同情境下對相同項(xiàng)目的不同評分，采用Pearson相關(guān)系數(shù)度量公式計(jì)算同一用戶的不同情境相似度，具體如公式（2）所示。

公式（2）中，S表示目標(biāo)用戶u在情境Cx和情境Cy都有評分值的項(xiàng)目集合；表示用戶項(xiàng)目在情境下的評分值；則表示平均評分值。

最后，計(jì)算與目標(biāo)用戶u的近似情境集合。大數(shù)據(jù)知識服務(wù)環(huán)境下，由于圖書館用戶在不同情境下共同評分的知識服務(wù)資源項(xiàng)目很少，這樣就很難獲得與目標(biāo)用戶u相近的情境集合。為解決這一問題，本文采用余弦相似性公式對情境Cx和情境Cy的余弦相似度進(jìn)行計(jì)算，具體如公式（3）所示：

通過公式（3），可以得出與目標(biāo)用戶u當(dāng)前情境最接近的近似情境集合，然后進(jìn)行情境化協(xié)同過濾推薦，最后給出Top-N的推薦結(jié)果。

5 大數(shù)據(jù)的并行處理與推薦

由于本研究提出的情境化推薦面向的是海量數(shù)據(jù)，僅通過單機(jī)運(yùn)行的協(xié)同過濾推薦方法難以進(jìn)行有效的圖書館大數(shù)據(jù)知識挖掘。鑒于此，引入了大數(shù)據(jù)并行處理技術(shù)，利用Hadoop分布式環(huán)境下部署本文構(gòu)建的圖書館情境化推薦系統(tǒng)，通過MapReduce對CF推薦方法進(jìn)行并行處理，從而改進(jìn)海量數(shù)據(jù)環(huán)境下CF推薦系統(tǒng)的挖掘性能與可擴(kuò)展性。

圖書館情境化推薦的大數(shù)據(jù)并行處理與挖掘過程主要包括兩個(gè)環(huán)節(jié)：第一步使用MapReduce大數(shù)據(jù)處理方法計(jì)算用戶—項(xiàng)目評分矩陣的相似度；第二步通過相似度對未評分項(xiàng)目進(jìn)行評分預(yù)測。在計(jì)算圖書館用戶—項(xiàng)目評分矩陣相似度時(shí)，本文輸入的鍵值對以〈null，（User，Item，Score）〉 的形式表示，輸出的鍵值采用〈（Item1，Item2），Sim〉表示。該階段的并行計(jì)算可通過兩個(gè)MapReduce任務(wù)來實(shí)現(xiàn)，第一次MapReduce主要匯總圖書館用戶對項(xiàng)目的評分信息，然后進(jìn)行排名；其中的Map函數(shù)將輸入的圖書館用戶信息與項(xiàng)目打分信息轉(zhuǎn)換為相對應(yīng)的鍵值對，Reduce函數(shù)則合并具有相同用戶的打分項(xiàng)目，具體過程如表2和表3所示。第二次MapReduce致力于計(jì)算項(xiàng)目間的相似度，將圖書館用戶和各項(xiàng)目間（User and Item）的鍵值對轉(zhuǎn)換成項(xiàng)目和項(xiàng)目間（Item and Item）的鍵值對，具體是采用Map函數(shù)獲得各Item間同一User的評分，利用Reduce函數(shù)計(jì)算項(xiàng)目之間的相似程度。通過兩次MapReduce處理后，可得出相似度的計(jì)算結(jié)果以及各Item的相似度列表。最后，根據(jù)MapReduce計(jì)算得出的圖書館用戶的推薦評分相似列表，使用Map函數(shù)進(jìn)行CF推薦，并通過Reduce函數(shù)輸出推薦結(jié)果，具體計(jì)算過程如表4和表5所示。

表2 第一次MapReduce的Map階段

表3 第一次MapReduce的Reduce階段

表4 Map函數(shù)的CF推薦階段

表5 Reduce函數(shù)的推薦結(jié)果輸出階段

具體而言，首先將第三部分獲得的圖書館用戶行為、相關(guān)圖書評分等大數(shù)據(jù)知識服務(wù)信息引入推薦系統(tǒng)，在進(jìn)行第四部分的情境興趣建模時(shí)，引入時(shí)間或者其他情境要素的評分權(quán)重，由此可以獲得Top-N的推薦結(jié)果。在大數(shù)據(jù)的處理與挖掘過程中，原始輸入的參數(shù)為（Reder，Book，Score），通過 MapReduce將獲得以Reder為Key值、（Book，Score）為 Value值的輸入，然后利用情境相似度公式獲得用戶u對圖書項(xiàng)目b的興趣度Pref；以此類推，可獲得u所有的圖書項(xiàng)目歷史瀏覽信息 （（Book1Pref1），（Book2Pref2），L （BooknPrefn）），采用Map輸出相似度計(jì)算得出的鍵值對，通過函數(shù)Reduce匯總并輸出以Book為 Ket值，以｛（book1n1），（book2n），L （booknnn）｝ 為 Value值的鍵值對，最終得到用戶u的圖書相似度矩陣和Top-N的推薦結(jié)果。

6 并行推薦效果的檢驗(yàn)方法

本研究實(shí)驗(yàn)評價(jià)標(biāo)準(zhǔn)主要包括兩個(gè)方面：首先測試基于Hadoop的大數(shù)據(jù)并行挖掘有無提升模型計(jì)算的性能；其次是測試情境化推薦對數(shù)據(jù)稀疏性導(dǎo)致推薦精度下降的緩解情況。

作為并行計(jì)算測試的評價(jià)指標(biāo)，加速比主要用來對比單機(jī)與并行計(jì)算兩種不同環(huán)境下特定算法運(yùn)行所耗費(fèi)的時(shí)長，其計(jì)算方法為單機(jī)運(yùn)行時(shí)間與并行運(yùn)行時(shí)間兩者之間的比值：S=T（1）/T（N）。其中，T（1）為算法在單機(jī)環(huán)境下的運(yùn)行時(shí)間，T（N）為多機(jī)并行處理的時(shí)間，兩者的比值結(jié)果即為加速比。此外，為了對比Hadoop環(huán)境下不同數(shù)目節(jié)點(diǎn)對并行計(jì)算結(jié)果的影響，還引入了相對加速比指標(biāo)：S相對=T（單DataNode）/T（多DataNode）。其中，S相對表示相對加速比，T（單DataNode）表示單機(jī)運(yùn)行的時(shí)間，T（多DataNode）表示多DataNode集群運(yùn)行的時(shí)間。

在推薦性能測試方面，使用最為常見的平均絕對偏差MAE、用戶覆蓋率Coverage以及P（u）@N。MAE表明預(yù)測評分與實(shí)際評分間的偏差程度，MAE越小，表明算法給出的推薦結(jié)果約接近于實(shí)際情況，兩者誤差也就越小。MAE的計(jì)算公式為：MAE=/N。其中，｛P1,P2,…,PN｝，為算法預(yù)測得出的用戶評分集合，｛q1,q2,…,qn｝為實(shí)際用戶評分集合。覆蓋率指標(biāo)主要衡量對數(shù)據(jù)集的覆蓋范圍，本文采用Coverage表示，計(jì)算公式為其中，測試實(shí)驗(yàn)執(zhí)行次數(shù)使用n表示，算法計(jì)算得出的用戶預(yù)測評級使用pi表示。而P（u）@N則表示推薦列表中與目標(biāo)用戶u當(dāng)前情境相符合的用戶需求項(xiàng)目數(shù)與N的比值，計(jì)算公式為：P（u）@N=（relevent items intop nitemsforu）/N。