基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)架構(gòu)研究*

趙志光

(廣州市越秀區(qū)圖書館，廣東 廣州 510080)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，以智慧地球概念為起點(diǎn)的智慧化建設(shè)項(xiàng)目越來(lái)越多，其中包括智慧圖書館建設(shè)。由于部分公共圖書館實(shí)行的總館與分館相結(jié)合的總分館管理制度，以及部分高校圖書館實(shí)行的總校圖書館和分校圖書館相結(jié)合的總分館管理制度，在大數(shù)據(jù)層面對(duì)智慧圖書館提出了更高的要求。圖書館總分館模式已經(jīng)成為許多公共圖書館的重要建設(shè)模式，如何構(gòu)建基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)已成為重要的研究課題。因此，筆者對(duì)基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)架構(gòu)進(jìn)行了研究，以期提高圖書館總分館的服務(wù)水平。

1 基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)的目標(biāo)設(shè)計(jì)與技術(shù)選擇

1.1 基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)的目標(biāo)設(shè)計(jì)

近年來(lái)，各地圖書館越來(lái)越重視總分館建設(shè)，并在總分館建設(shè)過(guò)程中把服務(wù)網(wǎng)絡(luò)延伸到街道(鄉(xiāng)鎮(zhèn))、社區(qū)(村)，通過(guò)實(shí)行圖書館集群化管理，實(shí)現(xiàn)了通借通還，提升了服務(wù)能力，優(yōu)化了服務(wù)體系。圖書館總分館建設(shè)模式具有總館集中管理和集中控制、分館統(tǒng)一標(biāo)準(zhǔn)執(zhí)行、服務(wù)標(biāo)準(zhǔn)規(guī)劃統(tǒng)一、服務(wù)質(zhì)量穩(wěn)定性好等特點(diǎn)，受到眾多類型圖書館的青睞，目前已在全國(guó)得到廣泛推廣。圖書館總分館建設(shè)模式要求圖書館建設(shè)智慧服務(wù)云平臺(tái)系統(tǒng)，以確保服務(wù)質(zhì)量和服務(wù)效能，滿足圖書館總分館的文獻(xiàn)資源建設(shè)需求及用戶服務(wù)需求。

1.2 圖書館總分館智慧服務(wù)云平臺(tái)的技術(shù)選擇

雖然很多技術(shù)能被用于圖書館總分館智慧服務(wù)云平臺(tái)建設(shè)，但圖書館應(yīng)選擇性價(jià)比較高的技術(shù)體系[1]。例如，Apache軟件基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)軟件Hadoop，既是一款可擴(kuò)展的分布式計(jì)算的開源軟件，也是一個(gè)能夠滿足我國(guó)圖書館總分館資源建設(shè)和實(shí)際使用需求的分布式計(jì)算平臺(tái)。圖書館基于大數(shù)據(jù)，可在Hadoop上開發(fā)和運(yùn)行處理總分館的海量數(shù)據(jù)。Hadoop具有高可靠性、可擴(kuò)展性、高效率性、高容錯(cuò)性和低成本性等特點(diǎn)，Hadoop系統(tǒng)框架最核心的設(shè)計(jì)是用于大數(shù)據(jù)存儲(chǔ)的HDFS及用于大數(shù)據(jù)計(jì)算的MapReduce，前者為海量的數(shù)據(jù)提供存儲(chǔ)，后者對(duì)海量的數(shù)據(jù)進(jìn)行計(jì)算。圖書館利用Hadoop建設(shè)總分館智慧服務(wù)云平臺(tái)系統(tǒng)，不僅能為海量的數(shù)據(jù)提供存儲(chǔ)，對(duì)這些數(shù)據(jù)進(jìn)行計(jì)算分析，還能降低平臺(tái)建設(shè)成本。

2 基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)總體架構(gòu)設(shè)計(jì)

基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)系統(tǒng)的總體構(gòu)架設(shè)計(jì)，宜采用三層結(jié)構(gòu)，即用戶服務(wù)層、技術(shù)應(yīng)用層和大數(shù)據(jù)資源層[2]。其中，用戶服務(wù)層處于系統(tǒng)的最上層，它的作用在于為圖書館總分館用戶提供人性化的交互服務(wù)界面及具備智慧圖書館服務(wù)功能的智慧交互服務(wù)界面，屬于圖書館總分館的服務(wù)窗口；技術(shù)應(yīng)用層處于系統(tǒng)的中間層，起著承接最上層的用戶服務(wù)層和最下層的大數(shù)據(jù)資源層的作用，負(fù)責(zé)大數(shù)據(jù)接口和各類應(yīng)用接口；大數(shù)據(jù)資源層處于系統(tǒng)的最下層，它的作用在于對(duì)圖書館總分館的各類大數(shù)據(jù)信息進(jìn)行處理，如大數(shù)據(jù)的集群化處理、并行化處理、分類化處理等，并能夠?qū)⑻幚砣蝿?wù)進(jìn)行集群分配，對(duì)各類大數(shù)據(jù)進(jìn)行實(shí)時(shí)讀取和分析、及時(shí)或定時(shí)保存、實(shí)時(shí)或定時(shí)更新。

3 基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)分布式架構(gòu)設(shè)計(jì)

在基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)分布式架構(gòu)設(shè)計(jì)中，Hadoop分布式架構(gòu)的核心部分包括分布式文件系統(tǒng)(HDFS)、分布式數(shù)據(jù)庫(kù)(Hbase)、分布式處理組件(MapReduce)、數(shù)據(jù)表和存儲(chǔ)管理服務(wù)系統(tǒng)(Hcatalog)、分布式系統(tǒng)協(xié)調(diào)的基礎(chǔ)服務(wù)(Zookeeper)、數(shù)據(jù)分析平臺(tái)(Hive)、數(shù)據(jù)庫(kù)工具(Pig)等[3]。分布式文件系統(tǒng)具有較強(qiáng)的容錯(cuò)性能，能夠?qū)偡逐^的各類文件進(jìn)行分布式采集、記錄、存儲(chǔ)和管理；分布式數(shù)據(jù)庫(kù)具有較好的可伸縮性和高度可用性，能夠?qū)偡逐^的數(shù)據(jù)進(jìn)行分布式管理；分布式處理組件由Map和Reduce兩部分組成，能夠在基于組件的大規(guī)模集群條件下對(duì)總分館的數(shù)據(jù)進(jìn)行分布式管理；數(shù)據(jù)表和存儲(chǔ)管理服務(wù)系統(tǒng)能夠?qū)Ω黝愔悄芊?wù)項(xiàng)目的數(shù)據(jù)進(jìn)行表格化管理和存儲(chǔ)；分布式系統(tǒng)協(xié)調(diào)的基礎(chǔ)服務(wù)用于構(gòu)建整個(gè)系統(tǒng)的分布式應(yīng)用模塊。因此，圖書館基于Hadoop分布式構(gòu)架，利用相關(guān)應(yīng)用軟件，能夠快捷、高效、科學(xué)地搭建一個(gè)基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)，對(duì)總分館的數(shù)據(jù)進(jìn)行處理、分析、監(jiān)管、存儲(chǔ)，為總分館開展服務(wù)提供保障。

4 基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)的智慧架構(gòu)設(shè)計(jì)

基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)架構(gòu)的智慧設(shè)計(jì)，集中體現(xiàn)在圖書館總分館為用戶提供智慧服務(wù)的架構(gòu)設(shè)計(jì)方面[4]，主要包括智慧服務(wù)項(xiàng)目選擇與大數(shù)據(jù)挖掘兩個(gè)方面。在智慧服務(wù)項(xiàng)目選擇方面，圖書館可借助智慧服務(wù)云平臺(tái)的大數(shù)據(jù)分析功能，根據(jù)用戶的個(gè)性化需求，選擇合適的智慧服務(wù)項(xiàng)目，如：基于開放獲取的文獻(xiàn)資源傳遞服務(wù)、學(xué)科專題定向服務(wù)、慕課線上課程服務(wù)、圖書館聯(lián)盟服務(wù)及真人圖書館服務(wù)等[5]。在大數(shù)據(jù)挖掘方面，圖書館可充分借助智慧服務(wù)云平臺(tái)的大數(shù)據(jù)分析功能，對(duì)用戶的行為數(shù)據(jù)進(jìn)行挖掘和分析，創(chuàng)新服務(wù)模式，最大限度地滿足用戶的多元化信息需求。

5 基于大數(shù)據(jù)的圖書館總分館智慧服務(wù)云平臺(tái)架構(gòu)關(guān)鍵技術(shù)

5.1 硬件技術(shù)

圖書館根據(jù)智慧服務(wù)云平臺(tái)的構(gòu)建規(guī)則[6]，需要在其硬件架構(gòu)中將智慧服務(wù)云平臺(tái)的集群劃分為命名節(jié)點(diǎn)集群(name node)與數(shù)據(jù)節(jié)點(diǎn)集群(data node)兩個(gè)部分。前者主要用于存儲(chǔ)記錄圖書館總分館數(shù)據(jù)分片的元數(shù)據(jù)，并對(duì)計(jì)算任務(wù)進(jìn)行管理與分發(fā)；后者用于存儲(chǔ)圖書館總分館的數(shù)據(jù)分片，并執(zhí)行前者分發(fā)的計(jì)算任務(wù)。在圖書館總分館智慧服務(wù)云平臺(tái)架構(gòu)中，圖書館可選用小型的百兆或中型的千兆交換機(jī)，以確保在穩(wěn)定夠用的前提下最大限度地降低系統(tǒng)硬件的運(yùn)行成本。

5.2 軟件技術(shù)

Ambari是一種基于Web的工具，支持Hadoop集群的供應(yīng)、管理和監(jiān)控[7]。該軟件的作用主要體現(xiàn)在以下幾個(gè)方面：一是支持智慧服務(wù)云平臺(tái)各種數(shù)據(jù)集群的資源供應(yīng)與可視化安裝。二是能夠以Web的形式對(duì)各種數(shù)據(jù)集群的數(shù)據(jù)資源進(jìn)行可視化管理。三是能夠?qū)χ腔鄯?wù)云平臺(tái)的所有文獻(xiàn)資源數(shù)據(jù)集群和用戶服務(wù)數(shù)據(jù)集群進(jìn)行監(jiān)控。四是能夠?qū)χ腔鄯?wù)云平臺(tái)的各類參數(shù)進(jìn)行最優(yōu)化調(diào)試，如文獻(xiàn)資源的實(shí)時(shí)動(dòng)態(tài)變化數(shù)據(jù)、流通資源的實(shí)時(shí)動(dòng)態(tài)變化數(shù)據(jù)、圖書館聯(lián)盟的實(shí)時(shí)或定時(shí)文獻(xiàn)資源交換數(shù)據(jù)及網(wǎng)站的實(shí)時(shí)更新數(shù)據(jù)等，以確保智慧服務(wù)云平臺(tái)軟件架構(gòu)的負(fù)載均衡和性能優(yōu)化。

5.3 大數(shù)據(jù)技術(shù)

圖書館在架構(gòu)智慧服務(wù)云平臺(tái)的過(guò)程中需要對(duì)相關(guān)數(shù)據(jù)進(jìn)行獲取、分類、修改與添加、篩選(分流與合并)、導(dǎo)入、存儲(chǔ)，一方面是對(duì)圖書館原有的數(shù)據(jù)進(jìn)行嚴(yán)格甄別、篩選(分流)、分類、修改、導(dǎo)入、存儲(chǔ)，另一方面是對(duì)新數(shù)據(jù)進(jìn)行獲取、分類、添加、篩選(合并)、導(dǎo)入、存儲(chǔ)。需要注意的是，圖書館需要按照新的數(shù)據(jù)標(biāo)準(zhǔn)對(duì)原有的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并通過(guò)數(shù)據(jù)識(shí)別系統(tǒng)將這些數(shù)據(jù)導(dǎo)入智慧服務(wù)云平臺(tái)的各類集群中，以避免舊系統(tǒng)的錯(cuò)誤數(shù)據(jù)影響新系統(tǒng)的整體數(shù)據(jù)質(zhì)量[8]。

6 應(yīng)用效能

圖書館總分館智慧服務(wù)云平臺(tái)的功能設(shè)計(jì)要從業(yè)務(wù)實(shí)際出發(fā)，著重解決本地區(qū)總分館管理與服務(wù)中存在的問(wèn)題。為了解決分館工作人員流動(dòng)性大、難以管理等問(wèn)題，廣州市越秀區(qū)圖書館在圖書館總分館智慧服務(wù)云平臺(tái)設(shè)置了自助設(shè)備統(tǒng)一管理、人流統(tǒng)計(jì)、遠(yuǎn)程視頻監(jiān)控、線上業(yè)務(wù)交流、個(gè)性化信息咨詢、大數(shù)據(jù)分析等功能，實(shí)現(xiàn)了對(duì)各分館的統(tǒng)一監(jiān)控管理、設(shè)備管理、人員管理、業(yè)務(wù)指導(dǎo)、數(shù)據(jù)分析、信息資源服務(wù)等。通過(guò)智慧服務(wù)云平臺(tái)，總館工作人員可遠(yuǎn)程掌握各分館的實(shí)時(shí)開放情況，與分館工作人員進(jìn)行實(shí)時(shí)互動(dòng)、交流，為讀者提供個(gè)性化的信息咨詢服務(wù)?？傪^不僅可通過(guò)圖書館總分館智慧服務(wù)云平臺(tái)對(duì)各分館的資源進(jìn)行整合、統(tǒng)籌管理、合理利用，還可與分館實(shí)現(xiàn)共建共享，節(jié)約成本，提高資源利用率。