高校圖書(shū)館數(shù)據(jù)交換平臺(tái)的設(shè)計(jì)及應(yīng)用研究

盛銓

摘要：隨著高校圖書(shū)館智慧化建設(shè)加速推進(jìn)，業(yè)務(wù)系統(tǒng)不斷增加，系統(tǒng)間數(shù)據(jù)交換需求越來(lái)越大。該文從高校圖書(shū)館智慧化過(guò)程中所出現(xiàn)的問(wèn)題出發(fā)，提出建立一個(gè)適合高校圖書(shū)館的數(shù)據(jù)交換平臺(tái)，并從系統(tǒng)的架構(gòu)、關(guān)鍵技術(shù)以及應(yīng)用三個(gè)方面進(jìn)行探討。

關(guān)鍵詞：數(shù)據(jù)交換平臺(tái);高校圖書(shū)館;大數(shù)據(jù);信息化

中圖分類(lèi)號(hào)：G258.6? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）17-0082-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 背景

隨著高校信息化建設(shè)的不斷發(fā)展，應(yīng)用信息化的逐步深入，圖書(shū)館各業(yè)務(wù)部門(mén)分期分批建設(shè)了不同的業(yè)務(wù)系統(tǒng)，不同業(yè)務(wù)系統(tǒng)之中數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，數(shù)據(jù)部門(mén)一定程度上存在異構(gòu)數(shù)據(jù)，導(dǎo)致各系統(tǒng)的數(shù)據(jù)流轉(zhuǎn)不夠通暢，產(chǎn)生信息孤島問(wèn)題[1]。如何能將數(shù)據(jù)方便高效地開(kāi)放出去，是學(xué)校信息化一直想要解決的難題，也是打造智慧圖書(shū)館的基礎(chǔ)。

2 圖書(shū)館智慧化過(guò)程中所存在的問(wèn)題。

當(dāng)前高校圖書(shū)館在建設(shè)智慧圖書(shū)館的過(guò)程中，在引進(jìn)先進(jìn)的設(shè)備的同時(shí)，建立了各類(lèi)信息化系統(tǒng)。但隨著智慧化的不斷深入和數(shù)據(jù)挖掘技術(shù)的普及，一些原本容易被忽視的問(wèn)題逐漸暴露出來(lái)，主要表現(xiàn)在：

數(shù)據(jù)缺乏共享。當(dāng)今智慧圖書(shū)館建設(shè)的大背景下，全面、規(guī)范地獲取館內(nèi)信息數(shù)據(jù)用于大數(shù)據(jù)分析，是提供個(gè)性化管理及服務(wù)的基礎(chǔ)。而圖書(shū)館內(nèi)部存在眾多的信息管理系統(tǒng)，如圖書(shū)管理系統(tǒng)、電子資源管理系統(tǒng)、座位預(yù)約系統(tǒng)、研討室預(yù)約系統(tǒng)，門(mén)禁管理系統(tǒng)等，各系統(tǒng)的數(shù)據(jù)割據(jù)，形成多個(gè)信息孤島，數(shù)據(jù)不能共享，嚴(yán)重阻礙了圖書(shū)館智慧化進(jìn)程。

數(shù)據(jù)安全無(wú)法保證[2]。圖書(shū)館各系統(tǒng)之間的數(shù)據(jù)交換對(duì)接，一般采取各系統(tǒng)提供廠家之間提供接口或者開(kāi)放數(shù)據(jù)庫(kù)的方式，中間過(guò)程圖書(shū)館無(wú)法管理和監(jiān)督，一旦發(fā)生數(shù)據(jù)丟失或信息泄露，各廠家之間相互推諉無(wú)法溯源，存在相當(dāng)大的安全隱患。

數(shù)據(jù)質(zhì)量不高。圖書(shū)館前期信息系統(tǒng)建設(shè)主要以功能建設(shè)為主，缺乏數(shù)據(jù)標(biāo)準(zhǔn)整體規(guī)劃的意識(shí)，隨著時(shí)間的增長(zhǎng)以及信息系統(tǒng)數(shù)量的不斷增加，問(wèn)題數(shù)據(jù)不斷沉積，導(dǎo)致報(bào)表及統(tǒng)計(jì)數(shù)據(jù)的真實(shí)性無(wú)法保證，最終影響了決策分析的正確性。

數(shù)據(jù)管理缺乏審計(jì)，責(zé)任不清晰。

在此背景下，高校圖書(shū)館制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、實(shí)現(xiàn)館內(nèi)基本業(yè)務(wù)系統(tǒng)數(shù)據(jù)、各類(lèi)智能化機(jī)器數(shù)據(jù)及學(xué)校相關(guān)信息數(shù)據(jù)的高度融合，建設(shè)統(tǒng)一的數(shù)據(jù)交換平臺(tái)勢(shì)在必行。

3 數(shù)據(jù)交換平臺(tái)的架構(gòu)設(shè)計(jì)

本系統(tǒng)為各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換提供簡(jiǎn)單的接入方式，從原來(lái)的多頭接入改為單線接入，只需與數(shù)據(jù)交換平臺(tái)交互即可，無(wú)須處理多種數(shù)據(jù)源的差異性。很大程度上減小業(yè)務(wù)系統(tǒng)在數(shù)據(jù)交換服務(wù)上的開(kāi)發(fā)壓力，并為數(shù)據(jù)追蹤，明確系統(tǒng)親疏關(guān)系，及數(shù)據(jù)使用情況實(shí)施監(jiān)控成為可能。平臺(tái)依托于現(xiàn)有的校園網(wǎng)絡(luò)，通過(guò)對(duì)館內(nèi)和學(xué)校各相關(guān)業(yè)務(wù)系統(tǒng)的基礎(chǔ)及業(yè)務(wù)數(shù)據(jù)的抽取、清洗以及訂閱發(fā)布以實(shí)現(xiàn)各系統(tǒng)之間的數(shù)據(jù)交換，避免其各自之間的頻繁交換，實(shí)現(xiàn)信息共享。同時(shí)，該平臺(tái)為所有共享交換的數(shù)據(jù)保留緩存，為大數(shù)據(jù)分析提供基礎(chǔ)數(shù)據(jù)。

本館數(shù)據(jù)平臺(tái)整體架構(gòu)如圖1所示。

如圖1所示，我院圖書(shū)館數(shù)據(jù)交換平臺(tái)的整體架構(gòu)由四層平臺(tái)組成，分別是作為數(shù)據(jù)來(lái)源和目標(biāo)的信息系統(tǒng)，共享交換中心，中心數(shù)據(jù)庫(kù)和數(shù)據(jù)管理中心。

3.1 信息系統(tǒng)（數(shù)據(jù)來(lái)源以及目標(biāo)）

該層由圖書(shū)館以及學(xué)校各信息系統(tǒng)構(gòu)成，既是數(shù)據(jù)交換的數(shù)據(jù)源，同時(shí)也是數(shù)據(jù)交換的目標(biāo)群體。這些系統(tǒng)在實(shí)際使用的過(guò)程中，積累了與圖書(shū)館相關(guān)的各種業(yè)務(wù)數(shù)據(jù)，如人事系統(tǒng)中的教職工數(shù)據(jù)、教務(wù)系統(tǒng)中的學(xué)生數(shù)據(jù)、圖書(shū)管理系統(tǒng)中的館藏?cái)?shù)據(jù)和借還數(shù)據(jù)、門(mén)禁管理系統(tǒng)中的出入館數(shù)據(jù)等。這些系統(tǒng)既是某些其他系統(tǒng)的數(shù)據(jù)來(lái)源，同時(shí)本身也是其他系統(tǒng)的數(shù)據(jù)推送目標(biāo)。比如，圖書(shū)管理系統(tǒng)中的讀者分別來(lái)自人事系統(tǒng)和教務(wù)系統(tǒng)中的教職工和學(xué)生數(shù)據(jù)，而教務(wù)系統(tǒng)的任課老師信息，則來(lái)源于人事系統(tǒng)。

3.2 共享交換中心

共享交換中心主要提供數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量監(jiān)控以及數(shù)據(jù)共享發(fā)布三個(gè)服務(wù)。

數(shù)據(jù)集成包含對(duì)數(shù)據(jù)的接入、清洗加工，能自動(dòng)采集各數(shù)據(jù)源的元數(shù)據(jù)，對(duì)元數(shù)據(jù)進(jìn)行管理，同時(shí)進(jìn)行可視化的采集調(diào)度和監(jiān)控。

數(shù)據(jù)質(zhì)量監(jiān)控室在數(shù)據(jù)從源數(shù)據(jù)庫(kù)流向中心數(shù)據(jù)庫(kù)的過(guò)程中，對(duì)數(shù)據(jù)質(zhì)量和內(nèi)容進(jìn)行監(jiān)控，確保數(shù)據(jù)的唯一性和正確性，同時(shí)形成數(shù)據(jù)質(zhì)量報(bào)告和數(shù)據(jù)質(zhì)量告警。

數(shù)據(jù)共享發(fā)布則主要通過(guò)數(shù)據(jù)發(fā)布服務(wù)和API接口的形式向數(shù)據(jù)使用者提供數(shù)據(jù)。

3.3 中心數(shù)據(jù)庫(kù)

中心數(shù)據(jù)庫(kù)分為基礎(chǔ)數(shù)據(jù)庫(kù)、業(yè)務(wù)數(shù)據(jù)庫(kù)和決策數(shù)據(jù)庫(kù)三個(gè)部分?；A(chǔ)數(shù)據(jù)庫(kù)存放圖書(shū)館以及學(xué)校各個(gè)業(yè)務(wù)系統(tǒng)的用于交換的共享數(shù)據(jù)，如圖書(shū)管理系統(tǒng)的館藏書(shū)目數(shù)據(jù)，教務(wù)系統(tǒng)的學(xué)生數(shù)據(jù)和人事系統(tǒng)的教職工數(shù)據(jù)等。業(yè)務(wù)數(shù)據(jù)庫(kù)用于存放各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，如圖書(shū)系統(tǒng)的借閱數(shù)據(jù)，門(mén)禁系統(tǒng)進(jìn)出館數(shù)據(jù)，電子資源系統(tǒng)的檢索下載數(shù)據(jù)，教務(wù)系統(tǒng)學(xué)生上課考試數(shù)據(jù)等等。決策數(shù)據(jù)庫(kù)則根據(jù)基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)以及日志數(shù)據(jù)等，按照具體需求對(duì)數(shù)據(jù)進(jìn)行挖掘和大數(shù)據(jù)分析，為領(lǐng)導(dǎo)層提供決策支持。

3.4 管理中心

管理中心主要通過(guò)數(shù)據(jù)服務(wù)管理和資源目錄管理的形式對(duì)共享交換中心和中心數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)一的管理。

4 數(shù)據(jù)交換平臺(tái)的關(guān)鍵技術(shù)

4.1 系統(tǒng)的技術(shù)架構(gòu)

交換平臺(tái)以J2EE為底層支持，使用高可用性中間件MyCat實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群，通過(guò)dubbo、DataX、QuartZ分別實(shí)現(xiàn)了通信、數(shù)據(jù)交換以及調(diào)度服務(wù)。系統(tǒng)技術(shù)架構(gòu)圖如下圖2。

4.2 數(shù)據(jù)發(fā)布服務(wù)

數(shù)據(jù)使用者訂閱數(shù)據(jù)，在管理員審批授權(quán)后，系統(tǒng)根據(jù)訂閱信息在共享數(shù)據(jù)中心提取數(shù)據(jù)，按訂閱格式生成文件并將數(shù)據(jù)文件放置在安全的SFTP服務(wù)器，供訂閱人下載。該模式適合于數(shù)據(jù)量較大且數(shù)據(jù)實(shí)時(shí)性要求不太高的情況，采用DataX組件實(shí)現(xiàn)。

DataX作為中間載體連接各種異構(gòu)數(shù)據(jù)源[3]，用星型同步鏈路代替了復(fù)雜的網(wǎng)狀同步鏈路，當(dāng)有新的數(shù)據(jù)源需要和原有數(shù)據(jù)源做同步的時(shí)候，只需要將其接入DataX，便能做到無(wú)縫對(duì)接。

4.3 API接口

共享數(shù)據(jù)中心為所有的主題庫(kù)數(shù)據(jù)提供統(tǒng)一的API接口，管理員可以為申請(qǐng)用戶設(shè)置訪問(wèn)權(quán)限和數(shù)據(jù)域權(quán)限，取得API授權(quán)后，數(shù)據(jù)使用者便可以調(diào)用數(shù)據(jù)接口獲取數(shù)據(jù)服務(wù)，同時(shí)系統(tǒng)將自動(dòng)記錄接口調(diào)用情況，形成接口調(diào)用情況分析表。該模式適合于數(shù)據(jù)量不太大且實(shí)時(shí)性要求較高的情況，采用Dubbo組件實(shí)現(xiàn)。

本系統(tǒng)API數(shù)據(jù)服務(wù)封裝了Alibaba開(kāi)源的分布式服務(wù)框架Dubbo，整體架構(gòu)如圖3。

近年來(lái)隨著互聯(lián)網(wǎng)的飛速發(fā)展，垂直應(yīng)用架構(gòu)已越來(lái)越無(wú)法適應(yīng)呈指數(shù)級(jí)增長(zhǎng)的網(wǎng)站應(yīng)用，Dubbo作為一個(gè)分布式服務(wù)框架，提供了高性能、透明化的遠(yuǎn)程服務(wù)調(diào)用方案和SOA服務(wù)治理方案[4]，主要包含以下幾個(gè)方面的功能：

1）遠(yuǎn)程方法調(diào)用。通過(guò)簡(jiǎn)單的配置，就能做到如同本地調(diào)用般調(diào)用遠(yuǎn)程方法，從而避免了API侵入。

2）負(fù)載均衡：在內(nèi)網(wǎng)環(huán)境下，用軟件負(fù)載均衡替代硬件負(fù)載均衡器，大大降低了使用成本。

3）服務(wù)自動(dòng)注冊(cè)，注冊(cè)中心基于接口名查詢服務(wù)提供者的IP地址，無(wú)須固定寫(xiě)入服務(wù)提供方地址。

4.4 數(shù)據(jù)庫(kù)集群MyCat

MyCat將一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)分散到不同的數(shù)據(jù)庫(kù)中存儲(chǔ)，用來(lái)解決關(guān)系型數(shù)據(jù)庫(kù)海量存儲(chǔ)的問(wèn)題，顯著提高查詢性能。

4.5 sftp服務(wù)器

安全 FTP 服務(wù)器（sftp服務(wù)器），通過(guò) SSH 等安全文件傳輸協(xié)議傳輸文件，sftp用戶只能訪問(wèn)經(jīng)過(guò)訪問(wèn)授權(quán)的專(zhuān)屬目錄實(shí)現(xiàn)上傳和下載功能。實(shí)現(xiàn)了在不安全的網(wǎng)絡(luò)環(huán)境下傳輸機(jī)密文件。

5 數(shù)據(jù)交換平臺(tái)在高校圖書(shū)館的應(yīng)用

5.1 實(shí)現(xiàn)高校圖書(shū)館用戶數(shù)據(jù)的實(shí)時(shí)更新

高校圖書(shū)館與公共圖書(shū)館用戶數(shù)據(jù)的生成方式有著本質(zhì)的不同，公共圖書(shū)館的用戶信息完全由圖書(shū)管理系統(tǒng)生成和維護(hù)，用戶的增加、注銷(xiāo)、信息修改等都是第一時(shí)間通過(guò)該系統(tǒng)完成，確保了圖書(shū)館用戶數(shù)據(jù)的實(shí)時(shí)性和有效性。而高校圖書(shū)館的用戶數(shù)據(jù)主要有兩個(gè)來(lái)源：產(chǎn)生教職工數(shù)據(jù)的人事系統(tǒng)和產(chǎn)生學(xué)生數(shù)據(jù)的教務(wù)系統(tǒng)。通常圖書(shū)管理系統(tǒng)中的數(shù)據(jù)都是新生入學(xué)之后由圖書(shū)館工作人員一次手工導(dǎo)入，在教務(wù)和人事系統(tǒng)用戶信息發(fā)生變更時(shí)，不能第一時(shí)間對(duì)讀者信息進(jìn)行更新，甚至從來(lái)不更新，久而久之造成大量錯(cuò)誤用戶數(shù)據(jù)堆積，影響圖書(shū)館數(shù)據(jù)報(bào)表和數(shù)據(jù)分析的準(zhǔn)確性。有的高校圖書(shū)館通過(guò)系統(tǒng)對(duì)接的方式分別從這兩個(gè)系統(tǒng)同步數(shù)據(jù)，一定程度上緩解了手工導(dǎo)入的時(shí)效性和準(zhǔn)確性問(wèn)題，但出現(xiàn)了穩(wěn)定性的問(wèn)題。不同廠家之間數(shù)據(jù)標(biāo)準(zhǔn)和接口不一致，每個(gè)接口都是個(gè)性化定制，缺乏統(tǒng)一標(biāo)準(zhǔn)[5]，出現(xiàn)問(wèn)題相互推諉，造成維護(hù)成本高，解決問(wèn)題效率低下。我院圖書(shū)館通過(guò)數(shù)據(jù)交換中心將人事系統(tǒng)、教務(wù)系統(tǒng)的人員數(shù)據(jù)交換給圖書(shū)館各個(gè)信息系統(tǒng)，規(guī)范統(tǒng)一了每個(gè)系統(tǒng)的人員信息，從根本上解決了用戶數(shù)據(jù)的準(zhǔn)確性和實(shí)效性問(wèn)題，極大提高了各系統(tǒng)的數(shù)據(jù)質(zhì)量。

5.2 為圖書(shū)館智慧化推薦提供多樣化的數(shù)據(jù)支持

大數(shù)據(jù)技術(shù)的發(fā)展為圖書(shū)館的智慧化和信息化帶來(lái)了新的機(jī)遇與挑戰(zhàn)，智慧化推薦作為智慧圖書(shū)館的重要組成部分，需要全方位多角度的用戶行為信息。圖書(shū)館的業(yè)務(wù)范圍過(guò)小的缺點(diǎn)導(dǎo)致其數(shù)據(jù)來(lái)源相對(duì)單一，大部分圖書(shū)館的用戶畫(huà)像只能通過(guò)歷史借閱記錄、檢索記錄等業(yè)務(wù)數(shù)據(jù)分析產(chǎn)生，由于數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，接口質(zhì)量參差不齊等問(wèn)題，電子資源系統(tǒng)、門(mén)禁系統(tǒng)所產(chǎn)生的行為日志，往往處于“數(shù)據(jù)孤島”的狀態(tài)。對(duì)于很少去圖書(shū)館或者很少有借閱或者檢索行為的讀者，更是因?yàn)闆](méi)有數(shù)據(jù)或者數(shù)據(jù)過(guò)少而無(wú)法對(duì)其行為特征進(jìn)行挖掘。對(duì)于高校圖書(shū)館而言，讀者的行為數(shù)據(jù)廣泛存在于教務(wù)系統(tǒng)、人事系統(tǒng)、一卡通系統(tǒng)、公寓管理系統(tǒng)等所有的信息化系統(tǒng)中，如課程安排、考試成績(jī)、生活消費(fèi)，起居飲食等，涵蓋了讀者日常行為的方方面面。如何收集整合并利用其產(chǎn)生精準(zhǔn)的用戶行為畫(huà)像用于個(gè)性化推薦，是高校圖書(shū)館亟需解決的問(wèn)題。以往通過(guò)接口的方式對(duì)接每一個(gè)系統(tǒng)不僅成本高昂穩(wěn)定性差，效率也極其低下。通過(guò)數(shù)據(jù)庫(kù)讀取的方式又會(huì)碰到數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，安全責(zé)任歸屬不清的問(wèn)題。數(shù)據(jù)交換平臺(tái)為圖書(shū)館提供一個(gè)集成的數(shù)據(jù)中心，它把圖書(shū)館以及學(xué)校所有重要的業(yè)務(wù)數(shù)據(jù)抽取到中心數(shù)據(jù)庫(kù)中，清洗轉(zhuǎn)換后推送至大數(shù)據(jù)分析平臺(tái)，減少了重復(fù)性的數(shù)據(jù)收集和對(duì)接工作，避免了廠商之間直接訪問(wèn)對(duì)方數(shù)據(jù)庫(kù)所產(chǎn)生的安全隱患和責(zé)任歸屬問(wèn)題。經(jīng)過(guò)對(duì)這些數(shù)據(jù)的挖掘分析，圖書(shū)館便能獲得更加精準(zhǔn)的用戶畫(huà)像，從而向讀者提供更加智慧化、個(gè)性化的推薦。

6 結(jié)束語(yǔ)

本文從高校圖書(shū)館的數(shù)據(jù)交換需求出發(fā)，以建設(shè)智慧圖書(shū)館為目的，設(shè)計(jì)并建設(shè)了一套適合高校圖書(shū)館的數(shù)據(jù)交換平臺(tái)，詳細(xì)介紹了系統(tǒng)的整體架構(gòu)以及所使用的關(guān)鍵技術(shù)，極大改善了在圖書(shū)館智慧化信息化過(guò)程中出現(xiàn)的數(shù)據(jù)分散、集成困難等問(wèn)題，為實(shí)現(xiàn)智慧圖書(shū)館提供了可行的方案。但是，高校智慧圖書(shū)館建設(shè)是一個(gè)需要不斷學(xué)習(xí)、積累的過(guò)程，目前仍在積極探索階段，還需要后續(xù)不斷研究與實(shí)踐。

參考文獻(xiàn)：

[1] 賀志強(qiáng)，宋衍，高越.教育資源元數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)及支撐平臺(tái)的設(shè)計(jì)研究[J].現(xiàn)代教育技術(shù)，2010，20（2）：109-111.

[2] 刁宇.基于數(shù)字化校園的數(shù)據(jù)交換平臺(tái)的研究與實(shí)現(xiàn)[D].長(zhǎng)春：東北師范大學(xué).

[3] 梁麗琴，鄭少明，鄭漢軍，等.利用大數(shù)據(jù)技術(shù)進(jìn)行海量數(shù)據(jù)治理[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（11）：51，56.

[4] 周永圣，孫雯，侯峰裕，等.車(chē)險(xiǎn)中介云平臺(tái)的費(fèi)用管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].微型電腦應(yīng)用，2020，36（2）：86-89.

[5] 張曉慧.大數(shù)據(jù)時(shí)代教育數(shù)據(jù)治理探索[J].紹興文理學(xué)院學(xué)報(bào)（自然科學(xué)），2021，41（1）：56-60.

【通聯(lián)編輯：謝媛媛】