基于融合信息技術(shù)的圖書館數(shù)字資源運(yùn)行監(jiān)測(cè)平臺(tái)的設(shè)計(jì)

喻志娟， 張 穎， 徐 瓊

(長(zhǎng)沙理工大學(xué) 圖書館， 湖南 長(zhǎng)沙 410114)

隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)字資源已成為文獻(xiàn)信息的主要表現(xiàn)形式。在圖書館界，數(shù)字資源取代傳統(tǒng)紙質(zhì)文獻(xiàn)成為圖書館文獻(xiàn)資源檢測(cè)建設(shè)最重要的組成部分。與此同時(shí)，數(shù)字資源購(gòu)置費(fèi)用在圖書館資源購(gòu)置總經(jīng)費(fèi)中所占比例逐年攀升。高校圖書館正向著數(shù)字化、智慧化方向轉(zhuǎn)型發(fā)展。因此，無(wú)論是采購(gòu)新的數(shù)字資源，還是續(xù)訂、維護(hù)已有的數(shù)字資源，都面臨著一系列新的問(wèn)題：怎樣對(duì)數(shù)字資源進(jìn)行采購(gòu)前的遴選以及使用后的評(píng)價(jià)？怎樣通過(guò)對(duì)數(shù)字資源的評(píng)價(jià)來(lái)引導(dǎo)數(shù)字資源合理化、科學(xué)化配置？怎樣通過(guò)大數(shù)據(jù)的分析更好地為教學(xué)和科研服務(wù)，更好地為學(xué)校的學(xué)科建設(shè)、雙一流大學(xué)建設(shè)提供信息資源保障，以此實(shí)現(xiàn)學(xué)校資金使用效益最大化？

圖書館對(duì)數(shù)字資源的監(jiān)測(cè)需求由來(lái)已久，以前都是靠廠商提供訪問(wèn)量、下載量、檢索量的數(shù)據(jù)，反饋給圖書館匯總，圖書館領(lǐng)導(dǎo)拍拍腦袋簽上大名，最后遞交給采購(gòu)部門，該方式獲得的數(shù)字資源數(shù)據(jù)不夠客觀，可信度不高，缺乏依據(jù)，缺少監(jiān)管，師生對(duì)這種采購(gòu)流程頗有微辭。隨著互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)分析技術(shù)的發(fā)展，統(tǒng)計(jì)和分析工作可以利用技術(shù)的手段來(lái)實(shí)現(xiàn)，這樣使得統(tǒng)計(jì)數(shù)據(jù)更加客觀、合理、科學(xué)、精準(zhǔn)。目前，在數(shù)字圖書館行業(yè)中，國(guó)外進(jìn)行大數(shù)據(jù)分析和資源評(píng)價(jià)的研究已有報(bào)道，而在國(guó)內(nèi)進(jìn)行大數(shù)據(jù)分析和評(píng)價(jià)的理論成果也有不少，但實(shí)用成果還很稀少?？梢灶A(yù)計(jì)在不遠(yuǎn)的將來(lái)，國(guó)內(nèi)外數(shù)字圖書行業(yè)，各數(shù)據(jù)提供商之間將會(huì)呈現(xiàn)出以平臺(tái)為載體，以學(xué)科為對(duì)象，以內(nèi)容為靈魂，以服務(wù)為根本的競(jìng)爭(zhēng)格局。迫切需要對(duì)各種數(shù)字資源進(jìn)行大數(shù)據(jù)的挖掘，建立起以學(xué)校為單位、以學(xué)科為縱軸、以各種內(nèi)容數(shù)據(jù)、評(píng)價(jià)數(shù)據(jù)和運(yùn)行數(shù)據(jù)等業(yè)務(wù)數(shù)據(jù)為維度的混合復(fù)雜數(shù)據(jù)模型。在數(shù)學(xué)模型的基礎(chǔ)上，通過(guò)搭建網(wǎng)絡(luò)平臺(tái)自動(dòng)完成數(shù)據(jù)采集、智能分析和實(shí)時(shí)展現(xiàn)的任務(wù)。

一、平臺(tái)的架構(gòu)設(shè)計(jì)

搭建云服務(wù)平臺(tái)，實(shí)現(xiàn)跨網(wǎng)段的數(shù)據(jù)異步交互，實(shí)現(xiàn)各個(gè)客戶端和云服務(wù)端的數(shù)據(jù)交互，并對(duì)各項(xiàng)數(shù)據(jù)的核心價(jià)值，各個(gè)學(xué)校購(gòu)買情況、評(píng)價(jià)數(shù)據(jù)、運(yùn)維狀態(tài)以及數(shù)字資源的學(xué)科屬性進(jìn)行大數(shù)據(jù)挖掘和分析。云服務(wù)平臺(tái)必須能支持200個(gè)(及以上)的數(shù)字資源網(wǎng)站監(jiān)測(cè)(基于對(duì)一個(gè)省內(nèi)高校數(shù)量的考慮)。能實(shí)現(xiàn)交換機(jī)端口10 Gbps的校園網(wǎng)絡(luò)的數(shù)據(jù)采集和數(shù)據(jù)提取。

數(shù)字圖書館運(yùn)行監(jiān)測(cè)服務(wù)云平臺(tái)包含云服務(wù)端和學(xué)?？蛻舳藘蓚€(gè)部分?？傮w架構(gòu)設(shè)計(jì)如圖1所示。

圖1 平臺(tái)總體架構(gòu)設(shè)計(jì)圖

平臺(tái)包含6層結(jié)構(gòu)。云端服務(wù)器，實(shí)現(xiàn)數(shù)據(jù)的收集和分析，為各學(xué)科、資源等有價(jià)值的數(shù)據(jù)進(jìn)行分析和展示。

二、平臺(tái)客戶端

平臺(tái)客戶端主要包含數(shù)字資源實(shí)時(shí)監(jiān)測(cè)預(yù)警、資源統(tǒng)計(jì)與分析系統(tǒng)、數(shù)字資源評(píng)價(jià)報(bào)表系統(tǒng)、數(shù)字資源售后服務(wù)等子系統(tǒng)，其目的是為了實(shí)現(xiàn)對(duì)圖書館的已購(gòu)數(shù)據(jù)庫(kù)或試用數(shù)據(jù)庫(kù)進(jìn)行監(jiān)測(cè)、統(tǒng)計(jì)、售后服務(wù)、績(jī)效評(píng)價(jià)等功能，并完成對(duì)本地各項(xiàng)元數(shù)據(jù)的收集。平臺(tái)客戶端結(jié)構(gòu)圖如圖2所示:

圖2 平臺(tái)客戶端的架構(gòu)

(一)數(shù)字資源實(shí)時(shí)監(jiān)測(cè)預(yù)警子系統(tǒng)

數(shù)字資源的實(shí)時(shí)監(jiān)測(cè)預(yù)警系統(tǒng)采用爬蟲技術(shù)，實(shí)時(shí)探測(cè)各個(gè)B/S數(shù)字資源系統(tǒng)的運(yùn)行情況，及時(shí)反饋運(yùn)行結(jié)果，并通過(guò)短信和郵件的方式告知相關(guān)管理人員。有效提高了數(shù)字資源的運(yùn)維和服務(wù)水平，讓大量的數(shù)字資源服務(wù)器更加可靠穩(wěn)定地運(yùn)行。

(二)數(shù)字資源統(tǒng)計(jì)和分析子系統(tǒng)

圖書館資源統(tǒng)計(jì)與分析系統(tǒng)基于Redhat-Linux采用PFRING技術(shù)路線，通過(guò)端口鏡像抓包分析技術(shù)，對(duì)核心交換機(jī)進(jìn)出端口的數(shù)據(jù)進(jìn)行高速采集，并提取相關(guān)TCP、HTTP協(xié)議的元數(shù)據(jù)。再采用JAVA多線程技術(shù)，對(duì)采集的數(shù)字資源元數(shù)據(jù)進(jìn)行清洗，對(duì)清洗過(guò)的數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)的建模，滿足統(tǒng)計(jì)分析的要求。基于統(tǒng)計(jì)分析的元數(shù)據(jù)，可以生成圖書館按照時(shí)間維度、學(xué)科維度、資源類別的訪問(wèn)下載量和檢索量等主要的指標(biāo)性數(shù)據(jù)，為圖書館的各項(xiàng)資源服務(wù)提供可靠的依據(jù)。

(三)資源廠商售后服務(wù)子系統(tǒng)

通過(guò)對(duì)資源廠商售后服務(wù)子系統(tǒng)的搭建，可以為圖書館用戶提供更加便捷的售后服務(wù)在線通道。以下幾個(gè)方面將得到較好的改善：管理人員發(fā)生變化后第一時(shí)間通過(guò)平臺(tái)進(jìn)行資料更新，避免溝通脫節(jié)；數(shù)據(jù)資源的數(shù)據(jù)一旦發(fā)生變動(dòng)，無(wú)論變動(dòng)大小，第一時(shí)間通過(guò)平臺(tái)更新相關(guān)信息，既不增加管理人員的負(fù)擔(dān)，又更新了第一手資料；系統(tǒng)對(duì)數(shù)字資源廠商的每一次更新都有詳細(xì)記錄，并據(jù)此出具售后服務(wù)質(zhì)量報(bào)告；圖書館的任何部門都能隨時(shí)查閱相關(guān)信息，不再需要在多個(gè)部門之間來(lái)回協(xié)調(diào)。

(四)數(shù)字資源評(píng)價(jià)報(bào)表子系統(tǒng)

數(shù)字資源評(píng)價(jià)報(bào)表子系統(tǒng)基于以上4個(gè)子系統(tǒng)產(chǎn)生和收集到的大量元數(shù)據(jù)而生成，可以為圖書館管理人員和館領(lǐng)導(dǎo)提供針對(duì)圖書館各個(gè)數(shù)字資源運(yùn)行和使用情況的績(jī)效評(píng)價(jià)報(bào)告。

三、技術(shù)創(chuàng)新點(diǎn)

圖書館運(yùn)維系統(tǒng)的后臺(tái)支撐服務(wù)基于J2EE體系架構(gòu)開發(fā)；采用Quartz多線程技術(shù)、爬蟲技術(shù)、Cache緩存技術(shù)、瀏覽器識(shí)別和模擬登陸技術(shù)，準(zhǔn)確、高效地定位和發(fā)現(xiàn)各個(gè)數(shù)字資源是否正常、硬件設(shè)備運(yùn)行是否正常。系統(tǒng)通過(guò)移動(dòng)網(wǎng)絡(luò)運(yùn)行于Android、IOS等系統(tǒng)通信終端及時(shí)反饋故障信息給用戶。后臺(tái)還采用多種精密算法，其結(jié)果通過(guò)短信、郵件、微信等預(yù)警方式快捷告知用戶，以免形成騷擾。系統(tǒng)采用了嚴(yán)謹(jǐn)合理的架構(gòu)支撐體系，如圖3所示：

圖3 平臺(tái)的架構(gòu)支撐體系

上述流程實(shí)現(xiàn)過(guò)程中，從以下幾個(gè)方面實(shí)現(xiàn)了技術(shù)上的創(chuàng)新和突破：(1)對(duì)爬蟲技術(shù)進(jìn)行了優(yōu)化和合理的配置。不僅可以正常地識(shí)別各個(gè)資源的狀態(tài)，而且需要把每一次的探測(cè)網(wǎng)絡(luò)的流量控制到10 KB/s之內(nèi)(只有這樣才能支撐起幾百個(gè)資源的并發(fā)探測(cè))。(2)為保證后臺(tái)多線程支撐程序7×24小時(shí)不間斷的運(yùn)行，對(duì)quartz框架作優(yōu)化和重寫。(3)由于某些數(shù)字資源采用的是https協(xié)議，爬蟲程序采集的結(jié)果狀態(tài)兼容https的資源網(wǎng)站。(4)后臺(tái)支撐程序不僅支持資源網(wǎng)站，還兼容了服務(wù)器、交換機(jī)等硬件設(shè)備的性能監(jiān)控。

四、平臺(tái)運(yùn)行結(jié)果

平臺(tái)采用了多種信息技術(shù)，特別是利用網(wǎng)絡(luò)爬蟲技術(shù)，精確識(shí)別數(shù)字資源或者B/S系統(tǒng)是否正常訪問(wèn)、響應(yīng)和下載等狀態(tài)，有效實(shí)現(xiàn)了基于應(yīng)用層的資源監(jiān)控，解決了長(zhǎng)期以來(lái)困擾圖書館的網(wǎng)絡(luò)運(yùn)維問(wèn)題(目前國(guó)內(nèi)公司運(yùn)維系統(tǒng)是基于物理層或者網(wǎng)絡(luò)鏈路層的監(jiān)控)。

(一)較為全面地反映圖書館數(shù)字資源使用狀況

該平臺(tái)能記錄某一個(gè)時(shí)間段內(nèi)各個(gè)學(xué)院的客觀下載量、訪問(wèn)量、檢索量、訪問(wèn)入口等，以及最新資源介紹、最新數(shù)字資源學(xué)術(shù)價(jià)值、最新數(shù)字資源特點(diǎn)、最新數(shù)字資源培訓(xùn)資料、最新售后服務(wù)跟進(jìn)情況等指標(biāo)和屬性數(shù)據(jù)。

(二)將大數(shù)據(jù)技術(shù)應(yīng)用于圖書館數(shù)字資源監(jiān)測(cè)

采用端口鏡像的方式對(duì)數(shù)字資源進(jìn)行高速線性采集，然后對(duì)數(shù)據(jù)進(jìn)行還原和分析，分析出各個(gè)不同角色、不同院系使用數(shù)字資源的情況，最后進(jìn)行統(tǒng)計(jì)和匯總。這樣就解決了圖書館的數(shù)字資源統(tǒng)計(jì)問(wèn)題。該技術(shù)路線在數(shù)字圖書館行業(yè)中的運(yùn)用，結(jié)合了數(shù)字圖書館大數(shù)據(jù)分析技術(shù)，在國(guó)際與國(guó)內(nèi)均屬領(lǐng)先地位。平臺(tái)采用云平臺(tái)的方式分布式部署，對(duì)不同學(xué)校、圖書館的監(jiān)測(cè)數(shù)據(jù)、資源訪問(wèn)數(shù)據(jù)以及評(píng)價(jià)數(shù)據(jù)等海量數(shù)據(jù)進(jìn)行多線程處理，然后匯總到云平臺(tái)存儲(chǔ)，再橫向挖掘出有價(jià)值的數(shù)據(jù)結(jié)果，使大數(shù)據(jù)技術(shù)在數(shù)字圖書館界變成了現(xiàn)實(shí)。

(三)能快速生成不同維度的分析報(bào)告

平臺(tái)通過(guò)不同維度的數(shù)據(jù)的收集，然后根據(jù)圖書館的業(yè)務(wù)流程和算法，生成各種對(duì)圖書館有價(jià)值的分析報(bào)告。

五、結(jié)論

該平臺(tái)通過(guò)對(duì)圖書館各種業(yè)務(wù)流程和網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)進(jìn)行客觀、公正的采集和分析，對(duì)高校圖書館的數(shù)字資源利用情況和數(shù)據(jù)資源提供商的服務(wù)質(zhì)量進(jìn)行實(shí)時(shí)跟蹤和展現(xiàn)，為圖書館數(shù)字資源遴選、采購(gòu)和續(xù)訂提供決策參考。特別是運(yùn)用分析結(jié)果，可以督促?gòu)S商改善服務(wù)質(zhì)量，提高圖書館經(jīng)費(fèi)使用效率，改善圖書館數(shù)字資源的使用效果，為提升圖書館運(yùn)行管理和服務(wù)水平提供重要參考，為當(dāng)今圖書館轉(zhuǎn)型發(fā)展提供決策依據(jù)。