大數(shù)據(jù)驅(qū)動(dòng)時(shí)代新一代數(shù)字圖書館系統(tǒng)優(yōu)化研究

趙強(qiáng)

關(guān)鍵詞：大數(shù)據(jù);數(shù)字圖書館;系統(tǒng);優(yōu)化

摘 要：文章從資源價(jià)值密度、數(shù)據(jù)檢索難度兩個(gè)方面介紹了大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)字圖書館面臨的挑戰(zhàn)，分析了數(shù)字圖書館系統(tǒng)涉及的數(shù)據(jù)獲取、數(shù)據(jù)建模、數(shù)據(jù)分析等關(guān)鍵環(huán)節(jié)以及相應(yīng)的系統(tǒng)優(yōu)化技術(shù)，分析了基于靜態(tài)優(yōu)化、緩存優(yōu)化、引擎優(yōu)化技術(shù)的數(shù)字圖書館系統(tǒng)優(yōu)化技術(shù)，并提出了新一代數(shù)字圖書館系統(tǒng)的優(yōu)化策略，以期提升大數(shù)據(jù)時(shí)代背景下新一代數(shù)字圖書館系統(tǒng)的服務(wù)質(zhì)量。

中圖分類號(hào)：G250.76文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-1588（2019）09-0065-03

1 大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)字圖書館服務(wù)面臨的挑戰(zhàn)

1.1 提高數(shù)據(jù)資源價(jià)值密度的要求

大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)據(jù)的作用日益凸顯，全球數(shù)據(jù)容量持續(xù)增加。大數(shù)據(jù)本身是異構(gòu)分布的，海量數(shù)據(jù)資源的傳播加大了用戶獲取有價(jià)值信息的難度，多樣化的數(shù)據(jù)標(biāo)準(zhǔn)也容易產(chǎn)生“數(shù)據(jù)孤島”，影響數(shù)字圖書館對(duì)可用信息的篩選和挖掘。同時(shí)，很多數(shù)字圖書館僅關(guān)注對(duì)靜態(tài)資源的使用，缺乏開發(fā)動(dòng)態(tài)數(shù)據(jù)流的有效方法，難以適應(yīng)大數(shù)據(jù)驅(qū)動(dòng)的智慧服務(wù)需求[1]。此外，大數(shù)據(jù)環(huán)境下用戶需求激增，使數(shù)字圖書館的數(shù)據(jù)存儲(chǔ)成本增大，面臨能耗控制、質(zhì)量保障等挑戰(zhàn)。因此，數(shù)字圖書館要想滿足用戶需求，就必須對(duì)碎片化數(shù)據(jù)進(jìn)行處理，從中挖掘更多可用的信息，提升數(shù)據(jù)的價(jià)值密度和可用性。

1.2 海量數(shù)據(jù)增加檢索難度

大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)字化資源呈幾何級(jí)增長(zhǎng)，數(shù)字圖書館所采集的數(shù)據(jù)資源主要包括用戶個(gè)人信息、閱讀行為數(shù)據(jù)、物聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)等，尤其是智能設(shè)備和社交媒體的應(yīng)用更是產(chǎn)生了大量碎片化信息，對(duì)這些資源進(jìn)行整合需借助可靠的技術(shù)工具。大數(shù)據(jù)紛繁復(fù)雜，大多存儲(chǔ)在信息服務(wù)商的數(shù)據(jù)庫中，數(shù)字圖書館未與這些機(jī)構(gòu)建立數(shù)據(jù)共享機(jī)制，因此不能對(duì)這些數(shù)據(jù)進(jìn)行價(jià)值挖掘、編目及維護(hù)。同時(shí)，由于數(shù)字圖書館缺乏對(duì)網(wǎng)絡(luò)資源進(jìn)行智能化處理的能力，也增加了大數(shù)據(jù)檢索的時(shí)間與復(fù)雜程度。因此，海量數(shù)據(jù)處理要求數(shù)字圖書館改進(jìn)存儲(chǔ)設(shè)備和方式，在降低存儲(chǔ)成本的基礎(chǔ)上逐步提高數(shù)據(jù)存儲(chǔ)和管理的有效性[2]。

1.3 數(shù)字圖書館系統(tǒng)優(yōu)化升級(jí)的要求

數(shù)字圖書館是存儲(chǔ)和傳播信息的場(chǎng)所，也是開展社會(huì)教育、提升公眾素養(yǎng)的平臺(tái)。隨著移動(dòng)信息技術(shù)的發(fā)展，各種新型數(shù)據(jù)傳播載體大量涌現(xiàn)，數(shù)字化資源逐漸占據(jù)主導(dǎo)地位，虛擬化空間成為社交的主要場(chǎng)所。人們獲取知識(shí)的渠道日益增多，信息服務(wù)的智能化也成為大勢(shì)所趨。作為存儲(chǔ)和傳播文獻(xiàn)資源的數(shù)字圖書館，全新的信息服務(wù)環(huán)境對(duì)其服務(wù)的專業(yè)化要求越來越高。因此，數(shù)字圖書館優(yōu)化服務(wù)系統(tǒng)、深化數(shù)據(jù)應(yīng)用服務(wù)、促進(jìn)信息共享成為必然[3]。數(shù)字圖書館要強(qiáng)化數(shù)據(jù)存儲(chǔ)和處理意識(shí)，提高大數(shù)據(jù)處理能力，從整體上提高自身的服務(wù)水平和質(zhì)量，為更多的用戶提供優(yōu)質(zhì)的服務(wù)。

2 大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)字圖書館系統(tǒng)涉及的關(guān)鍵環(huán)節(jié)

2.1 數(shù)據(jù)獲取

數(shù)字圖書館系統(tǒng)對(duì)數(shù)據(jù)資源進(jìn)行處理，先要采集用戶行為信息和館內(nèi)流通日志，然后從各大社交論壇或網(wǎng)頁抓取用戶訪問數(shù)據(jù)，也可與企業(yè)、網(wǎng)絡(luò)公司合作獲取其內(nèi)部數(shù)據(jù)，以保障數(shù)據(jù)的完整性。由于不同的數(shù)據(jù)庫服務(wù)商和網(wǎng)絡(luò)運(yùn)營(yíng)機(jī)構(gòu)所提供的數(shù)據(jù)應(yīng)用與訪問程序存在差異，因此，為了避免系統(tǒng)不兼容的問題，數(shù)字圖書館應(yīng)使用網(wǎng)絡(luò)爬蟲技術(shù)針對(duì)不同的網(wǎng)頁與資源特點(diǎn)，自動(dòng)從互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)搜索與攫取，并傳輸至本地服務(wù)器進(jìn)行分析。對(duì)于涉密文件或重要資源，數(shù)字圖書館可以使用專用的系統(tǒng)接口，將其直接傳輸至本地服務(wù)器進(jìn)行存儲(chǔ)，避免多向傳輸引發(fā)數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

2.2 數(shù)據(jù)建模

數(shù)字圖書館在獲取大規(guī)模數(shù)據(jù)資源后，需對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理，并根據(jù)數(shù)據(jù)特點(diǎn)建立合適的模型進(jìn)行計(jì)算、分析與深入挖掘。由于采集的數(shù)據(jù)多是異構(gòu)及碎片化的，因此數(shù)字圖書館只有通過預(yù)處理清洗不必要的數(shù)據(jù)，留下符合要求的數(shù)據(jù)，并將這些數(shù)據(jù)轉(zhuǎn)化為系統(tǒng)可以理解的格式，才能進(jìn)行分析。經(jīng)過預(yù)處理后，數(shù)字圖書館需將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，將其存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，并做好數(shù)據(jù)分類整理工作[4]。由于數(shù)據(jù)類型的差異，預(yù)處理方式也有所不同，部分?jǐn)?shù)據(jù)需要進(jìn)行解析與格式轉(zhuǎn)化，而對(duì)于規(guī)模較大的非結(jié)構(gòu)化數(shù)據(jù)資源，數(shù)字圖書館則需要采用非關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)，避免出現(xiàn)數(shù)據(jù)的無序化。

2.3 數(shù)據(jù)分析

數(shù)字圖書館系統(tǒng)獲取數(shù)據(jù)的方式主要是利用設(shè)備安裝管理程序，針對(duì)不同數(shù)據(jù)庫的管理權(quán)限實(shí)現(xiàn)對(duì)數(shù)據(jù)的自動(dòng)采集分析。對(duì)于沒有管理權(quán)限的數(shù)據(jù)庫或網(wǎng)絡(luò)系統(tǒng)，數(shù)字圖書館可采用模擬訪問的方式掌握遠(yuǎn)程系統(tǒng)的訪問狀態(tài);對(duì)于大規(guī)模異常數(shù)據(jù)的處理，如系統(tǒng)日志、硬件狀態(tài)信息等，數(shù)字圖書館可借助預(yù)警監(jiān)控、內(nèi)部監(jiān)控程序等對(duì)獲取的數(shù)據(jù)資源進(jìn)行實(shí)時(shí)跟蹤，若發(fā)現(xiàn)不良情況就及時(shí)通過內(nèi)部郵件和系統(tǒng)提示等方式告知圖書館管理者。根據(jù)不同類型數(shù)據(jù)的特點(diǎn)，數(shù)字圖書館系統(tǒng)可以通過批量處理、流處理和交叉分析等方式進(jìn)行處理，并將處理結(jié)果以折線圖、分析報(bào)告等形式發(fā)送至客戶端，方便用戶瀏覽與理解。

3 大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)字圖書館系統(tǒng)優(yōu)化技術(shù)研究

3.1 靜態(tài)優(yōu)化技術(shù)

數(shù)字圖書館系統(tǒng)在大數(shù)據(jù)處理過程中通常需要讀取大量的動(dòng)態(tài)頁面，并將其轉(zhuǎn)化為靜態(tài)數(shù)據(jù)加以處理。這樣的操作方式有利于數(shù)字圖書館實(shí)現(xiàn)對(duì)靜態(tài)數(shù)據(jù)的分類與索引，減少訪問數(shù)據(jù)庫的步驟，縮短采集時(shí)間，提高系統(tǒng)的數(shù)據(jù)處理效率[5]。為了更好地發(fā)揮系統(tǒng)的靜態(tài)數(shù)據(jù)處理性能，數(shù)字圖書館需做好首頁靜態(tài)化處理，對(duì)不同的靜態(tài)模塊進(jìn)行整合，并在后臺(tái)進(jìn)行分類配置。其中，Velocity技術(shù)具有較強(qiáng)的靜態(tài)處理能力，數(shù)字圖書館可以利用該技術(shù)自動(dòng)生成與數(shù)據(jù)對(duì)象相關(guān)的靜態(tài)化頁面，并以對(duì)應(yīng)的ID進(jìn)行命名，省去后臺(tái)數(shù)據(jù)存儲(chǔ)的步驟，實(shí)現(xiàn)對(duì)查詢信息的實(shí)時(shí)定位。

3.2 緩存優(yōu)化技術(shù)

數(shù)字圖書館系統(tǒng)中存在大量緩存數(shù)據(jù)，包括內(nèi)存數(shù)據(jù)、文件類數(shù)據(jù)等，引入緩存優(yōu)化技術(shù)可以實(shí)現(xiàn)對(duì)這些系統(tǒng)數(shù)據(jù)的直接讀取，減少對(duì)數(shù)據(jù)庫的訪問頻率，提高數(shù)據(jù)訪問速度。數(shù)字圖書館系統(tǒng)訪問動(dòng)態(tài)網(wǎng)頁時(shí)數(shù)據(jù)資源繁雜多變，涉及多種查詢參數(shù)。這就需要數(shù)字圖書館依托文件緩存優(yōu)化技術(shù)對(duì)原始數(shù)據(jù)進(jìn)行復(fù)制，并賦予連續(xù)的內(nèi)部文件存儲(chǔ)空間，方便在數(shù)據(jù)查詢時(shí)直接指向緩存數(shù)據(jù)，以減少中間處理環(huán)節(jié)，當(dāng)緩存資源較多時(shí)可以先將其存儲(chǔ)于硬盤，然后導(dǎo)入內(nèi)部存儲(chǔ)器，這樣可以縮短應(yīng)用程序訪問內(nèi)存的時(shí)間。

3.3 引擎優(yōu)化技術(shù)

大數(shù)據(jù)驅(qū)動(dòng)時(shí)代，數(shù)字圖書館本身擁有結(jié)構(gòu)復(fù)雜、規(guī)模大、檢索要求高的數(shù)據(jù)服務(wù)環(huán)境。為了更好地滿足用戶需求，數(shù)字圖書館可以引入引擎優(yōu)化技術(shù)，提高服務(wù)系統(tǒng)檢索模塊的響應(yīng)速度和分析能力，強(qiáng)化系統(tǒng)的兼容性和拓展性，支持不同的數(shù)據(jù)平臺(tái)結(jié)構(gòu)，更好地為大數(shù)據(jù)處理與服務(wù)奠定基礎(chǔ)。數(shù)字圖書館可將搜索管理平臺(tái)、網(wǎng)頁爬蟲技術(shù)與查詢索引器等相結(jié)合，設(shè)計(jì)出能夠滿足讀者個(gè)性化需求的大數(shù)據(jù)檢索引擎。在該檢索引擎中，網(wǎng)頁爬蟲技術(shù)對(duì)動(dòng)態(tài)網(wǎng)頁內(nèi)容進(jìn)行周期性自動(dòng)獲取，建立不同數(shù)據(jù)的導(dǎo)航索引，自動(dòng)存儲(chǔ)、調(diào)取和推送各類數(shù)據(jù)信息;搜索管理平臺(tái)負(fù)責(zé)收集用戶信息，分析他們的實(shí)際需求;查詢索引器則用于檢索用戶查詢關(guān)鍵詞，自動(dòng)調(diào)取用戶所需資源。

4 大數(shù)據(jù)驅(qū)動(dòng)時(shí)代新一代數(shù)字圖書館系統(tǒng)優(yōu)化策略

4.1 建立大數(shù)據(jù)資源整合平臺(tái)

大數(shù)據(jù)資源整合是將來自于不同網(wǎng)頁、不同系統(tǒng)和不同機(jī)構(gòu)的數(shù)據(jù)集成在統(tǒng)一的數(shù)據(jù)平臺(tái)，創(chuàng)建具有多種服務(wù)功能的應(yīng)用系統(tǒng)的過程。數(shù)字圖書館建立大數(shù)據(jù)資源整合平臺(tái)，需采用多層次的系統(tǒng)架構(gòu)，結(jié)合大數(shù)據(jù)服務(wù)需求設(shè)置對(duì)應(yīng)的功能模塊，使平臺(tái)具有較強(qiáng)的耦合度和拓展能力，有助于為用戶提供多元化服務(wù)。其中，數(shù)據(jù)管理層對(duì)大數(shù)據(jù)資源進(jìn)行管理、維護(hù)與控制，并為用戶提供數(shù)據(jù)獲取接口[6];數(shù)據(jù)處理層依據(jù)數(shù)據(jù)清洗和過濾規(guī)則，保障大數(shù)據(jù)資源的完整可用性，進(jìn)一步提升數(shù)據(jù)的價(jià)值密度;數(shù)據(jù)整合層對(duì)經(jīng)過處理的數(shù)據(jù)進(jìn)行規(guī)則解析、讀取和整合，并將經(jīng)過轉(zhuǎn)換的數(shù)據(jù)存入數(shù)據(jù)庫;數(shù)據(jù)資源層由多種數(shù)據(jù)存儲(chǔ)設(shè)備、數(shù)據(jù)應(yīng)用系統(tǒng)和數(shù)據(jù)庫構(gòu)成，是數(shù)字圖書館大數(shù)據(jù)的主要來源。

4.2 實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的統(tǒng)一語義管理

數(shù)字圖書館存儲(chǔ)的海量數(shù)據(jù)并非孤立存儲(chǔ)于各個(gè)數(shù)據(jù)庫，而是要實(shí)現(xiàn)語義融合，促進(jìn)跨學(xué)科、跨系統(tǒng)的交流合作，提高數(shù)據(jù)的使用價(jià)值。數(shù)字圖書館可利用語義網(wǎng)技術(shù)對(duì)數(shù)據(jù)資源進(jìn)行語義標(biāo)注，通過語義鏈接和語義分析將其轉(zhuǎn)化為系統(tǒng)可以理解的語義對(duì)象，揭示不同數(shù)據(jù)之間的關(guān)系，形成龐大的語義知識(shí)網(wǎng)絡(luò)，這不僅可以消除“數(shù)據(jù)孤島”，還可使大數(shù)據(jù)的價(jià)值倍增。例如，數(shù)字圖書館可將文獻(xiàn)資源與讀者、出版社、會(huì)議、研究項(xiàng)目等結(jié)合起來，利用語義技術(shù)發(fā)現(xiàn)不同數(shù)據(jù)間的關(guān)聯(lián)，通過語義識(shí)別、描述、標(biāo)注和分析，形成多種類型知識(shí)交叉融合的知識(shí)圖譜，為數(shù)字圖書館的細(xì)粒度智能信息檢索提供支持。

4.3 重視收集處理用戶反饋信息

數(shù)字圖書館對(duì)系統(tǒng)進(jìn)行優(yōu)化升級(jí)，目的在于更好地滿足用戶需求。因此，數(shù)字圖書館只有重視用戶對(duì)系統(tǒng)的反饋建議，及時(shí)與用戶交流互動(dòng)，掌握用戶在系統(tǒng)應(yīng)用過程中的體驗(yàn)，分析他們提出的問題，才能有針對(duì)性地進(jìn)行改進(jìn)。數(shù)字圖書館可在系統(tǒng)服務(wù)界面設(shè)置用戶反饋專區(qū)，方便用戶提出評(píng)價(jià)和建議，也可根據(jù)用戶數(shù)據(jù)發(fā)現(xiàn)其不滿意的地方，有針對(duì)性地對(duì)系統(tǒng)進(jìn)行改進(jìn)或再造。例如，華盛頓大學(xué)圖書館在服務(wù)系統(tǒng)運(yùn)行過程中，對(duì)本校師生利用系統(tǒng)獲取信息的情況進(jìn)行綜合評(píng)估，并根據(jù)用戶反饋信息對(duì)發(fā)現(xiàn)的問題進(jìn)行技術(shù)討論，最終有效完成了系統(tǒng)的優(yōu)化升級(jí)工作。

5 結(jié)語

綜上所述，數(shù)字圖書館應(yīng)分析現(xiàn)有不足，全方位整合用戶行為數(shù)據(jù)，積極聯(lián)合網(wǎng)絡(luò)運(yùn)營(yíng)商等引入適宜的系統(tǒng)優(yōu)化技術(shù)，逐步深化大數(shù)據(jù)挖掘工作，進(jìn)一步拓展服務(wù)內(nèi)容和服務(wù)范圍，更好地滿足廣大用戶的需求。大數(shù)據(jù)驅(qū)動(dòng)時(shí)代數(shù)字圖書館面臨機(jī)遇和挑戰(zhàn)，應(yīng)充分利用各類新技術(shù)優(yōu)化服務(wù)系統(tǒng)，制定合理的系統(tǒng)優(yōu)化策略，形成符合大數(shù)據(jù)環(huán)境的新一代數(shù)字圖書館服務(wù)體系，促使數(shù)字圖書館得到更好的發(fā)展。

參考文獻(xiàn)：

[1] 夏立新，白陽，張心怡.融合與重構(gòu)：智慧圖書館發(fā)展新形態(tài)[J].中國(guó)圖書館學(xué)報(bào)，2018（1）：35-49.

[2] 柳益君，何勝，熊太純，等.大數(shù)據(jù)挖掘視角下的圖書館智慧服務(wù)：模型、技術(shù)和服務(wù)[J].現(xiàn)代情報(bào)，2017（11）：81-86.

[3] 馬捷，趙天緣，王思.高校智慧圖書館功能結(jié)構(gòu)模型構(gòu)建[J].情報(bào)科學(xué)，2017（8）：56-61.

[4] 馬曉亭.基于大數(shù)據(jù)決策分析需求的圖書館大數(shù)據(jù)清洗系統(tǒng)設(shè)計(jì)[J].現(xiàn)代情報(bào)，2016（9）：107-111.

[5] 劉桂鋒，盧章平，化慧.圖書館大數(shù)據(jù)知識(shí)服務(wù)生態(tài)體系及其動(dòng)力機(jī)制研究[J].國(guó)家圖書館學(xué)刊，2016（3）：52-60.

[6] 劉成山，李玉，王潔良.大數(shù)據(jù)在圖書情報(bào)領(lǐng)域的研究現(xiàn)狀及趨勢(shì)分析[J].情報(bào)理論與實(shí)踐，2016（4）：20-26.

（編校：徐黎娟）