基于網(wǎng)格的數(shù)字圖書館分布式資源存儲(chǔ)模型分析

鐘克吟

（肇慶學(xué)院 圖書館，廣東 肇慶 526061）

網(wǎng)格是繼Web之后新的分布式計(jì)算平臺(tái)，是指在動(dòng)態(tài)變化的多個(gè)虛擬機(jī)構(gòu)間共享資源和協(xié)同解決問題、構(gòu)筑在Internet上的一組新興技術(shù)。網(wǎng)格的實(shí)質(zhì)是要實(shí)現(xiàn)互聯(lián)網(wǎng)上所有資源的全面連通，讓全球資源共享成為可能。

在國內(nèi)外網(wǎng)格的研究和應(yīng)用領(lǐng)域中，數(shù)字圖書館都起著舉足輕重的作用。它是網(wǎng)格應(yīng)用中用于組織、利用和管理網(wǎng)格中信息資源的主體，是構(gòu)成網(wǎng)格高層應(yīng)用的信息基礎(chǔ)設(shè)施。

隨著計(jì)算機(jī)技術(shù)及網(wǎng)絡(luò)技術(shù)的高速發(fā)展，數(shù)字圖書館呈現(xiàn)信息資源數(shù)據(jù)量大、數(shù)據(jù)類型復(fù)雜、服務(wù)平臺(tái)眾多、讀者需求復(fù)雜等特點(diǎn)。數(shù)字圖書館面對(duì)的存儲(chǔ)對(duì)象遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)圖書館的范圍，傳統(tǒng)的存儲(chǔ)技術(shù)（如硬盤存儲(chǔ)、光盤塔存儲(chǔ)、光盤庫存儲(chǔ)等）已無法滿足數(shù)字信息迅猛增長的需求，現(xiàn)有的網(wǎng)絡(luò)存儲(chǔ)技術(shù)如NAS（Network Attached Storage）、SAN（Storage Area Networking）等也不能有效地緩解如此巨大的存儲(chǔ)壓力[1]。然而，基于網(wǎng)格的存儲(chǔ)技術(shù)，由于具有更高的容錯(cuò)與冗余度，并在負(fù)載波動(dòng)的情況下有更好的性能和更低的成本。因此，構(gòu)建基于網(wǎng)格的數(shù)字圖書館存儲(chǔ)環(huán)境，不僅能全面有效地解決數(shù)字圖書館的資源存儲(chǔ)問題，而且為網(wǎng)格用戶方便、快速、高效地訪問數(shù)據(jù)提供了支持和保障。

一、基于網(wǎng)格的資源存儲(chǔ)的優(yōu)勢

（一）存儲(chǔ)虛擬化

人們對(duì)數(shù)據(jù)信息的廣泛需求導(dǎo)致存儲(chǔ)系統(tǒng)的規(guī)模越來越大，信息資源的快速增長和管理能力相對(duì)不足之間的矛盾日益尖銳，對(duì)現(xiàn)有的存儲(chǔ)技術(shù)提出了挑戰(zhàn)，而網(wǎng)格技術(shù)則能較好地解決這一問題。

網(wǎng)格內(nèi)信息資源的存儲(chǔ)采用存儲(chǔ)虛擬化技術(shù)、屏蔽硬件邊界、進(jìn)程通信和同步的復(fù)雜性，將物理存儲(chǔ)設(shè)備映射到單一邏輯資源池，從而實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的集中和統(tǒng)一管理，使客戶的存儲(chǔ)系統(tǒng)容納更多的數(shù)據(jù)，也使更多的用戶可以共享同一系統(tǒng)。網(wǎng)格環(huán)境下存儲(chǔ)虛擬化實(shí)現(xiàn)了將地理上分布、系統(tǒng)上異構(gòu)的多種資源通過高速網(wǎng)絡(luò)連接起來，進(jìn)行廣域信息資源的分布共享。

（二）簡化存儲(chǔ)管理

空間數(shù)據(jù)的海量和動(dòng)態(tài)變化的特點(diǎn)要求存儲(chǔ)系統(tǒng)在容量、數(shù)據(jù)共享和管理策略上能夠方便地升級(jí)。盡管現(xiàn)有的網(wǎng)絡(luò)存儲(chǔ)解決了其中的一些問題，但是，卻使管理變得更加復(fù)雜。而網(wǎng)格存儲(chǔ)以節(jié)點(diǎn)之間的備份為基礎(chǔ)，可以在多重節(jié)點(diǎn)上進(jìn)行內(nèi)容管理與儲(chǔ)存；它可以將NAS和SAN兩種不同的技術(shù)、不同的管理工具、不同的存儲(chǔ)應(yīng)用融合在一起。因此，網(wǎng)格存儲(chǔ)能使存儲(chǔ)簡單化，可以兼容不同的網(wǎng)絡(luò)協(xié)議，支持不同的系統(tǒng)平臺(tái)；在各個(gè)分布系統(tǒng)上運(yùn)行而且同步，它具有平臺(tái)透明、協(xié)議透明和容易擴(kuò)展的優(yōu)點(diǎn)；網(wǎng)格存儲(chǔ)還具有很強(qiáng)的可升級(jí)性，這有助于采用低廉的成本擴(kuò)充存儲(chǔ)容量，提升管理能力。

網(wǎng)格存儲(chǔ)能夠集成廣域網(wǎng)環(huán)境下的異構(gòu)存儲(chǔ)資源，并且將物理分布的各類存儲(chǔ)系統(tǒng)和設(shè)備虛擬成單一的存儲(chǔ)系統(tǒng)，能夠提供統(tǒng)一的、透明的、安全的訪問和管理機(jī)制，從而使物理上分布的存儲(chǔ)、服務(wù)器、網(wǎng)絡(luò)設(shè)備可以自主地接入到網(wǎng)格中，通過中間層的虛擬化技術(shù)，為網(wǎng)格應(yīng)用層形成統(tǒng)一的訪問接口?？梢?，網(wǎng)格存儲(chǔ)具有大容量、網(wǎng)絡(luò)化、容錯(cuò)性、高效性、自主控制、透明訪問、異構(gòu)性、協(xié)同化、動(dòng)態(tài)性等優(yōu)勢[2]。

二、數(shù)字圖書館網(wǎng)格存儲(chǔ)應(yīng)用模型

（一）網(wǎng)格存儲(chǔ)應(yīng)用模型體系結(jié)構(gòu)

數(shù)字圖書館網(wǎng)格存儲(chǔ)應(yīng)用模型是在現(xiàn)有數(shù)字圖書館存儲(chǔ)系統(tǒng)基礎(chǔ)上構(gòu)建一個(gè)能夠整合存儲(chǔ)資源、為用戶屏蔽底層異構(gòu)存儲(chǔ)資源細(xì)節(jié)、具有統(tǒng)一邏輯視圖的高性能虛擬的存儲(chǔ)系統(tǒng)。自下而上，該模型由資源層、連接層、存儲(chǔ)服務(wù)層和應(yīng)用層4個(gè)基本層次組成。

資源層具有分布和異構(gòu)特性，為網(wǎng)格存儲(chǔ)服務(wù)提供基本的網(wǎng)絡(luò)環(huán)境、物理存儲(chǔ)資源和邏輯存儲(chǔ)資源，包括存儲(chǔ)設(shè)備（磁盤陣列、光盤庫和磁帶庫）、存儲(chǔ)系統(tǒng)（DAS、NAS、SAN、IP存儲(chǔ)和集群存儲(chǔ)）、數(shù)據(jù)邏輯存儲(chǔ)系統(tǒng)（文件系統(tǒng)、數(shù)據(jù)庫、檔案庫和元數(shù)據(jù)集）等[3]。

連接層提供不同網(wǎng)格之間的接口，通過文件傳輸協(xié)議GridFTP，為資源層的物理存儲(chǔ)資源和邏輯存儲(chǔ)資源提供安全的數(shù)據(jù)通信能力，實(shí)現(xiàn)不同網(wǎng)格之間的通信。主要提供節(jié)點(diǎn)管理、路由服務(wù)等，完成管理域、節(jié)點(diǎn)的命名和節(jié)點(diǎn)間的路由和通信。

網(wǎng)格存儲(chǔ)服務(wù)層是網(wǎng)格體系結(jié)構(gòu)的核心，能夠?qū)Ψ植际劫Y源進(jìn)行有效的管理，為整個(gè)網(wǎng)格應(yīng)用提供高效、安全、可靠的服務(wù)。在網(wǎng)格資源層的基礎(chǔ)上，通過連接層完成資源的有效共享，屏蔽網(wǎng)格資源層中計(jì)算資源的分布和異構(gòu)特性，向應(yīng)用層提供透明、一致的使用接口[4]。通過全局命名服務(wù)和存儲(chǔ)資源代理將最上層的用戶存儲(chǔ)請(qǐng)求映射為異構(gòu)分布存儲(chǔ)環(huán)境中的底層存儲(chǔ)操作，并提供核心服務(wù)包括：存儲(chǔ)空間管理、元數(shù)據(jù)目錄服務(wù)、副本管理和數(shù)據(jù)管理服務(wù)等。

應(yīng)用層主要為用戶提供各種業(yè)務(wù)應(yīng)用，其中包括數(shù)字圖書館資源采集、組織、管理所需的存儲(chǔ)；資源的發(fā)布與服務(wù)所需的存儲(chǔ)和本地以及異地容災(zāi)備份所需的存儲(chǔ)。用戶在該層通過存儲(chǔ)入口，經(jīng)網(wǎng)格存儲(chǔ)授權(quán)認(rèn)證，向下層發(fā)出存取請(qǐng)求。

（二）網(wǎng)格存儲(chǔ)應(yīng)用模型系統(tǒng)功能

數(shù)字圖書館網(wǎng)格存儲(chǔ)應(yīng)用模型涉及比較多的功能模塊，本文將研究重點(diǎn)放在網(wǎng)格存儲(chǔ)服務(wù)層的4個(gè)功能模塊。

1.存儲(chǔ)空間管理

在存儲(chǔ)網(wǎng)格中，有許多不同特點(diǎn)的存儲(chǔ)系統(tǒng)和存儲(chǔ)設(shè)備節(jié)點(diǎn)，它們的操作平臺(tái)、傳輸協(xié)議、內(nèi)部組成、存儲(chǔ)容量、傳輸介質(zhì)都可能各不相同。為了把所有存儲(chǔ)空間進(jìn)行有機(jī)的整合，可以將所有的存儲(chǔ)空間虛擬為一個(gè)統(tǒng)一的資源池，向用戶或應(yīng)用提供存儲(chǔ)空間。

存儲(chǔ)空間管理模塊的調(diào)度機(jī)制負(fù)責(zé)對(duì)所有的存儲(chǔ)資源進(jìn)行合理調(diào)配和規(guī)劃，使存儲(chǔ)空間管理模塊與請(qǐng)求客戶端之間就空間的分配進(jìn)行協(xié)商，實(shí)現(xiàn)空間的動(dòng)態(tài)分配。當(dāng)客戶端請(qǐng)求存儲(chǔ)資源時(shí)，存儲(chǔ)空間管理模塊為資源分配空間，并調(diào)用傳輸服務(wù)將資源移動(dòng)到選定空間內(nèi)。當(dāng)系統(tǒng)需要空間時(shí)，存儲(chǔ)空間管理模塊通過刪除生命周期已經(jīng)過期的資源回收空間，提高網(wǎng)格中存儲(chǔ)空間的利用率[5]。

2.元數(shù)據(jù)目錄服務(wù)

元數(shù)據(jù)目錄服務(wù)是存儲(chǔ)網(wǎng)格的核心技術(shù)之一，為用戶身份認(rèn)證、數(shù)據(jù)訪問、安全控制和副本管理等提供信息支持，是網(wǎng)格資源管理的基礎(chǔ)所在。

存儲(chǔ)網(wǎng)格元數(shù)據(jù)包含用戶元數(shù)據(jù)、存儲(chǔ)節(jié)點(diǎn)元數(shù)據(jù)、應(yīng)用元數(shù)據(jù)，所有元數(shù)據(jù)構(gòu)成元數(shù)據(jù)目錄，是存儲(chǔ)訪問、管理或配置網(wǎng)格資源的特殊數(shù)據(jù)庫。使用元數(shù)據(jù)技術(shù)，實(shí)現(xiàn)存儲(chǔ)網(wǎng)格環(huán)境下信息資源的異構(gòu)集成和透明訪問；而目錄服務(wù)則提供不同資源的元數(shù)據(jù)集中存儲(chǔ)，將分布異構(gòu)的信息資源映射為各層元數(shù)據(jù)，在元數(shù)據(jù)和物理資源之間架起聯(lián)系的橋梁，提供統(tǒng)一的接口為用戶提供透明的高性能訪問[6]。元數(shù)據(jù)目錄服務(wù)對(duì)存儲(chǔ)網(wǎng)格中所有元數(shù)據(jù)目錄進(jìn)行動(dòng)態(tài)更新和維護(hù)，在此基礎(chǔ)上，對(duì)網(wǎng)格中所有信息資源進(jìn)行收集、組織和更新。

3.副本管理

在存儲(chǔ)網(wǎng)格中，副本管理是將經(jīng)常訪問的信息資源復(fù)制，作為該資源的副本放置在距離終端用戶“較近”的位置上。該功能模塊能有效地減少用戶的訪問延遲和網(wǎng)絡(luò)流量消耗，達(dá)到改善系統(tǒng)的負(fù)載平衡和數(shù)據(jù)的安全可靠性。如果資源的正本被破壞或丟失，用戶對(duì)這部分資源的訪問可以轉(zhuǎn)移到其他節(jié)點(diǎn)的副本中，避免了訪問失敗。副本管理有效地提高了資源的可用性和存儲(chǔ)系統(tǒng)的安全性。

4.備份管理

為了保障數(shù)字圖書館數(shù)字資源的高可靠性，備份管理模塊采用本地系統(tǒng)備份和異地系統(tǒng)備份相結(jié)合的方式。

本地備份在存儲(chǔ)系統(tǒng)本地進(jìn)行監(jiān)控、管理和備份策略的制定等；提供介質(zhì)管理功能，包括磁帶復(fù)制、磁帶庫以及驅(qū)動(dòng)器共享和對(duì)所有備份以及恢復(fù)操作進(jìn)行實(shí)時(shí)、歷史數(shù)據(jù)分析。異地備份主要負(fù)責(zé)在異地備份系統(tǒng)進(jìn)行遠(yuǎn)程數(shù)據(jù)的備份，提供同步、異步的基于邏輯層和物理層的數(shù)據(jù)備份能力，以及對(duì)異地存儲(chǔ)系統(tǒng)的調(diào)度、管理、分級(jí)存儲(chǔ)和備份策略的制定等功能。

網(wǎng)格技術(shù)強(qiáng)調(diào)各種資源的廣泛共享和相互協(xié)作，網(wǎng)格存儲(chǔ)將網(wǎng)格中分布的數(shù)據(jù)庫、存儲(chǔ)設(shè)備、文件系統(tǒng)等進(jìn)行有機(jī)地整合，形成一個(gè)高可用性、可管理性、可擴(kuò)充性和高安全性的網(wǎng)格存儲(chǔ)環(huán)境，有效地滿足數(shù)字圖書館資源存儲(chǔ)的需求，是未來數(shù)字圖書館資源存儲(chǔ)的發(fā)展方向。

[1] 余玲,李玉海.基于網(wǎng)格的數(shù)字圖書館資源存儲(chǔ)研究[J].情報(bào)雜志,2007(9)：105-110.

[2] 龔超,盛曉艷,華江鋒.網(wǎng)格技術(shù)與信息資源存儲(chǔ)和共享[J].電腦知識(shí)與技術(shù),2007(2)：342-343.

[3] 孫瑜,李志平.網(wǎng)格資源管理體系結(jié)構(gòu)模型研究[J].計(jì)算機(jī)工程與應(yīng)用,2003(17)：26-29.

[4] 李莉.存儲(chǔ)網(wǎng)格在數(shù)字圖書館中的應(yīng)用[J].情報(bào)探索，2010(3)：94-96.

[5] 劉波.基于存儲(chǔ)網(wǎng)格的醫(yī)學(xué)信息資源智能存儲(chǔ)系統(tǒng)研究[J].蘭臺(tái)世界,2011(24)：13-14.

[6] 程坤.數(shù)據(jù)網(wǎng)格中目錄服務(wù)的研究與應(yīng)用[D].首都經(jīng)濟(jì)貿(mào)易大學(xué),2006(5)：12-15.