基于網(wǎng)格的數(shù)字圖書館資源組織模式構(gòu)建

摘 要： 在網(wǎng)格環(huán)境下，對(duì)數(shù)字圖書館資源進(jìn)行有效的組織為網(wǎng)格系統(tǒng)服務(wù)提供了工作準(zhǔn)備，是用戶獲取信息的基礎(chǔ)。針對(duì)網(wǎng)格資源異構(gòu)性、分布性、動(dòng)態(tài)性的特點(diǎn)，構(gòu)建出一種全局/局域分層式數(shù)字圖書館資源組織模式，該模式避免了資源發(fā)現(xiàn)的盲目性， 縮短了資源的查找時(shí)間，同時(shí)通過對(duì)局域資源服務(wù)器的實(shí)時(shí)監(jiān)控，使檢索結(jié)果按特定規(guī)則排列，大大提高了資源的利用率，有效地提高了網(wǎng)格系統(tǒng)的性能。

關(guān)鍵詞： 數(shù)字圖書館； 網(wǎng)格； 組織模式； 調(diào)度

中圖分類號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）02?0049?04

Construction of digital library resources organization mode based on grid

WANG Chunmei

（Jilin Agricultural University， Changchun 130000， China）

Abstract： The effective organization for the digital library resources in the grid environment can provide the work preparation for grid system service， which is the base for users to get the information. According to the heterogeneity， distributivity and dynamics characteristics of grid resources， an organizational mode of global / local layered digital library resources is constructed in this paper. This mode can avoid the blindness of the resource discovery and shorten the search time of resources. The real?time monitoring to the local resource server can make the search results to be arranged according to specific rules. It improved the utilization of resources greatly and enhanced the performance of the grid system effectively.

Keywords： digital library； grid； organizational mode； dispatch

0 引 言

網(wǎng)格（Grid）技術(shù)是以電力網(wǎng)為思想理念，在互聯(lián)網(wǎng)的基礎(chǔ)上產(chǎn)生和發(fā)展起來的一種新興的信息技術(shù)。把網(wǎng)格技術(shù)引入到數(shù)字圖書館建設(shè)中，實(shí)質(zhì)就是通過建立虛擬的網(wǎng)絡(luò)環(huán)境，把整個(gè)網(wǎng)絡(luò)整合成一臺(tái)超級(jí)計(jì)算機(jī)，這樣不僅可以實(shí)現(xiàn)數(shù)據(jù)、文獻(xiàn)、設(shè)備、信息等資源的全面共享，還可以處理人機(jī)交互、人工智能、資源異構(gòu)、分布式系統(tǒng)等方面的問題。所以，網(wǎng)格技術(shù)一經(jīng)出現(xiàn)就引起了研究人員的廣泛關(guān)注，必將引起繼Internet，Web之后的又一信息技術(shù)革命。

網(wǎng)格技術(shù)環(huán)境下數(shù)字圖書館的資源數(shù)量巨大，且存儲(chǔ)于各地，具有分布性、異構(gòu)性、動(dòng)態(tài)性等特點(diǎn)[1]。面對(duì)這些紛繁蕪雜的信息資源，如何利用網(wǎng)格技術(shù)的特點(diǎn)尋求一種規(guī)則，即組織與調(diào)度模式，把網(wǎng)格資源按特定的規(guī)則統(tǒng)一組織、調(diào)度，從而為用戶提供服務(wù)，是用戶獲取圖書館信息資源的基礎(chǔ)，也是網(wǎng)格技術(shù)在數(shù)字圖書館中應(yīng)用時(shí)所要解決的關(guān)鍵問題。為此，學(xué)者們進(jìn)行了大量的研究。文獻(xiàn)[2]綜合考慮了虛擬機(jī)遷移時(shí)間以及再分配計(jì)算時(shí)間2個(gè)因素，提出了一種動(dòng)態(tài)調(diào)度時(shí)間的資源管理優(yōu)化方法。文獻(xiàn)[3]以單個(gè)虛擬資源作為資源動(dòng)態(tài)再分配的基本單位，根據(jù)云應(yīng)用的負(fù)載變化，為負(fù)載動(dòng)態(tài)變化的云應(yīng)用提出了一種動(dòng)態(tài)資源分配模式。文獻(xiàn)[4]針對(duì)數(shù)字圖書館資源調(diào)度和負(fù)載平衡問題，提出一種基于系統(tǒng)的資源量與平臺(tái)整體性能的云計(jì)算資源調(diào)度策略，具有較高資源調(diào)度和分配能力。文獻(xiàn)[5]根據(jù)數(shù)字圖書館資源聚合中存在的問題，提出了基于關(guān)聯(lián)數(shù)據(jù)的聚合方法與聚合模式。運(yùn)用關(guān)聯(lián)數(shù)據(jù)實(shí)現(xiàn)數(shù)字圖書館的資源聚合，能更好地為用戶提供個(gè)性化制定與資源推送服務(wù)。

結(jié)合圖書館資源利用實(shí)際情況，針對(duì)網(wǎng)格資源異構(gòu)性、分布性、動(dòng)態(tài)性的特點(diǎn)，為了避免資源發(fā)現(xiàn)的盲目性，節(jié)省查找資源的時(shí)間，本研究在現(xiàn)有圖書館資源組織與調(diào)度的基礎(chǔ)上，提出一種全局/局域分層式數(shù)字圖書館資源組織與調(diào)度模式，同時(shí)對(duì)局域資源服務(wù)器進(jìn)行實(shí)時(shí)監(jiān)控，以提高資源的利用率。

1 網(wǎng)格環(huán)境下數(shù)字圖書館信息資源的構(gòu)成

網(wǎng)格環(huán)境下數(shù)字圖書館信息資源包括硬件資源、軟件資源及各種信息資源等。其中硬件資源又包括用于計(jì)算，存儲(chǔ)、通信等相關(guān)功能的設(shè)備資源，比如用于計(jì)算功能的CPU，用于存儲(chǔ)功能的磁盤，用于通信功能的交換機(jī)；軟件資源包括計(jì)算機(jī)的操作系統(tǒng)，各種應(yīng)用軟件等資源，比如Windows系統(tǒng)和WPS軟件；信息資源包括網(wǎng)絡(luò)資源和實(shí)體資源，比如電子圖書和實(shí)際出版物等，具體的數(shù)字圖書館信息資源結(jié)構(gòu)如圖1所示。

圖1 基于網(wǎng)格的數(shù)字圖書館信息資源的構(gòu)成

可見，網(wǎng)格中包括了各種各樣的形式與功能各不相同的資源，這些資源都可以通過網(wǎng)格被用戶訪問和共享。所以，如何組織和規(guī)劃好網(wǎng)格中海量的信息資源，為用戶提供更便捷、更快速、更準(zhǔn)確的網(wǎng)絡(luò)服務(wù)是網(wǎng)格環(huán)境下數(shù)字圖書館信息資源組織的關(guān)鍵。

2 網(wǎng)格環(huán)境下數(shù)字圖書館資源組織模式

資源的組織是指根據(jù)資源本身的特點(diǎn)，依據(jù)各種工具和方法制定一定的規(guī)則，對(duì)資源的內(nèi)部或外部特征進(jìn)行描述、整合、排列及組合，使資源按規(guī)定的秩序和規(guī)律進(jìn)行分布和存儲(chǔ)，以滿足人們對(duì)圖書館資源的需求。

2.1 數(shù)字圖書館資源組織的一般模式

2.1.1 傳統(tǒng)數(shù)字圖書館資源組織模式

傳統(tǒng)網(wǎng)絡(luò)中數(shù)字圖書館的信息資源提供者僅限于本地域，最大的特點(diǎn)是資源來源比較單一，不具有異構(gòu)性，組織模式比較簡(jiǎn)單。所以在傳統(tǒng)數(shù)字圖書館的資源組織模式下，可供用戶共享的資源數(shù)量和種類都較少，有一定的局限性。如圖2所示為傳統(tǒng)網(wǎng)絡(luò)環(huán)境下數(shù)字圖書館信息資源的一般組織模式[6?7]。

由圖2可知，由于該模型結(jié)構(gòu)過于簡(jiǎn)單，資源組織信息實(shí)行集中式管理，并記錄在同一數(shù)據(jù)庫(kù)中；所以圖書館用戶檢索到的信息資源是有限的，無(wú)法實(shí)現(xiàn)分布的、異構(gòu)的、動(dòng)態(tài)的信息資源之間的共享，使用戶在資源的使用上受到很大的限制和約束。

圖2 傳統(tǒng)網(wǎng)絡(luò)環(huán)境下數(shù)字圖書館信息資源的

一般組織模式

2.1.2 基于網(wǎng)格的數(shù)字圖書館資源組織模式

與傳統(tǒng)數(shù)字圖書館相比，網(wǎng)格環(huán)境下數(shù)字圖書館信息資源來源不同，分別存儲(chǔ)于世界各地，資源呈分布狀態(tài)；網(wǎng)格中的信息資源種類繁多，數(shù)量巨大，不僅存儲(chǔ)的系統(tǒng)不同，其訪問接口、操作平臺(tái)，訪問規(guī)則等也各不相同，所以表現(xiàn)為異構(gòu)性；網(wǎng)格中的資源不是一成不變的，資源提供者可以不斷加入和更新資源，也可以刪除已提供的資源，所以用戶可以共享的資源是不斷變化的，呈現(xiàn)出動(dòng)態(tài)性。

針對(duì)網(wǎng)格環(huán)境下信息資源的這些特點(diǎn)，尋求一種合適的信息資源組織模式，成為大家關(guān)注的焦點(diǎn)。對(duì)于網(wǎng)格技術(shù)下數(shù)字圖書館資源組織模式的構(gòu)建，國(guó)內(nèi)外研究人員都進(jìn)行了大量的研究工作，并提出了許多行之有效的資源組織模式，取得了比較滿意的效果。其中最常見的資源組織模型多采用分層結(jié)構(gòu)，如Globes， CCS等[8?11]。它的基本理念是把所有資源分成若干功能層進(jìn)行管理，不同層具有不同的功能，并且上一層可以利用下一層提供的服務(wù)實(shí)現(xiàn)自身的功能，有較強(qiáng)的適用性。如圖3所示為美國(guó)的Digital Library Grid項(xiàng)目提出的數(shù)字圖書館資源組織結(jié)構(gòu)。

在此組織模型中，信息資源的提供者，即網(wǎng)格中各個(gè)相互獨(dú)立的數(shù)字圖書館作為提供資源的基本單元，分布于網(wǎng)格節(jié)點(diǎn)的各處。在各節(jié)點(diǎn)處把這些資源包含的內(nèi)容、屬性等信息以元數(shù)據(jù)的形式采集出來，并把這些元數(shù)據(jù)收集、整合到一起，再按照一定的規(guī)則和機(jī)制，把元數(shù)據(jù)進(jìn)行描述、命名后分別存儲(chǔ)在不同的元數(shù)據(jù)索引節(jié)點(diǎn)中。當(dāng)用戶向數(shù)字圖書館系統(tǒng)提出檢索資源請(qǐng)求時(shí)，系統(tǒng)首先對(duì)其請(qǐng)求內(nèi)容進(jìn)行分析，然后將請(qǐng)求內(nèi)容按一定的分發(fā)機(jī)制分送至各個(gè)元數(shù)據(jù)索引節(jié)點(diǎn)，由這些節(jié)點(diǎn)并行地執(zhí)行申請(qǐng)任務(wù)，并通過資源發(fā)現(xiàn)與調(diào)度最終將匹配到的檢索結(jié)果返回，提供給用戶使用。

毫無(wú)疑問，這種資源組織方式可以使用戶訪問整個(gè)網(wǎng)格系統(tǒng)中的所有資源信息，實(shí)現(xiàn)資源共享的目的。但這種結(jié)構(gòu)模式可能造成在資源訪問過程中一個(gè)索引節(jié)點(diǎn)上的數(shù)據(jù)與多個(gè)位置的數(shù)字圖書館資源相對(duì)應(yīng)，在進(jìn)行資源調(diào)度時(shí)這些資源就可能被同時(shí)提取，并且在提取的資源中可能包含了大量的相同資源，這樣就增加了網(wǎng)絡(luò)傳輸流量，容易造成數(shù)據(jù)堵塞，產(chǎn)生瓶頸效應(yīng)，影響檢索速度。

圖3 Digital Library Grid數(shù)字圖書館資源組織結(jié)構(gòu)

2.2 網(wǎng)格環(huán)境下數(shù)字圖書館資源組織模式設(shè)計(jì)

針對(duì)以上問題，并結(jié)合網(wǎng)格資源的特點(diǎn)，本文以數(shù)字圖書館資源組織的一般模式為基礎(chǔ)，設(shè)計(jì)了一種新型的網(wǎng)格環(huán)境下數(shù)字圖書館資源組織模型——全局/局域分層式組織模型，其結(jié)構(gòu)如圖4所示。

圖4 全局/局域分層式資源組織模型

該模型結(jié)構(gòu)主要由3個(gè)層次組成，即網(wǎng)格資源節(jié)點(diǎn)層，局域資源服務(wù)器層和全局資源服務(wù)器層，每個(gè)局域資源服務(wù)器與其對(duì)應(yīng)的網(wǎng)格資源節(jié)點(diǎn)構(gòu)成一個(gè)獨(dú)立的資源自治域，如虛線所圍區(qū)域。

全局/局域分層式組織與調(diào)度的程序代碼如下：

偽代碼：

void work（）

{

Search_type=用戶檢索資源類型；

Search_information=用戶檢索資源內(nèi)容；

Switch（Search_type）

{

Case 1：work_1（）； break； //執(zhí)行紙質(zhì)資源檢索函數(shù)

Case 2：work_2（）； break； //執(zhí)行電子資源檢索函數(shù)

Case 3：work_3（）； break； //執(zhí)行硬件資源檢索函數(shù)

} }

Void work_1（） //紙質(zhì)資源檢索函數(shù)

{ Search1（ID，Search_information）；

}

Void work_2（） //電子資源檢索函數(shù)

{

essayurl=searchindex2（Search_information）；

//獲得電子資源訪問入口

provide（essayurl）；

//根據(jù)電子資源訪問入口提供相應(yīng)電子資源

}

Void work_3（Search_information）//硬件資源檢索函數(shù)

{

information=getsort（Search_information）；

//獲得硬件資源使用情況排序

assignment（information）；

//根據(jù)硬件資源使用情況分配相應(yīng)硬件資源給用戶

}

在該網(wǎng)格資源組織模型中，每個(gè)資源節(jié)點(diǎn)中的信息資源按一定規(guī)則進(jìn)行資源描述和命名，然后存儲(chǔ)于對(duì)應(yīng)的局域資源服務(wù)器中。全局資源服務(wù)器的功能是對(duì)局域資源服務(wù)器中的信息和資源進(jìn)行劃分、管理及監(jiān)控，負(fù)責(zé)收集各個(gè)資源域的數(shù)據(jù)情況，這些數(shù)據(jù)包括資源本身以及對(duì)資源的描述、命名等信息，也包括資源域中各設(shè)備的使用情況，比如CPU使用情況、某一資源同一時(shí)刻的調(diào)用率及共享情況等；同時(shí)，全局資源服務(wù)器把用戶檢索請(qǐng)求按一定分發(fā)機(jī)制分配給各個(gè)自治域執(zhí)行。自治域按照請(qǐng)求尋找相應(yīng)信息，提交給全局服務(wù)器，全局服務(wù)器對(duì)提交的資源信息進(jìn)行進(jìn)一步核審、過濾，并統(tǒng)一調(diào)度，把最合適的檢索結(jié)果提交給用戶使用。用戶要檢索的某一信息，可能大量被發(fā)現(xiàn)，并分別來源于不同的自治域中，這時(shí)全局資源服務(wù)器會(huì)根據(jù)每個(gè)自治域中該信息的調(diào)用情況及域中服務(wù)器的CPU等設(shè)備的使用情況進(jìn)行過濾排序，把調(diào)用率最小、服務(wù)器的CPU利用率最低的資源優(yōu)先提交給用戶使用，使要提交的服務(wù)呈隊(duì)列狀態(tài)。

本文設(shè)計(jì)的全局/局域分層式資源組織模型具有以下優(yōu)勢(shì)：

（1） 資源查詢過程采用并行查詢方式，以提高查找速度。對(duì)于用戶提交的檢索請(qǐng)求，全局資源服務(wù)器以并行方式同時(shí)把申請(qǐng)分發(fā)給各個(gè)有相關(guān)資源的局域服務(wù)器，并把找到的資源信息同時(shí)傳回到全局服務(wù)器進(jìn)行過濾和排列。這種方式無(wú)疑提高了資源的查找速度，節(jié)省了用戶的作業(yè)時(shí)間。

（2） 對(duì)自治域中的信息資源進(jìn)行時(shí)時(shí)監(jiān)控，動(dòng)態(tài)的提交檢索結(jié)果，提高了資源的利用效率。對(duì)于同樣的信息，可能分布于不同的區(qū)域，這些信息都符合用戶的檢索請(qǐng)求，其信息都將被提交到全局資源服務(wù)器中。與此同時(shí)，這些信息中的某些資源可能正在被多個(gè)用戶所使用，所以全局服務(wù)器會(huì)根據(jù)各域中該資源的使用情況進(jìn)行排序，盡量把閑置的、占用率小的資源優(yōu)先排列，使用繁忙的滯后排列。這樣，就避免了多人同時(shí)占用同一資源的現(xiàn)象，減少了資源阻塞及瓶頸效應(yīng)，大大提高了資源的利用效率，縮短了用戶的等待時(shí)間，提高了工作效率。

全局資源服務(wù)器對(duì)局域資源服務(wù)器的硬件資源也同時(shí)進(jìn)行監(jiān)控，包括內(nèi)存使用情況，CPU主頻等信息。在對(duì)提交的資源進(jìn)行排列時(shí)，把服務(wù)器的硬件信息也作為一項(xiàng)選擇的指標(biāo)，把內(nèi)存空間大、CPU主頻率高、利用低的做為優(yōu)先排列。反之則滯后排列。所以，這種方式也對(duì)資源的利用率起到一定的促進(jìn)作用，降低了服務(wù)器的負(fù)荷程度。

3 結(jié) 語(yǔ)

有效的資源組織模式對(duì)網(wǎng)格環(huán)境下數(shù)字圖書館信息資源的合理使用起到至關(guān)重要的作用，基于網(wǎng)格環(huán)境下數(shù)字圖書館資源異構(gòu)性、動(dòng)態(tài)性、分布性的特點(diǎn)，在參照國(guó)內(nèi)外研究成果的基礎(chǔ)上，本文提出了一種網(wǎng)格環(huán)境下數(shù)字圖書館資源組織模型——全局/局域分層式資源組織模型。通過建立全局資源服務(wù)器和局域資源服務(wù)器，實(shí)現(xiàn)了資源的分層次管理，并可采用并行數(shù)據(jù)查找方式，提高了資源的查找和提取速度，有效地縮短了資源的查找時(shí)間。全局資源服務(wù)器能夠時(shí)時(shí)動(dòng)態(tài)的監(jiān)控自治域的資源使用情況，并按一定的規(guī)則對(duì)提交的檢索結(jié)果進(jìn)行排列，最適合用戶使用的資源排在隊(duì)列前面，在提高資源利用率的同時(shí)減少了通信瓶頸，降低了服務(wù)器的負(fù)荷程度?？梢?，本文所構(gòu)建的資源組織模式科學(xué)并且規(guī)范，是一種有效的資源共享模式。

參考文獻(xiàn)

[1] 謝景明，齊德昱.一種有效的分散式網(wǎng)格資源組織機(jī)制[J].計(jì)算機(jī)工程，2006，32（17）：156?158.

[2] HARTMAN A， GIRMSCHEID G. The innovation potential of integrated services and its utilization through co?operation [J]. Engineering Construction and Architectural Management， 2004， l（11） ： 335?341.

[3] HUA Guobiao， ZHOU Shuigcng， GUAN Jihong， et al. Towards effective document clustering： A constrained K?means based approach [J]. Information Processing Management， 2008， 44（4）： 1397?1409.

[4] 馬曉亭，陳臣.數(shù)字圖書館云計(jì)算資源調(diào)度與虛擬化資源管理機(jī)制研究[J].圖書館論壇，2013，32（5）：94?97.

[5] 伍革新.基于關(guān)聯(lián)數(shù)據(jù)的數(shù)字圖書館資源聚合與服務(wù)研究[D].武漢：華中師范大學(xué)，2013.

[6] LEHMAN T J， COZZI A， XIONG Y， et al. Hitting the distributed computing sweet spot with T?spaces [J]. Computer Networks， 2001， 35（4）： 457?472.

[7] 喬平安，朱廣華，楊立法.一種改進(jìn)的網(wǎng)格資源組織及其任務(wù)調(diào)度[J].西安郵電學(xué)院學(xué)報(bào)，2011，16（1）：94?97.

[8] STERCK H D， MARKEL R S， POHL T， et al. A lightweight Java task spaces framework for scientific computing on computational grids [C]// Proceedings of the 2003 ACM Symposium on Applied Computing. Melbourne， Florida： ACM， 2003： 1024?1030.

[9] 吳葉葵.信息資源組織模式的沿革[J].現(xiàn)代情報(bào)，2003，23（8）：128?129.

[10] 龔奕利，李偉，孫毓忠.網(wǎng)格環(huán)境中資源發(fā)現(xiàn)方法研究[J].計(jì)算機(jī)工程，2006，32（17）：162?164.

[11] CAVANAGH A K. Providing services and information to the dispersed off?campus student： An integrated approach [J]. Journal of Library Administration， 2001， 31（3）： 149?157.