基于網(wǎng)格技術(shù)的數(shù)字圖書館跨庫(kù)檢索優(yōu)化方法研究

于文萍

（江蘇聯(lián)合職業(yè)技術(shù)學(xué)院徐州財(cái)經(jīng)分院 江蘇省徐州市 221000）

人類隨著互聯(lián)網(wǎng)的普及從而擁有了新的獲取知識(shí)的途徑。新工具改變了人們的生活方式，將大的研究環(huán)境進(jìn)行了改革，更是在知識(shí)范圍上更上一層樓。這使得人類文明有了較大的進(jìn)步，在諸多方面有了更多的便利。生活方式、文化內(nèi)容、社會(huì)結(jié)構(gòu)在新技術(shù)的推動(dòng)下有了曠古絕今的改變。Internet的橫空出世不但讓人們思考問題的方式出現(xiàn)變化，更是對(duì)于生活有了新的理解。第一代Internet以E-mail為主要應(yīng)用，靠著TCP/IP協(xié)議將世界各地的計(jì)算機(jī)緊緊相連；Web信息瀏覽和電子商務(wù)應(yīng)用等作為第二代Internet的介質(zhì)，將全球的網(wǎng)頁(yè)聯(lián)通；第三代的Ineternet有了前兩代的經(jīng)驗(yàn)，嘗試著將多項(xiàng)網(wǎng)絡(luò)資源進(jìn)行大規(guī)模的連通整合。而網(wǎng)格將計(jì)算形成組織，讓用戶訪問所需資源打破原本的局限，從而得到了充分的資源利用，故網(wǎng)格對(duì)于操作系統(tǒng)而言也被稱作是“中間件”，其憑借著優(yōu)異的成績(jī)成為了新興技術(shù)的核心。網(wǎng)格與電力網(wǎng)的運(yùn)行有著相似之處，是一種面向應(yīng)用和問題的新型技術(shù)。作為圖書館的核心問題，有序的信息組織和分布式的跨庫(kù)檢索尤為重要，大并發(fā)量的訪問和海量信息的檢索查詢，及科技文化信息的資源共享都是數(shù)字圖書館將要面臨的巨大挑戰(zhàn)，想要達(dá)到目的就要實(shí)現(xiàn)信息或者知識(shí)檢索的快準(zhǔn)全，在這個(gè)以人為本的社會(huì)，用戶的體驗(yàn)性也是一個(gè)重點(diǎn)，用戶對(duì)于個(gè)性化服務(wù)的需求日益增加，將網(wǎng)格從時(shí)間和空間中來將內(nèi)容進(jìn)行分化，充分的把其中的資源利用才是數(shù)字圖書館的主要目標(biāo)。不僅如此，根據(jù)客戶需求，將網(wǎng)格之中的豐富的文化資源和科學(xué)知識(shí)通過多對(duì)多的形式，將學(xué)校企業(yè)等社會(huì)部門作為介質(zhì)來傳送至每個(gè)有需求的角落之中，讓數(shù)字圖書館在建設(shè)的同時(shí)為新時(shí)代大門添上一把鑰匙，更讓其作為發(fā)展的催化劑，發(fā)揮出更大的作用。

1 網(wǎng)格技術(shù)及特點(diǎn)

1.1 網(wǎng)格技術(shù)

我們可以把網(wǎng)格看作一個(gè)超級(jí)的資源池，它將世界所有計(jì)算機(jī)整合到一起，通過互聯(lián)網(wǎng)使之變成一臺(tái)超級(jí)計(jì)算機(jī)，把全球的資源來通過一系列手段處理，從而實(shí)現(xiàn)全面化共享，其涵蓋范圍廣，內(nèi)容極其豐富。消除資源共享，做到資源共享是網(wǎng)格的根本特點(diǎn)[1]。將范圍縮小到地區(qū)，網(wǎng)格同樣可以落戶至家庭，甚至于構(gòu)造個(gè)人網(wǎng)格，想要更好的理解網(wǎng)格的概念，羅列以下三點(diǎn)：

（1）從目標(biāo)入手，資源共享是網(wǎng)格主攻的大方向，分布協(xié)同工作為資源共享錦上添花，兩者一同組成網(wǎng)格的核心目標(biāo)。

（2）本質(zhì)，任何一個(gè)技術(shù)手段的本質(zhì)都應(yīng)該是技術(shù)。

（3）網(wǎng)格是計(jì)算機(jī)設(shè)備和服務(wù)及其數(shù)據(jù)的基本設(shè)施[2]。

現(xiàn)如今，伊安?福斯特等早期提出的五層沙漏結(jié)構(gòu)和以IBM為主，考慮Web技術(shù)，在伊安?福斯特等結(jié)合Web Service提出的開放網(wǎng)格服務(wù)結(jié)構(gòu)OGSA是較為重要的兩個(gè)網(wǎng)格體系結(jié)構(gòu)。

1.2 網(wǎng)格特點(diǎn)

作為數(shù)據(jù)源、高性能計(jì)算機(jī)、因特網(wǎng)三種科技所進(jìn)行有機(jī)組合和發(fā)展的產(chǎn)物，網(wǎng)格與因特網(wǎng)作比有著以下特點(diǎn)：

（1）高性能：因?yàn)榫W(wǎng)格對(duì)比現(xiàn)有的因特網(wǎng)有著更大的范圍，其擁有更多高性能的計(jì)算機(jī)，從而大幅度的提升了計(jì)算速度和數(shù)據(jù)處理速度；網(wǎng)格的體系對(duì)比于因特網(wǎng)能更好更高效的利用資源，例

如網(wǎng)格的有一獨(dú)門武器，它可以極大的縮減距離，挑選最近的服務(wù)器進(jìn)行投放，他就是廣域緩存。這一能力為數(shù)字圖書館的大數(shù)據(jù)處理提供了強(qiáng)有力的技術(shù)支持[3]。

（2）集成性：網(wǎng)格可以將地理位置上分布的各種資源集成為一個(gè)整體，這個(gè)有機(jī)的整體從邏輯上看就像一臺(tái)計(jì)算機(jī)，對(duì)用戶而言可以如同使用自己計(jì)算機(jī)一樣方便的使用各種網(wǎng)絡(luò)上的資源，這樣合成功能出現(xiàn)在了多個(gè)聯(lián)合的資源之中，原本有限資源的局限性就這樣被打破，用戶的體驗(yàn)感得到了進(jìn)一步提升，資源得到了更充分的利用。網(wǎng)格繼承了各個(gè)領(lǐng)域的核心手段，從而高效率的解決了數(shù)字圖書館計(jì)算資源困乏和存儲(chǔ)空間不足這一巨大難題[4]。

（3）資源共享性：通過云端數(shù)據(jù)可以大幅度擴(kuò)大資源庫(kù)，從而達(dá)到更大程度的資源共享，擴(kuò)大了傳統(tǒng)因特網(wǎng)的數(shù)據(jù)庫(kù)，讓各領(lǐng)域資源在其中達(dá)到共享，實(shí)現(xiàn)數(shù)據(jù)利用的最大化。

1.3 網(wǎng)格的結(jié)構(gòu)

1.3.1 五層沙漏結(jié)構(gòu)

這種結(jié)構(gòu)并不強(qiáng)調(diào)協(xié)議定義，而是將協(xié)議變?yōu)榱撕诵?，以?qiáng)調(diào)API和SDK的重要性為主，偏向于對(duì)定位進(jìn)行描述，從底層開始，構(gòu)造、鏈接、資源、匯聚、應(yīng)用五層共同組成了沙漏模型[5]。將各個(gè)構(gòu)層拆開看，構(gòu)造層包含著資源中的物理一類，如存儲(chǔ)等，其控制整個(gè)沙漏結(jié)構(gòu)，管理著整個(gè)結(jié)構(gòu)的運(yùn)行，可以看作結(jié)構(gòu)的基石，通過沙漏結(jié)構(gòu)向上提供一個(gè)連接點(diǎn)，從而保證了各層的數(shù)據(jù)互通，

根據(jù)上一層的協(xié)議，網(wǎng)絡(luò)資源層應(yīng)運(yùn)而生，它提供各部門流動(dòng)的大門。

將局部資源作為考慮的主體，而匯聚層則把握著大局，控制著全局的狀態(tài)。其上則是匯聚層，顧名思義，多種資源協(xié)同，在以所擁有資源為基礎(chǔ)的前提下進(jìn)行高一級(jí)應(yīng)用的運(yùn)行，在通用情況下正常處理，在特定情況下采取特殊手段。

應(yīng)用層將各層資源整合，利用可調(diào)配的資源滿足其所需，讓其更好的在虛擬的組織環(huán)境中高效且合理的存在。。以電力系統(tǒng)作比，前四層如同發(fā)電廠、電網(wǎng)、配電所及配電房，而應(yīng)用層則為居民住宅中的各個(gè)電力設(shè)施，它憑借沙漏一般的特性，以鏈接和資源兩層為主，逐層形成瓶頸來為資源提供一個(gè)具有強(qiáng)大安全性的訪問能力。

1.3.2 OGSA模型

在2002年6月，GGF之中一個(gè)名為OGSI的小組制定出了一個(gè)全新的架構(gòu)，其開放式的特點(diǎn)引來了各界關(guān)注，它不僅將網(wǎng)格建造中的必須的組件羅列，更定義了網(wǎng)格的編程模型，給出了一個(gè)全新的解決方案，通過網(wǎng)格解決一個(gè)企業(yè)類成為了一個(gè)全新的解決問題的手段。OGSA如同沙漏結(jié)構(gòu)，層層息息相關(guān)，將資源利用和技術(shù)革新帶到了一個(gè)全新的高度，通過聚合物理層，提供了許多從前無法想象的額外功能。以邏輯亦或者是物理角度來看，所有的網(wǎng)絡(luò)資源歸根結(jié)底都是為了服務(wù)，其主要有著程序的執(zhí)行，數(shù)據(jù)服務(wù)和核心服務(wù)等等。OGSA的一切都表示為遵循一套規(guī)范的網(wǎng)格服務(wù)。以網(wǎng)格服務(wù)為中海好處如下：

（1）由于組件虛擬化，一對(duì)一的核心的接口讓更有層次結(jié)構(gòu)的服務(wù)應(yīng)運(yùn)而生， 更高級(jí)別的服務(wù)跨越了從前抽象的定義，以全新的方式統(tǒng)一看待。

（2）因?yàn)樘摂M化的的存在，許多從前不可能映射到現(xiàn)實(shí)的物理資源進(jìn)入了現(xiàn)實(shí)世界，這一具有重大意義的革新讓服務(wù)有了全新面貌，使得服務(wù)進(jìn)行時(shí)不再有原本的束縛。

（3）開放OGSA的意義在于其廣泛性，將以科學(xué)和工程計(jì)算為核心的學(xué)術(shù)擴(kuò)展為主要特征為系統(tǒng)服務(wù)的社會(huì)經(jīng)濟(jì)活動(dòng)領(lǐng)域。

2 數(shù)字圖書館跨庫(kù)檢索平臺(tái)現(xiàn)狀

跨庫(kù)搜索的本質(zhì)實(shí)則時(shí)通過一個(gè)叫做“智能搜索器”的程序接收客戶的請(qǐng)求，通過客戶的請(qǐng)求進(jìn)行一個(gè)內(nèi)部的轉(zhuǎn)化，把其變?yōu)槟茏寯?shù)據(jù)庫(kù)接受的格式，再將請(qǐng)求進(jìn)一步發(fā)到其對(duì)應(yīng)數(shù)據(jù)庫(kù)之中，從而得到結(jié)果后轉(zhuǎn)化為統(tǒng)一格式，發(fā)回到請(qǐng)求用戶手中?，F(xiàn)今，國(guó)內(nèi)的清華同方的USP檢索平臺(tái)以及國(guó)外多個(gè)知名平臺(tái)均已推出跨庫(kù)檢索服務(wù)。

上述產(chǎn)品的出現(xiàn)在為信息資源訪問提出便利的同時(shí)也暴露出一些問題和不足，主要如下：

（1）多數(shù)數(shù)據(jù)庫(kù)被諸多不利因素影響導(dǎo)致沒能將資源利用率發(fā)揮到極致。

（2）在電子資源庫(kù)高速發(fā)展數(shù)量大幅度上漲的大環(huán)境之下，使用者難以逐次提選擇提交，被目標(biāo)所束縛。

（3）平臺(tái)本身的建設(shè)方面還存在不足，智能化程度有待提高，個(gè)性化建設(shè)仍需進(jìn)一步發(fā)展。

（4）因數(shù)據(jù)庫(kù)激增，導(dǎo)致了數(shù)據(jù)庫(kù)多、雜、亂、難以將標(biāo)準(zhǔn)統(tǒng)一，對(duì)設(shè)計(jì)系統(tǒng)有著極大的挑戰(zhàn)性，從而導(dǎo)致了難度的提高。

3 優(yōu)化基于網(wǎng)格技術(shù)的數(shù)字圖書館跨庫(kù)檢索系統(tǒng)

3.1 優(yōu)化目標(biāo)

（1）將檢索界面大幅度統(tǒng)一：用戶能隨時(shí)隨地訪問數(shù)字圖書館網(wǎng)格范圍內(nèi)的信息，從而更方便快捷高效。

（2）將資源進(jìn)行巧妙整合：憑借單個(gè)圖書館所擁有的存儲(chǔ)量顯然難以和大量的數(shù)據(jù)庫(kù)相提并論，網(wǎng)格技術(shù)的出現(xiàn)解決了這一難題，其通過強(qiáng)大的資源調(diào)度能力將眾多圖書館資源強(qiáng)力整合，清晰的資源視圖打破了傳統(tǒng)的存儲(chǔ)瓶頸。

3.2 優(yōu)化方法

（1）現(xiàn)如今，在各個(gè)高校、科研機(jī)構(gòu)亦或者是數(shù)據(jù)庫(kù)上處均可以看到數(shù)字圖書館資源信息資源的影子。各方面機(jī)構(gòu)在遵循規(guī)范的前提下，大可輕松加入系統(tǒng)，在可實(shí)現(xiàn)的范圍內(nèi)在可實(shí)現(xiàn)的范圍內(nèi)，將資源共享，這一操作不但進(jìn)一步提高了資源的利用，更是巧妙地融入了生活之中。

（2）網(wǎng)格技術(shù)有一個(gè)顯著的特點(diǎn)，其有著優(yōu)秀的資源調(diào)度能力，這一能力甚至于可以跨組織進(jìn)行，它能解決諸多共享及協(xié)作問題，甚至對(duì)參與方諸多的檢索平臺(tái)進(jìn)行協(xié)調(diào)。

3.3 優(yōu)化效果

將分散的數(shù)字圖書館利用網(wǎng)格的特點(diǎn)，憑借著中間件GT4來構(gòu)建一個(gè)全新的模型，其開放式的架構(gòu)，通用技術(shù)極其規(guī)范，恰好可以完美的契合，共同整合為網(wǎng)格服務(wù)，

（1）網(wǎng)格的相關(guān)服務(wù)與核心技術(shù)通過連接層決定

（2）通過網(wǎng)格節(jié)點(diǎn)層來梳理分布較為凌亂的數(shù)據(jù)資源，將網(wǎng)格服務(wù)作為基礎(chǔ)，將各種數(shù)據(jù)進(jìn)行處理包裝，再按照已經(jīng)建立的模型分裝發(fā)布于系統(tǒng)。

（3）以GT4為中間件的中間件層鏈接了各個(gè)節(jié)點(diǎn)，以此保證系統(tǒng)的穩(wěn)定運(yùn)行。

（4）功能層實(shí)則是在GT4上開發(fā)的，它支持跨庫(kù)檢索。網(wǎng)格有著兩大模塊，管理模塊來提供查詢和檢索，以其為基礎(chǔ)研發(fā)的任務(wù)管理模塊則負(fù)責(zé)了調(diào)度和協(xié)調(diào)計(jì)算，兩者互相協(xié)作共同完成著程序的運(yùn)行。

（5）Agent技術(shù)的誕生可以說是人工智能領(lǐng)域的一大崛起之作，它的地位極高，其原因是自然是因?yàn)楠?dú)特的分解分配能力，它如同并發(fā)計(jì)算中的進(jìn)程一般，作用之重要可見一斑。

引入Agent技術(shù)，以此為基底來建立網(wǎng)格任務(wù)管理模塊。利用Agent技術(shù)進(jìn)行系統(tǒng)優(yōu)化從而將對(duì)等的協(xié)同計(jì)算進(jìn)行分散。

（1）任務(wù)分解Agent。用戶通過手動(dòng)提交，將重?fù)?dān)交到其手中，在其強(qiáng)大的相關(guān)數(shù)據(jù)庫(kù)有力的支撐之下，對(duì)任務(wù)進(jìn)行全面的分析，慢慢將其分解，并梳理成為在邏輯上息息相關(guān)的子任務(wù)，從而來形成任務(wù)流。

（2）任務(wù)分配Agent。因?yàn)槿蝿?wù)流對(duì)于子任務(wù)功能有著大量的需求，所以任務(wù)分配Agent的必要之處體現(xiàn)了出來，資源Agent有著強(qiáng)大的搜索服務(wù)，他的搜索服務(wù)讓子任務(wù)具體網(wǎng)格服務(wù)達(dá)到了任務(wù)的分配，從而實(shí)現(xiàn)程序運(yùn)行，將問題解決。

4 應(yīng)用實(shí)現(xiàn)

在進(jìn)行平臺(tái)運(yùn)行的實(shí)踐后得出的結(jié)論表明了其存在的價(jià)值，其更高的查準(zhǔn)和查全讓客戶能夠高效準(zhǔn)確的找到所需資源，帶來了快捷和便利，而在優(yōu)化之后，平臺(tái)的質(zhì)量也有了大幅度的提升，單看系統(tǒng)，可擴(kuò)展性就有了大幅的提高，而優(yōu)良的兼容性也是其優(yōu)勢(shì)所在，服務(wù)質(zhì)量在原有基礎(chǔ)上有了大幅度的提高。

盡管平臺(tái)包含了大量的信息資源，但因?yàn)槠渲胁恢褂兄谋竞蛨D像，音視頻文件的存在導(dǎo)致對(duì)計(jì)算機(jī)有了更高的要求，而現(xiàn)如今被閑置的計(jì)算機(jī)資源并非沒有，它分布在各大高校和科研網(wǎng)絡(luò)，網(wǎng)格憑借其自身特點(diǎn)恰好可以將這些閑置已久的資源巧妙地利用，將其構(gòu)造成為數(shù)據(jù)機(jī)群，來滿足客戶所需的各類數(shù)據(jù)處理。

5 結(jié)論

網(wǎng)絡(luò)技術(shù)優(yōu)化跨庫(kù)檢索平臺(tái)不僅避免了之前無法解決的問題，大規(guī)模的整合了有效資源，更是將一站式服務(wù)變?yōu)楝F(xiàn)實(shí)，故深得好評(píng)，但無論多么優(yōu)秀的作品都會(huì)存在雙面性，其優(yōu)秀的性能背后同樣也有著許多的問題，安全問題就是其中一大難點(diǎn)，大規(guī)模的數(shù)據(jù)存儲(chǔ)于“云端”之中，使用者根本不知道儲(chǔ)存的具體位置，而這樣一來，別用用心的黑客入侵或者數(shù)據(jù)的突然丟失都會(huì)造成難以估計(jì)的損失，盡管現(xiàn)如今許多學(xué)者專心于研究如何尋找一個(gè)合適的解決辦法，但長(zhǎng)久以來此問題一直未被解決。在此之外，異構(gòu)數(shù)據(jù)檢索雖然得以實(shí)現(xiàn)，但其在實(shí)現(xiàn)的同時(shí)因?yàn)榫W(wǎng)格技術(shù)的參入也將數(shù)據(jù)庫(kù)本具有的一些特性破壞掉，甚至于改變結(jié)果，想要真正的將統(tǒng)一檢索變?yōu)楝F(xiàn)實(shí)，只有通過科研人員通過一次又一次的反復(fù)實(shí)驗(yàn)，在相對(duì)黑暗的領(lǐng)域不停摸索，才能將網(wǎng)絡(luò)技術(shù)研究的更為深入透徹。