網(wǎng)格環(huán)境下副本技術(shù)的研究與實(shí)現(xiàn)

趙秋云, 魏 樂(lè)

(成都信息工程學(xué)院計(jì)算機(jī)學(xué)院,四川成都610225)

1 引言

網(wǎng)格技術(shù)是為了滿足計(jì)算資源、計(jì)算能力不斷增長(zhǎng)的需求而提出的,最終目標(biāo)是實(shí)現(xiàn)網(wǎng)絡(luò)虛擬環(huán)境下的資源共享和協(xié)同工作。網(wǎng)格環(huán)境中維護(hù)的往往是海量數(shù)據(jù),且這些數(shù)據(jù)大多是動(dòng)態(tài)、分布存儲(chǔ)的,因此,數(shù)據(jù)管理技術(shù)及方案的選擇對(duì)網(wǎng)格性能來(lái)說(shuō)至關(guān)重要。

副本技術(shù)是網(wǎng)格中提高數(shù)據(jù)訪問(wèn)和處理效率的關(guān)鍵技術(shù)之一,通過(guò)在本地或者鄰近結(jié)點(diǎn)創(chuàng)建數(shù)據(jù)的副本,來(lái)改善高延遲網(wǎng)絡(luò)中數(shù)據(jù)的訪問(wèn)速度和網(wǎng)格的整體性能。良好的數(shù)據(jù)副本管理技術(shù)可以減輕單個(gè)數(shù)據(jù)網(wǎng)格結(jié)點(diǎn)的通信和訪問(wèn)壓力,降低遠(yuǎn)程訪問(wèn)該數(shù)據(jù)的網(wǎng)絡(luò)延遲及帶寬消耗;可以提高網(wǎng)絡(luò)的負(fù)載均衡度,同時(shí)提高數(shù)據(jù)的安全性、可靠性以及系統(tǒng)的容錯(cuò)性。

2 副本技術(shù)研究與分析

2.1 Globus副本管理服務(wù)

Globus項(xiàng)目是目前國(guó)際上最有影響的網(wǎng)格計(jì)算相關(guān)項(xiàng)目之一,發(fā)起于20世紀(jì)90年代中期,由美國(guó)Argonne國(guó)家實(shí)驗(yàn)室和幾十所大學(xué)等科研單位研發(fā),也是較早開(kāi)展副本管理研究的網(wǎng)格項(xiàng)目[1]。Globus項(xiàng)目的一個(gè)成果是開(kāi)發(fā)出了開(kāi)源工具包Globus Toolkit,該工具包提供了簡(jiǎn)單的副本管理服務(wù)和副本定位服務(wù),同時(shí)還提供了高速文件傳輸服務(wù)GridFTP。在副本管理服務(wù)方面,Globus Toolkit構(gòu)造了一套底層的副本管理開(kāi)發(fā)工具如復(fù)制管理服務(wù)、元數(shù)據(jù)服務(wù)、復(fù)制選擇服務(wù)和副本信息服務(wù)等組件,這些組件基于最簡(jiǎn)單的集中式副本目錄,提供最基本的副本管理服務(wù),但沒(méi)有提供副本動(dòng)態(tài)創(chuàng)建、優(yōu)化選擇以及一致性管理等功能。

Globus網(wǎng)格環(huán)境的副本管理是靜態(tài)的、集中的,主要體現(xiàn)在：在副本創(chuàng)建時(shí)對(duì)數(shù)據(jù)副本的動(dòng)態(tài)生成沒(méi)有過(guò)多考慮;復(fù)制選擇中,當(dāng)存在多個(gè)副本滿足要求時(shí),僅僅根據(jù)存儲(chǔ)空間、可用帶寬等一些靜態(tài)或全局參數(shù)進(jìn)行排序、選擇,既沒(méi)有充分利用用戶訪問(wèn)數(shù)據(jù)的歷史記錄,以便對(duì)用戶以后的數(shù)據(jù)訪問(wèn)進(jìn)行預(yù)測(cè),也沒(méi)有根據(jù)用戶的請(qǐng)求有針對(duì)性地采取不同的選擇策略?？傊?Globus提供的復(fù)制管理服務(wù)的靈活性較差,無(wú)法滿足實(shí)際網(wǎng)格應(yīng)用的需求。

2.2 副本創(chuàng)建策略

副本策略應(yīng)該考慮副本的定位、創(chuàng)建、更新及刪除等多種任務(wù),在副本管理的諸多任務(wù)中,副本的創(chuàng)建是根本,它的解決方案會(huì)直接影響其它問(wèn)題的解決方法,也是副本管理方案性能的主要決定因素。

副本創(chuàng)建策略較多。文獻(xiàn)[2]給出了網(wǎng)格領(lǐng)域經(jīng)典的幾種副本創(chuàng)建策略：沒(méi)有副本或緩存的策略、最佳客戶端策略、瀑布復(fù)制策略、簡(jiǎn)單的緩存策略、緩存+瀑布策略和快速擴(kuò)散策略。6種副本擴(kuò)展策略中,快速擴(kuò)散和瀑布策略較其它4種策略可以節(jié)省60%的網(wǎng)絡(luò)帶寬和減少60%的延遲。但快速擴(kuò)展策略對(duì)訪問(wèn)特征沒(méi)有進(jìn)行任何處理,瀑布策略可以定期識(shí)別熱度文件,并將文件沿著層次進(jìn)行副本擴(kuò)展,非常適合于層次網(wǎng)格拓?fù)浣Y(jié)構(gòu),但這種策略著重考慮文件訪問(wèn)次數(shù),對(duì)其它文件訪問(wèn)特征處理簡(jiǎn)單。最佳客戶端策略也同樣適合層次網(wǎng)格結(jié)構(gòu),但它只突出了訪問(wèn)特征中的訪問(wèn)次數(shù)和訪問(wèn)者。除此之外,還有許多文獻(xiàn)提出了各種各樣的副本管理策略。由于重點(diǎn)在于副本管理的實(shí)現(xiàn),此處對(duì)各種副本策略不再過(guò)多介紹。

選擇哪種副本創(chuàng)建策略應(yīng)該根據(jù)網(wǎng)格拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)規(guī)模、網(wǎng)格環(huán)境下單節(jié)點(diǎn)存儲(chǔ)能力、副本管理的側(cè)重點(diǎn)及網(wǎng)格作業(yè)規(guī)模等多個(gè)方面考慮,從副本管理可擴(kuò)展的角度考慮,一個(gè)設(shè)計(jì)良好的副本管理方案應(yīng)該能提供多種副本管理策略。由于課題依據(jù)的計(jì)算網(wǎng)格是層次網(wǎng)格拓?fù)浣Y(jié)構(gòu),本文的副本管理方案中副本創(chuàng)建方面首選瀑布策略。

2.3 網(wǎng)格體系結(jié)構(gòu)與副本管理

網(wǎng)格技術(shù)在體系結(jié)構(gòu)、標(biāo)準(zhǔn)規(guī)范上投入了大量的研究資源,目前最新的是由Globus聯(lián)盟、IBM和HP于2004年初共同提出的第三代網(wǎng)格體系結(jié)構(gòu)：WSRF(Web Service Resource Framework,Web服務(wù)資源框架),WSRF v1.2規(guī)范已于2006年4月3日被批準(zhǔn)為OASIS(Organization for the Advancement of Structured Information Standards,結(jié)構(gòu)化信息標(biāo)準(zhǔn)促進(jìn)組織)標(biāo)準(zhǔn)[3]?；赪eb服務(wù)規(guī)范的Web服務(wù)資源框架如圖1所示。

WSRF采用了與傳統(tǒng)網(wǎng)格服務(wù)完全不同的定義：資源是有狀態(tài)的,網(wǎng)格服務(wù)是無(wú)狀態(tài)的。它的目的在于定義出一個(gè)通用且開(kāi)放的架構(gòu),利用Web服務(wù)對(duì)具有狀態(tài)屬性的資源進(jìn)行存取,并包含描述狀態(tài)屬性的機(jī)制和如何將機(jī)制延伸至Web服務(wù)中。利用WSRF,可以使網(wǎng)格服務(wù)具有如下特點(diǎn)：

(1)引入Web服務(wù)標(biāo)準(zhǔn),同時(shí)更全面地?cái)U(kuò)展現(xiàn)有的XML標(biāo)準(zhǔn),在目前的開(kāi)發(fā)環(huán)境下,使網(wǎng)格服務(wù)的實(shí)現(xiàn)更為簡(jiǎn)單。

(2)OGSI規(guī)范(Open Grid Service Infrastructure,開(kāi)放網(wǎng)格服務(wù)基礎(chǔ)設(shè)施)中的術(shù)語(yǔ)和結(jié)構(gòu)讓W(xué)eb服務(wù)的標(biāo)準(zhǔn)組織感到困惑,因?yàn)镺GSI錯(cuò)誤地認(rèn)為Web服務(wù)一定需要很多支撐的構(gòu)建。WSRF通過(guò)對(duì)消息處理器和狀態(tài)資源進(jìn)行分離來(lái)消除上述隱患,明確了其目標(biāo)是允許Web服務(wù)操作對(duì)狀態(tài)資源進(jìn)行管理和操縱。

2005年1月31日發(fā)布的Globus Toolkit 4(GT4),實(shí)現(xiàn)了WSRF和WSN標(biāo)準(zhǔn)。

圖1 Web服務(wù)資源框架

Web服務(wù)標(biāo)準(zhǔn)的引入,使得目前開(kāi)發(fā)環(huán)境下用Web Service實(shí)現(xiàn)網(wǎng)格服務(wù)更為簡(jiǎn)單。同時(shí),Web Service也是分布式計(jì)算下一步發(fā)展的技術(shù)趨勢(shì),它能使軟件以松散耦合、簡(jiǎn)單和與平臺(tái)無(wú)關(guān)的方式與客戶、業(yè)務(wù)伙伴的軟件集成[3]。簡(jiǎn)單地說(shuō),Web Service使用一套協(xié)議和技術(shù)來(lái)實(shí)現(xiàn)分布式應(yīng)用程序的創(chuàng)建：用XML描述數(shù)據(jù);使用SOAP消息調(diào)用訪問(wèn)服務(wù);使用WSDL進(jìn)行界面描述,并通過(guò) UDDI(Universal Description Discovery and Integration,統(tǒng)一描述、發(fā)現(xiàn)和集成)注冊(cè)中心發(fā)布。用Web Service開(kāi)發(fā)網(wǎng)格副本管理服務(wù),能很好地改進(jìn)Globus中集中管理帶來(lái)的問(wèn)題,也能夠增加副本管理系統(tǒng)的可擴(kuò)展性,以及副本管理與其它網(wǎng)格應(yīng)用的易集成性。

圖2 副本管理與調(diào)度系統(tǒng)的網(wǎng)格拓?fù)浣Y(jié)構(gòu)

3 副本管理方案的實(shí)現(xiàn)

3.1 副本管理系統(tǒng)方案

副本管理系統(tǒng)基于層次網(wǎng)格的拓?fù)浣Y(jié)構(gòu),在充分研究這一網(wǎng)格拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上,提出了副本管理系統(tǒng)所需要的網(wǎng)格拓?fù)浣Y(jié)構(gòu),如圖2所示。

在圖2中,網(wǎng)格拓?fù)浣Y(jié)構(gòu)的中樞為計(jì)算網(wǎng)格副本管理中心服務(wù)器,該服務(wù)器接受網(wǎng)格用戶通過(guò)副本管理服務(wù)門(mén)戶發(fā)來(lái)的副本操作請(qǐng)求,負(fù)責(zé)全局的副本管理,對(duì)文件訪問(wèn)情況進(jìn)行監(jiān)控并直接操作數(shù)據(jù)庫(kù)服務(wù)器,根據(jù)文件訪問(wèn)情況的分析結(jié)果,調(diào)度各節(jié)點(diǎn)上的本地副本管理服務(wù)?？梢詫⒅行姆?wù)器抽象為副本監(jiān)控與調(diào)度器(Replica Monitor Scheduler,RMS)。

網(wǎng)格節(jié)點(diǎn)服務(wù)器包括單機(jī)節(jié)點(diǎn)和集群節(jié)點(diǎn),每個(gè)網(wǎng)格節(jié)點(diǎn)都接受中心服務(wù)器發(fā)送來(lái)的副本管理調(diào)度命令,提供本節(jié)點(diǎn)上具體的副本管理服務(wù)。也就是說(shuō),各節(jié)點(diǎn)分布地完成具體的副本創(chuàng)建、刪除等工作。此處將節(jié)點(diǎn)服務(wù)器抽象為本地副本管理器(Local Replica Manager,LRM)。

數(shù)據(jù)庫(kù)服務(wù)器作為網(wǎng)格中的文件訪問(wèn)歷史和副本信息的存儲(chǔ)中心,其中的文件訪問(wèn)歷史信息將由網(wǎng)格的作業(yè)管理服務(wù)獲取,該服務(wù)器也接受來(lái)自副本管理服務(wù)門(mén)戶的用戶操作,由網(wǎng)格副本中心服務(wù)器直接控制。

副本管理服務(wù)門(mén)戶是副本服務(wù)平臺(tái)與網(wǎng)格用戶的交互接口,網(wǎng)格門(mén)戶設(shè)計(jì)為Web應(yīng)用,用戶通過(guò)副本管理門(mén)戶進(jìn)行各種副本操作。

3.2 方案實(shí)現(xiàn)

副本管理系統(tǒng)的創(chuàng)建、刪除及查詢功能模塊具有相對(duì)平行的操作過(guò)程,這些相對(duì)平行的過(guò)程是通過(guò)自動(dòng)定時(shí)器或網(wǎng)格門(mén)戶、RMS和LRM的相互協(xié)作實(shí)現(xiàn),在代碼實(shí)現(xiàn)時(shí)有相同的思路和過(guò)程,因此,僅以副本創(chuàng)建來(lái)闡述副本管理系統(tǒng)的實(shí)現(xiàn)。副本管理系統(tǒng)中和創(chuàng)建功能相關(guān)的類(lèi)結(jié)構(gòu)關(guān)系如圖3所示。

圖3 副本創(chuàng)建相關(guān)類(lèi)結(jié)構(gòu)

圖3中虛線上面的RMS運(yùn)行在網(wǎng)格的中心服務(wù)器上。RMS中最主要的任務(wù)就是動(dòng)態(tài)檢查文件訪問(wèn)歷史記錄的監(jiān)控和動(dòng)態(tài)調(diào)度副本管理服務(wù)。采用一個(gè)簡(jiǎn)單的Java定時(shí)器控制,Java定時(shí)器(java.util.Timer)有定時(shí)觸發(fā)計(jì)劃任務(wù)的功能,通過(guò)設(shè)定定時(shí)器的間隔時(shí)間,可以自動(dòng)有規(guī)律地調(diào)用預(yù)先安排的任務(wù),比如STask類(lèi)(繼承自java.util.TimerTask)。實(shí)際工作時(shí),在工程的配置文件web.xml中加入監(jiān)聽(tīng)器配置,STask就會(huì)在工程啟動(dòng)時(shí)自動(dòng)運(yùn)行,并在整個(gè)工程生命期中處于監(jiān)聽(tīng)狀態(tài)。副本監(jiān)控和調(diào)度任務(wù)是按照既定的時(shí)間間隔去檢查訪問(wèn)歷史數(shù)據(jù)表,根據(jù)統(tǒng)計(jì)結(jié)果進(jìn)行相應(yīng)的服務(wù)調(diào)用,具體的統(tǒng)計(jì)過(guò)程采用了瀑布策略。調(diào)用結(jié)果返回后清空訪問(wèn)歷史數(shù)據(jù)表,以便于下次統(tǒng)計(jì)和調(diào)度。

圖3中虛線下面部分是提供相同服務(wù)的LRM。分布在網(wǎng)格環(huán)境中的每個(gè)節(jié)點(diǎn)上的LRM都是獨(dú)立Web服務(wù),其功能、服務(wù)名稱和注冊(cè)的本地副本管理服務(wù)訪問(wèn)名稱格式全部相同,僅主機(jī)名不同,以便于相互區(qū)分。LRM在實(shí)現(xiàn)技術(shù)上采用了Globus提供的RLS和GridFTP基本服務(wù)協(xié)議和機(jī)制。副本位置服務(wù)(RLS)是一個(gè)分布式的注冊(cè)機(jī)制,向其它應(yīng)用提供數(shù)據(jù)副本的位置,并支持副本的發(fā)現(xiàn)和定位,RLS java客戶端可以實(shí)現(xiàn)副本的注冊(cè)和位置管理。另外Java CoG工具包中的GridFTP編程接口可以實(shí)現(xiàn)具體的傳輸和安全保證。LRM中的創(chuàng)建和刪除服務(wù)實(shí)現(xiàn)過(guò)程類(lèi)似,查詢服務(wù)不需要進(jìn)行文件操作,實(shí)現(xiàn)上較副本創(chuàng)建或刪除服務(wù)更容易。下面以副本創(chuàng)建功能為例,詳細(xì)給出LRM的實(shí)現(xiàn),其類(lèi)結(jié)構(gòu)如圖4所示。

圖4 LRM創(chuàng)建服務(wù)實(shí)現(xiàn)類(lèi)結(jié)構(gòu)

從一般用戶的角度來(lái)看,副本創(chuàng)建與文件下載的操作幾乎類(lèi)似,但實(shí)際上兩者截然不同：(1)每次在文件復(fù)制前,LRM首先要進(jìn)行用戶代理證書(shū)的認(rèn)證。GridFTP支持網(wǎng)格安全體系結(jié)構(gòu)GSI和Kerberos安全機(jī)制,在GridFTP中支持靈活可靠的安全鑒別和完整性檢查。(2)LRM中的副本創(chuàng)建服務(wù)的運(yùn)行,是以副本管理服務(wù)特別是RLS為基礎(chǔ)的,在系統(tǒng)完成副本注冊(cè)后才實(shí)施復(fù)制。而網(wǎng)絡(luò)上較普遍的資源下載一般只提供簡(jiǎn)單下載,不關(guān)心資源被下載后的情況,以及被下載資源和其它資源的關(guān)系問(wèn)題。

總的來(lái)說(shuō),中心服務(wù)器用定時(shí)器TimerListener控制定時(shí)任務(wù)STask,在定時(shí)任務(wù)STask中封裝了對(duì)數(shù)據(jù)庫(kù)服務(wù)器上數(shù)據(jù)的監(jiān)控功能：讀取文件訪問(wèn)歷史記錄數(shù)據(jù),根據(jù)瀑布策略進(jìn)行分析整理后調(diào)用創(chuàng)建副本操作。副本在創(chuàng)建過(guò)程中,首先讀取全局副本目錄信息,然后通過(guò)副本創(chuàng)建服務(wù)的客戶端CreateClient來(lái)調(diào)用由某主機(jī)local-Host上的LRM 副本創(chuàng)建服務(wù)即可,服務(wù)路徑格式為 http：//″+localHost+″：8080/ws/services/CreateLocalReplica。

4 結(jié)束語(yǔ)

在深入研究GT4提供的網(wǎng)格副本管理服務(wù)特點(diǎn)、WSRF框架特性以及副本動(dòng)態(tài)復(fù)制策略的基礎(chǔ)上,設(shè)計(jì)了一個(gè)開(kāi)發(fā)副本管理服務(wù)的方案;并基于此方案,利用Web Service技術(shù)實(shí)現(xiàn)了分布式網(wǎng)格副本管理系統(tǒng)。在Globus網(wǎng)格環(huán)境下,副本管理系統(tǒng)被啟動(dòng)后,能夠通過(guò)其中的副本監(jiān)控與調(diào)度器(RMS)和本地副本管理器(LRM),初步地對(duì)計(jì)算網(wǎng)格中的文件及副本按照瀑布策略進(jìn)行分布式動(dòng)態(tài)管理。

已設(shè)計(jì)與實(shí)現(xiàn)的網(wǎng)格副本管理系統(tǒng)功能還不夠完善,如需要增加副本更新、一致性維護(hù)等功能;創(chuàng)建策略雖然使用了瀑布策略,但副本創(chuàng)建所使用的瀑布策略的效率仍有優(yōu)化的空間;另外系統(tǒng)中的副本選擇使用的是Globus工具包提供的選擇方案,在實(shí)際應(yīng)用中還需進(jìn)一步優(yōu)化,這些問(wèn)題將在進(jìn)一步的副本技術(shù)研究中逐步解決。

[1]都志輝,陳渝,劉鵬.網(wǎng)格計(jì)算[M].北京：清華大學(xué)出版社,2002.

[2]D.G.Feitelson,L.Rudolph.Metrics and Benchmarking for Parallel Job Scheduling[M].Springer Berlin/Heidelberg Publishers,2004.

[3]張文斌,葉紅云,陳恩紅.基于Web Service的B2B電子商務(wù)環(huán)境構(gòu)建技術(shù)[J].計(jì)算機(jī)工程,2002,9(11)：77-79.