基于移動代理的網(wǎng)格任務(wù)管理的應(yīng)用研究

陳 娟

(常州信息職業(yè)技術(shù)學(xué)院計算機科學(xué)與技術(shù)學(xué)院/軟件學(xué)院 江蘇常州 213164)

基于移動代理的網(wǎng)格任務(wù)管理的應(yīng)用研究

陳 娟

(常州信息職業(yè)技術(shù)學(xué)院計算機科學(xué)與技術(shù)學(xué)院/軟件學(xué)院 江蘇常州 213164)

引入利用移動代理技術(shù)特性所帶來的優(yōu)勢，提出將移動代理與網(wǎng)格計算二者結(jié)合的整體框架結(jié)構(gòu)，并給出該框架的關(guān)鍵技術(shù)實現(xiàn)。最后構(gòu)建基于移動代理的網(wǎng)格作業(yè)管理模型的實例模型，并對該模型的計算性能進行測試，通過與單機計算性能比較來驗證基于移動代理的網(wǎng)格模型較單機聚集資源計算能力的優(yōu)勢。

網(wǎng)格計算;任務(wù)管理;移動代理

網(wǎng)格計算最早起源于高性能計算，其主要目的是希望提高或拓展大中型企業(yè)內(nèi)所有計算資源的效率和利用率;通過建立虛擬組織，讓他們共享應(yīng)用和數(shù)據(jù)來對公共問題進行合作;整合計算能力、存儲和其他資源。網(wǎng)格技術(shù)的研究和開發(fā)熱潮吸引了越來越多的關(guān)注。當前各大企業(yè)如IBM、Google、Amazon研究的云計算就是網(wǎng)格應(yīng)用的商業(yè)體現(xiàn)。

網(wǎng)格作業(yè)管理是網(wǎng)格中不可或缺的功能，它是保證網(wǎng)格用戶合理有序地使用網(wǎng)格計算資源的基礎(chǔ)。為使網(wǎng)格用戶提交的作業(yè)盡可能靠近數(shù)據(jù)源執(zhí)行、降低網(wǎng)絡(luò)通信開銷、平衡負載、提高作業(yè)處理的效率，引入移動代理技術(shù)，利用移動代理技術(shù)的自身優(yōu)勢，更有效地推動網(wǎng)格任務(wù)管理的發(fā)展。

1 移動代理技術(shù)應(yīng)用于網(wǎng)格任務(wù)管理

移動代理MobileAgent即具有移動性的智能代理與軟件對象［1，2］，能攜帶任務(wù)代碼、數(shù)據(jù)和任務(wù)運行狀態(tài)，可以根據(jù)任務(wù)需要自主地在計算機網(wǎng)絡(luò)中遷移，并利用各種通信手段使任務(wù)進程在不同的宿主機上進行交互。一般來說，移動代理具有自主性、移動性、反應(yīng)性等特點［3］。

在網(wǎng)格作業(yè)管理中引入移動代理技術(shù)，其意義在于:

①實現(xiàn)負載平衡。負載平衡是用戶獲得良好服務(wù)質(zhì)量和資源充分共享的前提，在作業(yè)運行階段，采用資源遷移機制，將重載節(jié)點上的一部分作業(yè)遷移到輕載節(jié)點上，使系統(tǒng)內(nèi)各資源的負載大致平衡。

②處理作業(yè)故障和資源離開請求。當資源由于故障或能力限制不能再繼續(xù)運行其上已經(jīng)運行的作業(yè)時，可以把這些作業(yè)遷移到其他資源上，繼續(xù)作業(yè)的運行。當資源提出退出網(wǎng)格請求時，把其上正在運行的網(wǎng)格作業(yè)遷移到其他資源上，準許資源退出網(wǎng)格，尊重資源擁有者的意愿。

③充分利用網(wǎng)格資源，降低作業(yè)的整體開銷。如何將網(wǎng)格和移動Agent技術(shù)整合，運用到分布式信息系統(tǒng)中，發(fā)揮它們各自的特點和優(yōu)勢，已成為分布式技術(shù)的一個重要研究方向［4］。因此本文提出一種基于移動代理的網(wǎng)格作業(yè)管理體系結(jié)構(gòu)，如圖1所示。

圖1 基于移動代理的網(wǎng)格作業(yè)管理體系結(jié)構(gòu)

合法用戶在網(wǎng)格客戶端輸入作業(yè)請求描述，客戶端移動代理根據(jù)該作業(yè)請求描述信息生成網(wǎng)格作業(yè)并提交至網(wǎng)格虛擬組織作業(yè)管理中心。作業(yè)管理中心負責管理所有各種狀態(tài)隊列下的網(wǎng)格作業(yè)，同時與作業(yè)調(diào)度模塊、作業(yè)分配模塊、作業(yè)分解模塊、服務(wù)端代理交互。作業(yè)調(diào)度模塊為網(wǎng)格作業(yè)進行次序調(diào)度、匹配調(diào)度。作業(yè)分解模塊根據(jù)網(wǎng)格虛擬組織管理中心的資源管理信息將作業(yè)進行分解。作業(yè)分配模塊將子任務(wù)和資源進行匹配。服務(wù)端代理根據(jù)作業(yè)分配模塊與宿主機中的移動代理進行通信。宿主機代表了網(wǎng)格資源，一旦開啟移動代理，并在虛擬組織區(qū)域中注冊，就意味著該網(wǎng)格資源在虛擬組織中有效。

2 體系結(jié)構(gòu)構(gòu)建的關(guān)鍵技術(shù)

2.1 網(wǎng)格任務(wù)調(diào)度策略的實現(xiàn)

作業(yè)調(diào)度對于網(wǎng)格計算來說非常重要。雖然這一理論已經(jīng)存在很長時間了，但是隨著網(wǎng)格和擴展計算環(huán)境的日益流行，它的重要性也日益突出。任務(wù)調(diào)度問題是網(wǎng)格研究中所必須解決的一個關(guān)鍵問題，也是網(wǎng)格應(yīng)用的基礎(chǔ)。高效的任務(wù)調(diào)度策略和算法可以充分利用網(wǎng)格系統(tǒng)的處理能力，從而提高網(wǎng)格應(yīng)用程序的性能，以便更好地利用網(wǎng)格資源［5］。目前，最有影響力的網(wǎng)格計算項目 SETI@home采用了主—從模式的作業(yè)任務(wù)調(diào)度，然而，一般網(wǎng)格任務(wù)調(diào)度問題已經(jīng)被證明是一個NP完全問題［6，7］。

網(wǎng)格任務(wù)調(diào)度分為次序調(diào)度與匹配調(diào)度。對于次序調(diào)度，網(wǎng)格任務(wù)遵循FIFO原則，虛擬組織中心的網(wǎng)格任務(wù)管理機構(gòu)總是在任務(wù)等待隊列中挑選位于隊首的任務(wù)首先進行處理。對于匹配調(diào)度，由于項目中計算資源有限，在網(wǎng)格任務(wù)管理機構(gòu)手動設(shè)定計算資源的數(shù)額(不超過資源管理中可用資源數(shù)的最大值)。任務(wù)調(diào)度者根據(jù)子任務(wù)對資源的要求，采用最低要求資源匹配的策略進行。圖2為網(wǎng)格任務(wù)管理機構(gòu)為任務(wù)進行調(diào)度的流程圖:

圖2 任務(wù)調(diào)度流程圖

具體流程解釋如下:

①網(wǎng)格虛擬組織中心的任務(wù)管理機構(gòu)為任務(wù)進行次序調(diào)度，定時向任務(wù)等待隊列中提取位于隊首的任務(wù)，如果隊列不為空，執(zhí)行流程1;否則任務(wù)管理機構(gòu)等待直至有用戶提交的任務(wù)進入隊列;

②任務(wù)管理機構(gòu)獲取任務(wù)的描述信息，如提交者的用戶信息，需要查找的素數(shù)范圍等;

③任務(wù)管理機構(gòu)將任務(wù)狀態(tài)設(shè)置為SUBMITTD狀態(tài)，設(shè)置網(wǎng)格計算資源數(shù)額;

④任務(wù)管理機構(gòu)為任務(wù)進行資源匹配調(diào)度，確定分配到每一個計算資源的子任務(wù)量;

⑤將任務(wù)進行分解、遷移，如果任務(wù)遷移成功，任務(wù)管理機構(gòu)將任務(wù)狀態(tài)設(shè)置為READY狀態(tài)，否則，任務(wù)狀態(tài)被設(shè)置為ERROR狀態(tài);

⑥子任務(wù)被遷移至計算資源，接受本地資源操作系統(tǒng)的調(diào)度。

2.2 基于移動代理的高級任務(wù)管理的實現(xiàn)

Grasshopper是一種移動代理平臺，它可通過專有的Grasshopper ORB互聯(lián)，也可以通過其他CORBA ORB互聯(lián)。在該網(wǎng)格任務(wù)管理模型中，網(wǎng)格虛擬組織同時也是移動代理的虛擬組織，計算資源代表了靜態(tài)或移動代理實際的運行環(huán)境。每個計算資源欲加入網(wǎng)格虛擬組織，首先應(yīng)在移動代理組Region區(qū)域中注冊并開啟代理處。

1)網(wǎng)格任務(wù)分解。網(wǎng)格為人們提供可以進行并行計算的物理基礎(chǔ)。但由于計算負載的差異、處理機體系結(jié)構(gòu)的差異、高速緩存使用效率的差異等原因，都會造成各個資源節(jié)點之間計算負載的不均衡，導(dǎo)致出現(xiàn)有的計算資源節(jié)點空閑等待，有的計算資源節(jié)點負載過大的現(xiàn)象，因此網(wǎng)格任務(wù)管理機構(gòu)在分解原子任務(wù)時應(yīng)當考慮計算資源的負載平衡。

當某個原子任務(wù)被分配到計算資源上開始計算時，占用了該資源的全部或部分計算能力，資源管理器將從當前資源的計算能力中減去該原子任務(wù)所占用的部分。同時，為了保證在分配其它并行任務(wù)時能夠得到正確的計算能力參數(shù)值，當非原子任務(wù)在資源樹的非葉子結(jié)點上開始進行調(diào)度之時，也將該非原子任務(wù)總需求從該資源結(jié)點的計算能力中減去。當然原子任務(wù)的計算完成后，資源管理器將在當前資源的計算能力參數(shù)中恢復(fù)被該原子任務(wù)所占用的部分。如圖3所示:

圖3 任務(wù)分解

其中，圖中資源節(jié)點中的數(shù)值代表了該資源節(jié)點的計算能力，任務(wù)中的數(shù)值代表了該任務(wù)所需的計算量。每一個虛擬組織中的資源根節(jié)點即為該組織中的任務(wù)管理中心處的資源節(jié)點，它會統(tǒng)計本組織內(nèi)所有計算資源的計算能力，并將其總和作為自身的計算能力值。任務(wù)管理中心在根據(jù)所知道的資源節(jié)點計算能力值分解任務(wù)時，它會考慮本組織內(nèi)的計算資源，也會考慮相鄰虛擬組織中的計算資源。但是，相鄰虛擬組織中的計算資源只有根節(jié)點是對任務(wù)管理中心可見的，而本組織內(nèi)的計算資源則都是可見的。這并不會影響任務(wù)的分解，因為相鄰虛擬組織的根節(jié)點集合了它所在組織的計算能力總和。當子任務(wù)遷移至相鄰虛擬組織中，該虛擬組織會對任務(wù)進行再分配。

2)基于移動代理的任務(wù)進程通信與交互。當原子任務(wù)被分解之后，原子任務(wù)即父進程駐留在虛擬組織的任務(wù)管理中心，子任務(wù)遷移至各個計算資源中，虛擬組織中的任務(wù)管理中心控制子任務(wù)進程與父任務(wù)進程之間的通信與交互。

網(wǎng)格任務(wù)管理采用多播通信的通信方式，因此在移動代理平臺中，組代理人(Group Proxy)必須實現(xiàn)兩個接口:接口de.ikv.grasshopper.communication.IGroup和服務(wù)器代理的接口Imulticast Compute A-gent，并選擇AND處理模式，客戶端等著每個駐留在計算資源上的代理進程將計算結(jié)果都返回后才繼續(xù)往下執(zhí)行，并將各個處理結(jié)果暫時保存在后臺數(shù)據(jù)庫中等待實時調(diào)用。接口IMulticastComputeAgent定時為任務(wù)代理進程向網(wǎng)格虛擬組織中的任務(wù)管理機構(gòu)返回計算結(jié)果，接口IGroup提供了一些用于建立和維護代理組的方法，如getMembers()、getResult()等，各個任務(wù)代理進程必須繼承de.ikv.grasshopper.agent.MobileAgent，并實現(xiàn)接口 IMulticastCompute Agency，如圖4所示。

圖4 網(wǎng)格子任務(wù)間的多播通信

2.3 基于移動代理的網(wǎng)格任務(wù)管理應(yīng)用實例

1)應(yīng)用實例。網(wǎng)格任務(wù)管理的應(yīng)用實例為用戶提供素數(shù)檢索服務(wù)，網(wǎng)格用戶可以通過網(wǎng)格獲得特定范圍內(nèi)的素數(shù)。任務(wù)管理器采用如下素數(shù)查詢例子:

在輸入素數(shù)查找范圍、提交作業(yè)之前，用戶首先要經(jīng)過注冊成為該網(wǎng)格的用戶。網(wǎng)格用戶在提交作業(yè)之后，作業(yè)進入網(wǎng)格虛擬組織中心作業(yè)等待隊列。每一個被提交的作業(yè)都被賦予唯一的標識號。網(wǎng)格虛擬組織調(diào)度中心會為網(wǎng)格作業(yè)進行匹配調(diào)度和次序調(diào)度。網(wǎng)格虛擬組織中記錄網(wǎng)格用戶的資源。虛擬組織為當前的作業(yè)選擇合適的網(wǎng)格資源。對于網(wǎng)格用戶來說，可以利用作業(yè)的標識號查詢提交的作業(yè)狀態(tài)，如圖5所示，界面中會出現(xiàn)作業(yè)當前的運行狀態(tài)，如目前有哪些資源在執(zhí)行該作業(yè)，每一個資源分配到的子作業(yè)的查找素數(shù)的范圍以及當前每一個資源運行作業(yè)的進程狀態(tài)。

圖5 網(wǎng)格客戶端作業(yè)查詢

2)性能比較。為了比較網(wǎng)格較單機聚集資源的優(yōu)勢，依次在網(wǎng)格虛擬組織內(nèi)加入6臺聯(lián)網(wǎng)機器，并以網(wǎng)格資源數(shù)為X軸、同一時刻完成的總?cè)蝿?wù)量(%為單位)，即在作業(yè)任務(wù)量相等的前提下網(wǎng)格作業(yè)管理中心收集到的總?cè)蝿?wù)完成百分比為Y軸制成圖表，詳見表1。

表1 性能對比表

通過觀察該表中的曲線，可以很明顯地看出，隨著網(wǎng)格資源數(shù)目的增加，相同時間內(nèi)完成的總?cè)蝿?wù)量幾乎在成比例地增加。由此可以得出一個結(jié)論:在網(wǎng)格環(huán)境下作業(yè)完成的進度是單機下的數(shù)倍，體現(xiàn)了網(wǎng)格聚集資源計算能力的優(yōu)勢。

3 結(jié)束語

本文利用網(wǎng)格計算在分布式和高性能計算能力并結(jié)合網(wǎng)絡(luò)軟件的新興技術(shù)——移動代理在分布式計算和人工智能方面的優(yōu)勢，提出了基于移動代理技術(shù)的網(wǎng)格作業(yè)管理模型。但是本文提出的基于移動代理技術(shù)的網(wǎng)格作業(yè)管理是在網(wǎng)格通信安全的假設(shè)前提下進行的，還需要從網(wǎng)格安全方面進行深入的研究以保證信息的機密性、完整性和不可抵賴性。

［1］王汝傳，趙新寧.基于網(wǎng)絡(luò)的移動代理系統(tǒng)安全模型研究和分析［J］.計算機學(xué)報，2002，26(4):477-483.

［2］黃智維，倪子偉.網(wǎng)格計算環(huán)境下資源管理的研究［J］.計算機技術(shù)與發(fā)展，2009，19(3):201-203.

［3］莫曉莉，王汝傳，張琳.基于移動代理和信任機制的網(wǎng)格作業(yè)管理［J］.微電子學(xué)與計算機，2008，25(10):159-160.

［4］謝忱，黃永忠，申彥波.移動Agent在網(wǎng)格系統(tǒng)中的應(yīng)用［J］.信息工程大學(xué)學(xué)報，2009，10(3):397-398.

［5］林偉偉，齊德昱，李擁軍，等.樹型網(wǎng)格計算環(huán)境下的獨立任務(wù)調(diào)度［J］.軟件學(xué)報，2006，17(11):2352-2361.

［6］Dutot P.Complexity of master-slave tasking on heterogeneous trees［J］.European Journal on Operational Research，2005，164(3):690-695.

［7］Ibarra OH，Kim CE.Heuristic algorithms for scheduling independent tasks on nonidentical processors［J］.Journal of the ACM，1977，24(2):280-289.

Study on Grid Task Management Application Based on Mobile Agent

CHEN Juan
(School of Computer and Software，Changzhou College of Information Technology，Changzhou 213164，China)

This paper introduces the advantages of Mobile Agent technology to frame the architecture of grid task management，and the key implementation of this architecture.Finally，it builds a prototype and tests computing performance，comparing with the single PC to show the advantage of the prototype in assembling computing capability over single resource.

grid computing;task management;mobile agent

TP 393.01

A

1672-2434(2010)01-0054-04

2009-08-26

陳 娟(1982-)，女，助教，碩士，從事研究方向:嵌入式軟件、移動代理技術(shù)和網(wǎng)格技術(shù)