基于動(dòng)態(tài)副本管理的云計(jì)算任務(wù)調(diào)度體系架構(gòu)

張煥青,王海濤,張學(xué)平,閆 力

基于動(dòng)態(tài)副本管理的云計(jì)算任務(wù)調(diào)度體系架構(gòu)

張煥青1,王海濤2,張學(xué)平2,閆 力1

(1.解放軍理工大學(xué)通信工程學(xué)院,南京 210007; 2.解放軍理工大學(xué)信息管理中心,南京 210007)

針對(duì)云計(jì)算環(huán)境中任務(wù)調(diào)度因缺少綜合評(píng)估調(diào)度策略手段、數(shù)據(jù)文件訪問頻率不一而導(dǎo)致的云計(jì)算系統(tǒng)效率降低的問題,分析任務(wù)調(diào)度中云計(jì)算系統(tǒng)可用資源和用戶提交應(yīng)用任務(wù)的性能指標(biāo),并對(duì)調(diào)度各功能模塊明確定義。同時(shí)對(duì)任務(wù)數(shù)據(jù)文件的副本進(jìn)行動(dòng)態(tài)管理,提出基于動(dòng)態(tài)副本管理的云計(jì)算任務(wù)調(diào)度體系架構(gòu)。該任務(wù)調(diào)度體系能避免因關(guān)鍵數(shù)據(jù)訪問過頻導(dǎo)致的單點(diǎn)失效和系統(tǒng)負(fù)載不均狀況,從而提高云計(jì)算系統(tǒng)的穩(wěn)定性和可靠性。

云計(jì)算;任務(wù)調(diào)度;體系架構(gòu);副本管理

云計(jì)算技術(shù)以分布式計(jì)算為基礎(chǔ),結(jié)合虛擬化、互聯(lián)網(wǎng)技術(shù),將網(wǎng)絡(luò)中分布的計(jì)算資源、存儲(chǔ)資源、服務(wù)器和軟件系統(tǒng)等多種資源整合集成統(tǒng)一的資源池,向用戶提供交付簡(jiǎn)單、拓展性好、成本低廉、安全可靠的存儲(chǔ)和計(jì)算服務(wù),用戶則以“按量付費(fèi)”的形式獲取所需服務(wù)[1]。由于云計(jì)算系統(tǒng)規(guī)模龐大,資源池內(nèi)部機(jī)群異構(gòu)且隨需求動(dòng)態(tài)多變,同時(shí)云計(jì)算終端用戶群體廣泛,需求的服務(wù)類型眾多,且任務(wù)量巨大,QoS (quality of service)目標(biāo)約束條件各不相同。因此,如何管理云計(jì)算海量服務(wù)資源,對(duì)用戶提交的任務(wù)高效調(diào)度執(zhí)行,同時(shí)能盡量縮短任務(wù)執(zhí)行時(shí)間,降低云系統(tǒng)成本,在保證數(shù)據(jù)中心正常吞吐量的同時(shí)均衡系統(tǒng)負(fù)載,成為云計(jì)算的技術(shù)難點(diǎn)和當(dāng)前的研究重點(diǎn)[]。

目前云計(jì)算任務(wù)調(diào)度的研究成果有很多[3-5],但往往基于某種假設(shè),僅關(guān)注某一方面的性能或指標(biāo),如任務(wù)完成時(shí)間、任務(wù)調(diào)度成本、系統(tǒng)負(fù)載水平等,對(duì)提出的任務(wù)調(diào)度策略和資源管理策略進(jìn)行評(píng)估,具有一定的片面性與主觀性,忽視了對(duì)任務(wù)調(diào)度策略全局性的綜合評(píng)估。為此,綜合考慮云計(jì)算環(huán)境中任務(wù)調(diào)度涉及的多項(xiàng)指標(biāo)和性能參數(shù),提出一種基于動(dòng)態(tài)副本管理的云計(jì)算任務(wù)調(diào)度體系架構(gòu)。

1 云計(jì)算環(huán)境中任務(wù)調(diào)度體系架構(gòu)

借鑒網(wǎng)格計(jì)算、效用計(jì)算和云計(jì)算任務(wù)調(diào)度體系架構(gòu),對(duì)云計(jì)算任務(wù)調(diào)度模塊進(jìn)行規(guī)劃、梳理,綜合計(jì)算資源使用與任務(wù)完成所需達(dá)到目標(biāo)的相關(guān)參數(shù),設(shè)計(jì)一種新的云計(jì)算環(huán)境中的任務(wù)調(diào)度體系架構(gòu),其結(jié)構(gòu)如圖1所示。

圖1 云計(jì)算環(huán)境中任務(wù)調(diào)度體系架構(gòu)Fig.1 Task scheduling architecture in cloud computing environment

在云計(jì)算中,一項(xiàng)任務(wù)從提交到完成,需經(jīng)過多個(gè)環(huán)節(jié)。在設(shè)計(jì)云計(jì)算任務(wù)調(diào)度體系架構(gòu)時(shí),應(yīng)考慮用戶、代理、數(shù)據(jù)中心、信息服務(wù)器4個(gè)組成部分。

1)用戶。云計(jì)算服務(wù)的使用者,為完成某一項(xiàng)或多項(xiàng)任務(wù)使用云計(jì)算資源。在向云計(jì)算中心提交任務(wù)之前,用戶與云計(jì)算中心一般都需簽署QoS協(xié)議,記錄用戶對(duì)于任務(wù)完成的預(yù)期等級(jí),包括完成時(shí)間、信息安全、費(fèi)用和獲取結(jié)果方式等。

2)代理。根據(jù)用戶簽署QoS協(xié)議中對(duì)任務(wù)的要求,選擇合適的計(jì)算資源執(zhí)行任務(wù),并可根據(jù)實(shí)際需求調(diào)整任務(wù)調(diào)度策略。代理是用戶與數(shù)據(jù)中心的紐帶。

3)數(shù)據(jù)中心。數(shù)據(jù)中心是云計(jì)算的資源提供者,其擁有海量的計(jì)算、存儲(chǔ)資源,可隨時(shí)隨地接入使用。

4)信息服務(wù)器。信息服務(wù)器負(fù)責(zé)記錄云計(jì)算數(shù)據(jù)中心內(nèi)部各類資源信息,包括計(jì)算資源的計(jì)算能力、存儲(chǔ)資源的容量、通信資源的帶寬以及各類資源使用費(fèi)用等。有新的資源加入時(shí)需向IS注冊(cè);數(shù)據(jù)中心內(nèi)部資源出現(xiàn)變動(dòng)時(shí)需向IS匯報(bào)修改;有資源撤出時(shí)需向IS注銷。

在云計(jì)算任務(wù)調(diào)度體系架構(gòu)中,4個(gè)組成部分的關(guān)系可以描述為:用戶將任務(wù)提交至代理,代理根據(jù)任務(wù)具體情況和QoS協(xié)議內(nèi)容,將任務(wù)拆分;數(shù)據(jù)中心內(nèi)部所有可用資源向信息服務(wù)器注冊(cè);在代理收到任務(wù)請(qǐng)求并完成任務(wù)拆分后,向信息服務(wù)器查詢可用資源,按照既定的任務(wù)調(diào)度策略,向數(shù)據(jù)中心內(nèi)部資源分配具體任務(wù);任務(wù)完成后,信息服務(wù)器根據(jù)各資源消費(fèi)情況進(jìn)行匯總,用戶付費(fèi),完成整個(gè)云計(jì)算過程。

2 云計(jì)算環(huán)境中任務(wù)調(diào)度執(zhí)行流程

云計(jì)算環(huán)境中,任務(wù)調(diào)度的執(zhí)行流程是指云系統(tǒng)終端用戶為完成既定目標(biāo),使用云計(jì)算系統(tǒng)提供的存儲(chǔ)、計(jì)算、平臺(tái)或軟件等各類資源,提交任務(wù)。在云計(jì)算系統(tǒng)收到任務(wù)后,進(jìn)行具體拆分細(xì)化,根據(jù)用戶QoS協(xié)議的約束條件和任務(wù)調(diào)度策略,選擇合適的云計(jì)算數(shù)據(jù)中心資源,執(zhí)行該任務(wù)并返回結(jié)果。云計(jì)算環(huán)境中的任務(wù)調(diào)度執(zhí)行流程如圖2所示。

圖2 云計(jì)算環(huán)境中任務(wù)調(diào)度執(zhí)行流程Fig.2 Task scheduling executing process in cloud computing environment

圖2中任務(wù)接收器、預(yù)處理程序和任務(wù)分類器在云計(jì)算任務(wù)調(diào)度體系架構(gòu)中,屬于代理組成部分。任務(wù)接收器在收到云終端用戶提交的任務(wù)后,負(fù)責(zé)整理并初步規(guī)劃,轉(zhuǎn)交至預(yù)處理程序。預(yù)處理程序根據(jù)任務(wù)屬性和QoS協(xié)議的約束條件使用統(tǒng)一格式對(duì)任務(wù)進(jìn)行描述,封裝完成后轉(zhuǎn)交給任務(wù)分類器。經(jīng)過處理,每個(gè)任務(wù)均與一個(gè)任務(wù)屬性相對(duì)應(yīng)。在云計(jì)算環(huán)境的任務(wù)調(diào)度中,根據(jù)用戶簽署QoS協(xié)議的約束條件,不同任務(wù)有不同的任務(wù)調(diào)度傾向。例如,任務(wù)不同的服務(wù)請(qǐng)求類型,分為SaaS、IaaS、PaaS等,根據(jù)任務(wù)調(diào)度預(yù)算和任務(wù)估計(jì)截止時(shí)間,任務(wù)又可分為成本敏感型和時(shí)間敏感型等。此類任務(wù)屬性包含在任務(wù)屬性中,與任務(wù)一同提交給任務(wù)分類器,與云計(jì)算任務(wù)調(diào)度策略相互配合,共同確定任務(wù)調(diào)度的隊(duì)列。云計(jì)算任務(wù)屬性元素及其屬性說明如表1所示。

表1 任務(wù)屬性元素及其說明Tab.1 Attribute parameters of task

與終端用戶相類似,云計(jì)算系統(tǒng)的數(shù)據(jù)中心內(nèi)部資源同樣需要屬性描述標(biāo)識(shí)。數(shù)據(jù)中心任務(wù)處理單元的屬性元素及其屬性說明如表2所示。

表2 任務(wù)處理單元屬性元素及其說明Tab.2 Attribute parameters of processing elements

資源管理器在云計(jì)算任務(wù)調(diào)度體系架構(gòu)中屬于信息服務(wù)器組成部分,云計(jì)算數(shù)據(jù)中心的任務(wù)處理單元屬性形成后向資源管理器匯總,并在資源管理器按照計(jì)算能力、通信帶寬和使用成本等進(jìn)行分類整理。任務(wù)調(diào)度器是體系架構(gòu)中代理的核心部分,在收到任務(wù)輸入隊(duì)列并獲知任務(wù)屬性后,從資源管理器獲取當(dāng)前云計(jì)算系統(tǒng)數(shù)據(jù)中心可用資源及其性能指標(biāo),按照既定的任務(wù)調(diào)度策略,將任務(wù)分派至具體的計(jì)算資源執(zhí)行,形成用戶任務(wù)與計(jì)算資源的合理映射,最終完成任務(wù)調(diào)度。

在任務(wù)調(diào)度的執(zhí)行流程中,單點(diǎn)部署的全局控制節(jié)點(diǎn)包括任務(wù)調(diào)度器和資源管理器,每個(gè)任務(wù)的調(diào)度分配過程必須由這2項(xiàng)參與。在面對(duì)大規(guī)模任務(wù)調(diào)度或底層計(jì)算、存儲(chǔ)資源管理復(fù)雜的情況時(shí),任務(wù)調(diào)度器和資源管理器任務(wù)繁重,易出現(xiàn)“訪問熱點(diǎn)”和“單點(diǎn)失效”的問題。為此,對(duì)全局控制節(jié)點(diǎn)的部署引入多點(diǎn)分布式布局。

采用多點(diǎn)分布式部署,每個(gè)控制節(jié)點(diǎn)都具有全局控制節(jié)點(diǎn)的相應(yīng)功能,多個(gè)控制節(jié)點(diǎn)構(gòu)成一個(gè)全局控制節(jié)點(diǎn)。如圖3所示,在每個(gè)控制節(jié)點(diǎn)有多個(gè)子節(jié)點(diǎn),子節(jié)點(diǎn)共同完成控制節(jié)點(diǎn)的任務(wù)。采用多點(diǎn)式部署方式,可降低全局控制節(jié)點(diǎn)的瓶頸效應(yīng),避免出現(xiàn)訪問熱點(diǎn)和單點(diǎn)失效的問題。

圖3 多點(diǎn)分布式全局控制節(jié)點(diǎn)Fig.3 Multipoint distributed global control node

3 基于副本機(jī)制的云計(jì)算任務(wù)調(diào)度執(zhí)行流程

為解決單點(diǎn)失效問題,提出基于動(dòng)態(tài)副本管理任務(wù)調(diào)度體系架構(gòu),以增強(qiáng)云系統(tǒng)對(duì)可用資源管理,改善數(shù)據(jù)文件的可用性和可靠性,提高云計(jì)算任務(wù)調(diào)度與執(zhí)行的效率?；趧?dòng)態(tài)副本機(jī)制的任務(wù)調(diào)度執(zhí)行流程如圖4所示。比較圖4與圖2的流程,基于動(dòng)態(tài)副本機(jī)制的任務(wù)調(diào)度執(zhí)行流程不同之處在于,增加了用于收集、記錄、管理各類數(shù)據(jù)文件副本信息的副本管理器。在這個(gè)執(zhí)行流程中,全局控制節(jié)點(diǎn)共有副本管理器、任務(wù)調(diào)度器和資源管理器,通過多點(diǎn)分布式部署,可避免出現(xiàn)訪問熱點(diǎn)和單點(diǎn)失效的問題。

任務(wù)調(diào)度器接收到任務(wù)調(diào)度請(qǐng)求后,基于動(dòng)態(tài)副本機(jī)制的任務(wù)調(diào)度操作流程為:1)向資源管理器發(fā)出詢問請(qǐng)求,以獲取數(shù)據(jù)中心滿足QoS協(xié)議約束條件的可執(zhí)行任務(wù)的所有資源信息;2)向副本管理器發(fā)出詢問請(qǐng)求,以獲取輸入隊(duì)列中當(dāng)前任務(wù)的數(shù)據(jù)副本信息所存在的目標(biāo)位置;3)任務(wù)調(diào)度器根據(jù)已獲取的計(jì)算資源信息和數(shù)據(jù)副本信息,并基于當(dāng)前的任務(wù)調(diào)度策略,為具體任務(wù)與計(jì)算資源完成映射,實(shí)現(xiàn)云計(jì)算任務(wù)調(diào)度。

4 云計(jì)算環(huán)境中動(dòng)態(tài)副本管理策略

副本技術(shù)已在分布式系統(tǒng)中廣泛應(yīng)用,某文件復(fù)制多份并將其放置在分布式系統(tǒng)的多個(gè)節(jié)點(diǎn),以增加文件的可靠性,同時(shí)副本技術(shù)還可提高數(shù)據(jù)訪問效率和整個(gè)系統(tǒng)的負(fù)載均衡水平[6]。目前云計(jì)算環(huán)境中任務(wù)調(diào)度系統(tǒng)大都不重視副本管理策略,因單點(diǎn)失效、訪問瓶頸等問題沒有得到很好解決,在任務(wù)調(diào)度體系架構(gòu)中引入動(dòng)態(tài)副本管理策略,以提升系統(tǒng)數(shù)據(jù)文件可靠性與可用性,提高任務(wù)調(diào)度執(zhí)行效率[7]。

副本管理策略一般分為靜態(tài)和動(dòng)態(tài)2種,在云計(jì)算環(huán)境中,由于終端用戶多,用戶訪問形式以及所需服務(wù)形式不同,資源池內(nèi)部各類資源重組、遷移等隨應(yīng)用需求動(dòng)態(tài)變化,單點(diǎn)故障時(shí)常發(fā)生視為常態(tài),對(duì)于這樣的分布式環(huán)境,適用于使用動(dòng)態(tài)副本管理策略[8]。根據(jù)云計(jì)算系統(tǒng)環(huán)境、資源狀況以及用戶行為的不斷變化,動(dòng)態(tài)副本管理策略能夠不斷進(jìn)行環(huán)境條件的變化,并適時(shí)調(diào)整副本放置位置和副本數(shù)量,在性能表現(xiàn)方面更為良好。

4.1 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

動(dòng)態(tài)副本管理策略的實(shí)現(xiàn)必須要有相應(yīng)的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)作為支撐,網(wǎng)絡(luò)結(jié)構(gòu)包括層次化結(jié)構(gòu)、集中式結(jié)構(gòu)和分布式結(jié)構(gòu)等。為此,引入一種層次化結(jié)構(gòu)構(gòu)建云計(jì)算數(shù)據(jù)中心,以實(shí)現(xiàn)動(dòng)態(tài)副本管理策略。云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,包括普通主機(jī)節(jié)點(diǎn)、區(qū)域頭節(jié)點(diǎn)和區(qū)域宿主節(jié)點(diǎn)。圖5的虛線表示一個(gè)區(qū)域,其由一個(gè)區(qū)域頭節(jié)點(diǎn)連接多個(gè)主機(jī)節(jié)點(diǎn)構(gòu)成。每個(gè)主機(jī)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)數(shù)據(jù)文件,并對(duì)自身存儲(chǔ)的文件保存歷史訪問記錄,包括被訪問文件的編號(hào)、訪問時(shí)間和訪問節(jié)點(diǎn)等。在系統(tǒng)內(nèi)部進(jìn)行設(shè)置,主機(jī)節(jié)點(diǎn)會(huì)在固定時(shí)間間隔后,向區(qū)域頭節(jié)點(diǎn)匯報(bào)主機(jī)節(jié)點(diǎn)內(nèi)部存儲(chǔ)數(shù)據(jù)的歷史訪問記錄。而區(qū)域頭節(jié)點(diǎn)則負(fù)責(zé)管理該區(qū)域內(nèi)部主機(jī)節(jié)點(diǎn)信息,通過以上操作區(qū)域頭節(jié)點(diǎn)就可掌握區(qū)域內(nèi)數(shù)據(jù)文件的歷史訪問記錄。在更上一層,區(qū)域宿主節(jié)點(diǎn)有權(quán)對(duì)數(shù)據(jù)中心節(jié)點(diǎn)內(nèi)部所有數(shù)據(jù)文件的歷史訪問記錄進(jìn)行查詢。

圖5 云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of cloud computing data center

4.2 動(dòng)態(tài)副本管理策略

動(dòng)態(tài)副本管理策略核心主要為3項(xiàng):副本創(chuàng)建、副本放置、副本置換。副本創(chuàng)建負(fù)責(zé)為訪問次數(shù)較多的數(shù)據(jù)文件創(chuàng)建副本,并確定創(chuàng)建副本的數(shù)量;副本放置負(fù)責(zé)確定創(chuàng)建的副本文件在存儲(chǔ)單元的具體位置,放置策略將直接影響數(shù)據(jù)文件讀寫效率和系統(tǒng)的負(fù)載水平;副本置換負(fù)責(zé)當(dāng)存儲(chǔ)單元內(nèi)部空間不足時(shí),選取刪除部分副本,以釋放存儲(chǔ)空間,或置換新副本。

4.2.1 副本創(chuàng)建策略

副本創(chuàng)建策略包括創(chuàng)建副本的文件、創(chuàng)建副本的數(shù)量。在云計(jì)算數(shù)據(jù)中心內(nèi)部,宿主節(jié)點(diǎn)可通過區(qū)域頭節(jié)點(diǎn)查詢數(shù)據(jù)中心所有區(qū)域內(nèi)數(shù)據(jù)文件的信息,包括數(shù)據(jù)文件的歷史訪問記錄,因此,就可以根據(jù)數(shù)據(jù)文件訪問的“熱度”,選擇合適的數(shù)據(jù)文件創(chuàng)建副本。由于云計(jì)算系統(tǒng)處理的任務(wù)海量且隨時(shí)間變化較大,不同時(shí)間段數(shù)據(jù)文件的訪問“熱度”不同,副本創(chuàng)建策略也應(yīng)隨之改變。鑒于此,在評(píng)估文件的訪問“熱度”時(shí),根據(jù)不同時(shí)間段的歷史訪問記錄,賦予不同的權(quán)值,較新的歷史訪問記錄賦值更高,時(shí)間間隔較長(zhǎng)的歷史訪問記錄對(duì)文件“熱度”權(quán)值貢獻(xiàn)呈指數(shù)下降。

在數(shù)據(jù)中心內(nèi)部設(shè)定一個(gè)固定的時(shí)間周期,已經(jīng)評(píng)估文件“熱度”所需的周期為T,在T周期內(nèi)被訪問的數(shù)據(jù)文件集合為F,文件f在第t個(gè)周期內(nèi)被訪問次數(shù)用Atf表示,文件f“熱度”可表示為:

需要?jiǎng)?chuàng)建副本的流行文件fp為:

用F表示F中文件數(shù)量,F中文件的平均熱度作為副本創(chuàng)建個(gè)數(shù)的評(píng)估基礎(chǔ):

則系統(tǒng)需要為fp創(chuàng)建的副本數(shù)量為

4.2.2 副本放置策略

副本放置策略主要考慮2個(gè)問題:每個(gè)區(qū)域內(nèi)放置副本的數(shù)量,副本放置的各區(qū)域內(nèi)部主機(jī)節(jié)點(diǎn)位置。合理、有效的副本放置策略對(duì)于整個(gè)動(dòng)態(tài)副本管理至關(guān)重要,能夠有效均衡系統(tǒng)負(fù)載,并提高數(shù)據(jù)文件讀取可靠性,提升任務(wù)執(zhí)行效率。

由于流行文件fp在每個(gè)區(qū)域內(nèi)被訪問的頻率不一,也就是說,各區(qū)域內(nèi)fp的訪問“熱度”是不同的。在副本放置策略中,應(yīng)優(yōu)先考慮將副本放置在流行文件訪問頻率高的區(qū)域,以消除因單點(diǎn)訪問過多而存在的安全隱患,分擔(dān)工作負(fù)載,提升系統(tǒng)穩(wěn)定性。流行文件fp在各區(qū)域內(nèi)訪問“熱度”計(jì)算公式為:

其中:R為數(shù)據(jù)中心的區(qū)域個(gè)數(shù);Pr(fp)為fp在區(qū)域r的訪問“熱度”。將Pr(fp),r=1,2,…,R按照降序排列,訪問“熱度”越高的單個(gè)區(qū)域內(nèi)獲得副本數(shù)越多:

在確定副本創(chuàng)建數(shù)量及各區(qū)域內(nèi)放置副本數(shù)量后,需確定每個(gè)區(qū)域內(nèi)具體放置副本的主機(jī)節(jié)點(diǎn)。副本對(duì)放置的主機(jī)節(jié)點(diǎn)的選取,需綜合考慮節(jié)點(diǎn)存儲(chǔ)空間、通信帶寬、歷史記錄中的有效訪問次數(shù)以及成功率、區(qū)域負(fù)載情況等因素。副本放置于剩余存儲(chǔ)空間大的節(jié)點(diǎn),可提高資源利用率;在訪問“熱點(diǎn)”高的區(qū)域選取訪問次數(shù)少的節(jié)點(diǎn)放置副本,可提高系統(tǒng)穩(wěn)定性,平衡數(shù)據(jù)文件的請(qǐng)求負(fù)載;而在訪問有效性好、通信帶寬較高的節(jié)點(diǎn)中放置副本,能保證任務(wù)較為順利地調(diào)度執(zhí)行,提高數(shù)據(jù)文件利用的可靠性。但以上情況并不一定會(huì)都集中于某一部分節(jié)點(diǎn),且在實(shí)際應(yīng)用環(huán)境中有可能出現(xiàn)各節(jié)點(diǎn)性能相差較大,因此需綜合考慮選取合適的主機(jī)節(jié)點(diǎn)。

流行文件fp占用空間為sfp,區(qū)域內(nèi)可用節(jié)點(diǎn)集合為D={n1,n2,…,nn},節(jié)點(diǎn)ni負(fù)載情況為li,可用空間為di,帶寬為bi,歷史有效訪問次數(shù)為Nia,則fp選取ni放置副本的期望度為:

其中:ω1、ω2、ω3、ω4為副本對(duì)于選取主機(jī)節(jié)點(diǎn)放置的權(quán)重系數(shù)可根據(jù)不同的管理策略適度調(diào)整權(quán)重系數(shù)。放置期望度EiP越高,則ni越適用于放置副本。

4.2.3 副本置換策略

在為數(shù)據(jù)文件新副本進(jìn)行放置操作時(shí),若當(dāng)前區(qū)域內(nèi)選取的主機(jī)節(jié)點(diǎn)空間不足,則需考慮刪除部分?jǐn)?shù)據(jù)文件副本,釋放空間以放置新副本,這就是動(dòng)態(tài)副本管理策略中的副本置換策略。過去對(duì)副本置換策略研究大多只側(cè)重副本文件的歷史訪問情況,將近期訪問頻率低的副本置換,并沒有考慮副本文件占用空間對(duì)置換策略的影響。為此,選取占用空間大的副本置換,可釋放更多的節(jié)點(diǎn)空間,同時(shí)長(zhǎng)久未被訪問的副本文件被置換,有利于節(jié)點(diǎn)資源有效利用。

假設(shè)在流行文件副本所選取的目標(biāo)放置節(jié)點(diǎn)中有k個(gè)副本文件,R={r1,r2,…,rk},集合R中不包含在數(shù)據(jù)中心內(nèi)只有一份的副本文件,以免置換操作對(duì)副本管理產(chǎn)生不利影響。對(duì)于副本文件ri,占用空間為si,訪問“熱度”為P(i),最后一次訪問時(shí)間為,當(dāng)前時(shí)間為tc,計(jì)算副本文件ri被選擇刪除的期望度為:

其中,c1、c2、c3分別表示副本文件占用空間、最后一次被訪問記錄至操作時(shí)間隔長(zhǎng)度、副本文件訪問“熱度”對(duì)副本被置換的期望度的權(quán)重系數(shù),可根據(jù)需求進(jìn)行調(diào)整。通過計(jì)算并比較各副本文件的刪除期望度,可在目標(biāo)主機(jī)節(jié)點(diǎn)中選取刪除期望度高的副本文件進(jìn)行置換,如果一次操作不能置換足夠的空間,可重復(fù)以上步驟,直至主機(jī)節(jié)點(diǎn)釋放足夠的可用空間。

5 結(jié)束語

針對(duì)云計(jì)算環(huán)境中資源池內(nèi)部資源異構(gòu)動(dòng)態(tài)多變,用戶提交任務(wù)量巨大且服務(wù)類型多樣的情況,提出云計(jì)算環(huán)境匯中任務(wù)調(diào)度體系架構(gòu),明確任務(wù)調(diào)度功能單元和屬性;并引入動(dòng)態(tài)副本管理策略,提升系統(tǒng)數(shù)據(jù)文件可靠性與可用性,改善因單點(diǎn)失效和熱點(diǎn)訪問對(duì)云系統(tǒng)效率的影響,均衡系統(tǒng)負(fù)載。

[1] Muhammad I,Zhu Hong,Tauseef Q,et al.Requirement analysis and design of service level integration layer for cloud computing services,to meet service level agreements and quality of service[J].Journal of Computational and Theoretical Nanoscience,2014,11(3):629-636.

[2] Zhu Yishui,Shtykh R Y,Jin Qun.A human-centric framework for context-aware flowable services in cloud computing environments[J].Information Sciences, 2014,257:231-247.

[3] Exposito R R,Taboada G L,Ramos S,et al.Evaluation of messaging middleware for high-performance cloud computing[J].Personal and Ubiquitous Computing, 2013,17(8):1709-1719.

[4] Xu Baomin,Zhao Chunyan,Hu Enzhao,et al.Job scheduling algorithm based on Berger model in cloud environment[J].Advances in Engineering Software,2011,42 (7):419-425.

[5] Kaewpuang R,Niyato D,Wang Ping,et al.A framework for cooperative resource management in mobile cloud computing[J].IEEE Journal on Selected Areas in Communications,2013,31(12):2685-2700.

[6] Grace R K,Manimegalai R.Dynamic replica placement and selection strategies in data grids:a comprehensive survey[J].Journal of Parallel and Distributed Computing,2014,74(2):2099-2108.

[7] Li Jing.A replica selection decision in cloud computing environment[C]//Proceedings of the International Conference on Advances in Computing Science and Engineering,2010:801-806.

[8] Ryu B G,Choi J H,Lee S K.Impact of node distance on selfish replica allocation in a mobile ad-hoc network[J]. Ad Hoc Networks,2013,11(8):2187-2202.

編輯:翁史振

A task scheduling architecture in cloud computing environment based on dynamic replica management

Zhang Huanqing1,Wang Haitao2,Zhang Xueping2,Yan Li1
(1.College of Communication,PLA University of Science and Technology,Nanjing 210007,China; 2.Information Management Center,PLA University of Science and Technology,Nanjing 210007,China)

Efficiency of cloud computing system is reduced as data file access frequency varies as well as the lack of comprehensive evaluation strategies and methods of task scheduling in cloud computing environment.This paper analyzes the available resources and performance index of tasks submitted by users in cloud computing system while task scheduling and the function modules of task scheduling are clearly defined.At the same time,a cloud computing task scheduling architecture based on dynamic replica management is put forward.The stability and reliability of cloud computing can be improved, which can avoid a single point of failure and uneven load balance.

cloud computing;task scheduling;architecture;replica management

TP393

A

1673-808X(2015)05-0371-06

2015-03-12

國家自然科學(xué)基金(61072043)

王海濤(1976-),男,河南焦作人,副教授,博士,研究方向?yàn)闊o線自組網(wǎng)、網(wǎng)絡(luò)管理和QoS保障。E-mail:haitmail@126.com

張煥青,王海濤,張學(xué)平,等.基于動(dòng)態(tài)副本管理的云計(jì)算任務(wù)調(diào)度體系架構(gòu)[J].桂林電子科技大學(xué)學(xué)報(bào),2015,35(5):371-376.