劉艷+王燕
摘要:CloudMod是一個全面地云計算測試工具,可以廣泛的測試處理單元、數(shù)據(jù)中心、存儲、網(wǎng)絡、服務水平協(xié)議(SLA)、基于web的應用程序、面向服務的體系結構(SOA)等。通過詳細介紹CloudMod及其工作流程,搭建一個全面的云計算仿真環(huán)境,測試表明基于CloudMod云計算仿真環(huán)境不會因為并行任務的增多而消耗更多的資源,較好地支持了云計算研究。
關鍵詞:云計算;CloudMod;建模;仿真;模擬器
中圖分類號:TP391 文獻標志碼:A 文章編號:1009-3044(2015)30-0144-02
1 概述
云計算是一個新興的計算模式,隨著技術革新不斷發(fā)展壯大。云計算是建立在廣博的計算機技術基礎上的,如高性能計算、網(wǎng)格和效用計算,分布式系統(tǒng),虛擬化、存儲等[1]。這種復雜性為研究人員進行云計算服務綜合實驗提出了一個巨大的挑戰(zhàn),沒有全面的能涵蓋廣泛的云計算組件的云計算實驗工具,不適用新的云計算技術。由于缺乏一個全面的云計算實驗工具,仿真工具 CloudSim的局限性,我們著手開發(fā)研究全面和有效的云計算實驗框架CloudMod。CloudMod涵蓋云計算的全面技術,如大數(shù)據(jù)管理、移動云計算等。CloudMod使用CloudSim作為基礎設計平臺,并做了許多新的改進和擴展。
2 云計算仿真平臺
2.1 CloudSim
CloudSim是一個墨爾本大學自主開發(fā)的云計算建模和仿真工具,旨在為云計算的研究人員提供一個進行云計算相關研究的實驗工具,支持各種云計算組件的建模和仿真 [2]。然而,CloudSim有幾個局限性和缺點:第一,它是建立在網(wǎng)格計算環(huán)境中,限制了可以模擬的基礎設施。第二,缺少幾個重要的云計算組件(如BPM和SLA)。第三,缺乏一個可有用和方便研究者進行實驗的圖形用戶界面(GUI)。
2.2 iCanCloud
iCanCloud是一個能夠進行大規(guī)模實驗的云計算仿真平臺。它提供了一個可伸縮的、靈活的、快速和易于使用的工具,允許組織優(yōu)化成本和性能之間的權衡。iCanCloud模擬器的云計算系統(tǒng)是由虛擬機構建的,此外,iCanCloud提供了一個圖形界面,幫助用戶配置自己的云計算實驗。該領域的兩個主要的模擬器:CloudSim、iCanCloud。CloudMod覆蓋更廣泛的頻譜特性,使它進行更有效、全面的云計算研究。
3 CloudMod框架
CloudSim的特性為云計算提供了很有前景的研究。然而,它缺乏全面的云計算模擬實驗所需的幾個組件。CloudMod集成了幾個新特性和CloudSim的重要組件,這使它成為當前云計算系統(tǒng)的更全面的建模和仿真環(huán)境。
3.1 MapReduce模型
MapReduce是一個普遍使用的強大的并行數(shù)據(jù)處理模型,有效地解決了使用大型集群的機器的大型數(shù)據(jù)集的問題。CloudMod提供了一個仿真的解決方案,用戶在非靜態(tài)條件下可以使用CloudMod工具包執(zhí)行實驗,可以重新執(zhí)行和配置的可控環(huán)境測試。圖1顯示MapReduce操作的流程[3]。當一個用戶程序模擬MapReduce任務,發(fā)生以下行為序列:
1)讀取和解析啟動map和reduce實例的列表的用戶實驗工作負載。參數(shù)包括:ID、輸入數(shù)據(jù)大小等。
2)主節(jié)點分配在步驟1中創(chuàng)建的實例計算集群中的節(jié)點,跟蹤映射器和還原劑等,如信息數(shù)據(jù)中心id、主機id等。然后提交每個映射器或還原劑到云計算環(huán)境中。
3)提交映射器后(最初在就緒狀態(tài)),MapReduce開始模擬,同時考慮每個映射器的狀態(tài)和利用模型。
4)當一個映射器完成處理之后,它將數(shù)據(jù)集的結果存儲在一個特定的位置并通報地址的Master。
5)所有映射器完成處理時,Master將信號發(fā)送給所有還原劑開始產(chǎn)生的數(shù)據(jù)集。
6)在MapReduce模擬期間,CloudMod工具箱不斷收集數(shù)據(jù)來顯示仿真結束后的統(tǒng)計分析。
3.2 CloudMod網(wǎng)絡拓撲
Network CloudSim不支持常見的云計算的網(wǎng)絡拓撲, CloudMod工具集成了這些拓撲。另外,CloudMod支持圖形界面方便地拖拽實體,定義其屬性,并建立它們之間的聯(lián)系。
4 CloudMod仿真和實驗
CloudMod可以自行配置云基礎設施的各種功能,我們將使用兩組不同的實驗獲取數(shù)據(jù)。第一組實驗顯示在不同工作負載場景和SLA條件下,云數(shù)據(jù)中心資源利用率和能源消耗。第二組展示使用CloudMod所做MapReduce任務調度的實驗。
4.1 CloudMod實驗
第一個場景假設用戶ID=0的云環(huán)境中,數(shù)據(jù)中心有10個相同的物理節(jié)點,有5個虛擬機(VM),每個主機上執(zhí)行調用50 VMs(虛擬機進程)。
圖2顯示了datacenter1在動態(tài)變化的工作負載強度情況下的利用率圖。數(shù)據(jù)表明,系統(tǒng)利用率隨著工作負載強度的變化而變化。
4.2 MapReduce的實驗
MapReduce功能和實驗配置中,輸入和輸出文件的大小設置為64MB。映射器的數(shù)量,默認值是20cpu,用戶可以自定義映射器的數(shù)量。圖3、4顯示了相同物理節(jié)點和不同物理節(jié)點在任務量從10000增加到100000的情況下,總執(zhí)行時間和總能耗的變化。隨著工作量的增加,需要更多的執(zhí)行時間和能耗;使用更多的vm總執(zhí)行時間將減少,說明并行處理多個任務并不會消耗更多的資源。
5 結束語
本文提出基于CloudMod的云計算建模與仿真環(huán)境研究。CloudMod填補了云計算研究長期以來缺乏全面、簡潔工具的空白,提供了豐富云基礎設施建設研究的圖表、配置、分析和評價。CloudMod讓用戶更容易理解不同的云系統(tǒng)組件和角色。用戶可以修改不同的組件和它們的參數(shù),運行仿真,并分析結果。最后,通過綜合實驗證明CloudMod能夠模擬真實的云環(huán)境,并能做出相應的功能設置調整。
參考文獻:
[1] Zhang Q,Cheng L, Boutaba R.Cloud computing:state-of-the-art and research challenges[J].Internet Services Appl,2010(1): 7-18.
[2] 劉馳.云仿真工具Cloudsim在虛擬機放置中的應用[J].計算機與數(shù)字工程,2015,43(4):746-749.
[3]覃雄派,王會舉.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學報,2011(1):38-45.
[4]付偉,嚴博.云計算實驗平臺建設關鍵技術研究[J].實驗室研究與探索,2013,32(11):78-81.