基于互斥條件的云數(shù)據(jù)中心虛擬機(jī)整合策略

施 凱, 虞慧群, 羅 飛, 范貴生

(1.華東理工大學(xué)計(jì)算機(jī)科學(xué)與工程系,上海 200237; 2.上海市計(jì)算機(jī)軟件測(cè)評(píng)重點(diǎn)實(shí)驗(yàn)室,上海 201112)

基于互斥條件的云數(shù)據(jù)中心虛擬機(jī)整合策略

施 凱1,2, 虞慧群1, 羅 飛1, 范貴生1

(1.華東理工大學(xué)計(jì)算機(jī)科學(xué)與工程系,上海 200237; 2.上海市計(jì)算機(jī)軟件測(cè)評(píng)重點(diǎn)實(shí)驗(yàn)室,上海 201112)

在云數(shù)據(jù)中心,虛擬機(jī)整合(VMC)是綠色計(jì)算和最小化集群功耗問題的關(guān)鍵技術(shù)。大多數(shù)研究采用基于資源使用率來尋求最合理的虛擬機(jī)(VM)整合方式,但在整合過程中并未考慮物理服務(wù)器(PM)的可用性及同位VM的穩(wěn)定性問題。本文提出了基于互斥條件限制的VMC策略,該策略同時(shí)考慮PM的可用性和VM之間的互斥性兩方面因素;給出了集群服務(wù)器統(tǒng)一資源預(yù)留計(jì)算方法,用于保證PM可用性的問題,并給出了基于VM歷史運(yùn)行數(shù)據(jù)的相似度判定方法,用于解決互斥條件的判定問題。將該策略應(yīng)用于運(yùn)行在OpenStack平臺(tái)中的VM數(shù)據(jù),實(shí)驗(yàn)結(jié)果表明:該策略可以有效地保證PM的可用性,避免同類型VM被整合在一起,減少同位VM的性能損失和確保服務(wù)質(zhì)量。

互斥條件; 虛擬機(jī)整合; 相關(guān)性; 云數(shù)據(jù)中心

云數(shù)據(jù)中心已成為當(dāng)前IT工業(yè)界一個(gè)非常重要的基礎(chǔ)設(shè)施形式,它基于云計(jì)算架構(gòu),并以松耦合形式提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。同時(shí),各類物理資源采用虛擬化技術(shù),以保證整體具備較高的綠色節(jié)能能力。比較常見的應(yīng)用是將數(shù)據(jù)中心的集群服務(wù)器采用虛擬化技術(shù)為用戶提供按需租用服務(wù),包括租用服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)等資源。隨著云數(shù)據(jù)中心應(yīng)用的日益廣泛,如何保證彈性資源供給和虛擬機(jī)動(dòng)態(tài)配置的能力已成為當(dāng)前研究的熱點(diǎn)[1-3]。

在資源分配過程中,傳統(tǒng)狀態(tài)下云數(shù)據(jù)中心的集群服務(wù)器為了快速滿足用戶的資源申請(qǐng)需求,大部分采用快速隨機(jī)的VM分配技術(shù),但是這種分配方式導(dǎo)致了某些PM資源浪費(fèi)的問題[1]。例如,某些PM上被分配并運(yùn)行著數(shù)量較少的VM,這些VM的資源需求對(duì)于其他PM來說也是可以滿足的,若將這些VM整合到其他PM上,那么,原始PM就可以設(shè)置為非激活狀態(tài)[4],由此,從整體上可以降低運(yùn)行PM的數(shù)量并降低能耗,此過程就是目前云計(jì)算研究領(lǐng)域經(jīng)典的虛擬機(jī)整合問題(Virutal Machine Consolidation,VMC)和能耗最小化問題。但目前大部分研究?jī)H追求最優(yōu)化的VMC方式,并未詳細(xì)考慮整合過程中PM的可用性和同位VM運(yùn)行的穩(wěn)定性問題,從而引發(fā)由于資源競(jìng)爭(zhēng)而導(dǎo)致的性能下降,因?yàn)槠渲豢紤]了資源的“需求-供給”這一個(gè)特性[5-6]。

云數(shù)據(jù)中心的每臺(tái)VM都會(huì)運(yùn)行特定的應(yīng)用并為用戶提供服務(wù),這些應(yīng)用從內(nèi)容上可以分為計(jì)算、內(nèi)存讀寫和網(wǎng)絡(luò)傳輸密集型應(yīng)用3類。由于同類型的應(yīng)用在運(yùn)行行為上存在資源利用高相似性的特點(diǎn),例如,將多臺(tái)計(jì)算密集型應(yīng)用的VM同時(shí)整合在同一臺(tái)PM之上,將導(dǎo)致PM性能下降,并影響其他同位VM的運(yùn)行。為此,本文提出了基于互斥條件限制的虛擬機(jī)整合策略,并同時(shí)考慮物理服務(wù)器的可用性和虛擬機(jī)之間互斥性這兩方面的因素:

(1) 在PM的可用性方面,提出了集群服務(wù)器統(tǒng)一資源預(yù)留計(jì)算方法。用于解決PM由于資源過度分配,造成無法應(yīng)對(duì)突發(fā)情況,無法正常保證可用性問題。

(2) 在VM互斥性方面,提出了基于VM歷史運(yùn)行數(shù)據(jù)的相似度判定方法。用于解決VMC過程中互斥條件的判定問題,同時(shí)也解決了傳統(tǒng)VMC方式下,僅考慮資源滿足條件而導(dǎo)致同位VM穩(wěn)定性低的問題。

1 整合問題形式化描述

云數(shù)據(jù)中心環(huán)境下,PM通常處于同一地理位置并采用集中式管理方式,大量VM運(yùn)行于其中。每個(gè)VM運(yùn)行著特定的應(yīng)用并為用戶提供服務(wù)。用戶在進(jìn)行資源申請(qǐng)時(shí),集群服務(wù)器為了快速滿足用戶的需求,通常采用隨機(jī)分配PM的方式。但是,隨著運(yùn)行時(shí)間的推移,某些PM上的資源利用率可能相對(duì)較低。由此,運(yùn)用VMC方式將VM整合到資源利用率相對(duì)較低的PM上,待整合完成后,源PM上若不存在其他VM運(yùn)行,則可將其設(shè)置為非激活或關(guān)機(jī)狀態(tài)。本文中的變量定義見表1。

表1 變量定義說明

由于VMC涉及到本地遷移和遠(yuǎn)程遷移等方面,而本文僅考慮VMC過程發(fā)生在一個(gè)數(shù)據(jù)中心內(nèi)部,因此定義單個(gè)數(shù)據(jù)中心作為本文整合策略的邊界。本文的整合策略需要分析VM實(shí)際資源利用率情況,而數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)通常采用共享存儲(chǔ)方式,所以不考慮存儲(chǔ)服務(wù)器能耗[5-6],僅考慮計(jì)算節(jié)點(diǎn)的CPU、Memory、Network Bandwidth(NB) 3類資源,并評(píng)估整合過程中PM的可用性和相應(yīng)同位VM的穩(wěn)定性。由于每臺(tái)VM擁有各自獨(dú)立的內(nèi)存運(yùn)行單元,所以考慮并定義3類資源的優(yōu)先級(jí)有如下關(guān)系:priority(CPU)> priority(Memory)> priority(NB)。其次,任何虛擬機(jī)的資源請(qǐng)求都必須小于單臺(tái)PM所能提供的最大資源剩余量[7],其中有VM(i)∈PM(j)。目標(biāo)函數(shù)如式(1)所示,追求最小化PM數(shù)量。

(1)

在整合過程中,將運(yùn)行在資源利用率較小的服務(wù)器上的VM整合到其他目的服務(wù)器上,同時(shí)考慮PM的可用性和同位VM的穩(wěn)定性問題。由此本文提出了基于集群服務(wù)器統(tǒng)一資源預(yù)留的計(jì)算方法,用于解決由于資源的過度分配,造成無法應(yīng)對(duì)突發(fā)情況和無法正常保證服務(wù)器的可用性問題。其次,評(píng)估目的PM上同位VM與被整合VM之間資源利用率關(guān)系,提出了基于VM歷史運(yùn)行數(shù)據(jù)的相似度判定方法,解決整合過程中互斥條件的判定。

相反，在VMC中若僅考慮資源滿足這一個(gè)特性,例如BFD算法,雖然可以更好地從整體上符合PM的資源最大化利用[8-9],但并未考慮VM之間的互斥性問題,若強(qiáng)制遷移將導(dǎo)致PM負(fù)載加大,影響原有運(yùn)行VM的性能并可能導(dǎo)致宕機(jī)情況發(fā)生[10-11]。本文綜合考慮PM的可用性和同位VM之間互斥性兩方面因素,首先,改進(jìn)BFD算法為MBFD算法(Modified Descending Best Fit Algorithm),得出根據(jù)資源需求而計(jì)算獲得的VM整合位置,從而形成預(yù)分配映射關(guān)系表。在此過程中PM被分為3類資源隊(duì)列,分別是接收主機(jī)隊(duì)列、釋放主機(jī)隊(duì)和空主機(jī)隊(duì)列。其次,根據(jù)互斥條件的判定算法,修正預(yù)分配映射關(guān)系表,最終形成VM的最佳整合位置。在此過程中,剔除具有高相似度資源應(yīng)用的VM被整合在同一臺(tái)PM上的映射記錄。

2 虛擬機(jī)整合策略

2.1 概述

VM整合策略的詳細(xì)過程如圖1所示。該過程包括基于集群服務(wù)器統(tǒng)一資源預(yù)留計(jì)算方法和VMC過程中的互斥條件判定方法,同時(shí),此VMC策略將被部署在監(jiān)控服務(wù)器上。

圖1 虛擬機(jī)整合策略框架圖

2.2 剩余資源隊(duì)列構(gòu)成

用戶向云數(shù)據(jù)中心進(jìn)行VM資源申請(qǐng),在時(shí)間和空間上呈現(xiàn)出隨機(jī)性。而空間隨機(jī)性,即PM為了快速滿足資源需求,多數(shù)情況下對(duì)VM的資源分配采用隨機(jī)分配方式,但這種情況很可能導(dǎo)致PM資源浪費(fèi)。隨著集群運(yùn)行過程時(shí)間的往后推移,某些PM上可能僅包含少量的VM。

由于集群中PM資源利用率是不一致的,所以首先要考慮當(dāng)前PM的資源剩余和利用率情況,并將其分類為不同對(duì)象的服務(wù)器。本文定義接收主機(jī)、釋放主機(jī)和空主機(jī)3個(gè)類型,分別對(duì)應(yīng)所提出的接收主機(jī)隊(duì)列、釋放主機(jī)隊(duì)列和空主機(jī)隊(duì)列,而3類主機(jī)的區(qū)分需根據(jù)每臺(tái)PM的剩余資源所決定。某臺(tái)PM剩余資源采用三元組形式表示,如式(2)所示。

ρc·rrcpu(i)+ρm·rrmem(i)+ρn·rrnet(i)=Γavg

(2)

其中:PM(i)表示第i臺(tái)PM;rrcpu(i)、rrmem(i)和rrnet(i)分別表示PM(i)剩余CPU資源(虛擬核心數(shù))、剩余內(nèi)存和剩余網(wǎng)絡(luò)帶寬。所有PM的剩余資源將根據(jù)3類資源優(yōu)先級(jí)關(guān)系,計(jì)算加權(quán)剩余資源利用率Γavg,并按照從小到大順序加入PM剩余資源隊(duì)列(Residual Resource List),如式(3)所示;優(yōu)先級(jí)系數(shù)ρc、ρm和ρn需要根據(jù)實(shí)際平臺(tái)決定。

(3)

在集群中,若某臺(tái)PM發(fā)生突發(fā)情況,例如VM的網(wǎng)絡(luò)并發(fā)訪問量增加或計(jì)算任務(wù)加重時(shí),PM為應(yīng)對(duì)突發(fā)情況可以預(yù)留足夠的資源處理,從而保證PM的性能。同時(shí)對(duì)于突發(fā)情況的VM,又可以在預(yù)留資源的作用下,被遷移到其他主機(jī)或空主機(jī)上,進(jìn)而繼續(xù)為用戶提供服務(wù),有效降低了PM宕機(jī)的概率和減少SLA違背。PM預(yù)留資源的計(jì)算方法如下:

(ReCpu,ReMen,ReNet)=

(4)

在式(4)中,根據(jù)資源利用率情況,分別獲得當(dāng)前運(yùn)行VM的CPU、內(nèi)存和網(wǎng)絡(luò)帶寬利用率值,選擇每項(xiàng)利用率中的最大值作為當(dāng)前集群中此項(xiàng)資源的預(yù)留值。集群剩余資源利用率計(jì)算過程如下:

Algorithm 1 Creating Residual Resource PMList for each PM

Input:PMList and VMList

Output:RRpmList

(1) RRpmList←Φ

(2) maxcpu=0; maxmem=0; maxnet=0;

(3) For host∈PMList do

(4) RRpmList (host)←get_hostcpu(),get_hostmem(),get_hostnet()};

(5) For vm∈host.vmlist do

(6) if(get_vmcpu()>maxcpu) maxcpu=get_vmcpu();

(7) if(get_vmmem()>maxmem) maxmem=get_vmmem();

(8) if(get_vmnet() >maxnet) maxnet=get_vmnet();

(9) End for

(10) End for

其中代碼行(3)～(4)表示遍歷集群中的所有PM,計(jì)算獲得所有運(yùn)行PM和VM的3類資源利用率,并選擇其中的最大值;代碼行(11)～(13)將每臺(tái)PM的3類資源利用率總和減去當(dāng)前集群中VM資源預(yù)留值,最終形成集群PM的剩余資源隊(duì)列。

2.3 預(yù)分配映射關(guān)系表構(gòu)成

根據(jù)所獲得的集群剩余資源隊(duì)列,為了有效地進(jìn)行VMC,需要將現(xiàn)有的集群服務(wù)器進(jìn)行分類。分別將資源利用率較低的PM定義為釋放主機(jī),表示其上的VM可以通過整合策略遷移到其他目的PM上。而資源未產(chǎn)生開銷、沒有VM運(yùn)行的主機(jī)表示為空主機(jī),某些情況下可被關(guān)閉或置為非激活狀態(tài)。其余資源利用率相對(duì)較高的PM定義為接收主機(jī),在保證性能的情況下可以接收釋放主機(jī)上的VM,并分別對(duì)應(yīng)接收主機(jī)隊(duì)列(Receiver PM queue)、釋放主機(jī)隊(duì)(Releaser PM queue)和空主機(jī)隊(duì)列(Empty PM queue)。如式(5)所示。

ReceiverPMlist={PM(i)|RRPM(i)

ReleaserPMlist={PM(j)|RRPM(j)>?,

EmptyPMlist={PM(k)|RRPM(j)=100%,

(5)

在式(5)中,定義剩余資源平均閾值為?,若PM(i)加權(quán)剩余資源利用率RRPM(i)小于閾值?,則被識(shí)別為接收主機(jī),否則被識(shí)別為釋放主機(jī),表示當(dāng)前這臺(tái)PM上存在較少運(yùn)行的VM,并存在較多的剩余資源。若某臺(tái)PM剩余資源為100%(不計(jì)算預(yù)留資源及其自身資源使用),則將被識(shí)別為空主機(jī)。此閾值根據(jù)經(jīng)驗(yàn)值及平臺(tái)決定,一般設(shè)置為剩余20%的資源。

為了滿足釋放主機(jī)上的VM可以有效地整合到接收主機(jī),本文改進(jìn)BFD裝箱算法為MBFD算法(Modified Descending Best Fit Algorithm),尋求釋放主機(jī)上的VM在接收主機(jī)上更合理的位置,并形成初始預(yù)分配映射關(guān)系表。降序最佳適應(yīng)算法是在原有降序算法的基礎(chǔ)上進(jìn)行改進(jìn),先對(duì)物品降序排序,再按照首次適應(yīng)算法進(jìn)行裝箱表示。本文中,將接收主機(jī)隊(duì)列中的PM按照剩余資源從小到大升序排列,而將釋放主機(jī)隊(duì)列中的VM按照資源請(qǐng)求情況從大到小降序排列,由于對(duì)接收主機(jī)隊(duì)列進(jìn)行排序考慮,問題演化為在接收主機(jī)隊(duì)列中尋找第1個(gè)合適的位置。為此,定義映射函數(shù)如式(6)所示,根據(jù)當(dāng)前釋放主機(jī)隊(duì)列中的VM資源請(qǐng)求是否符合接收主機(jī)隊(duì)列中某PM的剩余資源總量,預(yù)分配映射關(guān)系表算法偽代碼如下:

Algorithm 2 Creating Pre-allocated mapping table for ReleasePMlist

Input:RRpmList,?

Output:Pre-allocated mapping table, ReceiverPMlist, ReleasePMlist, EmptyPMlist

(1) {ReceiverPMlist, ReleasePMlist, EmptyPMlist}←Φ

(2) RRmin=maxvalue;

(3) For host∈RpmList.host do

(4) avgu=getaverageutilization(host);

(5) if(avgu=100%) EmptyPMlist←host;

(6) else if(avgu>?) ReleasePMlist←host;

(7) else ReceiverPMlist←host;

(8) End for

(9) For host∈ReleasePMlist.host do

(17) End for

如果沒有尋找到符合的預(yù)映射位置,此VM將保留原始位置,最終代碼行(15)形成預(yù)分配映射關(guān)系表。

2.4 互斥條件判定

VM之間存在資源利用率的相關(guān)性或相斥性,如果僅考慮資源滿足這一條件進(jìn)行VMC,將導(dǎo)致被整合VM與目的PM上的VM之間存在資源互斥問題。本文采用基于VM歷史監(jiān)控?cái)?shù)據(jù)的相關(guān)性系數(shù)計(jì)算方法,判定VM之間資源利用率是否存在低相似性的特征,最終在形成的預(yù)分配映射關(guān)系表中剔除高相似性特征的VM映射關(guān)系,確保整合后PM保證性能并穩(wěn)定工作。計(jì)算公式如下:

(7)

其中:di,dj分別表示VM(i)和VM(j)某項(xiàng)資源屬性,分別取到t時(shí)刻為止CPU資源利用率、內(nèi)存占用率和網(wǎng)絡(luò)帶寬占用率;n表示在采樣時(shí)間間隔γ下,共存在n個(gè)數(shù)據(jù)樣本,參與兩臺(tái)VM的某項(xiàng)資源屬性相似度計(jì)算,由此確定VM之間某項(xiàng)資源屬性運(yùn)行特征。

Wherety∈{cpu,mem,net},

(8)

Algorithm 3 Creating Pre-allocated modification mapping table for ReleaserPMlist

Input:Pre-allocated mapping table, ReceiverPMlist, ReleaserPMlist,μ

Output:Pre-allocated modification mapping table

(1) For item∈Pre-allocated modification mapping table do

(2)vm1=getVMfrom_item(); topm=getdestPMfrom_item();

(3) Forvm∈topm do

(8) Delete item from Pre-allocated mapping table;

(9) End for

(10) End for

3 算法演化與應(yīng)用

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為真實(shí)的物理環(huán)境,7臺(tái)dell R720作為計(jì)算節(jié)點(diǎn),采用共享存儲(chǔ)機(jī)制,服務(wù)器上安裝OpenStack開源云。實(shí)驗(yàn)系統(tǒng)鏡像中集成自主開發(fā)的運(yùn)行參數(shù)監(jiān)控軟件。此軟件根據(jù)設(shè)定的時(shí)間間隔,采樣VM的CPU利用率、內(nèi)存占用率和上/下行網(wǎng)絡(luò)流量數(shù)據(jù)。

初始狀態(tài)下,隨機(jī)申請(qǐng)105臺(tái)VM(VM1～VM150)。其中PM1分配17臺(tái)(PM1={vm1～17}),PM2分配16臺(tái),PM3分配18臺(tái),PM4分配10臺(tái),PM5分配14臺(tái),PM6分配16臺(tái)和PM7分配14臺(tái)。在實(shí)驗(yàn)中,采用3種VM實(shí)例:小實(shí)例為1個(gè)Vcore,1 GB內(nèi)存。中實(shí)例為2個(gè)Vcore,2 GB內(nèi)存。而大實(shí)例為4個(gè)Vcore,4 GB內(nèi)存,網(wǎng)絡(luò)都采用百兆網(wǎng)絡(luò)帶寬分配。

所有PM為同構(gòu)服務(wù)器,實(shí)驗(yàn)所采用的數(shù)據(jù)采集自2015年08月25日至27日,服務(wù)器機(jī)房處于華東理工大學(xué)(奉賢校區(qū))。為了模擬計(jì)算密集型、內(nèi)存讀寫密集型和網(wǎng)絡(luò)傳輸密集型應(yīng)用,本文采用標(biāo)準(zhǔn)基準(zhǔn)測(cè)試程序,如表2所示。

3.2 虛擬機(jī)整合策略過程

(1) 根據(jù)初始VM分配映射關(guān)系,通過監(jiān)控獲得當(dāng)前PM資源利用率,如圖2所示。

表2 實(shí)驗(yàn)基準(zhǔn)測(cè)試程序

圖2 物理服務(wù)器資源利用率圖

當(dāng)前集群中VM的分布是不均勻的,并沒有按照特定的應(yīng)用考慮其最合適的分配位置,特別是PM4和PM5資源利用率相對(duì)較少。利用本文提出的整合策略,可以獲得相對(duì)合理的整合位置,并在整合過程中詳細(xì)考慮PM和同位VM的性能。

(2) 根據(jù)當(dāng)前所有VM資源申請(qǐng)和PM資源總和,計(jì)算PM剩余資源利用率,如表3所示。同時(shí)獲得當(dāng)前實(shí)驗(yàn)環(huán)境下所有VM的最大資源利用狀態(tài):ReCpu=4Vcore,ReMen=4 GB,ReNet=8 Mbps。在表3中,每列數(shù)據(jù)斜線之前表示剩余可用資源,后面表示物理服務(wù)器提供的最大資源能力。

表3 物理服務(wù)器剩余資源表

(3) 根據(jù)初始VM映射關(guān)系,通過MBFD算法得出預(yù)分配映射關(guān)系表,見表4。由于篇幅有限,表4中僅給出10個(gè)映射關(guān)系條目。在MBFD算法作用下,根據(jù)本文提出的VM之間資源相似度計(jì)算判定方法,將處于釋放主機(jī)隊(duì)列中的需要遷移的VM與接收主機(jī)隊(duì)列中目的PM上其余VM進(jìn)行資源相似度計(jì)算,并將高相似度映射關(guān)系從預(yù)分配映射關(guān)系表中刪除。圖3和圖4分別給出了VM的CPU資源、內(nèi)存及上行鏈路相似度值關(guān)系圖。

表4 預(yù)分配映射關(guān)系表

圖3，4中的橫坐標(biāo)表示VM之間的關(guān)系對(duì),即(Vi,Vj)表示VM(i)和VM(j),縱坐標(biāo)為相應(yīng)的資源相似度值。圖3分別示出了用戶提交任務(wù)CPU利用率及CPU資源總利用率,在1、8、43、95～120、162～169序列中皆存在大于80%的相似度(圖中橫線表示)。

圖3 VM的CPU資源利用相似度圖

圖4分別示出了利用率相似度圖,其中在圖4(a)中多個(gè)VM序列顯示內(nèi)存利用率相似度都大于30%(橫線表示),而在圖4(b)中序列對(duì)160及180～190之間也存在高相似的網(wǎng)絡(luò)應(yīng)用。本文選擇上行流量作為網(wǎng)絡(luò)資源衡量標(biāo)準(zhǔn),主要考慮VM是對(duì)外提供應(yīng)用服務(wù),網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)沖突是某些突發(fā)情況的瓶頸問題。

圖4 VM的MEM和UP-NET資源利用相似度圖

(4) 通過上述總相似度評(píng)價(jià)值的處理,將獲得修正預(yù)分配映射關(guān)系表,并且執(zhí)行虛擬機(jī)調(diào)度策略。在表5中存在互斥關(guān)系的條目將被標(biāo)記,同時(shí)不進(jìn)行虛擬機(jī)調(diào)度。

3.3 實(shí)驗(yàn)性能說明

若僅考慮資源滿足這一個(gè)特性,而不考慮整合對(duì)同位VM所產(chǎn)生的影響,將導(dǎo)致某些同位VM性能下降。為此采用基準(zhǔn)測(cè)試程序,評(píng)估本文中預(yù)分配映射關(guān)系表和修正型預(yù)分配映射關(guān)系表對(duì)性能的影響程度,測(cè)評(píng)方式表現(xiàn)在擾動(dòng)影響和執(zhí)行時(shí)間上。

本文將評(píng)估3方面的影響程度。由于網(wǎng)絡(luò)密集型應(yīng)用主要表現(xiàn)在對(duì)源和目的CPU和內(nèi)存利用的影響,所以僅詳細(xì)分析網(wǎng)絡(luò)密集型應(yīng)用對(duì)VMC的影響程度,而其他CPU方面僅給出運(yùn)行時(shí)間的說明。

表5 修正型預(yù)分配映射關(guān)系表

首先,計(jì)算密集型VMC對(duì)目的PM上同類型同位VM所產(chǎn)生的影響。評(píng)估整合對(duì)目的服務(wù)器上2臺(tái)VM所產(chǎn)生的影響。在PM1上運(yùn)行2臺(tái)小實(shí)例的計(jì)算密集型VM1和VM2,而在PM2上運(yùn)行VM3,但其中已部署計(jì)算密集型應(yīng)用。其次,將VM3從PM2上遷移到PM1,并記錄PM1上兩臺(tái)VM的任務(wù)平均完成時(shí)間。在CPU密集型環(huán)境下,如表6中編號(hào)1所示,在顯著地顯示了VM整合對(duì)原同位VM執(zhí)行CPU密集型任務(wù)所產(chǎn)生的影響程度,平均完成時(shí)間有了顯著上升。

表6 平均完成時(shí)間數(shù)據(jù)對(duì)比表

為了顯示同位VM所產(chǎn)生的影響程度,將目的PM上同位VM數(shù)量增加到8臺(tái),實(shí)驗(yàn)結(jié)果表明隨著目的PM上VM數(shù)量的增加,同類型VM的整合對(duì)原同位VM的運(yùn)行狀態(tài)產(chǎn)生了較大的影響,而這些影響隨著同位VM數(shù)量的增加而更加顯著,如表6中編號(hào)2數(shù)據(jù)。

其次,網(wǎng)絡(luò)密集型VMC對(duì)目的服務(wù)器上同位VM所產(chǎn)生的影響。由于VM遷移采用專用的遷移網(wǎng)絡(luò),所以單純考慮流量性能將不能顯著顯示同類型網(wǎng)絡(luò)密集型應(yīng)用對(duì)同位VM所產(chǎn)生的影響程度。所以,在實(shí)驗(yàn)中給出CPU和內(nèi)存的利用率來說明此問題。

為了模擬密集型網(wǎng)絡(luò)數(shù)據(jù)傳輸,在原有2臺(tái)PM的基礎(chǔ)上,在PM3上新增加VM4,并且PM1上2臺(tái)VM分別與VM4進(jìn)行網(wǎng)絡(luò)傳輸任務(wù),數(shù)據(jù)文件分別是100 M和2 GB及基準(zhǔn)測(cè)試程序,最終記錄傳輸平均的完成時(shí)間。同時(shí),在傳輸過程中將PM2上的VM進(jìn)行遷移,同樣記錄平均完成時(shí)間。如表6中編號(hào)3所示,平均完成時(shí)間出現(xiàn)了明顯的增加。

網(wǎng)絡(luò)密集型環(huán)境下2臺(tái)同位VM的CPU利用率影響程度如圖5所示。圖中顯示了當(dāng)發(fā)生整合時(shí)對(duì)同位VM所產(chǎn)生的CPU利用率影響,出現(xiàn)密集型的抖動(dòng)和嚴(yán)重的多峰值情況下,完成時(shí)間也有所增加。

圖5 大文件傳輸兩臺(tái)同位VM的CPU利用率影響程度圖

為了說明VM3整合完成后,若同樣啟動(dòng)網(wǎng)絡(luò)密集型應(yīng)用對(duì)原有同位VM的影響,將VM1和VM2進(jìn)行2 GB大文件傳輸,而待VM3完成整合后,進(jìn)行100 M網(wǎng)絡(luò)傳輸任務(wù),圖6示出了其內(nèi)存利用率變化趨勢(shì)。而在表6編號(hào)4中平均完成時(shí)間相比較編號(hào)3也有大幅度增加。造成此類問題的原因就是網(wǎng)絡(luò)密集型任務(wù)不僅占用了大量的網(wǎng)絡(luò)帶寬,并且還需在高CPU利用率的控制下進(jìn)行操作。

將目的PM上VM數(shù)量增加到8臺(tái),并執(zhí)行同樣的評(píng)估過程,本文選取影響明顯的4臺(tái)VM給出CPU圖示說明,如圖7所示。但為了更好地模擬網(wǎng)絡(luò)密集型情況,采用100 M小數(shù)據(jù)文件傳輸。當(dāng)進(jìn)行小文件傳輸時(shí),VM3的整合操作和執(zhí)行網(wǎng)絡(luò)傳輸任務(wù)都對(duì)目的PM上同位VM產(chǎn)生了不同程度的影響,圖7中多次出現(xiàn)CPU利用率高峰值情況,而這些峰值的變化與同位VM的數(shù)量和執(zhí)行的同類型應(yīng)用存在關(guān)系。隨著目的PM上同位VM數(shù)量的增加,影響程度也逐步提升。表6編號(hào)5數(shù)據(jù)顯示,整合前后平均完成時(shí)間都有了顯著的提升。同理在圖8中,目的PM上VM的內(nèi)存資源利用率表現(xiàn)出不同程度的抖動(dòng),說明當(dāng)同類型網(wǎng)絡(luò)密集型VM被遷移到目的服務(wù)器上時(shí),對(duì)同位VM內(nèi)存利用率的影響隨著同位虛擬機(jī)數(shù)量的增加而增加(圖中的利用率曲線采用剩余資源利用率的表示形式)。

圖6 大文件傳輸兩臺(tái)同位VM的MEM利用率影響程度圖

圖7 小文件傳輸8臺(tái)同位VM的CPU利用率影響程度圖

圖8 小文件傳輸8臺(tái)同位VM的MEM利用率影響程度圖

根據(jù)本文提出的總相似度計(jì)算公式,得出表7中的數(shù)據(jù)。實(shí)驗(yàn)中5類模擬情況都存在高相似的特點(diǎn)(除內(nèi)存),根據(jù)本文對(duì)于VMC的策略要求,都將拒絕此類高相似性VM的整合。從而保證PM的可用性和同位VM的穩(wěn)定性。

表7 總相似度評(píng)價(jià)值表

4 結(jié)束語

本文提出了一種基于互斥條件的VMCP整合策略。該策略在保證PM及同位VM性能的條件下最小化PM的數(shù)量,從而降低整體的能耗。VMCP是一個(gè)復(fù)雜的系統(tǒng)性問題,在整合過程中,本文引入兩類保在服務(wù)器性能方面,提出集群服務(wù)器統(tǒng)一資源預(yù)留計(jì)算方法,用于解決由于資源的過度分配而造成無法應(yīng)對(duì)突發(fā)情況和無法正常保證PM性能的問題。在VM互斥方面,提出基于虛擬機(jī)歷史運(yùn)行數(shù)據(jù)的相似度判定方法,用于判定VMC過程中的互斥條件。通過與經(jīng)典的裝箱算法對(duì)比,實(shí)驗(yàn)結(jié)果表明本文的整合算法不僅考慮同位VM的性能問題,而且還可以保證了PM的性能。未來工作重點(diǎn)將考慮如下幾點(diǎn):

(1) 評(píng)估和量化性能穩(wěn)定程度。

(2) 定義自適應(yīng)閾值,用于區(qū)分3類PM對(duì)象隊(duì)列。

(3) 從VM運(yùn)行特性上更好評(píng)估和識(shí)別密集型VM應(yīng)用,并考慮綜合影響。

[1]李銘夫,畢經(jīng)平,李忠誠(chéng).資源調(diào)度等待開銷感知的虛擬機(jī)整合[J].軟件學(xué)報(bào),2014,25(7):1388-1402.

[2]劉詩海,孫宇清,劉古月.面向業(yè)務(wù)特征的自適應(yīng)虛擬機(jī)遷移帶寬分配算法[J].計(jì)算機(jī)學(xué)報(bào),2013,36(9):1816-1825.

[3]李青,李勇,涂碧波,等.QoS保證的數(shù)據(jù)中心動(dòng)態(tài)資源供應(yīng)方法[J].計(jì)算機(jī)學(xué)報(bào),2014,37(12):2395-2407.

[4]羅剛毅,錢柱中,陸桑璐.一種基于網(wǎng)絡(luò)感知的虛擬機(jī)再調(diào)度算法[J].計(jì)算機(jī)學(xué)報(bào),2015,38(5):932-943.

[5]肖鵬,劉洞波,屈喜龍.云計(jì)算中基于能耗比例模型的虛擬機(jī)調(diào)度算法[J].電子學(xué)報(bào),2015,43(2):305-311.

[6]FILANI D,HE J,GAO S.Dynamic data center power management:Trends,issues,and solutions[J].Intel Technology Journal,2008,12 (1):59-67.

[7]ZHOU Z,LIU F,XU Y,etal.Carbon-aware load balancing for geo-distributed cloud services[C]//Proceedings of the 2013 IEEE 21st International Symposium on Modeling,Analysis & Simulation of Computer and Telecommunication Systems.USA:IEEE,2013:232-241.

[8]DENG W,LIU F,JIN H,etal.Harnessing renewable energy in cloud datacenters:Opportunities and challenges[J].Browse Journals & Magazines,2013,28(1):48-55.

[9]XU Fei,LIU Fangming,JIN Hai,etal.Managing perfor-mance overhead of virtual machines in cloud computing:A survey,state of the art,and future directions[J].Proceedings of the IEEE,2014,102 (1):11-31.

[10]XU Fei,LIU Fangming,LIU Linghui,etal.iAware:Making live migration of virtual machines interference-aware in the cloud[J].IEEE Transactions on Computers,2014,63 (12):3012-3025.

[11]ZHENG Qinghua,LI Rui,LI Xueqi,etal.Virtual machine consolidated placement based on multi-objective biogeography-based optimization[J].Future Generation Computer Systems,2016,54:95-122.

VMC Strategy Based on the Mutual Exclusion Conditions for Cloud Data Center

SHI Kai1,2, YU Hui-qun1, LUO Fei1, FAN Gui-sheng1

(1.Department of Computer Science and Engineering,East China University of Science and Technology, Shanghai 200237,China; 2.Shanghai Key Laboratory of Computer Software Testing and Evaluating,Shanghai 201112,China)

In the cloud data center,virtual machine consolidation (VMC) is one of the key technologies for green computing and minimizing cluster power consumption.In the relevant research works,most seek the most reasonable consolidation schemes based on resource utilization and don’t consider the stability and availability of PM and co-located virtual machines (VM).In this paper,by analyzing their mutual exclusion conditions,a virtual machine consolidation strategy is proposed,in which both the availability of PM and the mutual exclusivity among VM are considered.Moreover,the cluster server uniform resources reservation approach and the similarity calculation method based on the historical running data of VM are also given.Finally,this strategy is evaluated by collecting and analyzing the running data of VM deployed on the open stack platform.Experiment results show that the proposed method can effectively guarantee the PM availability and avoid the situation that the same type of VM is consolidated in one PM.Hence,this algorithm can reduce the performance degradation of co-located VM and improve the quality of service (Qos).

mutual exclusion conditions; virtual machine consolidation; correlation; cloud data center

1006-3080(2017)01-0119-10

10.14135/j.cnki.1006-3080.2017.01.019

2016-07-20

國(guó)家自然科學(xué)基金(61173048，61300041，61472139)；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金博導(dǎo)類資助課題(20130074110015)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)基金(WH1314038，WH1514331)

施 凱(1989-)，男，博士生，主要研究方向?yàn)樘摂M機(jī)整合、云計(jì)算和軟件工程等。E-mail:BH4AWS@163.com

虞慧群，E-mail: yhq@ecust.edu.cn

TP393

A