應(yīng)用托管環(huán)境下的虛擬機(jī)優(yōu)化調(diào)度方法＊

姜 永，范慶濤，趙卓峰，丁維龍

（1.北方工業(yè)大學(xué)云計(jì)算研究中心，北京100144；2.泰山索道運(yùn)營(yíng)中心，山東泰安271000）

1 引言

基礎(chǔ)設(shè)施即服務(wù)IaaS（Infrastructure as a Service）作為云計(jì)算的一種主要也是最為成熟的服務(wù)類型，在當(dāng)前的諸多云計(jì)算建設(shè)項(xiàng)目中被廣泛采用和實(shí)施［1，2］。IaaS以虛擬化技術(shù)為基礎(chǔ)，通過(guò)池化數(shù)據(jù)中心的物理資源（如CPU、內(nèi)存、存儲(chǔ)等）并以網(wǎng)絡(luò)服務(wù)的形式提供給用戶使用，使得用戶可以通過(guò)網(wǎng)絡(luò)按需獲取資源［3］。從當(dāng)前實(shí)際的云計(jì)算中心（特別是諸多私有云）的應(yīng)用情況來(lái)看，IaaS層面服務(wù)的一個(gè)主要用途就是承載不同用戶的不同類型的應(yīng)用系統(tǒng)，以虛擬機(jī)形式為其提供所必需的基礎(chǔ)設(shè)施資源，應(yīng)用托管已成為IaaS服務(wù)的典型應(yīng)用模式［4］。

在應(yīng)用托管模式下，基于IaaS服務(wù)建立的應(yīng)用托管系統(tǒng)利用諸如VSphere、OpenStack等虛擬化云平臺(tái)軟件，將用戶的應(yīng)用程序封裝在鏡像中，并為該鏡像指定運(yùn)行所需要的物理資源形成虛擬機(jī)模板；然后將這些封裝有應(yīng)用程序的虛擬機(jī)模板組合成一個(gè)應(yīng)用系統(tǒng)模板提給用戶使用；最后用戶通過(guò)應(yīng)用模板向應(yīng)用托管系統(tǒng)請(qǐng)求以虛擬機(jī)形式分配云計(jì)算中心的服務(wù)器、存儲(chǔ)等基礎(chǔ)設(shè)施資源以部署應(yīng)用。由于在應(yīng)用托管模式下不可能預(yù)測(cè)可能提出的應(yīng)用托管需求，從而使得在應(yīng)用托管初期對(duì)承載不同應(yīng)用功能的虛擬機(jī)實(shí)例只能采取隨機(jī)或者輪轉(zhuǎn)的方式進(jìn)行簡(jiǎn)單調(diào)度。隨著應(yīng)用托管的持續(xù)運(yùn)行和托管應(yīng)用的增多，這種方式可能會(huì)產(chǎn)生虛擬化服務(wù)器集群的負(fù)載傾斜及虛擬化服務(wù)器節(jié)點(diǎn)的資源利用率不高的情況，甚至?xí)?duì)所托管應(yīng)用的正常運(yùn)行產(chǎn)生影響［5～7］。為此，迫切需要結(jié)合不同用戶具體的應(yīng)用托管業(yè)務(wù)需求，選擇合適的時(shí)刻對(duì)承載不同類型應(yīng)用的虛擬機(jī)進(jìn)行優(yōu)化調(diào)度，以平衡各服務(wù)器的虛擬機(jī)負(fù)載，保障所承載應(yīng)用的正常運(yùn)行，并最大化用于虛擬化的服務(wù)器的資源利用率，減少不必要的能源消耗［8］。

由于具體托管應(yīng)用的不同，包括數(shù)據(jù)類型、運(yùn)行特征、資源需求等方面的不同，也會(huì)表現(xiàn)出對(duì)虛擬機(jī)調(diào)度的額外需求。以一個(gè)用于交通管理領(lǐng)域的應(yīng)用托管為例，如圖1所示，由于不同時(shí)刻交通狀況存在著較大的差異（如上班高峰期和凌晨），這種差異直接導(dǎo)致不同時(shí)刻所產(chǎn)生的交通數(shù)據(jù)量和計(jì)算量的變化，也會(huì)表現(xiàn)為對(duì)基礎(chǔ)設(shè)施資源需求方面的不同，即需要托管系統(tǒng)根據(jù)這些差異動(dòng)態(tài)地增加或刪除相關(guān)虛擬機(jī)服務(wù)器［9，10］。而在現(xiàn)有IaaS調(diào)度方式下，由于只關(guān)注用戶請(qǐng)求資源即創(chuàng)建虛擬機(jī)時(shí)刻的需求，而極少關(guān)注用戶釋放資源后資源的閑置，從而在交通低峰時(shí)導(dǎo)致交通應(yīng)用托管系統(tǒng)的資源閑置和浪費(fèi)。另外，現(xiàn)有IaaS主要根據(jù)虛擬機(jī)的配置進(jìn)行調(diào)度，忽略了承載不同類型應(yīng)用的虛擬機(jī)對(duì)資源需求的差異，如計(jì)算敏感型應(yīng)用需要更多的CPU資源，數(shù)據(jù)敏感型應(yīng)用需要更多的存儲(chǔ)和內(nèi)存資源，從而會(huì)極大影響虛擬機(jī)調(diào)度的效果。如表1所示，從表1中可以看出，如果單純按虛擬機(jī)的配置進(jìn)行調(diào)度而不考慮應(yīng)用特征，將會(huì)造成大量資源的浪費(fèi)。

針對(duì)上述問(wèn)題，本文提出了一種應(yīng)用托管環(huán)境下的虛擬機(jī)優(yōu)化調(diào)度方法，該方法通過(guò)對(duì)虛擬機(jī)承載應(yīng)用的分析并以虛擬機(jī)實(shí)際使用的物理資源為調(diào)度依據(jù)，通過(guò)周期性的調(diào)度優(yōu)化實(shí)現(xiàn)減少物理服務(wù)器使用數(shù)量、提高物理服務(wù)器資源利用率的目標(biāo)。

Figure 1 Overall structure of the vehicle identification data communication and core圖1 車(chē)輛識(shí)別數(shù)據(jù)通信及核心計(jì)算系統(tǒng)總體架構(gòu)圖Table 1 Resource allocation and actual use of different types of virtual machine

表1 不同類型虛擬機(jī)的資源分配及實(shí)際使用情況

隨著應(yīng)用托管規(guī)模不斷擴(kuò)大，應(yīng)用托管環(huán)境下的虛擬機(jī)調(diào)度問(wèn)題會(huì)越來(lái)越復(fù)雜，普通的人工調(diào)度和靜態(tài)調(diào)度方法已經(jīng)很難滿足要求。目前虛擬機(jī)的調(diào)度問(wèn)題已經(jīng)引起許多研究者的注意。Hu J等人［11］提出一種基于遺傳算法的虛擬機(jī)負(fù)載均衡算法，該算法根據(jù)歷史數(shù)據(jù)和系統(tǒng)當(dāng)前的狀態(tài)，通過(guò)遺傳算法計(jì)算分配虛擬機(jī)所需資源后對(duì)系統(tǒng)的影響，然后選擇影響最小的一種分配方法。該方法能實(shí)現(xiàn)很好的負(fù)載均衡并減少虛擬機(jī)的遷移次數(shù)。但是，該方法以虛擬機(jī)請(qǐng)求的資源為計(jì)算依據(jù)，但實(shí)際不同應(yīng)用的虛擬機(jī)對(duì)資源的需求是不同的，并且可能與其所請(qǐng)求的資源相距甚遠(yuǎn)，因此會(huì)導(dǎo)致計(jì)算偏差。其次，虛擬機(jī)的遷移調(diào)度不同于傳統(tǒng)的進(jìn)程調(diào)度和作業(yè)調(diào)度，是一個(gè)很耗資源的過(guò)程，有時(shí)正是虛擬機(jī)的調(diào)度導(dǎo)致資源使用的惡化，而該方法沒(méi)有考慮虛擬機(jī)遷移時(shí)的資源限制存在一定的隱患。最后，該方法沒(méi)有考慮節(jié)能情況，在系統(tǒng)資源閑置的時(shí)候不會(huì)聚合系統(tǒng)中的負(fù)載釋放物理機(jī)。Li W等人［6］從用戶的角度出發(fā)，綜合考慮各云服務(wù)提供商價(jià)格模式、虛擬機(jī)的配置、服務(wù)性能，為用戶選擇合適的云服務(wù)提供商，并在云服務(wù)提供商調(diào)整策略改變上述因素時(shí)在各云服務(wù)商間遷移虛擬機(jī)，以使用戶利益最大化。本文主要考慮應(yīng)用托管環(huán)境下的資源負(fù)載均衡和節(jié)能問(wèn)題，通過(guò)監(jiān)測(cè)虛擬機(jī)實(shí)際使用的物理資源進(jìn)行調(diào)度，更加準(zhǔn)確。我們限制了單臺(tái)物理服務(wù)器遷移虛擬機(jī)的數(shù)量，能防止虛擬機(jī)的遷移導(dǎo)致環(huán)境中資源使用的惡化，當(dāng)多個(gè)物理機(jī)負(fù)載較低時(shí)，將其上的虛擬機(jī)聚合起來(lái)使部分物理機(jī)閑置，然后通過(guò)將這部分機(jī)器休眠或關(guān)閉達(dá)到節(jié)能的目的。

2 虛擬機(jī)優(yōu)化調(diào)度方法

2.1 問(wèn)題定義

設(shè)數(shù)據(jù)中心有n臺(tái)物理服務(wù)器，經(jīng)過(guò)一定時(shí)期的應(yīng)用托管后這n臺(tái)服務(wù)器上分布著m個(gè)虛擬機(jī)，服務(wù)于p個(gè)應(yīng)用，通過(guò)虛擬機(jī)調(diào)度和遷移使：（1）開(kāi)啟的物理服務(wù)器盡可能少；（2）各物理服務(wù)器的資源利用率在可接受的范圍并盡可能地高。

為了求解上述問(wèn)題，本文首先作如表2所示的定義。

Table 2 Problem definition表2 問(wèn)題定義

其中H和L作為虛擬機(jī)遷出的指標(biāo)，確保物理服務(wù)器的資源利用率在H和L之間，不太高也不太低；A作為虛擬機(jī)遷入指標(biāo)，避免虛擬機(jī)遷入后導(dǎo)致資源利用率超過(guò)H而造成二次遷移；R的設(shè)置是為了能及時(shí)響應(yīng)用戶的資源申請(qǐng)，避免應(yīng)用托管環(huán)境中資源被用盡、需新開(kāi)物理服務(wù)器時(shí)導(dǎo)致用戶響應(yīng)延遲。

其次，為了統(tǒng)一評(píng)價(jià)物理服務(wù)器的負(fù)載優(yōu)先權(quán)重，本文定義如下物理服務(wù)器i的負(fù)載程度公式：

其中，0＜αj＜1，表示第j種資源的權(quán)重。另外，本文還定義如下的虛擬機(jī)i遷移權(quán)重公式，為調(diào)度算法在選擇遷移的虛擬機(jī)時(shí)提供度量：

作為中關(guān)村國(guó)家自主創(chuàng)新示范區(qū)、全國(guó)科技創(chuàng)新中心的核心區(qū)，海淀區(qū)一直是戰(zhàn)略新興產(chǎn)業(yè)發(fā)展的策源地。經(jīng)過(guò)多年發(fā)展，海淀區(qū)已經(jīng)形成大數(shù)據(jù)、智能制造、大健康、生態(tài)產(chǎn)業(yè)、創(chuàng)新服務(wù)、文化科技融合六大產(chǎn)業(yè)。盡管海淀區(qū)的產(chǎn)業(yè)發(fā)展已經(jīng)取得巨大成就，但在走向“全球影響力的科技創(chuàng)新中心”的道路上仍然面臨專業(yè)技術(shù)人才緊缺的難題。

其中，0＜βj＜1，表示第j種資源遷移權(quán)重。

上述問(wèn)題可以歸納為以下的規(guī)劃問(wèn)題：

2.2 方法描述

基于上述定義，本文提出了一種周期性的虛擬機(jī)優(yōu)化調(diào)度方法。每次調(diào)度由物理服務(wù)器劃分、遷移決策、資源管理三個(gè)部分配合完成。物理服務(wù)器劃分根據(jù)物理服務(wù)器的當(dāng)前狀態(tài)將其劃分到不同隊(duì)列；遷移決策根據(jù)資源的調(diào)整目標(biāo)選擇源物理服務(wù)器、虛擬機(jī)及目的物理服務(wù)器，進(jìn)行虛擬機(jī)的在線遷移；資源管理根據(jù)當(dāng)前的資源使用情況進(jìn)行物理服務(wù)器的開(kāi)關(guān)機(jī)管理。

2.2.1 物理服務(wù)器劃分

根據(jù)物理服務(wù)器當(dāng)前有無(wú)正在遷移的虛擬機(jī)及物理資源的利用率情況，將物理服務(wù)器劃分為六類：

（1）忙碌物理服務(wù)器。虛擬機(jī)的遷移需要消耗較多的物理資源，可能導(dǎo)致服務(wù)器過(guò)載，這時(shí)如果再進(jìn)行其它虛擬機(jī)調(diào)度可能會(huì)使情況惡化。因此，要限制物理服務(wù)器上虛擬機(jī)遷移的數(shù)量，對(duì)于已經(jīng)有虛擬機(jī)在遷移的物理服務(wù)器不再進(jìn)行虛擬機(jī)的調(diào)度。

（2）空閑物理服務(wù)器。該類物理服務(wù)器沒(méi)有虛擬機(jī)運(yùn)行且沒(méi)有虛擬機(jī)正在遷入。

（3）關(guān)閉狀態(tài)物理服務(wù)器。該類服務(wù)器處于關(guān)機(jī)狀態(tài)，當(dāng)環(huán)境中資源不夠用時(shí)可以開(kāi)啟來(lái)滿足資源需求。

（4）高負(fù)載物理服務(wù)器。對(duì)于非忙碌且非空閑物理服務(wù)器i，如果存在j（1≤j≤k）使uij/sij＜hj，則把該服務(wù)器歸入高負(fù)載物理服務(wù)器。

（5）低負(fù)載物理服務(wù)器。對(duì)于非忙碌且非空閑物理服務(wù)器i，如果對(duì)于任意的j（1≤j≤k）都有uij/sij＜lj，則把該服務(wù)器歸入低負(fù)載物理服務(wù)器。

（6）正常物理服務(wù)器。不屬于以上各類型的其它物理服務(wù)器。

2.2.2 遷移決策

該部分主要解決哪些物理服務(wù)器上的哪些虛擬機(jī)遷往哪臺(tái)物理服務(wù)器。考慮到所獲取的資源數(shù)據(jù)可能并不十分精確，并且云環(huán)境中資源的使用仍處于動(dòng)態(tài)變化之中，本文采用較簡(jiǎn)單的貪心算法來(lái)進(jìn)行調(diào)度，以獲取近似最優(yōu)解。具體流程如圖2所示。

Figure 2 Migration decision－making process圖2 遷移決策流程

2.2.3 資源管理

檢查云計(jì)算環(huán)境下可用資源是否滿足預(yù)留資源需求，如果滿足，檢查有空閑物理服務(wù)器并在滿足預(yù)留資源需求的前提下關(guān)閉空閑物理服務(wù)器。如果不滿足，則開(kāi)啟已關(guān)閉的物理服務(wù)器以滿足需求，如果仍不能滿足則向管理員發(fā)送報(bào)告。

2.3 調(diào)度算法

虛擬機(jī)的調(diào)度遷移需要消耗大量的物理資源并且遷移時(shí)間較長(zhǎng)，為了避免因虛擬機(jī)遷移而導(dǎo)致應(yīng)用托管系統(tǒng)物理資源使用的惡化，本算法限定一臺(tái)物理服務(wù)器一次只允許一個(gè)虛擬機(jī)遷入或遷出。另外，考慮到虛擬機(jī)的物理資源使用處于動(dòng)態(tài)變化中，所獲取的物理資源的使用并不會(huì)完全精確，所以本文選用了簡(jiǎn)單而又高效的貪心算法來(lái)獲取近似最優(yōu)解，調(diào)度方式上采用周期性的調(diào)度。具體算法實(shí)現(xiàn)如下：

算法1 虛擬機(jī)優(yōu)化調(diào)度算法

3 系統(tǒng)實(shí)現(xiàn)

本文在以開(kāi)源IaaS平臺(tái)OpenStack為基礎(chǔ)的交通應(yīng)用托管環(huán)境下實(shí)現(xiàn)了基于上述優(yōu)化調(diào)度方法的系統(tǒng)。為了實(shí)現(xiàn)上述目標(biāo)，系統(tǒng)應(yīng)實(shí)現(xiàn)以下功能：（1）數(shù)據(jù)采集功能：自動(dòng)采集各服務(wù)器所擁有的各種資源及使用情況，運(yùn)行的虛擬機(jī)的數(shù)據(jù)及各虛擬機(jī)的物理資源使用情況；（2）數(shù)據(jù)組織及存儲(chǔ)：采集的數(shù)據(jù)應(yīng)當(dāng)合理地組織和存儲(chǔ)，以便于后續(xù)處理；（3）調(diào)度決策：根據(jù)掌握的資源使用情況進(jìn)行調(diào)度決策。因此，系統(tǒng)主要由以下三個(gè)模塊構(gòu)成，如圖3所示。

3.1 數(shù)據(jù)采集模塊

整個(gè)虛擬機(jī)調(diào)度算法依賴于所收集到的服務(wù)器和虛擬機(jī)的實(shí)時(shí)數(shù)據(jù)，這些數(shù)據(jù)反映了云計(jì)算環(huán)境資源的使用情況，為簡(jiǎn)單起見(jiàn)，這里只考慮CPU和內(nèi)存相關(guān)的指標(biāo)。其中，描述虛擬機(jī)資源情況的指標(biāo)有：實(shí)際物理內(nèi)存使用量（VMEM＿U）、實(shí)際物理CPU使用量（VCPU＿U）。描述物理服務(wù)器的指標(biāo)有：物理內(nèi)存總量（PMEM＿T）、物理內(nèi)存實(shí)際使用量（PMEM＿U）、物理CPU總量（PCPU＿T）、物理CPU實(shí)際使用量（PCPU＿U）。

所有數(shù)據(jù)的采集由位于物理服務(wù)器的采集模塊完成。對(duì)于物理服務(wù)器的指標(biāo)通過(guò)物理服務(wù)器操作系統(tǒng)提供的接口獲取。對(duì)于虛擬機(jī)的指標(biāo)從物理服務(wù)器系統(tǒng)中運(yùn)行虛擬機(jī)的進(jìn)程獲取，整個(gè)過(guò)程對(duì)用戶和虛擬機(jī)都透明。

3.2 數(shù)據(jù)存儲(chǔ)模塊

由采集模塊獲取的各種監(jiān)控指標(biāo)數(shù)據(jù)都發(fā)往存儲(chǔ)模塊存儲(chǔ)。考慮到這些數(shù)據(jù)具有結(jié)構(gòu)簡(jiǎn)單、周期性頻繁更新的特點(diǎn)，并且當(dāng)服務(wù)器規(guī)模達(dá)到成千上萬(wàn)時(shí)可能存在高并發(fā)，系統(tǒng)采用去中心化的Zoo Keeper集群來(lái)組織和存儲(chǔ)這些數(shù)據(jù)，如圖4所示。

Figure 4 Zookeeper cluster data storage module圖4 Zoo Keeper集群數(shù)據(jù)存儲(chǔ)模塊

Figure 3 System architecture圖3 系統(tǒng)架構(gòu)

采集模塊啟動(dòng)后會(huì)在Zoo Keeper的/hosts下以自己的域名創(chuàng)建臨時(shí)性目錄節(jié)點(diǎn)（如/hosts/pm1），然后在其下創(chuàng)建與該物理服務(wù)器資源指標(biāo)相關(guān)的節(jié)點(diǎn)（如/hosts/pm1/PMEM＿T，/hosts/pm1/PMEM＿U等等）來(lái)保存相關(guān)數(shù)據(jù)及一個(gè)虛擬機(jī)根節(jié)點(diǎn)如（/hosts/pm1/vms），然后在其下創(chuàng)建該物理服務(wù)器上的各個(gè)虛擬機(jī)節(jié)點(diǎn)及虛擬機(jī)相關(guān)資源使用節(jié)點(diǎn)。

3.3 調(diào)度模塊

調(diào)度模塊從存儲(chǔ)模塊獲取整個(gè)云計(jì)算環(huán)境資源使用情況的數(shù)據(jù)；然后按照給定的參數(shù)設(shè)置和算法給出調(diào)度結(jié)果，并調(diào)用云計(jì)算平臺(tái)的接口完成虛擬機(jī)的遷移調(diào)度；最后關(guān)閉多余的空閑物理服務(wù)器以達(dá)到提高資源利用率和節(jié)能的目的。

3.4 實(shí)例驗(yàn)證

接下來(lái)，在我們?cè)朴?jì)算中心的應(yīng)用托管環(huán)境下使用和驗(yàn)證調(diào)度的效果。在當(dāng)前的托管環(huán)境下，五臺(tái)HP服務(wù)器構(gòu)建的集群上搭建了OpenStack平臺(tái)，實(shí)現(xiàn)資源的虛擬化和管理，應(yīng)用于在研的智能交通項(xiàng)目。其中，一物理機(jī)臺(tái)作為控制節(jié)點(diǎn)，其它四臺(tái)作為資源池（如表3所示）。在這一環(huán)境下，利用本文設(shè)計(jì)實(shí)現(xiàn)的數(shù)據(jù)采集模塊、存儲(chǔ)模塊和調(diào)度模塊，完成虛擬機(jī)的調(diào)度。

Table 3 Server configuration and usage表3 服務(wù)器配置及用途

在應(yīng)用托管環(huán)境下托管了三套交通應(yīng)用用于開(kāi)發(fā)和測(cè)試，各計(jì)算節(jié)點(diǎn)的虛擬機(jī)分布及資源使用情況的初始狀態(tài)如表4所示。

Table 4 Initial state of virtual machines distribution and usgae of physical resource in the hosting environment表4 托管環(huán)境初始狀態(tài)虛擬機(jī)分布及物理資源使用情況

指定資源利用率上限H＝（h1，h2）＝（70%，90%）（其中h1表示CPU利用率上限，h2表示內(nèi)存利用率上限），資源利用率下限L＝（l1，l2）＝（10%，30%）（其中l(wèi)1表示CPU利用率下限，l2表示內(nèi)存利用率下限），資源利用率接受向量A＝（a1，a2）＝（60%，80%）（其中a1表示CPU接受利用率，a2表示內(nèi)存接受利用率），經(jīng)過(guò)優(yōu)化調(diào)度系統(tǒng)調(diào)度一定時(shí)間后，托管環(huán)境的虛擬機(jī)分布及物理資源使用情況如表5所示。

由調(diào)度前后狀態(tài)的對(duì)比可以看出，調(diào)度前stack02內(nèi)存使用率偏高而stack07、stack08的CPU、內(nèi)存使用率都偏低，已經(jīng)低于設(shè)定的資源利用率下限了，因此優(yōu)化調(diào)度系統(tǒng)通過(guò)多輪調(diào)度將stack02上的一臺(tái)前端模擬服務(wù)器虛擬機(jī)及stack08上的兩臺(tái)虛擬機(jī)都遷移到了stack07上，這樣既消除了stack02內(nèi)存使用的熱點(diǎn)問(wèn)題，同時(shí)也提高了stack07的資源利用率，并將stack08空閑了出來(lái)。這樣的結(jié)果，一方面，虛擬機(jī)在資源允許的情況下被集中部署，提高了物理服務(wù)器資源利用率；另一方面，調(diào)度后被空閑的物理機(jī)可以關(guān)機(jī)以備用，有效減少了運(yùn)行中的物理服務(wù)器使用數(shù)量，節(jié)省了用電和管理的開(kāi)銷(xiāo)。

Table 5 Distribution of virtual machines hosted and usage of physical resources after the optimizing scheduling表5 優(yōu)化調(diào)度后托管環(huán)境虛擬機(jī)分布及物理資源使用情況

4 結(jié)束語(yǔ)

本文以應(yīng)用托管環(huán)境的實(shí)際物理資源使用情況為依據(jù)，提出了一種以減少物理服務(wù)器使用數(shù)量、提高物理服務(wù)器資源利用率為目標(biāo)的優(yōu)化調(diào)度方法，并在以智能交通為背景的實(shí)際應(yīng)用托管項(xiàng)目中以CPU和內(nèi)存資源為調(diào)度指標(biāo)進(jìn)行了驗(yàn)證。從實(shí)驗(yàn)結(jié)果看，該方法有效地提高了智能交通托管應(yīng)用中所涉及的各類服務(wù)器的CPU和內(nèi)存利用率，并可減少物理服務(wù)器的總體使用量。

［1］ Armbrust M，F(xiàn)ox A，Griffith R，et al.Above the clouds：A Berkeley view of cloud computing.EECS Department［R］.Berkeley：University of California，2009.

［2］ Dodda R，Smith C，Moorsel A.An architecture for crosscloud system management［C］∥Proc of the 2nd International Conference on Contemporary Computing，2009：556－567.

［3］ Barham P，Dragovic B，F(xiàn)raser K，et al.Xen and the art of virtualization［C］∥Proc of the 19th ACM Symposium on Operating Systems Principles，2003：164－177.

［4］ Nurmi D，Wolski R，Grzegorczyk C，et al.Eucalyptus：A technical report on an elastic utility computing archietcture linking your programs to useful systems［S］.California：UCSBComputer Science Technolog Report Number，2008－10.

［5］ Li W，Tordsson J，Elmroth E.Virtual machine placement for predictable and time－constrained peak loads［C］∥Proc of the 8th International Conference on Economics of Grids，Clouds，Systems，and Services，2012：120－134.

［6］ Li W，Tordsson J，Emroth E.Modeling for dynamic cloud scheduling via migration of virtual machines［C］∥Proc of the 3rd IEEE International Conference on Cloud Computing Technology and Science，2011：163－171.

［7］ Li W，Svard P，Tordsson J，et al.A general approach to service deployment in cloud environments［C］∥Proc of the 2nd International Conference on Cloud and Green Computing，2012：17－24.

［8］ Minhas U F，Yadav J，Aboulnaga A，et al.Database systems on virtual machines：How much do you lose？［C］∥Proc of the 24th IEEE International Conference on Data Engineering Workshop，2008：35－41.

［9］ Maximilien E M，Ranabahu A，Engehausen R，et al.Toward cloud－agnostic middlewares［C］∥Proc of the 24th ACM SIGPLAN Conference Companion on Object Oriented Programming Systems Languages and Applications，2009：619－626.

［10］ Kllapi H，Sitaridi E，Tsangaris M M，et al.Schedule optimization for data processing flows on the cloud［C］∥Proc of 2011 ACM SIGMOD International Conference on Management of Data，2011：289－300.

［11］ Hu J，Gu J，Sun G，et al.A scheduling strategy on load balancing of virtual machine resources in cloud computing environment［C］∥Proc of the 3rd International Symposium on Parallel Architectures，Algorithms and Programming，2010：89－96.