云計算環(huán)境下的自適應(yīng)資源管理技術(shù)綜述

王 晶，方 偉，陳靜怡，吳 杰

（復(fù)旦大學(xué) 計算機科學(xué)技術(shù)學(xué)院，上海200433）

0 引 言

“云計算”是近年來IT產(chǎn)業(yè)發(fā)展的新熱點，受到各方的廣泛關(guān)注。其作為一種新興技術(shù)和商業(yè)模式，將加速信息產(chǎn)業(yè)和信息基礎(chǔ)設(shè)施的服務(wù)化進程，催生大量新型互聯(lián)網(wǎng)信息服務(wù)，帶動信息產(chǎn)業(yè)格局的整體變革。根據(jù)提供服務(wù)類型的不同，云計算通常分為基礎(chǔ)設(shè)施即服務(wù)（infrastructure as a service，IaaS）、平臺即服務(wù)（platform as a service，PaaS） 和 軟 件 即 服 務(wù)（software as a service，SaaS）。其中，基礎(chǔ)設(shè)施即服務(wù)（IaaS）作為最基礎(chǔ)及支撐性的服務(wù)模式，通過虛擬化技術(shù)使得虛擬機共享物理機資源池，使運營商可以通過向用戶提供虛擬機資源來承載他們的應(yīng)用。顯然，云計算應(yīng)用的開展必將導(dǎo)致云IDC中的基礎(chǔ)設(shè)施資源（如服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備等）大量聚集，于是，虛擬資源調(diào)度管理技術(shù)的優(yōu)劣將直接影響到IDC整體的資源利用率、服務(wù)能力以及SLA。另外，隨著IDC規(guī)模的擴增，手動及人工管理數(shù)目龐大的物理資源集群已經(jīng)變的非常不現(xiàn)實，如今，更需要一種自適應(yīng)的資源管理技術(shù)，以自動響應(yīng)IDC運行情況變化，并減輕管理人員的負擔(dān)。因此，這也成為云計算在IaaS模式下需要重點優(yōu)化和突破的關(guān)鍵技術(shù)問題。

云計算環(huán)境下的自適應(yīng)資源管理問題是一個非常復(fù)雜、龐大的課題。目前，國內(nèi)外的相關(guān)研究主要集中在如下4個技術(shù)領(lǐng)域：①虛擬機放置優(yōu)化算法；②虛擬資源動態(tài)伸縮模型；③多IDC間的全局云計算資源調(diào)度；④全局資源配置及能力規(guī)劃模型。本文將從以上4個研究領(lǐng)域出發(fā)，對云計算環(huán)境下自適應(yīng)資源管理技術(shù)的現(xiàn)有研究成果進行闡述及分析，并指出當(dāng)前研究中存在的一些亟待解決問題，進而進一步指出未來的研究發(fā)展趨勢。

1 虛擬機放置優(yōu)化算法

虛擬化技術(shù)為當(dāng)今的IDC帶來了許多優(yōu)勢：一方面，它能夠有效的幫助IDC提高整體IT資源的利用率，通過集成、整合分散的物理資源、將眾多虛擬機放置在同一臺物理機上；另一方面，它也為IDC提供了更大的靈活性，可以動態(tài)的隨需配置各臺虛擬機占用資源的大小，同時，也可以通過動態(tài)遷移技術(shù)、根據(jù)不同策略使虛擬機在不同物理機之間快速移動。但是，顯然，這也對資源管理技術(shù)提出了更高的要求。

虛擬機放置問題是云環(huán)境下資源管理技術(shù)的一個最重要的研究點，也是目前受到關(guān)注最多的一個領(lǐng)域，學(xué)術(shù)界和工業(yè)界都對優(yōu)化的虛擬機放置技術(shù)進行了大量研究。虛擬機放置需要決定虛擬機與物理機之間的映射關(guān)系，其重點即是根據(jù)所設(shè)定的放置策略，尋找優(yōu)化的虛擬機放置方案，以更好的滿足多重系統(tǒng)目標(biāo)。除此之外，還要求虛擬機的放置過程能夠自適應(yīng)的響應(yīng)整體運行環(huán)境的動態(tài)變化，及時做出改變。

大量的文獻如文獻 ［1－2］等把虛擬機放置問題建模成裝箱問題或N維裝箱問題文獻 ［3－4］，通過虛擬機遷移，使得開啟盡可能少的物理機以滿足所有虛擬機的資源請求，從而提高整體的IT資源利用率。文獻 ［1－2］把虛擬機放置問題定義為一個多目標(biāo)優(yōu)化的問題，包括避免違反SLA、減少服務(wù)器數(shù)量、以及減少遷移次數(shù)等；他們提出了一個基于基因算法的方法來解決該問題。文獻 ［5］為虛擬機與虛擬機之間和虛擬機與物理機之間存在不相容約束的服務(wù)器整合問題制定了一個兩階段的啟發(fā)式算法：在第一個階段，通過假設(shè)每個集群代表一個沒有容量限制的服務(wù)器，來找到滿足事項之間和事項倉不相容限制的應(yīng)用集群；在第二個階段，考慮服務(wù)器的能力限制來把每個集群中的應(yīng)用分配到目標(biāo)集群中。文獻 ［6］建立了一種基于分組遺傳基因算法的方法來解決服務(wù)器整合的問題。文獻 ［7］認(rèn)為虛擬機的遷移是有代價的，在盡量使用最少物理機產(chǎn)生最大的收益的同時，需要考慮虛擬機遷移所產(chǎn)生的代價。

除了提高IDC的資源利用率外，一些文獻還提出了虛擬機放置的其他優(yōu)化目標(biāo)。對于IDC運營商來說，其最為關(guān)注的是運營成本，所以，隨著服務(wù)規(guī)模的擴張，降低能耗逐漸成為一個越來越重要的趨勢，這也成為很多當(dāng)前研究的一個重點優(yōu)化目標(biāo)。文獻 ［8－11］都各自提出了降低IDC能耗的解決方法，文獻 ［12］將能耗問題建模為約束混合整數(shù)規(guī)劃問題（constrained mix－integer programming），將其轉(zhuǎn)化為最小費用流問題（minimum cost flow）問題，用快速多項式時間算法求得最優(yōu)解；相比其它文獻，該文獻的解決方案具有較大的優(yōu)勢及可擴展性。另外，文獻［13］把虛擬機遷移產(chǎn)生的代價、虛擬機遷移帶來的收益、遷移后能保持當(dāng)前狀態(tài)的時間都納入考慮，并用改良后的A＊算法來得到一個盡可能優(yōu)的解，在能耗、利用率和性能三者之間盡量平衡。文獻 ［14］考慮了IDC中的各個虛擬機之間的網(wǎng)絡(luò)流量，希望把通信量大的虛擬機盡量放置到一臺或鄰近物理機上，以此來最大限度的減少全局的網(wǎng)絡(luò)流量。文獻 ［15］把用戶提出的一些要求作為輸入，例如某個虛擬機要獨占一臺物理機、某兩個虛擬機不能放置到同一臺物理機上等，由此產(chǎn)生的虛擬機放置算法，盡量滿足用戶的SLA。

所有上述的文獻都是基于確定的工作負載來研究虛擬機放置問題的，為了使上述這些模型能夠提供與應(yīng)用SLA相符合的解決方案，模型中的負載參數(shù)通常采用的是各應(yīng)用負載的高峰時期（如最大或是99%），這就會導(dǎo)致IDC在很長時間內(nèi)，都處于低資源利用率、高能耗的狀態(tài)中。為了解決這一問題，文獻 ［16］研發(fā)了一個自動控制的框架，該框架能夠根據(jù)用戶特定的策略并遵從某些限制（如兼容的軟件、合適的CPU類型、相似的網(wǎng)絡(luò)連接性、共享存儲的使用等），來動態(tài)的對虛擬機進行遷移。為了解決服務(wù)水平目標(biāo)，文獻 ［17］提出了一個在負載動態(tài)變化的環(huán)境中，能夠自動遷移虛擬機的資源控制系統(tǒng)。他們提出的方法分為兩部分：①一個能夠動態(tài)判定應(yīng)用等級性能和通過虛擬機的反饋來分配資源的網(wǎng)上模型評估器；②一個自適應(yīng)的控制端，它能夠動態(tài)地計算和分配資源。文獻 ［18］通過預(yù)測云承載的應(yīng)用的負載，動態(tài)的改變虛擬機的大小，盡量減少違反應(yīng)用的SLA，同時盡量使用少的物理機來滿足所有的虛擬機資源要求。

目前，對虛擬機放置模型和算法的研究雖然數(shù)目眾多，但是大部分都存在可擴展性差、實際有效性低、目標(biāo)單一化等問題，依然存在很大的優(yōu)化空間。虛擬機放置問題涉及到虛擬機到物理機的映射，對于絕大多數(shù)現(xiàn)有算法而言是一個NP難問題，復(fù)雜度過高，隨著IDC規(guī)模的擴張，求得可行的解幾乎是不可能完成的任務(wù)。在動態(tài)環(huán)境下，如何實現(xiàn)多種不同放置策略的平衡，實現(xiàn)IT資源的集約共享，降低能源消耗，同時探索低復(fù)雜度、高效率、近似優(yōu)化的虛擬機放置算法，是一個亟待解決的問題。在未來，期望探索出一種多目標(biāo)優(yōu)化的、自適應(yīng)的虛擬機放置模型，綜合考慮并權(quán)衡取舍資源利用率、能耗、SLA、網(wǎng)絡(luò)流量、虛擬機遷移代價、用戶自定義策略等多方面情況，根據(jù)虛擬機的動態(tài)變化情況自適應(yīng)的調(diào)整放置方案；并且，需要提出一種快速、簡便的放置算法，在盡可能短的時間內(nèi)獲得一個盡量優(yōu)的解決方案。

2 虛擬資源動態(tài)伸縮模型

在虛擬機被創(chuàng)建前，使用者需要首先向云資源提供商申請其所需的資源情況，如CPU個數(shù)、內(nèi)存大小等。早期的資源分配方式通常是固定預(yù)分配，即完全按照使用者的請求情況分配給虛擬機相應(yīng)資源，運行后，不論其真實使用情況如何，都不做任何調(diào)整。這樣的做法固然簡單，但是，往往不能很好的適應(yīng)應(yīng)用的動態(tài)工作負載的變化。如果資源請求者按照應(yīng)用的峰值負載申請資源，則將在絕大多數(shù)負載偏低的時刻造成資源的大量浪費；反之，若按照平均負載申請，則會發(fā)生負載超越資源承載能力的情況，造成請求延時。

隨著技術(shù)的發(fā)展，以亞馬遜EC2為代表的彈性云服務(wù)采用了以虛擬機為單位的粗粒度的方法，按需增減開啟運行的虛擬機數(shù)量，從而達到及時響應(yīng)應(yīng)用負載變化的目的。也就是說，當(dāng)應(yīng)用負載增加至即將超越資源承受能力時，EC2會再為云服務(wù)使用者開啟一臺同樣配置的虛擬機以緩解負載壓力，做到負載均衡；而當(dāng)應(yīng)用負載降低時，則可以關(guān)閉不必要的虛擬機以節(jié)省資源。亞馬遜EC2的做法雖然具備負載自適應(yīng)的虛擬資源伸縮能力，但是，以虛擬機為最小伸縮單位的變化方式，仍在一定程度上造成了資源的浪費。

目前，虛擬資源動態(tài)伸縮模型的研究重點在于更加細粒度的資源調(diào)整方式，以及時、快速的響應(yīng)應(yīng)用負載的變化情況。另外，其負載自適應(yīng)能力不僅需要依靠當(dāng)前的負載情況，還希望能夠預(yù)測出未來一段時間的工作負載變化，以更準(zhǔn)確的、有前瞻性的調(diào)整虛擬資源大小。

近期，一些關(guān)注于更精細的動態(tài)虛擬資源伸縮模式的學(xué)術(shù)研究開始涌現(xiàn)，但是，其出發(fā)點及所用方法大多仍相對簡單、處于研究初期。文獻 ［19－20］僅考慮了單一資源的分配方式。其中，前者關(guān)注于計算資源的分配，它提出了一種隨虛擬機工作負載變化而根據(jù)CPU優(yōu)先級或CPU份額動態(tài)調(diào)整計算資源分配的方法；后者則通過預(yù)估每臺虛擬機的內(nèi)存使用量、并據(jù)此自動的調(diào)整內(nèi)存分配大小，來提高內(nèi)存資源的使用率。文獻 ［21－22］實現(xiàn)了一個多層次的、應(yīng)用相關(guān)的資源調(diào)度機制，能夠優(yōu)化單一物理機內(nèi)部及全局的CPU和內(nèi)存資源流動。文獻 ［23－24］都多方面考慮了CPU、內(nèi)存和網(wǎng)絡(luò)帶寬3種資源的綜合優(yōu)化分配方式。其中，前者提出了一種應(yīng)用無關(guān)的負載均衡機制，通過實時監(jiān)控物理機及虛擬機的各項資源使用情況，及時調(diào)整資源分配；后者則提出了一個自治系統(tǒng)，利用自動資源監(jiān)測及熱點檢測，確定物理資源到虛擬資源的重新分配。

所有上述研究工作都是針對云環(huán)境中當(dāng)前負載的狀況做出的響應(yīng)情況。除此之外，一些研究還將虛擬機資源的伸縮問題歸結(jié)于控制論文獻 ［25－26］問題，通過對未來工作負載進行預(yù)測來更好、更準(zhǔn)確的優(yōu)化資源分配。文獻［27］提出了一個由基于控制論的在線模型預(yù)估器和多輸入多輸出（MIMO）資源控制器構(gòu)成的資源控制系統(tǒng)，它能夠自動的適應(yīng)應(yīng)用負載動態(tài)變化，通過捕捉應(yīng)用程序性能和資源分配值之間的復(fù)雜關(guān)系，按需調(diào)整分配資源量，從而滿足云計算應(yīng)用提供者的SLA。文獻 ［28］研究了預(yù)測技術(shù)對于虛擬機動態(tài)資源分配的影響，它通過實驗比較了基于控制論的預(yù)測控制器與自適應(yīng)反饋控制器的有效性，其中前者使用了3種分別基于AR，ANOVA－AR和MP模型預(yù)測算法。

當(dāng)前，IDC管理者正面臨著多方面的挑戰(zhàn)，包括滿足復(fù)雜的云計算應(yīng)用提供者的SLA、及時響應(yīng)隨時間變化的資源需求以及解決資源的相互依賴性等。上述眾多研究工作有許多可借鑒之處，但仍不夠完善，存在進一步優(yōu)化的可能性。本領(lǐng)域的研究難點將集中在如何更準(zhǔn)確、可靠的預(yù)測未來一段時間內(nèi)的工作負載變化情況，以及如何精確、定量的根據(jù)預(yù)測負載及當(dāng)前現(xiàn)狀調(diào)整各項虛擬機資源的分配問題等。因此，更加有效的、細粒度的虛擬資源自適應(yīng)動態(tài)伸縮模型與算法將是未來的發(fā)展方向。

3 多IDC間的全局云計算資源調(diào)度

隨著云計算應(yīng)用的快速發(fā)展，地域分布的多IDC逐漸成為一種趨勢。目前，學(xué)術(shù)界與工業(yè)界對多IDC間的全局云計算資源調(diào)度的研究尚處于早期階段，并且存在多個不同的考慮角度。前期的相關(guān)研究主要集中在混合云之間的資源調(diào)度以及某個具體應(yīng)用在多個IDC的云環(huán)境內(nèi)的全局調(diào)度這兩個方面。

針對混合云的情況，多IDC間的全局云計算資源調(diào)度主要關(guān)注于使用者的眾多應(yīng)用在企業(yè)私有云和商業(yè)共有云之間的分布方案的決策，其通常綜合考慮了租用成本、性能、安全性等多個目標(biāo)。文獻 ［29］研究了借用外部云計算資源來擴充企業(yè)IDC自身計算能力的方法：通過一個全局的資源分配系統(tǒng)向云計算提供商借用資源以擴充IDC自身的容量；提供了多種調(diào)度機制衡量把哪些應(yīng)用遷移到借用的資源上以達到費用最少同時利用率最高；提出了衡量這些機制的方法，從響應(yīng)時間、最后期限違反率、租用資源費用等多個性能指標(biāo)來衡量一個調(diào)度策略。文獻 ［30］也提出了把企業(yè)IDC的一部分應(yīng)用遷移到云中可能得到的好處，提供了一個衡量遷移策略的方法，同時提出了遷移可能遇到的一些安全和策略上的問題。

針對多個IDC的云環(huán)境內(nèi)的調(diào)度，一些文獻針對某些具體的應(yīng)用在云環(huán)境中如何做全局調(diào)度做了研究。相比以上考慮混合云的情況而言，本類研究具有更廣泛的應(yīng)用范圍及更大的實用價值。云環(huán)境下，地域分布的多IDC能同時為不同地域的終端用戶提供服務(wù)。根據(jù)終端用戶對云上應(yīng)用的請求情況，將資源合理調(diào)度到合適的IDC，既能提升終端用戶的體驗，又能提高整體云環(huán)境的資源利用率，降低運營成本。文獻 ［31］在多個IDC之上添加了一個分布式的調(diào)度機制，調(diào)度計算型的應(yīng)用，但是，盡管其考慮到了多IDC環(huán)境下的虛擬機優(yōu)化分布，卻忽略了IDC之間的交互成本，在需要多個虛擬機協(xié)同服務(wù)時性能會受到較大限制，并且其只注重于計算型應(yīng)用，適用情況單一。文獻 ［32］針對如何降低數(shù)據(jù)訪問的時延，提出了名為Volley的解決方案。Volley的主要思想是將數(shù)據(jù)副本放置在訪問用戶或者對其有依賴的數(shù)據(jù)附近，以減少用戶訪問時延；但是，其沒有綜合考慮各IDC的資源成本的差異，而僅將研究重點放在數(shù)據(jù)上。文獻 ［33］基于典型的分布式企業(yè)應(yīng)用SAP商業(yè)軟件，將用戶托管服務(wù)劃分為不同的類型，根據(jù)不同的放置策略和安全設(shè)置，將服務(wù)放置在不同的云環(huán)境（IDC）中。其基本思想是根據(jù)用戶需求將相關(guān)組件放置在對該組件有較大需求的云環(huán)境中。

由于應(yīng)用規(guī)模的限制以及牽扯的細節(jié)較多（如互操作性、網(wǎng)絡(luò)傳輸成本、資源成本差異等），當(dāng)前針對跨IDC的云計算資源調(diào)度的研究仍相對較少。但是，隨著云計算技術(shù)的進一步發(fā)展以及IDC規(guī)模的擴增，基于地域分布的IDC之間的交互與協(xié)作將成為一個必然的趨勢?，F(xiàn)有的多IDC間的全局云計算資源調(diào)度研究往往只考慮了少數(shù)IDC間、特定應(yīng)用、單一調(diào)度目標(biāo)的較單純情況。未來，對于混合云之間的調(diào)度，將會依賴于不同云平臺之間互操作性的進一步發(fā)展；而對于多IDC的云環(huán)境，該領(lǐng)域需要建立一個全局的云計算資源調(diào)度模型，綜合考慮地域分布的虛擬資源與終端用戶應(yīng)用模式的適配，以達到保證云計算應(yīng)用提供者的SLA、降低云計算資源提供商的成本以及提高終端用戶QoS的目的。

4 全局資源配置與能力規(guī)劃模型

云環(huán)境下，云計算資源提供商、云計算應(yīng)用提供商和應(yīng)用終端用戶是云計算的參與主體，同時也是云計算產(chǎn)業(yè)鏈和價值鏈的主體文獻 ［34］，其中云計算資源提供商需要面對動態(tài)變化、地域分布的應(yīng)用終端用戶的訪問模式。

全局優(yōu)化的資源配置與能力規(guī)劃研究為資源提供商的關(guān)鍵商業(yè)決策提供支持。一方面，云計算資源提供商的投資成本主要包括硬件設(shè)備成本等資源成本，以及場地費用、維護費用、能耗成本等運營成本；云計算應(yīng)用提供商（云資源使用者）需要對其使用的資源付費，同時得到根據(jù)SLA規(guī)定的服務(wù)。另一方面，數(shù)據(jù)中心的投資建設(shè)和云計算應(yīng)用終端用戶的訪問都具有多地域分布的屬性。因此，不同的數(shù)據(jù)中心資源配置與能力規(guī)劃方案將具有不同的經(jīng)濟效益，其旨在協(xié)助資源提供商決定在各地域分布IDC置備多少資源，以達到高性價比、有效保證服務(wù)質(zhì)量的目的。

現(xiàn)有的資源配置與能力規(guī)劃模型的研究，大多集中在配置和規(guī)劃云計算應(yīng)用提供商所需資源方面文獻 ［35－37］，而不是考慮如何配置和規(guī)劃資源提供商擁有的IDC資源。文獻 ［38］根據(jù)云計算應(yīng)用提供商所提供應(yīng)用服務(wù)的不同類型，采用不同的資源配置和能力規(guī)劃策略，向云計算資源提供商租用資源，從而有效配置和規(guī)劃從云計算資源提供商那里所獲得的資源，最終使得應(yīng)用提供商的收益最大。

另外，目前學(xué)術(shù)界和工業(yè)界對資源提供商的資源配置和能力規(guī)劃研究，也主要集中于單個IDC的能力規(guī)劃。文獻 ［39］研究基于效用計算的資源投資優(yōu)化模型，優(yōu)先考慮資源的經(jīng)濟利用，根據(jù)資源過低利用和過高利用出現(xiàn)的情況，結(jié)合經(jīng)濟模型，確定資源容量的大小，最終為資源提供商提供容量投資決策，以期達到最大化利潤。

目前，對地域分布的IDC的資源配置與能力規(guī)劃的研究還很少，并且缺乏綜合考慮云計算終端用戶的訪問模式、訪問質(zhì)量、IDC資源成本等因素的研究模型。本領(lǐng)域期望通過對云上各類應(yīng)用及它們的訪問特征、資源需求特征進行分析，在此基礎(chǔ)上研究終端用戶訪問質(zhì)量與數(shù)據(jù)中心的單位建設(shè)運營成本以及資源供給能力之間的關(guān)系模型，并對不同數(shù)據(jù)中心建立投入產(chǎn)出效用模型，最終得到全局優(yōu)化的資源配置與能力規(guī)劃方案。

5 結(jié)束語

由于云計算技術(shù)的發(fā)展時間尚短，學(xué)術(shù)界針對大規(guī)模云計算資源調(diào)度、管理和優(yōu)化的有關(guān)理論與技術(shù)的研究仍處于初期階段；工業(yè)界以亞馬遜EC2為代表的傳統(tǒng)彈性云服務(wù)雖然已經(jīng)實現(xiàn)了商業(yè)應(yīng)用，并取得了一定程度上的成功，但是，在復(fù)雜云計算環(huán)境下的資源調(diào)度和管理的優(yōu)化問題遠未得到解決。

本文從虛擬機放置優(yōu)化算法，虛擬資源動態(tài)伸縮模型、多IDC間的全局云計算資源調(diào)度、全局資源配置及能力規(guī)劃模型等4個方面對國內(nèi)外當(dāng)前云計算環(huán)境下的自適應(yīng)資源管理技術(shù)研究現(xiàn)狀進行了闡述及分析?？傮w而言，這4個領(lǐng)域的研究都已經(jīng)取得了或多或少的進展，但是，仍舊存在一些關(guān)鍵問題有待進一步深入研究與改進。值得注意的是，這4個方面并不是完全獨立的4個領(lǐng)域，相反，它們是相互影響、相互依存的。因此，在未來的研究中，即要針對各個領(lǐng)域的現(xiàn)存問題提出更有效的解決方案，也應(yīng)關(guān)注它們之間的結(jié)合與協(xié)作方式。

［1］ Nakada H， Hirofuchi T. Toward virtual machine packing optimization based on genetic algorithm ［G］.LNCS 5518：Berlin Heidelberg：Proceedings of the 10th International Work－Conference on Artificial Neural Networks：Part II：Distributed Computing，Artificial Intelligence Bioinformatics Soft Computing，and Ambient Assisted Living，2009：651－654.

［2］Nakada H，Hirofuchi T.Eliminating datacenter idle power with dynamic and intelligent VM relocation ［C］.Berlin Heidelberg：Advances in Intelligent and Soft Computing，2010：645－648.

［3］Steven S，Skiena.The algorithm design manual［M］.Springer，2008：595－598.

［4］Wenceslas Fernandez de la Vega，George S Lueker.Bin packing can be solved within epsilon in linear time ［M］.Combinatorica，1981：349－355.

［5］Gupta R.A two stage heuristic algorithm for solving the server consolidation problem with item－item and bin－item incompatibility constraints ［C］.Honolulu USA：IEEE International Conference on Services Computing，2008：39－46.

［6］Agrawal S，Bose S K，Sundarrajan S.Grouping genetic algorithm for solving the server consolidation with conflicts ［C］.Atlanta，USA：ACM/SIGEVO Summit Genetic and Evolutionary Computation，2008：1－8.

［7］Park J，Kim J，Choi H，et al.Virtual machine migration in selfmanaging virtualized server environments ［C］.South Korea：International Conference on Advanced Communication Technology，2009：2077－2083.

［8］CHEN G，HE W，LIU J，et al.Energy－aware server provisioning and load dispatching for connection－intensive internet services ［C］.San Francisco，California：Proceedings of USENIX Symposium on NSDI，2008：337－350.

［9］Nedevschi S，Popal L，Iannaccone G，et al.Reducing network energy consumption via sleeping and rate adaptation ［C］.San Francisco，California：Proceedings of USENIX Symposium on NSDI，2008：323－336.

［10］FAN X，Weber W，Barroso L A.Power provisioning for a warehousesized computer ［C］.San Diego，CA：Proceedings of International Symposium on Computer Architecture，2007：13－23.

［11］HEO J，Henriksson D，LIU X，et al.Integrating adaptive components：An emerging challenge in performance－adaptive systems and a server farm case－study ［C］.Tucson，AZ：IEEE Real－Time Systems Symposium，2007：227－238.

［12］RAO L，LIU X，XIE L，et al.Minimizing electricity cost：Optimization of distributed internet data centers in a multi－electricity market environment ［C］.San Diego，CA：IEEE INFOCOM，2010：1－9.

［13］Jung G，Joshi K，Hiltunen M，et al.Mistral：Dynamically managing power performance and adaptation cost in cloud infrastructures ［C］.Genoa，Italy：International Conference on Distributed Computing Systems，2010：62－73.

［14］Vasileios Pappas，ZHANG Li.Improving the scalability of data center networks with traffic－aware virtual machine ［C］.San Diego，CA：IEEE INFOCOM，2010：1－9.

［15］Tsakalozos K，Roussopoulos M，F(xiàn)loros V，et al.Nefeli：Hint－based execution of workloads in clouds ［C］.Genoa，Italy：International Conference on Distributed Computing Systems，2010：72－85.

［16］Chris Hyser，Bret Mckee，Rob Gardner，et al.Autonomic virtual machine placement in the data center ［R］.HP Labs Technical Report，2007.

［17］Padala P，ZHU X.Automated control of multiple virtualized resources［C］.Nuremberg，Germany：ACM EuroSys，2009：13－26.

［18］Swarna Mylavarapu，Vijay Sukthankar，Pradipta Banerjee.An optimized capacity planning approach for virtual infrastructure exhibiting stochastic workload ［C］.Sierre，Switzerland：ACM Symposium on Applied Computing，2010：386－390.

［19］Daniel A Menasc′e，Mohamed N Bennani.Autonomic virtualized environments［C］.Silicon Valley，California，USA：International Conference on Autonomic and Autonomous Systems，2006.

［20］ZHAO Weiming，WANG Zhenlin，LUO Yingwei.Dynamic memory balancing for virtual machines ［C］.ACM SIGOPS Operating Systems Review，2009：37－47.

［21］SONG Ying，LI Yaqiong.A service－oriented priority－based resource scheduling scheme for virtualized utility computing［C］.Dalian：International Conference on High Performance Computing，2008：220－231.

［22］SONG Ying，WANG Hui，LI Yaqiong，et al.Multi－tiered ondemand resource scheduling for VM－based data center ［C］.Shanghai：International Symposium on Cluster，Cloud and Grid Computing，2009：148－155.

［23］ZHOU Wenyu，YANG Shoubao，F(xiàn)ANG Jun，et al.VMCTune：A load balancing scheme for virtual machine cluster based on dynamic resource allocation ［C］.Nanjin：International Conference on Grid and Cooperative Computing，2010：81－86.

［24］Timothy Wood，Prashant Shenoy，Arun Venkataramani，et al.Sandpiper：Black－box and gray－box resource management for virtual machines ［J］.Computer Networks，2009，53（17）：2923－2938.

［25］Hellerstein J L.Challenges in control engineering of computing systems ［C］.Boston，MA：Proceedings of American Control Conference，2004：1970－1979.

［26］Karamanolis C，Karlsson M，ZHU X.Designing controllable computer systems ［C］.Berkeley，CA，USA：Proceedings of Conference on Hot Topics in Operating Systems，2005.

［27］Pradeep Padala，Kai－Yuan Hou，Kang G Shin，et al.Automated control of multiple virtualized resources ［C］.Nuremberg，Germany：ACM EuroSys，2009：13－26.

［28］XU Wei，ZHU Xiaoyun，Sharad Singhal，et al.Predictive control for dynamic resource allocation in enterprise data centers［C］.Vancouver，Canada：IEEE/IFIP Network Operations and Management Symposium，2006：115－126.

［29］Assuncao M D D，Costanzo A d，Buyya R.Evaluating the cost－benefit of using cloud computing to extend the capacity of clusters ［C］.Munich，Germany：ACM International Sympo－sium on High Performance Distributed Computing，2009：141－150.

［30］ Mohammad Hajjat，XIN Sun，Yu－Wei Eric Sung，et al.Cloudward bound：Planning for beneficial migration of enterprise applications to the cloud ［C］.New Delhi，India：ACM SIGCOMM，2010：243－254.

［31］NIE L，XU Z.An adaptive scheduling mechanism for elastic grid computing ［C］.Zhuhai：International Conference on Semantics Knowledge and Grid，2009：184－191.

［32］Agarwal S，Dunagan J，Jain N，et al.Volley：Automated data placement for geo－distributed cloud services ［C］.San Jose，California： Proceedings of USENIX Symposium on NSDI，2010.

［33］Rochwerger B，Breitgand D，Levy E，et al.The reservoir model and architecture for open federated cloud computing［R］.IBM Systems J，2008.

［34］Ashraf Bany Mohammed，Jhn Altmann，Junseok Hwang.Cloud computing value chains： Understanding businesses and value creation in the cloud ［C］.Basel－Boston－Berlin：Economic Models and Algorithms for Distributed Systems，2009：187－208.

［35］Allspaw J.The art of capacity planning：Scaling web resources［M］.Reilly Media，2008.

［36］Menasce D A，Almeida V.Capacity planning for web services：Metrics models and methods ［R］.Upper Saddle River，NJ，USA：Prentice Hall PTR，2001.

［37］Almeida V.Capacity planning for web services ［R］.Performance Evaluation of Complex Systems： Techniques and Tools Performance Tutorial Lectures.London，UK：Springer－Verlag，2002：142－157.

［38］Raquel Lopes，F(xiàn)rancisco Brasileiro，Paulo Ditarso Maciel Jr.Business－driven capacity planning of a cloud－based IT infrastructure for the execution of web applications ［C］.Atlanta，Georgia：IEEE International Symposium on Parallel ＆ Distributed Processing，Workshops and Phd Forum，2010：1－8.

［39］LEE In.A model for determining the optimal capacity investment for utility computing ［C］.Basel－Boston－Berlin：Econo－mic Models and Algorithms for Distributed Systems，2009：209－220.