基于虛擬機遷移的數(shù)據(jù)中心異構(gòu)負載的能耗優(yōu)化算法

陳曉博

國家廣播電視總局監(jiān)測數(shù)據(jù)處理中心

0 引言

虛擬化技術(shù)最初用于將不同的任務(wù)合并到同一節(jié)點中，以避免其部分物理服務(wù)器的利用率過低，虛擬化促進計算和存儲資源的整合，能耗效率進一步提高。同時，虛擬化計算也通過虛擬機遷移和快照計算，提供更加靈活的資源調(diào)度管理方式。虛擬機可以異構(gòu)負載，如集群任務(wù)和Web應(yīng)用等作為實例。從業(yè)務(wù)支撐的角度來看，數(shù)據(jù)中心可以通過虛擬化的數(shù)據(jù)中心為業(yè)務(wù)提供各類資源，也需要面對能源成本居高不下、虛擬化復(fù)雜度提高、高可用性和高性能的應(yīng)用增多等問題。因此，如何降低數(shù)據(jù)中心的運行成本是亟待解決的問題。基于此，本文提出了一種虛擬化數(shù)據(jù)中心管理的新方法，在降低運行能耗成本的同時，根據(jù)功耗、冗余性、服務(wù)級別等多個方面對數(shù)據(jù)中心節(jié)點中的虛擬機進行分配。

虛擬化技術(shù)對能耗效率的調(diào)度，不限于靜態(tài)整合和關(guān)閉一些未使用的節(jié)點，虛擬機遷移可以將工作負載從一個未充分使用的節(jié)點動態(tài)地移動到另一個大部分已滿的節(jié)點。同時，虛擬化的遷移也帶來了一些開銷，例如，虛擬機創(chuàng)建和實例化、遷移、快照等增加的額外開銷。基于虛擬化的特點，本文提出了一個完整的數(shù)據(jù)中心節(jié)點間虛擬機調(diào)度策略，并根據(jù)其性質(zhì)將其建模為能耗成本，該策略以運行成本最低為目標，尋求最優(yōu)的虛擬機分配。

1 微管理虛擬化數(shù)據(jù)中心提供整體調(diào)度方案

如何通過虛擬化技術(shù)實現(xiàn)數(shù)據(jù)中心的能耗成本控制是近期研究的熱點。首先，近年來，基于集群的系統(tǒng)電源管理已經(jīng)在計算資源管理領(lǐng)域得到了解決，重點是在多處理器環(huán)境中應(yīng)用能源優(yōu)化技術(shù)，動態(tài)電壓/頻率縮放（DVFS）或關(guān)閉空閑服務(wù)器，也可以降低能耗，但可能會增加硬件故障和降低服務(wù)等級。其次，通過更智能的調(diào)度策略來動態(tài)關(guān)閉空閑機器，以降低總體消耗，也可以通過物理服務(wù)器底層的本地節(jié)點DVFS功能，根據(jù)負載自動改變頻率。最后，還可以通過管理共享服務(wù)器資源來降低總體能耗，分配不同服務(wù)器之間分配工作負載。對于典型的網(wǎng)絡(luò)潮汐式工作負載，可以將服務(wù)器的能耗減少20%?？紤]到虛擬化開銷，采用虛擬機來執(zhí)行異構(gòu)的負載，通過支持虛擬機遷移和虛擬機布局優(yōu)化來降低虛擬化數(shù)據(jù)中心的功耗，同時，減少人為干預(yù)。本文為管理虛擬化數(shù)據(jù)中心提供了一個整體的調(diào)度方案，綜合考慮了虛擬化開銷、節(jié)點的可靠性以及與數(shù)據(jù)中心運行相關(guān)的能耗優(yōu)化模型。

2 能耗優(yōu)化算法

本文提出的方法主要是通過虛擬化來降低整體的能耗，根據(jù)和業(yè)務(wù)流程相關(guān)的運行成本為虛擬化數(shù)據(jù)中心建模，包括：作業(yè)執(zhí)行、打開或關(guān)閉虛擬機等典型流程以及虛擬機創(chuàng)建、遷移和快照等。

每個虛擬機分配都有一個能耗綜合評分，分值為在主機中虛擬機相關(guān)的所有單個業(yè)務(wù)和運行成本的總和。需要考慮不同類型的成本（時間、功率和能耗），所有這些單元都需要合并到一個公共單元中。

2.1 前提條件

首先，調(diào)度必須檢查物理主機是否能夠分配虛擬機。這是通過評估虛擬機需求來實現(xiàn)的，虛擬機需求包括硬件操作系統(tǒng)類型、CPU、內(nèi)存數(shù)量及應(yīng)用軟件等。如果物理主機不可用，則設(shè)置為無窮大，在虛擬機調(diào)度中應(yīng)避免將虛擬機放置到該主機中。其次，除了靜態(tài)需求之外，在分配新虛擬機之后，要檢查主機占用情況，來檢查添加新虛擬機之后主機是否有足夠的資源來執(zhí)行所有業(yè)務(wù)，不可行的情況則丟棄。

2.2 虛擬機運行

虛擬機的運行需要考慮與執(zhí)行任務(wù)相關(guān)的能源消耗和業(yè)務(wù)負載。當前，有根據(jù)執(zhí)行時間執(zhí)行給定虛擬機所運行的業(yè)務(wù)負載，還有與運行虛擬機相關(guān)的成本及維護基礎(chǔ)設(shè)施的成本。其中，虛擬機運行成本Cvar(h,vm)為可變值，基礎(chǔ)設(shè)施的成本為固定值Cfix(h)。

（1）可變成本：在物理主機中執(zhí)行虛擬機的成本為能源消耗。給定主機的耗電量與其利用率成正比，計算給定主機中每個虛擬機的耗電量Cpwr(h,vm)。

（2）固定成本：與物理主機維護及機房維護相關(guān)的成本。

2.3 虛擬機調(diào)度

（1）創(chuàng)建開銷，即創(chuàng)建和啟動虛擬機，在準備運行任務(wù)之前所需的時間。（2）遷移開銷，是在兩個不同節(jié)點之間移動正在運行的虛擬機時產(chǎn)生的開銷。當需要在系統(tǒng)中啟動一個新的虛擬機時，在每個主機中創(chuàng)建和啟動時間被認為是一項成本。同時，也要考慮遷移虛擬機所需的時間，防止同一個虛擬機過于頻繁地移動。

此外，使用遷移懲罰函數(shù)Pm，根據(jù)用戶初始需求估計剩余執(zhí)行時間，目的是懲罰那些剩余執(zhí)行時間很短的虛擬機的遷移。定義：

其中，Tm為虛擬機遷移時間，Tr為虛擬機遷移剩余時間。

另一個因素是并發(fā)性，在同一時間執(zhí)行多個操作會產(chǎn)生對CPU、內(nèi)存和磁盤空間的競爭，將增加額外的開銷。對此，為每個主機計算一個并發(fā)懲罰，以計算是否已經(jīng)在創(chuàng)建或遷移一個虛擬機。此成本應(yīng)用于那些可以創(chuàng)建或移動到該節(jié)點的虛擬機。

虛擬化成本還要考慮虛擬機之間的依賴關(guān)系，如果某項業(yè)務(wù)想要部署應(yīng)用程序服務(wù)器和數(shù)據(jù)庫，需要避免在不同的業(yè)務(wù)集群進行部署。使用虛擬機操作的這些成本是由額外時間Top帶來的，虛擬機在運行時意味著不同的成本。具體包括：（1）物理主機維護的固定成本。（2）主機在不在虛擬機運行業(yè)務(wù)負載的情況下使用的功率。（3）使用主機而不執(zhí)行虛擬機承載業(yè)務(wù)的代價。則整體的消耗為：

2.4 調(diào)度策略

如果知道在每個物理主機上執(zhí)行每個虛擬機的業(yè)務(wù)負載和運行成本，則得到：

通過這個矩陣，可以找到對整個系統(tǒng)更低成本的組合。正數(shù)代表成本低，負數(shù)代表成本高。在對矩陣進行預(yù)處理后，從每次迭代中選擇代表整個系統(tǒng)的矩陣的最大值開始進行優(yōu)化。在將相應(yīng)的虛擬機移動到新的主機之后，矩陣得到新的分數(shù)，迭代直到成本矩陣沒有正值。然而，在虛擬機移動中總是存在不收斂的可能性，因此，每個調(diào)度周期的移動次數(shù)是有限的。當矩陣達到所有值均為負或零的狀態(tài)或移動次數(shù)達到給定限制時，假定已找到當前系統(tǒng)配置的次優(yōu)解決方案。

3 算法執(zhí)行

一旦調(diào)度策略決定了每個虛擬機的物理主機分配關(guān)系，就需要使用虛擬化工具進行虛擬機的創(chuàng)建和遷移。如果虛擬機從未在系統(tǒng)中運行過，調(diào)度程序?qū)⒄{(diào)用所選節(jié)點來創(chuàng)建此虛擬機。如果給定的虛擬機已從一個節(jié)點移動到另一個節(jié)點，調(diào)度程序?qū)⒁螽斍皥?zhí)行節(jié)點將其遷移到新位置。此外，如果虛擬機在發(fā)生故障的節(jié)點中運行，則新的執(zhí)行節(jié)點會嘗試從最近的快照進行恢復(fù)，如果沒有可用的快照，則會重新創(chuàng)建虛擬機。

3.1 虛擬主機

為了實現(xiàn)包含要創(chuàng)建的新虛擬機或失敗的虛擬機的隊列，添加了一個特殊的主機，即虛擬主機，充當一個隊列，其中，未分配的虛擬機是臨時調(diào)度的，通過為該主機中的虛擬機分配一個無限的開銷來實現(xiàn)的，保留這些虛擬機而不進行實際分配的代價是最大的。

3.2 冗余機制

每個主機都有一個介于0～1的給定可用性系數(shù)，如果該可用性系數(shù)為90%或更小，則該可用性系數(shù)為0；如果節(jié)點始終處于運行狀態(tài)，即沒有故障，則該可用性系數(shù)為1。此外，本文的方法支持從快照恢復(fù)執(zhí)行的功能。系統(tǒng)根據(jù)執(zhí)行檢查點的收益率周期性地決定執(zhí)行快照。首先，檢查VM是否是無狀態(tài)的，在這種情況下不執(zhí)行任何快照，否則將檢查最后一個檢查點之后經(jīng)過的執(zhí)行時間，如果需要考慮執(zhí)行快照所需的時間，將執(zhí)行快照恢復(fù)。其次，為了完成恢復(fù)機制，當一個節(jié)點發(fā)生故障時，將在該主機上執(zhí)行的虛擬機以無限的代價移動到虛擬主機。

3.3 開機/關(guān)機

當一個節(jié)點可以關(guān)閉以節(jié)省功耗，或者再次打開以用于完成任務(wù)服務(wù)等級時，這個決定是由維護一個節(jié)點的成本和兩個閾值驅(qū)動的：最小工作主機閾值和最大工作主機閾值。當工作節(jié)點的比率超過閾值，調(diào)度程序必須開始打開停止的節(jié)點。根據(jù)可靠性、啟動時間等參數(shù)選擇需要開啟的節(jié)點；當工作節(jié)點的比率低于此值時，調(diào)度器可以開始關(guān)閉節(jié)點。

4 實驗環(huán)境

本文提出的調(diào)度策略將在虛擬化數(shù)據(jù)中心上進行測試，虛擬化數(shù)據(jù)中心執(zhí)行批處理作業(yè)，并承載各類工作負載?？紤]虛擬化開銷，包括創(chuàng)建、遷移、快照、打開和關(guān)閉節(jié)點的能力以及功耗。為了模擬將要執(zhí)行的應(yīng)用程序的性能，本團隊使用了不同的CPU密集型任務(wù)來模擬工作負載，并使用測試工具Serverspec來模擬基于Web的應(yīng)用程序。為了模擬服務(wù)器的性能，將上述模式分為3個階段：當工作負載導(dǎo)致CPU利用率低于60%時；當CPU利用率在60%～80%；當服務(wù)器過載時，即CPU利用率大于80%。

為了驗證模擬器的功耗，將一個真實的工作負載提交給一個引起不同情況的節(jié)點，并測量了CPU使用率和功耗。工作負載主要是編目業(yè)務(wù)中的語音識別批處理作業(yè)和業(yè)務(wù)系統(tǒng)的Web訪問服務(wù)組成的異構(gòu)工作負載。批處理作業(yè)和Web應(yīng)用服務(wù)具有由不同度量值的服務(wù)級別，例如，可用性，通常表示為正常運行時間百分比；性能通常由響應(yīng)時間判定，以秒為單位。一旦知道服務(wù)等級被違反的時間百分比，就使用這個違反率作為輸入來確定服務(wù)等級懲罰。

實驗包括對一個具有30個節(jié)點的整個虛擬化數(shù)據(jù)中心的模擬。根據(jù)虛擬化開銷，數(shù)據(jù)中心配置為具有3種不同類型的節(jié)點，有10個快速節(jié)點，其虛擬機創(chuàng)建時間為20 s，遷移時間為30 s；10個中等節(jié)點，其創(chuàng)建時間為40 s，遷移時間為60 s；10個慢速節(jié)點，其創(chuàng)建時間為60 s，遷移時間為80 s。

5 算法評估

本節(jié)將評估建議的調(diào)度策略，并在執(zhí)行已引入的異構(gòu)工作負載時將其與常見的調(diào)度技術(shù)進行比較。此評估考慮了不同的參數(shù)，如功耗、業(yè)務(wù)負載和運行節(jié)點數(shù)、服務(wù)質(zhì)量。為了度量服務(wù)質(zhì)量，使用了編目作業(yè)的隊列時間和Web應(yīng)用程序使用響應(yīng)時間，用于定義服務(wù)等級懲罰的度量。

本節(jié)評估處理虛擬化開銷的效果，靜態(tài)調(diào)度的結(jié)果如表1所示，其只在提交虛擬機時分配一個節(jié)點，而不移動。靜態(tài)策略是隨機分配任務(wù)，將任務(wù)分配給每個可用節(jié)點，因此，既意味一個任務(wù)的資源量最大化，也意味這些資源的利用率較低。此外，還評估了一個合并策略，試圖填充盡可能多的節(jié)點，物理主機的利用率較高，但其對服務(wù)的響應(yīng)較慢；動態(tài)策略A只考慮硬件、軟件和資源需求、電源效率，不執(zhí)行遷移，B策略通過考慮虛擬化開銷來擴展A，允許通過減少服務(wù)等級懲罰來獲得更好的收益，本團隊提出的策略C考慮了所有成本并包括遷移功能。結(jié)果表明，因為沒有考慮引入的虛擬化開銷，靜態(tài)策略的性能非常差，靜態(tài)合并策略試圖進行保守的整合，共完成89次遷移；但是C能夠通過執(zhí)行891次遷移來降低運行成本。

表1 不同虛擬機遷移策略的調(diào)度結(jié)果

6 結(jié)束語

本文提出了一種利用虛擬化的調(diào)度策略，通過調(diào)度虛擬機節(jié)點來整合多個異構(gòu)工作負載，并降低運行成本。該策略能夠考慮不同的成本，如硬件功耗、虛擬化開銷、遷移或創(chuàng)建以及由于低性能而導(dǎo)致的服務(wù)等級降低的懲罰等。同時，也考慮到了虛擬化的冗余配置，系統(tǒng)能夠恢復(fù)以前的任務(wù)執(zhí)行進度，并減少在故障環(huán)境中所需的計算時間，使其更高效和可靠。實踐結(jié)果表明，相對于典型的策略，其可以有效降低運行成本，并在這些場景中提供能耗和業(yè)務(wù)效率的實質(zhì)性改進。