基于排隊(duì)論的異構(gòu)數(shù)據(jù)中心性能及能源管理策略

孫 健，廖 丹，李 可，鞏 玉，孫 罡

(1.電子科技大學(xué)光纖傳感與通信教育部重點(diǎn)實(shí)驗(yàn)室 成都 611731；2.西南交通大學(xué)信息科學(xué)與工程學(xué)院 成都 610031)

對(duì)于互聯(lián)網(wǎng)服務(wù)與云計(jì)算不斷增長(zhǎng)的需求使數(shù)據(jù)中心內(nèi)運(yùn)行的服務(wù)器數(shù)量也由幾百臺(tái)迅速增至幾萬(wàn)臺(tái)，因此數(shù)據(jù)中心的電量開(kāi)銷(xiāo)巨大。例如，2011年，美國(guó)數(shù)據(jù)中心的能耗就達(dá)到了每年1 100萬(wàn)kW/h[1]，同時(shí)其低負(fù)載的數(shù)據(jù)中心能耗是最大能耗的65%左右[2]。這是因?yàn)樗械臄?shù)據(jù)中心都是根據(jù)高峰時(shí)刻的負(fù)載設(shè)計(jì)的，即一個(gè)數(shù)據(jù)中心的平均負(fù)載水平只有最高負(fù)載的60%[3]。

有很多關(guān)于數(shù)據(jù)中心節(jié)能的研究[4-8]，尋找有效的方法在低工作負(fù)載時(shí)期關(guān)閉暫時(shí)無(wú)用的服務(wù)器非常重要[9-10]。當(dāng)數(shù)據(jù)中心的負(fù)載增加時(shí)，這些服務(wù)器可再次開(kāi)啟。然而，這一項(xiàng)操作可能會(huì)使一些服務(wù)延遲，且對(duì)等待時(shí)間、業(yè)務(wù)阻塞率、系統(tǒng)平均業(yè)務(wù)數(shù)量等性能參數(shù)產(chǎn)生影響[9]。當(dāng)服務(wù)器減少時(shí)，一些業(yè)務(wù)可能會(huì)遇到不可忽視的延遲，甚至可能堵塞。因此，在限制能耗的同時(shí)保持良好的性能有著重要的意義。

許多關(guān)于數(shù)據(jù)中心的研究都建立在所有服務(wù)器均有相同處理能力的同構(gòu)環(huán)境假設(shè)上[9-10]。而實(shí)際上，數(shù)據(jù)中心會(huì)根據(jù)容量的增加以及規(guī)格的變化不斷升級(jí)服務(wù)器[11]。隨著時(shí)間的推移，最終數(shù)據(jù)中心將由一系列不同處理能力的異構(gòu)服務(wù)器組成。在異構(gòu)環(huán)境里分配業(yè)務(wù)時(shí)，不同的分配策略會(huì)導(dǎo)致功率效率的明顯不同。譬如，一些業(yè)務(wù)在某個(gè)特定服務(wù)節(jié)點(diǎn)上要比在其他節(jié)點(diǎn)上運(yùn)營(yíng)得要快，這就意味著更少的處理時(shí)間以及更低的能耗。因此，在異構(gòu)環(huán)境下選擇需要被關(guān)閉的服務(wù)器又是一大挑戰(zhàn)。

基于以上兩點(diǎn)建立數(shù)據(jù)中心模型，其中排隊(duì)系統(tǒng)為任務(wù)單獨(dú)到達(dá)、任務(wù)緩存容量有限的M/M/n+m1+m2數(shù)學(xué)模型。系統(tǒng)中所有的服務(wù)器根據(jù)其處理能力被分為3組。假設(shè)任意發(fā)送到數(shù)據(jù)中心的業(yè)務(wù)都在合適的服務(wù)器節(jié)點(diǎn)中接受服務(wù)，一旦服務(wù)結(jié)束，業(yè)務(wù)離開(kāi)數(shù)據(jù)中心?；趯?shí)時(shí)的負(fù)載，根據(jù)在隊(duì)列長(zhǎng)度上設(shè)置的閾值來(lái)開(kāi)啟備用的服務(wù)器，根據(jù)系統(tǒng)中的總業(yè)務(wù)數(shù)量來(lái)關(guān)閉備用服務(wù)器，從而達(dá)到動(dòng)態(tài)調(diào)整服務(wù)器數(shù)量以節(jié)約能源的目的。此外，采用優(yōu)化策略來(lái)尋找最佳閾值。

1 相關(guān)工作

近年來(lái)大型數(shù)據(jù)中心中的能源利用率以及性能管理獲得了大量的研究關(guān)注。這些研究工作可分為兩類(lèi)：動(dòng)態(tài)資源管理和靜態(tài)資源管理。靜態(tài)資源管理的實(shí)施吸引了不少研究。文獻(xiàn)[12]闡述了一種最優(yōu)化問(wèn)題得到一個(gè)服務(wù)器簇中已知工作負(fù)載的最佳資源規(guī)劃策略。然而，由于這種策略通過(guò)過(guò)度資源供給來(lái)滿(mǎn)足高負(fù)載下的性能要求，該策略將消耗過(guò)量的能源。因此，近期更多的工作都圍繞根據(jù)實(shí)時(shí)負(fù)載開(kāi)啟或關(guān)閉服務(wù)器的動(dòng)態(tài)情形展開(kāi)[10-11,13]。文獻(xiàn)[10]也提出了一種動(dòng)態(tài)調(diào)整運(yùn)行中的服務(wù)器的方案，以尋找消耗能量與服務(wù)質(zhì)量之間的平衡。文獻(xiàn)[13]則通過(guò)建立數(shù)學(xué)模型來(lái)權(quán)衡數(shù)據(jù)中心能耗成本最小化與互聯(lián)網(wǎng)服務(wù)利益最大化。

一些關(guān)于衡量能源與性能的研究都采取了排隊(duì)論。文獻(xiàn)[11]探討了單服務(wù)器與多服務(wù)兩種模型，其中建立時(shí)間是常值，服務(wù)時(shí)間和到達(dá)時(shí)間間隔都服從負(fù)指數(shù)分布。同時(shí)還討論了時(shí)變到達(dá)的解決方法；文獻(xiàn)[14]討論了類(lèi)似的問(wèn)題，但它提出使用馬爾科夫鏈來(lái)預(yù)測(cè)未來(lái)服務(wù)需求以判定需要激活的服務(wù)器數(shù)量。文獻(xiàn)[15]提出了一種評(píng)估等待時(shí)間與功率折中的理論模型。

最領(lǐng)先的研究工作中已經(jīng)考慮到了異構(gòu)性，包括異構(gòu)多核結(jié)構(gòu)的評(píng)估。文獻(xiàn)[16]探討了在數(shù)據(jù)中心內(nèi)將有限的能量分配給多個(gè)異構(gòu)的服務(wù)器從而最大化性能的方法。文獻(xiàn)[17]假設(shè)數(shù)據(jù)中心內(nèi)所有服務(wù)器相同，重點(diǎn)研究了能耗與性能的多目標(biāo)優(yōu)化。本文將要探索多臺(tái)異構(gòu)服務(wù)器的數(shù)據(jù)中心內(nèi)，性能限定情況下的能耗最優(yōu)化。

2 系統(tǒng)模型

圖1為根據(jù)不同處理能力及耗能狀況分成的3組異構(gòu)服務(wù)器。3組服務(wù)器的數(shù)量分別為n、m1、m2臺(tái)。

假設(shè)每個(gè)服務(wù)器每次只能接受單個(gè)業(yè)務(wù)，業(yè)務(wù)到達(dá)服從均值為λ的泊松分布，服務(wù)時(shí)間服從均值為μ的負(fù)指數(shù)分布，那么，該系統(tǒng)可以被認(rèn)為是M/M/n+m1+m2的排隊(duì)論模型。一個(gè)分組中的業(yè)務(wù)首先被分配給第一組的空閑服務(wù)器。如果第一組中沒(méi)有空閑的服務(wù)器，那么該業(yè)務(wù)被迫進(jìn)入隊(duì)列等待服務(wù)器完成當(dāng)前業(yè)務(wù)。服務(wù)器完成當(dāng)前業(yè)務(wù)后將選取隊(duì)列中的業(yè)務(wù)。

圖1 系統(tǒng)模型

在初始階段，系統(tǒng)只開(kāi)啟第一組服務(wù)器。如果隊(duì)列中的業(yè)務(wù)數(shù)目多于θ1，也就是系統(tǒng)中總的業(yè)務(wù)數(shù)目多于n+θ1時(shí)，那么系統(tǒng)啟動(dòng)第二組服務(wù)器。如果系統(tǒng)中總的業(yè)務(wù)數(shù)目低于n，系統(tǒng)關(guān)閉第二組服務(wù)器。同理，在第二組服務(wù)器已經(jīng)啟動(dòng)的情況下，如果隊(duì)列中的業(yè)務(wù)數(shù)目多于θ2，第三組服務(wù)器開(kāi)啟。如果系統(tǒng)的總業(yè)務(wù)數(shù)目低于n+m1，系統(tǒng)將關(guān)閉第三組服務(wù)器。

由于服務(wù)器的狀態(tài)可能是開(kāi)啟或關(guān)閉的，因此需要建立服務(wù)器的狀態(tài)轉(zhuǎn)移模型，如圖2所示。圖2a給出了第一組服務(wù)器的兩種狀態(tài)，即忙碌或空閑。處于忙碌狀態(tài)的服務(wù)器完成了當(dāng)前業(yè)務(wù)且隊(duì)列中沒(méi)有業(yè)務(wù)時(shí)，該服務(wù)器的狀態(tài)將轉(zhuǎn)為空閑。圖2b展示了第二組服務(wù)器和第三組的服務(wù)器更有效節(jié)能的狀態(tài)模型。該狀態(tài)模型包括忙碌、空閑、關(guān)閉3個(gè)狀態(tài)。系統(tǒng)能夠根據(jù)負(fù)載實(shí)時(shí)啟動(dòng)、關(guān)閉第二組服務(wù)器和第三組服務(wù)器。

圖2 服務(wù)器狀態(tài)模型

3 分析模型

采用排隊(duì)論對(duì)第2節(jié)提出的節(jié)能數(shù)據(jù)中心模型進(jìn)行數(shù)學(xué)建模。系統(tǒng)中多個(gè)服務(wù)器的最佳開(kāi)啟閾值是利用排隊(duì)論實(shí)現(xiàn)節(jié)能的關(guān)鍵問(wèn)題之一。

3.1 馬爾科夫鏈

圖3為系統(tǒng)的狀態(tài)轉(zhuǎn)移圖。由于該系統(tǒng)是M/M/n+m1+m2排隊(duì)模型，首先要定義狀態(tài)空間。在馬爾科夫鏈中，靜態(tài)概率就是系統(tǒng)中每個(gè)狀態(tài)服從靜態(tài)分布的概率。用隨機(jī)變量x(i,j)表示靜態(tài)概率，其中i，j分別表示系統(tǒng)中總的業(yè)務(wù)數(shù)量和服務(wù)器的狀態(tài)。j=0時(shí)，只有第一組服務(wù)啟動(dòng)。j=1時(shí)，第一組服務(wù)器和第二組服務(wù)器都被啟動(dòng)；j=2時(shí)，第一組服務(wù)器、第二組服務(wù)器和第三組服務(wù)器都啟動(dòng)。基于狀態(tài)空間以及狀態(tài)轉(zhuǎn)換，用和表示系統(tǒng)中服務(wù)器的3種宏觀的工作狀態(tài)。利用圖3中的馬爾科夫鏈和馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率守恒公式，可以得出以下結(jié)論：

首先考慮系統(tǒng)中只有0～i+θ1個(gè)服務(wù)并且只有第一組服務(wù)器開(kāi)啟的情況。其宏觀狀態(tài)的狀態(tài)轉(zhuǎn)移為：

圖3 狀態(tài)轉(zhuǎn)移圖

3.2 閉型解

對(duì)3.1節(jié)的狀態(tài)公式進(jìn)行迭代可以得到每個(gè)系統(tǒng)的狀態(tài)概率：

推出：

因此當(dāng)n+1≤ i≤n+θ1?1時(shí)，可以得到：

當(dāng)n+2≤ i≤n+θ1?1時(shí)，可得：

為了進(jìn)一步簡(jiǎn)化表達(dá)式，先定義：

因而當(dāng)n+θ1+1＜i＜n+m1時(shí)，有：

可求得：

當(dāng)n+＜m1i＜n+m1+θ2時(shí)，有：

為了簡(jiǎn)化再定義：

當(dāng)n+m1+m2≤i時(shí)，可得：

最后，以上所有概率相加之和應(yīng)為1，即：

因此x(0,0)可以求出，進(jìn)而各個(gè)狀態(tài)的概率都可以求得。

3.3 最優(yōu)化模型

當(dāng)?shù)玫綘顟B(tài)概率的值后，就可以對(duì)數(shù)據(jù)中心系統(tǒng)的性能進(jìn)行度量了。

1)平均意義上的隊(duì)列長(zhǎng)度：

2)到達(dá)系統(tǒng)的每個(gè)業(yè)務(wù)平均意義上的等待時(shí)間：

下面給出本文的最優(yōu)化模型。優(yōu)化目標(biāo)是最小化數(shù)據(jù)中心的能量消耗的同時(shí)保證數(shù)據(jù)中心系統(tǒng)的性能不被影響，即每個(gè)業(yè)務(wù)的平均等待時(shí)間不超過(guò)參數(shù)α。因此需要推算出系統(tǒng)達(dá)到最小能耗所需的最優(yōu)閾值θ1和θ2。

最優(yōu)化目標(biāo)：

約束條件：

由式(23)和式(24)可得總功率Ptotal與參數(shù)θ1和θ2是非線性關(guān)系。即使參數(shù)θ1和θ2已知的情況下，數(shù)據(jù)中心能耗系統(tǒng)的各狀態(tài)概率的求解仍然是一個(gè)復(fù)雜的問(wèn)題。故最優(yōu)的閥值θ1和θ2無(wú)法通過(guò)上述模型直接求得。因此本文采用另外一種方法，即在θ1和θ2的取值范圍內(nèi)通過(guò)上述方程求解系統(tǒng)各個(gè)狀態(tài)的概率，然后通過(guò)各個(gè)狀態(tài)的概率得到相應(yīng)的目標(biāo)函數(shù)值Ptotal，最后對(duì)比找到最優(yōu)開(kāi)啟閾值θ1和θ2。但這是一個(gè)NP問(wèn)題。因所求參數(shù)θ1和θ2與最優(yōu)目標(biāo)為非線性關(guān)系且隨著參數(shù)θ1和θ2取值范圍的擴(kuò)大，求解復(fù)雜度和方程的次數(shù)均呈指數(shù)增長(zhǎng)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 仿真方案

實(shí)驗(yàn)環(huán)境為C++，電腦配置為3.0 GHz Intel CPU、4 GB內(nèi)存。本文所有仿真結(jié)果中服務(wù)器的能耗按照文獻(xiàn)[13]給出的Intel Xeon E5320進(jìn)行計(jì)算。表1給出了本文所有仿真結(jié)果的參數(shù)設(shè)置。

表1 仿真參數(shù)設(shè)置

表中，N表示服務(wù)器總數(shù)，α表示平均等待時(shí)間，表示第k組服務(wù)器的工作功率，表示第k組服務(wù)器的空載功率。

4.2 運(yùn)行結(jié)果

圖4反應(yīng)了系統(tǒng)消耗功率和等待時(shí)間隨時(shí)間變化的情況，其中總等待時(shí)間被設(shè)置為90 s。同時(shí)，該圖從一定程度上反應(yīng)了本文提出的服務(wù)器調(diào)度方案的原理。仔細(xì)觀察該圖可以發(fā)現(xiàn)，在系統(tǒng)剛啟動(dòng)時(shí)，平均等待時(shí)間隨著業(yè)務(wù)數(shù)目的增大而加長(zhǎng)。這是因?yàn)楦嗟臉I(yè)務(wù)進(jìn)入隊(duì)列等待執(zhí)行，因此平均等待時(shí)間加長(zhǎng)。然而，當(dāng)業(yè)務(wù)數(shù)目增加到一定程度，即隊(duì)列中的業(yè)務(wù)數(shù)目超過(guò)閾值θ1時(shí)，平均等待時(shí)間開(kāi)始急劇縮短。這是因?yàn)榈诙M服務(wù)器的開(kāi)啟，隊(duì)列中的業(yè)務(wù)被第二組服務(wù)器執(zhí)行。同理，當(dāng)總業(yè)務(wù)數(shù)超過(guò)N+θ1+θ2時(shí)，第三組服務(wù)器啟動(dòng)。同時(shí)，系統(tǒng)能耗隨著第一組服務(wù)器和第二組服務(wù)的開(kāi)啟而增大。當(dāng)?shù)谌M服務(wù)器開(kāi)啟后，系統(tǒng)能耗基本保持穩(wěn)定，但是當(dāng)?shù)谌M服務(wù)器關(guān)閉后，系統(tǒng)能耗降低。這是因?yàn)殡S著工作服務(wù)器數(shù)目的增加，系統(tǒng)能耗增加。為了能夠清楚的看到系統(tǒng)能耗情況，圖中的實(shí)線框給出了穩(wěn)定的系統(tǒng)能耗，實(shí)線框的左邊框?qū)?yīng)的時(shí)刻是第三組服務(wù)器關(guān)閉的時(shí)刻。

圖5為不同參數(shù)閥值下的系統(tǒng)能耗值。從圖中不同閥值的能耗曲線可得，虛線所代表的系統(tǒng)功率值大多數(shù)情況下穩(wěn)定在150 W左右。而實(shí)線大多數(shù)情況下穩(wěn)定在250 W左右。而虛線時(shí)參數(shù)θ1和θ2最大，實(shí)線時(shí)參數(shù)最小。因此可以推斷出如下結(jié)論：1)參數(shù)值θ1和θ2設(shè)置較大時(shí)，系統(tǒng)功率變小。因?yàn)檩^大的參數(shù)值會(huì)減少開(kāi)啟的服務(wù)器個(gè)數(shù)；2)當(dāng)閾值θ1和θ2較高時(shí)，功率消耗的抖動(dòng)也更加頻繁。由此可得當(dāng)閾值較低的時(shí)候，功率的波動(dòng)會(huì)更加頻繁。

為了探討參數(shù)λ和μ與系統(tǒng)功率的關(guān)系。圖6分析了不同λ和μ情況下的系統(tǒng)功率情況。除了參數(shù)λ和μ不同以外，其他參數(shù)都是固定不變的。可以看出系統(tǒng)消耗總功率在同一組參數(shù)的情況下是隨著組數(shù)的增長(zhǎng)而下降的。當(dāng)在增大參數(shù)μ時(shí)，系統(tǒng)的平均服務(wù)時(shí)間會(huì)加長(zhǎng)。這將導(dǎo)致系統(tǒng)的等待隊(duì)列變長(zhǎng)。因此會(huì)喚醒第二組和第三組服務(wù)器加入工作中，故第二組和第三組的功率會(huì)增加。當(dāng)增大參數(shù)λ時(shí)，系統(tǒng)的業(yè)務(wù)到達(dá)率會(huì)變大，這將導(dǎo)致隊(duì)長(zhǎng)減小。因此第二組和第三組的服務(wù)器被打開(kāi)的概率減小，故其能耗降低。

圖4 系統(tǒng)消耗功率與等待時(shí)間隨時(shí)間的變化圖

圖5 θ1 與θ2下系統(tǒng)消耗的功率隨時(shí)間變化的示意圖

圖6 不同λ與μ組合下的系統(tǒng)總消耗功率

本文除了測(cè)試不同分組的功率消耗，還與文獻(xiàn)[15]提出的策略對(duì)比了總功耗，如圖7所示。盡管在兩種策略下，系統(tǒng)的功率在100個(gè)周期內(nèi)都在不停的變化，但本文策略的抖動(dòng)頻率相比于文獻(xiàn)[15]所提策略較低，即本文策略的系統(tǒng)穩(wěn)定性更好，而本文策略在起初位置的突起，是由系統(tǒng)中任務(wù)到達(dá)的隨機(jī)性引起的。

圖8再一次測(cè)試了兩種策略的系統(tǒng)功率，可看出本文策略不再有激凸部分，而文獻(xiàn)[15]提出的策略卻因?yàn)殡S機(jī)的任務(wù)到達(dá)環(huán)境出現(xiàn)了突起。但兩次仿真中，本文策略的抖動(dòng)頻率都比文獻(xiàn)[15]的策略低。

此外，從兩次仿真結(jié)果可以看出，兩種策略的平均功率相差不大，但是本文策略可以使系統(tǒng)處于更加穩(wěn)定的狀態(tài)，系統(tǒng)的平均能耗和服務(wù)器的狀態(tài)都會(huì)盡量維持穩(wěn)定。在傳統(tǒng)的大型數(shù)據(jù)中心內(nèi)，為了滿(mǎn)足業(yè)務(wù)峰值時(shí)期的需要，所有服務(wù)器都處于開(kāi)啟狀態(tài)，因此即使是全部空閑的低負(fù)載時(shí)期，系統(tǒng)的最低功率依然有450 W，而本文策略的平均功耗大約是350 W。由此可見(jiàn)，本文策略節(jié)約了20%以上的能源，達(dá)到了本文的節(jié)能目標(biāo)。

圖7 系統(tǒng)功率對(duì)比圖

圖8 系統(tǒng)功率對(duì)比圖

5 結(jié)束語(yǔ)

本文研究了多臺(tái)異構(gòu)服務(wù)器的數(shù)據(jù)中心的動(dòng)態(tài)調(diào)度機(jī)制。首先，使用排隊(duì)論尋找多臺(tái)異構(gòu)服務(wù)器的數(shù)據(jù)中心內(nèi)功率消耗與平均服務(wù)等待時(shí)間之間的關(guān)系，在保證一定的平均服務(wù)等待時(shí)間的系統(tǒng)性能前提下，給出了最小化能耗的最優(yōu)化問(wèn)題。最后，使用仿真實(shí)驗(yàn)證明了本文提出的調(diào)度機(jī)制可顯著改善系統(tǒng)能耗，該方法提供了一種在數(shù)據(jù)中心級(jí)別上權(quán)衡功率與性能的有效分析方案。接下來(lái)的工作將會(huì)使用現(xiàn)實(shí)的記錄來(lái)證明本文的仿真結(jié)果，并改進(jìn)本文的算法來(lái)尋找適用于可容納上百或上千臺(tái)服務(wù)器的大型數(shù)據(jù)中心的最優(yōu)解。

[1]BROWN R E, BROWN R, MASANET E, et al.Report to congress on server and data center energy efficiency: Public law 109-431[R].Ernest Orlando Lawrence Berkeley National Laboratory.Berkeley, USA: [s.n.], 2007.

[2]GREENBERG A, HAMILTON J, MALTZ D A, et al.The cost of a cloud: Research problems in data center networks[J].ACM SIGCOMM Computer Communication Review, 2008, 39(1): 68-73.

[3]BENSON T, AKELLA A, MALTZ D.Network traffic characteristics of data centers in the wild[C]//Internet Measurement Conference (IMC).Melbourne, Australia:[s.n.], 2010.

[4]DENG X, WU D, SHEN J, et al.Eco-aware online power management and load scheduling for green cloud datacenters[J].IEEE Systems Journal, 2016, 10(1): 78-87.

[5]ZHANG Q, SHI W.Energy-efficient workload placement in enterprise datacenters[J].Computer, 2016, 49(2): 46-52.

[6]ROSSI F, XAVIER M, ROSE C, et al.E-eco: Performanceaware energy-efficient cloud data center orchestration[J].Journal of Network and Computer Applications, 2017, 78:83-96.

[7]XU G, DAI B, HUANG B, et al.Bandwidth-aware energy efficient flow scheduling with SDN in data center networks[J].Future Generation Computer Systems, 2017, 68:163-174.

[8]KIM J, CHANG H, JUNG Y, et al.Energy conservation effects of a multi-stage outdoor air enabled cooling system in a data center[J].Energy and Buildings, 2017, 138:257-270.

[9]MAZZUCCO M, DYACHUK D, DETERS R.Maximizing cloud providers revenues via energy aware allocation policies[C]//IEEE International Conference on Cloud Computing.Miami, Florida: IEEE, 2010.

[10]DYACHUK D, MAZZUCCO M.On allocation policies for power and performance[C]//11th ACM/IEEE International Conference on Grid Computing (Grid 2010)-Energy Efficient Grids, Clouds and Clusters Workshop.Brussels,Belgium: IEEE, 2010.

[11]GANDHI A, GUPTA V, HARCHOL-BALTER M, et al.Optimality analysis of energy-performance trade-off for server farm management[J].Performance Evaluation, 2010,67(11): 1155-71.

[12]ZHENG X, CAI Y.Optimal server provisioning and frequency adjustment in server clusters[C]//IEEE 39th International Conference on Parallel Processing Workshops.[S.l.]: IEEE, 2010.

[13]GHAMKHARI M, MOHSENIAN-RAD H.Energy and performance management of green data centers: a profit maximization approach[J].IEEE Transactions on Smart Grid, 2013, 4(2): 1017-1025.

[14]GUENTER B, JAIN N, WILLIAMS C.Managing cost,performance and reliability tradeoffs for energy-aware serverprovisioning[C]//IEEE International Conference on Computer Communications.[S.l.]: IEEE, 2011.

[15]SCHWARTZ C, PRIES R, TRAN-GIA P.A queuing analysis of an energy-saving mechanism in data centers[C]//IEEE International Conference on Information Networking (ICOIN).[S.l.]: IEEE, 2012.

[16]WANG W, LUO J, SONG A, et al.Heterogeneity aware optimal power allocationin data center environments[J].Pervasive Computing and the Networked World, 2013,7719: 513-528.

[17]LI K.Optimal power allocation among multiple heterogeneous servers in a data center[J].Sustainable Computing: Informatics and Systems, 2012, 2(1): 13-22.

[18]INTEL CORP.Intel math kernel library 10.0-linpack[EB/OL].[2016-05-10].http://www.intel.com/cd/software/products/ asmo-na/eng/266857.htm, 2007.