云環(huán)境下網(wǎng)絡(luò)與IO密集型應用資源優(yōu)化策略

胡乃靜,游錄金,彭俊杰

1(上海立信會計金融學院 信息管理學院,上海 201620)2(同濟大學 控制科學與工程系,上海 201804)3(上海大學 計算機工程與科學學院,上海 200444)

1 引 言

隨著IT技術(shù)的發(fā)展,計算經(jīng)歷了從單機、到多級,從局部到網(wǎng)絡(luò),從集中到分布式,再到廣為應用的按需處理的云計算[1]模式.而云計算把網(wǎng)絡(luò)上的服務資源虛擬化,給用戶按需提供服務[2,3],是一種新的便捷有效的計算使用范式.

正是由于它的便捷性,因此云計算的需求不斷增大,近年來云計算不斷發(fā)展,數(shù)據(jù)中心的高能耗問題正越來越多的受到大家的關(guān)注,云計算時代,這一問題更加突出,因為資源的高度集中,使得云數(shù)據(jù)中心能耗備受關(guān)注,高效的能耗管理也將成為將來更大的挑戰(zhàn)[4-6].據(jù)報導,2006年美國數(shù)據(jù)中心消耗了的電能大約為610億千瓦時[7].根據(jù)IDC的市場調(diào)研報告結(jié)果顯示,全球的企業(yè)每年要為能耗花費大概400億美元[8].但是這些耗費大量能耗的數(shù)據(jù)中心,其利用效率低下,文獻[9]的研究結(jié)果表明,目前數(shù)據(jù)中心服務器的平均利用率大約在11%～50%之間.

因此如果想降低能耗,提高數(shù)據(jù)中心的利用率是一個有效的方法.要想有效的提高利用效率,根據(jù)應用的類型對不同類型的應用進行不同的調(diào)度是一個有效的途徑.云環(huán)境下,應用種類較多,考慮到網(wǎng)絡(luò)密集型會和IO密集型應用是最為廣泛應用的應用類型,本文研究了這兩種典型類型的應用,提出了基于應用類型的調(diào)度模型,并通過大量實驗證明了該模型的有效性,表明該模型可以有效的提高應用執(zhí)行效率,為以后提出基于應用類型的調(diào)度策略奠定了一定的基礎(chǔ).

2 相關(guān)研究

在云計算中的節(jié)能調(diào)度已經(jīng)得到廣大學者的關(guān)注,如Hamscher等人根據(jù)基于中心化的調(diào)度器思想,給出分布式環(huán)境下作業(yè)調(diào)度系統(tǒng)的拓撲結(jié)構(gòu),該結(jié)構(gòu)可以較好的應用于云環(huán)境中[10];Caron等人從提高云計算服務的角度,考慮了動態(tài)調(diào)度問題,給出了一種在保證QoS前提下的性能分析方法[11].文獻[12]從節(jié)能的角度,對云數(shù)據(jù)中心的能耗進行了研究,并試圖建立模型來對數(shù)據(jù)中心能耗進行分析預測.此外,很多學者也在其他不同角度對云計算的資源分配與能耗管理方面做了大量的研究,并取得了很多有意義的研究成果.如郝亮等針對云數(shù)據(jù)中心資源使用率、網(wǎng)絡(luò)工作負載及實施功率情況,提出了成本約束下的云計算能耗資源調(diào)度優(yōu)化算法,并提出根據(jù)全球時區(qū)性考慮電價成本,利用負載均衡的方法進行任務調(diào)度執(zhí)行,并以此給出任務分層算法,通過增加任務執(zhí)行的并行度與相關(guān)性,降低數(shù)據(jù)中心空閑概率[13].袁健等根據(jù)物理服務器的資源負載狀態(tài)確定動態(tài)的監(jiān)測周期,提出了當結(jié)點處于輕度過載或重度過載時,物理服務器自發(fā)地執(zhí)行過載均衡方法,并且根據(jù)資源使用情況的虛擬機放置與優(yōu)化選擇算法[14].周景才等不同云計算用戶群體的行為習慣對資源分配策略的影響,提出的基于用戶行為特征的資源分配策略,即通過統(tǒng)計用戶工作習慣與任務完成時間期望值的變化規(guī)律,建立用戶行為特征信息表,從而預測出不同時間片內(nèi)用戶的任務提交規(guī)律以及用戶期望完成時間,動態(tài)調(diào)整云計算系統(tǒng)的資源分配策略[15].許力等將云計算中的虛擬資源分配問題建模為多目標優(yōu)化模型,并使用多目標進化算法求解該模型,從降低能耗的角度給出了一種虛擬資源動態(tài)分配策略[16].齊平等根據(jù)任務請求情況與云計算數(shù)據(jù)中心的特點,結(jié)合資源節(jié)點的負載情況,構(gòu)建了基于任務執(zhí)行行為的云系統(tǒng)可靠性度量模型,提出了一種基于遺傳智能的可信云資源調(diào)度算法[17].朱亞會等針對云數(shù)據(jù)中心的資源使用情況,提出一種基于資源利用率均衡的虛擬機調(diào)度模型,將虛擬機調(diào)度問題抽象為不定維向量裝箱模型,采用向量表示法,給出了自適應粒子群優(yōu)化算法求解模型[18].

為了更加充分和有效的利用云計算的各種資源,調(diào)度模型逐步的發(fā)展完善,但是由于云計算環(huán)境的復雜性,這些調(diào)度算法仍然存在一些問題,這仍然需要廣大學者進行不斷的研究.基于應用類型的資源優(yōu)化策略,目前也有部分學者對其進行了研究.文獻[19]對CPU 密集型應用進行了廣泛研究,分析了CPU 密集型應用的特點及其對資源的偏好性,得出了CPU密集型應用的特征參數(shù),并建立起了CPU密集型應用的特征模型,同時還提出了一種針對CPU密集型應用的調(diào)度策略,該策略充分考慮應用的特點,即能夠使物理主機的負載處于合理范圍之內(nèi),又能保證CPU密集型應用的處理效率達到最優(yōu).但是這種處理策略只是針對于CPU密集型應用,研究其適用范圍有一定局限,不適合于其他類型的應用.文獻[20]對IO 密集型應用進行了研究,不過,其研究主要側(cè)重于如何對IO密集型應用進行建模,并進行判定.為了使得對其他類型應用的資源使用效率也能更進一步提高,減低云數(shù)據(jù)中心的能耗,本文提出針對網(wǎng)絡(luò)密集型應用和IO密集型應用的資源優(yōu)化策略,以期為這兩種典型類型應用的調(diào)度和資源優(yōu)化策略打下一定的基礎(chǔ).

3 網(wǎng)絡(luò)和IO密集型應用的資源分配策略

3.1 策略思想

對于云計算節(jié)能研究很多,對不同類型的應用使用不同的策略是一種有效的方法.而對于云應用而言,即便對其類型已知,如何進行有效調(diào)度也是需要探討的問題.針對這種現(xiàn)狀,論文結(jié)合不同應用的類型,對應用調(diào)度問題進行了探討.提高應用的執(zhí)行效率,讓應用能夠更快的執(zhí)行完畢,從而提高數(shù)據(jù)中心的利用率,以達到減少能耗的目的.

在云計算環(huán)境中,根據(jù)云應用的資源偏好性,將應用進行分類.對于同種類型的應用,當多個應用進行疊加時,即多個類型相同的云應用在虛擬機上同時運行時,在充分利用資源的情況下,如何對應用進行調(diào)度,讓云應用的執(zhí)行效率能夠較大.提高應用的執(zhí)行效率,在某種程度上,可以看成是讓應用的執(zhí)行時間最小.

作為最廣為使用的應用類型而言,IO密集型應用,當多個IO密集型應用同時運行時,這些IO應用共享IO資源.為了這些IO密集型應用更快的完成,即提高IO密集型應用的效率,對不同的IO應用分配不同的IO資源是一種可行的解決方法.對于比較小的IO應用,分配較多的IO的資源,讓該應用盡快的完成,當應用完成后,把系統(tǒng)的IO資源集中分配給IO需求較大的應用,縮短其執(zhí)行時間,以期讓所有IO密集型應用都盡快完成,減少應用執(zhí)行時間,提高應用執(zhí)行效率.

與網(wǎng)絡(luò)密集型應用一樣,IO密集型應用也可以采取類似的處理的機制.在云環(huán)境中,帶寬資源為所有應用所共享,對于網(wǎng)絡(luò)密集型應用,根據(jù)其對網(wǎng)絡(luò)帶寬的需求,合理的分配資源,如對于網(wǎng)絡(luò)帶寬小的應用,可以分配相對充裕帶寬資源,以縮短其執(zhí)行時間.這樣可以保證,在其執(zhí)行完畢后,減少資源競爭,從而最終使得全部網(wǎng)絡(luò)密集型應用都能夠以盡可能小的時間完成,提高所有應用執(zhí)行效率.

分析應用的本質(zhì),不難發(fā)現(xiàn),對于網(wǎng)絡(luò)密集型應用和IO密集型應用而言,其資源需求具有一定的類似性.如網(wǎng)絡(luò)密集型需要通過網(wǎng)卡進行數(shù)據(jù)的發(fā)送與接收,這與IO密集型應用通過磁盤讀寫來處理數(shù)據(jù)相似.不管是網(wǎng)絡(luò)帶寬資源還是IO磁盤資源,網(wǎng)絡(luò)密集型應用和IO密集型應用都是共享這些資源的.因此對于網(wǎng)絡(luò)密集型和IO密集型應用,可以采用相同的調(diào)度處理策略,即通過感知應用對資源的需求,進行合理有效的調(diào)度.對于IO密集型應用而言,資源需求是應用需要讀寫的文件大小.而對于網(wǎng)絡(luò)密集型應用而言,資源需求則主要是指通過網(wǎng)絡(luò)發(fā)送/接收的文件大小.不管是網(wǎng)絡(luò)密集型應用,還是IO密集型應用,通過資源使用情況,對帶寬資源或IO資源進行優(yōu)化,即對應用以不同的權(quán)重分配相應的帶寬資源或IO資源,以縮短相應應用的執(zhí)行時間,提升云中心應用的執(zhí)行效率.

3.2 資源預測模型

經(jīng)過上述分析,為了預測不同類型應用疊加時的執(zhí)行時間,可以采用如下給出的模型進行預測:

(1)

對公式(1)進行化簡得:

(2)

其中,各參數(shù)含義如下:

T:單個任務執(zhí)行時間

C:任務需要的關(guān)鍵部件個數(shù),對IO密集型任務而言,是磁盤數(shù);對網(wǎng)絡(luò)密集型任務而言,是網(wǎng)卡數(shù)

N:疊加任務數(shù)

Time:任務完成時間

在多個同種類型的應用被分配到相同的虛擬機上時,如果應用個數(shù)很少,此時應用的執(zhí)行時間最短,但虛擬機資源不會被充分利用;當疊加的應用個數(shù)較多,會導致各個應用之間競爭資源,此時雖然資源會被充分利用,但是應用執(zhí)行效率低下,應用的執(zhí)行時間很長,因為很多時間浪費在資源競爭上.因此在充分利用資源和滿足用戶服務質(zhì)量的前提下,如何確定合理的疊加的應用個數(shù),是一個重要的問題.即確定一個合理的疊加個數(shù)的閾值,當疊加的應用個數(shù)小于這個閾值的時候,說明可以直接將應用放置在該虛擬機上.當放置的應用個數(shù)大于該閾值時,說明資源已經(jīng)被充分使用,而且再添加應用會導致應用執(zhí)行時間增加,使用于服務質(zhì)量降低,因此,需要在新啟一臺虛擬機運行該應用.

用戶的服務質(zhì)量,在這里可以簡化為應用的執(zhí)行時間,根據(jù)上面建立的應用執(zhí)行時間預測模型,我們可以確定出合理的疊加的應用個數(shù).根據(jù)公式(2)可以求得疊加的應用個數(shù):

(3)

此處的Time,我們可以根據(jù)用戶服務質(zhì)量確定,這里我們引入容忍系數(shù)α,即

Time=α×T,α≥1

(4)

將公式(3)和公式(4)合并,得:

(5)

根據(jù)公式(5),引入容忍參數(shù)α1,我們可以得到機器的狀態(tài)公式:

(6)

當S=0的時候,應用的執(zhí)行時間最短,但是這個時候資源并不能充分使用,造成了嚴重的資源浪費.當S=1時,雖然應用執(zhí)行時間會有所增加,但是增加的并不多,還在可以接受的應用服務質(zhì)量下,而且此時資源被充分利用.當S=2時,此時資源雖然充分利用,但是由于應用個數(shù)太多,各應用之間競爭激烈,導致應用執(zhí)行時間會顯著增長,服務質(zhì)量會顯著下降.因此,為了兼顧應用執(zhí)行效率和用戶服務質(zhì)量,我們推薦機器處于狀態(tài)1.

3.3 資源調(diào)度策略

對于IO密集型應用或者網(wǎng)絡(luò)密集型應用,假設(shè)其應用共有N個,則各種資源的權(quán)重可按照如下方式計算:

對于所有應用,按照其資源使用需求,采用由小到大排序,得到應用的順序為A1,A2,…,AN-1,AN,對應的應用大小為SizeA1,SizeA2,…,SizeAN-1,SizeAN.

(7)

權(quán)重歸一化,得到應用Ai的最終資源權(quán)重WAi如下:

(8)

在計算每個應用的權(quán)重后,對于IO密集型和者網(wǎng)絡(luò)密集型兩類典型應用可以采用如下方法進行調(diào)度:

1)初始化、更新應用的資源需求權(quán)重列表,對于所有的應用而言,采用公式(7)計算其資源需求權(quán)重;

2)根據(jù)資源權(quán)重表和當前的資源對各個應用分配資源.對于IO密集型應用來說,根據(jù)資源權(quán)重表給各個應用分配IO讀寫資源;對于網(wǎng)絡(luò)密集型應用來說,根據(jù)資源權(quán)重表給各個應用分配網(wǎng)絡(luò)帶寬資源;

3)當有應用執(zhí)行完成,轉(zhuǎn)向步驟4);否則轉(zhuǎn)到步驟1),更新資源權(quán)重需求表;

4)算法結(jié)束,退出.

4 實驗結(jié)果與分析

4.1 實驗環(huán)境

本文的實驗環(huán)境基于CloudStack5.0云計算平臺,搭建了一個小型的云計算系統(tǒng),其中有1個管理服務器Management,2個主機節(jié)點Host,和1個存儲節(jié)點Storage.主機節(jié)點Host的操作系統(tǒng)為64位Redhat server5.5,處理器4核Intel I5 3470@3.60GHz,內(nèi)存8GB DDR3,硬盤容量1TB.Host上的虛擬機,操作系統(tǒng)為64位Ubuntu14.04版本,處理器為1GHz*2,內(nèi)存為2GB,網(wǎng)絡(luò)帶寬為150Mbps,磁盤為7200/分鐘1TB.具體參數(shù)如表1所示.

表1 硬件配置參數(shù)
Table 1 Configurations of hardware

節(jié)點CPU內(nèi)存硬盤磁盤轉(zhuǎn)速管理I3 2130@3.4GHz4GB DDR31TB5400 r/m存儲I5 3470@3.60GHz8GB DDR31TB5400 r/m主節(jié)點1I5 3470@3.60GHz8GB DDR31TB7200 r/m主節(jié)點2AMD IIX4 B97@3.2GHz4GB DDR3500GB7200 r/m

4.2 結(jié)果與分析

為了驗證文中所提出的調(diào)度策略,針對IO密集型應用和網(wǎng)絡(luò)密集型應用進行了實驗驗證.對于IO密集型應用采用linux環(huán)境下dd命令在本地生成大量不同大小的文件;而對于網(wǎng)絡(luò)密集型應用則采用的是應用Socket進行各種不同大小的文件傳輸(客戶端無需從磁盤讀取數(shù)據(jù),也不考慮磁盤IO對實驗的影響).

1)IO密集型應用實驗.通過采用在默認策略和文中提出的策略,在1核虛擬機上測試使用dd命令生成不同的文件,對所需的時間進行比較.雖然該應用也需要用到大量的CPU,但生成文件,主要需要產(chǎn)生大量的IO操作.該實驗包括三部分,即生成256MB文件;生成256MB和512MB文件所用時間;生成256MB、512MB和1024MB文件所用時間.比較在不同情形下,兩種策略完成應用所需的時間,具體實驗結(jié)果如圖1-圖3.其中圖1給出的是兩種策略下生成256MB文件所需的時間;圖2給出的是生成256MB和512MB文件所需的時間,圖3給出的是生成256MB、512MB和1024MB文件所需的時間.

圖1 創(chuàng)建256MB文件所需的時間Fig.1 Time for generation of 256MB file

圖2 同時創(chuàng)建256MB和512MB文件所需的時間Fig.2 Time for generation of 256MB and 512MB files

圖3 同時生成256MB、512MB和1024MB文件所需時間Fig.3 Time for generation of 256MB,512MB,1024MB files

從圖1中可以看出,當只是創(chuàng)建單個文件時,文中所給出策略和默認策略,其所需的時間基本相當,這是因為不管是哪種策略,系統(tǒng)都只是處理單個任務, 資源消耗相當,時間與差不多.從圖2從圖中可以看出,當需要創(chuàng)建兩個文件時,文中所提出的策略就有明顯的優(yōu)勢,即創(chuàng)建完成2個文件時,本文所提出的方法除了處理在創(chuàng)建512MB文件比默認方法有幾乎可以忽略的延長之外,創(chuàng)建256MB文件的時間和完成兩個任務的總時間都大大降低.如創(chuàng)建256MB文件時,文中所提出的時間比較默認策略所需的時間降低了18%,而完成兩個文件的創(chuàng)建的總時間,文中的方法也比默認策略降低了6%.這主要是本文所提出的策略,在多個應用到來的時候,總是有限將資源滿足元小任務/執(zhí)行時間更短的任務盡快完成,然后再去完成大任務/執(zhí)行時間長的任務,這樣調(diào)度的優(yōu)勢是,小任務可以在盡可能短的時間內(nèi)完成,從而減少系統(tǒng)在不同任務之間的切換,因此,不僅可以加快小任務的執(zhí)行速度,同時也可以降低所有任務的總時間消耗,從而達到節(jié)能的目的.當然,由于該策略是在有效考慮小任務,所以大任務的執(zhí)行時間會比默認策略稍稍延長,但由于大任務本身的執(zhí)行時間都比較長,因此,相對而言,對于大任務影響很小.這種性能的提升在任務多的情況下,體現(xiàn)更明顯.如圖3所示,創(chuàng)建256MB文件時,文中所提出的策略執(zhí)行時間比默認策略降低31%;而創(chuàng)建的512MB文件,文中提出策略也比默認策略降低6%,三個文件創(chuàng)建完成的總時間比默認策略降低9%;而三個任務中最大的,創(chuàng)建1024MB文件采用文中提出策略相對于默認策略略有延長,執(zhí)行時間僅增加1.3%.可見文中提出的策略對于多任務下的IO密集型應用的調(diào)度具有明顯的優(yōu)勢,其原因與圖2中的原因相同.

2)網(wǎng)絡(luò)密集型應用實驗.采用文中提出策略與默認策略,在1核虛擬機上測試使用Socket傳輸文件,比較兩種策略的效率.該實驗包括三部分,即傳輸256MB文件;傳輸256MB和512MB文件所用時間;傳輸256MB、512MB和1024MB文件所用時間.三種情形下,兩種策略下所需的時間結(jié)果如圖4-圖6.其中圖4給出的是兩種策略下傳輸256MB文件所需的時間;圖5給出的是傳輸256MB和512MB文件所需的時間,圖6給出的是傳輸256MB、512MB和1024MB文件所需的時間.

圖4 兩種策略傳輸256MB文件所需的時間Fig.4 Time for transmission of 256MB file

圖5 同時傳輸256MB和512MB文件所需時間Fig.5 Time for transmission of 256MB and 512MB files

圖6 同時傳輸256MB、512MB和1024MB文件所需時間Fig.6 Time for transmission of 256MB,512MB,1024MB files

從圖4中可以看出,當傳輸單個文件時,文中所給出策略和默認策略,其所需的時間基本相當,這是因為不管是哪種策略,系統(tǒng)都只是處理單個任務,通過網(wǎng)絡(luò)進行傳輸,資源消耗相當,時間與差不大.從圖5從圖中可以看出,當傳輸256MB和512MB兩個文件時,采用本文所提出的方法,除了傳輸512MB文件比默認方法增加了可以忽略的0.7%之外,傳輸256MB文件的時間比默認方法降低了21.6%,傳輸兩個文件的總時間降低了9%.同樣,圖6的結(jié)果表明,采用文中所提出的方法,除了傳輸1024MB的文件時間比默認策略增加了大約2.4%外,傳輸256MB文件時間降低了約20%,傳輸512MB文件時間降低了約11%,且傳輸三個文件的總時間降低了約6%.可見,文中提出的策略對于網(wǎng)絡(luò)密集型應用同樣的能夠大幅提升其應用的執(zhí)行效率,提高資源的使用效率,降低數(shù)據(jù)中心能耗.其原因與IO密集型應用中的分析相同,因為該策略優(yōu)先考慮了小任務的執(zhí)行,從而減少了系統(tǒng)在不同任務之間的切換,因此,效率具有明顯提升.

5 結(jié) 論

本文針對IO密集型應用和網(wǎng)絡(luò)密集型應用進行分析,提出了針對這兩種典型應用的資源優(yōu)化策略,其基本思想是采用小任務優(yōu)先處理,大任務后處理的策略,從而加速小任務執(zhí)行,降低任務切換帶來的額外開銷,從而提高應用的執(zhí)行效率.實驗結(jié)果表明,文中所提出的策略不僅可以有效的提升IO密集型和網(wǎng)絡(luò)密集型應用執(zhí)行效率,提供云環(huán)境下的資源使用效率,而且,可以降低云數(shù)據(jù)中心的能量消耗,為以后提出更好的資源分配與調(diào)度提供了基礎(chǔ).