基于強(qiáng)化學(xué)習(xí)的虛擬機(jī)資源自動(dòng)配置

李文嬋，彭志平

（1.江蘇科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 鎮(zhèn)江 212003；2. 廣東石油化工學(xué)院 計(jì)算機(jī)與電子信息學(xué)院，廣東 茂名 525000）

在虛擬化數(shù)據(jù)資源管理中心環(huán)境[1]中，應(yīng)用被封裝在一個(gè)或多個(gè)虛擬機(jī)中。例如典型的互聯(lián)網(wǎng)應(yīng)用由web服務(wù)器前端、中間應(yīng)用邏輯和后端數(shù)據(jù)庫(kù)3個(gè)層次構(gòu)成；這些層次可能各自封裝在獨(dú)立的虛擬機(jī)中。

虛擬化資源的調(diào)度存在于兩個(gè)層次[2]: 局部調(diào)度涉及如何在虛擬機(jī)之間合理共享物理機(jī)的CPU、內(nèi)存和IO資源，由虛擬機(jī)管理器負(fù)責(zé)；全局調(diào)度解決如何優(yōu)化組合虛擬機(jī)、在物理機(jī)間平衡負(fù)載，這相當(dāng)于把資源合理地分配給應(yīng)用。本文主要討論前者。

虛擬機(jī)技術(shù)允許多個(gè)虛擬機(jī)同時(shí)運(yùn)行，每個(gè)虛擬機(jī)有自己的操作系統(tǒng)OS并同時(shí)支持多個(gè)服務(wù)，這就需要在同一個(gè)物理機(jī)上共享資源。它主要依賴隸屬于硬件和來(lái)賓OS之間的虛擬機(jī)監(jiān)視器VMM，以便在虛擬機(jī)之間分配資源。

1 實(shí)驗(yàn)環(huán)境簡(jiǎn)介

1.1 CloudSim簡(jiǎn)介

CloudSim是在GridSim模型基礎(chǔ)上發(fā)展而來(lái)，提供了云計(jì)算的特性，支持云計(jì)算的資源管理和調(diào)度模擬。CloudSim提供基于數(shù)據(jù)中心的虛擬化技術(shù)、虛擬化云的建模和仿真功能。CloudSim提供了資源的監(jiān)測(cè)、主機(jī)到虛擬機(jī)的映射功能。CloudSim的CIS（Cloud Information Service）和DataCenterBroker實(shí)現(xiàn)資源發(fā)現(xiàn)和信息交互，是模擬調(diào)度的核心。用戶自行開(kāi)發(fā)的調(diào)度算法可在DataCenterBroker的方法中實(shí)現(xiàn)，從而實(shí)現(xiàn)調(diào)度算法的模擬。

1.2 XEN及XEN監(jiān)視器

XEN[3]是由劍橋大學(xué)開(kāi)發(fā)的開(kāi)源準(zhǔn)虛擬化虛擬機(jī)，通過(guò)改動(dòng)客戶OS，使其以為自己運(yùn)行在虛擬機(jī)上，能夠和VMM協(xié)同工作，圖1顯示了XEN虛擬機(jī)的體系結(jié)構(gòu)[4]。在XEN上的眾多域中存在一個(gè)特權(quán)域(Dom0)，用來(lái)輔助XEN管理其它域(DomU)，提供相應(yīng)的虛擬資源服務(wù)(處理器調(diào)度和內(nèi)存分配等)，特別是DomU對(duì)I/O設(shè)備的訪問(wèn)。管理程序(Hypervisor)允許Dom0直接訪問(wèn)硬件，而DomU的I/O數(shù)據(jù)包都必須經(jīng)過(guò)Dom0的轉(zhuǎn)發(fā)，通過(guò)事件通道通知將數(shù)據(jù)包傳遞給對(duì)方。

圖1 XEN體系結(jié)構(gòu)Fig. 1 XEN Architecture

2 強(qiáng)化學(xué)習(xí)和它在VM自動(dòng)配置中的應(yīng)用

強(qiáng)化學(xué)習(xí)[5]方法不依賴于被控對(duì)象的數(shù)學(xué)模型和先驗(yàn)知識(shí),而是通過(guò)試錯(cuò)和與環(huán)境的不斷交互獲得知識(shí),從而改進(jìn)行為策略,具有自學(xué)習(xí)的能力。強(qiáng)化學(xué)習(xí)單元與環(huán)境之間的關(guān)系如圖2所示。rk是環(huán)境針對(duì)當(dāng)前時(shí)刻學(xué)習(xí)單元所選擇的動(dòng)作的好壞給予學(xué)習(xí)單元的獎(jiǎng)賞值,其選擇形式有很多種,比如選擇二值型：{-1,0} ,當(dāng)rk=0時(shí)表示該動(dòng)作是正確的,得到了來(lái)自環(huán)境的獎(jiǎng)勵(lì),當(dāng)rk=-1時(shí)表示該動(dòng)作是錯(cuò)誤的,遭到了來(lái)自環(huán)境的懲罰。

圖2 強(qiáng)化學(xué)習(xí)單元與環(huán)境關(guān)系圖Fig. 2 Diagram of there lation shipbet ween leaming agentanden vironmen

一個(gè)RL問(wèn)題通?？苫梢粋€(gè)馬爾科夫模型(MDP)[6]。正常情況下，對(duì)一個(gè)環(huán)境狀態(tài)集S和一個(gè)動(dòng)作集合{(A,MDP)}模型通過(guò)狀態(tài)轉(zhuǎn)移概率被定義成Pa(s,s)=Pr(st+1=s|st=s,at=a) ，還有一個(gè)立即回饋函數(shù)值R=E[rt+1|st=s,at=a,st+1=s]。在每一個(gè)步驟t，Agent獲得它當(dāng)前的狀態(tài)at∈S和可能的行為集st∈A(st)，agent轉(zhuǎn)移到下一個(gè)狀態(tài)st+1，并從當(dāng)前環(huán)境獲得一個(gè)立即回饋值rt+1。在狀態(tài)S下采取動(dòng)作a的值函數(shù)被定義成：

這里0 ≤ γ ＜ 1為折扣因子幫助Q(s,a)收斂。

一個(gè)VM配置任務(wù)通常被構(gòu)想成一個(gè)連續(xù)狀態(tài)的折扣MDP，目標(biāo)是優(yōu)化所有的VM性能。我們定義基于單個(gè)VM的應(yīng)用層次性能的回饋函數(shù)；而狀態(tài)空間是虛擬機(jī)上的硬件配置信息，這些可以通過(guò)驅(qū)動(dòng)域被完全觀察到；動(dòng)作則是配置參數(shù)的聯(lián)合改變。具體設(shè)想如下：

回饋函數(shù)reward：?jiǎn)蝹€(gè)VM的性能通過(guò)一個(gè)分值score來(lái)衡量，其中thrpt為當(dāng)前吞吐量，ref_thrpt為參考吞吐量，resp為反應(yīng)時(shí)間，penalty是違反SLA時(shí)的懲罰，wi是第i個(gè)虛擬機(jī)的權(quán)重，1≤ i≤n

狀態(tài)空間：我們簡(jiǎn)化為（men1,time1,vcpu1…menn,timen,vcpun,） , meni, timei, vcpui分別代表第i個(gè)虛擬機(jī)的內(nèi)存大小，調(diào)度值credit和虛擬cpu數(shù)目。

行為集：對(duì)上面3個(gè)配置參數(shù)可能的行為即是增加，減少或是維持不變。對(duì)RL任務(wù)來(lái)說(shuō)，行為即是對(duì)每個(gè)參數(shù)的操作使之增加，減少或不變。

在VM配置任務(wù)中，基于RL的代理問(wèn)題依隨一種貪心算法[7]采取重配置措施。在一個(gè)小概率下，Agent選擇一個(gè)隨機(jī)動(dòng)作并在大部分情況下跟隨它發(fā)現(xiàn)的最好策略實(shí)施行為。開(kāi)始于任何初始策略，Agent逐漸在之后的每一步根據(jù)它得到的回饋值重新定義策略。

3 SRLAC的設(shè)計(jì)和實(shí)現(xiàn)

SRLAC是基于RL的虛擬機(jī)自動(dòng)配置Agent，被設(shè)計(jì)成一個(gè)獨(dú)立的定居在驅(qū)動(dòng)域中的精靈，它充分利用了dom0提供的控制界面來(lái)控制單個(gè)虛擬機(jī)的資源配置。圖3強(qiáng)調(diào)了SRLAC的組織形式和XEN的虛擬化環(huán)境。

圖3 SRLAC結(jié)構(gòu)示意圖Fig. 3 The organization of SRLAC

SRLAC通過(guò)監(jiān)視每臺(tái)虛擬機(jī)的性能回饋來(lái)管理VM的資源配置。在一個(gè)提前預(yù)知的時(shí)間段內(nèi)，重新配置行為階段性的進(jìn)行。SRLAC查詢驅(qū)動(dòng)域的當(dāng)前狀態(tài)并計(jì)算出可靠的行為。按照RL算法產(chǎn)生的策略，SRLAC選擇一個(gè)動(dòng)作并將其送入dom0，以便VM進(jìn)行重新配置。在每一步驟結(jié)束之時(shí)，SRLAC收集每個(gè)VM的性能回饋，然后計(jì)算立即回饋值。得到的新的立即回饋值通過(guò)RL來(lái)處理，SRLAC依據(jù)處理結(jié)果更新配置策略。

4 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)的開(kāi)發(fā)環(huán)境是基于Windows XP操作系統(tǒng)，內(nèi)存在2G左右，CloudSim版本為2.1.1，采用MyEclipse下開(kāi)發(fā)。實(shí)驗(yàn)中需要建立資源池cloudlab，配置Windows操作系統(tǒng)的實(shí)驗(yàn)環(huán)境虛擬機(jī)模板，安裝Xen Tool，我們使用Xen 3.1作為虛擬環(huán)境,這里我們?cè)O(shè)計(jì)了一系列實(shí)驗(yàn)來(lái)展示依據(jù)RL的SRLAC的有效性。圖4列出了CloudSim中資源池cloudlab虛擬機(jī)圖4個(gè)不同的VM設(shè)置。

圖4 cloudsim配置Fig. 4 The configuration of cloudsim

在這個(gè)實(shí)驗(yàn)中，應(yīng)用和資源的數(shù)量被限制在一個(gè)小規(guī)模集合里，即環(huán)境是可控的。我們創(chuàng)建了虛擬機(jī)運(yùn)行服務(wù)，代表了服務(wù)器虛擬化的應(yīng)用，它是多層的TPCW[8]基準(zhǔn)(面向電子商務(wù)的基準(zhǔn)程序)，即電子商務(wù)應(yīng)用，TPCW是典型的CPU密集型應(yīng)用，在這個(gè)可控環(huán)境中，內(nèi)存參數(shù)是可以被修改的。通過(guò)調(diào)整將CPU資源分配到每一層，SRLAC可以最大化TPCW的吞吐量。

CloudSim仿真步驟為：

1)創(chuàng)建一個(gè)數(shù)據(jù)中心A；

2)通過(guò)A建立內(nèi)存、CPU和吞吐量等資源參數(shù)；

3)注冊(cè)。對(duì) CIS 發(fā)送注冊(cè)信號(hào)，注冊(cè)成功后即刻登陸；

4)Data center Broker 將進(jìn)行信息交互過(guò)程的管理。

RL算法并不需要假設(shè)任何系統(tǒng)模型，它在與環(huán)境的相互作用中提出策略并從新獲取的經(jīng)驗(yàn)中更新策略。在這個(gè)實(shí)驗(yàn)中，我們將應(yīng)用的吞吐量作為最優(yōu)目標(biāo)。為限制問(wèn)題規(guī)模，我們規(guī)定每層最多3個(gè)虛擬CPU。SRLAC被分配了一個(gè)基于表的Q值函數(shù)，并且全都被初始化為0。我們使用Sara(0)算法，其中α=0.2, γ=0.9, ε=0.1,來(lái)驅(qū)動(dòng)配置代理，配置間隔被設(shè)為50秒。代理持續(xù)運(yùn)行直到Q值收斂，最終一個(gè)最優(yōu)配置策略便可以從Q表中得到。RL算法在上面3種工作負(fù)載下重復(fù)運(yùn)行最后得出3種策略。圖5描述了SRLAC在動(dòng)態(tài)和靜態(tài)策略下的在線性能，曲線是TPCW得到的吞吐量。結(jié)果表明，RL agents 都可以自動(dòng)驅(qū)使一個(gè)不合理的配置使之在幾步之內(nèi)達(dá)到一個(gè)比較好的設(shè)置情況，TPCW的吞吐量也得到增長(zhǎng)并達(dá)到一個(gè)更高的水準(zhǔn)。RL算法可能的最好結(jié)果就是Agent適應(yīng)了環(huán)境并得到了最優(yōu)的性能。

5 結(jié)束語(yǔ)

圖5 SRLAC在TPCW應(yīng)用中的性能Fig. 5 SRLAC performance with TPCW application

文中討論了虛擬環(huán)境中虛擬資源的分配問(wèn)題，所利用的方法是基于RL的自動(dòng)資源分配算法。自我配置系統(tǒng)自動(dòng)適應(yīng)軟件參數(shù)、硬件資源以達(dá)到正確的功能應(yīng)用和更好的性能優(yōu)化，RL算法無(wú)疑是其中一種具有潛在利益的好方法。本文討論的算法是在仿真軟件中進(jìn)行，對(duì)環(huán)境和資源維數(shù)有要求，而實(shí)際環(huán)境下會(huì)更復(fù)雜，這就需要我們更深一步的研究，RL算法是人類(lèi)智慧的表達(dá)，將其應(yīng)用在云環(huán)境中虛擬資源的自動(dòng)配置上將是它的很好發(fā)揮。

[1] 黎寒光. 虛擬化技術(shù)介紹及虛擬應(yīng)用環(huán)境實(shí)踐[J].數(shù)字技術(shù)與應(yīng)用,2010(4):79～81.LI Han-guang. Introduction of Virtualization technology and the practice of virtual application environment[J].Digital Technology and Application,2010(4):79～81.

[2] Amazon. Amazon EC2 Pricing[EB/OL].(2011). http: / /aws. amazon.com/ec2/pricing/．

[3] Barham P,Dragovic B,Fraser K.Xen and the art of virtualization[C] //2003.

[4] 石磊，鄒德清，金海.Xen虛擬化技術(shù)[M].武漢;華中科技大學(xué)出版社,2009.

[5] 張汝波，顧國(guó)昌，張國(guó)印．強(qiáng)化學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)及算法[J].計(jì)算機(jī)科學(xué),1999,26(10):53-56．ZHANG Ru-bo,GU Guo-chang,ZHANG Guo-yin.The system structure and algorithm of Reinforcement learning[J].Computer Science,1999, 26(10):53-56．

[6] 胡奇英，劉建庸著．馬爾可夫決策過(guò)程引論[M].2版.西安電子科技大學(xué)出版社,2000.

[7] 仲宇，顧國(guó)昌，張汝波．分布式強(qiáng)化學(xué)習(xí)的體系結(jié)構(gòu)研究[J].計(jì)算機(jī)工程與應(yīng)用,2003(11):111-113．ZHONG Yu,GU Guo-chang,ZHANG Ru-bo.Research of distributed reinforcement learning architecture[J].Computer Engineering and Applications, 2003(11):111-113．

[8] 周萬(wàn)江,晏蒲柳.Web服務(wù)器性能評(píng)測(cè)軟件的原理及發(fā)展[J].計(jì)算機(jī)應(yīng)用研究,2003,24(8):93-95.ZHOU Wan-jiang,YAN Pu-liu. The principles and development of Web server performance evaluation software[J].Application Research of Computers,2003,24(8):93-95.