基于灰色模型的云資源動態(tài)伸縮功能研究

王天澤

摘 要：隨著云計算的快速發(fā)展，大量應用開始向云上遷移，云平臺資源分配受到關注。云服務負載是動態(tài)變化的，為保證服務質量不受負載量變化影響，最大化利用云資源，如何動態(tài)擴充、縮緊資源成為需要考慮的重要問題。設計并實現(xiàn)了一個Docker Swarm彈性云動態(tài)伸縮模塊，通過增加和減少云服務副本數(shù)量改變服務資源的分配。彈性云的動態(tài)伸縮模塊使用了響應式伸縮模型與預測式伸縮模型，其中預測式伸縮模型基于灰色預測模型。實驗證明基于灰色預測的預測式伸縮模型具有較高的預測準確率。

關鍵詞：云平臺；動態(tài)伸縮；彈性云；灰色預測

DOI：10.11907/rjdk.172652

中圖分類號：TP319

文獻標識碼：A 文章編號：1672-7800（2018）004-0131-04

Abstract：With the development of cloud-computing，more and more application start to move on cloud，and the resource allocation of cloud platform has been much accounted.The workload of cloud-service is changing dynamically. It is the main concern of how to maximize cloud-resource and realize auto-scaling to ensure quality service. A Docker Swarm elastic-cloud platform has been designed and achieved，which uses replica to change resource allocation of platform.The auto-scaling model in elastic cloud uses both reactive scaling model and prediction scaling model to ensure auto-scaling.The prediction scaling model is based on Grey-forecasting model.The experiment proves the prediction scaling model which based on Grey-forecasting model has high prediction accuracy.

Key Words：cloud platform； auto-scaling； elastic cloud； grey-forecasting

0 引言

在PaaS（Platform as a service）概念支撐下，云服務獲得了長足發(fā)展。很多公司如谷歌、亞馬遜等都在云服務上獲得了極大的成功[1]。云服務平臺應該保證其提供的服務質量（QoS，Quality of Service）達到SLA（Service Level Agreement）協(xié)定要求。云服務負載往往隨時間而劇烈變化。伴隨著云服務發(fā)展的則是大量的突發(fā)訪問[2]。如果維持最高負載所需資源，就會造成資源浪費。反過來，如果服務平臺通過保證服務的最低或中等計算資源來縮減資源消耗，那么當服務負載達到峰值時其體驗就會變差，最終導致客戶流失。云計算是一種基于支付體系的需求導向計算模型。在云計算的幫助下，開發(fā)者可以通過手動或API的方式將應用資源擴容或縮容，這種擴縮容操作通常需要花費很長時間。云計算中的自動伸縮功能可以很好地解決這個問題。自治彈性云根據(jù)當前負載狀態(tài)動態(tài)地分配資源[3]，而基于以往負載記錄對未來負載進行預測，就可以提前分配資源以避免違背SLA。

動態(tài)伸縮在云計算中是一個熱門研究領域，彈性云常常搭建在虛擬機（VM，Virtual Machine）之上。但是VM對于Web應用來說過于重量級，因為Web應用所需要的僅是Web Server（APACHE，TOMCAT，NGINX）、語言包、數(shù)據(jù)庫等運行環(huán)境，并非整個VM操作系統(tǒng)。因此，將Web應用部署在VM中就是一種資源浪費[4]?，F(xiàn)在突發(fā)訪問情況越來越多，需要彈性云自動擴容，而基于VM的彈性云并不能實現(xiàn)這個目標。Docker是一種新型輕量級虛擬化技術。在Docker的幫助下，可以將Web應用與它的運行環(huán)境打包到一個Docker鏡像中進行開發(fā)、測試、轉移和部署。在同一個宿主機上運行的Docker容器共享相同的Linux kernel，所以Docker容器可以在秒級時間內部署并充分利用計算資源[5]。本文基于Docker Swarm集群設計并實現(xiàn)一個帶有響應式伸縮與預測式伸縮的動態(tài)伸縮模塊。

1 相關工作

圖1展現(xiàn)了Docker容器和虛擬機在架構上的不同之處。每個虛擬機都包含應用、二進制文件、依賴庫及一整套操作系統(tǒng)，所以虛擬機會浪費很多CPU、內存與存儲資源。在容器中只有應用與應用所依賴的庫。容器相當于運行在宿主機系統(tǒng)上的一個資源隔離進程。容器可在2s～3s啟動，而虛擬機啟動則要花費數(shù)分鐘，容器這種快速部署性質非常適合處理瞬間擁擠訪問。IBM研究[6]對比了虛擬機與容器的性能，使用一套負載任務給予集群系統(tǒng)的CPU、內存、存儲與網絡資源壓力，結果證明容器在大多數(shù)情況下性能優(yōu)于虛擬機。

文獻[7]提出了基于DSA （detect-strategy-action）思想的資源調度策略框架。文獻[8]基于云計算虛擬化技術，提出了一種租借理論和動態(tài)多級資源池相結合的資源調度策略，可以有效減少資源空閑時間，提高資源利用率。文獻[9]提出了一種基于馬爾科夫鏈的資源預測方法，它全面考慮了CPU使用量、網絡負載以及資源失敗率，預測使用何種資源配置能獲得更好的工作調度結果。但是馬爾科夫鏈模型只考慮了當前狀態(tài)，忽視了資源配置的歷史記錄。文獻[10]提出了基于模型匹配的云計算資源預測，將歷史負載信息與當前負載情況配對解決負載預測問題，闡述了使用這種方法進行云資源自動擴縮容算法。這種基于歷史記錄的方法在沒有可匹配記錄時效果很差。

考慮到長連接應用特點，文獻[11]提出了基于最小權重連接的指數(shù)平滑預測法（ESBWLC）。ESBWLC優(yōu)化了實際負載與服務能力權重，使用一次指數(shù)平滑法的預測機制。這種算法可以增加服務器的負載效率，但預測精度較差。

許多資源預測系統(tǒng)把重點放在預測任務的執(zhí)行時間而非任務所需資源上。文獻[12]、[13]中的預測系統(tǒng)需要用戶提供任務運行時間的近似值，然后根據(jù)現(xiàn)有CPU負載預測任務運行時間。除此之外，還有一些技術不需要用戶提供任何信息就可預測任務的運行時間，如文獻[14]就使用了同用戶過往相似任務的執(zhí)行情況進行回歸分析，以得到任務運行時間的預測值。

灰色預測模型基于灰色理論，灰色理論認為系統(tǒng)的行為現(xiàn)象盡管是朦朧的、數(shù)據(jù)是復雜的，但它畢竟是有序的，是有整體功能的。灰數(shù)的生成就是從雜亂中尋找出規(guī)律[15]。灰色預測廣泛應用于銷售與生產預測，本文基于灰色預測進行負載預測。

2 架構設計

圖2是彈性云平臺的基本架構，包括一個集群控制節(jié)點、多個工作節(jié)點、集群狀態(tài)監(jiān)控子系統(tǒng)、資源預測子系統(tǒng)、伸縮控制模塊?？紤]到應用會頻繁更新升級，所以添加了一個鏡像倉庫，能更方便地轉移、部署與更新在平臺上的應用。實現(xiàn)動態(tài)伸縮的3個模塊主要功能如下：

（1）集群狀態(tài)監(jiān)控子系統(tǒng)：監(jiān)控集群的負載狀態(tài)，用以實現(xiàn)響應式伸縮，負責記錄每個Service狀態(tài)，用以實現(xiàn)預測式伸縮。

（2）集群預測子系統(tǒng)：通過狀態(tài)監(jiān)控的記錄數(shù)據(jù)預測集群未來的負載情況，提前分配資源以維持SLA。

（3）伸縮控制模塊：是伸縮功能的實施模塊，可通過集群狀態(tài)監(jiān)控子系統(tǒng)獲得集群狀態(tài)，進行響應式伸縮，也可從資源預測子系統(tǒng)獲得預測信息進行預測式伸縮。

3 算法描述

3.1 灰色預測

灰色預測通過鑒別系統(tǒng)因素之間發(fā)展趨勢的差異程度，對原始數(shù)據(jù)進行生成處理，尋找系統(tǒng)變動的規(guī)律，生成有較強規(guī)律性的數(shù)據(jù)序列，然后建立相應的微分方程模型，從而預測事物未來發(fā)展趨勢?；疑A測的數(shù)據(jù)是通過生成數(shù)據(jù)模型得到的預測值的逆處理結果?；疑A測以灰色模型為基礎。在諸多的灰色模型中，以灰色系統(tǒng)中單序列一階線性微分方程模型GM（1，1）最為常用。GM（1，1）模型介紹如下：

3.2 響應式伸縮模型

服務剛建立時，還沒有負載歷史記錄用以預測，所以這時使用響應式伸縮模型實現(xiàn)動態(tài)伸縮功能。當某個服務的replica CPU負載達到90%時，觸發(fā)擴容，為其增加replica，直到負載回復到80%。當某個服務的replica CPU負載低于50%時，觸發(fā)縮容，為其縮減replica，直到負載回復到60%以上。

算法描述如下：

function reactiveScaling（）

Nexceed=0

while（R>=Tupper）

Nexceed++

end while

while（R<=Tlower）

Nexceed--

end while

Return Nexceed

其中，Nexceed是 replica變化個數(shù)，R為服務當前負載，Tupper為觸發(fā)上界，Tlower為觸發(fā)下界。

3.3 預測式伸縮模型

服務運行一段時間后，集群控制模塊有了負載歷史記錄，這時就可使用預測式伸縮模型進行動態(tài)伸縮。利用過去100s的負載記錄，使ΔT為10s，那么原始數(shù)據(jù)列就是過去100s內每10s的CPU負載均值。將ΔT設為10s較好地利用了Docker秒級部署優(yōu)勢。

4 實驗結果

為了驗證灰色預測的準確度，使用Tsung模擬負載，將預測結果與真實負載進行比較，如圖3所示。將灰色預測與簡單平均法、加權移動平均法的預測結果進行對比，可以明顯看出灰色預測的優(yōu)勢，如圖4所示。

從圖3可以看出，灰色預測與真實值的近似程度很高，其預測值隨著調度時間降低而減少。從圖4可以看出，灰色預測比簡單平均法和加權移動平均法表現(xiàn)更好，因為灰色預測不僅考慮當前情況，還根據(jù)以往記錄進行預測。

通過SLA的違背次數(shù)評價彈性云動態(tài)伸縮的可靠性，如圖5所示。服務剛被創(chuàng)建時，使用響應式伸縮模型， SLA的違背次數(shù)較多。預測式伸縮模型啟動后，SLA的違背次數(shù)就變得非常小。

5 結語

本文設計并實現(xiàn)了一個基于Docker Swarm集群的動態(tài)伸縮功能。設計了響應式伸縮模型與基于灰色預測的伸縮模型，以調度集群的伸縮。實驗結果證明，灰色預測模型具有良好的預測準確率，且該Docker Swarm集群動態(tài)伸縮功能具有良好的可靠性。但灰色預測模型在波動性較大的情況下精準度欠佳，未來將對這一問題進行改進。

參考文獻：

[1] 吳吉義，平玲娣，潘雪增，等.云計算：從概念到平臺[J].電信科學，2009（12）：168-171.

[2] 劉鵬程.云計算中虛擬機動態(tài)遷移的研究[D].上海：復旦大學，2009.

[3] 李冰.云計算環(huán)境下動態(tài)資源管理關鍵技術研究[D].北京：北京郵電大學，2012.

[4] 馬越，黃剛.基于Docker的應用軟件虛擬化研究[J].軟件，2015，36（3）：10-14.

[5] 劉思堯，李強，李斌.基于Docker技術的容器隔離性研究[J].軟件，2015，36（4）：110-113.

[6] FELTER W， FERREIR A， ARAJJAMONY R， et al. An updated performance comparison of virtual machines and linux containers[J].Technology，2014（2）：28-32.

[7] 肖斐.虛擬化云計算中資源管理的研究與實現(xiàn)[D].西安：西安電子科技大學，2010.

[8] 孫瑞鋒，趙政文.基于云計算的資源調度策略[J].航空計算技術，2010（3）：123-125.

[9] SHI L L， YANG S B， GUO L M， et al. A Markov Chain based resource prediction in computational grid[C].Frontier of Computer Science and Technology，2009. FCST'09. Fourth International Conference on，2009：119-124.

[10] CARON E， DESPREZ F， MURESAN A. Forecasting for grid and cloud computing on-demand resources based on pattern matching[J].Cloud Computing Technology and Science （CloudCom），2010 IEEE Second International Conference on，2010（12）：456-463.

[11] REN X N， LIN R H， ZOU H. A dynamic load balancing strategy for cloud computing platform based on exponential smoothing forecast[C].Cloud Computing and Intelligence Systems （CCIS），2011 IEEE International Conference on，2011.

[12] PADGETT J， DJEMAME K， DEW P. Predictive run-time adaptation for service level agreements on the grid[J]. 21st UK Performance Engineering Workshop. Nottingham，2005（7）：267-269.

[13] DINDA P. Online prediction of the running time of tasks[J].Cluster Computing，2002，5（3）：225-236.

[14] SMITH W， FOSTER I， TAYLOR V. Predicting application run times using historical information[J].Lecture Notes in Computer Science，1998，1459（122）：183-185.

[15] 鄧聚龍.灰色系統(tǒng)理論教程[M].武漢：華中理工大學出版社，1990.

（責任編輯：杜能鋼）