基于數(shù)據(jù)挖掘的電力云資源規(guī)劃調度

龐松濤

（浪潮集團 北京 100142）

1 引言

隨著智能電網(wǎng)的發(fā)展，區(qū)域內各地區(qū)網(wǎng)絡連接愈加緊密，電網(wǎng)計算不但需要高性能，同時也越來越需要跨區(qū)域、跨電壓等級的協(xié)作，并共同構建電網(wǎng)的基礎數(shù)據(jù)，完成各類分析計算任務。傳統(tǒng)采用各網(wǎng)省專業(yè)技術人員集中工作的方式，拼合調整形成的運行數(shù)據(jù)，缺乏協(xié)同機制，工作效率不高且數(shù)據(jù)是由各級部門分散維護，定期合并匯總，其及時性和完整性較差。而應用電力云計算中心，可以有效實現(xiàn)全網(wǎng)數(shù)據(jù)的統(tǒng)一管理、資源的按需分配以及全局數(shù)據(jù)的智能分析應用等。

合理調配云計算資源可以有效地減少云計算平臺的運行成本。近年來，隨著云計算基礎架構的擴展，能源消耗問題引起越來越多的關注，據(jù)統(tǒng)計，數(shù)據(jù)中心的能耗成本占到了運維總成本的50%左右，包括電力、機房占地、帶寬等各方面。在產(chǎn)生高能耗的同時，傳統(tǒng)數(shù)據(jù)中心中80%的服務器80%的時間其CPU占有率低于20%，資源存在極大的浪費。國家電網(wǎng)已經(jīng)建立了北京亦莊、上海、陜西三大大數(shù)據(jù)中心，覆蓋了我國北方、南方以及我國西部內陸地區(qū)，隨著國家智能電網(wǎng)與特高壓輸電工程的進一步推進，這些數(shù)據(jù)中心將為我國電力安全與電力信息化的長足發(fā)展奠定基礎。所以，實現(xiàn)數(shù)據(jù)中心的資源優(yōu)化管理，建立智慧電力云具有實際意義?；谏鲜鲈颍疚闹攸c研究如何優(yōu)化云資源利用，動態(tài)啟動關閉虛擬設備，在不影響云服務的前提下合理提供云資源并盡可能節(jié)省電力能源消耗。

2 云資源規(guī)劃調度優(yōu)化

云計算將計算任務分布在資源池上，各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和各種軟件服務。原來的一臺物理服務器可以虛擬成多臺虛擬服務器，虛擬化后的資源變得更可量化。虛擬化技術將底層的計算資源切分或合并成多個運行環(huán)境，以軟件的方式模擬硬件，通過軟件的方式邏輯切分服務器資源，形成統(tǒng)一的虛擬資源池，創(chuàng)建虛擬機運行的獨立環(huán)境。這種邏輯結構提供了靈活、可變、易配置、可擴展的平臺服務，并且可以實現(xiàn)靈活有效的分布存儲和計算，從而整體上為實現(xiàn)強大的計算和海量數(shù)據(jù)存儲能力提供基礎保障。為簡化起見，本文以CPU資源作為分析探究對象。

與傳統(tǒng)方式相比，云計算已經(jīng)在更小粒度上管理分配資源，改善云資源利用及能耗，但是虛擬資源管理如果完全按照云用戶申請啟用云，還會存在大量的活動資源被閑置，資源及能耗依然還存在浪費，因為用戶對資源把握不準，申請資源往往都超過實際需要。要做到更有效地利用資源，需要對云資源需求有更準確的把握，并提前做好資源規(guī)劃。云計算的容量需求隨著時間的推移而逐漸增加，總需求并不是簡單地單調增加，而是存在一定程度的波動。為了盡可能避免閑置資源的浪費，同時保證云服務質量，云資源被劃分為兩部分，第一部分稱為“周期資源”，主要是為了滿足云中心大部分資源需求，保證云中心平穩(wěn)運營，該資源需求可根據(jù)歷史數(shù)據(jù)分析找出，用于滿足云中心相對平穩(wěn)的云資源需求；第二部分資源稱為 “峰期資源”，該資源主要滿足各階段高峰資源需求。通過資源劃分，可以更加精細管理云資源，利用周期資源應對基本需求，再根據(jù)峰值需求，動態(tài)啟用或關閉峰期資源。當然，虛擬資源的啟用和關閉需要時間，而且資源啟動及關閉對應用系統(tǒng)影響程度不同，所以在實際應用中，可根據(jù)用戶應用系統(tǒng)的實際情況，調整資源管理的時間粒度。基于數(shù)據(jù)挖掘的云資源規(guī)劃調度技術框架如圖1所示。

資源規(guī)劃調度原理步驟說明如下：

· 通過虛擬資源管理系統(tǒng)采集云資源利用的歷史數(shù)據(jù)；

·通過預處理生成預測模型可用的數(shù)據(jù)；

·利用數(shù)據(jù)挖掘技術分析資源利用規(guī)律；

· 利用分析預測的結果規(guī)劃資源需求，并區(qū)分資源周期需求和峰期需求；

·利用虛擬化管理系統(tǒng)分階段配置并啟用虛擬資源，保證在非資源高峰需求階段提供正常云服務；

· 系統(tǒng)通過虛擬管理系統(tǒng)實時/及時采集云資源利用信息；

· 當周期云資源利用率超過指定的閾值，提前啟動規(guī)劃好的后備峰期資源，為了更好利用資源，峰期資源可根據(jù)負載的增加而逐步啟用；

·利用相關算法為新增負載分配虛擬資源。

本文在以下部分進一步給出了實現(xiàn)方法。

3 云周期資源需求規(guī)劃方案

首先，需要盡量對云周期資源需求進行準確估計。指數(shù)平滑算法是目前常用的一種時間序列分析預測法。該方法可通過計算指數(shù)平滑值，配合一定的時間序列預測模型對某個變量的未來變化進行預測。通過分析，把電網(wǎng)信息系統(tǒng)云資源需求分為以下組合成分。

· 長期趨勢：系統(tǒng)負載時間序列隨時間的變化具有逐漸增加的長期變化趨勢。

· 季節(jié)變動：時間序列的季節(jié)變動指其在固定時間內呈現(xiàn)出的有規(guī)律的變動，電網(wǎng)系統(tǒng)負載的季節(jié)變動具有遞階特性，一般其變動規(guī)律可以分為周和日兩個層次。

· 不規(guī)則變動：即電網(wǎng)系統(tǒng)負載序列中由于隨機因素影響所引起的變動。

基于以上分析，參照Holt-Winters平滑算法，本文提出一個遞階成分負載模型，它可表示為：yi,j,k=wid7i+jh56i+8j+k+δ56i+8j+k(i=1,2,3,…，j=0,1,2,…,6,k=0,1,…,7)。

其中，wi代表第i周的負載量，d7i+j代表第i周的負載量在第j日的分布系數(shù)，即當日訪問量相對于整周訪問量的百分比，h56i+8j+k代表第i周第j日的負載量在第k時段的分布系數(shù)，即該段時內訪問量相對于整日訪問量的百分比，δ56i+8j+k代表第i周第j日第k時段的隨機擾動，其均值為零。在本文模型中，每天被分為8個時段。

根據(jù)以上資源需求的特點，wi變化將具有長期趨勢，而d7i+j與h56i+8j+k的變化則主要呈現(xiàn)季節(jié)規(guī)律。為了形象說明上述特點，給出一組虛擬負載數(shù)據(jù)及其規(guī)律分解，分別如圖2和圖3所示。

綜上所述，可以采用二次指數(shù)平滑法對周訪問量進行預測。具體算法及推導如下。

令和分別代表wi的一次和二次指數(shù)平滑值，滿足：

由以上可推出：

另一方面，若以如式（3）所示的方程描述周訪問量的趨勢：

其中，ai,bi是參數(shù)變量，m是從i周開始的預測周數(shù)，則：

進一步假定堝t1,t2＞0，使得：

因此，可利用一次指數(shù)平滑法對它們進行預測：

其中，為d的估計值,可以取為：（i=1,2,3,…）的最小二乘均值即滿足離差的平方和Σ最小的的值。為的估計值，可以取為：的最小二乘均值即滿足離差（-56i+8j+k）的平方和最小的值。

圖2 虛擬負載數(shù)據(jù)

圖3 負載規(guī)律分解

以上估計值可保證：

4 云峰期資源需求調度方案

峰期資源主要用于“調峰”，即主要用于滿足各階段云資源的需求高峰。云虛擬機實例的啟動關閉遵循原則是：當周期資源利用率達到給定閾值時，啟動新的虛擬機實例，而周期資源利用率少于給定閾值時，終止虛擬機實例。當然啟動和關閉操作不能太過于頻繁，要留足夠的時間，啟停頻率可以根據(jù)實際應用設定閾值使得頻率控制在小時級別。另外，由于增加的資源需求可能來自不同應用、不同任務，所以也需要通過合理的算法進行資源分配。本文采用隨機均衡策略。在此引入一個簡單模型。

首先，假定每個節(jié)點上只運行一個服務組件；每個用戶請求對應一個組件實例，所有實例的優(yōu)先級相同；用戶請求到達時間與服務時間都滿足泊松分布；平臺因任務調度而消耗的資源可以忽略，則坌r>0，當Δt足夠小時，任意節(jié)點正在服務的用戶數(shù)從r轉移到r-1、r、r+1的概率與單隊列單服務臺簡單服務系統(tǒng)(M/M/1)中的情況完全相同，如圖4所示。

圖4 節(jié)點狀態(tài)轉移示意

根據(jù)排隊論的研究結果推出最佳隨機均衡策略是按到達率平方根的比例把整個系統(tǒng)的冗余服務率分配到各個節(jié)點。

峰值變化對資源需求做出調整，其實時性要求相對較高，為此在虛擬資源管理監(jiān)控系統(tǒng)上運行兩個守護進程negotiator和collector，其中collector負責收集負載及任務隊列信息，并對上述信息列表進行周期性更新，negotiator負責新增虛擬資源的分配，同時完成以下各步工作。

（1）negotiator采集當前資源利用信息。

（2）發(fā)現(xiàn)資源利用超過閾值時，發(fā)送資源需求到任務隊列。

（3）negotiator確定更新各資源請求任務的優(yōu)先權。優(yōu)先權隨等待排隊中的任務數(shù)增加而增加。

（4）negotiator從具有最高優(yōu)先權的資源請求開始查詢，并收集等待任務所需的資源信息。

（5）negotiator選擇滿足要求的虛擬資源，分配給需要的應用。

negotiator將重復以上步驟，直到為所有的等待任務找到合適的虛擬資源為止。

5 實驗與小結

為了得出實驗結果，在云中心配置了一個實驗環(huán)境，該實驗環(huán)境以3臺8路服務器TS850為主，外接一個集中存儲服務器，8路服務器和集中存儲之間用SAN交換機連接。8路服務器上安裝虛擬化軟件，生成的虛擬機外掛存儲服務器上劃分的虛擬盤，最后安裝了浪潮云海OS，該軟件可以實現(xiàn)跨平臺的云資源管理及實時監(jiān)控，通過浪潮云海OS，首先對某一云中心采集了周、日的云資源運行數(shù)據(jù)，通過對周訪問量、日訪問量依次進行不同粒度層次的平滑計算，獲得未來某個時段的負載預測值。把前3周的負載數(shù)據(jù)作為觀測值，用它們對第4、5周各個時段的負載進行預測，并將預測結果與觀測值（實際上是根據(jù)模型產(chǎn)生的計算值）進行比較。圖5為每周負載量及其預測值（前3周為觀測值，后2周為預測值）之間的比較，圖6和圖7分別為周負載分布、日負載分布與它們的預測值之間的比較，圖8為根據(jù)模型產(chǎn)生的附載計算值與按照上述方法得出的負載預測值之間的比較。

相比Holt-Winters平滑算法，本文針對電力系統(tǒng)負載的特點，將每一個層次的變化規(guī)律分而治之，不僅能夠充分反映負載變化規(guī)律的遞階循環(huán)特性，預測過程也比較簡單，每一個層次只需確定一個α參數(shù)。

另外，在峰期資源調度上，在云海OS的技術上增加服務節(jié)點控制與狀態(tài)信息收集器。該服務由一個主控臺和一個后臺探測器線程組成，服務對象/組件列表放在negotiator中，并通過浪潮云海OS對上述列表進行操縱，從而實現(xiàn)對各節(jié)點上的服務器 （包括云端的虛擬服務器）進行激活（activate）、去活（deactivate）等控制。在實驗環(huán)境中，雖然可以根據(jù)服務任務需求的情況自動啟動或關閉資源，但是該資源調度還需要和實際應用相結合，可以針對具體應用，進一步實驗得出合理的資源啟動關閉頻率。

圖5 周負載量及其預測值

圖6 周負載在各日的分布及其預測

圖7 日負載在各時段的分布及其預測

圖8 虛擬負載計算值及其預測值

總之，傳統(tǒng)通過用戶對資源的需求來開啟云計算資源的方式在資源利用上還是比較浪費，通過實驗結果得出，對云資源利用的歷史數(shù)據(jù)進行挖掘，找出云資源的利用規(guī)律，不僅可以實現(xiàn)按需分配資源，進一步可以更好地做到按需開啟關閉峰期資源，從而更好地實現(xiàn)云資源的充分利用，建立生態(tài)云數(shù)據(jù)中心。由于電力系統(tǒng)對云的資源需求有比較明顯的規(guī)律，所以通過數(shù)據(jù)挖掘，資源預測及規(guī)劃相對比較準確。為此，給大規(guī)模電力云數(shù)據(jù)中心帶來的經(jīng)濟效益會更加明顯。

1 張大華，丁輝，吳向陽等.面向智能電網(wǎng)的電力云計算架構.電力通信管理暨智能電網(wǎng)通信技術論壇論文集,北京，中國，2011

Zhang D H,Ding H,Wu X Y,et al.Cloud computing architecture for smart grid.Proceedings of Electric Power Communication Management and Smart Grid Communications Technology Forum,Beijing,China,2011

2 王利賽，楊明玉，孫月琴等.電力云研究綜述.電力信息化，2011(5)

Wang L S,Yang M Y,Sun Y Q,et al.Summary research on electric powercloud computing.ElectricPowerInformation Technology,2011(5)

3 王鵬.云計算的關鍵技術與應用實例.北京:人民郵電出版社,2010

Wang P.Examples of key techniques and application on cloud computing.Beijing:Posts and Telecom Press,2010

4 徐國祥.統(tǒng)計預測和決策.上海:上海財經(jīng)大學出版社,2011

Xu G X.Statistical forecast and decision making.Shanghai:Shanghai University of Finance and Economics Press,2011

5 陸傳賚.排隊論.北京：北京郵電大學出版社,2009

Lu C L.Queuing Theory.Beijing:Beijing University of Posts and Telecommunications Press,2009

6 Kalekar S P.Time series forecasting using holt-winters exponential smoothing.Kanwal Rekhi School of Information Technology Tech Rep,2004

7 Dostal Z.Optimal Quadratic Programming Algorithms:With Application to Variations to Variational Inequalities.New York:Springer,2009

8 Jiang Y,Perng S C,Li T,et al.ASAP:a self-adaptive prediction system for instant cloud resource demand provisioning.Proceedings of ICDM,Vancouver,Canada,2011

9 楊巨龍.大數(shù)據(jù)技術全解.北京：電子工業(yè)出版社,2014.

Yang JL.Big Data Technology Entire Solution.Beijing:Publishing House of Electronics Industry,2014

10 蘇躍進,韓英杰.基于分布式電站群的智能數(shù)據(jù)分析中心建設與實踐.電信科學,2013(11):122～126

Su Y J,Han Y J.Construction and practice of intelligent data analysis center based on distributed power plant.Telecommunications Science,2013（11）:122～126

11 耿亮,吳燕,孟憲楠.電力數(shù)據(jù)挖掘在電網(wǎng)內部及各領域間的應用.電信科學,2013（11）:127～130

Geng L,Wu Y,Meng X N.Application of power data mining within and between grid fields.Telecommunications Science,2013（11）:127～130

12 趙云山,劉煥煥.大數(shù)據(jù)技術在電力行業(yè)的應用研究.電信科學,2014（1）:57～62

Zhao Y S,Liu H H.Research on application of big data technique in electricity powerindustry.Telecommunications Science,2014（1）:57～62

13 黃章樹,劉晴晴.基于云計算服務模式的數(shù)據(jù)挖掘應用平臺的構建.電信科學,2012（1）:53～57

Huang Z S,Liu Q Q.Construction of data mining application platform based on the service models of cloud computing.Telecommunications Science,2012（1）:53～57