基于ARMA模型的云平臺資源調(diào)度策略研究和實現(xiàn)

楊暘++陳奇

【摘 要】云平臺的誕生，大幅降低了計算成本。目前，企業(yè)通過搭建各類應用云為企業(yè)內(nèi)部員工和外部客戶提供大量具有彈性的計算資源。虛擬化技術(shù)則是云平臺的核心和基礎技術(shù)要點。將不同的物理計算設備集中形成云平臺中單個的虛擬主機，這樣能夠有效發(fā)揮硬件平臺計算能力。不過，隨著用戶對各類計算資源需求的增加，導致了云平臺中的虛擬主機數(shù)量日益龐大，如何高效合理地對這些虛擬主機資源進行分配，成為云平臺管理員亟待解決的問題。本文從對預測模型研究入手，結(jié)合云平臺虛擬主機的特點，提出一種基于預測模型面向庫存管理的虛擬主機調(diào)度算法。

【關(guān)鍵詞】虛擬主機資源調(diào)度 預測 云計算平臺

【Abstract】 The birth of the cloud computing takes a significant reduction in the cost of computing. At present， the enterprise can provide a large number of flexible computing resources for internal employees and external customers by cloud computing platform. Virtualization technology is the core and basic technical points of the cloud platform. It can enhance computing ability of hardware to focus different physical devices on the formation of a single cloud platform. However， with the increase of all kinds of computing demands， it cause a large number of virtual hosts being created on cloud platform， and it also become a problem that needs to be solved urgently in the cloud platform by administrator to how to distribute virtual hosts efficiently and reasonably. In this paper， we will give a virtual hosts schedule strategy on cloud platform based on prediction model.

【Keywords】 Virtual Host Resource Schedule； Prediction ； Cloud Computing Platform

1 引論

隨著云平臺的推廣和應用，目前國內(nèi)很多企事業(yè)單位都通過搭建IaaS平臺[1][2]和虛擬主機平臺實現(xiàn)對計算資源的擴容，從而起到集中化管理和降低硬件采購成本的目的。特別在一些員工數(shù)量龐大的大型企業(yè)里，業(yè)務和組織結(jié)構(gòu)十分復雜，通過平臺能夠有效降低企業(yè)信息化基礎設施建設和管理成本。

但是，云平臺虛擬主機也給企業(yè)信息基礎設施管理帶來新的問題。由于每個企業(yè)的云平臺中運行著各種各樣不同類型、不同業(yè)務用途的虛擬主機，這些虛擬主機數(shù)目龐大；同時，業(yè)務部門根據(jù)自身業(yè)務發(fā)展要求，不斷發(fā)起新的計算資源使用請求。這就導致了企業(yè)內(nèi)部云平臺中出現(xiàn)大量不同層次不同種類的虛擬主機，因此對于這些虛擬主機自動調(diào)度和計算資源優(yōu)化分配是十分有必要的。

本文利用自回歸移動平均預測模型[3]（Auto-Regressive and Moving Average Model，ARMA），通過用戶對虛擬主機訪問使用量的預測，從而建立起虛擬主機池，來應對用戶對虛擬主機訪問的需求，進而形成對云平臺虛擬主機的自動化調(diào)度和分配。

2 問題描述

假設某一云平臺在某一時間段里的對某一類型的虛擬主機調(diào)用訪問請求量為集合，并對集合Q中的元素進行檢驗，發(fā)現(xiàn)集合Q中的元素在時間序列中是平穩(wěn)的，且元素兩兩之間不具有相關(guān)性，因此可以認為集合Q中的元素滿足泊松分布的條件。平臺中可用的某種虛擬主機資源數(shù)量為S，用戶平均占用平臺虛擬主機進行業(yè)務計算的時間花費為T，該問題就可描述成一個單請求隊列多服務臺的排隊系統(tǒng)（M/M/S）。另外，在整個計算資源匹配過程中，我們以先發(fā)起請求的用戶先享受計算服務，這樣該問題便可描述為一個單請求隊列多服務臺按先到先服務的隨機隊列系統(tǒng)（M/M/S/）。對于一個隨機的排隊系統(tǒng)而言，其目的就是用有限的資源獲得最佳的服務體驗，因此能夠給出云平臺上虛擬主機調(diào)度數(shù)學期望，即讓用戶在該等待隊列系統(tǒng)中，獲得最小的等待時間。

3 問題分析

根據(jù)排隊理論基本特性，在評估某一個排隊系統(tǒng)最優(yōu)等待方案過程中，必須先獲取該排隊系統(tǒng)的隊長、等待隊長、等待時間、服務時間、服務臺數(shù)等基本參數(shù)。在這些參數(shù)中，等待時間是該系統(tǒng)的數(shù)學期望，而服務臺數(shù)則是系統(tǒng)的自變量。因此，云平臺虛擬主機的調(diào)度問題可用函數(shù)。為了對該函數(shù)問題求解，我們先對歷史數(shù)據(jù)進行了考察，根據(jù)統(tǒng)計能夠計算得到云平臺系統(tǒng)中用戶的平均等待時間和平均服務時間，而等待隊長能夠在云平臺隊列中進行設定，因此僅需對訪問云平臺隊長進行監(jiān)測。關(guān)于隊列隊長，目前能夠得到云平臺的歷史訪問請求數(shù)據(jù)，對歷史數(shù)據(jù)進行觀測和統(tǒng)計測算后發(fā)現(xiàn)用戶對云平臺中虛擬主機請求訪問滿足隨機泊松分布條件，故我們引入了自回歸移動平均預測模型，通過該模型對未來預期的云平臺虛擬主機訪問請求量進行預測，從而判斷該排隊系統(tǒng)隊列長度，并且利用該預測結(jié)果，適度對云平臺中某一類虛擬主機數(shù)量進行調(diào)整，以滿足用戶隨機并發(fā)的訪問需求。

4 自回歸移動平均模型

自回歸移動平均預測模型[3]（Auto-Regressive and Moving Average Model，ARMA）是一種被廣泛應用的短期預測模型，該模型具有收斂速度快，同時滿足因果關(guān)系和時間序列兩個特征，在當數(shù)據(jù)積累并不充分時，該模型也能夠提供較為準確的預測結(jié)果。

在使用自回歸移動平均模型進行云平臺虛擬主機請求訪問量預測前，首先要對該類型虛擬主機歷史訪問請求的數(shù)據(jù)作時間序列上的平穩(wěn)性檢驗。該檢驗目的是為了確認歷史訪問請求量在既定的時間序列上是完全隨機的。這里采用增廣迪基-富勒檢驗法（ADFTest）[4]來對歷史數(shù)據(jù)在時間序列中的平穩(wěn)性進行檢測。

首先隨機選取某一設備資源15期的請求訪問量，這里樣本要求是處于某段時間序列的中段位，這樣能夠排除檢測過程中數(shù)據(jù)首尾對整體檢測結(jié)果的影響。對選出的數(shù)據(jù)集合按時間序列進行順序排序，得到結(jié)果數(shù)據(jù)集[4，7，7，8，6，10，12，15，11，9，13，15，13，14，5]，隨后對該段數(shù)據(jù)進行ADF檢驗，我們使用了Matlab工具對其進行檢驗，得出結(jié)果為不符合時間序列平穩(wěn)性要求。按照自回歸移動平均模型對預測數(shù)據(jù)時間序列的平穩(wěn)性要求，根據(jù)富勒檢驗結(jié)果，該段樣本數(shù)據(jù)集并不能夠直接滿足預測模型對樣本數(shù)據(jù)的要求，故需要對該段非平穩(wěn)時間序列數(shù)據(jù)進行平穩(wěn)性訓練。這里采用一階差分法[5]計算公式對選取的樣本數(shù)據(jù)進行時間序列平穩(wěn)性訓練。經(jīng)訓練后得到新的樣本數(shù)據(jù)集合為[3，0，1，-2，4，2，3，-4，-2，4，2，-2，1，-9]。這里需要再次對結(jié)果數(shù)據(jù)進行時間序列檢驗，根據(jù)富勒檢驗法檢驗結(jié)果，經(jīng)過一階差分處理后的歷史樣本數(shù)據(jù)集合滿足時間序列平穩(wěn)性要求。因此，可以使用它來建立自回歸移動平均預測模型。

在自回歸移動平均模型中，首先對自回歸部分參數(shù)展開計算。這里，我們采取了普通最小二乘法[6]對自回歸移動平均模型中的自回歸部分參數(shù)進行估計，并采用訓練后的樣本數(shù)據(jù)進行自回歸部分計算。通過Eviews軟件的計算模擬，得到該訓練后的時間序列數(shù)據(jù)滿足一階回歸方程。因此，利用普通最小二乘法計對一階自回歸模型參數(shù)進行計算，得到結(jié)果為0.121。該值即為自回歸移動平均模型中自回歸部分參數(shù)。其次，對移動平均模型部分的參數(shù)展開計算。在估參前首先需要確定一階移動平均模型的自相關(guān)系數(shù)。自相關(guān)系數(shù)反映了時間序列數(shù)據(jù)中過去的數(shù)據(jù)對現(xiàn)在數(shù)據(jù)的相關(guān)程度，換而言之，在資源調(diào)度模型中就是度量過去的請求量對現(xiàn)在的訪問量的影響。在得到自相關(guān)系數(shù)結(jié)果后，利用移動平均模型中參數(shù)和自相關(guān)系數(shù)的數(shù)學關(guān)系，計算得到移動平均模型中的參數(shù)估計值，其按樣本數(shù)據(jù)估計得到的結(jié)果值約為0.932。

至此，對于自回歸移動平均模型中的自回歸模型部分和移動平均模型部分的參數(shù)估計已經(jīng)完成，最后將兩部分模型相加合并，得到一個一階的自回歸移動平均預測模型Y（t）=0.121*Y（t-1）+0.932*E（t-1），并可利用該模型對樣本數(shù)據(jù)的下一期進行模型預測。

5 基于預測模型的云平臺虛擬主機調(diào)度流程設計

根據(jù)上述對自回歸移動平均預測模型計算的分析結(jié)果，結(jié)合排隊論相關(guān)理論，對基于預測模型的云平臺虛擬主機調(diào)度流程給出調(diào)度設計方案，其具體流程如圖1所示。

圖1展示了基于自回歸移動平均預測模型的調(diào)度流程。在該流程中，首先需要建立一個排隊隊列，把對平臺中的各類資源設備訪問的請求，按照時間序列遞增順序存進隊列中。在該隊列中，根據(jù)先到先服務（First In First Service，F(xiàn)IFS）的規(guī)則把隊列靠前的訪問請求，優(yōu)先進行虛擬主機設備的分配。調(diào)度系統(tǒng)在進行分配時，首先會根據(jù)請求虛擬主機的類型對云平臺中所有虛擬主機的狀態(tài)進行查詢，搜索狀態(tài)為空閑的資源設備，如存在，則將返回該空閑虛擬主機的網(wǎng)絡地址，供用戶使用；如該類型下的所有虛擬主機集合狀態(tài)均為忙碌，則將該次操作請求暫行掛起，反饋等待消息給用戶。同時系統(tǒng)為了最大限度減少用戶等待時間，對虛擬主機進行創(chuàng)建工作。在創(chuàng)建過程中，首先找到該虛擬主機資源對應的模板集合，根據(jù)數(shù)據(jù)配置模板，進行克隆和創(chuàng)建，最后，將創(chuàng)建完畢的虛擬資源添加到該類型下的資源設備數(shù)據(jù)列表中，同時將創(chuàng)建結(jié)果和網(wǎng)絡地址反饋給用戶。當用戶完成對該虛擬資源使用訪問之后，將用戶產(chǎn)生的數(shù)據(jù)進行保存并對該虛擬資源進行釋放，以供后續(xù)用戶的使用，同時將此次請求訪問記錄保存在數(shù)據(jù)庫中，為之后的預測部分提供數(shù)據(jù)依據(jù)。在既定的時間序列之后，調(diào)度程序?qū)ζ脚_上的虛擬主機資源進行整理并對未來的請求量進行預測，將預測結(jié)果與實際的設備數(shù)量進行對比，對于實際資源數(shù)量小于預測結(jié)果的資源種類進行差量創(chuàng)建，對實際資源數(shù)量大于預測結(jié)果的，則暫不進行處理，連續(xù)5次的預測數(shù)量均小于實際數(shù)量后，才將平臺中的多余資源進行刪除，以釋放足夠的存儲空間。

6 基于預測模型的云平臺虛擬主機調(diào)度流程實現(xiàn)

6.1 調(diào)度流程的實現(xiàn)

在調(diào)度流程中，主要實現(xiàn)對虛擬主機資源的獲取、類型判別、訪問、動態(tài)創(chuàng)建和刪除。在對調(diào)度流程實現(xiàn)過程中，需要調(diào)用上述對虛擬主機操作方法。圖2為調(diào)度系統(tǒng)程序執(zhí)行的流程圖。

在圖2中，調(diào)度程序首先建立一個全局空隊列，將到達的請求裝進隊列中，根據(jù)隊列先到先出的特性，在隊列中排在隊列前面的請求往往會被優(yōu)先得到滿足，后到的操作請求則會放在隊尾。之后調(diào)度程序?qū)﹃犃羞M行讀取，讀取隊首的請求獲得其請求的設備類型。接著調(diào)度程序?qū)︶槍υO備資源類型對虛擬設備資源數(shù)據(jù)庫進行查詢，找到設備狀態(tài)為空閑的第一個滿足條件的虛擬設備資源，讀取該設備資源的名稱和地址訪問信息，并將結(jié)果反饋給用戶，供用戶選擇使用。如果在該設備資源類型下所有的設備均處于忙碌狀態(tài)則對該類型資源進行創(chuàng)建，調(diào)度程序會讀取該類型資源保存的配置模板文件就，隨后進行創(chuàng)建，隨后將創(chuàng)建成功的設備登記在該類型資源下的設備集合中，同時也將創(chuàng)建后的資源設備地址反饋給用戶，供用戶使用。在成功完成向用戶調(diào)度設備操作之后，調(diào)度程序會在最后向日志數(shù)據(jù)庫中保存本次設備資源請求結(jié)果。

6.2 預測流程的實現(xiàn)

預測流程部分主要利用自回歸移動平均預測模型對云平臺訪問的歷史數(shù)據(jù)進行估計，得出預測模型，并利用該模型對未來遠期云平臺的訪問量進行預測。根據(jù)上述對自回歸移動平均預測模型的樣本檢驗和估參計算公式，給出部分核心算法及程序偽代碼。圖3則為一階差分法核心偽代碼。

上述圖示中包括了對自相關(guān)系數(shù)、殘差平方和的計算。同時在程序中也包含了自回歸移動平均模型的參數(shù)估計。

7 結(jié)論

本文對自回歸移動平均預測模型進行了結(jié)果分析，對上述樣本數(shù)據(jù)進行了預測結(jié)果和實際結(jié)果的比較，如圖5所示。

在上圖對比中，選取了云平臺中某種確定類型的虛擬主機在特定的時間序列中歷史訪問量的數(shù)據(jù)集合，藍色部分為實際結(jié)果，橙色部分為預測結(jié)果是利用自回歸移動平均模型計算得到的結(jié)果，為了顯示更加直觀，不再對前期條件數(shù)據(jù)進行羅列。分析對比結(jié)果能夠發(fā)現(xiàn)預測趨勢基本與實際趨勢一致，不過預測模型普遍都存在滯后性，因此最后一期預測結(jié)果與實際結(jié)果相差過大，該誤差會在后一期的預測過程中進行逐步收斂。

8 未來展望

本文對云平臺虛擬主機調(diào)度遇到的問題和應用前景進行了闡述，利用自回歸移動平均預測模型，結(jié)合排隊系統(tǒng)相關(guān)理論知識，對云平臺虛擬主機訪問調(diào)度過程進行調(diào)度策略的設計，對預測模型中的核心計算功能給出了程序?qū)崿F(xiàn)的部分偽代碼。

本文力求將該調(diào)度策略成為一種對云平臺虛擬主機訪問調(diào)度通用的調(diào)度策略，以滿足用戶的訪問需求，不過對于目前云平臺虛擬主機調(diào)度過程中，仍具有以下問題以待解決：

（1）云平臺硬件限制。

在云平臺中，雖然所有的IT基礎設施成為了共同訪問的虛擬資源，但是受到云平臺自身硬件限制，如處理器性能、磁盤存儲空間等。這些限制會影響到平臺中虛擬主機資源的創(chuàng)建和調(diào)度管理，本文提出的虛擬主機調(diào)度方案，是基于排除云平臺硬件設施的情況下進行的研究。

（2）預測調(diào)度的智能化。

云平臺中的調(diào)度系統(tǒng)除了需要滿足性能上的調(diào)度需求之外，還應該按照企業(yè)具體的業(yè)務需求進行調(diào)度。作為對企業(yè)IT基礎設施的支撐，云平臺中的虛擬主機資源應該能夠符合業(yè)務發(fā)展的需要。但不同行業(yè)擁有不同業(yè)務特性，因此在滿足業(yè)務需求的前提下，對云平臺進行智能化的虛擬主機資源調(diào)度是今后發(fā)展的趨勢。

參考文獻：

[1]Mitigating Multi-Tenancy Risks in IaaS Cloud Through Constraints-Driven Virtual Resource Scheduling， SACMAT '15： Proceedings of the 20th ACM Symposium on Access Control Models and Technologies[C]，Jun 2015.

[2]岳冬利，劉海濤，孫傲冰 IaaS公有云平臺調(diào)度模型研究[J].計算機工程與設計2011，V01.32，No.6.

[3]鄒伯賢，劉強.基于ARMA模型的網(wǎng)絡流量預測[J].計算機研究與發(fā)展，Vol.39，No.12Dec.2002 P1645-1647.

[4]林慧君，徐榮聰.組合ARMA與SVR模型的時間序列預測[J].-計算機與現(xiàn)代化 2009（8）.

[5]閔潔，李瀟.基于最小二乘支持向量機的網(wǎng)絡流量預測[J].-九江學院學報（自然科學版） 2010（1）.