云環(huán)境下基于線性回歸和協(xié)同過濾的負(fù)載預(yù)測方法

欒奇麒，許杰雄，楊勤勝，豆龍龍

摘 要：文章針對云環(huán)境下容器負(fù)載的預(yù)測分析問題，根據(jù)現(xiàn)有相關(guān)集群數(shù)據(jù)對系統(tǒng)資源進行可視化與分析，利用數(shù)據(jù)的相關(guān)性，結(jié)合線性回歸、協(xié)同過濾算法，對容器的負(fù)載進行動態(tài)預(yù)測。

關(guān)鍵詞：云環(huán)境;線性回歸;協(xié)同過濾;負(fù)載預(yù)測

1 云計算技術(shù)為預(yù)警提供數(shù)據(jù)支持

云計算作為新興技術(shù)，能夠?qū)⒕W(wǎng)絡(luò)資源、硬件資源等按需求分配給相應(yīng)的計算節(jié)點來執(zhí)行任務(wù)，于是“云”便作為一種服務(wù)提供給用戶[1]。為保障用戶的服務(wù)質(zhì)量并降低系統(tǒng)成本，實時、高效地監(jiān)控云系統(tǒng)資源，并實現(xiàn)準(zhǔn)確地預(yù)測、分析成為亟需解決的問題。本文提出并實現(xiàn)的一套云資源監(jiān)控預(yù)警系統(tǒng)，能夠直觀地看到目前云平臺的資源使用情況，并能夠?qū)Y源進行簡單的預(yù)測，根據(jù)資源使用的歷史數(shù)據(jù)找尋相應(yīng)的規(guī)律，挖掘數(shù)據(jù)間隱藏的關(guān)系。對資源的狀態(tài)變化進行預(yù)測，能夠有效地對可能發(fā)生的狀況進行預(yù)警，從而為將來預(yù)警措施的實現(xiàn)提供相應(yīng)的數(shù)據(jù)支持。

本文數(shù)據(jù)集采用阿里云2018trace，目的是對系統(tǒng)整體進行相應(yīng)的分析以及分析、預(yù)測某一臺具體機器的CPU，Mem，Netin，Netout，Disk的走勢，從而為將來的預(yù)警分析提供相應(yīng)的數(shù)據(jù)支持，建立更加高效、穩(wěn)定的平臺。

2 Ceilometer功能分析

為了能夠更好地收集系統(tǒng)信息以及進行資源的計量，Ceilometer應(yīng)運而生[2]。2012年，Ceilometer公布了第一代版本，主要完成對一些重要數(shù)據(jù)的計量，包括Compute，CPU，Network，Memory，Volume，Image等，其架構(gòu)如圖1所示。

圖1 Ceilometer架構(gòu)

Ceilometer收集信息主要通過兩種方式：（1）Notification，一切OpenStack服務(wù)都發(fā)送關(guān)于系統(tǒng)狀態(tài)或執(zhí)行操作的通知，一些通知包含可以計量的信息，例如，OpenStack計算服務(wù)創(chuàng)立的VM實例的CPU時間。之后通知代理負(fù)責(zé)使用該Notification，通過消息總線，將Notification轉(zhuǎn)換為相應(yīng)的事件和度量，但需要注意的是并非所有的Notification都會被消耗，只有那些可被捕獲且能夠用于分析、監(jiān)控目的的Notification可以被消耗。（2）Polling，每個Compute節(jié)點上都運行Compute agent，通過調(diào)用Image的driver以輪詢的方式來獲取資源的各種統(tǒng)計使用數(shù)據(jù)。Management server上則運行Central agent，通過調(diào)用OpenStack各個組件以輪詢的方式收集資源使用統(tǒng)計數(shù)據(jù)。

通過以上兩種方式得到的數(shù)據(jù)，在經(jīng)過消息隊列處理之后，被Collector接收，再通過一個或者多個分發(fā)器（dispatchers）原封不動地將它保存到指定位置。

3 基于線性回歸和協(xié)同過濾的負(fù)載預(yù)測模型

對于云資源態(tài)勢的預(yù)測，國內(nèi)外也有一些研究，大部分的是像亞馬孫的AWS，沒有注重數(shù)據(jù)之間的關(guān)聯(lián)，即沒有對數(shù)據(jù)進行深入的挖掘，得到的結(jié)論比較單薄，且大多結(jié)論的可信度不高。國內(nèi)的一些研究運用到了諸如Apriori算法，運用數(shù)據(jù)關(guān)聯(lián)分析去進行預(yù)測，非常適合云資源態(tài)勢的預(yù)測，能夠挖掘出更多的數(shù)據(jù)相關(guān)性。事實證明，運用數(shù)據(jù)關(guān)聯(lián)得到的結(jié)論也更好。

圖2是基于線性回歸和協(xié)同過濾的預(yù)測模型，包括給定機器并求出該機器所包含的所有容器功能、給定容器求出該容器所在的app_du以及該app_du所包含的所有容器功能、對同一app_du中的所有容器進行分析預(yù)測、將機器中的所有容器預(yù)測完畢的結(jié)果進行結(jié)合、線性回歸和協(xié)同過濾占比系數(shù)的確定等。

圖2 負(fù)載預(yù)測模型

對于同屬于一個app_du的容器，即同屬于一個應(yīng)用程序，其之間的相關(guān)性是顯而易見的。當(dāng)有新的任務(wù)到來時，同屬于一個app_du的所有容器一定是共同工作的，當(dāng)任務(wù)處理完畢，這些容器也一定是同時歇息，其之間的資源走勢，不管是數(shù)據(jù)的峰值，還是數(shù)據(jù)的變化，都有著極大的相似性，不需要再調(diào)用額外的算法去破壞這種相關(guān)性，得到更好的結(jié)果。

數(shù)據(jù)預(yù)處理：根據(jù)圖2的模型，需要對所分析的數(shù)據(jù)進行預(yù)處理。數(shù)據(jù)表中的每一條數(shù)據(jù)都標(biāo)明了機器號、容器號以及app_du號，所以數(shù)據(jù)的提取比較方便，但是數(shù)據(jù)表中的數(shù)據(jù)過大，需要做額外的處理。具體做法是運用字典排序?qū)υ紨?shù)據(jù)進行處理，可以添加標(biāo)記，記錄每次已經(jīng)處理過的數(shù)據(jù)位置，下次可以直接從標(biāo)記處進行處理，而不用從頭開始，能夠節(jié)省查找的時間。同時，數(shù)據(jù)表中有大量的非法數(shù)據(jù)以及空白數(shù)據(jù)，在讀取的過程中設(shè)計了相應(yīng)的判斷，對于非法數(shù)據(jù)進行拋棄操作，保證實驗結(jié)果的精度、可信度。

4 實驗結(jié)果

實驗用的數(shù)據(jù)集是阿里2018年發(fā)布的最新數(shù)據(jù)，該數(shù)據(jù)集包含的內(nèi)容十分豐富，Job，Task，Instance，Machine，Container等數(shù)據(jù)都能找到。本數(shù)據(jù)按照時序排列，時間戳time_stamp代表從開始計時的第一天起所經(jīng)過的秒數(shù)，本數(shù)據(jù)集共采集了8天的數(shù)據(jù)，足夠滿足本次實驗的要求。

第一步：對系統(tǒng)整體進行分析，希望達到的效果是能夠直觀地看到系統(tǒng)目前的資源利用率以及給定相應(yīng)的閾值，能夠得到超出此閾值的機器，以便管理員進行排查。

第二步：選取一臺機器，求出其包含的所有容器以及每個容器所在的app_du，取出它們按照時序排列的諸多屬性的數(shù)據(jù)。

第三步：根據(jù)每個容器所在的app_du，按照上文所介紹的基于線性回歸和協(xié)同過濾的預(yù)測模型，分別對每個app_du中的所有容器進行預(yù)測。

第四步：在對每個app_du中的容器進行預(yù)測之后，取出其中被選定機器包含的所有容器的數(shù)據(jù)。

第五步：將此預(yù)測數(shù)據(jù)、單純運用線性回歸進行預(yù)測的數(shù)據(jù)、和原始數(shù)據(jù)運用Echarts這一組件，在Web頁面上進行可視化和比對，從而突出本預(yù)測模型的效果。

圖3展示了針對其中某個容器的具體預(yù)測結(jié)果，運用折線圖的形式來表示?；陬A(yù)測模型得到的效果更佳。

5 結(jié)語

本文針對負(fù)載預(yù)測問題，提出了一種結(jié)合線性回歸和協(xié)同過濾的融合方法，考慮數(shù)據(jù)間的關(guān)聯(lián)性，實現(xiàn)更好的負(fù)載預(yù)測效果。

作者簡介：欒奇麒（1990— ），男，江蘇泰興人，助理工程師，學(xué)士;研究方向：云計算。

圖3 某個機器的負(fù)載預(yù)測結(jié)果對比

[參考文獻]

[1]孫巖煒，郭云川，張玲翠，等.基于多選項二次聯(lián)合背包的態(tài)勢感知資源分配算法[J].通信學(xué)報，2016（12）：56-66.

[2]趙少卡，李立耀，凌曉，等.基于OpenStack的清華云平臺構(gòu)建與調(diào)度方案設(shè)計[J].計算機應(yīng)用，2013（12）：3335-3338，3349.

Load prediction method based on linear regression andcollaborative filtering in cloud environment

Luan Qiqi， Xu Jiexiong， Yang Qinsheng， Dou Longlong

（JiangSu Frontier Electric Technology Co.， Ltd.， Nanjing 210000， China）

Abstract：Aiming at the prediction and analysis of container load in cloud environment， the system resources are visualized and analyzed according to the existing cluster data， and the container load is predicted dynamically by using the correlation of data， linear regression and collaborative filtering algorithm.

Key words：cloud environment; linear regression; collaborative filtering; load forecasting