基于LSTM的集群用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型*

朱正東，吳寅超，胡亞紅，蔣家強(qiáng)

(1.西安交通大學(xué)計(jì)算機(jī)學(xué)院，陜西 西安 710049;2.浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

1 引言

進(jìn)行有效的作業(yè)調(diào)度可以保證數(shù)據(jù)中心在指定的截止時(shí)間前完成用戶(hù)作業(yè)，從而提高用戶(hù)滿(mǎn)意度。作業(yè)調(diào)度是NP-hard問(wèn)題，一直是分布式系統(tǒng)中的研究熱點(diǎn)。預(yù)知作業(yè)的執(zhí)行時(shí)間是開(kāi)始作業(yè)調(diào)度的前提。根據(jù)各用戶(hù)作業(yè)的預(yù)測(cè)執(zhí)行時(shí)間和截止時(shí)間，數(shù)據(jù)中心可以進(jìn)行有效的任務(wù)調(diào)度和資源分配，從而縮短用戶(hù)作業(yè)的完成時(shí)間，提高系統(tǒng)性能。

目前預(yù)測(cè)用戶(hù)作業(yè)執(zhí)行時(shí)間的常用方法是先運(yùn)行少量用戶(hù)作業(yè)，得到作業(yè)執(zhí)行時(shí)間，再根據(jù)這個(gè)時(shí)間預(yù)測(cè)完整的用戶(hù)作業(yè)的執(zhí)行時(shí)間[2]。這種方法的不足之處有2點(diǎn)：一是作業(yè)的完成時(shí)間和作業(yè)量之間通常不是簡(jiǎn)單的線(xiàn)性關(guān)系；二是若用戶(hù)作業(yè)的數(shù)據(jù)量巨大、整體耗時(shí)較長(zhǎng)，簡(jiǎn)單地按照固定的系統(tǒng)資源量進(jìn)行預(yù)測(cè)，不考慮節(jié)點(diǎn)實(shí)時(shí)性能的變化，會(huì)導(dǎo)致時(shí)間預(yù)測(cè)精確不高。因此,很有必要對(duì)用戶(hù)作業(yè)執(zhí)行時(shí)間的預(yù)測(cè)模型進(jìn)行深入研究。

用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)屬于時(shí)間序列分析領(lǐng)域。傳統(tǒng)的時(shí)間序列分析采用線(xiàn)性模型，如整合滑動(dòng)平均自回歸ARIMA(AutoRegressive Integrated Moving Average)模型[3,4]。線(xiàn)性模型簡(jiǎn)單易用，但是預(yù)測(cè)精度不高。為處理各種復(fù)雜應(yīng)用場(chǎng)景，非線(xiàn)性模型分析方法不斷出現(xiàn)，如人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)[5]、支持向量回歸SVR(Support Vector Regression)[6]和長(zhǎng)短期記憶LSTM(Long Short-Term Memory)網(wǎng)絡(luò)[7]等。LSTM是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，在交通管理、電力系統(tǒng)管理、狀態(tài)監(jiān)測(cè)、金融風(fēng)險(xiǎn)管理及行情預(yù)測(cè)等領(lǐng)域都應(yīng)用廣泛。

LSTM在交通數(shù)據(jù)的分析中取得了不少成果。因?yàn)樾枰獪?zhǔn)確地統(tǒng)計(jì)交通流熱力分布比對(duì)，同時(shí)對(duì)交通數(shù)據(jù)進(jìn)行預(yù)測(cè)分析，以判定交通資源調(diào)配是否合理，葉奕等[8]提出了基于Hadoop平臺(tái)及LSTM 網(wǎng)絡(luò)的城市交通出行數(shù)據(jù)挖掘模型，以保證交通系統(tǒng)的健康發(fā)展。

準(zhǔn)確預(yù)測(cè)公交車(chē)的到站時(shí)間和客流量有助于進(jìn)行合理的調(diào)度規(guī)劃，從而緩解交通擁堵、方便公眾出行?；跉v史數(shù)據(jù)的預(yù)測(cè)對(duì)于短期預(yù)測(cè)反應(yīng)較慢，而基于車(chē)輛實(shí)時(shí)速度的時(shí)間預(yù)測(cè)又無(wú)法得到較長(zhǎng)時(shí)間的預(yù)測(cè)結(jié)果。針對(duì)該問(wèn)題，Liu等[9]提出了一種基于時(shí)空特征向量的長(zhǎng)短期記憶和人工神經(jīng)網(wǎng)絡(luò)的綜合預(yù)測(cè)模型。該模型從時(shí)間特征的維度實(shí)現(xiàn)了遠(yuǎn)距離車(chē)輛到站時(shí)間預(yù)測(cè)，從空間特征的維度實(shí)現(xiàn)了短距離車(chē)輛的到站時(shí)間預(yù)測(cè)。李高盛等[10]提出的基于LSTM的城市公交車(chē)站短時(shí)客流量預(yù)測(cè)算法，能夠找出公交站點(diǎn)之間潛在的相關(guān)性，并具有一定的泛化能力。

為加強(qiáng)能耗數(shù)據(jù)的管控、合理優(yōu)化資源配置、科學(xué)地提高水電能源使用效率，趙金超[11]提出了基于LSTM的能耗數(shù)據(jù)分析混合模型——經(jīng)驗(yàn)?zāi)B(tài)分解-長(zhǎng)短期記憶網(wǎng)絡(luò)-差分自回歸移動(dòng)平均EMD-LSTM-ARIMA(Empirical Mode Decomposition- LSTM-AutoRegressive Integrated Moving Average)模型。該模型分別對(duì)分量序列進(jìn)行預(yù)測(cè)，再對(duì)各分量的預(yù)測(cè)結(jié)果等權(quán)值求和，能夠得到較為準(zhǔn)確的預(yù)測(cè)結(jié)果。莊家懿等[12]為了解決輸入數(shù)據(jù)特征量受限時(shí)短期電力負(fù)荷預(yù)測(cè)精度較低的問(wèn)題，提出了基于多模型耦合的卷積神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短期記憶網(wǎng)絡(luò)-極端梯度增強(qiáng)算法CNN-LSTM-XGBoost(Convolutional Neural Network-LSTM-eXtreme Gradient Boosting)預(yù)測(cè)方法。為了保障電網(wǎng)的有效調(diào)度和電力系統(tǒng)的穩(wěn)定運(yùn)行，需要準(zhǔn)確地對(duì)光伏電站的輻射強(qiáng)度進(jìn)行預(yù)測(cè)。與其他模型相比，邱瑞東等[13]提出的基于長(zhǎng)短期記憶網(wǎng)絡(luò)-輕度梯度提升LSTM-LGB(LSTM-Light Gradient Boosting)的輻射強(qiáng)度預(yù)測(cè)方法能夠提供較高的預(yù)測(cè)準(zhǔn)確度。馬磊等[14]將Attention機(jī)制與LSTM網(wǎng)絡(luò)相結(jié)合建立的預(yù)測(cè)模型，通過(guò)Attention機(jī)制為L(zhǎng)STM的輸入特征賦予不同的權(quán)重，從而使得預(yù)測(cè)模型對(duì)長(zhǎng)時(shí)間序列輸入的處理更為有效。這個(gè)模型應(yīng)用于超短期光伏發(fā)電功率預(yù)測(cè)時(shí)，能夠提高電網(wǎng)的調(diào)度管理水平和電力系統(tǒng)運(yùn)行效率。

與傳統(tǒng)的維修方式相比，基于故障監(jiān)測(cè)的預(yù)知維修可以有效地防止機(jī)械設(shè)備的突發(fā)性故障，減少維修成本。郭旭東等[15]提出使用CNN-LSTM模型進(jìn)行機(jī)電設(shè)備的剩余使用壽命預(yù)測(cè)，以最大限度地利用裝備的工作能力?？敌畹萚16]使用LSTM構(gòu)建故障數(shù)量的預(yù)測(cè)模型，通過(guò)挖掘補(bǔ)償電容故障數(shù)量隨時(shí)間的變化規(guī)律，實(shí)現(xiàn)了對(duì)補(bǔ)償電容未來(lái)一段時(shí)間內(nèi)故障數(shù)量的預(yù)測(cè)。該預(yù)測(cè)結(jié)果能夠?qū)芾聿块T(mén)提前準(zhǔn)備維修所需的資金、人員和設(shè)備起到指導(dǎo)作用。申彥斌等[17]使用雙向LSTM挖掘軸承在實(shí)際工作過(guò)程中的退化規(guī)律，完成了對(duì)軸承剩余使用壽命的預(yù)測(cè)。針對(duì)處于傳感器報(bào)警閾值以下的工業(yè)生產(chǎn)裝置的故障難以及時(shí)捕捉的問(wèn)題，竇珊等[18]引入了基于LSTM的模型來(lái)估計(jì)發(fā)生異常的概率，完成了對(duì)時(shí)間序列的異常檢測(cè)。

在金融領(lǐng)域，LSTM用于行情預(yù)測(cè)和信譽(yù)度預(yù)測(cè)等，能夠幫助企業(yè)和個(gè)人規(guī)避風(fēng)險(xiǎn)。對(duì)信用債個(gè)體違約風(fēng)險(xiǎn)進(jìn)行及時(shí)跟蹤和預(yù)測(cè)，對(duì)于我國(guó)債券市場(chǎng)的穩(wěn)定與健康發(fā)展具有重要意義。因此，陳學(xué)彬等[19]使用LSTM構(gòu)建了中國(guó)信用債違約風(fēng)險(xiǎn)預(yù)測(cè)模型，其預(yù)測(cè)結(jié)果與國(guó)內(nèi)權(quán)威的評(píng)級(jí)結(jié)果非常接近。彭燕等[20]提出的基于LSTM的股票價(jià)格預(yù)測(cè)模型，可以幫助投資者了解股票走勢(shì)，建立合適的投資策略。影響電煤價(jià)格的因素眾多且非線(xiàn)性強(qiáng)，廖志偉等[21]提出了基于LSTM的中短期電煤價(jià)格預(yù)測(cè)模型。

近年來(lái)，LSTM在分布式系統(tǒng)資源管理方面也有許多研究成果。降低功耗能夠有效地減少集群的運(yùn)行成本，為此，韓慶亮[22]提出了一套Hadoop集群節(jié)能系統(tǒng)方案，該方案包含一個(gè)基于節(jié)點(diǎn)負(fù)載狀態(tài)預(yù)測(cè)的任務(wù)調(diào)度算法——Hadoop能源節(jié)省調(diào)度器HES-Scheduler (Hadoop Energy Saving Scheduler)。通過(guò)使用節(jié)點(diǎn)的歷史負(fù)載數(shù)據(jù)對(duì)LSTM模型進(jìn)行訓(xùn)練，能夠預(yù)測(cè)節(jié)點(diǎn)在未來(lái)周期的負(fù)載情況。調(diào)度算法讓預(yù)測(cè)負(fù)載較低的節(jié)點(diǎn)進(jìn)入休眠，以降低集群的能耗。為了提高數(shù)據(jù)中心服務(wù)質(zhì)量，需要降低系統(tǒng)故障帶來(lái)的損失,Gao等[23]提出使用多層雙向LSTM分析系統(tǒng)的歷史數(shù)據(jù)，能夠更加準(zhǔn)確地預(yù)測(cè)出系統(tǒng)故障的發(fā)生。

系統(tǒng)資源使用情況預(yù)測(cè)是進(jìn)行實(shí)時(shí)任務(wù)調(diào)度的關(guān)鍵。Ruan等[24]提出了基于深度學(xué)習(xí)的存儲(chǔ)負(fù)載預(yù)測(cè)模型CrystalLP。該模型包含負(fù)載采集、數(shù)據(jù)預(yù)處理、時(shí)間序列預(yù)測(cè)和數(shù)據(jù)后處理等階段，其中時(shí)間序列預(yù)測(cè)采用了LSTM。針對(duì)集群資源實(shí)時(shí)變化性強(qiáng)的特點(diǎn)，Gupta等[25]建立了一個(gè)稀疏框架以完成快速的資源使用情況預(yù)測(cè)。為解決用戶(hù)過(guò)度申請(qǐng)資源而導(dǎo)致數(shù)據(jù)中心整體資源使用率下降的問(wèn)題，Thonglek等[26]提出了基于LSTM的作業(yè)最優(yōu)資源分配算法。

目前，使用LSTM進(jìn)行用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)的研究較少。本文設(shè)計(jì)和構(gòu)建了基于LSTM作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型的作業(yè)調(diào)度算法，以縮短用戶(hù)作業(yè)的完成時(shí)間，提高數(shù)據(jù)中心的服務(wù)質(zhì)量。本文還分析了時(shí)間預(yù)測(cè)模型的輸入，進(jìn)行了預(yù)測(cè)模型結(jié)構(gòu)設(shè)計(jì)，并詳細(xì)介紹了模型中各超參數(shù)的確定方法。實(shí)驗(yàn)表明，本文模型的預(yù)測(cè)誤差較小，能夠滿(mǎn)足工程應(yīng)用要求。

2 基于作業(yè)執(zhí)行時(shí)間預(yù)測(cè)的作業(yè)調(diào)度算法

預(yù)測(cè)用戶(hù)作業(yè)的執(zhí)行時(shí)間，不但可以確定數(shù)據(jù)中心是否有能力在用戶(hù)規(guī)定的時(shí)間內(nèi)完成作業(yè)，還為進(jìn)行合理的作業(yè)調(diào)度提供了依據(jù)。基于時(shí)間預(yù)測(cè)的作業(yè)調(diào)度算法如圖1所示。圖1中jb是批作業(yè)中的作業(yè)數(shù)量，Uremain表示數(shù)據(jù)中心剩余資源占總資源量的比例，初始值為1。當(dāng)系統(tǒng)剩余資源可以滿(mǎn)足某作業(yè)的資源需求且能保證其在截止時(shí)間前完成時(shí)，可以將這個(gè)作業(yè)與其它作業(yè)并行執(zhí)行。作業(yè)執(zhí)行并行度的提高有助于縮短批作業(yè)的完成時(shí)間，提升數(shù)據(jù)中心的資源利用率。

Figure 1 Flowchart of the job scheduling algorithm based on the execution time prediction model圖1 基于作業(yè)執(zhí)行時(shí)間預(yù)測(cè)的作業(yè)調(diào)度算法流程圖

圖1中Ur表示作業(yè)的資源占比系數(shù)，表示用戶(hù)所需要的資源量占數(shù)據(jù)中心資源總量的比例，其計(jì)算如式(1)所示：

(1)

對(duì)于每一個(gè)作業(yè)，數(shù)據(jù)中心首先對(duì)其進(jìn)行執(zhí)行時(shí)間預(yù)測(cè)。當(dāng)發(fā)現(xiàn)作業(yè)預(yù)計(jì)的執(zhí)行時(shí)間不能滿(mǎn)足用戶(hù)的作業(yè)截止時(shí)間要求時(shí)，則及時(shí)告知用戶(hù)，由用戶(hù)自行決定是延長(zhǎng)截止時(shí)間還是轉(zhuǎn)去其它數(shù)據(jù)中心。當(dāng)數(shù)據(jù)中心為一個(gè)作業(yè)進(jìn)行資源分配后仍有資源可用時(shí)，則繼續(xù)選擇滿(mǎn)足資源要求和截止時(shí)間要求的作業(yè)與當(dāng)前任務(wù)并行執(zhí)行。此算法的基本思想是利用預(yù)測(cè)的作業(yè)執(zhí)行時(shí)間，判斷是否能夠?yàn)橛脩?hù)提供高質(zhì)量的服務(wù)，同時(shí)盡可能提高作業(yè)執(zhí)行的并行度，以縮短批作業(yè)的完成時(shí)間。

作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型是本文算法的核心，下面將詳細(xì)介紹基于LSTM的作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型的結(jié)構(gòu)和構(gòu)建方法。

3 基于LSTM的作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型的構(gòu)建

3.1 LSTM神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層，輸出控制主要由激活函數(shù)進(jìn)行調(diào)整，每2層之間都存在權(quán)值連接。普通的神經(jīng)網(wǎng)絡(luò)沒(méi)有考慮輸入樣本之間的關(guān)聯(lián)，樣本的處理在各個(gè)時(shí)刻相互獨(dú)立，每層神經(jīng)元的信號(hào)只能向上一層傳播。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)是一種特殊的神經(jīng)網(wǎng)絡(luò)，可以看成是一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，這使得神經(jīng)網(wǎng)絡(luò)對(duì)前面輸入的內(nèi)容具有了記憶功能，因而適合處理時(shí)間序列問(wèn)題。

但是，由于存在梯度消失和梯度爆炸問(wèn)題，RNN無(wú)法有效處理長(zhǎng)序列數(shù)據(jù)。長(zhǎng)短期記憶LSTM網(wǎng)絡(luò)就是為了解決這一問(wèn)題而提出的改進(jìn)算法。LSTM使用門(mén)控結(jié)構(gòu)來(lái)控制長(zhǎng)期狀態(tài)信息[27]，其細(xì)胞結(jié)構(gòu)如圖2所示，其中Ct是t時(shí)刻的細(xì)胞狀態(tài)，ht是t時(shí)刻的隱藏狀態(tài)。

Figure 2 Cell structure of LSTM 圖2 LSTM細(xì)胞結(jié)構(gòu)圖

LSTM中所采用的門(mén)控結(jié)構(gòu)主要包含如下3種：

(1)遺忘門(mén)(Forget Gate)。

假設(shè)當(dāng)前時(shí)刻為t,LSTM神經(jīng)網(wǎng)絡(luò)中遺忘門(mén)決定了如何對(duì)t-1時(shí)刻的細(xì)胞狀態(tài)Ct-1進(jìn)行保留和舍棄。遺忘門(mén)的輸出ft通過(guò)式(2)計(jì)算得到：

ft=σ(Wf·[ht-1,xt]+bf)

(2)

其中,σ(·)是sigmoid激活函數(shù)，Wf和bf分別為遺忘權(quán)重和偏置矩陣，xt是t時(shí)刻的輸入，ht-1是t-1時(shí)刻的隱藏狀態(tài)。ft=1表示t-1時(shí)刻的細(xì)胞狀態(tài)Ct-1被完全保留，ft=0則表示Ct-1被全部舍棄。

(2)輸入門(mén)(Input Gate)。

輸入門(mén)的主要功能是處理當(dāng)前時(shí)刻t的輸入，它由2部分組成。第1部分采用了激活函數(shù)sigmoid，輸出it,其計(jì)算如式(3)所示：

it=σ(Wi·[ht-1,xt]+bi)

(3)

其中Wi和bi分別為輸入權(quán)重和偏置矩陣。

(4)

其中WC和bC分別為對(duì)應(yīng)的權(quán)重和偏置矩陣。

(5)

(3)輸出門(mén)(Output Gate)。

隱藏狀態(tài)ht的更新由2部分組成:第1部分是ot,它由t-1時(shí)刻的隱藏狀態(tài)ht-1和t時(shí)刻的輸入數(shù)據(jù)xt，以及sigmoid激活函數(shù)計(jì)算得到;第2部分由Ct和tanh激活函數(shù)計(jì)算得到,分別如式(6)和式(7)所示：

ot=σ(Wo·[ht-1,xt]+bo)

(6)

ht=ot*tanh (Ct)

(7)

其中Wo和bo分別為輸出權(quán)重和偏置矩陣。

通過(guò)遺忘門(mén)、輸入門(mén)和輸出門(mén)的控制，可以得到當(dāng)前時(shí)刻t的細(xì)胞狀態(tài)Ct和隱藏狀態(tài)ht。

3.2 模型的輸入和輸出

用戶(hù)提交作業(yè)時(shí)，一般會(huì)給出作業(yè)的數(shù)據(jù)量、對(duì)數(shù)據(jù)中心資源的需求量和作業(yè)期望的完成時(shí)間等信息，基于LSTM的用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型將根據(jù)這些輸入，完成作業(yè)執(zhí)行時(shí)間的預(yù)測(cè)。影響用戶(hù)作業(yè)執(zhí)行時(shí)間的因素很多。從作業(yè)的角度，在相同的系統(tǒng)配置下，同樣類(lèi)型的作業(yè)，其數(shù)據(jù)量越大，完成的時(shí)間會(huì)越長(zhǎng)；而同樣數(shù)據(jù)量、不同類(lèi)型作業(yè)的運(yùn)行時(shí)間則會(huì)有所不同[28]。從系統(tǒng)資源的角度，CPU核數(shù)、CPU負(fù)載、內(nèi)存量和網(wǎng)絡(luò)帶寬等都會(huì)影響作業(yè)的執(zhí)行時(shí)間[29]。本文選取如下5個(gè)影響因素作為執(zhí)行時(shí)間預(yù)測(cè)模型的輸入：

(1)作業(yè)類(lèi)型：一般可分為CPU密集型、內(nèi)存密集型和網(wǎng)絡(luò)密集型等。

(2)用戶(hù)作業(yè)所需CPU數(shù)量：用戶(hù)提交作業(yè)時(shí)要求的CPU核數(shù)。

(3)用戶(hù)作業(yè)所需內(nèi)存量：用戶(hù)提交作業(yè)時(shí)要求的內(nèi)存數(shù)量。

(4)用戶(hù)作業(yè)的數(shù)據(jù)量大?。盒枰脩?hù)提交，對(duì)作業(yè)的執(zhí)行時(shí)間有較大的影響。

(5)作業(yè)的資源占比系數(shù)：用戶(hù)所需要的資源量占數(shù)據(jù)中心資源總量的比例，通過(guò)式(1)計(jì)算得到。

預(yù)測(cè)模型通過(guò)發(fā)掘各個(gè)因素之間的隱性關(guān)系，完成作業(yè)執(zhí)行時(shí)間的預(yù)測(cè)。

3.3 模型結(jié)構(gòu)

基于LSTM的用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型如圖3所示。模型的輸入為用戶(hù)作業(yè)的參數(shù)，輸出為預(yù)測(cè)的作業(yè)執(zhí)行時(shí)間。LSTM在每一個(gè)時(shí)刻的輸入向量xt的維度為5，即影響作業(yè)執(zhí)行時(shí)間的5個(gè)影響因素——作業(yè)類(lèi)型、用戶(hù)作業(yè)所需CPU數(shù)量、用戶(hù)作業(yè)所需內(nèi)存量、用戶(hù)作業(yè)的數(shù)據(jù)量和作業(yè)資源占比系數(shù)。Ct和ht對(duì)應(yīng)的向量維數(shù)為隱藏層神經(jīng)元的個(gè)數(shù)。LSTM的輸出h由對(duì)應(yīng)的細(xì)胞狀態(tài)Ct和tanh激活函數(shù)，通過(guò)式(7)計(jì)算得到。隱藏層的層數(shù)和隱藏層神經(jīng)元的個(gè)數(shù)通過(guò)實(shí)驗(yàn)確定。最后一個(gè)隱藏層的輸出通過(guò)全連接層FC (Fully Connected layer)與輸出向量連接。

Figure 3 Structure of the user job execution time prediction model based on LSTM圖3 基于LSTM的用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型結(jié)構(gòu)

本文所采用的損失函數(shù)為均方差MSE(Mean Square Error)，其計(jì)算方法如式(8)所示：

(8)

3.4 模型評(píng)價(jià)指標(biāo)

用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)屬于回歸問(wèn)題，常用的評(píng)價(jià)指標(biāo)有均方根誤差、平均絕對(duì)誤差、平均絕對(duì)值百分比誤差和決定系數(shù)等。

(1)均方根誤差RMSE(Root Mean Square Error)。

與MSE相比，RMSE可以降低誤差的級(jí)別，RMSE的值越小，意味著預(yù)測(cè)模型越有意義,其計(jì)算如式(9)所示：

(9)

(2)平均絕對(duì)誤差MAE(Mean Absolute Error)。

MAE的單位和RMSE是一樣的，其計(jì)算方式如式(10)所示：

(10)

(3)平均絕對(duì)值百分比誤差MAPE(Mean Absolute Percentage Error)。

平均絕對(duì)值百分比誤差的取值在[0,+∞)，通過(guò)式(11)計(jì)算得到，其值越小表示模型越精確。

(11)

(4)決定系數(shù)R2(Coefficient of Determination)。

決定系數(shù)也稱(chēng)作擬合優(yōu)度，通常用來(lái)衡量模型能否很好地描述真實(shí)數(shù)據(jù)的變化，其計(jì)算如式(12)所示：

(12)

3.5 超參數(shù)調(diào)優(yōu)

LSTM模型中超參數(shù)的取值對(duì)預(yù)測(cè)結(jié)果的準(zhǔn)確性有非常大的影響，所以在正式訓(xùn)練模型之前，本文通過(guò)實(shí)驗(yàn)確定超參數(shù)最佳取值。影響LSTM模型的超參數(shù)包括學(xué)習(xí)率、迭代次數(shù)、網(wǎng)絡(luò)層數(shù)、隱藏層節(jié)點(diǎn)數(shù)和Dropout率等，下面逐一進(jìn)行分析。

3.5.1 學(xué)習(xí)率和迭代次數(shù)

學(xué)習(xí)率lr(learning rate)在迭代過(guò)程中用來(lái)決定網(wǎng)絡(luò)梯度更新的幅度，其經(jīng)典取值在0.1～0.000 001。學(xué)習(xí)率的取值過(guò)大，容易導(dǎo)致最終結(jié)果在最優(yōu)處反復(fù)震蕩，無(wú)法收斂；取值過(guò)小，則整個(gè)網(wǎng)絡(luò)的訓(xùn)練速度會(huì)變得很慢。

本文進(jìn)行l(wèi)r調(diào)優(yōu)的方法是首先使用迭代過(guò)程中對(duì)應(yīng)的損失值來(lái)確定學(xué)習(xí)率的量級(jí)，再通過(guò)微調(diào)確定最佳學(xué)習(xí)率。不同學(xué)習(xí)率對(duì)應(yīng)的損失函數(shù)值如圖4所示。

Figure 4 Loss function curves corresponding to different learning rates圖4 不同學(xué)習(xí)率對(duì)應(yīng)的損失函數(shù)曲線(xiàn)

從圖4可以發(fā)現(xiàn)，學(xué)習(xí)率為0.1時(shí)，學(xué)習(xí)率過(guò)大，在迭代次數(shù)較少的時(shí)候發(fā)生了振蕩的現(xiàn)象,而增加迭代次數(shù)后，雖然產(chǎn)生了收斂的趨勢(shì)，但是收斂對(duì)應(yīng)的誤差非常大，仍然無(wú)法滿(mǎn)足模型的精度要求。當(dāng)學(xué)習(xí)率取值為0.000 1，0.000 01和0.000 001時(shí)，在500次迭代次數(shù)之內(nèi)，誤差曲線(xiàn)處于未收斂狀態(tài)，此時(shí)模型是欠擬合的。將迭代次數(shù)調(diào)整到1 000次以上時(shí)，3種學(xué)習(xí)率對(duì)應(yīng)的損失值曲線(xiàn)呈現(xiàn)收斂狀態(tài)，但是誤差較大，還是無(wú)法滿(mǎn)足精度要求，且迭代次數(shù)超過(guò)1 500次后時(shí)間成本大幅上升。在學(xué)習(xí)率取0.01和0.001時(shí)，損失函數(shù)的曲線(xiàn)呈現(xiàn)正常收斂狀態(tài)，但學(xué)習(xí)率為0.01時(shí)，對(duì)應(yīng)的損失曲線(xiàn)在收斂時(shí)有些許波動(dòng)幅度，不如學(xué)習(xí)率為0.001時(shí)的曲線(xiàn)平滑。經(jīng)過(guò)驗(yàn)證和微調(diào)后，本文最終將學(xué)習(xí)率取值為0.006。

進(jìn)行LSTM模型訓(xùn)練時(shí)，過(guò)少的迭代次數(shù)會(huì)產(chǎn)生較大的誤差，無(wú)法讓模型達(dá)到預(yù)期的效果。本文為了找到合適的迭代次數(shù)，在確定學(xué)習(xí)率之后，對(duì)LSTM模型進(jìn)行了多次訓(xùn)練，不同迭代次數(shù)對(duì)應(yīng)的誤差如圖5所示。

Figure 5 Error curve corresponding to different number of iterations圖5 不同迭代次數(shù)對(duì)應(yīng)的誤差曲線(xiàn)

從圖5可以發(fā)現(xiàn)，在迭代數(shù)次增加到300次之后，誤差曲線(xiàn)開(kāi)始趨于平緩，呈收斂態(tài)勢(shì)。本文結(jié)合所構(gòu)建的網(wǎng)絡(luò)模型和數(shù)據(jù)量，確定迭代次數(shù)為500次即可使模型的預(yù)測(cè)精度達(dá)到預(yù)期要求。

3.5.2 網(wǎng)絡(luò)層數(shù)

Chen等[30]指出，增加LSTM網(wǎng)絡(luò)隱藏層數(shù)有利于提升模型預(yù)測(cè)精度。但彭燕等[20]通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，一味增加層數(shù)并不能一直增加模型精度，往往只是增加了訓(xùn)練的復(fù)雜度。本文綜合考慮時(shí)間成本和期望模型的復(fù)雜度，選取了2～3層的網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，通過(guò)對(duì)比實(shí)驗(yàn)的結(jié)果來(lái)進(jìn)一步確定網(wǎng)絡(luò)層數(shù)。實(shí)驗(yàn)結(jié)果如圖6所示。

Figure 6 Error curves corresponding to two- and three- layer network 圖6 不同網(wǎng)絡(luò)層數(shù)對(duì)應(yīng)的誤差曲線(xiàn)

從圖6可以發(fā)現(xiàn)，分別以2和3作為網(wǎng)絡(luò)層數(shù)建立的模型，兩者對(duì)應(yīng)的誤差曲線(xiàn)都在迭代300次左右開(kāi)始收斂。相比于3層網(wǎng)絡(luò)，2層網(wǎng)絡(luò)在迭代次數(shù)較小時(shí)的誤差較小，且在趨向收斂時(shí)其均方根誤差更小，模型精度更高，因此本文模型中的網(wǎng)絡(luò)層數(shù)取2。

3.5.3 隱藏層節(jié)點(diǎn)數(shù)和Dropout率

隱藏層節(jié)點(diǎn)可以使網(wǎng)絡(luò)模型學(xué)習(xí)數(shù)據(jù)之間隱藏的關(guān)聯(lián)。若隱藏層節(jié)點(diǎn)數(shù)過(guò)少，會(huì)導(dǎo)致模型無(wú)法充分發(fā)掘數(shù)據(jù)之間的隱性關(guān)系，導(dǎo)致預(yù)測(cè)效果差；若隱藏層節(jié)點(diǎn)數(shù)過(guò)多，則容易發(fā)生過(guò)擬合現(xiàn)象，即使沒(méi)有過(guò)擬合，也會(huì)使網(wǎng)絡(luò)變得過(guò)于復(fù)雜，增加訓(xùn)練時(shí)間。夏克文等[31]通過(guò)研究得到了確定最佳隱藏層節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式，如式(13)和式(14)所示：

(13)

(14)

其中,nh,ni和no分別代表神經(jīng)網(wǎng)絡(luò)的隱藏層節(jié)點(diǎn)數(shù)、輸入層節(jié)點(diǎn)數(shù)和輸出層的節(jié)點(diǎn)數(shù)，m是取值為 [1，10] 的常數(shù)。根據(jù)這2個(gè)公式和隱藏層節(jié)點(diǎn)優(yōu)化搜索算法可以確定最佳隱藏層節(jié)點(diǎn)數(shù)，具體步驟如下：

步驟1因?yàn)楸疚牡膎i=5，no=1，根據(jù)式(14)可得，a=3，b=16，所以隱藏層節(jié)點(diǎn)數(shù)的取值在[3,16]。通過(guò)黃金分割比例公式計(jì)算得到第1個(gè)實(shí)驗(yàn)點(diǎn)e1=0.618*(b-a)+a=11。

步驟2計(jì)算第2個(gè)實(shí)驗(yàn)點(diǎn)e2=0.382*(b-a)+a=7，通過(guò)實(shí)驗(yàn)得到隱藏層節(jié)點(diǎn)數(shù)為11時(shí)對(duì)應(yīng)的RMSE值為12.35，小于隱藏層節(jié)點(diǎn)數(shù)為7時(shí)對(duì)應(yīng)的RMSE值13.83。根據(jù)文獻(xiàn)[31]中提出的黃金分割舍劣取優(yōu)的方式，由于11對(duì)應(yīng)的誤差更小，所以留下11所在的優(yōu)勢(shì)區(qū)間，舍棄掉7所在的劣勢(shì)區(qū)間[3,7)。這樣可將區(qū)間進(jìn)一步縮小為[7,16]。

步驟3利用黃金分割法求得拓展區(qū)間為[16,24]。因?yàn)?6=0.618*(c-a)+a且a=3，所以c=24。如此，可得到拓展取值在[7,24]。

步驟4在[7,24]中反復(fù)實(shí)驗(yàn)，得到的各個(gè)隱藏層節(jié)點(diǎn)數(shù)對(duì)應(yīng)的RMSE值如表1所示。其中RMSE相對(duì)最小的隱藏層節(jié)點(diǎn)數(shù)為15，19，21和22。

Table 1 RMSE corresponding to the node number of the hidden layers表1 各個(gè)隱藏層節(jié)點(diǎn)數(shù)對(duì)應(yīng)的RMSE

在得到相對(duì)較優(yōu)的隱藏層節(jié)點(diǎn)數(shù)之后，再根據(jù)模型的多個(gè)評(píng)價(jià)指標(biāo)值選取最優(yōu)節(jié)點(diǎn)數(shù)，對(duì)比情況如表2所示。

Table 2 Evaluation index values corresponding to different hidden node numbers表2 不同隱藏節(jié)點(diǎn)數(shù)所對(duì)應(yīng)模型的評(píng)價(jià)指標(biāo)值

從表2可以看到,當(dāng)隱藏層節(jié)點(diǎn)數(shù)為21時(shí)，其RMSE、MAE和R23個(gè)評(píng)價(jià)指標(biāo)的值都是最優(yōu)的,其MAPE值也低于節(jié)點(diǎn)數(shù)為15和19時(shí)的情況，僅比最低值高了3.00%。本文綜合考慮網(wǎng)絡(luò)的復(fù)雜程度和計(jì)算成本，將網(wǎng)絡(luò)模型的隱藏層節(jié)點(diǎn)數(shù)確定為21。

合適的Dropout率可以有效地降低過(guò)擬合現(xiàn)象發(fā)生的概率，起到一個(gè)正則化的作用。通常Dropout率的取值在0.1～0.3，本文通過(guò)實(shí)驗(yàn)確定Dropout率的取值，實(shí)驗(yàn)結(jié)果如表3所示。從表3可以看出，當(dāng)Dropout率為0.1時(shí)，模型各項(xiàng)評(píng)價(jià)指標(biāo)的取值可以達(dá)到較為理想的狀態(tài)，因此本文模型的Dropout率設(shè)為0.1。

Table 3 Model errors corresponding to different dropout rates表3 不同DropOut率對(duì)應(yīng)的誤差

3.6 模型訓(xùn)練

在確定了基于LSTM的用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型的超參數(shù)后，本文開(kāi)始模型訓(xùn)練。本文所有進(jìn)行時(shí)間預(yù)測(cè)模型訓(xùn)練和測(cè)試的數(shù)據(jù)采集于表4所示的Spark集群。

Table 4 Data collection cluster configuration表4 數(shù)據(jù)采集系統(tǒng)配置表

根據(jù)用戶(hù)作業(yè)類(lèi)型對(duì)采集的歷史數(shù)據(jù)進(jìn)行分類(lèi)，可分為CPU密集型、內(nèi)存密集型和默認(rèn)不定義類(lèi)型等。將CPU密集型數(shù)據(jù)集記為DCPU={cp1,cp2,…,cpn}，內(nèi)存密集型數(shù)據(jù)集記為DMem={me1,me2,…,mem}，默認(rèn)不定義類(lèi)型數(shù)據(jù)集記為Ddefault={de1,de2,…,des}，則歷史數(shù)據(jù)集可以表示為D=DCPU∪DMem∪Ddefault。每一條數(shù)據(jù)都包含作業(yè)類(lèi)型、CPU數(shù)量、內(nèi)存數(shù)量、作業(yè)數(shù)據(jù)量和資源占比系數(shù)5個(gè)影響因素和作業(yè)的實(shí)際運(yùn)行時(shí)間。本文共采集數(shù)據(jù)400條，其中150條是WordCount負(fù)載對(duì)應(yīng)的數(shù)據(jù)，150條是Sort負(fù)載對(duì)應(yīng)的數(shù)據(jù)，其余100條屬于Ddefault集合。

對(duì)D中的數(shù)據(jù)使用Max-Min法進(jìn)行歸一化處理，并按照80%和20%的比例劃分成為訓(xùn)練集Dtrain和測(cè)試集Dtest。

4 實(shí)驗(yàn)及結(jié)果分析

為了檢驗(yàn)基于LSTM的用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型的有效性，本節(jié)分別對(duì)WordCount和Sort 2類(lèi)工作負(fù)載進(jìn)行了數(shù)據(jù)采集和運(yùn)行時(shí)間預(yù)測(cè)。

4.1 實(shí)驗(yàn)環(huán)境

訓(xùn)練模型所采用的超參數(shù)取值如表5所示。

Table 5 Values of the hyper-parameters表5 模型超參數(shù)取值

時(shí)間預(yù)測(cè)模型的軟硬件運(yùn)行環(huán)境如表6所示。

Table 6 Software and hardware configuration for the experiments表6 實(shí)驗(yàn)軟硬件配置

4.2 實(shí)驗(yàn)結(jié)果

為了考察時(shí)間預(yù)測(cè)模型的準(zhǔn)確性，實(shí)驗(yàn)環(huán)節(jié)沒(méi)有采用進(jìn)行模型訓(xùn)練的數(shù)據(jù)集。新的數(shù)據(jù)集同樣在表4所示的集群上運(yùn)行產(chǎn)生，分別為24組WordCount作業(yè)和24組Sort作業(yè)。在得到作業(yè)的實(shí)際運(yùn)行時(shí)間后再使用時(shí)間預(yù)測(cè)模型對(duì)這些作業(yè)進(jìn)行運(yùn)行時(shí)間預(yù)測(cè)，得到各作業(yè)的預(yù)測(cè)執(zhí)行時(shí)間。

將LSTM模型的預(yù)測(cè)結(jié)果和經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)模型、ARIMA線(xiàn)性模型和SVR模型的進(jìn)行對(duì)比。所有模型均運(yùn)行在表6所示的環(huán)境中。BP神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置如下：5個(gè)輸入?yún)?shù)，1個(gè)輸出參數(shù)，2層隱藏層，隱藏層節(jié)點(diǎn)數(shù)為21，Dropout率為0.1，使用sigmoid作為激活函數(shù)。ARIMA模型的參數(shù) (p,d,q)取值為(3,1,1)。SVR模型中的參數(shù)取值分別為：懲罰系數(shù)C=104，kernel為sigmoid，gamma='auto'，coef0=0.0，tol=10-4，最大迭代次數(shù)max_iter=1000，其余參數(shù)使用默認(rèn)值。

使用這4種模型對(duì)用戶(hù)提交的作業(yè)進(jìn)行執(zhí)行時(shí)間預(yù)測(cè)，得到的模型評(píng)價(jià)指標(biāo)值如表7所示。

Table 7 Corresponding evaluation index values of different models表7 不同模型對(duì)應(yīng)的評(píng)價(jià)指標(biāo)

由表7可知，LSTM模型的各項(xiàng)指標(biāo)所顯示的誤差都較小，擬合優(yōu)度R2是最高的。相對(duì)于SVR模型、ARIMA模型和BP模型，LSTM模型在R2上分別有2.97%,2.34%和5.66%的提升效果，這意味著LSTM模型可以較為精準(zhǔn)地預(yù)測(cè)用戶(hù)作業(yè)的執(zhí)行時(shí)間。

為了進(jìn)一步對(duì)LSTM時(shí)間預(yù)測(cè)模型的可用性進(jìn)行分析，本文將預(yù)測(cè)結(jié)果和作業(yè)真實(shí)執(zhí)行時(shí)間進(jìn)行了對(duì)比，結(jié)果如圖7和圖8所示。圖7呈現(xiàn)的是作業(yè)真實(shí)執(zhí)行時(shí)間與LSTM模型給出的預(yù)測(cè)時(shí)間對(duì)比，圖8給出了每個(gè)作業(yè)預(yù)測(cè)時(shí)間的誤差及誤差的平均值。

Figure 7 Comparison of jobs’ running time and prediction time of LSTM model圖7 作業(yè)真實(shí)執(zhí)行時(shí)間與LSTM模型預(yù)測(cè)時(shí)間對(duì)比

Figure 8 Error of LSTM based time prediction model圖8 LSTM模型作業(yè)執(zhí)行時(shí)間預(yù)測(cè)誤差

可以看出，由LSTM模型預(yù)測(cè)得到的作業(yè)執(zhí)行時(shí)間和真實(shí)的用戶(hù)作業(yè)執(zhí)行時(shí)間非常相近，平均誤差為0.78%。對(duì)WordCount作業(yè)的預(yù)測(cè)誤差為1.0972%±3.5031%；對(duì)Sort作業(yè)的預(yù)測(cè)誤差更小，但是標(biāo)準(zhǔn)差略大，為0.4667%±3.6076%。預(yù)測(cè)的誤差時(shí)間高于或低于真實(shí)作業(yè)運(yùn)行時(shí)間對(duì)作業(yè)調(diào)度有不同的影響。預(yù)測(cè)時(shí)間低于真實(shí)執(zhí)行值可能導(dǎo)致無(wú)法按時(shí)成完用戶(hù)作業(yè)；反之，則會(huì)導(dǎo)致集群拒絕有能力按時(shí)完成的作業(yè)。具體的誤差分析結(jié)果如表8所示。

Table 8 Error analysis of experimental results表8 實(shí)驗(yàn)結(jié)果誤差分析

從表8可知，正誤差和負(fù)誤差的數(shù)量相當(dāng)，且都不超過(guò)10%。假設(shè)預(yù)測(cè)的作業(yè)執(zhí)行時(shí)間為y小時(shí)，滿(mǎn)足用戶(hù)要求的作業(yè)運(yùn)行時(shí)間為z小時(shí)。當(dāng)z≤1.1y，就可以確定集群能夠?yàn)橛脩?hù)提供服務(wù)，保證了用戶(hù)滿(mǎn)意度。

5 結(jié)束語(yǔ)

為了提高數(shù)據(jù)中心的服務(wù)質(zhì)量，數(shù)據(jù)中心必須保證在用戶(hù)要求的截止時(shí)間前完成作業(yè)。因此，在接收用戶(hù)作業(yè)前，數(shù)據(jù)中心需要根據(jù)當(dāng)前可用資源預(yù)測(cè)出作業(yè)的完成時(shí)間，以確定是否能夠?yàn)橛脩?hù)提供服務(wù)。本文提出了一種基于LSTM的用戶(hù)作業(yè)執(zhí)行時(shí)間預(yù)測(cè)模型，在描述了模型所需的輸入、輸出后，通過(guò)實(shí)驗(yàn)和分析確定了LSTM模型所需的超參數(shù)取值，以提升模型的效率和精度。實(shí)驗(yàn)表明時(shí)間預(yù)測(cè)模型的擬合優(yōu)度R2能夠達(dá)到99.24%，平均預(yù)測(cè)誤差為0.78%，優(yōu)于對(duì)比組的時(shí)間預(yù)測(cè)模型。

目前本文所使用的歷史作業(yè)數(shù)據(jù)量較少，考慮的作業(yè)類(lèi)型也較少，為了進(jìn)一步提升模型的預(yù)測(cè)精度，下一步將繼續(xù)增大訓(xùn)練數(shù)據(jù)規(guī)模；單一模型的預(yù)測(cè)效果通常沒(méi)有復(fù)合模型好，下一步將把LSTM與注意力機(jī)制相結(jié)合，提出性能更好的模型；同時(shí)將在真實(shí)數(shù)據(jù)中心上進(jìn)行更多的實(shí)驗(yàn)來(lái)驗(yàn)證模型的有效性和可擴(kuò)展性。