一種基于V-TGRU模型的資源調(diào)度算法

常曉潔，張華

（浙江大學(xué)信息技術(shù)中心，浙江 杭州 310058）

云計算是一種基于可配置網(wǎng)絡(luò)、存儲、服務(wù)器、應(yīng)用軟件等計算資源共享池進(jìn)行計算并按需分配和付費(fèi)的服務(wù)模型[1-4]。云計算環(huán)境下的資源分配和調(diào)度是云計算服務(wù)領(lǐng)域的核心問題。隨著云計算技術(shù)的不斷發(fā)展和應(yīng)用需求的持續(xù)提高，云計算環(huán)境的復(fù)雜性日益加劇，機(jī)器選擇過程中基于任務(wù)應(yīng)用行為[5]、故障表現(xiàn)[6]、能源效率[7]、親和性[8]等最優(yōu)調(diào)度算法的影響因素研究正吸引越來越多學(xué)者的興趣。機(jī)器學(xué)習(xí)是依靠過去的經(jīng)驗(yàn)數(shù)據(jù)創(chuàng)建模型的能力[9-10]，調(diào)度算法的優(yōu)化需通過機(jī)器學(xué)習(xí)組件提高復(fù)雜決策的準(zhǔn)確性和有效性[11]。文獻(xiàn)[12-13]提出了基于決策樹、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等經(jīng)典模型的機(jī)器學(xué)習(xí)算法在云計算場景中的應(yīng)用。文獻(xiàn)[14-15]討論了應(yīng)用強(qiáng)化的機(jī)器學(xué)習(xí)算法進(jìn)行權(quán)限管理和資源分配。文獻(xiàn)[16-20]分別介紹了針對單一資源變量，如CPU或資源請求輸入門控循環(huán)單元（gate recurrent unit，GRU）、長短期記憶（long short term memory，LSTM）網(wǎng)絡(luò)以及改進(jìn)離散檢測GRU（IGRU-SD）算法進(jìn)行資源預(yù)測。上述研究均基于單變量環(huán)境下的優(yōu)化策略，在實(shí)際應(yīng)用過程中則需考慮精度、訓(xùn)練時間、參數(shù)量、特性數(shù)量和變量之間的關(guān)系等。

文獻(xiàn)[21]研究了虛擬化服務(wù)器集群中電源優(yōu)化的動態(tài)配置方法；文獻(xiàn)[22]研究了基于信任驅(qū)動和服務(wù)質(zhì)量需求的工作流聚類分析調(diào)度方法；文獻(xiàn)[23]研究了云計算環(huán)境下基于分簇的資源調(diào)度算法；文獻(xiàn)[24]研究了基于分布式深度學(xué)習(xí)的多個異構(gòu)神經(jīng)網(wǎng)絡(luò)調(diào)度模型。這些方法對云資源的充分調(diào)度具有一定借鑒意義，但在任務(wù)調(diào)度過程中，尚存在大量閑散的、未被利用的計算資源以及任務(wù)的反復(fù)調(diào)度所造成的資源浪費(fèi)。

針對上述云計算環(huán)境下資源調(diào)度算法的問題，提出在私有云計算環(huán)境下基于機(jī)器學(xué)習(xí)變量傳輸控制GRU（V-TGRU）模型的資源預(yù)測算法。

1 資源預(yù)測模型

1.1 數(shù)據(jù)預(yù)處理

1.2 V-TGRU算法模型

GRU算法的記憶較循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）算法更長，訓(xùn)練速度較LSTM網(wǎng)絡(luò)算法更快，但仍存在需要預(yù)處理數(shù)據(jù)包和內(nèi)存使用率高等問題。為此，引入變量門控遞歸單元，包括1個調(diào)整新輸入與前內(nèi)存合并的重置器、1個控制前內(nèi)存保存的更新門Z。

圖1 V-TGRU模型結(jié)構(gòu)Fig.1 V-TGRU model structure

在V-TGRU模型框架中，提出了一種具有雙向結(jié)構(gòu)和門控遞歸單元變量w的增強(qiáng)型V-TGRU網(wǎng)絡(luò)。首先，將雙向結(jié)構(gòu)應(yīng)用于捕獲輸出，從而提高GRU模型的表達(dá)能力。所采用的加權(quán)特征平均法簡單地導(dǎo)出了每個時間點(diǎn)帶中心雙加權(quán)方案的平均向量。其由兩部分組成：雙向GRU輸出和加權(quán)平均特征。變量w和變量激活指變量w中的權(quán)重和激活功能與GRU相同，但V-TGRU中的權(quán)重w和激活功能采用二值化表征。此外，V-TGRU用編碼器自動進(jìn)行預(yù)處理。編碼器中輸入的為壓縮數(shù)據(jù)，通常比原始輸入數(shù)據(jù)更規(guī)整，從而降低內(nèi)存占用率，解決GRU算法需要預(yù)處理數(shù)據(jù)包和內(nèi)存使用率高的問題。

V-TGRU預(yù)測模型[25]的算法流程：

輸入：采集到的N個實(shí)例資源占用情況矢量包Xi={XID，Xlen，Xin，Xout，Xcpu，Xmem，Xnet，Xtk}。

輸出：測試數(shù)據(jù)集的評估結(jié)果。

步驟1創(chuàng)建編碼器模型。

（1）添加第一個編碼器層e1單元的tanh觸發(fā)；

（2）添加第二個編碼器層e2單元的tanh觸發(fā)。

步驟2創(chuàng)建V-TGRU模型。

（1）添加第一個V-TGRU層l1單元，退出dropout為d1且循環(huán)退出dropout為r1；

（2）添加第一個V-TGRU層l2單元，退出dropout為d2且循環(huán)退出dropout為r2。

步驟3訓(xùn)練和驗(yàn)證模型。

（1）當(dāng)訓(xùn)練模型驗(yàn)證集上的誤差不滿足早停法條件時；

（2）當(dāng)訓(xùn)練數(shù)據(jù)集不為空時；

（3）將計算周期數(shù)據(jù)集作為模型輸入；

（4）計算H（p，q）分類交叉熵?fù)p失函數(shù)；

（5）用隨機(jī)梯度下降優(yōu)化算法更新權(quán)重和偏差；

（6）用驗(yàn)證集驗(yàn)證輸出的訓(xùn)練模型。

步驟4測試模型。

（1）用測試數(shù)據(jù)集測試已優(yōu)化的超參數(shù)；

（2）返回測試數(shù)據(jù)集的評估結(jié)果。

編碼器編碼：X=[x1，x2，…，xp]T為編碼器的輸入數(shù)據(jù)矢量，為編碼器的輸出數(shù)據(jù)矢量。利用tanh激活功能，最終接收的節(jié)點(diǎn)值為

用編碼器對標(biāo)準(zhǔn)化后的矩陣X和Y編碼，得到歷史時段占用資源的時間序列矩陣和資源池的性能時間序列矩陣，其中p＞q。

為提高訓(xùn)練過程的穩(wěn)定性和收斂速度，采用批量梯度下降法進(jìn)行訓(xùn)練，同時，采用誤差反向傳播法調(diào)整參數(shù)。對于GRU模型，有2種反向傳播方式：用最后一個時刻的值作為輸出和用各時刻的平均值作為輸出，參數(shù)更新式為

其中，Δw(t)為第t次迭代的加權(quán)更新，η為算法的學(xué)習(xí)率，0≤α＜1為動量項，J為成本函數(shù)。

V-TGRU在最后一個時間點(diǎn)的隱藏輸出可代表任務(wù)資源的占用情況，但在V-TGRU中，序列中間區(qū)域的信息可能會丟失。考慮序列的起始和結(jié)束區(qū)域?qū)笙騁RU和前向GRU的輸出貢獻(xiàn)很大，因此，引入加權(quán)特征平均提供局部特征序列tk的另一種觀點(diǎn)。平均特征序列向量為

其中，wk表示迭代權(quán)值，k表示隨機(jī)時間步長索引。為突出中間局部特征的影響，迭代權(quán)值設(shè)計為

其中，j表示隨機(jī)時間步長參數(shù)量，T表示參數(shù)總量。

2 基于預(yù)測結(jié)果的調(diào)度模型

本文提出的基于預(yù)測結(jié)果的調(diào)度模型將在調(diào)度過程中結(jié)合多實(shí)例的現(xiàn)在及未來狀態(tài)值和資源池的現(xiàn)在及未來狀態(tài)值、實(shí)例調(diào)度的網(wǎng)絡(luò)傳輸時間以及CPU資源計算時間，以實(shí)例調(diào)度次數(shù)最少化、調(diào)度總時間最小以及資源預(yù)測調(diào)度最精確為調(diào)度標(biāo)準(zhǔn)。因此先對資源池和實(shí)例進(jìn)行數(shù)據(jù)預(yù)處理，并將預(yù)處理數(shù)據(jù)輸入V-TGRU預(yù)測模型，得到預(yù)測結(jié)果；然后按照矢量參數(shù)優(yōu)先級對實(shí)例進(jìn)行排序，同時將預(yù)測后的資源池進(jìn)行聚類分級，優(yōu)先調(diào)度優(yōu)先級更高的實(shí)例至更優(yōu)的資源池聚類。調(diào)度算法流程如下：

算法（1）～（3），通過聚類方法對資源池進(jìn)行預(yù)處理。（4）～（6），按照截止時間、現(xiàn)在和預(yù)測情況對實(shí)例進(jìn)行排序，首先處理截止時間較近、資源情況緊缺的實(shí)例。（7）～（10），根據(jù)預(yù)測的實(shí)例運(yùn)行情況和資源池占用情況，預(yù)判傳輸、調(diào)度及運(yùn)行情況。（11）和（12），匯總預(yù)判情況，對實(shí)例運(yùn)行情況進(jìn)行排序，將最接近截止時間、最急需的實(shí)例優(yōu)先調(diào)度到任務(wù)負(fù)載最少的資源池。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

硬件環(huán)境：華為RH2288V3，CPU規(guī)格E5－2680V4×2，56核，內(nèi)存 128 GB和384 GB，硬盤規(guī)格 800 G[ssd]×12和 6 T[sata，7200 r·min-1]×12，共100個虛擬節(jié)點(diǎn)，200個實(shí)例，通過觀察多個實(shí)例的24 h歷史數(shù)據(jù)，整理得到每個實(shí)例對應(yīng)資源需求的時間曲線，描述每個實(shí)例每天每個采樣點(diǎn)所需的對應(yīng)資源數(shù)量。每隔5 min采集一次，每天288個采集點(diǎn)，連續(xù)采集30 d。

3.2 結(jié)果分析

3.2.1 預(yù)測結(jié)果對比

對采集到的數(shù)據(jù)進(jìn)行訓(xùn)練和建模，預(yù)測數(shù)據(jù)曲線的走勢，并根據(jù)預(yù)測結(jié)果進(jìn)行資源調(diào)度，通過調(diào)度實(shí)例的精度和 F-測量[26]，判斷 V-TGRU、GRU、LSTM及IGRU-SD模型預(yù)判的準(zhǔn)確度。

表1中，“正”表示需要調(diào)度的實(shí)例；“負(fù)”表示不需要調(diào)度的實(shí)例，TP為實(shí)際需要調(diào)度，預(yù)測也需要調(diào)度的實(shí)例數(shù)；FN為實(shí)際需要調(diào)度而預(yù)測不需要調(diào)度的實(shí)例數(shù)；FP為實(shí)際不需要調(diào)度而預(yù)測需要調(diào)度的實(shí)例數(shù)；TN為實(shí)際不需要調(diào)度，預(yù)測也不需要調(diào)度的實(shí)例數(shù)。

表1 混淆矩陣Table 1 Confusion matrix

4個模型最優(yōu)、平均及最差狀態(tài)對比見表2。由表2可知，基于變量門控編碼的雙向V-TGRU模型較另外3種資源預(yù)測模型更準(zhǔn)確，也更穩(wěn)定。

表2 精度與F-測量對比Table 2 Accuracy vs.F-measure

3.2.2 調(diào)度結(jié)果對比

V-TGRU與GRU、LSTM、IGRU-SD三種資源模型預(yù)測下的調(diào)度以及不進(jìn)行預(yù)測的自適應(yīng)調(diào)度算法（adaptive scheduling algorithm，ASQ）的對比見圖2～圖4。通過對比多任務(wù)下的調(diào)度執(zhí)行時間、調(diào)度等待時間和調(diào)度次數(shù)，綜合評價調(diào)度算法的效率。

圖2 多任務(wù)實(shí)例調(diào)度執(zhí)行時間Fig.2 Execution time of multi instance task scheduling

圖3 多任務(wù)實(shí)例調(diào)度等待時間Fig.3 Waiting time of multi instance task scheduling

圖4 多任務(wù)實(shí)例調(diào)度次數(shù)Fig.4 Times of multi instance task scheduling

由圖2～圖4可知，隨著實(shí)例數(shù)的逐漸增多，4種預(yù)測調(diào)度算法和ASQ的調(diào)度執(zhí)行時間呈增加趨勢，但每個任務(wù)的平均調(diào)度執(zhí)行時間均呈不同程度的下降趨勢，這是因?yàn)楫?dāng)需要調(diào)度的實(shí)例數(shù)在一定范圍內(nèi)增多時，并發(fā)處理能力令調(diào)度執(zhí)行時間縮短。由于V-TGRU預(yù)測的準(zhǔn)確率更高，使無用的調(diào)度大大減少，降低了調(diào)度過程中的資源浪費(fèi)，同時由于更及時地調(diào)度了所在虛擬計算節(jié)點(diǎn)資源相對緊張的實(shí)例，提高了實(shí)例的穩(wěn)定性和運(yùn)行性能，保障了云平臺資源的利用率和可靠性。

4 結(jié) 語

經(jīng)實(shí)驗(yàn)測試，證明本文算法能更精確預(yù)測未來時效內(nèi)實(shí)例占用資源的狀況、運(yùn)行狀態(tài)以及資源池被占用情況，通過將更準(zhǔn)確的預(yù)測結(jié)果和實(shí)時采集到的狀態(tài)數(shù)據(jù)相結(jié)合進(jìn)行綜合分析調(diào)度，能更有效地完成實(shí)例對資源的預(yù)判選擇，減少調(diào)度時間，避免實(shí)例的反復(fù)調(diào)度，節(jié)省因云資源的強(qiáng)制占用和反復(fù)調(diào)度消耗的資源及帶寬，保證實(shí)例更穩(wěn)定運(yùn)行，提升用戶滿意度。下一步工作重點(diǎn)將積累并整合大量運(yùn)維數(shù)據(jù)，研究更加高效的調(diào)度策略，進(jìn)一步降低資源浪費(fèi)，提升調(diào)度性能。