基于DDPG 算法的云數據中心任務節(jié)能調度研究①

王立紅 張延華 孟德彬 李萌

(北京工業(yè)大學信息學部 北京 100124)

0 引言

云計算是近年來興起的一種新的商業(yè)模式,通過構建具有強大計算能力的計算資源池,為企業(yè)、組織和個人提供按需、低成本的計算、帶寬等共享資源服務[1]。云計算技術的快速發(fā)展也使得數據中心在工業(yè)互聯(lián)網和物聯(lián)網技術中的核心地位越來越高[2]。隨著云數據中心數量和規(guī)模的增長,大量的電力消耗和能源消耗無疑成為各國面臨的嚴峻挑戰(zhàn)。根據自然資源保護委員會的報告,數據中心目前消耗了全球約7% 的電力,能耗預計每年將超過1400 億千瓦時。

云數據中心的能源消耗主要來自2 部分,即信息技術服務系統(tǒng)和基礎設施系統(tǒng)[3]。其中,物理服務器在數據中心的能耗中占比最大。值得注意的是,服務器的能源效率很大程度上取決于計算資源的使用情況,例如處理器的利用率[4]。另外,云環(huán)境中工作負載是隨機且高度動態(tài)變化的,這些大批量的任務需要被分配給合適的節(jié)點處理。因此,進行有效的任務調度是提高服務器資源利用率的一種較為合適的方法。它可以提高服務器的能效,減少服務器的空閑運行,避免能源浪費,從而進一步降低數據中心的最終能耗。

近來許多研究集中在云調度上。為了靈活管理大量的服務器資源和海量的任務,數據中心采用虛擬化技術,構建多個虛擬機(virtual machine,VM)來執(zhí)行這些計算任務。云計算數據中心可以通過遷移和整合處理大量和短期工作的虛擬機來分配計算[5-6]。但是,這些方法不適合長期和計算密集型任務,因為遷移會中斷任務執(zhí)行并導致移動數據的開銷。傳統(tǒng)上,各種元啟發(fā)式算法可以在一定條件下提供可行解。文獻[7]采用模擬退火方法實現云數據中心資源調度,以降低能耗。文獻[8]提出了一種改進的粒子群優(yōu)化算法,該算法在平衡能源效率方面取得了良好的效果。為了考慮異構資源,文獻[9]結合遺傳算法和粒子群算法的優(yōu)勢找到最優(yōu)資源調度方案,從而進行能源優(yōu)化。然而,基于啟發(fā)式的方法只能處理相對穩(wěn)定的工作負載,且隨著工作負載的增加,該算法會導致高復雜度,從而增加了計算時間。

近年來,深度強化學習(deep reinforcement learning,DRL)作為傳統(tǒng)強化學習(reinforcement learning,RL)[10-12]方法的重要延伸,已廣泛應用于解空間大的決策優(yōu)化和控制問題,包括數據中心的能耗優(yōu)化問題和資源調度問題。在傳統(tǒng)的RL 系統(tǒng)中,代理通過迭代向環(huán)境發(fā)送動作、監(jiān)控環(huán)境狀態(tài)以及評估標量獎勵以指導下一步動作來與環(huán)境交互。代理的目標是最大化累積獎勵。在交互過程中,代理會構建一個查找表,之后可以使用該查找表來根據環(huán)境狀態(tài)選擇一個動作。但是,對于狀態(tài)空間和動作空間大的優(yōu)化問題,查找表的大小會非常大,不利于學習過程和模型性能。DRL 通過將表格替換為稱為深度Q 網絡(deep Q network,DQN) 的深度神經網絡來解決此問題。文獻[13]提出了一種深度強化學習方法實現了分布式數據中心的優(yōu)化選擇,有效降低了整體用戶成本。文獻[14]基于深度Q 學習的系統(tǒng),通過使用資源供應和任務調度決策來最大限度地降低能源成本。文獻[15]提出DRL 模型來適應服務級別協(xié)議目標,學習不同類型任務的固有特征,從而降低集群VM 的總使用成本和平均任務持續(xù)時間。這些方法都試圖利用DQN 卓越的在線和自主能力來解決云計算系統(tǒng)中的資源分配問題,然而它們始終專注于提高DQN 的效率,而不是擴展對不同工作負載變化的適應性。當這種變化持續(xù)發(fā)生時,DQN 類型的方法是不夠的,這是因為需要對所有可能的動作生成Q 值。

為此,本文將在線任務調度表述為一個有約束的動態(tài)優(yōu)化問題,然后采用深度確定性策略梯度(deep deterministic policy gradient,DDPG)算法將連續(xù)的任務請求調度到合適的VM。具體來說,動態(tài)變化的工作負載到達數據中心后,經準入控制策略進入任務隊列;并在隊列中進行優(yōu)先級排序之后,調度器采用DDPG 網絡,將任務和VM 的信息作為代理的狀態(tài);將給任務分配的VM 作為動作,任務的響應時間和云數據中心能耗作為獎勵函數,自適應地為實時任務分配VM。

本文的結構安排如下。第1 節(jié)介紹本文的系統(tǒng)模型;第2 節(jié)詳細介紹本文所采用的在線任務調度策略;第3 節(jié)評估了所提出的算法并對仿真結果進行討論和分析;第4 節(jié)對本文工作進行了總結。

1 系統(tǒng)模型及問題表述

如圖1 所示,本文研究的系統(tǒng)模型包含3 部分,分別為用戶工作負載模型、云環(huán)境模型和任務調度模型。根據系統(tǒng)模型,將在線任務調度問題表述為一個有約束的多目標優(yōu)化問題。

圖1 系統(tǒng)模型

1.1 用戶工作負載模型

工作負載即用戶向數據中心提交包括中央處理器(central processing unit,CPU)、內存、存儲、帶寬等資源需求。假設用戶提交的請求是相互獨立的,并且有以下特點:(1)每個請求都被視為一個完整的任務,不能進一步拆分為更小的任務;(2)每項任務僅可由一臺VM 完全完成;(3)在任何時候,每個VM 要么空閑,要么只執(zhí)行一項任務;(4)任務間沒有通信或依賴關系。具體來說,用戶任務由其到達時間、計算能力和服務質量(quality of service,QoS)(例如用戶請求截止時間)定義。通過這種方式,可以將任務形式化為六元組:

其中,Taskj指代到達的第j個任務,是任務j到達時間,lenj是任務j的長度,uj是處理任務j對CPU 的需求,mij是計算任務j需要的指令數,dj是任務j硬截止時間,Ttypej是任務j類型(即I/O 或計算密集型)。

1.2 云環(huán)境模型

本文云環(huán)境模型簡化為由VM 的建立、云能耗模型和VM 的釋放組成。構建VM 模型,實現計算資源的提供;不同的VM,處理任務所需的能耗也不同,采用云能耗公式實現總能源成本的定量計算;最后,VM 空閑時及時釋放資源以達到節(jié)能的目的。

1.2.1 VM 模型

云數據中心的基礎設施依賴于資源虛擬化。映射虛擬化技術將許多物理服務器的計算資源劃分為獨立的隔離虛擬資源,從而實現資源池化。不同的VM 計算能力不同,功耗也不盡相同。因此,在本文的模型中,將每個VM 的屬性定義為一個四元組:

其中,VMi指代云數據中心的第i個VM,mipsi是VMi每秒執(zhí)行的指令數,speedi是VMi接收用戶請求的速度,是VMi的靜態(tài)功耗,Vtypei是VMi的類型(即高I/O 或高計算型)。

1.2.2 云能耗公式

云計算環(huán)境中的VM 在任務到達之間存在一定的間隔,因此云環(huán)境的能量消耗會有一定的概率空閑。設是空閑概率,而1-則是VM 運行的概率。因此,云環(huán)境的能量消耗是所有VM 的能耗之和,可以表示為

其中,Ui是VM 的CPU 利用率;ci是利用率的影響因素;bi是一個常數,這意味著無論VM 有沒有任務運行,都具有靜態(tài)功耗,取bi=,因為,當Ui=0時,

此外,式(3)還表明了能耗取決于任務在云環(huán)境中停留的時間,因此可以通過減少任務的響應時間和提高CPU 的利用率來減少云數據中心的能源消耗。

1.2.3 VM 釋放

每個任務的運行時間占用CPU 和內存等資源的時間不是無限的,現實中會在進程結束后自動釋放。本文假設只有在任務完成后才能釋放VM。

1.3 任務調度模型

任務調度模塊由任務隊列(task queue,TQ)、狀態(tài)監(jiān)視器(status monitor,SM)和基于DDPG 的任務調度器構成。

TQ 的功能主要是存儲用戶提交的請求并對其進行優(yōu)先級排序。在每個時間窗口,用戶請求經準入控制策略被推送到隊列中,過度消耗資源或超過截止時間的任務會被拒絕。SM 分為任務監(jiān)視器和VM 監(jiān)視器,分別用來獲取任務和VM 的狀態(tài)信息,包括VM 的CPU 利用率、任務等待時間等。之后,這些狀態(tài)信息作為輸入發(fā)送到基于DRL 的任務調度器,輸出是任務-VM 分配方案。最后,任務調度器將TQ 中的任務推送到與該VM 關聯(lián)的緩沖隊列,將其分配給特定的VM 執(zhí)行。每輪分配后,TQ中的任務會被清空,為下一個時間窗口做準備。

1.4 問題表述

本文研究在保證服務質量(QoS)的情況下減少云數據中心的能耗,為用戶提供服務。因此可將調度問題表述為一個有約束的多目標優(yōu)化問題。

一旦任務開始,任務的執(zhí)行就不能被中斷,即分配給忙碌VM 的任務將需要等待,直到所有先前分配的任務都已執(zhí)行。因此,任務j的響應時間可以定義為

其中,Ttypej是任務j類型;Vtypei是VMi的類型;⊕是異或符號,表示當VM 類型和任務類型不同時,CPU 處理速度會更低;mipsi是VMi每秒執(zhí)行的指令數。

由此,所有任務分配給VM 的平均響應時間為

根據能耗模型可知,所有任務的能耗平均值為

基于上述公式,多目標函數及其約束可以表述為

評估函數采用加權和的方法[16]來將多目標優(yōu)化問題轉換為具有權重的單個目標,該權重代表用戶在目標之間的偏好。考慮到任務的響應時間和VM 的能源消耗在數據規(guī)模上不統(tǒng)一,使用取對數的方法進行標準化數據處理,最終定義任務調度評估函數為

其中,δ∈[0,1],為加權值系數,表示用戶對響應時間和能耗的關注度。

2 基于DDPG 的準入動態(tài)任務調度策略

針對云計算環(huán)境中工作負載的高度動態(tài)性和多樣性的特點,本文基于聯(lián)合優(yōu)化目標函數,提出DRL 方法對系統(tǒng)的任務調度進行優(yōu)化,以獲取最小能源消耗。

2.1 準入控制策略

基于準入控制策略[17],調度器根據用戶的截止日期篩選任務,只選擇可實現的任務,而拒絕其他任務。具體來說,用戶提交任務之后,假設將其分配給云數據中心類型匹配的計算能力最強的VM 且無等待立即被執(zhí)行,若它仍不能在硬截止日期前完成,則請求應被拒絕。根據服務級別協(xié)議,應該滿足:

2.2 動態(tài)任務優(yōu)先級

在大多數現有的基于DRL 的云任務調度策略中,用戶任務通常以先到先服務(first come first served,FCFS)的方式處理。但任務的順序不同,系統(tǒng)選擇的VM 就會不同,QoS 和能耗都會受到影響;另外,訓練過程中探索階段對初始動作的選擇會影響調度策略的收斂速度,為提高DRL 調度策略的運行效率,可以在任務隊列對任務進行動態(tài)的優(yōu)先級排序。

僅僅依據某一方面的特征參數來排序是不夠的,本文綜合考慮了任務長度和任務截止時間來設計優(yōu)先級。當任務的長度很短時,優(yōu)先執(zhí)行可以盡快釋放VM 資源;離任務的截止時間很近時,優(yōu)先執(zhí)行可以提高任務成功率。由此,任務的排序優(yōu)先級函數定義為

其中,lenj是任務的長度;dj是任務j硬截止時間;ω∈[0,1],為加權值系數,表示任務長度和硬截止時間對優(yōu)先級的影響程度。當ω取值很大且越接近于1 時,任務長度對優(yōu)先級的影響越大;ω越接近于0 時,硬截止時間對優(yōu)先級影響越大,本文ω取值為0.5。

2.3 基于DDPG 的任務調度

2.3.1 DRL 學習機制

RL 通常是基于馬爾可夫決策過程(Markov decision process,MDP)定義的,具有潛在的馬爾可夫性,即RL 決策僅依賴于直接從其經驗中學習而無需任何先驗知識。然而,傳統(tǒng)的RL 算法無法處理高維的復雜狀態(tài)和動作空間,因此作為深度學習(deep learning,DL)和RL 的結合,DRL 應運而生。DRL 的基本思想是在環(huán)境中設置一個代理,通過執(zhí)行動作與環(huán)境進行交互。代理將從環(huán)境中獲得獎勵,根據獎勵改進其行動策略,并期望在下一步中獲得更多獎勵[18]。代理的目標是通過與環(huán)境交互來學習最優(yōu)策略π以最大化預期回報。

在時間t,代理觀察當前系統(tǒng)的狀態(tài)st,采取行動at,然后從環(huán)境反饋獲得即時獎勵rt,之后系統(tǒng)進入下一個狀態(tài)st+1。預期累計收益為

其中,γ∈[0,1]是折扣因子,表示對未來獲得獎勵的重視程度,決定未來獎勵如何轉換為當前收益。

基于策略π,在狀態(tài)st的動作at獲得的t時刻的最大期望獎勵函數定義為動作-價值函數Q,定義為

其中,Eπ[*] 表示數學期望,是針對環(huán)境中的所有隨機策略執(zhí)行的。

如果基于策略π的動作-價值函數大于基于其他策略的Q 函數,則策略π是最優(yōu)策略,對應的Q函數是最優(yōu)動作價值函數。

DRL 的最終目標就是找到這個最優(yōu)策略:

據此,代理不斷通過下式迭代動作-狀態(tài)值,表達式為

其中,α∈[0,1]為學習率,為下一狀態(tài)的最大動作-狀態(tài)值。

在眾多DRL 算法中,應用最廣泛的為DQN。盡管DQN 可以成功解決高維狀態(tài)空間中的問題,但它只能處理離散和低維動作空間。此外,DQN 還存在估計過高的缺陷,而Actor-Critic 方法存在收斂速度慢的問題。為了解決上述問題,本文提出了DDPG算法[19-20]。它的確定性策略可以提高效率,并且與DQN 的結合使訓練過程易于收斂。因此,本文的在線任務調度算法是基于DDPG 的。

2.3.2 算法設計

基于DRL,分別設計和部署狀態(tài)空間、動作空間、獎勵設計、網絡結構和網絡訓練。

(1)狀態(tài)空間

狀態(tài)空間是代理從當前環(huán)境中觀測到的信息。在本文中,環(huán)境xt的狀態(tài)觀測由狀態(tài)監(jiān)視器提供,分為2 部分:對用戶任務的觀測和對VM 資源的觀測。假設環(huán)境是完全觀測的,則st=xt。此時,任意時隙t的系統(tǒng)狀態(tài)定義為

(2)動作空間

DRL 代理根據觀測的環(huán)境狀態(tài)信息以固定的間隔做出決策,從待處理的任務隊列中選擇合適的任務分配給某個VM。因此,動作空間在時隙t處定義為

其中,ai,j(t)={0,1},如果ai,j(t)=1,則taskj分配給VMi。

(3)獎勵設計

根據云系統(tǒng)模型和響應時間與能耗最小化目標,并結合任務調度評估函數,本文獎勵函數設計為

其中,δ∈[0,1],和Ei,j(t) 分別是將taskj分配給VMi的任務響應時間和在該VM 上的能量消耗。

(4)網絡結構

在DDPG 中,因為采用Actor-Critic 架構,所以其由Actor 和Critic 2 個部分組成。此外,對于具有高維狀態(tài)和動作空間的系統(tǒng),維護如此龐大的轉換表所消耗的計算量和存儲空間是無法接受的。因此,為從高維數據中獲取低維特征,DDPG 借鑒DQN的思想,采用深度神經網絡(deep neural networks,DNN)通過調整網絡中的參數來逼近函數。Actor 網絡μ(s|θμ) ≈μ(s) 逼近策略函數μ,Critic 網絡Q(s,a|θQ) ≈Q(s,a) 逼近Q 函數,其中,θ是神經網絡的權重參數。最終DDPG 有Actor eval、Critic eval、Actor target 和Critic target 4 個神經網絡,網絡架構如圖2,主要由評估網絡、目標網絡和回放緩沖區(qū)3 個模塊組成。

圖2 DDPG 網絡架構

代理從環(huán)境記憶庫中隨機抽取〈st,at,rt,st+1〉 存入回放緩沖區(qū)中,目的是打破訓練時經驗學習的時間相關性。目標網絡的輸出值分別為Q′ 和μ′,相應函數的神經網絡權重以如下方式緩慢更新。

其中,τ∈(0,1)是目標網絡的學習率,通常τ ＜＜1。

本文的目標是基于TD-error 最小化損失函數,因此Critic eval 網絡的損失函數為

評估網絡中Actor 使用策略梯度函數進行更新動作:

(5)網絡訓練

訓練時,為了增加探索的隨機性,增加策略函數的決策范圍,防止陷入局部最優(yōu),設置貪婪系數ε,根據概率ε隨機選擇動作at。代理執(zhí)行動作at并獲取即時獎勵rt后,觀察下一狀態(tài)st+1,將經驗〈st,at,rt,st+1〉 存入環(huán)境記憶庫中,然后隨機抽取樣本容量B大小的經驗存放入回放緩沖區(qū),作為輸入傳進行評估網絡和目標網絡計算Q 值,最后根據策略梯度函數和損失函數迭代更新,每隔一定訓練步數,降低貪婪系數ε,直至Q 值和損失函數曲線收斂,停止訓練。在訓練過程完全完成后,基于DRL 的調度方案在計算上將是輕量級的。

2.3.3 偽代碼

綜上,基于DDPG 的任務調度算法的偽代碼如算法1 所示。

算法中第(5)～(7)行為環(huán)境與代理的交互過程;第(8)～(9)行為利用經驗回放機制抽取樣本的訓練過程;第(10)～(12)行為評估網絡的訓練過程和目標網絡參數的更新過程;第(5)行和第(13)行為利用貪婪系數ε經固定訓練步數平衡動作偏好的選擇過程。

3 仿真實驗及結果分析

本節(jié)首先介紹了仿真實驗的環(huán)境和設置參數,之后展示并比較分析了不同工作負載和不同調度策略下的仿真結果。

3.1 仿真環(huán)境與實驗設置

本文仿真實驗的硬件配置和軟件環(huán)境為@Intel Core i5 CPU 2.20 GHz,8 GB 內存,Python3.8 和Py-Torch 1.0。

在云數據中心設置中,VM 數量設置為20,5 種類型,用于處理不同類型的任務,包括計算密集型和I/O 密集型任務。任務數量設置為500 000,每個作業(yè)任務的長度由正態(tài)分布控制。分布的均值和方差分別設置為150 和10。作業(yè)的到達時間由泊松分布控制,平均到達率λ選自{8,10,12,14,16}。在所提出DDPG 網絡中,2 個Actor 網絡的輸入層函數為tanh,輸出層利用ReLU 函數。Critic 網絡使用ReLU作為輸入激活函數并在輸出層采用線性激活函數。另外,在評估網絡中,使用自適應矩估計(Adam)方法優(yōu)化網絡。Actor 和Critic 網絡的學習率分別設置為0.006 和0.008。在目標網絡中,學習率τ設置為0.001。經驗回放緩沖區(qū)容量大小設置為1000。云環(huán)境中其他參數具體如表1 所示。

最后,通過大量實驗來評估本文提出的任務調度策略。實驗中選擇了5 種方法作為對比,包括隨機調度、輪循算法、貪婪算法、DQN 算法和DDPG 算法。并使用平均響應時間、能耗和CPU 利用率標準差3 個指標來評估調度策略的性能。

3.2 收斂性分析

為了驗證DDPG 算法能夠更好更快地得到最優(yōu)解,本文通過觀察Actor 網絡的Q 值和Critic 網絡的Loss 值是否達到收斂來確定。

圖3 和圖4 分別展示了在不同到達率的條件下,訓練期間評估網絡中Actor 網絡的Q 值和目標網絡中Critic 網絡的Loss 值隨訓練步數的變化曲線。對于Actor_Q_Value 來說,如果選擇的是一個正確的行為,則Q 值會不斷增加直至收斂不變。對于Critic_Q_loss 來說,損失代表了神經網絡的學習空間。當它變小時,意味著神經網絡在學習,收斂代表學習完成。由圖3 和圖4 可看出,隨著迭代次數的增加,不同任務到達率的Q 值和Loss 值都在約5000 步的迭代次數時達到穩(wěn)定的收斂,表明訓練結束且網絡輸出為最優(yōu)策略。

圖3 不同到達率下的Actor_Q_Value 值

圖4 不同到達率下的Critic_Q_Loss 值

圖5 展示了在相同到達率下DQN 算法和DDPG算法隨著訓練步數的增加,其損失函數變化曲線對比圖。由圖5 可知,DDPG 算法比DQN 算法的Loss值更迅速地收斂。并且在這2 種算法都采用均方誤差計算損失函數的條件下,DDPG 算法的Loss 值更小,綜上說明本文采用的DDPG 算法可以更快更準確地找到最優(yōu)解。

圖5 DQN 和DDPG 算法的Q_Loss 值對比

3.3 結果對比分析

由于實驗的隨機性,本文對不同到達率的每種算法進行了10 次重復實驗,最后記錄了平均結果。

圖6 展示了用戶任務的到達率從8/s 增加到16/s 的5 種調度算法的平均響應時間對比圖。由圖可知,各種算法的平均任務響應時間隨到達率的增加都有不同程度的增加,這是因為更高的到達率意味著更多的用戶任務將在系統(tǒng)中排隊等待服務。

圖6 5 種調度算法的平均響應時間對比

由圖6 的5 種算法的平均響應時間對比可以看出,隨機任務算法產生的平均響應時間最長并且隨著到達率增加增長得最快,原因是它將用戶提交的任務隨機分配給VM 而不考慮匹配性,可能會導致任務等待時間和處理時間都比較長。同理,輪詢算法將任務依次分配給VM,響應時間會因任務類型和VM 類型不匹配問題而拉長。貪婪算法的主要思想是根據任務的到達時間將任務分配給第一個空閑的VM,但過分強調每個單獨的任務可能不會導致所有任務的總體完成時間最短。相比之下,本文采用的DDPG 算法平均任務響應時間最短。圖5 中,在到達率為16/s 時,采用隨機算法的平均響應時間為1.66 s,DQN 算法平均響應時間為0.78 s,而DDPG 算法的平均響應時間約為0.66 s,比隨機算法縮短了60%,比DQN 算法縮短了15%。這得益于將任務響應時間作為獎勵函數去訓練和DDPG 算法處理高維度連續(xù)動作空間問題的優(yōu)越性。

圖7 展示了5 種調度算法在不同任務到達率下的系統(tǒng)總能耗對比圖。隨著到達率的增加,使用5種調度算法的系統(tǒng)總能耗都隨之增加。這是由于工作負載的增大,需要系統(tǒng)更多的資源和時間去處理任務,根據能耗模型,系統(tǒng)能耗會隨之增加。觀察圖7可知,隨機調度算法和輪詢調度算法的總能耗最高且相差不大,這是由算法無需考慮任何因素快速將任務分配給VM 的特性決定的。顯然,基于DRL 調度的2 種算法總能耗最低。只有到達率為8/s 時,DQN 的能耗低于DDPG 算法,之后的到達率,DDPG 能耗皆低于DQN,這表明DQN 更適合低負載的系統(tǒng)而DDPG 算法則更適合高負載的系統(tǒng),并且,工作負載越高,節(jié)能效果越顯著。

圖7 5 種調度算法的總能耗對比

圖8 展示了不同到達率、不同調度算法下系統(tǒng)VM 的CPU 利用率標準差。本文利用CPU 利用率的標準差來表征VM 之間的負載平衡。當多個任務被頻繁地調度到同一VM 上,會導致其過度使用而其他VM 長時間空閑,資源利用率低下。因此負載平衡也是評估調度策略好壞的一個重要指標。由圖8可知,DDPG 算法的CPU 利用率標準差低于其他4 種算法,表明本文采用的DDPG 算法可以優(yōu)化系統(tǒng)的負載平衡。

圖8 5 種調度算法的CPU 利用率標準差對比

4 結論

本文研究了如何在滿足所有用戶的QoS 指標下最大限度地減少云數據中心的能耗。為了解決這個問題,提出了一種基于DDPG 的節(jié)能任務調度策略,所提出的策略分為3 個過程,即準入控制、動態(tài)優(yōu)先級排序和基于DDPG 網絡的任務調度。采用DDPG 網絡尋找最優(yōu)任務分配解決方案,將用戶提交的任務和VM 關鍵信息作為狀態(tài)輸入,聯(lián)合考慮任務的響應時間和系統(tǒng)能耗2 大指標作為獎勵函數訓練網絡,動態(tài)地適應不確定性和高度波動的工作負載。仿真結果證明,相比于現有調度方法,本文所提策略不僅具有更快更穩(wěn)定的收斂性,還能有效地減少平均任務響應時間,節(jié)省系統(tǒng)整體能耗,并在保證系統(tǒng)負載均衡方面有很好的優(yōu)越性。