基于深度確定性策略梯度的電-氣綜合能源 微網(wǎng)優(yōu)化調(diào)度研究

謝啟躍，應(yīng)雨龍

（上海電力大學(xué)能源與機(jī)械工程學(xué)院，上海 200090）

化石能源的長(zhǎng)期使用加劇了環(huán)境的惡化，為了緩解能源需求增長(zhǎng)與環(huán)境保護(hù)之間的矛盾，新能源的發(fā)展受到越來(lái)越多的重視。世界各國(guó)對(duì)間歇性可再生能源進(jìn)行了開(kāi)發(fā)利用，如風(fēng)力發(fā)電、光伏發(fā)電等[1-2]。這些間歇性可再生能源具有綠色清潔的優(yōu)點(diǎn)，但無(wú)法跟傳統(tǒng)能源一樣，持續(xù)穩(wěn)定地輸出能量。因此，考慮將傳統(tǒng)能源與新能源相結(jié)合，多種能源進(jìn)行融合互補(bǔ)、協(xié)同優(yōu)化，構(gòu)建綜合能源系統(tǒng)成為當(dāng)務(wù)之急。

綜合能源系統(tǒng)的運(yùn)行優(yōu)化是綜合能源系統(tǒng)領(lǐng)域研究的重點(diǎn)之一。文獻(xiàn)[3]采用非支配排序遺傳算法-Ⅲ對(duì)工業(yè)園區(qū)的綜合能源系統(tǒng)進(jìn)行運(yùn)行規(guī)劃。文獻(xiàn)[4]采用線性規(guī)劃的方法，實(shí)現(xiàn)太陽(yáng)能協(xié)助熱電聯(lián)供設(shè)備運(yùn)行。文獻(xiàn)[5]提出一種多目標(biāo)鯨魚(yú)優(yōu)化算法，對(duì)含大規(guī)?？稍偕茉吹膮^(qū)域綜合能源系統(tǒng)進(jìn)行優(yōu)化調(diào)度。文獻(xiàn)[6]采用混合整數(shù)線性規(guī)劃的方式靈活調(diào)度可再生能源。文獻(xiàn)[7]提出一種結(jié)合多目標(biāo)粒子群算法和灰色關(guān)聯(lián)分析的方法，該方法使冷熱電聯(lián)產(chǎn)設(shè)備的能源調(diào)度方案合理有效。隨著能源種類和能源設(shè)備數(shù)量的增加，綜合能源系統(tǒng)建模和求解難度越來(lái)越大，傳統(tǒng)方法的控制方案容易陷入局部最優(yōu)或維數(shù)災(zāi)難，因此，考慮采用基于強(qiáng)化學(xué)習(xí)方法的綜合能源系統(tǒng)控制方案。

強(qiáng)化學(xué)習(xí)方法興起于游戲領(lǐng)域，通過(guò)試錯(cuò)和學(xué)習(xí)的方式與環(huán)境進(jìn)行交互，在互動(dòng)的過(guò)程形成最優(yōu)決策，并以此獲取游戲高分[8]。強(qiáng)化學(xué)習(xí)方法在控制方面可以取得較好效果，因此引起很多學(xué)者的關(guān)注，目前已有學(xué)者將其應(yīng)用于能源領(lǐng)域。文獻(xiàn)[9]用行動(dòng)者和評(píng)估者架構(gòu)的強(qiáng)化學(xué)習(xí)方法來(lái)控制自動(dòng)發(fā)電。文獻(xiàn)[10]用深度強(qiáng)化學(xué)習(xí)的方法來(lái)增強(qiáng)配電系統(tǒng)的魯棒性。文獻(xiàn)[11]用深度Q網(wǎng)絡(luò)（DQN）方法使電熱系統(tǒng)運(yùn)行合理有效。文獻(xiàn)[12]運(yùn)用A3C算法和Gurobi算法來(lái)優(yōu)化調(diào)度水氫一體化能源系統(tǒng)。文獻(xiàn)[13]采用深度確定性策略梯度（deep deterministic policy gradient，DDPG）算法研究住宅多能源系統(tǒng)的能源管理策略,該方法所采用的能源模型構(gòu)建方案和智能體相關(guān)定義較為復(fù)雜，導(dǎo)致應(yīng)用到不同綜合能源場(chǎng)景的泛化能力較弱。

目前，將具有連續(xù)動(dòng)作控制的深度強(qiáng)化學(xué)習(xí)方法應(yīng)用于綜合能源微網(wǎng)的研究較少。本文以存在間歇性風(fēng)力發(fā)電以及電、熱儲(chǔ)能設(shè)備等的電-氣綜合能源微網(wǎng)為研究對(duì)象，通過(guò)能源樞紐理論建模，將優(yōu)化調(diào)度問(wèn)題轉(zhuǎn)化為基于DDPG算法的綜合能源微網(wǎng)運(yùn)行優(yōu)化，最后通過(guò)算例驗(yàn)證本文建立的模型和優(yōu)化方法的有效性。

1 電-氣綜合能源微網(wǎng)

1.1 綜合能源微網(wǎng)數(shù)學(xué)建模

根據(jù)能源樞紐的理論，對(duì)電-氣綜合能源微網(wǎng)（圖1）進(jìn)行建模。該系統(tǒng)包含熱電聯(lián)產(chǎn)(CHP)、輔助鍋爐(AB)、熱儲(chǔ)能、風(fēng)力發(fā)電機(jī)、電儲(chǔ)能等常見(jiàn)能源轉(zhuǎn)換設(shè)備和儲(chǔ)能設(shè)備。

圖1 電-氣綜合能源微網(wǎng) Fig.1 The electricity-gas integrated energy microgrid

綜合能源微網(wǎng)在能源樞紐理論中可視為雙端口網(wǎng)絡(luò)[14]。從天然氣、主電網(wǎng)等各種能源輸入，經(jīng)過(guò)多種能源轉(zhuǎn)換設(shè)備和儲(chǔ)能設(shè)備，最后實(shí)現(xiàn)熱、電等各種能量的輸出。這一過(guò)程可表示為：

展開(kāi)則為：

式中：E為能源樞紐中多種能量輸出；P為能源樞紐中多種能源輸入；C為能源樞紐中各種能源設(shè)備的轉(zhuǎn)換特性。

因此，圖1所示的模型可表示為：

式中：Ee為用戶端的電需求；Eh為用戶端的熱需求；ηt為變壓器的效率；v1為天然氣的調(diào)度因子；ηe為CHP的產(chǎn)電效率；ηg為CHP的產(chǎn)熱效率；ηAB為輔助鍋爐的產(chǎn)熱效率；Pe為主電網(wǎng)、風(fēng)力發(fā)電輸入的電功率；Pg為天然氣的供應(yīng)量；ηE為電儲(chǔ)能的充放電效率；ηT為熱儲(chǔ)能的充放熱效率；PE為電儲(chǔ)能的充放電功率；PT為熱儲(chǔ)能的充放電功率。

1.2 目標(biāo)函數(shù)

綜合能源微網(wǎng)優(yōu)化調(diào)度的最終目的是實(shí)現(xiàn)運(yùn)行成本最優(yōu)化，因此目標(biāo)函數(shù)為：

式中：T為綜合能源微網(wǎng)運(yùn)行的總時(shí)間；Pe,in(t)為t時(shí)刻向主電網(wǎng)購(gòu)入的電量；λe(t)為t時(shí)刻的電價(jià)；Pe,out(t)為t時(shí)刻綜合能源微網(wǎng)向主電網(wǎng)銷(xiāo)售的電量；Pg(t)為t時(shí)刻所需的天然氣量；λg(t)為t時(shí)刻的天然氣價(jià)格；λE(t)為t時(shí)刻電儲(chǔ)能裝置的充放電價(jià)格；λT(t)為t時(shí)刻熱儲(chǔ)能裝置的充放熱量?jī)r(jià)格。

1.3 約束條件

1）風(fēng)力發(fā)電機(jī)的約束

風(fēng)力發(fā)電機(jī)的發(fā)電功率由風(fēng)速?zèng)Q定[15]。其每小時(shí)的發(fā)電功率為：

式中：PWT為風(fēng)力發(fā)電機(jī)的額定發(fā)電功率；ω(t)為t時(shí)刻的風(fēng)速；ω1、ω2、ω3均為不同的風(fēng)速；a、b為對(duì)應(yīng)風(fēng)速下的計(jì)算系數(shù)。

2）電儲(chǔ)能的約束

為保證電儲(chǔ)能設(shè)備安全可靠運(yùn)行，電儲(chǔ)能設(shè)備的容量有限定范圍，該限定范圍可表示為：

式中：Emax,SOC為電儲(chǔ)能的最大荷電狀態(tài)；Emin,SOC為電儲(chǔ)能的最小荷電狀態(tài)；Emax為電儲(chǔ)能理論最大容量，但電儲(chǔ)能設(shè)備的實(shí)際容量只能達(dá)到電儲(chǔ)能最大荷電狀態(tài)Emax,SOC時(shí)的容量；E(t)為t時(shí)刻電儲(chǔ)能的能量。

電儲(chǔ)能設(shè)備在t時(shí)刻的荷電狀態(tài)為：

式中：ESOC(t)為電儲(chǔ)能設(shè)備的荷電狀態(tài)。

電儲(chǔ)能充放能量同樣有一定限制，可表示為：

式中：v2為電儲(chǔ)能的調(diào)度因子；ESOC(t-1)為電儲(chǔ)能設(shè)備在上一時(shí)刻t-1的荷電狀態(tài)。

電儲(chǔ)能設(shè)備在t時(shí)刻的能量E(t)可表示為：

式中：Ploss,E為電儲(chǔ)能設(shè)備每小時(shí)的能量流失值；E(0)為電儲(chǔ)能設(shè)備初始能量；E0,SOC為電儲(chǔ)能設(shè)備的初始荷電狀態(tài)。

Ploss,E可表示為：

式中：aloss,E為電儲(chǔ)能的流失系數(shù)。

3）熱儲(chǔ)能的約束

熱儲(chǔ)能設(shè)備必須在容量限定的范圍內(nèi)工作，可表示為：

式中：Tmax,SOC為熱儲(chǔ)能的最大荷電狀態(tài)；Tmin,SOC為熱儲(chǔ)能的最小荷電狀態(tài)；Tmax為熱儲(chǔ)能理論最大容量，但熱儲(chǔ)能設(shè)備的實(shí)際容量只能達(dá)到熱儲(chǔ)能最大荷電狀態(tài)Tmax,SOC時(shí)的容量；T(t)為t時(shí)刻熱儲(chǔ)能的能量。

熱儲(chǔ)能設(shè)備在t時(shí)刻的荷電狀態(tài)為：

熱儲(chǔ)能的充放能量為：

式中：v3為熱儲(chǔ)能的調(diào)度因子；TSOC(t-1)為熱儲(chǔ)能設(shè)備在上一時(shí)刻t-1的荷電狀態(tài)。

熱儲(chǔ)能設(shè)備在t時(shí)刻的熱儲(chǔ)能能量T(t)為：

式中：Ploss,T為熱儲(chǔ)能的每小時(shí)能量流失值；T(0)為熱儲(chǔ)能設(shè)備的初始能量；T0,SOC為熱儲(chǔ)能設(shè)備的初始荷電狀態(tài)。

Ploss,T可表示為：

式中：αloss,T為熱儲(chǔ)能的流失系數(shù)。

4）CHP的約束

CHP的發(fā)電和產(chǎn)熱約束為：

式中：Pmin,e、Pmax,e分別為CHP產(chǎn)電功率的下限和上限；Pmin,h、Pmax,h分別為CHP產(chǎn)熱功率的下限和上限。

5）AB的約束

AB的產(chǎn)熱約束為：

式中：Pmin,AB、Pmax,AB分別為AB產(chǎn)熱功率的下限和上限。

6）調(diào)度因子

調(diào)度因子的取值范圍為：

式中：vi表示不同能源分配的調(diào)度因子。對(duì)天然氣調(diào)度因子v1進(jìn)行補(bǔ)充說(shuō)明，當(dāng)v1≥0時(shí)，為天然氣分配給CHP的比例；當(dāng)v1＜0時(shí)，負(fù)號(hào)僅表示為天然氣分配給AB的比例，實(shí)際天然氣分配給CHP的比例為v1=1-|v1|。

7）綜合能源微網(wǎng)的電、熱供需約束

綜合能源微網(wǎng)的電、熱供需約束為：

式中：Pe,CHP(t)為CHP在t時(shí)刻的發(fā)電量；Ph,CHP(t)為CHP在t時(shí)刻的產(chǎn)熱量；Ph,AB(t)為AB在t時(shí)刻的產(chǎn)熱量。

2 深度確定性策略梯度優(yōu)化調(diào)度方法

2.1 優(yōu)化調(diào)度問(wèn)題轉(zhuǎn)換為強(qiáng)化學(xué)習(xí)形式

強(qiáng)化學(xué)習(xí)的原理為馬爾可夫決策過(guò)程，即當(dāng)前時(shí)刻所處的狀態(tài)，只與上一時(shí)刻的狀態(tài)有關(guān)[16]。綜合能源微網(wǎng)優(yōu)化調(diào)度的策略可以轉(zhuǎn)化為馬爾可夫決策過(guò)程，通過(guò)強(qiáng)化學(xué)習(xí)的方法來(lái)解決綜合能源微網(wǎng)優(yōu)化調(diào)度問(wèn)題。

強(qiáng)化學(xué)習(xí)最主要的兩個(gè)部分是智能體和環(huán)境。環(huán)境指智能體在執(zhí)行動(dòng)作時(shí)所處場(chǎng)景，本文環(huán)境為電-氣綜合能源微網(wǎng)。智能體接收綜合能源微網(wǎng)返回的當(dāng)前狀態(tài)s和獎(jiǎng)勵(lì)r，通過(guò)策略進(jìn)行判斷，選擇下一個(gè)執(zhí)行動(dòng)作a，并由獎(jiǎng)勵(lì)來(lái)更新其策略，由動(dòng)作值函數(shù)來(lái)評(píng)估動(dòng)作的執(zhí)行效果。假設(shè)在開(kāi)始s0=s，動(dòng)作a0=a，智能體執(zhí)行動(dòng)作，完成并得到累計(jì)獎(jiǎng)勵(lì)期望值，動(dòng)作值函數(shù)可以表示為：

式中：m為迭代次數(shù)；M為最大迭代次數(shù)；γ∈[0, 1]，為折扣因子，折扣因子的取值會(huì)影響未來(lái)獎(jiǎng)勵(lì)的獲??；rm為第m次動(dòng)作執(zhí)行后得到的獎(jiǎng)勵(lì)；Eπ(·)為對(duì)策略π求期望。

綜合能源微網(wǎng)的最終目標(biāo)是實(shí)現(xiàn)調(diào)度成本最優(yōu)化，強(qiáng)化學(xué)習(xí)與其目的一致，就是通過(guò)最優(yōu)策略來(lái)實(shí)現(xiàn)動(dòng)作值函數(shù)的最大化，可表示為：

綜合能源微網(wǎng)的狀態(tài)設(shè)置為每小時(shí)電價(jià)、每小時(shí)天然氣價(jià)格、每小時(shí)風(fēng)力發(fā)電產(chǎn)生的電能、用戶的電需求、用戶的熱需求、儲(chǔ)能設(shè)備充放能價(jià)格、電儲(chǔ)能設(shè)備的能量、熱儲(chǔ)能設(shè)備的能量，可表示為：

式中：λSE(t)=λE(t)=λT(t)，即所有儲(chǔ)能設(shè)備的充放能價(jià)格相等。

在強(qiáng)化學(xué)習(xí)中，智能體最終目的是得到最大化的獎(jiǎng)勵(lì)，而本文是為了獲得電-氣綜合能源微網(wǎng)的最優(yōu)調(diào)度成本。因此，智能體每小時(shí)獲得的獎(jiǎng)勵(lì)可以表示為：

式中：1/100是對(duì)成本進(jìn)行縮放，保證單位統(tǒng)一。

作為環(huán)境的綜合能源微網(wǎng)，將狀態(tài)和獎(jiǎng)勵(lì)返回給智能體，智能體根據(jù)策略選擇動(dòng)作，執(zhí)行的動(dòng)作使綜合能源微網(wǎng)合理有效運(yùn)行。本文將動(dòng)作設(shè)置為天然氣的調(diào)度因子、電儲(chǔ)能的調(diào)度因子、熱儲(chǔ)能的調(diào)度因子，可表示為：

2.2 深度確定性策略梯度算法應(yīng)用及流程

DDPG算法基于行動(dòng)者和評(píng)判者架構(gòu)，是在DQN算法的基礎(chǔ)上進(jìn)行改良，在涉及連續(xù)控制方面的問(wèn)題上取得不錯(cuò)的效果。綜合能源微網(wǎng)在實(shí)際運(yùn)行過(guò)程中，系統(tǒng)的輸入和輸出都是連續(xù)量，若將輸入和輸出離散化，則部分信息會(huì)丟失，對(duì)實(shí)現(xiàn)調(diào)度最優(yōu)化的目標(biāo)產(chǎn)生影響。因此，綜合能源微網(wǎng)的輸入，即狀態(tài)，可以用深度神經(jīng)網(wǎng)絡(luò)（DNN）進(jìn)行擬合，從而實(shí)現(xiàn)輸入輸出連續(xù)化，實(shí)現(xiàn)綜合能源微網(wǎng)優(yōu)化調(diào)度的目的。

DDPG算法的架構(gòu)是由4個(gè)全連接神經(jīng)網(wǎng)絡(luò)構(gòu)成，分別為行動(dòng)者網(wǎng)絡(luò)θπ、評(píng)判者網(wǎng)絡(luò)θQ、行動(dòng)者目標(biāo)網(wǎng)絡(luò)θπ＇、評(píng)判者目標(biāo)網(wǎng)絡(luò)θQ'。π'為行動(dòng)者目標(biāo)網(wǎng)絡(luò)的策略，Q'為評(píng)判者目標(biāo)網(wǎng)絡(luò)的Q值。

評(píng)判者網(wǎng)絡(luò)的訓(xùn)練是由最小化損失函數(shù)進(jìn)行更新，可表示為：

式中：K為統(tǒng)計(jì)累計(jì)獎(jiǎng)勵(lì)的次數(shù)。

yi為評(píng)價(jià)者網(wǎng)絡(luò)的Q值，可表示為：

行動(dòng)者網(wǎng)絡(luò)是通過(guò)策略梯度更新來(lái)實(shí)現(xiàn)，表示為：

式中：?為計(jì)算梯度的函數(shù)。

在DDPG算法中，給動(dòng)作添加隨機(jī)噪聲，提高智能體的探索能力，從而尋找更優(yōu)的動(dòng)作，實(shí)現(xiàn)調(diào)度最優(yōu)化，可表示為：

式中：ε為隨機(jī)噪聲。

目標(biāo)網(wǎng)絡(luò)的更新是以軟更新的形式進(jìn)行，表示為：

式中：τ為軟更新參數(shù)，取值遠(yuǎn)小于1。

DDPG算法的流程如圖2所示。

圖2 DDPG算法流程 Fig.2 Flow chart of the DDPG algorithm

3 算例仿真與結(jié)果分析

為評(píng)價(jià)本文DDPG算法的有效性，選用圖1所示的電-氣綜合能源微網(wǎng)，數(shù)據(jù)來(lái)源于文獻(xiàn)[15]。該算例是典型的電-氣綜合能源微網(wǎng)，系統(tǒng)各設(shè)備特性參數(shù)見(jiàn)表1，其他參數(shù)見(jiàn)表2。用戶的日負(fù)荷數(shù)據(jù)如圖3所示，實(shí)時(shí)電價(jià)和天然氣價(jià)格如圖4所示。實(shí)時(shí)風(fēng)速如圖5所示。

圖5 實(shí)時(shí)風(fēng)速 Fig.5 The real-time wind speed

表1 電-氣綜合能源微網(wǎng)系統(tǒng)各設(shè)備特性參數(shù) Tab.1 Characteristic parameters of each energy equipment in the electric-gas integrated energy microgrid

表2 電-氣綜合能源微網(wǎng)系統(tǒng)其他參數(shù) Tab.2 Other parameters of the electricity-gas integrated energy microgrid system

圖3 用戶日負(fù)荷數(shù)據(jù) Fig.3 User load data of the typical day

3.1 DDPG算法參數(shù)設(shè)置

DDPG算法中，行動(dòng)者網(wǎng)絡(luò)、目標(biāo)行動(dòng)者網(wǎng)絡(luò)、評(píng)估者網(wǎng)絡(luò)、目標(biāo)評(píng)估者網(wǎng)絡(luò)均為含2層隱藏層的全連接神經(jīng)網(wǎng)絡(luò)，每層設(shè)置為24個(gè)神經(jīng)元，所有隱藏層的激活函數(shù)均為relu。折扣因子γ設(shè)置為0.99，K設(shè)置為32，評(píng)估者網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.001，行動(dòng)者網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 1，目標(biāo)更新參數(shù)τ設(shè)置為0.001，迭代總次數(shù)M設(shè)置為200，調(diào)度周期T設(shè)置為24。然后以tensorflow為框架，用Python語(yǔ)言進(jìn)行編程。計(jì)算機(jī)的硬件條件為Core i5-6300hq、2.30 GHz。

3.2 優(yōu)化調(diào)度算法對(duì)比分析

為驗(yàn)證DDPG算法在電-氣綜合能源微網(wǎng)的運(yùn)行效果，本文采用模擬退火算法（SA）和DQN算法與之進(jìn)行對(duì)比。圖6為3種算法優(yōu)化調(diào)度策略。由圖6可見(jiàn)：在供電方面，跟其他2種算法相比，DDPG算法學(xué)習(xí)到天然氣價(jià)格便宜且穩(wěn)定，在主電網(wǎng)和風(fēng)力發(fā)電提供電能的基礎(chǔ)上，DDPG算法控制CHP在額定功率狀態(tài)下運(yùn)行，由于電量供應(yīng)充足，電儲(chǔ)能裝置處于高荷電狀態(tài)，可以有效預(yù)防突發(fā)供電事故；在供熱方面，由于DDPG算法控制CHP在額定功率狀態(tài)下運(yùn)行，AB所需天然氣量相比其他2種算法少，但都滿足實(shí)際運(yùn)行需要；在熱儲(chǔ)能設(shè)備方面，3種算法的熱儲(chǔ)能設(shè)備的出力和儲(chǔ)能策略均不同，但都在綜合能源微網(wǎng)約束下有效運(yùn)行，在系統(tǒng)供熱不足時(shí)及時(shí)提供熱能，系統(tǒng)供熱過(guò)多時(shí)及時(shí)儲(chǔ)存熱能，符合實(shí)際生產(chǎn)需要；在售電方面，SA算法僅在第6、7 h進(jìn)行售電，而其他2種強(qiáng)化學(xué) 習(xí)算法通過(guò)各自的最優(yōu)策略學(xué)習(xí)方法，不僅在第6、7 h進(jìn)行售電，在第10 h也進(jìn)行售電，從而更好地降低系統(tǒng)運(yùn)行成本，達(dá)到優(yōu)化調(diào)度的目的。

表3為電-氣綜合能源微網(wǎng)優(yōu)化調(diào)度成本對(duì)比。表3中，SA算法不需要訓(xùn)練，因此沒(méi)有訓(xùn)練時(shí)間；DQN算法訓(xùn)練時(shí)間過(guò)長(zhǎng)，訓(xùn)練時(shí)間不統(tǒng)計(jì)。從表3可以看出，本文采用的DDPG算法效果最好。在運(yùn)行成本方面，DDPG算法在3種算法中優(yōu)化調(diào)度成本最低，若該方法運(yùn)行時(shí)間較長(zhǎng)，則綜合能源微網(wǎng)的經(jīng)濟(jì)效益將得到更大提升。在訓(xùn)練時(shí)間方面，DQN算法學(xué)習(xí)效率低，需要的訓(xùn)練時(shí)間過(guò)長(zhǎng)，不利于實(shí)際應(yīng)用，DDPG算法學(xué)習(xí)效率高，更符合實(shí)際生產(chǎn)需要。在測(cè)試時(shí)間方面，2種強(qiáng)化學(xué)習(xí)方法的耗時(shí)短，均能在較短時(shí)間內(nèi)對(duì)電-氣綜合能源微網(wǎng)進(jìn)行合理有效地調(diào)度，而SA算法耗時(shí)長(zhǎng)，且容易陷入局部最優(yōu)解，在實(shí)際應(yīng)用場(chǎng)景有很大的局限性。DQN算法的動(dòng)作值為離散值，因此無(wú)法得到最佳動(dòng)作值，而DDPG算法能夠輸出連續(xù)的動(dòng)作值，不僅更有可能得出最佳動(dòng)作值，而且符合實(shí)際運(yùn)行場(chǎng)景。綜上所述，本文提出的DDPG算法為3種算法中最有效的電-氣綜合能源微網(wǎng)運(yùn)行調(diào)度策略。

表3 電-氣綜合能源微網(wǎng)優(yōu)化調(diào)度成本對(duì)比 Tab.3 Comparison of optimal dispatch cost of the electricity-gas integrated energy microgrid

4 結(jié) 語(yǔ)

本文提出了基于DDPG算法的電-氣綜合能源微網(wǎng)優(yōu)化調(diào)度方法，從運(yùn)行成本最優(yōu)化的目標(biāo)函數(shù)出發(fā)，采用DDPG算法，輸出連續(xù)最優(yōu)調(diào)度因子，實(shí)現(xiàn)合理有效的優(yōu)化調(diào)度策略，避免了因調(diào)度因子離散化而可能出現(xiàn)的維數(shù)災(zāi)難或次優(yōu)化調(diào)度策略。該方法與其他方法相比，能源設(shè)備的出力情況更加合理有效，更具有實(shí)際應(yīng)用價(jià)值，符合綜合能源微網(wǎng)的節(jié)能降本要求。

另外，本文提出的基于DDPG算法的電-氣綜合能源微網(wǎng)優(yōu)化調(diào)度方法簡(jiǎn)單、實(shí)用，能根據(jù)不同綜合能源的實(shí)際運(yùn)行場(chǎng)景，對(duì)矩陣進(jìn)行縮放，合理定義作為智能體動(dòng)作的調(diào)度因子、系統(tǒng)的狀態(tài)和獎(jiǎng)勵(lì)，通過(guò)對(duì)智能體進(jìn)行訓(xùn)練，可以快速實(shí)現(xiàn)基于DDPG算法的綜合能源優(yōu)化調(diào)度方案。因此，可為能源互聯(lián)網(wǎng)優(yōu)化調(diào)度策略提供參考借鑒。