配電系統(tǒng)雙時間尺度電壓管理的深度強化學習方法

馮昌森，張 瑜，謝路耀，文福拴，張凱怡，張有兵

（1. 浙江工業(yè)大學信息工程學院，浙江省杭州市 310023；2. 浙江大學電氣工程學院，浙江省杭州市 310027）

0 引言

分布式可再生能源發(fā)電在配電系統(tǒng)中的滲透率不斷提高，其出力的波動性與不確定性導致系統(tǒng)電壓頻繁越限［1］。為保證配電系統(tǒng)安全可靠運行，亟需合理的電壓管理方法，有效協(xié)調(diào)具有不同響應特性的調(diào)壓設備，從而在多時間尺度上挖掘多種設備聯(lián)合控制電壓的潛力，進而抑制可再生能源發(fā)電對配電系統(tǒng)電壓的影響。

目前，國內(nèi)外相關(guān)學者針對可再生能源高滲透率的配電網(wǎng)電壓管理問題進行了廣泛研究。其中，基于局部測量信息的下垂控制方法較早應用到分布式電源有功功率和無功功率控制方面，以平抑電壓波動［2］，其相應技術(shù)規(guī)范已寫入IEEE 1547—2018標準［3］。然而，這種局部調(diào)壓方法無法協(xié)調(diào)多種調(diào)壓設備，較難達到全局電壓偏差最小的目標。因此，基于最優(yōu)潮流（optimal power flow，OPF）模型的電壓協(xié)調(diào)控制得到了廣泛研究。其中，基于OPF 的電壓管理方法可分為2 種。1）單時間尺度模型：主要研究短時間尺度（分鐘級）分布式電源逆變器等電力電子調(diào)壓設備的協(xié)調(diào)控制。文獻［4-5］研究了光伏逆變器和靜止無功補償器在分鐘級尺度上的協(xié)調(diào)控制以達到全網(wǎng)節(jié)點電壓偏差最小的目標。為實現(xiàn)線上實時控制策略，部分研究學者利用梯度映射法［6］、對偶上升法［7］和廣義快速對偶上升法［8］等設計了電壓反饋控制模型，從而實現(xiàn)基于局部測量信息的全局優(yōu)化。部分學者進一步研究了該類反饋控制模型的異步迭代機制［9］，以及通信帶寬［10］對電壓控制的影響。2）雙時間尺度模型：為有效協(xié)調(diào)配電系統(tǒng)中不同時間尺度響應特性的調(diào)壓設備，提出了雙時間尺度的電壓模型。文獻［11］利用動態(tài)規(guī)劃法與二階錐規(guī)劃算法分別求解日前與日內(nèi)控制策略。文獻［12］利用模型預測控制對兩階段電壓管理進行建模，并采用分布式算法進行求解。

以上基于優(yōu)化模型的兩類電壓管理模型存在以下2 個問題。1）潮流方程的凸化問題。在優(yōu)化問題中一般可通過二階錐松弛［13-14］、半正定松弛潮流模型［15］、忽略網(wǎng)損的線性化配電網(wǎng)潮流模型［16］或電壓靈敏度方法［17］對在運行點附近的潮流方程進行線性化。以上方法均不可避免帶來計算誤差。2）隨機變量的建模。無論是基于區(qū)間數(shù)建模進而轉(zhuǎn)化為魯棒優(yōu)化問題［18］，還是采取場景法進而轉(zhuǎn)化為隨機優(yōu)化模型［19］或忽略隨機變量的方法均不可避免地帶來較高的計算復雜度或較大的誤差。為解決以上2 個問題，本文擬利用深度強化學習方法來求解電壓管理的決策問題，通過大量樣本的線下計算來達到實時控制的效果。

深度強化學習利用獎勵函數(shù)對決策行為進行評價，能夠根據(jù)不同的運行要求和優(yōu)化目標給出最優(yōu)動作策略，實現(xiàn)實時決策［20］。已有研究將雙深度Q網(wǎng)絡（double deep Q network，DDQN）算法［21］、對抗Q 算法［22］、rainbow 算法［23］分別應用于配電系統(tǒng)的電壓管理、需求響應管理和能量調(diào)度方面，以解決離散變量優(yōu)化問題。文獻［24］采用深度確定性策略梯度（deep deterministic policy gradient，DDPG）算法求解包含高維連續(xù)優(yōu)化變量的能量管理問題，回避了對連續(xù)變量離散化所導致的誤差。文獻［25］針對多個光伏逆變器協(xié)調(diào)控制問題，采用多智能體深度確定性策略梯度（multi-agent DDPG，MADDPG）算法求解，解決了多種調(diào)節(jié)設備之間的信息交互問題，有效實現(xiàn)了智能體之間的協(xié)調(diào)控制。

在上述背景下，本文針對調(diào)壓設備不同時間響應特性和動作特性，建立雙時間尺度電壓管理模型。通過有效考慮兩者的時間耦合關(guān)系，將其等價轉(zhuǎn)化為馬爾可夫決策模型，進而采用深度強化學習算法求解。馬爾可夫決策過程通過狀態(tài)隨機轉(zhuǎn)移有效考慮了電壓管理模型中的不確定性變量。此外，針對具體的物理模型和控制變量類型，本文分別提出利用DDQN 算法求解長時間尺度模型的離散控制變量，利用MADDPG 算法求解短時間尺度模型多逆變器的連續(xù)控制變量，達到算法和物理模型的有機統(tǒng)一。最后，本文基于IEEE 33 節(jié)點測試系統(tǒng)建立雙時間尺度電壓管理模型，通過算例驗證本文模型和算法具有更優(yōu)異的求解精度和魯棒性。

1 雙時間尺度電壓管理模型與算法

1.1 雙時間尺度電壓管理模型

有載調(diào)壓變壓器（on-load tap changer，OLTC）和電容器組（capacitor banks，CB）的動作依靠機械設備，其動作時間尺度為小時級?？稍偕茉窗l(fā)電設備中的逆變器具有響應速度快、可連續(xù)動作等特點。本文設定短時間尺度（分鐘級）的控制對象為光伏與風機的逆變器，長時間尺度（小時級）控制對象為OLTC 與CB。t時段的建模和求解過程如下所示：

1）長時間尺度的電壓管理模型：在優(yōu)化區(qū)間內(nèi)（本文設置優(yōu)化區(qū)間為1 d，并以小時為時間單位，即時段T=24）求解OLTC 與CB 在t時段的控制策略。優(yōu)化目標為最小化所有時段每個節(jié)點電壓與給定值之差的絕對值之和。

2）短時間尺度的電壓管理模型：將t時段等分為K個子時段（本文設每時段為1 min，故K=60）?；趖時段OLTC 與CB 的狀態(tài)求解第τ個子時段內(nèi)逆變器的控制策略，優(yōu)化目標為最小化每個節(jié)點電壓與給定值之差的絕對值之和。

在訓練階段，首先訓練短時間尺度神經(jīng)網(wǎng)絡，長時間尺度神經(jīng)網(wǎng)絡的訓練需要借助短時間尺度模型來計算其獎勵。在應用階段，長時間尺度模型先做決策，獲得OLTC 與CB 調(diào)度策略。在該時段內(nèi)每一子時段，短時間尺度模型根據(jù)OLTC 與CB 狀態(tài)進行決策，實現(xiàn)電壓實時管理。

1.2 雙時間尺度電壓管理模型算法

目前，深度強化學習算法可以分為2 類：一類可以求解離散動作空間問題，如深度Q 網(wǎng)絡（DQN）算法、DDQN 算法、rainbow 算法等；另一類可以解決連續(xù)動作空間問題，如DDPG 算法、MADDPG 算法等。

DDQN 算法引入了經(jīng)驗回放機制和2 個結(jié)構(gòu)完全相同的估計和目標神經(jīng)網(wǎng)絡，避免了單個神經(jīng)網(wǎng)絡同時進行動作選擇與目標Q 值計算而造成的過估計問題。因此，本文選擇以DDQN 算法有效求解OLTC 與CB 在小時級與離散動作空間下的響應策略以實現(xiàn)長時間尺度電壓管理。

與DDPG 算法相比，MADDPG 算法采用獨立采樣、統(tǒng)一學習的方法，不僅可降低集中訓練的復雜度，還可以很好解決多智能體協(xié)作的任務。因此，本文選擇MADDPG 算法求解光伏與風機智能體逆變器在連續(xù)空間上的瞬時協(xié)調(diào)控制策略，實現(xiàn)短時間尺度的電壓管理。

2 基于深度強化學習算法的電壓管理模型

配電系統(tǒng)的運行狀態(tài)可以通過潮流計算獲得。通過求解潮流模型可產(chǎn)生大量系統(tǒng)數(shù)據(jù)以供訓練。本文采用節(jié)點注入潮流模型，如式（1）—式（3）所示。

式中：Ω為配電網(wǎng)中所有支路的集合；i和j分別為支路ij的輸入節(jié)點和輸出節(jié)點；Pij和Qij分別為支路ij的有功功率和無功功率；Pi和Qi分別為節(jié)點i注入的有功功率和無功功率；Zij和Bij分別為支路ij的電導和電納；δij為節(jié)點i與j之間的相角差；PDRES，i為節(jié)點i處可再生能源發(fā)電機組注入的有功功率；QDRES，i和QCBs，i分別為節(jié)點i處可再生能源發(fā)電機組和CB 注入的無功功率；PL，i和QL，i分別為節(jié)點i的負荷的有功功率和無功功率；vi為節(jié)點i的電壓幅值。

2.1 基于MADDPG 算法的短時間尺度電壓管理模型

在短時間尺度電壓管理模型中基于t時段OLTC 和CB 的狀態(tài)，求解逆變器在每個時段的最優(yōu)控制策略。t時段中第τ個子時段的電壓管理模型可描述為：

s.t. 式(1)至式(3)

式中：M為配電系統(tǒng)中的節(jié)點數(shù)；vt，i，τ(qg(t，i，τ))為t時段中第τ個子時段節(jié)點i的電壓幅值；qg(t，i，τ)為t時段中第τ個子時段的無功功率；v0為目標電壓幅值；QDRES，t，i，τ和QˉDRES，t，i，τ分別為t時段中第τ個子時段節(jié)點i處可再生能源發(fā)電裝置輸出的無功功率及其上限；QPV，t，i，τ和QWT，t，i，τ分別為t時段中第τ個子時段節(jié)點i處光伏和風機逆變器所產(chǎn)生的無功功率；vˉ和-v分別為節(jié)點i電壓幅值的上限和下限。

上述電壓管理模型可建模為馬爾可夫決策過程，t時段中第τ個子時段的馬爾可夫決策過程具體描述如下：

1）短時間尺度狀態(tài)空間Sd：狀態(tài)空間應包括學習環(huán)境中所有智能體的觀測狀態(tài)。每個智能體的狀態(tài)信息包括當前智能體的出力情況與上一時段調(diào)壓設備的狀態(tài)。

2）短時間尺度動作Ad：動作空間為學習環(huán)境中多個智能體的可以采用的動作。τ時段光伏智能體和風機智能體動作為其各自的無功功率。

3）短時間尺度獎勵Rd：將優(yōu)化目標與約束條件映射為獎勵函數(shù)。以光伏智能體為例，τ時段光伏智能體獎勵RPV，t，τ應包括τ時段電壓偏差（即優(yōu)化模型的目標函數(shù)）與系統(tǒng)運行約束條件的違規(guī)懲罰，可表示為：

式中：ζ0為節(jié)點電壓偏離基準電壓的懲罰系數(shù)；|·|+為取正函數(shù)；ζ1為節(jié)點電壓超過給定上限和下限的懲罰系數(shù)，且滿足|ζ1|?|ζ0|；ΓPV，1，t和ΓPV，2，t分別為約束式（6）和式（7）的違規(guī)懲罰參數(shù)。

光伏智能體和風機智能體相互合作以控制全局電壓。因而，其兩者獎勵函數(shù)具有相同的形式，根據(jù)式（9）—式（11）可得風機智能體的獎勵函數(shù)。

2.2 基于DDQN 算法的長時間尺度電壓管理模型

長時間尺度電壓管理模型中OLTC 與CB 的控制策略需考慮優(yōu)化時段內(nèi)可再生能源出力的不確定性。因此，假定在t時段內(nèi)光伏與風機出力功率為隨機變量，可將長時間尺度電壓管理描述為隨機優(yōu)化模型：

s.t. 式(1)至式(3)，式(5)至式(8)

式中：E(·)為數(shù)學期望函數(shù)；CCBs，t，i和CBs，i分別為t時段內(nèi)節(jié)點i處的CB 的投切組數(shù)和總組數(shù)；qCBs，i為節(jié)點i處CB 的單位組數(shù)的無功功率；AˉCBs為CB優(yōu)化周期動作次數(shù)上限；vc，t為t時段內(nèi)初始時段安裝OLTC 節(jié)點1 的電壓，一般為固定值1；vp，t為t時段平衡節(jié)點的電壓，用于節(jié)點的電壓計算；Δh和h0分別為OLTC 的相鄰擋位調(diào)節(jié)變化量和初始電壓調(diào)整率；OLTC為OLTC 優(yōu)化周期動作次數(shù)上限；Hˉ為OLTC 檔位的最大值；Ht和ht分別為t時段OLTC 的檔位和電壓調(diào)整率。

將上述隨機優(yōu)化模型建模為馬爾可夫決策過程，具體如下：

1）長時間尺度狀態(tài)空間Sc：在長時間尺度中需要采用期望和標準差來刻畫t時段內(nèi)分布式可再生能源出力情況。因此，t時段的狀態(tài)包括可再生能源的發(fā)電情況、上一時段OLTC 與CB 的狀態(tài)、可再生能源的期望值與標準差和調(diào)壓設備在周期內(nèi)的動作次數(shù)。

2）長時間尺度動作空間Ac：長時間尺度的動作空間應包含長時間尺度調(diào)壓設備OLTC 和CB 的動作。

3）長時間尺度獎勵Rc：當t時段不滿足一個周期內(nèi)OLTC 與CB 的動作次數(shù)約束時，獎勵為一個絕對值很大的負數(shù)?；反之，其為t時段中第K個子時段，M個節(jié)點的電壓偏差之和與K個子時段懲罰之和的總和，表達式為：

式中：ΓPV，t，τ和ΓWT，t，τ分別為t時段中第τ個子時段的光伏和風機智能體的約束違規(guī)懲罰，其中，ΓPV，t，τ=ΓPV，1，t+ΓPV，2，t。

2.3 電壓管理深度網(wǎng)絡訓練方法

在實際應用中，短時間尺度的逆變器調(diào)度策略屬于在線優(yōu)化，可實時讀取當前狀態(tài)，調(diào)用MADDPG 算法演員網(wǎng)絡，獲得實時調(diào)度策略。長時間尺度（小時級）的調(diào)度策略為離線優(yōu)化，調(diào)用DDQN 算法目標Q 網(wǎng)絡，獲取長時間尺度調(diào)度策略。基于此，長時間尺度基于可再生能源發(fā)電出力預測值，獲取一天的狀態(tài)，并調(diào)用目標Q 網(wǎng)絡獲取調(diào)度策略。雙時間尺度電壓管理模型中的DDQN算法與MADDPG 算法的神經(jīng)網(wǎng)絡更新過程如附錄A 所示，雙時間尺度模型如附錄A 圖A2 所示。

3 算例與結(jié)果

3.1 參數(shù)設置

以IEEE 33 節(jié)點標準配電系統(tǒng)為基礎(chǔ)構(gòu)造測試系統(tǒng)，對所提方法的可行性與有效性進行驗證。系統(tǒng)的基準電壓為12.66 kV，在標準系統(tǒng)中分別接入4 組光伏機組和2 臺風機，其接入位置如圖1 所示，容量如附錄B 所示。其中，各節(jié)點的負荷根據(jù)原始IEEE 33 節(jié)點標準配電系統(tǒng)的負荷進行等比例分配。OLTC 安裝在節(jié)點1 與節(jié)點2 之間，共有11個調(diào)節(jié)位置，每個抽頭的調(diào)節(jié)率為1%。節(jié)點33 處安裝有5 組電容器，每組的無功功率為60 kvar?？紤]實際運行需要，設置OLTC 與CB 優(yōu)化周期內(nèi)動作次數(shù)上限分別為4 和5。

圖1 IEEE 33 節(jié)點系統(tǒng)結(jié)構(gòu)Fig.1 Structure of IEEE 33-bus system

本文在長時間尺度的電壓管理模型中考慮了光伏與風機出力的不確定性。假設光伏和風機出力隨機變量的分布由預測值和預測誤差構(gòu)成。光伏與風機出力的期望為其預測值。假設光伏出力預測的方差為其期望的3%，風機出力預測的方差為其期望的5%。隨機抽樣生成1 020 組場景，其中，1 000 組場景用于后文隨機優(yōu)化模型的策略求解，20 組對所得策略進行驗證。此外，非線性潮流方程通過調(diào)用Pypower 包求解。

3.2 訓練過程

所提模型的求解算法主要包括DDQN 算法與MADDPG 算法2 個部分。

MADDPG 算法中設置光伏和風機逆變器兩類智能體。每個智能體的演員網(wǎng)絡為策略選擇網(wǎng)絡，當該網(wǎng)絡得出的策略獎勵值趨于穩(wěn)定時，代表該智能體深度網(wǎng)絡收斂。訓練過程中，設定演員網(wǎng)絡的學習率為0.001，評論家網(wǎng)絡的學習率為0.002。衰減因子γ為0.9，小批量采樣規(guī)模為100，樣本池內(nèi)樣本總量為10 000，觀測步數(shù)為1 800。電壓違規(guī)懲罰因子ζ1與ζ0分別為-1 000 和-2。設定動作探索噪聲隨著訓練步數(shù)逐漸減小，初始噪聲服從N(0，1)的正態(tài)分布。當訓練步數(shù)大于觀測步數(shù)時，噪聲服從N(0，0.995z)的正態(tài)分布，其中，z為開始訓練的步數(shù)。訓練過程如圖2 所示。

本文以DDQN 算法求解長時間尺度OLTC 與CB 的控制策略。在DDQN 神經(jīng)網(wǎng)絡訓練過程中，本文設定經(jīng)驗回放機制的樣本存儲量為10 000，每次小批量采樣規(guī)模為100；初始探索率為0.1，最終探索率為0.001，探索步數(shù)為5 000；學習率取0.001；每訓練10 次更新一次目標Q 網(wǎng)絡參數(shù)，懲罰因子?為-100 000。訓練過程如圖2（c）所示。

由圖2（a）和（b）可知，光伏智能體與風機智能體的演員網(wǎng)絡分別在訓練4 000 步和3 500 步時達到了收斂狀態(tài)。隨著訓練步數(shù)的增加，2 類智能體演員網(wǎng)絡的獎勵分別收斂于-0.632 與-0.562。由圖2（c）可得，在12 000 步時DDQN 算法神經(jīng)網(wǎng)絡達到收斂狀態(tài)。在與環(huán)境的不斷交互學習中，獎勵值最終收斂于-1.212。最優(yōu)策略的獎勵收斂于-1.212而非獎勵最大值-1.205，其差值可看作可再生電源出力不確定性所帶來的風險成本。

圖2 深度強化學習算法的神經(jīng)網(wǎng)絡訓練過程Fig.2 Neural network training process of deep reinforcement learning algorithm

3.3 算例結(jié)果與分析

為進一步研究所提出的模型與方法的有效性，本部分設置了3 種模式進行對比分析，具體如下：

模式0：不進行任何優(yōu)化管理。

模式1：基于隨機優(yōu)化算法求解雙時間尺度配電系統(tǒng)電壓管理策略，模型見文獻［9］。

模式2：本文所提算法，基于DDQN 算法求解長時間尺度電壓管理模型，基于MADDPG 算法求解短時間尺度的電壓管理模型。

采用3.1 節(jié)隨機生成的20 個場景對上述3 種模式所得策略進行驗證。3 種模式的測試結(jié)果如表1所示。違規(guī)時段數(shù)表示優(yōu)化周期內(nèi)24 個時段中存在電壓違規(guī)現(xiàn)象的時段個數(shù)；平均電壓偏差為33 個節(jié)點24 個時段電壓偏差的平均值；電壓最大爬坡和最小爬坡分別為各節(jié)點24 個時段最大電壓變化和最小電壓變化。

表1 優(yōu)化結(jié)果對比Table 1 Comparison of optimization results

從表1 可知，模式1 和模式2 所得策略均不存在電壓違規(guī)現(xiàn)象。與模式1 相比，模式2 優(yōu)化后的電壓偏差更小，僅為0.013 8，并可通過訓練好的神經(jīng)網(wǎng)絡實時決策得到。

為更加直觀地對比模式1 與模式2 的優(yōu)化結(jié)果，以模式0 中存在電壓越限的07：00 和20：00 時的數(shù)據(jù)為例，展示3 種模式所得各節(jié)點電壓，如圖3（a）和（b）所示。由圖3 可知，模式1 與模式2 都能有效控制配電系統(tǒng)電壓運行在安全范圍內(nèi)。與模式1 相比，模式2 的優(yōu)化結(jié)果更加靠近基準電壓值且電壓幅值波動更加平緩，因而本文所提算法在電壓偏差控制上表現(xiàn)更好。

圖3 3 種模式電壓優(yōu)化結(jié)果對比Fig.3 Comparison of voltage optimization results in three modes

為進一步分析所提方法的優(yōu)越性，擬對比各種運行策略下的系統(tǒng)網(wǎng)損，對比結(jié)果如圖3（c）所示。由圖3（c）可知，本文所提方法在3 種模式中系統(tǒng)的網(wǎng)損最低。與模式1 相比，模式2 的平均網(wǎng)損降低了8.67%，這是因為模式2 下的節(jié)點電壓靠近基準電壓，且其幅值變化平緩，而網(wǎng)損與相鄰節(jié)點之間的電壓差成正相關(guān)，一定程度上降低了系統(tǒng)網(wǎng)損。由此可知，本文所提策略在保證配電系統(tǒng)安全運行的基礎(chǔ)上，可間接有效提高配電系統(tǒng)運行的經(jīng)濟性。

3.4 算法魯棒性分析

本部分設置極端場景以驗證上述模式1 和模式2 所得策略的魯棒性。假設在t時段中，每個時段可再生能源出力所滿足的條件為：

在此極端場景下，驗證2 種模式下電壓偏差情況。通過仿真模擬，模式1 的平均電壓偏差為0.021 9，模式2 下的平均電壓偏差為0.014 2。因此，模式2 在面對不確定性環(huán)境具有更好的魯棒性。

相對于DDPG 算法，MADDPG 算法可以有效解決多個智能體的交互問題，并具有魯棒性。為進一步分析所提MADDPG 算法的魯棒性，本文設置了模式3，利用基于DDQN 算法求解長時間尺度配電系統(tǒng)電壓管理策略和基于DDPG 算法求解短時間尺度的配電系統(tǒng)電壓管理策略。

DDPG 算法神經(jīng)網(wǎng)絡訓練過程中，設定演員網(wǎng)絡的學習率，評論家網(wǎng)絡的學習率、衰減因子γ，目標演員網(wǎng)絡與目標評論家網(wǎng)絡的更新因子з與MADDPG 算法相同；小批量采樣的規(guī)模為80，樣本池內(nèi)樣本總量為10 000，觀測步數(shù)為1 500，動作探索噪聲隨著訓練步數(shù)逐漸減小，初始噪聲服從N(0，2)的正態(tài)分布。

為驗證MADDPG 算法的魯棒性，設置4 種光伏故障情況來測試模式2 和模式3 所得策略的性能。假設光伏智能體鏈路故障時無法提供有功和無功功率支撐。故障情況具體如下：

故障0：無故障發(fā)生。

故障1：節(jié)點24 的光伏機組故障。

故障2：節(jié)點24、節(jié)點10 的光伏機組故障。

故障3：節(jié)點24、節(jié)點1、節(jié)點7 的光伏機組故障。

針對上述4 種光伏機組故障比較DDPG 算法與MADDPG 算法的性能，結(jié)果如表2 所示。

表2 4 種故障下的優(yōu)化結(jié)果對比Table 2 Comparison of optimization results in four types of faults

由表2 可知，在故障0 與故障1 的情況下，模式2與模式3 所得電壓偏差較小。在故障2 與故障3 的情況下，由于光伏智能體信息數(shù)據(jù)丟失嚴重，與模式2 相比，模式3 不能很好地處理，出現(xiàn)了電壓違規(guī)現(xiàn)象，且平均電壓偏差較大。由此可知，MADDPG 算法在面對光伏機組故障時具有更好的魯棒性。

4 結(jié)語

本文針對配電網(wǎng)內(nèi)調(diào)壓設備不同時間響應特性，建立雙時間尺度的電壓管理模型，在有效考慮可再生能源出力不確定性的基礎(chǔ)上，將電壓管理模型等價轉(zhuǎn)化為馬爾可夫決策模型。針對多種電壓控制對象的動作與響應等技術(shù)特點，利用深度強化學習DDQN 算法和MADDPG 算法分別求解長時間尺度模型的離散控制變量和短時間尺度模型的連續(xù)控制變量，實現(xiàn)了配電系統(tǒng)電壓管理的實時決策。與傳統(tǒng)隨機優(yōu)化算法相比，采用本文所提方法可得到更優(yōu)異的電壓管理效果，同時在面對隨機環(huán)境時具有更好的魯棒性。

在后續(xù)研究中，擬采用隨機過程對電壓管理模型的隨機變量進行建模，通過考慮時序上的關(guān)聯(lián)性來降低本文策略的保守性。

附錄見本刊網(wǎng)絡版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡全文。