基于深度強(qiáng)化學(xué)習(xí)的分布式電源就地自適應(yīng)電壓控制方法

習(xí) 偉，李 鵬，李 鵬，蔡田田，魏明江，于 浩

（1. 智能電網(wǎng)教育部重點(diǎn)實(shí)驗(yàn)室（天津大學(xué)），天津市 300072；2. 南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東省 廣州市 510670）

0 引言

分布式電源（distributed generator，DG）的大量接入使得配電網(wǎng)的運(yùn)行情況進(jìn)一步復(fù)雜。其中，過(guò)電壓和電壓波動(dòng)問(wèn)題得到了廣泛關(guān)注［1］。傳統(tǒng)的有載調(diào)壓變壓器［2］（on load tap changer，OLTC）及電容器組［3］（capacitor bank，CB）作為主要電壓調(diào)節(jié)設(shè)備，調(diào)節(jié)速度較慢，難以適應(yīng)DG 的快速波動(dòng)［4］；儲(chǔ)能系統(tǒng)可以實(shí)現(xiàn)削峰填谷的效果，但建設(shè)成本較高，應(yīng)用場(chǎng)景仍然受限［5］；而基于換流器的DG 能夠利用剩余容量為系統(tǒng)提供實(shí)時(shí)無(wú)功電壓支撐［6］，具有較好的經(jīng)濟(jì)性以及高度靈活可控的就地?zé)o功支撐能力，成為配電網(wǎng)實(shí)時(shí)電壓控制的有效手段［7］。

國(guó)內(nèi)外對(duì)DG 無(wú)功控制方法已經(jīng)開(kāi)展了廣泛研究。例如，傳統(tǒng)的基于二階錐松弛的集中式優(yōu)化算法［8］、為應(yīng)對(duì)不確定性的隨機(jī)優(yōu)化方法［9］、考慮分區(qū)的分布式優(yōu)化方法［10］等。然而，在實(shí)際運(yùn)行中，由于難以獲取配電網(wǎng)的精確參數(shù)，以上基于物理模型的DG 無(wú)功優(yōu)化方法無(wú)法保證模型的準(zhǔn)確性。強(qiáng)化學(xué)習(xí)作為一種數(shù)據(jù)驅(qū)動(dòng)的無(wú)模型方法，在電力系統(tǒng)電壓控制中得到了廣泛應(yīng)用［11］。通過(guò)強(qiáng)化學(xué)習(xí)方法構(gòu)建的智能體，能夠基于歷史數(shù)據(jù)或在線(xiàn)交互進(jìn)行訓(xùn)練，智能體根據(jù)獲取的觀(guān)測(cè)狀態(tài)迅速給出運(yùn)行策略，并基于歷史經(jīng)驗(yàn)不斷優(yōu)化調(diào)整，從而進(jìn)一步改善系統(tǒng)的運(yùn)行狀態(tài)。

依據(jù)動(dòng)作空間的不同，強(qiáng)化學(xué)習(xí)問(wèn)題可以分為離散控制問(wèn)題和連續(xù)控制問(wèn)題［12］。經(jīng)典的深度Q學(xué)習(xí)（deep Q-learning，DQN）算法［13］適用于OLTC與CB 等離散調(diào)節(jié)設(shè)備控制［14］。文獻(xiàn)［15］提出了深度確定性策略梯度（deep deterministic policy gradient，DDPG）方法，DDPG 方法適用于大規(guī)模連續(xù)控制問(wèn)題，可應(yīng)用于電力系統(tǒng)微電網(wǎng)運(yùn)行控制［16］、電力系統(tǒng)發(fā)電頻率控制［17］等。文獻(xiàn)［18］基于DDPG 方法實(shí)現(xiàn)了基于DG 逆變器的集中短期電壓控制。

隨著DG、電動(dòng)汽車(chē)的廣泛接入，海量的信息流使得系統(tǒng)通信負(fù)擔(dān)加大，集中式控制方法由于通信能力限制，難以做到實(shí)時(shí)響應(yīng)［19］，并且隱私問(wèn)題難以得到保障。在此背景下，邊緣計(jì)算技術(shù)與分布式就地控制成為解決海量通信負(fù)擔(dān)與控制時(shí)延問(wèn)題的有效方案［20］?；诰W(wǎng)絡(luò)分區(qū)與邊緣計(jì)算裝置，可以對(duì)區(qū)域內(nèi)設(shè)備進(jìn)行就地管理，實(shí)現(xiàn)對(duì)系統(tǒng)變化的快速響應(yīng)，減輕通信負(fù)擔(dān)與云服務(wù)器的計(jì)算壓力［21］。同時(shí)，邊緣計(jì)算裝置也具備與云端的通信能力，可以實(shí)現(xiàn)云-邊協(xié)同調(diào)控［22］。

為解決多區(qū)域協(xié)同問(wèn)題，多智能體深度強(qiáng)化學(xué)習(xí) （multi-agent deep reinforcement learning，MADRL）將單個(gè)強(qiáng)化學(xué)習(xí)問(wèn)題拓展為多智能體控制問(wèn)題，廣泛應(yīng)用于電力系統(tǒng)需求側(cè)響應(yīng)［23］、微電網(wǎng)能源管理［24］、頻率控制［25］等領(lǐng)域。其分布式和就地響應(yīng)特性與邊緣計(jì)算架構(gòu)高度匹配，利用深度強(qiáng)化學(xué)習(xí)的無(wú)模型控制能力，邊緣計(jì)算裝置可實(shí)現(xiàn)對(duì)本區(qū)域內(nèi)設(shè)備的實(shí)時(shí)控制。同時(shí)，邊緣計(jì)算裝置本地交互控制數(shù)據(jù)可按周期上傳至云端，云端對(duì)深度強(qiáng)化學(xué)習(xí)模型進(jìn)行更新并重新下發(fā)至邊緣側(cè)以實(shí)現(xiàn)自適應(yīng)的云-邊協(xié)同控制。

針對(duì)高比例DG 接入下的電壓波動(dòng)問(wèn)題，本文提出了基于MADRL 的DG 云-邊協(xié)作就地電壓自適應(yīng)控制技術(shù)框架。然后，構(gòu)建基于DG 的電壓控制馬爾可夫決策過(guò)程，設(shè)計(jì)了DG 出力動(dòng)態(tài)邊界掩模機(jī)制，解決了分布式電源有功和無(wú)功出力耦合下的深度強(qiáng)化學(xué)習(xí)控制問(wèn)題。最后，在改進(jìn)的IEEE 33 節(jié)點(diǎn)算例及中國(guó)南方電網(wǎng)53 節(jié)點(diǎn)算例上驗(yàn)證了所提方法的可行性與有效性。

1 DG 就地智能控制框架

基于深度強(qiáng)化學(xué)習(xí)的DG 集群就地電壓控制框架如圖1 所示?；谂潆娋W(wǎng)絡(luò)分區(qū)的深度強(qiáng)化學(xué)習(xí)，智能體對(duì)控制區(qū)域內(nèi)的DG 及無(wú)功調(diào)節(jié)設(shè)備可以實(shí)現(xiàn)就地控制，改善電壓質(zhì)量，提高系統(tǒng)運(yùn)行狀態(tài)。

圖1 DG 集群控制框架Fig.1 Control framework for DG clusters

如圖1 所示，在就地控制層，配電網(wǎng)各分區(qū)內(nèi)邊緣計(jì)算裝置搭載智能體控制模型，智能體模型感知本區(qū)域內(nèi)觀(guān)測(cè)節(jié)點(diǎn)的量測(cè)信息，迅速調(diào)節(jié)區(qū)域內(nèi)的DG 無(wú)功出力，從而優(yōu)化控制，交互記錄將上傳至云端學(xué)習(xí)層以更新策略。

在云端學(xué)習(xí)層，智能體接受來(lái)自對(duì)應(yīng)區(qū)域的交互記錄并儲(chǔ)存至共享經(jīng)驗(yàn)池。同時(shí)，智能體定時(shí)從共享經(jīng)驗(yàn)池采樣進(jìn)行策略更新，并將更新后的控制模型下發(fā)至邊緣控制裝置，以保證模型對(duì)環(huán)境變化的適應(yīng)性。

為解決DG 有功和無(wú)功出力耦合約束，在智能體動(dòng)作出口引入動(dòng)態(tài)邊界掩模方法，對(duì)智能體給出的原始動(dòng)作進(jìn)行再處理，避免動(dòng)作不符合約束。

1.1 DG 集群就地電壓控制方法

邊緣計(jì)算裝置作為本文所提電壓控制框架的物理依托，通常安裝在饋線(xiàn)的分支節(jié)點(diǎn)或DG 集群處。本文以邊緣計(jì)算裝置安裝位置作為區(qū)域中心，確定控制區(qū)域。同時(shí)，在實(shí)際運(yùn)行中，分區(qū)可根據(jù)配電運(yùn)營(yíng)商的要求進(jìn)行調(diào)整?；谶吘売?jì)算裝置的配電網(wǎng)分區(qū)控制在一定程度上解耦控制過(guò)程。同時(shí)，通過(guò)各區(qū)共享運(yùn)行控制數(shù)據(jù)，實(shí)現(xiàn)信息交互增強(qiáng)智能體協(xié)作能力。

靜止無(wú)功補(bǔ)償器（static var compensator，SVC）、靜止無(wú)功發(fā)生器（static var generator，SVG）、磁 控 電 抗 器（magnetically controlled reactor，MCR）［26］等設(shè)備廣泛應(yīng)用于電力系統(tǒng)無(wú)功控制，具備快速、平滑的調(diào)節(jié)能力［27］。相對(duì)于DG 逆變裝置而言，以上裝置的無(wú)功出力不受有功出力的限制，本文為進(jìn)一步考慮有功和無(wú)功出力耦合下的逆變器出力調(diào)節(jié)，充分利用剩余容量，同時(shí)因分布式光伏具備就地控制特性，使用分布式光伏換流器作為主要調(diào)節(jié)設(shè)備。因SVG 等設(shè)備的控制特性較為相似，將SVG 調(diào)節(jié)作為DG 調(diào)節(jié)后的補(bǔ)充調(diào)節(jié)設(shè)備。

本文所提方法的控制目標(biāo)為通過(guò)調(diào)節(jié)無(wú)功出力設(shè)備以最小化系統(tǒng)各節(jié)點(diǎn)電壓偏差之和，表達(dá)式為：

式中：f為目標(biāo)函數(shù)；Vi為節(jié)點(diǎn)i（i=1，2，…，NN）的電壓幅值；V0為網(wǎng)絡(luò)額定電壓；NN為網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)量。

被控對(duì)象DG 及SVG 需要滿(mǎn)足以下約束。

1）DG 有功出力約束

式 中：Pj，DG為 第j個(gè)DG 的 有 功 出 力，其 中，j=1，2，…，NDG，NDG為DG 的 數(shù) 量；Pj，DG，max、Pj，DG，min分別為第j個(gè)DG 的有功出力上、下限。

2）DG 無(wú)功出力約束

式 中：Qj，DG為 第j個(gè)DG 的 無(wú) 功 出 力；Qj，DG，max、Qj，DG，min分 別為第j個(gè)DG 的無(wú)功 出力上、下限。

3）DG 容量約束

式中：Sj，DG為第j個(gè)DG 的容 量。

4）SVG 容量約束

式 中：Qk，SVG為 第k個(gè)SVG 的 無(wú) 功 出 力，k=1，2，…，NSVG，NSVG為SVG 的 數(shù) 量；Qk，SVG，max和Qk，SVG，min分別為第k個(gè)SVG 的無(wú)功出力上、下限。

1.2 深度強(qiáng)化學(xué)習(xí)電壓控制原理

DDPG 采用雙Actor-Critic 網(wǎng)絡(luò)架構(gòu)，適用于大規(guī)?？刂茊?wèn)題，可輸出確定、連續(xù)的動(dòng)作［15］。

各區(qū)域智能體觀(guān)測(cè)給定關(guān)鍵節(jié)點(diǎn)的狀態(tài)s，根據(jù)狀態(tài)s給出動(dòng)作a，區(qū)內(nèi)被控設(shè)備執(zhí)行動(dòng)作a后配電網(wǎng)轉(zhuǎn)入下一狀態(tài)s'，同時(shí)配電網(wǎng)根據(jù)獎(jiǎng)勵(lì)函數(shù)，返回獎(jiǎng)勵(lì)r，用于評(píng)價(jià)給定動(dòng)作的優(yōu)劣。按照以上過(guò)程循環(huán)，形成強(qiáng)化學(xué)習(xí)序列決策問(wèn)題。其中，一個(gè)交互周期數(shù)據(jù)定義為(s，a，r，s')。

Actor-Critic 網(wǎng)絡(luò)架構(gòu)中的Actor 網(wǎng)絡(luò)通過(guò)擬合策略π(s)，根據(jù)區(qū)內(nèi)量測(cè)信息來(lái)指導(dǎo)DG 的運(yùn)行。而Critic 網(wǎng) 絡(luò) 通 過(guò) 擬 合 動(dòng) 作 價(jià) 值 函 數(shù)qπ(s，a)，由 量測(cè)信息和基于量測(cè)信息給出的出力方案評(píng)估動(dòng)作的價(jià)值?；趧?dòng)作價(jià)值持續(xù)更新策略π(s)，以達(dá)到策略最優(yōu)。

1.3 考慮云-邊協(xié)同的多智能體電壓控制

多 智 能 體 DDPG （multi-agent DDPG，MADDPG）基于DDPG 將單智能體決策過(guò)程演變?yōu)槎嘀悄荏w協(xié)作模式?？紤]云-邊協(xié)同的多智能體電壓控制如下：

1）智能交互與經(jīng)驗(yàn)上傳。在多區(qū)域DG 集群電壓控制過(guò)程中，考慮邊緣計(jì)算裝置算力限制，各區(qū)域交互數(shù)據(jù)將按交互周期上傳至云端經(jīng)驗(yàn)回放池。通過(guò)建立經(jīng)驗(yàn)回放池可以實(shí)現(xiàn)云端智能體的自主學(xué)習(xí)與策略更新。

2）經(jīng)驗(yàn)共享與策略更新。通過(guò)共享經(jīng)驗(yàn)回放池?cái)?shù)據(jù)，各分區(qū)智能體能夠獲得其余智能體的歷史狀態(tài)及對(duì)應(yīng)動(dòng)作信息。具備學(xué)習(xí)能力的云主站智能體將從經(jīng)驗(yàn)回放池中采樣本區(qū)域及其他區(qū)域交互數(shù)據(jù)進(jìn)行策略更新。在多區(qū)域協(xié)作模式下，本區(qū)域智能體依據(jù)協(xié)作目標(biāo)進(jìn)行策略更新，從而實(shí)現(xiàn)多區(qū)域多主體協(xié)調(diào)控制。

3）策略下發(fā)與實(shí)時(shí)控制。更新后的策略網(wǎng)絡(luò)將下發(fā)至邊緣計(jì)算裝置，邊緣計(jì)算裝置可通過(guò)策略網(wǎng)絡(luò)根據(jù)就地信息做出實(shí)時(shí)響應(yīng)。同時(shí)，交互數(shù)據(jù)將再次上傳至云端經(jīng)驗(yàn)回放池，并進(jìn)行下一周期智能體學(xué)習(xí)與策略更新，保證智能體對(duì)環(huán)境變化的適應(yīng)性以及區(qū)間協(xié)作能力。

值得注意的是，由于云端訓(xùn)練時(shí)考慮區(qū)間協(xié)作為目標(biāo)，下發(fā)至邊緣側(cè)的策略具備一定的協(xié)作能力，邊緣側(cè)控制過(guò)程可不進(jìn)行區(qū)間信息交互，在保證控制器對(duì)系統(tǒng)環(huán)境變化的快速響應(yīng)的同時(shí)，實(shí)現(xiàn)了區(qū)間協(xié)作控制。

2 DG 集群就地控制問(wèn)題建模

2.1 就地電壓控制馬爾可夫決策過(guò)程建模

1）基于分區(qū)的狀態(tài)空間構(gòu)建

各區(qū)域的節(jié)點(diǎn)觀(guān)測(cè)數(shù)據(jù)集中傳輸至邊緣計(jì)算裝置，定義智能體狀態(tài)空間為：

式 中：Sn為 智 能 體n的 狀 態(tài) 空 間，n=1，2，…，NA，NA為 智 能 體 的 數(shù) 量；Pi、Qi分 別 為 節(jié) 點(diǎn)i的 有 功 功率、無(wú) 功 功 率；Ωn，O為 智 能 體n區(qū) 域 內(nèi) 的 觀(guān) 測(cè) 節(jié) 點(diǎn)集合。

2）就地控制動(dòng)作空間建模

基于DG 集群，通過(guò)DG 換流器及其余無(wú)功調(diào)節(jié)設(shè)備實(shí)現(xiàn)電壓的靈活控制，定義智能體動(dòng)作空間為：

式 中：An為 智 能 體n的 動(dòng) 作 空 間；Qc，SVG，DG為 被 控 設(shè)備c的 無(wú) 功 出 力，c=1，2，…，NDG+NSVG；Ωc，SVG，DG為智能體n區(qū)域內(nèi)被控設(shè)備集合。

3）電壓控制獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

為減少系統(tǒng)電壓偏差，擬以分區(qū)電壓偏差絕對(duì)值的相反數(shù)為獎(jiǎng)勵(lì)函數(shù)，即電壓偏差越小，智能體收獲獎(jiǎng)勵(lì)越大，以達(dá)到驅(qū)動(dòng)智能體使策略向減少電壓偏差方向更新的目的，表達(dá)式為：

其中：rn為智能體n的獎(jiǎng)勵(lì)。

2.2 考慮容量耦合的動(dòng)態(tài)邊界動(dòng)作掩模機(jī)制

如式（4）所示，DG 的有功與無(wú)功出力互相耦合。因此，DG 的無(wú)功出力動(dòng)作范圍處于動(dòng)態(tài)變化中。在給定第j個(gè)DG 的有功出力情況下，其無(wú)功容量邊界絕對(duì)值為：

式 中：Qj，bound為 第j個(gè)DG 的 無(wú) 功 容 量 邊 界 絕 對(duì) 值。

為簡(jiǎn)化動(dòng)作空間，將無(wú)功容量的上下限作為換流器容量的上下限。則式（3）的表達(dá)式變?yōu)椋?/p>

故對(duì)于智能體給定原始無(wú)功出力，按照如式（11）所示處理。

通過(guò)以上處理步驟，根據(jù)有功出力動(dòng)態(tài)設(shè)定無(wú)功出力邊界，保證智能體動(dòng)作的合理性，避免實(shí)際運(yùn)行過(guò)程中動(dòng)作失效。

基于MADDPG 的就地電壓控制流程如附錄A圖A1 所示。

3 算例分析

3.1 改進(jìn)的IEEE 33 節(jié)點(diǎn)系統(tǒng)

本文使用改進(jìn)IEEE 33 節(jié)點(diǎn)系統(tǒng)算例，其拓?fù)浼胺謪^(qū)如附錄A 圖A2 所示。額定負(fù)荷為(3.715+j2.3)MV·A。其 中，節(jié)點(diǎn)9、10、11、18、21、23、24、25、31、32 和33 接入光伏，有功容量為120 kW，視在容量為144 kV·A；節(jié)點(diǎn)16、17、22 和29 接入光伏，有功容量為240 kW，視在容量為288 kV·A；節(jié)點(diǎn)15、20 和30 接入SVG，容量為240 kvar。接入的光伏總?cè)萘繛?.736 MV·A，容量滲透率為62.62%。

使用 TensorFlow 深度學(xué)習(xí)框架，搭建MADDPG 智能體模型，選取1 年的數(shù)據(jù)對(duì)智能體進(jìn)行訓(xùn)練。軟件環(huán)境為Python 3.8.10，TensorFlow 2.8.0，硬件為騰訊云2 核2 GB 輕量應(yīng)用服務(wù)器，搭載Ubuntu 20.04 LTS 系統(tǒng)。模型訓(xùn)練情況如附錄A 圖A3 所 示。

3.2 電壓控制效果分析

訓(xùn)練完畢后，選取測(cè)試日對(duì)智能體控制效果進(jìn)行測(cè)試，測(cè)試日DG 及負(fù)荷日變化曲線(xiàn)如附錄A 圖A4 所示，優(yōu)化步長(zhǎng)為5 min。對(duì)比以下3 個(gè)場(chǎng)景的運(yùn)行優(yōu)化效果：

場(chǎng)景1：無(wú)功出力為0，DG 僅有功出力，得到電壓初始狀態(tài)；

場(chǎng)景2：利用所提MADDPG 集群控制方法優(yōu)化被控設(shè)備出力；

場(chǎng)景3：利用集中式優(yōu)化方法對(duì)被控設(shè)備出力進(jìn)行優(yōu)化。

選取1 d 中各時(shí)刻電壓幅值（標(biāo)幺值）的最大值與最小值，繪制電壓極值曲線(xiàn)如圖2 所示。

圖2 不同場(chǎng)景下的電壓極值變化Fig.2 Variation of maximum and minimum voltages in different scenarios

選取SVG 接入節(jié)點(diǎn)15 和DG 接入節(jié)點(diǎn)31，繪制其電壓分布如附錄A 圖A5 和圖A6 所示。由圖可知，場(chǎng)景1 中無(wú)功出力為0，電壓最小值低于安全運(yùn)行下限，且節(jié)點(diǎn)電壓波動(dòng)較大。場(chǎng)景2 與場(chǎng)景3 中的電壓極值曲線(xiàn)與節(jié)點(diǎn)電壓分布曲線(xiàn)基本接近，極值電壓均位于安全運(yùn)行范圍內(nèi)，且節(jié)點(diǎn)電壓相對(duì)波動(dòng)平緩，電壓質(zhì)量有較大提升。

進(jìn)一步對(duì)1 d 中的電壓分布進(jìn)行數(shù)值分析，得到電壓質(zhì)量的各項(xiàng)指標(biāo)如表1 所示。

表1 測(cè)試日各場(chǎng)景電壓控制結(jié)果Table 1 Voltage control results in different scenarios on test days

平均電壓偏差指標(biāo)δ定義為：

式 中：Vi，t為 節(jié) 點(diǎn)i在t時(shí) 刻 的 電 壓 幅 值；NT為 測(cè) 試 日測(cè)量時(shí)刻的數(shù)量。

最優(yōu)率η定義為：

式中：δp、δc和δo分別為所提MADDPG 方法、集中式優(yōu)化方法和不控制3 種場(chǎng)景下的平均電壓偏差指標(biāo)。

最優(yōu)偏移指標(biāo)衡量了所提方法接近集中式優(yōu)化方法的程度。由表1 可知，相比于場(chǎng)景1，場(chǎng)景2 所提方法和場(chǎng)景3 集中式優(yōu)化方法的平均電壓偏差分別降低了76.47%和77.94%，對(duì)電壓質(zhì)量有明顯改善；場(chǎng)景1 的電壓最小值為0.930 9，遠(yuǎn)低于安全運(yùn)行約束下限，而場(chǎng)景2 和場(chǎng)景3 的電壓均位于安全運(yùn)行約束范圍以?xún)?nèi)。

3.3 最優(yōu)動(dòng)作對(duì)比

選取接入節(jié)點(diǎn)15 處的SVG 和節(jié)點(diǎn)31 處的DG，繪制場(chǎng)景2 和場(chǎng)景3 中無(wú)功出力如附錄A 圖A7 和圖A8 所示。由圖可知，所提無(wú)模型的自適應(yīng)控制方法的出力方案與基于最優(yōu)化方法所得的出力方案基本接近。由表1 可知，所提方法的電壓控制效果基本接近最優(yōu)化方法，最優(yōu)率達(dá)98.05%。即所提方法能夠自適應(yīng)控制DG 及SVG 出力，其控制效果接近于最優(yōu)化方法。

3.4 不確定性應(yīng)對(duì)效果分析

為驗(yàn)證所提方法對(duì)DG 出力及負(fù)荷波動(dòng)的適應(yīng)性，對(duì)DG 及負(fù)荷曲線(xiàn)施加±20%隨機(jī)波動(dòng)，考慮不確定性的DG 及負(fù)荷曲線(xiàn)如附錄A 圖A9 所示。各個(gè)場(chǎng)景電壓控制效果如表2 所示。節(jié)點(diǎn)15 的電壓分布如圖A10 所示。

表2 不確定性場(chǎng)景測(cè)試日控制結(jié)果對(duì)比Table 2 Comparison of control results in uncertainty scenarios on test days

由表2 及附錄A 圖A10 可知，考慮DG 有功出力及負(fù)荷的不確定性后，基于日前預(yù)測(cè)曲線(xiàn)的集中式優(yōu)化方法電壓控制效果有明顯波動(dòng)，電壓控制效果下降，而所提方法能夠跟蹤負(fù)荷及DG 的變化，從而實(shí)時(shí)制定出力策略，電壓波動(dòng)相對(duì)平緩。

3.5 中國(guó)南方電網(wǎng)53 節(jié)點(diǎn)算例測(cè)試

為驗(yàn)證方法的可行性，選取中國(guó)南方電網(wǎng)某53節(jié)點(diǎn)系統(tǒng)進(jìn)行測(cè)試，算例拓?fù)浼胺謪^(qū)如附錄A 圖A11 所示，額定負(fù)荷（7.032 5+j1.429 2）MV·A。其中，節(jié)點(diǎn)9、10、15、17、20、21、31 和50 接入光伏的有功容量為240 kW，視在容量為264 kV·A；節(jié)點(diǎn)27、28、29、51、52 和53 接入光伏的有功容量為400 kW，視在容量為440 kV·A。接入的光伏總?cè)萘繛?.752 MV·A，容量滲透率為66.22%。

測(cè)試日負(fù)荷及DG 運(yùn)行曲線(xiàn)如附錄A 圖A4 所示。為研究不同分區(qū)下智能體的學(xué)習(xí)效果與控制效果，分別將網(wǎng)絡(luò)分為3 個(gè)和4 個(gè)區(qū)域，如圖A11 所示。仍選取3 種場(chǎng)景進(jìn)行對(duì)比。模型訓(xùn)練情況如圖A12 所示。表3 為各場(chǎng)景優(yōu)化結(jié)果對(duì)比。

表3 測(cè)試日各場(chǎng)景電壓控制結(jié)果Table 3 Voltage control results in different scenarios on test days

由表3 可知，在方案1 中，所提方法的平均電壓偏差相比于原始場(chǎng)景下降了92.78%，且由于該算例節(jié)點(diǎn)較多、負(fù)荷較重，原始電壓下限為0.902 6，遠(yuǎn)低于安全運(yùn)行水平，所提方法將電壓下限由0.902 6 提高至0.977 7，大幅提高了電壓運(yùn)行質(zhì)量。

由方案1 和方案2 的對(duì)比可知，分區(qū)對(duì)所提方法控制效果無(wú)明顯影響。值得注意的是，隨著分區(qū)數(shù)量的增多，將對(duì)智能體的協(xié)作要求更高，控制效果略有下降；相應(yīng)的，若分區(qū)數(shù)目減少，智能體之間協(xié)作要求下降，但將趨近于全局控制，大幅增加通信成本。

采用集中式方法進(jìn)行優(yōu)化時(shí)，存在優(yōu)化時(shí)間長(zhǎng)、收斂性受網(wǎng)絡(luò)拓?fù)浼柏?fù)荷水平影響等問(wèn)題，所提方法在智能體訓(xùn)練完成后僅依靠就地信息進(jìn)行實(shí)時(shí)決策，策略生成周期低至毫秒級(jí)，且決策時(shí)不存在優(yōu)化算法的收斂性問(wèn)題。同時(shí)，依托于云-邊協(xié)同框架下的經(jīng)驗(yàn)共享，所提方法最優(yōu)率達(dá)98.04%，在實(shí)時(shí)決策模式下保證了較高的決策水平。

4 結(jié)語(yǔ)

本文面向高滲透率DG 接入的配電網(wǎng)電壓波動(dòng)問(wèn)題，充分利用DG 的調(diào)節(jié)潛力，提出了基于MADDPG 的DG 集群控制框架。考慮DG 的容量耦合，使用動(dòng)態(tài)邊界掩模方法，保證動(dòng)作的合理性，基于分區(qū)實(shí)現(xiàn)DG 就地控制。最后，在改進(jìn)IEEE 33節(jié)點(diǎn)系統(tǒng)及中國(guó)南方電網(wǎng)53 節(jié)點(diǎn)系統(tǒng)算例上驗(yàn)證了所提方法的可行性，基于MADDPG 的DG 就地電壓控制方法能夠自適應(yīng)地控制DG 無(wú)功出力，從而緩解電壓波動(dòng)問(wèn)題。

后續(xù)工作將進(jìn)一步考慮OLTC 等慢時(shí)間尺度調(diào)節(jié)設(shè)備控制方法，實(shí)現(xiàn)快慢時(shí)間尺度上的多設(shè)備協(xié)調(diào)電壓控制。

附錄見(jiàn)本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。