基于改進(jìn)DDPG的變速抽蓄機(jī)組參與系統(tǒng)調(diào)頻研究

摘 要：在挖掘雙饋型抽水蓄能（DFIM-PSH）機(jī)組調(diào)頻能力的基礎(chǔ)上，提出一種基于改進(jìn)深度確定性策略梯度（DDPG）算法的系統(tǒng)頻率控制方法。首先，基于所確定的DFIM-PSH機(jī)組在發(fā)電與抽水工況下的頻率控制環(huán)節(jié)，構(gòu)建考慮風(fēng)電接入的含DFIM-PSH單區(qū)域系統(tǒng)頻率控制模型。其次，在考慮機(jī)組運(yùn)行約束的基礎(chǔ)上以最小化系統(tǒng)頻率偏差及調(diào)頻出力為目標(biāo)，引入DDPG算法對(duì)各機(jī)組的AGC控制指令進(jìn)行優(yōu)化。通過在預(yù)學(xué)習(xí)中同時(shí)引入隨機(jī)外部擾動(dòng)與模型參數(shù)變化，提高AGC控制器在具有強(qiáng)不確定性環(huán)境中的適應(yīng)性。最后，在仿真驗(yàn)證DFIM-PSH調(diào)頻優(yōu)勢(shì)的基礎(chǔ)上，在不同風(fēng)電接入及擾動(dòng)等多場(chǎng)景進(jìn)行仿真分析，結(jié)果表明，所提頻率控制方法能有效改善新型電力系統(tǒng)的頻率特性且具有強(qiáng)魯棒性。

關(guān)鍵詞：抽水蓄能機(jī)組；魯棒性（控制系統(tǒng)）；頻率控制；深度確定性策略梯度算法；新型電力系統(tǒng)

中圖分類號(hào)：TM614" " " " " " " 文獻(xiàn)標(biāo)志碼：A

0 引 言

隨著“雙碳”目標(biāo)的提出，推動(dòng)構(gòu)建新型電力系統(tǒng)已成為必然要求。然而，具有隨機(jī)性和波動(dòng)性的風(fēng)光能源大規(guī)模接入給電網(wǎng)帶來了極強(qiáng)的不確定性。這樣的不確定性不僅體現(xiàn)在系統(tǒng)受到的外部擾動(dòng)上，也反映在系統(tǒng)模型的具體參數(shù)上，進(jìn)一步導(dǎo)致電網(wǎng)的頻率特性惡化［1-2］。為更好實(shí)現(xiàn)新型電力系統(tǒng)的頻率控制，迫切需尋找更靈活的新型調(diào)頻手段，并結(jié)合新型電力系統(tǒng)的特性選取更加有效的頻率控制方法。

近年來，基于雙饋感應(yīng)電機(jī)（doubly-fed induction machine，DFIM）的抽水蓄能（pumped storage hydro，PSH）機(jī)組（DFIM-PSH）在中國(guó)逐漸興起。因可實(shí)現(xiàn)變速運(yùn)行，DFIM-PSH機(jī)組不僅能克服傳統(tǒng)PSH機(jī)組因電機(jī)定速帶來的效率較低及抽水工況下無法調(diào)節(jié)功率的缺點(diǎn)，且具有更靈活的功率以及轉(zhuǎn)速調(diào)節(jié)能力，因而具備優(yōu)于傳統(tǒng)PSH機(jī)組的調(diào)頻潛能［3-4］。為此，許多學(xué)者對(duì)DFIM-PSH機(jī)組的頻率控制策略展開研究。但這樣的研究目前主要停留在機(jī)組級(jí)控制層面，即構(gòu)建適應(yīng)機(jī)組不同工況運(yùn)行特性的附加調(diào)頻環(huán)節(jié)［5-6］，鮮有考慮DFIM-PSH機(jī)組與其他機(jī)組配合的系統(tǒng)級(jí)頻率控制以及挖掘其在新型電力系統(tǒng)中所能發(fā)揮優(yōu)勢(shì)的研究。

在區(qū)域電網(wǎng)中，一般采用自動(dòng)發(fā)電控制（automatic generation control，AGC）來實(shí)現(xiàn)頻率控制，其中最常見的是采用PI控制器，使系統(tǒng)在受到擾動(dòng)后的頻率偏差可迅速恢復(fù)［7］。但傳統(tǒng)PI控制的動(dòng)態(tài)性能較差且固定的PI參數(shù)無法適應(yīng)系統(tǒng)變化，在具有強(qiáng)不確定性的新型電力系統(tǒng)中其調(diào)頻效果無法得到保證［8］。為此，文獻(xiàn)［9］提出基于深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）的頻率控制方法，利用DRL無需依賴復(fù)雜精準(zhǔn)的系統(tǒng)模型就可進(jìn)行自主學(xué)習(xí)的優(yōu)勢(shì)，通過智能體與頻率控制模型的反復(fù)交互來優(yōu)化頻率控制策略。文獻(xiàn)［10-11］進(jìn)一步采用DRL中的深度確定性策略梯度（deep deterministic policy gradient，DDPG）算法來解決頻率控制問題，相比于其他DRL算法［12］，DDPG算法因動(dòng)作空間連續(xù)，在計(jì)算AGC控制指令方面更具優(yōu)勢(shì)。在此基礎(chǔ)上，文獻(xiàn)［13-14］進(jìn)一步將基于DRL的負(fù)荷頻率控制方法擴(kuò)展到多區(qū)域電網(wǎng)、多能互補(bǔ)系統(tǒng)等場(chǎng)景，并結(jié)合具體的系統(tǒng)控制需求考慮不同目標(biāo)進(jìn)行優(yōu)化。為保證DRL在不同場(chǎng)景下的魯棒性，在預(yù)學(xué)習(xí)階段需盡可能多地模擬不同擾動(dòng)。但已有研究大多僅考慮了形式單一的負(fù)荷功率擾動(dòng)，而不涉及風(fēng)光等可再生能源接入造成的內(nèi)部及外部不確定擾動(dòng)，因而在新型電力系統(tǒng)不同場(chǎng)景下的適應(yīng)能力有限。

為此，本文以DFIM-PSH這種新型調(diào)頻手段為主體，在實(shí)現(xiàn)其機(jī)組調(diào)頻控制及性能分析的基礎(chǔ)上，基于DDPG算法構(gòu)建含DFIM-PSH的系統(tǒng)頻率控制策略，以解決新型電力系統(tǒng)中因系統(tǒng)網(wǎng)絡(luò)參數(shù)改變及可再生電源、負(fù)荷隨機(jī)擾動(dòng)造成的頻率問題。首先，基于不同工況下的調(diào)頻策略構(gòu)建含DFIM-PSH的單區(qū)域系統(tǒng)頻率控制模型，并與傳統(tǒng)PSH仿真結(jié)果對(duì)比驗(yàn)證其一、二次調(diào)頻效果及優(yōu)勢(shì)。其次，提出一種基于改進(jìn)DDPG算法的系統(tǒng)頻率控制方法。在考慮機(jī)組調(diào)頻性能約束的基礎(chǔ)上，以最小化系統(tǒng)頻率偏差及調(diào)頻出力為目標(biāo)，利用算法與頻率控制模型的交互學(xué)習(xí)對(duì)各機(jī)組的AGC指令進(jìn)行優(yōu)化。針對(duì)新型電力系統(tǒng)存在的不確定性，在預(yù)學(xué)習(xí)階段同時(shí)引入隨機(jī)的外部擾動(dòng)和參數(shù)變化來提高算法對(duì)不同場(chǎng)景的適應(yīng)性。最后，通過不同風(fēng)電接入及擾動(dòng)情況下的仿真分析，對(duì)比驗(yàn)證了本文所提基于改進(jìn)DDPG算法的頻率控制策略的調(diào)頻性能及魯棒性。

1 系統(tǒng)頻率控制模型

1.1 DFIM-PSH的頻率控制模型

區(qū)別于傳統(tǒng)PSH機(jī)組，DFIM-PSH因采用交流勵(lì)磁控制可通過變速運(yùn)行獲得在發(fā)電和抽水兩種工況下參與調(diào)頻的能力及額外的調(diào)頻容量，但需附加相應(yīng)環(huán)節(jié)來實(shí)現(xiàn)調(diào)頻功能。目前已有許多研究圍繞DFIM-PSH的調(diào)頻控制策略展開，其主要思想是沿用雙饋風(fēng)力機(jī)的虛擬慣量綜合調(diào)頻控制思路［15-16］，利用變流器的快速響應(yīng)特性來實(shí)現(xiàn)對(duì)于機(jī)組有功功率的靈活控制。雖然兩種工況下的頻率控制方法在形式上會(huì)因?yàn)闄C(jī)組選用基本控制策略的不同存在一定差異，但本質(zhì)都是通過調(diào)節(jié)轉(zhuǎn)子電流來控制機(jī)組的電磁功率，進(jìn)而為頻率調(diào)節(jié)提供功率支撐。

1.1.1 變流器模型

轉(zhuǎn)子側(cè)變流器是機(jī)組得以通過調(diào)節(jié)勵(lì)磁電流來實(shí)現(xiàn)變速運(yùn)行并靈活快速控制其功率的關(guān)鍵所在。在采用矢量定向控制策略時(shí)，變流器通常選用典型的雙環(huán)控制結(jié)構(gòu)，其中電流內(nèi)環(huán)從本質(zhì)上反映了轉(zhuǎn)子電流的跟蹤過程，其響應(yīng)時(shí)間尺度為毫秒級(jí)，因此可將變流器響應(yīng)模型簡(jiǎn)化為一階慣性環(huán)節(jié)［5］：

[Gc（s）=iri*r=1τcs+1] （1）

式中：[ir]——轉(zhuǎn)子電流實(shí)際值；[i*r]——轉(zhuǎn)子電流參考值；[τc]——變流器響應(yīng)時(shí)間常數(shù)；[s]——微分算子。

在機(jī)電暫態(tài)過程中，可忽略電機(jī)定子磁鏈的動(dòng)態(tài)變化，由此得到變流器的控制指令變化[ΔTcmd]與實(shí)際控制量變化[ΔT]滿足：

[ΔT=Gc（s）ΔTcmd] （2）

1.1.2 DFIM-PSH頻率控制模型［6］

發(fā)電工況下，DFIM-PSH通常會(huì)采用功率優(yōu)先控制策略，即將有功功率作為變流器的控制目標(biāo)，通過調(diào)節(jié)轉(zhuǎn)子電流實(shí)現(xiàn)快速響應(yīng)。為此，本文在發(fā)電工況下采用下垂控制與虛擬慣量控制相結(jié)合的傳統(tǒng)一次調(diào)頻策略，利用PD控制器將頻率偏差[Δf]轉(zhuǎn)換為附加有功功率指令[ΔPf]。二次調(diào)頻指令直接給定功率指令[ΔPACE]，將其與[ΔPf]疊加形成總控制指令[ΔPcmd]，交由變頻器實(shí)現(xiàn)對(duì)于機(jī)組有功功率的直接快速控制，為頻率調(diào)節(jié)提供功率支撐。

抽水工況下，由于水泵的輸入功率與轉(zhuǎn)速的三次方成正比，DFIM-PSH可通過少量改變轉(zhuǎn)速實(shí)現(xiàn)對(duì)于輸入有功功率的大幅調(diào)整。為此，機(jī)組通常會(huì)采用轉(zhuǎn)速優(yōu)先控制策略，即變流器以轉(zhuǎn)速作為優(yōu)先控制目標(biāo)。此時(shí)為保證調(diào)頻響應(yīng)速度，將頻率控制環(huán)節(jié)構(gòu)建在變流器的轉(zhuǎn)速控制通道處。具體為利用PD控制器將頻率偏差[Δf]轉(zhuǎn)換為附加轉(zhuǎn)速指令[Δωf]，與給定的二次調(diào)頻轉(zhuǎn)速指令[ΔωACE]相疊加形成總控制指令[Δωcmd]，交由變流器實(shí)現(xiàn)對(duì)于機(jī)組轉(zhuǎn)速的直接調(diào)節(jié)。在此基礎(chǔ)上，根據(jù)機(jī)組轉(zhuǎn)速與輸入有功功率的關(guān)系［5］進(jìn)一步推導(dǎo)出由此產(chǎn)生的調(diào)頻出力變化。

結(jié)合式（1），DFIM-PSH在發(fā)電和抽水工況下的頻率控制模型具體如圖1所示。

圖1中[Tt]為頻率檢測(cè)模塊時(shí)間常數(shù)；[Tf]為低通濾波器時(shí)間常數(shù)；[Kpp、Kpd]為發(fā)電工況頻率控制環(huán)節(jié)的比例、微分系數(shù)；[Kωp、Kωd]為抽水工況頻率控制環(huán)節(jié)的比例、微分系數(shù)；[k]為DFIM-PSH的功率與轉(zhuǎn)速系數(shù)；[ΔPD]為DFIM-PSH的調(diào)頻出力。

1.2 含DFIM-PSH的單區(qū)域系統(tǒng)頻率控制模型

為分析DFIM-PSH在系統(tǒng)中起到的一、二次調(diào)頻作用，并進(jìn)一步構(gòu)建其負(fù)荷頻率控制策略，本文搭建了圖2所示含DFIM-PSH的單區(qū)域系統(tǒng)頻率控制模型，除DFIM-PSH及常規(guī)火電機(jī)組［13］外，還考慮了風(fēng)電接入，具體參數(shù)見表1。其中，DFIM-PSH的一次調(diào)頻和機(jī)組控制環(huán)節(jié)如圖1所示?；痣姍C(jī)組的調(diào)頻出力限制為30%，DFIM-PSH的調(diào)頻出力限制在發(fā)電工況下為50%，抽水工況下為30%，調(diào)頻死區(qū)為±0.03 Hz。

圖2中[Tg]為火電機(jī)組調(diào)速器時(shí)間常數(shù)；[TH]為火電機(jī)組汽輪機(jī)時(shí)間常數(shù)；[1/Req]為火電機(jī)組的等效調(diào)差系數(shù)；[ΔPH]為火電機(jī)組的調(diào)頻出力；[ΔPL、ΔPW]為負(fù)荷波動(dòng)和風(fēng)電出力波動(dòng)；[Meq]為系統(tǒng)的等效慣性時(shí)間常數(shù)；[D]為負(fù)荷的頻率調(diào)節(jié)效應(yīng)系數(shù)；[ΔuH、ΔuD]為火電和DFIM-PSH機(jī)組的頻率控制指令；[Beq]為系統(tǒng)的頻率響應(yīng)系數(shù)，為[1/Req+D]。

由于風(fēng)電機(jī)組通常按最大功率點(diǎn)跟蹤模式運(yùn)行，為盡可能減小棄風(fēng)量，本文暫不考慮風(fēng)電機(jī)組自身的調(diào)頻作用。但大規(guī)模風(fēng)電接入會(huì)給系統(tǒng)帶來不確定擾動(dòng)，不僅包括風(fēng)功率波動(dòng)造成的有功功率平衡擾動(dòng)，還包括風(fēng)電滲透率提高給電網(wǎng)模型參數(shù)帶來的改變。目前大多數(shù)含風(fēng)電的系統(tǒng)負(fù)荷頻率控制模型僅考慮了因風(fēng)電隨機(jī)波動(dòng)造成的風(fēng)電場(chǎng)實(shí)際功率輸出與預(yù)測(cè)功率之間的誤差，對(duì)于風(fēng)電接入給系統(tǒng)內(nèi)部參數(shù)帶來的影響則很少涉及。

為定量描述風(fēng)電接入對(duì)電網(wǎng)頻率響應(yīng)產(chǎn)生的影響，本文引入常規(guī)同步機(jī)組發(fā)電系數(shù)[K]，即常規(guī)同步發(fā)電機(jī)組容量和系統(tǒng)總?cè)萘康谋戎?，來表征風(fēng)電的滲透程度［2］。一方面，由于風(fēng)電滲透率的提高以減少電網(wǎng)中的常規(guī)調(diào)頻機(jī)組容量為代價(jià)，火電機(jī)組的調(diào)差系數(shù)以及出力限制均會(huì)減小到原來的[K]倍。另一方面，目前主流的變速恒頻風(fēng)電機(jī)組因通過變流器接入電網(wǎng)，對(duì)于電網(wǎng)慣量的貢獻(xiàn)基本為0，因此系統(tǒng)的等效慣性時(shí)間常數(shù)也會(huì)相應(yīng)減小。對(duì)于風(fēng)電出力波動(dòng)，本文通過將其作為負(fù)的負(fù)荷擾動(dòng)加入系統(tǒng)頻率響應(yīng)模型來實(shí)現(xiàn)。

2 基于深度強(qiáng)化學(xué)習(xí)的系統(tǒng)頻率控制

2.1 DDPG算法［8］

DDPG算法是基于深度Q網(wǎng)絡(luò)（deep Q-networks，DQN）算法的改進(jìn)深度強(qiáng)化學(xué)習(xí)算法，通過結(jié)合確定性策略梯度（deterministic policy gradient，DPG）算法，將DQN算法有效拓展到多維連續(xù)動(dòng)作空間的情況。DDPG算法基于執(zhí)行者-評(píng)論家（actor-critic，AC）框架，繼承了DQN算法利用神經(jīng)網(wǎng)絡(luò)來擬合值函數(shù)的思想和DPG算法更新策略的方法，并融入DQN算法中的經(jīng)驗(yàn)回放機(jī)制，通過將訓(xùn)練軌跡以（[st]，[at]，[rt]，[st+1]）的形式進(jìn)行存儲(chǔ)并按一定規(guī)則采樣回放來消除數(shù)據(jù)之間的關(guān)聯(lián)，進(jìn)而加快算法的收斂。其中[st、at、rt]分別為[t]時(shí)刻系統(tǒng)的狀態(tài)、動(dòng)作與回報(bào)，[st+1]為系統(tǒng)在狀態(tài)[st]下采取動(dòng)作[at]后于[t+1]時(shí)刻獲得的新狀態(tài)。

DDPG算法的核心是動(dòng)作網(wǎng)絡(luò)與評(píng)價(jià)網(wǎng)絡(luò)的構(gòu)建與更新，相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)圖如圖3所示。動(dòng)作網(wǎng)絡(luò)（actor network）[π（st，θ）]用于根據(jù)系統(tǒng)狀態(tài)[st]確定應(yīng)采取動(dòng)作[at]，其中[θ]為actor網(wǎng)絡(luò)參數(shù)。評(píng)價(jià)網(wǎng)絡(luò)（critic network）[Q（st，at，w）]則用于實(shí)現(xiàn)對(duì)于當(dāng)前狀態(tài)[st]下采取某一動(dòng)作[at]的優(yōu)劣程度的評(píng)判，即輸出動(dòng)作-狀態(tài)價(jià)值函數(shù)[Q（st，at）]，其中[w]為critic網(wǎng)絡(luò)參數(shù)。由于DDPG算法引入了目標(biāo)網(wǎng)絡(luò)，即在當(dāng)前網(wǎng)絡(luò)的基礎(chǔ)上增加一個(gè)可提供相對(duì)固定網(wǎng)絡(luò)更新目標(biāo)的同參數(shù)網(wǎng)絡(luò)來增強(qiáng)學(xué)習(xí)的穩(wěn)定性，在算法的訓(xùn)練過程中共需對(duì)4個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)更新，即actor網(wǎng)絡(luò)[πθ]，目標(biāo)actor網(wǎng)絡(luò)[πθ′′]、critic網(wǎng)絡(luò)[Qw]和目標(biāo)critic網(wǎng)絡(luò)[Qw′′]。其中，[θ′]和[w′]分別為目標(biāo)actor網(wǎng)絡(luò)和目標(biāo)critic網(wǎng)絡(luò)的參數(shù)。

actor網(wǎng)絡(luò)參數(shù)的更新基于DPG算法，通過最大化[Q（st，at）]的期望[L1（θ）]來獲得以其為評(píng)價(jià)指標(biāo)的最優(yōu)策略。根據(jù)策略梯度定理，沿著梯度[▽L1（θ）]上升的方向更新[θ]可獲得當(dāng)前狀態(tài)下使價(jià)值函數(shù)最大的動(dòng)作，即最優(yōu)動(dòng)作。critic網(wǎng)絡(luò)的訓(xùn)練則是基于Q學(xué)習(xí)算法的思想，即以最小化損失函數(shù)[L2（w）]為目標(biāo)，沿著梯度[▽L2（w）]下降的方向更新[w]，從而使網(wǎng)絡(luò)可用于近似表達(dá)價(jià)值函數(shù)。具體的網(wǎng)絡(luò)優(yōu)化目標(biāo)如式（3）所示。

[L1（θ）=Est～ρ[Q（st，at）]=Est～ρ[Q（st，π（st，θ））]L2（w）=Est，at～ρ[（yt-Qw（st，at，w））2]，" 其中yt=r（st，at）+γmaxat+1Qw′′（st+1，at+1，w）] （3）

式中：[E]——數(shù)學(xué)期望；[ρ]——策略服從的行為分布；[yt]——價(jià)值函數(shù)的估計(jì)值，為當(dāng)前時(shí)刻回報(bào)與采取最優(yōu)策略獲得的下一時(shí)刻回報(bào)之和；[γ]——折扣系數(shù)。

對(duì)于目標(biāo)actor及critic網(wǎng)絡(luò)，則是采用“軟更新”的方式進(jìn)行更新，在當(dāng)前網(wǎng)絡(luò)更新達(dá)到一定次數(shù)后，再對(duì)目標(biāo)網(wǎng)絡(luò)進(jìn)行參數(shù)調(diào)整。綜上，DDPG中4個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)更新方法如式（4）所示。

[θ←θ+αθ▽L1（θ）w←w-αw▽L2（w）θ′←βθ+（1-β）θ′w′←βw+（1-β）w′] （4）

式中：[αθ]、[αw]——actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的學(xué)習(xí)率；[β]——軟更新系數(shù)。

2.2 基于改進(jìn)DDPG算法的AGC控制器設(shè)計(jì)

基于DDPG算法的頻率控制方法利用算法中的智能體作為AGC控制器進(jìn)行決策，通過多次預(yù)學(xué)習(xí)直接根據(jù)系統(tǒng)環(huán)境的變化給出符合設(shè)計(jì)目標(biāo)的動(dòng)作指令?？紤]到常規(guī)基于DDPG的AGC控制器采用固定場(chǎng)景訓(xùn)練，無法適應(yīng)新型電力系統(tǒng)因風(fēng)電接入造成的不確定性，本節(jié)提出基于改進(jìn)DDPG算法的單區(qū)域系統(tǒng)頻率控制策略，在預(yù)學(xué)習(xí)階段同時(shí)引入系統(tǒng)內(nèi)部參數(shù)與外部擾動(dòng)的隨機(jī)變化，保證訓(xùn)練所得控制器在不同風(fēng)電接入及擾動(dòng)場(chǎng)景下的魯棒性，具體原理如圖4所示。

針對(duì)單區(qū)域系統(tǒng)的頻率控制問題，本文選擇觀測(cè)量為[Δf]的比例、微分以及積分信號(hào)[st=[Δft，sΔft，Δft/s]]，動(dòng)作量為火電及抽蓄機(jī)組的調(diào)頻控制指令[at=[ΔuHt，ΔuDt]]。

基于DDPG算法的控制器在投入在線應(yīng)用前，需經(jīng)過大量的離線預(yù)學(xué)習(xí)，即智能體基于試錯(cuò)探索機(jī)制朝著使獎(jiǎng)勵(lì)函數(shù)值最大的方向進(jìn)行策略優(yōu)化，因而獎(jiǎng)勵(lì)函數(shù)最終決定了訓(xùn)練所得控制器的控制效果。在單區(qū)域系統(tǒng)中，頻率控制的主要目標(biāo)為保證系統(tǒng)受到擾動(dòng)時(shí)，[Δf]盡可能快地恢復(fù)到0，同時(shí)出于經(jīng)濟(jì)性考慮希望各機(jī)組的調(diào)頻出力盡可能小，因此本文以最小化[Δf]及[ΔPH、ΔPD]為優(yōu)化目標(biāo)。此外，由于抽蓄機(jī)組的調(diào)頻成本低于火電機(jī)組，且更符合新型電力系統(tǒng)的低碳化要求，在此通過設(shè)置不同權(quán)重系數(shù)來保證盡可能多地利用抽蓄機(jī)組進(jìn)行調(diào)頻。為進(jìn)一步提升學(xué)習(xí)速度并排除不合理的訓(xùn)練結(jié)果，除描述主要優(yōu)化目標(biāo)的基本項(xiàng)外，本文還在獎(jiǎng)勵(lì)函數(shù)中設(shè)置了仿真提前終止的懲罰項(xiàng)以及控制滿足要求的正獎(jiǎng)勵(lì)項(xiàng)。為保證DFIM-PSH機(jī)組的安全穩(wěn)定運(yùn)行，其轉(zhuǎn)速變化不應(yīng)超出允許范圍（±0.1 pu）。為此，本文將機(jī)組的轉(zhuǎn)速變化約束與[Δf]限制共同作為仿真的提前終止條件，若轉(zhuǎn)速變化超出限制或[Δf]過大（超出±0.5 Hz），則仿真提前終止并給獎(jiǎng)勵(lì)函數(shù)賦值一個(gè)數(shù)值很大的負(fù)數(shù)。另一方面，如果[Δf]能維持在較小范圍（±0.03 Hz）內(nèi)，則給予一定的正獎(jiǎng)勵(lì)。綜上，本文構(gòu)建的獎(jiǎng)勵(lì)函數(shù)[rt]可表示為：

[rt=-μ1Δft2-μ2ΔPHt2-μ3ΔPDt2+F+M] （5）

式中：[μ1]、[μ2]、[μ3]——權(quán)重系數(shù)；[F]——仿真提前終止的負(fù)懲罰；M——控制滿足要求的正獎(jiǎng)勵(lì)。

為創(chuàng)造頻率波動(dòng)環(huán)境，在算法的預(yù)學(xué)習(xí)中需引入負(fù)荷功率擾動(dòng)，目前常用的擾動(dòng)形式主要包括連續(xù)階躍擾動(dòng)［9-10，13］和正弦擾動(dòng)［8］。部分學(xué)者為進(jìn)一步提高訓(xùn)練所得結(jié)果在不同擾動(dòng)情況下的魯棒性，還會(huì)隨迭代的推進(jìn)設(shè)置不同的擾動(dòng)幅值［8，11］。基于此，考慮新型電力系統(tǒng)可能存在的負(fù)荷功率擾動(dòng)形式，本文設(shè)計(jì)圖5所示的隨機(jī)擾動(dòng)，其具體形式與幅值隨迭代進(jìn)行隨機(jī)變化，涵蓋了負(fù)載階躍擾動(dòng)的突變特性和可再生能源的連續(xù)隨機(jī)波動(dòng)特性。此外，系統(tǒng)中風(fēng)電機(jī)組的加入不僅會(huì)給電網(wǎng)帶來隨機(jī)的外部擾動(dòng)，還會(huì)造成其內(nèi)部參數(shù)發(fā)生改變。為此，本文在預(yù)學(xué)習(xí)中不僅引入了隨機(jī)變化的負(fù)荷功率擾動(dòng)，還通過引入不同的[K]值改變系統(tǒng)內(nèi)部參數(shù)來提高訓(xùn)練所得控制器在不同風(fēng)電接入場(chǎng)景下的魯棒性。

3 算例分析

3.1 DFIM-PSH的調(diào)頻性能分析

3.1.1 DFIM-PSH的一、二次調(diào)頻性能

為分析1.1節(jié)所建頻率控制環(huán)節(jié)作用下，DFIM-PSH的一、二次調(diào)頻性能，本節(jié)在Matlab/Simulink平臺(tái)中搭建了如圖2所示的模型，其中AGC控制器采用傳統(tǒng)PI控制，控制指令在各機(jī)組之間依據(jù)可調(diào)容量進(jìn)行分配，本節(jié)暫不考慮接入風(fēng)電。與此同時(shí)，將單區(qū)域系統(tǒng)中抽蓄機(jī)組選用DFIM-PSH與傳統(tǒng)PSH所得調(diào)頻效果進(jìn)行對(duì)比。其中DFIM-PSH機(jī)組的調(diào)頻參數(shù) （參數(shù)Ⅰ［6］與Ⅱ）見表1，仿真條件為5 s時(shí)負(fù)荷突增0.05 pu。

1）一次調(diào)頻性能

斷開各機(jī)組的二次調(diào)頻通道，僅觀察其一次調(diào)頻效果，可得系統(tǒng)采用DFIM-PSH和傳統(tǒng)PSH時(shí)的一次調(diào)頻效果如圖6a和圖6b所示?？芍l(fā)電工況下依照同步發(fā)電機(jī)的性能來設(shè)置DFIM-PSH的調(diào)頻參數(shù)（參數(shù)Ⅰ）可使機(jī)組模擬出與傳統(tǒng)PSH相類似的調(diào)頻能力，在應(yīng)對(duì)相同負(fù)荷擾動(dòng)時(shí)穩(wěn)態(tài)頻率偏差[Δfst]基本一致。但由于DFIM-PSH還設(shè)置有微分調(diào)節(jié)通道且其通過變頻器實(shí)現(xiàn)功率控制的響應(yīng)速度更快，機(jī)組可在檢測(cè)到[Δf]后迅速通過大幅調(diào)整出力來抑制頻率變化，使最大頻率偏差[Δfmax]顯著減小的同時(shí)縮短頻率調(diào)節(jié)時(shí)間[tst。]此外，在選擇更大調(diào)頻參數(shù)（參數(shù)Ⅱ）時(shí)，DFIM-PSH還能展現(xiàn)出更加優(yōu)異的調(diào)頻性能。而在抽水工況下，相比于不具備調(diào)頻能力的傳統(tǒng)PSH，DFIM-PSH可通過快速調(diào)節(jié)轉(zhuǎn)速來改變機(jī)組的輸入有功功率進(jìn)而參與調(diào)頻，更具有優(yōu)勢(shì)。

2）二次調(diào)頻性能

恢復(fù)各類機(jī)組的二次調(diào)頻通道，觀察傳統(tǒng)PSH和DFIM-PSH在面對(duì)相同控制信號(hào)時(shí)的響應(yīng)情況如圖6c和圖6d所示。由于變流器對(duì)有功功率及轉(zhuǎn)速的調(diào)節(jié)速度顯著快于水輪機(jī)，DFIM-PSH機(jī)組在一次調(diào)頻結(jié)束后可快速響應(yīng)AGC控制指令調(diào)節(jié)出力，從而使頻率偏差迅速恢復(fù)為0。由圖6c可知，在本節(jié)所選頻率控制器的作用下，發(fā)電工況傳統(tǒng)PSH需34.09 s才能將負(fù)荷擾動(dòng)引起的頻率偏差恢復(fù)為0，而DFIM-PSH僅需26.5 s，調(diào)頻速度提升了22.26%。在抽水工況下，頻率恢復(fù)時(shí)間更是從41.2 s縮短至28.4 s，DFIM-PSH的調(diào)頻速度相較于傳統(tǒng)PSH提升達(dá)到31.07%。

3.1.2 DFIM-PSH在含風(fēng)電系統(tǒng)中的調(diào)頻優(yōu)勢(shì)

本節(jié)在3.1.1節(jié)的基礎(chǔ)上，進(jìn)一步分析DFIM-PSH在含風(fēng)電系統(tǒng)中的調(diào)頻優(yōu)勢(shì)，通過改變系統(tǒng)中火電與風(fēng)電機(jī)組的容量配置，對(duì)比在不同風(fēng)電滲透率下傳統(tǒng)PSH與DFIM-PSH機(jī)組改善系統(tǒng)頻率特性的能力。同時(shí)，通過仿真判斷在固定抽蓄機(jī)組容量占比為10%時(shí)，僅考慮滿足頻率特性約束，系統(tǒng)可接受的最大風(fēng)電滲透率。仿真條件設(shè)置為5 s時(shí)負(fù)荷突增0.1 pu。

風(fēng)電滲透率從40%～70%變化時(shí)，傳統(tǒng)PSH和DFIM-PSH在不同工況下的調(diào)頻效果如圖7所示。傳統(tǒng)PSH因在發(fā)電工況下可參與電網(wǎng)調(diào)頻，風(fēng)電滲透率為60%時(shí)仍能使[Δf]迅速恢復(fù)到0并保持[Δfmax]小于1 Hz。但在抽水工況下傳統(tǒng)PSH無調(diào)頻能力，風(fēng)電滲透率為60%時(shí)[Δfmax]接近于1 Hz且電網(wǎng)中火電機(jī)組的調(diào)頻容量已不足以支撐[Δf]徹底恢復(fù)。風(fēng)電滲透率為70%時(shí)，0.1 pu的負(fù)荷突變已造成2.4 Hz的頻率偏差，是不被允許的。

相比之下，DFIM-PSH展現(xiàn)出了比傳統(tǒng)PSH優(yōu)越得多的調(diào)頻性能，尤其是DFIM-PSH在抽水工況下也能參與調(diào)頻，大大提升了系統(tǒng)可承擔(dān)的風(fēng)電接入容量。風(fēng)電滲透率為70%時(shí)，發(fā)電工況下的DFIM-PSH仍可保證[Δfmax]小于1 Hz，且[Δf]能在不波動(dòng)的情況下較快恢復(fù)到0。而在DFIM-PSH處于抽水工況時(shí)，雖然電網(wǎng)中的調(diào)頻容量已不足，但控制所得[Δfmax]仍小于1 Hz。

若以文獻(xiàn)［2］所用頻率變化約束，即負(fù)荷變化10%，系統(tǒng)頻率變化不超過1 Hz作為指標(biāo)，綜合發(fā)電和抽水工況下的調(diào)頻效果可知，在本節(jié)仿真條件下，10%的傳統(tǒng)PSH最多能支撐電網(wǎng)承擔(dān)62%的風(fēng)電滲透率，但DFIM-PSH可將電網(wǎng)可承擔(dān)的最大風(fēng)電滲透率提高到72%。

3.2 基于DDPG的含DFIM-PSH系統(tǒng)頻率控制

本節(jié)進(jìn)一步研究DFIM-PSH機(jī)組在新型電力系統(tǒng)中發(fā)揮其調(diào)頻優(yōu)勢(shì)，與常規(guī)火電機(jī)組相協(xié)調(diào)的系統(tǒng)頻率控制策略，其中AGC控制器的設(shè)計(jì)基于2.2節(jié)，在預(yù)學(xué)習(xí)階段設(shè)置風(fēng)電滲透率隨機(jī)變化，并采用形式和幅值隨機(jī)變化的負(fù)荷功率擾動(dòng)觸發(fā)頻率波動(dòng)，將其調(diào)頻效果與傳統(tǒng)PI控制以及預(yù)學(xué)習(xí)時(shí)不考慮隨機(jī)變化的常規(guī)DDPG控制效果進(jìn)行對(duì)比。本節(jié)設(shè)定critic網(wǎng)絡(luò)含有6層隱含層，每層節(jié)點(diǎn)數(shù)量為50，激活函數(shù)選用Relu函數(shù)；actor網(wǎng)絡(luò)含有3層隱含層，每層節(jié)點(diǎn)數(shù)量為25，激活函數(shù)選用Tanh函數(shù)，具體的算法訓(xùn)練參數(shù)如表2所示。其中常規(guī)DDPG控制基于40%風(fēng)電滲透率和圖5所示擾動(dòng)的固定場(chǎng)景進(jìn)行訓(xùn)練。

除對(duì)比不同場(chǎng)景下采用不同控制方法得到的系統(tǒng)頻率及機(jī)組出力響應(yīng)情況外，計(jì)算各場(chǎng)景下的中長(zhǎng)期頻率調(diào)節(jié)性能指標(biāo)如表3所示，所選指標(biāo)包括[Δfmax]，平均頻率偏差[Δfave]以及頻率優(yōu)秀率[η]，其中[η]定義為[Δf]處于±0.03 Hz調(diào)頻死區(qū)的占比。

3.2.1 不同風(fēng)電滲透率場(chǎng)景

本節(jié)對(duì)比了20%、40%和60%風(fēng)電滲透率場(chǎng)景下，針對(duì)圖5所示負(fù)荷擾動(dòng)采用傳統(tǒng)PI控制、常規(guī)DDPG控制以及本文所提DDPG控制時(shí)系統(tǒng)的響應(yīng)情況。

1）場(chǎng)景1：40%風(fēng)電滲透率

圖8給出了風(fēng)電滲透率為40%時(shí)，各種控制方法的調(diào)頻效果對(duì)比及機(jī)組的調(diào)頻出力響應(yīng)?？梢姡啾扔趥鹘y(tǒng)PI控制，利用DDPG算法控制各機(jī)組的調(diào)頻出力可收獲更好的調(diào)頻效果，在負(fù)荷發(fā)生擾動(dòng)后迅速減小[Δf]并將其穩(wěn)定在較小范圍內(nèi)。

由于常規(guī)DDPG控制本身基于40%風(fēng)電滲透率的場(chǎng)景進(jìn)行訓(xùn)練，此時(shí)的調(diào)頻性能非常優(yōu)異。對(duì)比于傳統(tǒng)PI控制，常規(guī)DDPG控制可在DFIM-PSH處于發(fā)電工況時(shí)將系統(tǒng)的[Δfmax]和[Δfave]分別減少約9.88%和70.45%，[η]提升至94.61%。雖然在機(jī)組處于抽水工況時(shí)，常規(guī)DDPG控制下系統(tǒng)的[Δfmax]有些許增加，但[Δfave]的降低達(dá)到了64.71%，[η]也有顯著提升。在該場(chǎng)景下，采用本文所提控制也能收獲優(yōu)異的調(diào)頻效果，雖然在某些頻率性能指標(biāo)上與常規(guī)DDPG存在些許差異，但總體上相比于傳統(tǒng)PI控制，本文所提控制在DFIM-PSH處于兩種工況下對(duì)[Δfave]的降低均達(dá)到50%，[η]也穩(wěn)定在95%以上。同時(shí)由各機(jī)組響應(yīng)情況可知，在本文所提控制下機(jī)組的調(diào)頻出力相對(duì)較少，且更多是利用DFIM-PSH的靈活調(diào)節(jié)能力來實(shí)現(xiàn)調(diào)頻作用。

2）場(chǎng)景2：20%風(fēng)電滲透率

在風(fēng)電滲透率為20%和60%時(shí)，常規(guī)DDPG控制和本文所提DDPG控制的差異逐漸顯現(xiàn)出來。圖9給出了風(fēng)電滲透率為20%和60%時(shí)不同控制方法對(duì)應(yīng)的頻率響應(yīng)情況。

由圖9a和圖9b可知，風(fēng)電滲透率為20%時(shí)，常規(guī)DDPG控制的效果雖與傳統(tǒng)PI控制相比仍有很大提升，但穩(wěn)定Δf在較小范圍（±0.01 Hz）內(nèi)的能力相比于風(fēng)電滲透率為40%時(shí)已有明顯削弱。系統(tǒng)的[Δfave]在DFIM-PSH處于發(fā)電工況時(shí)為0.0112 Hz，抽水工況時(shí)則為0.0108 Hz。雖然此時(shí)火電及PSH機(jī)組的調(diào)頻出力都比較大，但屬于過調(diào)，對(duì)于減小Δf并無明顯幫助。相比之下，本文所提控制此時(shí)仍具有較好的調(diào)頻效果，在機(jī)組處于發(fā)電工況時(shí)可將[Δfave]減小至0.0054 Hz，抽水工況時(shí)則減少到0.0069 Hz，兩種工況下[η]均提高到96.5%以上。

3）場(chǎng)景3：60%風(fēng)電滲透率

在風(fēng)電滲透率為60%時(shí)，由于系統(tǒng)的等效慣量及常規(guī)調(diào)頻機(jī)組的調(diào)頻容量顯著降低，系統(tǒng)的頻率特性發(fā)生了明顯惡化，在傳統(tǒng)PI控制下[η]已降低到60%，[Δfmax]和[Δfave]也明顯增大。由圖9c和圖9d可知，此時(shí)采用本文所提DDPG控制仍可顯著提高頻率控制性能，在降低[Δfmax]的同時(shí)將[Δf]穩(wěn)定在±0.01 Hz以內(nèi)。對(duì)比于傳統(tǒng)PI控制，在DFIM-PSH處于發(fā)電工況時(shí)對(duì)[Δfave]的降低達(dá)到70%，抽水工況達(dá)到52.88%，[η]均維持在94%以上。而此時(shí)采用常規(guī)DDPG控制的效果明顯變差，盡管在不同工況下火電及PSH機(jī)組都積極調(diào)整出力來應(yīng)對(duì)頻率變化，但控制后的[Δfave]仍較大。

綜上，相比于常規(guī)DDPG控制，本文所提DDPG控制由于在預(yù)學(xué)習(xí)中考慮了風(fēng)電接入帶來的模型參數(shù)變化，在不同風(fēng)電滲透率場(chǎng)景下均具有魯棒性，能顯著減小[Δfave]進(jìn)而提高[η]。除改善頻率控制性能外，本文所提控制也能從一定程度上減小機(jī)組調(diào)頻出力進(jìn)而降低調(diào)頻成本。

3.2.2 不同負(fù)荷功率擾動(dòng)場(chǎng)景

本文所提DDPG控制基于圖5所示隨機(jī)負(fù)荷功率擾動(dòng)進(jìn)行訓(xùn)練，其形式可看作負(fù)載階躍擾動(dòng)與風(fēng)電出力連續(xù)波動(dòng)的疊加。為進(jìn)一步驗(yàn)證基于此擾動(dòng)訓(xùn)練所得AGC控制器可適應(yīng)新型電力系統(tǒng)的隨機(jī)負(fù)荷及電源擾動(dòng)，本節(jié)對(duì)比了系統(tǒng)在遭受其他復(fù)雜擾動(dòng)時(shí)，采用不同控制方法獲得的頻率響應(yīng)特性。此時(shí)單區(qū)域系統(tǒng)的風(fēng)電滲透率為40%，所用擾動(dòng)如圖10所示。

1）場(chǎng)景4：連續(xù)階躍擾動(dòng)

本節(jié)利用幅值變化的連續(xù)階躍擾動(dòng)來模擬新型電力系統(tǒng)中的隨機(jī)負(fù)載擾動(dòng)，采用不同控制方法得到的頻率響應(yīng)情況如圖11a和圖11b所示?？梢?，在應(yīng)對(duì)突變的階躍擾動(dòng)時(shí)，本文所提DDPG控制仍具有較好的頻率控制性能，在顯著縮短頻率調(diào)整時(shí)間的同時(shí)控制[Δf]穩(wěn)定在±0.01 Hz的范圍內(nèi)。但常規(guī)DDPG控制并不能較好適應(yīng)該場(chǎng)景，尤其在DFIM-PSH處于抽水工況時(shí)，[Δf]在-0.05 Hz上下波動(dòng)，[η]下降到8.31%，調(diào)頻效果甚至不及傳統(tǒng)PI控制。

2）場(chǎng)景5：實(shí)際風(fēng)電出力波動(dòng)

本節(jié)基于某地的風(fēng)電預(yù)測(cè)誤差數(shù)據(jù)構(gòu)建負(fù)荷擾動(dòng)，仿真對(duì)比了應(yīng)對(duì)可再生能源波動(dòng)時(shí)不同控制方法的頻率控制效果，如圖11c和圖11d所示。在應(yīng)對(duì)具有隨機(jī)性的連續(xù)擾動(dòng)時(shí)，本文所提DDPG控制仍具有較好的適應(yīng)性，在DFIM-PSH處于發(fā)電工況時(shí)將[Δfave]降低到0.0027 Hz，抽水時(shí)降低到0.0016 Hz。反觀常規(guī)DDPG控制，雖仍可保持較高[η]，但頻率波動(dòng)更大且偏離額定更多。

綜上，相比于常規(guī)DDPG控制，本文所提基于隨機(jī)負(fù)荷擾動(dòng)進(jìn)行預(yù)學(xué)習(xí)的DDPG控制可保證訓(xùn)練所得控制器在不同擾動(dòng)場(chǎng)景下均具有魯棒性，使得系統(tǒng)在應(yīng)對(duì)隨機(jī)負(fù)載突變及可再生能源連續(xù)波動(dòng)時(shí)，均可快速平抑頻率波動(dòng)，保持[Δf]處于較小波動(dòng)區(qū)間。

4 結(jié) 論

針對(duì)大規(guī)模風(fēng)電接入造成的電力系統(tǒng)頻率特性惡化問題，本文在挖掘DFIM-PSH機(jī)組調(diào)頻能力的基礎(chǔ)上，提出一種基于改進(jìn)DDPG算法的系統(tǒng)頻率控制方法。在構(gòu)建DFIM-PSH機(jī)組頻率控制環(huán)節(jié)和單區(qū)域系統(tǒng)頻率控制模型的基礎(chǔ)上，通過仿真驗(yàn)證其調(diào)頻優(yōu)勢(shì)?；诖?，引入DDPG算法以兼顧調(diào)頻性能與調(diào)頻成本為目標(biāo)對(duì)單區(qū)域系統(tǒng)各機(jī)組的頻率控制指令進(jìn)行協(xié)調(diào)優(yōu)化?？紤]到含大規(guī)模新能源并網(wǎng)的新型電力系統(tǒng)存在的不確定性，進(jìn)一步對(duì)DDPG算法進(jìn)行改進(jìn)，使訓(xùn)練所得AGC控制器在系統(tǒng)模型參數(shù)改變以及電源、負(fù)荷隨機(jī)波動(dòng)的復(fù)雜場(chǎng)景下均具有魯棒性。根據(jù)仿真結(jié)果得到的主要結(jié)論如下：

1）通過變速運(yùn)行，DFIM-PSH機(jī)組在發(fā)電和抽水兩種工況均可參與調(diào)頻，且由于通過變流器控制轉(zhuǎn)速及功率，DFIM-PSH具備比傳統(tǒng)PSH更靈活快速的調(diào)節(jié)能力。因此，DFIM-PSH在一次調(diào)頻過程中可快速抑制頻率變化進(jìn)而減小[Δfmax]，在二次調(diào)頻過程中可迅速響應(yīng)調(diào)頻控制指令從而縮短頻率調(diào)節(jié)時(shí)間?；诖?，在新型電力系統(tǒng)中將傳統(tǒng)PSH替換為DFIM-PSH可改善系統(tǒng)的頻率特性，進(jìn)而提高系統(tǒng)可接受的風(fēng)電滲透率。

2）考慮到新型電力系統(tǒng)調(diào)頻問題存在的復(fù)雜性及不確定性，引入深度強(qiáng)化學(xué)習(xí)中的DDPG算法對(duì)各機(jī)組的控制指令進(jìn)行分配可收獲比傳統(tǒng)PI控制更優(yōu)異的頻率控制性能，在降低[Δf]的同時(shí)減小各機(jī)組調(diào)頻出力。由于在算法的預(yù)學(xué)習(xí)中引入了隨機(jī)的模型參數(shù)改變及負(fù)荷功率擾動(dòng)，本文所提DDPG控制相比于常規(guī)DDPG控制具有更好的魯棒性，在不同風(fēng)電接入及擾動(dòng)情況下均可有效減小[Δfmax]和[Δfave]，提高[η]。

由于電力系統(tǒng)中存在的死區(qū)及通訊延遲可能會(huì)對(duì)頻率控制產(chǎn)生影響，后續(xù)工作將對(duì)其展開討論，并進(jìn)一步考慮新型電力系統(tǒng)可能出現(xiàn)的多種故障擾動(dòng)場(chǎng)景。

［參考文獻(xiàn)］

［1］ 張子揚(yáng)， 張寧， 杜爾順， 等. 雙高電力系統(tǒng)頻率安全問題評(píng)述及其應(yīng)對(duì)措施［J］. 中國(guó)電機(jī)工程學(xué)報(bào)， 2022， 42（1）： 1-25.

ZHANG Z Y， ZHANG N， DU E S， et al. Review and countermeasures on frequency security issues of power systems with high shares of renewables and power electronics［J］. Proceedings of the CSEE， 2022， 42（1）： 1-25.

［2］ 張劍云， 李明節(jié). 新能源高滲透的電力系統(tǒng)頻率特性分析［J］. 中國(guó)電機(jī)工程學(xué)報(bào)， 2020， 40（11）： 3498-3507.

ZHANG J Y， LI M J. Analysis of the frequency characteristic of the power systems highly penetrated by new energy generation［J］. Proceedings of the CSEE， 2020， 40（11）： 3498-3507.

［3］ SCHMIDT J， KEMMETMüLLER W， KUGI A. Modeling and static optimization of a variable speed pumped storage power plant［J］. Renewable energy， 2017， 111： 38-51.

［4］ ALIZADEH BIDGOLI M， YANG W J， AHMADIAN A. DFIM versus synchronous machine for variable speed pumped storage hydropower plants： a comparative evaluation" "of" "technical" "performance［J］." "Renewable energy， 2020， 159： 72-86.

［5］ 陳亞紅， 鄧長(zhǎng)虹， 劉玉杰， 等. 抽水工況雙饋可變速抽蓄機(jī)組機(jī)電暫態(tài)建模及有功-頻率耦合特性［J］. 中國(guó)電機(jī)工程學(xué)報(bào)， 2022， 42（3）： 942-957.

CHEN Y H， DENG C H， LIU Y J， et al. Electromechanical transient modelling and active power-frequency coupling characteristics of doubly-fed variable speed" "pumped" "storage" "under" "pumping" " mode［J］. Proceedings of the CSEE， 2022， 42（3）： 942-957.

［6］ SHI L J， LAO W J， WU F， et al. Frequency regulation control and parameter optimization of doubly-fed induction machine pumped storage hydro unit［J］. IEEE access， 2022， 10： 102586-102598.

［7］ 胡澤春， 羅浩成. 大規(guī)模可再生能源接入背景下自動(dòng)發(fā)電控制研究現(xiàn)狀與展望［J］. 電力系統(tǒng)自動(dòng)化， 2018， 42（8）： 2-15.

HU Z C， LUO H C. Research status and prospect of automatic generation control with integration of large-scale renewable" "energy［J］." "Automation" "of" "electric" "power systems， 2018， 42（8）： 2-15.

［8］ 趙源筱. 含高比例可再生能源電力系統(tǒng)自動(dòng)發(fā)電控制策略研究［D］. 杭州： 浙江大學(xué)， 2021.

ZHAO Y X. Research on automatic generation control strategies for large scale renewable energy integrated power systems［D］. Hangzhou： Zhejiang University， 2021.

［9］ YAN Z M， XU Y. Data-driven load frequency control for stochastic power systems： a deep reinforcement learning method" "with" "continuous" "action" "search［J］." "IEEE transactions on power systems， 2019， 34（2）： 1653-1656.

［10］ YAN Z M， XU Y. A multi-agent deep reinforcement learning method for cooperative load frequency control of a multi-area power system［J］. IEEE transactions on power systems， 2020， 35（6）： 4599-4608.

［11］ 范培瀟， 柯松， 楊軍， 等. 基于改進(jìn)多智能體深度確定性策略梯度的多微網(wǎng)負(fù)荷頻率協(xié)同控制策略［J］. 電網(wǎng)技術(shù)， 2022， 46（9）： 3504-3515.

FAN P X， KE S， YANG J， et al. Load frequency coordinated control strategy of multi-microgrid based on improved MA-DDPG［J］. Power system technology， 2022， 46（9）： 3504-3515.

［12］ 陳宗遙， 卜旭輝， 郭金麗. 基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)驅(qū)動(dòng)互聯(lián)電力系統(tǒng)負(fù)荷頻率控制［J］. 電工技術(shù)學(xué)報(bào)， 2022， 37（21）： 5451-5461.

CHEN Z Y， BU X H， GUO J L. Neural network based data-driven" load" frequency" control" for" interconnected power systems［J］. Transactions of China Electrotechnical Society， 2022， 37（21）： 5451-5461.

［13］ 梁煜東， 陳巒， 張國(guó)洲， 等. 基于深度強(qiáng)化學(xué)習(xí)的多能互補(bǔ)發(fā)電系統(tǒng)負(fù)荷頻率控制策略［J］. 電工技術(shù)學(xué)報(bào)， 2022， 37（7）： 1768-1779.

LIANG Y D， CHEN L， ZHANG G Z， et al. Load frequency control strategy of hybrid power generation system： a deep reinforcement learning-based approach［J］. Transactions of China Electrotechnical Society， 2022， 37（7）： 1768-1779.

［14］ LI J W， YU T， ZHANG X S. Coordinated automatic generation control of interconnected power system with imitation" " " guided" " " exploration" " " multi-agent" " "deep reinforcement" "learning［J］." "International" "journal" "of electrical power amp; energy systems， 2022， 136： 107471.

［15］ 許益恩， 楊德健， 鄭太英， 等. 計(jì)及電網(wǎng)頻率偏差的雙饋風(fēng)電機(jī)組頻率控制策略［J］. 太陽能學(xué)報(bào)， 2022， 43（10）： 229-235.

XU Y E， YANG D J， ZHENG T Y， et al. Frequency control strategy of doubly-fed wind generators considering grid frequency deviation［J］. Acta energiae solaris sinica， 2022， 43（10）： 229-235.

［16］ 顏湘武， 孫雪薇， 崔森， 等. 考慮系統(tǒng)頻率連續(xù)波動(dòng)與二次跌落的雙饋風(fēng)力發(fā)電機(jī)組虛擬慣量通用控制策略［J］. 太陽能學(xué)報(bào)， 2021， 42（11）： 247-254.

YAN X W， SUN X W， CUI S， et al. Virtual inertia general" control" strategy" of" DFIG-based" wind" turbine considering continuous fluctuation of system frequency and second frequency drop［J］. Acta energiae solaris sinica， 2021， 42（11）： 247-254.

RESEARCH ON FREQUENCY CONTROL OF POWER SYSTEM WITH

DFIM-PSH BASED ON IMPROVED DDPG

Lao Wenjie1，Shi Linjun1，Wang Wei2，Yang Dongmei2，Wu Feng1，Lin Keman1

（1. College of Energy and Electrical Engineering， Hohai University， Nanjing 210098， China；

2. State Key Laboratory of Smart Grid Protection and Control， Nari Group Corporation， Nanjing 211106， China）

Abstract：On the basis of exploring the frequency regulation ability of doubly-fed induction machine pumped storage hydro （DFIM-PSH） unit， a system frequency control method based on improved deep deterministic policy gradient （DDPG） algorithm is proposed. Firstly， based on the frequency regulation links of DFIM-PSH in generating and pumping modes， the frequency control model of single-region system with DFIM-PSH considering wind power integration is constructed. Secondly， aiming at minimizing the system frequency deviation and unit’s output for frequency regulation， improved DDPG algorithm is introduced to optimize the AGC instructions of each unit taking the unit’s operating constraints into account. By introducing random external disturbances and model parameter changes in the pre-learning process， the adaptability of AGC controller in environment with strong uncertainty is improved. Finally， on the basis of verifying the advantages of DFIM-PSH， simulations under different wind power integration and disturbance scenarios are carried out. The results show that the proposed frequency control method can effectively improve the frequency characteristics of power system and has strong robustness.

Keywords：pumped storage power plants； robustness（control systems）； electric frequency control； deep deterministic policy gradient algorithm； novel power system