基于DDPG的風(fēng)電場動態(tài)參數(shù)智能校核知識學(xué)習(xí)模型

周慶鋒，王思淳，李德鑫，劉佳琪，李同

(1. 東北電力大學(xué) 電氣工程學(xué)院，吉林 吉林 132012；2. 國網(wǎng)吉林省電力有限公司電力科學(xué)研究院，吉林 長春 130000)

0 引言

隨著風(fēng)電滲透率不斷增加，電力系統(tǒng)在線安全分析對電力系統(tǒng)的動態(tài)行為有著不容忽視的影響[1-3]。動態(tài)行為愈發(fā)復(fù)雜是多數(shù)可再生能源接入電力系統(tǒng)后的必然結(jié)果[4-5]。對于傳統(tǒng)仿真驗(yàn)證方法而言，其仿真軌跡和實(shí)測軌跡往往存在較大偏差，會影響在線安全分析的可信度，對電網(wǎng)安全較為不利[6-7]。

在模型參數(shù)校正方面，目前已有較多研究。文獻(xiàn)[8]提出基于粒子群的尋優(yōu)算法（particle swarm optimization, PSO）的發(fā)電機(jī)參數(shù)校正方法，但該方法運(yùn)算時間較長，精度較低，不適用于多參數(shù)的校正。文獻(xiàn)[9-10]提出基于軌跡靈敏度理論的發(fā)電機(jī)參數(shù)校正方法，但該方法依賴于發(fā)電機(jī)模型和參數(shù)，不適用于靈敏度相近的系統(tǒng)。

隨著社會不斷發(fā)展，人工智能(artificial intelligence，AI)在電力系統(tǒng)領(lǐng)域的應(yīng)用愈發(fā)廣泛[11-13]。文獻(xiàn)[14]利用人工智能方法診斷電力系統(tǒng)中的故障，效果顯著。文獻(xiàn)[15]運(yùn)用人工智能技術(shù)分析電力系統(tǒng)暫態(tài)問題出現(xiàn)的新特點(diǎn)。文獻(xiàn)[16]將一些人工智能方法用于電力調(diào)度場景中，但精確度不足。

綜上，已有的發(fā)電機(jī)參數(shù)校正方法存在求解維數(shù)受限、需要辨識主導(dǎo)參數(shù)等問題，利用人工智能新方法解決復(fù)雜高維的參數(shù)校正問題的研究還不夠深入。本文提出了一種基于深度確定性策略梯度（deep deterministic policy gradient，DDPG）算法的校正方法，精確度較高，適用于結(jié)構(gòu)復(fù)雜的模型。

1 雙饋風(fēng)電機(jī)組模型

1.1 風(fēng)力機(jī)模型

大型變速風(fēng)電機(jī)組一般采用雙饋式異步發(fā)電機(jī) (double fed induction generator, DFIG)。本文以雙饋式風(fēng)力發(fā)電機(jī)組為例進(jìn)行研究，風(fēng)力機(jī)模型為

式中：Pw為機(jī)械功率； ρ為空氣密度；Cp為風(fēng)能利用率；R為葉片長度； λ為葉尖速比； θp為槳距角；vm為風(fēng)速； λL為中間變量。

1.2 DFIG模型

本文將坐標(biāo)系轉(zhuǎn)換成與轉(zhuǎn)子同步旋轉(zhuǎn)的兩相坐標(biāo)系，以簡化模型，得到磁鏈方程為

式 中 ： ψds、ψqs分別 為 定 子d、q軸 磁 鏈 ；ids、iqs分別 為 定 子d、q軸 電 流 ； ψdr、 ψqr分 別 為 轉(zhuǎn) 子d、q軸磁鏈；idr、iqr分別為轉(zhuǎn)子d、q軸電流；Xs、Xr、Xm分別為定子電抗、轉(zhuǎn)子電抗、勵磁電抗。

電壓方程為

式中：Vds、Vqs分別為定子d、q軸電壓；Vdr、Vqr分別為轉(zhuǎn)子d、q軸電壓；Rs、Rr分別為定子、轉(zhuǎn)子電阻； ωm為轉(zhuǎn)子轉(zhuǎn)速。

轉(zhuǎn)子運(yùn)動方程為

式中：Tm為機(jī)械轉(zhuǎn)矩； Te為 電磁轉(zhuǎn)矩； Hm為轉(zhuǎn)子轉(zhuǎn)動慣量。

1.3 轉(zhuǎn)子側(cè)變流器模型

轉(zhuǎn)子側(cè)的變流器輸出的有功功率受轉(zhuǎn)子電流控制[17-18]。為了保證風(fēng)電機(jī)組輸出功率的波形穩(wěn)定，對轉(zhuǎn)子q軸的電流進(jìn)行限流。轉(zhuǎn)子控制系統(tǒng)如圖1所示。在圖1中，s為轉(zhuǎn)差率；iqrmax、iqrmin分別為轉(zhuǎn)子q軸電流允許的最大值和最小值。變流器q軸方向的電流微分方程為

圖1 轉(zhuǎn)子控制系統(tǒng)Fig. 1 Rotor control system

1.4 網(wǎng)側(cè)變流器模型

網(wǎng)側(cè)變流器可用于穩(wěn)定具有直流性質(zhì)的母線電壓。通過控制轉(zhuǎn)子d軸電流，調(diào)整輸出無功[19]。電壓控制系統(tǒng)如圖2所示。在圖2中，idrmax、idrmin分別為轉(zhuǎn)子d軸電流允許的最大值、最小值。變流器d軸方向的電流微分方程為

圖2 電壓控制系統(tǒng)Fig. 2 Voltage control system

2 強(qiáng)化學(xué)習(xí)方法的一般描述

（1）強(qiáng)化學(xué)習(xí)可通過某種方法或者某種鼓勵的方式，讓機(jī)器有更大的可能性產(chǎn)生同樣的行為[20-22]。強(qiáng)化學(xué)習(xí)的2個重要特征分別為試錯搜索和延遲獎勵。

（2）表演者-評論家（actor-critic，AC）算法是強(qiáng)化學(xué)習(xí)中的一種很經(jīng)典的框架[23-24]。表演者給出動作，評論家對網(wǎng)絡(luò)選出的動作進(jìn)行評價并更新權(quán)重，循環(huán)執(zhí)行直到網(wǎng)絡(luò)收斂。

（3）策略梯度法（policy gradient，PG）算法是強(qiáng)化學(xué)習(xí)中學(xué)習(xí)連續(xù)行為控制策略的經(jīng)典方法，其輸出是動作或動作出現(xiàn)的概率，而不是各動作的評價值[25]。策略梯度法的目標(biāo)函數(shù)F(θ)為

式中： θ為神經(jīng)網(wǎng)絡(luò)的參數(shù)；ri為每一步所取得的回報； γ 為折扣系數(shù)；n為策略中的動作步數(shù)；E為數(shù)學(xué)期望。

策略梯度法的損失函數(shù)為

式中：f(s,a)為智能體在狀態(tài)s下采取動作a得到的評價指標(biāo)，若a被認(rèn)為是好的，則通過最大化這個“好”動作的概率來優(yōu)化策略，反之亦然；h為策略發(fā)生的概率。

（4）DDPG算法是一種基于AC框架的改進(jìn)算法，其在確定性策略的基礎(chǔ)上增加了一個服從高斯分布的噪聲，使樣本具有多樣性。動作a的表達(dá)式為

式 中 ： θμ為Actor網(wǎng) 絡(luò) 的 權(quán) 重 參 數(shù) ； μ (θμ)為Actor下網(wǎng)絡(luò)輸出值；N為噪聲。

均方誤差損失函數(shù)、采樣策略梯度可分別表示為

式中：L為均方誤差損失函數(shù)；y為目標(biāo)值函數(shù)；Q為狀態(tài)s下采取動作a得到的目標(biāo)價值函數(shù)；?J為采樣策略梯度值。

3 基于DDPG的風(fēng)場動態(tài)參數(shù)校正方法

3.1 主導(dǎo)參數(shù)的選擇

本文選擇10個參數(shù)進(jìn)行校正。具體如下：定子電阻Rs、定子電抗Xs、轉(zhuǎn)子電阻Rr、轉(zhuǎn)子電抗Xr、激磁電抗Xm、慣性時間常數(shù)Hm、槳距角控制時間常數(shù)Tp、槳距角增益Kp、電壓控制增益Kv、功率控制時間常數(shù) T ε。

3.2 狀態(tài)、動作和獎賞函數(shù)的設(shè)計(jì)

強(qiáng)化學(xué)習(xí)能夠收斂的關(guān)鍵在于回報函數(shù)。本文構(gòu)建的回報函數(shù)為

式中：r為回報函數(shù)值；Usim、Ureal分別為電壓的仿真軌跡、實(shí)測值軌跡；Psim、Preal分別為有功的仿真軌跡、實(shí)測值軌跡； α為權(quán)重因子。

3.3 探索規(guī)則的設(shè)計(jì)

本文使用DDPG網(wǎng)絡(luò)對狀態(tài)量進(jìn)行調(diào)整，不斷進(jìn)行“探索”與“利用”直至網(wǎng)絡(luò)完全收斂。

初始方差 σ =3，記憶池中數(shù)據(jù)達(dá)到上限后，開始學(xué)習(xí)。 σ 在開始學(xué)習(xí)后的每個回合都會以一定比例減小，代表“探索”的比例在逐漸減小。最終 σ 將下降至近似于0，代表網(wǎng)絡(luò)將不再“探索”，進(jìn)行完全的“利用”。

3.4 DDPG算法流程

DDPG算法的整體流程如下。

（1）初始化仿真環(huán)境和網(wǎng)絡(luò)參數(shù)，根據(jù)校核參數(shù)的上下限給出校核參數(shù)初值。

（2）通過策略探索得到調(diào)整后的校核參數(shù)，并與仿真環(huán)境交互得到回報函數(shù)值，然后將調(diào)整前后的校核參數(shù)、動作、回報函數(shù)值作為一條經(jīng)驗(yàn)存入經(jīng)驗(yàn)池中。通過不斷地策略探索，當(dāng)經(jīng)驗(yàn)池中的經(jīng)驗(yàn)足夠多時，網(wǎng)絡(luò)開始學(xué)習(xí)知識。

（3）網(wǎng)絡(luò)學(xué)習(xí)知識的過程包括：①通過反向傳遞均方誤差損失來更新當(dāng)前Critic網(wǎng)絡(luò)參數(shù)；②使用樣本的策略梯度更新當(dāng)前Actor網(wǎng)絡(luò)參數(shù)；③每隔若干訓(xùn)練回合，將當(dāng)前網(wǎng)絡(luò)的參數(shù)賦給目標(biāo)網(wǎng)絡(luò)。

（4）當(dāng)網(wǎng)絡(luò)收斂后，離線學(xué)習(xí)過程結(jié)束，網(wǎng)絡(luò)參數(shù)被當(dāng)作“知識”保存下來。

4 算例分析

為驗(yàn)證所提方法的有效性，以某省網(wǎng)實(shí)際系統(tǒng)為例進(jìn)行仿真，仿真時間5 s，仿真步長0.01 s，設(shè)定故障發(fā)生在 0.5 s，在 0.6 s 切除故障。采用8種傳統(tǒng)啟發(fā)式算法與DDPG算法對校核結(jié)果進(jìn)行對比。采用的傳統(tǒng)啟發(fā)式算法如表1所示，其中種群數(shù)均為10，最大迭代數(shù)除SAA外均為100，精英個數(shù)均為2，校核的4個參數(shù)對象為Rs、Rr、Xm、Kv。為了使仿真軌跡和實(shí)測軌跡接近，算法目標(biāo)函數(shù)f為

表1 啟發(fā)式算法名稱及縮寫Table 1 Names and abbreviations of traditional heuristic algorithms

式中： α為權(quán)重因子，取1/6。

DDPG算法的網(wǎng)絡(luò)采用3個全連接層，神經(jīng)元個數(shù)分別為102 4、512、128，最大回合數(shù)為500，每回合最大步數(shù)為200，表演者網(wǎng)絡(luò)學(xué)習(xí)率為0.001，評論家網(wǎng)絡(luò)學(xué)習(xí)率為0.002。對4個參數(shù)、10個參數(shù)分別進(jìn)行校核，校核對象取值范圍見表2。

表2 校核對象上下限Table 2 Upper and lower limits of check objects

4參數(shù)的傳統(tǒng)方法以及DDPG方法，用時均約為1 h，10參數(shù)的DDPG方法用時約為5 h。校核結(jié)果如表3～4所示，取傳統(tǒng)方法中效果最好的MFO算法與DDPG算法進(jìn)行電壓及有功功率波形的對比，對比結(jié)果分別如圖3～4所示。電壓、有功功率比較結(jié)果分別如表5～6所示。

表3 4參數(shù)校核結(jié)果Table 3 Check results of 4 parameters

表4 10參數(shù)DDPG校核結(jié)果Table 4 DDPG check results of 10 parameters

圖3 電壓波形對比Fig. 3 Comparison of voltage waveform

圖4 有功功率波形對比Fig. 4 Comparison of active power waveform

綜合表5～6、圖3～4可以看出，采用10參數(shù)的DDPG方法校核效果最佳，其電壓值和有功值的平均絕對誤差率分別為0.061 6%、1.645 8%，與校核前的0.193 2%、5.432 1%相比，分別提高了68.11%和69.70%。其得到的電壓值和有功值的最大偏差分別為 0.004 4、0.085 9，與校核前的 0.010 8、0.548 1相比，分別提高了59.26%和84.33%。這些結(jié)果驗(yàn)證了所提出的智能校核方法可以顯著減少電壓和有功偏差。

表5 電壓結(jié)果比較Table 5 Comparison of voltage results

表6 有功功率結(jié)果比較Table 6 Comparison of active power results

通過對比可以得出如下結(jié)果。

（1）同為4參數(shù)，DDPG給出的是一個次優(yōu)解，但對于10參數(shù)而言，由于傳統(tǒng)啟發(fā)式算法的維度受限，DDPG算法校核效果明顯更優(yōu)。

（2）對于參數(shù)維度高的模型而言，雖然DDPG算法較傳統(tǒng)啟發(fā)式算法不具有時間效率上的優(yōu)勢，但是其具有更佳的校核效果。

（3）DDPG算法訓(xùn)練好的網(wǎng)絡(luò)可以作為“知識”儲存下來，為其他相似模型的訓(xùn)練提供借鑒，而傳統(tǒng)方法不具有記憶性。

5 結(jié)語

針對發(fā)電機(jī)參數(shù)的復(fù)雜模型，本文以深度強(qiáng)化學(xué)習(xí)的DDPG算法為依托，提出了一種發(fā)電機(jī)組參數(shù)調(diào)整的人工智能算法，所提方法精確度較高，適用于結(jié)構(gòu)復(fù)雜的模型。智能算法是在試驗(yàn)的基礎(chǔ)上積累經(jīng)驗(yàn)。神經(jīng)網(wǎng)絡(luò)從初始化到訓(xùn)練完備需要一定的時間，對于硬件的計(jì)算力的要求隨著問題維度的升高而更加嚴(yán)格。因此，加快網(wǎng)絡(luò)收斂速度、減少訓(xùn)練耗時、提高智能算法的運(yùn)算效率是后續(xù)研究的主要方向。