基于執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃的風(fēng)電場(chǎng)電壓協(xié)調(diào)控制

薛尚青，蔡金錠

（福州大學(xué) 電氣工程與自動(dòng)化學(xué)院，福建 福州 350108）

0 引言

隨著風(fēng)電的迅速發(fā)展，并網(wǎng)風(fēng)電場(chǎng)與電網(wǎng)之間的相互影響越來(lái)越大。無(wú)功電壓?jiǎn)栴}是廣受關(guān)注的問(wèn)題之一［1］。風(fēng)電場(chǎng)一般位于電網(wǎng)的末端，具有快速、先進(jìn)電壓控制的風(fēng)電場(chǎng)對(duì)維持輸電系統(tǒng)電壓水平和提高電壓穩(wěn)定性起到良好的作用［2］。

通過(guò)控制電網(wǎng)中的無(wú)功功率可以對(duì)電網(wǎng)電壓進(jìn)行調(diào)整控制［3-4］。由雙饋風(fēng)電機(jī)組組成的風(fēng)電場(chǎng)作為重要的無(wú)功源，眾多文獻(xiàn)已就此展開(kāi)深入廣泛的研究。文獻(xiàn)［1］提出分層分布構(gòu)架的風(fēng)電場(chǎng)無(wú)功電壓控制策略，根據(jù)風(fēng)電場(chǎng)并網(wǎng)點(diǎn)電壓偏差量確定風(fēng)電場(chǎng)無(wú)功需求，并以等功率因數(shù)方式分配到各個(gè)機(jī)組；文獻(xiàn)［2］通過(guò)風(fēng)電場(chǎng)無(wú)功功率調(diào)節(jié)控制并網(wǎng)點(diǎn)升壓變低壓側(cè)電壓以達(dá)到調(diào)節(jié)高壓側(cè)母線(xiàn)電壓的目的；文獻(xiàn)［3］探討了如何有效發(fā)揮雙饋發(fā)電機(jī)組自身的無(wú)功調(diào)節(jié)能力，提出了風(fēng)電場(chǎng)無(wú)功功率控制策略。文獻(xiàn)［1-3］僅研究風(fēng)電場(chǎng)自身無(wú)功調(diào)節(jié)對(duì)電壓的支撐，而未考慮風(fēng)電場(chǎng)配置的無(wú)功補(bǔ)償單元參與無(wú)功調(diào)節(jié)起到的作用。文獻(xiàn)［5］引入靜止同步補(bǔ)償器配合雙饋風(fēng)電場(chǎng)解決無(wú)功波動(dòng)及低電壓穿越問(wèn)題。

本文針對(duì)雙饋風(fēng)電場(chǎng)與靜止同步補(bǔ)償器STATCOM（STATic synchronous COMpensator）間的協(xié)調(diào)控制問(wèn)題進(jìn)行研究，提出了基于執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃ADHDP（Action-Dependent Heuristic Dynamic Programming）的電壓協(xié)調(diào)控制策略，利用ADHDP控制器協(xié)調(diào)雙饋風(fēng)電場(chǎng)與STATCOM提供無(wú)功功率以維持支撐電網(wǎng)電壓，通過(guò)不同風(fēng)速、故障程度下的各種故障仿真算例驗(yàn)證了所提方法的有效性。

1 ADHDP

1.1 動(dòng)態(tài)規(guī)劃基本思想

假設(shè)非線(xiàn)性（時(shí)變）離散系統(tǒng)狀態(tài)方程［6］：

其中，x∈Rn為系統(tǒng)n維狀態(tài)矢量；u∈Rm為m維控制矢量；F 為 n 維矢量函數(shù)；k=0，1，…，N-1。

與該系統(tǒng)關(guān)聯(lián)的性能泛函為：

其中，γ 為折扣因子，0＜γ＜1；U（x（k），u（k））為效用函數(shù)。

動(dòng)態(tài)規(guī)劃的核心是貝爾曼最優(yōu)性原理，它要求逐段作出決策，選擇最優(yōu)控制，完成從初始狀態(tài)到終端狀態(tài)的轉(zhuǎn)移，并使相應(yīng)段后部子過(guò)程的性能函數(shù)為極小值，換言之，無(wú)論過(guò)去的狀態(tài)和決策如何，對(duì)于前部的決策形成的當(dāng)前狀態(tài)而言，余下的各個(gè)決策必定構(gòu)成最優(yōu)策略［7］。

根據(jù)貝爾曼最優(yōu)性原理，動(dòng)態(tài)規(guī)劃遞推方程可描述為［8］：

經(jīng)典動(dòng)態(tài)規(guī)劃將多階段過(guò)程轉(zhuǎn)化為一系列單階段問(wèn)題，逐個(gè)求解，但隨著狀態(tài)變量維數(shù)的增加，問(wèn)題求解難度會(huì)按維數(shù)規(guī)模呈冪級(jí)數(shù)增加，帶來(lái)“維數(shù)災(zāi)”問(wèn)題［9］。

1.2 ADHDP原理

Werbos等提出了自適應(yīng)評(píng)價(jià)設(shè)計(jì)ACD（Adaptive Critic Design）［10-11］，它集神經(jīng)網(wǎng)絡(luò)、近似動(dòng)態(tài)規(guī)劃 ADP（Approximate Dynamic Programming）和強(qiáng)化學(xué)習(xí) RL（Reinforcement Learning）于一體［12］，是一類(lèi)可以在線(xiàn)通過(guò)與系統(tǒng)的相互作用而不斷改善控制效果的方法［9］。

執(zhí)行依賴(lài)啟發(fā)式動(dòng)態(tài)規(guī)劃是ACD的一種，由評(píng)價(jià)網(wǎng)絡(luò)和執(zhí)行網(wǎng)絡(luò)組成［13］，其原理如圖1所示。

圖1 ADHDP原理框圖Fig.1 Schematic diagram of ADHDP

定義評(píng)價(jià)網(wǎng)絡(luò)最小化目標(biāo)函數(shù)［7，13］：

對(duì)任意的 k0，當(dāng) Ec（k0）=0 時(shí)，由式（4）可得：

式（5）與式（2）的系統(tǒng)性能泛函相同，且滿(mǎn)足：

因此，通過(guò)調(diào)整評(píng)價(jià)網(wǎng)絡(luò)權(quán)值來(lái)構(gòu)造代價(jià)函數(shù)Q（k），調(diào)整執(zhí)行網(wǎng)絡(luò)權(quán)值來(lái)最小化Q（k）即可得到一系列次優(yōu)的控制序列u*，這樣也在一定程度上解決了“維數(shù)災(zāi)”的問(wèn)題。

2 ADHDP控制器設(shè)計(jì)

本文設(shè)計(jì)ADHDP控制器，用于實(shí)現(xiàn)雙饋風(fēng)電場(chǎng)與STATCOM間的電壓協(xié)調(diào)控制，ADHDP控制器原理如圖2所示。

圖2 ADHDP控制器原理Fig.2 Schematic diagram of ADHDP controller

圖2中，雙饋電機(jī)轉(zhuǎn)子側(cè)變換器和STATCOM均采用電壓控制模式。ADHDP控制器的輸入為風(fēng)電場(chǎng)送端母線(xiàn)電壓值US（標(biāo)幺值）與設(shè)定值的偏差量ΔUS，輸出為雙饋風(fēng)電機(jī)組附加電壓信號(hào)ΔUF及STATCOM 附加電壓信號(hào) ΔUC，ΔUF、ΔUC分別與設(shè)定的穩(wěn)態(tài)電壓參考值UF0、UC0疊加，作為輸入雙饋風(fēng)電機(jī)組與STATCOM的電壓指令信號(hào)和

2.1 評(píng)價(jià)網(wǎng)絡(luò)

評(píng)價(jià)網(wǎng)絡(luò)采用5-20-1的3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，隱層使用S型函數(shù)，輸出層使用線(xiàn)性函數(shù)，輸入為狀態(tài)參數(shù) x（k）=｛ΔUS（k），ΔUS（k-1），ΔUS（k-2）｝和控制量 u（k）=｛ΔUF（k），ΔUC（k）｝，輸出為代價(jià)函數(shù) Q（k）。

ADHDP控制器的目的是通過(guò)協(xié)調(diào)控制減小風(fēng)電場(chǎng)送端母線(xiàn)電壓偏差，因此，效用函數(shù)定義為：

評(píng)價(jià)網(wǎng)絡(luò)采用 forward-in-time［6，13］訓(xùn)練 方法 ，即在時(shí)刻 k-1 訓(xùn)練，期望輸出目標(biāo)由 γQ（k）+U（k）給定，實(shí)現(xiàn)映射：

評(píng)價(jià)網(wǎng)絡(luò)的訓(xùn)練過(guò)程見(jiàn)圖3。評(píng)價(jià)網(wǎng)絡(luò)最小化目標(biāo)函數(shù)如式（4）所示，采用梯度下降法更新評(píng)價(jià)網(wǎng)絡(luò)權(quán)值［14］：

其中，lc為評(píng)價(jià)網(wǎng)絡(luò)學(xué)習(xí)率，Wc為評(píng)價(jià)網(wǎng)絡(luò)各層間的連接權(quán)值。

圖3 評(píng)價(jià)網(wǎng)絡(luò)的訓(xùn)練過(guò)程Fig.3 Training process of evaluation network

2.2 執(zhí)行網(wǎng)絡(luò)

執(zhí)行網(wǎng)絡(luò)采用3-20-2的3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，隱層和輸出層均采用S型函數(shù)，輸入為狀態(tài)參數(shù)x（k）=｛ΔUS（k），ΔUS（k-1），ΔUS（k-2）｝，輸出為控制量 u（k）=｛ΔUF（k），ΔUC（k）｝。

執(zhí)行網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化評(píng)價(jià)網(wǎng)絡(luò)輸出的代價(jià)函數(shù)Q（k），定義其最小化目標(biāo)函數(shù)為：

執(zhí)行網(wǎng)絡(luò)的權(quán)值更新采用梯度下降法［14］：

其中，la為執(zhí)行網(wǎng)絡(luò)學(xué)習(xí)率，Wa為執(zhí)行網(wǎng)絡(luò)各層間的連接權(quán)值。

執(zhí)行網(wǎng)絡(luò)的訓(xùn)練過(guò)程如圖4所示，代價(jià)函數(shù)Q（k）誤差信號(hào)經(jīng)評(píng)價(jià)網(wǎng)絡(luò)反向傳播。

圖4 執(zhí)行網(wǎng)絡(luò)的訓(xùn)練過(guò)程Fig.4 Training process of execution network

3 仿真研究

3.1 仿真系統(tǒng)

在MATLAB/Simulink環(huán)境下搭建仿真系統(tǒng)以驗(yàn)證所設(shè)計(jì)ADHDP控制器的正確性和有效性。如圖5所示，仿真系統(tǒng)為雙饋型風(fēng)電場(chǎng)并網(wǎng)運(yùn)行模型，風(fēng)電場(chǎng)總裝機(jī)容量200 MW，包含100臺(tái)單機(jī)容量2 MW的雙饋風(fēng)電機(jī)組，機(jī)組由機(jī)端升壓變T1升壓到 35 kV，再經(jīng)過(guò) T2升壓到 110 kV，通過(guò) 50 km、110 kV線(xiàn)路并入無(wú)窮大電網(wǎng)。風(fēng)電場(chǎng)送端110 kV母線(xiàn)接有容量為50 MV·A的STATCOM。在系統(tǒng)大擾動(dòng)故障情況下，把風(fēng)電場(chǎng)當(dāng)作一個(gè)整體來(lái)簡(jiǎn)化計(jì)算過(guò)程對(duì)于結(jié)論并不會(huì)產(chǎn)生很大的誤差［15-16］，因此本文以單臺(tái)等容量風(fēng)電機(jī)組模型代替整個(gè)風(fēng)電場(chǎng)進(jìn)行仿真研究。

圖5 仿真系統(tǒng)Fig.5 Simulation system

穩(wěn)態(tài)時(shí)，雙饋風(fēng)電機(jī)組和STATCOM的電壓參考值設(shè)定為1.0 p.u.，網(wǎng)側(cè)變換器采用無(wú)功控制模式，無(wú)功參考值設(shè)為0。ADHDP控制器實(shí)現(xiàn)的采樣周期為1 ms。假定無(wú)窮大電網(wǎng)在t=0.2 s時(shí)發(fā)生三相跌落故障，150 ms后故障恢復(fù)。對(duì)不同風(fēng)速、故障程度下的各種故障情形進(jìn)行仿真研究，同時(shí)將本文所提ADHDP協(xié)調(diào)控制（方法1）、無(wú)ADHDP協(xié)調(diào)控制（方法2）、雙饋風(fēng)電場(chǎng)單獨(dú)控制（方法3）作比較，以驗(yàn)證本文所提方法的有效性。當(dāng)雙饋風(fēng)電場(chǎng)單獨(dú)控制時(shí)，STATCOM采用無(wú)功控制模式，其輸出設(shè)為0。

3.2 不同風(fēng)速下的故障仿真

跌落幅值為 0.5 p.u.，風(fēng)速分別為 5 m/s、10 m/s、14 m/s時(shí)，分別采用3種方法的風(fēng)電場(chǎng)送端110 kV母線(xiàn)電壓U110（標(biāo)幺值）控制效果對(duì)比如圖6所示。

由圖6可知，在故障清除后的電壓恢復(fù)過(guò)程中，ADHDP協(xié)調(diào)控制方法起到附加阻尼作用，縮短了電壓振蕩時(shí)間。在低風(fēng)速區(qū)（見(jiàn)圖6（a）），雙饋風(fēng)電場(chǎng)無(wú)功發(fā)生能力強(qiáng)，調(diào)節(jié)范圍大，其單獨(dú)控制的效果最好，而方法2的控制效果最差；方法1控制效果雖不如方法3，但電壓的振蕩衰減速度最快。在高風(fēng)速區(qū)（見(jiàn)圖 6（b）和圖 6（c）），方法 1 的電壓超調(diào)量較小，其最大值出現(xiàn)的時(shí)刻也較早，而且調(diào)整時(shí)間也至少快1個(gè)周期；方法2和方法3的控制效果基本一樣，但方法3稍?xún)?yōu)于方法2，這是由于雙饋風(fēng)電場(chǎng)與STATCOM間無(wú)協(xié)調(diào)控制時(shí)，兩者間相互干擾導(dǎo)致的結(jié)果，而對(duì)比方法1和方法3的電壓控制效果，可明顯看出采用ADHDP協(xié)調(diào)控制方法的優(yōu)越性。

圖6 不同風(fēng)速下母線(xiàn)電壓U110控制效果對(duì)比Fig.6 Comparison of control effectiveness for U110among different wind speeds

在故障時(shí)間段內(nèi)，STATCOM參與無(wú)功電壓控制時(shí)，電壓幅值曲線(xiàn)位于方法3之上，有利于對(duì)電網(wǎng)電壓的支撐，但會(huì)引起與雙饋風(fēng)電場(chǎng)之間的振蕩（見(jiàn)圖6（a））。在高風(fēng)速區(qū)，雙饋風(fēng)電場(chǎng)無(wú)功調(diào)節(jié)范圍隨著有功輸出增大而減小，降低了對(duì)電壓的無(wú)功支撐能力，導(dǎo)致電壓出現(xiàn)振蕩。

3.3 不同故障程度仿真分析

風(fēng)速為 8 m/s，跌落幅值分別為 1 p.u.、0.5 p.u.、0.2 p.u.時(shí)，分別采用3種方法的風(fēng)電場(chǎng)送端110 kV母線(xiàn)電壓U110（標(biāo)幺值）控制效果對(duì)比如圖7所示。

電網(wǎng)發(fā)生幅值為0.5 p.u.或1 p.u.跌落故障時(shí)，因無(wú)法獲得足夠的無(wú)功支撐而發(fā)生振蕩，如圖7（a）和圖7（b）所示，故障期間，方法1能較好地協(xié)調(diào)雙饋風(fēng)電場(chǎng)與STATCOM提供無(wú)功支撐電網(wǎng)電壓并抑制電壓振蕩。故障清除后，如圖7（a），電壓出現(xiàn)較大較長(zhǎng)時(shí)間的振蕩，方法1的電壓調(diào)整時(shí)間比方法3長(zhǎng)，但其對(duì)電壓振蕩的抑制能力更強(qiáng)；對(duì)比方法2可知，方法1電壓最大值出現(xiàn)在約0.37 s處，比方法2快約1個(gè)周期。如圖7（b），方法1的電壓恢復(fù)過(guò)程時(shí)間約為30 ms，而方法2和方法3約需70 ms。

當(dāng)電壓跌落幅值為0.2 p.u.時(shí)，風(fēng)電場(chǎng)具有足夠的無(wú)功輸出能力，電網(wǎng)電壓經(jīng)振蕩后維持在1 p.u.，如圖7（c）所示。故障過(guò)程中，方法1能在1個(gè)周期時(shí)間內(nèi)將電壓維持在±5%以?xún)?nèi)；在電壓恢復(fù)過(guò)程中，方法1的電壓振蕩最大值為1.12 p.u.，而方法2、方法3的最大值為1.16 p.u.，且其電壓振蕩衰減時(shí)間也提前約半個(gè)周期。

4 結(jié)論

依據(jù)動(dòng)態(tài)規(guī)劃思想，設(shè)計(jì)了基于ADHDP方法的雙饋風(fēng)電場(chǎng)與STATCOM間的電壓協(xié)調(diào)控制器。ADHDP控制器在不同風(fēng)速、故障程度的各種故障情形中的仿真表明，ADHDP控制器起到了外部附加阻尼控制作用，縮短了電壓振蕩時(shí)間，能夠協(xié)調(diào)雙饋風(fēng)電場(chǎng)與STATCOM提供無(wú)功支撐電網(wǎng)電壓并對(duì)電壓波動(dòng)及電壓恢復(fù)過(guò)程中的電壓振蕩有良好的抑制能力。ADHDP控制方法充分發(fā)揮了雙饋風(fēng)電場(chǎng)與STATCOM的無(wú)功處理能力，可以緩解電網(wǎng)的無(wú)功壓力，有效提高了風(fēng)電場(chǎng)故障穿越能力。