基于強(qiáng)化學(xué)習(xí)的多光儲(chǔ)虛擬同步機(jī)頻率協(xié)調(diào)控制策略

張華強(qiáng)，牟晨東，趙玫，姚統(tǒng)

（哈爾濱工業(yè)大學(xué)（威海）新能源學(xué)院，山東威海264209）

目前，大量的光伏電源采用PQ控制方式接入到微電網(wǎng)，由于其缺乏傳統(tǒng)同步發(fā)電機(jī)的轉(zhuǎn)動(dòng)慣量，導(dǎo)致微電網(wǎng)應(yīng)對(duì)功率擾動(dòng)的能力較差，同時(shí)光伏電源不能自主參與微電網(wǎng)的電壓、頻率調(diào)節(jié)過程，使得微電網(wǎng)運(yùn)行的穩(wěn)定性受到了很大挑戰(zhàn)[1-3]。

為了從源頭解決這些問題，眾多學(xué)者借鑒傳統(tǒng)同步發(fā)電機(jī)的轉(zhuǎn)子運(yùn)動(dòng)方程、調(diào)速器以及勵(lì)磁器原理，將虛擬同步機(jī)（virtual synchronous genera?tor，VSG）技術(shù)引入逆變器控制策略中[4]，使得分布式電源能提供慣性響應(yīng)以及自主參與微電網(wǎng)調(diào)頻。傳統(tǒng)的分布式光伏電源由于不配備儲(chǔ)能裝置，在微電網(wǎng)的頻率控制與功率調(diào)度中通常將其作為不可控電源進(jìn)行處理。隨著儲(chǔ)能裝置的不斷發(fā)展以及VSG技術(shù)在光伏發(fā)電領(lǐng)域的不斷應(yīng)用，光伏電源可通過配備儲(chǔ)能裝置實(shí)現(xiàn)由不可控電源向可控電源的轉(zhuǎn)變。文獻(xiàn)[5]對(duì)采用下垂與虛擬慣量控制的光伏電源參與電網(wǎng)頻率調(diào)整的機(jī)電暫態(tài)過程進(jìn)行了詳細(xì)分析，光伏電源做減載運(yùn)行，進(jìn)而具有有功備用；文獻(xiàn)[6]在文獻(xiàn)[5]的基礎(chǔ)上提出了多光伏電源參與系統(tǒng)頻率調(diào)節(jié)的協(xié)調(diào)控制策略，驗(yàn)證了多光伏電源參與頻率調(diào)整的可行性與有效性；文獻(xiàn)[7-8]通過為光伏電源配備儲(chǔ)能的方式將其視為可控電源，光儲(chǔ)發(fā)電系統(tǒng)可以根據(jù)微電網(wǎng)的頻率控制與調(diào)度需求輸出指定功率。以上文獻(xiàn)將光儲(chǔ)發(fā)電系統(tǒng)的發(fā)電運(yùn)行成本擬合成關(guān)于輸出功率的多項(xiàng)式形式，可定量計(jì)算光儲(chǔ)的發(fā)電成本，為本文實(shí)現(xiàn)多光儲(chǔ)VSG頻率協(xié)調(diào)控制提供了理論基礎(chǔ)。

由于VSG一次調(diào)頻屬于有差調(diào)頻，為了保證微電網(wǎng)供電的電能質(zhì)量，需對(duì)微電網(wǎng)的頻率進(jìn)行二次調(diào)整[9]。文獻(xiàn)[10]結(jié)合集中式與分散式頻率調(diào)控的優(yōu)點(diǎn)，通過定義最大出力因子實(shí)現(xiàn)各電源按照發(fā)電容量輸出功率進(jìn)行二次調(diào)頻，但其沒有考慮各發(fā)電單元的發(fā)電成本，不利于微電網(wǎng)經(jīng)濟(jì)運(yùn)行。文獻(xiàn)[11]討論了微電網(wǎng)頻率集中控制的可行性，中央控制器按照一定的規(guī)則對(duì)計(jì)劃外的負(fù)荷進(jìn)行再分配，但其計(jì)劃外負(fù)荷的計(jì)算仍然采用積分控制，存在相關(guān)參數(shù)難以整定以及與微電網(wǎng)具體環(huán)境聯(lián)系較大的問題，一旦微電網(wǎng)結(jié)構(gòu)發(fā)生變化，其控制參數(shù)需要進(jìn)行相應(yīng)的調(diào)整，通用性較差。

為了解決以上問題，基于強(qiáng)化學(xué)習(xí)的控制策略不斷得到應(yīng)用。文獻(xiàn)[12]將強(qiáng)化學(xué)習(xí)策略應(yīng)用至風(fēng)儲(chǔ)合作決策過程中，在緩解電網(wǎng)調(diào)控壓力的同時(shí)提高風(fēng)儲(chǔ)合作的效率。文獻(xiàn)[13]針對(duì)下垂控制存在頻率與電壓誤差的問題，利用強(qiáng)化學(xué)習(xí)算法中的Q學(xué)習(xí)實(shí)現(xiàn)分布式頻率與電壓二次優(yōu)化控制。文獻(xiàn)[14]針對(duì)傳統(tǒng)的PI控制參數(shù)整定困難以及結(jié)構(gòu)拓展性差的問題，提出了一種基于Q學(xué)習(xí)的微電網(wǎng)頻率自適應(yīng)控制策略。

本文在此基礎(chǔ)上，借鑒文獻(xiàn)[15]的兩級(jí)控制方式，提出了多光儲(chǔ)虛擬同步機(jī)的頻率協(xié)調(diào)控制策略。以光儲(chǔ)虛擬同步機(jī)為研究對(duì)象，在光伏電源直流側(cè)配備儲(chǔ)能裝置使其在一定程度上成為可調(diào)度單元；上層中央控制器實(shí)時(shí)檢測(cè)系統(tǒng)的頻率，采用強(qiáng)化學(xué)習(xí)控制策略根據(jù)以往決策歷史與經(jīng)驗(yàn)計(jì)算功率缺額，然后按照各光儲(chǔ)電源的發(fā)電運(yùn)行成本利用拉格朗日乘子法進(jìn)行功率分配，動(dòng)態(tài)調(diào)整各光儲(chǔ)VSG的輸出功率，實(shí)現(xiàn)多光儲(chǔ)虛擬同步機(jī)的頻率協(xié)調(diào)控制。

1 光儲(chǔ)虛擬同步機(jī)控制策略

圖1所示為光儲(chǔ)VSG的電路結(jié)構(gòu)。光伏電源與儲(chǔ)能裝置通過DC/DC電路與直流母線相連。通常情況下光伏電源處于MPPT狀態(tài)下，儲(chǔ)能裝置維持直流母線電壓恒定，逆變器采用VSG控制策略，儲(chǔ)能裝置負(fù)責(zé)提供光儲(chǔ)VSG所需的慣性響應(yīng)以及調(diào)頻所需的能量，同時(shí)應(yīng)對(duì)光伏的出力波動(dòng)。

圖1 光儲(chǔ)VSG電路結(jié)構(gòu)Fig.1 Structure of PV-BA VSG

1.1 VSG控制策略

VSG控制主要包括有功—頻率（P—f）控制器以及無功—電壓（Q—U）控制器。P—f控制器主要根據(jù)發(fā)電機(jī)轉(zhuǎn)子方程建立，其表達(dá)式如下：

式中：J為虛擬轉(zhuǎn)動(dòng)慣量；D為阻尼系數(shù)；PT，Pe為輸入機(jī)械功率與VSG輸出功率；ωn，ω為額定角頻率與角頻率。

為使VSG能自主參與微電網(wǎng)的頻率調(diào)整，借鑒同步機(jī)調(diào)速器原理，其輸入的虛擬機(jī)械功率表達(dá)式為

式中：Pset為VSG有功功率設(shè)定值；kf為VSG頻率調(diào)差系數(shù)。

通過式（1）、式（2）可知VSG穩(wěn)態(tài)時(shí)輸出功率為

VSG的輸出電勢(shì)eabc為

其中

式中：θ為輸出電壓的虛擬相角，可由虛擬角速度ω積分得到；E為電勢(shì)幅值，可由Q—U控制器得到；Qset為無功功率設(shè)定值；Q為無功功率；E0為VSG虛擬空載電壓；δ為電壓調(diào)差系數(shù)。

本文重點(diǎn)研究光儲(chǔ)VSG的頻率控制，電壓控制部分不做詳盡分析。VSG控制策略如圖2所示。

圖2 VSG控制框圖Fig.2 Control block diagram of VSG

由于微電網(wǎng)的線路阻抗呈現(xiàn)阻感性，導(dǎo)致逆變器輸出的有功功率與無功功率存在耦合，不利于逆變器的功率控制與參數(shù)整定。本文在逆變器底層控制中加入虛擬電感，使得逆變器等效輸出阻抗呈感性，實(shí)現(xiàn)有功功率與無功功率的解耦。

1.2 光儲(chǔ)VSG直流側(cè)控制策略

光儲(chǔ)VSG直流側(cè)控制主要包括光伏與儲(chǔ)能控制。光伏電源采用雙級(jí)式電路結(jié)構(gòu)，通過Boost電路實(shí)現(xiàn)光伏的最大功率追蹤，其控制策略采用電壓電流雙閉環(huán)控制方式，電壓環(huán)參考電壓通常為光伏電源最大功率點(diǎn)所對(duì)應(yīng)的直流電壓。

為實(shí)現(xiàn)光儲(chǔ)VSG，可根據(jù)微電網(wǎng)調(diào)度需求輸出指定功率，儲(chǔ)能裝置需要根據(jù)光伏電源的出力與調(diào)度指令進(jìn)行充電或放電，用以彌補(bǔ)光伏電源以及逆變器輸出的功率差額。儲(chǔ)能裝置可通過雙向DC/DC電路（Buck-Boost）與直流母線連接，其控制方式如圖3所示。

圖3 儲(chǔ)能裝置控制策略Fig.3 Energy storage device control strategy

為增強(qiáng)光儲(chǔ)VSG的可調(diào)度性，當(dāng)儲(chǔ)能電池可用充電容量較小而光伏電源的最大輸出功率大于微電網(wǎng)的功率調(diào)度指令時(shí)，此時(shí)光伏應(yīng)運(yùn)行在減載狀態(tài)，需要附加額外的控制，其具體控制方式參考文獻(xiàn)[16]。

2 多光儲(chǔ)VSG頻率控制策略

2.1 單臺(tái)光儲(chǔ)VSG頻率調(diào)節(jié)原理

若微電網(wǎng)頻率處于額定頻率，當(dāng)微電網(wǎng)發(fā)生功率波動(dòng)時(shí)，光儲(chǔ)VSG會(huì)自主參與系統(tǒng)一次調(diào)頻，VSG輸出頻率與負(fù)荷變化ΔPload的關(guān)系為

當(dāng)系統(tǒng)的負(fù)荷波動(dòng)較大，一次調(diào)頻后系統(tǒng)頻率不能夠滿足系統(tǒng)頻率的要求，同時(shí)為了保證微電網(wǎng)供電的電能質(zhì)量，需要進(jìn)行二次調(diào)頻。圖4所示為VSG二次調(diào)頻示意圖。

圖4 VSG二次調(diào)頻示意圖Fig.4 Secondary frequency regulation of VSG

若光儲(chǔ)VSG功率設(shè)定值為Pset1，微電網(wǎng)負(fù)荷為PL1，兩直線交于a點(diǎn)，系統(tǒng)的頻率為額定值。假定負(fù)荷不參與頻率調(diào)節(jié)，當(dāng)負(fù)荷變至PL2時(shí)，由于VSG具備一次調(diào)頻，微電網(wǎng)頻率下降至f1。若光儲(chǔ)VSG功率設(shè)定值抬升至Pset2，頻率調(diào)節(jié)系數(shù)保持不變，VSG的P—f曲線斜率保持不變，此時(shí)與負(fù)荷曲線交至c點(diǎn)，系統(tǒng)頻率恢復(fù)至額定值。所以光儲(chǔ)VSG可以通過改變功率給定值Pset來進(jìn)行二次調(diào)頻，不需要添加額外控制。通過圖4可知，當(dāng)只有單臺(tái)VSG進(jìn)行二次調(diào)頻時(shí)，其功率設(shè)定值應(yīng)為

式中：P*set為二次調(diào)頻后的功率設(shè)定值；Pset為調(diào)整前的功率設(shè)定值；ΔPL為負(fù)荷波動(dòng)值。

2.2 多光儲(chǔ)VSG頻率協(xié)調(diào)控制

傳統(tǒng)電力系統(tǒng)通常有負(fù)責(zé)二次調(diào)頻的調(diào)頻廠，但微電網(wǎng)情況與電力系統(tǒng)不同的是單個(gè)VSG的容量相對(duì)較小，僅靠單臺(tái)VSG不能滿足系統(tǒng)頻率調(diào)整的需求，會(huì)造成單臺(tái)VSG過載而其他VSG的調(diào)頻能力沒有最大限度地利用，所以微電網(wǎng)中需要多臺(tái)光儲(chǔ)VSG共同承擔(dān)調(diào)頻任務(wù)。

根據(jù)式（7）可知，當(dāng)多臺(tái)光儲(chǔ)VSG參與頻率調(diào)整時(shí)需要滿足以下條件：

式中：n為參與二次調(diào)頻的光儲(chǔ)VSG個(gè)數(shù)。

通過分析可知，多光儲(chǔ)VSG頻率協(xié)調(diào)控制的本質(zhì)是多光儲(chǔ)VSG功率協(xié)調(diào)分配問題。

為了保證微電網(wǎng)運(yùn)行的經(jīng)濟(jì)性，需要按照各光儲(chǔ)電源的發(fā)電運(yùn)行成本實(shí)現(xiàn)多光儲(chǔ)VSG功率協(xié)調(diào)分配。光儲(chǔ)電源的運(yùn)行成本主要由光伏電池板與儲(chǔ)能電池維護(hù)、置換成本等費(fèi)用組成，根據(jù)文獻(xiàn)[17]可知，光儲(chǔ)發(fā)電成本可擬合成如下式所示的函數(shù)形式：

式中：ai，bi，ci為電源 i的擬合運(yùn)行成本系數(shù)。

根據(jù)式（9）可知，光儲(chǔ)電源與傳統(tǒng)火電機(jī)組的發(fā)電運(yùn)行成本函數(shù)形式相同，所以可以借鑒等耗量微增率的概念對(duì)負(fù)荷進(jìn)行經(jīng)濟(jì)性的分配。根據(jù)拉格朗日乘子法可知，在不考慮功率約束的情況下，當(dāng)各光儲(chǔ)VSG的功率給定值P*set對(duì)應(yīng)邊際成本相等時(shí)，此時(shí)負(fù)荷分配方案是最經(jīng)濟(jì)的，其邊際成本的表達(dá)式為

據(jù)此，中央控制器計(jì)算各光儲(chǔ)VSG的最優(yōu)功率給定值的流程如下：

1）中央控制器根據(jù)系統(tǒng)頻率計(jì)算功率波動(dòng)值ΔPload；調(diào)取各光儲(chǔ)VSG的功率極限值，設(shè)定邊際成本初值ξ0與邊際成本更新步長Δξ；

2）根據(jù)邊際成本值ξ按照式（10）求取對(duì)應(yīng)的各VSG功率設(shè)定值，若對(duì)應(yīng)的功率值越界則取上界或下界i；

3）計(jì)算調(diào)頻機(jī)組功率設(shè)定調(diào)節(jié)值是否滿足等式約束，如下式：

4）不斷更新邊際成本ξ，直至滿足步驟3）的約束條件，輸出最終的功率設(shè)定值P*set_i。

3 基于強(qiáng)化學(xué)習(xí)的多光儲(chǔ)VSG頻率控制

隨著通訊技術(shù)的不斷發(fā)展，信息傳輸?shù)娜萘?、速度以及?zhǔn)確性都有了很大的提升，微電網(wǎng)采用集中式控制的優(yōu)點(diǎn)逐漸顯現(xiàn)。通過第2節(jié)的分析可知，多光儲(chǔ)VSG頻率協(xié)調(diào)控制的關(guān)鍵是如何計(jì)算得到微電網(wǎng)內(nèi)的功率缺額。傳統(tǒng)集中式控制方法通常是中央控制器采集頻率偏差通過PI控制器計(jì)算出頻率積差，但存在PI參數(shù)整定困難的缺點(diǎn)，當(dāng)微電網(wǎng)的結(jié)構(gòu)發(fā)生變化時(shí)其參數(shù)需重新整定，而且不能充分利用以往的決策歷史，缺乏一定的智能性。

為了擺脫控制器對(duì)于微電網(wǎng)具體結(jié)構(gòu)的依賴以及充分利用以往調(diào)控的經(jīng)驗(yàn)與教訓(xùn)，本文采用基于強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）的多光儲(chǔ)VSG頻率協(xié)調(diào)控制策略。

3.1 Q學(xué)習(xí)的基本原理

在RL中，智能體（Agent）會(huì)根據(jù)環(huán)境（Envi?ronment）當(dāng)前的狀態(tài)、以往的學(xué)習(xí)經(jīng)驗(yàn)與學(xué)習(xí)策略執(zhí)行某個(gè)動(dòng)作，當(dāng)環(huán)境執(zhí)行完該動(dòng)作后將反饋信號(hào)送回智能體，智能體按照學(xué)習(xí)目標(biāo)對(duì)剛執(zhí)行的動(dòng)作進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)結(jié)果確定今后執(zhí)行該動(dòng)作的概率增加或減少。

在RL算法的決策算法中，Q學(xué)習(xí)作為一種無模型學(xué)習(xí)算法被廣泛應(yīng)用。Q學(xué)習(xí)是基于值函數(shù)的強(qiáng)化學(xué)習(xí)算法，利用Q值來衡量智能體在狀態(tài)st下執(zhí)行動(dòng)作a的好壞。

Q學(xué)習(xí)算法根據(jù)以往的決策經(jīng)驗(yàn)與教訓(xùn)建立Q值表，Q值表為一個(gè)n×m的矩陣。m為系統(tǒng)動(dòng)作集A的離散區(qū)間個(gè)數(shù)；n為系統(tǒng)狀態(tài)集S的離散區(qū)間個(gè)數(shù)。Q值表中Q值更新規(guī)則表達(dá)式為[13]

式中：sk，sk+1為當(dāng)前環(huán)境狀態(tài)與執(zhí)行完動(dòng)作ak后的環(huán)境狀態(tài)；r（sk，sk+1，ak）為智能體執(zhí)行動(dòng)作ak的獎(jiǎng)勵(lì)值；α為學(xué)習(xí)因子；γ為折扣因子；a'為狀態(tài)sk+1下的所有可能動(dòng)作值；Q（sk，ak）為在狀態(tài)sk執(zhí)行ak的值函數(shù)。

在Q學(xué)習(xí)的學(xué)習(xí)過程中根據(jù)狀態(tài)sk選擇動(dòng)作ak的策略為學(xué)習(xí)策略，本文采用ε-greedy學(xué)習(xí)策略，其表達(dá)式為

式中：ε為貪婪值，其取值為0～1之間，當(dāng)其值較大時(shí)表明學(xué)習(xí)策略更傾向于按照最大Q值選擇動(dòng)作；δ為0～1之間隨機(jī)數(shù)；argmaxQ（s，a）為Q（s，a）最大時(shí)的動(dòng)作取值；arand為隨機(jī)選擇的動(dòng)作值。

在滿足某些條件下通過隨機(jī)選擇動(dòng)作值可以在一定程度上防止Q學(xué)習(xí)算法陷入局部最優(yōu)。

Q學(xué)習(xí)算法在進(jìn)行決策時(shí)只涉及本時(shí)刻狀態(tài)以及下一狀態(tài)對(duì)應(yīng)的Q值，同時(shí)在進(jìn)行Q值更新時(shí)只更新Q（sk，ak），Q值表中其它的狀態(tài)-動(dòng)作對(duì)均保持原值不變，其計(jì)算量不是很大，不會(huì)過多增加控制器的計(jì)算量以及控制成本。

3.2 Q學(xué)習(xí)參數(shù)設(shè)計(jì)

通過以上分析可知，Q學(xué)習(xí)參數(shù)主要包括輸入狀態(tài)集S、輸出動(dòng)作集A以及獎(jiǎng)勵(lì)函數(shù)R。中央控制器通過檢測(cè)微電網(wǎng)的頻率偏差Δf，根據(jù)以往的決策經(jīng)驗(yàn)估計(jì)二次調(diào)頻功率，所以狀態(tài)量為微電網(wǎng)頻率偏差Δf，動(dòng)作量為功率缺額ΔP。

狀態(tài)集S與動(dòng)作集A均是有限的非空集合，微電網(wǎng)頻差Δf可以根據(jù)系統(tǒng)的調(diào)頻需求劃分為一定的離散區(qū)間。本文二次頻率調(diào)整目標(biāo)為（50±0.005）Hz，設(shè)計(jì)狀態(tài)集S的離散區(qū)間為{（-∞，-0.1），[-0.1，-0.08），[-0.08，-0.05），[-0.05，-0.02），[-0.02，-0.005），[-0.005，0.005），[0.005，0.02），[0.02，0.05），[0.05，0.08），[0.08，0.1），[0.1，+∞）}，其對(duì)應(yīng)的狀態(tài)集S為{s1，s2，…，s11}。

為了增強(qiáng)Q學(xué)習(xí)動(dòng)作集的通用性，動(dòng)作集A中的元素選取為功率標(biāo)幺值，基準(zhǔn)值選取當(dāng)前微電網(wǎng)最大可調(diào)功率[13-14]。當(dāng)微電網(wǎng)可調(diào)功率發(fā)生變化時(shí)，僅改變功率基準(zhǔn)值即可，無需改變動(dòng)作集A。本文設(shè)計(jì)的動(dòng)作集為{-1，-0.6，-0.3，-0.1，-0.08，-0.06，-0.04，-0.03，-0.02，-0.015，-0.01，-0.005，0，0.005，0.01，0.015，0.02，0.03，0.04，0.06，0.08，0.1，0.3，0.6，1}，其對(duì)應(yīng)動(dòng)作集為{a1，a2，…，a25}。

值得注意的是，當(dāng)動(dòng)作集與狀態(tài)集元素個(gè)數(shù)較多時(shí)，其控制精度較高。但由于Q值表維度過高，算法的收斂速度會(huì)變慢，所以在進(jìn)行參數(shù)設(shè)計(jì)時(shí)需要統(tǒng)籌考慮控制精度與決策速度。

本文選取獎(jiǎng)勵(lì)函數(shù)R為[13-14]

其中，rf（s）為頻率獎(jiǎng)勵(lì)函數(shù)，其表達(dá)式為

式中：λ1～λ5為頻率獎(jiǎng)勵(lì)系數(shù)，本文選為 10，20，30，40，50。

為了防止在頻率調(diào)節(jié)過程中造成微電網(wǎng)電壓發(fā)生越界，所以在獎(jiǎng)勵(lì)函數(shù)R中加入電壓懲罰項(xiàng)ru（s），其表達(dá)式為

式中：Δu為微電網(wǎng)重要節(jié)點(diǎn)的電壓偏差；un為該節(jié)點(diǎn)的額定電壓。

3.3 基于Q學(xué)習(xí)的頻率調(diào)節(jié)流程

將Q學(xué)習(xí)的狀態(tài)集、動(dòng)作集以及獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)完之后，基于Q學(xué)習(xí)的頻率控制器還應(yīng)該進(jìn)行離線的預(yù)學(xué)習(xí)，通過不斷的試錯(cuò)與探索，預(yù)學(xué)習(xí)之后的Q值表便可以應(yīng)用到實(shí)際的微電網(wǎng)頻率控制中，本文不再詳細(xì)敘述。

基于Q學(xué)習(xí)的頻率調(diào)節(jié)流程如圖5所示，其具體頻率控制流程如下：

圖5 基于Q學(xué)習(xí)的頻率控制流程圖Fig.5 Frequency control based on Q-learning

1）檢測(cè)微電網(wǎng)當(dāng)前頻率偏差，中央控制器根據(jù)ε-greedy學(xué)習(xí)策略選擇動(dòng)作ak（ΔPLk）；

2）利用等邊際成本原則對(duì)各光儲(chǔ)VSG有功功率設(shè)定值進(jìn)行調(diào)整；

3）檢測(cè)下一時(shí)刻的頻率偏差，計(jì)算執(zhí)行動(dòng)作ak（ΔPLk）的獎(jiǎng)勵(lì)函數(shù)值；

4）根據(jù)式（12）更新Q值表；

5）判斷頻率偏差是否滿足頻率調(diào)整目標(biāo)，不滿足二次頻率調(diào)整目標(biāo)則返回至步驟1），否則Q學(xué)習(xí)的學(xué)習(xí)過程結(jié)束。

4 仿真分析

4.1 仿真平臺(tái)搭建

本文利用Matlab/Simulink搭建的光伏微網(wǎng)結(jié)構(gòu)如圖6所示，控制器利用S-function函數(shù)進(jìn)行編寫，系統(tǒng)中有4組光伏電源。分布式光儲(chǔ)電源發(fā)電運(yùn)行成本系數(shù)如表1所示，微電網(wǎng)系統(tǒng)參數(shù)以及光儲(chǔ)VSG控制參數(shù)如表2所示，Q學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)R中電壓懲罰項(xiàng)選取負(fù)載4的節(jié)點(diǎn)電壓值。

圖6 微電網(wǎng)仿真模型結(jié)構(gòu)Fig.6 Microgrid simulation model structure

表1 光儲(chǔ)成本系數(shù)Tab.1 Cost coefficient of PV-BA

表2 微網(wǎng)與VSG控制參數(shù)Tab.2 Microgrid and VSG control parameters

4.2 仿真結(jié)果分析

0 s時(shí)微電網(wǎng)處于孤島狀態(tài)，根據(jù)光儲(chǔ)VSG光照強(qiáng)度、溫度以及儲(chǔ)能裝置的SOC狀態(tài)，各PV-VSG的最大輸出功率分別為：30 kW，15 kW，20 kW以及15 kW，微電網(wǎng)內(nèi)的4個(gè)負(fù)荷分別為8 kW，13 kW，9 kW以及10 kW。VSG1～VSG4的有功功率設(shè)定值分別為：12.9 kW，9.1 kW，10.1 kW以及7.9 kW。在1 s時(shí)負(fù)荷4由10 kW變化為15 kW，1.2 s時(shí)投入基于Q學(xué)習(xí)（已完成預(yù)學(xué)習(xí)）的二次頻率控制策略，中央處理器每0.2 s采集1次微電網(wǎng)頻率。

圖7所示為采用Q學(xué)習(xí)與PI控制時(shí)的微電網(wǎng)頻率仿真結(jié)果，通過分析可知，當(dāng)采用Q學(xué)習(xí)后微電網(wǎng)頻率可以快速恢復(fù)，而且不需要復(fù)雜的控制參數(shù)調(diào)試。圖8所示為采用Q學(xué)習(xí)控制策略時(shí)光儲(chǔ)VSG輸出功率。

圖7 微電網(wǎng)頻率Fig.7 Microgrid frequency

圖8 VSG輸出功率Fig.8 Output power of VSG

通過圖7可知，在1 s之前雖然各VSG的有功功率給定值之和等于負(fù)荷總和，但由于微電網(wǎng)電壓等級(jí)較低，線路阻抗中電阻分量較大，微電網(wǎng)中有功損耗較大，所以各VSG的輸出功率均略大于給定值，造成微電網(wǎng)的頻率略低于額定值，側(cè)面證明了VSG一次調(diào)頻屬于有差調(diào)頻。

在1 s時(shí)負(fù)荷突增5 kW，各光伏電源逆變器均采用VSG控制策略，具備一次調(diào)頻功能，各光伏電源頻率調(diào)差系數(shù)相同，突增的負(fù)荷由各光儲(chǔ)VSG均攤。微電網(wǎng)的頻率大幅度下降。在1.2 s時(shí)觸發(fā)本文所設(shè)計(jì)的二次調(diào)頻策略。中央控制器在各時(shí)刻檢測(cè)的微電網(wǎng)頻率偏差以及輸出動(dòng)作選擇情況如圖9所示。

圖9 Q學(xué)習(xí)數(shù)據(jù)Fig.9 Data of Q-learning

通過圖9可知，在1.2 s時(shí)中央控制器檢測(cè)微電網(wǎng)的頻率偏差為-0.067 4 Hz，根據(jù)Q值表采用ε-greedy學(xué)習(xí)策略選取動(dòng)作0.06，此時(shí)微電網(wǎng)最大可調(diào)度功率為40 kW，中央控制器根據(jù)等邊際成本原則對(duì)各VSG的有功功率設(shè)定值進(jìn)行動(dòng)態(tài)調(diào)整，VSG1～VSG4的有功功率設(shè)定值調(diào)整為：13.7 kW，9.6 kW，10.6 kW以及8.5 kW。0.2 s后（1.4 s）中央控制器再次檢測(cè)微電網(wǎng)頻率偏差為-0.042 1 Hz，并根據(jù)式（14）對(duì)剛才的動(dòng)作選擇情況進(jìn)行評(píng)價(jià)，同時(shí)根據(jù)式（12）對(duì)Q值表中的Q（s3，a20）進(jìn)行更新，然后根據(jù)檢測(cè)到的頻率差值按照ε-greedy學(xué)習(xí)策略再次選擇動(dòng)作，輸出功率缺額，各VSG繼續(xù)動(dòng)態(tài)調(diào)整有功功率給定值，直至系統(tǒng)頻率偏差滿足調(diào)頻目標(biāo)。通過圖9可知，在2.6 s時(shí)系統(tǒng)頻率偏差為-0.004 Hz，滿足二次頻率調(diào)整的目標(biāo)，頻率調(diào)整結(jié)束。通過仿真結(jié)果可知，Q學(xué)習(xí)通過7次學(xué)習(xí)完成了頻率的二次調(diào)節(jié)，同時(shí)保證了微電網(wǎng)的經(jīng)濟(jì)運(yùn)行，實(shí)現(xiàn)了多光儲(chǔ)VSG的頻率協(xié)調(diào)控制。

5 結(jié)論

為解決光伏發(fā)電控制方式缺乏轉(zhuǎn)動(dòng)慣性以及集中式PI控制方式存在參數(shù)難以整定等問題，本文提出了基于強(qiáng)化學(xué)習(xí)算法的多光儲(chǔ)VSG的頻率協(xié)調(diào)控制策略。光儲(chǔ)發(fā)電底層控制采用VSG控制技術(shù)，使得光儲(chǔ)具備慣性響應(yīng)以及調(diào)頻能力；中央控制器采用強(qiáng)化學(xué)習(xí)算法根據(jù)頻率偏差量在線計(jì)算微電網(wǎng)的功率缺額，不依賴具體的微電網(wǎng)網(wǎng)架結(jié)構(gòu)與電源分布情況，具備良好的通用性，同時(shí)在Q學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù)R中加入電壓懲罰項(xiàng)，防止在頻率調(diào)整過程中造成電壓發(fā)生越界；為保證頻率調(diào)整過程中的經(jīng)濟(jì)性，中央控制器依據(jù)在線計(jì)算出的功率缺額根據(jù)等邊際成本原則動(dòng)態(tài)調(diào)整各VSG的有功功率給定值，實(shí)現(xiàn)多光儲(chǔ)VSG的頻率協(xié)調(diào)二次控制。仿真結(jié)果表明，基于強(qiáng)化學(xué)習(xí)的頻率控制相比于傳統(tǒng)的控制策略具備較好的頻率調(diào)控作用。