基于Q學(xué)習(xí)的光伏儲(chǔ)能微網(wǎng)VSG與APF協(xié)調(diào)優(yōu)化研究

王 洲，張 軍，賈春蓉，彭 婧，孫亞璐

（1.國網(wǎng)甘肅省電力公司經(jīng)濟(jì)技術(shù)研究院，甘肅 蘭州 730050；2.國網(wǎng)甘肅省電力公司，甘肅 蘭州 730030）

0 引言

近年來，大量太陽能、風(fēng)能等新能源發(fā)電系統(tǒng)滲透率不斷提高[1]，[2]，使得電網(wǎng)頻率、電壓穩(wěn)定性難以控制[3]。已有學(xué)者針對性地提出了虛擬同步發(fā)電機(jī)（Virtual Synchronous Generator，VSG）技術(shù)，在新能源電源并網(wǎng)逆變控制環(huán)路中，引入虛擬的慣性與阻尼系數(shù)，模擬常規(guī)發(fā)電機(jī)組的機(jī)械特性與調(diào)頻調(diào)壓特性，實(shí)現(xiàn)新能源分布式電源更優(yōu)的并網(wǎng)運(yùn)行控制特性[4]～[6]。

現(xiàn)階段，針對分布式電源的VSG控制研究主要集中在并、離網(wǎng)控制相關(guān)技術(shù)方面，特別是在微網(wǎng)中的靈活應(yīng)用[7]～[10]。微網(wǎng)中多臺(tái)VSG并聯(lián)運(yùn)行協(xié)調(diào)控制困難[11]，微網(wǎng)不可避免地存在非線性負(fù)荷，從而引起低階諧波電流，難以通過常規(guī)無源濾波手段進(jìn)行濾除，嚴(yán)重影響了微網(wǎng)電能質(zhì)量，亦會(huì)造成VSG功頻振蕩[12]，[13]。文獻(xiàn)[14]研究了多VSG并網(wǎng)系統(tǒng)的P/ω導(dǎo)納建模與功頻振蕩特性，推導(dǎo)了多VSG并網(wǎng)節(jié)點(diǎn)導(dǎo)納矩陣，分析了VSG數(shù)量、電網(wǎng)等效阻抗與慣性對其功頻振蕩的影響特性。文獻(xiàn)[15]研究了同步頻率諧振引發(fā)VSG功率振蕩的問題，提出了基于暫態(tài)虛擬電阻的阻尼控制策略。文獻(xiàn)[16]將有源濾波（Active Power Filter，APF）引入VSG中，提升了微網(wǎng)電能質(zhì)量，實(shí)現(xiàn)了APF與VSG的協(xié)調(diào)控制。然而，目前工作未深入研究氣象環(huán)境變化下新能源電源功率波動(dòng)及其對微網(wǎng)頻率與諧波治理性能的影響。

為此，本文提出了一種基于Q學(xué)習(xí)（Q-learning）算法的光伏儲(chǔ)能微網(wǎng)VSG與APF協(xié)調(diào)優(yōu)化方法。通過Q學(xué)習(xí)算法對VSG虛擬慣性、阻尼等參數(shù)進(jìn)行迭代訓(xùn)練，在提升VSG功頻特性的同時(shí)，盡可能地合理分配VSG與含APF的光伏電源無功配比，在環(huán)境氣象條件變化時(shí)實(shí)現(xiàn)光儲(chǔ)微網(wǎng)VSG與APF的協(xié)調(diào)控制。

1 VSG控制原理與光伏儲(chǔ)能微網(wǎng)結(jié)構(gòu)

圖1為本文的光伏儲(chǔ)能微網(wǎng)系統(tǒng)結(jié)構(gòu)圖。微網(wǎng)采用主從控制模式，其中儲(chǔ)能系統(tǒng)較光伏系統(tǒng)更穩(wěn)定，不易受環(huán)境條件影響，選取其作為微網(wǎng)電壓與頻率支撐的主逆變電源；儲(chǔ)能逆變器采用基于VSG的控制方式；光伏逆變器采用了基于瞬時(shí)無功功率理論的ip-iq諧波檢測法提取諧波電流分量[17]，再將逆變器有功電流分量與諧波電流疊加后得到含諧波分量的三相電流信號(hào)iah，ibh，ich，通過電流環(huán)控制實(shí)現(xiàn)VSG并網(wǎng)與APF功能。圖中:UPV，IPV分別為光伏陣列電壓、電流；ia，ib，ic為網(wǎng)側(cè)三相電流；ed，eq為在dq坐標(biāo)系下三相電壓的分量；id，iq為dq坐標(biāo)系下光伏逆變器電流分量；Uo，Um分別為VSG輸出端電壓與幅值；Io為VSG輸出端電流；f為VSG頻率；Un為VSG額定電壓幅值；fn為VSG額定頻率；Pn，Qn分別為系統(tǒng)額定有功與無功值；PPV，QPV分別為光伏逆變器有功與無功功率；PVSG，QVSG分別為儲(chǔ)能逆變器有功與無功功率；Pload，Qload分別為非線性負(fù)荷有功與無功功率；Pgrid，Qgrid分別為電網(wǎng)側(cè)有功與無功功率。

圖1 光伏儲(chǔ)能微網(wǎng)系統(tǒng)控制框圖Fig.1 Block diagram of photovoltaic energy storage micro-gird system

光伏儲(chǔ)能微網(wǎng)系統(tǒng)中，VSG控制主要包括轉(zhuǎn)子機(jī)械方程、定子電氣方程[13]，[16]，即:

式中:J，D分別為VSG轉(zhuǎn)動(dòng)慣量、阻尼；Pm，Pe分別為VSG額定功率與電磁功率；ω，ωn分別為實(shí)際角速度與額定角速度；Eo，Uo，Io分別為VSG感應(yīng)電動(dòng)勢、定子機(jī)端電壓、定子電流；Rf，Lf分別為定子電樞等效電阻與電感。

本文采用Q學(xué)習(xí)算法對上述參數(shù)進(jìn)行整定與優(yōu)化。計(jì)及光伏電源有功功率的VSG功頻控制框圖如圖2所示[16]，其中Kd為功頻特性系數(shù)。

圖2 VSG功頻控制框圖Fig.2 Active power-frequency control block diagram of VSG

VSG勵(lì)磁控制器框圖如圖3所示。

圖3 VSG勵(lì)磁控制框圖Fig.3 Excitation control block diagram of VSG

圖中:Kq為無功-電壓下垂系數(shù)；Uref為下垂控制后VSG電壓參考值。由于VSG具備一定的無功支撐能力，定義VSG無功分配比例pQ為

由于合并APF的光伏電源有功輸出直接受其環(huán)境輻照等氣象參數(shù)影響，當(dāng)環(huán)境氣象條件變化時(shí)，微網(wǎng)有功功率可由VSG補(bǔ)償，但其無功與VSG無功配比需要主動(dòng)協(xié)調(diào)控制。因此，將pQ作為Q學(xué)習(xí)算法待整定參數(shù)之一，以實(shí)現(xiàn)環(huán)境氣象條件變化下光伏APF與VSG的無功協(xié)調(diào)控制。

2 光儲(chǔ)微網(wǎng)協(xié)調(diào)控制及Q學(xué)習(xí)算法

2.1 光儲(chǔ)微網(wǎng)VSG與APF協(xié)調(diào)控制性能指標(biāo)

當(dāng)環(huán)境氣象條件突變時(shí)，合并APF的光伏電源有功與無功支撐能力可能受到較大影響。由于平衡微網(wǎng)負(fù)荷、調(diào)整VSG有功無功出力，VSG頻率也將相應(yīng)變化，但受VSG虛擬慣性與阻尼影響，有必要改善調(diào)頻特性。因此，本文選取了VSG自啟動(dòng)時(shí)刻t0～穩(wěn)定時(shí)刻ts頻率調(diào)節(jié)誤差隨時(shí)間積分值ef與頻率波動(dòng)峰值ef，max作為性能評估指標(biāo)。其中ef定義為

顯然，更短的調(diào)節(jié)時(shí)間可能引起較大的頻率波動(dòng)，為降低頻率波動(dòng)，相應(yīng)的調(diào)節(jié)時(shí)間可能需要更長。因此，需要更為智能的參數(shù)整定算法。

此外，當(dāng)環(huán)境輻照變化時(shí)，合并APF的光伏電源與VSG之間存在較明顯的無功波動(dòng)，若不對其進(jìn)行主動(dòng)分配，在二者間可能引發(fā)一系列的無功振蕩過程。因此，還須判斷輻照波動(dòng)后合并APF的光伏電源無功波動(dòng)程度，并作為控制性能指標(biāo)，采用運(yùn)行過程中t時(shí)刻無功功率與其均值的偏差在t0～ts時(shí)刻的積分，即無功能量變化量ΔEQ進(jìn)行描述:

以此對前述VSG虛擬慣性、阻尼、無功分配比例參數(shù)進(jìn)行整定。

2.2 Q學(xué)習(xí)算法

Q學(xué)習(xí)算法是強(qiáng)化學(xué)習(xí)算法中較為成熟的算法之一，目前已應(yīng)用于風(fēng)電系統(tǒng)自適應(yīng)頻率控制、電網(wǎng)薄弱線路辨識(shí)等電力系統(tǒng)控制問題中[18]，[19]。通過建立智能體強(qiáng)化學(xué)習(xí)的虛擬或?qū)嶋H訓(xùn)練環(huán)境，在線訓(xùn)練學(xué)習(xí)，實(shí)現(xiàn)其行為的最優(yōu)化，從而使智能體適應(yīng)環(huán)境并獲得最大獎(jiǎng)勵(lì)值?；驹砣鐖D4所示，智能體依據(jù)環(huán)境在t時(shí)刻的狀態(tài)St與獎(jiǎng)勵(lì)值Rt，通過epsilon貪心算法與當(dāng)前最大Q值獲取對應(yīng)的行為，確定當(dāng)前行為At，將其作用于學(xué)習(xí)環(huán)境，獲得下一時(shí)刻環(huán)境狀態(tài)值St+1與獎(jiǎng)勵(lì)值Rt+1。

圖4 強(qiáng)化學(xué)習(xí)算法框圖Fig.4 Diagram of reinforcement learning algorithm

其中，Q值更新方法為[19]

式中:α為智能體學(xué)習(xí)率；Rt+1為下一時(shí)刻環(huán)境反饋的獎(jiǎng)勵(lì)值；maxAt+1Qt+1為t+1時(shí)刻行為At+1對應(yīng)的Q表格中最大Q值；γ為折扣系數(shù)，用于降低歷史獎(jiǎng)勵(lì)值對當(dāng)前時(shí)刻更新Q值的影響[19]。

圖5為本文提出的Q學(xué)習(xí)算法訓(xùn)練流程，圖6為相應(yīng)的訓(xùn)練框圖。首先由智能體輸出前述光儲(chǔ)微網(wǎng)VSG與APF協(xié)調(diào)控制待整定參數(shù)增量，各智能體具有3種行為:即控制VSG的J，D，pQ增大、不變或減小；再由各控制參數(shù)的積分器對此增量進(jìn)行積分，獲得J，D，pQ組成的控制參數(shù)向量，并輸入MATLAB/Simulink中建立的光伏儲(chǔ)能微網(wǎng)系統(tǒng)及其控制器仿真模型，由當(dāng)前仿真結(jié)果計(jì)算ef，ef，max，ΔEQ3個(gè)性能指標(biāo)。對比當(dāng)前仿真結(jié)果與上一輪訓(xùn)練結(jié)果，將各個(gè)性能指標(biāo)值降低1%，2%，5%，10%，50%，80%和80%以上（即值未明顯降低或增長），劃分為多個(gè)不同的訓(xùn)練環(huán)境狀態(tài)；此外，若當(dāng)前仿真結(jié)果中ef，ef，max，ΔEQ相比于上一輪訓(xùn)練結(jié)果降低，則環(huán)境反饋的獎(jiǎng)勵(lì)值為正激勵(lì)1，否則為負(fù)向激勵(lì)-1?；谏鲜鲈O(shè)計(jì)的強(qiáng)化學(xué)習(xí)訓(xùn)練行為、狀態(tài)、獎(jiǎng)勵(lì)，經(jīng)過數(shù)輪迭代訓(xùn)練，最終可獲得滿足光儲(chǔ)微網(wǎng)VSG與APF協(xié)調(diào)控制的控制參數(shù)。

圖5 Q學(xué)習(xí)算法訓(xùn)練流程圖Fig.5 Flow chart of Q-learning algorithm

圖6 基于Q學(xué)習(xí)算法的訓(xùn)練框圖Fig.6 Block diagram of training based on Q-learning algorithm

3 Q學(xué)習(xí)過程與仿真驗(yàn)證

3.1 Q學(xué)習(xí)過程

本文選取Q學(xué)習(xí)算法中α為0.01，γ為0.9，在虛擬仿真環(huán)境中訓(xùn)練智能體，獲得整定的J，D，pQ。圖7為訓(xùn)練過程中各個(gè)待整定參數(shù)變化趨勢，其中，VSG的J波動(dòng)性地下降，而D逐漸增大，pQ波動(dòng)較大，但隨著訓(xùn)練過程整體呈現(xiàn)下降趨勢。

圖7 訓(xùn)練過程中待整定參數(shù)變化趨勢Fig.7 Trend of turned parameters during training

3.2 仿真驗(yàn)證

在MATLAB/Simulink仿真環(huán)境下，將Q學(xué)習(xí)算法訓(xùn)練所得的J，D，pQ與訓(xùn)練前模型參數(shù)控制的光儲(chǔ)微網(wǎng)性能進(jìn)行對比驗(yàn)證。

首先分析環(huán)境輻照變化時(shí)光伏儲(chǔ)能微網(wǎng)控制效果，設(shè)置仿真起始時(shí)微網(wǎng)有功負(fù)荷為20 kW，仿真過程中在0.5 s時(shí)加入三相整流帶阻感負(fù)載的非線性負(fù)荷。圖8為VSG頻率調(diào)節(jié)過程曲線，由于負(fù)載有功功率突變，VSG頻率不可避免地出現(xiàn)一定下降，相比于Q學(xué)習(xí)算法訓(xùn)練前VSG頻率曲線，訓(xùn)練后VSG頻率波動(dòng)更小，且頻率可更平穩(wěn)地調(diào)節(jié)至穩(wěn)態(tài)。表明通過Q學(xué)習(xí)算法訓(xùn)練后的VSG虛擬慣性和阻尼達(dá)到了更佳的控制效果。

圖8 Q學(xué)習(xí)算法訓(xùn)練前后負(fù)載突變時(shí)VSG頻率曲線Fig.8 Frequency curves of VSG when the load suddenly changes before and after Q-learning

其次，在仿真0.8 s時(shí)設(shè)置環(huán)境輻照從1 000 W/m2瞬間降低至400 W/m2，圖9、圖10分別為Q學(xué)習(xí)算法訓(xùn)練前后VSG有功與無功功率變化曲線，當(dāng)環(huán)境輻照階躍性降低后，光伏電源有功功率逐漸降低，VSG有功功率逐漸升高，有功功率波動(dòng)由非線性負(fù)荷引起。由圖10可見，在Q學(xué)習(xí)算法訓(xùn)練后，光儲(chǔ)微網(wǎng)無功功率主要由VSG支撐，合并APF的光伏電源補(bǔ)償了諧波電流，當(dāng)輻照降低時(shí)，通過Q學(xué)習(xí)算法訓(xùn)練后的VSG無功功率波動(dòng)更小、更穩(wěn)定。

圖9 Q學(xué)習(xí)算法訓(xùn)練前后VSG有功功率曲線Fig.9 Active power curves of VSG before and after Q-learning

圖10 Q學(xué)習(xí)算法訓(xùn)練前后VSG無功功率曲線Fig.10 Reactive power curves of VSG before and after Q-learning

圖11顯示了Q學(xué)習(xí)算法訓(xùn)練后合并APF的光伏電源A相電流與VSG的A相電流波形。圖12為通過Q學(xué)習(xí)算法訓(xùn)練后非線性負(fù)荷與電網(wǎng)電流FFT分析結(jié)果，非線性負(fù)荷總諧波畸變率（Total Harmonic Distortion，THD）為7.44%，電網(wǎng)電流THD為2.56%?？梢姡C波電流由合并APF的光伏電源補(bǔ)償，降低了電網(wǎng)電流THD，采用Q學(xué)習(xí)算法訓(xùn)練后的VSG與APF協(xié)調(diào)優(yōu)化方法保證了電網(wǎng)較好的電能質(zhì)量。

圖11 Q學(xué)習(xí)算法訓(xùn)練后非線性負(fù)荷、光伏APF電源、VSG、電網(wǎng)電流波形Fig.11 Current curves of nonlinear loads,PV-APF source,VSG,and grid after Q-learning

圖12 Q學(xué)習(xí)訓(xùn)練后非線性負(fù)荷與電網(wǎng)電流FFTFig.12 FFT results of nonlinear loads and grid current after Q-learning

4結(jié)論

針對光伏儲(chǔ)能微網(wǎng)VSG功頻調(diào)節(jié)性能及其與合并APF的光伏電源無功配比協(xié)調(diào)控制問題，本文提出了基于Q學(xué)習(xí)算法的光伏儲(chǔ)能微網(wǎng)VSG與APF協(xié)調(diào)優(yōu)化方法。在虛擬環(huán)境中，通過對VSG中虛擬慣性、阻尼以及微網(wǎng)中VSG無功分配比例進(jìn)行訓(xùn)練，由虛擬環(huán)境仿真結(jié)果評估Q學(xué)習(xí)算法的智能體行為，最終得到Q學(xué)習(xí)算法訓(xùn)練后的模型控制參數(shù)。仿真驗(yàn)證結(jié)果表明，Q學(xué)習(xí)算法訓(xùn)練后的光儲(chǔ)微網(wǎng)中VSG頻率調(diào)節(jié)性能更優(yōu)，當(dāng)環(huán)境輻照變化后，VSG無功波動(dòng)更小，系統(tǒng)整體更為穩(wěn)定，光儲(chǔ)微網(wǎng)仍可有效補(bǔ)償非線性負(fù)荷的諧波電流，提高了電網(wǎng)電能質(zhì)量。