多主體博弈下基于改進NashQ算法的風(fēng)電場調(diào)度策略

鄭海林，朱振山，溫步瀛，翁智敏

(福州大學(xué)電氣工程與自動化學(xué)院，福建 福州 350108)

隨著“碳達峰”與“碳中和”目標(biāo)的提出，要實現(xiàn)中國能源結(jié)構(gòu)的轉(zhuǎn)變，可再生能源機組的裝機必將逐步增長，未來風(fēng)電也將大量接入電網(wǎng)。但風(fēng)力發(fā)電的波動性、間歇性以及隨機性為其大規(guī)模并網(wǎng)帶來了極大的挑戰(zhàn)[1-2]。受政策補貼的影響，電網(wǎng)公司優(yōu)先保證風(fēng)電上網(wǎng)[3-4]，但隨著2016年來中國陸上風(fēng)電4類風(fēng)區(qū)上網(wǎng)指導(dǎo)價連續(xù)4次下調(diào)，風(fēng)電的政策補貼紅利逐步減少，參與競爭性電力市場成為未來風(fēng)電的發(fā)展趨勢。因此，考慮多方投資主體博弈下的風(fēng)電調(diào)度策略成為當(dāng)今重點關(guān)注的研究方向之一。

近年來，為了平抑風(fēng)電出力的波動性與不確定性，中國各省份陸續(xù)出臺了一系列強制風(fēng)電企業(yè)配置儲能的政策，但儲能高昂的配置成本、運行成本以及輔助服務(wù)市場尚未完全建成一定程度上影響了風(fēng)電投資主體配置儲能的積極性。此外，電動汽車(electric vehicle，EV)因其環(huán)保、經(jīng)濟等優(yōu)勢而被廣泛應(yīng)用[5]，極大地推動了電動汽車充電站和充電樁的建設(shè)[6]。相比于短時間內(nèi)為風(fēng)電場配置大量成本高昂的儲能，利用已有的電動汽車充電站資源參與風(fēng)電場聯(lián)合調(diào)度的思路更具有可行性[7]。

目前關(guān)于風(fēng)電優(yōu)化調(diào)度的研究主要有2類：一類是從風(fēng)電運行效益的角度設(shè)定目標(biāo)函數(shù)，建立優(yōu)化調(diào)度模型，從而優(yōu)化風(fēng)電運行，如：可再生能源棄電量最小化[8-9]、風(fēng)電波動與預(yù)測偏差的最小化[10-11]、可再生能源的環(huán)境效益[12]以及政策補貼[13]等；另一類將風(fēng)電視作電網(wǎng)的一部分，從電網(wǎng)運行效益的角度設(shè)定運行目標(biāo)，從而優(yōu)化風(fēng)電調(diào)度策略，如：電網(wǎng)運行成本最小化[14]與用戶的用電成本最小化[15]、電網(wǎng)的環(huán)境效益[16]以及電網(wǎng)的電壓穩(wěn)定性[17]等。但由于電網(wǎng)中的發(fā)電設(shè)施是由不同的投資主體建設(shè)的，將電網(wǎng)視為整體進行調(diào)度，未能充分考慮各投資主體的效益，不利于調(diào)動各方的積極性。從風(fēng)電角度優(yōu)化風(fēng)電調(diào)度策略的文獻僅考慮了風(fēng)電場投資方效益的最大化，忽視了其他投資主體的效益，無法反映風(fēng)電進入電力市場后的真實效益。從長遠的角度來看，不利于風(fēng)電場進入競爭性電力市場后的可持續(xù)發(fā)展。

考慮到風(fēng)電機組出力的不確定性以及電網(wǎng)內(nèi)各方投資主體決策的相互影響，無法通過簡單的優(yōu)化方法來獲得最佳的運行策略?，F(xiàn)有文獻通過Nash均衡博弈與強化學(xué)習(xí)的結(jié)合，采用多智能體強化學(xué)習(xí)來求解這一復(fù)雜問題。文獻[18-19]引入多智能體強化學(xué)習(xí)方法來求解多智能體博弈問題，從而優(yōu)化電網(wǎng)內(nèi)多方主體的調(diào)度策略；文獻[20]在這一基礎(chǔ)上，通過強化學(xué)習(xí)Q矩陣的遷移從而提高算法的在線學(xué)習(xí)速度；文獻[21]引入資格跡更新技術(shù)提高多智能體博弈和遷移學(xué)習(xí)的收斂速度。以上文獻所采用的多智能體強化學(xué)習(xí)算法中，智能體的學(xué)習(xí)往往局限在自身的學(xué)習(xí)經(jīng)驗，對外界環(huán)境不敏感，使得收斂速度較慢，會產(chǎn)生較大的計算成本。

因此，針對現(xiàn)有研究的不足，本文提出一種多主體博弈環(huán)境下基于改進NashQ算法的風(fēng)電調(diào)度策略，綜合考慮風(fēng)電場、火電廠、儲能電站以及電動汽車充電站各方的效益，兼顧風(fēng)電場的預(yù)測偏差考核、綠證收益與售電效益，構(gòu)建多方博弈下風(fēng)電場調(diào)度、風(fēng)—儲聯(lián)合調(diào)度與風(fēng)—車聯(lián)合調(diào)度的優(yōu)化模型。采用多智能體強化學(xué)習(xí)算法進行求解，并引入JS(Jensen-Shannon)散度對比Nash均衡分布與歷史經(jīng)驗分布來優(yōu)化NashQ算法中各智能體學(xué)習(xí)率，提升算法的求解效率，用以求解多主體序貫決策問題。此外，通過對算法中Q矩陣的訓(xùn)練，提升算法在線求解的速度，使得算法可以靈活適應(yīng)不同博弈環(huán)境。算例仿真結(jié)果驗證本文算法的求解性能以及風(fēng)電場與電動汽車充電站聯(lián)合調(diào)度策略的優(yōu)越性。

1 多主體博弈建模

1.1 電網(wǎng)系統(tǒng)結(jié)構(gòu)

電網(wǎng)系統(tǒng)結(jié)構(gòu)主要由火電廠、風(fēng)電場、儲能電站以及電動汽車充電站和其他用電負荷等組成，本文所討論的電網(wǎng)系統(tǒng)為輸電網(wǎng)層級，其結(jié)構(gòu)如圖1所示。

圖1 輸電網(wǎng)系統(tǒng)結(jié)構(gòu)Figure 1 Schematic diagram of transmission network

1.2 博弈主體基本模型

1)風(fēng)電場主體。

為了保證電網(wǎng)內(nèi)功率動態(tài)實時平衡，要求可再生能源電站的實際出力與預(yù)測出力曲線應(yīng)基本一致，偏差的發(fā)電量或電量不足需要繳納較高的罰金。風(fēng)電場主體獨立運行時目標(biāo)函數(shù)為

(1)

Sw,t=(pw+pgr)·(Pw,t-Paba,t)·Δt

(2)

Cw,t=((Pw,t-Paba,t)·pwo+|Pw,t-

Paba,t-Ppre,t|pwη)·Δt

(3)

式(1)～(3)中Sw,t為風(fēng)電場的售電效益；；Cw,t為風(fēng)電場的成本；Cws為風(fēng)電場分?jǐn)偟臑轱L(fēng)電場分?jǐn)偟妮o助服務(wù)費用；Pw,t為風(fēng)電場t時刻氣象條件下最大出力；Paba,t為t時刻風(fēng)電場棄風(fēng)功率；(Pw,t-Paba,t)·pwo為風(fēng)電場的運行成本；|Pw,t-Paba,t-Ppre,t|pwη為風(fēng)電場實際出力與計劃出力偏差的懲罰，風(fēng)電場的實際出力等于在該時刻風(fēng)速下的風(fēng)電場最大出力減去風(fēng)電場棄風(fēng)功率；pwo為風(fēng)電運維成本；Ppre,t為t時刻的預(yù)測風(fēng)電出力；pw為風(fēng)電上網(wǎng)的價格；pgr為風(fēng)電的綠證價格；η為偏差考核比例；風(fēng)電的棄風(fēng)比例應(yīng)不超過μ，限制條件為Paba,t≤Pw,t·μ。

2)電動汽車充電站主體。

當(dāng)電網(wǎng)內(nèi)發(fā)電機組出力不足以滿足負荷需求時，充電站通過補助EV用戶，削減充電需求，滿足電網(wǎng)供需平衡。充電站的目標(biāo)函數(shù)為

(pe1-Δpt)-pevo)·Δt

(4)

pevo=plc+psc

(5)

3)火電廠主體。

火電廠的收益一部分為直接售電的效益，另一部分則是火電機組響應(yīng)電網(wǎng)內(nèi)功率需求調(diào)整自身出力提供AGC服務(wù)的收益，目標(biāo)函數(shù)為

(6)

式中SMT,t為火電機組的運行收益；CMT,t為火電機組的運行成本；CMTs為火電機組分?jǐn)偟妮o助服務(wù)費用。

成本函數(shù)為

(7)

式中 第1項為機組的發(fā)電成本；第2項為機組的爬坡成本[21]；第3項為機組的啟停成；a、b、c為微型火電系統(tǒng)發(fā)電成本系數(shù)；PMTi,t為微型火電系統(tǒng)第i臺機組t時刻發(fā)電量；i=1,2,…,N為微型火電機組數(shù)；ΔPMTui,t、ΔPMTdi,t為微型火電機組上、下爬坡成本；pup、pdown為微型火電機組上、下爬坡量；hi,t為第i臺機組t時刻的啟停狀態(tài)，1為啟機，0為停機；pon、poff為啟停機成本。

火電廠的收益為

pAGC·ΔPAGC,t

(8)

式中 第1項為火電機組的售電效益；第2項為火電機組響應(yīng)AGC服務(wù)補償；pMT為火電機組上網(wǎng)電價；pAGC為AGC輔助服務(wù)單位電量補貼，當(dāng)火電的出力調(diào)整與電網(wǎng)中功率偏差相反時，ΔPAGC,t取為正，即火電機組獲取AGC響應(yīng)補償；反之則取為負，作為調(diào)節(jié)偏差的懲罰。

火電機組運行需要滿足機組的爬坡約束以及機組最大、最小功率的約束，即

(9)

式中PMTi,min、PMTi,max分別為微型火電機組功率最小、最大值；ΔPMTi,max為機組爬坡功率上限。

4)儲能電站主體。

儲能電站的目標(biāo)函數(shù)為

(10)

儲能電站的收益為

(11)

儲能電站的成本為

(12)

式中 第1項儲能充放電損耗成本；第2項為儲能全壽命周期成本；ηcha、ηdis為電池儲能的充放電效率；d為貼現(xiàn)率；n為電池使用年限；Ces為電池本體成本；Lmax為電池年平均最大使用次數(shù)。

電池儲能系統(tǒng)運行需要滿足充放電最大功率、荷電狀態(tài)約束，約束條件為

(13)

5)輔助服務(wù)費用分?jǐn)偰Ｐ汀?/p>

電網(wǎng)內(nèi)的輔助服務(wù)費用由發(fā)電企業(yè)按發(fā)電量進行分?jǐn)俒23]，即

Δt+Sev+pet|Pet,t|)

(14)

式中 第1項為火電機組AGC服務(wù)補償，第2項為儲能調(diào)頻服務(wù)補償，第3項為EV用戶調(diào)節(jié)需求響應(yīng)補償，第4項為聯(lián)絡(luò)線功率傳輸費用；Pet,t為t時刻電網(wǎng)內(nèi)功率不平衡引起的聯(lián)絡(luò)線上功率響應(yīng)，本文設(shè)定聯(lián)絡(luò)線的傳輸容量約束為2 MW；pet為t單位功率傳輸成本。

常規(guī)火電系統(tǒng)承擔(dān)費用CMTs與風(fēng)電場承擔(dān)費用Cws為

(15)

式中W為發(fā)電企業(yè)的總發(fā)電量。

1.3 多主體聯(lián)合博弈

1)多主體博弈模式。各主體基于某一時刻下各方的狀態(tài)，決策下一時刻動作，且各主體的策略受到其他主體影響，為混合策略博弈。

模式1 風(fēng)電場與電動汽車充電站聯(lián)合參與多主體博弈，參與博弈的主體有火電站、儲能電站以及風(fēng)—車聯(lián)合運行主體。風(fēng)—車聯(lián)合運行的優(yōu)勢在于當(dāng)風(fēng)電出力小于預(yù)測出力時，可以通過減少EV充電需求來減少風(fēng)電的預(yù)測偏差懲罰。

模式2 風(fēng)電場配置對應(yīng)的儲能聯(lián)合參與多主體博弈，參與博弈的主體有火電站、儲能電站以及風(fēng)—儲聯(lián)合運行主體。當(dāng)風(fēng)電出力小于預(yù)測出力時，電池儲能對外放電；反之則對儲能電池充電。

2)風(fēng)—車聯(lián)合運行模型。風(fēng)—車聯(lián)合運行效益為

(16)

式中 第1項為EV減少充電需求后風(fēng)電場等效出力下的運行效益，第2項為電動汽車充電站減少風(fēng)電場預(yù)測偏差后的調(diào)節(jié)補償；Pw′,t為風(fēng)—車聯(lián)合運行下風(fēng)電場實際出力，Pw′,t=Pw,t+Pev1,t，其中Pev1,t為EV減少充電需求用于減少風(fēng)電出力偏差部分；Pev′為風(fēng)—車聯(lián)合運行下充電站的實際調(diào)節(jié)電量，Pev′,t=PEV·N·Pev,t-Pev1,t。參與博弈的主體效用函數(shù)包括式(6)、(10)、(16)。

3)風(fēng)—儲聯(lián)合運行模型。風(fēng)—儲聯(lián)合運行效益為

(17)

式中 第1項為儲能參與減少風(fēng)電預(yù)測偏差后風(fēng)電場等效出力下的運行效益，第2項為電池儲能減少風(fēng)電場預(yù)測偏差后的峰谷套利與調(diào)頻補償帶來的收益，第3項為電池儲能充放電產(chǎn)生的成本；Pw″,t為風(fēng)—儲聯(lián)合運行下風(fēng)電場實際出力，Pw″,t=Pw,t+Pcha1,tηcha+Pdis1,t/ηdis，其中Pcha1,t、Pdis1,t為電池儲能用于滿足風(fēng)電出力偏差部分；Pes′,t={Pcha′,t;Pdis′,t}={Pcha,t-Pcha1,t;Pdis,t-Pdis1,t}，{Pcha′,t;Pdis′,t}為風(fēng)—儲聯(lián)合運行下儲能電池的實際充放電電量。參與博弈的主體效用函數(shù)包括式(6)、(10)、(17)。

2 改進NashQ算法

2.1 強化學(xué)習(xí)

強化學(xué)習(xí)是學(xué)習(xí)狀態(tài)與行為之間的映射關(guān)系，通過感知環(huán)境狀態(tài)以及獎勵學(xué)習(xí)和決策的過程。Q學(xué)習(xí)是一種普遍應(yīng)用的強化學(xué)習(xí)算法，其遞歸方程為

Q(s,a)t+1=(1-α)Q(s,a)t+

(18)

2.2 NashQ算法

當(dāng)博弈中其他智能體的策略均給定時，智能體不再改變自身策略，即為Nash均衡，有

(19)

引入多智能體博弈環(huán)境，Q值的值函數(shù)及迭代公式為

Qi(s,a1,a2…,aN)t+1=(1-α)·

Qi(s,a1,a2…,an)t+α·

(20)

2.3 改進NashQ算法

學(xué)習(xí)率會影響智能體的學(xué)習(xí)速度，當(dāng)學(xué)習(xí)率取值較大時，智能體對于新嘗試結(jié)果的占比越高，對于歷史經(jīng)驗遺忘率也就越高；當(dāng)學(xué)習(xí)率取值較小時，智能體接受新嘗試結(jié)果比例較小，使得學(xué)習(xí)效率下降。而大多數(shù)研究強化學(xué)習(xí)的文獻往往將學(xué)習(xí)率取為定值，把較優(yōu)的學(xué)習(xí)經(jīng)驗與較差的學(xué)習(xí)經(jīng)驗混合，大大降低了學(xué)習(xí)速度，影響智能體的收斂速度。

KL散度(kullback-leibler divergence)又稱為相對熵，是2個概率分布P和Q差別的非對稱性的度量，用于衡量2種分布的相似度。由于KL散度是不對稱的且不滿足三角不等式，故

DKL(P,Q)≠DKL(Q,P)

(21)

DKL(P,Q)>DKL(Q,S)+DKL(S,Q)

(22)

JS散度是KL散度基礎(chǔ)上的變體，可以有效地解決KL散度存在的問題。當(dāng)2個概率分布較遠時，KL散度沒有意義，而JS散度仍可以衡量2個概率分布的相似度。

引入JS散度優(yōu)化各智能的學(xué)習(xí)率后的NashQ算法流程如圖2所示。引入JS散度優(yōu)化各智能體的學(xué)習(xí)率αi,t，即

圖2 改進NashQ算法流程Figure 2 The process of improved NashQ algorithm

(23)

(24)

(25)

3 基于改進NashQ算法的風(fēng)電調(diào)度策略

3.1 狀態(tài)空間

3.2 動作空間

3.3 算法流程

改進NashQ算法中采用ε-greedy貪婪算法對動作空間進行探索，動作的探索為

(26)

式中ε0∈[0,1]為貪婪搜索算法的探索率，取較小正數(shù)；ai,rand為智能體i隨機選擇的動作。

判斷多智能體強化學(xué)習(xí)過程中各個智能體的收益是否趨于收斂，收斂判據(jù)為

(27)

其中，σ為較小正數(shù)，本文取為0.015；Qi,t為第i個智能體第t次循環(huán)得到的Q值表。若各個智能體Q矩陣均收斂則結(jié)束學(xué)習(xí)，輸出最優(yōu)策略；反之則繼續(xù)循環(huán)。

基于改進NashQ的風(fēng)電調(diào)度策略的流程如圖3所示。

圖3 風(fēng)電調(diào)度策略的流程Figure 3 The process of wind power dispatching strategy

4 算例分析

4.1 算例概況

本文以某個風(fēng)電場所在地區(qū)的電網(wǎng)為例，由250 MW風(fēng)電場、8 MW·h儲能電站、2臺火電機組的火電廠以及1個電動汽車充電站組成，輔助服務(wù)補償價格、電網(wǎng)分時電價以及各設(shè)備參數(shù)分別如表1～3所示；算法參數(shù)設(shè)置如表4所示；算法典型日風(fēng)電、預(yù)測以及用戶負荷曲線如圖4所示。

表1 輔助服務(wù)補償價格Table 1 Auxiliary service compensation price

表2 電網(wǎng)分時電價Table 2 Time-of-use tariff 元/(kW·h)

表3 設(shè)備參數(shù)Table 3 Equipment parameters

表4 算法參數(shù)Table 4 Algorithm parameters

圖4 典型日風(fēng)電、預(yù)測以及負荷曲線Figure 4 Typical daily curve of wind power，forecast and load

將可再生能源功能狀態(tài)按照可再生能源出力/電網(wǎng)內(nèi)負荷需求之比、風(fēng)電最大出力上限以及預(yù)測出力偏差量對其定義，劃分為1天96個狀態(tài)，火電機組包含啟機與停機2種狀態(tài)、儲能包含充電/閑置/放電3種狀態(tài)。火電廠、風(fēng)電場、儲能電站以及充電站的動作離散為9、6、6、11個離散空間。

4.2 Nash均衡證明及改進Nash結(jié)果分析

NashQ算法收斂的具體證明過程可參考文獻[24]。為了保證NashQ算法能夠找到Nash均衡解，則對于任一時間與狀態(tài)下，各個智能體均能尋找到一個全局最優(yōu)點或者鞍點，可用于更新Q矩陣。由于在電網(wǎng)中風(fēng)電出力具有不確定性，無法保證每個時刻均可以找到全局最優(yōu)點，在部分時刻僅存在鞍點，但鞍點的數(shù)目往往不止一個。

1)傳統(tǒng)的NashQ算法在存在鞍點的算例中容易出現(xiàn)運算結(jié)果在幾個鞍點中徘徊選擇，容易導(dǎo)致最終結(jié)果出現(xiàn)數(shù)個結(jié)果的情況。

2)文獻[21]中引入資格跡，提出NETRL算法，通過智能體自身對于某一狀態(tài)、動作的訪問次數(shù)來優(yōu)化Q值表的更新，雖然提高了智能體自身經(jīng)驗的感知，但忽視了智能體對于外部環(huán)境的感知，學(xué)習(xí)的效果有所提升但提升的有限。

3)本文提出的改進NashQ算法則可以較好地避免這一結(jié)果，在NETRL算法的基礎(chǔ)上，通過JS散度對比智能體的自身經(jīng)驗與外部環(huán)境，提升智能體對外部環(huán)境的感知。

本文采用 Matlab2020a 軟件進行編程求解，在 Intel i5-6300HQ(主頻為2.30 GHz)、內(nèi)存16 GB 的計算機上運行。利用風(fēng)電發(fā)電系統(tǒng)智能體的收斂判據(jù)對比3種算法的收斂結(jié)果，收斂所需時間如表5所示，可以看出，本文所提出的改進NashQ算法求解所需時間為NashQ算法的37.3%，也是文獻[21]中NETRL算法的46.9%，從而驗證了本文所提出的改進NashQ算法的快速收斂性。收斂曲線如圖5所示。

表5 3個算法收斂所需時間Table 5 Converge time of the three algorithms

圖5 不同算法的收斂曲線Figure 5 Convergence curves of different algorithms

4.3 仿真結(jié)果討論分析

為對比風(fēng)電不同運行方式下的經(jīng)濟效益，設(shè)定3種風(fēng)電運行場景，并針對高比例可再生能源電網(wǎng)系統(tǒng)運行模式給出優(yōu)化風(fēng)電的調(diào)度策略：①電網(wǎng)中風(fēng)電場、電動汽車充電站、火電廠以及儲能電站系統(tǒng)共同博弈；②風(fēng)力發(fā)電系統(tǒng)與電動汽車充電站系統(tǒng)聯(lián)合參與電網(wǎng)中的博弈；③電動汽車充電站轉(zhuǎn)化為同等容量儲能電池，風(fēng)儲聯(lián)合參與電網(wǎng)中博弈。

3種場景下風(fēng)電場的棄風(fēng)電量與減少的偏差考核如表6所示，風(fēng)—車聯(lián)合運行、風(fēng)—儲聯(lián)合運行均能減少風(fēng)電場的偏差考核，其中風(fēng)—儲聯(lián)合運行下有著顯著的優(yōu)勢。對比風(fēng)電獨立運行下棄風(fēng)電量，風(fēng)—車聯(lián)合運行下減少了43.4%，風(fēng)—儲聯(lián)合運行減少了44.7%?？梢钥闯?，風(fēng)—儲聯(lián)合運行可以提高風(fēng)力資源的利用率。

表6 3種場景下優(yōu)化運行結(jié)果Table 6 Optimization results under three scenarios

各個投資主體的經(jīng)濟性如表7所示，對比可以看出，風(fēng)—車聯(lián)合運行的經(jīng)濟效益優(yōu)于風(fēng)電場獨立參與電網(wǎng)系統(tǒng)中多主體博弈的經(jīng)濟效益，提高收益20 775.1元。由于充電站系統(tǒng)的補貼成本比風(fēng)力發(fā)電系統(tǒng)的偏差考核懲罰成本低，同時還能為其帶來額外的售電效益。因此，風(fēng)力發(fā)電系統(tǒng)與電動汽車充電站系統(tǒng)的聯(lián)合運行具有實際意義。

表7 3種場景下各投資主體經(jīng)濟性Table 7 Economics of investment subject under three scenarios

3種場景下風(fēng)電場調(diào)度策略分別如圖6～8所示。風(fēng)—儲聯(lián)合運行由于儲能電池系統(tǒng)較高昂的配置成本與運行成本，其經(jīng)濟效益甚至低于場景1中風(fēng)電場獨立運行的經(jīng)濟效益，在不考慮電廠側(cè)儲能參與輔助服務(wù)市場時，該風(fēng)電場配置儲能的運行模式難以吸引風(fēng)力發(fā)電投資者為風(fēng)電場配置儲能。

圖6 風(fēng)電運行調(diào)度策略(場景1)Figure 6 The operation scheduling strategy of wind power(Scenario 1)

圖7 風(fēng)—車聯(lián)合運行調(diào)度策略及回購電能加價曲線(場景2)Figure 7 The operation scheduling strategy for the wind-mill(Scenario 2)

圖8 風(fēng)—儲聯(lián)合運行調(diào)度策略及儲能荷電狀態(tài)曲線(場景3)Figure 8 The operation scheduling strategy for the wind-storage(Scenario 3)

4.4 在線仿真結(jié)果分析

本文基于2020年每個月抽取3 d的數(shù)據(jù)作為離線訓(xùn)練數(shù)據(jù)，訓(xùn)練集內(nèi)選取6組數(shù)據(jù)(X1～X6)，訓(xùn)練集外選取6組數(shù)據(jù)(C1～C6)，檢測本文算法的在線決策能力。在線學(xué)習(xí)與離線訓(xùn)練的對比如圖9所示，可以看出，訓(xùn)練、非訓(xùn)練集數(shù)據(jù)在線學(xué)習(xí)所需平均時間分別為319.21、427.07 s，相較于離線訓(xùn)練的所需平均時間(507.25 s)分別減少了37.07%、15.81%。因此，通過Q值表的離線訓(xùn)練可以顯著提升在線學(xué)習(xí)的求解效率。

圖9 離線訓(xùn)練與在線學(xué)習(xí)的平均收斂時間對比Figure 9 Comparison of average convergence time between off-line training and online learning

5 結(jié)語

本文以風(fēng)電場作為研究對象，提出一種多主體博弈下基于改進NashQ算法的風(fēng)電調(diào)度策略，分析對比了不同場景下的風(fēng)力發(fā)電系統(tǒng)的效益。

1)綜合考慮電網(wǎng)系統(tǒng)內(nèi)不同投資主體的利益訴求，兼顧風(fēng)電場的偏差考核、綠證效益以及售電效益，充分挖掘風(fēng)電場、火電廠、儲能電站與電動汽車充電站的調(diào)節(jié)能力，最大化風(fēng)電場經(jīng)濟效益；2)提出的改進NashQ算法與NashQ、NETRL算法對比，收斂所需時間分別縮短了62.7%、53.1%，驗證了改進NashQ算法的有效性；同時，采用離線訓(xùn)練方式訓(xùn)練Q值表可以顯著提高在線學(xué)習(xí)的收斂效率，縮短收斂所需時間；3)仿真結(jié)果表明，風(fēng)—儲、風(fēng)—車的聯(lián)合運行相較于風(fēng)電池獨立運行可以分別減少44.7%、43.4%的棄風(fēng)電量，但由于儲能的高昂配置、運行成本，風(fēng)—儲聯(lián)合運行經(jīng)濟效益較差；而風(fēng)—車聯(lián)合運行在減少棄風(fēng)電量的同時，還提升了二者的經(jīng)濟效益，對于風(fēng)電投資方與充電站投資方具有一定的吸引力。

后續(xù)研究會進一步考慮輔助服務(wù)市場中有償提供輔助服務(wù)對于風(fēng)電調(diào)度經(jīng)濟型的影響，為參與競爭電力市場的風(fēng)電運營模式提供參考。