基于DQN算法的多微網(wǎng)非計(jì)劃孤島切換策略

賀旭輝,褚四虎,張 羽,張雪菲

(1.湖北省新能源微電網(wǎng)協(xié)同創(chuàng)新中心,湖北 宜昌 443002;2.三峽大學(xué)電氣與新能源學(xué)院,湖北 宜昌 443002)

0 引言

近年來,隨著可再生能源的開發(fā)和廣泛應(yīng)用,分布式發(fā)電得到了大力發(fā)展[1-2]。多微網(wǎng)作為整合分布式電源和負(fù)荷的有效平臺(tái),受到了眾多學(xué)者的關(guān)注。多微網(wǎng)可劃分為并網(wǎng)和孤島2種運(yùn)行模式[3]。一般而言,多微網(wǎng)與大電網(wǎng)相連運(yùn)行在并網(wǎng)模式下,此時(shí)的多微網(wǎng)可與大電網(wǎng)之間進(jìn)行能量的互流互通,大電網(wǎng)可為多微網(wǎng)的電壓、頻率安全穩(wěn)定提供保證。當(dāng)大電網(wǎng)出現(xiàn)故障時(shí),多微網(wǎng)為保證能為自身內(nèi)部重要負(fù)荷提供持續(xù)可靠供電,會(huì)由并網(wǎng)運(yùn)行非計(jì)劃性切換至孤島運(yùn)行。失去大電網(wǎng)的功率支撐后,多微網(wǎng)內(nèi)部分布式電源無法彌補(bǔ)聯(lián)絡(luò)線功率轉(zhuǎn)移時(shí)會(huì)產(chǎn)生巨大的功率缺額,對(duì)多微網(wǎng)的頻率穩(wěn)定造成嚴(yán)重威脅[4-5]。

目前,針對(duì)多微網(wǎng)的非計(jì)劃孤島切換導(dǎo)致系統(tǒng)內(nèi)部功率缺額問題的研究大致可分為補(bǔ)償和減載2個(gè)方向。文獻(xiàn)[6-7]提出利用儲(chǔ)能模塊跟蹤微網(wǎng)并離網(wǎng)狀態(tài),實(shí)時(shí)補(bǔ)償?shù)姆绞絹韺?shí)現(xiàn)微網(wǎng)狀態(tài)的無縫切換。文獻(xiàn)[8]提出一種電網(wǎng)相位跟蹤補(bǔ)償?shù)牟㈦x網(wǎng)切換方式,保證微電網(wǎng)系統(tǒng)的安全穩(wěn)定。然而,實(shí)時(shí)跟蹤補(bǔ)償在容量上局限性較大且實(shí)現(xiàn)成本過高,在工程實(shí)際中實(shí)用性不強(qiáng)。文獻(xiàn)[9]提出一種加速減載的優(yōu)化方法,該方法考慮高比例新能源系統(tǒng)頻率調(diào)節(jié)特性,基于頻率變化率加速減載,以保證大功率缺額下系統(tǒng)的安全穩(wěn)定運(yùn)行。文獻(xiàn)[10]提出一種考慮負(fù)荷主客觀屬性的低頻減載策略,該策略利用相對(duì)熵耦合負(fù)荷的主、客觀權(quán)值對(duì)負(fù)荷進(jìn)行綜合評(píng)價(jià),以確定減載的順序。然而,上述減載策略面對(duì)復(fù)雜的多微網(wǎng)運(yùn)行環(huán)境時(shí)自適應(yīng)能力較差,在微電網(wǎng)環(huán)境變化場(chǎng)景下的減載效果并不理想。

針對(duì)現(xiàn)有方法的不足,提出一種基于DQN的多微網(wǎng)非計(jì)劃孤島切換策略。所提策略將多微網(wǎng)非計(jì)劃孤島切換過程中的減載決策過程描述為馬爾科夫決策過程。該馬爾科夫決策過程的狀態(tài)空間由多微網(wǎng)的實(shí)時(shí)負(fù)荷功率及功率缺額構(gòu)成;動(dòng)作空間由減載量構(gòu)成。利用DQN對(duì)馬爾科夫決策過程求解,以獲得累計(jì)獎(jiǎng)勵(lì)最大的系列動(dòng)作,即最優(yōu)減載策略,實(shí)現(xiàn)多微網(wǎng)非計(jì)劃孤島切換?；贗EEE-33節(jié)點(diǎn)的仿真算例驗(yàn)證了本文所提策略相較于加速減載策略能夠更快、更加經(jīng)濟(jì)地實(shí)現(xiàn)多微網(wǎng)非計(jì)劃孤島切換。

1 多微網(wǎng)非計(jì)劃孤島

1.1 非計(jì)劃孤島概述

多微網(wǎng)非計(jì)劃孤島是指當(dāng)大電網(wǎng)發(fā)生故障,供電質(zhì)量無法得到保證時(shí),多微網(wǎng)為保證自身安全,斷開與大電網(wǎng)間聯(lián)絡(luò)線轉(zhuǎn)為孤島運(yùn)行的過程。在非計(jì)劃孤島過程中由于聯(lián)絡(luò)線的斷開,多微網(wǎng)內(nèi)部分布式電源無法彌補(bǔ)聯(lián)絡(luò)線功率轉(zhuǎn)移而存在較大的功率缺額。若不及時(shí)處理,會(huì)對(duì)微電網(wǎng)穩(wěn)定運(yùn)行帶來威脅,嚴(yán)重時(shí)將導(dǎo)致多微網(wǎng)的電壓和頻率崩潰。

目前,低頻減載是從工程實(shí)際應(yīng)用角度出發(fā)解決多微網(wǎng)非計(jì)劃孤島平滑過渡的有效方法之一。當(dāng)多微網(wǎng)調(diào)節(jié)自身儲(chǔ)能出力仍不能解決供需問題時(shí),可通過低頻減載技術(shù)切除多微網(wǎng)內(nèi)部的非重要負(fù)荷,迅速?gòu)浹a(bǔ)多微網(wǎng)孤島切換過程中的功率供需不平衡。

1.2 低頻減載建模

1.2.1 功率缺額

在多微網(wǎng)非計(jì)劃孤島過程中,系統(tǒng)內(nèi)部的功率缺額可利用系統(tǒng)廣域測(cè)量得到的頻率變化率來估算。估算公式為

(1)

1.2.2 負(fù)荷特性

由于負(fù)荷特性的差異,切除不同負(fù)荷會(huì)帶來不同的頻率調(diào)節(jié)效果。對(duì)于某一特定負(fù)荷,其切除時(shí)多微網(wǎng)系統(tǒng)的頻率變化量與切負(fù)荷量之間滿足如下關(guān)系。

Δf=KLΔPLS

(2)

式中:KL為特定負(fù)荷的頻率調(diào)節(jié)效應(yīng)系數(shù);ΔPLS為負(fù)荷的減載量;Δf為執(zhí)行減載動(dòng)作后多微網(wǎng)系統(tǒng)頻率較動(dòng)作前的變化量。

1.2.3 減載成本

在多微網(wǎng)孤島切換過程中,除考慮減載量外,還應(yīng)注意到減載的經(jīng)濟(jì)性問題。多微網(wǎng)孤島切換的減載過程應(yīng)在使系統(tǒng)迅速恢復(fù)穩(wěn)定運(yùn)行的前提下,最小化減載損失。減載損失模型如下。

(3)

式中:W為總的減載經(jīng)濟(jì)損失;n和m分別為多微網(wǎng)內(nèi)子微網(wǎng)的個(gè)數(shù)和子微網(wǎng)內(nèi)的負(fù)荷個(gè)數(shù);Kg,i、Pshed,g,i分別為第g個(gè)子微網(wǎng)內(nèi)第i個(gè)負(fù)荷的減載損失系數(shù)和減載量。

2 基于DQN算法的多微網(wǎng)非計(jì)劃孤島切換策略

2.1 DQN算法

Q-learning算法是基于馬爾科夫決策過程框架提出的無模型學(xué)習(xí)方法[11]。一般而言,馬爾科夫決策過程可由元組(S,A,P,R)來定義。狀態(tài)空間S和動(dòng)作空間A都是離散變量;環(huán)境轉(zhuǎn)移函數(shù)P是指由當(dāng)前狀態(tài)st∈S向下一狀態(tài)st+1∈S轉(zhuǎn)移的概率。在每一次迭代中環(huán)境會(huì)根據(jù)智能體的動(dòng)作at∈A反饋一個(gè)獎(jiǎng)勵(lì)值rt∈R,智能體再根據(jù)環(huán)境反饋的獎(jiǎng)勵(lì)采取下一個(gè)動(dòng)作。如此反復(fù),智能體將會(huì)學(xué)習(xí)到1個(gè)累計(jì)獎(jiǎng)勵(lì)最大的策略πθ=(st,at)。智能體與環(huán)境之間交互的框架見圖1。

圖1 智能體與環(huán)境交互基本結(jié)構(gòu)

作為深度學(xué)習(xí)與Q-learning算法的結(jié)合,DQN算法很好地繼承了深度學(xué)習(xí)提取高維特征和非線性擬合的強(qiáng)大性能,能夠利用神經(jīng)網(wǎng)絡(luò)準(zhǔn)確評(píng)估不同狀態(tài)-動(dòng)作組合下的Q值。為減小數(shù)據(jù)在時(shí)間上的關(guān)聯(lián)度,DQN算法還引入經(jīng)驗(yàn)回放機(jī)制和雙網(wǎng)絡(luò)結(jié)構(gòu)。經(jīng)驗(yàn)回放是指DQN算法在訓(xùn)練過程中將訓(xùn)練后的樣本數(shù)據(jù)存入至經(jīng)驗(yàn)池內(nèi),在后續(xù)訓(xùn)練時(shí)可隨機(jī)從經(jīng)驗(yàn)池中采樣小批量歷史樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)參數(shù)的更新。雙網(wǎng)絡(luò)結(jié)構(gòu)是指構(gòu)建結(jié)構(gòu)相同的評(píng)估網(wǎng)絡(luò)Qeva和目標(biāo)網(wǎng)絡(luò)Qtar,評(píng)估網(wǎng)絡(luò)用來評(píng)估當(dāng)前狀態(tài)下每一個(gè)動(dòng)作的Q值。經(jīng)過一定回合的訓(xùn)練后,評(píng)估網(wǎng)絡(luò)的參數(shù)會(huì)被傳輸賦值給目標(biāo)網(wǎng)絡(luò)。

2.2 馬爾科夫決策過程建模

馬爾科夫決策過程可由元組(S,A,P,R)來定義。

a.狀態(tài)空間(state):多微網(wǎng)發(fā)生非計(jì)劃孤島瞬間,多微網(wǎng)無法彌補(bǔ)聯(lián)絡(luò)線功率缺額時(shí),需通過減載使多微網(wǎng)系統(tǒng)恢復(fù)穩(wěn)定。選取狀態(tài)空間如下。

(4)

b.動(dòng)作空間(action):由于主要研究對(duì)象是多微網(wǎng)非計(jì)劃孤島后如何通過減載解決功率缺額的問題,選取動(dòng)作空間如下。

(5)

(6)

d.狀態(tài)轉(zhuǎn)移(state transition)：采取減載動(dòng)作后，多微網(wǎng)內(nèi)部功率缺額和負(fù)荷實(shí)時(shí)功率一定會(huì)發(fā)生變化。因此，多微網(wǎng)系統(tǒng)的狀態(tài)轉(zhuǎn)換具有確定性。

2.3 優(yōu)先經(jīng)驗(yàn)回放機(jī)制

為減小訓(xùn)練數(shù)據(jù)在時(shí)間上的關(guān)聯(lián)度，DQN算法引入優(yōu)先經(jīng)驗(yàn)回放機(jī)制。優(yōu)先經(jīng)驗(yàn)回放可以提高時(shí)序差分誤差較大樣本數(shù)據(jù)的重采樣概率。在經(jīng)驗(yàn)池中，樣本i的采樣概率為

(7)

式中:τ為調(diào)節(jié)經(jīng)驗(yàn)樣本重要性的系數(shù);k為求和序列的上界;pi為第i個(gè)經(jīng)驗(yàn)樣本的優(yōu)先級(jí)。

基于等級(jí)的優(yōu)先級(jí)表示為

(8)

式中:rank(i)表示回放內(nèi)存排序時(shí)轉(zhuǎn)換i的秩。

2.4 基于DQN的減載策略學(xué)習(xí)過程

在DQN算法的訓(xùn)練過程中，智能體會(huì)不斷與多微網(wǎng)環(huán)境間進(jìn)行交互調(diào)整，以期望獎(jiǎng)勵(lì)最大化。智能體每一回合的訓(xùn)練都是一個(gè)學(xué)習(xí)的過程，Q網(wǎng)絡(luò)參數(shù)會(huì)隨著學(xué)習(xí)的進(jìn)行不斷得到修正。DQN算法在訓(xùn)練過程中，評(píng)估網(wǎng)絡(luò)Q值更新滿足式(9)。

(9)

使用均方差作為DQN算法的損失函數(shù),損失函數(shù)可定義為

(10)

式中:θeva是評(píng)估網(wǎng)絡(luò)的特有參數(shù)。

利用隨機(jī)梯度下降法來最小化該損失,即可得到最優(yōu)的減載策略。執(zhí)行該減載策略即可實(shí)現(xiàn)多微網(wǎng)非計(jì)劃孤島的無縫切換。圖2為基于DQN算法的多微網(wǎng)非計(jì)劃孤島切換的流程。

圖2 非計(jì)劃孤島切換流程

3 算例驗(yàn)證

3.1 多微網(wǎng)信息數(shù)據(jù)

為驗(yàn)證提出多微網(wǎng)非計(jì)劃孤島切換策略的有效性,在MATLAB軟件中搭建如圖3所示的改進(jìn)IEEE-33節(jié)點(diǎn)仿真系統(tǒng)模型。該多微網(wǎng)模型由3個(gè)子微網(wǎng)組成,包含7個(gè)儲(chǔ)能裝置,9個(gè)光伏板和9個(gè)負(fù)荷。選取MG-1中的BES1、MG-2中的BES2、MG-3中的BES5作為多微網(wǎng)系統(tǒng)主儲(chǔ)能,在多微網(wǎng)孤島運(yùn)行時(shí)采用VF運(yùn)行模式,其他儲(chǔ)能及光伏采用PQ控制。模型中9個(gè)負(fù)荷數(shù)據(jù)信息如表1所示,多微網(wǎng)源荷儲(chǔ)配置信息如表2所示。

表1 多微網(wǎng)負(fù)荷數(shù)據(jù)信息

表2 多微網(wǎng)配置信息 單位:kW

圖3 改進(jìn)IEEE-33節(jié)點(diǎn)系統(tǒng)模型

3.2 DQN算法訓(xùn)練

在利用DQN算法進(jìn)行多微網(wǎng)非計(jì)劃孤島減載過程前,需要對(duì)DQN算法進(jìn)行訓(xùn)練。圖4為DQN算法的收斂曲線。由圖4可知,在經(jīng)過約900個(gè)訓(xùn)練回合后,DQN算法實(shí)現(xiàn)穩(wěn)定收斂。此時(shí),DQN算法已對(duì)多微網(wǎng)環(huán)境進(jìn)行了充分探索,學(xué)習(xí)到了最優(yōu)的減載策略。

圖4 DQN算法獎(jiǎng)勵(lì)收斂圖

3.3 基于改進(jìn)IEEE-33節(jié)點(diǎn)的多微網(wǎng)非計(jì)劃孤島測(cè)試

多微網(wǎng)在t=1.2 s時(shí)進(jìn)入孤島運(yùn)行,此時(shí)多微網(wǎng)需承擔(dān)原聯(lián)絡(luò)線轉(zhuǎn)移功率為260 kW。在調(diào)節(jié)分布式電源出力后,仍不能滿足多微網(wǎng)內(nèi)功率平衡,需進(jìn)行切負(fù)荷操作。通過多微網(wǎng)廣域系統(tǒng)測(cè)量,并依據(jù)式(1)估算得功率缺額為183 kW。將本文所提策略與文獻(xiàn)[9]所提加速減載策略對(duì)比,執(zhí)行減載策略后各負(fù)荷節(jié)點(diǎn)的切負(fù)荷情況如圖5所示。圖6為執(zhí)行減載策略后,多微網(wǎng)系統(tǒng)的頻率恢復(fù)曲線。

圖5 負(fù)荷節(jié)點(diǎn)切負(fù)荷情況

圖6 頻率恢復(fù)曲線

由圖4可知,所提策略在考慮負(fù)荷重要性的前提下對(duì)負(fù)荷LD1、LD2、LD4、LD6、LD9進(jìn)行部分減載,所提策略避免了重要負(fù)荷的供電中斷。經(jīng)由式(3)計(jì)算可得出減載損失為6200元。對(duì)比策略在減載時(shí),利用頻率變化率加速減載,并未考慮負(fù)荷切除的優(yōu)先級(jí),造成了重要負(fù)荷LD3、LD5、LD7、LD8的切除,減載損失為12 030元,比所提策略減載損失高出5830元。

由圖5可知,所提策略在頻率恢復(fù)周期內(nèi)的波動(dòng)范圍為49.42～50.25 Hz,在多微網(wǎng)非計(jì)劃孤島發(fā)生后經(jīng)過0.3275 s使頻率恢復(fù)至正常穩(wěn)定運(yùn)行狀態(tài)。對(duì)比策略頻率波動(dòng)幅度較所提策略高0.14 Hz,且頻率恢復(fù)周期較長(zhǎng),比所提策略慢0.107 s。

綜上所述,所提策略能通過多微網(wǎng)自身調(diào)節(jié)及低頻減載的共同作用,消除多微網(wǎng)非計(jì)劃孤島過程中的功率缺額。與文獻(xiàn)[9]的策略相比,本文所提策略能夠在更短時(shí)間內(nèi)使多微網(wǎng)頻率恢復(fù)至正常穩(wěn)定運(yùn)行狀態(tài),且頻率波動(dòng)幅度更小。同時(shí),所提策略避免了微網(wǎng)內(nèi)重要負(fù)荷的切除,保證了微網(wǎng)內(nèi)重要負(fù)荷的可靠供電,減載造成的經(jīng)濟(jì)損失更小。

4 結(jié)語

針對(duì)多微網(wǎng)非計(jì)劃孤島切換過程中由于聯(lián)絡(luò)線斷開導(dǎo)致多微網(wǎng)內(nèi)部產(chǎn)生大量功率缺額的問題,提出一種基于DQN算法的多微網(wǎng)非計(jì)劃切換策略。策略利用DQN算法學(xué)習(xí)到的最佳減載策略,實(shí)現(xiàn)了多微網(wǎng)非計(jì)劃孤島的平滑過渡。算例仿真結(jié)果驗(yàn)證了所提多微網(wǎng)非計(jì)劃孤島切換策略的可行性和有效性。