基于Q- learning 算法的微電網(wǎng)彈性增強(qiáng)控制

王繼東 劉孟奇 李繼方

（華北水利水電大學(xué)電力學(xué)院,河南 鄭州 450045）

1 概述

近年來極端災(zāi)害事件頻繁發(fā)生,對電網(wǎng)的穩(wěn)定運(yùn)行存在著極大的安全威脅[1-2]。面對不可抗拒的極端災(zāi)害發(fā)生,迫切需要增強(qiáng)電網(wǎng)彈性來抵御災(zāi)害事件對電網(wǎng)穩(wěn)定運(yùn)行的破壞,減少損失,避免社會秩序混亂和發(fā)生嚴(yán)重的人員傷亡事故。電網(wǎng)彈性是用以衡量電網(wǎng)從極端災(zāi)害事件發(fā)生時到恢復(fù)到正常供電狀態(tài)期間對災(zāi)害事件的抵御能力[2]。如何提升電網(wǎng)在極端災(zāi)害事件下的生存能力,維持電網(wǎng)對關(guān)鍵基礎(chǔ)設(shè)施及重要負(fù)荷的持續(xù)供電,是近年來電網(wǎng)控制領(lǐng)域的前沿問題與研究熱點(diǎn)。

微電網(wǎng)作為電網(wǎng)的一部分,在增強(qiáng)電網(wǎng)彈性的研究和建設(shè)中起到重要的支撐作用,在極端災(zāi)害發(fā)生時,有必要通過微電網(wǎng)重構(gòu)技術(shù)尋得最優(yōu)拓?fù)浣Y(jié)構(gòu)來保障微電網(wǎng)的穩(wěn)定運(yùn)行,提升微電網(wǎng)的災(zāi)害抵御能力,進(jìn)而對主電網(wǎng)災(zāi)后恢復(fù)起到重要的支撐作用[3]。

目前,在求解故障恢復(fù)中使用的算法種類繁多。文獻(xiàn)[4]采用啟發(fā)式算法求解恢復(fù)策略,該算法針對日益復(fù)雜的配電網(wǎng)故障恢復(fù)過程中的最優(yōu)問題進(jìn)行了求解,但該算法一般只能得到次優(yōu)解,當(dāng)多故障發(fā)生時,搜索空間相當(dāng)龐大,在有限的時間內(nèi)求得可行解較為困難。文獻(xiàn)[5]中,作者以廣度優(yōu)先搜索為基礎(chǔ),結(jié)合有功分配,考慮負(fù)荷均衡分配,使非故障區(qū)域合理恢復(fù)供電,該算法不僅適用在線計算,也適用離線場合。文獻(xiàn)[6]進(jìn)一步考慮了分布式電源參與非故障區(qū)域黑啟動的恢復(fù)策略,并使用廣度優(yōu)先算法和改進(jìn)Prim 算法求解故障恢復(fù)的拓?fù)渲貥?gòu)策略。

隨著電網(wǎng)環(huán)境與結(jié)構(gòu)的復(fù)雜化,上述算法的局限性較為凸顯,而近年來,強(qiáng)化學(xué)習(xí)算法逐漸興起和應(yīng)用于各領(lǐng)域,在電力系統(tǒng)中搭建多智能體框架下的故障恢復(fù)模型生成重構(gòu)策略,為拓?fù)渲貥?gòu)提供新的思路[7]。多智能體架構(gòu)和強(qiáng)化學(xué)習(xí)算法的結(jié)合為實時性較強(qiáng)的電力系統(tǒng)來說,其具有平衡功率和能量、穩(wěn)定電壓和頻率、實現(xiàn)資源優(yōu)化管理和經(jīng)濟(jì)協(xié)調(diào)運(yùn)行的優(yōu)點(diǎn)。對微電網(wǎng)彈性控制的增強(qiáng)、極端災(zāi)害事件下的抵御能力的提升都具有重要的應(yīng)用價值[8]。將多智能體與強(qiáng)化學(xué)習(xí)的結(jié)合應(yīng)用于智慧電網(wǎng)領(lǐng)域?qū)⑹乾F(xiàn)在和未來的重點(diǎn)研究內(nèi)容。文獻(xiàn)[9]中,研究了基于MAS 的分布式分層控制對系統(tǒng)靈活性、可靠性的提高,也對比了不同的MAS 建模方法的優(yōu)缺點(diǎn),為優(yōu)化控制策略的選擇提供依據(jù)。文獻(xiàn)[10]中構(gòu)建了采用三層“防御- 攻擊- 防御”框架對分布式電源的位置和容量進(jìn)行優(yōu)化,考慮了攻擊后的拓?fù)渲貥?gòu)和微電網(wǎng)的形成, 進(jìn)一步發(fā)揮了分布式電源在負(fù)荷恢復(fù)方面的作用。

借鑒上述研究中的優(yōu)點(diǎn),本文提出將Q-learning 算法與MAS 框架的微電網(wǎng)緊密結(jié)合的控制策略,并對智能體動作的選取增加了建議度的參考量。根據(jù)元器件的不同劃分智能體的類別屬性、選擇和計算獎勵方式、確定動作策略以及更新算法迭代等,提高微電網(wǎng)拓?fù)渲貥?gòu)問題的求解效率,并通過MATLAB/SIMULINK 仿真驗證了本文提出方法的有效性。

2 微電網(wǎng)的多智能體強(qiáng)化學(xué)習(xí)框架

2.1 微電網(wǎng)的多智能體框架

微電網(wǎng)是由各種分布式電源、負(fù)荷、儲能裝置以及控制設(shè)備協(xié)調(diào)運(yùn)行的有機(jī)系統(tǒng)。微電網(wǎng)能夠自主的發(fā)輸配電,并具有并網(wǎng)和孤島兩種運(yùn)行模式,對主網(wǎng)彈性的增強(qiáng)具有重要的支撐作用[11]。

微電網(wǎng)具備分布式系統(tǒng)的拓?fù)浣Y(jié)構(gòu),引入多智能體系統(tǒng)（Multi-agent system,MAS）,利用MAS 的模塊化思想將微電網(wǎng)系統(tǒng)劃分為智能體結(jié)構(gòu)。這種結(jié)構(gòu)使得微電網(wǎng)中的每一個智能體都能采用最有效的方法解決特定的問題,實現(xiàn)分布式控制的目的。相比較于集中式控制,MAS 結(jié)構(gòu)更具有一定的優(yōu)勢。

2.2 多智能體強(qiáng)化學(xué)習(xí)

人工智能技術(shù)的發(fā)展推進(jìn),使得強(qiáng)化學(xué)習(xí)算法越來越被人們重視,強(qiáng)化學(xué)習(xí)的主旨思想是智能體與環(huán)境的交互作用和試錯,利用評價智能體動作好壞的獎勵值作為反饋信號,并通過多次迭代實現(xiàn)決策的優(yōu)化并最大化累積回報。

隨著智慧化建設(shè)的發(fā)展,同時面臨著系統(tǒng)結(jié)構(gòu)的復(fù)雜化、問題的多重化,單智能體強(qiáng)化學(xué)習(xí)已不滿足對一些專業(yè)領(lǐng)域問題的解決,故多智能體強(qiáng)化學(xué)習(xí)逐漸被人們研究和應(yīng)用,其基本框架如圖1 所示。系統(tǒng)中存在多個智能體與環(huán)境交互,每個智能體仍然遵循著強(qiáng)化學(xué)習(xí)的目標(biāo),追求最大的累積回報,而此時環(huán)境狀態(tài)的改變則和多有智能體的聯(lián)合動作相關(guān)。多智能體強(qiáng)化學(xué)習(xí)與MAS 框架的微電網(wǎng)緊密結(jié)合,也為智慧電網(wǎng)建設(shè)起到推進(jìn)作用。

圖1 多智能體強(qiáng)化學(xué)習(xí)基本框架

2.3 Q-learning 算法

Q-learning 算法憑借其算法模型簡單,全局搜索能力強(qiáng)、所需參數(shù)少等優(yōu)點(diǎn)被應(yīng)用于機(jī)械控制、業(yè)務(wù)管理和電力系統(tǒng)控制等多個領(lǐng)域。該算法最早是由Watkins提出的,在電力系統(tǒng)領(lǐng)域,Q-learning 算法在孤島微電網(wǎng)多電源參與協(xié)調(diào)頻率控制方面應(yīng)用較為成功,能夠利用Q-learning 算法修正下垂參數(shù),協(xié)調(diào)多個分布式電源進(jìn)行頻率恢復(fù)控制,提升孤島微電網(wǎng)的頻率抗干擾性[12]。

而對于求解電網(wǎng)拓?fù)渲貥?gòu)問題強(qiáng)化學(xué)習(xí)應(yīng)用的較少,主要原因是其模型構(gòu)建較為復(fù)雜,獎勵函數(shù)選取和動作策略確定較為困難等,甚至對于過于復(fù)雜的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),Q-learning 算法就顯現(xiàn)出災(zāi)難維數(shù)、收斂緩慢等局限性[13]。

而微電網(wǎng)以其拓?fù)浣Y(jié)構(gòu)簡單的特點(diǎn),為Q-learning算法提供了較為理想的應(yīng)用環(huán)境。

3 微電網(wǎng)故障重構(gòu)的恢復(fù)策略

3.1 智能體的劃分與獎勵值計算

根據(jù)微電網(wǎng)中智能體所處位置和功能不同,可將其劃 分 為 三 類：Load Agent、Local Agent 和Generator Agent。其中Load Agent 為與負(fù)載相連接的開關(guān)體,其獎勵值與負(fù)載恢復(fù)供電的優(yōu)先級和負(fù)載所需功率有關(guān),如式（1）所示。

式中,n 為給定微電網(wǎng)系統(tǒng)中的負(fù)載總數(shù)。

Local Agent 指給定系統(tǒng)中的所有開關(guān)體,不包括與Load Agent 和Generator Agent 相連的開關(guān)體。獎勵的格式根據(jù)Local Agent 的位置而有所不同。如式（2）所示。

Generator Agent 的狀態(tài)由給定分配系統(tǒng)的狀態(tài)預(yù)先確定的。因此,Generator Agent 不參與Q-learning 獎勵過程。

3.2 智能體動作及動作建議度的計算

由于每個智能體動作缺少對全局環(huán)境的了解,微電網(wǎng)控制中心可以利用其對全局狀況的了解,對每個智能體所要采取的動作提供建議。故本文采用了建議度的概念,如式(3)-(5)所示,其中A 表示智能體可選擇的動作集合,deg（i,a）表示智能體i 采取動作a 的建議度,其取值范圍為[-1,1],若deg（i,a）的值越接近1,則表示對智能體i 選擇動作a 的建議越強(qiáng)烈,反之亦然。式中,average（a）為智能體采取動作a 的平均值。

ε 貪心策略是強(qiáng)化學(xué)習(xí)中普遍采用的動作策略,如式（6）所示,它表示智能體在做決策時以ε 的概率隨機(jī)選擇非貪心策略,以1-ε 的概率選擇貪心策略。

式中,ε 取值范圍為[0,1],本文取0.4,n 表示可選取的動作數(shù)。

對于智能體接收到的建議度deg（i,a）,可用η 表示智能體可接受建議的程度大小,η 取值范圍為[0,1]。智能體并根據(jù)β、π（a）和deg（i,a）對策略進(jìn)行更新,如式(7)-(8)所示。

式中,β 為任意常數(shù),Info 為智能體所能接收的消息數(shù)量,π'（a）為更新后的策略值。

智能體i 每次與環(huán)境交互,都會根據(jù)當(dāng)前環(huán)境狀態(tài)選擇動作,并獲得一定獎勵值,即在狀態(tài)sk做出動作ak,并到達(dá)狀態(tài)sk+1,獲得獎勵Reward（i,a）,Q 函數(shù)值為智能體i 動作前的Q 值與動作后獎勵折扣后的和,如式(9)所示。

3.3 電壓、電流約束

在仿真過程中應(yīng)約束線路電壓在額定電壓的±5%范圍內(nèi),線路電流應(yīng)小于給定配電系統(tǒng)中其線路額定電流的110%,即式（10）所示。

式中,Vi為線路實際電壓,VN為線路額定電壓。Ii為線路實際電流,IN為線路額定電流。

4 仿真及結(jié)果分析

為分析本文求解故障恢復(fù)策略方法的可行性與最優(yōu)性,搭建微電網(wǎng)系統(tǒng)模型,如圖2 所示,其結(jié)構(gòu)參數(shù)如表1 所示。對本文設(shè)置4 種場景,求解故障恢復(fù)策略并模擬仿真,其求解結(jié)果如表2 所示。

圖2 微電網(wǎng)模型

表1 微電網(wǎng)元件參數(shù)

場景0：正常運(yùn)行；

場景1：主網(wǎng)端故障斷開聯(lián)接；

場景2：分布式電源故障退出運(yùn)行；

場景3：負(fù)荷端故障斷電隔離。

表2 分別記錄了4 種場景下求解的開關(guān)序列號和平衡點(diǎn)時刻的總有功功率,圖3 分別顯示了四種場景下的微電網(wǎng)內(nèi)部總有功功率的供需平衡關(guān)系,其中PG1和PL1為正常運(yùn)行時微電網(wǎng)的供需功率曲線,P和P為故障后拓?fù)渲貥?gòu)后的供需功率曲線。

表2 不同故障場景下的求解結(jié)果

場景0 為微電網(wǎng)正常運(yùn)行狀態(tài),由其開關(guān)序列號可知,開關(guān)S3、S6 為常開狀態(tài),其它開關(guān)為常閉狀態(tài),微電網(wǎng)正常狀態(tài)下的總功率供需狀態(tài)如圖3 中虛線PG1和PL1所示。在場景1 中,由于主網(wǎng)端故障,開關(guān)S12 為斷開狀態(tài),為滿足微電網(wǎng)電能供需平衡,負(fù)載11 被切除即開關(guān)S11 斷開,此時微電網(wǎng)內(nèi)部維持一個新的平衡點(diǎn),如圖3（a）中實線P和P所示,新平衡點(diǎn)的總功率為221kW。在場景2 的狀況下,由于分布式電源故障退出運(yùn)行,開關(guān)S14 斷開,考慮到功率的供需平衡,優(yōu)先級較低的負(fù)載11 則被切除即開關(guān)S11 斷開,同時還要滿足電壓電流約束將開關(guān)S5 斷開,此時微電網(wǎng)總功率新的平衡點(diǎn)為221kW,如圖3（b）中實線P和P所示。場景3 中,負(fù)荷端故障斷電隔離,開關(guān)S10 斷開,其它開關(guān)不動作,此時微電網(wǎng)新的功率平衡點(diǎn)為185kW,如圖3（c）中實線P和P所示。

圖3 微電網(wǎng)總功率供需關(guān)系圖

5 結(jié)論

本文主要針對求解微電網(wǎng)災(zāi)后拓?fù)渲貥?gòu)最優(yōu)策略的問題展開研究。通過算法理論計算及推導(dǎo),仿真建模與驗證,并根據(jù)仿真結(jié)果分析得出以下結(jié)論：

5.1 對Q-learning 算法的改進(jìn)能夠有效的與微電網(wǎng)模型相適應(yīng),該算法不需要全局的獎勵信號,智能體在不斷試錯中學(xué)習(xí),求得最優(yōu)開關(guān)序列號。

圖4 負(fù)載9 運(yùn)行狀態(tài)圖

5.2 該算法求解的結(jié)果,能夠保障微電網(wǎng)在故障發(fā)生時快速的維持其內(nèi)部總有功功率供需平衡,且保障重要負(fù)荷在故障發(fā)生時仍穩(wěn)定運(yùn)行,波動幅度較小,確保重要負(fù)荷的穩(wěn)定性。

總之,Q-learning 算法與微電網(wǎng)的相結(jié)合,可以在災(zāi)害事件發(fā)生后重新改變微電網(wǎng)內(nèi)部拓?fù)浣Y(jié)構(gòu),維持微電網(wǎng)的穩(wěn)定運(yùn)行,保證重要負(fù)荷的不間斷供電,增強(qiáng)了微電網(wǎng)彈性,提升了對極端災(zāi)害事件的抵御能力。