強化學習在自動發(fā)電控制中的研究進展與展望

解立輝 席 磊

(三峽大學 電氣與新能源學院, 湖北 宜昌 443002)

電力系統(tǒng)的頻率控制可分為一次、二次和三次調(diào)頻.一次調(diào)頻是指利用系統(tǒng)固有的負荷頻率特性及發(fā)電機組的調(diào)速器,來阻止系統(tǒng)頻率偏離標準的調(diào)節(jié)方式,即通過發(fā)電機組的調(diào)速器跟蹤本地頻率信號完成一個“小”閉環(huán)控制;二次調(diào)頻是在各控制區(qū)域采用集中的計算機控制,以保持發(fā)電功率與負荷功率的平衡,即通過調(diào)度端AGC 實時控制器跟蹤全網(wǎng)頻率和聯(lián)絡線功率偏差后,將調(diào)節(jié)指令下發(fā)給電廠PLC 完成一個“大”閉環(huán)控制,機組功率分配常采用簡單的比例法,機組容易偏離經(jīng)濟運行點;三次調(diào)頻是對發(fā)電機組的有功功率進行經(jīng)濟分配,即對電網(wǎng)的有功發(fā)電功率進行超短期經(jīng)濟調(diào)度.

AGC是電力系統(tǒng)的基礎問題,是實現(xiàn)頻率無差調(diào)節(jié)的關鍵,一般以經(jīng)典的IEEE 標準兩區(qū)域負荷頻率控制(load frequency control,LFC)模型為基礎的頻域線性模型進行研究,并不考慮電網(wǎng)拓撲,經(jīng)過多年發(fā)展已較為成熟.各國AGC 基本是以參數(shù)固定的PI(proportional integral)控制或線性控制為核心,二、三次調(diào)頻分開設計,性能雖能滿足一般工程需要,但仍存在3個難題:(1)在調(diào)度端AGC控制器無法有效解決機組響應的大時滯,長期存在火電AGC 機組調(diào)節(jié)次數(shù)高和頻繁反調(diào),導致機組調(diào)節(jié)能耗高、壽命下降;(2)在調(diào)度端AGC 總調(diào)節(jié)功率指令無法實現(xiàn)“秒級”動態(tài)優(yōu)化分配,導致不同類型機組動態(tài)互補調(diào)節(jié)特性無法充分利用,在系統(tǒng)內(nèi)快速調(diào)節(jié)資源耗盡時,CPS(control performance standard)性能急劇變壞;(3)隨著間歇性新能源的大規(guī)模接入,對傳統(tǒng)集中式確定性能源形成“擠出”效應,電網(wǎng)運行呈現(xiàn)更強的分散性、多樣性和隨機性特征,如何有效利用新能源與柔性負荷參與電網(wǎng)調(diào)節(jié)是一個巨大挑戰(zhàn).

對不確定性進行量化是機器學習的基礎,傳統(tǒng)認為機器學習模型是一種函數(shù),將它與某些數(shù)據(jù)進行擬合從而進行預測,就像借助數(shù)據(jù)擬合曲線一樣.廣義的機器學習就是機器對世界進行建模,這個模型對不確定性進行量化,不確定性的積分就是概率.故機器是建立在概率基礎上的,它對世界的理解本身就包含不確定性.隨著它“看”到的數(shù)據(jù)越來越多,不確定性通常會降低.換句話說,機器從數(shù)據(jù)中學到了一些東西.這一思想在“貝葉斯定理”這一優(yōu)雅的數(shù)學理論中得以體現(xiàn).故認為貝葉斯及“通過概率量化不確定性”,正是機器學習的基石.

1 強化學習(RL)在AGC中的應用

對于融入大量具有隨機性新能源的電力系統(tǒng),及大時延、無法準確建模且動態(tài)優(yōu)化決策實時性強的龐大系統(tǒng),相較于經(jīng)典優(yōu)化方法,機器學習是一個有效的手段.機器學習是一個算法范疇,其本質(zhì)[1]是找到一個目標函數(shù)f,使其成為輸入變量X到輸出變量Y之間的最佳映射:Y=f(X).機器學習主要分4類:有監(jiān)督式學習,無監(jiān)督學習,半監(jiān)督式學習和強化學習(reinforcement learning,RL).RL 在電力調(diào)度控制決策中頗具潛力.

AGC是動態(tài)的多級決策問題,可視為非馬氏環(huán)境下的決策過程,以最終實現(xiàn)全系統(tǒng)內(nèi)發(fā)電出力和負荷功率相匹配.李紅梅等[2]將RL 引入到水火混雜AGC系統(tǒng)中,針對水輪機非線性特點,將環(huán)境知識轉(zhuǎn)化成RL 的先驗知識以加快AGC 的調(diào)整速度.在AGC的隨機最優(yōu)控制中,同樣可應用RL,如與模型無關且具有先驗知識的Q 學習[3-4]、基于平均報酬模型的全過程R(λ)學習[5-6]和在策略SARSA 算法[7].有學者將多agent RL[8]和深度強化學習[9]用于互聯(lián)大電網(wǎng)的AGC,以有效提高由于新能源并網(wǎng)所帶來的隨機擾動以至電網(wǎng)越來越差的控制性能.此外,RL還可與多目標優(yōu)化策略相結合用于解決AGC 問題[10].Q 學習與深度學習相結合可形成深度Q 學習用于強魯棒性AGC控制器的設計[11].有關學者還將R(λ)學習用于孤島微網(wǎng)的AGC.總之,在AGC 中引入RL,可將CPS指標轉(zhuǎn)化為強化信號反饋給AGC系統(tǒng),能夠有效實現(xiàn)功率調(diào)節(jié)指令的在線優(yōu)化.

目前AGC 在新型電力系統(tǒng)中發(fā)展,逐漸從單agent RL 過渡到多agent RL,學者們提出并逐步豐富了智能發(fā)電控制(smart generation control,SGC)概念及算法體系,形成分布式SGC 策略.SGC 與AGC的最大區(qū)別在于,無論是AGC總調(diào)節(jié)功率動態(tài)優(yōu)化控制(即通過AGC控制器來獲取總調(diào)節(jié)功率,下文亦稱“控制”),還是AGC 總調(diào)節(jié)功率指令動態(tài)優(yōu)化分配(即機組功率動態(tài)優(yōu)化分配,下文亦稱“分配”),都將用智能方法取代原有的PI控制及固定比例分配法(按各機組可調(diào)容量裕度的比例進行分配,簡稱PROP),即從整體到分支實現(xiàn)真正意義的智能化.以近期學者們的研究為主線來講述AGC 發(fā)展歷程(如圖1所示).即從單agent到多agent,從集中式AGC(centralized-automatic generation control,CAGC)、分布式AGC(distributed-automatic generation control,D-AGC)、分層分布式SGC(hierarchical and distributed-SGC,HD-SGC)分析其發(fā)展歷程.

圖1 AGC發(fā)展歷程

2 集中式AGC(C-AGC)策略

目前AGC系統(tǒng)(如圖2所示)是集中式的,其決策系統(tǒng)位于省調(diào)EMS、電廠PLC或微網(wǎng)EMS內(nèi),由“控制”及“分配”兩個關鍵部分構成.

圖2 C-AGC系統(tǒng)結構

2.1 基于單agent RL“控制”與PROP方法“分配”的C-AGC策略

對C-AGC 系統(tǒng)的總調(diào)節(jié)功率控制,即AGC 控制器,目前國內(nèi)采用南瑞EMS自帶的離線優(yōu)化參數(shù)PI控制器.由于火電機組響應時間長,PI控制器對此類時變大時滯系統(tǒng)處理效果差,導致機組頻繁調(diào)節(jié)、甚至反調(diào),即前述難題(1).

學者們采用了例如Q、Q(λ)、Sarsa(λ)、R(λ)、ERL等單agent RL作為C-AGC策略的“控制”(“分配”為PROP法),對C-AGC控制器進行了持續(xù)性改進,顯著提高了CPS性能.周斌等[12]采用Q 學習對AGC進行求解,證明其能夠提高AGC 系統(tǒng)的魯棒性.余濤等[13-14]提出了具有“松弛”策略的Q(λ)及SARSA(λ)方法,有效解決了火電機組大時滯問題,改善了AGC控制策略不當帶來的頻繁調(diào)節(jié)和反調(diào)問題.余濤等[15]提出了基于平均報酬的R(λ)來求解AGC,克服了RL需另外搭建模型來進行預學習的嚴重缺陷,與Q(λ)相比收斂速度更快,CPS指標更優(yōu).YIN L F等[16]將“人類情感”函數(shù)與Q 學習結合形成了情感RL,通過模擬人類在處理復雜情況下的非線性情感函數(shù),對Q 學習“學習率、獎勵函數(shù)和動作選擇”進行了修正,顯著改進了CPS指標.在廣東電網(wǎng)上的仿真結果見表1.

表1 集中式AGC總功率動態(tài)優(yōu)化控制性能指標對照表

上述方法基本覆蓋了Q 框架體系所衍生的經(jīng)典單agent RL,Q、Q(λ)和R(λ)屬于離策略,而Sarsa(λ)屬于在策略.從對同一個研究對象(廣東電網(wǎng))的CPS效果來看,所有RL 應用于廣東中調(diào)的控制器,發(fā)電機組的調(diào)節(jié)和反調(diào)次數(shù)明顯下降,此效果在隨機性變強后尤其明顯;在RL諸多算法中,R(λ)和Sarsa(λ)差別已很小,但采用在策略改進后,有效避免了搜索大幅擾動狀態(tài),收斂速度進一步提升.

2.2 基于PI算法“控制”與單agent RL“分配”的CAGC策略

目前關于機組功率分配的文獻相對較少,省調(diào)采用的南瑞AGC系統(tǒng),其“控制”為PI算法,“分配”為PROP法.由于AGC調(diào)節(jié)周期4～8 s,“控制”采用基于模型的經(jīng)典方法根本無法滿足其實時優(yōu)化的收斂性.學者們嘗試用如遺傳算法等作為“控制”來解決此問題,但在實時性要求下,只能完成一些PROP模式下的等比例優(yōu)化,無法實現(xiàn)復雜環(huán)境下的動態(tài)優(yōu)化.實際中這種無動態(tài)優(yōu)化的分配方式易優(yōu)先把調(diào)節(jié)功率指令分配給動態(tài)調(diào)節(jié)性能優(yōu)異的水電,而對于大量調(diào)節(jié)緩慢的火電卻未加有效利用.故對于火電占優(yōu)的電網(wǎng),易出現(xiàn)在快速調(diào)節(jié)機組裕度耗盡后性能急劇變壞的情況,電網(wǎng)公司由于CPS不合格被罰電量每年高達數(shù)億度,這一直是各省調(diào)心中的一個“痛”.

RL的特點是與環(huán)境互動和在線學習,實現(xiàn)長期運行環(huán)境中獲得的總收益最大.故學者們采用Q、Q(λ)和分層Q 等單agent RL 作為“分配”部分的方法(“控制”仍為PI算法),余濤等[17]提出基于Q 學習的“分配”方法,提高了系統(tǒng)的適應性和CPS性能.余濤等[18]提出基于Q(λ)學習的“分配”方法,能有效解決火電大時滯環(huán)節(jié)帶來的延時回報問題,收斂時間較Q學習縮短50%以上.余濤等[19]提出基于分層Q(λ)學習的“分配”方法,通過引入一個裕度協(xié)調(diào)因子來協(xié)調(diào)AGC和電廠PLC層的兩層動態(tài)分配器.上述文獻表明此C-AGC策略提高了系統(tǒng)實時優(yōu)化的收斂性、魯棒性和CPS性能.

從表2得出集中決策式AGC總功率動態(tài)分配器通過各類算法調(diào)出各機組實際發(fā)電曲線,RL 在負荷急劇變化時依賴水電,而在系統(tǒng)負荷平穩(wěn)階段會智能地緩慢“釋放”一部分功率讓火電來承擔,繼而為下一次負荷快速急劇變化做好準備.

表2 集中決策式AGC總功率動態(tài)分配器性能指標對照表

3 分布式AGC(D-AGC)控制策略

C-AGC系統(tǒng)模式下無論“控制”亦或“分配”均采用單agent RL.當AGC 機組規(guī)模增加時,會暴露出控制效果下降和收斂時間延長等缺陷,同時加重AGC執(zhí)行超短期時間尺度控制與調(diào)度任務的負擔.且僅依靠單agent獨立學習無法實現(xiàn)各區(qū)域的信息共享和交互協(xié)作,會降低AGC 系統(tǒng)的綜合控制性能.同時,近年來新能源及負荷大量接入,電力系統(tǒng)EMS逐步走向分散自治的模式.故為解決難題(3),學者們開始從C-AGC 系統(tǒng)到D-AGC 系統(tǒng)轉(zhuǎn)變.DAGC系統(tǒng)框架如圖3所示.

圖3 D-AGC系統(tǒng)框架

對比圖2、3可見,D-AGC系統(tǒng)不需做C-AGC系統(tǒng)調(diào)度端“集中協(xié)調(diào)”工作,系統(tǒng)被分割為多個分布式區(qū)域,各區(qū)域都有一個異構屬性的“大腦”(智能控制器),通過多agent博弈來獲取各分布式區(qū)域的調(diào)節(jié)功率,而“分配”采用PROP法;亦或各區(qū)域“大腦”均為PI控制,而“分配”采用動態(tài)優(yōu)化分配的智能方法.C-AGC系統(tǒng)在結構形式上為集中式控制,只有一個“大腦”,無法實現(xiàn)分布式多agent 協(xié)同.這也是C-AGC系統(tǒng)與D-AGC系統(tǒng)的最大區(qū)別.

將分布在輸電網(wǎng)和配電網(wǎng)層級的集中式水、火、氣、核等確定型能源、分布式風、光、海洋等隨機型能源、可控負荷、靜止/移動儲能等資源充分利用起來,完成穩(wěn)態(tài)并列運行時的最優(yōu)發(fā)電控制及故障解列式的孤島獨立頻率支撐的雙重任務.宋成銘[20]提出了一種三級架構多智能體系統(tǒng)實現(xiàn)對AGC 和AVC 的協(xié)調(diào)控制,提高有功、無功控制的自主應變能力和分布式控制能力.強化學習應用于AGC 方面,學者們分別從“控制”和“分配”角度提出了適用于D-AGC系統(tǒng)的基于多agent RL的D-AGC策略.

3.1 基于多agent RL“控制”與PROP方法“分配”的D-AGC控制策略

RL通過試錯所有可能動作找出最優(yōu)解,由于參數(shù)設置簡單、普適性強,其在眾多方法里具有很強的競爭力.圖3所述為多個單agent構成的群體智能控制器,根據(jù)agent特征,分為同構、異構.對于異構多agent系統(tǒng),學者們將博弈論與Q學習結合,形成了基于多個單agentRL 的隨機對策算法體系,如圖4所示.

圖4 群體Q 學習的隨機對策論算法體系

這種基于多個單agent RL 的“偽”多agent RL理論應用遇到了新的挑戰(zhàn).所謂“偽”:首先為多個單agent RL 定義最優(yōu)的共有學習目標較困難;其次各agent都需要記錄其他agent的動作(穩(wěn)定性差),才能與其他agent交互以獲得聯(lián)合動作.如此差的穩(wěn)定性導致多個單agent RL 收斂速度慢,這也推動了多agent RL的快速發(fā)展.

AGC可描述為非馬爾可夫環(huán)境下的異構多agent復雜隨機動態(tài)博弈問題,基于RL 的多agent系統(tǒng)隨機博弈(MAS-SG)理論可解決此問題.Greenwald A.等[21]提出了基于多agent RL的CEQ 方法,根據(jù)預設的均衡選擇函數(shù)在線獲得獎勵值,從而收斂到最優(yōu)均衡.當機組數(shù)不多時,上述RL 都能適應強隨機環(huán)境.隨著區(qū)域及機組數(shù)大量增多時,狀態(tài)和動作維度過高,使得agent很難遍歷所有情況,導致算法無法學到合理的策略,存在維數(shù)災問題.學者們發(fā)現(xiàn),將深度神經(jīng)網(wǎng)絡作為近似函數(shù)[22-25]引入到RL 中是一種解決維數(shù)災問題的有效方法.

隨著“雙碳”目標倒逼能源互聯(lián)網(wǎng)加快發(fā)展,從頻率控制的角度,萬物互聯(lián)將給電網(wǎng)帶來更強的隨機擾動及更多的維數(shù)災.席磊等[26]融合DDQN-AD 與比例經(jīng)驗回放法,提出PRDDQN-AD[27],對采樣的數(shù)據(jù)單元進行重要性評估,在避免獲取的稀缺經(jīng)驗數(shù)據(jù)可能被快速遺忘的同時,提高學習效率.

目前所查文獻關于微網(wǎng)或微網(wǎng)群協(xié)同的AGC算法相對較少.綦曉[28]針對多區(qū)域互聯(lián)微網(wǎng)系統(tǒng),結合線性自抗擾算法和基于原對偶梯度算法的多agent系統(tǒng),提出了分布式優(yōu)化算法.曹倩[29]在微網(wǎng)分層控制結構的框架下,提出多agent自適應算法,使頻率恢復額定值.衣楠[30]在Q 學習基礎上提出了面向混合交互環(huán)境的基于MAS 和元胞自動機的微網(wǎng)分布式協(xié)調(diào)自趨優(yōu)控制策略.李楠芳[31]提出基于多agent微電網(wǎng)控制框架的多agent協(xié)作學習算法.無論是大電網(wǎng)亦或微網(wǎng)的協(xié)同方法,傳統(tǒng)RL 均有一個缺陷,即在隨機環(huán)境中易出現(xiàn)動作值在探索過程中的“高估”現(xiàn)象,導致決策質(zhì)量低.且上述算法均屬于離策略,收斂速度慢且精度低.

Kristopher[32]通過引入?yún)?shù)σ統(tǒng)一離策略與在策略的優(yōu)缺點,提出了基于“將各種看似不同的算法思想聯(lián)合統(tǒng)一以產(chǎn)生更好的算法”思想的Q(σ)算法,能夠解決上述離策略固有的“收斂”問題.席磊等[33]在Q(σ)基礎上融入資格跡與雙重學習,提出了一種基于多步統(tǒng)一RL的多agent協(xié)同DQ(σ,λ)算法.解決RL的時間信度分配問題,且“后向估計”機理提供了一個逼近最優(yōu)值函數(shù)Q*的漸進機制,可提高AGC機組功率調(diào)節(jié)快速性.

在超大規(guī)模新能源接入模式下,D-AGC 策略的“控制”部分采用性能優(yōu)異的多agent協(xié)同算法,這種無動態(tài)優(yōu)化“分配”的AGC性能仍有提升空間.

3.2 基于PI算法“控制”與多agent RL“分配”的DAGC控制策略

圖3的D-AGC系統(tǒng)“分配”因涉及到大量同構多agent的動態(tài)計算,比圖2 的C-AGC 系統(tǒng)要復雜得多,實時性的困難更加難以克服.故學者們提出了適應D-AGC系統(tǒng)的“分配”RL 方法,例如HCEQ[34]、協(xié)同一致性(collaborative consensus,CC)[35]、RCCA[36]、CTQ[37]等,對機組功率進行動態(tài)優(yōu)化分配.

表3給出了近年學者們研究的具有動態(tài)優(yōu)化的“分配”方面的算法總結,均以廣東電網(wǎng)為例進行分析計算.從HQ(λ)、HCEQ、CCA、RCCA 到 最 新 的CTQ,實現(xiàn)了機組功率動態(tài)優(yōu)化分配,并持續(xù)性提升了廣東電網(wǎng)CPS性能,枯水期比現(xiàn)用PROP 模式調(diào)節(jié)總成本下降了30.3%,豐水期更是發(fā)揮了RL自主探索最優(yōu)策略的能力,實現(xiàn)了頻率偏差減少14.4%、調(diào)節(jié)總成本下降35.6%.

表3 分布式與集中式總功率指令動態(tài)優(yōu)化分配指標對照表

4 分層分布式SGC(HD-SGC)策略

在超大規(guī)模新能源接入模式下,即便D-AGC 策略的“控制”部分采用性能優(yōu)異的多agent協(xié)同算法,這種無動態(tài)優(yōu)化“分配”的AGC 仍有很大提升空間.D-AGC策略非最優(yōu),D-AGC系統(tǒng)須在策略核心技術上實現(xiàn)重大突破,以適應大規(guī)模分布式多區(qū)域模式下的復雜環(huán)境.“控制”不僅具有自學習和自尋優(yōu)能力的多agent協(xié)同,且“分配”應與此同時具有動態(tài)優(yōu)化協(xié)同模式,“SGC”應運而生.

SGC策略與D-AGC策略所應用的AGC系統(tǒng)的結構相同,均為D-AGC 系統(tǒng)結構,二者最大區(qū)別在于“控制”及“分配”兩部分,SGC 策略將用智能方法取代原有的PI控制及PROP法.

談竹奎等[38]研究了需求側響應中的柔性溫控負荷控制問題,提出了將柔性溫控負荷融入分布式分層控制策略,減輕響應事件中管理單元的通信負擔.席磊等[39]提出一種基于爬升時間一致性的狼群捕獵HD-SGC策略,實現(xiàn)AGC總調(diào)節(jié)功率動態(tài)優(yōu)化控制的同時,機組功率動態(tài)優(yōu)化分配,與C-AGC 及D-AGC策略相比,具有更優(yōu)的CPS性能.席磊等[40]為從配網(wǎng)角度求解SGC,提出了基于成本一致性的狼群捕獵HD-SGC 策略,相較其他方法具有更低的發(fā)電成本.進一步驗證“領導-跟隨”思想在求解SGC方面不僅大電網(wǎng)有效,配網(wǎng)同樣有效.

隨著新能源持續(xù)不斷的大規(guī)模接入,其收斂速度逐漸下降.究其原因,無非是“控制”和“分配”的問題.上述策略的“分配”所采用的協(xié)同一致性(collaborative consensus,CC)只是簡單的一階一致性算法,其對優(yōu)化模型依賴較強且易陷入局部最優(yōu)解;可查文獻,關于RL在AGC“控制”的應用,動作選取均為單步貪婪法[41],限制了動作策略最優(yōu)選擇,降低了算法收斂速度.在HD-SGC模式基礎上,尋求性能更優(yōu)的“控制”及“分配”策略或模式.

針對“分配”部分“一階一致性算法”問題,張孝順等[42]曾提出CC 遷移Q 學習算法,對一致性和遷移Q 學習進行高度融合.而Q 學習不依賴于數(shù)學模型,只需獲取外部環(huán)境的實時狀態(tài)和實時反饋,即可計算出agent當前的最優(yōu)動作策略.

針對“控制”部分“單步貪婪”問題,Efroni Y等[43]提出了具有多步前瞻屬性的RL算法,對選取多步動作的貪婪策略進行預見性的多次迭代更新.相關研究也已證明多步貪婪策略在魯棒性及收斂性能上均優(yōu)于單步貪婪策略[44-46].李嘉文[47]提出了一種基于追蹤-探索策略的大規(guī)模多智能體深度確定性策略梯度算法,引入追蹤-探索和集成學習策略等多種技巧,引導算法收斂防止陷入局部最優(yōu),智能體僅根據(jù)自身區(qū)域狀態(tài)即可得出全局優(yōu)化決策.

有學者在VWPC-HDC 基礎上進行改進,在“控制”部分采用融入多步貪婪策略迭代的Q 學習,即多步貪婪Q 學習(MSGQ)來獲取總調(diào)節(jié)功率指令;“分配”部分將HQL(λ)算法與CC 融合,提出了兩層功率分配模式的HQCC 方法,對機組功率進行動態(tài)優(yōu)化分配,進而形成一種將具有多步前瞻屬性的貪婪控制算法與具有自學習能力的功率優(yōu)化分配算法相融合的多層AGC策略[48](ML-AGC).

“控制”部分,MSGQ 通過對將來多步動作選取的貪婪策略進行預見性的多次迭代更新,從長期的角度以期累積折扣報酬總和最大,進而快速收斂至最優(yōu)策略.“分配”部分通過構建兩層功率分配模式,將具有交互協(xié)同和自學習特點的HQCC 作為多層“分配”算法,提高了CC 在復雜隨機環(huán)境的適應性.群體Q學習的隨機對策論算法體系如圖5所示.

圖5 群體Q 學習的隨機對策論算法體系

5 結論與展望

AGC是建設大規(guī)模電力系統(tǒng),實現(xiàn)自動化生產(chǎn)運行控制的一項最基本、最實用的功能.隨著大規(guī)模新能源的接入,傳統(tǒng)調(diào)節(jié)手段已不能滿足新型電力系統(tǒng)的要求,強化學習在參數(shù)設置方面具有簡單性及普適性,推動了強化學習在AGC 方面的快速發(fā)展.本文從強化學習在AGC 中的應用角度出發(fā),分別為傳統(tǒng)集中式AGC策略、分布式AGC 策略、分層分布式SGC策略,闡述了其研究歷程.

集中式AGC策略主要對比了Q 框架體系所衍生的經(jīng)典單agent RL 控制策略,解決火電機組響應時間長,傳統(tǒng)的PI控制器對此類時變大時滯系統(tǒng)處理效果差,導致機組頻繁調(diào)節(jié)、甚至反調(diào)的問題.隨著新能源的規(guī)?；尤?集中式AGC 控制策略出現(xiàn)控制效果下降和收斂時間延長等問題,降低AGC 系統(tǒng)的綜合控制性能.隨著電力系統(tǒng)EMS逐步走向分散自治的模式,逐漸由集中式演變?yōu)榉植际紸GC策略.

分布式AGC策略分別研究了“控制”部分的博弈論與Q 學習結合隨機對策算法體系,“分配”部分的HCEQ、協(xié)同一致性(collaborative consensus,CC)、RCCA、CTQ 等算法,實現(xiàn)機組功率進行動態(tài)優(yōu)化分配,發(fā)揮RL 自主探索最優(yōu)策略的能力,減小頻率偏差與調(diào)節(jié)成本.

最后在超大規(guī)模新能源的接入背景下,D-AGC系統(tǒng)須在策略核心技術進行改進,“控制”及“分配”采用智能方法取代原有的PI控制及PROP法,主要介紹了狼群捕獵、遷移Q 學習算法、貪婪Q 學習(MSGQ)等智能算法,通過多智能體參與AGC 的系統(tǒng)運行,提高智能電網(wǎng)的運行穩(wěn)定性.

隨著電網(wǎng)規(guī)模升級、新能源比重的進一步增大,結合強化學習在AGC中的研究現(xiàn)狀對以下方面進行討論與展望,主要有4點:

1)強化學習的可解釋性.目前強化學習等人工智能算法與自動發(fā)點控制的結合還在研究階段,并沒有在實際工程中進行大規(guī)模推廣,一個重要原因是強化學習等人工智能算法的可解釋性與強功能性并沒有做到完全兼容.安全可靠往往是工程應用的先決條件,因此對于人工智能黑盒模型的研究探索,提高對于強化學習的物理可解釋性,有助于提高強化學習在AGC的可靠性和安全性.

2)大規(guī)模區(qū)域電網(wǎng)模型.隨著互聯(lián)電網(wǎng)規(guī)模增大,需要考慮到拓撲結構以及狀態(tài)空間等多方面的因素就會越多,從而導致建模難度呈幾何倍數(shù)提高,后續(xù)研究需進一步拓展區(qū)域互聯(lián)電網(wǎng)模型.

3)強化學習探索過程的估值范圍.RL 均存在動作值在探索過程中的“高估”和“低估”問題,解決辦法是在雙Q 學習基礎上引入加權思想,旨在單估計量法的高估和雙估計量法的低估之間進行權重平衡,從而使多agent可以既不低估、也不高估、適度樂觀地選擇和探索動作值.同時融入時延更新策略來減少Q(mào)值更新的次數(shù),提高了多agent的更新效率.

4)強化學習與深度學習的融合.傳統(tǒng)強化學習算法存在決策精度低和收斂性能差的缺陷,在復雜的新型電力系統(tǒng)背景下,當狀態(tài)空間和動作空間龐大復雜或應用場景連續(xù)時,強化學習的值函數(shù)由查表法實現(xiàn),有一定失效的概率,進而令迭代收斂困難.需進一步探索深度與強化結合方法,從而將更智能的控制策略應用于AGC系統(tǒng)中.