基于相關(guān)均衡強化學習協(xié)同算法的多區(qū)域無功優(yōu)化研究

吳雯美,陸江,譚敏,肖少華,韓傳家,郭樂欣,余濤

（1.興義供電局，貴州省興義市 562400；2.華南理工大學，廣東省廣州市 510640）

基于相關(guān)均衡強化學習協(xié)同算法的多區(qū)域無功優(yōu)化研究

吳雯美1,陸江1,譚敏2,肖少華2,韓傳家2,郭樂欣2,余濤2

（1.興義供電局，貴州省興義市 562400；2.華南理工大學，廣東省廣州市 510640）

摘要：為了適應智能電網(wǎng)分布式發(fā)展趨勢，提出一種基于相關(guān)均衡強化學習（CEQ）的分區(qū)多目標無功優(yōu)化算法，以解決數(shù)據(jù)海量、通信瓶頸、協(xié)調(diào)互動等相關(guān)問題。同時為響應國家低碳環(huán)保戰(zhàn)略，將碳排放引入到電力系統(tǒng)無功優(yōu)化問題中，將其作為無功優(yōu)化的目標之一。本文采用CEQ算法合理配置電力系統(tǒng)中控制變量，通過區(qū)域間的相關(guān)均衡博弈進行信息的溝通與共享實現(xiàn)分區(qū)多目標無功優(yōu)化問題的尋優(yōu)，有效解決了區(qū)域間信息共享機制受限和維數(shù)災難問題。IEEE標準9節(jié)點電力系統(tǒng)仿真算例表明，通過預學習與在線學習的結(jié)合該算法能有效快速的進行多區(qū)域無功優(yōu)化問題求解。

關(guān)鍵詞：多區(qū)域無功優(yōu)化；低碳電力；相關(guān)均衡；強化學習

0 引言

電力系統(tǒng)無功優(yōu)化，是在已知系統(tǒng)結(jié)構(gòu)參數(shù)、負荷以及滿足約束條件的前提下，通過對變壓器分接頭、無功補償設備的投入容量、發(fā)電機機端電壓等控制變量的優(yōu)化計算，使系統(tǒng)的某一個或多個性能指標達到最優(yōu)時的運行控制方案[1]。在數(shù)學上，無功優(yōu)化屬于非線性混合整數(shù)規(guī)劃問題[2]。

隨著間歇性可再生能源的大量接入，電力系統(tǒng)正向著復雜化、非線性化的大系統(tǒng)發(fā)展，數(shù)據(jù)海量、通信瓶頸、協(xié)調(diào)互動問題也隨之產(chǎn)生[3]。由于地理位置分布廣泛而引起的高信息交換難度和成本問題，使得信息不可能全部送到控制中心進行集中決策[4]?，F(xiàn)有的無功優(yōu)化算法如傳統(tǒng)的無功優(yōu)化算法如線性規(guī)劃、非線性規(guī)劃方法，以及一些基于人工智能的現(xiàn)代無功優(yōu)化算法，如遺傳算法[5]、量子遺傳[6]、粒子群算法[7]、蜂群算法[8]等，都需要提前知道全網(wǎng)的全局信息再進行集中優(yōu)化，難以應對大數(shù)據(jù)、通信瓶頸帶來的“維數(shù)災”以及協(xié)調(diào)互動問題，因此需要提出一種適用于新形勢下的無功優(yōu)化算法。

另外，隨著全球氣候變暖等現(xiàn)象越來越受關(guān)注，“低碳生活”理念逐步深入人心。我國碳排放很大一部分來自于消耗化石能源較多的電力行業(yè)，因而，低碳電力技術(shù)研究對于應對全球氣候變暖有著重要的現(xiàn)實意義，如低碳電力系統(tǒng)規(guī)劃與運行[9]、低碳電力調(diào)度[10]。因此，本文從低碳電力的角度出發(fā)，將電網(wǎng)側(cè)碳排放與無功優(yōu)化問題相結(jié)合，在無功優(yōu)化模型的目標函數(shù)中引入電網(wǎng)側(cè)碳排放。

綜上分析，針對智能電網(wǎng)中通信瓶頸帶來的信息不能全部共享到調(diào)控中心，給集中式無功優(yōu)化的信息收集造成限制，區(qū)域內(nèi)“自治”、區(qū)域間“協(xié)調(diào)”是解決該問題的有效策略。因此本文建立分區(qū)協(xié)同無功優(yōu)化模型，提出相關(guān)均衡強化學習（correlated Q-learning，CEQ）算法，通過區(qū)域之間的狀態(tài)-動作值函數(shù)矩陣信息交互和相關(guān)均衡合作博弈，實現(xiàn)多區(qū)域無功優(yōu)化。

1　電網(wǎng)側(cè)碳排放模型

目前對電力行業(yè)碳排放的統(tǒng)計主要集中在發(fā)電側(cè)，以宏觀的方式通過發(fā)電側(cè)化石能源的消耗轉(zhuǎn)換得來的，而電網(wǎng)側(cè)碳排放則是將碳排放與電力系統(tǒng)潮流計算相結(jié)合，類比潮流分析得到與潮流類似的電網(wǎng)側(cè)碳排放流分布。與潮流不同的是，電網(wǎng)側(cè)碳排放流是一種依附于電網(wǎng)潮流而存在的，用于表征電力系統(tǒng)網(wǎng)架中任一支路碳排放的虛擬網(wǎng)絡流，可以理解為是對支路潮流添加的碳排放標簽[11]。電網(wǎng)側(cè)碳排放量應滿足與發(fā)電側(cè)碳排放量總量相等的原則。

設一網(wǎng)絡N有n個節(jié)點，h個發(fā)電機節(jié)點，t條支路，連接節(jié)點i和節(jié)點j的支路為Lij。

對于無損網(wǎng)絡，在潮流分布已知的情況下，Pij=Pji，那么發(fā)電機節(jié)點k對節(jié)點i的注入有功貢獻Pik可描述為：

式中：PGk為發(fā)電機節(jié)點k的輸出有功功率；αik表示發(fā)電機節(jié)點k對節(jié)點i的注入有功貢獻率，具體推導過程參見文獻[12]。

同理從節(jié)點i的總有功注入成分來看，發(fā)電機節(jié)點k對節(jié)點i的注入有功占節(jié)點i總注入有功的份額βik可描述為：

式中：Pi為節(jié)點i的總注入有功功率。

式中：h為發(fā)電機節(jié)點數(shù)。

2　多目標無功優(yōu)化數(shù)學模型

電力系統(tǒng)無功優(yōu)化是通過合理配置系統(tǒng)的控制變量改變系統(tǒng)的潮流分布，使得網(wǎng)絡的安全性、經(jīng)濟性和環(huán)保性能達到綜合最優(yōu)，本文選取電網(wǎng)側(cè)碳排放損耗、網(wǎng)損以及電壓穩(wěn)定分量作為無功優(yōu)化的目標。多目標無功優(yōu)化模型主要包括目標函數(shù)和約束條件，其中約束條件主要有控制變量約束、狀態(tài)變量約束跟潮流約束。

2.1目標函數(shù)

針對電網(wǎng)側(cè)碳排放損耗、網(wǎng)損以及電壓穩(wěn)定分量構(gòu)成的多目標，先對每子目標進行說明。從環(huán)保角度考慮，要使得電網(wǎng)側(cè)的碳排放損耗最小，目標函數(shù)為：

從經(jīng)濟性角度考慮，要使得電網(wǎng)的網(wǎng)損最小，目標函數(shù)為：

L的有功損耗，V和V分別表示節(jié)點i和節(jié)點j的電壓幅值，θ表示節(jié)點i和節(jié)點j的電壓相角差，gij表示支路Lij的電導，NL為支路集合。

從安全性角度考慮，要使得系統(tǒng)節(jié)點的綜合電壓穩(wěn)定性最優(yōu)，目標函數(shù)為：

本文電網(wǎng)側(cè)碳排放損耗、網(wǎng)損以及電壓穩(wěn)定分量構(gòu)成的無功優(yōu)化的多目標函數(shù)分量，多目標函數(shù)表述為：

式中：λ1為電網(wǎng)側(cè)碳排放損耗的權(quán)重因子，λ2為網(wǎng)損的權(quán)重因子，λ3為電壓穩(wěn)定分量的權(quán)重因子，權(quán)重因子取值滿足λ1∈(0,1]、λ2∈(0,1]、λ3∈(0,1]，且λ1+λ2+λ3=λ。

2.2約束條件

無功優(yōu)化的約束條件有控制變量約束、狀態(tài)變量約束和潮流約束?？刂谱兞窟x取無功投入容量Qc、變壓器變比KT，控制變量約束應該滿足：

式中：Nc為含可調(diào)無功投入容量的節(jié)點集合，Nk為可調(diào)節(jié)變比支路集合。

狀態(tài)變量有發(fā)電機的有功出力PG、無功出力QG和網(wǎng)絡節(jié)點電壓V，狀態(tài)變量應該滿足：

式中：NG為發(fā)電機節(jié)點集合，NB為網(wǎng)絡節(jié)點集合。

潮流約束方程有有功功率平衡約束和無功功率平衡約束，應滿足如下關(guān)系：

式中：PG、QG分別為發(fā)電機節(jié)點發(fā)出的有功功率與無功功率，PD、QD分別為負荷節(jié)點的有功功率與無功功率需求，gij、bij分別表示支路Lij的電導與電納，θij表示節(jié)點i和節(jié)點j的電壓相角差。

3　基于CEQ的分區(qū)無功優(yōu)化

相關(guān)均衡的CEQ算法最先由Greewnald提出的[13]，相關(guān)均衡是聯(lián)合動作空間上的一個概率分布，每個智能體根據(jù)其它智能體的條件概率最大化自身的累積獎勵值[14]。

資格跡更新公式如下所示：

式中：ei,k(s,α)為第i個智能體在第k次迭代中對于聯(lián)合動作α的資格跡，γ為折扣因子，0≤γ≤1，λ為衰減因子，0≤λ≤1，s為狀態(tài)。

智能體Q矩陣的更新如下：

式中：Ri為第i個智能體的立即獎勵函數(shù)，α為學習因子，0≤α≤1，αg為聯(lián)合貪婪動作策略。獎勵函數(shù)設計為：

式中：下標-i表示除智能體i外的其它智能體集合，αi’表示智能體i除動作αi外的任意一個動作，π為動作概率，N、S、A(s)分別表示智能體集合、狀態(tài)集合、狀態(tài)s的動作集合。

電力系統(tǒng)無功優(yōu)化一般采用就地平衡策略，具有明顯的區(qū)域性，因此可以將電網(wǎng)進行分區(qū)無功優(yōu)化。在基于CEQ的無功優(yōu)化算法中，每個控制變量即為一個智能體，每個智能體都可以觀測到其它智能體的Q值矩陣和當前動作值，然后各自分別求解自身的相關(guān)均衡，選擇動作值。如圖1：

圖1　無功優(yōu)化分區(qū)框架圖Fig.1 Framework chart of regional reactive power optimization

進行無功優(yōu)化時通過CEQ算法確定控制變量的取值，再進行潮流計算，結(jié)合潮流計算結(jié)果計算獎勵函數(shù)與狀態(tài)取值，進而用CEQ算法進行無功優(yōu)化求解新的動作取值，即控制變量的取值，循環(huán)直至尋找的最優(yōu)的動作值結(jié)束優(yōu)化過程，無功優(yōu)化流程如圖2所示：

綜上，基于CEQ的分區(qū)無功優(yōu)化算法流程圖如圖3所示。

圖2　無功優(yōu)化流程Fig.2 Reactive power optimization flowchart

4　算例及仿真分析

4.1仿真模型

本文采用IEEE9節(jié)點標準算例在Matlab7.10仿真平臺進行的仿真測試，借助Matpower4.1進行潮流計算。標準IEEE9節(jié)點電力系統(tǒng)有3臺發(fā)電機，3個負荷節(jié)點，9條支路。按照節(jié)點的分布及聯(lián)系將系統(tǒng)分為3個區(qū)域，如圖4所示：

如上圖按紅色虛線所示進行分區(qū)。區(qū)域之間進行信息通信，在基于CEQ的無功優(yōu)化過程中進行信息交流與共享。選取節(jié)點5、7、9的無功補償容量作為控制變量。

圖3　算法流程圖Fig.3 Algorithm flowchart

圖4　IEEE9節(jié)點分區(qū)Fig.4 Node partition in IEEE 9-bus system

4.2仿真結(jié)果

Q學習是一個試錯學習的過程，在學習初期的隨機性和盲目性比較大，不適合直接應用于實際系統(tǒng)的在線優(yōu)化。因此需要先進行預學習得到具有學習經(jīng)驗的Q值矩陣，然后再進行在線學習。

經(jīng)過大量的仿真分析，預學習過程的學習因子、折扣因子、資格跡衰減因子分別取值為0.94、0.10、0.50；在線學習過程的學習因子、折扣因子、資格跡衰減因子分別取值為0.40、0.10、0.30。

為響應低碳電力的政策，本文將電網(wǎng)側(cè)碳排放損耗作為無功優(yōu)化的目標之一，IEEE9節(jié)點機組的碳排放強度如表1所示：

圖5(a)給出了預學習中目標函數(shù)的收斂曲線圖，圖5（b）給出了在線學習中目標函數(shù)的收斂曲線圖：

從圖5（a）可以看出CEQ經(jīng)過一系列的試錯后，目標函數(shù)值收斂到了最小值，但是收斂時間較長，不能滿足電網(wǎng)實時性需求。從圖5（b）可以看出經(jīng)過預學習后算法快速穩(wěn)定的收斂，收斂時間由12.43s提高到了0.13s。

經(jīng)CEQ算法仿真優(yōu)化后的IEEE9節(jié)點無功配置方案如表2所示。

無功優(yōu)化前后IEEE9節(jié)點系統(tǒng)的線損、電壓穩(wěn)定分量、碳排放量比較結(jié)果如表3所示。

由上表可以看出無功優(yōu)化后各項指標都得到了提升，其中電壓質(zhì)量指標改善最大，性能指

表1　IEEE 9節(jié)點機組碳排放強度Tab.1 Carbon emission intensity of IEEE 9-bus system

圖5　目標函數(shù)收斂曲線Fig.5 Convergence curve of objective function

標提高了33.99%；線損值降低了2.83%；碳排放量降低了3.67%；總目標函數(shù)降低了9.26%。

為了驗證算法的有效性，將Q學習算法與CEQ算法分別進行100次仿真得到的各算法仿真結(jié)果對比統(tǒng)計表如表4所示。

從上表可以看出CEQ算法相比Q學習算法更快達到最優(yōu)解，CEQ算法平均收斂時間0.22s，Q學習算法平均收斂時間0.68s。但缺點是CEQ算法的穩(wěn)定性略差一點。CEQ算法收斂時間短且具有較好的穩(wěn)定性可應用于多斷面擴展進行在線應用。

CEQ算法通過預學習后算法能快速尋優(yōu)，為了進一步測試算法的性能，現(xiàn)在改變負荷斷面進行算法性能測試。將IEEE9節(jié)點系統(tǒng)負荷增加8%時Q學習算法和CEQ算法仿真目標函數(shù)收斂曲線對比結(jié)果如圖6所示。

當負荷出現(xiàn)微小波動時，CEQ算法通過區(qū)域間的相關(guān)均衡博弈仍能夠快速收斂到最小值。因此算法可以進行多斷面拓展，可以進一步應用到負荷動態(tài)變化的無功優(yōu)化問題中，具有一定的應用前景。

5　結(jié)論

表2　無功補償容量配置方案Tab.2 Reactive power compensation capacity

表3　無功優(yōu)化前后結(jié)果對比Tab.3 Results comparison before and after reactive power optimization

表4　仿真結(jié)果對比分析Tab.4 Analysis of simulation results

本文提出了一種分區(qū)CEQ無功優(yōu)化協(xié)調(diào)算法，同時將電網(wǎng)側(cè)碳排放損耗引入到無功優(yōu)化的目標函數(shù)當中，有利于低碳環(huán)保。分區(qū)CEQ無功優(yōu)化算法可以在不知道全局信息數(shù)據(jù)的前提下，通過區(qū)域間的相關(guān)均衡合作博弈可以解決通信瓶頸問題。算例結(jié)果表明該算法可以有效的尋找最優(yōu)解，且具有較快的收斂速度。因此，該算法可以很好的應對智能電網(wǎng)分布式的發(fā)展趨勢，具有很好的應用前景。

圖6　各算法收斂曲線Fig.6 Convergence curve of each algorithm

參考文獻

[1]許文超, 郭偉.電力系統(tǒng)無功優(yōu)化的模型及算法綜述[J].電力系統(tǒng)及其自動化學報, 2003, 15(1):100-104.Xu Wenchao， Guo Wei.Summarize of reactive power optimization model and algorithm in electric system[J].Proceedings of the EPSA, 2003, 15(1): 100-104.

[2]王純子, 郭偉, 張斌.求解非線性混合整數(shù)規(guī)劃的算法設計與仿真[J].計算機科學與探索, 2013, 7(9):854-864.Wang Chunzi, Guo Wei, Zhang Bin.Algorithm design and simulation of solving nonlinear mixed integer programming problem[J].Journal of Frontiers of Computer Science and Technology, 2013, 7(9):854-864.

[3]吳雄, 王秀麗, 劉世民,等.微電網(wǎng)能量管理系統(tǒng)研究綜述[J].電力自動化設備, 2014, 34(10):7-14.Wu Xiong, Wang Xiuli, Liu Shiming, et al.Summary of research on micro-grid energy management system[J].Electric power automation equipment, 2014, 34(10): 7-14.

[4]孫宏斌, 張伯明, 吳文傳,等.自律協(xié)同的智能電網(wǎng)能量管理系統(tǒng)家族概念、體系架構(gòu)和示例[J].電力系統(tǒng)自動化, 2014, 38(9), 1-5.Sun Hongbin, Zhang Boming, Wu Wenchuan, et al.Autonomous-synergetic energy management system family for smart grids: concept, architecture and cases [J].Automation of Electric Power Systems.2014, 38(9), 1-5.

[5]徐加利, 管章玉.協(xié)作無線網(wǎng)絡中基于遺傳算法的聯(lián)合中繼選擇與認知頻譜接入機制[J].新型工業(yè)化, 2014, 4(5): 41-47.Xu Jiali, Guan Zhangyu.Joint relay selection and cognitive spectrum access based on Genetic Algorithm in cooperative wireless networks [J].The Journal of New Industrialization, 2014, 4(5): 41-47.

[6]Saitoh A, Rahimi R, Nakahara M.A quantum genetic algorithm with quantum crossover and mutation operations [J].Quantum Information Processing, 2013, 13(3):737-755.

[7]Zhong-Yan L U, Deng J X, Wang Y H.Reactive Power Optimization Based on Particle Swarm Optimization Algorithm With Immunity[J].Power System Technology, 2008, 32(24): 55-59.

[8]任麗娜, 呂明月, 劉爽爽, 等.基于蜂群算法優(yōu)化的變槳距自抗擾控制器[J].新型工業(yè)化, 2014, 4(6): 43-48.Ren Lina, Lv Mingyue, Liu Shuangshuang, et al .Pitch control using active disturbance rejection controller based on colony optimization algorithm [J].The Journal of New Industrialization, 2014, 4(6): 43-48.

[9]婁素華, 盧斯煜, 吳耀武, 等.低碳電力系統(tǒng)規(guī)劃與運行優(yōu)化研究綜述[J].電網(wǎng)技術(shù), 2013, 37(6): 1483-1490.Lou Suhua, Lu Siyu, Wu Yaowu, et al.An overview on low-carbon power system planning and operation optimization [J] .Power System Technology, 2013, 37(6): 1483-1490.

[10]陳啟鑫, 康重慶, 夏清,等.低碳電力調(diào)度方式及其決策模型[J].電力系統(tǒng)自動化, 2010, 34(12): 18-23.Chen Qixin, Kang Chongqin, Xia Qing, et al.Mechanism and modelling approach to low-carbon power Dispatch [J].Automation of Electric Power Systems, 2010, 34(12): 18-23.

[11]李保衛(wèi), 胡澤春, 宋永華, 等.電力碳排放區(qū)域分攤的原則與模型[J].電網(wǎng)技術(shù), 2012, 36(7): 52-53.Li Baowei, Hu Zechun, Song Yonghua, et al.Principle and model for regional allocation of carbon emission from electricity sector [J].Power System Technology, 36(7): 52-53.

[12]李保衛(wèi), 胡澤春, 宋永華,等.用戶側(cè)電力碳排放強度的評估原則與模型[J].電網(wǎng)技術(shù), 2012, 36(8):6-11.Li Baowei, Hu Zechun, Song Yonghua, et al.Principle and model for assessment on carbon emission intensity caused by electricity at consumer side [J].Power System Technology, 36(8): 6-11.

[13]Greenwald A R, Hall K.Correlated Q learning [J].Proceedings of the Twentieth International Conference on Machine Learning, 2002: 242-249.

[14]席磊， 張孝順， 程樂峰, 等.基于JADE多智能體動態(tài)博弈的自動發(fā)電控制仿真平臺研究 新型工業(yè)化, 2014, 4(11): 5-17.Xi Lei, Zhang Xiaoshun, Chen Lefeng, et al.Research on multi-agent simulation platform for AGC based on JADE[J].The Journal of New Industrialization, 2014, 4(11): 5-17.

Multi-regional Reactive Power Optimization Based on Correlated Equilibrium Q-learning Collaborative Algorithm

WU Wen-mei1, LU Jiang1, TAN Min2, XIAO Shao-hua2, HAN Chuan-jia2, GUO Le-xin2, Yu Tao2
(1.Xingyi Power Supply Bureau, Xingyi Guizhou 562400, China; 2.South China University of Technology, Guangzhou Guangdong 510000, China)

Citation: WU Wen-mei, LU Jiang, TAN Min, et al.Multi-regional Reactive Power Optimization Based on Correlated Equilibrium Q-learning Collaborative Algorithm [J].The Journal of New Industrialization, 2015, 5(6): 33?40.

Abstract:In order to meet the development trend of smart grid, the multi-regional reactive power optimization algorithm based on the correlated equilibrium Q-learning (CEQ) algorithm is proposed to solve the problems of tremendous data, communication bottleneck and interaction.Meanwhile, in response to the national strategy of low carbon environmental protection, CO2emission is considered as one of the control objectives in reactive power optimization.In this paper, CEQ algorithm is adopted to allocate the control variables rationally.Then the best multiregional reactive power optimization method is obtained through the information communication and sharing which is realized by correlated equilibrium game among areas, thus offering a solution to the limited information-sharing mechanisms and curse of dimensionality problem effectively.The simulation of the IEEE 9-bus system indicates that CEQ algorithm solves the multi-regional collaborative reactive power optimization quickly and rationally with the combination of pre-learning and online learning.

Key words:multi-regional reactive power optimization; low-carbon electricity; correlated equilibrium; reinforcement learning

作者簡介：吳雯美(1971-)，女，本科，高級工程師，主要研究方向為電網(wǎng)規(guī)劃；陸江(1973-)，男，?？?，工程師，主要研究方向為電網(wǎng)規(guī)劃；譚敏(1989-)，女，碩士，主要研究方向為電力系統(tǒng)優(yōu)化運行；肖少華(1991-)，男，碩士，主要研究方向為配電網(wǎng)智能化與節(jié)能技術(shù)；韓傳家(1992-)，男，本科，主要研究方向為智能配網(wǎng)與節(jié)能技術(shù)；郭樂欣(1990-)，男，碩士，主要研究方向為電力系統(tǒng)優(yōu)化運行；余濤(1974-)，男，博士，教授，主要研究方向為復雜電力系統(tǒng)的非線性控制理論和仿真。

*基金項目：中國南方電網(wǎng)科技項目資助（K-GZ2014-040）

本文引用格式：吳雯美,陸江,譚敏,等.基于相關(guān)均衡強化學習協(xié)同算法的多區(qū)域無功優(yōu)化研究[J].新型工業(yè)化，2015，5(6)：33-40 DOI：10.3969/j.issn.2095-6649.2015.06.06