基于強(qiáng)化學(xué)習(xí)的電力系統(tǒng)應(yīng)急物資倉儲(chǔ)控制算法

俞虹，程文美，代洲，王鈞澤，徐一蝶

摘 要：在人工智能飛速發(fā)展的啟發(fā)下，智能庫存控制和調(diào)度系統(tǒng)被認(rèn)為是電力系統(tǒng)穩(wěn)定性的一個(gè)有效的解決方案。提出了一種“端到端”強(qiáng)化學(xué)習(xí)方法，用于聯(lián)合優(yōu)化庫存控制和應(yīng)急電源交付策略，以平衡維護(hù)成本和電力系統(tǒng)穩(wěn)定性。所提出算法為“端到端”算法，算法不預(yù)測(cè)需求，直接做出庫存控制和調(diào)度決策;所提出的算法為“在線”算法，即庫存控制和調(diào)度決策僅依賴于對(duì)過去事件的觀察;所提出的算法也是“無模型”算法，即算法不依賴于任何假定的不確定事件隨機(jī)模型。通過利用真實(shí)數(shù)據(jù)進(jìn)行數(shù)值模擬，表明所提出的“端到端”強(qiáng)化算法平均比有代表性的基準(zhǔn)算法在性能上高出138.5%。

關(guān)鍵詞：倉儲(chǔ)系統(tǒng);調(diào)度系統(tǒng);電力系統(tǒng);強(qiáng)化學(xué)習(xí);人工智能

中圖分類號(hào)：TM711 文獻(xiàn)標(biāo)識(shí)碼：A ? ? 文章編號(hào)：1001-5922（2021）11-0173-06

Reinforcement Learning Based Storage Control Algorithm for Emergency Materials in Power System

Yu Hong1， Cheng Wenmei2， Dai Zhou2， Wang Junze2， Xu Yidie3

（1. Guiyang Power Supply Bureau of Guizhou Power Grid Co.， Ltd.， Guiyang 550001， China;

2. Southern Power Grid Materials Co.， Ltd.， Guangzhou 510620， China; 3. Guiyang Xiuwen Power Supply Bureau of Guizhou Power Grid Co.， Ltd.， Guiyang 550200， China）

Abstract：Inspired by the rapid development of artificial intelligence， the intelligent inventory control and scheduling system is considered as an effective solution for the stability of the power system. This paper proposes an "end-to-end" reinforcement learning approach to jointly optimize inventory control and emergency power delivery strategies to balance maintenance costs and power system stability. The proposed algorithm is an "end-to-end" algorithm， which does not predict demand and directly makes inventory control and scheduling decisions. The proposed algorithm is the "online" algorithm， where inventory control and scheduling decisions rely only on observations of past events. The proposed algorithm is also a "model-free" algorithm， where the algorithm does not rely on any putative stochastic model of uncertain events. By using numerical simulations using real data， it is showed that the proposed "end-to-end" reinforcement algorithm achieves on average 138.5% higher performance than the representative benchmark algorithm.representative benchmark algorithm.

Key words：storage system; dispatching system; power system; intensive learning; artificial intelligence

0 引言

在當(dāng)今龐大的電力系統(tǒng)下，穩(wěn)定性是系統(tǒng)最基本的要求之一。電力的系統(tǒng)性穩(wěn)定受到應(yīng)急物資供應(yīng)鏈應(yīng)急響應(yīng)，也就是應(yīng)急物資的響應(yīng)時(shí)間的影響[1-2]。不同位置的不同應(yīng)急物資存在需求互補(bǔ)、相互扶持的特性，局部的需求可能波動(dòng)較大，但是大范圍內(nèi)的需求波動(dòng)相對(duì)較小，因而統(tǒng)籌倉儲(chǔ)和共享補(bǔ)給的可調(diào)度性更強(qiáng)，能夠更好保持電力系統(tǒng)的穩(wěn)定性。 區(qū)域聯(lián)合的電力系統(tǒng)倉儲(chǔ)控制與調(diào)度系統(tǒng)有助于實(shí)現(xiàn)對(duì)大區(qū)域電力系統(tǒng)倉儲(chǔ)系統(tǒng)的監(jiān)視和控制，有助于電力系統(tǒng)調(diào)度部門從整體上調(diào)整調(diào)度的計(jì)劃，從而保證電能質(zhì)量[3]，減少備用容量[4]，降低運(yùn)行的成本，減輕自然災(zāi)害、器件老化對(duì)電力系統(tǒng)造成的影響[5]，從而保證電網(wǎng)經(jīng)濟(jì)運(yùn)行。電力系統(tǒng)倉儲(chǔ)系統(tǒng)的控制方法可以分為兩類。

（1）統(tǒng)計(jì)優(yōu)化法[6-8]。根據(jù)統(tǒng)計(jì)規(guī)律，建模各種緊急需求的分布，通過中心化的數(shù)學(xué)建模，計(jì)算出統(tǒng)計(jì)上平均最優(yōu)的倉儲(chǔ)分布。但該方法對(duì)于區(qū)域內(nèi)所有的需求分布需要有完備的統(tǒng)計(jì)，同時(shí)每次發(fā)生狀態(tài)轉(zhuǎn)移，緊急事件，都需要重新計(jì)算最優(yōu)分布，計(jì)算資源消耗大，響應(yīng)較慢，具有一定的局限性。

（2）數(shù)據(jù)預(yù)測(cè)法[9-10]?；诿總€(gè)區(qū)域內(nèi)的數(shù)據(jù)分析和挖掘的思想，利用人工智能與機(jī)器學(xué)習(xí)方法，將每個(gè)區(qū)域的不同需求構(gòu)建時(shí)間序列模型（sequence-to-sequence model），從而進(jìn)行時(shí)間序列的預(yù)測(cè);然后在預(yù)測(cè)的基礎(chǔ)上，中心化的對(duì)于倉儲(chǔ)系統(tǒng)和調(diào)度進(jìn)行布局與優(yōu)化。

數(shù)據(jù)預(yù)測(cè)法的先決條件是將自然時(shí)間轉(zhuǎn)換成數(shù)據(jù)，即特征提取和特征選取。傳統(tǒng)的特征選取通?；谔卣髋判蚍?，根據(jù)計(jì)算出的各個(gè)特征的重要性與相關(guān)性，并取前k個(gè)特征作為需求預(yù)測(cè)的輸入。這種方法最大的缺點(diǎn)在于選取k個(gè)重要性與相關(guān)性最大的特征并不能很好的代表系統(tǒng)的全局信息，從而就不能為預(yù)測(cè)系統(tǒng)提供最豐富的信息。 同時(shí)，由于預(yù)測(cè)的結(jié)果并非最終的結(jié)果，根據(jù)預(yù)測(cè)結(jié)果我們將進(jìn)行二次計(jì)算，得出調(diào)度與控制方案，多步驟的框架會(huì)使得錯(cuò)誤累計(jì)，導(dǎo)致最終結(jié)果的偏差。 此外，由于區(qū)域與區(qū)域之間，存在需求的相關(guān)性以及互補(bǔ)性，僅僅考慮單一區(qū)域的歷史數(shù)據(jù)，往往很難準(zhǔn)確預(yù)測(cè)未來需求[11]，也無法利用區(qū)域之間的互補(bǔ)性[12]。

為了解決錯(cuò)誤累加以及實(shí)現(xiàn)不同區(qū)域之間的聯(lián)動(dòng)，本文提出了一種基于馬科夫決策過程和強(qiáng)化學(xué)習(xí)的電力系統(tǒng)倉儲(chǔ)系統(tǒng)控制與調(diào)度算法，并基于貴州省貴陽市附近的15個(gè)區(qū)（縣）2016年1月1日至2019年12月31日的應(yīng)急物資需求數(shù)據(jù)，進(jìn)行算法驗(yàn)證。實(shí)驗(yàn)表明，本文提出的算法不僅能提高電力系統(tǒng)的收益，同時(shí)具有很快的收斂率，能夠及時(shí)適應(yīng)環(huán)境變化。

本文的主要貢獻(xiàn)有3點(diǎn)：①提出利用馬科夫隨機(jī)過程和強(qiáng)化學(xué)習(xí)求解電力系統(tǒng)應(yīng)急物資的聯(lián)合倉儲(chǔ)控制和調(diào)度問題;②提出的算法為“端到端”算法，算法不預(yù)測(cè)需求，直接做出庫存控制和調(diào)度決策;所提出的算法是“在線”算法，即庫存控制和調(diào)度決策僅依賴于對(duì)過去事件的觀察;所提出的算法也是“無模型”算法，不依賴于任何假定的不確定事件隨機(jī)模型;③利用貴州省貴陽市的真實(shí)數(shù)據(jù)，很好的驗(yàn)證了提出算法的收益率和收斂性，證明了本文提出算法的可用性與實(shí)踐價(jià)值。

1 應(yīng)急物資倉儲(chǔ)系統(tǒng)建模

1.1 問題說明與建模

基于需求特性的庫存控制模型主要包括確定性和隨機(jī)性兩個(gè)方面的需求。其中，確定性需求通常包括常數(shù)需求和時(shí)變需求等，如日常物資、應(yīng)急物資等，生產(chǎn)單一物品，需求量為常數(shù)且連續(xù)均勻;不允許缺貨（缺貨成本為無窮大）;生產(chǎn)需要一定時(shí)間，全部生產(chǎn)完畢一次交付等等。隨機(jī)性需求涵蓋的更多，通常有線性分布、正態(tài)分布、泊松分布和指數(shù)分布以及任意分布等，達(dá)到網(wǎng)上商城零倉儲(chǔ)、應(yīng)急物資少倉儲(chǔ)和重大災(zāi)害協(xié)同倉儲(chǔ)的目標(biāo)[13-14]。

因此本文提出了如圖1所示的應(yīng)急物資倉儲(chǔ)系統(tǒng)。在時(shí)間范圍t∈T內(nèi)， 倉儲(chǔ)系統(tǒng)包含地區(qū)倉庫（i =1， …， n）、緊急需求物資（j =1， …， m），以及每個(gè)地區(qū)對(duì)于不同急需物資的需求（Ot = Q∈Rn×m）。其中，Qi，j表示當(dāng)前時(shí)刻地區(qū)中物資的需求量。一般而言，地區(qū)倉儲(chǔ)倉庫存在容量上限ui; 購買物品會(huì)花費(fèi)金額cj，占據(jù)容量lj，當(dāng)本地倉儲(chǔ)無法滿足需求，可以調(diào)度和無法調(diào)度時(shí)，會(huì)分別損失收益pj和。

在每個(gè)時(shí)刻t，根據(jù)當(dāng)前的物資需求，倉儲(chǔ)系統(tǒng)都需要決定該時(shí)刻內(nèi)的調(diào)度方案以及是否購買新物資進(jìn)行倉儲(chǔ)。該決策將會(huì)影響每個(gè)倉庫的倉儲(chǔ)情況，進(jìn)而影響未來的調(diào)度和購買決策。因此，最優(yōu)化調(diào)度決策可視為一個(gè)馬可夫決策過程 （Markov Decision Process， MDP）。本文首先定義了倉儲(chǔ)MDP問題中的狀態(tài)（State）、決策（Action）和獎(jiǎng)勵(lì)函數(shù)（Reward Function）。

（1）狀態(tài)：當(dāng)前時(shí)刻的狀態(tài)可以描述為每個(gè)倉庫所儲(chǔ)存的物資St = Z∈Rn×m。其中，Zi， j表示當(dāng)前時(shí)刻倉庫i中物資? j 的數(shù)量。

（2）決策：根據(jù)當(dāng)前狀態(tài)St∈Rn×m和需求Q∈Rn×m，倉儲(chǔ)系統(tǒng)決定該時(shí)刻的調(diào)度方案X和采購方案B。其中，Xi，j和Bi，j分別表示當(dāng)前時(shí)刻倉庫 i 中物資 j 的出庫數(shù)量和購買數(shù)量。

（3）狀態(tài)轉(zhuǎn)移方程：當(dāng)倉儲(chǔ)系統(tǒng)決定調(diào)度和采購方案之后，在下一時(shí)刻，倉儲(chǔ)狀態(tài)隨機(jī)發(fā)生狀態(tài)轉(zhuǎn)移。數(shù)學(xué)上，表示為：

由于倉儲(chǔ)物資無法為負(fù)數(shù)，同時(shí)倉儲(chǔ)空間總是有限的，因此有效決策（X， B）必須滿足以下不等式：

（4）獎(jiǎng)勵(lì)函數(shù)：倉儲(chǔ)系統(tǒng)主要目標(biāo)為滿足地區(qū)內(nèi)和地區(qū)間的緊急物資需求問題，因此獎(jiǎng)勵(lì)函數(shù)為當(dāng)前時(shí)刻的損失收益減去購買物資花費(fèi)：

其中，符號(hào)（x）-為：

因此，在時(shí)刻t，倉儲(chǔ)系統(tǒng)將試圖求解以下MDP問題，來獲得最優(yōu)的調(diào)度策略和采購存儲(chǔ)方案：

其中γ∈[0， 1）為衰減因子（Discount Factor）。

1.2 馬科夫隨機(jī)過程分析與建模

如果物資需求Ot的分布確定，以上問題可以用基于蒙特卡洛抽樣方法（Monte Carlo Sampling Techniques Methods）的抽樣平均近似方法（Sample Average Approximation） 等經(jīng)典方法解決。然而在實(shí)際生產(chǎn)生活中，需求Ot的分布在實(shí)際問題中通常難以確定，我們將上述貝爾曼公示 （Bellman Equation） 轉(zhuǎn)換成數(shù)據(jù)驅(qū)動(dòng)在線更新的形式（為時(shí)刻t的學(xué)習(xí)率）：

然后，我們可以采用基于強(qiáng)化學(xué)習(xí)的算法，求解上述問題。特別地，為了在探索與開發(fā)之間取得平衡，我們采取ε貪婪策略，即充電站在1-ε的概率下采取當(dāng)前最佳動(dòng)作將V（St）最大化;在ε的概率下，隨機(jī)選擇動(dòng)作。如式（7）所示：

1.3 算法實(shí)現(xiàn)

具體地，為了解決上述問題，本文提出了倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法，如圖2所示。

其中w和Vw（S）分別為強(qiáng)化學(xué)習(xí)的參數(shù)和當(dāng)前參數(shù)下強(qiáng)化學(xué)習(xí)擬合的狀態(tài)方程。不失一般性，文章將αt設(shè)為式（8）以此來保證所提出的算法的收斂性[15]。

本文在下一實(shí)驗(yàn)中驗(yàn)證了該算法的收斂性。

2 實(shí)驗(yàn)結(jié)果

本文將所提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法運(yùn)用到實(shí)際數(shù)據(jù)中，并對(duì)所提出的算法進(jìn)行效果驗(yàn)證。不失一般性的，在所有的實(shí)驗(yàn)中我們?cè)O(shè)定γ=0.95和默認(rèn)倉庫儲(chǔ)存上限為10;所有展示的數(shù)值均為100次實(shí)驗(yàn)的平均值;所有的實(shí)驗(yàn)均實(shí)現(xiàn)于搭載Intel Xeon E5-2630 CPU，NVidia GTX 1080 GPU和64GB內(nèi)存的主機(jī)上，具有較強(qiáng)的普適性和實(shí)用價(jià)值。

2.1 數(shù)據(jù)說明

為了驗(yàn)證所提出算法的實(shí)用性，本文收集了貴州省貴陽市管轄或者周邊的15個(gè)地區(qū)：白云、城北、花溪、惠水、金陽、開陽、龍里、南明、清鎮(zhèn)、雙龍、烏當(dāng)、息烽、小河、修文、云巖的應(yīng)急物資需求，貴陽市周圍的區(qū)縣區(qū)域分布如圖3所示，數(shù)據(jù)時(shí)間段為2016年1月至2019年12月。

2.2 收斂性

本文首先對(duì)算法的收斂性進(jìn)行了驗(yàn)證，以展示所提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法的平均收益隨迭代周期（epoch）的變化。如圖4所示，在前25個(gè)迭代周期中，平均收益快速的增長(zhǎng)并收斂到了一個(gè)穩(wěn)定值;同時(shí)，在第26至200個(gè)迭代周期中，平均收益穩(wěn)定在固定的區(qū)間并隨著環(huán)境的變化稍小震蕩。這表明了所提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法能快速的學(xué)習(xí)物資需求和倉儲(chǔ)系統(tǒng)之間的關(guān)系，實(shí)現(xiàn)倉儲(chǔ)消耗和需求滿足之間的平衡。

2.3 收益對(duì)比

目前貪婪算法（Greedy Policy）是業(yè)界常見的仿真基準(zhǔn)（Benchmark）[16]。在貪婪算法中，倉儲(chǔ)系統(tǒng)的采購和調(diào)度決策都基于假設(shè)未來短時(shí)間內(nèi)無新的緊急需求。因此，采購和調(diào)度的決策變成了確定性最優(yōu)化（Deterministic Optimization）問題求解。本文對(duì)比了所提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法和貪婪策略在不同倉儲(chǔ)容量下的收益情況，如圖5所示，其中平均收益為30 d內(nèi)的平均值。

由圖5可知，不管是貪婪策略還是本文提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法，平均收益均會(huì)隨著倉儲(chǔ)容量的增加而增加。同時(shí)，倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法對(duì)比貪婪策略的增益也會(huì)隨著倉儲(chǔ)容量的增加而增加，這表明所提出的算法是可縮放的。

此外，本文還展示對(duì)比所提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法在不同倉儲(chǔ)容量下和不同衰減因子下的收益情況。圖6中所展示的數(shù)據(jù)是100次隨機(jī)初始狀態(tài)下的平均收益。對(duì)于所有不同的衰減系數(shù)， 所有收益均隨著倉儲(chǔ)容量的增加而增加。同時(shí)，越大的衰減系數(shù)會(huì)導(dǎo)致越高的平均收益，這是因?yàn)楫?dāng)衰減系數(shù)越大時(shí)，算法的全局視野更寬，能夠更好的平衡當(dāng)前的收益和未來的收益。

2.4 可伸縮性

本文進(jìn)一步展示了所提出的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法運(yùn)算時(shí)間隨著倉庫倉儲(chǔ)容量變化而發(fā)生的變化。

表1中所展示的數(shù)據(jù)是100次隨機(jī)初始狀態(tài)下的平均單次決策運(yùn)算時(shí)間。對(duì)于不同的衰減系數(shù)，所有運(yùn)算時(shí)間都隨著倉儲(chǔ)容量的增加而增加，但是增加的速度卻越來越慢，這是因?yàn)殡S著倉儲(chǔ)容量的增加，系統(tǒng)的決策空間幾何的增長(zhǎng)了，但是本算法的運(yùn)算只有在局部發(fā)生了增加，這證明了本文所提出的算法是具有可伸縮性的，可以適用于不同場(chǎng)景大小下的電力系統(tǒng)倉儲(chǔ)調(diào)度。同時(shí)，計(jì)算時(shí)間隨著衰減系數(shù)的減少而輕微的減少，這是因?yàn)殡S著目標(biāo)更著眼于當(dāng)前，算法能更快的收斂，減少探索的過程，提高運(yùn)算的效率。

因此如表1所示，本文提出的算法是節(jié)省計(jì)算資源、具有可伸縮性的高效算法，可以適應(yīng)海量的電力系統(tǒng)倉儲(chǔ)調(diào)度需求。

3 結(jié)語

本文提出了無模型假設(shè)數(shù)據(jù)驅(qū)動(dòng)的倉儲(chǔ)系統(tǒng)智能決策強(qiáng)化學(xué)習(xí)算法來解決電力系統(tǒng)緊急物資倉儲(chǔ)控制與調(diào)度問題。所提出的算法平衡了采購物資的費(fèi)用和緊急需求滿足之間的平衡，最大化了電力系統(tǒng)倉儲(chǔ)系統(tǒng)的收益。由于不需要對(duì)緊急物資的需求分布進(jìn)行假設(shè)和建模，本文提出的算法是無模型假設(shè)的一般性算法，可以遷移至不同城市不同大小的倉儲(chǔ)系統(tǒng)。 特別地，本文將倉儲(chǔ)系統(tǒng)調(diào)度問題建模為馬科夫隨機(jī)過程（MDP）問題，并通過提出基于強(qiáng)化學(xué)習(xí)算法（Q-learning based method）進(jìn)行求解。通過基于實(shí)際電力系統(tǒng)數(shù)據(jù)下的多重實(shí)驗(yàn)，驗(yàn)證了所提出的強(qiáng)化學(xué)習(xí)算法不僅具有良好的收益表現(xiàn)，相比基本的貪婪算法有超過138.5%的收益，而且收斂率快，可以隨時(shí)應(yīng)對(duì)需求的變化。

參考文獻(xiàn)

[1]GOUVEIA J，MOREIRA C L，LOPES J A P. Grid-forming inverters sizing in islanded power systems a stability perspective[C]. International Conference on Smart Energy Systems and Technologies（SEST），2019：1-6.

[2]BI Jingtian，SUN Huadong ，XU Shiyun，et al. Impact of multiple identical grid-connected DFIGs on the small-signal angular stability of power system[C]. Chinese Control Conference（CCC），2019.

[3]TESHAGER B G，MINXIAO H，PATROBERS S，et al. Direct power control strategy based variable speed pumped storage system for the reduction of the wind power fluctuation impact on the grid stability[C]. 2018 IEEE 12th International Conference on Compatibility， Power Electronics and Power Engineering （CPE-POWERENG 2018），2018：1-6.

[4]HUANG Y，WU H，WEI R，et al. Research on multi-objective power emergency supplies dispatch model considering material and time satisfaction[C]. China International Conference on Electricity Distribution （CICED），2018：901-905.

[5]H RUI，G ZHAOLI，X MINGKAI，et al. Research on fault emergency strategy for substation DC system[C]. International Conference on Advanced Mechatronic Systems（ICAMechS），2018：27-30.

[6]J ZHANG，F(xiàn) JIANG，Y ZHAO，et al. An improved hierarchical and decentralized control strategy for emergency power supply during disaster[C]. International Conference on Power System Technology（POWERCON），2018：3 485-3 490.

[7]CHEN DA-HENG HU GONG A. Schedule on the relief supplies with transportation models in emergency logistics[C]. 35th Chinese Control Conference（CCC），2016.

[8]H WU，? J LIU .A Multi-agent genetic algorithm based on natural coding for emergency resources scheduling problems[C]. IEEE Congress on Evolutionary Computation （CEC），2016：2706-2711.

[9]SHI Xiaofeng，WANG Minzhen，WU Zhiwei，et al. Optimization research on vehicle scheduling path for emergency repairs of power transmission lines[C]. Proceedings of 2019 International Conference on Intelligent Transportation，Big Data & Smart City（ICITBS 2019），2019.

[10]TANG Weiqin，LIU Tenghong，ZHANG Min，et al. Scheduling of commodities from multirescuing points to multi-demand points in large-scale emergencies[C]. Proceedings of 2010 IEEE International Conference on Emergency Management and Management Sciences（ICEMMS2010），2010.

[11]C CHUN-GUANG，C DONGWEN，W LI-JIE，et al. Study on multi-destination emergency scheduling model under dynamic continuous consumption[C]. International Conference on Logistics Systems and Intelligent Management（ICLSIM），2010.

[12]MIZUNO Y，TANAKA Y， KUROKAWA F， et al. A new approach of optimum energy scheduling of emergency generators using linear programing in a large hospital[C]. IEEE International Conference on Renewable Energy Research and Applications（ICRERA），2016.

[13]XIONG Yan，ZHENG Liqun，WANG Jie. Scheduling model for the satisfaction of emergency material on huband-spoke network [C]. The 27th Chinese Control and Decision Conference （2015 CCDC），2015.

[14]LIU Tongjuan， DUAN Yanlin. Application of cloud computing in the emergency scheduling architecture of the Internet of Things[C]. Proceedings of 2015 IEEE 6th International Conference on Software Engineering and Service Science（ICSESS 2015），2015.

[15]LUCIAN BUSONIU，ROBERT BABUSKA，Bart De Schutter，et al. Reinforcement learning and dynamic programming using function approximators[M]. CRC press，2010.

[16]S.WANG，S.BI，Y. J. Angela Zhang， “Reinforcement Learning for Real-time Pricing and Scheduling Control in EV Charging Stations，”in IEEE Transactions on Industrial Informatics， 2019.