基于強化學(xué)習(xí)的電動汽車換電站實時調(diào)度策略優(yōu)化

張文昕，栗 然，臧向迪，嚴敬汝，祝晉堯

（1. 華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003；2. 國網(wǎng)河北省電力有限公司電力科學(xué)研究院，河北 石家莊 050022；3. 國網(wǎng)石家莊供電公司，河北 石家莊 050004）

0 引言

電動汽車（EV）憑借其低碳環(huán)保、靈活可控的特點被普遍認為是提高汽車產(chǎn)業(yè)競爭力、轉(zhuǎn)型低碳經(jīng)濟、保障能源安全的重要途徑［1］。隨著EV 規(guī)?；瘧?yīng)用，大量EV 集中在電網(wǎng)負荷高峰時段接入電網(wǎng)充電，將進一步增大負荷峰值，帶來系統(tǒng)容量不足、影響電能質(zhì)量等一系列問題。目前，EV 的電能補充模式主要包括整車慢充、整車快充、電池更換3 種。其中，電池更換模式下EV與電池的可分離特性能使電池充電脫離EV的停駛時間限制，更有利于集中管理電池充放電以避免大規(guī)模EV 隨機充電對電網(wǎng)運行造成的不利影響［2］。將電池視為電網(wǎng)的分布式微儲能單元對其充放電進行有序調(diào)控，可以實現(xiàn)削峰填谷［3］、促進新能源消納［4］、進行電壓和頻率調(diào)節(jié)［5］等功能，實現(xiàn)EV 與電網(wǎng)的雙向友好互動［6］。同時，相比于電池充電站，在相同的服務(wù)容量下電池換電站能為EV 運營商提供更多的經(jīng)濟收益［7］。故研究在換電站并入電網(wǎng)的情況下站內(nèi)電池的充放電優(yōu)化調(diào)度已成為智能電網(wǎng)發(fā)展的必然趨勢。

已有文獻從不同的角度對上述問題進行了研究，大多先預(yù)測EV 在未來時刻的換電需求，然后基于預(yù)測結(jié)果進行調(diào)度決策。文獻［8-9］提出了充／換電站的日前調(diào)度優(yōu)化模型，對次日整天的充放電計劃進行優(yōu)化。但日前調(diào)度只能對次日計劃進行粗略預(yù)測，無法考慮EV通勤行為、交通狀態(tài)、能源消耗帶來的不確定性。而且這種提前預(yù)測十分依賴于對具體應(yīng)用場景內(nèi)換電需求的物理過程建模，無法簡單推廣至更多的場景，泛化能力較弱。還有一部分研究將1 d劃分為多個時段，并在每個時段內(nèi)進行獨立決策，以實現(xiàn)實時調(diào)度。文獻［10-11］首先進行日前預(yù)測，然后在日內(nèi)每個時段求解換電站的最優(yōu)決策；文獻［12-13］建立了換電站和電網(wǎng)的雙層調(diào)度模型，先預(yù)測每個時段的換電需求，然后對上、下層問題分別進行迭代求解，得到換電站與電網(wǎng)的最優(yōu)決策。但是求解每個時段的優(yōu)化問題需要進行大量的迭代計算，算力消耗大且成本高，難以支撐大規(guī)模充放電策略的在線計算。上述研究均先進行換電需求預(yù)測，并將預(yù)測值視為真實值進行調(diào)度，這不但需要建立額外的預(yù)測模塊，而且該預(yù)測模塊也會帶來誤差累積，使得算法無法適應(yīng)真實的換電需求。此外，上述實時調(diào)度都是通過分時段獨立計算來實現(xiàn)“偽”實時決策，相鄰時段的決策之間沒有關(guān)聯(lián)，這可能會導(dǎo)致決策振蕩問題。

為了解決以上問題，本文提出了基于帶基線的蒙特卡羅策略梯度法的換電站實時調(diào)度策略優(yōu)化方法。策略梯度法［14］屬于無模型（model-free）的強化學(xué)習(xí)算法，無模型主要體現(xiàn)在：算法不依賴于對環(huán)境的準確建模，不需要對換電需求和EV用戶行為進行預(yù)測，也不需要人為提供啟發(fā)式的決策規(guī)則。因此，決策的制定不依賴于任何對未發(fā)生事件的假設(shè)。決策器通過與環(huán)境的交互來學(xué)習(xí)調(diào)度策略以尋求回報最大化。在進行訓(xùn)練時，采用蒙特卡羅采樣對當前狀態(tài)-動作之后時段的回報均值進行無偏估計，然后使用該估計值指導(dǎo)決策器的更新。相比于基于預(yù)測的方法只考慮預(yù)測值的情況，策略梯度法實際上考慮了當前狀態(tài)-動作之后所有可能出現(xiàn)的情形，使得算法具有較強的對換電需求不確定性的適應(yīng)能力。同時強化學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)理論是馬爾可夫決策過程（MDP），使得相鄰時段的決策是相互關(guān)聯(lián)的，這在理論上能夠緩解決策振蕩問題。

本文所提換電站實時調(diào)度策略包含充放電策略和參與調(diào)度電池數(shù)量兩部分。首先，給出策略梯度強化學(xué)習(xí)的框架，然后確定換電站實時調(diào)度問題的狀態(tài)空間、動作空間、獎勵函數(shù)、決策器，構(gòu)建基于蒙特卡羅策略梯度法的換電站實時調(diào)度模型。該模型以各時段換電站的充放電狀態(tài)、參與調(diào)度電池數(shù)量為控制變量，綜合考慮電池數(shù)量、電量等約束條件對實時調(diào)度最優(yōu)策略進行求解。此外，本文還討論了不同充電功率對調(diào)度策略的影響及電池選擇方式對換電站服務(wù)可用率、經(jīng)濟效益和電網(wǎng)基礎(chǔ)負荷的影響。

1 問題構(gòu)建

換電站的結(jié)構(gòu)示意圖如圖1 所示，其主要由充放電機、配電變壓器、動力電池組及其存放倉、更換裝置等部分構(gòu)成。

圖1 換電站的結(jié)構(gòu)示意圖Fig.1 Structure diagram of battery swapping station

圖1 描述了換電站的工作模式：到站EV 在動力電池更換裝置上完成電池更換，卸載的電池被存入動力電池存放倉等待調(diào)度指令。調(diào)度指令分為充放電指令、電池數(shù)量指令兩部分，其中充放電指令決定充放電機的充放電狀態(tài)，電池數(shù)量指令決定新放入插槽的電池數(shù)量。接收到調(diào)度指令后，被選中的電池接入充放電機。當電池充滿電或放電至允許下限或充放電指令改變時，將電池從充放電機上卸下，并重新存入動力電池存放倉等待下一次調(diào)度指令。

作為電網(wǎng)與EV用戶的中間環(huán)節(jié)，換電站的利潤來自對EV用戶換電所得換電收益、對電網(wǎng)饋電所得饋電收益與電網(wǎng)購電成本之間的差額。在保證換電服務(wù)可用率的情況下，換電站通過響應(yīng)分時電價對站內(nèi)電池進行統(tǒng)一充放電調(diào)度，能減少電網(wǎng)購電成本，增大對電網(wǎng)饋電所得收益，從而獲得更大的利潤空間。因此，換電站的實時調(diào)度策略應(yīng)著眼于安排合理的充放電時間以及接入電網(wǎng)的電池數(shù)量。

1.1 強化學(xué)習(xí)概述

強化學(xué)習(xí)是一類求解序列決策問題的有效算法，其基本框架見附錄A 圖A1。強化學(xué)習(xí)框架的主要角色為智能體和環(huán)境。時段i環(huán)境所處的狀態(tài)為si，智能體在某策略下根據(jù)該狀態(tài)執(zhí)行動作ai，該動作會影響環(huán)境的狀態(tài)，使得環(huán)境在下一個時段轉(zhuǎn)移到狀態(tài)si+1。同時，智能體會獲得環(huán)境的反饋，又被稱為獎勵ri+1。該獎勵在一定程度上衡量了在狀態(tài)si下執(zhí)行動作ai的優(yōu)劣。若智能體的某個策略獲得了環(huán)境的正向獎勵，則之后智能體產(chǎn)生該策略的趨勢會加強。基于此，在與環(huán)境不斷交互的過程中，智能體以“試錯”的方式進行學(xué)習(xí)，根據(jù)獎勵調(diào)整策略使整個過程的累計獎勵達到最大。

1.2 帶基線的蒙特卡羅策略梯度強化學(xué)習(xí)

為了解決傳統(tǒng)換電站調(diào)度策略優(yōu)化方法對預(yù)先給定數(shù)據(jù)、換電需求預(yù)測值依賴性高的問題，本文采用策略梯度強化學(xué)習(xí)對換電站實時調(diào)度策略進行優(yōu)化。將連續(xù)時間以時間間隔Δt進行離散化，智能體在每個時段根據(jù)當前狀態(tài)進行1 次決策。智能體在環(huán)境上運行I個時段后得到1 條經(jīng)驗軌跡τ，其具體構(gòu)成為s0，a0，r0，s1，a1，r1，…，sI-1，aI-1，rI-1，sI。

式中：“?”表示等號右側(cè)為左側(cè)的無偏估計；N為從pθ(τ)中采樣的軌跡數(shù)量；τj為采樣的第j條軌跡；Gi(τj)為軌跡τj中時段i的回報；Vπθ(si)為動作策略πθ下狀態(tài)si的價值。

引入基線雖然不改變策略梯度的期望，但降低了梯度的方差，使算法更加穩(wěn)定。所以，可采用梯度上升［15］的方法優(yōu)化J(θ)。算法的偽代碼見附錄C。

1.3 狀態(tài)空間

在強化學(xué)習(xí)中，狀態(tài)代表了智能體所能感知到的環(huán)境信息。狀態(tài)通常由1 個高維向量表示，其每一個元素表示環(huán)境的一個可觀測特征，狀態(tài)向量全體組成狀態(tài)空間。狀態(tài)空間的選取標準是盡可能選擇與智能體決策相關(guān)的最小環(huán)境特征子集?；谠摌藴?，智能體在決策時既有充分的依據(jù)，又避免了冗余特征帶來的過擬合和額外計算開銷問題。

1.4 動作空間

本文所提換電站的實時調(diào)度策略包含充放電狀態(tài)和參與調(diào)度的電池數(shù)量這2 個動作指令。充放電狀態(tài)用一個二進制變量δ表示，δ=1時表示充放電機撥入充電檔位，δ=0時表示充放電機撥入放電檔位。由于換電站的電池庫存眾多，將具體插入的電池數(shù)量作為動作之一會使動作空間過大，導(dǎo)致模型難以訓(xùn)練。為了減小動作空間，本文將u塊電池作為1個動作整體，即在Δt時間內(nèi)接入充放電機的電池數(shù)量只能為0或u。這樣，參與調(diào)度的電池數(shù)量可用一個二進制變量μ表示，當μ=1 時表示充放電機新接入u塊電池，當μ=0時表示充放電機無新接入的電池。因此，一個完整的動作可表示為2維向量a=[δ，μ]。

1.5 獎勵函數(shù)

智能體的目標是最大化累計獎勵總和，通過人為設(shè)計合適的獎勵函數(shù)可以引導(dǎo)智能體給出合理的換電站調(diào)度策略。

式中：β1、β2、β3為權(quán)重值，均屬于超參數(shù)，可通過網(wǎng)格搜索（grid search）確定其具體取值。

1.6 決策器

本文以Δt為時間間隔對連續(xù)的時間進行離散化，換電站在每個時段根據(jù)當前狀態(tài)進行1 次決策。換電站的決策是隨機的，由條件概率πθ(a|s)描述。

為了學(xué)習(xí)動作和狀態(tài)之間的復(fù)雜依賴關(guān)系，本文調(diào)度策略的決策器πθ(a|s)采用神經(jīng)網(wǎng)絡(luò)的形式，被稱為策略網(wǎng)絡(luò)。本文假設(shè)充放電狀態(tài)指令δ和參與調(diào)度的電池數(shù)量指令μ在給定狀態(tài)s的情況下條件獨立，即滿足式（4）。

式中：πθδ(δ|s)、πθμ(μ|s)分別為狀態(tài)s下選擇充放電狀態(tài)指令δ、參與調(diào)度的電池數(shù)量為μu的概率，這2個概率均使用帶2個隱層的神經(jīng)網(wǎng)絡(luò)進行建模，并且在2 個隱層進行參數(shù)共享。在輸出概率時，采用Sigmoid 函數(shù)對概率值進行歸一化處理。決策器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。

圖2 決策器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Neural network structure diagram of decision maker

策略網(wǎng)絡(luò)的目標是在保證服務(wù)可用率的同時，盡可能最大化對電網(wǎng)饋電所得收益和對EV 用戶換電所得收益。該優(yōu)化目標即為策略梯度強化學(xué)習(xí)的目標，因此策略網(wǎng)絡(luò)的最優(yōu)參數(shù)可由式（5）所示優(yōu)化問題給出。

2 換電站實時調(diào)度策略的數(shù)學(xué)形式

本節(jié)首先描述狀態(tài)與環(huán)境交互之后進行狀態(tài)轉(zhuǎn)移的數(shù)學(xué)規(guī)則，然后根據(jù)換電站的收益明確獎勵函數(shù)的具體計算過程。

2.1 電池的狀態(tài)轉(zhuǎn)移

圖3 電池狀態(tài)轉(zhuǎn)移關(guān)系示意圖Fig.3 Schematic diagram of battery state transition

2.2 電池的荷電狀態(tài)

電池的荷電狀態(tài)SOC（State Of Charge）是指電池在一定的放電倍率下，剩余電量與相同條件下額定容量的比值。本文將電池的恒流-恒壓兩階段充放電過程簡化為恒功率過程，SOC的計算公式為：

式中：Qi為時段i電池的SOC；Pc、Pd分別為充、放電功率；ηc、ηd分別為充、放電效率；C為電池額定容量。

為了避免過充過放對電池造成的損害，需要對電池的充放電限度進行約束。限制接入充放電機電池的SOC 上、下限分別為95%、20%，即：若電池的SOC達到95%，則視為滿電電池；若電池的SOC低于20%，則不再參與放電。滿電電池和不再參與放電的電池均從充放電機上拔出并存入動力電池存放倉。

2.3 換電站收益

換電站收益包括對EV 用戶換電所得收益和對電網(wǎng)饋電所得收益。

2.4 排隊意愿和服務(wù)可用率

對EV用戶的排隊意愿進行如下假設(shè)：當動力電池存放倉內(nèi)有可用電池但動力電池更換裝置無空閑時，EV 用戶愿意排隊等待；當動力電池存放倉內(nèi)無可用電池時，EV 用戶拒絕排隊等待電池充滿電即直接離開，被視為未成功換電［16］。在這種排隊意愿下，排隊等待換電的EV數(shù)量滿足式（7）。定義日服務(wù)可用率ξ為1 d 內(nèi)成功換電的EV 數(shù)量vs與到站EV 總數(shù)量vc之比，如式（11）所示。

式中：ε1、ε2分別為換電成功獎勵系數(shù)、換電失敗懲罰系數(shù)，均為正數(shù)。設(shè)置該懲罰項的目的在于：懲罰換電站一直向電網(wǎng)饋電，鼓勵其盡可能多地滿足EV 用戶的換電需求，以提高換電站的日服務(wù)可用率。ε1和ε2均為超參數(shù)，可通過網(wǎng)格搜索確定其具體取值。

3 算例分析

為了驗證本文所提調(diào)度策略的有效性，設(shè)計了以下2 組實驗進行仿真分析：①可視化動作策略，以驗證基于帶基線的蒙特卡羅策略梯度法的實時調(diào)度策略能否通過合理安排充放電時間和接入電池數(shù)量來增加獲利空間，進一步討論不同充電功率對調(diào)度策略的影響；②給出2 種電池選擇方式，討論不同的電池選擇方式對換電站經(jīng)濟收益、服務(wù)可用率、電網(wǎng)基礎(chǔ)負荷的影響。

3.1 實驗設(shè)置

3.1.1 算例參數(shù)設(shè)置

本文選取小型換電站作為算例，并進行了如下假設(shè)：①EV 使用同一型號的電池，且電池的充放電功率恒定；②EV 換電過程所需的時長服從正態(tài)分布N（10，2）；③到站換電的EV 電池的剩余SOC 服從（20%，30%）范圍內(nèi)的均勻分布；④每個時段內(nèi)到達換電站的EV 數(shù)量是一個服從泊松分布P(λ)的隨機變量。算例從柏松分布中進行采樣是對真實EV 到達換電站的場景進行仿真，可使用真實數(shù)據(jù)對本文所提方法進行訓(xùn)練。

換電站的相關(guān)參數(shù)以及到站EV 數(shù)量泊松分布的λ取值分別見附錄D 表D1 和表D2。購電電價參考國網(wǎng)北京市電力公司的峰谷分時電價［17］，假設(shè)峰時段和平時段的上網(wǎng)電價為購電電價的80%，由于不鼓勵在谷時段向電網(wǎng)饋電，谷時段的上網(wǎng)電價設(shè)為0。分時電價數(shù)據(jù)見附錄D表D3。

3.1.2 電池的選擇方式

當換電站接收到動作指令μ選擇u塊電池接入充放電機時，面臨具體電池的選擇問題。由2.2節(jié)可知，在同一充放電功率下，電池的SOC 不同，其充電耗時和放電空間也不同。選擇不同的電池響應(yīng)動作指令μ可能會對后續(xù)的調(diào)度指令、換電站的經(jīng)濟效益產(chǎn)生影響，故設(shè)定以下2 種電池選擇方式進行探討。

1）“高先充低先放”方式。

“高先充低先放”方式是換電站的常用電池選擇方式，即為了盡可能在相同時間內(nèi)獲得更多的滿電可用電池，優(yōu)先選擇電量高的電池充電；同時，為了盡量維持高電量電池的數(shù)量，優(yōu)先選擇電量低的電池放電。直觀來看，這種選擇方式能夠最大限度地滿足EV 用戶的換電需求［18］。具體而言，在充電模式下，即當δ=1 時，選擇不可用電池中SOC 最大的u塊電池進行充電；在放電模式下，即當δ=0 時，選擇不可用電池中SOC最小的u塊電池進行放電。

2）隨機選擇方式。

隨機選擇方式是指換電站接收到動作指令μ后在動力電池存放倉內(nèi)隨機選擇電池以響應(yīng)指令。

3.1.3 訓(xùn)練過程

本文設(shè)置決策時間間隔Δt=2 min，即將1 d分為720 個時段。對于策略網(wǎng)絡(luò)πθ(a|s)而言，其輸入維度為狀態(tài)空間的維度6，輸出維度為動作空間的維度2。采用帶2 個隱層的全連接神經(jīng)網(wǎng)絡(luò)對策略網(wǎng)絡(luò)進行建模，2 個隱層的維度分別為12、10，激活函數(shù)為ReLU 函數(shù)。對策略網(wǎng)絡(luò)進行更新時采用隨機梯度下降SGD（Stochastic Gradient Descent）算法，學(xué)習(xí)率設(shè)為10-3。設(shè)置折扣因子γ=0.6，采樣軌跡長度為1 000。服務(wù)可用率懲罰項中換電成功獎勵系數(shù)ε1=30，換電失敗懲罰系數(shù)ε2=50。

選取最大迭代輪數(shù)為1000進行訓(xùn)練，軌跡的平均獎勵變化曲線如圖4 所示。為了更好地呈現(xiàn)平均獎勵的變化趨勢，利用基于移動窗口的加權(quán)平均算法對平均獎勵進行平滑除噪，在長度為60 的滑動窗口內(nèi)對3 階多項式進行最小二乘擬合得到滑動平均獎勵。由圖可以看出：平均獎勵存在一定的局部振蕩，這是因為采用蒙特卡羅采樣估計策略網(wǎng)絡(luò)的梯度帶來了誤差；平均獎勵隨著迭代輪數(shù)的增大呈現(xiàn)較穩(wěn)定的上升趨勢，并逐漸收斂穩(wěn)定。

圖4 平均獎勵的變化曲線Fig.4 Change curves of average reward

3.2 不同充電功率下調(diào)度策略對比分析

在3.1節(jié)實驗設(shè)置的基礎(chǔ)上改變充電功率，對比分析充電功率為6.6 kW和15 kW時的調(diào)度結(jié)果。對不同充電功率的策略網(wǎng)絡(luò)進行訓(xùn)練和測試的過程中，電池均采取“高先充低先放”選擇方式。

3.2.1 充電功率為6.6 kW時的調(diào)度結(jié)果可視化

當充電功率為6.6 kW 時，測試日4 種狀態(tài)的電池數(shù)量如圖5所示。

圖5 充電功率為6.6 kW時4種狀態(tài)的電池數(shù)量Fig.5 Number of batteries in four states when charging power is 6.6 kW

結(jié)合圖5、附錄D 表D2 和表D3，可得到如下結(jié)論。

1）谷時段（00:00—07:00、23:00—24:00）的在充電池數(shù)量基本保持在25～30 塊，這是因為谷時段的購電電價低且上網(wǎng)電價也較低，換電站通過學(xué)習(xí)得到“錯峰充電”策略以降低充電費用，同時也為當天的換電需求增加可用電池儲備，避免在未來時段由于沒有足夠的可用電池導(dǎo)致有換電需求的EV 離開而帶來的懲罰費用。在該策略下，00:00—07:00 時段內(nèi)可用電池數(shù)量持續(xù)快速上升，從15 塊增加到195 塊；23:00—24:00 時段內(nèi)可用電池數(shù)量從8 塊增加到15塊。

2）峰時段（10:00—15:00、18:00—21:00）的在放電池數(shù)量基本保持在25～30 塊，這是因為峰時段的上網(wǎng)電價高，且換電站內(nèi)有足夠的可用電池儲備支撐換電需求，換電站為了擴大利潤空間，在峰時段選擇集中放電以增加對電網(wǎng)的饋電收益。對比表D2可見，12:00—14:00、18:00—19:00 存在2 個換電需求高峰，因此10:00—15:00 時段內(nèi)可用電池數(shù)量由225 塊迅速減少到90 塊，18:00—21:00 時段內(nèi)可用電池數(shù)量由43塊減少到5塊。

3）平時段為07:00—10:00、15:00—18:00 以及21:00—23:00。07:00—10:00 時段內(nèi)可用電池數(shù)量增幅減緩，這是因為平時段的購電電價較谷時段更高，且該時段的可用電池儲備較充足，換電站雖仍選擇充電但充電力度減弱。07:00—10:00時段內(nèi)可用電池數(shù)量由195塊增加到225塊，占站內(nèi)電池總數(shù)量的90%。為了滿足15:00—18:00、21:00—23:00 時段內(nèi)的換電需求，站內(nèi)的充放電機接近滿載。對比表D2 可知，15:00—18:00 時段的換電需求較大，可用電池數(shù)量由90塊減少到43塊；21:00—23:00時段內(nèi)換電需求相對較少，持續(xù)為電池充電導(dǎo)致可用電池數(shù)量少量增加。

綜上可知，在不同的時段采用本文所提方法可為換電站做出合理的決策。由圖5 可見：充電站內(nèi)全天均有可用電池庫存，表明本文所提調(diào)度策略能夠滿足換電需求；該測試日結(jié)束時所?？捎秒姵財?shù)量與00:00時刻的初始可用電池數(shù)量基本持平，可以認為學(xué)習(xí)所得策略網(wǎng)絡(luò)具有可持續(xù)運用的能力。

3.2.2 充電功率為15 kW時的調(diào)度結(jié)果可視化

當充電功率為15 kW 時，測試日4 種狀態(tài)的電池數(shù)量如圖6所示。

圖6 充電功率為15 kW時4種狀態(tài)的電池數(shù)量Fig.6 Number of batteries in four states when charging power is 15 kW

分析圖6可得如下結(jié)論。

1）在谷時段00:00—07:00 內(nèi)，可用電池數(shù)量由10 塊增加到250 塊，即換電站能在該時段內(nèi)完成站內(nèi)所有庫存電池的充電過程。

2）在平時段07:00—10:00 內(nèi)，換電站選擇滿載放電，這是因為平時段的上網(wǎng)電價與谷時段的購電電價之間存在電價差，此時換電站能通過放電獲得利潤；而圖5 中由于電池只能慢速充電，07:00 時刻只有195 塊可用電池，因此換電站仍選擇充電來增加可用電池庫存。

3）在時段10:00—24:00 內(nèi)，圖6 中的調(diào)度策略與圖5 總體一致，均能保證站內(nèi)全天都有可用電池庫存，保障能夠滿足換電需求。

對比圖5 和圖6 可知，2 種不同充電功率下的調(diào)度策略整體類似，但較大的充電功率可以縮短電池的充電時間，能在同樣滿足換電需求的基礎(chǔ)上，有更大的“低充高放”利潤空間?？梢?，充電功率的大小會間接影響換電站的調(diào)度策略，而本文所提換電站實時調(diào)度策略具有一定的通用性。

3.3 電池選擇方式對比分析

在充電功率為6.6 kW 的策略網(wǎng)絡(luò)下，分析電池的“高先充低先放”和隨機選擇方式對日服務(wù)可用率、換電站收益以及電網(wǎng)基礎(chǔ)負荷的影響。

1）對日服務(wù)可用率的影響。

在訓(xùn)練好的模型參數(shù)下分別使用2 種電池選擇方式對策略網(wǎng)絡(luò)重復(fù)測試1000次，得到的日服務(wù)可用率分布直方圖見附錄D 圖D1。由圖可見：在“高先充低先放”選擇方式下，該策略網(wǎng)絡(luò)的日服務(wù)可用率大多能達到90%以上，其中一半以上的測試能完全滿足換電需求，可認為在該策略網(wǎng)絡(luò)下電池采取“高先充低先放”選擇方式能保障換電站的正常運行；而在隨機選擇方式下，該策略網(wǎng)絡(luò)的日服務(wù)可用率主要分布在（60%，90%）范圍內(nèi)，為了使電池隨機選擇方式也能滿足換電需求，需增加換電站的電池儲備數(shù)量和充放電機數(shù)量，這樣就增加了硬件成本。

2）對換電站收益的影響。

在同一策略網(wǎng)絡(luò)下，采用2 種電池選擇方式分別測試1 000 次后，可得換電站日收益結(jié)果見附錄D表D4，日收益分布直方圖見附錄D 圖D2。由表D4可見，“高先充低先放”選擇方式下?lián)Q電站的平均日收益更高。由圖D2可見，“高先充低先放”選擇方式下的換電站日收益總體比隨機選擇方式下的日收益更高。這是因為“高先充低先放”選擇方式能滿足更多的換電需求，提高了從EV用戶處獲得的收益。

3）對電網(wǎng)基礎(chǔ)負荷的影響。

為了驗證本文所提調(diào)度策略對電網(wǎng)負荷削峰填谷的作用，基于文獻［19］中給出的電網(wǎng)基礎(chǔ)負荷，得到2 種電池選擇方式下計及換電站負荷前、后的電網(wǎng)總負荷，如圖7 所示。由圖可知，在2 種電池選擇方式下，電網(wǎng)基礎(chǔ)負荷疊加換電站負荷后，01:00 時刻的負荷谷值有明顯的增大，12:00時刻的負荷峰值有明顯的減小，21:00 時刻的第2 個負荷峰值有少許減小并稍微后移?？傮w而言，2 種電池選擇方式在換電站基于價格的需求響應(yīng)模式下均能減小全天的負荷峰谷差，其中“高先充低先放”選擇方式的削峰填谷效果略優(yōu)于隨機選擇方式，但總體差別并不明顯。可見，本文所提考慮換電站需求響應(yīng)模式的實時調(diào)度策略利用站內(nèi)電池的儲能特性能夠?qū)﹄娋W(wǎng)負荷起到一定的削峰填谷作用。

圖7 計及換電站負荷前、后的電網(wǎng)總負荷曲線Fig.7 Total power grid load curves with and without battery swapping station load

上述結(jié)果表明，本文所提換電站實時調(diào)度策略在“高先充低先放”電池選擇方式下能夠滿足換電需求，獲得較大的經(jīng)濟收益，且具有削峰填谷的作用。

3.4 訓(xùn)練與決策時間

本文算例均在Intel（R） Core（TM） i5-9300H CPU@2.40 GHz 的計算機上基于Python 3.8 和Py-Torch 1.5.1編程實現(xiàn)。在此基礎(chǔ)上，1次訓(xùn)練過程耗時約為26 min，策略網(wǎng)絡(luò)的1 次前向傳播僅需5 ms左右。本文所提帶基線的蒙特卡羅策略梯度法的計算復(fù)雜度與狀態(tài)空間、動作空間、神經(jīng)網(wǎng)絡(luò)大小有關(guān)。但相較于計算復(fù)雜度隨EV 數(shù)量指數(shù)增長的傳統(tǒng)方法而言，本文方法在求解換電站實時調(diào)度問題上仍有明顯的優(yōu)勢，降低了對算力的要求，在實際部署時也可以減少硬件設(shè)備成本。

4 結(jié)論

本文提出了基于強化學(xué)習(xí)的換電站實時調(diào)度策略優(yōu)化方法，所得主要結(jié)論如下。

1）提出了帶基線的蒙特卡羅策略梯度法進行EV 換電站實時調(diào)度，測試結(jié)果表明所提策略可在保證換電站服務(wù)可用率的情況下獲得更多的放電收益，也可在長時間尺度下持續(xù)應(yīng)用。同時，訓(xùn)練得到的換電站調(diào)度策略能在不同時段做出合理的決策。

2）探討了6.6 kW 和15 kW 這2 種充電功率下訓(xùn)練得到的換電站調(diào)度策略，發(fā)現(xiàn)這2 種充電功率下的調(diào)度策略相似，但較大的充電功率能夠增大換電站“低充高放”的利潤空間，可認為本文所提方法具有一定的通用性。

3）探究了“高先充低先放”和隨機選擇2 種電池選擇方式對換電站服務(wù)可用率、經(jīng)濟效益、電網(wǎng)基礎(chǔ)負荷的影響，發(fā)現(xiàn)“高先充低先放”選擇方式能夠在滿足更大服務(wù)可用率的同時，獲得更大的經(jīng)濟效益，同時對電網(wǎng)負荷進行削峰填谷的效果更好。但關(guān)于電池的最優(yōu)選擇方式還有待進一步研究。

4）本文所提模型在換電站實時調(diào)度問題上具有通用性，可通過簡單修改進行問題遷移。例如：通過在獎勵函數(shù)中增加可再生能源消納率的獎懲項，使其向換電站與可再生能源協(xié)同消納問題遷移；將動作空間中的二進制充放電狀態(tài)變量修改為多值功率檔位變量，使其向多檔功率充放電問題進移等。

附錄見本刊網(wǎng)絡(luò)版（http：//www.epae.cn）。