基于深度強(qiáng)化學(xué)習(xí)的大規(guī)模電動(dòng)汽車充換電負(fù)荷優(yōu)化調(diào)度

劉敦楠，王玲湘，汪偉業(yè)，李 華，王 文，劉明光

（1. 華北電力大學(xué)經(jīng)濟(jì)與管理學(xué)院，北京市 102206；2. 國(guó)網(wǎng)電動(dòng)汽車服務(wù)有限公司，北京市 100053）

0 引言

2020 年9 月，國(guó)家發(fā)展改革委發(fā)布《關(guān)于擴(kuò)大戰(zhàn)略性新興產(chǎn)業(yè)投資培育壯大新增長(zhǎng)點(diǎn)增長(zhǎng)極的指導(dǎo)意見》［1］，鼓勵(lì)智能汽車與智慧城市協(xié)同發(fā)展。電動(dòng)汽車（EV）作為重要的靈活性可調(diào)資源，能夠與多種能源協(xié)同調(diào)度［2-3］，為電力系統(tǒng)的經(jīng)濟(jì)可靠運(yùn)行提供支撐［4-5］。然而，在電動(dòng)汽車靈活性資源的實(shí)際應(yīng)用過(guò)程中也面臨著一些重要問(wèn)題，其中電動(dòng)汽車可調(diào)資源分析［6-7］和智能協(xié)調(diào)調(diào)度方法設(shè)計(jì)［8-9］是兩項(xiàng)關(guān)鍵問(wèn)題。

目前，電動(dòng)汽車靈活性負(fù)荷的研究通常圍繞電動(dòng)汽車充放電的優(yōu)化調(diào)度展開。例如，文獻(xiàn)［10］采用分群優(yōu)化的方法控制電動(dòng)汽車充放電過(guò)程，從而實(shí)現(xiàn)電動(dòng)汽車對(duì)電網(wǎng)負(fù)荷的調(diào)節(jié)；文獻(xiàn)［11］通過(guò)控制規(guī)?；妱?dòng)汽車的充放電，實(shí)現(xiàn)電動(dòng)汽車與風(fēng)電、火電的協(xié)同優(yōu)化；文獻(xiàn)［12］基于用戶充電距離等因素對(duì)用戶滿意度的影響，對(duì)電動(dòng)汽車入網(wǎng)的可調(diào)性進(jìn)行判斷。但上述研究都是直接對(duì)電動(dòng)汽車的優(yōu)化調(diào)度過(guò)程進(jìn)行研究，未結(jié)合用戶可調(diào)性識(shí)別，也并未考慮到?jīng)Q策主體是電動(dòng)汽車聚合商（electric vehicle aggregator，EVA），而EVA 的優(yōu)化調(diào)度過(guò)程中還具有另一種可調(diào)節(jié)資源——換電資源，隨著充換電一體化建設(shè)進(jìn)程的推進(jìn)，換電負(fù)荷將在聚合調(diào)度中發(fā)揮重要的作用［13-15］。

在電動(dòng)汽車智能協(xié)調(diào)調(diào)度方法的研究中，廣泛使用的算法有交替方向乘子法（alternating direction method of multipliers，ADMM）［16-17］、擬 牛 頓 法（BFGS）、啟發(fā)式算法［18-19］、約束優(yōu)化求解算法［20］、人工智能算法［21］等。其中，ADMM、BFGS、啟發(fā)式算法和約束優(yōu)化求解算法都是基于全局環(huán)境狀態(tài)對(duì)現(xiàn)有決策變量進(jìn)行求解，具有計(jì)算復(fù)雜度高、決策空間大、容易陷入局部最優(yōu)、無(wú)法區(qū)分個(gè)體調(diào)度方案、環(huán)境數(shù)據(jù)需實(shí)時(shí)更新等缺陷，無(wú)法求解大規(guī)模電動(dòng)汽車的實(shí)時(shí)調(diào)度問(wèn)題。而強(qiáng)化學(xué)習(xí)等人工智能算法通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)大數(shù)據(jù)的擬合能力，避免了傳統(tǒng)算法重復(fù)的高復(fù)雜度的計(jì)算［22］，可以在未知全局用戶接入的情況下對(duì)單個(gè)用戶做出合理的全局較優(yōu)的調(diào)度安排，解決了傳統(tǒng)算法對(duì)數(shù)據(jù)的實(shí)時(shí)依賴性高的缺陷，具有優(yōu)化效果好、魯棒性強(qiáng)、計(jì)算效率高的特征，適用于大規(guī)模電動(dòng)汽車實(shí)時(shí)優(yōu)化調(diào)度的求解。

基于上述研究?jī)?nèi)容，考慮目前充換電一體化建設(shè)進(jìn)程，本文首先從EVA 的角度設(shè)計(jì)了電動(dòng)汽車充換電過(guò)程的聯(lián)合運(yùn)行框架；進(jìn)而，考慮用戶參與電動(dòng)汽車負(fù)荷優(yōu)化調(diào)度意愿和可調(diào)節(jié)潛力，設(shè)計(jì)考慮多重用戶特征的可調(diào)性識(shí)別模型；然后，提出電動(dòng)汽車充換電負(fù)荷的實(shí)時(shí)優(yōu)化調(diào)度模型；最后，基于SAC（soft actor-critic）強(qiáng)化學(xué)習(xí)算法對(duì)充換電負(fù)荷進(jìn)行實(shí)時(shí)優(yōu)化調(diào)度，并采用真實(shí)數(shù)據(jù)對(duì)所提模型的有效性進(jìn)行驗(yàn)證。

1 電動(dòng)汽車充換電站聯(lián)合運(yùn)行框架

電動(dòng)汽車充換電負(fù)荷聯(lián)合優(yōu)化調(diào)度的基本框架如圖1 所示，其中EVB 表示換電站電池。

圖1 充電樁與換電站聯(lián)合優(yōu)化調(diào)度框架Fig.1 Joint optimal scheduling framework of charging pile and battery swapping station

本文所提優(yōu)化調(diào)度框架主要從EVA 的角度出發(fā)，考慮充電樁與換電站兩大資源主體進(jìn)行資源優(yōu)化調(diào)度，其特征具體如下:

1）在EVA 內(nèi)外部關(guān)系方面，調(diào)度框架包括EVA 內(nèi)部資源、EVA 和外部電力系統(tǒng)，EVA 通過(guò)聚合調(diào)度內(nèi)部充換電負(fù)荷實(shí)時(shí)響應(yīng)外部電力系統(tǒng)運(yùn)行的變化情況。

2）EVA 內(nèi)部調(diào)度方法主要包括3 個(gè)階段:（1）充換電負(fù)荷信息錄入；（2）可調(diào)節(jié)電動(dòng)汽車負(fù)荷識(shí)別；（3）電動(dòng)汽車充換電負(fù)荷協(xié)調(diào)調(diào)度。

3）EVA 與外部環(huán)境的協(xié)調(diào)主要設(shè)置3 種典型場(chǎng)景:場(chǎng)景1 是EVA 作為微網(wǎng)或者相關(guān)聯(lián)合體中的一部分進(jìn)行調(diào)度，以平抑負(fù)荷波動(dòng)；場(chǎng)景2 是EVA作為獨(dú)立個(gè)體，僅接受分時(shí)段價(jià)格的引導(dǎo)，調(diào)節(jié)負(fù)荷以實(shí)現(xiàn)最小充電成本；場(chǎng)景3 是EVA 作為參與輔助服務(wù)的市場(chǎng)主體，兼顧輔助服務(wù)市場(chǎng)效益與購(gòu)電成本進(jìn)行調(diào)度，以實(shí)現(xiàn)EVA 經(jīng)濟(jì)性最優(yōu)。

據(jù)此研究電動(dòng)汽車充換電負(fù)荷的實(shí)時(shí)優(yōu)化調(diào)度策略，并分析其對(duì)于電力系統(tǒng)經(jīng)濟(jì)可靠運(yùn)行的貢獻(xiàn)。

2 電動(dòng)汽車充電站調(diào)度策略

2.1 可調(diào)節(jié)電動(dòng)汽車用戶識(shí)別

電動(dòng)汽車接入充電設(shè)備后具有負(fù)荷調(diào)節(jié)的可能性。因此，本文考慮一種基于模糊C均值（fuzzyCmeans，F(xiàn)CM）可調(diào)隸屬關(guān)系確認(rèn)與支持向量機(jī)（support vector machine，SVM）智能識(shí)別的電動(dòng)汽車用戶可調(diào)性識(shí)別方法，以智能識(shí)別可調(diào)節(jié)電動(dòng)汽車和不可調(diào)節(jié)電動(dòng)汽車。

影響電動(dòng)汽車響應(yīng)能力的主要因素包括充電功率、荷電狀態(tài)（SOC）、充電時(shí)長(zhǎng)（達(dá)到理想荷電狀態(tài)的最短時(shí)長(zhǎng)）和接入時(shí)長(zhǎng)（入網(wǎng)到離網(wǎng)時(shí)間）。而用戶行為偏好則通過(guò)車型、電池容量、日均電力需求、日均入網(wǎng)時(shí)長(zhǎng)、用戶積分/優(yōu)惠券使用情況等特征參數(shù)來(lái)進(jìn)行反映?；诖耍O(shè)置電動(dòng)汽車充電可調(diào)性特征元組如式（1）所示。

式中:u1為車型特征參數(shù)；u2為電池容量特征參數(shù)；u3為電力需求特征參數(shù)；u4為用戶接入時(shí)長(zhǎng)特征參數(shù)；u5為用戶激勵(lì)特征參數(shù)，為0-1 變量。對(duì)應(yīng)的計(jì)算方式如式（2）所示。

采用FCM 對(duì)典型電動(dòng)汽車充電可調(diào)性特征元組的樣本進(jìn)行聚類分析，可以得到有意愿參與響應(yīng)與無(wú)意愿參與響應(yīng)的聚類中心。聚類過(guò)程中目標(biāo)函數(shù)見式（3），約束條件見式（4）。

式中:W為樣本總數(shù)；w為樣本數(shù)標(biāo)識(shí)；v為類別數(shù)；Uw為具有5 維特征的樣本；Zv為具有5 維特征的第v簇的中心；αw，v為樣本Uw屬于第v類的隸屬度，單個(gè)樣本Uw對(duì)每個(gè)簇的隸屬度之和為1；γ為隸屬度因子；‖Uw-Zv‖表示負(fù)荷樣本到聚類中心的歐氏距離。

利用式（3）和式（4）可推導(dǎo)出隸屬度αw，v的計(jì)算式（5）和簇中心Zv的計(jì)算式（6），推導(dǎo)過(guò)程見附錄A。

式中:k為類別標(biāo)識(shí)，實(shí)際含義與v一致。

迭代至滿足式（7）時(shí)終止。

式中:n為迭代次數(shù)；ε為誤差閾值。

得到簇中心分別如式（8）與式（9）所示。

據(jù)此，定義電動(dòng)汽車參與響應(yīng)隸屬度與不參與響應(yīng)隸屬度分別如式（10）與式（11）所示。

式 中:z1，i和z2，i分 別 表 示 簇 中 心Z1和Z2的 第i個(gè)元素。

進(jìn)而，以樣本電動(dòng)汽車用戶充電可調(diào)性特征元組作為輸入，以樣本電動(dòng)汽車的實(shí)際可調(diào)屬性作為輸出，即可構(gòu)造映射關(guān)系。采用典型數(shù)據(jù)訓(xùn)練SVM后［23-24］，即可利用訓(xùn)練后的FCM-SVM 模型對(duì)電動(dòng)汽車接入情況進(jìn)行實(shí)時(shí)可調(diào)性判斷。

2.2 不可調(diào)節(jié)與可調(diào)節(jié)負(fù)荷

基于可調(diào)性判斷結(jié)果可對(duì)電動(dòng)汽車的可調(diào)節(jié)負(fù)荷和不可調(diào)節(jié)負(fù)荷進(jìn)行測(cè)算。

2.2.1 不可調(diào)節(jié)負(fù)荷

不可調(diào)節(jié)負(fù)荷的計(jì)算方法如式（12）所示。

式 中:Qu，t為t時(shí) 段 的 不 可 調(diào) 節(jié) 負(fù) 荷；Eu，s，t為t時(shí) 段 第s輛不可調(diào)節(jié)電動(dòng)汽車的充電電量；M為不可調(diào)節(jié)電動(dòng)汽車集合。

對(duì)于不可調(diào)節(jié)電動(dòng)汽車來(lái)說(shuō)，其充電過(guò)程具有如式（13）和式（14）所示特征。

1）電量特征

式 中:pfast為 最 大 充 電 功 率；u2，s，t為t時(shí) 段 第s輛 不 可調(diào)節(jié)電動(dòng)汽車的充電時(shí)長(zhǎng)。

2）功率特征

不可調(diào)節(jié)電動(dòng)汽車的充電功率按照電動(dòng)汽車車主設(shè)置或者最大充電功率充電。

3）充電時(shí)間特征

不可調(diào)節(jié)電動(dòng)汽車的充電時(shí)長(zhǎng)如式（14）所示，接入時(shí)長(zhǎng)由車主意愿決定。

式中:Eneedu，s為第s輛不可調(diào)節(jié)電動(dòng)汽車的最小充電需求；Ts，in為第s輛不可調(diào)節(jié)電動(dòng)汽車的充電總時(shí)長(zhǎng)。

2.2.2 可調(diào)節(jié)負(fù)荷可調(diào)節(jié)負(fù)荷的計(jì)算方法如式（15）所示。

式 中:Qc，t為t時(shí) 段 的 可 調(diào) 節(jié) 負(fù) 荷；Ec，p，t為t時(shí) 段 第p輛可調(diào)節(jié)電動(dòng)汽車的充電電量；N為可調(diào)節(jié)電動(dòng)汽車集合。

對(duì)于可調(diào)節(jié)電動(dòng)汽車來(lái)說(shuō)，其充電過(guò)程具有如式（16）至式（18）所示特征。

1）充電電量特征

式 中:u2，p，t為t時(shí) 段 第p輛 可 調(diào) 節(jié) 電 動(dòng) 汽 車 的 充 電時(shí)長(zhǎng)。

2）功率特征

式 中:pc，p，t為t時(shí) 段 第p輛 可 調(diào) 節(jié) 電 動(dòng) 汽 車 的 充 電功率。

3）電動(dòng)汽車電量特征:

2.3 可調(diào)節(jié)電動(dòng)汽車的最優(yōu)化調(diào)度模型

基于用戶的充電需求與用戶特征元組U，可以對(duì)接入的電動(dòng)汽車進(jìn)行實(shí)時(shí)優(yōu)化調(diào)度。據(jù)此，設(shè)置根據(jù)電動(dòng)汽車在3 種典型場(chǎng)景下的聚合優(yōu)化調(diào)度目標(biāo)函數(shù)。

1）場(chǎng)景1

基于電動(dòng)汽車聚合平抑負(fù)荷波動(dòng)的優(yōu)化調(diào)度目標(biāo)函數(shù)如式（19）所示。該場(chǎng)景下可以基于現(xiàn)有負(fù)荷基線（外部物理環(huán)境總負(fù)荷與不可調(diào)節(jié)負(fù)荷的和），每加入1 輛電動(dòng)汽車，為其設(shè)計(jì)最小化負(fù)荷波動(dòng)的電動(dòng)汽車充電方案。

式中:Qload，t為t時(shí)段不計(jì)電動(dòng)汽車的系統(tǒng)負(fù)荷值；E′c，p，t為調(diào)節(jié)后的電動(dòng)汽車在t時(shí)段的負(fù)荷值；Qave為系統(tǒng)所有負(fù)荷的均值，其計(jì)算式見式（20）。

2）場(chǎng)景2

基于EVA 購(gòu)電成本最低的優(yōu)化調(diào)度目標(biāo)函數(shù)見式（21）?；谠胸?fù)荷曲線的充電成本，每加入1 輛電動(dòng)汽車，為其設(shè)計(jì)最小化充電成本的電動(dòng)汽車充電方案。

式 中:pa，t為 電 力 市 場(chǎng) 在t時(shí) 段 的 購(gòu) 電 價(jià) 格；Qtar，t為 電動(dòng)汽車在t時(shí)段的原始負(fù)荷值。

3）場(chǎng)景3

考慮輔助服務(wù)市場(chǎng)的優(yōu)化調(diào)度目標(biāo)函數(shù)見式（22），每加入1 輛電動(dòng)汽車，對(duì)其設(shè)計(jì)最小化充電成本的充電方案。

式中:Tau為輔助服務(wù)市場(chǎng)的開市時(shí)段；pau，t為t時(shí)段的輔助服務(wù)市場(chǎng)價(jià)格；Qau，t為t時(shí)段的電動(dòng)汽車參與輔助服務(wù)市場(chǎng)的負(fù)荷基線。

3 電動(dòng)汽車換電站調(diào)度策略

3.1 換電站行為約束

換電站充換電過(guò)程中電池總量保持不變。因此，令換電站內(nèi)所有電池具有編號(hào)o，將換電站內(nèi)換出電池編號(hào)賦予換入電池。

換電站總負(fù)荷計(jì)算如式（23）所示。

式中:Qb，t為t時(shí) 段換電站 的總負(fù)荷；Eex，o，t為t時(shí) 段第o組電池的充電電量；O為換電站電池總組數(shù)；Eex，out，o，t為t時(shí) 段 第o組 電 池 的 放 電 電 量。

換電站運(yùn)行過(guò)程中，具有如式（24）至式（32）所示的特征約束。

1）電池的充電情況約束

式中:ωo為第o組電池是否接入充電機(jī)的標(biāo)識(shí)；pmin和pmax分別為充電機(jī)的最小、最大充電功率；Δt為每時(shí)段的時(shí)長(zhǎng)。

2）換電站電池放電約束

式 中:pmin，out和pmax，out分 別 為 充 電 機(jī) 的 最 小、最 大 放電 功 率；Cout，o，t為t時(shí) 段 第o組 電 池 的 放 電 成 本；Rout，o，t為t時(shí) 段 第o組 電 池 的 放 電 收 入。放 電 過(guò) 程 中的成本與收益計(jì)算式見附錄B。

3）電池的接入情況約束

式中:I為換電站充電機(jī)總數(shù)。

4）電池電量約束

式 中:SSOC，o，t為t時(shí) 段 第o組 電 池 的SOC；Qo為 第o組電池的電池容量；To為第o組電池接入充電設(shè)備的總時(shí)間。式（30）保證電池充放電不超出電池容量約束；式（31）保證電池接入充電機(jī)過(guò)程中不造成資源浪費(fèi)，未充滿電的電池不離網(wǎng)。

5）換電站充放電池供應(yīng)約束

式中:Cex，t為t時(shí)段換電站需完成的換電電池量；Bex，t為t時(shí)段換電站已有的滿電電池量。

換電站充放電過(guò)程中具有滿電的電池?cái)?shù)量計(jì)算式如式（33）、式（34）所示。

式中:So，t為t時(shí)段第o組電池是否滿電的判斷結(jié)果。

3.2 換電站優(yōu)化調(diào)度模型

換電站通過(guò)更換電池來(lái)滿足電動(dòng)汽車電量需求，具有充放電靈活性較高、電池更換速度快的特點(diǎn)。換電站協(xié)調(diào)充電站進(jìn)行優(yōu)化調(diào)度時(shí)，考慮其容量規(guī)模相對(duì)較?。?5-26］，將其作為一種補(bǔ)充資源協(xié)調(diào)充電站的充電過(guò)程，進(jìn)一步優(yōu)化負(fù)荷曲線。

對(duì)于場(chǎng)景1，其目標(biāo)函數(shù)如式（35）所示。

式中:Q′ave為t時(shí)段加入換電站負(fù)荷后的負(fù)荷均值，其計(jì)算式如式（36）所示。

對(duì)于場(chǎng)景2，其優(yōu)化調(diào)度函數(shù)如式（37）所示。

式中:Q′tar，t為加入換電站負(fù)荷后t時(shí)段的原始負(fù)荷值。

對(duì)于場(chǎng)景3，其優(yōu)化調(diào)度函數(shù)如式（38）所示。

式中:Q′au，t為加入換電站負(fù)荷后的輔助服務(wù)市場(chǎng)的負(fù)荷基線。

4 基于SAC 強(qiáng)化學(xué)習(xí)的優(yōu)化調(diào)度算法

SAC 算法是由Haarnoja 等人［27-28］提出的強(qiáng)化學(xué)習(xí)算法，通過(guò)引入最大熵鼓勵(lì)策略，在提高算法的魯棒性的同時(shí)加快了訓(xùn)練速度，能夠在復(fù)雜的電力供需環(huán)境中為大規(guī)模電動(dòng)汽車作出精準(zhǔn)有效的調(diào)度決策。

4.1 SAC 目標(biāo)函數(shù)

SAC 的目標(biāo)函數(shù)要求策略在實(shí)現(xiàn)最大化累計(jì)回報(bào)的同時(shí)最大化策略熵，從而避免學(xué)習(xí)過(guò)程中的貪婪采樣而陷入局部最優(yōu)。據(jù)此，構(gòu)建其目標(biāo)函數(shù)如式（39）所示。

式中:E( · )為期望函數(shù)；π為策略；sq為第q輛電動(dòng)汽車的狀態(tài)空間（即系統(tǒng)基礎(chǔ)負(fù)荷情況）；aq為第q輛電動(dòng)汽車的動(dòng)作空間（即充電情況）；r(sq，aq)為第q輛電動(dòng)汽車的獎(jiǎng)勵(lì)函數(shù)，基于不同場(chǎng)景體現(xiàn)為不同的目標(biāo)函數(shù)，如式（19）至式（22），是目標(biāo)函數(shù)的相反 數(shù)；(sq，aq) ～pπ為 策 略π所 形 成 的 狀 態(tài)-動(dòng) 作 軌跡；α為溫度項(xiàng)，決定了熵對(duì)于獎(jiǎng)勵(lì)的影響程度；H(π( ·|sq))為狀態(tài)sq時(shí)的策略的熵項(xiàng)，其計(jì)算方法如式（40）所示。

4.2 SAC 迭代策略

強(qiáng)化學(xué)習(xí)過(guò)程中的價(jià)值函數(shù)Q(sq，aq)如式（41）所示，用于策略價(jià)值評(píng)估；貝爾曼backup 算子如式（42）所示，用于策略更新。

Q(sq，aq)=r(sq，aq)+γEst+1～p(Q(sq+1，aq+1)) （41）

TπQ(sq，aq)?r(sq，aq)+γEst+1～p(V(sq+1)) （42）式中:Est+1～p為狀態(tài)空間為st+1的期望函數(shù)；Tπ為策略π下的貝爾曼backup 算子；γ為獎(jiǎng)勵(lì)的折扣因子；V(sq+1)為狀態(tài)sq+1的新值函數(shù)，其計(jì)算方法如式（43）所示。

同時(shí)，有

式中:Qk為第k次計(jì)算時(shí)的價(jià)值函數(shù)。

將式（42）和式（44）不斷進(jìn)行迭代，即可實(shí)現(xiàn)式（45）。

4.3 SAC 策略更新

計(jì)算過(guò)程中的策略更新辦法如式（46）所示。策略πold下的配分函數(shù)，用于歸一化分布。

4.4 SAC 算法構(gòu)建

SAC 算法需要構(gòu)建神經(jīng)網(wǎng)絡(luò)，包括Q 值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)。Q 值網(wǎng)絡(luò)通過(guò)幾層神經(jīng)網(wǎng)絡(luò)輸出單值，策略網(wǎng)絡(luò)輸出一個(gè)高斯分布。該過(guò)程中神經(jīng)網(wǎng)絡(luò)會(huì)進(jìn)行更新，Q 值網(wǎng)絡(luò)參數(shù)具有如式（47）所示更新策略，策略網(wǎng)絡(luò)參數(shù)具有如式（48）所示更新策略。

式中:θ為Q 值網(wǎng)絡(luò)參數(shù)；φ為策略網(wǎng)絡(luò)參數(shù)；Vθˉ和Qθ分別為代入Q 值網(wǎng)絡(luò)參數(shù)后的新值函數(shù)和價(jià)值函數(shù)；Z(sq)為狀態(tài)sq時(shí)的配分函數(shù)。

同時(shí)，前文提到的溫度參數(shù)α是輔助最大化熵的重要參數(shù)，能夠最大化對(duì)動(dòng)作空間的探索。合理的溫度參數(shù)設(shè)置有助于實(shí)現(xiàn)對(duì)所有可行動(dòng)作的迭代測(cè)試。因此，具有溫度參數(shù)的更新如式（49）所示。

式中:πq為第q輛電動(dòng)汽車的充電策略；H0為熵項(xiàng)。

式（47）至式（49）都是通過(guò)計(jì)算求最優(yōu)化參數(shù)值。整個(gè)過(guò)程中，通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不斷更新Q 值網(wǎng)絡(luò)參數(shù)、策略網(wǎng)絡(luò)參數(shù)以及溫度參數(shù)，可使模型不斷收斂，求解最優(yōu)策略。

4.5 電動(dòng)汽車充換電負(fù)荷優(yōu)化調(diào)度整體流程

通過(guò)SAC 可以為大規(guī)模電動(dòng)汽車用戶制定考慮用戶特征的電動(dòng)汽車充電方案。同時(shí)，考慮換電站具有更強(qiáng)的可調(diào)度性能，采用SAC 算法、基于充電負(fù)荷的可調(diào)節(jié)情況對(duì)電動(dòng)汽車換電站負(fù)荷進(jìn)行進(jìn)一步的優(yōu)化調(diào)度，最終實(shí)現(xiàn)系統(tǒng)運(yùn)行上的安全可靠性優(yōu)化和市場(chǎng)運(yùn)營(yíng)上的經(jīng)濟(jì)性優(yōu)化。整體的優(yōu)化調(diào)度流程如圖2 所示。

圖2 基于SAC 的電動(dòng)汽車充換電站負(fù)荷優(yōu)化調(diào)度流程圖Fig.2 Flow chart of optimal scheduling for SAC-based electric vehicle load for battery charging and swapping stations

5 算例分析

5.1 算例設(shè)計(jì)

以典型日?qǐng)鼍跋翧 市充換電站聚合參與調(diào)度作為算例，收集A 市2 254 個(gè)充電樁的12 770 條充電數(shù)據(jù)，包括接入時(shí)間、結(jié)束時(shí)間、充電電量、充電結(jié)束原因等數(shù)據(jù)內(nèi)容。其中，電動(dòng)汽車的出行規(guī)律分布情況見附錄C 圖C1、圖C2，原始充電電量分布情況見附錄C 圖C3，容量分布情況見附錄C 圖C4，電動(dòng)汽車單日平均負(fù)荷規(guī)模約為12.5 MW，樣本電動(dòng)汽車規(guī)模為8 925 輛。以A 市典型換電站的換電負(fù)荷情況作為樣本數(shù)據(jù)，換電站原始負(fù)荷分布情況見附錄C 圖C5，設(shè)置換電站共有充電機(jī)40 組，每組最大充電功率為75 kW，且具有備用電池80 組。在目前用戶行為偏好標(biāo)簽數(shù)據(jù)庫(kù)還不完善的情況下，設(shè)定無(wú)可調(diào)潛力的電動(dòng)汽車的用戶可調(diào)節(jié)隸屬度為0，有可調(diào)潛力的電動(dòng)汽車用戶的可調(diào)節(jié)隸屬度為1，車主均希望在離開之前將充電樁電量充滿電。

場(chǎng)景1 的虛擬電廠負(fù)荷曲線見附錄C 圖C6。場(chǎng)景中的主要經(jīng)濟(jì)參數(shù)如表1 所示，其中，峰谷平時(shí)段劃分的依據(jù)為基礎(chǔ)負(fù)荷曲線的變化情況，分時(shí)段電價(jià)參照現(xiàn)行市場(chǎng)價(jià)格水平。輔助服務(wù)（調(diào)峰）開市時(shí)段為00:30—07:00 以及12:30—16:00，輔助服務(wù)市場(chǎng)價(jià)格為0.2 元/（kW·h）。

表1 電力市場(chǎng)參數(shù)Table 1 Electricity market parameters

計(jì)算過(guò)程中SVM 采用徑向基（radial basis function，RBF）核函數(shù)，設(shè)置懲罰參數(shù)為1，核函數(shù)寬度參數(shù)為1/6。SAC 模型以32 條數(shù)據(jù)為一組訓(xùn)練批次，神經(jīng)網(wǎng)絡(luò)構(gòu)建過(guò)程中設(shè)置3 層隱藏層，64 個(gè)神經(jīng)元，學(xué)習(xí)率均為10-4。其他優(yōu)化調(diào)度過(guò)程中的實(shí)施要點(diǎn)見附錄C 表C1。

5.2 計(jì)算結(jié)果

5.2.1 可調(diào)節(jié)與不可調(diào)節(jié)識(shí)別結(jié)果

利用FCM-SVM 可對(duì)樣本數(shù)據(jù)進(jìn)行可調(diào)性識(shí)別，為驗(yàn)證模型效果，將FCM-SVM、k-means-SVM以及FCM-最鄰近結(jié)點(diǎn)算法（KNN）模型的效果進(jìn)行比較，對(duì)比結(jié)果如表2 所示。其中，準(zhǔn)確率為模型分類準(zhǔn)確的樣本占總樣本個(gè)數(shù)，精準(zhǔn)率為模型分類結(jié)果為可調(diào)的樣本中真實(shí)可調(diào)的樣本比例，召回率為真實(shí)可調(diào)的樣本中歸類正確的樣本所占的比例。

表2 模型識(shí)別效果對(duì)比Table 2 Comparison of model identification effect

由表2 可見，在本文場(chǎng)景中，F(xiàn)CM-SVM 在大數(shù)據(jù)識(shí)別計(jì)算時(shí)具有明顯的分類精度提升，這將有利于電動(dòng)汽車優(yōu)化調(diào)度方案的落實(shí)，所犧牲的計(jì)算速度也在可接受范圍內(nèi)，是適用于本文場(chǎng)景的分類策略。

圖3 為基于FCM-SVM 的電動(dòng)汽車可調(diào)度情況識(shí)別結(jié)果，展示了96 個(gè)時(shí)段的可調(diào)節(jié)和不可調(diào)節(jié)電動(dòng)汽車的負(fù)荷規(guī)模。

由圖3 可見，可調(diào)節(jié)負(fù)荷規(guī)模與不可調(diào)節(jié)負(fù)荷規(guī)模相當(dāng)，可調(diào)節(jié)負(fù)荷主要分布于時(shí)段0 至28、54至70、92 至96，即每日的13:30—17:30 和23:00—次日07:00。同時(shí)，從總體的負(fù)荷規(guī)模來(lái)看，樣本所選充電樁站點(diǎn)的主要充電高峰有3 個(gè)，即05:00—07:00、12:30—18:00，20:00—次日01:00。

圖3 電動(dòng)汽車可調(diào)節(jié)與不可調(diào)節(jié)負(fù)荷規(guī)模Fig.3 Adjustable and nonadjustable load scale of electric vehicles

同時(shí)，隨機(jī)抽樣500 個(gè)典型樣本，樣本中不同可調(diào)性用戶在充電時(shí)長(zhǎng)、接入時(shí)長(zhǎng)、充電功率、荷電狀態(tài)和調(diào)節(jié)時(shí)長(zhǎng)的分布差異分別如附錄D 圖D1 至圖D5 所示。相對(duì)于不可調(diào)節(jié)負(fù)荷，可調(diào)節(jié)負(fù)荷具有充電時(shí)長(zhǎng)和接入時(shí)長(zhǎng)明顯高、充電平均功率稍高、SOC 偏高、可調(diào)節(jié)時(shí)長(zhǎng)更長(zhǎng)的特征。具體來(lái)說(shuō)，可調(diào)節(jié)電動(dòng)汽車負(fù)荷充電時(shí)長(zhǎng)偏向于1 h 上下，接入時(shí)長(zhǎng)主要分布于2～5 h，充電功率大部分采用快充方式，SOC 狀態(tài)主要分布于60%～80%，可調(diào)節(jié)時(shí)長(zhǎng)主要位于1～6 h；不可調(diào)節(jié)電動(dòng)汽車充電時(shí)長(zhǎng)大部分位于1 h 以內(nèi)，接入時(shí)長(zhǎng)通常較短，荷電狀態(tài)主要分布于70%～100%，可調(diào)節(jié)時(shí)長(zhǎng)主要位于1～3 h。

5.2.2 電動(dòng)汽車充電站調(diào)度結(jié)果

基于SAC 深度強(qiáng)化學(xué)習(xí)算法求解可調(diào)節(jié)電動(dòng)汽車負(fù)荷的優(yōu)化調(diào)度方案。經(jīng)過(guò)16 h、訓(xùn)練1 500 次后，模型訓(xùn)練具有如附錄E 圖E1 所示收斂效果。為驗(yàn)證模型的實(shí)際調(diào)度效果，SAC 強(qiáng)化學(xué)習(xí)、AC（actor-critic）強(qiáng)化學(xué)習(xí)以及PG（policy-gradient）強(qiáng)化學(xué)習(xí)算法的計(jì)算效果對(duì)比如表3 所示，相關(guān)指標(biāo)的說(shuō)明見附錄E 表E1。

由表3 可見，SAC 算法對(duì)于各類型的場(chǎng)景都具有更低的波動(dòng)性和相對(duì)優(yōu)秀的收斂性，盡管每回合運(yùn)行時(shí)間相對(duì)較長(zhǎng)，但是其測(cè)試回合的運(yùn)行時(shí)間也不超過(guò)1 s。從附錄E 圖E1 還可以發(fā)現(xiàn)，SAC 具有更好的尋優(yōu)效果，是適用于本文場(chǎng)景的優(yōu)化求解算法。優(yōu)化調(diào)度結(jié)果如圖4 所示。

表3 不同模型優(yōu)化調(diào)度效果對(duì)比Table 3 Comparison of optimal scheduling effects of different models

由圖4 可見，3 種場(chǎng)景下的優(yōu)化調(diào)度方案都實(shí)現(xiàn)了不同程度的峰谷差控制和負(fù)荷平抑效果，結(jié)合市場(chǎng)環(huán)境還創(chuàng)造了一定的收益。具體來(lái)說(shuō)，場(chǎng)景1 的削峰填谷效果最為明顯，降低了63%的負(fù)荷波動(dòng)效果，EVA 收益增加了1 966.93 元/d，負(fù)荷峰谷差降低了510 kW，負(fù)荷率提升了7.84%。場(chǎng)景2 下的電動(dòng)汽車優(yōu)化調(diào)度方案降低了41%的負(fù)荷波動(dòng)效果，EVA 收益增加了2 701.06 元/d，負(fù)荷峰谷差降低了315 kW，負(fù)荷率提升了5.23%。場(chǎng)景3 下的電動(dòng)汽車優(yōu)化調(diào)度方案受輔助服務(wù)市場(chǎng)的影響，具有最優(yōu)的經(jīng)濟(jì)效益，降低了42%的負(fù)荷波動(dòng)效果，EVA 收益增加了3 223.51 元/d，負(fù)荷峰谷差降低了321 kW，負(fù)荷率提升了3.31%。場(chǎng)景1 的負(fù)荷實(shí)時(shí)優(yōu)化調(diào)度是迎合電力系統(tǒng)調(diào)度需求的結(jié)果，場(chǎng)景2與場(chǎng)景3 的負(fù)荷實(shí)時(shí)優(yōu)化調(diào)度是迎合分時(shí)段電力市場(chǎng)價(jià)值變化的結(jié)果。整體協(xié)調(diào)調(diào)度的效果如表4所示。

表4 整體協(xié)調(diào)調(diào)度效果Table 4 Effect of overall coordinated scheduling

圖4 基于SAC 的優(yōu)化調(diào)度結(jié)果Fig.4 SAC-based optimal scheduling results

附錄E 圖E2 展示了不同場(chǎng)景下電動(dòng)汽車優(yōu)化調(diào)度后的可調(diào)節(jié)電動(dòng)汽車負(fù)荷變化情況，附錄E 圖E3 展示了電動(dòng)汽車總負(fù)荷變化情況。綜合圖E2、圖E3 可見，場(chǎng)景1 中電動(dòng)汽車負(fù)荷跟蹤了虛擬電廠聚合負(fù)荷的變化情況，使得系統(tǒng)的總體負(fù)荷曲線波動(dòng)性變小，但是電動(dòng)汽車負(fù)荷曲線的波動(dòng)性增強(qiáng)。場(chǎng)景2 和場(chǎng)景3 中電動(dòng)汽車的負(fù)荷變化充分響應(yīng)了市場(chǎng)分時(shí)段電價(jià)的激勵(lì)，使得EVA 獲得了最高市場(chǎng)效益，同時(shí)也使得電動(dòng)汽車負(fù)荷曲線波動(dòng)變大。

5.2.3 換電站進(jìn)一步優(yōu)化調(diào)度效果

在電動(dòng)汽車優(yōu)化調(diào)度完成之后，通過(guò)換電站的進(jìn)一步優(yōu)化調(diào)度可實(shí)現(xiàn)總負(fù)荷的進(jìn)一步調(diào)整，優(yōu)化調(diào)度完成后的系統(tǒng)總負(fù)荷情況如附錄F 圖F1 所示，換電站負(fù)荷經(jīng)調(diào)節(jié)后的負(fù)荷變化情況如圖5 所示。

圖5 換電站優(yōu)化調(diào)度結(jié)果Fig.5 Optimal scheduling results of battery swapping station

通過(guò)換電站的實(shí)時(shí)優(yōu)化調(diào)度，進(jìn)一步平滑了負(fù)荷曲線，場(chǎng)景1 中，通過(guò)換電站進(jìn)一步優(yōu)化了15%的負(fù)荷波動(dòng)，降低了509 kW 的峰谷差與1.2%的負(fù)荷率；場(chǎng)景2 中，通過(guò)換電站進(jìn)一步優(yōu)化了1.1%的負(fù)荷波動(dòng)，降低了315 kW 的峰谷差與1.1% 的負(fù)荷率；場(chǎng)景3 中，通過(guò)換電站進(jìn)一步優(yōu)化了0.9%的負(fù)荷波動(dòng)，降低了320 kW 的峰谷差與0.7% 的負(fù)荷率?？梢?，換電站可對(duì)電動(dòng)汽車負(fù)荷的優(yōu)化調(diào)節(jié)結(jié)果做出進(jìn)一步的優(yōu)化。

6 結(jié)語(yǔ)

為解決EVA 促進(jìn)電力系統(tǒng)經(jīng)濟(jì)可靠運(yùn)行過(guò)程中的聚合資源實(shí)時(shí)優(yōu)化調(diào)度問(wèn)題，本文提出了基于SAC 深度強(qiáng)化學(xué)習(xí)的大規(guī)模電動(dòng)汽車充換電負(fù)荷實(shí)時(shí)優(yōu)化調(diào)度策略，以實(shí)現(xiàn)最優(yōu)化聚合運(yùn)行目標(biāo)，結(jié)合仿真算例可以得出以下結(jié)論:

1）本文以EVA 為研究對(duì)象，從系統(tǒng)運(yùn)行最優(yōu)和經(jīng)濟(jì)效益最優(yōu)的角度分別構(gòu)建優(yōu)化調(diào)度模型，可以實(shí)現(xiàn)平抑系統(tǒng)負(fù)荷波動(dòng)、減少EVA 的充電成本并降低峰谷差的效果。

2）FCM-SVM 模型可實(shí)現(xiàn)電動(dòng)汽車可調(diào)性識(shí)別，從中提取出可調(diào)節(jié)電動(dòng)汽車負(fù)荷進(jìn)行實(shí)時(shí)靈活調(diào)度；基于SAC 模型可為電動(dòng)汽車充電過(guò)程和換電站電池的充放電過(guò)程制定個(gè)性化方案，實(shí)現(xiàn)充換電站的智能協(xié)調(diào)調(diào)度。

3）通過(guò)分析SAC 算法的收斂曲線并對(duì)比不同算法之間的結(jié)果穩(wěn)定性、收斂速率、運(yùn)行時(shí)間等內(nèi)容，可以發(fā)現(xiàn)本文模型優(yōu)化效果好、穩(wěn)定性強(qiáng)，且運(yùn)算速率較好，具有實(shí)際工程應(yīng)用價(jià)值，適合解決大規(guī)模電動(dòng)汽車接入的實(shí)時(shí)調(diào)度問(wèn)題。

本文的研究成果可以應(yīng)用于EVA 對(duì)大規(guī)模電動(dòng)汽車資源的實(shí)時(shí)優(yōu)化調(diào)度，但其互動(dòng)機(jī)制僅限于EVA 與電動(dòng)汽車資源之間，EVA 之間的競(jìng)爭(zhēng)關(guān)系、EVA 內(nèi)部的充電站和換電站之間的協(xié)調(diào)和平衡關(guān)系是后續(xù)研究的方向。

本文研究受到國(guó)網(wǎng)電動(dòng)汽車服務(wù)有限公司的幫助，特此感謝！

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。