基于改進深度強化學習的電動汽車充換電站調(diào)度技術(shù)

胡勇

（許繼電氣股份有限公司，河南許昌，461000）

0 引言

近些年來，隨著新能源技術(shù)的不斷發(fā)展，節(jié)能型汽車逐漸受到越來越多的關(guān)注，在其發(fā)展進程中，電動汽車以及油電混合汽車成為了未來主要的發(fā)展趨勢。與此同時，電力負荷中所占比例的增加要求相應的配套設施也要不斷優(yōu)化[1]。其中，充換電站(batteryswappingstation,BSS)作為電動汽車能源補給的主要方式，對其進行合理調(diào)度對于提高電動汽車應用具有重要意義[2]。為此，不少學者也開展了相關(guān)研究，其中，王生生等人利用群智能算法對充換電站調(diào)度進行研究，通過模擬自然界生物種群的社會行為，隨機搜索方法可行的調(diào)度方案，有效解決了調(diào)度研究中的最優(yōu)化問題，實現(xiàn)了對換電站資源的有效調(diào)度，但其在尋優(yōu)過程中受數(shù)據(jù)基礎的影響，容易出現(xiàn)局部最優(yōu)的情況，進而影響作用的調(diào)度結(jié)果[3-4]；在對充換電站調(diào)度問題進行研究時，需要注意電池自身的充電損傷問題，由于每塊電池由于充電方式以及充電頻率，耗電速度均不同，這些都對調(diào)度決策變量的構(gòu)建有直接影響，在最小化電池充電損壞的基礎上，如何實現(xiàn)促進充換電站穩(wěn)定運行，減小其存在的運行風險是充換電站調(diào)度研究中需要關(guān)注的重點[5-7]。

基于此，本文提出基于改進強化深度學習的電動汽車充換電站調(diào)度技術(shù)研究，并通過試驗測試驗證了設計方法的有效性。通過本文的研究，以期為提高充換電站調(diào)度的合理性帶來幫助，為充換電站的合理布局提供參考價值。

1 基于改進深度強化學習的電動汽車充換電站調(diào)度

1.1 基于LSTM的充換電站需求響應模型

為了實現(xiàn)對充換電的合理調(diào)度，首先要分析其現(xiàn)有的對充換電的需求響應，為此，本文利用LSTM(LongShort-TermMemory，長短期記憶網(wǎng)絡)構(gòu)建了充換電站需求響應模型。這種深度強化學習算法是通過在所有可選用方案中不斷“試錯”，在不斷訓練中選擇出最優(yōu)的方案[8]。本文建立的充換電站響應行為模型是根據(jù)充換電站實際響應行為的特點，結(jié)合深度學習算法，以充換電站用戶側(cè)構(gòu)建基于LSTM的充換電站響應網(wǎng)模型[9]。由于充換電站響應模型的可靠性與充換電站調(diào)度行為需求預測結(jié)果的準確性之間有著密不可分的關(guān)聯(lián)，因此，本文采用深度強化學習的方式對模型的參數(shù)進行訓練，通過這樣的方式提高最終充換電站調(diào)度的綜合決策結(jié)果的有效性[10]。考慮到基于LSTM構(gòu)建的充換電站響應模型的可靠性主要受請求規(guī)模以及需求資源種類影響，本文在現(xiàn)有經(jīng)驗的基礎上，對LSTM模型預測準確率進行了校驗。

首先，以一個二次函數(shù)近似表示需求響應充換電站的響應行為的效益，則充換電站響應模型可以表示方式為

其中，F(xiàn)（x）表示充換電站的響應成本；x表示用戶的實際響應量；λ和γ分別表示不定參數(shù)，該參數(shù)值以實際充電需求為基準，因此，當提出充換電的電動汽車不同、請求提出時段不同時，λ和γ的取值結(jié)果都會發(fā)生相應的變化，而二者的變化也決定著可調(diào)度資源的規(guī)模。

在對充換電站響應行為的學習過程中，本文設置λ和γ以0.25為方差，呈正態(tài)分布，且正態(tài)分布的期望中心各不相同。以此為基礎，在該分布范圍內(nèi)隨機取值。此時在搜索最優(yōu)調(diào)度方案的過程中，容易出現(xiàn)跨過空間可行域，導致最終的搜索結(jié)果超出可行域，此時得到的結(jié)果需要重新進行初始化，為了降低該類問題，本文設置了搜索區(qū)間的邊界位置。首先，將超出邊界的結(jié)果采用對立點搜索方法在搜索區(qū)間重新進行初始化，以競爭機制為基礎保留較優(yōu)結(jié)果，其表示方式為

其中，la和lb分別表示搜索的上限和下限，F(xiàn)’（x）為F（x）的對立結(jié)果，通過這樣的方式，得到最優(yōu)的充換電站需求響應方案。

1.2 電動汽車充換電站調(diào)度

在得到可靠的充換電站需求響應方案后，即可根據(jù)實際情況對電動汽車充換電站資源進行調(diào)度。對此，本文主要分2步進行，首先將充換電請求與電動汽車充換電站進行匹配，其次，根據(jù)匹配結(jié)果下發(fā)與該目標請求相匹配的激勵。但是，值得注意的是，如果將這兩個步驟分別羅列進行會造成動作空間增大，為此本文將上述兩步動作進行了分解處理。將單次需求響應請求拆分成若干個步驟。電動汽車充換電站每次只可選擇一個請求，并對其下屬的資源分發(fā)激勵，直至資源儲備的響應量與請求的需求量匹配，或資源儲備量超過請求所需的最大響應量。有考慮到由于請求數(shù)量是不穩(wěn)定的，可能會在短時間內(nèi)出現(xiàn)大幅度的增加，為此，本文采用卷積神經(jīng)網(wǎng)絡實現(xiàn)對電動汽車充換電站調(diào)度的尋優(yōu)。

在電動汽車充換電站內(nèi)部，資源的調(diào)度實質(zhì)上是狀態(tài)到動作獎勵值之間的一種映射。充換電站通過聚合電動汽車參與充換電站的不同業(yè)務，從資源交換中獲得利潤P，此時對應完成的任務量為n，第i次資源的激勵為Ii，請求的響應量為xi，則每次調(diào)度動作的獎勵值ci可表示為

在此基礎上，從時間的角度對請求的用電量以及充換電站的響應行為進行分析，不難看出二者是存在一定關(guān)聯(lián)性的，因此，本文調(diào)用了每個請求的邊緣需求資源，在每次需求響應業(yè)務開展時，充換電站首先根據(jù)歷史數(shù)據(jù)對不同請求的響應模型進行訓練，以高置信度為標準，針對每一個請求形成響應模型，以此為基礎的調(diào)度方式如下。

首先，對經(jīng)驗池進行初始化處理，采用隨機值初始化的方式將請求選擇價值函數(shù)表與權(quán)重初始化值之間建立映射關(guān)系，此時的調(diào)度動作價值函數(shù)與初始化的請求目標動作價值函數(shù)是以關(guān)聯(lián)的形式存在的，當充換電站接收到需求響應業(yè)務時，基于LSTM的需求響應模型在初始化的接收激勵方案中選擇狀態(tài)值與實際調(diào)度需求一致的方案，并將對應的激勵量傳送給電站需求的LSTM模型。以此為基礎，觀察電站需求的響應情況，確定下一時刻狀態(tài)并及獎勵值，其計算方式為

其中，yi表示調(diào)度量，τ表示更新請求狀態(tài)矩陣中其接受的激勵量最大浮動量。通過這樣的方式，實現(xiàn)對電動汽車充換電站的調(diào)度。

2 算例與實驗分析

將本文提出的基于改進深度強化學習的電動汽車充換電站調(diào)度技術(shù)進行測試分析，采用Matlab2019作為仿真實驗測試的環(huán)境。

2.1 實驗數(shù)據(jù)

實驗所用的數(shù)據(jù)是在現(xiàn)實場景的基礎上進行提取的，通過全景模擬電動汽車充換電站的運行數(shù)據(jù)，計算得出最終的實驗數(shù)據(jù)。其中，本文的模擬對象為某300m2的充換電站，采集了該充換電站100天內(nèi)的負荷數(shù)據(jù)，通過模擬仿真的方式，計算得到該區(qū)域的負荷曲線，并將其作為實驗算例。其中，（假設該充換電站每天提供服務的汽車規(guī)模為100輛，此時換電站電池充電功率、負荷數(shù)據(jù)綜合實際數(shù)據(jù)的均值），以此為基礎，得到的原始負荷曲線如圖1所示。

圖1 充換電站原始負荷曲線

以此為基礎，分別采用文獻[4]、文獻[5]以及本文提出的方法對其進行調(diào)度，并同樣采用仿真模擬的方式對調(diào)度后的負荷曲線進行計算。

2.2 實驗結(jié)果

在上述基礎上，對比了三種方法的調(diào)度結(jié)果，得到了負荷曲線結(jié)果如圖2所示。

圖2 調(diào)度后充換電站負荷曲線

從圖2中可以看出，以文獻[4]和文獻[5]方法相比，在本文提出的調(diào)度方法下，電動汽車充換電站的負荷處于相對穩(wěn)定的狀態(tài)，未出現(xiàn)明顯的超負荷情況，且隨著充電需求車輛的增加，其負荷曲線的變化趨勢相對穩(wěn)性；而文獻[4]和文獻[5]方法的調(diào)度結(jié)果中，對于充電請求小于100的情況，可以實現(xiàn)對負荷的有效控制，但是當充電請求大于100時，均出現(xiàn)了不同程度的超負荷情況。表明本文提出的電動汽車充換電站調(diào)度具有良好的應用價值。這是因為本文在對調(diào)度需求進行計算時，構(gòu)建了邊界反彈機制，增加了求解方案的合理性，提高了算法尋優(yōu)的可靠性。

3 結(jié)束語

電動汽車的發(fā)展不僅對于全球環(huán)境的保護具有重要意義，也是適應現(xiàn)階段能源緊缺大環(huán)境的重要舉措。基于此，電動汽車未來的發(fā)展空間是不可限量的。未來促進其健康發(fā)展，對于其配套設施的建設必須受到重視。充換電站作為電動汽車能源供應的主要方式，對于進行合理調(diào)度是確保電動汽車運行的重要基礎。本文提出基于改進深度強化學習的電動汽車充換電站調(diào)度技術(shù)，實現(xiàn)了對負荷的有效控制，確保負荷曲線處于相對穩(wěn)定的狀態(tài)，不會由于充換電請求的改變而出現(xiàn)超負荷情況。