有軌電車基于工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略

莫浩楠 楊中平 林 飛 王 玙 安星錕

（北京交通大學(xué)電氣工程學(xué)院 北京 100044）

0 引言

隨著城市建設(shè)規(guī)模的不斷擴(kuò)大，人們對軌道交通的需求越來越高，環(huán)境保護(hù)意識(shí)也不斷增強(qiáng)。由于有軌電車相比于電動(dòng)客車具有載客量大、運(yùn)行速度快、污染少等優(yōu)點(diǎn)，因此大力發(fā)展有軌電車將會(huì)緩解城市交通壓力，提高出行效率[1]。其中車載儲(chǔ)能的供電方式改善了城市景觀，提高了出行的安全性[2]，然而單一的儲(chǔ)能元件難以滿足有軌電車在運(yùn)行時(shí)能量和功率的全部需求，需要結(jié)合高能量密度和高功率密度的儲(chǔ)能元件進(jìn)行混合儲(chǔ)能。

混合儲(chǔ)能系統(tǒng)需要提供有軌電車全部牽引能量以滿足其在運(yùn)行過程中的速度需求，并且能夠充分吸收再生制動(dòng)能量，實(shí)現(xiàn)能量循環(huán)利用。其中能量管理策略的設(shè)計(jì)至關(guān)重要，其首要任務(wù)是在滿足駕駛員需求功率前提下，實(shí)現(xiàn)對動(dòng)力源功率優(yōu)化分配，使整車性能最佳。然而，實(shí)際駕駛工況的不確定性和擾動(dòng)性極大地增加了能量管理策略的設(shè)計(jì)難度。為此，開發(fā)高效、適應(yīng)性強(qiáng)的能量管理策略是目前研究的關(guān)鍵問題。

近年來，針對混合儲(chǔ)能系統(tǒng)的能量管理策略有多種，主要分為兩大類：基于規(guī)則的能量管理策略和基于優(yōu)化的能量管理策略。其中，基于規(guī)則的能量管理策略分為邏輯閾值法[3-4]、比例法[5]、模糊控制法[6-7]等，主要通過系統(tǒng)需求功率及儲(chǔ)能系統(tǒng)的狀態(tài)進(jìn)行判斷，從而做出實(shí)時(shí)的功率分配。該類方法由于控制邏輯簡單、實(shí)用性強(qiáng)、實(shí)時(shí)響應(yīng)快，在工程領(lǐng)域受到了廣泛的應(yīng)用。但控制邏輯的設(shè)定主要依據(jù)設(shè)計(jì)人員的工程經(jīng)驗(yàn)，無法實(shí)現(xiàn)優(yōu)化控制，若規(guī)則設(shè)置不合理，則會(huì)降低系統(tǒng)的控制效果。

基于優(yōu)化的能量管理策略主要有全局優(yōu)化[8-10]和實(shí)時(shí)優(yōu)化[15-21]的策略。其中全局優(yōu)化的算法需提前獲知整個(gè)行駛工況，計(jì)算量大，無法直接應(yīng)用于實(shí)時(shí)控制系統(tǒng)。常見的做法是根據(jù)離線優(yōu)化的結(jié)果提取相應(yīng)的規(guī)則，轉(zhuǎn)換為在線的能量管理策略，或者通過結(jié)合駕駛工況識(shí)別和模型預(yù)測控制等技術(shù)提高能量管理策略的適用性。文獻(xiàn)[8-9]針對動(dòng)態(tài)規(guī)劃優(yōu)化結(jié)果無法實(shí)時(shí)應(yīng)用的問題，從優(yōu)化結(jié)果提取相應(yīng)的規(guī)則，提出新的基于規(guī)則的能量管理策略。這種以離線指導(dǎo)在線的方法未考慮駕駛條件變化較大時(shí)對能量管理策略產(chǎn)生的影響。文獻(xiàn)[11-12]采用神經(jīng)網(wǎng)絡(luò)對駕駛工況進(jìn)行實(shí)時(shí)識(shí)別，結(jié)合全局優(yōu)化算法的結(jié)果提取功率分配規(guī)則，并存儲(chǔ)于控制模塊中以供不同工況選擇。這種方法雖然對不同工況下的能量管理策略進(jìn)行了優(yōu)化，但其優(yōu)化結(jié)果受限，不能實(shí)現(xiàn)準(zhǔn)確控制。為了使得能量管理策略更加適應(yīng)當(dāng)前駕駛工況，文獻(xiàn)[13-14]引入了模型預(yù)測算法，將整個(gè)行駛工況內(nèi)的全局最優(yōu)問題轉(zhuǎn)換為預(yù)測時(shí)域內(nèi)的局部優(yōu)化問題，通過滾動(dòng)優(yōu)化不斷更新預(yù)測時(shí)域內(nèi)未來行駛狀態(tài)，獲得優(yōu)化結(jié)果。但這種方法很大程度上依賴對未來工況預(yù)測的精準(zhǔn)性，并且不能得到全局最優(yōu)解。

目前，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能算法已經(jīng)應(yīng)用到了混合儲(chǔ)能實(shí)時(shí)能量管理策略中。強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)算法，在機(jī)器人控制、交通運(yùn)輸和運(yùn)籌學(xué)等領(lǐng)域有著廣泛的應(yīng)用[15]。文獻(xiàn)[15-18]將強(qiáng)化學(xué)習(xí)應(yīng)用到求解插電式混合動(dòng)力車輛的能量管理問題中。通過強(qiáng)化學(xué)習(xí)離線優(yōu)化結(jié)果對儲(chǔ)能系統(tǒng)進(jìn)行實(shí)時(shí)控制，并較好地優(yōu)化了燃油經(jīng)濟(jì)性。強(qiáng)化學(xué)習(xí)對工況變化具有一定的魯棒性，但它的優(yōu)化性能只有在相似的工況中才能得到保證。文獻(xiàn)[19-21]引入了Kullback-Leibler偏異率，通過實(shí)時(shí)遞歸算法更新需求功率狀態(tài)轉(zhuǎn)移概率矩陣，開發(fā)基于強(qiáng)化學(xué)習(xí)的在線能量管理策略，使其更加適應(yīng)當(dāng)前駕駛工況，提高了能量管理策略的適用性和魯棒性。

由于有軌電車起停頻繁且系統(tǒng)功率等級(jí)高，通過在線更新強(qiáng)化學(xué)習(xí)策略的方法在有軌電車中受到限制。本文針對有軌電車的駕駛工況及大功率應(yīng)用場合，提出了基于工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略。

本文首先對有軌電車混合儲(chǔ)能系統(tǒng)進(jìn)行介紹，根據(jù)實(shí)車駕駛歷史數(shù)據(jù)構(gòu)建了有軌電車駕駛工況；然后通過強(qiáng)化學(xué)習(xí)算法得到了不同駕駛工況下的能量管理策略，并采用改進(jìn)的學(xué)習(xí)向量量化（Learning Vector Quantization,LVQ）神經(jīng)網(wǎng)絡(luò)對當(dāng)前的駕駛工況進(jìn)行識(shí)別，有軌電車根據(jù)當(dāng)前識(shí)別的工況選擇相應(yīng)的最優(yōu)控制表實(shí)時(shí)做出決策；最后采用實(shí)車運(yùn)行數(shù)據(jù)進(jìn)行仿真與實(shí)驗(yàn)，驗(yàn)證了該策略的有效性及可行性。

1 有軌電車儲(chǔ)能系統(tǒng)建模與工況構(gòu)建

1.1 混合儲(chǔ)能系統(tǒng)建模

對于混合儲(chǔ)能系統(tǒng)而言，不同的儲(chǔ)能元件通過不同的儲(chǔ)能方式連接到公共直流母線上，通過雙向DC-DC變換器控制不同的電壓等級(jí)之間的功率流動(dòng)。由于鈦酸鋰電池安全性高、能量密度和功率密度兼具，超級(jí)電容充放電速度快、功率密度高且循環(huán)壽命長，為此，本文采用鈦酸鋰電池和超級(jí)電容進(jìn)行混合儲(chǔ)能，由戴維南定理可知，儲(chǔ)能系統(tǒng)串并聯(lián)以后其等效電路模型依然不變，系統(tǒng)拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 混合儲(chǔ)能系統(tǒng)拓?fù)浣Y(jié)構(gòu)Fig.1 Topology of hybrid energy storage system

該拓?fù)溻佀徜囯姵叵到y(tǒng)通過DC-DC并聯(lián)到直流母線，超級(jí)電容系統(tǒng)直接并聯(lián)到直流母線。鈦酸鋰電池功率可通過DC-DC直接控制，可以通過控制電池的充放電電流，延長其壽命周期，適用于以超級(jí)電容為主要供電的場合。其中，鈦酸鋰電池系統(tǒng)使用模型為一階模型，采用Arbin單體測試儀測得其單體開路電壓Vcbocv、內(nèi)阻Rcbo、極化電阻Rcbp隨荷電狀態(tài)（State of Charge,SOC）變化曲線如圖2所示。

圖2 Rcbo、Rcbp和Vcbocv隨SOC的變化曲線Fig.2 Rcbo,Rcbp and Vcbocv vs.SOC

鋰電池系統(tǒng)離散化的電流、極化電壓、外電壓和時(shí)間常數(shù)表達(dá)式為

式中，k為離散時(shí)間常數(shù)；Ib為鋰電池系統(tǒng)電流；Δt為時(shí)間間隔；τ為時(shí)間常數(shù)；Rbp、Cbp、Rbo分別為電池系統(tǒng)的極化電阻、極化電容、歐姆內(nèi)阻；Vbocv、Vb、Vbp分別為電池系統(tǒng)開路電壓、端電壓及極化電壓；Pb為鋰電池系統(tǒng)端的功率。

本文使用安時(shí)積分法計(jì)算鈦酸鋰電池系統(tǒng)荷電狀態(tài)SOC，表達(dá)式為

式中，Q0為鈦酸鋰電池系統(tǒng)總電荷量。

超級(jí)電容系統(tǒng)采用模型為內(nèi)阻阻值不變的串電阻模型。超級(jí)電容系統(tǒng)離散化的開路電壓、外電壓和電流表達(dá)式為

式中，Vscocv、Vsc分別為超級(jí)電容系統(tǒng)的開路電壓與端電壓；Isc為超級(jí)電容系統(tǒng)的電流；Rsc為超級(jí)電容系統(tǒng)內(nèi)阻；Csc為超級(jí)電容系統(tǒng)容值；Psc為超級(jí)電容系統(tǒng)端的功率。

采用電壓平方的關(guān)系表達(dá)超級(jí)電容系統(tǒng)的SOC，表達(dá)式為

式中，Vscocvmax為超級(jí)電容系統(tǒng)的額定電壓。

1.2 有軌電車駕駛工況構(gòu)建

本文提取武漢東湖線有軌電車連續(xù)運(yùn)行10天的數(shù)據(jù)，包括工作日與周末。該數(shù)據(jù)從有軌電車車載監(jiān)測裝置中獲取，記錄有軌電車自出庫至回庫的全部運(yùn)行狀態(tài)，采樣頻率為1Hz。有軌電車運(yùn)行時(shí)間為6:30～22:00，發(fā)車間隔約為6min，運(yùn)行時(shí)長為15.5h。采用短行程分析法對有軌電車駕駛工況進(jìn)行構(gòu)建。不同于非軌道交通車輛，有軌電車的運(yùn)行路徑固定，且在運(yùn)行時(shí)需遵循發(fā)車間隔、限速等要求，有較為明顯的規(guī)則性。定義有軌電車起點(diǎn)和終點(diǎn)的加速度和速度都為0的時(shí)刻之間的行程為短行程，如圖3所示。將數(shù)據(jù)處理后得到2 782個(gè)短行程。

圖3 短行程分割示意圖Fig.3 Schematic diagram of short stroke division

提取每段短行程的特征參數(shù)，選取15個(gè)重要特征參數(shù)反映有軌電車短行程的運(yùn)行信息，代表性特征值見表 1。定義低速vlow∈(0,20]km/h，中速vmid∈(20,40]km/h，高速vhigh＞40km/h。

表1 代表性特征值Tab.1 Representative eigenvalue

為了消除單位不同帶來的影響，將原始特征參數(shù)進(jìn)行標(biāo)準(zhǔn)化處理，并采用主成分分析法對標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行降維處理以減小數(shù)據(jù)重疊。選擇累積貢獻(xiàn)率達(dá)到80%以上前四個(gè)主成分代表原始變量。主成分貢獻(xiàn)率見表2。

表2 主成分貢獻(xiàn)率Tab.2 Principal component contribution rate

根據(jù)東湖線有軌電車的行駛狀況，可以將短行程片段劃分為三類，采用K均值聚類進(jìn)行分析，其聚類結(jié)果及各工況特征參數(shù)見表3。

由表3可以看出，三種工況特征參數(shù)區(qū)分明顯，對各工況特征參數(shù)進(jìn)行分析。工況一數(shù)目最少，平均運(yùn)行速度、平均加速度和減速度絕對值、高速運(yùn)行時(shí)間占比最高，稱為高速工況。工況二平均運(yùn)行速度、平均加速度和減速度絕對值最低，低速運(yùn)行時(shí)間占比高達(dá)86.18%，稱為低速工況。工況二特征參數(shù)介于工況一和工況三之間，稱為中速工況。

表3 工況聚類結(jié)果及特征值Tab.3 Working condition clustering results and eigenvalues

2 基于工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略

強(qiáng)化學(xué)習(xí)（Reinforcement Learning,RL）是一種自適應(yīng)最優(yōu)控制方法，其目的是在觀察和分析系統(tǒng)行為的基礎(chǔ)上，通過試錯(cuò)學(xué)習(xí)作出最優(yōu)決策，以改進(jìn)系統(tǒng)性能，得到的策略是狀態(tài)到動(dòng)作的映射，與時(shí)間無關(guān)，因而可以直接應(yīng)用到在線控制。對于混合動(dòng)力有軌電車而言，運(yùn)行過程中的牽引制動(dòng)功率是一個(gè)隨機(jī)狀態(tài)，這樣一個(gè)隨機(jī)過程滿足馬爾可夫性質(zhì)，即從一個(gè)狀態(tài)轉(zhuǎn)移到另一狀態(tài)的概率只與當(dāng)前系統(tǒng)所處狀態(tài)有關(guān)，與之前系統(tǒng)所處狀態(tài)無關(guān)。因此，混合動(dòng)力有軌電車的能量管理問題本質(zhì)上是一個(gè)馬爾可夫決策過程（Markov Decision Process,MDP）。

2.1 目標(biāo)函數(shù)及約束條件

有軌電車能量管理問題可以表示為在約束范圍內(nèi)最小化目標(biāo)函數(shù)的約束優(yōu)化問題，目標(biāo)函數(shù)選擇儲(chǔ)能系統(tǒng)的能量損失。

式中，Ploss為儲(chǔ)能系統(tǒng)總損耗；Pbloss為電池內(nèi)阻損耗；Pscloss為超級(jí)電容內(nèi)阻損耗；Pdcloss為DC-DC損耗。各系統(tǒng)損耗通過式（6）計(jì)算。

式中，ηdcdc為DC-DC轉(zhuǎn)換器的效率。

為了保證儲(chǔ)能系統(tǒng)工作在合理范圍內(nèi)，能量管理問題受到以下約束條件的限制。

式中，SOCbmax和SOCbmin分別為電池系統(tǒng)荷電狀態(tài)的上、下限；SOCscmax和SOCscmin分別為超級(jí)電容系統(tǒng)荷電狀態(tài)的上、下限；Ibmax和Iscmax分別為電池和超級(jí)電容系統(tǒng)的最大放電電流；Ibmin和Iscmin分別為電池和超級(jí)電容系統(tǒng)最大充電電流。

2.2 轉(zhuǎn)移概率矩陣

基于強(qiáng)化學(xué)習(xí)能量管理策略的一個(gè)基本步驟是對列車運(yùn)行過程中的需求功率進(jìn)行建模。需求功率變化可以看作是一個(gè)平穩(wěn)的馬爾可夫過程，而需求功率狀態(tài)轉(zhuǎn)移概率矩陣可以通過式（8）最鄰近法和最大似然估計(jì)法計(jì)算。

式中，n為需求功率狀態(tài)數(shù)量；Pij為在一定速度下功率Pi到Pj的轉(zhuǎn)移概率；Nij為Pi到Pj的次數(shù)；Ni為狀態(tài)Pi產(chǎn)生的總次數(shù)。

計(jì)算不同駕駛工況下的狀態(tài)轉(zhuǎn)移概率過程如圖4所示，根據(jù)1.2節(jié)構(gòu)建的三種駕駛工況提取狀態(tài)轉(zhuǎn)移概率。

圖4 不同工況狀態(tài)轉(zhuǎn)移概率計(jì)算過程Fig.4 Calculation process of state transition probability under different working conditions

2.3 基于工況識(shí)別的強(qiáng)化學(xué)習(xí)控制策略建立流程

對于有軌電車能量管理問題，選擇有軌電車運(yùn)行速度、有軌電車功率需求、電池SOC和超級(jí)電容SOC作為狀態(tài)變量：st∈S= {V,Preq,SOCb,SOCsc}。電池輸出功率為決策變量：at∈A={Pbat}。即時(shí)獎(jiǎng)勵(lì)定義為功率損耗的倒數(shù)：rt∈R= {1 /Ploss(st,at)}。

基于強(qiáng)化學(xué)習(xí)的控制策略是一個(gè)從狀態(tài)到動(dòng)作的映射函數(shù)π：S-A，當(dāng)π被用作一系列完整的決策策略時(shí)，狀態(tài)s的最優(yōu)值被定義為折扣回報(bào)函數(shù)的期望之和，即

式中，γ∈ [0,1]為折扣因子。

根據(jù)狀態(tài)轉(zhuǎn)移概率及貝爾曼最優(yōu)方程的定義，可以將式（9）改寫為

基于給定的最優(yōu)值函數(shù)，可通過式（11）計(jì)算最優(yōu)策略。

對于狀態(tài)s和動(dòng)作a所對應(yīng)的值函數(shù)可用Q來表示，即

在Q-learning算法中，Q值可以按照式（13）進(jìn)行更新。

式中，n為迭代次數(shù)；α為算法中的學(xué)習(xí)率，α∈ [0,1]。學(xué)習(xí)率越大收斂速度越快，但會(huì)導(dǎo)致過擬合問題。本文選擇的學(xué)習(xí)率為。

由于不同工況下的功率狀態(tài)轉(zhuǎn)移概率有較大差異，若直接依據(jù)歷史行駛數(shù)據(jù)構(gòu)建狀態(tài)轉(zhuǎn)移矩陣，會(huì)使系統(tǒng)控制性能下降，降低魯棒性。為使得能量管理策略能更加適應(yīng)有軌電車復(fù)雜駕駛工況，將具有相似的馬爾科夫鏈模型的駕駛工況進(jìn)行歸類，并采用改進(jìn)的LVQ神經(jīng)網(wǎng)絡(luò)進(jìn)行工況識(shí)別，以規(guī)避駕駛工況變化較大時(shí)對能量管理策略的影響。如圖5所示，LVQ神經(jīng)網(wǎng)絡(luò)主要由輸入層、競爭層和線性輸出層組成，通過不斷訓(xùn)練輸入層和隱含層之間的權(quán)值進(jìn)而獲得更好的分類結(jié)果。輸入層的15個(gè)輸入節(jié)點(diǎn)分別對應(yīng)行駛工況的15個(gè)特征參數(shù)，競爭層選擇80個(gè)神經(jīng)元，線性輸出層神經(jīng)元個(gè)數(shù)為3，對應(yīng)著期望識(shí)別的三種工況。

圖5 LVQ神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)構(gòu)Fig.5 LVQ neural network training structure

由于LVQ 網(wǎng)絡(luò)的初始權(quán)值向量對網(wǎng)絡(luò)訓(xùn)練的影響很大，為了獲得良好的初始權(quán)值，提高網(wǎng)絡(luò)分類性能，本文采用粒子群算法對網(wǎng)絡(luò)初始權(quán)值進(jìn)行優(yōu)化，目標(biāo)函數(shù)為訓(xùn)練數(shù)據(jù)預(yù)測誤差。

式中，Ti為神經(jīng)網(wǎng)絡(luò)訓(xùn)練輸出數(shù)據(jù)；Yi為神經(jīng)網(wǎng)絡(luò)預(yù)測數(shù)據(jù)；abs(·)為絕對值函數(shù)。

采用移動(dòng)時(shí)間窗口的形式進(jìn)行工況數(shù)據(jù)的更新，識(shí)別窗口T=120s，預(yù)測窗口Tf=20s。通過實(shí)時(shí)計(jì)算時(shí)間窗口T內(nèi)的工況特征參數(shù)進(jìn)行工況識(shí)別，作為未來Tf窗口的駕駛工況。對東湖線某天一段時(shí)間內(nèi)的實(shí)車數(shù)據(jù)進(jìn)行實(shí)時(shí)工況識(shí)別，識(shí)別結(jié)果如圖6所示。

圖6 工況在線識(shí)別結(jié)果Fig.6 Working condition online recognition result

由于采用移動(dòng)窗口的形式進(jìn)行工況識(shí)別，窗口內(nèi)的特征參數(shù)可能和當(dāng)前短行程的特征參數(shù)有一定的差異，使得識(shí)別結(jié)果出現(xiàn)一定的誤差，但由于不同工況特征參數(shù)差異較大，LVQ神經(jīng)網(wǎng)絡(luò)能夠大致識(shí)別工況類型。

基于工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略流程如圖7所示，主要包括離線優(yōu)化求解和在線實(shí)時(shí)控制兩個(gè)流程。在線實(shí)時(shí)控制時(shí)，通過截取時(shí)間窗內(nèi)的實(shí)際工況信息進(jìn)行在線工況識(shí)別，有軌電車根據(jù)當(dāng)前識(shí)別工況、運(yùn)行速度、需求功率及儲(chǔ)能系統(tǒng)SOC并結(jié)合該類工況下的最優(yōu)控制表實(shí)時(shí)輸出電池需要承擔(dān)的功率。

圖7 基于工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略建立流程Fig.7 Process of establishing RL energy management strategy based on working condition recognition

3 案例分析

3.1 仿真條件及優(yōu)化結(jié)果分析

本文以東湖線實(shí)車駕駛工況，采用遍歷方法對混合儲(chǔ)能系統(tǒng)進(jìn)行容量配置，得到滿足邊界條件的儲(chǔ)能系統(tǒng)參數(shù)見表4。

表4 儲(chǔ)能系統(tǒng)參數(shù)Tab.4 Energy storage device parameters

以工況一為例，圖8給出在速度為40km/h時(shí)強(qiáng)化學(xué)習(xí)算法中每500次迭代后的Q值平均誤差變化曲線。選擇折扣因子為0.9，并采用貪婪概率1-[1/lg(n/100+2.8)]進(jìn)行動(dòng)作選擇。在迭代初期，隨機(jī)選擇動(dòng)作概率較大，主要選擇探索環(huán)境擴(kuò)充樣本，隨著訓(xùn)練次數(shù)的上升，隨機(jī)選擇動(dòng)作概率逐漸減小，經(jīng)過充分“試錯(cuò)”學(xué)習(xí)之后，由探索環(huán)境狀態(tài)逐漸轉(zhuǎn)為利用知識(shí)狀態(tài)。當(dāng)?shù)螖?shù)為5 000萬次時(shí)，Q值平均誤差逐漸趨近于0，算法達(dá)到收斂。

圖8 每500次迭代Q值平均誤差Fig.8 Mean discrepancy of Q value per 500 iterations

圖9為在工況一條件下，速度為40km/h，不同需求功率等級(jí)下的動(dòng)作變量變化情況。從圖中可以看到，鈦酸鋰電池輸出功率隨著鈦酸鋰電池SOCb、超級(jí)電容SOCsc和需求功率變化而變化，具有一定的變化趨勢，但無明顯的規(guī)則。當(dāng)系統(tǒng)牽引功率較小時(shí)主要由超級(jí)電容提供功率，且超級(jí)電容SOCsc較低時(shí)，電池提供較高功率。當(dāng)系統(tǒng)制動(dòng)功率較小且超級(jí)電容SOCsc較高時(shí)，主要由電池吸收制動(dòng)功率。當(dāng)系統(tǒng)牽引、制動(dòng)功率較高時(shí)，由于電池額定功率限制，電池和超級(jí)電容分別承擔(dān)相應(yīng)的功率。

圖9 不同狀態(tài)下動(dòng)作變量分布Fig.9 Distribution of action variables in different states

需要注意的是，由于有軌電車到站充電的過程不具有馬爾科夫性，由強(qiáng)化學(xué)習(xí)得到的能量管理策略只在有軌電車運(yùn)行過程中使用，到站進(jìn)行恒流充電，采用優(yōu)先超級(jí)電容充電策略。

3.2 能量管理策略驗(yàn)證及對比分析

以一條實(shí)車駕駛數(shù)據(jù)作為輸入條件，如圖10所示，來驗(yàn)證工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略的優(yōu)化效果，其中充電站以500A恒流充電。

圖10 實(shí)車駕駛曲線-1Fig.10 Real vehicle driving curve -1

圖11為儲(chǔ)能系統(tǒng)功率分配曲線及SOC曲線，從中可以看出，由于鈦酸鋰電池系統(tǒng)SOC充足，制動(dòng)功率基本都由超級(jí)電容系統(tǒng)吸收，且在牽引工況時(shí)，充分利用超級(jí)電容供電，減少了電池的使用，在一定程度上可以增加電池的使用壽命并降低儲(chǔ)能系統(tǒng)損耗。

圖11 儲(chǔ)能系統(tǒng)功率分配曲線及SOC變化曲線-1Fig.11 Energy storage system power distribution curve and SOC change curve -1

為進(jìn)一步驗(yàn)證基于工況識(shí)別的RL策略的有效性，將其與無工況識(shí)別的RL策略和基于規(guī)則的最優(yōu)比例法進(jìn)行對比。

圖12a對三種策略超級(jí)電容的SOC 進(jìn)行了對比。三種方法SOC軌跡均有差異，由于超級(jí)電容SOC使用范圍限制，其SOC都在0.4～1。可以看出基于RL的策略充分使用了超級(jí)電容。

圖12 三種策略下超級(jí)電容SOC及總能耗對比-1Fig.12 Comparison of super capacitor SOC and total energy consumption under three strategies -1

圖12b和圖12c對三種策略儲(chǔ)能系統(tǒng)能耗進(jìn)行了對比。從儲(chǔ)能系統(tǒng)能耗分布來看，基于RL的策略電池內(nèi)阻損耗和DC-DC損耗都會(huì)減小，超級(jí)電容內(nèi)阻損耗會(huì)增加，但儲(chǔ)能系統(tǒng)總能耗都會(huì)減小。三種策略下儲(chǔ)能系統(tǒng)能耗對比見表5。從表5中可以看出，無工況識(shí)別的RL策略總能耗降低11.2%，有工況識(shí)別的RL策略總能耗降低了15.7%，均能減少儲(chǔ)能系統(tǒng)能量損失，提高系統(tǒng)效率。可以看出，在進(jìn)行強(qiáng)化學(xué)習(xí)離線優(yōu)化時(shí)，對有軌電車駕駛工況進(jìn)行聚類分析，將具有相似馬爾科夫狀態(tài)轉(zhuǎn)移概率的工況歸為一類，可以得到更好的節(jié)能效果。

表5 三種能量管理策略下的儲(chǔ)能系統(tǒng)能耗對比-1Tab.5 Comparison of energy consumption of EMS under three energy management strategies -1

為充分驗(yàn)證基于工況識(shí)別強(qiáng)化學(xué)習(xí)策略的適應(yīng)性，將求得的策略應(yīng)用于東湖線另外一條實(shí)際駕駛工況，其中充電站以1kA恒流充電，如圖13所示。

圖13 實(shí)車駕駛曲線-2Fig.13 Real vehicle driving curve -2

得到的基于工況識(shí)別的強(qiáng)化學(xué)習(xí)策略適應(yīng)性驗(yàn)證工況的功率分配曲線及儲(chǔ)能系統(tǒng)SOC曲線如圖14所示。

圖14 儲(chǔ)能系統(tǒng)功率分配曲線及SOC變化曲線-2Fig.14 Energy storage system power distribution curve and SOC change curve -2

將適應(yīng)性驗(yàn)證工況的三種能量管理策略進(jìn)行對比，分別得到超級(jí)電容SOC曲線及儲(chǔ)能系統(tǒng)能耗，如圖15和表6所示。

圖15 三種策略下超級(jí)電容SOC對比-2Fig.15 State of charge of super capacitors comparison under three strategies -2

表6 三種能量管理策略下的儲(chǔ)能系統(tǒng)能耗對比-2Tab.6 Comparison of energy consumption of EMS under three energy management strategies -2

可以看到，適應(yīng)性驗(yàn)證工況與原工況的仿真結(jié)果趨于一致。通過改變?nèi)N能量管理策略的驗(yàn)證工況，得到基于工況識(shí)別的強(qiáng)化學(xué)習(xí)策略在不同工況下均優(yōu)于無工況識(shí)別強(qiáng)化學(xué)習(xí)策略及最優(yōu)比例法，從而說明強(qiáng)化學(xué)習(xí)算法對不同工況的適應(yīng)性。

3.3 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證基于工況識(shí)別的強(qiáng)化學(xué)習(xí)策略的在線決策的有效性及可行性，在如圖16a所示的90kW電池-超級(jí)電容混合儲(chǔ)能系統(tǒng)實(shí)驗(yàn)平臺(tái)上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)平臺(tái)的儲(chǔ)能系統(tǒng)基本參數(shù)見表7。

表7 混合儲(chǔ)能平臺(tái)參數(shù)Tab.7 Hybrid energy storage platform parameters

本實(shí)驗(yàn)主要驗(yàn)證混合儲(chǔ)能系統(tǒng)在不同工況下的強(qiáng)化學(xué)習(xí)能量管理策略的控制效果。設(shè)計(jì)驗(yàn)證實(shí)驗(yàn)接線如圖16b所示。上位機(jī)通過CAN通信，接收由電機(jī)通過DSP傳輸?shù)臄?shù)據(jù)，輸入至Matlab軟件中進(jìn)行工況在線識(shí)別，并通過強(qiáng)化學(xué)習(xí)已優(yōu)化出的最優(yōu)控制表進(jìn)行在線決策，采用Python讀取功率分配結(jié)果，并通過CAN通信將指令傳回DSP，使混合儲(chǔ)能系統(tǒng)執(zhí)行充放電指令。上位機(jī)通過以太網(wǎng)-CAN轉(zhuǎn)換模塊輸出信號(hào)，與電池的BMS模塊所輸出的信息并聯(lián)在CAN總線上。

圖16 混合儲(chǔ)能實(shí)驗(yàn)驗(yàn)證平臺(tái)Fig.16 Hybrid energy storage experimental verification platform

以有軌電車實(shí)際運(yùn)行數(shù)據(jù)作為輸入，由于實(shí)驗(yàn)平臺(tái)功率等級(jí)的限制，對列車負(fù)載曲線進(jìn)行等比例縮放處理，縮放后最大功率約為40kW，如圖17所示。

圖17 實(shí)驗(yàn)輸入曲線-1Fig.17 Experimental input curve -1

以最優(yōu)比例法、無工況識(shí)別的強(qiáng)化學(xué)習(xí)策略及基于工況識(shí)別的強(qiáng)化學(xué)習(xí)策略依次進(jìn)行實(shí)驗(yàn)。所得電池、超級(jí)電容的電流曲線、超級(jí)電容的電壓曲線及母線電壓曲線如圖18所示。

圖18 三種策略下的實(shí)驗(yàn)波形-1Fig.18 Three strategys experimental waveforms -1

采用另一條實(shí)際運(yùn)行數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，如圖19，驗(yàn)證強(qiáng)化學(xué)習(xí)策略對不同工況的適應(yīng)性。

圖19 實(shí)驗(yàn)輸入曲線-2Fig.19 Experimental input curve -2

圖20 三種策略下的實(shí)驗(yàn)波形-2Fig.20 Three strategys experimental waveforms -2

通過90kW樣機(jī)實(shí)驗(yàn)可得，在混合儲(chǔ)能系統(tǒng)實(shí)際運(yùn)行時(shí)，通過上位機(jī)向控制器實(shí)時(shí)發(fā)送指令，控制混合儲(chǔ)能系統(tǒng)動(dòng)作，儲(chǔ)能系統(tǒng)能夠跟隨功率分配結(jié)果進(jìn)行相應(yīng)充放電。由實(shí)驗(yàn)波形可以看出，基于強(qiáng)化學(xué)習(xí)的能量管理策略能夠根據(jù)系統(tǒng)狀態(tài)做出實(shí)時(shí)決策，充分利用超級(jí)電容進(jìn)行供電以減少系統(tǒng)損耗。通過加入對工況的在線識(shí)別過程，可提升在線決策過程中的控制效果，并滿足實(shí)時(shí)控制需求，實(shí)現(xiàn)工程應(yīng)用。

4 結(jié)論

本文以有軌電車車載混合儲(chǔ)能系統(tǒng)為研究對象，由于需求功率的隨機(jī)性，將有軌電車的功率需求看做馬爾科夫過程，并考慮到駕駛工況變化較大時(shí)對能量管理策略的影響，提出了基于工況識(shí)別的強(qiáng)化學(xué)習(xí)能量管理策略。通過主成分分析及K均值聚類得到了高速、中速、低速三種駕駛工況，并得到不同工況下的功率狀態(tài)轉(zhuǎn)移概率。采用強(qiáng)化學(xué)習(xí)算法得到不同工況及速度下的電池功率的動(dòng)作值，并通過改進(jìn)的LVQ神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)識(shí)別當(dāng)前的駕駛工況進(jìn)而做出相應(yīng)的決策，使其能夠在相似工況中獲得更好的控制效果。與最優(yōu)比例法相比，該方法儲(chǔ)能系統(tǒng)總能耗降低了約15.7%，且比無工況識(shí)別的RL能量管理策略具有更好的節(jié)能效果。將本文的策略應(yīng)用于東湖線另外一條實(shí)際駕駛工況，驗(yàn)證了基于工況識(shí)別的強(qiáng)化學(xué)習(xí)策略對不同工況的適應(yīng)性。通過90kW的實(shí)驗(yàn)平臺(tái)進(jìn)行模擬運(yùn)行，驗(yàn)證了本文提出的基于工況識(shí)別的強(qiáng)化學(xué)習(xí)策略的有效性，證明了該策略在工程應(yīng)用中的可行性。