基于改進深度強化學習的HEV能量分配策略研究

吳忠強, 馬博巖

(燕山大學 工業(yè)計算機控制工程河北省重點實驗室，河北 秦皇島 066004)

1 引 言

隨著燃油汽車的不斷增加以及石油資源的大量消耗,環(huán)境污染、能源短缺等問題日趨嚴重,交通領域電氣化轉型已成為解決這些問題的有效方法之一[1]?；旌蟿恿ζ?hybrid electric vehicle,HEV)憑借其優(yōu)越的環(huán)保性能以及燃油經(jīng)濟性,成為交通電氣化的重要組成部分[2]。HEV中通常有2個或多個動力源,通過合適的能量分配策略,使多個動力源之間能夠協(xié)同高效工作,從而提升整車運行效率,減少燃油消耗以及尾氣污染物排放[3]。目前,常見的能量分配策略主要包括基于規(guī)則、基于優(yōu)化以及基于學習的能量分配策略3類。

基于規(guī)則的能量分配策略主要包括基于確定性規(guī)則以及基于模糊規(guī)則。這些方法簡單、易于實現(xiàn)且實時性高,已廣泛應用到車輛實際中。然而此類方法在很大程度上依賴于工程師的經(jīng)驗和專業(yè)知識,缺乏良好的工況適應性[4]。

基于優(yōu)化的能量分配策略可分為全局優(yōu)化方法和實時優(yōu)化方法。全局優(yōu)化方法以動態(tài)規(guī)劃(dynamic programming,DP)為代表,在滿足一定約束條件下,通過遍歷已知工況全部可行解,獲得優(yōu)化目標下的最優(yōu)控制量[5,6]。然而DP需要事先知道路況信息,且需要消耗大量計算資源,無法應用于實時系統(tǒng)。為此,提出了實時優(yōu)化方法,如等效燃油消耗最小策略(equivalent consumption minimization strategy,ECMS)[7]、模型預測控制(model predictive control,MPC)[8,9]等,這些方法主要思想是將全局優(yōu)化問題轉化為瞬時優(yōu)化問題,以提高在線執(zhí)行的可行性。實時優(yōu)化方法在一定程度上提高了能量分配策略的實時性,然而基于實時優(yōu)化的方法最終并不一定能保證獲得全局最優(yōu)解。

近年來隨著人工智能技術的不斷發(fā)展,基于學習的方法逐漸成為能量分配策略中極具前途的研究方向,以機器學習(machine learning,ML)為代表的人工智能算法在能量分配中的應用得到廣泛關注[10]。文獻[11,12]利用機器學習方法對未來時間內行車速度進行了預測,提升了擾動量的預測精度,有效地解決了基于MPC的能量分配中車速預測準確性差的問題;石琴等[13]對多種典型行駛工況信息進行采集和分析,利用粒子群優(yōu)化的支持向量機(PSO-SVM)算法對車輛行駛工況進行識別,并與ECMS相結合提出了一種基于PSO-SVM算法工況識別的能量分配策略,相比于基于傳統(tǒng)ECMS的能量分配策略,整車燃油經(jīng)濟性得到了提升。以神經(jīng)網(wǎng)絡、支持向量機(support vector machine,SVM)等作為主要工具的機器學習算法在很大程度上會受到訓練數(shù)據(jù)集質量的影響。作為機器學習一個重要的分支,具有自學習能力的強化學習(reinforcement learning,RL)被認為是解決HEV能量分配策略的有效方法。Chen等[14]針對插電式混合動力汽車(plug-in hybrid electric vehicle,PHEV),使用Q學習(Q-learning)策略來決定發(fā)動機和電池組間的能量合理分配,降低油耗的同時限制了電池的最大放電功率;Sun等[15]針對燃料電池混合動力汽車(fuel cell hybrid electric vehicles,FCHEV),提出了一種基于Q學習的分層能量分配策略,有效地提高了計算效率以及燃油經(jīng)濟性,同時減少了燃料電池的波動性。然而RL在高維狀態(tài)空間中計算負擔會急劇增加從而造成“維度災難”,減低了優(yōu)化效率,限制了其應用。為了解決這些局限性,將深度學習與強化學習相結合的深度強化學習(deep reinforcement learning,DRL)得到了廣泛的研究與應用。Du等[16]針對串聯(lián)式HEV,開發(fā)了1種基于深度Q網(wǎng)絡(deep Q-network,DQN)的能量分配策略,采用1種新的方法對神經(jīng)網(wǎng)絡進行優(yōu)化,以實現(xiàn)更快的訓練速度和更低的油耗;張昊等[17]基于DQN算法設計了1種專門針對多燃燒模式混動系統(tǒng)的能量分配策略,有效地降低了燃料模式切換頻率。DQN算法有效地解決了RL“維度災難”的問題,但其本身是1個面向離散控制的算法,對于連續(xù)動作無法做到輸出最優(yōu)。為此深度確定性策略梯度算法(deep deterministic policy gradient,DDPG)被提出,He等[18]結合速度規(guī)劃以及基于DDPG的能量分配策略,提出了一種HEV實時分配方法,該方法能夠根據(jù)交通信息實時優(yōu)化燃油經(jīng)濟性,同時滿足行車安全和行車時間的約束。DDPG具有處理連續(xù)狀態(tài)和動作向量方面的優(yōu)勢,然而算法本身對超參數(shù)較為敏感,處理復雜任務時容易發(fā)散,且存在Q值估值過高導致所學策略失效的問題[19]。Fujimoto[20]等為解決這1問題提出了1種優(yōu)化算法——雙延遲深度確定性策略梯度(twin delayed deep deterministic policy gradient,TD3)算法,研究表明其性能相比于DDPG有了很大的提升。

本文針對并聯(lián)式HEV設計了1種基于改進DRL的能量分配策略。首先在DRL算法結構中嵌入1個基于規(guī)則的約束,以消除發(fā)動機和電機間不合理的轉矩分配; 其次針對傳統(tǒng)TD3算法進行改進,引入雙重回放緩沖區(qū)機制,提出DRB-TD3算法以進一步提升原算法的采樣效率和收斂速度; 最后針對所提出的能量分配策略進行了仿真實驗,并以基于DP的能量分配結果作為基準,分別與基于DDPG和TD3的能量分配策略進行對比,驗證了所提策略的可行性和有效性。

2 混合動力汽車模型

2.1 整車結構

本文選用某款單軸并聯(lián)式HEV進行研究,車輛動力結構如圖1所示,主要由發(fā)動機、離合器、電池組、電機、無級變速器(continuously variable transmission,CVT)、主減速器等部件組成。

2.2 需求功率模型

本文采用后向建模方法,因此不需要駕駛員模型。車輪牽引力Fw與速度、有效載荷、道路坡度以及車輛動力系統(tǒng)參數(shù)等因素有關,計算公式如式(1)所示:

Fw=Fi+Fr+Ff+Fg

(1)

式中:Fi表示慣性力;Fr表示滾動摩擦力;Ff表示空氣阻力;Fg表示坡度阻力。各阻力計算公式如式(2)所示:

(2)

式中:m表示整車有效載荷;δ表示整車旋轉質量換算系數(shù);v表示車速;a表示加速度;ρ表示空氣密度(通常為1.25 kg/m3);A表示車輛迎風面積;CD表示空氣阻力系數(shù);g表示重力加速度;α表示路面坡度;μf表示滾動摩擦系數(shù)。

2.3 動力系統(tǒng)部件建模

發(fā)動機和電機均采用靜態(tài)MAP圖建立模型,且忽略了溫度的影響。發(fā)動機燃油消耗率be可由發(fā)動機瞬時轉矩Te和角速度ωe通過查表法求得,T時間內燃油總消耗Ffuel通過對燃油消耗率積分求得,相應計算公式如式(3)所示:

(3)

發(fā)動機MAP圖如圖2所示,圖中數(shù)值218等表示燃油消耗率,單位為g/kWh。

圖2 發(fā)動機MAP圖

在實際應用中,電機既可以作為發(fā)電機也可以作為牽引電動機使用,不同模式下電機功率如式(4)所示:

(4)

式中:ηm=f(Tm,ωm)表示電機效率,可由電機瞬時轉矩Tm和角速度ωm通過查表法求得。電機效率MAP圖如圖3所示。

圖3 電機效率MAP圖

電池采用內阻模型建模,忽略溫度以及電池自身老化的影響,模型如式(5)所示:

(5)

式中:Pbat表示電池功率;Ib表示電池電流;Qbat表示電池額定容量; SOC表示電池荷電狀態(tài)(state of charge);Voc=f(SOC)和rint=f(SOC)分別表示電池開路電壓和等效內阻,都是關于SOC的函數(shù),其關系如圖4所示。

圖4 電池特性曲線

3 基于改進TD3算法的能量分配策略

3.1 問題描述

3.1.1 狀態(tài)空間S

本文以混合動力系統(tǒng)作為外部環(huán)境,與作為智能體的能量管理策略進行交互,將車速vt、加速度at以及電池荷電狀態(tài)SOCt作為狀態(tài)信息反饋給智能體。因此定義狀態(tài)空間S為:

S={vt,at,SOCt}

(6)

3.1.2 動作空間A

作為車輛主要動力部件的發(fā)動機和電機,不同的工作狀態(tài)會影響燃油的消耗以及電池SOC的平衡,由于本文研究對象為單軸并聯(lián)式混合動力汽車,因此電機轉矩Tm可以由總需求轉矩Ttot與發(fā)動機轉矩Te之差求得,如式(7)所示,因此將發(fā)動機轉矩Te設為控制動作,即A={Te}。

Tm=Ttot-Te

(7)

3.1.3 獎勵函數(shù)r

能量管理策略最終目標是減少燃油消耗的同時維持電池SOC,因此獎勵函數(shù)需要包括燃油消耗量以及電池SOC狀態(tài),且由于智能體每次要選擇最大化獎勵的動作,因此需要添加一個負號,如式(8)所示。

(8)

式中:Fuelt表示動作at持續(xù)時間內的燃油消耗量; SOCref表示SOC的參考值; SOCH和SOCL分別表示維持電池高效率工作的SOC上限和下限;β表示SOC校正系數(shù)。

3.2 基于雙回放緩沖區(qū)的TD3算法

在強化學習中,由于所探索到的經(jīng)驗數(shù)據(jù)間相互影響,具有高度的時間相關性,造成網(wǎng)絡訓練不穩(wěn)定,易陷入局部最優(yōu)。為解決這個問題,DRL引入了經(jīng)驗回放機制[21]。經(jīng)驗回放實質上是設置了一個回放緩沖區(qū)(replay buffer)用來存儲一段時間內的經(jīng)驗數(shù)據(jù),之后從中隨機抽取一小批數(shù)據(jù)作為樣本進行訓練,來更新和優(yōu)化神經(jīng)網(wǎng)絡的權值。經(jīng)驗回放機制有效地弱化了樣本間的強相關性,然而由于采用隨機抽樣,忽略了回放緩沖區(qū)中不同經(jīng)驗數(shù)據(jù)間重要性的差異,降低了采樣效率。為此本文針對TD3算法進行改進,設計了1種雙重回放緩沖區(qū)(dual replay buffers,DRB)機制來對不同重要性程度的經(jīng)驗數(shù)據(jù)分類存放,在網(wǎng)絡訓練時按照不同概率從每個回放緩沖區(qū)中選取部分經(jīng)驗數(shù)據(jù)作為樣本。

同時為了減輕遍歷整個回放緩沖區(qū)造成的計算負擔,采用了和樹(SumTree)結構來存儲數(shù)據(jù)[22],在該結構中使用時序差分誤差(TD-error)的絕對值|δ|作為每個葉節(jié)點的存儲值,如式(9)所示,父節(jié)點的值等于其子節(jié)點的值求和。

(9)

式中:q(s,a)是指在一個給定狀態(tài)s下,采取某一個動作a之后,后續(xù)的各個狀態(tài)所能得到的回報。

在訓練時,每批次以較大概率從P1中選取高重要性的樣本數(shù)據(jù),同時為保證樣本數(shù)據(jù)多樣性,以較小的概率從P2中選取少量立即獎勵值小、低重要性的樣本數(shù)據(jù),構成小批量采樣(mini-batch)。具體抽樣方法如式(10)所示:

(10)

式中:NP1,NP2分別表示從回放緩沖區(qū)P1和P2中抽取的樣本數(shù)據(jù)個數(shù);η∈[0,1]表示抽取概率;m表示小批量采樣樣本數(shù)。

3.3 基于規(guī)則的約束器設計

在大多數(shù)基于DRL的能量分配策略中,通常選用發(fā)動機和電機轉矩作為動作,以發(fā)動機或電機轉矩最小值和最大值之間的區(qū)域作為動作空間進行探索,忽略了由于發(fā)動機和電機各自物理特性所帶來的動態(tài)限制[23],導致智能體在探索過程中可能會出現(xiàn)一些不合理或者無意義的轉矩分配。

為解決此問題,本文設計了一種基于規(guī)則的約束器,如圖5所示。將所設計的約束器嵌入到DRL算法結構中,在智能體每次探索前通過計算所允許的發(fā)動機和電機瞬時轉矩,使動作空間動態(tài)更新,縮小了探索范圍,減少不必要的動作探索。

圖5 基于規(guī)則的約束器流程圖

圖5中,SOCmin和SOCmax分別表示電池SOC所設定的最小值和最大值,Tm_L和Tm_U表示電機轉矩在給定轉速下的下限和上限,Te_L和Te_U表示發(fā)動機轉矩在給定轉速下的下限和上限,Te_A表示由Actor網(wǎng)絡選擇的動作。

3.4 基于改進TD3算法的HEV能量分配策略

針對單軸并聯(lián)式HEV,本文設計的基于改進TD3算法的能量分配策略具有以下特點:1) 在DRL算法結構中嵌入1個基于規(guī)則的約束器,以提高探索效率;2) 提出了雙回放緩沖區(qū)經(jīng)驗回放機制,以提升TD3算法的采樣效率?；贒RB-TD3算法的能量分配策略框架如圖6所示。

圖6 帶規(guī)則約束器及基于DRB-TD3的能量分配策略框架

4 仿真實驗

整車參數(shù)如表1所示。

表1 HEV主要參數(shù)

為驗證帶約束器及基于DRB-TD3的能量分配策略的可行性和有效性,本文以基于DP的能量分配結果作為基準,分別選用DDPG和TD3作為對比算例,并在城市道路循環(huán)(urban dynamometer driving schedule,UDDS)行駛路況(如圖7所示)下進行仿真實驗。采用MATLAB/Simulink搭建HEV模型,在Python 3.6環(huán)境下實現(xiàn)DRB-TD3算法。

圖7 UDDS城市道路行駛工況

4.1 仿真參數(shù)設置

由圖4電池特性曲線可知,當SOC處于[0.6,0.8]范圍內時電池內阻較小,充電/放電效率較高,因此分別設置SOCL和SOCH為0.6和0.8,同時令SOCref=0.60,SOC校正系數(shù)β=200。

為保證仿真實驗對比的公平性,實驗中DRB-TD3、TD3及DDPG參數(shù)相同。Actor網(wǎng)絡和Critic網(wǎng)絡具有相同的結構,均由3個隱藏層構成,每層含有120個神經(jīng)元,激活函數(shù)為修正線性單元(rectified linear unit,ReLU),算法其余主要參數(shù)如表2所示。

表2 參數(shù)設置

4.2 仿真結果與分析

為了獲得更加穩(wěn)定的控制效果,同時評估各算法的性能,對各DRL算法的收斂性進行了驗證。將每次迭代的總獎勵值進行累加,并根據(jù)行駛工況長度計算得出平均獎勵值,平均獎勵值的收斂速度反映了該算法能否快速搜尋到固定策略,其數(shù)值大小體現(xiàn)了算法能否收斂于最優(yōu)策略[24]。分別繪制各DRL算法在UDDS行駛工況下平均獎勵值曲線,如圖8所示。

圖8 各DRL算法平均獎勵值曲線

由圖8可以看出,DDPG、TD3以及DRB-TD3的收斂點分別為第67、38和26次迭代,DRB-TD3的收斂性能最佳。約束器可以根據(jù)當前所要求的扭矩和動力總成特性來調整搜索空間,針對不合理和無意義的動作可以動態(tài)調整,從而有助于算法的快速收斂。同時由于引入了雙回放緩沖區(qū)機制,相比于原始TD3算法中隨機采樣策略,新的采樣策略效率更高,在迭代前期可以學習到更多高獎勵值的樣本序列,使改進后的TD3算法在迭代前期收斂較快,波動較小。

基于DP和各DRL算法的能量分配策略在UDDS行駛工況下的電池SOC軌跡如圖9所示。

圖9 不同能量分配策略下的SOC軌跡

由圖9可見,相比于DRL算法,基于DP能量分配的SOC變化較為緩慢,所需扭矩主要由發(fā)動機提供,電機提供輔助扭矩?；贒DPG和TD3的能量分配,其SOC軌跡較為相似,SOC下降幅度較大,表明此時發(fā)動機和電機同時作為動力源,進入到混合驅動模式。而基于DRB-TD3能量分配的SOC軌跡介于上述軌跡之間,相比于其余DRL算法,當車輛持續(xù)較平穩(wěn)運行時(800～1 000 s),其SOC能維持在一個相對較高的水平。基于DP、DDPG、TD3以及DRB-TD3的能量分配發(fā)動機工作點分布如圖10所示。

圖10 不同能量分配策略下的發(fā)動機工作點分布

如圖10(a)所示,基于DP能量分配其發(fā)動機工作點大多分布在高燃油效率的工作區(qū)域內,尤其是處于發(fā)動機轉速和扭矩都較低的工況條件下,發(fā)動機和電機得到了充分的利用。相比之下,如圖10(b)和圖10(c)所示,基于DRL算法能量分配的發(fā)動機工作點非常接近最佳燃油消耗曲線,但在低發(fā)動機轉速和扭矩的工況條件下,發(fā)動機可以工作在燃油效率較低的區(qū)域內。如圖10(d)所示,由于嵌入了約束器,基于DRB-TD3能量分配的發(fā)動機工作點更加靠近最佳燃油消耗曲線,同時減少了低燃油效率工作區(qū)域內的發(fā)動機工作點數(shù)量,發(fā)動機平均效率得到了提升?；诓煌惴ǖ哪芰糠峙湫阅鼙容^結果如表3所示。

表3 基于不同算法的能量分配性能比較

在UDDS行駛工況下,相比于基于DDPG和TD3算法的能量分配策略,基于DRB-TD3算法的能量分配策略具有更好的燃油經(jīng)濟性,平均燃油消耗分別降低了3.3%和2.3%,燃油性能達到了基于DP的95.2%,電池終止SOC也有所提升,能夠保持在較好水平,同時算法收斂效率相比于DDPG和TD3算法分別提高了61.2%和31.6%。

5 結 論

本文針對單軸并聯(lián)式HEV,提出了1種基于改進DRL算法的能量分配策略。將基于規(guī)則的約束器嵌入到DRL算法結構中,以避免動作空間不合理的探索;引入了雙重回放緩沖區(qū)機制改進TD3算法,提出1種新的DRB-TD3算法,有效地提升了原算法的采樣效率。選用UDDS行駛工況進行仿真實驗,并以基于DP的能量分配性能結果作為基準,將本文所提出的基于改進DRL算法的能量分配策略分別與基于DDPG和TD3算法的能量分配策略進行了對比實驗,仿真實驗結果表明:

1) 相比于DDPG和傳統(tǒng)TD3算法,DRB-TD3算法收斂性能最佳,收斂效率分別提高了61.2%和31.6%,具有更好的控制穩(wěn)定性。

2) 基于DRB-TD3算法的能量分配策略的發(fā)動機工作點更加靠近最佳燃油消耗曲線,減少了低燃油效率工作區(qū)域內的發(fā)動機工作點數(shù)量,發(fā)動機平均效率得到了提升,同時電池終止SOC保持在了較好的水平,有利于延長電池的使用壽命。

3) 與基于DDPG和TD3算法的能量分配策略相比,基于DRB-TD3算法的能量分配策略平均燃油消耗分別降低了3.3%和2.3%,燃油性能達到了基于DP的95.2%,燃油經(jīng)濟性最佳。

綜上,本文所提出的基于改進DRL算法的HEV能量分配策略在性能魯棒性、發(fā)動機平均效率、燃油經(jīng)濟性等方面均要優(yōu)于基于傳統(tǒng)DRL算法,更有利于HEV的實際應用。在之后的研究中,將更多考慮提升算法的運行速度,并通過硬件在環(huán)或實車測試等方法進一步驗證本文所提能量分配策略的有效性和可行性。