基于等效因子的Q 學(xué)習(xí)燃料電池汽車能量管理策略

尹燕莉，張?chǎng)涡拢诵×?，?森，黃學(xué)江，王福振

（1.重慶交通大學(xué) 機(jī)電與車輛工程學(xué)院，重慶400074，中國(guó)；2.重慶長(zhǎng)安汽車股份有限公司，重慶401120,中國(guó)；3.包頭北奔重型汽車有限公司，包頭014000,中國(guó)）

燃料電池混合動(dòng)力汽車由于能夠?qū)崿F(xiàn)零排放，并且效率高，瞬時(shí)響應(yīng)快，被認(rèn)為是新能源汽車的理想車型。研究燃料電池混合動(dòng)力汽車的能量管理問題，對(duì)于燃料電池汽車的發(fā)展具有重要意義。

近年來，能量管理系統(tǒng)作為混合動(dòng)力汽車的核心，已在油-電混合動(dòng)力汽車上得到了廣泛的研究和應(yīng)用，呈現(xiàn)出由基于規(guī)則[1-3]向基于全局優(yōu)化[4-7]和基于瞬時(shí)優(yōu)化[8]的發(fā)展趨勢(shì)。研究中學(xué)者們也將能量管理應(yīng)用到燃料電池汽車上，比如WANG Yujie[9]等提出了基于規(guī)則的控制策略，雖然該策略減少了燃料電池的功率波動(dòng)，但基于規(guī)則的控制策略通常依靠經(jīng)驗(yàn)值獲得，優(yōu)化效果有待進(jìn)一步提高。SUN Haochen[8]等針對(duì)3 個(gè)動(dòng)力源的燃料電池汽車，提出了改進(jìn)的等效燃料消耗最小算法，提高了算法的計(jì)算效率，但是基于瞬時(shí)優(yōu)化的控制策略不能保證在整個(gè)運(yùn)行工況內(nèi)的最優(yōu)。XU Liangfei[10]等通過改進(jìn)動(dòng)態(tài)規(guī)則（dynamic programming,DP）算法，雖然能夠在已知工況下獲得真正意義上的全局最優(yōu)解，但是計(jì)算量大，計(jì)算時(shí)間長(zhǎng)，使得全局優(yōu)化的實(shí)用性降低，通常只作為評(píng)價(jià)其他策略的標(biāo)準(zhǔn)。與此同時(shí)，也有學(xué)者通過智能算法對(duì)燃料電池汽車的能量管理問題進(jìn)行研究，WU Xiaohua[11]等采用凸優(yōu)化方法對(duì)插電式燃料電池汽車(plug-in fuel-cell electric vehicles,PFCEV)的動(dòng)力源進(jìn)行優(yōu)化 ;林歆悠[12]等提出了行駛里程自適應(yīng)的的控制策略，通過自適應(yīng)的等效系數(shù)來維持PFCEV 的動(dòng)力電池荷電狀態(tài)(state of charge,SOC)平衡；但上述研究大多數(shù)都是針對(duì)插電式燃料電池汽車，對(duì)于以燃料電池為主要?jiǎng)恿υ?、蓄電池為輔助動(dòng)力源的功率混合型燃料電池汽車研究較少。

等效因子作為影響整車燃油經(jīng)濟(jì)性和維持蓄電池SOC 平衡的重要因素，決定著不同能量源的使用傾向,不少學(xué)者對(duì)等效因子的確定和優(yōu)化開展了深入研究。S.Barsali[13]等將發(fā)動(dòng)機(jī)的油耗和蓄電池耗費(fèi)電能的等效油耗統(tǒng)一起來，作為解決實(shí)時(shí)優(yōu)化問題的目標(biāo)函數(shù)，提出了恒等效因子的控制策略，并指出等效因子是研究等效燃油消耗最小控制策略的關(guān)鍵；ZHENG Qing[14]等考慮到實(shí)時(shí)優(yōu)化控制的局限性，通過動(dòng)態(tài)規(guī)劃算法在不同工況下對(duì)等效因子進(jìn)行優(yōu)化求解，與基于規(guī)則的控制策略進(jìn)行對(duì)比，表明所提出的等效因子具有良好的控制效果。上述基于等效因子的能量管理策略大多是針對(duì)油電式混合動(dòng)力汽車，而對(duì)于燃料電池汽車以經(jīng)濟(jì)性為目標(biāo)的控制策略，早期的研究多是只考慮燃料電池的耗氫量，沒有引入等效耗氫量的概念，對(duì)經(jīng)濟(jì)性的評(píng)價(jià)并不全面。隨著研究的不斷深入，目前大多數(shù)針對(duì)燃料電池汽車的能量管理策略都將等效耗氫量考慮在目標(biāo)函數(shù)中，但并沒有對(duì)燃料電池消耗的氫量與蓄電池電量消耗和補(bǔ)償?shù)哪芰康刃мD(zhuǎn)化平衡機(jī)理進(jìn)行深入研究。

因此，本文將以燃料電池為主要?jiǎng)恿υ?、蓄電池為輔助動(dòng)力源的燃料電池混合動(dòng)力汽車作為研究對(duì)象，基于FCHEV 動(dòng)力源能量流動(dòng)平衡機(jī)理，構(gòu)建蓄電池電能轉(zhuǎn)換為等效耗氫量的等效因子模型，提出基于能量流動(dòng)平衡機(jī)理等效因子的Q 學(xué)習(xí)算法的能量管理策略，將離線優(yōu)化和實(shí)時(shí)應(yīng)用相結(jié)合，離線獲得最優(yōu)動(dòng)力源輸出功率，再根據(jù)實(shí)際工況信息對(duì)燃料電池和蓄電池的輸出功率進(jìn)行實(shí)時(shí)分配，獲得較好的優(yōu)化效果，減少等效氫消耗量，提高燃料經(jīng)濟(jì)性，同時(shí)維持SOC 平衡。

1 燃料電池汽車的建模

1.1 結(jié)構(gòu)與動(dòng)力總成模型

燃料電池汽車的動(dòng)力系統(tǒng)結(jié)構(gòu)如圖1 所示，整車主要參數(shù)如表1 所示。

表1 整車主要參數(shù)

圖1 燃料電池汽車動(dòng)力系統(tǒng)結(jié)構(gòu)

FCHEV 的能量管理問題，動(dòng)力系統(tǒng)的功率平衡關(guān)系表示為

其中：Pm為電動(dòng)機(jī)需求功率；Pfc為燃料電池輸出功率；ηDC為DC/DC 轉(zhuǎn)換器效率；Pbat為蓄電池輸出功率。

整車驅(qū)動(dòng)時(shí)，駕駛循環(huán)只考慮車輛的空氣阻力、加速阻力、滾動(dòng)阻力，未考慮坡度的影響，因此需求功率Preq、車輪處的轉(zhuǎn)矩Tw可表示為：

其中：A為迎風(fēng)面積；v為車速；m為整車質(zhì)量；g為重力加速度；CD、f、δ分別為空氣阻力因數(shù)、滾動(dòng)阻力因數(shù)、旋轉(zhuǎn)質(zhì)量換算系數(shù)；Fa為加速阻力；Fw為空氣阻力；Ff為滾動(dòng)阻力；r為車輪半徑。

1.2 電動(dòng)機(jī)模型

電動(dòng)機(jī)轉(zhuǎn)矩Tm和轉(zhuǎn)速nm為：

其中：ηi為傳動(dòng)系機(jī)械效率；i為主減速比；nw為車輪處的轉(zhuǎn)速。

電動(dòng)機(jī)功率為

其中：ηm電動(dòng)機(jī)效率，ηm是關(guān)于nm和Tm的函數(shù)，用實(shí)驗(yàn)數(shù)據(jù)獲得的電動(dòng)機(jī)效率MAP 圖如圖2 所示。

圖2 電動(dòng)機(jī)效率MAP 圖

1.3 燃料電池模型

研究中選用的燃料電池是Advisor 汽車仿真軟件中的FC_ANL50H2 準(zhǔn)靜態(tài)氫消耗模型[15-16]，耗氫率和效率-輸出功率的關(guān)系曲線如圖3 所示。

圖3 燃料電池效率和耗氫率曲線

由圖3 可見，燃料電池的輸出功率在10～40 kW 時(shí)，燃料電池處在高效率區(qū)內(nèi)，可獲得更高的工作效率，進(jìn)而可減少氫的消耗。研究中認(rèn)為燃料電池運(yùn)行穩(wěn)定，燃料電池的氫耗量mfc由燃料電池的功率和對(duì)應(yīng)的效率確定，表示為

其中：Pfc為燃料電池的輸出功率；EH2為氫氣低熱值，EH2=120 kJ/g；ηfc為燃料電池的效率。

1.4 蓄電池模型

采用12Ah 的鋰電池，通過開路電壓與內(nèi)阻串聯(lián)的方式，建立Rint 的等效電路，如圖4 所示。忽略溫度對(duì)電池組的影響，蓄電池的充放電內(nèi)阻，開路電壓只與SOC 有關(guān)。

圖4 Rint 等效電路

總線電壓Ub根據(jù)Rint 等效電路計(jì)算得到，Ub可表示為

其中：Ub為總線電壓；Uocv為蓄電池組開路電壓；Ib為蓄電池電流；Rb為蓄電池內(nèi)阻。

在蓄電池輸出功率Pbat、內(nèi)阻Rb、開路電壓Uocv已知的情況下，蓄電池組電流Ib按式（9）計(jì)算。

蓄電池的荷電狀態(tài)SOC 可表示為

其中，Cb為蓄電池的容量。

蓄電池的瞬時(shí)充放電效率ηb可表示為：

將式(9)帶入式(11)得到：

2 基于Q 學(xué)習(xí)的燃料電池汽車能量管理策略

由于車輛實(shí)際行駛過程中行駛工況的隨機(jī)性，需求功率難以準(zhǔn)確預(yù)測(cè)。Q 學(xué)習(xí)算法不依賴于已知模型，在處理復(fù)雜的系統(tǒng)優(yōu)化問題時(shí)有明顯的優(yōu)勢(shì)。因此，本文基于Q 學(xué)習(xí)算法，對(duì)FCHEV 動(dòng)力系統(tǒng)動(dòng)力源的輸出功率進(jìn)行優(yōu)化分配，以尋求整個(gè)行駛過程中能量消耗最小化。

2.1 狀態(tài)、動(dòng)作及回報(bào)值的設(shè)定

以車速v、需求功率Preq、SOC 作為狀態(tài)變量，燃料電池的輸出功率Pfc、蓄電池的輸出功率Pbat作為動(dòng)作。由于單純地將燃料電池系統(tǒng)消耗的氫氣或者直接將蓄電池消耗的電能與耗氫量簡(jiǎn)單相加作為衡量燃料電池汽車經(jīng)濟(jì)性的標(biāo)準(zhǔn)，都不能真實(shí)地反映FCHEV能量的來源和使用的本質(zhì)，因此,綜合考慮FCHEV 的燃料經(jīng)濟(jì)性和維持SOC 的平衡，選定每一時(shí)刻氫氣的實(shí)際消耗量mfc和蓄電池等效耗氫量mbat之和，以及引入SOC 懲罰函數(shù)作為回報(bào)函數(shù)，將需求功率轉(zhuǎn)移概率作為狀態(tài)轉(zhuǎn)移概率。上述各變量表示為：

其中，s為狀態(tài)變量；v為車速；Preq為整車需求功率；a為動(dòng)作變量；Pbat蓄電池輸出功率；Pfc為燃料電池輸出功率；r為回報(bào)函數(shù)，為關(guān)于狀態(tài)和動(dòng)作的函數(shù)；mfc為氫氣的消耗量；mbat為蓄電池的等效耗氫量；β為權(quán)重系數(shù)；SOC(t)為某一時(shí)刻蓄電池的荷電狀態(tài)值；SOCref為蓄電池荷電狀態(tài)的參考值。

為保證燃料電池汽車各部件能夠正常工作，需要對(duì)以下參數(shù)進(jìn)行約束:

其中：vmin、vmax分別為最低車速和最高車速；Pbat,min、Pbat,max分別為蓄電池的最小功率和最大功率；Pfc,min、Pfc,max分別為燃料電池的最小功率和最大功率；ΔPfc,min、ΔPfc,max分別為燃料電池輸出功率的變化率下限值和上限值；SOCmin、SOCmax分別為蓄電池荷電狀態(tài)的最小值和最大值。

2.2 構(gòu)建目標(biāo)函數(shù)模型

2.2.1 目標(biāo)函數(shù)的建立

Q 學(xué)習(xí)算法是將狀態(tài)-動(dòng)作的累計(jì)回報(bào)的最小值作為優(yōu)化的目標(biāo)函數(shù)，可表示為

其中：π為策略，即在每個(gè)狀態(tài)s下，指定動(dòng)作a的概率。即根據(jù)已知的狀態(tài)，由策略就能得到下一時(shí)刻的動(dòng)作。γ為折扣因子，γ∈[0,1]。

將目標(biāo)函數(shù)轉(zhuǎn)化為Bellman 方程的形式

其中：Q*為最優(yōu)Q值；P(s,a,s’)為轉(zhuǎn)移概率矩陣，s′和a′為下一時(shí)刻的狀態(tài)和動(dòng)作。

由公式(16)可知，求解目標(biāo)函數(shù)的關(guān)鍵在于對(duì)回報(bào)函數(shù)和狀態(tài)轉(zhuǎn)移概率的獲得。

2.2.2 耗氫量及等效因子的求解

為了綜合反映FCHEV 動(dòng)力源的瞬時(shí)能量消耗水平，需要將燃料電池消耗的氫量與蓄電池耗電量歸為統(tǒng)一的能耗指標(biāo)。等效因子就是將蓄電池消耗的電能轉(zhuǎn)化為耗氫量的轉(zhuǎn)換系數(shù)，通過引入等效因子，將蓄電池提供給燃料電池汽車的能量轉(zhuǎn)換為等效氫量，使得蓄電池的能量與燃料電池系統(tǒng)與氫氣消耗量統(tǒng)一起來度量總的能量消耗。根據(jù)蓄電池放電和充電過程中能量轉(zhuǎn)換的本質(zhì)來構(gòu)建充放電時(shí)等效因子模型。

當(dāng)蓄電池處于放電狀態(tài)時(shí)，SOC 值減小，為了維持SOC 的平衡，需要燃料電池對(duì)能量進(jìn)行補(bǔ)充。圖5為蓄電池放電時(shí)能量流動(dòng)的等效模型圖。其中，Pwh為傳動(dòng)車輪的功率；Pdc為轉(zhuǎn)換器的輸出功率；虛線部分表示未來時(shí)刻的能量流動(dòng)路線，在未來某一時(shí)刻，燃料電池對(duì)蓄電池進(jìn)行充電，增大燃料電池系統(tǒng)輸出功率，通過DC/DC 轉(zhuǎn)換器將電能傳遞給蓄電池，對(duì)蓄電池的電量進(jìn)行補(bǔ)償，使得SOC 值增大，來維持SOC 平衡。

圖5 蓄電池放電時(shí)能量流等效模型

蓄電池放電時(shí)，由于補(bǔ)償充電過程在未來狀態(tài)下進(jìn)行，燃料電池的工作效率、DC/DC 轉(zhuǎn)換器效率和蓄電池的充電效率未知，因此，上述3 種效率都取均值。蓄電池放電能量與燃料電池補(bǔ)充的能量滿足式（17）所示關(guān)系：

其中：Ebat為蓄電池提供的電能；Efc為燃料電池系統(tǒng)內(nèi)部發(fā)生化學(xué)反應(yīng)產(chǎn)生的電能；ηfc,ave為燃料電池的平均工作效率；ηdc,ave為DC/DC 轉(zhuǎn)換器的平均效率；ηchg,ave為蓄電池的平均充電效率。

根據(jù)式(17)的能量守恒關(guān)系，單位時(shí)間內(nèi)蓄電池放電時(shí)的等效耗氫量mbat可表示為

其中：Pbat為蓄電池的輸出功率；ηdis為蓄電池的放電效率。

同理，蓄電池充電時(shí)能量流如圖6 所示。蓄電池處于充電狀態(tài)時(shí)，為了保持整個(gè)能量傳遞過程中的SOC 平衡，在未來時(shí)刻，蓄電池將會(huì)放電，為燃料電池汽車提供能量，即等同于未來將減少燃料電池的耗氫。其中，虛線部分表示未來時(shí)刻蓄電池消耗電能的能量流動(dòng)路線。

圖6 蓄電池充電時(shí)能量流等效模型

蓄電池充電時(shí)，由于電能消耗和減少燃料電池耗氫的過程在未來狀態(tài)下進(jìn)行，燃料電池的工作效率、DC/DC 轉(zhuǎn)換器效率和蓄電池的放電效率未知，因此，上述3 種效率都取均值。蓄電池能量與燃料電池消耗的能量滿足式（19）所示關(guān)系。

其中，ηdis,ave為蓄電池的平均工作效率。

根據(jù)式(19)的能量關(guān)系，單位時(shí)間內(nèi)蓄電池充電過程中的等效耗氫量可表示為

其中，ηchg為蓄電池的充電效率。

將式(18)、(20)合并為

其中，λ為基于動(dòng)力源能量流動(dòng)平衡機(jī)理的等效因子，表示為：

2.2.3 需求功率轉(zhuǎn)移概率的求解

車輛行駛過程中，由于實(shí)際工況存在著各種不確定性，會(huì)導(dǎo)致整車的需求功率Preq存在著隨機(jī)性的變化，并且下一時(shí)刻的需求功率只與當(dāng)前時(shí)刻的需求功率有關(guān)，而與之前的狀態(tài)無關(guān)，因此可將車輛的需求功率視為Markov 過程，基于Markov 決策過程可以得到需求功率的轉(zhuǎn)移概率矩陣。

選取城市循環(huán)+全球輕型汽車測(cè)試循環(huán)（urban dynamometer driving schedule+world light vehicle test cycle，UDDS+WLTC）工況作為求解需求功率轉(zhuǎn)移概率矩陣的歷史工況數(shù)據(jù)，將車速和需求功率進(jìn)行離散化處理，得到整車需求功率時(shí)間序列如式（23）所示。

當(dāng)車速為v時(shí)，由當(dāng)前時(shí)刻的需求功率Pireq轉(zhuǎn)移到下一時(shí)刻需求功率Pjreq時(shí)的狀態(tài)轉(zhuǎn)移概率Pij可表示為

需求功率的轉(zhuǎn)移概率可通過最鄰近法和最大似然估計(jì)法進(jìn)行求解。

其中，nij為在已知的車速v下，需求功率由Pireq轉(zhuǎn)移到的轉(zhuǎn)移次數(shù)；ni為在車速v情況下，需求功率Pireq轉(zhuǎn)移的全部次數(shù)。車速為15、35 km/h 時(shí)的需求功率轉(zhuǎn)移概率分布如圖7 所示。

圖7 不同車速的需求功率轉(zhuǎn)移概率矩陣

2.3 Q 學(xué)習(xí)算法能量管理策略的實(shí)現(xiàn)

基于Q 學(xué)習(xí)算法的燃料電池汽車能量管理策略主要分為離線優(yōu)化和Simulink 在線仿真2 大部分，邏輯框圖如圖8 所示。

圖8 基于Q 學(xué)習(xí)算法的燃料電池汽車能量管理策略邏輯框圖

2.3.1 離線優(yōu)化

變量設(shè)定及狀態(tài)轉(zhuǎn)移概率矩陣的建立。在Markov決策過程中確定狀態(tài)v、動(dòng)作a、回報(bào)函數(shù)r；通過利用典型行駛工況，求解需求功率的狀態(tài)轉(zhuǎn)移概率Pij，為離線優(yōu)化過程做準(zhǔn)備。

Q 學(xué)習(xí)算法迭代求解最優(yōu)動(dòng)作。Q 學(xué)習(xí)算法是將狀態(tài)、動(dòng)作對(duì)應(yīng)的Q值儲(chǔ)存在Q 表中，根據(jù)Q值的大小選擇回報(bào)值最小的動(dòng)作，通過不斷地迭代學(xué)習(xí)，最終得到所有狀態(tài)的最優(yōu)動(dòng)作。Q 學(xué)習(xí)算法流程圖如圖9 所示。

圖9 Q 學(xué)習(xí)算法流程圖

該算法的關(guān)鍵步驟可分為以下4 步，分別為：

第1 步，對(duì)狀態(tài)-動(dòng)作值函數(shù)Q(s,a)進(jìn)行初始化處理，將Q 表中的數(shù)值全部設(shè)定為0。

第2 步，選擇動(dòng)作。在探索環(huán)境的過程中，為了避免在動(dòng)作的選擇過程中陷入局部最優(yōu)，盡可能遍歷所有動(dòng)作，使得在利用和探索過程中得到平衡。采用ε-greedy 策略作為動(dòng)作策略，使得在動(dòng)作的選擇過程中更傾向于選擇狀態(tài)-動(dòng)作的累計(jì)回報(bào)趨向于最小值的動(dòng)作。

第3 步，對(duì)策略進(jìn)行改進(jìn)。采用貪婪策略選擇對(duì)應(yīng)最小的狀態(tài)-動(dòng)作值函數(shù)Q(s′,a′)的動(dòng)作a′。

第4 步，更新Q值。Q 學(xué)習(xí)算法采用一步預(yù)測(cè)的方法，對(duì)狀態(tài)-值函數(shù)進(jìn)行估計(jì)，狀態(tài)-值函數(shù)的更新公式為

對(duì)上述過程進(jìn)行循環(huán)迭代，將閾值設(shè)置為0.01來判斷相鄰迭代次數(shù)的Q值是否收斂，根據(jù)收斂后的Q(s,a)表，將最小的Q(s,a)值對(duì)應(yīng)的動(dòng)作確定為每個(gè)狀態(tài)的最優(yōu)策略。通過MATLAB/Simulink 仿真平臺(tái)，建立基于Q 學(xué)習(xí)的能量管理策略仿真模型，在UDDS+WLTC 工況下進(jìn)行離線仿真，對(duì)不同車速、需求功率和SOC 情況下的蓄電池、燃料電池輸出功率進(jìn)行最優(yōu)解的求取，圖10 為車速在15、25 km/h 時(shí)的蓄電池和燃料電池功率離線優(yōu)化MAP 圖。

由圖10 可見，車速在15、25 km/h 時(shí)的蓄電池和燃料電池功率分配的趨勢(shì)相同，并且SOC 對(duì)輸出功率的分配影響不大，原因是當(dāng)SOC 處于優(yōu)化范圍內(nèi)時(shí)，功率的分配主要受到需求功率的影響。Q學(xué)習(xí)算法在優(yōu)化動(dòng)作時(shí)，將時(shí)域狀態(tài)轉(zhuǎn)化為空間域，功率的分配將會(huì)影響到燃料電池汽車的工作模式。當(dāng)車速低，需求功率小時(shí)，一般由蓄電池提供動(dòng)力；當(dāng)需求功率增大時(shí)，由燃料電池提供能量。同時(shí)，在不同車速下的需求功率范圍不同，車速越高，對(duì)應(yīng)的需求功率范圍就越大。

圖10 不同車速下蓄電池和燃料電池功率優(yōu)化結(jié)果

2.3.2 在線仿真

基于MATLAB/Simulink 平臺(tái)建立了FCHEV 的前向仿真模型。分別將WLTC 循環(huán)工況和西寧市某路段實(shí)際工況數(shù)據(jù)作為輸入，通過駕駛員模型獲得加速或制動(dòng)踏板開度信息，根據(jù)目標(biāo)車速獲得需求轉(zhuǎn)矩，由電機(jī)及其控制器得到電動(dòng)機(jī)的需求功率；通過將基于Q學(xué)習(xí)算法離線優(yōu)化后的燃料電池、蓄電池的輸出功率的Q 表嵌套到Simulink 在線仿真模型中，在線仿真驗(yàn)證本文所提出的能量管理策略的有效性和適應(yīng)性。綜合考慮當(dāng)前車速、需求功率以及結(jié)合當(dāng)前時(shí)刻SOC，采用在線查表的方式，得到每一時(shí)刻的蓄電池和燃料電池的輸出功率，實(shí)時(shí)的獲得最優(yōu)的功率分配，將動(dòng)力源的輸出功率通過電動(dòng)機(jī)轉(zhuǎn)化為FCHEV 實(shí)際轉(zhuǎn)矩、轉(zhuǎn)速，通過主減速器模塊、整車動(dòng)力學(xué)模塊獲得當(dāng)前實(shí)際車速，并反饋給駕駛員模型，實(shí)現(xiàn)FCHEV 在線仿真。

3 仿真結(jié)果分析

選取WLTC 工況和西寧市某實(shí)際路段工況分別對(duì)本文所提出能量管理策略的有效性和適應(yīng)性進(jìn)行在線仿真驗(yàn)證。

3.1 有效性驗(yàn)證

動(dòng)態(tài)規(guī)劃 (DP)算法通過逆向求解、正向?qū)?yōu)2 個(gè)過程獲得全局最優(yōu)的決策序列。在設(shè)計(jì)能量管理策略時(shí)，基于DP 算法的控制策略通常作為評(píng)價(jià)其他優(yōu)化算法優(yōu)劣性的基準(zhǔn)[17-18]，因此本文選用基于DP 的控制策略和目前應(yīng)用最廣泛的基于規(guī)則的控制策略 (rule based,RB)與本文提出的基于Q 學(xué)習(xí)算法的控制策略(Q-Learning,QL)進(jìn)行仿真對(duì)比，驗(yàn)證本文所提方法的有效性。

圖11 為WLTC 循環(huán)工況，圖12 是WLTC 工況下不同控制策略的燃料電池和蓄電池輸出功率曲線。由圖12 可知，在相同工況下，與RB 策略相比，QL 和DP策略能夠更好地使燃料電池輸出功率維持在高效率區(qū)域，有利于提高整車的經(jīng)濟(jì)性。由表2 給出了不同控制策略的百千米等效耗氫量對(duì)比結(jié)果?？梢钥闯觯疚乃酫L 控制策略的等效耗氫量為0.730 kg/(100 km)，與RB 策略相比，耗氫量減少了8.57%，同時(shí)能夠?qū)崿F(xiàn)DP 策略93.59%的燃料經(jīng)濟(jì)性，說明了QL 策略具有較好的經(jīng)濟(jì)性，能夠?qū)崿F(xiàn)近似全局最優(yōu)的效果。

圖11 WLTC 循環(huán)工況

圖12 WLTC 工況下燃料電池和蓄電池不同控制策略的輸出功率對(duì)比

表2 WLTP 工況下燃料經(jīng)濟(jì)性對(duì)比

從圖13 可以看出，基于RB 的策略下的電池SOC變化曲線下降比較明顯，終端SOC 為0.578，沒有很好的維持電池SOC 均衡。這是由于基于RB 的控制策略是通過專家經(jīng)驗(yàn)來設(shè)置不同模式之間的切換規(guī)則，所設(shè)置的規(guī)則只是單一的將動(dòng)力部件的工作點(diǎn)處于經(jīng)濟(jì)性較好的范圍內(nèi)，只追求經(jīng)濟(jì)性，對(duì)于SOC 的變化范圍并未考慮?；赒L 的策略終端SOC 為0.594，十分接近初始值，表明SOC 在合理范圍內(nèi)波動(dòng)，能夠維持SOC 均衡，防止過充過放，延長(zhǎng)電池使用壽命。究其原因在于基于QL 策略的回報(bào)函數(shù)中綜合考慮了耗氫量和維持SOC 均衡，利用Q 學(xué)習(xí)算法來計(jì)算得到最優(yōu)累計(jì)回報(bào)值對(duì)應(yīng)的動(dòng)作，該最優(yōu)動(dòng)作能在保證SOC 波動(dòng)不致過大的情況下，最大限度的提高燃油經(jīng)濟(jì)性。以上對(duì)比結(jié)果證明了基于QL 的策略在維持SOC 平衡和提高燃料經(jīng)濟(jì)性方面具有較好的控制效果，驗(yàn)證了本文所提控制策略的有效性。

圖13 WLTC 工況下的SOC 變化軌跡圖

3.2 適應(yīng)性驗(yàn)證

在UDDS+WLTC 工況下離線優(yōu)化后，選取西寧市某路段作為實(shí)際工況，根據(jù)離線Q 表進(jìn)行在線仿真，對(duì)比3 種算法（即基于動(dòng)力源能量流動(dòng)平衡機(jī)理的等效因子的動(dòng)態(tài)規(guī)劃算法(λvar-DP)、基于平衡機(jī)理的等效因子的Q 學(xué)習(xí)算法的控制策略(λvar-Q)、基于恒等效因子的Q 學(xué)習(xí)算法控制策略(λcv-Q)）的仿真結(jié)果，以驗(yàn)證本文所提λvar-Q 控制策略的工況適應(yīng)性。

圖14a 為西寧市某段實(shí)際工況，其主要包括城市工況和郊區(qū)工況2 部分,圖14b、圖14c 為基于3 種控制策略的蓄電池與燃料電池的功率分配曲線。表3 中列出了在西寧某路段實(shí)際工況下不同控制策略的燃料經(jīng)濟(jì)性對(duì)比數(shù)據(jù)。

圖14 實(shí)際工況下不同控制策略蓄電池和燃料電池輸出功率對(duì)比

表3 西寧某路段實(shí)際工況下燃料經(jīng)濟(jì)性對(duì)比

基于λvar-DP 策略與基于λvar-Q 策略進(jìn)行對(duì)比,蓄電池的功率分配存在差異，燃料電池輸出功率基本相同。主要是因?yàn)樵诔鞘泄r，由于車速較低且存在頻繁啟停，蓄電池提供能量的次數(shù)增多，不同控制策略在動(dòng)作的選擇上存在差異，導(dǎo)致蓄電池的輸出功率不同；在郊區(qū)工況下，車速較高且需求功率大，此時(shí)燃料電池處于高效率區(qū)域，由燃料電池單獨(dú)驅(qū)動(dòng)可獲得更好地經(jīng)濟(jì)性，因此2 種策略都傾向于燃料電池單獨(dú)驅(qū)動(dòng)。由表3可知基于λvar-Q 策略的100 km 等效耗氫量為0.953 kg，能夠獲得較好的經(jīng)濟(jì)性，與離線優(yōu)化工況下的耗氫量相近，驗(yàn)證了本文所提基于λvar-Q 策略的適應(yīng)性。

基于λvar-Q 策略與基于λcv-Q 策略進(jìn)行對(duì)比，由表3 可知基于λcv-Q 策略100 km 耗氫量為0.971 kg，本文所提基于λvar-Q 策略的100 km 耗氫量為0.952 kg，耗氫量降低2.02%。耗氫量存在差異的原因主要是不同等效因子對(duì)蓄電池的功率分配做出了調(diào)節(jié)。蓄電池的充放電效率會(huì)遠(yuǎn)遠(yuǎn)大于燃料電池的效率，在恒等效因子控制策略中對(duì)于能量的分配會(huì)更傾向于蓄電池提供能量，因此，從圖15 可見，在蓄電池單獨(dú)驅(qū)動(dòng)或者混合驅(qū)動(dòng)時(shí)，恒等效因子控制策略SOC下降趨勢(shì)更明顯，但燃料電池汽車蓄電池只是作為輔助動(dòng)力源，對(duì)于能量的分配應(yīng)該更多的傾向于燃料電池，由此可見本文所提出的基于λvar-Q 策略隨著動(dòng)力電池的充放電效率進(jìn)行了實(shí)時(shí)調(diào)整，不斷的對(duì)2 個(gè)動(dòng)力源的能量分配進(jìn)行權(quán)衡，從而更好地維持SOC 平衡，降低燃料的消耗，獲得更好地經(jīng)濟(jì)性。

圖15 不同控制策略SOC 變化曲線

4 結(jié)論

本文建立了燃料電池混合動(dòng)力電動(dòng)汽車能量管理的控制模型，構(gòu)建了等效耗氫量最小及荷電狀態(tài)（SOC）平衡的目標(biāo)函數(shù)，并詳細(xì)闡述了燃料電池耗氫量與蓄電池電量消耗和補(bǔ)償?shù)哪芰哭D(zhuǎn)化平衡機(jī)理并由此構(gòu)建了等效因子模型。提出了一種基于Q 學(xué)習(xí)算法的能量管理策略，在UDDS 和WLTC 工況下，得到不同車速下的需求功率轉(zhuǎn)移概率矩陣，通過離線優(yōu)化的方式獲得燃料電池和蓄電池的最優(yōu)功率分配。最后在WLTC工況下進(jìn)行仿真驗(yàn)證，結(jié)果表明，本文所提出的控制策略能夠維持SOC 平衡，且與基于規(guī)則的控制策略相比經(jīng)濟(jì)性提高了8.57%，并能夠達(dá)到DP 控制策略的93.59%的經(jīng)濟(jì)性，驗(yàn)證了本文控制策略的有效性。在西寧市某實(shí)際工況與動(dòng)態(tài)規(guī)則（DP）和基于恒等效因子的控制策略進(jìn)行對(duì)比仿真，所提的控制策略100 km 耗氫量為0.971 2 kg，與恒等效因子策略相比耗氫量減少2.02%，說明所提策略對(duì)經(jīng)濟(jì)性有所提高；與基于DP控制策略的耗氫量接近，驗(yàn)證了提出的基于等效因子的Q 學(xué)習(xí)算法的適應(yīng)性。