基于Q學(xué)習(xí)算法的再生制動(dòng)能量回收控制策略*

馬什鵬 尹燕莉 張劉鋒 馬永娟 黃學(xué)江

（重慶交通大學(xué)機(jī)電與車輛工程學(xué)院）

目前，世界各大汽車企業(yè)都致力于開發(fā)電動(dòng)汽車來實(shí)現(xiàn)節(jié)能減排，再生制動(dòng)能量回收技術(shù)是電動(dòng)汽車開發(fā)的關(guān)鍵技術(shù)之一[1-2]。再生制動(dòng)研究的核心是在制動(dòng)安全的前提下，合理分配機(jī)械摩擦制動(dòng)力和電機(jī)制動(dòng)力，即制動(dòng)力分配控制策略[3-4]。為解決再生制動(dòng)過程中制動(dòng)力合理分配的問題，文章提出了基于Q學(xué)習(xí)算法的再生制動(dòng)能量回收控制策略，以制動(dòng)能量回收效率最大為優(yōu)化目標(biāo)，總需求制動(dòng)力矩和車速為狀態(tài)變量，運(yùn)用Q學(xué)習(xí)算法，獲得最優(yōu)制動(dòng)力分配系數(shù)，從而實(shí)現(xiàn)機(jī)械制動(dòng)力和再生制動(dòng)力的優(yōu)化分配。

1 混合動(dòng)力汽車模型

1.1 混合動(dòng)力汽車結(jié)構(gòu)參數(shù)

文章研究的混合動(dòng)力汽車是一款前驅(qū)并聯(lián)型輕度混合動(dòng)力轎車，其主要部件包括發(fā)動(dòng)機(jī)、電動(dòng)機(jī)和無(wú)級(jí)變速器等，整車的主要參數(shù)如下：整備質(zhì)量m=915 kg，軸距L=2.365 m，質(zhì)心高度hg=0.525 m，質(zhì)心離前軸的距離a=0.935 m，輪胎半徑r=0.272 m，滾動(dòng)阻力系數(shù)f=0.009，空氣阻力系數(shù)Cd=0.335，迎風(fēng)面積A=2.0 m2，主減速比4.38。

1.2 車輪處的制動(dòng)需求力矩

在制動(dòng)過程中，汽車主要受滾動(dòng)阻力、空氣阻力和車輪處制動(dòng)力的作用。當(dāng)制動(dòng)踏板被踩下時(shí)，車輪處的制動(dòng)需求力矩由制動(dòng)器制動(dòng)力矩和電機(jī)制動(dòng)力矩來提供。

式中：Treq——車輪處的制動(dòng)需求轉(zhuǎn)矩，N·m；

v——車速，km/h；

z——制動(dòng)強(qiáng)度，是加速度a與g的比值。

1.3 再生制動(dòng)力矩

再生制動(dòng)過程中，電機(jī)處于發(fā)電狀態(tài)，再生制動(dòng)力矩可以表示為：

式中：Tm——電機(jī)轉(zhuǎn)矩，N·m；

i0——主減速器速比；

icvt——變速器速比；

ηt——傳動(dòng)效率。

2 基于Q學(xué)習(xí)算法的再生制動(dòng)能量回收控制策略

2.1 制動(dòng)力矩分配系數(shù)

文章引入了2個(gè)制動(dòng)力分配系數(shù)，分別為前軸制動(dòng)力矩比例系數(shù)和電機(jī)制動(dòng)力矩比例系數(shù)。其中：前軸制動(dòng)力矩比例系數(shù)為前軸制動(dòng)力矩與總制動(dòng)力矩的比值，電機(jī)制動(dòng)力矩比例系數(shù)為電機(jī)制動(dòng)力矩與前軸制動(dòng)力矩的比值。

式中：Tf，Tr，Tre——前軸總的制動(dòng)力矩、后軸總的制動(dòng)力矩、電機(jī)制動(dòng)力矩，N·m；

β——前軸制動(dòng)力矩比例系數(shù)；

α——電機(jī)制動(dòng)力矩比例系數(shù)。

2.2 目標(biāo)函數(shù)和約束條件

以制動(dòng)能量回收效率最大為優(yōu)化目標(biāo)，制定目標(biāo)函數(shù)：

式中：Ts——制動(dòng)時(shí)間，s；

n——電機(jī)轉(zhuǎn)速，r/min；

vt，v0——制動(dòng)起始車速和制動(dòng)終止車速，km/h。

制動(dòng)過程中為了確保制動(dòng)安全性，前軸制動(dòng)力矩比例系數(shù)要受到ECE法規(guī)的限制，電機(jī)制動(dòng)力矩主要受電機(jī)本身特性和電池最大充電功率影響，故優(yōu)化過程中的約束條件為：

式中：Tm_max——電機(jī)的最大轉(zhuǎn)矩，N·m；

Pchg_max——電池最大充電功率，kW；

ηm——電機(jī)發(fā)電效率；

φf、φr——前軸、后軸的利用附著系數(shù)。

2.3 Q學(xué)習(xí)算法再生制動(dòng)控制策略

Q學(xué)習(xí)算法是通過不斷的試錯(cuò)學(xué)習(xí)經(jīng)驗(yàn)知識(shí)，從而實(shí)現(xiàn)狀態(tài)到動(dòng)作的高維映射關(guān)系的自學(xué)習(xí)，通過不斷地改善其行為從而達(dá)到良好的控制效果，最后得到全局最優(yōu)策略[5-6]。把Q學(xué)習(xí)算法應(yīng)用到再生制動(dòng)的制動(dòng)力矩分配上，以制動(dòng)能量回收效率最大為優(yōu)化目標(biāo)函數(shù)，車輪處制動(dòng)需求制動(dòng)力矩和車速為狀態(tài)，優(yōu)化得到最優(yōu)制動(dòng)力矩分配系數(shù)。

圖1示出文章所提控制策略的總體框架。首先，根據(jù)車輛狀態(tài)獲得車輛的車速、制動(dòng)強(qiáng)度以及電池的SOC值，運(yùn)用公式（1）計(jì)算得到需求制動(dòng)力矩；其次，通過Q學(xué)習(xí)算法優(yōu)化得到的結(jié)果，插值得到車輛的最優(yōu)制動(dòng)力分配系數(shù)；最后，計(jì)算出目標(biāo)電機(jī)轉(zhuǎn)矩Tm_tag和目標(biāo)前后軸機(jī)械摩擦制動(dòng)力矩Th_tag_i。

圖1 基于Q學(xué)習(xí)算法的再生制動(dòng)控制策略框架圖

其中，Q學(xué)習(xí)算法具體優(yōu)化步驟如下：

1）初始化Q學(xué)習(xí)算法參數(shù)，即探索率、學(xué)習(xí)率ζ和折扣因子γ，并設(shè)置迭代次數(shù)。

2）選擇車輪處需求制動(dòng)轉(zhuǎn)矩Treq和車速v作為狀態(tài)變量，α和β作為動(dòng)作變量。

3）考慮制動(dòng)能量回收效率，構(gòu)建回報(bào)函數(shù)公式（6）。

4）根據(jù)構(gòu)建的回報(bào)函數(shù)，應(yīng)用ε-greedy策略尋找最大Q(s,a)值對(duì)應(yīng)的動(dòng)作，計(jì)算當(dāng)前狀態(tài)s和動(dòng)作a的回報(bào)r和下一時(shí)刻狀態(tài)s’。

5）迭代循環(huán)優(yōu)化?；趃reedy策略選擇下一時(shí)刻動(dòng)作a’，通過公式（8）更新當(dāng)前狀態(tài)動(dòng)作的Q(s,a)值。

6）迭代循環(huán)結(jié)束。將收斂后的Q(s,a)值對(duì)應(yīng)的策略作為最優(yōu)策略。

3 仿真與分析

利用MATLAB/Simulink仿真平臺(tái)，基于WLTP循環(huán)工況進(jìn)行整車仿真。仿真工況如圖2所示，該循環(huán)工況共1 800 s，最高車速131.3 km/h，最大制動(dòng)強(qiáng)度0.153。

圖2 WLTP循環(huán)工況

以車輪處需求制動(dòng)力矩和車速作為狀態(tài)，通過Q學(xué)習(xí)算法優(yōu)化得到整個(gè)循環(huán)工況的前軸制動(dòng)力矩分配系數(shù)和電機(jī)制動(dòng)力矩分配系數(shù)，結(jié)果如圖3和圖4所示。

圖3 電機(jī)制動(dòng)力矩比例系數(shù)

圖4 前軸制動(dòng)力矩比例系數(shù)

受整車比例閥控制前后制動(dòng)器制動(dòng)力為固定比例的影響，整個(gè)循環(huán)工況的電機(jī)制動(dòng)力矩的比例系數(shù)和前軸制動(dòng)力矩比例系數(shù)的變化趨勢(shì)大致相同。圖3電機(jī)制動(dòng)力矩比例系數(shù)的最大值是1，此時(shí)是電機(jī)制動(dòng)力矩等于前軸總的制動(dòng)力矩，當(dāng)車速一定時(shí)，隨著電機(jī)比例系數(shù)隨著需求轉(zhuǎn)矩的增加而降低，表明當(dāng)制動(dòng)需求較大時(shí)，為了保證制動(dòng)安全，會(huì)增加摩擦制動(dòng)力矩，以保證制動(dòng)安全性。圖4為前軸制動(dòng)力矩比例系數(shù)，其取值范圍為0.6～1，符合ECE法規(guī)對(duì)于前軸制動(dòng)力分配比例的限制，保證了制動(dòng)安全性。當(dāng)制動(dòng)需求較小時(shí)，前軸單獨(dú)提供制動(dòng)力矩，前軸制動(dòng)力矩比例系數(shù)為1；當(dāng)制動(dòng)需求轉(zhuǎn)矩較大時(shí)，前軸制動(dòng)力矩比例系數(shù)小于1，此時(shí)前軸和后軸共同提供制動(dòng)需求。

如圖5和圖6所示，循環(huán)工況300～600 s的階段里，電機(jī)的制動(dòng)力矩較小，這是因?yàn)榇穗A段速度和制動(dòng)強(qiáng)度都較低，整車需求制動(dòng)力較小。在循環(huán)工況1 500～1 800 s的階段里，電機(jī)制動(dòng)力矩較之前階段偏小，這是由于此階段的速度較高，為了保證制動(dòng)安全，減小電機(jī)制動(dòng)力矩，增加機(jī)械摩擦制動(dòng)力矩。

圖5 發(fā)動(dòng)機(jī)轉(zhuǎn)矩

圖6 電機(jī)轉(zhuǎn)矩

圖7示出WLTP循環(huán)工況下，采用基于Q學(xué)習(xí)算法再生制動(dòng)能量回收控制策略，電池SOC隨時(shí)間變化的情況，仿真循環(huán)初始時(shí)刻設(shè)定電池SOC為0.6。

圖7 SOC變化圖

從圖7中可以看出，當(dāng)電池SOC值上升時(shí)，電機(jī)參與制動(dòng)，回收能量；當(dāng)SOC下降時(shí)，表示電機(jī)驅(qū)動(dòng)消耗電能，整個(gè)循環(huán)工況電池SOC值維持在0.598～0.603范圍內(nèi)。

表1示出文章所提控制策略和理想制動(dòng)分配策略仿真結(jié)果的對(duì)比。由表2可以看出，基于Q學(xué)習(xí)算法控制策略的制動(dòng)回收能量為1 845.6 kJ，總制動(dòng)能量為3 212.2 kJ，整車能量消耗為7 048.9 kJ，制定能量回收效率為57.4%，有效制動(dòng)能量回收效率為26.1%。其與理想制動(dòng)力分配比例控制策略相比，能量回收效率提升了6.5%，有效制動(dòng)能量回收效率提升了2.9%。

表1 兩種控制策略仿真結(jié)果對(duì)比

4 結(jié)論

文章在混合動(dòng)力汽車建模的基礎(chǔ)上，在保證制動(dòng)安全的前提下，以最大回收制動(dòng)能量為目標(biāo)，需求制動(dòng)力矩和車速作為狀態(tài)變量，制動(dòng)力矩分配系數(shù)作為動(dòng)作變量，制定了基于Q學(xué)習(xí)算法的再生制動(dòng)能量回收控制策略，解決了再生制動(dòng)過程中的電液制動(dòng)力矩分配的問題。該方法不依賴于模型，通過不斷的試錯(cuò)學(xué)習(xí)，從學(xué)習(xí)經(jīng)驗(yàn)中改善自身性能，并且計(jì)算量小、運(yùn)算速度較快。

最后基于MATLAB/Simulink仿真平臺(tái)，進(jìn)行了整車仿真試驗(yàn)。仿真試驗(yàn)結(jié)果表明，與理想制動(dòng)力分配策略制動(dòng)回收效率50.9%相比，該策略制動(dòng)能量回收效率提高了6.5%。后期還需要對(duì)該策略的制動(dòng)過程中的制動(dòng)穩(wěn)定性和電液制動(dòng)系統(tǒng)的動(dòng)態(tài)協(xié)調(diào)控制進(jìn)一步研究。