基于Q-learning的混合動力汽車能量管理策略

【摘" 要】隨著能源與環(huán)境問題的日益突出，對混合動力汽車進(jìn)行研究具有重要的意義。作為一種多能源汽車，能量管理和分配策略是提高混合動力汽車燃油經(jīng)濟(jì)性及降低排放的關(guān)鍵?；旌蟿恿ζ囉蓛?nèi)燃機(jī)和電池兩種不同的動力源驅(qū)動，對于給定的功率需求，如何分配兩種動力源的輸出功率，使得整個循環(huán)的耗油量達(dá)到最小是混合動力系統(tǒng)控制需要解決的問題。文章以Q學(xué)習(xí)全局優(yōu)化算法為基礎(chǔ)，對整車能量進(jìn)行分配，并獲得發(fā)動機(jī)和電機(jī)的最優(yōu)轉(zhuǎn)矩，在保持電池荷電狀態(tài)平衡的同時，提高整車的燃油經(jīng)濟(jì)性。使用MATLAB/Simulink并在NEDC循環(huán)工況下進(jìn)行仿真分析，得到的結(jié)論為混合動力汽車的油耗為4.627L/km，相對于傳統(tǒng)小型汽車6.88L/100km，降幅為32.75%。

【關(guān)鍵詞】能量管理；Q-learning；混合動力汽車；燃油經(jīng)濟(jì)性

中圖分類號：U469.72" " 文獻(xiàn)標(biāo)識碼：A" " 文章編號：1003-8639（ 2024 ）08-0024-04

Energy Management Strategy of Hybrid Electric Vehicle Based on Q-learning

YOU jie

（Chongqing Jiao Tong University，Chongqing 400074）

【Abstract】With the increasing problems of energy and environment，it is of great significance to study hybrid electric vehicles. As a multi-energy vehicle，energy management and distribution strategy is the key to improve fuel economy and reduce emissions of hybrid electric vehicles. Hybrid electric vehicle is driven by two different power sources，internal combustion engine and battery. For a given power demand，how to allocate the output power of the two power sources to minimize the fuel consumption of the whole cycle is a problem that needs to be solved by the control of hybrid electric power system. Based on Q learning global optimization algorithm，this paper distributes the energy of the vehicle，obtains the optimal torque of the engine and motor，and improves the fuel economy of the vehicle while maintaining the balance of battery charging state. Under NEDC cycle condition，MATLAB/Simulink was used for simulation analysis. The results showed that fuel consumption of hybrid electric vehicle was 4.627L /km，which decreased by 32.75% compared with 6.88L/100km of traditional small cars.

【Key words】energy management；Q-learning；hybrid electric vehicles；fuel economy

1" 引言

隨著社會發(fā)展，人們對產(chǎn)品的要求越來越高?；旌蟿恿ζ圀w現(xiàn)出了燃油效率高、價格實惠、節(jié)能高效、綠色環(huán)保、續(xù)航里程長和充電設(shè)施完善的優(yōu)勢，可以更好地滿足人們的要求，在眾多產(chǎn)品中脫穎而出，并在產(chǎn)品的技術(shù)研發(fā)過程中引起了廣泛關(guān)注。由多個動力源所組成的傳動系統(tǒng)可單獨(dú)或共同為混合動力汽車提供動力，而動力源中能量流的有效管理對整車性能的提升有著至關(guān)重要的作用。

首先，基于邏輯規(guī)則的控制策略是一種常見的控制策略，它通過設(shè)定一系列的門限值來控制混合動力汽車的能量管理。當(dāng)滿足特定的條件時，系統(tǒng)會根據(jù)設(shè)定的門限值來執(zhí)行相應(yīng)的操作。模糊控制策略則是一種處理不確定性、非線性系統(tǒng)的有效方法，它通過將輸入的變量模糊化[1-3]，并根據(jù)模糊規(guī)則進(jìn)行推理，最終輸出模糊決策結(jié)果。這種控制策略的優(yōu)點在于能夠處理不確定性和非線性問題，因此得到了廣泛應(yīng)用。神經(jīng)網(wǎng)絡(luò)控制策略[4]則是利用人工神經(jīng)網(wǎng)絡(luò)來對混合動力汽車進(jìn)行能量管理，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其能夠根據(jù)輸入的參數(shù)輸出最優(yōu)的能量管理方案。

其次，瞬時優(yōu)化控制策略[5]也被廣泛應(yīng)用于混合動力汽車中。這種策略通過在每個時刻都優(yōu)化混合動力系統(tǒng)的性能，以實現(xiàn)全局的最優(yōu)性能。雖然這種策略能夠得到最優(yōu)的控制性能，但是由于計算量大，控制復(fù)雜，因此在實際應(yīng)用中存在一定的難度。

最后，全局最優(yōu)控制策略也被用于混合動力汽車的能量管理。這種策略通過預(yù)知行駛循環(huán)來得到混合動力系統(tǒng)的最優(yōu)性能。雖然這種策略能夠得到最優(yōu)的性能，但是需要預(yù)知行駛循環(huán)[6-8]，因此在實際應(yīng)用中存在一定的局限性。不過，對全局最優(yōu)控制策略的仿真結(jié)果進(jìn)行分析，可以為混合動力汽車的能量管理策略設(shè)計[9-10]提供有價值的參考。

綜上所述，這3種能量管理策略各有優(yōu)缺點，在實際應(yīng)用中需要根據(jù)具體情況選擇合適的策略，從而使混合動力汽車的性能得到顯著提升。本文采用Q學(xué)習(xí)算法對混合動力汽車的性能進(jìn)行優(yōu)化，并在MATLAB/Simulink建立前向仿真模型，模擬駕駛員的行為，將Q學(xué)習(xí)的優(yōu)化結(jié)果嵌套入Simulink中進(jìn)行仿真分析。

2" 并聯(lián)式混合動力汽車動力系統(tǒng)

2.1" 動力系統(tǒng)結(jié)構(gòu)

單軸并聯(lián)式混合動力汽車動力結(jié)構(gòu)如圖1所示。整車動力系統(tǒng)主要由車輪、傳動系、電機(jī)、離合器、發(fā)動機(jī)和電池組構(gòu)成。單軸并聯(lián)式動力系統(tǒng)的特點是：電機(jī)和發(fā)動機(jī)都具有獨(dú)立提供動力驅(qū)動車輛行駛的能力，并且發(fā)動機(jī)可以像傳統(tǒng)汽車一樣通過傳動系統(tǒng)直接驅(qū)動車輛，或帶動電機(jī)向電池組充電。

分析圖1車輛結(jié)構(gòu)，可以看出其結(jié)構(gòu)與傳統(tǒng)的汽車結(jié)構(gòu)大致相同，發(fā)動機(jī)通過傳動系統(tǒng)與驅(qū)動橋直接連接，減少了皮帶或齒輪的能量損耗，能量利用率得到提高；與傳統(tǒng)汽車相比，具有多種運(yùn)行模式；電機(jī)提供動力進(jìn)行輔助行駛，因而可以選擇功率較小的電機(jī)和發(fā)動機(jī)；采用與傳統(tǒng)車輛結(jié)構(gòu)類似的車輛結(jié)構(gòu)，可降低研發(fā)設(shè)計成本，提高利潤。

2.2" 工作模式

該車的兩套驅(qū)動系統(tǒng)都可以為車輛提供動力，既可以實現(xiàn)獨(dú)立工作，又可以實現(xiàn)共同工作，同時電機(jī)不僅可以作為驅(qū)動電動機(jī)使用，還可以當(dāng)作發(fā)電機(jī)使用。由于發(fā)動機(jī)和電機(jī)在不同工況下的工作效率不同，為了發(fā)揮出該車的優(yōu)點，應(yīng)采用與行駛工況相適應(yīng)的工作模式來適應(yīng)不同的車輛運(yùn)行工況，在滿足車輛動力性要求的前提下，提高燃油經(jīng)濟(jì)性和降低排放，減少能源消耗。并聯(lián)式混合動力汽車工作模式根據(jù)車輛所行駛工況和能量分配管理策略可分為5種驅(qū)動模式，分別為：純電動模式、發(fā)動機(jī)驅(qū)動模式、行車充電模式、混合驅(qū)動模式、再生制動模式。

3" 并聯(lián)式混合動力系統(tǒng)數(shù)學(xué)模型

能量管理策略是混合動力汽車整車控制系統(tǒng)的重要問題之一，與整車系統(tǒng)的各個部件都有著密不可分的聯(lián)系，其中最主要的是動力源模型、傳動系統(tǒng)模型和整車縱向動力學(xué)模型。對動力系統(tǒng)主要部件進(jìn)行建模，主要有試驗建模和理論建模兩種方式。試驗建模是摸清物理現(xiàn)象本質(zhì)的一種有效手段，通過進(jìn)行試驗采集數(shù)據(jù)的方法，測得系統(tǒng)的輸入變量與輸出變量之間的關(guān)系；理論建模想要得到表示該過程的各個變量之間的關(guān)系，就需要通過化學(xué)、物理等基本理論對某一過程機(jī)理進(jìn)行深入研究和分析，從而推出其數(shù)學(xué)關(guān)系。采用ADVISOR仿真軟件中的試驗數(shù)據(jù)，在MATLAB平臺中分別對整車各個部件進(jìn)行建模。

3.1" 發(fā)動機(jī)模型

通過進(jìn)行發(fā)動機(jī)特性試驗并建立發(fā)動機(jī)模型，得到該試驗數(shù)據(jù)，表示出燃油消耗率、發(fā)動機(jī)轉(zhuǎn)速和發(fā)動機(jī)扭矩這三者之間的關(guān)系，即發(fā)動機(jī)燃油消耗數(shù)值模型fb（ωb，Te），如圖2所示。同時建立發(fā)動機(jī)穩(wěn)態(tài)轉(zhuǎn)矩數(shù)值模型，如圖3所示。

3.2" 電機(jī)模型

在并聯(lián)式混合動力汽車的研究中，采用永磁同步電機(jī)作為驅(qū)動電機(jī)。電機(jī)模型為功率輸出的核心部分，它連接著動力源和車輪，負(fù)責(zé)將發(fā)動機(jī)的動能有效地傳遞給車輛，使其行駛，得出其電機(jī)功率，公式如下：

Pm=Tm nm/ηm" "Tmgt;0

Tm nm ηm" "Tmlt;0（1）

式中：Pm——電機(jī)功率，kW；Tm——電機(jī)轉(zhuǎn)矩，N·m；nm——電機(jī)轉(zhuǎn)速，r/min；ηm——電機(jī)效率，%。

通過電機(jī)性能測試獲得試驗數(shù)據(jù)，運(yùn)用插值法得到電機(jī)的瞬時效率。電機(jī)效率模型如圖4所示。

通過電機(jī)模型的建立和試驗數(shù)據(jù)的驗證，可以更加準(zhǔn)確地模擬該類型汽車的動力性能，為后續(xù)的優(yōu)化設(shè)計和性能提升提供重要的理論依據(jù)。

3.3" 電池模型

電池作為電動汽車的能量源，其性能對整車性能有著至關(guān)重要的影響。通過一系列電池性能試驗，建立了電池的電動勢和內(nèi)阻模型。

ESOC=E0+∑15EiSOCi（2）

RSOC=δ0（R0+∑16λiSOCi）（3）

式中：ESOC——當(dāng)前狀態(tài)下的電動勢，V；RSOC——當(dāng)前狀態(tài)下的內(nèi)阻，Ω；R0——電池的內(nèi)阻系數(shù)；E0——電池電動常數(shù)擬合系數(shù)，V；SOC——電池的荷電狀態(tài)；δ0——內(nèi)阻隨電流變化的補(bǔ)償系數(shù)；λi——擬合系數(shù)；Ei——第i個電池的電動勢。

電池SOC計算過程為：

SOC（t+1）=SOC（t）-I（t）/Qbat（4）

I（t）=（5）

ΔSOC=-（6）

式中：I——電池電流，A；Qbat——電池容量，A·h；Pbat——電池功率，kW。

此外還可以通過電池的充放電試驗數(shù)據(jù)，結(jié)合電池容量和電池功率的關(guān)系，計算出電池的荷電狀態(tài)。

通過電池模型的建立，可以更準(zhǔn)確地模擬電池的工作狀態(tài)，預(yù)測電池的能量輸出和儲能能力，為電動汽車的性能優(yōu)化提供理論依據(jù)。

3.4" 整車縱向動力學(xué)模型

為了全面研究并聯(lián)式混合動力電動汽車性能，建立了整車縱向動力學(xué)模型。這個模型能夠描述車輛在行駛過程中的位置、速度、加速度等參數(shù)的變化關(guān)系。

式中：si、vi、mi、ai——第i輛車的位置、速度、質(zhì)量和加速度；A——汽車迎風(fēng)面積，m2；Fi——驅(qū)動力或制動力，N；CD——空氣阻力系數(shù)；μ——滾動阻力系數(shù)；g——重力加速度，m/s；θ——道路坡度，°。

3.5" 車輛系統(tǒng)參數(shù)

混合動力系統(tǒng)參數(shù)見表1。

4" Q-learning算法

Q-learning算法是一種基于迭代的強(qiáng)化學(xué)習(xí)算法，通過不斷更新狀態(tài)-動作值函數(shù)來逼近最優(yōu)策略。具體算法流程可大致分為如下幾個步驟。

1）初始化狀態(tài)-動作值函數(shù)Q（s，a）為任意值。

2）動作策略：開始一個無限循環(huán)，在每一個循環(huán)中執(zhí)行以下步驟。

①根據(jù)當(dāng)前狀態(tài)s和探索率ε，以概率ε隨機(jī)選擇一個動作a，以概率1-ε選擇當(dāng)前狀態(tài)下最優(yōu)的Q值對應(yīng)的動作。

②執(zhí)行動作a，并觀察新的狀態(tài)s和獎勵r。

③更新狀態(tài)-動作值函數(shù)：

Q（s，a）←Q（s，a）+α[r+γminQ（s，a'）-Q（s，a）]（10）

式中：α——學(xué)習(xí)率；γ——折扣因子。

3）當(dāng)算法收斂或達(dá)到預(yù)設(shè)的迭代次數(shù)時，結(jié)束循環(huán)。

4）根據(jù)最終的狀態(tài)-動作值函數(shù)Q（s，a），為每個狀態(tài)選擇最優(yōu)的Q值對應(yīng)的動作作為最優(yōu)策略。通過不斷地迭代更新狀態(tài)-動作值函數(shù)，Q-learning算法可以逐漸逼近最優(yōu)策略，并在新狀態(tài)下選擇最優(yōu)的動作。這種方法在許多實際應(yīng)用中都取得了良好的效果，其中在混合動力汽車中得到了很好的應(yīng)用。Q學(xué)習(xí)能量策略流程如圖5所示。

5" 仿真結(jié)果分析

本文采用NEDC循環(huán)工況（圖6）作為仿真工況，它由4個ECE和1個EUDC組成。

為了驗證動態(tài)規(guī)劃全局優(yōu)化能量管理策略，在MATLAB中采用M文件編寫動態(tài)規(guī)劃計算程序、狀態(tài)轉(zhuǎn)移函數(shù)以及瞬時代價函數(shù)。選取新歐洲標(biāo)準(zhǔn)循環(huán)工況（New European Driving Cycle，NEDC）進(jìn)行仿真，然后再把優(yōu)化出的轉(zhuǎn)矩結(jié)果嵌入Simulink模型中，進(jìn)行仿真分析。在駕駛員模型內(nèi)，使用傳統(tǒng)的PID控制來對車速進(jìn)行跟隨，模擬駕駛員的行為，其輸入為目標(biāo)車速與實際車速之差，其輸出為油門和制動踏板開度，進(jìn)而控制發(fā)動機(jī)和電機(jī)的輸出轉(zhuǎn)矩。電機(jī)輸出轉(zhuǎn)矩曲線如圖7所示，發(fā)動機(jī)輸出轉(zhuǎn)矩曲線如圖8所示。

根據(jù)NEDC循環(huán)工況的試驗結(jié)果可以看出，基于Q-Learning的能量管理策略可以調(diào)節(jié)混合動力系統(tǒng)的輸出，使得混合動力汽車在實際運(yùn)行工況時可以通過發(fā)動機(jī)和電機(jī)的輸出轉(zhuǎn)矩來滿足需求轉(zhuǎn)矩，讓目標(biāo)工況與混合動力汽車的實際運(yùn)行工況相符合。

圖9為發(fā)動機(jī)燃油消耗量在整個NEDC循環(huán)工況下的累計曲線圖，整體呈現(xiàn)階梯式增加，保持水平的部分為整車處在電動模式或者回饋制動模式。圖10為電池SOC變化曲線，可以看出整個循環(huán)工況下SOC波動范圍小，處于允許波動的范圍內(nèi)，并基本維持在[0.5，0.6]之間，電池工作效率高。循環(huán)工況結(jié)束時，SOCend=0.54與初始值0.6較為接近，想要更一步接近初始值，需要加入代價函數(shù)。

6" 結(jié)束語

本文提出基于Q-Learning的混合動力汽車能量管理策略，采用Q-Learning算法離線優(yōu)化出發(fā)動機(jī)，在Simulink仿真模型中導(dǎo)入電機(jī)最優(yōu)轉(zhuǎn)矩表，然后建立離線仿真模型，將實際工況與模擬工況進(jìn)行PID調(diào)節(jié)。從仿真結(jié)果可以看出，全局優(yōu)化能量管理策略在基于Q學(xué)習(xí)的情況下，表現(xiàn)出良好的狀態(tài)，在NEDC循環(huán)工況下的油耗為0.42L，油耗為4.62L/100 km，相對于傳統(tǒng)燃油車具有更好的燃油經(jīng)濟(jì)性。

參考文獻(xiàn)：

[1] Javier Solano Martínez a，Robert I. John b，Daniel Hissel a，et al. A survey-based type-2 fuzzy logic system for energy management in hybrid electrical vehicles[J]. Information Sciences，2012，190（3）：192-207.

[2] Schouten N J，Salman M A，Kheir N A. Energy management strategies for parallel hybrid vehicles using fuzzy logic[J]. Control Engineering Practice，2003，11（2）：171-177.

[3] Li S G，Sharkh S M，Walsh F C，et al. Energy and Battery Management of a Plug-In Series Hybrid Electric Vehicle Using Fuzzy Logic[J]. IEEE Transactions on Vehicular Technology，2011，60（8）：3571-3585.

[4] Zhu Dongbin，Wang Xiyang，Li Yanwen. Research Progress of Energy Management Strategy for Hybrid Electric Vehicles[J]. Machinery Design amp; Manufacture，2020（3）：293-296.

[5] 王鋒，冒曉建，卓斌. ISG并聯(lián)混合動力轎車最優(yōu)轉(zhuǎn)矩分配策略[J]. 重慶大學(xué)學(xué)報（自然科學(xué)版），2008，31（5）：499-504.

[6] Liu J，Peng H. Modeling and control of a power-split hybrid vehicle[J]. IEEE transactions on control systems technology，2008，16（6）：1242-1251.

[7] Pérez L V，Bossio G R，Moitre D，et al. Optimization of power management in an hybrid electric vehicle using dynamic programming[J]. Mathematics and Computers in Simulation，2006，73（1）：244-254.

[8] Johannesson L，Asbogard M，Egardt B. Assessing the potential of predictive control for hybrid vehicle powertrains using stochastic dynamic programming[J]. IEEE Transactions on Intelligent Transportation Systems，2007，8（1）：71-83.

[9] Shams-Zahraei M，Kouzani A Z，Kutter S，et al. Integrated thermal and energy management of plug-in hybrid electric vehicles[J]. Journal of power sources，2012（216）：237-248.

[10] Liu J. Modeling Configuration and Control Optimization of Power-split Hybrid Vehicles[D]. USA：The University of Michigan，2007.

（編輯" 楊凱麟）