基于隨機(jī)動態(tài)規(guī)劃的混聯(lián)式混合動力汽車能量管理策略*

肖仁鑫，李 濤，2，鄒 敢，秦 穎，2

(1.昆明理工大學(xué)機(jī)電工程學(xué)院，昆明 650093;2.昆明船舶設(shè)備集團(tuán)有限公司，昆明 650051)

前言

混聯(lián)式混合動力汽車結(jié)合了串聯(lián)式和并聯(lián)式混合動力汽車的優(yōu)點(diǎn)可同時(shí)適應(yīng)低速、頻繁啟停的城市工況和高速城郊工況。為取得較優(yōu)的燃油經(jīng)濟(jì)性，充分發(fā)揮混聯(lián)式混合動力汽車的潛力，采用合理的能量管理策略至關(guān)重要。能量管理策略是一種最優(yōu)控制的措施，從實(shí)施的效果看，能量管理策略可分為全局最優(yōu)策略和局部最優(yōu)策略。以動態(tài)規(guī)劃[1－3](dynamic programming，DP)為代表的全局最優(yōu)策略要基于已知的行駛工況，不能在線實(shí)施;以基于規(guī)則的模糊控制策略[4－8]為代表的局部最優(yōu)策略無須已知行駛工況，可在線實(shí)施，適用性強(qiáng)，但規(guī)則的提取需要豐富的先驗(yàn)知識，或利用全局動態(tài)規(guī)劃的結(jié)果，但須反復(fù)修改規(guī)則，或用人工智能的方法在線修改規(guī)則，往往計(jì)算量大，實(shí)時(shí)性能不好。

由于行駛工況具有馬爾可夫鏈的特性，采用馬爾可夫鏈與動態(tài)規(guī)劃相結(jié)合的隨機(jī)動態(tài)規(guī)劃(stochastic dynamic programming，SDP)來實(shí)施能量管理策略，不依賴于行駛工況，可以在線實(shí)施。本文中以混聯(lián)式混合動力汽車為對象，在維持電池容量的同時(shí)，以取得較優(yōu)的燃油經(jīng)濟(jì)性為目標(biāo)，采用隨機(jī)動態(tài)規(guī)劃實(shí)施能量管理策略，發(fā)揮了混聯(lián)式混合動力汽車的優(yōu)點(diǎn)。

1 動力總成系統(tǒng)建模

1.1 動力總成的拓?fù)浣Y(jié)構(gòu)

混聯(lián)式動力總成拓?fù)浣Y(jié)構(gòu)如圖1所示。輔助動力單元APU由發(fā)動機(jī)與ISG電機(jī)組成，通過自動離合器與主驅(qū)動電機(jī)同軸并聯(lián)，動力經(jīng)過自動變速器傳遞到驅(qū)動橋，驅(qū)動汽車行駛?；炻?lián)式動力總成的工作狀態(tài)如下:

(1)發(fā)動機(jī)起動 自動離合器斷開，ISG電機(jī)拖動發(fā)動機(jī)快速起動;

(2)APU發(fā)電 自動離合器斷開，發(fā)動機(jī)起動后，帶動ISG電機(jī)發(fā)電;

(3)汽車純電動行駛 自動離合器斷開，主驅(qū)動電機(jī)驅(qū)動汽車行駛，動力電池提供電能;

(4)汽車串聯(lián)行駛 自動離合器斷開，主驅(qū)動電機(jī)驅(qū)動，動力電池提供電能，或動力電池與APU共同提供電能，或APU提供電能且給動力電池充電;

(5)汽車并聯(lián)行駛 自動離合器閉合，發(fā)動機(jī)的動力直接輸出，與主驅(qū)動電機(jī)共同驅(qū)動，或發(fā)動機(jī)驅(qū)動并帶動主驅(qū)動電機(jī)發(fā)電，或ISG電機(jī)與主驅(qū)動電機(jī)共同驅(qū)動，或發(fā)動機(jī)、ISG電機(jī)和主驅(qū)動電機(jī)三者共同驅(qū)動。

為提高驅(qū)動效率，簡化控制策略，并聯(lián)運(yùn)行時(shí)，采用發(fā)動機(jī)與主驅(qū)動電機(jī)共同驅(qū)動或發(fā)動機(jī)驅(qū)動且?guī)又黩?qū)動電機(jī)發(fā)電的工作方式。

1.2 動力傳動方程

由于工作在串聯(lián)模式下時(shí)沒有轉(zhuǎn)矩耦合，因此建立功率方程式(1)和式(2)，其中，式(2)是從輪上反向計(jì)算到軸上(即自動變速器—軸端)的需求功率。建立動力傳動方程式(3)和式(4)。

式中:Pd、PAPU、Pbat、Td、Pmech、ωd、ηd和 Twh分別為軸上需求功率、APU功率、電池功率、軸上需求轉(zhuǎn)矩、機(jī)械制動功率、軸上轉(zhuǎn)速、傳動效率和輪上轉(zhuǎn)矩;i0、ig分別為驅(qū)動橋主減速比和變速器速比;m、g、f、Cd、Af、v、δ和 Rwh分別為整車質(zhì)量、重力加速度、滾動阻力系數(shù)、空氣阻力系數(shù)、迎風(fēng)面積、車速、車輛旋轉(zhuǎn)質(zhì)量換算系數(shù)和車輪半徑。Pd也可從加速踏板行程和制動踏板行程擬合計(jì)算得到。

1.3 部件模型

部件模型包括主驅(qū)動電機(jī)、APU和電池。

1.3.1 主驅(qū)動電機(jī)

主驅(qū)動電機(jī)功率方程為

式中:ηm為主驅(qū)動電機(jī)效率;mode=1表示汽車工作在串聯(lián)模式;mode=0表示汽車工作在并聯(lián)模式;功率分配因子 a∈A=[－2，2]，當(dāng) a∈[－1，1]表示并聯(lián)工作模式，a∈[－2，－1)∪(1，2]表示串聯(lián)工作模式。a的具體意義如表1所示。

1.3.2 APU模型

式中:Pe、Pg、、ηe、ηg和 Qlhv分別為發(fā)動機(jī)功率、發(fā)電機(jī)功率、發(fā)動機(jī)燃油消耗率、發(fā)動機(jī)效率、發(fā)電機(jī)效率和燃油低熱值。

表1 功率分配因子

1.3.3 電池模型

電池給主驅(qū)動電機(jī)和ISG電機(jī)提供電能，并可由ISG電機(jī)充電或主驅(qū)動電機(jī)回饋充電。將電池視為內(nèi)阻—開路模型，其動態(tài)方程為

式中:Pb為電池功率，Ib為電池電流，Pb≥0表示放電(此時(shí)Ib≥0)，Pb＜0表示回饋充電(此時(shí)Ib＜0);Uoc、Rb分別為開路電壓和電池內(nèi)阻，它們都是電池荷電狀態(tài) SOC 的非線性函數(shù);ΔSOC、Δt、ηb和 Q0分別為電池荷電狀態(tài)變化值、狀態(tài)更新周期、電池庫侖效率和電池初始安時(shí)容量。為簡化電池模型，將其庫侖效率視為常數(shù)，見式(16)。

1.3.4 動力約束條件

動力總成各部件的約束條件為

2 能量管理的隨機(jī)動態(tài)規(guī)劃

由速度和時(shí)間表達(dá)的行駛工況，在任意時(shí)刻的速度—時(shí)間關(guān)系具有不確定性，因此可將行駛工況看作是速度隨時(shí)間變化的隨機(jī)過程。在行駛過程中，下一時(shí)刻的速度只與當(dāng)前速度和駕駛員即將采取的操作有關(guān)，具有馬爾可夫鏈無后向性的性質(zhì)。行駛工況代表的功率需求是一個(gè)隱藏的馬爾可夫模型，通過從行駛工況的統(tǒng)計(jì)信息中提取其馬爾可夫模型，用動態(tài)規(guī)劃尋求一個(gè)最佳的能量管理分配策略，這樣一個(gè)將二者結(jié)合尋求最優(yōu)策略序列的過程就是一個(gè)隨機(jī)動態(tài)規(guī)劃過程[9]。該過程也同樣適合于駕駛員對加速踏板或制動踏板操作的隨機(jī)序列。

隨機(jī)動態(tài)規(guī)劃過程可由四元組{S，A，T，L}來表示，即狀態(tài)s'在決策(如行為、控制)a下，依據(jù)狀態(tài)轉(zhuǎn)移概率T(s，a，s')轉(zhuǎn)移到下一個(gè)狀態(tài)s的消耗為 L(s，a，s')，其中，s、s'∈S，a∈A，T(s，a，s')∈T，L(s，a，s')∈L。

能量管理決策中，狀態(tài) S是矢量(v，Pd，SOC)。策略 π 是狀態(tài)映射到行為的序列{π1，π2，…，πNs}，指出了在每一個(gè)轉(zhuǎn)移時(shí)刻，系統(tǒng)于當(dāng)前狀態(tài)應(yīng)當(dāng)采取的行為。

隨機(jī)動態(tài)規(guī)劃過程可分為有限時(shí)域問題和無限時(shí)域問題，為使決策過程不依賴于行駛時(shí)間，在能量管理策略中，按無限時(shí)域問題求解。

2.1 功率需求的隨機(jī)建模

功率需求可從行駛工況中根據(jù)式(2)～式(4)對象模型方程求出或從加速踏板行程和制動踏板行程擬合算得。建立功率需求的過程同時(shí)是一個(gè)從行駛工況或駕駛員操作的隨機(jī)序列中尋求隱藏的馬爾可夫鏈的過程。由于功率分配因子a是受控對象的一部分而不是隱藏馬爾可夫鏈的一部分，求解狀態(tài)轉(zhuǎn)移概率T(s，a，s')的過程可以簡化為求解T(s，s')。

設(shè)從行駛工況求得的有限功率需求序列為

對應(yīng)有限車速序列為

定義T(s，s')為從狀態(tài)s'轉(zhuǎn)移到s的轉(zhuǎn)移概率:

可以根據(jù)最大似然估計(jì)來求T(s，s'):

式中:ms，s'為從狀態(tài) s'轉(zhuǎn)移到狀態(tài) s的次數(shù)，且

在運(yùn)用最大似然估計(jì)方法計(jì)算式(21)和式(22)時(shí)，首先須對功率需求序列Pd和速度序列v編碼為Ns個(gè)狀態(tài)，然后對輸入的行駛工況或采集到的駕駛員操作數(shù)據(jù)進(jìn)行計(jì)數(shù)并代入式(21)計(jì)算。

2.2 隨機(jī)動態(tài)規(guī)劃建模

作為無限時(shí)域問題求解時(shí)，能量管理的隨機(jī)動態(tài)規(guī)劃要確定一個(gè)策略序列π，使初始狀態(tài)為s0，經(jīng)過無限時(shí)域后到達(dá)每個(gè)狀態(tài)消耗的期望最小，即值函數(shù)為

式中:γ∈(0，1)，為消耗無限和收斂的折扣因子，越接近于1，考慮的性能期望越長遠(yuǎn);狀態(tài)s∈(v，Pd，SOC)，狀態(tài)矢量中，v和Pd是隨機(jī)變量，SOC是確定性變量，其狀態(tài)方程如式(15)所示。

消耗表示為

式中:α為SOC懲罰因子;SOCref=0.55，為期望維持的SOC值。

在狀態(tài)轉(zhuǎn)移過程中，需求功率由分配因子分配到電池和APU組，并受式(17)動力條件的約束。將電池功率引起的SOC變化和APU組功率引起的發(fā)動機(jī)燃料消耗率代入式(24)，求得當(dāng)前狀態(tài)轉(zhuǎn)移過程中的消耗，進(jìn)而由式(23)求出由初始狀態(tài)開始轉(zhuǎn)移的值函數(shù)，對于值函數(shù)可以根據(jù)貝爾曼原理求解。

2.3 隨機(jī)動態(tài)規(guī)劃求解

對式(23)，根據(jù)貝爾曼方程有:

將式(25)展開合并為

尋找每個(gè)狀態(tài)的值函數(shù)最小的最優(yōu)策略為

式(25)～式(27)實(shí)際蘊(yùn)含了隨機(jī)動態(tài)規(guī)劃的值函數(shù)是由狀態(tài)轉(zhuǎn)移的消耗對狀態(tài)轉(zhuǎn)移概率的加權(quán)平均構(gòu)成的。

隨機(jī)動態(tài)規(guī)劃求解有值迭代、策略迭代和改進(jìn)的策略迭代3種方法，策略迭代快速、高效，因此使用策略迭代的方法求解。策略迭代的步驟如下:

(1)給定一個(gè)初始策略πn=π0和最大迭代次數(shù)iter_max;

(2)將πn代入式(27)計(jì)算;

(3)在給定策略下，求Ns個(gè)狀態(tài)值函數(shù)，解下式:

解式(29)即是解Ns個(gè)值函數(shù)線性方程，可按式(30)進(jìn)行值確定:

式中I為Ns×Ns的單位矩陣。

(4)對由步驟(3)計(jì)算的各個(gè)狀態(tài)的值函數(shù)J(s)，按式(26)和式(28)求出各個(gè)狀態(tài)的最佳控制策略πn+1，迭代次數(shù)iter_num加1;

(5)如果πn+1=πn或迭代次數(shù)iter_num≥iter_max則求解完成，返回πn+1，否則進(jìn)行步驟(6);

(6)策略更新:πn=πn+1，轉(zhuǎn)到步驟(2)，重新計(jì)算。

3 策略仿真和實(shí)施

3.1 策略仿真

車輛部分參數(shù)如表2所示。

表2 車輛部分參數(shù)

昆明作為“十城千輛”試點(diǎn)城市，研究昆明城市公交工況具有重要的示范意義，選擇昆明具有代表性的129路公交車運(yùn)行路線，通過短行程法建立循環(huán)工況。采取電池維持策略，SOC初始值為0.55。行駛工況與功率分配因子如圖2所示，車速較低時(shí)隨機(jī)動態(tài)規(guī)劃和動態(tài)規(guī)劃確定的能量管理主要在純電動狀態(tài)或串聯(lián)狀態(tài)(a=1或a＞1或a＜－1)下;在加速或速度較大階段，隨機(jī)動態(tài)規(guī)劃和動態(tài)規(guī)劃決策在并聯(lián)狀態(tài)下(－1＜a＜1)。不同的是，在低速串聯(lián)行駛工況下，動態(tài)規(guī)劃決策下的功率分配因子比隨機(jī)動態(tài)規(guī)劃決策下的功率分配因子大，即更多地使用驅(qū)動電機(jī)驅(qū)動;而在高速或加速并聯(lián)下，動態(tài)規(guī)劃決策下的功率分配因子小于隨機(jī)動態(tài)規(guī)劃決策下的功率分配因子，也即發(fā)動機(jī)提供更大的功率。

電池SOC變化如圖3所示，動態(tài)規(guī)劃策略下SOC變化較劇烈，而隨機(jī)動態(tài)規(guī)劃策略下SOC變化較平穩(wěn)，這是因?yàn)殡S機(jī)動態(tài)規(guī)劃是根據(jù)狀態(tài)轉(zhuǎn)移的消耗對狀態(tài)轉(zhuǎn)移概率的加權(quán)值函數(shù)來預(yù)測的。

由動態(tài)規(guī)劃實(shí)現(xiàn)的能量管理策略的100km燃油消耗為23.87L，由隨機(jī)動態(tài)規(guī)劃實(shí)現(xiàn)的能量管理策略的100km燃油消耗為25.11L，由此可見，隨機(jī)動態(tài)規(guī)劃過程實(shí)現(xiàn)的能量管理策略是全局次優(yōu)的。

3.2 控制策略的實(shí)施

混合動力汽車的能量管理策略隨機(jī)動態(tài)規(guī)劃實(shí)施步驟如下:

(1)通過行駛工況或駕駛員操作進(jìn)行統(tǒng)計(jì)，確定需求功率，建立需求的馬爾可夫鏈模型;

(2)結(jié)合功率分配因子，計(jì)算狀態(tài)轉(zhuǎn)移過程的消耗;

(3)根據(jù)貝爾曼原理和迭代方法求解值函數(shù)，得出狀態(tài)轉(zhuǎn)移過程中最佳的功率分配因子;

(4)將求解的狀態(tài)轉(zhuǎn)移過程中的功率分配因子以表格或曲線擬合的形式存儲在實(shí)時(shí)嵌入式系統(tǒng)中，實(shí)現(xiàn)在線的能量管理決策。

由于隨機(jī)動態(tài)規(guī)劃過程是以行駛工況或駕駛員操作的統(tǒng)計(jì)信息的狀態(tài)轉(zhuǎn)移概率作為加權(quán)系數(shù)來預(yù)測消耗的值函數(shù)，使得決策過程可以不依賴于行駛工況，在策略實(shí)施的步驟(1)～步驟(3)通過本地計(jì)算機(jī)離線進(jìn)行，降低了對實(shí)時(shí)嵌入式系統(tǒng)的要求。

4 結(jié)束語

隨機(jī)動態(tài)規(guī)劃的能量管理策略基于行駛工況或駕駛員操作的統(tǒng)計(jì)信息建立了功率需求的馬爾可夫鏈模型，使用隨機(jī)動態(tài)規(guī)劃離線確定各個(gè)狀態(tài)轉(zhuǎn)移的最佳控制策略，由實(shí)時(shí)嵌入式系統(tǒng)在線實(shí)施，基于隨機(jī)動態(tài)規(guī)劃的能量管理策略是全局次優(yōu)的，但電池容量變化平穩(wěn)，有利于電池保護(hù)。

[1]左義和，項(xiàng)昌樂，閆清東，等．基于動態(tài)規(guī)劃算法的混聯(lián)混合動力汽車控制策略[J]．吉林大學(xué)學(xué)報(bào)(工學(xué)版)，2011，41(4):898－903．

[2]申彩英，夏超英．基于改進(jìn)動態(tài)算法的串聯(lián)混合動力汽車控制策略[J]．控制理論與運(yùn)用，2011，28(3):427 －431．

[3]Olle Sundstrom．Optiaml Ccontrol and Design of Hybrid Electric Vehicles[D]．Sweden:ETH ZURICH，2009:97 －130．

[4]郭晉晟，王家明，楊林，等．無級變速混聯(lián)式混合動力客車能量分配策略[J]．中國公路學(xué)報(bào)，2009，21(5):115 －120．

[5]熊偉威．混聯(lián)式混合動力客車能量優(yōu)化管理策略研究[D]．上海:上海交通大學(xué)，2009:95－107．

[6]Salmanx M，Schouten Niels J，Kheir Naim A．Control Strategies for Parallel Hybrid Vehicles[C]．Proceedings of the American Control Conference，Chicago:AACC，2000:524 －528．

[7]何海．混合動力汽車控制系統(tǒng)設(shè)計(jì)及仿真[D]．上海:上海交通大學(xué)，2005:55－74．

[8]Xiong Weiwei，Zhang Yong，Yin Chengliang．Optimal Energy Management for Series-parallel Hybrid Electric Bus[J]．Energy Conversion and Management，2009，50:1730 －1738．

[9]Lin Chan-Chiao，Peng Huei，Grizzle J W．A Stochastic Control Strategy for Hybrid Electric Vehicles[C]．Proceeding of the 2004 American Control Conference，Boston:AACC，2004:4710 －4715．