基于神經(jīng)網(wǎng)絡(luò)的電池SOC估算及優(yōu)化方法

李永穎,張振東,朱順良

(1.上海理工大學(xué)，機械工程學(xué)院，上海 200093; 2.國家機動車產(chǎn)品質(zhì)量檢測與監(jiān)督中心，新能源研究所，上海 201800)

0 引言

電動汽車動力電池的電荷狀態(tài)(State of Charge, SOC)、健康狀態(tài)(State of Health, SOH)、峰值功率(State-of-power, SOP)、能量狀態(tài) (State of Energy，SOE)、剩余壽命(Residual Life, RUL)等參數(shù)是電池管理系統(tǒng)BMS(Battery Management System)對動力電池進(jìn)行實時狀態(tài)分析的支撐。動力電池電化學(xué)反應(yīng)過程復(fù)雜，受到溫度、濕度、老化等諸多因素的共同影響，具有不確定性，其數(shù)學(xué)建模涉及多學(xué)科和多領(lǐng)域，一直是學(xué)術(shù)界和工業(yè)界研究的難點和重點[1]。神經(jīng)網(wǎng)絡(luò)模型具有很好的非線性逼近能力，在處理非線性時變問題上具有巨大優(yōu)勢。蔡信等[2]利用ADVISOR仿真數(shù)據(jù)對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行SOC估計，結(jié)果表明模型的估計值和輸出值之間的誤差為4%左右。蘇振浩等[3]使用經(jīng)過等效電路模型修正后的數(shù)據(jù)對雙隱層BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與SOC預(yù)測，證明了人工神經(jīng)網(wǎng)絡(luò)模型對SOC估算的有效性。劉征宇等[4]基于量子微粒群算法(QPSO)的BP神經(jīng)網(wǎng)絡(luò)模型用于SOC預(yù)測，結(jié)果表明此方法比現(xiàn)有的神經(jīng)網(wǎng)絡(luò)預(yù)測方法準(zhǔn)確度更高，且具備很好的實用性。JOHNSONVH[5]基于ADVISOR平臺建立一個雙隱層神經(jīng)網(wǎng)絡(luò)的電池模型。用電池負(fù)載功率和 SOC輸入到模型，輸出為電流和電壓。針對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法困難、模型運算時間較長、對芯片運算能力要求高等原因降低其實用性的問題。在這里提出了能有效減少模型運算時間的訓(xùn)練算法和基于數(shù)學(xué)規(guī)劃的神經(jīng)網(wǎng)絡(luò)模型構(gòu)架設(shè)計方法。為神經(jīng)網(wǎng)絡(luò)對電池狀態(tài)估計的工程應(yīng)用提供一個解決方案，具有參考價值。

1 前饋神經(jīng)網(wǎng)絡(luò)模型構(gòu)架設(shè)計

模型深度和寬度的選擇是一個非常復(fù)雜的問題，目前并沒有理論的指導(dǎo)，沒有一個好的解析式來表示。隱藏層單元數(shù)目與問題的需求、輸入、輸出單元數(shù)都有直接的關(guān)系。一般情況下僅能靠經(jīng)驗來確定模型的寬度和深度。

關(guān)于BP神經(jīng)網(wǎng)絡(luò)的隱藏層的設(shè)計有以下幾種設(shè)計經(jīng)驗參考：

1)1987年Hechtnielsen[6]提出隱藏層節(jié)點的數(shù)目為2n+1，式中n為輸入的節(jié)點數(shù)。

2)1988年Liu W[7]根據(jù)實驗發(fā)現(xiàn)，在高維輸入時，第一隱藏層對第二隱藏層的最佳節(jié)點比列為3:1。

3)1990年Nelson和Illingworth[8]建議隱藏層節(jié)點數(shù)應(yīng)為4n。

4)隱含層的的節(jié)點數(shù)設(shè)計經(jīng)驗公式[9]:

(1)

式中,n為輸入層神經(jīng)元數(shù)目；m為輸出層神經(jīng)數(shù)目；d為 1～10 之間的整數(shù)。

5)最佳隱藏層單元數(shù)可參照以下公式[10]:

l

(2)

l=log2n

(3)

式中,n為輸入層單元數(shù)。

根據(jù)實驗數(shù)據(jù)，采用數(shù)學(xué)規(guī)劃的思想對神經(jīng)網(wǎng)絡(luò)構(gòu)架進(jìn)行選擇。取模型訓(xùn)練至預(yù)測時間稱為運算時間Ct，及每個預(yù)測點的平均絕對誤差Ess為性能指標(biāo)。Ess計算公式如式(4)。Ct與CUP性能、模型結(jié)構(gòu)及算法等有關(guān)，運算時間Ct和平均絕對誤差Ess作為設(shè)計模型的重要參考。

(4)

可以建立多目標(biāo)線性規(guī)劃模型來選擇最優(yōu)模型。其數(shù)學(xué)模型如下：

minCt

(5)

minEss

(6)

s.t.

0≤Ct≤max(Cti)

0≤Ess≤max(Essi)

式中,i是按模型隱含層數(shù)劃分的模型序號(i=1,…,5)。

Hornik, Cybenko等[11-13]表明，一個前饋神經(jīng)網(wǎng)絡(luò)如果具有線性輸出層和至少一層具有任何一種“擠壓”性質(zhì)的激活函數(shù)的隱藏層，只要給予網(wǎng)絡(luò)足夠數(shù)量的隱藏單元，它可以以任意精度來近似任何一個有限維空間到另一個有限維空間的Borel函數(shù)。

在網(wǎng)絡(luò)結(jié)構(gòu)和閾值相同的情況下，BP神經(jīng)網(wǎng)絡(luò)預(yù)測誤差和均方誤差、輸出單元激活函數(shù)的關(guān)系如表1[14]所示。隱含層和輸出層激活函數(shù)的選擇對BP神經(jīng)網(wǎng)絡(luò)預(yù)測精度有較大的影響。

在權(quán)衡收斂速度和預(yù)測誤差后，用tan sig函數(shù)為隱藏層激活函數(shù)，purelin函數(shù)為輸出層激活函數(shù)，它們的表達(dá)式為：

(7)

purelin(x)=x

(8)

tan sig和purelin函數(shù)圖形如圖1。tansig函數(shù)具有“擠壓性質(zhì)”。

圖1 激活函數(shù)圖形

tansig函數(shù)導(dǎo)數(shù)為：

(9)

式中,a為常數(shù)，tansig函數(shù)導(dǎo)數(shù)的這個性質(zhì)將導(dǎo)數(shù)運算轉(zhuǎn)換為乘法運算可以節(jié)省大量的計算時間，同時也提高了運算精度。

2 模型優(yōu)化算法

2.1 模型訓(xùn)練算法

雖然隨機梯度下降(SGD)在一般的機器學(xué)習(xí)中是應(yīng)用最多的優(yōu)化算法，特別是在深度學(xué)習(xí)中，但其學(xué)習(xí)過程有時會很慢。動量方法可以加速學(xué)習(xí)，特別是處理高曲率、小但一致的梯度，或者是帶有噪聲的梯度。隨機梯度下降和動量方法的結(jié)合，有利于神經(jīng)網(wǎng)絡(luò)性能的提升。Nesterov動量算法[15]，是帶動量的隨機梯度下降算法，在凸批量梯度的情況下，Nesterov動量將額外誤差收斂率從O(1/k)(k步后)改進(jìn)到O(1/k2)，有效減少了神經(jīng)網(wǎng)絡(luò)陷入局部最小值的風(fēng)險。使用粒子群算法對權(quán)值和閾值優(yōu)化，有效的提高了模型的泛化性能。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率的取值在[0,1]之間，學(xué)習(xí)率越大，對閾值的修改就越大，網(wǎng)絡(luò)學(xué)習(xí)速度越快。但是過大的學(xué)習(xí)率將使閾值學(xué)習(xí)過程產(chǎn)生震蕩，過小的學(xué)習(xí)率使網(wǎng)絡(luò)收斂慢，閾值難以穩(wěn)定。變學(xué)習(xí)率在BP神經(jīng)網(wǎng)絡(luò)進(jìn)化初期較大，網(wǎng)絡(luò)收斂迅速，隨著學(xué)習(xí)過程的進(jìn)行，學(xué)習(xí)率不斷減小，網(wǎng)絡(luò)趨于穩(wěn)定。變學(xué)習(xí)率計算公式為：

(10)

基于上述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)優(yōu)化算法Nesterov動量算法和參數(shù)初始化算法RMSProp算法[16]，兩者相結(jié)合，在此基礎(chǔ)增加了變學(xué)習(xí)率算法得到模型訓(xùn)練算法如下所示，式中用符號?表示Hadamard乘積。

基于Nesterov動量的RMSProp變學(xué)習(xí)率算法：

Resquire：全局衰減率ρ，動量參數(shù)α

Resquire：初始參數(shù)θ、學(xué)習(xí)率、速度v，初始累計變量γ=0

while 沒有到達(dá)停止準(zhǔn)則 do

從訓(xùn)練集中采含m個樣本{x1,x2,…,xm}的小批量，對應(yīng)目標(biāo)為yi。

累計平方梯度：γ←ργ+(1-ρ)g?g

權(quán)值/閾值更新：θ←θ+v

end

2.2 模型參數(shù)優(yōu)化算法

粒子群優(yōu)化[17](Particle Swarm Optimization，PSO)算法是由Kennedy 和 Eberhart在1995年在受到鳥類覓食現(xiàn)象啟發(fā)，提出的一種全局智能隨機優(yōu)化算法。PSO算法，每只鳥”被看作一個“粒子”。在R維解空間中第i個粒子的位置可表示為pi=(pi1，pi2,…,piR);第i個粒子的速度表示為vi=(vi1,vi2, …,viR)。第i個粒子在空間飛行路線中的最好點表示為ti= (ti1，ti2，…，tiR)；粒子群內(nèi)部所有粒子飛行過的最好的點表示為tg=(tb1，tb2，…，tbF)，粒子群的每個粒子的速度和位置更新迭代公式為：

(11)

(12)

式中,wi為慣性權(quán)重，r1和r2為0到1的隨機數(shù)，c1為局部學(xué)習(xí)因子、c2為全局學(xué)習(xí)因子。

對模型參數(shù)使用粒子群算法優(yōu)化，避免了目標(biāo)函數(shù)陷入局部最小值的風(fēng)險，同時也提高了模型的訓(xùn)練速度和泛化性能。

2.3 過擬合優(yōu)化措施

過擬合(overfitting)是神經(jīng)網(wǎng)絡(luò)模型不可避免的，目前有兩種常用于緩解神經(jīng)網(wǎng)絡(luò)過擬合的方法，第一種策略是“早?！?early stopping):將數(shù)據(jù)分成訓(xùn)練集和測試集，訓(xùn)練集用來計算梯度、更新權(quán)值和閾值，驗證集用來估計誤差，若訓(xùn)練集誤差低但測試集誤差升高，則停止訓(xùn)練，同時返回具有最小驗證集誤差權(quán)值和閾值。第二種策略是”正則化”(regularization)[10],其基本思想是在誤差目標(biāo)函數(shù)中增加一個用于描述網(wǎng)絡(luò)復(fù)雜度的部分。

3 模型優(yōu)化算法數(shù)學(xué)證明

總優(yōu)化算法流程如圖2所示。

圖2 模型算法流程

給定訓(xùn)練集D={(x1,y1),(x2,y2),…,(xm,ym)}xi∈Rs×m,yi∈Rn×m,即輸入示例有s個特征屬性描述，輸出n×m實值矩陣?；贜esterov動量的RMSProp變學(xué)習(xí)率算法參數(shù)迭代更新公式推導(dǎo)如下，符號說明如表2。

表2 符號說明

對訓(xùn)練集(xk,yk)假定網(wǎng)絡(luò)輸出為:

(11)

網(wǎng)絡(luò)在訓(xùn)練集(xk,yk)的均方誤差為：

(12)

參數(shù)更新估計式為：

Δθ=θ+v

(13)

以隱藏層到輸出層的連接權(quán)值whj例來推導(dǎo)。給初始學(xué)習(xí)率，有：

Δwhj=-

(14)

臨時更新：

(15)

(16)

根據(jù)uj的定義，顯然有：

(17)

輸出層使用purelin函數(shù)，由式(11)和(12)有：

(13)

累計梯度：

rhj=ρrhj+(1-ρ)gj·gj

(14)

速度更新：

(15)

得連接權(quán)值whj更新公式：

(16)

類似可以得到其閾值的更新公式：

(17)

4 前饋神經(jīng)網(wǎng)絡(luò)SOC估計結(jié)果與分析

模型的輸入為負(fù)載功率P、電流I、溫度T及隨機干擾信號D，輸出為SOC預(yù)測值。訓(xùn)練數(shù)據(jù)采用溫度為20℃下，純電動車整車在CYC_NEDC(新歐洲行駛循環(huán))工況下的8次循環(huán)中電池包的電流、負(fù)載功率、溫度的0.1 s采樣值，使用經(jīng)預(yù)處理的15 381個高質(zhì)量數(shù)據(jù)樣本對模型進(jìn)行訓(xùn)練和預(yù)測。整車參數(shù)如表3。8次新歐洲行駛工況曲線如圖3，其對應(yīng)的電池組參數(shù)變化曲線如圖4，可看出SOC變化是高度非線性，并且受到老化、溫度等多因素影響。使用如圖5所示的干擾信號模擬隨機因素對SOC估計的干擾。

表3 整車技術(shù)參數(shù)

運算時間在Intel(R)Core(TM)i7-4510U CUP@2GHz處理器，Matlab平臺上對對電池包實驗數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測所計算得到，因為不同的芯片運算性能不同，SOC預(yù)測時間也不同，但是模型的優(yōu)化效果具有相同的趨勢，這里對模型運算時間進(jìn)行定性分析。

圖3 8次CYC_NEDC循環(huán)工況曲線圖

圖4 電池組參數(shù)變化曲線

圖5 隨機干擾信號

參考神經(jīng)網(wǎng)絡(luò)模型設(shè)計經(jīng)驗并根據(jù)實驗數(shù)據(jù)，利用多目標(biāo)數(shù)學(xué)規(guī)劃選擇出不同深度的神經(jīng)網(wǎng)絡(luò)最優(yōu)構(gòu)架。由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測存在不穩(wěn)定性，即每次訓(xùn)練和預(yù)測的結(jié)果存在細(xì)微差別，故每個構(gòu)架進(jìn)行多次訓(xùn)練和預(yù)測，對運算時間和平均絕對誤差取平均值。采用傳統(tǒng)Levenberg_Marquardt的BP訓(xùn)練算法作對比，其優(yōu)化效果如表4所示，經(jīng)過粒子群算法和基于Nesterov動量的RMSProp變學(xué)習(xí)率訓(xùn)練算法優(yōu)化后，在保證SOC平均絕對誤差滿足工程要求的前提下，有效減少了運算時間，特別是單元數(shù)多的構(gòu)架，這證明這套模型優(yōu)化方法能快速找到最優(yōu)的模型參數(shù)，減少迭代次數(shù)，從而減少運算時間，并且設(shè)計出的最優(yōu)構(gòu)架結(jié)構(gòu)簡單、SOC預(yù)測精度高，具有一定的參考價值。

表4 不同模型架構(gòu)的優(yōu)化效果

由不同構(gòu)架的神經(jīng)網(wǎng)絡(luò)對電池SOC估計的結(jié)果分析，同一深度前饋神經(jīng)網(wǎng)絡(luò)SOC預(yù)測精度隨著單元數(shù)的增多而減少，但是運算時間也增加。預(yù)測精度隨著網(wǎng)絡(luò)深度的增加而減少，運算時間增加。因此，在相同輸入輸出數(shù)據(jù)集條件下，神經(jīng)網(wǎng)絡(luò)運算時間與模型訓(xùn)練算法、模型構(gòu)架和芯片性能有關(guān)。

根據(jù)行業(yè)標(biāo)準(zhǔn)，考慮到SOC估算時間及其平均絕對誤差，還有模型結(jié)構(gòu)復(fù)雜度和可靠性。選擇優(yōu)化后的雙隱層，構(gòu)架為[4 2 3 1]的神經(jīng)網(wǎng)絡(luò)模型作為鋰電池SOC的估算模型，運算時間為0.460 7秒，SOC預(yù)測平均絕對誤差為0.129 0，擬合曲線如圖6所示,R值在每次運算時都能達(dá)到0.9，接近1，可見該模型穩(wěn)定性高，預(yù)測精度可靠。并且期迭代77次左右時，殘差已經(jīng)收斂，達(dá)到期望誤差。如果搭載神經(jīng)網(wǎng)絡(luò)專用芯片或性能更高的芯片，運算時間會進(jìn)一步減少，實時預(yù)測成為可能。

圖6 雙隱層最優(yōu)構(gòu)架回歸曲線圖

分別使用同樣的數(shù)據(jù)集，對徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBF)、廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN)和Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測，結(jié)果如圖7所示。由圖可以看出由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，結(jié)合上述優(yōu)化算法，使其在動力電池狀態(tài)估計上比其他常見的神經(jīng)網(wǎng)絡(luò)模型具有更少的運算時間和較好的預(yù)測精度。證明經(jīng)過優(yōu)化后的雙隱層BP神經(jīng)網(wǎng)絡(luò)具有更好的工程實用性。

圖7 常見神經(jīng)網(wǎng)絡(luò)模型SOC估計對比圖

5 結(jié)論

由整車實驗數(shù)據(jù)，參考BP神經(jīng)網(wǎng)絡(luò)設(shè)計經(jīng)驗，研究更深的神經(jīng)網(wǎng)絡(luò)模型構(gòu)架設(shè)計，對不同構(gòu)架的神經(jīng)網(wǎng)絡(luò)進(jìn)行了性能分析。針對這類模型SOC估計運算時間長、構(gòu)架設(shè)計困難、對芯片性能要求高、無法實時預(yù)測等困難，使用能有效減少模型運算時間的粒子群優(yōu)化算法和基于Nesterov動量的RMSProp變學(xué)習(xí)率訓(xùn)練算法，對模型進(jìn)行了優(yōu)化。SOC估計誤差范圍的條件下，運用數(shù)學(xué)規(guī)劃方法選擇一個平均絕對誤差小且訓(xùn)練時間短、穩(wěn)定性高并具有實用性的雙隱層神經(jīng)網(wǎng)絡(luò)模型用于SOC估計。由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本數(shù)沒有理論指導(dǎo)，套模型優(yōu)化方法與模型設(shè)計方法沒有在訓(xùn)練樣本數(shù)上進(jìn)行研究，但為神經(jīng)網(wǎng)絡(luò)模型在電池其他狀態(tài)估算上提供有價值的參考。隨著神經(jīng)網(wǎng)絡(luò)專用芯片不斷投入市場，神經(jīng)網(wǎng)絡(luò)模型電池狀態(tài)估計有較大的應(yīng)用前景。