多狀態(tài)影響下基于Bi?LSTM網(wǎng)絡(luò)的鋰電池剩余壽命預(yù)測方法

張浩，胡昌華，杜黨波，裴洪，張建勛

1 引言

鋰電池以其充電速率快與使用壽命長等優(yōu)越性能被廣泛應(yīng)用于新能源汽車、通信設(shè)備與航空航天電子設(shè)備領(lǐng)域［1］. 然而，隨著鋰電池循環(huán)使用次數(shù)的累積，電池性能不可避免地發(fā)生衰退，最終導(dǎo)致系統(tǒng)無法正常工作甚至可能造成安全事故［2］. 因此，高效準(zhǔn)確的預(yù)測鋰電池的剩余壽命（Remaining Useful Life，RUL）具有重要的實際意義［3］.

通過預(yù)測鋰電池運行過程中容量、阻抗等狀態(tài)的動態(tài)變化可實現(xiàn)電池RUL 的預(yù)測［4］，現(xiàn)有鋰電池的RUL 預(yù)測方法主要包括基于模型的方法與數(shù)據(jù)驅(qū)動方法兩類［5］. 數(shù)據(jù)驅(qū)動方法無需根據(jù)系統(tǒng)內(nèi)部復(fù)雜的退化機(jī)理而建立特定的預(yù)測模型，直接利用鋰電池循環(huán)充放電過程中的監(jiān)測數(shù)據(jù)來擬合電池性能的退化規(guī)律，進(jìn)而實現(xiàn)鋰電池的RUL 預(yù)測［6，7］，相對基于模型的方法來說更具有普適性.

深度學(xué)習(xí)方法作為數(shù)據(jù)驅(qū)動方法的分支，以其強(qiáng)大的數(shù)據(jù)處理能力被廣泛應(yīng)用于鋰電池RUL 預(yù)測領(lǐng)域.Zhao 等［8］結(jié)合深度置信網(wǎng)絡(luò)與支持向量機(jī)（Support Vector Machine，SVM）實現(xiàn)了鋰電池容量退化的預(yù)測，并通過容量外推得到了電池RUL. 文獻(xiàn)［9］則進(jìn)一步考慮鋰電池循環(huán)使用過程中的放電電流與環(huán)境溫度對容量退化的影響，建立考慮外部狀態(tài)影響下的鋰電池容量與RUL 預(yù)測模型. Zhou 等［10］利用人工神經(jīng)網(wǎng)絡(luò)與SVM 實現(xiàn)了電池溫度至RUL 的預(yù)測. 文獻(xiàn)［11］同樣以電池溫度為基礎(chǔ)，但建立的模型為多通道神經(jīng)網(wǎng)絡(luò)容量預(yù)測模型，并綜合考慮充放電端電壓與電流在電池性能退化中的作用. 而Xu等［12］在文獻(xiàn)［10］的基礎(chǔ)上將電壓納入堆疊去噪自動編碼器直接預(yù)測鋰電池的RUL. 然而上述文獻(xiàn)僅以一種內(nèi)部狀態(tài)（即容量或電池溫度）搭建鋰電池的RUL 預(yù)測模型，忽略了電池運行過程中各內(nèi)部狀態(tài)的相互作用，因此難以充分利用各狀態(tài)所包含的壽命信息，一定程度上影響著預(yù)測結(jié)果的準(zhǔn)確性. 此外，在利用深度學(xué)習(xí)方法實現(xiàn)鋰電池的RUL預(yù)測時，多數(shù)文獻(xiàn)未對預(yù)測結(jié)果進(jìn)行不確定性量化或量化的計算過于復(fù)雜.

綜上，針對現(xiàn)有RUL 預(yù)測方法中的問題與不足，本文充分考慮鋰電池循環(huán)使用過程中的容量、阻抗與溫度信息，以三種狀態(tài)數(shù)據(jù)為Bi?LSTM 網(wǎng)絡(luò)的輸入，其循環(huán)壽命為網(wǎng)絡(luò)輸出搭建鋰電池的RUL 預(yù)測模型. 同時，借鑒文獻(xiàn)［13］中Bayesian 變分推斷技術(shù)與dropout技術(shù)間的等價性，實現(xiàn)RUL 預(yù)測結(jié)果的不確定性量化；最后，通過Severson教授課題組的鋰電池數(shù)據(jù)集對比驗證了該模型的有效性.

2 基于Bi?LSTM 的鋰電池RUL預(yù)測模型

2.1 Bi?LSTM 模型

LSTM 網(wǎng)絡(luò)主要包含遺忘門、輸入門與輸出門三部分，分別表示為ft、it、ot. 網(wǎng)絡(luò)傳遞的途徑如式（1）所示.

式中，xt表示t時刻神經(jīng)元的輸入，ht表示t時刻的輸出，ct表示當(dāng)前神經(jīng)元狀態(tài)，W，U為權(quán)重矩陣，b為偏置，σ為Sigmoid函數(shù)，⊙表示按元素乘積.

但LSTM 僅學(xué)習(xí)了過去狀態(tài)對當(dāng)前狀態(tài)的影響，忽略了未來狀態(tài)的作用，沒有充分利用時間序列的前后依賴性關(guān)系，對數(shù)據(jù)的學(xué)習(xí)能力有限. 而Bi?LSTM 網(wǎng)絡(luò)能同時學(xué)習(xí)過去與未來狀態(tài)對當(dāng)前狀態(tài)的作用，極大提高了模型對具有前后依賴關(guān)系的長序數(shù)據(jù)的學(xué)習(xí)能力.Bi?LSTM網(wǎng)絡(luò)通過前向?qū)优c后向?qū)涌瑟毩⒌貙r序數(shù)據(jù)進(jìn)行處理，并將兩層處理結(jié)果同時前饋到輸出層，能夠充分利用過去與未來時刻數(shù)據(jù)所蘊(yùn)含的壽命信息. 鑒于此，本文采用Bi?LSTM 網(wǎng)絡(luò)進(jìn)行建模，完整的Bi?LSTM 網(wǎng)絡(luò)前向與后向過程的輸出結(jié)果為式（2）所示.

Ht=h→t+h←t（2）

式中，h→t為最后一個前向?qū)拥妮敵觯琱←t為最后一個后向?qū)拥妮敵?，Ht為網(wǎng)絡(luò)最終輸出.

2.2 基于Bi?LSTM 網(wǎng)絡(luò)的鋰電池RUL預(yù)測

本文的預(yù)測結(jié)構(gòu)如圖1 所示，首先采用獨立的Bi?LSTM?1 網(wǎng)絡(luò)提取三個內(nèi)部狀態(tài)的時序特征信息，再利用特征融合技術(shù)將三部分特征信息進(jìn)行拼接，最后將拼接的特征輸入到Bi?LSTM?2 網(wǎng)絡(luò)以實現(xiàn)考慮特征相關(guān)性的同時提取具有時間關(guān)系的深度特征.

圖1 基于Bi?LSTM網(wǎng)絡(luò)的鋰電池RUL預(yù)測模型

所提模型通過堆疊多個Bi?LSTM 網(wǎng)絡(luò)實現(xiàn)模型對數(shù)據(jù)間的相關(guān)性與時序依賴關(guān)系的學(xué)習(xí)，并通過一個全連接層與回歸層得到電池的RUL. 此外，本文選用均方根誤差（Root Mean Square Error，RMSE）與平均絕對誤差（Mean Absolute Error，MAE）兩個指標(biāo)對模型的性能進(jìn)行評估，其公式如下.

其中，m為數(shù)據(jù)總數(shù)，yi表示鋰電池第i個時刻真實的RUL表示模型在第i個時刻的RUL預(yù)測值.

2.3 預(yù)測結(jié)果不確定性量化

盡管基于Bi?LSTM 網(wǎng)絡(luò)的RUL 預(yù)測模型對時序數(shù)據(jù)具有強(qiáng)大的學(xué)習(xí)能力，能取得更高的預(yù)測精度，但該模型的預(yù)測結(jié)果僅為點估計而非區(qū)間估計，無法反映預(yù)測結(jié)果的不確定性. 為描述預(yù)測結(jié)果的不確定性，在模型中引入Bayesian神經(jīng)網(wǎng)絡(luò)［14］，將Bi?LSTM 網(wǎng)絡(luò)的參數(shù)視為服從某種分布的隨機(jī)變量.X表示訓(xùn)練數(shù)據(jù)集，Y表示相應(yīng)的真實RUL標(biāo)簽.

令隨機(jī)變量θ={W，b}表示模型的參數(shù)，其中W與b分別表示網(wǎng)絡(luò)的權(quán)重與偏置向量.p(θ)表示參數(shù)θ的先驗分布，q(θ)表示p(θ)的近似變分分布，通過最小化兩個分布間的Kullback?Leibler（KL）散度可得到最優(yōu)的近似分布. 考慮到神經(jīng)元數(shù)目較多時，求KL 散度較為復(fù)雜，利用dropout 技術(shù)與Bayesian 變分推斷間的等價性，在L2正則化條件下，將目標(biāo)函數(shù)優(yōu)化為：

式（4）中，S為訓(xùn)練樣本的子集，p為子集的數(shù)目，H表示模型參數(shù)的總數(shù)，Y︵表示利用dropout 技術(shù)所獲得的模型輸出，λ表示正則化技術(shù)的衰減系數(shù).

通常采用Adam 優(yōu)化方法對目標(biāo)函數(shù)式（4）進(jìn)行優(yōu)化，當(dāng)獲得模型參數(shù)后驗分布的最優(yōu)近似分布后，對新獲得的輸入樣本X*，模型RUL預(yù)測結(jié)果的分布為：

3 實例驗證與結(jié)果分析

本文采用美國Severson 教授課題組的商用磷酸鐵鋰電池“2017?05?12”批次數(shù)據(jù)集［15］對模型的性能進(jìn)行驗證. 數(shù)據(jù)集中部分電池由于儀器測量誤差等原因?qū)е滤@取的狀態(tài)數(shù)據(jù)存在較大波動. 為建立預(yù)測性能更好的RUL 預(yù)測模型，本文在實驗中剔除狀態(tài)異常的電池數(shù)據(jù)，保留變化趨勢符合實際的電池，以此數(shù)據(jù)搭建鋰電池的RUL 預(yù)測模型. 以剩余10 個電池中前9 個鋰電池的容量、阻抗與溫度為模型輸入，鋰電池的剩余使用周期數(shù)為輸出對模型進(jìn)行訓(xùn)練. 首先利用Min?Max 方法對電池容量、阻抗與溫度數(shù)據(jù)進(jìn)行歸一化處理后，采用滑動時間窗技術(shù)生成固定長度的訓(xùn)練樣本，其中滑動時間窗長度設(shè)為10，步長設(shè)為1，將經(jīng)過上述預(yù)處理操作后的電池數(shù)據(jù)輸入至模型中進(jìn)行訓(xùn)練.

設(shè)置不同網(wǎng)絡(luò)結(jié)構(gòu)時預(yù)測效果存在差異，為選擇合適模型進(jìn)行預(yù)測，需對不同超參數(shù)下的模型性能進(jìn)行對比. 利用滑動時間窗技術(shù)處理原始數(shù)據(jù)后得到9216 個數(shù)據(jù)段，每個數(shù)據(jù)段具有10個充放電循環(huán)的數(shù)據(jù). 通過對比發(fā)現(xiàn)將模型的學(xué)習(xí)率設(shè)為0.01，Bi?LSTM?1 設(shè)為每層具有64個神經(jīng)元的雙隱藏層，Bi?LSTM?2則為具有64個神經(jīng)元的單隱藏層，最后的全連接層包含100個神經(jīng)元，訓(xùn)練epoch 為10000，每個epoch 包含90 個隨機(jī)的數(shù)據(jù)段，此時模型的RMSE最低，RUL預(yù)測精度最高.

圖2 固定參數(shù)與隨機(jī)參數(shù)模型的RUL預(yù)測結(jié)果及誤差

為了驗證本文基于等價Bayesian 深度學(xué)習(xí)算法與Bi?LSTM網(wǎng)絡(luò)的鋰電池RUL預(yù)測方法的有效性，我們將固定Bi?LSTM 網(wǎng)絡(luò)參數(shù)模型在第10 號電池的預(yù)測效果同本文方法進(jìn)行對比，其中開始預(yù)測時的真實RUL 為802 個循環(huán)周期. 當(dāng)鋰電池已運行某個周期后，分別采用固定模型參數(shù)法與隨機(jī)參數(shù)法預(yù)測該電池還能有效工作的循環(huán)周期. 由于本文模型參數(shù)的隨機(jī)性與預(yù)測結(jié)果的唯一性，通過1000 次循環(huán)預(yù)測可得到1000 組鋰電池的RUL 預(yù)測值，每組包含802個預(yù)測循環(huán). 將模型權(quán)重與偏置分別視為服從高斯混合分布與高斯分布時，最終RUL 預(yù)測結(jié)果亦服從高斯分布［14］，根據(jù)802×1000 個RUL預(yù)測結(jié)果可得到802個點處的預(yù)測結(jié)果的均值μ與標(biāo)準(zhǔn)差σ，利用式（6）即可得到預(yù)測結(jié)果的95%置信區(qū)間，不同dropout 率下RUL 預(yù)測結(jié)果的95%置信區(qū)間如圖3所示.

圖3 不同dropout率下RUL預(yù)測結(jié)果的95%置信區(qū)間

式中，n為樣本數(shù)，M為樣本均值.

從圖2（a）中可以直觀看出，隨機(jī)參數(shù)模型的預(yù)測均值與真實RUL 值更接近，擬合效果更好；圖2（b）展示了dropout率為0.1時兩種模型的預(yù)測誤差對比情況.隨機(jī)參數(shù)模型與固定參數(shù)模型的RMSE 均值分別為10.497 與12.383，二者的MAE 分別為6.262 與11.022，因此具有參數(shù)隨機(jī)性的模型預(yù)測精度更高. 此外，利用dropout技術(shù)等價地實現(xiàn)RUL預(yù)測結(jié)果的不確定性量化時，不同dropout 率對RUL 預(yù)測結(jié)果的不確定性影響不同. 為探究不同dropout 率下RUL 預(yù)測的差異性表現(xiàn)，此處 以dropout 率分 別等 于0.1、0.2、0.3 時為 例進(jìn) 行展示.

從圖3 可以直觀發(fā)現(xiàn)，隨著dropout 率的增大，RUL預(yù)測結(jié)果95%置信區(qū)間的寬度逐漸增大，與預(yù)測結(jié)果的不確定性呈正相關(guān)，即dropout 率的增大將提高模型訓(xùn)練過程中隨機(jī)丟失信息的比例，因而增加了預(yù)測結(jié)果的不確定性. 此外，不確定性的增加將使初始階段的置信區(qū)間寬度增加，從而使預(yù)測區(qū)間更容易包含真實的RUL，即一定程度上提高了預(yù)測初始時刻RUL 的準(zhǔn)確性. 表1為第10個電池運行了600個、700個與800個循環(huán)后RUL 預(yù)測結(jié)果95%置信區(qū)間的寬度，可以明顯發(fā)現(xiàn)，隨著dropout 率的增大，置信區(qū)間的寬度隨之增大，進(jìn)一步驗證了RUL 預(yù)測結(jié)果的不確定性與dropout率間的正相關(guān)關(guān)系.

表1 不同dropout率下置信區(qū)間寬度

基于1000 組RUL 預(yù)測值在MATLAB 中利用核密度估計函數(shù)可得到預(yù)測結(jié)果的概率密度分布（Probabil?ity Density Function，PDF），圖4 為不同dropout 率下第600個循環(huán)RUL預(yù)測結(jié)果的PDF.

圖4 不同dropout率下第600個循環(huán)RUL的PDF

如圖4 所示，當(dāng)dropout 率增大時，第600 個循環(huán)RUL 預(yù)測結(jié)果PDF 的高度隨之減小，寬度相反隨之增大，即隨著dropout率的增加，RUL預(yù)測結(jié)果的不確定性增加.RUL 預(yù)測結(jié)果的不確定性直接影響著設(shè)備健康管理活動的合理性與科學(xué)性，較小不確定性有助于精準(zhǔn)制定設(shè)備的維修策略. 但過度追求較小不確定性可能會造成預(yù)測結(jié)果無法較好反映實際工程中測量誤差與個體差異性等各類不確定因素的問題. 為保證RUL預(yù)測精度的同時考慮RUL 預(yù)測結(jié)果的不確定性，本文從集合{0，0.05，0.1，0.2，0.3}中選擇dropout 率進(jìn)行分析，不同dropout 率下RUL 預(yù)測結(jié)果的RMSE 如表2所示.

表2 不同dropout率下RUL預(yù)測結(jié)果的RMSE

從表2 中可以看出dropout 率設(shè)為0.1 時，RUL 預(yù)測結(jié)果的RMSE 最小. 此外，圖3 進(jìn)一步驗證了dropout 率為0.1 的合理性與優(yōu)越性，能夠充分反映實際中各類不確定因素的影響.

為驗證本文考慮電池阻抗與溫度后建立的Bi-LSTM 模型的優(yōu)越性，引入七種方法與本文方法進(jìn)行對比分析，其中主要包含GRU、Bi?GRU、LSTM、Bi?LSTM四種針對時序數(shù)據(jù)具有強(qiáng)大學(xué)習(xí)能力的網(wǎng)絡(luò)結(jié)構(gòu)，再分別考慮每種網(wǎng)絡(luò)是否融入電池阻抗、溫度實現(xiàn)鋰電池的RUL 預(yù)測，共八種RUL 預(yù)測方法分別記為方法1~8，方法1~4 為四種網(wǎng)絡(luò)僅根據(jù)電池退化容量對鋰電池RUL 進(jìn)行預(yù)測，方法5~8 為四種網(wǎng)絡(luò)考慮電池容量、阻抗與溫度后進(jìn)行RUL 預(yù)測，需要說明的是方法8 即為本文方法. 此外，方法1~7同樣采用dropout深度學(xué)習(xí)技術(shù)對RUL 預(yù)測結(jié)果的不確定性進(jìn)行量化，并選擇RMSE、MAE 與循環(huán)1000 次預(yù)測時間三種指標(biāo)對RUL預(yù)測結(jié)果進(jìn)行評估，對比結(jié)果如表3所示.

表3 八種方法的RUL預(yù)測結(jié)果性能指標(biāo)對比

從表3 的對比結(jié)果可以發(fā)現(xiàn)，在所有模型中，本文方法即考慮電池退化過程中的容量、阻抗與溫度三種狀態(tài)對電池RUL 的影響，并基于等價Bayesian 變分推斷技術(shù)與Bi?LSTM 網(wǎng)絡(luò)進(jìn)行建模時，RUL 預(yù)測的RMSE與MAE 均為最小. 但本文方法的預(yù)測時間并非最短，主要由網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度與輸入變量的個數(shù)兩方面因素造成，結(jié)構(gòu)越復(fù)雜且考慮內(nèi)部狀態(tài)的因素越多，模型預(yù)測時間越長. 此外，相對于方法1、3、5、7，方法2、4、6、8 在預(yù)測時對數(shù)據(jù)兩個方向上的時間相關(guān)性進(jìn)行了學(xué)習(xí)，因此其RMSE 與MAE 更小. 方法1~4 的RMSE 與MAE均大于對應(yīng)的方法5~8，進(jìn)一步論證在進(jìn)行鋰電池的RUL 預(yù)測時，融入電池阻抗、溫度等多種狀態(tài)后得到的RUL 預(yù)測結(jié)果精度更高. 綜上，本文方法預(yù)測性能更優(yōu)，且能考慮各種隨機(jī)因素的影響，對RUL 預(yù)測的不確定性進(jìn)行度量，并可提供RUL 預(yù)測結(jié)果的PDF，為設(shè)備開展維修活動提供理論支撐.

4 結(jié)論

高效準(zhǔn)確地預(yù)測鋰電池的RUL 在電池的健康管理系統(tǒng)中發(fā)揮著越來越重要的作用. 本文提出了一種融合多個內(nèi)部狀態(tài)的鋰電池RUL 預(yù)測方法，以電池容量、阻抗與溫度為核心，直接實現(xiàn)三種電池狀態(tài)至RUL 的預(yù)測，最后基于Bayesian 變分理論與dropout 技術(shù)間的等價性對RUL 預(yù)測結(jié)果的不確定性進(jìn)行量化. 并將本文的RUL 預(yù)測結(jié)果同四種引入深度學(xué)習(xí)模型的預(yù)測結(jié)果進(jìn)行對比，驗證了本文方法的有效性與優(yōu)越性.