基于CNN-BiLSTM的鋰電池剩余使用壽命概率密度預(yù)測(cè)

劉 澤，張 闖，齊 磊，金 亮，劉素貞

(1.河北工業(yè)大學(xué)電氣工程學(xué)院，天津 300130；2.華北電力大學(xué)電氣與電子工程學(xué)院，北京 102206)

鋰離子電池具有制造成本低、高效、環(huán)保等優(yōu)點(diǎn)，被廣泛應(yīng)用于電動(dòng)汽車、軍事裝備、航空航天等領(lǐng)域。隨著鋰離子電池循環(huán)充放電，其性能不斷退化，作為電氣裝備的重要組件，可能會(huì)導(dǎo)致設(shè)備故障，進(jìn)而引發(fā)嚴(yán)重的安全事故[1]。為確保鋰離子電池安全正常使用，開展鋰離子電池的剩余使用壽命(remaining useful life，RUL)預(yù)測(cè)具有重要意義。

多年來，國(guó)內(nèi)外學(xué)者通過數(shù)學(xué)或電化學(xué)模型對(duì)鋰離子電池的內(nèi)部動(dòng)態(tài)變化過程進(jìn)行分析，以實(shí)現(xiàn)電池的壽命預(yù)測(cè)。然而，鋰離子電池內(nèi)部狀態(tài)不可測(cè)，其電化學(xué)反應(yīng)過程受到實(shí)際工況以及外部溫度、濕度等環(huán)境的影響，使得其模型的建立較為復(fù)雜且泛化性較弱。隨著傳感技術(shù)的迅猛發(fā)展，多類型、海量的鋰離子電池性能退化數(shù)據(jù)被獲取，基于數(shù)據(jù)驅(qū)動(dòng)的壽命預(yù)測(cè)逐漸成為了研究熱點(diǎn)。文獻(xiàn)[2]考慮到極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)的缺點(diǎn)和電池?cái)?shù)據(jù)的增加，將寬度學(xué)習(xí)(broad learning，BL)與ELM 結(jié)合，提高了預(yù)測(cè)精度和效率。但由于模型的參數(shù)是隨機(jī)產(chǎn)生的，導(dǎo)致模型預(yù)測(cè)結(jié)果穩(wěn)定性較差。文獻(xiàn)[3]把灰色理論與BP 神經(jīng)網(wǎng)絡(luò)相融合，相比于單一的BP 神經(jīng)網(wǎng)絡(luò)，具有更高的估算精度；但該模型可能會(huì)陷入局部極值，導(dǎo)致訓(xùn)練失敗。雖然傳統(tǒng)的機(jī)器學(xué)習(xí)獲得了較好的預(yù)測(cè)準(zhǔn)確度，但其精度受限于復(fù)雜的特征提取，預(yù)測(cè)穩(wěn)定性難以保障。

隨著計(jì)算機(jī)運(yùn)算性能的提升和算法的不斷創(chuàng)新，深度學(xué)習(xí)網(wǎng)絡(luò)憑借著復(fù)雜的結(jié)構(gòu)，則可以避免特征工程提取，將數(shù)據(jù)輸入到網(wǎng)絡(luò)就可實(shí)現(xiàn)良好的預(yù)測(cè)。利用快速搜索聚類對(duì)電池的特征進(jìn)行過濾選擇，將選定的特征輸入到堆疊降噪自編碼器網(wǎng)絡(luò)進(jìn)行電池的RUL 預(yù)測(cè)，得到了較好的預(yù)測(cè)結(jié)果。以上鋰離子電池預(yù)測(cè)為點(diǎn)預(yù)測(cè)，而不同工況條件下預(yù)測(cè)的結(jié)果往往具有不確定性。相較于確定的點(diǎn)預(yù)測(cè)，概率密度預(yù)測(cè)可以描述未來任意循環(huán)周期下的鋰離子電池容量概率密度分布信息，文獻(xiàn)[4]研究了非線性分位數(shù)回歸問題，提出了神經(jīng)網(wǎng)絡(luò)分位數(shù)回歸模型，進(jìn)而給出了概率密度預(yù)測(cè)方法；文獻(xiàn)[5]將其應(yīng)用于資產(chǎn)收益與風(fēng)險(xiǎn)的預(yù)測(cè)研究。

鋰離子電池容量衰減過程在時(shí)間上前后相互關(guān)聯(lián)，在考慮當(dāng)前信息的同時(shí)也有必要考慮到將來的狀態(tài)。雙向長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(bidirectional long short-term memory,BiLSTM)可以整合向前和向后兩個(gè)方向的結(jié)果作為最終結(jié)果的輸出，適用于具有時(shí)間序列的預(yù)測(cè)。文獻(xiàn)[6]利用BiLSTM神經(jīng)網(wǎng)絡(luò)自動(dòng)提取了深層的軸承振動(dòng)信息，實(shí)驗(yàn)證實(shí)了故障預(yù)測(cè)較高的準(zhǔn)確度。盡管BiLSTM 在處理時(shí)間序列上有強(qiáng)大的能力，但在輸入多維數(shù)據(jù)時(shí)其非線性擬合不足。文獻(xiàn)[7]利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)將充電循環(huán)期間測(cè)得的電壓、電流和電荷容量的等時(shí)間間隔離散值作為輸入，在線估算鋰離子電池容量。由于CNN 可以捕獲相鄰數(shù)據(jù)序列之間的局部特征，而無(wú)法對(duì)時(shí)間序列進(jìn)行有效的表達(dá)，因此，可以考慮與循環(huán)神經(jīng)網(wǎng)絡(luò)模型結(jié)合，提升預(yù)測(cè)精度。

本文提出了一種CNN-BiLSTM 模型與分位數(shù)回歸相結(jié)合的方法，對(duì)電池的RUL 進(jìn)行概率密度預(yù)測(cè)。將CNNBiLSTM 相融合來預(yù)測(cè)不同分位數(shù)下的鋰離子容量，進(jìn)而得到容量概率密度分布和鋰離子電池的RUL 概率密度分布。

1 深度學(xué)習(xí)模型原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 是包含卷積運(yùn)算和深層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，卷積層使用卷積核對(duì)局部區(qū)域進(jìn)行卷積輸入數(shù)據(jù)以生成相應(yīng)的特征；池化層對(duì)其進(jìn)行下采樣，實(shí)現(xiàn)數(shù)據(jù)的降維；而全連接層將提取到的局部特征變?yōu)樘卣飨蛄?，最后再傳入到BiLSTM 神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，結(jié)構(gòu)如圖1所示。卷積層采用式(1)計(jì)算：

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

式中：ω為卷積核；g為卷積核的大??；xi:i+g-1為i到i+g-1 的特征向量；b為偏置項(xiàng)。得到特征矩陣G，即G=[c1,c2,……c6]，然后經(jīng)過池化層，對(duì)卷積層進(jìn)行下采樣得到維度較小的特征，這里采用其最大值，如式(2)，最終將池化層提取到的特征輸入到全連接層。

1.2 雙向長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)

圖2 為L(zhǎng)STM 神經(jīng)元細(xì)胞的內(nèi)部工作圖，主要通過遺忘門、輸入門和輸出門三個(gè)基本機(jī)構(gòu)實(shí)現(xiàn)控制。

圖2 長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM 最核心的部分是遺忘門和輸入門，其可以實(shí)現(xiàn)有效的長(zhǎng)期記憶。遺忘門可以忽略以前的無(wú)用信息，Sigmoid為遺忘門的控制層，決定當(dāng)前時(shí)刻輸入的xt和上一時(shí)刻輸出的ht-1通過或者部分通過，如式(3)所示：

輸入門可以控制當(dāng)前時(shí)刻數(shù)據(jù)流入細(xì)胞，輸入門的Sigmoid 層決定哪些值可以更新，tanh 層用來生成新的候選值向量，如式(4)、式(5)：

神經(jīng)元細(xì)胞的舊狀態(tài)Ct-1更新為Ct，如式(6)：

輸出門的輸出值ht是通過上一時(shí)刻ht-1和當(dāng)前時(shí)刻輸入xt經(jīng)過sigmoid 層，與一個(gè)經(jīng)過tanh 層的最近時(shí)刻Ct的狀態(tài)相乘計(jì)算而得到的。該過程的計(jì)算公式為：

式中：W和b為對(duì)應(yīng)公式的權(quán)重和偏置項(xiàng)；σ為sigmoid 激活函數(shù)；tanh 為雙曲正切函數(shù)。

BiLSTM 是LSTM 的變體結(jié)構(gòu)，由前向LSTM 與后向LSTM 層構(gòu)成，從兩個(gè)相反的方向獲取信息，可以同時(shí)考慮數(shù)據(jù)的歷史和將來信息，能夠挖掘數(shù)據(jù)更加深層次的時(shí)間序列規(guī)律，提高預(yù)測(cè)精度，BiLSTM 的結(jié)構(gòu)如圖3 所示。在每個(gè)時(shí)間t，輸入同時(shí)提供向前與向后的LSTM 的神經(jīng)網(wǎng)絡(luò)，其輸出最終結(jié)果可以表示為：

圖3 雙向長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)結(jié)構(gòu)

1.3 分位數(shù)回歸

分位數(shù)回歸是響應(yīng)變量S與解釋變量X的條件分位數(shù)之間一種線性關(guān)系的模型[8]。即：

式中：QS(τ|X)為分位數(shù)τ取值在0 到1 的條件下，解釋變量X對(duì)應(yīng)的響應(yīng)變量S的估計(jì)值；回歸系數(shù)向量β(τ)=[β0(τ),β1(τ),β2(τ)X2,……,βk(τ)]’，隨分位數(shù)τ的變化而變化。

參數(shù)向量β的最優(yōu)估計(jì)值可以通過如下公式求解：

其中ρτ(·)為檢驗(yàn)函數(shù)，其具體求解過程為：

2 概率密度預(yù)測(cè)模型

2.1 基于CNN-BiLSTM 的預(yù)測(cè)模型

本文提出基于CNN-BiLSTM 的模型，如圖4 所示。

圖4 CNN-BiLSTM 結(jié)構(gòu)

在鋰離子電池RUL 的預(yù)測(cè)過程中，每次恒流-恒壓充電，循環(huán)次數(shù)、電壓、內(nèi)阻抗均對(duì)應(yīng)一個(gè)共同的電池容量。而卷積神經(jīng)網(wǎng)絡(luò)中的卷積核可以捕獲測(cè)得數(shù)據(jù)間的相關(guān)性，通過實(shí)現(xiàn)局部權(quán)值共享，從而可以挖掘老化數(shù)據(jù)相鄰局部范圍內(nèi)的共同特性。在卷積層中，輸入循環(huán)次數(shù)、電壓、內(nèi)阻抗特征由卷積核提取。然后，通過全連接層將其轉(zhuǎn)化為特征向量輸出到BiLSTM 神經(jīng)網(wǎng)絡(luò)。BiLSTM 層利用滑動(dòng)時(shí)間窗口對(duì)CNN 提取到的特征進(jìn)行時(shí)間序列學(xué)習(xí)，獲得內(nèi)部時(shí)間特征和退化趨勢(shì)的變化規(guī)律。在BiLSTM 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，將輸出的結(jié)果與樣本標(biāo)簽值對(duì)比，把誤差進(jìn)行反向傳播更新BiLSTM 的節(jié)點(diǎn)權(quán)重，最后通過全連接層將其結(jié)果輸出。

2.2 CNN-BiLSTM 神經(jīng)網(wǎng)絡(luò)分位數(shù)回歸

本文將CNN-BiLSTM 神經(jīng)網(wǎng)絡(luò)與分位數(shù)回歸結(jié)合，提出了一種CNN-BiLSTM 神經(jīng)網(wǎng)絡(luò)分位數(shù)回歸模型，構(gòu)造如下的分位數(shù)回歸損失函數(shù)。

當(dāng)τ在0 到1 之間不斷取值時(shí)，通過優(yōu)化器不斷優(yōu)化權(quán)重w偏置b，使Loss 函數(shù)達(dá)到最小。最終可以得到不同分位數(shù)下輸入數(shù)據(jù)x對(duì)應(yīng)預(yù)測(cè)值，即：。

2.3 核密度估計(jì)

核密度估計(jì)是一種不依賴任何分布，從數(shù)據(jù)樣本自身去得到估計(jì)值的概率密度分布[9]。對(duì)于一個(gè)預(yù)測(cè)點(diǎn)，不同分位數(shù)下得到一組{x1,x2,……xi,xj,xn}數(shù)據(jù)，可以通過如下公式得到核密度估計(jì)。

式中：為估計(jì)數(shù)據(jù)的標(biāo)準(zhǔn)差，在本文中采用高斯核函數(shù)(Gaussian kernel function，GKF)。

式中：λ 為帶寬的平滑參數(shù)，影響分布的形狀。

2.4 評(píng)價(jià)指標(biāo)

為了衡量鋰離子電池RUL 的預(yù)測(cè)精度，采用多個(gè)評(píng)價(jià)指標(biāo)來評(píng)估本文模型的效果，包括預(yù)測(cè)剩余壽命的絕對(duì)誤差、相對(duì)精度、預(yù)測(cè)容量的平均絕對(duì)誤差、均方根誤差以及預(yù)測(cè)容量區(qū)間覆蓋率和平均寬度[10]。

(1)剩余壽命的絕對(duì)誤差(absolute error，AE)、剩余壽命的相對(duì)精度(relative accuracy，RA)、容量的平均絕對(duì)誤差(mean absolute error，MAE)和容量的均方根誤差(root-meansquare error，RMSE)是評(píng)價(jià)實(shí)際真實(shí)值與預(yù)測(cè)值(概率密度預(yù)測(cè)模型的眾數(shù)或中位數(shù))的偏差，其數(shù)學(xué)公式如下：

式中：RP為預(yù)測(cè)剩余壽命循環(huán)次數(shù)；RT為真實(shí)剩余壽命循環(huán)次數(shù)；n為預(yù)測(cè)電池容量的循環(huán)周期數(shù)；x(i)為第i個(gè)周期電池容量的真實(shí)值，xˉ(i)為電池容量預(yù)測(cè)值。

(2)區(qū)間覆蓋率表示實(shí)際值落在預(yù)測(cè)區(qū)間的比例，是評(píng)估預(yù)測(cè)區(qū)間準(zhǔn)確度和可靠性的重要指標(biāo)，采用式(21)計(jì)算。

式中：N為測(cè)試集的總個(gè)數(shù)；CP為區(qū)間覆蓋率。

式中：pi為第i個(gè)循環(huán)周期的容量；Ii為第i個(gè)循環(huán)周期的預(yù)測(cè)區(qū)間。

區(qū)間覆蓋率盡管越高越好，但是當(dāng)區(qū)間足夠大時(shí)，覆蓋率成為1，失去了意義，因此需要與預(yù)測(cè)區(qū)間平均寬度共同去衡量。

(3)預(yù)測(cè)區(qū)間平均寬度(mean width percentage，MWP)表示在置信度下電池容量預(yù)測(cè)區(qū)間上界與下界的差值，本文選取90%置信區(qū)間，預(yù)測(cè)區(qū)間平均寬度越小，表示其銳度越高。

3 算例分析

3.1 數(shù)據(jù)集構(gòu)建

本文采用馬里蘭大學(xué)CALCE 的CX2 電池?cái)?shù)據(jù)集，該電池的額定容量為1.35 Ah。所有CX2電池都經(jīng)歷相同的循環(huán)充放電過程：以恒定電流0.5C充電，直到電壓達(dá)到4.2 V，然后維持4.2 V 直到電流降至0.05 A；以恒定電流0.5C放電，直到電壓降至3 V。電池容量一般降至額定容量的70%認(rèn)為電池失效，達(dá)到了壽命終點(diǎn)(end of life，EOL)，本文選用的數(shù)據(jù)集的電池EOL 為0.945 Ah，共進(jìn)行了1 262 次循環(huán)。電池容量的退化趨勢(shì)是一個(gè)非線性波動(dòng)較大的過程，如果選用數(shù)據(jù)早期退化的過程進(jìn)行預(yù)測(cè)，會(huì)使預(yù)測(cè)結(jié)果產(chǎn)生較大的誤差，所以選用訓(xùn)練集為原始數(shù)據(jù)集的80%，測(cè)試集為原始數(shù)據(jù)集的20%。

3.2 模型參數(shù)設(shè)置

本文分位數(shù)τ的取值范圍為[0.01，0.99]，其間隔為0.01，共計(jì)99 個(gè)數(shù)據(jù)，經(jīng)過多次手動(dòng)調(diào)參實(shí)驗(yàn)，最終得到CNNBiLSTM 分位數(shù)回歸模型的主要超參數(shù)，如表1 所示。

表1 超參數(shù)設(shè)置

本文的模型是用python 軟件編寫，軟件框架是基于keras神經(jīng)網(wǎng)絡(luò)庫(kù)的Tensorflow 框架。

3.3 預(yù)測(cè)結(jié)果分析對(duì)比

圖5 展示了在低置信區(qū)間(40%)和高置信區(qū)間(90%)條件下的預(yù)測(cè)區(qū)間。從圖5 中可以看到，本文所提方法的預(yù)測(cè)區(qū)間與實(shí)際值波動(dòng)大致相同，40%置信區(qū)間比90%置信區(qū)間的寬度要窄，且預(yù)測(cè)結(jié)果的90%置信區(qū)間可以基本包含真實(shí)值，但后期預(yù)測(cè)區(qū)間明顯變寬，這是由于后期電池的容量退化趨勢(shì)加速，容量再生也變得浮動(dòng)較大，而模型是利用前期數(shù)據(jù)訓(xùn)練得到的，對(duì)后期容量的預(yù)測(cè)結(jié)果不確定性增大，因此會(huì)導(dǎo)致后期的預(yù)測(cè)區(qū)間變寬。

圖5 不同置信區(qū)間的預(yù)測(cè)結(jié)果對(duì)比

基于已訓(xùn)練的模型可以預(yù)測(cè)每個(gè)循環(huán)周期下的容量和剩余使用壽命的概率密度分布。以其中一個(gè)循環(huán)周期為例，圖6 為真實(shí)容量達(dá)到失效閾值0.945 Ah 時(shí)，第1 262 次循環(huán)周期的預(yù)測(cè)容量概率密度曲線。圖7 為達(dá)到閾值條件時(shí)預(yù)測(cè)循環(huán)次數(shù)概率密度曲線。從兩張圖可以看出，真實(shí)值在概率密度曲線峰值附近，且更靠近預(yù)測(cè)的中位數(shù)。通過本文方法描述電池剩余使用壽命的不確定性，能夠?yàn)槭褂谜咛峁┹^為豐富的電池容量信息。

圖6 第1 262次循環(huán)周期的容量概率密度

圖7 達(dá)到閾值條件下的預(yù)測(cè)循環(huán)次數(shù)概率密度

為了證明使用本文方法預(yù)測(cè)的有效性，將使用統(tǒng)計(jì)學(xué)中代表性的中位數(shù)與眾數(shù)作為點(diǎn)預(yù)測(cè)結(jié)果，圖8 為實(shí)際值與預(yù)測(cè)結(jié)果的對(duì)比圖，可以看出中位數(shù)預(yù)測(cè)結(jié)果相對(duì)于眾數(shù)可以更好地吻合容量的實(shí)際值，但是在估計(jì)電池剩余容量時(shí)，眾數(shù)也有重要的參考價(jià)值。

圖8 眾數(shù)和中位數(shù)點(diǎn)預(yù)測(cè)與真實(shí)值對(duì)比

為了進(jìn)一步說明本文所提出電池RUL 概率密度預(yù)測(cè)模型的性能，選用同超參數(shù)下BiLSTM、LSTM 和CNN 模型的預(yù)測(cè)得到中位數(shù)與其對(duì)比進(jìn)行評(píng)估，如表2 所示。

表2 模型對(duì)比評(píng)估

表2 中CP 與MWP 值均為90%置信區(qū)間下預(yù)測(cè)得到的，通過表2 得出CNN、LSTM、BiLSTM、CNN+BiLSTM 中位數(shù)預(yù)測(cè)RMSE的指標(biāo)分別改進(jìn)了0.010 4、0.009 7、0.009 2、0.008 3。MAE 的指標(biāo)分別改進(jìn)了0.013 6、0.012 7、0.012 1、0.010 4。此外，AE 的指標(biāo)分別改進(jìn)了7、6、3、1。說明了CNN對(duì)于模型預(yù)測(cè)精度有提升作用。

4 結(jié)論

本文提出了一種CNN-BiLSTM 與分位數(shù)相結(jié)合的概率密度預(yù)測(cè)，并通過算例進(jìn)行驗(yàn)證，得出結(jié)論如下：

(1)采用雙向長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)分位數(shù)概率密度預(yù)測(cè)，相比點(diǎn)預(yù)測(cè)，本方法不僅可以使用中位數(shù)或者眾數(shù)實(shí)現(xiàn)點(diǎn)預(yù)測(cè)，而且可以獲得任意循環(huán)充放電周期下鋰離子電池容量和剩余使用壽命的完整概率分布。

(2)本文提出CNN+BiLSTM 模型的中位數(shù)的AE 值、RMSE 值和MAE 值均低于CNN、BiLSTM 和LSTM 模型。盡管CNN+BiLSTM 模型在90% 置信區(qū)間下MWP 的值比BiLSTM 的高，但其他評(píng)價(jià)指標(biāo)是最高。因此，本文模型的預(yù)測(cè)精度整體而言是最好的。由于本文模型采用多個(gè)模型的組合，結(jié)構(gòu)變得復(fù)雜，計(jì)算量增大，因此，優(yōu)化算法結(jié)構(gòu)、提升計(jì)算效率將在以后的工作中進(jìn)一步開展。