基于流模型的缺失數(shù)據(jù)生成方法在剩余壽命預(yù)測(cè)中的應(yīng)用

張博瑋 鄭建飛 胡昌華 裴 洪 董 青

對(duì)于鋰電池、軸承、航空發(fā)動(dòng)機(jī)和陀螺儀等復(fù)雜關(guān)鍵設(shè)備,由于受到內(nèi)部應(yīng)力或外界環(huán)境的影響,其設(shè)備的健康狀態(tài)會(huì)不可避免的出現(xiàn)退化,最終引發(fā)設(shè)備及所在系統(tǒng)的失效,甚至導(dǎo)致人員和財(cái)產(chǎn)的損失[1-2].為切實(shí)掌握設(shè)備的健康性能,保障設(shè)備安全可靠運(yùn)行,預(yù)測(cè)與健康管理 (Prognostics and health management,PHM) 技術(shù)[3-4]近年來(lái)受到了廣泛關(guān)注.作為PHM 技術(shù)的關(guān)鍵環(huán)節(jié),剩余壽命(Remaining useful life,RUL) 預(yù)測(cè)旨在通過(guò)分析狀態(tài)監(jiān)測(cè)收集的退化數(shù)據(jù),來(lái)預(yù)測(cè)設(shè)備的剩余壽命.隨著先進(jìn)傳感、物聯(lián)網(wǎng)技術(shù)的進(jìn)步和監(jiān)測(cè)工藝的發(fā)展,當(dāng)代設(shè)備復(fù)雜化、自動(dòng)化以及智能化水平不斷提升,推動(dòng)數(shù)據(jù)驅(qū)動(dòng)的剩余壽命預(yù)測(cè)技術(shù)進(jìn)入了 “大數(shù)據(jù)”時(shí)代.

在工程實(shí)際中,由于機(jī)器故障 (如測(cè)量傳感器故障) 或人為因素 (如未記錄) 不可避免地導(dǎo)致部分?jǐn)?shù)據(jù)缺失[5-7].若利用這類不完整數(shù)據(jù)預(yù)測(cè)設(shè)備剩余壽命,將面臨難以準(zhǔn)確描述設(shè)備退化規(guī)律的現(xiàn)實(shí)問(wèn)題,進(jìn)而將影響設(shè)備的健康管理和維修決策.因此,針對(duì)缺失數(shù)據(jù)統(tǒng)計(jì)特性的多樣性隨機(jī)退化設(shè)備剩余壽命預(yù)測(cè)問(wèn)題得到了大量學(xué)者的關(guān)注.

隨著深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、密度估計(jì)、自然語(yǔ)言和語(yǔ)音識(shí)別等領(lǐng)域的興起[8],深度生成模型[9]開(kāi)始應(yīng)用于時(shí)間序列的生成,其基本思路是通過(guò)捕捉時(shí)間序列的分布特征,對(duì)時(shí)序數(shù)據(jù)進(jìn)行再生成,從而填補(bǔ)數(shù)據(jù).Yoon 等[10]首次提出了一種基于生成式對(duì)抗網(wǎng)絡(luò) (Generative adversarial network,GAN) 框架的缺失數(shù)據(jù)輸入方法獲得了較好的填充效果.張晟斐等[11]基于柯?tīng)柲陕宸颉姑茁宸驒z驗(yàn) (Kolmogorov-Smirnov test,K-S test) 檢驗(yàn)的思想,改進(jìn)卷積生成對(duì)抗網(wǎng)絡(luò) (Deep convolutional generative adversarial network,DCGAN),獲得了更高精度的生成結(jié)果,但是存在生成器和判別器模式崩潰、難以訓(xùn)練的風(fēng)險(xiǎn).Nazabal 等[12]融合基本的變分自編碼器 (Variational autoencoder,VAE)和高斯過(guò)程,利用變分推斷在多維時(shí)間序列填充問(wèn)題上得到了更理想效果.在基于深度學(xué)習(xí)的框架下,現(xiàn)有研究集中在GAN和VAE 的改進(jìn)和優(yōu)化方面.根據(jù)處理極大似然函數(shù)方法的不同,GAN 采用網(wǎng)絡(luò)對(duì)抗和訓(xùn)練交替的方式,避免優(yōu)化似然函數(shù),雖然生成精度高但是訓(xùn)練過(guò)程困難,VAE 采用似然函數(shù)的變分下界代替真實(shí)的數(shù)據(jù)分布,只能得到真實(shí)數(shù)據(jù)的近似分布.因此,亟需研究一種既能保證模型精度又容易訓(xùn)練的深度生成模型.

近年來(lái),為了克服模型精度和訓(xùn)練速度方面的局限性,可逆網(wǎng)絡(luò)構(gòu)造似然函數(shù)的流模型 (Flowbased model,Flow) 及改進(jìn)模型[13-16]被應(yīng)用于圖像、音頻生成領(lǐng)域效果顯著.其中,非線性獨(dú)立成分估計(jì)(Non-linear independent component estimation,NICE) 是首個(gè)基于Flow 模型的變體[13].針對(duì)完整的一維時(shí)序數(shù)據(jù)生成問(wèn)題,Ge 等[17]提出了一種基于NICE 框架的生成網(wǎng)絡(luò)來(lái)模擬配電網(wǎng)絡(luò)的一維日常負(fù)載曲線.相比于GAN 與VAE,NICE 的生成效果能夠更好地捕捉日常負(fù)載曲線的時(shí)空相關(guān)性.薛陽(yáng)等[18]提出了基于NICE 框架的生成網(wǎng)絡(luò)來(lái)增強(qiáng)分布式光伏竊電數(shù)據(jù)曲線,通過(guò)對(duì)比GAN 與VAE的生成效果,NICE 具有準(zhǔn)確的似然估計(jì),生成的樣本更接近真實(shí)數(shù)據(jù)曲線.盡管NICE 面向完整時(shí)序數(shù)據(jù)時(shí)表現(xiàn)出良好的生成效果,但應(yīng)用于缺失時(shí)序數(shù)據(jù)情形下的數(shù)據(jù)生成則鮮見(jiàn)報(bào)道.因此,如何利用NICE 挖掘出缺失數(shù)據(jù)的演變規(guī)律,以克服傳統(tǒng)GAN和VAE 所面臨的模型精度較低以及訓(xùn)練速度過(guò)慢的難題,是有待進(jìn)一步研究的重要問(wèn)題.同時(shí),訓(xùn)練過(guò)程中如何優(yōu)化NICE 模型參數(shù)是影響生成效果的關(guān)鍵因素,需予以重點(diǎn)考慮.

本文依靠NICE 網(wǎng)絡(luò)的生成優(yōu)勢(shì),提出了一種改進(jìn)NICE 網(wǎng)絡(luò)的缺失數(shù)據(jù)生成方法.該方法充分利用NICE 強(qiáng)大的分布學(xué)習(xí)能力,通過(guò)粒子群優(yōu)化(Particle swarm optimization,PSO) 算法,將生成序列與真實(shí)序列之間的分布偏差融入NICE 采樣生成樣本的退火參數(shù)中,在提升訓(xùn)練速度的同時(shí)保證生成序列與真實(shí)序列的一致性.在此基礎(chǔ)上,本文利用融合注意力機(jī)制的雙向長(zhǎng)短期記憶網(wǎng)絡(luò) (Bidirectional long short term memory with attention,Bi-LSTM-Att),建立了設(shè)備退化趨勢(shì)預(yù)測(cè)模型進(jìn)行剩余壽命預(yù)測(cè).最后,通過(guò)鋰電池的退化數(shù)據(jù),對(duì)所提方法生成數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)的可靠性進(jìn)行實(shí)例驗(yàn)證.

1 基于PSO-NICE 的數(shù)據(jù)生成

1.1 流模型

流模型的基本思路是:復(fù)雜數(shù)據(jù)分布一定可以由一系列的轉(zhuǎn)換函數(shù)映射為簡(jiǎn)單數(shù)據(jù)分布,如果這些轉(zhuǎn)換函數(shù)是可逆的并且容易求得,那么簡(jiǎn)單分布和可逆轉(zhuǎn)換函數(shù)的逆函數(shù)便構(gòu)成一個(gè)深度生成模型.

具體地,流模型假設(shè)原始數(shù)據(jù)分布為PX(x),先驗(yàn)隱變量分布為PZ(z) (一般為標(biāo)準(zhǔn)正態(tài)分布),可逆轉(zhuǎn)換函數(shù)為f(x) (z=f(x)),生成轉(zhuǎn)換函數(shù)為g(x)(g(x)=f-1(x)),基于概率分布密度函數(shù)的變量代換法可得:

其中,D是原始數(shù)據(jù)的維度,是可逆轉(zhuǎn)換函數(shù)f(x) 在x處的雅可比行列式 (Jacobian),而更高維度的監(jiān)測(cè)數(shù)據(jù)會(huì)增加Jacobian 的計(jì)算復(fù)雜度,導(dǎo)致模型擬合的負(fù)擔(dān)多于求解可逆函數(shù)的反函數(shù)的過(guò)程.因此,流模型除了轉(zhuǎn)換函數(shù)f(x) 可逆易求外,還需確保其Jacobian 易于計(jì)算.基于最大對(duì)數(shù)似然原理,流模型的訓(xùn)練優(yōu)化目標(biāo)為:

當(dāng)流模型訓(xùn)練過(guò)程結(jié)束時(shí),通過(guò)采樣概率分布Z～PZ(z)得到隨機(jī)數(shù),其中采樣分布一般為標(biāo)準(zhǔn)正態(tài)分布,然后通過(guò)可逆轉(zhuǎn)換函數(shù)的反函數(shù)g(z)=f-1(z)生成新的數(shù)據(jù)分布.從生成模型的出發(fā)點(diǎn)來(lái)看,流模型可以提供精確的估計(jì),能夠生成高質(zhì)量的樣本.

NICE 是首個(gè)基于流模型的無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)生成模型[13].其優(yōu)勢(shì)在于能夠得到精確的對(duì)數(shù)似然估計(jì),易于訓(xùn)練,且基于可逆操作無(wú)需單獨(dú)構(gòu)建生成網(wǎng)絡(luò),它與訓(xùn)練網(wǎng)絡(luò)共享同一套參數(shù),最后從標(biāo)準(zhǔn)正態(tài)分布中采樣隨機(jī)數(shù)來(lái)生成樣本.然而,實(shí)際上對(duì)于訓(xùn)練好的NICE 模型,采樣標(biāo)準(zhǔn)差并不一定是1,因?yàn)楦〉姆讲羁梢酝ㄟ^(guò)犧牲樣本多樣性增加樣本真實(shí)性,所以理想的采樣標(biāo)準(zhǔn)差一般比1稍小.最終采樣的正態(tài)分布標(biāo)準(zhǔn)差,被稱為退火參數(shù)[19].因此,當(dāng)NICE 深度生成模型處理時(shí)間序列樣本時(shí),選擇合適的退火參數(shù)是決定生成樣本精度高的關(guān)鍵性因素.

1.2 PSO-NICE 模型

為了降低NICE 模型生成分布與原始分布的偏差,利用粒子群優(yōu)化 (PSO) 算法快速迭代找到退火參數(shù)全局最優(yōu)解,從而改進(jìn)NICE 反向生成模型.

具體地,PSO-NICE 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.NICE 由多個(gè)分塊加性耦合層 (交錯(cuò)混合方式)和一個(gè)尺度壓縮層組成,每一個(gè)分塊加性耦合層模擬一個(gè)可逆變換函數(shù)f(x),通過(guò)交錯(cuò)混合來(lái)連接兩個(gè)相鄰的分塊加性耦合層.如圖1 所示,按照向右箭頭的方向?yàn)檎蛴?xùn)練過(guò)程,向左箭頭的方向?yàn)榉聪蛏蛇^(guò)程.NICE 作為一類無(wú)監(jiān)督向量變換模型,能夠確保將輸入數(shù)據(jù)的分布轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布,在反向生成時(shí),從標(biāo)準(zhǔn)正態(tài)分布中采樣隨機(jī)數(shù)來(lái)生成樣本,采用PSO 來(lái)對(duì)退火參數(shù)進(jìn)行優(yōu)化,提升NICE模型的反向生成能力.

以圖1 為例,分別介紹分塊加性耦合層、交錯(cuò)混合和尺度壓縮層的結(jié)構(gòu)和參數(shù).

圖1 PSO-NICE 網(wǎng)絡(luò)框架圖Fig.1 PSO-NICE network frame diagram

NICE 通過(guò)分塊加性耦合層來(lái)擬合可逆變換函數(shù)f(x). 具體地,將維度為D的原始數(shù)據(jù)輸入樣本劃分為兩部分x1和x2,不失一般性,將x的各個(gè)維度打亂后重新排列,選取x1=x1:d為前d維元素組成的向量,x2=xd+1:D為后 (D-d) 維元素組成的向量,并作如下變換:

其中,Id和Id+1:D分別表示d維單位矩陣和(D-d)維單位矩陣,根據(jù)分塊矩陣的結(jié)構(gòu),由式 (5) 可以得到J(f(x)) 是一個(gè)下三角矩陣形式,并且對(duì)角線元素全部為1.分塊加性耦合層巧妙的設(shè)計(jì)不僅使得變換函數(shù)的逆函數(shù)易于求解,而且它的Jacobian 結(jié)果固定為1.

NICE 通過(guò)交叉耦合來(lái)連接兩個(gè)相鄰的分塊加性耦合層,將分塊加性耦合層1 輸出的兩部分直接交換作為分塊加性耦合層2 的輸入:

由式 (6) 知,分塊加性耦合層的耦合操作只作用在第二部分,第一部分是恒等的變換.交錯(cuò)混合的操作簡(jiǎn)單,即前一個(gè)分塊加性耦合層等價(jià)變換的向量可以在下一個(gè)分塊加性耦合層進(jìn)行非等價(jià)變換,可使信息充分融合.

其中,s各元素是要訓(xùn)練優(yōu)化的非負(fù)參數(shù)向量,可識(shí)別維度的重要程度 (其大小決定了維度的重要程度),起到壓縮流形的作用.代入上一節(jié)流模型的優(yōu)化目標(biāo)式 (2),NICE 模型的訓(xùn)練優(yōu)化目標(biāo)為:

上述優(yōu)化目標(biāo)即為NICE 模型訓(xùn)練的損失函數(shù),經(jīng)過(guò)堆疊多個(gè)分塊加性耦合層和一個(gè)尺度壓縮層,在流模型的框架下,降低了可逆函數(shù)的反函數(shù)和Jacobian 的計(jì)算復(fù)雜度,NICE 完成了網(wǎng)絡(luò)構(gòu)建.

在NICE 網(wǎng)絡(luò)基礎(chǔ)上,PSO 首先初始化一群隨機(jī)粒子 (隨機(jī)解),每個(gè)粒子的維度與原始樣本保持一致,退火參數(shù)初始化為1,然后通過(guò)迭代找到最優(yōu)解.在每一次的迭代中,粒子通過(guò)跟蹤兩個(gè) “極值”(個(gè)體最優(yōu)值pbest,群體最優(yōu)值gbest) 實(shí)現(xiàn)更新.PSO 的標(biāo)準(zhǔn)形式如下:

其中,i=1,2,···,N,N是粒子群中粒子的總數(shù),vi是粒子的速度,rand() 是介于 ( 0,1) 之間的隨機(jī)數(shù).vi是粒子當(dāng)前的速度,xi是粒子當(dāng)前的位置,c1和c2是學(xué)習(xí)因子,一般c1=c2.vi的最大值為vmax(通常大于0),如果vi大于vmax,則vi=vmax.

PSO 的優(yōu)化目標(biāo)選擇生成分布與原始分布的推土機(jī) (Earth-mover,EM) 距離,又稱Wasserstein 距離.EM 距離相對(duì)KL 散度與JS 散度的優(yōu)勢(shì)在于平滑性更好,即使對(duì)兩個(gè)分布很遠(yuǎn)幾乎無(wú)重疊的情況,仍能反映兩個(gè)分布的遠(yuǎn)近.該優(yōu)點(diǎn)可保證PSO 迭代過(guò)程的初始階段能夠快速收斂.EM 距離越小,表明生成分布與原始分布越接近.EM 距離可表示為:

其中,Π (P1,P2) 是P1和P2分布組合起來(lái)的所有可能的聯(lián)合分布的集合.對(duì)于每一種可能的聯(lián)合分布γ,可從中采樣 (x,y)～γ得到一個(gè)樣本x和y,并計(jì)算出該對(duì)樣本的距離‖x-y‖,進(jìn)而可計(jì)算該聯(lián)合分布γ下,樣本對(duì)距離的期望值 E(x,y)-γ[‖x-y‖].在所有可能的聯(lián)合分布中能夠?qū)@個(gè)期望值取到的下界即為EM 距離.

綜上,在NICE 反向生成過(guò)程引入PSO,優(yōu)化采樣分布的退火參數(shù),可以充分利用流模型的可逆生成模型,增加對(duì)生成結(jié)果的反饋,提升網(wǎng)絡(luò)模型的生成效果.

2 基于Attention 的Bi-LSTM 的RUL預(yù)測(cè)

雙向長(zhǎng)短期記憶網(wǎng)絡(luò) (Bi-LSTM) 通過(guò)堆疊前向LSTM 層和后向LSTM 層,來(lái)提取序列的深度特征.與單個(gè)LSTM 層相比,能夠充分利用監(jiān)測(cè)數(shù)據(jù)過(guò)去與未來(lái)的潛在信息.反映設(shè)備退化信息的長(zhǎng)時(shí)間序列在輸入Bi-LSTM 網(wǎng)絡(luò)時(shí)會(huì)通過(guò)滑動(dòng)時(shí)間窗處理劃分為時(shí)間步Xi對(duì)應(yīng)的短序列,而不同時(shí)間步的短序列所蘊(yùn)含的設(shè)備退化特征往往不同.

為了捕捉對(duì)預(yù)測(cè)結(jié)果貢獻(xiàn)度較高的特征,引入注意力機(jī)制 (Attention) 層,將對(duì)預(yù)測(cè)結(jié)果貢獻(xiàn)度高的特征賦予更高的權(quán)重,貢獻(xiàn)度低的特征賦予較低的權(quán)重,對(duì)Bi-LSTM 的提取后的特征進(jìn)行再次融合.

具體地,融合注意力機(jī)制的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)Bi-LSTM-Att 結(jié)構(gòu)如圖2 所示,X1,X2,X3,···,Xn為一組輸入隨機(jī)退化的監(jiān)測(cè)數(shù)據(jù)經(jīng)過(guò)滑動(dòng)時(shí)間窗處理后的短時(shí)間序列,前向LSTM 層和后向LSTM 層對(duì)輸入的短時(shí)間序列進(jìn)行前向和后向的特征提取得到隱藏狀態(tài)yi=[y1,y2,y3,···,yn],Attention 層對(duì)提取的特征分配不同的權(quán)重ai=[a1,a2,a3,···,an],最后連接一個(gè)全連接層,得到預(yù)測(cè)結(jié)果y.Attention 層的計(jì)算過(guò)程如下:

圖2 Bi-LSTM-Att 網(wǎng)絡(luò)框架圖Fig.2 Bi-LSTM-Att network frame diagram

其中,t anh(·) 為非線性激活函數(shù),其范圍為 (-1,1),Wi和bi分別為隱藏狀態(tài)yi=[y1,y2,y3,···,yn] 的權(quán)值矩陣和偏置矩陣,ai為Attention 層分給不同隱藏狀態(tài)的權(quán)重,y為對(duì)所有隱藏狀態(tài)加權(quán)求和后得到的綜合特征.

綜上,在Bi-LSTM 層后引入Attention 層,對(duì)不同的退化特征有不同的側(cè)重,可以充分利用每個(gè)時(shí)間步的隱藏狀態(tài),提取有用信息,提升網(wǎng)絡(luò)模型的預(yù)測(cè)效果.

3 基于PSO-NICE 缺失數(shù)據(jù)生成的RUL預(yù)測(cè)

基于PSO-NICE和Bi-LSTM-Att 的監(jiān)測(cè)缺失數(shù)據(jù)生成和RUL 預(yù)測(cè)方法流程如圖3 所示,具體的步驟為:

圖3 缺失數(shù)據(jù)生成和RUL 預(yù)測(cè)流程圖Fig.3 Missing data generation and RUL prediction flowchart

1) 樣本各維度歸一化:為了后期深度學(xué)習(xí)模型能夠高效訓(xùn)練、挖掘深層次特征,需要對(duì)訓(xùn)練的原始數(shù)據(jù)進(jìn)行必要的預(yù)處理操作,將含有缺失數(shù)據(jù)的監(jiān)測(cè)原始退化監(jiān)測(cè)數(shù)據(jù)每個(gè)樣本的各個(gè)維度分別線性歸一化到 ( 0,1) 區(qū)間,得到PSO-NICE 模型的訓(xùn)練樣本,反歸一化是歸一化的逆操作,歸一化與反歸一化公式如下:

其中,Xmax和Xmin為某個(gè)維度樣本的極值 (最大值和最小值),i為樣本個(gè)數(shù).

2) 搭建NICE 網(wǎng)絡(luò)模型:根據(jù)樣本量的大小,配置NICE 正向訓(xùn)練過(guò)程參數(shù).將歸一化后的訓(xùn)練樣本作為模型的輸入,進(jìn)行深度無(wú)監(jiān)督學(xué)習(xí).

其中,NICE 網(wǎng)絡(luò)結(jié)構(gòu)模型參數(shù)主要是對(duì)分塊加性耦合層的處理,包括分塊加性耦合層的層數(shù),耦合層的數(shù)量及其每一層的神經(jīng)元數(shù)量.一般地,以4 個(gè)分塊加性耦合層為基礎(chǔ)建立模型,耦合層一般選擇全連接層.隨著輸入數(shù)據(jù)分布的復(fù)雜度提高,由于交叉耦合的處理方式,分塊加性耦合層的數(shù)量需要以偶數(shù)倍增加.同時(shí),也可以加深耦合層的數(shù)量和增加每層神經(jīng)元的數(shù)量來(lái)擬合復(fù)雜數(shù)據(jù)的分布.

3) 搭建PSO 迭代模型:引入一群與訓(xùn)練樣本維度相同的粒子群,對(duì)NICE 反向生成過(guò)程模型的生成分布效果進(jìn)行迭代優(yōu)化,得到NICE 反向生成過(guò)程模型最優(yōu)的退火參數(shù).

其中,粒子的維度即為樣本維度,粒子群的大小應(yīng)不少于2,初始化的位置和最大速度可以根據(jù)優(yōu)化目標(biāo)的經(jīng)驗(yàn)值設(shè)置參數(shù),否則需要更多的迭代次數(shù).最后,通過(guò)實(shí)驗(yàn)觀察迭代效果,優(yōu)化目標(biāo)趨于穩(wěn)定時(shí)停止訓(xùn)練,選擇保證訓(xùn)練效果的最低迭代次數(shù).

4) 缺失數(shù)據(jù)填補(bǔ):選擇最優(yōu)退火參數(shù)下正態(tài)分布的隨機(jī)數(shù),作為NICE 反向生成過(guò)程模型的輸入,將模型生成的全部樣本反歸一化到原始樣本的變化區(qū)間,將與缺失數(shù)據(jù)的時(shí)間維度最接近的樣本數(shù)據(jù)作為填補(bǔ)值,與原始數(shù)據(jù)一起組成完整的退化時(shí)間序列樣本.

5) 構(gòu)建Bi-LSTM-Att 預(yù)測(cè)模型:將填補(bǔ)后的數(shù)據(jù)與歷史數(shù)據(jù)再次線性歸一化,按照Bi-LSTM的輸入格式,進(jìn)行時(shí)間滑動(dòng)窗口處理,作為Bi-LSTMAtt 的輸入.訓(xùn)練調(diào)整Bi-LSTM-Att 預(yù)測(cè)模型的結(jié)構(gòu)參數(shù)和訓(xùn)練參數(shù),最后通過(guò)迭代預(yù)測(cè)得到RUL的預(yù)測(cè)值.

4 實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的基于PSO 改進(jìn)NICE 的缺失數(shù)據(jù)生成方法和基于Attention 改進(jìn)Bi-LSTM的RUL 預(yù)測(cè)方法,本文采用美國(guó)馬里蘭大學(xué)先進(jìn)壽命周期工程中心 (Center for Advanced Life Cycle Engineering,Calce) 提供的CS2 類型電池容量退化數(shù)據(jù)集[6],共包含四塊電池退化數(shù)據(jù):CS2_35,CS2_36,CS2_37,CS2_38.這四組電池容量退化的完整曲線如圖4 所示.

圖4 CS2 電池組容量退化軌跡Fig.4 CS2 battery pack capacity degradation trajectory

圖4 中,電池容量可以有效反映電池健康狀況,實(shí)際應(yīng)用中通常采用在一定充放電條件下電池容量衰減到失效閾值時(shí)所經(jīng)歷的充放電周期次數(shù)來(lái)描述電池的RUL,因此選擇該指標(biāo)進(jìn)行鋰電池RUL 預(yù)測(cè).其中,失效閾值選擇0.5 Ah.鋰離子電池的RUL指從當(dāng)前時(shí)刻開(kāi)始至鋰離子電池容量不能維持設(shè)備正常工作所經(jīng)歷的充放電周期次數(shù).

為確保對(duì)比的公正性,本文采用文獻(xiàn)[11] 中DCGAN-KS 模型的缺失數(shù)據(jù)設(shè)置模式.主要體現(xiàn)在缺失機(jī)制與缺失率兩個(gè)方面,缺失機(jī)制設(shè)定為完全隨機(jī)缺失 (Missing completely at random,MCAR),即數(shù)據(jù)的缺失概率與缺失變量以及非缺失變量均不相關(guān)[20].不同于MCAR,隨機(jī)缺失 (Missing at random,MAR) 指的是數(shù)據(jù)的缺失不是完全隨機(jī)的,即該類數(shù)據(jù)的缺失依賴于其他完全變量.在實(shí)際生產(chǎn)過(guò)程中,由于設(shè)備復(fù)雜和環(huán)境惡劣,大多缺失類型屬于MCAR.不失個(gè)體差異性,生成數(shù)據(jù)實(shí)驗(yàn)以CS_37 電池為例.缺失率是在CS2_37數(shù)據(jù)的前850 個(gè)充放電循環(huán)基礎(chǔ)上,分別選擇10%、30%、50%和70% 四種模式.本文通過(guò)調(diào)用python 的random 庫(kù),選擇缺失率分別為10%,30%,50%和70% 的sample 函數(shù),用于產(chǎn)生生成模型的訓(xùn)練數(shù)據(jù).由CS2_37 構(gòu)造的原始數(shù)據(jù)和訓(xùn)練數(shù)據(jù)如表1 所示.

表1 CS2_37 構(gòu)造的原始數(shù)據(jù)和不同缺失率下的訓(xùn)練數(shù)據(jù)Table 1 Original data constructed by CS2_37 and training data with different missing rates

進(jìn)一步,根據(jù)生成數(shù)據(jù)設(shè)置預(yù)測(cè)所需的數(shù)據(jù)集模式,將編號(hào)為CS2_35、CS2_36、CS2_38 電池的完整數(shù)據(jù)和CS2_37 截止到600 個(gè)循環(huán)周期的容量數(shù)據(jù)作為訓(xùn)練樣本,將CS2_37 的600 個(gè)循環(huán)周期之后的406 個(gè)循環(huán)周期作為驗(yàn)證樣本來(lái)評(píng)估預(yù)測(cè)性能.由CS2 電池構(gòu)造RUL 預(yù)測(cè)的訓(xùn)練樣本和驗(yàn)證樣本如表2 所示.

表2 CS2 數(shù)據(jù)集構(gòu)造RUL 預(yù)測(cè)的訓(xùn)練樣本和驗(yàn)證樣本Table 2 CS2 dataset constructs training samples and validation samples for RUL prediction

根據(jù)本文第3 部分所提方法步驟進(jìn)行數(shù)據(jù)生成.將訓(xùn)練數(shù)據(jù)歸一化處理后,依次搭建NICE 網(wǎng)絡(luò)模型和PSO 迭代模型.其中,隨著缺失率的提高,可以適當(dāng)減少 (偶數(shù)個(gè)) 分塊加性耦合層的數(shù)量和降低NICE 模型的訓(xùn)練批處理量.粒子的維度為2(充放電循環(huán)維度和容量維度),粒子群大小可以設(shè)置為2,通過(guò)多次生成實(shí)驗(yàn)選擇保證訓(xùn)練效果的最低迭代次數(shù)為15.表3 給出了不同缺失率下的PSONICE 模型參數(shù).其中,第二、三、四列為NICE 模型的結(jié)構(gòu)參數(shù),第五、六列為NICE 模型的訓(xùn)練參數(shù),第七、八列為PSO 的訓(xùn)練參數(shù).

表3 不同缺失率下的PSO-NICE 模型參數(shù)Table 3 PSO-NICE model parameters with different missing rates

圖5 展示了70% 缺失率下VAE 模型、GAN模型、NICE 模型和PSO-NICE 模型的生成效果圖.通過(guò)對(duì)比不難發(fā)現(xiàn),VAE和PSO-NICE 模型生成數(shù)據(jù)相較于GAN和NICE 模型更平滑,而在數(shù)據(jù)分布上,NICE和PSO-NICE 模型對(duì)原始數(shù)據(jù)的擬合度更高.總體上,NICE和PSO-NICE 模型兩種方法都可以很好地覆蓋鋰電池容量整個(gè)數(shù)據(jù)的退化趨勢(shì)和分布特性,且PSO-NICE 模型生成的數(shù)據(jù)更接近真實(shí)分布.

為研究PSO 算法隨機(jī)性優(yōu)化的效果,圖6 繪制了不同缺失率下PSO 迭代次數(shù)的變化.

從圖6 中可以得到,70%和10% 缺失率下的PSO 迭代的優(yōu)化目標(biāo)較快穩(wěn)定,表明缺失率較小或者較大時(shí)數(shù)據(jù)的分布屬性較簡(jiǎn)單,PSO 的優(yōu)化目標(biāo)更容易收斂.最終,根據(jù)缺失率的大小,PSO-NICE模型生成的數(shù)據(jù)分布與原始數(shù)據(jù)的分布誤差 (EM距離) 均不同程度穩(wěn)定在0.02 以下.

圖6 不同缺失率下PSO 迭代優(yōu)化過(guò)程Fig.6 Iterative optimization process of PSO under different missing rates

進(jìn)一步,為了與VAE、GAN 及DCGAN[11]的生成效果對(duì)比,表4 通過(guò)EM 距離量化不同缺失率下各方法生成樣本與完整樣本的誤差.由表4 可見(jiàn),在不同缺失率下,本文所提方法得到的EM 距離均小于其它方法.并且隨著缺失率的增大,PSO-NICE模型EM 距離的增幅相對(duì)較小,表明其生成分布更接近原始分布.

表4 不同缺失率下各方法生成樣本與完整樣本的EM 距離Table 4 The EM distance between generation sample and the complete sample under different missing rates

根據(jù)PSO-NICE 模型生成的樣本數(shù)據(jù),選擇與缺失值的時(shí)間維度最接近的值作為填充值對(duì)缺失數(shù)據(jù)填補(bǔ),圖7 分別繪制不同缺失率下的填補(bǔ)效果.

由圖7 可見(jiàn),在10%和30% 低缺失率的情況下,PSO-NICE 模型對(duì)缺失數(shù)據(jù)填補(bǔ)的精確性較高.在50%和70% 高缺失率的情況下,PSO-NICE 模型對(duì)缺失數(shù)據(jù)填補(bǔ)的精確性較低,某些結(jié)果與缺失數(shù)據(jù)有較大差距.總體上,不論缺失率高低,PSONICE 模型的填補(bǔ)效果均可以保持與原始數(shù)據(jù)分布的一致性.

圖7 不同缺失率下的填補(bǔ)效果Fig.7 Generation effect under different missing rate

為驗(yàn)證預(yù)測(cè)效果,將PSO-NICE 模型填補(bǔ)后的時(shí)序數(shù)據(jù)按照表2 構(gòu)造樣本,并且全部時(shí)序數(shù)據(jù)要經(jīng)過(guò)滑動(dòng)時(shí)間窗處理.具體地,滑動(dòng)時(shí)間窗統(tǒng)一設(shè)置為200,預(yù)測(cè)步長(zhǎng)為1.針對(duì)現(xiàn)有常用預(yù)測(cè)網(wǎng)絡(luò)(RNN、GRU、LSTM、Bi-LSTM和Bi-LSTMAtt 等),損失函數(shù)選擇均方誤差 (Mean squared error,MSE),優(yōu)化器選擇Adam,調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練參數(shù)使各個(gè)方法達(dá)到最優(yōu),相關(guān)結(jié)果如圖5 所示.

圖5 70%缺失率下不同方法的生成效果Fig.5 The generation effect of different methods under 70% missing rate

表5 分別展示了RNN、GRU、LSTM、Bi-LSTM和Bi-LSTM-Att 等現(xiàn)有常用預(yù)測(cè)網(wǎng)絡(luò)的參數(shù).需要注意地是,每次預(yù)測(cè)實(shí)驗(yàn)均設(shè)置了隨機(jī)種子,固定預(yù)測(cè)結(jié)果.訓(xùn)練好各類網(wǎng)絡(luò)后,首先在0%缺失率 (即不缺失) 情況下,從預(yù)測(cè)起始點(diǎn)迭代預(yù)測(cè)406 次.預(yù)測(cè)效果如圖8 所示.

圖8 0%缺失率下現(xiàn)有常用方法的預(yù)測(cè)效果Fig.8 Prediction effect of existing common methods under 0% missing rate

表5 現(xiàn)有常用預(yù)測(cè)網(wǎng)絡(luò)的參數(shù)Table 5 Parameters of existing common prediction networks

由圖8 可見(jiàn),在0% 缺失率下,對(duì)比真實(shí)數(shù)據(jù),RNN 網(wǎng)絡(luò)的退化趨勢(shì)差距較大,并且預(yù)測(cè)結(jié)果滯后,GRU、LSTM和Bi-LSTM 網(wǎng)絡(luò)的預(yù)測(cè)退化趨勢(shì)較好,但預(yù)測(cè)結(jié)果均提前,Bi-LSTM-Att 的預(yù)測(cè)結(jié)果最接近原始數(shù)據(jù),且預(yù)測(cè)趨勢(shì)更吻合.預(yù)測(cè)對(duì)比實(shí)驗(yàn)說(shuō)明RNN 網(wǎng)絡(luò)無(wú)法捕獲長(zhǎng)距離的信息,而LSTM-based 方法具有長(zhǎng)記憶性,能夠獲得比GRU更好的預(yù)測(cè)效果,增添Attention 層后使得整個(gè)預(yù)測(cè)網(wǎng)絡(luò)關(guān)注影響退化趨勢(shì)的部分重要數(shù)據(jù),增加了預(yù)測(cè)網(wǎng)絡(luò)可解釋性.因此,選擇Bi-LSTM-Att 網(wǎng)絡(luò)來(lái)進(jìn)行剩余壽命預(yù)測(cè).

為研究不同缺失率下的填補(bǔ)效果對(duì)剩余壽命預(yù)測(cè)的影響,以10%、30%、50%和70% 四種缺失率為例,圖9 展示了同一Bi-LSTM-Att 網(wǎng)絡(luò)的預(yù)測(cè)效果.

圖9 不同缺失率填補(bǔ)后Bi-LSTM-Att 的預(yù)測(cè)效果Fig.9 The prediction effect of Bi-LSTM-Att after filling with different missing rates

為了更清晰地量化預(yù)測(cè)效果,采用均方根誤差(Root mean square error,RMSE)和決定系數(shù) (Rsquared,R2) 兩個(gè)指標(biāo)衡量預(yù)測(cè)的準(zhǔn)確性,并將結(jié)果繪制于表6.RMSE是逆向指標(biāo),該值越小越好,而R2是正向指標(biāo),該值越大越好,范圍為 ( 0,1).計(jì)算公式如下:其中,yi是各個(gè)時(shí)刻的真實(shí)值,是各個(gè)時(shí)刻的預(yù)測(cè)值,是各個(gè)時(shí)刻的均值.

表6 不同預(yù)測(cè)方法的效果評(píng)估Table 6 Effectiveness evaluation of different forecasting methods

由表6 不難看出,Bi-LSTM-Att 模型的RMSE和R2均小于其他方法,但是運(yùn)行時(shí)間較長(zhǎng).此外,隨著缺失率的增加,Bi-LSTM-Att 預(yù)測(cè)精度增大幅度較小,再一次表明所提缺失數(shù)據(jù)生成方法能夠高效捕捉時(shí)間序列的退化信息的優(yōu)越性.

進(jìn)一步,考慮到樣本的完全隨機(jī)缺失機(jī)制,需要討論其對(duì)預(yù)測(cè)結(jié)果影響的穩(wěn)定性分析,檢驗(yàn)?zāi)Ｐ偷聂敯粜?具體地,仍然以10%、30%、50%和70%四種缺失率為例,僅僅改變真實(shí)數(shù)據(jù)的缺失位置,再通過(guò)PSO-NICE 網(wǎng)絡(luò)和Bi-LSTM-Att 網(wǎng)絡(luò)進(jìn)行缺失數(shù)據(jù)生成填補(bǔ)、剩余壽命預(yù)測(cè)任務(wù),重復(fù)試驗(yàn),得到預(yù)測(cè)相關(guān)效果如圖10 所示.

同時(shí),為了量化預(yù)測(cè)效果,采用RMSE衡量預(yù)測(cè)的準(zhǔn)確性,相關(guān)量化結(jié)果如表7 所示.

表7 不同缺失率填補(bǔ)后Bi-LSTM-Att 重復(fù)預(yù)測(cè)量化結(jié)果Table 7 Quantification results of Bi-LSTM-Att repeated prediction after imputation with different missing rates

通過(guò)對(duì)比觀察圖10 不難看出,四種缺失率下,Bi-LSTM-Att 模型重復(fù)實(shí)驗(yàn)95% 的預(yù)測(cè)置信區(qū)間均能夠很好地覆蓋真實(shí)數(shù)據(jù),且預(yù)測(cè)均值與真實(shí)數(shù)據(jù)擬合程度較高,表明PSO-NICE 模型對(duì)缺失數(shù)據(jù)生成的穩(wěn)定性和魯棒性較好.

圖10 四種缺失率填補(bǔ)后Bi-LSTM-Att 重復(fù)預(yù)測(cè)效果Fig.10 Bi-LSTM-Att repeated prediction effect after four missing rates imputation

5 結(jié)論

針對(duì)缺失數(shù)據(jù)生成模型精度低和訓(xùn)練速度慢的問(wèn)題,提出一種基于流模型框架的缺失數(shù)據(jù)生成方法,可以獲得較好的生成效果,最后通過(guò)鋰電池實(shí)例進(jìn)行驗(yàn)證.工作的主要?jiǎng)?chuàng)新如下:

1) 基于流模型框架,將一維時(shí)序缺失數(shù)據(jù)輸入NICE 深度生成模型,通過(guò)無(wú)監(jiān)督方式學(xué)習(xí)缺失數(shù)據(jù)背后的真實(shí)分布,進(jìn)而對(duì)缺失數(shù)據(jù)進(jìn)行充分填補(bǔ),得到完整意義下的時(shí)間序列數(shù)據(jù).

2) 基于NICE 深度生成模型,在NICE 反向生成階段,通過(guò)引入PSO 算法,迭代優(yōu)化其退火參數(shù),將深度生成模型由無(wú)監(jiān)督變成有監(jiān)督,能夠更精準(zhǔn)地學(xué)習(xí)缺失數(shù)據(jù)背后的真實(shí)分布,提升對(duì)缺失數(shù)據(jù)填補(bǔ)的精度,得到更完整意義下的時(shí)間序列數(shù)據(jù).

本文基于流模型框架,通過(guò)建立NICE 模型和PSO-NICE 模型,實(shí)現(xiàn)了對(duì)一維時(shí)間監(jiān)測(cè)序列完全隨機(jī)缺失下系統(tǒng)缺失數(shù)據(jù)的生成及剩余壽命預(yù)測(cè)的應(yīng)用.在未來(lái)的研究中,將進(jìn)一步考慮現(xiàn)場(chǎng)實(shí)際環(huán)境的復(fù)雜關(guān)系,對(duì)不同缺失機(jī)制、多維度時(shí)間監(jiān)測(cè)序列的缺失數(shù)據(jù)生成和RUL 預(yù)測(cè)問(wèn)題進(jìn)行更深層次的探索和研究.