融合TA-TCN和遷移學(xué)習(xí)的滾動軸承壽命預(yù)測*

車魯陽,冷子文,付惠琛,張佳佳,高軍偉

(1.青島大學(xué)a.自動化學(xué)院;b.山東省工業(yè)控制技術(shù)重點實驗室,青島 266071;2.山東省特種設(shè)備檢驗科學(xué)研究院,日照 276826)

0 引言

滾動軸承是旋轉(zhuǎn)機械中最重要的零部件之一,同時也是最容易發(fā)生故障的零件之一[1]。由于其復(fù)雜多變的工作環(huán)境,很容易導(dǎo)致其退化、失效[2]。準(zhǔn)確的剩余壽命預(yù)測可以及時在發(fā)生故障前進行預(yù)警,避免造成人身傷害,從而減少提前維護帶來的運維成本高的問題。

當(dāng)前滾動軸承壽命預(yù)測方法基本分為兩種:①基于物理模型的預(yù)測方法,該方法雖然較為精確,但是建模要求極高且模型的泛化能力差,難以在實際生產(chǎn)當(dāng)中應(yīng)用;②基于數(shù)據(jù)驅(qū)動的預(yù)測方法,由于計算機硬件的發(fā)展和深度學(xué)習(xí)理論的研究,使得其具有計算快、成本低、泛化性強等特點,在這些年被廣泛研究[3]。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)[4]和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)[5]等代表性深度學(xué)習(xí)算法,被廣泛地應(yīng)用在軸承的剩余壽命預(yù)測當(dāng)中。但是,在實際生產(chǎn)中,由于容易忽略一些因素,導(dǎo)致其預(yù)測精度和泛化性能并不高,主要表現(xiàn)為:

(1)忽略了對于振動信號的降噪處理和特征挖掘。從生產(chǎn)中采集的振動信號包含環(huán)境噪聲,呈現(xiàn)高度非線性,導(dǎo)致模型難以捕捉信號與退化的關(guān)系;

(2)忽略了一些傳統(tǒng)算法無法找到特征與退化周期之間的時序性關(guān)聯(lián)。軸承退化具有一種周期性長、數(shù)據(jù)量大的特點,傳統(tǒng)神經(jīng)網(wǎng)絡(luò)難以獲得足夠的感受野,不能將前后退化特征聯(lián)系起來,導(dǎo)致精度提升困難;

(3)忽略了實際生產(chǎn)中數(shù)據(jù)量小、工況復(fù)雜的情況。很多模型要求大量的數(shù)據(jù)進行訓(xùn)練,而在現(xiàn)實應(yīng)用中,難以滿足足夠的數(shù)據(jù)量,導(dǎo)致模型泛化性能差,難以投入到實際項目中。

針對以上問題,提出了一種融合互補集合經(jīng)驗?zāi)B(tài)分解(complementary ensemble empirical mode decomposition,CEEMD)、時序注意力優(yōu)化的時間卷積網(wǎng)絡(luò)(time convolutional networks,TCN)和遷移學(xué)習(xí)相結(jié)合的組合模型。其基本思想是:用CEEMD代替集合經(jīng)驗?zāi)B(tài)分解(ensemble empirical mode decomposition,EEMD),用正負(fù)白噪聲對抵消原本算法中為解決模態(tài)混淆問題引入的白噪聲本身帶來的干擾。用作為CNN的一種變體TCN,利用擴展因果卷積和殘差模塊擴大感受野,能夠處理更長的時間序列,加入了時序注意力機制(temporal attention,TA),加強了對于時序關(guān)聯(lián)性的捕捉。引入遷移學(xué)習(xí),制定遷移策略,使得模型能夠適應(yīng)不同工況帶來的數(shù)據(jù)特征難以獨立同分布問題。在后續(xù)的消融、對比、遷移實驗中,驗證了所提方法的有效性和泛化性。

1 數(shù)據(jù)預(yù)處理

提取滾動軸承完整生命周期振動信號如圖1所示,可以看出數(shù)據(jù)量龐大,直接用來分析會造成計算效率低的問題,且其中蘊含的退化信息并不明顯,尤其是在正常運行階段。當(dāng)滾動軸承發(fā)生故障時,其時域信號和頻域信號都可能會發(fā)生變化[11]。不同的時域特征和頻域特征反映了諸如振幅、能量、收斂性、主頻位置變化等特性。為了得到滾動軸承退化特性的完整描述,采用時域、頻域方法提取了多個特征。其中包括均方根值、絕對平均值、平方根振幅、方差、峰峰值、偏度、峭度、峰值因子、波形因子和脈沖指數(shù)10個時域特征以及頻域均值、頻域方差、頻域均方根和歪度4個頻域特征。

圖1 軸承振動信號

2 模型搭建

2.1 互補集合經(jīng)驗?zāi)B(tài)分解

CEEMD法在振動信號中添加獨立同分布的正負(fù)白噪聲對,以達到抑制模態(tài)混疊效應(yīng)的目的。同時,減少了EEMD單純添加白噪聲帶來的污染,很大地提高了計算效率。其主要計算過程包括3方面:

(1)在原始振動序列C上添加a組互為相反數(shù)的正負(fù)噪聲對,得到新的序列I1、I2。

(1)

式中:I1、I2分別為加入白噪聲對后的正負(fù)噪聲序列,C為原始振動序列,N為添加的白噪聲。

(2)通過I1、I2分解得到b個IMF分量,并將得到第i個序列第j個IMF分量記為Ci,j,其中i=1,…,a;j=1,…,b。

(3)對所有IMF分量進行平均得到最后分解結(jié)果:

(2)

式中:IMFj表示得到的第j組IMF分量。

運用CEEMD方法對篩選后時頻域特征進行分解,得到7個子序列,分解后的子序列如圖2所示。相比于原振動信號較大的波動范圍,分解后的子信號波動較小,且隨著分解程度加深,波動范圍越平緩。6個IMF信號代表影響序列非線性和非平穩(wěn)性的高頻分量,殘差信號代表信號的總體趨勢。

圖2 CEEMD分解

2.2 時間卷積網(wǎng)絡(luò)

時間卷積網(wǎng)絡(luò)(TCN)是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的一種變體,由膨脹因果卷積和殘差模塊組成。

如圖3所示,以3層膨脹因果卷積結(jié)構(gòu)為例,其單向結(jié)構(gòu)從時間維度上對卷積運算進行約束,時間t的輸出只能由t之前的輸入得到,不存在從未來到過去的信息泄露問題。在解決時序問題上,需要追溯歷史信息,歷史信息越久遠,隱藏層越多,計算量越大。為了既能夠增大感受野又不使得隱藏層過多,膨脹因果卷積引入了一個新的超參數(shù)-擴張率d。在不損失信息的情況下,允許模型間隔采樣,最下面一層d=1,表示輸入時每個點都采樣,中間層d=2,表示輸入時每兩個采樣點作為一個輸入,通常層級越高所采用的擴張率越大。設(shè)一維序列的輸入是l={s1,s2,…,sn-1}∈Rn與卷積核f:{0,…,n-1}→R,其序列元素s的卷積運算F的表達式為:

(3)

圖3 膨脹卷積模塊

TCN中殘差模塊的結(jié)構(gòu)如圖4所示,用殘差鏈接使信息能夠跨越層數(shù)傳遞,從而避免層數(shù)過多而造成信息損失。引入批標(biāo)準(zhǔn)化,將每一層網(wǎng)絡(luò)輸入歸一化。標(biāo)準(zhǔn)化層后添加激活函數(shù)來保證模型擬合非線性數(shù)據(jù)并用正則化降低模型過擬合的風(fēng)險。為保持輸入和輸出一致性,使用1×1卷積置于卷積層后。

圖4 殘差模塊

2.3 融合時序注意力機制的TCN模型

傳統(tǒng)注意力機制在基于特征數(shù)據(jù)預(yù)測的過程中,存在的問題在于:對多個時間步長的信息進行平均,無法檢測出對預(yù)測有用的時間模式;弱化了部分輸入數(shù)據(jù),使得神經(jīng)網(wǎng)絡(luò)只專注于分析部分?jǐn)?shù)據(jù)。

軸承剩余壽命預(yù)測作為對歷史數(shù)據(jù)的一種推演,具有嚴(yán)格的時序性,引入時序注意力機制處理提取的多種數(shù)據(jù)能夠考慮不同變量的時序特征,并選擇相關(guān)變量加權(quán),增加對于時序數(shù)據(jù)的波動性及趨勢分析,提高預(yù)測的精度。

融合時序注意力的時間卷積模型主體包含3個部分:膨脹卷積和殘差模塊、時序注意力機制、激活函數(shù)及輸出層。具體結(jié)構(gòu)如圖5所示,原始的振動信號經(jīng)過特征提取、特征分解,處理成t維特征向量,將每一維特征單獨輸入時間卷積模塊中,通過膨脹卷積和殘差模塊獲得更大的感受野和更穩(wěn)定的梯度下降,將輸出的中間量作為時序注意力層的輸入,進行注意力權(quán)重計算,聚焦與壽命退化強相關(guān)的重點變量信息,最后以剩余壽命作為目標(biāo)值進行輸出。

圖5 TA-TCN結(jié)構(gòu)

2.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指一種學(xué)習(xí)對另一種學(xué)習(xí)的影響,或習(xí)得經(jīng)驗對其他活動的影響。使用領(lǐng)域、任務(wù)和邊際概率來描述遷移學(xué)習(xí),定義為:領(lǐng)域D包含兩部分,特征空間X和邊緣概率分布P(x),即:

D={x,P(x)}

(4)

另一方面,任務(wù)T也包含兩部分,特征空間γ和目標(biāo)函數(shù)f(·),即:

T={γ,f(·)}

(5)

式中:f(·)為通過訓(xùn)練樣本{xi,yi}學(xué)習(xí)得到的,從概率角度講f(·)=P(γ|X)。

遷移學(xué)習(xí)的目標(biāo)就是從源域Ds和源任務(wù)Ts中獲取的相關(guān)知識提高目標(biāo)域任務(wù)TT和目標(biāo)域DT上的預(yù)測準(zhǔn)確率,其中Ds≠DT,Ts≠TT。

本文采用的是基于參數(shù)的遷移學(xué)習(xí),具體實現(xiàn)過程是:首先,在源域數(shù)據(jù)上進行預(yù)訓(xùn)練,獲得初始參數(shù);然后,將預(yù)訓(xùn)練模型網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)共享給目標(biāo)域;再使用目標(biāo)域少量軸承數(shù)據(jù)進行訓(xùn)練,對網(wǎng)絡(luò)參數(shù)進行微調(diào);最后,隨機初始化全連接層參數(shù),對目標(biāo)任務(wù)進行預(yù)測。

2.5 預(yù)測流程

為了解決滾動軸承在實際生產(chǎn)中信號噪聲大、特征與壽命退化關(guān)聯(lián)性差以及面對不同工況、數(shù)據(jù)量少的情況下出現(xiàn)的預(yù)測效果不佳的問題,提出了一種融合時序注意力機制優(yōu)化的時間卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)相結(jié)合的組合模型,預(yù)測流程如圖6所示,具體描述如下:

圖6 CEEMD-TA-TCN預(yù)測流程圖

(1)從公開軸承數(shù)據(jù)集對原始振動信號進行時、頻域分解;

(2)針對軸承退化特征的非線性非平穩(wěn)性,采用CEEMD方法將信號分解成多個IMF分量以及殘差分量并進行歸一化處理;

(3)利用TCN模型感受野大、計算速度快的優(yōu)點,深度挖掘特征向量,并添加TA機制,增加關(guān)聯(lián)性大的特征向量權(quán)重關(guān)注度;

(4)將源域訓(xùn)練好的模型,進行模型保存、參數(shù)凍結(jié);

(5)使用遷移學(xué)習(xí)通過少量目標(biāo)域軸承數(shù)據(jù)將訓(xùn)練好的離線模型參數(shù)進行微調(diào),實現(xiàn)軸承的跨工況剩余壽命預(yù)測;

(6)利用評價指標(biāo)對所提模型進行評估比較。

3 實例分析

為驗證CEEMD-TA-TCN模型在軸承剩余壽命預(yù)測的有效性,基于python3.8和Tensorflow2.0框架進行實驗驗證。

3.1 實驗平臺

本實驗采用PHM2012數(shù)據(jù)挑戰(zhàn)發(fā)布的軸承完整壽命周期數(shù)據(jù)集[13]。如圖7所示,在PRONOSTIA實驗平臺上通過水平和垂直位置的加速度傳感器來收集兩個方向的振動信號。設(shè)定設(shè)備的采樣頻率為25.6 kHz,每間隔10 s記錄一次數(shù)據(jù),每次采集數(shù)據(jù)時長為0.1 s。從實驗安全的角度考慮,當(dāng)振動數(shù)據(jù)的振幅超過20 g(1 g=9.8 m/s2)時,停止實驗。

圖7 實驗平臺

如表1所示,數(shù)據(jù)集共采集3種工況條件下的17組數(shù)據(jù)。

表1 軸承工作條件

訓(xùn)練集和測試集包含每個軸承的全壽命歷史振動數(shù)據(jù),每個采樣周期包含2560個振動數(shù)據(jù)。本次實驗對于同一工況的軸承,采用“留一法”,將目標(biāo)軸承數(shù)據(jù)作為測試集,將其它軸承數(shù)據(jù)設(shè)為訓(xùn)練集。將整個軸承的生命周期定義為從1～0的均勻下降直線并以此作為軸承訓(xùn)練的訓(xùn)練標(biāo)簽。

模型的超參數(shù)設(shè)置會直接影響學(xué)習(xí)性能,經(jīng)過多次調(diào)整對比,模型達到最優(yōu)效果,最終主要參數(shù)設(shè)置如下:優(yōu)化器選擇Adam算法優(yōu)化,batch_size為32,將dropout設(shè)為0.25,學(xué)習(xí)率Ir設(shè)定為0.001,迭代周期為100,膨脹卷積層數(shù)設(shè)定為3,濾鏡尺寸為3,擴張率d分別為(1,2,4)。

3.2 評價指標(biāo)

為了評價比較模型精度,引用了其它相關(guān)研究文章常用的平均絕對誤差(mean absolute error,MAE)[12]、均方根誤差(root mean square error,RMSE)[13]、和改進的PHM競賽中的評分函數(shù)(score function,Score)三個性能指標(biāo)。其中MAE和RMSE由式(6)和式(7)定義。

(6)

(7)

式中:ert=RULact-RULpred,為實際RUL與預(yù)測RUL之間的誤差;n是樣本數(shù)。

在實際工業(yè)生產(chǎn)中,對于剩余壽命低估和高估對機器操作的影響不同。低估會導(dǎo)致多余的停機時間,造成資源的浪費;而高估則可能會導(dǎo)致人員傷亡等安全事故。因此高估應(yīng)該受到比低估更嚴(yán)重的懲罰。因此為了客觀和全面地評估預(yù)測模型設(shè)計了一個評分函數(shù),來考慮低估和高估對軸承整個生命周期的影響。評價函數(shù)定義如下:

(8)

3.3 消融實驗

觀察振動信號可知,軸承在壽命末期振動幅度波動劇烈,也是壽命預(yù)測最困難的地方,因此截取預(yù)測末端壽命預(yù)測進行對比。以軸承1-2、1-3為例,將提出的CEEMD-TA-TCN模型,與普通注意力TCN、TA-TCN和EMD-TA-TCN進行對比實驗,結(jié)果如圖8和圖9所示。

圖8 軸承1-2

實驗一:普通注意力TCN模型和添加時序注意力的TCN模型對比?？梢钥吹狡胀ㄗ⒁饬CN模型雖然可以大致預(yù)測軸承的剩余壽命,但是預(yù)測過程波動大,在面對突變的振動情況,無法很好地追蹤退化的趨勢,添加時序注意力機制后,可以明顯看出比原始模型更加接近預(yù)先設(shè)定的退化曲線,但仍存在局部預(yù)測偏移大的問題。

實驗二:EMD和CEEMD兩種信號處理方式的對比。對原始振動信號使用EMD分解,利用其能夠很好的反應(yīng)信號的局部特征和變化趨勢,發(fā)現(xiàn)模型在預(yù)測軸承剩余壽命末期的表現(xiàn)有很大提升,但是由于其本身對于信號極值和噪聲的敏感性,預(yù)測結(jié)果仍未達到理想精度。在EMD基礎(chǔ)上進行改進,使用CEEMD對信號進行分解,利用白噪聲對抵消噪聲帶來的干擾,通過觀察曲線,預(yù)測精度明顯高于前面3種模型。

為了更加具體地說明所提模型的有效性,引入評價指標(biāo),對上述的4種模型進行量化評估。評價結(jié)果如表2所示,可以看出所提模型在3種評價指標(biāo)上,均優(yōu)于其它3種模型。以軸承1-2為例,相比于其它3個模型的MAE、RMSE分別降低了38.3%和28.8%、36.6%和24.6%、22.8%和14.5%,Score分別提高了40%、23%、11%。

表2 消融實驗結(jié)果對比

結(jié)合實際預(yù)測效果圖和評價指標(biāo),能夠看出所提模型的優(yōu)越性。為了進一步說明模型提升效果、泛化性以及在實際生產(chǎn)中的意義,又進行了對比試驗和遷移實驗。

3.4 對比實驗

為了進一步說明所提模型預(yù)測剩余壽命的有效性,與其他文獻的方法CNN、GRU、CNN-LSTM進行比較。以軸承1-2為例進行測試,不同方法預(yù)測的性能指標(biāo)如表3所示?？梢钥闯?CEEMD-TA-TCN相對于其它3個模型的MAE和RMSE分別降低了52.4%和46%、31.3%和27.6%、22.1%和17.4%。Score值分別提高了53%、37%和13%,對于剩余壽命的預(yù)測更加準(zhǔn)確。

表3 與其它文獻方法對比

3.5 遷移實驗

為了驗證所提模型在小樣本、變工況下的泛化性,引入第2.4節(jié)所提遷移學(xué)習(xí)策略。將4 kN徑向力、1800 rpm轉(zhuǎn)速的工況一軸承數(shù)據(jù)集作為源域,4.2 kN徑向力、1650 rpm轉(zhuǎn)速的工況二軸承數(shù)據(jù)集作為目標(biāo)域,比較帶遷移學(xué)習(xí)和不帶遷移學(xué)習(xí)兩種預(yù)測策略的準(zhǔn)確性等指標(biāo)。不帶遷移學(xué)習(xí)為正常進行“留一法”訓(xùn)練學(xué)習(xí),帶遷移學(xué)習(xí)以本實驗為例,則是只用軸承2-1進行參數(shù)微調(diào)訓(xùn)練,為了避免實驗結(jié)果的偶然性,本實驗取10次預(yù)測的平均值,預(yù)測結(jié)果如圖10和表4所示。從圖10可以看出,在預(yù)測初期由于信息較少,兩種模型的剩余壽命預(yù)測中,帶遷移學(xué)習(xí)能夠更好地追蹤退化曲線且預(yù)測精度高。

表4 遷移學(xué)習(xí)評價指標(biāo)對比

圖10 軸承2-6遷移實驗

分析表4能夠看出,帶遷移訓(xùn)練的各項評價指標(biāo)明顯優(yōu)于不帶遷移學(xué)習(xí)。從訓(xùn)練時長來看,帶遷移學(xué)習(xí)分為預(yù)學(xué)習(xí)和遷移學(xué)習(xí)兩部分,在遷移學(xué)習(xí)階段訓(xùn)練時長僅為45 s遠低于不帶遷移學(xué)習(xí)的266 s,這說明在實際生產(chǎn)中,在預(yù)訓(xùn)練的基礎(chǔ)上,使用遷移學(xué)習(xí)可以更快地使模型適應(yīng)不同工況下的剩余壽命預(yù)測。充分證明了所提模型在小樣本、變工況下的優(yōu)越性和泛化性。

4 結(jié)論

針對軸承數(shù)據(jù)樣本不足和訓(xùn)練、測試數(shù)據(jù)難以獨立同分布的問題,本文提出了一種基于時序注意力優(yōu)化的時間卷積網(wǎng)絡(luò)模型和遷移學(xué)習(xí)相結(jié)合的剩余壽命預(yù)測方法,并通過實驗對比證明:

(1)在消融實驗中,用CEEMD代替EMD進行信號處理、用時序注意力機制代替普通注意力機制均獲得了預(yù)測精度的提升。

(2)在對比實驗中,由于所提模型在噪聲消除、特征挖掘、增強時序關(guān)聯(lián)性、擴大感受野等方面皆做了處理,相比于其它文獻常用的CNN、GRU、CNN-LSTM模型預(yù)測精度更高。

(3)在遷移實驗中,引入遷移學(xué)習(xí)的概念,不僅在評價指標(biāo)上有著更優(yōu)異的表現(xiàn),在訓(xùn)練時長上也大幅度縮減。驗證了模型泛化性,對于在實際生產(chǎn)中多變的軸承工況下的剩余壽命預(yù)測有著一定的參考意義。

本文尚未就不同數(shù)據(jù)集、不同軸承進行驗證,這也是我們下一步研究工作的重點。