鄧飛躍, 陳 哲, 郝如江, 楊紹普
(1. 石家莊鐵道大學 機械工程學院,石家莊 050043;2. 石家莊鐵道大學 省部共建交通工程結(jié)構(gòu)力學行為與系統(tǒng)安全國家重點實驗室,石家莊 050043)
隨著機械設(shè)備趨于大型化、復雜化和智能化,其關(guān)鍵部件服役過程日趨呈現(xiàn)出多元化的特點。在變負載、強激勵和大擾動等惡劣工況影響下,關(guān)鍵部件的服役性能不斷惡化。如果能提前預知其使用壽命,便能夠及時維護或者更換,有效避免事故發(fā)生和經(jīng)濟損失。因此,開展機械設(shè)備剩余使用壽命(remaining useful life, RUL)預測研究對于制定維修決策、確保機械系統(tǒng)健康運行具有重要意義[1]。
目前,RUL預測研究主要有基于失效機理模型與數(shù)據(jù)驅(qū)動兩種方法[2]。鑒于機械系統(tǒng)復雜的結(jié)構(gòu)、惡劣的工況,建立準確的失效機理模型難度很大,而數(shù)據(jù)驅(qū)動方法可以通過機器學習方法,研究數(shù)據(jù)特征與剩余壽命之間的映射規(guī)律,具有普適性好、經(jīng)濟性高等優(yōu)點,因此成為當前RUL預測的熱點[3]?;跍\層機器學習的數(shù)據(jù)驅(qū)動方法,如支持向量機(support vector machine,SVM)[4]、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)[5]、k-最近鄰(k-nearest neighbor,KNN)[6]、馬爾科夫模型[7]等,需要事先借助復雜的信號處理技術(shù)提取特征后才能獲取故障演化與健康狀態(tài)間的映射關(guān)系,在分析海量且復雜數(shù)據(jù)時力有未逮。而基于深度學習的深度神經(jīng)網(wǎng)絡(luò)模型,無需復雜的信號預處理技術(shù)便能深入挖掘海量數(shù)據(jù)中蘊含的特征信息。
當前,以卷積神經(jīng)網(wǎng)絡(luò)模型(convolution neural network,CNN)、長短時記憶網(wǎng)絡(luò)(long short-term memory, LSTM)為代表的深度神經(jīng)網(wǎng)絡(luò)在設(shè)備RUL中應用最為廣泛。Ren等[8]采用3個卷積層、3個池化層、1個全連接層構(gòu)建了CNN用于軸承RUL預測。Wang等[9]結(jié)合深度可分離卷積與注意力機制建立的RUL預測模型,其運行效率更高、退化特征選取更準確。Zhu等[10]基于不同的卷積核尺寸構(gòu)建了多尺度CNN進行設(shè)備壽命預測,相比采用單一尺度的CNN,它能夠同時挖掘全局和局部特征信息,特征提取更為準確。蔣全勝等[11]構(gòu)建了一種基于動態(tài)加權(quán)卷積LSTM網(wǎng)絡(luò)模型用于軸承RUL預測,通過引入小波包系數(shù)矩陣動態(tài)加權(quán)算法,篩選出了更為敏感的軸承故障退化特征。Ma等[12]提出一種基于空間卷積LSTM的RUL預測方法,通過提取原始信號的時頻特征來更好地分析滾動軸承全壽命數(shù)據(jù)的時空特性。Luo等[13]提出了一種CNN與Bi-LSTM聯(lián)合的壽命預測方法,先通過CNN獲取特征信息,后利用Bi-LSTM進行軸承RUL預測,通過聯(lián)合網(wǎng)絡(luò)模型將特征提取與RUL預測結(jié)合在一起。上述方法考慮的均是相同工況下的軸承RUL預測。然而,在實際工程中,一方面難以在同一工況下采集大量的樣本數(shù)據(jù),另一方面不同工況下設(shè)備故障退化過程各異,樣本數(shù)據(jù)存在明顯的差異性。因此,在變工況下進行設(shè)備RUL預測更為困難,針對該方面的研究仍鮮有報道。
Transformer是最新提出一種基于自注意力機制的sequence-to-sequence網(wǎng)絡(luò)模型,它采用了平行計算方式,能夠獲取長時間序列中任意向量之間的依賴信息,在時間序列分析方面已經(jīng)超越了CNN,LSTM[14-15]。然而,Transformer仍存在一些不足限制了其在機械設(shè)備RUL預測領(lǐng)域內(nèi)的廣泛應用:①Transformer的注意力機制結(jié)構(gòu),使其丟失了時間序列的位置信息,因此要通過位置編碼添加位置信息,如果序列特征維度過大,將導致輸入模型的參數(shù)量巨大,網(wǎng)絡(luò)訓練會十分困難,且容易出現(xiàn)過擬合等問題;②相比于傳統(tǒng)的CNN,Transformer受限于自注意力機制結(jié)構(gòu),模型細節(jié)特征捕捉能力較弱,一定程度上影響了數(shù)據(jù)特征信息的準確提取。
為了解決上述問題,本文提出了一種基于多尺度時間卷積網(wǎng)絡(luò)(multi-scale temporal convolutional network, MsTCN)和Transformer(MsTCN-Transformer)的融合網(wǎng)絡(luò)模型用于變工況條件下滾動軸承RUL預測,該方法基于“時序特征挖掘+預測”的思想,主要創(chuàng)新點如下:
(1)本文通過融合不同尺度的膨脹因果卷積(dilated causal convolution, DCC),提出了一種新的多尺度膨脹因果卷積單元(multi-scale dilated causal convolution unit, MsDCCU)設(shè)計方法,能夠準確挖掘不同工況下設(shè)備退化信號中的全局與局部特征。
(2)以MsDCCU為基本模塊構(gòu)建了MsTCN網(wǎng)絡(luò)模型,可以自適應地提取變工況條件下軸承故障退化過程中的時序特征信息,有效消除了不同工況下數(shù)據(jù)分布差異的影響,并且對長序列信號進行了降維處理。
(3)構(gòu)建Transformer模型對已提取的時序特征進行預測回歸分析,通過深入挖掘時序特征與軸承RUL之間的映射規(guī)律,有效解決了長序列信號下軸承RUL預測不穩(wěn)定的問題。
CNN通常由卷積層、池化層、全連接層等構(gòu)成,其中卷積層通過對上一層特征圖進行局部卷積運算,將復雜的非線性特征提取到下一層,是CNN的核心操作。卷積操作中感受野范圍定義為輸出特征圖上一點對應輸入特征圖上映射區(qū)域的大小,是影響卷積結(jié)果的重要指標。標準卷積操作中,膨脹因子不變(d=1),進行卷積操作的特征圖中各元素之間沒有間隔,感受野的范圍與卷積核大小相同。膨脹卷積中膨脹因子可以設(shè)置調(diào)整,因此感受野范圍也會隨d值增大而增大。圖1(a)普通卷積中,d=1,卷積核大小為3×3,感受野范圍也是3×3;圖1(b)膨脹卷積中,d=2,感受野的范圍增大為5×5。特別指出的是,膨脹卷積雖然增大了感受野的范圍,但參與卷積運算的特征圖中元素數(shù)量不變,因此不會帶來額外的計算量和參數(shù)量。
圖1 不同膨脹因子的卷積操作
時間卷積網(wǎng)絡(luò)(temporal convolutional network, TCN)的卷積運算具備時域因果關(guān)系,可用于時間序列預測任務(wù),其膨脹因果卷積(dilated causal convolution, DCC)結(jié)構(gòu)如圖2所示。設(shè)定輸入的時間序列為X={x1,x2,…,xT},對應輸出的預測序列為Y={y1,y2,…,yT},其中某一時間節(jié)點對應的yt值僅與當前時間節(jié)點與之前時間節(jié)點的輸入數(shù)據(jù)有關(guān),即
圖2 膨脹因果卷積結(jié)構(gòu)
yt=f(x1,x1,…,xt)
(1)
上述操作杜絕了卷積操作對未來信息的泄露,嚴格執(zhí)行數(shù)據(jù)序列在時間方向上的約束。圖2中堆疊的3個DCC的膨脹因子分別為d=1, 2, 4,隨著d值的增大,通過較少的網(wǎng)絡(luò)層數(shù)便可獲取較大的感受野范圍,使得輸出序列的Y值盡可能多的與輸入X值關(guān)聯(lián),從而能夠較為準確地抓取了時間序列中長時間依賴關(guān)系。此外,為了消除深度神經(jīng)網(wǎng)絡(luò)的梯度消失和爆炸問題,TCN還采取了殘差連接方式,設(shè)定x為殘差塊輸入,o為殘差塊輸出,TCN中殘差函數(shù)表達為
o=Activate(x+Γ(x))
(2)
機械故障信號是典型的非線性、非平穩(wěn)信號,組成成分非常復雜,特征信息分布在不同的頻段范圍內(nèi),因此提取多尺度特征信息可以更好地研究其服役性能退化規(guī)律[16]。Jia等[17]研究證實,CNN中卷積層相當于帶通濾波器,通過卷積運算可以提取不同頻段內(nèi)信息。卷積操作中感受野范圍不同,提取的特征信息尺度也會不同,較大感受野可以獲取全局性的特征信息,而較小感受野則反映了局部的細節(jié)特征信息。因此,Li等[18-19]通過構(gòu)建多尺度CNN模型來增強網(wǎng)絡(luò)的特征信息學習能力。然而,傳統(tǒng)的多尺度網(wǎng)絡(luò)模型均是由多個不同尺寸的卷積核構(gòu)成,隨著卷積核尺寸不斷地增大,模型參數(shù)數(shù)量及卷積運算量會急劇增加,嚴重限制了其在實際工程中的應用。
從圖2 DCC結(jié)構(gòu)可知,雖然堆疊的卷積層感受野范圍逐漸增大,但在每一個層DCC中膨脹因子并不變,感受野范圍固定,每層DCC只能提取特定尺度的特征信息。此外,TCN基于前饋網(wǎng)絡(luò)框架,雖然頂層卷積可以在較大的感受野范圍內(nèi)捕捉時序特征信息,但是隨著逐層DCC中膨脹因子不斷增大,前向傳遞過程中特征層越來越多的元素不再參與卷積運算,特征信息不可避免的被遺棄,這無疑丟失了諸多的數(shù)據(jù)特征信息。因此,如果能在每層DCC中同時挖掘不同尺度的全局與局部特征信息,會更為準確地表征設(shè)備服役性能退化狀態(tài)。
為解決上述問題,本文提出了MsDCCU構(gòu)建方法,其結(jié)構(gòu)如圖3所示。MsDCCU以傳統(tǒng)DCC結(jié)構(gòu)為基礎(chǔ),采用殘差塊連接。主連接中,輸入數(shù)據(jù)首先經(jīng)過ReLU激活層及BN批量歸一化層處理,之后分別經(jīng)過3個不同膨脹因子d=1, 2, 3的DCC層,分別提取不同尺度的時序特征信息,通過Concatenate操作融合成一個新的特征層,然后再次重復上述操作。最后,為了降低模型計算量,使用尺度為1×2,Step=2的最大池化(max polling)層來減小特征圖維度。為了能與主連接中輸出張量維度匹配,殘差連接中加入了一個尺度為1×1,Step=2的普通卷積。本文以MsDCCU為主要組成部分,構(gòu)建了MsTCN用于提取設(shè)備退化序列時序特征,結(jié)構(gòu)如圖4所示。輸入樣本數(shù)據(jù)首先經(jīng)過時間步嵌入處理,通過參考文獻[9],這里取時間步長等于5,之后是一個參數(shù)為64@1×49的普通卷積層和1×3的最大池化層;然后依次連接3個MsDCCU,其中MsDCCU1與MsDCCU2中每個DCC參數(shù)為16@1×3,MsDCCU3中每個DCC參數(shù)為32@1×3;接著通過Flatten層將所有特征圖折疊成一維數(shù)組,利用全連接層輸出樣本維度為8的時序特征;最后使用全連接層求解模型輸出與真實輸出的誤差得到損失函數(shù),利用反向傳播與隨機梯度下降方法得到最終的MsTCN模型。
圖3 多尺度膨脹因果卷積單元結(jié)構(gòu)
圖4 多尺度時間卷積網(wǎng)絡(luò)結(jié)構(gòu)
以LSTM為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)模型存在串行運算、捕捉長期依賴關(guān)系不佳等問題,制約了其運行效率與預測精度的進一步提升。而Transformer模型基于并行運算方式,符合當前計算機圖形處理器(graphic processing unit, GPU)環(huán)境,GPU以核為單位進行并行運算,可支持上百個線程并行操作。多頭注意力機制可以有效獲取長序列間依賴關(guān)系,有效克服了預測序列的記憶力退化問題,因此在預測任務(wù)中展現(xiàn)出了巨大潛力。Transformer模型主要由編碼器與解碼器兩大部分構(gòu)成,編碼器模型結(jié)構(gòu)如圖5所示。已提取的樣本時序特征首先要經(jīng)過位置編碼處理,標識出每一個特征向量的位置信息,具體表示為
圖5 編碼器模型結(jié)構(gòu)
(3)
式中:pos為序列中某個特征向量的位置;dx為添加的特征向量維度,一般取dx=512。位置信息是由不同頻率的正、余弦函數(shù)交叉組成,通過特征向量與相應位置信息疊加,得到了位置編碼后的特征向量序列。需要特別指出的是,輸入序列的維度經(jīng)過位置編碼后會急劇增大,例如:初始維度為M×N×1,M為序列中樣本數(shù),N為樣本中點數(shù),位置編碼后序列維度增加為:M×N×dx,假定M=5、N=4,位置編碼后維度增加過程如圖6所示。設(shè)備退化序列通常為長時間樣本數(shù)據(jù),M和N值往往較大,經(jīng)過位置編碼后輸入Transformer模型的數(shù)據(jù)量迅速增大,模型參數(shù)量也相應激增,網(wǎng)絡(luò)訓練會十分困難。為此,本文提出采用MsTCN提取設(shè)備長時間退化序列中時序特征向量,有效降低輸入Transformer網(wǎng)絡(luò)的數(shù)據(jù)維度。
圖6 維度增加
編碼器第一層為多頭注意力機制,利用縮放點積注意力來實現(xiàn)查詢矩陣Q到鍵矩陣K和值矩陣V的映射,從而得到特征矩陣Xf的注意力值
(4)
(5)
式中,WQ、WK、WV、d分別為Q、K、V對應的權(quán)重矩陣及維度。首先Q與K點積,再使用Softmax歸一化計算權(quán)重系數(shù),最后權(quán)重系數(shù)與V進行點乘得到最終值。多頭注意力機制通過拼接多個單一注意力機制,分別學習不同子空間內(nèi)注意力值,最終經(jīng)過并行運算得到所有子空間中注意力信息并輸入至第二層前饋神經(jīng)網(wǎng)絡(luò)。
解碼器模型結(jié)構(gòu)如圖7所示,首先將設(shè)備的剩余使用壽命與全壽命的比值作為樣本的標簽數(shù)據(jù),經(jīng)過位置編碼后輸入至遮擋多頭注意力機制,通過在多頭注意力機制中增加遮擋操作,屏蔽當前時刻以后的未來標簽數(shù)據(jù)信息。之后,通過相加與層歸一化處理后作為查詢矩陣Q,前面編碼器的輸出作為鍵矩陣K和值矩陣V共同輸入多頭注意力機制,最后經(jīng)過前饋神經(jīng)網(wǎng)絡(luò)處理后輸出。此外,編碼器和解碼器各個子層均采用了殘差連接方式,并且疊加多次使用。在Transformer網(wǎng)絡(luò)輸出端,添加一個線性全連接層,通過Softmax函數(shù)輸出一維序列的預測結(jié)果。整個網(wǎng)絡(luò)訓練過程相當于一個有監(jiān)督的多分類問題,選擇均方誤差(mean squared error, MSE)作為損失函數(shù),采用Adam優(yōu)化算法進行模型訓練與優(yōu)化。
圖7 解碼器模型結(jié)構(gòu)
為了驗證本文所提方法的有效性,試驗針對IEEE PHM2012軸承全壽命公共數(shù)據(jù)集進行分析。該數(shù)據(jù)取自PRONOSTIA試驗臺,如圖8所示。試驗中,采樣頻率為25.6 kHz,采樣時間是0.1 s,每間隔10 s采樣一次,測試過程包括了3種不同工況,共進行了17組全壽命周期試驗,具體試驗工況見表1。
表1 PHM2012軸承數(shù)據(jù)集
圖8 PHM2012軸承試驗臺
本文首先進行全一法下軸承RUL預測,考慮3種不同的工況,將其全部綜合在一起,選取其中16個軸承全壽命數(shù)據(jù)作為訓練集,剩余一個作為測試集。本次試驗分別在每一種工況中選取測試集,依次為軸承1_3、軸承1_7、軸承2_3、軸承2_7、軸承3_3。以軸承1_3為例,一次樣本記錄時間為0.1 s,數(shù)據(jù)點為2 560個,全壽命周期內(nèi)共采集了2 375個樣本,設(shè)置時間步為5后,共計2 371個樣本,據(jù)此判斷軸承壽命為23 750 s。其余軸承均按照此方式進行數(shù)據(jù)樣本整理及壽命預測。
利用本文構(gòu)建的MsTCN網(wǎng)絡(luò),提取時序特征輸入至Transformer網(wǎng)絡(luò),經(jīng)過模型訓練后,對測試軸承進行RUL預測,結(jié)果如圖9所示。圖9中實線表示RUL預測結(jié)果,虛線表示真實RUL結(jié)果。從圖9中可以清楚地觀察到,這5個軸承的RUL預測曲線與真實RUL結(jié)果相近,變化趨勢相同,這證實了本文所提方法能夠較為有效地預測軸承RUL。
圖9 全部工況測試下軸承RUL預測結(jié)果
滾動軸承運行工況復雜且多變,往往難以獲取特定工況下的樣本數(shù)據(jù),因此基于不同工況下的樣本數(shù)據(jù)對特定工況下軸承的RUL進行預測,更符合實際工程需求。基于此,本文進行變工況下的軸承RUL預測,選取一種工況下的軸承全壽命數(shù)據(jù)作為測試集,將另外兩種工況下軸承全壽命數(shù)據(jù)作為訓練集,變工況試驗中,PHM2012軸承全壽命數(shù)據(jù)的訓練集及測試集情況見表2。利用本文所提方法,針對變工況下的軸承RUL進行預測,預測結(jié)果如圖10所示。從圖10中可知,在變工況條件下,所提方法依然達到了較好RUL預測結(jié)果,對比圖9全一法下RUL預測的結(jié)果,兩者的差別非常微小。
表2 變工況下滾動軸承訓練集與測試集分布
圖10 變工況測試下軸承RUL預測結(jié)果
為了能夠更加詳細地比較所提方法在全一法和變工況下軸承RUL預測結(jié)果的準確性,本文選取均方根誤差(root mean square error, RMSE)與得分值(scoring function, SF)兩個指標來定量分析RUL預測結(jié)果,RMSE與SF數(shù)值越小,表示RUL預測結(jié)果準確性越好,誤差率越低。為了保障RUL預測結(jié)果指標評價的可靠性,每次測試分別進行5次,結(jié)果取均值。本文所提方法在全一法和變工況條件下RUL預測結(jié)果的RMSE及SF指標結(jié)果見表3。從表3中可知,在全一法和變工況兩種測試條件下本文所提方法的RUL預測結(jié)果指標相差非常小,這說明所提方法能夠有效提取表征軸承故障退化的時序特征信息,消除了變工況下軸承不同退化過程造成的數(shù)據(jù)分布差異性的影響。
表3 不同測試條件下RUL預測結(jié)果比較
為了驗證MsTCN模型在變工況條件下提取軸承不同故障退化過程時序特征的泛化性能,本文利用可視化t-SNE(t-distributed stochastic neighbor embedding)算法對MsTCN模型不同階段所提取的特征信息進行降維可視化分析。在變工況條件下,分別選取軸承1_3和軸承2_7為測試對象。兩軸承全壽命波形如圖11所示,從圖11中可知,兩軸承全壽命時間相差較大,相比軸承1_3有著較為緩和且明顯的故障失效過程,軸承2_7故障失效過程迅速而短暫,兩軸承故障退化過程中所采集數(shù)據(jù)的差異性明顯。
圖11 軸承全壽命數(shù)據(jù)波形
原始信號數(shù)據(jù)經(jīng)過時間步處理后,軸承1_3和軸承2_7分別包含2 371組、226組樣本,按照故障失效的時間順序?qū)⑺袠颖痉譃?組,然后分別對MsTCN輸入層、首層卷積輸出、MsDCCU1輸出、MsDCCU3輸出、提取時序特征輸出共5個階段的模型輸出特征進行t-SNE可視化分析,結(jié)果分別如圖12、13所示。圖中不同顏色不同形狀的點表示按照軸承故障失效時間順序的樣本數(shù)據(jù)分組。從圖12和圖13中可知,在網(wǎng)絡(luò)模型輸入(原始信號)時,軸承全壽命過程所采集的信號樣本完全聚集并混淆在一起,樣本信號數(shù)據(jù)和軸承服役時間并無對應關(guān)系,隨著模型層數(shù)的增加,不同時間階段的數(shù)據(jù)特征開始逐漸按照軸承服役時間進行排序。從模型最后提取時序特征輸出可以清楚地看到,雖然軸承 1_3和軸承2_7輸出后的可視化形狀不同,但是數(shù)據(jù)特征都已經(jīng)實現(xiàn)了較為清晰的分類聚集,并且按照各自軸承故障失效時間順序彼此首尾相接。這說明本文所提出MsTCN模型在變工況條件下,能夠有效克服軸承故障退化數(shù)據(jù)差異性的影響,所提取出的特征信息按照軸承故障失效時間順序進行了排列,這證實了時序特征的有效性。因此,本文所提MsTCM在同載荷、不同轉(zhuǎn)速下軸承全壽命數(shù)據(jù)中提取的時序特征具有較好的泛化性。需要指出的是,所提取的信號固有時序特征與軸承實際的故障退化特征并不相同,網(wǎng)絡(luò)模型訓練時由于時間標簽的影響,學習得到的特征信息主要反映的是數(shù)據(jù)特征隨時間的變化規(guī)律。軸承全壽命前期的正常狀態(tài)數(shù)據(jù)變化雖然相近,但通過網(wǎng)絡(luò)模型學習得到的時序特征仍然能夠表征數(shù)據(jù)樣本對應的時間順序。
圖12 軸承1_3時序特征可視化結(jié)果
圖13 軸承2_7時序特征可視化結(jié)果
為了更好地驗證本文所提方法在滾動軸承變工況條件下的RUL預測效果,下面選取當前文獻中常用多個的RUL預測方法:DSCN、MsDCNN、CLSTM以及DCNN[20]共4個網(wǎng)絡(luò)模型與所提方法進行分析。在變工況條件下,選取上述方法分別對軸承1_3、軸承2_7進行RUL預測,并通過計算預測結(jié)果的SF與RMSE指標與本文所提方法進行對比,計算結(jié)果分別如圖14、15所示。從圖中可以清楚地觀察到,在變工況測試條件下,與上述4種對比方法的結(jié)果相比,本文所提方法軸承RUL預測結(jié)果的SF與RMSE數(shù)值均最小。通過計算對比可知,本文方法RUL預測結(jié)果的SF值僅為上述4種對比方法SF值的13.5%、7.8%、10.15%、9.9%,RMSE值是15.05%、8.15%、11.85%、8.9%,本文方法的結(jié)果要遠遠小于上述4種對比方法。這充分說明本文所提出方法在變工況條件下的軸承RUL預測中具有更高的準確性,預測結(jié)果要遠優(yōu)于上述對比方法。
圖14 軸承1_3 RUL預測結(jié)果對比
圖15 軸承2_7 RUL預測結(jié)果對比
(1)本文提出一種新的MsTCN-Transformer網(wǎng)絡(luò)模型用于變工況下滾動軸承RUL預測。該方法通過融合不同尺度的膨脹因果卷積,提出了一種新的MsTCN模型,能夠自適應地提取變工況條件下信號中固有的時序特征信息,并基于自注意力機制構(gòu)建了Transformer網(wǎng)絡(luò),準確識別了時序特征與軸承RUL之間的映射關(guān)系。
(2)在變工況條件下,所提網(wǎng)絡(luò)模型能夠較為準確地實現(xiàn)軸承RUL預測,通過有效提取全壽命信號中固有時序特征,克服了軸承故障退化過程中數(shù)據(jù)差異性的影響。通過與當前多種模型進行對比,所提模型RUL預測準確性更為優(yōu)越。