基于時間卷積注意力網(wǎng)絡(luò)的剩余壽命預(yù)測方法

劉 麗，裴行智，雷雪梅

(1.北京科技大學(xué) 自動化學(xué)院，北京 100083；2.北京科技大學(xué) 順德研究生院，廣東 佛山 528399；3.北京科技大學(xué) 信息化建設(shè)與管理辦公室，北京 100083)

0 引言

當(dāng)今工業(yè)規(guī)模隨著社會進(jìn)步和科技發(fā)展而不斷擴(kuò)大，工業(yè)過程的復(fù)雜度也隨之不斷提高。系統(tǒng)中的設(shè)備逐漸復(fù)雜化，使得其極易發(fā)生故障，且隨著規(guī)模增大，工業(yè)設(shè)備通常由眾多部件組成，其機(jī)構(gòu)層次多，不同部件之間存在著復(fù)雜的關(guān)系，系統(tǒng)某一處的故障可能會引發(fā)一系列的連鎖反應(yīng)，這些故障一旦發(fā)生且未能及時發(fā)現(xiàn)與處理，將帶來巨大的經(jīng)濟(jì)損失和人員傷害。故障診斷技術(shù)不僅是提高設(shè)備安全性和可靠性的重要手段，還可以節(jié)約設(shè)備整個生命周期的運行維護(hù)成本。然而，目前故障診斷研究主要集中在系統(tǒng)“當(dāng)前”的運行狀態(tài)評價，屬于“事后維修”，即在系統(tǒng)出現(xiàn)故障后判斷產(chǎn)生故障的位置以及故障的類別。由于故障已經(jīng)產(chǎn)生，極有可能已經(jīng)造成了財產(chǎn)損失和人員傷害，而“計劃維修”又經(jīng)常造成過度維修。實際的系統(tǒng)維護(hù)更加需要實時在線的故障預(yù)測方法，傳統(tǒng)的故障診斷方法已經(jīng)不能完全適應(yīng)復(fù)雜裝備系統(tǒng)故障診斷需求。因此，將故障消滅在萌芽階段的“預(yù)知維修”成為復(fù)雜裝備系統(tǒng)未來保障維護(hù)的發(fā)展方向。

故障預(yù)測與健康管理是保障設(shè)備可靠性和安全性的一項關(guān)鍵技術(shù)[1]。故障預(yù)測指基于設(shè)備當(dāng)前使用條件，通過對裝備狀態(tài)監(jiān)測數(shù)據(jù)進(jìn)行分析，結(jié)合其結(jié)構(gòu)特性、運行條件、環(huán)境參數(shù)以及其歷史的運維情況，根據(jù)裝備未來的使用情況，預(yù)測其未來的健康狀況，包括確定未來可能發(fā)生的故障、判斷故障程度和部位、預(yù)測故障發(fā)展的趨勢和剩余使用壽命(Remaining Useful Life，RUL)等。故障預(yù)測技術(shù)中兩個最關(guān)鍵的問題為“健康狀況評估”和“剩余使用壽命預(yù)測”。

隨著人工智能技術(shù)的發(fā)展，數(shù)據(jù)驅(qū)動技術(shù)尤其是深度學(xué)習(xí)技術(shù)，在設(shè)備剩余壽命預(yù)測研究領(lǐng)域越來越受關(guān)注。數(shù)據(jù)驅(qū)動的RUL預(yù)測方法可以從大量的監(jiān)測數(shù)據(jù)中學(xué)習(xí)到系統(tǒng)的退化特征，并通過機(jī)器學(xué)習(xí)或統(tǒng)計學(xué)技術(shù)建立起RUL預(yù)估模型。傳統(tǒng)的數(shù)據(jù)驅(qū)動預(yù)測方法通常包括3個步驟：手工設(shè)計特征、學(xué)習(xí)退化特征和RUL估計[2]。手工設(shè)計特征指利用先驗知識或信號處理技術(shù)，從采集到的監(jiān)測數(shù)據(jù)中提取敏感的退化特征。SOUALHI等[3]提出利用希爾伯特—黃變換提取振動信號特征的方法；GAO等[4]提出利用短時傅里葉變換提取信號，然后將這些特征輸入自回歸、隱馬爾可夫模型和支持向量機(jī)等機(jī)器學(xué)習(xí)模型，學(xué)習(xí)設(shè)備的退化特征，并估計RUL值;SIKORSKA等[5]提出建立自回歸退化模型;KHELIF等[6]提出一種支持向量回歸預(yù)測方法。雖然這些方法可以推斷數(shù)據(jù)中的相關(guān)性和因果關(guān)系，但手工設(shè)計特征仍然需要大量的工作。

與傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)不同，深度學(xué)習(xí)技術(shù)可以利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，從原始數(shù)據(jù)直接映射出輸入到輸出的復(fù)雜函數(shù)，而不完全依賴于手動提取特征。深度學(xué)習(xí)技術(shù)因其具有強(qiáng)大的特征表征能力，為RUL預(yù)測技術(shù)帶來了新的機(jī)遇，逐漸成為學(xué)術(shù)界和工業(yè)界共同的研究熱點[7]。MA等[8]將稀疏自編碼器(Sparse Autoencoder，SAE)與Logistic回歸相結(jié)合來預(yù)估RUL值，其中SAE通過多層堆疊提取深層退化特征，通過Logistic回歸得到RUL值；宋亞等[9]提出整合自編碼器和雙向長短期記憶網(wǎng)絡(luò)的混合RUL預(yù)測模型，優(yōu)化渦扇發(fā)動機(jī)的剩余壽命預(yù)測；REN等[10]通過全連接自編碼器提取軸承退化特征;LIAO等[11]提出一種增強(qiáng)的受限玻爾茨曼機(jī)(Restricted Boltzmann Machine，RBM)來學(xué)習(xí)退化表示并預(yù)估RUL值;ZHANG等[12]提出一種用于RUL預(yù)測的RBM集成網(wǎng)絡(luò)，采用多目標(biāo)優(yōu)化算法優(yōu)化多個DBN網(wǎng)絡(luò)；CHENG等[13]利用固有模態(tài)函數(shù)和希爾伯特變換得到描述齒輪退化的退化能量指標(biāo)(Degradation Energy Indicator，DEI)，并在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)事作為輸入數(shù)據(jù)的標(biāo)簽，最終將DEI引入支持向量機(jī)進(jìn)行RUL估計；ZHENG等[14]提出利用多層長短期記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)來預(yù)測RUL值，并與多層感知器、支持向量機(jī)等方法進(jìn)行了比較，實驗結(jié)果表明LSTM相比其他算法能獲得更高的RUL預(yù)測精度；LIU等[15]提出特征注意力機(jī)制直接作用于輸入數(shù)據(jù)，在訓(xùn)練過程中動態(tài)地為更重要地特征賦予更大的注意力權(quán)重，并將特征輸入雙向門控循環(huán)單元(Gated Recurrent Unit， GRU)中提取長期時序信息，隨后用卷積神經(jīng)網(wǎng)絡(luò)捕獲局部特征。

大量的數(shù)據(jù)驅(qū)動技術(shù)被應(yīng)用到了機(jī)器的健康監(jiān)測，但現(xiàn)有的故障預(yù)測技術(shù)依舊存在不足。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)常被用作提取時序數(shù)據(jù)的特征，其獨特的機(jī)制雖然能夠有效提取時序特征，卻也帶來了計算復(fù)雜、無法并行計算等缺點，在工業(yè)大規(guī)模的實時監(jiān)控中，難以達(dá)到其對實時性的要求；卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)雖能夠?qū)崿F(xiàn)大規(guī)模的并行運算，但簡單的卷積網(wǎng)絡(luò)結(jié)構(gòu)難以從長期的時序數(shù)據(jù)中有效地提取信息，且傳感器數(shù)據(jù)中包含了大量的冗余信息，這些信息將會干擾模型對相關(guān)決策的判斷。

針對上述問題，本文提出以一種新的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——時間卷積注意力網(wǎng)絡(luò)，來進(jìn)行RUL預(yù)測。首先，考慮到CNN和RNN的優(yōu)缺點，本文引用一種簡單有效的卷積網(wǎng)絡(luò)結(jié)構(gòu)，即時間卷積神經(jīng)網(wǎng)絡(luò)(Temporal Convolutional Network，TCN)[16]，該網(wǎng)絡(luò)結(jié)構(gòu)在許多序列數(shù)據(jù)建模任務(wù)上超過了RNN及其變種。此外，為了從多傳感器數(shù)據(jù)中提取重要的退化特征信息，本文引入了通道注意力機(jī)制，通過對特征信息加權(quán)，提取重要信息，抑制冗余信息。最終將學(xué)習(xí)到的深層特征通過線性層進(jìn)行RUL值估計。在C-MAPSS數(shù)據(jù)集上的實驗結(jié)果表明，本文所提方法能夠有效提升RUL預(yù)測的精度。

1 時間卷積注意力網(wǎng)絡(luò)

本文提出的時間卷積注意力網(wǎng)絡(luò)預(yù)測方法主要包括數(shù)據(jù)預(yù)處理、滑動窗口提取、退化特征學(xué)習(xí)和預(yù)測剩余壽命值等階段。

1.1 數(shù)據(jù)預(yù)處理

由于不同傳感器數(shù)據(jù)具有不同的量綱，數(shù)據(jù)間的不同量綱會導(dǎo)致網(wǎng)絡(luò)在進(jìn)行反向傳播時，梯度下降尋求最優(yōu)解時的收斂速度變慢，為了減少這種不同量綱帶來的影響，本文引用歸一化方法對原始數(shù)據(jù)進(jìn)行處理，消除量綱的影響，將數(shù)據(jù)縮放到[0, 1]的范圍內(nèi)，加速網(wǎng)絡(luò)參數(shù)優(yōu)化收斂速度。歸一化方法如下：

(1)

隨著工業(yè)過程系統(tǒng)變得越來越復(fù)雜，設(shè)備中的運行條件與運行模型愈加復(fù)雜。設(shè)備在不同的工況模式下運行，傳感器收集到的數(shù)據(jù)將服從不同的分布，這將會影響模型預(yù)測RUL值的效果。如圖1所示為C-MAPSS[17]數(shù)據(jù)集的FD002子數(shù)據(jù)集中某一設(shè)備通過K-Means聚類得到的運行工況的變化過程，F(xiàn)D002數(shù)據(jù)集共有6種不同的工況模式。由于大多數(shù)據(jù)中并沒有明確標(biāo)注設(shè)備的工況模式，需要采用無監(jiān)督的聚類方法對服從不同分布的數(shù)據(jù)進(jìn)行聚類，并對每一類數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使之服從均值為0，方差為1的分布。標(biāo)準(zhǔn)化方法如下：

(2)

式中：xi表示第i種操作模式；μi和σi分別表示數(shù)據(jù)的均值和方差。

如圖2所示為標(biāo)準(zhǔn)化變化前后傳感器2的數(shù)據(jù)分布變化，可以看出，經(jīng)過標(biāo)準(zhǔn)化操作，傳感器數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布。如圖3所示為C-MAPSS數(shù)據(jù)集的子數(shù)據(jù)集FD002中的部分設(shè)備傳感器數(shù)據(jù)。圖3a為標(biāo)準(zhǔn)化之前的傳感器數(shù)據(jù)，圖3b為標(biāo)準(zhǔn)化之后的傳感器數(shù)據(jù)，可以看出，由于分布的影響，數(shù)據(jù)中無法看出明顯的退化特征，而經(jīng)過標(biāo)準(zhǔn)化之后，消除了數(shù)據(jù)分布變化的影響，數(shù)據(jù)中的退化特征變得更為明顯。

1.2 滑動時間窗處理

對于時序數(shù)據(jù)處理問題，通常會采用滑動時間窗口，對原始多維傳感器序列進(jìn)行時間窗滑動處理，構(gòu)造時序數(shù)據(jù)樣本。例如，對經(jīng)過歸一化和標(biāo)準(zhǔn)化后的K維傳感器數(shù)據(jù)進(jìn)行時間窗口處理，傳感器數(shù)據(jù)維度為K，時間窗口長度為T，時間窗口每次沿著時間方向向前滑動一個時間單位，因此單個訓(xùn)練樣本為一個T×K的二維張量，若生成的第一個時間序列可以描述為[xi,xi+1,…,xi+T-1]，則生成的下一個時間序列為[xi+1,xi+2,…,xi+T]，其中xi=[xi,1,xi,2,…,xi,K]。

(3)

數(shù)據(jù)中的剩余壽命(RUL)標(biāo)簽值都是隨時間線性下降的，然而設(shè)備的健康程度并不會隨著時間線性下降。設(shè)備在運行的初期退化特征不明顯，甚至可以忽略不計，而隨著時間的推移，退化的特征逐漸明顯，且退化速度會逐漸加劇，這導(dǎo)致設(shè)備運行初期的RUL值難以估計。RUL作為衡量設(shè)備健康程度的一種參數(shù)，在設(shè)備運行初期重要程度相對較低，因此可以對剩余壽命值進(jìn)行截斷，將設(shè)備運行初期的RUL值設(shè)定為一個常數(shù)閾值，如果早期的RUL值大于這個閾值，則默認(rèn)該時間點的標(biāo)簽為閾值常數(shù)的值，為了與其他方法對比，參考文獻(xiàn)[19]中將這個常數(shù)閾值設(shè)定為125。

1.3 時間卷積神經(jīng)網(wǎng)絡(luò)模塊

傳統(tǒng)的時序預(yù)測問題中常用RNN作為提取時序特征的基礎(chǔ)模型，然而RNN獨特的結(jié)構(gòu)在處理長期時序數(shù)據(jù)時，會出現(xiàn)“長期依賴”問題，即在反向傳播過程中，由于遵循鏈?zhǔn)椒▌t，無法從時序序列數(shù)據(jù)的“后期”提取到關(guān)鍵的信息。為解決此問題，研究者們提出了長短期記憶網(wǎng)絡(luò)(Long Short-Term Memery network,LSTM)與門控循環(huán)網(wǎng)絡(luò)(GRU)等模型。然而這類神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)為串行機(jī)制，即遞進(jìn)處理每一個時序數(shù)據(jù)中的數(shù)據(jù)點，因此難以進(jìn)行大規(guī)?？焖俨⑿杏嬎?。

CNN模型有著參數(shù)共享、稀疏連接等優(yōu)點，由于其具備獨特的二維結(jié)構(gòu)，常被用作提取圖像數(shù)據(jù)中的特征信息，為了提高模型的泛化性，CNN設(shè)置多個小尺寸卷積核替代一個大尺寸卷積核，然而這造成了單層CNN中的小尺寸卷積核僅能從時序信息中提取短期的時序特征信息，如果為了提取長期的時序信息而增加網(wǎng)絡(luò)層數(shù)，又會增加網(wǎng)絡(luò)在反向傳播更新參數(shù)時“梯度消失”的風(fēng)險。

綜合RNN和CNN的優(yōu)缺點，本文中引入了時間卷積神經(jīng)網(wǎng)絡(luò)(TCN)。TCN是一種一維卷積網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)主要由擴(kuò)張因果卷積和殘差連接組成，其結(jié)構(gòu)相對簡單，但在多個任務(wù)上精度超越了LSTM和GRU等循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。由于TCN中共享卷積核的引入，使得模型能夠進(jìn)行一定規(guī)模的并行計算，提升了模型計算的速度。

由于在時間維度上處理時序數(shù)據(jù)時，任意時刻t的輸出yt應(yīng)當(dāng)僅依賴于當(dāng)前時刻t及之前的輸入，即實際處理時序預(yù)測問題時，應(yīng)當(dāng)保證模型具有因果性。因此，TCN卷積結(jié)構(gòu)中采用因果卷積在時間維度上對卷積運算進(jìn)行約束，保證了上一層t時刻的輸出yt只依賴于下一層傳遞的輸入x0,x1,…,xt，而不依賴于任何的未來信息xt+1,xt+2,…,xT，解決了存在從未來到過去的信息泄漏問題。

此外，TCN中還引入了深度殘差網(wǎng)絡(luò)(Residual Network, ResNet)[20]中的殘差連接結(jié)構(gòu)，使網(wǎng)絡(luò)可以跨層傳遞信息，提高了淺層網(wǎng)絡(luò)特征的信息流動性，解決了神經(jīng)網(wǎng)絡(luò)中層數(shù)疊加造成的梯度消失問題。

目前已有基于TCN網(wǎng)絡(luò)實現(xiàn)RUL預(yù)測方法，Ji等[21]利用TCN網(wǎng)絡(luò)實現(xiàn)RUL預(yù)測;CAO等[22]利用TCN結(jié)構(gòu)提取時序信息，并利用殘差自注意力機(jī)制處理TCN結(jié)構(gòu)中所提取的信息；YANG等[23]利用經(jīng)驗?zāi)B(tài)分解對傳感器信號進(jìn)行處理，并通過TCN網(wǎng)絡(luò)實現(xiàn)RUL預(yù)測。

如圖5所示為本文所采用的TCN結(jié)構(gòu)，對傳統(tǒng)的TCN結(jié)構(gòu)進(jìn)行了調(diào)整。隨著網(wǎng)絡(luò)參數(shù)的更新，網(wǎng)絡(luò)中每一層輸入的分布都在發(fā)生變化，這種數(shù)據(jù)分布的變化稱為內(nèi)部協(xié)變量偏移，因此在每一層擴(kuò)張因果卷積之后添加批標(biāo)準(zhǔn)化層，使得每一層網(wǎng)絡(luò)的輸入都能得到歸一化。在標(biāo)準(zhǔn)化層之后，采用ReLU激活函數(shù)提升模型擬合非線性數(shù)據(jù)的能力，并引入Dropout緩解模型過擬合的風(fēng)險。ResNet模型中將原始輸入直接與卷積層的輸出相加，而TCN模型將殘差鏈接替換成了1×1卷積，為了使原始的輸入信息不會丟失，令卷積層的輸出能夠與殘差塊的原始輸入直接相加，保持初始輸入特征中的恒等映射，為了模型在細(xì)粒度特征中提取出更有用的信息，本文將1×1卷積放置在卷積層后，使得卷積層的輸出與原始輸入具有相同的尺寸。

1.4 通道注意力模塊

現(xiàn)實情況中，傳感器采集到的時序信息中包含大量冗余信息，若將冗余信息與重要信息同等對待，將會干擾模型提取信息的性能。注意力機(jī)制已成為目前深度學(xué)習(xí)領(lǐng)域的主流方法和研究熱點之一，在圖像識別、語音識別和自然語言處理等領(lǐng)域得到廣泛應(yīng)用。它通過改進(jìn)源語言表達(dá)方式，在解碼中動態(tài)選擇源語言相關(guān)信息，從而極大地改善了經(jīng)典Encoder-Decoder框架的不足，能夠關(guān)注數(shù)據(jù)特征中的關(guān)鍵信息，而忽略掉數(shù)據(jù)特征中的冗余信息。

(4)

(5)

將最大池化和平均池化得到的輸出特征ml和al分別置入多層感知器(Multilayer Perceptron，MLP)，MLP中含有一個線性隱含層，為減少網(wǎng)絡(luò)中的參數(shù)開銷，隱含層的神經(jīng)元數(shù)為k/r，其中r為下降率，k為通道數(shù)。通過MLP網(wǎng)絡(luò)得到的兩組輸出特征通過element-wise求和進(jìn)行合并，合并后的輸出通過hard sigmoid激活函數(shù)進(jìn)行歸一化，最終得到的輸出特征圖與原始輸入進(jìn)行element-wise乘積，得到通道注意力模塊的最終輸出。

本文中所應(yīng)用的通道注意力機(jī)制，通過最大池化和平均池化在退化特征數(shù)據(jù)中提取不同的信息。最大池化提取每個通道中的最大值，即每個通道中信息的“最大反饋”，當(dāng)進(jìn)行梯度反向傳播時，梯度將會反饋“相應(yīng)最大”的地方。平均池化計算了每個通道中數(shù)據(jù)的平均值，提取了對所有信息的平均反饋，彌補(bǔ)了最大池化只關(guān)注最重要的信息而完全忽略其他次重要信息的問題。因此，通道注意力機(jī)制通過最大池化和平均池化“突出”重要信息，“抑制”不重要的信息。最終，通過hard sigmoid激活函數(shù)將輸出特征進(jìn)行歸一化，以此來表征時間卷積模塊輸出特征中信息的重要程度。

1.5 TCAN具體建模流程

本文所提出的剩余壽命預(yù)測方法流程如圖7所示，首先對原始傳感器數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，挑選退化特征明顯的數(shù)據(jù)、數(shù)據(jù)歸一化和標(biāo)準(zhǔn)化、時間窗口處理與設(shè)定RUL標(biāo)簽。經(jīng)過數(shù)據(jù)預(yù)處理之后，構(gòu)建TCAN網(wǎng)絡(luò)模型、初始化模型中的參數(shù)，并利用訓(xùn)練好的數(shù)據(jù)通過反向傳播更新網(wǎng)絡(luò)參數(shù)。得到訓(xùn)練好的模型時，便可將模型用于預(yù)測。

TCAN具體建模流程如下：

(1)特征選擇，選擇退化特征明顯的傳感器數(shù)據(jù)作為原始輸入數(shù)據(jù)。

(2)數(shù)據(jù)規(guī)范化，對第1步中選擇的原始傳感器數(shù)據(jù)進(jìn)行歸一化，縮放到[0, 1]范圍內(nèi)，然后通過K-means聚類識別數(shù)據(jù)中的工況模式，并對每類數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使之服從均值為0、方差為1的分布，消除不同工況模式對退化特征的影響。

(3)滑動窗口構(gòu)造樣本，對于規(guī)范化之后的數(shù)據(jù)，利用1.2節(jié)中滑動窗口方法提取時間步長為Ntw的時序序列數(shù)據(jù)。然后計算步長為Ntw的數(shù)據(jù)的均值和回歸系數(shù)，作為每一組時序數(shù)據(jù)的額外特征。

(4)設(shè)置RUL標(biāo)簽，設(shè)定RUL標(biāo)簽值的最大閾值Rearly，如果真實RUL標(biāo)簽值超過閾值，則實際RUL值設(shè)定為Rearly。

(5)特征學(xué)習(xí)，如圖8所示，特征學(xué)習(xí)模塊由三層時間卷積神經(jīng)網(wǎng)絡(luò)模塊和通道注意力模塊疊加組成。其中每一層空洞因果卷積有Fk個卷積核，每個卷積核的尺寸為kd，且3個殘差模塊中空洞因果卷積的擴(kuò)張因子分別為d1，d2和d3。

(6)輸出RUL預(yù)估值，將特征學(xué)習(xí)產(chǎn)生的傳感器數(shù)據(jù)中的二維退化特征張量拼接成一維特征向量，并通過含有FN1、FN2個神經(jīng)元，激活函數(shù)為ReLU的全連接層構(gòu)成全饋神經(jīng)網(wǎng)絡(luò)，從一維特征向量中提取信息，并最終通過一個神經(jīng)元輸出層輸出RUL預(yù)估值。

(7)訓(xùn)練優(yōu)化網(wǎng)絡(luò)模型，應(yīng)用Xavier正態(tài)分布方法[24]初始化網(wǎng)絡(luò)參數(shù)，得到RUL預(yù)估值之后，用均方誤差(Mean Squared Error，MSE)作為目標(biāo)函數(shù)計算預(yù)估值RULpred和真實值RULtrue之間的誤差，并利用Adam優(yōu)化算法[25]更新網(wǎng)絡(luò)中的參數(shù)值。

2 實驗結(jié)果

本文在C-MAPSS數(shù)據(jù)集上進(jìn)行RUL預(yù)測實驗，并通過均方根誤差和評分函數(shù)兩個評價指標(biāo)對TCAN進(jìn)行性能分析，并與以下方法進(jìn)行比較：相關(guān)向量機(jī)(Relevance Vector Machine，RVM)[26]、集成多目標(biāo)深度置信網(wǎng)絡(luò)(Multi-Objective Deep Belief Network Ensemble，MODBNE)[12]、長短期記憶(LSTM)網(wǎng)絡(luò)[19]、雙向LSTM網(wǎng)絡(luò)(Bi-directional LSTM，BiLSTM)[27]、深度半監(jiān)督學(xué)習(xí)(semi-supervised deep architecture)[28]、深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolution Neural Network，DCNN)[19]和有向無環(huán)圖(Directed Acyclic Graph，DAG)[29]神經(jīng)網(wǎng)絡(luò)。所有實驗通過Keras 2.4.2實現(xiàn)，并運行于一臺Intel Core i5-8 300H CPU、16 GB RAM 和 GeForce GTX 1 060 GPU的計算機(jī)上。為消除偶然性的影響，將所有實驗在相同環(huán)境下進(jìn)行了10次。

2.1 C-MAPSS數(shù)據(jù)集

C-MAPSS數(shù)據(jù)集是一種RUL預(yù)估實驗中常見的數(shù)據(jù)集。該數(shù)據(jù)集為NASA收集的渦扇發(fā)動機(jī)模擬退化數(shù)據(jù)，由4個子數(shù)據(jù)集組成，每個子集中又包含多個發(fā)動機(jī)的全壽命數(shù)據(jù)。如表1所示，4個子數(shù)據(jù)集分別為FD001、FD002、FD003和FD004，每個子數(shù)據(jù)集均由訓(xùn)練集和測試集組成。每個數(shù)據(jù)集中都包括26列特征，分別為設(shè)備ID，采樣時間周期，3個操作設(shè)置變量和21個傳感器變量。而21維傳感器數(shù)據(jù)中包含很多常數(shù)數(shù)據(jù)或無用數(shù)據(jù)，會對RUL預(yù)測產(chǎn)生負(fù)面影響，因此從21維傳感器數(shù)據(jù)中選取14維作為訓(xùn)練的原始數(shù)據(jù)，這14維傳感器數(shù)據(jù)分別為第2、3、4、7、9、11、12、13、14、15、17、20和21號傳感器。

表1 C-MAPSS數(shù)據(jù)集

2.2 評價指標(biāo)

為了評價模型預(yù)測精度，本文引用了故障預(yù)測與健康管理國際會議數(shù)據(jù)競賽中的兩個性能評價指標(biāo)，即均方根誤差(Root Mean Square Error，RMSE)和評分函數(shù)(score function)。評分函數(shù)是一種非對稱的評價指標(biāo)，對“超前預(yù)測”和“滯后預(yù)測”會有不同程度的懲罰力度，當(dāng)“超前”的程度與“滯后”的程度相同時，“滯后預(yù)測”會得到更高的分?jǐn)?shù)。若RUL預(yù)測值小于實際值，則視為“超前預(yù)測”，反之則視為“滯后預(yù)測”。由于在設(shè)備的維護(hù)中，“超前維護(hù)”意味著維護(hù)人員會在設(shè)備實際出現(xiàn)故障之前就會去維護(hù)設(shè)備，其可能會帶來維護(hù)資源的浪費，而“滯后維護(hù)”意味著在出現(xiàn)明顯故障的情況下，設(shè)備仍然運行了一段時間，可能產(chǎn)生經(jīng)濟(jì)上的損失和人員傷害。因此，結(jié)合實際情況，“滯后維護(hù)”帶來的損失要高于“超前維護(hù)”，對于“滯后預(yù)測”的懲罰力度要大于“超前預(yù)測”。

均方根誤差定義如下：

(6)

評分函數(shù)定義如下：

(7)

其中：N為數(shù)據(jù)樣本點總個數(shù);di=RUL′i-RULi表示預(yù)測值RUL′i和真實值RULi之間的差值。

綜上所述，均方根誤差和評分函數(shù)值越小，則模型預(yù)測精度越高。

2.3 超參數(shù)對實驗結(jié)果的影響

超參數(shù)設(shè)置對實驗結(jié)果具有很大的影響，為了尋找使模型性能較優(yōu)的參數(shù)，通過控制唯一變量的方式，對模型中對預(yù)測結(jié)果影響較大的參數(shù)進(jìn)行調(diào)優(yōu)。其中時間窗口長度、時間卷積模塊數(shù)和卷積核個數(shù)對實驗結(jié)果影響較大，本文分別對這3個參數(shù)進(jìn)行了調(diào)參實驗，這些參數(shù)的不同值在FD001子數(shù)據(jù)集上對預(yù)測性能的影響分別如表2～4所示。可以看到，時間窗口長度為30、時間卷積模塊數(shù)為3、卷積核個數(shù)為32時，模型的預(yù)測性能最優(yōu)。用同樣方法在FD002、FD003和FD004數(shù)據(jù)集上測試時間窗口長度參數(shù)，分別為50、30和50時最優(yōu)。此外，在CNN結(jié)構(gòu)中，通常會趨向于使用小尺寸卷積核，且擴(kuò)張因果卷積的堆疊可以擴(kuò)大單層神經(jīng)網(wǎng)絡(luò)的感受野，參考文獻(xiàn)[18]，將卷積核的尺寸kd設(shè)置為5，在保證感受野的同時可以減少模型中的參數(shù)量，為了保證網(wǎng)絡(luò)能夠提取較大的感受野，時間卷積模塊中的擴(kuò)張因子設(shè)置為遞增的方式。通過參數(shù)調(diào)優(yōu)及分析，TCAN模型的超參數(shù)設(shè)置如表5所示。

表2 不同時間窗口長度對實驗結(jié)果的影響

表3 不同時間卷積模塊數(shù)對實驗結(jié)果的影響

表4 不同卷積核個數(shù)對實驗結(jié)果的影響

表5 網(wǎng)絡(luò)中的超參數(shù)

2.4 實驗結(jié)果與分析

為說明注意機(jī)制可以有效提高RUL預(yù)估的精度，將本文提出的帶注意力機(jī)制TCAN方法與未引入注意機(jī)制TCN方法進(jìn)行了對比，實驗結(jié)果如表6所示?？梢钥闯?，在每個子數(shù)據(jù)集上TCAN的RMSE和Score均低于TCN，表明TCANRUL預(yù)測的準(zhǔn)確性較高。

表6 TCAN與TCN預(yù)測結(jié)果對比

此外，由表6中4個子數(shù)據(jù)集的結(jié)果對比可以發(fā)現(xiàn)，F(xiàn)D001和FD003子數(shù)據(jù)集上的RUL預(yù)測結(jié)果明顯優(yōu)于FD002和FD004，這是由于FD001和FD003兩個子數(shù)據(jù)集是單工況模式，而FD002和FD004分別采集自6種工況條件下，不同工況對預(yù)測結(jié)果的精度產(chǎn)生了一定的影響。因此，F(xiàn)D002和FD004數(shù)據(jù)集上的RUL預(yù)測難度要高于FD001和FD003。

采用TCAN模型對FD001子數(shù)據(jù)集的100個設(shè)備從開始運行到出現(xiàn)故障的整個運行過程的全壽命數(shù)據(jù)做了預(yù)測，如圖9所示為部分設(shè)備的RUL預(yù)測結(jié)果。圖9a～圖9d分別為設(shè)備編號為34、49、81和100的RUL預(yù)測值。圖中的直線是經(jīng)過裁剪處理之后的RUL真實值，其值會隨著采樣周期的變化而線性減小，圖中曲線為TCAN模型輸出的RUL值?？梢钥闯?，本文所提出TCAN方法的預(yù)測結(jié)果基本上可以擬合RUL真實值，但在設(shè)備運行的初期誤差高于后期，這是由于設(shè)備在運行初期退化特征不明顯，而隨著退化特征的突出，預(yù)測精度將逐漸提高。

為了進(jìn)一步說明TCAN預(yù)測RUL的有效性，與其他文獻(xiàn)的方法RVM[26]、MODBNE[12]、LSTM[19]、BiLSTM[27]、Semi-supervised[28]、DCNN[19]和DAG[29]等進(jìn)行比較。所有這些方法都在C-MAPSS數(shù)據(jù)集上進(jìn)行了測試，不同方法預(yù)測的性能指標(biāo)RMSE和Score如表7所示?？梢钥闯觯?TCAN方法在每一個子數(shù)據(jù)集的RMSE均較低，雖然DAG方法在FD001數(shù)據(jù)集上取得了較低的Score值，但與TCAN差異較小。在4個子數(shù)據(jù)集上，TCAN模型的RMSE值相較其他方法的RMSE最低值分別降低了2.67%、15.38%、4.49%和14.53%。尤其是在子數(shù)據(jù)集FD002和FD004中，性能提升效果明顯，因此本文所提出的TCAN模型在RUL預(yù)測方面，尤其是多工況條件下的預(yù)測效果提升顯著。

表7 TCAN與其他方法預(yù)測結(jié)果對比

3 結(jié)束語

本文提出一種新的基于注意力機(jī)制的時間卷積神經(jīng)網(wǎng)絡(luò)的設(shè)備剩余壽命預(yù)估方法。該方法同時考慮了RNN和CNN中的性能，引入TCN提取傳感器數(shù)據(jù)中的退化特征，并引入通道注意力機(jī)制從每一個時間卷積殘差塊中提取重要的退化特征信息。為了驗證本文所提出的方法能夠有效提升RUL預(yù)測精度，在C-MAPSS數(shù)據(jù)集上進(jìn)行了實驗，并與其他方法RVM、MODBNE、LSTM、BiLSTM、深度半監(jiān)督學(xué)習(xí)結(jié)構(gòu)、DCNN、DAG等進(jìn)行了對比分析。結(jié)果表明，TCAN在提取傳感器數(shù)據(jù)退化信息、預(yù)測RUL，尤其是多工況條件下，RUL預(yù)測精度較高。

本文中所提方法未考慮RUL預(yù)測中不確定性問題。工業(yè)生產(chǎn)環(huán)境中，存在著諸多的不確定性因素，雖然精確的RUL預(yù)測能夠得到真實反映設(shè)備健康狀況的剩余壽命值，但是為了提升預(yù)測的可靠性，需量化RUL預(yù)測中的不確定性。當(dāng)前的模型中大多引入貝葉斯神經(jīng)網(wǎng)絡(luò)來量化不確定性，但會引入額外參數(shù)，從而增加模型計算時間。已有文獻(xiàn)表明引入了Dropout的神經(jīng)網(wǎng)絡(luò)層相當(dāng)于對神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行了變分推斷，通過多次采樣即可得到模型的不確定性，即蒙特卡洛Dropout方法。本文提出的TCAN網(wǎng)絡(luò)結(jié)構(gòu)中引入了Dropout，未來將進(jìn)一步研究基于蒙特卡洛Dropout 的RUL預(yù)測的不確定性問題。