基于Transformer 模型的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)方法

周哲韜，劉路，宋曉，陳凱

(1.北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191；2.北京航空航天大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京 100191；3.南京航空航天大學(xué)機(jī)電學(xué)院，南京 210016)

滾動(dòng)軸承被稱為“工業(yè)的關(guān)節(jié)”，是旋轉(zhuǎn)機(jī)械設(shè)備的關(guān)鍵零件，廣泛應(yīng)用于各個(gè)工業(yè)領(lǐng)域[1]。如在航空航天領(lǐng)域，軸承是航空發(fā)動(dòng)機(jī)承力傳動(dòng)系統(tǒng)[2]及航天器控制力矩陀螺[3]等設(shè)備的重要組成部分，其性能與質(zhì)量直接影響了航空航天設(shè)備的安全性與可靠性。軸承若發(fā)生故障，輕則將導(dǎo)致設(shè)備故障、經(jīng)濟(jì)損失，重則將引發(fā)安全事故、人員傷亡。因此，準(zhǔn)確、及時(shí)地預(yù)測(cè)軸承的剩余使用壽命（remaining useful life，RUL）對(duì)工業(yè)生產(chǎn)安全而言具有重大研究意義。

隨著傳感器、存儲(chǔ)、網(wǎng)絡(luò)傳輸?shù)刃录夹g(shù)的快速發(fā)展，軸承運(yùn)行過程產(chǎn)生了大量的監(jiān)測(cè)數(shù)據(jù)，利用這些數(shù)據(jù)來挖掘軸承退化信息，實(shí)現(xiàn)精確的RUL預(yù)測(cè)，是當(dāng)前的研究熱點(diǎn)[4]?；跀?shù)據(jù)驅(qū)動(dòng)的軸承剩余使用壽命預(yù)測(cè)主要有2 個(gè)步驟[5]：①從原始信號(hào)中提取具有趨勢(shì)性的特征，來表征軸承性能退化的過程；②構(gòu)建預(yù)測(cè)模型，使用傳統(tǒng)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的方法，利用其擬合能力建立特征與剩余壽命間的關(guān)系。

特征提取是進(jìn)行軸承RUL 預(yù)測(cè)的前提，目的是提取出符合軸承退化趨勢(shì)的特征用于表征退化過程。傳統(tǒng)的特征提取方法是計(jì)算原始振動(dòng)信號(hào)的統(tǒng)計(jì)特征，如均方根、峭度、峰峰值等，以及構(gòu)造一些新的統(tǒng)計(jì)特征，如王冰等[6]采用的基于多尺度形態(tài)分解譜熵，李洪儒等[7]采用的二元多尺度熵。近年來，深度學(xué)習(xí)憑借其卓越的非線性函數(shù)自動(dòng)映射能力在滾動(dòng)軸承特征提取領(lǐng)域得到廣泛應(yīng)用。如Ren 等[8]提出使用時(shí)間卷積網(wǎng)絡(luò)從更大的振動(dòng)信號(hào)感受野中提取特征；楊宇等[9]提出一種改進(jìn)的深度信念網(wǎng)絡(luò)，直接以滾動(dòng)軸承原始振動(dòng)信號(hào)作為網(wǎng)絡(luò)輸入，經(jīng)過逐層抽象表示，挖掘出原始振動(dòng)信號(hào)深層本質(zhì)特征。

但是文獻(xiàn)[6-9]中時(shí)間卷積網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)等深度學(xué)習(xí)方法往往需要大量標(biāo)簽數(shù)據(jù)進(jìn)行有監(jiān)督微調(diào)，標(biāo)簽數(shù)據(jù)的缺乏與難以獲取嚴(yán)重制約了深度學(xué)習(xí)特征提取，而傳統(tǒng)統(tǒng)計(jì)特征在單調(diào)性與趨勢(shì)性上相比于軸承退化趨勢(shì)往往不盡人意。針對(duì)這些問題，鑒于軸承退化是一個(gè)累積退化過程，本文對(duì)傳統(tǒng)特征采用累積變換的方式優(yōu)化其單調(diào)性與趨勢(shì)性，使其在表征軸承退化過程中有更好的表現(xiàn)。

在對(duì)原始振動(dòng)信號(hào)進(jìn)行特征提取的基礎(chǔ)上，需要構(gòu)建預(yù)測(cè)模型來對(duì)軸承RUL 進(jìn)行預(yù)測(cè)。軸承RUL預(yù)測(cè)本質(zhì)上是時(shí)間序列預(yù)測(cè)問題，而循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）在時(shí)間序列處理方面具有明顯的優(yōu)越性，從而被廣泛應(yīng)用于軸承RUL預(yù)測(cè)領(lǐng)域。Guo 等[10]采用RNN 提取表征軸承退化的特征量進(jìn)行軸承剩余壽命預(yù)測(cè)，并用指數(shù)模型驗(yàn)證預(yù)測(cè)效果，取得了很高的預(yù)測(cè)精度。Chen 等[11]提取頻譜的5 個(gè)帶通能量值作為特征，提出了一種具有注意力機(jī)制的編解碼框架的RNN 用于軸承壽命預(yù)測(cè)?？凳貜?qiáng)等[12]利用稀疏自動(dòng)編碼器進(jìn)行特征提取，采用雙向長短期記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行軸承剩余壽命預(yù)測(cè)。

在處理時(shí)間序列時(shí)，RNN 下一時(shí)刻的輸出取決于先前時(shí)刻的輸出及當(dāng)前時(shí)刻的狀態(tài)，這在本質(zhì)上是一種串行的運(yùn)行方式，會(huì)嚴(yán)重制約模型運(yùn)行速度[13]。同時(shí)，RNN 的每一次遞歸都伴隨著信息的損耗，導(dǎo)致其在輸入長序列的條件下捕捉依賴關(guān)系的能力迅速衰減，即出現(xiàn)記憶力退化現(xiàn)象。針對(duì)以上問題，本文將采用基于Transformer 的預(yù)測(cè)模型來進(jìn)行軸承RUL 預(yù)測(cè)。Transformer 模型的核心原理是自注意力機(jī)制(self-attention)，其在具體實(shí)現(xiàn)上主要以矩陣乘法為基礎(chǔ)，從而可以捕捉輸入序列中任意向量之間的依賴關(guān)系，不受向量之間距離的影響。同時(shí)self-attention 的這種運(yùn)行原理實(shí)現(xiàn)了并行計(jì)算，相比于只能串行計(jì)算的RNN 極大地提升了運(yùn)行速度[14]。基于以上特性，Transformer 一經(jīng)提出就引起了研究者的廣泛關(guān)注，在機(jī)器翻譯、閱讀理解、文本摘要等多個(gè)領(lǐng)域展現(xiàn)出了優(yōu)異的應(yīng)用效果。本文將Transformer 模型引入到滾動(dòng)軸承RUL預(yù)測(cè)領(lǐng)域，提出一種基于Transformer 模型的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)方法，屬于Transformer 模型的全新應(yīng)用，為其在工業(yè)領(lǐng)域增加了新的應(yīng)用場(chǎng)景。

1 累積特征提取

滾動(dòng)軸承常用的狀態(tài)監(jiān)測(cè)數(shù)據(jù)包括振動(dòng)、聲波和溫度信號(hào)，其中振動(dòng)信號(hào)得到了廣泛分析，因?yàn)槠涮峁┝舜罅筷P(guān)于軸承內(nèi)部異常的信息。但是滾動(dòng)軸承的振動(dòng)信號(hào)在采集時(shí)不可避免地會(huì)混入大量無意義的噪聲信號(hào)，這對(duì)軸承RUL 的準(zhǔn)確預(yù)測(cè)是不利的。因此，本文采用離散小波變換對(duì)振動(dòng)信號(hào)進(jìn)行去噪，通過小波分解、細(xì)節(jié)分量閾值處理和小波重構(gòu)來剔除無意義的噪聲，將去噪后的振動(dòng)信號(hào)進(jìn)行特征提取。

本文對(duì)去噪后的振動(dòng)信號(hào)進(jìn)行三角函數(shù)變換與統(tǒng)計(jì)特征提取。三角函數(shù)可以是單調(diào)遞增或單調(diào)遞減的，如反雙曲正弦(asinh)和反正切(atan)函數(shù)，其能將原始數(shù)據(jù)轉(zhuǎn)換為更低的尺度，所以將其作為振動(dòng)信號(hào)的退化特征進(jìn)行補(bǔ)充。三角函數(shù)變換按以下方式執(zhí)行：用三角函數(shù)逐因素操作單次采樣振動(dòng)信號(hào)X，并進(jìn)行標(biāo)準(zhǔn)差計(jì)算以提取特征。同時(shí)，選取一些滾動(dòng)軸承RUL 預(yù)測(cè)常用的統(tǒng)計(jì)特征作為退化特征，具體信息如表1 所示。其中：xi為單次采樣振動(dòng)信號(hào)X中的第i次采樣值。

在現(xiàn)實(shí)生產(chǎn)環(huán)境中，滾動(dòng)軸承會(huì)不可避免地經(jīng)歷退化過程直至故障，而能夠反映軸承退化趨勢(shì)的特征將有助于軸承RUL 的準(zhǔn)確預(yù)測(cè)。盡管表1 所示的特征是基于專家知識(shí)提取的，并且在一些應(yīng)用中被證明是有效的，但是傳統(tǒng)的統(tǒng)計(jì)特征的單調(diào)性與趨勢(shì)性相比于軸承退化趨勢(shì)往往不盡如人意，不能很好地表征退化趨勢(shì)。針對(duì)這個(gè)問題，鑒于軸承退化是一個(gè)累積退化過程，本文采用了一種有效的特征變換方法，即將提取的特征變換為相應(yīng)的累積形式。具體來說，累積變換是通過在時(shí)間序列上應(yīng)用一個(gè)累積函數(shù)來進(jìn)行的，在這個(gè)時(shí)間序列中，同時(shí)逐點(diǎn)執(zhí)行累加和縮放操作，然后使用累積特征來表征退化的趨勢(shì)。累積變換執(zhí)行如下：

表1 特征和相應(yīng)的計(jì)算公式Table 1 Feature and corresponding form ulas

式中：J為特征種類數(shù)量；N為特征值個(gè)數(shù)；fj(a)為第j種特征的第a個(gè)特征值；cjn為fj(a)在n個(gè)特性值中的累積變換結(jié)果。從式（1）中可以看出，如果存在噪聲則其會(huì)隨著累加操作而逐步被放大，所以累積變換算法容易受到不必要噪聲的影響，因此，在變換前對(duì)特征進(jìn)行平滑處理是非常必要的。本文采用Savitzky-Golay 濾波器來提高數(shù)據(jù)精度的同時(shí)不失真信號(hào)的趨勢(shì)。平滑過程通過線性最小二乘法采用低次多項(xiàng)式擬合相鄰數(shù)據(jù)點(diǎn)的連續(xù)子集來實(shí)現(xiàn)。

在累積變換之后，設(shè)計(jì)度量來評(píng)估轉(zhuǎn)換后特征的質(zhì)量是至關(guān)重要的。一般來說，有2 個(gè)常用的指標(biāo)來評(píng)估構(gòu)造的特征對(duì)RUL 預(yù)測(cè)的適用性，即單調(diào)性和趨勢(shì)性。

單調(diào)性反映了特征的增減趨勢(shì)，是退化特征的重要組成部分。其計(jì)算方法如下：

式中：N為特征值個(gè)數(shù)；為特征值的變化差異，在實(shí)際計(jì)算時(shí)為后一個(gè)特征值減前一個(gè)特征值；No.of＆gt;0為差異值大于0 的個(gè)數(shù)；M=1、M=0 分別為特征的高度單調(diào)趨勢(shì)和不單調(diào)趨勢(shì)。

趨勢(shì)性是用來描述退化狀態(tài)如何隨運(yùn)行時(shí)間變化的。換句話說，這個(gè)度量表征了一個(gè)與特征及與時(shí)間的相關(guān)性有關(guān)的函數(shù)。其計(jì)算方法如下：

式中：xn和yn分別為特征和時(shí)間的值；N為特征值個(gè)數(shù)。T的范圍為[?1，1]，?1 為特征值嚴(yán)格遞減，1 為特征值嚴(yán)格遞增。

2 基于Transformer 的滾動(dòng)軸承RUL預(yù)測(cè)模型

在基于數(shù)據(jù)驅(qū)動(dòng)的滾動(dòng)軸承RUL 預(yù)測(cè)的最新研究中，循環(huán)神經(jīng)網(wǎng)絡(luò)獲得了廣泛的應(yīng)用（包括RNN，長短期記憶神經(jīng)網(wǎng)絡(luò)，門控循環(huán)單元及各類變種模型），但其串行計(jì)算方式和長序列依賴捕捉不敏感仍嚴(yán)重制約了模型運(yùn)行速度與預(yù)測(cè)精度。因此，本文提出一種基于Transformer 結(jié)構(gòu)的滾動(dòng)軸承RUL 預(yù)測(cè)模型，旨在提高軸承RUL 預(yù)測(cè)的精度與速度。

Transformer 是一種基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，在自然語言處理等領(lǐng)域取得了良好的效果，但是其獨(dú)特的結(jié)構(gòu)限制了不能直接應(yīng)用于RUL 預(yù)測(cè)領(lǐng)域，如軸承RUL 預(yù)測(cè)的數(shù)據(jù)與自然語言的詞向量間的有效映射等問題。所以本文針對(duì)滾動(dòng)軸承RUL預(yù)測(cè)場(chǎng)景進(jìn)行了改進(jìn)，結(jié)構(gòu)如圖1 所示，模型由4 個(gè)部分組成，分別為位置編碼、編碼器、解碼器及全連接神經(jīng)網(wǎng)絡(luò)。

圖1 基于Transformer的軸承RUL預(yù)測(cè)模型Fig.1 Bearing RUL prediction model based on Transformer

基于Transformer 的滾動(dòng)軸承RUL 預(yù)測(cè)模型的核心在于其編碼器與解碼器結(jié)構(gòu)，編碼器與解碼器均由6 層相同層堆疊而成，其中編碼器每一層包含多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)2 個(gè)子層，解碼器每一層包含遮擋多頭自注意力機(jī)制、編碼-解碼器多頭注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)3 個(gè)子層。

編碼器負(fù)責(zé)將輸入的滾動(dòng)軸承特征序列進(jìn)行編碼，映射為包含輸入特征信息的中間向量，其核心原理為自注意力機(jī)制。自注意力機(jī)制是注意力機(jī)制的變體，減少了對(duì)外部信息的依賴，更擅長捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，主要是通過計(jì)算特征向量間的相似度來表征相關(guān)性，以此解決長距離依賴捕捉問題。自注意力機(jī)制的目的是從輸入的滾動(dòng)軸承特征序列中篩選出少量重要的信息，使用權(quán)重代表信息的重要性，使得模型聚焦于更為重要的信息上。

自注意力機(jī)制采用縮放點(diǎn)積注意力來計(jì)算特征矩陣的注意力值，先對(duì)查詢矩陣和鍵矩陣進(jìn)行點(diǎn)積與SoftMax 歸一化來計(jì)算權(quán)重系數(shù)，再根據(jù)權(quán)重系數(shù)對(duì)值矩陣進(jìn)行加權(quán)求和，如式(4)～式(7)所示：式中：Q為查詢矩陣；K為鍵矩陣；V為值矩陣。這3 個(gè)矩陣由輸入的特征矩陣Xf分別與對(duì)應(yīng)的權(quán)重矩陣W Q、W K、W V相乘得到，d為Q、K、V的維數(shù)。

自注意力機(jī)制可以讓模型聚焦于輸入特征的某些重要信息，但是單一的注意力機(jī)制只能在一個(gè)表現(xiàn)空間中學(xué)習(xí)到相關(guān)信息。為了綜合輸入序列包含信息的重要性，采用多頭自注意力機(jī)制在不同位置共同關(guān)注來自不同表現(xiàn)子空間的信息。多頭自注意力機(jī)制其實(shí)是多個(gè)自注意力機(jī)制的拼接，利用多個(gè)自注意力頭分別學(xué)習(xí)不同表現(xiàn)子空間的信息，再將多個(gè)注意力值進(jìn)行拼接與線性變換，得到最終的注意力值，實(shí)現(xiàn)對(duì)不同約束條件的建模表達(dá)，如式(8)和式(9)所示：

解碼器負(fù)責(zé)將編碼器輸出的中間向量解碼為輸出序列，其核心原理為編碼-解碼多頭注意力機(jī)制及遮擋多頭自注意力機(jī)制。編碼器中的多頭自注意力機(jī)制注重學(xué)習(xí)輸入特征序列自身向量之間的依賴關(guān)系，但為了提高滾動(dòng)軸承RUL 預(yù)測(cè)的精準(zhǔn)度，還應(yīng)考慮輸入特征序列與標(biāo)簽數(shù)據(jù)之間的依賴關(guān)系，所以在解碼器中采用了編碼-解碼多頭注意力機(jī)制。編碼-解碼多頭注意力機(jī)制與編碼器的多頭自注意力機(jī)制不同，其鍵矩陣K與值矩陣V來自編碼器的輸出，包含輸入序列的信息，查詢矩陣Q來自遮擋多頭自注意力機(jī)制模塊的輸出，包含標(biāo)簽數(shù)據(jù)的信息。

遮擋多頭自注意力機(jī)制模塊的輸入為標(biāo)簽數(shù)據(jù)，其目的是利用多頭自注意力機(jī)制學(xué)習(xí)標(biāo)簽數(shù)據(jù)之間的依賴關(guān)系，并將依賴關(guān)系輸入編碼-解碼多頭注意力機(jī)制模塊，使整個(gè)基于Transformer 的滾動(dòng)軸承RUL 預(yù)測(cè)模型可以綜合學(xué)習(xí)輸入特征向量之間的依賴關(guān)系、標(biāo)簽數(shù)據(jù)之間的依賴關(guān)系及二者相互的依賴關(guān)系。需要注意的是，在模型訓(xùn)練過程中，滾動(dòng)軸承RUL 的標(biāo)記數(shù)據(jù)是已知的，解碼器根據(jù)并行計(jì)算特性同時(shí)完成序列每個(gè)時(shí)間步的解碼。這會(huì)導(dǎo)致在縮放點(diǎn)積注意力計(jì)算時(shí)，每個(gè)時(shí)間步的計(jì)算會(huì)學(xué)習(xí)到未來的標(biāo)簽數(shù)據(jù)信息，這是不符合現(xiàn)實(shí)規(guī)律的，所以需要在解碼器的多頭自注意力機(jī)制中加入遮擋操作，屏蔽未來的標(biāo)簽數(shù)據(jù)信息。具體的操作是在計(jì)算縮放點(diǎn)積注意力時(shí)，引入一個(gè)下三角及對(duì)角線均為1，上三角為0 的矩陣，與QKT相乘，使得未來的序列信息置0。

為了解決網(wǎng)絡(luò)深度增加反而影響軸承RUL 預(yù)測(cè)準(zhǔn)確率的問題，編碼器與解碼器的各個(gè)子層之間均添加了殘差連接操作，關(guān)注訓(xùn)練前后差異部分變化，提升訓(xùn)練效果。同時(shí)，為了加快網(wǎng)絡(luò)收斂，提升網(wǎng)絡(luò)泛化能力，每個(gè)子層還同時(shí)采用了層歸一化操作，如下：

式中：b為網(wǎng)絡(luò)輸入?yún)?shù)；Sublayer 為每個(gè)子層內(nèi)部的函數(shù)，本文中為各個(gè)注意力機(jī)制層處理函數(shù)和全連接前饋神經(jīng)網(wǎng)絡(luò)處理函數(shù)；LayerNorm 為層歸一化處理函數(shù)。

Transformer 的一系列優(yōu)點(diǎn)得益于其純粹的注意力機(jī)制構(gòu)造，但這使其失去了學(xué)習(xí)序列位置信息的能力。而在滾動(dòng)軸承RUL 預(yù)測(cè)場(chǎng)景中，序列中向量的位置信息代表著時(shí)刻信息，對(duì)RUL 預(yù)測(cè)起到至關(guān)重要的作用。針對(duì)這個(gè)問題，在編碼器與解碼器的輸入序列中加入位置編碼操作，將位置信息整合到輸入序列當(dāng)中，如式(11)和式(12)所示：

式中：p為特征向量的位置；dmodel為特征向量的維度，每一個(gè)特征向量的位置編碼都是由不同頻率的余弦正弦函數(shù)組成的，波長逐漸由 2π增 長到 2 0 000π。

Transformer 模型最初是針對(duì)自然語言處理領(lǐng)域提出的，其輸入特征與標(biāo)簽數(shù)據(jù)均為維度一致的詞向量，相同的維度便于編碼-解碼多頭注意力機(jī)制的直接計(jì)算。但在軸承RUL 預(yù)測(cè)場(chǎng)景中，輸入特征為多維數(shù)據(jù)，而標(biāo)簽則是一維的剩余壽命，兩者的維度沖突導(dǎo)致編碼-解碼多頭注意力機(jī)制無法運(yùn)算。針對(duì)這個(gè)問題，本文在編碼器輸入端直接采用累積特征序列作為輸入，在解碼器輸入端加入一層全連接網(wǎng)絡(luò)，將輸入標(biāo)簽序列進(jìn)行升維，在輸出端同樣加入一層全連接網(wǎng)絡(luò)進(jìn)行降維，解決了基于Transformer 的軸承RUL 預(yù)測(cè)模型中輸入特征與標(biāo)簽數(shù)據(jù)維度不一致的沖突。

3 滾動(dòng)軸承RUL 預(yù)測(cè)流程

基于累積特征與Transformer 的滾動(dòng)軸承RUL預(yù)測(cè)方法流程如圖2 所示，具體步驟如下。

圖2 滾動(dòng)軸承RUL預(yù)測(cè)流程Fig.2 Flow chart of RUL prediction for rolling bearings

步驟 1信號(hào)去噪。對(duì)滾動(dòng)軸承原始振動(dòng)信號(hào)進(jìn)行離散小波變換，包括小波分解、細(xì)節(jié)系數(shù)閾值處理和小波重構(gòu)，在消除異常噪聲信號(hào)的同時(shí)保留有用的退化信息。

步驟 2特征提取。首先，根據(jù)已有的專家知識(shí)，在經(jīng)過去噪的重構(gòu)信號(hào)上計(jì)算出常用的軸承RUL預(yù)測(cè)統(tǒng)計(jì)特征，包括峰峰值、標(biāo)準(zhǔn)差、均方根、三角特征等；再利用Savitzky-Golay 濾波器對(duì)所有統(tǒng)計(jì)特征進(jìn)行平滑處理，以減少提取特征的波動(dòng)和進(jìn)一步濾除不需要的噪聲；然后，對(duì)結(jié)果平滑處理的統(tǒng)計(jì)特征進(jìn)行累積變換，優(yōu)化特征的單調(diào)性與趨勢(shì)性；最后，計(jì)算所有累積特征的單調(diào)性與趨勢(shì)性值，以此來篩選用于訓(xùn)練與測(cè)試的特征，并劃分訓(xùn)練集與測(cè)試集。

步驟 3Transformer 模型構(gòu)建。將訓(xùn)練集的特征進(jìn)行最大、最小值歸一化作為Transformer 模型的輸入，將壽命比值P（剩余使用壽命與全壽命的比值）作為模型的標(biāo)簽數(shù)據(jù)，與軸承運(yùn)行時(shí)間滿足一次函數(shù)模型[15-18]。計(jì)算訓(xùn)練模型的均方誤差(mean squared error，MSE)作 為 損 失 函 數(shù)，采 用Adam優(yōu)化算法進(jìn)行模型訓(xùn)練與優(yōu)化，并采用Dropout 技術(shù)防止模型過擬合。

步驟 4測(cè)試集驗(yàn)證。將測(cè)試集的累積特征輸入到已經(jīng)訓(xùn)練好的Transformer 模型中，預(yù)測(cè)出特征對(duì)應(yīng)的壽命比值P。由于4.1 節(jié)案例1 中PHM 2012測(cè)試集提供的是非全壽命數(shù)據(jù)（即記錄滾動(dòng)軸承從運(yùn)行開始到某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)），缺少退化過程末期的數(shù)據(jù)，所以需要將前半部分特征預(yù)測(cè)的壽命比值P進(jìn)行擬合，以此預(yù)測(cè)滾動(dòng)軸承的全壽命運(yùn)行時(shí)間。由于P為壽命比值，與軸承運(yùn)行時(shí)間滿足一次函數(shù)模型，所以本文采用一次線性函數(shù)擬合來預(yù)測(cè)滾動(dòng)軸承的RUL。

4 實(shí)驗(yàn)驗(yàn)證

4.1 案例1：PHM 2012 數(shù)據(jù)集驗(yàn)證

4.1.1 PHM 2012 數(shù)據(jù)集介 紹

為了驗(yàn)證所提出的RUL 預(yù)測(cè)方法的有效性與先進(jìn)性，本文首先采用IEEE 協(xié)會(huì)在PHM 2012 數(shù)據(jù)挖掘挑戰(zhàn)賽中提供的數(shù)據(jù)集，該數(shù)據(jù)集由PRONOSTIA 實(shí)驗(yàn)平臺(tái)采集獲得，采集裝置如圖3 所示。采集裝置通過速度傳感器和力矩傳感器實(shí)現(xiàn)了3 種不同工況下的滾動(dòng)軸承加速退化，進(jìn)行了17 次軸承全壽命周期實(shí)驗(yàn)，利用加速度傳感器采集了軸承水平方向與垂直方向共計(jì)17 組原始振動(dòng)信號(hào)數(shù)據(jù)集，并將其劃分為6 組訓(xùn)練集與11 組測(cè)試集。采集裝置每隔10s 采集0.1 s 內(nèi)的原始振動(dòng)信號(hào)，采集頻率為25.60k Hz，即每1 0 s 采集2 560 組樣本數(shù)據(jù)。數(shù)據(jù)集的詳細(xì)信息如表2 所示，具體實(shí)驗(yàn)內(nèi)容參考文獻(xiàn)[19]。根據(jù)文獻(xiàn)[20-21]中的相關(guān)研究，水平振動(dòng)信號(hào)通常比垂直振動(dòng)信號(hào)給出更多的有用信息來跟蹤軸承退化。因此，本文僅使用水平振動(dòng)信號(hào)進(jìn)行實(shí)驗(yàn)。

表2 PHM 2012 數(shù)據(jù)集工況信息Table 2 Operating condition inform ation of PHM 2012 dataset

圖3 PRONOSTIA采集平臺(tái)Fig.3 The PRONOSTIA platform

4.1.2 特征提取與篩選

在對(duì)滾動(dòng)軸承的原始振動(dòng)信號(hào)進(jìn)行特征提取之前，本文采用離散小波變換對(duì)其進(jìn)行去噪。其中小波分解采用多貝西四階小波(db4)為母小波，分解層數(shù)為4，細(xì)節(jié)分量閾值處理中采用軟閾值函數(shù)和最大、最小閾值，最后通過小波重構(gòu)得到去噪后的信號(hào)。

根據(jù)第3 節(jié)的預(yù)測(cè)流程，原始振動(dòng)信號(hào)去噪之后需要應(yīng)用三角函數(shù)、提取統(tǒng)計(jì)特征和進(jìn)行累積變化。如圖4 所示，傳統(tǒng)的統(tǒng)計(jì)特征表現(xiàn)出較低的單調(diào)性與趨勢(shì)性，這不利于RUL 預(yù)測(cè)模型學(xué)習(xí)軸承的退化趨勢(shì)，同時(shí)較高的尺度也不利于預(yù)測(cè)模型的訓(xùn)練過程。而結(jié)合了標(biāo)準(zhǔn)差與三角函數(shù)(提取方案見表1)的三角特征具有更高的單調(diào)性、趨勢(shì)性及更低的尺度，有利于預(yù)測(cè)模型的訓(xùn)練過程。

圖4 三角特征與傳統(tǒng)特征對(duì)比Fig.4 Comparison of trigonometric features and classical features

如圖5 所示，仍有大量數(shù)據(jù)驅(qū)動(dòng)的滾動(dòng)軸承RUL 預(yù)測(cè)方法采用傳統(tǒng)的時(shí)域、頻域及時(shí)頻域統(tǒng)計(jì)特征，但是這些傳統(tǒng)的統(tǒng)計(jì)特征往往無法很好地表征軸承的退化趨勢(shì)，如圖5(a)和圖5(c)所示，僅經(jīng)過平滑處理的特征單調(diào)性與趨勢(shì)性各不相同，單調(diào)性較差。而從圖5(b)和圖5(d)不難看出，累積變換后的特征表現(xiàn)出了更好的單調(diào)性與趨勢(shì)性，說明本文采用的累積變換對(duì)于傳統(tǒng)的統(tǒng)計(jì)特征的趨勢(shì)性與單調(diào)性具有很好的優(yōu)化作用。

圖5 累積特征與傳統(tǒng)特征對(duì)比Fig.5 Contrasts of cumulative features and classical features

為了更好地說明累積變換的優(yōu)勢(shì)與必要性，本文采用式(2)和式(3)量化計(jì)算每種統(tǒng)計(jì)特征累積變化前后的單調(diào)性與趨勢(shì)性，表3 顯示了6 個(gè)訓(xùn)練集的統(tǒng)計(jì)特征累積變化前后的單調(diào)性與趨勢(shì)性平均值，從表3 中可以看出，累積變化對(duì)本文選取的統(tǒng)計(jì)特征的單調(diào)性與趨勢(shì)性具有非常明顯的改進(jìn)作用。由于在滾動(dòng)軸承RUL 預(yù)測(cè)中，特征的單調(diào)性與趨勢(shì)性越好，越能表征軸承的退化趨勢(shì)，RUL預(yù)測(cè)的精度就越高，因此，本文舍棄了經(jīng)過累積變換后單調(diào)性和趨勢(shì)性仍然較差的平均絕對(duì)值，將剩余12 個(gè)統(tǒng)計(jì)特征的累積值輸入Transformer 預(yù)測(cè)模型進(jìn)行模型訓(xùn)練。

表3 累積變換前后比較Table 3 Com parison before and after cumulative transform ation

4.1.3 模型訓(xùn)練與預(yù)測(cè)結(jié)果分析

本文遵照PHM 2012 數(shù)據(jù)集的劃分，將軸承1_1，1_2，2_1，2_2，3_1，3_2 的全壽命數(shù)據(jù)作為訓(xùn)練集，將剩余軸承的非全壽命數(shù)據(jù)作為測(cè)試集，具體劃分信息如表4 所示。訓(xùn)練集經(jīng)過累積變換與篩選后的12 個(gè)累積特征需要輸入Transformer 預(yù)測(cè)模型進(jìn)行模型訓(xùn)練。Transformer 預(yù)測(cè)模型是序列到序列(sequence-to-sequence)類型的模型，需要確定輸入數(shù)據(jù)與標(biāo)簽數(shù)據(jù)的序列長度，過短的序列長度會(huì)導(dǎo)致Transformer 的注意力機(jī)制不容易學(xué)習(xí)到各個(gè)時(shí)間步中的依賴信息，過長的序列長度則需要巨大的計(jì)算量，降低運(yùn)算速度。因此，本文選擇10 個(gè)時(shí)間步的累積特征作為輸入序列，10 個(gè)時(shí)間步的壽命比值P作為標(biāo)簽數(shù)據(jù)，壽命比值P的計(jì)算式為

表4 實(shí)驗(yàn)數(shù)據(jù)（PHM 2012 軸承數(shù)據(jù)集）Table 4 Experim ental data(PHM 2012 Datasets)

式中：actRUL0為軸承實(shí)際的全壽命數(shù)值，如軸承1_1 從投入使用到報(bào)廢共采集了2803 組數(shù)據(jù)，其壽命數(shù)值為0～2802，則其actRUL0 為2802，由于數(shù)據(jù)采樣間隔為10 s 一組，所以軸承1_1 真實(shí)的全壽命時(shí)間為28030s；actRULt則為t時(shí)刻軸承的剩余使用壽命數(shù)值。從壽命比值P的計(jì)算式不難看出，其符合一次函數(shù)關(guān)系式，所以在模型驗(yàn)證階段本文也采用了擬合一次線性函數(shù)的方式來預(yù)測(cè)RUL。

為了更好地讓預(yù)測(cè)模型學(xué)習(xí)到累積特征與軸承RUL 之間的映射關(guān)系，本文將輸入序列的步長設(shè)置為1 個(gè)時(shí)間步，如第1 組輸入為1～10 時(shí)間步的累積特征序列，第2 組輸入則為2～11 時(shí)間步的累積特征序列，每一組輸入序列只留取輸出序列中最后一個(gè)時(shí)間步的壽命比值P作為預(yù)測(cè)結(jié)果，以此達(dá)到數(shù)據(jù)增強(qiáng)的效果。

本文Transformer 預(yù)測(cè)模型的編碼器與解碼器均由6 層相同的模塊層堆疊而成，所有的多頭注意力層的頭數(shù)均為2，所有前饋神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù)量為256，初始學(xué)習(xí)率設(shè)置為0.000 1 并隨機(jī)初始化權(quán)重矩陣，使用均方誤差（mean-square error，MSE）作為損失函數(shù)并通過Adam 優(yōu)化算法進(jìn)行訓(xùn)練，訓(xùn)練與測(cè)試環(huán)境中CPU 為Intel Co r e i7-10700F，GPU 為NVIDIA Ge Fo r c eRTX2060SUPER，內(nèi)存為16GB，深度學(xué)習(xí)框架為Py t o r c h 1.6.0。

模型訓(xùn)練完畢后需要對(duì)其進(jìn)行驗(yàn)證，與模型訓(xùn)練過程相同，將測(cè)試集的12 種累積特征以10 個(gè)時(shí)間步的長度輸入預(yù)測(cè)模型中，預(yù)測(cè)出壽命比值P。

引言中提到Transformer 模型相比于循環(huán)神經(jīng)網(wǎng)絡(luò)具有速度上的優(yōu)勢(shì)，為此本文在使用累計(jì)特征的基礎(chǔ)上，采用了長短期記憶網(wǎng)絡(luò)[22]（long shortterm memory，LSTM）、門控循環(huán)單元[11]（gated recurrentunit，GRU）、雙向長短期記憶網(wǎng)絡(luò)[23]（bi-directional long short-term memory，BiLSTM）3 種循環(huán)神經(jīng)網(wǎng)絡(luò)作為預(yù)測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5 所示，其中的運(yùn)行時(shí)間是根據(jù)11 個(gè)測(cè)試集中每個(gè)樣本的平均時(shí)間計(jì)算的。從表5 的對(duì)比結(jié)果看出，Transformer 模型在運(yùn)行速度上具有明顯的優(yōu)勢(shì)。

表5 運(yùn)行速度對(duì)比結(jié)果Table 5 Running speed comparison results

本文采用一次線性函數(shù)擬合預(yù)測(cè)的P值，得到P值的未來趨勢(shì)，以此計(jì)算軸承RUL 的預(yù)測(cè)值。部分測(cè)試軸承的測(cè)試及擬合結(jié)果如圖6 和圖7 所示。本文采用誤差El來驗(yàn)證預(yù)測(cè)模型的好壞：

圖6 軸承1_4預(yù)測(cè)結(jié)果Fig.6 Bearing 1_4 prediction results

圖7 軸承2_5預(yù)測(cè)結(jié)果Fig.7 Bearing 2_5 prediction results

式中：actRULl為第l個(gè)軸承實(shí)際的剩余使用壽命；preRULl為第l個(gè)軸承剩余使用壽命的預(yù)測(cè)結(jié)果。以軸承1_5 為例，由表4 可知，軸承1_5 的全壽命數(shù)據(jù)為24 6 3 組，非全壽命數(shù)據(jù)為2 302 組，其中預(yù)測(cè)值的擬合直線與x軸的交點(diǎn)（即P=0 軸承完全報(bào)廢）為24 4 7 組。由于數(shù)據(jù)采樣間隔為1 0 s 一組，所以act-RULl實(shí)際剩余使用壽命為（2463?2302）×10=1610s，preRULl剩余使用壽命預(yù)測(cè)值為（2447?2302）×10=1450s，則誤差為（1610?1450）/1610=9.9%。

為了證明本文所提方法的有效性與必要性，本文設(shè)置了另外2 種消融實(shí)驗(yàn)方案來與本文所提方法進(jìn)行消融實(shí)驗(yàn)，2 種消融實(shí)驗(yàn)方案詳情如表6 所示。其中經(jīng)典統(tǒng)計(jì)特征指的是將累積特征中選取的12 種特征未經(jīng)累積變換的值輸入預(yù)測(cè)模型中。文獻(xiàn)[24]提出將Transformer 模型用于航天渦扇發(fā)動(dòng)機(jī)的RUL 預(yù)測(cè)中，但其僅使用了Transformer 模型的編碼器結(jié)構(gòu)，本文采用的是完整的Transformer編碼器-解碼器結(jié)構(gòu)，相比于單編碼器結(jié)構(gòu)上進(jìn)行了改進(jìn)，所以在消融實(shí)驗(yàn)方案中將單編碼器結(jié)構(gòu)作為對(duì)比實(shí)驗(yàn)條件之一。

表6 所提方法與其他2 種方案的構(gòu)成Table 6 Composition of the proposed prediction method and other two schem es

為了更好地將所提方法與消融實(shí)驗(yàn)方案及其他先進(jìn)的預(yù)測(cè)方法進(jìn)行比較，需要建立一個(gè)統(tǒng)一的評(píng)估指標(biāo)來衡量預(yù)測(cè)結(jié)果的準(zhǔn)確性。因此，本文采用IEEE PHM 2012 挑戰(zhàn)賽規(guī)定的平均得分s作為方法比較時(shí)的衡量標(biāo)準(zhǔn)，平均得分s的計(jì)算方法如式(15)和式(16)所示：

式中：El為第l個(gè)軸承的誤差；Al為第l個(gè)軸承的得分；L為數(shù)據(jù)集的軸承總個(gè)數(shù)。

如圖8 所示為誤差El與得分Al之間的函數(shù)關(guān)系。從圖8 中可以看出，正的誤差比負(fù)的誤差具有更高的得分。正的誤差代表預(yù)測(cè)的RUL 小于實(shí)際的RUL，即超前預(yù)測(cè)，而負(fù)的誤差代表預(yù)測(cè)的RUL 大于實(shí)際的RUL，即滯后預(yù)測(cè)。在實(shí)際生產(chǎn)環(huán)境中，超前預(yù)測(cè)帶來的風(fēng)險(xiǎn)遠(yuǎn)遠(yuǎn)低于滯后預(yù)測(cè)，所以這種得分計(jì)算方法對(duì)滯后預(yù)測(cè)進(jìn)行了懲罰，是公平且合理的。

圖8 得分Al與誤差El的函數(shù)關(guān)系Fig.8 Function of Al and error El

同時(shí)，在表示11 個(gè)測(cè)試軸承的整體預(yù)測(cè)誤差的時(shí)候，如果直接使用誤差El的算數(shù)平均值，有時(shí)會(huì)導(dǎo)致正負(fù)誤差相互抵消，出現(xiàn)較差的預(yù)測(cè)結(jié)果計(jì)算出較低的平均誤差的情況，針對(duì)這個(gè)問題，本文采用平均絕對(duì)誤差表示測(cè)試軸承的整體預(yù)測(cè)誤差：

表7、表8 列出了PHM 2012 數(shù)據(jù)集中11 個(gè)軸承的數(shù)據(jù)在所提方法中的平均絕對(duì)誤差與平均得分，同時(shí)也列出了與2 種消融實(shí)驗(yàn)方案及文獻(xiàn)[11,25-26]方法的對(duì)比實(shí)驗(yàn)結(jié)果，從對(duì)比實(shí)驗(yàn)結(jié)果可以看出：

表7 所提方法和對(duì)比方法在PHM 2012 數(shù)據(jù)集RUL 預(yù)測(cè)結(jié)果Table 7 The RUL prediction results of the proposed method and comparison method in the PHM 2012 dataset

表8 表7 的預(yù)測(cè)結(jié)果比較Table 8 Com parison of predicted results in Table 7

1）方案1 同樣使用編碼器-解碼器結(jié)構(gòu)Transformer 模型作為預(yù)測(cè)模型的情況下，由于累積變換之前的傳統(tǒng)統(tǒng)計(jì)特征單調(diào)性和趨勢(shì)性很低，無法表征滾動(dòng)軸承的退化趨勢(shì)，所以表現(xiàn)出了極低的預(yù)測(cè)性能。而使用累積特征則大幅改善了這種情況，使得平均絕對(duì)誤差降低了92.63%，平均得分提高了558.39%，可見本文所采用的累積變換對(duì)于傳統(tǒng)統(tǒng)計(jì)特征的單調(diào)性與趨勢(shì)性起到了極強(qiáng)的修正作用，對(duì)于軸承RUL 的準(zhǔn)確預(yù)測(cè)起到了至關(guān)重要的作用。

2）方案2 在同樣使用累積特征作為輸入的情況下，完整編碼器-解碼器結(jié)構(gòu)的Transformer 模型相比于單編碼器結(jié)構(gòu)模型的平均絕對(duì)誤差降低了19.84%，平均得分提高了32.6%，這是由于單編碼器結(jié)構(gòu)的Transformer 模型只學(xué)習(xí)到了輸入序列中各個(gè)特征向量之間的依賴關(guān)系，而解碼器結(jié)構(gòu)的引入可以使得Transformer 模型學(xué)習(xí)到標(biāo)簽數(shù)據(jù)中各個(gè)向量之間及輸入特征與標(biāo)簽數(shù)據(jù)相互之間的依賴關(guān)系，使得RUL 的預(yù)測(cè)更為準(zhǔn)確，由此證明了本文所提方法在軸承RUL 預(yù)測(cè)領(lǐng)域的優(yōu)越性。

3）綜合前兩點(diǎn)方案1、方案2 消融實(shí)驗(yàn)的對(duì)比分析可以看出，本文所提方法的優(yōu)越性是累積特征與Transformer 模型綜合作用的結(jié)果，累積特征確保Transformer 模型能夠挖掘出原始振動(dòng)和軸承健康狀況之間的潛在關(guān)系，使其能夠?qū)W到絕大部分測(cè)試軸承的退化趨勢(shì)，并將滯后預(yù)測(cè)（El＆lt;0）的情況控制在較低范圍內(nèi)。但是仍有個(gè)別測(cè)試軸承的預(yù)測(cè)誤差較大，如軸承1_7，這是由于軸承1_7 的測(cè)試數(shù)據(jù)占全壽命周期數(shù)據(jù)的比重較小，少量退化前期的數(shù)據(jù)不足以讓模型準(zhǔn)確預(yù)測(cè)到退化后期的RUL。

4)同時(shí)，本文所提方法相較于文獻(xiàn)[11,25-26]的方法平均絕對(duì)誤差分別降低了9.25%、28.63%、34.14%，平均得分分別提高了2.78%、19.79%、29.38%，由此進(jìn)一步證明了本文所提方法在滾動(dòng)軸承RUL預(yù)測(cè)方面的有效性與優(yōu)越性。

4.2 案例2：XJTU-SY 數(shù)據(jù)集驗(yàn)證

4.2.1 XJTU-SY 數(shù) 據(jù) 集 介 紹

為了進(jìn)一步驗(yàn)證本文所提方法的有效性與先進(jìn)性，本文還采用了XJTU-SY 數(shù)據(jù)集進(jìn)行驗(yàn)證。XJTU-SY 數(shù)據(jù)集由西安交通大學(xué)機(jī)械工程學(xué)院雷亞國教授團(tuán)隊(duì)設(shè)計(jì)并采集獲得[27]，其實(shí)驗(yàn)平臺(tái)如圖9 所示，該平臺(tái)由交流電動(dòng)機(jī)、電動(dòng)機(jī)轉(zhuǎn)速控制器、轉(zhuǎn)軸、支撐軸承、液壓加載系統(tǒng)和測(cè)試軸承等組成，能夠在不同運(yùn)行條件下對(duì)軸承進(jìn)行加速退化實(shí)驗(yàn)，并獲得完整的運(yùn)行至失效數(shù)據(jù)。徑向力由液壓加載系統(tǒng)產(chǎn)生并施加到被測(cè)軸承的殼體上，轉(zhuǎn)速由交流感應(yīng)電機(jī)的速度控制器設(shè)定并保持。圖10顯示了正常和退化軸承的照片，可以看出，被測(cè)軸承的失效是由不同類型的故障引起的，包括內(nèi)圈磨損、保持架斷裂、外圈磨損、外圈斷裂等。為了采集被測(cè)軸承的振動(dòng)信號(hào)，2 個(gè)PCB 352C33 單向加速度傳感器分別通過磁座固定于測(cè)試軸承的水平和豎直方向上。采樣頻率設(shè)置為25.6k Hz，每1m in記錄3276 8 個(gè)數(shù)據(jù)點(diǎn)(即每1mi n 的采樣時(shí)間為1.2 8 s)。

圖9 滾動(dòng)軸承實(shí)驗(yàn)臺(tái)Fig.9 Testbed of rolling element bearings

圖10 退化軸承照片F(xiàn)ig.10 Photographs of normal and degraded bearings

4.2.2 實(shí)驗(yàn)結(jié)果對(duì)比與分析

在XJTU-SY 數(shù)據(jù)集的驗(yàn)證過程中，本文使用了與案例1 相同的實(shí)驗(yàn)環(huán)境與操作流程進(jìn)行訓(xùn)練與測(cè)試。為了驗(yàn)證所提方法的有效性與先進(jìn)性，本文將實(shí)驗(yàn)結(jié)果與文獻(xiàn)[28]的實(shí)驗(yàn)結(jié)果進(jìn)行了比較，為了便于比較，本文采用了與該文獻(xiàn)相同的實(shí)驗(yàn)方案，如表9 所示。文獻(xiàn)[28]得到了4 種預(yù)測(cè)模型在XJTU-SY 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，分別為基于剩余自注意力機(jī)制的時(shí)間卷積網(wǎng)絡(luò)(temporal convolutional network with residual self-attention mechanism，TCNRSA)、深度可分卷積網(wǎng)絡(luò)(deep separable convolutional network，DSCN)、遞歸卷積神經(jīng)網(wǎng)絡(luò)(region w ith CNN features，RCNN)及相關(guān)向量機(jī)(relevance vector ma c h i n e，RVM)。采用均方根誤差(r o o t mean square error，RMSE)與平均得分s作為實(shí)驗(yàn)結(jié)果對(duì)比的衡量標(biāo)準(zhǔn)，RMSE 的計(jì)算如下：

表9 實(shí)驗(yàn)方案Table 9 The experim ental scheme

式中：actPr為第r個(gè)測(cè)試樣例的壽命比值P的實(shí)際值；prePr為第r個(gè)測(cè)試樣例的壽命比值P的預(yù)測(cè)值；R為測(cè)試樣例數(shù)量。

平均得分s的計(jì)算如式(14)～式(16)所示,但是由于XJTU-SY 數(shù)據(jù)集提供的均為全壽命周期數(shù)據(jù)，并未像案例1 中PHM 2012 數(shù)據(jù)集一樣截?cái)嗔藴y(cè)試集的一部分?jǐn)?shù)據(jù)用于規(guī)定壽命預(yù)測(cè)時(shí)間點(diǎn)，所以本文在案例2 的s計(jì)算中參照文獻(xiàn)[28]的做法，對(duì)所有測(cè)試樣例均進(jìn)行了平均得分s計(jì)算并取平均值。

實(shí)驗(yàn)的對(duì)比結(jié)果如表10 所示，從表10 中可以看出，本文所提方法預(yù)測(cè)模型相比于其他4 種模型具有更低的RMSE 及更高的平均得分，相比于TCN-RSA模型RMSE 降低了17.4%，s提高了18.6%，這進(jìn)一步驗(yàn)證了本文所提方法的有效性與先進(jìn)性。進(jìn)一步對(duì)比可以發(fā)現(xiàn)，深度學(xué)習(xí)模型(Transformer、TCN-RSA、DSCN、RCNN)的表現(xiàn)均優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)模型(RVM)，這是由于傳統(tǒng)機(jī)器學(xué)習(xí)模型局限于淺層學(xué)習(xí)，對(duì)滾動(dòng)軸承的退化過程學(xué)習(xí)能力有限，而深度學(xué)習(xí)模型由于其突出的深層次學(xué)習(xí)能力，可以更好地挖掘軸承退化信息，建立更準(zhǔn)確的滾動(dòng)軸承RUL預(yù)測(cè)模型。而在這其中，Transformer 由于其強(qiáng)大的自注意力機(jī)制，能夠挖掘出輸入特征與軸承退化程度自身及相互之間的依賴關(guān)系，因此，其表現(xiàn)優(yōu)于其他3 種深度學(xué)習(xí)模型。

表10 XJTU-SY 數(shù)據(jù)集RUL 預(yù)測(cè)結(jié)果與比較Table 10 RUL prognostics results and com parisons on XJTU-SY dataset

5 結(jié) 論

本文提出了一種基于累積特征與Transformer模型的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)方法，通過實(shí)驗(yàn)驗(yàn)證得到以下結(jié)論：

1）本文采用的累積變換對(duì)于傳統(tǒng)統(tǒng)計(jì)特征的單調(diào)性與趨勢(shì)性具有很強(qiáng)的修正作用，使得累積特征能夠很好地表征軸承的退化趨勢(shì)。實(shí)驗(yàn)證明，在同樣使用Transformer 預(yù)測(cè)模型的情況下，累積特征相比于傳統(tǒng)統(tǒng)計(jì)特征平均絕對(duì)誤差降低了92.63%，平均得分提高了558.39%。

2）本文提出的基于編碼器-解碼器結(jié)構(gòu)Transformer 模型的軸承RUL 預(yù)測(cè)模型，能夠更好地挖掘出輸入特征與軸承RUL 之間復(fù)雜映射關(guān)系，使得RUL 的預(yù)測(cè)更為準(zhǔn)確。實(shí)驗(yàn)證明，在同樣使用累積特征的情況下，本文的預(yù)測(cè)模型相比于單解碼器結(jié)構(gòu)的Transformer 預(yù)測(cè)模型平均絕對(duì)誤差降低了19.84%，平均得分提高了32.6%。

3）本文所提方法能夠確保預(yù)測(cè)模型挖掘出輸入特征與軸承RUL 之間復(fù)雜映射關(guān)系，使其能夠?qū)W到絕大部分測(cè)試軸承的退化趨勢(shì)。案例1 中的PHM 2012 數(shù)據(jù)集驗(yàn)證實(shí)驗(yàn)證明，本文所提方法平均絕對(duì)誤差分別降低了9.25%、28.63%、34.14%，平均得分分別提高了2.78%、19.79%、29.38%。

4）本文在案例2 中采用了XJTU-SY 數(shù)據(jù)集進(jìn)行進(jìn)一步的驗(yàn)證，實(shí)驗(yàn)表明，本文所提方法均方根誤差降低了17.4%，平均得分提高了18.6%，由此進(jìn)一步證明了本文所提方法在滾動(dòng)軸承RUL 預(yù)測(cè)方面的有效性與優(yōu)越性。

在后續(xù)的研究中，應(yīng)該注意到滯后預(yù)測(cè)的危害，在實(shí)際生產(chǎn)環(huán)境中滯后預(yù)測(cè)相比于超前預(yù)測(cè)會(huì)帶來更大的事故風(fēng)險(xiǎn)。本文所提方法雖然提高了整體預(yù)測(cè)精準(zhǔn)度，但在個(gè)別軸承的工況下還存在滯后預(yù)測(cè)（如案例1 軸承2_5 的實(shí)驗(yàn)結(jié)果），下一步的研究重點(diǎn)應(yīng)該是著眼于如何降低滯后預(yù)測(cè)誤差或盡可能消除滯后預(yù)測(cè)。