基于Transformer模型的RUL預(yù)測(cè)方法研究*

李學(xué)偉，王毅洋，齊永蘭，邢 倩，孟昕元

(1.河南工學(xué)院 智能工程學(xué)院， 河南 新鄉(xiāng) 453003；2.新鄉(xiāng)市工業(yè)測(cè)控電器系統(tǒng)工程技術(shù)研究中心，河南 新鄉(xiāng) 453003)

0 引言

預(yù)測(cè)性維護(hù)是智能制造的關(guān)鍵創(chuàng)新點(diǎn)之一[1]。預(yù)測(cè)性維護(hù)通過傳感器技術(shù)[2]、工業(yè)物聯(lián)網(wǎng)技術(shù)、機(jī)器學(xué)習(xí)算法以及大數(shù)據(jù)技術(shù)，從設(shè)備的歷史運(yùn)行數(shù)據(jù)中挖掘運(yùn)行規(guī)律或模式，通過這些規(guī)律或模式，能夠準(zhǔn)確有效地實(shí)現(xiàn)對(duì)設(shè)備剩余使用壽命(Remaining Useful Life，RUL)的預(yù)測(cè)，進(jìn)而制定合理的維護(hù)計(jì)劃，以降低維護(hù)成本，提高維護(hù)效率[3,4]。近十年來，深度學(xué)習(xí)在RUL預(yù)測(cè)領(lǐng)域取得了顯著成效[5]，Giduthuri[6]首次將深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network, DCNN)引入RUL預(yù)測(cè)方法中并取得了較好的效果；Chen[7]目前RUL預(yù)測(cè)主要存在以下問題：(1)基于支持向量回歸(Support Vector Regression, SVR)的預(yù)測(cè)方法具有對(duì)RUL的不同健康狀況使用相同權(quán)重向量的局限性[8]；(2)DCNN模型在捕捉由故障或異常引起的快速退化趨勢(shì)方面是無效的[9]；(3)利用LSTM進(jìn)行RUL預(yù)測(cè)雖然可以消除計(jì)算過程中梯度消失的問題，但其計(jì)算耗時(shí)長的缺點(diǎn)無法回避。因此，鑒于注意力機(jī)制在模型架構(gòu)上的優(yōu)點(diǎn)，本文意圖設(shè)計(jì)一種基于Transformer模型的計(jì)算耗時(shí)少且相對(duì)傳統(tǒng)預(yù)測(cè)算法準(zhǔn)確率更高的RUL預(yù)測(cè)算法。

1 RUL預(yù)測(cè)系統(tǒng)方法設(shè)計(jì)

1.1 系統(tǒng)設(shè)計(jì)方案

一般的RUL預(yù)測(cè)系統(tǒng)大都采用以大數(shù)據(jù)為基礎(chǔ)的深度學(xué)習(xí)設(shè)計(jì)方法，其框架如圖1所示。

圖1 RUL預(yù)測(cè)系統(tǒng)框架圖

實(shí)施預(yù)測(cè)的具體步驟如下：

步驟1：明確預(yù)測(cè)目標(biāo)及目標(biāo)涉及的范圍，針對(duì)預(yù)測(cè)目標(biāo)搜集相關(guān)數(shù)據(jù)。

步驟2：對(duì)收集到的數(shù)據(jù)進(jìn)行初步整合、分析，確定數(shù)據(jù)預(yù)處理方案。

步驟3：進(jìn)行數(shù)據(jù)預(yù)處理，數(shù)據(jù)預(yù)處理主要包含數(shù)據(jù)清理、數(shù)據(jù)轉(zhuǎn)換、規(guī)范數(shù)據(jù)、特征選擇等內(nèi)容。

步驟4：選擇合適的訓(xùn)練模型，通常情況下，會(huì)選用幾種不同的模型進(jìn)行特征學(xué)習(xí)，然后比較它們的性能，從中選擇最優(yōu)的模型。在選擇模型時(shí)還需要重點(diǎn)考慮以下幾個(gè)關(guān)鍵點(diǎn)：(1)最后一層是否需要添加softmax或RELU激活層；(2)選擇合適的損失函數(shù)；(3)選擇合適的優(yōu)化器。

步驟5：利用測(cè)試數(shù)據(jù)對(duì)所選用的模型進(jìn)行測(cè)試，比較不同模型的RUL預(yù)測(cè)性能。

為了將Transformer模型優(yōu)越的特性引入設(shè)備的RUL預(yù)測(cè)方法中，本文設(shè)計(jì)了一種改進(jìn)的Transformer模型。該RUL預(yù)測(cè)模型是基于注意力機(jī)制的Transformer模型，是Vaswani[10]在2017年為語言翻譯任務(wù)提出的，在翻譯任務(wù)中有良好的表現(xiàn)。Transformer模型的體系結(jié)構(gòu)僅依靠注意力機(jī)制來完成翻譯任務(wù)，不再使用任何循環(huán)和卷積層，雖然結(jié)構(gòu)簡單，但其在精度和計(jì)算速度方面優(yōu)于以前最先進(jìn)的模型。

1.2 RUL目標(biāo)函數(shù)

在對(duì)設(shè)備的RUL進(jìn)行特征學(xué)習(xí)之前，還需要確定預(yù)測(cè)的目標(biāo)函數(shù)。

與典型的回歸問題不同，基于數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)問題有一個(gè)固有挑戰(zhàn)就是需要確定每個(gè)輸入數(shù)據(jù)點(diǎn)的所需輸出值，即預(yù)測(cè)的目標(biāo)值。這是因?yàn)樵趯?shí)際應(yīng)用中，如果沒有一個(gè)精確的基于物理的模型，就不可能準(zhǔn)確地確定每個(gè)時(shí)間階段設(shè)備的系統(tǒng)健康狀態(tài)。一個(gè)合理的解決方法是以預(yù)測(cè)對(duì)象在其功能失效前的實(shí)際剩余時(shí)間作為預(yù)測(cè)系統(tǒng)的輸出。然而，這種方法間接表示了系統(tǒng)的健康狀況是隨使用時(shí)間增加呈線性下降，這將導(dǎo)致RUL預(yù)測(cè)出現(xiàn)一定的偏差。另一種方法是根據(jù)適當(dāng)?shù)慕导?jí)模型導(dǎo)出預(yù)測(cè)系統(tǒng)所需的輸出值。

本文所使用的數(shù)據(jù)集采用分段線性退化模型，該模型限制了RUL函數(shù)的最大值，如圖2所示。最大值是根據(jù)觀測(cè)值選擇的，每個(gè)數(shù)據(jù)集的數(shù)值是不一樣的。分段線性RUL目標(biāo)函數(shù)更有可能避免算法高估RUL預(yù)測(cè)的性能。

圖2 分段線性RUL目標(biāo)函數(shù)

2 基于注意力機(jī)制的Transformer模型

本文的創(chuàng)新點(diǎn)在于，Vaswani的模型在實(shí)現(xiàn)機(jī)器翻譯任務(wù)時(shí)需要使用編解碼結(jié)構(gòu)，而本文提出的模型僅使用了一個(gè)沒有循環(huán)結(jié)構(gòu)的前饋網(wǎng)絡(luò)，主要由前饋網(wǎng)絡(luò)模塊、尺度點(diǎn)積注意力模塊和尺度點(diǎn)積自注意力模塊三部分組成，模型的結(jié)構(gòu)如圖3所示。輸入數(shù)據(jù)經(jīng)過輸入Embedding線性處理，在加入輸入序列位置編碼信息以后，分別傳輸給前饋網(wǎng)絡(luò)模塊、尺度點(diǎn)積注意力模塊和尺度點(diǎn)積自注意力模塊，最后經(jīng)過輸出層輸出預(yù)測(cè)值。接下來對(duì)模型中的關(guān)鍵模塊進(jìn)行分別解釋。

圖3 基于注意力機(jī)制的Transformer模型架構(gòu)

(1)輸入Embedding和位置編碼。

該模型的第一部分是輸入Embedding模塊，假設(shè)原始輸入樣本數(shù)據(jù)為XIN∈T×d，其中每一行數(shù)據(jù)表示在一個(gè)時(shí)間點(diǎn)上的特征向量，輸入Embedding模塊根據(jù)方程(1)給原始輸入施加一個(gè)線性變換。

XIE=(XIN·W0+b0)+P，

(1)

其中W0∈d×h是貫穿所有時(shí)間區(qū)間的線性變換矩陣，b0∈h表示偏置，P∈T×h是位置編碼矩陣。P和W初始值隨機(jī)初始化，并在訓(xùn)練期間根據(jù)模型中其他參數(shù)的變化進(jìn)行更新。由于該模型沒有循環(huán)結(jié)構(gòu)，因此序列的位置信息由位置編碼模塊提供。

(2)前饋網(wǎng)絡(luò)模塊。

由輸入Embedding模塊線性變換和位置編碼矩陣合并的輸出XIE∈T×h不能直接輸入給注意力模塊，需要先經(jīng)過一個(gè)全連接前饋神經(jīng)網(wǎng)絡(luò)，然后進(jìn)行歸一化，依據(jù)公式(2)和(3)的計(jì)算得到前饋網(wǎng)絡(luò)模塊的輸出XFF。

FFN(XIE)=ReLU(XIE·W1+b1)·W1+b2

(2)

XFF=Norm(XIE+FFN(XIE))

(3)

(3)注意力模塊。

在Transformer模型中尺度點(diǎn)積注意力模塊和尺度點(diǎn)積自注意力模塊的核心就是注意力機(jī)制，注意力模型的輸入有三個(gè)矩陣組成：有關(guān)keys的矩陣K∈T×h,有關(guān)values的矩陣V∈T×h，有關(guān)queries的矩陣Q∈T×h。注意力模塊的輸出是一個(gè)銜接矩陣C∈T×h，它是根據(jù)公式(4)計(jì)算得到的。

C=Attention(K,Q,V)

(4)

在尺度點(diǎn)積注意力模塊中，注意力模塊的三個(gè)輸入keys矩陣和values矩陣均等于前饋網(wǎng)絡(luò)模塊的輸出XFF，即K=V=XFF，與位置編碼P相似，queries矩陣Q也是隨機(jī)初始化并隨著訓(xùn)練的過程進(jìn)行參數(shù)更新。然后根據(jù)公式(5)進(jìn)行歸一化處理。

XSDA=Norm(Q+Attention(XFF,XFF,Q))

(5)

尺度點(diǎn)積自注意力模塊跟尺度點(diǎn)積注意力模塊非常相似，唯一的不同是其注意力模塊的三個(gè)輸入完全相同。該結(jié)構(gòu)的目標(biāo)是利用自注意力機(jī)制獲取一個(gè)序列的深度上下文信息，如公式(6)所示。

XSDSA=Norm(XSDA

+Attention(XSDA,XSDA,XSDA))

(6)

(4)輸出層。

我們都知道識(shí)字寫字教學(xué)在小學(xué)語文教學(xué)中占有極其重要的基礎(chǔ)地位，因此，我們需要扎實(shí)上好每一堂識(shí)字寫字課。漢字教學(xué)不同于普通的漢字研究，而小學(xué)生的記憶、想象、思維及其他活動(dòng)主要基于圖像。在識(shí)字教學(xué)中，我們需要挖掘漢語言文字在幾千年歷史發(fā)展中積累的大量文化信息，從而增加識(shí)字教學(xué)的知識(shí)內(nèi)容。整個(gè)過程應(yīng)該集科學(xué)、知識(shí)和趣味為一體，也讓學(xué)生進(jìn)一步感受語言文字的獨(dú)特魅力。

以上就是本文所提出的基于注意力機(jī)制Transformer模型的完整流程。

3 實(shí)驗(yàn)與結(jié)果分析

為了對(duì)本文所提出的RUL預(yù)測(cè)模型的性能進(jìn)行深度分析，接下來通過一系列的實(shí)驗(yàn)測(cè)試，與曾經(jīng)或目前在RUL預(yù)測(cè)方面表現(xiàn)較好的算法如SVR、DCNN和LSTM進(jìn)行對(duì)比。

由于以往學(xué)者在做RUL研究時(shí)均采用CMAPSS或N-CMAPSS數(shù)據(jù)集進(jìn)行模型測(cè)試，其中N-CMAPSS可以促進(jìn)預(yù)測(cè)性維護(hù)應(yīng)用的深度學(xué)習(xí)算法開發(fā)，這些算法更容易轉(zhuǎn)移到實(shí)際應(yīng)用中，此外，N-CMAPSS數(shù)據(jù)集是機(jī)器學(xué)習(xí)社區(qū)測(cè)試新的時(shí)間序列預(yù)測(cè)算法的重要資源。因此，為了方便在相同標(biāo)準(zhǔn)下對(duì)比深度學(xué)習(xí)模型的性能，本文采用N-CMAPSS數(shù)據(jù)集對(duì)Transformer模型進(jìn)行測(cè)試。接下來對(duì)實(shí)驗(yàn)過程進(jìn)行詳細(xì)描述。

3.1 數(shù)據(jù)集

N-CMAPSS數(shù)據(jù)集描述的是一批飛機(jī)發(fā)動(dòng)機(jī)在真實(shí)飛行條件下，由正常運(yùn)行到出現(xiàn)故障的狀態(tài)曲線數(shù)據(jù)，數(shù)據(jù)集利用商用模塊化航空推進(jìn)系統(tǒng)仿真動(dòng)力學(xué)模型生成。該數(shù)據(jù)集由NASA公司的Ames聯(lián)合蘇黎世聯(lián)邦理工學(xué)院和帕洛阿爾托研究中心合作提供，有關(guān)數(shù)據(jù)集的自述文件可以在參考文獻(xiàn)[11]中找到。在預(yù)測(cè)中，準(zhǔn)確估計(jì)飛機(jī)發(fā)動(dòng)機(jī)的剩余使用壽命是一個(gè)關(guān)鍵問題。通常一些傳感器如振動(dòng)傳感器，主要用于收集發(fā)動(dòng)機(jī)運(yùn)行信息，并將其作為估計(jì)RUL的特征。

N-CMAPSS數(shù)據(jù)集包含來自128個(gè)單元的八組數(shù)據(jù)和影響所有旋轉(zhuǎn)子部件的流量和效率的七種不同故障模式。每組數(shù)據(jù)都存儲(chǔ)在HDF5格式的文件中。數(shù)據(jù)集可在存儲(chǔ)庫中公開訪問，數(shù)據(jù)存儲(chǔ)庫中還提供了Jupyter notebook形式的腳本，以演示如何加載、復(fù)制數(shù)據(jù)，并對(duì)數(shù)據(jù)的子集進(jìn)行簡單分析。每個(gè)數(shù)據(jù)文件提供兩組數(shù)據(jù)：訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。每個(gè)數(shù)據(jù)集都包含六種類型的變量：操作條件W、測(cè)量信號(hào)Xs、虛擬傳感器Xv、發(fā)動(dòng)機(jī)健康參數(shù)θ、RUL標(biāo)簽和輔助數(shù)據(jù)(即單元號(hào)U和飛行循環(huán)號(hào)C、飛行等級(jí)FC和健康狀態(tài)Hs)。

每個(gè)發(fā)動(dòng)機(jī)的退化模型由三部分組成：初始退化、正常退化和異常退化。通過調(diào)整這些發(fā)動(dòng)機(jī)子部件的流量和效率(即發(fā)動(dòng)機(jī)健康參數(shù)θ)來模擬退化效應(yīng)。由于制造和裝配公差，發(fā)動(dòng)機(jī)子部件上有不同程度的初始磨損。雖然這種由初始磨損而導(dǎo)致的退化并不被認(rèn)為是異常的，但會(huì)對(duì)部件的使用壽命產(chǎn)生影響，因此，通常會(huì)利用各種子部件的流量和效率的變化來模擬這種初始磨損。

3.2 評(píng)價(jià)指標(biāo)

為了在測(cè)試數(shù)據(jù)集上公平地對(duì)比預(yù)測(cè)模型在準(zhǔn)確率方面的性能，需要一些客觀的評(píng)價(jià)標(biāo)準(zhǔn)。在本實(shí)驗(yàn)中，主要采用兩種評(píng)價(jià)標(biāo)準(zhǔn)：評(píng)價(jià)函數(shù)和均方根誤差(RMSE)。這兩個(gè)評(píng)價(jià)指標(biāo)值越低，表示對(duì)應(yīng)模型的準(zhǔn)確率越高。具體說明如下：

(7)

該評(píng)價(jià)函數(shù)對(duì)后期預(yù)測(cè)(執(zhí)行維護(hù)決策的時(shí)間較晚)的程度比早期預(yù)測(cè)要多，雖然它沒有太大的危害，但可能會(huì)浪費(fèi)維護(hù)資源，而且，此功能有幾個(gè)缺點(diǎn)。最顯著的缺點(diǎn)就是單個(gè)異常值(具有較晚的預(yù)測(cè))將主導(dǎo)整體性能得分(請(qǐng)參考圖4右側(cè)的指數(shù)增長)，從而掩蓋了算法的整體準(zhǔn)確性。另一個(gè)缺點(diǎn)是缺乏對(duì)算法預(yù)測(cè)范圍的考慮。預(yù)測(cè)范圍在評(píng)估故障前的時(shí)間，算法能夠在某個(gè)置信水平內(nèi)準(zhǔn)確估計(jì)RUL值。最后，這個(gè)評(píng)價(jià)函數(shù)更加偏向于通過低估RUL來人為地降低分?jǐn)?shù)的模型或算法。

除了評(píng)價(jià)函數(shù)之外，估計(jì)RUL的RMSE也被用作預(yù)測(cè)模型準(zhǔn)確率的評(píng)價(jià)指標(biāo)。選擇RMSE是因?yàn)樗鼘?duì)早期和晚期預(yù)測(cè)給予相同的權(quán)重。將RMSE與評(píng)價(jià)函數(shù)結(jié)合使用將避免針對(duì)一種評(píng)價(jià)指標(biāo)人為降低分?jǐn)?shù)而導(dǎo)致另一種評(píng)價(jià)指標(biāo)分?jǐn)?shù)上升的情況。RMSE定義如式(8)所示。

(8)

兩個(gè)評(píng)估指標(biāo)之間的比較圖如圖4所示?？梢杂^察到，在較低的絕對(duì)誤差值下，評(píng)價(jià)函數(shù)產(chǎn)生的值低于RMSE。這兩個(gè)評(píng)估指標(biāo)的相對(duì)特征將在本文后面部分討論實(shí)驗(yàn)結(jié)果時(shí)應(yīng)用。

圖4 不同誤差值對(duì)比

3.3 實(shí)驗(yàn)條件

本文所有的深度學(xué)習(xí)模型運(yùn)行在GPU工作站上，GPU工作站配置為酷睿TMi9-10900K CPU@3.7GHz，32G內(nèi)存，1塊NVIDIA GeForce RTX3080Ti GPU。在整個(gè)實(shí)驗(yàn)過程中，使用學(xué)習(xí)率為0.001的Adam Optimizer作為優(yōu)化方法，在訓(xùn)練階段對(duì)模型進(jìn)行隨機(jī)梯度下降。模型的架構(gòu)使用python v3.7.1 + pytorch1.7.0構(gòu)建。

3.4 結(jié)果分析

根據(jù)RUL預(yù)測(cè)系統(tǒng)的預(yù)測(cè)流程，在正式進(jìn)行模型訓(xùn)練和模型測(cè)試之前，首先要對(duì)原始數(shù)據(jù)進(jìn)行探索和預(yù)處理，使模型輸入的數(shù)據(jù)更加規(guī)范，這樣才能體現(xiàn)出模型真實(shí)的性能。圖5顯示了N-CMAPSS數(shù)據(jù)集中DS02組數(shù)據(jù)由場(chǎng)景描述變量w給出的模擬飛行數(shù)據(jù)的核密度估計(jì)：高度(alt)、飛行馬赫數(shù)(Mach)、油門-解析器角度(TRA)和風(fēng)扇入口處的總溫度 (T2)。圖6顯示了一個(gè)典型的單個(gè)飛行周期的示例，該示例由場(chǎng)景-腳本變量的軌跡給出。每個(gè)飛行周期都包含不同長度的記錄，涵蓋對(duì)應(yīng)于飛機(jī)運(yùn)行的不同航線的爬升、巡航和下降飛行條件(alt >10,000英尺)，其余單元遵循類似的飛行軌跡。

圖5 模擬飛行數(shù)據(jù)的核密度估計(jì)

圖6 單個(gè)飛行周期的示例

為了說明運(yùn)行條件對(duì)異常退化開始的影響，圖7給出了DS02組數(shù)據(jù)三個(gè)單元的高壓渦輪效率(HPT Eff mod)、低壓渦輪效率(LPT_Eff_mod)和低壓渦輪流量(LPT flow_mod)的退化軌跡。每個(gè)選定的單元對(duì)應(yīng)一個(gè)不同的飛行級(jí)別。單元11為長途飛行單元，異常退化最早出現(xiàn)在第19次循環(huán)。單元14為短飛行長度單元，起始周期為第36次循環(huán)。最后，單元15為中等飛行長度單位，其起始周期為第24次循環(huán)?？梢杂^察到單元14在后期出現(xiàn)異常退化，因此可以進(jìn)行更多的飛行。

圖7 影響低壓渦輪效率和低壓渦輪流量的退化痕跡

在經(jīng)過數(shù)據(jù)探索和一系列預(yù)處理以后，開始進(jìn)行模型訓(xùn)練和模型測(cè)試。表1用RMSE值說明了四種模型在四個(gè)子數(shù)據(jù)集上的比較結(jié)果。結(jié)果表明，無論運(yùn)行條件如何，Transformer模型在所有子數(shù)據(jù)集上均比SVR、DCNN和LSTM獲得了更低的RMSE值，表明本文所提出的深度學(xué)習(xí)模型能夠從樸素神經(jīng)網(wǎng)絡(luò)中找到比淺層特征更多的信息特征。在四種方法中，SVR在所有數(shù)據(jù)上均獲得了較高的RMSE值，說明單純的機(jī)器學(xué)習(xí)模型甚至?xí)p害性能，也進(jìn)一步驗(yàn)證了探索現(xiàn)代深度學(xué)習(xí)技術(shù)的必要性。在單個(gè)工況數(shù)據(jù)集即第一和第三子數(shù)據(jù)集上，DCNN比SVR的RMSE值更低；在多個(gè)工況數(shù)據(jù)集即第二子數(shù)據(jù)集和第四子數(shù)據(jù)集上，LSTM比SVR和DCNN的RMSE值更低，而本文所提出的Transformer模型在多個(gè)數(shù)據(jù)集上取得了較LSTM更好的效果。

表1 N-CMAPSS數(shù)據(jù)集中不同模型的RMSE對(duì)比

同樣，在相同的數(shù)據(jù)集中，表2描述了四種方法在評(píng)價(jià)函數(shù)方面的比較結(jié)果?？梢钥闯觯诙喙r數(shù)據(jù)集即第二、第四數(shù)據(jù)集上，以及在單一工況數(shù)據(jù)集即第一子數(shù)據(jù)集上，Transformer比SVR、DCNN和LSTM的得分值更低(更好)。在四種方法中，無論運(yùn)行條件如何，SVR在所有四個(gè)子數(shù)據(jù)集上都比其他方法獲得了更高的評(píng)分值(最差的結(jié)果)。Transformer在一個(gè)單一的操作條件數(shù)據(jù)集即第三個(gè)子數(shù)據(jù)集上的得分略高于(較差)DCNN，盡管RMSE值較低。再加上每個(gè)評(píng)價(jià)指標(biāo)的特征，這意味著稍微高的分?jǐn)?shù)可能是由預(yù)測(cè)RUL的某些異常值造成的?；谶@些觀察，實(shí)驗(yàn)發(fā)現(xiàn)RUL估計(jì)方法的性能還取決于它們的運(yùn)行條件。

表2 N-CMAPSS數(shù)據(jù)集中不同模型的評(píng)價(jià)函數(shù)對(duì)比

在分別利用RMSE和評(píng)價(jià)函數(shù)對(duì)預(yù)測(cè)模型進(jìn)行評(píng)價(jià)中，本文使用的Transformer模型較LSTM模型的參數(shù)指標(biāo)非常接近，但其模型訓(xùn)練耗時(shí)卻相差較多，前者平均耗時(shí)3分30秒，后者平均耗時(shí)1.5小時(shí)，模型訓(xùn)練效率得到大幅度提高。

4 結(jié)語

目前工業(yè)核心設(shè)備的RUL預(yù)測(cè)主要存在對(duì)RUL的不同健康狀況使用相同權(quán)重向量的局限性，在捕捉由故障或異常引起的快速退化趨勢(shì)方面無效，以及利用循環(huán)卷積的預(yù)測(cè)模型計(jì)算耗時(shí)長的缺點(diǎn)。本文設(shè)計(jì)了基于Transformer模型的RUL預(yù)測(cè)算法，分別采用評(píng)價(jià)函數(shù)和RMSE作為衡量預(yù)測(cè)模型準(zhǔn)確率的評(píng)價(jià)指標(biāo)，在公開的N-CMAPSS數(shù)據(jù)集上檢驗(yàn)它的RUL預(yù)測(cè)性能，實(shí)驗(yàn)結(jié)果表明，該預(yù)測(cè)模型的準(zhǔn)確率顯著優(yōu)于文獻(xiàn)中廣泛用于RUL估計(jì)的現(xiàn)有最先進(jìn)的深度學(xué)習(xí)模型如SVR、DCNN和LSTM模型。在未來的研究中，希望進(jìn)一步探索新的深度學(xué)習(xí)技術(shù)，以解決預(yù)測(cè)性維護(hù)領(lǐng)域中的各種新問題。