循環(huán)神經(jīng)網(wǎng)絡(luò)在剩余使用壽命預(yù)測中的應(yīng)用綜述

吳東燃? 夏藝? 王婧? 古書懷

摘? 要：準(zhǔn)確的剩余使用壽命預(yù)測對于提高工業(yè)設(shè)備及復(fù)雜系統(tǒng)的使用價值、降低設(shè)備生命周期成本具有重要意義。循環(huán)神經(jīng)網(wǎng)絡(luò)具有時間維度上的記憶性且能夠參數(shù)共享，比較適用于剩余使用壽命預(yù)測。文章基于循環(huán)神經(jīng)網(wǎng)絡(luò)對剩余使用壽命預(yù)測展開深入的研究，將搜集文獻(xiàn)法分為三種：基于單一循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測方法，以循環(huán)神經(jīng)網(wǎng)絡(luò)為主、以其他神經(jīng)網(wǎng)絡(luò)為輔的混合網(wǎng)絡(luò)預(yù)測方法，以及循環(huán)神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合的預(yù)測方法。最后，文章從魯棒性研究、泛化性研究和優(yōu)化預(yù)測模型三個方面提出了下一步的研究建議。

關(guān)鍵詞：循環(huán)神經(jīng)網(wǎng)絡(luò)；長短時記憶網(wǎng)絡(luò)；門控循環(huán)單位；預(yù)測性維護；剩余使用壽命

中圖分類號：TP18? ? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）24-0061-06

Review on the Application of Recurrent Neural Networks in the Prediction of Remaining Service Life

QIU Peizhen， WU Dongran， XIA Yi， WANG Jing， GU Shuhuai

（School of Data Science and Engineering， South China Normal University， Guangzhou? 510631， China）

Abstract： Accurate prediction of remaining service life is of great significance for improving the using value of industrial equipment and complex systems， and reducing equipment lifecycle costs. Recurrent neural networks have memory in the time dimension and can share parameters， making them more suitable for predicting remaining service life. This paper conducts in-depth research on the prediction of remaining service life based on recurrent neural networks. The literature collection methods are divided into three types： prediction methods based on a single recurrent neural network， hybrid network prediction methods mainly based on recurrent neural networks and supplemented by other neural networks， and prediction methods combining recurrent neural networks with other algorithms. Finally， it proposes further research recommendations from three aspects： robustness research， generalization research， and optimization of prediction models.

Keywords： recurrent neural network; Long Short-Term Memory; gate recurrent unit; predictive maintenance; remaining service life

0? 引? 言

剩余使用壽命（Remaining Useful Life， RUL）是指從當(dāng)前時間點到產(chǎn)品使用壽命結(jié)束之間的時間段[1]。RUL預(yù)測是預(yù)測性維護（Predictive Maintenance）[1]最重要的組成部分。準(zhǔn)確的RUL預(yù)測有助于將計劃維護轉(zhuǎn)向預(yù)測性維護，有效減少維護成本和避免因重大設(shè)備故障帶來的災(zāi)難性后果。

在RUL預(yù)測中，需要建立性能良好、穩(wěn)定可靠的模型，對設(shè)備狀態(tài)進行準(zhǔn)確的辨識和預(yù)測。經(jīng)過多年的研究和探索，神經(jīng)網(wǎng)絡(luò)在RUL預(yù)測領(lǐng)域展現(xiàn)出強大的優(yōu)勢?；谏窠?jīng)網(wǎng)絡(luò)的RUL預(yù)測方法旨在以原始測量數(shù)據(jù)或基于原始測量數(shù)據(jù)提取的特征作為神經(jīng)網(wǎng)絡(luò)的輸入，通過一定的訓(xùn)練算法不斷調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，利用優(yōu)化后的網(wǎng)絡(luò)在線預(yù)測設(shè)備的剩余使用壽命，預(yù)測過程中無須提供任何先驗信息，完全基于監(jiān)測數(shù)據(jù)得到預(yù)測結(jié)果。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進方向上進行遞歸，且其所有節(jié)點（循環(huán)單元）均以鏈?zhǔn)竭M行連接的遞歸神經(jīng)網(wǎng)絡(luò)[2]。不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，RNN允許信息持續(xù)存在，它能挖掘數(shù)據(jù)中的時序信息和語義信息，在處理連續(xù)時間序列數(shù)據(jù)方面具有很高的效率。時序數(shù)據(jù)是一種隨時間變化的數(shù)據(jù)，可在一定程度上反映出設(shè)備在不同時間點的運行情況。在RUL預(yù)測中，大多數(shù)設(shè)備傳感器數(shù)據(jù)本質(zhì)上是時序數(shù)據(jù)，可用于識別設(shè)備性能的退化趨勢和潛在問題，從而對設(shè)備進行預(yù)測性維護。

本文所討論的RNN是廣義上的RNN，包括最基本的RNN，以及在RNN的基礎(chǔ)上進行改進得到的多種變體，如常用的長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）、雙向長短時記憶網(wǎng)絡(luò)（BiLSTM）、門控循環(huán)單元（GRU）等[2]。這些變體的特殊結(jié)構(gòu)彌補了RNN的不足，可以幫助提高RUL預(yù)測的效率和準(zhǔn)確性。

在實際的工業(yè)生產(chǎn)中，采用RNN進行RUL預(yù)測的過程中常常會遇到模型參數(shù)眾多、訓(xùn)練復(fù)雜度較高，需要消耗大量時間和計算資源進行訓(xùn)練的問題。因此，將優(yōu)化算法與RNN模型相結(jié)合，可以有效地優(yōu)化RNN模型，提高其性能和訓(xùn)練效率。常見的優(yōu)化算法包括梯度下降法（GD）、隨機梯度下降法（SGD）、遺傳算法（GA）和粒子群算法（PSO）等[3]。優(yōu)化算法可以優(yōu)化RNN模型的權(quán)重和偏置參數(shù)，逐漸提高模型的精度和泛化能力。優(yōu)化算法和RNN相結(jié)合的方法逐漸成為機器學(xué)習(xí)領(lǐng)域極為重要的方法，在許多領(lǐng)域廣被采用。

本文作者在中國知網(wǎng)、IEEE、SCIENCEDIRECT、SCI和ACM Digital Library等數(shù)據(jù)庫中進行了兩組關(guān)鍵詞（領(lǐng)域關(guān)鍵詞和技術(shù)關(guān)鍵詞）的搜索。前者包括“RUL”，后者包括“RNN”“LSTM”“GRU”。從2017年至今，根據(jù)相關(guān)程度篩選出42篇論文（不包括綜述）。截至2023年2月，已有多篇論文回顧了與RUL預(yù)測相關(guān)的主題。文獻(xiàn)[4]側(cè)重點為軸承故障分類和基于機器學(xué)習(xí)的RUL預(yù)測技術(shù)。文獻(xiàn)[5]側(cè)重點為RNN方法在機械故障診斷中的研究現(xiàn)狀?，F(xiàn)有綜述多是論述機器學(xué)習(xí)方面的內(nèi)容，范圍較廣。而對擅于處理有時間序列特征的數(shù)據(jù)的RNN在RUL預(yù)測中的應(yīng)用，暫無相關(guān)綜述。為填補這一空白，本文將主要基于RNN對RUL的預(yù)測展開深入研究，將所有涉及RNN在RUL預(yù)測領(lǐng)域的文獻(xiàn)進行統(tǒng)計與篩選，挑選出代表性論文進行綜述。最后從魯棒性研究、泛化性研究、優(yōu)化預(yù)測模型三個方面對RNN在RUL預(yù)測中的應(yīng)用進行了展望。

1? 基于單一RNN的預(yù)測方法

1.1? 基于LSTM的RUL預(yù)測方法

有學(xué)者定量評估各種最先進的RNN結(jié)構(gòu)對RUL預(yù)測性能的影響，證明了變體方法比原RNN的性能更好[6]。而LSTM[2]作為最常見和最著名的RNN變體之一，經(jīng)常被學(xué)者應(yīng)用于RUL預(yù)測中。在飛機渦扇發(fā)動機[7]、滾動軸承[8]和傳感器[9]等設(shè)備數(shù)據(jù)的RUL預(yù)測應(yīng)用中均取得了不錯的效果。圖1為LSTM的結(jié)構(gòu)圖，由遺忘門、輸入門和輸出門組成。遺忘門決定丟棄上一狀態(tài)的哪些信息；輸入門決定在此刻的單元格狀態(tài)中存儲哪些新信息；輸出門決定要輸出何種信息，用來控制單元狀態(tài)ct的內(nèi)容傳遞到輸出值ht的比例。

單向LSTM存在只能沿著時間軸向前傳遞信息的局限性，而BiLSTM可以雙向傳遞信息，從而可以更好地捕捉時間序列數(shù)據(jù)中的相關(guān)性，成為學(xué)者研究的熱點[10]。

當(dāng)傳統(tǒng)的LSTM不能滿足要求時，學(xué)者往往通過改進LSTM來達(dá)到理想結(jié)果，基于權(quán)值放大的長短期記憶神經(jīng)網(wǎng)絡(luò)（WA-LSTM）就是其中的一種[11]。WA-LSTM通過對不同時間步的權(quán)重進行加權(quán)放大，提高了預(yù)測準(zhǔn)確率。多細(xì)胞LSTM（MCLSTM）也是其中一種改進的LSTM模型[12]。MCLSTM可以在每個時間步驟上使用多個LSTM單元來學(xué)習(xí)不同的特征，這使得它可以增強網(wǎng)絡(luò)的表示能力。

當(dāng)單個LSTM不能滿足實際生產(chǎn)的要求時，可以將堆疊LSTM（S-LSTM）投入到應(yīng)用中[13]。S-LSTM可以更好地學(xué)習(xí)和捕捉時間序列數(shù)據(jù)中的長期依賴關(guān)系，減少過擬合的風(fēng)險。

1.2? 基于GRU的RUL預(yù)測方法

GRU[2]的結(jié)構(gòu)比LSTM簡單，參數(shù)也較少，且不需要像LSTM那樣存儲多個狀態(tài)，因此GRU的計算效率相對LSTM來說更高，也更適合短序列。圖2為GRU的結(jié)構(gòu)圖，它在LSTM模型的基礎(chǔ)上進行了改進，將遺忘門和輸入門合并成更新門，同時將狀態(tài)單元與隱藏層合并成重置門。研究人員將GRU用于RUL預(yù)測中，取得了不錯的成效[14]。

在傳統(tǒng)GRU的基礎(chǔ)上，研究人員提出了增強記憶門控循環(huán)單元（RMGRU）網(wǎng)絡(luò)，與傳統(tǒng)的GRU相比，RMGRU在處理長序列或長時間記憶的任務(wù)上具有優(yōu)勢，且能夠更好地泛化到不同的任務(wù)上。將RMGRU用在RUL預(yù)測中也能取得不錯的成果[15]。

單向GRU只能考慮過去的信息，而BGRU可以同時考慮過去和未來的信息。這使得BGRU能夠更好地處理輸入序列中的復(fù)雜模式，成為RUL預(yù)測領(lǐng)域的研究熱點[16]。

LSTM的記憶單元可以更好地捕捉長期依賴關(guān)系，而GRU的門控單元可以更好地控制信息流的開關(guān)，將GRU和LSTM結(jié)合在一起可以充分利用它們各自的優(yōu)點，得到更好的泛化能力和計算效率[17]。

2? 以RNN為主的混合網(wǎng)絡(luò)預(yù)測方法

2.1? RNN與CNN結(jié)合模型

卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有較強的分類能力，能夠處理高維數(shù)據(jù)，適用于多維信息的處理，且CNN可以捕捉局部特征，可以用于檢測信號中的局部特征。圖3為CNN結(jié)構(gòu)圖，由卷積層、池化層和全連接層組成。卷積層對輸入數(shù)據(jù)進行特征提取，池化層進行特征選擇和信息過濾，全連接層將特征圖展開為向量，然后進行分類或回歸。將LSTM和CNN結(jié)合可以同時捕捉全局特征和局部特征，從而提高了預(yù)測的準(zhǔn)確性。在RUL預(yù)測研究中，學(xué)者結(jié)合使用CNN和LSTM來提取特征[18]。通常，學(xué)者使用CNN提取特征，然后將CNN提取的信息作為LSTM的補充，將LSTM和CNN有機地結(jié)合增強預(yù)測能力[19]。

為了突破單向LSTM的局限，學(xué)者也常將BiLSTM與CNN結(jié)合應(yīng)用于RUL預(yù)測中，讓CNN提取空間特征，BiLSTM提取時間特征[20]。

與LSTM相比，GRU在處理長序列時具有更高的效率，并且可以更好地處理高維數(shù)據(jù)，因此有些學(xué)者也將CNN與GRU結(jié)合應(yīng)用于RUL領(lǐng)域[21]。

在實際生產(chǎn)中，面對不同特征的數(shù)據(jù)，也可以將RNN與CNN再結(jié)合其他結(jié)構(gòu)，以達(dá)到更好的效果。由于多時間窗口集成框架可以利用不同時間尺度的信息來提高預(yù)測精度和魯棒性，有學(xué)者將其用于準(zhǔn)確預(yù)測狀態(tài)監(jiān)測數(shù)據(jù)的長度存在高度不一致情況下的RUL[22]。多尺度卷積神經(jīng)網(wǎng)絡(luò)（MSCNN）是一種用于圖像處理的深度學(xué)習(xí)模型，可以同時處理不同尺度的特征，并從中提取更加豐富的信息，因此也有學(xué)者將其應(yīng)用在RUL預(yù)測中[23]。

2.2? RNN與自動編碼器結(jié)合模型

自編碼器（Auto-Encoders， AE）是一種神經(jīng)網(wǎng)絡(luò)模型，由編碼器和解碼器兩個主要組件組成，圖4為自編碼器的結(jié)構(gòu)圖。AE可以有效地實現(xiàn)信息降噪，做到在不同維度上進行特征提取。研究人員將AE和RNN結(jié)合起來進行RUL預(yù)測，將它們結(jié)合起來，可以利用RNN的序列建模能力對序列數(shù)據(jù)進行編碼和解碼，使得AE能夠處理序列數(shù)據(jù)，降低過擬合風(fēng)險[24]。

在此基礎(chǔ)上，研究人員將LSTM與自編碼器相結(jié)合，通過AE的降噪和特征提取來提高LSTM的穩(wěn)定性和魯棒性，從而緩解模型的過擬合和欠擬合問題[25]。當(dāng)需要通過雙向處理來捕捉數(shù)據(jù)的前后文關(guān)系時，也可以將AE和BiLSTM相結(jié)合[26]。BiLSTM作為時態(tài)建模工具，捕捉特征之間的雙向長程依賴關(guān)系。

此外，研究人員還將GRU和AE進行了結(jié)合。AE可以通過學(xué)習(xí)數(shù)據(jù)的特征表示來提取數(shù)據(jù)的有用信息，而GRU可以通過門控機制來捕捉數(shù)據(jù)的動態(tài)變化，二者相得益彰[27]。

除了傳統(tǒng)的AE，研究人員還將AE的變體和RNN及其變體相結(jié)合，以達(dá)到更好的效果，卷積自編碼器（CAE）就是其中的一種。研究人員將CAE與RNN及其變體進行結(jié)合，用于RUL預(yù)測中[28]。與傳統(tǒng)的AE不同，CAE使用卷積層代替全連接層，能夠提取更深層次的特征。

變分自編碼器（VAE）也是自動編碼器的一個變種，與標(biāo)準(zhǔn)AE不同的是，VAE具有概率解釋，其編碼器輸出的是潛在空間的概率分布，而不是單個編碼向量。學(xué)者將其應(yīng)用于RUL預(yù)測，也取得了不錯的效果[29]。

2.3? RNN與注意力機制結(jié)合模型

注意力機制[30]是一種可以增強神經(jīng)網(wǎng)絡(luò)模型對輸入數(shù)據(jù)關(guān)注度的結(jié)構(gòu)，可以在計算能力有限的情況下，過濾掉重要程度較低的信息，將計算資源分配到主要信息處理，提高當(dāng)前任務(wù)中關(guān)鍵工作的效能。研究人員常將注意力機制與LSTM結(jié)合應(yīng)用在RUL預(yù)測中[31]。

BiLSTM對較長序列的處理能力仍有不足。而將注意機制與BiLSTM集成，能夠選擇性地處理部分信息，模型可以更加精確地選擇需要關(guān)注的部分[32]。注意力機制常常與優(yōu)化算法相結(jié)合，以達(dá)到最優(yōu)效果。PSO即為一種常見的算法，是學(xué)者研究的熱點[33]。

在實際的工業(yè)應(yīng)用中，研究人員為了網(wǎng)絡(luò)能夠更好地關(guān)注輸入信息中的屬性，提高序列建模和預(yù)測的準(zhǔn)確性，對注意力機制進行了改進，屬性關(guān)注LSTM神經(jīng)網(wǎng)絡(luò)就是其中的一種[34]。

2.4? RNN與其他結(jié)構(gòu)的結(jié)合

除了以上三種結(jié)構(gòu)與RNN的結(jié)合以外，研究人員也嘗試將其他結(jié)構(gòu)與RNN相結(jié)合，在應(yīng)用中同樣取得了顯著的效果，DenseNet網(wǎng)絡(luò)就是其中的一種[35]。DenseNet網(wǎng)絡(luò)可以“拓寬”模型每一層的過濾器，同時學(xué)習(xí)更少的參數(shù)，表現(xiàn)出優(yōu)異的性能。有向無環(huán)圖（DAG）能夠建模多種復(fù)雜的關(guān)系，與RNN結(jié)合則可以更好地建模多個時間步之間的依賴關(guān)系，提高模型的預(yù)測準(zhǔn)確度，成為研究人員的研究方向之一[36]。

3? RNN與其他算法相結(jié)合的預(yù)測方法

由于數(shù)據(jù)復(fù)雜性和噪聲的存在，RNN難以準(zhǔn)確捕捉到序列數(shù)據(jù)中的關(guān)鍵特征。而在RNN前進行特征提取，可以對原始數(shù)據(jù)進行一些變換和處理，從而提取出更加抽象和高層次的特征，下面是RUL預(yù)測應(yīng)用中在RNN前常用的幾種特征提取方法：

1）主成分分析（PCA）。主成分分析是一種常用的數(shù)據(jù)降維和特征提取方法，它能夠?qū)⒏呔S度的數(shù)據(jù)轉(zhuǎn)換為低維度的數(shù)據(jù)。因此學(xué)者們常將其用于去除指標(biāo)數(shù)據(jù)冗余、降低數(shù)據(jù)的復(fù)雜度[37]。PCA常用于數(shù)據(jù)的線性降維，而核主成分分析（KPCA）可實現(xiàn)數(shù)據(jù)的非線性降維，用于非線性特征提取[38]。Akpudo等[39]也提出了用于退化評估的KPCA特征融合技術(shù)。概率主成分分析（PPCA）是PCA的一種升級，通過引入概率來降低原始數(shù)據(jù)的維數(shù)[40]。

2）經(jīng)驗?zāi)B(tài)分解（EMD）。經(jīng)驗?zāi)B(tài)分解是一種信號處理方法，能夠自適應(yīng)地將信號分解為若干個具有明確物理意義的成分，使得信號的特征更加明顯，便于后續(xù)處理。學(xué)者們常采用EMD對數(shù)據(jù)進行降噪處理[41]。遇到數(shù)據(jù)量較小、難以精確描述的數(shù)據(jù)（即只有幾個數(shù)據(jù)點）時，研究人員經(jīng)常會使用灰色關(guān)聯(lián)分析法來解決這些問題[42]。灰色關(guān)聯(lián)分析（GRA）是一種基于灰色系統(tǒng)理論的分析方法，用于研究多個因素之間的關(guān)系和影響。

3）聚類。聚類是一種無監(jiān)督學(xué)習(xí)方法，其基本思想是對原始數(shù)據(jù)樣本進行聚類，然后使用新的特征向量——聚類中心來表示每個數(shù)據(jù)樣本。通過這種方式，可以將高維的原始數(shù)據(jù)樣本轉(zhuǎn)換成低維的聚類中心，從而減少特征維度，提取出更加有效的特征，方便后續(xù)模型訓(xùn)練和分類任務(wù)的開展。因此學(xué)者們常采用聚類方法進行數(shù)據(jù)預(yù)處理[17]。

RNN的訓(xùn)練和調(diào)參往往需要大量的時間和資源。為了解決這一問題，人們提出了很多算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)。Dropout是一種用于防止過擬合的正則化技術(shù)，常被學(xué)者用于避免過擬合和梯度消失現(xiàn)象的發(fā)生。Adam算法是一種常用的SGD優(yōu)化算法，具有自適應(yīng)學(xué)習(xí)率和可靠性等優(yōu)點，可以提高RUL預(yù)測的準(zhǔn)確度[43]。此外，還采用粒子濾波（PF）算法對模型參數(shù)進行跟蹤，采用GA來優(yōu)化權(quán)重和偏置等參數(shù)[44]。PSO的收斂速度和精度均優(yōu)于GA，因此前者也可以用于優(yōu)化模型超參數(shù)[45]。

自適應(yīng)是指系統(tǒng)或算法能夠自主地調(diào)整自身的行為、參數(shù)或結(jié)構(gòu)，能夠提高模型的泛化能力和準(zhǔn)確率，應(yīng)用領(lǐng)域越來越廣泛，在RUL領(lǐng)域也成為研究熱點。學(xué)者使用不同的算法來實現(xiàn)模型自適應(yīng)，其中有自適應(yīng)Levy飛行算法[46]、彈性均方反向傳播方法[47]等。

4）多網(wǎng)格搜索（MLGS）。多網(wǎng)格搜索是一種模型參數(shù)優(yōu)化算法，它可以在較短的時間內(nèi)快速找到最優(yōu)的模型參數(shù)。學(xué)者將其用于對模型參數(shù)進行優(yōu)化，也取得了不錯的效果[37]。

除了上述算法，研究人員還將其他優(yōu)化算法用于優(yōu)化RNN參數(shù)上。實際運用中可以根據(jù)工業(yè)生產(chǎn)的需要選擇合適的算法。

4? 結(jié)? 論

準(zhǔn)確的RUL預(yù)測有助于將計劃性維護轉(zhuǎn)變?yōu)轭A(yù)測性維護，有效減少維護成本并避免重大設(shè)備故障帶來的災(zāi)難性后果。在RUL預(yù)測的應(yīng)用中，往往需要使用傳感器收集有時間序列特征的數(shù)據(jù)。隨著RNN算法的改進、高效算力、與其他模型的結(jié)合以及基準(zhǔn)數(shù)據(jù)集等多方面的推進，剩余使用壽命預(yù)測領(lǐng)域的魯棒性研究、泛化性研究和優(yōu)化預(yù)測模型將會取得新的突破。

魯棒性要求預(yù)測方法和學(xué)習(xí)模型對于含有微小擾動的不確定因素不敏感，可以從數(shù)據(jù)預(yù)處理、自適應(yīng)處理、特征提取、置信區(qū)間、優(yōu)化器等方面入手，改進未來的學(xué)習(xí)模型，從而提升或加強魯棒性能力。針對RUL預(yù)測算法中數(shù)據(jù)庫龐大、特殊性顯著、RNN模型中參數(shù)眾多等問題，提出遷移學(xué)習(xí)、對模型進行預(yù)訓(xùn)練、堆疊集成基礎(chǔ)模型、分布式優(yōu)化等深度學(xué)習(xí)方法，利用優(yōu)化算法對超參數(shù)和超結(jié)構(gòu)進行改進，最終得到具有較強泛化性的剩余使用壽命預(yù)測方法。為加強對工業(yè)設(shè)備和復(fù)雜系統(tǒng)運行狀態(tài)特征與故障機理的研究，將RNN與其他方法及模型相結(jié)合，構(gòu)建更為精確的RUL預(yù)測混合模型。

參考文獻(xiàn)：

[1] 王加昌，鄭代威，唐雷，等.基于機器學(xué)習(xí)的剩余使用壽命預(yù)測實證研究 [J].計算機科學(xué)，2022，49（S2）：937-945.

[2] 楊麗，吳雨茜，王俊麗，等.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計算機應(yīng)用，2018，38（S2）：1-6+26.

[3] 丹·西蒙.進化優(yōu)化算法——基于仿生和種群的計算機智能方法 [M].北京：清華大學(xué)出版社，2018：364-387.

[4] SCHWENDEMANN S，AMJAD Z，SIKORA A. A survey of machine-learning techniques for condition monitoring and predictive maintenance of bearings in grinding machines [J/OL].Computers in Industry，2021，125[2023-03-05].https：//doi.org/10.1016/j.compind.2020.103380.

[5] ZHU J J，JIANG Q S，SHEN Y H，et al. Application of recurrent neural network to mechanical fault diagnosis： a review [J].Journal of Mechanical Science and Technology，2022，36（2）：527-542.

[6] WANG Y D，ZHAO Y F，ADDEPALLI S. Practical Options for Adopting Recurrent Neural Network and Its Variants on Remaining Useful Life Prediction [J].Chinese Journal of Mechanical Engineering，2021，34（3）：32-51.

[7] WU Q H，DING K Q，HUANG B Q. Approach for fault prognosis using recurrent neural network [J].Journal of Intelligent Manufacturing，2018，31（7）：1-13.

[8] WANG F T，LIU X F，DENG G，et al. Remaining Life Prediction Method for Rolling Bearing Based on the Long Short-Term Memory Network [J].Neural Processing Letters，2019，50（2）：2437-2454.

[9] ZHENG S，RISTOVSKI K，F(xiàn)ARAHAT A，et al. Long Short-Term Memory Network for Remaining Useful Life estimation [C]//2017 IEEE International Conference on Prognostics and Health Management （ICPHM）. Dallas：IEEE，2017：88-95.

[10] ZHANG N，CHEN E，WU Y，et al. A novel hybrid model integrating residual structure and bi-directional long short-term memory network for tool wear monitoring [J].The International Journal of Advanced Manufacturing Technology，2022，120：6707-6722.

[11] XIANG S，QIN Y，ZHU C C，et al. Long short-term memory neural network with weight amplification and its application into gear remaining useful life prediction [J/OL].Engineering Applications of Artificial Intelligence，2020，91[2023-03-16].https：//doi.org/10.1016/j.engappai.2020.103587.

[12] XIANG S，QIN Y，LUO J，et al. Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction [J/OL].Reliability Engineering & System Safety，2021，216[2023-03-05].https：//doi.org/10.1016/j.ress.2021.107927.

[13] WANG F K，CHENG X B，HSIAO K C. Stacked long short-term memory model for proton exchange membrane fuel cell systems degradation [J/OL].Journal of Power Sources，2020，448[2023-02-30].https：//doi.org/10.1016/j.jpowsour.2019.227591.

[14] MENG W，GU H R，YE M，et al. Remaining useful life prediction of lithium-ion batteries based on Monte Carlo Dropout and gated recurrent unit [J].Energy Reports，2021，7：2862-2871.

[15] ZHOU J H，QIN Y，CHEN D L，et al. Remaining useful life prediction of bearings by a new reinforced memory GRU network [J/OL].Advanced Engineering Informatics，2022，53[2023-02-49].https：//doi.org/10.1016/j.aei.2022.101682.

[16] CAO Y D，JIA M P，PENG D，et al. Transfer learning for remaining useful life prediction of multi-conditions bearings based on bidirectional-GRU network [J/OL].Measurement，2021，178[2023-03-06].https：//doi.org/10.1016/j.measurement.2021.109287， 109287.

[17] CHENG Y W，HU K，WU J，et al. A deep learning-based two-stage prognostic approach for remaining useful life of rolling bearing [J].Applied Intelligence，2022，52：5880-5895.

[18] FU H B，LIU Y. A deep learning-based approach for electrical equipment remaining useful life prediction [J/OL].Autonomous Intelligent Systems，2022，2[2023-03-19].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCsduiAbZweC6AiaAe9bGL9LzNdXaWc0vxw5WmGgOQvKSX3wAFVtwoVAD_d4l6hENPBImbedExGKt5s7RaxKDrjjIbg0JF7L0g&uniplatform=NZKPT.

[19] ZAHRA E，KARIM S，BEHNAM F ，et al. A New Hybrid Model for RUL Prediction through Machine Learning [J].Journal of Failure Analysis and Prevention，2021，21（5）：1596-1604.

[20] REMADNA L，TERRISSA S L，ZERHOUNI R，et al. Leveraging the Power of the Combination of CNN and Bi-Directional LSTM Networks for Aircraft Engine RUL Estimation [C]//2020 Prognostics and Health Management Conference （PHM-Besan?on）.Besancon：IEEE，2020：116-121.

[21] LIN T J，WANG H Q，GUO X D，et al. A novel prediction network for remaining useful life of rotating machinery [J/OL].The International Journal of Advanced Manufacturing Technology，2022，124[2023-03-10].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCPHl8LWp24vGzfSOscJcbBv7wpRx0XxRD6HLYF_JyJgLJNT7XBh55pplc2LW7ZgwSP1USf1VfmT71_j82ea-sascRGw7yvuHc&uniplatform=NZKPT.

[22] XIA T B，SONG Y，ZHENG Y，et al. An ensemble framework based on convolutional bi-directional LSTM with multiple time windows for remaining useful life estimation [J/OL].Computers in Industry，2020，115[2023-02-06].https：//doi.org/10.1016/j.compind.2019.103182.

[23] XUE B，XU Z B，HUANG X，et al. Data-driven prognostics method for turbofan engine degradation using hybrid deep neural network [J].Journal of Mechanical Science and Technology，2021，35（12）：5371-5387.

[24] HAN T，PANG J C，TAN A C C. Remaining useful life prediction of bearing based on stacked autoencoder and recurrent neural network [J].Journal of Manufacturing Systems，2021，61：576-591.

[25] WU J Y，WU M，CHEN Z H，et al. Degradation-Aware Remaining Useful Life Prediction With LSTM Autoencoder [J/OL].IEEE Transactions on Instrumentation and Measurement，2021，70[2023-02-26].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCPHl8LWp24vFLK16mbsfnDlFjy8cp6CvMNi4staAhHYFmmmOQ9D09gJTL4GdpWA8qxXjmb-Yy2pDfEWvHjZfG3ES_xXl5Hcre&uniplatform=NZKPT.

[26] SONG Y，SHI G，CHEN L Y，et al. Remaining Useful Life Prediction of Turbofan Engine Using Hybrid Model Based on Autoencoder and Bidirectional Long Short-Term Memory [J].Journal of Shanghai Jiaotong University （Science），2018，23（S1）：85-94.

[27] DANGUT M D，JENNIONS L K，KING S，et al. A rare failure detection model for aircraft predictive maintenance using a deep hybrid learning approach [J].Neural Computing and Applications，2022，35（4）：2991-3009.

[28] WANG H，PENG M J，MIAO Z，et al. Remaining useful life prediction techniques for electric valves based on convolution auto encoder and long short term memory [J].ISA Transactions，2021，108：333-342.

[29] SU C，LI L，WEN Z J. Remaining useful life prediction via a variational autoencoder and a time-window-based sequence neural network [J].Quality and Reliability Engineering International，2020，36（5）：1639-1656.

[30] KOSIOREK A.神經(jīng)網(wǎng)絡(luò)中的注意力機制 [J].機器人產(chǎn)業(yè)，2017（6）：12-17.

[31] TSENG S H，TRAN K D. Predicting maintenance through an attention long short-term memory projected model [EB/OL].[2023-03-07].https：//doi.org/10.1007/s10845-023-02077-5.

[32] SHAH S R B，CHADHA G S，SCHWUNG A，et al. A Sequence-to-Sequence Approach for Remaining Useful Lifetime Estimation Using Attention-augmented Bidirectional LSTM [J/OL].Intelligent Systems with Applications，2021，10-11[2023-02-23].https：//doi.org/10.1016/j.iswa.2021.200049.

[33] RATHORE M S，HARSHA S P. Prognostics Analysis of Rolling Bearing Based on Bi-Directional LSTM and Attention Mechanism [J].Journal of Failure Analysis and Prevention，2022，22（2）：704-723.

[34] JIANG Y C，DAI P W，F(xiàn)ANG P C，et al. A2-LSTM for predictive maintenance of industrial equipment based on machine learning [J/OL].Computers & Industrial Engineering，2022，172[2023-03-09].https：//doi.org/10.1016/j.cie.2022.108560.

[35] LIU X L，ZHANG B W，LI X B，et al. An approach for tool wear prediction using customized DenseNet and GRU integrated model based on multi-sensor feature fusion [J].Journal of Intelligent Manufacturing，2022，34（2）：885-902.

[36] LI J L，LI X Y，HE D. A Directed Acyclic Graph Network Combined With CNN and LSTM for Remaining Useful Life Prediction [J].IEEE Access，2019，7：75464-75475.

[37] 黃扣.基于深度學(xué)習(xí)的旋轉(zhuǎn)類機械預(yù)測性維護方法研究 [D].鎮(zhèn)江：江蘇科技大學(xué)，2022.

[38] CHEN J L，JING H J，CHANG Y H，et al. Gated recurrent unit based recurrent neural network for remaining useful life prediction of nonlinear deterioration process [J].Reliability Engineering & System Safety，2019，185：372-382.

[39] AKPUDO U E，HUR J W. A feature fusion-based prognostics approach for rolling element bearings [J].Journal of Mechanical Science and Technology，2020，34（10）：4025-4035.

[40] SUN H，LI Y，HOU Y. Remaining Useful Life Prediction of Turbofan Engine Based on Probabilistic Principal Components Analysis and Gated Recurrent Unit[C]// 2021 CAA Symposium on Fault Detection， Supervision， and Safety for Technical Processes （SAFEPROCESS）. Chengdu：IEEE，2021：1-5.

[41] LI X Y，ZHANG L，WANG Z P，et al. Remaining useful life prediction for lithium-ion batteries based on a hybrid model combining the long short-term memory and Elman neural networks [J].Journal of Energy Storage，2019，21：510-518.

[42] MENG W，GU H R，YE M，et al. Remaining useful life prediction of lithiumion batteries based on Monte Carlo Dropout and gated recurrent unit [J].Energy Reports，2021，7：2862-2871.

[43] ZHOU Y T，HUANG Y N，PANG J B，et al. Remaining useful life prediction for supercapacitor based on long short-term memory neural network [J/OL].Journal of Power Sources，2019，440[2023-03-16].https：//doi.org/10.1016/j.jpowsour.2019.227149.

[44] GE Y，SUN L N，MA J X. An Improved PF Remaining Useful Life Prediction Method Based on Quantum Genetics and LSTM [J].IEEE Access，2019，7：160241-160247.

[45] DING N，LI H L，YIN Z W， et al. Journal bearing seizure degradation assessment and remaining useful life prediction based on long short-term memory neural network [J/OL].Measurement，2020，166[2023-02-29].https：//doi.org/10.1016/j.measurement.2020.108215.

[46] ZHANG Y，CHEN L，LI Y，et al. A hybrid approach for remaining useful life prediction of lithiumion battery with Adaptive Levy Flight optimized Particle Filter and Long Short-Term Memory network [J/OL].Journal of Energy Storage，2021，44[2023-03-14].https：//doi.org/10.1016/j.est.2021.103245.

[47] ZHANG Y，XIONG R，HE H，et al. A LSTM-RNN method for the lithuim-ion battery remaining useful life prediction [C]//2017 Prognostics and System Health Management Conference （PHM-Harbin）. Harbin：IEEE，2017：1-4.

作者簡介：邱佩臻（2003—），女，漢族，廣東陽江人，本科在讀，主要研究方向：預(yù)測性維護；吳東燃（2002—），男，漢族，廣東茂名人，本科在讀，主要研究方向：用機器學(xué)習(xí)與優(yōu)化算法實現(xiàn)系統(tǒng)健康檢測與預(yù)測性維護；夏藝（2003—），女，漢族，湖南益陽人，本科在讀，主要研究方向：用機器學(xué)習(xí)與優(yōu)化算法實現(xiàn)系統(tǒng)健康檢測與預(yù)測性維護；古書懷（2003—），男，漢族，廣東河源人，本科在讀，主要研究方向：預(yù)測性維護；王婧（1988—），女，漢族，甘肅蘭州人，助理研究員，博士，主要研究方向：系統(tǒng)優(yōu)化、系統(tǒng)可靠性、機器學(xué)習(xí)。