摘 要:針對現(xiàn)有的剩余壽命預(yù)測方法對原始數(shù)據(jù)利用率不高以及多維數(shù)據(jù)特征提取能力不足的問題,提出了一種基于特征增強(qiáng)和時空信息嵌入的卷積神經(jīng)模型。首先,通過特征增強(qiáng)模塊在原始數(shù)據(jù)基礎(chǔ)上進(jìn)一步提取工況特征與手工特征作為輔助特征;其次,提出了時空嵌入模塊,對原始數(shù)據(jù)進(jìn)行時空信息編碼以嵌入時間序列信息和空間特征信息;最后,拼接上述特征并通過回歸預(yù)測模塊捕獲數(shù)據(jù)內(nèi)在關(guān)系得到回歸預(yù)測結(jié)果。在通用的渦扇發(fā)動機(jī)模擬數(shù)據(jù)集(C-MAPSS)上對該模型預(yù)測效果進(jìn)行了測試。實驗結(jié)果表明,與現(xiàn)有主流深度學(xué)習(xí)方法相比,該模型在四個子集上的均方根誤差平均減少了8.8%,且在多工況的運(yùn)行條件和故障類型下,其預(yù)測精度均優(yōu)于現(xiàn)有先進(jìn)算法,充分證明了該模型在渦扇發(fā)動機(jī)剩余使用壽命預(yù)測方面的有效性和準(zhǔn)確性。
關(guān)鍵詞:剩余壽命預(yù)測; 特征增強(qiáng); 時空信息嵌入; 卷積神經(jīng)網(wǎng)絡(luò)
中圖分類號:TP391.9文獻(xiàn)標(biāo)志碼: A文章編號:1001-3695(2024)04-006-1001-07
doi:10.19734/j.issn.1001-3695.2023.08.0364
Remaining useful life prediction of turbofan engines based on feature enhancement and spatio-temporal information embedding
Li Yongcheng, Li Wenxiao, Lei Yinjie
Abstract:To address the low utilization of raw data and insufficient feature extraction capability of multi-dimensional data in existing remaining useful life prediction methods,this paper proposed a convolutional neural network model based on feature enhancement and spatio-temporal information embedding.Firstly,it adopted a feature enhancement module to extract additional operating condition features and manual features from raw data as auxiliary features.Then,it introduced the spatio-temporal embedding module to encode the spatio-temporal information,embedding the time series information and spatial feature information into the original data.Finally,it concatenated the aforementioned features,and it employed a regression prediction module to capture the inherent relationships in the data and obtain regression prediction results.It evaluated the predictive effectiveness of the proposed model on the commonly used commercial modular aero-propulsion system simulation(C-MAPSS) dataset.The experimental results show that the root mean square error of the proposed model decreases by 8.8% on average over the four subsets compared with other mainstream deep learning methods,and it also outperforms existing state-of-the-art algorithms in prediction accuracy under multiple operating conditions and fault types.The experiments fully verify the effectiveness and accuracy of the proposed model in predicting the remaining useful life of turbofan engines.
Key words:remaining useful life prediction; feature enhancement; spatio-temporal information embedding; convolutional neural network
0 引言
渦扇發(fā)動機(jī)作為航空航天領(lǐng)域的核心設(shè)備之一,其運(yùn)行狀態(tài)對評估航空器的壽命有著決定性作用。渦扇發(fā)動機(jī)在運(yùn)行過程中,運(yùn)行狀態(tài)會在各種因素的作用下發(fā)生退化, 當(dāng)退化量積累到某個臨界點可能就會發(fā)生故障,甚至失效,對環(huán)境、人員安全及經(jīng)濟(jì)等方面造成不可挽回的損失,故其穩(wěn)定性、可靠性、維修經(jīng)濟(jì)性和安全性一直是行業(yè)關(guān)注的焦點[1]。為了提高發(fā)動機(jī)的穩(wěn)定性和可靠性,預(yù)防并減少常見或未知故障所造成的損失,對其進(jìn)行準(zhǔn)確的剩余使用壽命(remaining useful life,RUL)預(yù)測就顯得尤為重要[2]。目前壽命預(yù)測方法一般可分為基于物理模型[3]和基于數(shù)據(jù)驅(qū)動的方法[4]?;谖锢砟P偷念A(yù)測方法需要對發(fā)動機(jī)物理原理和運(yùn)行狀態(tài)進(jìn)行建模和分析,推導(dǎo)出發(fā)動機(jī)壽命與各種參數(shù)之間的關(guān)系。因此建立此類模型往往依靠專家經(jīng)驗,但是航空發(fā)動機(jī)屬于大型、精密且內(nèi)部結(jié)構(gòu)復(fù)雜的設(shè)備,由于工作環(huán)境、制造材料等不確定因素導(dǎo)致建立一個準(zhǔn)確的預(yù)測模型較為困難,使得此類方法具有一定的局限性[5]。
隨著大數(shù)據(jù)時代的到來以及傳感器技術(shù)的進(jìn)步,使用基于數(shù)據(jù)驅(qū)動的方法進(jìn)行剩余壽命預(yù)測變得越來越流行[6~8]?;跀?shù)據(jù)驅(qū)動的方法無須系統(tǒng)先驗知識或?qū)<抑R,而是依賴于大量實際運(yùn)行數(shù)據(jù),通過機(jī)器學(xué)習(xí)或深度學(xué)習(xí)方法挖掘數(shù)據(jù)中的模式、趨勢和關(guān)聯(lián)性來預(yù)測發(fā)動機(jī)的剩余使用壽命。Khelif等人[9]率先提出一種基于數(shù)據(jù)驅(qū)動的剩余壽命預(yù)測方法,通過支持向量回歸(support vector regression,SVR)對傳感器值進(jìn)行建模直接預(yù)測剩余壽命,無須依賴物理模型或復(fù)雜的特征提取,該方法在預(yù)測精度與計算時間上優(yōu)于同時期傳統(tǒng)的壽命預(yù)測方法。Chen等人[10]通過Lasso回歸來進(jìn)行特征選擇,然后利用隨機(jī)森林回歸模型進(jìn)行壽命預(yù)測,進(jìn)一步提升了壽命預(yù)測的精度。
近年來,隨著深度學(xué)習(xí)的飛速發(fā)展與廣泛應(yīng)用,數(shù)據(jù)驅(qū)動的方法逐漸擴(kuò)展至深度學(xué)習(xí)領(lǐng)域。在此背景下,許多學(xué)者開始采用深度學(xué)習(xí)相關(guān)方法來解決渦扇發(fā)動機(jī)壽命預(yù)測問題。文獻(xiàn)[11]首次將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN) 應(yīng)用于剩余壽命預(yù)測任務(wù),通過卷積層與池化層沿著時間維度自適應(yīng)地從多傳感器數(shù)據(jù)中提取特征,在兩個公開數(shù)據(jù)集上驗證了該方法的有效性。Li等人[12]首先對原始時間序列數(shù)據(jù)進(jìn)行歸一化處理,然后使用時間窗口在歸一化后的時間序列中依次滑動以得到訓(xùn)練樣本,最后將訓(xùn)練樣本送入一個五層的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行回歸預(yù)測,該網(wǎng)絡(luò)具有較高的預(yù)測精度。
雖然上述方法成功地預(yù)測了剩余壽命,但仍存在兩個主要問題。首先,這些方法直接應(yīng)用于原始信號,由于航空發(fā)動機(jī)運(yùn)行工況多變且一般采集的傳感器數(shù)據(jù)中不可避免地含有噪聲,捕捉潛在的物理衰退過程和觀察到的數(shù)據(jù)之間的復(fù)雜關(guān)系較為困難,這導(dǎo)致剩余壽命預(yù)測的準(zhǔn)確性和可靠性有所下降。其次,由于不同特征空間時間序列的相似性,上述方法無法有效地建模不同特征空間時間序列之間的關(guān)聯(lián),導(dǎo)致模型無法充分利用特征間的互補(bǔ)性。特別是當(dāng)采用卷積神經(jīng)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)時,由于卷積神經(jīng)網(wǎng)絡(luò)對于長序列依賴的提取能力有限,導(dǎo)致部分重要的序列模式或關(guān)鍵信息變得模糊或丟失,從而限制了模型的剩余壽命預(yù)測精度。
為了解決上述問題,本文提出了一種基于特征增強(qiáng)和時空信息嵌入的卷積神經(jīng)模型。首先,為了解決發(fā)動機(jī)運(yùn)行工況多變和數(shù)據(jù)中含有噪聲的問題,提出特征增強(qiáng)模塊用于在原始輸入數(shù)據(jù)的基礎(chǔ)上進(jìn)一步提取工況特征和手工特征。其次,為了使得不同的特征空間時間序列更具區(qū)分性并增強(qiáng)模型序列信息建模能力以提取深層次特征依賴,提出時空嵌入模塊用于對歸一化輸入數(shù)據(jù)嵌入時間信息和空間信息。最后,將上述工況特征、手工特征、歸一化輸入特征融合后送入回歸預(yù)測模塊進(jìn)行回歸預(yù)測,得到最終剩余壽命預(yù)測結(jié)果。
1 相關(guān)工作
近年來,隨著深度學(xué)習(xí)技術(shù)和傳感器技術(shù)的飛速發(fā)展,通過深度學(xué)習(xí)方法自適應(yīng)地提取傳感器監(jiān)測數(shù)據(jù)特征,描述復(fù)雜非線性系統(tǒng)的退化趨勢,已成為航空發(fā)動機(jī)剩余壽命預(yù)測領(lǐng)域的熱門研究方向。使用深度學(xué)習(xí)進(jìn)行剩余壽命預(yù)測的相關(guān)方法大致可分為基于卷積神經(jīng)網(wǎng)絡(luò)的方法、基于長短時記憶網(wǎng)絡(luò)(long short-term memory,LSTM)的方法、基于卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)的混合方法三種。
1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的剩余壽命預(yù)測方法
卷積神經(jīng)網(wǎng)絡(luò)最早于1989年被提出[13],它是一種前饋神經(jīng)網(wǎng)絡(luò),具有局部連接和權(quán)重共享的特性。卷積神經(jīng)網(wǎng)絡(luò)通過對輸入數(shù)據(jù)的局部區(qū)域與卷積核進(jìn)行卷積運(yùn)算提取數(shù)據(jù)特征,然后通過池化操作來減少特征的空間維度,最后通過全連接層進(jìn)行分類、回歸等任務(wù)。
Jin等人[14]分析了現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行剩余壽命預(yù)測的缺點,提出了一系列精心設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)模型。此外,還開發(fā)了一種位置編碼方案用于增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)編碼的序列信息,將經(jīng)過位置編碼后的時間序列送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸預(yù)測,提高了剩余壽命預(yù)測的準(zhǔn)確性。
在SE-NET[15]的基礎(chǔ)上,F(xiàn)an等人[16]提出一種分段注意力機(jī)制用于量化不同傳感器特征信號之間的重要程度,同時引入了損失邊界映射(loss boundary to mapping ability,LM)方法,損失邊界映射能夠從原始序列中選擇有用信號去除冗余信號,從而提高預(yù)測模型的魯棒性和準(zhǔn)確性。
上述基于卷積神經(jīng)網(wǎng)絡(luò)的剩余壽命預(yù)測方法針對航空發(fā)動機(jī)壽命預(yù)測問題取得了一定的成績。然而,由于卷積神經(jīng)網(wǎng)絡(luò)的長程依賴提取能力較差,在處理具有復(fù)雜時間序列依賴關(guān)系的航空發(fā)動機(jī)數(shù)據(jù)時可能會遇到困難。同時,上述方法直接應(yīng)用于原始數(shù)據(jù),在特征提取過程中難以避免地會受到噪聲的影響,導(dǎo)致網(wǎng)絡(luò)預(yù)測精度有所降低。
1.2 基于長短時記憶網(wǎng)絡(luò)的剩余壽命預(yù)測方法
長短時記憶網(wǎng)絡(luò)[17]在循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的基礎(chǔ)上引入了門限機(jī)制,通過內(nèi)部輸入門、輸出門與遺忘門的協(xié)同配合,實現(xiàn)了對長期有效信息的傳遞和記憶。由于LSTM能夠建模長期依賴,LSTM及其變體在針對時序信息處理的研究中得到了廣泛應(yīng)用。
Chen等人[18]使用LSTM網(wǎng)絡(luò)從原始傳感器數(shù)據(jù)中提取序列特征,通過注意力機(jī)制得到不同特征和時間步的重要性并分配不同的權(quán)重。此外,為了利用領(lǐng)域知識和先驗信息,一些手工特征被引入并結(jié)合LSTM網(wǎng)絡(luò)提取特征進(jìn)行剩余壽命預(yù)測。
Ragab等人[19]使用LSTM構(gòu)建了一個序列到序列(sequence to sequence)的剩余壽命預(yù)測網(wǎng)絡(luò),網(wǎng)絡(luò)由encoder、decoder、RUL predictor三部分組成。encoder使用LSTM網(wǎng)絡(luò)提取原始時間序列特征信息,并通過注意力機(jī)制來獲取LSTM提取到的不同時間步的特征加權(quán)和以處理長序列依賴消失問題;decoder使用encoder的輸出作為輸入,通過重建損失進(jìn)行優(yōu)化;最后RUL predictor結(jié)合encoder和decoder的輸出特征得到預(yù)測結(jié)果。實驗結(jié)果表明,該模型在剩余壽命預(yù)測精度上有較大提升。
由于長短時記憶網(wǎng)絡(luò)在訓(xùn)練過程中需要按照時間順序逐步計算和更新參數(shù),涉及到多個門控單元和記憶單元之間的交互計算,所以長短時記憶網(wǎng)絡(luò)的訓(xùn)練時間相較于卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)更加漫長。且由于長短時記憶網(wǎng)絡(luò)的復(fù)雜性,其層數(shù)一般比卷積神經(jīng)網(wǎng)絡(luò)淺,存在特征提取不充分的問題。
1.3基于卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)的剩余壽命預(yù)測方法
為了同時利用卷積神經(jīng)網(wǎng)絡(luò)局部特征提取和長短時記憶網(wǎng)絡(luò)長期依賴建模的優(yōu)勢,一些混合方法被提出。
Jayasinghe等人[20]提出了一種基于時間卷積記憶網(wǎng)絡(luò)的方法,該方法將時間卷積網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)相結(jié)合,以捕捉工業(yè)機(jī)械運(yùn)行數(shù)據(jù)中的長期依賴關(guān)系。為了進(jìn)一步提高模型預(yù)測精度,文獻(xiàn)[20]還提出了一種數(shù)據(jù)增強(qiáng)方法以擴(kuò)充原始數(shù)據(jù)集。Liu等人[21]提出了一種基于特征注意力的雙向GRU-CNN模型。首先將特征注意力機(jī)制直接應(yīng)用于輸入數(shù)據(jù),對訓(xùn)練過程中更重要的特征動態(tài)地給予更大的關(guān)注權(quán)重,隨后加權(quán)特征被送入級聯(lián)的GRU-CNN,GRU網(wǎng)絡(luò)用來提取長期依賴關(guān)系,CNN被用來從GRU的輸出序列中捕捉局部特征。
上述混合方法同時利用了卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)來提取特征并得到預(yù)測結(jié)果。然而這些混合方法模型復(fù)雜度較高,訓(xùn)練和調(diào)參的難度相對較大,需要較大規(guī)模的訓(xùn)練數(shù)據(jù)集來充分發(fā)揮混合模型的性能,否則容易出現(xiàn)過擬合的問題。
2 本文模型
基于特征增強(qiáng)和時空信息嵌入的卷積神經(jīng)模型結(jié)構(gòu)如圖1所示。該模型主要包含三個模塊,分別為特征增強(qiáng)模塊(feature enhancement module,F(xiàn)E)、時空嵌入模塊(spatial-temporal embedding module,ST)和回歸預(yù)測模塊(regression prediction module,RP)。特征增強(qiáng)模塊用于在原始輸入數(shù)據(jù)的基礎(chǔ)上額外提取工況特征與手工特征,增強(qiáng)了原始輸入數(shù)據(jù)利用率,為后續(xù)的多特征融合作準(zhǔn)備;時空嵌入模塊通過對歸一化輸入數(shù)據(jù)進(jìn)行位置編碼和特征編碼得到相應(yīng)的嵌入向量,將它們與歸一化輸入嵌入向量相加,進(jìn)一步提升了歸一化輸入數(shù)據(jù)的信息表征能力;回歸預(yù)測模塊由一系列堆疊的一維卷積神經(jīng)網(wǎng)絡(luò)層和全連接層組成,該模塊使用一維卷積神經(jīng)網(wǎng)絡(luò)代替二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,防止時間維度信息和特征維度信息之間的互相干擾,同時該模塊還去除了卷積神經(jīng)網(wǎng)絡(luò)中通常會用到的池化層,緩和了池化層操作帶來的時間序列信息丟失問題,更多有效信息被保留,從而進(jìn)行深層次特征提取,經(jīng)過卷積層提取的特征被送入到全連接層進(jìn)行回歸并得到最后的剩余壽命預(yù)測結(jié)果。
2.1 特征增強(qiáng)模塊
傳統(tǒng)的深度學(xué)習(xí)方法通常是將經(jīng)過時間窗口采樣的歸一化傳感器監(jiān)測數(shù)據(jù)直接送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并獲得相應(yīng)的預(yù)測結(jié)果。盡管這些方法在剩余壽命預(yù)測方面取得了不錯的成績,但由于工況的復(fù)雜多變性以及原始輸入數(shù)據(jù)中不可避免存在的各種噪聲,網(wǎng)絡(luò)的預(yù)測性能受到了一定的影響。為了解決上述問題,本文提出了特征增強(qiáng)模塊(feature enhancement mo-dule,F(xiàn)E)用于進(jìn)一步提取工況特征和手工特征,從而引入額外先驗信息和降低原始數(shù)據(jù)中的噪聲,提高模型魯棒性。
特征增強(qiáng)模塊結(jié)構(gòu)如圖2所示。該模塊在生成歸一化輸入數(shù)據(jù)的基礎(chǔ)上還額外提取了工況特征與手工特征,歸一化輸入數(shù)據(jù)將在時空嵌入模塊中被進(jìn)一步處理后與工況特征、手工特征進(jìn)行拼接(concatenate),然后送入回歸預(yù)測模塊進(jìn)行信息提取并得到回歸預(yù)測結(jié)果。
1)工況特征提取 現(xiàn)代機(jī)械設(shè)備通常在復(fù)雜多變的運(yùn)行條件下工作,然而,現(xiàn)有的深度學(xué)習(xí)方法通常只利用傳感器監(jiān)測數(shù)據(jù)進(jìn)行模型訓(xùn)練。 實際上,現(xiàn)代機(jī)械設(shè)備不僅收集了傳感器監(jiān)測數(shù)據(jù),還包括反映設(shè)備運(yùn)行工況特征的操作條件數(shù)據(jù)。以航空渦扇發(fā)動機(jī)數(shù)據(jù)集[22]為例,該數(shù)據(jù)不僅包括反映發(fā)動機(jī)狀態(tài)的數(shù)據(jù),還包含與飛行發(fā)動機(jī)相關(guān)的工況參數(shù),如飛行高度、馬赫數(shù)和油門解析器角度。通過對這些工況參數(shù)進(jìn)行聚類可視化的結(jié)果如圖3所示??梢郧逦赜^察到它們分為了六個類別。這種聚類結(jié)果既反映了現(xiàn)代機(jī)械設(shè)備運(yùn)行工況的多樣性,還提供了一種進(jìn)一步增強(qiáng)原始數(shù)據(jù)信息表征能力的有效途徑,即將這些工況特征與原始傳感器數(shù)據(jù)相結(jié)合。具體來說,工況特征反映了不同運(yùn)行工況下機(jī)械設(shè)備的特定行為和性能特征,這些信息通常不包含在原始傳感器數(shù)據(jù)中,通過融合工況信息和傳感器數(shù)據(jù)可以引入額外先驗信息,輔助模型根據(jù)不同的運(yùn)行工況信息更好地建模航空發(fā)動機(jī)復(fù)雜衰退趨勢。
假設(shè)航空發(fā)動機(jī)傳感器采集了一系列運(yùn)行工況數(shù)據(jù)xi,j,相應(yīng)的工況特征計算公式如下:
其中:xi,j代表第j個工況特征的第i個數(shù)據(jù)點;xmaxj、xminj分別為第j個工況特征的最大值、最小值。
2)手工特征提取 由于原始輸入數(shù)據(jù)不可避免地帶有一定的噪聲,通過提取出一些直觀的手工特征,如時間序列的累計均值和斜率,可以抑制原始信號中噪聲的影響,輔助模型作出更加精準(zhǔn)的預(yù)測。對時間序列求累計均值可以看作是特殊的指數(shù)移動平均過程,能夠抑制原始序列中的噪聲信息[23],其計算公式如下:
其中:xi代表在i時刻傳感器監(jiān)測值;xmeant代表在t時刻傳感器監(jiān)測均值。
斜率可以表示時間序列的平穩(wěn)性,反映了時間序列的變化速率,假設(shè)在t時刻有時間序列xt,使用線性回歸模型擬合得到一條直線y=ktx+b。其中,kt為傳感器監(jiān)測時間序列xt的斜率,kt的求解可使用最小二乘法解決,通過最小化誤差平方和S=∑ t/i=1 (yi-(ktxi+b))2,即對s分別關(guān)于kt和b求偏導(dǎo),并令其為0,得到以下方程組:
求解該方程組即可得到kt。kt反映了傳感器監(jiān)測時間序列xt在t時刻的變化趨勢和變化速率,能夠協(xié)助模型深層次地提取發(fā)動機(jī)衰退趨勢信息。
2.2 時空嵌入模塊
為了模型能夠更好地理解和捕捉序列中的時間依賴關(guān)系,本文提出了時空嵌入模塊用于顯式對歸一化輸入數(shù)據(jù)嵌入時間信息和空間信息,從而增強(qiáng)原始輸入數(shù)據(jù)的序列信息[24],并使得不同的特征空間時間序列更具區(qū)分性。
時空嵌入模塊結(jié)構(gòu)如圖4所示。該模塊對特征增強(qiáng)模塊中得到的歸一化輸入數(shù)據(jù)分別進(jìn)行獨熱編碼(one-h(huán)ot encoding)與位置編碼(positional encoding)以得到空間編碼向量和時間編碼向量,將這兩組編碼向量與歸一化輸入數(shù)據(jù)通過嵌入層映射到高維空間中,然后進(jìn)行逐元素相加(element-wise add)操作,得到經(jīng)過時空信息嵌入的歸一化輸入,該輸入與特征增強(qiáng)模塊中得到的工況特征和手工特征進(jìn)行拼接后送入回歸預(yù)測模塊用于信息提取并進(jìn)行回歸預(yù)測。
時間信息嵌入通過為每個時間步添加表示其位置信息的向量,將時間序列的位置信息引入到模型中,通過進(jìn)行時間信息嵌入,可以為序列中的每個位置引入唯一的位置編碼,使得在進(jìn)行卷積操作時不僅能夠提取局部特征,還能感知到不同位置之間的相對順序,幫助模型理解序列中不同位置之間的依賴性,更好地利用時間序列中的時序模式和演變趨勢建模長序列依賴,從而提高剩余壽命預(yù)測的準(zhǔn)確性和泛化能力。其計算為
其中: x post表示t時刻的時間編碼向量;df表示嵌入維度大小;i表示嵌入維度索引。
空間信息嵌入為每個傳感器時間序列分配唯一的空間編碼向量,以區(qū)分不同傳感器特征在空間上的可分性,使得模型可以區(qū)分具有相似時間序列的不同傳感器特征,有助于模型提取深層次特征,提高預(yù)測性能。具體地,首先根據(jù)時間序列特征類別數(shù)N創(chuàng)建一個獨熱編碼矩陣
為了更好地融合來自不同特征空間的時間編碼向量與歸一化輸入向量,采用兩個一維卷積神經(jīng)網(wǎng)絡(luò)分別將歸一化輸入向量與時間編碼向量嵌入到高維空間中,然后將經(jīng)過嵌入的歸一化輸入向量、時間編碼向量、空間編碼向量進(jìn)行逐元素相加操作,從而將時空信息嵌入到歸一化輸入向量中,其計算為
其中:代表卷積操作;Wnor、Wpos、 X emb、 X nor、 X pos、 X fea分別代表歸一化輸入向量卷積神經(jīng)網(wǎng)絡(luò)參數(shù)、時間編碼向量卷積神經(jīng)網(wǎng)絡(luò)參數(shù)、時空嵌入的歸一化輸入向量、歸一化輸入向量、時間編碼向量和空間編碼向量。
2.3 回歸預(yù)測模塊
由于長短時記憶網(wǎng)絡(luò)在時間序列分析中具有逐時間步提取特征的能力,能夠捕捉時間序列中的長期依賴關(guān)系,所以適用于處理與時間序列相關(guān)的任務(wù)。然而,長短時記憶網(wǎng)絡(luò)的訓(xùn)練過程需要逐時間步進(jìn)行,導(dǎo)致了訓(xùn)練時間相對較長。此外,相對于卷積神經(jīng)網(wǎng)絡(luò),長短時記憶網(wǎng)絡(luò)更容易出現(xiàn)梯度消失和梯度爆炸的問題,對于剩余壽命預(yù)測任務(wù),現(xiàn)有的基于長短時記憶網(wǎng)絡(luò)的模型通常采用淺層網(wǎng)絡(luò)結(jié)構(gòu),無法充分提取輸入數(shù)據(jù)中潛在的特征,導(dǎo)致了模型預(yù)測性能的下降。因此,本文選擇卷積神經(jīng)網(wǎng)絡(luò)作為骨干特征提取網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)如表1所示。該回歸預(yù)測模塊共含有6個一維卷積層和3個全連接層,每個卷積層后接有批歸一化(batch normalization)層和ReLU激活層,最后一個卷積層后跟兩個全連接層和一個回歸層用于得到最后的預(yù)測結(jié)果。
3 實驗結(jié)果及分析
3.1 數(shù)據(jù)集介紹
為了驗證本文模型對航空發(fā)動機(jī)剩余壽命預(yù)測的有效性和精確性,使用NASA提供的航空渦扇發(fā)動機(jī)(commercial modular aero-propulsion system simulation,C-MAPSS)公開數(shù)據(jù)集[22]進(jìn)行了實驗。該數(shù)據(jù)集一共包括FD001、FD002、FD003、FD004共四個部分,其中FD001包括了100個渦扇發(fā)動機(jī)在一種工作環(huán)境下從正常運(yùn)行到故障失效的完整記錄,整個過程包含一種故障模式。其余3個數(shù)據(jù)集包括多種工作環(huán)境多種故障模式。C-MAPSS數(shù)據(jù)集中的發(fā)動機(jī)及子樣本數(shù)如表2所示。
每個數(shù)據(jù)集都包含了26維數(shù)據(jù),它們分別為發(fā)動機(jī)編號、運(yùn)行周期數(shù)、3個運(yùn)行工況參數(shù)設(shè)置和21個傳感器卷監(jiān)測數(shù)據(jù)。這21個傳感器監(jiān)測數(shù)據(jù)并不是都可以用來作為訓(xùn)練樣本,部分傳感器參數(shù)一直為常數(shù)(傳感器1、5、6、16、18、19),對于模型訓(xùn)練沒有幫助,遵循文獻(xiàn)[12]的做法,在訓(xùn)練過程中剔除了這些數(shù)據(jù)列,選擇剩下的14列傳感器數(shù)據(jù)(傳感器2、3、4、7、8、9、11、12、13、14、15、17、20、21)作為原始輸入數(shù)據(jù)。
3.2 數(shù)據(jù)預(yù)處理
由于數(shù)據(jù)來自多個傳感器,且單位不同,為消除不同傳感器特征間單位差異的影響,提升模型的收斂速度和精度,需要對數(shù)據(jù)作歸一化處理,將輸入數(shù)據(jù)限制在[0,1]。歸一化計算為
其中:xi,j為第j個傳感器的第i個數(shù)據(jù)點;xmaxj、xminj分別為第j個傳感器的最大值、最小值。
發(fā)動機(jī)在剛開始運(yùn)行的階段,各部件性能都表現(xiàn)良好,此階段的退化可忽略不計,在運(yùn)行一段時間后出現(xiàn)線性退化的情況。因此,在航空發(fā)動機(jī)早期運(yùn)行階段就對其進(jìn)行剩余使用壽命預(yù)測是不必要的,這個階段可以把剩余使用壽命設(shè)定為一定值,遵循Li等人[12]的做法,將該定值設(shè)為125,將RUL實際值大于等于125的值都設(shè)為125,小于125的值隨周期線性減少,其線性退化模型曲線如圖5所示。
3.3 評價指標(biāo)
為了評估模型性能,采用常用的度量指標(biāo)均方根誤差(root mean squared error,RMSE)、評分函數(shù)(scoring function,Score)[11]作為預(yù)測效果的評價指標(biāo)。具體定義如下:
a)均方根誤差。評價回歸預(yù)測模型常用的性能指標(biāo),表示預(yù)測值與真實值之間偏差的平方和預(yù)測樣本數(shù)量比值的平方,用來衡量預(yù)測值與真實值之間的偏差,數(shù)值越小表示預(yù)測值與真實值之間的偏差越小,表明預(yù)測模型描述實驗數(shù)據(jù)具有更好的精確度。RMSE的計算公式為
其中:N代表預(yù)測樣本總數(shù);yi代表第i個樣本的真實值; i代表第i個樣本的預(yù)測值。
b)評分函數(shù)score。對超前和滯后的預(yù)測結(jié)果產(chǎn)生不同的懲罰,對滯后預(yù)測的懲罰高于超前預(yù)測。由于當(dāng)模型預(yù)測剩余壽命值高于實際剩余壽命值時,可能會導(dǎo)致發(fā)動機(jī)出現(xiàn)嚴(yán)重?fù)p壞從而造成無法挽回的損失,所以該評價指標(biāo)更符合實際應(yīng)用,其計算公式為
其中:N代表預(yù)測樣本總數(shù);yi代表第i個樣本的真實值; i代表第i個樣本的預(yù)測值。
3.4 預(yù)測結(jié)果分析
為了驗證本文模型的效果,在FD001~FD004數(shù)據(jù)集上與當(dāng)前主流深度學(xué)習(xí)方法進(jìn)行了對比實驗,包括基于卷積神經(jīng)網(wǎng)絡(luò)的壽命預(yù)測方法[12,14]、基于長短時記憶網(wǎng)絡(luò)的壽命預(yù)測方法[18,19]、基于卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)的方法[20,21],具體如下:
a)DCNN[12]:首先對原始時間序列數(shù)據(jù)進(jìn)行歸一化處理,然后使用時間窗口來歸一化后的時間序列中依次滑動以得到訓(xùn)練樣本,最后使用五層的卷積神經(jīng)網(wǎng)絡(luò)提取特征以進(jìn)行最終壽命預(yù)測。
b)PE-Net[14]:采用精心設(shè)計的一維卷積神經(jīng)提取特征并進(jìn)行回歸預(yù)測,對輸入數(shù)據(jù)進(jìn)行了位置編碼以提高預(yù)測精度。
c)LSTM-Attn[18]:采用LSTM網(wǎng)絡(luò)提取特征,然后使用注意力機(jī)制得到不同特征和時間步的重要性,同時結(jié)合手工特征得到最后的預(yù)測結(jié)果。
d)ATS2S[19]:ATS2S模型構(gòu)建了多任務(wù)損失,采用LSTM網(wǎng)絡(luò)提取特征進(jìn)行壽命預(yù)測與回歸預(yù)測,最終壽命預(yù)測結(jié)果通過結(jié)合encoder和decoder特征得到。
e)TCMN[20]:TCMN首先使用時間卷積網(wǎng)絡(luò)提取輸入數(shù)據(jù)局部特征,然后將時卷積網(wǎng)絡(luò)的輸出特征送入LSTM網(wǎng)絡(luò)進(jìn)一步提取長期依賴,最后通過全連接層得到壽命預(yù)測結(jié)果。
f)AGCNN[21]:AGCNN首先將特征注意力機(jī)制應(yīng)用于輸入數(shù)據(jù),分配不同權(quán)重后送入到雙向GRU網(wǎng)絡(luò)捕捉長期依賴關(guān)系,然后GRU的輸出被送入CNN與全連接網(wǎng)絡(luò)以得到最后的壽命預(yù)測結(jié)果。
實驗所用軟硬件配置如下:GPU為NVIDIA GeForce RTX 3090,CPU為Intel Xeon E-2224,內(nèi)存為32 GB,操作系統(tǒng)為Ubuntu 18.04LTS,編程語言為Python 3.6,采用的深度學(xué)習(xí)框架為PyTorch,模型超參數(shù)設(shè)置如表3所示。
需要注意的是,由于FD001與FD003數(shù)據(jù)集只有一種運(yùn)行工況,實驗中在提取工況特征時還額外拼接了運(yùn)行周期數(shù)列數(shù)據(jù)。
實驗結(jié)果如表4、5所示。表中加粗?jǐn)?shù)據(jù)表示某一子數(shù)據(jù)集下的最佳模型,下畫線表示某一子數(shù)據(jù)集下的次最佳模型。由表4可知,本文模型在3個子集上的RMSE值均小于文獻(xiàn)[12,14,18,20,21],相對于其最優(yōu)結(jié)果,本文模型的RMSE值分別降低了3.2%、9.3%和11.8%。對于FD003數(shù)據(jù)集,ASTS2S[19]的RMSE值略微小于本文方法,但score值相對于本文方法更高,這表明在相似的預(yù)測精度下,本文方法的預(yù)測結(jié)果更加符合實際。由表5可知,本文方法在FD002、FD004數(shù)據(jù)集上的score值均小于對比方法,與最優(yōu)結(jié)果相比分別下降了13.1%和14.3%,對于FD001、FD003數(shù)據(jù)集,雖然AGCNN[21]的score值略微低于本文方法,但本文方法在復(fù)雜工況場景下的score值相較于AGCNN[21]分別降低了48.9%和72.3%,且本文方法的RMSE值在四個數(shù)據(jù)集上均明顯優(yōu)于該對比方法。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)方法相比,本文方法在面對復(fù)雜工況時具有更好的退化特征提取和故障趨勢建模能力,預(yù)測精度更高,且無須物理背景知識和專家經(jīng)驗,具有一定的應(yīng)用價值。
在4個子數(shù)據(jù)集中的測試集中隨機(jī)各選取一個發(fā)動機(jī)驗證模型效果,得到的剩余壽命預(yù)測曲線如圖6所示??梢钥闯觯诎l(fā)動機(jī)的正常運(yùn)行和退化階段,模型對發(fā)動機(jī)剩余壽命的預(yù)測值與真實值基本吻合。對于FD002、FD004數(shù)據(jù)集來說,由于運(yùn)行工況的多變性和故障類型的多樣性,在壽命預(yù)測早期,預(yù)測曲線在壽命預(yù)測早期出現(xiàn)了一定的波動,然而隨著剩余壽命的減少,模型剩余壽命預(yù)測效果變得更加準(zhǔn)確,并且預(yù)測值相對于真實值偏低,對于實際工程來說更有意義,能夠有效地預(yù)防發(fā)動機(jī)故障的發(fā)生。
圖7展示了本文方法在渦扇發(fā)動機(jī)數(shù)據(jù)集上對所有發(fā)動機(jī)的實際預(yù)測結(jié)果。從圖中可以看出,對于數(shù)據(jù)集中條件各異(運(yùn)行工況不同、故障類型不同)的發(fā)動機(jī),本文方法預(yù)測的剩余壽命值與實際壽命值十分接近。對于具有單一運(yùn)行工況的FD001和FD003子數(shù)據(jù)集,不同于文獻(xiàn)[9,18],它們對于剩余壽命值低的發(fā)動機(jī)有著更好的預(yù)測精度,但是早期預(yù)測效果較差,本文方法對于剩余壽命值較高和較低的發(fā)動機(jī)均有較高的預(yù)測精度,在FD001子數(shù)據(jù)集中的平均絕對誤差分別為10.37和7.15(實際剩余壽命最大的50%數(shù)據(jù)和實際剩余壽命最小的50%計算得到),在FD003子數(shù)據(jù)集中的平均絕對百分比誤差分別為11.18和5.09。早期的精確剩余壽命預(yù)測值不僅有助于預(yù)防并減少由于常見或未知故障所造成的損失,同時還能夠幫助工程師制定更為合理的預(yù)防性檢修策略。
在實際工程環(huán)境中,不同的發(fā)動機(jī)可能會有不同的運(yùn)行狀態(tài),并往往伴隨著多樣化的退化趨勢與故障類型,針對含有多種運(yùn)行工況與故障類型的FD002和FD004數(shù)據(jù)集,可以看出本文方法依然有著較好的預(yù)測精度,對應(yīng)的平均絕對誤差分別為9.77和9.60,且剩余壽命值較小的發(fā)動機(jī)有著更高的預(yù)測精度,更加符合實際工程應(yīng)用需求,因為對于剩余壽命較短的設(shè)備或系統(tǒng)來說,即使是微小的預(yù)測誤差也可能導(dǎo)致嚴(yán)重后果。此外,在FD002和FD004數(shù)據(jù)集上的預(yù)測結(jié)果也體現(xiàn)了本文方法具有較好的泛化性,得益于特征增強(qiáng)模塊引入的工況特征與手工特征,模型能夠有效地降低原始輸入數(shù)據(jù)中的噪聲并根據(jù)不同運(yùn)行工況自適應(yīng)地調(diào)整特征提取過程,從而構(gòu)建出更為準(zhǔn)確且合理的趨勢衰退模型。
綜上所述,即使面對多樣化的運(yùn)行工況條件,本文方法仍能保持較高的預(yù)測精度。同時,本文方法也可以拓展到其他類似的機(jī)械設(shè)備或系統(tǒng),例如軸承和齒輪變速箱,具有實際工程應(yīng)用價值。
3.5 消融實驗
3.5.1 單個模塊的貢獻(xiàn)分析
為了驗證本文模型中各個模塊的有效性,組合使用各模塊以驗證各個模塊對模型整體預(yù)測性能的影響,同樣以RMSE和score作為評價指標(biāo),探究本文方法與其他三種模型的預(yù)測性能,它們分別為基于回歸預(yù)測模塊的基礎(chǔ)模型(basic model)、基礎(chǔ)模型結(jié)合特征增強(qiáng)模塊(basic+FE)、基礎(chǔ)模型結(jié)合時空嵌入模塊(basic+ST)。
圖8展示了本文模型與這三種變體之間的比較結(jié)果。首先可以看出,特征增強(qiáng)模塊與時空嵌入模塊均能有效地提高基礎(chǔ)模型剩余壽命預(yù)測精度,且時空嵌入模塊對模型預(yù)測效果的影響大于特征增強(qiáng)模塊。一方面,這是由于FD001與FD003數(shù)據(jù)集只有一種運(yùn)行工況,所以特征增強(qiáng)模塊對這兩個數(shù)據(jù)集引入的額外信息相較于時空嵌入模塊低;另一方面,也說明了引入時空特征信息相較于引入額外特征列信息更能反映出原始時間序列的衰退趨勢信息,能夠帶來更大的預(yù)測效果提升。針對FD003數(shù)據(jù)集可以看出,基礎(chǔ)模型結(jié)合特征增強(qiáng)模塊的預(yù)測性能相較于基礎(chǔ)模型更低,這是由于FD003數(shù)據(jù)集含有一種運(yùn)行工況但卻有兩種故障模式,暗示了發(fā)動機(jī)有著更加多樣的劣化趨勢,且由于數(shù)據(jù)量較小,特征增強(qiáng)模塊可能引入了一些冗余或噪聲信息到原始數(shù)據(jù)中,這些額外的信息導(dǎo)致模型在預(yù)測剩余壽命時受到干擾,從而降低了預(yù)測性能。最后,本文模型在四個子數(shù)據(jù)集上均獲得了最好的結(jié)果,這說明特征增強(qiáng)模塊和時空嵌入模型可以有機(jī)結(jié)合,特征增強(qiáng)模塊能夠引入額外的特征,增加原始數(shù)據(jù)的信息表征能力,時空嵌入模塊則能夠編碼時序和空間信息,幫助模型更好地理解數(shù)據(jù)中的內(nèi)在關(guān)系,通過綜合這兩個模塊得到的綜合模型能夠更全面地捕捉數(shù)據(jù)的特征和關(guān)系,提高對渦扇發(fā)動機(jī)剩余壽命的準(zhǔn)確預(yù)測能力。
3.5.2 模型參數(shù)量、計算量及前向推理時間對比
表6展示了模型參數(shù)量、計算量、前向推理時間,以及RMSE的對比。其中RMSE為4個子數(shù)據(jù)集下的均值。
從表6中可以看到,基礎(chǔ)模型basic model、PE-Net和本文方法的參數(shù)量、計算量及前向推理時間較為接近。這是因為三者方法均采用了相似的特征提取網(wǎng)絡(luò)和前向推理策略。然而,本文方法具有兩個關(guān)鍵優(yōu)勢,使其在性能方面表現(xiàn)更加出色。首先,本文方法引入的特征增強(qiáng)模塊無須改變原有網(wǎng)絡(luò)結(jié)構(gòu),只需計算額外特征信息送入網(wǎng)絡(luò),而負(fù)責(zé)嵌入時空信息的時空嵌入模塊則是輕量化的網(wǎng)絡(luò)結(jié)構(gòu),主要結(jié)構(gòu)僅由單層卷積神經(jīng)網(wǎng)絡(luò)組成。因此,本文方法在略微增加計算復(fù)雜度的情況下取得了顯著的性能提升。相比之下,TCMN雖然具有更少的參數(shù)和計算復(fù)雜性,但較為簡單的模型結(jié)構(gòu)限制了對深層次退化特征的提取能力,從而導(dǎo)致其在航空發(fā)動機(jī)衰退趨勢建模方面性能較差,因此其預(yù)測性能相較于本文方法有較大差距。ATS2S網(wǎng)絡(luò)主要由encoder、decoder、RUL predictor三部分組成,其中decoder使用LSTM按照時間順序逐步重建輸入數(shù)據(jù),雖然相對于基礎(chǔ)模型取得了4.2%的性能提升,但其前向推理過程是極其耗時的,遠(yuǎn)遠(yuǎn)高出基礎(chǔ)模型8.297 ms。相比之下,本文方法的計算復(fù)雜度更優(yōu),通過僅犧牲掉0.001 M的參數(shù)量和0.01 ms的推理時間換取了12.6%的性能提升,充分說明了本文方法的優(yōu)越性。
4 結(jié)束語
為了充分利用原始數(shù)據(jù)信息以及讓模型更好地理解和捕捉序列中的時間依賴關(guān)系,進(jìn)一步提高渦扇發(fā)動機(jī)剩余壽命預(yù)測精度,本文提出了一種基于特征增強(qiáng)和時空信息編碼的卷積神經(jīng)模型。該模型主要分為三個部分,分別為特征增強(qiáng)模塊、時空嵌入模塊和回歸預(yù)測模塊。通過引入特征增強(qiáng)模塊額外提取出工況特征與手工特征,提出時空嵌入模塊為輸入數(shù)據(jù)嵌入時空信息使得模型預(yù)測精度提升的同時還具有一定的抗噪性,為航空發(fā)動機(jī)的可靠運(yùn)行提供保障,回歸預(yù)測模塊進(jìn)行深層次信息提取并得到最后的剩余壽命預(yù)測結(jié)果。通過在C-MAPSS數(shù)據(jù)集上進(jìn)行實驗,驗證了本文方法在預(yù)測精度上優(yōu)于同期其他深度學(xué)習(xí)模型,特別是在多工況的復(fù)雜條件下,本文方法的預(yù)測精度更加優(yōu)越。最后,針對有限數(shù)據(jù)下的精準(zhǔn)預(yù)測和降低模型復(fù)雜度和訓(xùn)練時間將是下一步的研究方向。
參考文獻(xiàn):
[1]裴洪,胡昌華,司小勝,等.基于機(jī)器學(xué)習(xí)的設(shè)備剩余壽命預(yù)測方法綜述[J].機(jī)械工程學(xué)報,2019, 55 (8):1-13. (Pei Hong,Hu Changhua,Si Xiaosheng,et al.Review of machine learning based remaining useful life prediction methods for equipment[J]. Journal of Mechanical Engineering ,2019, 55 (8):1-13.)
[2]Chen Xi,Wang Hui,Lu Siliang,et al.Remaining useful life prediction of turbofan engine using global health degradation representation in fe-derated learning[J]. Reliability Engineering amp; System Safety ,2023, 239 :109511.
[3]Bastami A R,Aasi A,Arghand H A.Estimation of remaining useful life of rolling element bearings using wavelet packet decomposition and artificial neural network[J]. Iranian Journal of Science and Technology,Trans of Electrical Engineering ,2019, 43 :233-245.
[4]Wang Youdao,Zhao Yifan,Addepalli S.Remaining useful life prediction using deep learning approaches:a review[J]. Procedia Manufactu-ring ,2020, 49 :81-88.
[5]林京,張博瑤,張大義,等.航空燃?xì)鉁u輪發(fā)動機(jī)故障診斷研究現(xiàn)狀與展望[J].航空學(xué)報,2022, 43 (8):7-20. (Lin Jing,Zhang Boyao,Zhang Dayi,et al.Research status and prospect of fault diagnosis for gas turbine aeroengine[J]. Acta Aeronautica ET Astronautica Sinica ,2022, 43 (8):7-20.)
[6]Lei Yaguo,Li Naipeng,Guo Liang,et al.Machinery health prognostics:a systematic review from data acquisition to RUL prediction[J]. Mechanical Systems and Signal Processing ,2018, 104 :799-834.
[7]胡立坤,何旭杰,殷林飛.基于可自動擴(kuò)展的LSTM模型的航空發(fā)動機(jī)剩余壽命預(yù)測方法[J].計算機(jī)應(yīng)用研究,2023, 40 (8):2311-2322. (Hu Likun,He Xujie,Yin Linfei.Remaining useful life prediction method of aero-engine based on auto-expandable LSTM model[J]. Application Research of Computers ,2023, 40 (8):2311-2322.)
[8]趙申坤,姜潮,龍湘云.一種基于數(shù)據(jù)驅(qū)動和貝葉斯理論的機(jī)械系統(tǒng)剩余壽命預(yù)測方法[J].機(jī)械工程學(xué)報,2018, 54 (12):115-124. (Zhao Shenkun,Jiang Chao,Long Xiangyun.Remaining useful life estimation of mechanical systems based on the data-driven method and Bayesian theory[J]. Journal of Mechanical Engineering ,2018, 54 (12):115-124.)
[9]Khelif R,Chebel-Morello B,Malinowski S,et al.Direct remaining useful life estimation based on support vector regression[J]. IEEE Trans on Industrial Electronics ,2016, 64 (3):2276-2285.
[10]Chen Xin,Jin Ge,Qiu Siqi,et al.Direct remaining useful life estimation based on random forest regression[C]//Proc of Conference on Global Reliability and Prognostics and Health Management.Pisca-taway,NJ:IEEE Press,2020:1-7.
[11]Babu G S,Zhao Peilin,Li Xiaoli.Deep convolutional neural network based regression approach for estimation of remaining useful life[C]//Proc of the 21st International Conference on Database Systems for Advanced Applications.Cham:Springer,2016:214-228.
[12]Li Xiang,Ding Qian,Sun Jianqiao.Remaining useful life estimation in prognostics using deep convolution neural networks[J]. Reliability Engineering amp; System Safety ,2018, 172 :1-11.
[13]LeCun Y,Boser B,Denker J S,et al.Backpropagation applied to handwritten zip code recognition[J]. Neural Computation ,1989, 1 (4):541-551.
[14]Jin Ruibing,Wu Min,Wu Keyu,et al.Position encoding based convolutional neural networks for machine remaining useful life prediction[J]. IEEE/CAA Journal of Automatica Sinica ,2022, 9 (8):1427-1439.
[15]Hu Jie,Shen Li,Sun Gang.Squeeze-and-excitation networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2018:7132-7141.
[16]Fan Linchuan,Chai Yi,Chen Xiaolong.Trend attention fully convolutional network for remaining useful life estimation[J]. Reliability Engineering amp; System Safety ,2022, 225 :108590.
[17]Hochreiter S,Schmidhuber J.Long short-term memory[J]. Neural Computation ,1997, 9 (8):1735-1780.
[18]Chen Zhenghua,Wu Min,Zhao Rui,et al.Machine remaining useful life prediction via an attention-based deep learning approach[J]. IEEE Trans on Industrial Electronics ,2020, 68 (3):2521-2531.
[19]Ragab M,Chen Zhenghua,Wu Min,et al.Attention-based sequence to sequence model for machine remaining useful life prediction[J]. Neurocomputing ,202 466 :58-68.
[20]Jayasinghe L,Samarasinghe T,Yuenv C,et al.Temporal convolutional memory networks for remaining useful life estimation of industrial machinery[C]//Proc of IEEE International Conference on Industrial Technology.Piscataway,NJ:IEEE Press,2019:915-920.
[21]Liu Hui,Liu Zhenyu,Jia Weiqiang,et al.Remaining useful life prediction using a novel feature-attention-based end-to-end approach[J]. IEEE Trans on Industrial Informatics ,2020, 17 (2):1197-1207.
[22]Saxena A,Goebel K,Simon D,et al.Damage propagation modeling for aircraft engine run-to-failure simulation[C]//Proc of International Conference on Prognostics and Health Management.Piscataway,NJ:IEEE Press,2008:1-9.
[23]賴儒杰,范啟富.基于指數(shù)平滑和XGBoost的航空發(fā)動機(jī)剩余壽命預(yù)測[J].化工自動化及儀表,2020, 47 (3):243-247. (Lai Rujie,F(xiàn)an Qifu.Residual life prediction of aircraft engines based on exponential smoothing and XGBoost[J]. Control and Instruments in Chemical Industry ,2020, 47 (3):243-247.)
[24]Shao Zezhi,Zhang Zhao,Wang Fei,et al.Spatial-temporal identity:a simple yet effective baseline for multivariate time series forecasting[C]//Proc of the 31st ACM International Conference on Information amp; Knowledge Management.New York:ACM Press,2022:4454-4458.
收稿日期:2023-08-07;修回日期:2023-10-08 基金項目:裝發(fā)預(yù)研項目
作者簡介:李勇成(1999—),男,湖北恩施人,碩士研究生,CCF會員,主要研究方向為剩余壽命預(yù)測;李文驍(1999—),男,四川達(dá)州人,碩士研究生,主要研究方向為剩余壽命預(yù)測;雷印杰(1983—),男(通信作者),四川成都人,教授,博導(dǎo),博士,主要研究方向為人工智能與計算機(jī)視覺、遷移學(xué)習(xí)、剩余壽命預(yù)測等(yinjie@scu.edu.cn).