基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)軸承剩余使用壽命預(yù)測(cè)方法*

孟琳書,張音旋,張 起,王 豪

(1.中國航空工業(yè)集團(tuán)公司 沈陽飛機(jī)設(shè)計(jì)研究所,遼寧 沈陽 110035;2.先進(jìn)科技(中國)有限公司,四川 成都 610000)

0 引 言

滾動(dòng)軸承是旋轉(zhuǎn)機(jī)械中重要且相對(duì)易失效的基礎(chǔ)零部件[1],其由于磨損、疲勞等原因而產(chǎn)生的性能退化或故障將影響設(shè)備的正常工作,甚至?xí)斐韶?cái)產(chǎn)損失和人員傷亡等一系列后果[2]。

因此,預(yù)測(cè)滾動(dòng)軸承可能的失效時(shí)刻,并根據(jù)預(yù)測(cè)結(jié)果提前對(duì)設(shè)備進(jìn)行預(yù)測(cè)性維護(hù)是十分必要的,可以避免由于滾動(dòng)軸承失效而造成的設(shè)備停機(jī)[3]。

預(yù)測(cè)滾動(dòng)軸承剩余使用壽命從而進(jìn)行設(shè)備健康管理已經(jīng)成為機(jī)械故障診斷領(lǐng)域的研究熱點(diǎn)之一[4]?？傮w上,滾動(dòng)軸承壽命預(yù)測(cè)方法可以分為3類:基于物理模型的方法、基于數(shù)據(jù)驅(qū)動(dòng)的方法和混合方法[5]。由于具備良好的泛化性能,數(shù)據(jù)驅(qū)動(dòng)方法中的基于深度學(xué)習(xí)的預(yù)測(cè)方法受到了廣泛的關(guān)注,已經(jīng)成為滾動(dòng)軸承剩余使用壽命預(yù)測(cè)的重要手段之一[6]。

近年來,深度學(xué)習(xí)中的時(shí)間序列模型在滾動(dòng)軸承壽命預(yù)測(cè)領(lǐng)域得到了廣泛應(yīng)用。

CAO Y等人[7]采用了一種基于殘差注意力的時(shí)間卷積網(wǎng)絡(luò)模型來預(yù)測(cè)滾動(dòng)軸承的剩余使用壽命;但該模型對(duì)多工況軸承的跨工況預(yù)測(cè)能力不足。WANG B等人[8]引入可分離卷積和壓縮-激勵(lì)單元,實(shí)現(xiàn)了端到端的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)目的;但受限于隱式特征難以結(jié)合工程經(jīng)驗(yàn)問題,導(dǎo)致其通用性欠佳。GUO R等人[9]采用了一種結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解和長(zhǎng)短期記憶(long-short term memory, LSTM)網(wǎng)絡(luò)的剩余使用壽命預(yù)測(cè)方法,學(xué)習(xí)固有模態(tài)函數(shù)和滾動(dòng)軸承剩余使用壽命之間的映射關(guān)系;但該方法的長(zhǎng)期壽命預(yù)測(cè)能力不足。

上述學(xué)者針對(duì)不同使用場(chǎng)景結(jié)合多種深度學(xué)習(xí)模型開展了滾動(dòng)軸承壽命預(yù)測(cè),并取得了一定進(jìn)展;但預(yù)測(cè)模型的超參數(shù)大部分由研究人員根據(jù)經(jīng)驗(yàn)手動(dòng)進(jìn)行選擇調(diào)優(yōu),這種選擇方法顯著降低了模型優(yōu)化效率。因此,有學(xué)者開發(fā)了貝葉斯優(yōu)化、Successive Halving和Hyperband等超參數(shù)調(diào)節(jié)方法。其中,貝葉斯優(yōu)化基于貝葉斯定理估計(jì)目標(biāo)函數(shù)的后驗(yàn)概率分布,依據(jù)后驗(yàn)分布對(duì)超參數(shù)組合進(jìn)行采樣,并根據(jù)采樣結(jié)果不斷完善后驗(yàn)分布的形狀,從而高效地找到目標(biāo)函數(shù)的全局相對(duì)最優(yōu)解,在深度學(xué)習(xí)模型的超參數(shù)調(diào)節(jié)中得到了廣泛應(yīng)用。

筆者提出一種基于注意力GRU模型與貝葉斯優(yōu)化的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)方法。

首先,使用小波包分解重構(gòu)對(duì)原始振動(dòng)信號(hào)進(jìn)行降噪處理;其次,在去噪后的信號(hào)上提取時(shí)域特征;然后,將時(shí)域特征輸入GRU模型中挖掘輸入特征與剩余壽命的映射關(guān)系;最后,利用貝葉斯優(yōu)化方法對(duì)模型的超參數(shù)進(jìn)行搜索調(diào)整。

1 特征提取與優(yōu)化篩選

振動(dòng)信號(hào)采集方便且蘊(yùn)含著豐富的退化信息,是滾動(dòng)軸承失效分析的常用信號(hào)。該領(lǐng)域內(nèi)積累了眾多研究人員的先驗(yàn)知識(shí),產(chǎn)生了時(shí)域、頻域和時(shí)頻域等一系列特征計(jì)算方法。不同人工特征對(duì)各種故障類型的敏感程度有一定差異且數(shù)據(jù)質(zhì)量不同,因此需要對(duì)特征進(jìn)行優(yōu)化篩選。此外,由于采集過程中噪聲影響難以忽略,對(duì)振動(dòng)信號(hào)進(jìn)行降噪是取得一個(gè)良好預(yù)測(cè)結(jié)果的必要條件。

筆者使用小波包分解重構(gòu)進(jìn)行信號(hào)降噪。該方法采用一組正交的小波基函數(shù)將原始信號(hào)分解為高頻分量和低頻分量,然后將得到的高頻分量和低頻分量作為新一輪輸入信號(hào)繼續(xù)進(jìn)行迭代分解。通過調(diào)整小波基函數(shù)的尺度和平移參數(shù),可獲得信號(hào)分量的頻率信息與時(shí)間信息。

由于傳感器采集的振動(dòng)信號(hào)為離散數(shù)據(jù),因此在使用小波包變換時(shí),一般采用離散小波變換。

其過程表示如下:

(1)

式中:f(t)為原始信號(hào);φ()為小波函數(shù);φ*()為小波函數(shù)的共軛函數(shù);a為通過伸縮控制小波頻率的尺度參數(shù);b為平移參數(shù),該參數(shù)使頻率分量具有時(shí)間信息。

特征提取在壽命預(yù)測(cè)領(lǐng)域具有重要地位,對(duì)模型的最終表現(xiàn)影響巨大。一個(gè)良好的特征應(yīng)具有單調(diào)性、趨勢(shì)性和魯棒性等性質(zhì)。傳統(tǒng)的人工經(jīng)驗(yàn)特征趨勢(shì)性和單調(diào)性較差,不利于模型預(yù)測(cè)。

考慮到軸承的退化是一個(gè)損傷累積過程,因此筆者對(duì)其特征與趨勢(shì)的累加進(jìn)行縮放,并濾除特征中的噪聲,降低噪聲對(duì)累積計(jì)算過程的影響,以實(shí)現(xiàn)特征優(yōu)化目的[10]。

2 注意力GRU模型

2.1 GRU單元

循環(huán)神經(jīng)網(wǎng)絡(luò)具備獨(dú)特的遞歸結(jié)構(gòu)和內(nèi)部神經(jīng)元的參數(shù)共享機(jī)制,使其可以學(xué)習(xí)時(shí)間序列之間的依賴關(guān)系,但其存在梯度消失問題,即梯度被近距離梯度主導(dǎo),導(dǎo)致模型難以學(xué)到遠(yuǎn)距離的依賴關(guān)系。

GRU[11]是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)的一種變體,其通過添加“門”結(jié)構(gòu)調(diào)節(jié)信息流,以及“記憶細(xì)胞”存儲(chǔ)長(zhǎng)期信息,可有效克服短期記憶的缺陷,緩解梯度消失問題。

GRU中包含重置門和更新門。重置門是根據(jù)上一時(shí)間步的隱藏狀態(tài)和當(dāng)前輸入,控制歷史信息的遺忘程度。

重置門表示如下:

rt=σ(Wr×[ht-1,xt])

(2)

式中:Wr為重置門中的權(quán)重矩陣;ht-1為上一時(shí)間步的隱藏狀態(tài);xt為當(dāng)前時(shí)間步的輸入。

更新門控制傳遞到當(dāng)前時(shí)間步的新信息。

更新門表示如下:

zt=σ(Wz×[ht-1,xt])

(3)

式中:Wz為更新門中的權(quán)重矩陣。

筆者結(jié)合重置門和更新門中的信息,計(jì)算當(dāng)前時(shí)間步的隱藏狀態(tài),隱藏狀態(tài)表示如下:

(4)

相較于單向GRU網(wǎng)絡(luò),雙向GRU網(wǎng)絡(luò)可以利用當(dāng)前時(shí)間步的未來信息得到當(dāng)前時(shí)間步的預(yù)測(cè)值,即使用來自當(dāng)前時(shí)間步兩端的序列信息來預(yù)測(cè)輸出。

對(duì)于時(shí)間序列預(yù)測(cè)任務(wù),上述特性意味著在預(yù)測(cè)任意時(shí)間步的輸出時(shí),網(wǎng)絡(luò)已經(jīng)將完整的輸入序列信息納入計(jì)算過程,而非如單向GRU網(wǎng)絡(luò)一樣只考慮過去的信息,這有助于網(wǎng)絡(luò)更好地理解時(shí)間步之間的依賴關(guān)系。

2.2 基于注意力機(jī)制的Encoder-Decoder結(jié)構(gòu)

注意力機(jī)制[12]源于人類的行為,其給予時(shí)間序列中關(guān)鍵時(shí)間步較高權(quán)值,使模型更關(guān)注對(duì)輸出結(jié)果影響較大的時(shí)間步,而忽略那些對(duì)輸出結(jié)果幾乎無影響的時(shí)間步。

上述機(jī)制提高了模型的信息處理能力,便于捕捉軸承退化特征的長(zhǎng)期趨勢(shì),常與Encoder-Decoder結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)配合使用。

注意力機(jī)制計(jì)算方法多樣,但本質(zhì)上是計(jì)算并分配權(quán)重的過程。其分配過程表示如下:

Score=fatten(he,hd)

(5)

(6)

(7)

(8)

式中:he為編碼器所有時(shí)間步上的輸出;hd為編碼器當(dāng)前時(shí)間步上的隱藏狀態(tài);α為注意力權(quán)重矩陣。

在權(quán)重計(jì)算過程中,首先,筆者將編碼器所有時(shí)間步上的輸出和解碼器當(dāng)前時(shí)間步上的隱藏狀態(tài)點(diǎn)乘,計(jì)算兩者之間的相似度,相似度越大,分?jǐn)?shù)值(Score)越大;其次,對(duì)Score值進(jìn)行歸一化處理,得到注意力權(quán)重矩陣α;然后,將注意力權(quán)重矩陣與編碼器輸出矩陣相乘,得到輸出C;最后,將上一步的輸出C與當(dāng)前時(shí)間步上的原本輸出拼接后進(jìn)行線性變換,以得到當(dāng)前時(shí)間步上的最終預(yù)測(cè)值。

2.3 貝葉斯優(yōu)化

神經(jīng)網(wǎng)絡(luò)的超參數(shù)對(duì)模型表現(xiàn)起著決定性作用。目前,在壽命預(yù)測(cè)領(lǐng)域,大多數(shù)網(wǎng)絡(luò)模型依然采用手動(dòng)調(diào)參的方法。該方法依賴個(gè)人經(jīng)驗(yàn)、效率較低,往往得不到最優(yōu)的超參數(shù)組合。

筆者利用貝葉斯優(yōu)化方法搜索模型的高維超參數(shù)空間。

貝葉斯優(yōu)化的核心主要包括代理模型和采集函數(shù)兩部分。代理模型用于擬合真實(shí)目標(biāo)函數(shù)的先驗(yàn)分布,常用的模型有高斯過程、Parzen樹估計(jì)(tree Parzenes-timator,TPE)等。

采集函數(shù)通過權(quán)衡“開發(fā)”和“探索”之間的關(guān)系來指導(dǎo)下一次迭代的采樣點(diǎn)選擇,以實(shí)現(xiàn)代理模型的最大擬合。采集函數(shù)能夠直接決定模型優(yōu)化的性能,影響優(yōu)化過程的收斂速度及后驗(yàn)分布的擬合效果。常用的函數(shù)包括“期望提升”“置信限準(zhǔn)則”和“概率提升”等。

筆者選擇TPE作為代理模型,“期望提升”函數(shù)作為采集函數(shù)。

3 剩余使用壽命預(yù)測(cè)流程

基于注意力GRU模型的剩余使用壽命預(yù)測(cè)算法具體流程如圖1所示。

圖1 預(yù)測(cè)流程Fig.1 Forecasting process

流程主要分為小波包變換降噪、時(shí)域特征提取、特征優(yōu)化與篩選、模型搭建、模型訓(xùn)練及優(yōu)化、模型測(cè)試等主要步驟:

1)小波包變換降噪。原始振動(dòng)信號(hào)經(jīng)過小波包分解(小波基函數(shù)為db4),根據(jù)信號(hào)的通用閾值采用軟硬閾值折中的方式處理分解后的細(xì)節(jié)系數(shù),將處理后的細(xì)節(jié)系數(shù)進(jìn)行重構(gòu),以得到最終降噪后的信號(hào);

2)時(shí)域特征提取、優(yōu)化及篩選。時(shí)域特征具有直觀、計(jì)算簡(jiǎn)單、趨勢(shì)明顯的優(yōu)點(diǎn),能夠表征軸承運(yùn)行狀況的一部分信息。計(jì)算時(shí)域特征后使用Savitzky-Golay濾波器進(jìn)行濾波,對(duì)濾波結(jié)果進(jìn)行優(yōu)化并篩選獲得最終輸入到模型的特征;

3)模型搭建、訓(xùn)練及優(yōu)化、測(cè)試。搭建注意力GRU模型的同時(shí),將網(wǎng)絡(luò)的層數(shù)、GRU單元的偏置等網(wǎng)絡(luò)參數(shù)作為貝葉斯優(yōu)化的超參數(shù),并將學(xué)習(xí)率、序列長(zhǎng)度、dropout等參數(shù)作為優(yōu)化變量,利用貝葉斯優(yōu)化方法對(duì)模型進(jìn)行訓(xùn)練,得到最優(yōu)模型,并在測(cè)試數(shù)據(jù)上測(cè)試所得模型。

預(yù)測(cè)流程的實(shí)際運(yùn)行效果如圖2所示。

圖2 預(yù)測(cè)流程運(yùn)行效果Fig.2 Forecasting process in action

4 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

此處筆者使用的數(shù)據(jù)來自于IEEE PHM2012[13]挑戰(zhàn)賽,其數(shù)據(jù)集中包含6個(gè)全生命周期的訓(xùn)練數(shù)據(jù)和11個(gè)截?cái)嗟臏y(cè)試數(shù)據(jù)。

數(shù)據(jù)集具體情況如表1所示。

表1 軸承數(shù)據(jù)集Table 1 Bearing data set

筆者在每個(gè)軸承上采集了水平和垂直方向上的振動(dòng)信號(hào)。根據(jù)SINGLETON R K等人[14]的研究結(jié)果,相較于水平振動(dòng)信號(hào),垂直振動(dòng)信號(hào)所包含的有用退化信息很少。因此,筆者最終使用軸承水平方向上的振動(dòng)信號(hào),在工況1的7個(gè)數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)驗(yàn)證。

4.2 評(píng)價(jià)指標(biāo)

在實(shí)際生產(chǎn)中相較于滯后預(yù)測(cè)(壽命預(yù)測(cè)值大于真實(shí)值),超前預(yù)測(cè)(壽命預(yù)測(cè)值小于真實(shí)值)更有價(jià)值,其可以提供正確的維修決策信息。

為準(zhǔn)確評(píng)估模型的性能和實(shí)際表現(xiàn),PHM 2012挑戰(zhàn)賽給出了標(biāo)準(zhǔn)得分函數(shù),其對(duì)超前預(yù)測(cè)和滯后預(yù)測(cè)施加了不同程度的懲罰,懲罰表示如下:

(9)

式中:Ei為軸承剩余壽命真實(shí)值與預(yù)測(cè)值之間的誤差;Ai為最終得分。

4.3 時(shí)域特征提取、優(yōu)化及篩選

筆者根據(jù)文獻(xiàn)[15],選取標(biāo)準(zhǔn)差、反正切標(biāo)準(zhǔn)差、均方根、峰峰值、偏度、峭度、峰值因數(shù)、裕度因數(shù)、波形因數(shù)、脈沖因數(shù)、偏度因數(shù)、峭度因數(shù)和上限等特征,繪制時(shí)域波形,并根據(jù)特征計(jì)算公式去除冗余波形與相近特征。

時(shí)域特征選擇如表2所示。

表2 時(shí)域特征Table 2 Time domain feature

筆者使用趨勢(shì)累積方法對(duì)提取到的特征進(jìn)行優(yōu)化,并利用單調(diào)性、趨勢(shì)性、魯棒性指標(biāo)評(píng)估篩選特征。

時(shí)域特征優(yōu)化前后的評(píng)估指標(biāo)對(duì)比如表3所示。

表3 特征優(yōu)化評(píng)估Table 3 Feature optimization evaluation

由表3可得出:趨勢(shì)累積方法可以有效優(yōu)化特征的單調(diào)性、趨勢(shì)性和魯棒性。

根據(jù)優(yōu)化后的3個(gè)指標(biāo)對(duì)時(shí)域特征進(jìn)行篩選,最終輸入模型的時(shí)域特征為均方根、峰峰值、峭度、峰值因數(shù)、裕度因數(shù)、反正切標(biāo)準(zhǔn)差和上限。

4.4 實(shí)驗(yàn)結(jié)果

筆者使用python(3.8.10)完成所有數(shù)據(jù)處理及模型搭建工作。其中,深度學(xué)習(xí)框架為pytorch(1.9.0),cuda版本為11.3。全部實(shí)驗(yàn)均在搭載NVIDIA 3060 GPU,Intel i5-10400F CPU的Windows10 64位操作系統(tǒng)計(jì)算機(jī)上完成。

首先,確定影響GRU網(wǎng)絡(luò)性能的超參數(shù)及其對(duì)應(yīng)范圍,形成超參數(shù)域空間。在域空間中隨機(jī)初始化超參數(shù)組合,并以此搭建待訓(xùn)練的網(wǎng)絡(luò)模型。以退化特征集為輸入,剩余使用壽命標(biāo)簽為輸出,對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。將測(cè)試數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中,計(jì)算預(yù)測(cè)剩余使用壽命的均方根誤差,并將其作為優(yōu)化目標(biāo)值,構(gòu)建由超參數(shù)和目標(biāo)值組成的TPE代理模型。利用采集函數(shù)在域空間中迭代采樣,并根據(jù)采樣結(jié)果更新代理模型,直到目標(biāo)值收斂。其中,所確定的GRU網(wǎng)絡(luò)模型使目標(biāo)值最小的超參數(shù)組合,其即為最優(yōu)模型。

超參數(shù)選擇如表4所示。

表4 超參數(shù)空間Table 4 Hyperparameter space

在巨大的超參數(shù)空間中,筆者僅抽樣200組超參數(shù)進(jìn)行訓(xùn)練優(yōu)化,經(jīng)過貝葉斯優(yōu)化后得到的參數(shù)組合為(BiGRU,1,32,否,是,AdamW,是,4,20,0.0,0.05,0.000 1),在該參數(shù)組合下測(cè)試所得到的模型。

軸承1_5、1_6預(yù)測(cè)結(jié)果如圖3所示。

圖3 軸承壽命預(yù)測(cè)結(jié)果Fig.3 Life prediction results of bearings

粗虛線為軸承的真實(shí)剩余使用壽命百分比;黑色實(shí)線為三次多項(xiàng)式擬合值;黑色點(diǎn)構(gòu)成的斜劃線為模型的預(yù)測(cè)值;其中三次多項(xiàng)式的擬合值可以作為軸承退化趨勢(shì)的參考。

為了證明基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)的有效性,筆者將實(shí)驗(yàn)結(jié)果與其他文獻(xiàn)中的3種方法(卷積LSTM[16]、自注意LSTM[17]、RNN[18])的預(yù)測(cè)結(jié)果進(jìn)行了對(duì)比。

基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)與其他文獻(xiàn)的對(duì)比結(jié)果如表5所示。

表5 基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)與其他文獻(xiàn)方法的結(jié)果對(duì)比Table 5 The results of the GRU network based on Bayesian optimization are compared with those of other literatures

由表5可以看出:基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)平均得分高于另外3個(gè)文獻(xiàn)中方法的得分結(jié)果,且平均預(yù)測(cè)誤差有所降低?；谪惾~斯優(yōu)化的GRU網(wǎng)絡(luò)對(duì)于真實(shí)壽命較短的軸承預(yù)測(cè)結(jié)果較為準(zhǔn)確,而對(duì)于真實(shí)壽命較長(zhǎng)的軸承預(yù)測(cè)誤差較大,但并沒有出現(xiàn)預(yù)測(cè)值大于真實(shí)值的情況,其可以作為軸承臨近失效階段的剩余使用壽命參考。

上述結(jié)果證明了基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)的有效性。

5 結(jié)束語

傳統(tǒng)的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)模型存在參數(shù)優(yōu)化的困難。針對(duì)這一問題,筆者提出了一種基于貝葉斯優(yōu)化的GRU網(wǎng)絡(luò)滾動(dòng)軸承剩余使用壽命預(yù)測(cè)方法,并進(jìn)行了實(shí)驗(yàn)驗(yàn)證,即以PHM2012數(shù)據(jù)集為例,結(jié)合貝葉斯優(yōu)化算法對(duì)基于Encoder-Decoder結(jié)構(gòu)的門控循環(huán)單元(GRU)預(yù)測(cè)模型的多個(gè)超參數(shù)進(jìn)行了優(yōu)化。

研究結(jié)論如下:

1)趨勢(shì)累積方法對(duì)由振動(dòng)信號(hào)所提取出的時(shí)域特征的單調(diào)性、趨勢(shì)性和魯棒性具有明顯的優(yōu)化效果;

2)基于注意力的GRU模型可以用于有效地預(yù)測(cè)滾動(dòng)軸承的剩余使用壽命,且平均得分相較于其他3種方法的最優(yōu)值提高了8.01%;

3)采用貝葉斯優(yōu)化方法能夠在較短的時(shí)間內(nèi)通過采樣訓(xùn)練得到較優(yōu)的預(yù)測(cè)結(jié)果,避免了繁瑣的人工調(diào)參和網(wǎng)格搜索的巨大時(shí)間代價(jià)。

目前,基于注意力的GRU模型的預(yù)測(cè)精度還有待進(jìn)一步提高,且其對(duì)剩余壽命較長(zhǎng)的軸承預(yù)測(cè)精度仍然較低。因此,在后續(xù)的研究中,筆者擬采用遷移學(xué)習(xí)等方法進(jìn)一步提高滾動(dòng)軸承壽命預(yù)測(cè)模型的泛化性能。