基于量子加權(quán)門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)的性態(tài)退化趨勢預(yù)測

李 鋒， 向 往， 王家序， 湯寶平

(1.四川大學(xué) 制造科學(xué)與工程學(xué)院，成都 610065；2.四川大學(xué) 空天科學(xué)與工程學(xué)院，成都 610065；3.重慶大學(xué) 機械傳動國家重點實驗室，重慶 400044)

機械設(shè)備狀態(tài)預(yù)測是設(shè)備故障診斷中必不可少的一個環(huán)節(jié)[1],準確預(yù)測機械設(shè)備的性態(tài)退化趨勢，可以提前為設(shè)備維護管理提供充分的決策信息和反應(yīng)時間，避免設(shè)備損壞造成意外損失，降低設(shè)備運營成本。從振動信號中提取性態(tài)退化指標時間序列后，設(shè)計合理有效的具有知識推理能力的預(yù)測方法是實現(xiàn)旋轉(zhuǎn)機械退化過程準確預(yù)測的關(guān)鍵。經(jīng)典的預(yù)測方法有AR模型，最小二乘支持向量機(Least Squares Support Vector Machine, LS-SVM)，人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)等。文獻[2-3]采用基于AR模型的預(yù)測方法，但AR模型容錯性較差，預(yù)測精度不高。文獻[4-6]采用基于最小二乘支持向量機的預(yù)測方法,然而最小二乘支持向量機核函數(shù)及其參數(shù)很多情況是人為選定，帶有許多不確定性。諸如BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation Neural Network, BPNN)[7-8]，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)[9]等經(jīng)典神經(jīng)網(wǎng)絡(luò)，存在學(xué)習(xí)收斂速度慢、訓(xùn)練困難、網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性等問題。門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)(Gated Recurrent Unit Neural Network, GRUNN)[10]作為一種改進的循環(huán)神經(jīng)網(wǎng)絡(luò)，克服了RNN梯度消失的缺點，然而也存在著訓(xùn)練過程困難，泛化能力不足等問題。

作為一種極富前景的非線性模型, 量子計算被認為是改進神經(jīng)計算的有效途徑之一[11]。量子神經(jīng)網(wǎng)絡(luò)利用了量子計算的一些優(yōu)勢特別是量子計算的并行計算特性，比經(jīng)典神經(jīng)網(wǎng)絡(luò)具有更強的并行處理能力，并能處理更大的數(shù)據(jù)集，在數(shù)據(jù)處理方面具有前所未有的潛在優(yōu)勢[12-13]。本文在GRU的基礎(chǔ)上，提出了量子權(quán)值門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)(Quantum Weighted Gated Recurrent Unit Neural Networks, QWGRUNN)，該量子神經(jīng)網(wǎng)絡(luò)引入量子位表示網(wǎng)絡(luò)權(quán)值和活性值，構(gòu)造量子相移門權(quán)值矩陣并通過門參數(shù)的修正實現(xiàn)權(quán)值量子位和活性值量子位的更新，并將上下文單元的權(quán)值擴展到隱藏層的權(quán)值矩陣,在與隱藏層權(quán)值同步更新過程中獲取時間序列的額外信息,改善了網(wǎng)絡(luò)泛化能力，進而提高了所提出的性態(tài)退化趨勢預(yù)測方法的預(yù)測精度；采用與自身結(jié)構(gòu)相適應(yīng)的動態(tài)學(xué)習(xí)參數(shù)，改善了網(wǎng)絡(luò)收斂速度，進而提高了所提出的預(yù)測方法的計算效率。

綜上所述，本文提出了基于量子權(quán)值門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)(QWGRUNN)的性態(tài)退化趨勢預(yù)測方法，用于旋轉(zhuǎn)機械的性態(tài)退化趨勢預(yù)測，達到了較高的預(yù)測精度和計算效率。

1 量子加權(quán)門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)

1.1 門限重復(fù)單元(GRU)

Cho等提出了通過門限重復(fù)單元(GRU)來匹配不同時間尺度的依賴問題，它融合了單元狀態(tài)和隱藏狀態(tài)，將遺忘和輸入門限整合成一個“更新門限”，其拓補結(jié)構(gòu)如圖1所示。

圖1 門限重復(fù)單元

(1)

(2)

式中，Wz為p×m階權(quán)值矩陣，Uz為p×p階權(quán)值矩陣。

*ht-1))j

(3)

(4)

式中，Wr為p×m階權(quán)值矩陣，Ur為p×p階權(quán)值矩陣。

1.2 量子加權(quán)神經(jīng)元模型

神經(jīng)細胞的量子行為主要體現(xiàn)在細胞之間遞質(zhì)的傳遞上。為模擬這種量子行為，量子加權(quán)神經(jīng)元模型包括加權(quán)、聚合、活化、激勵四個部分，其中，權(quán)值和活性值分別用量子位|φi〉、|φ〉表示，其中|φi〉為對xi的加權(quán)，聚合算子記為Σ，活化作用通過內(nèi)積算子F來實現(xiàn)，激勵采用sigmoid函數(shù)，如圖2所示。

圖2 量子加權(quán)神經(jīng)元

記神經(jīng)元輸入向量為x=[x1,x2,…,xm]T，輸出實數(shù)記為y，|φ〉=[|φ1〉,|φ2〉,…,|φm〉]T表示權(quán)向量。其中,權(quán)值量子位|φi〉=[cosθi,sinθi]T(i=1,2,…,m,θi表示該量子位的相位)；|φ〉=[cosξ,sinξ]T為活性值量子位(ξ為活性值量子位的相位)。于是，量子神經(jīng)元的輸入輸出關(guān)系可表述為

(5)

當輸出y=[y1,y2,…,yn]T時，由量子權(quán)向量|φ(j)〉=[|φ1j〉,|φ2j〉,…,|φmj〉]T組成m×n維量子權(quán)矩陣

其中，|φij〉=[cosθij,sinθij]T為權(quán)值量子位且i=1,2,…,m，j=1,2,…,n，θij表示該量子位的相位。同時，活性值也可表示為：|φ〉=[|φ1〉,|φ2〉,…,|φn〉]T，其中，|φj〉=[cosξj,sinξj]T是活性值量子位且ξj為活性值量子位的相位，j=1,2,…,n。于是，結(jié)合式(5)、式(6)和式(7)可推導(dǎo)出量子神經(jīng)元的輸入輸出關(guān)系如下：

(6)

式中，W為n×m階權(quán)值矩陣，有

(7)

因此，可通過更新權(quán)值量子位相位θij和活性值量子位相位ξj來更新權(quán)值量子位|φij〉和活性值量子位|φj〉，進而實現(xiàn)整個W矩陣的更新。

1.3 量子權(quán)值門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)(QWGRUNN)結(jié)構(gòu)

量子權(quán)值門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)(QWGRUNN)將量子計算引入GRUNN，在保持GRUNN宏觀拓補結(jié)構(gòu)不變的情況下，引入量子加權(quán)神經(jīng)元表示內(nèi)部傳遞關(guān)系。在QWGRUNN中，網(wǎng)絡(luò)權(quán)值由量子相移門表示，網(wǎng)絡(luò)的更新為對相關(guān)量子化結(jié)構(gòu)的更新。

結(jié)合式(2)、式(6)和式(7)可導(dǎo)出QWGRUNN的更新門如下

(8)

同理結(jié)合式(4)和式(6)可推導(dǎo)重置門如下

(9)

于是，根據(jù)式(3)、式(6)和式(9)可表示待定活性值如下

(10)

式中，*表示對應(yīng)元素相乘。

然后，結(jié)合式(1)、式(8)和式(10)可計算活性值

(11)

最后，結(jié)合式(6)、式(11)可計算網(wǎng)絡(luò)輸出值如下

(12)

1.4 QWGRUNN學(xué)習(xí)算法

在QWGRUNN中，由一位相移門來實現(xiàn)權(quán)值量子位和活性值量子位的修正。

因此，求出量子相移門的相位增量Δθt和Δξt，也就實現(xiàn)了權(quán)值量子位|φ〉和活性值量子位|φ〉的更新，也即實現(xiàn)了權(quán)向量的更新。

這里同樣取i=1,2,…,m；j=1,2,…,p；k=1,2,…,p，l=1,2,…,n。在QWGRUNN中，需要更新的權(quán)值量子位和活性值量子位有|(φwz)ij〉、|(φwr)ij〉、|(φw)ij〉、|(φwy)kl〉、|(φuz)kj〉、|(φur)kj〉、|(φu)kj〉和|(φwz)j〉、 |(φwr)j〉、|(φw)j〉、|(φwy)l〉、|(φuz)j〉、|(φur)j〉、|(φu)j〉。因此需要求得t時刻的相位增量Δθ(t)和Δξ(t)分別有Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)和Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)。

下面采用梯度下降法求Δθ(t)、Δξ(t)。QWGRUNN的逼近誤差函數(shù)為

(15)

(16)

于是根據(jù)梯度下降法，相位增量Δθ(t)與Δξ(t)由如下兩式分別得出

(17)

(18)

將相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作為自變量代入式(17)可求得對應(yīng)的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；同理，將相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作為自變量代入式(18)可以求得對應(yīng)的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)。

至此，QWGRUNN中所有相位增量均已求得，將這些參數(shù)分別代入式(13)和式(14)，即可實現(xiàn)所有權(quán)值量子位和活性值量子位的更新。每更新一次權(quán)值量子位和活性值量子位就完成一次對QWGRUNN的訓(xùn)練。

綜上，QWGRUNN引入量子位來表示權(quán)值和活性值(如式(8)～(10))并構(gòu)造量子相移門(如式(13)和式(14))以實現(xiàn)權(quán)值量子位和活性值量子位的更新，同時QWGRUNN將歷史信息擴展到隱藏層(如式(11)),在與隱藏層權(quán)值同步更新過程中獲取時間序列的額外信息,優(yōu)化了網(wǎng)絡(luò)輸出與隱層輸入之間的匹配程度，因而改善了網(wǎng)絡(luò)泛化能力，進而提高了所提出的性態(tài)退化趨勢預(yù)測方法的預(yù)測精度；另外，采用與QWGRUNN結(jié)構(gòu)相適應(yīng)的動態(tài)學(xué)習(xí)參數(shù)(如式(15)～(18))來動態(tài)調(diào)節(jié)相關(guān)參數(shù)的更新，提高了網(wǎng)絡(luò)收斂速度，進而提高了所提出的預(yù)測方法的計算效率。

2 性態(tài)退化趨勢預(yù)測方法“小波降噪-排列熵→QWGRUNN”

所提出的基于QWGRUNN的性態(tài)退化預(yù)測方法實現(xiàn)流程,如圖3所示。

圖3 基于QWGRUNN的性態(tài)退化預(yù)測方法實現(xiàn)流程

Fig.3 The implementation process of the performance degradation trend prediction method based on QWGRUNN

該流程說明如下：①通過小波變換對原始性態(tài)退化數(shù)據(jù)進行降噪處理;②從降噪的信號中提取排列熵[14]信息構(gòu)成性態(tài)退化指標集;③將該指標集輸入到QWGRUNN完成網(wǎng)絡(luò)的訓(xùn)練并用訓(xùn)練好的網(wǎng)絡(luò)完成旋轉(zhuǎn)機械性態(tài)退化趨勢預(yù)測。

QWGRUNN訓(xùn)練過程如下

從排列熵集中取s={xl,xl+1,…,xm}作為訓(xùn)練集，將該指標集組裝成QWGRUNN的輸入Xtrain和輸出Ytrain，表達式如下

其中，l為數(shù)據(jù)起始點，k(

將Xtrain和Ytrain分別作為QWGRUNN 的輸入和輸出，完成QWGRUNN的訓(xùn)練。

QWGRUNN預(yù)測過程如下：

本文采用排列熵算法提取旋轉(zhuǎn)機械的性態(tài)退化指標，并用該指標來預(yù)測旋轉(zhuǎn)機械性態(tài)退化趨勢。排列熵是近年來新興的一種研究自然界中不規(guī)則性以及非線性系統(tǒng)的算法，算法如下：

(1) 對離散時間序列(即小波降噪后的信號){x(i),i=1,2,…,N}進行相空間重構(gòu)，得到重構(gòu)矩陣R如下式

(19)

式中：k=N-(d-1)τ，j=1,2,…,k,d為嵌入維數(shù)，τ為延遲時間。

(2) 然后將重構(gòu)矩陣R中的行向量R(j)=[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一組新的序列：S(g)={j1,j2,…,jd}，其中g(shù)=1,2,…,k≤m!。d維相空間映射不同的符號序列{j1,j2,…,jd}總共有d!，S(g)只是d!種符號序列中的一種。計算每一種符號序列出現(xiàn)的概率P1,P2,…,Pk。

(3) 最后可求出該時間序列(小波消噪后的信號)的排列熵如下式

(20)

排列熵計算簡單、實時性高、能較好地反映時間序列數(shù)據(jù)微小的變化，用排列熵提取旋轉(zhuǎn)機械性態(tài)退化指標，能有效檢測和放大表征旋轉(zhuǎn)機械性態(tài)退化的振動信號的動態(tài)過程，可以獲取更加敏感的性態(tài)退化指標。

3 實例分析

使用Cincinnati大學(xué)實測的滾動軸承性態(tài)退化數(shù)據(jù)[15]進行驗證，實驗裝置如圖4所示。軸承實驗臺的轉(zhuǎn)軸上安裝四個航空用軸承，這些航空軸承為Rexnord公司制造的ZA-2115雙列滾子軸承，交流電機通過帶傳動以2 000 r/min的恒定轉(zhuǎn)速帶動轉(zhuǎn)軸旋轉(zhuǎn)，實驗過程中軸承被施加6 000 lbs的徑向載荷。采樣頻率為20 kHz，采樣長度為20 480個點，每隔10 min采集一次軸承的振動數(shù)據(jù)，軸承持續(xù)運行直到出現(xiàn)故障。在第二組實驗中，實驗臺運行到第7天時1號軸承出現(xiàn)外圈故障而失效，本文采用該組實驗中1號軸承采集到的性態(tài)退化數(shù)據(jù)驗證本文所提方法。

圖4 滾動軸承性態(tài)退化實驗裝置

取1號軸承失效前3天(即最后3天)共計432段的軸承性態(tài)退化的振動信號數(shù)據(jù)，通過小波變換對原始數(shù)據(jù)進行降噪處理，并從小波重構(gòu)后的信號中提取排列熵構(gòu)成性態(tài)退化指標集如圖5所示。其中排列熵嵌入維數(shù)d=5，延遲時間τ=3。

由圖5可知，在第97點處出現(xiàn)明顯下降，表明該軸承處于退化初始階段，從第152點開始出現(xiàn)明顯不規(guī)則曲線，表明軸承出現(xiàn)了較大外圈缺陷，在330點以后不規(guī)則曲線密集程度明顯增多，表明該軸承已出現(xiàn)嚴重故障，瀕臨失效。取第101點～330點軸承性態(tài)退化數(shù)據(jù)進行訓(xùn)練與預(yù)測，其中第101點～310點作為訓(xùn)練樣本(即l=101,m=310)，最后20點(即第311點～330點)作為待預(yù)測樣本，將這些排列熵指標集輸入QWGRUNN分別用來訓(xùn)練和預(yù)測。

圖5 1號軸承最后三天排列熵退化指標

Fig.5 Permutation entropy degradation index of No.1 bearing in the last 3 days

在QWGRUNN中，輸入維數(shù)k=5,訓(xùn)練對數(shù)m-l-k+1=205,預(yù)測步數(shù)n=20,學(xué)習(xí)速率為α=0.1，動態(tài)收斂因子r=0.25，訓(xùn)練次數(shù)取1 000次，預(yù)測結(jié)果如圖6所示。

圖6 所提出的方法的預(yù)測曲線與實際曲線對比結(jié)果

Fig.6 The comparison results between prediction curve of the proposed method and actual curve

為了驗證所提出的基于QWGRUNN的性態(tài)退化趨勢預(yù)測方法的優(yōu)越性，本文首先分別用BPNN、RNN、GRUNN以及LS-SVM所得到的性態(tài)退化預(yù)測精度與所提出的方法進行對比。這四種預(yù)測方法的訓(xùn)練次數(shù)及預(yù)測方式(即輸入輸出方式)同本文QWGRUNN保持一致。BPNN、RNN、GRUNN這三種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率均取α=0.1，LS-SVM選擇RBF核函數(shù)，且核參數(shù)為σ=300，正規(guī)化參數(shù)γ=300。經(jīng)BPNN、RNN、GRUNN以及LS-SVM預(yù)測得到的雙列滾子軸承性態(tài)退化預(yù)測結(jié)果如圖7所示。

為評價預(yù)測結(jié)果的準確性，采用均方根誤差(RMSE)作為預(yù)測效果的評價指標，即

(21)

(a) BPNN預(yù)測值與實際值對比結(jié)果

(b) RNN預(yù)測值與實際值對比結(jié)果

(c) GRUNN預(yù)測值與實際值對比圖

(d) LS-SVM預(yù)測值與實際值對比圖

Fig.7 The comparison results between prediction curve obtained by other four methods and actual curve

圖7和表1結(jié)果表明：QWGRUNN的平均預(yù)測誤差較小，且預(yù)測誤差的波動范圍也較小，說明該量子神經(jīng)網(wǎng)絡(luò)具有良好的泛化性能，將其用于典型旋轉(zhuǎn)機械——雙列滾子軸承的性態(tài)退化趨勢預(yù)測，相較于BPNN、RNN、GRUNN及LS-SVM可以取得更好的預(yù)測精度。

然后，本文再用BPNN、RNN、GRUNN與QWGRUNN進行收斂速率對比，各神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置保持不變，逼近誤差E如式(15)，對比結(jié)果如圖8所示。當?shù)綌?shù)增加時，四種神經(jīng)網(wǎng)絡(luò)的逼近誤差均不斷下降，其中在迭代步數(shù)N=1 000時，BPNN的平均最小逼近誤差為0.211 5，RNN的平均最小逼近誤差為0.239 2，GRUNN的平均最小逼近誤差為0.199 3，QWGRUNN的平均最小逼近誤差僅為0.165 5。

表15種性態(tài)退化趨勢預(yù)測方法的預(yù)測誤差對比

Tab.1Thepredictionerrorcomparisonoffiveperformancedegradationtrendpredictionmethods

預(yù)測模型最小預(yù)測誤差emin×10-2最大預(yù)測誤差emax×10-2平均預(yù)測誤差e×10-2QWGRUNN1.562.011.72BPNN1.792.632.05RNN1.762.311.96GRUNN1.722.221.83LS-SVM1.791.791.79

圖8 四種神經(jīng)網(wǎng)絡(luò)逼近誤差對比結(jié)果

Fig.8 The comparison results of approximation errors obtained by four neural networks

最后，再用BPNN、RNN、GRUNN以及LS-SVM進行性態(tài)退化趨勢預(yù)測所耗用的計算時間與QWGRUNN所耗用的計算時間進行對比，其結(jié)果如圖9所示。QWGRUNN消耗的時間僅為12.19 s，BPNN消耗的時間為21.44 s，RNN消耗的時間為15.24 s，GRUNN消耗的時間為17.28 s，LS-SVM消耗的時間為15.56 s。

圖9 五種性態(tài)退化趨勢預(yù)測方法消耗時間對比結(jié)果

Fig.9 The comparison results of computation time taken by five performance degradation trend prediction methods

圖8和圖9結(jié)果表明：將QWGRUNN用于典型旋轉(zhuǎn)機械-雙列滾子軸承的性態(tài)退化趨勢預(yù)測，比BPNN、RNN、GRUNN和LS-SVM具有更高的收斂速度和計算效率。

4 結(jié) 論

提出了基于量子加權(quán)門限重復(fù)單元神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)機械性態(tài)退化趨勢預(yù)測方法：“小波降噪-排列熵→QWGRUNN”。

(1) “小波降噪-排列熵”能有效檢測和放大振動信號的動態(tài)過程，用該方法來提取旋轉(zhuǎn)機械性態(tài)退化特征，可獲取更加敏感的性態(tài)退化信息。

(2) QWGRUNN結(jié)合了量子計算及GRUNN的優(yōu)勢，在GRU基礎(chǔ)上引入量子位來表示網(wǎng)絡(luò)權(quán)值和活性值并構(gòu)造量子相移門以實現(xiàn)權(quán)值量子位和活性值量子位的更新以提高泛化能力和預(yù)測精度，并采用與自身結(jié)構(gòu)相適應(yīng)的動態(tài)學(xué)習(xí)參數(shù)加快收斂速度，因此該量子神經(jīng)網(wǎng)絡(luò)可以用于旋轉(zhuǎn)機械的性態(tài)退化趨勢預(yù)測。

(3) 所提出的性態(tài)退化趨勢預(yù)測方法集成了排列熵在性態(tài)退化特征提取、QWGRUNN在趨勢預(yù)測上 的優(yōu)勢，將該方法用于雙列滾子軸承的性態(tài)退化趨勢預(yù)測，取得了較好的預(yù)測精度及計算效率。