基于相關(guān)分析和組合神經(jīng)網(wǎng)絡(luò)的退化預(yù)測

黨香俊 姜同敏

(北京航空航天大學(xué) 可靠性與系統(tǒng)工程學(xué)院，北京100191)

對性能退化的有效預(yù)測是加速退化試驗和故障預(yù)測與健康管理領(lǐng)域的關(guān)鍵技術(shù).在故障預(yù)測與健康管理中，對系統(tǒng)關(guān)鍵部件剩余壽命的準(zhǔn)確預(yù)測能夠有效預(yù)防系統(tǒng)事故的發(fā)生，使工程人員根據(jù)系統(tǒng)運行情況合理規(guī)劃和實施維修計劃，從而避免過度維修，降低壽命期內(nèi)的維修成本.而對于加速退化試驗，退化軌跡的長距離有效預(yù)測，意味著退化試驗不需要進行到產(chǎn)品故障或接近于故障，使得試驗時間顯著減少，試驗成本大幅降低.尤其是對于產(chǎn)品本身昂貴并且研究進度緊張的情況，這一作用更加明顯.

為了滿足工程實際的需要，越來越多的研究人員開始關(guān)注這一領(lǐng)域，并且應(yīng)用不同理論提出了一些預(yù)測模型.從現(xiàn)有的文獻來看，預(yù)測模型主要可以分為基于物理的模型、基于知識的模型和數(shù)據(jù)驅(qū)動的模型三大類.基于物理的方法通常使用由直接或間接影響相關(guān)組件健康狀態(tài)的物理過程抽象出的數(shù)學(xué)模型，模型的建立需要豐富的專業(yè)知識，并且模型的參數(shù)驗證需要大量實際數(shù)據(jù)，成本過高［1-3］.基于知識的方法利用產(chǎn)品所屬領(lǐng)域內(nèi)的各種歷史信息進行預(yù)測，雖然不再需要物理模型作為假設(shè)，但對信息量的要求過高［4］.數(shù)據(jù)驅(qū)動的方法基于統(tǒng)計和學(xué)習(xí)技術(shù)，可以分為基于統(tǒng)計的方法和基于人工智能的方法.基于統(tǒng)計的方法以統(tǒng)計理論為基礎(chǔ)，主要應(yīng)用貝葉斯理論和隨機過程理論及其演變形式進行建模［5-7］.基于人工智能的預(yù)測方法，以采集到的性能數(shù)據(jù)作為輸入，應(yīng)用神經(jīng)網(wǎng)絡(luò)模型及其演變形式進行預(yù)測.神經(jīng)網(wǎng)絡(luò)不需要預(yù)先做出輸入條件假設(shè)和統(tǒng)計模型，顯著簡化了模型的建立過程.此外，神經(jīng)網(wǎng)絡(luò)模型對輸入數(shù)據(jù)的要求低，對于其他方法難以處理的非線性、高階、時變動態(tài)和一些不具有分析模型的復(fù)雜過程，也都具有很好的處理能力.文獻［8］根據(jù)故障發(fā)展的多變量趨勢，應(yīng)用自組織神經(jīng)網(wǎng)絡(luò)預(yù)測了軸承系統(tǒng)的剩余壽命.文獻［9］以最小量化誤差為指標(biāo)，采用自組織映射圖和BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)對滾珠軸承的剩余壽命進行了預(yù)測.文獻［10］基于傳感器信號，使用動態(tài)小波神經(jīng)網(wǎng)絡(luò)計算并連續(xù)更新組件的剩余壽命分布.

在實際預(yù)測中，性能退化預(yù)測方法主要還需要在以下兩個方面做出改進:①復(fù)雜數(shù)據(jù)預(yù)測的準(zhǔn)確性有待提高.對復(fù)雜的退化數(shù)據(jù)，預(yù)測結(jié)果有時會與真實值存在較大差距.②預(yù)測的距離需要提升.預(yù)測的有效距離是影響退化預(yù)測作用范圍的重要因素，較長距離的壽命預(yù)測能夠為預(yù)防性維修決策提供更大的便利.

為了解決上述問題，本文提出了一種以相關(guān)分析和組合神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的退化預(yù)測方法.首先，根據(jù)退化數(shù)據(jù)的特點，選擇合適的參數(shù)對原始數(shù)據(jù)進行小波變換，降低退化數(shù)據(jù)的復(fù)雜性.其次，對變換后的序列，采用Durbin-Watson檢驗和偏相關(guān)圖進行相關(guān)分析，檢驗小波變換參數(shù)選擇的合理性.最后，根據(jù)小波變換后序列的特點，組合BP和小波神經(jīng)網(wǎng)絡(luò)進行退化預(yù)測.為了驗證方法的適用性，本文對某電子產(chǎn)品的實際退化數(shù)據(jù)進行了預(yù)測，最后給出與單獨采用小波神經(jīng)網(wǎng)絡(luò)方法的對比分析.

1 小波變換與相關(guān)分析

為了獲得較好的預(yù)測結(jié)果，本文采用小波變換將復(fù)雜數(shù)據(jù)分解成一系列簡單的子序列，而子序列所具有的規(guī)律性是影響預(yù)測效果的關(guān)鍵因素.因此，對分解后的子序列進行自相關(guān)分析是必不可少的.

1.1 離散小波變換

設(shè)采集到的信號 Hjf為能量有限信號 f∈L2(R)在分辨率2j下的近似，則Hjf可以進一步分解為f在分辨率2j-1下的近似Hj-1f，以及位于分辨率2j-1相應(yīng)的細(xì)節(jié)Dj-1f之和.

設(shè)φ與ψ分別為尺度函數(shù)和小波函數(shù)，則信號f在分辨率2j-1下近似Hj-1F和細(xì)節(jié)Dj-1f分別假設(shè)為

其中aj-1k與dj-1k分別為分辨率2j-1下粗糙系數(shù)與細(xì)節(jié)系數(shù)，而分辨率2j下信號f的近似Hjf可以直接寫成

以此類推，信號Hjf可繼續(xù)進行多級分解，如圖1所示.

圖1 信號分解

將式(1)代入式(2)，結(jié)合圖1所示的多級分解結(jié)構(gòu)，可得到如下多級分解算法:

信號重構(gòu)是分解的逆算法，重構(gòu)過程如圖2所示.

圖2 信號重構(gòu)

1.2 自相關(guān)分析

1.2.1 Durbin-Watson檢驗

影響時間序列預(yù)測效果的主要因素是未來數(shù)據(jù)對已有數(shù)據(jù)的依賴性，即序列的前期數(shù)據(jù)包含后期數(shù)據(jù)特征信息的多少.若序列具有較高的自相關(guān)性，則應(yīng)用預(yù)測模型進行預(yù)測時將獲得更好的預(yù)測效果.Durbin-Watson檢驗是一種常用的自相關(guān)分析方法，其計算簡單，結(jié)果直觀.對時間序列{x(t)}，Durbin-Watson統(tǒng)計量由下式計算:

其中T為時序長度.如果時間序列{x(t)}不存在自相關(guān)性，D應(yīng)趨近于2.若D為0，表明存在完全的正自相關(guān);若D為4，則表明存在完全負(fù)相關(guān).{x(t)}的正或負(fù)相關(guān)程度，可以由D與0或4的接近程度來判斷.

1.2.2 偏相關(guān)圖

由下式定義偏自相關(guān)函數(shù)φkk，當(dāng)然也是作為過程自相關(guān)函數(shù)ρk的函數(shù).

由上式定義的φkk稱為過程{x(t)}滯后k的偏相關(guān)，是x(t)和x(t-k)在扣除了中間變量x(t-1)，x(t-2)，…，x(t-k+1)的影響滯后的偏相關(guān).

2 組合神經(jīng)網(wǎng)絡(luò)

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種采用BP算法的多層感知器神經(jīng)網(wǎng)絡(luò)模型，它由輸入層、中間層和輸出層組成.中間層也就是隱含層，可以是一層或多層.圖3是一個具有三層網(wǎng)絡(luò)結(jié)構(gòu)的簡單BP神經(jīng)網(wǎng)絡(luò)模型，其中間層為一層.

圖3 三層BP神經(jīng)網(wǎng)絡(luò)

其中，(x1，x2，…，xn)為 n 維輸入向量;(y1，y2，…，ym)為m維輸出向量;wj，k為輸入層節(jié)點k與隱含層節(jié)點j之間的連接權(quán)值;M為隱含節(jié)點神經(jīng)元個數(shù);vij為隱含層節(jié)點j與輸出層節(jié)點i之間的連接權(quán)值.

BP神經(jīng)網(wǎng)絡(luò)各隱層節(jié)點的激活函數(shù)使用Sigmoid函數(shù)(S函數(shù)).單極S函數(shù)可表示為

多輸入單輸出BP神經(jīng)網(wǎng)絡(luò)輸入輸出關(guān)系為

其中，θj為隱含層節(jié)點j的閾值;θ為輸出層節(jié)點的閾值.

2.2 小波神經(jīng)網(wǎng)絡(luò)

小波神經(jīng)網(wǎng)絡(luò)［11］融合了小波變換與神經(jīng)網(wǎng)絡(luò)，將常規(guī)神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點函數(shù)由小波基函數(shù)代替，相應(yīng)的輸入層到隱含層的權(quán)值及閾值分別由小波函數(shù)的尺度與平移參數(shù)代替，同時具備了小波變換的局部化能力和神經(jīng)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)功能.小波神經(jīng)網(wǎng)絡(luò)輸入與輸出函數(shù)關(guān)系為

其中，xk為輸入層的第k個神經(jīng)元的輸入;N為輸入層節(jié)點神經(jīng)元個數(shù);γi為輸出層i節(jié)點的閾值;L為隱含層節(jié)點數(shù);m為輸出層節(jié)點數(shù).

產(chǎn)品退化預(yù)測主要以實際使用或試驗中監(jiān)測獲得的退化數(shù)據(jù)預(yù)測監(jiān)測時間點之后的性能指標(biāo).由于輸入輸出均為退化量值，預(yù)測過程中網(wǎng)絡(luò)不存在輸出延遲，故小波神經(jīng)網(wǎng)絡(luò)隱含層和輸出層節(jié)點的閾值項可以省略，θj=0，γi=0.式(8)可以相應(yīng)簡化為

2.3 組合神經(jīng)網(wǎng)絡(luò)

根據(jù)離散小波分解后多級序列所具有的變化特點，選擇BP神經(jīng)網(wǎng)絡(luò)和小波神經(jīng)網(wǎng)絡(luò)對不同子序列分別進行預(yù)測.式(3)中右邊第一項用BP神經(jīng)網(wǎng)絡(luò)處理，第二項用小波神經(jīng)網(wǎng)絡(luò)預(yù)測.具體地，用式(7)和式(9)分別替換式(3)中對應(yīng)項，同時去除各層節(jié)點的閾值，可得組合神經(jīng)網(wǎng)絡(luò)的預(yù)測公式:

3 退化預(yù)測應(yīng)用驗證

上文對BP和小波組合神經(jīng)網(wǎng)絡(luò)用于產(chǎn)品性能退化數(shù)據(jù)預(yù)測的理論模型進行了推導(dǎo)，而模型在工程中的適用性尚未得到驗證.為此，下面將利用某電子產(chǎn)品在工作應(yīng)力下的退化監(jiān)測數(shù)據(jù)進行退化預(yù)測的驗證研究.

對該產(chǎn)品進行的退化試驗期間共采集到了500×102min的退化數(shù)據(jù)，以其中前300×102min退化數(shù)據(jù)作為預(yù)測模型的原始數(shù)據(jù)，如圖4所示.

圖4 原始退化數(shù)據(jù)

從圖4可以看出，原始數(shù)據(jù)的退化趨勢變化不規(guī)律，在 200×102，240×102和290×102min附近發(fā)生了明顯的突變，并且變化幅度較大.若直接對原始數(shù)據(jù)進行預(yù)測，則對預(yù)測模型要求過高，傳統(tǒng)預(yù)測方法很難直接給出滿意的結(jié)果.為了降低退化軌跡的復(fù)雜性，本文對原始數(shù)據(jù)首先進行離散小波變換，其變換后的細(xì)節(jié)序列如圖5所示.

圖5 細(xì)節(jié)序列

與原始數(shù)據(jù)相比，離散小波變換后的細(xì)節(jié)序列具有較低的復(fù)雜程度，并且表現(xiàn)出一定的規(guī)律性.序列中前期數(shù)據(jù)包含后期數(shù)據(jù)信息量的大小，將會直接影響后續(xù)的預(yù)測效果.根據(jù)式(4)，計算子序列的Durbin-Watson統(tǒng)計量，結(jié)果見表1.

表1 Durbin-Watson統(tǒng)計量

由表1中可見，d3序列的D值大于2，其序列一階相關(guān)性為負(fù)，但由于D值與4之差在0～2之間，并不能以此判斷序列是否具有相關(guān)性.d2序列的D值小于2，其序列一階相關(guān)性為正，但由于D值位于0與2之間，不能確定序列是否具有相關(guān)性.d1序列的D值接近于0，故序列具有一階正相關(guān)性.Durbin-Watson檢驗沒能對子序列d3和d2的自相關(guān)程度作出明確的判定，下面應(yīng)用偏相關(guān)圖對序列作進一步分析，給出自相關(guān)性的直觀判斷，如圖6～圖8所示.

圖6 d3偏相關(guān)圖

圖7 d2偏相關(guān)圖

圖8 d1偏相關(guān)圖

從圖6中可以看出，d3序列具有一、二階負(fù)相關(guān)性，也驗證了Durbin-Watson檢驗所判定的一階相關(guān)性為負(fù)的結(jié)論.圖7表明，雖然d2的一階偏相關(guān)系數(shù)為負(fù)，與表1判斷的相關(guān)性可能為正矛盾，但由于其偏相關(guān)系數(shù)較小，故d2不具有相關(guān)性.上文應(yīng)用Durbin-Watson檢驗法判定了d1序列具有一階正相關(guān)性，這一結(jié)論在圖8中得到直觀的驗證.另外，除了一階相關(guān)性，d1還具有較強的二階負(fù)相關(guān)性.

離散小波變換在降低原始數(shù)據(jù)復(fù)雜性的同時，也使得子序列具有較好的自相關(guān)性，減小了后續(xù)序列預(yù)測的困難.下面采用BP網(wǎng)絡(luò)與小波神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，應(yīng)用前文推導(dǎo)的組合神經(jīng)網(wǎng)絡(luò)式(10)，對產(chǎn)品300×102min之后的退化軌跡進行預(yù)測.根據(jù)實際退化數(shù)據(jù)的特點，設(shè)定式(10)中相應(yīng)的模型參數(shù)，得

其中網(wǎng)絡(luò)隱層節(jié)點函數(shù)g(·)選用式(6)所示的S函數(shù)，隱層節(jié)點函數(shù) ψa，b選擇 Morlet小波.

為了縮短網(wǎng)絡(luò)學(xué)習(xí)時間，提高收斂速度，本文采用L-M(Levenberg-Marquardt)法作為網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練算法.L-M法是一種結(jié)合了高斯-牛頓法和梯度下降法優(yōu)點的快速算法，其基本思想是使其每次迭代不再沿單一的負(fù)梯度方向，而是允許誤差沿著惡化的方向進行搜索，同時通過在最速梯度下降法和高斯-牛頓法之間自適應(yīng)調(diào)整來優(yōu)化網(wǎng)絡(luò)權(quán)值，使網(wǎng)絡(luò)能夠有效收斂，提高了網(wǎng)絡(luò)的收斂速度和泛化能力.

對于預(yù)測效果的驗證，采用結(jié)合小波去噪的小波神經(jīng)網(wǎng)絡(luò)方法與本文提出的組合神經(jīng)網(wǎng)絡(luò)方法進行對比分析.將兩種方法的預(yù)測結(jié)果分別與實際數(shù)據(jù)進行比較，如圖9和圖10所示.

圖9 小波神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果

圖10 組合神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果

為了評價預(yù)測軌跡與實際退化軌跡的符合程度，引入均方誤差(MSE，Mean Square Error)作為評價指標(biāo):

其中At和Pt為退化數(shù)據(jù)的實際值和預(yù)測值.

根據(jù)產(chǎn)品失效的歷史信息，選擇產(chǎn)品的失效閾值為0.16V，則產(chǎn)品從第301×102min開始，到退化軌跡首次穿越0.16 V所經(jīng)歷的時間即為產(chǎn)品的剩余壽命.剩余壽命(RUL，Remaining Useful Life)預(yù)測值與真實值計算結(jié)果如表2所示.

表2 均方誤差及剩余壽命對比分析

從以上預(yù)測結(jié)果可以看出，本文所提組合神經(jīng)網(wǎng)絡(luò)方法與單純采用小波神經(jīng)網(wǎng)絡(luò)方法相比，對退化軌跡預(yù)測的MSE更小，對剩余壽命的預(yù)測精度更高.另外，對比圖9和圖10中460×102min以后的退化軌跡，小波神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果已經(jīng)偏離了實際數(shù)據(jù)的退化趨勢，不能給出更長期的預(yù)測，而組合神經(jīng)網(wǎng)絡(luò)則給出了良好的預(yù)測軌跡，具有更長的有效預(yù)測距離.

4 結(jié)論

本文提出了相關(guān)分析和組合神經(jīng)網(wǎng)絡(luò)相結(jié)合的退化預(yù)測方法，并對某電子產(chǎn)品退化數(shù)據(jù)進行了實際預(yù)測驗證.主要結(jié)論如下:①離散小波變換和自相關(guān)分析提供了一種將復(fù)雜退化數(shù)據(jù)，分解成相對簡單的有序子序列的途徑.②BP和小波神經(jīng)網(wǎng)絡(luò)構(gòu)成的組合神經(jīng)網(wǎng)絡(luò)，可以有效發(fā)揮兩種網(wǎng)絡(luò)各自的優(yōu)勢，對實際退化序列具有良好的預(yù)測效果，具有良好的工程應(yīng)用前景.

References)

［1］ Luo J，Bixby A，Pattipati K，et al.An interacting multiple model approach to model-based prognostics［C］//Proceedings of the IEEE International Conference on Systems，Man and Cybernetics.New York:Institute of Electrical and Electronics Engineers Inc，2003:189-194

［2］ Byington C S，Watson M，Edwards D，et al.A model-based approach to prognostics and health management for flight control actuators［C］//2004 IEEE Aerospace Conference Proceedings.New York:Institute of Electrical and Electronics Engineers Inc，2004:3351-3362

［3］周玉輝，康銳，蘇荔，等.基于加速磨損試驗的止推軸承磨損壽命預(yù)測［J］.北京航空航天大學(xué)學(xué)報，2011，37(8):1016-1020 Zhou Yuhui，Kang Rui，Su Li，et al.Life prediction of thrust bearings based on accelerated wear test［J］.Journal of Beijing University of Aeronautics and Astronautics，2011，37(8):1016-1020(in Chinese)

［4］ Biagetti T，Sciubba E.Automatic diagnostics and prognostics of energy conversion processes via knowledge based systems［J］.Energy，2004，29(12-15):2553-2572

［5］ Liu Y，Li S Q.Decision support for maintenance management using Bayesian networks［C］//2007 International Conference on Wireless Communications，Networking and Mobile Computing.New York:Institute of Electrical and Electronics Engineers Inc，2007:5708-5711

［6］ Dong M，He D.Hidden semi-Markov model-based methodology for multi-sensor equipment health diagnosis and prognosis［J］.European Journal of Operational Research，2007，178(3):858-878

［7］王小林，程志君，郭波.基于維納過程金屬化膜電容器的剩余壽命預(yù)測［J］.國防科技大學(xué)學(xué)報，2011，33(4):146-151 Wang Xiaolin，Cheng Zhijun，Guo Bo.Residual life forecasting of metallized film capacitor based on wiener process［J］.Journal of National University of Defense Technology，2011，33(4):146-151(in Chinese)

［8］ Zhang S，Ganesan R.Self-organizing neural networks for automated machinery monitoring systems［J］.Mechanical Systems and Signal Processing，1996，10(5):517-532

［9］ Huang Runqing，Xi Lifeng，Li Xinglin，et al.Residual life predictions for ball bearings based on self-organizing map and back propagation neural network methods［J］.Mechanical Systems and Signal Processing，2007，21(1):193-207

［10］ Gebraeel N Z，Lawley M A.A neural network degradation model for computing and updating residual life distributions［J］.IEEE Transactions on Automation Science and Engineering，2008，5(1):156-163

［11］ Zhang Q，Benveniste A.Wavelet networks［J］.IEEE Transactions on Neural Networks，1992，3(6):889-898