基于AMWPSO-LSTM的多階段間歇過程故障預測

梁秀霞 龐榮榮 郭 鷺 張 燕

(河北工業(yè)大學 人工智能與數(shù)據(jù)科學學院，天津 300130)

引 言

間歇過程作為現(xiàn)代工業(yè)生產(chǎn)的一種重要方式，已經(jīng)廣泛應用于染料、食品、制藥等眾多領域[1]。過程安全是間歇過程生產(chǎn)的前提。故障的發(fā)生輕則影響生產(chǎn)，重則可能引發(fā)事故，威脅人員的生命安全。如果能根據(jù)當前的系統(tǒng)工況對系統(tǒng)未來是否會發(fā)生故障進行預測，在其還沒有對整個系統(tǒng)造成重大危害時，及時發(fā)出預警、排除故障，就可以最大程度地減少故障對系統(tǒng)的影響[2]。

當前的故障預測技術主要分為兩類，即基于物理模型的故障預測方法和基于數(shù)據(jù)驅(qū)動的故障預測方法。基于物理模型的故障預測方法將系統(tǒng)本身的物理特性轉換為數(shù)學模型，如Zaidi等[3]使用隱馬爾科夫模型對齒輪故障進行預測，具有較高的準確性。但間歇過程物理特性復雜，很難建立可以描述其本質(zhì)特性的數(shù)學模型?；跀?shù)據(jù)驅(qū)動的故障預測方法包括貝葉斯網(wǎng)絡、自回歸滑動平均模型(ARMA)等統(tǒng)計學方法和長短期記憶網(wǎng)絡(LSTM)、卷積神經(jīng)網(wǎng)絡(CNN)等人工智能方法。高學金等[4]采用自回歸主元分析(AR-PCA)對間歇過程進行監(jiān)測，項亞南等[5]采用ARMA與多向主元分析(MPCA)相結合的方式對間歇過程進行故障預測。但以上傳統(tǒng)統(tǒng)計學方法不適用于當下大數(shù)據(jù)量的訓練樣本?；贚STM、CNN等人工智能的故障預測方法具有強大的特征提取能力，能夠從海量的訓練數(shù)據(jù)中提取關鍵信息。其中，LSTM在原有循環(huán)神經(jīng)網(wǎng)絡(RNN)結構的基礎上，將其隱藏層的神經(jīng)元替換為具有門控機制的記憶單元，從而使得模型在長序列中有更好的表現(xiàn)。目前，LSTM已成功應用于股票預測[6]、文本處理[7]等方面。陳嬌嬌[8]使用LSTM模型對間歇過程進行故障預測；李煒等[9]采用LSTM模型來預測電源車故障，并與其他機器學習方法進行比較，結果表明 LSTM模型具有更高的預測精度；李京峰等[10]將LSTM與深度置信網(wǎng)絡(DBN)相結合，對航空發(fā)動機的剩余壽命進行預測；何群等[11]建立LSTM模型對齒輪箱的故障狀態(tài)進行預測，與其他傳統(tǒng)方法相比，LSTM模型的預測性能更好，能夠較早地預測故障的發(fā)生。

但與其他神經(jīng)網(wǎng)絡類似，LSTM中的某些參數(shù)如神經(jīng)元個數(shù)、迭代次數(shù)、學習率等需要人為設置，這些參數(shù)通常根據(jù)經(jīng)驗獲得，大大降低了模型精度[12]。因此，本文將融入了自適應變異和非線性遞減慣性權重的粒子群優(yōu)化算法(AMWPSO)與LSTM相結合，通過AMWPSO對LSTM中的參數(shù)進行自動尋優(yōu)，使得基于LSTM的故障預測更為準確。并在階段劃分的基礎上，提出一種基于AMWPSO-LSTM的多階段間歇過程故障預測模型，之后分別與基于LSTM及基于粒子群優(yōu)化算法(PSO)-LSTM的多階段故障預測模型的預測結果相比較，驗證了此模型具有更高的預測精度。

1 基于LSTM的故障預測

青霉素發(fā)酵過程是典型的間歇過程，其生產(chǎn)過程數(shù)據(jù)是一組隨時間變化的隨機變量，盡管組成時間序列的各個序列值不確定，但整個序列的變化具有一定的規(guī)律性[2]，而LSTM擅于處理長時間序列的預測；同時，青霉素發(fā)酵過程受多方面因素的影響，具有復雜的非線性，而LSTM能很好地提取時間序列數(shù)據(jù)的非線性特征。因此，本文采用LSTM進行故障預測，通過建立LSTM故障預測模型，來預測下一批次青霉素發(fā)酵過程是否會發(fā)生故障。

青霉素發(fā)酵過程數(shù)據(jù)可以寫成A(I×J×K)的三維數(shù)據(jù)矩陣，其中I是批次數(shù)量，J是過程變量個數(shù)，K是采樣節(jié)點個數(shù)。多向主元分析法將A(I×J×K)沿著批次分解為二維矩陣A(I×KJ)，然后按照一般的主元分析方法(PCA)進行分析，建立T2統(tǒng)計量控制限。PCA的具體計算方法可參考文獻[13]。

(1)

式中，c是所選主元個數(shù)，F(xiàn)α(c,I-c)是檢驗水平為α、自由度為c和I-c的F分布的臨界值。

青霉素發(fā)酵過程由Pensim仿真平臺模擬實現(xiàn)。用Pensim仿真平臺模擬產(chǎn)生30批采樣時間為400 h、采樣間隔為1 h的正常數(shù)據(jù)和一批在采樣時間為220～250 h時引入的斜坡為0.35%的充氣率故障數(shù)據(jù)。利用MPCA方法沿批次分解正常數(shù)據(jù)，建立T2統(tǒng)計量控制限。

青霉素發(fā)酵過程有多種可在線測量變量，這些變量由系統(tǒng)運行累積得到，包含了系統(tǒng)的動態(tài)信息，能很好地表征系統(tǒng)的運行狀態(tài)。本文將這些變量作為LSTM的輸入，將T2統(tǒng)計量作為LSTM的輸出，以此構建LSTM故障預測模型。通過可在線測量變量的值來預測系統(tǒng)未來T2統(tǒng)計量的值，若T2統(tǒng)計量預測值在控制限范圍內(nèi)，則正常，否則表示發(fā)生故障。

假設青霉素發(fā)酵過程時間序列集合為X

X={X1,X2，…,Xa,…,XL}

(2)

式中，L為輸入的樣本數(shù)量。

序列Xa表示為

Xa={x1,x2,…,xb}

(3)

式中，x1，x2，…，xb為多種可在線測量變量。

假設t時刻用于預測的歷史數(shù)據(jù)長度為q，則t時刻的輸入為

X′(t)={X(t-q+1),X(t-q+2),…,X(t)}

(4)

式中，t∈[q,L)。數(shù)據(jù)的輸入類似于一個在原始序列上的滑動窗口。

輸入數(shù)據(jù)經(jīng)過LSTM神經(jīng)網(wǎng)絡，得到t時刻的輸出，即下一個采樣節(jié)點T2統(tǒng)計量的值。

2 青霉素發(fā)酵過程分析

2.1 階段劃分

與連續(xù)生產(chǎn)過程不同的是，間歇過程包含多個階段，不同階段具有不同的主導變量和過程特征[4]，因此對整個生產(chǎn)過程建立單一的故障預測模型是不準確的，需要先對間歇過程進行階段劃分，然后分階段建立故障預測模型。Lu等[14]采用K-means方法對間歇過程進行階段劃分，但K-means是一種硬性劃分方法，具有“非彼即此”的性質(zhì)。模糊C均值聚類(FCM)根據(jù)計算出的每個樣本對于各個類的隸屬度大小來進行聚類分析，相比K-means更合理，因此本文采取FCM方法對青霉素發(fā)酵過程進行階段劃分[15]。

將得到的30批正常數(shù)據(jù)X(30×17×400)先進行標準化處理，然后將按變量展開后的標準化數(shù)據(jù)沿采樣節(jié)點切分為400個時間片矩陣，計算出每個時間片矩陣Te與其他時間片矩陣Tg的相似度Seg，并將相似度矩陣S作為FCM的輸入[16]。相似度計算公式為

(5)

式中，I為批次數(shù)，J為變量個數(shù)，在本文中I=30，J=17。

階段劃分結果如圖1所示。本文將生產(chǎn)過程分為3個階段：第一階段，0～160 h，菌體生長期；第二階段，161～280 h，青霉素合成期；第三階段，281～400 h，青霉素自溶期。

圖1 階段劃分結果圖

按照圖1的劃分結果對樣本數(shù)據(jù)進行階段劃分，由于菌體生長期各變量不穩(wěn)定，因此本文只針對第二階段和第三階段進行故障預測。

2.2 相關性分析

青霉素發(fā)酵過程共有10種可在線測量變量。多變量LSTM能很好地表征系統(tǒng)的運行狀態(tài)，提高系統(tǒng)預測精度。但是如果變量中包含無關變量，則會大大降低模型的預測精度。因此，在將這10種可在線測量變量作為LSTM的輸入之前，先通過Pearson相關系數(shù)對各階段的這10種變量與T2統(tǒng)計量進行相關性分析，剔除無關變量，進而提高系統(tǒng)的預測精度。相關性分析結果如表1所示，將p<0.01且相關性大于0.2的變量作為相應預測模型的輸入，T2統(tǒng)計量作為輸出，以此來構建第二階段和第三階段的LSTM故障預測模型。

表1 Pearson相關性分析結果

2.3 分階段建立T2統(tǒng)計量控制限

由于不同階段的過程特征是變化的，為了提高系統(tǒng)的準確性，利用MPCA方法沿著批次分解第二階段樣本數(shù)據(jù)A(30×17×120)，建立第二階段T2統(tǒng)計量控制限。同理，建立第三階段T2統(tǒng)計量控制限。

3 AMWPSO-LSTM多階段故障預測

與其他神經(jīng)網(wǎng)絡類似，LSTM中的某些參數(shù)需要人為設置，因此需采用優(yōu)化算法對LSTM中的參數(shù)進行自動尋優(yōu)。通常采用的優(yōu)化算法有兩種：遺傳算法(GA)和粒子群優(yōu)化算法。有文獻將GA與LSTM相結合對股指進行預測[17]。但GA的編碼過程比較復雜，因此本文采用PSO對LSTM中的參數(shù)進行自動尋優(yōu)，并在原有PSO基礎上融入自適應變異和非線性遞減慣性權重，本文將其簡稱為AMWPSO。

在第2節(jié)的基礎上，將AMWPSO與LSTM相結合，提出一種基于AMWPSO-LSTM的多階段故障預測模型。將LSTM的神經(jīng)元個數(shù)、迭代次數(shù)、學習率作為AMWPSO的優(yōu)化對象，其中神經(jīng)元個數(shù)決定模型的擬合能力，學習率和迭代次數(shù)影響模型的訓練過程和效果[18]。通過AMWPSO算法的不斷迭代更新，最終以最優(yōu)參數(shù)構建LSTM故障預測模型。

3.1 AMWPSO算法

PSO的基本原理為在一個D維空間中，m個粒子組成一個群體，每個粒子都有一個速度和位置；PSO被初始化為一組隨機粒子，通過比較適應度值大小來迭代更新局部最優(yōu)位置pbest和全局最優(yōu)位置gbest[19]，進而通過式(6)、(7)來更新粒子的速度和位置，直至達到最大迭代次數(shù)。

(6)

(7)

與其他算法相比，PSO算法結構簡單，便于實現(xiàn)，但易陷入局部最優(yōu)解。為了減小粒子陷入局部最優(yōu)解的風險，本文在原有PSO的基礎上融入自適應變異和非線性遞減慣性權重，即AMWPSO，以此來提高PSO的參數(shù)尋優(yōu)能力，具體步驟如下。

1)對PSO進行自適應變異

為避免粒子過早收斂，并提高種群多樣性，對PSO進行自適應變異。自適應變異概率公式為

(8)

式中，rand函數(shù)是一個隨機函數(shù)，產(chǎn)生[0,1)之間的隨機數(shù)，t為迭代次數(shù)，tmax為最大迭代次數(shù)。開始時，t較小，rand大于不等式右邊數(shù)值的幾率較大；隨著t的增大，不等式右邊會由0.5不斷向1趨近，rand大于右邊數(shù)值的幾率則逐漸變小。通過這種方式，前期變異率大，后期變異率小，降低了粒子陷入局部最優(yōu)解的風險。

2)對PSO的慣性權重進行改進

在基本的PSO算法中，w的值是固定的，固定的w會限制PSO的全局搜索能力和收斂速度，因此本文將w改為如下形式

(9)

式中，wmax和wmin分別為w的最大值和最小值。當t較小時，w接近于wmax，此時算法的全局搜索能力較強；隨著t的增大，w逐漸減小，此時算法的收斂速度較高。這樣前期權重大，后期權重小，能夠靈活地調(diào)整算法的全局搜索能力和收斂速度。

3.2 AMWPSO優(yōu)化LSTM的流程

AMWPSO優(yōu)化LSTM的流程圖如圖2所示，具體步驟如下。

圖2 AMWPSO優(yōu)化LSTM的流程圖

1)獲取樣本數(shù)據(jù)，對樣本數(shù)據(jù)進行階段劃分；

2)劃分訓練集和測試集，將前30批正常數(shù)據(jù)作為訓練集，故障數(shù)據(jù)作為測試集；

3)對訓練集數(shù)據(jù)做Pearson相關性分析，根據(jù)相關性分析結果對所有樣本數(shù)據(jù)進行篩選,篩選出相關變量；

4)對經(jīng)Pearson相關性分析和階段劃分后的樣本數(shù)據(jù)進行標準化處理，得到標準化后的訓練集和標準化后的測試集；

5)確定PSO中m、tmax、c1、c2、wmax和wmin的值，將LSTM的神經(jīng)元個數(shù)、迭代次數(shù)、學習率作為PSO的優(yōu)化對象，確定這3個參數(shù)的取值范圍和搜索范圍；

7)將標準化后的訓練集輸入到初始化參數(shù)的LSTM預測模型中進行預測得到預測值，將訓練集的均方誤差(MSE)作為適應度函數(shù)，將預測值代入適應度函數(shù)，計算每個粒子的適應度值；

8)判斷是否對粒子群進行自適應變異，若是，返回步驟6)；若否，繼續(xù)下一步；

9)根據(jù)初始粒子適應度值確定初始局部最優(yōu)位置pbest和全局最優(yōu)位置gbest；將每個粒子的最佳位置作為其歷史最佳位置，更新pbest和gbest，并按照式(6)和式(7)迭代更新每個粒子的速度和位置，進而更新LSTM預測模型的參數(shù)；

10)將標準化后的訓練集輸入到更新參數(shù)后的LSTM預測模型中進行預測，將預測值代入適應度函數(shù)中計算每個粒子的適應度值；轉至步驟8)，直至達到tmax，以此確定LSTM預測模型的參數(shù)值；

11)將標準化后的測試集代入到確定參數(shù)的LSTM預測模型中進行預測，并將預測結果與相應控制限比較，若超出控制限，則表示發(fā)生故障，發(fā)出預警；否則表示未發(fā)生故障。

4 仿真結果與分析

4.1 基于LSTM的全流程故障預測

利用 MPCA 方法沿批次分解正常數(shù)據(jù)X(30×17×400)，建立T2統(tǒng)計量控制限。將10種可在線測量變量作為LSTM的輸入，T2統(tǒng)計量作為LSTM的輸出，同時將正常數(shù)據(jù)作為訓練集，故障數(shù)據(jù)作為測試集，以此構建基于LSTM的全流程故障預測模型。

4.2 AMWPSO- LSTM的參數(shù)選擇及優(yōu)化結果

設定AMWPSO算法參數(shù)，其中m=20，tmax=20，c1、c2=1.5,wmax=0.8，wmin=0.6；設置LSTM參數(shù)的取值范圍和搜索范圍，其中神經(jīng)元個數(shù)的取值范圍和搜索范圍均為[20,100]，迭代次數(shù)的取值范圍和搜索范圍均為[30,200]，學習率的取值范圍和搜索范圍均為[0.001,0.1]。

圖3(a)為第二階段PSO-LSTM算法的適應度結果, 圖3(b)為第二階段AMWPSO-LSTM算法的適應度結果。從圖中可以看出，PSO算法約在第3次迭代時就很早地陷入了局部最優(yōu)解，最終適應度值約為0.55；AMWPSO算法增強了尋優(yōu)能力，在第16次迭代時依然具有尋找更優(yōu)解的能力，最終適應度值約為0.51，表明AMWPSO的尋優(yōu)能力更強。

圖3 第二階段各模型的適應度結果

經(jīng)訓練后，確定第二階段LSTM的參數(shù)為[65,124,0.024]，第三階段LSTM的參數(shù)為[76,94,0.032]，以此分別構建第二階段和第三階段基于AMWPSO-LSTM的故障預測模型。

4.3 仿真分析

圖4是基于LSTM的全流程故障預測結果，即未對發(fā)酵過程進行階段劃分的故障預測結果。圖5(a)、(b)分別為第二階段、第三階段基于LSTM的故障預測結果。圖6(a)、(b)分別為第二階段、第三階段基于PSO-LSTM的故障預測結果。圖7(a)、(b)分別為第二階段、第三階段基于AMWPSO-LSTM的故障預測結果。

圖4 基于LSTM的全流程故障預測結果

圖5 基于LSTM的多階段故障預測結果

圖6 基于PSO-LSTM的多階段故障預測結果

圖7 基于AMWPSO-LSTM的多階段故障預測結果

從圖4可以看出，基于LSTM的全流程故障預測模型的誤差較大。在0～150 h階段甚至出現(xiàn)了誤報的情況，此時并沒有加入擾動，但無論是T2的真實值還是預測值均超出控制限，這是因為此階段為菌體生長期，各個變量是不穩(wěn)定的。由此說明采用LSTM對整個生產(chǎn)過程進行預測是不準確的。從圖4、5的對比可以看出，與基于LSTM的全流程故障預測模型相比，基于LSTM的多階段故障預測模型的擬合效果更好，且滯后時間更短；同時，由于對不同階段進行劃分，避免了出現(xiàn)誤報的情況。

從圖5～7可以看出，基于LSTM的多階段故障預測模型的預測值曲線在趨勢上與真實值非常符合，然而預測值與真實值之間總保持有一定誤差，且基于LSTM的故障預測模型在第二階段峰值處的誤差最大。這是由于LSTM 的參數(shù)都是通過經(jīng)驗獲得的，并不是最優(yōu)參數(shù)。基于PSO-LSTM的多階段故障預測模型相比基于LSTM的多階段故障預測模型，準確度有所提升，但是其在第二階段峰值處的誤差依然較大，并且滯后時間較長。而基于AMWPSO-LSTM的多階段故障預測模型的擬合效果比前兩個模型都要好，同時滯后時間短，能較準確地預測故障的發(fā)生時間，并且其在第二階段峰值處的誤差最小。以上結果驗證了基于AMWPSO-LSTM的多階段故障預測模型的有效性，同時也驗證了利用AMWPSO優(yōu)化LSTM的必要性。

本文以平均絕對百分比誤差(MAPE)、均方根誤差(RMSE)、平均絕對值誤差(MAE)、希爾不等系數(shù)(TIC)和決定系數(shù)R2作為模型的評價指標，來進一步驗證基于AMWPSO-LSTM的多階段故障預測模型的預測性能。表2、表3分別給出了第二階段、第三階段各故障預測模型的評價指標計算結果。由表2的對比分析可知，與基于LSTM、PSO-LSTM的故障預測模型相比，基于AMWPSO-LSTM的故障預測模型的MAPE分別降低了59%、33.6%, RMSE分別降低了51.8%、32%，MAE分別降低了29.3%、15.9%，TIC分別降低了54.7%、32.4%，R2則分別提升了3.8%、1.3%。由表3的對比分析可知，與基于LSTM、PSO-LSTM的故障預測模型相比，基于AMWPSO-LSTM的故障預測模型的MAPE分別降低了28.2%、11.3%, RMSE分別降低了66.6%、62.1%，MAE分別降低了18.3%、8.1%，TIC分別降低了18.5%、6.9%，R2分別提升了0.5%、0.1%。

表2 第二階段各模型的預測誤差對比

表3 第三階段各模型的預測誤差對比

評價指標中MAPE、RMSE、MAE、TIC反映預測誤差，它們的值越小越好；R2反映模型的擬合能力，其值越大越好。由表2、3的結果可以看出，基于PSO-LSTM的故障預測模型和基于AMWPSO-LSTM的故障預測模型的預測誤差均比LSTM故障預測模型的小，同時擬合效果更好，這體現(xiàn)出對LSTM進行參數(shù)優(yōu)化的必要性。而基于AMWPSO-LSTM的故障預測模型比基于PSO-LSTM的故障預測模型的各項表現(xiàn)都更優(yōu)，這體現(xiàn)出對PSO算法進行改進的必要性。與基于LSTM的故障預測模型相比，基于PSO-LSTM的故障預測模型的預測誤差準確性提升較小，這是因為PSO-LSTM模型雖擁有與AMWPSO-LSTM模型較為相近的網(wǎng)絡結構，而AMWPSO-LSTM模型的突出優(yōu)勢是其對PSO算法進行了改進，減小了PSO算法陷入局部最優(yōu)解的風險，所以該模型的預測結果比普通的PSO-LSTM故障預測模型的預測效果更好。

5 結論

(1)針對LSTM的參數(shù)需要人為設置的問題，本文通過改進粒子群算法AMWPSO對LSTM的參數(shù)進行自動尋優(yōu)。AMWPSO在傳統(tǒng)PSO的基礎上融入了自適應變異和非線性遞減慣性權重，以此來減小傳統(tǒng)PSO算法易陷入局部最優(yōu)解的風險。針對間歇過程的多階段性，采取FCM對間歇過程進行階段劃分；再在階段劃分的基礎上，利用 Pearson 相關系數(shù)法對各階段數(shù)據(jù)集進行相關性分析，剔除無關變量，分階段建立故障預測模型。

(2)將基于LSTM、PSO-LSTM、AMWPSO-LSTM的多階段故障預測模型進行比較，結果表明，基于AMWPSO-LSTM的多階段故障預測模型比其他兩類模型的預測誤差更小，同時擬合效果也更好。這體現(xiàn)出對LSTM進行參數(shù)優(yōu)化和對PSO算法進行改進的必要性。