基于時(shí)序大數(shù)據(jù)機(jī)器學(xué)習(xí)的狀態(tài)趨勢(shì)預(yù)警研究

蔣 斌, 尤慧飛, 王 俊, 張文博, 張 俊

(1.華能(浙江)能源開發(fā)有限公司玉環(huán)分公司, 浙江 玉環(huán) 317600;2.上海電力大學(xué), 上海 200090)

隨著工業(yè)4.0和數(shù)字孿生技術(shù)的應(yīng)運(yùn)而生,通過狀態(tài)智慧監(jiān)控實(shí)時(shí)掌握設(shè)備運(yùn)行狀態(tài)已經(jīng)成為流程工業(yè)的必要環(huán)節(jié),能對(duì)運(yùn)行設(shè)備即將出現(xiàn)的異常情況提前作出準(zhǔn)確預(yù)警,及時(shí)隔離或者替換異常設(shè)備,這對(duì)整個(gè)流程工業(yè)系統(tǒng)的安全性和經(jīng)濟(jì)性起到積極的作用。

當(dāng)前基于時(shí)序大數(shù)據(jù)進(jìn)行預(yù)警的方法研究有很多。文獻(xiàn)[1-3]使用多元狀態(tài)估計(jì)法,基于大量的歷史數(shù)據(jù),從其正常運(yùn)行狀態(tài)中構(gòu)建歷史記憶矩陣,然后通過當(dāng)前設(shè)備狀態(tài)值與歷史記憶矩陣進(jìn)行相似度運(yùn)算,得出當(dāng)前運(yùn)行狀態(tài)與正常運(yùn)行范圍之間的偏離度,當(dāng)偏離度超出一定閾值時(shí)設(shè)備報(bào)警。這種方法采用的是實(shí)時(shí)運(yùn)行值,因此無法通過預(yù)測(cè)未來狀態(tài)來進(jìn)行比較。經(jīng)典的機(jī)器學(xué)習(xí)模型如支持向量機(jī)[4]、貝葉斯網(wǎng)絡(luò)[5]、高斯過程[6]均能夠被用于非線性的時(shí)序預(yù)測(cè)。為了提高其預(yù)測(cè)的準(zhǔn)確率,需對(duì)影響時(shí)序預(yù)測(cè)的不同因素進(jìn)行綜合考慮,本質(zhì)是利用了其強(qiáng)大的回歸分析能力[7]。這些學(xué)習(xí)算法依賴于歷史數(shù)據(jù)的支持,能夠?qū)W習(xí)到數(shù)據(jù)在時(shí)序上的非線性關(guān)系,其預(yù)測(cè)效果往往比基于物理模型和數(shù)據(jù)模型的算法更好。

隨著計(jì)算機(jī)運(yùn)算能力的提升,神經(jīng)網(wǎng)絡(luò)[8]以及深度神經(jīng)網(wǎng)絡(luò)模型,例如循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)、長(zhǎng)短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)等也被廣泛用于時(shí)序預(yù)測(cè)之中[9-11]。文獻(xiàn)[12]采用CNN-LSTM模型對(duì)黃金價(jià)格進(jìn)行預(yù)測(cè)。文獻(xiàn)[13]提出采用隨機(jī)森林法、極端隨機(jī)樹和梯度提升決策樹集成的算法進(jìn)行預(yù)測(cè)。文獻(xiàn)[14]提出利用XGBoost與隨機(jī)森林兩種集成算法相結(jié)合進(jìn)行預(yù)測(cè)。也可以是不同類別的模型混合,如利用神經(jīng)網(wǎng)絡(luò)和小波變化的風(fēng)電預(yù)測(cè)[15],線性模型與非線性模型的組合[16]等。由于這些人工智能預(yù)測(cè)方法存在預(yù)測(cè)精度差、預(yù)測(cè)長(zhǎng)度短以及運(yùn)算時(shí)間長(zhǎng)等缺點(diǎn),并且設(shè)備運(yùn)行參數(shù)的閾值對(duì)于數(shù)據(jù)的異常變化趨勢(shì)難以表述,因此采用以上預(yù)測(cè)與常規(guī)運(yùn)行閾值比較的預(yù)警方法導(dǎo)致不能及時(shí)預(yù)警以及預(yù)警不正確等問題,未能滿足實(shí)際現(xiàn)場(chǎng)狀態(tài)預(yù)警所要求的快速性和準(zhǔn)確性。

針對(duì)以上問題,本文提出了一種雙重趨勢(shì)分析結(jié)合的預(yù)警方法,即基于極限學(xué)習(xí)機(jī)(Extreme Learing Machine,ELM)模型預(yù)測(cè)趨勢(shì)和根據(jù)預(yù)測(cè)值擬合構(gòu)建的斜率趨勢(shì),結(jié)合參數(shù)的歷史正常趨勢(shì)以及安全斜率趨勢(shì)閾值,實(shí)現(xiàn)狀態(tài)趨勢(shì)預(yù)警。本文采用的ELM模型預(yù)測(cè)趨勢(shì)方法可以有效克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時(shí)間長(zhǎng)、運(yùn)算速度慢等問題,進(jìn)一步采用最小二乘法擬合預(yù)測(cè)趨勢(shì)為斜率趨勢(shì)函數(shù),通過與聚類法得到動(dòng)態(tài)安全趨勢(shì)閾值的比較,確定預(yù)警狀態(tài)。

1 狀態(tài)趨勢(shì)預(yù)警研究

1.1 基于ELM的狀態(tài)預(yù)測(cè)方法

ELM是一種單隱層神經(jīng)網(wǎng)絡(luò),由一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層組成。其結(jié)構(gòu)如圖1所示。

圖1 ELM預(yù)測(cè)結(jié)構(gòu)

假設(shè)有N個(gè)樣本(Xj,Yj),Xj為歷史序列,Yj為預(yù)測(cè)序列,預(yù)測(cè)周期為T。

每個(gè)樣本輸入層有n維,隱藏層L維,而輸出層m維。其中:j=1,2,3,…,N,Xj=[xj1,xj2,xj3,…,xjn],Yj=[yj1,yj2,yj3,…,yjm]∈RN×m。一個(gè)單隱藏層神經(jīng)網(wǎng)絡(luò)的輸出可以表示為

(1)

式中:Wi——輸入權(quán)重,Wi=[w1h,w2h,w3h,…,wnh];

bh——第h個(gè)隱藏層單元的偏置,bh=[b1,b2,b3,…,bL];

g——激活函數(shù);

βho——輸出權(quán)重矩陣,βho=[β1,β2,β3,…,βL]T∈RL×m。

將式(1)寫為矩陣形式,即

Hβho=Yj

(2)

式中:H——隱藏層的輸出矩陣。

其中,H,Yj,βho可分別表示為

(3)

(4)

(5)

βho=H?Yj

(6)

式中:H?——H的Moore-Penrose廣義逆矩陣。

由于H∈RN×L,而樣本數(shù)N>>L,故H?可表示為

H?=VD?UΤ

(7)

式中:U,V——相互正交的矩陣,U∈RN×N,V∈RL×L;

D?——主對(duì)角線為奇異值的對(duì)角矩陣D非零元素取倒數(shù)再轉(zhuǎn)置的矩陣,D∈RN×L。

其中,D,U,V可由矩陣H按奇異值分解得到,即

H=UDVΤ

(8)

(9)

(HΤH)vi=λivi

(10)

(11)

由于訓(xùn)練樣本數(shù)N>>L,矩陣H的行數(shù)遠(yuǎn)大于列數(shù),故Hβho=Yj為非一致方程,對(duì)于使用Moore-Penrose廣義逆矩陣求解超定問題(非一致方程),其解βho為最小二乘最小范數(shù)解且唯一。

綜上所述,ELM的訓(xùn)練步驟大致可分為3步:

(1) 為輸入層和隱藏層之間的輸入權(quán)重Wi和隱藏層偏置bh分配隨機(jī)數(shù)值;

(2) 計(jì)算隱藏層的輸出矩陣H;

(3) 求解非一致方程Hβho=Yj得出唯一的最小二乘最小范數(shù)解βho。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法步驟分為:提供數(shù)據(jù)給輸入層神經(jīng)元,產(chǎn)生輸出結(jié)果;計(jì)算輸出層誤差,計(jì)算輸出層神經(jīng)元梯度;將誤差逆?zhèn)鞑ブ岭[藏層神經(jīng)元,計(jì)算隱藏層神經(jīng)元梯度;更新連接權(quán)值與閾值;反復(fù)迭代直到訓(xùn)練誤差達(dá)到要求。

當(dāng)使用光電開關(guān)觸發(fā)支撐組件時(shí)，支撐力的測(cè)量結(jié)果分別如圖12和圖13所示。補(bǔ)償力的理論值為2.80N，理論補(bǔ)償力允許區(qū)間為2.66N～2.94N(理論值的0.95%～1.05%)。實(shí)測(cè)伸桿支撐組件1的補(bǔ)償力為2.85N；伸桿支撐組件2的補(bǔ)償力為2.70N；伸桿支撐組件3的補(bǔ)償力為2.78N(注：第4個(gè)力傳感器因伸桿展出長(zhǎng)度有限而并未用到，其在圖12中顯示的力值無效)。實(shí)際補(bǔ)償力位于理論補(bǔ)償力允許區(qū)間，滿足設(shè)計(jì)要求。

本文采用ELM模型,基于前n個(gè)時(shí)間序列數(shù)據(jù)進(jìn)行時(shí)間序列m步預(yù)測(cè),其預(yù)測(cè)周期為T。

1.2 基于最小二乘法擬合的狀態(tài)趨勢(shì)函數(shù)

基于ELM預(yù)測(cè)的m個(gè)點(diǎn)擬合狀態(tài)趨勢(shì)函數(shù),表示有限時(shí)間內(nèi)的狀態(tài)趨勢(shì)變化。最小二乘法對(duì)當(dāng)前預(yù)測(cè)與之前的預(yù)測(cè)結(jié)果進(jìn)行線性擬合,得到線性擬合函數(shù)y=at+b,其中t=kT,T為預(yù)測(cè)周期。首先,確定趨勢(shì)函數(shù)的未知參數(shù)(通常是一個(gè)參數(shù)矩陣),使得真實(shí)值與擬合值的誤差et(也稱殘差)平方和最小。其損失函數(shù)E的計(jì)算公式為

(12)

式中:yt——真實(shí)值;

y′t——對(duì)應(yīng)的擬合值。

(13)

式(13)可變換為

(14)

聯(lián)立上述兩個(gè)多元方程組,求解可得:

(15)

依據(jù)式(15)求出線性擬合狀態(tài)勢(shì)函數(shù),采用單調(diào)函數(shù)直線y=at+b,其中a為擬合函數(shù)的斜率,代表了數(shù)據(jù)的趨勢(shì)。若a>0,則數(shù)據(jù)呈上升趨勢(shì);若a<0,則數(shù)據(jù)呈下降趨勢(shì)。結(jié)合基于正常歷史時(shí)序的動(dòng)態(tài)安全趨勢(shì)閾值區(qū)間[Xl,Xh]進(jìn)行預(yù)警。

1.3 基于聚類法的動(dòng)態(tài)安全趨勢(shì)閾值

采用高斯混合聚類法,針對(duì)一組一維時(shí)序斜率趨勢(shì)數(shù)據(jù)樣本,高斯混合模型假定所有的數(shù)據(jù)樣本由k個(gè)高斯分布模型混合而成。其公式為

(16)

P(x|μi,σi)=

(17)

P(x|μi,σi)——高斯混合模型中的高斯分布模型;

μi,σi——第i個(gè)高斯分布的均值和方差,i=1,2,3,…,k。

高斯混合模型使用最大似然估計(jì)法估算參數(shù)的值,公式為

(18)

由于高斯混合模型內(nèi)參數(shù)過多,不能直接通過求導(dǎo)得出結(jié)果,所以采用EM算法對(duì)模型進(jìn)行迭代求解。EM算法求解流程如圖2所示。

圖2 EM算法求解流程

通過EM算法求解出高斯混合模型的均值向量μi,方差向量σi,以及權(quán)重系數(shù)向量ωi,則樣本整體的均值為

(19)

根據(jù)高斯概率分布函數(shù)的區(qū)間分布估計(jì),取95%置信度,樣本數(shù)據(jù)的上限向量Xhi與下限向量Xli的計(jì)算公式為

Xhi=μi+1.96σi(i=1,2,3,…,k)

(20)

Xli=μi-1.96σi(i=1,2,3,…,k)

(21)

樣本整體的上限Xh與下限Xl為

Xh=max{Xhi(i=1,2,3,…,k)}

(22)

Xl=min{Xli(i=1,2,3,…,k)}

(23)

將動(dòng)態(tài)安全趨勢(shì)閾值區(qū)間[Xl,Xh]與當(dāng)前狀態(tài)趨勢(shì)進(jìn)行比較,預(yù)警狀態(tài)或發(fā)生于當(dāng)前狀態(tài)趨勢(shì)斜率大于Xh或者小于Xl。

2 案例分析

2.1 模型預(yù)測(cè)及結(jié)果分析

本文對(duì)國內(nèi)某電廠現(xiàn)場(chǎng)運(yùn)行多組時(shí)序數(shù)據(jù)進(jìn)行分析,其中包含某真實(shí)故障運(yùn)行狀態(tài)數(shù)據(jù),采樣間隔為30 s,共500 000個(gè)數(shù)據(jù),部分?jǐn)?shù)據(jù)如表1所示。

表1 歷史運(yùn)行數(shù)據(jù)

通過Python編程,進(jìn)行數(shù)據(jù)預(yù)處理。選取磨煤機(jī)電流經(jīng)過數(shù)據(jù)預(yù)處理后的N=80 000個(gè)數(shù)據(jù)樣本,其中70 000個(gè)數(shù)據(jù)作為訓(xùn)練集,剩余的數(shù)據(jù)作為測(cè)試集。ELM模型參數(shù)如表2所示。

表2 極限學(xué)習(xí)機(jī)模型參數(shù)

使用ELM模型與LSTM模型、門控循環(huán)單元結(jié)構(gòu)(Gated Recurrent Unit,GRU)模型以及差分整合移動(dòng)平均自回歸(Auto Regressive Integated Moving Average,ARIMA)模型進(jìn)行預(yù)測(cè)效果的對(duì)比。使用平均絕對(duì)百分比誤差MAPE與決定系數(shù)R2作為預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)。各模型在測(cè)試集上的預(yù)測(cè)部分結(jié)果如圖3所示,數(shù)據(jù)的采樣間隔為30 s。

圖3 各模型預(yù)測(cè)曲線

ELM模型與其他3種模型在同一數(shù)據(jù)集上的預(yù)測(cè)效果對(duì)比如圖4所示。由圖4可知,GRU模型的預(yù)測(cè)值最靠近理想直線,預(yù)測(cè)效果最精確,ELM模型和LSTM模型的預(yù)測(cè)效果稍差于GRU模型,ARIMA模型的預(yù)測(cè)效果最差。

圖4 各模型預(yù)測(cè)對(duì)比

表3為各模型的評(píng)價(jià)指標(biāo)值和運(yùn)算時(shí)間。由表3可知,ELM模型的運(yùn)算時(shí)間最短,為1.6 s,ARIMA模型的運(yùn)算時(shí)間最長(zhǎng),為1 067.0 s。雖然ELM模型的預(yù)測(cè)效果稍差于GRU模型,但是ELM模型在預(yù)測(cè)精度較高的條件下,運(yùn)算速度極快,更加能夠滿足現(xiàn)場(chǎng)實(shí)時(shí)、即時(shí)的運(yùn)行條件。

表3 各模型的評(píng)價(jià)指標(biāo)和運(yùn)算時(shí)間

2.2 預(yù)警結(jié)果及分析

選取磨煤機(jī)電流、磨煤機(jī)入口壓力等5組接近于故障狀態(tài)的歷史運(yùn)行數(shù)據(jù)。首先利用最小二乘法對(duì)正常運(yùn)行數(shù)據(jù)進(jìn)行擬合得到斜率趨勢(shì)樣本D,然后通過高斯混合聚類法得到各組正常運(yùn)行數(shù)據(jù)的安全趨勢(shì)閾區(qū)間[Xl,Xh],最后通過本文的預(yù)警方法對(duì)運(yùn)行狀態(tài)進(jìn)行判斷。驗(yàn)證結(jié)果如圖5和表4所示。

表4 各組數(shù)據(jù)閾值以及提前預(yù)警時(shí)間

圖5 磨煤機(jī)運(yùn)行數(shù)據(jù)預(yù)警曲線

圖5中,預(yù)警點(diǎn)A代表本文提出的預(yù)警方法所得到的預(yù)警點(diǎn),預(yù)警點(diǎn)B代表通過運(yùn)行閾值比較所得到的預(yù)警點(diǎn)。由圖5可知,預(yù)警點(diǎn)A的時(shí)刻均在預(yù)警點(diǎn)B之前。

由表4可知,預(yù)警點(diǎn)A處的預(yù)測(cè)斜率超過了安全趨勢(shì)閾值。由對(duì)比結(jié)果可得,本文所提預(yù)警方法的預(yù)警時(shí)間更早,更加及時(shí)。

3 結(jié) 語

本文提出了一種利用斜率趨勢(shì)與動(dòng)態(tài)安全趨勢(shì)閾值相結(jié)合的預(yù)警方法,利用ELM算法運(yùn)算速度快且預(yù)測(cè)精度高的優(yōu)點(diǎn)構(gòu)建時(shí)序預(yù)測(cè)模型,利用斜率趨勢(shì)反映動(dòng)態(tài)變化的優(yōu)點(diǎn)結(jié)合動(dòng)態(tài)安全趨勢(shì)閾值構(gòu)建預(yù)警模型。該預(yù)警模型相較于運(yùn)行閾值預(yù)警能夠較早發(fā)現(xiàn)異常變化的趨勢(shì),克服了預(yù)警不及時(shí)的問題,更加適合電廠實(shí)際運(yùn)行中異常的及時(shí)發(fā)現(xiàn)。在后續(xù)工作中,將對(duì)斜率趨勢(shì)預(yù)警模型結(jié)合多維特征中的多時(shí)間尺度情況作進(jìn)一步研究,實(shí)現(xiàn)設(shè)備狀態(tài)異常的早期發(fā)現(xiàn)。