基于改進(jìn)LSTM的電力設(shè)備狀態(tài)融合預(yù)測模型

崔昊楊，周坤，胡豐曄，張宇，夏晟

(上海電力大學(xué)， 上海 200090)

0 引 言

掌握電力設(shè)備狀態(tài)漸變規(guī)律，并從大數(shù)據(jù)的角度預(yù)估其后續(xù)趨勢，是泛在電力物聯(lián)網(wǎng)變電設(shè)備狀態(tài)智能感知建設(shè)的內(nèi)在要求[1]。雖然規(guī)模劇增的電力設(shè)備和日益豐富的檢測手段，為設(shè)備狀態(tài)內(nèi)在趨勢的挖掘和預(yù)測提供了豐富的數(shù)據(jù)基礎(chǔ)[1-2]，但是傳統(tǒng)的數(shù)據(jù)挖據(jù)方式需要建立復(fù)雜的數(shù)學(xué)、物理模型，在設(shè)備結(jié)構(gòu)復(fù)雜性和運行狀態(tài)不確定性高的背景下，海量數(shù)據(jù)分析面臨低效化、片面化等問題。此外，部分老舊設(shè)備由于缺乏精細(xì)化管理，數(shù)據(jù)缺失、不規(guī)范的狀況較多[3]。因此，全面且客觀的從海量、殘缺的歷史檢測數(shù)據(jù)中挖掘出有價值的狀態(tài)變化規(guī)律、預(yù)判狀態(tài)趨勢發(fā)展，是電力大數(shù)據(jù)發(fā)展的核心問題。

目前，統(tǒng)計分析模型和機器學(xué)習(xí)模型利用多源異構(gòu)檢測數(shù)據(jù)從數(shù)據(jù)的角度揭示設(shè)備狀態(tài)的變化規(guī)律，并且結(jié)合氣象環(huán)境、運行環(huán)境等因素可對后續(xù)運行趨勢進(jìn)行個性化預(yù)估，已被廣泛用于大數(shù)據(jù)背景下的設(shè)備狀態(tài)評估及預(yù)測[4-5]。然而，以ARIMA為代表的統(tǒng)計分析模型雖然具有不需人為干預(yù)、架構(gòu)簡單、準(zhǔn)確率高的優(yōu)點[6]，但是只能處理線性關(guān)系顯著、規(guī)律性和周期性較強的平穩(wěn)數(shù)據(jù)。以LSTM為代表的機器學(xué)習(xí)模型雖然克服了傳統(tǒng)機器學(xué)習(xí)因梯度消失而不能長期預(yù)測和預(yù)測準(zhǔn)確率低的問題[7]，但對數(shù)據(jù)的時序性和完整性有著極高要求，運維人員的漏檢、不定期檢測使得檢測數(shù)據(jù)不能嚴(yán)格按照固定的間隔分布在時間序列上，這些斷層式的波動數(shù)據(jù)會損壞其“記憶細(xì)胞”，從而降低了泛化能力，導(dǎo)致內(nèi)在規(guī)律預(yù)測的準(zhǔn)確性難以保證。

針對目前電力大數(shù)據(jù)存在的問題以及上述兩種常用模型的優(yōu)缺點，提出一種基于改進(jìn)LSTM的電力設(shè)備狀態(tài)融合預(yù)測模型。該模型將數(shù)據(jù)映射到時間軸上進(jìn)行平穩(wěn)性分析和缺值檢測，采用ARIAM模型根據(jù)缺失前的歷史數(shù)據(jù)段進(jìn)行缺值預(yù)測，并將預(yù)測得到的數(shù)值補充到原始數(shù)據(jù)中的對應(yīng)空缺位置，從而得到平穩(wěn)、完整的“新數(shù)據(jù)”；將“新數(shù)據(jù)”輸入到改進(jìn)LSTM模型和ARIMA模型中進(jìn)行長期趨勢和周期趨勢預(yù)測；根據(jù)改進(jìn)LSTM學(xué)習(xí)的準(zhǔn)確率和ARIAM擬合趨勢的吻合度分別對兩個模型的預(yù)測值進(jìn)行權(quán)重分配，通過加權(quán)融合方法對預(yù)測數(shù)據(jù)進(jìn)行修正，達(dá)到狀態(tài)趨勢融合預(yù)測的目的。實驗結(jié)果表明，提出的預(yù)測模型在負(fù)荷數(shù)據(jù)完整和缺失的情況下的預(yù)測準(zhǔn)確率均高于ARIMA和LSTM單一模型。

1 電力大數(shù)據(jù)特性分析

電力設(shè)備的狀態(tài)檢測數(shù)據(jù)貫穿其建設(shè)、運行全壽命周期，然而，較早的設(shè)備狀態(tài)檢測數(shù)據(jù)只能靠人工記錄，數(shù)據(jù)隨機、漏檢等情況時常導(dǎo)致狀態(tài)數(shù)據(jù)的時序性、完整性較差，降低了狀態(tài)趨勢預(yù)測的準(zhǔn)確度[8]。因此，重點研究了如何改善數(shù)據(jù)質(zhì)量和提高預(yù)測準(zhǔn)確率。實驗的數(shù)據(jù)來源于2018年國內(nèi)某市區(qū)歷史負(fù)荷，采樣周期為1 h，具備電力大數(shù)據(jù)的數(shù)量龐大、數(shù)據(jù)高速和數(shù)據(jù)價值等特性[9-11]，而且所采用數(shù)據(jù)通過計算機記錄的方式使得數(shù)據(jù)具有較高的完整性。這里需說明，數(shù)據(jù)缺失的預(yù)測實驗則通過人為方式隨機的剔除部分?jǐn)?shù)據(jù)，以驗證文中模型相對于傳統(tǒng)預(yù)測模型在數(shù)據(jù)殘缺情況下的優(yōu)越性。此外，本次用于訓(xùn)練和驗證的負(fù)荷數(shù)據(jù)均為冬季的電負(fù)荷，不同月份的環(huán)境溫度、節(jié)假日等因素對負(fù)荷的影響可視為等同的(春節(jié)除外)。

LSTM模型與ARIMA模型在負(fù)荷數(shù)據(jù)完整情況下和負(fù)荷數(shù)據(jù)殘缺情況下的預(yù)測圖及局部放大圖如圖1所示，其中的樣本數(shù)據(jù)由訓(xùn)練數(shù)據(jù)P和測試數(shù)據(jù)p組成。為了便于比較，采用均方根誤差(Root Mean Square Error , RMSE)作為預(yù)測準(zhǔn)確性的評估依據(jù)，計算公式為：

(1)

式中p為測試數(shù)據(jù)真實值；p′a為預(yù)測值。從圖1(a)中可知，數(shù)據(jù)完整情況下的LSTM模型預(yù)測的RMSE為392，誤差率比RMSE為450的ARIMA模型低了13%。從圖1(b)可知，ARIAM模型在歷史數(shù)據(jù)殘缺情況下的預(yù)測RMSE為699，增幅達(dá)到了57%，設(shè)備狀態(tài)趨勢的真實性難以保證，而LSTM甚至無法完成訓(xùn)練和預(yù)測功能。此外，從圖1(b)還可知，殘缺數(shù)據(jù)導(dǎo)致了ARIMA預(yù)測的趨勢呈現(xiàn)出無序的周期性波動，這是由于ARIMA模型將每個割裂的數(shù)據(jù)段視為一個或多個完整周期內(nèi)的數(shù)據(jù)，喪失了周期性趨勢隨長期趨勢發(fā)展的變化規(guī)律。由此可見，完整、平穩(wěn)的狀態(tài)數(shù)據(jù)是保證趨勢預(yù)測準(zhǔn)確率的前提。

圖1 LSTM、ARIAM模型在數(shù)據(jù)完整和數(shù)據(jù)殘缺情況下的預(yù)測結(jié)果

2 基于改進(jìn)LSTM的電力設(shè)備狀態(tài)融合預(yù)測模型

針對數(shù)據(jù)殘缺對趨勢預(yù)測的影響，以及ARIAM模型和LSTM模型各自優(yōu)勢，文中提出了基于改進(jìn)LSTM的電力設(shè)備狀態(tài)融合預(yù)測模型。該模型主要包含基于ARIAM自適應(yīng)分段預(yù)測的數(shù)據(jù)完整性提升、改進(jìn)LSTM模型預(yù)測以及融合預(yù)測3個環(huán)節(jié)。

2.1 基于ARIAM自適應(yīng)分段預(yù)測的數(shù)據(jù)完整性提升

預(yù)測前先對數(shù)據(jù)序列{D(t)}的平穩(wěn)性進(jìn)行檢測，以數(shù)據(jù)缺失的位置作為分界點將數(shù)據(jù)分為s+1個數(shù)據(jù)段Ds，并記錄數(shù)據(jù)缺失位置s，s=1,2…。將數(shù)據(jù)段D1輸入到G(t)ARIMA模型中，用以預(yù)測第一個缺失數(shù)據(jù)d1。把得到的d1補全到D1和D2的缺失位置，得到的新數(shù)據(jù)段再次輸入到G(t)ARIMA模型中，用以預(yù)測第二個缺失數(shù)據(jù)d2，以此類推直到將數(shù)據(jù)補齊，得到“新數(shù)據(jù)”序列{D′(t)}，即：

(2)

ds=GARIMA(D1+d1+…+Ds-1)

(3)

GARIMA(t)=θ0+φ1G(t-1)ARIMA+…+

φjG(t-j)ARIMA+εt-θ1εt-1-…-θjεt-j

(4)

式中φj(j=1, 2, …,s)和θj(j=1,2,…,s)為模型參數(shù)；εt為獨立正太分布的白噪聲。

2.2 改進(jìn)LSTM模型預(yù)測

LSTM模型不僅有傳統(tǒng)RNN不具備的輸入門it、輸出門ot和忘記門ft，還多了一條可長期記憶的信息流ct，在大數(shù)據(jù)預(yù)測的領(lǐng)域具有舉足輕重的地位[12]。當(dāng)“新數(shù)據(jù)”{D′(t)}輸入到G(t)LSTM模型時，遺忘門會將其映射到[0,1]區(qū)間，然后與長期記憶的信息相乘對記憶中的數(shù)據(jù)進(jìn)行篩選和更新，在經(jīng)過輸入門得到記憶的更新數(shù)據(jù)，最后通過輸出門得到預(yù)測數(shù)值ht[13]，即：

(5)

G(t)LSTM=it=σ·wi·[ht-1,{D′(t)}]+σ·bi

(6)

但是，ARIMA預(yù)測得到的“新數(shù)據(jù)”{D′(t)}存在著部分?jǐn)?shù)據(jù)失真的問題。為此，文中通過對遺忘門ft加權(quán)的方式對LSTM模型進(jìn)行改進(jìn)。計算缺失數(shù)據(jù)ds附近的原始數(shù)據(jù)段D(s)與ARIMA擬合數(shù)據(jù)段yARIMA(s)的平均絕對誤差μs，以及原始數(shù)據(jù)段D(s+1) 與ARIMA預(yù)測得到的新數(shù)據(jù)段D′(s+1)的平均絕對誤差μs+1,如圖2所示。

圖2 改進(jìn)遺忘門后的LSTM預(yù)測模型

在獲取上述平均絕對誤差的基礎(chǔ)上對遺忘門進(jìn)行賦權(quán)，從邏輯上達(dá)到自適應(yīng)去除誤差保留全程長期記憶趨勢的目的，此時的式(5)修改為：

(7)

(8)

2.3 狀態(tài)趨勢融合預(yù)測

為了增強文中模型的容錯能力，縮小預(yù)測值與真實值之間的置信區(qū)間，從而提高狀態(tài)預(yù)測的準(zhǔn)確率，文中通過加權(quán)融合[14-15]的方法將ARIAM預(yù)測的周期趨勢和改進(jìn)LSTM預(yù)測的長期趨勢進(jìn)行融合，以此來降低預(yù)測誤差。首先，建立“新數(shù)據(jù)”序列{D′(t)}在G(t)ARIMA模型的學(xué)習(xí)絕對誤差函數(shù)矩陣E(t)和在G(t)改進(jìn)LSTM模型中的擬合絕對誤差函數(shù)矩陣E′(t)，即：

(9)

(10)

1=qk+q′k,k=1,2,…,T

(11)

(12)

(13)

(14)

(15)

將ARIMA和改進(jìn)LSTM根據(jù)新序列{D′(t)}得到的預(yù)測數(shù)據(jù)p=[p1，p2,…,pm]、p’=[p′1，p′2,…,p′m]與周期內(nèi)相對應(yīng)的權(quán)重相乘[16]，得到最后趨勢數(shù)據(jù)序列{y(t)}為：

{y(t)}=[y1,y2,…,ym]=p′×q′+p×q=[p1·q1+p′1·q′1,p2·q2+p′2·q′2,…,pT·qT+p′T·q′T,

pT+1·qT+1+p′T+1·q′T+1,…]

(16)

3 實驗分析

為了驗證文中模型在數(shù)據(jù)完整或數(shù)據(jù)殘缺的情況下均具有較高的準(zhǔn)確率和可靠性，進(jìn)行了以下實驗。實驗分析分為兩部分，第1部分為“數(shù)據(jù)質(zhì)量對比”，選用絕對百分比誤差作為補齊后數(shù)據(jù)和完整數(shù)據(jù)之間的失真對比指標(biāo)；第2部分為“預(yù)測準(zhǔn)確性對比”，采用RMSE作為文中模型、LSTM、ARIMA的性能對比指標(biāo)。

3.1 數(shù)據(jù)質(zhì)量改善對比

通過ARIAM對殘缺的負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測，逐步彌補缺失數(shù)據(jù)，采用絕對百分比誤差r(%)對修補數(shù)據(jù)的真實性進(jìn)行評判：

(17)

式中PARIMA為ARIAM模型預(yù)測得到的用于填補缺失的數(shù)據(jù)，P為訓(xùn)練數(shù)據(jù)真實值。補齊后的數(shù)據(jù)及其誤差如圖3所示，與真實值的絕對誤差均在15%以下，說明了ARIMA模型能較為準(zhǔn)確地還原出數(shù)據(jù)規(guī)律，降低數(shù)據(jù)失真的可能性。并且補齊后的序列將數(shù)據(jù)之間的關(guān)系“串聯(lián)”起來，有效地避免了“斷層”數(shù)據(jù)對后續(xù)趨勢預(yù)測的影響。由于初期數(shù)據(jù)較少，導(dǎo)致了前5個補充值的預(yù)測誤差較大，但是隨著數(shù)據(jù)逐漸增多，數(shù)據(jù)周期趨勢和長期趨勢更加清晰，有效抑制了后續(xù)預(yù)測誤差。

圖3 “新數(shù)據(jù)”與原完整數(shù)據(jù)真實性對比

3.2 預(yù)測準(zhǔn)確性對比

數(shù)據(jù)完整情況下ARIAM、LSTM和文中模型的預(yù)測結(jié)果和局部放大結(jié)果如圖4所示，文中模型的預(yù)測結(jié)果RMSE為295，準(zhǔn)確率相比于ARIAM和LSTM分別提高了52%、25%。這說明文中根據(jù)改進(jìn)LSTM學(xué)習(xí)情況和ARIAM擬合情況，對一個周期里不同時刻預(yù)測值分配權(quán)重的方法能達(dá)到“取長補短”的效果，降低了誤差較大數(shù)據(jù)的影響。

圖4 數(shù)據(jù)完整情況下文中模型、ARIAM和LSTM預(yù)測對比

從圖5和表1中可知，在數(shù)據(jù)殘缺的情況下，經(jīng)過文中模型處理后的“新數(shù)據(jù)”的平穩(wěn)性得到了顯著提升，并且數(shù)據(jù)的長期趨勢和周期趨勢會隨著“串聯(lián)”數(shù)據(jù)的增多而愈發(fā)顯著，此時的LSTM完成了訓(xùn)練和預(yù)測任務(wù)預(yù)測的RMSE為862，而ARIMA預(yù)測的RMSE相比于數(shù)據(jù)缺失情況下降低了6%，為658。而文中模型利用“新數(shù)據(jù)”預(yù)測的RMSE為371，相對于同等情況下ARIAM預(yù)測和LSTM預(yù)測的準(zhǔn)確率則分別高出了44%和57%，比數(shù)據(jù)缺失時的ARIAM預(yù)測提高了46%。以上對比數(shù)據(jù)說明，由于文中模型具備了ARIAM的周期預(yù)測趨勢和LSTM的長期預(yù)測趨勢，較好地呈現(xiàn)了周期趨勢圍繞長期趨勢變化的規(guī)律，并且改進(jìn)遺忘門后的LSTM降低了“新數(shù)據(jù)”失真所帶來干擾。

另一方面，文中模型、ARIAM和LSTM利用“新數(shù)據(jù)”預(yù)測的準(zhǔn)確率比數(shù)據(jù)完整情況下的準(zhǔn)確率分別降低了26%、46%和120%，這是由于初期數(shù)據(jù)較少而導(dǎo)致ARIAM補缺時的誤差較大，這樣的誤差在傳統(tǒng)LSTM訓(xùn)練過程中被逐次放大，并且隨著補缺數(shù)據(jù)的增多，誤差也會逐漸增大，進(jìn)而降低了預(yù)測準(zhǔn)確率。然而，文中模型對LSTM遺忘門進(jìn)行的改進(jìn)有效降低了數(shù)據(jù)失真所帶來的影響，抑制誤差的能力會隨著數(shù)據(jù)的增加而增強。因此，文中模型不僅通過改進(jìn)LSTM遺忘門的方式有效縮小了預(yù)測值與真實值之間的置信區(qū)間，還采取融合預(yù)測的方法從全景的角度對數(shù)據(jù)進(jìn)行分析，滿足大數(shù)據(jù)背景下的設(shè)備狀態(tài)全景掌控和狀態(tài)趨勢的精準(zhǔn)預(yù)估。

圖5 “新數(shù)據(jù)”情況下文中模型、ARIAM和LSTM預(yù)測對比

表1 數(shù)據(jù)完整、殘缺和“新數(shù)據(jù)”情況下的文中模型、ARIAM和LSTM的RMSE對比

4 結(jié)束語

文中針對現(xiàn)有的電力大數(shù)據(jù)所存在完整性、規(guī)范性較差問題，以及傳統(tǒng)LSTM模型與ARIMA模型各自的特點，開展了如下研究：

(1)使用ARIMA預(yù)測模型根據(jù)歷史數(shù)據(jù)進(jìn)行“查缺補漏”的方式解決了大數(shù)據(jù)的不規(guī)范、殘缺問題，得到了有利于趨勢預(yù)測的平穩(wěn)、完整數(shù)據(jù)；

(2)對LSTM的遺忘門進(jìn)行改進(jìn)，有效地降低了誤差數(shù)據(jù)對記憶細(xì)胞的影響，較好地呈現(xiàn)了數(shù)據(jù)的長期趨勢；

(3)利用加權(quán)融合的方法對ARIMA和改進(jìn)LSTM預(yù)測值進(jìn)行修正，充分利用了全局趨勢和周期趨勢，能夠更為準(zhǔn)確地預(yù)測數(shù)據(jù)變化趨勢。實驗結(jié)果表明，不論是數(shù)據(jù)完整還是數(shù)據(jù)殘缺的情況，文中模型相較于LSTM和ARIMA的預(yù)測精度都大幅提高。