基于深度學(xué)習(xí)的SF6氣體壓力時序數(shù)據(jù)預(yù)測

徐友剛，曹基南，孫 進，陳亞杰

(國網(wǎng)上海青浦供電公司，上海 201701)

六氟化硫(SF6)氣體憑借其優(yōu)異的絕緣和滅弧性能被廣泛應(yīng)用于電力系統(tǒng)[1-2]，SF6在常態(tài)下為無毒的惰性氣體，其相對分子質(zhì)量遠高于大氣，在密閉的GIS(gas insulated substation)室中，泄露的SF6沉積在底部，在高壓電弧的作用下分解出有毒物質(zhì)，嚴重威脅GIS室內(nèi)操作人員的生命安全[3-4]，因此，對SF6氣體壓力數(shù)據(jù)的預(yù)測對于電力系統(tǒng)的安全運行具有重要意義[5-6]。圍繞電力系統(tǒng)中的時序數(shù)據(jù)的研究工作已經(jīng)進行了幾十年，然而大部分研究都集中在電力系統(tǒng)短時負荷、電壓變化、電價變化[7]等方面，關(guān)于SF6氣體壓力數(shù)據(jù)預(yù)測的文獻報道較少。時序數(shù)據(jù)預(yù)測是電力交易、電網(wǎng)運營的關(guān)鍵技術(shù)，不少學(xué)者為此進行了大量研究。

朱凌建等[8]提出一種卷積神經(jīng)網(wǎng)絡(luò)與雙向長短期記憶網(wǎng)絡(luò)相結(jié)合的深度學(xué)習(xí)方法，利用多維電力負荷數(shù)據(jù)建立組合模型以提高短期電力負荷預(yù)測的精度。葛夫勇等[9]提出一種利用卷積神經(jīng)網(wǎng)絡(luò)提取電力負荷特征，并利用門控循環(huán)單元預(yù)期短期電力負荷的方法，相比傳統(tǒng)自回歸綜合移動平均模型方法，該方法展現(xiàn)出更優(yōu)的性能。張宇涵等[10]提出一種基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，并將歸一化處理的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)進行基于船舶電網(wǎng)的短時負荷預(yù)測，與單隱層前饋神經(jīng)網(wǎng)絡(luò)、動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)學(xué)習(xí)算法相比，所提方法提高了預(yù)測精度。王瑞等[11]采用相似日法與徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)相結(jié)合的學(xué)習(xí)算法，通過相似日法分析負荷影響因素，再將分析結(jié)果輸入帶有徑向基函數(shù)的神經(jīng)網(wǎng)絡(luò)輸出短時負荷預(yù)測結(jié)果，與傳統(tǒng)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)相比，該學(xué)習(xí)算法取得了更優(yōu)的效果。張晉軒等[12]采用改進傳統(tǒng)BP(back propagation)神經(jīng)網(wǎng)絡(luò)，同時采用分層選樣法進行數(shù)據(jù)清洗，在網(wǎng)絡(luò)模型中加入激活函數(shù)，短時負荷預(yù)測準確率達90%，超越了傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)。然而，上述工作中使用的數(shù)據(jù)集長度有限，對于中長時負荷，需要使用更加完備的數(shù)據(jù)集來評估其算法的性能。

本文以SF6氣體壓力預(yù)測為背景，提出一種基于長短期記憶(long short-term memory,LSTM)網(wǎng)絡(luò)[13-15]的深度學(xué)習(xí)算法，據(jù)此進行SF6氣體壓力的在線預(yù)測。具體而言，該算法通過對SF6氣體壓力歷史數(shù)據(jù)進行歸一化處理，利用長短期記憶網(wǎng)絡(luò)層對氣體壓力變化趨勢進行訓(xùn)練與建模，并通過全連接層輸出預(yù)測評估。與以往研究相比，本文提出的算法無需海量數(shù)據(jù)進行訓(xùn)練，驗證的數(shù)據(jù)集長度超過72 h，并在3個月中進行交叉驗證，研究結(jié)果具有一定說服力。

1 深度學(xué)習(xí)算法概述

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)起源于1982年Saratha提出的霍普菲爾德網(wǎng)絡(luò)，是一種基于記憶的網(wǎng)絡(luò)結(jié)構(gòu)，通過記憶單元存儲之前的特征，進而推斷之后的結(jié)果，其在自然語言處理、機器翻譯、語音識別等領(lǐng)域得到廣泛運用。RNN與多元線性回歸、深度神經(jīng)網(wǎng)絡(luò)具有相同功能，可以用來做回歸和預(yù)測，其基本結(jié)構(gòu)如圖1所示。RNN 能夠?qū)⒅熬W(wǎng)絡(luò)的輸出保存在一個記憶單元中，之后將記憶單元內(nèi)容與下一次的輸入一起輸入下一個神經(jīng)網(wǎng)絡(luò)中。然而，RNN在面對長序列信息預(yù)測的情景下存在“短時依賴”問題，為解決這一問題，LSTM網(wǎng)絡(luò)被提出。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Recurrent neural network structure diagram

1.2 長短期記憶網(wǎng)絡(luò)

RNN與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)存在本質(zhì)上的不同，RNN是基于序列的模型，能夠在過去信息與當前狀態(tài)間建立時序相關(guān)性，此特性使得RNN適用于周期性時序數(shù)據(jù)的預(yù)測問題。RNN使用反向傳播方法進行訓(xùn)練，其在學(xué)習(xí)長時間依賴的數(shù)據(jù)分布時會遭遇梯度消失、梯度爆炸的問題，這些問題限制了RNN學(xué)習(xí)長時間相關(guān)性的能力。為解決這些問題，Hochreiter等[16]首次引入了LSTM網(wǎng)絡(luò)架構(gòu)，后續(xù)研究[14]中為LSTM添加遺忘門。LSTM是時下最成功的RNN架構(gòu)之一。

LSTM網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖2所示，定義{X1,X2,…,XT}為網(wǎng)絡(luò)的輸入序列，其中Xt∈Rk代表t時刻的k維輸入向量，一個LSTM單元的內(nèi)部結(jié)構(gòu)由輸入節(jié)點gt、輸入門it、遺忘門ft以及輸出門ot共4部分組成，其中輸入門與遺忘門的作用是相同的，只是兩者在網(wǎng)絡(luò)結(jié)構(gòu)中的位置不同，其作用是將前一時刻t-1的網(wǎng)絡(luò)輸出ht-1和當前時刻t的網(wǎng)絡(luò)輸入Xt結(jié)合起來，作線性變化再經(jīng)過Sigmoid函數(shù)映射到0～1，得到記憶衰減參數(shù)ft、it，如式(1)和(2)所示。

圖2 長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Long short-term memory network structure diagram

ft=σ(WfxXt+Wfhht-1+bf)

(1)

it=σ(WixXt+Wihht-1+bi)

(2)

式中：Wfx、Wfh、Wix、Wih為權(quán)重；bf、bi為偏置。輸入節(jié)點gt也被稱作當前狀態(tài)學(xué)習(xí)到的記憶，通過前一時刻t-1的網(wǎng)絡(luò)輸出ht-1和當前時刻t的網(wǎng)絡(luò)輸入Xt作線性變換后，再經(jīng)tanh函數(shù)激活得到，計算過程如式(3)所示。

gt=φ(WgxXt+Wghht-1+bg)

(3)

式中：Wgx、Wgh為權(quán)重；bg為偏置。輸出門ot的功能與遺忘門、輸入門相同，計算過程如式(4)所示。

ot=σ(WoxXt+Wohht-1+bo)

(4)

式中：Wox、Woh為權(quán)重；bo為偏置。記憶狀態(tài)st由當前狀態(tài)學(xué)習(xí)到的記憶gt與輸入門it作逐元素乘法再加上前一時刻的記憶狀態(tài)st-1與ft作逐元素乘法后的結(jié)果計算得到，計算過程如式(5)所示。

st=gt⊙it+st-1⊙ft

(5)

網(wǎng)絡(luò)的輸出則由式(6)計算得到。

ht=φ(st)⊙ot

(6)

2 基于LSTM的時序數(shù)據(jù)預(yù)測模型

2.1 LSTM網(wǎng)絡(luò)訓(xùn)練

圖3 LSTM預(yù)測框架Fig.3 LSTM prediction framework

(7)

本試驗采用Adam優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，包括Wfx、Wfh、Wix、Wih、Wgx、Wgh、Wox、Woh、bf、bi、bg、bo。

訓(xùn)練完成后采用平均絕對誤差(mean absolute error,MAE)衡量生成預(yù)測數(shù)據(jù)的性能，其表達式如式(8)所示。

(8)

3 性能評估與仿真試驗

3.1 數(shù)據(jù)集與環(huán)境建立

本試驗數(shù)據(jù)集選取某變電站建設(shè)完成后加裝SF6氣體泄漏在線監(jiān)測裝置，該裝置收集了2020年的SF6氣體實時壓力數(shù)據(jù)，這些豐富的數(shù)據(jù)是預(yù)測SF6氣體壓力變化的關(guān)鍵。仿真算法由Facebook人工智能研究院(FAIR)在Python上開發(fā)的框架Pytorch上搭建，算法硬件平臺為部署了一個3.60 GHz的Intel i7-9700KF型處理器和一張RTX-2060 S型Nvidia顯卡的臺式主機，訓(xùn)練時間為120 s，訓(xùn)練結(jié)束后生成數(shù)據(jù)與真實數(shù)據(jù)進行比較評估。

數(shù)據(jù)預(yù)處理：由于數(shù)據(jù)量龐大，SF6氣體壓力數(shù)據(jù)存在季節(jié)性因素等原因，本試驗選取2020年5月1日至7月31日為期3個月的時間段，時間跨度為92 d，為進行交叉驗證，將每月數(shù)據(jù)分成3個部分，即訓(xùn)練集(每月1日到24日)、驗證集(每月25日到27日)和測試集(每月28日到30日)。

3.2 模型性能評估

本文采用滑動窗口法對數(shù)據(jù)進行劃分，在訓(xùn)練過程中使用前48個時刻(每0.5 h為一個時刻)的SF6氣體壓力數(shù)據(jù)作為輸入，輸出后24個時刻的負荷數(shù)據(jù)，將輸出數(shù)據(jù)與實際數(shù)據(jù)作差值運算，求出損失函數(shù)，經(jīng)過多次迭代，使用優(yōu)化器不斷減小損失函數(shù)，提高預(yù)測性能，在訓(xùn)練結(jié)束后，輸出144個時刻的預(yù)測結(jié)果。

為了驗證提出模型的有效性，基于2020年5、6、7月SF6氣體壓力數(shù)據(jù)，采用相同參數(shù)設(shè)置進行試驗，預(yù)測數(shù)據(jù)與實際氣體壓力數(shù)據(jù)的對比如圖4所示。

圖4 模型在5、6、7月SF6氣體壓力數(shù)據(jù)上的預(yù)測圖Fig.4 The forecast results of the model on SF6 gas pressure data in May,June and July

由圖4可知，本文提出的模型能夠跟蹤SF6氣體壓力數(shù)據(jù)的變化趨勢。該模型在呈現(xiàn)出較強周期性特點的6、7月中的表現(xiàn)效果好，在6、7月MAE值分別達2.94、2.26 Pa；在周期性特點相對較弱的5月表現(xiàn)得稍弱，但5月的MAE值仍達到了3.98 Pa。

一般而言，超參數(shù)調(diào)優(yōu)是深度學(xué)習(xí)算法中必須涉及的補充試驗，這里采用一些超參數(shù)調(diào)節(jié)的經(jīng)驗方法，主要調(diào)節(jié)學(xué)習(xí)率、隱藏層神經(jīng)元個數(shù)、迭代次數(shù)等。在其他參數(shù)不變條件下，針對不同月份SF6氣體壓力數(shù)據(jù)，通過調(diào)節(jié)隱藏層LSTM神經(jīng)元個數(shù)對性能指標MAE的影響，結(jié)果如表1所示。由表1可知：LSTM神經(jīng)元數(shù)量越多，MAE值越小，預(yù)測得越精準；但是LSTM神經(jīng)元超過64個時，預(yù)測精準度的提升效果趨于平緩。

表1 不同月份不同神經(jīng)元數(shù)量下的SF6 氣體壓力預(yù)測數(shù)據(jù)的平均絕對誤差Table 1 Mean absolute error of SF6 gas pressure prediction data with different number of neurons in different months

4 結(jié) 語

本文構(gòu)建了一種基于LSTM的SF6氣體壓力預(yù)測模型，使用歸一化方法進行數(shù)據(jù)預(yù)處理，再利用LSTM層進行模型訓(xùn)練，學(xué)習(xí)SF6氣體壓力數(shù)據(jù)的時序特征，最后通過全連接層輸出預(yù)測結(jié)果，并以某變電站GIS室2020年SF6氣體壓力數(shù)據(jù)作為實際算例，得到如下結(jié)果：

(1)在復(fù)雜電網(wǎng)環(huán)境中SF6氣體壓力變化具有很強的隨機性，難以使用精確數(shù)學(xué)模型進行描述，利用深度學(xué)習(xí)網(wǎng)絡(luò)對非線性數(shù)據(jù)的強大學(xué)習(xí)能力，通過對歷史數(shù)據(jù)的學(xué)習(xí)找到SF6氣體壓力的變化規(guī)律。

(2)相較于傳統(tǒng)學(xué)習(xí)算法，選用的LSTM網(wǎng)絡(luò)模型能夠充分利用SF6氣體壓力數(shù)據(jù)的時序特征，達到較高的預(yù)測精度。

(3)本文提出算法在實測數(shù)據(jù)中進行交叉驗證，達到了較好的預(yù)測精度，同時研究了超參數(shù)對預(yù)測結(jié)果的影響。