基于特征篩選的VMD-MIC-SSA-Informer短期負(fù)荷預(yù)測(cè)

余 帆， 王 磊,*， 江巧永， 閆群民， 皇金鋒,3

(1.陜西理工大學(xué) 電氣工程學(xué)院， 陜西 漢中 723001； 2.西安理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 陜西 西安 710048； 3.陜西理工大學(xué) 陜西省工業(yè)自動(dòng)化重點(diǎn)實(shí)驗(yàn)室， 陜西 漢中 723001)

0 引言

我國(guó)“十四五規(guī)劃”提出要實(shí)現(xiàn)“碳達(dá)峰、碳中和”的目標(biāo).調(diào)整優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)、能源結(jié)構(gòu)，成為新的能源發(fā)展趨勢(shì)[1].準(zhǔn)確、快速的短期負(fù)荷預(yù)測(cè)有利于保障電網(wǎng)的安全穩(wěn)定運(yùn)行，降低運(yùn)營(yíng)成本，提高能源利用率.因此，短期負(fù)荷預(yù)測(cè)成為智能電網(wǎng)發(fā)展的重要一環(huán)[2].

短期負(fù)荷序列具有波動(dòng)性大、隨機(jī)性強(qiáng)的特點(diǎn)，給短期負(fù)荷預(yù)測(cè)的準(zhǔn)確性帶來(lái)了巨大挑戰(zhàn)，這是由其影響因素的多樣性和復(fù)雜性決定的(例如氣象因素、地理因素、電價(jià)、節(jié)假日等).特征工程可以一定程度上提高數(shù)據(jù)與模型的契合度，從而使預(yù)測(cè)模型獲得更強(qiáng)的預(yù)測(cè)能力.目前，短期負(fù)荷預(yù)測(cè)的方法主要分為兩類(lèi)：統(tǒng)計(jì)學(xué)習(xí)方法[3]和機(jī)器學(xué)習(xí)方法[4].其中，以深度學(xué)習(xí)為前沿代表的機(jī)器學(xué)習(xí)方法，因其對(duì)高維抽象特征的刻畫(huà)能力，備受行業(yè)關(guān)注[5-6].

傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)模型雖然可以對(duì)時(shí)間序列進(jìn)行準(zhǔn)確預(yù)測(cè)，但其固有結(jié)構(gòu)存在以下兩個(gè)問(wèn)題：(1)t時(shí)刻的輸出依賴(lài)于t-1時(shí)刻的輸入，模型無(wú)法并行運(yùn)算，使得運(yùn)行時(shí)間變長(zhǎng)；(2)過(guò)長(zhǎng)的循環(huán)過(guò)程導(dǎo)致信息在傳輸?shù)倪^(guò)程中容易發(fā)生丟失.針對(duì)上述問(wèn)題，Google提出了基于自注意力機(jī)制的Transformer模型[7].該模型通過(guò)計(jì)算序列中任意兩個(gè)位置的耦合關(guān)系，巧妙地避開(kāi)了循環(huán)結(jié)構(gòu)，使得t時(shí)刻的輸入將不再完全依賴(lài)于t-1時(shí)刻，模型可以實(shí)現(xiàn)并行化.同時(shí)，該模型任意兩個(gè)位置的信息傳遞距離固定為1，使得信息不會(huì)因?yàn)樾蛄羞^(guò)長(zhǎng)而發(fā)生丟失.在此基礎(chǔ)上，Zhou等[8]提出了基于Transformer的Informer模型.該模型有效降低了Transformer的空間和時(shí)間復(fù)雜度、內(nèi)存使用率和解碼器解碼時(shí)間，同時(shí)提高了時(shí)間序列的預(yù)測(cè)準(zhǔn)確度，對(duì)輸入和輸出之間的長(zhǎng)程相關(guān)性耦合有更強(qiáng)的捕捉能力.

基于此，本文提出了一種基于特征篩選的Informer短期負(fù)荷預(yù)測(cè)模型.為了充分挖掘電力負(fù)荷數(shù)據(jù)潛藏的周期性特征(例如季節(jié)性、氣候性、節(jié)假日等)[9-11]，采用了變分模態(tài)分解將負(fù)荷序列分解為若干IMF；利用最大信息系數(shù)對(duì)每個(gè)IMF進(jìn)行特征篩選；將經(jīng)過(guò)特征篩選的IMF輸入矩陣分別帶入Informer模型進(jìn)行預(yù)測(cè)，同時(shí)利用麻雀搜索優(yōu)化算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，最后對(duì)所有IMF預(yù)測(cè)結(jié)果進(jìn)行重構(gòu)，得到最終預(yù)測(cè)值.通過(guò)橫向與縱向?qū)嶒?yàn)，驗(yàn)證了該模型的準(zhǔn)確性.

1 相關(guān)工作

1.1 VMD算法原理

變分模態(tài)分解[12]是一種信號(hào)分解估計(jì)方法，主要思想是將原始信號(hào)分解為若干個(gè)平穩(wěn)且不同頻率的IMF.該方法通過(guò)迭代，搜索變分模型最優(yōu)解來(lái)確定每個(gè)分量的頻率中心和帶寬，從而自適應(yīng)地實(shí)現(xiàn)信號(hào)的頻域剖分和IMF的有效分離[13].

VMD的目標(biāo)是所有IMF的帶寬和最小，約束條件為所有IMF之和與原始信號(hào)相等，表達(dá)式為[14]：

(1)

式(1)中：{uk}={u1,…,un}表示VMD分解之后得到的n個(gè)IMF;{ωk}={ω1,…,ωn}表示各IMF的中心頻率.

引入二次懲罰因子α和Lagrange乘法算子λ(t)，從而將約束變分問(wèn)題轉(zhuǎn)變?yōu)榉羌s束變分問(wèn)題，表達(dá)式為：

(2)

(3)

(4)

1.2 MIC算法原理

最大信息系數(shù)[15]用以衡量?jī)蓚€(gè)變量之間的數(shù)據(jù)關(guān)聯(lián)程度，其中包括線性和非線性.

假定X、Y為數(shù)據(jù)集中的兩個(gè)隨機(jī)變量，其中X={x1,…,xn}、Y={y1,…,yn}，n為樣本數(shù).定義X、Y之間的互信息為：

(5)

式(5)中：p(x,y)為X、Y之間的聯(lián)合概率密度；p(x)和p(y)分別表示X、Y的邊緣概率密度.

在變量X、Y組成的數(shù)據(jù)散點(diǎn)圖上繪制網(wǎng)格，并計(jì)算各網(wǎng)格之間的互信息大小.使用不同的網(wǎng)格劃分標(biāo)準(zhǔn)選取互信息的最大值，計(jì)算公式為：

(6)

式(6)中：a、b分別表示在X、Y方向上劃分的網(wǎng)格個(gè)數(shù)，B為網(wǎng)格最大值.

1.3 SSA算法原理

麻雀搜索算法[16]是一種模擬麻雀覓食和反捕食行為的優(yōu)化算法.它將種群分為發(fā)現(xiàn)者、加入者和偵查者三類(lèi).發(fā)現(xiàn)者一般擁有較高適應(yīng)度值，負(fù)責(zé)為加入者提供覓食區(qū)域和方向，加入者跟隨發(fā)現(xiàn)者并爭(zhēng)奪食物，偵察者發(fā)現(xiàn)捕食者之后立刻發(fā)出警報(bào)并進(jìn)行反捕食行為[17].

(1)發(fā)現(xiàn)者的位置更新公式為：

(7)

式(7)中：t和T分別表示當(dāng)前和最大迭代次數(shù)，xi,j(t)表示在第t次，第i只麻雀在第j維的位置信息.α∈(0,1]表示某一隨機(jī)數(shù)，R2∈[0,1]，ST∈[0.5,1]分別表示偵察者的預(yù)警值和安全值.當(dāng)R2

(2)加入者的位置更新公式為：

xi,j(t+1)=

(8)

式(8)中：Xworst(t)表示全局最差位置.A+=AT(AAT)-1，其中A表示一個(gè)1行d列的以隨機(jī)1或者-1填滿的矩陣.當(dāng)?shù)趇只加入者進(jìn)入饑餓狀態(tài)，隨即飛向其他方向覓食.

(3)偵察者的位置更新公式為：

(9)

式(9)中：Xbest(t)表示全局最佳位置.K∈[-1,1]為β方差為1，均值為0的正態(tài)分布隨機(jī)數(shù)，兩者均為步長(zhǎng)控制參數(shù).分別fi、fg、fw表示當(dāng)前適應(yīng)度值、全局最優(yōu)值和最差值.由于存在fi和fw相等，使得分母為0的情況，因此引入常數(shù)e.當(dāng)fi>fg時(shí)，邊緣位置的麻雀處于危險(xiǎn)狀態(tài)；當(dāng)fi=fg時(shí)，所有麻雀向中心位置靠攏，從而減少被捕率.

2 Informe預(yù)測(cè)模型

2.1 Informer模型整體框架模型與稀疏自注意力機(jī)制

Transformer模型的整體框架由若干編碼器—解碼器(Encoder-Decoder)組成.輸入序列被編碼為一個(gè)隱藏狀態(tài)表示，再將輸出序列的表示進(jìn)行解碼，得到預(yù)測(cè)值.

基于Transformer模型，Informer提出了稀疏注意力(ProSparse Self-attention)機(jī)制，有效地降低了模型計(jì)算復(fù)雜度.Informer的模型框架如圖1所示.

圖1 Informer整體框架

傳統(tǒng)的自注意力機(jī)制主要是由Query、Key和Value組成，表達(dá)式為：

(10)

式(10)中：Q∈RLQ×d，K∈RLK×d，V∈RLV×d，d是輸入維度.

定義第i個(gè)注意力系數(shù)的平滑概率形式為：

(11)

由于自注意力矩陣的稀疏性，作者使用了Kullback-Leibler散度用于定義第i個(gè)Query的稀疏性評(píng)價(jià)公式為：

(12)

式(12)中：前者為qi在所有Keys上的Log-Sum-Exp值，后者為算數(shù)平均值.通過(guò)對(duì)M(qi,K)設(shè)定上下界，作者將其近似為：

(13)

基于以上理論，作者提出了一種新的自注意力機(jī)制ProbSparse self-attention，表達(dá)式為：

(14)

2.2 Informer模型蒸餾機(jī)制

為了有效節(jié)省內(nèi)存開(kāi)銷(xiāo)和計(jì)算時(shí)間，作者引入蒸餾機(jī)制逐次將序列長(zhǎng)度減半.第j層到第j+1層的蒸餾操作的表達(dá)式為：

(15)

3 短期負(fù)荷預(yù)測(cè)模型

3.1 基于VMD-MIC-SSA-Informer組合的短期負(fù)荷預(yù)測(cè)模型

負(fù)荷數(shù)據(jù)具有波動(dòng)性大和隨機(jī)性強(qiáng)的特點(diǎn)，這是由影響因素的復(fù)雜性所決定的.對(duì)于電力負(fù)荷而言，每個(gè)影響因素具體對(duì)于負(fù)荷的趨勢(shì)走向由多大貢獻(xiàn)，不一定能直觀地在數(shù)據(jù)中得到體現(xiàn).例如在夏天的時(shí)候，由于溫度的升高導(dǎo)致制冷設(shè)備頻繁使用，從而增加用電負(fù)荷，這是很直觀的.但是風(fēng)速、濕度、光照等其他因素就很難直接與負(fù)荷聯(lián)系在一起.因此，準(zhǔn)確找出對(duì)負(fù)荷影響較大的因素可以有效提高預(yù)測(cè)精度.

本文采用VMD對(duì)原始負(fù)荷進(jìn)行分解為若干IMF.值得一提的是，用于預(yù)測(cè)模型訓(xùn)練的數(shù)據(jù)集通常選用存放在數(shù)據(jù)庫(kù)的歷史數(shù)據(jù)，而用于檢測(cè)模型的數(shù)據(jù)集則選用實(shí)時(shí)采集的智能電表數(shù)據(jù).利用MIC特征篩選方法，篩選出與各個(gè)IMF相關(guān)性最高的特征進(jìn)行預(yù)測(cè)，從而提高模型預(yù)測(cè)結(jié)果精度.考慮到傳統(tǒng)RNN類(lèi)型的深度學(xué)習(xí)模型無(wú)法并行化的問(wèn)題，利用前沿的精度高、運(yùn)行速度快的Informer模型對(duì)各個(gè)輸入矩陣進(jìn)行預(yù)測(cè)，最后將結(jié)果重構(gòu)，得到預(yù)測(cè)結(jié)果.短期負(fù)荷預(yù)測(cè)模型整體框架如圖2所示.

圖2 短期負(fù)荷預(yù)測(cè)模型框圖

3.2 預(yù)測(cè)精度評(píng)價(jià)指標(biāo)

(16)

(17)

(18)

4 算例分析

4.1 數(shù)據(jù)準(zhǔn)備與實(shí)驗(yàn)環(huán)境搭建

本文使用的電力數(shù)據(jù)來(lái)源于西班牙傳輸服務(wù)運(yùn)營(yíng)商(TSO)收集的公共用電數(shù)據(jù)[18]，其中記錄了2015年1月1日至2018年12月31日的電力負(fù)荷消費(fèi)情況，采集頻率為1小時(shí).天氣數(shù)據(jù)來(lái)源于Kaggle開(kāi)源數(shù)據(jù)，由西班牙五大城市的開(kāi)放氣象API中獲取.將數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.預(yù)測(cè)窗口長(zhǎng)度選定96，即每次輸入96小時(shí)的負(fù)荷序列矩陣，預(yù)測(cè)下一小時(shí)的電力負(fù)荷[19].

本文的所有實(shí)驗(yàn)均在Pyhton 3.8環(huán)境中運(yùn)行，深度學(xué)習(xí)模型使用Pytorch和Tensorflow第三方庫(kù).實(shí)驗(yàn)硬件CPU部分利用Intel Core i5-9300H處理器，GPU部分利用NVIDIA GeForce RTX 2060顯卡，內(nèi)存為16 GB.

在原始數(shù)據(jù)處理部分，使用了線性插值法處理異常值與缺失值；使用了歸一化降低計(jì)算復(fù)雜度；使用了獨(dú)熱編碼(One-hot)對(duì)文本數(shù)據(jù)進(jìn)行了編碼.此處不展開(kāi)介紹.

使用VMD對(duì)原始信號(hào)進(jìn)行分解.經(jīng)過(guò)反復(fù)實(shí)驗(yàn)，當(dāng)IMF分解個(gè)數(shù)K大于5時(shí)，中心頻率最為接近，因此K取5；懲罰因子α=2 700；中心極限頻率ω=0.原始用電負(fù)荷與分解后的各IMF如圖3所示.

從圖3可以看出，模態(tài)函數(shù)IMF1永不過(guò)零，包含了原始負(fù)荷的趨勢(shì)走向.模態(tài)函數(shù)IMF2和IMF3過(guò)零率較低且規(guī)律性強(qiáng)，包含了更多周期性信息.模態(tài)函數(shù)IMF4和IMF5過(guò)零率較高且規(guī)律性低，包含的非周期性信息更多.

圖3 原始用電數(shù)據(jù)與VMD分解序列

4.2 特征篩選

為了更好地描述經(jīng)過(guò)VMD分解之后的IMF所包含的信息，利用MIC對(duì)特征進(jìn)行選擇，增強(qiáng)預(yù)測(cè)能力，并降低由于VMD分解帶來(lái)的信息損失[20,21].圖4對(duì)MIC系數(shù)矩陣進(jìn)行了熱力圖可視化.從圖4可以看出，每個(gè)IMF的影響特征各不相同.我們選取相關(guān)性最高的3到6個(gè)特征，建立輸入矩陣，特征篩選結(jié)果如表1所示.

圖4 MIC系數(shù)熱力圖

表1 IMF的特征篩選

4.3 預(yù)測(cè)結(jié)果分析

為了驗(yàn)證模型的準(zhǔn)確度，設(shè)置了兩組實(shí)驗(yàn)并對(duì)結(jié)果進(jìn)行分析，兩組實(shí)驗(yàn)均使用SSA優(yōu)化模型參數(shù)(學(xué)習(xí)率).數(shù)據(jù)測(cè)試集長(zhǎng)度為3 504，實(shí)驗(yàn)數(shù)據(jù)展示24 h預(yù)測(cè)結(jié)果.

本文選取VMD-Informer、MIC-Informer和Informer模型作為基準(zhǔn)模型進(jìn)行縱向?qū)嶒?yàn)，也稱(chēng)消融實(shí)驗(yàn).該實(shí)驗(yàn)的目的是為了驗(yàn)證復(fù)雜的組合模型相比于簡(jiǎn)單的組合模型以及單一模型，預(yù)測(cè)精度是否得到提升.實(shí)驗(yàn)結(jié)果如圖5、表2所示.

圖5 縱向?qū)嶒?yàn)的預(yù)測(cè)曲線與實(shí)際曲線對(duì)比

表2 縱向?qū)嶒?yàn)對(duì)比結(jié)果

本文選取150 h的預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)進(jìn)行展示.宏觀地看，五種負(fù)荷曲線貼合得很好，幾乎看不出差別，對(duì)于短期負(fù)荷預(yù)測(cè)都有很好的應(yīng)用價(jià)值.對(duì)兩處拐點(diǎn)進(jìn)行放大后可以發(fā)現(xiàn)，本文所提模型與真實(shí)曲線貼合得更加緊密，即相對(duì)于未進(jìn)行VMD-MIC特征篩選的模型，本文所提模型的精度有所提升，提升幅度為0.76%.同時(shí)，經(jīng)過(guò)消融實(shí)驗(yàn)后發(fā)現(xiàn)，VMD和MIC單獨(dú)使用時(shí)，對(duì)預(yù)測(cè)精度也是有益的.這意味著雖然短期負(fù)荷序列隨機(jī)性強(qiáng)、波動(dòng)性大，但依然有跡可循，相關(guān)性分析可以有效地找出潛藏在時(shí)間序列數(shù)據(jù)中的規(guī)律.

此外，本文還進(jìn)行了模型的橫向?qū)嶒?yàn)，選取了經(jīng)典的深度學(xué)習(xí)模型GRU、LSTM和MLP作為基準(zhǔn)模型.該實(shí)驗(yàn)的目的是為了驗(yàn)證與不同的深度模型之間的契合度.實(shí)驗(yàn)結(jié)果如圖6、表3所示.

圖6 橫向?qū)嶒?yàn)的預(yù)測(cè)曲線與實(shí)際曲線對(duì)比

表3 橫向?qū)嶒?yàn)對(duì)比結(jié)果

同樣選取150 h的預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)進(jìn)行展示.四種深度學(xué)習(xí)模型預(yù)測(cè)的負(fù)荷曲線都非常接近真實(shí)值.放大兩處拐點(diǎn)后發(fā)現(xiàn)，Informer模型精度更高，即相較于其他傳統(tǒng)深度學(xué)習(xí)模型，在VMD-MIC特征篩選方法上表現(xiàn)最好，精度比GRU模型高出0.75%.并且，根據(jù)圖5與圖6的負(fù)荷曲線對(duì)比，可以看出預(yù)測(cè)值在單調(diào)遞增或單調(diào)遞減的部分表現(xiàn)較好，而在拐點(diǎn)處容易產(chǎn)生誤差，在未來(lái)的研究中或許可以成為一個(gè)新的改進(jìn)點(diǎn).

綜上，本文提出的模型對(duì)短期負(fù)荷預(yù)測(cè)具有一定的實(shí)用價(jià)值和應(yīng)用前景.

5 結(jié)論

利用VMD-MIC模型挖掘數(shù)據(jù)特征，增強(qiáng)輸入輸出相關(guān)性，彌補(bǔ)了分解過(guò)程中信息損失.對(duì)每個(gè)IMF輸入矩陣，建立SSA-Informer模型進(jìn)行準(zhǔn)確預(yù)測(cè)，重構(gòu)得到的最終預(yù)測(cè)值，在橫向與縱向?qū)嶒?yàn)對(duì)比上都取得了最優(yōu)性能.

在未來(lái)的工作中，將進(jìn)一步深入在大數(shù)據(jù)背景下，更大時(shí)空尺度下的數(shù)據(jù)驅(qū)動(dòng)綜合能源系統(tǒng)負(fù)荷預(yù)測(cè)研究.