基于注意力機(jī)制的CNN-LSTM短期電價(jià)預(yù)測(cè)

吉興全，曾若梅，張玉敏，宋 峰，孫鵬凱，趙國(guó)航

基于注意力機(jī)制的CNN-LSTM短期電價(jià)預(yù)測(cè)

吉興全1，曾若梅1，張玉敏1，宋 峰2，孫鵬凱1，趙國(guó)航1

(1.山東科技大學(xué)電氣與自動(dòng)化工程學(xué)院，山東 青島 266590；2.國(guó)家電網(wǎng)山東電力公司煙臺(tái)供電公司，山東 煙臺(tái) 264000)

短期電價(jià)預(yù)測(cè)結(jié)果的準(zhǔn)確性對(duì)存在多元化競(jìng)爭(zhēng)格局的電力市場(chǎng)具有重要意義。為提高在電價(jià)跳躍點(diǎn)和尖峰點(diǎn)的預(yù)測(cè)精度及預(yù)測(cè)效率，針對(duì)多因素融合影響的電價(jià)序列與其影響因素間隱含的非線性關(guān)系，提出了一種基于ATT-CNN-LSTM的短期電價(jià)預(yù)測(cè)方法。首先，采用灰色關(guān)聯(lián)度分析法分析負(fù)荷因素與電價(jià)之間的關(guān)聯(lián)程度，篩選出關(guān)聯(lián)度較高的數(shù)據(jù)作為最優(yōu)模型輸入。其次，通過(guò)注意力機(jī)制(Attention, ATT)自適應(yīng)分配輸入數(shù)據(jù)的權(quán)重，以權(quán)重大小區(qū)分強(qiáng)弱特征數(shù)據(jù)。再利用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks, CNN)對(duì)數(shù)據(jù)集進(jìn)行二次特征提取及降維處理，優(yōu)化輸入長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)中的數(shù)據(jù)，從而提升LSTM網(wǎng)絡(luò)的預(yù)測(cè)精度與訓(xùn)練速度。對(duì)澳大利亞電力市場(chǎng)的實(shí)測(cè)數(shù)據(jù)進(jìn)行算例分析，通過(guò)與其他主流算法對(duì)比，驗(yàn)證了所提方法具有更高的預(yù)測(cè)精度和計(jì)算效率。

注意力機(jī)制；卷積神經(jīng)網(wǎng)絡(luò)；長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)；電價(jià)預(yù)測(cè)；灰色關(guān)聯(lián)度分析

0 引言

我國(guó)目前已初步形成了電力市場(chǎng)主體的多元化競(jìng)爭(zhēng)格局，開放了競(jìng)爭(zhēng)性環(huán)節(jié)電力價(jià)格。電價(jià)是電力市場(chǎng)的核心，掌握短期電價(jià)的變化趨勢(shì)可以提高售電主體的收益，用戶可以提前做好生產(chǎn)計(jì)劃以降低成本，因此短期電價(jià)預(yù)測(cè)成為電力市場(chǎng)的焦點(diǎn)。

目前對(duì)短期電價(jià)的預(yù)測(cè)方法可分為兩類，第一類為時(shí)間序列法[1]，即利用電價(jià)時(shí)間序列的相關(guān)性，通過(guò)已有樣本建立電價(jià)時(shí)間序列模型，從而進(jìn)行樣本外電價(jià)預(yù)測(cè)的方法[2]。較為經(jīng)典的時(shí)間序列模型有累積式自回歸滑動(dòng)平均(Auto Regressive Integrated Moving Average, ARIMA)模型[3]和廣義自回歸條件異方差(Generalized Auto Regressive Conditional Heteroskedastic, GARCH)模型[4]等。時(shí)間序列法具有建模簡(jiǎn)單與易于實(shí)施的特點(diǎn)[5]。文獻(xiàn)[6]在ARIMA電價(jià)預(yù)測(cè)模型的基礎(chǔ)上，同時(shí)對(duì)電價(jià)預(yù)測(cè)模型的誤差進(jìn)行預(yù)測(cè)，并用預(yù)測(cè)的誤差修正電價(jià)提高整體預(yù)測(cè)精度，但該方法需要不斷增加模型的階數(shù)以達(dá)到精度要求。文獻(xiàn)[7]提出一種基于小波變換和非參數(shù)GARCH模型的時(shí)間序列電價(jià)預(yù)測(cè)方法，用小波變換將原始數(shù)據(jù)分解重構(gòu)后用ARIMA建模預(yù)測(cè)，再利用非參數(shù)GARCH模型對(duì)預(yù)測(cè)殘差的隨機(jī)波動(dòng)率建模以修正預(yù)測(cè)電價(jià)。但此類方法只適用于電價(jià)波動(dòng)小的簡(jiǎn)單電力市場(chǎng)，并且無(wú)法處理非線性和多變量關(guān)系。第二類為神經(jīng)網(wǎng)絡(luò)法，常用的有BP神經(jīng)網(wǎng)絡(luò)[8]、極限學(xué)習(xí)機(jī)[9]、支持向量機(jī)[10]及隨機(jī)森林[11]等，處理多變量問(wèn)題是神經(jīng)網(wǎng)絡(luò)法的優(yōu)勢(shì)，其不僅可以找出電價(jià)序列與電價(jià)影響因素的隱式映射關(guān)系，還能降低預(yù)測(cè)時(shí)間，提高預(yù)測(cè)精度。然而傳統(tǒng)單一神經(jīng)網(wǎng)絡(luò)模型如循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)無(wú)法處理大數(shù)據(jù)量的數(shù)據(jù)集，易出現(xiàn)梯度消失和梯度爆炸現(xiàn)象，導(dǎo)致預(yù)測(cè)精度越來(lái)越難以滿足電力市場(chǎng)的要求。因此，如何改進(jìn)神經(jīng)網(wǎng)絡(luò)模型以提高電價(jià)預(yù)測(cè)精度成為問(wèn)題的關(guān)鍵。

為提高神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)性能，文獻(xiàn)[12]提出將注意力機(jī)制(Attention, ATT)與門控循環(huán)單元(Gate Recurrent Unit, GRU)組合的短期電價(jià)預(yù)測(cè)模型，注意力機(jī)制能改善前饋神經(jīng)網(wǎng)絡(luò)不能處理時(shí)序數(shù)據(jù)的缺陷，GRU網(wǎng)絡(luò)雖能提升預(yù)測(cè)的速度，但運(yùn)行結(jié)果不穩(wěn)定。文獻(xiàn)[13]將經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition, EMD)與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)相結(jié)合，將電價(jià)序列提取為周期分量和趨勢(shì)分量，用LSTM網(wǎng)絡(luò)分別預(yù)測(cè)后，再用支持向量回歸(Support Vector Regression, SVR)疊加預(yù)測(cè)序列，生成預(yù)測(cè)價(jià)格序列。但是對(duì)“尖峰”電價(jià)等序列異常值處理效果不佳，并且未考慮負(fù)荷量等影響因素。文獻(xiàn)[14]提出基于圖卷積神經(jīng)網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)的時(shí)空預(yù)測(cè)算法，通過(guò)建立描述地域分布的電力市場(chǎng)數(shù)據(jù)并使用圖卷積神經(jīng)網(wǎng)絡(luò)提取所研究區(qū)域和周圍地區(qū)的信息后，將信息構(gòu)成時(shí)間序列輸入到LSTM網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，利用北歐電力交易所運(yùn)營(yíng)數(shù)據(jù)進(jìn)行算例分析，該算法可以有效地融入統(tǒng)一電力市場(chǎng)的地域信息從而提升算法的預(yù)測(cè)性能。

電價(jià)與負(fù)荷量之間存在一定的相關(guān)性，同時(shí)上一時(shí)刻的電價(jià)與該時(shí)刻電價(jià)也存在密切關(guān)系。 LSTM網(wǎng)絡(luò)善于發(fā)現(xiàn)和利用長(zhǎng)序列數(shù)據(jù)的內(nèi)在規(guī)律，在預(yù)測(cè)精度方面具有優(yōu)勢(shì)[15]，但是當(dāng)特征量較大時(shí)，LSTM的性能會(huì)因?yàn)檫^(guò)擬合而下降，且所需時(shí)間較長(zhǎng)，因此不能直接輸入帶有大量特征的電價(jià)數(shù)據(jù)，需要先對(duì)輸入的時(shí)序數(shù)據(jù)進(jìn)行特征提取[16]。卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks, CNN)對(duì)輸入的時(shí)序數(shù)據(jù)只能捕捉局部信息，必須通過(guò)層疊來(lái)獲取全局的聯(lián)系增強(qiáng)視野，而注意力機(jī)制可以靈活地捕捉全局與局部的聯(lián)系，補(bǔ)齊CNN的短板。基于此，本文提出基于注意力機(jī)制的CNN-LSTM短期電價(jià)預(yù)測(cè)模型，以解決傳統(tǒng)電價(jià)預(yù)測(cè)模型存在的計(jì)算效率低、在電價(jià)跳躍點(diǎn)與尖峰點(diǎn)預(yù)測(cè)精度不高的問(wèn)題。通過(guò)澳大利亞實(shí)測(cè)數(shù)據(jù)進(jìn)行仿真分析，驗(yàn)證了本文預(yù)測(cè)模型可有效提高在電價(jià)跳躍點(diǎn)和尖峰點(diǎn)的預(yù)測(cè)精度及整體預(yù)測(cè)效率。

1 方法介紹

CNN具有局部連接、權(quán)重共享等特點(diǎn)，優(yōu)化了輸入LSTM模型的電價(jià)序列，但依舊難以解決長(zhǎng)序列依賴問(wèn)題，而加入ATT可以捕捉長(zhǎng)序列中的依賴關(guān)系，同時(shí)能有效突出影響電價(jià)的因素，故本文提出基于ATT的CNN-LSTM短期電價(jià)預(yù)測(cè)模型。

1.1 ATT

基于ATT的計(jì)算步驟如下所述。

1) 對(duì)Query和Key進(jìn)行相似度計(jì)算

2) 對(duì)相似度進(jìn)行歸一化

3) 加權(quán)求和

式中，表示權(quán)值。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN的基本結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層以及輸出層構(gòu)成[18]。圖2為卷積神經(jīng)網(wǎng)絡(luò)示意圖，卷積層通過(guò)卷積核提取輸入電價(jià)時(shí)間序列的不同特征。池化層位于卷積層之后，通過(guò)池化操作減少卷積層間的連接數(shù)量，對(duì)電價(jià)時(shí)間序列進(jìn)行降維和二次特征提取，兩者合稱為卷積單元。最后經(jīng)過(guò)全連接層匯總所有卷積單元提取的局部特征，并進(jìn)行分類。

圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖

CNN能從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，并且具有局部連接、權(quán)值共享、池化操作以及多層結(jié)構(gòu)的特點(diǎn)[19]，大大降低了電價(jià)預(yù)測(cè)模型的復(fù)雜程度，通過(guò)梯度下降的優(yōu)化方法，減少過(guò)擬合，有更強(qiáng)的泛化能力。對(duì)于某些序列的處理，這種一維卷積神經(jīng)網(wǎng)絡(luò)的效果可以媲美循環(huán)神經(jīng)網(wǎng)絡(luò)，而且計(jì)算代價(jià)要小很多[20]。卷積層、池化層以及全連接層的計(jì)算公式分別為

1.3 LSTM模型

LSTM通過(guò)門結(jié)構(gòu)來(lái)控制傳輸狀態(tài)，分為遺忘門、選擇記憶門和輸出門，如圖3所示。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

遺忘門決定上一單元狀態(tài)被遺忘的程度，可表示為

選擇記憶門與一個(gè)激活函數(shù)控制加入新信息的范圍。利用遺忘門與選擇記憶門輸出的共同作用更新本單元的單元狀態(tài)。

輸出門控制當(dāng)前單元被過(guò)濾的程度，可表示為

2 灰色關(guān)聯(lián)度

3 ATT-CNN-LSTM模型設(shè)計(jì)

3.1 數(shù)據(jù)歸一化處理

電價(jià)和負(fù)荷的量綱不同，數(shù)值差別較大。為了保證不同變量對(duì)輸出值的影響力相同，同時(shí)保證收斂速度，提升模型精度，對(duì)電價(jià)與負(fù)荷進(jìn)行歸一化處理，將其數(shù)值歸算到[-1, 1]。

為了使輸出的電價(jià)預(yù)測(cè)值具有現(xiàn)實(shí)意義，需對(duì)輸出數(shù)據(jù)進(jìn)行反歸一化處理，計(jì)算公式為

3.2 模型參數(shù)設(shè)計(jì)

ATT-CNN-LSTM預(yù)測(cè)模型的參數(shù)設(shè)置為：卷積層數(shù)為1，過(guò)濾器數(shù)為16，卷積核的大小為5×5，學(xué)習(xí)率為0.0009，訓(xùn)練輪數(shù)為400，批訓(xùn)練大小為32，優(yōu)化器為Adam[23]。參數(shù)選定方法為網(wǎng)格搜索法。

3.3 評(píng)價(jià)指標(biāo)選取

本文選取平均絕對(duì)誤差(Mean Absolute Error, MAE)與均方根誤差(Root Mean Squared Error, RMSE)作為衡量預(yù)測(cè)精度的指標(biāo)。MAE的計(jì)算公式為

RMSE的計(jì)算公式為

3.4 ATT-CNN-LSTM模型求解

考慮到擴(kuò)大視野需要疊加多層卷積區(qū)的缺陷，為了彌補(bǔ)CNN只有局部卷積感受視野，本文模型將ATT與CNN結(jié)合，對(duì)輸入的時(shí)間序列樣本進(jìn)行一次特征提取后，作為CNN卷積層的輸入，能夠減少CNN計(jì)算量的同時(shí)加快特征提取的速度。CNN進(jìn)行二次特征提取后，對(duì)輸出的時(shí)間序列進(jìn)行降維處理。由于LSTM網(wǎng)絡(luò)的模型結(jié)構(gòu)相對(duì)復(fù)雜，因此輸入長(zhǎng)時(shí)間序列時(shí)，模型訓(xùn)練耗時(shí)較長(zhǎng)，而將ATT-CNN提取特征并降維后的時(shí)間序列輸入到LSTM中，在提升LSTM預(yù)測(cè)精度的同時(shí)，也可以減少LSTM的運(yùn)行時(shí)間。ATT-CNN-LSTM預(yù)測(cè)模型求解的流程如圖4所示。

圖4 ATT-CNN-LSTM模型流程圖

基于ATT-CNN-LSTM短期電價(jià)預(yù)測(cè)模型的主要步驟如下。

步驟1：相關(guān)性分析。分析影響電價(jià)的負(fù)荷和電價(jià)因素，確定輸入序列。

步驟2：數(shù)據(jù)預(yù)處理。對(duì)輸入的時(shí)間序列進(jìn)行歸一化處理。

步驟3：特征提取。將歸一化后的時(shí)間序列用ATT-CNN提取其重要特征。

步驟4：電價(jià)預(yù)測(cè)。將ATT-CNN處理過(guò)的時(shí)間序列輸入到LSTM單元進(jìn)行模型訓(xùn)練。

步驟5：輸出。把預(yù)測(cè)出的數(shù)據(jù)反歸一化并輸出結(jié)果。

通過(guò)上述步驟，達(dá)到提高預(yù)測(cè)精度及計(jì)算效率的目的。

4 算例分析

本文選取澳大利亞電力市場(chǎng)2010年1月1日至2011年4月13日的實(shí)測(cè)數(shù)據(jù)作為數(shù)據(jù)集，該數(shù)據(jù)集包括電價(jià)和實(shí)時(shí)負(fù)荷時(shí)間序列，每30 min進(jìn)行一次采樣，剔除掉異常數(shù)據(jù)后共包含20 352個(gè)時(shí)段[24]。所有實(shí)驗(yàn)均基于Windows10操作系統(tǒng)，軟件為PYTHON，CPU為Inter I7-8700k，3.2 GHz，GPU為Intel GTX-1660TI，并采用GPU進(jìn)行訓(xùn)練與測(cè)試。預(yù)測(cè)模型中應(yīng)用的訓(xùn)練集、測(cè)試集所選取的具體時(shí)段和時(shí)段數(shù)如表1所示。

表1 時(shí)段表

4.1 電價(jià)數(shù)據(jù)特征

電價(jià)具有較強(qiáng)的波動(dòng)性，根據(jù)波動(dòng)率強(qiáng)弱可將電力市場(chǎng)分為穩(wěn)定市場(chǎng)(如英國(guó)市場(chǎng))、近似穩(wěn)定市場(chǎng)(如新西蘭市場(chǎng))和不穩(wěn)定市場(chǎng)(如澳大利亞市場(chǎng))[2]，波動(dòng)率高的市場(chǎng)電價(jià)更難預(yù)測(cè)。

電價(jià)也具有跳躍和價(jià)格尖峰特性。電力市場(chǎng)中常出現(xiàn)價(jià)格的非正常跳躍、零電價(jià)和價(jià)格尖峰，高風(fēng)電滲透率下電源結(jié)構(gòu)復(fù)雜的澳大利亞市場(chǎng)曲線有較多的價(jià)格尖峰[25]，如圖5所示。價(jià)格跳躍和價(jià)格尖峰給電價(jià)預(yù)測(cè)帶來(lái)了巨大的挑戰(zhàn)，現(xiàn)有的方法很難預(yù)測(cè)出價(jià)格跳躍的準(zhǔn)確時(shí)間和跳躍高度[2]。為了體現(xiàn)本文模型在跳躍點(diǎn)、尖峰點(diǎn)的預(yù)測(cè)效果，選用波動(dòng)率高、價(jià)格尖峰多的澳大利亞市場(chǎng)實(shí)測(cè)數(shù)據(jù)進(jìn)行算例分析。

圖5 澳大利亞市場(chǎng)電價(jià)曲線

4.2 數(shù)據(jù)相關(guān)性分析

表2 輸入樣本與電價(jià)相關(guān)系數(shù)表

由表2可知，負(fù)荷量與選定時(shí)刻電價(jià)的相關(guān)系數(shù)在3天前已趨于穩(wěn)定；歷史電價(jià)與選定時(shí)刻電價(jià)的相關(guān)系數(shù)在前5天時(shí)已達(dá)到0.9以上，其后雖略有波動(dòng)，但幅度不大。在當(dāng)天前3個(gè)時(shí)刻的負(fù)荷量與選定時(shí)刻電價(jià)的相關(guān)系數(shù)都維持在0.8以上，且隨時(shí)間逐漸增加，而前兩個(gè)時(shí)刻的電價(jià)與選定時(shí)刻電價(jià)的相關(guān)系數(shù)接近1。綜上所述，本文使用前3天的負(fù)荷量、前5天的電價(jià)、當(dāng)天前3個(gè)時(shí)刻負(fù)荷量、當(dāng)天前兩個(gè)時(shí)刻電價(jià)以及選定時(shí)刻歷史電價(jià)作為模型輸入。

4.3 整體預(yù)測(cè)效果分析

為了驗(yàn)證本文所提ATT-CNN-LSTM模型具有更強(qiáng)的學(xué)習(xí)能力，預(yù)測(cè)結(jié)果更精準(zhǔn)，分別采用ATT-CNN-LSTM模型、LSTM模型及CNN-LSTM模型對(duì)澳大利亞電價(jià)進(jìn)行300 h的電價(jià)預(yù)測(cè)，并對(duì)3種預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析，如圖6所示。

圖6 不同預(yù)測(cè)模型的結(jié)果整體對(duì)比

由圖6可知，3種預(yù)測(cè)模型的預(yù)測(cè)值與實(shí)際值相比整體趨勢(shì)一致，而本文所提ATT-CNN-LSTM模型預(yù)測(cè)值更為貼近真實(shí)值，LSTM模型預(yù)測(cè)值偏離真實(shí)值較大。主要原因在于，CNN能從原始輸入序列中進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，避免手工提取特征導(dǎo)致誤差積累的缺點(diǎn)；而在CNN前加入ATT環(huán)節(jié)，可優(yōu)先提取重要信息，優(yōu)化輸入LSTM網(wǎng)絡(luò)的數(shù)據(jù)，因此ATT-CNN-LSTM網(wǎng)絡(luò)中能更有效地提取輸入電價(jià)、負(fù)荷量時(shí)間序列的特征，使預(yù)測(cè)精度提升。

為進(jìn)一步展現(xiàn)本文所提ATT-CNN-LSTM模型在整體預(yù)測(cè)精度上的優(yōu)越性，表3列出了3種模型的MAE與RMSE。

表3 不同預(yù)測(cè)模型的評(píng)價(jià)指標(biāo)對(duì)比

由表3可見(jiàn)，ATT-CNN-LSTM模型的MAE分別比LSTM模型和CNN-LSTM模型減少27%和6%；RMSE分別比LSTM模型和CNN-LSTM模型減少19%和6%。這是因?yàn)锳TT可捕捉長(zhǎng)序列中的依賴關(guān)系，彌補(bǔ)了傳統(tǒng)LSTM模型的不足，因此對(duì)于長(zhǎng)輸入序列，ATT-CNN-LSTM的預(yù)測(cè)精度相比于傳統(tǒng)LSTM預(yù)測(cè)模型與CNN-LSTM預(yù)測(cè)模型更高，評(píng)價(jià)指標(biāo)更佳。說(shuō)明了該算法具有良好的精確性。

4.4 電價(jià)跳躍點(diǎn)與尖峰點(diǎn)分析

為進(jìn)一步證明本文所提預(yù)測(cè)模型在電價(jià)跳躍點(diǎn)與尖峰點(diǎn)處的優(yōu)越性，選取33個(gè)跳躍跨度大、突變速度快的典型電價(jià)跳躍點(diǎn)與尖峰點(diǎn)時(shí)刻進(jìn)行展示。ATT-CNN-LSTM模型、CNN-LSTM模型與真實(shí)值擬合效果如圖7所示。

圖7 兩種預(yù)測(cè)模型典型電價(jià)跳躍點(diǎn)、尖峰點(diǎn)對(duì)比圖

由圖7可知，權(quán)重的大小與特征是否明顯呈正相關(guān)的特性，故ATT在重要特征點(diǎn)分配更大的權(quán)重，使得ATT-CNN-LSTM模型預(yù)測(cè)結(jié)果在每一個(gè)典型電價(jià)跳躍點(diǎn)和尖峰點(diǎn)的預(yù)測(cè)電價(jià)與真實(shí)電價(jià)幾乎吻合，而CNN-LSTM模型預(yù)測(cè)結(jié)果在典型電價(jià)跳躍點(diǎn)、尖峰點(diǎn)處的值與真實(shí)值的偏差較大。

表4列出了兩種算法的MAE與RMSE。由表4可見(jiàn)，ATT-CNN-LSTM預(yù)測(cè)模型在電價(jià)尖峰點(diǎn)和跳躍點(diǎn)處的MAE與RMSE分別比CNN-LSTM預(yù)測(cè)模型降低了0.3032和0.2674。因?yàn)锳TT在電價(jià)尖峰點(diǎn)與跳躍點(diǎn)上分配的權(quán)重更大，故ATT-CNN-LSTM預(yù)測(cè)模型在電價(jià)跳躍點(diǎn)和尖峰點(diǎn)表現(xiàn)出良好性能。

表4 典型電價(jià)跳躍點(diǎn)、尖峰點(diǎn)的評(píng)價(jià)指標(biāo)對(duì)比

4.5 計(jì)算效率分析

為了驗(yàn)證本模型在計(jì)算效率方面的優(yōu)勢(shì)，分別記錄了3種預(yù)測(cè)模型預(yù)測(cè)10次300時(shí)段所需的平均時(shí)間，如表5所示。

由表5可知，在預(yù)測(cè)數(shù)量相同的情況下，ATT- CNN-LSTM預(yù)測(cè)模型的平均運(yùn)行時(shí)間比CNN-LSTM與LSTM模型分別減少了0.34 s與0.48 s。這是因?yàn)锳TT與CNN相結(jié)合后，在提取時(shí)序數(shù)據(jù)的特征上會(huì)更有效率，同時(shí)ATT的每一步計(jì)算不依賴于上一步的計(jì)算結(jié)果，可以與CNN一樣并行處理，故ATT-CNN-LSTM預(yù)測(cè)模型的計(jì)算效率高于其他模型。

表5 不同預(yù)測(cè)模型平均運(yùn)行時(shí)間對(duì)比

5 結(jié)論

為解決傳統(tǒng)電價(jià)預(yù)測(cè)模型在電價(jià)跳躍點(diǎn)和尖峰點(diǎn)預(yù)測(cè)精度低，同時(shí)存在計(jì)算效率低的問(wèn)題，本文提出一種基于注意力機(jī)制的CNN-LSTM短期電價(jià)預(yù)測(cè)方法。通過(guò)澳大利亞電力市場(chǎng)的算例分析可得出以下結(jié)論。

ATT-CNN-LSTM預(yù)測(cè)模型相比CNN-LSTM和LSTM預(yù)測(cè)模型，不僅能提高整體預(yù)測(cè)結(jié)果的精度，而且能提高電價(jià)跳躍點(diǎn)和尖峰點(diǎn)的預(yù)測(cè)精度，同時(shí)在計(jì)算效率上有所提升。因此，驗(yàn)證了本文所提模型在提高短期電價(jià)預(yù)測(cè)精度與計(jì)算效率上的有效性。

目前我國(guó)正在大力構(gòu)建以新能源為主體的新型電力系統(tǒng)，新能源發(fā)電具有波動(dòng)大的特點(diǎn)，給短期電價(jià)預(yù)測(cè)帶來(lái)挑戰(zhàn)。本文暫未考慮發(fā)電側(cè)的影響，將光伏、風(fēng)力等新能源發(fā)電作為短期電價(jià)預(yù)測(cè)的影響因素是下一步工作的重點(diǎn)。

[1] 武偉, 劉希玉, 楊怡, 等. 時(shí)間序列分析方法及ARMA, GARCH兩種常用模型[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2010, 20(1): 247-249, 253.

WU Wei, LIU Xiyu, YANG Yi, et al. Analysis method of time array and two model of ARMA and GARCH[J]. Computer Technology and Development, 2010, 20(1): 247-249, 253.

[2] 張顯, 王錫凡. 短期電價(jià)預(yù)測(cè)綜述[J]. 電力系統(tǒng)自動(dòng)化, 2006, 30(3): 92-101.

ZHANG Xian, WANG Xifan. Review of the short-term electricity price forecasting[J]. Automation of Electric Power Systems, 2006, 30(3): 92-100.

[3] AMINI M H, KARGARIAN A, KARABASOGLU O. ARIMA-based decoupled time series forecasting of electric vehicle charging demand for stochastic power system operation[J]. Electric Power Systems Research, 2016, 140: 378-390.

[4] LI Qi, CHEN Huaping, ZHU Fukang. Robust estimation for Poisson integer-valued GARCH models using a new hybrid loss[J]. Journal of Systems Science & Complexity, 2021, 34(4): 1578-1596.

[5] 熊高峰, 韓鵬, 聶坤凱. 時(shí)間序列分解在短期電價(jià)分析與預(yù)測(cè)中的應(yīng)用[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào), 2011, 23(3): 95-100.

XIONG Gaofeng, HAN Peng, NIE Kunkai. Application of time series decomposition to short term electricity price analysis and forecasting[J]. Proceedings of the CSU-EPSA, 2011, 23(3): 95-100.

[6] 周明, 嚴(yán)正, 倪以信, 等. 含誤差預(yù)測(cè)校正的ARIMA電價(jià)預(yù)測(cè)新方法[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2004, 24(12): 67-72.

ZHOU Ming, YAN Zheng, NI Yixin, et al. A novel ARIMA approach on electricity price forecasting with the improvement of predicted error[J]. Proceedings of the CSEE, 2004, 24(12): 67-72.

[7] 鄧佳佳, 黃元生, 宋高峰. 基于非參數(shù)GARCH的時(shí)間序列模型在日前電價(jià)預(yù)測(cè)中的應(yīng)用[J]. 電網(wǎng)技術(shù), 2012, 36(4): 190-196.

DENG Jiajia, HUANG Yuansheng, SONG Gaofeng. Day-ahead electricity price forecasting using time series model based on nonparametric generalized auto regressive conditional heteroskedasticity[J]. Power System Technology, 2012, 36(4): 190-196.

[8] SZKUTA B R, SANABRIA L A, DILLON T S. Electricity price short-term forecasting using artificial neural networks[J]. IEEE Transactions on Power Systems, 1999, 14(3): 851-857.

[9] 靳果, 朱清智, 孟陽(yáng), 等. 基于多層極限學(xué)習(xí)機(jī)的電能質(zhì)量擾動(dòng)多標(biāo)簽分類算法[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(8): 96-105.

JIN Guo, ZHU Qingzhi, MENG Yang, et al. Power quality disturbances multi-label classification algorithm based on a multi-layer extreme learning machine[J]. Power System Protection and Control, 2020, 48(8): 96-105.

[10] HOU K, SHAO G, WANG H, et alResearch on practical power system stability analysis algorithm based on modified SVM[J]. Protection and Control of Modern Power Systems, 2018, 3(2): 119-125.

[11] 魏勤, 陳仕軍, 黃煒斌, 等. 利用隨機(jī)森林回歸的現(xiàn)貨市場(chǎng)出清價(jià)格預(yù)測(cè)方法[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2021, 41(4): 1360-1367.

WEI Qin, CHEN Shijun, HUANG Weibin, et al. Forecasting method of clearing price in spot market by random forest regression[J]. Proceedings of the CSEE, 2021, 41(4): 1360-1367.

[12] 謝謙, 董立紅, 厙向陽(yáng). 基于Attention-GRU的短期電價(jià)預(yù)測(cè)[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(23): 154-160.

XIE Qian, DONG Lihong, SHE Xiangyang. Short-term electricity price forecasting based on Attention-GRU[J]. Power System Protection and Control, 2020, 48(23): 154-160.

[13] 勾玄, 肖先勇. 基于經(jīng)驗(yàn)?zāi)Ｊ椒纸馀cLSTM神經(jīng)網(wǎng)絡(luò)的短期電價(jià)預(yù)測(cè)模型[J]. 西安理工大學(xué)學(xué)報(bào), 2020, 36(1): 129-134.

GOU Xuan, XIAO Xianyong. Short-term electricity price forecasting model based on empirical mode decomposition and LSTM neural network[J]. Journal of Xi’an University of Technology, 2020, 36(1): 129-134.

[14] 韓升科, 胡飛虎, 陳之騰. 基于GCN-LSTM的日前市場(chǎng)邊際電價(jià)預(yù)測(cè)[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2021, 41(6): 1-12.

HAN Shengke, HU Feihu, CHEN Zhiteng. Day ahead market marginal price forecasting based on GCN-LSTM[J]. Proceedings of the CSEE, 2021, 41(6): 1-12.

[15] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521: 436-444.

[16] LI W, BECKER D M. Day-ahead electricity price prediction applying hybrid models of LSTM-based deep learning methods and feature selection algorithms under consideration of market coupling[J]. Energy, 2021, 237.

[17] 李明揚(yáng), 孔芳. 融入自注意力機(jī)制的社交媒體命名實(shí)體識(shí)別[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 59(6): 461-467.

LI Mingyang, KONG Fang. Social media named entity recognition incorporating self-attention mechanisms[J]. Journal of Tsinghua University (Science and Technology), 2019, 59(6): 461-467.

[18] 王維博, 張斌, 曾文入, 等. 基于特征融合一維卷積神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動(dòng)分類[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(6): 53-60.

WANG Weibo, ZHANG Bin, ZENG Wenru, et al. Power quality disturbance classification of one-dimensional convolutional neural networks based on feature fusion[J]. Power System Protection and Control, 2020, 48(6): 53-60.

[19] TENG Hui, HASSAN A S. Construction and drug evaluation based on convolutional neural network system optimized by grey correlation analysis[J]. Computational Intelligence and Neuroscience, 2021: 1-9.

[20] 劉忠, 陳星宇, 鄒淑云, 等. 計(jì)及碳排放的風(fēng)-光-抽水蓄能系統(tǒng)容量?jī)?yōu)化配置方法[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(22): 9-18.

LIU Zhong, CHEN Xingyu, ZOU Shuyun, et al. Optimal capacity configuration method for wind-photovoltaic- pumped-storage system considering carbon emission[J]. Automation of Electric Power Systems, 2021, 45(22): 9-18.

[21] 梁濤, 楊改文, 董玉蘭. 基于灰色關(guān)聯(lián)度的變權(quán)組合模型的齒輪箱溫度故障預(yù)測(cè)[J]. 太陽(yáng)能學(xué)報(bào), 2020, 41(12): 199-207.

LIANG Tao, YANG Gaiwen, DONG Yulan. Gearbox temperature fault prediction based on variable weight combination model based on gray correlation[J]. Acta Energiae Solaris Sinica, 2020, 41(12): 199-207.

[22] 王浩, 王艷, 紀(jì)志成. 基于SAIGM-KELM的短期風(fēng)電功率預(yù)測(cè)[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(18): 78-87.

WANG Hao, WANG Yan, JI Zhicheng. Short-term wind power forecasting based on SAIGM-KELM[J]. Power System Protection and Control, 2020, 48(18): 78-87.

[23] CHANG Zihan, ZHANG Yang, CHEN Wenbo. Electricity price prediction based on hybrid model of Adam optimized LSTM neural network and wavelet transform[J]. Energy, 2019, 187.

[24] RODRIGEZ C, ANDERS G. Energy price forecasting in the Ontario competitive power system market[J]. IEEE Transactions on Power Systems, 2004, 19(1): 366-374.

[25] 李軍徽, 馮喜超, 嚴(yán)干貴, 等. 高風(fēng)電滲透率下的電力系統(tǒng)調(diào)頻研究綜述[J]. 電力系統(tǒng)保護(hù)與控制, 2018, 46(2): 163-170.

LI Junhui, FENG Xichao, YAN Gangui, et al. Survey on frequency regulation technology in high wind penetration power system[J]. Power System Protection and Control, 2018, 46(2): 163-170.

[26] HU A S, LIE T T, GOOI H B. Load forecast for customers under real time pricing systems[C] // International Conference on Electric Utility Deregulation and Restructuring and Power Technologies, April 4-7, 2000, London, UK: 538-543.

CNN-LSTM short-term electricity price prediction based on an attention mechanism

JI Xingquan1, ZENG Ruomei1, ZHANG Yumin1, SONG Feng2, SUN Pengkai1, ZHAO Guohang1

(1. College of Electrical Engineering and Automation, Shandong University of Science and Technology, Qingdao 266590, China;2. Yantai Power Supply Company, State Grid Shandong Electric Power Company, Yantai 264000, China)

The accuracy of short-term electricity price forecasts is of great significance to the electricity market with a diversified competitive landscape. To improve prediction accuracy and efficiency at the jump and peak points of electricity price, a short-term electricity price prediction method based on ATT-CNN-LSTM is proposed for the implied nonlinear relationship between the electricity price series influenced by the fusion of multiple direct and influencing factors. First, the grey correlation degree analysis method is used to analyze the correlation degree between load factors and electricity prices, and the data with a higher correlation degree is selected as the optimal model input. Secondly, the weight of the input data is adaptively allocated through the attention mechanism (ATT), and the strong and weak feature data are distinguished by the weights. Then, a convolution neural network (CNN) is used to perform secondary feature extraction and dimensionality reduction of the data set to optimize the data input into the long short-term memory (LSTM) network, thereby improving the prediction accuracy and training speed of the LSTM network. The actual measurement data of the Australian electricity market is used for a case study, and the comparison with other mainstream algorithms verifies that the proposed method has higher prediction accuracy and computational efficiency.

attention mechanism; convolutional neural network; long-short term memory neural network; electricity price forecast;grey relation analysis

10.19783/j.cnki.pspc.211472

國(guó)家自然科學(xué)基金青年項(xiàng)目資助(52107111)；山東省自然科學(xué)基金青年項(xiàng)目資助(ZR2021QE117)；青島西海岸新區(qū)2020年科技項(xiàng)目資助(源頭創(chuàng)新專項(xiàng))(2020-92)

This work is supported by the Youth Fund of National Natural Science Foundation of China (No. 52107111).

2021-11-01；

2022-04-18

吉興全(1970—)，男，博士，教授，研究方向?yàn)榕潆娋W(wǎng)優(yōu)化、狀態(tài)估計(jì)和故障診斷；E-mail: xqji@sdust.edu.cn

曾若梅(1997—)，女，碩士研究生，研究方向?yàn)橹悄芩惴ㄔ陔娏ο到y(tǒng)中的應(yīng)用；E-mail: suzuln@163.com

張玉敏(1986—)，女，通信作者，博士，講師，研究方向?yàn)殡娏ο到y(tǒng)經(jīng)濟(jì)運(yùn)行、優(yōu)化調(diào)度和電力市場(chǎng)。E-mail: zhangyumin@mail.sdu.cn

(編輯 許 威)