基于組合數(shù)據(jù)清洗與NL-ConvLSTM模型的多步風(fēng)電功率預(yù)測

吳平雄，肖迎群，張 蘇，林興宇

(1.貴州大學(xué)電氣工程學(xué)院，貴州 貴陽 550025；2.貴州理工學(xué)院大數(shù)據(jù)學(xué)院，貴州 貴陽 550003)

0 引言

近年來，隨著全球節(jié)能減排的號召，可再生能源發(fā)電的規(guī)模也逐漸壯大；尤其風(fēng)能儲量大，在可再生能源中成本較低，具有良好的發(fā)展前景[1]。同時(shí)鑒于風(fēng)能存在著較大的不確定性和間歇性,且大規(guī)模風(fēng)電并網(wǎng)將對電網(wǎng)長期穩(wěn)定性有不良影響[2]，因此，準(zhǔn)確可靠的風(fēng)電功率預(yù)測能為電力調(diào)度和能量管理等方面提供有力支持[3]。

目前，短期風(fēng)電預(yù)測方法主要有物理方法、統(tǒng)計(jì)學(xué)方法、人工智能方法以及組合方法[4]。物理方法計(jì)算復(fù)雜，不需要?dú)v史功率數(shù)據(jù)，適合于中長期預(yù)測[5-6]。統(tǒng)計(jì)學(xué)方法利用大量歷史風(fēng)速和功率數(shù)據(jù)預(yù)測未來發(fā)電數(shù)據(jù)，但該方法對非平穩(wěn)序列的預(yù)測效果欠佳。隨著人工智能的發(fā)展，常用的機(jī)器學(xué)習(xí)方法、BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)(SVM)在預(yù)測領(lǐng)域得到一定的認(rèn)可[7-8]。

風(fēng)電數(shù)據(jù)在采集的過程中由于錄入設(shè)備損壞和棄風(fēng)限電等問題，數(shù)據(jù)中存在缺失值和異常值[9]；當(dāng)數(shù)據(jù)中含有大量缺失值和異常值時(shí)，會嚴(yán)重影響模型的預(yù)測效果，盲目刪除異常數(shù)據(jù)也會導(dǎo)致訓(xùn)練樣本不足，而達(dá)不到預(yù)期的預(yù)測精度。但單一異常值檢測方法難以檢測所有類型的異常值,多項(xiàng)方法組合能夠取得更好的結(jié)果[10]。填補(bǔ)缺失值一般采用均值填充、插值法和線性回歸等方法[11]。

現(xiàn)有風(fēng)電功率預(yù)測模型一般將歷史功率作為輸入，來預(yù)測未來風(fēng)電出力；鑒于氣象因素對新能源發(fā)電影響較大，許多學(xué)者將氣象數(shù)據(jù)作為多特征輸入，剖析多特征變量與功率之間的相關(guān)性[12]。目前，RNN、LSTM、GRU等神經(jīng)網(wǎng)絡(luò)模型具有非線性處理能力強(qiáng)、能夠挖掘時(shí)序特征，因此常用于風(fēng)電預(yù)測領(lǐng)域[13-14]。

本文考慮到風(fēng)電數(shù)據(jù)存在較多的異常數(shù)據(jù)，以及結(jié)合自注意力機(jī)制和深度神經(jīng)網(wǎng)絡(luò)在時(shí)序問題上優(yōu)秀的學(xué)習(xí)能力，提出基于DBSCAN-OIV-RF、NL、ConvLSTM算法結(jié)合的短期風(fēng)電功率多步預(yù)測模型。

1 相關(guān)理論基礎(chǔ)

1.1 DBSCAN聚類算法

DBSCAN是一種基于密度的聚類算法，不需要規(guī)定聚類數(shù)量[15]。DBSCAN算法具有2個(gè)重要參數(shù)，分別是鄰域ε和鄰域內(nèi)最少樣本數(shù)s；給定一個(gè)樣本集Z，該算法定義如下。

a.鄰域ε。以點(diǎn)p為中心，半徑為ε的圓形區(qū)域內(nèi)點(diǎn)的集合。

Nε(p)={q∈Z|d(p,q)≤ε}

(1)

d(p,q)為點(diǎn)p與點(diǎn)q之間的距離；Nε(p)為與點(diǎn)p距離小于等于ε的點(diǎn)的集合。

b.核心點(diǎn)。?p∈Z，p的鄰域內(nèi)的點(diǎn)數(shù)大于等于s，則稱p為核心點(diǎn)。

|Nε(p)≥s|

(2)

c.密度直達(dá)。對于集合Z，若點(diǎn)q在p的鄰域內(nèi)，且p為核心點(diǎn)，則稱q從p出發(fā)密度直達(dá)，反之不成立。

d.密度可達(dá)。對于集合Z，假設(shè)有一連串樣本點(diǎn)p1,p2,…,pi,…,pn,p=p1,q=pn，若pi從pi-1出發(fā)是密度直達(dá)的，則對象q從對象p出發(fā)密度可達(dá)。

e.密度相連。對于集合Z，存在一點(diǎn)o，若點(diǎn)o到點(diǎn)p和點(diǎn)q都是密度可達(dá)的，則p和q密度相連。

f.簇。對于一個(gè)非空集合C屬于Z，滿足如下條件時(shí)被稱作一個(gè)簇：

①?p∈Z，若p∈C且q從p出發(fā)密度可達(dá)，則q∈C。

②?p,q∈C，p和q是密度相連的。

g.噪聲。在集合Z中不屬于任何一個(gè)簇的點(diǎn)定義為噪聲。

如圖1所示，x1是核心點(diǎn)；x2由x1密度直達(dá)；x3由x1密度可達(dá)；x3與x4密度相連。

1.2 最優(yōu)組內(nèi)方差法

最優(yōu)組內(nèi)方差法(optimal interclass variance,OIV)是一種能夠快速有效地識別風(fēng)機(jī)正常發(fā)電數(shù)據(jù)和發(fā)電偏低數(shù)據(jù)的異常值檢測算法[16]。

定義：給定的功率曲線集合為U，設(shè)目標(biāo)集合為V={Vn,V1}，其中，Vn表示風(fēng)機(jī)正常發(fā)電數(shù)據(jù)集，V1表示機(jī)組發(fā)電量偏低的數(shù)據(jù)集，即異常數(shù)據(jù)。

功率曲線集U={(x1,y1),(x2,y2),…,(xn,yn)}，滿足yi

(3)

按式(3)可將第t個(gè)風(fēng)速區(qū)間的數(shù)據(jù)集劃分為：

Un(t)={(xi,yi)|(xi,yi)∈U(t),1≤i≤λ}

(4)

U1(t)={(xi,yi)|(xi,yi)∈U(t),λ

(5)

Un(t)為第t個(gè)風(fēng)速區(qū)間的正常數(shù)據(jù)集；U1(t)為第t個(gè)風(fēng)速區(qū)間的異常數(shù)據(jù)集。

對2類數(shù)據(jù)集進(jìn)行匯總，得到目標(biāo)集合Vn、V1為：

Vn={Un(1),Un(2),…,Un(W)}

(6)

V1={U1(1),U1(2),…,U1(W)}

(7)

1.3 隨機(jī)森林算法

隨機(jī)森林(random forest,RF)是以決策樹為基本單元，結(jié)合Bagging(bootstrap aggregating)方法和隨機(jī)特征選擇的集成學(xué)習(xí)方法[17]。RF訓(xùn)練、預(yù)測流程如圖2所示，其具體步驟如下：

a.在給定訓(xùn)練集T的N個(gè)樣本中隨機(jī)有放回地采樣，得到k個(gè)子訓(xùn)練集Ti。

b.每棵決策樹輸入子訓(xùn)練集并從M個(gè)特征中隨機(jī)選擇m個(gè)特征子集作為分裂特征集，在分裂特征集中以最優(yōu)分裂方式分裂生成決策樹。

c.重復(fù)前2個(gè)步驟，生成k棵決策樹的隨機(jī)森林。

d.將測試集輸入生成的RF模型，得到k個(gè)決策樹的回歸結(jié)果，對k個(gè)回歸結(jié)果求平均，求得最終預(yù)測值。

圖2 隨機(jī)森林算法流程

1.4 非局部神經(jīng)網(wǎng)絡(luò)

2018年，非局部(non-local,NL)神經(jīng)網(wǎng)絡(luò)是由Wang等[18]提出的捕捉序列全局依賴關(guān)系的自注意力模型。CNN和遞歸操作都是在局部區(qū)域進(jìn)行操作的，而NL網(wǎng)絡(luò)通過計(jì)算任意2個(gè)位置之間的交互直接捕捉遠(yuǎn)程依賴。下面給出NL網(wǎng)絡(luò)在時(shí)空維度下的定義：

NL可看作輸入信號x到輸出信號y的映射，其一般模型表示為

(8)

x為輸入信號；y為輸出信號；i為關(guān)注的位置的索引;j為所有可能位置的索引；函數(shù)f為相似度函數(shù)，用來計(jì)算從xi和所有xj之間的相似關(guān)系；一元函數(shù)g(xj)計(jì)算輸入信號在位置j的表示；C(x)為歸一化函數(shù)。

在NL模型中，需要確定函數(shù)f、g、C的具體形式。g(xj)是對xj的線性映射，g(xj)=Wgxj，其中，Wg是權(quán)重系數(shù)矩陣。在本文中，輸入為時(shí)空數(shù)據(jù)，Wg采用1×1×1的卷積操作。

f函數(shù)有多種形式，分別為高斯、嵌入高斯、點(diǎn)積和拼接。NL網(wǎng)絡(luò)對f函數(shù)選擇并不敏感，本文采用嵌入高斯函數(shù)為

f(xi,xj)=eθ(xi)Tφ(xj)

(9)

θ(xi)=Wθxi，φ(xj)=Wφxj，Wθ、Wφ為權(quán)重系數(shù)矩陣。

相應(yīng)的歸一化函數(shù)為

(10)

將式(8)的NL網(wǎng)絡(luò)封裝到殘差模塊中，定義為

zi=Wzyi+xi

(11)

Wz為權(quán)重系數(shù)矩陣，初始化為零矩陣。

1.5 ConvLSTM模型

1.5.1 ConvLSTM單元

LSTM在時(shí)序問題的處理上具有十分不錯(cuò)的效果；CNN適合處理空間數(shù)據(jù)，常用于挖掘數(shù)據(jù)特征信息，因此，CNN+LSTM的組合算法頻繁用在解決時(shí)序問題上，并展現(xiàn)了它的有效性。然而，CNN+LSTM的組合方式中，LSTM在輸入-狀態(tài)和狀態(tài)-狀態(tài)的轉(zhuǎn)換中使用全連接層，沒有考慮信息之間的空間相關(guān)性。

2015年，Shi等[19]提出的ConvLSTM模型，將LSTM擴(kuò)展為在輸入-狀態(tài)和狀態(tài)-狀態(tài)轉(zhuǎn)換中都具有卷積結(jié)構(gòu)的網(wǎng)絡(luò)，比起CNN-LSTM組合方法只在輸入端挖掘數(shù)據(jù)特征，ConvLSTM能在模型內(nèi)部不斷提取特征。ConvLSTM單元的關(guān)鍵方程為

(12)

·為Hadamard乘積；*為卷積運(yùn)算；Xt為當(dāng)前時(shí)刻的輸入；Ht-1為上個(gè)時(shí)刻的隱藏層輸出；Ct為當(dāng)前時(shí)刻存儲單元狀態(tài)；it為輸入門；ft為遺忘門；ot為輸出門；W和b分別為權(quán)重系數(shù)和偏差。

1.5.2 編碼-預(yù)測結(jié)構(gòu)

本文通過堆疊ConvLSTM單元來構(gòu)建編碼-預(yù)測(encoding-foresasting,EF)結(jié)構(gòu)增加結(jié)構(gòu)深度，預(yù)測網(wǎng)絡(luò)的初始狀態(tài)是從編碼網(wǎng)絡(luò)的最后狀態(tài)復(fù)制來的。EF結(jié)構(gòu)如圖3所示。

圖3 EF結(jié)構(gòu)

2 模型建立

2.1 DBSCAN-OIV-RF數(shù)據(jù)清洗

本文使用的是國內(nèi)某風(fēng)電場的數(shù)據(jù)。其風(fēng)速-功率散點(diǎn)圖如圖4所示。第1～第4類異常點(diǎn)分別為風(fēng)速增大但出力基本不變的橫向堆積點(diǎn)、遠(yuǎn)離曲線的分散點(diǎn)、曲線周圍密度大的簇狀點(diǎn)以及風(fēng)速不變但功率變化大的縱向分布堆積點(diǎn)[20]；產(chǎn)生的原因分別是棄風(fēng)限電[21]、傳感器異?；蚬收稀?shù)據(jù)傳輸受電磁干擾[22]以及風(fēng)速傳感器失靈[23]。

圖4 原風(fēng)速-功率散點(diǎn)圖

對于風(fēng)速-功率散點(diǎn)圖中分散點(diǎn)采用DBSCAN算法篩查。DBSCAN有2個(gè)重要參數(shù)分別是鄰域半徑ε和最小樣本數(shù)s，ε的確定采用k-distance函數(shù)，步驟如下：

a.選定一個(gè)k值，假設(shè)輸入特征數(shù)為h，則k=2h-1。

b.對于數(shù)據(jù)各點(diǎn)，計(jì)算距離該點(diǎn)第k個(gè)最近距離，并將全部最近鄰域距離按照降序進(jìn)行排序，繪制k-distance曲線，拐點(diǎn)位置的距離值即為ε值。

c.s一般通過人工選取，且s≥h+1。

隨機(jī)采樣30%的數(shù)據(jù)量以求解k值，輸入特征為標(biāo)準(zhǔn)化處理的風(fēng)速和風(fēng)電功率，則k=3，因此得到k-distance曲線如圖5所示。

圖5 k-distance曲線

由圖5可知，ε=0.044 3，將ε數(shù)值微調(diào)至0.047 3，s設(shè)置為20。DBSCAN的輸入數(shù)據(jù)集為D={(x1,y1),(x2,y2),…,(xn,yn)}，x為風(fēng)速，y為功率，n為數(shù)據(jù)總數(shù)。通過DBSCAN算法可以得到聚類結(jié)果如圖6所示，得到的聚類數(shù)為13個(gè)，將簇0視為正常值，其余簇視為異常值，并匯總為正常數(shù)據(jù)集Dn與異常數(shù)據(jù)集D1。

圖6 DBSCAN聚類結(jié)果

圖6中，圈住部分與風(fēng)速-功率曲線連接部分密度較大，難以與正常值區(qū)分開，采用OIV算法處理曲線下方異常點(diǎn)。設(shè)定風(fēng)速總區(qū)間為[12.50 m/s,16.00 m/s],風(fēng)速間隔為0.25 m/s，將風(fēng)速總區(qū)間劃分為13個(gè)狀態(tài)量，U={U(1),U(2),…,U(13)},U?Dn，用標(biāo)準(zhǔn)差代替方差，設(shè)置初始閾值S，按式(3)計(jì)算各點(diǎn)標(biāo)準(zhǔn)差值并降列排序，曲線拐點(diǎn)橫坐標(biāo)即為λ，按式(4)和式(5)劃分正常數(shù)據(jù)集Un和異常數(shù)據(jù)集U1，并根據(jù)式(6)和式(7)得到總的正常數(shù)據(jù)集與異常數(shù)據(jù)集Vn、V1。OIV算法清洗后的風(fēng)速區(qū)間內(nèi)散點(diǎn)分布如圖7所示。

圖7 設(shè)定風(fēng)速區(qū)間內(nèi)OIV算法數(shù)據(jù)清洗結(jié)果

將異常數(shù)據(jù)集P1={D1,V1}作為缺失值處理，采用RF算法填補(bǔ)缺失值，Pn=(Dn-V1)作為訓(xùn)練集訓(xùn)練RF模型，以填補(bǔ)P1的功率值，RF模型中的決策樹個(gè)數(shù)設(shè)為101，數(shù)據(jù)填補(bǔ)結(jié)果如圖8所示。

圖8 隨機(jī)森林算法數(shù)據(jù)填補(bǔ)效果

2.2 NL-ConvLSTM多步預(yù)測模型

2.2.1 數(shù)據(jù)集重構(gòu)

X具體形式為

(13)

N為數(shù)據(jù)總量；M為特征維度，包括風(fēng)速、風(fēng)向、風(fēng)電功率、溫度、氣壓、濕度；xM為風(fēng)電功率序列。

將時(shí)序維度重構(gòu)為時(shí)空特征維度，在ConvLSTM模型中進(jìn)一步提取數(shù)據(jù)中時(shí)間與空間維度特征，重構(gòu)方式如下。

a.數(shù)據(jù)集分為輸入輸出集，以滑動(dòng)窗口的方式對輸入集和輸出集分別劃分時(shí)間步，以輸入集每個(gè)樣本J個(gè)時(shí)間步預(yù)測輸出集樣本的未來K個(gè)時(shí)間步，J為總時(shí)間步長，K為單位時(shí)間步長，T為時(shí)間步長個(gè)數(shù)，J=T×K。輸入集輸出集分別為:

(14)

(15)

2.2.2 NL-ConvLSTM模型

NL操作在計(jì)算輸入數(shù)據(jù)X在i位置的響應(yīng)時(shí)考慮了所有位置特征的加權(quán)平均；ConvLSTM中的卷積能夠提取輸入到狀態(tài)，和狀態(tài)之間的特征。本文采用NL模型提取輸入數(shù)據(jù)的全局信息，并通過ConvLSTM模型中的卷積操作進(jìn)一步加深特征間關(guān)系。NL操作步驟如下。

圖9 時(shí)空非局部模塊

圖10 本文預(yù)測模型結(jié)構(gòu)

3 算例分析

算例選用國內(nèi)西北某一風(fēng)電場2019年實(shí)測風(fēng)電功率數(shù)據(jù)和氣象數(shù)據(jù)(包括風(fēng)速、風(fēng)向、溫度、氣壓和濕度)，裝機(jī)容量為200 MW，采樣時(shí)間間隔為15 min，共35 040組數(shù)據(jù)。該數(shù)據(jù)集以6∶2∶2比例劃分成訓(xùn)練集、驗(yàn)證集和測試集。并對數(shù)據(jù)集進(jìn)行歸一化，驗(yàn)證集和測試集以訓(xùn)練集的最大值最小值實(shí)現(xiàn)歸一化，以防止數(shù)據(jù)泄露，歸一化公式為

(16)

x為原數(shù)值；xmin為最小值；xmax為最大值；xscaled為歸一化后的值。

3.1 模型參數(shù)與超參數(shù)選擇

本文模型輸入數(shù)據(jù)包括氣象數(shù)據(jù)和歷史風(fēng)電功率數(shù)據(jù)，共6個(gè)特征(M=6)，以歷史24個(gè)時(shí)間步預(yù)測未來6個(gè)時(shí)間步的數(shù)據(jù)，由此可得T=4 ，K=6，并將高H、寬W設(shè)置為1和6。

文中損失函數(shù)選用均方誤差eMSE，優(yōu)化器選用Adam優(yōu)化算法，學(xué)習(xí)率為0.2×10-3，訓(xùn)練集和驗(yàn)證集批量大小分別為128、64，訓(xùn)練次數(shù)epoches為200次，編碼網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)的層數(shù)都為4，ConvLSTM單元超參數(shù)設(shè)置為：卷積核大小為(1,3)，步幅為1，隱含層節(jié)點(diǎn)數(shù)為16。eMSE計(jì)算公式為

(17)

3.2 評價(jià)指標(biāo)

本文選用均方根誤差eRMSE和R2作為預(yù)測評價(jià)指標(biāo)。各評價(jià)指標(biāo)計(jì)算公式為：

(18)

(19)

3.3 實(shí)驗(yàn)結(jié)果及分析

確定模型結(jié)構(gòu)與參數(shù)后，以訓(xùn)練集訓(xùn)練風(fēng)電多步預(yù)測模型，在驗(yàn)證集上得到最小均方誤差的模型作為最優(yōu)模型；最優(yōu)模型在測試集上得到最終預(yù)測。為了驗(yàn)證該方法的有效性，將LSTM模型、GRU模型、CNN-LSTM模型、ConvLSTM單模型、本文的DBSCAN-OIV-RF(DOR)數(shù)據(jù)清洗與NL-ConvLSTM算法結(jié)合的多步風(fēng)電功率預(yù)測進(jìn)行比較。選取300個(gè)樣本點(diǎn)繪制各模型預(yù)測值與真實(shí)值對比曲線如圖11所示，預(yù)測結(jié)果如表1所示。

圖11 各模型預(yù)測結(jié)果對比

表1 各預(yù)測模型評價(jià)指標(biāo)對比

根據(jù)圖11可以看出，LSTM和GRU模型在曲線頂峰和谷底有較大的波動(dòng)，CNN-LSTM、ConvLSTM模型和本文模型曲線相對穩(wěn)定，說明合適的卷積操作對模型的精度有一定提升，具有穩(wěn)定梯度的作用。根據(jù)表1可知，本文模型對原始數(shù)據(jù)異常值刪補(bǔ)和非局部神經(jīng)網(wǎng)絡(luò)的應(yīng)用，對比其他模型eRMSE指標(biāo)有明顯的降低，R2指標(biāo)有一定提升，因此，異常值的篩查和自注意力算法以及ConvLSTM模型內(nèi)部卷積操作都能夠增強(qiáng)各特征之間的相關(guān)程度，有效提升模型的穩(wěn)定性。

4 結(jié)束語

本文提出一種組合數(shù)據(jù)預(yù)處理方法和NL-ConvLSTM模型的風(fēng)電功率多步預(yù)測方法，針對目前風(fēng)電數(shù)據(jù)在采集與傳輸?shù)倪^程中產(chǎn)生大量的異常值與缺失值，數(shù)據(jù)預(yù)處理能夠提高數(shù)據(jù)質(zhì)量；并將與風(fēng)電功率數(shù)據(jù)相關(guān)的氣象數(shù)據(jù)作為輸入特征，采用具有自注意力機(jī)制的以殘差連接的NL模塊提取輸入數(shù)據(jù)全局特征；為防止長序列輸入信息的遺忘，運(yùn)用ConvLSTM單元的內(nèi)部卷積操作，加強(qiáng)特征表示，提高預(yù)測模型的精度。通過實(shí)驗(yàn)分析，該模型與其他模型對比在穩(wěn)定性和精度上都有提升。