基于多級(jí)特征提取框架的風(fēng)電機(jī)組載荷預(yù)測(cè)方法

摘 要：該文研究了對(duì)風(fēng)電機(jī)組進(jìn)行載荷預(yù)測(cè)的問(wèn)題，主要從兩個(gè)方面展開：SCADA數(shù)據(jù)增強(qiáng)與使用多級(jí)特征提取框架做載荷預(yù)測(cè)。首先采用生成對(duì)抗網(wǎng)絡(luò)（WGAN-GP）進(jìn)行數(shù)據(jù)增強(qiáng)。在載荷預(yù)測(cè)方面，不同于傳統(tǒng)的Transformer模型應(yīng)用于文本數(shù)據(jù)，該文使用風(fēng)電機(jī)組運(yùn)行時(shí)的結(jié)構(gòu)化數(shù)據(jù)，且為提高特征提取能力，提出一種多級(jí)特征提取器進(jìn)行特征提取。最后使用改進(jìn)的Transformer模型和DNN、ResNet等模型的結(jié)果進(jìn)行對(duì)比，發(fā)現(xiàn)多級(jí)特征提取模型對(duì)于與目標(biāo)特征相關(guān)性較高的數(shù)據(jù)有較好的預(yù)測(cè)效果，同時(shí)對(duì)于相關(guān)性較低的數(shù)據(jù)也具有較好的非線性提取能力。

關(guān)鍵詞：風(fēng)電機(jī)組；Transformer；特征提??；生成對(duì)抗網(wǎng)絡(luò)；載荷預(yù)測(cè)；數(shù)據(jù)增強(qiáng)

中圖分類號(hào)：TK8 " " " " " " " " " " " " " " " " 文獻(xiàn)標(biāo)志碼：A

0 引 言

隨著人類對(duì)能源需求的不斷增加，風(fēng)力發(fā)電作為一種環(huán)保、可持續(xù)的清潔能源，逐漸受到廣泛關(guān)注。為實(shí)現(xiàn)風(fēng)力發(fā)電機(jī)的高效運(yùn)行和電力生產(chǎn)，對(duì)風(fēng)力發(fā)電機(jī)的載荷預(yù)測(cè)和運(yùn)行狀態(tài)監(jiān)測(cè)成為了研究熱點(diǎn)。本文的主要目標(biāo)是基于數(shù)據(jù)采集與監(jiān)視控制（supervisory control and data acquisition，SCADA）系統(tǒng)數(shù)據(jù)和載荷數(shù)據(jù)，利用深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)風(fēng)電機(jī)組的載荷預(yù)測(cè)。

國(guó)內(nèi)外學(xué)者做了大量有關(guān)風(fēng)電機(jī)組載荷預(yù)測(cè)方面的研究，付德義等［1］分析各環(huán)境條件參數(shù)對(duì)風(fēng)電機(jī)組關(guān)鍵部件極限與疲勞載荷的影響特性，并基于反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)風(fēng)電機(jī)組仿真數(shù)據(jù)的載荷的預(yù)測(cè)；文獻(xiàn)［2-3］通過(guò)建立神經(jīng)網(wǎng)絡(luò)模型來(lái)挖掘SCADA數(shù)據(jù)與風(fēng)電機(jī)組載荷之間的關(guān)系，進(jìn)而實(shí)現(xiàn)對(duì)機(jī)組的載荷預(yù)測(cè)；許揚(yáng)等［4］以風(fēng)電機(jī)組關(guān)鍵參數(shù)風(fēng)速、空氣密度、偏航誤差角等為自變量，使用BP神經(jīng)網(wǎng)絡(luò)對(duì)Bladed仿真出的載荷數(shù)據(jù)進(jìn)行預(yù)測(cè)；薛磊等［5］使用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)塔筒部分載荷進(jìn)行預(yù)測(cè)；周士棟等［6］通過(guò)建立SCADA數(shù)據(jù)與載荷間的近似關(guān)系對(duì)風(fēng)電機(jī)組關(guān)鍵位置載荷使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)；周慶梅等［7］構(gòu)建LightGBM模型和線性回歸模型的組合模型，并使用數(shù)字孿生技術(shù)實(shí)現(xiàn)對(duì)風(fēng)電機(jī)組bladed的葉根載荷進(jìn)行預(yù)測(cè)；廖圣瑄等［8］將粒子群算法、BP神經(jīng)網(wǎng)絡(luò)等多個(gè)模型組合進(jìn)行計(jì)算，實(shí)現(xiàn)了快速篩選與載荷相關(guān)的系數(shù)，并基于此實(shí)現(xiàn)對(duì)輪轂載荷的預(yù)測(cè)。

但上述方法大部分使用的是仿真數(shù)據(jù)做載荷預(yù)測(cè)，并未使用實(shí)測(cè)的載荷數(shù)據(jù)；部分研究?jī)H使用SCADA數(shù)據(jù)實(shí)現(xiàn)了對(duì)風(fēng)電機(jī)組部分位置部件的載荷預(yù)測(cè)，未實(shí)現(xiàn)對(duì)機(jī)組運(yùn)行過(guò)程中各關(guān)鍵位置載荷的預(yù)測(cè)。本文將采用SCADA數(shù)據(jù)中的通用參數(shù)實(shí)現(xiàn)對(duì)國(guó)際電工委員會(huì)（International Electrotechnical Commission，IEC）標(biāo)準(zhǔn)［9］中規(guī)定的風(fēng)電機(jī)組7種關(guān)鍵位置共11個(gè)載荷的預(yù)測(cè)。

1 數(shù)據(jù)預(yù)處理與選擇

1.1 SCADA數(shù)據(jù)與載荷數(shù)據(jù)拼接

在機(jī)艙、葉輪、塔頂、塔底以及基礎(chǔ)支撐結(jié)構(gòu)安裝加速度、載荷應(yīng)變片等傳感器用來(lái)測(cè)試載荷數(shù)據(jù)。實(shí)際數(shù)據(jù)中SCADA數(shù)據(jù)和載荷數(shù)據(jù)需分別進(jìn)行提取，在輸入模型前根據(jù)時(shí)間戳進(jìn)行拼接。一般載荷數(shù)據(jù)的采樣頻率為50 Hz，將其進(jìn)行采樣以得到10 min數(shù)據(jù)，SCADA數(shù)據(jù)以同樣的方式進(jìn)行采樣得到10 min數(shù)據(jù)，對(duì)兩組數(shù)據(jù)依據(jù)時(shí)間戳進(jìn)行同步連接，最終使用的SCADA數(shù)據(jù)為48維，測(cè)試得到的載荷數(shù)據(jù)為11維（分別為葉片1揮舞Edge1、葉片2揮舞Edge2，葉片3揮舞Edge3，葉片1擺振Flap1，葉片1擺振Flap3、葉片3擺振Flap3、塔底俯仰彎矩TBB0、塔底傾覆彎矩TBB90、塔頂俯仰彎矩TTB0、塔頂傾覆彎矩TTB90、塔頂扭矩TTT0），即SCADA數(shù)據(jù)加載荷數(shù)據(jù)共59維。

1.2 數(shù)據(jù)篩除

本次進(jìn)行載荷預(yù)測(cè)是為實(shí)現(xiàn)機(jī)組在正常運(yùn)行過(guò)程中預(yù)測(cè)機(jī)組的載荷變化，所以需要獲取機(jī)組在正常情況下的運(yùn)行數(shù)據(jù)，剔除非正常運(yùn)行數(shù)據(jù)。

首先根據(jù)SCADA數(shù)據(jù)的編碼，剔除功率小于0的點(diǎn)、剔除編碼中限功率時(shí)間段的數(shù)據(jù)和機(jī)組故障時(shí)間段的數(shù)據(jù)，以得到機(jī)組正常運(yùn)行的大致數(shù)據(jù)，其篩后結(jié)果如圖1b所示。

通過(guò)圖1可看出，機(jī)組仍含有離群點(diǎn)，為進(jìn)一步進(jìn)行數(shù)據(jù)刪除，通過(guò)使用“四分位法”對(duì)數(shù)據(jù)進(jìn)行再次處理。首先將風(fēng)速劃分為每0.1 m/s間隔的風(fēng)速區(qū)間［10］，在該區(qū)間內(nèi)將機(jī)組的有功功率從小到大進(jìn)行排序，并將排序好的功率平均分成4份，其中3個(gè)分割點(diǎn)分別記錄為[Q1、Q2、Q3]，定義[IQR=Q3-Q1]根據(jù)值[IQR]并根據(jù)式（1）的值進(jìn)行刪除。

[Fl，F(xiàn)u=Q1-k×IQR， "Q3+k×IQR] （1）

剔除完畢后，需保留數(shù)據(jù)大小在[Fl]和[Fu]之間數(shù)據(jù)，[k]值由經(jīng)驗(yàn)方式取得，一般取值為1.5。

經(jīng)過(guò)“四分位法”刪除后的結(jié)果如圖2所示。

1.3 特征篩選

使用皮爾遜相關(guān)系數(shù)法對(duì)已有的數(shù)據(jù)字段進(jìn)行相關(guān)性計(jì)算：

[r=i=1nXi-XYi-Yi=1nXi-X2i=1nYi-Y2] （2）

式中：[Xi]——輸入樣本；[X]——輸入樣本的平均值；[Yi]——目標(biāo)樣本；[Y]——目標(biāo)樣本的平均值。

經(jīng)過(guò)計(jì)算得到每個(gè)數(shù)據(jù)與載荷的相關(guān)性矩陣其熱力圖如圖3所示。

根據(jù)圖3的相關(guān)性熱力圖，其中可明顯發(fā)現(xiàn)與Flap相關(guān)的量較多且相關(guān)性較高，而與Edge和TTT0相關(guān)的參量較少，本文挑選的SCADA數(shù)據(jù)參數(shù)均為通用參數(shù)，即絕大多數(shù)風(fēng)電機(jī)組中的SCADA系統(tǒng)均會(huì)含有該部分?jǐn)?shù)據(jù)，并考慮使用通用參數(shù)進(jìn)行數(shù)據(jù)挖掘從而覆蓋更多更大規(guī)模的機(jī)組以提高模型的通用性。由于數(shù)據(jù)量較少（約3000條），故使用生成對(duì)抗網(wǎng)絡(luò)做數(shù)據(jù)增強(qiáng)。

2 數(shù)據(jù)預(yù)處理與選擇

生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）［11］模型中生成器G通過(guò)學(xué)習(xí)高斯噪聲重構(gòu)機(jī)組實(shí)際的運(yùn)行數(shù)據(jù)，以此來(lái)欺騙判別器D，判別器D在訓(xùn)練過(guò)程中致力于實(shí)現(xiàn)對(duì)生成器G重構(gòu)的數(shù)據(jù)和觀測(cè)數(shù)據(jù)的判別，兩者通過(guò)對(duì)抗訓(xùn)練最終達(dá)到納什均衡。

WGAN（Wasserstein GAN）［12］從原理的角度對(duì)GAN的損失進(jìn)行優(yōu)化求解，通過(guò)優(yōu)化pg與pdata之間的Wasserstein距離使得即使兩個(gè)分布不重疊，依然可度量?jī)蓚€(gè)分布間的距離，而WGAN-GP（gradient penalty， 梯度懲罰）通過(guò)對(duì)判別器的輸出梯度進(jìn)行懲罰使得使用WGAN模型中實(shí)現(xiàn)較為困難的1-Lipschitz連續(xù)性約束成立。WGAN-GP的損失函數(shù)如式（3）所示［13］：

[L=Ex～pgDx-Ex～pdataDx+λEx～px?xDx2-12梯度懲罰] （3）

式中：[x]——重構(gòu)后所得到的數(shù)據(jù)；[x]——實(shí)際數(shù)據(jù)；[λ]——超參數(shù)，本文參考文獻(xiàn)［13］，取值為10；[x]——觀測(cè)數(shù)據(jù)和重構(gòu)后數(shù)據(jù)的隨機(jī)采樣點(diǎn)連線上的均勻采樣。后續(xù)將使用WGAN-GP對(duì)小樣本數(shù)據(jù)進(jìn)行增強(qiáng)。

由于本文采用通用SCADA數(shù)據(jù)參數(shù)對(duì)載荷特征進(jìn)行預(yù)測(cè)，故對(duì)現(xiàn)有的SCADA參數(shù)進(jìn)行生成，現(xiàn)有的SCADA參數(shù)結(jié)合11個(gè)載荷分量共為59個(gè)，參數(shù)如表1所示。

WGAN-GP的模型如圖4所示，其中除去判別器最后一層無(wú)激活函數(shù)外，其他所有的激活函數(shù)均為ReLU函數(shù)。且生成器與判別器基本成對(duì)稱關(guān)系，不同的是生成器均為1D反卷積操作，判別器均為1D卷積操作，其卷積核與生成后數(shù)據(jù)維度的大小均已在圖4中表明；另一個(gè)不同點(diǎn)是生成器第一層的維度與判別器倒數(shù)第二層維度相同。

生成器的輸入為一維高斯噪聲數(shù)據(jù)，判別器的輸入有2個(gè)，一個(gè)為實(shí)際數(shù)據(jù)，一個(gè)為生成器重構(gòu)的數(shù)據(jù)。通過(guò)式（3）表示的損失函數(shù)對(duì)生成器和判別器進(jìn)行優(yōu)化，以使得結(jié)果而達(dá)到最優(yōu)。

圖5表示模型在訓(xùn)練1990次結(jié)果的生成數(shù)據(jù)與實(shí)際數(shù)據(jù)的對(duì)比圖，每一個(gè)batch進(jìn)行一次保存，每張圖片有32個(gè)真實(shí)數(shù)據(jù)、32個(gè)生成數(shù)據(jù)。

KS檢驗(yàn)（Kolmogorov-Smirnov test）是一種非參數(shù)檢驗(yàn)方法，用于比較兩組樣本的累積分布函數(shù)（cumulative distribution function，CDF）的差異程度。它可以判斷兩組樣本是否來(lái)自同一總體分布或兩組樣本之間的分布差異程度。

其計(jì)算方式如下：

假設(shè)有兩個(gè)樣本[X]和[Y]，分別包含[n]和[m]個(gè)觀測(cè)值。

首先，將兩個(gè)樣本的觀測(cè)值按照從小到大的順序排列。

計(jì)算兩個(gè)樣本的經(jīng)驗(yàn)累計(jì)分布函數(shù)（Empirical Cumulative Distribution Function，ECDF）：[Fn（x）]和[Fm（x）]。

計(jì)算KS統(tǒng)計(jì)量（[D]）：[D=maxFn（x）-Fm（x）]，式中，[x]取遍所有的觀測(cè)值。

由于生成對(duì)抗網(wǎng)絡(luò)的不穩(wěn)定性，本文使用KS檢驗(yàn)算法進(jìn)行計(jì)算以得到生成數(shù)據(jù)，使用KS檢驗(yàn)對(duì)相同參數(shù)的生成數(shù)據(jù)與真實(shí)數(shù)據(jù)進(jìn)行計(jì)算，得到59組數(shù)據(jù)，之后取這59組數(shù)據(jù)的平均值作為每一個(gè)模型的檢測(cè)結(jié)果，將訓(xùn)練得到的全部模型的檢測(cè)結(jié)果進(jìn)行比較得到最小的檢測(cè)結(jié)果，將此模型做為重構(gòu)生成數(shù)據(jù)的模型。

使用該模型重構(gòu)的生成數(shù)據(jù)與實(shí)際數(shù)據(jù)的散點(diǎn)對(duì)比圖如圖6所示，其中方形散點(diǎn)為使用四分法篩除離群點(diǎn)后的效果。生成數(shù)據(jù)與真實(shí)數(shù)據(jù)（原始數(shù)據(jù)）基本在同一分布上，并使用該數(shù)據(jù)進(jìn)行后續(xù)的特征工程和模型訓(xùn)練。

對(duì)于上述模型的訓(xùn)練數(shù)據(jù)使用前80%的真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練，迭代2000次，并使用該模型生成20000條數(shù)據(jù)，做離群值篩選后剩余約18000條數(shù)據(jù)。將此數(shù)據(jù)作為載荷預(yù)測(cè)模型的訓(xùn)練數(shù)據(jù)。

3 載荷預(yù)測(cè)

3.1 基于Transformer的多層編碼結(jié)構(gòu)

Transformer［14］是一種序列到序列（sequence-to-sequence）任務(wù)的架構(gòu)，最初由Vaswani等于2017年提出。它設(shè)計(jì)的主要目的是解決傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)在處理長(zhǎng)期依賴性時(shí)遇到的問(wèn)題。

Transformer采用一種完全不同于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）的架構(gòu)，它基于注意力機(jī)制（attention mechanism）。相對(duì)于RNN按順序逐個(gè)處理序列中的元素，Transformer能同時(shí)處理整個(gè)序列的信息。主要由兩個(gè)關(guān)鍵組件組成：編碼器（encoder）和解碼器（decoder）。編碼器負(fù)責(zé)將輸入序列轉(zhuǎn)換為一個(gè)高維表示，而解碼器則將該表示轉(zhuǎn)換為輸出序列。

編碼器和解碼器由多個(gè)相同的層堆疊而成，每個(gè)層都由兩個(gè)子層組成：自注意力層（self-attention layer）和全連接前饋層（feed-forward neural network）。自注意力層用于在序列中建立元素之間的關(guān)聯(lián)，允許模型同時(shí)考慮所有元素的信息。全連接前饋層則用于對(duì)每個(gè)位置的表示進(jìn)行非線性轉(zhuǎn)換。自注意力層是Transformer的核心機(jī)制之一。它通過(guò)計(jì)算輸入序列中所有元素之間的相互關(guān)系，為每個(gè)位置的元素分配一個(gè)權(quán)重，以反映與其他位置的相關(guān)性。這使得模型能捕捉到長(zhǎng)距離的依賴關(guān)系，從而更好地理解上下文。

相較于傳統(tǒng)Transformer訓(xùn)練中的文本數(shù)據(jù)，本文的數(shù)據(jù)有以下特點(diǎn)：

1）由于本文針對(duì)的SCADA數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，每組數(shù)據(jù)的維度都相同，且只對(duì)11個(gè)載荷進(jìn)行預(yù)測(cè)，所以無(wú)需制作數(shù)據(jù)掩碼。

2）本文需要同時(shí)對(duì)11個(gè)載荷進(jìn)行輸出，所以無(wú)需使解碼器進(jìn)行序列輸出。

基于數(shù)據(jù)的上述特點(diǎn)及提高模型的特征提取能力，對(duì)模型進(jìn)行以下3點(diǎn)改進(jìn)：

1）取消編碼器和解碼器的掩碼部分。

2）不再使用詞向量對(duì)輸入數(shù)據(jù)進(jìn)行編碼，解碼器輸入中的查詢值則來(lái)自增加的多級(jí)提取器，

3）不對(duì)解碼器進(jìn)行外部輸入，直接使用編碼器得到的鍵和值+多級(jí)提取器得到的查詢值進(jìn)行解碼輸出。

模型結(jié)構(gòu)如圖7、圖8所示。

本文中的多級(jí)特征提取器模型使用兩個(gè)與Encoder相同的模型進(jìn)行特征提取。

輸入數(shù)據(jù)首先經(jīng)過(guò)位置編碼（positional encoding），編碼方式根據(jù)文獻(xiàn)［14］中的方法，使用如式（4）分別對(duì)奇數(shù)和偶數(shù)位進(jìn)行編碼計(jì)算：

[Pp，2i=sinp100002i/dmodelPp，2i+1=cosp100002i/dmodel] （4）

其中，多頭注意力機(jī)制是一種并行計(jì)算的機(jī)制，通過(guò)將輸入的查詢（Query）、鍵（Key）和值（Value）進(jìn)行線性變換后，分別投影到不同的子空間中。每個(gè)子空間都獨(dú)立地進(jìn)行自注意力計(jì)算，最后將子空間的結(jié)果拼接在一起。通過(guò)這種方式，多頭注意力機(jī)制能同時(shí)關(guān)注不同的特征表示，并在不同的子空間中學(xué)習(xí)到不同的語(yǔ)義信息。

多頭注意力機(jī)制的計(jì)算可表示為：

[Hi=A（Qi，Ki，Vi）] （5）

式中：[Hi]——第[i]個(gè)注意力頭的輸出；[Qi]——第[i]個(gè)注意力頭的查詢值；[Ki]——第[i]個(gè)注意力頭的鍵；Vi——第[i]個(gè)注意力頭的值。

注意力計(jì)算的具體形式可使用點(diǎn)積注意力形式，如式（6）所示：

[A（Qi，Ki，Vi）=softmaxQiKiTdkVi] （6）

式中：[dk]——查詢和鍵的維度。

將注意力權(quán)重與值相乘，得到注意力頭的輸出。

之后通過(guò)式（7）將多頭注意力的結(jié)果進(jìn)行組合得到多頭注意力的輸出：

[MH（Q，K，V）=Concat（h1，h2，…，hh）] （7）

式中：[MH]——多頭注意力機(jī)制的輸出結(jié)果；Concat——將多個(gè)[h]的值進(jìn)行拼接。

數(shù)據(jù)在模型中的運(yùn)算過(guò)程如下：

編碼器：數(shù)據(jù)經(jīng)過(guò)編碼后復(fù)制3個(gè)同樣的向量輸入到多頭注意力層進(jìn)行計(jì)算，之后使用殘差思想將輸入注意力層前后的數(shù)據(jù)進(jìn)行融合輸入到全連接層中計(jì)算，其中殘差連接的公式如式（8）所示：

[Ooutput=Iinput+F（Iinput）] （8）

式中：[F]——多頭注意力機(jī)制層。

之后將全連接層的輸出再次根據(jù)殘差思想對(duì)輸入前后的數(shù)據(jù)進(jìn)行融合，且該全連接層輸處的輸出值將作為解碼器輸入中的的Key和Value（Key和Value相同）。

多級(jí)提取器：將編碼器的輸出輸入到多級(jí)特征提取器中，本文的多級(jí)提取器的運(yùn)算過(guò)程和編碼器相同，提取器數(shù)量為2個(gè)時(shí)效果最好，特征提取器的輸出作為Query后續(xù)輸入到解碼器中。也可定義其他的模型做提取器，只要保證數(shù)據(jù)的維度即可。

編碼器：將編碼器得到的Key和Value與解碼器得到的得到的Query做為解碼器的3組輸入，根據(jù)圖8中展示，解碼器的計(jì)算過(guò)程和編碼器一致。解碼器輸出經(jīng)過(guò)一層全連接層將數(shù)據(jù)轉(zhuǎn)化成需要的維度（本文為11維）。

在本文的載荷預(yù)測(cè)屬于回歸問(wèn)題，本文的損失函數(shù)為均方誤差和平均絕對(duì)誤差的加權(quán)值的定義如式（9）所示：

[Lloss=α·i=1npi-li2n+β·i=1npi-lin] （9）

式中：[p]——預(yù)測(cè)值；[l]——觀測(cè)值；α、[β]——權(quán)重參數(shù)，[α+β=1]。

3.2 結(jié)果展示

本文首先根據(jù)文中所選的全部SCADA數(shù)據(jù)進(jìn)行模型訓(xùn)練及預(yù)測(cè)，選取經(jīng)過(guò)WGAN-GP重構(gòu)的數(shù)據(jù)和原始數(shù)據(jù)的80%作為訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)中選擇90%做為訓(xùn)練集，10%作為驗(yàn)證集，其中驗(yàn)證集不參與訓(xùn)練，只作為驗(yàn)證使用；選取原始數(shù)據(jù)剩余的20%數(shù)據(jù)作為測(cè)試數(shù)據(jù)和測(cè)試集。

每一批次的輸入維度為［64，48］，編碼器的輸出維度為［64，48］，同時(shí)將該［64，48］維度的數(shù)據(jù)復(fù)制一份，兩組數(shù)據(jù)作為解碼器輸入的Key和Value；多級(jí)特征提取器的輸入為編碼器的輸出復(fù)制3份，輸出維度為［64，48］作為解碼器輸入中的Query，編碼器的輸入為Key、Value和Query，輸出維度為［64，48］，最后一層全連接層的輸出維度為［64，11］。

優(yōu)化器使用Adam［15］優(yōu)化器，初始學(xué)習(xí)率0.001，在3000次做一次學(xué)習(xí)率下降為0.0001，迭代次數(shù)為5000次，每50次做一次驗(yàn)證集測(cè)試并保存模型。

通過(guò)計(jì)算兩組數(shù)據(jù)的擬合優(yōu)度［16］（決定系數(shù)）R2計(jì)算預(yù)測(cè)值對(duì)觀測(cè)值的擬合程度，計(jì)算如式（10）所示：

[T=i=1nyi-y2r=i=1nyi-yi2R2=1-rT] （10）

式中：[T]——總平方和；[r]——?dú)埐钇椒胶停籟yi]——實(shí)際觀測(cè)值；[y]——實(shí)際觀測(cè)值的平均值；[y]——預(yù)測(cè)值，即模型得到的結(jié)果。

模型訓(xùn)練過(guò)程中的的損失函數(shù)如圖9所示。

測(cè)試集的載荷預(yù)測(cè)結(jié)果如圖10所示（為方便觀察，選取測(cè)試集中預(yù)測(cè)的100個(gè)數(shù)據(jù)及相同時(shí)間的實(shí)際觀測(cè)值進(jìn)行展示，其中橫軸為樣本數(shù)量，縱軸為載荷值）。

決定系數(shù)如圖11所示（其中的直線為以觀測(cè)值為橫軸，預(yù)測(cè)值為縱軸的散點(diǎn)所擬合的直線）。根據(jù)序列對(duì)比圖和決定系數(shù)圖可發(fā)現(xiàn)，對(duì)于輸入特征與目標(biāo)特征的線性相關(guān)性較高的（由圖3展示的線性相關(guān)性熱力圖所示，輸入數(shù)據(jù)和Flap的線性相關(guān)性較高）模型得到的結(jié)果較好；并且，由于模型增加了多級(jí)特征提取器，每層提取器均存在注意力機(jī)制，該層可盡可能地專注于某些與目標(biāo)特征相關(guān)的參數(shù)或參數(shù)

組合，且經(jīng)過(guò)多級(jí)特征提取器計(jì)算后得到的Query與未經(jīng)過(guò)多級(jí)特征提取器得到的key和value整合后作為后續(xù)模型的輸入，這步又增加了模型的非線性能力，所以對(duì)于線性相關(guān)性較低的（由圖3展示的線性相關(guān)性熱力圖所示，輸入數(shù)據(jù)和Edge的線性相關(guān)性較低），模型依舊可根據(jù)多維輸入特征進(jìn)行非線性提取。

同時(shí)針對(duì)該架構(gòu)也與DNN和ResNet［17］模型做了對(duì)比，結(jié)果見(jiàn)表2所示，其中表2中的BP模型為根據(jù)的引言中參考文獻(xiàn)中的模型進(jìn)行調(diào)節(jié)試驗(yàn)所得到效果最好的模型結(jié)果，由于參考文獻(xiàn)所用數(shù)據(jù)和本文所用數(shù)據(jù)不同，結(jié)果和原論文中有較大的差異，但在同一個(gè)數(shù)據(jù)下可對(duì)比不同模型的效果。

經(jīng)過(guò)與上面模型結(jié)果的對(duì)比，可看出Transformer+多級(jí)提取器對(duì)線性相關(guān)性較弱的特征提取能力相比于上述其他模型較強(qiáng)。

由于開始數(shù)據(jù)的輸入特征較多，后續(xù)通過(guò)對(duì)特征的刪減，并使用表3中的特征進(jìn)行訓(xùn)練。

得到的結(jié)果如表4所示，表現(xiàn)了該模型在少參數(shù)量時(shí)也有較強(qiáng)的特征提取能力，且減少后的特征更符合風(fēng)電機(jī)組的通用參數(shù)。

4 結(jié) 論

針對(duì)在風(fēng)電機(jī)組載荷預(yù)測(cè)研究中輸入的SCADA數(shù)據(jù)與部分載荷數(shù)據(jù)的線性相關(guān)性不強(qiáng)且樣本數(shù)量較少的問(wèn)題，首先使用生成對(duì)抗網(wǎng)絡(luò)模型對(duì)小樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，之后提出一種基于Transformer的多級(jí)特征提取模型，實(shí)現(xiàn)對(duì)特征的提取。通過(guò)對(duì)本文提出的建模思路，可得出以下主要結(jié)論：

1）通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行限功率刪除+四分位法刪除相結(jié)合的方法可較為合理地實(shí)現(xiàn)數(shù)據(jù)篩選及預(yù)處理。

2）使用WGAN-GP+KS檢驗(yàn)可實(shí)現(xiàn)相對(duì)穩(wěn)定的數(shù)據(jù)增強(qiáng)，以便用于后續(xù)訓(xùn)練

3）通過(guò)使用Transformer+多級(jí)特征提取器框架可以較高的決定系數(shù)實(shí)現(xiàn)對(duì)非線性相關(guān)特性的提取。

4）本文提出該框架也可使用Transformer+ResNet提取器等多種模型的結(jié)合使用，為后續(xù)的SCADA數(shù)據(jù)分析提供一種思路。

［參考文獻(xiàn)］

［1］ 付德義， 張曉東， 王瑞明， 等. 特定場(chǎng)址條件下風(fēng)電機(jī)組載荷適應(yīng)性評(píng)估［J］. 太陽(yáng)能學(xué)報(bào)， 2021， 42（6）： 425-431.

FU D Y， ZHANG X D， WANG R M， et al. Wind turbine load adaptability assessment under specific site conditions［J］. Acta energiae solaris sinica， 2021， 42（6）： 425-431.

［2］ OBDAM T S， RADEMAKERS L W M M， BRAAM H. Flight leader concept for wind farm load counting and performance assessment［R］. ECN-M-09-054， 2009.

［3］ 董禮， 廖明夫， KUEHN M， 等. 風(fēng)力機(jī)等效載荷的評(píng)估［J］. 太陽(yáng)能學(xué)報(bào)， 2008， 29（12）： 1456-1459.

DONG L， LIAO M F， KUEHN M， et al. Estimation of equivalent load for a horizontal axis wind turbine［J］. Acta energiae solaris sinica， 2008， 29（12）： 1456-1459.

［4］ 許揚(yáng)， 蔡安民， 張林偉， 等. 基于BP神經(jīng)網(wǎng)絡(luò)和多因素權(quán)重法的風(fēng)電機(jī)組載荷預(yù)測(cè)和分析［J］. 熱力發(fā)電， 2022， 51（8）： 42-49.

XU Y， CAI A M， ZHANG L W， et al. Load prediction and analysis of wind turbine based on BP neural network and multi-factor weight method［J］. Thermal power generation， 2022， 51（8）： 42-49.

［5］ 薛磊， 王靈梅， 孟恩隆， 等. 基于SCADA數(shù)據(jù)和改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的塔筒應(yīng)力預(yù)測(cè)［J］. 噪聲與振動(dòng)控制， 2021， 41（1）： 95-102.

XUE L， WANG L M， MENG E L， et al. Stress prediction of wind turbine tower drums based on SCADA data and improved "BP "neural "network［J］. "Noise "and "vibration control， 2021， 41（1）： 95-102.

［6］ 周士棟， 薛揚(yáng)， 馬曉晶， 等. 基于SCADA數(shù)據(jù)的風(fēng)電機(jī)組關(guān)鍵載荷預(yù)測(cè)［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（2）： 219-225.

ZHOU SD， XUE Y， MA XJ， et al. Prediction of wind turbine key load based on SCADA data［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（2）： 219-225.

［7］ 周慶梅， 溫釗， 張會(huì)陽(yáng)， 等. 基于數(shù)字孿生的風(fēng)電機(jī)組葉根載荷預(yù)測(cè)［C］//第四屆水下無(wú)人系統(tǒng)技術(shù)高峰論壇. 西安， 中國(guó)， 2021： 156-160.

ZHOU Q M， WEN Z， ZHANG H Y et al. Blade root load prediction of wind turbine based on digital twin ［C］//The Fourth Underwater Unmanned System Technology Summit Forum. Xi’an， China， 2021： 156-160.

［8］ 廖圣瑄， 馬曉明， 韓中合， 等. 基于組合模型的風(fēng)電機(jī)組輪轂載荷預(yù)測(cè)方法研究［J］. 中國(guó)測(cè)試， 2021， 47（5）： 39-45.

LIAO S X， MA X M， HAN Z H， et al. Research on prediction method of wheel hub load of wind turbine based on combined model［J］. China measurement amp; test， 2021， 47（5）： 39-45.

［9］ IEC 61400-13：2015， Wind turbines - Part 13： Design requirements for noise measurement and prediction［S］.

［10］ 滕偉， 丁顯， 史秉帥， 等. 基于WGAN-GP的風(fēng)電機(jī)組傳動(dòng)鏈故障診斷［J］. 電力系統(tǒng)自動(dòng)化， 2021， 45（22）： 167-173.

TENG W， DING X， SHI B S， et al. Fault diagnosis of wind turbine drivetrain based on Wasserstein generative adversarial network-gradient penalty［J］. Automation of electric power systems， 2021， 45（22）： 167-173.

［11］ GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020， 63（11）： 139-144.

［12］ ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN［DB/OL］. （2017-12-06）［］https：//arxiv.org/abs/1701.07875..

［13］ ARJOVSKY M， BOTTOU L. Towards principled methods for training generative adversarial networks［DB/OL］. （2017-01-17）［］https：//arxiv.org/abs/1701.04862.

［14］ VASWANI A ， SHAZEER N ， PARMAR N ，et al.Attention Is All You Need［J］.arXiv， 2017.DOI：10.48550/arXiv.1706.03762.

［15］ HAN Z .Dyna： A method of momentum for stochastic optimization［J］. 2018.DOI：10.48550/arXiv.1805.04933.

［16］ ZABINSKY Z B. Stochastic methods for practical global optimization［J］. Journal of Global Optimization， 1998， 13： 433-444.

［17］ HE K M， ZHANG X Y， REN S Q， et al. Identity mappings in deep residual networks［M］//LEIBE B， MATAS J， SEBE N， et al， eds. Lecture Notes in Computer Science. Cham： Springer International Publishing， 2016： 630-645.

LOAD PREDICTION METHOD OF WIND TURBINE BASED ON MULTISTAGE FEATURE EXTRACTION FRAMEWORK

Yue Jian，Shi Bingshuai，F(xiàn)an Han，Zhang Ke，Zhang Hailong

（Beijing Goldwind Smart Energy Technology Co.， Ltd.， Beijing 100176， China）

Abstract：In this paper， load prediction for wind turbines is studied from two aspects： SCADA data enhancement and multi-stage feature extraction framework for load prediction. Firstly， Generative adversarial network （WGAN-GP） is used for data enhancement. In terms of load prediction， different from the traditional Transformer model applied to text data， this paper uses the structured data of wind turbine operation， and in order to improve feature extraction capability， a multistage feature extractor is proposed for feature extraction. Finally， the improved Transformer model is compared with the results of DNN， ResNet and other models， and it is found that the multistage feature extraction model has better prediction effect for data with high correlation with target features， and has better nonlinear extraction ability for data with low correlation.

Keywords：wind turbines； Transformer； feature extraction； generative adversarial network； load prediction； data enhancement