基于雙重注意力LSTM 神經(jīng)網(wǎng)絡(luò)的可解釋海上風(fēng)電出力預(yù)測(cè)

蘇向敬，周汶鑫，李超杰，米 陽，符 楊，董朝陽

（1. 上海電力大學(xué)電氣工程學(xué)院，上海市 200090；2. 新南威爾士大學(xué)電氣工程與通信學(xué)院，悉尼2052，澳大利亞）

0 引言

近年來，可再生能源發(fā)電規(guī)模發(fā)展迅速，其中風(fēng)能因其分布廣泛、資源豐富和零污染的優(yōu)點(diǎn)成為目前可再生能源利用的主要形式［1］。相比于陸上風(fēng)電，中國(guó)海上風(fēng)能資源更為豐富，且靠近負(fù)荷中心而具有更好的消納能力，這使得海上風(fēng)電逐漸成為中國(guó)風(fēng)電發(fā)展的重要方向［2］。然而，海上氣象和水文條件復(fù)雜多變，風(fēng)電出力受氣象、尾流等因素的影響。同時(shí)，海上風(fēng)電出力集中送出后通常接入岸上配電網(wǎng)，而考慮海上風(fēng)電場(chǎng)多位于經(jīng)濟(jì)發(fā)達(dá)的沿海地區(qū)，其配電網(wǎng)自身負(fù)荷較重，受海上風(fēng)電接入的沖擊影響更為顯著。因此，高精度且可靠的出力預(yù)測(cè)能夠?yàn)楹Ｉ巷L(fēng)電的調(diào)度和運(yùn)行提供必要依據(jù)［3-4］，對(duì)促進(jìn)海上風(fēng)電開發(fā)利用意義重大。

風(fēng)電出力受環(huán)境特征影響顯著，相比于陸上，海上氣象條件演化快、海況復(fù)雜，如何提取環(huán)境數(shù)據(jù)與海上風(fēng)電出力間的深層非線性相關(guān)性，成為提高海上風(fēng)電出力預(yù)測(cè)精度的關(guān)鍵［5］，這就對(duì)出力預(yù)測(cè)模型捕捉關(guān)鍵信息的能力提出了更高的要求。一般來說，通過充分考慮不同特征間的時(shí)空相關(guān)性并增強(qiáng)關(guān)鍵信息表達(dá)、弱化冗余信息，有助于提升預(yù)測(cè)模型的性能。例如：文獻(xiàn)［6］采用小波變換將風(fēng)力時(shí)間序列分解后通過長(zhǎng)短期記憶（long short-term memory，LSTM）網(wǎng)絡(luò)進(jìn)行功率預(yù)測(cè)；文獻(xiàn)［7］基于海上風(fēng)電機(jī)組風(fēng)能轉(zhuǎn)換系統(tǒng)的物理過程設(shè)計(jì)了輸入特征，并通過皮爾森系數(shù)和深度學(xué)習(xí)算法探究特征間的相關(guān)性；文獻(xiàn)［8］提出將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與雙向LSTM 網(wǎng)絡(luò)相結(jié)合，從特征空間和時(shí)間角度提取數(shù)據(jù)信息。上述海上風(fēng)電出力預(yù)測(cè)方法雖在一定程度上加強(qiáng)了對(duì)特征相關(guān)性信息的挖掘，但均提取局部特征信息，難以獲取全局特征相關(guān)性，造成特征關(guān)聯(lián)信息的丟失。同時(shí)，上述方法僅關(guān)注模型訓(xùn)練前輸入特征與目標(biāo)特征間的固有關(guān)聯(lián)，因此對(duì)各時(shí)間的輸入特征均分配相同的權(quán)重。但風(fēng)電機(jī)組出力輸入特征與目標(biāo)特征間的相關(guān)程度隨時(shí)間不斷變化［9］，對(duì)輸入特征時(shí)序相關(guān)性的挖掘提出了更高要求。

同時(shí)，鑒于海上風(fēng)電接入對(duì)岸上受端電網(wǎng)的沖擊影響更為顯著，在實(shí)際工程應(yīng)用中須增強(qiáng)預(yù)測(cè)模型和預(yù)測(cè)結(jié)果的可靠性。故在提高出力預(yù)測(cè)模型精度的同時(shí)，獲得其預(yù)測(cè)結(jié)果的可解釋性有著重要意義［10-11］。可解釋性是通過向人類展示模型學(xué)習(xí)過程、工作機(jī)制，從而實(shí)現(xiàn)預(yù)測(cè)過程透明化和模型可理解的能力［12］。然而，現(xiàn)有出力預(yù)測(cè)模型普遍為“黑箱”，未能實(shí)現(xiàn)預(yù)測(cè)性能與可解釋性的兼顧［13］?！昂谙洹蹦Ｐ蛢?nèi)部結(jié)構(gòu)的復(fù)雜性使得其決策過程無法以人類可理解的形式展現(xiàn)，導(dǎo)致模型預(yù)測(cè)結(jié)果在實(shí)際應(yīng)用中可信度偏低。故從模型的實(shí)際工程部署角度來說，尋求模型解釋是現(xiàn)階段人工智能模型所面臨的重要挑戰(zhàn)［12］?？山忉屝圆粌H能夠通過突出影響預(yù)測(cè)結(jié)果的潛在對(duì)抗性擾動(dòng)提升模型的魯棒性［14］，同時(shí)能夠輔助決策者理解模型做出預(yù)測(cè)結(jié)果的依據(jù)，實(shí)現(xiàn)對(duì)變量間潛在因果關(guān)系的驗(yàn)證［15-16］。

針對(duì)上述不足，本文提出一種基于雙重注意力LSTM（dual-stage attention LSTM，DALSTM）網(wǎng)絡(luò)的可解釋海上風(fēng)電出力預(yù)測(cè)模型。在LSTM 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入特征和時(shí)序雙重注意力機(jī)制，以動(dòng)態(tài)捕捉輸入特征與目標(biāo)特征間的潛在相關(guān)性，并增強(qiáng)對(duì)輸入序列中關(guān)鍵信息的表達(dá)。更重要的是，借助雙重注意力機(jī)制在模型訓(xùn)練過程中的權(quán)重動(dòng)態(tài)分配，可實(shí)現(xiàn)對(duì)輸入特征和時(shí)序重要信息的評(píng)估，進(jìn)而結(jié)合領(lǐng)域知識(shí)實(shí)現(xiàn)對(duì)模型預(yù)測(cè)結(jié)果的解釋。最后，基于中國(guó)東海大橋海上風(fēng)電場(chǎng)真實(shí)的數(shù)據(jù)采集與監(jiān)控（SCADA）數(shù)據(jù)開展仿真，驗(yàn)證本文所提DALSTM 網(wǎng)絡(luò)模型對(duì)超短期海上風(fēng)電出力預(yù)測(cè)的有效性與優(yōu)越性。

1 DALSTM 網(wǎng)絡(luò)模型

本文所提DALSTM 網(wǎng)絡(luò)預(yù)測(cè)模型以LSTM 神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)模型，用以捕獲風(fēng)電出力的動(dòng)態(tài)特性和輸入序列間的長(zhǎng)短期時(shí)序依賴關(guān)系［17-19］。同時(shí)引入輸入特征和時(shí)序雙重注意力機(jī)制，其中特征注意力機(jī)制用以學(xué)習(xí)輸入特征對(duì)目標(biāo)特征的貢獻(xiàn)度，時(shí)序注意力機(jī)制用以識(shí)別歷史時(shí)刻對(duì)當(dāng)前時(shí)刻預(yù)測(cè)的貢獻(xiàn)。

1.1 注意力機(jī)制

LSTM 神經(jīng)網(wǎng)絡(luò)對(duì)所有信息進(jìn)行無差別壓縮，忽略了特征之間的相關(guān)性和輸入信息的時(shí)間差異［20］。注意力機(jī)制是一種資源分配機(jī)制，可自適應(yīng)地為輸入信息分配注意力權(quán)重，以評(píng)估不同輸入對(duì)期望輸出的貢獻(xiàn)率，并突出重要輸入信息的影響［21-22］。在機(jī)器翻譯［23］、語音識(shí)別［24］等領(lǐng)域，注意力機(jī)制已取得了顯著的應(yīng)用效果。本文通過引入注意力機(jī)制實(shí)現(xiàn)對(duì)LSTM 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能的改善，同時(shí)通過對(duì)模型訓(xùn)練過程中注意力權(quán)重變化趨勢(shì)及最終結(jié)果的可視化，一定程度上實(shí)現(xiàn)模型的可解釋性。

1.1.1 特征注意力機(jī)制

在所提DALSTM 網(wǎng)絡(luò)模型中，特征注意力機(jī)制被用于LSTM 網(wǎng)絡(luò)的輸入特征提取過程。通過對(duì)模型輸入特征動(dòng)態(tài)分配注意力權(quán)重，挖掘輸入特征與目標(biāo)特征之間的關(guān)聯(lián)關(guān)系，將注意力集中于重要特征，減少甚至忽略無關(guān)特征。這一過程可有效解決傳統(tǒng)相關(guān)性分析方法導(dǎo)致的特征關(guān)聯(lián)信息丟失的問題。

特征注意力機(jī)制的結(jié)構(gòu)如附錄A 圖A1 所示，以第t 個(gè)時(shí)間步為例，含M 個(gè)特征的單時(shí)間步輸入特征向量xt=[ x1，t，x2，t，…，xM，t]。采用單層神經(jīng)網(wǎng)絡(luò)計(jì)算得到注意力權(quán)重向量et［25］：

鑒于特征注意力機(jī)制位于模型的淺層，且輸入特征數(shù)據(jù)通常集中在一定數(shù)值范圍內(nèi)，本文通過Sigmoid 函數(shù)在非線性變換過程中將權(quán)重系數(shù)映射到（0，1）區(qū)間，以提升注意力權(quán)重的全面性。

1.1.2 時(shí)序注意力機(jī)制

時(shí)序注意力機(jī)制通過對(duì)輸入序列各歷史時(shí)刻攜帶的時(shí)序信息分配注意力權(quán)重，以區(qū)分其對(duì)當(dāng)前時(shí)刻預(yù)測(cè)輸出的影響。同時(shí)，可自主提取各歷史時(shí)刻數(shù)據(jù)間的時(shí)序信息，并增強(qiáng)關(guān)鍵時(shí)刻的信息表達(dá)。

時(shí)序注意力機(jī)制結(jié)構(gòu)如附錄A 圖A2 所示，輸入為模型迭代至?xí)r刻t 的LSTM 網(wǎng)絡(luò)單元隱藏層狀態(tài)ht=[h1，t，h2，t，…，hk，t]，其中k 為輸入序列時(shí)間窗口長(zhǎng)度。當(dāng)前t 時(shí)刻對(duì)應(yīng)各歷史時(shí)刻的時(shí)間注意力權(quán)重向量lt為［25］：

式中：lt=[l1，t，l2，t，…，lk，t]；Wd為可訓(xùn)練權(quán)重矩陣；bd為計(jì)算時(shí)間注意力權(quán)重的偏置向量；ReLU(·)表示激活函數(shù)，用以增加特征差異，并使權(quán)重分配更為集中。

通過式（5）中的Softmax 函數(shù)對(duì)各時(shí)間注意力權(quán)重系數(shù)歸一化，得到時(shí)間注意力權(quán)重βt=[ β1，t，β2，t，…，βτ，t，…，βk，t]，其中βτ，t為第τ 個(gè)時(shí)刻的注意力權(quán)重值，與各相應(yīng)歷史時(shí)刻的隱藏層狀態(tài)進(jìn)行加權(quán)，得到綜合時(shí)序信息狀態(tài)h＇t。

式中：?表示矩陣乘積。

1.2 DALSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)

通過將上述輸入特征和時(shí)序注意力機(jī)制引入LSTM 網(wǎng)絡(luò)，本文所提DALSTM 網(wǎng)絡(luò)模型的完整結(jié)構(gòu)如圖1 所示，主要包含輸入層、特征注意力層、LSTM 網(wǎng)絡(luò)層、時(shí)序注意力層和全連接層。

圖1 DALSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 Structure of DALSTM network model

具體流程為：首先，采用特征注意力機(jī)制挖掘輸入特征間的潛在相關(guān)性，具體將風(fēng)電出力歷史序列和相關(guān)輸入特征序列組成的輸入樣本X 送至特征注意力層，并通過特征注意力權(quán)重的動(dòng)態(tài)分配實(shí)現(xiàn)對(duì)特征的提取，獲得加權(quán)輸入序列X＇；隨后，搭建LSTM 網(wǎng)絡(luò)層結(jié)構(gòu)，并從加權(quán)輸入特征序列提取隱藏的時(shí)序關(guān)聯(lián)信息，得到各歷史時(shí)刻的隱藏層狀態(tài)h；在此基礎(chǔ)上，通過時(shí)序注意力層挖掘相關(guān)特征時(shí)間序列各時(shí)刻信息{hτ}和當(dāng)前時(shí)刻數(shù)據(jù)間的相關(guān)性，并采用時(shí)序注意力機(jī)制對(duì)其分配時(shí)間注意力權(quán)重，以增強(qiáng)關(guān)鍵歷史時(shí)刻信息的表達(dá)，獲得加權(quán)后的綜合時(shí)序信息狀態(tài)h＇；最后，將含各歷史時(shí)刻信息的全局隱藏層狀態(tài)h＇送入全連接層，輸出未來n 步的出力預(yù)測(cè)yt+n。

2 完整海上風(fēng)電出力預(yù)測(cè)流程

在上述所提DALSTM 網(wǎng)絡(luò)訓(xùn)練模型的基礎(chǔ)上，結(jié)合數(shù)據(jù)準(zhǔn)備和模型測(cè)試環(huán)節(jié)，可得到本文完整海上風(fēng)電出力預(yù)測(cè)流程，如圖2 所示。

圖2 海上風(fēng)電出力預(yù)測(cè)流程圖Fig.2 Flow chart of offshore wind power output forecasting

2.1 數(shù)據(jù)準(zhǔn)備

由于惡劣的氣象條件，海上風(fēng)電機(jī)組SCADA系統(tǒng)傳感器故障或通信網(wǎng)絡(luò)擁塞問題頻發(fā)，相比于陸上風(fēng)電機(jī)組面臨著更嚴(yán)峻的數(shù)據(jù)缺失問題［26］，因此需要針對(duì)海上風(fēng)電SCADA 數(shù)據(jù)設(shè)計(jì)適合的缺失數(shù)據(jù)填充方法。完成缺失數(shù)據(jù)填充后的數(shù)據(jù)集根據(jù)目的可劃分為訓(xùn)練集和測(cè)試集。對(duì)于訓(xùn)練集數(shù)據(jù)，以風(fēng)速、風(fēng)向、環(huán)境溫度等為代表的氣象特征與風(fēng)電出力有著天然強(qiáng)相關(guān)性。同時(shí)，考慮海上風(fēng)電氣象特征變化劇烈，本文基于現(xiàn)有氣象特征進(jìn)一步構(gòu)造統(tǒng)計(jì)特征，并結(jié)合原始特征形成輸入特征集用于模型訓(xùn)練。在此基礎(chǔ)上，對(duì)輸入特征集和測(cè)試集數(shù)據(jù)做歸一化處理，分別獲得新的訓(xùn)練集和測(cè)試集。

2.2 模型訓(xùn)練

本文采用反向傳播算法進(jìn)行預(yù)測(cè)模型訓(xùn)練［27］。以實(shí)現(xiàn)式（7）、式（8）中多步損失函數(shù)最小的訓(xùn)練目標(biāo)［28］，并采用Adam 優(yōu)化器對(duì)模型中各層系數(shù)進(jìn)行迭代更新［29］，得到最終的DALSTM 海上風(fēng)電出力預(yù)測(cè)模型。

式中：N 為訓(xùn)練樣本數(shù)；y?t+λ為模型t 時(shí)刻輸出的第λ步出力預(yù)測(cè)值；yt+λ為對(duì)應(yīng)的出力真實(shí)值；n 為多步預(yù)測(cè)步長(zhǎng)；y?i，t+λ和yi，t+λ分別為模型t 時(shí)刻輸出的第i個(gè)樣本第λ 步出力預(yù)測(cè)值和對(duì)應(yīng)的真實(shí)值。式（7）為單步損失函數(shù)，式（8）為多步損失函數(shù)，定義為各步損失函數(shù)之和。

2.3 模型評(píng)價(jià)

為量化評(píng)價(jià)所提DALTSM 網(wǎng)絡(luò)預(yù)測(cè)模型的性能，本文采用均方根誤差（RMSE）指標(biāo)ERMSE和平均絕對(duì)誤差（MAE）指標(biāo)EMAE作為誤差評(píng)價(jià)指標(biāo)。上述指標(biāo)數(shù)值越小，表示預(yù)測(cè)精度越高。同時(shí)采用確定系數(shù)R2評(píng)估模型有效性，其值越大，表示預(yù)測(cè)模型對(duì)數(shù)據(jù)的擬合效果越好。具體計(jì)算公式如下：

2.4 模型可解釋性

預(yù)測(cè)模型可解釋性的關(guān)鍵在于捕獲單個(gè)變量的動(dòng)態(tài)以及多變量間的相互作用［24］。傳統(tǒng)LSTM 網(wǎng)絡(luò)模型在計(jì)算隱藏層狀態(tài)時(shí)將所有輸入變量數(shù)據(jù)混合，無法對(duì)單個(gè)變量的時(shí)序動(dòng)態(tài)進(jìn)行區(qū)分。為此，本文通過引入雙重注意力機(jī)制，在模型訓(xùn)練過程中對(duì)各輸入特征和各歷史時(shí)刻的注意力權(quán)重進(jìn)行動(dòng)態(tài)分配，以獲得其對(duì)預(yù)測(cè)結(jié)果的貢獻(xiàn)度。同時(shí)，通過熱力圖可視化不同特征和時(shí)間注意力權(quán)重的變化趨勢(shì)及最終結(jié)果、監(jiān)測(cè)預(yù)測(cè)過程中的注意力行為，從而一定程度上實(shí)現(xiàn)了預(yù)測(cè)模型的可解釋性。

3 算例分析驗(yàn)證

為驗(yàn)證所提DALSTM 海上風(fēng)電出力預(yù)測(cè)模型的可行性與優(yōu)越性，本文基于東海大橋海上風(fēng)電場(chǎng)真實(shí)SCADA 數(shù)據(jù)開展案例仿真和分析。

3.1 仿真案例設(shè)置

東海大橋海上風(fēng)電場(chǎng)位于上海東海大橋東側(cè)距海岸線8～13 km 的海域。項(xiàng)目一期共安裝了34 臺(tái)單機(jī)容量為3 MW 的離岸型風(fēng)機(jī)，風(fēng)電場(chǎng)經(jīng)四回35 kV 海底電纜接入岸上110 kV 升壓變電站，并入上海市電網(wǎng)。風(fēng)電場(chǎng)平均水深為10 m，風(fēng)機(jī)設(shè)計(jì)高度為90 m，代表年主風(fēng)向?yàn)镋-SSE，風(fēng)速在3.5～25.0 m/s 出現(xiàn)的頻率占96%，年平均風(fēng)速為8.4 m/s。風(fēng)電場(chǎng)海域潮汐為非正規(guī)半日淺海潮，設(shè)計(jì)表層潮流流速為3.15 m/s。受季風(fēng)、副熱帶高壓等因素影響，風(fēng)電場(chǎng)出力具有明顯季節(jié)特性，整體表現(xiàn)為春季和夏季相對(duì)較低，而秋季和冬季相對(duì)較高［30］。

東海大橋海上風(fēng)電SCADA 系統(tǒng)數(shù)據(jù)采集周期為15 min，記錄了氣象、空氣動(dòng)力學(xué)及機(jī)組主要部件的運(yùn)行參數(shù)等共15 個(gè)特征，具體如附錄A 表A1 所示。這些SCADA 特征數(shù)據(jù)共同構(gòu)成了本文所提模型的訓(xùn)練集和測(cè)試集。同時(shí)，通過動(dòng)態(tài)挖掘各特征間的時(shí)空相關(guān)性，并觀察其注意力權(quán)重分配變化，實(shí)現(xiàn)對(duì)模型的解釋。

仿真案例設(shè)置方面，為驗(yàn)證所提DALSTM 網(wǎng)絡(luò)模型的預(yù)測(cè)精度，本文基于2019 年10 月至2020 年12 月的海上風(fēng)電SCADA 數(shù)據(jù)，對(duì)比多種現(xiàn)有風(fēng)電出力預(yù)測(cè)模型并進(jìn)行單步與多步出力預(yù)測(cè)仿真。在此基礎(chǔ)上，通過可視化注意力權(quán)重的變化趨勢(shì)，對(duì)模型預(yù)測(cè)結(jié)果的合理性進(jìn)行解釋。

仿真參數(shù)設(shè)置方面，模型原始輸入特征維度為15，目標(biāo)特征為預(yù)測(cè)時(shí)刻的風(fēng)電機(jī)組出力。本文設(shè)定輸入序列的時(shí)間窗口長(zhǎng)度k 為20，即利用第1 至20 時(shí)刻的輸入特征序列對(duì)第21+n 時(shí)刻的出力進(jìn)行建模。LSTM 網(wǎng)絡(luò)的隱藏層維度為32，層數(shù)為1；模型學(xué)習(xí)率設(shè)為0.001，訓(xùn)練批次設(shè)為64，迭代次數(shù)為1 000，并選擇Adam 優(yōu)化器。

3.2 數(shù)據(jù)預(yù)處理

本文提取風(fēng)電機(jī)組SCADA 系統(tǒng)采集的正常運(yùn)行數(shù)據(jù)用于模型訓(xùn)練。根據(jù)機(jī)組運(yùn)行手冊(cè)，可編程邏輯控制器（PLC）狀態(tài)代碼為7 時(shí)表示機(jī)組處于穩(wěn)定發(fā)電的正常運(yùn)行狀態(tài)，故僅保留PLC 狀態(tài)代碼為7 的數(shù)據(jù)。在此基礎(chǔ)上，對(duì)缺失數(shù)據(jù)進(jìn)行填充處理并添加統(tǒng)計(jì)特征數(shù)據(jù)，以提升預(yù)測(cè)效果。

3.2.1 缺失數(shù)據(jù)填充

SCADA 數(shù)據(jù)缺失問題主要包含由傳感器故障引起的部分特征數(shù)據(jù)缺失和由網(wǎng)絡(luò)擁塞引起的部分時(shí)段全部特征數(shù)據(jù)缺失2 種類型。針對(duì)部分特征數(shù)據(jù)缺失，考慮風(fēng)電機(jī)組各子系統(tǒng)特征間具有強(qiáng)時(shí)空相關(guān)性，本文采用文獻(xiàn)［31］提出的多變量時(shí)間序列生成對(duì)抗網(wǎng)絡(luò)（MTS-GAN）進(jìn)行填充。針對(duì)部分時(shí)段全部特征數(shù)據(jù)缺失，本文基于臨近風(fēng)電機(jī)組間的空間相關(guān)性對(duì)目標(biāo)風(fēng)電機(jī)組缺失值進(jìn)行填充［32］。填充后的數(shù)據(jù)集，取其中80%作為模型訓(xùn)練集，其余20%作為模型測(cè)試集。

3.2.2 添加數(shù)據(jù)統(tǒng)計(jì)特征

為進(jìn)一步提升模型預(yù)測(cè)精度，基于SCADA 數(shù)據(jù)集現(xiàn)有氣象特征構(gòu)造其統(tǒng)計(jì)特征，包含-1point風(fēng)速、近1 風(fēng)速對(duì)近3 趨勢(shì)、近風(fēng)速3 個(gè)mean、近風(fēng)速3 個(gè)max、近環(huán)境溫度3 個(gè)max、平均變槳力矩及平均變槳角度等共12 個(gè)特征。其中：-1point、-2point、-3point 分別表示前1、2、3 個(gè)點(diǎn)的數(shù)值；近1 風(fēng)速對(duì)近3 趨勢(shì)表示前1 個(gè)時(shí)間步的風(fēng)速值與前3 個(gè)時(shí)間步風(fēng)速值之比，用于捕捉風(fēng)速變化的趨勢(shì)；近風(fēng)速3 個(gè)mean 表示前3 個(gè)時(shí)間步風(fēng)速的均值；近風(fēng)速3 個(gè)max 表示前3 個(gè)時(shí)間步中風(fēng)速的最大值；近環(huán)境溫度3 個(gè)max 表示前3 個(gè)時(shí)間步中環(huán)境溫度的最大值。結(jié)合所構(gòu)造的統(tǒng)計(jì)特征與訓(xùn)練集原有特征共同構(gòu)成新的27 維輸入特征矩陣，提供給預(yù)測(cè)模型進(jìn)行訓(xùn)練。

3.2.3 數(shù)據(jù)歸一化

因所選數(shù)據(jù)集由不同特征數(shù)據(jù)組成，不同特征量綱不同且數(shù)值差異較大。為避免對(duì)模型訓(xùn)練效果產(chǎn)生不利影響，通過式（12）對(duì)輸入數(shù)據(jù)歸一化［33］。

式中：x 和x?分別為歸一化前、后的值；xmax和xmin分別為原數(shù)據(jù)的最大值和最小值。

所有特征中，風(fēng)向反映了風(fēng)速在某特定方向上的投影系數(shù)，依據(jù)其物理意義，采用正弦函數(shù)對(duì)風(fēng)向進(jìn)行歸一化處理。同時(shí)，變槳角度作為角度特征，也采用正弦函數(shù)進(jìn)行歸一化計(jì)算。

3.3 模型預(yù)測(cè)性能

本節(jié)主要通過仿真對(duì)比驗(yàn)證所提DALSTM 網(wǎng)絡(luò)的預(yù)測(cè)性能：先添加統(tǒng)計(jì)特征的預(yù)測(cè)效果并進(jìn)行分析；再通過與現(xiàn)有預(yù)測(cè)模型的對(duì)比，分別驗(yàn)證所提DALSTM 網(wǎng)絡(luò)對(duì)單步和多步出力預(yù)測(cè)的效果。

3.3.1 添加統(tǒng)計(jì)特征

為評(píng)估添加統(tǒng)計(jì)特征對(duì)模型預(yù)測(cè)的影響，分別基于原始特征數(shù)據(jù)集和加入統(tǒng)計(jì)特征的數(shù)據(jù)集建模。附錄A 圖A3 和表1 分別展示了二者的預(yù)測(cè)曲線和預(yù)測(cè)誤差。由圖A3 和表1 可知，基于添加統(tǒng)計(jì)特征的新特征集，模型出力預(yù)測(cè)結(jié)果的RMSE、MAE 指標(biāo)明顯降低，同時(shí)R2顯著提高，表明了合理添加統(tǒng)計(jì)特征可有效提升模型預(yù)測(cè)精度和數(shù)據(jù)擬合效果。

表1 基于不同特征數(shù)據(jù)集的預(yù)測(cè)誤差對(duì)比Table 1 Comparision of forecasting errors based on different feature datasets

3.3.2 單步出力預(yù)測(cè)

為驗(yàn)證所提DALSTM 網(wǎng)絡(luò)對(duì)單步出力預(yù)測(cè)的精度，基于相同數(shù)據(jù)集和仿真參數(shù)設(shè)置，分別與現(xiàn)有海上風(fēng)電出力預(yù)測(cè)模型LSTM、CNN-LSTM、特征注意力LSTM（FALSTM）和時(shí)序注意力LSTM（TALSTM）進(jìn)行仿真對(duì)比。各模型預(yù)測(cè)結(jié)果如表2 所示，附錄A 圖A4 展示了其對(duì)應(yīng)出力預(yù)測(cè)曲線。

表2 不同模型單步出力預(yù)測(cè)結(jié)果對(duì)比Table 2 Comparision of one-step output forecasting results of different models

上述結(jié)果表明，CNN-LSTM 模型和引入注意力機(jī)制后的TALSTM、FALSTM 模型相比，傳統(tǒng)LSTM 模型預(yù)測(cè)精度更高，且數(shù)據(jù)擬合效果更好。具體來說，CNN-LSTM 模型通過CNN 進(jìn)行輸入特征提取，進(jìn)而結(jié)合LSTM 進(jìn)行出力預(yù)測(cè)，其預(yù)測(cè)精度的提高驗(yàn)證了特征提取過程的必要性。而引入時(shí)序注意力機(jī)制的TALSTM 模型，其RMSE 和MAE相比于LSTM 分別下降了1.71%和3.41%，R2值也略高于LSTM，但其模型性能相比于CNN-LSTM略低。這是由于TALSTM 模型通過為各歷史時(shí)刻分配注意力權(quán)重，能夠避免信息丟失并增強(qiáng)關(guān)鍵時(shí)刻信息的表達(dá)，相比LSTM 獲得了預(yù)測(cè)模型準(zhǔn)確性的提升；但因其僅關(guān)注時(shí)間相關(guān)性，沒有對(duì)特征相關(guān)性信息進(jìn)行有效挖掘，應(yīng)用于海上風(fēng)電出力預(yù)測(cè)時(shí)精度相比CNN-LSTM 仍顯不足。同時(shí)，引入特征注意力機(jī)制的FALSTM 模型，其RMSE 相比于LSTM 和CNN-LSTM 分別下降了4.27% 和2.68%，MAE 分別下降了11.36%和4.88%，且R2值升高。這表明特征注意力機(jī)制相比于CNN 具有更優(yōu)越的輸入特征提取能力，F(xiàn)ALSTM 模型通過為各輸入特征分配注意力權(quán)重，可有效提取輸入特征與目標(biāo)特征間的關(guān)聯(lián)關(guān)系，并提高預(yù)測(cè)精度。

本文提出的DALSTM 模型在單步預(yù)測(cè)情況下，精度相比于CNN-LSTM 有明顯提升，證明了其對(duì)輸入特征空間和時(shí)序相關(guān)性的深度挖掘能力，在海上風(fēng)電出力預(yù)測(cè)中具有顯著的優(yōu)勢(shì)。同時(shí)，其預(yù)測(cè)效果也均優(yōu)于上述引入單一注意力機(jī)制的FALSTM 和TALSTM 模型，反映出引入雙重注意力機(jī)制的綜合優(yōu)勢(shì)。由附錄A 圖A4 可知，雙重注意力機(jī)制的引入使得模型的預(yù)測(cè)曲線更接近原始數(shù)據(jù)曲線，表明注意力機(jī)制通過學(xué)習(xí)數(shù)據(jù)間依存關(guān)系并提取關(guān)鍵信息，對(duì)提高出力預(yù)測(cè)精度具有重要幫助。

3.3.3 多步出力預(yù)測(cè)

為驗(yàn)證所提DALSTM 模型的多步預(yù)測(cè)能力，基于相同數(shù)據(jù)集及仿真參數(shù)設(shè)置，分別采用LSTM、CNN-LSTM、FALSTM、TALSTM 和本文所提DALSTM 模型開展仿真。具體分別針對(duì)風(fēng)電機(jī)組出力進(jìn)行4 步（1 h）、8 步（2 h）、12 步（3 h）和16 步（4 h）的超短期預(yù)測(cè)。表3 給出了其預(yù)測(cè)效果對(duì)比，同時(shí)附錄A 圖A5 展示了對(duì)應(yīng)多步出力預(yù)測(cè)曲線。

表3 不同模型多步出力預(yù)測(cè)結(jié)果對(duì)比Table 3 Comparision of multi-step output forecasting results with different models

由表3 可見，基于不同出力預(yù)測(cè)模型的RMSE和MSE 值均隨預(yù)測(cè)步長(zhǎng)的增加而升高，即預(yù)測(cè)誤差增加。同時(shí)，R2隨預(yù)測(cè)步長(zhǎng)的增加而降低，即數(shù)據(jù)擬合效果下降。這是由于隨著預(yù)測(cè)步長(zhǎng)的增加，待預(yù)測(cè)的風(fēng)電出力值與輸入歷史時(shí)間序列數(shù)據(jù)間的依賴性減弱，并導(dǎo)致預(yù)測(cè)模型精度下降。

對(duì)比表3 和附錄A 圖A5 可知，隨著預(yù)測(cè)步長(zhǎng)增加，F(xiàn)ALSTM 模型相比于CNN-LSTM 模型始終具有更好的預(yù)測(cè)性能，表明了特征注意力機(jī)制在多步預(yù)測(cè)中仍具有較好的特征提取能力；而所提DALSTM 模型在各預(yù)測(cè)步長(zhǎng)下均具有最高的預(yù)測(cè)精度和模型擬合度。同時(shí)觀察圖A5 可知，相比其他預(yù)測(cè)模型，DALSTM 模型具有更高的模型穩(wěn)定性，即可以更好地?cái)M合出力數(shù)據(jù)的變化趨勢(shì)，且隨著預(yù)測(cè)步長(zhǎng)的增加其相對(duì)優(yōu)勢(shì)愈發(fā)明顯。具體表現(xiàn)為：在4 步和8 步出力預(yù)測(cè)中，DALSTM 的RMSE值相比對(duì)應(yīng)步長(zhǎng)下RMSE 值最小的FALSTM 模型分別降低了1.75%和7.60%，R2值分別提升了1.1%和2.3%；在16 步出力預(yù)測(cè)中，DALSTM 的RMSE值相比FALSTM 模型降低了10.35%，R2值提升了6.8%。故所提DALSTM 模型在海上風(fēng)電多步出力預(yù)測(cè)中優(yōu)勢(shì)更加明顯。

3.4 模型的可解釋性

所提DALSTM 模型在模型訓(xùn)練和測(cè)試過程中通過注意力權(quán)重的動(dòng)態(tài)分配，能夠?qū)崿F(xiàn)對(duì)輸入特征空間和時(shí)序重要性的評(píng)估。對(duì)于模型訓(xùn)練過程，通過可視化不同迭代次數(shù)單樣本的注意力權(quán)重，能夠?qū)Ω魈卣骱蜁r(shí)刻的重要性變化趨勢(shì)進(jìn)行定量分析，進(jìn)而借助領(lǐng)域知識(shí)對(duì)其進(jìn)行評(píng)估，可以實(shí)現(xiàn)模型預(yù)測(cè)過程的可解釋性。圖3 和附錄A 圖A6 分別展示了DALSTM 模型在訓(xùn)練過程中的特征和時(shí)間重要性。同時(shí)在模型測(cè)試過程中，對(duì)不同月份連續(xù)樣本的特征注意力權(quán)重值進(jìn)行可視化和定量分析，并結(jié)合水文氣象知識(shí)驗(yàn)證結(jié)果解釋的合理性。圖4 展示了DALSTM 模型在測(cè)試過程中的特征注意力權(quán)重連續(xù)變化。

圖4 不同月份連續(xù)樣本注意力權(quán)重Fig.4 Attention weights of continuous samples in different months

3.4.1 模型訓(xùn)練中的特征權(quán)重解釋

模型在迭代訓(xùn)練過程中對(duì)不同輸入特征動(dòng)態(tài)分配注意力權(quán)重，并在訓(xùn)練結(jié)束時(shí)確定特征重要性排名。重要性高的特征對(duì)海上風(fēng)電出力預(yù)測(cè)有著更大貢獻(xiàn)度，并會(huì)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生更大影響。圖3 分別給出了模型在第10 次、50 次和97 次（收斂）迭代時(shí)的特征注意力權(quán)重?zé)崃D，其中橫軸為樣本時(shí)間跨度，間隔為15 min，其中時(shí)間點(diǎn)20 距離預(yù)測(cè)時(shí)刻最近。縱軸為輸入特征，色塊深淺表示特征注意力權(quán)重大小。圖3 展示了特征注意力權(quán)重在模型迭代過程中的動(dòng)態(tài)變化，表明特征注意力機(jī)制可挖掘SCADA 數(shù)據(jù)集輸入特征與目標(biāo)特征間的空間關(guān)聯(lián)。

圖3 模型訓(xùn)練中的特征注意力權(quán)重變化趨勢(shì)Fig.3 Changing trend of feature attention weights in model training

具體來說，在模型迭代收斂過程中，輸入特征“風(fēng)電出力”的注意力權(quán)重逐漸上升至0.073，對(duì)風(fēng)電出力預(yù)測(cè)過程的貢獻(xiàn)度最高，即對(duì)預(yù)測(cè)結(jié)果的影響最大。對(duì)于人工添加的統(tǒng)計(jì)特征：“近1 風(fēng)速對(duì)近3趨勢(shì)”的注意力權(quán)重在模型迭代至收斂時(shí)達(dá)到0.068，且隨迭代次數(shù)增加對(duì)模型預(yù)測(cè)結(jié)果的相對(duì)貢獻(xiàn)度也表現(xiàn)出明顯的提升。由圖3 可知，模型在第10 次、50 次迭代時(shí)，該特征注意力權(quán)重在整體特征集中排序靠后，而當(dāng)模型迭代至收斂時(shí)，其權(quán)重排在第2 位。這表明“近1 風(fēng)速對(duì)近3 趨勢(shì)”有助于實(shí)現(xiàn)對(duì)海上風(fēng)速變化趨勢(shì)的捕捉，在模型訓(xùn)練迭代過程中表現(xiàn)出對(duì)預(yù)測(cè)結(jié)果的影響程度不斷提高。同時(shí)，“葉輪轉(zhuǎn)速”及“平均變槳角度”的注意力權(quán)重均在0.056 左右，“風(fēng)速”的注意力權(quán)重在迭代過程中存在波動(dòng)并收斂到0.048，其他風(fēng)速相關(guān)統(tǒng)計(jì)特征注意力權(quán)重值在0.042 左右，剩余特征注意力權(quán)重則較低，對(duì)出力預(yù)測(cè)結(jié)果的影響較小。另外，對(duì)比不同迭代次數(shù)的熱力圖可知，“出力歷史值”“風(fēng)速及相關(guān)統(tǒng)計(jì)特征”“葉輪轉(zhuǎn)速”“平均變槳角度”等特征在迭代過程中始終占有較高的權(quán)重，表明這些特征對(duì)出力預(yù)測(cè)結(jié)果的影響更大，與風(fēng)電出力的相關(guān)性也更大。

實(shí)際中，“出力歷史值”與預(yù)測(cè)值相關(guān)度最高，直接影響著預(yù)測(cè)結(jié)果；“風(fēng)速”為風(fēng)電出力的關(guān)鍵影響因素，“葉輪轉(zhuǎn)速”直接受風(fēng)速影響，故兩者及其統(tǒng)計(jì)特征均表現(xiàn)出對(duì)出力預(yù)測(cè)過程較高的貢獻(xiàn)度。故領(lǐng)域知識(shí)與上述仿真結(jié)果吻合，從特征重要性角度證明了本文風(fēng)電出力預(yù)測(cè)模型的合理性。

3.4.2 模型訓(xùn)練中的時(shí)間權(quán)重解釋

在模型迭代訓(xùn)練過程中，時(shí)間注意力機(jī)制關(guān)注各歷史時(shí)刻數(shù)據(jù)對(duì)風(fēng)電出力預(yù)測(cè)過程的貢獻(xiàn)度，附錄A 圖A6 展示了模型在第10 次、50 次、97 次（收斂）迭代時(shí)的樣本時(shí)間注意力權(quán)重?zé)崃D。由圖A6可知，模型迭代前期時(shí)間注意權(quán)重幾乎是隨時(shí)間線性增加，且距離預(yù)測(cè)時(shí)刻越近權(quán)重值越高。隨著迭代次數(shù)的增加，攜帶關(guān)鍵信息的時(shí)間注意力權(quán)重逐漸上升。當(dāng)?shù)諗繒r(shí)，模型主要關(guān)注距預(yù)測(cè)時(shí)刻更近的時(shí)間步，即這些時(shí)間步蘊(yùn)含的信息對(duì)出力預(yù)測(cè)結(jié)果影響更大。

值得注意的是，本文設(shè)定樣本輸入序列時(shí)間窗口長(zhǎng)度為20，即單樣本包含20 個(gè)時(shí)間步。在此5 h時(shí)段內(nèi)風(fēng)電出力尚未表現(xiàn)出明顯的周期性，故距離預(yù)測(cè)時(shí)刻越近的時(shí)間步攜帶的信息對(duì)預(yù)測(cè)結(jié)果影響越大。上述領(lǐng)域知識(shí)與附錄A 圖A6 中結(jié)果一致，從時(shí)間重要性角度驗(yàn)證了本文預(yù)測(cè)模型的合理性。

3.4.3 模型解釋能力對(duì)比

在上述特征和時(shí)間權(quán)重解釋的基礎(chǔ)上，通過對(duì)比所提的DALSTM 和單注意力FALSTM、TALSTM 模型來驗(yàn)證其模型的解釋能力。具體來說，F(xiàn)ALSTM 模型包含特征注意力層、LSTM 層及全連接層，與DALSTM 模型具有相同的特征注意力分配過程，故二者具有相同的特征權(quán)重解釋能力。但FALSTM 模型僅通過LSTM 層進(jìn)行時(shí)序信息提取，不具備時(shí)間重要性的解釋能力。TALSTM模型則包含LSTM 層、時(shí)序注意力層及全連接層，僅能實(shí)現(xiàn)時(shí)間重要性解釋。為進(jìn)一步探究引入雙重注意力機(jī)制的DALSTM 模型的綜合優(yōu)勢(shì)，本文對(duì)模型迭代收斂時(shí)DALSTM 與TALSTM 注意力權(quán)重?zé)崃D進(jìn)行了對(duì)比。如附錄A 圖A7 所示，距預(yù)測(cè)時(shí)刻越近，TALSTM 時(shí)間注意力權(quán)重越高，而DALSTM 除對(duì)距離預(yù)測(cè)時(shí)刻近的時(shí)間步分配較高權(quán)重外，還表現(xiàn)出對(duì)該樣本窗口內(nèi)其他時(shí)間步的關(guān)注。這是由于特征注意力層對(duì)特征關(guān)聯(lián)關(guān)系的動(dòng)態(tài)挖掘，加強(qiáng)了關(guān)鍵特征在各歷史時(shí)刻的表達(dá)，在實(shí)現(xiàn)深度特征提取的同時(shí)影響著不同時(shí)間步對(duì)預(yù)測(cè)結(jié)果的貢獻(xiàn)。

3.4.4 模型測(cè)試中的連續(xù)樣本權(quán)重解釋

海上風(fēng)電出力易受到氣象因素的影響而表現(xiàn)出相比于陸上更明顯的季節(jié)特性［34］。除模型訓(xùn)練外，為同時(shí)說明注意力機(jī)制對(duì)模型測(cè)試過程的解釋能力，基于四季中的不同月份進(jìn)行仿真對(duì)比。通過對(duì)測(cè)試集中連續(xù)樣本進(jìn)行特征注意力權(quán)重提取與可視化，觀察不同季節(jié)條件下各特征對(duì)出力預(yù)測(cè)結(jié)果的貢獻(xiàn)度，并結(jié)合水文氣象知識(shí)驗(yàn)證合理性。圖4 為2020 年5 月、8 月、10 月和2021 年2 月2 000 個(gè)連續(xù)測(cè)試樣本點(diǎn)的特征注意力權(quán)重?zé)崃D。

由圖4 可見，2020 年5 月“風(fēng)向”特征的注意力權(quán)重較高，即風(fēng)向?qū)︻A(yù)測(cè)結(jié)果貢獻(xiàn)度更高。這是由于東海位于東亞季風(fēng)區(qū)，5 月為季風(fēng)轉(zhuǎn)換期，海上風(fēng)向變化顯著，對(duì)模型預(yù)測(cè)的影響增加。2020 年8 月對(duì)出力預(yù)測(cè)結(jié)果影響最突出的特征為“歷史時(shí)刻出力”，同時(shí)相比于其他月份“風(fēng)速”特征影響有所降低。這是因?yàn)橄募径酁槠巷L(fēng)，風(fēng)向平穩(wěn)且風(fēng)力相對(duì)較弱，海上溫度也相對(duì)穩(wěn)定，各氣象特征影響差異不大。2020 年10 月“風(fēng)速”及其相關(guān)統(tǒng)計(jì)特征注意力權(quán)重明顯升高，這是由于該月份東海受熱帶氣旋和冷空氣影響，常出現(xiàn)偏北大風(fēng)天氣，故“風(fēng)速”對(duì)預(yù)測(cè)結(jié)果影響更為顯著。2021 年2 月與2020 年10 月各特征注意力權(quán)重基本一致，而“環(huán)境溫度”特征注意力權(quán)重略有升高。因?yàn)槎臼⑿袕?qiáng)勁偏北風(fēng)，且環(huán)境溫度波動(dòng)相對(duì)明顯，表現(xiàn)為對(duì)出力預(yù)測(cè)結(jié)果的貢獻(xiàn)度提升。

4 結(jié)語

本文提出了一種基于DALSTM 的可解釋海上風(fēng)電出力預(yù)測(cè)模型。在LSTM 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入特征和時(shí)序雙重注意力機(jī)制，通過注意力權(quán)重的動(dòng)態(tài)分配，同時(shí)對(duì)輸入特征間的潛在關(guān)聯(lián)和歷史時(shí)刻蘊(yùn)含的有效信息進(jìn)行挖掘，從而提升超短期海上風(fēng)電出力預(yù)測(cè)的準(zhǔn)確性和可解釋能力。

通過上述真實(shí)案例仿真對(duì)比分析表明：

1）所提DALSTM 海上風(fēng)電出力預(yù)測(cè)模型在進(jìn)行單步出力預(yù)測(cè)時(shí)具有優(yōu)越的預(yù)測(cè)精度；

2）所提DALSTM 模型在進(jìn)行多步出力預(yù)測(cè)時(shí)仍可保持較高的預(yù)測(cè)性能，具有更高的穩(wěn)定性，且隨預(yù)測(cè)步長(zhǎng)的增加其相對(duì)優(yōu)勢(shì)愈發(fā)明顯；

3）本文所提出力預(yù)測(cè)模型具有一定程度的可解釋能力，經(jīng)驗(yàn)證能得到合理的模型解釋結(jié)果，對(duì)實(shí)際工程具有更加可靠的參考和應(yīng)用價(jià)值。

值得注意的是，海上風(fēng)電出力預(yù)測(cè)受氣象、海況等多重不確定性因素的影響，往往具有較高隨機(jī)性，對(duì)并網(wǎng)運(yùn)行帶來挑戰(zhàn)。本文從預(yù)測(cè)模型可解釋性的角度開展研究，以提升預(yù)測(cè)結(jié)果的可靠性，后續(xù)可以綜合考慮各種不確定性因素的統(tǒng)計(jì)特征，開展海上風(fēng)電出力的概率預(yù)測(cè)研究。同時(shí)，鑒于海上風(fēng)電數(shù)據(jù)的完整性與準(zhǔn)確性偏差，后續(xù)可對(duì)數(shù)據(jù)清洗、補(bǔ)全等預(yù)處理開展研究。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。