基于TCN-MHA 的短期光伏功率預測

孫永叡，任曉穎，2*，張 飛，2，高 鷺，郝 斌

（1.內(nèi)蒙古科技大學信息工程學院，內(nèi)蒙古 包頭 014000；2.華北電力大學新能源學院，北京 100000）

據(jù)國家能源局統(tǒng)計，2022 年1—6 月光伏新增并網(wǎng)容量3 087.8 萬kW，累計并網(wǎng)容量約3.4 億kW，同比增長26%[1]。隨著光伏并網(wǎng)容量規(guī)模的增加，光伏發(fā)電的隨機性、周期性對電網(wǎng)會產(chǎn)生更大的沖擊。準確的光伏功率預測有利于光伏電站及電網(wǎng)合理調(diào)度，增加電網(wǎng)消納光電能力，提高電網(wǎng)穩(wěn)定性[2]。

光伏功率預測實際上是對非平穩(wěn)數(shù)據(jù)流的預判，預測方法可以根據(jù)不同的尺度進行分類[3]。如按照預測過程、預測空間尺度、預測時間尺度，若按照不同的預測形式，可分為點預測、區(qū)間預測和概率預測。本研究屬于點預測，主要分為物理法、統(tǒng)計法、元啟發(fā)式學習法等。物理法雖不需詳細的歷史數(shù)據(jù)訓練模型，但依賴詳細的電站地理信息和準確氣象數(shù)據(jù)，且物理公式存在一定的誤差，模型抗干擾能力差，魯棒性不強。統(tǒng)計法相較于物理法，具有建模簡單等優(yōu)勢，但該方法由于對早期和近期數(shù)據(jù)重要性不加區(qū)分，所以不能較好地反映特征當前發(fā)展趨勢，且當有新的數(shù)據(jù)點出現(xiàn)時，所建模型需要重新確定，不能自行延續(xù)。元啟發(fā)式學習法采用算法對樣本數(shù)據(jù)進行訓練得到輸入量與輸出量的關(guān)系，屬于人工智能的范疇。常見的元啟發(fā)式法有深度學習及機器學習法等。許多學者利用經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Networks，RNN）[4-6]、長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）[7-9]和門控循環(huán)單元（Gated Recurrent Unit，GRU）[10-12]取得了大量成果，這些預測模型能夠有效提取深層次的數(shù)據(jù)特征，體現(xiàn)時間序列前后的關(guān)聯(lián)性，被認為是功率預測的首要選擇。而Bai 等[13]提出了基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）的時間卷積神經(jīng)網(wǎng)絡（Temporal Convolutional Networks，TCN），表明了卷積架構(gòu)在多種任務和數(shù)據(jù)集上的表現(xiàn)優(yōu)于典型的循環(huán)網(wǎng)絡，靈活的感受野展現(xiàn)更長的有效記憶，得出了如今應同時將卷積神經(jīng)網(wǎng)絡作為序列建模任務自然起點的結(jié)論，因此，近年來越來越多的學者在時間序列預測任務中使用卷積神經(jīng)網(wǎng)絡及其變體作為首要預測模型。

為克服TCN 在多步預測輸出與固定輸入之間的不同非線性映射關(guān)系難以建立[14]的不足，本研究基于TCN 建立了深度學習混合模型對日前短期光伏功率進行預測。首先，對數(shù)據(jù)進行處理，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換及特征選擇；然后對TCN 和MHA 進行相關(guān)介紹，并對所提深度學習混合模型TCN-MHA 及預測步驟進行闡述；最后通過算例分析將所提模型與CNN、TCN 及CNN-LSTM 進行對比，驗證所提模型的有效性。

1 數(shù)據(jù)處理

1.1 數(shù)據(jù)預處理

本研究數(shù)據(jù)集為DKASC 澳大利亞中部愛麗絲溫泉光伏系統(tǒng)2 號站點2012—2015 年數(shù)據(jù)[15]，場站裝機容量為26.52 kW，采樣周期為1 h，共35 064 組數(shù)據(jù)。首先，對光伏數(shù)據(jù)中的異常值及缺失值進行處理。通過箱型圖檢測異常值，采用前值填充法填充異常值及缺失值；數(shù)據(jù)集中90%為訓練集，10%為測試集，訓練集中的20%為驗證集；由于不同特征的量綱不同，為了方便模型訓練，使用Tensorflow 中MinMaxScaler 方法對數(shù)據(jù)進行歸一化處理，其數(shù)學式見式（1）。

式中：Xnorm為歸一化結(jié)果；X為輸入值；Xmax為數(shù)據(jù)集中對應特征的最大值；Xmin為數(shù)據(jù)集中對應特征的最小值。

1.2 數(shù)據(jù)轉(zhuǎn)換

深度學習網(wǎng)絡輸入數(shù)據(jù)需要三維，對于光伏數(shù)據(jù)這類時間序列數(shù)據(jù)，需要將數(shù)據(jù)經(jīng)過滑動窗口。一來可以將數(shù)據(jù)劃分為輸入特征和目標特征，轉(zhuǎn)換為有監(jiān)督學習；二來可以將輸入數(shù)據(jù)轉(zhuǎn)化為三維，實現(xiàn)動態(tài)預測。本研究對經(jīng)滑動窗口的數(shù)據(jù)進一步遍歷篩選，對輸入輸出數(shù)據(jù)進行每24 個樣本重新采樣，拉長相鄰樣本數(shù)據(jù)的間隔，得到無重復的輸出數(shù)據(jù)，方便后續(xù)日前功率預測及評估。圖1 為經(jīng)過滑動窗口前后的數(shù)據(jù)。

圖1 滑動窗口處理前后數(shù)據(jù)變化

圖2 為遍歷篩選前后的數(shù)據(jù)，處理后輸出數(shù)據(jù)（Y）可以獲得1 311 d 獨立數(shù)據(jù)。

圖2 篩選前后數(shù)據(jù)變化

1.3 特征選擇

由于深度學習算法會挖掘數(shù)據(jù)潛在特征，本研究結(jié)合相關(guān)性分析及預測實驗進行特征選擇。表1 為各特征與光伏功率的Pearson 及Spearman 相關(guān)性分析結(jié)果。

表1 相關(guān)性分析結(jié)果（保留4 位小數(shù)）

根據(jù)相關(guān)性分析可以看出兩種相關(guān)性有相似的趨勢，結(jié)合以上結(jié)果創(chuàng)建3 組特征，分別為：①電流相位平均值、有功功率、全球水平輻射和擴散水平輻射。②電流相位平均值、有功功率、全球水平輻射、擴散水平輻射、風速、溫度和相對濕度。③電流相位平均值、有功功率、全球水平輻射、擴散水平輻射、風速、溫度、相對濕度、風向和日降雨量。

下面基于3 組特征使用TCN-MHA 模型進行實驗，實驗結(jié)果見表2。

表2 各特征組合實驗結(jié)果

結(jié)合表2 可以看出組合3 的預測效果最好，因此最終選擇電流相位平均值、有功功率、全球水平輻射、擴散水平輻射、風速、溫度、相對濕度、風向和日降雨量作為輸入特征，將特征進行篩選有利于提升模型預測精度和訓練速度。

2 預測模型

2.1 時間卷積神經(jīng)網(wǎng)絡（TCN）

TCN 由因果卷積、膨脹卷積及殘差連接組成，不僅具有并行性、因果性等特點，還具有靈活的感受野，所以適合處理時間序列數(shù)據(jù)。圖3 為TCN 中因果膨脹卷積示意圖。

圖3 TCN 中因果膨脹卷積

對于輸入序列X=（x1，x2，…，xn），其中xi為列向量，i∈[1，n]；過濾器F=（f1，f2，…，fK）；下式給出x在t時刻的膨脹卷積計算公式

式中：d為膨脹系數(shù)；k為過濾器個數(shù)。卷積運算過程多數(shù)據(jù)可同時與卷積核做內(nèi)積，加快模型處理數(shù)據(jù)的速度。TCN 感受野可以靈活調(diào)整，其大小可以根據(jù)卷積核尺寸Ksize、膨脹系數(shù)d及殘差塊數(shù)量Nstack進行調(diào)整。下式給出感受野的計算過程

式中：Σdi為殘差塊中堆疊的卷積層數(shù)。由于TCN 可靈活調(diào)整感受野，因此深層TCN 訓練穩(wěn)定性需要重視。深層網(wǎng)絡容易出現(xiàn)梯度消失和梯度爆炸的問題而殘差連接被證明是訓練深層網(wǎng)絡的有效方法。因此，研究者設計TCN 模型時，使用了一個殘差塊來代替一層卷積。一個殘差塊為經(jīng)過一系列變換F的輸出與塊的輸入相加，如式（4）

式中：O為殘差塊輸出；Activation 為激活函數(shù)；x為殘差塊的輸入；F為非線性變換。

綜上所述TCN 網(wǎng)絡適合處理時間序列數(shù)據(jù)，但TCN 在提取輸入序列的多尺度時空特征及挖掘多步預測輸出和固定輸入之間的不同非線性映射關(guān)系方面面臨困難[14]，因此，基于TCN 構(gòu)建深度學習混合模型可能會使預測精度進一步提升。

2.2 多頭注意力機制（MHA）

給定相同的查詢、鍵和值的集合時，若想要模型能基于相同注意力機制學習到不同的行為，然后將不同的行為組合起來，例如捕獲序列內(nèi)各種范圍的依賴關(guān)系，那么允許注意力機制組合使用查詢、鍵和值的不同的子空間表示是一種有效的方法。MHA 與使用單獨的一個注意力池化不同，其可以獨立學習得到h組不同的線性投影來變換查詢、鍵和值；然后，h組變換后的查詢、鍵和值將并行地進行注意力池化；最后，將這h個注意力池化的輸出拼接在一起，通過另一個可學習線性投影進行變換，以產(chǎn)生最終輸出。h個注意力池化輸出中每一個輸出都被稱作一個頭。圖4 為多頭注意力模型。

圖4 多頭注意力機制模型

用數(shù)學語言描述該模型：給定查詢q∈Rdq，鍵k∈Rdk和值v∈Rdv，每個注意力頭hi，i∈[1，…，h]的計算方法為

式中：wi(q)，wi(k)，wi(v)為可學習參數(shù)；f為注意力池化函數(shù)。多頭注意力的輸出需要經(jīng)過另一個線性轉(zhuǎn)換，對應h個頭拼接結(jié)果，如式（6），其可學習參數(shù)是wo?；谶@種設計，每個頭可能會關(guān)注輸入的不同部分，因此，MHA可表示比簡單加權(quán)平均更復雜的函數(shù)。

2.3 所提模型TCN-MHA

所提模型由TCN、MHA 及全連接等部分組成。首先TCN 接收光伏數(shù)據(jù)后進行第一次的特征提取，調(diào)整感受野，以提取當前時刻光伏功率對多特征長期歷史數(shù)據(jù)的依賴關(guān)系，同時TCN 中的殘差塊解決了梯度消失及梯度爆炸等問題。經(jīng)過RepeatVector 層將TCN 提取到的特征信息進行復制以進行升維。之后輸入MHA中，找尋不同維度下的相互依賴關(guān)系，使用縮放點積公式計算注意力，對特征信息賦權(quán)。經(jīng)過Flatten 層融合特征信息進行降維。最后經(jīng)過兩層全連接，第一層結(jié)合以上信息，進行第二次特征提取，而后輸入到第二層，經(jīng)過第二層訓練得到光伏功率預測序列。圖5 為所提模型結(jié)構(gòu)框圖。

圖5 TCN-MHA 模型結(jié)構(gòu)框圖

3 算例分析

3.1 算例介紹

本研究使用Tensorflow 深度學習框架。為驗證所提模型的有效性，本研究將CNN、TCN 及CNN-LSTM作為對比模型。歷史窗口長度為72，預測窗口長度為24，即用過去3 d 數(shù)據(jù)預測未來1 d 光伏功率。經(jīng)調(diào)參確定各模型參數(shù)，具體見表3（未列出參數(shù)為默認值）。

表3 各模型參數(shù)設置

3.2 評估指標

為評估各模型預測性能，使用均方根誤差（RMSE）和平均絕對誤差（MAE）兩種評估指標。其表達式見式（7）及式（8）

式中：yi為光伏功率實際值為光伏功率預測值，n為樣本數(shù)量。兩種評價指標均為回歸任務中常用的評價指標。RMSE 放大了誤差之間的差距，易受到極端值的影響，MAE 對異常值的敏感度較低，能較好地反映預測值與真實值之間誤差的實際情況。

3.3 預測結(jié)果分析

各模型預測評價結(jié)果見表4。

表4 各模型評價結(jié)果

從表4 可以看出所提模型具有最佳預測精度，TCN的預測精度優(yōu)于CNN。具體來講所提模型相較于CNN，MAE 和RMSE 指標分別提升了8.79%及6.52%；相較于TCN，分別提升了3.95%及5.29%；相較于CNN-LSTM 分別提升了1.25%及2.05%。TCN 作為基于CNN 的模型，預測表現(xiàn)優(yōu)于CNN，而深度學習混合模型CNN-LSTM 優(yōu)于TCN，TCN-MHA 優(yōu)于其他模型，可以看出合理的模型組合有利于提升模型預測精度。

各模型連續(xù)3 天功率預測曲線見如圖6 所示。

圖6 預測曲線

從圖6 可以看出所提模型對光伏功率真實值曲線的擬合最優(yōu)，其次是CNN-LSTM，TCN 優(yōu)于CNN，該圖直觀地體現(xiàn)了各模型的預測效果。

4 結(jié)束語

本研究針對日前短期光伏功率預測建立了深度學習混合模型TCN-MHA。將數(shù)據(jù)通過滑動窗口后進行篩選；結(jié)合實驗及相關(guān)性分析進行特征選擇；使用TCN及MHA 提取數(shù)據(jù)特征并將輸入的特征信息進行不同維度的空間映射，找尋不同維度下的相互依賴關(guān)系，進而使用全連接層充分學習，建立多特征輸入與光伏功率的非線性映射，從而實現(xiàn)日前短期光伏功率的動態(tài)預測。最終通過實驗證明了所提模型在本數(shù)據(jù)集中預測精度相較于CNN、TCN 及CNN-LSTM 均有提升。