基于Luong Attention機(jī)制和特征優(yōu)選策略的超短期負(fù)荷預(yù)測(cè)方法

劉立立，劉 洋，唐子卓

（四川大學(xué)電氣工程學(xué)院，成都 610065）

隨著高級(jí)量測(cè)技術(shù)的發(fā)展，用電信息除電力負(fù)荷數(shù)據(jù)外，還包括電壓、電流、水、氣、熱能耗等數(shù)據(jù)[1]。有效地利用多源異構(gòu)的數(shù)據(jù)信息進(jìn)行精確的超短期負(fù)荷預(yù)測(cè)，對(duì)于實(shí)時(shí)發(fā)電計(jì)劃和電力市場(chǎng)清算價(jià)格的制定具有重要意義[2]。

近年來，以深度學(xué)習(xí)為代表的人工智能方法在學(xué)習(xí)數(shù)據(jù)深層特征方面表現(xiàn)出優(yōu)異的性能，其中循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（recurrent neural network）相較其他神經(jīng)網(wǎng)絡(luò)能更好地對(duì)動(dòng)態(tài)時(shí)序數(shù)據(jù)進(jìn)行建模[3]。門控循環(huán)單元GRU（gated recurrent unit）神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶LSTM（long short term memory）神經(jīng)網(wǎng)絡(luò)通過引入特殊的門結(jié)構(gòu)，可以進(jìn)一步解決原始RNN中具有的梯度消失問題，被廣泛用于時(shí)序數(shù)據(jù)模型中[4-5]。文獻(xiàn)[5]指出GRU網(wǎng)絡(luò)相較LSTM網(wǎng)絡(luò)在保持較高預(yù)測(cè)精度的同時(shí)具有更高的計(jì)算效率，在負(fù)荷預(yù)測(cè)領(lǐng)域被廣泛使用。

但傳統(tǒng)GRU模型由于其在負(fù)荷預(yù)測(cè)任務(wù)中輸入序列和輸出序列長(zhǎng)度的限制，一次只能預(yù)測(cè)一個(gè)時(shí)間步長(zhǎng)，并在下次預(yù)測(cè)時(shí)更新網(wǎng)絡(luò)狀態(tài)，這種序列到點(diǎn)的預(yù)測(cè)模式會(huì)極大程度上受到先前時(shí)間步長(zhǎng)預(yù)測(cè)結(jié)果的影響[6]，而且當(dāng)輸入的時(shí)間序列較長(zhǎng)時(shí)，傳統(tǒng)GRU模型難以提取數(shù)據(jù)關(guān)鍵信息，模型預(yù)測(cè)精度仍然較低[7]。

此外，現(xiàn)有用電信息呈現(xiàn)出海量高維的特點(diǎn)，將全部特征變量輸入模型進(jìn)行訓(xùn)練不僅會(huì)造成巨大的計(jì)算開銷，而且不相關(guān)的特征變量反而會(huì)對(duì)模型的預(yù)測(cè)精度產(chǎn)生負(fù)面作用[8]。現(xiàn)有負(fù)荷預(yù)測(cè)研究在進(jìn)行輸入數(shù)據(jù)特征選擇時(shí)，多是通過特征變量與負(fù)荷數(shù)據(jù)之間的相關(guān)性分析或?qū)＜医?jīng)驗(yàn)判別，其選擇流程過于粗糙，易丟失影響負(fù)荷預(yù)測(cè)精度的關(guān)鍵特征變量[9]。

因此，本文提出一種基于Luong注意力LA（Luong attention）機(jī)制和特征優(yōu)選策略的超短期負(fù)荷預(yù)測(cè)方法。首先，以輕量型梯度提升機(jī)LightGBM（light gradient boosting machine）算法內(nèi)部的樹模型參數(shù)作為量化各個(gè)輸入特征重要度的評(píng)價(jià)指標(biāo)，并通過后向搜索策略得到最利于模型訓(xùn)練的優(yōu)選特征集合；其次，通過序列到序列門控循環(huán)神經(jīng)網(wǎng)絡(luò)S2S-GRU（sequence-to-sequence gated recurrent unit）模型對(duì)輸入特征集合及目標(biāo)預(yù)測(cè)數(shù)據(jù)進(jìn)行有監(jiān)督學(xué)習(xí)，并引入LA機(jī)制對(duì)不同輸入步長(zhǎng)賦予不同的權(quán)重，突出影響負(fù)荷預(yù)測(cè)精度的關(guān)鍵時(shí)間步長(zhǎng)信息。本方法旨在獲取更適合預(yù)測(cè)模型學(xué)習(xí)的優(yōu)選特征集合，并通過改進(jìn)模型結(jié)構(gòu)和引入LA機(jī)制，進(jìn)而更準(zhǔn)確地預(yù)測(cè)負(fù)荷變化。算例結(jié)果表明，本文所提負(fù)荷預(yù)測(cè)方法在算法精度和算法效率上均具有優(yōu)越性。

1 輸入數(shù)據(jù)特征選擇

在基于深度學(xué)習(xí)的負(fù)荷預(yù)測(cè)任務(wù)中，首先需要對(duì)預(yù)測(cè)模型進(jìn)行訓(xùn)練。本文訓(xùn)練樣本集D包括輸入數(shù)據(jù)變量和目標(biāo)預(yù)測(cè)變量。每個(gè)輸入數(shù)據(jù)變量可表示為矩陣x∈RT×F，包含歷史電力負(fù)荷數(shù)據(jù)及相關(guān)特征變量，α=1,2,…,T，β=1,2,…,F，其中T為輸入時(shí)間跨度，F(xiàn)為輸入數(shù)據(jù)的特征維度。輸入數(shù)據(jù)變量x定義為

每個(gè)輸入數(shù)據(jù)變量對(duì)應(yīng)1個(gè)目標(biāo)預(yù)測(cè)變量y，y∈RN×1，其中N為預(yù)測(cè)時(shí)間跨度，target[N]為預(yù)測(cè)時(shí)間步長(zhǎng)為N時(shí)的負(fù)荷值。目標(biāo)預(yù)測(cè)變量y定義為

輸入數(shù)據(jù)變量和目標(biāo)預(yù)測(cè)變量的對(duì)應(yīng)關(guān)系如圖1所示。對(duì)于訓(xùn)練樣本集的時(shí)間步長(zhǎng)t，從t+1到t+T的連續(xù)負(fù)荷數(shù)據(jù)及相關(guān)特征變量生成1個(gè)輸入數(shù)據(jù)變量，t+T+1到t+T+N的負(fù)荷數(shù)據(jù)形成相應(yīng)的目標(biāo)預(yù)測(cè)變量。

圖1 訓(xùn)練樣本數(shù)據(jù)Fig.1 Training sample data

為了降低輸入數(shù)據(jù)變量的特征冗余度，提高模型的學(xué)習(xí)能力，本文提出一種基于LightGBM的嵌入式特征選擇算法。首先通過LightGBM算法對(duì)訓(xùn)練樣本集中的輸入數(shù)據(jù)變量和目標(biāo)預(yù)測(cè)變量做回歸分析，然后利用其樹模型的內(nèi)部參數(shù)作為每個(gè)特征的重要度度量指標(biāo)，最后通過后向搜索策略得到最優(yōu)的特征集合。該算法利用模型回歸分析的誤差作為選擇特征集合的評(píng)價(jià)指標(biāo)，且其內(nèi)部結(jié)構(gòu)參數(shù)可作為特征重要性度量的依據(jù)，同時(shí)兼顧了特征選擇的準(zhǔn)確性和高效性。

1.1 LightGBM算法

LightGBM算法在梯度提升決策樹[10]的基礎(chǔ)上，引入了梯度單邊采樣技術(shù)GOSS（gradient-based one-side sampling）和獨(dú)立特征合并技術(shù)MEF（merge exclusive features）[11]。GOSS 可以剔除很大一部分梯度較小的數(shù)據(jù)，在保證信息增益的同時(shí)減小訓(xùn)練量，提高模型的泛化能力。MEF可以將互斥特征進(jìn)行組合，以減少數(shù)據(jù)特征規(guī)模，提高模型的訓(xùn)練速度。

1.2 重要度度量指標(biāo)

LightGBM是基于樹模型的結(jié)構(gòu)，算法在運(yùn)行過程中，每層會(huì)貪心地選取1個(gè)特征分割點(diǎn)作為葉子節(jié)點(diǎn)，使在分割之后整棵樹增益值最大。在分割過程中，每個(gè)葉子節(jié)點(diǎn)的權(quán)重可以表示為w(gi,hi)，其中g(shù)i和hi分別為

式中，訓(xùn)練誤差L(yi,f(xi))表示目標(biāo)變量yi和預(yù)測(cè)變量f(xi)之間的差距。根據(jù)所有葉子節(jié)點(diǎn)的權(quán)重，每個(gè)特征作為分割點(diǎn)的增益G為

式中：wle為葉子節(jié)點(diǎn)左子樹的總權(quán)值；wri為葉子節(jié)點(diǎn)右子樹的總權(quán)值；wnos為分割前的葉子節(jié)點(diǎn)的總權(quán)值。

在算法運(yùn)行過程中特征分裂的次數(shù)越多，說明該特征給整棵樹帶來的正向增益越大，其特征重要度越高。因此，可以將分裂特征的次數(shù)B和特征平均增益Gave作為特征的重要性度量指標(biāo)。B和Gave的計(jì)算公式分別為

式中：X為所求特征被分割到所有葉子節(jié)點(diǎn)的集合；count()為計(jì)數(shù)函數(shù)；GbX為集合X中第b個(gè)葉子節(jié)點(diǎn)由式（10）得到的在特征被分割時(shí)節(jié)點(diǎn)所獲得的增益。

1.3 輸入數(shù)據(jù)特征選擇整體流程

本文所提輸入數(shù)據(jù)特征選擇方法流程如圖2所示，具體步驟如下。

圖2 特征選擇算法框架Fig.2 Framework of feature selection algorithm

步驟1將訓(xùn)練樣本集分為輸入數(shù)據(jù)變量集合{x1,x2,…,xI}和目標(biāo)預(yù)測(cè)變量集合{y1,y2,…,yI}。

步驟2通過LightGBM對(duì)訓(xùn)練樣本集中的輸入數(shù)據(jù)變量和目標(biāo)預(yù)測(cè)變量做回歸分析。

步驟3將式（11）和式（12）的評(píng)價(jià)值作為每個(gè)特征的重要性度量指標(biāo)，按照重要性度量指標(biāo)對(duì)特征進(jìn)行排序，并舍棄1個(gè)重要性最低的特征變量，將余下的特征變量作為新的候選特征集合。

步驟4從完整的特征集合開始，重復(fù)進(jìn)行步驟1～3直至LightGBM算法做回歸分析的結(jié)果滿足終止閾值或達(dá)到迭代次數(shù)。

步驟5將上述輪次中回歸分析準(zhǔn)確率最高的特征集合作為最終優(yōu)選特征集合，回歸分析的準(zhǔn)確率評(píng)價(jià)指標(biāo)采用平均絕對(duì)誤差MAE（mean absolute error）評(píng)價(jià)函數(shù)。

2 基于LA機(jī)制S2S-GRU負(fù)荷預(yù)測(cè)模型

2.1 S2S-GRU模型結(jié)構(gòu)

S2S模型是一種通用的編碼-解碼框架[12]，在本文中編碼器和解碼器由GRU神經(jīng)元構(gòu)成[5]。S2S模型可以將1個(gè)原始序列通過編碼和解碼2個(gè)步驟轉(zhuǎn)換到另1個(gè)序列，可以更好地學(xué)習(xí)數(shù)據(jù)之間的時(shí)序關(guān)系，避免傳統(tǒng)GRU模型序列到點(diǎn)學(xué)習(xí)模式的缺陷，其結(jié)構(gòu)如圖3所示。

圖3 S2S-GRU模型示意Fig.3 Schematic of S2S-GRU model

2.2 LA機(jī)制

在傳統(tǒng)S2S模型中，編碼端將輸入序列中的所有信息壓縮在固定的中間變量C中，所有時(shí)刻的輸入對(duì)輸出均具有相同的影響權(quán)值，使得整個(gè)模型的信息處理能力受到限制。本文在傳統(tǒng)S2S模型中進(jìn)一步引入LA機(jī)制[13]，該機(jī)制能夠通過動(dòng)態(tài)可變的中間變量Cn對(duì)輸入數(shù)據(jù)賦予不同的影響權(quán)重，使得模型在解碼的各個(gè)時(shí)刻有不同的側(cè)重點(diǎn)，提升對(duì)于信息的利用能力。LA機(jī)制在解碼層時(shí)間步長(zhǎng)n下的示意如圖4所示，其中⊕表示變量之間的關(guān)聯(lián)。

圖4 LA機(jī)制示意Fig.4 Schematic of LA mechanism

編碼層的隱含層狀態(tài)hn和輸出在時(shí)間步長(zhǎng)n下的計(jì)算公式分別為

式中：[·]表示變量的連接；f為GRU細(xì)胞單元；g為Softmax函數(shù)；中間變量Cn是編碼器隱藏狀態(tài)的加權(quán)和，即

式中，αnj為編碼層時(shí)間步長(zhǎng)j下輸入的隱藏層狀態(tài)對(duì)解碼層時(shí)間步長(zhǎng)n下輸出的注意力權(quán)重。αnj的計(jì)算公式為

式中，enm和enj分別為編碼層時(shí)間步長(zhǎng)m、j下輸入的隱藏層狀態(tài)對(duì)解碼層時(shí)間步長(zhǎng)n下輸出的注意力值。enj的計(jì)算公式為

式中，S為對(duì)齊函數(shù)，用來計(jì)算編碼層時(shí)間步長(zhǎng)j下輸入的隱藏層狀態(tài)對(duì)解碼層時(shí)間步長(zhǎng)n下輸出的相關(guān)程度。

2.3 本文整體預(yù)測(cè)流程

本文的超短期負(fù)荷預(yù)測(cè)方法的總體實(shí)施過程如圖5所示。過程主要分為訓(xùn)練樣本及測(cè)試樣本生成、輸入數(shù)據(jù)特征選擇、預(yù)測(cè)模型訓(xùn)練及預(yù)測(cè)3部分。訓(xùn)練樣本生成通過數(shù)據(jù)分段的方式，測(cè)試樣本的生成過程采用滑動(dòng)窗口的方式，以使不同的測(cè)試樣本不重疊。輸入數(shù)據(jù)特征選擇方法采用本文所提的基于LightGBM的嵌入式特征選擇算法，對(duì)輸入特征變量進(jìn)行篩選后得到優(yōu)選特征集合。負(fù)荷預(yù)測(cè)模型采用本文所提的基于LA機(jī)制S2S-GRU負(fù)荷預(yù)測(cè)模型，通過對(duì)優(yōu)選特征集合和目標(biāo)預(yù)測(cè)變量進(jìn)行訓(xùn)練，并將測(cè)試樣本集輸入訓(xùn)練完成的預(yù)測(cè)模型得到最終的超短期負(fù)荷預(yù)測(cè)結(jié)果。

圖5 算法實(shí)施過程示意Fig.5 Schematic of algorithm implementation process

3 實(shí)例分析

本文選取加州大學(xué)歐文分校UCI（University of California Irvine）數(shù)據(jù)庫(kù)中的“Individual household electric power consumption Data Set”[14]作為實(shí)驗(yàn)數(shù)據(jù)集。該數(shù)據(jù)集是1個(gè)多特征時(shí)間序列數(shù)據(jù)集，描述1個(gè)用戶從2006年12月—2010年11月期間收集到的用電信息。本文實(shí)驗(yàn)選取其中2009年11月—2010年11月每天48個(gè)采集點(diǎn)的用電信息，數(shù)據(jù)共有8個(gè)時(shí)序特征變量，包括家庭總有功能耗（kW）、家庭總無(wú)功能耗（kVar）、電壓（V）、電流（A）、廚房的有功能耗（kW）、洗衣房的有功能耗（kW）、氣候控制系統(tǒng)的有功能耗（kW）、其他有功能耗（kW），其中家庭總有功能耗為本文負(fù)荷預(yù)測(cè)實(shí)驗(yàn)的目標(biāo)預(yù)測(cè)數(shù)據(jù)。

超短期負(fù)荷預(yù)測(cè)一般指當(dāng)前時(shí)刻往后1 h內(nèi)的負(fù)荷預(yù)測(cè)，本文針對(duì)當(dāng)前時(shí)刻后30 min的負(fù)荷點(diǎn)進(jìn)行預(yù)測(cè)，由于待預(yù)測(cè)時(shí)刻負(fù)荷數(shù)據(jù)通常與前1天負(fù)荷具有較強(qiáng)的相關(guān)性，因此本文實(shí)驗(yàn)設(shè)置輸入時(shí)間跨度T為48，預(yù)測(cè)時(shí)間跨度N為1。此外，超短期負(fù)荷預(yù)測(cè)任務(wù)的待預(yù)測(cè)樣本點(diǎn)較少，難以體現(xiàn)負(fù)荷預(yù)測(cè)模型的效果，因此本文通過迭代預(yù)測(cè)的方法，針對(duì)連續(xù)7 d的負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測(cè)，以展現(xiàn)本文負(fù)荷預(yù)測(cè)模型實(shí)驗(yàn)效果的統(tǒng)計(jì)特性。

首先將本文所提特征選擇方法與基于最大信息系數(shù)MIC（maximum information coefficient）的特征選擇方法[15]、基于XGBoost的特征選擇方法[16]進(jìn)行對(duì)比，以驗(yàn)證本文所提特征選擇方法的先進(jìn)性；其次將本文所提負(fù)荷預(yù)測(cè)模型與LSTM、GRU、S2SLSTM、S2S-GRU、S2S-LSTM+LA進(jìn)行對(duì)比，以驗(yàn)證本文負(fù)荷預(yù)測(cè)模型的先進(jìn)性。

假設(shè)S2S模型的編碼層的隱含層大小設(shè)置為[F，64]，其中F為輸入特征維度，解碼層的隱含層為[65，64]。LA中對(duì)齊函數(shù)S選用dot-product函數(shù)。傳統(tǒng)LSTM、GRU模型的隱含層為[F，64]，所有深度學(xué)習(xí)模型的學(xué)習(xí)率為0.001，批處理參數(shù)為256，迭代次數(shù)為100次。

3.1 實(shí)驗(yàn)環(huán)境和評(píng)價(jià)指標(biāo)設(shè)置

本文實(shí)驗(yàn)通過Python實(shí)現(xiàn)，采用PyTorch作為深度學(xué)習(xí)框架，具體實(shí)驗(yàn)環(huán)境信息包括處理器Intel（R）Core（TM）i5-4210U CPU@1.70 GHz、內(nèi)存6 GB、硬盤500 GB、操作系統(tǒng)Windows10、Python版本3.6.0、PyTorch版本1.1.0。

誤差指標(biāo)采用MAE和平均絕對(duì)百分比誤差MAPE（mean absolute percentage error），計(jì)算公式分別為

式中：Q為預(yù)測(cè)點(diǎn)個(gè)數(shù)；uq為第q點(diǎn)的實(shí)際負(fù)荷值；為第q點(diǎn)的預(yù)測(cè)負(fù)荷值。指標(biāo)值越小表示模型預(yù)測(cè)精度越高。

3.2 不同特征選擇算法效果對(duì)比

本文所提特征選擇算法超參數(shù)的設(shè)置通過多次實(shí)驗(yàn)獲取，本實(shí)驗(yàn)設(shè)置模型的學(xué)習(xí)率為0.05，決策樹的最大分割次數(shù)為200次，訓(xùn)練樣本和測(cè)試樣本的比例與本文負(fù)荷預(yù)測(cè)模型相同。MIC特征選擇算法選取MIC系數(shù)大于0.5的特征作為優(yōu)選特征集合；基于XGBoost的特征選擇算法的超參數(shù)設(shè)置與基于LightGBM的特征選擇算法相同。模型訓(xùn)練樣本為2009年11月—2010年10月的數(shù)據(jù)信息，測(cè)試樣本為2010年11月7日—2010年11月14日的數(shù)據(jù)信息。

首先分別通過3種算法得到優(yōu)選特征集合，然后將優(yōu)選特征集合中的數(shù)據(jù)作為輸入特征變量輸入所有負(fù)荷預(yù)測(cè)模型進(jìn)行負(fù)荷預(yù)測(cè)。本文所提特征選擇方法得到的優(yōu)選特征集合為[家庭總有功能耗，電流]?；贛IC的特征選擇算法得到的優(yōu)選特征集合為[家庭總有功能耗，電流，氣候控制系統(tǒng)的有功能耗，其他有功能耗]?；赬GBoost特征選擇方法得到的優(yōu)選特征集合為[家庭總有功能耗]。分別測(cè)試不同輸入特征集合作為模型輸入數(shù)據(jù)的負(fù)荷預(yù)測(cè)結(jié)果，MAE、MAPE指標(biāo)如圖6所示。不同特征選擇算法在S2S-GRU+LA模型的預(yù)測(cè)結(jié)果如圖7所示。

圖6 特征選擇算法對(duì)比Fig.6 Comparison among feature selection algorithms

圖7 不同特征選擇算法下負(fù)荷預(yù)測(cè)結(jié)果對(duì)比Fig.7 Comparison of load forecasting results among different feature selection algorithms

可以看出，不同特征變量集合得到的負(fù)荷預(yù)測(cè)結(jié)果存在較大差異，未經(jīng)選擇的特征變量集合其負(fù)荷預(yù)測(cè)結(jié)果存在較大波動(dòng)；經(jīng)基于XGBoost特征選擇算法選取后的單一特征變量所能提供的信息量較少；基于MIC特征選擇算法只考慮了變量和負(fù)荷數(shù)據(jù)之間的相關(guān)性，沒有考慮到特征集合對(duì)預(yù)測(cè)模型的綜合影響；而本文的特征選擇算法考慮了特征變量之間的綜合影響，選取了對(duì)負(fù)荷預(yù)測(cè)模型增益最大的特征集合，其選擇后的特征集合最有利于模型進(jìn)行負(fù)荷預(yù)測(cè)。

此外，對(duì)比不同特征選擇算法的計(jì)算效率，本文特征選擇算法的平均計(jì)算時(shí)間為23.87 s，基于MIC的特征選擇算法和基于XGBoost的特征選擇方法的平均計(jì)算時(shí)間分別為226.21 s、47.32 s。可以看出，本文所提特征選擇算法在算法效率上也具有明顯優(yōu)勢(shì)。

3.3 不同負(fù)荷預(yù)測(cè)模型對(duì)比

對(duì)所有6種負(fù)荷預(yù)測(cè)模型進(jìn)行超短期負(fù)荷預(yù)測(cè)實(shí)驗(yàn)，驗(yàn)證本文所提模型的精度優(yōu)勢(shì)。設(shè)定輸入變量為經(jīng)過本文特征選擇算法選擇后的優(yōu)選特征集合，模型訓(xùn)練樣本為2009年11月—2010年10月的數(shù)據(jù)信息，采用負(fù)荷預(yù)測(cè)模型對(duì)連續(xù)7 d（2010年11月7日—2010年11月14日）的負(fù)荷數(shù)據(jù)進(jìn)行超短期負(fù)荷預(yù)測(cè)，不同模型實(shí)驗(yàn)結(jié)果的MAE、MAPE值如圖8所示。

圖8 不同負(fù)荷預(yù)測(cè)模型對(duì)比Fig.8 Comparison among different load forecasting models

由圖8可知，S2S模型相較LSTM、GRU模型具有明顯的預(yù)測(cè)精度優(yōu)勢(shì)，這是由于S2S模型可以有效降低負(fù)荷的隨機(jī)波動(dòng)特性對(duì)模型預(yù)測(cè)過程的影響，而LA機(jī)制可以突出影響負(fù)荷預(yù)測(cè)精度的關(guān)鍵時(shí)間步長(zhǎng)信息，進(jìn)一步提高模型的預(yù)測(cè)精度。另一方面，LSTM類模型和GRU類模型的預(yù)測(cè)精度較為接近，說明GRU類模型雖然相較LSTM類模型簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)，但其依舊保持了較強(qiáng)的時(shí)序數(shù)據(jù)學(xué)習(xí)能力。

對(duì)比不同負(fù)荷預(yù)測(cè)模型的計(jì)算效率，引入LA機(jī)制前后的預(yù)測(cè)模型的訓(xùn)練收斂速度如圖9所示。在負(fù)荷預(yù)測(cè)模型訓(xùn)練達(dá)到收斂狀態(tài)時(shí)，GRU迭代次數(shù)為57，S2S-GRU迭代次數(shù)為81，而S2SGRU+LA的迭代次數(shù)僅為41，其算法收斂速度顯著提升?？梢钥闯?，引入LA機(jī)制可以明顯提升預(yù)測(cè)模型對(duì)時(shí)序數(shù)據(jù)關(guān)聯(lián)特性的學(xué)習(xí)能力。

圖9 不同算法收斂速度對(duì)比Fig.9 Comparison of convergence rate among different algorithms

此外，對(duì)比各個(gè)負(fù)荷預(yù)測(cè)模型的單次訓(xùn)練時(shí)長(zhǎng)和總體預(yù)測(cè)時(shí)長(zhǎng)如表1所示。可以看出，S2S模型的單次訓(xùn)練時(shí)長(zhǎng)相較LSTM/GRU模型無(wú)明顯增加，LA機(jī)制會(huì)使得S2S模型的單次訓(xùn)練時(shí)長(zhǎng)平均增加16.9%。但是LA機(jī)制彌補(bǔ)了S2S模型訓(xùn)練收斂速度慢的不足，有效節(jié)約了模型的總訓(xùn)練時(shí)長(zhǎng)，總體運(yùn)算效率有顯著提升。GRU類模型相較LSTM類模型因其簡(jiǎn)化了門結(jié)構(gòu)，可以在保持較高學(xué)習(xí)精度的同時(shí)具有較高的計(jì)算效率。

表1 不同算法單次訓(xùn)練時(shí)長(zhǎng)對(duì)比Tab.1 Comparison of single training time among different algorithms

4 結(jié)論

（1）基于LightGBM算法的嵌入式特征選擇方法與基于MIC的特征選擇方法、基于XGBoost的特征選擇方法相比，本文方法具有更高的效率，且經(jīng)過篩選后的優(yōu)選特征可以有效提高負(fù)荷預(yù)測(cè)精度。

（2）S2S-LSTM/GRU+LA模型在算法精度上的表現(xiàn)均優(yōu)于傳統(tǒng)LSTM、GRU和S2S-LSTM/GRU模型，GRU類模型在保持高預(yù)測(cè)精度的同時(shí)較LSTM類模型具有更高的計(jì)算效率，且引入LA機(jī)制可以進(jìn)一步提高模型的收斂性能。