多算法多模型與在線第二次學習結合的短期電力負荷預測方法

周 末，金 敏

(湖南大學 信息科學與工程學院，長沙410084)

多算法多模型與在線第二次學習結合的短期電力負荷預測方法

周 末，金 敏*

(湖南大學 信息科學與工程學院，長沙410084)

為了提高短期電力負荷預測精度，首次提出多算法多模型與在線第二次學習結合的預測方法。首先,利用互信息方法和統(tǒng)計方法對輸入變量進行選擇; 然后, 通過Bootstrap方法對數據集進行多樣性采樣，利用多個不同的人工智能算法和機器學習算法訓練得到多個差異化較大的異構預測模型; 最后,用每個待預測時刻最近一段時間的實際負荷值、第一次學習生成的多異構預測模型的負荷預測值構成新訓練數據集，對新訓練數據集進行在線第二次學習，得到最終預測結果。對中國廣州市負荷進行預測研究，與最優(yōu)單模型、單算法多模型和多算法單模型相比，在每日總負荷預測中，全年平均絕對百分誤差(MAPE)分別下降了21.07%、7.64%和5.00%，在每日峰值負荷預測中，全年MAPE分別下降了16.02%、7.60%和13.14%。實驗結果表明，推薦方法有效地提高了負荷預測精度，有利于智能電網實現(xiàn)節(jié)能降耗、調度精細化管理和電網安全預警。

短期電力負荷預測；多樣性采樣；異構模型；多算法多模型；在線第二次學習

0 引言

電力負荷預測是智能電網建設的基本環(huán)節(jié)之一，精準、時效的負荷預測是智能電網實現(xiàn)節(jié)能降耗、調度精細化管理和電網安全預警的基礎。由于影響電力負荷變化的因素呈現(xiàn)出較高的隨機性，使得電力負荷的變化也具有較高的隨機性，加大了預測的難度。已有電力負荷預測模型總體分為經典預測模型、人工智能預測模型和機器學習預測模型。經典預測模型主要有回歸分析法[1]、時間序列法[2]等，經典預測模型是一種簡單的線性方法，模型結構簡單，預測速度快，但對于電力負荷非線性變化問題預測精度不高。人工智能預測模型主要是神經網絡[3-6]，例如反向傳播神經網絡(Back Propagation Neural Network, BPNN)、極限學習機等。神經網絡算法具有很強的非線性擬合能力和自學習能力，但大部分網絡結構需要經驗進行確定；雖然極限學習機能夠解決網絡結構的問題，但極限學習機不穩(wěn)定。機器學習預測模型主要有支持向量機(Support Vector Machine, SVM)[7]、最小二乘支持向量機(Least Square Support Vector Machine, LSSVM)[8-10]、隨機森林(Random Forest, RF)[11-12]和GBRT(Gradient Boosting Regression Tree)[11,13]等。LSSVM是標準SVM的一種擴展，克服了標準SVM的缺點，降低了計算復雜度，提高了求解速度，在負荷增長較大時預測效果依然較好，但LSSVM對異常值的魯棒性不夠好，且模型訓練參數需要通過尋優(yōu)的方法獲得，增加了訓練時間和難度；隨機森林和GBRT這兩種算法本質是樹型算法，克服了LSSVM的缺點，對異常值的魯棒性好，模型訓練所需參數少，預測精度較高，GBRT算法在迭代過程中可能出現(xiàn)過擬合問題，用RF算法去學習一個回歸模型，將模型的預測輸出初始化GBRT(initialized GBRT, iGBRT)[14]，可以有效避免過擬合問題，且訓練效率更高，預測性能相比RF和GBRT有所提升，但樹型算法在負荷增長較大時預測精度不高。

任何一種預測模型都有其特定的適用范圍。在模型訓練時，單模型方法可能出現(xiàn)過擬合、泛化能力受限，在模型預測時，每個單模型在相同的時間點上預測效果不一樣，預測精度仍有提升空間，為了進一步減小預測誤差，多個領域對多模型集成方法進行了研究，如圖像識別、醫(yī)療診斷等[15-17]。目前訓練多模型的方法主要分為兩種: 一種是針對單個算法，通過數據集采樣多樣性、設置不同模型參數、選取不同輸入變量等方式，生成多個模型[18-20]，這種方法較好地解決了單模型可能出現(xiàn)過擬合、泛化能力受限等問題，但該方法局限于單一算法，無法解決單個算法適用范圍受限的問題; 另一種是針對多個算法，每個算法生成一個模型[21-23]，多個算法優(yōu)勢互補克服了單個算法適用范圍受限的缺點，但每個算法采用的依然是單一模型，容易造成過擬合、泛化能力不強等問題。在多模型融合方法中，應用廣泛的是簡單平均方法和加權平均方法，但這些都是一種線性的融合方法，電力負荷變化具有非線性特性，利用線性加權融合仍有一定的缺陷。

針對上述問題，本文提出多算法多模型與在線第二次學習結合的預測方法，通過Bootstrap方法進行多樣性采樣，利用LSSVM、iGBRT和BP算法訓練得到多個差異化較大的預測模型，將待預測時刻最近一段時間的負荷預測值與實際值構成融合矩陣，使用LSSVM算法對融合矩陣進行在線第二次學習，得到最終預測結果。本文將該方法應用在電力系統(tǒng)城市每日總負荷和每日峰值負荷預測中，通過實驗研究探索數據集的選取、多模型構建、在線第二次學習，分析比較不同模型的預測性能。

1 多算法多模型與在線第二次學習

1.1 LSSVM

LSSVM是標準支持向量機的一種擴展，克服了標準支持向量機的缺點，優(yōu)化指標采用平方項，并用等式約束代替標準支持向量機的不等式約束，即將二次規(guī)劃問題轉化為線性方程組求解，降低了計算復雜性，提高了求解速度，在預測性能方面表現(xiàn)較強[24]。

F(x)=ωT·φ(x)+b

(1)

其中:ω為權值向量，b是閾值，φ(x)是從輸入空間到高維特征空間的非線性映射。LSSVM優(yōu)化目標為:

(2)

s.t.yi=ωT·φ(xi)+b+ei,i=1,2,…,N

根據Karush-Kuhn-Tucker (KKT)最優(yōu)條件和Lagrange方法來解此優(yōu)化問題可得LSSVM的回歸模型：

(3)

對于非線性回歸，使用一個非線性映射φ(x)將數據映射到一個高維特征空間，再在高維特征空間中進行線性回歸，其關鍵問題是核函數的選取，目前常用的核函數有多項式核函數、Sigmoid核函數和徑向基核函數(Radial Basis Function, RBF)，其中RBF中只有1個參數調節(jié)，且有很好的性能，在本文中選用RBF作為核函數：

K(x,xi)=exp (-‖x-xi‖2/2σ2)

(4)

因此，在訓練LSSVM時有兩個參數需要調節(jié)：一個是核函數參數σ，一個是正規(guī)化參數C。

1.2 初始化GBRT

GBRT算法在迭代過程中需要對縮減參數和迭代輪數進行權衡：當縮減參數很大時，迭代輪數很小，模型容易出現(xiàn)過擬合，預測精度不高；當縮減參數很小時，為了降低過擬合，提高預測精度，迭代輪數就必須增大。本文對縮減參數和迭代輪數進行權衡，將RF作為一個低成本、對參數選擇不敏感和不容易過擬合的算法去學習一個回歸模型，將模型的預測輸出初始化GBRT(iGBRT)，使GBRT的迭代起始點接近迭代終點，即使縮減參數比較小，也能使用較小的迭代輪數達到全局最優(yōu)，使GBRT有效避免過擬合問題，且訓練效率更高，預測性能相比RF和GBRT更好。

(5)

其中:H(x;αm,βm) 為一個簡單的參數函數，稱為基函數，本文中是CART樹。α、β是決策樹的參數，M為基函數的個數。

在訓練過程中，根據式(6)不斷得到新的回歸樹：

(6)

得到一個新的回歸樹之后，就更新整個模型：

Fm(x)=Fm-1(x)+νH(x;αm,βm)

(7)

其中:ν是縮減參數，避免損失函數下降過快，防止過擬合。當m=0時，F(xiàn)0(x)是所有訓練樣本輸出值的均值。本文選擇的損失函數是ψ(y,F)=(y-F)2/2。

1.3 BP神經網絡

BP神經網絡是一種多層前饋神經網絡，該網絡的主要特點是信號前向傳遞，誤差反向傳播[27]。在前向傳遞中，輸入信號從輸入層經隱含層逐層處理，直至輸出層。每一層的神經元狀態(tài)只影響下一層神經元狀態(tài)。如果輸出層得不到期望輸出，則轉入反向傳播，根據預測誤差調整網絡權值和閾值，從而使BP神經網絡預測輸出不斷逼近期望輸出。

1.4 算法流程

本文提出多算法多模型與在線第二次學習結合的預測方法，通過Bootstrap方法進行多樣性采樣，利用LSSVM、iGBRT和BP算法訓練得到多個差異化較大的預測模型，將待預測

時刻最近一段時間的負荷預測值與實際值構成融合矩陣，使用LSSVM算法對融合矩陣進行在線第二次學習，得到最終預測結果。

該方法的具體步驟如下所示，主要分為四步：

第一步 數據集選取。影響電力負荷變化的因素眾多，總體分為社會因素和自然因素。社會因素，包括經濟增長規(guī)模、工業(yè)用戶類型與數量、星期類型和節(jié)假日等，其中經濟增長規(guī)模、工業(yè)用戶類型與數量，其短期數據一般暫未公開,無法獲取，而星期類型和節(jié)假日，可以通過日歷和政府網站獲得其公開數據。自然因素，典型的包括溫度、濕度、氣壓、風速、降雨量等氣象因素，可以從氣象科學數據網站獲得其公開數。為追溯電力負荷變化源頭、揭示電力負荷變化的內在規(guī)律和趨勢，本文在數據集選取方面，不僅選用電力系統(tǒng)領域的電力負荷歷史數據，而且選用來源于非電力系統(tǒng)領域的多種負荷變化影響因素的可得數據，包括星期類型數據、節(jié)假日數據和氣象數據(包括溫度、氣壓、濕度、風速等)，并且采用互信息和統(tǒng)計信息衡量這些數據與負荷變化間關聯(lián)關系的強弱以篩選出特征值。

互信息是一種信息度量，表示一個隨機變量包含另一個隨機變量的信息量，度量兩變量之間的相關性[28-29]。本文采用互信息對氣象特征值進行選取，剔除噪聲變量，降低模型訓練的規(guī)模及計算復雜度, 提高模型預測性能。在互信息標準中，兩個隨機變量X和Y的統(tǒng)計依存關系用互信息來度量：

(8)

其中：I(X,Y)代表變量X和Y的互信息，互信息越大，表示兩變量之間的相關性越大。

得到互信息之后，選擇前N個互信息最大的氣象特征值Wj(j=1,2,…,N)作為部分特征值；通過對不同星期類型WTi和節(jié)假日Hi電力負荷使用情況進行統(tǒng)計，分析出相關規(guī)律，構造特征值。對于第i時刻，其前M時刻的歷史負荷Yi-k(k=1,2,…,M)對負荷預測也有影響，將WTi、Hi、Wj與Yi-k作為全部特征值與實際負荷Yi(i=1,2,…,n，n代表總樣本數)構成數據集：

D=[WTi,Hi,Wi1,Wi2,…,WiN,Yi,i-M,Yi,i-M+1,…,Yi,i-1,Yi];i=1,2,…,n

第二步 構建多模型。為了有效降低單模型可能出現(xiàn)的過擬合，增強模型泛化能力，增加模型多樣性，提高預測精度，使多個算法優(yōu)勢互補，通過Bootstrap方法，使用采樣率μ對數據集D進行m1、m2和m3次可重復采樣，利用LSSVM算法訓練m1個模型L1,L2,…,Lm1，iGBRT算法訓練m2個模型G1,G2,…,Gm2和BP算法訓練m3個模型B1,B2,…,Bm3，得到Multi-model。

Bootstrap方法稱為自助法，它是一種有放回的抽樣方法，是一種用小樣本估計總體值的非參數統(tǒng)計方法。已經證明，在初始樣本足夠大的情況下，Bootstrap抽樣能夠無偏地接近總體的分布。其核心思想和基本步驟是：1)設定抽樣比例，即從原始樣本中按照指定的比例抽取樣本；2)設定樣本集個數N，即重復上述N次，得到N個樣本集。

第三步 在線第二次學習。利用Multi-model對待預測時刻前K時刻負荷進行預測，將負荷預測值作為融合矩陣的特征值，與負荷實際值Y構成融合矩陣：

因為電力負荷變化具有非線性特性，融合矩陣較小。LSSVM 是基于結構風險最小化原則，在小樣本和非線性情況下，使用LSSVM算法對融合矩陣進行學習，仍然能保證較好的泛化能力。學習完成后得到決策模型。

第四步 最終預測。通過第一步得到的訓練數據集和測試數據集，第二步訓練得到的Multi-model，以及第三步二次學習得到的決策模型，最后一步將待預測時刻的Multi-model的電力負荷預測值和實際值構成預測樣本，輸入到融合模型進行預測，得到最終預測結果。

2 實驗研究

本文實驗研究的環(huán)境包括處理器：Inter Core 2 Duo E7500，內存： 4 GB，主頻：2.94 GHz，操作系統(tǒng)：Windows 7。

2.1 特征值選取

實驗所用的數據集包括歷史負荷數據、氣象數據、星期類型數據和節(jié)假日數據，其中歷史負荷數據是廣東省廣州市近3年的數據，每15 min采集一次；氣象數據來自于中國氣象科學數據共享服務網；星期數據和節(jié)假日數據通過日歷和政府網站獲得。氣象包括溫度、濕度、氣壓、風速、降雨量等因素，但不同的因素對電力負荷變化影響程度或強或弱，因此需要對氣象因素進行選取。根據式(8)計算，圖1(a)是氣象候選特征值與每日總負荷之間的互信息，圖1(b)是氣象候選特征值與每日峰值負荷之間的互信息，圖中已對互信息值進行了降序排列。

圖1 氣象候選特征值與每日負荷之間的互信息Fig. 1 Mutual information between weather candidate feature and daily load

圖1表明，每個氣象特征值對負荷的影響程度不一樣，本文選擇0.3作為閾值，選擇圖1(a)中前7個作為每日總負荷預測氣象特征值，包括日平均氣溫、日最高氣溫、日最低氣溫、平均水汽壓、日最高本站氣壓、平均本站氣壓、日最低本站氣壓；選擇圖1(b)中前5個作為每日峰值負荷預測氣象特征值，包括日平均氣溫、日最高氣溫、日最低氣溫、平均水汽壓。

圖2(a)是兩年工作日、雙休日和節(jié)假日平均每日總負荷，圖2(b)是兩年工作日、雙休日和節(jié)假日平均每日峰值負荷。圖2表明，工作日負荷是最高的，且工作日負荷大小接近，雙休日負荷較低，節(jié)假日負荷是最低的。在本文中，將星期類型用1、0標志表示，1代表工作日，0代表雙休日；節(jié)假日用1、0標志表示，1代表節(jié)假日，0代表非節(jié)假日。用選擇的氣象特征值、星期特征值、節(jié)假日特征值和待預測日前7天的歷史負荷值構成數據集全部特征值，預測值分別是每日總負荷和每日峰值負荷。

圖2 兩年工作日、雙休日和節(jié)假日平均每日負荷Fig. 2 Average daily load for each working day, weekend and holiday of two years

2.2 模型評估指標

針對電力負荷預測系統(tǒng)性能評估的方法有很多，其中平均絕對百分誤差(Mean Absolute Percentage Error, MAPE)是使用最多的方法，因此本文選擇MAPE作為評估指標：

(9)

2.3 預測性能研究

在單模型方法研究中，為了獲得更高預測精度，單模型訓練集選擇每個預測時刻之前所有數據，測試集是第3年數據；在多模型方法研究中，多模型訓練集是前兩年數據，測試集是第3年數據，在進行第2次學習時，新訓練數據集由待預測日前k=60d的原星期類型和節(jié)假日特征值、氣象特征值、歷史負荷特征值、負荷預測值和實際值構成。LSSVM中核函數參數σ和正規(guī)化參數C采用十字交叉驗證和網格搜索進行參數尋優(yōu)；iGBRT中的RF算法樹數目為500，GBRT算法樹總數為30，學習速率為ν=0.1，基學習器為CART；BP神經網絡隱含層節(jié)點數為20。構建單算法多模型和多算法多模型時，采樣率μ=0.7，訓練數據集個數m1=10，m2=10，m3=10；構建多算法單模型時，采樣率μ=1，訓練數據集個數m1=1，m2=1，m3=1。

案例1 本實驗對LSSVM、iGBRT和BP單模型以及本文預測模型預測性能進行研究。表1是不同模型全年負荷預測誤差。

表1預測結果表明，本文方法與最優(yōu)單模型LSSVM相比，在每日總負荷預測中，MAPE減少了21.07%；在每日峰值負荷預測中，MAPE減少了16.02%，這說明本文方法比單模型泛化能力更強，預測精度更高。

表1 本文方法與單模型全年負荷預測誤差對比 %Tab. 1 Forecasting errors of the proposed model and single-models for a one-year period %

表2給出了4種方法的運行時間，其中總體運行時間為離線運行時間和在線運行時間之和。對本文方法而言，離線運行時間用于多模型離線訓練，在線運行時間用于在線第二次學習和在線預測。從表2中可以看出，本文方法總體運行時間較長，主要是因為多模型離線訓練階段消耗時間長，為225.767 s，在線第二次學習和在線預測階段消耗11.136 s。在實驗中，多模型的離線訓練只進行一次，因此系統(tǒng)的實際運行時間就是在線運行時間(用于在線第二次學習和在線預測)，考慮本文的實驗環(huán)境，11.136 s的時間開銷完全可以滿足實際預測系統(tǒng)的應用需求。

表2 本文方法與單模型方法運行時間對比 sTab. 2 Runtime comparsion of the proposed method and single-modles s

圖3是7月每日總負荷和每日峰值負荷實際曲線、預測曲線和預測誤差曲線。圖3誤差曲線表明，BP誤差曲線存在較大的誤差點，這說明單算法單模型存在過擬合問題，采用多樣性采樣可以避免單模型過擬合問題；LSSVM、iGBRT和BP單模型在相同時間點上預測效果有差別，且都有各自預測最好的時間點，而在大部分預測時間點上，本文方法預測值比單模型預測值更接近實際負荷值，這說明本文方法綜合利用了多個算法的優(yōu)點、解決了單個算法適用范圍受限的問題，泛化能力更強。從圖3負荷曲線可知單模型大部分預測值都低于負荷實際值，這說明對于負荷存在的增長率問題，單模型沒有很好地學習到，泛化能力受限。

案例2 本實驗對不同融合方法預測性能進行研究。將本文在線第二次學習方法與文獻[14]中推薦的偏最小二乘法(Partial Least Squares, PLS)方法進行對比。在線第二次學習和PLS集成所用到的訓練數據集是每個待預測時刻最近一段時間的Multi-model負荷預測值及實際值構成訓練數據集D1，D1_PLS是PLS方法對D1數據集進行多模型集成，D1_LSSVM是LSSVM對D1數據集進行第二次學習。表3是不同融合方法全年負荷預測誤差。

表3 不同融合方法全年負荷預測誤差 %Tab. 3 Forecasting errors of different combination methods for a one-year period %

表3預測結果表明，D1_LSSVM進行多模型二次學習的預測精度明顯高于D1_PLS加權平均方法，這說明對于電力負荷變化具有非線性特性，采用非線性融合方法比線性加權融合方法學習得更好。

圖3 七月負荷實際曲線、預測曲線及預測誤差曲線Fig. 3 Actual load, forecasting load, and forecasting errors for July

案例3 本實驗對單算法多模型、多算法單模型方法預測性能進行研究。單算法多模型由LSSVM、iGBRT和BP算法分別采用Bootstrap方法進行重復采樣，每個算法訓練5個模型構建；多算法單模型由LSSVM、iGBRT和BP算法進行兩兩組合和全部組合的方式構建，每個算法訓練1個模型。表4是不同多模型全年負荷預測誤差，所有多模型都使用案例2中D1_LSSVM進行在線第二次學習。

由表4可知，在每日總負荷預測中，3種多模型方法中各自最優(yōu)的模型是LSSVM_iGBRT、Multi_LSSVM和本文方法；在每日峰值負荷預測中，3種多模型方法中各自最優(yōu)的模型是BP_LSSVM、Multi_LSSVM和本文方法。在每日總負荷預測中，本文方法相比LSSVM_iGBRT和Multi_LSSVM方法，全年平均MAPE減少了5.00%和7.64%，在每日峰值負荷預測中，本文方法相比BP _LSSVM和Multi_LSSVM方法，全年平均MAPE減少了13.14%和7.60%。在每日總負荷預測中，LSSVM_iBGRT在多算法單模型中全年平均預測精度最高，在每日峰值負荷預測中， Multi_LSSVM和Multi_ BP在單算法多模型中全年平均預測模式下，表現(xiàn)的預測性能不同。而多算法多模型方法在全年平均預測精度上都是最高的，這說明本文方法比單算法多模型和多算法單模型方法預測精度更高，說明多算法多模型方法將多個算法優(yōu)勢互補克服了單算法多模型中單個算法適用范圍受限的缺點，也提高了多算法單模型泛化能力，應用更加自由。

表4 本文方法與多算法單模型、單算法多模型全年負荷預測誤差 %Tab. 4 Forecasting errors of the proposed model, multi-algorithm & single- models and single-algorithm & multi-models for a one-year period %

表5顯示了多模型方法的運行時間，從表5中可以看出，多模型方法總體運行時間都比較長，主要是因為多模型離線訓練階段消耗時間長。綜合考慮負荷預測精度和實驗環(huán)境，與其他多模型方法相比，本文方法依然是較優(yōu)的方法。

表5 本文方法與單算法多模型、多算法單模型運行時間對比 sTab. 5 Runtime comparision of the proposed method, multi-algorithm & multi-models and multi-algorithm & single-models s

3 結語

本文首次提出多算法多模型與在線第2次學習結合的預測方法。對廣東省廣州市近3年每日總負荷和每日峰值負荷進行預測研究，實驗結果為，本文預測方法與最優(yōu)單模型、最優(yōu)多算法單模型和最優(yōu)單算法多模型相比，在每日總負荷預測中，全年MAPE減少了21.07%、5.00%和7.64%，在每日峰值負荷預測中，全年MAPE減少了16.02%、13.14%和7.60%。實驗結果表明：通過利用氣象數據、星期類型數據、節(jié)假日數據和負荷數據更好地揭示了負荷變化的內在規(guī)律和趨勢; 對訓練集進行多樣性采樣，克服了單模型過擬合問題，泛化能力增強，使多個算法優(yōu)勢互補，解決單個算法適用范圍受限的問題； 采用在線第二次學習方法，解決了電力負荷存在的增長率和近因效應問題。

本文提出的預測方法不局限于電力負荷預測領域，對于交通流量預測、電價預測等領域，本文方法同樣適用，只是在構建多算法多模型時，需要針對各個領域數據集的不同特點選擇不同的算法。

References)

[1] DUDEK G. Pattern-based local linear regression models for short-term load forecasting [J]. Electric Power Systems Research, 2016, 130: 139-147.

[2] CHO M Y, HWANG J C, CHEN C S. Customer short term load forecasting by using ARIMA transfer function model [C]// Proceedings of the 1995 International Conference on Energy Management and Power Delivery. Piscataway, NJ: IEEE, 1995: 317-322.

[3] LI S, WANG P, GOEL L. Short-term load forecasting by wavelet transform and evolutionary extreme learning machine[J]. Electric Power Systems Research, 2015, 122: 96-103.

[4] XIAO Z, YE S J, ZHONG B, et al. BP neural network with rough set for short term load forecasting [J]. Expert Systems with Applications, 2009, 36(1): 273-279.

[5] 師彪,李郁俠,于新花,等.改進粒子群 —— BP神經網絡模型的短期電力負荷預測[J]. 計算機應用,2009,29(4):1036-1039. (SHI B, LI Y X, YU X H, et al. Short-term load forecast based on modified particle swarm optimizer and back propagation neural network model [J]. Journal of Computer Applications, 2009, 29(4): 1036-1039.)

[6] 郎坤,張明媛,袁永博.基于迭代誤差補償的核極端學習機模型在短期電力負荷預測中的應用[J]. 計算機應用,2015,35(7):2083-2087. (LANG K, ZHANG M Y, YUAN Y B. Application of extreme learning machine with kernels model based on iterative error correction in short term electricity load forecasting [J]. Journal of Computer Applications, 2015, 35(7): 2083-2087.)

[7] 吳倩紅,高軍,侯廣松,等.實現(xiàn)影響因素多源異構融合的短期負荷預測支持向量機算法[J]. 電力系統(tǒng)自動化,2016,40(15):67-72. (WU Q H, GAO J, HOU G S, et al. Short-term load forecasting support vector machine algorithm based on multi-source heterogeneous fusion of load factors[J]. Automation of Electric Power Systems, 2016, 40(15): 67-72.)

[8] CHEN Y H, HONG W C, SHEN W, et al. Electric load forecasting based on a least squares support vector machine with fuzzy time series and global harmony search algorithm[J]. Energies, 2016, 9(2): 7-82.

[9] LIN W M, TU C S, YANG R F, et al. Particle swarm optimisation aided least-square support vector machine for load forecast with spikes [J]. IET Generation, Transmission & Distribution, 2016, 10(5): 1145-1153.

[10] 胡時雨,羅滇生,陽霜,等.基于多變量LS-SVM和模糊循環(huán)推理系統(tǒng)的負荷預測[J]. 計算機應用,2015,35(2):595-600. (HU S Y, LUO D S, YANG S, et al. Load forecasting based on multi-variable LS-SVM and fuzzy recursive inference system [J]. Journal of Computer Applications, 2015, 35(2): 595-600.)

[11] PAPADOPOULOS S, KARAKATSANIS I. Short-term electricity load forecasting using time series and ensemble learning methods [C]// Proceedings of the 2015 IEEE Power and Energy Conference at Illinois. Piscataway: IEEE, 2015: 1-6.

[12] WU X Y, HE J H, YIP T, et al. A two-stage random forest method for short-term load forecasting [C]// Proceedings of the 2016 IEEE Power and Energy Society General Meeting. Piscataway, NJ: IEEE, 2016: 1-5.

[13] TAIEB S B, HYNDMAN R J. A gradient boosting approach to the Kaggle load forecasting competition [J]. International Journal of Forecasting, 2014, 30(2): 382-394.

[14] MOHAN A, CHEN Z, WEINBERGER K. Web-search ranking with initialized gradient boosted regression trees[C]// Proceedings of the 2010 International Conference on Yahoo! Learning to Rank Challenge. Haifa, Israel: JMLR, 2010, 14: 77-89.

[15] LI N, JIANG Y, ZHOU Z H. Multi-label selective ensemble[C]// Proceedings of the 12th International Workshop on Multiple Classifier Systems. Berlin: Springer, 2015: 76-88.

[16] ZHOU Z H, WU J X, TANG W. Ensembling neural networks: many could be better than all [J]. Artificial Intelligence, 2002, 137(1): 239-263.

[17] WANG B, CHIANG H D. ELITE: ensemble of optimal input-pruned neural networks using TRUST-TECH [J]. IEEE Transactions on Neural Networks, 2011, 22(1): 96-109.

[18] LI S, GOEL L, WANG P. An ensemble approach for short-term load forecasting by extreme learning machine[J]. Applied Energy, 2016, 170: 22-29.

[19] CHEN L G, CHIANG H D, DONG N, et al. Group-based chaos genetic algorithm and non-linear ensemble of neural networks for short-term load forecasting [J]. IET Generation Transmission & Distribution, 2016, 10(6): 1440-1447.

[20] RIBEIRO G T, GRITTI M C, AYALA H V H, et al. Short-term load forecasting using wavenet ensemble approaches [C]// Proceedings of the 2016 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 2016: 727-734.

[21] SIWEK K, OSOWSKI S, SZUPILUK R. Ensemble neural network approach for accurate load forecasting in a power system [J]. International Journal of Applied Mathematics & Computer Science, 2009, 19(2): 303-315.

[23] DUDEK G. Heterogeneous ensembles for short-term electricity demand forecasting [C]// Proceedings of the 2016 17th International Scientific Conference on Electric Power Engineering. Piscataway, NJ: IEEE, 2016: 1-6.

[24] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293-300.

[25] BREIMAN L. Random forests [J]. Machine Learning, 2001, 45(1): 5-32.

[26] FRIEDMAN J H. Greedy function approximation: a gradient boosting machine [J]. The Annals of Statistics, 2001, 29(5): 1189-1232.

[27] HECHTNIELSEN R. Theory of the back propagation neural network[C]// Proceedings of the 1989 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 1989: 593-605.

[28] GUILLEN A, HERRERA L J, RUBIO G, et al. New method for instance or prototype selection using mutual information in time series prediction [J]. Neurocomputing, 2010, 73(10): 2030-2038.

[29] BONNLANDER B V, WEIGEND A S. Selecting input variables using mutual information and nonparametric density estimation[EB/OL].[2016- 11- 20].http://pdfs.semanticscholar.org/0cbb/68b53c3a079545790e1e97e9f14bb4d613a9.pdf.

This work is partially supported by the National Natural Science Foundation of China (61374172), the National Scientific and Technological Achievement Transformation Project of China (201255).

ZHOUMo, born in 1990, M. S. candidate. His research interests include artificial intelligence, power load forecasting.

JINMin, born in 1973, Ph. D., professor. Her research interests include embedded system, artificial intelligence, big data, industry 4.0, power load forecasting.

Short-termpowerloadforecastingmethodcombiningwithmulti-algorithm&multi-modelandonlinesecondlearning

ZHOU Mo, JIN Min*

(CollegeofComputerScienceandElectronicEngineering,HunanUniversity,ChangshaHunan410084,China)

In order to improve the forecasting accuracy of the short-term power load, a forecasting method combining multi-algorithm & multi-model and online second learning was newly proposed. First, the input variables were selected by using mutual information and statistical information and a dataset was constructed. Then, multiple training sets were generated by performing diverse sampling with bootstrap on the original training set. Multiple models were obtained using different artificial intelligence and machine-learning algorithms. Finally, the offline second-learning method was improved. A new training set was generated using the actual load, and the multi-model forecasts for recent period within the forecasted time, which is trained by online second learning to obtain the final forecasting results. The load in Guangzhou, China was studied. Compared to the optimal single-model, single-algorithm & multi-model and multi-algorithm & single-model, Mean Absolute Percentage Error (MAPE) of the proposed model was reduced by 21.07%, 7.64% and 5.00%, respectively, in the daily total load forecasting, and by 16.02%, 7.60%, and 13.14%, respectively, in the daily peak load forecasting. The experimental results show that the proposed method can improve the prediction accuracy of the power load, reduce costs, implement optimal scheduling management, and ensure security with early warnings in smart grids.

short-term power load forecasting; diversity sampling; heterogeneous model; multi-algorithm and multi-model; online second learning

2017- 05- 08;

2017- 06- 16。

國家自然科學基金資助項目(61374172);國家科技成果轉化項目(201255)。

周末(1990—)，男，湖北漢川人，碩士研究生，主要研究方向：人工智能、電力負荷預測； 金敏(1973—)，女，湖南岳陽人，教授，博士，主要研究方向：嵌入式系統(tǒng)、人工智能、大數據、工業(yè)4.0、電力負荷預測。

1001- 9081(2017)11- 3317- 06

10.11772/j.issn.1001- 9081.2017.11.3317

(*通信作者電子郵箱jinmin@hnu.edu.cn)

TP391.9

A