基于入侵雜草優(yōu)化算法的支持向量機(jī)負(fù)荷預(yù)測

周尚珺璽，馬立新

( 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

基于入侵雜草優(yōu)化算法的支持向量機(jī)負(fù)荷預(yù)測

周尚珺璽，馬立新

( 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

針對支持向量機(jī)(Support Vector Machine, SVM)預(yù)測方法中的參數(shù)選取主要依靠經(jīng)驗(yàn)試算實(shí)驗(yàn)比對的方法導(dǎo)致難以快速選擇合適參數(shù)從而影響負(fù)荷預(yù)測精度的問題，研究了將入侵雜草優(yōu)化算法(Invasive Weed Optimization，IWO)與支持向量機(jī)算法相結(jié)合的改進(jìn)算法。提出控制誤差ε的取值，采用入侵雜草尋優(yōu)算法對懲罰參數(shù)C和核函數(shù)參數(shù)σ進(jìn)行優(yōu)化選取，將自動(dòng)尋優(yōu)的結(jié)果賦給支持向量機(jī)，從而實(shí)現(xiàn)支持向量機(jī)自動(dòng)尋優(yōu)。用某市的歷史負(fù)荷及相關(guān)天氣等信息數(shù)據(jù)，通過仿真實(shí)驗(yàn)證明了IWO-SVM算法用于短期負(fù)荷預(yù)測的可行性，以及IWO算法對改善SVM的參數(shù)選擇的有效性。平均預(yù)測誤差在3%以內(nèi)，滿足行業(yè)要求。

短期負(fù)荷預(yù)測；支持向量機(jī)；入侵雜草優(yōu)化

0 引言

電力系統(tǒng)短期負(fù)荷預(yù)測是維護(hù)電網(wǎng)經(jīng)濟(jì)、穩(wěn)定運(yùn)行的基礎(chǔ)，是制訂供電計(jì)劃、調(diào)度計(jì)劃和交易計(jì)劃的重要依據(jù)，基于人工智能技術(shù)的神經(jīng)網(wǎng)絡(luò)預(yù)測模型和模糊系統(tǒng)預(yù)測模型是目前研究較為廣泛的負(fù)荷預(yù)測模型，但對改善這類模型的泛化能力方面理論進(jìn)展較慢，因此很多學(xué)者開始對具有更好泛化能力的預(yù)測技術(shù)進(jìn)行研究。

由 Vanpik 在1995年提出的建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的基礎(chǔ)上發(fā)展出的支持向量機(jī)方法，它在解決小樣本、非線性、高維數(shù)模式識(shí)別等實(shí)際問題中有許多優(yōu)勢。支持向量機(jī)方法是根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以獲得最好的泛化能力。近年來基于支持向量機(jī)的負(fù)荷預(yù)測方法被重點(diǎn)關(guān)注，文獻(xiàn)[1]全面總結(jié)了支持向量機(jī)在短期負(fù)荷預(yù)測中的應(yīng)用情況，對比了常用的人工神經(jīng)網(wǎng)絡(luò)預(yù)測方法，從原理上證明了支持向量機(jī)方法的優(yōu)越性。

在對支持向量機(jī)預(yù)測方法的研究中發(fā)現(xiàn)，該方法的預(yù)測性能主要依賴于模型中的參數(shù)選擇，而目前對于模型中的參數(shù)選擇主要依靠經(jīng)驗(yàn)或通過大量實(shí)驗(yàn)比對給定，文獻(xiàn)[2]提出的參數(shù)選取方法大多采用交叉驗(yàn)證(Cross Validation, CV)的方法或憑借經(jīng)驗(yàn)給出，總體上具有一定的盲目性，不容易找到函數(shù)全局最優(yōu)值，達(dá)不到預(yù)期的精度和滿意的效果。因此為了提高支持向量機(jī)方法的預(yù)測性能，其參數(shù)選擇及優(yōu)化成為了研究的新方向，文獻(xiàn)[3]介紹了支持向量機(jī)模型的傳統(tǒng)參數(shù)選取方法及優(yōu)化方法，并在此基礎(chǔ)上提出了基于高斯核函數(shù)的參數(shù)選取及優(yōu)化方法，避免了基于交叉檢驗(yàn)的試探法的盲目性，提高了建模效率。文獻(xiàn)[4-6]分別提出了基于粒子群、遺傳算法優(yōu)化算法的模型參數(shù)選擇方法，克服了傳統(tǒng)參數(shù)選擇的缺點(diǎn)，較大地提高了支持向量機(jī)的尋優(yōu)能力，但粒子群容易陷入局部最優(yōu)解，遺傳算法收斂速度較慢等問題都有待改進(jìn)。

本文針對SVM傳統(tǒng)的參數(shù)選取方法效率較低、影響性能等缺陷，將入侵雜草算法用于支持向量機(jī)參數(shù)的選取，提出控制誤差ε的取值，采用入侵雜草尋優(yōu)算法對懲罰參數(shù)C和核函數(shù)參數(shù)σ進(jìn)行優(yōu)化選取。入侵雜草算法收斂速度大于粒子群、遺傳算法等，采用子父代競爭排斥機(jī)制，避免早熟與陷入局部最優(yōu)解，該方法將入侵雜草算法自動(dòng)尋優(yōu)的結(jié)果賦給支持向量機(jī)，提高了支持向量機(jī)預(yù)測精度，為優(yōu)化支持向量機(jī)參數(shù)提供了一種新方法。

1 回歸支持向量機(jī)

支持向量機(jī)是基于SRM和VC維理論的一種訓(xùn)練機(jī)器學(xué)習(xí)的算法，其核心包括：(1)通過非線性映射，將低維空間中線性不可分的樣本映射到高維空間中[7]，該空間中存在能將樣本的非線性特征進(jìn)行分割的超平面；(2)基于架構(gòu)風(fēng)險(xiǎn)最小化原則，尋找一個(gè)最優(yōu)超平面，使得該超平面到不同類的數(shù)據(jù)點(diǎn)的間隔最大。

支持向量機(jī)回歸理論是建立在支持向量機(jī)分類問題的基礎(chǔ)上的，通過引入不敏感損失函數(shù)ε，將支持向量機(jī)分類理論中的結(jié)果推廣，使其用于函數(shù)回歸。

設(shè)有訓(xùn)練樣本：{xi,di},(i=1,...,n,xi∈Rn,di∈R)。x是輸入向量，d是期望值，采用回歸函數(shù)：

式中：φ(x)是從輸入空間映射到高為特征空間的非線性函數(shù)。

系數(shù)w,b由最小化下式來估計(jì)：

(1)

(2)

此時(shí)最小化問題為：

(3)

約束條件為：

(4)

由于特征空間維數(shù)較高，甚至到無窮維，所以直接求解并不現(xiàn)實(shí)，回歸支持向量機(jī)通過建立核函數(shù)k(xi,xj)來解決維數(shù)災(zāi)難。

(5)

(6)

對拉格朗日函數(shù)式求偏導(dǎo)可解得：

(7)

將w表達(dá)式代入得：

(8)

根據(jù)KKT條件，在最優(yōu)處滿足拉格朗日乘子與約束式的乘積為零，故有：

(9)

求解可得：

(10)

用支持向量便可求解出b的值，求解出回歸函數(shù)。

2 入侵雜草優(yōu)化算法

2.1 雜草特性

大自然中雜草是以細(xì)胞繁殖生成種子，通過風(fēng)、水及動(dòng)物等形式攜帶種子隨機(jī)的散布在田地內(nèi)，田地里的資源分別被每個(gè)種子獨(dú)立的使用，并找到合適自己生長的機(jī)會(huì)空間。由于雜草的生長和繁殖受土地的肥沃營養(yǎng)程度、雜草的聚集密度和雜草群對環(huán)境適應(yīng)性的影響，在雜草繁殖進(jìn)化的過程中，能更好適應(yīng)周圍環(huán)境的種子會(huì)使用更多的土地資源和營養(yǎng)，并能更好更快的成長，結(jié)籽(種子)更多，不能很好地適應(yīng)環(huán)境的種子，在長成為植株后結(jié)籽(種子)較少，因而植株群落對環(huán)境的適應(yīng)性的提高能夠讓植株的生存能力更頑強(qiáng)，存活的時(shí)間更長。植株的自然繁殖進(jìn)化選擇方式多種多樣，r選擇和k選擇尤為重要，r選擇即是從植物群落中挑選出生命力旺盛、適應(yīng)性強(qiáng)、成長快速、枯萎塊、競爭力極強(qiáng)的植物，并讓它們擁有占據(jù)更多的新領(lǐng)地和新環(huán)境；k選擇即是選擇生長和繁殖緩慢、堅(jiān)韌性強(qiáng)、并讓其去占據(jù)有限的環(huán)境和資源營養(yǎng)空間。r選擇就是IWO算法的全局搜索方式，k選擇就是IWO算法的局部搜索方式。

2.2 入侵雜草基本理論

入侵雜草優(yōu)化算法是2006年由Mehrabian和Lucas提出的模擬大自然野草繁殖進(jìn)化的一種隨機(jī)搜索仿生學(xué)優(yōu)化算法。該算法具有收斂性好、魯棒性強(qiáng)、結(jié)構(gòu)簡單、易于編程實(shí)現(xiàn)等優(yōu)點(diǎn)。

該算法以適應(yīng)度為基準(zhǔn)的繁殖機(jī)制，繁殖過程中按自然界的繁殖法則，給予不可行的個(gè)體生存和繁殖的機(jī)會(huì)以保留更多有用信息；該算法采用正態(tài)分布的擴(kuò)散機(jī)制，同時(shí)進(jìn)行全局搜索和局部搜索，使其具有一定深度同時(shí)也不失廣度，并能根據(jù)迭代次數(shù)不同對二者強(qiáng)度進(jìn)行調(diào)節(jié)，同時(shí)采用子父代競爭排斥機(jī)制，最大限度保留有用信息，避免早熟和陷入局部最優(yōu)[8-9]，算法基本步驟：

第一步：種群初始化。確定種群初始化數(shù)量N0和最大種群規(guī)模Nmax、最大迭代次數(shù)itermax等基本參數(shù)。

第二步：生長繁殖。 每個(gè)雜草種子根據(jù)式中適應(yīng)度(繁殖能力)產(chǎn)生種子，父代雜草產(chǎn)生的種子個(gè)數(shù)與母體雜草的適應(yīng)度成正比，適應(yīng)度越好，種子繁殖數(shù)越多：

(11)

式中：f為當(dāng)前雜草的適應(yīng)度值；fmax及fmin分別是當(dāng)前種群中雜草的最大及最小適應(yīng)度值；smax及smin分別代表一個(gè)雜草能產(chǎn)生的最大及最小種子的數(shù)量。

第三步：空間分布。 以父代為均值，子代個(gè)體以σ為標(biāo)準(zhǔn)差正態(tài)分布擴(kuò)散在父代個(gè)體周圍。迭代過程中，每一代的標(biāo)準(zhǔn)差按如下規(guī)律進(jìn)行變化：

(12)

式中：iter為當(dāng)前進(jìn)化的迭代次數(shù)；itermax為最大進(jìn)化迭代次數(shù)；σcur為當(dāng)前的標(biāo)準(zhǔn)差；σinit和σfinal分別是標(biāo)準(zhǔn)差的初始值和最終值；n為非線性調(diào)和因子。該式對于iter是遞減的，確定了雜草算法前期是全局搜索為重、后期以局部搜索為重的基本特性。

第四步：競爭淘汰。 經(jīng)過數(shù)代的繁殖后，產(chǎn)生的后代雜草和種子數(shù)目將達(dá)到預(yù)先設(shè)定的最大種群數(shù)目，然后將父代和子代一起進(jìn)行排列，按適應(yīng)值大小進(jìn)行優(yōu)勝劣汰。

第五步：重復(fù)步驟直至滿足設(shè)定的最優(yōu)解條件或達(dá)到最大迭代次數(shù)。

3 入侵雜草-支持向量機(jī)模型

入侵雜草-支持向量機(jī)是使用入侵雜草優(yōu)化算法求解支持向量機(jī)的參數(shù)，解決選擇支持向量機(jī)參數(shù)選擇沒有理論依據(jù)可循的問題，提高支持向量機(jī)的學(xué)習(xí)和推廣能力。用入侵雜草優(yōu)化算法優(yōu)化支持向量機(jī)的核心思想是：將參數(shù)選擇問題視為雜草種群在給定空間的全局搜索問題，入侵雜草優(yōu)化算法將支持向量機(jī)的參數(shù)(C,σ)看作是雜草和種子的適應(yīng)度值，將測試樣本集的平均誤差作為算法結(jié)束的判斷條件，實(shí)現(xiàn)支持向量機(jī)參數(shù)的自動(dòng)優(yōu)化選取。具體的算法流程圖如圖1所示。

圖1 入侵雜草-支持向量機(jī)算法步驟

4 算例分析

4.1 輸入樣本選取

文獻(xiàn)[10]對電力負(fù)荷周期性的分析可知，預(yù)測日前1周及前幾天同一時(shí)刻的負(fù)荷數(shù)據(jù)與待預(yù)測時(shí)刻的負(fù)荷關(guān)聯(lián)度較高,而天氣因素中溫度對短期負(fù)荷的影響最大，因此，將預(yù)測日前一周與前一日的鄰近時(shí)刻負(fù)荷數(shù)據(jù)、溫度數(shù)據(jù)及相關(guān)日類型作為參考影響因子，將其作為輸入對算法進(jìn)行學(xué)習(xí)，可得到更準(zhǔn)確地預(yù)測結(jié)果。

為預(yù)測1天從0點(diǎn)到23點(diǎn)的實(shí)際負(fù)荷，分別建立如下的單點(diǎn)負(fù)荷預(yù)測模型，支持向量機(jī)模型輸入量共16個(gè)，具體選擇如表1所示。

表1 支持向量機(jī)模型輸入量

其中，d代表待預(yù)測日，d-1、d-7分別代表待預(yù)測日前一天和前一周；L(d-7,t)代表d天t時(shí)刻的歷史負(fù)荷值；Tmax(d)、Tmin(d)、Tavg(d)分別表示d天最高溫度、最低溫度、平均溫度；D(d)代表d天日類型。

輸出量L(d,t)為d日t時(shí)刻的負(fù)荷預(yù)測值。把預(yù)測日前30 d相應(yīng)的歷史負(fù)荷數(shù)據(jù)、氣象信息和日類型因子作為訓(xùn)練樣本。

4.2 模型參數(shù)選擇

支持向量機(jī)核函數(shù)選擇RBF函數(shù)，雜草入侵優(yōu)化算法中種群初始化數(shù)量：20個(gè)；最大種群規(guī)模：30個(gè)；最大迭代次數(shù)：150次；生成種子數(shù)量上下限：20-0個(gè)；非線性指數(shù)：3；問題維數(shù)：2；標(biāo)準(zhǔn)差初始值：1；標(biāo)準(zhǔn)差最終值：0.001。

4.3 算例結(jié)果

采用SVM與IWO-SVM 2種算法，以MATLAB作為仿真平臺(tái)，以某市2012年7月1日到2012年8月31日每天24點(diǎn)的負(fù)荷數(shù)據(jù)、當(dāng)?shù)貧庀笠蛩丶皩?yīng)的日類型作為實(shí)驗(yàn)數(shù)據(jù)，分別對2012年8月25日至31日進(jìn)行了次日24點(diǎn)的負(fù)荷預(yù)測。

對于單日24點(diǎn)負(fù)荷預(yù)測情況選取8月29日為例進(jìn)行分析，實(shí)際負(fù)荷曲線與采用SVM方法建立模型的擬合曲線的對比如圖2所示。

圖2 SVM算法負(fù)荷曲線對比

其中，帶圓圈標(biāo)記的曲線代表真實(shí)負(fù)荷，帶三角標(biāo)記的曲線表示SVM預(yù)測結(jié)果曲線。誤差曲線如圖3所示。

圖3 SVM預(yù)測誤差曲線

由圖2、圖3可看出，采用SVM算法的預(yù)測結(jié)果整體走勢基本與真實(shí)值相吻合，最小相對誤差為0.06%，最大相對誤差為5.67%，24點(diǎn)平均相對誤差為 2.375%。

采用IWO-SVM模型進(jìn)行的單日24點(diǎn)負(fù)荷預(yù)測情況如表2。

表2 8月27日24點(diǎn)負(fù)荷預(yù)測

續(xù)表2

由表2中數(shù)據(jù)可看出，采用IWO-SVM算法的預(yù)測結(jié)果與真實(shí)值非常接近，最小相對誤差為0.469%，且預(yù)測誤差超過3%的點(diǎn)只有2個(gè)，最大相對誤差為3.416%，24點(diǎn)平均相對誤差為1.701%，比SVM算法的精度和穩(wěn)定性都更好。

采用2種方法對1周7天的負(fù)荷進(jìn)行了預(yù)測，每天的平均誤差結(jié)果如表3所示。

表3 SVM與IWO-SWM算法預(yù)測誤差

由表3可知，SVM和IWO-SVM算法預(yù)測的準(zhǔn)確度均達(dá)到97%，滿足調(diào)度部門對于日負(fù)荷預(yù)測準(zhǔn)確率的要求，也說明了2種算法在實(shí)際應(yīng)用中的可行性。比較SVM 與IWO-SVM 2種方法的實(shí)驗(yàn)結(jié)果：SVM的預(yù)測結(jié)果不夠穩(wěn)定。而IWO-SVM的預(yù)測結(jié)果誤差相對穩(wěn)定且預(yù)測誤差更小。實(shí)驗(yàn)結(jié)果表明：IWO-SVM模型的預(yù)測較SVM方法有更高的準(zhǔn)確度，證明了IWO尋優(yōu)算法優(yōu)化SVM的參數(shù)選擇的可行性。

5 結(jié)論

本文針對SVM傳統(tǒng)的參數(shù)選取主要依靠經(jīng)驗(yàn)試算實(shí)驗(yàn)比對的方法導(dǎo)致難以快速選擇合適參數(shù)從而影響負(fù)荷預(yù)測精度的問題，研究了將入侵雜草優(yōu)化算法與支持向量機(jī)相結(jié)合的改進(jìn)算法。提出控制誤差ε的取值，采用入侵雜草尋優(yōu)算法對懲罰參數(shù)C和核函數(shù)參數(shù)σ進(jìn)行優(yōu)化選取，將自動(dòng)尋優(yōu)的結(jié)果賦給支持向量機(jī)，實(shí)現(xiàn)支持向量機(jī)自動(dòng)尋優(yōu)。通過MATLAB仿真實(shí)驗(yàn)，算例結(jié)果表明，入侵雜草算法提高了支持向量機(jī)預(yù)測精度，有效優(yōu)化了模型參數(shù)，提高模型預(yù)測性能。

[1]王奔，冷北雪，張喜海，等.支持向量機(jī)在短期負(fù)荷預(yù)測中的應(yīng)用概況[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2011，23(4)：115-121.

[2]張倩, 楊耀權(quán). 基于支持向量機(jī)核函數(shù)的研究[J]. 電力科學(xué)與工程，2012，28(5)：42-45.

[3]謝宏，魏江平，劉鶴立.短期負(fù)荷預(yù)測中支持向量機(jī)模型的參數(shù)選取和優(yōu)化方法[J].中國電機(jī)工程學(xué)報(bào)，2006，26(22)：17-22.

[4]谷文成，柴寶仁，滕艷平.基于粒子群優(yōu)化算法的支持向量機(jī)研究[J].北京理工大學(xué)學(xué)報(bào)，2014，34(7)：705-709.

[5]王瓊瑤，何友全，彭小玲.基于改進(jìn)遺傳算法的支持向量機(jī)參數(shù)優(yōu)化方法[J].計(jì)算機(jī)與現(xiàn)代化，2015(3)：33-36.

[6]郭克友，郭曉麗，王藝偉，等.SVM參數(shù)優(yōu)化方法分析與決策[J].計(jì)算機(jī)測量與控制，2016，24(6)：255-259.

[7]曾繁耀，黃昭榮.短期電網(wǎng)負(fù)荷預(yù)測方法研究[J].自動(dòng)化與儀器儀表，2016(8)：84-86.

[8]周金虎. 基于入侵雜草算法的數(shù)據(jù)挖掘聚類算法研究[D].蘭州：蘭州理工大學(xué)，2014.

[9]左旭坤，蘇守寶.多子群入侵雜草優(yōu)化算法研究及應(yīng)用[J].計(jì)算機(jī)工程，2014，40(2)：184-188.

[10]馬立新，李淵.日最大負(fù)荷特性分析及預(yù)測方法[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2014，26(10):31-34.

Load Forecasting Based on Support Vector Machine Optimize by Invasive Weed Optimization

ZHOU Shangjunxi， MA Lixin

( School of Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China)

Aiming at the problem of the support vector machine(SVM) parameter selection methods rely mainly on the experience calculation and its low efficiency defects, a new method, invasive weed optimization(IWO) algorithm, combining with SVM, is proposed. By controlling the value of error and using IWO algorithm to optimize the punish parameters and kernel parameters, the model is constructed. As the relevant historical load data, weather data and other information of city of Jiangsu Province used as the simulation data, the simulation results prove the feasibility of the SVM algorithm for short-term load forecasting and the effectiveness of the IWO algorithm for improving the parameters of SVM. The experimental results show that the prediction accuracy of this method can meet the industry requirements, with the average error less than 3%.

load forecasting; support vector machine; invasive weed optimization algorithm

10.3969/j.ISSN.1672-0792.2017.02.006

2016-09-13。

上海張江國家自主創(chuàng)新重點(diǎn)資助項(xiàng)目(201310-PI-B2-008)。

TM715

A

1672-0792(2017)02-0035-06

周尚珺璽(1992-)，女，碩士研究生，研究方向?yàn)殡娏ω?fù)荷預(yù)測及電力營銷。

馬立新(1960-)，男，教授，主要從事電力系統(tǒng)分析與優(yōu)化運(yùn)行，智能電網(wǎng)與智能科學(xué)，電氣設(shè)備狀態(tài)監(jiān)測與診斷方法，電能質(zhì)量監(jiān)控與能效測評技術(shù)，風(fēng)光發(fā)電智能控制系統(tǒng)方面的研究。