基于相關(guān)向量機(jī)的短期風(fēng)速預(yù)測模型

李慧杰，劉亞南，衛(wèi)志農(nóng)，李曉露，Kwok W Cheung，孫永輝，孫國強(qiáng)

（1.阿爾斯通電網(wǎng)技術(shù)中心有限公司，上海 201114；2.河海大學(xué) 可再生能源發(fā)電技術(shù)教育部工程研究中心，江蘇 南京 210098；3.ALSTOM Grid Inc.，Redmond，USA Washington 98052）

0 引言

可再生能源的開發(fā)利用得到世界各國的高度重視，風(fēng)力發(fā)電因具有環(huán)?？稍偕?、全球可行、成本低且規(guī)模效益顯著等優(yōu)點，已經(jīng)受到廣泛的重視，并且發(fā)展迅速[1]。近年來，風(fēng)力發(fā)電機(jī)組容量的迅速增長，對電力系統(tǒng)的影響也越來越明顯。盡管風(fēng)力發(fā)電已經(jīng)成為一種較為成熟的技術(shù)，但風(fēng)電場風(fēng)速的預(yù)測還未達(dá)到一定的滿意程度。準(zhǔn)確預(yù)測風(fēng)電場的風(fēng)速有利于調(diào)度部門調(diào)整計劃，從而有效減輕風(fēng)電對整個電網(wǎng)的不利影響，減少電力系統(tǒng)運行成本，也有利于調(diào)度人員及時采取正確的調(diào)度措施[2]。

由于風(fēng)速受諸多因素的影響，具有很強(qiáng)的隨機(jī)性和不確定性，所以預(yù)測難度較大，尤其是進(jìn)行短期風(fēng)速預(yù)測[3]。文獻(xiàn)[4] 將經(jīng)典的ARMA模型用于短期風(fēng)速預(yù)測，取得了較好的結(jié)果，但這種方法低階模型不能完全反映樣本的性能，高階模型的估計較為復(fù)雜，在計算中消耗時間，在氣候變化很大的情況下預(yù)測結(jié)果不甚理想。文獻(xiàn)[5-6] 分別采用BP神經(jīng)網(wǎng)絡(luò)和徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行風(fēng)速預(yù)測，但其算法容易陷入局部最小問題，得不到全局最優(yōu)解，收斂速度也較慢。文獻(xiàn)[7] 將支持向量機(jī)（SVM）應(yīng)用到風(fēng)速預(yù)測中，同時采用微分進(jìn)化算法進(jìn)行參數(shù)優(yōu)化，相比神經(jīng)網(wǎng)絡(luò)，該方法具有更高的精度和更強(qiáng)的魯棒性。文獻(xiàn)[8] 采用空間相關(guān)性法進(jìn)行短期風(fēng)速預(yù)測，該方法需要考慮所測地點以及與之相近幾個地點的風(fēng)速時間序列，基于幾個地點風(fēng)速之間的空間相關(guān)性，進(jìn)行風(fēng)速預(yù)測。由于該方法需要大量的原始數(shù)據(jù)，在實際操作中存在一定的難度。

混沌理論最早用于氣象學(xué)中，通過對風(fēng)速時間序列的Lyapunov指數(shù)計算，可以證明其具有混沌特性，而且混沌時間序列在短期內(nèi)可以預(yù)測。因此，利用混沌相空間重構(gòu)理論可以還原風(fēng)速時間序列的非線性動力特性，使用一定的預(yù)測模型可以進(jìn)行短期風(fēng)速預(yù)測。文獻(xiàn)[9-10] 已經(jīng)將相空間重構(gòu)用于風(fēng)力發(fā)電功率預(yù)測中。本文通過相空間重構(gòu)的方法建立相關(guān)向量機(jī)（RVM）短期風(fēng)速預(yù)測模型，同時采用高斯核函數(shù)和多項式函數(shù)的組合作為RVM的核函數(shù)，以此來提高預(yù)測精度。算例結(jié)果表明，RVM模型較之現(xiàn)有的風(fēng)速預(yù)測模型具有更高的精度。

1 相空間重構(gòu)理論

根據(jù)Takens的嵌入定理[11]，對于一個時間序列，延遲坐標(biāo)的維數(shù)m≥2d+1（d是動力系統(tǒng)的維數(shù)），在該嵌入維空間里可以把有規(guī)律的軌道（吸引子）恢復(fù)出來，即重構(gòu)的空間中的軌道與原吸引子的拓?fù)浣Y(jié)構(gòu)完全相同。對于一組時間序列｛xi｝，則相空間重構(gòu)為：

其中，m為嵌入維數(shù)，τ為延遲時間，Q=n-（m-1）τ為相空間中的相點個數(shù)，i=1，2，…，Q。

在重構(gòu)過程中，嵌入維數(shù)和延遲時間選取至關(guān)重要，恰當(dāng)選擇2個參數(shù)將直接影響相空間重構(gòu)的質(zhì)量，從而影響預(yù)測精度。

1.1 互信息求取延遲時間

利用計算互信息函數(shù)的第一極小值來確定最佳延遲時間 τ 的方法稱為互信息法。

對于2組信號｛x（i），y（j）｝（i，j=1，2，…，Q）給定x（i）的一個測量值，預(yù)測 y（j）的平均信息量為互信息函數(shù)：

其中，Px[x（i）] 為 x（i）的概率密度，Py[y（j）] 為 y（j）的概率密度，Pxy[x（i），y（j）] 為聯(lián)合概率；H（x）為信號｛x（i）｝的熵，表示對指定系統(tǒng)的N個x（i）測量得到的平均信息量，H（y）的定義與 H（x）類似，H（x，y）為聯(lián)合熵。本文采用等間距劃分網(wǎng)格方法計算互信息。

針對本文選取的時間序列，利用互信息法得到該序列互信息函數(shù)與延遲時間的關(guān)系如圖1所示，從圖中看出，延遲時間取10。

圖1 互信息函數(shù)與延遲時間關(guān)系Fig.1 Relationship between mutual information function and time delay

1.2 Cao算法求嵌入維數(shù)

目前相空間重構(gòu)嵌入維數(shù)的求取廣泛采用Cao算法。對于混沌時間序列 x1，x2，…，xn，若嵌入維數(shù)為m，延遲時間為τ，則重構(gòu)的相空間如式（1）所示。定義：

其中，E（m）為所有 a（i，m）的均值，Ym+1（n（i，m））為Ym+1（i）的最鄰近的點，Ym（n（i，m））為 Ym（i）的最鄰近的點。

當(dāng)嵌入維數(shù)m大于某個值時，E1（m）不再變化，這時m就是飽和嵌入維數(shù)。針對本文選取的時間序列，利用 Cao 算法得到 E1（m）、E2（m）與嵌入維數(shù) m的關(guān)系如圖2所示。從圖中可以看出，嵌入維數(shù)m增加到7時，E1（m）趨于穩(wěn)定，所以嵌入維數(shù)取8。

圖2 E1（m）、E2（m）與嵌入維數(shù) m 的關(guān)系Fig.2 Relationship between E1（m）／E2（m）and embedding dimension m

1.3 時間序列的最大Lyapunov指數(shù)

對于一個混沌系統(tǒng)，至少存在一個正的Lyapunov指數(shù)，它反映了軌道從初始條件附件開始發(fā)散的速度。因此，可以通過估計最大Lyapunov指數(shù)，來判斷系統(tǒng)的混沌屬性。本文采用Wolf法[12]估計最大Lyapunov指數(shù)。

步驟1 設(shè)初始時刻為t0，當(dāng)前時刻為t1，終點時刻為tM，M=P-（m+1）τ，P為時間序列終點。

步驟2 設(shè)初始點為 Y（t0），其與最近鄰點 Y0（t0）的距離為L0，經(jīng)過一定時間的演化到達(dá)2個新的點Y（t1）和 Y0（t1），此時間距超過一個預(yù)先給定的閾值ξ（ξ＞0），即。

步驟3 保留 Y（t1），同時在 Y（t1）鄰近另找一個點 Y1（t1），使得并且與之夾角盡可能小。

步驟4 繼續(xù)步驟3，直到到達(dá)時間序列的終點M，追蹤演化過程的迭代次數(shù)為tM-t0，則最大Lyapunov指數(shù)λ1為：

根據(jù)前述分析，取m=8、τ=10，這時最大Lyapunov指數(shù)大于0，其值為λ1=0.2851。由此看出，風(fēng)速時間序列具有混沌特性。

2 RVM原理

RVM[13-14]是在SVM的基礎(chǔ)上，基于貝葉斯學(xué)習(xí)理論提出的算法模型。與SVM相比，RVM有如下優(yōu)點：相關(guān)向量的數(shù)目遠(yuǎn)遠(yuǎn)小于支持向量，具有高稀疏性；僅有核參數(shù)的設(shè)置，可以節(jié)約訓(xùn)練時間；核函數(shù)無需滿足Mercer條件，增加了核函數(shù)選擇的靈活性。

對于給定的訓(xùn)練樣本輸入集｛xn｝Nn=1和對應(yīng)的輸出集｛ln｝Nn=1，RVM 回歸模型[15-17]可定義為：

其中，ε 為服從 N（0，σ2）分布的各獨立樣本誤差，wi為權(quán)系數(shù)，K（x，xi）為核函數(shù)，N 為樣本數(shù)量。

對于相互獨立的輸出集，整個樣本的似然函數(shù)為：

其中，l=（l1，l2，…，lN），w=[w0，w1，…，wN]T，Φ=[φ（x1），φ（x2），…，φ（xN）]T，φ（xN）=[1，K（x1，xN），K（x2，xN），…，K（xn，xN））]T，y（xi；w）為預(yù)測值。

根據(jù)概率預(yù)測公式，所求的條件概率為：

其中，l*為目標(biāo)值。

為了避免直接使用最大似然方法求解w和σ2而帶來的過適應(yīng)現(xiàn)象，對w加上先決條件。根據(jù)貝葉斯理論，w為分布為零的標(biāo)準(zhǔn)正態(tài)分布，同時引入超參數(shù) α=[α0，α1，…，αN]T，可得：

因此，概率預(yù)測式改為：

RVM的一個重要特征就是對每個權(quán)值限定先決條件。α為權(quán)值w對應(yīng)的超參數(shù)，符合伽馬分布。經(jīng)過足夠的更新次數(shù)后，大部分αi會趨近無限大，其對應(yīng)的權(quán)值趨于0，而其他的αi會穩(wěn)定地趨近有限值。而與之對應(yīng)的xi稱之為相關(guān)向量，實現(xiàn)RVM稀疏特性。

在定義了先驗概率分布及似然分布以后，根據(jù)貝葉斯原理，就可以求得所有未知參數(shù)的后驗概率分布為：

其中，ψ＝（σ－2ΦTΦ＋A）－1，μ＝σ－2ψΦTl，A=diag（α0，α1，…，αN）。

最后使用最大似然方法可以得到估計的超參數(shù)α和方差σ2。

若給定新的輸入值x*，則相應(yīng)的輸出概率分布服從高斯分布，其相應(yīng)的預(yù)測值為 y*=μTφ（x*）。

3 風(fēng)速預(yù)測的RVM預(yù)測模型

3.1 樣本數(shù)據(jù)的預(yù)處理

為了加快樣本的訓(xùn)練速度和收斂速度，需要對原始樣本進(jìn)行預(yù)處理，從而提高模型的預(yù)測精度。本文主要采用歸一化方法對樣本數(shù)據(jù)進(jìn)行處理：

3.2 RVM模型參數(shù)的選取

RVM是基于核函數(shù)方法的模式識別技術(shù)，本質(zhì)上講，核方法實現(xiàn)了數(shù)據(jù)空間、特征空間和類別空間之間的非線性變換?；旌虾撕瘮?shù)的基本思想[18]是將多個不同的核函數(shù)結(jié)合起來，使得組合后的核函數(shù)具有更好的特性。

高斯核函數(shù)在眾多核函數(shù)中表現(xiàn)出了優(yōu)異的特性，本文選擇多項式核函數(shù)進(jìn)行線性組合得到的函數(shù)作為RVM模型的核函數(shù)。為了方便起見，選擇如下二項式函數(shù)：

其中，G（xi，xj）為高斯核函數(shù)；P（xi，xj）為二項式核；λ為核函數(shù)權(quán)重，0≤λ≤1，λ=0或λ=1時分別為單一核函數(shù)。

在基于核函數(shù)的模式識別技術(shù)中，核參數(shù)的選擇對結(jié)果起著至關(guān)重要的作用。RVM預(yù)測模型中超參數(shù)α可以通過訓(xùn)練自適應(yīng)得到最優(yōu)值，核函數(shù)寬度σ和權(quán)重λ的選取采用網(wǎng)格搜索法來獲得。

3.3 預(yù)測模型的評價標(biāo)準(zhǔn)

預(yù)測模型的預(yù)測效果采用平均絕對百分比誤差評價，其表達(dá)式為：

3.4 風(fēng)速預(yù)測模型流程圖

風(fēng)速預(yù)測流程如圖3所示。

圖3 風(fēng)速預(yù)測流程圖Fig.3 Flowchart of wind speed forecasting

4 算例分析

本文采用某風(fēng)電場前15天的1440個實測風(fēng)速值作為訓(xùn)練樣本，數(shù)據(jù)采樣間隔為15 min，建立RVM風(fēng)速預(yù)測模型，對第16天的96個采樣點的風(fēng)速值做提前1點（即15 min）的預(yù)測。建立模型前對數(shù)據(jù)進(jìn)行預(yù)處理，選取合理的參數(shù)。本文嵌入維數(shù)取8，延遲時間取10。

本文分別選擇了Sigmoid函數(shù)、線性函數(shù)、二次項函數(shù)、RBF函數(shù)及其組合函數(shù)作為核函數(shù)，比較預(yù)測結(jié)果如表1所示。

表1 不同核函數(shù)的預(yù)測結(jié)果Tab.1 Forecasts by different kernel functions

由表1可以看出，不同的核函數(shù)對應(yīng)的eMAPE的差別很大，對于單一核函數(shù)，二項式函數(shù)的eMAPE=2.62%，RBF核函數(shù)的eMAPE=2.65%，這2種核函數(shù)的誤差遠(yuǎn)小于其余的單一核函數(shù)。本文所采用的RBF核函數(shù)與二項式函數(shù)的組合核函數(shù)的eMAPE=2.58%，預(yù)測效果優(yōu)于RBF核函數(shù)和其他的組合核函數(shù)。

將RVM模型與時間序列模型、BP神經(jīng)網(wǎng)絡(luò)模型、SVM模型的預(yù)測結(jié)果分別進(jìn)行比較，這些模型在數(shù)據(jù)處理上基本相同，得到的提前15 min的預(yù)測結(jié)果如表2所示（由于篇幅有限，只列出部分?jǐn)?shù)據(jù)）。

表2 不同預(yù)測模型的預(yù)測結(jié)果Tab.2 Forecasts by different forecasting models

時間序列模型預(yù)測結(jié)果的eMAPE=5.21%，BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果的eMAPE=5.18%，SVM模型預(yù)測結(jié)果的eMAPE=3.22%，RVM模型預(yù)測結(jié)果的eMAPE=2.58%。由不同模型得到的eMAPE可以看出，RVM模型在風(fēng)速預(yù)測中精度比其他模型高。RVM模型計算的結(jié)果比較穩(wěn)定，比BP神經(jīng)網(wǎng)絡(luò)模型性能優(yōu)越，BP神經(jīng)網(wǎng)絡(luò)方法不能得到全局最優(yōu)解，因為其采用梯度下降法優(yōu)化權(quán)值，而這一優(yōu)化過程只能保證收斂到其中一個點。SVM模型性能也很好，也可以得到全局最優(yōu)解，其收斂時間為550.98 s，但是RVM模型具有更高的稀疏性，能較快收斂，其收斂時間為345.53 s，從而驗證了RVM理論在風(fēng)速預(yù)測中的可行性，具有一定的使用價值。

5 結(jié)論

本文對風(fēng)速時間序列建立了非線性動力學(xué)系統(tǒng)模型，通過估計嵌入維數(shù)、延遲時間以及最大Lyapunov指數(shù)檢驗了該系統(tǒng)的混沌特性。在此基礎(chǔ)上，借助RVM方法，對風(fēng)速進(jìn)行了短期預(yù)測。該方法克服了神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間長、泛化能力差、易陷入局部極小等缺點，具有較強(qiáng)的小樣本學(xué)習(xí)和泛化能力。同時通過對不同的核函數(shù)進(jìn)行分析組合，選擇出了RBF核函數(shù)與二項式函數(shù)的組合核函數(shù)作為RVM模型的核函數(shù)。與SVM相比，該方法稀疏性更高，核函數(shù)選擇更加靈活，同時組合核函數(shù)的使用提高了預(yù)測的精度。作為一種新型的稀疏性學(xué)習(xí)方法，RVM可以同時輸出預(yù)測值和預(yù)測值方差，非常適用于有實時性要求的工程預(yù)測估計。