一種基于元學習框架的時間序列預測方法

李睿峰，吳忠德，戴金玲，王樹友

(海軍航空大學， 山東 煙臺 264001)

1 引言

時間序列預測(time series prediction，TSP)是機器學習領域一個重要而活躍的研究課題，在許多實際數(shù)據(jù)挖掘應用中具有不可缺少的重要性[1]。時間序列數(shù)據(jù)廣泛存在于水文(河流水位)、天氣(降雨量)、金融(股票走勢)和軍事裝備健康管理(早期故障預示)等各個領域。例如，飛機發(fā)動機系統(tǒng)的狀態(tài)預測，對排除早期故障、降低維護成本、提高系統(tǒng)穩(wěn)定性和安全性具有重要意義。

常用于解決TSP問題的機器學習方法主要有人工神經(jīng)網(wǎng)絡[2-3]、支持向量機[4-5]以及相關向量機[6-7]等，這些方法在各自應用領域取得了較為理想的預測結果。Huang等[8]提出的超限學習機(extreme learning machine，ELM)因其快速的計算速度、突出的全局近似能力，已被廣泛應用于處理包括TSP在內的復雜非線性問題[9-10]。Huang等[11]利用核方法對ELM進行擴展，提出了核超限學習機(kernel extreme learning machine，KELM)，文獻[12-15]將改進的KELM擴展到了在線學習領域。

總體來看，上述用于解決TSP問題的方法都只采用了單一預測器模式，但是根據(jù)NFL定理，并不存在一種算法對所有的任務都適用。Yao[1]分析指出，將集成學習方法應用于解決TSP問題具有比單個模型更優(yōu)良的性能。這類方法在TSP問題中的應用包括神經(jīng)網(wǎng)絡線性集成框架[16]、ELM改進層集成架構[17]等。同時，為了降低集成學習的空間復雜度，集成選擇技術[18-20]更受研究者青睞。該技術的核心在于定義基預測器的性能評價準則，以挑選出最能“勝任”當前預測任務的一組預測器進行組合決策。但是集成選擇技術在處理TSP問題時存在一些固有缺陷：① 當前已被提出的評價準則具有很大的局限性，為特定TSP問題確定恰當?shù)脑u價準則難度較大；② 雖然動態(tài)集成選擇靈活性較強，但是為每個樣本動態(tài)選擇基預測器的方式，無形中增加了算法時間復雜度。

元學習領域的疊加歸納策略主要思想是將基本學習器分布在多個層次上，采用多層學習器來完成學習任務。這一方法在分類領域應用廣泛，典型結構為“基分類器-元分類器”形式的分層集成模型。元分類器并不試圖挑選出最優(yōu)的基分類器，而是對基分類器的結果進行“再學習”，以糾正錯誤分類、鞏固正確分類，使元分類器的準確度優(yōu)于所有基分類器。但是這類方法在TSP領域的應用尚未明確，且如果將之用于TSP任務存在2個問題有待解決：① 算法的時效性，能否實時跟蹤時間序列；② 基預測器中存在對于當前任務的預測“能力”較弱者，對全部基預測器的結果進行再學習無疑會降低最終決策的可靠性。

綜上，本文改進了分層集成模型，以適應時間序列預測任務的時效性要求；在此基礎上增加了優(yōu)化選擇過程，以控制模型規(guī)模，并消除預測能力差的基預測器的不利影響。在此基礎上提出了一種基于元學習框架的時間序列預測方法(time series prediction method based on META-learning，META-TSP)。首先，以KELM為基預測器，采用相空間重構之后的訓練數(shù)據(jù)對基預測器進行訓練；然后，將基預測器對驗證數(shù)據(jù)的預測結果作為元數(shù)據(jù)對元學習器進行訓練，并通過BPSO算法，以均方根誤差為適應度函數(shù)對基預測器進行篩選；最后，將相空間重構之后的測試數(shù)據(jù)輸入到訓練好的模型中，預測其輸出。實例分析表明，本文方法在保證時效性前提下能夠有效提高預測的準確性和穩(wěn)定性，適用于解決時間序列預測問題。

2 算法基礎

2.1 核超限學習機

給定數(shù)據(jù)流S={(x1,y1),(x2,y2),…}，其中xi∈Rd表示輸入向量，d∈N+是xi的維數(shù)，yi是與xi對應的輸出值，則ELM模型定義為[8]：

(1)

式(1)中：β=[β1,…,βL]T是模型輸出權重向量；h(xi)=[h1(xi),…,hL(xi)]表示隱層神經(jīng)元對輸入樣本xi的映射向量；ξi表示對應于第i個樣本的訓練誤差；c是正則化參數(shù)，并且c∈R+?；贙KT優(yōu)化條件求解式(1)的優(yōu)化問題，可得輸出權重為：

β=HT(c-1I+HHT)-1y

(2)

式(2)中：yt=[y1,…,yt]T是輸入樣本對應的目標值向量；H=[h(x1)T,…,h(xt)T]T是輸入樣本的映射矩陣。應用Mercer條件定義核矩陣Ω=HHT，Ω(i,j)=h(xi)·h(xj)T=k(xi,xj)，可得ELM的核化形式為：

(3)

式(3)中：kt是當前時刻的核估計向量，并且有kt=[k(·,x1),…,k(·,xt)]；θt=[θ1,…,θt]T是t時刻的核權重向量，且θt=(c-1I+Ωt)-1yt。

應用KELM解決TSP問題具有以下優(yōu)勢：① 算法層次結構簡潔高效，需要的時間和空間開支少，更能滿足TSP問題的時效要求；② 無需像ELM一樣設置映射函數(shù)和隱層神經(jīng)元數(shù)量，降低了模型的隨機性，僅通過核函數(shù)設置即可完成算法優(yōu)化，而核函數(shù)的設置范圍，相比ELM算法的映射函數(shù)和隱層神經(jīng)元選擇范圍要小得多。

2.2 二進制粒子群優(yōu)化算法

粒子群優(yōu)化(PSO)算法以其簡單的尋優(yōu)模式和較低的計算代價，是目前最常用的進化算法之一，BPSO作為PSO算法的離散二進制版本，已被證明在多目標選擇領域具有優(yōu)良的性能[22]。由于本研究涉及到了基預測器的選擇過程，因此采用BPSO算法，以最小化均方根誤差為目標，挑選出預測能力最強的一組基預測器。

步驟1：初始化。按照種群大小，在搜索空間中隨機初始化粒子位置和速度。計算適應度函數(shù)值，初始化粒子的個體最優(yōu)位置和全局最優(yōu)位置。設置最大進化代數(shù)及其他終止條件。

步驟2：更新粒子速度。粒子速度公式為:

(4)

式(4)中：pBesti={pBesti,1,…,pBesti,M}表示第i個粒子訪問的最優(yōu)位置；gBest={gBest1,…,gBestM}表示考慮到整個粒子群的全局最優(yōu)位置；ω對應于慣性權值，通常設置為1；c1和c2是加速度系數(shù)，rand是在0和1之間隨機產(chǎn)生的數(shù)字；g是進化代數(shù)。

步驟3：更新粒子位置。BPSO算法采用傳遞函數(shù)將粒子速度映射到[0,1]區(qū)間，作為粒子位置變化的概率。傳遞函數(shù)通常采用sigmoid函數(shù)s(x)=1/(1+e-x)，粒子位置更新公式為：

(5)

步驟4：更新適應度函數(shù)。利用當前粒子位置信息計算適應度函數(shù)值。

步驟5：更新單個粒子最優(yōu)位置和粒子群全局最優(yōu)位置。如果滿足終止條件，則輸出最優(yōu)解；否則，返回步驟2。

3 META-TSP方法

3.1 方法機構

META-TSP方法通過改進分層集成模型來構建元學習機構，并采用BPSO算法對基預測器進行優(yōu)化選擇，具體可細分為3個階段：基預測器訓練階段、元學習器訓練階段和測試階段，如圖1所示。該方法將訓練數(shù)據(jù)分為2個子集：訓練集DTr和驗證集Dval。

圖1 META-TSP機構框圖

3.1.1基預測器訓練階段

基預測器訓練階段用來訓練產(chǎn)生M個基預測器，從訓練集DTr中隨機抽取樣本子集，通過為KELM設置不同的核函數(shù)和核參數(shù)，每一個樣本子集用來訓練生成一個基預測器。

由試驗數(shù)據(jù)可知，對于同1個試驗溫度測點，5次測量的溫度值會有波動，當溫度波動大于0.2 ℃時，傳熱系數(shù)K值的測量值會出現(xiàn)明顯的波動[9].具體數(shù)據(jù)如表6、表7所示.

3.1.2元學習器訓練階段

首先，使用上一階段訓練產(chǎn)生的M個基預測器對驗證集Dval中的樣本進行預測，預測結果作為元特征，每一個基預測器都對應著一個特征維度，元特征為M維；以驗證集Dval中樣本的實際輸出為元目標，元特征與元目標共同構成元數(shù)據(jù)。然后，調用BPSO算法，以均方根誤差為適應度函數(shù)，對元特征進行優(yōu)化選擇(實際上是對基預測器進行篩選)。最后，利用特征約簡后的元數(shù)據(jù)訓練一個元學習器。該階段的偽代碼如下：

3.1.3測試階段

對于測試樣本xtest，首先使用M個基預測器對其進行預測，得到元特征；然后根據(jù)上一階段的特征選擇結果對元特征進行約簡；最后將約簡后的元特征輸入到上一階段訓練好的元學習器λ中，得到最終預測輸出。該階段的偽代碼如下：

3.2 復雜性分析

下面對META-TSP方法3個階段的復雜性進行簡要分析。

在基預測器訓練過程中，假設訓練子集的大小為S1，該階段訓練產(chǎn)生M個基預測器，時間復雜度為O(S1·M)。元學習器訓練階段，假設驗證集的大小為S2，使用M個基預測器對驗證集進行預測，時間復雜度為O(S2·M)；BPSO優(yōu)化過程中，元學習器訓練并預測gmax+1次，由于該過程對元數(shù)據(jù)進行約簡，故時間復雜度不超過O(S2·(gmax+1))。測試階段，假設測試集的大小為S3，P′的尺寸為M′，使用P′對測試集進行預測，時間復雜度為O(S3·M′)；元學習器預測過程的時間復雜度僅為O(S3)。

一般來說，訓練數(shù)據(jù)的規(guī)模(即S1+S2)不會太大，通過控制基預測器池的大小M和最大進化代數(shù)gmax，即可提升算法的時間效率。因此，該方法可以滿足時間序列實時預測需求。

4 實驗分析

4.1 實驗設置

4.1.1算法設置

基預測池由11個KELM構成，用到的核函數(shù)包括線性核、多項式核、高斯核，正則化參數(shù)C設置為10，線性核不需要設置其他參數(shù)，多項式核的參數(shù)設置為{[1,2],[1,3],[-1,2],[-1,3]}，高斯核的參數(shù)設置為樣本間最大歐式距離和最小歐式距離間隨機選取的6個離散值(調用dd_tools工具箱的scale_range 函數(shù)實現(xiàn))。

所有算法均在MATLAB 2018a上運行，實驗電腦配置為：Windows 10操作系統(tǒng)，Inter Core i7-7700HQ CPU，2.80 GHz主頻和8G RAM。

4.1.2參數(shù)設置

簡便起見，實驗同樣采用了KLEM作為META-TSP方法的元級學習器，核函數(shù)采用RBF核，并通過網(wǎng)格搜索法確定最優(yōu)參數(shù)。FOKELM、NOS-KELM和FARF-OSKBIELM方法的參數(shù)均與文獻[15]一致：高斯核，核參數(shù)σ=10，時間窗m=50；FOKELM和NOS-KELM的正則化參數(shù)C=2×104，其余參數(shù)見文獻[15]。DES-PALR算法首先需要定義測試樣本的局部區(qū)域，與文獻[20]相同，該區(qū)域使用k-means聚類算法得到，聚類數(shù)設置為4；DVP-OpOp算法需要設置驗證集的大小，實驗中取訓練集尺寸的10%；DES-CP算法沿用文獻[20]的設置，采用遺傳算法生成基預測器子集，子集總數(shù)n取10。

4.1.3評價指標

在TSP問題的研究中，通常從計算復雜性、預測精度、預測穩(wěn)定性等3個方面來評價算法的性能。計算復雜性指標包括訓練時間和測試時間，預測精度指標通過均方根誤差(root mean square Error，RMSE)來衡量，預測穩(wěn)定性指標可以從最大絕對預測誤差(maximal absolute prediction error，MAPE)和平均相對誤差率(mean relative error rate，MRPE)角度來度量。計算公式為：

4.2 非平穩(wěn)Mackey-Glass 混沌時間序列預測

本節(jié)首先驗證算法對Mackey-Glass混沌時間序列預測的有效性。該序列可以通過以下非線性時滯微分方程得到。

取a=0.2，b=0.1，τ=17，x(0)=1.2，當t<0時，x(t)=0，步長Δ=0.1，通過4階Runge-Kutta方法解方程，在此基礎上，加上正弦曲線0.3sin(2πt/3 000),以得到新的時間序列。設置采樣間隔Ts=10Δ，規(guī)定時間嵌入維數(shù)等于10，由此獲得了與文獻[14-15]完全相同數(shù)據(jù)集，包含1 191組樣本數(shù)據(jù)，前991組用于訓練，后200組用于測試。

6種對比算法和本文方法的預測曲線如圖2所示，預測結果如表1所示，各項指標的最優(yōu)值均加粗表示。

圖2 Mackey-Glass 混沌時間序列預測曲線

表1 Mackey-Glass預測結果

由表1和圖2可以得出以下結論：

1) 在預測精度和預測穩(wěn)定性方面，META-TSP方法均是最優(yōu)的。相比于其他6種算法，META-TSP方法在RMSE指標上分別提高了80.98%、91.87%、27.72%、37.01%、38.91%和39.88%，在MAPE指標上分別提高了76.06%、87.19%、32.59%、26.32%、27.43%和30.97%，在MRPE指標上分別提高了80.46%、92.94%、22.68%、37.79%、40.78%和41.61%。這說明META-TSP方法對時間序列的未來走勢預測最準確，并且預測效果最穩(wěn)定。

2) META-TSP方法的預測時間高于3種基于KELM改進型的方法，低于3種DES算法。但是META-TSP方法的預測時間仍然是毫秒級的，能夠滿足實時預測的需求。值得注意的是，DVP-OpOp算法的預測時間過長，這是由于該算法在預測階段會計算全部測試數(shù)據(jù)與訓練數(shù)據(jù)預測結果的距離，這一過程增加了算法的時間消耗，即使其他各項指標都比較優(yōu)良，該算法并不適用于TSP問題。

3) 訓練精度方面，DVP-OpOp算法的均方根誤差是最低的，但是DES-PALR、DES-CP和META-TSP方法與之非常接近，而且如前文所述，DVP-OpOp算法的測試時間過長，不適合處理TSP問題。此外，由于META-TSP方法的測試精度是最高的，說明該方法抑制過擬合效果更為明顯。

4) META-TSP方法的訓練時間是最短的，說明該方法采用的學習機制比較高效，能夠根據(jù)訓練數(shù)據(jù)更快地擬合時間序列。雖然使用了多個KELM生成基預測器池，但是仍比針對單個KELM進行優(yōu)化的方法訓練時間短很多。

5) FARF-OSKBIELM方法采用了自適應的正則化因子，預測效果比FOKELM和NOS-KELM方法好，但不及META-TSP方法，說明將元學習器引入預測過程更能充分挖掘時間序列所蘊含的信息。

關于Mackey-Glass混沌時間序列的絕對預測誤差(absolute prediction error，APE)，F(xiàn)OKELM、NOS-KELM、FARF-OSKBIELM、DES-PALR、DVP-OpOp和DES-CP分別與META-TSP方法的預測曲線如圖3所示?？傮w來看，META-TSP方法比其他幾種方法的預測誤差都小，對時間序列未來趨勢的預測能力最優(yōu)。

圖3 預測誤差曲線

4.3 某型飛機飛行參數(shù)預測

本節(jié)將META-TSP方法應用到具體案例中，驗證該方法對飛機飛行狀態(tài)預測的有效性。以某飛行訓練部隊某型教練機的發(fā)動機為例，選取低壓轉子轉速(轉每秒，r/s，記為LSpeed)、高壓轉子轉速(轉每秒，r/s，記為HSpeed)、渦輪后溫度(開爾文，K，記為Temperature)和油門桿角位移(毫米，mm，記為Displacement)為監(jiān)測項目。收集了該機型飛參系統(tǒng)某一架次的原始數(shù)據(jù)，數(shù)據(jù)采樣每隔1 s進行一次，每個項目取250個樣本，變化曲線如圖4所示。其中，由于渦輪后溫度的單位是K，在數(shù)量級上是其他項目的4倍，故在圖4中將之轉換成攝氏溫度展示。

圖4 某型飛機飛行狀態(tài)參數(shù)變化曲線

設置嵌入維度為m1=m2=m3=m4=6，可得到244組數(shù)據(jù)樣本。實驗將前194組樣本作為訓練數(shù)據(jù)，后50組為測試數(shù)據(jù)。KELM改進型方法和DES算法中,選擇Mackey-Glass混沌時間序列預測實驗中整體性能最好的2種方法——FARF-OSKBIELM和DES-PALR，與本文方法META-TSP進行比較。表2列出了3種方法分別對4個監(jiān)測項目的預測結果。其中各監(jiān)測項目上的最優(yōu)指標加粗表示。

表2 飛行狀態(tài)參數(shù)預測結果

由表2可以看出：① FARF-OSKBIELM的測試時間總是最短的，因為該方法只采用了單個預測器進行預測。但是META-TSP的測試時間只比FARF-OSKBIELM高出一個數(shù)量級，且這種毫秒級的時間開銷幾乎可以忽略不計，完全能夠滿足實時預測需求。此外，META-TSP的訓練時間總是最短的，使得該方法能夠更快地訓練出預測器模型。② META-TSP在4個監(jiān)測項目上的測試精度都是最高的，具有最好的整體預測性能。其中，對于Temperature項目而言，F(xiàn)ARF-OSKBIELM的均方根誤差很大，DES-PALR存在過擬合現(xiàn)象。③ META-TSP在4個監(jiān)測項目上的MAPE和MRPE值都是最低的，說明該方法的預測結果更穩(wěn)定。以預測發(fā)動機未來50個單位時間內的低壓轉子轉速為例，3種方法的預測曲線圖5所示。

圖5 低壓轉子轉速預測曲線

由圖5可知，顯然，與其他2種方法相比，META-TSP對真實狀態(tài)的跟蹤能力最好。

5 結論

1) META-TSP方法完全能夠滿足實時預測需求，具有比FARF-OSKBIELM和DES-PALR方法更快的訓練速度和極短的測試時間，在4個監(jiān)測項目上的平均訓練時間分別縮短了77.48%和33.91%。

2) 在預測精度方面，該方法的整體性能優(yōu)于FARF-OSKBIELM和DES-PALR等2種對比方法，能夠兼顧4個監(jiān)測項目，平均預測均方根誤差比其余2種方法分別提升了28.86%和72.26%。此外，該方法能有效抑制過擬合，且預測結果更穩(wěn)定。

3)META-TSP方法采用BPSO機制對基預測器進行優(yōu)化集成，控制了模型規(guī)模，且避免了預測能力差的基預測器對預測結果產(chǎn)生的不利影響；運用元學習器，對基預測器的結果進行再學習，相比于只采用單個預測器的方法，能對訓練數(shù)據(jù)所含信息進行更充分的挖掘。