基于極端學(xué)習(xí)機(jī)的網(wǎng)絡(luò)流量預(yù)測(cè)模型

魯華棟， 時(shí)磊

(河南工業(yè)職業(yè)技術(shù)學(xué)院 1.網(wǎng)絡(luò)管理中心，2.電子信息工程系，南陽(yáng) 473000)

0 引言

隨著互聯(lián)網(wǎng)規(guī)模的不斷增大，每一個(gè)小時(shí)的網(wǎng)絡(luò)業(yè)務(wù)量不斷增多，增加了網(wǎng)絡(luò)擁塞頻率，網(wǎng)絡(luò)流量預(yù)測(cè)可以為網(wǎng)絡(luò)管理提供有有價(jià)值的參考意見，設(shè)計(jì)高精度、速度快的網(wǎng)絡(luò)流量預(yù)測(cè)模型十分關(guān)鍵[1-3]。

網(wǎng)絡(luò)流量預(yù)測(cè)的研究可以分為兩個(gè)階段：傳統(tǒng)階段和現(xiàn)代階段，傳統(tǒng)階段主要有時(shí)間序列法、多元線性回歸等[4-6]，它們假設(shè)網(wǎng)絡(luò)流量呈現(xiàn)線性變化規(guī)律，建模速度快，然而網(wǎng)絡(luò)流量受到多種因素影響，具有時(shí)變性、混沌性等，預(yù)測(cè)精度低，預(yù)測(cè)結(jié)果不可靠[7]。現(xiàn)代階段主要采用機(jī)器學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)流量進(jìn)行建模和預(yù)測(cè)，其中神經(jīng)網(wǎng)絡(luò)應(yīng)用最為廣泛，預(yù)測(cè)精度得到了一定提升[9-11]。極端學(xué)習(xí)機(jī)(extreme learning machine，ELM)屬于新前饋神經(jīng)網(wǎng)絡(luò)，建模效率要高于其它神經(jīng)網(wǎng)絡(luò)，可以應(yīng)用于非線性的網(wǎng)絡(luò)流量預(yù)測(cè)建模[12]。標(biāo)準(zhǔn)限學(xué)習(xí)機(jī)采用隨機(jī)確定輸出權(quán)值，泛化能力差，易出現(xiàn)過(guò)擬合缺陷。因此有學(xué)者提出了一種改進(jìn)極端學(xué)習(xí)機(jī)(Regularized ELM，RELM)，泛化能力得到了改善，但RELM只能對(duì)網(wǎng)絡(luò)流量進(jìn)行離線建模，無(wú)法滿足網(wǎng)絡(luò)流量的在線預(yù)測(cè)要求[13]。為此，有學(xué)者提另一種改進(jìn)極端學(xué)習(xí)機(jī)(online sequential extreme learning machine，OS-ELM)，但計(jì)算復(fù)雜度高，建模效率低[14]。

為了更加準(zhǔn)確地對(duì)網(wǎng)絡(luò)流量進(jìn)行預(yù)測(cè)，提出了一種改進(jìn)極端學(xué)習(xí)機(jī)(Improved ELM，IELM)的網(wǎng)絡(luò)流量預(yù)測(cè)模型，并通過(guò)網(wǎng)絡(luò)流量數(shù)據(jù)的預(yù)測(cè)實(shí)驗(yàn)驗(yàn)證其可行性。結(jié)果表明，與其它網(wǎng)絡(luò)流量預(yù)測(cè)模型相比，改進(jìn)極限學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果更加可靠，可以更加準(zhǔn)確描述網(wǎng)絡(luò)流量將來(lái)的變化趨勢(shì)，提高了網(wǎng)絡(luò)流量的預(yù)測(cè)精度。

2 極端學(xué)習(xí)機(jī)算法及改進(jìn)

(1)

相關(guān)參數(shù)見[12]。

對(duì)式(1)直接進(jìn)行求解十分復(fù)雜，難以實(shí)現(xiàn)，為此引入拉格朗乘子,得到式(2)。

(2)

式中，Hk為神經(jīng)元矩陣,w為權(quán)值。

對(duì)式(2)進(jìn)行求偏導(dǎo)，同時(shí)設(shè)偏導(dǎo)數(shù)為零，那么可以得到式(3)。

(3)

式中，I為單位矩陣

極端學(xué)習(xí)機(jī)的回歸模型為式(4)。

(4)

式中，t和x分別為輸入和輸出。

在極端學(xué)習(xí)機(jī)的回歸過(guò)程中，實(shí)際就是找到βk的值，但該過(guò)程包括矩陣求逆運(yùn)算，使得極限學(xué)習(xí)的學(xué)習(xí)比較費(fèi)時(shí)。為此本文提出一種改進(jìn)極端學(xué)習(xí)機(jī)(IELM)。

設(shè)根據(jù)時(shí)間序列Sk已得到輸出權(quán)值βk，當(dāng)有訓(xùn)練樣本加入時(shí)，輸出權(quán)值變?yōu)槭?5)。

(5)

(6)

根據(jù)矩陣求逆引理得到Pk的遞推表達(dá)式為式(7)。

(7)

聯(lián)合式(5)和式(6)得到βk的遞推表達(dá)式為式(8)。

(8)

根據(jù)Cholesky分解方法求解βk，則有式(9)。

(9)

那么βL求解過(guò)程可被轉(zhuǎn)化為求解形如式(10)的線性方程，加快學(xué)習(xí)速度為式(10)。

ALβL=bL

(10)

對(duì)AL進(jìn)行Cholesky分解得到式(11)。

(11)

式中，SL是一個(gè)三角矩陣,如式(12)。

最后βL為

(12)

其中，sij表示SL中不為零的元素；fi為式(13)。

(13)

3 改進(jìn)極限學(xué)習(xí)網(wǎng)絡(luò)流量預(yù)測(cè)模型

3.1 混沌理論

設(shè)原始網(wǎng)絡(luò)流量數(shù)據(jù)集：{x(i),i=1,2,…,n}，根據(jù)混沌理論可以變?yōu)橐粋€(gè)多維時(shí)間序列為：X(t)={x(t),x(i+τ),…,x(i+(m-1)τ)，其中，τ表示延遲時(shí)間，分析一對(duì)樣本點(diǎn)：X(i)和X(j)，那么兩者的距離rij(m)為[15]式(14)。

(14)

關(guān)聯(lián)積分計(jì)算公式為式(15)。

(15)

式中，r為閾值。

將網(wǎng)絡(luò)流量數(shù)據(jù){x(i),i=1,2,…}可劃分成t個(gè)子時(shí)間序列，則有式(16)。

(16)

式中，Cl表示第l個(gè)子序列的相關(guān)積分。

極小值點(diǎn)的計(jì)算公式為式(17)。

(17)

令式(18)。

(18)

式中，Xi(m+1)為重構(gòu)后的i個(gè)向量；Xn(i,m)(m+1)為的Xi(m+1)最近鄰。

3.2 改進(jìn)學(xué)習(xí)機(jī)的網(wǎng)絡(luò)流量預(yù)測(cè)模型的工作過(guò)程

Step1:收集網(wǎng)絡(luò)流量歷史時(shí)間序列數(shù)據(jù)，對(duì)其歸一化操作，具體為式(19)。

(19)

式中，x(i)和x′(i)分別為原始和歸一化后的值，max()和min()分別為最大值和最小值。

Step2: 確定最佳τ和m，對(duì)原始網(wǎng)絡(luò)流量數(shù)據(jù)重構(gòu)，建立IELM的學(xué)習(xí)樣本。

Step3: 確定IELM輸入權(quán)值αk及隱含層偏差bk值，并將網(wǎng)絡(luò)流訓(xùn)練集輸入到IELM進(jìn)行訓(xùn)練。

Step4: 計(jì)算隱含層輸出矩陣H。

Step5: 計(jì)算輸出層權(quán)值βk。

Step6: 將βk代入式(4)建立網(wǎng)絡(luò)流量預(yù)測(cè)模型，并對(duì)測(cè)試集進(jìn)行驗(yàn)證，根據(jù)結(jié)果對(duì)IELM的性能進(jìn)行分析。

4 網(wǎng)絡(luò)流量預(yù)測(cè)模型的性能測(cè)試

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

為了分析改進(jìn)極端學(xué)習(xí)機(jī)的性能，選擇標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集http://newsfeed.ntcu.net/～news/2015/的每小時(shí)流量作為實(shí)驗(yàn)對(duì)象，它們?nèi)鐖D1所示。

圖1 實(shí)驗(yàn)數(shù)據(jù)

采用Intel 4核 3.0GHz CPU，32 GB RAM，Windows 10系統(tǒng)上作為實(shí)驗(yàn)平臺(tái)，采用VC++6.0編程實(shí)現(xiàn)實(shí)驗(yàn)。

4.2 數(shù)據(jù)混沌處理

采用混沌理論對(duì)圖1中的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，得到τ和m變化曲線,如圖2所示。

可以發(fā)現(xiàn)，最佳τ=5，m=5，這樣表示網(wǎng)絡(luò)流量數(shù)據(jù)時(shí)間上有一定的關(guān)聯(lián)性，通過(guò)相空間重構(gòu)可以挖掘它們之間聯(lián)系，建立極端學(xué)習(xí)機(jī)的訓(xùn)練樣本和測(cè)試樣本。

4.3 結(jié)果與分析

選擇文獻(xiàn)[13]的改進(jìn)極端學(xué)習(xí)機(jī)、標(biāo)準(zhǔn)學(xué)習(xí)機(jī)進(jìn)行對(duì)照測(cè)試，并采用RMSE、MAPE對(duì)模型的性能進(jìn)行分析，具體為式(20)、式(21)。

(20)

(21)

IELM的網(wǎng)絡(luò)流量一步預(yù)測(cè)結(jié)果如圖3所示。

(a) τ

(b) m

(a) 預(yù)測(cè)結(jié)果

(b) 預(yù)測(cè)偏差

可以清楚看出，一步測(cè)精度高，誤差波動(dòng)平穩(wěn)，說(shuō)明將IELM用于網(wǎng)絡(luò)流量建模與預(yù)測(cè)是可行的，預(yù)測(cè)結(jié)果可靠。

預(yù)測(cè)建模主要對(duì)網(wǎng)絡(luò)流量將來(lái)變化趨勢(shì)進(jìn)行跟蹤，因此進(jìn)行多步預(yù)測(cè)性能分析，2步驟預(yù)測(cè)結(jié)果,如圖4所示。

可以發(fā)現(xiàn)，預(yù)測(cè)步長(zhǎng)增加，預(yù)測(cè)誤差隨之增加，預(yù)測(cè)精度相應(yīng)降低，但是預(yù)測(cè)精度仍然很高，說(shuō)明IELM具有較好的泛化性能。

統(tǒng)計(jì)所有模型的預(yù)測(cè)誤差，如表1所示。

從表1的預(yù)測(cè)誤差可以知道

(a) 預(yù)測(cè)結(jié)果

(b) 預(yù)測(cè)偏差

預(yù)測(cè)步長(zhǎng)IELM文獻(xiàn)[13]ELMRMSEMAPErRMSEM＿ErrorRMSERMSE110．73．511．503．7912．095．02314．26．317．67．9020．399．29718．59．3723．3911．3729．6214．4

(1) 因?yàn)椴荒茉诰€性對(duì)網(wǎng)絡(luò)流量進(jìn)行建模，隨著預(yù)測(cè)步長(zhǎng)增大，ELM的網(wǎng)絡(luò)流誤差增加幅度比較大，過(guò)擬合現(xiàn)象出現(xiàn)的概率增加。

(2) 相對(duì)于ELM，IELM和文獻(xiàn)[13]的網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果得到了相應(yīng)改善，降低了網(wǎng)絡(luò)流量的預(yù)測(cè)誤差，因?yàn)镮ELM和文獻(xiàn)[13]改進(jìn)了訓(xùn)練方式，解決了ELM存在的局限性，使網(wǎng)絡(luò)流量的預(yù)測(cè)結(jié)果更優(yōu)。

(3) 與文獻(xiàn)[13]相比，IELM獲得出更高的網(wǎng)絡(luò)流量預(yù)測(cè)精度，這因?yàn)镮ELM通過(guò)新樣本的加入，模型參數(shù)進(jìn)行了動(dòng)態(tài)更新，更好描述網(wǎng)絡(luò)流量最新的狀態(tài)，預(yù)測(cè)誤差顯著減少，網(wǎng)絡(luò)流量的預(yù)測(cè)準(zhǔn)確性始終比較高。

5 總結(jié)

網(wǎng)絡(luò)流量與許多因素相關(guān)，具有比較明顯的混沌性，為了加快網(wǎng)絡(luò)流量建模速度，獲得更優(yōu)的預(yù)測(cè)結(jié)果，提出了改進(jìn)極端學(xué)習(xí)機(jī)的網(wǎng)絡(luò)流量混沌預(yù)測(cè)模型，具體網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果表明，改進(jìn)極端學(xué)習(xí)機(jī)可以準(zhǔn)確把握網(wǎng)絡(luò)流量的變化趨勢(shì)，網(wǎng)絡(luò)流量的預(yù)測(cè)結(jié)果可靠，預(yù)測(cè)結(jié)果而且要優(yōu)于其它網(wǎng)

絡(luò)流量預(yù)測(cè)模型，從而有助于網(wǎng)絡(luò)流量的管理，有效降低網(wǎng)絡(luò)擁塞的頻率。

[1] 田中大,李樹江,王艷紅,等. 經(jīng)驗(yàn)?zāi)Ｊ椒纸馀c時(shí)間序列分析在網(wǎng)絡(luò)流量預(yù)測(cè)中的應(yīng)用[J]. 控制與決策, 2015, 30(5): 905-911.

[2] 王升輝, 裘正定. 結(jié)合多重分形的網(wǎng)絡(luò)流量非線性預(yù)測(cè)[J]. 通信學(xué)報(bào), 2007, 28(2): 45-57.

[3] 邱艷,張洪. 一種有效的網(wǎng)絡(luò)流量預(yù)測(cè)算法[J]. 成都大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 35(2): 150-152.

[4] Chen Yuehui, Yang Bin, Meng Qingfang. Small-time scale network traffic prediction based on flexible neural tree [J]. Applied Soft Computing, 2012, 12(1): 274-279.

[5] 高波,張欽宇,梁永生,等. 基于EMD及ARMA的自相似網(wǎng)絡(luò)流量預(yù)測(cè)[J]. 通信學(xué)報(bào),2011,32(4):47-56

[6] 田中大,高憲文,李樹江,等. 遺傳算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)[J].計(jì)算機(jī)研究與發(fā)展,2015,52(5):1137-114.

[7] 王雪松,趙躍龍. 遺傳算法優(yōu)化延遲時(shí)間和嵌入維的網(wǎng)絡(luò)流量預(yù)測(cè)[J].計(jì)算機(jī)工程與應(yīng)用, 2014,50(12):66-70.

[8] 唐舟進(jìn),彭濤,王文博. 一種基于相關(guān)分析的局域最小二乘支持向量機(jī)小尺度網(wǎng)絡(luò)流量預(yù)測(cè)算法[J].物理學(xué)報(bào), 2014, 63(13):130504-130514.

[9] 楊雷,李貴鵬,張萍. 改進(jìn)的Wolf步預(yù)測(cè)的網(wǎng)絡(luò)異常流量檢測(cè)[J]. 科技通報(bào),2014,30(2):47-49.

[10] 李振剛.基于高斯過(guò)程回歸的網(wǎng)絡(luò)流量預(yù)測(cè)模型[J]. 計(jì)算機(jī)應(yīng)用,2014, 34(6):1251-1254.

[11] 李明迅，孟相如，袁榮坤等. 融合提升小波降噪和LSSVM的網(wǎng)絡(luò)流量在線預(yù)測(cè)[J]. 計(jì)算機(jī)應(yīng)用，2012，32(2): 340-342.

[12] 張弦,王宏力.基于貫序正則極端學(xué)習(xí)機(jī)的時(shí)間序列預(yù)測(cè)及應(yīng)用[J].航空學(xué)報(bào),2011,32(7):1302-1308.

[13] Liu Nan, Wang Han. Ensemble based extreme learning machine[J].IEEE Signal Processing Letters, 2010, 17(8):754-757.

[14] Lan Yuan, Soh Yengchai, Huang Guangbin. Constructive hidden nodes selection of extreme learning machine for regression [J]. Neurocomputing, 2010, 73(16):3191-3199.

[15] 張濤,張穎江. 基于矢量空間重構(gòu)的網(wǎng)絡(luò)流量預(yù)測(cè)算法[J]. 計(jì)算機(jī)科學(xué), 2016, 43(7): 111-115.