基于LSTM與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測及應(yīng)用

王海寧 袁祥楓 楊明川

【摘? 要】提出了一個基于長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測模型。通過與傳統(tǒng)機器學(xué)習(xí)流量預(yù)測方法相對比，驗證了該模型在網(wǎng)絡(luò)流量預(yù)測中的適用性與更高的準(zhǔn)確性。將上述流量預(yù)測模型應(yīng)用在基于軟件定義網(wǎng)絡(luò)技術(shù)的智能化承載網(wǎng)切片系統(tǒng)中，以提升網(wǎng)絡(luò)資源利用率，并提供了實驗室驗證結(jié)果。

【關(guān)鍵詞】流量預(yù)測;神經(jīng)網(wǎng)絡(luò);長短期記憶;網(wǎng)絡(luò)切片

doi：10.3969/j.issn.1006-1010.2019.08.007? ? ? 中圖分類號：TN929.5

文獻標(biāo)志碼：A? ? ? 文章編號：1006-1010（2019）08-0037-08

引用格式：王海寧，袁祥楓，楊明川. 基于LSTM與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測及應(yīng)用[J]. 移動通信， 2019，43（8）： 37-44.

[Abstract]?This paper proposes a traffic prediction model based on long short term memory （LSTM） and traditional neural networks. Compared with traditional machine learning-based traffic prediction methods， experiments show that the proposed model has the applicability and higher accuracy in the network traffic prediction. Finally， the above traffic prediction model is applied in the SDN-based intelligent transport network slicing systems to improve the utilization of network resources， and the laboratory verification results are also provided.

[Key words]traffic prediction; neural network; LSTM; network slice

1? ?引言

網(wǎng)絡(luò)流量的建模和預(yù)測是研究網(wǎng)絡(luò)的性能、管理、協(xié)議及服務(wù)質(zhì)量的基礎(chǔ)，對網(wǎng)絡(luò)的規(guī)劃設(shè)計具有重要意義。精準(zhǔn)地預(yù)測網(wǎng)絡(luò)流量變化對提高網(wǎng)絡(luò)穩(wěn)定性，提升用戶體驗，節(jié)省運營商成本等具有重要意義。

針對網(wǎng)絡(luò)流量預(yù)測問題，國內(nèi)外的學(xué)者展開了深入的研究工作，且已經(jīng)取得了非常不錯的成果。網(wǎng)絡(luò)流量預(yù)測這類序列預(yù)測問題，按照建模方法基本可以分為兩類：第一類是基于時間序列建模的線性預(yù)測方法，例如自回歸模型[1]、自回歸滑動[2]、差分自回歸移動平均模型[3]、HoltWinters指數(shù)平滑法[4]等;第二類是基于機器學(xué)習(xí)算法的非線性預(yù)測方法，如主持向量機、梯度提升回歸樹、神經(jīng)網(wǎng)絡(luò)[5]等。多個實驗證明，非線性預(yù)測方法比線性預(yù)測法具有更好的效果[6]。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）是一種改進的神經(jīng)網(wǎng)絡(luò)，它包含自循環(huán)的神經(jīng)元，可以將歷史信息在神經(jīng)元中進行傳遞。在眾多RNN的變體中，長短期記憶（Long Short Term Memory， LSTM）[7]方法彌補了RNN梯度消失、梯度爆炸、長期記憶能力不足等問題，在處理序列問題時效果拔群。近些年在序列回歸預(yù)測問題中，有很多學(xué)者使用了RNN與LSTM。R Vinayakumar等人應(yīng)用LSTM對骨干網(wǎng)流量進行預(yù)測[8]。王祥雪和許倫輝將LSTM應(yīng)用在了短時交通流預(yù)測研究中[9]。江務(wù)學(xué)提出了一種基于改進雙線性遞歸神經(jīng)網(wǎng)絡(luò)模型的非線性網(wǎng)絡(luò)流量預(yù)測方法[10]。劉淵和姚萌提出了一種基于Elman遞歸神經(jīng)網(wǎng)絡(luò)、小波和自回歸的網(wǎng)絡(luò)流量組合預(yù)測模型[11]。

以上方法是基于序列本身的性質(zhì)進行預(yù)測，沒有考慮外部環(huán)境特征對序列波動的影響。本文提出一種在多層LSTM網(wǎng)絡(luò)的基礎(chǔ)上加入傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，引入外部人工構(gòu)造特征的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提升對網(wǎng)絡(luò)流量預(yù)測的精度。

2? ?相關(guān)理論與技術(shù)

2.1? RNN與LSTM

RNN適用于處理序列數(shù)據(jù)。如圖1所示，RNN有一個重復(fù)使用的神經(jīng)元，形成一個循環(huán)的鏈?zhǔn)浇Y(jié)構(gòu)，循環(huán)鏈長度取決于輸入序列的長度。這種鏈?zhǔn)绞沟貌煌A段的序列數(shù)據(jù)所包含的信息能夠在神經(jīng)元中保留下去。基本的RNN中這個重復(fù)的神經(jīng)元結(jié)構(gòu)很簡單，如圖2所示的RNN結(jié)構(gòu)，神經(jīng)內(nèi)只有一個tanh層。當(dāng)序列長度過長，這樣簡單的結(jié)構(gòu)會使得距離較遠的信息丟失，并伴隨著梯度消失、梯度爆炸等問題。

2.2? LSTM的幾種應(yīng)用

以上介紹了LSTM單神經(jīng)元的結(jié)構(gòu)及信息傳遞的過程。根據(jù)LSTM神經(jīng)元的輸入輸出方式的不同，LSTM可分為幾類不同的結(jié)構(gòu)，應(yīng)用于不同的場景。

圖4至圖7為4種場景下LSTM的結(jié)構(gòu)展開圖。多對一（many-to-one）結(jié)構(gòu)，取神經(jīng)元最后一次循環(huán)的輸出，可應(yīng)用于單值回歸問題，二分類問題等。一對多（one-to-many）結(jié)構(gòu)，接受序列長度為1的輸入，在接下來的循環(huán)中產(chǎn)生輸出序列，可用于序列生成問題，如輸出一段音樂。多對多（many-to-many）結(jié)構(gòu)根據(jù)輸出序列長度是否等于輸入序列長度可分為兩種情況：若兩者相等，可在輸入的每次循環(huán)中直接產(chǎn)生對應(yīng)輸出;若不相等，則需要接受所有輸入序列后，在接下來的循環(huán)中產(chǎn)生輸出序列。多對多（many-to-many）結(jié)構(gòu)是應(yīng)用最廣泛的LSTM結(jié)構(gòu)，可用于序列翻譯、多值回歸問題、多分類等問題。

3? ?基于全連接LSTM網(wǎng)絡(luò)流量預(yù)測

3.1? 數(shù)據(jù)準(zhǔn)備與處理

本研究基于2013年1月至2018年7月某真實網(wǎng)絡(luò)采樣點的流量數(shù)據(jù)，按照小時聚合，最終得到時間粒度為1小時的流量數(shù)據(jù)27 312條。

原始數(shù)據(jù)存在缺失值與異常值。對于個別時間的缺失值，使用前后時間點流量的均值填補;對于一段時間的缺失值則舍去。異常值在模型訓(xùn)練過程中會對模型效果產(chǎn)生偏差，根據(jù)拉依達準(zhǔn)則（3σ準(zhǔn)則），將[0.003， 0.997]區(qū)間外的值判定為異常值，進行平滑處理。

本文模型的輸入由兩部分組成，序列數(shù)據(jù)與外部特征。序列數(shù)據(jù)為長度為168的流量數(shù)據(jù)，如設(shè)置當(dāng)前時間點為X，[X-167， X]共168個流量數(shù)據(jù)為序列數(shù)據(jù)輸入。外部特征是人工構(gòu)造的一些輸入特征。本次實驗通過當(dāng)前時間的時間戳提取時間特征，如是否周末、一天中的第幾個小時等，并經(jīng)過獨熱編碼處理，得到74個時間特征;通過計算最近時間點流量序列的統(tǒng)計信息，如均值、方差、模擬一階差分等，得到25個統(tǒng)計特征，共得到99個外部特征。

3.2? 模型構(gòu)建與訓(xùn)練

模型結(jié)構(gòu)如圖8所示，main_input為序列數(shù)據(jù)輸入，序列長度為168，即24小時×7天的流量序列數(shù)據(jù)。aux_input為外部特征輸入。main_input經(jīng)過兩層LSTM產(chǎn)生128個特征，與aux_input的99個特征一起作為全連接層的輸入。全連接層前兩層的激活函數(shù)使用relu，最后一層為linear激活函數(shù)，最終輸出main_output預(yù)測下一個1～6小時的業(yè)務(wù)量預(yù)測值。

按照8：1：1的比例進行訓(xùn)練集、驗證集、測試集拆分。使用Adam算法進行參數(shù)優(yōu)化。損失函數(shù)采用均方根誤差（Mean Square Error， MSE），公式如下所示：

L（Y，f（X））=（Yj - f（Xj））2? ? ? ? ? ? ? （7）

3.3? 總結(jié)與對比

和傳統(tǒng)的機器學(xué)習(xí)回歸模型相比，本文的模型可以同時預(yù)測輸出下1～6個時間點的預(yù)測值，便于實際應(yīng)用場景中對未來流量趨勢的判斷與策略制定。圖9顯示測試集上模型預(yù)測的流量變化趨勢與真實數(shù)據(jù)的對比。該模型可以準(zhǔn)確預(yù)測網(wǎng)絡(luò)流量在未來一段時間的變化趨勢。

和傳統(tǒng)的序列預(yù)測方法相比，本文模型考慮了外部特征對序列曲線的影響。由于數(shù)據(jù)集信息有限，這里只提取了時間特征與統(tǒng)計特征。在具體的應(yīng)用場景中，還可根據(jù)實際情況添加特征進行訓(xùn)練。

本次實驗在測試集上將本文提出的模型與三層LSTM模型、支持向量回歸模型（Support Vector Regression， SVR）、梯度提升回歸樹模型（Gradient Boosting Regression Tree， GBRT）對下一時刻流量值的預(yù)測情況進行對比，結(jié)果如表1和圖10所示?？梢?，本文LSTM+DNN模型效果最好，其次是SVR。GBRT MSE值優(yōu)于LSTM，但GBRT的預(yù)測曲線有明顯的滯后性，對真實值曲線的偶然波動較為敏感。LSTM的曲線較平滑，對真實值曲線的偶然波動不敏感。

4? ?基于流量預(yù)測的應(yīng)用實踐

4.1? 智能化網(wǎng)絡(luò)切片場景

當(dāng)前電信業(yè)務(wù)已經(jīng)呈現(xiàn)出多場景、差異化的特點，如果為每種業(yè)務(wù)建立一個專用網(wǎng)絡(luò)，則需要極高的成本，而網(wǎng)絡(luò)切片可以使多個邏輯網(wǎng)絡(luò)能夠通過云和網(wǎng)絡(luò)功能虛擬化（Network Function Virtualization， NFV）技術(shù)共享一個共同的物理基礎(chǔ)設(shè)施，有效節(jié)約成本。同時，這樣的共享為靈活的網(wǎng)絡(luò)服務(wù)提供了新的商業(yè)模式，在垂直行業(yè)，具有彈性資源的網(wǎng)絡(luò)架構(gòu)將根據(jù)服務(wù)需求動態(tài)變化。與傳統(tǒng)網(wǎng)絡(luò)相比，這種方式更加靈活可用，但靈活動態(tài)的需求也給基于人機交互的當(dāng)前網(wǎng)絡(luò)運營帶來了新的挑戰(zhàn)。

網(wǎng)絡(luò)切片是5G網(wǎng)絡(luò)的重要使能技術(shù)，是端到端的邏輯子網(wǎng)，涉及核心網(wǎng)絡(luò)（控制平面和用戶平面）、無線接入網(wǎng)和承載網(wǎng)，需要多領(lǐng)域的協(xié)同配合。不同的網(wǎng)絡(luò)切片之間可共享資源也可以相互隔離。網(wǎng)絡(luò)切片可以幫助用戶實現(xiàn)想要的功能和特性，完成業(yè)務(wù)的快速部署，減少上線時間。

在承載網(wǎng)中，為避免流量高峰期資源緊缺，切片的分配一般以滿足用戶峰值要求來部署，這也造成了大多數(shù)非高峰期時段網(wǎng)絡(luò)帶寬、服務(wù)質(zhì)量等專屬資源的冗余和浪費。因此，精準(zhǔn)預(yù)測流量使用狀況，按需動態(tài)配置切片資源，智能化管理承載網(wǎng)切片成為合理分配網(wǎng)絡(luò)資源，保障業(yè)務(wù)服務(wù)質(zhì)量的關(guān)鍵。

4.2? 智能化承載網(wǎng)切片系統(tǒng)架構(gòu)

智能化承載網(wǎng)絡(luò)切片系統(tǒng)的功能架構(gòu)如圖11所示。

智能化承載網(wǎng)絡(luò)切片系統(tǒng)主要包括：基于AI模型的流量預(yù)測系統(tǒng)、智能策略生成器、承載網(wǎng)絡(luò)切片管理器（Transport Network Slice Manager， TNSM）以及承載網(wǎng)節(jié)點設(shè)備。其中，TNSM和承載網(wǎng)節(jié)點設(shè)備之間采用軟件定義網(wǎng)絡(luò)（Software Defined Network， SDN）技術(shù)，實現(xiàn)TNSM對多個承載網(wǎng)節(jié)點設(shè)備的集中控制，并提供流量數(shù)據(jù)采集及配置策略自動化下發(fā)。

流量預(yù)測系統(tǒng)推斷預(yù)測流量前，需要使用歷史流量數(shù)據(jù)進行訓(xùn)練。在實際應(yīng)用中，承載網(wǎng)切片實例的準(zhǔn)實時流量吞吐量數(shù)據(jù)由TNSM收集，并發(fā)送給流量預(yù)測系統(tǒng)。流量預(yù)測系統(tǒng)根據(jù)訓(xùn)練得到的AI模型和實時數(shù)據(jù)預(yù)測下幾個時間周期的流量數(shù)值，例如未來6個小時的流量數(shù)值，并傳遞給智能策略生成器。智能策略生成器根據(jù)接收到的預(yù)測結(jié)果判斷承載網(wǎng)絡(luò)切片的帶寬在下一個時間周期是否需要調(diào)整以及如何調(diào)整，并在需要調(diào)整時生成智能擴縮容策略下發(fā)至TNSM。最后，TNSM通過重新配置承載網(wǎng)節(jié)點的端口帶寬來執(zhí)行相應(yīng)的智能擴縮容策略。

4.3? 基于流量預(yù)測的智能化承載網(wǎng)切片擴縮容策略

在制定承載網(wǎng)切片擴縮容策略時，需要充分考慮以下因素：

（1）添加適當(dāng)?shù)娜哂噘Y源，以彌補流量預(yù)測誤差，特別是在預(yù)測值比實際值小的情況。

（2）擴縮容操作頻度，不應(yīng)引起資源分配的震蕩。

（3）縮容操作要謹(jǐn)慎。

4.4? 智能化承載網(wǎng)切片資源利用率提升效果評估

基于上文中介紹的智能承載網(wǎng)切片擴縮容策略生成方式，可以得到圖12所示的智能承載網(wǎng)切片調(diào)整效果以及表格2所示的資源利用率和報警率結(jié)果。

4.5? 其它基于流量預(yù)測的應(yīng)用場景

除了用于提升智能化承載網(wǎng)切片系統(tǒng)的資源利用率，基于人工智能的流量預(yù)測技術(shù)在網(wǎng)絡(luò)中還有許多應(yīng)用場景。例如，對虛擬化寬帶遠程接入服務(wù)器（Virtualized Broadband Remote Access Server， vBRAS）、5G用戶面功能（User Plane Function， UPF）等虛擬網(wǎng)元的流量進行預(yù)測，并根據(jù)預(yù)測結(jié)果制定智能化擴縮容策略，通過NFV管理和編排系統(tǒng)（Management and Orchestration， MANO）采集流量數(shù)據(jù)并執(zhí)行虛擬資源的分配調(diào)整，可以提升虛擬資源的利用率，降低運營成本。通過預(yù)測數(shù)據(jù)中心的負載變化情況，給出虛擬機遷移的策略并觸發(fā)服務(wù)器休眠和喚醒操作，可以實現(xiàn)數(shù)據(jù)中心節(jié)能。通過預(yù)測無線小區(qū)的業(yè)務(wù)量，結(jié)合場景識別等技術(shù)，可以給出無線側(cè)載波關(guān)斷、符號關(guān)斷等節(jié)能操作的策略建議，輔助實現(xiàn)基站節(jié)能等。

5? ?結(jié)束語

本文首先介紹了RNN與LSTM以及LSTM的集中應(yīng)用。提出了基于LSTM與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量序列預(yù)測模型，包括數(shù)據(jù)準(zhǔn)備、模型構(gòu)建與訓(xùn)練、與其他算法模型相對比等內(nèi)容，并提出了將上述流量預(yù)測模型應(yīng)用在基于SDN技術(shù)的智能化承載網(wǎng)切片系統(tǒng)中以提升網(wǎng)絡(luò)資源利用率的解決方案。

實驗表明，本文的模型可以很好地擬合數(shù)據(jù)集的流量曲線，并能準(zhǔn)確預(yù)測未來一段時間的變化趨勢。多層LSTM算法與其他傳統(tǒng)機器學(xué)習(xí)算法相比，LSTM算法與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型具有更好的效果。并且，將上述流量預(yù)測模型應(yīng)用在智能化承載網(wǎng)切片系統(tǒng)中，結(jié)合智能化的承載網(wǎng)切片擴縮容調(diào)整策略，可以在不提升報警率的情況下顯著提升網(wǎng)絡(luò)資源利用率，具有良好的應(yīng)用前景和經(jīng)濟效益。

參考文獻：

[1] 汪志勇，邱曉紅. 基于多重分?jǐn)?shù)差分和AR模型的網(wǎng)絡(luò)流量預(yù)測[J]. 計算機技術(shù)與發(fā)展， 2009，19（3）： 84-86.

[2] 高波，張欽宇，梁永生，等. 基于EMD及ARMA的自相似網(wǎng)絡(luò)流量預(yù)測[J]. 通信學(xué)報， 2011，32（4）： 47-56.

[3] 張冉，趙成龍. ARIMA模型在網(wǎng)絡(luò)流量預(yù)測中的應(yīng)用研究[J]. 計算機仿真， 2011，28（2）： 171-174.

[4] WILLIAMSBM， HOELLA. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： Theoretical basis and empirical results[J]. Journal of Transportation Engineering， 2003（6）： 664-672.

[5] P Cortez， M Rio， M Rocha， et al. Internet traf?c forecasting using neural networks[C]//International Joint Conference on Neural Network. IEEE， 2006： 2635-2642.

[6] M Barabas， G Boanea， A B Rus， et al. Evaluation of network traffic prediction based on neural networks with multi-task learning and multiresolution decomposition[C]//2011 IEEE 7th International Conference on Intelligent Computer Communication and Processing. Cluj-Napoca， 2011： 95-102.

[7] Hochreiter S， Schmidhuber J. Long short-term memory[J]. Neural Computation， 1997（8）： 1735-1780.

[8] R Vinayakumar， K P Soman， P Poornachandran. Applying deep learning approaches for network traffic prediction[C]//2017 International Conference on Advances in Computing. Communications and Informatics （ICACCI）， 2017： 2353-2358.

[9] 王祥雪，許倫輝. 基于深度學(xué)習(xí)的短時交通流預(yù)測研究[J]. 交通運輸系統(tǒng)工程與信息， 2018，18（1）： 81-88.

[10] 江務(wù)學(xué). 基于結(jié)構(gòu)優(yōu)化遞歸神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J]. 西南大學(xué)學(xué)報：自然科學(xué)版， 2016，38（2）： 149-154.

[11] 劉淵，姚萌. 基于遞歸神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量組合預(yù)測模型[J]. 計算機工程與設(shè)計， 2008，29（3）： 700-702.★