基于時間序列分析及機器學習的移動網(wǎng)絡(luò)業(yè)務(wù)量預(yù)測技術(shù)

江元 楊波 趙東來 鄭黎明 武悅 王鋼

摘 要：隨著NB-IoT及5G網(wǎng)絡(luò)建設(shè)的不斷拓展，越來越多的物聯(lián)網(wǎng)設(shè)備通過公共移動通信網(wǎng)絡(luò)接入，傳輸數(shù)據(jù)至云計算服務(wù)器進行集中處理。通過移動通信網(wǎng)絡(luò)承載物聯(lián)網(wǎng)數(shù)據(jù)及業(yè)務(wù)，為車聯(lián)網(wǎng)、廣域感知及可穿戴設(shè)備等需要在更廣范圍內(nèi)進行數(shù)據(jù)傳輸?shù)膱鼍疤峁┯行У耐ㄐ攀侄危瑫r也對移動網(wǎng)絡(luò)自身提出了更高的要求，帶來了網(wǎng)絡(luò)流量的爆炸性增長。因此，對業(yè)務(wù)量的提前預(yù)測成為物聯(lián)網(wǎng)時代移動通信網(wǎng)絡(luò)的迫切需求。文中主要通過時間序列分析技術(shù)及機器學習方法對網(wǎng)絡(luò)業(yè)務(wù)量及網(wǎng)絡(luò)終端數(shù)量進行預(yù)測，并利用真實移動通信網(wǎng)絡(luò)中業(yè)務(wù)量及終端數(shù)量進行仿真和驗證，證明了所提方法的有效性，此外也證明了基于神經(jīng)網(wǎng)絡(luò)的機器學習方法在業(yè)務(wù)量及終端數(shù)量預(yù)測中相較傳統(tǒng)方法具有更高的預(yù)測準確性。

關(guān)鍵詞：物聯(lián)網(wǎng);時間序列分析;機器學習;神經(jīng)網(wǎng)絡(luò);業(yè)務(wù)量預(yù)測;激活函數(shù)

中圖分類號：TP391.7文獻標識碼：A文章編號：2095-1302（2020）06-00-04

0 引 言

物聯(lián)網(wǎng)是一系列技術(shù)工具的組合，從物聯(lián)網(wǎng)作為數(shù)據(jù)收集、傳輸、處理及利用的視角來看，物聯(lián)網(wǎng)可以大致分為四層，即基于傳感器技術(shù)的感知層、基于通信及網(wǎng)絡(luò)技術(shù)的傳輸層、基于云計算與存儲的數(shù)據(jù)層及提供各類服務(wù)的應(yīng)用層[1]。傳輸層是物聯(lián)網(wǎng)技術(shù)中極其重要的一個環(huán)節(jié)，傳統(tǒng)物聯(lián)網(wǎng)主要通過私有、局部的網(wǎng)絡(luò)進行數(shù)據(jù)傳輸，這在很大程度上限制了物聯(lián)網(wǎng)技術(shù)的發(fā)展。私有網(wǎng)絡(luò)區(qū)域較為狹窄，無法承載車聯(lián)網(wǎng)、可穿戴設(shè)備及大范圍內(nèi)的智能感知業(yè)務(wù)，沒有泛在接入的移動互聯(lián)網(wǎng)就不會有當前豐富的移動互聯(lián)網(wǎng)業(yè)務(wù)，同樣只有通過更大范圍的泛在物聯(lián)網(wǎng)接入，才能促進物聯(lián)網(wǎng)技術(shù)的真正普及。

我國基于公共移動網(wǎng)絡(luò)的物聯(lián)網(wǎng)接入技術(shù)及系統(tǒng)近年來越來越受矚目[2-3]。從2018年起，中國三大運營商開始大規(guī)模部署基于移動網(wǎng)絡(luò)的窄帶物聯(lián)網(wǎng)技術(shù)NB-IoT系統(tǒng)，2019年

我國又開始大規(guī)模進行5G網(wǎng)絡(luò)建設(shè)。其中5G網(wǎng)絡(luò)應(yīng)用的一個主要場景—增強型機器類型通信（eMTC），主要面向物聯(lián)網(wǎng)場景，提供每平方千米一百萬臺終端的連接能力，將極大促進物聯(lián)網(wǎng)相關(guān)技術(shù)及產(chǎn)業(yè)的發(fā)展[4-5]。同時，隨著物聯(lián)網(wǎng)設(shè)備接入能力的提升，網(wǎng)絡(luò)也面臨著吞吐量指數(shù)增長的壓力，因此針對業(yè)務(wù)預(yù)測的網(wǎng)絡(luò)優(yōu)化成為穩(wěn)定支撐海量終端的關(guān)鍵。本文在此背景下對這一問題進行探索，通過時間序列分析及機器學習方法來完成基于歷史數(shù)據(jù)的業(yè)務(wù)預(yù)測。

1 業(yè)務(wù)量預(yù)測基本模型

1.1 乘積ARIMA模型

ARIMA模型是最常用的時間序列分析方法，被廣泛應(yīng)用于各類時間序列分析的應(yīng)用中[6]。序列的季節(jié)性是指序列具有長度固定的周期，不同周期的同一時刻之間具有一定的關(guān)系，ARIMA模型就考慮了相鄰或相似序列之間的相關(guān)性。假定S為序列周期，，考慮季節(jié)性滯后的簡單季節(jié)模型為：

式中：;;{Φi}與{Θj}是季節(jié)性AR與MA的系數(shù)。假設(shè)季節(jié)影響與其他影響之間是乘積關(guān)系，構(gòu)造乘積ARIMA模型，不僅僅在季節(jié)性滯后具有相關(guān)性，在相近的序列值之間也有關(guān)聯(lián)特征，通常表示為，模型公式：

通常模型建立包括以下6個基本步驟：

（1）采用定性觀察與定量檢驗相結(jié)合的方法識別時間序列平穩(wěn)性;

（2）若時間序列不平穩(wěn)，則用差分變換等方法進行處理，完成后再次判斷序列平穩(wěn)性;

（3）根據(jù)自相關(guān)函數(shù)與偏相關(guān)函數(shù)大致判斷階數(shù)范圍，聯(lián)合準則函數(shù)找到最優(yōu)階數(shù)，完成模型識別;

（4）進行模型的參數(shù)估計;

（5）得到擬合模型后的殘差序列，分析殘差序列的特性，判斷殘差是否滿足白噪聲的特性;

（6）已經(jīng)通過檢驗的模型進一步對未來進行預(yù)測，分析預(yù)測誤差。

1.2 Holt-Winters模型

Holt-Winters是基于指數(shù)平滑的一種，包括加法季節(jié)和乘法季節(jié)兩種模型[7]。當季節(jié)變量在整個序列中大致不變時，加性模型更有效;當季節(jié)變量隨時間序列成比例變化時，乘積Holt-Winters模型更適用。Holt-Winters模型對序列在不同時間點的水平成分為lt，斜率成分為bt和季節(jié)性成分為st。具有線性時間趨勢符合加法模型特性的序列可以使用基于加法的Holt-Winters模型，時間序列xt平滑后的序列x't由下式得出：

式中：;m為季節(jié)性周期;lt表示序列的水平部分;bt表示趨勢成分;St為季節(jié)成分;h為預(yù)測時向后推遲的時間點，其值大于0;x't+h|t是h步后的預(yù)測值。參數(shù)α，β和γ的取值為[0，1]，這三個值的取值與1越相近，說明與當前觀測點越近的值對未來預(yù)測值的影響就越大。序列的平滑性由當前時間點上的取值水平分量、趨勢成分分量和季節(jié)性成分分量共同決定。

基于乘法的Holt-Winters季節(jié)模型適用于有線性時間趨勢和符合乘法模型特性的序列。時間序列xt平滑后的序列x't由下式得出：

Holt-Winters模型基于迭代關(guān)系，需要對初始值進行初始化設(shè)定，然而對于Holt-Winters模型來說，初始值的選取與設(shè)定對最終模型參數(shù)的影響不大，經(jīng)過多次迭代后，初始值將會被逐漸忘卻，對最終結(jié)果造成的影響就會越來越小。一般來說，對于理想狀態(tài)，Holt-Winters模型類似具有無限長的記憶，觀測值的權(quán)值以指數(shù)規(guī)律遞減。在本文研究中，主要采用基于加法的Holt-Winters模型。

1.3 BP神經(jīng)網(wǎng)絡(luò)模型

反向傳播網(wǎng)絡(luò)（Back-Propagation Network，BPN）是被廣泛使用的一種人工神經(jīng)網(wǎng)絡(luò)模型，是具有監(jiān)督學習的前饋神經(jīng)網(wǎng)絡(luò)的一種[7]。訓(xùn)練數(shù)據(jù)集作為輸入提供給人工神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的初始權(quán)重通常是隨機設(shè)定的。在迭代學習過程中，運行前饋算法從而得到輸出結(jié)果，通過其與實際輸出結(jié)果比較得到誤差值，誤差函數(shù)反映出當前學習的質(zhì)量水平，將誤差從輸出層至輸入層進行反向傳播，通常采用梯度最速下降的方法來逐步迭代，從而對誤差函數(shù)進行最小化處理，最后根據(jù)后層傳遞的誤差對權(quán)重及閾值進行更新，反復(fù)重復(fù)這一過程直至誤差滿足要求或超過預(yù)設(shè)的迭代次數(shù)[8]。相比較AIRMA和Holt-Winters等傳統(tǒng)方法，神經(jīng)網(wǎng)絡(luò)的學習過程通常需要循環(huán)往復(fù)多次，同時也需要更多的數(shù)據(jù)來保證模型訓(xùn)練結(jié)果的有效性。學習復(fù)雜性增加的主要原因在于神經(jīng)網(wǎng)絡(luò)模型待確定權(quán)重分量較多，模型具有更高的自由度。神經(jīng)網(wǎng)絡(luò)的預(yù)測性能取決于隱藏神經(jīng)元的數(shù)目與權(quán)重的選擇，一般來說更多的神經(jīng)元可以獲取更好的擬合效果，但同時也加大了網(wǎng)絡(luò)過擬合的風險[9]。前饋神經(jīng)網(wǎng)絡(luò)拓撲圖如圖1所示。

利用人工神經(jīng)網(wǎng)絡(luò)的學習能力可以使得神經(jīng)網(wǎng)絡(luò)逼近其要仿真的真實系統(tǒng)，神經(jīng)網(wǎng)絡(luò)不僅可以對線性模型進行逼近，在模型具有較強的非線性情況下也能進行良好的逼近。同時神經(jīng)網(wǎng)絡(luò)算法無需了解系統(tǒng)內(nèi)部信息，待逼近系統(tǒng)可以看作一個黑盒，只需獲得一定數(shù)量輸入與輸出數(shù)據(jù)就可以通過擬合重構(gòu)系統(tǒng)。因此如果系統(tǒng)輸出受到多種互相耦合的輸入關(guān)系影響，這種情況下線性方法一般很難獲得滿意性能，而神經(jīng)網(wǎng)絡(luò)模型通?？梢越鉀Q這類問題。對于一般性問題，包含一個隱含層的三層神經(jīng)網(wǎng)絡(luò)通常可以用來訓(xùn)練非線性關(guān)系的數(shù)據(jù)集，獲得足夠逼近的系統(tǒng)，因此本文選取三層BP神經(jīng)網(wǎng)絡(luò)。

在本文研究的問題中，由于輸入數(shù)據(jù)在網(wǎng)絡(luò)忙時和閑時業(yè)務(wù)量相差較大，輸入數(shù)據(jù)取值范圍跨度大，很容易出現(xiàn)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時耗時過長、收斂速度變慢的情況，此外，取值較大的數(shù)據(jù)在訓(xùn)練中可能起到比取值小的數(shù)據(jù)更大的影響，因此在數(shù)據(jù)取值較小情況下同樣數(shù)值的偏差相對比例更大，將對預(yù)測模型的性能產(chǎn)生較大影響。本文在訓(xùn)練前對原始數(shù)據(jù)進行預(yù)處理[10]，將原始數(shù)據(jù)映射至神經(jīng)網(wǎng)絡(luò)激活函數(shù)的值域區(qū)間內(nèi)，本文通過預(yù)處理將數(shù)據(jù)映射到（0，1）之間，與使用的logsig激活函數(shù)相適應(yīng)。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練及推理通常需要經(jīng)過如下步驟。

（1）初始化網(wǎng)絡(luò)，設(shè)定各參數(shù)的初始值。根據(jù)輸入序列得到網(wǎng)絡(luò)輸入層的節(jié)點數(shù)目d，隱含層的節(jié)點數(shù)目q，以及輸出層的節(jié)點數(shù)目l。訓(xùn)練集，初始設(shè)定bh是第h個神經(jīng)元的輸出結(jié)果，輸入層與隱含層的權(quán)值為vih，隱含層與輸出層之間的權(quán)值為whj。初始設(shè)定輸出層閾值，其中第j個神經(jīng)元的閾值為θj，第h個神經(jīng)元的偏置為γh。隱含層第h個神經(jīng)元的總輸入為，輸出層第j個神經(jīng)元總輸入為，確定神經(jīng)元的激勵函數(shù)，設(shè)定學習速率η。

（2）計算輸出層的輸出：

（3）計算在（xk， yk）處的均方誤差：

（4）根據(jù)得到的均方誤差采用梯度下降法更新權(quán)值：

（5）基于誤差進行閾值更新：

（6）判斷累積均方誤差是否已經(jīng)在預(yù)先設(shè)定的目標值以下，或者當前迭代次數(shù)是否已經(jīng)超出設(shè)定的界限值，從而判斷當前權(quán)值更新迭代過程能否結(jié)束，若未達到迭代停止條件，則需要返回步驟（2）繼續(xù)執(zhí)行訓(xùn)練過程。

1.4 預(yù)測性能評估指標

可以采用相對誤差評估預(yù)測結(jié)果同實際情況的偏差，即實際值與預(yù)測值之間的偏差占實際值的百分比。實際值用變量xt表示，擬合值使用變量表示，相對誤差為：

評估預(yù)測模型特性通常采用統(tǒng)計量來進行，在實際預(yù)測任務(wù)中，評估預(yù)測模型性能通?？梢圆捎萌缦?個統(tǒng)計指標衡量。

平均絕對誤差MAE能更好地反映預(yù)測誤差的實際情況：

均方根誤差RMSE越小，說明預(yù)測模型能更加精確地描述實驗數(shù)據(jù)：

平均百分比誤差MAPE：

2 性能仿真

業(yè)務(wù)量的量綱為愛爾蘭，業(yè)務(wù)量的值與設(shè)備業(yè)務(wù)發(fā)起的次數(shù)、每次業(yè)務(wù)所用時長以及并發(fā)設(shè)備數(shù)量有關(guān)，由于以上三個因素是伴隨用戶行為而變化的，所以愛爾蘭跟隨時間變動，可將其看作一個隨機過程。信道被用戶或設(shè)備占用的程度可由話務(wù)量得出，業(yè)務(wù)量等于平均呼叫時間與成功呼叫次數(shù)的乘積。

本文采用的數(shù)據(jù)為某移動運營商在給定區(qū)域內(nèi)的話務(wù)量數(shù)據(jù)。話務(wù)量數(shù)據(jù)如圖2所示，發(fā)現(xiàn)業(yè)務(wù)量隨著時間的變化產(chǎn)生較大的波動。

圖3所示為基于乘積ARIMA模型的業(yè)務(wù)量預(yù)測評估結(jié)果，可以看出基于ARIMA模型的預(yù)測結(jié)果較為接近業(yè)務(wù)的真實值，但整體距離真實值具有一定的偏離，這一問題在業(yè)務(wù)量線性變化的情況下較為明顯。

圖4所示為基于加法Holt-Winters模型的業(yè)務(wù)量預(yù)測評估結(jié)果，可以看出相比基于ARIMA模型的預(yù)測結(jié)果，其更為接近業(yè)務(wù)的真實值，性能優(yōu)于ARIMA模型。

圖5所示為基于BP神經(jīng)網(wǎng)絡(luò)模型的業(yè)務(wù)量預(yù)測評估結(jié)果，可以看出BP神經(jīng)網(wǎng)絡(luò)模型能夠提供相比前兩種時間序列分析方法更好的預(yù)測性能，預(yù)測值曲線總體上非常接近真實值曲線。

表1所列為三種方法的性能統(tǒng)計，在MAE，RME及MAPE三種指標的衡量下，基于機器學習的BP神經(jīng)網(wǎng)絡(luò)方法相比時間序列方法均有較為明顯的改善，其更適用于移動通信網(wǎng)絡(luò)業(yè)務(wù)量的預(yù)測。

3 結(jié) 語

本文探討了時間序列分析及機器學習方法在網(wǎng)絡(luò)流量預(yù)測方面的應(yīng)用，對兩種時間序列模型及神經(jīng)網(wǎng)絡(luò)模型進行了介紹，給出了上述方法在網(wǎng)絡(luò)流量預(yù)測中應(yīng)用的案例。本文采用實際的移動通信網(wǎng)絡(luò)數(shù)據(jù)進行驗證，通過給出模型完成了話務(wù)量的模型擬合過程，發(fā)現(xiàn)三種模型均能取得較為滿意的結(jié)果，其中BP神經(jīng)網(wǎng)絡(luò)方法預(yù)測性能優(yōu)于基于時間序列分析模型方法。

參考文獻

[1]劉云浩.物聯(lián)網(wǎng)導(dǎo)論（第2版）[M].北京：科學出版社，2013.

[2]趙玉霞.5G與物聯(lián)網(wǎng)發(fā)展趨勢分析[J].電子技術(shù)與軟件工程，2016（22）：17.

[3] LI Fungchang. 5G and IoT[C]// 2016 International Symposium on VLSI Technology，Systems and Application （VLSI-TSA），2016.

[4] Rashmi Sharan Sinha，Yiqiao Wei，Seung Hoon Hwang.A survey on LPWA technology： LoRa and NB-IoT [J]. Ict express，2017，3（1）：14-21.

[5] Bockelmann Carsten，Pratas Nuno K，Wunder Gerhard，et al.Towards massive connectivity support for scalable mMTC communications in 5G networks [J]. IEEE Access，2018：99.

[6] YE X. The Application of ARIMA Model in Chinese Mobile User Prediction[C]// IEEE International Conference on Granular Computing.IEEE Computer Society，2010：586-591.

[7] KALEKAR P S.Time series Forecasting using Holt-Winters Exponential Smoothing [Z]. Kanwal Rekhi School of Information Technology，2004.

[8] Hecht-Nielsen R.Theory of the back propagation neural network[C]// Neural Networks，1989. IJCNN.，International Joint Conference on.IEEE，1989：593-605.

[9] Igor V Tetko，David J Livingstone，Alexander I Luik. Neural network studies. 1. comparison of overfitting and overtraining [J]. Journal of chemical information & computer sciences，1995，35（5）：826-833.

[10] JIA J C，CHONG C C.Distributed normalisation input coding to speed up training process of BP-neural network classifier [J]. Electronics letters，1995，31（15）：1267-1269.