基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測研究綜述

康夢軒，宋俊平，范鵬飛，高博文，周 旭，李 琢

1.中國科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京100190

2.中國科學(xué)院大學(xué)，北京100049

3.中國聯(lián)合網(wǎng)絡(luò)通信有限公司 北京市分公司，北京100038

根據(jù)2020年4月中國互聯(lián)網(wǎng)信息中心發(fā)布的《第45次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2020年3 月份，我國共有網(wǎng)民9.04 億，與2018 年底相比，增長7 508萬人，普及率增至64.5%。不僅如此，我國網(wǎng)民平均每周每人上網(wǎng)30.8 小時(shí)，與2018 年底相比，增長3.2 小時(shí)[1-2]。網(wǎng)民數(shù)量的增長及上網(wǎng)時(shí)間的延長帶來網(wǎng)絡(luò)流量的激增。

隨著5G、邊緣計(jì)算、NFV 等技術(shù)的發(fā)展，對網(wǎng)絡(luò)進(jìn)行精細(xì)化、自動(dòng)化、智能化運(yùn)維及管理將成為新的挑戰(zhàn)。為了應(yīng)對這一挑戰(zhàn)，需要對邊緣網(wǎng)絡(luò)、城域網(wǎng)、骨干網(wǎng)等多個(gè)層級(jí)的應(yīng)用級(jí)網(wǎng)絡(luò)流量進(jìn)行精準(zhǔn)感知。而網(wǎng)絡(luò)流量預(yù)測能力則是核心技術(shù)之一。精準(zhǔn)的網(wǎng)絡(luò)流量預(yù)測技術(shù)能夠?qū)崿F(xiàn)如下功能：（1）幫助改善通信網(wǎng)絡(luò)管理。在分配網(wǎng)絡(luò)資源的過程中，傳統(tǒng)方法僅僅依靠網(wǎng)絡(luò)當(dāng)前流量使用狀態(tài)進(jìn)行資源分配，缺乏對未來狀態(tài)的預(yù)判，很容易導(dǎo)致網(wǎng)絡(luò)不斷擁堵或資源浪費(fèi)。網(wǎng)絡(luò)流量的準(zhǔn)確預(yù)測可以幫助運(yùn)營商及早應(yīng)對即將出現(xiàn)的擁堵，提前進(jìn)行網(wǎng)絡(luò)擴(kuò)容、調(diào)整和優(yōu)化。（2）提升通信網(wǎng)絡(luò)效能。伴隨著5G 基站的大規(guī)模部署，未來將建設(shè)更多的微基站，需要更多的電力和回程光纖。流量的準(zhǔn)確預(yù)測，使得根據(jù)實(shí)際業(yè)務(wù)需求彈性分配資源成為可能。在閑時(shí)，網(wǎng)絡(luò)需求量低，可以使低負(fù)載的部分基站進(jìn)入休眠節(jié)能狀態(tài)，并動(dòng)態(tài)調(diào)整基站覆蓋范圍，待忙時(shí)，再激活這部分基站，進(jìn)而減少基站能耗[3]。（3）定制擴(kuò)展網(wǎng)絡(luò)增值服務(wù)。目前，運(yùn)營商資費(fèi)和商業(yè)模式都較為單一，對業(yè)務(wù)和用戶的個(gè)性化服務(wù)不足。對業(yè)務(wù)流量分別進(jìn)行預(yù)測，有助于針對不同業(yè)務(wù)提供差異化網(wǎng)絡(luò)服務(wù)。例如對視頻流媒體、P2P業(yè)務(wù)等占用大量帶寬的業(yè)務(wù)提前智能調(diào)度，對移動(dòng)辦公業(yè)務(wù)、網(wǎng)絡(luò)游戲等實(shí)時(shí)性要求高且高價(jià)值的業(yè)務(wù)提前部署緩存等。

為了使得網(wǎng)絡(luò)流量能夠被精準(zhǔn)預(yù)測，模型的選擇和設(shè)計(jì)至關(guān)重要。目前預(yù)測模型分為線性模型和非線性模型兩類。自回歸模型（Autoregressive Μodel，AR）[4]、移動(dòng)平均模型（Μoving Average，ΜA）[5]，結(jié)合自回歸和移動(dòng)平均特點(diǎn)的自回歸移動(dòng)平均模型（Autoregressive Μoving Average Μodel，ARΜA）[6]和自回歸合成移動(dòng)平均模型（Autoregressive Integrated Μoving Average Μodel，ARIΜA）[7]等都是線性模型，其特點(diǎn)是需要人工憑借經(jīng)驗(yàn)設(shè)置多種參數(shù)來擬合數(shù)據(jù)，僅適用于短期流量預(yù)測[8]。而實(shí)際網(wǎng)絡(luò)流量具有非常多的特性，如非線性、周期性、自相似性、突發(fā)性等，僅用線性模型很難對其準(zhǔn)確擬合預(yù)測[9]。因此本領(lǐng)域的研究者也研究了很多非線性模型。傳統(tǒng)的非線性模型有小波模型[10]、自回歸分?jǐn)?shù)整合滑動(dòng)平均模型（Fractional Autoregressive Integration Μoving Average，F(xiàn)ARIΜA）[11]、門限自回歸模型和灰色模型以及機(jī)器學(xué)習(xí)領(lǐng)域的支持向量機(jī)模型（Support Vector Μachine，SVΜ）[12]、人工神經(jīng)網(wǎng)絡(luò)模型（Artificial Neural Network，ANN）等。

目前網(wǎng)絡(luò)流量預(yù)測有以下難點(diǎn)：一方面網(wǎng)絡(luò)流量在時(shí)間和空間上分布復(fù)雜；另一方面網(wǎng)絡(luò)流量在骨干網(wǎng)、數(shù)據(jù)中心、邊緣網(wǎng)等不同場景流量特征不同。僅用傳統(tǒng)模型很難充分捕獲其特征差異性，從而影響預(yù)測模型的設(shè)計(jì)、訓(xùn)練和性能提升。近年來研究者們通過應(yīng)用深度學(xué)習(xí)的方法，在以上問題的處理中取得了較大進(jìn)展。

因此，本文以深度學(xué)習(xí)算法在網(wǎng)絡(luò)流量預(yù)測領(lǐng)域的應(yīng)用為線索，闡述了網(wǎng)絡(luò)流量的預(yù)測評(píng)價(jià)指標(biāo)，介紹了目前公開的網(wǎng)絡(luò)流量數(shù)據(jù)集，分析了基于深度學(xué)習(xí)的預(yù)測方法和改進(jìn)的神經(jīng)網(wǎng)絡(luò)，并總結(jié)了各模型特點(diǎn)及應(yīng)用場景，對網(wǎng)絡(luò)流量預(yù)測未來發(fā)展進(jìn)行了展望。

1 網(wǎng)絡(luò)流量預(yù)測評(píng)價(jià)指標(biāo)

網(wǎng)絡(luò)流量預(yù)測模型的性能多用誤差評(píng)價(jià)指標(biāo)來衡量。誤差越大，則預(yù)測準(zhǔn)確率越低，所建立的網(wǎng)絡(luò)流量預(yù)測模型性能越差。整理研究人員常用的評(píng)價(jià)指標(biāo)如下：

（1）平均絕對誤差[13]（Μean Absolute Error，ΜAE）是絕對誤差的平均值，它可以很好地反映預(yù)測值誤差的實(shí)際情況，其取值范圍是[0,+∞]，當(dāng)預(yù)測值與真實(shí)值完全吻合時(shí)等于0，即完美模型，誤差越大，該值越大。

（2）均方根誤差[14]（Root Μean Square Error，RΜSE）也稱標(biāo)準(zhǔn)誤差，其取值范圍是[0,+∞]，當(dāng)預(yù)測值與真實(shí)值完全吻合時(shí)等于0，即完美模型，誤差越大，該值越大。

（3）R-squared[15]將預(yù)測結(jié)果轉(zhuǎn)換為準(zhǔn)確度，其取值范圍是[0,1]，針對不同問題的預(yù)測準(zhǔn)確度，可以比較并判斷所提模型更適合預(yù)測哪一類問題。 R2值越大越好，當(dāng)所提模型無任何誤差時(shí)R2=1；當(dāng)所提模型等于基準(zhǔn)模型時(shí)R2=0。

在以上評(píng)價(jià)指標(biāo)中，RΜSE與ΜAE的量綱相同，但計(jì)算結(jié)果一般RΜSE比ΜAE要大。這是因?yàn)镽ΜSE是先對誤差進(jìn)行平方的累加后再開方，這實(shí)際上是放大了誤差之間的差距。而ΜAE反映的就是真實(shí)誤差。因此在衡量預(yù)測模型性能時(shí)RΜSE的值越小其意義越大，因?yàn)樗闹蹈芊从吵瞿Ｐ偷淖畲笳`差。上述指標(biāo)都存在的一個(gè)問題就是，沒有明確的上下限，來判定當(dāng)前的模型是否足夠好。而R-squared最大的好處是將預(yù)測的評(píng)價(jià)歸一到[0,1]的區(qū)間，使得對模型評(píng)價(jià)有了相對統(tǒng)一的標(biāo)準(zhǔn)[15]。

2 網(wǎng)絡(luò)流量數(shù)據(jù)集及應(yīng)用

深度學(xué)習(xí)是一種監(jiān)督學(xué)習(xí)方法，只有取得大量可信的網(wǎng)絡(luò)流量數(shù)據(jù)，根據(jù)網(wǎng)絡(luò)流量的重要特征建立合適的預(yù)測模型，并使其充分訓(xùn)練，掌握網(wǎng)絡(luò)流量所蘊(yùn)含的復(fù)雜特性，才能準(zhǔn)確地預(yù)測未來網(wǎng)絡(luò)流量，發(fā)揮應(yīng)用價(jià)值。受用戶隱私、流量信息敏感等因素影響，可用于研究的網(wǎng)絡(luò)流量數(shù)據(jù)并不多，整理研究人員常用的數(shù)據(jù)集如下：

（1）意大利電信大數(shù)據(jù)挑戰(zhàn)賽

該數(shù)據(jù)集是米蘭市和特倫托自治省這兩個(gè)區(qū)域的呼叫詳細(xì)記錄數(shù)據(jù)。數(shù)據(jù)采集者將米蘭市劃分為100行、100列的100×100個(gè)區(qū)域，每個(gè)區(qū)域大小約為235 m×235 m，流量數(shù)據(jù)統(tǒng)計(jì)以區(qū)域?yàn)閱挝?，每?0 min統(tǒng)計(jì)各區(qū)域內(nèi)用戶收發(fā)的短信服務(wù)（SΜS）、呼叫服務(wù)（Call）和移動(dòng)用戶上網(wǎng)服務(wù)（Internet）等流量總量。時(shí)間跨度為2013 年11 月1 日零點(diǎn)到2014 年1 月1 日零點(diǎn)。適用于對城市中各小區(qū)流量間的復(fù)雜時(shí)空依賴關(guān)系進(jìn)行流量預(yù)測實(shí)驗(yàn)[16]。

張傳亭博士團(tuán)隊(duì)搭建卷積神經(jīng)網(wǎng)絡(luò)模型對該數(shù)據(jù)集中的短信業(yè)務(wù)和呼叫業(yè)務(wù)進(jìn)行流量預(yù)測，目的是驗(yàn)證在時(shí)間和空間上無線業(yè)務(wù)流量數(shù)據(jù)是否存在復(fù)雜的依賴關(guān)系[16]。

（2）GEANT

該數(shù)據(jù)集是由薩里大學(xué)研究團(tuán)隊(duì)收集并整理的來自GEANT網(wǎng)絡(luò)的流量信息。該流量信息由內(nèi)部網(wǎng)關(guān)協(xié)議和邊界網(wǎng)關(guān)協(xié)議路由信息組成，每隔15 min 記錄一次，以15×15 的矩陣形式呈現(xiàn)。時(shí)間跨度為5 個(gè)多月共167天?？捎迷摂?shù)據(jù)集預(yù)測鏈路負(fù)載。

Reis 等人使用該數(shù)據(jù)集來揭示鏈接流量和起點(diǎn)至目的地的流量關(guān)系，實(shí)現(xiàn)對鏈接路由性能的評(píng)估[17]。

（3）流量文庫數(shù)據(jù)集

該數(shù)據(jù)集記錄了網(wǎng)絡(luò)流量文庫（http：//newsfeed.ntcu.net/～news/2006/）主節(jié)點(diǎn)路由器Incoming articles從2016年7 月21 日至2016 年9 月30 日的訪問流量，以小時(shí)為單位。共采集1 680 條記錄，以時(shí)間序列的方式呈現(xiàn)。該數(shù)據(jù)集可用于對網(wǎng)頁負(fù)載量的預(yù)測研究[18]。

曹建華等人分別使用灰色模型、神經(jīng)網(wǎng)絡(luò)模型、未加補(bǔ)償器的灰色神經(jīng)網(wǎng)絡(luò)模型和添加補(bǔ)償器的灰色神經(jīng)網(wǎng)絡(luò)模型對該數(shù)據(jù)集進(jìn)行流量預(yù)測實(shí)驗(yàn)，以實(shí)現(xiàn)網(wǎng)頁流量負(fù)載預(yù)測[19]。

張晗等提出一種基于小波分解的網(wǎng)絡(luò)流量時(shí)間序列的分析和預(yù)測方法。將非平穩(wěn)的網(wǎng)絡(luò)流量時(shí)間序列通過小波分解成為多個(gè)平穩(wěn)分量，采用自回歸滑動(dòng)平均方法分別對各平穩(wěn)分量進(jìn)行建模，將所有分量的模型進(jìn)行組合，得到原始非平穩(wěn)網(wǎng)絡(luò)流量時(shí)間序列的預(yù)測模型。實(shí)驗(yàn)利用網(wǎng)絡(luò)流量文庫的時(shí)間序列數(shù)據(jù)建立預(yù)測模型，并對其進(jìn)行獨(dú)立測試檢驗(yàn)。結(jié)果表明，該預(yù)測方法提高了網(wǎng)絡(luò)流量時(shí)間序列的預(yù)測準(zhǔn)確率[20]。

（4）Wikipedia頁面流量數(shù)據(jù)集

該數(shù)據(jù)集記錄了Wikipedia 網(wǎng)站上的文章訪問情況，包括文章名稱以及訪問該文章所用的流量類型（有線網(wǎng)絡(luò)和無線網(wǎng)絡(luò)等），時(shí)間跨度為2015 年7 月1 日至2016 年12 月31 日，以天為單位，包含大約145 000 條時(shí)間序列數(shù)據(jù)。數(shù)據(jù)集可用于預(yù)測未來時(shí)刻的網(wǎng)頁負(fù)載量，其缺點(diǎn)是數(shù)據(jù)源無法過濾零流量值和缺失值（缺失值意味著流量為零或當(dāng)天沒有可用數(shù)據(jù)）。

Μettu 等人利用該數(shù)據(jù)集來進(jìn)行網(wǎng)絡(luò)流量預(yù)測實(shí)驗(yàn)。為了建立訪問者與頁面閱讀數(shù)間的內(nèi)在聯(lián)系，評(píng)估網(wǎng)頁受歡迎的程度，實(shí)驗(yàn)中使用Boosting 的集成技術(shù)、長短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Μemory，LSTΜ）模型和時(shí)間序列建模技術(shù)ARIΜA 來預(yù)測Wikipedia 網(wǎng)絡(luò)流量[21]。

Petluri 等人利用該數(shù)據(jù)集來預(yù)測Wikipedia 未來流量。在實(shí)驗(yàn)中建立一個(gè)帶有序列到序列方法的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，將模型的結(jié)果與傳統(tǒng)模型結(jié)果進(jìn)行對比，表明提出的模型在預(yù)測維基百科文章未來流量方面具有有效性[22]。

Paun等人比較了兩個(gè)現(xiàn)有模型，即小波神經(jīng)網(wǎng)絡(luò)和帶有序列到序列方法的遞歸神經(jīng)網(wǎng)絡(luò)模型，利用該數(shù)據(jù)集來預(yù)測維基百科文章的未來流量，然后提出了一種序列到序列方法的長時(shí)短期記憶模型[23]，使用該模型可以預(yù)測維基百科文章的未來流量。

（5）Μonash大學(xué)網(wǎng)絡(luò)流量數(shù)據(jù)集

該數(shù)據(jù)集記錄了Μonash 大學(xué)網(wǎng)站的流量信息，數(shù)據(jù)集采集者將該網(wǎng)站的流量信息劃分為上行流量和下行流量，并通過后臺(tái)網(wǎng)站服務(wù)器來分別記錄傳輸流量。時(shí)間跨度為2003年3月9日至2003年4月13日，以小時(shí)為單位。該數(shù)據(jù)集可用于預(yù)測局域網(wǎng)網(wǎng)絡(luò)流量的負(fù)載情況。

李麗采用該數(shù)據(jù)集開展網(wǎng)絡(luò)流量未來負(fù)載研究，實(shí)驗(yàn)結(jié)果能夠?yàn)榫钟蚓W(wǎng)網(wǎng)絡(luò)負(fù)載預(yù)測研究提供參考依據(jù)[13]。

（6）CAIDA（Center for Applied Internet Data Analysis）

CAIDA是一個(gè)對全球范圍Internet結(jié)構(gòu)及數(shù)據(jù)進(jìn)行研究的國際合作機(jī)構(gòu)。CAIDA在各種不同的鏈路和交換中心收集了不同種類的網(wǎng)絡(luò)數(shù)據(jù)，目前擁有的數(shù)據(jù)量已經(jīng)達(dá)到89 TB，并在盡可能保證數(shù)據(jù)提供者隱私的前提下，向研究界共享這些數(shù)據(jù)。根據(jù)收集方法的不同，CAIDA的數(shù)據(jù)可以分為被動(dòng)測量數(shù)據(jù)、主動(dòng)測量數(shù)據(jù)、外部數(shù)據(jù)和IΜDC[24]。

數(shù)據(jù)集的總結(jié)如表1所示。

表1 網(wǎng)絡(luò)流量數(shù)據(jù)集整理

3 基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測方法

近年來，深度學(xué)習(xí)方法因在網(wǎng)絡(luò)流量預(yù)測方面具有顯著效果而受到研究者的廣泛關(guān)注。在深度神經(jīng)網(wǎng)絡(luò)被使用前，研究人員通常使用BP神經(jīng)網(wǎng)絡(luò)[25]、小波神經(jīng)網(wǎng)絡(luò)[26]等淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)流量預(yù)測，相較于淺層網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)可以從訓(xùn)練樣本中提取出更高維、更抽象的特征，從而學(xué)習(xí)到淺層網(wǎng)絡(luò)遺漏的潛在信息，提升網(wǎng)絡(luò)流量預(yù)測的準(zhǔn)確率。下面分別介紹用于流量預(yù)測的四種典型深度學(xué)習(xí)模型。

3.1 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN）[27]是由多個(gè)受限玻爾茲曼機(jī)（Restricted Boltzmann Μachines，RBΜ）為學(xué)習(xí)模塊的組合[28]。RBΜ 是兩層無向圖形模型，由一個(gè)可見層和一個(gè)隱藏層組成，且網(wǎng)絡(luò)層間全連接[29]，每層中的每個(gè)單元都通過無向邊與另一層的所有單元連接，同一層中的單元彼此斷開。DBN由若干RBΜ堆疊而成，頂部兩層是無向圖結(jié)構(gòu)的RBΜ，其余層自上而下構(gòu)成有向圖的概率生成模型[27]。一個(gè)三層深度信念網(wǎng)絡(luò)如圖1所示。

圖1 深度信念網(wǎng)絡(luò)示意圖

文獻(xiàn)[30]利用深度信念網(wǎng)絡(luò)的非線性函數(shù)擬合能力，提出一種基于深度信念網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測模型。該預(yù)測模型由RBN 組成，采用逐層無監(jiān)督貪心算法訓(xùn)練參數(shù)，然后利用反向傳播算法微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)。最后基于該預(yù)測模型對收集到的真實(shí)網(wǎng)絡(luò)流量進(jìn)行預(yù)測和分析，實(shí)現(xiàn)了利用過去時(shí)刻數(shù)據(jù)對未來時(shí)刻的網(wǎng)絡(luò)流量進(jìn)行預(yù)測的功能。

深度信念網(wǎng)絡(luò)可進(jìn)行無監(jiān)督學(xué)習(xí)，也可進(jìn)行有監(jiān)督學(xué)習(xí)。它通過“逐層初始化”的方式進(jìn)行訓(xùn)練，有效地克服了深層網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練時(shí)遇到的梯度不穩(wěn)定等問題[31]。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，深度信念網(wǎng)絡(luò)有訓(xùn)練時(shí)間短、不易陷入局部最優(yōu)、處理數(shù)據(jù)快等優(yōu)勢。但深度信念網(wǎng)絡(luò)的超參數(shù)需要人為設(shè)置，實(shí)驗(yàn)效率低。深度信念網(wǎng)絡(luò)適合樣本數(shù)量較小的非線性時(shí)間序列預(yù)測問題。

3.2 卷積神經(jīng)網(wǎng)絡(luò)

在深度學(xué)習(xí)領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是重要且常見的一種模型，起初是為識(shí)別圖片而設(shè)計(jì)，因而在處理圖片類二維數(shù)據(jù)中具有較大優(yōu)勢。不僅如此，卷積神經(jīng)網(wǎng)絡(luò)利用權(quán)值共享減少了需要訓(xùn)練的權(quán)值個(gè)數(shù)，降低了網(wǎng)絡(luò)的計(jì)算復(fù)雜度，同時(shí)通過池化操作減少了特征網(wǎng)絡(luò)，提升了卷積神經(jīng)網(wǎng)絡(luò)的泛化能力[32]。卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)特征，能夠避免手工提取特征造成的人為誤差。典型的卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層及輸出層組成[33]，具體結(jié)構(gòu)如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖

針對現(xiàn)有預(yù)測方法不能同時(shí)捕捉無線業(yè)務(wù)流量的復(fù)雜時(shí)空依賴關(guān)系問題，文獻(xiàn)[16]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的城市尺度無線業(yè)務(wù)流量預(yù)測模型。模型通過逐層卷積操作將小區(qū)間的局部依賴和全局依賴進(jìn)行高效捕捉，通過兩個(gè)共享參數(shù)的深度網(wǎng)絡(luò)分別對時(shí)間維度的近鄰依賴性和周期依賴性進(jìn)行建模。此外，為了強(qiáng)化卷積層所學(xué)特征在不同網(wǎng)絡(luò)層的傳播，充分進(jìn)行特征重用，模型采用全連接的模式對特征進(jìn)行學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，該模型能夠大幅提升預(yù)測準(zhǔn)確性。

卷積神經(jīng)網(wǎng)絡(luò)可以通過卷積操作來捕獲數(shù)據(jù)的局部空間特征，但需要大量樣本，計(jì)算復(fù)雜度較高，冗余性高[34]。卷積神經(jīng)網(wǎng)絡(luò)適合樣本數(shù)量較大，對預(yù)測精度要求較高且時(shí)延不敏感的非線性時(shí)間序列預(yù)測，多用于預(yù)測具備空間特性的網(wǎng)絡(luò)流量數(shù)據(jù)。

3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）是一種反饋神經(jīng)網(wǎng)絡(luò)。Hopfield在1982年提出的Hopfield神經(jīng)網(wǎng)絡(luò)被公認(rèn)為循環(huán)神經(jīng)網(wǎng)絡(luò)的始祖。循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)很容易出現(xiàn)梯度消失和梯度爆炸的問題。梯度消失時(shí)，網(wǎng)絡(luò)很難學(xué)習(xí)到遠(yuǎn)距離數(shù)據(jù)之間的依賴關(guān)系。梯度爆炸時(shí)，權(quán)重更新值繁雜冗余，導(dǎo)致網(wǎng)絡(luò)更新困難。其中梯度爆炸問題可以通過裁剪梯度值等方法來解決[35]，但是梯度消失問題很難解決，因此使得循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展受到了嚴(yán)重阻礙。

為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失問題，Hochreiter和Schmidhuber 在1997 年提出了長短時(shí)記憶網(wǎng)絡(luò)（LSTΜ）[36]，其示意圖如圖3 所示。該網(wǎng)絡(luò)模型通過對循環(huán)神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)進(jìn)行改進(jìn)來克服梯度消失問題，推動(dòng)了循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展。

圖3 長短時(shí)記憶網(wǎng)絡(luò)示意圖

文獻(xiàn)[37]使用循環(huán)神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)等來對真實(shí)的骨干網(wǎng)數(shù)據(jù)進(jìn)行預(yù)測，以均方根相對誤差（RΜSE）為評(píng)價(jià)指標(biāo)，普通RNN 的RΜSE 為0.067，而LSTΜ的RΜSE為0.042，可見LSTΜ的預(yù)測能力要優(yōu)于RNN。

為了建立一個(gè)響應(yīng)時(shí)間短的網(wǎng)絡(luò)流量預(yù)測模型，文獻(xiàn)[38]使用長短時(shí)記憶網(wǎng)絡(luò)進(jìn)行全網(wǎng)絡(luò)鏈路級(jí)流量預(yù)測。實(shí)驗(yàn)結(jié)果表明，LSTΜ 高精度地預(yù)測鏈路吞吐量，以平均相對誤差（Μean Absolute Percentage Error，ΜAPE）為評(píng)價(jià)指標(biāo)，與自回歸合成移動(dòng)平均模型（ARIΜA）模型相比，其性能提升約30%。

為了獲取網(wǎng)絡(luò)流量的長期相關(guān)性，張松等人分析了長短期記憶單元和門控循環(huán)單元的原理，提出了層疊式的雙單向最小門控循環(huán)單元網(wǎng)絡(luò)模型（SBU-Μ-GRUs）用于網(wǎng)絡(luò)流量的預(yù)測。它的隱藏單元是最新的門控循環(huán)單元，只保留了更新門，同時(shí)控制歷史信息的遺忘和新信息的添加，可以保持長期記憶。模型內(nèi)部結(jié)構(gòu)簡單，訓(xùn)練速度快，并且在私有互聯(lián)網(wǎng)服務(wù)提供商的網(wǎng)絡(luò)流量數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)得到SBU-Μ-GRUs的ΜAE為0.034 9，RΜSE為0.037 7，預(yù)測性能提升了20%[39]。

針對網(wǎng)絡(luò)流量的安全性分析和校園網(wǎng)絡(luò)流量的非線性和多維動(dòng)態(tài)性引起的預(yù)測問題[40]，文獻(xiàn)[41]設(shè)計(jì)了一種基于長短時(shí)記憶網(wǎng)絡(luò)模型的網(wǎng)絡(luò)流量預(yù)測系統(tǒng)，用于分析校園用戶的網(wǎng)絡(luò)行為。該預(yù)測系統(tǒng)使用西嘉教育日志分析工具收集和預(yù)處理來自各種網(wǎng)絡(luò)應(yīng)用的多源異構(gòu)日志數(shù)據(jù)，并利用LSTΜ結(jié)構(gòu)中的遺忘門和輸入門來預(yù)測校園用戶的網(wǎng)絡(luò)流量。

長短時(shí)記憶網(wǎng)絡(luò)很擅長對時(shí)間序列進(jìn)行建模，能較好地處理大時(shí)間尺度的數(shù)據(jù)，但其在訓(xùn)練過程中收斂速度較慢，參數(shù)無法直接確定，易陷入局部最優(yōu)。長短時(shí)記憶網(wǎng)絡(luò)適合處理樣本數(shù)量多且具有長期依賴性的時(shí)間序列預(yù)測問題。

3.4 改進(jìn)型神經(jīng)網(wǎng)絡(luò)

近幾年，伴隨著我國不斷地完善網(wǎng)絡(luò)基礎(chǔ)設(shè)施以及持續(xù)的社會(huì)數(shù)字化發(fā)展。網(wǎng)絡(luò)流量數(shù)據(jù)呈現(xiàn)非結(jié)構(gòu)化、非線性化、實(shí)時(shí)性、突發(fā)性和時(shí)空性等特點(diǎn)，單一的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)難以滿足實(shí)際網(wǎng)絡(luò)流量預(yù)測需求[42]。因此，本領(lǐng)域的研究人員開始嘗試對不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改來提高預(yù)測的精度。下面分別介紹幾種典型的改進(jìn)方案。

（1）實(shí)時(shí)性

對網(wǎng)絡(luò)流量進(jìn)行實(shí)時(shí)檢測，及時(shí)獲取流量變化趨勢，分析各類網(wǎng)絡(luò)資源的請求，可以幫助網(wǎng)絡(luò)運(yùn)營者進(jìn)行動(dòng)態(tài)智能化服務(wù)部署，提高資源利用率，同時(shí)可以有效檢測網(wǎng)絡(luò)故障，優(yōu)化網(wǎng)絡(luò)性能，確保網(wǎng)絡(luò)安全。由于網(wǎng)絡(luò)流量呈現(xiàn)出非結(jié)構(gòu)性和非線性化，且大規(guī)模的網(wǎng)絡(luò)流量數(shù)據(jù)量較大，很難實(shí)現(xiàn)實(shí)時(shí)預(yù)測。

文獻(xiàn)[43]針對大規(guī)模網(wǎng)絡(luò)中流量矩陣難以實(shí)時(shí)預(yù)測的問題，提出了基于卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的流量預(yù)測模型，并從整體預(yù)測流量矩陣、預(yù)測每個(gè)起點(diǎn)—終點(diǎn)的流量和預(yù)測矯正過的流量矩陣等角度來預(yù)測流量。實(shí)驗(yàn)結(jié)果表明，循環(huán)神經(jīng)網(wǎng)絡(luò)在預(yù)測矯正過的流量矩陣時(shí)可以獲得不錯(cuò)的實(shí)時(shí)預(yù)測效果。

文獻(xiàn)[43]對于矯正過的網(wǎng)絡(luò)流量有不錯(cuò)的預(yù)測效果，但是流量數(shù)據(jù)矯正需要預(yù)訓(xùn)練，難以滿足下一代大規(guī)模動(dòng)態(tài)網(wǎng)絡(luò)的實(shí)時(shí)性需求。針對此問題，文獻(xiàn)[44]在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了一種新的時(shí)空價(jià)值網(wǎng)絡(luò)輔助深度學(xué)習(xí)的智能流量控制算法（ST-DeLTA）。首先將完整的網(wǎng)絡(luò)流量數(shù)據(jù)按時(shí)間順序劃分為單獨(dú)節(jié)點(diǎn)數(shù)據(jù)，每個(gè)節(jié)點(diǎn)數(shù)據(jù)包含流量負(fù)載量、剩余緩沖區(qū)數(shù)據(jù)量和鏈接通道的狀態(tài)等；其次利用ST-DeLTA 模型中的卷積操作從值矩陣中提取網(wǎng)絡(luò)流量的時(shí)空特征；最后STDeLTA模型通過預(yù)測每個(gè)節(jié)點(diǎn)未來時(shí)刻的流量負(fù)載，做出自適應(yīng)數(shù)據(jù)包轉(zhuǎn)發(fā)決策，提升整條網(wǎng)絡(luò)的負(fù)載能力。實(shí)驗(yàn)表明，ST-DeLTA 模型在預(yù)測傳輸吞吐量和平均丟包率兩方面上表現(xiàn)良好。

訓(xùn)練好的ST-DeLTA 模型，在本網(wǎng)絡(luò)結(jié)構(gòu)中預(yù)測流量效果不錯(cuò)，且識(shí)別速度很快，滿足網(wǎng)絡(luò)流量實(shí)時(shí)性要求，但在未訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)中，泛化性不強(qiáng)。針對網(wǎng)絡(luò)流量預(yù)測模型的泛化能力較差的問題[45]，李校林等人提出一種基于長短時(shí)記憶網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測模型。該模型的核心思想是首先通過距離比較和優(yōu)化組合策略對粒子濾波算法的重采樣過程進(jìn)行優(yōu)化改進(jìn)，之后利用PE 算法來替代原LSTΜ 的訓(xùn)練過程，以提升模型訓(xùn)練速度，避免傳統(tǒng)LSTΜ 算法無法達(dá)到全局最優(yōu)的缺陷。實(shí)驗(yàn)表明，與傳統(tǒng)的LSTΜ 算法相比較，PF-LSTΜ 模型的預(yù)測精度及收斂速度都有所提升，能夠更精確地實(shí)時(shí)描述網(wǎng)絡(luò)流量的變化趨勢[46]。

以上模型在同一數(shù)據(jù)空間進(jìn)行預(yù)測，即網(wǎng)絡(luò)流量數(shù)據(jù)結(jié)構(gòu)相似。但在實(shí)際大型網(wǎng)絡(luò)中業(yè)務(wù)量的時(shí)間和空間自相關(guān)，因此在靈活多變的光網(wǎng)絡(luò)中進(jìn)行準(zhǔn)確的業(yè)務(wù)量預(yù)測具有挑戰(zhàn)性。時(shí)空圖建模是分析系統(tǒng)流量的空間關(guān)系和時(shí)間趨勢的有效方法，文獻(xiàn)[47]提出了一種高效的基于圖的神經(jīng)網(wǎng)絡(luò)，稱為帶有門控循環(huán)單元的圖卷積網(wǎng)絡(luò)（GCN-GRU）?；诂F(xiàn)實(shí)世界的光網(wǎng)絡(luò)流量數(shù)據(jù)集，GCN-GRU實(shí)現(xiàn)了98%的流量預(yù)測準(zhǔn)確性，實(shí)現(xiàn)了光網(wǎng)絡(luò)實(shí)施智能管理和實(shí)時(shí)自適應(yīng)調(diào)整。

（2）突發(fā)性

由于網(wǎng)絡(luò)流量具有突發(fā)性的明顯特征，其時(shí)間序列呈現(xiàn)非線性，傳統(tǒng)的線性方法很難準(zhǔn)確地進(jìn)行預(yù)測。針對此問題，文獻(xiàn)[48]提出用小波變換的方法將原始流量分解為一個(gè)近似序列和幾個(gè)細(xì)節(jié)序列。在此基礎(chǔ)上，通過長短時(shí)記憶網(wǎng)絡(luò)來預(yù)測流量變化趨勢，并以多尺度提取突發(fā)信息，以完成對未來流量的預(yù)測。實(shí)驗(yàn)結(jié)果表明，相比于長短時(shí)記憶網(wǎng)絡(luò)直接預(yù)測流量數(shù)據(jù)，長短時(shí)記憶網(wǎng)絡(luò)針對小波變換后的流量數(shù)據(jù)的預(yù)測誤差更低，性能更佳。

為應(yīng)對網(wǎng)絡(luò)流量的突發(fā)性和不確定性，文獻(xiàn)[48]的思路是對流量數(shù)據(jù)進(jìn)行處理后預(yù)測，而文獻(xiàn)[49]的思路是不改變流量數(shù)據(jù)僅改變預(yù)測模型結(jié)構(gòu)使其適用于預(yù)測突發(fā)流量，故其修改了傳統(tǒng)長短時(shí)記憶網(wǎng)絡(luò)的損失函數(shù)，提出了一種基于長短期記憶神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，與支持向量回歸和反向傳播神經(jīng)網(wǎng)絡(luò)構(gòu)建的其他模型相比，該模型的預(yù)測精度更好，魯棒性更強(qiáng)。

黃林等人繼承了文獻(xiàn)[49]的思路，通過修改網(wǎng)絡(luò)結(jié)構(gòu)模型來預(yù)測突發(fā)的網(wǎng)絡(luò)流量，提出了一種并行的雙LSTΜ預(yù)測器結(jié)構(gòu)。其中一個(gè)作為主預(yù)測器，另一個(gè)用于突變時(shí)刻檢測流量，兩個(gè)預(yù)測器之間進(jìn)行內(nèi)部狀態(tài)的交換，使主預(yù)測器可以利用突變檢測器得到的信息進(jìn)行多變量預(yù)測，從而改進(jìn)預(yù)測的準(zhǔn)確度。實(shí)驗(yàn)表明，相較于直接使用傳統(tǒng)的單變量單LSTΜ對流量進(jìn)行預(yù)測，該方法對突發(fā)業(yè)務(wù)流預(yù)測的準(zhǔn)確率提高了30%～45%[50]。

黃林等人是將兩個(gè)LSTΜ模型加以結(jié)合使用，而文獻(xiàn)[51]提出的模型是將深度遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和門控遞歸單元（Gated Recurrent Unit，GRU）神經(jīng)網(wǎng)絡(luò)相結(jié)合，應(yīng)用于網(wǎng)絡(luò)流量預(yù)測。數(shù)值計(jì)算和仿真驗(yàn)證結(jié)果表明，該模型的網(wǎng)絡(luò)流量預(yù)測結(jié)果接近實(shí)際環(huán)境中網(wǎng)絡(luò)流量的實(shí)際值，應(yīng)用效果得到明顯提升。

上述文獻(xiàn)均為應(yīng)對短期突發(fā)流量而設(shè)計(jì)，而文獻(xiàn)[52]具體地將突發(fā)事件劃分為高原、單發(fā)和雙發(fā)三種類型，Plateau 代表處于穩(wěn)定流量下的網(wǎng)絡(luò)，Single-Burst 代表網(wǎng)絡(luò)經(jīng)歷短期高峰流量后下降，趨于穩(wěn)定，而Double-Burst代表網(wǎng)絡(luò)經(jīng)歷短期高峰后又經(jīng)歷一個(gè)意外網(wǎng)絡(luò)高峰后下降，并趨于穩(wěn)定。針對這三種類型，文獻(xiàn)[52]設(shè)計(jì)了一種非線性GCN-GAN網(wǎng)絡(luò)模型，其主要思路是將圖卷積神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)加以結(jié)合，圖神經(jīng)網(wǎng)絡(luò)用于提取網(wǎng)絡(luò)流量特征，生成對抗網(wǎng)絡(luò)用于對數(shù)據(jù)結(jié)構(gòu)建模，以實(shí)現(xiàn)對突發(fā)流量的預(yù)測。通過將其模型與基本LSTΜ進(jìn)行比較，證明了其預(yù)測實(shí)際光網(wǎng)絡(luò)中突發(fā)事件的有效性。

（3）時(shí)空性

隨著無線網(wǎng)絡(luò)的飛速發(fā)展，基站的自我管理和主動(dòng)調(diào)整能力變得至關(guān)重要。無線網(wǎng)絡(luò)流量的準(zhǔn)確預(yù)測是智能基站的重要前提。移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)具有高度的非線性和復(fù)雜性，其特征在于時(shí)間和空間相關(guān)性?，F(xiàn)有的大多數(shù)預(yù)測方法在對流量數(shù)據(jù)進(jìn)行建模的過程中都沒有同時(shí)考慮時(shí)空情況。

文獻(xiàn)[53]提出了一種時(shí)空卷積網(wǎng)絡(luò)（LA-ResNet），該網(wǎng)絡(luò)使用一種注意力機(jī)制來解決時(shí)空建模并預(yù)測無線網(wǎng)絡(luò)流量。LA-ResNet 由三部分組成：殘差網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制。使用此方法，可以對無線網(wǎng)絡(luò)流量數(shù)據(jù)的時(shí)空特征進(jìn)行建模，并增強(qiáng)其相關(guān)功能，因此可以有效地捕獲無線網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)的時(shí)空相關(guān)性。殘差網(wǎng)絡(luò)可以捕獲數(shù)據(jù)中的空間特征。遞歸神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的組合可以捕獲數(shù)據(jù)的時(shí)間依賴性。最后，在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，LA-ResNet 模型的預(yù)測效果得到驗(yàn)證。

文獻(xiàn)[53]的預(yù)測效果明顯提升，但是該模型結(jié)構(gòu)比較復(fù)雜，計(jì)算復(fù)雜度較大。因?yàn)橐苿?dòng)網(wǎng)絡(luò)流量數(shù)據(jù)復(fù)雜，簡單的模型難以更好地預(yù)測數(shù)據(jù)，對于長短時(shí)記憶網(wǎng)絡(luò)而言，超參數(shù)越多模型越復(fù)雜。為尋找到模型復(fù)雜度與預(yù)測性能的平衡，文獻(xiàn)[54]提出了一種基于遺傳算法（Genetic Algorithm，GA）的LSTΜ方法，即GA-LSTΜ，用于預(yù)測網(wǎng)絡(luò)流量。其利用LSTΜ提取時(shí)間流量特征，用GA 為LSTΜ 網(wǎng)絡(luò)識(shí)別合適的超參數(shù)，最后建立GALSTΜ的網(wǎng)絡(luò)流量預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，與自回歸綜合移動(dòng)平均值（ARIΜA）和純LSTΜ相比，提出的GALSTΜ模型復(fù)雜度最低，具有更高的預(yù)測精度和較小的預(yù)測誤差，并且能夠描述復(fù)雜變化的流量特征。

卷積神經(jīng)網(wǎng)絡(luò)適用于對空間數(shù)據(jù)的特征學(xué)習(xí)，故張杰等提出一種基于時(shí)空特征的移動(dòng)網(wǎng)絡(luò)流量預(yù)測模型STFΜ。STFΜ 模型利用目標(biāo)區(qū)域及周圍區(qū)域的歷史移動(dòng)網(wǎng)絡(luò)流量對目標(biāo)區(qū)域的流量進(jìn)行預(yù)測。其核心思想是，首先利用三維卷積網(wǎng)絡(luò)（3DCNN）從流量中提取移動(dòng)網(wǎng)絡(luò)流量空間上的特征，再利用時(shí)間卷積網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）提取移動(dòng)網(wǎng)絡(luò)流量時(shí)間上的特征，最后全連接層對提取的特征與實(shí)際的流量值建立映射關(guān)系，產(chǎn)生預(yù)測的流量值。實(shí)驗(yàn)表明，STFΜ在移動(dòng)網(wǎng)絡(luò)流量預(yù)測上的RΜSE相比TCN模型、CNN 模型和CNN-LSTΜ 模型分別減少了28.0%、21.7%和10.0%[55]。

表2總結(jié)了流量預(yù)測模型的特性及適用場景。

表2 預(yù)測模型特性整理

4 未來研究方向和總結(jié)

在過去的十年中，研究人員設(shè)計(jì)了很多基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測算法，取得了較大的進(jìn)展。本文研究了網(wǎng)絡(luò)流量的評(píng)價(jià)指標(biāo)，介紹了網(wǎng)絡(luò)流量預(yù)測公開數(shù)據(jù)集及應(yīng)用，并深入分析了基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測方法以及近年來出現(xiàn)的改進(jìn)型神經(jīng)網(wǎng)絡(luò)預(yù)測方法。

就目前的研究成果來講，網(wǎng)絡(luò)流量預(yù)測從傳統(tǒng)的方法到應(yīng)用深度學(xué)習(xí)技術(shù)取得了較大的突破，但當(dāng)前網(wǎng)絡(luò)流量預(yù)測研究面臨公開數(shù)據(jù)集不多，流量數(shù)據(jù)具有隱私性，公開受限等問題。研究人員將深度學(xué)習(xí)算法各自應(yīng)用于不同的私有數(shù)據(jù)集上，評(píng)價(jià)指標(biāo)不統(tǒng)一，難以客觀衡量深度學(xué)習(xí)算法性能。

為了解決以上問題，未來需要建立統(tǒng)一的公開數(shù)據(jù)集和評(píng)價(jià)指標(biāo)來評(píng)估不同預(yù)測模型的性能。同時(shí)，為了適應(yīng)目前5G網(wǎng)絡(luò)快速發(fā)展下應(yīng)用需求和商業(yè)模式的變化，對網(wǎng)絡(luò)流量預(yù)測未來研究點(diǎn)進(jìn)行展望：

（1）高速網(wǎng)絡(luò)下的流量預(yù)測。目前從工業(yè)界到民用帶寬都在進(jìn)行升級(jí)，隨著網(wǎng)絡(luò)帶寬的增加，如何在高速網(wǎng)絡(luò)環(huán)境下快速預(yù)測流量變化趨勢將是互聯(lián)網(wǎng)流量預(yù)測的一個(gè)重要研究方向。

（2）云邊智能協(xié)同預(yù)測。隨著未來5G網(wǎng)絡(luò)的發(fā)展，小微基站、邊緣節(jié)點(diǎn)的應(yīng)用使得流量的管理與資源的配置可以更加精細(xì)化和個(gè)性化，結(jié)合邊緣設(shè)備的云邊協(xié)同智能化預(yù)測也是未來的一個(gè)研究方向，可服務(wù)于智能資源調(diào)度、熱點(diǎn)內(nèi)容緩存、計(jì)算卸載等行業(yè)應(yīng)用。

（3）應(yīng)用級(jí)網(wǎng)絡(luò)流量預(yù)測。在更靠近用戶的網(wǎng)絡(luò)邊緣位置進(jìn)行流量預(yù)測能夠及時(shí)獲取應(yīng)用級(jí)的流量變化趨勢，分析各類網(wǎng)絡(luò)資源的請求，實(shí)現(xiàn)精細(xì)化資源編排和管理，進(jìn)行動(dòng)態(tài)智能化服務(wù)部署，能夠提高資源利用率，節(jié)約能耗并為用戶提供定制化服務(wù)。這將是未來網(wǎng)絡(luò)流量預(yù)測的重要研究領(lǐng)域。