基于拓?fù)滏溌纷R(shí)別的光網(wǎng)絡(luò)流量數(shù)據(jù)合成算法

周 剛，吳樹霖，張江龍，吳小華，莊浩濤，趙永利

(1.國(guó)網(wǎng)福建省電力有限公司，福州 350003； 2.國(guó)網(wǎng)福建省電力有限公司信息通信分公司，福州 350003；3.安徽繼遠(yuǎn)軟件有限公司，合肥 230088； 4.北京郵電大學(xué)，北京 100876)

0 引 言

在投入商業(yè)使用的光網(wǎng)絡(luò)中，用戶隱私和商業(yè)機(jī)密保護(hù)等措施使得實(shí)時(shí)采集到的有效流量有限，難以支撐基于深度學(xué)習(xí)的流量預(yù)測(cè)或流量診斷等模型的訓(xùn)練。

數(shù)據(jù)增強(qiáng)(合成)是解決數(shù)據(jù)量問題的有效方法。傳統(tǒng)方法依據(jù)已知流量數(shù)據(jù)特征和專家經(jīng)驗(yàn)，對(duì)經(jīng)典數(shù)學(xué)模型進(jìn)行再建模，以擬合出流量分布表達(dá)式。文獻(xiàn)[1]根據(jù)泊松模型對(duì)流量數(shù)據(jù)進(jìn)行數(shù)學(xué)建模，但現(xiàn)網(wǎng)中業(yè)務(wù)種類繁多，流量數(shù)據(jù)特性越加復(fù)雜，基于泊松模型的數(shù)據(jù)合成會(huì)導(dǎo)致多源數(shù)據(jù)匯聚后變得越加失真；文獻(xiàn)[2-3]中均基于分形布朗運(yùn)動(dòng)模型對(duì)流量數(shù)據(jù)進(jìn)行數(shù)學(xué)建模以合成流量數(shù)據(jù)，該模型能夠刻畫光網(wǎng)絡(luò)的突發(fā)性和自相似性[4]，但不適用于非高斯流量數(shù)據(jù)的建模。可見傳統(tǒng)方法根據(jù)局部特性合成流量，難以適應(yīng)現(xiàn)網(wǎng)高度變化的流量數(shù)據(jù)。為了解決生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GANs)[5]難以合成序列數(shù)據(jù)的問題，文獻(xiàn)[6-7]基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)提出了針對(duì)序列數(shù)據(jù)的合成方法；為了解決時(shí)序數(shù)據(jù)條件性合成問題，文獻(xiàn)[8]引入基于多層感知機(jī)的元數(shù)據(jù)輔助模型。然而尚未有根據(jù)光鏈路特性對(duì)流量數(shù)據(jù)進(jìn)行合成的研究成果。

針對(duì)上述流量合成方案的局限性，本文采用GANs的“半監(jiān)督”能力代替專家經(jīng)驗(yàn)，構(gòu)建了基于拓?fù)滏溌纷R(shí)別的光網(wǎng)絡(luò)流量數(shù)據(jù)合成(Topology-link Recognition-based Optical Networks Traffic Data Synthesis, TRONTDS)模型 。

1 拓?fù)淠Ｐ团c問題描述

1.1 拓?fù)淠Ｐ?/h3>

在進(jìn)行流量數(shù)據(jù)增強(qiáng)算法的研究之前，先設(shè)定算法網(wǎng)絡(luò)模型。圖1所示為圖像化的光傳送網(wǎng)(Optical Transport Network, OTN)拓?fù)鋱D，給定的OTN由1組OTN節(jié)點(diǎn)和1組OTN鏈路組成，可用無向圖G=(V,E)來表示該物理拓?fù)洌?式中,V為物理節(jié)點(diǎn)的集合，E為光纖鏈路的集合。設(shè)Pp為所有物理路徑的集合，pp(src,dst)∈Pp為從源節(jié)點(diǎn)src∈V到目的節(jié)點(diǎn)dst∈V的物理鏈路。對(duì)src和dst間的鏈路pp(src,dst)進(jìn)行數(shù)據(jù)增強(qiáng)，則將pp(src,dst)鏈路和端節(jié)點(diǎn)進(jìn)行異化。本文采用顏色變換法對(duì)指定鏈路進(jìn)行異化，使得數(shù)據(jù)增強(qiáng)模型能夠識(shí)別出該鏈路。

圖1 圖像化的OTN拓?fù)鋱D

1.2 核心問題描述

結(jié)合以上拓?fù)淠Ｐ?，給出幾組定義和概念：

(1)vi為對(duì)光網(wǎng)絡(luò)中鏈路i進(jìn)行測(cè)量得到的流量數(shù)值。

(2) 將鏈路i中一段經(jīng)過預(yù)處理后包含n個(gè)流量的測(cè)量序列定義為

(3)DSt,i為鏈路i中t維光網(wǎng)絡(luò)流量序列集，有以下關(guān)系：

(5) 高斯白噪聲Zn到Sn,i的映射過程為

2 基于拓?fù)滏溌纷R(shí)別的光網(wǎng)絡(luò)流量數(shù)據(jù)合成算法

2.1 GANs基本理論

GANs包含了兩個(gè)重要結(jié)構(gòu)——DM和GM[5]。GANs核心思想為GM與DM基于雙元零和博弈策略進(jìn)行對(duì)抗學(xué)習(xí)——GM與DM在對(duì)抗學(xué)習(xí)中爭(zhēng)取各自“利益”的最優(yōu)化，且雙元博弈“利益”總和為一個(gè)設(shè)定的常量。GM的輸入為隨機(jī)向量，一般為低維數(shù)據(jù)，如高斯白噪聲。GM的任務(wù)就是通過學(xué)習(xí)到的經(jīng)驗(yàn)(初始隨機(jī)設(shè)定)將該低維隨機(jī)向量進(jìn)行處理后，根據(jù)輸出規(guī)定映射成一個(gè)多維或者高維數(shù)據(jù)。不同于GM，DM基于真實(shí)數(shù)據(jù)集，因此其初始輸入為真實(shí)的數(shù)據(jù)集，在對(duì)抗學(xué)習(xí)中輸入的是GM生成的數(shù)據(jù)。在GANs訓(xùn)練過程中，DM的任務(wù)是對(duì)輸入數(shù)據(jù)進(jìn)行真實(shí)性的鑒別并將鑒別結(jié)果作為輸出。GM目標(biāo)是合成具有高度真實(shí)性的數(shù)據(jù)以使得DM無法鑒別出該數(shù)據(jù)為合成，同理可知，DM的目標(biāo)是在對(duì)抗學(xué)習(xí)中不斷積累新“知識(shí)”，最大程度判別出GM合成的數(shù)據(jù)為非真實(shí)數(shù)據(jù)。從數(shù)學(xué)建模角度分析，GM的目標(biāo)是對(duì)聯(lián)合概率分布P(X,Y)進(jìn)行學(xué)習(xí)，X為數(shù)據(jù)特征，Y為標(biāo)簽，從而GM可以根據(jù)該先驗(yàn)分布進(jìn)而獲悉后驗(yàn)分布P(Y|X)=P(X,Y)/P(X)。DM的目標(biāo)是基于原始數(shù)據(jù)集直接學(xué)習(xí)P(Y|X)分布，并根據(jù)數(shù)據(jù)特征算出標(biāo)簽的概率。圖2所示為GANs模型的基本結(jié)構(gòu)。

圖2 GANs模型的基本結(jié)構(gòu)

正是由于DM與GM的目標(biāo)是相反的，因此GANs的訓(xùn)練過程呈現(xiàn)出雙元對(duì)抗性。GANs在數(shù)據(jù)生成中的整體任務(wù)是通過學(xué)習(xí)獲得數(shù)據(jù)特征知識(shí)，進(jìn)而依據(jù)學(xué)到的知識(shí)生成符合原始數(shù)據(jù)分布規(guī)律的能夠以假亂真的合成數(shù)據(jù)。在這個(gè)訓(xùn)練過程中，GM在DM模型的“反饋”下學(xué)習(xí)到真實(shí)數(shù)據(jù)的具體分布規(guī)律，并不斷生成新的數(shù)據(jù)輸出給DM進(jìn)行判別，在不斷迭代的過程中，GM生成數(shù)據(jù)能夠完全逼近實(shí)際數(shù)據(jù)，DM需要根據(jù)先驗(yàn)知識(shí)對(duì)GM所生成的數(shù)據(jù)進(jìn)行鑒別，在每次迭代過程中導(dǎo)出鑒別的真?zhèn)谓Y(jié)果。對(duì)于GANs的整體訓(xùn)練過程而言，博弈雙方DM與GM的最終目標(biāo)是趨向于動(dòng)態(tài)的納什均衡。在GANs趨向于博弈均衡時(shí)，GM能夠生成逼近真實(shí)數(shù)據(jù)分布的合成數(shù)據(jù)，且DM所導(dǎo)出的判別結(jié)果趨近于0.5。

GANs的目標(biāo)函數(shù)為

式中：G為GM的輸出；D為DM的輸出；Pz(x)為噪聲分布；E為期望；log對(duì)數(shù)的底大于1，一般取2或e；Pdata(x)為真實(shí)數(shù)據(jù)集的分布規(guī)律；G(x)為GM處理輸入數(shù)據(jù)的過程(如將隨機(jī)高斯白噪聲向量z轉(zhuǎn)換成目標(biāo)多維數(shù)據(jù))；D(x)為數(shù)據(jù)x服從真實(shí)數(shù)據(jù)集分布規(guī)律Pdata(x)而非合成數(shù)據(jù)集分布規(guī)律Pg的概率。

2.2 拓?fù)滏溌纷R(shí)別與相應(yīng)流量數(shù)據(jù)合成算法

圖3所示為基于拓?fù)滏溌纷R(shí)別的光網(wǎng)絡(luò)流量數(shù)據(jù)合成算法框架圖。

圖3 基于拓?fù)滏溌纷R(shí)別的光網(wǎng)絡(luò)流量數(shù)據(jù)合成算法框架圖

不同于傳統(tǒng)的GANs，其在GM中引進(jìn)CNN[9]以合成“偽”拓?fù)湎蛄?。相?yīng)地，需要在DM中引入一個(gè)輔助模塊(同樣為一個(gè)CNN)用于鑒定“偽”拓?fù)湎蛄坎⒎答佇畔⒔o拓?fù)銰M。由于流量數(shù)據(jù)為離散形式的序列數(shù)據(jù)且含有時(shí)間維度的特征，引入一種具有高效學(xué)習(xí)數(shù)據(jù)時(shí)間特性的神經(jīng)網(wǎng)絡(luò)——RNN[10]，用于合成流量數(shù)據(jù)。相較于原始的RNN，改良的長(zhǎng)短時(shí)記憶(Long Short Term Memory，LSTM)[11]神經(jīng)網(wǎng)絡(luò)能夠獲取到數(shù)據(jù)中較長(zhǎng)的時(shí)序依賴關(guān)系，被廣泛應(yīng)用于處理具有時(shí)間維度的離散數(shù)據(jù)，本文采用LSTM作為GM的核心部分。根據(jù)條件生成網(wǎng)絡(luò)[12]的思路，結(jié)合生成的拓?fù)湎蛄颗c生成的流量數(shù)據(jù)作為核心DM的輸入。通過DM的反饋，GM能夠逐漸合成接近真實(shí)流量數(shù)據(jù)的合成流量，同時(shí)獲取到拓?fù)湎蛄亢土髁繑?shù)據(jù)之間的關(guān)系。

基于原始GANs模型的目標(biāo)優(yōu)化函數(shù)進(jìn)行的模型訓(xùn)練，在穩(wěn)定性保持方面能力較差，也容易發(fā)生模式崩壞問題。研究結(jié)果表明，Wasserstein距離用于改善目標(biāo)函數(shù)，能夠降低模式崩壞問題發(fā)生概率[13]。本章提出的缺失值填充算法采用了“W距離”GANs，用于學(xué)習(xí)缺失時(shí)序數(shù)據(jù)的分布。如式(8)所示，相較于原始版本的GANs，Wasserstein距離的引入主要體現(xiàn)在目標(biāo)函數(shù)以下兩項(xiàng)的修改中：

(1) 將目標(biāo)函數(shù)中的對(duì)數(shù)函數(shù)省去了；

(2) 在GM和DM每次迭代更新的過程中，對(duì)模型相關(guān)參數(shù)進(jìn)行取模并做出裁剪處理，以達(dá)到讓其保持在一定的范圍之中。

式中：WL(G,D)為目標(biāo)函數(shù)；PDSt為原始樣本數(shù)據(jù)集的數(shù)學(xué)分布；s為DM的輸入，而DM的構(gòu)建需要喂入原始數(shù)據(jù)序列，所以此處的s為原始數(shù)據(jù)序列D(s)，表示喂入s序列的DM的輸出；Z為噪聲分布，PZ為生成模型生成的偽數(shù)據(jù)分?jǐn)?shù)學(xué)分布。

由此DM中引入了輔助DM，如圖3所示，那么需要對(duì)基于Wasserstein距離的目標(biāo)優(yōu)化函數(shù)進(jìn)行調(diào)整，也即引入輔助DM數(shù)學(xué)模型。基于式(8)，TRONTDS的目標(biāo)優(yōu)化函數(shù)設(shè)計(jì)如下：

3 仿真設(shè)置及結(jié)果分析

3.1 指標(biāo)設(shè)定

為了對(duì)增強(qiáng)后的光網(wǎng)絡(luò)流量數(shù)據(jù)的質(zhì)量進(jìn)行評(píng)估，本文采用了兩個(gè)層面的指標(biāo)，分別是從數(shù)據(jù)本身出發(fā)的數(shù)學(xué)統(tǒng)計(jì)指標(biāo)(自相關(guān)系數(shù))和基于數(shù)據(jù)構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率應(yīng)用層面的指標(biāo)。

(1) 自相關(guān)系數(shù)(Auto-correlation)

自相關(guān)系數(shù)用于衡量同一個(gè)序列在兩個(gè)不同時(shí)期的相關(guān)程度，也即歷史數(shù)值對(duì)當(dāng)前數(shù)值的影響。從計(jì)算的角度看，自相關(guān)系數(shù)就是將一個(gè)數(shù)據(jù)列在時(shí)間維度上按照一定時(shí)間進(jìn)行平移，去除平移后時(shí)間重疊的兩列數(shù)據(jù)，最后對(duì)這兩列數(shù)據(jù)進(jìn)行相關(guān)系數(shù)求解。

自相關(guān)系數(shù)的計(jì)算式子如下所示：

自相關(guān)系數(shù)可用于衡量流量數(shù)據(jù)在時(shí)間前后的相關(guān)性，進(jìn)而對(duì)數(shù)據(jù)增強(qiáng)模型在時(shí)間特性方面的捕獲能力進(jìn)行評(píng)估[14]。

(2) 預(yù)測(cè)準(zhǔn)確率(Accuracy)

準(zhǔn)確率指在給定測(cè)試數(shù)據(jù)集的情況下，神經(jīng)網(wǎng)絡(luò)模型進(jìn)行數(shù)據(jù)分析和判斷，最終輸出結(jié)果為對(duì)應(yīng)樣本種類的次數(shù)與總樣本數(shù)之比。本文設(shè)定光網(wǎng)絡(luò)流量預(yù)測(cè)值的合理偏差范圍為真實(shí)流量值的30%，也即預(yù)測(cè)值與真實(shí)值的絕對(duì)差值與真實(shí)值的百分比小于30%判定預(yù)測(cè)結(jié)果為真，否則為假。

3.2 仿真設(shè)置

為了驗(yàn)證TRONTDS在數(shù)據(jù)增強(qiáng)方面的性能，減弱CNN模型訓(xùn)練過程對(duì)整個(gè)算法流程的影響，本文設(shè)置9節(jié)點(diǎn)、12鏈路的網(wǎng)絡(luò)拓?fù)渥鳛榉抡嫱負(fù)?，如圖4所示。設(shè)定該拓?fù)渲泄?jié)點(diǎn)序號(hào)由左到右、由上到下遞增。流量數(shù)據(jù)采集粒度設(shè)定為1 h，跨度為24～48 h，整理出變長(zhǎng)流量序列，組合成數(shù)據(jù)集。流量數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，比例設(shè)定為4∶1。

圖4 9節(jié)點(diǎn)、12鏈路拓?fù)鋱D

在統(tǒng)計(jì)指標(biāo)層面，本文采用真實(shí)數(shù)據(jù)和原始GANs合成局作為基準(zhǔn)對(duì)比。由于原始GANs不具備拓?fù)渥R(shí)別能力，故本文僅針對(duì)指定鏈路pp(node2, node5)(node2, node5分別為圖4中第2個(gè)和第5個(gè)節(jié)點(diǎn))流量進(jìn)行仿真對(duì)比。在應(yīng)用指標(biāo)層面采用原始GANs和LSTM神經(jīng)網(wǎng)絡(luò)作為對(duì)比基準(zhǔn)。

本文核心DM采用包含4個(gè)中間隱藏層的多層感知機(jī)(全連接神經(jīng)網(wǎng)絡(luò))來實(shí)現(xiàn)，每個(gè)隱藏層的神經(jīng)元個(gè)數(shù)設(shè)定為200；輔助DM選用CNN，選用ReLU函數(shù)作為激活函數(shù)，池化層包含3個(gè)卷積層和1個(gè)全連接層。對(duì)應(yīng)的流量數(shù)據(jù)GM采用一層LSTM網(wǎng)絡(luò)實(shí)現(xiàn)，包含100個(gè)單元；拓?fù)湎蛄縂M也采用3卷積層的CNN。添加Softmax層用于輸出指定鏈路pp(node2, node5)的合成拓?fù)湎蛄亢秃铣闪髁繑?shù)據(jù)。訓(xùn)練過程中梯度懲罰權(quán)重設(shè)定為10，采用Adam optimizer作為優(yōu)化器，學(xué)習(xí)率為0.001，損失函數(shù)為Wasserstein函數(shù)。

3.3 結(jié)果驗(yàn)證與分析

本文對(duì)指定鏈路pp(node2, node5)進(jìn)行流量數(shù)據(jù)合成，與真實(shí)數(shù)據(jù)的對(duì)比如圖5所示?？梢妰闪辛髁繑?shù)據(jù)的走勢(shì)以及波動(dòng)趨勢(shì)基本保持一致，生成的流量數(shù)據(jù)基本擬同真實(shí)數(shù)據(jù)。圖6所示為真實(shí)流量數(shù)據(jù)和生成流量數(shù)據(jù)的頻次分布直方圖，通過比較可知，合成的流量數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布基本上能夠匹配，其中橘黃色曲線為本文增強(qiáng)后流量頻次高于真實(shí)流量的部分。

圖5 指定拓?fù)滏溌吩鰪?qiáng)流量數(shù)據(jù)與真實(shí)流量數(shù)據(jù)對(duì)比圖

圖6 指定拓?fù)滏溌吩鰪?qiáng)流量數(shù)據(jù)與真實(shí)流量數(shù)據(jù)直方分布圖對(duì)比

為驗(yàn)證TRONTDS合成數(shù)據(jù)具有真實(shí)流量數(shù)據(jù)的時(shí)間特性，對(duì)本文合成流量數(shù)據(jù)、原始GANs合成數(shù)據(jù)和原始的流量數(shù)據(jù)分別進(jìn)行自相關(guān)系數(shù)計(jì)算，結(jié)果如圖7所示。由圖可見，TRONTDS合成的數(shù)據(jù)從低滯后時(shí)間到高滯后時(shí)間，幾乎與原始流量數(shù)據(jù)變化重疊，這說明TRONTDS能夠高效獲取原始流量數(shù)據(jù)的時(shí)間特效，而原始GANs合成數(shù)據(jù)的自相關(guān)系數(shù)曲線出現(xiàn)許多抖動(dòng)且波峰出現(xiàn)更多失真，這說明其容易丟失流量數(shù)據(jù)中所攜帶的時(shí)間特征。

圖7 原始流量數(shù)據(jù)與兩種算法合成數(shù)據(jù)自相關(guān)系數(shù)對(duì)比圖

圖8所示為基于3種增強(qiáng)數(shù)據(jù)訓(xùn)練的全連接神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)準(zhǔn)確率曲線，其中基于TRONTDS合成流量的預(yù)測(cè)模型性能最佳，能夠快速將準(zhǔn)確率提升到90%以上，這主要是由于TRONTDS在GANs基礎(chǔ)上引入了LSTM網(wǎng)絡(luò)，能在半監(jiān)督機(jī)制下生成與真實(shí)流量數(shù)據(jù)相同數(shù)學(xué)分布的流量數(shù)據(jù)。同時(shí)可見，模型能夠關(guān)聯(lián)拓?fù)湎蛄縂M合成的拓?fù)湎蛄亢秃铣傻牧髁繑?shù)據(jù)，使得能夠指定鏈路進(jìn)行流量數(shù)據(jù)的合成。

圖8 基于3種增強(qiáng)算法合成數(shù)據(jù)的流量預(yù)測(cè)模型準(zhǔn)確率對(duì)比圖

4 結(jié)束語

為了能夠?qū)饩W(wǎng)絡(luò)指定鏈路中的流量數(shù)據(jù)進(jìn)行增強(qiáng)，本文提出了一種TRONTDS算法，在GANs框架下聯(lián)合基于光網(wǎng)絡(luò)拓?fù)涞臈l件生成模型和基于光網(wǎng)絡(luò)流量的數(shù)據(jù)合成模型，以自監(jiān)督的方式合成指定光鏈路的流量數(shù)據(jù)。仿真結(jié)果表明，所提算法在統(tǒng)計(jì)指標(biāo)和應(yīng)用指標(biāo)上均表現(xiàn)優(yōu)異，其中合成的光網(wǎng)絡(luò)流量數(shù)據(jù)在自相關(guān)系數(shù)指標(biāo)上與真實(shí)數(shù)據(jù)接近，且使得基于全連接神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)模型準(zhǔn)確率達(dá)到95%以上。為了驗(yàn)證合成流量的質(zhì)量，本文目前只對(duì)9節(jié)點(diǎn)拓?fù)溥M(jìn)行了仿真，以減小拓?fù)渥R(shí)別效率對(duì)整體算法的影響。后續(xù)工作將著重優(yōu)化拓?fù)渥R(shí)別功能，并在現(xiàn)網(wǎng)拓?fù)渖喜捎谜鎸?shí)流量數(shù)據(jù)進(jìn)行仿真驗(yàn)證。