電力綜合數(shù)據(jù)網(wǎng)流量監(jiān)測技術分析

◆楊志華 楊成濤 李坤 廖仲欽 楊振明

（云南電網(wǎng)有限公司瑞麗供電局云南 678600）

電網(wǎng)內(nèi)部綜合數(shù)據(jù)網(wǎng)網(wǎng)絡覆蓋面廣，信息點多，承載著公司日常辦公管理、電力生產(chǎn)監(jiān)測系統(tǒng)等等諸多各種業(yè)務。網(wǎng)絡的可靠性和安全性直接決定著企業(yè)的信息安全，也決定著站內(nèi)設備監(jiān)控、數(shù)據(jù)采集傳輸?shù)雀鱾€方面的安全穩(wěn)定[1]。電力綜合數(shù)據(jù)網(wǎng)涉及較廣范圍的數(shù)據(jù)業(yè)務，為了實現(xiàn)不同業(yè)務對數(shù)據(jù)網(wǎng)絡不同的要求，需要通過流量監(jiān)測分析不同的方面，例如：丟包率、抖動、寬帶、時延等[2]。電力綜合數(shù)據(jù)網(wǎng)的流量監(jiān)測是指通過一些技術或方法，以軟硬件結合的方式，在特定的實際的物理網(wǎng)絡鏈路或某個節(jié)點中，對能夠反映網(wǎng)絡后繼變化趨勢的網(wǎng)絡性能指標進行采集測量與計算分析。

1 流量采集技術

采集技術目前主要分為兩類：主動測量與被動測量。主動測量是指自己主動向網(wǎng)絡中的鏈路或節(jié)點發(fā)送數(shù)據(jù)包用于監(jiān)測數(shù)據(jù)流的性能指標，最基礎的應用實例為計算機ping本地網(wǎng)關，通過本地主機主動向網(wǎng)關發(fā)送 ICMP數(shù)據(jù)包來判斷本地網(wǎng)絡連接狀態(tài)以及計算路徑之間的往返時延、丟包率，但主動測量占用了一部分的網(wǎng)絡資源，給網(wǎng)絡系統(tǒng)帶來了額外的負擔，影響了網(wǎng)絡性能，對測量結果的準確性帶來了一定的誤差。被動測量技術不會主動向外發(fā)送報文，是通過在網(wǎng)絡鏈路或待測點中串聯(lián)上分流設備來監(jiān)測網(wǎng)絡上的數(shù)據(jù)流信息，但這種方法雖然不會給網(wǎng)絡帶來額外的負擔，但由于復雜性高，成本高，所以普遍性較低不利于廣泛使用。目前，國內(nèi)外采用的采集技術從方法上分類，主要包括以下三種：

1.1 SNMP采集技術

簡單網(wǎng)絡管理協(xié)議（SNMP）是網(wǎng)絡中使用最廣泛、最為普及的采集技術。該技術基于TCP/IP協(xié)議層內(nèi)的各種互聯(lián)網(wǎng)絡元件之間的管理協(xié)議，提供了從網(wǎng)絡設備收集網(wǎng)絡信息的途徑，并為設備預留了向網(wǎng)絡管理站反饋故障和錯誤的渠道[3]。該方法的優(yōu)點是具備普遍性、通用性、相對成熟、使用方便，但該技術目前只能做到對單個網(wǎng)絡設備接口級別的流量統(tǒng)計，無法做到網(wǎng)絡層端到端之間的流量統(tǒng)計、業(yè)務統(tǒng)計，同時對于一些特殊異常流量可能無法發(fā)現(xiàn)。

1.2 內(nèi)置sFlow采集技術

sFlow是由InMon、HP等公司開發(fā)的一種基于采樣的網(wǎng)絡監(jiān)測技術，通過設置一定的采樣率對交換機或者路由器里的數(shù)據(jù)包進行捕獲，再通過嵌入到網(wǎng)絡設備里的代理將數(shù)據(jù)包轉發(fā)給流量分析服務器進行處理，從中取得該網(wǎng)絡所傳輸數(shù)據(jù)包的源地址、目的地址、IP地址、字節(jié)數(shù)等信息。主要優(yōu)勢在于整個網(wǎng)絡監(jiān)測成本低，采樣的速率可自行設置，網(wǎng)絡性能、帶寬基本不受影響；其缺點在于抽樣間隔較大時可能錯失關鍵數(shù)據(jù)包，損失流量的部分信息，準確性下降，對新的業(yè)務也缺乏辨識度[4]。

1.3 硬件探針采集技術

數(shù)據(jù)采集探針是專門用于獲取網(wǎng)絡鏈路流量數(shù)據(jù)的硬件設備。使用時將它串聯(lián)在待監(jiān)測流量的鏈路中，通過分流網(wǎng)絡路線上的數(shù)字信號的方式獲取信息[5]。由于一個探針只能完成監(jiān)測一條鏈路中的流量信息的任務，所以想完成全網(wǎng)流量的監(jiān)測需要采用多點分布，在每條待測鏈路放置一個探針。再將所有探針收集到的流量數(shù)據(jù)通過后臺服務器以及數(shù)據(jù)庫進行匯總保存，用于全網(wǎng)的流量分析和長期報告，為故障分析、網(wǎng)絡優(yōu)化、網(wǎng)絡規(guī)劃提供實時的、歷史的重要數(shù)據(jù)?；谟布结樀牟杉夹g最大特點就是能夠提供詳細地從物理層到應用層的流量信息，但是成本較高，使用起來較復雜。

2 特征檢測技術

2.1 規(guī)則特征分析

網(wǎng)絡流量數(shù)據(jù)在不同網(wǎng)絡業(yè)務中常表現(xiàn)出有規(guī)律的相互作用和影響，從中可總結出屬于它的各類不同特性。目前網(wǎng)絡流量數(shù)據(jù)存在以下幾種主要的特性：

（1）長相關性與自相似性

長相關性反映了自相似過程中的持續(xù)現(xiàn)象，是指利用過去的數(shù)據(jù)變化趨勢來預測流量系統(tǒng)下一步的變化趨勢。實際的網(wǎng)絡流量在時間軸上呈現(xiàn)長相關性，自相似是指當前網(wǎng)絡流量的波動情況可在歷史變化中尋找到相似情況，在歷史數(shù)據(jù)基礎上可對目前網(wǎng)絡流量的變化趨勢進行精準度較高的預測。結合歷史數(shù)據(jù)，這種預測既包括空間維度上的，也包括時間維度上的。從流量分析的角度看，自相似性的直觀解釋是在不同時間尺度上，網(wǎng)絡流量對時間的分布看起來是相似的。

（2）周期性

周期性表述了網(wǎng)絡流量的變化特性隨時間變化而表現(xiàn)出來的一種周而復始的變化規(guī)律[6]，通常以一天到一年為觀測區(qū)間，若采樣周期跨度太大，就會使得該周期內(nèi)的流量特性被淹沒在大量的數(shù)據(jù)信息中不被發(fā)現(xiàn)；而采樣周期太短，沒有足夠的數(shù)據(jù)積累無法得出準確的周期變化趨勢。這種變化特性可能是因為網(wǎng)絡系統(tǒng)的客觀原因，也可能是因為人們的使用習慣造成。

（3）多分形性

一個圖形的部分在某種方式下與圖形整體相似，這該圖像可稱為分形。多個單一分形在空間上相互纏結、鑲嵌得到的就是多分形[7]。行業(yè)的前輩通過多種測試和推導確認了網(wǎng)絡流量具備多分形的特征。大多數(shù)的現(xiàn)實流量具有長相關性，但它在不同尺度、不同維度下還存在著短相關性，為了精確得出流量在小尺度上的局部特性，引入局部尺度的概念，來研究在極限短的時間間隔下網(wǎng)絡流量的一些特性。

2.2 大數(shù)據(jù)分析技術

針對網(wǎng)絡流量的大數(shù)據(jù)分析技術主要有聚類、關聯(lián)分析、統(tǒng)計描述等。

（1）聚類分析

首先聚類的作用主要就是將物理或抽象對象的集合分成相似的對象類。

例：means聚類算法：

a.任意選擇k個對象作為初始的簇中心；

b. repeat；

c. 根據(jù)簇中對象的平均值，重新將每個對象賦予最類似的簇；

d. 更新簇的平均值，即計算每個簇中對象的平均值；

e. until不再發(fā)生變化。優(yōu)點：容易實現(xiàn)，易于理解在低維度這一塊應用廣泛。優(yōu)點：容易實現(xiàn)，易于理解在低維度這一塊應用廣泛。

缺點：對于高維度這塊涉及很少，計算速度很慢，特別是計算距離需要好久才能計算成功。另一個缺點就是他還需要設置一個K值，而這個K值是一個假設值，具有不穩(wěn)定性，因此可能會造成誤差。

（2）關聯(lián)分析

關聯(lián)分析是數(shù)據(jù)中發(fā)現(xiàn)各個項集之間的某些相似關聯(lián)和相關聯(lián)系。關聯(lián)分析的核心為利用Apriori算法進行分析。

Apriori算法：主體為一種被稱為逐層搜索的迭代方法。利用頻繁的項集特性產(chǎn)生的先驗知識來進行工作。

具體操作如下：第一步：找出頻繁1—項集的集合．記做L1

第二步：用L1找出頻繁2出項集的集合L2

第三步：用L2找出頻繁3出項集的集合L3

.....

直到找不到頻繁k+1項集時得出最大頻繁項集LK。（每次找LK都需要去掃描一次數(shù)據(jù)庫）。

優(yōu)點：可以與多種算法相融合并且算法容易實現(xiàn)。適合所有稀疏類的事務分析。

缺點：會產(chǎn)生許多不需要的集合，需要多次掃描數(shù)據(jù)庫產(chǎn)生大量冗余數(shù)據(jù)、耗費大量時間，導致它的效率會很低

（3）統(tǒng)計描述

統(tǒng)計描述是對大量數(shù)據(jù)資料進行整理、分析之后做成圖表或者表格形式。然后對數(shù)據(jù)的分布的狀態(tài)、隨機產(chǎn)生的變量和數(shù)字特征之間有何關系進行估計和描述。統(tǒng)計描述主要有集中趨勢分析、離中趨勢分析以及相關分析。

集中趨勢：通過研究數(shù)據(jù)當中的平均數(shù)、眾數(shù)、中數(shù)等指標并進行統(tǒng)計描述。

離中趨勢：通過研究數(shù)據(jù)當中的四分差、平均差、方差和標準差等指標并進行統(tǒng)計描述。

相關分析；通過查找兩個或多個數(shù)據(jù)之間在統(tǒng)計學上是否存在關聯(lián)性，進行分析。

2.3 預測分析技術

（1）SVM（支持向量機模型）：它可以與聚類分析相結合組成一個網(wǎng)絡流量預測模型。首先采集某一段時間的流量數(shù)據(jù)對其聚類分析，選擇每一個與預測樣本相關的訓練樣本集合，然后設置支持向量機的參數(shù)取值范圍，初始化核寬度和懲罰參數(shù)，接著讓支持向量機對訓練樣本集合進行學習，之后統(tǒng)計訓練誤差是否滿足網(wǎng)絡管理的實際要求，如果滿足就得出最優(yōu)核寬度及懲罰參數(shù)，以此創(chuàng)建網(wǎng)絡流量預測模型舉例。若不滿足，有文獻提出了利用一種布谷鳥搜索算法[8]進行優(yōu)化讓支持向量機再次學習。直到滿足網(wǎng)絡流量管理的實際要求。

圖1 預測模型建立流程圖

（2）流量模型預測法：在一定規(guī)模的流量歷史數(shù)據(jù)積累下，選定流量的主要特性為出發(fā)點，選用合適的流量模型總結出網(wǎng)絡流量在特定情形下的變化趨勢。這種方法利用了網(wǎng)絡流量具有自相似的性質(zhì)，可以用來理解和預測網(wǎng)絡流量行為，分析和評價網(wǎng)絡性能，為網(wǎng)絡結構的組建提供理論基礎。目前主流的傳統(tǒng)網(wǎng)絡流量模型有，泊松模型，馬爾科夫模型，自回歸模型等。

（3）神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡預測模型：采集歷史流量數(shù)據(jù)將其整理為神經(jīng)網(wǎng)絡所能識別的訓練集，然后神經(jīng)網(wǎng)絡通過訓練對其進行建模。根據(jù)模型來預測未來某一段時間的流量情況。

優(yōu)點：可以用于高度非線性系統(tǒng)的處理。

缺點：預測需要大量的訓練樣本來進行修正模型[9]。

3 應用

（1）在網(wǎng)絡安全防御系統(tǒng)中：應用流量分析中的采集及分析功能。

首先對所有接收過來的流量進行采集初步過濾后發(fā)生給數(shù)據(jù)挖掘與分析模塊。然后利用卷積神經(jīng)網(wǎng)絡構建一個網(wǎng)絡流量挖掘與分析系統(tǒng)，該系統(tǒng)可以從發(fā)生過來的流量中發(fā)現(xiàn)潛在的病毒或木馬，針對這些網(wǎng)絡安全威脅進行識別、評估和判斷。在流量挖掘與分析系統(tǒng)得出結果后，就可以判斷出這些流量是否含有病毒或木馬，如果存在就可以啟動殺毒軟件將其滅殺，如果不存在就將其放行。例如華為防火墻及部分殺毒軟件。

（2）應用在校園網(wǎng)絡之中：應用流量管理可以及時響應和異常檢測功能。

例：在某個龐大的校園網(wǎng)中網(wǎng)速突然卡頓，如果不及時處理，將會導致大量重要的教學數(shù)據(jù)無法傳輸，但是留給網(wǎng)絡安全管理者的反應時間很短暫，當時沒有排查出原因是什么，沒有攔截到這段帶有網(wǎng)絡病毒的流量，這個網(wǎng)絡病毒對網(wǎng)絡的影響很是嚴重，導致了整個校園網(wǎng)絡出現(xiàn)癱瘓。而在引進流量管理系統(tǒng)之后，每次發(fā)生卡頓或其他異常后系統(tǒng)都能快速反應并進行監(jiān)測，找出問題及時處理

（3）應用在醫(yī)院內(nèi)網(wǎng)流量管理之中：應用流量管理的關聯(lián)分析及可視化展示功能。

例：某三甲醫(yī)院患者流量大，醫(yī)院信息系統(tǒng)中收到大量流量信息數(shù)據(jù)，這些信息中會在醫(yī)院常規(guī)工作中起到重大作用，而且都是重要資源。流量管理系統(tǒng)可以根據(jù)關聯(lián)分析對其數(shù)據(jù)進行挖掘分析，從中發(fā)現(xiàn)某些關聯(lián)關系，利用可視化分析，能夠?qū)⒊橄蟮臄?shù)據(jù)變換成更易理解和觀測的圖形，能夠形象地觀察出數(shù)據(jù)內(nèi)在的關系，發(fā)現(xiàn)隱藏在數(shù)據(jù)中重要的關聯(lián)性關系，從而更清晰、有效地展示數(shù)據(jù)分析結果[10]。

（4）在電力綜合數(shù)據(jù)網(wǎng)管理中的應用：業(yè)務識別、異常檢測及主動被動測量功能。

目前，質(zhì)量監(jiān)測與評估是電力綜合數(shù)據(jù)網(wǎng)管理的主要手段，在運維中數(shù)據(jù)流預警和調(diào)度手段越發(fā)重要，實際運行中依托人工進行問題和故障檢查成為主要手段，所以，在這種情況下就需要引進流量管理系統(tǒng)，業(yè)務識別技術通過辨別、分類等方法分散不同流量的去向，大大減輕了網(wǎng)絡堵塞的狀況。對網(wǎng)絡傳輸?shù)牧髁窟M行主動測量，掌控其動態(tài)數(shù)據(jù)，實現(xiàn)寬帶流量的精細化管理。該方案不僅保證了數(shù)據(jù)網(wǎng)的正常運行還能節(jié)約運行成本。文獻[11]提出了汲取 F-ARIMA與 SARIMA兩種模型的優(yōu)點，建立全業(yè)務綜合流量預測模型，提高了預測的準確率的方法，但僅處于研究階段，模型全面性和實用性都有待考證，因此，電力綜合數(shù)據(jù)網(wǎng)方面類似復雜智能的高級應用還需要時間考驗。

4 總結

本文介紹電力綜合數(shù)據(jù)網(wǎng)流量監(jiān)測與分析所需的關鍵技術，對比了平行技術之間的優(yōu)缺點。通過對網(wǎng)絡流量特性的分析和大數(shù)據(jù)建模預測的推論，可以快速定位網(wǎng)絡故障，更好的控制流量和提高網(wǎng)絡的性能，同時為網(wǎng)絡建設與規(guī)劃提供運行數(shù)據(jù)依據(jù)。從應用分析來看，目前的應用還主要集中在可視化管理流量和故障發(fā)現(xiàn)方面，采用人工監(jiān)屏與軟件自動采集相結合的運行管理模式，隨著大數(shù)據(jù)與人工智能技術的快速發(fā)展與不斷應用發(fā)展，相信在未來可以不斷減少人工監(jiān)屏的工作量，進行智能診斷和自動推送建議，乃至自動派單給維護人員，網(wǎng)絡流量自愈和自我管理能力將得到較大提升，使綜合數(shù)據(jù)網(wǎng)運行更為穩(wěn)定，從而保障電網(wǎng)各項數(shù)字化業(yè)務的正常開展。