基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分析系統(tǒng)的應(yīng)用與研究

陶俊杰 李明東 姜飛

摘要：隨著網(wǎng)絡(luò)帶寬的快速增長和各種網(wǎng)絡(luò)業(yè)務(wù)的廣泛應(yīng)用，網(wǎng)絡(luò)流量的建模和預(yù)測變得越來越重要。為了更好地對網(wǎng)絡(luò)流量進(jìn)行建模和預(yù)測，本文一方面對現(xiàn)有的幾種流量模型進(jìn)行了總結(jié)和分析，分為短相關(guān)模型和長相關(guān)模型;另一方面分析了常用的流量預(yù)測方法，特別是神經(jīng)網(wǎng)絡(luò)、模糊理論和小波分析。在實際測量中，采用FIR神經(jīng)網(wǎng)絡(luò)模型對網(wǎng)絡(luò)流量進(jìn)行預(yù)測。最后，展望了流量預(yù)測在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用前景和發(fā)展方向。

關(guān)鍵詞：網(wǎng)絡(luò);流量分析;自相似性

1 網(wǎng)絡(luò)異常流量分析檢測系統(tǒng)的設(shè)計與實現(xiàn)

通過分析用戶需求，可以知道異常流量分析與檢測系統(tǒng)首先要具備的功能就是快速高效的檢測出網(wǎng)絡(luò)中的異常流量。它的核心模塊就是檢測模塊，除此之外，它還應(yīng)包括：流量采集，日常運(yùn)維，故障管理等功能模塊，如圖 1 所示。其中，流量采集模塊主要的功能是采集和存儲網(wǎng)絡(luò)中的數(shù)據(jù)流量，對流量數(shù)據(jù)進(jìn)行預(yù)處理，使其能夠在流量監(jiān)測模塊進(jìn)行檢測;流量監(jiān)測模塊則主要對網(wǎng)絡(luò)中的流量進(jìn)行檢測，對于異常流量進(jìn)行響應(yīng)處理;日常運(yùn)維模塊則主要對網(wǎng)絡(luò)設(shè)備狀態(tài)進(jìn)行監(jiān)控，并對網(wǎng)絡(luò)流量進(jìn)行可視化監(jiān)視，以及異常流量進(jìn)行人工干預(yù)等;故障處理模塊主要在網(wǎng)絡(luò)中出現(xiàn)大量異常流量時進(jìn)行快速響應(yīng)處理，包括對異常流量的告警上報及阻斷等措施。

1.1網(wǎng)絡(luò)流量預(yù)測方法

用數(shù)學(xué)模型來描述網(wǎng)絡(luò)流量， 雖然能對未來時刻的網(wǎng)絡(luò)流量進(jìn)行一定的預(yù)測， 但要更加靈活、高效地進(jìn)行流量預(yù)測還需要人工智能等一些方法。同時， 網(wǎng)絡(luò)流量行為隨著時間和地域的不同會呈現(xiàn)出很大的變化，因此想提供一種針對網(wǎng)絡(luò)流量的通用化預(yù)測是很困難的，理想的預(yù)測方式應(yīng)該是自適應(yīng)的而且一定要能夠給用戶提供足夠的可信信息。在網(wǎng)絡(luò)流量預(yù)測中，還存在著可預(yù)測性問題，即在一定的預(yù)測步長內(nèi)的最小預(yù)測差以及在可接受的預(yù)測誤差范圍內(nèi)最大的預(yù)測步長。

1.2 流量感知模塊

在流量感知模塊中，使用了 k-means 聚類的方法進(jìn)行流量數(shù)據(jù)的聚類，使正常數(shù)據(jù)和異常數(shù)據(jù)盡量區(qū)分開。在模型訓(xùn)練部分，通過聚類算法將網(wǎng)絡(luò)流量數(shù)據(jù)分成差異較大的數(shù)據(jù)簇，再將每個數(shù)據(jù)簇的中心點與訓(xùn)練數(shù)據(jù)庫的正常流量數(shù)據(jù)進(jìn)行距離運(yùn)算，根據(jù)事先設(shè)定好的異常流量閾值判定該數(shù)據(jù)簇是否為異常流量數(shù)據(jù)簇，從而達(dá)到異常流量的檢測目的?？蚣苤?，訓(xùn)練模型部分用于生成正常流量數(shù)據(jù)簇模型，將在線檢測部分的不確定數(shù)據(jù)根據(jù)聚類結(jié)果來判別正常數(shù)據(jù)和異常數(shù)據(jù)，之后將確定為異常的流量數(shù)據(jù)送入異常流量數(shù)據(jù)集，改進(jìn)實時監(jiān)測模塊的檢測模型，在下一輪的數(shù)據(jù)檢測時能夠更好檢測出異常行為。

2 網(wǎng)絡(luò)流量的實際測量和預(yù)測

2.1 網(wǎng)絡(luò)流量測量與數(shù)據(jù)的正規(guī)化

為了對神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)流量預(yù)測中的效果進(jìn)行分析， 我們首先進(jìn)行了網(wǎng)絡(luò)流量的實際測量。在我們的研究工作中，我們是在某大學(xué)校園網(wǎng)的中心交換機(jī)上進(jìn)行流量測量的，流量統(tǒng)計的間隔時間為5min，所采用的是SNMP協(xié)議。由于是在大學(xué)的校園網(wǎng)上測量，星期一至星期五網(wǎng)絡(luò)活動較頻繁，所測量到的數(shù)據(jù)變化范圍較大， 最小值和最大值之間相差近3個數(shù)量級。

2.2 網(wǎng)絡(luò)流量的隨機(jī)模擬

用 Trous 算法對網(wǎng)絡(luò)流量進(jìn)行分解采用 Trous算法對實際測試到的網(wǎng)絡(luò)流量時間序列進(jìn)行分解.本文以 Berkeley 實驗室 1994 年在廣域網(wǎng)上監(jiān)測到的數(shù)據(jù)作為原始網(wǎng)絡(luò)流量 .從原始數(shù)據(jù)中取得 1 024 s 的樣本數(shù)據(jù)（ 包的統(tǒng)計時間尺度為1 s） ， S k 進(jìn)行尺度數(shù)為3 的變換（一般認(rèn)為至多有 lgn 個不同尺度， 其中為序列長度）。

3 流量預(yù)測結(jié)果

我們進(jìn)行網(wǎng)絡(luò)流量實際預(yù)測時，具體做法是：選擇某個星期二的一整天24，流量統(tǒng)計的間隔時間是5min，共288個數(shù)據(jù)。由于早上才上班，所以主要考慮8點（即第96個時刻）后的預(yù)測情況。使用式（1）對原始數(shù)據(jù)正規(guī)化后， 再對正規(guī)化數(shù)據(jù)進(jìn)行訓(xùn)練， 對下周星期二的流量數(shù)據(jù)提前一步做預(yù)測。預(yù)測時采用邊學(xué)習(xí)邊預(yù)測的方式，滑動時間窗口為15，即每次預(yù)測前都學(xué)習(xí)前15個時刻的流量數(shù)據(jù)。我們主要考察FIR過濾器的階取不同值時，對預(yù)測結(jié)果的影響。

4 結(jié)束語

隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)中異常流量的檢測必然成為最主要的安全手段之一，如何面對大數(shù)據(jù)時代下的異常流量進(jìn)行高效性的檢測，是今后將長期研究的問題。本文通過提出一種將機(jī)器學(xué)習(xí)算法和網(wǎng)絡(luò)流量分析技術(shù)相結(jié)合的方法，設(shè)計一套對網(wǎng)絡(luò)異常流量。進(jìn)行檢測的系統(tǒng)框架，使其面對大數(shù)據(jù)流量時也能保持高效準(zhǔn)確的檢測，為網(wǎng)絡(luò)異常流量檢測問題提供了新的思路。

參考文獻(xiàn)

[1]羅智慧.網(wǎng)絡(luò)安全流量分析關(guān)鍵技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用.2020（1）：17-18.

[2]Aimin Sang ， San- Qi Li.A predictability analysis of network traffic[J].Computer Networks ， 2002 ; 39 （ 4 ） ： 329～345

[3]A Adas.Traffic models in broadband networks[J].IEEE Communica-tions Magazine ， 1997 ; 35 （ 7 ） ： 82～8

基金項目：2020年安徽省教育廳關(guān)高等學(xué)校省級質(zhì)量工程項目，課程思政項目（編號：2020szsfkc1004）;

2020年校級質(zhì)量工程線下課程（編號：szxy2020xxkc07）;2020年宿州學(xué)院專創(chuàng)融合重點課程建設(shè)項目（編號：szxy2020zckc22）;2020年校級質(zhì)量工程項目（編號：szxy2020xnfz02）.