對(duì)互聯(lián)網(wǎng)流量分析技術(shù)研究

李炎東 張影

摘 要：隨著硬件設(shè)施的提高，電子計(jì)算機(jī)技術(shù)的進(jìn)步，互聯(lián)網(wǎng)得到了快速的普及，互聯(lián)網(wǎng)幾乎覆蓋了各行各業(yè)?；ヂ?lián)網(wǎng)業(yè)務(wù)越來越多，承載的業(yè)務(wù)量也是呈爆發(fā)式發(fā)展，這時(shí)就需要我們對(duì)互聯(lián)網(wǎng)流量進(jìn)行準(zhǔn)確科學(xué)的測(cè)量和深入分析研究，制定科學(xué)的技術(shù)支持，拓展互聯(lián)網(wǎng)應(yīng)用潛力，縮減互聯(lián)網(wǎng)流量成本。本文就此問題展開討論，首先對(duì)我國(guó)目前的互聯(lián)網(wǎng)流量應(yīng)用的分析技術(shù)現(xiàn)狀進(jìn)行了深入分析，接著深入探討了具體的技術(shù)解決方案。

關(guān)鍵詞：互聯(lián)網(wǎng)；流量分析；技術(shù)研究

我國(guó)的互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展特別快速，并且規(guī)模也在迅速發(fā)展，涉及的行業(yè)也越來越多，結(jié)構(gòu)也日趨繁雜，互聯(lián)網(wǎng)流量快速增多，在這種形式下必須有一個(gè)科學(xué)高效的互聯(lián)網(wǎng)業(yè)務(wù)流量監(jiān)測(cè)系統(tǒng)來對(duì)整個(gè)互聯(lián)網(wǎng)上承載的各項(xiàng)業(yè)務(wù)來實(shí)行準(zhǔn)確實(shí)時(shí)的流量與流向監(jiān)控分析，從而進(jìn)一步開發(fā)互聯(lián)網(wǎng)的資源潛力，縮減互聯(lián)網(wǎng)的流量成本，且為互聯(lián)網(wǎng)優(yōu)化整合，詳細(xì)規(guī)劃和業(yè)務(wù)拓展給以基礎(chǔ)支持。

1 互聯(lián)網(wǎng)流量分析技術(shù)的應(yīng)用及現(xiàn)狀

1.1 為互聯(lián)網(wǎng)出口互聯(lián)鏈路的設(shè)置提供決策支持

經(jīng)過長(zhǎng)期對(duì)互聯(lián)網(wǎng)的出口流量以及流向的分析研究，能夠看出互聯(lián)網(wǎng)的內(nèi)部用戶和其他一些外部互聯(lián)網(wǎng)的訪問情況，這樣我們就可以合理的有針對(duì)性的選擇和其他網(wǎng)絡(luò)運(yùn)營(yíng)商的互聯(lián)方式，從而達(dá)到節(jié)約成本提高效率。

1.2 掌握用戶對(duì)其他運(yùn)營(yíng)商的訪問情況

認(rèn)真研究和探討網(wǎng)內(nèi)用戶對(duì)其他外部互聯(lián)網(wǎng)的訪問業(yè)務(wù)特點(diǎn)，以及研究其主要流量的去向，能夠掌握每位用戶對(duì)互聯(lián)網(wǎng)的興趣點(diǎn)在哪里，可以找到最熱門最常用的熱點(diǎn)信息，能夠建成符合實(shí)際要求滿足用戶需求的互聯(lián)網(wǎng)內(nèi)容，減少互聯(lián)鏈路的巨大壓力。

1.3 評(píng)估分支互聯(lián)網(wǎng)的成本和價(jià)值

經(jīng)過對(duì)互聯(lián)網(wǎng)流量的多少，去向，以及這些內(nèi)容的組成，充分了解每個(gè)支路網(wǎng)絡(luò)所占據(jù)的帶寬情形，進(jìn)而知道其所占用的互聯(lián)網(wǎng)成本，這樣就可以開展有針對(duì)性的業(yè)務(wù)，了解其進(jìn)展情況，最后做出價(jià)值評(píng)估。

1.4 提供主要應(yīng)用以及大客戶統(tǒng)計(jì)分析

了解和分析重大客戶以及主要應(yīng)用的流量狀態(tài)可以有助于互聯(lián)網(wǎng)帶寬的成本分析和研究，有利于在互聯(lián)網(wǎng)的服務(wù)質(zhì)量以及互聯(lián)網(wǎng)成本之間找到最好的平衡點(diǎn)。

1.5 制定長(zhǎng)時(shí)間的監(jiān)控，掌握特定流量，幫助網(wǎng)絡(luò)管理人員分析和掌握網(wǎng)絡(luò)流量模型

制定一個(gè)長(zhǎng)期監(jiān)控措施，對(duì)于特定流量進(jìn)行特別監(jiān)控，對(duì)取得的數(shù)據(jù)進(jìn)行分析和研究，幫助網(wǎng)絡(luò)管理人員分析和掌握網(wǎng)絡(luò)流量模型，及時(shí)的了解當(dāng)前互聯(lián)網(wǎng)的應(yīng)用狀況，但發(fā)現(xiàn)異常時(shí)能夠馬上發(fā)表警訊，在故障事故發(fā)生之前或者是事態(tài)擴(kuò)大爆發(fā)之前就能夠采取有效的防治措施，保證整個(gè)網(wǎng)絡(luò)的安全，提高整個(gè)互聯(lián)網(wǎng)的服務(wù)質(zhì)量和效能。

1.6 經(jīng)常實(shí)行互聯(lián)網(wǎng)異常通信檢測(cè)，主要防治分布式拒絕服務(wù)的攻擊以及大范圍的蠕蟲病毒發(fā)作

通過實(shí)時(shí)檢測(cè)，要能夠及時(shí)快速的發(fā)現(xiàn)互聯(lián)網(wǎng)中出現(xiàn)的異常流量，并對(duì)這些異常流量進(jìn)行研究和分類，找到其異常的原因和這些異常流量所具備的基礎(chǔ)屬性，并把它們和互聯(lián)網(wǎng)通信正?；€作比較，迅速準(zhǔn)確的判斷它是不是互聯(lián)網(wǎng)惡意攻擊，并明確這種攻擊的類型，并對(duì)這次攻擊所帶來的危害結(jié)果以及對(duì)互聯(lián)網(wǎng)形成的影響范圍進(jìn)行大致的確定，并根據(jù)攻擊的形式和特點(diǎn)制定有針對(duì)性的措施和防治技術(shù)手段，來消滅這種攻擊或讓攻擊消失在萌芽狀態(tài)。

2 互聯(lián)網(wǎng)流量分析技術(shù)研究

2.1 基于NetStream技術(shù)方案

NetStream是華為公司基于“流”的概念，定義的一種用于路由器或交換機(jī)輸出互聯(lián)網(wǎng)流量的統(tǒng)計(jì)數(shù)據(jù)方法。路由器或交換機(jī)對(duì)通過其的IP數(shù)據(jù)包進(jìn)行統(tǒng)計(jì)和分析，并上報(bào)給網(wǎng)流采集器，網(wǎng)流采集器把搜集的數(shù)據(jù)包及統(tǒng)計(jì)數(shù)據(jù)傳送到網(wǎng)流分析器，經(jīng)合并后存入數(shù)據(jù)庫進(jìn)行分析處理。

2.2 基于NetFlow技術(shù)方案

NetFlow是Cisco公司開發(fā)的技術(shù)，它既是一種交換技術(shù)，又是一種流量分析技術(shù)，同時(shí)也是業(yè)界主流的計(jì)費(fèi)技術(shù)之一。NetFlow因?yàn)槠浼夹g(shù)和Cisco互聯(lián)網(wǎng)產(chǎn)品的市場(chǎng)占有率的優(yōu)勢(shì)，而成為當(dāng)今主流的流量分析技術(shù)。鐵通北京分公司本次制定的基于NetFlow技術(shù)互聯(lián)網(wǎng)流量采集方案是通過增加一臺(tái)配置互聯(lián)網(wǎng)分析模塊實(shí)現(xiàn)的。NAM是Cisco公司集成的通信流監(jiān)視解決方案，它使用交換端口分析器或遠(yuǎn)程SPAN來接收來自物理端口、虛擬LAN、以太通道和NetFlow數(shù)據(jù)輸出幀的數(shù)據(jù)。NE80A、NE80B所有的互聯(lián)網(wǎng)出口均通過Cisco6506橋接到出口網(wǎng)關(guān)設(shè)備上，互聯(lián)網(wǎng)分析模塊NAM使用流量鏡像機(jī)制SPAN，從Cisco6506主干上獲得數(shù)據(jù)來源，采集NetFlow數(shù)據(jù)，或者從交換引擎的統(tǒng)計(jì)數(shù)據(jù)中獲得數(shù)據(jù)來源。由于是通過NAM模塊實(shí)現(xiàn)NetFlow數(shù)據(jù)采集而不是由ISO完成的，因此對(duì)Cisco6506整機(jī)的性能影響非常小。

2.3 基于sFlow技術(shù)方案

sFlow技術(shù)采用數(shù)據(jù)流隨機(jī)采樣技術(shù)，可以適應(yīng)超大互聯(lián)網(wǎng)流量環(huán)境下的流量分析，讓用戶詳細(xì)、實(shí)時(shí)地分析互聯(lián)網(wǎng)傳輸流的性能、趨勢(shì)和存在的問題。sFlow不需要在互聯(lián)網(wǎng)各處部署成本昂貴的探測(cè)器。sFlow代理被嵌入在互聯(lián)網(wǎng)交換機(jī)或路由器的ASIC中，對(duì)互聯(lián)網(wǎng)傳輸流進(jìn)行采樣。sFlow管理信息庫控制sFlow代理，后者則捕獲和格式化數(shù)據(jù)包樣本，并將其轉(zhuǎn)發(fā)給一個(gè)中央RFC3176數(shù)據(jù)采集器來生成數(shù)據(jù)報(bào)。以統(tǒng)計(jì)方式對(duì)互聯(lián)網(wǎng)傳輸流采樣，互聯(lián)網(wǎng)管理人員可以在系統(tǒng)范圍內(nèi)觀察互聯(lián)網(wǎng)上的傳輸流、互聯(lián)網(wǎng)安全性和應(yīng)用傳輸流來源。RFC3176沒有增加沉重的互聯(lián)網(wǎng)負(fù)載，這點(diǎn)與基于軟件的專有傳輸流監(jiān)測(cè)方法形成了鮮明對(duì)比。在設(shè)備上sFlow數(shù)據(jù)包采樣工作是一些簡(jiǎn)單的查找，將數(shù)據(jù)編排到數(shù)據(jù)報(bào)中并送入隊(duì)列等待傳輸。