IP網(wǎng)流量分析及應(yīng)用

張立偉

張立偉:鐵通公司網(wǎng)運(yùn)部 工程師 100033 北京

互聯(lián)網(wǎng)業(yè)務(wù)的不斷發(fā)展，使網(wǎng)絡(luò)應(yīng)用已經(jīng)由Web、E-mail、FTP等傳統(tǒng)應(yīng)用向游戲、視頻、即時(shí)通信等新興應(yīng)用類型過渡。持續(xù)增長的網(wǎng)絡(luò)帶寬，日益復(fù)雜的流量成分，寬帶化、業(yè)務(wù)精細(xì)化給IP網(wǎng)絡(luò)的維護(hù)管理帶來了巨大挑戰(zhàn)。IP網(wǎng)絡(luò)是一個(gè)面向無連接的網(wǎng)絡(luò)，相對傳統(tǒng)電信網(wǎng)絡(luò)有著本質(zhì)區(qū)別。為提高客戶對IP網(wǎng)絡(luò)的使用滿意度，網(wǎng)管人員要及時(shí)了解自身網(wǎng)絡(luò)的流量狀況，包括流量變化趨勢、流量來源和目的、流量構(gòu)成等關(guān)鍵信息，以便實(shí)施合理的流量控制策略和網(wǎng)絡(luò)優(yōu)化，實(shí)現(xiàn)IP網(wǎng)的可管、可控，這就需要進(jìn)行IP網(wǎng)流量分析。

1 流量分析內(nèi)容

IP網(wǎng)流量分析是對網(wǎng)絡(luò)流量進(jìn)行采集、過濾、存儲、識別、分析和報(bào)表等操作。精細(xì)的流量分析能讓網(wǎng)管人員清楚掌握IP網(wǎng)絡(luò)流量、流向、流量構(gòu)成和用戶行為，一般包含以下內(nèi)容。

1．網(wǎng)絡(luò)流量分析。對網(wǎng)絡(luò)中鏈路流量的監(jiān)控和統(tǒng)計(jì)，掌握各鏈路流量的變化趨勢，對網(wǎng)絡(luò)鏈路擴(kuò)容提供數(shù)據(jù)依據(jù)。

2．網(wǎng)絡(luò)流向分析。對網(wǎng)絡(luò)中IP地址或IP地址段間的流量進(jìn)行監(jiān)控和統(tǒng)計(jì)，掌握各節(jié)點(diǎn)或網(wǎng)絡(luò)間的流量變化趨勢，為網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和擴(kuò)容提供依據(jù)。

3．流量構(gòu)成分析。檢測網(wǎng)絡(luò)協(xié)議或數(shù)據(jù)包特征，掌握流量中各種業(yè)務(wù)應(yīng)用的分布，為流量控制和管理提供依據(jù)。

4．用戶行為分析。對用戶訪問網(wǎng)絡(luò)的時(shí)間、次數(shù)、地址、業(yè)務(wù)類型等基本數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，從中發(fā)現(xiàn)用戶使用互聯(lián)網(wǎng)業(yè)務(wù)的趨勢和規(guī)律，為市場發(fā)展提供指引數(shù)據(jù)，對用戶行為進(jìn)行管理和導(dǎo)向。

2 流量分析方式

IP網(wǎng)流量分析是基于網(wǎng)絡(luò)中流量數(shù)據(jù)進(jìn)行的，流量數(shù)據(jù)所包含的信息決定了分析的維度和最終結(jié)果，在網(wǎng)絡(luò)管理中通常通過以下方式進(jìn)行流量數(shù)據(jù)采集和分析。

2.1 基于SNMP的流量分析

SNMP(Simple Network Management Protocal)是一種廣為使用的網(wǎng)絡(luò)協(xié)議，基于SNMP的網(wǎng)絡(luò)管理工具可以實(shí)現(xiàn)網(wǎng)絡(luò)一、二層的流量監(jiān)控，主要從物理端口和鏈路層了解流量的狀態(tài)，但采集到的流量信息較為簡單，通常只含有網(wǎng)絡(luò)端口進(jìn)出的數(shù)據(jù)包數(shù)和字節(jié)數(shù)，無法對進(jìn)出的流量進(jìn)行流向分析，更無法區(qū)分網(wǎng)絡(luò)層數(shù)據(jù)流量中各種不同類型業(yè)務(wù)在流量中的分布狀況。圖1顯示了基于SNMP獲得的鏈路流量圖。

圖1 SNMP流量圖

2.2 基于流的流量分析

目前基于流的分析技術(shù)應(yīng)用較廣泛的是Net-Flow。NetFlow是Cisco公司開發(fā)的一套網(wǎng)絡(luò)流量監(jiān)測技術(shù)，運(yùn)行在路由器中動態(tài)地收集經(jīng)過路由器的流信息，并向指定地址傳送這些數(shù)據(jù)。NetFlow分析IP數(shù)據(jù)包的7個(gè)屬性來區(qū)分網(wǎng)絡(luò)中不同的數(shù)據(jù)流，即數(shù)據(jù)包的源IP地址、目標(biāo)IP地址、源端口號、目標(biāo)端口號、第三層協(xié)議類型、服務(wù)類型和邏輯端口。對區(qū)分出的每個(gè)數(shù)據(jù)流NetFlow可以進(jìn)行單獨(dú)地跟蹤和計(jì)量，記錄其傳送方向和目的地等流向特性，統(tǒng)計(jì)其起始和結(jié)束時(shí)間，包含的數(shù)據(jù)包數(shù)量和字節(jié)數(shù)量等流量信息。

表1顯示了NetFlow數(shù)據(jù)格式，數(shù)據(jù)中Pr為協(xié)議類型，06表示TCP，11表示UDP;端口0050通常認(rèn)為是WWW業(yè)務(wù)，端口0035為DNS業(yè)務(wù)。

表1 NetFlow數(shù)據(jù)格式

基于Netflow可以實(shí)現(xiàn)網(wǎng)絡(luò)三、四層的流量分析，使網(wǎng)管人員能獲取網(wǎng)絡(luò)中的IP流信息，這些信息解答了是誰、在什么時(shí)間、通過什么端口、使用何種協(xié)議、訪問了誰、流量是多少等問題，可以呈現(xiàn)網(wǎng)絡(luò)中的流量、流向及協(xié)議分布的具體情況。

基于流的分析和處理與最初簡單的流量統(tǒng)計(jì)相比，已經(jīng)向著流量流向和用戶行為分析的方向發(fā)展，但NetFlow流量分析方式只能分析IP包的四層以下內(nèi)容，雖然可以通過網(wǎng)絡(luò)協(xié)議和端口對業(yè)務(wù)類型進(jìn)行初步識別，但面對網(wǎng)絡(luò)中層出不窮的應(yīng)用類型，仍無法實(shí)現(xiàn)業(yè)務(wù)的精確識別，更不能應(yīng)對基于共用端口、隨機(jī)端口甚至采用加密方式進(jìn)行傳輸?shù)臉I(yè)務(wù)。

2.3 基于DPI的流量分析

DPI是深度包檢測 (Deep Packet Inspection)的簡稱，DPI技術(shù)在獲取數(shù)據(jù)包基本信息的同時(shí)，還增加了對應(yīng)用層內(nèi)容分析，是一種基于應(yīng)用層的流量檢測技術(shù)。DPI技術(shù)可以獲取寄存在應(yīng)用層中的業(yè)務(wù)特征信息，達(dá)到識別網(wǎng)絡(luò)流量中各種業(yè)務(wù)應(yīng)用的目的。DPI對應(yīng)用特征的分析如圖2所示。

圖2 DPI對應(yīng)用特征的分析

DPI技術(shù)通常采用如下的數(shù)據(jù)包分析方法。

1．特征字的識別技術(shù)。不同的應(yīng)用通常會采用不同的協(xié)議，而各種協(xié)議都有其特殊的特征，可能是特定的端口、特定的字符串或者特定的Bit序列?；凇疤卣髯帧钡淖R別技術(shù)通過對特定數(shù)據(jù)報(bào)文中的特征信息檢測以確定業(yè)務(wù)流承載的應(yīng)用和業(yè)務(wù)，如Bittorrent協(xié)議的識別。

2．應(yīng)用層網(wǎng)關(guān)識別技術(shù)。有些業(yè)務(wù)的控制流和業(yè)務(wù)流是分離的，業(yè)務(wù)流沒有任何特征。這就需要由應(yīng)用層網(wǎng)關(guān)技術(shù)識別出控制流，并根據(jù)控制流協(xié)議選擇特定的應(yīng)用層網(wǎng)關(guān)對業(yè)務(wù)流進(jìn)行解析，從而識別出相應(yīng)的業(yè)務(wù)，如SIP、H323協(xié)議的識別。

3．行為模式識別技術(shù)。針對一些無法根據(jù)協(xié)議判斷的業(yè)務(wù)，行為模式識別技術(shù)基于對用戶實(shí)施行為的分析，判斷出用戶的應(yīng)用類型。在實(shí)施行為模式識別之前，必須先對用戶的各種行為進(jìn)行研究，并在此基礎(chǔ)上建立行為識別模型，如垃圾郵件的識別。

DPI技術(shù)實(shí)現(xiàn)了對應(yīng)用層凈荷的特征檢測，因此能夠基本準(zhǔn)確地呈現(xiàn)網(wǎng)絡(luò)流量構(gòu)成，并使用戶行為分析成為可能，是實(shí)現(xiàn)精細(xì)化IP網(wǎng)管理的關(guān)鍵技術(shù)。

2.4 流量分析方式的比較

SNMP、NetFlow、DPI三種流量分析方式在各層級的網(wǎng)絡(luò)均有應(yīng)用，不同技術(shù)在實(shí)現(xiàn)原理和方式上的不同，使其有著固有的優(yōu)勢和局限，表2進(jìn)行了對比說明。

從三種方式的對比來看，無論是基于SNMP協(xié)議進(jìn)行一二層的流量監(jiān)控，還是基于NetFlow實(shí)現(xiàn)網(wǎng)絡(luò)第三、四層的流量監(jiān)控，都僅僅停留在分析端口流量、匯總五元組流信息的層面上，無法區(qū)分現(xiàn)網(wǎng)中運(yùn)行的豐富業(yè)務(wù)類型和用戶群體行為，已不能滿足當(dāng)前對網(wǎng)絡(luò)流量精細(xì)分析的要求。而DPI技術(shù)能進(jìn)行數(shù)據(jù)包應(yīng)用層內(nèi)容的分析，根據(jù)內(nèi)容特征識別應(yīng)用類型，最終實(shí)現(xiàn)流量構(gòu)成和用戶行為分析。

表2 流量分析方式對比表

3 DPI流量分析的應(yīng)用探討

IP網(wǎng)業(yè)務(wù)的迅猛發(fā)展，用戶的需求及寬帶應(yīng)用的日益多樣化不僅改變了傳統(tǒng)互聯(lián)網(wǎng)的應(yīng)用模式和用戶行為模式，也對IP網(wǎng)的運(yùn)營管理帶來了深刻的影響，為實(shí)現(xiàn)P2P、流媒體等帶寬消耗性應(yīng)用的分析和管理，全面準(zhǔn)確地掌握各類流量在省際、省干以及網(wǎng)間出口各層面的確切分布，網(wǎng)絡(luò)管理者都在研究和部署DPI技術(shù)。

3.1 DPI流量分析系統(tǒng)部署

理論上流量分析系統(tǒng)的部署是比較靈活的，可以部署在網(wǎng)絡(luò)各層面的鏈路上，如網(wǎng)間鏈路、省網(wǎng)上行鏈路、城域網(wǎng)上行鏈路等。根據(jù)監(jiān)測范圍、投資成本以及演進(jìn)等因素，可部署的網(wǎng)絡(luò)位置也不同。流量分析系統(tǒng)部署位置如圖3所示。

圖3 流量分析系統(tǒng)部署位置

在網(wǎng)間鏈路部署流量分析系統(tǒng)，其優(yōu)點(diǎn)主要是能夠監(jiān)控到全網(wǎng)的網(wǎng)間流量情況，投資相對較少并且易管理;缺點(diǎn)是無法獲取網(wǎng)內(nèi)流量，對于網(wǎng)內(nèi)流量、流向及應(yīng)用的業(yè)務(wù)無法分析。

在省網(wǎng)上行鏈路部署流量分析系統(tǒng)，其優(yōu)點(diǎn)是能實(shí)現(xiàn)對網(wǎng)內(nèi)省際流量和網(wǎng)間流量的分析，了解IP網(wǎng)的整體流量分布、業(yè)務(wù)運(yùn)行態(tài)勢等信息;缺點(diǎn)是投資相對較大，不能很好地實(shí)現(xiàn)寬帶用戶行為分析和相應(yīng)的增值業(yè)務(wù)開發(fā)。

在城域網(wǎng)上行鏈路部署流量分析系統(tǒng)，其優(yōu)點(diǎn)是能夠基于用戶信息實(shí)現(xiàn)全面用戶行為分析，并能掌控省內(nèi)、省際、網(wǎng)間流量的整體情況;缺點(diǎn)是投資較大，對管理能力要求較高。

網(wǎng)絡(luò)管理者應(yīng)根據(jù)自身實(shí)際情況，綜合考慮投資成本、平滑演進(jìn)和達(dá)到的效果，合理選擇部署方式。因網(wǎng)間流量存在結(jié)算成本，在流量分析系統(tǒng)部署初期，應(yīng)優(yōu)先考慮網(wǎng)間鏈路部署;后續(xù)應(yīng)逐漸向省網(wǎng)上行鏈路部署方式演進(jìn)，達(dá)到分析整體網(wǎng)絡(luò)流量的目的;隨著流量分析設(shè)備的普及和成本的下降，最終逐步向城域網(wǎng)鏈路下移部署。

3.2 DPI流量分析現(xiàn)網(wǎng)應(yīng)用

基于DPI技術(shù)的流量分析，使IP網(wǎng)成為一個(gè)透明的網(wǎng)絡(luò)，讓鏈路上奔流不息的數(shù)據(jù)包展現(xiàn)在屏幕上并呈現(xiàn)出其運(yùn)行規(guī)律，顯示網(wǎng)絡(luò)上龐大的流量究竟是什么業(yè)務(wù)，是什么人在使用，也讓網(wǎng)管人員能夠進(jìn)一步實(shí)施流量的精細(xì)管理。

3.2.1 流量構(gòu)成分析

通過對應(yīng)用層業(yè)務(wù)特征的識別，能夠分析流量的成分構(gòu)成。圖4顯示了一條鏈路流量中各種類型應(yīng)用所占的比例情況，可以看出這條鏈路中所占比例最大的是2種瀏覽業(yè)務(wù)，其次是P2P視頻、上傳/下載、P2P和流媒體業(yè)務(wù)。流量構(gòu)成分析是流量控制與引導(dǎo)的參考數(shù)據(jù)。

圖4 流量構(gòu)成圖

3.2.2 用戶興趣分析

統(tǒng)計(jì)用戶賬號和訪問網(wǎng)站地址，可以對用戶興趣進(jìn)行分析，可以將興趣分為不同類別，如網(wǎng)絡(luò)視頻、游戲等，然后將網(wǎng)站地址與這些類別對應(yīng)，最后按類別統(tǒng)計(jì)用戶應(yīng)用情況。圖5可以看出這個(gè)用戶群的興趣主要集中在網(wǎng)絡(luò)視頻、門戶搜索和游戲的應(yīng)用。用戶興趣分析是內(nèi)容源引入、用戶質(zhì)量提升的重要依據(jù)?；贒PI技術(shù)獲取的原始數(shù)據(jù)包含了網(wǎng)絡(luò)流量的基本特征，對其進(jìn)行深入分析將可獲得更多的信息，實(shí)現(xiàn)了網(wǎng)絡(luò)流量可視、應(yīng)用可視、用戶行為可視。

圖5 用戶興趣分布圖

4 結(jié)束語

流量分析系統(tǒng)的實(shí)際應(yīng)用中還應(yīng)考慮與其他支撐系統(tǒng)進(jìn)行對接和配合，充分利用既有的網(wǎng)絡(luò)和用戶等相關(guān)的數(shù)據(jù)，實(shí)現(xiàn)系統(tǒng)間數(shù)據(jù)的對應(yīng)和交互，使流量分析數(shù)據(jù)獲得更多的維度和準(zhǔn)確度。

總之，隨著網(wǎng)絡(luò)業(yè)務(wù)日趨豐富，網(wǎng)絡(luò)流量高速增長，深入的IP網(wǎng)流量分析技術(shù)已成為挖掘現(xiàn)有網(wǎng)絡(luò)資源潛力，提高網(wǎng)絡(luò)運(yùn)維水平的重要手段。對IP網(wǎng)上各類基于業(yè)務(wù)或用戶的應(yīng)用感知識別，對用戶行為特征的細(xì)化分析，是實(shí)現(xiàn)網(wǎng)絡(luò)可管理、可運(yùn)營的基礎(chǔ)。

［1］ 任亞寧，吳鵬沖，黃小紅，馬嚴(yán)．基于NetFlow的協(xié)議識別［J］ ．中國科技論文在線，2008(3).

［2］ 馬科．業(yè)務(wù)識別與管理系統(tǒng)和網(wǎng)絡(luò)流量的管理．現(xiàn)代電信科技，2008(4).

［3］ 趙國峰，吉朝明，徐川．Internet流量識別技術(shù)研究［J］ ．小型微型計(jì)算機(jī)系統(tǒng)，2010(8).

［4］ 陳磊．IP網(wǎng)絡(luò)流量的識別與管理［J］ ．電信科學(xué)，2009(2).