一種網(wǎng)間異常流量診斷處置方案

廖艷娟，黃卓華，王立軍

(1 中國移動通信集團(tuán)設(shè)計院有限公司廣東分公司，廣州 510623; 2 中國移動鐵通有限公司廣東分公司，廣州 510080）

近年來，網(wǎng)絡(luò)信息技術(shù)日新月異，云計算、大數(shù)據(jù)等應(yīng)用蓬勃發(fā)展，中國互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)市場迎來了巨大的發(fā)展機(jī)遇，但無序發(fā)展的苗頭也隨之顯現(xiàn)。為進(jìn)一步規(guī)范市場秩序，強(qiáng)化網(wǎng)絡(luò)信息安全管理，工業(yè)和信息化部在2017年初發(fā)布了信管函[2017]32號文，在全國范圍內(nèi)對互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)市場開展清理規(guī)范工作。

IDC業(yè)務(wù)的發(fā)展不僅是中國移動一個新的收入增長點，同時能夠引入豐富的內(nèi)容資源。使得用戶在發(fā)起內(nèi)容訪問時不用出網(wǎng)就可直接從IDC處獲得，用戶的訪問速度大大提升、用戶體驗有效提升，并減少了互聯(lián)互通流量，降低網(wǎng)間結(jié)算成本。因而 IDC業(yè)務(wù)作為重要業(yè)務(wù)，網(wǎng)間流量主要是從CMNet骨干網(wǎng)間出口疏通。而近兩年來中國移動多個省公司都發(fā)現(xiàn)，部分IDC客戶存在利用從移動低價租用的大帶寬用以發(fā)展第三方家寬、違規(guī)轉(zhuǎn)租帶寬等違規(guī)行為或者存在內(nèi)容資源調(diào)度策略不合理的行為。從而造成大量網(wǎng)間流量從CMNet骨干網(wǎng)出口疏通，致使出口流量擁堵、質(zhì)量不佳等問題。而本文中網(wǎng)間異常流量指的就是上述行為所導(dǎo)致的網(wǎng)間大流量。

移動某省公司IDC出口均已部署DPI設(shè)備，達(dá)到全覆蓋監(jiān)控。IDC出口的流量已被全部采集，目前缺少的是準(zhǔn)確有效的方案精確區(qū)分網(wǎng)間異常流量和精準(zhǔn)定位網(wǎng)間異常流量產(chǎn)生的原因。本文提出了一種基于DPI技術(shù)的IDC業(yè)務(wù)網(wǎng)間異常流量的診斷處置方案。單IP地址的流量行為特征分析技術(shù)手段，能夠以單個IP地址為粒度精確區(qū)分流量的業(yè)務(wù)類型。針對不同業(yè)務(wù)類型和應(yīng)用場景確定了多種處置方案。

1 診斷處置方案

1.1 技術(shù)手段：單IP地址流量行為特征分析

1.1.1 DPI分析IDC客戶的請求響應(yīng)流量

圖1 中國移動統(tǒng)一DPI應(yīng)用場景

中國移動統(tǒng)一DPI設(shè)備按照部署位置的不同，可以分為5個應(yīng)用場景，如圖1所示。本文適用的是IDC出口的場景，指IDC連接省網(wǎng)/骨干網(wǎng)的出口，即IDC出口路由器與外部承載網(wǎng)絡(luò)之間的鏈路。移動某省公司IDC出口現(xiàn)網(wǎng)部署1×100 GE DPI設(shè)備、4×10 GE DPI設(shè)備上百臺，DPI采集服務(wù)器上百臺，其它服務(wù)器近兩百臺，包括后臺服務(wù)器、WLAN服務(wù)器等，具有較強(qiáng)的DPI流量分析能力。

資源提供型業(yè)務(wù)指的是向公眾用戶提供網(wǎng)絡(luò)內(nèi)容服務(wù)的業(yè)務(wù)，例如網(wǎng)站。IDC業(yè)務(wù)屬于資源提供型業(yè)務(wù)，請求響應(yīng)流量中不應(yīng)該存在非資源提供型業(yè)務(wù)的業(yè)務(wù)特征，如視頻觀看、移動終端即時通信等。通過DPI技術(shù)分析IDC客戶的請求響應(yīng)流量是否具有非資源提供型特征能夠判斷IDC客戶是否存在發(fā)展第三方家寬或者違規(guī)轉(zhuǎn)租帶寬等違規(guī)行為。這里的請求響應(yīng)流量，指的是IDC客戶向外發(fā)出請求以及外部響應(yīng)IDC請求所產(chǎn)生的流量，即圖2中紅色線所代表的流量。

1.1.2 IDC網(wǎng)間異常流量模型關(guān)

鍵指標(biāo)體系(如表1所示）

本文提出了一個關(guān)鍵指標(biāo)體系，包括移動終端請求占比、視頻行為次數(shù)、移動終端即時通信次數(shù)3個指標(biāo)。通過判斷這些指標(biāo)是否超過閾值來確定請求響應(yīng)流量中是否存在相應(yīng)的行為特征。指標(biāo)的統(tǒng)計均是基于DPI技術(shù)，通過XDR日志和特征庫匹配，匹配后數(shù)據(jù)再進(jìn)行匯聚處理，根據(jù)記錄數(shù)統(tǒng)計各個指標(biāo)。考慮到DPI分析可能存在的誤差以及視頻測試行為等情況，通過對6個IDC客戶樣本的學(xué)習(xí)確定了每個關(guān)鍵指標(biāo)的閾值。

1.1.3 IDC網(wǎng)間異常流量模型（如表2所示）

圖2 DPI采集IDC客戶流量示意圖

表1 IDC網(wǎng)間異常流量模型關(guān)鍵指標(biāo)

表2 IDC網(wǎng)間異常流量模型

視頻觀看行為、移動終端即時通信行為屬于非資源提供型業(yè)務(wù)的行為特征，同時考慮到可能存在的CDN代理行為特征，對于單個IP地址通過關(guān)聯(lián)3個關(guān)鍵指標(biāo)建立IDC網(wǎng)間異常流量模型。IP地址行為特征可定性為非資源提供型特征、CDN代理行為特征和資源提供型特征。

1.2 診斷處置方法及流程：三步診斷法

因為存在網(wǎng)間異常流量行為的IDC客戶只占少數(shù)，同時考慮到IDC客戶全量IP地址全量話單的分析需要消耗大量的計算資源，因此有必要建立一套準(zhǔn)確有效的診斷方法及工作流程，避免資源的浪費。用一種更為簡單有效的方法先對IDC客戶進(jìn)行初診，初診為疑似含有異常流量的客戶再做進(jìn)一步的IP地址行為特征分析。

1.2.1 核心指標(biāo)：網(wǎng)間回源吐出比

一般來說IDC客戶的網(wǎng)間回源流量是十分有限的。但是如果IDC客戶存在違規(guī)轉(zhuǎn)租帶寬或者是調(diào)度策略不合理等行為，都會使得CMNet骨干出口網(wǎng)間回源流量明顯增加。綜合考慮IDC客戶的吐出流量，本文提出了網(wǎng)間回源吐出比指標(biāo)，用于初步評價IDC客戶網(wǎng)間回源流量的合理性，同時也是判斷資源提供型業(yè)務(wù)是否存在調(diào)度策略不合理問題的評判標(biāo)準(zhǔn)。IDC客戶CMNet骨干網(wǎng)網(wǎng)間流量流向示意如圖3所示。

（1） 指標(biāo)定義：CMNet骨干網(wǎng)出口網(wǎng)間回源流量與吐出流量的比值。一般情況下網(wǎng)間回源流量遠(yuǎn)大于網(wǎng)間請求流量，所以計算時將電信或聯(lián)通等互聯(lián)單位流向移動網(wǎng)絡(luò)的流量均視為網(wǎng)間回源流量；吐出流量指的是IDC客戶的上行流量。

（2） 指標(biāo)算法：網(wǎng)間回源吐出比=CMNet骨干出口網(wǎng)間回源流量/吐出流量×100%，即圖3中流量2除以流量1′。

圖3 IDC客戶CMNet骨干網(wǎng)網(wǎng)間流量流向示意圖

（3） 指標(biāo)閾值：1.5%。通過對TOP20網(wǎng)站的研究分析確定閾值，超出閾值則判定IDC客戶可能含有網(wǎng)間異常流量。

1.2.2 IDC客戶網(wǎng)間異常流量診斷處置流程：三步診斷法

如圖4所示，提出“三步診斷法”：客戶網(wǎng)間流量初診、IP地址行為特征透視、資源提供型業(yè)務(wù)網(wǎng)間流量復(fù)診，并針對診斷出的不同類型的網(wǎng)間異常流量采取不同的處置方案。

（1）IDC客戶網(wǎng)間流量初診。監(jiān)測IDC客戶一周，計算網(wǎng)間回源吐出比。如果網(wǎng)間回源吐出比超1.5%，則說明客戶流量疑似含有網(wǎng)間異常流量，不超1.5%則暫定客戶流量不含網(wǎng)間異常流量。對于疑似網(wǎng)間異常流量的客戶需對其IP地址的流量行為特征進(jìn)一步分析。

（2）IP地址流量行為特征透視。對于第1步初診確定的疑似含有網(wǎng)間異常流量的IDC客戶，利用DPI以IP地址為粒度分析請求響應(yīng)流量的行為特征，區(qū)分其是資源提供型業(yè)務(wù)還是非資源提供型業(yè)務(wù)。對于非資源提供型業(yè)務(wù)，將IP地址段將疏通至專設(shè)出口（處置方案1）。對于資源提供型業(yè)務(wù)需對其網(wǎng)間流量進(jìn)行復(fù)診。

（3）資源提供型業(yè)務(wù)網(wǎng)間流量復(fù)診。對于第2步確定的資源提供型業(yè)務(wù)，計算其網(wǎng)間回源吐出比。若網(wǎng)間回源吐出比大于1.5%，判定為含有網(wǎng)間異常流量；若不超過1.5%則認(rèn)為無網(wǎng)間異常流量。對于含異常流量的IP地址段，結(jié)合第2步的行為特征分析，判斷是否為代理行為資源提供型業(yè)務(wù)。若為代理行為資源提供型業(yè)務(wù)，則將回源IP地址段疏通至普通出口（處置方案6）；若不是代理行為資源提供型業(yè)務(wù)，則根據(jù)具體情況從處置方案2～5中選取一種或者組合多種處置方案進(jìn)行處理。

1.2.3 多場景處置方案集

圖4 IDC客戶網(wǎng)間異常流量診斷流程

表3 IDC網(wǎng)間異常流量處置方案集

本文總共規(guī)定了6種處置方案，如表3所示。對于本就不應(yīng)該存在IDC業(yè)務(wù)中非資源提供型業(yè)務(wù)，將其所有IP地址段疏通至專設(shè)出口。專設(shè)出口不新建不擴(kuò)容，不保證網(wǎng)間業(yè)務(wù)質(zhì)量。網(wǎng)間出口質(zhì)量：CMNet骨干出口＞普通出口＞專設(shè)出口。資源提供型業(yè)務(wù)能夠為移動公眾客戶提供內(nèi)容資源，減少CMNet骨干出口網(wǎng)間流量，因此采取“一事一議” 的原則，根據(jù)具體情況確定處置方案，盡量避免客戶撤出最終導(dǎo)致更大的網(wǎng)間回源流量。

2 方案實際應(yīng)用效果

2.1 總體效果

2017年1～4月采用DPI系統(tǒng)按周依次輪流監(jiān)測IDC客戶，已處置9家IDC客戶的網(wǎng)間異常流量，合計43.75 G。與2016年12月底相比，IDC業(yè)務(wù)網(wǎng)間異常流量清理取得顯著效果。與2016年12月底相比，CMNet骨干出口IDC業(yè)務(wù)回源忙時平均流量下降了71.42%；雖IDC客戶整體IDC吐出流量上漲89%，而網(wǎng)間回源吐出比由1.75%下降至0.13%；優(yōu)質(zhì)出口雖然帶寬有所下降，但是質(zhì)量卻明顯提高，分組丟失率下降75%，時延縮短49%。

2.2 客戶案例

2.2.1 案例1：IDC接入商混有非資源提供型業(yè)務(wù)

IDC接入商從移動獲取帶寬和IP地址等資源后，發(fā)展下游客戶。由于其對下游客戶把控不嚴(yán)，下游客戶除了正常的資源提供型業(yè)務(wù)外，還可能混有非資源提供型業(yè)務(wù)，其自身也沒有手段區(qū)分這些異常流量出來。

案例說明：某公司是IDC接入商，其租用移動200 G IDC帶寬，引入芒果TV，東方財富網(wǎng)等內(nèi)容資源。

診斷情況：周監(jiān)測網(wǎng)間回源吐出比為17%；IP地市行為特征分析發(fā)現(xiàn)14個IP屬于非資源提供型行為，資源提供型業(yè)務(wù)的回源吐出比為8.6%。

處置情況：將其非資源提供型地址段疏通至專設(shè)出口；再由該公司提供承諾函，對資源提供型業(yè)務(wù)整改，將回源吐出比降至1.5%以下。

2.2.2 案例2：資源提供型業(yè)務(wù)內(nèi)容資源調(diào)度策略不合理

CP內(nèi)容資源調(diào)度問題，同樣會導(dǎo)致直接通過集團(tuán)出口從電信和聯(lián)通的源站回源，而不是從具有三線功能的第三方IDC站點回源。

案例說明：某公司租用移動IDC帶寬2G，引入美圖網(wǎng)等內(nèi)容資源。

診斷情況：周監(jiān)測網(wǎng)間回源吐出比為35%；IP地址行為特征分析發(fā)現(xiàn)其全部為資源提供型業(yè)務(wù)，入境流量基本都來自于美圖網(wǎng)。原因是客戶回源控制技術(shù)出現(xiàn)問題，導(dǎo)致從他網(wǎng)節(jié)點進(jìn)行回源，而不是從網(wǎng)內(nèi)的其它節(jié)點回源。

處置情況：通知客戶在規(guī)定時間內(nèi)調(diào)整回源策略；次周客戶進(jìn)行調(diào)整后網(wǎng)間回源吐出比降至0.08%。

3 總結(jié)

本文提出基于DPI的核心技術(shù)手段——IP地址流量行為特征分析技術(shù)，能夠?qū)γ總€IP地址提供的業(yè)務(wù)類型進(jìn)行準(zhǔn)確定性。通過三步診斷法，準(zhǔn)確有效地診斷異常流量的原因，精確區(qū)分出不同業(yè)務(wù)類型的網(wǎng)間異常流量，采取多場景的處置方案。從而能夠有效地降低網(wǎng)間出口流量、提升CMNet骨干出口質(zhì)量、封堵風(fēng)險漏洞。