電信運營商網(wǎng)絡(luò)流量采集模型研究及應(yīng)用

董興強　李曉冰

【摘? 要】為了評估網(wǎng)絡(luò)流量情況，及時擴容擁塞電路，運營商普遍采用基于SNMP的網(wǎng)絡(luò)流量采集方法，通過計算兩次采集間隔的平均速率粗略估計電路流量。為了進一步定性分析流量突發(fā)情況，編寫了實驗程序，縮短采集周期，實現(xiàn)了秒級采集，使用不同采集周期的數(shù)據(jù)進行計算和對比分析，得到了不同采集周期下的峰值流量的比值，最后提出了更有效的運營商網(wǎng)絡(luò)流量傳統(tǒng)采集加觸發(fā)式秒級采集的新模型，以期實現(xiàn)精準擴容和更加敏捷的流量調(diào)度。

【關(guān)鍵詞】網(wǎng)絡(luò)流量;秒級采集;SNMP;流量突發(fā);精準擴容;觸發(fā)式

doi：10.3969/j.issn.1006-1010.2020.03.013? ? ? ? 中圖分類號：TP393

文獻標志碼：A? ? ? ? 文章編號：1006-1010（2020）03-0067-05

引用格式：董興強， 李曉冰. 電信運營商網(wǎng)絡(luò)流量采集模型研究及應(yīng)用[J]. 移動通信， 2020，44（3）： 67-71.

Research and Application of Telecommunication Operator Network Traffic Collection Model

DONG Xingqiang， LI Xiaobing

（China Telecom Co.， Ltd.， Shandong Branch， Jinan 250101， China）

[Abstract]

In order to evaluate the network traffic and expand the congestion circuit in time， operators generally adopt SNMP-based network traffic collection methods to roughly estimate the circuit traffic by calculating the average rate of the two collection intervals. In order to further qualitatively analyze the case of bursty traffic， an experimental program is given to shorten the collection cycle to achieve second-level acquisition. Then the data with different acquisition cycles are阿 used for calculation and comparative analysis， and the ratios of peak traffic under different acquisition cycles are obtained. Finally， via combining traditional method and triggering-based second-level one， a more efficient model of traffic collection for operator networks is proposed to achieve accurate expansion and intelligent traffic scheduling.

[Key words]network traffic; second-level collection; SNMP; bursty traffic; precise expansion; triggered-based

0? ?引言

隨著國家互聯(lián)網(wǎng)“提速降費”政策的不斷推進和大力落實，用戶帶寬越來越大，應(yīng)用級的一些網(wǎng)絡(luò)變量的重尾分布會引起流量的突發(fā)性[1] ，例如用戶下載文件或者加載視頻時，大帶寬高速率帶來了更大的流量突發(fā)，瞬間導(dǎo)致電路流量擁塞，影響組播、游戲等對于網(wǎng)絡(luò)質(zhì)量要求較高的應(yīng)用，導(dǎo)致視頻花屏、游戲時延劣化。當前運營商市場競爭激烈，良好的用戶感知和口碑是吸引新用戶和維系存量用戶的重要基礎(chǔ)，如何有效評估電路突發(fā)流量，精準擴容減少網(wǎng)絡(luò)投資，是所有運營商網(wǎng)絡(luò)建設(shè)維護面臨的重要課題[2] 。

網(wǎng)絡(luò)流量是單位時間內(nèi)通過網(wǎng)絡(luò)鏈路的數(shù)據(jù)包的總體，是衡量網(wǎng)絡(luò)負荷和轉(zhuǎn)發(fā)性能的基本指標[3]，為了準確地掌握網(wǎng)絡(luò)流量情況，學(xué)者們提出了很多成熟的流量采集方法，也開發(fā)了很多高效的流量采集工具[4]，運營商普遍采用基于SNMP（Simple Network Management Protocol，簡單網(wǎng)絡(luò)管理協(xié)議）的流量采集方式，SNMP采集服務(wù)器周期性以輪詢的方式[5]采集網(wǎng)絡(luò)節(jié)點設(shè)備MIB（Management Information Base，管理信息庫）數(shù)據(jù)[6]，通過對數(shù)據(jù)的進一步處理獲得設(shè)備的運行狀態(tài)，比如每5分鐘采集一次端口流入流出流量總數(shù)，計算獲得5分鐘內(nèi)該端口的流入流出平均速率。因為SNMP采集操作會占用網(wǎng)絡(luò)帶寬和設(shè)備性能資源，運營商普遍將采集周期設(shè)置為5分鐘，因為采用計算平均速率的方式，持續(xù)幾秒或者更短時間的流量突發(fā)是無法發(fā)現(xiàn)的。

在1991年Leland等人發(fā)現(xiàn)流量在所有時間尺度上都是突發(fā)的[7]，為了評估當前網(wǎng)絡(luò)流量采集方式獲得的峰值流量與真實的網(wǎng)絡(luò)流量之間的差異，采取了實驗分析的方式，縮短程序采集周期無限趨近于真實網(wǎng)絡(luò)流量，結(jié)合程序性能及設(shè)備內(nèi)部硬件計數(shù)更新周期等因素，實現(xiàn)了2 s及以上周期的網(wǎng)絡(luò)流量準確采集，并選取代表性的網(wǎng)絡(luò)拓撲電路進行數(shù)據(jù)采集和對比分析，展現(xiàn)了基于不同采集周期的同一條電路同一時段的整體及峰值流量情況，以及不同網(wǎng)絡(luò)層級的電路在不同采集周期的峰值流量比值情況。最后，根據(jù)實驗結(jié)論對運營商網(wǎng)絡(luò)流量采集模型進行了優(yōu)化，提出了傳統(tǒng)采集加觸發(fā)式秒級采集的新模型。

1? ?研究分析

采用實驗的方式對運營商網(wǎng)絡(luò)流量采集模型進行研究分析，整個實驗過程分為三個階段，首先編寫程序，搭建運行環(huán)境，測試確定最佳的采集周期，自動采集選定電路的端口流量數(shù)據(jù);然后選擇實驗拓撲和電路，完成數(shù)據(jù)采集;最后對第二階段采集的數(shù)據(jù)進行分析計算，總結(jié)及驗證實驗結(jié)論。

1.1? 編寫采集程序、測定采集周期

本次實驗選用了基于SNMP的流量采集方式，典型的免費工具是MRTG（Multi Router Traffic Grapher，流量負載工具軟件）[8]，但采集周期最短只能設(shè)置為5分鐘，為了盡可能縮短采集周期，編寫了專用的采集程序，使用當前流行的Python[9]編程語言及PySNMP（Python SNMP模塊）框架，程序異步采集端口數(shù)據(jù)，采集時刻精確到微秒，支持靈活設(shè)定周期及采集時間段，采集的數(shù)據(jù)保存至文件。設(shè)備內(nèi)部端口流量計數(shù)器接近于實時更新，采集程序單次耗時少于30 ms，理論上可以實現(xiàn)端口流量的秒級采集，因為程序執(zhí)行時間和設(shè)備硬件計數(shù)更新時間的輕微遲滯會對秒級采集的數(shù)據(jù)產(chǎn)生較大偏差，經(jīng)過多次驗證測試，2 s及以上周期的采集數(shù)據(jù)準確性滿足實驗要求，本實驗程序環(huán)境將網(wǎng)絡(luò)流量采集周期設(shè)置為2 s。

1.2? 選取實驗拓撲、完成數(shù)據(jù)采集

隨著運營商“光進銅退”工作的實施，當前家庭寬帶用戶主流接入方式是FTTH（Fiber To The Home，光纖到戶）[10]，用戶速率大部分在50 Mbit/s～300 Mbit/s之間。本次實驗由底層級到高層級（靠近用戶為底層級），依次選擇OLT（Optical Line Terminal，光線路終端）上聯(lián)電路、匯聚交換機上聯(lián)電路和MSE（Multi-Service Edge，多業(yè)務(wù)網(wǎng)關(guān)）上聯(lián)電路三個層級的電路流量進行分析，篩選符合條件的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，如圖1所示，并在每個電路層級各選取一條電路，對應(yīng)圖1中的標識1-3，指定采集時段為網(wǎng)絡(luò)忙時18：00-21：00，共計180分鐘，網(wǎng)絡(luò)流量采集完成后確認采集數(shù)據(jù)無異常，可用于下一步的計算分析。

1.3? 分析采集數(shù)據(jù)、總結(jié)實驗結(jié)論

實驗第二階段采集的數(shù)據(jù)是每隔2 s的端口流量計數(shù)，計算時分別選取間隔2 s、1分鐘和5分鐘的數(shù)據(jù)，獲得對應(yīng)周期時間段內(nèi)的電路平均流量，并從以下三個維度進行分析，總結(jié)實驗結(jié)論：

（1）網(wǎng)絡(luò)流量采集周期越短，數(shù)據(jù)準確性越高

以電路-1（OLT上聯(lián)電路）為例，使用折線圖展示不同采集周期下的電路平均流量，如圖2～圖4所示，說明采集周期越短，流量散布越明顯，呈現(xiàn)流量突發(fā)能力越好，網(wǎng)絡(luò)流量采集數(shù)據(jù)準確性越高。

（2）根據(jù)不同采集周期下的峰值流量比值可以合理確定電路擴容閾值

對同一電路不同采集周期的峰值流量進行對比分析，如表1所示，對于電路-1，基于5分鐘周期的網(wǎng)絡(luò)流量采集，當電路帶寬占用率達到60.6%時，基于2 s周期的網(wǎng)絡(luò)流量采集計算出來的電路帶寬占用率已經(jīng)達到100%，產(chǎn)生擁塞的情況，影響用戶業(yè)務(wù)。所以，運營商數(shù)據(jù)網(wǎng)管采用5分鐘周期的網(wǎng)絡(luò)流量采集模型時，電路-1、電路-2和電路-3合理的擴容預(yù)警閾值分別為60.6%、87.7%和70.4%。

（3）不同層級的電路在不同采集周期下的峰值流量的比值存在不符合理論預(yù)期的情況

理論上來說，底層電路（靠近用戶端為底層）因為帶寬小，單用戶突發(fā)流量對于電路流量影響較大，同時又因為用戶數(shù)量少，用戶流量突發(fā)事件相對集中，所以低層級電路采用不同采集周期的數(shù)據(jù)計算出來的峰值速率差距最大，高層級電路差距最小，但是在本次實驗中，對三個層級的電路在不同采集周期下的峰值流量進行對比發(fā)現(xiàn)，電路-3峰值速率差距是電路-2的2倍，實驗結(jié)果不符合理論預(yù)期。

為了驗證實驗結(jié)果的準確性，反復(fù)多次在不同時間段重復(fù)采集電路流量數(shù)據(jù)進行計算分析，每次計算的結(jié)果除了不同采集周期下的峰值流量比值稍有變化之外，電路-2的峰值流量比值仍然是三個層級電路當中最小的，受限于實驗方法和樣本數(shù)量，無法確定該比值是否與特定的網(wǎng)絡(luò)拓撲或者用戶行為相關(guān)，如要定論則需要進一步的研究分析。

2? ?研究應(yīng)用

基于上述實驗結(jié)論，嘗試對運營商原有的網(wǎng)絡(luò)流量采集模型及電路擴容預(yù)警模型進行優(yōu)化，包括抽樣電路推算擴容預(yù)警閾值、縮短全網(wǎng)流量采集周期等方式，最終提出了傳統(tǒng)采集加觸發(fā)式秒級采集的新模型，將2 s采集周期的電路流量超過95%作為新的電路擴容原則，實現(xiàn)了精準擴容。

（1）抽樣電路推算擴容預(yù)警閾值，效果有提升但精準度不滿足需求

通過電路抽樣和縮短采集周期的方式推算電路擴容預(yù)警閾值，抽樣選取各個網(wǎng)絡(luò)層級的電路，并在短時間段內(nèi)縮短采集周期，對比計算基于運營商5分鐘采集周期的電路擴容預(yù)警閾值，并將該閾值應(yīng)用到對應(yīng)網(wǎng)絡(luò)層級的所有電路。在實際應(yīng)用中發(fā)現(xiàn)，效果沒有達到預(yù)期，一是受限于網(wǎng)絡(luò)拓撲和地域性用戶帶寬速率的差異性，導(dǎo)致閾值的浮動較大;二是由于用戶上網(wǎng)習(xí)慣差異，同一電路在不同時間段，基于不同流量采集周期的電路峰值流量比值并非一成不變，使用推算得到的閾值可以粗略估計電路是否擁塞，但存在流量還未到達預(yù)警閾值可已經(jīng)擁塞、已經(jīng)達到預(yù)警閾值可電路沒有擁塞的情況，雖然較運營商現(xiàn)在使用的網(wǎng)絡(luò)流量采集及電路擴容預(yù)警模型有提升，但是精準度仍然難以滿足需求。

（2）縮短全網(wǎng)流量采集周期，受限于設(shè)備性能資源難以全網(wǎng)實施

隨后進一步探討了將運營商網(wǎng)絡(luò)流量采集周期由5分鐘全部縮短為2 s的可行性，縮短采集周期可以有效提升網(wǎng)絡(luò)流量采集準確性，但是高頻次的采集動作會占用網(wǎng)絡(luò)帶寬及設(shè)備性能資源，省級運營商的電路數(shù)量超過幾十萬，單臺設(shè)備端口數(shù)可達幾百個，如果將當前5分鐘的采集周期縮短至2 s，預(yù)計能夠提升50%的網(wǎng)絡(luò)流量采集準確率，但是采集服務(wù)器和設(shè)備性能資源占用需要提高到150倍，一方面需要擴容大量的服務(wù)器計算和存儲資源，另一方面高頻次的采集動作可能導(dǎo)致網(wǎng)絡(luò)設(shè)備CPU利用率過高，引發(fā)業(yè)務(wù)運行風(fēng)險，所以縮短網(wǎng)絡(luò)流量采集周期的方案難以在運營商全網(wǎng)推廣使用。

（3）傳統(tǒng)采集加觸發(fā)式秒級采集，兼顧了設(shè)備性能資源及擴容預(yù)警準確性

綜合上述嘗試和分析，最終提出了傳統(tǒng)采集加觸發(fā)式秒級采集的運營商網(wǎng)絡(luò)流量采集和電路擴容預(yù)警新模型，即縮短采集周期校準運營商電路擴容預(yù)警閾值，電路流量達到擴容預(yù)警閾值時，觸發(fā)秒級采集精確判斷電路是否需要擴容。具體工作實現(xiàn)是：在運營商原有的基于5分鐘周期的日常網(wǎng)絡(luò)流量采集基礎(chǔ)上，定期啟動2 s周期的采集，校準基于5分鐘周期的電路擴容預(yù)警閾值，在日常網(wǎng)絡(luò)流量采集過程中，電路流量接近擴容預(yù)警閾值時觸發(fā)2 s周期的流量采集3分鐘，并對2 s采集周期的電路流量進行計算，若電路流量超過95%，立即對該電路進行擴容預(yù)警。

3? ?結(jié)束語

本文提出的運營商網(wǎng)絡(luò)流量采集新模型在山東電信城域網(wǎng)進行了部署和應(yīng)用，網(wǎng)絡(luò)流量采集準確率滿足了需求，同時對原有的采集服務(wù)器及網(wǎng)絡(luò)資源占用的增加也在可控范圍之內(nèi)，兼顧了采集準確性和網(wǎng)絡(luò)資源消耗，能夠滿足當前運營商精準投資和電路及時擴容的需求，有利于實現(xiàn)更加敏捷的流量調(diào)度。后續(xù)需要考慮擴充該模型的適用場景，進一步對網(wǎng)絡(luò)流量秒級采集的能力進行封裝，應(yīng)用于用戶故障投訴智能預(yù)處理、重大節(jié)日監(jiān)控保障等維護場景。

參考文獻：

[1]? ? ?劉孫東. 網(wǎng)絡(luò)突發(fā)流量行為研究[J]. 深圳信息職業(yè)技術(shù)學(xué)院院報， 2011，9（3）： 1-5.

[2]? ? ? 劉翼. 高性能IP網(wǎng)絡(luò)流量采集系統(tǒng)設(shè)計與實現(xiàn)[J]. 延安大學(xué)學(xué)報： 自然科學(xué)版， 2017，36（2）： 21-23.

[3]? ? ? 薛一波，王大偉，張洛什. 網(wǎng)絡(luò)流場：理論和方法[J]. 計算機科學(xué)與探索， 2014，8（1）： 1-17.

[4]? ? ?李振國，鄭惠中. 網(wǎng)絡(luò)流量方法研究綜述[J]. 吉林大學(xué)學(xué)報： 信息科學(xué)版， 2014，32（1）： 70-75.

[5]? ? ?W Richard Stevens. TCP/IP詳解—卷1：協(xié)議[M]. 范建華，胥光輝，張濤，等譯. 北京： 機械工業(yè)出版社， 2011： 330-350.

[6]? ? ?A Mark， PE Miller. 用SNMP管理互聯(lián)網(wǎng)絡(luò)（第三版）[M]. 晏明峰， 等譯， 北京： 中國水利水電出版社， 2001： 46-56.

[7]? ?W E Leland， D V Wilson. High Timer-Resolution Measurement and Analysis of LAN Traffic： Implications[A]//Proceedings of the IEEE INFOCOM[C]. Bal Harbour， 1991： 1360-1366.

[8]? ? 孫泳，史忠植. MRTG的應(yīng)用與部署[J]. 計算機應(yīng)用， 2004，24（3）： 20-22.

[9]? ? SAP. PyRFC[EB/OL]. （2019-02-20）[2019-5-31]. http：//sap.github.io/PyRFC/index.html.

[10]? ?劉繼紅，王步元. 下一代無源光網(wǎng)絡(luò)的演進路線與研究進展[J]. 西安郵電大學(xué)學(xué)報， 2014（2）： 13-20.

作者簡介

董興強（orcid.org/0000-0001-6705-4909）：工程師，畢業(yè)于山東大學(xué)，現(xiàn)任職于中國電信股份有限公司山東分公司，主要從事數(shù)據(jù)網(wǎng)絡(luò)維護工作。

李曉冰：工程師，畢業(yè)于山東大學(xué)，現(xiàn)任職于中國電信股份有限公司山東分公司，主要從事數(shù)據(jù)網(wǎng)絡(luò)維護管理工作。