基于CUTAS系統(tǒng)的IPRAN網(wǎng)絡(luò)流量監(jiān)控分析和應(yīng)用

中國聯(lián)通網(wǎng)絡(luò)技術(shù)研究院|趙良 張賀

中國聯(lián)通集團(tuán)網(wǎng)絡(luò)發(fā)展部|徐東

中國聯(lián)通湖北省分公司|劉曉村

CUTAS是中國聯(lián)通自主知識(shí)產(chǎn)權(quán)的IPRAN網(wǎng)絡(luò)流量監(jiān)控分析系統(tǒng)，其部署為運(yùn)營商一線建設(shè)和維護(hù)人員做到精準(zhǔn)的網(wǎng)絡(luò)把控起到基礎(chǔ)、實(shí)時(shí)、有效的數(shù)據(jù)支撐作用，也為負(fù)責(zé)網(wǎng)絡(luò)建設(shè)的決策者提供了網(wǎng)絡(luò)合理精準(zhǔn)建設(shè)的重要判斷依據(jù)。

近年來IPRAN主流廠商陸續(xù)推出了基于IPRAN網(wǎng)絡(luò)流量采集與分析的工具，但經(jīng)現(xiàn)網(wǎng)測試驗(yàn)證及從中國聯(lián)通省地市公司一線環(huán)境得到的反饋發(fā)現(xiàn)，這些流量監(jiān)測工具在流量分析的力度上遠(yuǎn)不能滿足運(yùn)營商對流量分析的期望，且針對運(yùn)營商提出的數(shù)據(jù)分析指標(biāo)開發(fā)周期過于延遲。此外，這些流量監(jiān)測工具僅能監(jiān)測本廠商設(shè)備的流量并基于此進(jìn)行數(shù)據(jù)分析，無法針對網(wǎng)絡(luò)內(nèi)多廠商設(shè)備的流量進(jìn)行橫向?qū)Ρ确治?，天然存在著私有化的局限性?/p>

為此，具有中國聯(lián)通自主知識(shí)產(chǎn)權(quán)的基于IPRAN網(wǎng)絡(luò)的流量監(jiān)控分析系統(tǒng)CUTAS (China Unicom Traffic Analysis System)應(yīng)運(yùn)而生。該系統(tǒng)能夠統(tǒng)一匯總多廠商IPRAN網(wǎng)絡(luò)流量數(shù)據(jù)并進(jìn)行滿足CCSA行業(yè)標(biāo)準(zhǔn)要求的數(shù)據(jù)分析、呈現(xiàn)和流量趨勢預(yù)測，得到了集團(tuán)網(wǎng)建部、運(yùn)維部及相關(guān)合作省分公司的充分認(rèn)可。CUTAS系統(tǒng)的搭建，結(jié)合SDN的實(shí)施，將為5G建設(shè)面向業(yè)務(wù)的彈性網(wǎng)絡(luò)做好準(zhǔn)備，對IPRAN網(wǎng)絡(luò)的建設(shè)維護(hù)起到積極作用。

CUTAS系統(tǒng)功能及設(shè)計(jì)

圖1 CUTAS系統(tǒng)總體架構(gòu)

圖2 基于CUTAS的IPRAN網(wǎng)絡(luò)流量監(jiān)控分析現(xiàn)網(wǎng)部署方案

CUTAS系統(tǒng)的功能完全符合中國聯(lián)通牽頭制定的“支持多業(yè)務(wù)承載的IP/MPLS網(wǎng)絡(luò)流量監(jiān)測技術(shù)要求”行業(yè)標(biāo)準(zhǔn)規(guī)范。該系統(tǒng)的架構(gòu)采用了業(yè)界流行的大數(shù)據(jù)系統(tǒng)處理技術(shù)Hadoop框架，功能模塊的技術(shù)選型以及硬件環(huán)境的配套具有滿足后續(xù)技術(shù)發(fā)展的先進(jìn)性。

CUTAS的功能模塊分為數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)分析系統(tǒng)、存量資源管理、系統(tǒng)管理和工具集五個(gè)模塊，每個(gè)模塊又分為多個(gè)子模塊。

數(shù)據(jù)采集系統(tǒng)由數(shù)據(jù)源管理、數(shù)據(jù)下載與存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)集成4個(gè)功能模塊組成；數(shù)據(jù)分析系統(tǒng)由歷史流量特征呈現(xiàn)、流量門限管理、環(huán)網(wǎng)流量利用率分析、環(huán)網(wǎng)流量收斂比分析、端口流量峰均比分析、UNI端口閑忙時(shí)分析和流量預(yù)測7個(gè)功能模塊組成；存量管理系統(tǒng)由網(wǎng)元管理和環(huán)網(wǎng)管理2個(gè)功能模塊組成；系統(tǒng)管理由任務(wù)管理、用戶管理、日志管理、系統(tǒng)監(jiān)控4個(gè)功能模塊組成；工具集由圖表可視化、圖表打印和數(shù)據(jù)庫訪問管理3個(gè)功能模塊組成。

CUTAS系統(tǒng)采用成熟的Hadoop分布式文件系統(tǒng)HDFS，包括數(shù)據(jù)采集模塊，基于Flume，能對缺失值、無效值或極值進(jìn)行數(shù)據(jù)清洗；數(shù)據(jù)存儲(chǔ)模塊，基于MySQL與HDFS，采用HIVE+Impala方式進(jìn)行數(shù)據(jù)的集成；數(shù)據(jù)查詢分析模塊，基于Impala平臺(tái)，直接對HDFS中的數(shù)據(jù)進(jìn)行快速、高效的類SQL查詢和分析處理；流量預(yù)測模塊，基于SPARK，對大量流量數(shù)據(jù)進(jìn)行深度學(xué)習(xí)來預(yù)測未來某個(gè)時(shí)間段的流量趨勢，同時(shí)兼顧后期對數(shù)據(jù)挖掘功能的需求；業(yè)務(wù)服務(wù)模塊，進(jìn)行拓?fù)浞治觥⑾到y(tǒng)管理等。

IPRAN網(wǎng)絡(luò)流量監(jiān)控分析部署方案

圖3 春節(jié)期間某端口流量趨勢

CUTAS系統(tǒng)采用一級架構(gòu)云化方式部署，在廊坊云基地統(tǒng)一部署一套CUTAS系統(tǒng)，各省的流量數(shù)據(jù)以地市為單位通過OSS2.0的ESB系統(tǒng)上傳至總部ESB服務(wù)器后提供給CUTAS系統(tǒng)進(jìn)行分析。該系統(tǒng)可以針對全聯(lián)通300多個(gè)本地網(wǎng)的IPRAN網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行完全符合行標(biāo)要求的網(wǎng)絡(luò)性能指標(biāo)分析和呈現(xiàn)。系統(tǒng)采用集中維護(hù)方式，各省和地市用戶通過CUTAS上的分權(quán)分域功能接入該系統(tǒng)。

聯(lián)通集團(tuán)要求各省分公司在2018年完成全國31個(gè)省市區(qū)的流量監(jiān)測新功能的部署工作，這對于當(dāng)前4G網(wǎng)絡(luò)乃至今后5G網(wǎng)絡(luò)流量的爆發(fā)式增長有特殊的意義。目前多個(gè)省分公司已經(jīng)完成省內(nèi)廠家流量監(jiān)測系統(tǒng)的部署，并實(shí)現(xiàn)網(wǎng)流量數(shù)據(jù)通過ESB系統(tǒng)自動(dòng)上傳至集團(tuán)廊坊云基地。

CUTAS系統(tǒng)目前已在聯(lián)通集團(tuán)廊坊云基地上線，通過長期持續(xù)采集現(xiàn)網(wǎng)流量數(shù)據(jù)和進(jìn)行流量數(shù)據(jù)分析，充分利用運(yùn)營商擁有的數(shù)據(jù)資源優(yōu)勢，挖掘數(shù)據(jù)價(jià)值并積極為網(wǎng)絡(luò)提供服務(wù)。

CUTAS流量分析應(yīng)用案例

現(xiàn)網(wǎng)流量常用分析功能包括端口（NNI和UNI）流量/帶寬利用率趨勢、環(huán)網(wǎng)（接入環(huán)、匯聚環(huán)、核心環(huán)）流量/帶寬利用率趨勢，端口峰均比分析、忙閑時(shí)分析、收斂比等多項(xiàng)性能指標(biāo)，部分應(yīng)用指標(biāo)分析舉例如下。

通過測試可知，某接入環(huán)收斂比基本分布在1～2之間，2%的時(shí)刻收斂比超過了2，從現(xiàn)網(wǎng)實(shí)際的收斂比數(shù)據(jù)分析驗(yàn)證了中國聯(lián)通在網(wǎng)絡(luò)建設(shè)初期提出的收斂比1:2:4的建議指標(biāo)值。

2017年春節(jié)（1月27日-2月2日）期間，某端口和某接入環(huán)流量趨勢如圖3和圖4所示。由圖3可以看出，該端口1月27日至2月2日期間15分鐘秒級峰值流量下降超過200Mbit/s。該接入環(huán)1月27日至2月2日期間環(huán)的總流量減少了7%左右，2月2日之后，該環(huán)的每小時(shí)總流量又恢復(fù)到56Gbit/s左右。該指標(biāo)的分析結(jié)果符合春節(jié)期間該接入環(huán)上網(wǎng)絡(luò)流量的變化趨勢。

圖4 春節(jié)期間某接入環(huán)流量趨勢

圖5 某端口預(yù)測流量曲線

以網(wǎng)元端口采集的大數(shù)據(jù)為樣本，根據(jù)業(yè)務(wù)類型，讀取相關(guān)的樣本數(shù)據(jù)并且保存到本地緩存，并且以本地緩存文件進(jìn)行預(yù)處理后的數(shù)據(jù)為樣本數(shù)據(jù)，通過棧式降噪模型預(yù)測端口/環(huán)網(wǎng)流量。某端口預(yù)測流量曲線如圖5所示。

由圖5可以看出，目前CUTAS系統(tǒng)已實(shí)現(xiàn)端口/環(huán)流量未來一段時(shí)間的預(yù)測功能，后期將考慮進(jìn)一步提高流量預(yù)測的準(zhǔn)確性。

CUTAS系統(tǒng)支持自動(dòng)定時(shí)獲取省內(nèi)不同本地網(wǎng)多廠家IP RAN網(wǎng)絡(luò)上的流量基礎(chǔ)數(shù)據(jù)，打破廠家私有化壁壘，做到全方位的數(shù)據(jù)綜合監(jiān)控以及橫向參數(shù)比對分析。CUTAS系統(tǒng)本著忠實(shí)于服務(wù)一線運(yùn)維應(yīng)用的開發(fā)理念和需求方向，力爭成為IPRAN網(wǎng)絡(luò)流量監(jiān)控與分析的最佳有效支撐系統(tǒng)。中國聯(lián)通通過構(gòu)建一體化的IPRAN網(wǎng)絡(luò)流量監(jiān)控分析體系，可以為網(wǎng)絡(luò)的精準(zhǔn)擴(kuò)容建設(shè)提供決策依據(jù)，滿足目前IPRAN網(wǎng)絡(luò)承載的多元化需求，在IPRAN網(wǎng)絡(luò)的維護(hù)管理實(shí)踐中發(fā)揮更大的價(jià)值和功效。