網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)運營體系研究

張文彬 陳文 張立彬

摘? 要：隨著無線網(wǎng)絡(luò)從2/3G到4/5G的演進和日益復(fù)雜，以及移動網(wǎng)絡(luò)用戶數(shù)的快速增長和用戶業(yè)務(wù)的多樣化，無線網(wǎng)絡(luò)數(shù)據(jù)也隨之不斷增大到海量，無線網(wǎng)絡(luò)建設(shè)、維護、優(yōu)化及指標分析也面臨著新的挑戰(zhàn)?；凇昂诵?前置”架構(gòu)建設(shè)的網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)，開展網(wǎng)絡(luò)大數(shù)據(jù)采集、運營體系研究和運營能力建設(shè)，形成上下統(tǒng)籌、協(xié)同運營的一體化運營體系，助力開展網(wǎng)絡(luò)大數(shù)據(jù)分析和各種應(yīng)用支撐。

關(guān)鍵詞：網(wǎng)絡(luò)大數(shù)據(jù);建維優(yōu)一體化;大數(shù)據(jù)平臺;指標分析;應(yīng)用支撐

中圖分類號：TP393? ? ? 文獻標識碼：A文章編號：2096-4706（2021）22-0071-05

Abstract： With the evolution of wireless network from 2/3G to 4/5G and its increasing complexity， as well as the rapid growth of mobile network users and the diversification of user services， wireless network data is also increasing to a large amount， wireless network construction， maintenance， optimization and index analysis are also facing new challenges. The network big data system constructed based on the “core + front” architecture will carry out network big data collection， operation system research and operation capacity construction， forming an integrated operation system with overall planning from top to bottom and collaborative operation， and facilitating network big data analysis and various application support.

Keywords： network big data; integration of construction， maintenance and excellence; big data platform; index analysis; application support

0? 引? 言

隨著網(wǎng)絡(luò)大數(shù)據(jù)運營的逐漸深入，集團大數(shù)據(jù)平臺已采集無線MR、CDR，移動DPI，固網(wǎng)DPI等多類網(wǎng)絡(luò)數(shù)據(jù)。同時伴隨接入省份的增多，數(shù)據(jù)體量不斷增大，關(guān)聯(lián)計算資源消耗大，數(shù)據(jù)實時性難以保證，帶寬也面臨嚴峻考驗。所以運營體系架構(gòu)下沉到各省，組建31省運營團隊。數(shù)據(jù)和應(yīng)用分離，使得網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)具有高度的靈活性，能夠快速地定制所需要的數(shù)據(jù)及表現(xiàn)形式，提高數(shù)據(jù)分析和應(yīng)用支撐效率。

無線網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)建維優(yōu)一體化項目是在集團層面建設(shè)全國統(tǒng)一的建、維、優(yōu)一體化的專家系統(tǒng)，實現(xiàn)集團集中建設(shè)、全國分級使用的網(wǎng)絡(luò)大數(shù)據(jù)集中化，提升資源的合理配置，減少重復(fù)建設(shè)造成的投資浪費，同時助力開展網(wǎng)絡(luò)大數(shù)據(jù)指標分析，支撐各種應(yīng)用，將會產(chǎn)生很大的經(jīng)濟效益。無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化項目建成的建、維、優(yōu)一體化的專家系統(tǒng)，完成了通信行程卡、基站節(jié)能、無線精準投資規(guī)劃、高速高鐵監(jiān)控、校園場景監(jiān)控、質(zhì)差區(qū)域優(yōu)化、質(zhì)差用戶分析等應(yīng)用的支撐。

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)運營體系研究

1? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)總體架構(gòu)

無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化系統(tǒng)實行集中一體化部署方案，基于“核心+前置”，前置預(yù)處理采用集團統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計、分省部署建設(shè)方案?？傮w框架如圖1所示。

無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化系統(tǒng)總體架構(gòu)如圖2所示，由前置管理節(jié)點和前置處理節(jié)點兩部分構(gòu)成。

前置管理節(jié)點包括統(tǒng)一任務(wù)調(diào)度、配置中心、運營管理和系統(tǒng)管理四部分能力。統(tǒng)一任務(wù)調(diào)度通過統(tǒng)一計算引擎實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)前置預(yù)處理的預(yù)處理業(yè)務(wù)算法下發(fā)和分層任務(wù)調(diào)度;配置中心對應(yīng)用參數(shù)配置、數(shù)據(jù)質(zhì)量稽核規(guī)則和數(shù)據(jù)生命周期規(guī)則進行配置和管理;運營管理通過消息接收能力實現(xiàn)集群資源、主機服務(wù)和數(shù)據(jù)質(zhì)量的監(jiān)控;系統(tǒng)管理提供統(tǒng)一安裝部署能力，對程序版本進行管理，并對用戶功能訪問、數(shù)據(jù)權(quán)限進行配置管理。

前置處理節(jié)點包括前置任務(wù)管理、數(shù)據(jù)預(yù)處理、數(shù)據(jù)采集、數(shù)據(jù)稽核、運營管理和系統(tǒng)管理能力。前置任務(wù)管理對任務(wù)進行實例化，并對任務(wù)進行協(xié)同調(diào)度執(zhí)行，執(zhí)行結(jié)果可通過任務(wù)監(jiān)控查看;數(shù)據(jù)采集和預(yù)處理將原始數(shù)據(jù)入庫HDFS文件系統(tǒng)，通過任務(wù)調(diào)度對原始數(shù)據(jù)進行清洗過濾、關(guān)聯(lián)回填、增加定位信息等;運營管理定時采集系統(tǒng)運行的各項指標信息，并將平臺運行情況上報給前置管理節(jié)點;系統(tǒng)管理接收前置管理節(jié)點的指令信息，在前置節(jié)點中實施安裝部署、版本管理和權(quán)限管控。

平臺架構(gòu)特點如下：

（1）基于采集匯集的分層架構(gòu)協(xié)同統(tǒng)一，采用分層協(xié)同調(diào)度管理，前置預(yù)處理由集團統(tǒng)一管控，部署和運維，具有邏輯集中調(diào)度前置預(yù)處理處理能力。

（2）數(shù)據(jù)直接在前置處理節(jié)點處理，構(gòu)建“邊緣計算+分布式存儲”的前置預(yù)處理架構(gòu)，減少數(shù)據(jù)上傳帶寬消耗。

（3）數(shù)據(jù)交互量大，數(shù)據(jù)處理復(fù)雜，上下游交互復(fù)雜，需要有穩(wěn)健可行的上下游交互規(guī)則。

（4）具有職責(zé)分工明晰的前置預(yù)處理流程，涉及集團與省公司等多方負責(zé)人員，便于運維管控工作。

（5）全流程監(jiān)控保障前置數(shù)據(jù)采集，橫向具備關(guān)鍵采集環(huán)節(jié)梳理及監(jiān)控，縱向能夠穿越業(yè)務(wù)層和主機層監(jiān)控，建立端到數(shù)據(jù)質(zhì)量管控體系和全流程的運營體系。

2? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)技術(shù)架構(gòu)

基于網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)平臺建設(shè)原則和總體框架設(shè)計要求，平臺采用基于分布式技術(shù)的組件構(gòu)建，技術(shù)架構(gòu)如圖3所示。

無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化系統(tǒng)技術(shù)架構(gòu)采用“邏輯統(tǒng)一、物理分散”的架構(gòu)設(shè)計，包括前置管理節(jié)點和前置處理節(jié)點兩部分。前置管理節(jié)點采用分布式架構(gòu)設(shè)計，將算法文件下發(fā)到31省前置預(yù)處理平臺，在各預(yù)處理平臺進行任務(wù)實例化和分層協(xié)同調(diào)度，實現(xiàn)數(shù)據(jù)處理、分析和查詢等能力。前置預(yù)處理平臺使用Hadoop開源生態(tài)組件，通過前置任務(wù)執(zhí)行調(diào)度批量計算能力和實時計算能力。滿足統(tǒng)一計算引擎實現(xiàn)各種計算能力SQL封裝。

關(guān)鍵技術(shù)如下：

（1）元數(shù)據(jù)管理：基于元數(shù)據(jù)管理，支撐標準化數(shù)據(jù)訪問、互操作，分層協(xié)同任務(wù)調(diào)度。

（2）分層協(xié)同任務(wù)調(diào)度：即前置管理節(jié)點下發(fā)算法文件到31個省前置處理節(jié)點，前置處理節(jié)點將算法任務(wù)實例化后，將計算指令調(diào)度到具體的計算節(jié)點進行計算。

（3）統(tǒng)一計算引擎：前置管理節(jié)點將算法下推到前置處理節(jié)點，實現(xiàn)總部統(tǒng)一管理算法，省份分別調(diào)度計算。

（4）網(wǎng)絡(luò)傳輸：通過數(shù)據(jù)壓縮、斷點續(xù)傳等技術(shù)，提供高效、可靠的數(shù)據(jù)傳輸服務(wù)。建立命令和數(shù)據(jù)雙通道，避免阻塞，充分利用帶寬。

（5）全網(wǎng)監(jiān)控服務(wù)：實現(xiàn)前置管理節(jié)點和前置處理節(jié)點的物理節(jié)點和計算任務(wù)的監(jiān)控。

（6）權(quán)限管理：負責(zé)全網(wǎng)的功能權(quán)限、數(shù)據(jù)權(quán)限、角色權(quán)限、區(qū)域權(quán)限等的管理。

3? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)組織架構(gòu)

集團和各省設(shè)立網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)專職運營團隊，規(guī)范化運作，全面提升數(shù)據(jù)處理和共享能力，為數(shù)字化轉(zhuǎn)型提供高質(zhì)量大數(shù)據(jù)支撐服務(wù)。網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)已經(jīng)接入4G、5G及統(tǒng)一DPI等網(wǎng)絡(luò)數(shù)據(jù)，形成了無線網(wǎng)絡(luò)數(shù)據(jù)接入、處理、共享能力，除支撐建維優(yōu)一體化應(yīng)用需求外，逐步為集團及各省分公司提供數(shù)據(jù)和能力共享服務(wù)。

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)組織架構(gòu)特點主要有：

（1）設(shè)立集團和各省專職運營團隊，建立端到端運營支撐，規(guī)范運營基本動作。

（2）完善可維可測工具，實現(xiàn)系統(tǒng)基礎(chǔ)運維自動化、前臺化，提升系統(tǒng)運維效率。

（3）落實運行維護機制，保障系統(tǒng)軟硬件運行穩(wěn)定，全量數(shù)據(jù)穩(wěn)定接入、高效處理，持續(xù)提升數(shù)據(jù)質(zhì)量。

（4）優(yōu)化用戶支持模式，及時響應(yīng)、處理集團、省分各業(yè)務(wù)需求單位的數(shù)據(jù)共享需求和技術(shù)咨詢。

4? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)集群監(jiān)控平臺

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)集群監(jiān)控平臺是基于Hadoop的一個大型的、分布式的數(shù)據(jù)存儲和處理的基礎(chǔ)設(shè)施，平臺架構(gòu)如圖4所示。Ambari服務(wù)器（server）、代理（agent）和基礎(chǔ)設(shè)施組件提供了對集群中主機的操作控制以及集群訪問的管理控制。Ambari Web顯示已經(jīng)安裝的服務(wù)的摘要、圖形和告警等信息。使用Ambari Web可以創(chuàng)建和管理集群，執(zhí)行基本的操作任務(wù)，例如啟動和停止服務(wù)、添加主機和服務(wù)到集群，并更新服務(wù)配置。Ambari服務(wù)器從整個集群中收集數(shù)據(jù)。每個主機都有一個Ambari代理（agent），允許Ambari服務(wù)器控制每個主機。Ambari Web是一個客戶端的JavaScript應(yīng)用程序，它調(diào)用Ambari REST API（可從Ambari Server訪問）去訪問集群信息并執(zhí)行集群操作。瀏覽器和服務(wù)器之間的通信使用REST API異步進行。

如圖5所示，通過網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)集群監(jiān)控平臺可視化界面展示數(shù)據(jù)情況，以及自動化稽核流程和標準化工作流程等，組織協(xié)同31省完成網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)質(zhì)量稽核工作。數(shù)據(jù)質(zhì)量核查工作分別從以下三個方面完成。完成4/5G、VoLTE、物聯(lián)網(wǎng)、固網(wǎng)HTTPGET/AAA、移動DPI接入的原始數(shù)據(jù)質(zhì)量監(jiān)控;完成網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)各類型、各環(huán)節(jié)數(shù)據(jù)異常監(jiān)控、自動告警并進行匯總呈現(xiàn)、狀態(tài)跟蹤;完成各主要環(huán)節(jié)數(shù)據(jù)多維度統(tǒng)計分析，對數(shù)據(jù)發(fā)生異常的原因進行精準定位，指導(dǎo)維護人員快速解決問題。

5? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)應(yīng)用支撐

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)核心賦能，為集團大數(shù)據(jù)應(yīng)用建設(shè)提供數(shù)據(jù)支撐。網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化項目建成的建、維、優(yōu)一體化的專家系統(tǒng)，完成了通信行程卡、基站節(jié)能、無線精準投資規(guī)劃、高速高鐵監(jiān)控、校園場景監(jiān)控、質(zhì)差區(qū)域優(yōu)化、質(zhì)差用戶分析等應(yīng)用的支撐。

5.1? 通信行程卡

自2020年初疫情暴發(fā)以來，通信大數(shù)據(jù)行程卡系統(tǒng)對疫情防控工作發(fā)揮了極其重要的作用。為了“通信行程卡”能覆蓋所到所有的用戶，通過網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)整合2/3G的OIDD信令，VoLTE信令數(shù)據(jù)，4G信令數(shù)據(jù)以及5G網(wǎng)絡(luò)的相關(guān)信令數(shù)據(jù)，確保了每個用戶的行程軌跡能夠不被遺漏。

中國電信面對全網(wǎng)3.62億的移動網(wǎng)用戶數(shù)和海量的信令數(shù)據(jù)，為了讓“通信行程卡”能準確呈現(xiàn)出用戶的行程軌跡，在數(shù)據(jù)治理上進行了大量的研究和投入，組織全網(wǎng)協(xié)同，對數(shù)據(jù)質(zhì)量進行提升。自通信大數(shù)據(jù)行程卡正式面向公眾提供位置查詢服務(wù)以來，中國電信的行程軌跡數(shù)據(jù)累計調(diào)用達到26.9億人次、日均311萬人次，尤其2021年8月份疫情在全國多點爆發(fā)，訪問量突增，8月份日均調(diào)用次數(shù)達2 438萬次，為國家疫情防控工作做出了巨大的貢獻。

5.2? 基站節(jié)能

基于網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)基礎(chǔ)數(shù)據(jù)統(tǒng)一打造的基站智慧節(jié)能系統(tǒng)現(xiàn)已于15省部署推廣，4G基站節(jié)能，平均節(jié)能效率達10.7%，5G基站節(jié)能，平均節(jié)能效率達20.2%。節(jié)能小區(qū)發(fā)現(xiàn)率由傳統(tǒng)靜態(tài)節(jié)能的10%提升至40%，有效擴大節(jié)能小區(qū)規(guī)模，充分挖掘節(jié)能潛力，減少基站運維成本。

6? 結(jié)? 論

文章基于“核心+前置”架構(gòu)建設(shè)的網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)，開展了網(wǎng)絡(luò)大數(shù)據(jù)采集、運營體系研究和運營能力建設(shè)，形成上下統(tǒng)籌、協(xié)同運營的一體化運營體系，實現(xiàn)了集團集中建設(shè)、全國分級使用的網(wǎng)絡(luò)大數(shù)據(jù)集中化，提升資源配置合理性，減少了重復(fù)建設(shè)造成的投資浪費，同時助力開展網(wǎng)絡(luò)大數(shù)據(jù)指標分析，支撐各種應(yīng)用，將會產(chǎn)生很大的經(jīng)濟效益。本文所論述的無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化項目建成的建、維、優(yōu)一體化的專家系統(tǒng)，完成了通信行程卡、無線精準投資規(guī)劃、高速高鐵監(jiān)控、校園場景監(jiān)控、質(zhì)差區(qū)域優(yōu)化、質(zhì)差用戶分析等應(yīng)用的支撐，具有非常好的發(fā)展前景。

參考文獻：

[1] 紀沖，劉巖.基于半監(jiān)督深度學(xué)習(xí)法的網(wǎng)絡(luò)大數(shù)據(jù)集成挖掘 [J].計算機仿真，2021，38（7）：313-316.

[2] 段玉琴.大數(shù)據(jù)時代繼續(xù)教育平臺建設(shè)研究和實踐 [J].繼續(xù)教育研究，2021（8）：5-7.

[3] 盤善海，裴華.高安全等級網(wǎng)絡(luò)安全防護體系研究與設(shè)計 [J].通信技術(shù)，2021，54（7）：1715-1720.

[4] 李鵬舉.大數(shù)據(jù)背景下計算機信息安全體系研究 [J].數(shù)字技術(shù)與應(yīng)用，2021，39（6）：183-185.

[5] 陳亞科.基于大數(shù)據(jù)時代下的計算機網(wǎng)絡(luò)安全研究 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（5）：159-161.

[6] 夏利玲.基于大數(shù)據(jù)時代計算機網(wǎng)絡(luò)安全技術(shù)應(yīng)用與研究 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（4）：161-162.

作者簡介：張文彬（1985—），男，漢族，工程師，大數(shù)據(jù)項目經(jīng)理，畢業(yè)于北京郵電大學(xué)，工學(xué)學(xué)士，研究方向：通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、維護、優(yōu)化，大數(shù)據(jù)運營;陳文（1974—），女，漢族，工程師，大數(shù)據(jù)項目經(jīng)理，畢業(yè)于北京大學(xué)，工學(xué)學(xué)士，研究方向：通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、維護、優(yōu)化，大數(shù)據(jù)運營;張立彬（1986—），男，漢族，工程師，大數(shù)據(jù)項目經(jīng)理，畢業(yè)于吉林大學(xué)，工學(xué)碩士，研究方向：通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、維護、優(yōu)化，大數(shù)據(jù)運營。