大數(shù)據(jù)時(shí)代的移動(dòng)通信數(shù)據(jù)經(jīng)營支撐體系

張 妮

（華信咨詢設(shè)計(jì)研究院有限公司，浙江 杭州 310052）

1 大數(shù)據(jù)技術(shù)通用方法

大數(shù)據(jù)技術(shù)就是對海量數(shù)據(jù)的處理，在分析、匯總以及深度挖掘關(guān)聯(lián)度的過程中獲取具有價(jià)值的信息內(nèi)容，從而支持對應(yīng)行業(yè)規(guī)劃的制定。在大數(shù)據(jù)技術(shù)體系內(nèi)，要借助數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)挖掘等手段，憑借建模思想有效提升數(shù)據(jù)應(yīng)用的效果。目前，大數(shù)據(jù)通用分類法主要分為以下幾點(diǎn)。

1.1 Hadoop處理法

利用分布式計(jì)算平臺，在落實(shí)PC Server集群部署工作內(nèi)容后就能搭建分布式計(jì)算框架和存儲結(jié)構(gòu)，從而有效結(jié)合不同應(yīng)用場景落實(shí)相應(yīng)工作，維持綜合運(yùn)算分析的實(shí)效性。其中，云化ETL是較為有效的數(shù)據(jù)信息管控流程，結(jié)合圖1所示的Hadoop流程和ETL規(guī)則就能提高數(shù)據(jù)抽取和轉(zhuǎn)換的效率。

圖1 Hadoop流程示意圖

1.2 Spark處理法

Spark是近幾年應(yīng)用新興的分布式計(jì)算平臺體系，能結(jié)合內(nèi)存情況完成計(jì)算框架的處理，并且能大大提升應(yīng)用效能，一般會應(yīng)用在迭代計(jì)算場景中，為其他算法應(yīng)用降低難度。

1.3 MPP數(shù)據(jù)庫

在技術(shù)應(yīng)用過程中，從用戶的角度出發(fā)建立服務(wù)器應(yīng)用系統(tǒng)，基于PC Server集群部署分析模式，有效建立不同的技術(shù)用戶應(yīng)用場景，利用數(shù)據(jù)庫中數(shù)據(jù)關(guān)聯(lián)度提高節(jié)點(diǎn)的訪問效率，充分?jǐn)U充內(nèi)存資源。

利用不同的數(shù)據(jù)處理模式就能搭建更加完整的數(shù)據(jù)信息管控平臺，為數(shù)據(jù)應(yīng)用管理提供良好的支持，保證綜合節(jié)點(diǎn)互聯(lián)應(yīng)用效果最優(yōu)化[1]。

2 大數(shù)據(jù)時(shí)代移動(dòng)通信數(shù)據(jù)經(jīng)營支撐體系的設(shè)計(jì)

在大數(shù)據(jù)技術(shù)支持下的移動(dòng)通信數(shù)據(jù)經(jīng)營支撐體系要整合具體的信息資源，確保技術(shù)應(yīng)用方案的合理性和規(guī)范性，并有效提高分析系統(tǒng)功能的應(yīng)用水平，實(shí)現(xiàn)經(jīng)濟(jì)效益和社會效益的和諧統(tǒng)一。

2.1 整體功能框架

為了維持?jǐn)?shù)據(jù)流量運(yùn)營分析系統(tǒng)運(yùn)行的綜合效果，就要結(jié)合功能應(yīng)用要求完成對應(yīng)層級結(jié)構(gòu)的處理，基于VGOP功能建立擴(kuò)展應(yīng)用模塊，將業(yè)務(wù)監(jiān)控和運(yùn)營支撐等功能融合到常規(guī)化管理模式中，最大程度上提高系統(tǒng)綜合管理的水平。結(jié)構(gòu)示意圖見圖2。

圖2 結(jié)構(gòu)示意圖

2.1.1 基礎(chǔ)層

基礎(chǔ)層是整個(gè)數(shù)據(jù)流量運(yùn)營分析系統(tǒng)的底層結(jié)構(gòu)，完成最原始的工作內(nèi)容，保證各類基礎(chǔ)管理和監(jiān)控要點(diǎn)都能落實(shí)到位，并且主管流量關(guān)鍵信息的維護(hù)處理。其中，用戶管理和日志管理以最基本的周期記錄為要點(diǎn)，滿足日常信息和數(shù)據(jù)的錄入要求。

2.1.2 解析層

解析層利用智能處理技術(shù)分析用戶行為，從而開展相應(yīng)的事件響應(yīng)處理。值得一提的是，智能用戶行為分析功能能建立面向所有用戶安裝應(yīng)用、終端信息以及內(nèi)容信息等關(guān)聯(lián)數(shù)據(jù)的分析。而對應(yīng)的智能用戶事件響應(yīng)處理就是為在全面分析后為客戶提供更加精準(zhǔn)的信息推送，保證內(nèi)容數(shù)據(jù)和軟件推薦等服務(wù)內(nèi)容都能滿足適配性要求[2]。

2.1.3 分析層

分析層主要是利用深度分析和主題分析兩個(gè)基礎(chǔ)分析過程，有效擴(kuò)展網(wǎng)元自動(dòng)化監(jiān)控模塊，保證多系統(tǒng)流量對比監(jiān)控工作更加有效且完整，最大程度上保證深度分析管理的綜合效果。

2.1.4 運(yùn)維層

運(yùn)維層是整個(gè)系統(tǒng)的最高層級結(jié)構(gòu)，也是多項(xiàng)重點(diǎn)應(yīng)用模型的管理層級。其中，運(yùn)營支撐模塊就是利用場景配置管理以及實(shí)時(shí)性靜態(tài)用戶群匹配處理，并且配合營銷執(zhí)行方案和結(jié)果評估的閉環(huán)支撐體系，實(shí)現(xiàn)經(jīng)濟(jì)效益的最大化。

2.2 深度監(jiān)控模塊功能

主要是建立具有實(shí)時(shí)性監(jiān)控的應(yīng)用體系，能匯集不同的數(shù)據(jù)源，從而有效完成信息管理，具體信息涉及用戶的上網(wǎng)訪問信息和使用終端行為內(nèi)容等，尤其是對客戶訂購套餐的實(shí)際使用情況等數(shù)據(jù)進(jìn)行集中匯總，結(jié)合客戶的行為內(nèi)容挖掘基本屬性和擴(kuò)展屬性，從而為后續(xù)結(jié)果固化處理和應(yīng)營銷活動(dòng)計(jì)劃的開展提供保障[3]。

2.2.1 業(yè)務(wù)指標(biāo)監(jiān)控功能

業(yè)務(wù)指標(biāo)監(jiān)控功能主要是監(jiān)督客戶的移動(dòng)數(shù)據(jù)流量信息，并且對異動(dòng)情況予以實(shí)時(shí)性告警處理。一般會實(shí)時(shí)性分析使用用戶數(shù)、流量數(shù)據(jù)、漫游流量以及套餐內(nèi)外流量等，將業(yè)務(wù)類型和套餐類型作為維度，按照小時(shí)、日及月為基礎(chǔ)周期節(jié)點(diǎn)，全面配置業(yè)務(wù)具體指標(biāo)和告警閾值，從而提升分析實(shí)效性。

2.2.2 用戶通信圈的實(shí)時(shí)性監(jiān)控分析

主要是對用戶近階段好友通新情況進(jìn)行集中匯總，有效分析業(yè)務(wù)訂購情況，一般將周期設(shè)定為月。在分析輸出結(jié)果中，主要涉及主號碼、對端號碼的來話次數(shù)、對端號碼的去話次數(shù)、對端號碼的短信接收次數(shù)、對短號碼短信發(fā)送次數(shù)、對端號碼經(jīng)常訪問內(nèi)容聯(lián)動(dòng)情況、對短號碼的換機(jī)情況以及對端號碼的業(yè)務(wù)訂購情況。

2.2.3 設(shè)置搜索關(guān)鍵字跟蹤分析

設(shè)置搜索關(guān)鍵字跟蹤分析主要是對已經(jīng)設(shè)定的渠道進(jìn)行分析，著重關(guān)注用戶搜索的關(guān)鍵字，并且依據(jù)關(guān)鍵字搜索次數(shù)進(jìn)行集中分析和數(shù)據(jù)排名，指定推送相關(guān)信息，一般其生成的周期設(shè)定為月[4]。

2.3 用戶關(guān)聯(lián)場景模塊

在互聯(lián)網(wǎng)技術(shù)不斷發(fā)展的時(shí)代背景下，智能終端的普及率也在不斷提高，為了全面提升電信運(yùn)營商的市場競爭力，就要在全面升級服務(wù)平臺的同時(shí)，針對數(shù)據(jù)經(jīng)營支撐體系予以多元管理。針對面臨的被管道化風(fēng)險(xiǎn)，要補(bǔ)償管道價(jià)值，利用運(yùn)營商優(yōu)勢架構(gòu)更加合理完善的控制方案[5]。相較于互聯(lián)網(wǎng)平臺，電信服務(wù)商在獲取用戶行為數(shù)據(jù)方面具有一定的便利性，因此要借助大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)的深度挖掘，滿足精準(zhǔn)產(chǎn)品推薦工作的同時(shí)保證能建立基于規(guī)則管理要求內(nèi)的營銷服務(wù)內(nèi)容，確保營銷場景處理的最優(yōu)化。

首先，結(jié)合規(guī)則營銷要求準(zhǔn)確評估符合具體營銷內(nèi)容的用戶，并且搭建有效的平臺體系，及時(shí)建立無縫銜接體系，維持營銷方案的合理性和規(guī)范性。其次，建立實(shí)時(shí)性匹配的靜態(tài)用戶群管理體系，確保能結(jié)合不同場景分析方案自動(dòng)了解用戶的屬性內(nèi)容，建立動(dòng)態(tài)規(guī)劃和靜態(tài)用戶執(zhí)行營銷活動(dòng)方案。最后，在不同營銷場景分析過程中要具備評估執(zhí)行優(yōu)先級的作用，審核者確認(rèn)優(yōu)先級內(nèi)容后，保證活動(dòng)執(zhí)行的匹配度滿足綜合管理標(biāo)準(zhǔn)，并且盡量實(shí)現(xiàn)統(tǒng)一管理。

例如，結(jié)合流量分析平臺獲取的信息數(shù)據(jù)內(nèi)容向用戶推薦喜好度較高的App，保證特定營銷推廣的及時(shí)性，也為自由App使用效率優(yōu)化提供保障，為用戶流量管理和營銷執(zhí)行處理工作的順利落實(shí)奠定基礎(chǔ)。其中，用戶使用總時(shí)間超過多少后制定營銷方案或者是用戶使用流量超過多少后制定營銷方案是關(guān)鍵，要保證場景配置功能的及時(shí)性和規(guī)范性，就要提升配置的合理性[6]。業(yè)務(wù)自動(dòng)配置效果示意如圖3所示。

圖3 業(yè)務(wù)自動(dòng)配置效果示意圖

3 大數(shù)據(jù)時(shí)代移動(dòng)通信數(shù)據(jù)經(jīng)營支撐體系的實(shí)現(xiàn)

在全面分析對應(yīng)技術(shù)內(nèi)容和設(shè)計(jì)要點(diǎn)后，就要結(jié)合技術(shù)應(yīng)用要求規(guī)范落實(shí)具體方案，本文采取的是對開源Spark平臺模式予以深度優(yōu)化，配合Hadoop生態(tài)組件，建立優(yōu)化整合的體系基礎(chǔ)方案，建立運(yùn)算評估和存儲功能貼合用戶實(shí)際需求的大數(shù)據(jù)計(jì)算平臺[7]。

3.1 結(jié) 構(gòu)

在集成Spark計(jì)算引擎的基礎(chǔ)上，支持R語言完成大數(shù)據(jù)深度挖掘。并且，配置解析器、優(yōu)化器以及執(zhí)行器，利用高級語法等基礎(chǔ)技術(shù)內(nèi)容完成信息的分析。與此同時(shí)，整體經(jīng)營支撐體系會對差異化數(shù)據(jù)予以針對性處理，保證開發(fā)部署和執(zhí)行效率都能滿足應(yīng)用要求，且系統(tǒng)資源的合理性權(quán)限開發(fā)工作符合應(yīng)用標(biāo)準(zhǔn)。

Manager模塊實(shí)現(xiàn)安裝、部署、配置以及監(jiān)控訪問控制等基礎(chǔ)功能，并且能對異常信息予以告警分析。Sqoop模塊建立關(guān)聯(lián)數(shù)據(jù)ETL工具處理模式。Flume模塊完成日志數(shù)據(jù)信息收集處理，并且篩查日志關(guān)鍵字。Spark MLlib配合Spark分布式內(nèi)存計(jì)算框架就能建立數(shù)據(jù)挖掘結(jié)構(gòu)，并支持R統(tǒng)計(jì)語言。Hive模塊支持Inceptor交互式數(shù)據(jù)倉庫的應(yīng)用要求。HBase模塊能建立實(shí)時(shí)性分布式數(shù)據(jù)庫，支持多維應(yīng)用系統(tǒng)運(yùn)行要求。Zookeeper模塊滿足分布式動(dòng)作服務(wù)應(yīng)用要求，匹配HDFS分布式文件系統(tǒng)。此外還會搭配BI/報(bào)表系統(tǒng)、數(shù)據(jù)庫以及Storm流式計(jì)算框架等工具系統(tǒng)，有效建立完整的數(shù)據(jù)經(jīng)營支撐體系[8]。

3.2 平臺數(shù)據(jù)流

一般而言，在利用經(jīng)營支撐體系進(jìn)行數(shù)據(jù)獲取的過程中，基礎(chǔ)性的數(shù)據(jù)流主要分為經(jīng)分倉庫數(shù)據(jù)、WLAN數(shù)據(jù)、Gn口數(shù)據(jù)以及話務(wù)網(wǎng)管數(shù)據(jù)等，結(jié)合配置模式和運(yùn)行指標(biāo)體系就能建立完整的數(shù)據(jù)控制機(jī)制。與此同時(shí)，匹配Spark平臺未完成數(shù)據(jù)采集和分析，并且按照處理層運(yùn)行SQL、展示層分析底層數(shù)據(jù)的方式對數(shù)據(jù)予以分發(fā)和對接。除此之外，利用分布式計(jì)算搭建云平臺處理海量數(shù)據(jù)的同時(shí)，還能結(jié)合用戶行為分析模式完成精準(zhǔn)營銷，最大程度上提高數(shù)據(jù)處理和分析的時(shí)效性。其中，管理層是對元數(shù)據(jù)予以管理，并且滿足接入平臺管理和調(diào)度任務(wù)管理要求。處理層則是進(jìn)行數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)裝載。服務(wù)層則利用接入平臺服務(wù)和元數(shù)據(jù)服務(wù)等服務(wù)模塊最大程度上提升用戶行為信息分析的準(zhǔn)確性[9,10]。

4 結(jié) 論

在大數(shù)據(jù)技術(shù)體系支持下進(jìn)行移動(dòng)通信數(shù)據(jù)經(jīng)營支撐結(jié)構(gòu)的管理，要充分關(guān)注實(shí)時(shí)性信息和動(dòng)態(tài)管控工作的要點(diǎn)，滿足綜合經(jīng)營銷售的要求，實(shí)現(xiàn)精準(zhǔn)定位，為經(jīng)濟(jì)效益的全面提高奠定堅(jiān)實(shí)基礎(chǔ)。