通信企業(yè)大數(shù)據(jù)平臺的建設(shè)與應(yīng)用研究

劉青

【摘要】 ? ?隨著大數(shù)據(jù)行業(yè)的興起和生活上的廣泛運(yùn)用，以大數(shù)據(jù)的理念和技術(shù)，持續(xù)完善通信企業(yè)數(shù)據(jù)的匯聚和治理，有利于加強(qiáng)數(shù)據(jù)核心能力建設(shè)，提升平臺智能化水平;持續(xù)加強(qiáng)大數(shù)據(jù)能力開放，深化大數(shù)據(jù)智慧應(yīng)用，促進(jìn)市場使能、提升管理效能、加強(qiáng)一線賦能、助力通信企業(yè)全面智慧化。

【關(guān)鍵詞】 ? ?需求分析 ? ?建設(shè)方案 ? ?大數(shù)據(jù)平臺

一、企業(yè)大數(shù)據(jù)平臺

當(dāng)前企業(yè)正處于大數(shù)據(jù)時代環(huán)境中，通信企業(yè)對擁有海量數(shù)據(jù)要合理利用，在經(jīng)營決策過程亟需加快創(chuàng)新，當(dāng)前已經(jīng)具備了明顯的數(shù)據(jù)驅(qū)動特點(diǎn)，業(yè)務(wù)部門對于數(shù)據(jù)的時限要求越來越高，這些要求給IT系統(tǒng)帶來的是海量待處理的歷史數(shù)據(jù)、復(fù)雜的數(shù)學(xué)統(tǒng)計(jì)和分析模型、數(shù)據(jù)之間的強(qiáng)關(guān)聯(lián)性以及頻繁的數(shù)據(jù)更新產(chǎn)生的重新評估等挑戰(zhàn)。同時，隨著相關(guān)技術(shù)的發(fā)展，如何利用大數(shù)據(jù)賦能，構(gòu)筑企業(yè)數(shù)字化能力，提升中臺能力，夯實(shí)智慧運(yùn)營基礎(chǔ)，高效支撐企業(yè)智慧運(yùn)營，是亟待解決的問題。

二、構(gòu)建大數(shù)據(jù)平臺的需求與可行性

2.1必要性分析

一方面，目前隨著通信企業(yè)對數(shù)據(jù)應(yīng)用的深入，已完成DPI、信令、網(wǎng)優(yōu)、客戶接觸、B/M/O域等數(shù)據(jù)的全面匯聚，數(shù)據(jù)量大、數(shù)據(jù)種類多、數(shù)據(jù)應(yīng)用實(shí)時性要求高，但通信企業(yè)現(xiàn)有數(shù)據(jù)處理和分析系統(tǒng)已經(jīng)無法全面滿足要求，需要完善的大數(shù)據(jù)平臺，建設(shè)大數(shù)據(jù)能力，來滿足大批量數(shù)據(jù)處理和應(yīng)用需求。

另一方面，數(shù)據(jù)驅(qū)動企業(yè)建立協(xié)同推進(jìn)的智慧運(yùn)營體系，企業(yè)的智慧運(yùn)營涉及到企業(yè)的營銷服務(wù)、網(wǎng)絡(luò)運(yùn)營、企業(yè)管理和開放合作等各個領(lǐng)域，大數(shù)據(jù)應(yīng)用需求旺盛，需要IT部門與業(yè)務(wù)部門緊密協(xié)作，深入開展精準(zhǔn)營銷服務(wù)、精益網(wǎng)運(yùn)、精確管理等大數(shù)據(jù)應(yīng)用，構(gòu)建通信企業(yè)大數(shù)據(jù)平臺可以促進(jìn)企業(yè)智慧運(yùn)營，充分發(fā)揮數(shù)據(jù)在日常運(yùn)營工作中的價值，助力業(yè)務(wù)發(fā)展，營造企業(yè)智慧運(yùn)營的良好環(huán)境。

2.2需求與原則分析

通信企業(yè)大數(shù)據(jù)平臺主要在于解決企業(yè)在數(shù)據(jù)能力開放、基礎(chǔ)能力、運(yùn)維管理、安全管理、關(guān)聯(lián)處理和數(shù)據(jù)挖掘建模6大方面的基礎(chǔ)能力的需求，因此，基于“集中、開放、云化”，按照“平臺+應(yīng)用”的模式，大數(shù)據(jù)平臺建設(shè)將以應(yīng)用驅(qū)動、數(shù)據(jù)集中、能力開放、使用安全為原則進(jìn)行建設(shè)。

應(yīng)用驅(qū)動：以業(yè)務(wù)應(yīng)用為驅(qū)動，統(tǒng)一匯聚和處理企業(yè)各類數(shù)據(jù)，并逐步豐富大數(shù)據(jù)應(yīng)用。

數(shù)據(jù)集中：構(gòu)建統(tǒng)一架構(gòu)、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一元數(shù)據(jù)、統(tǒng)一質(zhì)量的數(shù)據(jù)體系，實(shí)現(xiàn)企業(yè)數(shù)據(jù)的集中采集、集中存儲、集中處理，實(shí)現(xiàn)跨專業(yè)的數(shù)據(jù)關(guān)聯(lián)。

能力開放：構(gòu)建開放化的能力平臺，以支撐多團(tuán)隊(duì)的應(yīng)用開發(fā)。通過數(shù)據(jù)能力開放、服務(wù)能力開放、應(yīng)用能力開放，滿足企業(yè)數(shù)據(jù)應(yīng)用需求。

使用安全：在數(shù)據(jù)采集、存儲、處理、應(yīng)用等環(huán)節(jié)強(qiáng)化數(shù)據(jù)安全管理。

2.3可行性分析

技術(shù)可行性方面，當(dāng)前大數(shù)據(jù)平臺技術(shù)具備了離線批處理、實(shí)時處理、高速查詢能力，具備網(wǎng)優(yōu)、OSS域、CRM域、大數(shù)據(jù)應(yīng)用等系統(tǒng)提供公共大數(shù)據(jù)處理支持的條件。

社會可行性方面，國務(wù)院先后出臺了《中國制造 2025》、《國務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng) +”行動的指導(dǎo)意見》等政策，《中國電信大數(shù)據(jù)平臺技術(shù)要求》也提出建設(shè)指引，需繼續(xù)對企業(yè)數(shù)據(jù)分析系統(tǒng)平臺進(jìn)行架構(gòu)優(yōu)化，加快向“平臺+應(yīng)用”的模式轉(zhuǎn)變，盡快完成IT大數(shù)據(jù)平臺向互聯(lián)網(wǎng)架構(gòu)的演進(jìn)，并增強(qiáng)大數(shù)據(jù)平臺基礎(chǔ)能力和數(shù)據(jù)深加工能力以及對外應(yīng)用支撐能力。

三、企業(yè)大數(shù)據(jù)平臺建設(shè)思路與目標(biāo)

本大數(shù)據(jù)平臺的總體架構(gòu)如下圖1所示。

建設(shè)目標(biāo)包括如下幾點(diǎn)：

1.統(tǒng)一平臺基礎(chǔ)能力，強(qiáng)化計(jì)算、挖掘及系統(tǒng)管理能力;2.統(tǒng)一核心處理能力，整合各系統(tǒng)的數(shù)據(jù)分層體系;3.加強(qiáng)數(shù)據(jù)管理，強(qiáng)化元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量管理，落實(shí)主數(shù)據(jù)管理;4.加強(qiáng)安全管理，完善安全相關(guān)功能，實(shí)現(xiàn)數(shù)據(jù)開發(fā)、測試、應(yīng)用的安全;5.完善數(shù)據(jù)、服務(wù)和集成開發(fā)環(huán)境的能力開放;6.統(tǒng)一數(shù)據(jù)門戶，整合數(shù)據(jù)交換平臺/核心處理系統(tǒng)/大數(shù)據(jù)門戶入口。

四、通信企業(yè)大數(shù)據(jù)平臺建設(shè)內(nèi)容

通信企業(yè)大數(shù)據(jù)平臺建設(shè)內(nèi)容主要基于原數(shù)據(jù)分析系統(tǒng)的應(yīng)用層、中間層、整合層和接口層四個方面的改進(jìn)升級，其中整合層包括優(yōu)化整合層基礎(chǔ)模型，擴(kuò)展整合力度，新增O域、B域交易類等整合寬表，完善DPI行為類整合寬表，統(tǒng)一數(shù)據(jù)清洗，統(tǒng)一轉(zhuǎn)換規(guī)則，提升數(shù)據(jù)準(zhǔn)確性，降低系統(tǒng)負(fù)載壓力;中間層主要從業(yè)務(wù)主題、應(yīng)用業(yè)務(wù)場景等多角度構(gòu)建中間層模型，完善用戶標(biāo)簽體系，提升應(yīng)用成效，為支撐精準(zhǔn)管理、精準(zhǔn)營銷奠定基礎(chǔ)。

大數(shù)據(jù)平臺建設(shè)包含了能力開放、基礎(chǔ)平臺、運(yùn)維管理、數(shù)據(jù)關(guān)聯(lián)處理能力4大能力，分別如下：

1.能力開放：基于大數(shù)據(jù)Pass平臺能力，完善服務(wù)開發(fā)框架，構(gòu)建服務(wù)提供方OPEN API服務(wù)、服務(wù)消費(fèi)方API/HTTP服務(wù)管理界面，優(yōu)化服務(wù)目錄管理，提升生產(chǎn)注智能力、服務(wù)安全保障等級。

2.基礎(chǔ)能力：擴(kuò)容平臺基礎(chǔ)能力，完善并升級數(shù)據(jù)治理平臺與能力建設(shè)，加強(qiáng)平臺數(shù)據(jù)安全管理，加固各組件漏洞，提升平臺組件的安全防控能力。。

3.運(yùn)維管理：完善平臺運(yùn)維管理能力，探索新型監(jiān)控指標(biāo)管理工具，優(yōu)化現(xiàn)階段監(jiān)控指標(biāo)，提升監(jiān)控可靠性。

4.利用大數(shù)據(jù)平臺，構(gòu)建以政企客戶為中心的指標(biāo)體系，增加5G業(yè)務(wù)模型，圍繞5G用戶、收入、行為軌跡，5G+應(yīng)用等進(jìn)行模型建設(shè)，提升無線網(wǎng)優(yōu)大數(shù)據(jù)建設(shè)能力。

五、通信企業(yè)大數(shù)據(jù)平臺應(yīng)用研究

5.1 完善能力開放體系，擴(kuò)大能力開放范圍

通過統(tǒng)一數(shù)據(jù)交換流程，開放數(shù)據(jù)采集及計(jì)算程序的調(diào)度能力，提供大數(shù)據(jù)基礎(chǔ)平臺從數(shù)據(jù)采集到定時調(diào)度處理的功能開放，提供更為便捷的開發(fā)者用戶工具，實(shí)現(xiàn)用戶開發(fā)腳本管理、版本維護(hù)、可視化腳本編輯等，提高開發(fā)效率，開放服務(wù)開發(fā)能力，基于大數(shù)據(jù)平臺的實(shí)時查詢服務(wù)提供，開放便捷高效的數(shù)據(jù)并發(fā)查詢能力。

5.2 加強(qiáng)基礎(chǔ)能力建設(shè)，優(yōu)化平臺運(yùn)行效率

提升了集群存儲與計(jì)算能力，優(yōu)化整合大數(shù)據(jù)平臺基礎(chǔ)組件，升級大數(shù)據(jù)組件版本，提升集群運(yùn)行效率，通過完善Spark實(shí)時計(jì)算框架，優(yōu)化平臺數(shù)據(jù)處理引擎，提升應(yīng)用數(shù)據(jù)計(jì)算處理效率，統(tǒng)一并整合大數(shù)據(jù)各基礎(chǔ)組件模塊至大數(shù)據(jù)門戶，構(gòu)建數(shù)據(jù)可視化工具，整合并優(yōu)化數(shù)據(jù)展示工具，基于自定義報表與圖形化方式優(yōu)化大數(shù)據(jù)展示能力，提供可配置動態(tài)拖拽的數(shù)據(jù)可視化引擎以及加挖掘組件能力，支持Python數(shù)據(jù)挖掘能力與建模，優(yōu)化調(diào)度能力，完善大數(shù)據(jù)平臺與傳統(tǒng)關(guān)系型數(shù)據(jù)庫處理能力的串聯(lián)調(diào)度引擎，實(shí)現(xiàn)數(shù)據(jù)處理流程的統(tǒng)一。

5.3優(yōu)化運(yùn)維管理能力，提升平臺效率與安全

通過完善統(tǒng)一運(yùn)維管理與監(jiān)控平臺，優(yōu)化平臺運(yùn)維管理能力，提供了運(yùn)維指標(biāo)的配置能力，擴(kuò)展運(yùn)維監(jiān)控管理，提供服務(wù)器、組件、服務(wù)等基礎(chǔ)平臺監(jiān)控?；谟脩粼L問、應(yīng)用連接、服務(wù)查詢等平臺操作使用提供有效的運(yùn)維監(jiān)控。

基于大數(shù)據(jù)基礎(chǔ)平臺及集群組件的密鑰管理能力，和基于多租戶的用戶KDC授權(quán)認(rèn)證與訪問管理能力，為通信企業(yè)大數(shù)據(jù)平臺提供了密鑰的管理及自動化運(yùn)維分發(fā)能力。構(gòu)建應(yīng)用大數(shù)據(jù)平臺提升了通信企業(yè)的數(shù)據(jù)使用安全，實(shí)現(xiàn)數(shù)據(jù)授權(quán)分離，完善平臺運(yùn)營及權(quán)限租戶管理，分離生產(chǎn)與開發(fā)數(shù)據(jù)權(quán)限，提供數(shù)據(jù)同步與加解密訪問機(jī)制，保障數(shù)據(jù)安全。

5.4完善企業(yè)大數(shù)據(jù)挖掘能力，支撐模型構(gòu)建

構(gòu)建應(yīng)用大數(shù)據(jù)平臺進(jìn)一步完善了通信企業(yè)大數(shù)據(jù)標(biāo)簽體系構(gòu)建，提供基礎(chǔ)標(biāo)簽處理以及實(shí)時標(biāo)簽處理結(jié)果輸出。以應(yīng)用為驅(qū)動，通信企業(yè)可以構(gòu)建用戶標(biāo)簽體系，協(xié)助構(gòu)建用戶策反、終端營銷、位置營銷、O2O營銷模型，協(xié)助O2O營銷工作。幫助企業(yè)加強(qiáng)用戶互聯(lián)網(wǎng)行為洞察，深化電渠精準(zhǔn)營銷場景構(gòu)建，助力互聯(lián)網(wǎng)卡業(yè)務(wù)發(fā)展。

另外，基于用戶渠道行為數(shù)據(jù)，通信企業(yè)可以進(jìn)一步優(yōu)化用戶偏好渠道識別，刻畫用戶偏好渠道及偏好程度等標(biāo)簽，支撐精準(zhǔn)營銷。通過分析用戶使用支付寶、愛奇藝、百度等APP的行為及流量數(shù)據(jù)，結(jié)合用戶當(dāng)前的消費(fèi)記錄，構(gòu)建基于客戶細(xì)分的精準(zhǔn)營銷模型。

六、結(jié)束語

大數(shù)據(jù)平臺的不斷改進(jìn)、完善和發(fā)展，將為通信企業(yè)帶來如下一系列的經(jīng)濟(jì)效益：基于大數(shù)據(jù)平臺能力組件、數(shù)據(jù)目錄及應(yīng)用服務(wù)，以資源隔離、數(shù)據(jù)權(quán)限獨(dú)立的形式進(jìn)行第三方租戶的接入訪問與使用，減少系統(tǒng)建設(shè)的重復(fù)性;從集群、平臺、組件、租戶資源、數(shù)據(jù)交互、應(yīng)用查詢等訪問建立起一套高效的運(yùn)維管理監(jiān)控機(jī)制，可靠地保障了大數(shù)據(jù)平臺及應(yīng)用支撐的穩(wěn)定運(yùn)行;面向精準(zhǔn)營銷服務(wù)、智能決策支持、精益網(wǎng)運(yùn)提供營銷服務(wù)商機(jī)、輔助決策知識、客戶感知指引，通過注智能力嵌入生產(chǎn)執(zhí)行系統(tǒng)，讓數(shù)據(jù)貫穿企業(yè)生產(chǎn)、經(jīng)營、管理的全過程，促進(jìn)企業(yè)的智慧化運(yùn)營。帶來的社會效益包括：通過企業(yè)大數(shù)據(jù)平臺的建設(shè)有助于匯聚各域數(shù)據(jù)，避免重復(fù)的系統(tǒng)建設(shè)與資源的浪費(fèi)，有利于運(yùn)營商發(fā)展和開拓新市場，提升經(jīng)濟(jì)效益，有效地使用人力、物力、財(cái)力等各項(xiàng)資源，滿足不同消費(fèi)者不斷變化的需求。

對通信企業(yè)來說，大數(shù)據(jù)代表的不僅是一種先進(jìn)的數(shù)據(jù)處理技術(shù)，而更多的是一種管理理念的變革。搭建大數(shù)據(jù)平臺可以幫助通信企業(yè)構(gòu)筑企業(yè)數(shù)字化能力，提升中臺能力，夯實(shí)智慧運(yùn)營基礎(chǔ)，高效支撐企業(yè)智慧運(yùn)營。

參 ?考 ?文 ?獻(xiàn)

[1]段旭哲.淺析大數(shù)據(jù)在移動通信中的應(yīng)用[J].科教導(dǎo)刊：電子版，2016（24）：135-135.

[2]黃倩蓉.大數(shù)據(jù)在移動通信中的應(yīng)用[J].黑龍江科學(xué)，2015（3）：28-29.

[3]丁洪濤.大數(shù)據(jù)在移動通信中的應(yīng)用研究[J].中國新通信，2016，18（11）：97-97.

[4]中國電信大數(shù)據(jù)：打造數(shù)據(jù)綜合平臺能力[EB/OL].[2017-03-13].

[5]姚逴炯.大數(shù)據(jù)在電信運(yùn)營商市場分析及精確營銷的應(yīng)用研究[J].商業(yè)經(jīng)濟(jì)，2014