電信運(yùn)營商大數(shù)據(jù)應(yīng)用實(shí)踐探析

戰(zhàn)培志 關(guān)芳芳

1 江蘇省郵電規(guī)劃設(shè)計(jì)院有限責(zé)任公司；2 南京工程學(xué)院

0 引言

自2011年以來，大數(shù)據(jù)（big data）得到各界廣泛的關(guān)注，世界上各個(gè)主要國家都在大力推動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，以搶占新一輪科技革命的制高點(diǎn)。我國政府近年來也出臺(tái)了一系列政策來扶持大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，同時(shí)，國內(nèi)越來越多行業(yè)的企業(yè)也參與到了大數(shù)據(jù)技術(shù)的研發(fā)與應(yīng)用中。

電信運(yùn)營商作為國內(nèi)最早運(yùn)用大數(shù)據(jù)技術(shù)的行業(yè)之一，其大數(shù)據(jù)運(yùn)用具體情況如何，存在哪些問題，未來發(fā)展方向如何？本文對(duì)此進(jìn)行了探析，為電信運(yùn)營商和通信行業(yè)管理部門在該領(lǐng)域未來的建設(shè)與管理工作提供參考與借鑒。

1 國內(nèi)電信運(yùn)營商大數(shù)據(jù)應(yīng)用發(fā)展歷程

國內(nèi)電信運(yùn)營商大數(shù)據(jù)分析與應(yīng)用開展的較早。早在21世紀(jì)初期，已有國內(nèi)運(yùn)營商的省級(jí)公司已開始匯聚全省業(yè)務(wù)數(shù)據(jù)開展經(jīng)營分析等應(yīng)用，這可以看作是國內(nèi)電信運(yùn)營商大數(shù)據(jù)應(yīng)用的濫觴。至2010年，已有相當(dāng)多的電信運(yùn)營商省級(jí)公司開始使用數(shù)據(jù)挖掘技術(shù)進(jìn)行精準(zhǔn)營銷。在這一階段，運(yùn)營商數(shù)據(jù)分析處理技術(shù)主要使用的基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)倉庫技術(shù)，包括MPP數(shù)據(jù)庫等技術(shù)，數(shù)據(jù)挖掘工具主要使用的SAS、SPSS Clementine等，應(yīng)用主要是內(nèi)部的經(jīng)營分析，精準(zhǔn)營銷為主。該階段總的來說因?yàn)榇髷?shù)據(jù)的概念影響不廣，電信運(yùn)營商大數(shù)據(jù)應(yīng)用還處于萌芽概念。

2010年以后，國內(nèi)三大電信運(yùn)營商都已開始使用Hadoop等新一代的大數(shù)據(jù)技術(shù)分析處理海量數(shù)據(jù)，大數(shù)據(jù)應(yīng)用也逐步從內(nèi)部開始轉(zhuǎn)向外部：2010年，中國移動(dòng)開始在集團(tuán)層面做Hadoop的研究與規(guī)劃；2010年中國移動(dòng)通信研究院基于Hadoop開發(fā)了“大云”（BigCloud）系統(tǒng)；2015年開始做全網(wǎng)大數(shù)據(jù)應(yīng)用建設(shè)，2017年完成一期建設(shè)工程。中國電信在2010-2011年左右，一些發(fā)達(dá)的省公司如廣東、江蘇已開始試點(diǎn)一些大數(shù)據(jù)應(yīng)用，初始應(yīng)用包括使用Hbase等工具支撐用戶計(jì)費(fèi)詳單查詢等；2013年中國電信相當(dāng)一部分省公司都已開展了大數(shù)據(jù)應(yīng)用，內(nèi)容包括使用Hive等工具改造經(jīng)分系統(tǒng)，提升經(jīng)營分析效率，嘗試對(duì)DPI數(shù)據(jù)進(jìn)行存儲(chǔ)與分析，開展對(duì)內(nèi)對(duì)外應(yīng)用等；2014年中國電信集團(tuán)開始在信息化滾動(dòng)規(guī)劃中要求各個(gè)省公司都開展大數(shù)據(jù)建設(shè)內(nèi)容的規(guī)劃，這標(biāo)志著中國電信大數(shù)據(jù)建設(shè)應(yīng)用已開始全網(wǎng)推進(jìn)。中國聯(lián)通對(duì)大數(shù)據(jù)的探索源自于2010 年中國聯(lián)通數(shù)據(jù)大集中策略的提出，2012 年底，中國聯(lián)通也已經(jīng)成功將大數(shù)據(jù)和Hadoop 技術(shù)引入到移動(dòng)通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)，同年成立了集團(tuán)層面的數(shù)據(jù)中心，2013年進(jìn)行了集團(tuán)層面大數(shù)據(jù)平臺(tái)建設(shè)，2016年已經(jīng)有較強(qiáng)的數(shù)據(jù)采集、海量數(shù)據(jù)處理能力、平臺(tái)開放經(jīng)驗(yàn)，數(shù)據(jù)規(guī)模達(dá)150PB，節(jié)點(diǎn)總數(shù)達(dá)到4400節(jié)點(diǎn)。目前，運(yùn)營商大數(shù)據(jù)運(yùn)營能力已逐漸成熟，已開始進(jìn)入穩(wěn)定發(fā)展期。

2 典型應(yīng)用領(lǐng)域與場(chǎng)景

國內(nèi)電信運(yùn)營商大數(shù)據(jù)對(duì)內(nèi)部一些典型的建設(shè)與應(yīng)用領(lǐng)域與場(chǎng)景如下所示：

（1）大數(shù)據(jù)基礎(chǔ)架構(gòu)集中化建設(shè)：以提升面向

大數(shù)據(jù)的匯聚能力、IT處理能力為目標(biāo)，進(jìn)行集中化的數(shù)據(jù)中心建設(shè)。典型如中國聯(lián)通按照M+1+N的規(guī)劃布局，在全國建設(shè)了十二個(gè)國家級(jí)的數(shù)據(jù)中心，31個(gè)省級(jí)數(shù)據(jù)中心，300多個(gè)本地網(wǎng)的數(shù)據(jù)中心。

（2）經(jīng)營分析決策系統(tǒng)建設(shè)應(yīng)用：該應(yīng)用為傳統(tǒng)應(yīng)用，主要引入新一代大數(shù)據(jù)技術(shù)如Hive， Spark等提升傳統(tǒng)經(jīng)營分析決策系統(tǒng)數(shù)據(jù)分析的效率，通過這些技術(shù)的使用，建設(shè)面向商業(yè)運(yùn)營，跨各業(yè)務(wù)/網(wǎng)元的大數(shù)據(jù)經(jīng)營分析決策平臺(tái)，構(gòu)建企業(yè)級(jí)分析決策智能中心。如某省移動(dòng)公司流量運(yùn)營分析系統(tǒng)，采用Hadoop集群與My SQL混搭技術(shù)架構(gòu)，2013年時(shí)即已上線超過100臺(tái)PC服務(wù)器，每天處理原始文件大小8T，生成200G數(shù)據(jù)入My SQL集群，用于支撐流量分析報(bào)表，包括終端監(jiān)控分析、業(yè)務(wù)產(chǎn)品監(jiān)控和價(jià)值分析、網(wǎng)絡(luò)監(jiān)控和分析、內(nèi)容監(jiān)控和分析、流量現(xiàn)狀和發(fā)展分析、流量套餐監(jiān)控和價(jià)值分析、客戶監(jiān)控和分析、客戶偏好分析，輔助流量業(yè)務(wù)策略制定等。其他一些典型應(yīng)用還有某省電信的資源價(jià)值與能力實(shí)時(shí)分析系統(tǒng)，基于HIVE全面支撐實(shí)現(xiàn)網(wǎng)絡(luò)投資劃小核算單元的目標(biāo)，實(shí)現(xiàn)資源價(jià)值的直觀展現(xiàn)和資源能力所對(duì)應(yīng)價(jià)值的深入挖掘分析等。

（3）客戶精準(zhǔn)營銷與維系應(yīng)用：以提升用戶體驗(yàn)、完善產(chǎn)品設(shè)計(jì)、提高客戶保有率、增強(qiáng)營銷效率與效果等為目標(biāo)，通過專題數(shù)據(jù)分析、數(shù)據(jù)挖掘等手段，開展基于客戶洞察的精準(zhǔn)市場(chǎng)營銷。該類應(yīng)用涉及的場(chǎng)景、方法與技術(shù)手段較多，典型案例如移動(dòng)某省公司采用hadoop批處理平臺(tái)+Storm實(shí)時(shí)流計(jì)算平臺(tái)+ORACLE數(shù)據(jù)庫建設(shè)的流量經(jīng)營系統(tǒng)，該系統(tǒng)通過用戶行為大數(shù)據(jù)分析形成用戶標(biāo)簽庫，建立了客戶促進(jìn)模型、流失預(yù)警模型、流量偏好模型、流量提升模型等一系列數(shù)據(jù)挖掘模型，可以對(duì)12580 IVR類、漫游類、URL跟蹤類等多種場(chǎng)景開展用戶實(shí)時(shí)營銷。

（4）網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)化與控制應(yīng)用：包括針對(duì)網(wǎng)絡(luò)的Policy View/PCRF（Policy and Charging Rules Function，策略與計(jì)費(fèi)規(guī)則功能），提供實(shí)時(shí)智能化管道運(yùn)營能力或提升網(wǎng)絡(luò)NPM、SQM管理能力等。典型應(yīng)用如某省移動(dòng)基于大數(shù)據(jù)的網(wǎng)絡(luò)資源管理和優(yōu)化應(yīng)用等。

（5）客戶滿意度評(píng)估應(yīng)用：改變傳統(tǒng)通過問卷進(jìn)行客戶滿意度調(diào)查的方式，通過對(duì)運(yùn)營商網(wǎng)絡(luò)數(shù)據(jù)、觸點(diǎn)服務(wù)類、CRM、行為標(biāo)簽等海量客觀數(shù)據(jù)分析，準(zhǔn)實(shí)時(shí)持續(xù)評(píng)估“全量”、“個(gè)體級(jí)”用戶滿意度及變化趨勢(shì)，及時(shí)發(fā)現(xiàn)沉默用戶服務(wù)隱患。典型應(yīng)用如江蘇省郵電規(guī)劃設(shè)計(jì)院和江蘇電信合作使用Hive和隨機(jī)森林挖掘模型建立的客戶滿意度評(píng)估應(yīng)用平臺(tái)等。

對(duì)外部的一些應(yīng)用領(lǐng)域與場(chǎng)景主要有：

（1）征信/風(fēng)險(xiǎn)防控應(yīng)用：利用運(yùn)營商掌握的用戶身份數(shù)據(jù)、通信行為等數(shù)據(jù)，建立用戶征信風(fēng)控模型，為銀行、小貸企業(yè)提供征信服務(wù)等。中國電信、中國聯(lián)通、中國移動(dòng)都有相關(guān)的產(chǎn)品與服務(wù)。中國聯(lián)通提供的征信/風(fēng)險(xiǎn)防控應(yīng)用產(chǎn)品包括用戶綜合信用評(píng)分、身份認(rèn)證、社交關(guān)系認(rèn)證、開戶情況、通信消費(fèi)情況和漫游情況、 異常行為預(yù)警等功能，通過該系統(tǒng)，將小額金融貸款公司或銀行提供的客戶信息（如姓名、電話號(hào)碼、身份證號(hào)等），與系統(tǒng)內(nèi)數(shù)據(jù)資源信息比對(duì)，即可查詢?cè)摽蛻舻男庞玫刃畔ⅰＶ袊娦诺南到y(tǒng)除上述功能外還提供風(fēng)險(xiǎn)變化探針（貸后對(duì)貸款申請(qǐng)人的消費(fèi)能力、還款能力等及時(shí)跟進(jìn)分析、提前進(jìn)行風(fēng)險(xiǎn)預(yù)警）， 風(fēng)險(xiǎn)個(gè)體追蹤（風(fēng)險(xiǎn)個(gè)體信息、位置等進(jìn)行追查）等功能。

（2）對(duì)外精準(zhǔn)營銷服務(wù)：涉及廣告、商業(yè)選址

服務(wù)、行業(yè)研究分析等，典型應(yīng)用場(chǎng)景與案例如下。

行業(yè)研究報(bào)告咨詢服務(wù)：為企業(yè)、行業(yè)、媒體提供品牌分析、產(chǎn)品分析、消費(fèi)者分析、營銷效果分析的行業(yè)報(bào)告。如中國電信的終端大數(shù)據(jù)魔方產(chǎn)品，利用掌握的用戶終端數(shù)據(jù)信息，從終端市場(chǎng)份額、終端發(fā)展趨勢(shì)及市場(chǎng)競爭度等因素洞察終端市場(chǎng)變化；根據(jù)客戶手機(jī)使用行為及用戶偏好行為，洞察手機(jī)市場(chǎng)用戶偏好，準(zhǔn)確定位產(chǎn)品功能及特性，預(yù)測(cè)市場(chǎng)容量，為手機(jī)廠商提供行業(yè)分析報(bào)告、支撐終端設(shè)計(jì)及生產(chǎn)。中國聯(lián)通除向移動(dòng)終端行業(yè)提供相關(guān)服務(wù)外，還向汽車行業(yè)、服裝行業(yè)及煙草行業(yè)等多個(gè)領(lǐng)域提供類似數(shù)據(jù)服務(wù)。

商業(yè)店鋪選址與戶外廣告精準(zhǔn)投放服務(wù)：店鋪選址涉及所有需要建設(shè)實(shí)體渠道的行業(yè)，如銀行、連鎖餐飲與超市等。以運(yùn)營商的移動(dòng)網(wǎng)及固網(wǎng)為核心，通過電信運(yùn)營商自有定位能力及從包括DPI，BOSS等接口獲取的用戶數(shù)據(jù)，可以構(gòu)建客流量、客流消費(fèi)能力、客流偏好等多個(gè)維度的評(píng)估模型，協(xié)助企業(yè)高效、準(zhǔn)確的進(jìn)行商業(yè)選址。典型產(chǎn)品案例如中國電信的青鸞-商業(yè)選址產(chǎn)品。戶外廣告精準(zhǔn)投放服務(wù)與商業(yè)店鋪選址類似，通過客流數(shù)據(jù)分析為用戶提供廣告投放選擇支持服務(wù)，如聯(lián)通在上海已試點(diǎn)過類似產(chǎn)品。

個(gè)體標(biāo)簽類服務(wù)產(chǎn)品：運(yùn)營商通過對(duì)開放信息動(dòng)態(tài)數(shù)據(jù)、DPI（Deep Packet Inspection，深度報(bào)文檢測(cè)）及用戶基本信息、通信消費(fèi)等數(shù)據(jù)進(jìn)行分析，可建立用戶個(gè)體標(biāo)簽庫。該標(biāo)簽可用于RTB（Real Time Bidding，實(shí)時(shí)競價(jià)）廣告、外呼等精準(zhǔn)營銷，如中國電信已建設(shè)DMP平臺(tái)，通過Key/Value/Service三層架構(gòu)，實(shí)現(xiàn)對(duì)RTB廣告服務(wù)商提供高并發(fā)、低延時(shí)的標(biāo)簽類數(shù)據(jù)服務(wù)。

智慧城市類應(yīng)用：智慧城市類應(yīng)用包括智慧交通、智慧旅游、城市規(guī)劃等，主要面向政府客戶。中國電信、中國移動(dòng)、中國聯(lián)通都有一系列相關(guān)產(chǎn)品，包括：為旅游管理部門提供旅游景點(diǎn)實(shí)時(shí)人數(shù)、來源地分析等，助力旅游宏觀管理；對(duì)重大活動(dòng)提供人流預(yù)警，避免踩踏事件發(fā)生；對(duì)交通客流分析，優(yōu)化交通等。

其他對(duì)外服務(wù)與應(yīng)用：其他一些對(duì)外服務(wù)與應(yīng)用還包括大數(shù)據(jù)基礎(chǔ)設(shè)施提供等，包括數(shù)據(jù)中心基礎(chǔ)設(shè)施提供、高性能分布式計(jì)算硬件與軟件服務(wù)的提供等。如中國電信對(duì)外服務(wù)的大數(shù)據(jù)云平臺(tái)就包含命名為“碧璽”的資源托管服務(wù)產(chǎn)品和命名為“貔貅”的處理分析服務(wù)產(chǎn)品等；中國移動(dòng)也有類似的命名為“大云”的企業(yè)大數(shù)據(jù)中心解決方案。

3 國內(nèi)電信運(yùn)營商大數(shù)據(jù)建設(shè)應(yīng)用存在的問題

國內(nèi)電信運(yùn)營商大數(shù)據(jù)建設(shè)應(yīng)用雖然如上所述已取得了很大的進(jìn)步，但目前仍存在一系列問題有待解決：

（1）人才問題： 建設(shè)大數(shù)據(jù)需要企業(yè)擁有大數(shù)據(jù)技術(shù)運(yùn)用能力、業(yè)務(wù)理解能力、數(shù)據(jù)洞察能力的綜合型人才（數(shù)據(jù)科學(xué)家），建立專業(yè)分工的高效團(tuán)隊(duì)。雖然經(jīng)過幾年的培養(yǎng)，電信運(yùn)營商已積累了一批該類人才，但總體缺口仍較缺大，未來仍需加大大數(shù)據(jù)人才培訓(xùn)與引進(jìn)力度。

（2）產(chǎn)業(yè)鏈問題：國內(nèi)電信運(yùn)營商大數(shù)據(jù)系統(tǒng)很多由外部供應(yīng)商建設(shè)，產(chǎn)業(yè)鏈環(huán)節(jié)較多，需求傳導(dǎo)較慢，難以適應(yīng)大數(shù)據(jù)所需的快速迭代開發(fā)需求，成本與速度上與互聯(lián)網(wǎng)企業(yè)相比處于劣勢(shì)，因此建設(shè)機(jī)制需優(yōu)化。

（3）數(shù)據(jù)問題：部分國內(nèi)電信運(yùn)營商大數(shù)據(jù)應(yīng)用存在重、散、慢、差的問題。部分內(nèi)部數(shù)據(jù)在多個(gè)系統(tǒng)中重復(fù)采集、重復(fù)存儲(chǔ)；系統(tǒng)林立，數(shù)出多門，口徑不一、系統(tǒng)數(shù)據(jù)關(guān)聯(lián)、共享，數(shù)據(jù)整合困難；數(shù)據(jù)時(shí)效性差，使用者無法及時(shí)獲取所需數(shù)據(jù)；數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不完整，不一致等。

（4）部門協(xié)同問題：大數(shù)據(jù)建設(shè)與業(yè)務(wù)應(yīng)用存在脫節(jié)問題。目前大數(shù)據(jù)建設(shè)多由運(yùn)營商省級(jí)公司或集團(tuán)公司集中建設(shè)，而使用部門則很多為地市、區(qū)縣公司與支局。建設(shè)部門與使用部門溝通不暢往往導(dǎo)致建設(shè)的大數(shù)據(jù)系統(tǒng)與一線實(shí)際需求存在脫節(jié)問題，如某運(yùn)營商省公司建設(shè)的客戶流失預(yù)警系統(tǒng)，每月定期會(huì)使用隨機(jī)森林模型識(shí)別出可能流失客戶清單并派單給地市公司進(jìn)行外呼維系，派單只有用戶號(hào)碼，并未進(jìn)一步分析可能流失原因，地市公司無法據(jù)此制定針對(duì)性的外呼策略，且每月派單量遠(yuǎn)超地市外呼維系能力，最終是地市公司從不使用該系統(tǒng)數(shù)據(jù)，導(dǎo)致系統(tǒng)未發(fā)揮應(yīng)有功能，建設(shè)投資浪費(fèi)。

（5）大數(shù)據(jù)安全問題：大數(shù)據(jù)安全與用戶隱私保護(hù)近年來得到越來越多的關(guān)注，國家已制定一系列相關(guān)法律用于保護(hù)用戶隱私。如何控制好運(yùn)營商大數(shù)據(jù)采集與應(yīng)用的法律風(fēng)險(xiǎn)也是一個(gè)較大的挑戰(zhàn)。

4 未來發(fā)展展望

在戰(zhàn)略層面，國內(nèi)運(yùn)營商已將大數(shù)據(jù)應(yīng)用與建設(shè)作為未來重要的戰(zhàn)略方向之一。中國移動(dòng)在“十三五”戰(zhàn)略規(guī)劃中把大數(shù)據(jù)建設(shè)和運(yùn)營作為十大戰(zhàn)略舉措中的IT能力提升工程的重點(diǎn)建設(shè)內(nèi)容之一；中國電信制定的中國電信戰(zhàn)略轉(zhuǎn)型3.0和企業(yè)核心能力清單中，基于云和大數(shù)據(jù)的共享平臺(tái)被視作未來七大核心能力之一；中國聯(lián)通也把大數(shù)據(jù)納入集團(tuán)的重要戰(zhàn)略性業(yè)務(wù)，在原有大數(shù)據(jù)中心和智慧足跡公司等基礎(chǔ)上，規(guī)劃成立大數(shù)據(jù)公司等。因此，在未來相當(dāng)長的一段時(shí)期內(nèi)，大數(shù)據(jù)建設(shè)與應(yīng)用仍會(huì)是電信運(yùn)營商重點(diǎn)開展的工作之一。

在具體的大數(shù)據(jù)應(yīng)用建設(shè)管理與操作方面，對(duì)內(nèi)，電信運(yùn)營商需進(jìn)一步優(yōu)化組織、人員結(jié)構(gòu)、管理流程、協(xié)作機(jī)制、風(fēng)險(xiǎn)管控，解決前文所述的目前國內(nèi)電信運(yùn)營商大數(shù)據(jù)建設(shè)應(yīng)用中存在的問題。此外，還需根據(jù)深度學(xué)習(xí)等人工智能技術(shù)的發(fā)展，進(jìn)一步引入新技術(shù)，優(yōu)化大數(shù)據(jù)平臺(tái)與架構(gòu)，并創(chuàng)造新的大數(shù)據(jù)對(duì)內(nèi)應(yīng)用等。在對(duì)外應(yīng)用方面，一方面電信運(yùn)營商需進(jìn)一步加強(qiáng)在市場(chǎng)上有競爭優(yōu)勢(shì)的大數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)品（數(shù)據(jù)存儲(chǔ)服務(wù)、傳輸網(wǎng)絡(luò)環(huán)境等）的推廣力度，并通過大數(shù)據(jù)基礎(chǔ)設(shè)施服務(wù)的提供，與客戶建立更加牢固的聯(lián)系及開展更高層次的市場(chǎng)合作；另一方面，需抓住國家政府智慧城市、大數(shù)據(jù)、“互聯(lián)網(wǎng)+”等相關(guān)政策的關(guān)注重點(diǎn)，充分發(fā)揮自身的數(shù)據(jù)資源優(yōu)勢(shì)，在相關(guān)細(xì)分領(lǐng)域建設(shè)出具有特色和競爭力的大數(shù)據(jù)產(chǎn)品與品牌。