基于大數(shù)據(jù)的M運(yùn)營商運(yùn)營管理信息系統(tǒng)應(yīng)用（一）

趙恒 中國移動江蘇有限公司網(wǎng)絡(luò)部

中創(chuàng)信測技術(shù)專欄

基于大數(shù)據(jù)的M運(yùn)營商運(yùn)營管理信息系統(tǒng)應(yīng)用（一）

趙恒 中國移動江蘇有限公司網(wǎng)絡(luò)部

編者按：針對某省運(yùn)營管理系統(tǒng)存在的數(shù)據(jù)問題和現(xiàn)狀，中國移動江蘇有限公司網(wǎng)絡(luò)部趙恒特撰寫《基于大數(shù)據(jù)的M運(yùn)營商運(yùn)營管理信息系統(tǒng)應(yīng)用》一文，該文有針對性地提出了Hadoop處理框架和數(shù)據(jù)集市云化的架構(gòu)應(yīng)用，描述了基于大數(shù)據(jù)平臺的某運(yùn)營商運(yùn)管管理信息系統(tǒng)，其內(nèi)部優(yōu)化了KPI管理、產(chǎn)品管理、決策管理、生產(chǎn)服務(wù)、客戶服務(wù)、投訴管理、市場營銷等管理流程，在項(xiàng)目實(shí)施過程中形成了統(tǒng)一大數(shù)據(jù)中心管理模式，打破了部門壁壘和信息鴻溝，效果良好，獲得運(yùn)營商集團(tuán)公司科技與業(yè)務(wù)創(chuàng)新一等獎?？晒┫嚓P(guān)技術(shù)人員學(xué)習(xí)、參考。

針對某省運(yùn)營管理系統(tǒng)存在的基礎(chǔ)數(shù)據(jù)問題和現(xiàn)狀，有針對性提出了Hadoop處理框架和數(shù)據(jù)集市云化的架構(gòu)應(yīng)用。本文描述了基于大數(shù)據(jù)平臺的某省運(yùn)營商運(yùn)管管理信息系統(tǒng)，在內(nèi)部優(yōu)化了包括KPI管理、產(chǎn)品管理、決策管理、生產(chǎn)服務(wù)、客戶服務(wù)、投訴管理、市場營銷等在內(nèi)的管理流程，在項(xiàng)目實(shí)施過程中形成統(tǒng)一大數(shù)據(jù)中心管理模式，打破部門壁壘和信息鴻溝，產(chǎn)生了良好的效果，獲得運(yùn)營商集團(tuán)公司的科技與業(yè)務(wù)創(chuàng)新一等獎。

大數(shù)據(jù)；運(yùn)營商；運(yùn)營管理；管理信息系統(tǒng)

1 大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)的實(shí)現(xiàn)

大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)采用新技術(shù)，運(yùn)營商采用業(yè)界先進(jìn)且成熟的技術(shù)，考慮技術(shù)產(chǎn)品升級時的平滑度，保證所選的軟硬件具有較長的生命周期，滿足需求，立足應(yīng)用，構(gòu)建大數(shù)據(jù)生態(tài)體系。先進(jìn)成熟技術(shù)包括Hadoop處理框架、實(shí)時流式數(shù)據(jù)處理框架等（見圖1）。

（1）Hadoop處理框架（見圖2）

一個分布式系統(tǒng)架構(gòu)，充分利用集群的威力高速運(yùn)算和存儲，提供高傳輸率來訪問、計算已存儲的海量數(shù)據(jù)；是大數(shù)據(jù)處理架構(gòu)的事實(shí)標(biāo)準(zhǔn)。

部署x86Hadoop平臺，在聚合層存儲海量源數(shù)據(jù)，并針對海量、非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)提供大規(guī)模處理的計算能力，在數(shù)據(jù)資產(chǎn)層存儲離線數(shù)據(jù)資產(chǎn)，提供高效查詢的資產(chǎn)存儲管理能力。

（2）流數(shù)據(jù)處理框架（見圖3）

一種分布式、容錯的實(shí)時計算系統(tǒng)，實(shí)時處理消息并根據(jù)處理結(jié)果提供相應(yīng)的處理機(jī)制。

部署x86流數(shù)據(jù)處理平臺，在聚合層對接源系統(tǒng)

實(shí)時數(shù)據(jù)接口，實(shí)時采集源信息并進(jìn)行處理與分析；結(jié)合數(shù)據(jù)資產(chǎn)層的數(shù)據(jù)應(yīng)用模型、數(shù)據(jù)應(yīng)用層的規(guī)則引擎及時做出業(yè)務(wù)目標(biāo)的響應(yīng)（實(shí)時BI、實(shí)時事件觸發(fā)式營銷等）。

圖1 大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)技術(shù)構(gòu)成圖

圖2 Hadoop處理框架圖

圖3 流數(shù)據(jù)處理框架圖

（3）業(yè)務(wù)規(guī)則引擎（見圖4）

規(guī)則引擎將業(yè)務(wù)決策從應(yīng)用程序代碼中分離出

來，并使用預(yù)定義的語義模塊編寫、解釋業(yè)務(wù)規(guī)則，并根據(jù)業(yè)務(wù)規(guī)則做出業(yè)務(wù)決策。

圖4 業(yè)務(wù)規(guī)則引擎結(jié)構(gòu)圖

將數(shù)據(jù)按照一定的業(yè)務(wù)規(guī)則分類，匹配業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求場景；定義事件與流程，面向其他業(yè)務(wù)平臺將數(shù)據(jù)中心的能力按照規(guī)則主動式提供。

（4）數(shù)據(jù)服務(wù)樞紐（見圖5）

按照數(shù)據(jù)開放公共語義模型，將數(shù)據(jù)資產(chǎn)封裝成共享業(yè)務(wù)數(shù)據(jù)模型，形成上層服務(wù)；屏蔽系統(tǒng)接口的技術(shù)差異，使用ESB統(tǒng)一協(xié)調(diào)服務(wù)運(yùn)營。

實(shí)現(xiàn)企業(yè)數(shù)據(jù)中心的數(shù)據(jù)與應(yīng)用分離，提高數(shù)據(jù)安全性與復(fù)用性。通過ESB服務(wù)樞紐對其他業(yè)務(wù)系統(tǒng)開放標(biāo)準(zhǔn)化的服務(wù)接口，形成系統(tǒng)間的有效互動。

（5）數(shù)據(jù)集市云化架構(gòu)（見圖6）

圖5 數(shù)據(jù)服務(wù)樞紐結(jié)構(gòu)圖

圖6 數(shù)據(jù)集市云化架構(gòu)圖

構(gòu)建云計算x86資源池，提供按需伸縮的基礎(chǔ)設(shè)

施架構(gòu)；承載分布式MPP數(shù)據(jù)庫系統(tǒng)，提供平滑擴(kuò)展的強(qiáng)大并行計算能力。

利用x86資源池的低成本，提供數(shù)據(jù)集市的所需要的易擴(kuò)展、分布式、高并發(fā)的數(shù)據(jù)計算能力；面向應(yīng)用存儲在線高熱度訪問、海量實(shí)時計算的數(shù)據(jù)。

2 大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)解決的問題

大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)平臺的應(yīng)用，解決了M運(yùn)營商原有平臺的相關(guān)問題，豐富了大數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)源，加強(qiáng)了數(shù)據(jù)分析能力，通過統(tǒng)一存儲和管理，打破了數(shù)據(jù)鴻溝，提高了系統(tǒng)效率。

2.1 增加網(wǎng)絡(luò)數(shù)據(jù)采集，豐富大數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)源

運(yùn)營商產(chǎn)品包括傳統(tǒng)通信、上網(wǎng)、內(nèi)容和應(yīng)用。傳統(tǒng)通信有通話、短彩信、開關(guān)機(jī)和停復(fù)機(jī)。用戶上網(wǎng)途徑有3種：2G、3G、4G的手機(jī)上網(wǎng)方式；WLAN無線寬帶上網(wǎng)方式；有線寬帶上網(wǎng)方式。內(nèi)容和應(yīng)用有手機(jī)郵箱、手機(jī)游戲、手機(jī)視頻、手機(jī)音樂、手機(jī)電商和應(yīng)用商店等。通過在相應(yīng)的網(wǎng)絡(luò)上增加網(wǎng)絡(luò)信息采集器，實(shí)現(xiàn)數(shù)據(jù)采集。

比如：針對通話，可以采集到的信息有主叫號碼、被叫號碼、主叫開始時間、被叫開始振鈴時間、被叫接通時間、主被叫掛機(jī)時間、主叫發(fā)起呼叫位置、被叫振鈴位置、被叫掛機(jī)位置、主叫掛機(jī)位置、呼叫轉(zhuǎn)移號碼、主叫手機(jī)類型、被叫手機(jī)類型和通話質(zhì)量。

M運(yùn)營商增加了上述的各種產(chǎn)品的數(shù)據(jù)采集，每天采集數(shù)據(jù)量約30TB。這些數(shù)據(jù)的價值體現(xiàn)在可以用來指導(dǎo)網(wǎng)絡(luò)的維護(hù)和優(yōu)化，可以用來提高服務(wù)質(zhì)量，可以通過針對性的營銷提升效果，可以與第三方合作增加數(shù)據(jù)的挖掘價值。

2.2 加強(qiáng)基礎(chǔ)數(shù)據(jù)分析，生成大數(shù)據(jù)次級數(shù)據(jù)字典

通過基礎(chǔ)數(shù)據(jù)分析，加工生成二級數(shù)據(jù)豐富數(shù)據(jù)字典，分析匯總指標(biāo)體系包含指標(biāo)3000多個，針對公司各部門各分公司和各業(yè)務(wù)產(chǎn)品訂制報表500多張。

繼續(xù)以通話為例，為了指導(dǎo)和考核網(wǎng)絡(luò)維護(hù)與優(yōu)化工作，通過對全網(wǎng)所有通話行為的分析，提煉出如下指標(biāo)：呼叫接續(xù)時長=被叫開始振鈴時間-主叫開始時間，加上主叫所在位置聯(lián)合分析，可以對所有網(wǎng)絡(luò)小區(qū)的平均呼叫接續(xù)時長進(jìn)行統(tǒng)計分析，得出需要優(yōu)化的小區(qū)、派發(fā)優(yōu)化任務(wù)給維護(hù)部門、并可以跟蹤優(yōu)化效果；同樣呼叫接續(xù)時長、主叫位置、主叫手機(jī)類型聯(lián)合分析，可以得出手機(jī)和網(wǎng)絡(luò)配合情況，指導(dǎo)問題手機(jī)生產(chǎn)商進(jìn)行手機(jī)的質(zhì)量改進(jìn)。

繼續(xù)以通話為例，為了指導(dǎo)和考核營銷部門的優(yōu)惠購機(jī)入網(wǎng)套餐銷售質(zhì)量，通過對一定時間區(qū)間內(nèi)各個渠道銷售的優(yōu)惠手機(jī)通話分析，提煉出如下指標(biāo)：渠道銷售終端次月活躍度=Count（主叫號碼&主叫手機(jī)類型in渠道a終端銷售庫）/sum（渠道a終端銷售庫）。這樣分析可以對渠道銷售質(zhì)量進(jìn)行指導(dǎo)和考核，并能有效發(fā)現(xiàn)渠道通過假銷售套取銷售傭金的欺詐行為。

2.3 統(tǒng)一存儲和管理，打破數(shù)據(jù)鴻溝提高系統(tǒng)效率

M運(yùn)營商的大數(shù)據(jù)系統(tǒng)當(dāng)前存儲數(shù)據(jù)量超過30PB。在統(tǒng)一存儲和數(shù)據(jù)管理的基礎(chǔ)上，通過聯(lián)合關(guān)聯(lián)，把以前分散在各個信息系統(tǒng)中的數(shù)據(jù)匯聚拼接出用戶真正的全貌。通過泛在挖掘，把握單個用戶的真正需求，挖掘潛在用戶群的行為特征。系統(tǒng)能力增強(qiáng)的實(shí)時應(yīng)用，能及時地反應(yīng)到用戶服務(wù)上。（待續(xù)）