基于大數(shù)據(jù)的智慧區(qū)域運營平臺設(shè)計與實現(xiàn)

顧志峰（中國移動通信集團上海有限公司，上海 200060）

0 引言

近年來，國內(nèi)電信行業(yè)市場競爭日益激烈。受到流量紅利快速釋放、同業(yè)及跨界競爭不斷加劇等經(jīng)營環(huán)境和“提速降費”持續(xù)推進等政策性因素的影響，基礎(chǔ)電信業(yè)務(wù)“量收剪刀差”進一步擴大。國內(nèi)電信運營商正處于轉(zhuǎn)型升級的關(guān)鍵時期，需要企業(yè)提升運營效率，實現(xiàn)高質(zhì)量發(fā)展。

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展和企業(yè)大數(shù)據(jù)意識的不斷提升，如何利用大數(shù)據(jù)推動企業(yè)管理模式的創(chuàng)新與運營能力的升級已經(jīng)成為每個企業(yè)都需要思考的問題［1］。國內(nèi)外電信運營商嘗試利用大數(shù)據(jù)技術(shù)在市場營銷、客戶服務(wù)、經(jīng)營決策和網(wǎng)絡(luò)優(yōu)化等方面開展應(yīng)用，并取得積極成效。大數(shù)據(jù)技術(shù)及應(yīng)用已經(jīng)成為電信運營商破解經(jīng)營難題的有效手段之一。

針對公司現(xiàn)有生產(chǎn)經(jīng)營系統(tǒng)在區(qū)域運營支撐等方面能力不足的問題，本文基于大數(shù)據(jù)技術(shù)設(shè)計并開發(fā)實現(xiàn)智慧區(qū)域運營平臺，通過數(shù)據(jù)賦能提升公司運營能力，發(fā)揮運營商大數(shù)據(jù)應(yīng)用價值。

1 系統(tǒng)功能設(shè)計

1.1 總體設(shè)計思路

圍繞可視化運營、便捷化營銷、網(wǎng)格化支撐的建設(shè)目標，智慧區(qū)域運營平臺基于大數(shù)據(jù)技術(shù)對運營商的網(wǎng)絡(luò)域、業(yè)務(wù)域等海量數(shù)據(jù)進行實時處理和挖掘分析，將運營數(shù)據(jù)關(guān)聯(lián)匯總納入網(wǎng)格，利用GIS地圖以可視化方式，實時全面洞察全市各類區(qū)域的特征情況；通過構(gòu)建豐富應(yīng)用場景及模型，實現(xiàn)精準營銷、智慧選址、業(yè)網(wǎng)協(xié)同等網(wǎng)格化運營支撐能力，提升公司市場運營效率。

1.2 功能設(shè)計

1.2.1 區(qū)域洞察

基于GIS 地圖圈劃出全市各級行政區(qū)劃、公司組織以及重點場景的區(qū)域，提供區(qū)域內(nèi)客戶、業(yè)務(wù)、網(wǎng)絡(luò)、資源等多維度的可視化洞察服務(wù)。在常規(guī)區(qū)域方面，支持市、區(qū)、街道/鎮(zhèn)等行政區(qū)劃，以及市公司、分公司、區(qū)域運營部、網(wǎng)格等組織機構(gòu)；在場景區(qū)域方面，支持5G 基站、營業(yè)廳、高校、交通樞紐等重點關(guān)注區(qū)域。

a）客流統(tǒng)計：基于可視化圖表展示選定區(qū)域?qū)崟r客流統(tǒng)計數(shù)據(jù)，并且按小時、日、月等顆粒度提供歷史客流統(tǒng)計數(shù)據(jù)查詢，以便業(yè)務(wù)人員實時、全面掌握區(qū)域客流情況。

b）區(qū)域畫像：基于可視化圖表展示選定區(qū)域人口特征，包括居住人口、工作人口、流動人口、客源地、年齡段、性別等維度；展示區(qū)域業(yè)務(wù)經(jīng)營指標，包括2G/4G/5G 用戶數(shù)、ARPU、DOU、MOU、網(wǎng)齡、套餐等維度；展示區(qū)域客群偏好特征，包括終端、APP使用及興趣偏好等情況；展示區(qū)域內(nèi)資源類別及數(shù)量，包括渠道網(wǎng)點、2G/4G/5G 基站、家寬小區(qū)等；展示區(qū)域內(nèi)基站流量、話務(wù)量等網(wǎng)絡(luò)運行指標。

c）客流熱力圖：基于GIS 地圖以可視化方式將選定區(qū)域的不同網(wǎng)格渲染成不同的顏色表示客流的密集程度，以便業(yè)務(wù)人員直觀地掌握選定區(qū)域客流地理分布情況。

d）客群洞察：針對重點發(fā)展業(yè)務(wù)，基于GIS 地圖將目標客群以熱力圖方式展示在地圖上，方便業(yè)務(wù)人員直觀地掌握用戶地理分布情況。同時，可以通過區(qū)域畫像交互式圖表，點擊人口特征、業(yè)務(wù)指標等細分類別（如居住人口、DOU 大于8 GB），展示該細分類別客群的地理分布情況。

e）資源視圖：基于GIS 地圖以POI 打點或多邊形區(qū)域著色方式展示區(qū)域內(nèi)渠道網(wǎng)點、2G/4G/5G 基站、家寬小區(qū)等資源的地理位置。

f）區(qū)域圈劃：除默認常規(guī)區(qū)域、場景區(qū)域外，為業(yè)務(wù)人員提供所見即所得的自定義圈劃區(qū)域功能，支持圓形、多邊形等形狀，實現(xiàn)快速、靈活支撐各類區(qū)域洞察需求。

1.2.2 精準營銷

根據(jù)營銷需求，選定區(qū)域或自定義圈劃區(qū)域，通過自助標簽或營銷模型篩選出目標客群后，利用系統(tǒng)自有短信、外呼等渠道觸點，或其他營銷系統(tǒng)部署執(zhí)行營銷活動，實現(xiàn)營業(yè)廳引流、地推活動預(yù)熱以及其他各類場景的精準營銷。

1.2.3 智慧選址

面向渠道管理，可視化展示選定營業(yè)廳等渠道網(wǎng)點覆蓋區(qū)域范圍、周邊客流熱力分布、友商網(wǎng)點等相關(guān)情況，輸出周邊客流數(shù)量、人口特征、業(yè)務(wù)指標等量化數(shù)據(jù)，根據(jù)模型給出選址建議，為渠道網(wǎng)點優(yōu)化與管理提供數(shù)據(jù)化、可視化支撐。

1.2.4 業(yè)網(wǎng)協(xié)同

從業(yè)務(wù)角度，建立弱覆蓋、異常核查、用戶感知差、高負荷擴容、高倒流優(yōu)化等模型，基于GIS 地圖提供選定時段的質(zhì)差小區(qū)清單，精準定位故障片區(qū)，并持續(xù)跟蹤指標改善情況，便于業(yè)務(wù)人員了解與業(yè)務(wù)發(fā)展相關(guān)的網(wǎng)絡(luò)運行信息，支撐區(qū)域流量發(fā)展。

1.2.5 區(qū)域及任務(wù)管理

通過可視化自助界面，業(yè)務(wù)人員能夠查看、管理自建區(qū)域、營銷任務(wù)等信息；具有系統(tǒng)權(quán)限的業(yè)務(wù)管理人員查看、管理全市各級組織的區(qū)域、營銷任務(wù)等信息，對業(yè)務(wù)人員自建區(qū)域、營銷任務(wù)等進行審批，分派工作任務(wù)等。

2 系統(tǒng)開發(fā)實現(xiàn)

智慧區(qū)域運營平臺基于Hadoop和Spark框架的大數(shù)據(jù)平臺開發(fā)。整個系統(tǒng)主要包括數(shù)據(jù)采集層、數(shù)據(jù)處理與分析層、數(shù)據(jù)服務(wù)層、應(yīng)用層等，系統(tǒng)架構(gòu)如圖1所示［2］。

2.1 數(shù)據(jù)采集層

數(shù)據(jù)采集層主要負責完成各類數(shù)據(jù)的接入。系統(tǒng)使用的數(shù)據(jù)源主要包括網(wǎng)絡(luò)DPI 等實時數(shù)據(jù)，經(jīng)分系統(tǒng)的用戶信息表、渠道網(wǎng)點清單、家寬小區(qū)清單和網(wǎng)管系統(tǒng)的網(wǎng)絡(luò)性能報表、基站工參表等離線數(shù)據(jù)。系統(tǒng)采用Flume 日志采集工具從公司的統(tǒng)一聚合平臺消費實時數(shù)據(jù)，寫入Kafka 分布式消息隊列中，供上層應(yīng)用進行實時流處理或離線批處理。離線數(shù)據(jù)量相對較少，通過FTP 接口機等方式接入，存儲到Hadoop的HDFS分布式文件系統(tǒng)。

2.2 數(shù)據(jù)處理與分析層

數(shù)據(jù)處理與分析層主要負責網(wǎng)格化處理、實時數(shù)據(jù)關(guān)聯(lián)匯總、離線數(shù)據(jù)挖掘分析。

在大數(shù)據(jù)處理前，網(wǎng)格化模塊預(yù)先采用Geohash算法對基站、渠道網(wǎng)點、家寬小區(qū)等的經(jīng)緯度數(shù)據(jù)進行編碼。Geohash 算法首先根據(jù)經(jīng)度［-180，180］、緯度［-90，90］的區(qū)間范圍，對經(jīng)度和緯度分別不斷進行二分（左區(qū)間取0，右區(qū)間取1）轉(zhuǎn)換成二進制編碼，然后按照偶數(shù)位放經(jīng)度、奇數(shù)位放緯度的規(guī)則（從第0位開始），將經(jīng)度和緯度二進制編碼按位交替組合，最后根據(jù)Base32 編碼將組合后的二進制編碼轉(zhuǎn)換成字符串［3］。Geohash 把二維的經(jīng)緯度坐標編碼成一維的字符串后，可以提升后續(xù)查詢效率。Geohash 編碼字符串越長，精度就越高，對應(yīng)的網(wǎng)格范圍也越小。綜合考慮精度和效率，本系統(tǒng)Geohash 編碼字符串長度取7位，相應(yīng)網(wǎng)格尺寸為153×153 m。Geohash 編碼示例如表1 所示。經(jīng)過網(wǎng)格化，全市區(qū)域被劃分為數(shù)萬個網(wǎng)格，建立基站、渠道網(wǎng)點、家寬小區(qū)等與網(wǎng)格的關(guān)系，實現(xiàn)相關(guān)資源數(shù)據(jù)入格。

實時處理部分采用Spark Streaming 按設(shè)定時間間隔（5 min）對實時流數(shù)據(jù)進行處理，抽取網(wǎng)絡(luò)信令XDR中IMSI、TAC、CELL ID、TIME等關(guān)鍵數(shù)據(jù)字段，與預(yù)先寫入Redis 內(nèi)存數(shù)據(jù)庫的用戶標簽（人口特征、位置、興趣偏好等）、業(yè)務(wù)指標、基站網(wǎng)格編碼等數(shù)據(jù)進行實時關(guān)聯(lián)，形成中間數(shù)據(jù)并寫入Kafka；其中根據(jù)用戶所處基站，實現(xiàn)了用戶相關(guān)數(shù)據(jù)入格。經(jīng)過關(guān)聯(lián)處理后，Spark Streaming 讀取中間數(shù)據(jù)，按設(shè)定的窗口時間長度（2 h）和滑動間隔（5 min），基于網(wǎng)格進行數(shù)據(jù)匯總統(tǒng)計，并將結(jié)果數(shù)據(jù)存入MySQL 數(shù)據(jù)庫。實時數(shù)據(jù)處理流程如圖2所示。

離線處理部分由HDFS、Hive、Spark 等組成，對DPI、經(jīng)分等數(shù)據(jù)進行離線處理與分析。通過位置模型為用戶打上居住地、工作地等位置類標簽，根據(jù)精準營銷、智慧選址、業(yè)網(wǎng)協(xié)同等應(yīng)用需求，建立相關(guān)模型進行深度數(shù)據(jù)挖掘分析，其中用戶標簽數(shù)據(jù)寫入HBase數(shù)據(jù)庫。

2.3 數(shù)據(jù)服務(wù)層

圖2 實時數(shù)據(jù)處理流程

數(shù)據(jù)服務(wù)層主要負責提供數(shù)據(jù)查詢服務(wù)。根據(jù)系統(tǒng)前端的業(yè)務(wù)人員操作請求，網(wǎng)格數(shù)據(jù)查詢模塊按區(qū)域與網(wǎng)格關(guān)系從MySQL 數(shù)據(jù)庫中查詢數(shù)據(jù)，計算出選定區(qū)域的各類統(tǒng)計數(shù)據(jù)。營銷數(shù)據(jù)查詢模塊首先基于Solr 對HBase 表中涉及篩選的字段和RowKey 建立索引，然后通過Solr 快速查詢獲得符合篩選條件的RowKey，實時統(tǒng)計出目標客群人數(shù)，最后通過這些RowKey 在HBase 的全量用戶數(shù)據(jù)中查詢獲取目標客群數(shù)據(jù)［4］。

2.4 應(yīng)用層

應(yīng)用層主要負責提供數(shù)據(jù)可視化展示及應(yīng)用功能服務(wù)。系統(tǒng)通過Web 門戶為業(yè)務(wù)人員以可視化交互方式提供區(qū)域洞察、精準營銷、智慧選址、業(yè)網(wǎng)協(xié)同、區(qū)域管理等應(yīng)用功能。系統(tǒng)采用B/S 架構(gòu)，基于前后端分離的模式進行Web 應(yīng)用開發(fā)，前端采用Vue.js實現(xiàn)用戶UI 界面構(gòu)建和數(shù)據(jù)展示，后端采用Spring Boot 框架實現(xiàn)業(yè)務(wù)邏輯和數(shù)據(jù)提供；前端通過AJAX向后端接口請求數(shù)據(jù)，數(shù)據(jù)以JSON 格式進行傳輸；此外，將客群、基站清單等數(shù)據(jù)按應(yīng)用或接口要求生成文件。在數(shù)據(jù)可視化方面，為快速開發(fā)實現(xiàn)，GIS 部分采用百度地圖JavaScript API，實現(xiàn)地圖底圖繪制、熱力圖渲染、資源POI 打點以及區(qū)域自定義圈劃等功能［5］；圖表部分采用ECharts 開源可視化圖表庫，以折線圖、柱狀圖、餅圖等豐富形式，實現(xiàn)客流統(tǒng)計、區(qū)域畫像等洞察數(shù)據(jù)可視化，系統(tǒng)Web 界面如圖3 所示。營銷接口模塊根據(jù)接口規(guī)范打通短信網(wǎng)關(guān)、呼叫中心等系統(tǒng)，或調(diào)用其他營銷系統(tǒng)能力，通過FTP推送客群數(shù)據(jù)文件，執(zhí)行精準營銷活動。

3 結(jié)束語

本文基于大數(shù)據(jù)技術(shù)研究開發(fā)智慧區(qū)域運營平臺，創(chuàng)新性實現(xiàn)面向區(qū)域運營的數(shù)據(jù)網(wǎng)格化、實時處理、實時查詢、數(shù)據(jù)可視化等關(guān)鍵技術(shù)，高效滿足洞察分析、精準營銷等應(yīng)用需求。目前智慧區(qū)域運營平臺已完成開發(fā)并在公司推廣使用，面向各級運營人員提供多維度實時區(qū)域洞察，支撐營業(yè)廳引流賦能渠道業(yè)務(wù)發(fā)展、住宅小區(qū)位置營銷拓展家庭寬帶、智慧選址優(yōu)化網(wǎng)點布局、業(yè)網(wǎng)協(xié)同助力流量提升等應(yīng)用場景，達到了可視化運營、便捷化營銷、網(wǎng)格化支撐的系統(tǒng)建設(shè)目標，取得了良好的經(jīng)濟效益。隨著系統(tǒng)功能迭代優(yōu)化、應(yīng)用場景不斷豐富，智慧區(qū)域運營平臺將在網(wǎng)格化運營、渠道轉(zhuǎn)型、5G 營銷等方面發(fā)揮更大的價值。