基于GIS和大數(shù)據(jù)的運營監(jiān)控管理系統(tǒng)設(shè)計與實現(xiàn)

施曉光

中國聯(lián)合網(wǎng)絡(luò)通信有限公司南京分公司

0 概述

隨著通信基礎(chǔ)設(shè)施的完善、網(wǎng)民規(guī)模的增長和“互聯(lián)網(wǎng)+”計劃的出臺，通信運營商作為通信業(yè)務(wù)的服務(wù)企業(yè)，產(chǎn)生了豐富的數(shù)據(jù)資源。如何高效精準(zhǔn)的整合利用這些數(shù)據(jù)資源，對提高通信收入有著至關(guān)重要的作用。大數(shù)據(jù)的研究與應(yīng)用為通信業(yè)務(wù)的分析提供了強有力的技術(shù)支撐和豐富的經(jīng)驗。同時百度專門為想要從事軟件地圖應(yīng)用開發(fā)人員提供了免費的應(yīng)用接口——百度地圖 API，可方便的調(diào)用百度搜集的龐大的地圖數(shù)據(jù)庫，其含有國內(nèi)的各種道路信息，由于數(shù)據(jù)的龐大和功能的多樣，百度地圖API的實用價值在各個領(lǐng)域都得到了很高的評價。百度地圖API的使用為運營商直觀地掌握用戶的地理位置提供了強有力的條件。

本文基于GIS和大數(shù)據(jù)分析技術(shù)設(shè)計的運營監(jiān)控管理平臺是從用戶的訂單出發(fā)，收集用戶的位置信息，結(jié)合用戶的消費習(xí)慣，利用大數(shù)據(jù)技術(shù)對數(shù)據(jù)進行存儲與分析管理，充分考慮大數(shù)據(jù)的安全性，同時制定促銷策略的綜合性管理平臺。此系統(tǒng)可幫助運營商加強營銷人員對訂單的把控，增強數(shù)據(jù)分析，從而提高營銷效率。

1 監(jiān)控管理系統(tǒng)設(shè)計與實現(xiàn)

本系統(tǒng)是集訂單信息收集、分析處理以及制定策略于一體的綜合性管理平臺。包含了大數(shù)據(jù)存儲管理、大數(shù)據(jù)展示平臺、用戶管理等模塊。具體的系統(tǒng)框架如圖1所示：

本系統(tǒng)利用本地云存儲平臺作為資源支撐，將收集來的用戶訂單信息歸類整理，微觀上為用戶進行位置、消費、充值、離網(wǎng)等信息打標(biāo)，對敏感信息例如用戶身份證號、姓名等加密處理，宏觀上整理套餐的分布、業(yè)務(wù)單元的占比、收入變化態(tài)勢，發(fā)展變化態(tài)勢等信息并匯總?；诎踩浴⒏咝缘目紤]，建立了匯總信息表，平臺展示數(shù)據(jù)時直接從匯總信息表中讀取數(shù)據(jù)，提高了展示速度；用戶管理與系統(tǒng)管理功能從身份認(rèn)證、訪問控制、數(shù)據(jù)加密、日志記錄角度對本系統(tǒng)進行安全防護，利用系統(tǒng)管理的菜單功能實現(xiàn)了系統(tǒng)功能的控制。GIS訂單分析功能就是從直觀的視角展現(xiàn)整個地區(qū)的訂單分布情況。策略管理功能就是利用平臺的數(shù)據(jù)存儲與分析展示結(jié)果，制定營銷策略。

圖1 系統(tǒng)總體框架圖

1.1 GIS訂單分析

百度地圖API是一套由JavaScript語言編寫的將復(fù)雜的GIS底層邏輯封裝起來的應(yīng)用接口，通過該接口把地圖和訂單信息數(shù)據(jù)結(jié)合。此功能是利用百度地圖API應(yīng)用程序接口，標(biāo)記用戶的訂單地址信息，將訂單標(biāo)記到地圖的具體位置，同時將位置與用戶的套餐、激活、充值等關(guān)聯(lián)，以熱力圖的方式展示訂單情況。這個功能的實現(xiàn)，首先是百度地圖API開發(fā)、然后進行地址的經(jīng)緯度轉(zhuǎn)換、后臺信息關(guān)聯(lián)、前臺界面?zhèn)€性化展示。

（1）百度地圖API開發(fā)

申請百度地圖APIkey；根據(jù)需要創(chuàng)建秘鑰配置APIkey；下載百度地圖API庫；利用MyEclipse軟件在相應(yīng)的項目中引用百度地圖，從而進行項目的開發(fā)。

（2）地址經(jīng)緯度轉(zhuǎn)換

搭建好了百度地圖的開發(fā)環(huán)境，根據(jù)數(shù)據(jù)庫中讀取的地址信息，利用基于springmvc+mybatis的controller，進行地址的經(jīng)緯度轉(zhuǎn)換，并將轉(zhuǎn)換后的經(jīng)緯度信息重新寫回數(shù)據(jù)庫，實現(xiàn)了用戶＜-＞地址信息＜-＞地址經(jīng)緯度的關(guān)聯(lián)。

（3）前臺界面?zhèn)€性化展示

GIS的訂單分析功能經(jīng)過了地址信息的轉(zhuǎn)換，則完成了地圖的基本工作，下面就是充分利用這個信息，將訂單以熱力圖的方式展示出來，設(shè)置的個性化查詢頁面分別包含顯示的密度設(shè)置、產(chǎn)品設(shè)置、激活狀態(tài)設(shè)置，以及訂單開始時間等條件。根據(jù)這些條件查詢出來數(shù)據(jù)集，利用數(shù)據(jù)集里的經(jīng)緯度信息直接在地圖上標(biāo)識，則實現(xiàn)了訂單的熱力圖展示。

1.2 大數(shù)據(jù)存儲與展示

從數(shù)據(jù)和技術(shù)兩個角度可以將大數(shù)據(jù)架構(gòu)分為兩層：大數(shù)據(jù)生命周期和大數(shù)據(jù)平臺，如圖2所示：

圖2 大數(shù)據(jù)生命周期圖

大數(shù)據(jù)生命周期包含收集、存儲、整理、使用、分發(fā)和刪除各環(huán)節(jié)。數(shù)據(jù)通過收集進入大數(shù)據(jù)平臺并進行存儲，通過使用發(fā)掘其潛在價值，通過分發(fā)傳遞和共享數(shù)據(jù)或分析結(jié)果，最后刪除不需要的數(shù)據(jù)。因此可以說大數(shù)據(jù)生命周期是數(shù)據(jù)轉(zhuǎn)換為價值的過程。

大數(shù)據(jù)平臺提供大數(shù)據(jù)生命周期各環(huán)節(jié)所屬的基礎(chǔ)設(shè)施、存儲和處理平臺以及數(shù)據(jù)分析的算法等，是整個大數(shù)據(jù)架構(gòu)中的技術(shù)支撐。

運營商每天產(chǎn)生大量的用戶訂單，需要對訂單進行地址轉(zhuǎn)換、用戶畫像、用戶收入、激活、充值等信息的關(guān)聯(lián)，直到最后平臺的展示，本文的數(shù)據(jù)處理過程如圖3所示：

圖3 數(shù)據(jù)處理邏輯架構(gòu)圖

具體的實施步驟為：

（1）讀取轉(zhuǎn)換完地址信息的訂單數(shù)據(jù)，抽取訂單ID；

（2）利用訂單ID讀取用戶ID、號碼、套餐等信息；

（3）生成用戶的充值記錄表；

（4）將用戶ID與派送員信息關(guān)聯(lián)，生成派送員質(zhì)態(tài)考核報表；

（5）用戶的收入與發(fā)展匯總，生成收入監(jiān)控報表和發(fā)展監(jiān)控報表；

（6）利用時刻訂單報表和日運營監(jiān)控報表匯總生成日訂單概覽報表。

1.3 安全管理

大數(shù)據(jù)平臺安全主要解決大數(shù)據(jù)組件之間的身份認(rèn)證、數(shù)據(jù)隔離、數(shù)據(jù)加密存儲、大數(shù)據(jù)平臺邊界保護和設(shè)計，主要的關(guān)鍵技術(shù)有身份認(rèn)證、訪問控制、數(shù)據(jù)加密和審計等。

本系統(tǒng)從身份認(rèn)證、訪問控制、數(shù)據(jù)加密、日志記錄角度對系統(tǒng)進行安全防護。

（1）身份認(rèn)證：通過用戶名與密碼的方式進行登錄。

（2）訪問控制：分級設(shè)置角色權(quán)限，從超級管理員、地市管理員、地市報表查詢等，每一級角色只能查看本級功能。

（3）數(shù)據(jù)加密：對用戶的密碼進行了二次加密、用戶的敏感信息均進行了脫敏操作。

（4）日志管理：用戶登錄系統(tǒng)，自動記錄登錄信息、操作信息等，做到有章可查，有跡可循。

1.4 策略管理

本功能從配置策略標(biāo)簽、制定策略、分配策略執(zhí)行人以及策略執(zhí)行完成的效果評估來設(shè)計。

首先進行標(biāo)簽管理，生成標(biāo)簽庫。

然后，進行策略的生成，在此處選擇設(shè)置好的標(biāo)簽，根據(jù)選擇好的標(biāo)簽，生成查詢結(jié)果，并對用戶進行打標(biāo)，表示參與過本次策略，同時分配策略執(zhí)行人。同時，也要進行策略執(zhí)行人的管理，此處動態(tài)管理策略執(zhí)行人，只有分配了策略的執(zhí)行人，才能執(zhí)行策略。

最后，進行策略的執(zhí)行效果評估，以報表和明細(xì)的方式展示此策略執(zhí)行完后的數(shù)據(jù)對比情況，并提供導(dǎo)出功能。

2 系統(tǒng)應(yīng)用

本系統(tǒng)已經(jīng)投入使用于某通信公司的互聯(lián)網(wǎng)營銷中，在此次使用中支撐了490萬條記錄的訂單熱力圖展示，并以每月4萬條記錄的速度增長，支持不同粒度的訂單數(shù)據(jù)展示，可按套餐、業(yè)務(wù)單元、激活與否進行條件設(shè)定，查詢速度均低于3s。以往營銷人員分析訂單分布情況，只能模糊查看整個地市、業(yè)務(wù)單元、具體某一個地點的訂單情況，無法在全局的層面上分析訂單分布情況，此系統(tǒng)的應(yīng)用可從全局視角把握訂單的分布情況，同時此系統(tǒng)的訂單明細(xì)查詢功能又從細(xì)化的角度上查看具體某個地點的用戶明細(xì)，方便工作人員回訪，熱力圖展示如圖4所示。

圖4 熱力圖展示圖

本系統(tǒng)提高了數(shù)據(jù)分析能力，大數(shù)據(jù)的使用在處理數(shù)據(jù)的過程中提高了處理速度，尤其是分類匯總的處理方法，極大地提高了查詢速度，以10萬條用戶記錄查詢充值情況為例，以往查詢10萬條記錄的充值記錄數(shù)要用到2min，現(xiàn)在利用匯總信息表進行查詢只需要4s，提高了30倍的查詢效率。大數(shù)據(jù)分析結(jié)果的展示，為營銷人員提供了經(jīng)營監(jiān)控、訂單明細(xì)、派送員績效考核方面的各種信息，從宏觀到微觀，全面展示。

本系統(tǒng)提高了營銷人員的營銷效率，本系統(tǒng)的營銷策略功能充分利用了本平臺的數(shù)據(jù)存儲和分析結(jié)果，策略執(zhí)行結(jié)果又自適應(yīng)地完善了系統(tǒng)數(shù)據(jù)。自定義策略、自定義策略標(biāo)簽極大地方便了營銷人員的策略執(zhí)行速度，策略執(zhí)行結(jié)果可隨時查看，免除了以往策略執(zhí)行完成后需要請專業(yè)數(shù)據(jù)支撐人員提供數(shù)據(jù)的煩惱，按照數(shù)據(jù)提供的平均效率來看，至少減少了兩天的數(shù)據(jù)等待時間，提高了策略執(zhí)行的效果反饋。

3 總結(jié)

基于GIS和大數(shù)據(jù)的運營監(jiān)控管理系統(tǒng)利用百度地圖API和大數(shù)據(jù)分析技術(shù)，搭建了集GIS訂單分析、大數(shù)據(jù)分析展示、策略管理于一體的智能化系統(tǒng)，為運營商制定互聯(lián)網(wǎng)營銷策略提供了高效、及時的決策數(shù)據(jù)支撐，為營銷人員提供了直觀的運營情況展示和方便快捷的策略管理功能，進一步促進了互聯(lián)網(wǎng)營銷業(yè)務(wù)的發(fā)展。