面向電網(wǎng)在線服務(wù)渠道的全域數(shù)據(jù)中心架構(gòu)研究

張才俊 劉鯤鵬 程飛飛

摘 要：隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，“互聯(lián)網(wǎng)+”信息時(shí)代的大趨勢(shì)，進(jìn)一步加強(qiáng)服務(wù)資源集中和共享、適應(yīng)互聯(lián)網(wǎng)發(fā)展、強(qiáng)化渠道質(zhì)量管控、支撐大數(shù)據(jù)分析和應(yīng)用、以客戶為中心的現(xiàn)代服務(wù)體系，更好地服務(wù)于市場(chǎng)與客戶，開展數(shù)據(jù)融合的大背景下，構(gòu)建統(tǒng)一開放的面向電網(wǎng)在線服務(wù)渠道的全域數(shù)中心架構(gòu)研究應(yīng)運(yùn)而生。簡(jiǎn)要介紹了面向電網(wǎng)在線服務(wù)渠道的全域數(shù)中心架構(gòu)研究的渠道數(shù)據(jù)集成現(xiàn)狀、渠道數(shù)據(jù)集成目標(biāo)架構(gòu)、渠道數(shù)據(jù)集成路線，最后簡(jiǎn)述了架構(gòu)研究的發(fā)展前景。

關(guān)鍵詞：渠道數(shù)據(jù)；數(shù)據(jù)中心；集成架構(gòu)

中圖分類號(hào)：TM769 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2018）24-0117-03

0 引言

公司（本文公司均代指國(guó)家電網(wǎng)公司）現(xiàn)有互聯(lián)網(wǎng)服務(wù)渠道數(shù)據(jù)、獨(dú)立采集、存儲(chǔ)，數(shù)據(jù)存儲(chǔ)模式及地點(diǎn)統(tǒng)計(jì)。公司渠道業(yè)務(wù)數(shù)據(jù)表現(xiàn)出來(lái)的特征為：（1）數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)交互缺乏統(tǒng)一標(biāo)準(zhǔn)；（2）同類型業(yè)務(wù)重復(fù)存儲(chǔ)多份；（3）跨專業(yè)數(shù)據(jù)未打通，造成大量的數(shù)據(jù)孤島，無(wú)法支撐跨渠道、跨專業(yè)的數(shù)據(jù)分析，數(shù)據(jù)價(jià)值難以充分發(fā)揮。

2018年3月起，公司組織多個(gè)營(yíng)銷業(yè)務(wù)單位集中開展 “網(wǎng)上國(guó)網(wǎng)”的總體設(shè)計(jì)，提出建設(shè)“客戶聚合、業(yè)務(wù)融通、數(shù)據(jù)共享、創(chuàng)新支撐”的新一代互聯(lián)網(wǎng)綜合服務(wù)平臺(tái)，“網(wǎng)上國(guó)網(wǎng)”應(yīng)用面向互聯(lián)網(wǎng)渠道運(yùn)營(yíng)，如何有效的匯聚、融合各渠道客戶數(shù)據(jù)支撐客戶聚合，提煉抽象共性數(shù)據(jù)服務(wù)支撐業(yè)務(wù)融合，打通內(nèi)外網(wǎng)、橫縱向數(shù)據(jù)交互通道支撐業(yè)務(wù)高效運(yùn)行，共享運(yùn)營(yíng)管理經(jīng)驗(yàn)提升服務(wù)水平，是站在數(shù)據(jù)管理的角度必須考慮的問(wèn)題，同時(shí)在線服務(wù)渠道融合的本質(zhì)是數(shù)據(jù)融合，整合各渠道資源首先需要構(gòu)建統(tǒng)一的客戶數(shù)據(jù)全景視圖，即搭建面向全網(wǎng)在線電力服務(wù)渠道的全域數(shù)據(jù)中心，提升數(shù)據(jù)創(chuàng)新能力，適應(yīng)互聯(lián)網(wǎng)+服務(wù)模式下客戶需求快速響應(yīng)，提升用戶體驗(yàn)，支撐“網(wǎng)上國(guó)網(wǎng)”高效運(yùn)營(yíng)。[1-2]

1 公司渠道數(shù)據(jù)集成現(xiàn)狀

1.1 渠道數(shù)據(jù)存儲(chǔ)現(xiàn)狀

目前，公司在線服務(wù)渠道數(shù)據(jù)存儲(chǔ)包括：移動(dòng)支付業(yè)務(wù)數(shù)據(jù)內(nèi)容主要包括信息公告數(shù)據(jù)、賬號(hào)數(shù)據(jù)、線上業(yè)務(wù)辦理數(shù)據(jù)、業(yè)務(wù)服務(wù)數(shù)據(jù)、系統(tǒng)支撐數(shù)據(jù)、運(yùn)行管理數(shù)據(jù)等，主要為結(jié)構(gòu)化數(shù)據(jù)，存放于內(nèi)網(wǎng)，采用ORACLE數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)；電力APP業(yè)務(wù)數(shù)據(jù)內(nèi)容主要包括業(yè)務(wù)辦理信息、繳費(fèi)信息、用電信息等，主要為結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫(kù)為ORACLE數(shù)據(jù)庫(kù)，照片、圖片等非結(jié)構(gòu)化數(shù)據(jù)通過(guò)轉(zhuǎn)碼存儲(chǔ)在內(nèi)網(wǎng)ORACLE數(shù)據(jù)，內(nèi)外網(wǎng)穿透采用sql穿透強(qiáng)隔離實(shí)現(xiàn)；電子商城業(yè)務(wù)數(shù)據(jù)內(nèi)容包括活動(dòng)信息、用戶賬戶、訂單、工單數(shù)據(jù)等，內(nèi)外網(wǎng)均有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化存儲(chǔ)采用ORACLE、MYSQL等關(guān)系數(shù)據(jù)庫(kù)，非結(jié)構(gòu)化存儲(chǔ)采用文件系統(tǒng)存儲(chǔ)；車聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)內(nèi)容包括充電訂單、充電詳單、充電復(fù)核、異常訂單、灰鎖記錄、解灰記錄主要為結(jié)構(gòu)化數(shù)據(jù)，采用DRDS（分布式關(guān)系型數(shù)據(jù)服務(wù)）方式存儲(chǔ)，同時(shí)，車聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)內(nèi)容包括軌跡數(shù)據(jù)、訂單數(shù)據(jù)、車廠數(shù)據(jù)、賬單數(shù)據(jù)、車輛信息、跟蹤定位、歷史軌跡、電子圍欄、車庫(kù)設(shè)置。主要為結(jié)構(gòu)化數(shù)據(jù)，采用DRDS方式存儲(chǔ)。

1.2 渠道集成現(xiàn)狀

公司在線服務(wù)渠道均存在著業(yè)務(wù)處理鏈路多、鏈路長(zhǎng)、邏輯不統(tǒng)一以及各渠道間同樣因業(yè)務(wù)交互需求，存在著交叉的業(yè)務(wù)處理鏈路等現(xiàn)狀。其中，電力移動(dòng)支付平臺(tái)調(diào)用繳費(fèi)平臺(tái)及營(yíng)銷系統(tǒng)進(jìn)行電量查詢、欠費(fèi)信息查詢、預(yù)存電費(fèi)信息、電費(fèi)銷賬、生成對(duì)賬文件、并保存到數(shù)據(jù)庫(kù)中；光伏支付平臺(tái)通過(guò)與業(yè)務(wù)支持系統(tǒng)、呼叫平臺(tái)、車聯(lián)網(wǎng)、營(yíng)銷系統(tǒng)、繳費(fèi)平臺(tái)提供客戶檔案、客戶服務(wù)、客戶關(guān)系、電網(wǎng)拓?fù)?、人員組織、系統(tǒng)支撐等服務(wù)；電子商城通過(guò)業(yè)務(wù)系統(tǒng)提供客戶咨詢、客戶投訴、客戶建議等客戶服務(wù)；電力APP中客戶檔案查詢、電量電費(fèi)信息、繳費(fèi)記錄、業(yè)務(wù)辦理進(jìn)度等業(yè)務(wù)辦理通過(guò)與營(yíng)銷業(yè)務(wù)系統(tǒng)集成實(shí)現(xiàn)。[3]

2 公司渠道數(shù)據(jù)集成目標(biāo)架構(gòu)

2.1 公司渠道數(shù)據(jù)集成目標(biāo)

建設(shè)“客戶聚合、業(yè)務(wù)融通、數(shù)據(jù)共享、創(chuàng)新支撐”的新一代互聯(lián)網(wǎng)綜合服務(wù)平臺(tái)，“網(wǎng)上國(guó)網(wǎng)”應(yīng)用面向互聯(lián)網(wǎng)渠道運(yùn)營(yíng)，有效的匯聚、融合各渠道客戶數(shù)據(jù)，提煉融合抽象共性數(shù)據(jù)服務(wù)支撐業(yè)務(wù)，打通內(nèi)外網(wǎng)、橫縱向數(shù)據(jù)交互通道，支撐業(yè)務(wù)高效運(yùn)行。公司渠道數(shù)據(jù)集成按照統(tǒng)一的數(shù)據(jù)模型和管理規(guī)范，集中接入、整合各渠道的賬戶數(shù)據(jù)和客戶數(shù)據(jù)，豐富數(shù)據(jù)品類，優(yōu)化數(shù)據(jù)交互，支撐新應(yīng)用的監(jiān)測(cè)預(yù)警、運(yùn)營(yíng)管理、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用、發(fā)布共享等，實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，豐富數(shù)據(jù)品類，優(yōu)化數(shù)據(jù)交互，深化數(shù)據(jù)共享應(yīng)用，促進(jìn)各類業(yè)務(wù)延伸融合和價(jià)值共創(chuàng)，打造品類豐富、開放共享、合作共贏的數(shù)字化能源服務(wù)新生態(tài)。

2.2 公司渠道數(shù)據(jù)集成架構(gòu)（圖1）

數(shù)據(jù)集成融合按兩級(jí)部署模式，分為數(shù)據(jù)接入層、融合存儲(chǔ)層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)管理及分析應(yīng)用層。[4]

（1）數(shù)據(jù)源：包括渠道數(shù)據(jù)、營(yíng)銷數(shù)據(jù)和外部數(shù)據(jù)，其中營(yíng)銷數(shù)據(jù)可直接由營(yíng)銷基礎(chǔ)數(shù)據(jù)平臺(tái)提供，納入全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心貼源區(qū)管理；渠道數(shù)據(jù)通過(guò)數(shù)據(jù)同步、ETL接入、集成接入等方式實(shí)現(xiàn)；外部數(shù)據(jù)通過(guò)集成接口、網(wǎng)絡(luò)爬蟲等方式接入。

（2）數(shù)據(jù)接入：針對(duì)各渠道數(shù)據(jù)現(xiàn)狀（含內(nèi)外網(wǎng)現(xiàn)狀），采用不同的技術(shù)路線實(shí)現(xiàn)數(shù)據(jù)的接入歸集。

（3）融合存儲(chǔ)：數(shù)據(jù)融合數(shù)據(jù)接入基于全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心及營(yíng)銷基礎(chǔ)數(shù)據(jù)平臺(tái)前期建設(shè)成果，數(shù)據(jù)存儲(chǔ)統(tǒng)一由全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心承擔(dān)，分為數(shù)據(jù)融合庫(kù)、數(shù)據(jù)緩存庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、非結(jié)構(gòu)化存儲(chǔ)4個(gè)存儲(chǔ)區(qū)。數(shù)據(jù)倉(cāng)庫(kù)和緩存庫(kù)歸屬于全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心分析域；融合數(shù)據(jù)庫(kù)支持前端統(tǒng)一賬戶等生產(chǎn)應(yīng)用，歸屬于全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心處理域。

（4）數(shù)據(jù)服務(wù)：包括主題數(shù)據(jù)服務(wù)和數(shù)據(jù)共享服務(wù)，主題數(shù)據(jù)服務(wù)針對(duì)共享融合庫(kù)對(duì)上層業(yè)務(wù)提供基于融合數(shù)據(jù)操作的服務(wù)；數(shù)據(jù)共享服務(wù)市網(wǎng)上國(guó)網(wǎng)標(biāo)準(zhǔn)對(duì)外數(shù)據(jù)發(fā)布渠道，負(fù)責(zé)數(shù)據(jù)的對(duì)外共享。

（5）分析應(yīng)用：建設(shè)自助式分析工具，同時(shí)基于融合后的客戶數(shù)據(jù)提供統(tǒng)一賬單分析和行為分析的試點(diǎn)建設(shè)。

（6）數(shù)據(jù)管理：提供數(shù)據(jù)授權(quán)、數(shù)據(jù)核查、質(zhì)量管控等數(shù)據(jù)管理功能。

3 公司渠道數(shù)據(jù)集成路線（圖2）

渠道數(shù)據(jù)集成路線部署分為四部分，第一部分是全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心分析域網(wǎng)上國(guó)網(wǎng)營(yíng)銷域數(shù)據(jù)；按照營(yíng)銷基礎(chǔ)數(shù)據(jù)平臺(tái)—數(shù)據(jù)倉(cāng)庫(kù)—數(shù)據(jù)集市的架構(gòu)建設(shè)；第二部分是融合庫(kù)數(shù)據(jù)，是從數(shù)據(jù)倉(cāng)庫(kù)中以業(yè)務(wù)對(duì)象抽象萃取形成業(yè)務(wù)條線統(tǒng)一ID融合存儲(chǔ)體系，歸屬于全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心處理域；第三部分是緩存數(shù)據(jù)，用于存放實(shí)時(shí)性要求高的熱點(diǎn)數(shù)據(jù)和部分指標(biāo)數(shù)據(jù)，歸屬于全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心分析域；第四部分為非結(jié)構(gòu)化存儲(chǔ)，用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。[3]

數(shù)據(jù)來(lái)源分為信息內(nèi)網(wǎng)、信息外網(wǎng)和互聯(lián)網(wǎng)，信息內(nèi)網(wǎng)包括渠道數(shù)據(jù)庫(kù)數(shù)據(jù)和營(yíng)銷業(yè)務(wù)應(yīng)用、一體化繳費(fèi)平臺(tái)等營(yíng)銷業(yè)務(wù)基礎(chǔ)數(shù)據(jù)，信息外網(wǎng)包括數(shù)據(jù)庫(kù)數(shù)據(jù)以及各渠道埋點(diǎn)采集數(shù)據(jù)；互聯(lián)網(wǎng)外部數(shù)據(jù)包括外部天氣、征信等數(shù)據(jù)。

按照數(shù)據(jù)流轉(zhuǎn)路線、數(shù)據(jù)抽取和加工處理的需求，數(shù)據(jù)接入（改造）及加工處理采用的技術(shù)路線如表1。

信息內(nèi)網(wǎng)結(jié)構(gòu)化數(shù)據(jù)接入：結(jié)構(gòu)化數(shù)據(jù)分為歷史數(shù)據(jù)和增量數(shù)據(jù)接入，歷史數(shù)據(jù)的同步方式：源端導(dǎo)出dump備份文件，目標(biāo)端搭建ORACLE服務(wù)器并導(dǎo)入dump文件，再通過(guò)ETL同步至數(shù)據(jù)歸集區(qū)，增量數(shù)據(jù)通過(guò)ogg同步復(fù)制的方式實(shí)時(shí)同步到數(shù)據(jù)歸集層，再通過(guò)ETL同步至數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行清洗轉(zhuǎn)化，并根據(jù)應(yīng)用需求，將待分析數(shù)據(jù)通過(guò)Sqoop由數(shù)據(jù)倉(cāng)庫(kù)接入到大數(shù)據(jù)平臺(tái)進(jìn)行分析。

信息外網(wǎng)數(shù)據(jù)接入：數(shù)據(jù)庫(kù)部署在信息外網(wǎng)，由于內(nèi)外網(wǎng)網(wǎng)絡(luò)隔離，信息外網(wǎng)數(shù)據(jù)無(wú)法直接通過(guò)傳數(shù)據(jù)同步、數(shù)據(jù)抽取的方式接入，故采用如下方式接入：

（1）增量掃描ETL接入。

歷史數(shù)據(jù)接入，從外網(wǎng)數(shù)據(jù)庫(kù)源端導(dǎo)出歷史dump文件，目標(biāo)端搭建ORACLE服務(wù)器并導(dǎo)入dump文件，再通過(guò)ETL同步至數(shù)據(jù)歸集區(qū)。

增量數(shù)據(jù)接入在歸集層建表，數(shù)據(jù)結(jié)構(gòu)與源表保持一致；在網(wǎng)閘中配置數(shù)據(jù)庫(kù)同步；在內(nèi)外網(wǎng)分別部署ETL程序，外網(wǎng)ETL定時(shí)將增量數(shù)據(jù)轉(zhuǎn)成SQL通過(guò)強(qiáng)隔離網(wǎng)閘，將增量數(shù)據(jù)同步至數(shù)據(jù)歸集區(qū)。注：選擇數(shù)據(jù)ETL的方案，這種方案會(huì)對(duì)數(shù)據(jù)庫(kù)造成一定的壓力，需要進(jìn)行ETL壓力測(cè)試，同時(shí)由于是定時(shí)掃描增量數(shù)據(jù)，數(shù)據(jù)時(shí)效性不能得到保證。

（2）應(yīng)用改造集成接入。

歷史數(shù)據(jù)接入，從外網(wǎng)數(shù)據(jù)庫(kù)源端導(dǎo)出歷史dump文件，目標(biāo)端搭建ORACLE服務(wù)器并導(dǎo)入dump文件，再通過(guò)ETL同步至數(shù)據(jù)歸集區(qū)。

增量數(shù)據(jù)接入在歸集層建表，數(shù)據(jù)結(jié)構(gòu)與源表保持一致；改造原渠道，數(shù)據(jù)改為一發(fā)雙收，寫入原有數(shù)據(jù)庫(kù)同時(shí)數(shù)據(jù)直接穿過(guò)強(qiáng)隔離裝置寫入內(nèi)網(wǎng)數(shù)據(jù)庫(kù)。通過(guò)ETL/OGG等方式將數(shù)據(jù)接入至貼源區(qū)。

4 結(jié)語(yǔ)

數(shù)據(jù)集成融合是優(yōu)化整合公司服務(wù)資源，在公司總部層面構(gòu)建網(wǎng)上國(guó)網(wǎng)在線統(tǒng)一服務(wù)支撐系統(tǒng)的基石，是搭建“入口統(tǒng)一、運(yùn)營(yíng)協(xié)同、數(shù)據(jù)融合”的互聯(lián)網(wǎng)渠道客戶服務(wù)體系的根本保障。（1）打破信息孤島，挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)1+1>2：以渠道賬戶為核心整合客戶信息，形成數(shù)據(jù)模型及標(biāo)準(zhǔn)代碼統(tǒng)一、數(shù)據(jù)權(quán)限及質(zhì)量規(guī)范的客戶數(shù)據(jù)，沉淀成數(shù)據(jù)模型，算法服務(wù)，數(shù)據(jù)產(chǎn)品，數(shù)據(jù)管理等資源；（2）實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)全生命周期管理：以跨渠道全量數(shù)據(jù)資源集中共享為目標(biāo)，構(gòu)建數(shù)據(jù)共享中心，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，豐富數(shù)據(jù)品類，優(yōu)化數(shù)據(jù)交互，深化數(shù)據(jù)共享應(yīng)用，促進(jìn)各類業(yè)務(wù)延伸融合和價(jià)值共創(chuàng)，打造品類豐富、開放共享、合作共贏的數(shù)字化能源服務(wù)新生態(tài)；（3）全過(guò)程數(shù)據(jù)共享，提升數(shù)據(jù)資產(chǎn)變現(xiàn)能力：深化網(wǎng)上國(guó)網(wǎng)大數(shù)據(jù)分析和成果應(yīng)用，不斷開展業(yè)務(wù)引流和產(chǎn)品創(chuàng)新，支撐各單位開展主動(dòng)服務(wù)和精準(zhǔn)營(yíng)銷，以國(guó)家大數(shù)據(jù)戰(zhàn)略為契機(jī)，積極響應(yīng)政府號(hào)召，參與構(gòu)建電力數(shù)據(jù)服務(wù)及規(guī)劃落實(shí)公司數(shù)據(jù)運(yùn)營(yíng)業(yè)務(wù)，充分發(fā)揮電力數(shù)據(jù)在國(guó)民經(jīng)濟(jì)中的附加價(jià)值，為公司培育新的效益增長(zhǎng)點(diǎn)。

參考文獻(xiàn)

[1]國(guó)家電網(wǎng)全業(yè)務(wù)數(shù)據(jù)中心統(tǒng)一分析服務(wù)平臺(tái)建設(shè)[EB/OL].國(guó)家電網(wǎng)報(bào)，2017（7）.

[2]周孝信.關(guān)于未來(lái)電力系統(tǒng)發(fā)展趨勢(shì)和研究方向的思考[R].北方交通大學(xué)電氣工程，2016（9）：27-33.

[3]薛禹勝.科學(xué)研究范式的協(xié)同是大數(shù)據(jù)思維不可或缺的組分[R].電力信息與通信技術(shù)，2017（3）：8-11.

[4]馮歆堯，彭澤武.基于廣東電網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)架構(gòu)研究[J].電力學(xué)報(bào)，2015（6）：519-523.