基于用電信息采集系統(tǒng)的大數(shù)據(jù)共享與應用

金 敏，周 奇，唐 哲

（1.國網江西省電力有限公司新余供電分公司，江西新余 338000；2.國網江西省電力有限公司南昌市新建區(qū)供電分公司，江西南昌 330100）

0 引言

用電信息采集系統(tǒng)已基本實現(xiàn)了全覆蓋，目前正在深化應用，為其他系統(tǒng)應用提供數(shù)據(jù)信息共享資源。通過對目前采集系統(tǒng)與其他系統(tǒng)的數(shù)據(jù)共享交互進行統(tǒng)計分析，用電信息采集系統(tǒng)已為與關口電能量管理系統(tǒng)、電能質量監(jiān)測系統(tǒng)、PMS、調度管理系統(tǒng)、供電電壓自動采集系統(tǒng)、遠程實時費控系統(tǒng)、計量生產調度平臺、營銷業(yè)務系統(tǒng)、電能服務管理平臺等25個業(yè)務系統(tǒng)提供信息及數(shù)據(jù)支撐[1]。通過研究用電信息采集系統(tǒng)與其它外部業(yè)務系統(tǒng)間的數(shù)據(jù)信息關聯(lián)關系，在用電信息采集系統(tǒng)的信息數(shù)據(jù)大平臺上充分開發(fā)信息、數(shù)據(jù)共享平臺，提供更多業(yè)務功能的支撐，實現(xiàn)更多業(yè)務系統(tǒng)的大數(shù)據(jù)高效共享，資源更充分地運用。

1 數(shù)據(jù)共享設計思路

1.1 構建數(shù)據(jù)共享服務平臺

蓄建設采集系統(tǒng)數(shù)據(jù)共享服務平臺，實現(xiàn)采集系統(tǒng)與外部系統(tǒng)數(shù)據(jù)共享、交互及統(tǒng)一接口，實現(xiàn)數(shù)據(jù)交互規(guī)范管理，數(shù)據(jù)交互內容和方法靈活配置，數(shù)據(jù)交互安全可靠，數(shù)據(jù)交互在線監(jiān)測[2]。

1）建立適合多業(yè)務數(shù)據(jù)信息共享的模型

根據(jù)各種不同的數(shù)據(jù)類型、數(shù)據(jù)傳送路徑以及各類不同的共享方式，針對性地各自建立數(shù)據(jù)的共享模型，在數(shù)據(jù)共享服務平臺的管理下，達到采集系統(tǒng)對各業(yè)務系統(tǒng)的數(shù)據(jù)共享的目的。

2）實現(xiàn)信息共享在線監(jiān)測管理

實時監(jiān)測所有數(shù)據(jù)共享服務的運行狀態(tài)、調用情況、交互流量等信息，并通過可視化功能實現(xiàn)常態(tài)化監(jiān)控。

1.2 實現(xiàn)采集數(shù)據(jù)發(fā)布云服務

運用數(shù)據(jù)共享服務平臺，通過采集數(shù)據(jù)的云服務，完成采集數(shù)據(jù)信息的共享服務，最大限度的提供電力用戶電量數(shù)據(jù)、上報信息對其它信息系統(tǒng)的支撐作用。

1.3 預定數(shù)據(jù)信息共享管理規(guī)范

制設采集系統(tǒng)數(shù)據(jù)的共享需求申請、審批、參數(shù)配置等流程管理約定，預先確定敏感性數(shù)據(jù)、信息所需的脫敏要求，保證數(shù)據(jù)、信息的共享安全。

2 數(shù)據(jù)共享方案

2.1 采集數(shù)據(jù)共享構架

通過用電信息采集系統(tǒng)數(shù)據(jù)共享服務平臺，構建采集系統(tǒng)數(shù)據(jù)服務器與其他系統(tǒng)之間的數(shù)據(jù)、信息共享渠道，提供靜態(tài)數(shù)據(jù)共享、實時數(shù)據(jù)信息共享、特定共享等應用。具體共享服務內容如圖1所示：

圖1 共享服務平臺共享示意圖

靜態(tài)數(shù)據(jù)共享：提取用電信息采集系統(tǒng)的各項指標數(shù)據(jù)、凍結電量，并按需求進行統(tǒng)計分析推送到共享服務平臺。還可根據(jù)預設進行靈活配置，完成各種定制需求。

實時數(shù)據(jù)共享：通過在線及時獲取采集系統(tǒng)的各種上報異常事件及信息數(shù)據(jù)，實時為其它業(yè)務系統(tǒng)提供所需的數(shù)據(jù)信息，滿足提出的各類服務要求。

特定共享：為滿足營銷業(yè)務應用系統(tǒng)等與用電信息采集系統(tǒng)之間復雜業(yè)務數(shù)據(jù)信息交互要求，特設置特定共享專為營銷業(yè)務應用系統(tǒng)提供服務。

共享服務平臺在實現(xiàn)數(shù)據(jù)信息共享的同時，必需具備在線監(jiān)控和規(guī)范管理。主要包括需求管控、配置管控、服務管控等基本管控功能。“需求管控”用于完成對采集系統(tǒng)數(shù)據(jù)共享所需要的申請、審批、執(zhí)行等流程進行規(guī)范管控?！芭渲霉芸亍敝饕獙ε渲霉蚕矸掌脚_訪的問權限、配置平臺運行參數(shù)、配置數(shù)據(jù)發(fā)布模型等權限進行管控?！胺展芸亍庇糜趯蚕矸盏倪\行狀態(tài)、調用情況、交互流量、共享日志、采集數(shù)據(jù)質量等信息進行在線監(jiān)測管控。

2.2 數(shù)據(jù)共享邏輯架構

數(shù)據(jù)共享服務平臺在邏輯上分為數(shù)據(jù)層、服務層和應用層三個層級。其中數(shù)據(jù)層將需要共享的數(shù)據(jù)在構接口數(shù)據(jù)庫上進行存儲和統(tǒng)一管理[3]，接口數(shù)據(jù)庫通過ETL、OGG等方式從在線運行的用電信息采集系統(tǒng)生產庫中按照自己的需求進行獲取。接口庫中的數(shù)據(jù)信息根據(jù)外部系統(tǒng)需要的設置，保留到所設定的時間，超過了設定的保存期則系統(tǒng)自動進行清理。

平臺的服務層由計算集群和服務集群組成。其中：服務集群又包括接口服務集群和文件服務集群兩部分內容；接口服務集群則按照分布式負載均衡的模式完成對其它系統(tǒng)的各項共享服務，同時還以文件方式為其它業(yè)務系統(tǒng)提供大數(shù)據(jù)下載的服務。

平臺的計算集群按照各外部系統(tǒng)不同的數(shù)據(jù)信息需求劃分，包括靜態(tài)數(shù)據(jù)共享、實時數(shù)據(jù)共享、特定共享等三種方式，具體工作流程為，靜態(tài)數(shù)據(jù)的共享是采用面向對象的模型與WebService相結合的技術路線，首先其它業(yè)務系統(tǒng)將組合對象按照數(shù)據(jù)模型定義發(fā)送到接口服務，接口服務應用共享功能將該對象進行計算解析，將其所需的數(shù)據(jù)從接口數(shù)據(jù)庫中提取，再將數(shù)據(jù)對象集合返回；實時數(shù)據(jù)的共享的技術路線也是采用面向對象的模型與WebService相結合方式，應用采集系統(tǒng)前置機將采集數(shù)據(jù)信息份兩路推送，一路通過采集系統(tǒng)向數(shù)據(jù)應用推送，另一路通過獨立應用抓取等多種方式直接獲取實時數(shù)據(jù)，再將所獲取的數(shù)據(jù)信息向外部其它業(yè)務應用系統(tǒng)實時推送各個外部業(yè)務應用系統(tǒng)所需求的數(shù)據(jù)和信息；特定共享指大數(shù)據(jù)共享服務平臺為具有復雜業(yè)務的數(shù)據(jù)信息共享系統(tǒng)開辟一條專用的數(shù)據(jù)信息共享通道，比如與營銷系統(tǒng)的數(shù)據(jù)共享、與費控管理系統(tǒng)的數(shù)據(jù)、信息交互等。

平臺的應用層分為三個層級，具體包括：需求管控、配置管控、服務管控等支撐業(yè)務。這些管控業(yè)務功能在平臺設計時可以作為采集系統(tǒng)的功能模塊來實現(xiàn)，也可設計在用電信息采集系統(tǒng)的技術框架上來完成。

3 數(shù)據(jù)共享流程

3.1 靜態(tài)數(shù)據(jù)共享

靜態(tài)數(shù)據(jù)包括計量資產的檔案數(shù)據(jù)、各類凍結數(shù)據(jù)、電壓電流功率等電參數(shù)的曲線數(shù)據(jù)、各類合格率的統(tǒng)計數(shù)據(jù)、各項技術指標數(shù)據(jù)等[4]，其對外部系統(tǒng)數(shù)據(jù)、信息共享服務的具體方式如下：

1）數(shù)據(jù)對象配置。首先按照外部業(yè)務系統(tǒng)所需采集系統(tǒng)靜態(tài)數(shù)據(jù)的不同需求，將其所需數(shù)據(jù)分解為各個最小數(shù)據(jù)對象，通過數(shù)據(jù)對象預定共享服務，以便及時從用采系統(tǒng)的生產數(shù)據(jù)庫中將所需的數(shù)據(jù)獲取后，直接提前放置到接口數(shù)據(jù)庫中，為后續(xù)的數(shù)據(jù)共享服務做好準備。

2）數(shù)據(jù)共享配置。根據(jù)數(shù)據(jù)共享請求的數(shù)據(jù)類型、所需頻度、所需的數(shù)據(jù)項內容組合等方面，考慮數(shù)據(jù)共享的模式是基于面向對象的交互方式。采用配置方式能對接口庫中的最小數(shù)據(jù)單元根據(jù)不同的請求結合成其所需的數(shù)據(jù)集合，按需索取，卑職·配置快捷方便。

3）靜態(tài)數(shù)據(jù)共享實施。在收到外部系統(tǒng)的數(shù)據(jù)請求后，靜態(tài)數(shù)據(jù)共享接口服務解析外部系統(tǒng)的請求對象，按照動態(tài)方法模型首先從接口數(shù)據(jù)庫中獲取所需的數(shù)據(jù)對象，并進行集合。若返回的只是少量數(shù)據(jù)，則直接回送數(shù)據(jù)本身；若需要回送的數(shù)據(jù)量較多，則應按照所需的時間生成數(shù)據(jù)集合放置在文件的服務節(jié)點上，同時通知外部業(yè)務系統(tǒng)可以采用下載方式獲取該數(shù)據(jù)的最早時間和最晚時間。外部業(yè)務系統(tǒng)需按共享服務平臺的技術規(guī)范要求，獲取所需的數(shù)據(jù)，并在相應的時間內取走所需的數(shù)據(jù)，如過期不取，則平臺會對過期數(shù)據(jù)自動清理。

3.2 實時數(shù)據(jù)共享

實時數(shù)據(jù)主要是指采集系統(tǒng)的實時負荷數(shù)據(jù)、電壓電流曲線數(shù)據(jù)、終端異常事件等數(shù)據(jù)等，對外部系統(tǒng)進行數(shù)據(jù)共享服務的具體實現(xiàn)方式如下：

1）數(shù)據(jù)訂閱配置。首先根據(jù)外部系統(tǒng)的實時動態(tài)數(shù)據(jù)需求，為外部系統(tǒng)配置訂閱模式，主要有訂閱項目、訂閱時間頻度要求、訂閱內容等，并存放到共享數(shù)據(jù)庫中。

2）實時數(shù)據(jù)獲取。要求采集系統(tǒng)采集前置機集群在收到采集終端實時數(shù)據(jù)后，通過采集系統(tǒng)前置機分2路分發(fā)，或采集系統(tǒng)通過抓取等技術，為統(tǒng)共享服務平臺提供實時數(shù)據(jù)。

3）實時數(shù)據(jù)共享。將實時數(shù)據(jù)按需組織，通過接口服務分別推送給相應的外部業(yè)務應用系統(tǒng)。

3.3 特定交互接口

部分可信系統(tǒng)的業(yè)務應用需要與采集系統(tǒng)進行復雜的業(yè)務交互，此類接口也將統(tǒng)一通過接口服務集群實現(xiàn)數(shù)據(jù)交互，但其接口數(shù)據(jù)的應用因為其業(yè)務特殊性，需要采用獨立的接口計算來實現(xiàn)[5]。當前已有的特定交互接口如表1所示：

表1 特定交互業(yè)務

4 與營銷系統(tǒng)交互案例

4.1 與“SG186”營銷管理業(yè)務應用系統(tǒng)的數(shù)據(jù)

示意圖如圖2所示：

圖2 與營銷系統(tǒng)數(shù)據(jù)交互示意圖

如上圖所示，數(shù)據(jù)交互主要存在以下2種業(yè)務類型，說明如下：

1）在營銷管理業(yè)務應用系統(tǒng)的電能信息采集業(yè)務功能項中：

（a）操作員按照具體業(yè)務的要求，按要求編制相應的采集任務，再將該任務發(fā)送到采集系統(tǒng)。

（b）采集模塊將采集到的數(shù)據(jù)傳遞給營銷系統(tǒng)供對應的管理業(yè)務應用模塊使用，實現(xiàn)數(shù)據(jù)采集任務的閉環(huán)。

2）在營銷管理業(yè)務應用系統(tǒng)的電能信息采集業(yè)務功能項中：

（a）操作員按照電量采集、費控、負荷控制等業(yè)務需要，將控制任務發(fā)送到采集系統(tǒng)執(zhí)行。

（b）采集系統(tǒng)將控制參數(shù)下發(fā)，并將下發(fā)結果發(fā)送給營銷管理系統(tǒng)相應的業(yè)務應用模塊，實現(xiàn)控制任務完成閉環(huán)。

4.2 數(shù)據(jù)流描述

營銷業(yè)務應用管理系統(tǒng)主動發(fā)送到用電信息采集的數(shù)據(jù)見表2。

表2 營銷發(fā)送到采集的數(shù)據(jù)表

電量實時數(shù)據(jù)包括購、供、售的電量、電流、電壓信息等,是自動采集獲取的電能量數(shù)據(jù)，數(shù)據(jù)量巨大，采集頻率很高（如各類曲線數(shù)據(jù)），單獨對其數(shù)據(jù)進行存儲,從數(shù)據(jù)獲取方式上看屬于自動轉入數(shù)據(jù)，從數(shù)據(jù)來源上看包括原生數(shù)據(jù)、再生數(shù)據(jù)，從獲取頻率來看既有實時（準實時）數(shù)據(jù)也有非實時數(shù)據(jù)。這部分數(shù)據(jù)有頻繁的寫操作，而且數(shù)據(jù)變動量也相當巨大，可以說是周期性數(shù)據(jù)中數(shù)據(jù)增長周期性很短的一個特例。雖然這部分數(shù)據(jù)量巨大，但是每個數(shù)據(jù)都具有時間這一要素。根據(jù)時間來進行分區(qū)設計，從而優(yōu)化數(shù)據(jù)訪問。

5 大數(shù)據(jù)共享特點

5.1 大幅減輕用電信息采集系統(tǒng)服務器數(shù)據(jù)交換的負荷壓力

采集系統(tǒng)過去要分別向二十余個業(yè)務系統(tǒng)推送數(shù)據(jù)，負荷壓力很大，采用大數(shù)據(jù)共享平臺后，只需向大數(shù)據(jù)共享平臺推送數(shù)據(jù)，供其它業(yè)務系統(tǒng)使用，大大地降低了采集系統(tǒng)的數(shù)據(jù)推送負荷壓力。

5.2 數(shù)據(jù)交換更加穩(wěn)定、可靠、合理

采用大數(shù)據(jù)共享平臺后，增加了安全驗證策略，為實際業(yè)務提供了更合理的應用服務。共享數(shù)據(jù)的穩(wěn)定性、復用性、可靠性度得到提高。

5.3 數(shù)據(jù)交換的效能得到提升

采集系統(tǒng)過去要分別向二十余個業(yè)務系統(tǒng)推送數(shù)據(jù)，負荷壓力很大，速度慢，效能低下。采用大數(shù)據(jù)共享平臺后，只需向大數(shù)據(jù)共享平臺推送數(shù)據(jù)，負荷壓力小，效能大幅提升。

5.4 數(shù)據(jù)交換的效能得到提升

提出適合不同業(yè)務平臺實際情況的信息處理與智能分析手段，建立統(tǒng)一的支持多業(yè)務實現(xiàn)的接口平臺，打破“信息孤島”，為用電信息的實時高效處理提供保障，也進一步為智能電網的高效信息化提供堅實的發(fā)展基礎

6 結語

研究并應用適用于多業(yè)務需求的用電信息采集數(shù)據(jù)共享平臺。研究用電信息采集系統(tǒng)相關業(yè)務平臺的數(shù)據(jù)類型及相關屬性、信息共享模式、信息存儲方式、數(shù)據(jù)挖掘和信息交互技術，分析各業(yè)務平臺間的相互關聯(lián)關系，提出適合不同業(yè)務平臺實際情況的信息處理與智能分析方法，建立支持多業(yè)務數(shù)據(jù)共享的平臺，并實施應用，為用電信息的實時高效處理提供保障。