電力用戶用電信息采集系統(tǒng)分布式彈性架構(gòu)設(shè)計與實現(xiàn)

康麗雁，王天博，蔡穎凱，高天生

（國網(wǎng)遼寧省電力有限公司電力科學研究院，遼寧 沈陽 110006）

電力用戶用電信息采集系統(tǒng)分布式彈性架構(gòu)設(shè)計與實現(xiàn)

康麗雁，王天博，蔡穎凱，高天生

（國網(wǎng)遼寧省電力有限公司電力科學研究院，遼寧 沈陽 110006）

電力用戶用電信息采集系統(tǒng)建設(shè)是國家電網(wǎng)公司統(tǒng)一堅強智能電網(wǎng)建設(shè)的重要組成部分，隨著采集終端數(shù)量不斷增加，采集系統(tǒng)積累了海量數(shù)據(jù)，其原有架構(gòu)已經(jīng)不適應(yīng)發(fā)展需求。分析了采集系統(tǒng)現(xiàn)狀及存在問題，論述了采集系統(tǒng)分布式彈性架構(gòu)設(shè)計與實現(xiàn)，并對原有架構(gòu)與分布式彈性架構(gòu)進行了對比分析，為采集系統(tǒng)的應(yīng)用和發(fā)展提供了建設(shè)思路和實踐經(jīng)驗。

采集系統(tǒng)；彈性架構(gòu)；用電信息；海量存儲

電力用戶用電信息采集系統(tǒng)建設(shè)是國家電網(wǎng)公司統(tǒng)一堅強智能電網(wǎng)建設(shè)的重要組成部分，主要功能是通過安裝在電力用戶的智能電能表和用電信息終端實現(xiàn)電能量數(shù)據(jù)，通過采集交流模擬量、工況數(shù)據(jù)、電能質(zhì)量越限統(tǒng)計數(shù)據(jù)及事件記錄數(shù)據(jù)等［1］，實現(xiàn)計量異常監(jiān)測、電能質(zhì)量監(jiān)測、用電分析和管理、相關(guān)信息發(fā)布、分布式能源監(jiān)控及智能用電設(shè)備的信息交互等功能［2］。采集系統(tǒng)功能的實現(xiàn)以海量數(shù)據(jù)為依托，系統(tǒng)架構(gòu)對于海量數(shù)據(jù)的存儲與分析利用效率起決定性作用。

1 采集系統(tǒng)建設(shè)情況分析

1.1 現(xiàn)狀

國家電網(wǎng)公司從2010年開始采集系統(tǒng)建設(shè)，目標是建成基于國網(wǎng)標準化設(shè)計的“全采集、全覆蓋、全費控”的電力用戶用電信息采集系統(tǒng)，用電信息采集成果在電網(wǎng)規(guī)劃、安全生產(chǎn)、經(jīng)營管理及優(yōu)質(zhì)服務(wù)工作中得到全面應(yīng)用。截止2015年4月末，采集系統(tǒng)接入各類用電信息采集終端數(shù)量達33.84萬臺，實現(xiàn)了1 512.17萬只智能電能表的接入；遠程通信以公網(wǎng)信道為主，并具有無線230M信道；除了國家電網(wǎng)標準化規(guī)約之外，系統(tǒng)兼容青島東軟集抄規(guī)約、大連集抄規(guī)約及協(xié)同230M規(guī)約等；現(xiàn)系統(tǒng)硬件配置數(shù)據(jù)庫服務(wù)器2臺、應(yīng)用服務(wù)器2臺，前置系統(tǒng)服務(wù)器包括通信服務(wù)器15臺、管理服務(wù)器1臺及規(guī)約解析前置機4臺。

系統(tǒng)主要滿足自動化抄表、基礎(chǔ)應(yīng)用、采集指標統(tǒng)計、故障管理及數(shù)據(jù)共享等基礎(chǔ)類應(yīng)用?，F(xiàn)有系統(tǒng)通信服務(wù)架構(gòu)基于IOCP通信架構(gòu)和Windows平臺，采用Delphi開發(fā)工具，單臺服務(wù)器接入終端上限為3萬臺，穩(wěn)定運行終端接入數(shù)量為2萬臺；采集系統(tǒng)現(xiàn)有主機架構(gòu)基于傳統(tǒng)的IOE架構(gòu)，采用IBM－P7XX系列主機及配套存儲、Oracle關(guān)系數(shù)據(jù)庫，采集數(shù)據(jù)全部入庫時間達6 h以上，對于數(shù)據(jù)集成、實時統(tǒng)計及線損統(tǒng)計等存在一定滯后性。

1.2 系統(tǒng)建設(shè)需求

a.滿足采集全覆蓋接入的需求

系統(tǒng)應(yīng)滿足全省100萬臺終端通信接入要求，滿足3 000萬用戶海量數(shù)據(jù)存儲及應(yīng)用要求，系統(tǒng)運行穩(wěn)定。

b.滿足采集業(yè)務(wù)深化應(yīng)用的需求

在滿足國家電網(wǎng)標準化設(shè)計的基礎(chǔ)上，在自動化抄表核算、線損監(jiān)測、反竊電監(jiān)測、市場及需求側(cè)管理應(yīng)用、輔助業(yè)擴報裝等方面深化應(yīng)用。

c.滿足新型營銷業(yè)務(wù)支撐的需求

滿足營銷實時費控系統(tǒng)、分布式電源監(jiān)測及雙向互動業(yè)務(wù)等新型營銷業(yè)務(wù)的支撐要求，滿足大數(shù)據(jù)挖掘應(yīng)用需求。

d.滿足數(shù)據(jù)統(tǒng)一共享服務(wù)的需求

依托國家電網(wǎng)營銷基礎(chǔ)數(shù)據(jù)平臺或省級數(shù)據(jù)中心，利用標準化采集數(shù)據(jù)模型，建立統(tǒng)一的數(shù)據(jù)對外共享服務(wù)平臺，以解決采集系統(tǒng)對外數(shù)據(jù)交互接口過多導(dǎo)致的系統(tǒng)壓力過大、檔案維護困難及運行維護復(fù)雜等問題。

2 采集系統(tǒng)彈性架構(gòu)設(shè)計與實現(xiàn)

2.1 采集系統(tǒng)彈性應(yīng)用架構(gòu)

彈性應(yīng)用架構(gòu)可以有效控制成本，提供可不斷擴展的支撐能力，如硬件上僅使用廉價的X86服務(wù)器，且不依賴專用硬件，極大降低了硬件投入成本。數(shù)據(jù)采集是前置系統(tǒng)中最重要的部分［3］，有大量協(xié)議或規(guī)約需要進行識別和處理。以往電力行業(yè)需對采集到的協(xié)議或規(guī)約進行解析和處理，本文引入規(guī)約處理引擎設(shè)計，實現(xiàn)了對不同規(guī)約進行通用型處理，規(guī)約的增加和修改只需調(diào)整相應(yīng)的配置文件，無需對代碼進行修改，更大程度上保證了系統(tǒng)的穩(wěn)定性。

監(jiān)測數(shù)據(jù)通過Agent采集到消息隊列，通過計算，對監(jiān)測數(shù)據(jù)進行預(yù)處理，同時引入任務(wù)調(diào)度功能，對半結(jié)構(gòu)化的監(jiān)測數(shù)據(jù)進行后續(xù)處理［4］。

2.2 通信服務(wù)系統(tǒng)架構(gòu)

通信前置機采用的是無狀態(tài)、輕量級的Sock?etServer［5］，配備了規(guī)約處理引擎，根據(jù)配置對終端的上下行規(guī)約進行解析、打包處理，并把解析結(jié)果放入分布式消息隊列中，不進行過多處理，保持通信的穩(wěn)定性，通信前置機可以通過負載均衡器來實現(xiàn)負載的均衡性和可靠性。

采集管理服務(wù)器為前置機提供需要下發(fā)的采集任務(wù)。由于對同一終端設(shè)備，必須等到終端回應(yīng)或超時才能進行下一次通信，另外終端通過負載均衡器可能會連接到不同的通信前置機，因此設(shè)計采集管理服務(wù)器可以方便地對終端任務(wù)進行管理。

2.3 分布式彈性架構(gòu)

分布式消息隊列負責整個架構(gòu)中消息的高速存儲和傳輸［6］，同時緩解不同單元處理數(shù)據(jù)吞吐量的差異。該技術(shù)架構(gòu)決定了分布式消息隊列必須具有高吞吐量才能應(yīng)對高速入庫需求。分布式消息隊列采用了文件順序讀寫、隊列分區(qū)及客戶端拉取等策略，可以每秒輕松處理幾萬條消息，消息隊列采用集群部署，數(shù)據(jù)會根據(jù)策略復(fù)制到多臺機器上，整個系統(tǒng)具有高可用性。

海量數(shù)據(jù)存儲分為關(guān)系型數(shù)據(jù)庫（Oracle）和NoSQL數(shù)據(jù)庫（HBase）［7］，Oracle存儲全量關(guān)系數(shù)據(jù)，對于采集的海量監(jiān)測數(shù)據(jù)會被保存到海量數(shù)據(jù)存儲平臺HBase中，經(jīng)過運行之后轉(zhuǎn)存到Oracle。HBase是具有高可靠性、可伸縮性的分布式存儲系統(tǒng)，利用HBase技術(shù)可在小型服務(wù)器上搭建起大規(guī)模、結(jié)構(gòu)化的存儲集群?；贖adoop的MapReduce技術(shù)，可以針對HBase中的海量數(shù)據(jù)進行計算和分析，解決基于Oracle數(shù)據(jù)庫進行海量數(shù)據(jù)分析的性能問題。

分布式緩存服務(wù)用于對系統(tǒng)中的檔案數(shù)據(jù)進行緩存，由于檔案數(shù)據(jù)量較大且需要被頻繁訪問，所以需要被緩存起來。分布式緩存服務(wù)采用主備模式部署，數(shù)據(jù)會寫入主服務(wù)器上，然后被異步地復(fù)制到備份服務(wù)器上。如果主服務(wù)器異常，備份服務(wù)器會自動轉(zhuǎn)為主服務(wù)器。

業(yè)務(wù)前置機集群是整個系統(tǒng)的業(yè)務(wù)處理核心，負責對通信前置機采集的數(shù)據(jù)進行分析、校驗及入庫等操作。分布式架構(gòu)可以通過增加設(shè)備來擴展業(yè)務(wù)水平，以提高系統(tǒng)整體性能，且具有高可用性。

2.4 Kafka分布式消息隊列

Kafka是一種具有高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，通過磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久性，分布式消息隊列如圖1所示。

消息消費：生產(chǎn)者向某個節(jié)點發(fā)布消息，消費者訂閱相應(yīng)的消息，一旦消息有變化，中間的存儲者會傳遞給訂閱的所有消費者。

擴展性：在Kafka中，消息是按主題組織的，而每個主題又會分為多個分區(qū)，這樣便于管理數(shù)據(jù)和均衡負載。

表1 原有架構(gòu)與分布式彈性架構(gòu)主要性能對比

圖1 分布式消息隊列

分布式存儲：通過磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久性，這種結(jié)構(gòu)對于數(shù)以TB的消息存儲量也能夠保持長時間的穩(wěn)定性能。

原有架構(gòu)與分布式彈性架構(gòu)主要性能對比如表1所示。

3 結(jié)束語

采集系統(tǒng)分布式彈性架構(gòu)采用統(tǒng)一的數(shù)據(jù)前置平臺進行采集任務(wù)調(diào)度和均衡負荷，滿足海量數(shù)據(jù)采集與處理需求。為實現(xiàn)快速計算，系統(tǒng)充分利用網(wǎng)絡(luò)資源，采用分布式并行數(shù)據(jù)處理架構(gòu)，應(yīng)用冗余模型和任務(wù)處理模型，滿足海量數(shù)據(jù)計算、業(yè)務(wù)統(tǒng)計等要求。采集系統(tǒng)分布式彈性架構(gòu)的應(yīng)用大大提高了系統(tǒng)性能，可以滿足采集業(yè)務(wù)應(yīng)用、集成應(yīng)用、大數(shù)據(jù)挖掘應(yīng)用及海量數(shù)據(jù)共享等需求，滿足未來5～10年乃至更長時間的系統(tǒng)建設(shè)要求，在采集系統(tǒng)建設(shè)中具有重大意義。

［1］ Q／GDW 1373—2013，電力用戶用電信息采集系統(tǒng)功能規(guī)范［S］.

［2］ 康麗雁，張 冶，蔡穎凱.電力用戶用電信息采集系統(tǒng)在智能電網(wǎng)中的應(yīng)用［J］.東北電力技術(shù)，2013，34（7）：50－52.

［3］ Q／GDW 378.3—2009，電力用戶用電信息采集系統(tǒng)設(shè)計導(dǎo)則：技術(shù)方案設(shè)計導(dǎo)則［S］.

［4］ 康麗雁，王志斌，孫飛躍.電力用戶用電信息采集系統(tǒng)不良數(shù)據(jù)分析及處理方法［J］.東北電力技術(shù)，2012，33（11）：46－48.

［5］ 王志斌，關(guān) 艷，康麗雁.無線數(shù)據(jù)網(wǎng)技術(shù)在用電信息采集系統(tǒng)的應(yīng)用［J］.東北電力技術(shù)，2013，34（7）：1－4.

［6］ 納 爾.計算機組成與體系結(jié)構(gòu)［M］.北京：機械工業(yè)出版社，2004.

［7］ Q／GDW 378.1—2009，電力用戶用電信息采集系統(tǒng)設(shè)計導(dǎo)則：主站軟件設(shè)計導(dǎo)則［S］.

Design and Implementation on Distributed Elastic Structure of Electric Customers Information Acquisition System

KANG Li?yan，WANG Tian?bo，CAI Ying?kai，GAO Tian?sheng
（Electric Power Research Institute of State Grid Liaoning Electric Power Co.，Ltd.，Shenyang，Liaoning 110006，China）

Electric customers information acquisition system construction is an important part of state grid corporation of unified strong smart grid construction.With the increase of collection terminal and massive data，the existing system can not meet the needs of devel?opment.This paper analyzes the current situation and existing problems，discusses distributed flexible architecture design and imple?mentation，and makes a comparison between the original architecture and distributed flexible architecture.All these can supply a refer?ence for the application and development of electric customers information acquisition system.

Acquisition system；Elastic structure；Power consumption information；Massive storage

TM76

A

1004－7913（2015）10－0042－03

康麗雁（1975—），女，碩士，高級工程師，主要從事負荷控制系統(tǒng)、采集系統(tǒng)研究工作。

2015－06－22）