分布式計(jì)算技術(shù)在電網(wǎng)計(jì)量運(yùn)行數(shù)據(jù)分析中的應(yīng)用研究

楊茗 王雷 劉斌 王軼

摘 要：智能電表及低壓集抄改造是深化電力體制改革和互聯(lián)網(wǎng)時(shí)代背景下，打造智能電網(wǎng)，實(shí)現(xiàn)電力營銷精益管理的必然要求。隨著省級計(jì)量自動(dòng)化系統(tǒng)的應(yīng)用深入，針對計(jì)量運(yùn)行數(shù)據(jù)的深化應(yīng)用是實(shí)現(xiàn)計(jì)量精益化工作的重點(diǎn)，而計(jì)量采集數(shù)是按分鐘級進(jìn)行采集存儲(chǔ)，數(shù)據(jù)維度廣、采集頻率高、數(shù)據(jù)存儲(chǔ)量大，通過傳統(tǒng)的分析方式無法完成如此大量而復(fù)雜的數(shù)據(jù)分析工作。本文提出通過構(gòu)建分布式計(jì)算技術(shù)，解決目前計(jì)量運(yùn)行數(shù)據(jù)分析中的技術(shù)難題。

關(guān)鍵詞：分布式計(jì)算;數(shù)據(jù)分析;計(jì)量運(yùn)行數(shù)據(jù)

中圖分類號：TM73 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2019）03-0146-02

0 引言

隨著數(shù)字化電網(wǎng)及移動(dòng)通信網(wǎng)絡(luò)的發(fā)展，要求電網(wǎng)發(fā)展向更加智能、高效、可靠、綠色方向轉(zhuǎn)變，企業(yè)管理向精益化方向轉(zhuǎn)變，同時(shí)結(jié)合目前電力體制改革和互聯(lián)網(wǎng)+戰(zhàn)略的發(fā)展訴求，對電網(wǎng)企業(yè)電能計(jì)量業(yè)務(wù)提出了更高的要求。目前電網(wǎng)計(jì)量業(yè)務(wù)朝著省級集中方向發(fā)展，實(shí)現(xiàn)全省計(jì)量業(yè)務(wù)的統(tǒng)一化、規(guī)范化、一體化開展，在支撐電網(wǎng)常規(guī)計(jì)量業(yè)務(wù)開展的基礎(chǔ)上，進(jìn)一步需要開展針對計(jì)量運(yùn)行數(shù)據(jù)的深化應(yīng)用分析，提升電網(wǎng)企業(yè)在計(jì)量故障識別、數(shù)據(jù)采集率、實(shí)時(shí)線損、停電準(zhǔn)確性等方面的深化應(yīng)用。

1 計(jì)量運(yùn)行數(shù)據(jù)分析現(xiàn)狀

目前計(jì)量數(shù)據(jù)涵蓋電力負(fù)荷、廠站電能量、配變監(jiān)測、低壓集抄不同維度的數(shù)據(jù)，涵蓋數(shù)據(jù)范圍包括：電壓、電流、潮流、表底、功率因素等不同數(shù)據(jù)，歷史數(shù)據(jù)存儲(chǔ)了幾年以上，需要把“沉睡”的數(shù)據(jù)變?yōu)橛袃r(jià)值應(yīng)用。計(jì)量運(yùn)行數(shù)據(jù)具有如下特點(diǎn)：

（1）數(shù)據(jù)量大：計(jì)量自動(dòng)化系統(tǒng)目前涵蓋電力負(fù)荷管理、廠站電能量采集、配變監(jiān)測、低壓集抄四類數(shù)據(jù)，計(jì)量點(diǎn)數(shù)量多，采集的數(shù)據(jù)類型包含：電流、電壓、表底、功率因數(shù)等不同維度的數(shù)據(jù)，數(shù)據(jù)采集周期比較短，加上計(jì)量自動(dòng)化系統(tǒng)上線運(yùn)營的時(shí)間比較長，已經(jīng)積累了幾年的歷史數(shù)據(jù)，數(shù)據(jù)量極大。（2）數(shù)據(jù)變化快：系統(tǒng)每天都會(huì)產(chǎn)生業(yè)務(wù)歸檔數(shù)據(jù)，計(jì)量數(shù)據(jù)采集頻率較高，不同類型的數(shù)據(jù)時(shí)刻在發(fā)生著變化，即使同一只計(jì)量設(shè)備的數(shù)據(jù)，也隨著電網(wǎng)的運(yùn)行時(shí)刻發(fā)生著變化。（3）數(shù)據(jù)維度廣：計(jì)量自動(dòng)化系統(tǒng)涉及到電壓、電流、潮流、表底、功率因素等不同數(shù)據(jù)，不同維度的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)復(fù)雜多樣，存儲(chǔ)字段類型多。

目前電力企業(yè)已經(jīng)進(jìn)行了一些有益嘗試。例如，建設(shè)基于數(shù)據(jù)中心的數(shù)據(jù)資源管理平臺，圍繞數(shù)據(jù)采集、存儲(chǔ)與計(jì)算相關(guān)技術(shù)，完成初步技術(shù)探索，大幅提升了數(shù)據(jù)治理效率，顯現(xiàn)出良好的應(yīng)用效益，不僅使得分析效率提升數(shù)倍，還將硬件成本降低了50%以上，為后續(xù)構(gòu)建企業(yè)級大數(shù)據(jù)平臺奠定理論基礎(chǔ)。

2 基于分布式計(jì)算技術(shù)的分析

2.1 分布式計(jì)算技術(shù)簡介

分布式計(jì)算是一種計(jì)算方法，和集中式計(jì)算是相對的。有些應(yīng)用需要非常巨大的計(jì)算能力才能完成，如果采用集中式計(jì)算，需要耗費(fèi)相當(dāng)長的時(shí)間來完成。分布式計(jì)算將該應(yīng)用分解成許多小的部分，分配給多臺計(jì)算機(jī)進(jìn)行處理。這樣可以節(jié)約整體計(jì)算時(shí)間，大大提高計(jì)算效率。

2.2 基于lts+zookeeper的分布式分析框架

（1）LTS分布式任務(wù)調(diào)度。LTS（light-task-scheduler）是一個(gè)輕量級分布式任務(wù)調(diào)度框架，參考hadoop的部分思想。有三種角色，JobClient，JobTracker，TaskTracker。各個(gè)節(jié)點(diǎn)都是無狀態(tài)的，可以部署多個(gè)，來實(shí)現(xiàn)負(fù)載均衡，實(shí)現(xiàn)更大的負(fù)載量，并且框架具有很好的容錯(cuò)能力。（2）Zookeeper分布式應(yīng)用協(xié)調(diào)。ZooKeeper是一個(gè)分布式的開源的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。

如圖1所示，計(jì)量數(shù)據(jù)分析任務(wù)可以向所有集群組提交，也支持向單個(gè)群組提交，例如：表碼分析任務(wù)比較大，可以配置讓所有集群組參與計(jì)算;亦可以根據(jù)業(yè)務(wù)規(guī)模估算任務(wù)與集群組處理的配置關(guān)系，比如：末端停電用戶分析任務(wù)需要快速處理，可由單獨(dú)的集群組進(jìn)行計(jì)算處理。

2.3 基于Mycat+Mysql的分布式存儲(chǔ)

（1）Mycat數(shù)據(jù)庫中間件。Mycat是基于阿里開源的Cobar產(chǎn)品而研發(fā)，具有Cobar的穩(wěn)定性、可靠性、可擴(kuò)展等優(yōu)秀特點(diǎn)。它核心原理就是拆數(shù)據(jù)，將一個(gè)張表的數(shù)據(jù)通過某個(gè)字段進(jìn)行水平拆分后存到多張表中，如圖2所示，通過路由字段去不同的數(shù)據(jù)庫中查詢數(shù)據(jù)，同時(shí)也存在一定缺陷，那就是查詢語句中如果沒有路由字段Mycat將不知道該數(shù)據(jù)在那個(gè)分片數(shù)據(jù)庫上，會(huì)查詢所有的分片，在返回結(jié)果給客戶端。

（2）Mysql數(shù)據(jù)庫存儲(chǔ)。MySQL是一個(gè)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQL AB公司開發(fā)，目前屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS（Relational Database Management System，關(guān)系數(shù)據(jù)庫管理系統(tǒng)） 應(yīng)用軟件。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低。

如圖3所示，通過分布式任務(wù)分析后的結(jié)果數(shù)據(jù)，基于Mycat進(jìn)行數(shù)據(jù)路由，實(shí)現(xiàn)不同地區(qū)、月份的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，解決海量數(shù)據(jù)的分析及存儲(chǔ)壓力。并根據(jù)業(yè)務(wù)數(shù)據(jù)的訪問效率，對于只做查詢的數(shù)據(jù)進(jìn)行歷史表存儲(chǔ)，實(shí)現(xiàn)讀寫分離，解決數(shù)據(jù)查詢訪問效率。

3 計(jì)量運(yùn)行數(shù)據(jù)分析應(yīng)用效果

針對計(jì)量運(yùn)行數(shù)據(jù)量大、數(shù)據(jù)變化快、數(shù)據(jù)維度廣的特點(diǎn)，構(gòu)建分布式計(jì)算框架，實(shí)現(xiàn)海量數(shù)據(jù)的分布式分析計(jì)算，有效地提升計(jì)量業(yè)務(wù)的精益化管理水平，開展針對電量、功率、電壓、電流、負(fù)載率、線損、停電等相關(guān)業(yè)務(wù)的精益化分析，提升電網(wǎng)運(yùn)行管理能力。如圖4所示，基于計(jì)量日凍結(jié)表碼，每天進(jìn)行臺區(qū)線損的計(jì)算，實(shí)現(xiàn)臺區(qū)線損的跟蹤分析，針對有異常的臺區(qū)進(jìn)行跟蹤處理[1]。

圖5所示，基于日凍結(jié)表碼數(shù)據(jù)，實(shí)現(xiàn)對用戶日均用電情況的跟蹤處理，輔助電網(wǎng)企業(yè)進(jìn)行電量波動(dòng)、電力現(xiàn)貨交易、竊電等分析工作[2]。

4 結(jié)語

通過對分布式計(jì)算技術(shù)在計(jì)量運(yùn)行數(shù)據(jù)分析中的研究，實(shí)現(xiàn)對海量計(jì)量數(shù)據(jù)的分析挖掘，實(shí)現(xiàn)客戶日用電情況分析、異常數(shù)據(jù)監(jiān)控等深度應(yīng)用，使數(shù)據(jù)的價(jià)值得到最大程度的發(fā)揮，突破目前計(jì)量數(shù)據(jù)僅僅停留到表底采集的功能應(yīng)用，把計(jì)量運(yùn)行“沉睡”的數(shù)據(jù)盤活，提升電網(wǎng)企業(yè)計(jì)量業(yè)務(wù)的精益化管理水平，提升電網(wǎng)企業(yè)營銷業(yè)務(wù)管理能力。

參考文獻(xiàn)

[1] 高源晴.分布式計(jì)算在電能量計(jì)量系統(tǒng)中的研究與應(yīng)用[J].科技資訊，2013（9）：8.

[2] 衡星辰，周力.分布式技術(shù)在電力大數(shù)據(jù)高性能處理中的應(yīng)用[J].電力信息與通信技術(shù)，2013（9）：40-43.