基于Hadoop的智能電網(wǎng)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

摘 要：針對智能電網(wǎng)監(jiān)控系統(tǒng)中海量監(jiān)控?cái)?shù)據(jù)存取、處理困難的問題，通過綜合利用地理信息技術(shù)、網(wǎng)絡(luò)通信技術(shù)和分布式數(shù)據(jù)庫技術(shù)等，提出一種基于Hadoop云計(jì)算框架的智能電網(wǎng)監(jiān)控系統(tǒng)，并介紹了系統(tǒng)的工作流程。最后結(jié)合浙江省杭州市某地區(qū)的虛擬電網(wǎng)中某電廠的運(yùn)行進(jìn)行了實(shí)例介紹和分析。實(shí)例表明，相比傳統(tǒng)數(shù)據(jù)庫模式和已有方法，系統(tǒng)對信息處理具有更高的效率和可靠性。

關(guān)鍵詞：智能電網(wǎng)；空間信息；云計(jì)算；通信網(wǎng)絡(luò)；Map Reduce

引言

電力系統(tǒng)實(shí)時(shí)數(shù)據(jù)是電力系統(tǒng)設(shè)備測量和采集的重要數(shù)據(jù)，這些數(shù)據(jù)是分析電力系統(tǒng)穩(wěn)定性，預(yù)測電網(wǎng)負(fù)荷和電力設(shè)備故障、老化等方面的重要依據(jù)，是電網(wǎng)運(yùn)行必須監(jiān)測的數(shù)據(jù)[1]。電網(wǎng)中密布著的眾多電力設(shè)備和監(jiān)測儀器[2]，組成了需要電力信息系統(tǒng)不停接收和處理的實(shí)時(shí)狀態(tài)數(shù)據(jù)。這些狀態(tài)數(shù)據(jù)的數(shù)據(jù)量巨大，對于監(jiān)控系統(tǒng)提出了較高的可靠性和實(shí)時(shí)性要求。而傳統(tǒng)系統(tǒng)在面對海量狀態(tài)數(shù)據(jù)時(shí)，表現(xiàn)出存儲(chǔ)能力和處理能力嚴(yán)重不足的問題，在很大程度上制約了電網(wǎng)監(jiān)控系統(tǒng)的工作效率。因此，存儲(chǔ)信息數(shù)據(jù)與處理這些數(shù)據(jù)已成為制約智能電網(wǎng)監(jiān)控的關(guān)鍵所在。Hadoop是一種專為大數(shù)據(jù)集對象分析處理提出的分解/聚合云計(jì)算框架[3]。通過分布式文件系統(tǒng)HDFS和并行編程模型Map/Reduce兩大核心的協(xié)調(diào)管理，系統(tǒng)可以對海量數(shù)據(jù)進(jìn)行有效分割與合理調(diào)度，從而實(shí)現(xiàn)針對大數(shù)據(jù)的高效的并行處理。當(dāng)前，我國正在加快智能電網(wǎng)建設(shè)，采用云計(jì)算技術(shù)進(jìn)行狀態(tài)監(jiān)測數(shù)據(jù)的可靠存儲(chǔ)和并行處理，對于未來智能電網(wǎng)的建立必然起到巨大的推動(dòng)作用。基于此，本文在研究地理信息系統(tǒng)與智能電網(wǎng)有機(jī)結(jié)合的基礎(chǔ)上，通過研發(fā)基于Hadoop的智能電網(wǎng)監(jiān)控系統(tǒng)，實(shí)現(xiàn)對大數(shù)據(jù)集電網(wǎng)監(jiān)控信息的高效并行存儲(chǔ)與處理，解決我國對電網(wǎng)運(yùn)行實(shí)時(shí)監(jiān)控難、慢的問題，完善對電網(wǎng)運(yùn)行情況的監(jiān)控，以提高電網(wǎng)整體應(yīng)急保障能力，增強(qiáng)我國智能電網(wǎng)的信息化建設(shè)中的運(yùn)行管理能力。

1 理論概述

電網(wǎng)監(jiān)測是指電網(wǎng)在一定的運(yùn)行狀態(tài)下，通過特征信號(hào)的檢測、變換、分析處理以及顯示記錄，并輸出診斷所采集的信息，提供設(shè)備故障診斷的依據(jù)的過程。通過將先進(jìn)的自動(dòng)控制、通訊技術(shù)、計(jì)算機(jī)技術(shù)、信息技術(shù)等相結(jié)合，對系統(tǒng)內(nèi)某物理區(qū)域監(jiān)控的電力運(yùn)行設(shè)備設(shè)施進(jìn)行遙測、遙信、遙控、遙調(diào)操作，對二次設(shè)備和輔助設(shè)備實(shí)現(xiàn)遠(yuǎn)程控制，實(shí)現(xiàn)對全部一次設(shè)備的監(jiān)視、測量、控制、記錄和報(bào)警，實(shí)現(xiàn)電網(wǎng)的優(yōu)化運(yùn)行、優(yōu)化控制與優(yōu)化管理，從而提高電網(wǎng)運(yùn)行狀況、安全水平以及事故災(zāi)害預(yù)測預(yù)報(bào)的水平。

1.1 監(jiān)控對象

涉及電網(wǎng)監(jiān)測的對象和內(nèi)容很多，表1描述了監(jiān)控框架中涉及的對象。

表1

1.2 關(guān)鍵技術(shù)

智能電網(wǎng)監(jiān)控系統(tǒng)所要面對和處理的數(shù)據(jù)主要包括基礎(chǔ)地理信息數(shù)據(jù)、電網(wǎng)設(shè)備設(shè)施空間數(shù)據(jù)和帶有空間屬性特征的其他數(shù)據(jù)三大類?；A(chǔ)地理信息數(shù)據(jù)包括多種比例尺的全國電網(wǎng)地圖數(shù)據(jù)、省網(wǎng)地圖數(shù)據(jù)、重點(diǎn)城市電網(wǎng)地圖數(shù)據(jù)等。電網(wǎng)設(shè)備設(shè)施空間數(shù)據(jù)是帶有空間位置信息的電網(wǎng)數(shù)據(jù)，包括發(fā)電廠、變電站、架空線路、桿塔、電纜線路等。帶有空間屬性特征的其他數(shù)據(jù)即電網(wǎng)環(huán)境信息，包括氣象信息、災(zāi)害信息、地質(zhì)監(jiān)測（地震）、自然災(zāi)害（臺(tái)風(fēng)、冰災(zāi)等）、危險(xiǎn)源等信息。這些都會(huì)對電網(wǎng)產(chǎn)生影響，是監(jiān)控系統(tǒng)需要重點(diǎn)關(guān)注的[4]。智能電網(wǎng)監(jiān)控系統(tǒng)屬于一個(gè)復(fù)雜性的適應(yīng)系統(tǒng)，需要地理信息技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及數(shù)據(jù)庫技術(shù)等的全面支持。

地理信息系統(tǒng)的技術(shù)優(yōu)勢在于它的混合數(shù)據(jù)結(jié)構(gòu)和有效的數(shù)據(jù)集成、獨(dú)特的地理空間分析能力、快速的空間定位搜索，以及地理過程的演化模擬和空間決策支持功能等，通過將電網(wǎng)設(shè)備與其地理位置屬性相結(jié)合，可以更加快速得確定出線問題或者事故的地點(diǎn)和電網(wǎng)設(shè)備設(shè)施，提高了應(yīng)急反應(yīng)的效率。

智能電網(wǎng)對電網(wǎng)自動(dòng)化和運(yùn)營水平提出了更高要求，實(shí)現(xiàn)智能電網(wǎng)，必須將信息技術(shù)神經(jīng)網(wǎng)絡(luò)貫穿全網(wǎng)，通過傳感器網(wǎng)絡(luò)、智能終端、智能控制中心和信息網(wǎng)絡(luò)實(shí)現(xiàn)全網(wǎng)可觀可控，變革傳統(tǒng)電網(wǎng)控制和運(yùn)營模式，以兼容新能源和靈活應(yīng)對用戶多樣需求[5]。

監(jiān)控系統(tǒng)對電力參數(shù)進(jìn)行顯示和監(jiān)測的同時(shí)，為了今后對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析和處理，并實(shí)現(xiàn)數(shù)據(jù)曲線動(dòng)態(tài)顯示，還要求對系統(tǒng)提供數(shù)據(jù)庫存儲(chǔ)功能。由于電力信息存在數(shù)據(jù)種類繁多、數(shù)據(jù)量大、格式不統(tǒng)一且一次寫入、多次讀取等特點(diǎn)，電力監(jiān)測設(shè)備需要不斷地將實(shí)時(shí)監(jiān)測數(shù)據(jù)等寫入數(shù)據(jù)庫。為滿足可靠性和實(shí)時(shí)性的要求，不采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫，而采用基于列存儲(chǔ)的分布式數(shù)據(jù)管理模式，來支持大數(shù)據(jù)集的高效管理[1]。分布式數(shù)據(jù)庫雖然將數(shù)據(jù)記錄分散在各物理節(jié)點(diǎn)上，但邏輯上仍屬于同一個(gè)系統(tǒng)。通過數(shù)據(jù)分布的方法共享這些數(shù)據(jù)，一個(gè)全局?jǐn)?shù)據(jù)庫用于負(fù)責(zé)整個(gè)系統(tǒng)的管理，部分?jǐn)?shù)據(jù)庫則由每個(gè)節(jié)點(diǎn)的局部數(shù)據(jù)庫承擔(dān)。這樣，數(shù)據(jù)的分散采用使局部應(yīng)用達(dá)到最大，對各計(jì)算節(jié)點(diǎn)之間的相互干擾也降到最低。任務(wù)在各節(jié)點(diǎn)之間分擔(dān)，從而避免了負(fù)荷瓶頸，提高了工作效率。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)框架流程

基于Hadoop的智能電網(wǎng)監(jiān)控地理信息系統(tǒng)分為三個(gè)層次，分別為現(xiàn)場監(jiān)控層、網(wǎng)絡(luò)通信層、管理應(yīng)用層。

現(xiàn)場監(jiān)控層又稱為感知層，由各種傳感器以及傳感器網(wǎng)管構(gòu)成，包括溫度傳感器、濕度傳感器、二維碼標(biāo)簽、RFID標(biāo)簽和讀寫器、攝像頭等感知終端，主要監(jiān)控電網(wǎng)各環(huán)節(jié)的運(yùn)行參數(shù)、網(wǎng)絡(luò)通信網(wǎng)運(yùn)行狀態(tài)和電網(wǎng)環(huán)境信息等，實(shí)現(xiàn)包括輸電線路監(jiān)控、變電站站內(nèi)監(jiān)控、配電站監(jiān)控等在內(nèi)的實(shí)時(shí)監(jiān)控，包括帶有地理坐標(biāo)的地理屬性信息。

網(wǎng)絡(luò)通信層主要實(shí)現(xiàn)信息的傳遞和控制。從現(xiàn)場監(jiān)控層獲取的電網(wǎng)各種運(yùn)行參數(shù)以及電網(wǎng)環(huán)境信息通過網(wǎng)絡(luò)通信層傳送給管理應(yīng)用層。另一方面，從管理應(yīng)用層下達(dá)的指令需要通過網(wǎng)絡(luò)通信層轉(zhuǎn)發(fā)給現(xiàn)場監(jiān)控層上電力運(yùn)行設(shè)備的監(jiān)測器。網(wǎng)絡(luò)通信層承擔(dān)著雙向的、海量的電網(wǎng)數(shù)據(jù)傳輸任務(wù)。系統(tǒng)采用電力專網(wǎng)（光纖/以太網(wǎng)）和公用無線網(wǎng)絡(luò)（GPRS/3G/4G/衛(wèi)星）等多種通信技術(shù)來完成網(wǎng)絡(luò)通信層的數(shù)據(jù)傳輸工作[6]。

管理應(yīng)用層對現(xiàn)場監(jiān)控層中電網(wǎng)設(shè)備設(shè)施的地理信息、屬性信息等進(jìn)行采集、匯總和管理，全面監(jiān)控電網(wǎng)的整體運(yùn)行狀態(tài)，以便解析、處理、分析獲取的各項(xiàng)信息，為應(yīng)急指揮決策提供關(guān)鍵的數(shù)據(jù)來源。

針對智能電網(wǎng)設(shè)備設(shè)施監(jiān)測的特點(diǎn)，采用分布式的冗余存儲(chǔ)系統(tǒng)以及基于列存儲(chǔ)的數(shù)據(jù)管理模式來存儲(chǔ)和管理數(shù)據(jù)，保證智能電網(wǎng)海量狀態(tài)數(shù)據(jù)的可靠性和高效管理[7]。圖1為本系統(tǒng)的運(yùn)行流程圖。

利用傳感器網(wǎng)絡(luò)、電力專網(wǎng)等獲取的電力設(shè)備設(shè)施的運(yùn)行狀況數(shù)據(jù)等通過基于Map Reduce的電網(wǎng)監(jiān)測數(shù)據(jù)并行處理平臺(tái)生成監(jiān)測監(jiān)控日志記錄存儲(chǔ)到數(shù)據(jù)庫。帶空間屬性特征的其他信息數(shù)據(jù)庫中包括遙感信息、道路信息以及氣象信息等數(shù)據(jù)。對于氣象信息，通過專用電纜或Internet網(wǎng)從氣象部門獲取電網(wǎng)調(diào)度氣象預(yù)警預(yù)報(bào)服務(wù)數(shù)據(jù)[8]等相關(guān)氣象地理信息數(shù)據(jù)。

2.2 改進(jìn)的基于Map Reduce的并行處理流程

在處理監(jiān)測數(shù)據(jù)集時(shí)，Map Reduce首先將其劃分成成百上千個(gè)小的數(shù)據(jù)集，然后集群中的每個(gè)節(jié)點(diǎn)分別處理一個(gè)或若干個(gè)劃分后的小數(shù)據(jù)集并產(chǎn)生中間結(jié)果，最后通過對大量的節(jié)點(diǎn)進(jìn)行合并將這些中間結(jié)果轉(zhuǎn)化為最終結(jié)果。整個(gè)工作過程主要分Map和Reduce兩個(gè)階段。

圖1 基于Hadoop的智能電網(wǎng)監(jiān)控系統(tǒng)運(yùn)行流程

通常情況下，經(jīng)過Map操作處理過的中間結(jié)果中會(huì)有很多重復(fù)的鍵存在。為了減輕Reduce操作以及網(wǎng)絡(luò)傳輸?shù)呢?fù)擔(dān)，系統(tǒng)進(jìn)行了優(yōu)化，即：自定義一個(gè)合并（Combiner）方法，對中間結(jié)果進(jìn)行局部的整合和規(guī)約。Combiner操作在每個(gè)進(jìn)行Map操作的節(jié)點(diǎn)上運(yùn)行，通常采用與Reduce操作同樣的流程。唯一的區(qū)別是，Reduce操作的結(jié)果被寫到最終的輸出文件，而Combiner操作的結(jié)果則作為中間文件發(fā)送給Reduce操作。圖2給出了改進(jìn)的Map Reduce的執(zhí)行流程，其具體操作步驟如下：

（1）首先，被導(dǎo)入運(yùn)行用戶程序的云計(jì)算平臺(tái)的監(jiān)測數(shù)據(jù)集進(jìn)行預(yù)處理，進(jìn)行數(shù)據(jù)的減噪等處理。

（2）用戶程序中的Map Reduce函數(shù)庫會(huì)將導(dǎo)入的監(jiān)測數(shù)據(jù)文件切分成16到64兆的M塊（可以通過參數(shù)調(diào)整），接著在集群的不同機(jī)器上執(zhí)行程序的拷貝。要指出的是，分割不需要了解文件的內(nèi)部邏輯結(jié)構(gòu)，具體的分割模式既可以自己指定，也可以使用Hadoop已定義的幾種簡單分隔。

（3）在所有運(yùn)行進(jìn)程中，主控程序master來負(fù)責(zé)其余的執(zhí)行任務(wù)的分配。執(zhí)行程序中的主控程序Master根據(jù)工作節(jié)點(diǎn)（Worker）的空閑情況分配Map和Reduce任務(wù)。

（4）分配了Map任務(wù)的工作節(jié)點(diǎn)讀取并處理輸入數(shù)據(jù)塊，Map函數(shù)最終輸出中間結(jié)果對。另外，為了進(jìn)一步縮短處理的時(shí)間，在進(jìn)行Combine操作時(shí)，被合并的key對首先建立索引，然后合并成若干個(gè)較大的新數(shù)據(jù)對，在傳輸?shù)絉educe過程后，再進(jìn)行分解，并利用索引進(jìn)行Reduce過程。

（5）系統(tǒng)將這些鍵/值對數(shù)據(jù)打包后將索引信息發(fā)送給Master，然后通過Master傳輸給Reduce。

（6）Reducer Worker調(diào)用用戶自定義的Reduce函數(shù)對中間結(jié)果的集合進(jìn)行分析和排序。

（7）在執(zhí)行完所有的Map Reduce任務(wù)后，Master負(fù)責(zé)控制相應(yīng)的監(jiān)測數(shù)據(jù)入庫保存并生成相應(yīng)的副本文件進(jìn)行傳送。

3 實(shí)例介紹

搭建具有若干節(jié)點(diǎn)的分布式集群模擬環(huán)境，集群由6臺(tái)臺(tái)式機(jī)電腦組成，其中一臺(tái)臺(tái)式機(jī)電腦充當(dāng)主控節(jié)點(diǎn)，其余5臺(tái)分別作為運(yùn)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)配置均是CPU為Intel Pentium P6200、主頻2.40Hz、內(nèi)存4G；每個(gè)節(jié)點(diǎn)使用百兆以太網(wǎng)模擬電力傳輸網(wǎng)絡(luò)，安裝系統(tǒng)為Ubuntu12.10，Hadoop0.20版本，java1.6版本，HBase0.20.3版本。數(shù)據(jù)選取浙江省杭州市某區(qū)的帶有地理坐標(biāo)屬性的虛擬電網(wǎng)數(shù)據(jù)進(jìn)行系統(tǒng)運(yùn)行的實(shí)例介紹。系統(tǒng)的主界面如圖3所示，用戶可根據(jù)自身需求情況選擇各自功能模塊進(jìn)行操作。

點(diǎn)擊實(shí)時(shí)運(yùn)行管控按鈕，即進(jìn)入實(shí)時(shí)運(yùn)行管控界面，如圖4所示。在界面中，設(shè)定了Admin（管理員）與User（普通用戶）兩種權(quán)限使用管理。其中，User權(quán)限的用戶只能進(jìn)行信息的查詢，而Admin權(quán)限的管理員可以將提供的警報(bào)信息進(jìn)行信息的在線發(fā)布，具有極高的實(shí)用性。

圖3 智能電網(wǎng)監(jiān)控系統(tǒng)主界面

圖4 系統(tǒng)監(jiān)控界面

通過系統(tǒng)的實(shí)例運(yùn)行，對比傳統(tǒng)的監(jiān)控系統(tǒng)，發(fā)現(xiàn)基于Hadoop的智能電網(wǎng)監(jiān)控系統(tǒng)在反應(yīng)速率和準(zhǔn)確率上均有了不同程度的提高，尤其是在面對數(shù)據(jù)量較大的監(jiān)控?cái)?shù)據(jù)集時(shí)，性能表現(xiàn)依然優(yōu)異。其中，反應(yīng)速率提高了6.7%，準(zhǔn)確率提高到了98.8%，驗(yàn)證了該系統(tǒng)的有效性和可靠性。

4 結(jié)束語

針對電網(wǎng)監(jiān)控系統(tǒng)中傳統(tǒng)模式下大數(shù)據(jù)集存儲(chǔ)于處理受限制的問題，本文設(shè)計(jì)了基于Hadoop的智能電網(wǎng)監(jiān)控系統(tǒng)，利用分布式處理新方法對海量的監(jiān)控?cái)?shù)據(jù)進(jìn)行存儲(chǔ)和處理。實(shí)例驗(yàn)證表明，相比傳統(tǒng)數(shù)據(jù)庫模式和已有方法，本文系統(tǒng)對海量電網(wǎng)運(yùn)行監(jiān)控信息處理的效率更加高效和可靠。

參考文獻(xiàn)

[1]王德文，朱永利，王艷.基于IEC 61850的輸變電設(shè)備狀態(tài)監(jiān)測集成平臺(tái)[J].電力系統(tǒng)自動(dòng)化，2010，34（13）：43-47.

REN Jianfeng，DING Yawei，F(xiàn)U Lei，et al. An improved strategy for out-of-step separation based on phase angle principle for 1 000 kV ultra-high voltage AC power grids[J].Automation of Electric Power Systems，2011，35（10）：104 107.

[2]李成華，張新訪，金海，向文.MapReduce：新型的分布式并行計(jì)算編程模型[J].計(jì)算機(jī)工程與科學(xué)，2011，33（3）：129-135.

[3]羅軍舟，金嘉暉，宋愛波，等.云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào)，2011，32（7）：3-21.

[4]魯偉，張?zhí)毂?，李國?電網(wǎng)應(yīng)急指揮信息管理系統(tǒng)設(shè)計(jì)與關(guān)鍵技術(shù)[C].中國通信學(xué)會(huì)2011年光纜電纜學(xué)術(shù)年會(huì)論文集，2011：45-50.

[5]舒強(qiáng). 智能電網(wǎng)的信息網(wǎng)絡(luò)支撐平臺(tái)[J].裝備制造技術(shù)，2011（3）：118-121.

[6]李祥珍，劉建明.面向智能電網(wǎng)的物聯(lián)網(wǎng)技術(shù)及其應(yīng)用[J].電信網(wǎng)技術(shù)，2010，8：41-45.

[7]王德文，宋亞奇，朱永利.基于云計(jì)算的智能電網(wǎng)信息平臺(tái)[J].電力系統(tǒng)自動(dòng)化，2010，34（22）：7-12.

[8]中華人民共和國氣象行業(yè)標(biāo)準(zhǔn).電網(wǎng)調(diào)度氣象預(yù)警預(yù)報(bào)服務(wù)產(chǎn)品（征求意見稿）[S].北京：中國氣象局，2011.

[9]GB/T 15945-2008 電能質(zhì)量 電力系統(tǒng)頻率偏差[S].北京：中國電力出版社，2008.

[10]IEEE Std C37. 118-2005 IEEE standard for synchrophasors for power systems[S].New York，NY，USA： The Institute of Electrical and Electronics Engineers，2006.