智能變電站海量在線監(jiān)測數(shù)據(jù)處理方法

王德文，肖 磊，肖 凱

（華北電力大學(xué) 控制與計算機(jī)工程學(xué)院，河北 保定 071003）

0 引言

隨著智能變電站信息一體化的發(fā)展[1-3]，電力狀態(tài)監(jiān)測數(shù)據(jù)呈現(xiàn)以下特點(diǎn)：數(shù)據(jù)量呈幾何性增長，數(shù)據(jù)規(guī)模不斷擴(kuò)大；數(shù)據(jù)類型結(jié)構(gòu)復(fù)雜多樣，不僅包括各種實(shí)時在線監(jiān)測數(shù)據(jù)，還包括設(shè)備臺賬信息、試驗數(shù)據(jù)、缺陷數(shù)據(jù)等離線信息[4]；數(shù)據(jù)廣域分布、種類繁多，包括各類結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，且各類數(shù)據(jù)查詢與處理的頻度及性能要求也不盡相同；平臺間數(shù)據(jù)通信困難、交互性差等。現(xiàn)有電力系統(tǒng)的數(shù)據(jù)處理方案[5-6]，大都采用常規(guī)的數(shù)據(jù)存儲與管理方法，存儲硬件采用磁盤陣列，數(shù)據(jù)庫管理軟件采用關(guān)系數(shù)據(jù)庫系統(tǒng)，導(dǎo)致系統(tǒng)可伸縮性與可靠性較差、數(shù)據(jù)處理能力不足，難以適應(yīng)智能變電站對狀態(tài)監(jiān)測數(shù)據(jù)的可靠存儲和快速查詢的更高要求。

云計算技術(shù)具有成本低、可靠性高、易擴(kuò)展等優(yōu)勢，為智能變電站信息平臺的建設(shè)提供了全新的解決思路。云計算利用分布式計算數(shù)據(jù)存儲技術(shù)，為海量數(shù)據(jù)提供了不怕故障的存儲；其基于列的數(shù)據(jù)管理技術(shù)能夠高效地管理各類多元數(shù)據(jù)；其強(qiáng)大的并行處理能力，能夠?qū)㈦娏ο到y(tǒng)業(yè)務(wù)邏輯與并行計算的復(fù)雜細(xì)節(jié)劃分開來，為快速查詢與計算提供便利[7]。云計算目前主要應(yīng)用于互聯(lián)網(wǎng)、商業(yè)和科學(xué)計算等領(lǐng)域[8-10]，在電力領(lǐng)域已經(jīng)展開初步研究[11-12]，將云計算技術(shù)引入智能變電站狀態(tài)監(jiān)測系統(tǒng)，既是一種有益的實(shí)踐，又具有重要的研究價值與實(shí)際意義。

本文結(jié)合智能變電站狀態(tài)監(jiān)測系統(tǒng)的特點(diǎn)與功能需求，研究基于Hadoop云計算技術(shù)的變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)存儲方式、數(shù)據(jù)檢測機(jī)制以及索引構(gòu)建方法等關(guān)鍵問題，提出基于Hadoop云計算技術(shù)構(gòu)建智能變電站信息平臺，使用面向列的分布式結(jié)構(gòu)化數(shù)據(jù)庫HBase在開源的Hadoop集群上實(shí)現(xiàn)智能變電站中在線監(jiān)測數(shù)據(jù)的可靠存儲及快速查詢。

1 變電設(shè)備在線監(jiān)測系統(tǒng)

智能變電站是指采用智能電子設(shè)備，自動完成信息采集、測量和監(jiān)測等基本功能，并支持智能調(diào)節(jié)、分析決策、協(xié)同互動等高級功能的變電站[13-14]。根據(jù)相關(guān)技術(shù)導(dǎo)則以及智能變電站技術(shù)規(guī)范的要求①國家電網(wǎng)公司.輸變電設(shè)備狀態(tài)監(jiān)測系統(tǒng)總體框架設(shè)計.2010.，變電設(shè)備在線監(jiān)測系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 變電設(shè)備在線監(jiān)測系統(tǒng)結(jié)構(gòu)Fig.1 Structure of substation equipment online monitoring system

a.各級地市變電站中都有各自的在線監(jiān)測接入控制器（CAC），負(fù)責(zé)收集各種在線監(jiān)測數(shù)據(jù)，包括電容器監(jiān)測數(shù)據(jù)、電抗器監(jiān)測數(shù)據(jù)、斷路器監(jiān)測數(shù)據(jù)等，然后將這些數(shù)據(jù)合成處理，生成在線監(jiān)測數(shù)據(jù)記錄，經(jīng)過變電設(shè)備在線監(jiān)測數(shù)據(jù)交換傳送到網(wǎng)省公司的在線監(jiān)測接入網(wǎng)關(guān)機(jī)（CAG）中。

b.網(wǎng)省公司的變電站CAG對傳入的在線監(jiān)測數(shù)據(jù)進(jìn)行處理匯總，并且與CAC進(jìn)行通信，實(shí)現(xiàn)對CAC的異地維護(hù)、升級、控制等工作，同時將收集合成的在線監(jiān)測數(shù)據(jù)轉(zhuǎn)發(fā)到主站系統(tǒng)。

c.變電站主站系統(tǒng)通過對變電站內(nèi)變壓器、斷路器、避雷器等電氣設(shè)備狀態(tài)進(jìn)行監(jiān)測，將設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)匯總，實(shí)現(xiàn)綜合分析、故障診斷和狀態(tài)評估的功能，并為數(shù)據(jù)挖掘與輔助決策等高級應(yīng)用提供技術(shù)支撐。主站系統(tǒng)的在線監(jiān)測數(shù)據(jù)的存儲與查詢性能很大程度上決定著整個主站系統(tǒng)在線監(jiān)測數(shù)據(jù)處理平臺的安全、高效和穩(wěn)定運(yùn)行。因此，對于在線監(jiān)測數(shù)據(jù)的可靠存儲和高效查詢的方法的研究就顯得尤為重要。

2 基于Hadoop的在線監(jiān)測數(shù)據(jù)處理平臺

2.1 基于Hadoop的在線監(jiān)測數(shù)據(jù)處理框架

Hadoop是Apache開源組織的一個分布式計算框架，支持在大量廉價的硬件設(shè)備組成的集群上運(yùn)行“數(shù)據(jù)密集型”應(yīng)用，具有高可靠性和良好的可擴(kuò)展性。引用Hadoop技術(shù)，搭建在線監(jiān)測數(shù)據(jù)處理平臺，可以解決海量在線監(jiān)測數(shù)據(jù)存儲和查詢問題，并且為更高級應(yīng)用提供高性能的分布式計算環(huán)境。

將電力系統(tǒng)總部以及各個網(wǎng)省公司的數(shù)據(jù)中心服務(wù)器、存儲設(shè)備等硬件資源進(jìn)行虛擬化，使其升級為云節(jié)點(diǎn)，以虛擬機(jī)為單位進(jìn)行統(tǒng)一管理。虛擬化基礎(chǔ)設(shè)施能夠有效地簡化數(shù)據(jù)中心的管理與維護(hù)工作，提升服務(wù)的可用性與可擴(kuò)展性[15]。在虛擬化平臺基礎(chǔ)上，搭建Hadoop在線監(jiān)測數(shù)據(jù)處理集群，利用Hadoop分布式文件系統(tǒng)（HDFS）以及面向列的HBase分布式數(shù)據(jù)庫系統(tǒng)，為海量的在線監(jiān)測數(shù)據(jù)提供可靠的存儲和查詢服務(wù)，并為更高級的數(shù)據(jù)挖掘與輔助決策提供便利。具體過程如圖2所示。

圖2 基于Hadoop的在線監(jiān)測數(shù)據(jù)處理平臺Fig.2 Online monitoring data processing platform based on Hadoop

在線監(jiān)測系統(tǒng)收集的各項在線監(jiān)測數(shù)據(jù)存儲到在線監(jiān)測數(shù)據(jù)存儲系統(tǒng)中，利用HDFS對海量的在線監(jiān)測數(shù)據(jù)進(jìn)行存儲。HDFS采用主從（Master／Slave）架構(gòu)，具備較為完善的冗余備份和故障恢復(fù)機(jī)制，能保證數(shù)據(jù)讀寫操作的安全性、可靠性等各方面的要求[16]?；贖adoop的在線監(jiān)測存儲系統(tǒng)由一個Namenode和一定數(shù)目的Datanodes組成。Namenode是一個中心服務(wù)器，管理在線監(jiān)測文件系統(tǒng)的名字空間以及客戶對文件的訪問，其余節(jié)點(diǎn)為Datanodes負(fù)責(zé)管理所在節(jié)點(diǎn)對在線監(jiān)測數(shù)據(jù)的存儲。

HBase建立在HDFS之上，是具有高可靠性、高性能、列存儲、可伸縮、實(shí)時讀寫特點(diǎn)的數(shù)據(jù)庫系統(tǒng)，通過行鍵（row key）和主鍵的范圍來檢索數(shù)據(jù)，用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。HBase的數(shù)據(jù)表結(jié)構(gòu)非常松散，表與表之間沒有任何關(guān)聯(lián)，其查詢效率比較高，能夠為海量的在線監(jiān)測數(shù)據(jù)查詢服務(wù)提供支持。

2.2 基于HBase的在線監(jiān)測數(shù)據(jù)索引建立方法

HBase表的結(jié)構(gòu)如表1所示，其由行鍵、時間戳以及列族組成。行鍵為表的主鍵，表中的記錄按照行鍵排序；時間戳表示每次數(shù)據(jù)操作對應(yīng)的時間；列族可以由任意多個列組成，并且支持動態(tài)擴(kuò)展。

表1 基于HBase的變電設(shè)備在線監(jiān)測數(shù)據(jù)概念視圖Tab.1 Conceptual view of substation equipment online monitoring data based on HBase

行鍵可設(shè)置為監(jiān)測類型編碼，例如021001代表監(jiān)測類型為變壓器及電抗器的局部放電，021005則代表監(jiān)測類型為變壓器及電抗器的頂層油溫。列族包括相應(yīng)的在線監(jiān)測數(shù)據(jù)內(nèi)容，如被監(jiān)測設(shè)備碼、監(jiān)測裝置標(biāo)識、被監(jiān)測設(shè)備相別組成和監(jiān)測時間等。設(shè)備編碼采用國家統(tǒng)一編碼方式，由3段共17位字符組成，格式如下：xxMxxxxxxxxxxxxx，其中第1段xx為網(wǎng)省公司標(biāo)識；第2段采用固定標(biāo)識符M；第3段采用14位流水號標(biāo)識。

HBase需要保證用戶在數(shù)據(jù)的低冗余及一致性的基礎(chǔ)上，對海量的在線監(jiān)測數(shù)據(jù)進(jìn)行高性能的范圍檢索。隨著數(shù)據(jù)量的大規(guī)模增加，這種方法給用戶查詢帶來了巨大的不便。利用HBase創(chuàng)建索引表，以行鍵來存儲索引，列族用來存儲被監(jiān)測設(shè)備標(biāo)識、監(jiān)測時間、監(jiān)測裝置標(biāo)識等其他數(shù)據(jù)。

HBase索引表往往是1個行鍵對應(yīng)1個索引，然后依靠表的行鍵來實(shí)現(xiàn)范圍檢索。這種方法的特點(diǎn)是簡單、掃描效率相對較高，但在查詢上還是不夠簡潔方便，并且在查詢處理以及數(shù)據(jù)的合并匯總上都會出現(xiàn)瓶頸。為了改善查詢效率，采用組合索引的方式，將建立索引的字段拼接組合，提高查詢效率，如表2所示。

表2 基于HBase在線監(jiān)測數(shù)據(jù)的組合索引表Tab.2 Comprehensive index table based on HBase for online monitoring data

將監(jiān)測時間yyyy-MM-dd與監(jiān)測類型編碼021005（變壓器頂層油溫）組合拼接到行鍵中，建立索引表。通過這種組合索引的方式，就可得到該天所有變壓器頂層油溫的數(shù)據(jù)，并分析數(shù)據(jù)完成在線監(jiān)測數(shù)據(jù)的查詢。另外，可以根據(jù)不同的場景和需要創(chuàng)建不同的查詢索引，例如將被監(jiān)測設(shè)備碼放置到行鍵中創(chuàng)建查詢索引（如021005_23M00000005482691），所得到的結(jié)果就是針對23M00000005482691這一被監(jiān)測設(shè)備所收集到的所有在線監(jiān)測數(shù)據(jù)。組合索引方案的優(yōu)點(diǎn)是查詢速度非常快、效率高，用戶可以根據(jù)查詢條件，創(chuàng)建查詢索引，通過對查詢索引表的檢索即可得到數(shù)據(jù)結(jié)果集。

2.3 基于Hadoop的在線監(jiān)測數(shù)據(jù)快速查詢方法

在線監(jiān)測數(shù)據(jù)文件存儲HDFS中，為了提高快速查詢處理能力，針對在線監(jiān)測數(shù)據(jù)建立查詢索引，并將這些查詢索引存放到HBase中?；诜植际轿募鎯ο到y(tǒng)以及查詢索引，完成大規(guī)模在線監(jiān)測數(shù)據(jù)的查詢。查詢方法分為以下3個步驟，具體如圖3所示。

a.CAC以及CAG負(fù)責(zé)在線監(jiān)測數(shù)據(jù)的收集，然后傳送到HDFS集群中，狀態(tài)數(shù)據(jù)以文件形式組織，現(xiàn)階段的處理方式是直接將數(shù)據(jù)以二進(jìn)制的形式存放到文件里，不包含任何冗余數(shù)據(jù)。后續(xù)查詢將通過文件名和偏移量來獲取數(shù)據(jù)。

b.HDFS設(shè)置一個主節(jié)點(diǎn)的數(shù)據(jù)監(jiān)測接口用于檢測HDFS中新的狀態(tài)數(shù)據(jù)文件，然后該主節(jié)點(diǎn)把檢測到的數(shù)據(jù)文件分發(fā)給不同的子節(jié)點(diǎn)完成查詢索引創(chuàng)建。索引創(chuàng)建過程如下：讀取文件，對在線監(jiān)測數(shù)據(jù)進(jìn)行掃描，將需要建立索引的常用字段提取出來加入到在線監(jiān)測數(shù)據(jù)記錄列表中。

圖3 基于Hadoop的在線監(jiān)測數(shù)據(jù)查詢方法Fig.3 Online monitoring data query based on Hadoop

c.根據(jù)這些常用字段在HBase中建立索引表，方便數(shù)據(jù)的查詢?；贖Base的查詢索引，接受并處理用戶的狀態(tài)數(shù)據(jù)查詢請求，到HBase中完成具體的查詢處理，在獲得結(jié)果在線監(jiān)測數(shù)據(jù)記錄列表后，再到存儲在HDFS的狀態(tài)數(shù)據(jù)文件中讀出詳細(xì)的在線監(jiān)測記錄，并將得到的數(shù)據(jù)逐一返回給客戶端。

該方法中將會實(shí)時監(jiān)測是否有新的文件生成，而且查詢索引處理過程是分布式的；且通過使用Zookeeper，管理者不必關(guān)心系統(tǒng)的負(fù)載均衡和單點(diǎn)失效問題。

3 智能變電站云實(shí)驗平臺及性能測試

3.1 智能變電站云實(shí)驗平臺的搭建

根據(jù)上述方法，搭建一個基于Hadoop的智能變電站在線監(jiān)測實(shí)驗平臺。整個實(shí)驗平臺由10臺PC機(jī)（作為10個節(jié)點(diǎn)）和1個交換機(jī)構(gòu)成，PC1作為Namenode 和 jobtracker，PC2至 PC10作為 Datanode 和 tasktracker。每個節(jié)點(diǎn)安裝VirtualBox虛擬機(jī)，在虛擬機(jī)上安裝Ubuntu Linux操作系統(tǒng)，并安裝 Apache Hadoop云計算平臺。HDFS管理界面顯示Datanode各個節(jié)點(diǎn)使用空間、使用率、大小等內(nèi)容。

將模擬產(chǎn)生的在線監(jiān)測的數(shù)據(jù)，導(dǎo)入到基于Hadoop的在線監(jiān)測數(shù)據(jù)處理平臺中，利用TeraSort、Sort、TestDFSIO、YCSB等測試工具對所搭建的在線監(jiān)測實(shí)驗平臺的性能進(jìn)行測試。

3.2 在線監(jiān)測數(shù)據(jù)排序能力測試

Sort是一種主要測試Hadoop MapReduce性能的工具，用于衡量分布式數(shù)據(jù)處理框架的數(shù)據(jù)處理能力。Sort自帶一個部分排序的程序，實(shí)驗過程通過生成隨機(jī)的數(shù)據(jù)，執(zhí)行排序，然后驗證結(jié)果。

首先通過使用RandomWriter生成一些隨機(jī)的在線監(jiān)測數(shù)據(jù)。它以每個節(jié)點(diǎn)10個map的方式運(yùn)行一個MapReduce作業(yè)，并且每一個map生成近似10 GB的隨機(jī)二進(jìn)制在線監(jiān)測數(shù)據(jù)，帶有不同長度的鍵和值。

執(zhí)行排序，對產(chǎn)生的在線監(jiān)測數(shù)據(jù)文件進(jìn)行排序測試，實(shí)驗結(jié)果表明，實(shí)驗平臺對所傳送的在線監(jiān)測數(shù)據(jù)文件能夠進(jìn)行sort排列。取5次排序時間的平均值，分別為 324 s、298 s、374 s、341 s和 382 s，平均時間為342.8 s。實(shí)驗表明，在線監(jiān)測實(shí)驗平臺具有良好的數(shù)據(jù)計算能力。

3.3 大規(guī)模在線監(jiān)測數(shù)據(jù)塊基準(zhǔn)測試

智能變電站監(jiān)測的設(shè)備眾多，數(shù)據(jù)量龐大，數(shù)據(jù)結(jié)構(gòu)復(fù)雜。對所搭建平臺進(jìn)行大數(shù)據(jù)塊基準(zhǔn)測試，常用測試工具為TestDFSIO。通過生成數(shù)據(jù)，提交作業(yè)，統(tǒng)計作業(yè)完成時間對實(shí)驗平臺的整體I／O性能進(jìn)行了測試。測試程序用一個MapReduce作業(yè)對HDFS進(jìn)行高強(qiáng)度的I／O操作，來測試集群整體的并行寫入以及讀取數(shù)據(jù)的性能。

實(shí)驗通過改變數(shù)據(jù)規(guī)模、文件大小、文件數(shù)量，來對獲取的運(yùn)行時間進(jìn)行比較，測試其對集群I／O性能的影響，如表3所示。

表3 基準(zhǔn)測試讀寫運(yùn)行時間Tab.3 Read／write speed by benchmark test

實(shí)驗說明，逐漸增大數(shù)據(jù)規(guī)模進(jìn)行讀、寫操作，系統(tǒng)執(zhí)行時間增長趨緩，平均訪問時間有效降低，相比傳統(tǒng)數(shù)據(jù)管理系統(tǒng)平臺，隨著數(shù)據(jù)量的增加，基于Hadoop的在線監(jiān)測數(shù)據(jù)管理系統(tǒng)對文件的讀寫效率更好。這是由于傳統(tǒng)數(shù)據(jù)庫在隨著數(shù)據(jù)量的增加的同時，負(fù)荷逐漸增加，導(dǎo)致性能越來越慢，然而基于Hadoop在線監(jiān)測數(shù)據(jù)處理平臺在大規(guī)模文件處理方面顯示了很強(qiáng)的性能，實(shí)驗顯示Hadoop集群適合處理大數(shù)據(jù)量的讀寫。

在實(shí)驗過程中，開始取10個1000MB的文件，進(jìn)行讀寫測試，隨著測試數(shù)據(jù)和文件的不斷增大，系統(tǒng)性能也逐漸提升。再次用10個1 000 MB的文件進(jìn)行測試時，運(yùn)行時間僅僅用了162.673 s，接近開始時的330.861 s的一半。實(shí)驗結(jié)果表明，該實(shí)驗平臺的系統(tǒng)性能在處理過程中逐漸提升，如果繼續(xù)增加服務(wù)器節(jié)點(diǎn)的數(shù)量，其讀寫速度還會有更大的提高。

3.4 在線監(jiān)測數(shù)據(jù)讀寫查詢性能測試

在線監(jiān)測要求對所采集的數(shù)據(jù)進(jìn)行分析匯總，有效提取故障信息，并對海量的在線監(jiān)測數(shù)據(jù)進(jìn)行快速查詢。YCSB是Yahoo公司用來對云服務(wù)進(jìn)行基礎(chǔ)測試的工具，具有很好的可擴(kuò)展性和靈活性[17]。通過YCSB進(jìn)行寫入數(shù)據(jù)、讀取數(shù)據(jù)的性能測試，驗證實(shí)驗平臺的在線監(jiān)測數(shù)據(jù)查詢性能。

3.4.1 數(shù)據(jù)導(dǎo)入測試

根據(jù)所設(shè)計的HBase存儲模式，通過模擬CAG接口傳入的10萬條變壓器頂層油溫數(shù)據(jù)記錄（例如監(jiān)測類型編碼021005，被檢測設(shè)備標(biāo)識23M000000-05482691，頂層油溫80℃，監(jiān)測時間為2012-06-30 12∶30∶25），累計約為 10 GB，導(dǎo)入 HBase 數(shù)據(jù)庫。 總體運(yùn)行時間為1004.155 s，系統(tǒng)吞吐量達(dá)到每秒操作數(shù)142.33，單條記錄導(dǎo)入平均時延39.471 ms。

3.4.2 組合索引對比測試

以變壓器頂層油溫在線監(jiān)測數(shù)據(jù)為例，建立組合索引表，將冗余在線監(jiān)測數(shù)據(jù)的監(jiān)測時間設(shè)置到行鍵中進(jìn)行檢索（021005_2012-06-30），見表4。

表4 變壓器頂層油溫在線監(jiān)測數(shù)據(jù)的組合索引表Tab.4 Comprehensive index table for online monitoring data of top transformer oil temperature

未采用查詢索引優(yōu)化時，即行健為021005，監(jiān)測時間為列族時，掃描所用時間平均為1823 ms，吞吐量為每秒操作數(shù)162.09，經(jīng)過組合索引優(yōu)化后的數(shù)據(jù)掃描時間為1412ms，吞吐量為每秒操作數(shù)228.23。實(shí)驗結(jié)果顯示，經(jīng)過組合索引優(yōu)化，掃描操作時間更短，采用組合索引查詢的效率和吞吐率方面的性能均得到提升。

3.4.3 讀、寫延遲對比測試

在變電站在線監(jiān)測系統(tǒng)中，大多數(shù)應(yīng)用場景都是對數(shù)據(jù)的多次讀取操作，數(shù)據(jù)的讀取操作往往比寫入操作更加頻繁，寫入操作通常只進(jìn)行一次，更新數(shù)據(jù)也很少進(jìn)行，因此平臺的并行讀取性能就顯得格外重要。

對已存儲的10萬條變壓器頂層油溫在線監(jiān)測數(shù)據(jù)，執(zhí)行10000次讀寫操作，包括80%的讀指令和20%的寫指令。取3次測試結(jié)果的平均值，圖4描述了單條指令執(zhí)行的不同的讀寫平均延遲。3次測試的吞吐量變化平緩，系統(tǒng)運(yùn)行較穩(wěn)定，數(shù)據(jù)讀取操作的平均延遲比寫操作的平均延遲要小，該實(shí)驗平臺具有良好的數(shù)據(jù)讀取性能，可以滿足大規(guī)模數(shù)據(jù)的讀取和查詢的要求。

圖4 3次試驗中讀、寫平均延遲Fig.4 Average read／write latency of three tests

4 結(jié)語

本文通過研究智能變電站狀態(tài)監(jiān)測數(shù)據(jù)特點(diǎn)，結(jié)合Hadoop云計算技術(shù)，提出一種在線監(jiān)測數(shù)據(jù)存儲和查詢的解決方法，即基于Hadoop的平臺利用查詢索引對海量的在線監(jiān)測數(shù)據(jù)進(jìn)行快速查詢。實(shí)驗結(jié)果顯示在存儲容量、查詢延遲、數(shù)據(jù)可靠性和可擴(kuò)展性等方面，所提方法均顯示了較高的性能，在一定程度上驗證了該方法的可行性與有效性，能夠滿足智能變電站大規(guī)模在線監(jiān)測數(shù)據(jù)的存儲與處理的要求。