跨平臺電網規(guī)劃數據融合與存儲模式

趙春暉,吳志力,姜欣,崔燦,孫毅

(1.國網北京經濟技術研究院，北京市 102209; 2.華北電力大學電氣與電子工程學院，北京市 102206)

?

跨平臺電網規(guī)劃數據融合與存儲模式

趙春暉1,吳志力1,姜欣1,崔燦2,孫毅2

(1.國網北京經濟技術研究院，北京市 102209; 2.華北電力大學電氣與電子工程學院，北京市 102206)

隨著電網規(guī)劃各業(yè)務系統(tǒng)平臺的建立以及異構業(yè)務數據的急劇增加，急需打破各系統(tǒng)平臺之間的業(yè)務壁壘，建立完善的業(yè)務信息共享與交互體系。文章在分析現有業(yè)務系統(tǒng)數據格式及存儲現狀的基礎上，深入研究異構數據融合與存儲的關鍵技術，并提出一種跨平臺電網規(guī)劃數據融合與存儲模式。通過建立統(tǒng)一業(yè)務數據信息模型，完成異構數據的融合處理；構建基于Hadoop的分布式文件存儲系統(tǒng)，實現海量異構數據高效快速的存儲與索引，為電網規(guī)劃系統(tǒng)乃至電力行業(yè)的海量異構數據與信息共享提供理論指導與體系架構支撐。

跨平臺業(yè)務；數據融合；Hadoop；異構數據存儲

0 引 言

近年來，隨著信息計算技術的不斷發(fā)展，電力行業(yè)各業(yè)務領域的信息系統(tǒng)建設也在不斷推進，目前各類業(yè)務系統(tǒng)平臺的建立已初步實現單一類型數據的高效融合與存儲[1]。針對電力系統(tǒng)中越來越多的非結構化數據，尚無較有效的異構數據融合與存儲方案。在電網規(guī)劃體系中，規(guī)劃、技經、評審等業(yè)務系統(tǒng)不斷積累了大量異構數據，由于這些數據在系統(tǒng)建設初期設計要求各不統(tǒng)一，通常具有不同的格式、不同的業(yè)務屬性，造成了未來各業(yè)務信息系統(tǒng)間數據共享和交換的極大困難。構建良好的數據管理平臺，為各業(yè)務領域提供良好的技術支撐，需要根據現有的問題開展針對跨平臺多業(yè)務的數據融合與管理模式方面的研究，探索建立具有計算速度快、穩(wěn)定性高、維護簡便等優(yōu)點的統(tǒng)一信息平臺，構建業(yè)務數據的大集中管理架構。

數據融合與存儲的方式研究較多，文獻[2]提出一種模糊聯(lián)合聚類方法(fuzzy co-clustering for high-order heterogeneous data, HFCC)，實現對高階異構數據進行融合與聚類分析。算法最小化每個特征空間中對象與聚簇中心的加權距離，推導出對象隸屬度和特征權重的迭代更新公式，設計出聚類過程的迭代算法，并且從理論上證明了該迭代算法的收斂性。文獻[3]提出了基于solr的異構數據融合檢索技術，實現了對xml文件的索引和檢索，為異構數據融合檢索提供了解決方案。基于Hadoop和分布式文件系統(tǒng)(hadoop distributed file system, HDFS)的異構數據存儲方式也是研究的熱點。文獻[4]提出了針對能源數據的Hadoop存儲體系以及基于多級索引表DHT的快速索引算法。

電網規(guī)劃系統(tǒng)數據有較明顯的電力行業(yè)特色，一般的數據融合方式無法適用于電網規(guī)劃的各個業(yè)務平臺。針對各平臺的數據格式特征以及不同的存儲需求，需要研究一套適用于電網規(guī)劃體系各業(yè)務平臺的跨平臺數據融合與存儲模式，不僅能夠為電網企業(yè)的統(tǒng)一信息共享平臺提供理論和技術基礎，還能為大規(guī)劃體系中異構大數據的高效處理、存儲和應用做保障。本文在對現有業(yè)務平臺數據融合、共享與存儲現狀分析的基礎上，研究跨平臺電網規(guī)劃數據融合與存儲模式所涉及的關鍵技術，最后提出跨平臺電網規(guī)劃數據融合與存儲體系架構，為建設快速、穩(wěn)定、實用的統(tǒng)一信息平臺提供建設思路。

1 現狀分析

國網經濟技術研究院現有業(yè)務系統(tǒng)主要包括一體化電網規(guī)劃設計平臺、工程設計評審平臺和技經一體化平臺。

一體化電網規(guī)劃設計平臺涉及以下幾種業(yè)務數據：社會經濟、能源資源、電力供需、電網設備、電源設備、電網運行、地理信息、典型參數、電力工程等。

工程設計評審平臺包含下列業(yè)務數據：工程基礎數據、工程可研批復文件數據、工程初始批復文件數據、工程概算文件數據。

技經實驗室一體化平臺包含以下業(yè)務數據：項目工程數據、工程可研估算數據、工程初始概算數據、工程施工圖預算數據、工程竣工結算數據、結算管理數據、計價標準數據、專業(yè)資質管理數據、造價分析數據、標準成本測算數據、技經標準研究數據、全壽命周期分析數據、通用造價數據、標準成本庫數據、行業(yè)信息數據、物料庫數據、價格信息發(fā)布數據、年度工作計劃數據。

其中，大部分一體化規(guī)劃設計平臺數據，如社會經濟數據、電力設備及運行數據、地理信息數據等為結構化數據；而工程設計評審平臺及技經實驗室一體化平臺中涉及的工程文件、可研文件、施工圖等數據為非結構化數據。結構化數據能夠使用同一格式的數據格式進行標示，主要存儲在關系數據庫中，而非結構化數據無法像結構化數據一樣用二維表表示，也無法像結構化數據一樣完全采用關系數據庫來處理，其主要包括所有格式的辦公文檔、文本、圖片、xml、html、各類報表和音頻/視頻信息等。非結構化數據在電力行業(yè)中所占的比例越來越高，其特征是數據格式多樣，數據總量大，增長速度快且包含有關企業(yè)管理發(fā)展的重要信息。伴隨著電網公司信息化的建設和發(fā)展，企業(yè)每年非結構化數據的增長量已經達到PB級別。經過多年的運行積累，各業(yè)務系統(tǒng)形成信息孤島，非結構化數據的存儲、管理和搜索問題日益凸顯。表1為現有平臺業(yè)務數據類型。

表1 現有平臺業(yè)務數據類型

Table 1 Business data types of the existing platform

2 數據融合與存儲關鍵技術

2.1 數據融合CIM模型

不同平臺的數據種類和格式多種多樣，要實現跨平臺數據的融合就必須先對異構數據進行統(tǒng)一建模，只有在共同的數據模型下，才能實現快速有效的數據融合與存儲等處理過程。目前電力系統(tǒng)已有的公共信息模型(common information model，CIM)是解決該問題的有效途徑，通過定義針對經研院各業(yè)務數據的CIM模型保障未來系統(tǒng)能夠平滑升級并與國際接軌[5]。

美國電科院/國際電工委員會建立的公共信息模型是對電網企業(yè)運營管理的典型實物對象和業(yè)務領域的一套精確描述體系[6]。CIM的原型也隨之產生，它用于控制中心EMS系統(tǒng)建模和外部系統(tǒng)之間的數據交換，包括狀態(tài)估計、潮流計算、拓撲分析、網絡規(guī)劃、安全分析、SCADA等業(yè)務領域，后被擴展到發(fā)電、輸電、配電等領域[7]。

目前針對電網規(guī)劃各業(yè)務平臺數據的信息模型并不健全，CIM模型在電網規(guī)劃的應用擴展較少，主要包括以下幾個方面[8]：

(1) 規(guī)劃區(qū)域類：規(guī)劃潮流計算的區(qū)域范圍，有平衡機，規(guī)劃網架對象屬于該區(qū)域；

(2) 規(guī)劃地區(qū)：結合規(guī)劃要考慮的維度自定義，可以是阻塞區(qū)、氣候區(qū)、經濟區(qū)等；

(3) 規(guī)劃地區(qū)組：比規(guī)劃地區(qū)更高一層的劃分，由規(guī)劃地區(qū)組成；

(4) 節(jié)點組：把規(guī)劃區(qū)域內的連接點組織到planning zone中，從而可以成組調節(jié)規(guī)劃節(jié)點特性；

(5) 支路組：用于定義規(guī)劃計算斷面，定義斷面限額，由支路組端點組成；

(6) 支路組端點：用于定義支路組。

上述模型擴展主要針對xml文件的信息建模，無法完成對辦公文檔、文本、圖片、html、各類報表和音頻/視頻信息等其他數據類型的建模和分析。要實現跨平臺數據的融合，統(tǒng)一的數據信息模型是必要條件，因此需要對現有規(guī)劃數據信息模型進一步擴展，研究出適用于規(guī)劃、評審和技經多個平臺的統(tǒng)一數據信息模型，并在此基礎上建立完善的數據融合處理與存儲機制，實現跨平臺業(yè)務數據的融合與存儲體系。

2.2 分布式數據存儲

面對海量種類繁多的數據，現有的關系型數據庫已經不能滿足電網大規(guī)劃體系的數據存儲需求。建立高效、穩(wěn)定的跨平臺數據融合與存儲體系必須采用另一個關鍵技術，即面向多源異構大數據的分布式數據存儲。傳統(tǒng)的關系數據庫SQLSERVER、MYSQL、ORACLE等雖然在目前仍然能夠勉強滿足存儲的需求，但仍需要超大容量存儲空間，擴展性存在瓶頸。另一方面，傳統(tǒng)的關系數據庫在面對海量數據的查詢請求時，查詢效率已經嚴重影響了系統(tǒng)的性能[9]。

云計算的誕生導致了云存儲的出現。云存儲是指在分布式文件系統(tǒng)的基礎上，利用網絡進行數據傳輸，然后在計算機群集的調度下進行數據存儲的一種存儲方式。通過這種方式，各種不同的計算機設備和存儲介質都能夠經由網絡而整合起來，提供存儲服務。云存儲的特點有：主要面向海量的數據存儲，提供高性能的存儲與訪問服務，容錯性高，可擴展性強，能夠運行在普通的計算機組成的群機上[10]。

常用的PC機或者一般的存儲介質就可直接通過網絡環(huán)境構造成為Hadoop平臺。Hadoop平臺下的HDFS系統(tǒng)擁有以下特性：(1)分布式存儲架構能有效解決硬件失效時的數據丟失問題；(2)采用批處理數據訪問方式，能夠高效處理海量數據；(3)海量的數據存儲空間，滿足TB、PB級別數據的存儲需求；(4)一次寫，多次讀的讀寫方式大大降低錯誤率；(5)采用“移動計算”的方式，減小網絡負載；(6)跨平臺、跨軟件設計，保證在不同軟硬件環(huán)境下有效運行[11-12]。

如圖1所示，Hadoop平臺采用了一種Master和Slave的方式。Master是所有Slave節(jié)點的指揮中心，它并不參與具體的數據存儲操作。僅僅只是當有存儲或者讀取請求時將其引導到對應的數據節(jié)點上操作，元數據表就存放在Master服務器上。

圖1 Hadoop 上的 HDFS 結構Fig.1 Structure of HDFS in Hadoop

Slave節(jié)點就是實際存儲數據的節(jié)點。在Hadoop系統(tǒng)中，Mater Node與SlaveNode是一對多的關系，單臺PC允許放置1個或多個SlaveNode，如圖1所示系統(tǒng)結構。Hadoop分布式文件存儲系統(tǒng)是跨平臺電網規(guī)劃數據高效存儲與索引的重要支撐技術。雖然現有Hadoop體系存在負載均衡、中斷續(xù)寫、系統(tǒng)權限等方面的不足需要改進，但該存儲體系具有快速讀寫、海量存儲、高擴展性、跨平臺兼容等優(yōu)越性，適合多種業(yè)務和數據類型的海量電網規(guī)劃數據的存儲，而且HDFS分布式文件存儲體系可以采用普通PC作為數據節(jié)點，具有較高的經濟性。

3 跨平臺電網規(guī)劃數據融合與存儲體系架構

針對上述研究與分析，本文提出跨平臺電網規(guī)劃數據融合與存儲體系架構，該體系架構針對電網規(guī)劃體系包含的規(guī)劃、評審、技經平臺，涉及數據模型與接口、數據挖掘與融合處理、分布式數據存儲以及高效聯(lián)合索引機制、數據安全管理與服務等關鍵技術，如圖2所示。

圖2 跨平臺電網規(guī)劃數據融合與存儲體系架構示意圖Fig.2 Cross-platform data fusion and storage architecture of power grid planning

在該體系架構中，首先針對來自不同業(yè)務系統(tǒng)平臺的異構數據進行統(tǒng)一的公共數據信息建模，在電力系統(tǒng)原有的CIM模型基礎上，擴展各個系統(tǒng)所包含的特征類，并根據業(yè)務需求定期更新業(yè)務數據信息模型。經由統(tǒng)一的數據模型進行模型化后的數據融合、存儲與索引流程。

數據更新上傳至臨時存儲庫后，根據不同數據對應的類標簽進行特征提取，進一步進行融合聚類分析。將數據根據不同的特征進行聚類處理后存入分布式數據庫即相應的存儲陣列。在各平臺業(yè)務應用需要相關數據時，首先發(fā)送數據索引請求至數據庫，根據索引類型所對應的數據標簽，采用高效的聯(lián)合索引機制快速搜尋需要的數據至臨時數據庫，在確認數據信息的準確性后通過安全接口由各業(yè)務系統(tǒng)平臺直接調用。臨時數據庫則根據業(yè)務需求的優(yōu)先級來分配數據任務，并實時更新任務計劃，保證數據實時、準確的處理和應用。

為保證數據的安全與可靠，整個數據的融合、存儲與索引流程需要數據安全管理與服務系統(tǒng)全程的管理和監(jiān)控，數據的安全管理不僅能防止隱私和機密數據的泄露，還能反饋整個系統(tǒng)在數據處理和存儲過程中存在的問題，對于操作人員對系統(tǒng)進行定期維護和進一步改進至關重要。

4 結 論

本文在分析現有業(yè)務系統(tǒng)數據格式及存儲現狀的基礎上，深入研究異構數據融合與存儲的關鍵技術，并提出一種跨平臺電網規(guī)劃數據融合與存儲模式。通過建立統(tǒng)一業(yè)務數據信息模型，完成異構數據的融合處理；構建基于Hadoop的分布式文件存儲系統(tǒng)，高效快速地實現海量異構數據的存儲與索引。為電網規(guī)劃系統(tǒng)乃至電力行業(yè)的海量異構數據與信息共享提供理論指導與體系架構支撐。

[1]黃平，李暉，馮建雷，等.電網規(guī)劃研究平臺建設經驗和未來發(fā)展方向[J].電力建設，2012,33(8)：31-34.Huang Ping , Li Hui , Feng Jianlei , et al.Future development direction and construction experience of power grid planning research platform[J].Electric Power Construction,2012,33(8):31-34.

[2] 黃少濱，楊欣欣，申林山，等.高階異構數據模糊聯(lián)合聚類算法[J].通信學報,2014,35 (6)：15-24.Huang Shaobin, Yang Xinxin, Shen Linshan, et al.Fuzzy co-clustering algorithm for high-order heterogeneous data [J].Journal of Communications,2014,35 (6)：15-24.

[3] 梁艷，劉雙廣，勞定雄.基于solr的異構數據融合檢索技術[J].無線互聯(lián)科技，2013(5)：61-64.Liang Yan, Liu Shuangguang, Lao Dingxiong.The retrieval technology of heterogeneous data integration based on solr [J].Academic Journal Electronic，2013(5)：61-64.

[4] 王英杰.基于HADOOP的能源數據存儲體系中多級索引表DHT算法的研究[D].成都： 電子科技大學，2012.

[5] IEC.Draft IEC 61970: Energy Management System Application Program Interface(EMS-API)-Part 301: Common Information Model(CIM) Base[S].

[6] 劉崇茹，孫宏斌，張伯明，等.面向電力管理系統(tǒng)的公共信息模型研究[J].電力系統(tǒng)自動化，2003，27(14): 45-48, 74.Liu Chongru, Sun Hongbin, Zhang Boming, et al.An investigation on a common information model for energy management system[J].Automation of Electric Power Systems，2003，27(14): 45-48, 74.

[7] 陳勇.基于 Hadoop 平臺的通信數據分布式查詢算法的設計與實現[D].北京：北京交通大學,2009.Chen Yong.Design and implementation of distributed query algorithm processing communication data based on Hadoop[D].Beijing: Beijing Jiaotong University, 2009.

[8] WU J Y, PING L D.Cloud Storage as the Infrastructure of Cloud Computing[C]//2010 International Conference on Intelligent Computing and Cognitive Informatics, 2010.

[9] 白紅偉.基于云計算的電力設備狀態(tài)監(jiān)測數據的存儲與查詢[D].北京：華北電力大學，2011.Bai Hongwei.The storage and inquiry of the condition monitoring data of the electrical equipment based on cloud computing[D].Beijing: North China Electric Power University, 2011.

[10] 謝善益，梁成輝，高新華，等.CIM/CIS互操作細則在多級電網調度中的應用[J].電力系統(tǒng)自動化，2009，33(l): 103-107.Xie Shanyi, Liang Chenghui, Gao Xinhua, et al.Application of CIM/CIS interoperation details in multi-level power grid dispatching[J].Automation of Electric Power Systems,2009,33(1):103-107.

[11] 蘇炳洪.面向智能電網的通信體系架構與標準應用研究[D].杭州：浙江大學，2010.Su Binghong.Studies and applications of communication system architecture with standard oriented to smart grid[D].Hangzhou: Zhejiang University, 2010.

[12] 潘毅，周京陽，李強，等.基于公共信息模型的電力系統(tǒng)模型的拆分與合并[J].電力系統(tǒng)自動化，2003，27(15): 45-48.Pan Yi, Zhou Jingyang, Li Qiang, et al.The separation/combination of power system model based on CIM[J].Automation of Electric Power Systems，2003，27(15): 45-48.

(編輯：劉文瑩)

Cross-Platform Data Fusion and Storage Pattern of Power Grid Planning

ZHAO Chunhui1, WU Zhili1, JIANG Xin1, CUI Can2, SUN Yi2

(1.State Power Economic Research Institute, Beijing 102209, China;2.School of Electrical and Electronic Engineering, North China Electric Power University, Beijing 102206, China)

With the establishment of each business system platform of power grid planning and the rapid increase of heterogeneous business data, the barriers are badly needed to be broken between business system platforms to establish a perfect business information sharing and interaction system.Based on the analysis of the existing business system data format and the status quo of storage situation, this paper researches the key technology of heterogeneous data integration and storage, and proposes a cross-platform power grid planning data fusion and storage pattern.Heterogeneous data have been fused by establishing a unified business data information model.The distributed file storage system has been established based on Hadoop to implement fast and efficient storage and index of massive heterogeneous data.Thus, the research results can provide theoretical guidance and architecture support for massive heterogeneous data and information sharing in power grid planning system and electric power industry.

cross-platform business; data fusion; Hadoop; heterogeneous data storage

TM 715

A

1000-7229(2015)03-0119-04

10.3969/j.issn.1000-7229.2015.03.021

2014-11-06

2014-12-26

趙春暉(1973)，女，碩士，高級工程師，主要從事電力系統(tǒng)軟件設計開發(fā)、信息化管理工作；

吳志力(1969)，男，高級工程師，從事輸變電工程規(guī)劃設計咨詢工作；

姜欣(1975)，男，工學碩士，從事電網規(guī)劃設計和電力大數據研究工作；

崔燦(1991)，男，博士研究生，主要從事電力大數據關鍵技術及無線傳感器網絡等方面的研究工作；

孫毅(1972)，男，教授，從事智能電網、電力系統(tǒng)通信以及物聯(lián)網技術等方面的研究工作。