中國能源大數(shù)據(jù)獲取分析機制研究及實現(xiàn)

鄭曉東， 胡漢輝， 趙林度， 黃建城

(1.東南大學 經(jīng)濟管理學院，江蘇 南京 211189；2.江蘇省電力設計院，江蘇 南京 211102)

中國能源大數(shù)據(jù)獲取分析機制研究及實現(xiàn)

鄭曉東1,2， 胡漢輝1， 趙林度1， 黃建城2

(1.東南大學 經(jīng)濟管理學院，江蘇 南京 211189；2.江蘇省電力設計院，江蘇 南京 211102)

借助信息系統(tǒng)的建設和智能傳感技術(shù)的深入應用，能源行業(yè)采集了體量巨大、結(jié)構(gòu)復雜的能源大數(shù)據(jù)，蘊含著極高的經(jīng)濟利益和社會效益，對能源行業(yè)的業(yè)務開展、管理提升、輔助決策等具有重要意義?；谀茉葱袠I(yè)的發(fā)展規(guī)律與方向，結(jié)合互聯(lián)網(wǎng)大數(shù)據(jù)理論，梳理了能源大數(shù)據(jù)多源采集、管理、分析流程，提出了能源大數(shù)據(jù)獲取分析機制和算法，在此基礎上構(gòu)建了能源大數(shù)據(jù)規(guī)劃研究系統(tǒng)架構(gòu)，并通過江蘇能源規(guī)劃研究平臺進行了實證。結(jié)果表明，基于能源大數(shù)據(jù)獲取分析機制和算法的江蘇能源規(guī)劃平臺能夠有效應用于實際生產(chǎn)，挖掘有效信息，支撐綜合分析和輔助科學決策。

能源大數(shù)據(jù)； 大數(shù)據(jù)采集； 大數(shù)據(jù)存儲； 大數(shù)據(jù)分析； 數(shù)據(jù)挖掘

0 引言

借助互聯(lián)網(wǎng)+、信息化和智能傳感等先進技術(shù)的深入應用，煤炭、石油、天然氣、電力等能源領(lǐng)域數(shù)據(jù)及人口、地理、氣象等其他領(lǐng)域數(shù)據(jù)正以高復合增長率快速膨脹[1-3]，這些多源異構(gòu)的海量數(shù)據(jù)共同構(gòu)成了能源大數(shù)據(jù)。利用能源大數(shù)據(jù)，人們可以掌握更加豐富詳實的實時信息、歷史信息，進行時間跨度更大、涉及業(yè)務范圍更廣的綜合分析，以輔助更優(yōu)決策。例如，為克服新能源出力不穩(wěn)的缺點，提高對新能源預測的準確度，人們需要充分考慮天氣、氣象等因素(如溫度、氣壓、濕度、降雨量、風向、風力等變量)，進行綜合分析[4]。但是，現(xiàn)有的數(shù)據(jù)管理方式、數(shù)據(jù)分析方法難以支撐如此大量、復雜且快速增長數(shù)據(jù)的存儲、管理與分析[5-6]。因此，急需引入能源大數(shù)據(jù)獲取分析機制，以滿足能源及電力行業(yè)各階段不同的應用需求，加強信息數(shù)據(jù)采集、存儲、加工、處理和分析全價值鏈的處理能力，為管理提升、優(yōu)化整合、輔助決策及服務轉(zhuǎn)型提供技術(shù)支撐。

本文基于能源行業(yè)的發(fā)展規(guī)律，利用互聯(lián)網(wǎng)大數(shù)據(jù)理論，研究能源大數(shù)據(jù)獲取分析機制，梳理能源大數(shù)據(jù)采集、管理、分析流程，構(gòu)建能源大數(shù)據(jù)規(guī)劃系統(tǒng)架構(gòu)，并通過江蘇能源規(guī)劃研究平臺進行實證。

1 能源大數(shù)據(jù)特征

能源大數(shù)據(jù)以“4V”為其典型特征，即體量大(Volume)、類型多(Variaty)、速度快(Velocity)和價值高(Value)。

(1)體量大：體量大是能源大數(shù)據(jù)的重要特征。隨著信息化的快速發(fā)展和智能電力系統(tǒng)的全面建成，電力設備產(chǎn)生了大量的運營數(shù)據(jù)。同時，與電力存在能源轉(zhuǎn)化和互通互動的供熱系統(tǒng)、供冷系統(tǒng)、燃氣系統(tǒng)、交通系統(tǒng)的數(shù)據(jù)都被納入到能源大數(shù)據(jù)體系中，這進一步增加了能源大數(shù)據(jù)的數(shù)據(jù)規(guī)模[4]。

(2)類型多：能源大數(shù)據(jù)涉及結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)[6]。隨著信息傳播技術(shù)、多媒體技術(shù)的發(fā)展以及可視化功能在能源管理系統(tǒng)的普及，圖像、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)在能源數(shù)據(jù)中的占比逐漸加大。此外，能源大數(shù)據(jù)應用過程中還需要大量的環(huán)境數(shù)據(jù)、經(jīng)濟數(shù)據(jù)等進行關(guān)聯(lián)分析，這些都直接導致了數(shù)據(jù)類型的增多，從而極大地增加了能源大數(shù)據(jù)的復雜度。

(3)速度快：主要是指對能源數(shù)據(jù)采集、處理、分析速度的要求。能源大數(shù)據(jù)中包含著很多實時性數(shù)據(jù)，數(shù)據(jù)的分析結(jié)果也往往具有實時性要求，這需要能源管理系統(tǒng)有較快的響應速度和強大的數(shù)據(jù)處理分析能力[4]。

(4)價值高：能源大數(shù)據(jù)涵蓋能源生產(chǎn)、配送、轉(zhuǎn)換、交易和消費的方方面面，利用大數(shù)據(jù)技術(shù)挖掘有效信息，可以用于科學分析、預測、管理及規(guī)劃，取得巨大的經(jīng)濟效益、社會效益和環(huán)境效益。

2 能源大數(shù)據(jù)獲取分析機制

為充分挖掘能源大數(shù)據(jù)的有效信息，推動開展綜合分析與合理預測，大力支撐科學規(guī)劃與優(yōu)化決策，需要研究并建立能源大數(shù)據(jù)獲取分析機制。能源大數(shù)據(jù)獲取分析流程主要包括數(shù)據(jù)采集與融合、數(shù)據(jù)存儲與管理、數(shù)據(jù)分析與挖掘三個部分，三者緊密相連，層層遞進，共同支撐起能源大數(shù)據(jù)的規(guī)劃研究工作，流程圖如圖1所示。

圖1 能源大數(shù)據(jù)獲取分析流程

2.1能源大數(shù)據(jù)采集與融合

多源數(shù)據(jù)的集成技術(shù)是能源大數(shù)據(jù)獲取機制的核心技術(shù)。能源大數(shù)據(jù)不僅包含能源類數(shù)據(jù)，還包含了大量其他類別的結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)，如資源環(huán)境、經(jīng)濟社會數(shù)據(jù)等。因此，能源大數(shù)據(jù)的集成需要綜合考慮多源數(shù)據(jù)的數(shù)據(jù)來源、采集方式和采集內(nèi)容。具體而言，能源大數(shù)據(jù)的采集與融合主要包括如下內(nèi)容：

(1)借助綜合感知設備采集能源數(shù)據(jù)，包括燃氣網(wǎng)、熱力網(wǎng)、電網(wǎng)等來源的信息，如儲能、微燃機、空氣源熱泵、太陽能熱、生物質(zhì)能、電動汽車充電樁等信息[7]。

(2)從電力運行、管理系統(tǒng)集成能源類數(shù)據(jù)，包括調(diào)度自動化系統(tǒng)、配網(wǎng)自動化系統(tǒng)、用電管理系統(tǒng)、智能電表AMI、地理信息系統(tǒng)GIS等[7]。

(3)從外部系統(tǒng)采集的能源相關(guān)數(shù)據(jù)，主要包括從統(tǒng)計部門網(wǎng)站和數(shù)據(jù)庫采集的宏觀經(jīng)濟數(shù)據(jù)、從氣象部門網(wǎng)站和數(shù)據(jù)庫采集的氣候氣象數(shù)據(jù)、從政府部門網(wǎng)站和數(shù)據(jù)庫采集的相關(guān)法律法規(guī)數(shù)據(jù)。

(4)多源數(shù)據(jù)的采集可能會引發(fā)數(shù)據(jù)種類交叉、數(shù)據(jù)冗余、數(shù)據(jù)不一致等問題。這就需要通過制定數(shù)據(jù)校驗與清洗規(guī)則，建立數(shù)據(jù)價值評估體系，從而消除多領(lǐng)域跨部門之間的數(shù)據(jù)孤島與藩籬，解決多源數(shù)據(jù)沖突的矛盾[6]。

2.2能源大數(shù)據(jù)存儲與管理

高效、可靠、低成本的存儲與管理模式是能源大數(shù)據(jù)的關(guān)鍵技術(shù)之一，更是進行后續(xù)深度挖掘、科學分析的基礎和保障。能源大數(shù)據(jù)的存儲與管理，軟件層面要能存儲結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，硬件層面則需要合理利用底層的物理設備性能，滿足上層應用對存儲性能和可靠性的要求。最適合的方式是采用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫。

(1)分布式文件系統(tǒng)：分布式文件系統(tǒng)向用戶提供底層的數(shù)據(jù)存儲與管理功能，用戶可以將數(shù)據(jù)存放在分布式文件系統(tǒng)中，并可對其進行讀、寫、編輯、刪除等操作。與傳統(tǒng)的文件系統(tǒng)不同的是，分布式文件系統(tǒng)存儲的資源并非集中在單一的主機或服務器上，而是分散在一個網(wǎng)絡中，文件通過層級結(jié)構(gòu)和統(tǒng)一的視圖在用戶之間共享。

主流的分布式文件系統(tǒng)有GFS和HDFS。GFS是Google公司為存儲海量搜索數(shù)據(jù)而設計的一個可拓展的分布式文件系統(tǒng)，它可以被部署在由廉價的普通硬件組成的集群上，通過容錯功能為用戶提供高效、可靠的服務。HDFS是Apache基金會對GFS的編程實現(xiàn)，已發(fā)展成為Apache的核心開源項目。GFS和HDFS的架構(gòu)遵從主/從框架體系，主服務器作為管理節(jié)點，保存系統(tǒng)的元數(shù)據(jù)，并負責整個文件系統(tǒng)的管理；數(shù)據(jù)服務器負責具體的數(shù)據(jù)存儲和讀寫操作，數(shù)據(jù)被劃分后以數(shù)據(jù)塊的形式存儲在不同的數(shù)據(jù)服務器上。主服務器和數(shù)據(jù)服務器之間通過心跳機制保持聯(lián)系，并不進行數(shù)據(jù)傳輸。這種設計大大降低了主服務器的負載，提高了系統(tǒng)的穩(wěn)定性和可拓展性。

(2)分布式數(shù)據(jù)庫：分布式數(shù)據(jù)庫的基本思想是將數(shù)據(jù)庫管理系統(tǒng)的完整拷貝副本，或者部分拷貝副本放置在不同的主機上并在主機上建立自己局部的數(shù)據(jù)庫。將這些分散的主機通過網(wǎng)絡進行連接，共同組成一個完整的、全局的、邏輯上集中、物理上分布的大型數(shù)據(jù)庫。

分布式數(shù)據(jù)庫的種類繁多，主流的分布式數(shù)據(jù)庫有MySQL、Oracle、SQL Server、MongoDB、BigTable、HBase等。其中，MySQL、Oracle和SQL Server是行導向的數(shù)據(jù)存儲系統(tǒng)，是傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)在分布式環(huán)境上的應用；MongoDB是文檔導向的數(shù)據(jù)存儲系統(tǒng)，其具有廣泛的適用性，可運行在Linux、Windows或OS X平臺；BigTable和HBase是列導向的數(shù)據(jù)存儲系統(tǒng)，這類數(shù)據(jù)庫十分適合批量數(shù)據(jù)處理和即時查詢。

能源大數(shù)據(jù)包含的數(shù)據(jù)結(jié)構(gòu)復雜、種類繁多，能源領(lǐng)域不同業(yè)務的數(shù)據(jù)需求方面差異也較大。因此，需要全面考慮數(shù)據(jù)量、存儲模型、讀寫頻度、響應時間等因素，結(jié)合大數(shù)據(jù)存儲技術(shù)，建立能源大數(shù)據(jù)的綜合存儲體系，進行數(shù)據(jù)優(yōu)化管理。結(jié)構(gòu)化數(shù)據(jù)可采用行式數(shù)據(jù)庫進行存儲，非結(jié)構(gòu)化數(shù)據(jù)可采用HDFS等分布式文件系統(tǒng)進行存儲，半結(jié)構(gòu)化數(shù)據(jù)可采用列式數(shù)據(jù)庫進行存儲。

2.3能源大數(shù)據(jù)分析與挖掘

能源大數(shù)據(jù)的分析與挖掘是發(fā)掘數(shù)據(jù)價值、支撐優(yōu)化分析、輔助科學決策的關(guān)鍵技術(shù)。對于規(guī)模巨大、結(jié)構(gòu)復雜、變化迅速、價值稀疏的能源大數(shù)據(jù)，其處理亦面臨計算復雜度高、任務周期長、實時性要求高等難題。為解決這些難題，不僅要引入互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)來加強數(shù)據(jù)計算與處理能力，更需要立足能源系統(tǒng)業(yè)務需求，梳理分析能源行業(yè)工作特色，拓展創(chuàng)新能源領(lǐng)域的應用方向。

(1)大數(shù)據(jù)分析技術(shù)

能源大數(shù)據(jù)的深度加工和有效表達需要借助專業(yè)的統(tǒng)計分析工具，主流的大數(shù)據(jù)分析方法有：遺傳算法[8]、神經(jīng)網(wǎng)絡[9]、回歸分析[10]、空間分析[11]、時間序列分析[12]等。

(2)能源大數(shù)據(jù)應用方向

數(shù)據(jù)采集與監(jiān)視控制：以電力系統(tǒng)自動化的實時數(shù)據(jù)為基礎，采用分布式控制框架，建立電力自動化監(jiān)控體系，對現(xiàn)場的運行設備進行監(jiān)視和控制，實現(xiàn)數(shù)據(jù)采集、設備控制、測量、參數(shù)調(diào)節(jié)以及各類信號報警等功能。

能源供需預測：從已知的經(jīng)濟、社會發(fā)展和能源(電力)需求情況出發(fā)，通過對歷史數(shù)據(jù)的分析和研究，探索事物之間的內(nèi)在聯(lián)系和發(fā)展變化規(guī)律，以未來年份經(jīng)濟、社會發(fā)展情況的預測結(jié)果為依據(jù)，對能源(電力)需求作出預先估計和推測，是能源項目研究、規(guī)劃、建設的基礎。

能源(電力)規(guī)劃：研究整個電力系統(tǒng)中各個電站如何配合運轉(zhuǎn)、供電條件在年、月、日中的變化情況以及各發(fā)電廠機組進行年計劃檢修的時間安排和負擔全系統(tǒng)負荷備用、事故備用等情況，根據(jù)系統(tǒng)負荷要求對已建成的和正在規(guī)劃、設計中的水、火及新能源電站的容量和發(fā)電量進行合理安排，使他們在規(guī)定的設計負荷水平年中達到容量和電量的全面平衡。

智能電網(wǎng)分析：融合地理信息數(shù)據(jù)與電網(wǎng)數(shù)據(jù)，將不同區(qū)域、不同年份、不同類型的電網(wǎng)數(shù)據(jù)整合到地圖中進行直觀展示，在給定電力系統(tǒng)網(wǎng)絡拓撲、元件參數(shù)和發(fā)電、負荷參量條件下，計算有功功率、無功功率及電壓在電力網(wǎng)中的分布，并將計算結(jié)果顯示在電網(wǎng)圖中，以此檢驗電網(wǎng)規(guī)劃方案的可行性、科學性，輔助分析決策。

3 能源大數(shù)據(jù)平臺建設

江蘇省能源規(guī)劃研究中心設在江蘇省電力設計院，負責開展江蘇省能源發(fā)展戰(zhàn)略、規(guī)劃和政策研究，新技術(shù)研究及推廣，能源信息收集及分析以及能源項目咨詢和評估等工作。為了充分利用上述能源大數(shù)據(jù)獲取分析機制指導能源規(guī)劃研究工作，提升能源系統(tǒng)智能化、信息化水平，江蘇院聯(lián)合軟件商建設了江蘇能源規(guī)劃研究平臺，該平臺與國家能源局現(xiàn)有相關(guān)系統(tǒng)原理一致，模型真實、算法權(quán)威，技術(shù)先進。

3.1總體設計

江蘇能源規(guī)劃研究平臺將接入國內(nèi)外商業(yè)數(shù)據(jù)資源，尤其是江蘇能源信息，同時集成江蘇院已有信息資源，實現(xiàn)各類能源數(shù)據(jù)信息的整合管理，支持各類分析、規(guī)劃研究業(yè)務的開展?；谏鲜瞿茉创髷?shù)據(jù)獲取分析機制，平臺總體架構(gòu)如圖2所示。

(1)基礎設施層：通過VMWare虛擬化平臺抽象成計算資源、存儲資源、網(wǎng)絡資源來進行靈活擴展、統(tǒng)一管理、對外提供透明的服務。

(2)數(shù)據(jù)采集層：主要銜接院內(nèi)已有信息系統(tǒng)與外部各類信息來源，形成數(shù)據(jù)采集機制，依據(jù)不同的數(shù)據(jù)來源通過數(shù)據(jù)抓取、系統(tǒng)接入等多種方式完成數(shù)據(jù)采集錄入。

(3)數(shù)據(jù)存儲層：主要承載系統(tǒng)涵蓋的所有數(shù)據(jù)，主要利用分布式的存儲系統(tǒng)與文件系統(tǒng)，實現(xiàn)對各類結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲與管理，非結(jié)構(gòu)化數(shù)據(jù)采用HDFS分布式文件系統(tǒng)存儲，結(jié)構(gòu)化數(shù)據(jù)采用分布式數(shù)據(jù)庫存儲，并建立數(shù)據(jù)倉庫。

圖2 平臺總體架構(gòu)

(4)數(shù)據(jù)處理與分析層：實現(xiàn)對各類數(shù)據(jù)的統(tǒng)一管理，涵蓋數(shù)據(jù)抽取/清洗/轉(zhuǎn)換并接入，同時利用大數(shù)據(jù)的流式、分布式、內(nèi)存計算能力，依據(jù)平臺需要的分析功能，構(gòu)建出各類數(shù)據(jù)挖掘模型，同時提供各類統(tǒng)計分析功能支撐。

(5)平臺服務層：服務層主要將本平臺的基礎功能以REST風格的Web服務發(fā)布，包含數(shù)據(jù)可視化、規(guī)劃仿真、數(shù)據(jù)分析、數(shù)據(jù)管理等。

(6)平臺管控層：平臺管控層主要提供負載均衡、狀態(tài)監(jiān)控、故障告警等管控功能，確保平臺的穩(wěn)定運行。

(7)平臺應用層：涵蓋平臺的能源信息、能源項目、負荷預測、電力平衡、新能源消納、電網(wǎng)分析等應用模塊。能源信息與能源項目實現(xiàn)各類數(shù)據(jù)接入、采集，并對數(shù)據(jù)進行清洗、整合，形成最全面的規(guī)劃研究指標體系，為平臺提供基礎數(shù)據(jù)支撐。負荷預測、電力平衡、新能源消納、電網(wǎng)分析作為系統(tǒng)專業(yè)研究模塊，能夠?qū)硬煌瑢I(yè)仿真計算模型，實現(xiàn)科學的規(guī)劃研究，具體平臺功能架構(gòu)如圖3所示。

圖3 平臺功能架構(gòu)

3.2建設內(nèi)容

(1)能源基礎信息管理：江蘇能源規(guī)劃研究平臺充分考慮了能源大數(shù)據(jù)的復雜性和多樣性。平臺建立了穩(wěn)固的信息采集渠道，廣泛集成了全方位的能源綜合數(shù)據(jù)。數(shù)據(jù)類別涵蓋基礎地理信息數(shù)據(jù)、能源生產(chǎn)、能源消費、能源交換、能源能效、能源需求數(shù)據(jù)、電源數(shù)據(jù)、電網(wǎng)數(shù)據(jù)等，具體數(shù)據(jù)分類如表1所示。同時，系統(tǒng)對數(shù)據(jù)指標進行歸納，形成種類齊全、覆蓋面廣的能源規(guī)劃數(shù)據(jù)指標體系。

在采集信息的基礎上，江蘇能源規(guī)劃研究平臺構(gòu)建了能源基礎信息庫，通過數(shù)據(jù)倉庫實現(xiàn)對能源大數(shù)據(jù)的管理與存儲。通過索引庫實現(xiàn)各類指標索引數(shù)據(jù)的更新和管理，一方面可以提高數(shù)據(jù)的查詢效率；另一方面可以保證索引的時效性和準確性。能源基礎信息管理主要功能有：數(shù)據(jù)存儲、數(shù)據(jù)檢索、統(tǒng)計分析、數(shù)據(jù)可視化、數(shù)據(jù)輸出、數(shù)據(jù)維護等?？梢暬樵兘缑嫒鐖D4所示。

(2)能源(電力)需求預測：平臺借助經(jīng)典負荷預測算法，如彈性系數(shù)法、回歸分析法、用電單耗法、增長率法、滑動平均法、負荷密度法對能源大數(shù)據(jù)進行計算，預測電力需求。其中，彈性系數(shù)法、用電單耗法、增長率法采用用戶設置的負荷預

表1 江蘇能源規(guī)劃研究平臺數(shù)據(jù)分類

圖4 數(shù)據(jù)可視化查詢界面

測參數(shù)進行計算得到結(jié)果；回歸分析法、滑動平均法、負荷密度法采用樣本分析的方法得到預測結(jié)果。此外，平臺在省級負荷預測的基礎上提供地市負荷預測功能，能精準計算各地市的負荷預測結(jié)果。能源需求預測如表5所示。通過建立基礎性、長效性、動態(tài)性的電力需求預測模型系統(tǒng)，輔助規(guī)劃人員更準確地判斷江蘇省及各地市能源(電力)需求發(fā)展趨勢，有利于能源(電力)規(guī)劃研究工作的準確把握。

表5 能源需求預測表

(3)能源規(guī)劃：建立火電消納模型和新能源消納模型，進行規(guī)劃區(qū)域內(nèi)的火電、風電光伏消納能力的預測分析。其中，火電消納模型的電力平衡計算基于掃描切割負荷曲線的方法，通過對各類電源逐機組逐月安排工作位置進行電力平衡計算并合理統(tǒng)籌安排電源檢修計劃；新能源消納模型根據(jù)各類電源工作位置計算調(diào)峰裕度曲線，根據(jù)風電光伏的輸入計算風電光伏實際可以消納的電量，更新調(diào)峰平衡中的備用容量和系需電力，各類電源的發(fā)電利用小時數(shù)，整理結(jié)果，完成計算。同時建設了可視化的在線數(shù)據(jù)維護與計算平臺，并可智能輸出研究報告，輔助能源規(guī)劃研究與決策。

(4)電網(wǎng)分析：平臺融合地理信息數(shù)據(jù)與電網(wǎng)數(shù)據(jù)，在地圖上對不同區(qū)域、年份、類型的電網(wǎng)方案進行直觀展示。此外，集成了多個專業(yè)電網(wǎng)分析的模型和算法，對電網(wǎng)方案進行潮流計算，并將計算結(jié)果以潮流圖的形式進行展示。結(jié)合可視化信息平臺的優(yōu)勢，對不同的電網(wǎng)規(guī)劃方案進行對比與修正，在滿足規(guī)劃期內(nèi)輸電能力要求及各項技術(shù)指標的前提下統(tǒng)籌優(yōu)化電網(wǎng)建設。

3.3建設成果

(1)實現(xiàn)了基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)獲取與可視化管理。基于大數(shù)據(jù)技術(shù)，建立了涵蓋電力、石油、天然氣、煤炭、新能源等各類能源信息的綜合型能源基礎數(shù)據(jù)庫，整合現(xiàn)有資源，持續(xù)收集、積累各類業(yè)務相關(guān)數(shù)據(jù)，并建立了能源資源數(shù)據(jù)的標準化管理流程，為江蘇省能源戰(zhàn)略規(guī)劃和產(chǎn)業(yè)布局等相關(guān)咨詢工作提供基礎數(shù)據(jù)支撐。

(2)實現(xiàn)了基于大數(shù)據(jù)技術(shù)的分析挖掘。建設了基于大數(shù)據(jù)的能源(電力)研究平臺，針對江蘇省內(nèi)特點，集成與開發(fā)了能源(電力)需求預測分析、電力電量平衡、新能源消納分析、電網(wǎng)分析計算等模型，提高了設計工作的科學性、宏觀性、全面性和效率性。

(3)實現(xiàn)了信息化與規(guī)劃研究業(yè)務緊密結(jié)合。以國家能源規(guī)劃研究為研究對象，建設了具有數(shù)據(jù)全面權(quán)威、可視化的數(shù)字化工作平臺。系統(tǒng)遵循簡潔、友好、易用等原則，考慮用戶使用習慣和使用頻次，對功能與界面進行了合理的劃分，從而輔助能源規(guī)劃工作的高效開展。

4 結(jié)論

改進能源生產(chǎn)利用方式，提高能源利用效率和智能化程度，建設以清潔能源輸送為主導的低碳環(huán)保、安全高效的現(xiàn)代能源體系是能源行業(yè)的發(fā)展方向。這一發(fā)展方向離不開對能源大數(shù)據(jù)的深入研究與探索。研究能源大數(shù)據(jù)獲取分析機制能夠促進能源生產(chǎn)和輸送企業(yè)的業(yè)務變革，提升能源領(lǐng)域的智能化水平和管理水平，為加快能源發(fā)展改革、實現(xiàn)清潔能源目標提供堅實的理論基礎和技術(shù)支持。

基于能源大數(shù)據(jù)獲取分析機制的江蘇能源規(guī)劃研究平臺在現(xiàn)階段取得了顯著成果。平臺實現(xiàn)了能源(電力)大數(shù)據(jù)的采集、存儲、分析、展示的一體化操作，大大提高了工作效率、管理水平和決策能力。

此外，能源大數(shù)據(jù)獲取分析機制還存在較大的改進創(chuàng)新空間，一方面，現(xiàn)有的大數(shù)據(jù)分析技術(shù)多數(shù)仍處于研究或初步應用階段，本身還存在一定的缺點，如數(shù)據(jù)收集和處理的工作很大，分析計算比較復雜，未經(jīng)實地驗證等；另一方面，能源行業(yè)發(fā)展迅速，新的業(yè)務需求和應用方向不斷涌現(xiàn)。因此，今后還需要進一步結(jié)合能源行業(yè)的業(yè)務需求和發(fā)展方向，繼續(xù)完善數(shù)據(jù)采集方式、優(yōu)化管理平臺和創(chuàng)新分析模型。

[1] 楊佩, 蔡皓, 裘洪彬,等. 面向能源互聯(lián)網(wǎng)的大數(shù)據(jù)關(guān)鍵技術(shù)研究[J]. 電力信息與通信技術(shù), 2016,14(4):9-12.

[2] 劉敦楠, 唐天琦, 趙佳偉, 等. 能源大數(shù)據(jù)信息服務定價及其在電力市場中的應用[J]. 電力建設, 2017, 38(2)：52-59.

[3] 饒瑋,蔣靜,周愛華,等.面向全球能源互聯(lián)網(wǎng)的電力大數(shù)據(jù)基礎體系架構(gòu)和標準體系研究[J]. 電力信息與通信技術(shù), 2016,14(4):1-8

[4] 劉世成, 張東霞, 朱朝陽,等. 能源互聯(lián)網(wǎng)中大數(shù)據(jù)技術(shù)思考[J]. 電力系統(tǒng)自動化, 2016, 40(8):14-21.

[5] 薛禹勝, 賴業(yè)寧. 大能源思維與大數(shù)據(jù)思維的融合(一)大數(shù)據(jù)與電力大數(shù)據(jù)[J]. 電力系統(tǒng)自動化, 2016, 40(1):1-8.

[6] 薛禹勝, 賴業(yè)寧. 大能源思維與大數(shù)據(jù)思維的融合 (二)應用及探索 [J]. 電力系統(tǒng)自動化, 2016, 40(8):1-13.

[7] 李棟華, 耿世奇, 鄭建. 能源互聯(lián)網(wǎng)形勢下的電力大數(shù)據(jù)發(fā)展趨勢[J]. 現(xiàn)代電力, 2015, 32(5):10-14.

[8] 馬永杰, 云文霞.遺傳算法研究進展[J]. 計算機應用研究, 2012, 29(4):1201-1206.

[9] 范高鋒, 王偉勝, 劉純,等. 基于人工神經(jīng)網(wǎng)絡的風電功率預測[J]. 中國電機工程學報, 2008, 28(34):118-123.

[10] 康重慶, 夏清,劉梅,等. 應用于負荷預測中的回歸分析的特殊問題[J]. 電力系統(tǒng)自動化, 1998,22(10):38-41.

[11] 蘇海鋒, 張建華, 梁志瑞, 等. 基于GIS空間分析與改進粒子群算法的變電站全壽命周期成本規(guī)劃[J]. 中國電機工程學報, 2012, 32(16):92-99.

[12] 孫文文, 劉純, 何國慶,等. 基于長時間序列仿真的分布式新能源發(fā)電優(yōu)化規(guī)劃[J]. 電網(wǎng)技術(shù), 2015, 39(2):457-463.

Investigation and Implementation of Acquisition & Analysis Mechanism of China’s Energy Big Data

ZHENG Xiaodong1,2， HU HanHui1， ZHAO LinDu1， HUANG Jiancheng2

(1.School of Economics and Management, Southeast University, Nanjing 211189, China; 2. Jiangsu Power Design Institute Co., Ltd. of China Energy Engineering Group, Nanjing 211102, China)

With the progress of information technology and reform of energy industry, the energy data which are huge in volume and complex in structure is daily increased. The energy big data are of high industry value, commercial value and management value as well. The energy big data have attracted increasing attention in the energy field in recent years. Based on the development of the energy industry and the internet big data theory, the paper investigates the acquisition and analysis mechanism of energy big data, and arranges the processes of the data collection, data management and data analysis, and then constructs a planning and research system. The Jiangsu energy planning and research platform is taken as an example to demonstrate the research contents of this paper. It is found that the acquisition and analysis mechanism proposed can be effectively applied to practical production and information mining, and it can also support the comprehensive analysis and scientific decision-making.

energy big data; big data collection; big data storage; big data analysis; data mining

10.3969/j.ISSN.1672-0792.2017.09.001

TP315

A

1672-0792(2017)09-0001-07

2017-05-31。

國家自然科學基金面上項目(70673010)。

鄭曉東(1976-)，男，博士，高級工程師，東南大學博士后，主要研究方向為企業(yè)信息化、知識與信息管理、系統(tǒng)工程等。