大數(shù)據(jù)技術(shù)在能源互聯(lián)網(wǎng)中的應(yīng)用與實踐

李 鑫，王建珍

(1.山西天然氣股份有限公司信息部，山西 太原 030032；2.山西工程科技職業(yè)大學(xué)，山西 晉中 030619)

大數(shù)據(jù)時代，數(shù)據(jù)的價值如同黃金、石油，是社會發(fā)展和變革的動力。大數(shù)據(jù)將重構(gòu)信息技術(shù)體系和能源產(chǎn)業(yè)格局，為能源行業(yè)和能源互聯(lián)網(wǎng)的發(fā)展帶來契機。能源互聯(lián)網(wǎng)是能源企業(yè)發(fā)展的高級階段，能源互聯(lián)網(wǎng)綜合運用先進的電力電子技術(shù), 信息技術(shù)和智能管理技術(shù),將傳統(tǒng)電網(wǎng)、氣網(wǎng)、熱網(wǎng)、油網(wǎng)、交通網(wǎng)等多種能源網(wǎng)絡(luò)互聯(lián)互通、融為一體，共享互濟[1]。

1 能源互聯(lián)網(wǎng)中大數(shù)據(jù)技術(shù)發(fā)展沿革

1.1 國外研究現(xiàn)狀

美國政府2012年率先宣布開啟“大數(shù)據(jù)研究與開發(fā)計劃”。美國電力科學(xué)研究院(EPRI) 2013年開啟了輸電網(wǎng)現(xiàn)代化示范項目(TMD)、配電網(wǎng)現(xiàn)代化示范項目(DMD)大數(shù)據(jù)研究項目。C3Energy的能源大數(shù)據(jù)分析引擎平臺用戶評價良好，Opower的云數(shù)據(jù)平臺幫助電力公司建立更穩(wěn)定的客戶關(guān)系。

加拿大新布倫瑞克的PowerShift Atlantic項目可以控制熱水器、空調(diào)、通風(fēng)機、制冷系統(tǒng)，持續(xù)跟蹤風(fēng)力發(fā)電的動態(tài)，保持實時性、平衡性，進一步探索能源互聯(lián)網(wǎng)中的大數(shù)據(jù)應(yīng)用。

德國聯(lián)邦經(jīng)濟和技術(shù)部在6個開啟未來能源系統(tǒng)技術(shù)促進計劃示范項目中，利用大數(shù)據(jù)技術(shù)，提出了促進可再生能源發(fā)展、能源服務(wù)、能源交易融入能源互聯(lián)網(wǎng)的初步解決方案。

國際電工委員會(IEC)智慧能源系統(tǒng)委員會定義：智慧能源系統(tǒng)以智能電網(wǎng)為核心，以先進的信息通信技術(shù)(ICT)為支撐，實現(xiàn)電網(wǎng)、氣網(wǎng)、熱網(wǎng)、油網(wǎng)系統(tǒng)的互通、交互，可適應(yīng)大規(guī)模新能源接入[6-8]。

1.2 國內(nèi)研究現(xiàn)狀

我國2012年就在國家層面將大數(shù)據(jù)作為科技創(chuàng)新主攻方向。國家電網(wǎng)為實現(xiàn)各信息系統(tǒng)之間的數(shù)據(jù)集成融合，率先設(shè)計了公共信息模型。2013年，國家電網(wǎng)開展了多項大數(shù)據(jù)應(yīng)用關(guān)鍵技術(shù)研究，項目研究涉及輸變電運行管理、智能配電網(wǎng)、用電與能效、電力信息與通信、決策支持等專業(yè)領(lǐng)域。2014年，國家電網(wǎng)公司在電網(wǎng)設(shè)備狀態(tài)監(jiān)測、客戶服務(wù)信息等方面開啟了營銷大數(shù)據(jù)應(yīng)用場景分析和應(yīng)用規(guī)劃試點研究[9]。

作為國家的戰(zhàn)略性能源，化石燃料天然氣以年均1.9%的速度快速增長，未來投資規(guī)模上升空間大[10]。但國內(nèi)油氣行業(yè)大數(shù)據(jù)技術(shù)應(yīng)用水平處于萌芽狀態(tài)，僅停留在數(shù)據(jù)采集、存儲的初級階段，沒有上升到大數(shù)據(jù)挖掘的高級階段。大數(shù)據(jù)技術(shù)是信息技術(shù)應(yīng)用創(chuàng)新的核心技術(shù)，信息技術(shù)應(yīng)用創(chuàng)新發(fā)展是助力國家經(jīng)濟發(fā)展的新動能。大數(shù)據(jù)技術(shù)必將成為油網(wǎng)、氣網(wǎng)能源行業(yè)發(fā)展的新契機，能源互聯(lián)網(wǎng)中的大數(shù)據(jù)發(fā)展蓄勢待發(fā)。

2 能源互聯(lián)網(wǎng)中大數(shù)據(jù)的分類與特征

2.1 能源互聯(lián)網(wǎng)中大數(shù)據(jù)的分類

從能源生產(chǎn)配送消費的過程看，能源互聯(lián)網(wǎng)中的數(shù)據(jù)體量大，數(shù)據(jù)源覆蓋能源生產(chǎn)、能源傳輸、能源交易、能源消費各個環(huán)節(jié)，與數(shù)以億計的設(shè)備和系統(tǒng)相關(guān)，在這些設(shè)備和系統(tǒng)的運行過程中，會產(chǎn)生大量的數(shù)據(jù)。

其次，傳承Internet核心技術(shù)，能源互聯(lián)網(wǎng)也具有開放、參與、交互的特性，與政策機制、價格、用戶心理等眾多外部數(shù)據(jù)相關(guān)聯(lián)?？紤]這些因素，可以將能源互聯(lián)網(wǎng)中的數(shù)據(jù)劃分為5類，這5類數(shù)據(jù)共同構(gòu)成了能源互聯(lián)網(wǎng)中的大數(shù)據(jù)。

1) 反映能源生產(chǎn)的數(shù)據(jù)；

2) 反映能源配送、轉(zhuǎn)換的數(shù)據(jù)；

3) 反映能源消費、交易和調(diào)控的數(shù)據(jù)；

4) 對能源互聯(lián)網(wǎng)有影響的社會經(jīng)濟環(huán)境數(shù)據(jù)；

5) 表征能源互聯(lián)網(wǎng)的參與者(人)特征的數(shù)據(jù)。

2.2 能源互聯(lián)網(wǎng)中大數(shù)據(jù)的特征

大數(shù)據(jù)技術(shù)是組成整個能源互聯(lián)網(wǎng)的技術(shù)基石。大數(shù)據(jù)貫穿于能源互聯(lián)網(wǎng)的整個生命周期，具有完備性、復(fù)雜性、關(guān)聯(lián)性、規(guī)律性、實時性等基本特征。

1) 能源互聯(lián)網(wǎng)中的大數(shù)據(jù)體量巨大，蘊含巨大的價值。

2) 能源互聯(lián)網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，種類繁多。

3) 能源互聯(lián)網(wǎng)大數(shù)據(jù)實時性要求高、增長快。例如：能源生產(chǎn)、轉(zhuǎn)換和消費要求實時完成，數(shù)據(jù)的分析結(jié)果也要求具有實時性。

通過對能源互聯(lián)網(wǎng)中的大數(shù)據(jù)進行分析，可對能源生產(chǎn)、配送、轉(zhuǎn)換和消費各個階段進行科學(xué)預(yù)測，有效管理，發(fā)現(xiàn)潛在風(fēng)險，保證安全性和經(jīng)濟性。

3 大數(shù)據(jù)對建設(shè)能源互聯(lián)網(wǎng)的意義

能源互聯(lián)網(wǎng)涉及大數(shù)據(jù)、云計算、智能傳感、新能源發(fā)電、儲能等相關(guān)技術(shù)，這些技術(shù)最終都會通過能源互聯(lián)平臺進行連接，成為能源互聯(lián)網(wǎng)的技術(shù)鏈、生態(tài)鏈。

3.1 能源大數(shù)據(jù)處理過程

能源互聯(lián)網(wǎng)中的大數(shù)據(jù)處理過程可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲及處理、數(shù)據(jù)分析、數(shù)據(jù)解讀、數(shù)據(jù)應(yīng)用6個環(huán)節(jié)。數(shù)據(jù)存儲及處理是數(shù)據(jù)分析和數(shù)據(jù)解讀的前提，而數(shù)據(jù)分析和數(shù)據(jù)解讀緊密聯(lián)系、相互印證，共同幫助用戶實現(xiàn)對大數(shù)據(jù)的深層次洞察與多維度掌控，并為數(shù)據(jù)應(yīng)用提供了知識基礎(chǔ)[11]。

3.2 能源大數(shù)據(jù)的重要性

大數(shù)據(jù)及大數(shù)據(jù)技術(shù)在能源互聯(lián)網(wǎng)中的應(yīng)用就是把Internet技術(shù)和Internet思維與傳統(tǒng)能源行業(yè)業(yè)務(wù)進行深度整合。

1) 為多能源系統(tǒng)協(xié)同規(guī)劃及運行提供輔助決策

能源互聯(lián)網(wǎng)中，需要實現(xiàn)電網(wǎng)、油網(wǎng)、氣網(wǎng)和交通系統(tǒng)網(wǎng)絡(luò)的互聯(lián)互通，共享共濟。需要建立電網(wǎng)與其他能源系統(tǒng)的一體化數(shù)據(jù)融合系統(tǒng)，實現(xiàn)大數(shù)據(jù)挖掘，完成決策支持，保證多種能源的生產(chǎn)與配送。

2) 推動能源互聯(lián)網(wǎng)中商業(yè)模式的創(chuàng)新

利用大數(shù)據(jù)技術(shù)，分析能源互聯(lián)網(wǎng)中不同類型的參與者在能源生產(chǎn)、交易、消費中的社會心理，并充分考慮地域、氣候、收入、受教育程度、居住環(huán)境、政策機制等各種影響因素，為形成合理的能源互聯(lián)網(wǎng)商業(yè)模式提供決策支持。

3) 為能源互聯(lián)網(wǎng)的安全穩(wěn)定運行提供相應(yīng)數(shù)據(jù)支撐。

利用大數(shù)據(jù)技術(shù)，對能源互聯(lián)網(wǎng)實時運行數(shù)據(jù)和歷史數(shù)據(jù)進行深層數(shù)據(jù)挖掘，分析能源互聯(lián)網(wǎng)的運行和變化規(guī)律，實現(xiàn)對能源互聯(lián)網(wǎng)運行狀態(tài)的全局掌控，提高能源互聯(lián)網(wǎng)運行的安全性和可靠性。

4) 提高能源互聯(lián)網(wǎng)的管理水平[12]。

利用大數(shù)據(jù)技術(shù)，可從海量數(shù)據(jù)中挖掘出能源互聯(lián)網(wǎng)生產(chǎn)和消費中能量損失的原因，提升能源生產(chǎn)和消費效率。

5) 有利于能源互聯(lián)網(wǎng)信息資產(chǎn)的管理和共享

利用大數(shù)據(jù)技術(shù)，對能源互聯(lián)網(wǎng)中分散的數(shù)據(jù)進行集成管理，保持數(shù)據(jù)之間的聯(lián)系，保證數(shù)據(jù)的系統(tǒng)性和完整性，反映能源互聯(lián)網(wǎng)整體運行情況，促進能源數(shù)據(jù)共享。

4 能源互聯(lián)網(wǎng)中大數(shù)據(jù)技術(shù)應(yīng)用實踐

4.1 應(yīng)用實踐

本人所在的山西天然氣股份有限公司隸屬于山西省國新能源發(fā)展集團有限公司，作為氣化山西的主力軍，公司將傳統(tǒng)能源行業(yè)與新興信息技術(shù)相結(jié)合，天然氣系統(tǒng)供、輸、銷全產(chǎn)業(yè)能源互聯(lián)網(wǎng)生態(tài)鏈已經(jīng)初具規(guī)模，同時布局了神策數(shù)據(jù)根基平臺。

神策數(shù)據(jù)根基平臺是面向業(yè)務(wù)的全端數(shù)據(jù)基礎(chǔ)平臺。該平臺可以實時采集、治理、存儲、查詢、展示數(shù)據(jù)，并搭載數(shù)據(jù)智能引擎，高效積累數(shù)據(jù)資產(chǎn)，賦能業(yè)務(wù)應(yīng)用場景，助力企業(yè)構(gòu)建扎實的數(shù)據(jù)根基，實現(xiàn)數(shù)字化經(jīng)營。

通過使用數(shù)據(jù)根基平臺提供的數(shù)據(jù)工具，可以對公司業(yè)務(wù)運營數(shù)據(jù)進行分析。海量數(shù)據(jù)通過數(shù)據(jù)分析工具分類建模，數(shù)據(jù)挖掘，輸出直觀的可視化數(shù)據(jù)圖表，使公司決策層和使用層能多角度分析數(shù)據(jù)，了解公司業(yè)務(wù)真實運營情況，數(shù)據(jù)分析初見成效。但是隨著時間推移，一些問題逐漸凸顯。

4.2 存在問題

在實際工作中，能源企業(yè)缺乏大數(shù)據(jù)應(yīng)用的整體構(gòu)想、缺乏專門的大數(shù)據(jù)技術(shù)人才，大數(shù)據(jù)應(yīng)用的廣度、深度遠遠不夠。

1) 數(shù)據(jù)平臺提供的成型數(shù)據(jù)工具無法“因地制宜”，無法滿足企業(yè)復(fù)雜業(yè)務(wù)數(shù)據(jù)分析的實際需求。

2) 能源互聯(lián)網(wǎng)數(shù)據(jù)增長迅速，因數(shù)據(jù)體量累計導(dǎo)致的數(shù)據(jù)分析運行速率明顯下降。這種數(shù)據(jù)分析模式無法適應(yīng)日益增長的對于數(shù)據(jù)本身內(nèi)容的需求，需要一個高效的數(shù)據(jù)抽取與分析引擎。

3) 數(shù)據(jù)分析不僅僅是對人的分析，如何將數(shù)據(jù)、人、場景相結(jié)合，通過感知、理解、決策而行動更加重要。

4.3 解決對策

1) 二次開發(fā)。能源數(shù)據(jù)分析平臺種類很多，能全面考慮能源企業(yè)數(shù)據(jù)應(yīng)用需求的平臺幾乎沒有，也不可能有，在這樣的現(xiàn)狀下，企業(yè)應(yīng)采取的最重要的措施是引進大數(shù)據(jù)技術(shù)專業(yè)人才，結(jié)合能源企業(yè)數(shù)據(jù)應(yīng)用需求，在大數(shù)據(jù)平臺上進行滿足企業(yè)數(shù)據(jù)應(yīng)用需求的二次開發(fā)。

2) 考慮公司運營業(yè)務(wù)數(shù)據(jù)的體量，可以將正式數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)出到備用數(shù)據(jù)庫后配合Hadoop轉(zhuǎn)存，經(jīng)過ETL形成數(shù)據(jù)集，大大節(jié)省在數(shù)據(jù)工具上加載數(shù)據(jù)的時間。另外，數(shù)據(jù)中心建設(shè)也是炊米之源，刻不容緩。

3) 從業(yè)務(wù)角度看待事物。在業(yè)務(wù)場景中有人使用數(shù)據(jù)時會創(chuàng)建價值。當數(shù)據(jù)投入使用時，這就是價值所在。因此，責(zé)任不在數(shù)據(jù)創(chuàng)建者身上，而在于價值創(chuàng)造者如何利用數(shù)據(jù)。在實現(xiàn)數(shù)據(jù)價值運作時，從業(yè)務(wù)角度而不是技術(shù)角度來看待事物非常重要。

5 結(jié)束語

大數(shù)據(jù)技術(shù)在能源互聯(lián)網(wǎng)構(gòu)建及運行過程中扮演海量數(shù)據(jù)管理與分析的角色，是保障能源互聯(lián)網(wǎng)經(jīng)濟運行的關(guān)鍵因素之一。但是，我國能源互聯(lián)網(wǎng)大數(shù)據(jù)研究及其應(yīng)用剛剛起步，方興未艾，仍面臨很多困難，需要能源企業(yè)制定全面合理的發(fā)展戰(zhàn)略,才能推動業(yè)務(wù)與技術(shù)的雙重進步。