大數(shù)據(jù)時代智能水電站建設(shè)思路

戴 驅(qū)，刀亞娟，吳 威

（華能瀾滄江水電股份有限公司，云南 昆明650214）

近些年來，信息技術(shù)飛速發(fā)展，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)等信息技術(shù)的快速發(fā)展和演進，觸發(fā)了新的工業(yè)革命，國內(nèi)外各行業(yè)均以此為契機展開了以新興信息技術(shù)為基礎(chǔ)的管理創(chuàng)新和變革，在企業(yè)管理中開展了物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)等技術(shù)的綜合開發(fā)和應(yīng)用，以達到優(yōu)化生產(chǎn)要素、更新業(yè)務(wù)體系和重構(gòu)管理模式的目的，力圖打造智慧化企業(yè)，驅(qū)動企業(yè)向現(xiàn)代化新型管理模式的轉(zhuǎn)變，以求得搶占先機，在激烈的市場競爭中立于不敗之地。能源作為社會經(jīng)濟發(fā)展的基礎(chǔ)動力，是保障國家和社會健康持續(xù)發(fā)展的關(guān)鍵動能，深入思考水電企業(yè)在能源互聯(lián)網(wǎng)時代的新技術(shù)、新模式、新業(yè)態(tài)，并開啟以能源革命與信息化變革為核心的智慧企業(yè)建設(shè)是時代所向和大勢所趨。

為響應(yīng)國家互聯(lián)網(wǎng)+發(fā)展戰(zhàn)略，華能集團公司率先在電力領(lǐng)域提出建設(shè)工業(yè)互聯(lián)網(wǎng)的方案并已開展先行先試，越來越重視數(shù)據(jù)資產(chǎn)成為一種行業(yè)共識，力圖以此為契機促成新一輪技術(shù)變革，使傳統(tǒng)電力工業(yè)煥發(fā)新的生機，主動迎接和應(yīng)對物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能為代表的先進生產(chǎn)力帶來的新機遇和新挑戰(zhàn)。

1 傳統(tǒng)水電站數(shù)據(jù)運用現(xiàn)狀

目前在運的水電站基本是采用分層分布式系統(tǒng)布局，依靠計算機監(jiān)控系統(tǒng)來集中采集和存儲數(shù)據(jù)并進行運算處理，在下一層部署有調(diào)速器、勵磁、保護、輔機、油水氣等眾多小系統(tǒng)負責測量或計算各自的測點數(shù)據(jù)并向監(jiān)控系統(tǒng)傳送，由于系統(tǒng)眾多，不同系統(tǒng)間往往存在數(shù)據(jù)壁壘，同一個數(shù)據(jù)若是不同系統(tǒng)均有用到往往需要各自分別采集，如此便帶來了數(shù)據(jù)一致性可能存在偏差的問題，另外由于目前的行業(yè)設(shè)備制造技術(shù)現(xiàn)狀和相關(guān)規(guī)程規(guī)范制約，水電站各系統(tǒng)的數(shù)據(jù)采集大部分仍然通過模擬量傳送，其傳輸效率、共享程度等均較低，遠不能滿足數(shù)據(jù)互聯(lián)互通及快速實時共享的需求。目前水電站監(jiān)控系統(tǒng)的主要功能仍集中在實時控制層面，即依靠實時數(shù)據(jù)進行相關(guān)邏輯運算后完成對應(yīng)的控制調(diào)節(jié)等任務(wù)，對歷史數(shù)據(jù)僅做存儲，深度挖掘分析和相關(guān)關(guān)聯(lián)運算很少，造成了海量數(shù)據(jù)在硬盤里沉睡，未對電站設(shè)備管理、經(jīng)濟運行等產(chǎn)生任何促進作用，未體現(xiàn)出數(shù)據(jù)資產(chǎn)應(yīng)有的價值。

2 大數(shù)據(jù)技術(shù)帶來的啟發(fā)

從近些年阿里、騰訊、華為等高科技企業(yè)的發(fā)展中得知，通過搭建統(tǒng)一的云平臺，對企業(yè)發(fā)展過程中形成的歷史數(shù)據(jù)進行統(tǒng)一的資產(chǎn)管理，通過不斷細分維度，以及越來越成熟的結(jié)構(gòu)化模型來約束數(shù)據(jù)，對各類數(shù)據(jù)相關(guān)性進行不斷的搭配計算分析，就像化學家對不同的化學分子結(jié)構(gòu)的物質(zhì)進行搭配試驗一樣，經(jīng)過日積月累的嘗試，可逐漸找出新的規(guī)律，創(chuàng)造新的數(shù)據(jù)，應(yīng)用及推動企業(yè)向前發(fā)展。

從大家熟悉的移動互聯(lián)網(wǎng)來看，大數(shù)據(jù)技術(shù)已經(jīng)可以盡可能準確地判斷用戶行為習慣與偏好，從而對下一步動作進行預(yù)判甚至是引導用戶前進，由此聯(lián)想到電站設(shè)備本身，若是歷史數(shù)據(jù)足夠多且真實，分析模型足夠精確，系統(tǒng)通過一些必要的運算應(yīng)能對設(shè)備當前狀態(tài)進行準確判斷，對下一步趨勢進行預(yù)判并自我進行修正。例如：調(diào)速器系統(tǒng)若是知道不同水頭下、各種負荷下跳機時水壓上升和轉(zhuǎn)速上升這幾個量的對應(yīng)關(guān)系，通過較優(yōu)的模型可計算出在不同的前提條件下跳機時的導葉分段關(guān)閉參數(shù)，使水壓、轉(zhuǎn)速的上升都保持在一個較為均衡的范圍，而不是任何情況下都用同一個參數(shù)，僅僅是保證了一個底線。又比如：排水系統(tǒng)在對大量歷史數(shù)據(jù)進行比對分析后，應(yīng)能提出優(yōu)化水泵啟停時間及順序的建議，根據(jù)水量變化速度隨時調(diào)整水泵啟停安排，并將啟停結(jié)果告知監(jiān)控系統(tǒng)，不用等著運行人員發(fā)現(xiàn)異常來人為干預(yù)解決。

3 水電站數(shù)據(jù)處理平臺技術(shù)方案

結(jié)合當前主流的大數(shù)據(jù)平臺技術(shù)和產(chǎn)品的發(fā)展現(xiàn)狀，推薦建立分層次、統(tǒng)一、融合的大數(shù)據(jù)處理環(huán)境架構(gòu)，整個架構(gòu)支持線性擴展，具體架構(gòu)大致如圖1所示。

圖1 典型大數(shù)據(jù)平臺技術(shù)架構(gòu)

3.1 數(shù)據(jù)源

數(shù)據(jù)來源主要包括各級部門業(yè)務(wù)數(shù)據(jù)、第三方數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等各類數(shù)據(jù)，數(shù)據(jù)形式涉及結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

3.2 數(shù)據(jù)采集層

數(shù)據(jù)采集層采用H3 C DataEngine DI數(shù)據(jù)集成工具，基于分布式技術(shù)架構(gòu)，融合Sqoop、Flume等ETL工具，實現(xiàn)各級部門業(yè)務(wù)數(shù)據(jù)、第三方數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)以及其他相關(guān)數(shù)據(jù)的采集，并將采集的數(shù)據(jù)裝載至大數(shù)據(jù)平臺。支持對實時數(shù)據(jù)、增量數(shù)據(jù)和全量數(shù)據(jù)加載的方式進行數(shù)據(jù)采集與解析。

3.3 數(shù)據(jù)存儲計算層

數(shù)據(jù)存儲主要完成多源數(shù)據(jù)的融合存儲，數(shù)據(jù)存儲主要基于分布式文件系統(tǒng)（HDFS）和列式數(shù)據(jù)庫（HBase等），輔以內(nèi)存數(shù)據(jù)庫來實現(xiàn)流式計算的輸出存儲，通過關(guān)系數(shù)據(jù)庫實現(xiàn)元數(shù)據(jù)、用戶、權(quán)限配置等數(shù)據(jù)的存儲管理。數(shù)據(jù)計算主要包含離線計算服務(wù)、實時計算服務(wù)、面向海量結(jié)構(gòu)化數(shù)據(jù)處理的分布式數(shù)據(jù)庫服務(wù)等。

3.4 數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層主要提供大數(shù)據(jù)平臺的數(shù)據(jù)資源服務(wù)和數(shù)據(jù)計算服務(wù)。通過數(shù)據(jù)服務(wù)標準化開放訪問，實現(xiàn)應(yīng)用和數(shù)據(jù)分離。服務(wù)層整體采用微服務(wù)架構(gòu)，數(shù)據(jù)資源和數(shù)據(jù)計算應(yīng)封裝成SOA、RESTful架構(gòu)對外提供服務(wù)，實現(xiàn)常見的RMI、JMS、HTTP、Hessian、thrift等協(xié)議，基于標準化接口，實現(xiàn)對數(shù)據(jù)訪問、數(shù)據(jù)計算方法的API封裝，以便于上層應(yīng)用進行增值開發(fā)利用，體現(xiàn)數(shù)據(jù)價值，并應(yīng)支持機器學習算法分析功能。

數(shù)據(jù)服務(wù)層聚焦大數(shù)據(jù)應(yīng)用開發(fā)及數(shù)據(jù)分析挖掘的平臺及服務(wù)，整個系統(tǒng)基于底層分布式批處理框架、分布式流數(shù)據(jù)實時框架以及機器學習算法庫等相關(guān)基礎(chǔ)設(shè)施，應(yīng)提供各類應(yīng)用開發(fā)套件，滿足各類開發(fā)需求。

數(shù)據(jù)服務(wù)層包含數(shù)據(jù)開發(fā)服務(wù)、數(shù)據(jù)算法服務(wù)與數(shù)據(jù)可視化服務(wù)。

3.5 數(shù)據(jù)治理

數(shù)據(jù)治理貫穿大數(shù)據(jù)處理過程的各個階段，通過基于元數(shù)據(jù)采集、查詢和分析，建立數(shù)據(jù)的稽核策略，完成對數(shù)據(jù)的溯源、數(shù)據(jù)地圖、數(shù)據(jù)血緣分析等功能，實現(xiàn)對數(shù)據(jù)生命周期的全流程管控。

3.6 數(shù)據(jù)安全

數(shù)據(jù)安全同樣貫穿大數(shù)據(jù)處理過程各個階段，此章節(jié)的數(shù)據(jù)安全主要考慮大數(shù)據(jù)處理環(huán)境中的各類安全，聚焦于平臺安全及數(shù)據(jù)自身安全。

3.7 平臺管理

平臺管理主要指大數(shù)據(jù)平臺的整體性管理，包括用戶權(quán)限、管理流程、服務(wù)部署、平臺安全、數(shù)據(jù)提供等業(yè)務(wù)的統(tǒng)一調(diào)度。

數(shù)據(jù)存儲計算層是大數(shù)據(jù)處理環(huán)境的核心，它存儲由數(shù)據(jù)采集層采集回來的各類數(shù)據(jù)，并對上層應(yīng)用提供數(shù)據(jù)計算分析的能力。

此方案大數(shù)據(jù)的建設(shè)中，需要處理海量的結(jié)構(gòu)化數(shù)據(jù)，同時還需要處理非結(jié)構(gòu)化數(shù)據(jù)，其中結(jié)構(gòu)化數(shù)據(jù)為主要部分。為了滿足當前及未來數(shù)據(jù)存儲處理能力的需求，我們采用先進的“Hadoop+MPP”混合架構(gòu)構(gòu)建整個存儲計算層。MPP平臺主要用于處理海量高價值密度的結(jié)構(gòu)化數(shù)據(jù)，Hadoop平臺主要用于處理其他非結(jié)構(gòu)化數(shù)據(jù)及低價值密度的結(jié)構(gòu)化數(shù)據(jù)。

4 大數(shù)據(jù)方案的核心技術(shù)及難點

在大數(shù)據(jù)硬件平臺搭建起來后，需要投入大量的人力、精力和時間進行數(shù)據(jù)模型的創(chuàng)建和計算，不斷修正有關(guān)特征參數(shù)，力爭使各個模型都盡量與設(shè)備現(xiàn)狀相適應(yīng)，推薦采用目前各大云平臺已開發(fā)的行業(yè)建模引擎來提升工作效率，一般建模引擎均是一個以數(shù)據(jù)倉庫建設(shè)、數(shù)據(jù)檢索、數(shù)據(jù)分析、數(shù)據(jù)治理、數(shù)據(jù)展示為核心的數(shù)據(jù)分析全流程的應(yīng)用系統(tǒng)，操作者借助該系統(tǒng)，從數(shù)據(jù)接入、建立數(shù)據(jù)倉庫，到數(shù)據(jù)關(guān)聯(lián)、分析、挖掘，再到可視化展現(xiàn)，實現(xiàn)完整的數(shù)據(jù)分析流程。

由于水電站設(shè)備類型眾多，數(shù)據(jù)類型和數(shù)量均以海量計，要在如此多的數(shù)據(jù)中找到不同數(shù)據(jù)的關(guān)聯(lián)規(guī)律并應(yīng)用于生產(chǎn)運行及日常管理，必將是一個長期而艱巨的任務(wù)，且數(shù)據(jù)間的規(guī)律是無止境的，總能找到新的類型數(shù)據(jù)間存在規(guī)律并加以應(yīng)用，可見，只有通過不斷發(fā)現(xiàn)規(guī)律、總結(jié)經(jīng)驗并轉(zhuǎn)化為可應(yīng)用的成果，水電站智能化才能越來越進步和成熟。

5 結(jié)語

目前，國內(nèi)各大水電公司均在推進智能電站工作，但基本都處于方案設(shè)計或硬件平臺搭建等階段，真正開發(fā)出了較多較好的數(shù)據(jù)模型并用于指導生產(chǎn)運行的還沒有，因此，大力推進水電站相關(guān)數(shù)據(jù)建模及不同數(shù)據(jù)間關(guān)聯(lián)規(guī)律的總結(jié)提煉，是建設(shè)智能水電站的突破點，是信息技術(shù)在電力行業(yè)應(yīng)用的重要一環(huán)，也是必然趨勢，可有效提升系統(tǒng)智能化水平及自診斷自分析功能，提升設(shè)備運行效率及可靠性，為建設(shè)安全、穩(wěn)定、智能、高效的水電廠智能系統(tǒng)打下基礎(chǔ)。