數(shù)據(jù)助動 電力先行

劉晶晶

電力行業(yè)信息化和工業(yè)化融合發(fā)展促使電力數(shù)據(jù)迅速增長和不斷融合，電力大數(shù)據(jù)時代已經(jīng)到來。電力大數(shù)據(jù)源自電力行業(yè)，與智能電網(wǎng)、智慧城市緊密相連，是未來電力發(fā)展的重要資源。

電力大數(shù)據(jù)關(guān)鍵技術(shù)

多數(shù)據(jù)融合。數(shù)據(jù)融合是一個多級、多層面的數(shù)據(jù)處理過程，主要完成對來自多個信息源的數(shù)據(jù)進行自動檢測、關(guān)聯(lián)、相關(guān)、估計及組合等處理。電力大數(shù)據(jù)在行業(yè)內(nèi)部主要涉及電力生產(chǎn)和電力服務各環(huán)節(jié)數(shù)據(jù)的融合，實現(xiàn)跨單位、跨部門、跨業(yè)務數(shù)據(jù)分析與共享。

數(shù)據(jù)融合要處理各類數(shù)據(jù)源數(shù)據(jù)的抽取、關(guān)聯(lián)，如涉及多個專業(yè)的電力資產(chǎn)全壽命周期管理、營銷和配電協(xié)調(diào)管理等都需要不同來源數(shù)據(jù)的融合，從而逐漸形成以數(shù)據(jù)為中心的企業(yè)信息化管理系統(tǒng)，轉(zhuǎn)變傳統(tǒng)的以業(yè)務系統(tǒng)為中心的信息化建設思路，促進數(shù)據(jù)資源共享，發(fā)揮數(shù)據(jù)大的價值。

數(shù)據(jù)分析挖掘。電力大數(shù)據(jù)分析挖掘主要面向結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，解決復雜數(shù)據(jù)結(jié)構(gòu)、多種類型、海量數(shù)據(jù)的有效處理問題。結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)計分析、特征提取和挖掘比較成熟，視頻、音頻和文本等非結(jié)構(gòu)化數(shù)據(jù)是研究的熱點。視頻和圖像方面主要開展人臉識別、人體識別、物體識別、指紋識別、虹膜識別，以及基于內(nèi)容的多媒體檢索等研究;音頻方面主要開展自然語言處理、聲音識別、感情計算等;文本方面主要開展自然語言理解、主題思想提取、自動摘要等。

非結(jié)構(gòu)化數(shù)據(jù)的處理方法主要以模式識別、機器學習、統(tǒng)計分析等為主。在結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理過程中都會用到統(tǒng)計分析、數(shù)據(jù)挖掘、關(guān)聯(lián)分析、機器學習、建模仿真等算法。大數(shù)據(jù)時代使得訓練和統(tǒng)計樣本數(shù)量迅速增加，為算法模型改進提供了很大空間，甚至引起新算法的產(chǎn)生。

數(shù)據(jù)可視化。數(shù)據(jù)可視化借助圖形描述數(shù)據(jù)中的復雜信息。良好的數(shù)據(jù)可視化設計既要有藝術(shù)設計，也要能優(yōu)雅地展示數(shù)據(jù)的細節(jié)，并能夠展現(xiàn)對數(shù)據(jù)的洞察和新的理解。電力大數(shù)據(jù)可視化滿足電力生產(chǎn)與企業(yè)經(jīng)營、對外交流合作兩個方面的需要。

電力生產(chǎn)與企業(yè)經(jīng)營方面，數(shù)據(jù)可視化能夠全面、及時地反映電力生產(chǎn)、企業(yè)經(jīng)營的各類數(shù)據(jù)的狀態(tài)，滿足運行管理工作需要，當特殊狀態(tài)或設備報警等情況發(fā)生時，能夠及時、醒目地通知運行和管理人員。對外交流合作方面，電力數(shù)據(jù)的可視化主要反映電力發(fā)展的全局情況，反映社會用電情況和經(jīng)濟活動規(guī)律，體現(xiàn)電力發(fā)展支撐經(jīng)濟社會的作用和價值。

電力大數(shù)據(jù)存儲與處理技術(shù)

大數(shù)據(jù)存儲與處理技術(shù)主要解決電力大數(shù)據(jù)實時處理和批量處理。內(nèi)存計算技術(shù)和Hadoop技術(shù)的融合是解決電力大數(shù)據(jù)存儲和處理的一個有效辦法。

內(nèi)存計算技術(shù)將全部數(shù)據(jù)放入內(nèi)存進行計算，是提高單機計算速度的有效辦法，是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速。隨著內(nèi)存價格的不斷下降，內(nèi)存計算已經(jīng)具備物質(zhì)基礎(chǔ)，在一定程度上解決了海量數(shù)據(jù)的實時處理問題。如將電力企業(yè)近10 年所有的財務、營銷、市場等各方面的數(shù)據(jù)一次性地保存在內(nèi)存里，并在此基礎(chǔ)上進行數(shù)據(jù)分析。

從應用的角度看，內(nèi)存計算技術(shù)是把現(xiàn)在交易型的數(shù)據(jù)庫和分析型的數(shù)據(jù)庫合并為一個內(nèi)存數(shù)據(jù)庫，同時應對這兩種應用。

內(nèi)存計算可以提高傳統(tǒng)信息系統(tǒng)的處理速度，對SAPH HANA 內(nèi)存計算進行了測試，可以提高計算速度幾十到上百倍。內(nèi)存計算主要解決大數(shù)據(jù)的實時處理問題，而分布式計算則主要解決更大規(guī)模數(shù)據(jù)的分布式存儲與處理問題。

分布式計算典型的例子是Google 文件系統(tǒng)（Google File System，GFS），該系統(tǒng)基于大量Linux 操作系統(tǒng)的PC 服務器構(gòu)成的集群系統(tǒng)。介紹了Google 的GFS 系統(tǒng)，隨后Yahoo 開發(fā)了該系統(tǒng)的開源版本Hadoop，Hadoop集群系統(tǒng)具備低廉的硬件成本、開源的軟件體系、較強的靈活性、允許用戶修改代碼等特點，同時能支持海量數(shù)據(jù)存儲和計算任務。Hive 是一個基于Hadoop的數(shù)據(jù)倉庫平臺，轉(zhuǎn)化為相應的MapReduce 程序在Hadoop 上執(zhí)行。通過Hive，開發(fā)人員可以方便地進行數(shù)據(jù)抽象、轉(zhuǎn)換、加載（Extract-Transform-Load，ETL）開發(fā)。

目前，F(xiàn)acebook、eBay、Last.fm、百度、騰訊、淘寶、阿里巴巴等公司都采用Hadoop 作為大數(shù)據(jù)處理技術(shù)平臺，其中Facebook 有2 個主要集群存儲日志、源數(shù)據(jù)，并用于機器學習和分析，其規(guī)模達到了1100 臺和300臺機器， 存儲空間達到12PB 和3 PB。內(nèi)存計算和分布式計算的有機結(jié)合是兼顧電力大數(shù)據(jù)海量處理和實時處理的理想選擇。

電力大數(shù)據(jù)的應用

電力大數(shù)據(jù)的價值在于挖掘數(shù)據(jù)之間的關(guān)系和規(guī)律，滿足企業(yè)電力生產(chǎn)、經(jīng)營管理和電力服務在提高質(zhì)量、效益、效率方面的需要，促進電力資源的優(yōu)化配置和高效服務。

在企業(yè)內(nèi)部，電力生產(chǎn)的各環(huán)節(jié)數(shù)據(jù)融合、發(fā)掘，有利于發(fā)現(xiàn)電力生產(chǎn)的薄弱環(huán)節(jié)和尋找改進措施。開展電網(wǎng)發(fā)展規(guī)劃、電廠運行管理、企業(yè)運營監(jiān)測分析，通過大數(shù)據(jù)的分析指導企業(yè)的日常管理和經(jīng)營決策。例如，在電力生產(chǎn)領(lǐng)域開展電力實時線損計算，利用智能電表采集的海量能量數(shù)據(jù)，實時計算分區(qū)、分壓、分線、分臺區(qū)等不同范圍的線路損耗，為電網(wǎng)調(diào)度、交易和檢修提供支撐，便于經(jīng)濟、可靠地安排電網(wǎng)運行方式，提高電力資源配置能力。

在用電服務領(lǐng)域，開展用電互動服務，實時反饋購電、用電信息，對用電能效進行綜合評價和提出節(jié)能建議，對剩余電量進行友情提示，促進一些電力消費轉(zhuǎn)移到價格便宜的峰谷時段，減少高峰用電，延遲新建電力設施的需求，這將全面變革電力消費和使用模式，促進能源節(jié)約與優(yōu)化利用。

在電力企業(yè)外部，電力大數(shù)據(jù)更多地反映電力發(fā)展支撐經(jīng)濟發(fā)展需要以及服務經(jīng)濟社會情況。作為一種時效性、準確性較高的數(shù)據(jù)， 電力數(shù)據(jù)被廣泛應用于分析經(jīng)濟發(fā)展水平、經(jīng)濟走勢、產(chǎn)業(yè)分布狀況及政策實施效果等科學問題， 為政策制定和宏觀經(jīng)濟決策調(diào)整提供有力支持。通過分析用電量與第一、第二、第三產(chǎn)業(yè)之間的關(guān)系， 研究經(jīng)濟增長與產(chǎn)業(yè)結(jié)構(gòu)的變化特點，并對未來幾年的電力需求情況進行了預測。電力大數(shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)、天氣數(shù)據(jù)、經(jīng)濟數(shù)據(jù)、交通數(shù)據(jù)、電動汽車數(shù)據(jù)等社會數(shù)據(jù)融合，一方面促進智慧城市的建設，為用戶提供便捷的電力服務;另一方面為政策制定、公共事業(yè)管理以及商業(yè)經(jīng)營提供有益幫助。

電力大數(shù)據(jù)作為一種新興的技術(shù)和理念，雖處在發(fā)展的初級階段，但展示出了數(shù)據(jù)中蘊藏的巨大能量。以數(shù)據(jù)為中心的信息化理念將變革傳統(tǒng)的信息化工作思路，促進信息化與工業(yè)化深度融合，給電力行業(yè)帶來全新的工作方式和商業(yè)模式，在智能電網(wǎng)建設、智慧城市建設中發(fā)揮更大的作用。大數(shù)據(jù)技術(shù)的廣泛應用必將促進電力行業(yè)轉(zhuǎn)型升級，帶動能源節(jié)約和高效利用，對服務經(jīng)濟社會發(fā)展、示范“電力先行”有積極意義。