智能電網(wǎng)電力大數(shù)據(jù)技術(shù)研究

李 娜 王天祺 尚飛宏

內(nèi)蒙古電力（集團）有限責(zé)任公司巴彥淖爾電業(yè)局信息通信處 內(nèi)蒙古 巴彥淖爾市 015000

【摘 要】智能電網(wǎng)系統(tǒng)在我國的應(yīng)用日漸廣泛，大數(shù)據(jù)處理技術(shù)已然是智能電網(wǎng)安全運行的有利武器。但在電網(wǎng)智能化的發(fā)展進程中，實時、隱私等方面的性能需求對大數(shù)據(jù)技術(shù)本身提出了更嚴(yán)峻的挑戰(zhàn)，鑒于此，本文對智能電網(wǎng)電力大數(shù)據(jù)技術(shù)進行了分析探討。

【關(guān)鍵詞】智能電網(wǎng)；大數(shù)據(jù)；技術(shù)

一、智能電網(wǎng)中大數(shù)據(jù)的特點

智能電網(wǎng)業(yè)務(wù)中的基本數(shù)據(jù)按內(nèi)容可以劃分成三大類。

（1）運行數(shù)據(jù)、設(shè)備檢測數(shù)據(jù)、設(shè)備實時狀態(tài)參數(shù)數(shù)據(jù)。

（2）電力企業(yè)營銷數(shù)據(jù)（用電客戶、電量報價等）。

（3）電力企業(yè)管理數(shù)據(jù)。在上述類目可以再次細(xì)化為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類。但無論基于何種分類方式，大數(shù)據(jù)在智能電網(wǎng)中體現(xiàn)出來的特點是不變的，簡單概括為體量大、類型多，具體如下：（1）數(shù)據(jù)體量大：即數(shù)據(jù)的數(shù)量和體積較為龐大。在智能時代的推動下，電網(wǎng)在數(shù)據(jù)吞吐量的級別已經(jīng)從以往的TB級飆升為PB級。（2）數(shù)據(jù)類型繁雜：由于電力企業(yè)自身存在的特殊性，加之其地理分布情況在區(qū)域上的差異性，電網(wǎng)企業(yè)涉及到的數(shù)據(jù)有著極為復(fù)雜的類別劃分，細(xì)分后的子類和子項同樣在數(shù)量上非常龐大，也正是由于這一特點，不同的數(shù)據(jù)類別對服務(wù)器端硬件設(shè)備及用戶端的系統(tǒng)平臺均有不同程度的配置、性能及處理需求，從而更是增加了電網(wǎng)企業(yè)內(nèi)網(wǎng)及外設(shè)雙重建設(shè)項目的難度。

（3）數(shù)據(jù)價值密度低：異常數(shù)據(jù)出現(xiàn)的頻率低，同時也是對電網(wǎng)軟、硬件設(shè)備維修和檢測最有價值的。

二、智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)

1、多源異構(gòu)數(shù)據(jù)的聚合管理技術(shù)

電力大數(shù)據(jù)的數(shù)據(jù)集成管理技術(shù)，包含關(guān)系型和非關(guān)系型數(shù)據(jù)庫技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、過濾技術(shù)和數(shù)據(jù)清洗等。電力大數(shù)據(jù)的來源極其廣泛，數(shù)據(jù)類型極為繁雜，且數(shù)據(jù)質(zhì)量不高，準(zhǔn)確性、及時性均有所欠缺，對于這種多源異構(gòu)數(shù)據(jù)的聚合管理技術(shù)也提出了更高的要求。首先必須對數(shù)據(jù)源的數(shù)據(jù)進行抽取和集成，現(xiàn)有的數(shù)據(jù)抽取與集成方式主要是基于ETL引擎的方式和基于搜索引擎的方式等，首先把數(shù)據(jù)抽取成文件，再對數(shù)據(jù)文件進行轉(zhuǎn)換和清洗，最后生成多維度、多粒度的分析型數(shù)據(jù)并存儲到數(shù)據(jù)倉庫中。云計算技術(shù)中的分布式存儲技術(shù)滿足了電網(wǎng)海量數(shù)據(jù)的存儲需求，因此云計算技術(shù)推出不久，電力云的概念就被提出來?？尚诺脑拼鎯δＰ偷慕ⅲ鉀Q了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲與安全管理問題。雖然分布式計算方法可以大大提高計算機的存儲空間，但是不能滿足電力數(shù)據(jù)的實時性要求。因此存儲時需要對數(shù)據(jù)進行分級、分類，如對性能要求高的實時數(shù)據(jù)需采用實時數(shù)據(jù)庫系統(tǒng)進行存儲，對歷史數(shù)據(jù)采用分布式文件系統(tǒng)存儲，對核心業(yè)務(wù)數(shù)據(jù)則使用傳統(tǒng)的并行數(shù)據(jù)倉庫系統(tǒng)存儲，形成完整的數(shù)據(jù)庫分級存儲系統(tǒng)。這種層次式和分布式存儲和集成系統(tǒng)，利用海量多源異構(gòu)數(shù)據(jù)存儲、組織、管理最新技術(shù)，保證了數(shù)據(jù)存儲的完整性與訪問的高效性。

2、復(fù)雜數(shù)據(jù)處理技術(shù)

電力大數(shù)據(jù)處理技術(shù)主要解決大數(shù)據(jù)的實時處理和批處理問題。目前主要采用分布式計算技術(shù)、內(nèi)存計算技術(shù)、實時流數(shù)據(jù)計算技術(shù)等來解決大數(shù)據(jù)的處理問題。分布式計算主要解決計算機分布式計算和存儲的問題。分布式計算典型的例子是Google文件系統(tǒng)（Google File System，GFS），隨后Yahoo開發(fā)了該系統(tǒng)的開源版本Hadoop，Hadoop集群系統(tǒng)具有成本低廉、靈活性強等優(yōu)點，同時還支持海量數(shù)據(jù)存儲和計算。已有研究針對智能電網(wǎng)狀態(tài)監(jiān)測的特點，基于Hadoop并利用其它虛擬化技術(shù)和分布式存儲技術(shù)存儲和管理數(shù)據(jù)，以實現(xiàn)對電力大數(shù)據(jù)的高效管理。

內(nèi)存計算技術(shù)主要解決大數(shù)據(jù)的實時處理問題。SAP HANA是基于內(nèi)存計算技術(shù)的高性能實時數(shù)據(jù)計算平臺，有研究表明SAPHANA可以提高計算速度幾十到上百倍。隨著內(nèi)存價格的不斷下降，內(nèi)存計算已經(jīng)具備物質(zhì)基礎(chǔ)，這也在一定程度上解決了海量數(shù)據(jù)的實時處理問題。文獻中介紹了使用改良ApacheSpark作為執(zhí)行引擎的內(nèi)存計算引擎計算框架，采用輕量級的調(diào)度框架和多線程計算模型，與傳統(tǒng)的Mapreduce框架相比，消除了頻繁的I/O磁盤訪問并降低了調(diào)度與啟動開銷。電力大數(shù)據(jù)包括實時監(jiān)測數(shù)據(jù)、企業(yè)營銷數(shù)據(jù)等，它們以一種順序、大量、快速的方式呈現(xiàn)，可以被看作一種流式數(shù)據(jù)。流式大數(shù)據(jù)呈現(xiàn)出實時性、易失性、突發(fā)性、無序性、無限性等特征，對系統(tǒng)提出了很多新的更高的要求。S4流式計算系統(tǒng)和Storm流式計算系統(tǒng)的推出，在一定程度上推動了大數(shù)據(jù)流式計算技術(shù)的發(fā)展和應(yīng)用。但是，這些系統(tǒng)在可伸縮性、系統(tǒng)容錯、狀態(tài)一致性、負(fù)載均衡、數(shù)據(jù)吞吐量等諸多方面仍然存在著明顯不足。目前，分布式數(shù)據(jù)流實時計算系統(tǒng)在學(xué)術(shù)界和工業(yè)界都處于初步探索階段。大數(shù)據(jù)流式計算技術(shù)應(yīng)設(shè)計分布式多模態(tài)計算框架，選擇能與Hadoop架構(gòu)兼容的計算框架，調(diào)整各種計算框架中數(shù)據(jù)及索引訪問模塊，二次開發(fā)統(tǒng)一的計算任務(wù)調(diào)度模塊，設(shè)計并開發(fā)統(tǒng)一的分布式環(huán)境。將流數(shù)據(jù)技術(shù)應(yīng)用于電力系統(tǒng)可為決策者提供即時依據(jù)，滿足實時的分析需求。

3、智能電網(wǎng)大數(shù)據(jù)展現(xiàn)技術(shù)

由于電力信息平臺中信息體量大、且隨時間不斷變化，難以將所有信息一次性呈現(xiàn)給用戶，所以要切實通過可視化技術(shù)對這些數(shù)據(jù)進行處理，使得異常數(shù)據(jù)在屏幕上較為清晰的呈現(xiàn)出來。針對不同類型的電力大數(shù)據(jù)，可視化方案也有所區(qū)別：首先對于電網(wǎng)運行數(shù)據(jù)，根據(jù)其高維、時序、快速的特點，應(yīng)采取信息可視化與可視分析結(jié)合的技術(shù)方法進行處理。針對電力客戶數(shù)據(jù)，客戶數(shù)據(jù)主要來自用電終端信息采集系統(tǒng)。將用戶電量信息與用戶地理區(qū)域?qū)?yīng)起來，可實現(xiàn)用戶用電行為分析與負(fù)荷特性的可視分析。另外還可以結(jié)合地理信息系統(tǒng)繪制地區(qū)電力客戶地圖，并按照一定的權(quán)限向公眾開放該全景分析圖，實現(xiàn)用戶的用電互動服務(wù)，實時反饋購、用電信息。最后是面向電網(wǎng)企業(yè)管理數(shù)據(jù)，可根據(jù)其不同業(yè)務(wù)部門的特點進行不同的可視化分析。

由于三維模型數(shù)據(jù)量較大，需要盡可能減小三維模型數(shù)據(jù)量，研究表明從紋理與幾何兩個方面對模型進行壓縮，生成多種細(xì)節(jié)層次模型，以支持三維模型的動態(tài)可視化。而多細(xì)節(jié)層次技術(shù)需要解決的問題之一是如何快速地對多邊形網(wǎng)格進行簡化，以生成多分辨率模型，采用簡化網(wǎng)格模型的算法，針對實時的虛擬場景中，保證了簡化模型的連續(xù)性、實時性、保持外觀特征性，使得原有的數(shù)據(jù)存儲結(jié)構(gòu)得以重復(fù)利用。已有研究提出基于模型組件化動態(tài)WEB 3D虛擬現(xiàn)實場景的搭建方法及系統(tǒng)，模型可以在虛擬現(xiàn)實項目中進行復(fù)用，減少在場景搭建中模型使用的冗余，并提高用戶體驗。

目前電網(wǎng)企業(yè)大數(shù)據(jù)挖掘分析工作雖然不斷取得新的突破，但是將相關(guān)數(shù)據(jù)繪制成高精度、高分辨率的圖片的業(yè)務(wù)模型、智能算法和交互式圖形處理工具開發(fā)的研究才剛起步，相關(guān)可視化系統(tǒng)的功能實現(xiàn)需要進一步予以研究開發(fā)。

結(jié)束語

本文闡述了智能電網(wǎng)中大數(shù)據(jù)的數(shù)據(jù)特點以及應(yīng)用價值，重點介紹了目前智能電網(wǎng)中大數(shù)據(jù)聚合管理、分析處理以及數(shù)據(jù)展示的關(guān)鍵技術(shù)，為我國智能電網(wǎng)大數(shù)據(jù)處理提供參考。

參考文獻：

[1]李鵬.智能電網(wǎng)運營管理風(fēng)險元傳遞模型及決策支持系統(tǒng)研究[D].華北電力大學(xué)，2014.

[2]魏亞楠.智能電網(wǎng)中多種發(fā)電模式聯(lián)合調(diào)度模型及效益評價研究[D].華北電力大學(xué)，2014.