基于云計算的電力大數(shù)據(jù)分析技術

王小龍

（國網(wǎng)遼寧省電力有限公司營口供電公司）

0 引言

我國電力輸送網(wǎng)絡主要以智能電網(wǎng)為核心，把現(xiàn)代化控制技術應用到電網(wǎng)管理中，借助計算機網(wǎng)絡系統(tǒng)，實現(xiàn)發(fā)電、輸電、用電、調度等環(huán)節(jié)的數(shù)據(jù)采集、分析和處理，為電力企業(yè)各項管理決策提供信息依據(jù)，優(yōu)化各個系統(tǒng)運行環(huán)節(jié)，提高供電效率，保證智能電網(wǎng)運行的安全性和穩(wěn)定性，進而滿足用戶的多元化用電需求。由此可見電力數(shù)據(jù)無論是智能電網(wǎng)運行還是在電力企業(yè)經營管理中都占據(jù)重要的地位，在此背景下，探究基于云計算的電力數(shù)據(jù)分析技術具有重要的現(xiàn)實意義［1］。

1 現(xiàn)代電力大數(shù)據(jù)的主要特征

（一）數(shù)量化

隨著智能電網(wǎng)的普及范圍逐漸擴大，搭建面積也在增加，各個網(wǎng)絡節(jié)點設備數(shù)量也在增多，形成了龐大的數(shù)據(jù)資源體系。這些龐大而繁雜的數(shù)據(jù)，給數(shù)據(jù)搜集工作和數(shù)據(jù)分析工作帶來了一定的難度。對此，相關管理部門要進行大量的數(shù)據(jù)分析。目前，我國電力大數(shù)據(jù)級別由TB上升到PB級別，假設某地區(qū)電力客戶為2200萬戶，全部設置現(xiàn)代智能電表，每15分鐘搜集一條數(shù)據(jù)，該地區(qū)每天就會產生21億條電力數(shù)據(jù)，可見電力數(shù)據(jù)的龐大性，這也就賦予現(xiàn)代電力大數(shù)據(jù)的數(shù)量化特征。

（二）多元化

現(xiàn)代電力大數(shù)據(jù)的多元化主要體現(xiàn)在數(shù)據(jù)種類的多元化，由于先進技術和相關設備的投入使用，使得計算機數(shù)據(jù)由傳統(tǒng)單一化結構性數(shù)據(jù)發(fā)展為現(xiàn)代各類數(shù)據(jù)并存的數(shù)據(jù)體系，包含非結構性數(shù)據(jù)和結構性數(shù)據(jù)，其中非結構性數(shù)據(jù)的數(shù)量比例在日益提升，賦予現(xiàn)代電力大數(shù)據(jù)多元化特征?，F(xiàn)代電力大數(shù)據(jù)多元化特征，也表示傳統(tǒng)的數(shù)據(jù)分析方式無法適應數(shù)據(jù)變化，需要對數(shù)據(jù)分析技術進行創(chuàng)新和改革，進而達到最佳的應用效果。

（三）高速化

現(xiàn)代電力大數(shù)據(jù)無論是從數(shù)據(jù)采集方面還是從數(shù)據(jù)分析方面上看，都具備高速化特征，以高速狀態(tài)迅速完成，這主要是由用戶終端數(shù)量的不斷增加所決定的，要求國內電網(wǎng)內大數(shù)據(jù)分析設備能夠滿足每秒數(shù)十萬次的計算和分析［2］。

2 基于云計算的電力大數(shù)據(jù)分析技術

電力數(shù)據(jù)除了傳統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)之外，還包括一些無法處理的文件，例如誒之文件、監(jiān)控視頻以及故障照片等，數(shù)據(jù)結構種類不單一，對大數(shù)據(jù)分析技術有很高的要求，而基于云計算的電力大數(shù)據(jù)分析技術很好地解決了這一問題，具體分析技術如下所示：

（一）多維索引技術

傳統(tǒng)Hive系統(tǒng)索引功能過于單一，無法實現(xiàn)電力大數(shù)據(jù)搜索的具體化與細致化，造成CPU資源的浪費，降低了電力大數(shù)據(jù)分析效率。電力大數(shù)據(jù)具備多維區(qū)間查詢特征，各個維度查詢較為固定。例如浙江省電力系統(tǒng)，是一種以單位代碼與時間代碼為標準的索引方式，結合實際情況，采用各個維度輔助的形式開展電力大數(shù)據(jù)多維索引，自動過濾干擾數(shù)據(jù)和無用數(shù)據(jù)，有效提高了大數(shù)據(jù)索引效率與利用效率。當前，多維索引技術應用范圍較廣，形成以多維索引技術為核心的分布式多維索引系統(tǒng)，依托于Hive命令，通過HQL解析器，實現(xiàn)代碼解析，使得可索引的維度區(qū)間更加豐富，還可以根據(jù)實際需求，把索引數(shù)據(jù)放置到Hadoop分析系統(tǒng)中綜合處理。

（二）翻譯工具

傳統(tǒng)Hive系統(tǒng)運行中，利用HQL索引語言進行數(shù)據(jù)分析，HQL索引語言屬于SQL的分支，但二者間的語法差異較大?，F(xiàn)代化電力大數(shù)據(jù)中含有很多SQL語言儲存信息，這就是傳統(tǒng)Hive系統(tǒng)無法滿足數(shù)據(jù)分析要求，在數(shù)據(jù)存儲和數(shù)據(jù)分析上效率較低。在基于云計算的環(huán)境下 ，電力數(shù)據(jù)的SQL語言會直接翻譯為HQL語言，但是這一手動翻譯方式由于處理內容較大，會消耗大量的時間，人工翻譯的錯誤率也很高。對此，為了提高翻譯效率，要應用自動化翻譯工具，自動分析SQL語句中的語言數(shù)據(jù)，一旦滿足設定的翻譯條件，就會形成多個HQL語段，對這一語段進行分析和處理，不僅避免了人工翻譯的錯漏，還降低時間消耗量，提高翻譯效率和系統(tǒng)分析效率［3］。

（三）混合存儲技術

在傳統(tǒng)Hive系統(tǒng)運行中，無法為數(shù)據(jù)更新與刪除提供支持，只能依靠重寫來實現(xiàn)間接性數(shù)據(jù)更新。由于現(xiàn)代電力大數(shù)據(jù)分析中，智能電網(wǎng)每天需要處理的數(shù)據(jù)容量較大，無論是數(shù)據(jù)更新還是數(shù)據(jù)刪除，都需要快速處理，效率要求較高，而且每個操作數(shù)據(jù)比例小，若繼續(xù)使用重新方式進行數(shù)據(jù)更新，會造成大量數(shù)據(jù)資源的占用，降低系統(tǒng)的整體運行效率。對此，應用混合儲存技術，借助主表與附表的輔助與支持，記錄實時更新數(shù)據(jù)與不需要實時更新的數(shù)據(jù)，根據(jù)運行要求進行數(shù)據(jù)處理，進而提高數(shù)據(jù)分析處理的有效性，保證資源利用效率的最大化。

（四）分層次處理技術

在云計算技術的支持下，引入分層次數(shù)據(jù)技術進行綜合數(shù)據(jù)分析處理，在智能電網(wǎng)中，形成電力信息搜集、儲存、應用等功能為一體的結構化管理系統(tǒng)，結合電力供應情況，建設大數(shù)據(jù)管理系統(tǒng)分支化管理體系，加強電力供應系統(tǒng)間的關聯(lián)性和獨立性，保證電力系統(tǒng)資源在各個電力供應系統(tǒng)中的流轉和共享，提高資源利用效率。同時，借助云計算SQL系統(tǒng)，保證電力大數(shù)據(jù)分析計算的同步性，有效提高電力大數(shù)據(jù)分析處理效果和效率，實現(xiàn)智能電網(wǎng)的電力大數(shù)據(jù)層次化分析管理［4］。

3 基于云計算的電力大數(shù)據(jù)分析技術應用效益分析

早在2013年，浙江省首次提出基于云計算電力大數(shù)據(jù)分析技術，并嘗試性應用在電網(wǎng)供電運行中，使得浙江省成為我國電力大數(shù)據(jù)分析技術應用的核心地區(qū)，借助前置群分析與緩沖，分析和處理電力大數(shù)據(jù)，幫助用戶索引各類數(shù)據(jù)。特別是在云計算平臺的支持下，各類數(shù)據(jù)在數(shù)據(jù)庫中儲存，借助以太網(wǎng)來實現(xiàn)實時連接與同步更新，提高電力大數(shù)據(jù)的準確性，運行速度快，大大提高了電力大數(shù)據(jù)分析的綜合水平。

（一）提高處理速率

在應用基于云計算的電力大數(shù)據(jù)分析技術后，以計算機內部數(shù)據(jù)處理系統(tǒng)為主，輔助虛擬數(shù)據(jù)挖掘技術，促進計算系統(tǒng)的完善和優(yōu)化，提高虛擬空間的利用效率，形成以云計算為基礎的電力大數(shù)據(jù)分析處理平臺，提高電力大數(shù)據(jù)處理速率，將整體數(shù)據(jù)劃分成各個層次的數(shù)據(jù)，同步處理，解決由于數(shù)據(jù)龐大而造成分析處理效率低的問題，進而提高了電力大數(shù)據(jù)分析處理的綜合速率。

（二）強化系統(tǒng)兼容性

在應用基于云計算的電力大數(shù)據(jù)分析技術后，有效提高了電力大數(shù)據(jù)分析系統(tǒng)的兼容性，利用分布式處理系統(tǒng)，實現(xiàn)各類電力大數(shù)據(jù)信息的控制，多種電力大數(shù)據(jù)分析系統(tǒng)協(xié)同處理，對信息管理資源進行綜合探索，應用效益較為明顯。

（三）擴展數(shù)據(jù)儲存空間

電力資源是社會發(fā)展的動力，而大容量大力資源提高了電力系統(tǒng)建設難度。在應用基于云計算的電力大數(shù)據(jù)分析技術后，通過多維索引技術、翻譯技術、混合存儲技術、分層次處理技術，增加了虛擬空間的利用率，并在云計算技術的支持下，實現(xiàn)虛擬空間的進一步擴展，提高電力大數(shù)據(jù)分析處理的高效性和完整性，達到最佳的應用效益［5］。

4 結束語

本文通過對基于云計算的電力大數(shù)據(jù)分析技術的分析，明確了現(xiàn)代電力大數(shù)據(jù)的主要特征，以此為依據(jù)，應用多維索引技術、翻譯工具、混合存儲技術、分層次處理技術，特別是在云計算平臺的支持下，各類數(shù)據(jù)在數(shù)據(jù)庫中儲存，借助以太網(wǎng)來實現(xiàn)實時連接與同步更新，提高電力大數(shù)據(jù)分析的準確性、高效性和完整性，達到最佳的應用效益。