基于云計算的電力大數(shù)據(jù)分析技術與應用＊

劉 超，王 宇，馬旭東，姜姝宇，曹永嬌

（國網(wǎng)吉林省電力有限公司信息通信公司，吉林 長春 130000）

隨著網(wǎng)絡和計算機技術的快速發(fā)展，辦公信息化在社會各個行業(yè)中得到了廣泛應用，為了更好地適應社會發(fā)展步伐，電力行業(yè)也開始朝著大數(shù)據(jù)時代發(fā)展。面對迅猛發(fā)展的電網(wǎng)，電力客戶需求不斷增多，為了更好地滿足客戶需求，電網(wǎng)公司需不斷提升電力公司生產(chǎn)效率，確保電網(wǎng)可以持續(xù)穩(wěn)定運行?？梢栽陔娏ζ髽I(yè)中積極引入云計算機電力大數(shù)據(jù)分析技術，使電力企業(yè)可以長久穩(wěn)定發(fā)展。

1 云計算和現(xiàn)代電力大數(shù)據(jù)的主要特征

1.1 云計算的定義

云計算是在互聯(lián)網(wǎng)技術基礎上開展的增值服務，實現(xiàn)交付、增加和使用的模式。通常情況下，需要借助于互聯(lián)網(wǎng)模式提供對應的動態(tài)擴展，進而轉化為具有虛擬特征的網(wǎng)絡資源。云計算的運算能力較為強大，每秒達到了10萬次，不僅可以完成超乎傳統(tǒng)概念的運算模式，同時還能對市場發(fā)展變化和經(jīng)濟規(guī)律進行模擬，甚至可以對核爆炸的形式進行模擬。用戶通過個人PC端或手機等移動終端，可以與數(shù)據(jù)中心鏈接進行直接接觸，以個人需求的方式進行云計算。由于云計算的運算能力強大，現(xiàn)已成為本世紀學術界研究的課題，但是對其的定義卻有不同的解釋，運算對象包含的種類較多，因此在眾多學術范圍內(nèi)均有定義。其中NIST美國國家標準與技術研究院提出的定義則是被廣為認知的，云計算是結合數(shù)量開展的付費統(tǒng)計模式，該模式可以根據(jù)用戶需求提供可用性強、便捷度高的網(wǎng)絡訪問，將其與網(wǎng)絡服務、服務器、應用軟件、數(shù)據(jù)處理、儲存分析等配置的計算資源進行共享，在快速提供資源的同時，只需要投入較少時間的管理或者是完成較少的交互，就能很容易達成最終的服務模式。

1.2 大數(shù)據(jù)概述

大數(shù)據(jù)是指不能在特定時間范圍內(nèi)，通過常規(guī)軟件采集的數(shù)據(jù)合集，在新處理模式能力多樣化的信息資產(chǎn)，能力表現(xiàn)為流程優(yōu)化能力、決策力和洞察發(fā)現(xiàn)力。海量數(shù)據(jù)的存儲能力、多樣化和高增長率能力均是大數(shù)據(jù)的本質。電力大數(shù)據(jù)主要包括以下幾方面的特征。

數(shù)量化。隨著智能電網(wǎng)的普及范圍不斷擴大和搭建面積的擴增，不同網(wǎng)絡節(jié)點設備的數(shù)量也開始增多，這就形成了龐大的數(shù)據(jù)資源體系。由于這些數(shù)據(jù)量大且較為煩瑣，進一步增加了數(shù)據(jù)搜集和分析的難度。為了全面了解海量數(shù)據(jù)的變化規(guī)律，需要相關部門對這些數(shù)據(jù)進行分析。當前，我國的電力大數(shù)據(jù)從開始的TB級別上升到了PB級別，若是某地區(qū)有兩千多萬的電力客戶均設置現(xiàn)代化的智能電表，在每15 min搜集一條數(shù)據(jù)的情況下，每天就會有21億條的電力數(shù)據(jù)出現(xiàn)，說明電力數(shù)據(jù)較為龐大，使得現(xiàn)代電力大數(shù)據(jù)的數(shù)量化特征較為明顯。

高速化。不管是數(shù)據(jù)采集還是數(shù)據(jù)分析方面，現(xiàn)代電力大數(shù)據(jù)均具有高速化特征，因用戶終端數(shù)量的不斷遞增，國內(nèi)電網(wǎng)的大數(shù)據(jù)分析設備可以滿足每秒數(shù)十萬次的計算和分析，該過程需要以高速狀態(tài)完成。

多元化?，F(xiàn)代電力大數(shù)據(jù)的多元化特征主要表現(xiàn)在數(shù)據(jù)種類多元化方面，因科學技術水平的增強，各種現(xiàn)代化的技術和設備在電力行業(yè)中得到了廣泛應用，使得計算機數(shù)據(jù)從傳統(tǒng)單一化結構性數(shù)據(jù)逐漸發(fā)展成為具有現(xiàn)代化水平的各類數(shù)據(jù)并存的數(shù)據(jù)體系，主要涵蓋有非結構性數(shù)據(jù)和結構性數(shù)據(jù)，其中前者的數(shù)據(jù)數(shù)量呈現(xiàn)出逐年增加的趨勢，凸顯了現(xiàn)代電力大數(shù)據(jù)的多元化特征，說明傳統(tǒng)數(shù)據(jù)分析方式同當前多變的數(shù)據(jù)不相適應，急需要加大創(chuàng)新和改革現(xiàn)有的數(shù)據(jù)分析技術，進而提升電力大數(shù)據(jù)分析技術的應用效果。

2 電力大數(shù)據(jù)分析技術

2.1 數(shù)據(jù)分析技術

因科學技術水平的快速發(fā)展，電力行業(yè)技術水平也得到了很大程度的提升，發(fā)電可以選擇火力、風力、水力、太陽能、核能等不同的發(fā)電方式，數(shù)據(jù)分析技術在推動發(fā)電領域多元化發(fā)展方面發(fā)揮著積極作用。在電力領域中引入電力大數(shù)據(jù)分析技術，可以關聯(lián)分析一般電能和新型清潔電能，進而找出兩者的契合點，以準確合并電力資源。如風電并網(wǎng)的過程中，普遍會有諧波、線損等情況出現(xiàn)，不利于各項工程的正常開展，同時還會影響電力使用者的正常用電。自引入電力大數(shù)據(jù)分析技術以來，可以對電并網(wǎng)過程的影響因素進行深入分析，并采取有針對性的處理對策，降低不利因素的影響，確保風電并網(wǎng)可以順利開展。

2.2 電力大數(shù)據(jù)的可視化技術

可視化是電力大數(shù)據(jù)分析技術的主要特征，可以為工作人員了解數(shù)據(jù)信息反映的問題提供幫助，并作出科學合理的判斷，確保各項工作可以順利推進。電力大數(shù)據(jù)的可視化應用主要從圖標可視化和SVG可視化兩方面進行分析。前者對數(shù)據(jù)信息進行展示的過程中主要是以圖形或表格的方式，可以幫助工作人員對其中存在的問題進行充分了解，并結合數(shù)據(jù)的變化規(guī)律制定出科學有效的處理辦法。在對該系統(tǒng)進行構建的過程中，需要綜合運用表格、柱狀圖、折線圖等幾種可視化的展示方法，其中表格可以有效記錄相關數(shù)據(jù)，通過搜索的方式來獲取數(shù)據(jù)信息；柱狀圖則能表現(xiàn)出數(shù)據(jù)間的差異性特征；折線圖則能描述數(shù)據(jù)的變化趨勢；后者則是可以顯示不同顏色的電力數(shù)據(jù)，進而幫助工作人員對這些數(shù)據(jù)進行更為直觀的了解。如為了了解各單位的生產(chǎn)情況，可以通過不同顏色來顯示數(shù)據(jù)，或者是利用SVG對某個數(shù)據(jù)進行調(diào)用，以快速查詢和利用數(shù)據(jù)信息，進而增強數(shù)據(jù)資源的使用效率。

2.3 混合存儲技術

若是數(shù)據(jù)儲存的過程中選用Hive系統(tǒng)，需要利用重寫的方式對數(shù)據(jù)進行更新，這種方式很難保證可以及時對數(shù)據(jù)進行更新。隨著電力大數(shù)據(jù)的快速發(fā)展，需要處理的數(shù)據(jù)信息量不斷增多，在刪除和更新數(shù)據(jù)方面提出了更高的要求。為了提升數(shù)據(jù)信息質量，需要及時處理數(shù)據(jù)信息，以對其進行充分利用。因各個操作數(shù)據(jù)占據(jù)的比例相對較小，若是更新過程中仍舊選用傳統(tǒng)方式，將會有過度占用數(shù)據(jù)資源的情況出現(xiàn)，很難確保整個系統(tǒng)的高效穩(wěn)定運行。若是引入混合存儲技術，可以將主附表的作用充分發(fā)揮出來。通過實時更新數(shù)據(jù)信息，可以保證數(shù)據(jù)處理與系統(tǒng)運行要求相符，在提升數(shù)據(jù)處理能力的同時，還能充分利用數(shù)據(jù)資源。

2.4 數(shù)據(jù)庫索引技術

傳統(tǒng)的數(shù)據(jù)分析主要選用Hive等技術，該技術很難全面、準確地搜索電力大數(shù)據(jù)，在造成資源浪費的同時，還很難確保數(shù)據(jù)分析工作可以順利推進。為了解決該問題，需要對電力大數(shù)據(jù)特點進行準確把握，從不同維度快速有效地查詢數(shù)據(jù)信息。具體來說，可以在電力大數(shù)據(jù)為基礎的多維索引下，以時間和單位為標準，通過不同維度輔助電力大數(shù)據(jù)進行索引，快速找出有用的數(shù)據(jù)信息，以保障數(shù)據(jù)索引的整體銷量。與此同時，通過該技術可以構建較為完善的系統(tǒng)，并借助于Hive命令合理運用解析技術，保證在最短的時間內(nèi)完成代碼解析，進一步豐富數(shù)據(jù)索引的維度區(qū)間，以提升數(shù)據(jù)查詢和利用效率。

2.5 數(shù)據(jù)倉庫技術

電力企業(yè)發(fā)展過程中，其生產(chǎn)能力也得到了質的飛躍，整個生產(chǎn)過程中涉及的數(shù)據(jù)量不斷增多，使得系統(tǒng)數(shù)據(jù)運算能力中的不足逐漸顯現(xiàn)，為了解決該問題需要對先進的技術手段進行利用，推動數(shù)據(jù)分析工作的有序開展。作為電力大數(shù)據(jù)的重要組成部分，數(shù)據(jù)倉庫技術不僅可以提升數(shù)據(jù)運算能力，還為數(shù)據(jù)采集和處理各項工作的開展提供了有力條件。針對一些不能直接分析的數(shù)據(jù)資源，可以在該技術的基礎上轉換處理，使其成為可以分析的數(shù)據(jù)資源。在數(shù)據(jù)轉化處理完成后需要加載，使其可以更好地對應數(shù)據(jù)資源，以更好地利用數(shù)據(jù)資源。結合以往對數(shù)據(jù)倉庫技術的應用實際，不難發(fā)現(xiàn)該技術進一步提升了系統(tǒng)運行性能，是電力大數(shù)據(jù)中不可或缺的技術。

2.6 分層次處理技術

在數(shù)據(jù)分析處理的過程中，可以對分層數(shù)據(jù)處理技術進行利用，以提升數(shù)據(jù)處理效率。隨著智能電網(wǎng)的持續(xù)發(fā)展，現(xiàn)已形成了具有多功能的一體化管理體系，主要包括數(shù)據(jù)采集、存儲和利用等，只有對電力系統(tǒng)運行情況進行充分了解，才能構建出較為完善的大數(shù)據(jù)分支管理系統(tǒng)，進而凸顯不同電力供應系統(tǒng)的獨立性和關聯(lián)性水平，以實現(xiàn)資源方面的共享，充分體現(xiàn)出資源的使用價值。另外，應重視起SQL技術的應用，通過該技術可以同步分析和計算電力大數(shù)據(jù)，以確保整體的數(shù)據(jù)分析效率，為工作人員提供準確可靠的分析結果。自分層次處理技術應用以來，不僅可以有效提升數(shù)據(jù)分析效率，還能進一步縮短工作人員的數(shù)據(jù)管理時間，不斷提升企業(yè)的經(jīng)濟效益。

3 云計算的電力大數(shù)據(jù)分析技術的應用

由于計算機技術的快速發(fā)展，在現(xiàn)實生活中以云計算的電力大數(shù)據(jù)分析技術得到了充分應用，進一步推動了電力企業(yè)持續(xù)健康發(fā)展。電力系統(tǒng)中的云計算電力大數(shù)據(jù)分析取得了顯著成效，通過云計算技術，使得電力系統(tǒng)的智能化特征愈發(fā)明顯。在云計算的作用下，電力系統(tǒng)中的各項數(shù)據(jù)得到了集中，且數(shù)據(jù)分析中結合計算機，可以有效提升數(shù)據(jù)結果的準確性水平。根據(jù)該項數(shù)據(jù)結果，可以確保電力工作人員對電力系統(tǒng)中存在的問題不斷進行完善，增強電力系統(tǒng)運行的穩(wěn)定性水平。另外，基于云計算的電力大數(shù)據(jù)分析，可以有效滿足用戶對數(shù)據(jù)的分析處理需求，計算的過程中傳輸電流需依靠電力平臺。在檔案中會儲存有分析處理后的數(shù)據(jù)信息，因數(shù)據(jù)的改變，檔案庫內(nèi)的信息也會發(fā)生變化，可以實時更新。傳統(tǒng)檔案庫的信息大都是存儲在兩臺小型機器上，信息儲存的過程中需要通過高速網(wǎng)絡完成?，F(xiàn)階段儲存檔案庫信息則需要連接多個服務器，運行速度得到了大幅度提升。這種連接方式經(jīng)濟實惠，可以有效降低成本、人工和物力投入。

4 結論

綜上所述，隨著信息化時代的到來，在人們?nèi)粘Ｉa(chǎn)生活中信息技術發(fā)揮著十分重要的作用，但同時還存在很多亟待處理的數(shù)據(jù)信息。電網(wǎng)建設的智能化特點愈發(fā)突出，其規(guī)模和管理的信息內(nèi)容不斷擴大。如何提升電力大數(shù)據(jù)的處理效率和質量成為當前電力企業(yè)發(fā)展的重點。由于云計算處理數(shù)據(jù)的速度快、兼容性強且可以存儲海量的數(shù)據(jù)信息，在對智能電網(wǎng)電力大數(shù)據(jù)進行分析處理時，對云計算技術進行充分利用的過程中，可以將數(shù)據(jù)本身的價值充分發(fā)揮出來，提升數(shù)據(jù)分析和儲存能力，進而實現(xiàn)電力信息共享，增強電力系統(tǒng)的整體性能。