基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用

謝小艷，徐自力，楊 子，王海港

（國網(wǎng)安徽省電力有限公司，安徽 合肥 230061）

0 引言

隨著網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)飛速的發(fā)展，電力調(diào)度中心根據(jù)生產(chǎn)需求不斷的配備相應(yīng)的信息系統(tǒng)去促進(jìn)調(diào)度系統(tǒng)的信息交流，幫助電力企業(yè)提供管理水平。電力系統(tǒng)也在經(jīng)過多年運(yùn)行中，提供了復(fù)雜、多樣、豐富的歷史數(shù)據(jù)基礎(chǔ)，這些數(shù)據(jù)具有歷史特性，對這些數(shù)據(jù)進(jìn)行深度挖掘可以得出歷史經(jīng)驗(yàn)和規(guī)則。但是這些數(shù)據(jù)分散在各自系統(tǒng)中，無法綜合式的展現(xiàn)給用戶，為了能夠提高歷史數(shù)據(jù)利用率，更好的滿足電力客戶的各種需求，因此使用大數(shù)據(jù)與云計(jì)算結(jié)合的方式，首先對電力系統(tǒng)的進(jìn)行全面數(shù)據(jù)挖掘和數(shù)據(jù)展示，統(tǒng)一化管理電力系統(tǒng)的數(shù)據(jù)并規(guī)范化數(shù)據(jù)格式，再通過云計(jì)算自定義報表形式直接展示數(shù)據(jù)信息。

1 云計(jì)算含義及其特點(diǎn)

對于云計(jì)算來講，它屬于建設(shè)在網(wǎng)絡(luò)上的一種超級計(jì)算形式。它能夠運(yùn)用長途以及其他地區(qū)的發(fā)散形式的計(jì)算機(jī)，進(jìn)行計(jì)算機(jī)的運(yùn)用幫助人們供給數(shù)據(jù)的儲存以及計(jì)算等諸多效用。云計(jì)算能夠?qū)?shù)據(jù)進(jìn)行快速的處置同時其存儲空間也能對數(shù)據(jù)實(shí)行超乎想象的儲存，它還有著超乎想象的兼容性這也就說明了其有著較強(qiáng)的延展性以及虛擬性。云計(jì)算可以分為并行計(jì)算。把云計(jì)算運(yùn)用在電力系統(tǒng)中，可以提高電力系統(tǒng)的并發(fā)能力的目的，使得電力系統(tǒng)更安全更高效。它可以使得電力系統(tǒng)同時接收不同客戶的所有請求，同時通過分配規(guī)則將請求均衡分配下發(fā)，多個請求之間處理數(shù)據(jù)獨(dú)立運(yùn)行互不干擾。云計(jì)算技術(shù)在數(shù)據(jù)處置的速度十分快速，對電力大數(shù)據(jù)信息進(jìn)行處理時，通過基于XML自定義報表形式生成報表，滿足多樣化需求。另外云計(jì)算技的在存儲上有著難以想象的空間存在，使得在這個處處用電、以電為住的時期，這使得數(shù)據(jù)的體積，變成抑制電力大數(shù)據(jù)發(fā)展的主要因素，在云計(jì)算中生成的報表可以直接展示瀏覽，不占用客戶的存儲空間，等需要下載保存的時候才會將數(shù)據(jù)保存到用戶的存儲空間中，這樣不僅保護(hù)數(shù)據(jù)的安全性，也節(jié)約了更多的存儲空間。由于云計(jì)算技術(shù)采用的是虛擬存儲技術(shù)，它使得電力數(shù)據(jù)的整體性得到了很大程度的加強(qiáng)，同時也很大程度的幫助電力系統(tǒng)在日常工作中有所保障，保證電力大數(shù)據(jù)的完整性，以此使得電力系統(tǒng)在工作所需得到滿足。就總體來看對云計(jì)算技術(shù)的運(yùn)用，可以快速把多種渠道采集的數(shù)據(jù)整合起來，大大改進(jìn)了電力系統(tǒng)在數(shù)據(jù)處理和收集上的問題[1]。

2 大數(shù)據(jù)的含義及特點(diǎn)

體系龐大程序較為復(fù)雜的數(shù)據(jù)系統(tǒng)被稱為大數(shù)據(jù)。通常情況下，對于數(shù)據(jù)的收集，分類，整理及歸納等工作的有效實(shí)施，可以通過數(shù)據(jù)處理系統(tǒng)或數(shù)據(jù)分析程序等對其進(jìn)行分析，而且雖然具有此分析方式，卻經(jīng)常無法達(dá)到想要的處理結(jié)果。導(dǎo)致這一現(xiàn)象的根本原因在于大數(shù)據(jù)分析具有非常特殊的性質(zhì)，即其具有信息量大，分析速度快及種類多樣化的特點(diǎn)。所以為了有效進(jìn)行數(shù)據(jù)分析工作，必須在數(shù)據(jù)分析方式上進(jìn)行創(chuàng)新，由于現(xiàn)階段國內(nèi)電力工業(yè)得到一定發(fā)展，并且計(jì)算機(jī)技術(shù)的應(yīng)用也越來越廣泛。通過此先進(jìn)技術(shù)和信息系統(tǒng)衍生出的多種系統(tǒng)，如SCADA/EMS系統(tǒng)、水調(diào)自動化系統(tǒng)及調(diào)度信息管理系統(tǒng)等。這些設(shè)備在經(jīng)過多年的運(yùn)行中，為電力系統(tǒng)提供了大量的豐富數(shù)據(jù)資源。這些數(shù)據(jù)都是在電力企業(yè)內(nèi)，變電和配電以及用電等所有環(huán)節(jié)內(nèi)，形成的各種各樣的、規(guī)則不一的數(shù)據(jù)，這些數(shù)據(jù)大多數(shù)是由智能設(shè)備和智能軟件產(chǎn)生的，它是智能電網(wǎng)項(xiàng)目的重中之重[2]。它們都具備以下特點(diǎn)：

數(shù)據(jù)量廣，電力調(diào)度中心是通過各個調(diào)度系統(tǒng)生產(chǎn)配備去完善調(diào)度中心，因此電力系統(tǒng)的數(shù)據(jù)來源十分廣泛和龐大，每一個調(diào)度系統(tǒng)都在給電力調(diào)度提供源源不斷的數(shù)據(jù)；處置速度快，隨著數(shù)據(jù)量的爆炸式增長，因此信息技術(shù)較為發(fā)達(dá)，這使得數(shù)據(jù)處理速率也不斷提速，電力系統(tǒng)采用高性能的相關(guān)設(shè)備和軟件，一秒鐘的處理速度可以達(dá)到數(shù)十萬次；數(shù)據(jù)種類多，電力行業(yè)總的來講它是一個跨領(lǐng)域、跨專業(yè)的行業(yè)，由于涉及領(lǐng)域較廣使得運(yùn)行時會大量形成規(guī)格不同的數(shù)據(jù)，其中有文本以及音頻和圖片等諸多類型，數(shù)據(jù)來源也呈現(xiàn)多元化；價值高，電力系統(tǒng)運(yùn)行中產(chǎn)生的數(shù)據(jù)十分具有歷史特性和規(guī)則，通過對這些數(shù)據(jù)充分挖掘可以探索出電力系統(tǒng)的運(yùn)行特性和規(guī)則；具有精準(zhǔn)度，在智能設(shè)備及時收集且上傳的數(shù)據(jù)，使得電力大數(shù)據(jù)準(zhǔn)確性有所保障，這使得可以幫助企業(yè)對于不同情形下的業(yè)務(wù)場景進(jìn)行模擬，使得企業(yè)不斷的進(jìn)步[3]。

3 基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用

3.1 分析系統(tǒng)

電力大數(shù)據(jù)分析系統(tǒng)在云計(jì)算的背景下，是指以計(jì)算機(jī)系統(tǒng)和計(jì)算結(jié)構(gòu)為基礎(chǔ)，保障電力大數(shù)據(jù)的可用性和穩(wěn)定性，同時利用ETL工具對電力系統(tǒng)中各個系統(tǒng)大數(shù)據(jù)進(jìn)行抽取轉(zhuǎn)換，并通過云計(jì)算對轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行分析和整合形成自定義報表，可以直觀的展示所需要的重要信息，突出在每個工作環(huán)節(jié)內(nèi)的主要內(nèi)容，以此讓對應(yīng)環(huán)節(jié)的工作量進(jìn)行削減且難度也有所降低[4]。

3.2 分析技術(shù)

對數(shù)據(jù)信息保存系統(tǒng)進(jìn)行規(guī)劃，其根本原因是為了簡約數(shù)據(jù)剖析的整個流程，使得數(shù)據(jù)靈活可配以此來讓其更契合在行業(yè)發(fā)展確切所需，對于電力大數(shù)據(jù)的解析，可以剔除無用數(shù)據(jù)，將不同系統(tǒng)中的數(shù)據(jù)匯聚在一起，不僅提高數(shù)據(jù)利用率也避免了資源的浪費(fèi)。與此同時，對于一些標(biāo)志性的數(shù)據(jù)文件來說，現(xiàn)有系統(tǒng)所擁有的功能不能很好的過濾掉無效信息，由此對全部數(shù)據(jù)進(jìn)行無死角掃描的方法來進(jìn)行數(shù)據(jù)信息收集，這樣不僅會使得數(shù)據(jù)結(jié)果不能很直接的突出重點(diǎn)，還會產(chǎn)生比較嚴(yán)重的資源浪費(fèi)。鑒于大數(shù)據(jù)這門技術(shù)已經(jīng)非常常見，對于其應(yīng)用方面也十分廣泛。因此我們通過ETL工具對電力大數(shù)據(jù)進(jìn)行轉(zhuǎn)換，將D5000系統(tǒng)、EMS系統(tǒng)等不同系統(tǒng)中的數(shù)據(jù)集中在一起，分析整個電力系統(tǒng)，從中得出規(guī)則和經(jīng)驗(yàn)，更好的防范可能發(fā)生的風(fēng)險，更好的幫助電力系統(tǒng)運(yùn)行。通過ETL工具將電力大數(shù)據(jù)的剖析轉(zhuǎn)換，實(shí)現(xiàn)對電力大數(shù)據(jù)的靈活配用，再通過云計(jì)算基于XML定義的報表模板技術(shù)實(shí)現(xiàn)報表自定義功能，滿足業(yè)務(wù)多樣化報表需求，對數(shù)據(jù)進(jìn)行整合展示，實(shí)現(xiàn)對抽取的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。經(jīng)過前端報表模版展示幫助用戶分析數(shù)據(jù)，運(yùn)用圖像化和數(shù)據(jù)化報表合二為一的辦法，更加形象的提供較為直接且準(zhǔn)確的統(tǒng)計(jì)信息，有效提升電力調(diào)度準(zhǔn)確性和安全性。

4 結(jié)束語

數(shù)據(jù)信息的收集和采納在目前電力大數(shù)據(jù)分析系統(tǒng)技術(shù)下得到了更有效的實(shí)施，以此更好的總結(jié)出數(shù)據(jù)的歷史規(guī)則和經(jīng)驗(yàn)，以此來促進(jìn)企業(yè)未來的可持續(xù)、數(shù)字化的發(fā)展。大數(shù)據(jù)結(jié)合于云計(jì)算技術(shù)，對于數(shù)據(jù)分析系統(tǒng)的整體程序運(yùn)行具有優(yōu)化作用，大大提高了該系統(tǒng)程序的運(yùn)行效率，在提升系統(tǒng)運(yùn)行效率的同時，增加了智能電網(wǎng)的普及和應(yīng)用范圍，在更大程度上滿足現(xiàn)階段社會上對于數(shù)據(jù)信息的需求。