智能電網(wǎng)建設(shè)中云計(jì)算大數(shù)據(jù)處理技術(shù)的運(yùn)用

李永光，張彥軍，李長軍，汪凱威

（國網(wǎng)新疆電力有限公司，新疆 烏魯木齊 830000）

0 引 言

現(xiàn)階段我國電力企業(yè)修建的電網(wǎng)工程多是基于數(shù)字化、信息化技術(shù)的智能化電網(wǎng)，此類工程在實(shí)際應(yīng)用期間能夠通過現(xiàn)代化的先進(jìn)技術(shù)提升電網(wǎng)運(yùn)行質(zhì)量，分析獲取的大量信息，待有效處理之后若相關(guān)參數(shù)存在異常，工作人員可直接對異常部位進(jìn)行檢查，盡快發(fā)現(xiàn)設(shè)備、線路存在的問題，并及時(shí)進(jìn)行處理[1]。當(dāng)前，對智能電網(wǎng)運(yùn)行期間的大量數(shù)據(jù)進(jìn)行處理的技術(shù)為云計(jì)算大數(shù)據(jù)處理技術(shù)，結(jié)合該技術(shù)實(shí)際應(yīng)用情況，發(fā)現(xiàn)其應(yīng)用效果良好，可有效規(guī)避智能電網(wǎng)運(yùn)行中的種種風(fēng)險(xiǎn)。

1 云計(jì)算大數(shù)據(jù)處理技術(shù)概述

該技術(shù)是在科學(xué)技術(shù)不斷進(jìn)步發(fā)展過程中產(chǎn)生的一種數(shù)據(jù)處理技術(shù)，在具體應(yīng)用期間可整合所有需要計(jì)算的數(shù)據(jù)對象，形成資源池，以此對能夠擴(kuò)展、動(dòng)態(tài)抽象的數(shù)據(jù)進(jìn)行處理，并通過互聯(lián)網(wǎng)技術(shù)確保電網(wǎng)運(yùn)行的有效性與安全性，值得在智能電網(wǎng)工程建設(shè)中多加應(yīng)用與推廣。

該技術(shù)具備如下幾方面特點(diǎn)：（1）數(shù)據(jù)計(jì)算范圍廣且數(shù)據(jù)計(jì)算的限制較少，以往在計(jì)算電網(wǎng)運(yùn)行數(shù)據(jù)時(shí)，采取的計(jì)算方法僅能夠?qū)π〔糠滞瑯?gòu)性資源數(shù)據(jù)進(jìn)行計(jì)算處理，計(jì)算時(shí)的限制條件較多，數(shù)據(jù)整合效果較差，而采用云計(jì)算技術(shù)可以降低常規(guī)計(jì)算方法限制性因素的影響，在較大范圍內(nèi)對同構(gòu)性較差的資源數(shù)據(jù)進(jìn)行有效計(jì)算；（2）虛擬化，依托該特點(diǎn)電網(wǎng)建設(shè)運(yùn)行中的各種數(shù)據(jù)均可被迅捷收集，進(jìn)而選擇相應(yīng)的設(shè)備處理數(shù)據(jù)，實(shí)現(xiàn)對全部電網(wǎng)數(shù)據(jù)的合理配置與利用；（3）動(dòng)態(tài)擴(kuò)展，云計(jì)算技術(shù)基于該特點(diǎn)有著較好的兼容能力，在電網(wǎng)運(yùn)行時(shí)可對數(shù)據(jù)進(jìn)行合理調(diào)動(dòng)，并在較短時(shí)間內(nèi)對數(shù)據(jù)進(jìn)行獨(dú)立且動(dòng)態(tài)化的計(jì)算，由于數(shù)據(jù)處理需要一些新型設(shè)備，在原計(jì)算處理設(shè)備使用基礎(chǔ)上，增加部分設(shè)備即可，無需更換設(shè)備；（4）通信平臺(tái)為互聯(lián)網(wǎng)，運(yùn)用云計(jì)算技術(shù)處理數(shù)據(jù)時(shí)可依托互聯(lián)網(wǎng)平臺(tái)對數(shù)據(jù)加以計(jì)算處理，保證該基礎(chǔ)平臺(tái)的所有數(shù)據(jù)資源均具備良好的安全性，不會(huì)發(fā)生泄露問題，并且平臺(tái)應(yīng)用中使用的通信協(xié)議為國際通行協(xié)議，數(shù)據(jù)處理的可靠性高[2]。當(dāng)前，我國的智能電網(wǎng)建設(shè)中需要處理的數(shù)據(jù)信息異常龐大，處理過程中會(huì)遇到較多的難題和阻礙，需要電力企業(yè)加強(qiáng)對云計(jì)算大數(shù)據(jù)處理技術(shù)的應(yīng)用。

2 云計(jì)算大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中的應(yīng)用

在智能電網(wǎng)進(jìn)行數(shù)據(jù)計(jì)算期間，會(huì)通過大數(shù)據(jù)系統(tǒng)、智能電表以及傳感器等裝置獲取所需的數(shù)據(jù)，進(jìn)而利用相應(yīng)技術(shù)做好數(shù)據(jù)處理工作。當(dāng)前，電網(wǎng)大數(shù)據(jù)系統(tǒng)包含的模塊較多，在應(yīng)用關(guān)鍵技術(shù)處理數(shù)據(jù)時(shí)需把握好各個(gè)模塊的內(nèi)容，從而保證云計(jì)算技術(shù)得到有效應(yīng)用。模塊主要為分布式系統(tǒng)基礎(chǔ)框架（Hadoop）、分布式文件系統(tǒng)模塊、數(shù)據(jù)倉庫系統(tǒng)以及開發(fā)工具集等。具體的處理技術(shù)則包括如下內(nèi)容。

2.1 集成管理技術(shù)

在應(yīng)用該項(xiàng)技術(shù)時(shí)，需采用數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)清洗技術(shù)以及數(shù)據(jù)過濾等技術(shù)對龐雜的電網(wǎng)數(shù)據(jù)做好基礎(chǔ)的處理工作，即是借助集成管理技術(shù)抽取相關(guān)數(shù)據(jù)，并對所有數(shù)據(jù)信息進(jìn)行集成、聚合處理，待全部數(shù)據(jù)處理完畢后，統(tǒng)一數(shù)據(jù)結(jié)果，并進(jìn)行保存。在使用該技術(shù)時(shí)，須注意在數(shù)據(jù)集成前，需對其進(jìn)行清洗處理，保證數(shù)據(jù)不存在失真或質(zhì)量問題后方可進(jìn)行后續(xù)的集成處理。

2.2 傳輸、存儲(chǔ)技術(shù)

在電網(wǎng)數(shù)據(jù)傳輸環(huán)節(jié)，在對電網(wǎng)系統(tǒng)的運(yùn)行數(shù)據(jù)進(jìn)行抽取與集成后，需傳輸所有數(shù)據(jù)，以此減輕電網(wǎng)監(jiān)控系統(tǒng)的巨大工作壓力，提高數(shù)據(jù)處理質(zhì)量，并使用先進(jìn)的傳輸技術(shù)，對龐雜且數(shù)量眾多的數(shù)據(jù)加以壓縮處理，以此在控制傳輸量的同時(shí)確保數(shù)據(jù)傳輸?shù)挠行裕嵘龜?shù)據(jù)傳輸?shù)馁|(zhì)量和效率，保證智能電網(wǎng)的數(shù)據(jù)處理能力，使大量的數(shù)據(jù)可在較小空間內(nèi)有效保存。

在電網(wǎng)數(shù)據(jù)存儲(chǔ)環(huán)節(jié)，借助數(shù)據(jù)壓縮傳輸技術(shù)可實(shí)現(xiàn)對大量數(shù)據(jù)的高質(zhì)量傳輸，但在此期間不可避免會(huì)產(chǎn)生數(shù)據(jù)資源浪費(fèi)問題。以往在存儲(chǔ)數(shù)據(jù)時(shí)，基本采用分布式文件形式保存相關(guān)電網(wǎng)數(shù)據(jù)，存儲(chǔ)的數(shù)量較多，但存儲(chǔ)質(zhì)量一般，尤其對非結(jié)構(gòu)化數(shù)據(jù)無法起到良好的保存效果。而采用基于云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)可以對大量的、非結(jié)構(gòu)化數(shù)據(jù)，相對限制較少地進(jìn)行存儲(chǔ)，數(shù)據(jù)存儲(chǔ)價(jià)值較高。

2.3 數(shù)據(jù)分析、處理技術(shù)

在進(jìn)行電網(wǎng)大數(shù)據(jù)分析時(shí)，需轉(zhuǎn)換獲取的數(shù)據(jù)，使之成為有效的信息或知識，便于工作人員通過這些知識做出正確的決策，且針對相關(guān)電網(wǎng)運(yùn)行故障問題迅速地做出應(yīng)對。該分析技術(shù)即是要在海量的電網(wǎng)運(yùn)行數(shù)據(jù)中，找出規(guī)律性內(nèi)容以及電網(wǎng)能夠正常運(yùn)行的模式、狀態(tài)，經(jīng)過分析之后的數(shù)據(jù)信息之間存在著潛在的聯(lián)系，工作人員通過把握用于表達(dá)此種聯(lián)系的相關(guān)參數(shù)，便可為各項(xiàng)電網(wǎng)監(jiān)督、管理工作的有序開展提供理論依據(jù)。當(dāng)前，在應(yīng)用基于云計(jì)算處理的大數(shù)據(jù)分析技術(shù)時(shí)，需要進(jìn)一步優(yōu)化將數(shù)據(jù)轉(zhuǎn)化為有用信息的過程，加強(qiáng)聚類、分類以及并行算法的應(yīng)用，從而對常規(guī)使用的數(shù)據(jù)分析技術(shù)施以合理的改進(jìn)，保證電力企業(yè)能夠在降低成本的基礎(chǔ)上，采用新型數(shù)據(jù)技術(shù)開展大數(shù)據(jù)處理工作。

當(dāng)前，電網(wǎng)大數(shù)據(jù)處理技術(shù)包括分布式、內(nèi)存式與流處理式三種，不同的處理技術(shù)具有不同的特點(diǎn)與應(yīng)用價(jià)值。其中，分布式計(jì)算技術(shù)在具體應(yīng)用時(shí)能夠?qū)Υ髷?shù)據(jù)進(jìn)行切割處理，使其成為小數(shù)據(jù)，進(jìn)而將小數(shù)據(jù)分配至各任務(wù)區(qū)，給予其針對性處理，且最終處理完畢的數(shù)據(jù)能夠被有效保存在本地硬盤中。例如，Map Reduce編程模型為此種技術(shù)應(yīng)用較為成熟且廣泛的模型，在實(shí)際的數(shù)據(jù)處理過程中，該模型會(huì)先對大量的數(shù)據(jù)進(jìn)行分解處理，待分解完畢后即可按照Map任務(wù)區(qū)的劃分結(jié)果對數(shù)據(jù)進(jìn)行重新分配與處理，獲取鍵值之后科學(xué)保存在本地硬盤中，并基于Reduce任務(wù)的需要，及時(shí)將數(shù)據(jù)再次輸出。研究分布式計(jì)算技術(shù)應(yīng)用情況后，了解到其在電力系統(tǒng)應(yīng)用效果良好，可對大量分散數(shù)據(jù)進(jìn)行快速有效的保存與輸出，保證電力系統(tǒng)安全且可靠的運(yùn)行。內(nèi)存式處理技術(shù)的應(yīng)用需要先構(gòu)建內(nèi)層，將電網(wǎng)運(yùn)行數(shù)據(jù)全部放置其中，統(tǒng)一進(jìn)行數(shù)據(jù)讀寫處理，與常規(guī)處理技術(shù)相比，磁盤讀寫操作時(shí)間大量縮短，處理效率顯著提升。經(jīng)過多年的發(fā)展以及內(nèi)存價(jià)格的控制，該技術(shù)的實(shí)際應(yīng)用價(jià)值顯著提高，國外大型數(shù)據(jù)庫軟件公司相繼提出經(jīng)優(yōu)化處理后的內(nèi)存式處理技術(shù)，有效解決以往處理數(shù)據(jù)時(shí)間過長、效率低等問題，數(shù)據(jù)處理分析的實(shí)時(shí)性較強(qiáng)，多數(shù)大數(shù)據(jù)處理計(jì)算單位可用秒來計(jì)算，在當(dāng)前諸多領(lǐng)域的業(yè)務(wù)處理中應(yīng)用效果顯著、優(yōu)勢明顯。流處理技術(shù)則是將全部數(shù)據(jù)視為“流”，要求能夠?qū)Τ霈F(xiàn)的電網(wǎng)數(shù)據(jù)進(jìn)行隨時(shí)處理，數(shù)據(jù)處理效率極高。如果處理時(shí)間過長，數(shù)據(jù)信息具備的價(jià)值會(huì)相應(yīng)降低，而依托該技術(shù)可實(shí)現(xiàn)對獲取的實(shí)時(shí)數(shù)據(jù)的快速處理，且對電網(wǎng)監(jiān)控系統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理效果理想，便于工作人員獲取電網(wǎng)運(yùn)行的實(shí)時(shí)信息。同時(shí)，流處理技術(shù)在金融業(yè)務(wù)處理中的應(yīng)用也有著極佳的效果，尤其在高頻交易中，用戶可借助該技術(shù)把握金融市場變化情況，更好地進(jìn)行金融買賣交易。

2.4 可視化處理技術(shù)

可視化技術(shù)在現(xiàn)階段的智能化電網(wǎng)中已開始大量應(yīng)用。在具體應(yīng)用時(shí)，即是于控制中心處安裝顯示屏，保證電網(wǎng)運(yùn)行質(zhì)量監(jiān)控系統(tǒng)的工作人員在工作中能夠通過顯示屏直接掌握電網(wǎng)的運(yùn)行情況。電網(wǎng)運(yùn)行中產(chǎn)生的數(shù)據(jù)信息多種多樣，處理難度較大，但通過電網(wǎng)運(yùn)行監(jiān)控系統(tǒng)的顯示屏，可及時(shí)進(jìn)行數(shù)據(jù)信息的可視化傳遞與處理，便于工作人員隨時(shí)獲取電網(wǎng)運(yùn)行的有效信息，并針對發(fā)生的電網(wǎng)故障問題，及時(shí)開展故障維修處理，保證電網(wǎng)供配電工作的正常進(jìn)行。在可視化處理技術(shù)的未來發(fā)展中，要求研究人員準(zhǔn)確把握電網(wǎng)環(huán)境的復(fù)雜性，加強(qiáng)對電網(wǎng)運(yùn)行相關(guān)理論的學(xué)習(xí)，實(shí)現(xiàn)所學(xué)內(nèi)容與可視化技術(shù)的充分融合，在結(jié)合發(fā)展的過程中，找出電網(wǎng)自動(dòng)化運(yùn)行內(nèi)核與規(guī)律，方便電網(wǎng)企業(yè)技術(shù)人員更好地對電網(wǎng)布點(diǎn)、分區(qū)等多方面工作實(shí)施自動(dòng)優(yōu)化，在提升電網(wǎng)自動(dòng)化的基礎(chǔ)上增強(qiáng)電網(wǎng)運(yùn)行質(zhì)量和安全性。

3 結(jié) 論

云計(jì)算技術(shù)在當(dāng)前的電網(wǎng)大量數(shù)據(jù)處理中有著非常理想的應(yīng)用效果，其資源整合計(jì)算能力較強(qiáng)，成功改進(jìn)以往數(shù)據(jù)處理過程中的不足，并結(jié)合現(xiàn)代化的先進(jìn)處理技術(shù)解決各類電網(wǎng)運(yùn)行問題，保證電網(wǎng)的安全、穩(wěn)定運(yùn)行。